Unicode

Unicode モジュールは、Unicode の文字列や文字を扱うための基本的な機能を提供します。検証、カテゴリの判定、正規化、大文字・小文字の変換、書記素の分割などの機能を備えており、Unicode データを効果的に処理できます。

Unicode — Module

Unicode モジュールは、Unicode文字列や文字を扱うための重要な機能を提供します。検証、カテゴリの判定、正規化、大文字・小文字の変換、書記素への分割などの機能により、Unicodeデータを効率的に処理できます。

source
Unicode.julia_chartransform — Function
Unicode.julia_chartransform(c::Union{Char,Integer})

Unicode文字(Char)またはコードポイント(Integer)である c を、JuliaのパーサーがNFC正規化に加えて使用する独自の同値関係に従って、それぞれ対応する「同等の」文字またはコードポイントに変換します。

たとえば、Juliaのパーサーは 'µ'(U+00B5 マイクロ記号)を 'μ'(U+03BC ミュー)と同等に扱うため、julia_chartransform は他の文字を変更せずに、この変換を行います。

julia> Unicode.julia_chartransform('µ')
'μ': Unicode U+03BC (category Ll: Letter, lowercase)

julia> Unicode.julia_chartransform('x')
'x': ASCII/Unicode U+0078 (category Ll: Letter, lowercase)

julia_chartransform は主に、Juliaのパーサーが使用する正規化を再現するために、Unicode.normalize 関数に渡す際に役立ちます。

julia> s = "µö"
"µö"

julia> s2 = Unicode.normalize(s, compose=true, stable=true, chartransform=Unicode.julia_chartransform)
"μö"

julia> collect(s2)
2-element Vector{Char}:
 'μ': Unicode U+03BC (category Ll: Letter, lowercase)
 'ö': Unicode U+00F6 (category Ll: Letter, lowercase)

julia> s2 == string(Meta.parse(s))
true
Julia 1.8

この関数はJulia 1.8で導入されました。

source
Unicode.isassigned — Function
Unicode.isassigned(c)::Bool

指定された文字または整数が割り当て済みの Unicode コードポイントである場合は、true を返します。

Examples

julia> Unicode.isassigned(101)
true

julia> Unicode.isassigned('\x01')
true
source
Unicode.isequal_normalized — Function
isequal_normalized(s1::AbstractString, s2::AbstractString; casefold=false, stripmark=false, chartransform=identity)

s1とs2が、Unicodeで正準等価な文字列かどうかを返します。casefold=trueの場合は大文字と小文字を区別せず(Unicodeのケースフォールディングを実行し)、stripmark=trueの場合は発音区別符号などの結合文字を取り除きます。

Unicode.normalizeと同様に、chartransformキーワードに任意の関数(Integerのコードポイントをコードポイントに対応付ける関数)を渡して、Unicode.julia_chartransformなどのカスタム正規化を行うこともできます。

Julia 1.8

isequal_normalized関数はJulia 1.8で追加されました。

Examples

たとえば、文字列"noël"は、Unicodeでは正準等価な2通りの方法で構成できます。"ë"が単一のコードポイントU+00EBで構成される場合と、ASCII文字'e'の後にU+0308の結合分音記号が続く場合です。

julia> s1 = "noël"
"noël"

julia> s2 = "noël"
"noël"

julia> s1 == s2
false

julia> isequal_normalized(s1, s2)
true

julia> isequal_normalized(s1, "noel", stripmark=true)
true

julia> isequal_normalized(s1, "NOËL", casefold=true)
true
source
Unicode.normalize — Function
Unicode.normalize(s::AbstractString; keywords...)
Unicode.normalize(s::AbstractString, normalform::Symbol)

文字列 s を正規化します。デフォルトでは、Unicode のバージョン間の安定性を保証せずに(compat=false)、正準合成(compose=true)を行います。これにより、等価な文字列のうち最も短いものが生成されますが、以前の Unicode バージョンには存在しない合成文字が導入される場合があります。

また、Unicode 標準の4つの「正規化形式」のいずれかを指定することもできます。normalform には、:NFC、:NFD、:NFKC、または :NFKD を指定できます。正規化形式 C(正準合成)と D(正準分解)は、同じ抽象的な文字列を表す、見た目が同一の異なる表現を、単一の正準形式に変換します。形式 C のほうがよりコンパクトになります。正規化形式 KC と KD は、さらに「互換等価」な表現も正規化します。つまり、抽象的には類似していても見た目が異なる文字を、単一の正準表現に変換します(たとえば、合字を個々の文字に展開します)。形式 KC のほうがよりコンパクトになります。

より細かな制御や追加の変換を行うには、Unicode.normalize(s; keywords...) を呼び出し、以下の真偽値のキーワードオプションを任意の数だけ指定します(compose を除き、デフォルトはすべて false です)。

  • compose=false: 正準合成を行いません。
  • decompose=true: 正準合成の代わりに正準分解を行います(compose=true が指定されていても無視されます)。
  • compat=true: 互換等価な表現を正規化します。
  • casefold=true: 大文字と小文字を区別しない文字列比較などのために、Unicode のケースフォールディングを行います。
  • newline2lf=true、newline2ls=true、または newline2ps=true: 各種の改行シーケンス(LF、CRLF、CR、NEL)を、それぞれ改行文字(LF)、行区切り文字(LS)、または段落区切り文字(PS)に変換します。
  • stripmark=true: ダイアクリティカルマーク(アクセント記号など)を除去します。
  • stripignore=true: Unicode の「デフォルトで無視可能」な文字(ソフトハイフンや左から右へのマークなど)を除去します。
  • stripcc=true: 制御文字を除去します。水平タブと改ページ文字はスペースに変換されます。改行変換フラグが指定されていない場合は、改行もスペースに変換されます。
  • rejectna=true: 未割り当てのコードポイントが見つかった場合にエラーをスローします。
  • stable=true: Unicode のバージョン間の安定性を保証します(以前の Unicode バージョンに存在しない文字を導入しません)。

chartransform キーワード(デフォルトは identity)を使って、Integer のコードポイントをコードポイントに写像する任意の関数を渡すこともできます。この関数は、s の各文字が処理される際に呼び出され、任意の追加の正規化を行えます。たとえば、chartransform=Unicode.julia_chartransform を渡すと、Julia が識別子を解析する際に行う、Julia 固有の文字の正規化をいくつか適用できます(NFC 正規化 compose=true, stable=true に加えて適用されます)。

たとえば、NFKC はオプション compose=true, compat=true, stable=true に相当します。

Examples

julia> "é" == Unicode.normalize("é") #LHS: Unicode U+00e9, RHS: U+0065 & U+0301
true

julia> "μ" == Unicode.normalize("µ", compat=true) #LHS: Unicode U+03bc, RHS: Unicode U+00b5
true

julia> Unicode.normalize("JuLiA", casefold=true)
"julia"

julia> Unicode.normalize("JúLiA", stripmark=true)
"JuLiA"
Julia 1.8

chartransform キーワード引数には Julia 1.8 が必要です。

source
Unicode.graphemes — Function
graphemes(s::AbstractString)::GraphemeIterator

Unicode UAX #29 で定義されている拡張書記素に対応する、s 内の部分文字列を反復するイテレーターを返します。(拡張書記素は、おおむねユーザーが1文字として認識する単位です。複数のコードポイントで構成される場合もあります。たとえば、文字とアクセント記号を組み合わせたものは1つの書記素です。)

source
graphemes(s::AbstractString, m:n)::SubString

SubString を返します。これは、文字列 s の m 番目から n 番目までの書記素からなる s です。第 2 引数 m:n は整数値の AbstractUnitRange です。

大まかに言えば、文字列内でユーザーが認識する「文字」のうち、m:n 番目に相当します。たとえば、

julia> s = graphemes("exposé", 3:6)
"posé"

julia> collect(s)
5-element Vector{Char}:
 'p': ASCII/Unicode U+0070 (category Ll: Letter, lowercase)
 'o': ASCII/Unicode U+006F (category Ll: Letter, lowercase)
 's': ASCII/Unicode U+0073 (category Ll: Letter, lowercase)
 'e': ASCII/Unicode U+0065 (category Ll: Letter, lowercase)
 '́': Unicode U+0301 (category Mn: Mark, nonspacing)

これは "exposé" の 3 番目から 7 番目までのコードポイント(Char)に相当します。書記素 "é" は、実際には 2 つの Unicode コードポイント('e' と、それに続く結合文字のアキュートアクセント U+0301)で構成されているためです。

書記素の境界を見つけるには文字列の内容を反復処理する必要があるため、graphemes(s, m:n) 関数は、部分文字列の末尾より前にある文字列の長さ(コードポイント数)に比例した時間を要します。

Julia 1.9

graphemes の m:n 引数には Julia 1.9 が必要です。

source