Code Loading
この章では、パッケージの読み込みに関する技術的な詳細を説明します。パッケージをインストールするには、Julia 組み込みのパッケージマネージャーである Pkg を使って、アクティブな環境にパッケージを追加してください。アクティブな環境にすでにあるパッケージを使う方法については、Modules documentation で説明しているとおり、import X または using X と記述します。
Definitions
Julia には、コードを読み込む仕組みが 2 つあります。
- コードのインクルード: 例:
include("source.jl")。インクルードを使うと、1 つのプログラムを複数のソースファイルに分割できます。式include("source.jl")は、includeの呼び出しが行われたモジュールのグローバルスコープで、ファイルsource.jlの内容を評価します。include("source.jl")を複数回呼び出すと、source.jlはそのたびに評価されます。インクルードするパスsource.jlは、includeの呼び出しが行われたファイルを基準に解釈されます。そのため、ソースファイルのサブツリーを簡単に別の場所へ移動できます。REPL では、インクルードするパスは現在の作業ディレクトリを基準に解釈されます。pwd() - パッケージの読み込み: 例:
import Xまたはusing X。import の仕組みを使うと、パッケージ(モジュールにまとめられた、独立して再利用可能な Julia コードの集合)を読み込み、その結果のモジュールを、import を行ったモジュール内でXという名前で利用できるようになります。同じXパッケージを同じ Julia セッションで複数回 import しても、読み込まれるのは最初の 1 回だけです。それ以降の import では、import 元のモジュールに同じモジュールへの参照が渡されます。ただし、import Xは、異なるコンテキストでは異なるパッケージを読み込めます。たとえば、XはメインプロジェクトではXという名前のパッケージを指し、依存パッケージごとに、同じXという名前の別のパッケージを指す場合があります。詳しくは後述します。
コードのインクルードは単純明快で、指定されたソースファイルを呼び出し元のコンテキストで評価します。パッケージの読み込みはコードのインクルードを基盤としており、different purpose を提供します。この章の残りでは、パッケージの読み込みの動作と仕組みに焦点を当てます。
パッケージとは、標準的なレイアウトに従ったソースツリーであり、ほかの Julia プロジェクトで再利用できる機能を提供します。パッケージは import X または using X 文で読み込まれます。これらの文は、パッケージのコードを読み込んで得られる X という名前のモジュールを、import 文が記述されたモジュール内で利用できるようにもします。import X における X の意味は、コンテキストによって異なります。つまり、読み込まれる X パッケージは、その文がどのコード内にあるかによって決まります。そのため、import X の処理は 2 段階で行われます。まず、このコンテキストで X として定義されているパッケージが何かを特定し、次に、その X パッケージがどこにあるかを特定します。
これらの問いには、LOAD_PATH に列挙されたプロジェクト環境を検索し、プロジェクトファイル(Project.toml または JuliaProject.toml)、マニフェストファイル(Manifest.toml または JuliaManifest.toml。特定のバージョン用には、これらの名前に -v{major}.{minor}.toml を付けたものもあります)、またはソースファイルを含むフォルダーを探すことで答えます。
Federation of packages
ほとんどの場合、パッケージは名前だけで一意に特定できます。しかし、プロジェクトで同じ名前の異なるパッケージを 2 つ使う必要が生じることもあります。片方のパッケージ名を変更すれば解決できる場合もありますが、大規模で共有されているコードベースでは、その変更を強いられると大きな支障が生じかねません。そこで Julia のコード読み込み機構では、アプリケーションの異なるコンポーネントで、同じパッケージ名が異なるパッケージを指せるようになっています。
Julia はフェデレーション型のパッケージ管理をサポートしています。つまり、複数の独立した組織が公開・非公開のパッケージやパッケージレジストリを管理でき、プロジェクトは異なるレジストリにある公開・非公開パッケージを組み合わせて依存できます。さまざまなレジストリのパッケージは、共通のツールとワークフローを使ってインストールおよび管理できます。Julia に付属する Pkg パッケージマネージャーを使うと、プロジェクトの依存関係をインストールして管理できます。また、プロジェクトファイル(プロジェクトが依存するほかのプロジェクトを記述するファイル)や、マニフェストファイル(プロジェクトの依存関係グラフ全体の正確なバージョンを記録するファイル)の作成・編集も支援します。
フェデレーションの帰結の 1 つとして、パッケージ名を決める中央機関が存在しません。異なる組織が、無関係なパッケージに同じ名前を付けることがあります。組織同士が連携しておらず、互いの存在すら知らない場合もあるため、これは避けられません。中央の命名機関がないため、1 つのプロジェクトが同じ名前の異なるパッケージに依存することもあります。Julia のパッケージ読み込み機構では、依存関係グラフ内であっても、パッケージ名が全体で一意である必要はありません。代わりに、パッケージは universally unique identifiers(UUID)で識別されます。UUID は各パッケージの作成時に割り当てられます。通常、この扱いにくい 128 ビット識別子を直接扱う必要はありません。Pkg が生成と追跡を担うためです。しかし、UUID があれば、「X はどのパッケージを指すのか」という問いに確実に答えられます。
分散型の命名に関する問題はやや抽象的なので、具体例を見てみましょう。App というアプリケーションを開発しており、Pub と Priv という 2 つのパッケージを使うとします。Priv は自分で作成した非公開パッケージで、Pub は利用しているものの、自分では管理していない公開パッケージです。Priv を作成した時点では、Priv という名前の公開パッケージはありませんでした。しかしその後、無関係な別のパッケージが同じ Priv という名前で公開され、人気を集めました。実際、Pub パッケージもそれを使い始めました。そのため、最新のバグ修正や機能を取り込むために Pub を次にアップグレードすると、自分ではアップグレード以外に何もしていないのに、App は Priv という名前の異なる 2 つのパッケージに依存することになります。App は、非公開の Priv パッケージに直接依存し、Pub を介して、新しい公開 Priv パッケージにも間接的に依存します。この 2 つの Priv パッケージは別物ですが、App が正しく動作し続けるには両方が必要です。そのため、式 import Priv は、App のコード内にあるか、Pub のコード内にあるかによって、異なる Priv パッケージを指さなければなりません。Julia のパッケージ読み込み機構は、UUID によって 2 つの Priv パッケージを区別し、コンテキスト(import を呼び出したモジュール)に応じて適切な方を選びます。この区別の仕組みは環境によって決まり、次の節で説明します。
Environments
環境は、さまざまなコードコンテキストにおける import X と using X の意味、およびそれらの文によって読み込まれるファイルを決定します。Julia が扱う環境には、次の 2 種類があります。
- プロジェクト環境は、プロジェクトファイルと、任意でマニフェストファイルを含むディレクトリで、明示的環境を構成します。プロジェクトファイルは、プロジェクトの直接依存関係の名前と識別情報を定義します。マニフェストファイルがある場合は、直接・間接の依存関係すべてを含む完全な依存関係グラフ、各依存関係の正確なバージョン、および適切なバージョンを特定して読み込むために必要な情報を記録します。
- パッケージディレクトリは、複数のパッケージのソースツリーをサブディレクトリとして含むディレクトリで、暗黙的環境を構成します。
Xがパッケージディレクトリのサブディレクトリであり、X/src/X.jlが存在する場合、パッケージディレクトリ環境ではパッケージXを利用でき、X/src/X.jlがその読み込み元となるソースファイルです。
これらを組み合わせて、プロジェクト環境とパッケージディレクトリを順序付きで並べ、1 つの複合環境として重ね合わせたスタック環境を作ることもできます。優先順位と可視性の規則が組み合わさり、利用可能なパッケージとその読み込み元が決まります。たとえば、Julia のロードパスはスタック環境を構成します。
これらの環境は、それぞれ異なる目的を持ちます。
- プロジェクト環境は再現性を提供します。プロジェクトのソースコードとともにプロジェクト環境をバージョン管理(たとえば git リポジトリ)に登録すれば、プロジェクトとその依存関係すべての状態を正確に再現できます。特にマニフェストファイルには、各依存関係の正確なバージョンがソースツリーの暗号学的ハッシュとともに記録されます。これにより、
Pkgは正しいバージョンを取得し、すべての依存関係について記録されたものとまったく同じコードを実行していると確認できます。 - パッケージディレクトリは、厳密に追跡されたプロジェクト環境が不要な場合に手軽さを提供します。パッケージをまとめて置き、プロジェクト環境を作成せずに直接使いたい場合に便利です。
- スタック環境を使うと、プライマリ環境にツールを追加できます。開発ツールの環境をスタックの末尾に追加すれば、REPL やスクリプトから利用できるようになりますが、パッケージ内部からは利用できません。
スタック内のアクティブ環境以外の環境からパッケージを読み込む場合、そのパッケージはアクティブ環境のコンテキストで読み込まれます。つまり、アクティブ環境で import した場合と同じように読み込まれるため、依存関係のバージョン解決に影響することがあります。このようなパッケージをプリコンパイルすると、(serial) プリコンパイルジョブとして扱われます。これは、依存関係が同じジョブ内で順番にプリコンパイルされることを意味し、処理が遅くなる可能性があります。
大まかに言うと、各環境は概念上、roots、graph、paths という 3 つのマップを定義します。import X の意味を解決するときは、roots と graph のマップを使って X の識別情報を特定し、paths マップを使って X のソースコードの場所を特定します。3 つのマップの役割は次のとおりです。
roots:
name::Symbol⟶uuid::UUID環境の roots マップは、その環境がメインプロジェクトで利用可能にするトップレベルの依存関係すべてについて、パッケージ名と UUID を対応付けます(つまり、
Mainで読み込めるパッケージです)。Julia がメインプロジェクトでimport Xに遭遇すると、Xの識別情報をroots[:X]として検索します。graph:
context::UUID⟶name::Symbol⟶uuid::UUID環境の graph は多段のマップです。各
contextUUID に対して、roots マップと同様に名前と UUID の対応を割り当てますが、対象はそのcontextに固有です。Julia が UUIDcontextのパッケージのコード内でimport Xに遭遇すると、Xの識別情報をgraph[context][:X]として検索します。つまり、import Xはcontextに応じて異なるパッケージを指すことがあります。paths:
uuid::UUID×name::Symbol⟶path::Stringpaths マップは、パッケージの UUID と名前の組に対して、そのパッケージのエントリポイントとなるソースファイルの場所を割り当てます。
import XにおけるXの識別情報が、roots または graph(メインプロジェクトから読み込むか、依存パッケージから読み込むかによって異なります)を使って UUID に解決されると、Julia は環境内でpaths[uuid,:X]を検索し、Xを取得するために読み込むファイルを決定します。このファイルをインクルードすると、Xという名前のモジュールが定義されるはずです。パッケージが読み込まれた後、同じuuidに解決される import は、読み込み済みのパッケージモジュールへの新しい束縛を作成します。
各種類の環境でこれら 3 つのマップがどのように定義されるかは、以降の節で詳しく説明します。
理解しやすいよう、この章の例では roots、graph、paths のデータ構造全体を示しています。ただし、Julia のパッケージ読み込みコードがこれらを明示的に作成するわけではありません。代わりに、指定されたパッケージの読み込みに必要な分だけを遅延計算します。
Project environments
プロジェクト環境は、Project.toml というプロジェクトファイルを含むディレクトリによって定義され、Manifest.toml というマニフェストファイルを含む場合もあります。これらのファイルは JuliaProject.toml および JuliaManifest.toml という名前にすることもできます。その場合、Project.toml と Manifest.toml は無視されます。これにより、Project.toml や Manifest.toml という名前のファイルを重要なものとして扱う可能性がある、ほかのツールとの共存が可能になります。ただし、Julia 専用のプロジェクトでは Project.toml と Manifest.toml という名前が推奨されます。一方、Julia v1.10.8 以降では、(Julia)Manifest-v{major}.{minor}.toml を、特定の Julia バージョンに特定のマニフェストファイルを使わせる形式として認識します。つまり、同じフォルダー内にある Manifest-v1.11.toml は v1.11 で使われ、Manifest.toml はそれ以外の Julia バージョンで使われます。
プロジェクト環境の roots、graph、paths マップは、次のように定義されます。
環境の roots マップは、プロジェクトファイルの内容、具体的にはトップレベルの name と uuid の項目、および [deps] セクション(いずれも省略可能)によって決まります。先ほど説明した仮想アプリケーション App のプロジェクトファイルを例に見てみましょう。
name = "App"
uuid = "8f986787-14fe-4607-ba5d-fbff2944afa9"
[deps]
Priv = "ba13f791-ae1d-465a-978b-69c3ad90f72b"
Pub = "c07ecb7d-0dc9-4db7-8803-fadaaeaf08e1"このプロジェクトファイルからは、Julia の辞書で表すと次の roots マップが得られます。
roots = Dict(
:App => UUID("8f986787-14fe-4607-ba5d-fbff2944afa9"),
:Priv => UUID("ba13f791-ae1d-465a-978b-69c3ad90f72b"),
:Pub => UUID("c07ecb7d-0dc9-4db7-8803-fadaaeaf08e1"),
)この roots マップがある場合、App のコード内で文 import Priv を実行すると、Julia は roots[:Priv] を検索し、読み込むべき Priv パッケージの UUID である ba13f791-ae1d-465a-978b-69c3ad90f72b を取得します。この UUID によって、メインアプリケーションが import Priv を評価するときに、どの Priv パッケージを読み込んで使うかが特定されます。
プロジェクト環境の依存関係グラフは、マニフェストファイルがある場合、その内容によって決まります。マニフェストファイルがなければ、graph は空です。マニフェストファイルには、プロジェクトの直接・間接の依存関係ごとに項目が記載されます。各依存関係について、パッケージの UUID と、ソースツリーのハッシュまたはソースコードへの明示的なパスが記録されます。App のマニフェストファイルを例に見てみましょう。
[[Priv]] # the private one
deps = ["Pub", "Zebra"]
uuid = "ba13f791-ae1d-465a-978b-69c3ad90f72b"
path = "deps/Priv"
[[Priv]] # the public one
uuid = "2d15fe94-a1f7-436c-a4d8-07a9a496e01c"
git-tree-sha1 = "1bf63d3be994fe83456a03b874b409cfd59a6373"
version = "0.1.5"
[[Pub]]
uuid = "c07ecb7d-0dc9-4db7-8803-fadaaeaf08e1"
git-tree-sha1 = "9ebd50e2b0dd1e110e842df3b433cb5869b0dd38"
version = "2.1.4"
[Pub.deps]
Priv = "2d15fe94-a1f7-436c-a4d8-07a9a496e01c"
Zebra = "f7a24cb4-21fc-4002-ac70-f0e3a0dd3f62"
[[Zebra]]
uuid = "f7a24cb4-21fc-4002-ac70-f0e3a0dd3f62"
git-tree-sha1 = "e808e36a5d7173974b90a15a353b564f3494092f"
version = "3.4.2"このマニフェストファイルは、App プロジェクトの依存関係グラフ全体として、次のような構成があり得ることを示しています。
アプリケーションが使う
Privという名前のパッケージは 2 つあります。1 つはルート依存関係である非公開パッケージ、もう 1 つはPubを介した間接依存関係である公開パッケージです。UUID が異なるため、両者は区別され、それぞれ異なる deps を持ちます。- 非公開の
Privは、PubパッケージとZebraパッケージに依存します。 - 公開の
Privには依存関係がありません。
- 非公開の
アプリケーションは
Pubパッケージにも依存しており、このパッケージは公開のPrivと、非公開のPrivパッケージが依存するものと同じZebraパッケージに依存します。
この依存関係グラフを辞書で表すと、次のようになります。
graph = Dict(
# Priv – the private one:
UUID("ba13f791-ae1d-465a-978b-69c3ad90f72b") => Dict(
:Pub => UUID("c07ecb7d-0dc9-4db7-8803-fadaaeaf08e1"),
:Zebra => UUID("f7a24cb4-21fc-4002-ac70-f0e3a0dd3f62"),
),
# Priv – the public one:
UUID("2d15fe94-a1f7-436c-a4d8-07a9a496e01c") => Dict(),
# Pub:
UUID("c07ecb7d-0dc9-4db7-8803-fadaaeaf08e1") => Dict(
:Priv => UUID("2d15fe94-a1f7-436c-a4d8-07a9a496e01c"),
:Zebra => UUID("f7a24cb4-21fc-4002-ac70-f0e3a0dd3f62"),
),
# Zebra:
UUID("f7a24cb4-21fc-4002-ac70-f0e3a0dd3f62") => Dict(),
)この依存関係 graph がある場合、UUID が c07ecb7d-0dc9-4db7-8803-fadaaeaf08e1 の Pub パッケージ内で Julia が import Priv に遭遇すると、次のように検索します。
graph[UUID("c07ecb7d-0dc9-4db7-8803-fadaaeaf08e1")][:Priv]その結果、2d15fe94-a1f7-436c-a4d8-07a9a496e01c が得られます。これは、Pub パッケージのコンテキストでは、import Priv が、アプリケーションが直接依存する非公開パッケージではなく、公開の Priv パッケージを指すことを示します。このように、メインプロジェクトとその依存パッケージ内とで、同じ Priv という名前が異なるパッケージを指せるため、パッケージエコシステム内で名前の重複が可能になります。
メインの App コードベースで import Zebra を評価するとどうなるでしょうか。Zebra はプロジェクトファイルに記載されていないため、Zebra がマニフェストファイルに記載されていても、import は失敗します。また、UUID が 2d15fe94-a1f7-436c-a4d8-07a9a496e01c の公開 Priv パッケージ内で import Zebra が使われた場合も失敗します。マニフェストファイルでは、この Priv パッケージに依存関係が宣言されていないため、ほかのパッケージを読み込めないからです。Zebra パッケージを読み込めるのは、マニフェストファイルで明示的な依存関係として記載されているパッケージ、つまり Pub パッケージと、Priv パッケージのうちの 1 つだけです。
プロジェクト環境の paths マップは、マニフェストファイルから抽出されます。uuid という UUID を持つ X パッケージのパスは、次の規則に従って決まります(上から順に適用します)。
ディレクトリ内のプロジェクトファイルが
uuidと名前Xに一致する場合、次のいずれかになります。- トップレベルに
entryfile項目がある場合、uuidはそのパスに対応付けられます。パスはプロジェクトファイルを含むディレクトリを基準に解釈されます。 - そうでない場合、
uuidは、プロジェクトファイルを含むディレクトリを基準としたsrc/X.jlに対応付けられます。
- トップレベルに
上記に該当せず、プロジェクトファイルに対応するマニフェストファイルがあり、その中に
uuidに一致する項目がある場合:path項目があれば、そのパスを使います(マニフェストファイルを含むディレクトリを基準とします)。git-tree-sha1項目があれば、uuidとgit-tree-sha1から決定的なハッシュ関数を計算します。これをslugと呼びます。Julia のDEPOT_PATHグローバル配列にある各ディレクトリで、packages/X/$slugという名前のディレクトリを探します。存在するもののうち、最初に見つかったディレクトリを使います。
これがディレクトリであれば、
uuidはsrc/X.jlに対応付けられます。ただし、一致するマニフェスト項目にentryfile項目がある場合は、そちらを使います。どちらの場合も、パスは 2.1 のディレクトリを基準にします。
いずれかの規則でパスが見つかった場合、ソースコードのエントリポイントへのパスは、その結果のパス、またはその結果に src/X.jl を加えた相対パスになります。それ以外の場合、uuid にはパスが対応付けられません。X を読み込む際にソースコードのパスが見つからなければ、検索は失敗し、適切なバージョンのパッケージをインストールするか、ほかの対処(たとえば X を依存関係として宣言すること)を行うよう求められる場合があります。
上記のマニフェストファイルの例で、最初の Priv パッケージ(UUID は ba13f791-ae1d-465a-978b-69c3ad90f72b)のパスを見つけるため、Julia はマニフェストファイル内の項目を探します。そこに path 項目があるため、App プロジェクトディレクトリを基準に deps/Priv を調べます。ここでは、App のコードが /home/me/projects/App にあるとします。/home/me/projects/App/deps/Priv が存在することを確認し、そこから Priv を読み込みます。
一方、もう一方の Priv パッケージ(UUID は 2d15fe94-a1f7-436c-a4d8-07a9a496e01c)を Julia が読み込む場合、マニフェスト内の項目を見つけると、path 項目はありませんが、git-tree-sha1 項目はあることが分かります。そこで、この UUID/SHA-1 の組に対する slug を計算します。その値は HDkrT です(計算の詳細は重要ではありませんが、結果は一貫しており、決定的です)。つまり、この Priv パッケージのパスは、いずれかのパッケージデポ内の packages/Priv/HDkrT/src/Priv.jl になります。DEPOT_PATH の内容が ["/home/me/.julia", "/usr/local/julia"] だとすると、Julia は次のパスが存在するか調べます。
/home/me/.julia/packages/Priv/HDkrT/usr/local/julia/packages/Priv/HDkrT
Julia は、最初に見つかったパスを使い、そのデポ内のファイル packages/Priv/HDKrT/src/Priv.jl から公開 Priv パッケージを読み込もうとします。
上記の依存関係グラフに対して、先ほどの App プロジェクト環境で考えられる paths マップを、ローカルファイルシステムを検索した結果として示します。これは、上記の Manifest に基づくものです。
paths = Dict(
# Priv – the private one:
(UUID("ba13f791-ae1d-465a-978b-69c3ad90f72b"), :Priv) =>
# relative entry-point inside `App` repo:
"/home/me/projects/App/deps/Priv/src/Priv.jl",
# Priv – the public one:
(UUID("2d15fe94-a1f7-436c-a4d8-07a9a496e01c"), :Priv) =>
# package installed in the system depot:
"/usr/local/julia/packages/Priv/HDkrT/src/Priv.jl",
# Pub:
(UUID("c07ecb7d-0dc9-4db7-8803-fadaaeaf08e1"), :Pub) =>
# package installed in the user depot:
"/home/me/.julia/packages/Pub/oKpw/src/Pub.jl",
# Zebra:
(UUID("f7a24cb4-21fc-4002-ac70-f0e3a0dd3f62"), :Zebra) =>
# package installed in the system depot:
"/usr/local/julia/packages/Zebra/me9k/src/Zebra.jl",
)この例のマップには、パッケージの場所が 3 種類含まれています(1 番目と 3 番目はデフォルトのロードパスの一部です)。
- 非公開の
Privパッケージは、Appリポジトリ内の「vendored」です。 - 公開の
PrivパッケージとZebraパッケージは、システムデポにあります。ここにはシステム管理者がインストール・管理するパッケージが置かれ、システム上のすべてのユーザーが利用できます。 Pubパッケージはユーザーデポにあります。ここにはユーザーがインストールしたパッケージが置かれ、インストールしたユーザーだけが利用できます。
Package directories
パッケージディレクトリは、名前の衝突を処理できない代わりに、より単純な環境を提供します。パッケージディレクトリでは、トップレベルのパッケージは「パッケージらしい」サブディレクトリの集合です。パッケージディレクトリ内に X パッケージが存在するのは、ディレクトリに次のいずれかの「エントリポイント」ファイルがある場合です。
X.jlX/src/X.jlX.jl/src/X.jl
パッケージディレクトリ内のパッケージが import できる依存関係は、そのパッケージにプロジェクトファイルがあるかどうかによって異なります。
- プロジェクトファイルがある場合、プロジェクトファイルの
[deps]セクションで識別されているパッケージだけを import できます。 - プロジェクトファイルがない場合、トップレベルのパッケージをすべて import できます。つまり、
Mainまたは REPL で読み込めるパッケージと同じものを import できます。
roots マップは、パッケージディレクトリの内容を調べ、存在するすべてのパッケージの一覧を作成して決まります。さらに、各項目には次のように UUID が割り当てられます。フォルダー X 内で見つかったパッケージについて、次の規則を適用します。
X/Project.tomlが存在し、uuid項目がある場合、uuidはその値になります。X/Project.tomlが存在するものの、トップレベルに UUID 項目がない場合、uuidはX/Project.tomlの正規(実)パスをハッシュして生成したダミー UUID になります。- それ以外(
Project.tomlが存在しない場合)は、uuidはすべてゼロの nil UUID になります。
プロジェクトディレクトリの依存関係グラフは、各パッケージのサブディレクトリにあるプロジェクトファイルの有無と内容によって決まります。規則は次のとおりです。
- パッケージのサブディレクトリにプロジェクトファイルがない場合、そのパッケージは graph から除外されます。そのコード内の import 文は、メインプロジェクトや REPL と同様に、トップレベルのものとして扱われます。
- パッケージのサブディレクトリにプロジェクトファイルがある場合、その UUID に対応する graph の項目は、プロジェクトファイルの
[deps]マップになります。このセクションがない場合は、空のマップとして扱われます。
たとえば、パッケージディレクトリが次の構造と内容を持つとします。
Aardvark/
src/Aardvark.jl:
import Bobcat
import Cobra
Bobcat/
Project.toml:
[deps]
Cobra = "4725e24d-f727-424b-bca0-c4307a3456fa"
Dingo = "7a7925be-828c-4418-bbeb-bac8dfc843bc"
src/Bobcat.jl:
import Cobra
import Dingo
Cobra/
Project.toml:
uuid = "4725e24d-f727-424b-bca0-c4307a3456fa"
[deps]
Dingo = "7a7925be-828c-4418-bbeb-bac8dfc843bc"
src/Cobra.jl:
import Dingo
Dingo/
Project.toml:
uuid = "7a7925be-828c-4418-bbeb-bac8dfc843bc"
src/Dingo.jl:
# no imports対応する roots 構造を辞書で表すと、次のようになります。
roots = Dict(
:Aardvark => UUID("00000000-0000-0000-0000-000000000000"), # no project file, nil UUID
:Bobcat => UUID("85ad11c7-31f6-5d08-84db-0a4914d4cadf"), # dummy UUID based on path
:Cobra => UUID("4725e24d-f727-424b-bca0-c4307a3456fa"), # UUID from project file
:Dingo => UUID("7a7925be-828c-4418-bbeb-bac8dfc843bc"), # UUID from project file
)対応する graph 構造を辞書で表すと、次のようになります。
graph = Dict(
# Bobcat:
UUID("85ad11c7-31f6-5d08-84db-0a4914d4cadf") => Dict(
:Cobra => UUID("4725e24d-f727-424b-bca0-c4307a3456fa"),
:Dingo => UUID("7a7925be-828c-4418-bbeb-bac8dfc843bc"),
),
# Cobra:
UUID("4725e24d-f727-424b-bca0-c4307a3456fa") => Dict(
:Dingo => UUID("7a7925be-828c-4418-bbeb-bac8dfc843bc"),
),
# Dingo:
UUID("7a7925be-828c-4418-bbeb-bac8dfc843bc") => Dict(),
)次の一般的な規則に注意してください。
- プロジェクトファイルのないパッケージは、トップレベルの依存関係なら何にでも依存できます。パッケージディレクトリ内のすべてのパッケージはトップレベルで利用できるため、環境内のすべてのパッケージを import できます。
- プロジェクトファイルのあるパッケージは、プロジェクトファイルのないパッケージには依存できません。プロジェクトファイルのあるパッケージが読み込めるのは
graph内のパッケージだけであり、プロジェクトファイルのないパッケージはgraphに現れないためです。 - プロジェクトファイルはあるものの明示的な UUID がないパッケージは、プロジェクトファイルのないパッケージからしか依存されません。これらのパッケージに割り当てられるダミー UUID は、内部でのみ使われるためです。
この例で、次の規則がどのように適用されるかを見てみましょう。
AardvarkはBobcat、Cobra、Dingoのいずれにも import できます。実際にはBobcatとCobraを import しています。Bobcatは、プロジェクトファイルと UUID を持ち、Bobcatの[deps]セクションで依存関係として宣言されているCobraとDingoの両方を import できます。実際に両方を import しています。BobcatはAardvarkに依存できません。Aardvarkにプロジェクトファイルがないためです。Cobraは、プロジェクトファイルと UUID を持ち、Cobraの[deps]セクションで依存関係として宣言されているDingoを import できます。実際に import しています。Cobraは、実際の UUID を持たないAardvarkとBobcatのどちらにも依存できません。Dingoは、プロジェクトファイルに[deps]セクションがないため、何も import できません。
パッケージディレクトリの paths マップは単純です。サブディレクトリ名を、それぞれに対応するエントリポイントのパスに対応付けます。つまり、例のプロジェクトディレクトリへのパスが /home/me/animals なら、paths マップは次の辞書で表せます。
paths = Dict(
(UUID("00000000-0000-0000-0000-000000000000"), :Aardvark) =>
"/home/me/AnimalPackages/Aardvark/src/Aardvark.jl",
(UUID("85ad11c7-31f6-5d08-84db-0a4914d4cadf"), :Bobcat) =>
"/home/me/AnimalPackages/Bobcat/src/Bobcat.jl",
(UUID("4725e24d-f727-424b-bca0-c4307a3456fa"), :Cobra) =>
"/home/me/AnimalPackages/Cobra/src/Cobra.jl",
(UUID("7a7925be-828c-4418-bbeb-bac8dfc843bc"), :Dingo) =>
"/home/me/AnimalPackages/Dingo/src/Dingo.jl",
)パッケージディレクトリ環境内のすべてのパッケージは、定義上、想定されるエントリポイントファイルを持つサブディレクトリです。そのため、paths マップの paths 項目は常にこの形式になります。
Environment stacks
最後の 3 つ目の環境は、複数の環境を重ね合わせて組み合わせ、それぞれのパッケージを 1 つの複合環境で利用できるようにするものです。この複合環境を環境スタックと呼びます。Julia の LOAD_PATH グローバル変数は、Julia プロセスが動作する環境スタックを定義します。Julia プロセスから 1 つのプロジェクトまたはパッケージディレクトリ内のパッケージだけを利用したい場合は、それだけを LOAD_PATH の唯一の項目にします。ただし、作業中のプロジェクトの依存関係ではなくても、お気に入りのツール(標準ライブラリ、プロファイラー、デバッガー、個人用ユーティリティなど)を使えると便利なことがよくあります。こうしたツールを含む環境をロードパスに追加すれば、プロジェクトに追加しなくても、トップレベルのコードからすぐに利用できます。
環境スタックを構成する各要素の roots、graph、paths データ構造を組み合わせる方法は単純です。辞書としてマージし、キーが衝突した場合は先にある項目を優先します。つまり、stack = [env₁, env₂, …] があるとすると、次のようになります。
roots = reduce(merge, reverse([roots₁, roots₂, …]))
graph = reduce(merge, reverse([graph₁, graph₂, …]))
paths = reduce(merge, reverse([paths₁, paths₂, …]))添字付きの rootsᵢ、graphᵢ、pathsᵢ 変数は、stack に含まれる添字付きの環境 envᵢ に対応します。reverse があるのは、引数の辞書間でキーが衝突した場合に、merge が先頭ではなく最後の引数を優先するためです。この設計には、注目すべき特徴がいくつかあります。
- プライマリ環境、つまりスタックの先頭にある環境は、スタック環境にそのまま組み込まれます。スタックの先頭の環境の依存関係グラフ全体は、すべての依存関係の同じバージョンを含め、変更されずにスタック環境へ取り込まれることが保証されます。
- プライマリ以外の環境にあるパッケージは、その環境内では互換性のある依存関係を持っていても、互換性のないバージョンを使うことがあります。スタック内の先行する環境にあるバージョンが、依存関係のバージョンを(graph、paths、またはその両方で)上書きすると、この状況が起こり得ます。
プライマリ環境は通常、作業中のプロジェクトの環境であり、スタックの後方にある環境には追加のツールが含まれます。そのため、このトレードオフは適切です。開発ツールが動かなくなるより、プロジェクトが動き続ける方が望ましいからです。このような非互換性が起きた場合は、通常、メインプロジェクトと互換性のあるバージョンに開発ツールをアップグレードします。
Package Extensions
パッケージの「拡張機能」とは、指定されたパッケージ群(「トリガー」)が現在の Julia セッションで読み込まれたときに、自動的に読み込まれるモジュールです。拡張機能は、プロジェクトファイルの [extensions] セクションで定義します。拡張機能のトリガーは、プロジェクトファイルの [weakdeps] セクション(まれに [deps] セクションも)に記載されたパッケージの一部です。これらのパッケージには、ほかのパッケージと同様に compat 項目を指定できます。
name = "MyPackage"
[compat]
ExtDep = "1.0"
OtherExtDep = "1.0"
[weakdeps]
ExtDep = "c9a23..." # uuid
OtherExtDep = "862e..." # uuid
[extensions]
BarExt = ["ExtDep", "OtherExtDep"]
FooExt = "ExtDep"
...extensions の下にあるキーは拡張機能の名前です。右辺に列挙されたパッケージ(トリガー)がすべて読み込まれると、その拡張機能が読み込まれます。トリガーが 1 つだけの拡張機能では、簡潔にするため、トリガーのリストを文字列 1 つで記述できます。拡張機能 FooExt のエントリポイントは、ext/FooExt.jl または ext/FooExt/FooExt.jl に置きます。拡張機能の内容は、一般に次のような構成です。
module FooExt
# Load main package and triggers
using MyPackage, ExtDep
# Extend functionality in main package with types from the triggers
MyPackage.func(x::ExtDep.SomeStruct) = ...
end拡張機能を持つパッケージを環境に追加すると、weakdeps セクションと extensions セクションが、そのパッケージの項目としてマニフェストファイルに保存されます。パッケージの依存関係を検索する規則は「親」と同じですが、列挙されたトリガーも依存関係として扱われます。
Workspaces
プロジェクトファイルでは、そのワークスペースに属するプロジェクト群を指定して、ワークスペースを定義できます。
[workspace]
projects = ["test", "benchmarks", "docs", "SomePackage"]projects 配列に列挙する各プロジェクトは、ワークスペースのルートからの相対パスで指定します。直接の子ディレクトリ(例: "test")でも、さらに深い階層のサブディレクトリ(例: "nested/subdir/MyPackage")でもかまいません。各プロジェクトには独自の Project.toml ファイルがあり、追加の依存関係や互換性制約を記述できます。この場合、パッケージマネージャーはワークスペース内のすべてのプロジェクトから依存関係の情報を集め、すべての依存関係のバージョンをまとめた 1 つのマニフェストファイルを生成します。
Julia がプロジェクトを読み込むと、親ディレクトリを上方向にたどり、ユーザーのホームディレクトリに達するまで、そのプロジェクトを含むワークスペースを探します。これにより、ワークスペースのディレクトリツリー内で、プロジェクトを任意の深さに配置できます。
さらに、ワークスペースは「入れ子」にできます。つまり、ワークスペースを定義するプロジェクト自体が、別のワークスペースの一部になることがあります。この場合もマニフェストファイルは 1 つだけ使われ、「ルートプロジェクト」(ほかのワークスペースに含まれていないプロジェクト)と同じ場所に保存されます。ファイル構成の例を次に示します。
Project.toml # projects = ["MyPackage"]
Manifest.toml
MyPackage/
Project.toml # projects = ["test"]
test/
Project.tomlPackage/Environment Preferences
Preferences は、環境内でのパッケージの動作に影響するメタデータの辞書です。Preferences システムではコンパイル時に設定を読み取れるため、コードの読み込み時には、Julia が選択したプリコンパイル済みファイルが、現在の環境と同じ Preferences でビルドされていることを確認してから読み込む必要があります。Preferences を変更するための公開 API は、Preferences.jl パッケージに含まれています。Preferences は、現在アクティブなプロジェクトの隣にある (Julia)LocalPreferences.toml ファイルに、TOML の辞書として保存されます。Preference が「エクスポート」されている場合は、代わりに (Julia)Project.toml に保存されます。共有プロジェクトでは Preferences も共有できる一方、ユーザー自身が LocalPreferences.toml ファイル内の設定で上書きできるようにすることが目的です。ファイル名が示すとおり、このファイルは .gitignore に追加してください。
コンパイル中にアクセスされた Preferences は、自動的にコンパイル時 Preferences としてマークされます。これらの Preferences に変更が記録されると、Julia コンパイラーは、そのモジュールのキャッシュ済みプリコンパイルファイル(.ji と、それに対応する .so、.dll、または .dylib ファイル)を再コンパイルします。コンパイル時にすべてのコンパイル時 Preferences のハッシュをシリアライズし、読み込む適切なファイルを検索するときに、そのハッシュを現在の環境と照合することで実現しています。
Preferences には、デポ全体に適用されるデフォルト値を設定できます。たとえば、パッケージ Foo がグローバル環境にインストールされていて Preferences が設定されている場合、グローバル環境が LOAD_PATH に含まれている限り、その Preferences が適用されます。環境スタック内で上位にある環境の Preferences は、ロードパス上でより近い環境の項目によって上書きされ、最後に現在アクティブなプロジェクトの設定が適用されます。これにより、デポ全体に適用するデフォルト値を設定しつつ、アクティブなプロジェクトでそれらをマージしたり、完全に上書きしたりできます。マージを許可または禁止する Preferences の設定方法については、Preferences.set_preferences!() の docstring を参照してください。
Conclusion
フェデレーション型のパッケージ管理と、正確なソフトウェア再現性の実現は、パッケージシステムにとって難しいものの、価値ある目標です。この 2 つを両立させるため、Julia のパッケージ読み込み機構は多くの動的言語より複雑になっていますが、その一方で、静的言語でよく見られるような拡張性と再現性を実現しています。通常、Julia ユーザーはこうした仕組みの相互作用を詳しく理解しなくても、組み込みのパッケージマネージャーでプロジェクトを管理できます。Pkg.add("X") を呼び出すと、Pkg.activate("Y") で選択された適切なプロジェクトファイルとマニフェストファイルにパッケージが追加されます。そのため、後で import X を呼び出せば、特別な操作をしなくても X が読み込まれます。