Ahead of Time Compilation

このドキュメントでは、Julia の ahead-of-time(AOT)コンパイルシステムの設計と構造について説明します。このシステムは、システムイメージやパッケージイメージの生成に使われます。ここで説明する実装の多くは、aotcompile.cpp、staticdata.c、processor.cpp にあります。

Introduction

Julia は通常、コードをジャストインタイム(JIT)でコンパイルしますが、コードを事前にコンパイルし、生成されたコードをファイルに保存することもできます。これには、次のような利点があります。

  1. Julia プロセスの起動時間を短縮できる。
  2. コードの実行ではなく JIT コンパイラに費やす時間(初回実行までの時間、TTFX)を短縮できる。
  3. JIT コンパイラが使用するメモリ量を削減できる。

High-Level Overview

以下では、ユーザーが新しい AOT モジュールをコンパイルするとき(たとえば、using Foo と入力したとき)に内部で実行される、エンドツーエンドのパイプラインについて、現在の実装の詳細を説明します。より適切な処理方法が実装されるにつれて、これらの詳細は変わる可能性があります。そのため、現在の実装が以下に記載するデータフローや関数と完全には一致しない場合があります。

Compiling Code Images

まず、ネイティブコードにコンパイルする必要のあるメソッドを特定します。コンパイル対象のメソッドは、メソッドに渡される引数の型によって決まり、特定の型の組み合わせによるメソッド呼び出しは実行時まで分からない場合があるため、これはコンパイル対象のコードを実際に実行しなければ行えません。この処理中に、コンパイラが認識した正確なメソッドを後でコンパイルできるよう記録し、コンパイルトレースを作成します。

Note

現在、イメージのコンパイル時には、Julia はトレースの生成を AOT コンパイルを行うプロセスとは別のプロセスで実行します。そのため、プリコンパイル中にデバッガを使う際に影響が生じることがあります。デバッガを使ってプリコンパイルをデバッグするには、rr デバッガでプロセスツリー全体を記録し、rr ps で問題が発生したプロセスを特定してから、rr replay -p PID でそのプロセスだけを再生するのが最善です。

コンパイル対象のメソッドを特定したら、それらを jl_create_system_image 関数に渡します。この関数は、ネイティブコードをファイルにシリアライズする際に使う複数のデータ構造を準備し、メソッドの配列を jl_create_native に渡します。jl_create_native は各メソッドに対してコード生成を実行し、1つ以上の LLVM モジュールを生成します。その後、jl_create_system_image が、モジュールからコード生成された内容に関する有用な情報を記録します。

次に、モジュールを、jl_create_system_image が記録した情報とともに jl_dump_native に渡します。jl_dump_native には、Julia に渡されたコマンドラインオプションに応じて、モジュールをビットコード、オブジェクト、またはアセンブリファイルにシリアライズするためのコードが含まれています。シリアライズされたコードと情報は、アーカイブとしてファイルに書き込まれます。

最後に、jl_dump_native が生成したアーカイブ内のオブジェクトファイルに対して、システムリンカーを実行します。この処理が完了すると、コンパイル済みコードを含む共有ライブラリが生成されます。

Loading Code Images

コードイメージを読み込む際は、リンカーが生成した共有ライブラリをメモリに読み込みます。次に、システムイメージのデータを共有ライブラリから読み込みます。このデータには、共有ライブラリにコンパイルされた型、メソッド、コードインスタンスに関する情報が含まれています。このデータを使って、コードイメージのコンパイル時の状態にランタイムを復元します。

コードイメージがマルチバージョニングを有効にしてコンパイルされている場合、ローダーは現在のマシンで利用可能な CPU 機能に基づいて、各関数の適切なバージョンを選択します。

システムイメージの場合、ほかのコードはまだ読み込まれていないため、ランタイムの状態はコードイメージのコンパイル時と同じです。一方、パッケージイメージでは、コンパイル時から環境が変わっている可能性があります。そのため、各メソッドをグローバルメソッドテーブルと照合し、引き続き有効なコードかどうかを確認する必要があります。

Compiling Methods

Tracing Compiled Methods

Julia には、JIT コンパイラがコンパイルしたすべてのメソッドを記録するコマンドラインフラグ --trace-compile=filename があります。このフラグにファイル名を指定すると、関数のコンパイル時に、その関数が呼び出されたメソッドと引数の型を含むプリコンパイル文がファイルに出力されます。これにより、後の AOT コンパイルで使えるプリコンパイルスクリプトを生成できます。PrecompileTools パッケージには、この機能をパッケージ開発者が簡単に活用できるようにするツールが用意されています。

jl_create_system_image

jl_create_system_image は、後でランタイムの状態を復元するために必要な、Julia 固有のメタデータをすべて保存します。これには、コードインスタンス、メソッドインスタンス、メソッドテーブル、型情報などが含まれます。また、この関数はネイティブコードをファイルにシリアライズするために必要なデータ構造も準備します。最後に、jl_create_native を呼び出し、渡されたメソッドのネイティブコードを含む1つ以上の LLVM モジュールを作成します。渡されたメソッドに対してコード生成を実行するのは jl_create_native の役割です。

jl_dump_native

jl_dump_native は、ネイティブコードを含む LLVM モジュールをファイルにシリアライズします。モジュールに加えて、jl_create_system_image が生成したシステムイメージのデータもグローバル変数としてコンパイルされます。このメソッドの出力は、コードとシステムイメージのデータを含むビットコード、オブジェクト、またはアセンブリのアーカイブです。

ネイティブコードの出力では、jl_dump_native が特に時間のかかる処理の1つです。時間の多くは、LLVM IR の最適化とマシンコードの出力に費やされます。そのため、この関数では最適化とマシンコード出力の処理をマルチスレッド化できます。スレッド数はモジュールのサイズに応じて決まりますが、JULIA_IMAGE_THREADS 環境変数を設定すれば明示的に変更できます。デフォルトの最大スレッド数は利用可能なスレッド数の半分ですが、これより少なく設定すると、コンパイル時のピークメモリ使用量を抑えられます。

jl_dump_native は、Julia ローダーと連携して、複数のアーキテクチャ向けに最適化されたネイティブコードを生成することもできます。これは JULIA_CPU_TARGET 環境変数を設定すると有効になり、最適化パイプラインのマルチバージョニングパスによって処理されます。これをマルチスレッドで動作させるため、モジュールを各スレッドで個別に出力するサブモジュールに分割する前に、アノテーション処理を追加します。この処理では、モジュール全体で利用できる情報を使って、どの関数を異なるアーキテクチャ向けに複製するかを決定します。アノテーションが完了すると、別のサブモジュールが複製された関数から呼び出される必要な関数を必ず生成することが保証されるため、各スレッドは異なるアーキテクチャ向けのコードを並列に出力できます。

モジュールのシリアライズ方法に関するその他のメタデータもアーカイブに保存されます。たとえば、モジュールのシリアライズに使ったスレッド数や、コンパイルされた関数の数などです。

Static Linking

AOT コンパイルの最後の手順では、jl_dump_native が生成したアーカイブ内のオブジェクトファイルに対してリンカーを実行します。これにより、コンパイル済みコードを含む共有ライブラリが生成されます。この共有ライブラリを Julia が読み込むことで、ランタイムの状態を復元できます。システムイメージのコンパイルでは、C コンパイラが使用するネイティブリンカーを使って最終的な共有ライブラリを生成します。パッケージイメージでは、より一貫性のあるリンクインターフェースを提供するため、LLVM リンカーの LLD を使います。

Loading Code Images

Loading the Shared Library

コードイメージを読み込む最初の手順は、リンカーが生成した共有ライブラリを読み込むことです。共有ライブラリのパスを jl_dlopen に渡して実行します。この関数は共有ライブラリを読み込み、ライブラリ内のすべてのシンボルを解決します。

Loading Native Code

まずローダーは、コンパイルされたネイティブコードが、ローダーの実行環境のアーキテクチャで有効かどうかを確認する必要があります。これは、古い CPU が認識しない命令を実行しないようにするためです。現在のマシンで利用可能な CPU 機能と、コードのコンパイル時に対象とした CPU 機能を照合して確認します。マルチバージョニングが有効な場合、ローダーは現在のマシンで利用可能な CPU 機能に基づいて、各関数の適切なバージョンを選択します。マルチバージョニングされた機能セットのうち、利用可能なものが1つもない場合、ローダーはエラーをスローします。

マルチバージョニングパスの一部では、モジュール内のすべての関数を格納するグローバル配列が複数作成されます。この処理がマルチスレッドで実行される場合は、配列の配列が作成されます。ローダーはこれを、対象アーキテクチャ向けにコンパイルされたすべての関数を含む1つの大きな配列に再編成します。モジュール内のグローバル変数についても、同様の処理が行われます。

Setting Up Julia State

次にローダーは、ネイティブコードの読み込みによって得られたグローバル変数と関数を使い、現在のプロセス内で Julia ランタイムの中核となるデータ構造を設定します。この設定では、Julia ランタイムに型とメソッドを追加し、キャッシュされたネイティブコードをほかの Julia 関数やインタープリターから利用できるようにします。パッケージイメージでは、各メソッドを検証し、グローバルメソッドテーブルの状態がパッケージイメージのコンパイル時の状態と一致することを確認する必要があります。特に、パッケージイメージのコンパイル時と読み込み時でメソッドの集合が異なる場合、そのメソッドは無効化され、初回使用時に再コンパイルされます。これは、パッケージがプリコンパイルされている場合と、コードが直接実行された場合とで、実行時の意味が変わらないようにするために必要です。システムイメージでは、読み込み時にグローバルメソッドテーブルが空なので、この検証は不要です。そのため、システムイメージはパッケージイメージよりも高速に読み込まれます。