Profiling

CPU Profiling

JuliaコードのCPUプロファイリングには、主に2つの方法があります。

Via @profile

特定の呼び出しに対して、@profileマクロを使ってプロファイリングを有効にします。

julia> using Profile

julia> @profile foo()

julia> Profile.print()
Overhead ╎ [+additional indent] Count File:Line; Function
=========================================================
    ╎147  @Base/client.jl:506; _start()
        ╎ 147  @Base/client.jl:318; exec_options(opts::Base.JLOptions)
...

Triggered During Execution

すでに実行中のタスクも、ユーザーが任意のタイミングでトリガーして、一定時間プロファイリングできます。

プロファイリングを開始するには、次の操作を行います。

  • macOSおよびFreeBSD(BSD系プラットフォーム): ctrl-tを使用するか、SIGINFOシグナルをJuliaプロセスに送信します。例: % kill -INFO $julia_pid
  • Linux: SIGUSR1シグナルをJuliaプロセスに送信します。例: % kill -USR1 $julia_pid
  • Windows: 現在はサポートされていません。

まず、シグナルが送信された瞬間のスタックトレースが1つ表示されます。次に1秒間のプロファイルが収集され、次のyieldポイントでプロファイルレポートが出力されます。yieldポイントのないコード(タイトなループなど)では、タスクの完了時に出力されることがあります。

必要に応じて、環境変数JULIA_PROFILE_PEEK_HEAP_SNAPSHOTを1に設定すると、heap snapshotも自動的に収集できます。

julia> foo()
##== the user sends a trigger while foo is running ==##
load: 2.53  cmd: julia 88903 running 6.16u 0.97s

======================================================================================
Information request received. A stacktrace will print followed by a 1.0 second profile
======================================================================================

signal (29): Information request: 29
__psynch_cvwait at /usr/lib/system/libsystem_kernel.dylib (unknown line)
_pthread_cond_wait at /usr/lib/system/libsystem_pthread.dylib (unknown line)
...

======================================================================
Profile collected. A report will print if the Profile module is loaded
======================================================================

Overhead ╎ [+additional indent] Count File:Line; Function
=========================================================
Thread 1 Task 0x000000011687c010 Total snapshots: 572. Utilization: 100%
   ╎147 @Base/client.jl:506; _start()
       ╎ 147 @Base/client.jl:318; exec_options(opts::Base.JLOptions)
...

Thread 2 Task 0x0000000116960010 Total snapshots: 572. Utilization: 0%
   ╎572 @Base/task.jl:587; task_done_hook(t::Task)
      ╎ 572 @Base/task.jl:879; wait()
...

Customization

プロファイリングの時間は、Profile.set_peek_durationで調整できます。

プロファイルレポートはスレッドとタスクごとに分類されます。これを変更するには、引数を取らない関数をProfile.peek_report[]に渡します。たとえば、Profile.peek_report[] = () -> Profile.print()を指定すると、分類がなくなります。この設定は、外部のプロファイルデータコンシューマーによって上書きされる場合もあります。

Reference

Profile.@profile — Macro
@profile

@profile <expression> は、式を実行しながら定期的にバックトレースを取得します。取得したバックトレースは、内部バッファに追加されます。

source

Profile内のメソッドはエクスポートされていないため、たとえばProfile.print()のように呼び出す必要があります。

Profile.clear — Function
clear()

内部バッファにある既存のバックトレースをすべてクリアします。

source
Profile.print — Function
print([io::IO = stdout,] [data::Vector = fetch()], [lidict::Union{LineInfoDict, LineInfoFlatDict} = getdict(data)]; kwargs...)
print(path::String, [cols::Int = 1000], [data::Vector = fetch()], [lidict::Union{LineInfoDict, LineInfoFlatDict} = getdict(data)]; kwargs...)

プロファイリング結果をio(デフォルトではstdout)に出力します。dataベクターを指定しない場合は、蓄積されたバックトレースの内部バッファーが使用されます。対応するターミナルではパスがクリック可能なリンクになり、JULIA_EDITOR向けに行番号付きで表示されます。エディターが設定されていない場合は、ファイルへのリンクのみが表示されます。

キーワード引数には、次のいずれかを任意に組み合わせて指定できます。

  • format – バックトレースを、ツリー構造を示すインデント付き(デフォルトの:tree)で出力するか、インデントなし(:flat)で出力するかを指定します。
  • C – trueの場合、CおよびFortranコードのバックトレースも表示します(通常は除外されます)。
  • combine – true(デフォルト)の場合、同じコード行に対応する命令ポインターをまとめます。
  • maxdepth – :tree形式で、maxdepthを超える深さを制限します。
  • sortedby – :flat形式での並び順を指定します。:filefuncline(デフォルト)はソース行で並べ替え、:countは収集されたサンプル数の順に並べ替え、:overheadは各関数単独で発生したサンプル数で並べ替えます。
  • groupby – タスクやスレッドごとにグループ化するか、グループ化しないかを指定します。選択肢は:none(デフォルト)、:thread、:task、[:thread, :task]、[:task, :thread]です。最後の2つでは、入れ子状にグループ化されます。
  • noisefloor – サンプルのヒューリスティックなノイズフロアを超えるフレームを制限します(形式が:treeの場合のみ適用)。試す値としては2.0が推奨されます(デフォルトは0)。このパラメーターは、n <= noisefloor * √Nとなるサンプルを非表示にします。ここで、nはこの行のサンプル数、Nは呼び出し先のサンプル数です。
  • mincount – 出力対象を、出現回数が少なくともmincountの行に限定します。
  • recur – :tree形式での再帰処理を指定します。:off(デフォルト)は通常どおりツリーを出力します。:flatは、再帰(ip単位)を圧縮し、自己再帰をイテレーターに変換した場合のおおよその効果を示します。:flatcも同様ですが、Cフレームの折りたたみも行います(jl_applyの周辺で予期しない動作をする場合があります)。
  • threads::Union{Int,AbstractVector{Int}} – レポートに含めるスナップショットのスレッドを指定します。なお、これはサンプルを収集するスレッドを制御するものではありません(サンプルは別のマシンで収集されている場合もあります)。
  • tasks::Union{Int,AbstractVector{Int}} – レポートに含めるスナップショットのタスクを指定します。なお、これはサンプルを収集するタスクを制御するものではありません。
Julia 1.8

groupby、threads、tasksの各キーワード引数は、Julia 1.8で導入されました。

Note

Windowsでのプロファイリングはメインスレッドに限られます。他のスレッドはサンプリングされていないため、レポートには表示されません。

source
print([io::IO = stdout,] data::Vector, lidict::LineInfoDict; kwargs...)

プロファイリング結果をioに出力します。このバリアントは、以前のretrieveの呼び出しでエクスポートされた結果を調べるために使用します。バックトレースのベクターdataと、行情報の辞書lidictを指定してください。

有効なキーワード引数については、Profile.print([io], data)を参照してください。

source
Profile.init — Function
init(; n::Integer, delay::Real)

バックトレース間の間隔(秒単位)をdelayで設定し、スレッドごとに保存できる命令ポインタの数をnで設定します。命令ポインタはそれぞれコードの1行に対応し、バックトレースは通常、多数の命令ポインタで構成されます。バックトレースごとに、命令ポインタ用の領域のうち6個分はメタデータと2つのNULL終端マーカーの保存に使われることに注意してください。引数なしでこの関数を呼び出すと現在の設定を取得できます。また、キーワードを使うか、(n, delay)の順に指定することで、それぞれ個別に設定できます。

source
Profile.fetch — Function
fetch(;include_meta = true) -> data

プロファイルのバックトレースバッファのコピーを返します。data の値は、JITコンパイルで使用される正確なメモリアドレスに依存するため、このマシンの現在のセッションでのみ意味を持つことに注意してください。この関数は主に内部向けです。ほとんどのユーザーには、retrieve のほうが適している場合があります。デフォルトでは、threadid や taskid などのメタデータが含まれます。メタデータを除去するには、include_meta を false に設定します。

source
Profile.retrieve — Function
retrieve(; kwargs...) -> data, lidict

プロファイリング結果を移植可能な形式で「エクスポート」します。すべてのバックトレース(data)の集合と、data 内の(セッション固有の)命令ポインターを、ファイル名、関数名、行番号を格納した LineInfo 値に対応付ける辞書を返します。この関数を使うと、プロファイリング結果を保存して後で分析できます。

source
Profile.callers — Function
callers(funcname, [data, lidict], [filename=<filename>], [linerange=<start:stop>])::Vector{Tuple{count, lineinfo}}

以前のプロファイリング結果から、特定の関数を呼び出した関数を特定します。ファイル名を指定すると(必要に応じて、その関数が定義されている行番号の範囲も指定できます)、オーバーロードされたメソッドを区別できます。戻り値は、呼び出し回数と呼び出し元の行情報を含むベクトルです。必要に応じて、dataから取得したバックトレースを指定できます。指定しない場合は、現在の内部プロファイルバッファーが使用されます。retrieve

source
Profile.clear_malloc_data — Function
clear_malloc_data()

--track-allocation を指定して julia を実行すると、保存されているメモリ割り当てデータがすべて消去されます。テストしたいコマンドを実行して(JIT コンパイルを強制したうえで)、clear_malloc_data を呼び出します。その後、コマンドをもう一度実行してから Julia を終了し、生成された *.mem ファイルを確認します。

source
Profile.get_peek_duration — Function
get_peek_duration()

プラットフォームに応じて SIGINFO または SIGUSR1 でトリガーされるプロファイル「peek」の継続時間を秒単位で取得します。

source
Profile.set_peek_duration — Function
set_peek_duration(t::Float64)

プラットフォームに応じて、SIGINFO または SIGUSR1 で起動されるプロファイル「peek」の継続時間を秒単位で設定します。

source

Memory profiling

Profile.Allocs.@profile — Macro
Profile.Allocs.@profile [sample_rate=0.1] expr

expr中に発生したメモリ割り当てをプロファイルし、結果とAllocResults構造体の両方を返します。

サンプリングレートが1.0の場合はすべて記録され、0.0の場合は何も記録されません。

julia> Profile.Allocs.@profile sample_rate=0.01 peakflops()
1.03733270279065e11

julia> results = Profile.Allocs.fetch()

julia> last(sort(results.allocs, by=x->x.size))
Profile.Allocs.Alloc(Vector{Any}, Base.StackTraces.StackFrame[_new_array_ at array.c:127, ...], 5576)

詳しくは、Juliaドキュメントのプロファイリングチュートリアルを参照してください。

Julia 1.11

古いバージョンのJuliaでは、すべてのケースで型を取得できるわけではありませんでした。古いバージョンのJuliaで、型がProfile.Allocs.UnknownTypeの割り当てが表示された場合、プロファイラーは割り当てられたオブジェクトの型を特定できていないことを意味します。これは主に、コンパイラーが生成したコードから割り当てが行われた場合に発生していました。詳しくはissue #43688を参照してください。

Julia 1.11以降では、すべての割り当てについて型が報告されるはずです。

Julia 1.8

割り当てプロファイラーはJulia 1.8で追加されました。

source

Profile.Allocs内のメソッドはエクスポートされていないため、たとえばProfile.Allocs.fetch()のように呼び出す必要があります。

Profile.Allocs.clear — Function
Profile.Allocs.clear()

メモリから、これまでにプロファイルした割り当て情報をすべて消去します。

source
Profile.Allocs.print — Function
Profile.Allocs.print([io::IO = stdout,] [data::AllocResults = fetch()]; kwargs...)

プロファイリング結果をioに出力します(デフォルトはstdout)。dataベクトルを指定しない場合は、蓄積されたバックトレースを格納する内部バッファが使用されます。

有効なキーワード引数については、Profile.printを参照してください。

source
Profile.Allocs.fetch — Function
Profile.Allocs.fetch()

記録された割り当てを取得し、分析可能な Julia オブジェクトにデコードします。

source
Profile.Allocs.start — Function
Profile.Allocs.start(sample_rate::Real)

指定したサンプリングレートで割り当ての記録を開始します。サンプリングレートが1.0の場合はすべてを記録し、0.0の場合は何も記録しません。

source

Heap Snapshots

Profile.take_heap_snapshot — Function
Profile.take_heap_snapshot(filepath::String, all_one::Bool=false;
                           redact_data::Bool=true, streaming::Bool=false)
Profile.take_heap_snapshot(all_one::Bool=false; redact_data:Bool=true,
                           dir::String=nothing, streaming::Bool=false)

ヒープのスナップショットを、Chrome DevTools のヒープスナップショットビューアーが想定する JSON 形式(拡張子は .heapsnapshot)でファイルに書き込みます。デフォルトではカレントディレクトリ(書き込み不可の場合は tempdir)に $pid_$timestamp.heapsnapshot という名前で保存します。指定があれば dir に保存します。また、フルパスまたは IO ストリームを指定することもできます。

all_one が true の場合、オブジェクトを簡単に数えられるよう、すべてのオブジェクトのサイズを 1 として記録します。それ以外の場合は、実際のサイズを記録します。

redact_data が true(デフォルト)の場合、オブジェクトの内容は出力しません。

streaming が true の場合、スナップショット全体をメモリに保持せずに済むよう、filepath をプレフィックスとして、スナップショットデータを 4 つのファイルにストリーミング出力します。メモリに制約のある環境では、このオプションを使用してください。これらのファイルは、Profile.HeapSnapshot.assemble_snapshot() を呼び出すことで再構成できます。この処理はオフラインで実行できます。

注:パフォーマンス上の理由から、streaming=true を設定することを強く推奨します。分割されたファイルからスナップショットを再構成するには、スナップショット全体をメモリに保持する必要があります。そのため、スナップショットが大きい場合、処理中にメモリ不足になる可能性があります。ストリーミングを使えば、ワークロードの実行終了後にオフラインで再構成できます。streaming=false(デフォルト。後方互換性のため)でスナップショットを取得しようとしてプロセスが強制終了された場合でも、分割ファイルは指定した filepath と同じディレクトリに必ず保存されます。そのため、後から assemble_snapshot() を使ってスナップショットを再構成できます。

source

Profile内のメソッドはエクスポートされていないため、たとえばProfile.take_heap_snapshot()のように呼び出す必要があります。

julia> using Profile

julia> Profile.take_heap_snapshot("snapshot.heapsnapshot")

ヒープ上のJuliaオブジェクトをトレースして記録します。記録されるのは、Juliaのガベージコレクターが認識しているオブジェクトのみです。ガベージコレクターが管理していない外部ライブラリによるメモリ割り当ては、スナップショットに含まれません。

スナップショットの記録中にメモリ不足(OOM)にならないよう、ヒープスナップショットを4つのファイルにストリーミング出力するオプションを追加しました。

julia> using Profile

julia> Profile.take_heap_snapshot("snapshot"; streaming=true)

ここで「snapshot」は、生成されるファイルの接頭辞となるファイルパスです。

スナップショットファイルを生成したら、次のコマンドでオフラインで結合できます。

julia> using Profile

julia> Profile.HeapSnapshot.assemble_snapshot("snapshot", "snapshot.heapsnapshot")

生成されたヒープスナップショットファイルは、Chrome DevToolsにアップロードして表示できます。詳しくは、chrome devtools docsを参照してください。Chromiumのヒープスナップショットを解析する別の方法として、VS Code拡張機能のms-vscode.vscode-js-profile-flameを利用できます。

Firefoxのヒープスナップショットは形式が異なるため、現在、Juliaが生成したヒープスナップショットの表示にはFirefoxを使用できません。