Instrumenting Julia with DTrace, and bpftrace
DTrace と bpftrace は、プロセスに軽量な計測を行うためのツールです。プロセスの実行中に計測を有効化・無効化でき、無効時のオーバーヘッドは最小限です。
Enabling support
Linux では、systemtap パッケージをインストールします。このパッケージには dtrace のバージョンが含まれています。次に、以下の内容を記述した Make.user ファイルを作成します。
WITH_DTRACE=1これにより USDT プローブが有効になります。
Verifying
> readelf -n usr/lib/libjulia-internal.so.1
Displaying notes found in: .note.gnu.build-id
Owner Data size Description
GNU 0x00000014 NT_GNU_BUILD_ID (unique build ID bitstring)
Build ID: 57161002f35548772a87418d2385c284ceb3ead8
Displaying notes found in: .note.stapsdt
Owner Data size Description
stapsdt 0x00000029 NT_STAPSDT (SystemTap probe descriptors)
Provider: julia
Name: gc__begin
Location: 0x000000000013213e, Base: 0x00000000002bb4da, Semaphore: 0x0000000000346cac
Arguments:
stapsdt 0x00000032 NT_STAPSDT (SystemTap probe descriptors)
Provider: julia
Name: gc__stop_the_world
Location: 0x0000000000132144, Base: 0x00000000002bb4da, Semaphore: 0x0000000000346cae
Arguments:
stapsdt 0x00000027 NT_STAPSDT (SystemTap probe descriptors)
Provider: julia
Name: gc__end
Location: 0x000000000013214a, Base: 0x00000000002bb4da, Semaphore: 0x0000000000346cb0
Arguments:
stapsdt 0x0000002d NT_STAPSDT (SystemTap probe descriptors)
Provider: julia
Name: gc__finalizer
Location: 0x0000000000132150, Base: 0x00000000002bb4da, Semaphore: 0x0000000000346cb2
Arguments:Adding probes in libjulia
プローブは、src/uprobes.d ファイル内で DTrace 形式により宣言します。生成されたヘッダーファイルは src/julia_internal.h にインクルードされます。プローブを追加する場合は、そこで noop 実装も用意してください。
ヘッダーにはセマフォ *_ENABLED と、プローブを実際に呼び出すコードが含まれます。プローブの引数を計算するコストが高い場合は、まずプローブが有効かどうかを確認してから、引数を計算してプローブを呼び出してください。
if (JL_PROBE_{PROBE}_ENABLED())
auto expensive_arg = ...;
JL_PROBE_{PROBE}(expensive_arg);プローブに引数がない場合は、セマフォのチェックを含めないことを推奨します。USDT プローブが有効な場合、プローブが有効かどうかにかかわらず、セマフォのコストはメモリの読み込みです。
#define JL_PROBE_GC_BEGIN_ENABLED() __builtin_expect (julia_gc__begin_semaphore, 0)
__extension__ extern unsigned short julia_gc__begin_semaphore __attribute__ ((unused)) __attribute__ ((section (".probes")));一方、プローブ自体は noop スレッドであり、プローブハンドラーへのトランポリンにパッチされます。
Available probes
GC probes
julia:gc__begin: GC があるスレッドで実行を開始し、stop-the-world を開始します。julia:gc__stop_the_world: すべてのスレッドがセーフポイントに到達し、GC が実行されます。julia:gc__mark__begin: マークフェーズの開始julia:gc__mark_end(scanned_bytes, perm_scanned): マークフェーズの終了julia:gc__sweep_begin(full): スイープの開始julia:gc__sweep_end: スイープフェーズの終了julia:gc__end: GC が終了し、他のスレッドが処理を再開します。julia:gc__finalizer: 最初に GC を実行したスレッドがファイナライザーの実行を終えました。
Task runtime probes
julia:rt__run__task(task): 現在のスレッドでタスクtaskに切り替えます。julia:rt__pause__task(task): 現在のスレッドでタスクtaskから切り替えます。julia:rt__new__task(parent, child): 現在のスレッドでタスクparentがタスクchildを作成しました。julia:rt__start__task(task): タスクtaskが新しいスタックで初めて実行を開始しました。julia:rt__finish__task(task): タスクtaskは終了し、以後実行されません。julia:rt__start__process__events(task): タスクtaskが libuv イベントの処理を開始しました。julia:rt__finish__process__events(task): タスクtaskが libuv イベントの処理を終了しました。
Task queue probes
julia:rt__taskq__insert(ptls, task): スレッドptlsが PARTR multiq へのtaskの挿入を試みました。julia:rt__taskq__get(ptls, task): スレッドptlsが PARTR multiq からtaskを取り出しました。
Thread sleep/wake probes
julia:rt__sleep__check__wake(ptls, old_state): スレッド (PTLSptls) が起床しています。直前の状態はold_stateでした。julia:rt__sleep__check__wakeup(ptls): スレッド (PTLSptls) が自らを起床させました。julia:rt__sleep__check__sleep(ptls): スレッド (PTLSptls) がスリープしようとしています。julia:rt__sleep__check__taskq__wake(ptls): PARTR multiq にタスクがあるため、スレッド (PTLSptls) はスリープできません。julia:rt__sleep__check__task__wake(ptls): Base workqueue にタスクがあるため、スレッド (PTLSptls) はスリープできません。julia:rt__sleep__check__uv__wake(ptls): libuv の起床通知があるため、スレッド (PTLSptls) はスリープできません。
Probe usage examples
GC stop-the-world latency
bpftrace のスクリプト例は contrib/gc_stop_the_world_latency.bt にあり、すべてのスレッドがセーフポイントに到達するまでの遅延のヒストグラムを作成します。
次の julia -t 2 を指定して、この Julia コードを実行します。
using Base.Threads
fib(x) = x <= 1 ? 1 : fib(x-1) + fib(x-2)
beaver = @spawn begin
while true
fib(30)
# A manual safepoint is necessary since otherwise this loop
# may never yield to GC.
GC.safepoint()
end
end
allocator = @spawn begin
while true
zeros(1024)
end
end
wait(allocator)そして、2 つ目のターミナルで次を実行します。
> sudo contrib/bpftrace/gc_stop_the_world_latency.bt
Attaching 4 probes...
Tracing Julia GC Stop-The-World Latency... Hit Ctrl-C to end.
^C
@usecs[1743412]:
[4, 8) 971 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@|
[8, 16) 837 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ |
[16, 32) 129 |@@@@@@ |
[32, 64) 10 | |
[64, 128) 1 | |実行中の Julia プロセスにおける stop-the-world フェーズの遅延分布を確認できます。
Task spawn monitor
タスクが別のタスクを生成するタイミングを知りたい場合があります。rt__new__task を使えば、簡単に確認できます。プローブの最初の引数 parent は、新しいタスクを作成する既存のタスクです。つまり、監視したいタスクのアドレスが分かれば、そのタスクが生成したタスクだけを簡単に確認できます。方法を見てみましょう。まず Julia セッションを起動し、PID と REPL のタスクアドレスを取得します。
> julia
_
_ _ _(_)_ | Documentation: https://docs.julialang.org
(_) | (_) (_) |
_ _ _| |_ __ _ | Type "?" for help, "]?" for Pkg help.
| | | | | | |/ _` | |
| | |_| | | | (_| | | Version 1.6.2 (2021-07-14)
_/ |\__'_|_|_|\__'_| | Official https://julialang.org release
|__/ |
1> getpid()
997825
2> current_task()
Task (runnable) @0x00007f524d088010次に bpftrace を起動し、親がこのタスクである場合に限って rt__new__task を監視します。
sudo bpftrace -p 997825 -e 'usdt:usr/lib/libjulia-internal.so:julia:rt__new__task /arg0==0x00007f524d088010/{ printf("Task: %x\n", arg0); }'
(上の例では、arg0 が最初の引数、parent が2番目の引数です。)
タスクを1つだけ生成すると、
Threads.@spawn 1+1
そのタスクが作成されたことが確認できます。
Task: 4d088010
しかし、新しく生成したタスクから複数のタスクを生成しても、
Threads.@spawn for i in 1:10
Threads.@spawn 1+1
endbpftrace からは1つのタスクしか確認できません。
Task: 4d088010
しかも、それは監視していたタスクと同じです。もちろん、このフィルターを外せば、新しく作成されたすべてのタスクを簡単に確認できます。
sudo bpftrace -p 997825 -e 'usdt:usr/lib/libjulia-internal.so:julia:rt__new__task { printf("Task: %x\n", arg0); }'
Task: 4d088010
Task: 4dc4e290
Task: 4dc4e290
Task: 4dc4e290
Task: 4dc4e290
Task: 4dc4e290
Task: 4dc4e290
Task: 4dc4e290
Task: 4dc4e290
Task: 4dc4e290
Task: 4dc4e290ルートタスクと、新たに生成されたタスクが、さらに新しく生成された10個のタスクの親になっていることを確認できます。
Thundering herd detection
タスクランタイムでは、「サンダリングハード」問題が発生することがあります。静止状態のタスクランタイムに処理が追加されると、各スレッドが処理できるだけの仕事がない場合でも、すべてのスレッドがスリープ状態から起こされることがあります。その結果、すべてのスレッドが起床し、実行する仕事が見つからず同時に再びスリープするまでの間、余分な遅延や CPU サイクルが発生します。
bpftrace を使えば、この問題を簡単に確認できます。まず、1つ目のターミナルで複数スレッド(この例では6スレッド)を使って Julia を起動し、そのプロセスの PID を取得します。
> julia -t 6
_
_ _ _(_)_ | Documentation: https://docs.julialang.org
(_) | (_) (_) |
_ _ _| |_ __ _ | Type "?" for help, "]?" for Pkg help.
| | | | | | |/ _` | |
| | |_| | | | (_| | | Version 1.6.2 (2021-07-14)
_/ |\__'_|_|_|\__'_| | Official https://julialang.org release
|__/ |
1> getpid()
997825次に、別のターミナルで bpftrace を起動し、特に rt__sleep__check__wake フックをプローブして、対象プロセスを監視します。
sudo bpftrace -p 997825 -e 'usdt:usr/lib/libjulia-internal.so:julia:rt__sleep__check__wake { printf("Thread wake up! %x\n", arg0); }'
続いて、Julia でタスクを1つ作成して実行します。
Threads.@spawn 1+1
すると、bpftrace に次のような出力が表示されます。
Thread wake up! 3f926100
Thread wake up! 3ebd5140
Thread wake up! 3f876130
Thread wake up! 3e2711a0
Thread wake up! 3e312190生成したタスクは1つだけで、一度に処理できるスレッドも1つだけなのに、他のスレッドもすべて起床しました。将来的には、より賢いタスクランタイムであれば、起床させるスレッドを1つだけにする(あるいは、生成したスレッド自身がタスクを実行できるため、どのスレッドも起床させない)ようになるかもしれません。そうなれば、この現象は解消されるはずです。
Task Monitor with BPFnative.jl
BPFnative.jl は、bpftrace と同様に USDT プローブポイントにアタッチできます。タスクランタイム、GC、スレッドのスリープ/起床の遷移を監視するデモはこちらにあります。here
Notes on using bpftrace
bpftrace 形式のプローブの例は次のとおりです。
usdt:usr/lib/libjulia-internal.so:julia:gc__begin
{
@start[pid] = nsecs;
}プローブ宣言では、まず種類 usdt を指定し、続いてライブラリのパスまたは PID、プロバイダー名 julia、プローブ名 gc__begin を指定します。ここでは libjulia-internal.so への相対パスを使っていますが、本番環境では絶対パスが必要になる場合があります。