Networking and Streams
Juliaには、端末、パイプ、TCPソケットなどのストリーミングI/Oオブジェクトを扱うための豊富なインターフェースが用意されています。これらのオブジェクトでは、データをストリームとして送受信できます。つまり、データは利用可能になった順に処理されます。このインターフェースはシステムレベルでは非同期ですが、プログラマーには同期的な形式で提供されます。これは、Juliaの協調的スレッド機能(coroutine)を多用することで実現されています。
Basic Stream I/O
Juliaのすべてのストリームは、少なくともreadメソッドとwriteメソッドを公開しています。どちらもストリームを第1引数に取ります。たとえば、次のようになります。
julia> write(stdout, "Hello World"); # suppress return value 11 with ;
Hello World
julia> read(stdin, Char)
'\n': ASCII/Unicode U+000a (category Cc: Other, control)writeは、stdoutに書き込まれたバイト数("Hello World")である11を返します。ただし、この戻り値は;によって表示されません。
ここでは、Juliaに改行を読み込ませるため、もう一度Enterキーを押しました。この例から分かるように、writeでは書き込むデータを第2引数に指定する一方、readでは読み込むデータの型を第2引数に指定します。
たとえば、単純なバイト配列を読み込むには、次のようにします。
julia> x = zeros(UInt8, 4)
4-element Vector{UInt8}:
0x00
0x00
0x00
0x00
julia> read!(stdin, x)
abcd
4-element Vector{UInt8}:
0x61
0x62
0x63
0x64ただし、これは少し扱いにくいため、いくつかの便利なメソッドが用意されています。たとえば、上の処理は次のようにも書けます。
julia> read(stdin, 4)
abcd
4-element Vector{UInt8}:
0x61
0x62
0x63
0x64行全体を読み込みたい場合は、次のようにします。
julia> readline(stdin)
abcd
"abcd"端末の設定によっては、TTY(「テレタイプ端末」)が行バッファリングされているため、stdinのデータがJuliaに送られる前に、もう一度Enterキーを押す必要がある場合があります。TTY上でコマンドラインからJuliaを実行すると、出力は既定でコンソールに送られ、標準入力はキーボードから読み込まれます。
stdinからすべての行を読み込むには、eachlineを使います。
for line in eachline(stdin)
print("Found $line")
end文字単位で読み込みたい場合は、readを使います。
while !eof(stdin)
x = read(stdin, Char)
println("Found: $x")
endText I/O
前述のwriteメソッドは、バイナリストリームに対して動作することに注意してください。特に、値は標準的なテキスト表現に変換されず、そのまま書き出されます。
julia> write(stdout, 0x61); # suppress return value 1 with ;
awrite関数によってaがstdoutに書き込まれ、戻り値は1になります(0x61は1バイトだからです)。
テキストI/Oには、用途に応じてprintメソッドまたはshowメソッドを使います(両者の違いについて詳しくは、それぞれのドキュメントを参照してください)。
julia> print(stdout, 0x61)
97カスタム型のdisplayメソッドの実装方法については、Custom pretty-printingを参照してください。
IO Output Contextual Properties
I/O出力では、showメソッドにコンテキスト情報を渡せると便利な場合があります。IOContextオブジェクトは、任意のメタデータをI/Oオブジェクトに関連付けるための仕組みを提供します。たとえば、:compact => trueは、呼び出されたshowメソッドに、可能であれば短い出力を表示するよう指示するヒントをI/Oオブジェクトに追加します。一般的なプロパティの一覧については、IOContextのドキュメントを参照してください。
Working with Files
write(filename::String, content)メソッドを使うと、ファイルに内容を書き込めます。
julia> write("hello.txt", "Hello, World!")
13(13は書き込まれたバイト数です。)
read(filename::String)メソッドを使うとファイルの内容を読み込めます。また、内容を文字列として読み込むにはread(filename::String, String)を使います。
julia> read("hello.txt", String)
"Hello, World!"Advanced: streaming files
上記のreadメソッドとwriteメソッドを使うと、ファイルの内容を読み書きできます。ほかの多くの環境と同様に、Juliaにもopen関数があります。この関数はファイル名を受け取り、ファイルの読み書きに使えるIOStreamオブジェクトを返します。たとえば、内容がHello, World!であるhello.txtというファイルがあるとします。
julia> f = open("hello.txt")
IOStream(<file hello.txt>)
julia> readlines(f)
1-element Vector{String}:
"Hello, World!"ファイルに書き込むには、write("w")フラグを指定して開きます。
julia> f = open("hello.txt","w")
IOStream(<file hello.txt>)
julia> write(f,"Hello again.")
12この時点でhello.txtの内容を確認すると、空であることが分かります。まだディスクに何も書き込まれていないためです。実際に書き込み内容をディスクに反映するには、IOStreamを閉じる必要があります。
julia> close(f)もう一度hello.txtを確認すると、内容が変更されていることが分かります。
ファイルを開き、その内容を操作してから閉じる、という処理はよく使われます。これを簡単に行うため、openには別の呼び出し方もあります。第1引数に関数、第2引数にファイル名を渡すと、ファイルを開き、そのファイルを引数として関数を呼び出した後、ファイルを閉じます。たとえば、次の関数があるとします。
function read_and_capitalize(f::IOStream)
return uppercase(read(f, String))
end次のように呼び出せます。
julia> open(read_and_capitalize, "hello.txt")
"HELLO AGAIN."これにより、hello.txtを開き、そのファイルに対してread_and_capitalizeを呼び出し、hello.txtを閉じて、大文字に変換した内容を返します。
名前付き関数を定義する手間さえ省きたい場合は、do構文を使うと、その場で無名関数を作成できます。
julia> open("hello.txt") do f
uppercase(read(f, String))
end
"HELLO AGAIN."標準出力をファイルにリダイレクトするには、
out_file = open("output.txt", "w")
# Redirect stdout to file
redirect_stdout(out_file) do
# Your code here
println("This output goes to `out_file` via the `stdout` variable.")
end
# Close file
close(out_file)
標準出力をファイルにリダイレクトすると、プログラムの出力を保存して分析したり、処理を自動化したり、コンプライアンス要件を満たしたりするのに役立ちます。
A simple TCP example
TCPソケットを使った簡単な例から始めましょう。この機能は、Socketsという標準ライブラリパッケージで提供されています。まず、簡単なサーバーを作成します。
julia> using Sockets
julia> errormonitor(Threads.@spawn begin
server = listen(2000)
while true
sock = accept(server)
println("Hello World\n")
end
end)
Task (runnable) @0x00007fd31dc11ae0UnixソケットAPIに慣れている方には、メソッド名に見覚えがあるでしょう。ただし、使い方は生のUnixソケットAPIよりも少し簡単です。listenを最初に呼び出すと、ここではポート2000で着信接続を待ち受けるサーバーが作成されます。同じ関数を使って、ほかの種類のサーバーも作成できます。
julia> listen(2000) # Listens on localhost:2000 (IPv4)
Sockets.TCPServer(active)
julia> listen(ip"127.0.0.1",2000) # Equivalent to the first
Sockets.TCPServer(active)
julia> listen(ip"::1",2000) # Listens on localhost:2000 (IPv6)
Sockets.TCPServer(active)
julia> listen(IPv4(0),2001) # Listens on port 2001 on all IPv4 interfaces
Sockets.TCPServer(active)
julia> listen(IPv6(0),2001) # Listens on port 2001 on all IPv6 interfaces
Sockets.TCPServer(active)
julia> listen("testsocket") # Listens on a UNIX domain socket
Sockets.PipeServer(active)
julia> listen("\\\\.\\pipe\\testsocket") # Listens on a Windows named pipe
Sockets.PipeServer(active)最後の呼び出しでは戻り値の型が異なることに注意してください。このサーバーはTCPではなく、名前付きパイプ(Windows)またはUNIXドメインソケットで待ち受けるためです。また、Windowsの名前付きパイプの形式は、名前のプレフィックス(\\.\pipe\)によってfile typeが一意に識別されるよう、特定のパターンに従う必要があります。TCPと名前付きパイプまたはUNIXドメインソケットの違いは微妙で、acceptメソッドとconnectメソッドに関係しています。acceptメソッドは、先ほど作成したサーバーに接続しているクライアントとの接続を取得します。一方、connect関数は、指定した方式でサーバーに接続します。connect関数はlistenと同じ引数を取るため、環境(ホスト、cwdなど)が同じであれば、接続を確立する際に、待ち受け時にconnectへ渡したものと同じ引数を指定できます。それでは、先ほどサーバーを作成した状態で試してみましょう。
julia> connect(2000)
TCPSocket(open, 0 bytes waiting)
julia> Hello World予想どおり、「Hello World」と表示されました。では、内部で何が起きたのかを見てみましょう。connectを呼び出すと、先ほど作成したサーバーに接続します。その間にaccept関数は、新しく作成されたソケットへのサーバー側の接続を返し、接続が成功したことを示す「Hello World」を表示します。
Juliaの大きな強みの一つは、実際のI/O処理は非同期で行われるにもかかわらず、APIが同期的に公開されていることです。そのため、コールバックを気にしたり、サーバーが実行されるように手配したりする必要はありません。connectを呼び出すと、現在のタスクは接続が確立するまで待機し、確立後にのみ実行を再開します。この待機中に、接続要求が届いたためサーバータスクが再開し、接続を受け入れてメッセージを表示した後、次のクライアントを待ちます。読み書きも同じように動作します。これを確認するため、次の簡単なエコーサーバーを見てみましょう。
julia> errormonitor(Threads.@spawn begin
server = listen(2001)
while true
sock = accept(server)
Threads.@spawn while isopen(sock)
write(sock, readline(sock, keep=true))
end
end
end)
Task (runnable) @0x00007fd31dc12e60
julia> clientside = connect(2001)
TCPSocket(RawFD(28) open, 0 bytes waiting)
julia> errormonitor(Threads.@spawn while isopen(clientside)
write(stdout, readline(clientside, keep=true))
end)
Task (runnable) @0x00007fd31dc11870
julia> println(clientside,"Hello World from the Echo Server")
Hello World from the Echo Serverほかのストリームと同様に、ソケットを切断するにはcloseを使います。
julia> close(clientside)Resolving IP Addresses
connectメソッドのうち、listenメソッドに従わないものの一つがconnect(host::String,port)です。このメソッドは、hostパラメーターで指定されたホストの、portパラメーターで指定されたポートへの接続を試みます。たとえば、次のような処理ができます。
julia> connect("google.com", 80)
TCPSocket(RawFD(30) open, 0 bytes waiting)この機能の基盤となるのはgetaddrinfoで、適切なアドレス解決を行います。
julia> getaddrinfo("google.com")
ip"74.125.226.225"Asynchronous I/O
Base.readとBase.writeが公開するすべてのI/O操作は、coroutinesを使って非同期に実行できます。Threads.@spawnマクロを使うと、ストリームの読み書きを行う新しいコルーチンを作成できます。
julia> task = Threads.@spawn open("foo.txt", "w") do io
write(io, "Hello, World!")
end;
julia> wait(task)
julia> readlines("foo.txt")
1-element Vector{String}:
"Hello, World!"複数の非同期操作を並行して実行し、すべての完了を待ちたい場面はよくあります。@syncマクロを使うと、ラップしたすべてのコルーチンが終了するまでプログラムをブロックできます。
julia> using Sockets
julia> @sync for hostname in ("google.com", "github.com", "julialang.org")
Threads.@spawn begin
conn = connect(hostname, 80)
write(conn, "GET / HTTP/1.1\r\nHost:$(hostname)\r\n\r\n")
readline(conn, keep=true)
println("Finished connection to $(hostname)")
end
end
Finished connection to google.com
Finished connection to julialang.org
Finished connection to github.comMulticast
Juliaは、User Datagram Protocol(UDP)をトランスポートとして、IPv4およびIPv6上のmulticastをサポートしています。
Transmission Control Protocol(TCP)とは異なり、UDPはアプリケーションの要件についてほとんど前提を置きません。TCPは、フロー制御(スループットを最大化するために送信速度を上げたり下げたりする)、信頼性(失われたパケットや破損したパケットを自動的に再送する)、順序制御(アプリケーションに渡す前にOSがパケットを並べ替える)、セグメントサイズの制御、セッションの確立と終了を提供します。UDPには、こうした機能はありません。
UDPの一般的な用途の一つがマルチキャストです。TCPは、ちょうど2台のデバイス間で通信するためのステートフルなプロトコルです。一方、UDPでは特別なマルチキャストアドレスを使って、複数のデバイスと同時に通信できます。
Receiving IP Multicast Packets
UDPマルチキャストでデータを送信するには、ソケットに対してrecvを実行するだけです。最初に受信したパケットが返されます。ただし、それが送信した最初のパケットとは限らないことに注意してください。
using Sockets
group = ip"228.5.6.7"
socket = Sockets.UDPSocket()
bind(socket, ip"0.0.0.0", 6789)
join_multicast_group(socket, group)
println(String(recv(socket)))
leave_multicast_group(socket, group)
close(socket)Sending IP Multicast Packets
UDPマルチキャストでデータを送信するには、ソケットに対してsendを実行するだけです。送信側はマルチキャストグループに参加する必要がないことに注意してください。
using Sockets
group = ip"228.5.6.7"
socket = Sockets.UDPSocket()
send(socket, group, 6789, "Hello over IPv4")
close(socket)IPv6 Example
この例は前のプログラムと同じ機能を提供しますが、ネットワーク層のプロトコルとしてIPv6を使います。
リスナー:
using Sockets
group = Sockets.IPv6("ff05::5:6:7")
socket = Sockets.UDPSocket()
bind(socket, Sockets.IPv6("::"), 6789)
join_multicast_group(socket, group)
println(String(recv(socket)))
leave_multicast_group(socket, group)
close(socket)送信側:
using Sockets
group = Sockets.IPv6("ff05::5:6:7")
socket = Sockets.UDPSocket()
send(socket, group, 6789, "Hello over IPv6")
close(socket)