ja ja ja ja ja ja ja ja ja en ja ja ja ja ja ja ja ja ja ja ja fr ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja en ja ja ja ja ja ja ja ja ja ja ja en ja ja en ja ja vi ja sv eu ja en en hu ja ja en en pl ja ja jbo hbs_lat en ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja
Apache Arrowデータのメディアタイプ(MIMEタイプ) - 2021-06-25 - ククログ
IANAに登録せずにApache Arrowプロジェクトとして「このメディアタイプを使ってねー」とすることもできましたが、Apache ThriftはIANAに登録していたのでApache Arrowも登録することにしました。
Apache Arrowのデータフォーマット
Apache Arrowは次の2つのデータフォーマットを定義しています。
ストリーミングフォーマット
中身はほとんど同じですが、次のような違いがあります。
ファイルフォーマットはデータすべてがないと処理を始められない。
ストリーミングフォーマットはすべてのデータがなくてもデータを先頭から順に読み出しながら処理できる。
ファイルフォーマットはランダムアクセス可能だがストリーミングフォーマットは先頭から順に読むことしかできない。
ファイルに保存してデータをやり取りする場合はファイルフォーマットが適切で、ネットワーク経由でデータをやり取りする場合はストリーミングフォーマットが適切です。
Apache Arrowデータのメディアタイプ
それぞれメディアタイプは次のようになりました。
ファイルフォーマット:application/vnd.apache.arrow.file
ストリーミングフォーマット:application/vnd.apache.arrow.stream
application/vnd.apache.arrow.まで共通です。
Apache Arrowデータの拡張子
メディアタイプの申請内で拡張子も決める必要があったのでそれぞれ次のようにしました。
ファイルフォーマット:.arrow
ストリーミングフォーマット:.arrows
ストリーミングフォーマットの拡張子はなかなかパッとした案がでなかったのですが、JSON Linesは.jsonにlをつけて.jsonlにしているからStreamingのsをつけて.arrosにするのはどう?という私の案が通って.arrowsになりました。
Apache Arrowデータのメディアタイプと拡張子が決まったのでこれからはこのメディアタイプと拡張子を使ってください!HTTPでApache Arrowデータをやりとりするときとかに必要になります。
Groongaは違うメディアタイプ(application/x-apache-arrow-streaming)と拡張子(ストリーミングフォーマットに.arrowsじゃなくて.arrow)を使っていたので近いうちに正式なメディアタイプに変更します。もともと、GroongaでApache Arrowデータを扱うときに公式なメディアタイプと拡張子があるといいなぁと思ったのでApache Arrowコミュニティーで私がメディアタイプどうするー?と声をあげたことからこの話が始まったのでした。一段落ついてよかったです。
Apache Arrow
現在クリアコードではソフトウェア開発者を募集しています! フリーソフトウェア開発での開発の仕方をベースに、成果や知識を公開し共有しながら業務に携われます。
RubyKaigi 2022 after event - 「Fast data processing with Ruby and Apache Arrow」のスピーカーに質問しよう! RubyKaigi 2022で須藤が発表した内容をより深堀するイベントをYouTube Liveで開催しました!アーカイブ公開中です。
2022年6月Apache Arrowの最新情報が一堂に集うデジタルカンファレンス『The Data Thread』に須藤が「Why Apache Arrow is important for Ruby」と題しビデオ登壇しました。動画はチャンネルからご覧いただけます。
2021-11-17 db tech showcase 2021で Apache Arrow Flight について講演しました!
Groongaのクエリーチューニングの方法
ノータブルコード17 - バッチファイルにLuaスクリプトを埋め込む技
Apache Arrow
milter manager
ククログの記事はCC BY-SA 4.0とGFDLのデュアルライセンスで自由に利用できます。
クリアコードはプログラミングが楽しいソフトウェア開発者を1名募集しています。
クリアコードは「クリアコードをいい感じにする人」を1名募集しています。
クリアコードはフリーソフトウェア開発で培った技術力を提供しています。特にMozilla製品(Mozilla FirefoxとMozilla Thunderbird)とRubyとGroonga(全文検索)に関連した開発を得意としています。