en ja ja ja ja ja ja ja ja en ja ja ja ja ja ja ja ja ja ja en ru ja ja ja en ja ja ja ja zh ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja pl ja en ja ja ja ja ja ja ja ja ja ja ja en ja ja en ja ja vi ja sv eu ja en en hu ja ja en en pl ja ja jbo hbs_lat en ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja
RubyKaigi 2022 - Fast data processing with Ruby and Apache Arrow #rubykaigi - 2022-09-13 - ククログ
RubyKaigi 2022でFast data processing with Ruby and Apache ArrowというApache Arrowを使ってRubyで高速にデータ処理する話をした須藤です。
RubyKaigi Takeout 2021のRed ArrowのトークではRed Arrowを中心にできることをたくさん紹介しました。その発展形として今年は実際に使えそうな感じになっていることを紹介したかったので、高速データ処理機能にフォーカスすることにしました。が、採択されて資料を作り始めてみると「実際に使えそう」というには各機能の実装にもう少しブラッシュアップが必要なことがわかりました。なんと。。。
ということで、Apache Arrowを使って高速にデータ処理できる各種方法について次のようにまとめることにしました。
高速にデータを処理したいケース
そのケースの実現を阻害する課題
その課題の解決方法の概要
実際に動くRubyのコードをデモ
いろいろなケースがあった方が「このケースは自分も高速にしたい!」と感じる人が増えそうかと思い、できるだけ多くのケースを入れるようにまとめました。が、その代償として各ケースの詳細や速さがわかる数値を入れることは諦めました。そのため、「すごそうな気がする!」レベルの話になっています。
ただ、それでも興味を持ってくれた人は例年より多く、Red Data Toolsのチャットにはすでに数人新しい人が入ってきてくれています!話してよかった!
でも、いつか、詳細も説明する機会があるといいな。。。ということで、今回のトークについて深堀りするイベントを次の通り開催します!
イベント名:RubyKaigi 2022 after event - 「Fast data processing with Ruby and Apache Arrow」のスピーカーに質問しよう!
目的:RubyKaigi 2022のトーク「Fast data processing with Ruby and Apache Arrow」で話されなかったことについてスピーカーに質問して理解を深めよう!
日時:9月22日(木)10:00-11:00
場所:オンライン(YouTube live: https://www.youtube.com/watch?v=bpuJWC9_USY )
藤本(質問者、How fast really is Ruby 3.x?のスピーカー)
田辺(質問者、@sunaot、RubyKaigi 2022でシャトルバススポンサーをしていたエス・エム・エスさんの技術責任者)
参加者以外からの質問も受け付けるので、聞きたいことがある人はイベント終了までの間に次のいずれかの手段で質問を共有してください。
↑のYouTube liveページのコメント・チャット
Red Data Toolsのチャット
Twitterで#reddatatools付きでツイート
久しぶりにオフライン参加できるようになったので今年はオフラインで参加しました。オンラインでの参加では発表関連のコミュニケーションしかできませんでしたが、オフラインでの参加ではちょっとした相談事ができるのがよいところです。
たとえば、Red Data Toolsに参加している@ericgpksに今取り組んでいるstrscanの改良方法について口頭で説明したり、同じくRed Data Toolsに参加している@otegamiにactiverecord-duckdb-adapterの実装方針を説明したりできました。
他にもtest-unitやRubyGemsやMySQLのFlight SQLインターフェイスなども相談できました。
自宅から参加できるのでオンラインでの参加の方が楽ですが、オフラインでの参加でしかできない(しにくい)こともあるので、今回はオフラインで参加してよかったです。
RubyKaigi 2022でRubyとApache Arrowで高速にデータ処理をする方法を紹介しました。ただ、どうして高速なのかといった詳細は紹介できなかったので9月22日(木)10:00から詳細を聞くイベントを開催します。RubyとApache Arrowが気になる人はぜひ質問をもって参加してください。
私と一緒に「Rubyでデータ処理をできるようにする!」を仕事として取り組みたい人はクリアコードのApache Arrow関連業務の募集要項を読んでください。
Apache Arrow
現在クリアコードではソフトウェア開発者を募集しています! フリーソフトウェア開発での開発の仕方をベースに、成果や知識を公開し共有しながら業務に携われます。
RubyKaigi 2022 after event - 「Fast data processing with Ruby and Apache Arrow」のスピーカーに質問しよう! RubyKaigi 2022で須藤が発表した内容をより深堀するイベントをYouTube Liveで開催しました!アーカイブ公開中です。
2022年6月Apache Arrowの最新情報が一堂に集うデジタルカンファレンス『The Data Thread』に須藤が「Why Apache Arrow is important for Ruby」と題しビデオ登壇しました。動画はチャンネルからご覧いただけます。
2021-11-17 db tech showcase 2021で Apache Arrow Flight について講演しました!
Mesonを使ってGObject Introspection対応のビルドシステムを構築する方法
RubyKaigi 2022に現地参加してきました! #rubykaigi
Apache Arrow
milter manager
ククログの記事はCC BY-SA 4.0とGFDLのデュアルライセンスで自由に利用できます。
クリアコードはプログラミングが楽しいソフトウェア開発者を1名募集しています。
クリアコードは「クリアコードをいい感じにする人」を1名募集しています。
クリアコードはフリーソフトウェア開発で培った技術力を提供しています。特にMozilla製品(Mozilla FirefoxとMozilla Thunderbird)とRubyとGroonga(全文検索)に関連した開発を得意としています。