ja ja ja ja ja ja ja ja ja en ja ja ja ja ja ja ja ja ja ja ja de ja ja en ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja en en ja en ja ja en zh ja ja pl zh ja ja ja ja en zh ja ja zh ja ja ja ja ja ja ja ja ja en en en en ja ja en en en ja ja ja ja ja ja ja en ja ja ja ja ja ja ja ja ja ja ja ja en ja ja en ja ja vi ja sv eu ja en en hu ja ja en en pl ja ja jbo hbs_lat en ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja ja
Apache Arrow東京ミートアップ2018 - Apache Arrow #ArrowTokyo - 2018-12-10 - ククログ
「開発者を増やす」という目的を実現するために時間の使い方を次の2つにわけました。
前半:開発を始めるための情報提供の時間
後半:開発を始める時間
後半では「開発の1歩目を踏み出せる」ことを目指しました。ポイントは「1歩目」です。この集まりの時間内で「バリバリ開発する」を目指していないということです。この集まりの時間で「なにに取り組もうか」が決まれば十分です。取り組むと決めたことに実際に取り組み始められればなおよしです。
「何に取り組もうか」を決めるために必要そうな情報を前半に提供しました。
前半:開発を始めるための情報提供の時間
前半では、まず私がApache Arrowの関する全体的な情報を提供しました。今回はApache Arrowを軸にいろいろなプロダクトの開発者を増やしたかったので、どのプロジェクトでも参考になりそうな予備知識としてApache Arrowの情報を最初に提供しました。
その後は次のテーマごとに詳しい人から情報を提供しました。適切な人に情報提供してもらえて本当によかったなぁと思っています。
Apache Spark
資料:Apache Arrow and Pandas UDF on Apache Arrow
情報提供者:上新さん(Apache SparkのコミッターでApache SparkのApache Arrow対応の開発にも参加)
Multiple-Dimension-Spread
資料:Multiple-Dimension-Spread と Apache Arrow
情報提供者:井島さん(Multiple-Dimension-Spreadの開発者でApache Arrow対応部分も実装)
資料:RとApache Arrow
情報提供者:湯谷さん(日本のR界隈で一番前からApache Arrowのことを調べている)
ブログ:Apache Arrow東京ミートアップ2018で「RとApache Arrow」について話してきました - Technically, technophobic.
資料:RubyとApache Arrow
畑中さん(Red Data ToolsメンバーとしてRuby用のデータ処理ツールを開発)
橋立さん(Ruby用ログ収集基盤のFluentdでApache Arrowを活用するプラグインを開発)
ブログ:Apache Arrow東京ミートアップ2018で「RubyとApache Arrow」というタイトルで発表してきました!!! - hatappi.blog
資料:PythonとApache Arrow
情報提供者:堀越さん(pandas・Daskのコミッター)
資料:Tensor and Apache Arrow
情報提供者:村田さん(数値計算に詳しくApache Arrowの疎なテンソルを実装中)
みなさんには次の2点を話してくださいとお願いしていました。
今後こうなるとよさそう
「今後こうなるとよさそう」は「開発の1歩目」のヒントになることを期待していました。
私も新しく知ったことが多くあったのでみなさんにお願いして本当によかったなぁと思っています。Rubyまわりを開発している人視点で言うと、特にRとPythonの情報は興味深かったです。RubyでもRのALTREP・pandasのExtensionArrayのようなものが必要になるときは来るのだろうか、とか。
後半:開発を始める時間
前半で開発を始めるための情報を得られたので後半では実際に開発を始める時間です。
次のグループにわかれてグループの人と相談しながら各人が「まずはなにに取り組むか」を決めていきます。
Apache Arrow(Multiple-Dimension-Spread・Ruby関連を含む)
Apache Spark
各グループには詳しい人たちがいるのでその人たちと相談しながら「なにに取り組むか」を決めます。私は各人に「まずはなにに取り組むか決まりましたかー?」と聞いてまわったのですが、だいたいみなさん決められたようでした。最初の1歩を踏み出せましたね。
すでにpull requestを出して2歩目・3歩目を踏み出せている人たちもいるのでいくつかリンクを置いておきますね。
ARROW-3962: [Go] Support null value while reading CSV #3129
ARROW-3964: [Go] Refactor examples of csv reader #3131
ARROW-3961: [Python/Documentation] Fix wrong path in the pyarrow README #3127
Apache Arrow Meetup行ってきた結果OSS活動の一歩を踏み出した - Diary over Finite Fields
勉強会ではなく「開発者を増やす」ことを目的にした集まりを開催しました。この集まりをきっかけに開発に参加した人がいたのでよい集まりだったなぁと思っています。「開発者を増やす」ことを目的にした集まりを開催したい人は参考にしてください。
参加した人たちには集まりの最後にアンケートに答えてもらいました。アンケートの結果はGitHubのspeee/code-party/apache-arrow-tokyo-meetup-2018/feedback/から参照できるので、同様の集まりを開催したい人はこちらも参考にしてください。
引き続き開発に参加していきましょう!
なお、クリアコードはApache Arrowを活用してデータ処理ツールの開発をしたいのでデータ処理ツールを開発していてApache Arrowを活用したい方はお問い合わせください。また、一緒にデータ処理ツールの開発をしたい人も募集しているのでわれこそはという方はご応募ください。
Apache Arrow
現在クリアコードではソフトウェア開発者を募集しています! フリーソフトウェア開発での開発の仕方をベースに、成果や知識を公開し共有しながら業務に携われます。
RubyKaigi 2022 after event - 「Fast data processing with Ruby and Apache Arrow」のスピーカーに質問しよう! RubyKaigi 2022で須藤が発表した内容をより深堀するイベントをYouTube Liveで開催しました!アーカイブ公開中です。
2022年6月Apache Arrowの最新情報が一堂に集うデジタルカンファレンス『The Data Thread』に須藤が「Why Apache Arrow is important for Ruby」と題しビデオ登壇しました。動画はチャンネルからご覧いただけます。
2021-11-17 db tech showcase 2021で Apache Arrow Flight について講演しました!
日本OSS推進フォーラム アプリケーション部会 第10回勉強会 - Apache Arrow - データ処理ツールの次世代プラットフォーム
Ruby 2.6.0とより高速なcsv
Apache Arrow
milter manager
ククログの記事はCC BY-SA 4.0とGFDLのデュアルライセンスで自由に利用できます。
クリアコードはプログラミングが楽しいソフトウェア開発者を1名募集しています。
クリアコードは「クリアコードをいい感じにする人」を1名募集しています。
クリアコードはフリーソフトウェア開発で培った技術力を提供しています。特にMozilla製品(Mozilla FirefoxとMozilla Thunderbird)とRubyとGroonga(全文検索)に関連した開発を得意としています。