[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

Apache Arrow

PostgreSQL Conference Japan 2024 - ADBC: Connecting PostgreSQL with Analytics #pgcon24j

もっと読む

Apache ArrowとGObject Introspection

Apache Arrowの開発に参加している須藤です。現時点でapache/arrowのコミット数は1位です。私はRubyでデータ処理できるようになるといいなぁと思ってApache Arrowの開発に参加し始めました。同じような人が増えるといいなぁと思ってなにか試したりしましたが、あいかわらず、今でも実質1人でApache ArrowのRuby対応をしています。何度目かの「もっと仲間を増やさないと!」という気持ちになったので、最近の活動を紹介して仲間を増やそうと試みます。

今回はGObject Introspection関連のことを紹介します。最近、GObject Introspectionを採用することで狙っていたことが実現しかけているのです。

もっと読む

Apache Arrowのレビュー

Apache Arrowの開発に参加している須藤です。現時点でapache/arrowのコミット数は1位です。私はRubyでデータ処理できるようになるといいなぁと思ってApache Arrowの開発に参加し始めました。同じような人が増えるといいなぁと思ってなにか試したりしましたが、あいかわらず、今でも実質1人でApache ArrowのRuby対応をしています。何度目かの「もっと仲間を増やさないと!」という気持ちになったので、最近の活動を紹介して仲間を増やそうと試みます。

Apache Arrowの開発でなにをがんばっているかを考えてみたところ、レビューを頑張っているなぁと思ったので紹介します。あと、レビューする人が足りないなー、増えるといいなーと思っているので、今日はレビューの話にします。なお、この一連の話を書き始めてから@hiroysatoが興味を持ってくれて、プルリクエストを送りはじめてくれました。現時点で16個です。慣れてきたらレビューもしてくれるといいな。今は、そもそもRuby関連のプルリクエストが少なくてレビューもなにもないけど。。。

もっと読む

Apache Arrowをリリース

Apache Arrowの開発に参加している須藤です。現時点でapache/arrowのコミット数は1位です。私はRubyでデータ処理できるようになるといいなぁと思ってApache Arrowの開発に参加し始めました。同じような人が増えるといいなぁと思ってなにか試したりしましたが、あいかわらず、今でも実質1人でApache ArrowのRuby対応をしています。何度目かの「もっと仲間を増やさないと!」という気持ちになったので、最近の活動を紹介して仲間を増やそうと試みます。

今、Apache Arrow 18.0.0がリリースされかけているんですが、リリースもがんばっていることを思い出したので紹介します。なお、18.0.0もDependabotくんほどではないですが結構がんばりました。

https://arrow.apache.org/release/18.0.0.html

$ git shortlog -sn apache-arrow-17.0.0..apache-arrow-18.0.0
  113	dependabot[bot]
   65	Sutou Kouhei
...
$ git shortlog -sn --group=trailer:signed-off-by apache-arrow-17.0.0..apache-arrow-18.0.0
   137	Sutou Kouhei
...

もっと読む

Apache ArrowでAzure Blob Storage上のデータを読み書き

Apache Arrowの開発に参加している須藤です。現時点でapache/arrowのコミット数は1位です。私はRubyでデータ処理できるようになるといいなぁと思ってApache Arrowの開発に参加し始めました。同じような人が増えるといいなぁと思ってなにか試したりしましたが、あいかわらず、今でも実質1人でApache ArrowのRuby対応をしています。何度目かの「もっと仲間を増やさないと!」という気持ちになったので、最近の活動を紹介して仲間を増やそうと試みます。

1年とか半年とか前の話になりますがAzure Blob Storage関連のこともがんばっていたことを思い出したので紹介します。

もっと読む

Apache Arrowで統計情報

Apache Arrowの開発に参加している須藤です。現時点でapache/arrowのコミット数は1位です。私はRubyでデータ処理できるようになるといいなぁと思ってApache Arrowの開発に参加し始めました。同じような人が増えるといいなぁと思ったりなにか試したりしましたが、あいかわらず、今でも実質1人でApache ArrowのRuby対応をしています。何度目かの「もっと仲間を増やさないと!」という気持ちになったので、最近の活動を紹介して仲間を増やそうと試みます。

統計情報関連のこともがんばっていたことを思い出したので紹介します。

もっと読む

JRubyでもApache Arrowを使いたい?

Apache Arrowの開発に参加している須藤です。現時点でapache/arrowのコミット数は1位です。私はRubyでデータ処理できるようになるといいなぁと思ってApache Arrowの開発に参加し始めました。同じような人が増えるといいなぁと思ったりなにか試したりしましたが、あいかわらず、今でも実質1人でApache ArrowのRuby対応をしています。何度目かの「もっと仲間を増やさないと!」という気持ちになったので、最近の活動を紹介して仲間を増やそうと試みます。

そのために選んだ話題がJRubyなのはちょっとアレな気もしますが、最近「がんばったな!」という気持ちになったのがこれだからしょうがない。

もっと読む

PostgreSQL Conference Japan 2023 - Apache Arrow Flight SQLでPostgreSQLをもっと速く! #pgcon23j

なんともう2ヶ月前になってしまったのですが、PostgreSQL Conference Japan 2023Apache Arrow Flight SQLでPostgreSQLをもっと速く!という話をしてきた須藤です。

もっと読む

PyArrow 0.14.0から14.0.0にはデータ読み込み時に任意のコードを実行できる脆弱性があるから対応してね! CVE-2023-47248

Apache ArrowのPMCメンバーの須藤です。

2023-11-09にPyArrow 14.0.1がリリースされました。このバージョンでは「Apache Arrowファイル・Apache Parquetファイル読み込み時に任意のPythonコードを実行できる」という脆弱性を修正しています。信頼できないファイルを読み込むような使い方をしている人はすぐに対応してください。自分が作ったファイルを自分で読み込むというように信頼できるファイルのみを読み込んでいる場合はこの脆弱性は問題になりません。

なお、この脆弱性はPyArrowのみで発生し、Apache ArrowのC++実装やRubyバインディングなど他の言語用のライブラリーでは発生しません。

もっと読む

Apache Arrow Flight SQL adapter for PostgreSQL 0.1.0リリース! #ApacheArrow #PostgreSQL

2023年9月14日時点でApache Arrowコミット数1位の須藤です。Apache Arrow本体の開発もがんばっているのですが、それとは別に、PostgreSQLにApache Arrow Flight SQLでアクセスできるようにするPostgreSQLの拡張機能も開発しています。昨日、その拡張機能Apache Arrow Flight SQL adapter for PostgreSQLの最初のバージョン0.1.0をリリースしたので自慢します。

このプロダクトはRubyKaigi 2023の発表の最後の方で少し自慢していたプロダクトです。

もっと読む