Published 26 Jul 2017 By BryanCutler Bryan Cutler is a software engineer at IBM’s Spark Technology Center STC Beginning with Apache Spark version 2.3, Apache Arrow will be a supported dependency and begin to offer increased performance with columnar data transfer. If you are a Spark user that prefers to work in Python and Pandas, this is a cause to be excited over! The initial work is limited to c
米ボストンのハインズコンベンションセンターで米国時間2月7日～9日に開催された「Spark Summit East」には、開催施設の変更や、移動を邪魔する北米大陸北東部特有の嵐などの困難にもかかわらず、1500人もの参加者が集まった。これは「Apache Spark」の普及がますます進んでいることを証明しており、このイベントでは、機械学習や深層学習、ストリーミングアプリケーションなどの分野における改善が話題になった。 サミットの規模はニューヨークのヒルトンホテルで開催された前回よりも拡大したが、窮屈な会場に大勢の人が詰め込まれていた前回と、広大なハインズコンベンションセンターを使った今回では、比較は難しく感じられた。参加者は技術者中心で、前回との違いがあるとすれば、今回はビジョンよりもハウツーに重点が置かれていたように見えた。また、自社の導入事例を紹介する大企業の基調講演が減り、ベンダーの
May 24, 2016 - The capabilities of open source systems for distributed stream processing have evolved significantly over the last years. Initially, the first systems in the field (notably Apache Storm) provided low latency processing, but were limited to at-least-once guarantees, processing-time semantics, and rather low-level APIs. Since then, several new systems emerged and pushed the state of t
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog シュティフ ロマン（データプラットフォーム） Apache Igniteコミッター @rshtykh はじめに 近頃、急激に増量していくデータはもはやタイムリー且つ正確なデータ処理を困難にする。そのような中で、複雑なETLを無くしてコストを削減でき迅速なデータ処理の可能性を実証するインメモリコンピューティング技術が注目されている。例えば、2015年からスタートしたIn-Memory Computing Summitだが、年１回の少人数イベントから、1年にインメモリシステムの開発者と利用者を２回集めるイベントまで発展してきた。 インメモリコンピューティングプラットフォーム（データベースシステム）では、なるべくメモリ上で高速なデータ処
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く