業務経歴: 2013年株式会社サイバーエージェント新卒入社。入社よりサービス向けのストリーミングプロセッシングシステムの改修・保守に従事。現在はリアルタイムログ収集基盤の開発・運用を担当。 概要 ビッグデータが叫ばれている昨今、Webアプリケーションのログから得られた情報を用いてユーザの行動の解析を行う事で知見を得ようとする試みが多くなされている。 また時々刻々と流れるデータに対して従来のバッチ処理だけではなく、ストリーミング処理の需要が高まっている。 ログデータをリアルタイムに転送するソフトウェアとしてApach Flumeがあり、また時系列データベースとしてInfluxDBが注目を集めている。 今回、Apache Flumeを用いてInfluxDBにログデータをリアルタイムに流すモジュールを開発し容易に時系列データを保存することを可能にした。 またZookeeperを用いてデータ