The unsung heroes of log analysis are the log collectors. They are the hard-working daemons that run on servers to pull server metrics, parse loogs, and transport them to systems like Elasticsearch or PostgreSQL. While visualization tools like Kibana or re:dash bask in the glory, log collectors’s routing making it all possible. Here, we will pit the two of the most popular data collectors in the o
「ログを集めて保存する」と言うのは簡単だけど，ログ収集の構成にはいくつか方法があり，勉強会などでちょくちょく聞かれるので，いくつかのパターンについて書く． 「俺はもうバリバリログ収集やってるぜ！」という人は多分すでに知っていることが書かれているので，タブを閉じて良い． ここではログコレクタにFluentdを想定しているが，他のログ収集プロダクトにも適用出来るはず． ただ，Fluentdはタグベースのルーティングを持ち，単体でもキューのように動作させることが可能で，既存のものより複雑な問題を解決しようとしているので，少し工夫が必要かもしれない． Fluentdそのものについては公式ドキュメントや，Fluentdとはどのようなソフトウェアなのかを参考に． クライアントから直接保存する いきなりFluentdを使わないパターン．JavaScript SDKを提供している解析サービスやモバイル端末
Treasure Data, Inc. 古橋貞之です。 来たる1月27日、新しいOSSツール Embulk をリリースします。 EmbulkはFluentdのバッチ処理版のようなツールで、CSVデータやアクセスログなどの構造化データを高い信頼性で転送することができるコンパクトなツールです。 入力元、出力先、ファイルフォーマット、圧縮方式などをプラグインで拡張することができ、S3上のCSVファイル、PostgreSQL、Elasticsearch、Salesforce.com、Treasure Dataなど、異種のストレージやサービスの間でデータを転送・同期することが可能になります。 Fluentdとは異なって、1発実行、あるいは1時間や1日毎で実行するバルク処理に特化しており、 トランザクション制御 冪等性 高速性 スキーマを使ったvalidation などの拡張を備えています。 １回で使
弊社の一部検証環境では、AWSのスケジュールや負荷に応じてインスタンスを自動的に増減してくれる機能であるAuto Scalingを使用しています。これにより、必要なときに必要なだけ使えるというパブリッククラウドの特徴を簡単に活かすことができます。 ただし今回の検証で使用するには、ひとつ不都合がありました。スケールダウンするときにインスタンスを「電源ケーブルを引っこ抜くように」落としてしまうため、終了時にログをまとめて転送することができないのです。保存しておきたいログは常時ほかのサーバーや記憶領域に転送する必要があります。 このためのツールとして最近fluentを検証・導入しましたのでご紹介いたします。 fluentとは ログの転送・集約をするためのツールです。プラグインで機能を拡張できる点とログを構造化できる点がとても頼もしく見えます。こちらのブログおよびスライドに細かな紹介が載っていま
『サーバ／インフラエンジニア養成読本 ログ収集～可視化編』出版記念！執筆者が語る大講演会！ レポート［セッション編］ 9月9日、シナジーカフェ GMO Yoursにて『サーバ／インフラエンジニア養成読本 ログ収集～可視化編』出版記念！執筆者が語る大講演会！が開催されました。主催はトレジャーデータ株式会社と株式会社インテリジェンス「dots.」です。本稿では、このイベントの模様をレポートします。 司会進行はトレジャーデータの池内さんです。 池内さんが今回のイベントの経緯を話した後、本書『サーバ／インフラエンジニア養成読本 ログ収集～可視化編』を執筆した4人の著者から、一人あたり持ち時間15分間の発表がありました。 鈴木健太氏『サービス改善はログデータ解析から』 鈴木健太氏は本書の特集タイトルと同じ「サービス改善はログデータ解析から」というタイトルで発表しました。 鈴木さんはVOYAGE GR
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く