Splunkをインストールして試用してみたので、まとめておきます。 Splunkとは あらゆるデータにインデックスをつけて検索/分析しやすくするためのソフトウェアです。 詳しくは下記を参照ください。 Splunk日本語公式サイト 今回対象のデータはNetwork Deviceのsyslogです。 試用しようと思ったきっかけは下記の2つ。 ・障害時、問題特定への時間短縮。 ・人を選ばず、誰でもログを簡単に閲覧出来るように。 なにはともあれsyslogサーバをGUI化させたかったのでやってみました。 構成図 Network Deviceがsyslogサーバにログを送信し蓄積しています。 syslogサーバからSplunkサーバへUniversalForwarderを使用してログを転送しています。 syslogサーバにSplunkをインストールして1台で完結出来るのですが、 今回は蓄積サーバと閲
あらゆるログを収集する 昨年あたりからfluentdという名前をよく耳にするようになりました。弊社での実際のプロジェクト活用が出てきています。そこで今回は備忘録としてセットアップからプラグインのインストール等の基本的な手順を紹介したいと思います。 セットアップ Amazon Linuxにインストールするためにリポジトリを設定して簡単インストールします。 $ sudo vi /etc/yum.repos.d/td.repo [treasuredata] name=TreasureData baseurl=http://packages.treasure-data.com/redhat/$basearch gpgcheck=0 yumでインストールにて自動起動設定します。 $ sudo yum install td-agent -y $ sudo service td-agent start
indexはElasticsearchにおけるスキーマみたいなものなわけですが、 logstash形式（LogStashはjavaのログimport機構？）にした場合、 indexはimportした日毎に作成されます。 例えば今日から5日間Fluentdで取得し続けた場合、 logstash-2013.09.11 logstash-2013.09.12 logstash-2013.09.13 logstash-2013.09.14 logstash-2013.09.15 みたいにindexが1日毎に分かれて作成されます。これの利点は ・データ検索する時に日付で範囲指定すると対象データも絞れるので検索が早くなる ・ある程度経過したデータを日付で管理して削除したりできる。つまりログローテート機構 偶然、Rebuild.fmで聞いてスゲーと思いました。 データ管理まで考えられてるなんで至れり尽く
こんにちは＠oko_changです。 すでに色々な方がまとめていますが、やっぱり自分なりにブログにまとめたほうが覚えやすいので今回はfluentdについて書きます。 Fluentdとは？ こちらを見るのがやはり早いですかね。 環境 どちらもCentOS 6.5を使用しています。 今回はFluentdを使ってローカルのファイルに保存しつつ、転送先にも保存するまで確認します。 転送元環境 インストール前 Fluentdについては色々な方がブログとかでもまとめているので、そちらを参考になりますが、公式ドキュメントもとても充実していました。 ここにFluentdをインストール前にするべき事が記載されていますので、設定します。 ※limits.confとsysctl.confにそれぞれ追記する # vi /etc/security/limits.conf root soft nofile 65536
Search and analytics, data ingestion, and visualization – all at your fingertips.
ゴクロの大平です。 私にとって一番大事で替えの効かないミュージシャンはさだまさしさんですが、私にとってクラウドコンピューティングのサービスの中で一番大事で替えが効かないサービスはS3です。 多種多様なAPIを用いて柔軟にファイルの操作が出来る事や、”99.999999999％”と謳われている高い耐障害性、S3にあるデータをElastic MapReduceやRedshiftなどを用いて手軽にデータ解析を行える基盤が提供されていることなど、あまりに便利すぎてS3の代替となるサービスを探しだすのが難しい状態です。 もちろん多くのAWSユーザーが同じようにS3の便利さを享受していると思いますし、インターネット上でも多くのブログ等でその魅力が語られています。その中で本記事は既に存在する記事と似たような内容を書いてしまうかもしれませんが、弊社なりのS3の使い方についてご紹介したいと思います。 なお
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く