普段はサーバのメトリクス可視化のためにcloudforecastを使っていますが、某案件用に数秒単位で数十台のサーバのメトリクスを表示したいので、記事タイトルのような構成を作ってみた。 dstatでとった各種値の他に、nginxとmemcachedの情報も合わせて表示させています。 セットアップ もろもろのセットアップのメモ 監視サーバ まず、監視サーバにElasticsearchとkibanaをいれる。環境はCentOS6 $ sudo yum install java-1.7.0-openjdk $ sudo rpm -Uvh https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-1.x.x.noarch.rpm Elasticsearchは特に設定なく起動 $ sudo service
開発中の負荷試験をモニタリングしたくてdstat＋Kibanaで組んでみました。 通常モニタリングは専用のツール（muninとか）で行うと思いますが、 今回はfluentdとKibanaの組み合わせにdstatを絡めてみます。 監視対象にはdstatとtd-agent、fluent-plugin-dstatを入れます。 インストール方法や細かい設定は割愛。 今回はdstat -ams 5相当を実施する設定とします。 fluent-plugin-dstatが出力する内容（1レコード）は以下になります。 2014-02-12T07:25:18+00:00 dstat { "hostname":"large0000.example.com", "dstat":{ "total cpu usage":{"usr":"0.400","sys":"0.500","idl":"99.0","wai":"
インフラ担当の池田（@mikeda）です。 最近、Kibanaでアクセスログの可視化をやってみてるのですが、手でダッシュボードいじるのがダルいです。 例えばうちの場合はサーバクラスタ、顧客アカウントごとのアクセスを見たい場合が多く、その条件を毎回指定するのがめんどくさい。 ここを動的に生成できないかな、と思って調べてみました。 イメージとしては、 内部管理画面にクラスタ/顧客アカウントの一覧があるのでそこにKibanaのリンクを設置して、 クリックすると適切に設定されたKibanaに飛ぶ、 という感じです。 Kibanaのソースコードやドキュメントはぜんぜん読んでないのですが（すませんｗ）、UIをポチポチ触ってるととりあえず以下の2つの方法でなんとかできそうでした。 Kibanaサーバに設定ファイル配置 ElasticSearchに設定突っ込んでリダイレクト Kibanaサーバに設定ファイ
昨晩、Elasticsearchから初のプロダクトとなるMarvelがリリースされました。ということで、さっそく触ってみて、簡単な紹介と感想を書いてみました。 Marvelって？ Elasticsearch社が初のプロダクトとしてリリースした、Elasticsearchクラスタモニタリングツールです。 次のような特徴があります。 plugin形式で提供 GUIがKibana メトリックスはElasticsearchに保存 SenseがChrome以外でも使える プロダクション環境で利用する場合は有料ですが、開発用途では無料で利用できます。 現時点(2014/01/29)では、0.90.9以上のバージョン(1.0.0.RC1含む)で利用が可能です。 なにができるの？ Elasticsearchクラスタに関するメトリックスを保存、可視化できるプロダクトです。 ドキュメント数やJVMの状況、クラ
fluent-plugin-elasticsearchやKibanaのデフォルトであるlogstash形式では、年月日毎にインデックスを作成されて使われることを想定されています。 これは扱いやすいのですが万能では無く、次のような状況ではパフォーマンス的な観点で、このインデックスの粒度を変更することを検討すると良いケースがあります。 粒度を細かくしたいケース（時間単位） 日毎のインデックス作成では、elasticsearchに割り当てたメモリ量を超えてしまう 粒度を荒くしたいケース（週単位/月単位/年単位） 日毎のインデックス作成では容量が小さく、日常的に検索する範囲が複数のインデックスに渡るとき Kibanaは年月日以外の粒度（時間・日・週・月・年）にも対応していますので、変更することも容易です。これは次の2つの設定変更で適用できます。 ログ収集を行うElasticsearchへ流し込む、
Fluentd Advent Calendar 2013に登録したものの、そういえば 1 年位全く fluentd に触ってなかったので、リハビリも兼ねて最近バージョンアップで導入された Vagrant の Docker provisioner を使って、ES+Kibana に流すとこまでを作ってみた。実用性には乏しい。 riywo/vagrant-docker-td-es-kibana-sample 以下解説。 Vagrantfile localhost から port forwarding で box の同じポートに接続させてる。さらに box の中で Docker が走っていて、Docker provisoner でコンテナを起動する時に、port redirect させているので、クライアントからダイレクトにコンテナと会話ができるようになっている。 ES と Kibana はarc
もう何番煎じだ？ってくらい書かれてますが、コリもせず書いてみました。 Elasticsearch＋Kibanaの環境を作って、タムタムさんのログ生成ツールからApacheのダミーログを流しこんで入れてみました。 参考URL memorycraftさんのブログ Kibana Elasticsearch fluentd apache-loggen インストールと起動 今回はCentOSへのインストールです。 基本的にはmemorycraftさんのブログの流れのままです。 elasticserchのインストールと起動 ダウンロードして、起動するだけ。 お試しということで、-fオプションにてコンソールにログ出力。 curl -OL https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-0.90.1.
Rebuild.fmで聞いたlogstash形式が素晴らしいから頑張ってmappingをtemplatesにしたけど 実はまだlogstash形式で動かしてみてない、っていう残念な記事が昨日でしたが、 本日早速試してみました。 logstash形式にはしたばっかりでまだデータ溜まってないので、 自力でlogstash形式になるようにログの日付と同じindexを作って入れて Kibana3でlogstash形式で見てみましたが普通に動きました。 日付も@timestampではなくログから入れたrequest_time指定で問題なく。 ※このrequest_timeとかいう名前付けが紛らわしいかもしれないことを 今更ながら気づきましたが今の所は勘弁してやってください。 Apache2ログにおける日付の部分を抽出したもののことです。 きっとFluentd設定を説明する回があったらこの話もするはず
Java Lucene および Zend_Search_Lucene では、非常に強力なクエリ言語を使用できます。 これらの言語はほぼ同じものですが、微妙に異なる点もあります。 異なる点については以下で説明します。 Java Lucene のクエリ言語の文法についての完全な文書は ここ にあります。 クエリは、単語と演算子から成り立ちます。単語には三種類の形式があります。 単一の単語、フレーズ、そしてサブクエリです。 単一の単語とは、"test" や "hello" のようなひとつの単語です。 フレーズとは、ダブルクォートで囲まれた複数の単語のグループ、たとえば "hello dolly" です。 サブクエリとは、括弧で囲まれたクエリ、たとえば "(hello dolly)" です。 複数の単語を論理演算子で組み合わせることで、より複雑なクエリを作成できます (以下を参照ください)。 Lu
これまでの自分のElasticsearch関連の記事では"request_time"という 独自に定義したラベルを用いて登録を行っていました。 一方、fluentdは"time"というラベルを用いるとログの時刻をfluentd内で扱うイベントタイムとみなします。 "time"とした場合と、それ以外でfluentd-plugin-elasticsearchの動作に 違いが見られたのでメモしておきます。 ところで"request_time"としたのには理由があったのですが、 その理由は本筋ではないので最後に書くことにします。 ①ログ時刻を通常のラベルを用いて登録する場合 この場合はラベル名を"time"以外にしてパースします。 つまりこれまでの場合は"request_time"としていました。 この時点では他の項目と同じJSON(MessagePack)の一項目なので文字列です。 そしてそのラ
2013年11月12日にリクルートテクノロジーズで開催された「第2回 ElasticSearch勉強会」で「Kibana入門」というタイトルで発表してきました。 社外で発表をするのは初めてだったのでどんな雰囲気になるか不安でしたが、色々質問していただけて安心しました。懇親会でも話しかけていただけてありがとうございました。 長さの関係で発表資料に書かなかったことをいくつかこちらに書いておきます。 クエリのピン止め クエリは名前をつけてピン止めすることができます。ヒストグラムパネルやテーブルパネルはグラフに使用するクエリをすべてのクエリ、ピン止めしたクエリ、ピン止めしていないクエリ、選択したクエリから選べますのでパネルごとに異なるクエリを指定したい時に便利になります。 ヒストグラムの一部を拡大 画面上特にヒントがないので意外と気づきづらいですが、ヒストグラムはグラフ上でドラッグすることで選択し
miyagawaさんのPodcast Rebuild: 19でKibanaの話があってちょっと盛り上がり始めてるので、簡単に動作を試せるサンプルアプリセットを作ってみました。 https://github.com/y310/kibana-trial git cloneしてREADMEに書いてある手順を実行していくと大体動くと思います。 railsからfluentdにログを送る部分は、こんな感じでrack middlewareを使って送ります。 # application_controller.rb class ApplicationController < ActionController::Base around_filter :collect_metrics def collect_metrics yield # ensureを使うのは例外時のログも捕捉するため ensure # co
2013年11月12日にリクルートテクノロジーズで開催された「第2回 ElasticSearch勉強会」に参加＆発表しましたので、レポートします。 発表テーマ 「ElasticSearch+Kibanaでログデータの検索と視覚化を実現するテクニックと運用ノウハウ」というテーマで発表しました。 ElasticSearch+Kibanaでログデータの検索と視覚化を実現するテクニックと運用ノウハウ from Kentaro Yoshida まだ検証段階ではありますが、ElasticSearchとKibanaの組み合わせはかなり気に入っています。 なお、発表で言及した0.90.6の不具合が修正された elasticsearch-0.90.7 が既にリリースされておりますので、これからElasticSearchを使われる方は0.90.7をお使いください。 聴講メモ ElasticSearchの書籍
前回投稿で導入したelasticsearch_headをreal worldに近い形で試してみたかったので、fluentdからElasticSerchにapacheのログを送り込んでみた。基本的な実行環境は以下2台。 httpdサーバ （AWS t1.microマシン,CentOS 6.3,td-agent導入済み） ElasticSerchサーバ（AWS m1.smallマシン,CentOS 6.3,ElasticSerch、elasticsearch_head導入済み） httpdサーバのapacheは起動すれば動作する状態、という前提。httpdサーバ がログ送信元、ElasticSerchサーバがログ送信先となる。この他、単にhttpリクエストをcurlで投げるためだけのマシンも一台立ち上げた。ElasticSerchの導入手順は前回までの投稿を参照願う。td-agentのセットア
話題の kibana3 を使ってみたメモです。 fluentd-plugin-elasticsearch で ElasticSearch に突っ込めば簡単に Kibana3 を試せるよっていうブログはちょいちょい見るのですが、Kibana3 をどうやって使うのか書かれてるものが少ないようなので書いてみます。そういうことなので、ElasticSearch に取り込むところまでは省略。 でも一点だけ、ElasticSearch の template 機能を使ったほうが良いですよ（と会社の同僚に教えてもらいました）。 fluentd-plugin-elasticsearch はすべてのフィールドを文字列として送ってしまうので、ElasticSearch 側でこのフィールドは Integer だよとか、日付型だよって教えてあげないと行けませんが、Kibana では日毎のインデックスを使うのでインデ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く