drecomにおけるwinning the metrics battle

Copyright Drecom Co., Ltd. All Rights Reserved. 1
Drecomにおける
Winning the metrics battle

• mickey
• 所属会社
- 株式会社ドリコム
• 職種
- インフラエンジニア
• 最近やっていること
- Graphiteと戯れたり、インフラ運用面の改善等
自己紹介

インフラの運用において、サーバー
の状態(CPU Usage等)の収集と閲
覧が簡便にできるシステムを持つこ
とは必須
今日、話すこと

しかし、サーバーが1300台を超え
ると、工夫しないとうまくいかない
今日、話すこと

何が必要なのか

の前に

僕たちは如何に失敗したか

• サーバーを構築しても、Cactiに自動
でグラフが作られない…
• Proxyや情報を暗号化する機能がなく
その為、Cactiが乱立
• スケールアウトが出来ない
以前は…

つらぽよ

このままだと、
破綻する

では、
何が必要なのか

• サーバーが自動で追加されること
• グラフが自動的にレンダリングされること
• 情報を中央に集めるために必要な機能
• スケールアウトができること
必要なこと

!
Middlewareの
検討

Munin
「グラフの見た目が好みじゃないんだよねー」

Ganglia
「サーバーとグラフの管理の仕方が、
うちの構成とは合ってないよ…」
「見た目が…」

• 普段使いのシステムなので習熟の難度が低い
隠れた要件

結果

理想的なものは
なかった…

ということで
開発することに

自作したシステム
について

Mine
って言います

サーバーに潜む
地雷を探すシステム
という由来

Mineの見た目

Copyright Drecom Co., Ltd. All Rights Reserved.
開発環境
• 言語
- Ruby 2.0
• フレームワーク
- Padrino 0.11.1
- Backbone.js 1.1.0

採用したMiddleware

Graphite
• URL API
• プッシュ型である

URL API

GraphiteのURL API
target=hoge-web-*.nginx.response_time
webサーバー全部のレスポンスタイムを取得する

GraphiteのURL API

GraphiteのREST API
target=
averageSeries(hoge-web-*.nginx.response_time)
平均値を取るという関数を適応すると

GraphiteのURL API

Graphiteで利用できる関数
• 平均
• 移動平均
• 最大値、または、最小値
• 対数
• 偏差

Graphiteが返せるデータ
• SVG
• PNG
• Json
• CSV
• などなど

Graphiteが
プッシュ型である
ということについて

プル型
• Cactiのように、収集サーバーが監視対象
のサーバーへ情報を取りに行くこと
!
• 手動でグラフを登録するのは数百台で限界
• 並列数的にも数百台で限界が来る

プッシュ型
• 監視対象のサーバが情報を収集サーバーへ送
りつける
- 多少失われても困らないのでUDPでただ投げつけている
• 送りつけられたら、自動でグラフが出来る
• サービス用サーバーをChefで構築するだけで
グラフが出来る

採用したMiddleware
• Collectd
- Graphiteへ情報をプッシュするMiddleware
-- Graphiteの独自形式の情報として送信
--- Gangliaなどにも対応
- 動作が軽く、機能的に十分だったので採用
• こういったMiddlewareはGraphiteには付属しない

Cactiとの違い
• Cactiは
- APIが無い
- グループで値をサマライズ出来ない
- RRDなので、画像でしかとれない
- プル型である

今後‥

Graphiteの機能を活用し

複数のサーバーのMetricsをサマライズし
たり

• 100台のWebサーバーにおけるレスポンスタイ
ムの平均
• 見なければならないグラフを最小に

異常値がわかりやすいよう工夫したり

• 最大値・平均値・最小値をプロットする
- 頑張りすぎているサーバーやサボりを見つけやすく

アーキテクチャ

概要

Data Center
A
collectd
Data Center
A
collectd
collectd
carbon
Mine
Internet
B

Data Center
A
collectd
Data Center
A
collectd
collectd
carbon
Mine
Internet
B
A
MetricsをCollectdへ送り、
暗号化してInternetへ

Data Center
A
collectd
Data Center
A
collectd
collectd
carbon
Mine
Internet
B
A
MetricsをCollectdへ送り、
暗号化してInternetへ
B
復号してDiskへ書き込み、
Mineで表示する

詳細

Metricsの収集・送信側
Internet
Server Server
collectd collectd
collectd collectd collectd
A
B
C
D

Internet
Server Server
collectd collectd
A
B
C
D
A
CPU Usage等のMetricsを
収集する

Internet
Server Server
collectd collectd
A
B
C
D
A
冗長化されている組
B
収集する

Internet
Server Server
collectd collectd
A
B
C
D
A
B
収集する
ここで、暗号化を行う
C

Internet
Server Server
collectd collectd
A
B
C
D
A
B
収集する
ここで、暗号化を行う
C
D
暗号化され、Internetへ

Metricsの受信・保存
Internet
collectd
carbon-relay
carbon-cache carbon-cachecarbon-cache
carbon-relay
collectd
Disk Disk Disk
graphite-web graphite-webgraphite-web
B
C
D
E
51
A
Server Server Server
データセット A データセット B

Internet
collectd
carbon-relay
carbon-relay
collectd
Disk Disk Disk
B
C
D
E
51
A
A

Internet
collectd
carbon-relay
carbon-relay
collectd
Disk Disk Disk
B
C
D
E
B
受信したデータを、ハッシュで
分割し、データセットへ送る
51
A
A

Internet
collectd
carbon-relay
carbon-relay
collectd
Disk Disk Disk
B
C
D
E
B
C
受信したデータをDiskに
書き込む
51
A
A

Internet
collectd
carbon-relay
carbon-relay
collectd
Disk Disk Disk
B
C
D
E
B
C
書き込む
D
DRBDで同期し、データ
を保全
51
A
A
DRBD

Internet
collectd
carbon-relay
carbon-relay
collectd
Disk Disk Disk
B
C
D
E
B
C
書き込む
D
DRBDで同期し、データ
を保全
E
グラフのレンダリングする
ためのAPIを提供。
51
A
A
DRBD

graphite-web graphite-web
Mine
表示

Mine
表示
UserがMineを閲覧した時、
graphite-webに対してグラフの
レンダリングを要求
F

Mine
表示
F
F

Mine
G
表示
F
F

Mine
G
表示
F
F
分散して保存しているので
複数のサーバーからMetricを
検索する
G

Mine
G
表示
F
F
検索する
H
G

Mine
G
表示
F
F
検索する
H
G
Metricが見つかたら、Graphを
レンダリングして、URIを返す
H

まとめ

Graphiteの負荷はどんな感じ？
• 1300台程度のサーバーから、5分間隔で情報を取得
CPU Usage
I/O Wait

• Metricsの収集はプッシュ型で行う必要がある
• 手動では限界が来るので、構成管理ツールで、
設定は自動化しよう
最後に

• Graphiteにデータを貯めることで、データを再
利用することができる
• Graphiteを選択した私に間違いはなかった
最後に

御清聴
ありがとうございました

3793
153-0064
8-1 17F
TEL:03-6682-5700 FAX:03-6682-5711
239
2001 11 13
1,124
(2014 3 )

drecomにおけるwinning the metrics battle

More Related Content

drecomにおけるwinning the metrics battle