ログ管理のベストプラクティス
- 1. 1 ログ管理のベストプラクティス アマゾン ウェブ サービス ジャパン株式会社 ソリューションアーキテクト 桑野 章弘
- 2. 22 ⾃⼰紹介 桑野 章弘(くわの あきひろ) ソリューションアーキテクト • 主にメディア系のお客様を担当しております。 • 渋⾕のインフラエンジニア（仮）しておりました • 好きなAWSのサービス：ElastiCache • 好きなデータストア：MongoDB
- 6. 6 ログについて
- 8. 収集 処理 分析 保存 データ収集と 保存 データ処理イベント処理 データ分析 データ 答え 分析前の前処理等、 いわゆるETL （抽出、変換、挿 ⼊ ）的な処理 各サーバや、サー ビスからのログを 収集する ログに対して各種 分析をかける 収集したログを サーバやデータス トアに保存する ログ処理の全体像
- 9. 収集 処理 分析 保存 データ収集と 保存 データ処理イベント処理 データ分析 データ 答え ログ処理の全体像 Amazon S3 Amazon Kinesis Amazon DynamoDB Amazon RDS (Aurora) AWS Lambda KCL Apps Amazon EMR Amazon Redshift Amazon Machine Learning
- 10. 収集 処理 分析 保存 データ収集と 保存 データ処理イベント処理 データ分析 データ 答え ログ処理の全体像 Amazon S3 Amazon Kinesis Amazon DynamoDB Amazon RDS (Aurora) AWS Lambda KCL Apps Amazon EMR Amazon Redshift Amazon Machine Learning
- 11. 11 ログの収集
- 15. AWSのサービスから出⼒されるログ CloudWatch Logs CloudTrail ELB VPCフローログ S3のバケットログ CloudFrontのアクセスログ etc…etc...
- 16. CloudWatch Logs Amazon Linux Ubuntu Windows Red Hat Linux CloudWatch Logs 通知: CloudWatch Alarm Log Agent Log Agent Log Agent Log Agent VPC Flow Logs 可視化: Amazon Elasticsearh Service (Kibana) エクスポート: Amazon S3 CloudTrail Lambda RDS
- 17. CloudWatch Logsのディレクトリ階層 Web Server web001.ap-northeast-1 Log Group Log Stream Log Event web002.ap-northeast-1 web003.ap-northeast-1
- 19. AWS CloudTrail AWSアカウントの操作をロギン グするサービス 管理コンソール、コマンドライ ン、3rd party等APIコールされ る全てのイベントが対象 S3にロギングデータをJSONで 保存 AWS CloudTrail⾃体の料⾦は無 料 AWS上のAPI操作を記録するサービス AWS CloudTrail サポートサービス⼀覧 http://docs.aws.amazon.com/ja_jp/awscloudtrail/latest/userguide/w hat_is_cloud_trail_supported_services.html
- 20. VPC Flow Logs VPC内のネットワークのログが取得可能 Network ACLとSecurity Groupでの許可と禁⽌についてのトラ フィックログをCloudWatch Logsへ出⼒する ネットワークインタフェース（ENI）ごとに取得（ENIがログス トリーム）
- 21. Flow Logs レコードの項⽬ フィールド 説明 version VPC Flow Logsのバージョン account-id Flow Logsを取得したAWSアカウント interface-id ログストリームが適⽤されているネットワークインタフェースのID srcaddr 送信元アドレス（※） dsraddr 送信先アドレス（※） srcport 送信元ポート dsrport 送信先ポート protocol IANAで定義されたプロトコル番号 packets キャプチャウインドウの中で取得したパケット数 bytes キャプチャウインドウの中で取得したバイト数 start キャプチャウインドウ開始時のUNIX時間 end キャプチャウインドウ終了時のUNIX時間 action トラフィックのアクション（ACCEPT/REJECT) log-status ログステータス（OK/NODATA/SKIPDATA) Flow Logs レコード: http://docs.aws.amazon.com/AmazonVPC/latest/UserGuide/flow-logs.html#flow-log-records
- 23. S3バケットログの項⽬ 項⽬ 説明 Bucket Owner ソースバケット所有者の正規ユーザー ID バケット リクエストの処理対象のバケット名 時間 リクエストを受け取った時刻 Remote IP リクエストしてきたインターネットアドレス リクエスタ IAMユーザ等のID リクエスト ID 各リクエストを⼀意に識別するための⽂字列 オペレーション 実⾏したオペレーション内容 キー リクエストの URL エンコードされた「key」 部分 Request-URI HTTP リクエストメッセージの Request-URI 部分 HTTP status レスポンスの HTTP ステータス 項⽬ 説明 エラーコード Amazon S3 エラーコード Bytes Sent 送信されたレスポンスのバイト数 Object Size 該当するオブジェクトの合計サイズ Total Time サーバーから⾒た、リクエストの転送中の時間数（ミリ秒） Turn-Around Time Amazon S3 でリクエストの処理に要した時間数（ミリ秒） Referrer リファラ User-Agent ユーザーエージェント Version Id リクエストのバージョン ID
- 24. CloudFrontログ & レポート CloudFront クライアント S3 Management Console アクセスログ アクセスや利⽤状況傾向の 確認及び分析 Cache Statistics Popular Objects Top Referrers Usage Viewers Cloudwatch Monitoring and Alarming 障害/異常検知や現状の利⽤確認 Access Log 複雑なアクセスや利⽤傾向分析 データの可視化と詳細な障害分析 リアルタイム モニター レポーティング Redshift ElasticSearch 参照：http://docs.aws.amazon.com/ja_jp/AmazonCloudFront/latest/DeveloperGuide/AccessLogs.html
- 25. CloudFrontアクセスログの項⽬ 任意のS3 Bucketに出⼒可能 項⽬ 説明 date アクセス⽇(UTC) time アクセス時間(UTC) x-edge-location エッジロケーションID sc-bytes 配信Byte数(ヘッダー含む) c-ip クライアントIPアドレス cs-method HTTPアクセスMethod cs(Host) CloudFront Distributinドメイン名 cs-uri-stem リクエストURI sc-status レスポンスコード cs(Referer) リファラ cs(User-Agent) クライアントユーザエージェント cs-uri-query リクエストQuery Strings cs(Cookie) リクエストCookieヘッダー 項⽬ 説明 x-edge-result-type Hit：キャッシュヒット RefreshHit：キャッシュがExpireされていた Miss：キャッシュミス LimitExceeded: CloudFrontのリミットオーバ CapacityExceeeded: エッジのキャパシティ不⾜ Error：クライアントもしくはオリジンによるエラー x-edge-request-id CloudFrontのリクエストID x-host-header リクエストHost Header cs-protocol リクエストプロトコル(http / https) cs-bytes リクエストByte数(ヘッダー含む) time-taken CloudFrontエッジがリクエストを受けて、オリジンからLastByte を取得するまでにかかった秒数 x-forwarded-for ViewerがHTTPプロキシなどを利⽤した場合の元Viewr IP ssl-protocol クライアントとHTTPS通信をした際の利⽤したプロトコル ssl-cipher クライアントとHTTPS通信した際の利⽤した暗号化⽅式 x-edge-response- result-type Viewerにレスポンスを返す直前の処理分類 ※分類はx-edge-result-typeと同様
- 27. ELBのアクセスログの項⽬ ロードバランサのアクセスログをS3へ保存 項⽬ 説明 timestamp クライアントからリクエストを受け取った時 刻 elb ロードバランサー名 client:port リクエストを送信したクライアントの IP ア ドレスとポート backend:port このリクエストを処理した登録済みインスタ ンスの IP アドレスとポート request_processing_t ime ロードバランサーがリクエストを受け取った 時点から登録済みインスタンスに送信するま での合計経過時間（秒） backend_processing_ time ロードバランサーが登録済みインスタンスに リクエストを送信した時点から、そのインス タンスが応答ヘッダーの送信を開始した時点 までの合計経過時間（秒） 項⽬ 説明 response_processing_ time ロードバランサーが登録済みインスタンスから応答ヘッダーを受 け取った時点から、クライアントへの応答の送信を開始した時点 までの合計経過時間（秒） elb_status_code ロードバランサーからの応答のステータスコード backend_status_code 登録済みインスタンスからの応答のステータスコード received_bytes クライアントから受け取ったリクエストのサイズ（バイト） sent_bytes クライアント（リクエスタ）に返される応答のサイズ（バイト） user_agent ユーザーエージェント ssl_cipher SSL 暗号。正常なネゴシエーションの後に受信 SSL/TLS 接続が 確⽴した場合にのみ、この値が記録されます ssl_protocol SSL プロトコル。正常なネゴシエーションの後に受信 SSL/TLS 接続が確⽴した場合にのみ、この値が記録されます
- 37. fluentd Treasure Data 社を中⼼としたOSS として開発 ログ収集管理ツール Rubyを使⽤した柔軟性の⾼い⼊出⼒プラグイン S3 Kinesis DynamoDB Elasticsearch service バッファリング機能をデフォルトで持つ File Buffer Memory Buffer ログのルーティングが⾮常にやりやすい
- 41. Kinesis Streams ⽣成されるデータをリアルタイムに近い状況でデータ処理部に伝送 AWSのサービスとの簡単インテグレーション ⽬的に応じた処理を並列処理することが可能 KinesisStreams エ ン ド ポ イ ン ト シャード 0 シャード 1 シャード ..N ストリーム データ送信側 データ処理側 Amazon S3 DynamoDB Amazon Redshift Amazon EMR データ レコード フルマネージド型リアルタイム⼤規模ストリーミング処理 Lambda EC2
- 42. Kinesis Firehose ストリーミングデータを Amazon S3, Amazon Redshift, Amazon ES へ 簡単にロード 管理不要 アプリケーションの実装やインフラストラクチャーの管理を⼀切⾏わずに Amazon S3 / Amazon Redshift / Amazon ES にデータを配信可能 データストアとダイレクトに統合 シンプルな設定でストリーミングデータのバッチ化・圧縮・暗号化が可能。最短 60 秒でデータを 配信 シームレスにスケール データのスループットに応じて⾃動的にスケール
- 43. Fluent plugin for Amazon Kinesis fluentdからKinesisに ログを直接送信するた めのプラグイン 3つのoutputサポート Kinesis Streams⽤ kinesis_streams kinesis_producer(KPL対応) Kinesis Firehose⽤ kinesis_Firehose https://github.com/awslabs/aws-fluent-plugin-kinesis # Kinesis Streams用設定例 <match your_tag> @type kinesis_streams region us-east-1 stream_name your_stream partition_key key </match> # Kinesis Firehose用設定例 <match your_tag> @type kinesis_Firehose region us-east-1 delivery_stream_name your_stream </match>
- 44. Kinesis Streams を使った構成 fluentd Aggregateサーバをやめ、Kinesis Streamsに直接ログを送る スケールアウトの構成が簡単に組めるようになる ログを取得して各サービスと連携するためにはLambdaやEC2が 必要 APP Kinesis Streamsか らLambdaやEC2ア プリケーションでロ グを取得してS3や DynamoDBに格納 APPサーバのfluentdは fluent-plugin-kinesisを 使用してKinesis Streamsへ転送 Amazon S3 Amazon DynamoDB Kinesis Streams AWS Lambda ログ収集サーバ （KCL動作） OR
- 45. Kinesis Firehoseを使った構成 Kinesis Firehoseを使⽤ 他サービスへの連携にEC2やLambdaを使う必要がなくなる APP Amazon S3 AWS Lambda ログ収集サーバ （KCL動作） または Kinesis Firehose 各アプリケーショ ンはKinesis Streams と同様 にfluentd経由で ログ送信 Kinesis Firehoseを使 用することでアプリ ケーションを介在する こと無く他サービスと 連携可能 Elasticsearch Service
- 46. CloudWatch Logs EC2のログ転送もCloudWatch Logsで⾏う ログの転送時に複雑なことをしたい場合には向かな いが、単純にログを転送したい場合は⾮常に簡単に ログ送信が可能 APP Amazon S3Amazon CloudWatch Logs 各インスタンスに インストールした CloudWatch Logsエージェント 経由でログ送信 Batch処理的にS3に 送信する事も可能
- 47. Amazon Mobile Analytics 特徴 (http://aws.amazon.com/jp/mobileanalytics/) モバイルアプリの利⽤状況データを⼤規模に 収集、可視化して把握することが可能 ⾼速、スケーラブルでクロスプラットフォー ム S3、Redshiftへ⽣データを⾃動エクスポート モバイルのためのスケーラブルなデータ収集と可視化 Amazon Mobile Analytics Amazon Redshift Amazon S3 参照 収集 自動エクスポート
- 48. Mobile Analytics モバイルアプリの⾏動ログをMobile Analytics を使⽤して取得しS3への⾃動エクスポートする、 そこからRedshift、EMR等でクエリも可 mobile client Amazon Cognito ⾏動ログ Amazon Redshift Amazon Mobile Analytics Amazon S3 一時的な 認証情報を 取得
- 49. 各⽅式の⽐較 耐久性 コス ト スケール 作業⼯数 サービス連 携 バッチサーバからscpでの転送 × × × △ △ 直接S3へ送信 × ◯ △ × △ syslogエージェントを使⽤ △ △ △ △ △ fluentd(Aggregate サーバも使⽤) ◯ △ ◯ ◯ ◯ fluentd + マネージド・サービス ◯ ◯ ◎ ◎ ◎ マネージド・サービス ◎ ◎ ◎ ◎ ◯
- 51. クックパッド社事例 参照：https://speakerdeck.com/kanny/miao-jian-shu-mo-falseroguwoiigan-zinisuruakitekutiya
- 52. クックパッド社事例 参照：https://speakerdeck.com/kanny/miao-jian-shu-mo-falseroguwoiigan-zinisuruakitekutiya
- 53. 53 ログの保存
- 55. データレイク on AWS あらゆるデータが集まる ストレージ 構造化も⾮構造化も 様々なデータを跨いで、 分析ができる Amazon S3が最適 EMR/Redshift等で活⽤ 低頻度アクセスストレージ /GlacierでTiered DB 各種クライアント メディア ファイル 多様な データベース サーバ Amazon Kinesis Amazon S3 Amazon Glacier Amazon EMR Amazon Redshift Amazon Machine Learning
- 56. 56 ログの活⽤
- 59. 59 利⽤例： Elasticsearch + kibanaによるVPC Flow Logsの可視化 VPC CloudWatch Logs AWS Lambda kibana APIでイベントを 取り出す 整形して Elasticsearchへ PUT Amazon ElasticSearch service
- 60. Kinesis Analytics ストリーミングデータを標準的な SQL クエリーで簡単に分析 SQL をストリームに適⽤ 簡単にデータストリームへ接続し、標準的な SQL を適⽤可能 リアルタイムアプリケーションを構築 秒以下のレイテンシーでストリーミングデータを連続的に処理 弾⼒的にスケール データのスループットに応じて弾⼒的にスケール。オペレーションの介⼊不要
- 65. 6565 参考資料 • Amazon CloudWatch Logs Document http://docs.aws.amazon.com/ja_jp/elasticbeanstalk/latest/dg/AWSHowTo.cloudw atchlogs.html • Amazon CloudWatch Logs FAQ https://aws.amazon.com/jp/cloudwatch/faqs/ • Amazon Kinesis Document http://docs.aws.amazon.com/ja_jp/streams/latest/dev/introduction.html • Amazon Kinesis FAQ https://aws.amazon.com/jp/kinesis/streams/faqs/ • fluentd http://www.fluentd.org/
- 66. 6666 Q&A 66
- 68. 68 Appendix
- 69. 69 東京リージョン Amazon Virtual Private Cloud (VPC) • 特徴 (http://aws.amazon.com/jp/vpc/) – AWS上にプライベートネットワークを構築 – AWSと既存環境のハイブリッド構成を実現 – きめ細かいネットワーク設定が可能 • 価格体系 (http://aws.amazon.com/jp/vpc/pricing/) – VPCの利⽤は無料 – VPNは1時間あたり$0.048/VPN接続(東京リージョン) 仮想プライベートクラウドサービス VPC ( 172.16.0.0/16) 既存システム プライベート サブネット パブリック サブネット インターネット VPN or 専⽤線 ネットワークを 要件に応じて設定 インターネット ゲートウェイ
- 70. 70 Amazon CloudWatch • 特徴 (http://aws.amazon.com/jp/cloudwatch/) – AWSリソースの死活、性能、ログ監視 – 取得メトリックスのグラフ化 – 各メトリックスに対してアラーム作成 • 価格体系 (http://aws.amazon.com/jp/cloudwatch/pricing/) – 基本モニタリング（5分間隔）は無料 – (利⽤する場合) 詳細モニタリング – (利⽤する場合)カスタムメトリックス、APIリ クエスト、アラーム、ログ等 AWSの各種リソースを監視するサービス
- 71. 71 Amazon Kinesis • 特徴 (http://aws.amazon.com/jp/kinesis/) – ⽣成されるデータをリアルタイムに近 い状況でデータ処理部に伝送 – 預かったデータは、3AZに24時間保存 – AWSのサービスとの簡単インテグレー ション – ⽬的に応じた処理を並列処理すること が可能 • 価格体系 (http://aws.amazon.com/jp/kinesis/pricing/) – シャード数 – Put APIコール数 フルマネージド型リアルタイム⼤規模ストリーミング処理 ⼤量トランザク ション処理 複数データ処理の 容易なインテグ レーション
- 72. 7272 Amazon Simple Storage Service (S3) • 特徴 (http://aws.amazon.com/jp/s3/) – ⾼い堅牢性 99.999999999% – 格納容量無制限。利⽤した分のみ課⾦ – 様々なAWSサービスと連携するセンター ストレージ • 価格体系 (http://aws.amazon.com/jp/s3/pricing/) – データ格納容量 – データ転送量(OUT) – APIリクエスト数 マネージドオンラインストレージサービス Amazon S3
- 73. 7373 Amazon Glacier • 特徴 (http://aws.amazon.com/jp/glacier/) – ⾼い堅牢性 99.999999999% – 格納容量無制限 – 取り出しリクエストから3-5時間後に可能 – 超安価なアーカイブ⽤ストレージ • 価格体系 (http://aws.amazon.com/jp/glacier/pricing/) – データ格納容量 – データ転送量(OUT) – APIリクエスト数 – データ取り出し マネージドアーカイブストレージサービス Amazon Glacier Amazon S3 連携 アーカイブ オンライン アーカイブ
- 74. 74 Amazon DynamoDB • 特徴 (http://aws.amazon.com/jp/dynamodb/) – 複数のデータセンターにデータをレプリケーションすること により、⾼い耐久性と可⽤性を提供。 – ユーザーは必要なスループットを決めるだけで利⽤可能。ス トレージ容量は事前に決める必要がなく、必要に応じてプロ ビジョンされる。 – データ容量やスループットが増えてきても低いレイテンシで 安定した性能を発揮する – DynamoDB Streamsによって更新情報をAPIで取得可能。 Lambda連携やクロスリージョンレプリケーションなどを実 現。 • 価格体系 (http://aws.amazon.com/jp/dynamodb/pricing/) – スループットキャパシティ • 書き込み: $0.00742/10ユニット/時間 • 読み込み: $0.00742/50ユニット/時間 – ストレージ: $0.285/GB Amazonが提供する⾼い信頼性、スケーラビリティ、低レイテ ンシで安定した性能を兼ね備えたNoSQLデータベースサービス DynamoDBの使いドコロ • ゲーム • 広告配信 • DMP • センサーデータ • モバイルアプリケーションの バックエンド いずれも、⾼いスループットと低 いレイテンシが求められ、更に扱 うデータ量が⼤きくなりやすいと いう共通の特徴を持つ
- 75. 75 Amazon Aurora • 特徴 (http://aws.amazon.com/jp/rds/aurora/) – MySQL5.6と互換性がある – 3AZに6本のディスクに書き込み2本のディスク障害で はRead/Write可能。3本のディスク障害でもRead可能 – キャシュとログをAuroraプロセスから分離することで Auroraプロセスのリスタートでもキャッシュが残る – レプリケーション遅延は10-20ms程 – 64TBまでディスクがシームレスにスケールする • 価格体系 (http://aws.amazon.com/jp/rds/aurora/pricing/) – インスタンスタイプによる – 実際に利⽤したディスク容量 (プロビジョニング不要) – バックアップストレージ容量 Amazonがクラウド時代に再設計したデータベース
- 76. 76 Amazon Elasticsearch Service • 特徴 ( https://aws.amazon.com/jp/elasticsearch-service/ ) – ElasticsearchのAPIをそのまま利⽤可能 – AWSのサービスと連携した構成を簡単に構築 例) • CloudWatch Logs -> Lambda -> Amazon ES • DynamoDB Streams -> Logstash -> Amazon ES – 検索ドメインを作成すると同時にKibanaが利⽤可能 – ⽇本語解析に対応 • Elasticsearch ICUプラグイン • Elasticsearch Kuromojiプラグイン • 価格体系 ( https://aws.amazon.com/jp/elasticsearch-service/pricing/ ) – Elasticsearchインスタンス時間 – Amazon EBSストレージ ELK(Elasticsearch, Logstash, Kibana)スタックをサポートした マネージドAnalyticsサービス Logstash Amazon ESData Source
- 77. 77 Amazon Elastic MapReduce (EMR) • 特徴 (http://aws.amazon.com/jp/elasticmapreduce/) – フルマネージド：クラスタの構築から構成変更、破棄ま ですべてマネージしてくれる – ⾃動化：Amazon EMRのAPIを利⽤するとジョブに合わ せてクラスタを起動し、実⾏させ、終了したらクラスタ を破棄、というような⾃動化が容易 – AWS：Amazon S3やAmazon DynamoDBからデータ の⼊出⼒が可能 • 価格体系 (http://aws.amazon.com/jp/elasticmapreduce/pricing/) – EMRを使った全体費⽤考え⽅ • 時間あたりのEMR費⽤ + 時間あたりのEC2（EMRによって起動され るHadoopクラスタを構成するEC2）費⽤ – 例えば東京リージョンでc3.xlarge * 8のクラスタ • (EMR $0.053 + EC2 $0.255) * 8 / hour フルマネージドなHadoopを提供。利⽤者は運⽤を気にせずHadoop アプリケーションの開発や利⽤ができる。 Hadoop Hadoop Amazon EMRクラスタ AWSサービスとの連携
- 78. 78 Amazon Redshift • 特徴 (http://aws.amazon.com/jp/redshift/) – 160GBから最⼤1.6PBまで拡張可能 – 超並列(MPP)、カラムナ型DBエンジンによ る⾼速処理 – 他のAWSサービスとの⾼い親和性 – 従来のデータウェアハウスの1/10のコスト • 価格体系 (http://aws.amazon.com/jp/redshift/pricing/) – インスタンスタイプに応じ、1時間単位（イ ンスタンスにはストレージを内蔵） – バックアップストレージは利⽤量に応じて フルマネージドのデータウェアハウスサービス 10Gb Ether JDBC/ODBC Redshift ⼤規模分散処理 で分析SQLを ⾼速実⾏
- 79. 7979 イベントをトリガーに処理を実⾏可能。 AWS Lambda コードの持ち込み インフラ考慮が不要 AWSサービス / API からのイベント呼び出し オリジナル画像 サムネイル画像 1 2 3 exports.handler_name = function(event, context) { console.log("value1 = " + event.key1); ... context.done(null, "some message"); } 実⾏100ms単位で課⾦ インフラはAWSが管理
- 80. 80 テンプレ
- 81. 81 テンプレ