Elasticsearchインデクシングのパフォーマンスを測ってみた
•Download as PPTX, PDF•
5 likes•7,465 views
第14回Elasticsearch勉強会 LTの資料です。
![queueのデフォルトサイズは50
あふれるとエラーコード429
(Too Many Requests)
{
"index": {
"_index": "test",
"_type": "document",
"_id": "1",
"status": 429,
"error": "EsRejectedExecutionException[rejected execution
(queue capacity 50) on
org.elasticsearch.action.support.replication.TransportShardRe
plicationOperationAction$PrimaryPhase$1@73f30700]"
}
}
queue capacity変更可だがThread Poolのパラメータ変更は非推奨](https://image.slidesharecdn.com/indexperformance-160107140653/75/Elasticsearch-13-2048.jpg)
Elasticsearchインデクシングのパフォーマンスを測ってみた
- 2. 自己紹介 • 黒澤亮二 @rjkuro • 日本IBM • Elasticsearch暦 1年 • 最近の興味： 分散データベース NoSQL Search/Analysis 並列処理
- 3. disclaimer • パフォーマンスは環境に大きく依存します • できるだけ一般的な傾向を測定するようにしてい ますが、あくまで一例としてご理解ください • 本資料は私自身の見解であり、必ずしも私の所属 する組織の立場、戦略、意見を代表するものでは ありません。
- 4. インデクシングのパフォーマンス 特性を調べてみた • LogstashやBeatsを使わず自力でJavaで • ElasticsearchにHTTP RESTで直接データを送信 • Node client/Transport clientは使っていません • Elasticsearch 1.7.3 • 3 nodes x (32 CPU cores, 10GB memory, local SSD) • Standard analyzer • Text data avg. size 6KB • シナリオごとにconfigurationを多少調整しています
- 6. 結論：インデクシングを 早く終わらせるためにすべき事 • 複数セッションからデータを送信するといい • シャード数/ノード数=1がベスト レプリカあると重い • refresh intervalはデフォルトよりちょっと長めに • bulk size小さすぎないように注意 • 不要なら_allや_sourceを削減
- 7. ただし注意事項 • キューがあふれるとデータが捨てられる • 1.x系はデフォルトでthrottlingが有効なので注意 • REST apiで一回に送れる 最大サイズ100MB (デフォルト) • クラウド環境ではネットワークレイテンシに注意
- 11. データ欠損時 何が起きているか？
- 13. queueのデフォルトサイズは50 あふれるとエラーコード429 (Too Many Requests) { "index": { "_index": "test", "_type": "document", "_id": "1", "status": 429, "error": "EsRejectedExecutionException[rejected execution (queue capacity 50) on org.elasticsearch.action.support.replication.TransportShardRe plicationOperationAction$PrimaryPhase$1@73f30700]" } } queue capacity変更可だがThread Poolのパラメータ変更は非推奨
- 14. ちなみに
- 15. ここでいう「リクエスト数」 = bulk requestをshardごとに分解したもの をカウント 1 nodeに50 shardあったら、 あっという間にqueueがあふれる！
- 16. シャードの個数については
- 21. なぜかというと
- 26. バルクのサイズは？
- 28. バルクサイズのmaxは100MB クライアント側ではエラーの原因 分かりにくいので注意 javax.ws.rs.ProcessingException: java.io.IOException: Error writing to server at org.glassfish.jersey.client.internal.HttpUrlConnector.apply(HttpUrlConnector.java:286) at org.glassfish.jersey.client.ClientRuntime.invoke(ClientRuntime.java:255) at org.glassfish.jersey.client.JerseyInvocation$1.call(JerseyInvocation.java:684) at org.glassfish.jersey.client.JerseyInvocation$1.call(JerseyInvocation.java:681) at org.glassfish.jersey.internal.Errors.process(Errors.java:315) at org.glassfish.jersey.internal.Errors.process(Errors.java:297) at org.glassfish.jersey.internal.Errors.process(Errors.java:228) at org.glassfish.jersey.process.internal.RequestScope.runInScope(RequestScope.java:444) at org.glassfish.jersey.client.JerseyInvocation.invoke(JerseyInvocation.java:681) at org.glassfish.jersey.client.JerseyInvocation$Builder.method(JerseyInvocation.java:437) at org.glassfish.jersey.client.JerseyInvocation$Builder.post(JerseyInvocation.java:343) サーバーから一方的に切断され たようなエラーになる
- 29. index設計時に