SQLとElasticsearchのクエリがそれぞれどう対応しているのか、よく使われると思うものについて大体まとめました。 環境 Elasticsearch 6.2.4 〜 7.5 前提条件 記載する内容は以下の条件を前提とします。 Elasticsearchで検索する際のURLの記載は省略 Elasticsearchでは検索を行う際に以下のようなURLへリクエストします。 {ElasticsearchのURL}/{index名}/_search 例えばSQLでproductというテーブルに対して索引を行っている場合、Elasticsearchでは以下のURLへリクエストを行っています。 http://localhost:9200/product/_search 以降Elasticsearchのリクエスト先URLは記載しませんが、上述のようなURLへリクエストしている前提です。 文字列のデ
トリバゴのように一つのホテルの価格を複数のサービスで比較をすることを考えるとき 検索結果はホテルをあるソート順（おすすめ順）で並べた上で、さらに各ホテルの中で比較したいサービスがあるソート順（価格低い順）に並んでいるようにしたい これを実現するために、ElasticsearchのField Collapsing という機能があることを知ったので調べてみた https://www.elastic.co/guide/en/elasticsearch/reference/current/search-request-body.html#request-body-search-collapse Field Collapsing Field Collapsing は指定されたフィールドで検索結果をグルーピングする機能 Field Collapsingを使うためには、クエリに collapse 句を追
Elasticsearchチュートリアル __リンク：/elasticsearch/elasticsearch_pdf_version [PDFバージョン] __ link：/elasticsearch/elasticsearch_quick_guide [クイックガイド] __リンク：/elasticsearch/elasticsearch_useful_resources [リソース] __ 仕事探し __リンク：/elasticsearch/elasticsearch_discussion [ディスカッション] *Elasticsearch* は、リアルタイムで分散されたオープンソースの全文検索および分析エンジンです。 これは、単一ページアプリケーション（SPA）プロジェクトで使用されます。 ElasticsearchはJavaで開発されたオープンソースであり、世界中の多くの大企業で
{ "size": 0, "aggs": { "by_prodcuts": { "terms": { "field": "product.keyword", "size": 10 }, "aggs": { "sum_total_price": { "sum": { "field": "total_price" } } } } } } { "took": 570, "timed_out": false, "_shards": { "total": 145, "successful": 145, "skipped": 0, "failed": 0 }, "hits": { "total": 7968, "max_score": 0, "hits": [] }, "aggregations": { "by_prodcuts": { "doc_count_error_upper_bound": 0
集約クエリの例 例：total_priceの合計値と平均値を取得するクエリ total_price合計 total_price平均 placeごとの total_price合計 total_price平均 GET user_price_index_*/_search { "size": 0, "aggs": { "sum_total_price": { "sum": { "field": "total_price" } }, "ave_total_price": { "avg": { "field": "total_price" } }, "group_by_term_place": { "terms": { "field": "place.keyword" }, "aggs": { "sum_total_price": { "sum": { "field": "total_price"
{ "query": { "bool": { "filter": ..., "must": ..., "must_not": .., "should": ..., } } } must (AND条件) filter (AND条件) should (OR条件) must_not (NOT条件) AND条件 複数の条件が存在するとき全ての条件を満たすdocumentを検索。 filterクエリ AかつBといった検索条件を満たすためのクエリ。 検索結果から計算されるスコア(score)を計算しない。 特にスコアの結果が必要でない限りfilterクエリを使ったほうが良いと思われる。 スコア(score)が具体的にどのようなものかはここでは省略。
目的 ElasticSearchの基本的な検索のやり方の説明と記述の仕方を説明する。 使用環境 Amazon Elasticsearch Service Elasticsearch6.4 Kibana6.4 用語説明 Index 索引。 このindexに検索対称のドキュメントを格納。Indexは複数もつことが可能。 例：先頭にuser_price_index_がつくIndexが1日ごとに作られる user_price_index_20190501 user_price_index_20190502 user_price_index_20190503 user_price_index_20190504 Type リレーショナルデータベースでいえばテーブルに相当。 バージョン6以降は廃止される。 Document 格納されたドキュメント。 リレーショナルデータベースでいえば1レコードに相当。
FirebaseのFirestoreの検索がいまいちなので、 Elasticsearchを使うことにしてみました。 特にFirestoreのgeohashでの検索の精度がいまひとつ悪い、 というのが一番の理由です。 というわけで、FirestoreのデータをElasticsearchへインポートしてみました。 Elasticsearchの準備 今回は、Elastic Cloudサービスを利用することにしました。 無料トライアルを利用してみて、このCloudサービスから利用した方がコントロールパネルが充実してそうなのでこちらを選択することにしました。 たぶん、料金はGCP、AWSから直で使っても同等の値段になると思います。 indexの作成 testというindexを作成 mapping設定 Elasticsearchでは基本データ投入時に自動で型を設定してくれるようですが、 それだと緯度経
たとえば、inputに「stdin」、outputに「file」というプラグインを使用すれば、標準入力からイベントを受け取り、それをファイルに出力することが可能となる。そしてLogstashが注目されている理由の1つのが、出力先として「Elasticsearch」が利用できる点だ。 検索機能に優れた分散型データベース「Elasticsearch」 Elasticsearchはオープンソースで開発されている分散型データベースシステムだ（図2）。「Elastic」という名前のため勘違いされやすいが、米Amazonが提供しているクラウドサービス「Amazon Elastic Compute Cloud（EC2）」とは無関係だ。 図2 ElasticsearchのWebサイト ElasticsearchはJavaで実装されており、またデータ検索エンジンとして「Lucene」が組み込まれているのが特
Logstashとは さまざまなデータソースから情報を収集し、さまざまなstash＝格納庫にデータを投入する機能を提供するツールです。 Elaticsearchの文脈で語る上では、「Elasticsearchにデータを投入するためのエージェント」という位置付けになりますが、Logstash自身としては、プラグインを通じてデータベースやSlack、メールや、AWS S3など様々な対象にアウトプットすることができます。 beatsとの大きな違いは、収集した情報を転送する前に加工することができる、という点です。 今回は、MySQLに対して定期的に問い合わせた「SHOW GLOBAL STATUS」の結果をファイルに出力したものをInputとし、Elasticsearchに投入するケースに挑戦します。 また、beatsと異なる機能である加工処理も入れてみたいと思います。 Logstashのセットア
構成/接続イメージ インストール環境 事前準備 パッケージ更新 Elasticsearch リポジトリ追加 パブリックキー取得 リポジトリ追加 Elasticsearchインストール 設定修正 Elasticsearch起動 Elasticsearch起動確認 kibana リポジトリ追加 パブリックキー取得(取得済みなら不要) リポジトリ追加 kibanaインストール kibana起動 kibana起動確認 NGINX リポジトリ追加 アクセス制限(basic認証)用パッケージ追加 nginxインストール nginx設定 ユーザ作成 nginx起動 kibana起動確認 logstash リポジトリ追加 パブリックキー取得 リポジトリ追加 logstashインストール logstash設定編集① logstash起動 logstash簡易テスト (番外)logstash起動テスト(オプシ
この記事は全文検索エンジン「Elasticsearch」の入門チュートリアルです。 Elasticsearch とは Elasticsearch は Elastic 社が開発しているオープンソースの全文検索エンジンです。 大量のドキュメントから目的の単語を含むドキュメントを高速に抽出することができます。 Elasticsearch では RESTful インターフェースを使って操作しますが、「Elasticsearch SQL」を使って SQL 文でクエリを記述することもできます。 Oracle や MySQL などのリレーショナルデータベースに慣れている人にとっては、最初はとっつきにくいと感じるかもしれません。 しかし、Elasticsearch の API はとてもシンプルなので、心配しなくても大丈夫です。 Elastic Stack とは Elastic Stack は Elasti
CentOS7環境へのElasticsearchのインストールについて纏めます。環境は次の通りです。 ・CentOS 7.5 ・Elasticsearch 6.3 タイムゾーンをJST に変更
プラグインは、Elasticsearch の基本機能を強化する為の仕組みです。プラグインと一口に言っても、analysis 系のプラグインとか、Discovery 系のプラグインとか、いろいろあるのでまとめ。 Installing Plugins.インストールは簡単で、Elasticsearch のパッケージに含まれる plugin スクリプトを使ってインストール可能。 $ bin/plugin --install <org>/<user/component/<version>elasticsearch が提供しているプラグインは、GitHub のここで見つかります。 例えば、Japanese (kuromoji) Analysis for Elasticsearch のインストール。 $ bin/plugin -install elasticsearch/elasticsearch-an
Logstashの導入方法 実行環境 OS：Ubuntu 16.04 LTS JDK：Open JDK 8 事前準備 Elasticsearchが構築済みであること JDKがインストール済みであること 手順 Logstashのダウンロード Logstashのインストール 設定ファイルの準備 Logstashの起動 Logstashの停止 1. Logstashのダウンロード 下記のサイトよりLogstashのダウンロードを行います ダウンロードサイト：https://www.elastic.co/jp/downloads/logstash 本手順ではcURLを使ってダウンロードを行っています ダウンロードコマンド例：curl -k -L -O "https://artifacts.elastic.co/downloads/logstash/logstash-5.1.1.deb" 2. Lo
はじめに 今回はElasticsearchとKibanaを使った、Twitterダッシュボードの作成方法についての解説しています。Elasticsearchに関する前提知識はなくても、最後までたどり着ける構成になっている(はず?)なので、是非参考にして頂ければと思います。 単につぶやきデータを収集したいという場合は、TwitterのAPIを好みのスクリプトで呼び出して取得すれば良いのですが、今回の場合はつぶやき数の推移を追いたい、踏み込んだ分析も行いたいなどという目的もあったので、データがストックされていき、ドリルダウン分析も可能な環境を構築する形で対応する事にしました。 Redash / Googleスプレッドシートのアドインなど色々と実現手段は考えられたのですが、Elastic Stackで構成するのが1番手軽かつ、要件を満たせると考え実装しました。同じように特定のキーワードを含むつぶ
使うもの Completion Suggester 嵌りポイント 公式のドキュメントを写経しても、電話番号のような文字列を入れたときには、期待した結果が得られない。 PUT music { "mappings": { "_doc" : { "properties" : { "suggest" : { "type" : "completion" }, "title" : { "type": "keyword" } } } }, "settings": { "number_of_shards": 1, "number_of_replicas": 0 } } POST music/_doc/1?refresh { "suggest" : { "input": [ "Nevermind", "Nirvana" ], "weight" : 34 } } POST music/_doc/2?refre
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く