スキーマって言うとめっちゃコラコラされそうだが。（正確にはmapping 環境 Ubuntu 16.04 Elasticsearch5 ElasticsearchのReindex APIはElasticsearch 2.3.0以降で実装された機能で、その名の通り既存のindexのドキュメントをコピーすることができる。 ここではindex「twitter」から「twitter_new」にコピーするとする。 やりかた まずコピー先のindexを先に作成する。 curl -XPUT localhost:9200/twitter_new -d@tw.json 当然中身はまだ空 次にreindex用のjsonをreindex.jsonとして用意する。typeは指定しないとindex内の全ドキュメントをコピーするので注意。 { "source": { "index": "twitter", "type
はじめに Elasticsearch を持っているなら、ログは余すことなく入れておきたくなるだろう。 パースは後でもできるので、とりあえず入れておくだけ。 ただし、情報量を落とすことなくログを入れたい。 ログは件数が意味をもつこともあるので、重複は避けたいし、欠損してほしくはない。 そのためには、個々のログに対して一意となる ID を指定すればよさそうである。 もしもログ送信元 (Logstash など) や送信先 (Elasticsearch) に異常が発生し再送の必要が生じても、 ID があれば重複なく格納できるようになるため、再送を十分に行えるなら欠損分を補えるだろう。 ちなみに、もし重複を許すなら、途中まで読んでいたログファイルをもう1度読み込みなおせばよい。 なお、もし再送を十分な回数できるなら、ID が（Elasticsearch の自動生成 ID など）ログに対して一意でなく
この記事は全文検索エンジン「Elasticsearch」の入門チュートリアルです。 Elasticsearch とは Elasticsearch は Elastic 社が開発しているオープンソースの全文検索エンジンです。 大量のドキュメントから目的の単語を含むドキュメントを高速に抽出することができます。 Elasticsearch では RESTful インターフェースを使って操作しますが、「Elasticsearch SQL」を使って SQL 文でクエリを記述することもできます。 Oracle や MySQL などのリレーショナルデータベースに慣れている人にとっては、最初はとっつきにくいと感じるかもしれません。 しかし、Elasticsearch の API はとてもシンプルなので、心配しなくても大丈夫です。 Elastic Stack とは Elastic Stack は Elasti
Elasticsearchには類義語によるクエリ拡張機能があります。これを適用すると まどマギ と検索したときに まどかマギカ と書かれた文書もヒットするようになります。 (LuceneやSolrにもありますがここではElasticsearchの話だけします) この類義語辞書は、人手で作ること (e.g., FRILの商品検索をnGramから形態素解析にした話 - mosowave) もできますが、今回はなるべく手間をかけたくないのでWikipediaのリダイレクトデータから自動で類義語辞書を作る方法を紹介します。 (自動といってもノイズも含まれてるので実用的に使うにはある程度人手でフィルタリングする必要があります。それでも一から人手で作るよりは手間が少ないと思います) (ElasticsearchではWordNetでの類義語検索に対応しているようですが、これを書いてる2015年12月時点
Introduction Elasticsearch and Kibana.
目的 検索用サーバーとして最近注目されているElasticsearchですが、ついに1.0 RC1がリリースされたそうです。 Googleトレンドを見ても、この分野で先行するApache Solrに迫る勢いを感じます。 そういうわけで私もElasticsearchについて興味を持って調べてみましたが情報がちょっと少ないですね… 「調べたけど断片的な情報しかない」 「公式doc英語だし、専門用語が多すぎてわからん」 「え、できること多すぎ。よくわからん。どれが重要？」 と言った感じで、最初ちょっと大変… そこで調べ始める人が、概観をつかむためのチュートリアルをつくろうと思います。 コマンドを全部実行する必要ありません。用語をおさえることで調べものが捗ることがひとつのゴールです。 自分の理解の整理も兼ねています。間違ってる箇所あったら教えて下さい。 part 1:ESを使ってレストラン検索を作
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く