久々のブログはElasticSearchネタです。勉強会開催する予定だったりすので、もう少し触っておきたいなと。 お手軽に検索するデータとして、よくWikipediaのデータを使っています。 ElasticSearchにはelasticsearch-river-wikipediaという便利なプラグインがあり、Wikipediaのデータを簡単に検索可能な状態にできます。このRiverを利用して日本語のWikipediaのデータを入れたので、メモを取っておきます。 まずは、river-wikipediaで日本語のデータをインデクシングしてみるまでの説明です。 日本語特有の設定（Kuromojiを利用したインデクシング）などはまた後日。 プラグインのインストール 対象とするElasticSearchは現時点で最新版の0.90.3とします。 最新版でRiver動かないなぁとつぶやいた影響かどうかは
wikipediaは6回リンクを辿ればどのページでもいけるらしいｗｗｗ Tweet カテゴリ☆☆☆☆ 1：以下、名無しにかわりましてVIPがお送りします：2011/08/24(水) 19:56:59.47ID:fGOf/vHu0 絶対うそだろｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗ 2：以下、名無しにかわりましてVIPがお送りします：2011/08/24(水) 19:57:49.62ID:gsQnOI/n0 ガンダムからは6回リンクを辿っても胡麻に行けない 34：以下、名無しにかわりましてVIPがお送りします：2011/08/24(水) 20:22:29.18ID:eedl+ifE0 >>2 ガンダム→ナパーム弾→パーム油→揚げる→ごま油→ゴマ(胡麻) 105：以下、名無しにかわりましてVIPがお送りします：2011/08/24(水) 20:53:42.50ID:mhoZV/Sb0 >>34天
Perl（パール）とは、ラリー・ウォールによって開発されたプログラミング言語である。実用性と多様性を重視しており、C言語やsed、awk、シェルスクリプトなど他のプログラミング言語の優れた機能を取り入れている。ウェブ・アプリケーション、システム管理、テキスト処理など、さまざまなプログラムの開発に広く利用されている。 言語処理系としてのperlはフリーソフトウェアである。Artistic LicenseおよびGPLのもとで配布されており、誰でもどちらかのライセンスを選択して利用することができる。UNIX、Windows、macOSやLinuxのようなUNIX互換OSなど多くのプラットフォーム上で動作する。 強力な文字列処理の仕組みを備えており、正規表現を利用できる。 連想配列（ハッシュ）をサポート。 多次元データ構造が利用可能。 自由度の高い文法。簡潔にプログラムを記述できる。 後方互換性は
GIGAZINEに届いた複数のタレコミによると、オンライン百科事典「Wikipedia」に2万8000円でページを作り宣伝を請け負うという業者が現れて問題となっているようです。 Wikipediaは誰でも編集できるシステムになっていますが、宣伝目的のページ作成は禁止されており、また、対価を得てのページ作成も禁止行為となっています。この業者は「宣伝くん」というサービスを提供し「自分ではなかなか作れなかったWikipediaページを2万8000円で作成代行します」と謳うなど、正面からルールを破って複数企業のページを作成しており、Wikipedia内で大激論が繰り広げられています。 一体何が問題になっているのか、詳細は以下から。 ■「宣伝くん」とは？ Wikipediaの記事作成代行を行っているのは、東京都渋谷区初台にある株式会社代行企画。場所はこのあたり。 大きな地図で見る 同社の会社概要を見
wikipediaは同義語の単語(「ASIA」と「アジア」とか)は、代表的な単語にリダイレクトするようになっています。つまりリダイレクト関係にある単語は、大抵は同じ意味であることが期待されます。そこでこのリダイレクト関係を使って、同義語を抽出してみようと思います。 実際に作成したスクリプトは以下の通りです。 #!/usr/bin/perl # # wikipediaのリダイレクトを使って同義語を抽出 # # Usage: # % bzcat jawiki-latest-pages-articles.xml.bz2 | ./redirect_words.pl > result.tsv # # 参考ページ: # [を] Wikipediaのキーワードリンクを使って関連語データを作ってみた # http://chalow.net/2007-06-09-3.html # use strict; u
Wikipediaの記事検索はデモに使えるので、 MediaWikiの記事をプレインテキストにしたい場合がよくある。 以下のページにパーサ一覧みたいなものがあるんだけど、 どれもHTML出力が多くて… http://meta.wikimedia.org/wiki/Alternative_parsers さらに、日本語に対応しているかどうかも重要ですよね。 とりあえず、自分メモからパーサをいくつかピックアップしてみた。 Perl http://search.cpan.org/~dprice/Text-MediawikiFormat-0.05/lib/Text/MediawikiFormat.pm http://search.cpan.org/~dprice/Wiki-Toolkit-Formatter-Mediawiki-0.02/lib/Wiki/Toolkit/Formatter/Med
wikipediaのタイトルを追加しようとしたらいくつかハマったので。 環境はFedora10。 まずはmecabのインストール。 # yum install mecab* とりあえずこれだけでおもむろに形態素解析してみる。 # echo けいおん！のせいでtwitter界隈にギター買うとか宣言してる奴が増えた | mecab けい 名詞,一般,*,*,*,*,けい,ケイ,ケイ おん 名詞,一般,*,*,*,*,おん,オン,オン ！ 記号,一般,*,*,*,*,！,！,！ の 助詞,連体化,*,*,*,*,の,ノ,ノ せい 名詞,非自立,一般,*,*,*,せい,セイ,セイ で 助動詞,*,*,*,特殊・ダ,連用形,だ,デ,デ t * w * i * t * t * e
【毎日wiki問題】毎日「あの誤報が無かったとしても取り調べの可能性は有る→補償しない」「毎日は正義」「あなたの編集にも問題が」 1 ：しいたけ ◆I.Tae1mC8Y ＠おじいちゃんのコーヒーφ ★：2008/11/29(土) 13:31:12 ID:???0 毎日新聞の社会部の方と直接お会いしました。互いに録音装置は持っていないことを確認しました。本騒動については口頭で謝罪をして頂きました。しかし、私は新聞社としての責任の重大さから、口頭での謝罪だけでは不十分と考え、(1)毎日新聞上での私に対する公式な謝罪、(2)誤報が何故起きたのか原因究明、(3)私が実生活で被った不利益に対する補償、を要求しました。 （1) 私の編集内容が被害者感情を傷付ける非常によろしくないものであるため、紙面上で私に対して謝罪することは道理に反するとのこと。「毎日新聞は正義」だとも言われました。毎日
Wikipediaのキーワードリンクを使って関連語データを作ってみた 2007-06-09-3 [NLP][Programming][Algorithm] Wikipedia のキーワードリンクを使って関連語データ（関連キーワード集） を作ってみた。 Wikipedia のデータはダウンロードページからbz2形式のを取ってきた。 日本のウィキペディアのXMLデータね。 (see Wikipedia:データベースダウンロード) で、Perlスクリプトで以下の関連語データ作成処理を行った。 （スクリプトはこの記事の末尾に載せておく） (1) 各キーワードページに含まれているキーワード（リンク）を取り出す。 例えばキーワードAのページにB,C,Dが含まれていたら、A => B,C,D というデータを蓄積。 またキーワードAが他のキーワードのページ（例えばX）に含まれていたら、それも蓄積。その場合
連想検索エンジンreflexa（リフレクサ）はコトバとコトバのつながりを元に未知の情報を探索していくための連想検索エンジンです。連想検索ならではの楽しい検索体験をお楽しみ下さい。
Djangoで書いた、Sennaを用いたWikipedia検索のデモを公開してみた。公開終了しました。 インデックスはN-gramで作ってみたよ。 http://wikipedia.suenaga.name/ にとりあえず置いてみた。 動いているコード自体は、 http://svn.razil.jp/django-wikipedia/trunk あたりからSubversion経由で取得できます。 クエリにかかった秒数の表示とか、Djangoでのキャッシュ機構の活用とか、 インクリメンタルサーチとか、類似文書検索対応とか、キャッシュ文書の表示とか、 いろいろやりたいこともあるのですが、 まあ、とりあえず公開して様子見してみよう。
どうも，kei-s@libelaboです． Wikipedia [1]に時間を盗まれているという方は多いでしょう．文中リンクを辿っていくうちに，元の調べ物は忘却のかなたへ． それを助長するようなGreasemonkeyスクリプトを書きました． 「現在見ている記事を文中リンクとして記述している記事」をリストして，左側のバーに表示するスクリプトです． Install Wikipedia What links here (ver 0.1) [2] スクリーンショットです． [3] 仕組みとしては，Wikipedia内の「リンク元(What links here)」というページの情報を利用しています(ex:モモ (児童文学) - Wikipedia [4])．今回これを作ろうと思ってから初めて見つけました．地味． リストに表示する記事の数はデフォルトで50としています．「(次 50)」を押すと，そ
ウィキペディアのコンテンツなどのデータは、再配布や再利用のために利用できる一元化されたデータベース・ダンプでの提供が行われています。クローラを用いてコンテンツを収集しないでください。このデータベース・ダンプの生成は不定期に行われています。 ウィキペディアのコンテンツは Creative Commons Attribution-ShareAlike 4.0 International License (CC BY-SA 4.0) および GNU Free Documentation License (GFDL) の下にライセンスされています（Wikipedia:著作権と利用規約を参照）。画像などのメディアファイルは異なるライセンスで提供されることもあり、ファイルページで明記されています。 より詳しい解説はmeta:Data dumps（英語）を参照してください。 全プロジェクトのダンプ：du
YappoさんがPerlのライブラリを作っていたので、PHPで作ってみた。といっても、PHPの場合は作るまでもないですが。 <?php /** * Services_SimpleAPI_Wikipedia */ /** * Services_SimpleAPI_Wikipedia * * @author TSURUOKA Naoya <tsuruoka@labs.cybozu.co.jp> * * $wikipedia = new Services_SimpleAPI_Wikipedia(); * $results = $wikipedia->api('YouTube'); * foreach ($results as $result) { * var_dump($result); * } * */ class Services_SimpleAPI_Wiki
興味があるページについてもう少し知ることができる『infolust』 February 21st, 2007 Posted in 便利ツール（ウェブ） Write comment これはちょっとおもしろい。 Infolustでは「文脈検索」なるサービスを提供している。指定したURLの記事を解析し、主要なキーワードについて簡単な説明をしてくれるのだ。 結果は一ページで見れるのでざっと内容をつかむには便利だ。またもっと知りたい場合はWikipediaにとぶこともできる。 これを使えば「うーんと、よさそうな記事なんだけどちょっと自分の知識が足りなくてよくわからない」といったときや、「もう少しこの人が言っていることを知りたい！」というときなどに便利そうだ。 またこのサイトではブックマークレットも配布しているので興味がある人は使ってみるといいだろう。広い意味での英語学習にも使えそうだ。 残念ながら日
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く