Contentsmecabのinstallmecab: installされたファイルSennaのinstallsenna: installされたファイルMySQLのinstallmysqlの起動mysqlのrootにパスワードを設定するメモテストテーブルを作成 http://chasen.org/~taku/software/mecab/http://chasen.org/~taku/software/mecab/#downloadhttp://chasen.org/~taku/software/mecab/src/mecab-0.81.tar.gzhttp://dev.razil.jp/archive/mecabへのpatchファイルは4つあるが、20050423が最新のようだ。http://chasen.aist-nara.ac.jp/stable/ipadic/ipadicは2.7.
Sennaメモ その壱 (with patch) Senna 先月末より公開された、未来検索ブラジルの成果物。 N-gram&MeCabな全文検索システムです。 たとえば・・・ 組み込み型全文検索エンジン Senna : NDO::Weblog 実は、はてなブックマークのブックマーク検索はこの Senna + MySQL で実現されています。 と、導入実績がちゃんとあったりします。 他にも、あんなのやこんなのにも導入されているそうです。 #このメモはsvn Revision 6を対象としています。 #テスト環境はRHL9です。 いけてそうなSennaですが、公開したてということも有りインストールが大変です。 svnでとってきたソースツリーはaclocalとかautoconf,automakeすればインストール出来るのですが mysqlの全文検索機能に対応させるには一筋縄ではいきません。 む
Senna+MySQLをより超高速にするパッチ 当者比50～100倍程のスピードアップ（クエリ/テーブル構造による）のパッチです。 MySQL(特にFullText boolean mode)のlimitの実装はある意味効率の悪い実装になっている。 例えば、limit 100000,100といったクエリを投げると100100行分のデータをディスクから読み込むのである。 まぁ、whereなどの条件に一致する100000件のレコードを先に確定させなければいけない訳で当然といえば当然である。 order byとか使ってたらなおさら。 無論SQL_CALC_FOUND_ROWSなんか使ってると全件確定させなきゃいけないから大変。 当然これらはindexを使用していない時の挙動だと思う。 indexのみが使われたクエリの挙動は未確認だけど。 さて、ここから本題。 では、Senna+MySQLの挙動は
iYappoのコアをSennaに置き換え YappoLabsはRastですが、本番環境にSennaという検索エンジンの種を使いました。 負荷的な問題が顕著になって考えた末、本運用系のiYappoのキーワード検索MySQL+Sennaを使うことにしました。 当然のことながらSennaはN-gramを使うように書き換えてます。 理由はLCの時に話したとおり、携帯系は特に分かち書きに適さないから。 また、my.cnfで認識可能な最小キーワードサイズを2バイトに変更。 ギャル語でもなんでもおｋっす。 基本的にiYappoの検索対象データは、一日に数回全部作り直す仕様なので DBサーバの障害時でのSenna特有のリスクは最小限になっているかと思われます。 検索速度とマシン負荷が劇的に向上しました。 さすがlike '%key%'な検索とは違う。 検索速度に余裕が出たので、iYappoを本格的な全文検
SennaのMySQL bindingをN-gramに さきのエントリーでSennaは「N-gramインデックスを備え」と書いたが、N-gramにも対応しているというのが正しいかも。SennaをMySQLと連携させて使うときはSennaに付属のPatchを使うわけだけど、そのPatchではN-gramなインデックスをつくるようになっていません。mecabを利用した形態素解析がされています。せっかくなので、N-gramに対応させてみた。 Senna付属のPatchを当てた後のMySQLのソースコードをちょっと変更します。 「myisam/mi_open.c」の280行目（？）ぐらい share->keyinfo[i].senna = sen_index_create(buf, sizeof(my_off_t), SEN_INDEX_NORMALIZE, 0, sen_enc_default)
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く