Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?
先ほどの表2のデータが文書ID順だったのに対して、表3は見出し語順になっています。文書IDと見出し語のデータの並び順がひっくり返っているために、転置インデックスに「転置」という語が付けられます。転置インデックスの形式であれば見出し語ごとに求めるべきデータが固まっているので、求めるべき文書IDと出現位置の集合が高速に得られます。Googleでは複数台のマシンを使った分散処理で表2の形式から表3の形式にデータを変換しており、この操作をMapReduceと呼ぶしくみを通じて実現しているということです。 FINDSPOTの転置インデックス構造 FINDSPOTの転置インデックスを設計する際には、いくつかの前提条件について吟味する必要がありました。 まずは扱うデータの分量です。FINDSPOTで扱うデータ量は平均500字程度の文書で100万件というのが当初の目標値でした。トータルの文字数は、500字
実験エントリです。 予習してみる 「転置インデックス」というキーワードで検索して、しばらく勉強してみます。 転置インデックス - Wikipedia mixi Engineers’ Blog » 転置インデックスを実装しよう ASCII.jp：悟空、秘剣「転置インデックス」を手に入れる ｜Googleはなぜ的確に探せるのか？ [を] 転置インデックスによる検索システムを作ってみよう！ 転置インデックスで学ぶ検索エンジンの中身アプリ - 睡眠不足？！ うーんなるほど。分かったような分からないような。 作ってみる とりあえず、Twitter4Jを使ってこんなデータを用意しました。ちなみに人選は漢(オトコ)のコンピュータ道: MySQLerのTwitterアカウントまとめ。を参考にさせていただきました。 5707049458,2009-11-14 20:28:34,sakaik,@hbstudy
皆さん、ご無沙汰しております。 パソコン周辺機器にお金をかけはじめている笹亀です。 エンジニアはパソコンが商売道具なので、 やはり使いやすい物を使いたくなるのは自然な事ですね。 ご参考までに。。。 マウス ：Logicool MX Revolution（ビックカメラでポイントで購入 キーボード：Bluetooth Mac用キーボード（会社の人から売ってもらいましたw 今回はTriggerについてご紹介したいとおもいます。 Triggerとは、データの変更などのイベントによってあらかじめ指定した処理を自動的に実行する機能です。 最近使用しているデータベースには必ず備えてある機能です。 Oracle,Postgres,MySQLでも当たり前のようにあります。 実際にはどのようなときに使用するものなのでしょうか？ ・特定のテーブルに対しての処理のログをとるため ・特定のテーブルのバックアップを
A5:SQL Mk-2は複雑化するデータベース開発を支援するために開発されたフリーのSQL開発ツールです。 高機能かつ軽量で、使い方が分かりやすいことを目標に開発されています。 SQLを実行したり、テーブルを編集するほかに、SQLの実行計画を取得したり、ER図を作成したりすることが出来ます。 特徴・機能 OCI接続・直接接続・ADOまたはODBCを介したDBへの接続 Oracle DatabaseはOCI経由の接続・直接接続が出来ます。 PostgreSQLとMySQLは直接接続が出来ます。 Microsoft SQL Serverは、OLE DBプロバイダを直接呼び出した接続ができます。 IBM DB2は、ODBCドライバを直接呼び出した接続ができます。 その他のデータベースは、ADOまたはODBCを利用して接続します。 Oracle, PostgreSQL, MySQLは、A5:SQL
PHPとMySQLを使い、「受付時間～終了時間」の検索をテストしています。 次の日にまたぐ時間（10:00～翌2:00など）の場合、どのようにDBに登録して、 どのようなSQL文を書けば、その範囲内にヒットするデータを抽出出来るか分かりません。 日をまたがない場合、以下のようにしていました。 SELECT * FROM shop start_time<'$date' && last_time>'$date' $date = date("H:i");//現在の時間 start_timeとlast_timeのデータ型は「time」です。 ヒットする：start_timeに「10:00:00」、last_timeに「23:00:00」のレコードがあり、22時にSQLを実行した ヒットしない:start_timeに「10:00:00」、last_timeに「02:00:00」のレコードがあり、22
こちらのエントリーが大変参考になったので、僕らが作ってる怖話.jp（kowabana.jp）のシステム構成や開発方法についても公開していこうと思います。 怖話.jpはスマホ向けWebサービスなのでPC向けとはPVとかの傾向がちょっと違うかも知れません。 怖話.jpとは スマホで17,000話以上のサウンドノベル風の怖い話が閲覧・投稿できるサイト（アプリではありません）です。詳しくは下記エントリーを参照してください。 スマホでサウンドノベル風怖い話投稿サイト | FJORD, LLC（合同会社フィヨルド） 7月16日にRubyKaigi2011に合わせて無理矢理ベータテストオープンして、8月9日に正式オープンしましたので正式オープンからは１ヶ月経ってないまだまだのサイトです。開発期間は約１ヶ月ぐらいです。 サイト情報 （これAnalyticsを直接貼るのはどうやればいいんだろう？） 直近一ヶ
ソフトウェア開発のお仕事メモや、フェイキックIOLの手術体験談をマイペースに残していました。 もうあの頃へは戻れない・・・ [MySQL]GeoMetry型を使う（WKT形式を使ったSET/GET）で投稿した GeoMetry関連のMyメモです。 GeoMetry型のカラムには（当然ですが）空間情報が入っています。 例えば、学校などがわかりやすいでしょうか？ 「○○学校」のPOINT（位置）情報やPOLYGON（学区）情報を MySQLで管理できるわけです。 これらを検索条件としたいケースがおのずと出てきますが、 普通にWHERE条件とすることはできません。 専用関数を使う必要があります。 以下は、「最小外接矩形（MBR）における関係」より抜粋したものです。 ■MBRContains(g1,g2) 1 または 0 を返すことにより、g1 の最小外接矩形に g2 の最小外接矩形が 含まれてい
2010年09月13日 MySQLでの暗号化・復号化処理 MySQLのAES_ENCRYPT(string,key_string),AES_DECRYPT(string,key_string),HEX(N_or_S),UNHEX(string)関数でデータの暗号化・復号化ができます。 暗号化：例） UPDATE users SET password = HEX(AES_ENCRYPT('パスワード', , '任意のAESキー')) WHERE id = $id; 復号化：例） SELECT AES_DECRYPT(UNHEX(password), '任意のAESキー') AS password_decrypt FROM users WHERE id = $i UPDATE kaiin SET card_no= HEX(aes_encrypt('1111-1111-1111-1111','h
/varディレクトリへのディスク割り当てが100%になってしまい、MySQLサーバーの接続上限に達して、接続できないという現象が発生した。 調べてみたところmysql-bin.000001が1.8GBにもなっていたことがわかった。詳しく調べてみると、mysql-bin.NNNNNNはバイナリログになっており、レプリケーションを利用する際に使用される。 レプリケーションを使用しない場合(MySQLをサーバー1台で運用する場合)には、my.cnfの log-bin=mysql-bin をコメントアウトして再起動すればよい。 ログを削除する場合には、上記の設定変更を行う前に、rootユーザーでMySQLサーバーに接続後、 PURGE MASTER LOGS before now(); として安全にバイナリログを削除するとよい。
先に distance_sphere(), distance_spheroid() for MySQL を公開しましたが、 ドキュメントがダウンロードして解凍しないと見れないのは不便だということなので、ここに置きます。 また配布物の中に日本語ドキュメントがなかったので、まずは日本語ドキュメントを。 はじめに ------------------------ このプログラムはユーザ定義関数(UDF)として、PostGISのdistance_sphere(),distance_spheroid()と同様の関数をMySQLに追加するものです。 機能 ------------------------ distance_sphere(point, point) ２つの緯度経度を結ぶ直線距離をメートルで返します。地球を半径6,370,986mの球形として計算します。distance_spheroidよ
こんにちは、アシアルの中川です。 Google Mapsに表示する情報をMySQLのgeometry型で扱う方法を試してみました。 Google Mapsのある地点にマーカーを表示したりすることがある場合、 緯度・経度の情報で地点に表示させることができますが、 データベースにこの情報を保存する場合、lat(float), lng(float)とそれぞれカラムに保存する方法もあるのですが、この方法では各データの位置の関係が非常に扱いにくくなります。 Google Mapsで表示されている範囲内のデータのみ取得したい場合や、 ある地点から近い順に取得する場合などに面倒なことになります。 そこで、MySQL4.1以降で用意されている空間情報を扱う機能の「geometry」型を使用します。 「MySQL 4.1 リファレンスマニュアル :: 10 MySQL における空間情報の機能(日本語)」 「
古いMySQLからMySQL5の最新版にアップグレードする際の文字化けを防ぐバックアップ＆リストア方法 2011年01月18日- 古いMySQLからMySQL5の最新版にアップグレードする際の文字化けを防ぐバックアップ＆リストア方法。 つい先日、とあるサーバのMySQLのバージョンが相当古く4.1ということだったので最新GAの5.5.8にバージョンアップしました。 大幅なパフォーマンス向上やクラッシュリカバリの高速化など5.5系にアップグレードのメリットは大きいですね (詳しくは奥野さんのブログを参照) 尚、一つ前のGAである5.1系へのアップグレードにも使えます 尚、rpmパッケージでのアップグレード方法ではなく、ソースのコンパイルベースのアップグレードなのでご注意ください。(バイナリダウンロードでも使えます) その際に、データベースの移行をするため、mysqldumpを使い 高速にバッ
初めまして。2010年の3月に入社した oinume です。新年1月からウィルス性胃腸炎に罹りながらもなんとかこのエントリーを書いています。今回は、mysqlコマンドに関する自分が今まで学んだ＆教えてもらった細かい実践的なTIPSを紹介します。小粒ですが何かの役に立てば幸いです。 edit (¥e)コマンド mysqlプロンプトにいながら任意のエディタでSQLが編集できちゃいます。具体的には、mysqlコマンドでプロンプト待ちの状態で mysql> edit のように edit または ¥e と入力すると、環境変数EDITORで設定してあるエディタが立ち上がりSQLが編集可能になります。編集が終わったらエディタを終了して ; とやればSQLが実行されます。viなどターミナルで動くエディタに慣れている人は長いSQLを編集する時に重宝する機能でしょう。この技は前職の同僚に教えてもらって、以降便
2011年はサーバサイド JavaScript の年！ サーバサイド JavaScript の本命は node.js！ ということで割と普通のウェブアプリケーションを node.js で作るためのチュートリアルを書いてみました。WebSocket とか新しめの話題は結構見ますが、PHP とかで普通のウェブアプリ作ってる人向けのチュートリアルとかあんま見ないような気がしたので、って感じです。 チュートリアルの内容ですが、コード量が少なめで機能的にも分かりやすそうなモノということで、短縮 URL ウェブアプリケーションを作ってみることにしました。bit.ly とか t.co とか nico.ms みたいなアレです。短縮 URL のデータは MySQL に保存します。 結構長文になっちゃったので、先に目次置いときます。 node.js のインストール npm (Node Package Mana
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く