今日開催された関西オープンソース2008 関西コミュニティー大集合に行ってきたので、グダグダと感想を書く。 家~会場 家から駅まで(徒歩で15分)の距離でバスを利用してしまう。 阪急で向かいに座っていた、女子中学生or高校生の２人組に、乗った瞬間から降りるまでずーーーーっとクスクス笑われた（こっちを見ていた上に、自分がくしゃみをした瞬間も笑っていたので、被害妄想じゃないはず）。 梅田で迷う。乗換に戸惑う。→大阪こわーい 何とか到着したものの、１１時直前だったので、はてなのセッションにとりあえず向かう。 はてな流大規模データ処理 by id:naoya 全体的に難しかった。ほとんど理解できなかったので、メモの繋がりとか間違ってるかも。 はてなの大規模サービス はてなブックマーク はてなダイアリー ┗大規模なデータベースが必要。 メモリにデータ(キャッシュ)を読みに行った時…8GB/s ディス
KOF2008：関西オープンソース2008というイベントに来ています。 はてなの伊藤さんの講演があったので、講演メモを公開。 ＃ボクがメモした内容であって、100%言ったとおりに書いてあるわけじゃないので、参考としてご覧ください。 (続き) アジェンダ 大規模なデータ OSのキャッシュ MySQLの運用 大規模データアプリケーションの開発 データの例 はてなブックマークのデータ量：五千万件くらいのデータ量 このデータに対して何百万人がアクセスしてくる状況でどういう作りにするか レコード数 1073万エントリー 3134万エントリー 4143万タグ データサイズ エントリー2.5GB 何の工夫もなく普通にアクセスすると...200秒待っても結果が帰ってこない 大規模データの難しいところ 開発サーバで開発者が作っている時は快適に動いていても、多数の人間がアク
KOF 2008 での発表資料「はてな流大規模データ処理」を以下にアップロードしました。 http://bloghackers.net/~naoya/ppt/081108huge_data.ppt 一部参考文献からの引用 (Introduction to Information Retrieval から Vector space model の図、たつをの ChangeLog から転置インデックスの図) があります。この場を借りて感謝。 環境によってはおそらくフォントの表示がいまいちだと思いますが、ご了承ください。 追記 SlideShare にアップロードしました。 081108huge_data.pptView SlideShare presentation or Upload your own. (tags: linux mysql) 追記: メモリはディスクの 150 倍について
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く