MATSUO a.k.a マッツォ @understeer 時間作って、Mongo on EC2, Solr on EC2をちゃんと体に染み込ませておきたい脳 (´・ω・`) 2012-01-14 21:27:32
MATSUO a.k.a マッツォ @understeer 時間作って、Mongo on EC2, Solr on EC2をちゃんと体に染み込ませておきたい脳 (´・ω・`) 2012-01-14 21:27:32
8. ツイートID生成システムSnowflakeとは l ユニークなIDを生成するネットワークサービス l ツイッターのツイートID(ステータスID)の割り当てに使われている l ツイッター社がOSSで公開中 (*) l 特徴 l 64 bitのIDを生成 l ざっくり時刻順 l 速い l 10000 ID/秒 のスピードでIDを生成できる(1プロセスあたり) l レスポンス 2 ms (+ネットワークのレイテンシ) l スケールする l 複数のマシン・プロセスで協調動作しない l 並べただけスケールする(はず) (*) https://github.com/twitter/snowflake 8 9. Snowflakeが開発されるまで l ツイートの流速増加とツイッターのシステム移行 l 5億ツイート/日(約6000ツイート/秒) (*1) l 2012年1
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
Twitterのリアルタイム検索機能が、オープンソースのLuceneベースになったと、Twitter Engineeringブログへのエントリ「Twitter's New Search Architecture」で紹介されています。 これまでTwitterはリアルタイム検索にMySQLベースの独自システムを利用してきましたが、規模の拡大が難しくなってきたため、6カ月前に新システムの構築を決定。オープンソースの検索エンジンであるLuceneを選択したとのことです。 従来の50倍も高速に！ 検索エンジンに対する要件は以下のように非常に厳しいものでした。 Our demands on the new system are immense: With over 1,000 TPS (Tweets/sec) and 12,000 QPS (queries/sec) = over 1 billion
マトモに使えるRPCライブラリ MessagePack-RPC for Ruby のバージョン 0.2.0 をリリースしました！ 新たにコネクションプーリングの機能を追加しました。一度接続したコネクションを共有して使い回すことができます。コネクションを何度も張り直す負荷と遅延を削減でき、リソースの消費も抑えられます。 また、不意に切断されたコネクションを自動的に再接続する機能を導入し、信頼性を向上させています。 これを使って何か作ってみようと言うことで、twitterのリアルタイム検索エンジンを作ってみました。日本語を検索できないなど機能は貧弱ですが、プログラム全体がわずか140行に収まっています（クローラ27行、インデクサ48行、クラスタ管理ノード37行、検索クライアント28行）。 新しいつぶやきを受信するたびに、リアルタイムで転置インデックスを作成していきます。インデックスを作成するノ
Twitterで同じ趣味を持っている人を探してフォローしよう [ベータ版]ブラウザの検索バーにTwitterプロフィール検索を追加する 過去1週間のホットな検索 thinkpad 仏像 ベース 弾く 京都 鉄道 携帯 京都 仏像 Twitterを使っていてユーザーを検索したくなることはありませんか？ TwitterサイトもTwitter APIも、ユーザー名での検索は可能ですが、「自己紹介」にかかれている内容での検索ができないので「もっと趣味の合うフォロワーをみつけたい」といった時にストレスを感じます。 Twitterプロフィール検索は、そんなストレスを解消する為のツールです。 もし自分を検索して出てこなかった場合、@lefthandleか@kyotoswitchをフォローしてしばらく様子をみてください、数時間以内に検索対象になるはずです。 使い方 検索文字列入力フィールドに文字列を入力し
ドットインストール代表のライフハックブログ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く