世間では「クラウド」がおおはやりのようで、猫も杓子もクラウドｘｘｘなる名前が付いていますが、ことの発端となっているgoogleのクラウド技術についての元情報にアクセスされている方は、結構少ないようです。 つい先日も、「仮想化」を除いたクラウドの技術的な原点はやはりgoogleの三部作であろうという話がありましたので、忘れないうちに原文のリンクを残したいと思います。 なお、今をときめくHadoopプロジェクト （Apacheファンデーションのプロジェクト）はこの三部作の技術をオープンソースで作ろうというところから始まりました。 The Google File System なんといっても「古典」の最初は、GFSでしょう。 現在はgoogleでは使っていないとは思いますが、現在のクラウド話の発端になる「分散ファイルシステム」の論文です。この論文を元にHadoop File System (HD
ということで、Google MapReduceの実装であるHadoopを使ったMapReduceと、JMSを使ったMapReduceをやってみました。 メッセージキューを使って分散MapReduceを実装する HadoopでのMapReduceを気軽に試すサンプル これ何のためにやったかというと、そこらにあるような数十台規模のサーバーを前提としたときに、Hadoopの有効性、ひいてはその元になってるGoogle MapReduceの有効性について疑問に思ったからです。そこで、ちょっと試してみた、と。 ここで、メッセージキューを使った場合に1秒でできてた処理が、Hadoopを使うとスタンドアロンモードでも40秒近くかかりました。擬似分散モードだと4分近くです。 いくらHadoopの実装がひどいとしても、これはあんまりです。 Googleでの実装はもっと効率的なものになっていると思いますが、そ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く