Hadoopのソースコードを読んでいて気になったことについて書いてみる 一般に,Hadoopの処理はMap処理,シャッフル,Reduce処理の3つに分類される このうち，Map処理とReduce処理はユーザプログラムによって制御できるもののシャッフルについてはHadoopが独自に処理するためユーザはその内容を知ることができない このシャッフル処理はMapタスクの結果をReduceタスクに集めるものだ 確かにユーザがいちいちこのMapタスクのこのパーミッションの中間データ（Mapタスクの出力結果）をこのReduceタスクに集める、といったことをわざわざ実装する必要がないことは魅力的だ しかしこのシャッフル処理がくせ者である シャッフルには中間データをReduceタスクへ転送することに加えマージ・ソートの処理が含まれている（"・"で区切っているのは一般的なソートアルゴリズムであるマージソートと
Apr 14, 2010Download as PPT, PDF8 likes2,063 views
初心者なんで、とりあえずパフォーマンスチューニングとかはなしで、概論的なとこだけ。 入門書としてはこれが一番と勧められたので読んだのだけど、とっかかりとしてはなかなか分かりやすかったと思う。 まぁ実際に手を動かさないと何とも分かんないところあるけどね・・・。 第1章 Hadoop ってなんだろう? Hadoop とは 大規模なデータを処理するための並列分散処理基盤 テラバイト・ペタバイトクラスのデータに対して、同じ処理を複数のサーバで同時に処理できる Hadoop の概要 ログ解析、レコメンデーションエンジン、検索エンジンなどで用いられるケースが多い 大規模データ対象のバッチ処理向き Hadoop が提供する機能概要 ハードディスク・ハードウェアを複数並べて同時に利用できる仕組み 分散処理で共通して使う機能 Hadoop の適用領域 RD
あしたのオープンソース研究所では、これから注目されるであろう海外のオープンソースソフトウェアを発見し、サイトを日本語訳することで、みなさまにいち早くご紹介いたします。 2012/08/06 reactive-web の翻訳コンテンツをアップしました。 2012/07/24 「あしたの研について」と「運営会社」のページを更新しました。 2012/07/05 Red5 の翻訳コンテンツ (第2弾) をアップしました。 2012/06/06 Red5 の翻訳コンテンツをアップしました。 2012/06/04 Red5 の座談会資料を SlideShare に掲載しました。 2012/05/07 Friendica の翻訳コンテンツをアップしました。 2012/04/04 Apache UIMA の翻訳コンテンツをアップしました。 2012/03/07 Friendica の座談会資料を Slid
Apr 18, 2010Download as KEY, PDF841 likes139,790 views The document summarizes how Twitter handles and analyzes large amounts of real-time data, including tweets, timelines, social graphs, and search indices. It describes Twitter's original implementations using relational databases and the problems they encountered due to scale. It then discusses their current solutions, which involve partitionin
あしたのオープンソース研究所では、これから注目されるであろう海外のオープンソースソフトウェアを発見し、サイトを日本語訳することで、みなさまにいち早くご紹介いたします。 2012/08/06 reactive-web の翻訳コンテンツをアップしました。 2012/07/24 「あしたの研について」と「運営会社」のページを更新しました。 2012/07/05 Red5 の翻訳コンテンツ (第2弾) をアップしました。 2012/06/06 Red5 の翻訳コンテンツをアップしました。 2012/06/04 Red5 の座談会資料を SlideShare に掲載しました。 2012/05/07 Friendica の翻訳コンテンツをアップしました。 2012/04/04 Apache UIMA の翻訳コンテンツをアップしました。 2012/03/07 Friendica の座談会資料を Slid
Hadoopユーザー会 http://hugjp.org/ Liberty On Hbase 20091113 Hadoop/HBase 開発：Liberty インデクサプロジェクトの例Hadoopユーザー会 http://hugjp.org/ Liberty On Hbase 20091113 Hadoop/HBase 開発：Liberty インデクサプロジェクトの例 http://www.slideshare.net/ykomiyam/liberty-on-hbase-20091113 Hadoop、hBaseで構築する大規模分散データ処理システム http://codezine.jp/article/detail/2448 Hadoopのインストールとサンプルプログラムの実行 http://codezine.jp/article/detail/2485 複数マシンへHa
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く