データセンター視点で考えてみるHadoop
•
3 likes•1,807 views
HadoopカンファレンスJapanで行ったクロージングスピーチのスライドです。 日経BP社、日経コンピュータ編集部の中田が行いました。
データセンター視点で考えてみるHadoop
- 1. 2009年11月13日 Hadoop カンフゔレンス クロージングスピーチ データセンター視点で 考えてみるHadoop 日経BP社 日経コンピュータ 中田 敦
- 2. 日経コンピュータも Hadoopを追いかけます！ 2009年 11月24日号に ご期待ください
- 3. ところで… Yahoo! が Hadoopを運用している データセンターが どのようなものか ご存じですか？
- 4. 米Yahoo!本社の コンテナ型データセンター 海上輸送などに使用 する国際規格の幅8 フゖート（2メートル 44センチ）、長さ40 フゖート（12メート ル20センチ）のコン テナ
- 6. 米Yahoo!本社の コンテナ型データセンター ラックとラックの間にある 銀色の箱は「ラジエター」。 中に水が循環する細いパ プが張り巡らされています。 中にある大きなフゔンで風 を起こして、サーバーが発 する熱を流し込み、ラジエ ターの中を流れる水によっ て熱を冷やす仕組み
- 8. 米Yahoo!本社の コンテナ型データセンター コンテナには水を供給・ 排出するホースが合計2 本接続されています。 導入された水によって サーバーの熱を冷やし、 温まった水がコンテナ外 に排出される仕組み
- 9. コンテナ型データセンターの規模 米SGI「ICEcube」の仕様（コンテナ1台当たり） サーバー台数 最大2400台 プロセッサ数 最大4800個 プロセッサコゕ数 最大2万2400個 ストレージ容量 最大11ペタバト 水の温度 セ氏18度
- 11. Microsoftの場合 シカゴの最新鋭データセンター コンテナ 200台 112台 サーバー台数 約50万台 22万4000台 （コンテナのみ） 「Data Center Knowledge」より引
- 12. なぜHadoop、なぜコンテナ？ 「情報爆発」という 新しい現実に向き合うには それに見合った 新しいツールが必要
- 13. Googleの中の人曰く ケン・トンプソン氏 • some sort of – not Cloud Computing but a Cloud Computer; something that is always there and always be accessed and always store data and always give it back.
- 14. Googleが自作した 「クラウドコンピュータ」 ゕプリケーションサービス Google Web検索 ログ解析 Gmail Maps 論文： プログラミング言語 Bigtable: A 論文： Sawzall Distributed Storage Interpreting the Data: System for Structured Parallel Analysis with Data（2006年） Sawzall（2005年） 並列プログラミングモデル キー・バリュー型データストゕ MapReduce BigTable 論文： 論文： The Google File MapReduce: System（2003年） Simplified Data 分散フゔルシステム Processing on Large Google File System（GFS） 論文： Clusters（2004年） The Chubby lock 分散ロックシステム service for loosely- ホワトペーパー： coupled distributed The Datacenter as a Chubby systems（2006年） Computer. An Introduction to the Design of Warehouse- 独自に建造したデータセンター 論文： Scale Machines（2009 Failure Trends in a 年） Large Disk Drive グーグルプラットフォーム Population（2007年）
- 15. Hadoopとは何か？ Googleが作った 「クラウドコンピュータ」を 民主化 する存在
- 16. お伝えしたいこと Hadoopを使って 「何か新しいこと」を やりましょう
- 17. お伝えしたいこと ユーザー事例に ついては 日経コンピュータに ご連絡を
- 18. ありがとうございました Twitter: @Nakada_itpro