6. おまえだれよ？ Tsuyoshi Ozawa @oza_x86 OSS developer Apache Hadoop の開発をしてます github : oza ←の22章を書いたよ！ Tuesday, October 22, 13
Setting up Disks for Hadoop Here are some recommendations for setting up disks in a Hadoop cluster. What we have here is anecdotal -hard evidence is very welcome, and everyone should expect a bit of trial and error work. Key Points Goals for a Hadoop cluster are normally massive amounts of data with high I/O bandwidth. Your MapReduce jobs may be IO bound or CPU/Memory bound -if you know which one
Hadoop では一つのノードあたり複数ディスクを使うことができますが，ディスクを増やすことによってどれくらい性能が向上するか調べました． HDFSで使用するディスクをdfs.data.dirにコンマ区切りで記入することで複数使えます． <property> <name>dfs.data.dir</name> <value>/data/local/${user.name}/hadoop/dfs/data, /data/local2/${user.name}/hadoop/dfs/data</value> </property> しかし，これだけではまだダメで，mapタスク，reduceタスクが中間データを書き込むディスクも複数指定しなしとHadoopのジョブで複数ディスクを効率良く使えません．mapred.local.dir で設定可能です． <property> <name>mapre
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く