Hadoop（0.22以前や1.0.0）のHDFSはNameNodeがSPOF（単一障害点）なので、ファイルサーバーやデータの“バックアップ”には向かないという話です。 HDFS上に構築されているHBaseの場合、（HBase自身にはSPOFは無いけれども）HDFSにSPOFがあるので、NameNodeは冗長化した方が良いようです。 冗長化には以下のような仕組みが考えられているようです。 続きを読む
Hadoop（0.22以前や1.0.0）のHDFSはNameNodeがSPOF（単一障害点）なので、ファイルサーバーやデータの“バックアップ”には向かないという話です。 HDFS上に構築されているHBaseの場合、（HBase自身にはSPOFは無いけれども）HDFSにSPOFがあるので、NameNodeは冗長化した方が良いようです。 冗長化には以下のような仕組みが考えられているようです。 続きを読む
業界トップ のエンタープライズ Hadoop 企業 Cloudera に入社しました http://www.cloudera.co.jp/ 今年の6月に、「平成２１年度 産学連携ソフトウェア工学実践事業報告書」というドキュメント群が経産省から公表されました。 そのうちの一つに、NTTデータに委託されたHadoopに関する実証実験の報告書がありましたので、今更ながら読んでみることにしました。 Hadoop界隈の人はもうみんなとっくに読んでるのかもしれませんけど。 http://www.meti.go.jp/policy/mono_info_service/joho/downloadfiles/2010software_research/clou_dist_software.pdf 「高信頼クラウド実現用ソフトウェア開発（分散制御処理技術等に係るデータセンター高信頼化に向けた実証事業）」という
Satoshi Matsuoka @ProfMatsuoka 今まで汎用スパコンセンターは公的研究用インフラだけだったからそのアナロジーは正しいい。ただ、サービス面でも同じぐらいまだ差があるわけで。@hidemotoNakada (Amazon EC2のClusterサービスは) NASAとspaceshipone みたいなものか。 2010-07-14 16:49:33 Satoshi Matsuoka @ProfMatsuoka スパコンのセンターでの実ユーザならわかりますが、スパコンセンターはIaaSだけではないわけです。むしろライブラリやアプリやサービス、人的にも種々の利用相談だけでなく、デバッグやチューニングのサービスまで提供するわけで、むしろその利用者が多い。つまりPaaS/SaaS要素が強い。 2010-07-14 16:52:26 Satoshi Matsuoka @Pro
2. • 当セッションにご参加いただき、ありがとうございます。本資料は 「Microsoft Virtualization Summit 2010 MS-9 『Windows Azure の⻑所を活かすクラウド アプリ開発』」の⼿元参照⽤資料です • 諸事情により、セッションで表⽰する資料とは内容が異なる場合がご ざいます • 本資料の記載事項は、弊社の⼀般的な製品の⽅向性に関する概要を説 明するものです。また、情報提供を唯⼀の⽬的とするものであり、い かなる契約にも組み込むことはできません。以下の事項は、マテリア ルやコード、機能を提供することを確約するものではなく、製品に関 して記載されている機能の開発、リリースおよび次期については、弊 社の裁量により決定されます 3. い さ ご 砂⾦ 信⼀郎 shisago@microsoft.com アーキテクトエバンジェリスト マイクロソフト株
今日はとある私的なプロジェクトで画像の情報操作が必要になったので、ローカルで計算してもいいんだけど今後もパラメータチューニングで何度か発生しそうなので、AmazonのMapReduceを使ってみました。 今回の構成図はこんなかんじ。全部Amazonで全部PHPでやってみた。 やろうとおもったきっかけ 別に5万枚くらいじゃ実はAmazonじゃなくてもよかったりします。一晩ペチぺーのスクリプトを4〜5本平行で走らせておけば、ローカルのMySQLに結果をためるくらい可能です。でも、 今後のために勉強したかった。MapReduceで調べても、Apacheのログとかテキスト操作くらいしか見つからなかったので。 データをオンラインに置きたかった・ローカルに置きたくなかった。 そうすると、MapReduceするにせよしないにせよS3がよさそうだった。 じゃあ、EC2一晩動かすより、MapReduceで一
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く