"MapReduce" は Google のバックエンドで利用されている並列計算システムです。検索エンジンのインデックス作成をはじめとする、大規模な入力データに対するバッチ処理を想定して作られたシステムです。 MapReduce の面白いところは、map() と reduce() という二つの関数の組み合わせを定義するだけで、大規模データに対する様々な計算問題を解決することができる点です。 MapReduce の計算モデル map() にはその計算問題のデータとしての key-value ペアが次々に渡ってきます。map() では key-value 値のペアを異なる複数の key-value ペアに変換します。reduce() には、map() で作った key-value ペアを同一の key で束ねたものが順番に渡ってきます。その key-values ペアを任意の形式に変換すること
私の場合、Google でエンジニアとして働いていても、C++ でサーバー側のコードを書いている時間が一番長かったりして、案外イマドキの Web2.0的技術、たとえば Google Maps API 等のウェブサービス API や JavaScriptを活用したフレームワークに触れる機会は少なかったりします。しかし、自社で公開している APIやライブラリを知らないのもアレですし、たまには新しいものに挑戦しないと世の中についていけなくなるのではないか、脳年齢の上昇に歯止めがかからないのではないか、セルライトが増加したり血液がドロドロになるのではないか、といった微妙な恐怖が生活習慣病予備軍を襲います。そんなわけで最近ちょっと気になっているのがGWTことGoogle Web Toolkit です。 GWTを一言で述べるなら、Java「だけ」を使ってAJAXアプリケーションを開発するためのフレーム
今後複数回にわたり Google がオープンソースとして公開しているソフトウェアの紹介をしていきます。 第一弾はコマンドラインの解析ライブラリ google-gflags です。 このライブラリは実際に Google 社内で一般的に使われており、入社したエンジニアがまず最初に覚える Google インフラストラクチャーの1つです。 % foo --big_menu --language japanese この場合、--big_menu や --language japanese がコマンドラインフラグに相当します。--big_menu は引数を取らないコマンドライン、--language は japanese という引数を取ります。 google-gflagsは getopt といった既存のライブラリと設計もそのユースケースも大きく異なります。 getopt の場合、次のようにコマンドライ
Interpreting the Data: Parallel Analysis with Sawzall Rob Pike, Sean Dorward, Robert Griesemer, Sean Quinlan Abstract Very large data sets often have a flat but regular structure and span multiple disks and machines. Examples include telephone call records, network logs, and web document repositories. These large data sets are not amenable to study using traditional database techniques, if only
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く