KVSをWebアプリのメインストレージにしたら、集計バッチをMapReduceでやるはめになったでござるの巻

という題で、RubyKansai勉強会#39で発表させていただきました。

内容はMapReduceとKVSの関係、および自作のMapReduce処理系であるTinyMapReduceの紹介について。実装にはDRubyを使っています。といってもTinyMapReduceはコードサイズ200行以下で、対障害性もなくサンプルの域を出ないものですが。。
TinyMapReduce標準添付のSampleは、１〜100万までの自然数の中に2の倍数と3の倍数がそれぞれいくつ含まれるかカウントするタスクです（結果保存にSimpleResourceを使っており、別途導入が必要）。Workerの数を増やしていくことで、タスクの実行時間がシームレスに短縮することがわかると思います。

というわけで、使用したスライドを置いておきます。

TinyMapReduce on ruby

View more presentations from kazuki83.