SpringSource（米VMware傘下）は2月26日、「Spring for Apache Hadoop 1.0」をリリースした。Java向けのアプリケーションフレームワーク「Spring Framework」に「Apache Hadoop」を利用するための機能を組み合わせたもので、Hadoopアプリケーションの開発を容易にするという。 2012年2月に初のマイルストーンを公開以来、ちょうど1年を経ての正式版リリースとなった。Spring FrameworkからHadoopのMapReduceクエリを利用する、といったことが可能で、Spring Frameworkを利用したHadoopアプリケーションの開発を容易にすることを目指すという。ライセンスはApache License 2.0を採用する。 SpringのTemplate APIデザインパターンを応用、HBase向けの基本的な
まず、 1 の入力ファイルを分割する方法は、InputFormatクラスの、getSplits関数を上書きすることで、カスタマイズできます。 また、 3 のInputSplitから、KeyとValueを抽出する処理も、InputFormatクラスを通じてカスタマイズできます。 InputFormatのgetRecordReader関数を通じて、RecordReaderクラスを生成するのですが、これに任意のRecordReaderクラスを指定すればOKです。 2 のMap処理ですが、ユーザが指定したMapperクラスの処理を実行します。 Mapperクラスは、MapRunnerクラスを通じて、初期化処理、map関数を繰り返す過程、終了処理といった一連の流れを実行します。 MapRunnerクラスをカスタマイズすれば、こうした流れを制御することができます。 0.20.0からの新しいMapRed
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く