Amazon EMRがApache Sparkをサポート つい先日のニュースで、Amazon EMRがApache Sparkをサポートすることが発表されました。また、昨日、最新のSpark1.4.1がサポートされたことも発表されました。そこで、今回は早速使ってみたいと思います！ New – Apache Spark on Amazon EMR セットアップ手順 Amazon EMRのセットアップでSparkを指定できますので、早速やってみましょう。 インストールするアプリケーションの指定 EMRでは、コンソールで利用するアプリケーションを指定してインストールすることができます。今回は、SQLライクにMapReduceを記述できるHiveとPig、そしてSpark、さらに、Mahautもインストールします。 ノードの指定 EMRは、司令塔となるMasterノードと、作業をするSlaveノー