AWS Big Data Blogで Building a Recommendation Engine with Spark ML on Amazon EMR using Zeppelinというエントリーがあったので、そちらを実際に試してみたレポートになります。 内容としてはMovieLensのデータを使ってレコメンデーションエンジンを作るというものです。Spark Summit 2014にAdvanced Apache Spark Workshopというものがあったようで、そちらのMLlibのハンズオンをEMR上でZeppelinを使ってやってみるというものでした。 なお、Spark Summit 2014のハンズオンとAMP Camp 5 - big data bootcampをベースに日本語化したサイトがありました。今回のエントリーに対応するのは4. MLlib(機械学習)になります
初めまして、弊社で１ヶ月半ほどインターンとして働いているt_sakaiです。 インターンシップの課題として、メモリ使用量が大きくて将来問題になりそうなバッチ処理をスケールアウトできるように書き換えるという課題に取り組みました。 解決手段として流行りのApache Sparkを使ってみたので、本記事ではこれについて書こうと思います。 本記事で使っている言語はScalaです。 Scalaについては、弊社のk_oomoriが書いた記事があるのでよろしければご覧ください。 紹介する内容 前編（本記事） 今回解決したかった課題 なぜSparkを選んだのか RDDについて 簡単なプログラムをSparkで書き換える 後編 本番プログラムをSpark用に書き換える はまりどころ 紹介しない内容 Hadoopとの比較 Spark環境の構築 性能チューニング 解決したかった課題 弊社のScalaで書かれたある
Amazon EMRがApache Sparkをサポート つい先日のニュースで、Amazon EMRがApache Sparkをサポートすることが発表されました。また、昨日、最新のSpark1.4.1がサポートされたことも発表されました。そこで、今回は早速使ってみたいと思います！ New – Apache Spark on Amazon EMR セットアップ手順 Amazon EMRのセットアップでSparkを指定できますので、早速やってみましょう。 インストールするアプリケーションの指定 EMRでは、コンソールで利用するアプリケーションを指定してインストールすることができます。今回は、SQLライクにMapReduceを記述できるHiveとPig、そしてSpark、さらに、Mahautもインストールします。 ノードの指定 EMRは、司令塔となるMasterノードと、作業をするSlaveノー
はじめに そろそろ俺も分散処理かな、と常々考えていたのでこの機会（アドベントカレンダー）にApache Sparkを勉強して、分散処理を始めてみたいと思います。 全４回くらいに分散して進めていきますのでどうぞよろしくおねがいします。 1. お勉強とインストール Apache Sparkとは 大規模データを分散処理をオンメモリで実現するプラットフォーム 高速 かつ 汎用的 であることを目標に設計されている UC Berkekeyで開発され、今はApacheのトップレベルプロジェクトになっている scala, python, java, SQLのシンプルなAPIを提供している そもそも分散処理とは ある計算処理をネットワーク接続された複数のコンピュータを用いて同時並列で処理すること ビッグデータを扱う際に、処理時間を短縮するための手法のひとつ 安価なサーバを複数台用意して処理を割り振れるので、
こんにちは。SI部の腰塚です。 RDBやデータウェアハウスの仕事に携わることが多かった筆者は、数年前からたびたび聞こえたビッグデータ分析や機械学習のための分散処理フレームワークに興味を覚えたものの、ついぞアクセスしないままここまで来てしまいました。 今回ブログを書くにあたって、せっかくなのでイチから手さぐり入門し、いまさら他人に聞けない分散処理の初歩からhadoop・sparkを触ってみるまでをまとめたいと思います。 1.分散処理の基礎知識 1-1.分散処理の処理方式：MapReduce まず分散処理とは、ひとつの計算処理をネットワークで接続した複数のコンピュータで同時並列で処理することです。 ビッグデータ活用の市場が日々大きくなるに従って、数百テラ～ペタのデータ処理も珍しいものではなくなっており、日常的にこの規模のデータを扱うシステムでは、現実的な時間的・費用的コストで処理する工夫が必要
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く