はじめに 当エントリはDevelopers.IOで弊社AWSチームによる2015年アドベントカレンダー 『AWS サービス別 再入門アドベントカレンダー 2015』の8日目のエントリです。 昨日7日目のエントリは大栗の『Amazon RDS』でした。 このアドベントカレンダーの企画は、普段AWSサービスについて最新のネタ・深い/細かいテーマを主に書き連ねてきたメンバーの手によって、今一度初心に返って、基本的な部分を見つめ直してみよう、解説してみようというコンセプトが含まれています。 本日8日目のテーマは『Amazon EMR』です。 Amazon Elastic MapReduce（Hadoopクラスター Amazon EMR） | アマゾン ウェブ サービス（AWS 日本語） 目次 Amazon EMRとは 分散処理基盤 分散アプリケーション 伸縮自在性 安全性 サービス利用のユースケー
Amazon EMRとは? AWSの内部で Hadoop を動かせる環境を提供してくれるサービス Hadoopとは? 大規模データの分散処理を支えるJavaソフトウェアフレームワーク http://ja.wikipedia.org/wiki/Apache_Hadoop そのHadoopが行う分散処理のことをMapReduceと呼ぶ。 実際はMap関数とReduce関数を、あるルールに従って書くだけで良い 後はよしなに複数台のサーバーで分散処理をしてくれる。 Amazon EMRの構成 Amazon S3を入出力とし、複数台起動させたEC2インスタンスがMapReduce処理を行う。 経過はAWSコンソール上から監視可能。 Hadoop Streaming MapとReduceのフェーズは標準入出力を介してデータのやり取りが行われるようになっている。 Hadoop自体はJavaにより構築され
5月27日、分散型Key-Valueストア「Apache Accumulo 1.5.0」を公開した。Javaで実装されたNoSQLデータベースシステムで、米GoogleのBigTableを設計モデルとして採用、高い柔軟性が特徴となる。 Apache Accumuloは米GoogleのBigTableを設計モデルとして開発された分散型Key-Valueストアで、「Apache Hadoop」や「Apache ZooKeeper」、「Apache Thrift」といったソフトウェアをベースに構築されている。セルレベルでのアクセス管理、柔軟にキー/値のペアを変更できるサーバーサイドのプログラミング機構、高い堅牢性/拡張性/可用性などを特徴とする。米国家安全保障局（NSA）が2008年に開発し、2011年にApache Software Foundation（ASF）に寄贈、2012年3月にASF
Apache Sqoop(TM) is a tool designed for efficiently transferring bulk data between Apache Hadoop and structured datastores such as relational databases. Sqoop successfully graduated from the Incubator in March of 2012 and is now a Top-Level Apache project: More information Latest stable release is 1.4.7 (download, documentation). Latest cut of Sqoop2 is 1.99.7 (download, documentation). Note that
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く