[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

タグ

関連タグで絞り込む (1)

タグの絞り込みを解除

awsに関するsamaiのブックマーク (1)

  • 大規模インフラ個人運用:AWS+Hadoopの成功例 | wrong, rogue and log

    これは西村さんからTwitterで教えてもらったことなのであるが、AWS+Hadoopの幸せな成功例である: Self-service, Prorated Super Computing Fun! NY Timesが過去のアーカイブを含めてすべて無料化したわけだが、そのシステム的な移行措置として過去のスキャンしたTIFF画像をPDFに変換する必要があったのだ。TIFFのサイズは合わせて4TBという巨大さ。 これを行うのに次の構成をとったそうだ:PDF変換にiTextを用いる。変換するマシンはAWS上の100インスタンスをHadoopでMapReduce構成をとることで並列化した。これによりすべてのPDF変換(なんと成果物は1.5TB)が、24時間未満の時間で終了したのだ。そして作業をしたのは、一人のプログラマだけである。 だから言ったでしょ。もう時代は一人大規模サービスの時代なんですよ。そ

    大規模インフラ個人運用:AWS+Hadoopの成功例 | wrong, rogue and log
    samai
    samai 2010/03/02
    interesting
  • 1