AWS上でのセキュリティの現場の声が聞ける、Secure AWS Users Meetup #1に参加してきました。 http://connpass.com/event/11019/ セキュリティというところで、現場のシビアな実情が垣間見えて非常に参考になりました。セキュリティを日々どう守るかとかAWS…

AWS Casula Tlaks#3に参加してきました。AWS Casual Talks #3 on Zusaar 2回目までは主催していたのですが、今回から主催をCookpadの星君に移して初めての開催でしたが、過去を超えてくる濃い・本気の内容ですごく良かったです。色々忙しい中ありがとうござ…

最近、AWSのサービスも少し様変わりしてきて、インフラレイヤーから、アプリレイヤーまで幅広くサービスが出てきています。SDKも充実してきていて、デバイスやブラウザから直接AWSサービスにアクセスして、S3にデータをUploadしたり、DynamoDBにデータを入れ…

昨日、EC2の新instance familyでT2シリーズが出ました。 今まで、t1.micro/m1.smallとか言われてたシリーズの現行版で、General Purposeにカテゴリも変更されています。リリースは以下の記事 http://aws.amazon.com/blogs/aws/low-cost-burstable-ec2-instan…

JAWS DAYS 2014のセッションとして、これで最強のAWSにというセッションをやりました。 Twitterなどの反応はこちらに2014/03/15 JAWS DAYS 2014 - 『これで最強のAWSに』セッション #jawsdays #最強のAWS - Togetterまとめ まとめて頂いています。各セッショ…

AWS Casual Talks#1を開催しました。 参加登録自体は15分程で枠が埋まってしまい、最終的に210人の方に登録を頂きました。 発表して頂いた方、参加頂いた方ありがとうございました！アンケートも多く集まり次回開催の参考にしようと思います。 AWS Casual Ta…

Amazon Web Services Blog: Amazon ElastiCache - Now With a Dash of Redis で本日ElastiCacheでRedisが使えるようになりました。今まではmemcachedだけでした。 (同時にAmazon Web Services Blog: More Database Power - 20,000 IOPS for MySQL With the C…

先日、cloudpack Night #7 - A New Hope - on ZusaarでRedshiftの話をしてきました。今回のcloudpack nightは各社若手新卒のLTの初々しい感じで始まって、懇親会までAWSの深い話が続いていました。そこで、Redshiftの利用事例を話してきました。 会場にはRed…

先日、Redshiftの管理面 - まめ畑 でRedshiftの管理周りをざっくり書いたのですが、その中でIAM Policyの事も書いていました。今日、IAM Policyの「Redshift readonly access」ではManagement ConsoleでQuery情報が取得できなくなっていました。Query情報は …

Redshiftのパフォーマンス検証記事は見かけるのですが、WLMに関して言及されているものをみないのと、ちょっと複雑なのでまとめておきます。管理面については Redshiftの管理面 - まめ畑を参照下さい。 WLMの重要性 DWHでは往々にして、実行時間のかかるクエ…

先日 Amazon Web Services Blog: MySQL 5.6 Support for Amazon RDS で、RDSがMySQL5.6対応(現在は5.6.12が最新)したということで簡単にベンチマークをかけてみました。RDSはメジャーバージョンアップが簡単に出来るようになりましたが、5.6へのUpgradeはま…

ほっとんど用途ないですが、こういうやり方もあるという程度のメモ。急激なアクセス増加が見込まれる場合、BlogなどはS3に静的ファイルを配置して、S3直接もしくはCloudFront経由で配信することが有用ですが、都度S3にUploadする必要があります。 また、Clou…

最近Redshiftの需要が高まっていますが、管理面のことをあまりみないので、簡単にまとめておきます。ドキュメントは Amazon Redshift 接続するには postgresqlクライアントを使います JDBCで接続する場合のdriverは: http://jdbc.postgresql.org/download/po…

S3のStatic WebSite Hostingは静的ファイルをホストするにはとても便利な機能です。 S3のバケットにたいして、Static WebSite Hostingを有効にして、バケットポリシーで全公開するだけで、Webサーバなどを用意することなくサイトが公開出来ます。 S3のアクセ…

AWS Summit Tokyo2013 2日間フルで参加して来ました。 Techセッションばかり出ていたのですが、会場も立ち見が出るくらいの盛況で、改めて、AWSへの関心の高さを感じました。 HPCインスタンスやRedshiftのTokyoリージョンでのサービスインも発表されて、中々…

先日、Amazon Web Services Blog: Amazon Route 53 Adds ELB Integration for DNS Failover で、Route53のHealth CheckターゲットにELBが指定できるようになりました。今までも、Route53にはHealth Check機能がありましたが、ELBはHealth Checkターゲットに…

4,000IOPS EBSのベンチをとってみた - まめ畑 の記事で4,000IOPS EBSのベンチマークを簡単にとってみました。他の高IOPS EBSと比較するとどうだろうということで、久しぶりにベンチマークをとってみました。 IOPSはBlock Size 16kでの性能ということになって…

AWSのEC2ではインスタンスのCPU性能をECUという単位で表します。 知られているとは思いますが、ECUが同じだからといって性能が同じとは限りません。ここ最近、その例が実運用の環境で顕著に出ていたので書いておきます。 とある、数千qpsを受け付けている、D…

Redisをstorageやcacheとして使う事が多くなってきたのですが、普段使っている分にはさほど問題なかったものがautoscaleなどの頻繁なインスタンスの増減がある環境でtimeoutを上手く設定していないと問題が出る場面に遭遇したのでメモしておきます。Redisのt…

AWSには、SESというメールを簡単に送信出来るサービスがありますが、ケータイキャリア向けに最適化して送りたいとか、送信前に色々やりたい、送信したメールの情報を取っておきたいなどなどで、自前のメールサーバからメールを送信したいという要望はあると…

Amazon Web Services ブログ: 【AWS発表】Amazon RDS がスケールアップ! 3 TB、30,000 PIOPSまで拡張可能に 今日から、RDSで使えるディスクの上限が3TB / 30,000IOPSまで引き上げられました。サイズや性能上限の引き上げの他にも、標準ストレージからIOPSス…

MySQL5.6は5.5よりもベンチマーク性能が落ちるという話がここ最近見受けられます。 My MySQL is faster than your MySQL Is MySQL 5.6 slower than MySQL 5.5? MySQL5.6の検証は半年程前から本格的に開始して、大量データに対して、JOINやLIMIT、INDEXが不十…

今日、AWSの新機能OpsWorksがリリースされました。 リリースノートや機能説明は http://aws.typepad.com/aws_japan/2013/02/aws-opsworks-flexible-application-management-in-the-cloud.html https://aws.amazon.com/jp/opsworks/ http://www.allthingsdist…

先日、AWSでサービスを動かす 〜クラウドの中のサービスはAWSをどう使っているのか〜 | クックパッド開発者ブログでInternal ELBを使った負荷分散・冗長化について話しました。その時のスライドは、こちらです。 Loadbalance using internal_elb from Yutaka…

以前、 http://d.conma.me/entry/2013/01/22/195331 のエントリで、Internal ELB + twemproxy + ElastiCacheの構成で、スループットが劇的に低下してしまう問題について書きましたが、その後色々と調査をしてみました。 Internal ELBのウォームアップを行い…

今日、AWSからAmazon Elastic Transcoderが発表されました。 簡単に言うと、AWS上で動画のエンコードを行えるソリューションです。動画エンコードもクラウドで行える時代ですね。 しかも、エンコードの時間ではなく、元動画の時間で課金がされます。また、Pi…

redis / memcachedをスケールする方法として、アプリケーションで分散アルゴリズムを実装する方法や、ライブラリを使う方法などありますが、 Twitterが作っているtwemproxy(https://github.com/twitter/twemproxy)というものがあります。 これは、redis / me…

このエントリの最後の方で書いてあるtwemproxyの変更ですが、pull requestを出して、本体にマージされました。2012/12/31時点でまだリリースバージョンが切られていないので、githubからcloneしてビルドして下さい。 先日のAWSの発表で、VPCにもElastiCache…

CloudFoundryのOSS版であるvcapは現在Ubuntuにしか対応しておらず(Ubuntuでもバージョンによっては動かず)、CentOSなどのRH系のOSには対応していません。 CentOS6で動かす必要が出来たので、粛々と対応させるべく作業をしています。想像以上に苦戦していて時…

Cloud Foundryは、VMware社が提供するPaaSです。 http://www.cloudfoundry.com/ でBETA版が無料で提供されています。 Cloud Foundryを使うには、cloudfoundry.comに登録して、そちらにデプロイする方法もありますが、オープンソースでCloud Foundryの環境が…