はじめまして。Impulse開発チームの木村です。 今回は、Amazon DynamoDBを、 Apache Cassandraと同じように扱おうとした際に、ハマった点とその解決策を紹介します。 なお、DynamoDBの操作には、AWS SDK for JavaScript (Node.js)を使用しています。 テーブル定義編 テーブルをまとめる機能がない 複合primary keyに使える属性は、最大で2つ 日付・時刻型がない NS/SS/BS型は、配列ではない AttributeDefinitionsにkey属性以外を入れてはならない データ取得編 Range属性のみのkey条件指定はできない SQL(ライクな)文が使えない Expressionに、数値や文字列を直接書けない Range属性に対して2つの条件を指定できない Expressionには、含めてはならない予約語がある 一度に
はじめに こんにちは、中山です。 弊社ブログで何度も取り上げているALBですが、v0.7.1でTerraformにも対応しました。早速使ってみたので、レポートします。CloudFormationでのALB利用方法については以下のエントリを参照してください。 CloudFormationでALBを構築する 構成図 今回作成する構成は以下のとおりです。 パスパターンとルーティング先ターゲットグループは以下のように設定します。 何もマッチしない -> ターゲットグループ1へ /target/* にマッチ -> ターゲットグループ2へ コード GitHubにコードを上げておきました。ご自由にお使いください。 knakayama/tf-alb-demo ALB関連のリソース ALBを作成するためのコードとその意味を以下に記載します。なおそれぞれの情報は現時点(2016/08/22)の情報であることに
はじめに こんにちは、中山です。 TerraformでAWS providerを利用しているとAMI IDをハードコードしなければならない場面があります。その都度AMCから「最新のAMI IDなんだっけ」と探さなければならず地味に面倒でした。CloudFormationの場合はLambda-Backed Custom Resourcesを使うことによって、EC2インスタンス起動時にLambda関数を起動し最新AMI IDを取得するという手法でこの問題を解決できます。詳細は以下のエントリを参照してください。 CloudFormationでいつでも最新AMIからEC2を起動したい AWS CloudFormationのLambda-Backed Custom Resourcesを使って最新のAMIを取得する CloudFormationうらやましい、でもAMI ID取得するのにLambda関数
EC2でサーバーを構築する場合、負荷分散や可用性を考慮して複数台構成とする場合が多いかと思います。 全く同じ構成のEC2インスタンスを複数台構築する、、今回はTerraformでをそれを行う場合のTIPSをいくつかご紹介いたします。 前提 以下のEC2のリソース定義をベースに、各種TIPSを適用していきます。サブネット、セキュリティグループは既存のものを利用する前提で話を進めます。 variable aws_access_key {} variable aws_secret_key {} provider "aws" { access_key = "${var.aws_access_key}" secret_key = "${var.aws_secret_key}" region = "ap-northeast-1" } resource "aws_instance" "web" { am
はじめに こんにちは、中山です。 Terraformを使用していく中で、どのようなディレクトリ構造(tfファイルの配置方式)がベストなのかと考えたことはありませんか。私自身いろいろと試している最中なのですが、現時点で私が考えるベストプラクティスをご紹介します。 ディレクトリ構造 いきなりですが、以下のとおりです。 ├── Makefile ├── README.md ├── app.tf ├── bastion.tf ├── cloudfront.tf ├── db.tf ├── elasticache.tf ├── elb.tf ├── envs │ ├── dev │ │ ├── main.tf │ │ └── variables.tf │ ├── prd │ │ ├── main.tf │ │ └── variables.tf │ └──
ウィスキー、シガー、パイプをこよなく愛する大栗です。 先日JAWS-UGアーキテクチャ専門支部で、API GatewayとLambdaでメール受信を行うという内容で発表してきたので、紹介します。サンプル実装もしたので解説します。 どうやってメールを受信するのか？ API Gatewayはhttpsのみ体操しているためsmtpは受けられません。AWSにsmtpを受信する機能が無いので外部サービスを活用しています。今回はSendGridを使用しています。 SendGrid Inbound Parse Webhook SendGridは世界最大規模のメール送信プラットフォームですが、Inbound Parse Webhookというメール受信を行う機能があります。これは、SendGridがメールを受信して、メールの内容をWebhookとしてhttpリクエストしてくれます。 全体構成 SendGri
Photo via Visual hunt Backlog の一部のスペースにて Amazon Aurora へと移行しました。ここでは、その経緯と実際に実施した作業を簡単にご紹介させていただきます。 移行の経緯 昨年末データベース障害が発生しユーザー様には多大なご迷惑をお掛けしてしまいました。 Backlog には Terraform をどう使っているかを紹介したブログ にあるように複数の運用環境があります。 その各々の環境の構築時期によって EC2 上で自前運用していた MySQL もあれば、RDS for MySQL もある、といった統一されていない状況でした。また EC2 上ではまだ MySQL 5.1 も稼働していました。 移行を検討するにあたり、優先したのは障害時の復旧が素早く出来ることと、少しでも運用の管理コストを下げることでした。Backlog のサーバは 100 台以上で
Netezza テクノロジーを活用した PureData System for Analytics（以降、Netezzaと略す）をご利用のお客様から Amazon Redshift（以降、Redshiftと略す） に関するお問合せや、導入支援のご相談を受ける機会が増えている今日このごろです。Netezza は詳しいけれど、Redshift はよくわからないという方へ、それぞれの違いや Redshift 移行時に考慮することについてご説明します。Netezza と Redshift は、アーキテクチャやSQLに共通点が多いので、Netezza のノウハウが活用でき、学習のコストをあまりかけずに移行できるのではないかと期待を込めてご紹介します。 Redshift 登場の背景 Netezza をはじめとする従来のDWH（データウェアハウス）は、大容量、高性能を追求するために製品・ソリューション専
更新版がこちらにありますので、こちらもぜひご覧ください。 これからAmazon Redshiftを始める技術者が注意すべき２２つのポイント Amazon Redshiftを使った実案件を経験してこれは注意したほうがいいなというポイントをまとめました。自分が経験した範囲で書いているので多少偏っているかもしれませんが、参考になれば幸いです。データウェアハウスって何？という方は以前入門記事を書きましたのでこちらの記事をご覧ください。 気軽に始めてみよう！クラウド時代のデータウェアハウス超入門 注意事項一覧 PostgreSQLと違う点に注意！ １件ずつINSERTするととても遅いので注意！ 主キー制約、一意制約、外部キー制約は違反してもエラーにならないので注意！ COPYコマンドは全件INSERTなので注意！ CSVでアップロードする場合の注意点！ サポートしているデータ型に注意！ エンコーディ
Photo via Visual hunt ヌーラボアカウントではつい先日、Amazon RDS for MySQL から Amazon Aurora へと移行しました。ここでは、その経緯と実際に実施した作業を簡単にご紹介させていただきます。 移行の経緯 ヌーラボアカウントは Backlog や Cacoo、Typetalk といったヌーラボのサービスへの認証機能を提供しています。もし認証機能が使えないとすべてのサービスを利用できなくなってしまいます。そのため、ヌーラボアカウントには常に認証機能を提供し続けられるような、高いアベイラビリティが求められています。 ヌーラボアカウントではこれまで RDS for MySQL を利用していましたので、MySQL 互換を掲げる Amazon Aurora は、リリースされたときから移行の可能性を検討をしてきました。Aurora のメリットについては
How we set up a robust and scalable stack on top of socket.io For the last few months, we have been working on a completely new Storify Editor which enables real-time collaboration. Storify real-time collaborationStackThe editor is a standalone server built with Node.js and socket.io in order to have a 2-way, real-time communication between the client and the server. The goal is to push changes to
これはWeb API Advent Calendar 2014、12日目のエントリです。 AWS Lambda と Typetalk Streaming API を使って、Typetalk のポストに URL が含まれていたら、そのサイトの画面キャプチャを取得して返信する以下のようなボットを作ってみました。 アーキテクチャ 〜Typetalk Streaming API から AWS Lambda へ〜 全体の処理フローは以下のようになります。今回は Streaming API に接続してポスト内に URL があれば Kinesis に PUT する部分と、AWS Lambda から実行される JavaScript を記述しました。サイトのキャプチャには wkhtmltoimage を利用しています。 Typetalk Streaming API の使いかた Streaming API の
CDNが単一障害点にならないようにするために ヌーラボでは 2010 年 Cacoo の商用サービスの開始に合わせて AWS における運用を開始しました。当時、運用環境として AWS を採択する決め手の一つになったのが CloudFront でした。その後も着々とエッジロケーションは増え、独自ドメインのサポートなど魅力的な機能も提供され、今ではヌーラボの全サービスの静的ファイルの配信で利用している、無くてはならないサービスとなっています。 その魅力の反面、CloudFront の障害は、アプリケーションそのものに問題がなくても、以下のような表示が崩れた画面が表示されて、ユーザが全くサービスを使えなくなるという、その影響が非常に大きいものです。また障害の原因が DNS やネットワークの経路における問題といった、私たちが直接解決しにくい領域にあることもしばしばです。 ただ、どんな事情であれ、障
Backlogエンタープライズがリリースされたようなので、早速AWS環境にインストールしてみました。 Backlogエンタープライズの特徴 Backlogはクラウド型のプロジェクト管理ツールで、弊社でも積極的に利用しています。 しかし、社内の規約などでホスティングサービス（SaaS）が利用できない場合もあります。 アクセスログやバックアップなどを柔軟に行いたい場合もあるでしょう。 そんなユーザのために、イントラネットなどにインストールして利用することを想定したパッケージがBacklogエンタープライズです。 Backlogエンタープライズはパッケージインストーラで提供されています。 対応OSは、Red Hat Enterprise LinuxとCentOSの5系と6系で、内部的にはJava(Tomcat)とApacheなどで構成されています。 データベースとして、MySQLまたはPostg
Amazon Redshiftに於いて『パフォーマンスチューニング』は重要なトピックの1つです。Redshiftクラスタを立ち上げて、データを投入して、実際使ってみたものの思ったような速度・レスポンスが返って来ない...という状況も時折遭遇する事と思います。 AWS公式ドキュメント(英語版)を漁ってみると、まさにその『パフォーマンスチューニング』に焦点を当てたチュートリアルが公開されているではありませんか！当エントリではそのドキュメントを参考にひと通り実践してみた内容をまとめてみました。各種手順を1エントリに集約したので超長いエントリとなってしまいましたが、その辺りは目を瞑りつつ実践内容を順を追ってご覧頂ければと思います。 Tutorial: Tuning Table Design - Amazon Redshift: 目次 1.テスト用データセットの作成 2.ベースラインを作るためのシス
はじめに 皆さん、User-Dataを使っていますか？複数のEC2に同様の設定を適用してLaunchしたい時には便利な機能です。 このUser-Dataにはシェルスクリプトを直接書くか、あるいはcloud-init形式で記載することが出来ます。これは1行目が"#!"で始まっていればシェルスクリプト、"#cloud-config"で始まっていればcloud-init形式として処理されます。なおAmazon Linuxに導入されているcloud-initは元々のcloud-initをカスタマイズしたものであり、独自拡張がされていたり、一部のディレクティブが使えなかったりするので注意が必要です。 今回、このcloud-initを使った初期設定を色々と調べたので、まとめてみました。 Tips 設定及びログの確認 repo_update, repo_upgrade yum_repos package
ElasticMQ is a message queue system, offering an actor-based Scala and an SQS-compatible REST (query) interface. ElasticMQ follows the semantics of SQS. Messages are received by polling the queue. When a message is received, it is blocked for a specified amount of time (the visibility timeout). If the message isn't deleted during that time, it will be again available for delivery. Moreover, queues
はじめに ソリューションアーキテクトの安川 (@thekentiest)です。AWS ElasticBeanstalkがDockerに対応したという発表がされて以来、実際に利用してくれるお客様や、ブログを書いてくれる方がたくさんいて、嬉しい限りです。 最近ではローンチ当初に比べてDeployの仕組みも改善され、Deploy時にはStagingコンテナが立ち上がり、その立ち上げが完了した後に旧コンテナとの切り替えが行われるようになり、よりダウンタイムが短くなったので、使い勝手も良くなってきたかと思っています。 ところで皆さん、Dockerを使ったDevOpsを行う際、コンテナイメージを置くレポジトリはどうされていますでしょうか？ベースイメージだけを公開レポジトリ等から取得して、毎回コンテナをBuildする場合にはそれほど悩まないかもしれませんが、構築済みのコンテナイメージをPullしてDep
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く