All of Graphite’s data lives on Amazon Aurora Postgres. Our database load is sizable — far larger than a typical startup of our size. This is because we sync bidirectionally with GitHub for everything a user does on Graphite, so Aurora plays a crucial role in helping us handle and scale massive amounts of data. If Uber were to sign up for Graphite tomorrow, we could handle the countless webhook ev

SREの林 aka もりはやです。 今回はAWSコスト削減についてです。 ＊注意＊参考のスクリーンショットでパブリックなIPやリソースIDが表示されていますが、検証環境のもので既に削除済みです TL;DR NAT gatewayの料金は意外と高い 歴史的経緯で沢山のNAT gatewayが存在した NAT gateway整理の流れ 1. 未使用のPrivate Subnet・Route tableを削除する 2. VPC内の同一AZのNAT gatewayを集約する 3 . 上記の対応で不要となったNAT gatewayを削除する NAT gatewayの"Monitoring"画面で、各種メトリクスが変動していないか 削除対象のNAT gatewayがRoute tableから利用されていないか確認 ついにNAT gateway削除！でもEIP(Elastic IP)は残るので注意 終わ

Amazon Web Services ブログ 新着情報 – パブリック IPv4 アドレスの利用に対する新しい料金体系を発表 / Amazon VPC IP Address Manager が Public IP Insights の提供を開始 AWS は、パブリック IPv4 アドレスの利用に対して新しい料金体系を導入します。2024 年 2 月 1 日より、特定のサービスに割り当てられているかどうかに関わらず、すべてのパブリック IPv4 アドレスの利用に対して 1 IP アドレスあたり 0.005 USD/時間 が課金されます（アカウントに払い出されているものの、 どの EC2 インスタンスにも割り当てられていないパブリック IPv4 アドレスに関しては、すでに課金が適用されています）。 パブリック IPv4 アドレスの新しい料金体系 IPv4 アドレスはますます希少な資源となって

AWS Sketch is meant to show the AWS Services as informative drawings. We write about Cloud and Engineering in a newsletter called Cloud Weekly. Advance faster in your career with us. Visit Cloud Weekly!

AI-powered Search and Chat for AWS Documentation

こんにちは、id:cohalzです。2023年4月に実施したはてなブックマークのメンテナンスではCloudFrontを別のAWSアカウントに移行しました。 この記事ではCloudFrontを別のAWSアカウントに移行した背景とどのように移行したのかを説明します。 はてなブックマークのインフラのこれまで 移行したいモチベーションが出てきた理由 切り替えで設定が変わらないように気を付ける キャッシュポリシーに移行する 移行方法について検討する AWS CLIでCloudFrontを移行する手順を作成する アクセスログを配送する部分も移行する まとめ はてなブックマークのインフラのこれまで はてなブックマークのインフラはこのようにCloudFrontと関連リソースだけ別のAWSアカウントで利用していました。 移行前 この状況になっていた経緯をまず説明すると、はてなブックマークでは2018年からオ

Amazon Auroraのフェイルオーバー時間を短くしたい こんにちは、のんピ(@non____97)です。 皆さんはAmazon Auroraのフェイルオーバー時間を短くしたいなと思ったことはありますか? 私はあります。 Auroraのフェイルオーバー時間は60秒未満と言われています。しかし、「60秒では長すぎる。せめて10秒程度でフェイルオーバーは完了させたい。」といったこともあると思います。 フェイルオーバー時間を短くする方法はクライアント側でMariaDB Connector/JやPostgreSQL JDBC Driverなどのドライバーを使用したり、RDS ProxyやProxySQLなどプロキシを挟むパターンがあります。 他にもフェイルオーバー時間を短くする方法が何かないかと探しているとAWS公式ドキュメントにフェイルオーバー時間を短くするための方法がまとまっていました。

AWS News Blog New – AWS DMS Serverless: Automatically Provisions and Scales Capacity for Migration and Data Replication With the vast amount of data being created today, organizations are moving to the cloud to take advantage of the security, reliability, and performance of fully managed database services. To facilitate database and analytics migrations, you can use AWS Database Migration Service

AWS、アプリケーション内できめ細かなアクセス制御を実現するポリシー言語「Cedar」と認可エンジンをオープンソースで公開 Amazon Web Services（AWS）は、アプリケーション内できめ細かなアクセス制御を実現するポリシー言語「Cedar」と、Cedarに対応した認可エンジンをオープンソースで公開したことを発表しました。 CedarはAmazon Verified Permissionsで使われている言語 Cedarは昨年（2022年）末に開催されたイベント「AWS re:Invent 2022」で発表された新サービス「Amazon Verified Permissions」（現在プレビュー中）で使われているポリシー言語です。 一般にクラウドで提供されるアプリケーションのほとんどは、例えば管理者のみ参照できる画面やデータ、ユーザー本人のみ可能な操作や参照可能なデータ、ユーザー

AWS Graviton3-based R7g database instances are now generally available for Amazon Aurora with PostgreSQL compatibility and Amazon Aurora with MySQL compatibility in US East (N. Virginia, Ohio), US West (Oregon), and Europe (Ireland) regions. Graviton3 instances provide up to 30% performance improvement and up to 20% price-performance improvement over Graviton2 instances for Aurora depending on dat

AWSは必要なタイミングで必要な分だけサーバーを使用でき、需要に応じて拡張するのも容易という便利なサービスですが、その料金に頭を悩ませている人も多いはず。そんなAWSの料金を5分程度の設定だけで大幅に削減してくれるサービスが「Usage」です。 Usage AI | save 57% on AWS https://www.usage.ai/ オンデマンドインスタンスはいつでも利用の開始・中止ができるものの料金が高く、リザーブドインスタンスは料金が安い代わりに1年から3年の固定契約になってしまいます。一方でUsageを利用すると固定契約無しで固定契約の安価な料金という両者の良いとこ取りが可能とのこと。 ページ上部の「RESOURCES」タブにある「EC2 CALCULATOR」を使うと実際の削減量を確認できます。 例えば「m6g.large」インスタンスを東京リージョンで利用した場合、Usa

また1冊、この世に名著が生まれました。AWSを運用中のすべてのユーザー企業の方に読んでいただきたいです。 みなさん、こんにちは。 明るい笑顔がトレードマークの芦沢(＠ashi_ssan)です。 『AWSコスト最適化ガイドブック』と題するもはやタイトルだけで万人が読みたくなりそうな本が出版されていたので、購入して即読了しました。 興奮のあまり勢いだけで書評を書いたので、購入を検討している方の参考になればと思いブログ化してみました。 書籍の概要と著者について まずは出版元のKADOKAWAのWebサイトから概要を確認していきます。 利用費用の削減から体制整備・運用プロセス構築までAWSがすべて公開！ 本書は、DXを効率的で持続可能にするためのクラウド最適化の勘所をお伝えすることを目的としています。AWSの個々のサービスの特徴やクラウド利用費用の削減アプローチ、AWS コスト管理に係るサービスの

【 デジスマチーム ブログリレー1日目】 こんにちは。 デジスマチームの山本です。 クリニック向けDXサービスであるデジスマ診療のWeb フロントエンド・バックエンド・インフラを担当しています。 今回は先日AWSから発表されたaws-advanced-jdbc-wrapperについて紹介します。 はじめに AWS Advanced JDBC Wrapper 提供Plugin フェイルオーバーとは これまでのフェイルオーバー対策 AWS Advanced JDBC Wrapperを利用した場合のフェイルオーバー対策 Failover Connection Plugin Host Monitoring Connection Plugin 導入方法 Gradle(Kotlin)での依存先の追加 Spring Boot + HikariCPでの設定例 実際に動かしてみた 何も設定しない場合 設定後

Amazon Web Services ブログ 新規 — デプロイメントパイプラインのリファレンスアーキテクチャとリファレンス実装 1月30日、エンタープライズグレードのデプロイパイプラインのための新しいリファレンスアーキテクチャとリファレンス実装のセットをリリースいたします。デプロイパイプラインは、アプリケーションまたはインフラストラクチャの構築、テスト、および AWS 環境へのデプロイを自動化します。ワークロードをクラウドにデプロイする場合、デプロイパイプラインを持つことが俊敏性を高め、市場投入までの時間を短縮するための鍵となります。 カンファレンスやソーシャルメディアで皆さんと話すと、私たちのドキュメントやチュートリアルが新しいサービスや新しいコンセプトを始めるのに良いリソースであるとよく耳にします。ただし、使用量を拡大したい場合や、複雑なユースケースやエンタープライズグレードのユー

(これはMoT Advent Calender 2022の24日目です) データエンジニアの渡部徹太郎です。私の担当しているプロジェクトでは、Infra as CodeにTerraformではなくCDKというツールを使っているので、その話をします。 CDKの概要 CDKとはAWS専用のInfra as Codeツールです。正式名称AWS クラウド開発キット (AWS Cloud Development Kit）です。 CDKの特徴プログラミング言語でAWSのリソースを記述プログラミング言語はTypeScriptがメインだが、他にもJavaScript,Python,Java,C#でも記述できるAWSのリソースを表すクラスをNewすると、AWSのリソースができるイメージ実態はCloudFormationを吐き出してデプロイするツール。デプロイするとAWSのCloudFormationのSta

この記事ははてなエンジニア Advent Calendar 2022の27日目のエントリです。 問題 社内で運用している Fargate サービス (Perl の plack アプリケーションが動いている) において、以下のような問題が発生していました。 リクエストごとの処理の重さ (計算リソースの使用量や所要時間) に違いがあり、特定の task に重いリクエストの割り振りが偏ることがある Fargate task は表向きのコア数は同じでも、割り当たるハードウェアの世代によって処理能力が異なるケースがある (いわゆるインスタンスガチャ) このような偏りのある状態でアクセス増など全体の負荷が増加し、一部 task のワーカプロセスが全て busy な状態が一定時間続くと ALB のヘルスチェックに落ちて殺される 各リクエストを1つのプロセスが処理する、いわゆる prefork アーキテク

[2022年最新版]Lambdaの裏側教えます！！A closer look at AWS Lambda (SVS404-R) #reinvent Lambdaファン必見 Worker ManagerをAssignmentサービスに置き換えた話、SnapStartの裏側でSparse filesystemを利用している話など、Lambdaの裏側がどうアップデートされたのかが分かります CX事業本部@大阪の岩田です。今年のre:inventは現地参加できなかったのですが、毎年楽しみにしていたLambdaの裏側を解説するセッションSVS404(番号は年によって微妙に違います)の動画がYoutubeにアップされていたので、さっそく視聴しました。これまで言及されてきた内容に加えて新たな解説も増えているので改めてレポートをブログにまとめます。 セッション動画 セッション動画はこちらから確認可能です

Amazon Web Services（AWS）が米ラスベガスで開催中の年次イベント「AWS re:Invent 2022」。最後の基調講演にはAmazon.com VP兼CTOのWerner Vogels博士が登壇しました。 Vogels氏は、「複雑なサーバレスアプリケーションの開発をどうやって簡単にするか。サーバレスアプリケーション開発が未経験な開発者をどうやって支援するか。われわれはこれらの開発を本当に簡単にしたいと考えてきた」と発言。

AWS News Blog Introducing VPC Lattice – Simplify Networking for Service-to-Service Communication (Preview) March 31, 2023 – Amazon VPC Lattice is now generally available with new capabilities. Modern applications are built using modular and distributed components. Each component is a service that implements its own subset of functionalities. To make these services communicate with each other, you

［速報］AWS上で開発環境一式、フレームワーク、初期コード、IDE、ビルド環境、CI/CDなど提供する「Amazon CodeCatalyst」発表。AWS re:Invent 2022 Amazon Web Services（AWS）は米ラスベガスで開催中の年次イベント「AWS re:Invent 2022」で、AWS上で開発チームのための環境一式を提供する「Amazon CodeCatalyst」を発表しました。 Amazon.com VP兼CTOのWerner Vogels博士。 開発周りの環境整備がどんどん重くなっており、これが開発のスピードを落としていると指摘。