#SRG（Service Reliability Group）は、主に弊社メディアサービスのインフラ周りを横断的にサポートしており、既存サービスの改善や新規立ち上げ、OSS貢献などを行っているグループです。

Amazon Web Services ブログ オープンソースプラットフォームで ProxySQL を使用して、Amazon Aurora クラスターでの SQL の読み取りと書き込みを分割する方法 ブログ記事Amazon Aurora PostgreSQL で読み書き用に pgpool の単一のエンドポイントを設定する方法では、Amazon Aurora PostgreSQL エンドポイントの読み取りおよび書き込みの分割機能を使用するアーキテクチャを紹介しています。このタイプのアーキテクチャは Aurora PostgreSQL クラスターに最適ですが、データベースに Amazon Aurora MySQL クラスターを使用している場合はどうでしょうか? この記事は、Aurora MySQL エンドポイントで読み取りおよび書き込みの分割を実現するための中間レイヤーとして ProxySQL

[小ネタ]Aurora MySQL の スナップショットの復元、ポイントインタイムリカバリ、バックトラックの違いを簡単にまとめてみた こんにちは。コンサル部のYui(@MayForBlue)です。 Aurora MySQLの復元系の機能であるスナップショットの復元、ポイントインタイムリカバリ、バックトラックの概要、違いを簡単にまとめてみました。 初めてAurora MySQLを利用されるという方や、これらの機能を使ってみたいけど違いがよくわからないという方のご参考になれば幸いです。 それぞれの機能について スナップショットからの復元 Amazon RDS により、DB クラスターのストレージボリュームのスナップショットが作成され、個々のデータベースだけではなく、その DB インスタンス全体がバックアップされます。この DB クラスタースナップショットからの復元で、DB クラスターを作成でき

困っていた内容 RDS(MySQL)でスロークエリログをCloudWatch Logsに出力しています。 DBパラメータグループで設定した閾値(long_query_time)よりも短い実行時間のクエリもログとして記録されてしまうのですがどうしたらいいでしょうか？ 原因 log_queries_not_using_indexes の設定値が1(TRUE)になっているため。 log_queries_not_using_indexes: インデックスを使用しないすべてのクエリをスロークエリログに記録するには、1 に設定します。デフォルトは 0 です。インデックスを使用しないクエリは、その実行時間が long_query_time パラメータの値未満であってもログに記録されます。 どう対応すればいいの？ インデックスを使用しないクエリが記録されなくなっても問題ないかを確認した上で スロークエリロ

ウェブサイトやアプリケーションには、ユーザー名やメールアドレスといった小さなサイズのものからブログ本文といった大きなサイズのものまで多種多様なサイズのテキストが使われています。一般的にはテキストサイズによってデータベースを使い分けることはありませんが、データベースのPostgreSQLでは「中途半端なサイズ」のテキストデータを格納するとパフォーマンスの低下につながるという調査結果とその仕組みを、ソフトウェアエンジニアのHaki Benita氏が説明しています。 The Surprising Impact of Medium-Size Texts on PostgreSQL Performance | Haki Benita https://hakibenita.com/sql-medium-text-performance PostgreSQLの場合、データベースのインデックスとテーブルは

ヌーラボ 、ビジュアルコラボレーションツール 「Cacoo」に、CSVから一瞬でデータベース構成図をビジュアライズできる機能を追加 CSVインポートするだけで 正確なデータベース構成図をスピーディーに作成可能に 株式会社ヌーラボ（本社：福岡県福岡市、代表取締役：橋本正徳）が提供している、全世界300万人以上が利用するビジュアルコラボレーションツール「Cacoo （カクー）」は、新たにソフトウェアのデータベース構成図を自動で作成する「データベーススキーマ機能」をリリースしましたのでお知らせします。 ■データベーススキーマ機能について 今回リリースした「データベーススキーマ機能」は、インフラエンジニアなどのソフトウェアに関わる職種の方が、データベースの設計のために作成する「データベース図」を自動で作成することができる機能です。データベースのメタ情報をCSVフォーマットでインポートするだけで、デ

先日、Amazon Redshiftにおいて「列レベルのアクセスコントロール」が出来るようになった旨、アナウンスがありました。 Amazon Redshift のための列レベルのアクセスコントロールの発表 Announcing column-level access control for Amazon Redshift Amazon Redshift now supports access control at a column-level for data in Redshift. Customers can use column-level grant and revoke statements to help them meet their security and complianc... https://t.co/TJZlrbFvYI — What’s New on AWS (

Amazon Web Services ブログ Amazon DynamoDB オンデマンドキャパシティーモードを使用して、急増するワークロードを実行し、コストを 90% 以上最適化する これは、TVer Technologies Inc. のソフトウェアエンジニアであるウツミケイスケ氏によるゲスト投稿です。同社の言葉を借りると、「 TVer Technologies Inc. は、テレビ放送と同期されたウェブサイトを利用して、ユーザーにインタラクティブなエンターテイメントサービスを提供しています 」との事です。 TVer Technologies Inc. は、日本のテレビ視聴者向けにウェブサイトとアプリベースのインタラクティブコンテンツを提供しています。当社のアプリケーションの多くは、Amazon DynamoDB をデータベースとして使用して、登録ユーザー情報を保存し、テレビ放送中の

Skeema is a tool for managing MySQL and MariaDB schema changes in a declarative fashion using pure SQL. The Skeema CLI tool allows you to: Export CREATE TABLE statements to the filesystem, for tracking in a Git repo Diff changes in the schema repo against live DBs to automatically generate DDL Manage multiple environments (e.g. dev, staging, prod) and keep them in sync with ease Configure use of o

Amazon Web Services ブログ MongoDB 互換の新しい Amazon DocumentDB 集計パイプライン演算子: $objectToArray、$arrayToObject、$slice、$mod、$range  Amazon DocumentDB (MongoDB 互換) は、MongoDB のワークロードをサポートする高速でスケーラブル、かつ可用性に優れた完全マネージド型のドキュメント データベース サービスです。お客様は、基盤となるインフラストラクチャの管理を気にすることなく、現在ご使用のものと同じ MongoDB 向けのアプリケーションコード、ドライバー、ツールを、そのまま Amazon DocumentDB 上で実行や管理をしたり、処理負荷を調整したりするのに使えます。 今日、Amazon DocumentDB は、 5 つの集計パイプライン機能を新た

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

Scalable. Reliable. MySQL-compatible. Cloud-native. Database. ScalabilityVitess is compatible with MySQL while extending its scalability. Its built-in sharding lets you grow your database without adding sharding logic to your application. PerformanceVitess improves on MySQL performance through query rewriting, caching and connection pooling. This allows the number of concurrent client connections

Skeema is a pure-SQL schema management utility. Simply track your desired schema state in a repo of CREATE statements, and the tool figures out how to apply any changes to your tables and routines. You won't need to code migrations, use obscure DSLs, or write verbose XML ever again. Skeema’s open source CLI tool supports all modern versions of MySQL, MariaDB, and Percona Server. Written in Golang,

「Amazon RDS が意図せず再起動したら、どうやって原因究明したら良いんだろう？」 ってお悩みではありませんか？今回は当該事象発生時に私が確認しているポイントを紹介したいと思います。 それでは早速やっていくっ！ 確認ポイント 以下の7つを確認します！（確認の順番は適宜入れ替えてください） AWS Service Health Dashboard AWS Personal Health Dashboard 対象 RDS のメンテナンスタブ 対象 RDS の最近のイベント 対象 RDS の error ログ CloudTrail CloudWatch 1. AWS Service Health Dashboard AWS Service Health Dashboard Amazon Web Services publishes our most up-to-the-minute inf

こんにちは、大阪オフィスのかずえです。現在ラスベガスで開催中のre:InventでAmazon RDS Proxyのリリースがアナウンスされました。（ただしプレビューです！） なにそれ？ 名前の通りRDS用のプロキシです。 スケーラビリティ、DB障害への耐久性、セキュリティの向上が期待できます。 現在のところRDS MySQLとAurora MySQLで利用可能です。RDS PostgreSQL と Aurora PostgreSQLは間も無くとのこと。 東京リージョンで早速使えます！ これまで アプリとDB(RDS)間はコネクションを張ることで通信します。 ですがこのコネクション、DBサーバーのメモリやCPUを食います。 例えばサーバーレスアーキテクチャーのアプリの場合、このコネクション数がものすごい数になることがあります。DBに負荷がかかってしまいます。遅くなったりスケーラビリティが制

AWS News Blog New – Amazon Managed Apache Cassandra Service (MCS) Managing databases at scale is never easy. One of the options to store, retrieve, and manage large amounts of structured data, including key-value and tabular formats, is Apache Cassandra. With Cassandra, you can use the expressive Cassandra Query Language (CQL) to build applications quickly. However, managing large Cassandra cluste

Amazon Web Services ブログ PostgreSQL 11 の新機能を詳しくご紹介 初期のPostgreSQL プロジェクトは 1986 年に大学のプロジェクトとしてスタートしました。1996 年に PostgreSQL プロジェクトはオープンソースコミュニティが引き継ぎ、毎年メジャーバージョンを定期的にリリースしています。ソフトウェアの複雑さを考えると、このような早急なリリーススケジュールには、主要な機能を小さく基本的な要素に分割する必要があります。こうした小規模で基本的な機能を組み合わせることで、最新リリースの PostgreSQL 11 を含む PostgreSQL のすべてのメジャーリリースが行われています。PostgreSQL 11 は、Amazon RDS for PostgreSQL および PostgreSQL と互換性のある Amazon Aurora の

クラスター管理画面から「アクション」-「サイズ変更」を開きます。リサイズタイプは「伸縮自在なサイズ変更（Elastic Resize）」を選択します。ちなみに、アップデートのタイトルから Elastic Resize のみサポートかと思っていましたが、「従来のサイズ変更（Classic Resize）」でもスケジュール指定ができました。「elastic resize でスケジューリングがサポートされた」のではなく、「柔軟な(elastic)リサイズスケジューリングがサポートされた」というタイトルのようですね。 次にスケジュールの選択を行いますが、選択肢は３つです。 Resize the cluster now（今すぐ） Schedule resize at a later time（一度だけのスケジュール） Schedule recurring resize events（繰り返しスケジュ

現在、多くのデータ活用シーンで、SQLを使ったデータ取得業務が行われているものの、SQLが書ける人材の不足により業務が担当部署に集中しやすく、また複雑なSQLは保守性が低下しやすいことから、業務が属人化しやすいといった課題を抱える現場が多い。 分析ツール「nehan」は、分析者の作業時間を短縮し、思考する時間を増やすことで、データ活用によるビジネス改善を促進させるサービス。 今回提供されるSQLビルダー機能は、SQLのスキルがなくても簡単な操作でデータの取得が可能となっており、データ加工プロセスを見える化することで、保守性が向上。業務の属人性をなくし、SQL業務の効率化・民主化による、ビジネスにおけるデータ活用の促進を実現する。 GoogleBigQuery上のデータを、SQLビルダーで集計・結合する例 自動作成されたSQL SQLビルダーと「nehan」の既存機能を組み合わせることで、デ