innodb

こんにちは。 ATOM事業部の田村です。 今回は、MySQL の高速化の手段として、InnoDB エンジンをオンメモリで使った場合のパフォーマンスについて調査してみました。 はじめに MySQL には InnoDB エンジンだけではなく、他にもいくつものストレージエンジンがあります。 その中でも MEMORY エンジンは、その名の通りデータをメモリ上に持つため、処理が極めて高速という特徴があります。 ただし InnoDB とはいろいろ違う部分があり、InnoDB で使えていた SQL がそのまま通るわけではありません。 単に「高速化したい場合は InnoDB の代わりに MEMORY エンジン…

DBのロックについて考える際にTransaction Isolation Levelsを確認することはよくあると思いますが、バックエンドを触ってない期間が長くなると細かい部分を忘れてしまうのでまとめてみました。

tm-progapp.hatenablog.com ↑の記事にてInnoDBのロックについてまとめましたが、公式ドキュメントを読み漁る中で「locking read」と「non-locking read」という言い回しがあり、気になったのでまとめてみました。 MySQL :: MySQL 8.0 Reference Manual :: 15.7.2.4 Locking Reads locking readとは non-locking readとは メリット デメリット 参考 locking readとは SELECT ... FOR SHARE, SELECT ... FOR UPDATE時の…

こんにちは。id:shallow1729です。最近Database Reliability Engineerというお仕事を始めたのでデータベースの勉強をしたりMySQLのソースコードを読んだりしています。仕事でMySQLが標準で用いているInnoDBのソースコードを読む機会があったのでなんかアウトプットしたいなと思いつついきなりコアな話するのもなって思ったのでざっくりとストレージエンジンの話をしようかなと思います。とはいえストレージエンジンは本当にいろいろな仕事をしていて全部を書こうとするとものすごい事になりそうだった(+僕も分かってない部分が多い)ので、とりあえず第一回はredo logとい…

my.cnf で、innodb_log_file_size の値を変更した際は、InnoDBログファイルを削除しないとエラーになる。 前に起動していた時に作成されたログファイルのサイズと、今回定義されたサイズが合わない、ということでエラーになる。 130128 09:04:03 mysqld started InnoDB: Error: log file ./ib_logfile0 is of different size 0 5242880 bytes InnoDB: than specified in the .cnf file 0 67108864 bytes! 130128 9:04:…

これは、なにをしたくて書いたもの？ TiDBのUUIDに関するベストプラクティスを見ていて、プライマリーキーにUUIDを使う場合でuuid_to_bin関数を使うのならswap_flagを ONにしない方がいいという記述を見つけたので、自分でも試してみようかなということで。 UUID Best Practices | TiDB Docs 試している順番が逆（MySQLを自分で試したことがない）な気がしますが…。 MySQLとUUID MySQLではランダムなUUID（たとえばバージョン4）をプライマリーキーに使ってデータを登録していくと、徐々に性能劣化していくことが 知られています。これはIn…

株式会社High Linkの大崎（https://x.com/kantarow2813）です。 プロダクトの開発と運用を同時に継続していく環境では、既存のテーブルに対してインデックスやカラムを追加したいというケースに遭遇することがあります。そのようなケースではデータベースの負荷上昇や同時実行性の低下など考慮するべきことが多く、経験が浅い自分は腰が重くなりがちです。 幸いなことに、弊社が利用しているMySQLではオンラインDDL機能が提供されています。オンラインDDLは稼働中のデータベースのテーブルに対する変更をサポートするもので、同時実行性とスループットを維持しながらDDLを実行できます。 本…

はじめに サーバーサイドエンジニアの kurisu(ryomak) です。 普段は、カード決済やあとばらいチャージに関連する機能の開発・運用を行っております。 本記事でお話しすること 本記事では、インデックス追加によって決済レスポンスタイムを改善した事例をご紹介します。具体的なインデックス設計の検討や実行計画の見直しを通じて、どのようにレスポンスタイムを最適化したのか、その裏側を詳しく解説します。インデックス追加によるパフォーマンスチューニングの際の参考になれば幸いです。 はじめに 本記事でお話しすること 決済処理の遅延の検知 事の発端 実行環境 原因調査 遅くなったクエリの特定 対応検討 方…

はじめに この記事は MySQL Advent Calendar 2024 15日目の記事です。 （なんか、いつの間にか15日の人のが消えていたので代わりに埋めてみました） 何をしてどうなった？ MySQL Shellを使って、既存のグループレプリケーションにaddInstance()を追加しようとして、以下のようなエラーで失敗した。 エラーメッセージ エラーログに以下のようなメッセージが出ます。 [GCS] Connection attempt from IP address ::ffff:xxx.xxx.xxx.xxx refused. Address is not in the IP a…

サンタさんへ、MySQL5.7から8.4にアップグレードしてください この記事は every Tech Blog Advent Calendar 2024 の 24 日目の記事です。 背景 こんにちは、開発本部 RetailHUB開発部 NetSuperグループに所属するフルスタックエンジニアをやらせていただいています、ホーク🦅アイ👁️です。 リテールハブ事業部 私の所属しているリテールハブ事業部の話をもう少し詳細にしてみようと思います。 ネットスーパーシステムは事業継承したので弊社が作ったものではなく、10年以上も前に作られたものがベースになっています。CentOSサーバ内にPHP5.3とM…

初めに この記事はMySQL Advent Calendar 2024の23日目の記事です。 目次 初めに 目次 とある日 8 系でSHOW PROCESSLISTを実行する これから推奨される performance_schema.processlist 普通に実行してみる テーブル定義を見てみる 〆 参考情報 とある日 2023年10月25日の8.0.35のバージョンアップにより、INFORMATION_SCHEMA.PROCESSLISTが非推奨になりました。 そのため、INFORMATION_SCHEMA.PROCESSLISTを使用するSHOW PROCESSLISTも合わせて非推奨…

HonoとNext.jsの連携 AIの否定文理解に関する課題 LLMを活用したクレジットカード不正検知システム開発 イーロン・マスク氏のXに関する発言 NVIDIAアプリのゲーム性能低下と回避策 ソフトウェア開発における技術的負債管理 AIの欺瞞的行動とリスク 技術書執筆におけるツールとワークフロー エンジニアの兼務と事業成長への貢献 AI開発における規模の限界と今後の展望 TypeScript中級者向け実践テクニック インクジェット印刷による基板製造技術革新 MySQLオンラインDDL実行時の注意点 mixi2とTogetter/Twilog等の機能に関する考察 AIモデルのメモリ使用量削減…

この記事は羅針盤 アドベントカレンダー 2024の18日目の記事です。 qiita.com 16日目の記事は https://compasscorp.hatenablog.com/entry/isucon-2024:ISUCON 2024奮闘記 でした。 株式会社羅針盤の成田です。 今回は、私がmysqldumpというコマンドを覚えてから十数年使い続けている、秘伝の奥義を紹介します。 システム開発で途中参加したり引き継いだ場合、まずリバースエンジニアリングして既存のシステムを読み解くところから始まると思います。 「この操作をしたら、DBはどう変わるのだろう？」 という疑問に挑み続けていく戦いが…

はじめに これは Go - Qiita Advent Calendar 2024 - Qiita の記事です。 tl;dr goquでMySQLのクエリを組み立てるとき、BOOLEAN型のカラムの値を比較するとき Eq メソッドなどや goqu.Ex 型にGoのbool型の値を渡さない IsTrue IsFalse メソッドを使わない MySQLでは、BOOLEAN型のカラムを IS 演算子で比較するとインデックスが効かなくなる したがって、以下のいずれかの方法を取るべき 1 (真) もしくは 0 (偽) と比較する (整数値を使う場合) goqu.L("TRUE") もしくは goqu.L(…

◼️ はじめに ◼️ 前提条件 マシン環境 データベースについて ◼️ データ挿入に関して ◼️ 100万レコードでLIKE検索(前後の部分一致)と全文検索の比較 LIKE検索 全文検索 ◼️ EXPLAINで実行計画を確認 LIKE検索のEXPLAIN結果 全文検索のEXPLAIN結果 ◼️ EXPLAIN ANALYZEを確認 LIKE検索のEXPLAIN ANALYZE結果 全文検索のEXPLAIN ANALYZE結果 ◼️ リソース使用状況確認 全文検索のクエリのプロファイリングを確認 ◼️ INNODB_FT_INDEX_TABLEを確認 ◼️ テストデータを修正 最初に作成したレコ…

概要 ISUCON14に会社の同期と3人で参加しました。 結構勉強しましたが、結果的に再起動試験で失格でした。 残念な結果でしたが、仕事などにも繋がる学びは多かったです。 ISUCON14の結果 理由は後述しますが失格でした。失格しなかった場合の参考順位は112位でした。 isucon.net 今年やったこと 去年、ISUCONに初参加した時の反省が以下です N+1とか改善の方針は立つけど、手が動かせない Nginx, Golang, MySQL, OSのconfigのチューニングができない セットアップ作業を同期に任せっきりだったので、よくわからない その反省を踏まえて、今年は以下に取り組み…

こんにちは、インフラのテックリードをしている沼沢です。 この記事は、株式会社asken (あすけん) Advent Calendar 2024 の11日目の記事です。 また、「あすけんの Aurora 2 → Aurora 3 へのメジャーバージョンアップ軌跡」の第1弾の記事です。 あすけんは AWS 上で動いており、データベースには RDS Aurora を利用していて、各社同様にメジャーバージョンを上げなければならない状況でした。 しかし、その道のりは決して簡単なものではありませんでした。 本稿は、そんな Aurora メジャーバージョンアップ完了までの軌跡をお伝えする記事の第1弾です。 …