MySQLのチューニングにおいて非常に重要となるメモリ(バッファ)関連のパラメータについて、 チューニングのポイント DSASのとあるDBサーバ(実メモリ4GB)の実際の設定値 をまとめてみます。 また、必要メモリの総量の計算や限界値を越えてないかチェックしてくれるスクリプトも紹介します。 是非、参考にしてみてください！ まず最初に注意点を。 バッファには2つのタイプがあります。 グローバルバッファ スレッドバッファ グローバルバッファはmysqld全体でそのバッファが1つだけ確保されるもので、 これに対し、 スレッドバッファはスレッド(コネクション)ごとに確保されるものです。 チューニングの際にはグローバル/スレッドの違いを意識するようにしましょう。 なぜなら、スレッドバッファに多くのメモリを割り当てると、コネクションが増えたとたんにアッという間にメモリ不足になってしまうからです。 in
mysqlの障害を監視する各種設定メモ mysqlが過負荷になる現象が確認されたので、障害対応と監視を強化するために行った作業のメモ。 ■muninによる監視の追加 ・muninは導入済みの想定 /usr/share/munin/plugins/mysql_ を利用する ・基本監視可能項目のリスト 出力された項目が設定可能 # /usr/share/munin/plugins/mysql_ suggest Cache::Cacheのエラーが出る場合は以下を実行 # yum install perl-Cache-Cache ・基本監視項目を設定 # cd /etc/munin/plugins # ln -s /usr/share/munin/plugins/mysql_ mysql_commands # ln -s /usr/share/munin/plugins/mysql_ mysql_
2011/03/102011/03/12サーバー構築 MuninでMySQLのデータを取得します。 今回取得するデータは下記のとおり。 ＜Munin標準＞ ・MySQL queries ・MySQL slow queries ・MySQL threads ・MySQL throughput ＜Munin Exchange＞ ・MySQL Connections ・MySQL Queries Cache Size ・MySQL Queries in cache Munin側でPluginを有効にします。 # ln -s /usr/local/munin/lib/plugins/mysql_queries /etc/munin/plugins/mysql_queries # ln -s /usr/local/munin/lib/plugins/mysql_slowqueries /etc/mu
今回は、MySQLの高速化のメモ - @luke_silvia.diaryの方法に従ってクエリの高速化をした際に、MySQLのインデックスについて分かったことを書いておきます。 高速化対象のクエリ 今回高速化したいクエリは、以下のようなもの。 SELECT users.*, students.school, workers.school FROM users LEFT JOIN students ON users.id = students.user_id LEFT JOIN workers ON users.id = workers.user_id WHERE (users.status= 1 AND ((kind = 0 AND students.school = 'test') OR (kind = 1 AND workers.school = 'test'))) ORDER BY
MySQL 5.5.22 と 5.5.24 でステートメントベースのレプリケーションで気になる変更点があったので調べてみました。どちらも binlog_format = statement でテストしています。 MySQL 5.5.22 Statements that wrote to tables with AUTO_INCREMENT columns based on an unordered SELECT from another table could lead to the master and the slave going out of sync, as the order in which the rows are retrieved from the table may differ between them. Such statements include any IN
はじめに この記事では、MySQL を使って簡単なメッセージキューを手軽に実装する方法を解説します。 メッセージキューとは、メッセージを一時的に溜めておき、順次処理するための仕組みです。迅速なレスポンスが必要な Web アプリケーションにおいて、時間のかかる処理を非同期に行うために、バックグラウンドで順次処理していくような場合に利用できます。 簡単なメッセージキューと言っても、大規模な運用にも耐えられる程度の速度と堅牢性を持ちます。 また、ここで解説している方法で作られたメッセージキューは、弊社ウェブサービスであるニコニコ動画に最近追加されたtwitter連携機能でも利用しています。 メッセージキューを作るにあたって 今回実装するメッセージキューは メッセージの追加(push)を高速に行う事ができる メッセージの取得(pop)はある程度高速に行う事ができる 多くのクライアントから同時に p
phpMyAdminでportを指定する場合は <?php $cfg['Server'][$i]['port'] = 'port number'; とすればいいわけなんだけど、なぜかデフォルトの3306を見にいってしまう。 そこでマニュアルを読むとこんなことが書いてあった。 $cfg['Servers'][$i]['port'] string The port-number of your $i-th MySQL-server. Default is 3306 (leave blank). If you use "localhost" as the hostname, MySQL ignores this port number and connects with the socket, so if you want to connect to a port different from
xaicronとネタが被ったようだけど気にしない＞＜ livedoorでOperations EngineerやってるkazeburoだYo。最近livedoorからオープンソース化された3億ファイルを管理してるオブジェクトストレージ「STF」でも使ってるMessage QueueのQ4Mのインストール方法を紹介するよ！ カジュアルだからインストールだけ！ 知ってる人も多いと思うけどQ4Mはkazuhoさんによって開発されたMySQLのストレージエンジンとして実装されてるMessage Queue。livedoorではもちろん、mixiやDeNAをはじめソーシャルゲーム各社でも使われている。 Message Queueの説明や使い方はDIS_COMMENTでテーブルスペースフルの猫神様が書いてるので参考になるね！ Perl Hackers Hub 第10回 ジョブキューで後回し大作戦―Th
MySQLをお手軽に管理するためのツールとして定番のphpMyAdmin。 remiリポジトリにも入っていて、yum –enablerepo=epel,remi install phpMyAdmin で簡単に導入できる。 しかし、これの設定ファイルの場所が昔と変わっていてちょっと手間取ったのと、その他のメモ。 /usr/share/phpMyAdmin にファイルが設置されて、/etc/httpd/conf.d/phpMyAdmin で、Aliasを使って /phpMyAdmin にマッピングされているんだけど、これは美味しくない。 全てのバーチャルホストの /phpMyAdmin にマップされてしまうのでセキュリティ的に美味しくない。 なので、/etc/httpd/conf.d/phpMyAdmin を削除して、中身を認証とSSLを入れたバーチャルホストのVirtualHostディレクテ
InnoDB Pluginの面白い機能の一つに、データ圧縮機能があります。今回はその仕組みと効果について見ていきたいと思います。まずはグラフをご覧ください。 これはWikipedia日本語版のデータベースをダウンロードし、記事本文の格納されているtextテーブルをMySQL 5.1＋InnoDB Plugin 1.0の環境にロードしたものです。 元テキスト：今回利用したデータは2009/06/21版のものです(jawiki-20090621-pages-articles.xml.bz2)。元テキストはここからXml2sqlを用いてタブ区切りテキストを取り出したものを用いています。このファイルには1,167,411件の記事が格納されており、容量は3,436MBとなっています。 元テキスト gzip：元テキストをgzipコマンドで圧縮したものです。 MyISAM：記事をMyISAMのテーブルに
Getting Started Introduction A simple tutorial Language Reference Basic syntax Types Variables Constants Expressions Operators Control Structures Functions Classes and Objects Namespaces Enumerations Errors Exceptions Fibers Generators Attributes References Explained Predefined Variables Predefined Exceptions Predefined Interfaces and Classes Predefined Attributes Context options and parameters Su
2008.10.15 PHP+MySQL:LIKE文:ワイルドカードのエスケープ処理 カテゴリ：PHP 先日、LIKEのワイルドカードである_と%はmysql_escape_string()ではエスケープされないとかきました。 ではどう対応するか。 str_replace(array('_','%'),array('\_','\%'),$str) こんな感じで置き換えると良いみたいな記事もありましたが、マルチバイト(特にSJIS?)だと誤認知される可能性があるっぽい。 仕方が無いのでちょっとカッコ悪いけど個別に置き換えた。 あと、円マーク(バックスラッシュ)はLIKEで使う際には2重化してあげないといけない。 つまり\を検索しようとするなら、LIKE文の中では「\\\\」となる。 \n(改行コード)を検索するなら「\\n」だが、\nという文字列を検索するなら「\\\\n」となる。 これにつ
MySQLを使ってデータ投入するとあるバッチ処理を実行すると、唐突に以下のエラーが発生しました。 SQL Error: 1030: Got error -1 from storage engine SQL Error: 126: Incorrect key file for table '/tmp/#sql_6b19_0.MYI'; try to repair it SQL Error: 1: Can't create/write to file '/tmp/#sql_6b19_0.MYI' (Errcode: 17) SQL Error: 1: Can't create/write to file '/tmp/#sql_6b19_0.MYI' (Errcode: 17) SQL Error: 1: Can't create/write to file '/tmp/#sql_6b19_0.
オープンソースデータベースを加速する「キムラデービー」のブログです。カレー日記を兼ねてます。なお著者は2010-06-01より日本オラクルに在籍していますが、本サイト（ブログ、またはウェブサイト）において示されている見解は、私自身の見解であって、オラクルの見解を必ずしも反映したものではありません。 MySQL 5.1+InnoDB Plugin, 5.5以降でサポートされた以下の三つの情報スキーマテーブルを使うとトランザクションとロックに関わる情報をInnoDBロックモニタよりも簡単でわかりやすく取得することが可能です。 | INNODB_LOCK_WAITS |独自: ロック待ち情報 | INNODB_LOCKS |独自: ロック競合情報 | INNODB_TRX |独自: トランザクション情報 通常一つの接続ではトランザクションのBEGIN; COMMIT;を何度か行います。つまり一つ
[PR] 今日のニュースは？？ : 2ch自動まとめキュレクス [PR] 名言や格言をどうぞ！ : 名言満載！ [PR] 副業したい？ : 出張ホスト募集中 [PR] SEO最高峰のクオリティー : 知る人ぞ知る、SEOUP.com。テラプレミアムアクトは抜群におすすめ！ [PR] 口コミ対策 : 口コミでSEO対策。なんとびっくり、1円からご利用頂けます。 [PR] 出張キャバクラアゲハ : ちょっとした飲み会のお供に。デートのお相手に。 cakephpのfind all とかそういうのを使いまくれば、別にmysql文なんて理解して無くても良い。 ただ、ちょっとだけ凝ったsqlを発行するときにごりごり書くとそれだけで相当処理が重くなる。 今回は、cakephpを使っていてあんまりsql構文を知らない人のために、構文をまとめてみた。 updateAll で primarykey 以外の条件
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く