生まれ変わった「Days of Liris」。プログラミングのこと、Pythonのこと、気になったソフトウェアのこと、身の回りのこと、いろんなこと。など MongoDBのほうが好みなのですが、CouchDBももっと触ってみないとフェアじゃないということで、しばらくはCouchDBで遊んでみます。CouchDBのアーキテクチャとかはまだ、あんまり調べてません。とりあえず、小手先の遊びだけです。 MacなのでHomebrewで普通にCouchDBをインストールできます。今は1.0.2がインストールされました。それからJavaScriptでCouchDBを操作してもいいのですが、このあと計測するときに環境をそろえた方がいいのでPythonを使います。jsonを直接扱うほど若くはないので、Wikiのページの一番上にリストされていたcouchdbkitを使います。couchdbkitはpipでインス
会社では製品のストレージにOracleを使っています。Oracleを選択したのはいろいろな事情があります。その選択が正しかったのか間違っていたのかはまだ分かりませんが、なんだかんだ言いながら、素敵なバグを踏みつつ抱腹前進をさせています。そんな大好きなOracleですが、今までは10gを使っていました。でも、よく分からないメンテナンス期間が今年の夏に終わります。世界はやっと11gに入れ替わります。会社の製品はとっくの昔に11gに対応していましたが、顧客の都合で10gもIE6のようになかなか無くならないかもしれないし、Chromeのように･･･。 さて、11gになっての不満というか困ったことは、製品は正式なOracleを使っていましたが、開発は10g Express Editionを使うことも多かったのです。無料なので･･･。11gはExpress Editionがでる気配もなくずっと悲しい思
4月11日から米サンタクララで行われた「MySQL Conference & Expo 2011」。このイベントでDeNAの松信嘉範（まつのぶよしのり）氏が、同社の大規模なMySQLの運用を支えている技術とツールについてのセッション「Automated, Non-Stop MySQL Operations and Failover」を行いました。 プレゼンテーションの中で、社内で利用しているフェイルオーバーの自動化ツールをオープンソース化することにも触れています（英語のドキュメントも作成中とのこと）。 MySQLの大規模運用における自動フェイルオーバーは、特にクラウドでのMySQLの利用が増えるにつれてニーズが高まる分野と思われます。セッションのスライドが公開されていますので、そのポイントを紹介していきます。 自動化されたノンストップなMySQLの運用 ソーシャルゲームでは高可用性が強く求
HBase(エイチベース)は、GoogleのBigTableを元にしたオープンソースの列指向分散データベース。（リレーショナルデータベース（RDB）ではない） Javaで作られており、Apache HadoopのHDFSを使用して稼動する。その為、Hadoopとの親和性が高いと思われる。 インストール 初回設定 [/2010-08-07] 擬似分散環境 [/2010-07-06] hbase-site.xml [/2010-07-25] HBaseの起動・停止方法 テーブル操作サンプル テーブル構造の考え方 HBase Shell HBase0.20 [/2010-07-12] HBase0.89 [2010-07-12] Javaプログラミング [/2012-04-28] Map/Reduceサンプル [/2012-04-28]
Facebookが新しいサービス「Messages」の基盤として、NoSQLデータベースの「HBase」を選択したことを、先日の記事「Facebookが新サービスの基盤にしたのは、MySQLでもCassandraでもなく、HBaseだった」で紹介しました。 HBaseは、Facebookによると次のような特徴を備えていると説明されてます。 負荷に対して非常に高いスケーラビリティと性能を発揮 CassandraよりもシンプルなConsistency Model（一貫性モデル）を備えている 自動ロードバランス、フェイルオーバー、圧縮機能 サーバーごとに数十個のシャードを割り当て可能、などなど このHBaseはどのようなデータベースなのでしょうか？ 情報を集めてみました。 HBase入門のプレゼンテーション 最初に紹介するのは「HBaseエバンジェリスト」Tatsuya Kawano氏のプレゼン
弊社の一部のサービスでも絶賛活躍中のFusion-io社のioDrive。 Fusion-io ioDriveとFusion-io ioDrive Duoではどちらも、最小容量のモデルはSLC型、そのほかはMLC型を使っているが、Fusion ioDriveの読み込み速度は735〜770MB/s、書き込み速度は510〜750MB/sだ。Fusion ioDrive Duoに至っては、読み込み速度は1.0〜1.5GB/s、書き込み速度は一律1.5GB/sという数値をたたき出す。 ＠IT Special PR：Fusion-ioのクールな技術を使いこなせ！ 今日はデルさん主催の下記セミナーにて、このFusion-ioに関するDELL社の検証結果紹介や、DeNA松信さんによるMySQL環境でのFusion-io検証結果およびDeNAでの利用に関するお話が聞けるとのことだったので、途中からの参加で
テーブルのJOINが苦手でしたが、この例を思いついてからは、すっきりくっきり理解できるようになりました。むしろ頭から離れません……。 ※ INNER、OUTERは飾り。省略できる。 INNER JOIN → JOIN LEFT OUTER JOIN → LEFT JOIN RIGHT OUTER JOIN → RIGHT JOIN ※ ON ...=... をまとめて USING(属性) と書ける。 ※ 何で結合するか言うまでもない時は、NATURALを指定すると勝手にJOINしてくれる。NATURALにJOINして……。 ※ WHEREは結合した結果に作用する。 ※ 現実には上図のように1対1で結合しません。 ※ おまけ。CROSS JOIN。 こんなの使いません。 ブクマ用画像。
映画「アイアンマン2」はご覧になりましたか？ 映画ではオラクルCEOのラリー・エリソン氏が本人役で出ていて、主人公が「やあ、ラリー」とエリソン氏に声をかけるシーンがあるそうですよ。今月はPostgreSQL 9.0とオラクルのテクノロジー解説です。 PostgreSQL 9.0でNoSQLへと進むか？ オープンソースの世界は動きが素早いです。商用データベース製品ですとバージョンアップは数年に1度という頻度ですが、オープンソースだとおよそ1年に1度、新バージョンを目にするということも珍しくありません。新しい技術やトレンドを素早く取り込もうとするコミュニティの熱意がそうさせるのかもしれませんね。 さて、次に新しいバージョンを出そうとしているのはPostgreSQLです。前の8.4のリリースが2009年7月なので、まだ1年しか過ぎていません。早いです。2009年11月のPostgreSQL Co
ASP.NETをつかうならDBは必須。 でもMSSQLは、インストールに失敗したので嫌。 というわけでSQLiteを使うことにしました。 昔Zaurusで動かしたときのように、SQLite公式サイトhttp://www.sqlite.org/からCソースを入手してラッパーを作ろうかと思っていたところ、すでに.NETからSQLiteを呼び出すためのクラスライブラリがありました。 http://sqlite.phxsoftware.com/ 単なるラッパーではなく、C#によってADO.NET2.0に対応するように１から書き直しているとか。 ライブラリ名はSystem.Data.SQLiteで、MSSQLやACCESSで使うSystem.Data.SQLと似ており、メソッド名もSQLをSQLiteに変えれば、同じ感覚で使えそうです。 今回は初めてなので、ボタンを押したら DBフ
クラウドだなんだと騒がれている中で、ちょっと真面目にKey-Valueデータ格納を触り始めた。Google App Engineで、と割り切れれば話は早いのだろうが、それ以外の選択肢もあってよかろう、ということでPylons+memcacheDBの組み合わせで遊んでいる。 その心は... Pylonsはデータ永続部分を自らは用意していない。お好きなものを組み合わせてね、という思想。 memcacheDBはmemcached APIで操作できるBerkeleyDBそのもの。結構速そう&信頼できそう。 とはいうものの、PylonsもmemcacheDBも実はよくわかってないので、手探りで簡単な電話帳もどきアプリケーションを作ってみたよ。 処理方式は先日紹介したFriendFeedのやり方を参考にしている。 FriendFeedにおけるMySQLへの大規模データ格納 - masayangの日記（
Apache Hadoop プロジェクトでは、信頼性の高いスケーラブルな分散コンピューティングのためのオープンソースソフトウェアを開発しています。Hadoop には以下のサブプロジェクトがあります。 Hadoop Common: Hadoop のほかのサブプロジェクトをサポートする共通のユーティリティです。 Avro: 各種スクリプト言語に動的に組み込み可能なデータ直列化システムです。 Chukwa: 大規模分散システムを管理するためのデータ収集システムです。 HBase: 巨大テーブル用の構造化データストレージをサポートするスケーラブルな分散データベースです。 HDFS: アプリケーションデータに対して高いスループットでのアクセスを可能にする分散ファイルシステムです。 Hive: データ・サマライゼーションやアドホックなクエリー操作を可能にするデータウェアハウス・インフラストラクチャです
SQLアタマアカデミー 第7回性能改善の鍵、インデックスの特性を知る～B-treeとハッシュ （2）ハッシュ ハッシュ 概要 チューニング技術としてB-treeの次に重要なのは、ハッシュ（hash）です。ハッシュとは「ごちゃまぜ」とか「細切れ」という意味で、ハッシュドビーフとかハッシュポテトなどの料理名にも使われています。 ハッシュのポイントは分散です。キー値に対して適当な関数を適用して、データを格納する先のアドレスを割り当てるのですが、このときポイントなのは、異なる値のキーに対しては、異なるアドレス（それもなるべく離れた）を割り振れるかどうかです。これができるほど、ハッシュ関数として優れているということになります（図6）。 図6 ハッシュのイメージ図（ハッシュパーティションの場合） なおハッシュは、Postgre SQLやMy SQLのようにインデックスとして実装しているDBのほか、
Ognacの雑感 木漏れ日々 目次 ホーム 連絡をする RSS Login Blog 利用状況 投稿数 - 1487 記事 - 0 コメント - 47716 トラックバック - 143 書庫 2014年5月 (6) 2014年4月 (13) 2014年3月 (14) 2014年2月 (12) 2014年1月 (12) 2013年12月 (13) 2013年11月 (13) 2013年10月 (11) 2013年9月 (13) 2013年8月 (14) 2013年7月 (13) 2013年6月 (14) 2013年5月 (15) 2013年4月 (13) 2013年3月 (14) 2013年2月 (13) 2013年1月 (15) 2012年12月 (14) 2012年11月 (14) 2012年10月 (15) 2012年9月 (14) 2012年8月 (13) 2012年7月 (13)
デバッグで３時間くらいはまったのでメモ．Python 2.5からSQLiteがデフォルトで使えるようになったので，SQLを使ったデータ処理が楽にできると思っていたが，思わぬ落とし穴が． こちらのブログに書いてあるように，Pythonのsqlite3はデータを書いたら，必ずcommitメソッドを呼び出す必要がある．そうしないと，せっかく挿入したレコードが消失する恐れがある．Python 2.5のドキュメントには，なぜかclose()メソッドやcommit()メソッドが説明されていないが，2.6以降のドキュメントのclose()メソッドの説明には， This closes the database connection. Note that this does not automatically call commit(). If you just close your database co
このドメインは お名前.com から取得されました。 お名前.com は GMOインターネットグループ(株) が運営する国内シェアNo.1のドメイン登録サービスです。 ※表示価格は、全て税込です。 ※サービス品質維持のため、一時的に対象となる料金へ一定割合の「サービス維持調整費」を加算させていただきます。 ※1 「国内シェア」は、ICANN(インターネットのドメイン名などの資源を管理する非営利団体)の公表数値をもとに集計。gTLDが集計の対象。 日本のドメイン登録業者(レジストラ)（「ICANNがレジストラとして認定した企業」一覧（InterNIC提供）内に「Japan」の記載があるもの）を対象。 レジストラ「GMO Internet Group, Inc. d/b/a Onamae.com」のシェア値を集計。 2024年5月時点の調査。
Google App EngineのDBサービスはジョインができないなどの制約があるので，パフォーマンスを高めるには工夫が必要だ。キーワードは「キャッシュ」「非正規化」「分散」「事前計算」など。そのほか，処理性能の予測やフレームワークの利用などに注意したい。 米Googleの「Google App Engine」（以下，GAE）は，Webアプリケーションの開発・実行環境を提供するサービスです。前回はGAEの概要編として，サービスの全体像や開発の流れ，データベース・サービスの概要などを説明しました。Java言語とPython言語で開発でき，各種ライブラリやアプリケーション・フレームワークがそろっている一方で，「データベースのジョインができない」といった制約があることを解説しました。 今回はGAEの設計編として，GAE上で動作するアプリケーションを設計する際のコツを，主にデータベース設計を中心
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く