セキュリティを盾に一点突破。どうもかわしんです。最近 Rust で SQLite を実装してます。 以前の記事で HTTP Parser を Rust で実装しようとしたものの、すでに実装されていたので断念しましたが、いい題材を見つけました。SQLite です。開発中のリポジトリはこれです。 github.com 今の時点では、Read Only で1つの WHERE 句を持った SELECT 文しか処理できないですが、以下の機能を実装しています。 sqlite3 で生成された database ファイルの読み取り (cursor.rs, btree.rs, record.rs) SQL 文の解析 (token.rs, parser.rs) テーブルとインデックスのメタデータのパース (schema.rs) 動的なファイルの読み込み (pager.rs) SQL クエリとスキーマ情報を元に
4月中旬ころになりますが、新著が出ます。SQLのパフォーマンスを主題にした本で、実行計画を読むことで、なぜこのSQLは遅いのか、あるいは速いのかをデータベースの内部動作まで把握して理解しよう、という趣旨です。 リレーショナルデータベースというのは、SQLという自然言語を模したインタフェースによって、低次のレイヤーを隠蔽する意図で作られたミドルウェアなので、本当は実行計画などという手続レベルの世界をユーザが覗き見るのは、本末転倒なところもあります。ただそうはいっても、現実にSQLが遅かったら原因を解析せざるをえないわけだし、大体本当にブラックボックスにしたいなら、なんでどのDBMSも実行計画を見られる手段なんか用意してるんでしょうね不思議ですね、という理想と現実の狭間で悩むエンジニアの方々に少しでもベターな解に辿りつけるアプローチを提示できれば、と考えております。 以下まえがきと章立てです。
弟子が珍しくまともなことを言っていたので記録しておく。 データのバックアップ方式云々について、話し合っていたときのことである。バックアップ周辺機能というと、おおよそ運用時にトラブルが発生しやすく、議論は慎重に進めなければならない。我々はチーム総出で、ああでもないこうでもないと頭を悩ませていた。 おおよそ要件がまとまり始めたころ、弟子はおもむろに口を開いた。 「そういう要件なら、バックアップデータっていうのは、リストアできることを確認したデータであるべきですよね。そうじゃないなら、バックアップって言っちゃいけないですよ」 弟子の発言はあまりにも正しかった。それまでの流れでは、バックアップデータの取得方法や保存方法に論点が集中しており、本来はバックアップと同時に語られるべきリストアについて、少々おざなりになっていたのである。 まさに私が言い出すかどうか迷っていた部分でもあった。アドリブに弱い私
C34 ニッチだけど、社会インフラを支えるデータベース、HiRDB ～HiRDBを選ぶ人、選ばない人、その選択基準とは～ by Taichi Ishikawa 1. © Hitachi, Ltd. 2013. All rights reserved. 株式会社 日立製作所 情報・通信システム社 ITプラットフォーム事業本部 開発統括本部 ソフトウェア開発本部 DB設計部 主任技師 石川 太一 ニッチだけど、 社会インフラを支えるデータベース ＨｉＲＤＢを選ぶ人、選ばない人 その選択基準とは 5月31日(金) Session4：16:00～16:45 db tech showcase 2013 Osaka
あれは、僕がデータベースを扱ううち最初から３件目のプロジェクトだった。 C++のソースが難解で火を吹いているという話で、自分は低スキルの若造。火にくべるには丁度良い程度のやる気と責任感をもっていた。折悪く別のプロジェクトが終了した直後だったもので投入されたのでした。 現場で『DBからデータを吸い出すツールかSQLを作ってくれ』といわれ話をきくと他社が作ったDB定義がすこぶる使いづらいという。 ER図やDB定義を見せてくださいと言ったのだけど、そんなものは無いという返事。 今ならもうここら辺で逃げ出すところですが、当時は『ふーん。』てなもんでそういうこともあるのかくらいの軽い気持ちで考えていました。 で、プロジェクトの資料をあさりまくって何とかDB定義のようなものも見つけDBのデータを調査し始めたのですが何かがおかしい。 機能の数に比して異様にテーブル数が少ないのです。 ふと周りを見ると、皆
日立のデータベース製品「HADB」が、DBシステムのベンチマークテスト「TPC-H」で世界で初めて“100テラバイト級”として認定された。 日立製作所（以下、日立）のデータベース（DB）製品「Hitachi Advanced Data Binder プラットフォーム」（HADB）が、DBシステムの業界標準ベンチマークテスト「TPC-H」で世界で初めて“100テラバイト級”として認定された。日立が10月21日に発表した。 HADBは、日立が東京大学との共同研究に基づき製品化したDB製品。データ入出力要求の発生順序とは無関係な順序で非同期にデータを処理する「非順序型実行原理」によってDB処理を高速化したのが特徴で、HDD構成／SSD構成のストレージ環境の両方で、従来型のDBエンジンと比べて約100倍のデータ検索処理性能を確認したとしている。 今回、TPC-Hの最大規模である100テラバイト級の
テーブルを作る際に、DDLレベルで外部キー制約をつけることがあるが、私はこれには反対である。組み込める制約の幅が狭すぎるうえに、業務ルールに関する記述があちこちに散らばってしまうからだ。順を追って説明しよう。 外部キー制約を組み込むことで、テーブルは更新・追加・削除操作において制約を受ける。たとえば、受注テーブルが顧客idを持っているとして、これに顧客マスターに対する外部キー制約を与えるとしよう。このとき、受注登録の際に顧客idの値がその時点の顧客マスター上に定義されていなければエラーになる。また、特定の顧客データを顧客テーブルから削除しようとしたときに、既存の受注データと関連づけされているような顧客であれば、やはりエラーになる。 この程度の例であれば、外部キー制約をDDLレベルで組み込むことに何ら問題はない。 ところが、現実は想像以上に複雑である。たとえば、多少不自然な例ではあるが、受注
本書はDB設計やSQL記述の際に避けるべき事柄を1章で1つ、25個紹介する書籍です。リレーショナルデータベースを中心に据えたシステム開発には、様々な場面で陥りやすい失敗（アンチパターン）があります。本書はデータベース論理設計、データベース物理設計、クエリの記述、アプリケーション開発という4つのカテゴリに分け、それぞれの分野におけるアンチパターンを紹介し、失敗を避けるためのより良い方法を紹介します。複数の値を持つ属性や再帰的なツリー構造の格納から、小数値の丸めやNULLの扱いに起因する問題、全文検索やSQLインジェクション、MVCアーキテクチャなど、実践的かつ幅広いトピックを網羅します。日本語版では、MySQLのエキスパートとして著名な奥野幹也氏によるアンチパターンを収録。データベースに関わるすべてのエンジニア必携の一冊です。 本書への称賛の声 監訳者まえがき はじめに I部 データベース論
エンタープライズシステムのエンジニアをやって１０年以上。思うところを書いていきます。その他趣味を少々。。。 DBの世界に起きた大きな波 現在、どの製品を使ったとしてもRDBの性能問題は必ずといっていいほど発生する。理由は簡単で、CPU、ネットワークが高速化（CPUはマルチコア化、ネットワークは10G-Ethernetの一般化やInfiniBandなど）するのにディスク（ストレージ）が高速化に追いついていないからだ。その差を埋める役割として、RDBが担っているケースが多く、性能問題になるケースが散見される。 だが、そういう時代の流れに対して大きな変革が起きようとしている。SSDはかなりコモディティ化してきたので言うに及ばずといった感じだが、個人的には速いもののディスクの置き換えにすぎないと思っている。つまり、SSDは速いがDBのアーキテクチャに大きな変革をもたらすものではない。が、ここにきて
プログラミング言語Clojureの作者Rich Hickey氏率いるClojure HackerのチームがDatomic(デートミックと発音するらしい)というデータベースをリリースしました。これが何やらとてつもないです。10年先を行ってる技術じゃないでしょうか。 まだ本番サービスは始まっていませんが開発環境用のライブラリが配布されています。 Datomicは斬新なアーキテクチャなので一言で説明するのはとても難しいです。 私が理解できたことを簡単に説明します。 2014/1/20追記 ライセンスモデル、サポートストレージ、サービスとしてではなく独立して使用する形になるなど記事作成時の内容から色々変更が合った部分を更新しました。 変更不可なAppend-onlyデータベース 従来のデータベースで、あるレコードを変更するというのはそのレコードに対応した場所があり、そこのデータを書き換えるというこ
複合主キーに代えてサロゲートキー（単独主キーの代替キー）を導入すべきかどうか。それはDB設計上の重要な判断事項である。なにしろレコードのアイデンティティである主キーの設定にかかわる問題だ。さまざまなメリットやデメリットを考慮してそれは判断される。その結果、サロゲートキーを導入することもあるし、しないこともある。 ところが、サロゲートキーを強制する（あるいはサロゲートキーを導入しないと開発しにくい）開発基盤がいくつか存在する。具体的には、全テーブルの識別子が"ID"等のフィールド名を持つ単独主キーであることが求められたりする。私に言わせれば、そういう開発基盤は「大盛を強制する牛丼屋」である。メニューにあるはずの「並」を頼むと、あれこれイヤガラセをされる牛丼屋。 この問題に関連して、「サロゲートキーを使わなかったから、ひどい目にあった」という開発者の声を聞いたことがあるかもしれない。心配はいら
ライブスター証券は2021年1月1日をもって、SBIネオトレード証券へと商号を変更いたしました。 以下の旧ライブスター証券ドメインは廃止されておりますので、ブックマーク等にご登録されているお客様におかれましては、新ドメインへご変更をいただきますようお願い申し上げます。 【旧ドメイン】https://www.live-sec.co.jp
2011/12/21 日本ティーマックスソフトは12月21日、Oracle Databaseと「本格互換」のリレーショナルデータベースソフトウェア「Tibero（ティベロ） RDBMS 5.0」を、2012年2月に国内で提供開始すると発表した。 「本格互換」の意味は、Oracle用に開発されたPL/SQLプログラムや、Pro*C、Pro*Cobolの埋め込み型SQLプログラムを、ソースコードの修正なしに、そのまま継承できるということにある。Tiberoではさらに、共用ディスク、ディスク間のリアルタイム複製の2つの方法によるHAクラスタリング機能を提供。重要度の高いアプリケーションも「止めない運用」が可能としている。 日本ティーマックスソフトでは、Oracle Databaseに対するコスト面での優位性も強調している。Tibero RDBMS 5.0 Standard Edition One
米Googleは11月14日（現地時間）、同社のクラウド上でいわゆる「ビッグデータ」を分析する企業向けサービス「Google BigQuery Service」のプレビュー版を公開したと発表した。正式版は有料になる見込みだが、現在は無料で利用できる。 BigQueryは、同社が2010年の開発者向けカンファレンス「Google I/O」で発表したクラウド分析サービス。これまでは一部の企業を対象にクローズドなプレビュー版を提供していた。 ユーザーはGoogleのクラウドストレージサービス「Google Cloud Storage」に分析したいデータをアップロードし、Webブラウザ経由で分析できる。同社は10月にクラウドデータベース「Google Cloud SQL」を公開しているが、BigQueryはデータベースではなく、大容量のCSVデータの分析に向いているという。同サービスでは、テラバイ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く