経済産業省所管の新エネルギー・産業技術総合開発機構(NEDO)が5年と25億円を投じて、国産の新しいRDB(リレーショナルデータベース)を開発している。日経 xTECHの取材でその詳細が明らかになった。RDBの世界で近年、DBエンジンの作り直しが必須となる目覚ましい技術進化が起こっていることから、新規参入にも勝算があると判断した。
NEDOのRDB開発プロジェクトは「実社会の事象をリアルタイム処理可能な次世代データ処理基盤技術の研究開発」で、2018年度からの5年間に25億円の国費を投じる。開発はNEC、ノーチラス・テクノロジーズ、東京工業大学、大阪大学、名古屋大学、慶応義塾大学などに委託する。
開発内容 | 担当 |
---|---|
OLTPとOLAPの統合技術 | 東京工業大学 |
OLTPとデータストリーム処理の連携 | 名古屋大学 |
OLAP処理の高速化技術 | 大阪大学 |
OLTP処理の高速化技術 | 慶応義塾大学 |
ハードウエア性能の評価 | NEC |
統合メタデータ管理基盤 | NEC |
実行エンジン | ノーチラス・テクノロジーズ |
厳格なOLTPと高速なOLAPを両立
新RDBの特徴は厳格なOLTP(オンライントランザクション処理)が可能でありながら、ビッグデータ分析にも使用できる高いOLAP(オンライン分析処理)性能を有していることだ。OLTPとOLAPの両立はHTAP(Hybrid Transaction/Analytical Processing)と呼ぶ。OLTPで用いる行方向のデータは不揮発性メモリーを採用する主記憶(メインメモリー)に格納し、OLAP用の列方向のデータを2次記憶装置に格納する。2次記憶装置にも不揮発性メモリーを使用する。
OLTPに関しては、トランザクション処理の分野で一般的なベンチマークである「TPC-C」において1ノードで1000万トランザクション/秒(TPS)の達成を当面の目標とする。そしてトランザクション処理においては、一貫性と隔離性のレベルを示す「トランザクション分離レベル」が最も高い「SERIALIZABLE」を保証する。
2次記憶装置にデータを格納する前にデータを処理するストリーミング処理にも、RDBそのもので対応する。従来はストリーミング処理のために、RDBとは別に処理機構を用意する必要があった。
OLAP高速化のために探索的データ分析を高速に実行するフレームワークも開発する。OLAPのクエリーを実行する前に機械学習ベースのアルゴリズムによってその内容を分析し、クエリーにとって最適なスキーマを設定する。クエリー実行計画に加えてデータ構造も最適化することで、探索的データ分析を高速化する。
インターフェースはPostgreSQL互換、OSSとして公開
新しいRDBはOLTPエンジンとOLAPエンジンの両方を搭載する。両エンジンに対応するクエリーのコンパイラーも開発する。完全に新規開発のRDBではあるが、SQLクエリーなどアプリケーション開発者にとってのインターフェースはオープンソースソフトウエア(OSS)のRDBであるPostgreSQL互換とすることで、使い勝手を良くする。新RDB自体もOSSとして公開する計画だ。