データの蓄積や加工、保管などの統合管理を可能にするデータウェアハウス（DWH）。前編では、大企業を中心に半数がデータ活用を進めている一方、DWHを構築しているのは31.4%とやや遅れている現状を紹介した。後編となる本編でも引き続き「DWHの導入状況に関するアンケート／2024年（実施期間：2024年10月31日～11月15日、回答件数：122件）」を基に、DWH構築が促進されない理由や、その背景について現状課題を考察する。 1つ目は、DWHへの投資の優先順位が低いという理由だ。「規模が小さく余裕が無い」「そこまでの規模はない」などデータの活用範囲をそこまで広く設定しておらず、取り扱うデータ量も大きくないため、コストや使用頻度、重要性を鑑みて「投資の優先順位が低い」と判断するケースもあるようだ。また「運用管理などのコスト増」を懸念し、投資を見送る意見もあった。 2つ目は使いこなせないという理
LinkedInは、同社が開発したリアルタイムデータ分析を実現する分散OLAPデータストア「Pinot」をオープンソースで公開したことを明らかにしました。 Open Sourcing Pinot: Scaling the Wall of Real-Time Analytics | LinkedIn Engineering LinkedInはビジネスに特化したソーシャルメディアサービス。 同社はこのサービスで発生する大量のデータを分析するプラットフォームとして、すでに2年以上Pinotを運用してきており、日々数十億件のデータを投入し、数千億件ものデータを保存。毎日1億クエリを実行し、10ミリ秒程度のレイテンシでリアルタイム分析しているとのこと。 例えば、LinedInのサービスである「Who's Viewed Your Profile」（あなたのプロフィールを誰が見たか」や、A/Bテストフレ
Kazuki Ohta @kzk_mover MPP DBとして古参のSybaseIQは15年以上存在しており、値段感も手頃な奴もある。対してHadoopを使ってる人は理由があるし、安くて手軽なMPPデータベースが出てきたから安易にHadoopからそちらに移るのはシステムのPros/Consを正しく理解していなかったケース。 Kazuki Ohta @kzk_mover Twitter/Evernote/Netflixを見ていると、生の非構造化データをとにかくHadoopに貯め、MRで構造化したデータキューブをMPPDBに入れ低レイテンシで解析するのが勝ちパターン。大企業では全データソースのスキーマをIT部門が管理するのは困難もしくは不可能。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く