EMCジャパン ビッグ・データのストレージ運用を大きく変える スケールアウトNAS「EMC Isilon」 ビッグ・データは、データ量やデータサイズが膨大であるとともに、増加のペースが極めて速く、また予測が難しいことから、従来の技術では効率的に保存し、処理するのが困難であるといわれている。一方でこのビッグ・データを活用してビジネス戦略の立案・実行につなげることで、企業はさらに競合力を高めていくことが可能となる。「EMC Isilon」は、こうした企業のビッグ・データニーズに応えるスケールアウトNASである。従来のNASが持つ複雑なRAIDやボリューム設計から生じる課題を解決し、ビッグ・データを保存するうえで最適なストレージ環境を実現する。 ビッグ・データを活用し新たな企業価値を創出 企業内では現在、オフィス系のファイルや画像・動画データをはじめ、製造系の設計データやログデータ、解析データな
From Fluentd Meetupに行ってきました これを読んだ時、BigQueryの検索スピードについてちょっと補足したくなった。確かにFluentd Meetupのデモでは9億件を7秒程度で検索していたが、BigQueryの真の実力はこれより1〜2ケタ上だからだ。ちょっと手元で少し大きめのテーブルで試してみたら、120億行の正規表現マッチ付き集計が5秒で完了した。論より証拠で、デモビデオ（1分16秒）を作ってみた： From The Speed of Google BigQuery これは速すぎる。何かのインチキである（最初にデモを見た時そう思った）。正規表現をいろいろ変えてみてもスピードは変わらない。つまり、インデックスを事前構築できないクエリに対してこのスピードなのである。 価格も安い。さすがに120億行のクエリは1回で200円もかかって気軽に実行できなさそうであるが、1.2億
先日、有志で集まって「BigQuery Analytics」という書籍の読書会をやった。その名の通り Google BigQuery について書かれた洋書。 BigQuery を最近仕事で使い始めたのだが、BigQuery が開発された背景とかアーキテクチャーとかあまり調べもせずに使い始めたので今更ながらその辺のインプットを増やして以降と思った次第。 それで、読書会の第1回目は書籍の中でも Overview に相当するところを中心に読み合わせていった。それだけでもなかなかに面白かったので少しブログにでも書いてみようかなと思う。 BigQuery の話そのものも面白いが、個人的には Google のインフラが書籍『Google を支える技術』で解説されたものが "Big Data Stack 1.0" だとして、BigQuery は Big Data Stack 2.0 の上に構築されており
自由診療クリニック向けのオールインワンSaaS「medicalforce」、警備事業者向けオールインワンSaaS「警備フォース」を提供する株式会社メディカルフォース。フルスクラッチでの開発を実現させるスクラムの構築をまとめました Developer eXperience Day 2024 株式会社メディカルフォース CTO 畠中 翔一（@punk_punx）登壇スライド
5月20日、クラウド型ビッグデータプラットフォームを展開する米トレジャーデータは日本法人の設立を発表した。ビッグデータ界隈で有名な日本人3人が設立した米国ベンチャー企業として注目を集める同社が、いよいよ国内でも本格的にサービスを展開する。 ビッグデータ界隈で有名な日本人設立の米ベンチャー 米トレジャーデータはクラウド型ビッグデータプラットフォーム「Treasure Data Platform」を展開するシリコンバレーのベンチャー企業。レッドハットや三井ベンチャーズでの勤務経験を持つCEOの芳川裕誠氏、Hadoopコミュニティの中心メンバーであるCTOの太田一樹氏、そして分散インフラ基盤の「MessagePack」、ログコレクターの「Fluentd」を開発したソフトウェアアーキテクトの古橋貞之氏の3名によって2011年12月に設立された。米ヤフー共同創業者のジェリー・ヤン氏などの“大物”から
ITエンジニアがデータサイエンティストを目指すには？：ITエンジニアのためのデータサイエンティスト養成講座（1）（1/2 ページ） それぞれの専門分野を生かした「データサイエンスチーム」を結成すればデータ活用への道は短縮できる。そのとき、ITエンジニアはどんな知識があればいい？ データサイエンティストとして活動する筆者が必須スキル「だけ」に絞って伝授します。 連載バックナンバー はじめに：分析スキルの課題をどう乗り越えるべき？ 昨今では、IT系のメディアのみならず一般雑誌や新聞なども“ビッグデータ”というキーワードを見出しに使っています。この文字を目にしない日がないくらいに多用されていて“バズワード”としてとらえられるケースも少なからずあるようです。 しかし、世界の至る所で――もちろん日本でも、ビッグデータを分析することで新たな知見を見つけて利益を増大した企業や、顧客の購買行動を予測するこ
2012年夏に一橋大学の一年生向けの情報処理の講義において、講師をさせていただいたときの資料を再編したものです。Read less
ビッグデータを分析する「データサイエンティスト」という職種が注目を集めている。データを分析するスキルや、どのようなデータを集めてくるか、というセンスが必要になる。だが、こうした社会の流れと逆行するような「データ」が出てしまったのが、2011年に日本数学会が実施した「大学生数学基本調査」（以下、基本調査）だ。 ビッグデータの使い方が企業の死活問題となりうる現代では、文系・理系を問わず「数学抜きで語れない」と話すのは、国立情報学研究所の新井紀子教授。ビッグデータを活用でき、なおかつ世界に通用するビジネスマンになるために必要な“数学脳”とは？ 基本調査を踏まえ、入試や教育のあり方から、数学な苦手という文系人間への「処方せん」まで、解説していただいた。 如実に表れた「数学力」の低下 ―2013年3月に、基本調査の後に行われた「フォローアップ調査」の結果が公表されました。 新井氏：これまで日本人は「
Yahoo! JAPANトップページの機能を正しくご利用いただくには、下記の環境が必要です。パソコンでご利用のお客様 Windows：Internet Explorer 11.0以上 / Chrome 最新版 / Firefox 最新版 / Microsoft Edge macOS：Safari 9.0以上 ※Internet Explorer 11.0以上をご利用の場合は、 「Internet Explorerの互換表示について」を参考に、互換表示の無効化をお試しください。タブレットでご利用のお客様 iOS 9以降、または、Android4.0以降のOSに標準搭載されたブラウザー ※日本国内版として発売されている端末でご利用ください。
膨大な量のデータ「ビッグデータ」の応用事例の中で、注目を集めているのが「リアルタイム解析」だ。従来はいったんため込んでから処理していたデータ群を、発生すると逐次で解析し次のアクションに素早くつなげるサービスが急速に立ち上がっている。 データの発信源として注目されているのが、東日本大震災後の情報拡散で評価されたソーシャルメディアだ。コメントなど構造化されていないデータを基にユーザーの声を解析する技
『MarkeZine』が主催するマーケティング・イベント『MarkeZine Day』『MarkeZine Academy』『MarkeZine プレミアムセミナー』の 最新情報をはじめ、様々なイベント情報をまとめてご紹介します。 MarkeZine Day
シリコンバレーの投資家からも一目置かれるTreasure Dataの成長を支えているその技術力と経営理念について、Treasure DataのCTOである太田一樹氏が基調講演で語ったその内容をレポートします。 Feature Creepではなく“ナタ”を作る 太田氏をはじめとするTreasure Dataの創業メンバーはいずれもHadoopやmemcached、MongoDBなど、現在のビッグデータブームを支えるオープンソース技術の開発に学生時代から関わっていました。これらのオープンソースプロダクト、とくにHadoopに触れる経験が長かったことが、Treasure Data設立の大きなきっかけになっています。 「Hadoopの登場はこれまで使いづらいだけの存在だった分散システムの世界を大きく変えた。一方で、ユーザ企業がHadoopをデプロイし、運用をはじめても、結局はメンテナンスが大変にな
日立製作所中央研究所と日立ハイテクノロジーズは2012年10月19日、小売店舗内の従業員や来店客に取り付けた名札型のセンサー（写真）を使って集めた行動データと、POS（販売時点情報管理）データなどの業績データを併せて分析することで、業績向上策を発見できるビッグデータ解析技術を開発したと発表した。小売店舗で実証実験したところ、顧客1人当たりの購買金額（客単価）が15％向上したという。 実証実験は、経営コンサルティング会社であるシグマクシスの協力を得て、広さ約900坪のホームセンター店舗で約1カ月半実施した。店内の従業員と、サンプル調査対象の来店客304人に名札型センサーを着用してもらい、日立中央研究所が開発した「ビジネス顕微鏡」（関連記事）と呼ぶ仕組みを使って、10日間分の行動データを取得した。 名札型センサーでは人の位置や動作、誰と向き合っているかなどのデータを時系列で取得できる。従業員に
ビッグデータのリアルタイム処理は、今日最も話題性のあるトピックの１つのようだ。Nokiaは新しいオープンソース製品、Dempsyをリリースしたばかりである。Dempsyは、Storm, Esper, Streambase, HStreaming,Apache S4と同類である。ソースコードがApache 2ライセンスのもとでリリースされている。 Dempsyの狙いは、大量の”ほぼリアルタイムな”ストリームデータを可能な最小の遅れで処理する問題を解決することである。待ち時間がより重要な この類の問題には、以下の様なユースケースがある。 広域に分散したシステムをリアルタイムに監視する ソーシャルネットワーク データの完全でリッチなストリームを処理する 広域分散システムから生成されたログ情報をリアルタイムに分析 地球規模でリアルタイムに車両トラフィック情報を統計的に分析 Dempsyの重要な特性
Where Complex Event Processing meets Open Source: Esper & NEsper Make no compromise on enterprise readiness: discover EsperHA, EsperJDBC and our support services. Embed mainstream CEP in your products and deployments: Learn about our licensing options. Event Stream Intelligence with Esper and NEsper Esper is a component for CEP and ESP applications, available for Java as Esper, and for .NET as
Spotfire is an indispensable partner in your quest to solve complex problems. Think smarter, faster, and bolder—without limitations. The most powerful computers in the world cannot do what the human mind can. And the smartest human brain can’t do what the most powerful computers can. But when they work symbiotically, amazing things can happen. And they happen with Spotfire. What is Spotfire? Spotf
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く