小学館IDにご登録いただくと限定イベントへの参加や読者プレゼントにお申し込み頂くことができます。また、定期にメールマガジンでお気に入りジャンルの最新情報をお届け致します。
小学館IDにご登録いただくと限定イベントへの参加や読者プレゼントにお申し込み頂くことができます。また、定期にメールマガジンでお気に入りジャンルの最新情報をお届け致します。
HBase: Bigtable-like structured storage for Hadoop HDFS HBase has an awesome community resource in our online book. It's maintained and looked after with diligence. In contrast, the below Wiki content has not been updated since 2012. For that reason, the Wiki has been deprecated (see HBASE-14481). Please update your links. You can find historical pages (which have been updated to give the new link
HBase(エイチベース)は、GoogleのBigTableを元にしたオープンソースの列指向分散データベース。（リレーショナルデータベース（RDB）ではない） Javaで作られており、Apache HadoopのHDFSを使用して稼動する。その為、Hadoopとの親和性が高いと思われる。 インストール 初回設定 [/2010-08-07] 擬似分散環境 [/2010-07-06] hbase-site.xml [/2010-07-25] HBaseの起動・停止方法 テーブル操作サンプル テーブル構造の考え方 HBase Shell HBase0.20 [/2010-07-12] HBase0.89 [2010-07-12] Javaプログラミング [/2012-04-28] Map/Reduceサンプル [/2012-04-28]
必要なもの ・Linux(CentOS)+Cloudera版Hadoop環境CDH3(1台) → 構築方法はこちら ・インターネット接続 ・Cloudera社のHBase,Hive,Pig,HUEのパッケージ(yumでインターネットからインストール) 作業手順 以下の、1. HBase, 2. Pig, 3. Hive, 4. HUE(旧Cloudera Desktop)の手順は、独立して試すことができますし、一つの環境でまとめて試すこともできます。(それぞれデータの管理は別々です。) ここでは、Cloudera社のCDH3リポジトリが必要ですので、既に設定されていないか確認します。 ls /etc/yum.repos.d/ で、cloudera-cdh3.repoが存在すれば、OKのはずです。無い場合は、CDHのhadoopのインストール方法を確認してください。 1. HBase CDH
基礎文法最速マスターが流行のようなので、 便乗して勉強がてらにHBaseの基本操作について纏めてみます。 Perl基礎文法最速マスター - Perl入門ゼミ はてな的プログラミング言語人気ランキング - Life like a clown これを読めばGoogleのBigTableのクローンであるHBaseの基本操作について何となく理解できるかも？です。 他の基礎文法最速マスターと同じように簡易リファレンスを兼ねていますので足りない部分をあればご指摘ください。 HBaseは2010-02-01時点で最新のHBase0.20.3を対象としています。 インストール方法については前記事を参照ください。 Cygwinを利用してWindowsにHBaseをインストール - Stay Hungry. Stay Foolish. 対話式シェルの実行 基本 HBaseではHBase Shellという対話式
Distributed, scalable databases are desperately needed these days. From building massive data warehouses at a social media startup, to protein folding analysis at a biotech company, “Big Data” is becoming more important every day. While Hadoop has emerged as the de facto standard for handling big data problems, there are still quite a few distributed databases out there and each has their unique s
Hadoop と HBase で分散処理が書けるのはわかったけど、いざ使ってみるとなるとドキュメントが少なくて……、というあなたの為の HBase 入門、今回はセットアップから Java の API で HBase を触るまでを勉強します。 使用するバージョンは Hadoop 0.17.2.1、HBase 0.2.1 です。 0. 参考ページ http://hadoop.apache.org/core/docs/r0.17.2/ FrontPage - Hadoop Wiki http://hadoop.apache.org/core/docs/r0.17.2/api/index.html Hbase - Hadoop Wiki http://hadoop.apache.org/hbase/docs/r0.2.1/api/index.html 1. Hadoop のセットアップ http:
Google が最近リリースしたGoogle Application Engineと、それが持つBigTableへのアクセス機能により、（RDBの）代替となるデータベース技術への感心が新たに盛り上がっている。数週間前にInfoQは、GoogleのBigTableデータベースから着想を得て始められた、Hypertableプロジェクトの創始者であるDoug Juddにインタビュー(source)を行った。今週InfoQは、HBase(サイト・英語)の主要な開発者であるJim Kellerman 、Michael Stack、Bryan Duxburyへのインタビューを行った。HBaseはオープンソースで分散型、列指向のデータストアで、BigTableを手本として作成された物である。 1. HBaseについて初めて聞く、と言う方に対しての説明をお願いします。 HBase はオープンソースで分散型
Apache HBaseはオープンソースの、列指向、分散データベースであり、GoogleのBigTableをモデルとし、Javaにより書かれている。Apacheソフトウェア財団のHadoopプロジェクトの一部として開発され、HDFS (Hadoop Distributed File System)の上で実行され、Hadoopに対しBigtableのような機能を提供する。 HBaseはBigTable論文に従い圧縮、インメモリ処理の機能、および各列ごとにブルームフィルタを持っている。[2] HBaseにおけるテーブルはHadoop上のMapReduceジョブの入出力として機能し、Java APIのほか、REST、Avro、ThriftといったゲートウェイAPIを通じアクセスが可能である。 HBaseは、古典的なSQLデータベースを直接置き換えるものではないが、近年ではパフォーマンスが向上し、
HBase は Hadoop データベースです。ビッグデータに対してランダムなリアルタイムの読み書きアクセスを行う必要がある場合に使ってください。 HBase は、Chang 他による Google の論文『Bigtable: A Distributed Storage System for Structured Data』をモデルとして作成されたオープンソースの分散型列指向ストアです。BigTable が、Google Files System (GFS) の提供する分散データストレージを活用するするのとまったく同様に、HBase は Hadoop を土台として BigTable に類似したさまざまな機能を提供します。 HBase の目標は、どこにでもあるごく普通のハードウェアのクラスタ上で、数十億行 x 数百万列規模の超巨大テーブルを格納できるようにすることです。 2009/09/08
4. Liberty – 既存サービスから新たなサービスを ウェブ 住所録 メール 検索 既存サービス Contact List Web Logging Mail Data Location Log Libertyスケーラブルインデクシングサービス(Liberty Scalable Indexing Service) Document Abstraction Service Indexing Sub-System Index Access Subsystem Java / C++ API 新規サービス アクセス グループ 解析 ウェア CONFIDENTIAL © 2009 Telanium Technology Incorporated 4 5. Liberty – BDB（SleepyCat）を分散配置する 汎用サーバを水平配置すること でスケーラビリティを実現する Mail Bo
概要 ここではHbaseで使われるHbase Shellに関しての説明を行います。 従来のSQLの処理と、それに相当するHbase Shellの書き方を並べて記述しています。 ここでは基本的にSQLをHbase Shellで書いたら、を解説します。 Hbase Shell独自の機能はHbased独自の操作を参照してください。 RDBが二次元構造だったのに対してHbaseは三次元構造になっている為、最初はちょっと解りにくいかも知れません。 参考:Hadoop Wiki Hbase/Shell Hbase0.2のhelpの取得結果:Hbase:0.2Help RDBとHbaseの差異 全て主語は「Hbase」です。 IndexはCreate文ではなくInsert文で作る Indexに相当するRowのみが検索条件の対象と成ります。 Tableの有効無効概念があり、無効状態のTableの
WebOS Goodies へようこそ！ WebOS はインターネットの未来形。あらゆる Web サイトが繋がり、共有し、協力して創り上げる、ひとつの巨大な情報システムです。そこでは、あらゆる情報がネットワーク上に蓄積され、我々はいつでも、どこからでも、多彩なデバイスを使ってそれらにアクセスできます。 WebOS Goodies は、さまざまな情報提供やツール開発を通して、そんな世界の実現に少しでも貢献するべく活動していきます。 先週 Closure Library で構築したドローウィジェット Closure Draw を公開しましたが、はてぶ数などを見る限りさほど多くの反響はなかったようです。まあ、機能が中途半端だったり作りが甘かったりというところが大きいのは間違いありませんが、 Closure Library 自体がまだメジャーではないのもあるのかな、とも思います。実際、ぐぐってもフ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く