「才能を非生産的な事に浪費してこそ、真のヲタクである」 この名言にかなう為に日々色々学ぶ日々(多分)。 tatsuya6502 #Cassandra と #HBase の件ですが、Apacheのトップレベルプロジェクトなのか、サブプロジェクトなのかというのは、それぞれのプロジェクト自身が選択することなので、「Apache的にはこちらが優勢」といった考え方はないと思います #Cassandra と #HBase は、それぞれ得意とする分野も異なりますので、両方に存在意義がありますし、開発メンバーも全く別なので、開発の優先順位をつける必要もないはずです #HBase の場合は、 Hadoop の各コンポーネント（HDFS、ZooKeeper、Map Reduce）があって初めて成り立つ製品ですし、大規模なデータセットを意識していますので、 Hadoop のサブプロジェクトになっている現在の形が
What is Apache Cassandra? Apache Cassandra is an open source NoSQL distributed database trusted by thousands of companies for scalability and high availability without compromising performance. Linear scalability and proven fault-tolerance on commodity hardware or cloud infrastructure make it the perfect platform for mission-critical data.
# 全体のhelpを見る $ bin/hadoop dfs -help # コマンド単体のヘルプを見る $ bin/hadoop dfs -help ls -ls <path>: List the contents that match the specified file pattern. If path is not specified, the contents of /user/<currentUser> will be listed. Directory entries are of the form dirName (full path) <dir> and file entries are of the form fileName(full path) <r n> size where n is the number of replicas specified for the
2009年1月から連載してきた「モバイルサイト構築のユーザビリティいろは」も今回で最終回です。そこで今回は、今までの連載内容をおさらいしながら、モバイルサイト構築時におさえておきたいモバイルユーザビリティの総まとめをします。 前半では今までのおさらいをし、最後に自分でモバイルサイトのユーザビリティを改善するためのポイントを紹介します。 モバイルサイト構築時の基本チェックポイント公式サイトに関するポイントモバイルメールマガジンに関するポイントモバイルECサイト構築時のポイントモバイルFlashサイトの制作ポイント自分でできる！ モバイルユーザビリティ改善の3ステップモバイルユーザビリティ改善のケーススタディ1. モバイルサイト構築時の基本チェックポイント1-1. モバイル端末ならではの制約や特性を理解するモバイルサイトには、画面サイズや1ページで表示できるページ容量制限、キャリアごとの違いな
HBase: Bigtable-like structured storage for Hadoop HDFS HBase has an awesome community resource in our online book. It's maintained and looked after with diligence. In contrast, the below Wiki content has not been updated since 2012. For that reason, the Wiki has been deprecated (see HBASE-14481). Please update your links. You can find historical pages (which have been updated to give the new link
前回はGoogleの基盤技術とそれに対応するオープンソースソフトウェアとして、Hadoop & hBaseを紹介しました（図1 参照）。今回はHadoopを1台にインストールし、サンプルプログラムを動かします。次にHDFSとMapReduceのアーキテクチャを解説します。最後にサンプルプログラムのソースコードを解説します。 2. Hadoopの概要 Hadoopは主にYahoo! Inc.のDoug Cutting氏によって開発が進められているオープンソースソフトウェアで、GoogleFileSystemとMapReduceというGoogleの基盤技術のオープンソース実装です。Hadoopという名前は開発者の子供が持っている黄色い象のぬいぐるみの名前に由来しています。HadoopはHDFS（Hadoop Distributed File System）、Hadoop MapReduce F
HBase(エイチベース)は、GoogleのBigTableを元にしたオープンソースの列指向分散データベース。（リレーショナルデータベース（RDB）ではない） Javaで作られており、Apache HadoopのHDFSを使用して稼動する。その為、Hadoopとの親和性が高いと思われる。 インストール 初回設定 [/2010-08-07] 擬似分散環境 [/2010-07-06] hbase-site.xml [/2010-07-25] HBaseの起動・停止方法 テーブル操作サンプル テーブル構造の考え方 HBase Shell HBase0.20 [/2010-07-12] HBase0.89 [2010-07-12] Javaプログラミング [/2012-04-28] Map/Reduceサンプル [/2012-04-28]
必要なもの ・Linux(CentOS)+Cloudera版Hadoop環境CDH3(1台) → 構築方法はこちら ・インターネット接続 ・Cloudera社のHBase,Hive,Pig,HUEのパッケージ(yumでインターネットからインストール) 作業手順 以下の、1. HBase, 2. Pig, 3. Hive, 4. HUE(旧Cloudera Desktop)の手順は、独立して試すことができますし、一つの環境でまとめて試すこともできます。(それぞれデータの管理は別々です。) ここでは、Cloudera社のCDH3リポジトリが必要ですので、既に設定されていないか確認します。 ls /etc/yum.repos.d/ で、cloudera-cdh3.repoが存在すれば、OKのはずです。無い場合は、CDHのhadoopのインストール方法を確認してください。 1. HBase CDH
基礎文法最速マスターが流行のようなので、 便乗して勉強がてらにHBaseの基本操作について纏めてみます。 Perl基礎文法最速マスター - Perl入門ゼミ はてな的プログラミング言語人気ランキング - Life like a clown これを読めばGoogleのBigTableのクローンであるHBaseの基本操作について何となく理解できるかも？です。 他の基礎文法最速マスターと同じように簡易リファレンスを兼ねていますので足りない部分をあればご指摘ください。 HBaseは2010-02-01時点で最新のHBase0.20.3を対象としています。 インストール方法については前記事を参照ください。 Cygwinを利用してWindowsにHBaseをインストール - Stay Hungry. Stay Foolish. 対話式シェルの実行 基本 HBaseではHBase Shellという対話式
Distributed, scalable databases are desperately needed these days. From building massive data warehouses at a social media startup, to protein folding analysis at a biotech company, “Big Data” is becoming more important every day. While Hadoop has emerged as the de facto standard for handling big data problems, there are still quite a few distributed databases out there and each has their unique s
Hadoop と HBase で分散処理が書けるのはわかったけど、いざ使ってみるとなるとドキュメントが少なくて……、というあなたの為の HBase 入門、今回はセットアップから Java の API で HBase を触るまでを勉強します。 使用するバージョンは Hadoop 0.17.2.1、HBase 0.2.1 です。 0. 参考ページ http://hadoop.apache.org/core/docs/r0.17.2/ FrontPage - Hadoop Wiki http://hadoop.apache.org/core/docs/r0.17.2/api/index.html Hbase - Hadoop Wiki http://hadoop.apache.org/hbase/docs/r0.2.1/api/index.html 1. Hadoop のセットアップ http:
Apache HBaseはオープンソースの、列指向、分散データベースであり、GoogleのBigTableをモデルとし、Javaにより書かれている。Apacheソフトウェア財団のHadoopプロジェクトの一部として開発され、HDFS (Hadoop Distributed File System)の上で実行され、Hadoopに対しBigtableのような機能を提供する。 HBaseはBigTable論文に従い圧縮、インメモリ処理の機能、および各列ごとにブルームフィルタを持っている。[2] HBaseにおけるテーブルはHadoop上のMapReduceジョブの入出力として機能し、Java APIのほか、REST、Avro、ThriftといったゲートウェイAPIを通じアクセスが可能である。 HBaseは、古典的なSQLデータベースを直接置き換えるものではないが、近年ではパフォーマンスが向上し、
Google が最近リリースしたGoogle Application Engineと、それが持つBigTableへのアクセス機能により、（RDBの）代替となるデータベース技術への感心が新たに盛り上がっている。数週間前にInfoQは、GoogleのBigTableデータベースから着想を得て始められた、Hypertableプロジェクトの創始者であるDoug Juddにインタビュー(source)を行った。今週InfoQは、HBase(サイト・英語)の主要な開発者であるJim Kellerman 、Michael Stack、Bryan Duxburyへのインタビューを行った。HBaseはオープンソースで分散型、列指向のデータストアで、BigTableを手本として作成された物である。 1. HBaseについて初めて聞く、と言う方に対しての説明をお願いします。 HBase はオープンソースで分散型
HBase は Hadoop データベースです。ビッグデータに対してランダムなリアルタイムの読み書きアクセスを行う必要がある場合に使ってください。 HBase は、Chang 他による Google の論文『Bigtable: A Distributed Storage System for Structured Data』をモデルとして作成されたオープンソースの分散型列指向ストアです。BigTable が、Google Files System (GFS) の提供する分散データストレージを活用するするのとまったく同様に、HBase は Hadoop を土台として BigTable に類似したさまざまな機能を提供します。 HBase の目標は、どこにでもあるごく普通のハードウェアのクラスタ上で、数十億行 x 数百万列規模の超巨大テーブルを格納できるようにすることです。 2009/09/08
4. Liberty – 既存サービスから新たなサービスを ウェブ 住所録 メール 検索 既存サービス Contact List Web Logging Mail Data Location Log Libertyスケーラブルインデクシングサービス(Liberty Scalable Indexing Service) Document Abstraction Service Indexing Sub-System Index Access Subsystem Java / C++ API 新規サービス アクセス グループ 解析 ウェア CONFIDENTIAL © 2009 Telanium Technology Incorporated 4 5. Liberty – BDB（SleepyCat）を分散配置する 汎用サーバを水平配置すること でスケーラビリティを実現する Mail Bo
概要 ここではHbaseで使われるHbase Shellに関しての説明を行います。 従来のSQLの処理と、それに相当するHbase Shellの書き方を並べて記述しています。 ここでは基本的にSQLをHbase Shellで書いたら、を解説します。 Hbase Shell独自の機能はHbased独自の操作を参照してください。 RDBが二次元構造だったのに対してHbaseは三次元構造になっている為、最初はちょっと解りにくいかも知れません。 参考:Hadoop Wiki Hbase/Shell Hbase0.2のhelpの取得結果:Hbase:0.2Help RDBとHbaseの差異 全て主語は「Hbase」です。 IndexはCreate文ではなくInsert文で作る Indexに相当するRowのみが検索条件の対象と成ります。 Tableの有効無効概念があり、無効状態のTableの
InnoDBを使うとき、MyISAMと比較して度々やり玉に挙げられるポイントとして「COUNT()が遅い」というものがある。確かにInnoDBにおいて行数を弾き出すのにはテーブルスキャンが必要なのだが、そもそもMyISAMのCOUNT()が速い（テーブルの行数を保持してる）のが特殊なのであって、InnoDBが遅いわけではないのである。とはいえ、高速なCOUNT()については需要が多く、この問題には多くの人取り組んでおられるようだ。しかしながら、COUNT()のチューニングについては未だ語られていない点があるように見受けられるので、今日はCOUNT()のチューニングについて解説しようと思う。 COUNT(*)、COUNT(col)、COUNT(1)の違い基本的なことではあるが、COUNT(*)とCOUNT(col)では意味が異なるため、異なる結果が返される場合がある。COUNT(*)はフェッ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く