概説 HBaseの完全分散環境の構築迄を目的として手順を纏めたページです。 HBase動作の基盤となるHadoopをInstallしてHadoop Clusterを構築します。続いてHBaseをInstallしてHBase Clusterを構築します。 Hadoopの構築 最初にHadoop Clusterを構築します。下記リストの1から6を行えば動作させる事が出来ます。 追加情報の項目にあるのは各種設定ファイルの解説になるので、必要に応じて参照してください。 No項目名説明
概説 HBaseの完全分散環境の構築迄を目的として手順を纏めたページです。 HBase動作の基盤となるHadoopをInstallしてHadoop Clusterを構築します。続いてHBaseをInstallしてHBase Clusterを構築します。 Hadoopの構築 最初にHadoop Clusterを構築します。下記リストの1から6を行えば動作させる事が出来ます。 追加情報の項目にあるのは各種設定ファイルの解説になるので、必要に応じて参照してください。 No項目名説明
2010年6月1日火曜日 HBase について、今後 回答していきたい質問など Hadoop ソースコードリーディングの際に、主に Twitter タイムライン上で見かけた HBase に関する質問・疑問点をリストアップしました。今後、少しずつ回答していきますので、よろしくお願いします。（回答の順序は多少前後するかもしれません） Java VM のガベージコレクション（GC）の挙動が、リアルタイム性能に影響を与えたりしないでしょうか？ HDDの代わりにSSDを使うと random read の性能は向上しますか？ Big Dataとはどういうものを指しますか？ → @yutuki_r さんからの補足： Fat、Wide、Wide&Sparse、Tallという分類法 リージョンのサイズはどのくらいに設定されていますか？ NULL値がディスクスペースを消費しない(?) のはなぜですか？ 追
アジェンダ @okachimachiorzさんによるHadoopトレーニング2日目 -ここからが本番編- @ryu_kobayashiさんによるMapReduce障害がおきたときのフロー @fujibeeさんによる--cacheFileオプションからジョブ実行時のファイル分散の仕組みをコード読み @tatsuya6502さんによるHBase入門 LT @yamiuraさんによるWiki解析 @ryu_kobayashiさんによるHadoop+Cassandra @hamburger_kidさんによるHive vs Pig Hadoopトレーニング2日目 MapReduce障害が起きたときのフロー --cacheFileオプションからジョブ実行時のファイル分散の仕組みをコード読み 自己紹介 @fujibeeさん hadoop papyrus INTEROPに参加 TypeWithMe --c
Tuesday, May 18, 2010 Comparing PNUTS, HBase and Cassandra A lot of NoSQL systems have been sprouting up recently and an increasing number of people are using NoSQL data stores and moving away from RDBMS systems. There's nothing wrong with relational database systems but they are optimized for certain use cases, which they handle very well. NoSQL systems (Bigtable, Dynamo, PNUTS, CouchDB, MongoDB,
We are marching along in our integration of HBase with the Socorro Crash Stats project, but I wanted to take a minute away from that to talk about a separate project the Metrics team has also been involved with. Mozilla Labs Test Pilot is a project to experiment and analyze data from real world Firefox users to discover quantifiable ways to improve our user experience. I was very interested and e
Copyright © 2009-2015. All rights reserved. This blog is called myNoSQL and it is written by me, Alex Popescu, a software architect with a passion for open source and communities. It records my readings, learnings, and opinions on NoSQL databases, polyglot persistence, and distributed systems -- subjects that I'm passionate about. The opinions expressed here are my own, and no other party necessar
Cassandraが気になっていたんですが、同じ列指向データベースのHBaseはどうなんだろうと思って、簡単に比較してみました。 データの一貫性 NoSQL系は、そもそもRDBMSに比べて一貫性がゆるめに設計されている感じがあります。実際、Cassandraは、行ロックがなくトランザクションが使えません。複数のクライアントからの更新が被った場合は、タイムスタンプを見て最新のものを現在の値に設定するようになっています。結果整合性っていうみたいですね（￣∇ ￣ ） ただ、まったく一貫性に関するオプションがないわけではなく、クエリ発行時にConsistencyLevelを指定することで、全てのレプリケーションノードに書込まれたことを保証したりは出来るみたいです。一方、HBaseの方は行ロック可能で、トランザクションを使うことができます。ただ制約も多いみたいで、いわゆる複数テーブルにまたがったよ
Occasionally useful posts about RIAs, Web scale computing & miscellanea My team is currently working on a brand new product – the forthcoming MMO www.FightMyMonster.com. This has given us the luxury of building against a NOSQL database, which means we can put the horrors of MySQL sharding and expensive scalability behind us. Recently a few people have been asking why we seem to have changed our pr
InstaGuide From sharing personal experiences to showcasing artistic endeavors, Instagram video enables you to bring your ideas to life and connect with others through the art of visual storytelling. Face tracking technology has become an essential tool in modern video conferencing, streaming, and security systems. It allows a webcam to follow your face, ensuring you remain in focus and center stag
HBase では、0.20.0 から複数 Master をサポートしたそうで。 ちょっと気になっていたのですが、こちらの実験環境では Master が起動しているマシン(myhdfs1)からしか、クライアント(Shell)によるコマンド発行がエラーになるんですよね。 myhdfs1> ./bin/hbase shell HBase Shell; enter 'help<RETURN>' for list of supported commands. Version: 0.20.3, r902334, Mon Jan 25 13:13:08 PST 2010 hbase(main):001:0> list NativeException: org.apache.hadoop.hbase.MasterNotRunningException: 127.0.0.1:60000 hbase(main
Hadoopユーザー会の「Zookeeper Warningメッセージ」というスレッドでのやりとり。 http://groups.google.co.jp/group/hadoop-jp/browse_thread/thread/47219f4a42cc3f6e もし、ZooKeeperクラスターがダウンすると、HBaseクラスター全体がクラッシュしますので、こちらも注意が必要です。 サーバーのメモリー不足やディスクアクセスの混雑でレスポンスが悪化することでダウン状態となっていまうことがありますので、 RS や HDSF データノードのような負荷がかかるサーバーとは別のサーバーで稼働させるのが無難です。 また、HDFSの Namenodeとも別にしたほうがいいでしょう。HMは負荷が軽いので、それと同じサーバーで稼働させるのは問題ありません。 ZooKeeper クラスターは、複数の HBa
HBaseのテーブルは、qualifierの中はデータ追加で自動的に増やせるが、family（列）はテーブルを一旦使用不可にして項目追加を行わないと増やせない。 したがって変化の無いものを列（family）にする方がいいんじゃないかと思う。 （試験名の方を可変にしておけば、模試とか補習(苦笑)とかにも対応できるし） 準備：テーブルの作成 今回のサンプル用に、HBase Shellからcreateコマンドを実行するか、HBaseのテーブル作成APIを使ってテーブルを作成しておく。 HBase Shellの場合 hbase(main):001:0> create 'student','personal','suugaku','kokugo','rika','shakai','eigo','total5' HBase APIの場合 package jp.hishidama.hadoop.hbas
S-JIS[2010-02-27] 変更履歴 HBaseのテーブル操作 HBaseのテーブルをJavaから操作する例。 HBaseのテーブルそのものを扱うにはHBaseAdminクラスを使用する。 テーブル操作の基本 import org.apache.hadoop.fs.Path; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.HColumnDescriptor; import org.apache.hadoop.hbase.HTableDescriptor; import org.apache.hadoop.hbase.MasterNotRunningException; import org.apache.hadoop.hbase.client.HBaseAdmin;
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く