ひしだまＨＰの更新履歴。 主にＴＲＰＧリプレイの元ネタ集、プログラミング技術メモと自作ソフト、好きなゲームや音楽です。 玉川竜司さんが翻訳された『HBase』をshiumachiさん経由でオライリー様から献本していただきました。ありがとうございます！ 献本していただいたから言うわけじゃないですが(笑)、これはHBaseを使う人にとっては必須の本ですねｗ どの章を見ても、「あ、この情報は要るよね！」というものばかり。 また、HBaseを使わない人でも最初の2章は大変勉強になるので、機会があったら見ておくと良いのではないかと思います。 以下、章ごとに興味深かった点を挙げてみます。 ■■■1章 HBaseの紹介 2年くらい前にHBaseやCassandraといったNoSQL の勉強会が盛り上がったが、その頃に聞かれた（そして最近はあまり聞かれなくなった）RDBMSとの比較やCAP定理等の話題がま
The document discusses several key factors for optimizing HBase performance including: 1. Reads and writes compete for disk, network, and thread resources so they can cause bottlenecks. 2. Memory allocation needs to balance space for memstores, block caching, and Java heap usage. 3. The write-ahead log can be a major bottleneck and increasing its size or number of logs can improve write performanc
馬本をつらつら読んだのでデータ書き込みのあたりについてメモがてら書いてみる。 HBaseはLog-Structured Merge-tree (LSM-tree)という技術を使ってデータの読み書きを行います。 LSM-treeはMemtable, SS Table, Commit Logという３つの記憶領域を使います。 Memtableはメモリ上の領域でHBase用語でいうとMemStoreになります。 SS Tableはディスク上の領域でHBase用語でいうとHFileになります。 Commit Logはディスク上の領域でHBase用語でいうとHLogになります。WAL(Write Ahead Log, 先攻先行書き込みログ)ですね。 HBaseでデータを書き込むとMemstoreとHLogに書き込まれます。 Memstoreが一定量に達するとHFileに書き込まれます。HFileは一度
サービス終了のお知らせ NAVERまとめは2020年9月30日をもちましてサービス終了いたしました。 約11年間、NAVERまとめをご利用・ご愛顧いただき誠にありがとうございました。
Facebook Messageで使われたり、LINEのストレージで使われたり、と事例も多く出てきているHBase（Bは大文字。これ重要）ですが、個人的に少し興味も湧いてきたのでちょっと調べてます。HBaseはLog-Structured Merge-tree (LSM-tree)というアーキテクチャを使っており大量データの書き込みに最適化されています。なので大量の書き込みがあり読み込みは直近のもののみというメッセージ系アプリに向いているんだと思います。 そういえば半額に釣られてManning | HBase in Actionも買ってしまいました。 この本の4章のRow Keyの設計についての話があってそれがちょっと面白かったので関連してRow Keyについて少し書いてみます。 まずHBaseはカラム指向のデータベースと呼ばれますがデータモデルは多次元ソートマップです。 図解すると下記の
By Lars Hofhansl As we know, ACID stands for Atomicity, Consistency, Isolation, and Durability. HBase supports ACID in limited ways, namely Puts to the same row provide all ACID guarantees. (HBASE-3584 adds multi op transactions and HBASE-5229 adds multi row transactions, but the principle remains the same) So how does ACID work in HBase? HBase employs a kind of MVCC. And HBase has no mixed read/w
2012年3月18日開催InfoTalkにおけるプレゼンテーション資料です。Cloudianの概要、CloudianへのCassandraとRedisの実装、NOSQLデータベースの性能比較、独自開発のHyperStoreについて説明しています。Read less
1. HBase and Accumulo Washington DC Hadoop User Group Jan 25th, 2012 Todd Lipcon Software Engineer, Cloudera todd@cloudera.com / @tlipcon Copyright 2011 Cloudera Inc. All rights reserved 2. Background – Overview • HBase and Accumulo are both open-source, Apache 2.0 licensed implementations of Google’s BigTable infrastructure, running on Apache Hadoop • Scalable, distributed storage • Scalable data
Sculptor is a framework and command line interface that makes using Apache HBase much easier. == Features == - Human friendly output - Interactive command line interface - Run ad-hoc MapReduce over HBase - Customized client framework Please see the doc at the wiki page. == Pre-requirements == - Apache Ivy is required to build Sculptor - Apache HBase installed - Hadoop MapReduce (Sculptor MapReduce
楽天は2012年3月9日、オープンソースソフトウエア（OSS）のカラム型データベース（DB）「HBase」のクライアント「Sculptor, a HBase Client Framework」をOSSとして公開した。大阪市で開催されたクラウドコンピューティングの専門展「Cloud Days Osaka 2012」で、楽天のエンジニアである蒋逸峰氏（写真）が明らかにした。 HBaseは、OSSの分散バッチ処理ソフト「Hadoop」をベースにしたカラム型DBである。楽天では2010年から、様々なWebサイトのバックエンドにHBaseを使っている。今回同社が開発したSculptorは、DB管理者がHBaseのメンテナンスなどを行う際に使用するDBクライアントツールである。HBaseにも標準のシェルが用意されているが、「使い勝手が悪い」（蒋氏）ことから独自クライアントを開発した。 Sculptor
いまさら聞けないKVSの常識をHbaseで身につける：ビッグデータ処理の常識をJavaで身につける（3）（1/3 ページ） Hadoopをはじめ、Java言語を使って構築されることが多い「ビッグデータ」処理のためのフレームワーク／ライブラリを紹介しながら、大量データを活用するための技術の常識を身に付けていく連載 ビッグデータの要！ KVSとは何なのか 「KVS（Key-Value Store）」とは、Key値を指定してValue値の格納や取得を行う方式です。それに対して、RDBではキー（プライマリキー）が必須ではなく、逆に複数のカラムをセットしてキーにすることもできます。 テーブル構造だけを見れば、KVSとRDBは似ています。例えば、RDBでプライマリキーと1つのBLOB型を持ったテーブルを作れば、KVSと同じような構造にもなります。しかし、RDBでKVSのまねごとをするのと、KVSとして
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く