2010年9月に、オラクル社は、Oracle Linux 5を使用したデプロイメントに推奨されるカーネルとしてOracle Linux用の新しいUnbreakable Enterprise Kernel (UEK)を公開しました。Oracle Linux 5.5以降から、Red Hat互換カーネルまたはUEKのいずれかを使用できるようになりました。Oracle Linux 5.6で、UEKはデフォルト・カーネルになりました。 UEK作成の主な動機は、ExadataおよびExalogicによってエンジニアリングされたシステム用の高性能な最新のLinuxカーネルを提供することでした。カーネルは、CPUの数、メモリーおよびインフィニバンド接続の増加に応じてスケーリングする必要がありました。 オラクル社では、負荷の高いOracleワークロードで集中的にUEKをテストしており、UEKをOracleデ
02. RX. 受信処理 Linux では（他の OS もそうですが）、割り込みハンドラは軽いものにしておき、時間のかかる処理は割り込みハンドラ復帰後（割り込み許可後）に行います。この遅延処理はソフトウェア割り込み（ボトムハーフとも言う）と呼ばれ、タイマー、ネットワークの送受信、tasklet などが利用しています。 （ソフトウェア割り込みと言っても、x86 がシステムコールで利用する int 0x80 のような CPU のトラップ機能ではなく、割り込みコンテキスト上で、割り込み許可後に実行されるコールバック関数群です） Linux の LAN ドライバは、割り込みハンドラではこのソフトウェア割り込み（NET_RX_SOFTIRQ）を起動するのみにとどめ、LAN コントローラからのデータ受信や各種プロトコル処理は NET_RX_SOFTIRQ 上で行うようになっています（NAPI）。 以
pngquant is a command-line utility and a library for lossy compression of PNG images. The conversion reduces file sizes significantly (often as much as 70%) and preserves full alpha transparency. Generated images are compatible with all web browsers and operating systems. Features High-quality palette generation using a combination of vector quantization algorithms. Unique adaptive dithering algor
Introducing Gizzard a framework for creating distributed datastores.markdown 分散データベースを作るためのフレームワーク Gizzardのご紹介 原文: The Twitter Engineering Blog: Introducing Gizzard, a framework for creating distributed datastores This article is translated by @ono_matope. Please contact me if any problem. シャーディング序論 多くのモダンなWebサイトは、１台のコンピューターに納まりきらないほどの大量のデータに高速にアクセスする必要があります。そのため、複数のコンピューターに情報を分けて格納する「シャード」という手法が使
Gizzardというミドルウェアの話が紹介をメモ取りながら読んでいます。元記事は以下、 Introducing Gizzard, a framework for creating distributed datastores. 前半と中盤のメモ： Introducing Gizzard メモ(1) Introducing Gizzard メモ(2) 今回で最後まで読みました。 Gizard はフォールトトレラント 障害許容性は分散システムの最大の関心事である。なぜならそのような系では多くの計算機と 関係しているので、どんな時でもある確率で一つ（または多く）の機能不全が 起こっているからである。Gizzardは単一障害点をどのような形でも避けている。 もし、パーティション中のあるレプリカがクラッシュしたら、重み付け関数にしたがって、 Gizzardは残りの健康なレプリカにリクエストを案内する
Introducing Gizzard, a framework for creating distributed datastores. TwitterエンジニアブログでGizzardというミドルウェアの話が紹介されていて非常に興味深かったのでメモ取りながら読んでいます。続きです。GizzardはConsistent Hashingではないのですね。 Gizzardはフォワーディングテーブルを通して、パーティショニング処理する。 GIzzardはデータの範囲を各々のシャードにマッピングすることによって パーティショニングする(つまり排他的な範囲で複数のホストに分割される)。 このマッピングは下記のテーブルのように、数値のレンジの下限と所属する シャードの情報がフォワーディングテーブルに保管される。 正確にはあなた方はGizzardに次のようなカスタムハッシング関数を供給する： データにキ
Recently, something remarkable happened on Twitter: On Saturday, August 3 in Japan, people watched an airing of Castle in the Sky, and at one moment they took to Twitter so much that we hit a one-second peak of 143,199 Tweets per second. (August 2 at 7:21:50 PDT; August 3 at 11:21:50 JST) To give you some context of how that compares to typical numbers, we normally take in more than 500 million Tw
Fluentdは、Ruby製のログコレクタだ。コードは公開されている。 様々なログを構造化して一元管理することができ、収集と解析へのハードルを大きく下げてくれる。 インストールもプラグイン開発も簡単。日本語の資料も多い。 その資料も様々あるが、プラグインを見るならこれが最良だと思う。必要な情報がよくまとまっており、必読といえる。 Big Data入門に見せかけたFluentd入門 from Keisuke Takahashi データの確実な転送を実現するバッファ機能については、池田大輔さんのブログが詳しい。さて、Fluentdはデータを収集してくれるが、保存はしてくれない。 永続化にはデータベースが必要だ。 そこで、Riak。 Basho社がスポンサードするErlang製分散型KVS。これもOSSだが、契約によって商用サービスが受けられる。 これがまたエッジ立ちまくってて
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く