Rajat Verma and Anton Ajay Mendez, Hewlett-Packard; Stan Park, Hewlett-Packard Labs; Sandya Mannarswamy, Hewlett-Packard; Terence Kelly and Charles B. Morrey III, Hewlett-Packard Labs We present the design, implementation, and evaluation of a file system mechanism that protects the integrity of application data from failures such as process crashes, kernel panics, and power outages. A simple inter
Linuxファイルシステムベンチマーク第2回 ext3,ext4,JFS,ReiserFS,XFS,NILFS2 ext3ファイルシステムは、機能面・信頼性・性能面で非常にバランスの取れたファイルシステムであり、多数のディストリビューションで「標準のファイルシステム」として採用・サポートされてきました。現時点（2009年時点）では事実上、「Linux標準ファイルシステム」の地位を築いていると言っても過言ではありません。 しかしながら、Linux標準ファイルシステムのext3だけではなく、他ファイルシステムへの対応やサポートを売りにするディストリビューションも数多く登場しています。また、ext4やbtrfs等、次のLinux標準ファイルシステムと目されるファイルシステムも、現在、非常に活発に開発が進められています。このような状況の中、ext3から他のファイルシステムに乗り換える価値、他のファ
Linuxファイルシステムベンチマーク第1回 ext2,ext3,JFS,ReiserFS,XFS,NTFS ext3ファイルシステムは、機能面・信頼性・性能面で非常にバランスの取れたファイルシステムであり、多数のディストリビューションで「標準のファイルシステム」として採用・サポートされてきました。現時点（2009年時点）では事実上、「Linux標準ファイルシステム」の地位を築いていると言っても過言ではありません。 しかしながら、Linux標準ファイルシステムのext3だけではなく、他ファイルシステムへの対応やサポートを売りにするディストリビューションも数多く登場しています。また、ext4やbtrfs等、次のLinux標準ファイルシステムと目されるファイルシステムも、現在、非常に活発に開発が進められています。 このような状況の中、ext3から他のファイルシステムに乗り換える価値、他のファイ
初めまして、新卒入社の桑折(@2k0ri)と申します。 入社から今日まで約３ヶ月間、研修およびOJTを受けさせて頂いておりました。 その初OJTのステージング環境で、デプロイ先ディレクトリのシンボリックリンクを消すつもりが デプロイディレクトリを中身ごとrm -rfする という重度のやらかしをしでかしました。 30秒うちひしがれた後、ググって extundeleteというコマンドを見つけてからの 自分が行ったリカバリーの手順を残します。 なお、このコマンドはext3/ext4フォーマット専用になります。 1. サーバーへのアクセスを出来る限り抑えるように周知 最近のLinuxのデファクトFSであるext4フォーマットは、rmされたデータの跡地に 待ったなしで容赦なく新しいデータが書き込まれていきます。 そのため、何よりもまず失われたデータが上書きされないように、 該当サーバーでやらかしたこ
ファイルシステムを作成すると、ファイルシステム自体の管理領域などのため、ファイルシステムを作成するデバイス・ボリュームの容量を100%使えるようにはならない。 では何パーセントが減ってしまうのか。10%あれば大丈夫なのか、3%程度でもよいのか、厳密には決まらないのか、そんな疑問・不安を取り除くために検証および論理的な裏取りを行った。 検証環境は CentOS 6.4 (x86_64) で、ファイルシステムは ext4 である。なお、ブロックサイズは 4KB を前提にする。CentOS 7 (RHEL 7) でも考え方は同じだが、計算の元になる基礎値に差があるため注意が必要(「その他」にて触れる)。 検証結果 128M, 256M, 512M, 1024M, 1.5G, 2G, ・・・ と20GまでのLVを作成し、実際にファイルシステムを作成。マウントした際の df -k の Availab
2年半くらい画像システムを担当していたのですが、3月イッパイで異動することになりましたokzkです。 異動記念ということで、とりとめもなくエンジニアブログを書いてみます。長いです。よろしくお願いいたします。 画像システムのこれまでのストレージ事情最初にアメブロ(以下、単にブログ)のユーザ投稿画像関連でのストレージの歴史をアレコレをまとめてみようと思います。なお、以下swiftと書いたらOpenStack Swiftのことです。流行のプログラミング言語のことではありません。 はるか昔の状況昔は単純にWebDAVを複数台並べ、イッパイになったら更に次の世代のWebDAVを追加する、というような構成で、参照時に画像URLパスに含まれる年月ベースで適切な世代のWebDAVにルーティングしていました。 (参考:画像URLのパスの例) /user_images/20160401/00/shibuya/
OSの内部構造（メモリとかファイルシステムとか）を見ているといろんな単位がでてきます。 セグメント ページフレーム ページ ブロック セクタ 等々。 ややこしい限りです。 たとえばページであれば現在のモダンなLinuxは4Kbyteが一般的です。 しかしファイルシステムのblock sizeとなるとデフォルト値はあるものの、ファイルシステム毎（ext2,ext3,jfs,xfs,reiserfs,ocfs2）にそのデフォルトが異なっていたりしますし、フォーマット時に指定可能な値なのでページサイズほど画一化されていません。よく使用するファイルサイズによって最適な値を選択するのがベストとされています。 なので「今このファイルシステムのblock sizeっていくつになってんの？」というのがわからなくなることがあります。そんなとき、ファイルシステムがext2またはext3であればtune2fsで
This is the third part in our blog series on ScyllaDB testing. Part 1 covers Apache Cassandra compatibility testing, and Part 2 covers Jepsen tests. Some of the hardest to test code in any database is the code that handles filesystem errors. Such errors are rare, but handling them is critical. Using a simulated filesystem to inject errors is a good way to make sure that the error-handling code is
blktrace: Jens Axboe (jens.axboe@oracle.com) User Guide: Alan D. Brunelle (Alan.Brunelle@hp.com) 18 February 2007 Introduction blktrace is a block layer IO tracing mechanism which provides detailed information about request queue operations up to user space. There are three major components that are provided: Kernel patch A patch to the Linux kernel which includes the kernel event logging interfac
Paper Presented at the CMG International Conference 2009 Workload Dependent Performance Evaluation of the Btrfs and ZFS Filesystems Dominique A. Heger DHTechnologies, Austin, Texas dheger@dhtusa.com 1.0 Introduction The UNIX and Linux operating systems alike already provide a vast number of filesystems to the user community. In general, one of the major IO challenges faced today is scalability, e
2. Linux file systems ● plenty of choices, with different – goals, features, tuning options – maturity level, reliability – ext3/4, XFS – traditional, design from the 90s – improving over time, reasonably “modern” ● BTRFS, ZFS – next-generation, new architecture / design ● other (not included in this talk) – log-organized file systems, distributed, clustered, ... 4. EXT3, EXT4, XFS - history ● ext
An Introduction to Linux Block I/O Avishay Traeger IBM Haifa Research Lab Internal Storage Course ― October 2012 v1.3 2 Where are we? user-space kernel-space Application Library functions (e.g., libc) Virtual File System (VFS) File System Generic Block Layer Device Driver YOU ARE HERE 3 Generic Block Layer The generic block layer is an abstraction for block devices in the system These block de
William Jannen, Jun Yuan, Yang Zhan, Amogh Akshintala, Stony Brook University; John Esmet, Tokutek Inc.; Yizheng Jiao, Ankur Mittal, Prashant Pandey, and Phaneendra Reddy, Stony Brook University; Leif Walsh, Tokutek Inc.; Michael Bender, Stony Brook University; Martin Farach-Colton, Rutgers University; Rob Johnson, Stony Brook University; Bradley C. Kuszmaul, Massachusetts Institute of Technology;
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く