1. RHD補足資料 （Pagecache/swap） 2008/7/11 Tatsuo Kawasaki 1 @kernel023 Rev RH236-20080711 Tatsuo Kawasaki 2. 1. アドレスについての復習(1) • メモリとページ • 物理メモリの位置を表現する物理アドレス • アーキテクチャ毎に異なるリニアアドレス (x86=32bit= 約 4G,x86_64=64bit=16EB※) • 上記アドレスの処理は H/W のメモリ管理ユニット (MMU) で行う • 変換テーブルはカーネルが用意しておく • アーキテクチャ毎にメモリを扱う単位が決まっている ＝ページサイズ (x86,x86_64=4KB, IA64= カーネル構築時に選択可 :8k,16k.. 等 ) 2 ※ 現在の CPU アーキテクチャでは 16EB の全てはユーザー / カーネルメ
メモリ階層 RAM(Random Access Memory)：理想的には整数（address）で添え字が付けられたＮ語の記憶領域。取り出しと格納は添え字で指定された語に対してのみ行われ、どちらも同様に早い。 しかし、格納できる語数（大きさ） ←トレードオフ→ アクセスの早さ ⇒ 小さな高速メモリ（高頻度アクセス）と大きな低速（安価）メモリ（その他のデータ）の組み合わせ しかし、この使い分け、管理をプログラマが行うのは大変。⇒ キャッシュ機構 キャッシュ機構の下でプロセッサがアドレスxの値にアクセスする際には： キャッシュをアクセス。 キャッシュになければ（cash miss）主記憶をアクセス。 主記憶の内容をキャッシュにコピー。これで次回からはキャッシュで見つかる（キャッシュ・ヒット、cash hit）。 場所を空ける必要があれば古いものを主記憶に掃き出す。 キャッシュ機構 直接マップ方
3. メモリ さて、プログラムの最適化で一番重要になってくるのは、メモリです。 はっきり言って、数値計算をするプログラムの一番のボトルネックはメモリアクセスです。 下手なプログラムを書くと、計算時間の殆どがメモリアクセスの時間という事になりかねません。 昔は、メモリの動作速度は高速でその様な事はなかったのですが、 最近では CPU の性能向上が激しく、メモリに追いつき追い越し物凄い差を付けてしまいました。 CPU の動作について行ける様な速さで動作するメインメモリは高価になってしまい作れません。 まあ、値段の問題は抜きにしたとしても、CPU の動作は速すぎます。 これは、少し計算してみれば直ぐに分かります。 今売られている CPU では、コアのクロック周波数が高い物では 4GHz になります。 例えば 4GHz の CPU で 1 clock の間に光が進む距離を考えると、 3×1010
Summary: First in a quick(hopefully) series of posts on memory alignment in Java. This post introduces memory alignment, shows how to get memory aligned blocks, and offers an experiment and some results concerning unaligned memory performance. Since the first days of Java, one of the things you normally didn't need to worry about was memory. This was a good thing for all involved who cared little
What data structure is more sacred than the link list? If we get rid of it what silly interview questions would we use instead? But not using linked-lists is exactly what Aater Suleman recommends in Should you ever use Linked-Lists? In The Secret To 10 Million Concurrent Connections one of the important strategies is not scribbling data all over memory via pointers because following pointers incre
仮想アドレスと物理アドレスを変換する Address Translationの基本 前回はメモリーの階層構造と同様に、複数段階のキャッシュ構成があることを説明した。今回はちょっと見方を変えた話をしたい。まず、キャッシュという形でCPU内部に搭載されている、別のメモリーについて触れよう。 ご存知の通り、1次キャッシュは通常「ハーバード・アーキテクチャー」と呼ばれる構造に基づき、命令用とデータ用がそれぞれ別に用意される。詳細は後述するが、2次キャッシュや最近では3次キャッシュを搭載するプロセッサーも多くなった。ただ、これらはいずれも「プログラムそのもの、およびプログラムの実行時に利用されるデータ」である。 「ではそれ以外に何かあるのか？」と言われると、これが結構ある。一番多く利用されるのが「TLB」(Translation Lookaside Buffer)と言われるものだ。これは「仮想記憶」
Linux Kernel Conference 2003/10/10 Copyright NTT COMWARE 2003 Linux Kernel Conference 2003/10/10 Copyright NTT COMWARE 2003 Linux Kernel Conference 2003/10/10 Copyright NTT COMWARE 2003 Linux Kernel Conference 2003/10/10 Copyright NTT COMWARE 2003 Linux Kernel Conference 2003/10/10 Copyright NTT COMWARE 2003 Linux Kernel Conference 2003/10/10 Copyright NTT COMWARE 2003 Linux Kernel Conference 2003
ページキャッシュにどれだけページが載っているかを調べたいなーと思うと、 ファイルがページキャッシュに乗っているかどうかを調べる というのがよく引っかかって、 そもそもfincoreってどっから出てきた名前なんだと思ったらlinux-ftoolsというところに行き着いた。 linux-ftoolsはApacheライセンスで、PerlとINLINE Cで書かれたfincoreはGPLv2なんだけど、 どっちが本家なんだかもともとオリジナルがあるのかよく判らない。 取り敢えずlinux-ftoolsを落としてきてコンパイル。 ダウンロード可能なtarballが存在しないので、hgとやらでcloneするしかなさそう。 hgコマンドが入ってなかったので、mercurialパッケージを突っ込んでから（恥ずかしながらこれ知らなかった。。） $ sudo yum install -y mercurial
次期Linuxカーネルバージョン3.10の目玉機能のひとつになるとみられる「bcache」がカーネルソースツリーにマージされた。bcacheはLinuxのカーネルレベルで動作するブロックレイヤキャッシュの実装系。特定のデバイスを他のデバイスのキャッシュとして利用できるという機能。ここでは主にHDDのキャッシュとしてSSDを活用するケースが想定されている。 bcacheが提供するキャッシュ機能はZFSのL2Arcの動作に似ているが、bcacheはライトバックに関してもキャッシュを実施するという違いがある。デフォルトの設定ではシーケンシャルアクセスに対してはキャッシュを提供せず、ランダムI/Oに対してキャッシュを提供する。SSDの特性を活かし、もっとも効果がでるケースでSSDを動作させる。実装はトランスパレントになっており、利用するにあたってアプリケーションやユーザ側に変更の必要はない。 bc
Even from highly experienced technologists I often hear talk about how certain operations cause a CPU cache to "flush". This seems to be illustrating a very common fallacy about how CPU caches work, and how the cache sub-system interacts with the execution cores. In this article I will attempt to explain the function CPU caches fulfil, and how the cores, which execute our programs of instruction
Meet your shoppers and buyers anywhere with our trusted headless commerce solution. Use headless APIs and connected customer data. With Commerce Cloud’s trusted headless commerce platform, B2C and B2B businesses can meet customers anywhere. Headless APIs can weave commerce into any touchpoint, from social media to in-store kiosks to B2B buyer portals, and give you the power to take full control ov
1年ほど前にTLB(Translation Look-aside Buffer)を使ったアドレス変換処理を実装したのだけど、もう一回実装しようと思ったらあまり覚えてなかったのでまとめておくことにしました。 See MIPS Runを参考にしました。間違っているところがあればご連絡ください。 アドレス変換とは 通常プログラムで扱うアドレスは仮想アドレス(Virtual Address)と呼ばれ、(32bitマシンでは)32bitのアドレスを自由に使えます。しかし、実際のデータは物理メモリ上のどこかに格納されています。物理メモリ上の位置を示すものが物理アドレス(Phisical Address)と呼ばれます。 データにアクセスするためには仮想アドレスから物理アドレスに変換する必要があり、この処理をアドレス変換と呼びます。 単純な実装では、仮想アドレス = 物理アドレスとすることも可能です。しか
以前このサイトとブログに，何度かアラインメントに関する記事を書きました (サイト内関連ページ参照)． そのせいか「アラインメント」で検索して来てくれる人が多いので， 過去の記事に加筆修正してこのページを新たに作成しました． 加筆した点は次のとおりです． アラインメントとメモリアクセス回数の関係をわかりやすくするため， (ほんの少し) 図を導入しました． 「データがアラインされていないとメモリアクセス回数が増える」 と言葉で説明しているサイトは多いのですが， 図で示しているところはまだ見たことありません． アラインされていないアドレスにデータを書き込む場合， 読み出しの場合以上にメモリアクセス回数がかかる可能性があることを追記しました． 以前は「複合データ型 (配列，構造体，共用体) のアラインメント」はほとんど自明のことだと思っていたので軽く流していましたが， 意外なことにこれを解説してい
cache coloringとは プログラムの実行速度を上げるためには、CPUが持っているcacheをいかに上手に使うかが重要になってきます。 プログラムで工夫する事によって、cacheのmiss率を下げて、実行速度を上げる事ができます。 cacheのcoloringとは、cacheのmiss率を下げるためのプログラムテクニックです。 cacheの仕組み 前程 話を簡単にするために、 cacheの方式は、direct mapped。 cacheの1ラインのサイズは16bytes。 cacheサイズは1KB。 とします。 cacheの構成 <--16bytes--> +-----------+ index0 | | +-----------+ index1 | | +-----------+ index2 | | +-----------+ index3 | | +-----------+
内容に関する質問は katagiri@cc.u-tokyo.ac.jp まで 第１回 プログラム高速化の基礎 東京大学情報基盤センター 片桐孝洋 1 ２０１３年度 計算科学技術特論A 本講義の位置づけ 2 ２０１３年度 計算科学技術特論A 講義日程と内容について ２０１３年度 計算科学技術特論Ａ（１学期：木曜3限 ） 第１回：プログラム高速化の基礎、2013年4月11日 イントロダクション、ループアンローリング、キャッシュブロック化、 数値計算ライブラリの利用、その他 第２回：MPIの基礎、2013年4月18日 並列処理の基礎、MPIインターフェース、MPI通信の種類、その他 第３回：OpenMPの基礎、2013年4月25日 OpenMPの基礎、利用方法、その他 第４回：Hybrid並列化技法(MPIとOpenMPの応用)
お探しのページは一時的にアクセスできない状況にあるか、移動もしくは削除された可能性があります。 リンクが切れている場合は、こちらのお問い合わせフォームよりご連絡ください。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く