JP5354938B2 - 蛍光顕微鏡装置 - Google Patents
蛍光顕微鏡装置 Download PDFInfo
- Publication number
- JP5354938B2 JP5354938B2 JP2008069246A JP2008069246A JP5354938B2 JP 5354938 B2 JP5354938 B2 JP 5354938B2 JP 2008069246 A JP2008069246 A JP 2008069246A JP 2008069246 A JP2008069246 A JP 2008069246A JP 5354938 B2 JP5354938 B2 JP 5354938B2
- Authority
- JP
- Japan
- Prior art keywords
- optical system
- fluorescence
- light
- sample
- scanning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000003287 optical effect Effects 0.000 claims description 45
- 230000005284 excitation Effects 0.000 claims description 34
- 230000000638 stimulation Effects 0.000 claims description 34
- 238000009792 diffusion process Methods 0.000 claims description 22
- 230000002123 temporal effect Effects 0.000 claims description 17
- 238000002073 fluorescence micrograph Methods 0.000 claims description 14
- 238000000090 raster image correlation spectroscopy Methods 0.000 claims description 14
- 238000004458 analytical method Methods 0.000 claims description 12
- 230000001678 irradiating effect Effects 0.000 claims description 7
- 230000009149 molecular binding Effects 0.000 claims description 6
- 230000027455 binding Effects 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 4
- 230000004936 stimulating effect Effects 0.000 claims description 4
- 238000010521 absorption reaction Methods 0.000 claims description 2
- 239000000523 sample Substances 0.000 description 32
- 238000000034 method Methods 0.000 description 15
- 238000001119 image correlation spectroscopy Methods 0.000 description 8
- 238000005259 measurement Methods 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 6
- 230000003834 intracellular effect Effects 0.000 description 6
- 230000006399 behavior Effects 0.000 description 5
- 210000004027 cell Anatomy 0.000 description 5
- 238000005286 illumination Methods 0.000 description 4
- 210000001747 pupil Anatomy 0.000 description 4
- BHPQYMZQTOCNFJ-UHFFFAOYSA-N Calcium cation Chemical compound [Ca+2] BHPQYMZQTOCNFJ-UHFFFAOYSA-N 0.000 description 3
- 230000004888 barrier function Effects 0.000 description 3
- 229910001424 calcium ion Inorganic materials 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 210000000170 cell membrane Anatomy 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 239000003153 chemical reaction reagent Substances 0.000 description 2
- 238000005100 correlation spectroscopy Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000003269 fluorescent indicator Substances 0.000 description 2
- 230000009878 intermolecular interaction Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- QSHDDOUJBYECFT-UHFFFAOYSA-N mercury Chemical compound [Hg] QSHDDOUJBYECFT-UHFFFAOYSA-N 0.000 description 2
- 229910052753 mercury Inorganic materials 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000005311 autocorrelation function Methods 0.000 description 1
- 239000012472 biological sample Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000003776 cleavage reaction Methods 0.000 description 1
- 239000006059 cover glass Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000007017 scission Effects 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 238000000492 total internal reflection fluorescence microscopy Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N21/6456—Spatial resolved fluorescence measurements; Imaging
- G01N21/6458—Fluorescence microscopy
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0052—Optical details of the image generation
- G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N2021/6417—Spectrofluorimetric devices
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N2021/6417—Spectrofluorimetric devices
- G01N2021/6423—Spectral mapping, video display
Landscapes
- Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Microscoopes, Condenser (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Description
本発明は、蛍光顕微鏡装置に関するものである。
生細胞などの生きた生体試料において、細胞内分子の拡散、結合および移動方向などを計測、解析するアルゴリズムとして、ＲＩＣＳ（Raster Image
Correlation Spectroscopy 、文献１）やＩＣＳ（Image Correlation Spectroscopy、文献２）などが研究・開発され、研究者の注目を集めている。
Correlation Spectroscopy 、文献１）やＩＣＳ（Image Correlation Spectroscopy、文献２）などが研究・開発され、研究者の注目を集めている。
Michelle A. Digman, Measuring Fast Dynamics in Solutions and Cells with a LaserScanning Microscope, Biophysical Journal Vol.89, 2005.
Paul W. Wiseman, Spatial mapping of integrin interactions and dynamicsduring cell migration by Image Correlation Microscopy, Journal of CellScience 117,2004.
このような拡散係数などを求める解析は、走査型レーザ顕微鏡により解析対象物の走査画像を取得し、その画像データを基に行われる。使用される画像データとしては、静的な状態にある試料の走査画像が用いられている。
本発明は、試料内の所望の領域に刺激光を照射して光刺激を与えながら、この光刺激に対して反応した状態にある試料における分子の拡散や結合等の分子間相互作用を観察および解析できる顕微鏡装置を提供することを目的としている。
本発明は、試料内の所望の領域に刺激光を照射して光刺激を与えながら、この光刺激に対して反応した状態にある試料における分子の拡散や結合等の分子間相互作用を観察および解析できる顕微鏡装置を提供することを目的としている。
上記目的を達成するために本発明は以下の手段を提供する。
本発明は、試料の画像取得領域に励起光を照射して蛍光を発生させる照射光学系と、前記試料の蛍光画像を得るための蛍光画像取得光学系と、前記試料の任意領域に刺激光を照射して光刺激するための走査手段を含む刺激光照射光学系と、該刺激光照射光学系で光刺激を与えながら前記画像取得光学系を用いて繰り返して画像取得を行うことにより、経時観察データを取得する制御手段と、前記試料のコンフォーカルボリューム内の分子のゆらぎによって生じる蛍光強度の変化を前記経時観察データを用いて解析することにより分子の拡散および／または結合状態の２次元分布を解析する解析手段と、この解析手段による解析結果を表示する表示手段とを備え、前記照射光学系が、前記試料の画像取得領域に励起光を点照射するとともに、この点照射される励起光を走査する走査光学系を含み、前記蛍光画像取得光学系が、前記試料において発生した蛍光を共焦点検出するための共焦点開口を有し、１画素の大きさが励起光のスポットサイズと比較して十分に小さい状況の下で、前記解析手段が、ＲＩＣＳ（Raster Image Correlation Spectroscopy）を実行する蛍光顕微鏡装置を提供する。
本発明は、試料の画像取得領域に励起光を照射して蛍光を発生させる照射光学系と、前記試料の蛍光画像を得るための蛍光画像取得光学系と、前記試料の任意領域に刺激光を照射して光刺激するための走査手段を含む刺激光照射光学系と、該刺激光照射光学系で光刺激を与えながら前記画像取得光学系を用いて繰り返して画像取得を行うことにより、経時観察データを取得する制御手段と、前記試料のコンフォーカルボリューム内の分子のゆらぎによって生じる蛍光強度の変化を前記経時観察データを用いて解析することにより分子の拡散および／または結合状態の２次元分布を解析する解析手段と、この解析手段による解析結果を表示する表示手段とを備え、前記照射光学系が、前記試料の画像取得領域に励起光を点照射するとともに、この点照射される励起光を走査する走査光学系を含み、前記蛍光画像取得光学系が、前記試料において発生した蛍光を共焦点検出するための共焦点開口を有し、１画素の大きさが励起光のスポットサイズと比較して十分に小さい状況の下で、前記解析手段が、ＲＩＣＳ（Raster Image Correlation Spectroscopy）を実行する蛍光顕微鏡装置を提供する。
上記発明においては、前記照射光学系が、多光子吸収により蛍光を発生させる励起光を試料に点照射するとともに、この点照射される励起光を走査する走査光学系を含んでいてもよい。
また、上記発明の参考例においては、前記照射光学系が、前記試料に励起光を面照射し、前記蛍光画像取得光学系が、前記蛍光画像を２次元撮像素子に投影する撮像光学系を含み、前記解析手段が、前記２次元撮像素子の各画素をコンフォーカルボリュームとして解析を行うこととしてもよい。
また、上記発明の参考例においては、前記解析手段が、ＩＣＳ（Image Correlation Spectroscopy）を実行することとしてもよい。
また、上記発明の参考例においては、前記解析手段が、ＩＣＳ（Image Correlation Spectroscopy）を実行することとしてもよい。
また、上記発明においては、前記経時観察データに対して所望の領域を指定する領域指定手段を備え、指定された領域内の蛍光輝度データを用いて、光刺激により生じる分子の拡散および／または結合を前記解析手段により解析することとしてもよい。
また、上記発明においては、前記刺激光照射光学系の走査手段は、前記画像取得領域とは大きさおよび／または形状が異なる任意領域に刺激光を照射することとしてもよい。
また、上記発明においては、前記刺激光照射光学系の走査手段は、前記画像取得領域とは大きさおよび／または形状が異なる任意領域に刺激光を照射することとしてもよい。
本発明によれば、試料内の所望の領域に刺激光を照射して光刺激を与えながら、この光刺激に対して反応した状態にある試料における分子の拡散や結合等の分子間相互作用を観察および解析できるという効果を奏する。
（一実施の形態）
図１は本発明の一実施の形態に係る走査型顕微鏡装置（蛍光顕微鏡装置）の概略構成を示している。
図１は本発明の一実施の形態に係る走査型顕微鏡装置（蛍光顕微鏡装置）の概略構成を示している。
図１において、符号１は走査型顕微鏡本体で、この走査型顕微鏡本体１には、コンピュータ２が接続されている。また、このコンピュータ２には操作パネル３、励起用レーザ装置４、刺激用レーザ装置１２１および画像モニタ５が接続されている。
走査型顕微鏡本体１において、励起用レーザ装置４から出射された励起（観察）用レーザ光は励起用ダイクロイックミラー１０２で反射され、走査ユニット１０４に入射する。走査ユニット１０４は、走査手段１０４Ａと合成ミラー１０４Ｂを備える。図中、符号１０４Ｃは瞳投影レンズ、符号１０４Ｄは結像レンズである。
走査手段１０４ＡはＸ軸方向走査用のガルバノメータミラーとＹ軸方向走査用のガルバノメータミラーとを有し、励起用レーザ装置４からのレーザ光をコンピュータ２からの走査制御信号によりＸＹ走査している。また、合成ミラー１０４Ｂは、励起（観察）用レーザ光を後述する刺激用レーザ光と合成するためのダイクロイックミラーであり、励起（観察）用レーザ光および観察光（試料からの蛍光）（可視、ＩＲなど）を透過し、刺激用レーザ光（ＵＶ、紫光など）を反射する。
ＸＹ方向に走査された励起（観察）用レーザ光は、合成ミラー１０４Ｂを透過し、レボルバ１０５に取り付けられた対物レンズ１０６を介して、ステージ１０７上に載置された観察試料１０８上にスポット光として照射される。
このスポット光の照射によって生じる観察試料１０８からの光、例えば反射光、または観察試料１０８から発生した蛍光は、対物レンズ１０６により集められて入射光路に戻り、ダイクロイックミラー１０２を透過して、バリアフィルタ１１０により検出したい波長の光のみが抽出される。
このスポット光の照射によって生じる観察試料１０８からの光、例えば反射光、または観察試料１０８から発生した蛍光は、対物レンズ１０６により集められて入射光路に戻り、ダイクロイックミラー１０２を透過して、バリアフィルタ１１０により検出したい波長の光のみが抽出される。
バリアフィルタ１１０を透過した検出光は、フォトマルチプライヤなどの光電変換器１０１に入射し、検出光量に応じた電気信号に光電変換される。光電変換器から出力されるアナログ信号は、コンピュータ２に設置されているＡ／Ｄ入力チャンネル２ｂにて、検出光量に応じたデジタル信号に変換される。コンピュータ２の計算処理部２ａは、このデジタル信号と走査手段１０４Ａの走査位置情報を組み合せて２次元画像を構築し、メモリ２ｃに保存するとともに画像情報として画像モニタ５に出力するようにしている。
本走査型顕微鏡装置において、観察試料１０８と共役な位置にコンフォーカルアパーチャ１０９を配置することで、合焦位置以外からの光を除去して合焦位置からの光だけを検出して画像化する共焦点走査型顕微鏡装置として使用することができる。符号１１１は共焦点レンズである。
また、本走査型顕微鏡装置において、２光子励起を起こさせる赤外パルスレーザ光を励起用レーザ装置４として使用し２光子励起によって生じた蛍光を検出することで、コンフォーカルアパーチャ９がなくても、試料の３次元空間における励起用レーザ光の集光位置のみを観察する多光子励起走査型顕微鏡装置として、使用することができる。
ステージ１０７は、顕微鏡（対物レンズ１０６）の光軸と直交するＸ，Ｙ方向に移動可能な電動ステージである。また、レボルバ１０５または、ステージ１０７は、顕微鏡内部、または外部に設置されたＺモータ１０７Ａを使用することで、顕微鏡（対物レンズ１０６）の光軸方向であるＺ方向のフォーカス位置制御ができる。Ｘ、Ｙ、Ｚ方向の位置制御は、コンピュータ２により制御される。
一方、走査ユニット１０４には刺激光照射ユニット１２２が接続されている。刺激光照射ユニット１２２も、走査手段１２２ＡとしてＸ軸方向走査用のガルバノメータミラーとＹ軸方向走査用のガルバノメータミラーとを有し、刺激用レーザ装置１２１からの刺激用レーザ光をコンピュータ２からの走査制御信号によりＸＹ走査している。符号１２２Ｂは瞳投影レンズである。
走査手段１２２Ａを構成するＸ，Ｙのガルバノメータミラーを所望の角度で停止させることにより、試料上の所望の一点に刺激光を照射することもできる。ＸＹ方向に走査されたレーザ光は、走査ユニット内の合成ミラー１０４Ｂで反射して励起（観察）用レーザ光と合成され、レボルバ１０５に取り付けられた対物レンズ１０６を介して、ステージ１０７上に載置された観察試料１０８上にスポット光として照射される。
操作パネル３は、キーボードのほかに、トラックボールやジョイスティック、あるいはマウスなどのポインティングデバイスを有しており、観察者の指示入力によりレーザ光の走査開始命令、画像取得指令などを出力するとともに、コンピュータ２に対して光電変換器１０１に対する感度の調整指令を出力するようになっている。また、この操作パネルを用いて、励起（観察）用レーザ光と刺激用レーザ光の波長および強度の設定や、１画面の視野内で所望の点や領域（ＲＯＩ: region of interest）だけに励起（観察）用レーザ光や刺激用レーザ光を照射する場合のＲＯＩ指定も行う。
コンピュータ２は、装置全体の制御を司るもので、特に、操作パネル３から走査指示命令が入力されると、走査制御信号を走査ユニット１０４、および刺激照射ユニット１２２に出力する。また、光電変換器１０１からの観察試料１０８のアナログ信号がＡ／Ｄ入力チャンネルを介して変換されたデジタルデータをメモリ２ｃに転送するとともに、画像モニタ５に画像、および走査メニューを表示させる。
さらに、コンピュータ２では、操作パネル３からの感度調整指令に応じて、光電変換器１０１に対する感度（たとえばフォトマルチプライヤの場合は印加電圧）、アンプゲイン、およびオフセットなどの設定を行うようにしている。また、走査型顕微鏡本体１の走査ユニット制御、励起用レーザ装置４から顕微鏡へのレーザ入射、画像モニタ５へのメモリ内画像情報の出力などの各制御は、コンピュータ２内のプログラム２ｄにより実行される。
分子の挙動、例えば拡散、結合、および移動方向などを解析する手法として、ＲＩＣＳ（Raster Image
Correlation Spectroscopy）という手法がある。ＲＩＣＳ手法は、走査型顕微鏡を用いて、励起用レーザ光のスポットサイズに対し１画素の大きさが十分小さくなるような走査条件（例えば、対物レンズの倍率６０ｘ／ＮＡ１．４２，走査手段（ガルバノスキャナ）によるズーム倍率５倍）で取得された経時観察画像（ＸＹ−Ｔ画像）に対し、その画像データを取得するためのピクセル走査時間、ライン走査時間の時間間隔に基づき、自己相関関数（数１、詳細は学術文献１を参照）を用いてピクセル時間単位、ライン時間単位の分子の拡散を求める手法である。なお経時観察画像（ＸＹ−Ｔ画像）とは、同じ観察位置に対して所定の時間間隔で複数回繰り返して取得したＸＹ画像の一連の画像群である。
Correlation Spectroscopy）という手法がある。ＲＩＣＳ手法は、走査型顕微鏡を用いて、励起用レーザ光のスポットサイズに対し１画素の大きさが十分小さくなるような走査条件（例えば、対物レンズの倍率６０ｘ／ＮＡ１．４２，走査手段（ガルバノスキャナ）によるズーム倍率５倍）で取得された経時観察画像（ＸＹ−Ｔ画像）に対し、その画像データを取得するためのピクセル走査時間、ライン走査時間の時間間隔に基づき、自己相関関数（数１、詳細は学術文献１を参照）を用いてピクセル時間単位、ライン時間単位の分子の拡散を求める手法である。なお経時観察画像（ＸＹ−Ｔ画像）とは、同じ観察位置に対して所定の時間間隔で複数回繰り返して取得したＸＹ画像の一連の画像群である。
粒子が停止、またはゆっくりと移動している場合、分子が発する蛍光シグナルは図３のように数個のスポットのみで検出される。図３の場合は、第１スポットと第２スポットのみで分子の蛍光シグナルが検出される。このような分子を観察した経時観察データに対して、ＲＩＣＳ手法を用いると小さな拡散係数を得る。
粒子が高速に移動している場合、分子が発する蛍光シグナルは図４のように多数のスポットで検出される。図４の場合は、第１スポットから第４スポットの全てで分子の蛍光シグナルが検出される。このような分子を観察した経時観察データに対して、ＲＩＣＳ手法を用いると大きい拡散係数を得る。この拡散係数の大小関係より、各分子の拡散速度の違いを解析できる。
拡散速度の計測は前記経時観察画像の視野全体に対して算出処理するだけではなく、図５に示すように前記経時観察画像内に所望の計測領域を指定し、計測領域内部の蛍光シグナルを対象として計測することも可能である。この処理を用いることにより、細胞内の分子拡散と細胞膜周辺の分子の結合を１つの経時観察画像として取得し、同一時間上で観察および、計測することができる。
次に、前記述のように構成したシステムを使用した、一実施の形態の動作を説明する。
例として、ケージド（Ｃａｇｅｄ）指示薬とカルシウムイオン濃度に感受性を示す蛍光指示薬とを注入した試料に対して、励起用レーザ装置４（図１）に搭載されている波長４８８ｎｍの励起用レーザ光を照射し、カルシウムイオン濃度感受性蛍光指示薬から発生する蛍光を検出して解析する場合を説明する。試料の所望の位置にアンケージングのための光刺激を加えたときの試料の反応の様子を図６に、この様子を試料の計測領域を指定して解析を行う手順（フローチャート）を図７にそれぞれ示す。
例として、ケージド（Ｃａｇｅｄ）指示薬とカルシウムイオン濃度に感受性を示す蛍光指示薬とを注入した試料に対して、励起用レーザ装置４（図１）に搭載されている波長４８８ｎｍの励起用レーザ光を照射し、カルシウムイオン濃度感受性蛍光指示薬から発生する蛍光を検出して解析する場合を説明する。試料の所望の位置にアンケージングのための光刺激を加えたときの試料の反応の様子を図６に、この様子を試料の計測領域を指定して解析を行う手順（フローチャート）を図７にそれぞれ示す。
ステップＳ１）始めに、アンケージ（＝光刺激）位置を指定するために、計測を行いたい部位の観察画像（リファレンス画像（ＸＹ画像））を取得し、リファレンス画像として画像モニタ５に表示する。
ステップＳ２）リファレンス画像を用いて、光刺激（アンケージング）を行う位置または領域（ＲＯＩ、図６）を指定する。
ステップＳ２）リファレンス画像を用いて、光刺激（アンケージング）を行う位置または領域（ＲＯＩ、図６）を指定する。
ステップＳ３，Ｓ４）試料の経時観察（ＸＹ−Ｔ画像取得）の条件設定として、Ｘ画素数、Ｙ画素数、対物レンズの情報（倍率、開口数）、走査ズーム倍率（レーザ走査時の走査幅情報）、レーザ波長、スキャン速度（ピクセル速度、ライン速度、フレームインターバル）、取得フレーム数の指定または入力を行う。
励起用レーザ光の走査を開始してＸＹ−Ｔ画像取得を行いながら、図６に示すように刺激用レーザ装置１２１（図１）に搭載されている波長３５５ｎｍの刺激用レーザ光を指定された位置または領域に照射して、ケージド試薬のケージド基を開裂させるように刺激を与える。このときケージド試薬内部から放出された物質によって、カルシウムイオン濃度が変化する様子を、経時観察データとしてコンピュータのメモリ２ｃ（図１）に保存し、Ｔ（タイム）シリーズ画像として画像モニタ５（図１）に表示する。
ステップＳ５）画像モニタ５上に表示された前記経時観察データにおいて、操作パネル３（図１）を用いて、細胞膜周辺に計測領域を作成する。
ステップＳ６〜Ｓ８）前記計測領域内の蛍光シグナルに対して、前記ＲＩＣＳ手法を処理する。ＲＩＣＳの計算に必要な条件は、ステップＳ３，Ｓ４）においてＸＹ−Ｔ画像取得条件として設定済みである。ピクセルサイズは、ＸＹ−Ｔ画像取得条件（Ｘ，Ｙ各画素数、対物レンズ倍率、走査ズーム倍率）から算出可能である。これらのパラメータと数１とに基づいて、Ｄ（拡散係数）およびＧ（０）が算出される。
ステップＳ６〜Ｓ８）前記計測領域内の蛍光シグナルに対して、前記ＲＩＣＳ手法を処理する。ＲＩＣＳの計算に必要な条件は、ステップＳ３，Ｓ４）においてＸＹ−Ｔ画像取得条件として設定済みである。ピクセルサイズは、ＸＹ−Ｔ画像取得条件（Ｘ，Ｙ各画素数、対物レンズ倍率、走査ズーム倍率）から算出可能である。これらのパラメータと数１とに基づいて、Ｄ（拡散係数）およびＧ（０）が算出される。
ここで、Ｇ（０）＝１／Ｎ、（Ｎは分子数）は、
自己相関係数Ｇ（τ）＝（ΔＦ（ｔ）ΔＦ（ｔ＋τ））／Ｆ（ｔ）２
のτ＝０（初期値）であり、この値で分子の濃度が議論される。
自己相関係数Ｇ（τ）＝（ΔＦ（ｔ）ΔＦ（ｔ＋τ））／Ｆ（ｔ）２
のτ＝０（初期値）であり、この値で分子の濃度が議論される。
このようにして、ケージド基の開裂に伴う、細胞膜周辺での分子の拡散や結合を計測することができる。
本発明では、画像を取得する為の光学系とは別の走査光学系を配置し、経時観察とは独立して光刺激を制御する機構を備えた走査型顕微鏡装置を用いて画像取得した経時観察データに対して、ＲＩＣＳ手法などの解析方法を用いることにより、細胞への刺激中および、刺激後の細胞内分子の挙動を継続して解析することができるようになる。
本発明では、画像を取得する為の光学系とは別の走査光学系を配置し、経時観察とは独立して光刺激を制御する機構を備えた走査型顕微鏡装置を用いて画像取得した経時観察データに対して、ＲＩＣＳ手法などの解析方法を用いることにより、細胞への刺激中および、刺激後の細胞内分子の挙動を継続して解析することができるようになる。
（参考実施の形態）
上述した一実施の形態記載の走査型顕微鏡装置の走査ユニット１０４（図１）、励起用レーザ装置４（図１）、および光電変換器１０１の代わりに、図９に示すように水銀ランプハウス１３０とＣＣＤカメラ１３１を用いた蛍光顕微鏡装置において、経時観察中に、一実施の形態記載の刺激照射ユニット１２２（図１）を用いて光刺激を与えて、経時観察データを取得する。
上述した一実施の形態記載の走査型顕微鏡装置の走査ユニット１０４（図１）、励起用レーザ装置４（図１）、および光電変換器１０１の代わりに、図９に示すように水銀ランプハウス１３０とＣＣＤカメラ１３１を用いた蛍光顕微鏡装置において、経時観察中に、一実施の形態記載の刺激照射ユニット１２２（図１）を用いて光刺激を与えて、経時観察データを取得する。
この経時観察データに対して、図８に示すように経時観察データのフレーム時間単位の拡散係数を求めることができるＩＣＳ（Image Correlation Spectroscopy）手法を適用する。これにより、一実施の形態と同様に、細胞への刺激中および、刺激後の細胞内分子の挙動を継続して解析することができる。
ＩＣＳ手法は、経時画像データにおいて、ピクセルごとのＴ方向の輝度変化情報を用いて拡散係数を算出する手法である。輝度変化情報の時間分解能は１フレーム取得時間であるので高速性はＲＩＣＳに及ばないが、ＣＣＤカメラのピクセル１個をコンフォーカルボリュームに代替させて計算する手法により、共焦点検出ではない本実施形態の構成であっても拡散係数を算出できる。
なお、一実施の形態において、ＩＣＳを適用することも可能である。
なお、一実施の形態において、ＩＣＳを適用することも可能である。
（変形例１）
上述した参考実施の形態に記載の蛍光顕微鏡装置において、水銀ランプハウスの代わりに、図１０に示すようにレーザ光源１４１と全反射照明装置１４２を用いて構成される全反射蛍光顕微鏡装置（Total Internal Reflection Fluorescence Microscopy)を用いることもできる。
上述した参考実施の形態に記載の蛍光顕微鏡装置において、水銀ランプハウスの代わりに、図１０に示すようにレーザ光源１４１と全反射照明装置１４２を用いて構成される全反射蛍光顕微鏡装置（Total Internal Reflection Fluorescence Microscopy)を用いることもできる。
レーザ光源１４１からの刺激用のレーザ光は、ＸＹガルバノスキャナ１４３によりその２次元的な位置を設定され、瞳投影レンズ１４４、ダイクロイックミラー（あるいはハーフミラー）１４５、結像レンズ１４６および対物レンズ１４７を介して試料Ｓに照射され、観察試料１０８に光刺激を与える。
全反射照明装置１４２は、複数の波長のレーザ光を出射するレーザ光源１４８，１４９，１５０と、各レーザ光源１４８〜１５０からのレーザ光の光束径を調節するビームエキスパンダ１５１と、ミラー１５２およびダイクロイックミラー１５３，１５４と、レーザ光源１４９，１５０からのレーザ光を調光するＡＯＴＦのような音響光学素子１５５と、光軸方向Ａに沿って移動可能な照明領域調整用の変倍レンズ１５６と、光軸方向Ａに沿って移動させられることにより偏向角度を調節して標本へのレーザ光の入射角度を調節する滲み出し量調節用の駆動ミラー１５７と、瞳投影レンズ１５８とを備えている。
また、全反射蛍光顕微鏡装置は、観察試料１０８に対して対物レンズ１４７とは反対側に対向配置される対物レンズ１５９と、結像レンズ１６０、変倍レンズ１６１および電子増倍型のＣＣＤ１６２とを備えている。
ダイクロイックミラー１４５により、レーザ光源１４１からの刺激用のレーザ光の光路に合流させられたレーザ光源１４８〜１５０からのレーザ光が、観察試料１０８に対して全反射条件を満たすような浅い角度で入射させられる。
ダイクロイックミラー１４５により、レーザ光源１４１からの刺激用のレーザ光の光路に合流させられたレーザ光源１４８〜１５０からのレーザ光が、観察試料１０８に対して全反射条件を満たすような浅い角度で入射させられる。
全反射蛍光顕微鏡装置を用いることにより、カバーガラス表面より１００ｎｍ程度の深さ分解能内において、シグナル／ノイズの高い経時観察データを用いて、観察試料１０８、例えば細胞への刺激中および、刺激後の細胞内分子の挙動を継続して解析することができる。
本発明によれば、画像を取得する為の走査光学系または蛍光観察光学系とは別の走査光学系を配置し、経時観察とは独立して光刺激を制御する機構を備えた顕微鏡装置を用いて画像取得した経時観察データに対して、ＲＩＣＳ手法などの解析方法を用いることにより、細胞への刺激中および、刺激後の細胞内分子の挙動を継続して正確に解析することができる。
２ コンピュータ（制御手段）
２ａ 計算・処理部（解析手段）
３ 操作パネル（領域指定手段）
５ 画像モニタ（表示手段）
１０１ 光電変換器（蛍光画像取得光学系）
１０２ ダイクロイックミラー（蛍光画像取得光学系）
１０３ ミラー（蛍光画像取得光学系）
１０４ 走査ユニット（走査光学系）
１０８ 観察試料（試料）
１０９ コンフォーカルアパーチャ（蛍光画像取得光学系）
１１０ バリアフィルタ（蛍光画像取得光学系）
１１１ 共焦点レンズ（蛍光画像取得光学系）
１２１ 刺激用レーザ装置（刺激光照射光学系）
１２２Ａ 走査手段
１３１ ＣＣＤカメラ（撮像光学系）
２ａ 計算・処理部（解析手段）
３ 操作パネル（領域指定手段）
５ 画像モニタ（表示手段）
１０１ 光電変換器（蛍光画像取得光学系）
１０２ ダイクロイックミラー（蛍光画像取得光学系）
１０３ ミラー（蛍光画像取得光学系）
１０４ 走査ユニット（走査光学系）
１０８ 観察試料（試料）
１０９ コンフォーカルアパーチャ（蛍光画像取得光学系）
１１０ バリアフィルタ（蛍光画像取得光学系）
１１１ 共焦点レンズ（蛍光画像取得光学系）
１２１ 刺激用レーザ装置（刺激光照射光学系）
１２２Ａ 走査手段
１３１ ＣＣＤカメラ（撮像光学系）
Claims (4)
- 試料の画像取得領域に励起光を照射して蛍光を発生させる照射光学系と、
前記試料の蛍光画像を得るための蛍光画像取得光学系と、
前記試料の任意領域に刺激光を照射して光刺激するための走査手段を含む刺激光照射光学系と、
該刺激光照射光学系で光刺激を与えながら前記画像取得光学系を用いて繰り返して画像取得を行うことにより、経時観察データを取得する制御手段と、
前記試料のコンフォーカルボリューム内の分子のゆらぎによって生じる蛍光強度の変化を前記経時観察データを用いて解析することにより分子の拡散および／または結合状態の２次元分布を解析する解析手段と、
この解析手段による解析結果を表示する表示手段とを備え、
前記照射光学系が、前記試料の画像取得領域に励起光を点照射するとともに、この点照射される励起光を走査する走査光学系を含み、
前記蛍光画像取得光学系が、前記試料において発生した蛍光を共焦点検出するための共焦点開口を有し、
１画素の大きさが励起光のスポットサイズと比較して十分に小さい状況の下で、前記解析手段が、ＲＩＣＳ（Raster Image Correlation Spectroscopy）を実行する蛍光顕微鏡装置。 - 前記照射光学系が、多光子吸収により蛍光を発生させる励起光を試料に点照射するとともに、この点照射される励起光を走査する走査光学系を含む請求項１に記載の蛍光顕微鏡装置。
- 前記経時観察データに対して所望の領域を指定する領域指定手段を備え、
指定された領域内の蛍光輝度データを用いて、光刺激により生じる分子の拡散および／または結合を前記解析手段により解析する請求項１または請求項２に記載の蛍光顕微鏡装置。 - 前記刺激光照射光学系の走査手段は、前記画像取得領域とは大きさおよび／または形状が異なる任意領域に刺激光を照射する請求項１から請求項３のいずれかに記載の蛍光顕微鏡装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US12/111,659 US7902523B2 (en) | 2007-05-02 | 2008-04-29 | Fluorescence microscope apparatus |
| EP08008298A EP2037309A3 (en) | 2007-05-02 | 2008-04-30 | Fluorescence microscope apparatus |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US92723707P | 2007-05-02 | 2007-05-02 | |
| US60/927,237 | 2007-05-02 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2008276191A JP2008276191A (ja) | 2008-11-13 |
| JP2008276191A5 JP2008276191A5 (ja) | 2011-03-24 |
| JP5354938B2 true JP5354938B2 (ja) | 2013-11-27 |
Family
ID=40054165
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008069246A Expired - Fee Related JP5354938B2 (ja) | 2007-05-02 | 2008-03-18 | 蛍光顕微鏡装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US7902523B2 (ja) |
| EP (1) | EP2037309A3 (ja) |
| JP (1) | JP5354938B2 (ja) |
Families Citing this family (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010085548A2 (en) * | 2009-01-22 | 2010-07-29 | Li-Cor, Inc. | Single molecule proteomics with dynamic probes |
| JP5208824B2 (ja) * | 2009-03-18 | 2013-06-12 | オリンパス株式会社 | 画像取得装置、画像取得方法及びプログラム |
| JP5325620B2 (ja) * | 2009-03-18 | 2013-10-23 | オリンパス株式会社 | 画像解析装置、画像解析方法及びプログラム |
| JP5468805B2 (ja) * | 2009-03-31 | 2014-04-09 | オリンパス株式会社 | 画像解析方法および画像解析装置 |
| JP5489541B2 (ja) * | 2009-06-05 | 2014-05-14 | オリンパス株式会社 | 画像解析方法および画像解析装置 |
| DE102009037366A1 (de) * | 2009-08-13 | 2011-02-17 | Carl Zeiss Microlmaging Gmbh | Mikroskop, insbesondere zur Messung von Totalreflexions-Fluoreszenz, und Betriebsverfahren für ein solches |
| JP5508808B2 (ja) * | 2009-10-15 | 2014-06-04 | オリンパス株式会社 | 画像解析方法および画像解析装置 |
| JP5508809B2 (ja) * | 2009-10-15 | 2014-06-04 | オリンパス株式会社 | 画像解析方法および画像解析装置 |
| JP5452180B2 (ja) * | 2009-11-13 | 2014-03-26 | オリンパス株式会社 | 顕微鏡装置 |
| JP5555061B2 (ja) | 2010-06-09 | 2014-07-23 | オリンパス株式会社 | 観察装置および観察方法 |
| JP2012008055A (ja) | 2010-06-25 | 2012-01-12 | Olympus Corp | 画像解析方法および画像解析装置 |
| WO2012002542A1 (ja) * | 2010-07-01 | 2012-01-05 | 株式会社ニコン | 光学部材および顕微鏡 |
| CN103189737B (zh) * | 2010-10-29 | 2017-05-31 | 奥林巴斯株式会社 | 图像分析方法以及图像分析装置 |
| US9494783B2 (en) | 2010-11-30 | 2016-11-15 | Etaluma Inc. | Compact, high-resolution fluorescence and brightfield microscope and methods of use |
| DE102011000090B4 (de) | 2011-01-11 | 2016-03-24 | Leica Microsystems Cms Gmbh | Verfahren und Einrichtung zur rastermikroskopischen Abbildung eines Objektes |
| US9110282B2 (en) * | 2011-03-30 | 2015-08-18 | The Regents Of The University Of California | Nanometer-scale optical imaging by the modulation tracking (MT) method |
| EP2771731B1 (en) | 2011-10-25 | 2020-01-15 | Daylight Solutions Inc. | Infrared imaging microscope |
| JP5856814B2 (ja) * | 2011-11-10 | 2016-02-10 | オリンパス株式会社 | 画像解析方法および画像解析装置 |
| JP5926966B2 (ja) * | 2012-01-30 | 2016-05-25 | オリンパス株式会社 | 蛍光観察装置 |
| JP2013195127A (ja) * | 2012-03-16 | 2013-09-30 | Olympus Corp | 生物試料の画像解析装置、画像解析方法、およびプログラム |
| WO2014209471A2 (en) | 2013-04-12 | 2014-12-31 | Daylight Solutions, Inc. | Infrared refractive objective lens assembly |
| JP5784790B2 (ja) * | 2014-04-28 | 2015-09-24 | オリンパス株式会社 | 蛍光観察装置 |
| JP6363890B2 (ja) * | 2014-07-04 | 2018-07-25 | オリンパス株式会社 | 走査型顕微鏡装置および超解像画像の生成方法 |
| TWI507674B (zh) * | 2014-07-09 | 2015-11-11 | Univ Nat Taiwan | 以螢光物質檢測器官代謝功能之系統及方法 |
| EP3418710B1 (en) * | 2016-02-19 | 2022-08-24 | Nikon Corporation | Sample preparation method and sample preparation device |
| DE102016103382B3 (de) * | 2016-02-25 | 2017-08-10 | Abberior Instruments Gmbh | Verfahren, Vorrichtung und Laser-Scanning-Mikroskop zum Erzeugen von gerasterten Bildern |
| WO2020139835A1 (en) * | 2018-12-26 | 2020-07-02 | The Regents Of The University Of California | Systems and methods for two-dimensional fluorescence wave propagation onto surfaces using deep learning |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5117466A (en) * | 1991-04-30 | 1992-05-26 | The United States Of America As Represented By The United States Department Of Energy | Integrated fluorescence analysis system |
| JP3917731B2 (ja) * | 1996-11-21 | 2007-05-23 | オリンパス株式会社 | レーザ走査顕微鏡 |
| JP3861396B2 (ja) * | 1997-08-01 | 2006-12-20 | 株式会社ニコン | 顕微鏡用画像取得装置 |
| JP4406108B2 (ja) * | 1998-03-11 | 2010-01-27 | オリンパス株式会社 | 多光子励起レーザ顕微鏡 |
| JP2001194303A (ja) * | 2000-01-13 | 2001-07-19 | Bunshi Biophotonics Kenkyusho:Kk | 蛍光分子拡散運動解析装置 |
| US6690463B2 (en) * | 2000-02-10 | 2004-02-10 | Evotec Biosystems Ag | Fluorescence intensity and lifetime distribution analysis |
| WO2002048693A1 (fr) * | 2000-12-14 | 2002-06-20 | Olympus Optical Co., Ltd. | Analyseur fluorometrique et analyse fluorometrique |
| JP4136440B2 (ja) * | 2002-04-26 | 2008-08-20 | オリンパス株式会社 | 顕微鏡装置 |
| EP1526373B1 (en) * | 2002-06-21 | 2013-11-27 | Olympus Corporation | Biomolecule analyzer |
| US7136161B2 (en) * | 2003-08-01 | 2006-11-14 | Shimadzu Corporation | Component analyzing apparatus with microchip |
| JP2005083980A (ja) * | 2003-09-10 | 2005-03-31 | Olympus Corp | 共焦点光学顕微鏡およびそれを用いた分析方法 |
| JP4756819B2 (ja) * | 2003-10-21 | 2011-08-24 | オリンパス株式会社 | 走査型顕微鏡システム |
| JP4468684B2 (ja) | 2003-12-05 | 2010-05-26 | オリンパス株式会社 | 走査型共焦点顕微鏡装置 |
| JP4224640B2 (ja) * | 2004-03-29 | 2009-02-18 | オリンパス株式会社 | 蛍光分光分析装置 |
| DE102004032952A1 (de) * | 2004-07-07 | 2006-01-26 | Leica Microsystems Cms Gmbh | Rastermikroskop und Verfahren zur Untersuchung von biologischen Proben mit einem Rastermikroskop |
| DE102004034963A1 (de) | 2004-07-16 | 2006-02-16 | Carl Zeiss Jena Gmbh | Verfahren zur bildlichen Erfassung von Objekten mittels eines Lichtrastermikroskopes |
| US7330255B2 (en) * | 2004-12-09 | 2008-02-12 | University Of Chicago | Total internal reflection fluorescence apparatus |
| JP5132052B2 (ja) * | 2005-11-30 | 2013-01-30 | オリンパス株式会社 | 走査型レーザ顕微鏡の条件設定装置及び走査型レーザ顕微鏡システム |
-
2008
- 2008-03-18 JP JP2008069246A patent/JP5354938B2/ja not_active Expired - Fee Related
- 2008-04-29 US US12/111,659 patent/US7902523B2/en not_active Expired - Fee Related
- 2008-04-30 EP EP08008298A patent/EP2037309A3/en not_active Ceased
Also Published As
| Publication number | Publication date |
|---|---|
| JP2008276191A (ja) | 2008-11-13 |
| EP2037309A3 (en) | 2010-01-13 |
| US20080290293A1 (en) | 2008-11-27 |
| EP2037309A2 (en) | 2009-03-18 |
| US7902523B2 (en) | 2011-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5354938B2 (ja) | 蛍光顕微鏡装置 | |
| JP5489469B2 (ja) | 蛍光信号解析装置および蛍光信号解析方法 | |
| JP4377811B2 (ja) | 生体分子解析装置および生体分子解析方法 | |
| JP2008276191A5 (ja) | ||
| JP6283104B2 (ja) | 光学分析装置 | |
| US7355702B2 (en) | Confocal observation system | |
| JP2009264752A (ja) | 三次元画像取得装置 | |
| JP4468507B2 (ja) | 走査型レーザ顕微鏡 | |
| JP3861000B2 (ja) | 走査型レーザー顕微鏡 | |
| JP2003195174A (ja) | 走査型レーザ顕微鏡システム | |
| US9977230B2 (en) | Microscope system | |
| EP2828700A1 (en) | Multi-color confocal microscope and imaging methods | |
| JP5208824B2 (ja) | 画像取得装置、画像取得方法及びプログラム | |
| JP5963487B2 (ja) | レーザ顕微鏡および観察方法 | |
| EP1857538B1 (en) | Microscope apparatus and cell observation method | |
| JP2004354345A (ja) | 生体分子解析装置 | |
| JP2004069428A (ja) | 原子及び分子間力顕微鏡 | |
| JP2003029151A (ja) | 共焦点レーザ走査型顕微鏡装置および制御プログラム | |
| JP4628845B2 (ja) | 標本試料の自動追尾機能を備えた顕微鏡観察装置 | |
| JP7480446B2 (ja) | 顕微鏡システム及び光学モジュール | |
| JP2017003865A (ja) | 顕微鏡および顕微鏡画像取得方法 | |
| JP2865298B2 (ja) | 光ヘテロダイン螢光顕微鏡 | |
| JP2003248174A (ja) | レーザ走査型共焦点顕微鏡装置、画像記録方法、及び記録媒体 | |
| Ross | Wide-field correlation spectroscopy of aqueous molecular solutions using CLiC imaging | |
| JPH1194645A (ja) | ３次元スペクトル取得装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110203 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110203 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120509 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120605 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130312 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130510 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130820 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130827 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5354938 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |