JPWO2018043727A1 - 内視鏡システム - Google Patents
内視鏡システム Download PDFInfo
- Publication number
- JPWO2018043727A1 JPWO2018043727A1 JP2018537577A JP2018537577A JPWO2018043727A1 JP WO2018043727 A1 JPWO2018043727 A1 JP WO2018043727A1 JP 2018537577 A JP2018537577 A JP 2018537577A JP 2018537577 A JP2018537577 A JP 2018537577A JP WO2018043727 A1 JPWO2018043727 A1 JP WO2018043727A1
- Authority
- JP
- Japan
- Prior art keywords
- light
- wavelength band
- image data
- hemoglobin
- ratio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 108010054147 Hemoglobins Proteins 0.000 claims abstract description 176
- 102000001554 Hemoglobins Human genes 0.000 claims abstract description 176
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 claims abstract description 167
- 229910052760 oxygen Inorganic materials 0.000 claims abstract description 167
- 239000001301 oxygen Substances 0.000 claims abstract description 167
- 238000002834 transmittance Methods 0.000 claims abstract description 29
- 230000003287 optical effect Effects 0.000 claims description 50
- 238000003384 imaging method Methods 0.000 claims description 45
- 230000008859 change Effects 0.000 claims description 15
- 230000035945 sensitivity Effects 0.000 claims description 9
- 238000005286 illumination Methods 0.000 description 27
- 238000012545 processing Methods 0.000 description 25
- 230000009102 absorption Effects 0.000 description 24
- 238000010521 absorption reaction Methods 0.000 description 24
- 238000003780 insertion Methods 0.000 description 12
- 230000037431 insertion Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 238000002835 absorbance Methods 0.000 description 10
- 238000000862 absorption spectrum Methods 0.000 description 9
- 230000003595 spectral effect Effects 0.000 description 9
- 230000002159 abnormal effect Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 5
- 239000002131 composite material Substances 0.000 description 5
- 230000007423 decrease Effects 0.000 description 4
- 101100129500 Caenorhabditis elegans max-2 gene Proteins 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 108010036302 hemoglobin AS Proteins 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 239000012620 biological material Substances 0.000 description 1
- BJQHLKABXJIVAM-UHFFFAOYSA-N bis(2-ethylhexyl) phthalate Chemical compound CCCCC(CC)COC(=O)C1=CC=CC=C1C(=O)OCC(CC)CCCC BJQHLKABXJIVAM-UHFFFAOYSA-N 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000001035 gastrointestinal tract Anatomy 0.000 description 1
- 230000020169 heat generation Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000000034 method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035699 permeability Effects 0.000 description 1
- 150000004032 porphyrins Chemical class 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
- A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/044—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for absorption imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/063—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for monochromatic or narrow-band illumination
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0653—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with wavelength conversion
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0655—Control therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
- A61B1/0676—Endoscope light sources at distal tip of an endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration or pH-value ; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid or cerebral tissue
- A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration or pH-value ; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid or cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
- A61B5/14551—Measuring characteristics of blood in vivo, e.g. gas concentration or pH-value ; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid or cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration or pH-value ; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid or cerebral tissue
- A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration or pH-value ; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid or cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
- A61B5/1459—Measuring characteristics of blood in vivo, e.g. gas concentration or pH-value ; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid or cerebral tissue using optical sensors, e.g. spectral photometrical oximeters invasive, e.g. introduced into the body by a catheter
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
- G02B23/2407—Optical details
- G02B23/2461—Illumination
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Astronomy & Astrophysics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Endoscopes (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
Abstract
Description
(形態1)
波長帯域の異なる少なくとも2つの光を出射するように構成された光源装置と、
少なくとも2つの前記光でそれぞれ照明された生体組織を撮像することにより、各光に対応した前記生体組織の像のカラー画像データを生成するように構成された撮像素子を備えた撮像部を含む内視鏡と、
前記カラー画像データの成分を用いて前記生体組織におけるヘモグロビンの量及び前記ヘモグロビンの酸素飽和度を算出し、前記酸素飽和度の分布を示す酸素飽和度分布画像を生成するように構成された特徴量取得部と、前記酸素飽和度分布画像の表示形態を制御するように構成された画像表示制御部と、を含むプロセッサと、
前記撮像部で撮像された前記生体組織の像に前記酸素飽和度分布画像を重ねて表示するように構成されたディスプレイと、を備え、
前記特徴量取得部は、前記カラー画像データの成分を用いて得られる第1比率に基づいて前記ヘモグロビンの量を算出するように構成されたヘモグロビン量算出部と、前記カラー画像データの成分を用いて得られる第2比率と前記ヘモグロビンの量あるいは前記第1比率とに基づいて前記ヘモグロビンの酸素飽和度を算出するように構成された酸素飽和度算出部と、を含み、
前記画像表示制御部は、前記第2比率の値が、前記ヘモグロビンの量に応じて定めた前記第2比率の許容範囲をはずれる画素について、前記生体組織の像に重ねる該画素の透過率を調整するように構成された、ことを特徴とする内視鏡システム。
前記光源装置は、第1の波長帯域の第1の光、前記第1の波長帯域と異なる第2の波長帯域の第2の光、及び第1の波長帯域及び前記第2の波長帯域と異なる第3の波長帯域の第3の光を含む少なくとも3以上の光を出射するように構成され、
前記撮像部は、前記第1の光、前記第2の光、及び前記第3の光でそれぞれ照明された生体組織を撮像することにより、前記第1の光に対応した第1のカラー画像データ、前記第2の光に対応した第2のカラー画像データ、及び前記第3の光に対応した第3のカラー画像データを生成するように構成され、
前記第1比率は、前記第1のカラー画像データの一成分と前記第2のカラー画像データの一成分との比率であり、
前記第2比率は、前記第2のカラー画像データの一成分と前記第3のカラー画像データの一成分との比率である、形態1に記載の内視鏡システム。
前記第1の波長帯域は、前記第2の波長帯域及び前記第3の波長帯域に比べて広く、前記第2の波長帯域は、前記第3の波長帯域に比べて広く、
前記第1の波長帯域は、前記第1のカラー画像データの成分の1つが、前記生体組織のヘモグロビンの量の変化に対して感度を有しないような波長帯域を含む、形態2に記載の内視鏡システム。
前記第2の波長帯域は、前記第2のカラー画像データの成分の1つが、前記生体組織のヘモグロビン量の変化に対して感度を有するが、前記酸素飽和度の変化に対して感度を有しないような波長帯域を含む、形態2または3に記載の内視鏡システム。
前記第1比率は、前記第2のカラー画像データの輝度成分と、前記第1のカラー画像データのR成分、あるいはR成分及びG成分の合計成分との比率である、形態2〜4のいずれか1つに記載の内視鏡システム。
前記第2比率は、前記第3のカラー画像データの輝度成分と前記第2のカラー画像データの輝度成分との比率である、形態2〜5のいずれか1つに記載の内視鏡システム。
前記第2の波長帯域は、500nm〜600nmの範囲内にあり、
前記第3の波長帯域は、前記第2の波長帯域内の前記前記第2の波長帯域より狭い波長帯域であり、
前記第2の光は、光学フィルタで、前記第2の波長帯域の光成分を透過させた前記第1の光の濾過光であり、前記第3の光は、光学フィルタで、前記第3の波長帯域の光成分を透過させた前記第1の光の濾過光である、形態2〜6のいずれか1つに記載の内視鏡システム。
前記光源装置は、第4の波長帯域の光成分及び前記第4の波長帯域と異なる第5の波長帯域の光成分を含む第1の光、及び前記第4の波長帯域及び前記第5の波長帯域と異なる第3の波長帯域の第3の光を出射するように構成され、
前記撮像部は、前記第1の光及び前記第3の光でそれぞれ照明された生体組織を撮像することにより、前記第1の光に対応した第1のカラー画像データ及び前記第3の光に対応した第3のカラー画像データを生成するように構成され、
前記第1比率は、前記第1のカラー画像データから、前記第4の波長帯域及び前記第5の波長帯域のそれぞれに対応した前記第1のカラー画像データの対応成分同士の比から得られる比率であり、
前記第2比率は、前記対応成分の一つと前記第3のカラー画像データの一成分との比率である、形態1に記載の内視鏡システム。
前記第5の波長帯域は、前記対応成分のうち前記第5の波長帯域に対応した対応成分が、前記生体組織のヘモグロビン量の変化に対して感度を有するが、前記酸素飽和度の変化に対して感度を有しないような波長帯域を含む、形態8に記載の内視鏡システム。
前記第3の波長帯域は、前記第3のカラー画像データの成分の1つが、前記酸素飽和度の変化に対して感度を有するような波長帯域を含む、形態2〜9のいずれか1つに記載の内視鏡システム。
波長帯域の異なる少なくとも3つの光成分を含む光を出射するように構成された光源装置と、
前記光で照明された生体組織を撮像することによりカラー画像データを生成するように構成された撮像素子を備えた撮像部を含む内視鏡と、
前記光成分の波長帯域それぞれに対応した前記カラー画像データの対応成分を用いて、前記生体組織におけるヘモグロビンの量及び前記ヘモグロビンの酸素飽和度を算出し、前記酸素飽和度の分布を示す酸素飽和度分布画像を生成する特徴量取得部と、前記酸素飽和度分布画像の表示形態を制御する画像表示制御部と、を含むプロセッサと、
前記撮像部で撮像された前記生体組織の像に前記酸素飽和度分布画像を重ねて表示するディスプレイと、を備え、
前記特徴量取得部は、前記対応成分を用いて得られる第1比率に基づいて前記ヘモグロビンの量を算出するヘモグロビン量算出部と、前記対応成分を用いて得られる第2比率と前記ヘモグロビンの量あるいは前記第1比率とに基づいて前記ヘモグロビンの酸素飽和度を算出する酸素飽和度算出部と、を含み、
前記画像表示制御部は、前記第2比率の値が、前記ヘモグロビンの量に応じて定めた前記第2比率の許容範囲をはずれる画素について、前記生体組織の像に重ねる該画素の透過率を調整する、ことを特徴とする内視鏡システム。
前記画像表示制御部は、前記第2比率が許容範囲をはずれる画素の透過率を、前記第2比率が許容範囲内にある画素の透過率に比べて高くする、形態1〜11のいずれか1つに記載の内視鏡システム。
以降では、上記許容範囲をはずれた画素の透過率を0%超100%以下で調整した画素を透過画素と呼ぶ。したがって、透過画素は、重ねた下層の生体組織の像が完全に透けて見える透過率100%の画素から、重ねた下層の生体組織の像がわずかにしか見えない透過率数%の画素まで、種々の透過率の画素を含む。
以下、一実施形態について、図面を参照しながら説明する。
図1は、一実施形態に係る内視鏡システム1の構成を示すブロック図である。内視鏡システム1は、電子内視鏡(内視鏡)100、プロセッサ200、ディスプレイ300、及び光源装置400を備える。電子内視鏡100及びディスプレイ300は、プロセッサ200に着脱可能に接続されている。プロセッサ200は、画像処理部500を備える。光源装置400は、プロセッサ200に着脱自在に接続されている。光源装置400は、プロセッサ200の筐体内に組み込まれてもよい。
光源装置400は、キセノンランプ等の光量の大きい光を生成する光源ランプ430を光源として備える。光源装置400から出射した光は照明光ILとして、ライトガイド131の基端部131bに入射する。ライトガイド131の基端部131bに入射した光は、ライトガイド131を通ってその先端部131aに導かれ、先端部131aから出射される。電子内視鏡100の挿入管先端部111には、ライトガイド131の先端部131aと対向して配置された配光レンズ132が設けられている。ライトガイド131の先端部131aから出射する照明光ILは、配光レンズ132を通過して、挿入管先端部111の近傍の生体組織Tを照明する。
特徴量取得部510は、波長帯域の異なる複数の光で照明した生体組織Tのカラー画像データを用いて演算することにより特徴量を算出するので、フレームメモリ部506あるいはメモリ512から、特徴量取得部510で用いるカラー画像データ及び各種情報を呼び出す。
コントローラ516は、画像処理部500の各部分の動作指示及び動作制御を行う他、光源装置400、撮像素子141を含む電子内視鏡100の各部分の動作指示及び動作制御を行う部分である。
なお、特徴量取得部510及び画像表示制御部514は、コンピュータ上でプログラムを起動して実行することで上述した各機能を担うソフトウェアモジュールで構成されてもよいし、ハードウェアで構成されてもよい。
光源装置400は、波長帯域の異なる複数の光を出射するものであれば構成は特に制限されない。
光源装置400は、電子内視鏡100に外付けされた外部装置であるが、光源装置400がレーザ素子のような小型の光源で構成される場合、光源装置400は、電子内視鏡100の挿入管先端部111に設けられてもよい。この場合、ライトガイド131は不要となる。
また、光学フィルタ418は、紫外線カットフィルタであり、可視光波長領域では、光源ランプ430から放射された光は光学フィルタ418を透過する。光学フィルタ418を透過した光は、白色光WLとして通常観察像の撮像に使用される。なお、光学フィルタ418を使用せず、フレーム411の窓414cを開放した構成としてもよい。
したがって、光源ランプ430から放射される光のうち光学フィルタ415を透過した光を、以降Wide光といい、光源ランプ430から放射される光のうち光学フィルタ416を透過した光を、以降Narrow光といい、光源ランプ430から放射される光のうち光学フィルタ418を透過した光を、以降白色光WLという。
生体組織Tの特徴量は、プロセッサ500の特徴量取得部510で算出される。撮像した生体組織Tの画像から生体組織Tのヘモグロビンの量、及びヘモグロビンの酸素飽和度Satを特徴量として算出する処理を以下説明する。
但し、
Sat:酸素飽和度
[Hb]:還元ヘモグロビンの濃度
[HbO]:酸素化ヘモグロビンの濃度
[Hb]+[HbO]:ヘモグロビンの量(tHb)
特徴量取得部510のヘモグロビン量算出部510aは、具体的には、Wide光(第2の光)を照明光ILとして用いた生体組織Tのカラー画像データ(第2のカラー画像データ)の輝度成分Wide(Yh)を、白色光WL(第1の光)を照明光ILとして用いた生体組織Tのカラー画像データ(第1のカラー画像データ)のR成分WL(R)、あるいはR成分WL(R)及びG成分WL(G)の合計成分WL(R)+WL(G)で割った比率Wide(Yh)/WL(R)またはWide(Yh)/{WL(R)+WL(G)}(第1比率)に基づいてヘモグロビンの量を算出する。ヘモグロビンの量の算出において、輝度成分Wide(Yh)を、WL(R)あるいは{WL(R)+WL(G)}で割った比率Wide(Yh)/WL(R)またはWide(Yh)/{WL(R)+WL(G)}を用いるのは、照明光ILが生体組織Tの表面で散乱する程度によって生体組織Tの分光特性が変化することを除去するためである。特に、消化管内壁等の生体組織Tの反射スペクトルは、生体組織Tを構成する成分による吸収の波長特性(具体的には、酸素化ヘモグロビン及び還元ヘモグロビンの吸収スペクトル特性)に加えて、生体組織Tによる照明光の散乱の波長特性の影響を受け易い。白色光WL(第1の光)を照明光ILとして用いた生体組織Tのカラー画像データ(第1のカラー画像データ)のR成分WL(R)、あるいはR成分及びG成分の合計成分WL(R)+WL(G)は、ヘモグロビンの量や酸素飽和度Satの影響を受けず、照明光ILの生体組織Tにおける散乱の程度を表す。したがって、生体組織Tの反射スペクトルから、照明光ILの生体組織Tにおける散乱の影響を除去するために、白色光WL(基準光)の波長帯域は、第1のカラー画像データの成分の1つが、生体組織Tのヘモグロビンの量の変化に対して感度を有しないような波長帯域を含むように設定されていることが好ましい。これに加えて、白色光WL(基準光)の波長帯域は、第1のカラー画像データの成分の1つが、酸素飽和度の変化に対して感度を有しないような波長帯域を含むように設定されていることが好ましい。
一実施形態では、ヘモグロビンの量が既知の生体組織における上述の第1比率の情報とヘモグロビンの量の対応関係を表した参照テーブルをメモリ512に予め記憶しておき、特徴量取得部510のヘモグロビン量算出部510aは、この参照テーブルを用いて、生体組織Tの撮像したカラー画像データにおける上記第1比率の値に基づいてヘモグロビンの量を算出する。
また、一実施形態によれば、ヘモグロビンの量及び第2比率の値とヘモグロビンの酸素飽和度Satとの対応関係を表した参照テーブルを既知の試料から求めて予めメモリ512に記憶しておき、この参照テーブルを参照して、算出した第2比率からヘモグロビンの酸素飽和度Satを算出することもできる。
また、白色光WL(第1の光)の波長帯域は、第1のカラー画像データの1つの成分が、生体組織Tのヘモグロビンの量の変化に対して感度を有しないような波長帯域を含むように設定されていることが、生体組織Tにおける散乱光の分光特性の影響を除去することができる点から好ましい。
特徴量取得部510の酸素飽和度量算出部510bは、上述したように第2比率を求めると、ヘモグロビン量算出部510aで求めたヘモグロビンの量と第2比率とに基づいて、図6に示す対応関係を用いて、求めたヘモグロビンの量における第2比率の上限値及び下限値を求める。この上限値が酸素飽和度Sat=100%を示し、下限値が酸素飽和度Sat=0%を示す。この上限値と下限値の間のどの位置に求めた第2比率はあるかを求めることで、酸素飽和度量算出部510bは、酸素飽和度Satの値を求める。酸素飽和度0〜100%の間は、第2比率の値に応じて線形的に変化するとして、第2比率の値から酸素飽和度の値を算出する。図6では、ヘモグロビンの量がH1であるときの上限値Max(100%)と下限値Min(0%)を求めている。この上限値Max(100%)と下限値Min(0%)と第2比率の値Yから、酸素飽和度Satの値が求められる。
上述したように、内視鏡システム1では、複数の光で生体組織Tを照明し撮像することにより生成される各光に対応するカラー画像データの成分から求められる比率(第2比率)に基づいてヘモグロビンの酸素飽和度Satを算出するので、酸素飽和度Satの値によって酸素飽和度Satの分布を色のグラデーションで表した酸素飽和度分布画像も、撮像した画像中の生体組織Tの像の位置ずれを反映した画像となる。
より具体的に説明すると、酸素飽和度Satの算出は、第1比率に基づいてヘモグロビンの量を算出することと、第2比率とヘモグロビンの量に基づいて酸素飽和度Satを算出することにより行われる。ここで、第1比率及び第2比率のそれぞれは、波長帯域の異なる白色光WL、Wide光、及びNarrow光でそれぞれ時間間隔をあけて照明された生体組織Tを撮像することにより生成されるカラー画像データの成分間の比である。これらの撮像された各画像上の生体組織Tの像は、生体組織の動きや撮像素子の手ぶれ等により、異なる画像間で生体組織Tの像が位置ずれしている場合がある。例えば、白色光WLに対応する生体組織Tの像とWide光に対応する生体組織の像が、画像中で位置ずれする場合や、Wide光に対応する生体組織Tの像とNarrow光に対応する生体組織の像が、画像中で位置ずれする場合や、白色光WLに対応する生体組織Tの像とWide光に対応する生体組織の像とNarrow光に対応する生体組織の像とが、互いに画像中で位置ずれする場合等がある。
像1に対して、像2は、画像中で左下方に位置ずれしている。このような像1及び像2の画像データから得られる第1比率は、位置ずれにより本来の像とは関係のない位置で値が高くなり、あるいは低くなる。このため、第1比率に基づいて求められるヘモグロビンの量の分布画像には、位置ずれによって、図7(c)に示すように、ヘモグロビンの量の高い場所と、ヘモグロビンの低い場所がアーチファクトとして形成される。
像3に対して、像4は、位置ずれしていないので、ヘモグロビンの量の分布画像には位置ずれに起因するアートファクトは形成されない。しかし、像5は、像4に対して画像中で左下方に位置ずれしている。このような像4及び像5の画像データから得られる第2比率は、位置ずれにより本来の像とは関係のない位置で値が高くなり、あるいは低くなる。このため、第2比率とアーチファクトの形成されないヘモグロビンの量の分布画像に基づいて求められるヘモグロビンの酸素飽和度分布画像(Sat分布画像)には、位置ずれによって、図8(d)に示すように、酸素飽和度の高い場所(黒い部分)と、酸素飽和度の低い場所(白抜き部分)がアーチファクトとして形成される。
また、図8(a)〜(c)に示すように、像3と像4に位置ずれがないので、正しいヘモグロビンの量の分布画像が得られるとしても、像4と像5が位置ずれすることにより、像4と像5の画像データから得られる第2比率には、位置ずれに起因した値の高い場所と低い場所が生まれる。この場合、ヘモグロビンの量の値が本来あるべき正しい値H1であっても、第2比率が上限値Max1と下限値Min1の間の範囲からはずれる場合があり、第2比率が上限値Max1を超える場合、例えば赤色の表示をし、第2比率が下限値Min1を下回る場合、例えば青色の表示をする。このため、図8(d)に示すように、酸素飽和度Satの値を色で表示した酸素濃度分布画像では、赤色あるいは青色のアーチファクトが発生する。
ヘモグロビンの量に応じて定まる第2比率の上限値と下限値との間の領域を、酸素飽和度Satに応じて色を変化させるグラデーション領域GDとし、第2比率が上限値を超える領域及び第2比率が下限値を下回る領域を、透過画素領域TP1,TP2とする。従来のグラデーションは、図10(b)に示すように、第2比率が上限値と下限値との間の領域をはずれる領域も、赤色や青色で表示するグラデーション領域GDであった。
このように、第2比率の許容範囲をはずれる酸素飽和度分布画像の画素を透過画素にすることにより、この部分の生体組織Tの像が見えることになるので、像の位置ずれに起因した異常値やアーチファクトを目立たなくして酸素飽和度分布画像を表示することができる。このため、内視鏡システムを利用する操作者は、体腔内の酸素飽和度の低い領域に基づいて悪性腫瘍部の有無を判断しその位置を特定する際、誤判断と間違った位置特定の可能性を低くすることができる。
その際、第3の波長帯域は、第3のカラー画像データの成分の1つが、酸素飽和度の変化に対して感度を有するような波長帯域を含むことが、精度の高い酸素飽和度を算出することができる点で好ましい。
この場合、ヘモグロビン量算出部510aは、カラー画像データから抽出される3つの光成分の波長帯域に対応した対応成分を用いて得られる第1比率に基づいてヘモグロビンの量を算出し、酸素飽和度算出部510bは、抽出した対応成分を用いて得られる第2比率と算出したヘモグロビンの量あるいは第1比率とに基づいてヘモグロビンの酸素飽和度を算出する。
100 電子内視鏡
110 挿入管
111 挿入管先端部
121 対物レンズ群
131 ライトガイド
131a 先端部
131b 基端部
132 レンズ
141 撮像素子
141a カラーフィルタ
142 ケーブル
200 プロセッサ
300 ディスプレイ
400 光源部
410 回転フィルタ
420 フィルタ制御部
430 光源ランプ
440 集光レンズ
450 集光レンズ
500 画像処理部
502 A/D変換回路
504 プレ画像処理部
506 フレームメモリ部
508 ポスト画像処理部
510 特徴量取得部
512 メモリ
514 画像表示制御部
516 コントローラ
Claims (12)
- 波長帯域の異なる少なくとも2つの光を出射するように構成された光源装置と、
少なくとも2つの前記光でそれぞれ照明された生体組織を撮像することにより、各光に対応した前記生体組織の像のカラー画像データを生成するように構成された撮像素子を備えた撮像部を含む内視鏡と、
前記カラー画像データの成分を用いて前記生体組織におけるヘモグロビンの量及び前記ヘモグロビンの酸素飽和度を算出し、前記酸素飽和度の分布を示す酸素飽和度分布画像を生成するように構成された特徴量取得部と、前記酸素飽和度分布画像の表示形態を制御するように構成された画像表示制御部と、を含むプロセッサと、
前記撮像部で撮像された前記生体組織の像に前記酸素飽和度分布画像を重ねて表示するように構成されたディスプレイと、を備え、
前記特徴量取得部は、前記カラー画像データの成分を用いて得られる第1比率に基づいて前記ヘモグロビンの量を算出するように構成されたヘモグロビン量算出部と、前記カラー画像データの成分を用いて得られる第2比率と前記ヘモグロビンの量とに基づいて前記ヘモグロビンの酸素飽和度を算出するように構成された酸素飽和度算出部と、を含み、
前記画像表示制御部は、前記第2比率の値が、前記ヘモグロビンの量に応じて定めた前記第2比率の許容範囲をはずれる画素について、前記生体組織の像に重ねる該画素の透過率を調整するように構成された、ことを特徴とする内視鏡システム。 - 前記光源装置は、第1の波長帯域の第1の光、前記第1の波長帯域と異なる第2の波長帯域の第2の光、及び第1の波長帯域及び前記第2の波長帯域と異なる第3の波長帯域の第3の光を含む少なくとも3以上の光を出射するように構成され、
前記撮像部は、前記第1の光、前記第2の光、及び前記第3の光でそれぞれ照明された生体組織を撮像することにより、前記第1の光に対応した第1のカラー画像データ、前記第2の光に対応した第2のカラー画像データ、及び前記第3の光に対応した第3のカラー画像データを生成するように構成され、
前記第1比率は、前記第1のカラー画像データの一成分と前記第2のカラー画像データの一成分との比率であり、
前記第2比率は、前記第2のカラー画像データの一成分と前記第3のカラー画像データの一成分との比率である、請求項1に記載の内視鏡システム。 - 前記第1の波長帯域は、前記第2の波長帯域及び前記第3の波長帯域に比べて広く、前記第2の波長帯域は、前記第3の波長帯域に比べて広く、
前記第1の波長帯域は、前記第1のカラー画像データの成分の1つが、前記生体組織のヘモグロビンの量の変化に対して感度を有しないような波長帯域を含む、請求項2に記載の内視鏡システム。 - 前記第2の波長帯域は、前記第2のカラー画像データの成分の1つが、前記生体組織のヘモグロビン量の変化に対して感度を有するが、前記酸素飽和度の変化に対して感度を有しないような波長帯域を含む、請求項2または3に記載の内視鏡システム。
- 前記第1比率は、前記第2のカラー画像データの輝度成分と、前記第1のカラー画像データのR成分、あるいはR成分及びG成分の合計成分との比率である、請求項2〜4のいずれか1項に記載の内視鏡システム。
- 前記第2比率は、前記第3のカラー画像データの輝度成分と前記第2のカラー画像データの輝度成分との比率である、請求項2〜5のいずれか1項に記載の内視鏡システム。
- 前記第2の波長帯域は、500nm〜600nmの範囲内にあり、
前記第3の波長帯域は、前記第2の波長帯域内の前記前記第2の波長帯域より狭い波長帯域であり、
前記第2の光は、光学フィルタで、前記第2の波長帯域の光成分を透過させた前記第1の光の濾過光であり、前記第3の光は、光学フィルタで、前記第3の波長帯域の光成分を透過させた前記第1の光の濾過光である、請求項2〜6のいずれか1項に記載の内視鏡システム。 - 前記光源装置は、第4の波長帯域の光成分及び前記第4の波長帯域と異なる第5の波長帯域の光成分を含む第1の光、及び前記第4の波長帯域及び前記第5の波長帯域と異なる第3の波長帯域の第3の光を出射するように構成され、
前記撮像部は、前記第1の光及び前記第3の光でそれぞれ照明された生体組織を撮像することにより、前記第1の光に対応した第1のカラー画像データ及び前記第3の光に対応した第3のカラー画像データを生成するように構成され、
前記第1比率は、前記第1のカラー画像データから、前記第4の波長帯域及び前記第5の波長帯域のそれぞれに対応した前記第1のカラー画像データの対応成分同士の比から得られる比率であり、
前記第2比率は、前記対応成分の一つと前記第3のカラー画像データの一成分との比率である、請求項1に記載の内視鏡システム。 - 前記第5の波長帯域は、前記対応成分のうち前記第5の波長帯域に対応した対応成分が、前記生体組織のヘモグロビン量の変化に対して感度を有するが、前記酸素飽和度の変化に対して感度を有しないような波長帯域を含む、請求項8に記載の内視鏡システム。
- 前記第3の波長帯域は、前記第3のカラー画像データの成分の1つが、前記酸素飽和度の変化に対して感度を有するような波長帯域を含む、請求項2〜9のいずれか1項に記載の内視鏡システム。
- 波長帯域の異なる少なくとも3つの光成分を含む光を出射するように構成された光源装置と、
前記光で照明された生体組織を撮像することによりカラー画像データを生成するように構成された撮像素子を備えた撮像部を含む内視鏡と、
前記光成分の波長帯域それぞれに対応した前記カラー画像データの対応成分を用いて、前記生体組織におけるヘモグロビンの量及び前記ヘモグロビンの酸素飽和度を算出し、前記酸素飽和度の分布を示す酸素飽和度分布画像を生成する特徴量取得部と、前記酸素飽和度分布画像の表示形態を制御する画像表示制御部と、を含むプロセッサと、
前記撮像部で撮像された前記生体組織の像に前記酸素飽和度分布画像を重ねて表示するディスプレイと、を備え、
前記特徴量取得部は、前記対応成分を用いて得られる第1比率に基づいて前記ヘモグロビンの量を算出するヘモグロビン量算出部と、前記対応成分を用いて得られる第2比率と前記ヘモグロビンの量とに基づいて前記ヘモグロビンの酸素飽和度を算出する酸素飽和度算出部と、を含み、
前記画像表示制御部は、前記第2比率の値が、前記ヘモグロビンの量に応じて定めた前記第2比率の許容範囲をはずれる画素について、前記生体組織の像に重ねる該画素の透過率を調整する、ことを特徴とする内視鏡システム。 - 前記画像表示制御部は、前記第2比率が許容範囲をはずれる画素の透過率を、前記第2比率が許容範囲内にある画素の透過率に比べて高くする、請求項1〜11のいずれか1項に記載の内視鏡システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016171951 | 2016-09-02 | ||
JP2016171951 | 2016-09-02 | ||
PCT/JP2017/031674 WO2018043727A1 (ja) | 2016-09-02 | 2017-09-01 | 内視鏡システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6467562B2 JP6467562B2 (ja) | 2019-02-13 |
JPWO2018043727A1 true JPWO2018043727A1 (ja) | 2019-02-21 |
Family
ID=61301864
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018537577A Active JP6467562B2 (ja) | 2016-09-02 | 2017-09-01 | 内視鏡システム |
Country Status (5)
Country | Link |
---|---|
US (1) | US10575718B2 (ja) |
JP (1) | JP6467562B2 (ja) |
CN (1) | CN109475283B (ja) |
DE (1) | DE112017004418B4 (ja) |
WO (1) | WO2018043727A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2018070474A1 (ja) | 2016-10-14 | 2019-06-24 | Hoya株式会社 | 内視鏡システム |
JP6891304B2 (ja) * | 2018-02-09 | 2021-06-18 | 富士フイルム株式会社 | 内視鏡システム |
WO2019234815A1 (ja) * | 2018-06-05 | 2019-12-12 | オリンパス株式会社 | 内視鏡装置、内視鏡装置の作動方法及びプログラム |
US11625825B2 (en) | 2019-01-30 | 2023-04-11 | Covidien Lp | Method for displaying tumor location within endoscopic images |
CN113905653B (zh) * | 2019-05-21 | 2025-01-03 | 富士胶片株式会社 | 内窥镜系统、内窥镜系统的工作方法、图像处理装置及计算机可读介质 |
CN113616138B (zh) * | 2021-08-03 | 2024-05-03 | 北京双翼麒电子有限公司 | 一种多光谱内窥镜图像处理系统 |
CN114295586A (zh) * | 2021-12-29 | 2022-04-08 | 之江实验室 | 一种高精度三光谱血氧饱和度分布成像方法 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2768936B2 (ja) * | 1997-01-13 | 1998-06-25 | 株式会社東芝 | 電子内視鏡装置 |
JP5405373B2 (ja) * | 2010-03-26 | 2014-02-05 | 富士フイルム株式会社 | 電子内視鏡システム |
JP5395725B2 (ja) * | 2010-04-05 | 2014-01-22 | 富士フイルム株式会社 | 電子内視鏡システム |
JP5351924B2 (ja) * | 2011-04-01 | 2013-11-27 | 富士フイルム株式会社 | 生体情報取得システムおよび生体情報取得システムの作動方法 |
CN103781395B (zh) * | 2011-09-05 | 2016-04-13 | 富士胶片株式会社 | 内窥镜系统、用于所述内窥镜系统的处理设备和图像生成方法 |
JP5887350B2 (ja) * | 2011-09-05 | 2016-03-16 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
JP5914496B2 (ja) * | 2011-09-05 | 2016-05-11 | 富士フイルム株式会社 | 内視鏡システム及びプロセッサ装置並びに内視鏡システムの作動方法 |
JP2013240401A (ja) | 2012-05-18 | 2013-12-05 | Hoya Corp | 電子内視鏡装置 |
JP6010571B2 (ja) * | 2014-02-27 | 2016-10-19 | 富士フイルム株式会社 | 内視鏡システム、内視鏡システム用プロセッサ装置、内視鏡システムの作動方法、内視鏡システム用プロセッサ装置の作動方法 |
JP6210923B2 (ja) * | 2014-04-07 | 2017-10-11 | オリンパス株式会社 | 生体観察システム |
JP6356051B2 (ja) * | 2014-11-21 | 2018-07-11 | Hoya株式会社 | 分析装置及び分析装置の作動方法 |
JP6346576B2 (ja) * | 2015-02-27 | 2018-06-20 | Hoya株式会社 | 画像処理装置 |
-
2017
- 2017-09-01 DE DE112017004418.9T patent/DE112017004418B4/de active Active
- 2017-09-01 US US16/318,300 patent/US10575718B2/en active Active
- 2017-09-01 CN CN201780043153.6A patent/CN109475283B/zh active Active
- 2017-09-01 WO PCT/JP2017/031674 patent/WO2018043727A1/ja active Application Filing
- 2017-09-01 JP JP2018537577A patent/JP6467562B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP6467562B2 (ja) | 2019-02-13 |
US10575718B2 (en) | 2020-03-03 |
CN109475283A (zh) | 2019-03-15 |
DE112017004418B4 (de) | 2019-12-19 |
WO2018043727A1 (ja) | 2018-03-08 |
US20190223703A1 (en) | 2019-07-25 |
CN109475283B (zh) | 2020-06-12 |
DE112017004418T5 (de) | 2019-05-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6467562B2 (ja) | 内視鏡システム | |
WO2017145529A1 (ja) | 計算システム | |
JP5654511B2 (ja) | 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法 | |
US20080177140A1 (en) | Cameras for fluorescence and reflectance imaging | |
JP2016052391A (ja) | 撮像システム | |
CN110087528B (zh) | 内窥镜系统以及图像显示装置 | |
US10925527B2 (en) | Endoscope apparatus | |
WO2016117049A1 (ja) | 内視鏡装置 | |
JP6615369B2 (ja) | 内視鏡システム | |
JP6113943B1 (ja) | 内視鏡システム及び分析装置 | |
CN109310305B (zh) | 内窥镜系统及特征量计算方法 | |
JP2021035549A (ja) | 内視鏡システム | |
JP6284451B2 (ja) | 内視鏡装置 | |
JP6570484B2 (ja) | 分析装置 | |
WO2018037505A1 (ja) | 内視鏡システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181108 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20181108 |
|
TRDD | Decision of grant or rejection written | ||
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20181212 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181218 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190111 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6467562 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |