JP6692440B2 - 内視鏡システム - Google Patents
内視鏡システム Download PDFInfo
- Publication number
- JP6692440B2 JP6692440B2 JP2018539569A JP2018539569A JP6692440B2 JP 6692440 B2 JP6692440 B2 JP 6692440B2 JP 2018539569 A JP2018539569 A JP 2018539569A JP 2018539569 A JP2018539569 A JP 2018539569A JP 6692440 B2 JP6692440 B2 JP 6692440B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- spot
- subject
- marker
- index
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003287 optical effect Effects 0.000 claims description 156
- 238000005259 measurement Methods 0.000 claims description 107
- 238000003384 imaging method Methods 0.000 claims description 84
- 230000004075 alteration Effects 0.000 claims description 15
- 239000003086 colorant Substances 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 2
- 239000003550 marker Substances 0.000 description 125
- 238000010586 diagram Methods 0.000 description 54
- 238000005286 illumination Methods 0.000 description 34
- 238000000034 method Methods 0.000 description 17
- 239000013307 optical fiber Substances 0.000 description 17
- 230000006870 function Effects 0.000 description 15
- 230000008859 change Effects 0.000 description 13
- 238000012545 processing Methods 0.000 description 13
- 206010028980 Neoplasm Diseases 0.000 description 10
- 238000003780 insertion Methods 0.000 description 10
- 230000037431 insertion Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 8
- 230000035945 sensitivity Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 239000000835 fiber Substances 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 238000007796 conventional method Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 230000001678 irradiating effect Effects 0.000 description 3
- 230000003902 lesion Effects 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000005452 bending Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000004907 flux Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000012779 reinforcing material Substances 0.000 description 2
- 241000872198 Serjania polyphylla Species 0.000 description 1
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000001035 gastrointestinal tract Anatomy 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00064—Constructional details of the endoscope body
- A61B1/00071—Insertion part of the endoscope body
- A61B1/0008—Insertion part of the endoscope body characterised by distal tip features
- A61B1/00096—Optical elements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00064—Constructional details of the endoscope body
- A61B1/00071—Insertion part of the endoscope body
- A61B1/0008—Insertion part of the endoscope body characterised by distal tip features
- A61B1/00097—Sensors
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/063—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for monochromatic or narrow-band illumination
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
- A61B1/0676—Endoscope light sources at distal tip of an endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
- A61B5/061—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
- A61B5/064—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body using markers
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
- A61B5/1076—Measuring physical dimensions, e.g. size of the entire body or parts thereof for measuring dimensions inside body cavities, e.g. using catheters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/022—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/028—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring lateral position of a boundary of the object
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
- G01B21/02—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness
- G01B21/04—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness by measuring coordinates of points
- G01B21/045—Correction of measurements
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
- G01N21/954—Inspecting the inner surface of hollow bodies, e.g. bores
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
- G02B23/2407—Optical details
- G02B23/2423—Optical details of the distal end
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
- G02B23/2407—Optical details
- G02B23/2423—Optical details of the distal end
- G02B23/243—Objectives for endoscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
- G02B23/2407—Optical details
- G02B23/2461—Illumination
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
- G02B23/2407—Optical details
- G02B23/2461—Illumination
- G02B23/2469—Illumination using optical fibres
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Medical Informatics (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Astronomy & Astrophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Analytical Chemistry (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Chemical & Material Sciences (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Theoretical Computer Science (AREA)
- Endoscopes (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
Description
図1は、第1の実施形態に係る内視鏡システム10(内視鏡システム)を示す外観図であり、図2は内視鏡システム10の要部構成を示すブロック図である。図1,2に示すように、内視鏡システム10は、内視鏡本体110、内視鏡プロセッサ200(プロセッサ)、光源装置300、及びモニタ400(表示装置、選択部)から構成される内視鏡装置100を含んでいる。
内視鏡本体110は、手元操作部102と、この手元操作部102に連設される挿入部104とを備える。術者は手元操作部102を把持して操作し、挿入部104を被検体の体内に挿入して観察を行う。挿入部104は、手元操作部102側から順に、軟性部112、湾曲部114、先端硬質部116で構成されている。先端硬質部116には、撮像光学系130(撮像光学系、撮像部)、照明部123、鉗子口126、レーザモジュール500(補助光照射部)等が設けられる(図1〜3参照)。
図2及び図5に示すように、レーザモジュール500(補助光照射部)はレーザ光源モジュール502と、光ファイバー504と、レーザヘッド506とを備える。光ファイバー504の基端側(レーザ光源モジュール502側)はファイバー外皮501で被覆され、先端側(レーザ光を出射する側)はフェルール(ferrule)508に挿入されて接着剤で接着され、端面が研磨される。フェルール508の先端側にGRIN(Graded Index)レンズ510が装着され、GRINレンズ510の先端側にプリズム512が装着されて接合体を形成する。フェルール508は光ファイバー504を保持、接続するための部材であり、中心部には光ファイバー504を挿通するための穴が軸方向(図5の左右方向)に空けられている。フェルール508及びファイバー外皮501の外側に補強材507が設けられて光ファイバー504等を保護する。フェルール508,GRINレンズ510,及びプリズム512はハウジング509に収納され、補強材507及びファイバー外皮501と一体になってレーザヘッド506を構成する。
図7は第1の実施形態に係る先端硬質部116を前方(被写体側)から見た状態を示す図であり、図3の構成に対応する図である。第1の実施形態では、計測補助光の光軸L1と撮像光学系の光軸L2とは同一平面上に存在し、その同一平面上で交差する。したがって、先端硬質部116を前方(被写体側)から見ると、図7のように光軸L2が光軸L1上を通るように見える。なお、図8は図4の構成に対応する図である。図4及び図8に示す態様においても、計測補助光の光軸L1と撮像光学系の光軸L2とは同一平面上に存在し、その同一平面上で交差する。これらの態様によれば、撮像光学系の光軸L2と計測補助光の光軸L1とが同一平面上に存在し観察距離変化に伴うマーカの軌跡が画面の中心を通るため、画面中心付近にマーカが存在する領域が広くなり計測精度が向上する。
図2に示すように、光源装置300は、照明用の光源310、絞り330、集光レンズ340、及び光源制御部350等から構成されており、照明光(可視光または赤外光)をライトガイド170に入射させる。光源310は、可視光源310A及び赤外光源310Bを備えており、可視光及び赤外線の一方または両方を照射可能である。可視光源310A及び赤外光源310Bによる照明光の照度は、光源制御部350により制御され、後述するように、スポットを撮像して計測する際(計測モード時)に必要に応じて照明光の照度を下げたり、照明を停止したりすることができる。
次に、図2に基づき内視鏡プロセッサ200の構成を説明する。内視鏡プロセッサ200は、内視鏡装置100から出力される画像信号を画像入力コントローラ202を介して入力し、画像処理部204で必要な画像処理を行ってビデオ出力部206を介して出力する。これによりモニタ400に観察画像が表示される。これらの処理はCPU(Central Processing Unit;中央処理装置)210の制御下で行われる。画像処理部204では、ホワイトバランス調整等の画像処理の他、モニタ400に表示する画像の切替や重畳表示、電子ズーム処理、操作モードに応じた画像の表示、画像信号からの特定成分(例えば輝度信号)の抽出等を行う。また画像処理部204では、撮像素子134の結像面におけるスポット位置の測定や、測定した位置に基づくマーカの大きさ(ピクセル数)の算出が行われる(後述)。メモリ212には、CPU210や画像処理部204が行う処理に必要な情報、例えば撮像素子134の結像面におけるスポットの位置とマーカの大きさとの関係があらかじめ記憶されている。この関係は、関数形式で記憶してもよいし、テーブル形式で記憶してもよい。
図10は内視鏡装置100の挿入部104を被検体内に挿入した状態を示す図であり、撮像光学系130を介して撮像範囲IAについて観察画像を取得する様子を示している。図10では、スポットSP0が腫瘍tm(黒色で隆起している部分)の付近に形成されている様子を示す。
次に、内視鏡システム10を用いた被検体の計測について説明する。図11は計測処理を示すフローチャートである。
ステップS18では、マーカ(指標図形)の表示条件を設定する。この設定は操作部208及び/またはモニタ400のタッチパネルを介したユーザ操作により内視鏡プロセッサ200が行うことができ、これによりユーザは所望の態様でマーカを表示させて被写体の大きさを容易に計測することができる。表示条件設定操作の詳細は後述する(図16〜図30を参照)。なお図11のフローチャートではステップS16での計測モード設定後にマーカ表示条件を設定しているが、表示条件の設定はシステム起動時等他のタイミングで行ってもよい。また、表示条件は必要に応じて変更することができる(ステップS28参照)。
第1の実施形態では、計測補助光の光軸L1を撮像光学系の光軸L2を含む平面に射影した場合に、光軸L1が光軸L2に対し0度でない傾き角を有し、撮像光学系の画角を横切る。したがって、画像(撮像素子)におけるスポットの位置は被写体までの距離によって異なる。例えば、図12(光軸L1及び光軸L2を含む平面内において、先端硬質部116を側面方向から見た状態を示す図)に示すように、観察距離の範囲R1(測長距離範囲)において観察可能であるとすると、範囲R1の近端P1(至近距離)、中央付近の点P2、及び遠端P3(最遠距離)では、各点での撮像範囲(矢印Q1,Q2,Q3で示す)におけるスポットの位置(各矢印と光軸L1が交わる点)が異なることが分かる。なお、図12において実線の内側が撮像光学系130の撮像画角であり、一点鎖線の内側が計測画角である。撮像光学系130の撮像画角のうち収差の少ない中央部分で計測を行うようにしている。
次に、上述したマーカ表示条件設定(図11のステップS18)及び設定した条件による表示の態様について詳細に説明する。図16はマーカ表示条件を設定するための初期画面の例を示す図である。図16では、表示条件の各項目について条件名(領域C01〜C08)、設定条件の内容(数値等;領域V01〜V08)、及び条件設定用のボタン(A01〜A08)が示されている。画面下部に設けられたボタンB01は表示条件確定用、ボタンB02は条件変更のキャンセル用、ボタンB03は条件変更のクリア(初期値に戻す)用のボタンである。図16〜図30の画面はモニタ400に表示され、モニタ400のタッチパネル及び/または操作部208の図示せぬキーボード及びマウスを介したユーザの操作により表示条件を設定することができる。
次に、表示条件設定操作の具体例について説明する。図17はマーカ数を設定する画面の例を示す図であり、図16の画面でモニタ400に備えられたタッチパネルの操作、あるいは操作部208を介した操作等(他の項目についても同様)によりボタンA01を指定すると領域V01がプルダウン表示の状態になり図17の状態に遷移する。なお、図17においてマーカ数以外の項目については図示を省略している。図17では、マーカ数として設定可能な値(この場合、1から5まで)が領域V01に表示され、値を設定するにはユーザはボタンA01a,A01b、及びスライドバーA01cで選択範囲を上下に移動させて数値(例1では“1”)を選択し、ボタンB01(OKボタン)を指定すればよい。
上述した例ではモニタ400のタッチパネル及び/または操作部208の図示せぬキーボード及びマウスによりマーカ表示条件を設定する場合について説明したが、表示条件の設定は他の操作手段を介して行ってもよい。例えば手元操作部102にボタン類を設けて表示条件を設定してもよい。また、フットペダル、音声入力、視線入力、ジェスチャ入力等により表示条件を設定してもよい。内視鏡装置100の操作時はユーザが両手を自由に動かせない場合があり、そのような場合はこれらの操作手段が有効である。
<例1>
上述の条件での画面表示の例を図21に示す。モニタ400に表示される画面は図21のように画像表示領域D01及び情報表示領域D02から構成される。画像表示領域D01には、腫瘍tm1に対しスポットSP1が形成され、スポットSP1と中心を一致させて十字状のマーカM1(単一のマーカ)が黒色で表示される。図21で“5”とあるのは、図22に示すようにマーカM1の上下方向及び左右方向における画面上の大きさ(ピクセル数)が実サイズでは5mmに対応していることを示す。一方、情報表示領域D02には、内視鏡システム10が「計測モード」である旨が領域D02Aに表示され、現在の表示条件が領域D02Bに表示される。ボタンB04を指定すると通常観察モードに変更され、ボタンB05を指定すると図16〜図20に示すような表示条件設定画面が表示される。
図21の例ではマーカM1はスポットSP1の位置を中心に表示している。これはスポットSP1の位置がマーカの大きさを最も適切に表しているからである。しかしマーカの表示はこのような態様に限定されるものではない。例えば図23に示すように、例1の条件をボタンB05の指定を介して「オフセット表示:ON」に変更することによりマーカM2の中心をスポットSP2の中心からオフセットさせ、画面中央(図23では腫瘍tm2上)にマーカM2を表示してもよい。オフセット位置は、ユーザが指定できるようにしてもよい。このようにマーカをオフセット表示しても、観察対象が撮像光学系130に対して正対している場合(斜めになっていない場合)は表示位置に依存した計測精度への影響が少ない。
撮像光学系130の歪曲収差は撮影画角の周辺で大きくなるため、マーカを画面の周辺部分に表示する際は歪曲収差の補正を行うことが好ましい。図24は、撮像光学系130の歪曲収差の影響を補正してマーカを表示した様子を示す図である。腫瘍tm3上に形成されたスポットSP3を中心として、歪曲収差補正後のマーカM3が表示されている。ボタンB05の指定を介して「歪曲表示:ON」とすることにより、このような表示を行うことができる。なお、補正の際に歪曲収差のデータは撮像光学系130の設計値を用いてもよいし、別途測定して取得してもよい。なおマーカを歪曲表示するのではなく、被写体の画像を歪曲収差に応じて補正し、補正後の画像に対して歪曲させないマーカを表示してもよい。これにより被写体の形状等が正確に表示され高精度に計測を行うことができる。
図25は、大きさが異なる3つの同心円状のマーカM4A,M4B,M4C(大きさはそれぞれ直径が2mm,5mm,10mm)を腫瘍tm4上に形成されたスポットSP4を中心として表示した例である。マーカを複数表示するので切り替えの手間が省け、また被写体が非対称な形状をしている場合でも計測が容易である。
図25に示す例では3つのマーカ全てを同じ色(黒)で表示しているが、複数のマーカを表示する場合、マーカによって色を変えてもよい。図26は各マーカの色を変えた場合の表示例であり、マーカM5Aは赤、マーカM5Bは青色、マーカM5Cは白で表示している。なお色の違いは図示困難なため、色の違いを線種の違い(赤は点線、青は実線、白は一点鎖線)で示している。このようにマーカの色を変えることで識別性が向上し、容易に計測を行うことができる。
図25,26のように同心円状のマーカを表示させる場合に、各マーカを図24のように「歪曲表示:ON」とした場合の表示例を図27に示す。図27の場合は、完全な同心円ではなく歪んだ形のマーカM6A,M6B,M6Cが腫瘍tm5に形成されたスポットSP5を中心に表示している。
次に、表示条件設定操作の他の例について説明する。図16について説明した例ではマーカの表示条件を文字表示しているが、マーカのタイプを示すアイコン状の小画像を表示条件設定画面に表示し、その小画像を選択することで表示条件を設定できるようにしてもよい。図29はそのような小画像による表示条件設定の様子を示す図であり、タイプの異なるマーカを示す小画像K01〜K09が表示され、同心円状のマーカを示す小画像K07が選択されている。この状態からその他の表示条件(大きさ、色、数値表示等)を設定する場合、図29と同様に他の表示条件に対応した小画像をさらに選択することで設定してもよいし、図16〜20等と同様の操作により設定してもよい。
第1の実施形態では、スポットの撮像素子上の位置と被写体の実寸サイズに対応するマーカの大きさ(ピクセル数)との関係をあらかじめ測定してスポット位置に関連づけてメモリ212に記憶しておき、計測したスポット位置に応じてこの関係を参照してマーカの大きさを算出する。以下、スポット位置とマーカの大きさとの関係の測定手順の例を説明する。なお、ここではマーカは十字型とし、水平方向及び垂直方向の実寸サイズを5mmとする。
上述した実施形態及び変形例では、照明及び観察用の光源装置300(照明光源)が可視光源310A(照明光源)及び赤外光源310B(照明光源)を備える場合について説明しているが、本発明の実施において光源の構成はこのような態様に限られない。例えば(白色)、(青色、緑色、赤色)、または(紫色、青色、緑色、赤色)等波長の異なる1または複数のLEDにより光源を構成してもよい。この場合観察対象や観察条件に応じて各色のLEDを単独で発光させてもよいし、複数色のLEDを同時に発光させてもよい。また全ての単色光のLEDを同時に発光させることで白色光を照射してもよい。
上述した実施形態及び変形例では、撮像素子134は各画素に対しカラーフィルタが配設されたカラー撮像素子である場合について説明したが、本発明において撮像素子の構成及び撮像方式はこのような態様に限定されるものではなく、モノクロ撮像素子(CCD型、CMOS型等)でもよい。
本発明の内視鏡システムは、生体である被検体を計測する以外に、配管等の生体でない被検体を計測する場合にも適用できる。また本発明の内視鏡システムは、工業用部品や製品の寸法や形状を計測する場合にも適用できる。
100 内視鏡装置
102 手元操作部
104 挿入部
106 ユニバーサルケーブル
108 ライトガイドコネクタ
110 内視鏡本体
112 軟性部
114 湾曲部
116 先端硬質部
116A 先端側端面
123 照明部
123A 照明用レンズ
123B 照明用レンズ
126 鉗子口
130 撮像光学系
132 撮像レンズ
134 撮像素子
136 駆動回路
138 AFE
170 ライトガイド
200 内視鏡プロセッサ
202 画像入力コントローラ
204 画像処理部
206 ビデオ出力部
208 操作部
210 CPU
212 メモリ
300 光源装置
310 光源
310A 可視光源
310B 赤外光源
330 絞り
340 集光レンズ
350 光源制御部
400 モニタ
500 レーザモジュール
501 ファイバー外皮
502 レーザ光源モジュール
503 集光レンズ
504 光ファイバー
506 レーザヘッド
507 補強材
508 フェルール
509 ハウジング
510 GRINレンズ
512 プリズム
A01 ボタン
A01a ボタン
A01c スライドバー
A02 ボタン
A02a ボタン
A02c スライドバー
A03 ボタン
A03a ボタン
A03c スライドバー
A04 ボタン
A04a ボタン
A04c スライドバー
A05 ボタン
A06 ボタン
A07 ボタン
A08 ボタン
AL1 頂角
B01〜B05 ボタン
C01〜C08 領域
C10〜C12 組合せ
D01 画像表示領域
D02 情報表示領域
D02A 領域
D02B 領域
IA 撮像範囲
K01〜K09 小画像
L1 光軸
L1A 光軸
L1B 光軸
L2 光軸
M1 マーカ
M2 マーカ
M3 マーカ
M4A マーカ
M4B マーカ
M4C マーカ
M5A マーカ
M5B マーカ
M5C マーカ
M6A マーカ
M6B マーカ
M6C マーカ
M7 マーカ
M8 マーカ
MS1 警告メッセージ
P1 近端
P3 遠端
P4〜P9 スポット
R1 範囲
R2 撮像範囲
R3 撮像範囲
S10〜S30 計測処理の各ステップ
SP0〜SP7 スポット
V01〜V08 領域
g1 関数
g2 関数
h1 関数
h2 関数
tm 腫瘍
tm1〜tm5 腫瘍
Claims (13)
- 被写体の画像を取得する内視鏡を含む内視鏡システムであって、
前記被写体に計測補助光を照射する補助光照射部と、
前記計測補助光によりスポットが形成された前記被写体の画像を撮像光学系及び撮像素子を介して取得する撮像部と、
前記取得した前記被写体の画像を表示する表示装置と、
前記撮像部が前記被写体の画像を取得するのに応じて、前記被写体における特定領域の実サイズを示す指標図形であって、前記撮像素子における前記スポットの位置に応じて設定した大きさの指標図形を前記被写体の画像と共に前記表示装置に表示させるプロセッサと、
を備え、
前記計測補助光の光軸を前記撮像光学系の光軸を含む平面に射影した場合に、前記計測補助光の光軸は前記撮像光学系の光軸に対し0度でない傾き角を有し前記撮像光学系の画角を横切る内視鏡システム。 - 前記プロセッサは、前記実サイズを示す指標図形の前記被写体の画像上での対応ピクセル数を求めることにより前記指標図形を生成する請求項1に記載の内視鏡システム。
- 前記プロセッサは、前記撮像光学系の歪曲収差に応じて歪曲させた前記指標図形を表示させる請求項1または2に記載の内視鏡システム。
- 前記プロセッサは、前記撮像光学系の歪曲収差に応じて補正した前記被写体の画像と共に前記指標図形を表示させる請求項1または2に記載の内視鏡システム。
- 前記プロセッサは、前記指標図形の中心を前記スポットの中心と一致させて、前記被写体の画像及び前記指標図形を表示させる請求項1から4のいずれか1項に記載の内視鏡システム。
- 前記プロセッサは、前記指標図形の中心を前記スポットの中心から離して、前記被写体の画像及び前記指標図形を表示させる請求項1から4のいずれか1項に記載の内視鏡システム。
- 前記プロセッサは、前記実サイズの単一の値に対応する大きさの前記指標図形を表示させる請求項1から6のいずれか1項に記載の内視鏡システム。
- 前記プロセッサは、前記実サイズの複数の値から選択された値に対応する大きさの前記指標図形を表示させる請求項1から7のいずれか1項に記載の内視鏡システム。
- 前記複数の値に対するユーザの選択操作を受け付ける選択部を備え、
前記プロセッサは、前記複数の値のうちから前記選択操作に基づいて選択した値に対応する大きさの前記指標図形を一または複数表示させる請求項8に記載の内視鏡システム。 - 前記プロセッサは、前記実サイズの複数の値の組合せに対応する大きさの前記指標図形を表示させる請求項1から6のいずれか1項に記載の内視鏡システム。
- 前記複数の値の組合せに対するユーザの選択操作を受け付ける選択部を備え、
前記プロセッサは、前記選択操作に基づいて選択した組合せに対応する大きさの前記指標図形を表示させる請求項10に記載の内視鏡システム。 - 前記プロセッサは前記実サイズの値に対応して色が異なる前記指標図形を表示させる請求項1から11のいずれか1項に記載の内視鏡システム。
- 前記撮像部及び前記補助光照射部と前記被写体との距離を前記撮像光学系の前記光軸の方向に変化させた場合に、前記距離が前記内視鏡の測長距離範囲の最遠距離であるときの前記スポットの前記撮像素子における位置が、前記距離が前記測長距離範囲の至近距離であるときの前記スポットの前記撮像素子における位置に対して、前記撮像素子における前記撮像光学系の光軸の位置を挟んで反対側である請求項1から12のいずれか1項に記載の内視鏡システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016180809 | 2016-09-15 | ||
JP2016180809 | 2016-09-15 | ||
PCT/JP2017/028645 WO2018051680A1 (ja) | 2016-09-15 | 2017-08-07 | 内視鏡システム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020072057A Division JP2020124541A (ja) | 2016-09-15 | 2020-04-14 | 内視鏡システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018051680A1 JPWO2018051680A1 (ja) | 2019-06-27 |
JP6692440B2 true JP6692440B2 (ja) | 2020-05-13 |
Family
ID=61619508
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018539569A Active JP6692440B2 (ja) | 2016-09-15 | 2017-08-07 | 内視鏡システム |
JP2020072057A Abandoned JP2020124541A (ja) | 2016-09-15 | 2020-04-14 | 内視鏡システム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020072057A Abandoned JP2020124541A (ja) | 2016-09-15 | 2020-04-14 | 内視鏡システム |
Country Status (4)
Country | Link |
---|---|
US (2) | US12059126B2 (ja) |
EP (1) | EP3513704B1 (ja) |
JP (2) | JP6692440B2 (ja) |
WO (1) | WO2018051680A1 (ja) |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11534243B2 (en) * | 2016-11-23 | 2022-12-27 | Clear Guide Medical, Inc. | System and methods for navigating interventional instrumentation |
EP3544482A4 (en) | 2016-11-28 | 2020-07-22 | Adaptivendo LLC | SEPARABLE DISPOSABLE SHAFT ENDOSCOPE |
JP7115897B2 (ja) * | 2018-04-20 | 2022-08-09 | 富士フイルム株式会社 | 内視鏡装置 |
WO2019207742A1 (ja) * | 2018-04-26 | 2019-10-31 | オリンパス株式会社 | 内視鏡用光モジュール、内視鏡、および内視鏡用光モジュールの製造方法 |
JP6924727B2 (ja) * | 2018-06-25 | 2021-08-25 | 富士フイルム株式会社 | 内視鏡装置 |
JP7029359B2 (ja) * | 2018-07-27 | 2022-03-03 | 富士フイルム株式会社 | 内視鏡装置及びその作動方法並び内視鏡装置用プログラム |
JP7069062B2 (ja) | 2019-02-20 | 2022-05-17 | 富士フイルム株式会社 | 内視鏡装置 |
JP7099971B2 (ja) * | 2019-03-04 | 2022-07-12 | 富士フイルム株式会社 | 内視鏡装置、キャリブレーション装置、及びキャリブレーション方法 |
JP2020151250A (ja) * | 2019-03-20 | 2020-09-24 | 富士フイルム株式会社 | 内視鏡装置及びその作動方法並びに内視鏡装置用プログラム |
WO2020189334A1 (ja) | 2019-03-20 | 2020-09-24 | 富士フイルム株式会社 | 内視鏡用プロセッサ装置、医療画像処理装置及びその作動方法並びに医療画像処理装置用プログラム |
EP3951473A4 (en) * | 2019-03-29 | 2022-05-18 | FUJIFILM Corporation | ENDOSCOPE AND ENDOSCOPIC DEVICE |
EP4016162A4 (en) | 2019-08-13 | 2022-10-12 | FUJIFILM Corporation | ENDOSCOPIC SYSTEM AND METHODS OF OPERATION THEREOF |
WO2021039471A1 (ja) | 2019-08-23 | 2021-03-04 | 富士フイルム株式会社 | 内視鏡装置及びその作動方法並びに内視鏡装置用プログラム |
WO2021039719A1 (ja) | 2019-08-27 | 2021-03-04 | 富士フイルム株式会社 | 内視鏡 |
CN114286961A (zh) * | 2019-08-28 | 2022-04-05 | 富士胶片株式会社 | 内窥镜系统及其工作方法 |
JP7214886B2 (ja) * | 2019-10-23 | 2023-01-30 | 富士フイルム株式会社 | 画像処理装置及びその作動方法 |
WO2021131238A1 (ja) | 2019-12-25 | 2021-07-01 | 富士フイルム株式会社 | 内視鏡装置及びその作動方法並びに内視鏡装置用プログラム |
EP4083678A4 (en) | 2019-12-26 | 2023-01-25 | FUJIFILM Corporation | ENDOSCOPE AND ENDOSCOPE SYSTEM |
USD1018844S1 (en) | 2020-01-09 | 2024-03-19 | Adaptivendo Llc | Endoscope handle |
JP7447249B2 (ja) * | 2020-05-07 | 2024-03-11 | 富士フイルム株式会社 | テストチャート、検査システム、及び検査方法 |
CN116171398A (zh) | 2020-09-02 | 2023-05-26 | 富士胶片株式会社 | 内窥镜系统及其工作方法 |
USD1031035S1 (en) | 2021-04-29 | 2024-06-11 | Adaptivendo Llc | Endoscope handle |
JP2023112340A (ja) | 2022-02-01 | 2023-08-14 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
US11782325B1 (en) | 2022-09-06 | 2023-10-10 | Olympus Medical Systems Corp. | Image processing apparatus, image processing method, and recording medium |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5969046A (ja) * | 1982-10-15 | 1984-04-19 | オリンパス光学工業株式会社 | 内視鏡画像システム |
JPS6273223A (ja) * | 1985-09-26 | 1987-04-03 | Toshiba Corp | 内視鏡装置 |
JP3446272B2 (ja) * | 1993-11-16 | 2003-09-16 | ソニー株式会社 | 計測機能付き内視鏡 |
JP3418480B2 (ja) | 1995-04-17 | 2003-06-23 | 医療法人社団ケント会 | 医療支援装置 |
JP2007330529A (ja) * | 2006-06-15 | 2007-12-27 | Olympus Medical Systems Corp | 内視鏡の先端部 |
JP5026769B2 (ja) | 2006-11-14 | 2012-09-19 | オリンパス株式会社 | 計測用内視鏡装置、プログラム、および記録媒体 |
JP2011069965A (ja) * | 2009-09-25 | 2011-04-07 | Japan Atomic Energy Agency | 撮像装置、画像表示方法、及び画像表示プログラムが記録された記録媒体 |
US8706184B2 (en) * | 2009-10-07 | 2014-04-22 | Intuitive Surgical Operations, Inc. | Methods and apparatus for displaying enhanced imaging data on a clinical image |
JP2011139734A (ja) | 2010-01-05 | 2011-07-21 | Hoya Corp | 内視鏡装置 |
JP2011158549A (ja) * | 2010-01-29 | 2011-08-18 | Olympus Corp | 内視鏡装置およびプログラム |
JP5684033B2 (ja) * | 2011-04-11 | 2015-03-11 | オリンパス株式会社 | 撮像装置及び内視鏡装置の作動方法 |
US9808146B2 (en) * | 2011-12-02 | 2017-11-07 | Interscope, Inc. | Endoscopic tool for debriding and removing polyps |
JP6535020B2 (ja) * | 2014-03-02 | 2019-06-26 | ブイ.ティー.エム.(バーチャル テープ メジャー)テクノロジーズ リミテッド | 内視鏡画像内で可視の物体の3d距離および寸法を測定するシステム |
CN104146711A (zh) * | 2014-08-01 | 2014-11-19 | 深圳市开立科技有限公司 | 一种基于内窥镜的病灶尺寸测量方法和系统 |
WO2017199657A1 (ja) * | 2016-05-20 | 2017-11-23 | オリンパス株式会社 | 内視鏡装置、計測方法、およびプログラム |
-
2017
- 2017-08-07 EP EP17850586.3A patent/EP3513704B1/en active Active
- 2017-08-07 WO PCT/JP2017/028645 patent/WO2018051680A1/ja unknown
- 2017-08-07 JP JP2018539569A patent/JP6692440B2/ja active Active
-
2019
- 2019-03-11 US US16/297,736 patent/US12059126B2/en active Active
-
2020
- 2020-04-14 JP JP2020072057A patent/JP2020124541A/ja not_active Abandoned
-
2024
- 2024-06-20 US US18/748,102 patent/US20240335094A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2018051680A1 (ja) | 2018-03-22 |
US12059126B2 (en) | 2024-08-13 |
EP3513704A4 (en) | 2019-10-16 |
JP2020124541A (ja) | 2020-08-20 |
US20240335094A1 (en) | 2024-10-10 |
US20190204069A1 (en) | 2019-07-04 |
JPWO2018051680A1 (ja) | 2019-06-27 |
EP3513704B1 (en) | 2021-04-28 |
EP3513704A1 (en) | 2019-07-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6692440B2 (ja) | 内視鏡システム | |
JP6964592B2 (ja) | 計測支援装置、内視鏡システム、内視鏡システムのプロセッサ、及び計測支援方法 | |
CN110418596B (zh) | 测量辅助装置、内窥镜系统及处理器 | |
US20120257030A1 (en) | Endoscope apparatus and image acquisition method of the endoscope apparatus | |
JP6644899B2 (ja) | 計測支援装置、内視鏡システム、及び内視鏡システムのプロセッサ | |
US10708553B2 (en) | Measurement support device, endoscope system, processor for endoscope system | |
CN110769733A (zh) | 内窥镜装置及测量支持方法 | |
JP7115897B2 (ja) | 内視鏡装置 | |
US20220038613A1 (en) | Imaging device | |
US11490785B2 (en) | Measurement support device, endoscope system, and processor measuring size of subject using measurement auxiliary light | |
JP6738465B2 (ja) | 内視鏡システム | |
KR20200117895A (ko) | 증강현실 투영장치 | |
CN110799081A (zh) | 内窥镜装置及测量支持方法 | |
JP7447249B2 (ja) | テストチャート、検査システム、及び検査方法 | |
CN111989026B (zh) | 内窥镜装置、内窥镜装置的工作方法及记录介质 | |
JP2024508315A (ja) | シーン深度推測を強化するための視鏡修正 | |
JP2017086803A (ja) | 計測装置、内視鏡システム、及び計測方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190225 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190225 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200129 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200306 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200318 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200414 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6692440 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |