JP6113387B1 - 評価値計算装置及び電子内視鏡システム - Google Patents
評価値計算装置及び電子内視鏡システム Download PDFInfo
- Publication number
- JP6113387B1 JP6113387B1 JP2016574468A JP2016574468A JP6113387B1 JP 6113387 B1 JP6113387 B1 JP 6113387B1 JP 2016574468 A JP2016574468 A JP 2016574468A JP 2016574468 A JP2016574468 A JP 2016574468A JP 6113387 B1 JP6113387 B1 JP 6113387B1
- Authority
- JP
- Japan
- Prior art keywords
- axis
- evaluation value
- color
- pixel corresponding
- corresponding point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 125
- 238000006243 chemical reaction Methods 0.000 claims abstract description 12
- 230000000875 corresponding effect Effects 0.000 claims description 121
- 210000004400 mucous membrane Anatomy 0.000 claims description 16
- 230000007423 decrease Effects 0.000 claims description 13
- 230000009466 transformation Effects 0.000 claims description 7
- 230000002159 abnormal effect Effects 0.000 claims description 6
- 230000002596 correlated effect Effects 0.000 claims description 6
- 230000001131 transforming effect Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 description 203
- 206010061218 Inflammation Diseases 0.000 description 97
- 230000004054 inflammatory process Effects 0.000 description 97
- 238000000034 method Methods 0.000 description 55
- 230000008569 process Effects 0.000 description 32
- 230000008859 change Effects 0.000 description 27
- 102000001554 Hemoglobins Human genes 0.000 description 12
- 108010054147 Hemoglobins Proteins 0.000 description 12
- 238000003384 imaging method Methods 0.000 description 11
- 230000003902 lesion Effects 0.000 description 10
- 210000004877 mucosa Anatomy 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 201000010099 disease Diseases 0.000 description 6
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 6
- 210000002429 large intestine Anatomy 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 210000001519 tissue Anatomy 0.000 description 6
- 239000003086 colorant Substances 0.000 description 5
- 230000000295 complement effect Effects 0.000 description 5
- 210000000056 organ Anatomy 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 230000000873 masking effect Effects 0.000 description 3
- 210000004798 organs belonging to the digestive system Anatomy 0.000 description 3
- 230000000241 respiratory effect Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 206010009900 Colitis ulcerative Diseases 0.000 description 2
- 208000022559 Inflammatory bowel disease Diseases 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 2
- 208000037062 Polyps Diseases 0.000 description 2
- 201000006704 Ulcerative Colitis Diseases 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000020169 heat generation Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000000049 pigment Substances 0.000 description 2
- 210000002784 stomach Anatomy 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 210000001198 duodenum Anatomy 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 208000027866 inflammatory disease Diseases 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- QSHDDOUJBYECFT-UHFFFAOYSA-N mercury Chemical compound [Hg] QSHDDOUJBYECFT-UHFFFAOYSA-N 0.000 description 1
- 229910052753 mercury Inorganic materials 0.000 description 1
- 229910001507 metal halide Inorganic materials 0.000 description 1
- 150000005309 metal halides Chemical class 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 210000000813 small intestine Anatomy 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 210000004291 uterus Anatomy 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
- A61B1/00048—Constructional features of the display
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
- A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2576/00—Medical imaging apparatus involving image processing or analysis
- A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30028—Colon; Small intestine
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Biophysics (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Molecular Biology (AREA)
- Optics & Photonics (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Endoscopes (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Image Analysis (AREA)
Abstract
Description
図1は、本発明の一実施形態に係る電子内視鏡システム1の構成を示すブロック図である。図1に示されるように、電子内視鏡システム1は、電子スコープ100、プロセッサ200及びモニタ300を備えている。
通常モード時のプロセッサ200での信号処理動作を説明する。
次に、特殊モード時のプロセッサ200での信号処理動作を説明する。
図2は、特殊画像処理回路230による特殊画像生成処理のフローチャートを示す。図2の特殊画像生成処理は、電子内視鏡システム1の動作モードが特殊モードに切り替えられた時点で開始される。
本処理ステップS11では、前段信号処理回路220より現フレームの各画素の画素データが入力される。
本処理ステップS12では、全ての画素の中から所定の順序に従い一つの注目画素が選択される。
本処理ステップS13では、処理ステップS12(注目画素の選択)にて選択された注目画素について対象疾患の炎症強度が計算される。図3〜図5に、炎症強度の計算処理の説明を補助する図を示す。
本実施形態では、炎症強度に応じた表示色で撮影画像をモザイク化したカラーマップ画像を表示することができる。カラーマップ画像を表示可能とするため、炎症強度の値と所定の表示色とを対応付けたテーブルがメモリ222等の記憶領域に記憶されている。本テーブルでは、例えば、値5刻みで異なる表示色が対応付けられている。例示的には、炎症強度の値が0〜5の範囲では黄色が対応付けられており、該値が5増える毎に色相環での色の並び順に従って異なる表示色が対応付けられており、該値が250〜255の範囲では赤色が対応付けられている。
本処理ステップS15では、現フレームの全ての画素に対して処理ステップS12〜S14が実行されたか否かが判定される。
本処理ステップS16は、処理ステップS15(全画素に対する処理の実行完了判定)において、現フレームの全ての画素に対して処理ステップS12〜S14が実行されたと判定された場合(S15:YES)に実行される。本処理ステップS16では、現フレームの全ての画素の炎症強度を平均化した平均値が撮影画像全体の炎症評価値として計算され、計算された炎症評価値の表示データ(表示データ例:Score:○○)が生成される。なお、本処理ステップS16にて実行されるカラー画像に対する所定の評価値としての炎症評価値を計算する動作は、評価値計算手段により行われる。
本処理ステップS17では、前段信号処理回路220より入力される画素データ(すなわち、RGBの3つの色成分を持つ画素データ)に基づく通常画像と、処理ステップS14(カラーマップ画像上での表示色の決定)にて所定の表示色に決定された画素データに基づくカラーマップ画像とをオーバレイさせる割合を係数として、前者の画素データ(通常の画素データ)と後者の画素データ(カラーマップ用の画素データ)とが加算される。係数の設定は、ユーザ操作により適宜設定変更することが可能である。通常画像の方を濃く表示したい場合は、通常の画素データの係数が高く設定され、カラーマップ画像の方を濃く表示したい場合は、カラーマップ用の画素データの係数が高く設定される。
本処理ステップS18では、電子内視鏡システム1の動作モードが特殊モードとは別のモードに切り替えられたか否かが判定される。別のモードに切り替えられていないと判定される場合(S18:NO)、図2の特殊画像生成処理は、処理ステップS11(現フレームの画素データの入力)に戻る。一方、別のモードに切り替えられたと判定される場合(S18:YES)、図2の特殊画像生成処理は終了する。
後段信号処理回路240は、図2の処理ステップS17(オーバレイ処理)にて加算処理された画素データに基づいて通常画像とカラーマップ画像とのオーバレイ画像の表示データを生成すると共にモニタ300の表示画面の周辺領域(画像表示領域の周囲)をマスクするマスキング処理を行い、更に、マスキング処理により生成されるマスク領域に炎症評価値を重畳した、モニタ表示用の画面データを生成する。後段信号処理回路240は、生成されたモニタ表示用の画面データを所定のビデオフォーマット信号に変換して、モニタ300に出力する。
本処理ステップS211では、前段信号処理回路220より現フレーム(キャプチャ操作時)の各画素の画素データが入力される。
本処理ステップS212では、対象疾患の炎症強度の計算に用いられる基準軸AXが設定される。図8に、基準軸AXの設定方法の説明を補助する図であって、互いに直交するR軸とG軸とによって定義されるRG平面(より詳細には、R軸、G軸の二軸によって規定されるRG平面内の区画)を示す。
本処理ステップS213では、全ての画素の中から所定の順序に従い一つの注目画素が選択される。
本処理ステップS214では、図4及び図5を用いて説明したように、処理ステップS213(注目画素の選択)にて選択された注目画素について炎症強度が計算される。
本処理ステップS215では、処理ステップS213(注目画素の選択)にて選択された注目画素の、カラーマップ画像上での表示色が、炎症強度の値と所定の表示色とを対応付けたテーブルに基づき、処理ステップS214(炎症強度の計算)にて計算された注目画素の炎症強度の値に応じた色に決定される。
本処理ステップS216では、現フレームの全ての画素に対して処理ステップS213〜S215が実行されたか否かが判定される。
本処理ステップS217は、処理ステップS216(全画素に対する処理の実行完了判定)において、現フレームの全ての画素に対して処理ステップS213〜S215が実行されたと判定された場合(S216:YES)に実行される。本処理ステップS217では、現フレームの全ての画素の炎症強度を平均化した平均値が撮影画像全体の炎症評価値として計算され、計算された炎症評価値の表示データ(表示データ例:Score:○○)が生成される。
本処理ステップS218では、前段信号処理回路220より入力される画素データ(すなわち、RGBの3つの色成分を持つ画素データ)に基づく通常画像と、処理ステップS215(カラーマップ画像上での表示色の決定)にて所定の表示色に決定された画素データに基づくカラーマップ画像とをオーバレイさせる割合を係数として、前者の画素データ(通常の画素データ)と後者の画素データ(カラーマップ用の画素データ)とが加算される。
本処理ステップS219では、電子内視鏡システム1の動作モードが特殊モードとは別のモードに切り替えられたか否かが判定される。別のモードに切り替えられていないと判定される場合(S219:NO)、図7の特殊画像生成処理は、処理ステップS211(現フレームの画素データの入力)に戻る。一方、別のモードに切り替えられたと判定される場合(S219:YES)、図7の特殊画像生成処理は終了する。
本処理ステップS51では、現フレームの各画素対応点がRG平面内に配置される。
本処理ステップS52では、図10(a)に示されるように、RG平面に対して基準軸AXが初期設定される。基準軸AXの初期設定データは、例えばメモリ222等の所定の記憶媒体に予め記憶されている。なお、以降においては、基準軸AXとR軸とがなす角度をθと記す。
本処理ステップS53では、全ての画素の中から所定の順序に従い一つの注目画素(注目画素対応点)が選択される。
本変形例では、図2のS14(炎症強度の計算)にて、基準軸AXとR軸との間の領域(第一の領域)に位置する注目画素対応点が炎症強度の計算に用いられ、基準軸AXとG軸との間の領域(第二の領域)に位置する注目画素対応点が炎症強度の計算に用いられない。本処理ステップS54では、処理ステップS53(注目画素の選択)にて選択された注目画素対応点が第二の領域に位置するか否かが判定される。
本処理ステップS55は、処理ステップS54(位置の判定)にて注目画素対応点が第二の領域に位置すると判定された場合(S54:YES)に実行される。本処理ステップS55では、特殊画像処理回路230内のカウンタのカウント値Cが1インクリメントされる。なお、カウント値Cは、例えば、図9に示される設定処理の実行が開始された時点で一旦ゼロにリセットされている。
本処理ステップS56では、処理ステップS51(画素対応点の配置)にて配置された全ての画素対応点に対して処理ステップS53〜S54が実行されたか否かが判定される。
本処理ステップS57は、処理ステップS56(全画素に対する処理の実行完了判定)にて全ての画素対応点に対して処理ステップS53〜S54が実行されたと判定された場合(S56:YES)に実行される。本処理ステップS57では、カウント値Cが所定の上限閾値よりも大きいか否かが判定される。
本処理ステップS58は、処理ステップS57(カウント値Cの判定)にてカウント値Cが所定の上限閾値よりも大きいと判定された場合(S57:YES)に実行される。この場合、第二の領域に位置する注目画素対応点(言い換えると、炎症強度の計算に用いられない注目画素)が多すぎて、炎症評価値を高い精度で計算することが難しくなる。そこで、本処理ステップS58では、第二の領域に位置する注目画素対応点を適正数に減らすべく、図10(b)に示されるように、角度θが増加される。
本処理ステップS59は、処理ステップS57(カウント値Cの判定)にてカウント値Cが所定の上限閾値以下と判定された場合(S57:NO)に実行される。本処理ステップS59では、カウント値Cが所定の下限閾値よりも小さいか否かが判定される。
本処理ステップS60は、処理ステップS59(カウント値Cの判定)にてカウント値Cが所定の下限閾値よりも小さいと判定された場合(S59:YES)に実行される。この場合、第二の領域に位置する注目画素対応点(言い換えると、炎症強度の計算に用いられない注目画素)が少なすぎて、基準軸AXを適正に設定できていない(例えば、注目画素対応点が密に分布している領域から大きく外れたところに基準軸AXが位置するなど)虞がある。そこで、本処理ステップS60では、第二の領域に位置する注目画素対応点を適正数に増やすべく、図10(c)に示されるように、角度θが減少される。
本処理ステップS111では、メモリ222等に記憶された初期設定データを用いて、RG平面に対して基準軸AXが初期設定される。
本処理ステップS112では、前段信号処理回路220より現フレームの各画素の画素データが入力される。
本処理ステップS113では、現フレームの各画素対応点がRG平面内に配置される。
本処理ステップS114では、全ての画素の中から所定の順序に従い一つの注目画素(注目画素対応点)が選択される。
本処理ステップS115では、処理ステップS114(注目画素の選択)にて選択された注目画素対応点が第二の領域に位置するか否かが判定される。
本処理ステップS116は、処理ステップS115(位置の判定)にて注目画素対応点が第二の領域に位置すると判定された場合(S115:YES)に実行される。本処理ステップS116では、カウント値Cが1インクリメントされる。なお、カウント値Cは、例えば、フレーム毎(例えば対象フレームについて処理ステップS112(現フレームの画素データの入力)が実行される毎)にゼロにリセットされている。
本処理ステップS117は、処理ステップS115(位置の判定)にて注目画素対応点が第二の領域に位置しない(言い換えると、第一の領域に位置する)と判定された場合(S115:NO)に実行される。本処理ステップS117では、処理ステップS114(注目画素の選択)にて選択された注目画素について炎症強度が計算される。
本処理ステップS118では、現フレームの全ての画素に対して処理ステップS114〜S115が実行されたか否かが判定される。
本処理ステップS119は、処理ステップS118(全画素に対する処理の実行完了判定)において、現フレームの全ての画素に対して処理ステップS114〜S115が実行されたと判定された場合(S118:YES)に実行される。本処理ステップS119では、処理ステップS117(炎症強度の計算)にて計算された各画素(言い換えると、第一の領域に位置する画素のみ)の炎症強度を平均化した平均値が撮影画像全体の炎症評価値として計算され、モニタ300の表示画面に表示される。
本処理ステップS120では、カウント値Cが所定の上限閾値よりも大きいか否かが判定される。
本処理ステップS121は、処理ステップS120(カウント値Cの判定)にてカウント値Cが所定の上限閾値よりも大きいと判定された場合(S120:YES)に実行される。この場合、第二の領域に位置する注目画素対応点が多すぎて、炎症評価値を高い精度で計算することが難しくなる。そこで、本処理ステップS120では、第二の領域に位置する注目画素対応点を適正数に減らすべく、角度θが増加される。
本処理ステップS122は、処理ステップS120(カウント値Cの判定)にてカウント値Cが所定の上限閾値以下と判定された場合(S120:NO)に実行される。本処理ステップS122では、カウント値Cが所定の下限閾値よりも小さいか否かが判定される。
本処理ステップS123は、処理ステップS122(カウント値Cの判定)にてカウント値Cが所定の下限閾値よりも小さいと判定された場合(S122:YES)に実行される。この場合、第二の領域に位置する注目画素対応点が少なすぎて、基準軸AXを適正に設定できていない虞がある。そこで、本処理ステップS123では、第二の領域に位置する注目画素対応点を適正数に増やすべく、角度θが減少される。
本処理ステップS124では、例えば術者によって特殊モードから通常モード等の他のモードに切り替えられたか否かが判定される。他のモードに切り替えられていない場合(S124:NO)、図11の炎症評価値計算処理は、次のフレームについて炎症評価値の計算及び表示を行うため、処理ステップS112(現フレームの画素データの入力)に戻る。他のモードに切り替えられた場合(S124:YES)、図11の炎症評価値計算処理は終了する。
Claims (16)
- 複数の色成分を持つカラー画像を構成する各画素に対応する画素対応点を、該画素対応点の色成分に応じて、所定の色空間の原点と交差する第一の色平面内に配置する配置手段と、
前記第一の色平面内に所定の基準軸を設定する軸設定手段と、
前記基準軸を含む第二の色平面を定義し、該第一の色平面内の前記各画素対応点を該第二の色平面に射影変換する変換手段と、
前記第二の色平面に射影変換された各画素対応点に基づいて前記カラー画像に対する所定の評価値を計算する評価値計算手段と、
を備える、
電子内視鏡システム。 - 前記第一の色平面は、
R成分の軸を含む平面である、
請求項1に記載の電子内視鏡システム。 - 前記第一の色平面は、
G成分の軸を更に含む平面である、
請求項2に記載の電子内視鏡システム。 - 前記第二の色平面は、
R成分の軸及び前記基準軸を含む平面であり、
前記R成分の軸と前記基準軸とが直交する、
請求項1から請求項3の何れか一項に記載の電子内視鏡システム。 - 前記基準軸は、
体腔内の粘膜の色味と相関の高い軸である、
請求項1から請求項4の何れか一項に記載の電子内視鏡システム。 - 前記評価値計算手段は、
前記第二の色平面に射影変換された各画素対応点について、前記R成分の軸の値に比例して高くなる第一の係数と、前記基準軸の値が高くなるほど低くなる第二の係数を適用し、適用された第一及び第二の係数に基づいて該画素対応点の評価値を計算し、
計算された各画素対応点の評価値に基づいて前記カラー画像に対する所定の評価値を計算する、
請求項4又は請求項4を引用する請求項5に記載の電子内視鏡システム。 - 前記評価値計算手段は、
前記画素対応点に適用された前記第一の係数と前記第二の係数とを乗算し、乗算によって得られた値に基づいて該画素対応点の評価値を計算する、
請求項6に記載の電子内視鏡システム。 - 前記所定の評価値は、
体腔内の異常部を数値化して示すものである、
請求項1から請求項7の何れか一項に記載の電子内視鏡システム。 - 前記軸設定手段は、
前記基準軸により、前記第一の色平面を第一の領域と第二の領域に区分し、
前記評価値計算手段は、
前記第一の領域に配置された画素対応点を用いて前記所定の評価値を計算し、
前記軸設定手段は、
前記第二の領域内に配置される画素対応点の数が所定の範囲内に収まるように、前記基準軸を設定する、
請求項1から請求項8の何れか一項に記載の電子内視鏡システム。 - 複数の色成分を持つカラー画像を構成する各画素に対応する画素対応点を、該画素対応点の色成分に応じて、所定の色空間の原点と交差する第一の色平面内に配置する配置手段と、
前記第一の色平面内に所定の基準軸を設定する軸設定手段と、
前記基準軸を含む第二の色平面を定義し、該第一の色平面内の前記各画素対応点を該第二の色平面に射影変換する変換手段と、
前記第二の色平面に射影変換された各画素対応点に基づいて前記カラー画像に対する所定の評価値を計算する評価値計算手段と、
を備える、
評価値計算装置。 - R(Red)、G(Green)、B(Blue)の各色成分を持つカラー画像を構成する各画素に対応する画素対応点を、その色成分に応じて、R成分の軸である第一の軸と、該第一の軸と直交するG成分の軸である第二の軸とを含む第一の平面内に配置する配置手段と、
前記第一の平面内において前記第一の軸と前記第二の軸との交点を通り且つ該第一の軸、該第二の軸の何れに対しても非平行な第三の軸を定義し、該第一の軸と該第三の軸とが直交する第二の平面を定義し、前記各画素対応点を該第二の平面に射影変換する変換手段と、
前記第二の平面に射影変換された各画素対応点に基づいて前記カラー画像に対する所定の評価値を計算する評価値計算手段と、
を備える、
評価値計算装置。 - 前記第三の軸は、
体腔内の粘膜の色味と相関の高い軸である、
請求項11に記載の評価値計算装置。 - 前記評価値計算手段は、
前記第二の平面に射影変換された各画素対応点について、前記第一の軸の値に比例して高くなる第一の係数と、前記第三の軸の値が高くなるほど低くなる第二の係数を適用し、適用された第一及び第二の係数に基づいて該画素対応点の評価値を計算し、
計算された各画素対応点の評価値に基づいて前記カラー画像に対する所定の評価値を計算する、
請求項12に記載の評価値計算装置。 - 前記評価値計算手段は、
前記画素対応点に適用された前記第一の係数と前記第二の係数とを乗算し、乗算によって得られた値に基づいて該画素対応点の評価値を計算する、
請求項13に記載の評価値計算装置。 - 前記所定の評価値は、
体腔内の異常部を数値化して示すものである、
請求項11から請求項14の何れか一項に記載の評価値計算装置。 - 電子内視鏡システムに組み込まれるものである、
請求項11から請求項15の何れか一項に記載の評価値計算装置。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015159909 | 2015-08-13 | ||
JP2015159909 | 2015-08-13 | ||
JP2015159908 | 2015-08-13 | ||
JP2015159908 | 2015-08-13 | ||
PCT/JP2016/073718 WO2017026540A1 (ja) | 2015-08-13 | 2016-08-12 | 評価値計算装置及び電子内視鏡システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6113387B1 true JP6113387B1 (ja) | 2017-04-12 |
JPWO2017026540A1 JPWO2017026540A1 (ja) | 2017-08-10 |
Family
ID=57984514
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016574468A Active JP6113387B1 (ja) | 2015-08-13 | 2016-08-12 | 評価値計算装置及び電子内視鏡システム |
Country Status (5)
Country | Link |
---|---|
US (3) | US20170273543A1 (ja) |
JP (1) | JP6113387B1 (ja) |
CN (1) | CN106687023B (ja) |
DE (1) | DE112016000095B4 (ja) |
WO (1) | WO2017026540A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10939801B2 (en) * | 2017-03-31 | 2021-03-09 | Hoya Corporation | Electronic endoscope system |
JP6912688B2 (ja) * | 2019-04-02 | 2021-08-04 | Hoya株式会社 | 電子内視鏡システム及びデータ処理装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09114985A (ja) * | 1995-10-20 | 1997-05-02 | Sony Corp | 画像処理装置 |
JP2006238321A (ja) * | 2005-02-28 | 2006-09-07 | Murata Mach Ltd | 色判定装置及び色判定方法 |
JP2010187756A (ja) * | 2009-02-16 | 2010-09-02 | Olympus Corp | 画像処理装置、画像処理方法および画像処理プログラム |
JP2014018333A (ja) * | 2012-07-17 | 2014-02-03 | Hoya Corp | 画像処理装置及び内視鏡装置 |
Family Cites Families (82)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS62266030A (ja) | 1986-05-14 | 1987-11-18 | 株式会社東芝 | 内視鏡装置 |
US4819077A (en) | 1986-05-14 | 1989-04-04 | Kabushiki Kaisha Toshiba | Color image processing system |
US4805016A (en) * | 1986-08-25 | 1989-02-14 | Kabushiki Kaisha Toshiba | Endoscopic system for converting primary color images into hue, saturation and intensity images |
JP2682626B2 (ja) | 1987-10-15 | 1997-11-26 | オリンパス光学工業株式会社 | 経内視鏡分光診断装置 |
JPH02114931A (ja) | 1988-10-26 | 1990-04-27 | Toshiba Corp | 電子内視鏡画像処理装置 |
JPH034832A (ja) | 1989-06-01 | 1991-01-10 | Toshiba Corp | 電子内視鏡装置 |
US5751261A (en) | 1990-12-31 | 1998-05-12 | Kopin Corporation | Control system for display panels |
JP2964715B2 (ja) | 1991-07-01 | 1999-10-18 | 富士写真光機株式会社 | 電子内視鏡システム |
US6826422B1 (en) | 1997-01-13 | 2004-11-30 | Medispectra, Inc. | Spectral volume microprobe arrays |
US7123293B1 (en) | 1998-01-07 | 2006-10-17 | Fuji Photo Film Co., Ltd. | Image processing method to compensate for color differences due to a type of image sensing device |
US6280381B1 (en) | 1999-07-22 | 2001-08-28 | Instrumentation Metrics, Inc. | Intelligent system for noninvasive blood analyte prediction |
IL144401A0 (en) | 1999-01-22 | 2002-05-23 | Instrumentation Metrics Inc | System and method for noninvasive blood analyte measurements |
JP4284754B2 (ja) | 1999-05-31 | 2009-06-24 | ソニー株式会社 | カラー撮像装置及びその制御方法 |
DE10055725B4 (de) | 1999-11-11 | 2007-12-27 | Pentax Corp. | Elektronisches Endoskopsystem |
JP4360724B2 (ja) | 2000-01-11 | 2009-11-11 | Hoya株式会社 | 電子内視鏡用信号切換装置 |
EP1759631B1 (en) | 2000-06-06 | 2011-03-09 | FUJIFILM Corporation | Fluorescent-light image display method and apparatus therefor |
JP4327380B2 (ja) | 2000-06-06 | 2009-09-09 | 富士フイルム株式会社 | 蛍光画像表示方法および装置 |
US6821245B2 (en) | 2000-07-14 | 2004-11-23 | Xillix Technologies Corporation | Compact fluorescence endoscopy video system |
JP3510576B2 (ja) | 2000-09-28 | 2004-03-29 | Necエレクトロニクス株式会社 | 半導体装置及びその製造方法 |
US8068898B2 (en) | 2001-03-01 | 2011-11-29 | Trustees Of Dartmouth College | Fluorescence lifetime spectrometer (FLS) and methods of detecting diseased tissues |
ATE509328T1 (de) * | 2001-03-14 | 2011-05-15 | Given Imaging Ltd | Verfahren und system zum erkennen colorimetrischer anomalien |
US7139598B2 (en) | 2002-04-04 | 2006-11-21 | Veralight, Inc. | Determination of a measure of a glycation end-product or disease state using tissue fluorescence |
ES2253542T3 (es) * | 2001-07-12 | 2006-06-01 | Do Labs | Procedimiento y sistema para producir informaciones formateadas relacionadas con los defectos, como minimo, de una aparato de una cadena, en especial por efecto borroso. |
US6956602B2 (en) | 2001-09-27 | 2005-10-18 | Fujinon Corporation | Electronic endoscope for highlighting blood vessel |
US7042488B2 (en) * | 2001-09-27 | 2006-05-09 | Fujinon Corporation | Electronic endoscope for highlighting blood vessel |
US7123288B2 (en) | 2001-09-28 | 2006-10-17 | Fujinon Corporation | Electronic endoscope eliminating influence of light distribution in optical zooming |
US20040073120A1 (en) | 2002-04-05 | 2004-04-15 | Massachusetts Institute Of Technology | Systems and methods for spectroscopy of biological tissue |
JP4583704B2 (ja) | 2002-11-01 | 2010-11-17 | オリンパス株式会社 | 内視鏡撮像装置 |
US7195588B2 (en) | 2004-03-01 | 2007-03-27 | Olympus Corporation | Endoscope image pick-up apparatus |
JP4375781B2 (ja) * | 2002-11-29 | 2009-12-02 | 株式会社リコー | 画像処理装置および画像処理方法並びにプログラムおよび記録媒体 |
EP1570571B1 (en) | 2002-12-04 | 2007-02-28 | Research In Motion Limited | Gain compensation over temperature and frequency variations in wireless transceivers |
JP4394356B2 (ja) | 2003-02-07 | 2010-01-06 | Hoya株式会社 | 電子内視鏡装置 |
CN100998499B (zh) | 2003-10-28 | 2013-07-24 | 薇拉莱特公司 | 使用组织荧光确定某一糖化终产物或疾病状态 |
CN1988850B (zh) | 2004-07-30 | 2010-08-11 | 株式会社日立医药 | 医用图像诊断辅助方法、装置和图像处理程序 |
JP4009626B2 (ja) | 2004-08-30 | 2007-11-21 | オリンパス株式会社 | 内視鏡用映像信号処理装置 |
EP1787577B1 (en) | 2004-08-30 | 2011-03-09 | Olympus Corporation | Endoscope |
JP4933766B2 (ja) | 2004-10-20 | 2012-05-16 | 富士フイルム株式会社 | 電子内視鏡装置 |
EP1650980A3 (en) | 2004-10-20 | 2010-09-29 | FUJIFILM Corporation | Electronic endoscope apparatus |
JP2006198106A (ja) | 2005-01-19 | 2006-08-03 | Olympus Corp | 電子内視鏡装置 |
JP4786910B2 (ja) | 2005-02-07 | 2011-10-05 | Hoya株式会社 | 電子内視鏡 |
JP4579721B2 (ja) | 2005-03-04 | 2010-11-10 | 富士フイルム株式会社 | 内視鏡装置 |
EP1698272B1 (en) | 2005-03-04 | 2012-12-05 | FUJIFILM Corporation | Endoscope and image processing device |
JP4804062B2 (ja) | 2005-07-29 | 2011-10-26 | オリンパス株式会社 | 内視鏡システム |
US8451327B2 (en) | 2005-08-18 | 2013-05-28 | Hoya Corporation | Electronic endoscope, endoscope light unit, endoscope processor, and electronic endoscope system |
WO2007031946A2 (en) | 2005-09-12 | 2007-03-22 | Dvp Technologies Ltd. | Medical image processing |
JP4745790B2 (ja) | 2005-10-21 | 2011-08-10 | Hoya株式会社 | 電子内視鏡装置 |
JP2007135989A (ja) | 2005-11-21 | 2007-06-07 | Olympus Corp | 分光内視鏡 |
JP4773217B2 (ja) | 2006-01-31 | 2011-09-14 | 富士フイルム株式会社 | 電子内視鏡装置 |
EP1994878B9 (en) | 2006-03-16 | 2013-09-04 | Olympus Medical Systems Corp. | Medical image processing device and medical image processing method |
JP2008295490A (ja) | 2007-05-29 | 2008-12-11 | Olympus Medical Systems Corp | カプセル内視鏡画像表示装置 |
JP5106928B2 (ja) | 2007-06-14 | 2012-12-26 | オリンパス株式会社 | 画像処理装置および画像処理プログラム |
JP5006759B2 (ja) | 2007-10-29 | 2012-08-22 | Hoya株式会社 | 電子内視鏡用信号処理装置および電子内視鏡装置 |
EP2231029B1 (en) | 2007-12-21 | 2023-08-16 | GT Metabolic Solutions, Inc. | Devices for endoscopically creating an anastomosis |
JP5312807B2 (ja) * | 2008-01-08 | 2013-10-09 | オリンパス株式会社 | 画像処理装置および画像処理プログラム |
US8467603B2 (en) | 2008-02-26 | 2013-06-18 | Given Imaging Ltd. | Method for enhancing in-vivo image contrast |
US20090237498A1 (en) * | 2008-03-20 | 2009-09-24 | Modell Mark D | System and methods for the improvement of images generated by fiberoptic imaging bundles |
JP2009240354A (ja) | 2008-03-28 | 2009-10-22 | Fujinon Corp | 電子内視鏡装置 |
JP5235473B2 (ja) | 2008-04-04 | 2013-07-10 | Hoya株式会社 | 分光特性推定装置 |
JP5374078B2 (ja) * | 2008-06-16 | 2013-12-25 | オリンパス株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
JP5467754B2 (ja) | 2008-07-08 | 2014-04-09 | Hoya株式会社 | 電子内視鏡用信号処理装置および電子内視鏡装置 |
JP5380973B2 (ja) * | 2008-09-25 | 2014-01-08 | 株式会社ニコン | 画像処理装置及び画像処理プログラム |
EP2335560B1 (en) | 2008-10-17 | 2014-11-26 | Olympus Medical Systems Corp. | Endoscope system and endoscopic image processing apparatus |
JP2010115243A (ja) | 2008-11-11 | 2010-05-27 | Hoya Corp | 電子内視鏡用画像信号処理装置 |
JP4692786B2 (ja) | 2009-01-09 | 2011-06-01 | 花王株式会社 | 肌のテクスチャの解析方法 |
US8300093B2 (en) * | 2009-01-12 | 2012-10-30 | Fujifilm Corporation | Endoscope image processing method and apparatus, and endoscope system using the same |
JP2010172673A (ja) | 2009-02-02 | 2010-08-12 | Fujifilm Corp | 内視鏡システム、内視鏡用プロセッサ装置、並びに内視鏡検査支援方法 |
JP2011092681A (ja) | 2009-09-30 | 2011-05-12 | Fujifilm Corp | 医用画像処理装置および方法並びにプログラム |
DE112010004184B4 (de) | 2009-10-29 | 2017-10-12 | Hoya Corp. | Hilfsdiagnoseeinrichtung und Hilfsdiagnoseverfahren |
JP5802364B2 (ja) * | 2009-11-13 | 2015-10-28 | オリンパス株式会社 | 画像処理装置、電子機器、内視鏡システム及びプログラム |
JP5452242B2 (ja) | 2010-01-15 | 2014-03-26 | オリンパス株式会社 | 画像処理装置、内視鏡システム、プログラム及び画像処理装置の作動方法 |
JP5220780B2 (ja) | 2010-02-05 | 2013-06-26 | オリンパス株式会社 | 画像処理装置、内視鏡システム、プログラム及び画像処理装置の作動方法 |
JP2011182993A (ja) | 2010-03-09 | 2011-09-22 | Panasonic Electric Works Co Ltd | 歯垢検知装置 |
JP2011194024A (ja) | 2010-03-19 | 2011-10-06 | Fujifilm Corp | 異常陰影検出装置および方法ならびにプログラム |
JP5580637B2 (ja) | 2010-03-30 | 2014-08-27 | オリンパス株式会社 | 画像処理装置、内視鏡装置の作動方法及びプログラム |
JP2011218090A (ja) | 2010-04-14 | 2011-11-04 | Olympus Corp | 画像処理装置、内視鏡システム及びプログラム |
JP5800468B2 (ja) | 2010-05-11 | 2015-10-28 | オリンパス株式会社 | 画像処理装置、画像処理方法、および画像処理プログラム |
JP2011255006A (ja) | 2010-06-09 | 2011-12-22 | Olympus Corp | 画像処理装置、内視鏡装置、プログラム及び画像処理方法 |
JP5851160B2 (ja) * | 2011-08-31 | 2016-02-03 | オリンパス株式会社 | 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム |
JP6067264B2 (ja) | 2012-07-17 | 2017-01-25 | Hoya株式会社 | 画像処理装置及び内視鏡装置 |
JP5647752B1 (ja) * | 2013-03-27 | 2015-01-07 | 富士フイルム株式会社 | 画像処理装置及び内視鏡システムの作動方法 |
JP6097629B2 (ja) * | 2013-04-26 | 2017-03-15 | Hoya株式会社 | 病変評価情報生成装置 |
CN105705075B (zh) * | 2013-10-28 | 2018-02-02 | 富士胶片株式会社 | 图像处理装置及其工作方法 |
-
2016
- 2016-08-12 DE DE112016000095.2T patent/DE112016000095B4/de active Active
- 2016-08-12 CN CN201680002610.2A patent/CN106687023B/zh active Active
- 2016-08-12 US US15/505,753 patent/US20170273543A1/en not_active Abandoned
- 2016-08-12 JP JP2016574468A patent/JP6113387B1/ja active Active
- 2016-08-12 WO PCT/JP2016/073718 patent/WO2017026540A1/ja active Application Filing
-
2019
- 2019-06-06 US US16/433,414 patent/US11559186B2/en active Active
-
2022
- 2022-12-15 US US18/082,143 patent/US20230113382A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09114985A (ja) * | 1995-10-20 | 1997-05-02 | Sony Corp | 画像処理装置 |
JP2006238321A (ja) * | 2005-02-28 | 2006-09-07 | Murata Mach Ltd | 色判定装置及び色判定方法 |
JP2010187756A (ja) * | 2009-02-16 | 2010-09-02 | Olympus Corp | 画像処理装置、画像処理方法および画像処理プログラム |
JP2014018333A (ja) * | 2012-07-17 | 2014-02-03 | Hoya Corp | 画像処理装置及び内視鏡装置 |
Also Published As
Publication number | Publication date |
---|---|
DE112016000095T5 (de) | 2017-04-27 |
US11559186B2 (en) | 2023-01-24 |
US20190282065A1 (en) | 2019-09-19 |
CN106687023A (zh) | 2017-05-17 |
US20170273543A1 (en) | 2017-09-28 |
US20230113382A1 (en) | 2023-04-13 |
WO2017026540A1 (ja) | 2017-02-16 |
DE112016000095B4 (de) | 2019-07-11 |
JPWO2017026540A1 (ja) | 2017-08-10 |
CN106687023B (zh) | 2018-12-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6125740B1 (ja) | 内視鏡システム及び評価値計算装置 | |
JP6113386B1 (ja) | 評価値計算装置及び電子内視鏡システム | |
US11701032B2 (en) | Electronic endoscope processor and electronic endoscopic system | |
JP6427280B2 (ja) | 補正データ生成方法及び補正データ生成装置 | |
US20230113382A1 (en) | Evaluation value calculation device and electronic endoscope system | |
JP6420358B2 (ja) | 内視鏡システム及び評価値計算装置 | |
JP6433634B2 (ja) | 電子内視鏡用プロセッサ及び電子内視鏡システム | |
JP6591688B2 (ja) | 電子内視鏡用プロセッサ及び電子内視鏡システム | |
JP2018023497A (ja) | 色補正用治具及び電子内視鏡システム | |
JPWO2019142689A1 (ja) | 電子内視鏡用プロセッサ及び電子内視鏡システム | |
JP2018011797A (ja) | 補正効果確認方法及び指標 | |
JP2018011796A (ja) | キャリブレーション方法 | |
JP2016043135A (ja) | 内視鏡装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20170214 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170216 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170314 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6113387 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20170717 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |