JP2022090759A - 医用画像処理システム、医用画像処理システムの作動方法 - Google Patents
医用画像処理システム、医用画像処理システムの作動方法 Download PDFInfo
- Publication number
- JP2022090759A JP2022090759A JP2020203256A JP2020203256A JP2022090759A JP 2022090759 A JP2022090759 A JP 2022090759A JP 2020203256 A JP2020203256 A JP 2020203256A JP 2020203256 A JP2020203256 A JP 2020203256A JP 2022090759 A JP2022090759 A JP 2022090759A
- Authority
- JP
- Japan
- Prior art keywords
- image
- medical image
- medical
- processing system
- monitor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000003384 imaging method Methods 0.000 claims abstract description 15
- 230000003902 lesion Effects 0.000 claims description 15
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000003745 diagnosis Methods 0.000 abstract description 6
- 238000005286 illumination Methods 0.000 description 13
- 230000001678 irradiating effect Effects 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 238000003860 storage Methods 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 6
- 210000004204 blood vessel Anatomy 0.000 description 5
- 230000000295 complement effect Effects 0.000 description 5
- 102000001554 Hemoglobins Human genes 0.000 description 4
- 108010054147 Hemoglobins Proteins 0.000 description 4
- 239000003086 colorant Substances 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000003780 insertion Methods 0.000 description 4
- 230000037431 insertion Effects 0.000 description 4
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 229910052760 oxygen Inorganic materials 0.000 description 3
- 239000001301 oxygen Substances 0.000 description 3
- 238000005452 bending Methods 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000000295 emission spectrum Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000002344 surface layer Substances 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- Surgery (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Medical Informatics (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Endoscopes (AREA)
Abstract
【課題】観察すべき画像の見過ごしを防止しながら診断に最適な画像を指定可能な、医用画像処理システム、医用画像処理システムの作動方法を提供する。【解決手段】内視鏡システム１０は、観察対象を連続して撮像することにより生成された複数の医用画像を順次取得し、複数の医用画像の各々に対して認識処理を行うことにより注目領域を検出するとともに、複数の医用画像をモニタ１８に順次出力して表示し、表示中の医用画像に対して指定操作が行われた場合に、表示中の医用画像と表示中の医用画像の前後の少なくとも一方に撮像された医用画像との中から、注目領域の視認性が最も高い医用画像を、指定操作により指定する医用画像として選択する。【選択図】図４
Description
本発明は、医用画像処理システム、医用画像処理システムの作動方法に関する。
医療分野においては、内視鏡画像、超音波画像、X線画像、CT（Computed Tomography）画像、MR（Magnetic Resonanse）画像などの医用画像を用いて、患者の病状の診断や経過観察などの画像診断が行われている。このような画像診断に基づいて、医師などは治療方針の決定などを行っている。
例えば、下記特許文献１には、内視鏡装置において、観察対象を連続して撮像することにより生成された複数の医用画像（内視鏡画像）を順次モニタに出力して表示し、ユーザー（医師）がモニタを観察しながらフリーズスイッチを操作して指定した内視鏡画像を静止画として取得する構成が記載されている。
また、下記特許文献２には、内視鏡装置において、学習器により内視鏡画像の各々から病変部等の注意して観察すべき異常領域（注目領域）を検出するとともに、共通の病変部等を含む一連の内視鏡画像の中から注目領域の視認性が最も高い内視鏡画像を代表画像に設定する構成が記載されている。
しかしながら、上記特許文献１では、医師が指定した画像が必ずしも診断に最適な画像ではないといった問題があった。つまり、モニタ画面の更新（画像の撮像）は毎秒数十フレーム単位で行われるので、医師がフリーズスイッチを操作したときによりも数フレーム前（または、後）の内視鏡画像の方がより視認性の高い、診断に好適な画像である場合があった。
また、上記特許文献２では、医師の意向に関わらず機械的に代表画像が設定されるため、医師が代表画像のみを観察し、代表画像の前後に観察すべき画像が存在する場合に見過ごされてしまう恐れがあった。
本発明は上記背景を鑑みてなされたものであり、観察すべき画像の見過ごしを防止しながら診断に最適な画像を指定可能な、医用画像処理システム、医用画像処理システムの作動方法を提供することを目的としている。
上記目的を達成するために、本発明の医用画像処理システムは、プログラム命令を記憶するメモリと、プログラム命令を実行させるプロセッサと、を備えた医用画像処理システムにおいて、プロセッサは、観察対象を連続して撮像することにより生成された複数の医用画像を順次取得し、複数の医用画像の各々に対して認識処理を行うことにより注目領域を検出するとともに、複数の医用画像をモニタに順次出力して表示し、モニタに表示中の医用画像に対して医用画像を指定する指定操作が行われた場合に、モニタに表示中の医用画像とモニタに表示中の医用画像の前後の少なくとも一方に撮像された医用画像との中から、注目領域の視認性が最も高い医用画像を、指定操作により指定する医用画像として選択する。
コントラストが最も高い医用画像を視認性が最も高いと判定してもよい。
認識処理により病変部位を含む領域が注目領域として検出されるものでもよい。
認識処理には、注目領域を鑑別する鑑別処理が含まれていてもよい。
モニタに表示中の医用画像の撮像から所定期間内に撮像された医用画像の中から指定する医用画像を選択してもよい。
指定操作は、モニタの画面更新を停止して１の医用画像を継続して表示させるフリーズ操作であってもよい。
指定操作は、モニタに表示された医用画像を記録用画像として取得するキャプチャ操作であってもよい。
認識処理では、Convolutional Neural Networkを用いてもよい。
医用画像は、内視鏡から得られた画像であってもよい。
また、上記目的を達成するために、本発明の医用画像処理システムの作動用法は、プログラム命令を記憶するメモリと、プログラム命令を実行させるプロセッサと、を備えた医用画像処理システムの作動方法において、プロセッサは、観察対象を連続して撮像することにより生成された複数の医用画像を順次取得し、複数の医用画像の各々に対して認識処理を行うことにより注目領域を検出するとともに、複数の医用画像をモニタに順次出力して表示し、モニタに表示中の医用画像に対して医用画像を指定する指定操作が行われた場合に、モニタに表示中の医用画像とモニタに表示中の医用画像の前後の少なくとも一方に撮像された医用画像との中から、注目領域の視認性が最も高い医用画像を、指定操作により指定する医用画像として選択する。
本発明によれば、観察すべき画像の見過ごしを防止しながら診断に最適な画像を指定可能な、医用画像処理システム、医用画像処理システムの作動方法を提供できる。
図１において、内視鏡システム１０（医用画像処理システム）は、内視鏡１２と、光源装置１４と、プロセッサ装置１６と、モニタ１８と、ＵＩ（User InterFace、ユーザーインターフェース）１９とを有する。内視鏡１２は、光源装置１４と光学的に接続され、且つ、プロセッサ装置１６と電気的に接続される。
内視鏡１２は、観察対象の体内に挿入される挿入部１２ａと、挿入部１２ａの基端部分に設けられた操作部１２ｂと、挿入部１２ａの先端側に設けられた湾曲部１２ｃ及び先端部１２ｄとを有している。湾曲部１２ｃは、操作部１２ｂを操作することにより湾曲動作する。先端部１２ｄは、湾曲部１２ｃの湾曲動作によって所望の方向に向けられる。
また、操作部１２ｂには、医用画像（本実施形態では内視鏡画像）を指定する指定操作に用いる指定スイッチ１２ｇ、観察モードの切り替え操作に用いるモード切替スイッチ１２ｈ、ズーム倍率の変更操作に用いるズーム操作部１２ｉが設けられている。指定操作には、モニタ１８の画面更新を停止して１枚（フレーム）の医用画像を継続して表示させるフリーズ操作と、モニタ１８に表示された医用画像を記録用の静止画として取得（ストレージデバイス５８ａ（図２参照）に保存）するキャプチャ操作とがあり、例えば、モニタ１８に表示された医用画像に対して指定スイッチ１２ｇを長押しすることでフリーズ操作を行い、指定スイッチ１２ｇを短く１回押圧することでキャプチャ操作を行うことができる。
なお、本実施形態では、フリーズ操作とキャプチャ操作を１つの操作部材（指定スイッチ１２ｇ）で行っているが、フリーズ操作用の操作部材とキャプチャ操作用の操作部材とを別体に設けてもよい。また、本実施形態では、フリーズ操作用の操作部材とキャプチャ操作用の操作部材とを操作部１２ｂに設けているが、これらをＵＩ１９に設けてもよい。さらに、本実施形態では、フリーズ操作とキャプチャ操作との両方が可能な内視鏡システムに本発明を適用する例で説明をしたが、フリーズ操作とキャプチャ操作とのうちの一方の操作のみが可能な内視鏡システムに本発明を適用してもよい。
光源装置１４は、観察対象を照明するための照明光を発する光源部２０（図２参照）を備えている。光源部２０からの照明光は、ライトガイド２５（図２参照）により導光されて先端部１２ｄから観察対象へ向けて照射される。光源部２０からの照明光により照明された観察対象は、先端部１２ｄに内蔵された撮像センサ４４（図２参照）により撮像される。
プロセッサ装置１６は、モニタ１８及びＵＩ１９と電気的に接続される。モニタ１８は、観察対象の画像や、観察対象の画像に付帯する情報等を出力表示する。ＵＩ１９は、キーボード、マウス、タッチパッド、マイク等を有し、機能設定等の入力操作を受け付ける機能を有する。なお、プロセッサ装置１６には、外付けのメモリ（図示しない）を接続してもよい。
図２において、光源装置１４は、前述した光源部２０を備えている。光源部２０は、プロセッサ装置１６の光源制御部２１に接続されており、光源部２０が発する照明光の発光スペクトル並びに発光タイミングは、光源制御部２１により制御される。
本実施形態において、光源部２０は、発光スペクトルが互いに異なる通常光と特殊光とを発光する。通常光は、例えば、白色光である。白色光は、例えば、波長帯域３８０～４２０ｎｍの紫色光、波長帯域４２０～５００ｎｍの青色光、波長帯域４８０～６００ｎｍの緑色光、波長帯域６００～６５０ｎｍの赤色光、を含む。通常光を観察対象に照射して撮像された内視鏡画像（通常画像）は、モニタ１８に表示される。
特殊光は、１種類であってもよいし複数種類であってもよい。特殊光としては、例えば、血中ヘモグロビンの吸収係数が高い紫色光（ピーク波長４００ｎｍ～４２０ｎｍ）の発光量が、通常光よりも大きくされたものがある。この特殊光を観察対象に照射して撮像された内視鏡画像（特殊画像）は、表層の血管構造や腺管構造を示す血管画像（生体情報画像）の生成に用いられる。
また、特殊光としては、例えば、前述した紫色光のみを発光するものがある。この特殊光を観察対象に照射して撮像された内視鏡画像（特殊画像）は、前述の場合（紫色光の発光量を通常光よりも大きくした場合）と比較して、より表層の血管構造や腺管構造を示す血管画像（生体情報画像）の生成に用いられる。
さらに、特殊光としては、例えば、酸化ヘモグロビンと還元ヘモグロビンの吸光係数に差がある青紫色光（ピーク波長４７０ｎｍ～４８０ｎｍ）を発光するものがある。この特殊光を観察対象に照射して撮像された内視鏡画像（特殊画像）は、血中ヘモグロビンの酸素飽和度を示す酸素飽和度画像（生体情報画像）の生成に用いられる。
また、特殊光としては、例えば、前述した紫色光及び青紫光、並びに、赤色光（ピーク波長６２０ｎｍ～６３０ｎｍ）の発光量が、通常光よりも大きくされたものがある。この特殊光を観察対象に照射して撮像された内視鏡画像（特殊画像）は、病変部と病変部以外の範囲との色差を拡張した色差拡張画像（生体情報画像）の生成に用いられる。なお、特殊光の種類、及び、各特殊光を照射して撮像された内視鏡画像（特殊画像）を用いて生成する生体情報画像の種類は、上記に限定されず適宜変更できる。
光源部２０からの照明光は、ミラーやレンズなどで構成される光路結合部２３を介して、前述したライトガイド２５に入射される。ライトガイド２５は、内視鏡１２及びユニバーサルコード（内視鏡１２と、光源装置１４及びプロセッサ装置１６を接続するコード）に内蔵されている。ライトガイド２５は、光路結合部２３からの光を、内視鏡１２の先端部１２ｄまで伝搬する。
内視鏡１２の先端部１２ｄには、照明光学系３０ａと撮像光学系３０ｂが設けられている。照明光学系３０ａは照明レンズ３２を有しており、ライトガイド２５によって伝搬した照明光は照明レンズ３２を介して観察対象に照射される。撮像光学系３０ｂは、対物レンズ４２、ズームレンズ４３、撮像センサ４４を有している。照明光を照射したことによる観察対象からの光は、対物レンズ４２及びズームレンズ４３を介して撮像センサ４４に入射する。これにより、撮像センサ４４に観察対象の像が結像される。ズームレンズ４３は観察対象を拡大するためのレンズであり、ズーム操作部１２ｉを操作することによって、テレ端とワイド端と間を移動する。
撮像センサ４４は、カラーセンサであり、本実施形態では、Ｂ（ブルー）カラーフィルタを有するＢ画素、Ｇ（グリーン）カラーフィルタを有するＧ画素、及び、Ｒ（レッド）カラーフィルタを有するＲ画素の３種類の画素を備えた原色系のカラーセンサを用いている。このような撮像センサ４４としては、ＣＣＤ（Charge-Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）撮像センサ等を用いることができる。
撮像センサ４４は、プロセッサ装置１６の撮像センサ制御部４５により制御される。撮像センサ制御部４５は、所定サイクルで（例えば、毎秒６０回）、撮像（撮像センサ４４の信号読み出し）を行う。そして、この撮像に伴い、撮像センサ４４から画像信号が出力される。例えば、毎秒６０回のサイクルで撮像を行った場合は、毎秒６０フレーム（枚）分の画像信号が出力される。
なお、ＲＧＢの原色のカラーフィルタを設けた原色系の撮像センサ４４の代わりに、Ｃ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）及びＧ（緑）の補色フィルタを有する補色系の撮像センサを用いてもよい。補色系の撮像センサを用いる場合には、ＣＭＹＧの４色の画像信号を出力する。このため、補色－原色色変換によって、ＣＭＹＧの４色の画像信号をＲＧＢの３色の画像信号に変換することにより、撮像センサ３８と同様のＲＧＢ各色の画像信号を得ることができる。また、撮像センサ３８の代わりに、カラーフィルタを設けていないモノクロセンサを用いてもよい。
ＣＤＳ／ＡＧＣ（Correlated Double Sampling／Automatic Gain Control）回路４６は、撮像センサ４４から得られるアナログの画像信号に相関二重サンプリング（ＣＤＳ）や自動利得制御（ＡＧＣ）を行う。ＣＤＳ／ＡＧＣ回路４６を経た画像信号は、Ａ／Ｄ（Analog／Digital）コンバータ４８により、デジタルの画像信号に変換される。Ａ／Ｄ変換後のデジタル画像信号がプロセッサ装置１６に入力される。
プロセッサ装置１６は、本発明のプロセッサを構成する中央制御部６８を備えている。中央制御部６８は、メモリ６９に格納されたプログラム命令を実行させるためのハードウェア資源であり、プロセッサ装置１６の各部を駆動制御してプログラム命令を実行させる。プログラム命令の実行に伴う中央制御部６８の駆動制御により、プロセッサ装置１６は、撮像制御部５０、ＤＳＰ（Digital Signal Processor）５２、ノイズ低減部５４、画像処理部５８、表示制御部６０、として機能する。
撮像制御部５０には、前述した光源制御部２１及び撮像センサ制御部４５が設けられている。撮像制御部５０は、光源制御部２１を介して光源部２０を制御して観察対象を照明するとともに、撮像センサ制御部４５を介して撮像センサ４４を制御して観察対象を撮像する（撮像センサ４４から信号読み出しを行う）。そして、この撮像により撮像センサ４４から出力された内視鏡画像を取得する。
撮像制御部５０は、通常光を観察対象に照射して撮像する通常撮像を行い、通常画像を取得する。また、撮影制御部５０は、特殊光を観察態様に照射して撮像する特殊撮像を行い、特殊画像を取得する。特殊撮像は、特殊光の種類毎に行われる。なお、本実施形態において、通常画像及び特殊画像といった内視鏡画像は、撮像センサ４４のＢ画素、Ｇ画素、Ｒ画素から出力される青色信号（Ｂ画像信号）、緑色信号（Ｇ画像信号）、赤色信号（Ｒ画像信号）から構成されるカラー画像である。
撮像制御部５０が取得した内視鏡画像は、ＤＳＰ５２に送信される。ＤＳＰ５２は、受信した内視鏡画像に対して、欠陥補正処理、オフセット処理、ゲイン補正処理、マトリクス処理、ガンマ変換処理、デモザイク処理、及びＹＣ変換処理等の各種信号処理を行う。
欠陥補正処理では、撮像センサ４４の欠陥画素の信号が補正される。オフセット処理では、欠陥補正処理を施した画像信号から暗電流成分を除かれ、正確な零レベルを設定される。ゲイン補正処理は、オフセット処理後の各色の画像信号に特定のゲイン係数を乗じることにより内視鏡画像の信号レベルを整える。なお、内視鏡画像は、撮像センサ４４としてモノクロセンサを用いる場合には、特定の色の光の発光毎にモノクロセンサで撮像し、モノクロセンサから出力される複数色のモノクロ画像とすることが好ましい。
ゲイン補正処理後の各色の画像信号には、色再現性を高めるマトリクス処理が施される。その後、ガンマ変換処理によって、内視鏡画像の明るさや彩度が整えられる。マトリクス処理後の内視鏡画像には、デモザイク処理（等方化処理，同時化処理とも言う）が施され、補間により各画素の欠落した色の信号を生成される。デモザイク処理によって、全画素がＲＧＢ各色の信号を有するようになる。ＤＳＰ５２は、デモザイク処理後の内視鏡画像にＹＣ変換処理を施し、輝度信号Ｙと色差信号Ｃｂ及び色差信号Ｃｒをノイズ低減部５４に出力する。
ノイズ低減部５４は、ＤＳＰ５６でデモザイク処理等を施した内視鏡画像に対して、例えば移動平均法やメディアンフィルタ法等によるノイズ低減処理を施す。ノイズを低減した内視鏡画像は、画像処理部５８に入力される。本実施形態では、内視鏡画像として、通常光を照射して撮像した内視鏡画像である通常画像と、特殊光を照射して撮像した内視鏡画像である特殊画像とが画像処理部５８に入力される。
画像処理部５８は、ストレージデバイス５８ａを備え、入力された通常画像と特殊画像とをストレージデバイス５８ａに記憶する。また、画像処理部５８は、生体情報画像生成部５８ｂ、認識処理部５８ｃ、指定画像選択部５８ｄを備え、これら各部により、通常画像と特殊画像に対して各種処理を行う。
生体情報画像生成部５８ｂは、特殊画像を単独で用いて、または、特殊画像と通常画像との両方を用いて観察対象の生体情報を示す生体情報画像を生成する。生体情報画像は、前述した血管画像、酸素飽和度画像、色差拡張画像などであり、特殊画像、または、特殊画像及び通常画像に対して解析処理を行なうことにより生成される画像であり、内視鏡画像の一種である。
認識処理部５８ｃは、通常画像に対して認識処理を行う。認識処理には、病変部などの注目領域を検出する検出処理と、病変部の種類やステージ（程度）を鑑別する鑑別処理とが含まれる。また、鑑別処理には、注目領域に対して行なう処理と、認識処理を行なう画像全体に対して行う処理とが含まれる。
認識処理では、例えば、内視鏡画像を複数の小領域に分割し、分割した内視鏡画像から画像的な特徴量を算出する。そして、検出処理では、算出した特徴量に基づき、各小領域が病変部であるか否かを判断し、同じ種類と特定されたひとかたまりの領域を１つの病変部として抽出し、抽出した病変部を含む領域を注目領域として検出する。また、鑑別処理では、検出された注目領域について、注目領域内の特徴量と、注目領域の態様（位置、大きさ、形状など）と、に基づいて病変部の種類及び／または病変部の程度（ステージ）が判断される。上述した認識処理（検出処理、鑑別処理）における判断は、畳み込みニューラルネットワーク（Convolutional Neural Network）や、深層学習（Deep Learning）などの機械学習アルゴリズムによって行われることが好ましい。
なお、通常画像の認識処理は、通常画像単体を用いて行ってもよいし、通常画像に加えて、特殊画像及び／または生体情報画像を用いて行ってもよい。また、通常画像の認識処理を行う例で説明をしたが、特殊画像及び／または生体情報画像に対して認識処理を行ってもよい。
画像処理部５８は、生体情報画像の生成及び認識処理の後、通常画像及び生体情報画像並びに認識処理の結果を、表示制御部６０に入力する。表示制御部６０は、モニタ１８の表示制御を行うものであり、入力された通常画像及び生体情報画像並びに認識処理の結果を用いて表示用画面を生成し、モニタ１８に表示する。なお、表示画面において、生体情報画像は、通常画像に重畳させて、または、通常画像に並べて表示される。また、認識処理の結果は、例えば、注目領域を示す枠を通常画像に重畳させて表示するなどの態様で表示される。
図３に示すように、指定画像選択部５８ｄは、モニタ１８に表示された通常画像（または、通常画像に生体情報画像及び／または認識処理の結果を重畳させた画像）に対して指定操作（指定スイッチ１２ｇの操作）が行われた場合に作動する。そして、指定画像選択部５８ｄは、指定画像を選択する指定画像選択処理を行う。
図４に示すように、指定画像選択処理では、指定操作が行われたときにモニタ１８に表示中の通常画像と、この通常画像の撮像から所定期間（例えば、指定操作の前後数秒）内に撮像された数十フレーム分の通常画像とを選択対象の画像とし、これら選択対象の画像の注目領域を比較し、注目領域の視認性が最も高い画像を指定画像として選択する。なお、本実施形態では、コントラストが高いほど視認性も高いとみなし、画像解析により注目領域のコントラストが最も高いと判定された画像を指定画像として選択する。
図３に戻り、指定画像選択部５８ｄは、指定画像選択処理により指定画像を選択した後、指定操作がフリーズ操作であった場合は、フリーズ操作が継続されている間、選択された指定画像を継続してモニタ１８に表示する。他方、指定画像選択部５８ｄは、指定操作がキャプチャ操作であった場合は、選択された指定画像を静止画像としてストレージデバイス５８ａに記憶する。
なお、上記実施形態では、コントラストが高いほど視認性が高いとみなす例で説明をしたが、例えば、エッジ（輪郭）検出を行い、エッジがより多く及び／またはより明確に検出されるほど視認性が高いとみなしてもよい。もちろん、コントラスト、エッジ以外の要素に基づいて視認性を判定してもよい。また、コントラスト、エッジの両方の要素に基づいて視認性を判定するといったように、複数の要素を考慮して視認性を判定してもよい。
また、上記実施形態では、指定操作から所定期間内に撮像された画像を、指定画像を選択する際の選択対象とする例で説明をしたが、本発明はこれに限定されない。指定操作から所定期間内に撮像された画像であっても、指定操作を行ったときにモニタ１８に表示されている画像（以下、表示画像）とは異なる病変部等に対して注目領域が設定されている画像も存在する。このように、表示画像とは異なる病変部等に対して注目領域が設定されている画像については、指定画像の選択対象から除外することが好ましい。
具体的には、表示画像の注目領域とは注目領域の位置（例えば、注目領域の中心の位置）が所定距離以上離れている画像は、指定画像の選択対象から除外することが好ましい。また、表示画像の注目領域とは注目領域の数（検出数）が異なる画像、及び／または、表示画像の注目領域とは注目領域の面積が所定の大きさ以上異なる画像は、指定画像の選択対象から除外することが好ましい。さらに、表示画像とは注目領域の鑑別結果が異なる画像は、指定画像の選択対象から除外することが好ましい。
また、表示画像から所定期間内に撮像された画像の中に注目領域の検出されない画像が含まれる場合、表示画像から注目領域が連続して検出されている範囲（期間）に撮像された画像のみを指定画像の選択対象とし、これ以外の範囲（期間）に撮像された画像については指定画像の選択対象から除外してもよい。さらに、表示画像から所定期間内に撮像された画像の中に表示画像とは注目領域の鑑別結果が異なる画像が含まれる場合、表示画像から同じ鑑別結果が連続して検出されている範囲（期間）に撮像された画像のみを指定画像の選択対象とし、これ以外の範囲（期間）に撮像された画像については指定画像の選択対象から除外してもよい。
なお、上記実施形態では、内視鏡システムに本発明を適用する例（医用画像が内視鏡画像である例）で説明をしたが、本発明はこれに限定されない。内視鏡システム以外の医療システムに本発明を適用してもよい（医用画像が内視鏡画像以外の画像であってもよい）。内視鏡システム以外の医療システムとしては、超音波を用いて超音波画像を取得する超音波検査システム、Ｘ線を用いてＸ線画像を取得するＸ線検査システムなどが挙げられる。
上記実施形態において、光源制御部２１、撮像センサ制御部４５、撮像制御部５０、ＤＰＳ５２、ノイズ低減部５４、画像処理部５８、生体情報画像生成部５８ｂ、認識処理部５８ｃ、指定画像選択部５８ｄ、表示制御部６０、中央制御部６８、等の各種の処理を実行する処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＦＰＧＡ (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡや、ＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路（circuitry）である。また、記憶部のハードウェア的な構造はＨＤＤ（hard disc drive）やＳＳＤ（solid state drive）等の記憶装置である。
１０ 内視鏡システム（医用画像処理システム）
１２ 内視鏡
１２ａ 挿入部
１２ｂ 操作部
１２ｃ 湾曲部
１２ｄ 先端部
１２ｇ 指定スイッチ
１２ｈ モード切替スイッチ
１２ｉ ズーム操作部
１４ 光源装置
１６ プロセッサ装置
１８ モニタ
１９ ＵＩ
２０ 光源部
２１ 光源制御部
２３ 光路結合部
２５ ライトガイド
３０ａ 照明光学系
３０ｂ 撮像光学系
３２ 照明レンズ
４２ 対物レンズ
４３ ズームレンズ
４４ 撮像センサ
４５ 撮像センサ制御部
４６ ＣＤＳ／ＡＧＣ回路
４８ Ａ／Ｄコンバータ
５０ 撮像制御部
５２ ＤＳＰ
５４ ノイズ低減部
５８ 画像処理部
５８ａ ストレージデバイス
５８ｂ 生体情報画像生成部
５８ｃ 認識処理部
５８ｄ 指定画像選択部
６０ 表示制御部
６８ 中央制御部（プロセッサ）
６９ メモリ
１２ 内視鏡
１２ａ 挿入部
１２ｂ 操作部
１２ｃ 湾曲部
１２ｄ 先端部
１２ｇ 指定スイッチ
１２ｈ モード切替スイッチ
１２ｉ ズーム操作部
１４ 光源装置
１６ プロセッサ装置
１８ モニタ
１９ ＵＩ
２０ 光源部
２１ 光源制御部
２３ 光路結合部
２５ ライトガイド
３０ａ 照明光学系
３０ｂ 撮像光学系
３２ 照明レンズ
４２ 対物レンズ
４３ ズームレンズ
４４ 撮像センサ
４５ 撮像センサ制御部
４６ ＣＤＳ／ＡＧＣ回路
４８ Ａ／Ｄコンバータ
５０ 撮像制御部
５２ ＤＳＰ
５４ ノイズ低減部
５８ 画像処理部
５８ａ ストレージデバイス
５８ｂ 生体情報画像生成部
５８ｃ 認識処理部
５８ｄ 指定画像選択部
６０ 表示制御部
６８ 中央制御部（プロセッサ）
６９ メモリ
Claims (10)
- プログラム命令を記憶するメモリと、前記プログラム命令を実行させるプロセッサと、を備えた医用画像処理システムにおいて、
前記プロセッサは、
観察対象を連続して撮像することにより生成された複数の医用画像を順次取得し、
前記複数の医用画像の各々に対して認識処理を行うことにより注目領域を検出するとともに、前記複数の医用画像をモニタに順次出力して表示し、
前記モニタに表示中の医用画像に対して医用画像を指定する指定操作が行われた場合に、前記モニタに表示中の医用画像と前記モニタに表示中の医用画像の前後の少なくとも一方に撮像された医用画像との中から、前記注目領域の視認性が最も高い医用画像を、前記指定操作により指定する医用画像として選択する、医用画像処理システム。 - コントラストが最も高い医用画像を視認性が最も高いと判定する、請求項１記載の医用画像処理システム。
- 前記認識処理により病変部位を含む領域が前記注目領域として検出される、請求項１または２に記載の医用画像処理システム。
- 前記認識処理には、前記注目領域を鑑別する鑑別処理が含まれる、請求項１～３のいずれか１項に記載の医用画像処理システム。
- 前記モニタに表示中の医用画像の撮像から所定期間内に撮像された医用画像の中から指定する医用画像を選択する、請求項１～４のいずれか１項に記載の医用画像処理システム。
- 前記指定操作は、前記モニタの画面更新を停止して１の医用画像を継続して表示させるフリーズ操作である、請求項１～５のいずれか１項に記載の医用画像処理システム。
- 前記指定操作は、前記モニタに表示された医用画像を記録用画像として取得するキャプチャ操作である、請求項１～６のいずれか１項に記載の医用画像処理システム。
- 前記認識処理では、Convolutional Neural Networkを用いる、請求項１～７のいずれか１項に記載の医用画像処理システム。
- 前記医用画像は、内視鏡から得られた画像である請求項１～８のいずれか１項に記載の医用画像処理システム。
- プログラム命令を記憶するメモリと、前記プログラム命令を実行させるプロセッサと、を備えた医用画像処理システムの作動方法において、
前記プロセッサは、
観察対象を連続して撮像することにより生成された複数の医用画像を順次取得し、
前記複数の医用画像の各々に対して認識処理を行うことにより注目領域を検出するとともに、前記複数の医用画像をモニタに順次出力して表示し、
前記モニタに表示中の医用画像に対して医用画像を指定する指定操作が行われた場合に、前記モニタに表示中の医用画像と前記モニタに表示中の医用画像の前後の少なくとも一方に撮像された医用画像との中から、前記注目領域の視認性が最も高い医用画像を、前記指定操作により指定する医用画像として選択する、医用画像処理システムの作動方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020203256A JP2022090759A (ja) | 2020-12-08 | 2020-12-08 | 医用画像処理システム、医用画像処理システムの作動方法 |
| CN202111487591.6A CN114627045A (zh) | 2020-12-08 | 2021-12-07 | 医用图像处理系统、医用图像处理系统的工作方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020203256A JP2022090759A (ja) | 2020-12-08 | 2020-12-08 | 医用画像処理システム、医用画像処理システムの作動方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2022090759A true JP2022090759A (ja) | 2022-06-20 |
Family
ID=81898338
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020203256A Pending JP2022090759A (ja) | 2020-12-08 | 2020-12-08 | 医用画像処理システム、医用画像処理システムの作動方法 |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP2022090759A (ja) |
| CN (1) | CN114627045A (ja) |
-
2020
- 2020-12-08 JP JP2020203256A patent/JP2022090759A/ja active Pending
-
2021
- 2021-12-07 CN CN202111487591.6A patent/CN114627045A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| CN114627045A (zh) | 2022-06-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110325100B (zh) | 内窥镜系统及其操作方法 | |
| JP6785948B2 (ja) | 医療用画像処理装置及び内視鏡システム並びに医療用画像処理装置の作動方法 | |
| JP7531013B2 (ja) | 内視鏡システム及び医療画像処理システム | |
| JP7135082B2 (ja) | 内視鏡装置、内視鏡装置の作動方法、及びプログラム | |
| JP7411772B2 (ja) | 内視鏡システム | |
| JP7542585B2 (ja) | 画像処理装置、内視鏡システム及び画像処理装置の作動方法 | |
| JP7335399B2 (ja) | 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法 | |
| JP7337073B2 (ja) | 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法 | |
| JP6858672B2 (ja) | 医療画像処理システム及び内視鏡システム | |
| WO2020170809A1 (ja) | 医療画像処理装置、内視鏡システム、及び医療画像処理方法 | |
| EP4183311A1 (en) | Image analysis processing device, endoscopy system, operation method for image analysis processing device, and program for image analysis processing device | |
| US20230027950A1 (en) | Medical image processing apparatus, endoscope system, method of operating medical image processing apparatus, and non-transitory computer readable medium | |
| US20230029239A1 (en) | Medical image processing system and method for operating medical image processing system | |
| WO2022014258A1 (ja) | プロセッサ装置、プロセッサ装置の作動方法 | |
| JP7386347B2 (ja) | 内視鏡システム及びその作動方法 | |
| WO2020054255A1 (ja) | 内視鏡装置、内視鏡プロセッサ、及び内視鏡装置の操作方法 | |
| WO2021157392A1 (ja) | 画像処理装置、内視鏡システム、及び画像処理方法 | |
| US20230101620A1 (en) | Medical image processing apparatus, endoscope system, method of operating medical image processing apparatus, and non-transitory computer readable medium | |
| JP2022090759A (ja) | 医用画像処理システム、医用画像処理システムの作動方法 | |
| WO2021095446A1 (ja) | 情報表示システムおよび情報表示方法 | |
| WO2022038803A1 (ja) | プロセッサ装置、プロセッサ装置の作動方法 | |
| CN114585291A (zh) | 图像处理装置及其工作方法 | |
| WO2021205777A1 (ja) | プロセッサ装置及びその作動方法 | |
| WO2019202982A1 (ja) | 内視鏡装置、内視鏡操作方法、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230907 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240130 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240305 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240424 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240723 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240816 |