JP6949999B2 - 画像処理装置、内視鏡システム、画像処理方法、プログラム及び記録媒体 - Google Patents

Description

本発明は画像処理装置、内視鏡システム、画像処理方法、プログラム及び記録媒体に係り、特に 医用画像の保存に関する。

医療分野においては、内視鏡装置を用いた検査が行われている。近年は、画像解析を用いて内視鏡の観察画像である内視鏡画像に含まれる病変の認識を行うシステムが知られている。内視鏡検査では、手技と観察を同時に行う必要がある。例えば、手技を行う際に操作部に視線を向けた場合には、病変の見落としや、判断の間違い等が発生し得る。このような病変の見落とし等を抑制するための支援が必要である。

また、病変の認識における画像解析では、ディープラーニングをはじめとする画像の機械学習が広く用いられている。機械学習装置は、機械学習を行う際に用いる学習用のデータを収集する必要がある。一般に、機械学習装置は多数の学習用のデータを必要とする。そのために、機械学習装置へ収集される学習用データは非常に多くなる。

特許文献１は、被検体の内視鏡画像を取得し、取得した内視鏡画像から病変領域を検出し、病変領域が検出された場合に報知を行い、かつ病変領域を強調表示する内視鏡装置が記載されている。同文献に記載の内視鏡装置は、内視鏡画像から特徴量を抽出し、予め記憶されているポリープモデル情報の特徴量と内視鏡画像の特徴量とを比較し、互いの特徴量が一致した場合に病変領域を検出している。

特許文献２は、カプセル内視鏡から出力された第１画像の特徴量を用いて、スコープ型内視鏡の撮像画像である第２画像から病変を検出する画像処理装置が記載されている。同文献に記載の画像処理装置は、第１画像内の画素の画素値に基づいて基準特徴量を算出し、基準特徴量と第２画像の画素値とに基づき、第２画像から注目領域を検出している。

特許文献３は、顔の表情を検出し、表情の度合いを示した表情レベルに対応した判定結果に応じて連続撮像を開始する電子スチルカメラが記載されている。

国際公開第２０１７／０７３３３７号 特開２０１２−５５１２号公報 特許第５１５７７０４号

しかしながら、医用画像を利用する際に、大量の医用画像の鑑別を自動で行い、鑑別結果に応じて医用画像を保存する支援が必要である。

特許文献１に記載の発明は、内視鏡画像から病変領域候補が検出された場合に、静止画像にマーカー画像が付され、表示部を用いて表示される。一方、特許文献１に記載の発明は、静止画像を表示するために一次記憶するものの、特許文献１には、記憶装置への静止画像の保存に関する記載はない。

特許文献２に記載の発明は、注目領域の種類に応じて、注目領域を抽出する際に使用する閾値の変更を可能として注目領域の抽出を支援するものの、特許文献２に記載の発明は、注目領域が抽出された画像を鑑別し、鑑別結果に応じて保存するものではない。

特許文献３に記載の発明は、連続撮像された画像を共通のフォルダに保存するものであり、連続撮像された画像を鑑別して、鑑別結果に基づく保存を行うものではない。

本発明はこのような事情に鑑みてなされたもので、注目シーンを含む医用画像を自動鑑別し、鑑別結果に応じた医用画像の保存を支援し得る画像処理装置、内視鏡システム、画像処理方法、プログラム及び記録媒体を提供することを目的とする。

上記目的を達成するために、次の発明態様を提供する。

第１態様に係る画像処理装置は、医用画像を取得する医用画像取得部と、医用画像取得部を用いて取得した医用画像から注目シーンを認識する注目シーン認識部と、注目シーン認識部を用いて認識された注目シーンについて、医用画像取得部を用いて取得した医用画像と、注目シーンについて定められた基準画像との類似度を算出する類似度算出部と、類似度算出部を用いて算出された類似度に基づいて医用画像を保存装置へ保存する処理を行う保存処理部と、を備えた画像処理装置である。

第１態様によれば、注目シーンが認識された医用画像が取得され、基準画像との類似度に応じて保存される。これにより、注目シーンが認識された医用画像の自動鑑別、及び鑑別結果に応じた医用画像の保存が可能である。

医用画像の例として、内視鏡の観察画像である内視鏡画像が挙げられる。内視鏡画像は、動画像でもよいし、時系列の静止画像でもよい。

医用画像が動画像の場合、注目シーンが認識された医用画像として、注目シーンが認識されたタイミングから一定期間内の１以上のフレーム画像を保存してもよい。

注目シーンは１つの画像から構成されてもよいし、複数の画像を含む画像グループから構成されてもよい。注目シーンに含まれる特徴の例として、病変、及び病変の状態等が挙げられる。

第２態様は、第１態様の画像処理装置において、医用画像から特徴量を抽出する医用画像特徴量抽出部を備え、類似度算出部は、医用画像の特徴量に基づいて、医用画像と基準画像との類似度を算出する構成としてもよい。

第２態様によれば、医用画像の特徴量に応じた類似度に基づく医用画像の保存が可能である。

第３態様は、第１態様又は第２態様の画像処理装置において、基準画像を取得する基準画像取得部と、基準画像取得部を用いて取得した基準画像から特徴量を抽出する基準画像特徴量抽出部と、を備えた構成としてもよい。

第３態様によれば、基準画像の特徴量に応じた類似度に基づく医用画像の保存が可能である。

第４態様は、第１態様又は第２態様の画像処理装置において、基準画像の特徴量を取得する基準画像特徴量取得部を備え、類似度算出部は、医用画像の特徴量、及び基準画像の特徴量に基づいて、医用画像と基準画像との類似度を算出する構成としてもよい。

第４態様によれば、医用画像の特徴量、及び基準画像の特徴量に応じた類似度に基づく医用画像の保存が可能である。

基準画像の特徴量の取得の概念には、基準画像から特徴量を抽出し、抽出した特徴量を取得する態様が含まれてもよい。

第５態様は、第１態様から第４態様のいずれか一態様の画像処理装置において、注目シーン認識部は、病変を含むシーンを注目シーンとして認識する構成としてもよい。

第５態様によれば、医用画像から病変を含む注目シーンの認識が可能である。

第６態様は、第１態様から第５態様のいずれか一態様の画像処理装置において、注目シーン認識部は、予め複数の医用画像が保存される医用画像保存装置から複数の医用画像を取得し、複数の医用画像について注目シーンの認識を行い、注目シーンとして非認識の医用画像の中から、注目シーン認識部が認識を困難とする基準画像を選択し、保存処理部は、類似度が規定の閾値以上の場合に、医用画像を保存装置へ保存する構成としてもよい。

第６態様によれば、注目シーン認識部の認識が困難な基準画像に類似する医用画像の自動鑑別、及び鑑別結果に応じた医用画像保存が可能である。

第７態様は、第６態様の画像処理装置において、注目シーン認識部は、注目シーン認識部が注目シーンとして非認識の医用画像と、注目シーン認識部が認識を困難とする医用画像の正解画像と、の比較結果を用いて、注目シーンとして非認識の医用画像の中から基準画像を選択し、保存処理部は、類似度が規定の閾値以上の場合に、医用画像を保存装置へ保存する構成としてもよい。

第７態様によれば、注目シーン認識部が認識を困難とする医用画像の正解画像に基づく基準画像に類似する医用画像の自動鑑別、及び鑑別結果に応じた医用画像保存が可能である。

第８態様は、第１態様から第５態様のいずれか一態様の画像処理装置において、注目シーン認識部は、医用画像から注目シーンを認識し、保存処理部は、保存装置に既に保存されている医用画像を基準画像として、類似度が規定の閾値以下の場合に、医用画像を保存装置へ保存する構成としてもよい。

第８態様によれば、注目シーンとして認識された医用画像のうち、既に保存されている医用画像と非類似の医用画像の保存が可能である。

第９態様は、第８態様の画像処理装置において、注目シーンが認識された場合、内視鏡の撮像モードを動画像撮像モードから静止画像撮像モードへ切り替える切替信号を、内視鏡を備えた内視鏡装置へ送信する撮像モード切替信号送信部を備えた構成としてもよい。

第９態様によれば、注目シーンが認識された場合に、注目シーンの静止画像を自動撮像することが可能である。

第１０態様は、第８態様又は第９態様の画像処理装置において、保存処理部は、注目シーンとして認識された医用画像を保存装置へ保存する構成としてもよい。

第１０態様によれば、注目シーンとして認識された医用画像の保存が可能である。

第１１態様は、第８態様又は第９態様の画像処理装置において、保存処理部は、注目シーンとして認識された医用画像の以降に取得された医用画像を保存装置へ保存する構成としてもよい。

第１１態様によれば、注目シーンとして認識された医用画像の以降に取得された医用画像を、注目シーンとして認識された医用画像として保存することが可能である。

第１２態様は、第８態様から第１１態様のいずれか一態様の画像処理装置において、注目シーン認識部を用いて注目シーンとして認識された１枚目の医用画像を基準画像として設定する基準画像設定部を備えた構成としてもよい。

第１２態様によれば、注目シーンとして認識された１枚目の医用画像と非類似の医用画像の自動鑑別、及び鑑別結果に基づく医用画像の保存が可能である。

第１３態様は、第１態様から第１２態様のいずれか一態様の画像処理装置において、保存装置へ医用画像が保存されたことを報知する報知部を備えた構成としてもよい。

第１３態様によれば、注目シーンとして認識された医用画像の保存が報知される。これにより、術者は、注目シーンとして認識された医用画像の保存を把握し得る。

第１４態様に係る内視鏡システムは、内視鏡を備えた内視鏡装置と、画像処理装置と、を備えた内視鏡システムであって、画像処理装置は、医用画像を取得する医用画像取得部と、医用画像取得部を用いて取得した医用画像から注目シーンを認識する注目シーン認識部と、注目シーン認識部を用いて認識された注目シーンについて、医用画像取得部を用いて取得した医用画像と、注目シーンについて定められた基準画像との類似度を算出する類似度算出部と、類似度算出部を用いて算出された類似度に基づいて医用画像を保存装置へ保存する処理を行う保存処理部と、を備えた内視鏡システムである。

第１４態様によれば、第１態様と同様の効果を得ることができる。

第１４態様において、第２態様から第１３態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、画像処理装置において特定される処理や機能を担う構成要素は、これに対応する処理や機能を担う内視鏡システムの構成要素として把握することができる。

第１５態様は、第１４態様の内視鏡システムにおいて、医用画像を保存する保存装置を備えた構成としてもよい。

第１５態様によれば、内視鏡システムに備えられる保存装置に医用画像を保存し得る。

内視鏡を備えた内視鏡装置を制御する内視鏡制御部を備えたプロセッサ装置であって、プロセッサ装置は、医用画像を取得する医用画像取得部と、医用画像取得部を用いて取得した医用画像から注目シーンを認識する注目シーン認識部と、注目シーン認識部を用いて認識された注目シーンについて、医用画像取得部を用いて取得した医用画像と、注目シーンについて定められた基準画像との類似度を算出する類似度算出部と、類似度算出部を用いて算出された類似度に基づいて医用画像を保存装置へ保存する処理を行う保存処理部と、を備えてもよい。

第１６態様に係る画像処理方法は、医用画像を取得する医用画像取得工程と、医用画像取得工程において取得した医用画像から注目シーンを認識する注目シーン認識工程と、注目シーン認識工程において認識された注目シーンについて、医用画像取得工程において取得した医用画像と、注目シーンについて定められた基準画像との類似度を算出する類似度算出工程と、類似度算出工程において算出された類似度に基づいて医用画像を保存装置へ保存する処理を行う保存処理工程と、を含む画像処理方法である。

第１６態様によれば、第１態様と同様の効果を得ることができる。

第１６態様において、第２態様から第１３態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、画像処理装置において特定される処理や機能を担う構成要素は、これに対応する処理や機能を担う画像処理方法の構成要素として把握することができる。

第１７態様に係るプログラムは、コンピュータに、医用画像を取得する医用画像取得機能、医用画像取得機能を用いて取得した医用画像から注目シーンを認識する注目シーン認識機能、注目シーン認識機能を用いて認識された注目シーンについて、医用画像取得機能を用いて取得した医用画像と、注目シーンについて定められた基準画像との類似度を算出する類似度算出機能、及び類似度算出機能を用いて算出された類似度に基づいて医用画像を保存装置へ保存する処理を行う保存処理機能を実現させるプログラムある。

第１７態様によれば、第１態様と同様の効果を得ることができる。

第１７態様において、第２態様から第１３態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、画像処理装置において特定される処理や機能を担う構成要素は、これに対応する処理や機能を担うプログラムの構成要素として把握することができる。

第１７態様は、少なくとも一つ以上のプロセッサと、少なくとも一つ以上のメモリとを有するシステムであって、医用画像を取得する医用画像取得機能、医用画像取得機能を用いて取得した医用画像から注目シーンを認識する注目シーン認識機能、注目シーン認識機能を用いて認識された注目シーンについて、医用画像取得機能を用いて取得した医用画像と、注目シーンについて定められた基準画像との類似度を算出する類似度算出機能、及び類似度算出機能を用いて算出された類似度に基づいて医用画像をメモリへ保存する処理を行う保存処理機能を実現させるシステムとして構成し得る。

本発明によれば、注目シーンが認識された医用画像が取得され、基準画像との類似度に応じて保存される。これにより、注目シーンが認識された医用画像の自動鑑別、及び鑑別結果に応じた医用画像の保存が可能である。

図１は内視鏡システムの全体構成を示す概略図である。 図２は画像処理装置のハードウェアの構成例を示すブロック図である。 図３は第１実施形態に係る画像処理装置の機能を示す機能ブロック図である。 図４は図３に示した画像解析処理部の機能を示す機能ブロック図である。 図５は第１実施形態に係る画像処理方法の手順の流れを示すフローチャートである。 図６は図５に示した注目シーン認識工程の手順の流れを示すフローチャートである。 図７は図５に示した保存処理工程の手順の流れを示すフローチャートである。 図８は第２実施形態に係る画像処理装置の機能を示す機能ブロック図である。 図９は図８に示した画像解析処理部の機能を示す機能ブロック図である。 図１０は第２実施形態に係る画像処理方法の手順の流れを示すフローチャートである。 図１１は保存対象とされる静止画像の一例を示す模式図である。 図１２は保存の対象とされる静止画像の他の例を示す模式図である。 図１３は静止画像保存報知の第１例を示す表示画面の構成図である。 図１４は静止画像保存報知の第２例を示す表示画面の構成図である。

以下、添付図面に従って本発明の好ましい実施の形態について詳説する。本明細書では、同一の構成要素には同一の参照符号を付して、重複する説明を省略する。

［内視鏡システムの全体構成］
図１は内視鏡システムの全体構成を示す概略図である。図１に示した内視鏡システム９は、内視鏡１０、光源装置１１、プロセッサ装置１２、表示装置１３、画像処理装置１４、入力装置１５、及びモニタ装置１６を備える。内視鏡システム９は、ネットワーク１７を介して記憶装置１８と通信可能に接続される。

内視鏡１０は電子内視鏡である。また、内視鏡１０は軟性内視鏡である。内視鏡１０は挿入部２０、操作部２１、及びユニバーサルコード２２を備える。挿入部２０は被検体内に挿入される。挿入部２０は、全体が細径で長尺状に形成されている。

挿入部２０は、軟性部２５、湾曲部２６、及び先端部２７を備える。挿入部２０は、軟性部２５、湾曲部２６、及び先端部２７が連設されて構成される。軟性部２５は、挿入部２０の基端側から先端側に向けて順に可撓性を有する。湾曲部２６は、操作部２１が操作された場合に湾曲可能な構造を有する。先端部２７は、図示しない撮像光学系及び撮像素子２８等が内蔵される。

撮像素子２８は、ＣＭＯＳ型撮像素子又はＣＣＤ型撮像素子が適用される。ＣＭＯＳは、Complementary Metal Oxide Semiconductorの省略語である。ＣＣＤは、Charge Coupled Deviceの省略語である。

先端部２７の先端面２７ａは、図示しない観察窓が配置される。観察窓は、先端部２７の先端面２７ａに形成された開口である。観察窓の後方には、図示しない撮像光学系が配置される。撮像素子２８の撮像面は、観察窓、及び撮像光学系等を介して、被観察部位の反射光が入射する。撮像素子２８は、撮像素子２８の撮像面に入射した被観察部位の反射光を撮像して、撮像信号を出力する。ここでいう撮像は、被観察部位からの反射光を電気信号へ変換するという意味が含まれる。

操作部２１は挿入部２０の基端側に連設される。操作部２１は、術者が操作する各種操作部材を備える。具体的には、操作部２１は、２種類の湾曲操作ノブ２９を備える。湾曲操作ノブ２９は、湾曲部２６の湾曲操作の際に用いられる。なお、術者は、医師、操作者、及びユーザなどと呼ばれることがあり得る。

操作部２１は、送気送水ボタン３０、及び吸引ボタン３１を備える。送気送水ボタン３０は、術者が送気送水操作を行う際に用いられる。吸引ボタン３１は、術者が吸引操作を行う際に用いられる。

操作部２１は、静止画像撮像指示部３２、及び処置具導入口３３を備える。静止画像撮像指示部３２は、被観察部位の静止画像を撮像する際に、術者が操作する。処置具導入口３３は、挿入部２０の内部を挿通している処置具挿通路の内部に処置具を挿入する開口である。なお、処置具挿通路、及び処置具の図示は省略する。なお、静止画像は符号３８ｃを付して図３に図示する。

ユニバーサルコード２２は、内視鏡１０を光源装置１１に接続する接続コードである。ユニバーサルコード２２は、挿入部２０の内部を挿通しているライトガイド３５、信号ケーブル３６、及び図示しない流体チューブを内包している。

また、ユニバーサルコード２２の先端部は、光源装置１１に接続されるコネクタ３７ａ、及びコネクタ３７ａから分岐され、かつプロセッサ装置１２に接続されるコネクタ３７ｂを備える。

コネクタ３７ａを光源装置１１に接続すると、ライトガイド３５及び図示しない流体チューブが光源装置１１に挿入される。これにより、ライトガイド３５及び図示しない流体チューブを介して、光源装置１１から内視鏡１０に対して必要な照明光と水と気体とが供給される。

その結果、先端部２７の先端面２７ａの図示しない照明窓から被観察部位に向けて照明光が照射される。また、送気送水ボタン３０の押下操作に応じて、先端部２７の先端面２７ａの図示しない送気送水ノズルから気体又は水が噴射される。

コネクタ３７ｂをプロセッサ装置１２に接続すると、信号ケーブル３６とプロセッサ装置１２とが電気的に接続される。これにより、信号ケーブル３６を介して、内視鏡１０の撮像素子２８からプロセッサ装置１２へ被観察部位の撮像信号が出力され、かつプロセッサ装置１２から内視鏡１０へ制御信号が出力される。

本実施形態では、内視鏡１０として軟性内視鏡を例に挙げて説明を行ったが、内視鏡１０として、硬性内視鏡等の被観察部位の動画撮像を可能な各種の電子内視鏡を用いてもよい。

光源装置１１は、コネクタ３７ａを介して、内視鏡１０のライトガイド３５へ照明光を供給する。照明光は、白色光、又は特定の波長帯域の光を適用可能である。照明光は、白色光、及び特定の波長帯域の光を組み合わせてもよい。光源装置１１は、観察目的に応じた波長帯域の光を、照明光として適宜選択可能に構成される。

白色光は、白色の波長帯域の光又は複数の波長帯域の光のいずれでもよい。特定の波長帯域は、白色の波長帯域よりも狭い帯域である。特定の波長帯域の光は、１種類の波長帯域の光を適用してもよいし、複数の波長帯域の光を適用してもよい。特定の波長帯域は、特殊光と呼ばれる場合がある。

プロセッサ装置１２は、コネクタ３７ｂ及び信号ケーブル３６を介して、内視鏡１０の動作を制御する。また、プロセッサ装置１２は、コネクタ３７ｂ及び信号ケーブル３６を介して、内視鏡１０の撮像素子２８から撮像信号を取得する。プロセッサ装置１２は規定のフレームレートを適用して内視鏡１０から出力された撮像信号を取得する。

プロセッサ装置１２は、内視鏡１０から取得した撮像信号に基づき、被観察部位の観察画像である内視鏡画像３８を生成する。ここでいう内視鏡画像３８には動画像が含まれる。内視鏡画像３８は静止画像が含まれてもよい。動画像は符号３８ａを付して図３に図示する。

プロセッサ装置１２は、操作部２１の静止画像撮像指示部３２が操作された場合、動画像の生成と並行して、撮像素子２８から取得した撮像信号に基づき被観察部位の静止画像を生成する。静止画像は、動画像の解像度に対して高解像度に生成されていてもよい。

内視鏡画像３８の生成の際に、プロセッサ装置１２はホワイトバランス調整、及びシェーディング補正等のデジタル信号処理を適用した画質の補正を行う。プロセッサ装置１２はＤＩＣＯＭ規格で規定された付帯情報を内視鏡画像３８へ付加してもよい。なお、ＤＩＣＯＭは、Digital Imaging and Communications in Medicineの省略語である。

内視鏡画像３８は、被検体内、すなわち生体内を撮像した生体内画像である。内視鏡画像３８が、特定の波長帯域の光を用いて撮像して得られた画像である場合、両者は特殊光画像である。そして、プロセッサ装置１２は、生成した内視鏡画像３８を、表示装置１３と画像処理装置１４とのそれぞれに出力する。プロセッサ装置１２は、ＤＩＣＯＭ規格に準拠した通信プロトコルに従って、ネットワーク１７を介して内視鏡画像３８を記憶装置１８へ出力してもよい。

表示装置１３は、プロセッサ装置１２に接続される。表示装置１３は、プロセッサ装置１２から送信された内視鏡画像３８を表示する。術者は、表示装置１３に表示される内視鏡画像３８を確認しながら、挿入部２０の進退操作等をし得る。術者は、被観察部位に病変等を検出した場合に、静止画像撮像指示部３２を操作して被観察部位の静止画を撮像し得る。

画像処理装置１４は、コンピュータが用いられる。入力装置１５はコンピュータに接続可能なキーボード及びマウス等が用いられる。入力装置１５とコンピュータとの接続は有線接続、又は無線接続のいずれでもよい。モニタ装置１６は、コンピュータに接続可能な各種モニタが用いられる。

画像処理装置１４として、ワークステーション及びサーバ装置等の診断支援装置を用いてもよい。この場合、入力装置１５及びモニタ装置１６は、それぞれワークステーション等に接続した複数の端末ごとに設けられる。更に、画像処理装置１４として、医療レポート等の作成支援を行う診療業務支援装置を用いてもよい。

画像処理装置１４は、内視鏡画像３８の取得、及び内視鏡画像３８の記憶を行う。画像処理装置１４は、モニタ装置１６の再生制御を行う。すなわち、画像処理装置１４は、内視鏡画像３８を取得する内視鏡画像取得部、内視鏡画像３８を記憶する画像記憶部、及び内視鏡画像３８の表示制御を行う表示制御部を備える。

内視鏡画像取得部は符号４１を付して図３に図示する。画像記憶部は符号４８を付して図３に図示する。表示制御部は符号４４を付して図３に図示する。なお、本明細書における画像の記憶は、画像の保存と読み替えることが可能である。ここでいう画像の記憶は、画像の非一時的記憶を意味する。画像処理装置１４は画像を一次記憶する一次記憶用のメモリを備えてもよい。

入力装置１５は、画像処理装置１４に対する操作指示の入力に用いられる。モニタ装置１６は、画像処理装置１４の制御の下、内視鏡画像３８の表示を行う。モニタ装置１６は、画像処理装置１４における各種情報の表示部として機能してもよい。

画像処理装置１４は、ネットワーク１７を介して記憶装置１８と接続される。画像の格納形式、及びネットワーク１７を経由した各装置間の通信は、ＤＩＣＯＭ規格、及びＤＩＣＯＭ規格に準拠したプロトコル等を適用可能である。

なお、上記した画像という用語は、画像を表す画像データの意味が含まれている。本明細書における画像という用語は、画像自身、及び画像データの少なくともいずれかを意味している。

記憶装置１８は、データを非一時的に記憶するストレージ等を適用可能である。記憶装置１８は、図示しないサーバ装置を用いて管理されてもよい。サーバ装置は、各種データを記憶して管理するコンピュータを適用可能である。

図１に示した内視鏡システム９は、内視鏡を備えた内視鏡装置の一例である。図１に示した内視鏡システム９、及び画像処理装置１４を含むシステムは、内視鏡を備えた内視鏡装置と、画像処理装置と、を備えた内視鏡システムの一例である。

［第１実施形態に係る画像処理装置の構成］
次に、第１実施形態に係る画像処理装置について説明する。

〔課題の説明〕
図１に示した内視鏡システム９は、内視鏡１０の先端部２７に具備される撮像素子２８を用いて体腔を撮像して得られた内視鏡画像３８を表示装置１３へ表示する。術者は、表示装置１３に表示された画像を確認しながら、検査、及び処置等を行うことが可能である。内視鏡システム９を用いた内視鏡検査では、内視鏡１０の先端部２７に具備される撮像素子２８を患者の体内へ挿入する。術者は、内視鏡１０を操作することが可能であり、かつ表示装置１３に表示された体腔内の画像を観察することが可能である。

また、術者は送水を実行して体内の洗浄を行うことが可能である。術者は、体腔内の画像から病変と疑われる領域を発見した場合に、インジゴの散布、病変と疑われる領域の拡大観察、及び病変と疑われる領域の生検を実行し得る。

このようにして、内視鏡検査では、様々な行為を行いながら、体腔内の画像を観察することを求められるため、病変と疑われる領域を見落としてしまう可能性がある。

そこで、病変と疑われる領域の見落とし防止の支援として、機械学習を用いて学習した認識器を適用した、病変と疑われる領域の自動認識が挙げられる。例えば、内視鏡検査中に、機械学習を用いて学習した認識器を適用して、病変と疑われる領域を自動的に認識する。病変と疑われる領域が認識された場合に、表示装置１３に表示された病変と疑われる領域を囲う枠を表示装置１３に表示する。これにより、病変と疑われる領域が発見されたことを報知し、病変と疑われる領域を術者が見落としてしまうことを抑制し得る。

しかし、機械学習が不十分であった場合、認識器が認識を困難とする画像が存在し得る。認識が困難な場合の例として、注目シーンが認識できない場合、注目シーンを認識したものの、注目シーンらしさのスコアが規定の基準よりも小さい場合、注目シーンを認識したものの、信頼性が低い場合、及び誤検出が基準よりも多い場合等が挙げられる。

ディープラーニング等の機械学習を用いた認識器は、認識が困難な画像が存在する場合、認識器の認識が困難な画像を収集し、収集した画像を用いて新たに学習を行う必要がある。一方、認識器の認識が困難な画像の収集は困難である。そもそも、認識器の認識が困難な画像は、注目シーンとして認識されていない画像と区別することができない。注目シーンらしさを表すスコア、及び信頼度についても同様である。

以下に示す第１実施形態に係る画像処理装置、及び方法は、認識器の認識が困難な画像を鑑別して収集し、内視鏡検査の支援を可能とする。また、収集された画像を用いた機械学習を行い、認識器の性能向上を図ることが可能となる。

〔概要〕
本実施形態に係る画像処理装置、及び方法は、認識器の認識が困難なシーンを表す画像を基準画像として選択する。内視鏡画像と基準画像との類似度が、規定の閾値以上の場合に、内視鏡画像を認識器の認識が困難な画像として保存する。すなわち、本実施形態に係る画像処理装置、及び方法は、認識器の認識が困難なシーンと類似する画像を鑑別し、鑑別結果に応じて保存する。

ここで、本明細書におけるシーンという用語は、１枚の画像を用いて構成される場合、複数枚の画像を含む画像グループを用いて構成される場合の両者を含み得る。本実施形態では、注目シーンが１枚のフレーム画像３８ｂ、又は１枚の静止画像を用いて構成される場合を例示する。第２実施形態についても同様である。

〔ハードウェア構成〕
図２は画像処理装置のハードウェアの構成例を示すブロック図である。画像処理装置１４は、制御部１、メモリ２、ハードディスク装置３、通信インターフェース４、入力コントローラ５、及びディスプレイコントローラ６を備える。

〈制御部〉
制御部１は、画像処理装置１４の全体制御部、各種演算部、及び記憶制御部として機能する。制御部１は、メモリ２に具備されるＲＯＭ（read only memory）に記憶されているプログラムを実行する。制御部１は、通信インターフェース４を介して、外部の記憶装置からプログラムをダウンロードし、ダウンロードしたプログラムを実行してもよい。外部の記憶装置は、ネットワーク１７を介して画像処理装置１４と通信可能に接続されていてもよい。

制御部１は、メモリ２に具備されるＲＡＭ（random access memory）を演算領域とし、各種プログラムと協働して、各種処理を実行する。これにより、画像処理装置１４の各種機能が実現される。

制御部１は、ハードディスク装置３からのデータの読み出し、及びハードディスク装置３へのデータの書き込みを制御する。制御部１は、１つ又は２つ以上のプロセッサ（processor）が含まれてもよい。

プロセッサの一例として、ＦＰＧＡ（Field Programmable Gate Array）、及びＰＬＤ（Programmable Logic Device）等が挙げられる。ＦＰＧＡ、及びＰＬＤは、製造後に回路構成の変更を可能とする。

プロセッサの他の例として、ＡＳＩＣ（Application Specific Integrated Circuit）が挙げられる。ＡＳＩＣは、特定の処理を実行させるために専用に設計された回路構成を備える。

制御部１は、同じ種類の２以上のプロセッサを適用可能である。例えば、制御部１は２つ以上のＦＰＧＡを用いてもよいし、２つのＰＬＤを用いてもよい。制御部１は、異なる種類の２つ以上プロセッサを適用してもよい。例えば、制御部１は１つ以上のＦＰＧＡと１つ以上のＡＳＩＣとを適用してもよい。

複数の制御部を備える場合、複数の制御部は１つのプロセッサを用いて構成してもよい。複数の制御部を１つのプロセッサで構成する一例として、１つ以上のＣＰＵ（Central Processing Unit）とソフトウェアとの組合せを用いて１つのプロセッサを構成し、このプロセッサが複数の制御部として機能する形態がある。ＣＰＵに代わり、又はＣＰＵと併用して、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）を適用してもよい。なお、ここでいうソフトウェアはプログラムと同義である。複数の制御部が１つのプロセッサを用いて構成される代表例として、クライアント装置、及びサーバ装置等のコンピュータが挙げられる。

複数の制御部を１つのプロセッサで構成する他の例として、複数の制御部を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態が挙げられる。複数の制御部を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサの代表例として、ＳｏＣ（System On Chip）が挙げられる。なお、ＩＣは、Integrated Circuitの省略語である。

このように、制御部１は、ハードウェア的な構造として、各種のプロセッサを１つ以上用いて構成される。

〈メモリ〉
メモリ２は、図示しないＲＯＭ、及び図示しないＲＡＭを備える。ＲＯＭは、画像処理装置１４において実行される各種プログラムを記憶する。ＲＯＭは、各種プログラムの実行に用いられるパラメータ、及びファイル等を記憶する。ＲＡＭは、データの一時記憶領域、及び制御部１のワーク領域等として機能する。

〈ハードディスク装置〉
ハードディスク装置３は、各種データを非一時的に記憶する。具体的には、ハードディスク装置３は、内視鏡１０の観察画像、及び図１に示した記憶装置１８等の外部の記憶装置から取得した医用画像等を記憶する。ハードディスク装置３は、画像処理装置１４の外部に外付けされてもよい。ハードディスク装置３に代わり、又はこれと併用して、大容量の半導体メモリ装置を適用してもよい。

〈通信インターフェース〉
通信インターフェース４は、図１に示した記憶装置１８の外部の装置との間のデータ通信を行う。図２に示したＩＦは、interfaceの省略語である。

〈入力コントローラ〉
入力コントローラ５は、キーボード、及びマウス等の入力装置１５から送信される信号を受信し、画像処理装置１４に適用される形式の信号に変換するインターフェースである。

〈ディスプレイコントローラ〉
ディスプレイコントローラ６は、画像処理装置１４において生成された画像を表す信号を、モニタ装置１６を用いて表示させる映像信号に変換するインターフェースである。ディスプレイコントローラ６は、画像を表す映像信号をモニタ装置１６へ送信する。

なお、図２に示した画像処理装置１４のハードウェア構成は一例であり、適宜、追加、削除、及び変更が可能である。

〔第１実施形態に係る画像処理装置の機能〕
図３は第１実施形態に係る画像処理装置の機能を示す機能ブロック図である。図３に示した画像処理装置１４は、全体制御部４０、内視鏡画像取得部４１、基準画像候補取得部４２、画像解析処理部４３、表示制御部４４、入力制御部４６、及び記憶部４７を備える。

全体制御部４０、内視鏡画像取得部４１、基準画像候補取得部４２、画像解析処理部４３、表示制御部４４、入力制御部４６、及び記憶部４７は、通信信号線６８を介して相互に通信可能に接続される。以下、各部について詳細に説明する。

〈全体制御部〉
全体制御部４０は、画像処理装置１４の制御プログラムの実行に基づき、内視鏡画像取得部４１、基準画像候補取得部４２、画像解析処理部４３、及び表示制御部４４を統括的に制御する。

〈内視鏡画像取得部〉
内視鏡画像取得部４１は、図１に示したプロセッサ装置１２を用いて生成された内視鏡画像３８を取得する。内視鏡画像取得部４１は、外部の記憶装置に記憶されている内視鏡装置を用いて撮像された内視鏡画像を取得してもよい。内視鏡画像取得部４１は、メモリーカード等の各種情報記憶媒体を介して、上記した内視鏡画像３８を取得してもよい。

内視鏡画像取得部４１は、動画像３８ａを取得する。内視鏡画像取得部４１は、動画像３８ａとして、時系列のフレーム画像３８ｂを取得してもよい。内視鏡画像取得部４１は、静止画像３８ｃを取得してもよい。動画像３８ａの撮像途中に静止画像３８ｃの撮像操作が行われた場合、内視鏡画像取得部４１は、図１に示したプロセッサ装置１２から静止画像３８ｃを取得する。内視鏡画像取得部４１は医用画像を取得する医用画像取得部の一例である。

〈基準画像候補取得部〉
基準画像候補取得部４２は、データベース管理システム等を用いて管理される医用画像の中から、基準画像の候補となる基準画像候補３９ａを取得する。なお、基準画像は符号３９を付して図４に図示する。基準画像候補取得部４２は、画像処理装置１４の外部の基準画像候補保存部１９から基準画像候補３９ａを取得する。基準画像候補保存部１９の例として、図１に示した記憶装置１８など、ストレージ等の記憶装置が挙げられる。

基準画像候補取得部４２は、基準画像を取得する基準画像取得部の構成要素の一例である。基準画像候補保存部１９は、予め取得された複数の医用画像が保存される医用画像保存装置の一例である。

〈画像解析処理部〉
画像解析処理部４３は、深層学習アルゴリズム４５に基づく深層学習を用いて、内視鏡画像取得部４１を用いて取得した内視鏡画像３８の解析処理を実行する。内視鏡画像３８の解析処理の詳細は後述する。

深層学習アルゴリズム４５は、公知のコンボリューションニューラルネットワークの手法と、全結合層と、出力層とを含むアルゴリズムである。深層学習はディープラーニングと呼ばれることがある。

コンボリューションニューラルネットワークは、畳み込み層、及びプーリング層の繰り返し処理である。コンボリューションニューラルネットワークは、畳み込みニューラルネットワークと呼ばれる場合がある。なお、深層学習を用いた画像解析処理は公知技術であるので、具体的な説明は省略する。深層学習は機械学習の一例である。

〈表示制御部〉
表示制御部４４は、モニタ装置１６を用いて内視鏡画像３８を再生する際に、画像表示を制御するディスプレイドライバーとして機能する。表示制御部４４は、モニタ装置１６を用いて、動画像３８ａの再生中に撮像された静止画像３８ｃを動画像３８ａに重畳表示させてもよい。表示制御部４４は、モニタ装置１６を用いて、再生中の動画像３８ａ、又は静止画像３８ｃに文字情報等を重畳表示してもよい。

〈入力制御部〉
入力制御部４６は、入力装置１５から入力された信号を、画像処理装置１４に適用される形式の信号に変換し、変換後の信号を全体制御部４０へ送信する。全体制御部４０は、入力装置１５から入力された情報に基づいて、画像処理装置１４の各部を制御する。

〈記憶部〉
記憶部４７は、画像記憶部４８、及びプログラム記憶部４９を備える。画像記憶部４８は、内視鏡画像取得部４１を用いて取得した内視鏡画像３８を記憶する。画像記憶部４８に記憶された画像は、全体制御部４０の制御の下、画像解析処理部４３へ読み出される。

プログラム記憶部４９は、画像処理装置１４を動作させる各種プログラムを記憶する。プログラム記憶部４９に記憶された各種プログラムは、全体制御部４０の制御の下、各部へ読み出される。画像記憶部４８は、医用画像を保存する保存装置の一例である。

〔画像解析処理部の構成例〕
図４は図３に示した画像解析処理部の機能を示す機能ブロック図である。画像解析処理部４３は、注目シーン認識部５１、類似度算出部５２、及び保存処理部５３を備える。以下、上記した各部について詳細に説明する。

〈注目シーン認識部〉
注目シーン認識部５１は、認識処理部５１ｄ、基準画像選択部５４、及び基準画像保存処理部５５を備える。認識処理部５１ｄは、注目シーンを認識する認識器として機能する。認識処理部５１ｄは、図３に示した基準画像候補取得部４２を介して取得した基準画像候補３９ａについて、規定の注目シーンの特徴の認識を実行する。規定の注目シーンの特徴は、自動設定してもよいし、手動設定してもよい。

基準画像選択部５４は、認識処理部５１ｄが注目シーンとして認識できなかった基準画像候補３９ａの中から、注目シーン認識部５１の認識が困難な基準画像３９を選び出す。基準画像候補３９ａは注目シーン認識部が注目シーンとして非認識の医用画像の一例である。

基準画像選択部５４は、手動入力された選択信号に基づき、基準画像３９を選び出してもよいし、予め正解画像を用意しておき、認識処理部５１ｄの認識結果と比較し、比較結果を用いて基準画像３９を自動的に選び出してもよい。注目シーン認識部５１の認識が困難なシーンが２種類以上存在する場合、基準画像選択部５４は、シーンごとに基準画像３９を選択してもよい。基準画像選択部５４は、基準画像を取得する基準画像取得部の構成要素の一例である。

基準画像保存処理部５５は、選択された基準画像３９を保存する処理を実行する。基準画像３９は、図３に示した画像記憶部４８を用いて保存される。注目シーン認識部５１の認識が困難なシーンが２種類以上存在する場合、シーンと基準画像３９とが関連付けされて保存される。

基準画像３９は、画像処理装置１４の外部の記憶装置に保存されてもよい。外部の記憶装置の例として、図１に示した記憶装置１８が挙げられる。基準画像３９は、ネットワークを介して画像処理装置１４の外部の記憶装置から読み出してもよい。ネットワークの例として、図１に示したネットワーク１７が挙げられる。

基準画像３９から特徴量を抽出し、基準画像３９の特徴量を保存してもよい。特徴量の抽出は、公知の技術を適用可能である。

〈類似度算出部〉
類似度算出部５２は、内視鏡画像３８と基準画像３９との類似度を算出する。類似度算出部５２は、内視鏡画像３８そのもの、及び基準画像３９そのものから類似度を算出してもよい。類似度算出部５２は、内視鏡画像３８、及び基準画像３９のそれぞれの特徴量を抽出し、それぞれの特徴量に基づいて内視鏡画像３８と基準画像３９との類似度を算出してもよい。類似度算出部５２は、類似度として０を超え１以下の値を算出してもよい。類似度が相対的に大きいことは、内視鏡画像３８と基準画像３９とが類似することを表す。類似度が相対的に小さいことは、内視鏡画像３８と基準画像３９とが類似していないことを表す。

類似度算出部５２は、医用画像から特徴量を抽出する医用画像特徴量抽出部の一例、及び基準画像から特徴量を抽出する基準画像特徴量抽出部の一例である。類似度算出部５２は、基準画像の特徴量を取得する基準画像特徴量取得部の一例である。

《類似度算出の具体例》
内視鏡画像３８の画素数、基準画像３９の画素数をｍ×ｎ画素とする。ｍ及びｎは１以上の任意の整数である。ｍとｎとは同じ値を採用し得る。内視鏡画像３８のｉ番目の画素の画素値をｇ_１ｉとする。基準画像３９のｉ番目の画素の画素値をｇ_２ｉとする。任意の定数をｃとする。定数ｃは画素値として取りうる値の最大値とする。内視鏡画像３８と基準画像３９との類似度をＤとする。Ｄは下記の式１を用いて表される。

Ｄ＝ｃ−Σ（ｇ_１ｉ−ｇ_２ｉ）^２ …式１
すなわち、内視鏡画像３８、及び基準画像３９について、全画素の画素値を求める。両者の全画素について、画素ごとの画素値の差分を求める。求めた各差分値をそれぞれ二乗し、総和を取って差分二乗和を算出する。そして、定数から差分二乗和を減算した値は、内視鏡画像３８と基準画像３９との類似度Ｄとして適用し得る。類似度Ｄは、定数ｃを用いて除算して０を超え１．０以下の値としてもよい。

類似度算出の他の具体例として、コンボリューションニューラルネットワークを利用した手法が挙げられる。内視鏡画像３８と基準画像３９との類似度Ｄは下記の式２を用いて表される。

上記の式２におけるｈ_１ｊは、内視鏡画像３８のｊ番目の画素の特徴量を表す。上記の式２におけるｈ_２ｊは、基準画像のｊ番目の画素の特徴量を表す。特徴量ｈ_１ｊ、及び特徴量ｈ_２ｊは類似度を学習したコンボリューションニューラルネットワークの出力である。

また、上記の式２における内視鏡画像３８のｊ番目の画素の特徴量ｈ_１ｊは、下記の式３を用いて表される。同様に、上記の式２における基準画像３９のｊ番目の画素の特徴量ｈ_２ｊは、下記の式４を用いて表される。

上記の式３、及び式４におけるｆは、コンボリューションニューラルネットワークを表す。上記の式３におけるｇ_１ｊは、内視鏡画像３８のｊ番目の画素の画素値である。上記の式４におけるｇ_２ｊは、基準画像３９のｊ番目の画素の画素値である。内視鏡画像３８の画素数、基準画像３９の画素数はｍ×ｎ画素であり、ｍ及びｎは１以上の任意の整数である。ｍとｎとは同じ値を採用し得る。通常は、ｊは画素数よりも小さい値が適用される。

なお、内視鏡画像３８と基準画像３９との類似度は、上記の例に限定されない。内視鏡画像３８と基準画像３９との類似度は、他の手法を用いて導出してもよい。

〈保存処理部〉
保存処理部５３は、閾値設定部５６、類似判定部５７、及び画像送信部５８を備える。閾値設定部５６は、内視鏡画像３８と基準画像３９とが類似するか否かの判定を行う際に用いる閾値を設定する。閾値設定部５６は、図３に示した入力装置１５から入力された入力信号に基づく閾値を設定することが可能である。閾値設定部５６は、固定の閾値を設定してもよい。

閾値は、類似度の数値範囲に応じて決められる。類似度が０を超え１．０以下の値として算出される場合、閾値は０を超え１．０以下の値を設定することが可能である。閾値の一例として０．５が挙げられる。閾値の他の例として０．１以上０．５以下の値が挙げられる。

類似判定部５７は、内視鏡画像３８と基準画像３９との類似度が閾値以上の場合、内視鏡画像３８を保存対象として分類する。類似判定部５７は、内視鏡画像３８と基準画像３９との類似度が閾値未満の場合、内視鏡画像３８を非保存対象として分類する。すなわち、類似判定部５７は、基準画像３９と類似する内視鏡画像３８を保存対象として分類する。

類似判定部５７は、類似判定がされた内視鏡画像３８を動画像３８ａとして保存対象に分類してもよいし、静止画像３８ｃとして保存対象に分類してもよい。類似判定部５７は、動画像３８ａのうち、類似判定がされたフレーム画像３８ｂの前後の数フレームを保存対象に分類してもよい。

類似判定部５７は、内視鏡画像３８を静止画像３８ｃとして保存対象に分類する場合に、類似するか否か判定がされた静止画像３８ｃの前後数枚の静止画像３８ｃを保存対象に分類してもよい。

〈画像送信部〉
画像送信部５８は、保存対象として分類された内視鏡画像３８を、図３に示した画像記憶部４８へ送信する。画像送信部５８は、保存対象として分類された内視鏡画像３８を、画像処理装置１４の外部の記憶装置に送信してもよい。保存対象として分類された内視鏡画像３８は、データベース化して管理してもよい。

〈内視鏡画像の分類に類似度を用いる利点〉
内視鏡画像３８の注目シーン認識の結果に関わらず、内視鏡画像３８と基準画像３９との類似度を算出することが可能であり、両者を比較することが可能である。これにより、注目シーンとして認識が困難な画像の収集が可能となる。

〔第１実施形態に係る画像処理方法の手順〕
〈画像処理方法の全体の流れ〉
図５は第１実施形態に係る画像処理方法の手順の流れを示すフローチャートである。内視鏡画像取得工程Ｓ１０では、図３に示した内視鏡画像取得部４１は、図１に示した内視鏡１０を用いて取得された内視鏡画像３８を取得する。内視鏡画像取得工程Ｓ１０の後に注目シーン認識工程Ｓ１２へ進む。内視鏡画像取得工程Ｓ１０は医用画像取得工程の一例である。

注目シーン認識工程Ｓ１２では、図４に示した注目シーン認識部５１は、基準画像候補取得部４２を介して基準画像候補３９ａを取得し、基準画像候補３９ａの中から基準画像３９を選び出す。基準画像３９は画像記憶部４８に保存される。

注目シーン認識工程Ｓ１２の後に、類似度算出工程Ｓ１４へ進む。なお、注目シーン認識工程Ｓ１２は、内視鏡画像取得工程Ｓ１０に先立って実行してもよい。注目シーン認識工程Ｓ１２は、内視鏡画像取得工程Ｓ１０と並行して実行してもよい。注目シーン認識工程Ｓ１２の詳細は後述する。

類似度算出工程Ｓ１４では、類似度算出部５２は、内視鏡画像３８と基準画像３９との類似度を算出する。類似度算出工程Ｓ１４の後に、保存処理工程Ｓ１６へ進む。

保存処理工程Ｓ１６では、保存処理部５３は、類似度算出工程Ｓ１４において算出された類似度と規定の閾値とを比較する。類似度が閾値以上の場合に、内視鏡画像３８を画像記憶部４８へ送信する。保存処理工程Ｓ１６の後に画像処理終了判定工程Ｓ１８へ進む。

画像処理終了判定工程Ｓ１８では、画像処理装置１４は、画像処理を終了するか否かを判定する。画像処理方法を継続する場合はＮｏ判定となる。Ｎｏ判定の場合、画像処理方法の手順は、内視鏡画像取得工程Ｓ１０へ進む。以降、画像処理装置１４は、画像処理終了判定工程Ｓ１８においてＹｅｓ判定となるまで、内視鏡画像取得工程Ｓ１０から画像処理終了判定工程Ｓ１８の各工程を繰り返し実行する。

一方、画像処理終了判定工程Ｓ１８において、画像処理方法を終了する場合はＹｅｓ判定となる。Ｙｅｓ判定の場合、画像処理装置１４は画像処理方法を終了する。

〈注目シーン認識工程の流れ〉
図６は図５に示した注目シーン認識工程の手順の流れを示すフローチャートである。注目シーン認識工程Ｓ１２は、基準画像候補取得工程Ｓ２０、基準画像設定工程Ｓ２２、及び基準画像保存工程Ｓ２４を含んで構成される。

《基準画像候補取得工程》
基準画像候補取得工程Ｓ２０は、図４に示した注目シーン認識部５１は、基準画像候補取得部４２を介して基準画像候補３９ａを取得する。基準画像候補取得工程Ｓ２０の後に基準画像設定工程Ｓ２２へ進む。基準画像設定工程Ｓ２２では、基準画像選択部５４は、基準画像候補３９ａの注目シーン識別を行う。注目シーンを識別できなかった基準画像候補３９ａの中から基準画像３９を選択する。基準画像設定工程Ｓ２２の後に基準画像保存工程Ｓ２４へ進む。

基準画像保存工程Ｓ２４では、基準画像保存処理部５５は、基準画像設定工程Ｓ２２において選択された基準画像３９を画像記憶部４８へ保存する。基準画像保存工程Ｓ２４の後に、注目シーン認識部５１は、注目シーン認識工程Ｓ１２を終了する。

《保存処理工程》
図７は図５に示した保存処理工程の手順の流れを示すフローチャートである。保存処理工程Ｓ１６は、閾値設定工程Ｓ３０、類似度取得工程Ｓ３２、類否判定工程Ｓ３４、及び内視鏡画像保存工程Ｓ３６を含んで構成される。

閾値設定工程Ｓ３０では、閾値設定部５６は、内視鏡画像３８と基準画像３９とが類似するか否かを判定する際に使用する閾値を設定する。閾値設定工程Ｓ３０の後に、類似度取得工程Ｓ３２へ進む。

類似度取得工程Ｓ３２では、類似判定部５７は、図５に示した類似度算出工程Ｓ１４において算出された内視鏡画像３８と基準画像３９との類似度を取得する。類似度取得工程Ｓ３２の後に、類似判定工程Ｓ３４へ進む。

類似判定工程Ｓ３４では、類似判定部５７は、内視鏡画像３８と基準画像３９との類似度と閾値とを比較する。類似判定工程Ｓ３４において、内視鏡画像３８と基準画像３９との類似度が閾値以上の場合はＹｅｓ判定となる。Ｙｅｓ判定の場合は、内視鏡画像保存工程Ｓ３６へ進む。内視鏡画像保存工程Ｓ３６では、画像送信部５８は、画像記憶部４８へ画像を送信する。

一方、類似判定工程Ｓ３４において、内視鏡画像３８と基準画像３９との類似度が閾値未満の場合はＮｏ判定となる。Ｎｏ判定の場合、保存処理部５３は保存処理工程Ｓ１６を終了する。

〔第１実施形態に係る画像処理装置、及び方法の作用効果〕
上記の如く構成された画像処理装置、及び方法によれば、以下の作用効果を得ることが可能である。

〈１〉
注目シーン認識部５１の認識が困難な内視鏡画像３８が、自動的に収集される。これにより、収集された内視鏡画像３８を用いて機械学習を行うことで注目シーン認識部５１の性能を向上し得る。また、内視鏡画像３８から病変等が含まれる注目シーンの認識の精度を向上し得る。

〈２〉
注目シーン認識部５１が注目シーンとして認識できなかった基準画像候補３９ａの中から基準画像３９を選択する。これにより、注目シーン認識部５１が注目シーンとして認識できなかった基準画像３９に基づく、注目シーン認識部５１の認識が困難な内視鏡画像３８の収集が可能となる。

〈３〉
内視鏡画像３８と基準画像３９との類似度を用いて、内視鏡画像３８と基準画像３９とが類似するか否かを判定する。これにより、内視鏡画像３８の注目シーン認識の結果に関わらず、内視鏡画像３８と基準画像３９との類似度を算出することが可能であり、両者を比較することが可能である。

〈４〉
内視鏡画像３８の特徴量に基づいて基準画像３９との類似度が算出される。これにより、病変等の内視鏡画像３８における特徴的な領域について、基準画像３９との類似度の算出が可能となる。

〈５〉
基準画像３９の特徴量に基づいて内視鏡画像３８との類似度が算出される。これにより、病変等の基準画像３９における特徴的な領域について、内視鏡画像３８との類似度の算出が可能となる。

〈６〉
注目シーンの特徴として病変を設定する。これにより、認識が困難な病変を含む内視鏡画像３８を自動的に収集し得る。

〈７〉
予め保存されている内視鏡画像３８の中から基準画像３９が選択される。これにより、過去に取得した内視鏡画像３８から、注目シーンとして認識できなかった基準画像３９の選択が可能となる。

［第２実施形態に係る画像処理装置の構成］
次に、第２実施形態に係る画像処理装置について説明する。以下の説明では、主として第２実施形態の第１実施形態との相違点について説明し、第１実施形態と第２実施形態との共通点についての説明を適宜省略する。

〔課題の説明〕
内視鏡システム９は、動画像３８ａを撮像する動画像撮像モードと、静止画像３８ｃを撮像する静止画撮像モードとを切り替えるモード切替機能を備える。例えば、図１に示した静止画像撮像指示部３２が操作された場合、操作されたタイミングに応じた静止画像３８ｃが撮像される。静止画像３８ｃの撮像は、主として、病変を含むシーンが発見された場合、内視鏡１０の先端部２７が注目位置に到達した場合、及び治療痕を含むシーンが発見された場合等において行われる。

ここに列挙した場合等の注目シーンは、機械学習を適用して学習した認識器を用いて認識することが可能である。術者は、表示装置１３に表示された画像を確認しながら、内視鏡１０を操作する。内視鏡１０は体腔を撮像し、内視鏡１０を用いて撮像された動画像３８ａはプロセッサ装置１２へ送信される。

しかし、内視鏡システム９を用いて被検体を常に観察している場合、一定期間は同様のシーンを撮像することになる。そして、注目シーンが発見された場合、注目シーンを含む一定期間における複数枚の静止画像の撮像が可能である。換言すると、注目シーンの静止画像３８ｃを撮像する際に、同様のシーンの複数枚の静止画像を撮像し得る。

そこで、第２実施形態に係る画像処理装置、及び方法では、注目シーンの特徴を含む静止画像３８ｃを撮像する際に、注目シーンと同様の特徴を含む複数枚の静止画像を撮像することなく、注目シーンの特徴を含む少なくとも１枚の静止画像３８ｃを撮像し得る。

〔概要〕
本実施形態に係る画像処理装置、及び方法は、認識器が注目シーンを認識した場合に、注目シーンの特徴を含む静止画像を自動的に撮像し、自動的に保存する。静止画を保存する際に、既に保存されている静止画像と非類似の静止画像を鑑別して保存する。これにより、同様の画像の保存が抑制され、注目シーンの特徴を含む様々な静止画像の保存を可能とする。

〔ハードウェア構成〕
図２に示した第１実施形態に係る画像処理装置のハードウェア構成は、第２実施形態に係る画像処理装置のハードウェア構成としても適用可能である。ここでは、第２実施形態に係る画像処理装置のハードウェア構成の説明を省略する。

〔画像処理装置の機能〕
図８は第２実施形態に係る画像処理装置の機能を示す機能ブロック図である。画像処理装置１４ａは、図３に示した画像処理装置１４に対して、基準画像候補取得部４２が削除され、かつ撮像モード切替信号生成部６７が追加されている。また、画像処理装置１４ａは、表示制御部４４ａの構成、及び機能が、図３に示した表示制御部４４と相違し、かつ画像解析処理部４３ａの構成、及び機能が、図３に示した画像解析処理部４３と相違する。以下、上記した各部について詳細に説明する。

〈画像解析処理部〉
図９は図８に示した画像解析処理部の機能を示す機能ブロック図である。図９に示した画像解析処理部４３ａは、注目シーン認識部５１ａ、類似度算出部５２ａ、及び保存処理部５３ａを備える。

《注目シーン認識部》
注目シーン認識部５１ａは、注目シーン設定部５１ｂ、基準画像設定部５１ｃ、及び認識処理部５１ｄを備える。

注目シーン設定部５１ｂは、注目シーンの特徴を設定する。注目シーンの特徴の設定には、既に設定されている注目シーンの特徴を、他の注目シーンの特徴へ変更する注目シーンの変更が含まれる。注目シーンの特徴は自動設定されてもよいし、手動設定されてもよい。

認識処理部５１ｄは、内視鏡画像３８から注目シーンを自動認識する。注目シーンの自動認識は、機械学習を適用した学習を行ったコンボリューションニューラルネットワーク（Convolutional Neural Network）が適用される。例えば、内視鏡画像３８から特徴量を抽出し、抽出された特徴量に基づいて画像の分類、注目領域の検出、領域分類、及び類似度の算出を行うものが考えられる。

注目シーンの特徴の一例として、病変、内視鏡１０の先端部２７が注目位置に到達した場合、及び治療痕等が挙げられる。注目シーンの特徴の他の例として、画像全体が注目シーンであるか否かだけでなく、病変があるステージに到達しているか、病変が検出されるか、及びあるステージに到達している病変が検出されるか等が挙げられる。

基準画像設定部５１ｃは、内視鏡画像３８との類似、又は非類似を判定する際に用いられる静止画像である基準画像３９６を設定する。基準画像設定部５１ｃは、注目シーンとして認識された１枚目の静止画像３８ｃを最初の基準画像３９ｂとして設定する。以降、基準画像設定部５１ｃは、静止画像を保存する度に基準画像３９ｂを追加する。

《類似度算出部》
類似度算出部５２ａは、注目シーンとして認識された静止画像３８ｃと基準画像３９ｂとの類似度を算出する。類似度の算出は、第１実施形態と同様であり、ここでの説明は省略する。

《保存処理部》
保存処理部５３ａは、閾値設定部５６、類似判定部５７ａ、及ぶ画像送信部５８を備える。閾値設定部５６は、注目シーンとして認識された静止画像３８ｃと基準画像３９ｂとが類似するか否かの判定を行う際に用いる閾値を設定する。閾値設定部５６は、第１実施形態と同様であり、ここでの説明は省略する。

類似判定部５７ａは、注目シーンとして認識された静止画像３８ｃと基準画像３９ｂとの類似度が閾値以下の場合に、注目シーンとして認識された静止画像３８ｃを保存対象として分類する。類似判定部５７ａは、注目シーンとして認識された静止画像３８ｃと基準画像３９ｂとの類似度が閾値を超える場合に、注目シーンとして認識された静止画像３８ｃを非保存対象として分類する。

画像送信部５８は、保存対象として分類された内視鏡画像３８を、図８に示した画像記憶部４８へ送信する。画像送信部５８は、第１実施形態と同様であり、ここでの説明は省略する。

〈表示制御部〉
図８に示した表示制御部４４ａは、再生制御部４４ｂ、及び情報表示制御部４４ｃを備える。以下、再生制御部４４ｂ、及び情報表示制御部４４ｃについて説明する。

《再生制御部》
再生制御部４４ｂは、動画像３８ａ、及び静止画像３８ｃをモニタ装置１６へ表示する際の表示制御を実行する。再生制御部４４ｂは、図３に示した表示制御部４４と同様の構成、及び機能を有している。ここでは、再生制御部４４ｂの詳細な説明を省略する。

《情報表示制御部》
情報表示制御部４４ｃは、モニタ装置１６へ報知情報を表示させる。すなわち、情報表示制御部４４ｃは、報知情報を表す信号を生成し、報知情報を表す信号をモニタ装置１６へ送信する。モニタ装置１６は報知情報を表示する。

報知情報の例として、静止画が保存された場合の静止画像保存報知情報が挙げられる。静止画像保存報知の詳細は後述する。

〈撮像モード切替信号生成部〉
撮像モード切替信号生成部６７は、内視鏡１０の撮影モードの切り替えを行う際の撮像モード切替信号を生成する。撮像モード切替信号生成部６７は、内視鏡システム９へ撮像モード切替信号を送信する。プロセッサ装置は、撮像モード切替信号を受信した場合に内視鏡１０の撮像モードを切り替える。

本実施形態に係る画像処理装置１４ａは、注目シーン認識部５１ａを用いて、内視鏡画像３８から注目シーンが認識された場合に、静止画像３８ｃの撮像を行う。すなわち、撮像モード切替信号生成部６７は、内視鏡画像３８から注目シーンが認識された場合に、撮像モード切替信号を生成し、プロセッサ装置１２へ撮像モード切替信号を送信する。

注目シーンとして撮像された静止画像３８ｃは、プロセッサ装置１２から画像処理装置１４ａへ送信される。プロセッサ装置１２は、注目シーンとして撮像された静止画像３８ｃを記憶する記憶装置を備えてもよい。撮像モード切替信号生成部６７は、撮像モード切替信号送信部の構成要素の一例である。

〔画像処理方法の手順〕
図１０は第２実施形態に係る画像処理方法の手順の流れを示すフローチャートである。以下に、内視鏡システム９に接続された内視鏡１０を体腔に挿入し、内視鏡１０を操作して内視鏡画像３８を観察する内視鏡検査において、第２実施形態に係る画像処理方法が実行される場合について説明する。

画像処理方法が開始される。先ず、注目シーン設定工程Ｓ１００が実行される。注目シーン設定工程Ｓ１００では、図９に示した注目シーン設定部５１ｂは、注目シーンの特徴を設定する。ここでいう注目シーンの特徴の設定には、予め設定されている注目シーンの特徴を他の注目シーンの特徴に変更する注目シーンの特徴の変更が含まれる。注目シーン設定工程Ｓ１００の後に内視鏡画像取得工程Ｓ１０２へ進む。

内視鏡画像取得工程Ｓ１０２では、注目シーン認識部５１ａは、図１に示したプロセッサ装置１２を介して、内視鏡１０を用いて取得された内視鏡画像３８を取得する。すなわち、内視鏡画像取得工程Ｓ１０２において、注目シーン認識部５１ａは内視鏡１０の観察画像として動画像３８ａを取得する。内視鏡画像取得工程Ｓ１０２は医用画像取得工程の一例である。

注目シーン認識工程Ｓ１０４では、注目シーン認識部５１ａは、動画像３８ａの各フレーム画像３８ｂについて、注目シーンの特徴を含むか否かを判定する。注目シーン認識部５１ａは、動画像３８ａの規定フレーム数ごとのフレーム画像３８ｂについて、注目シーンの特徴を含むか否かを判定してもよい。

注目シーン認識工程Ｓ１０４において、任意のフレーム画像３８ｂが注目シーンに非該当の場合はＮｏ判定となる。Ｎｏ判定の場合は画像処理終了判定工程Ｓ１２０へ進む。一方、注目シーン認識工程Ｓ１０４において、任意のフレーム画像３８ｂが注目シーンに該当する場合はＹｅｓ判定となる。Ｙｅｓ判定の場合は静止画像取得工程Ｓ１０６へ進む。

静止画像取得工程Ｓ１０６では、図８に示した撮像モード切替信号生成部６７は、内視鏡システム９へ動画像撮像モードから静止画像撮像モードへ切り替える撮像モード切替信号を送信する。

動画像撮像モードから静止画像撮像モードへ切り替える撮像モード切替信号を受信した内視鏡システム９は静止画像３８ｃの撮像を実行する。画像解析処理部４３ａは静止画像３８ｃを取得する。静止画像取得工程Ｓ１０６の後に撮像枚数判定工程Ｓ１０８へ進む。

撮像枚数判定工程Ｓ１０８では、基準画像設定部５１ｃは、撮像された静止画像３８ｃが１枚目であるか、又は２枚目以降であるかを判定する。撮像された静止画像３８ｃが１枚目の場合はＮｏ判定となる。Ｎｏ判定の場合は基準画像設定工程Ｓ１１０へ進む。基準画像設定工程Ｓ１１０では、基準画像設定部５１ｃは撮像された静止画像３８ｃを基準画像３９ｂとして設定する。画像送信部５８は、基準画像３９ｂとして設定された静止画像３８ｃを画像記憶部４８へ送信する。基準画像設定工程Ｓ１１０の後に、内視鏡画像取得工程Ｓ１０２へ進む。

一方、撮像された静止画像３８ｃが２枚目以降の場合はＹｅｓ判定となる。Ｙｅｓ判定の場合は類似度算出工程Ｓ１１２へ進む。撮像枚数判定工程Ｓ１０８のＹｅｓ判定の場合、２枚目以降の静止画像３８ｃを基準画像３９ｂに追加する基準画像追加工程を経て、類似度算出工程Ｓ１１２へ進んでもよい。

類似度算出工程Ｓ１１２では、類似度算出部５２ａは、撮像された静止画像３８ｃと基準画像３９ｂとの類似度を算出する。類似度算出工程Ｓ１１２は、図５に示した類似度算出工程Ｓ１４と同様の処理を実行する工程である。ここでは類似度算出工程Ｓ１１２の説明は省略する。類似度算出工程Ｓ１１２の後に、閾値設定工程Ｓ１１４へ進む。

閾値設定工程Ｓ１１４では、閾値設定部５６は、撮像された静止画像３８ｃと基準画像３９ｂとが類似、又は非類似を判定する際に用いる閾値を設定する。閾値設定工程Ｓ１１４は、図７に示した閾値設定工程Ｓ３０と同様の工程である。ここでは、閾値設定工程Ｓ１１４の説明は省略する。閾値設定工程Ｓ１１４の後に、類似判定工程Ｓ１１６へ進む。

類似判定工程Ｓ１１６では、類似判定部５７ａは、類似度算出工程Ｓ１１２において算出された類似度が閾値を超えるか否かを判定する。類似度が閾値以下の場合はＮｏ判定となる。Ｎｏ判定の場合は静止画像保存工程Ｓ１１８へ進む。すなわち、撮像された静止画像３８ｃと基準画像３９ｂとが非類似の場合に、撮像された静止画像３８ｃを保存する。

静止画像保存工程Ｓ１１８では、画像送信部５８は、保存対象の静止画像３８ｃを画像記憶部４８へ送信する。また、静止画像保存工程Ｓ１１８では、基準画像設定部５１ｃは保存対象の静止画像３８ｃを基準画像３９ｂとして追加する。

静止画像保存工程Ｓ１１８の後に、画像処理終了判定工程Ｓ１２０へ進む。閾値設定工程Ｓ１１４、類似判定工程Ｓ１１６、及び静止画像保存工程Ｓ１１８は、保存処理工程の構成要素である。

画像処理終了判定工程Ｓ１２０では、画像解析処理部４３ａは、内視鏡検査が終了されたか否かを判定する。内視鏡検査が継続されている場合はＮｏ判定となる。Ｎｏ判定の場合は、内視鏡画像取得工程Ｓ１０２へ進む。以降、画像処理終了判定工程Ｓ１２０においてＹｅｓ判定となるまで、内視鏡画像取得工程Ｓ１０２から画像処理終了判定工程Ｓ１２０までの各工程が繰り返し実行される。

一方、内視鏡検査が終了されている場合はＹｅｓ判定となる。Ｙｅｓ判定の場合は、画像処理方法を終了する。

〔基準画像の保存例〕
基準画像３９ｂを保存する際に、基準画像３９ｂから特徴量を抽出し、特徴量を保存してもよい。基準画像３９ｂ、及び基準画像３９ｂの特徴量の両者を保存してもよい。静止画像３８ｃと基準画像３９ｂとの類似度を算出する際に、それぞれの特徴量が用いられる場合に便利である。

〔保存対象とされる静止画像の例〕
〈第１例〉
図１１は保存対象とされる静止画像の一例を示す模式図である。図１１に示す例では、注目シーンが認識されたタイミングｔ_０におけるフレーム画像３８ｂ_１が、保存対象の静止画像３８ｃとされる。注目シーンが認識されたタイミングｔ_０におけるフレーム画像３８ｂ_１は、注目シーンとして認識された医用画像の一例である。

フレーム画像３８ｂ_１を取得する際に、フレーム画像３８ｂ_１に後続する複数枚のフレーム画像３８ｄを取得してもよい。換言すると、内視鏡画像３８から注目シーンが識別された場合に、注目シーンが識別されたタイミングｔ_０から一定期間の複数のフレーム画像３８ｄを取得し、複数のフレーム画像３８ｄの中から代表となる１枚のフレーム画像３８ｂを選び出してもよい。

〈第２例〉
図１２は保存の対象とされる静止画像の他の例を示す模式図である。図１２に示す例では、注目シーンが認識されたタイミングｔ_０から一定期間後のタイミングｔ_１におけるフレーム画像３８ｂ_２を静止画像３８ｃとして保存する例を示す。タイミングｔ_０からタイミングｔ_１までの期間は、内視鏡１０の速さ、及び動画像３８ａを撮像する際のフレームレートに応じて決められる。

注目シーンが認識されたタイミングｔ_０から一定期間は、同様のシーンが撮像されていると考えられる。そして、手動で静止画撮像を撮像する場合は、術者が注目シーンの特徴を認識してから撮像操作を行うまでの遅延期間、及び撮像操作から実際の静止画像３８ｃ取得までの遅延期間が生じる。

そうすると、注目シーンが認識されたタイミングｔ_０から、上記した遅延期間に相当する一定期間後のフレーム画像３８ｂ_２を静止画像３８ｃとして保存する場合は、手動の静止画撮像と同様の静止画像３８ｃの取得が可能である。注目シーンが認識されたタイミングｔ_０から一定期間後のタイミングｔ_１におけるフレーム画像３８ｂ_２は、注目シーンとして認識された医用画像の以降に取得された医用画像の一例である。

次に、静止画像が保存された場合の静止画像保存報知について説明する。第２実施形態に係る画像処理装置、及び方法は、静止画像３８ｃが保存された場合に、モニタ装置１６を用いて報知を行う。

〈第１例〉
図１３は静止画像保存報知の第１例を示す表示画面の構成図である。図１３には、画像記憶部４８を用いて保存した静止画像３８ｃを、一定期間、内視鏡画像３８の表示画面に重畳表示させる例である。

すなわち、図８に示す情報表示制御部４４ｃは、注目シーンとして識別され、既に保存した静止画像３８ｃと非類似の静止画像３８ｃが保存された場合に、保存された静止画像３８ｃを表す表示信号をモニタ装置１６へ送信する。

内視鏡画像３８の表示画面に重畳表示させる静止画像３８ｃは、内視鏡画像３８の観察の妨げにならない位置に、縮小して表示することが好ましい。情報表示制御部４４ｃは報知部の構成要素の一例である。

〈第２例〉
図１４は静止画像保存報知の第２例を示す表示画面の構成図である。図１４には、静止画像が保存されたことを表すアイコン３８ｅを、一定期間、内視鏡画像３８の表示画面に重畳表示させる例である。

〈他の静止画像保存報知の例〉
他の静止画像保存報知の例として、一定期間、内視鏡画像３８をフリーズさせる例が挙げられる。また、報知音、及び音声等の音を用いた静止画像保存報知も可能である。

〔第２実施形態に係る画像処理装置、及び方法の作用効果〕
上記の如く構成された画像処理装置、及び方法によれば、以下の作用効果を得ることが可能である。

〈１〉
既に保存されている静止画像３８ｃと非類似の静止画像３８ｃを保存する。これにより、同じシーンの類似する静止画像３８ｃの保存が回避される。

〈２〉
注目シーンが認識された場合に、内視鏡１０の撮像モードを動画像撮像モードから静止画像撮像モードへ切り替える撮像モード切替信号を生成し、撮像モード切替信号を内視鏡システム９へ送信する。これにより、注目シーンが認識された場合に、自動的に静止画撮像が実行される。

〈３〉
注目シーンを認識したタイミングｔ_０から一定期間後のタイミングｔ_１におけるフレーム画像３８ｂを静止画像３８ｃとして保存する。これにより、手動撮像の場合と同様のタイミングにおけるフレーム画像３８ｂを静止画像３８ｃとして保存することが可能である。

〈４〉
静止画像３８ｃが保存された場合に報知を行う。これにより、術者は、静止画像３８ｃが保存されたことを認識し得る。

［画像処理装置の応用例］
画像処理装置の応用例として、図１に示したプロセッサ装置１２に、図３に示した画像解析処理部４３、又は図８に示した画像解析処理部４３ａを統合することが可能である。すなわち、内視鏡１０の撮像制御、及び内視鏡１０から取得した画像信号の処理を行うプロセッサ装置１２に対して、注目シーンが認識された場合に静止画像３８ｃを自動的に撮像し、撮像した静止画像３８ｃを自動的に鑑別する処理を行う機能を付加することが可能である。

［内視鏡システムの変形例］
〔照明光の変形例〕
本実施形態に示した内視鏡システム９を用いて取得可能な医用画像の一例として、白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得た通常光画像が挙げられる。

本実施形態に示した内視鏡システム９を用いて取得可能な医用画像の他の例として、特定の波長帯域の光を照射して得た画像が挙げられる。特定の波長帯域は白色帯域よりも狭い帯域を適用可能である。以下の変形例の適用が可能である。

《第１例》
特定の波長帯域の第１例は、可視域の青色帯域又は緑色帯域である。第１例の波長帯域は、３９０ナノメートル以上４５０ナノメートル以下、又は５３０ナノメートル以上５５０ナノメートル以下の波長帯域を含み、かつ第１例の光は、３９０ナノメートル以上４５０ナノメートル以下、又は５３０ナノメートル以上５５０ナノメートル以下の波長帯域内にピーク波長を有する。

《第２例》
特定の波長帯域の第２例は、可視域の赤色帯域である。第２例の波長帯域は、５８５ナノメートル以上６１５ナノメートル以下、又は６１０ナノメートル以上７３０ナノメートル以下の波長帯域を含み、かつ第２例の光は、５８５ナノメートル以上６１５ナノメートル以下、又は６１０ナノメートル以上７３０ナノメートル以下の波長帯域内にピーク波長を有する。

《第３例》
特定の波長帯域の第３例は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ第３例の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する。この第３例の波長帯域は、４００±１０ナノメートル、４４０±１０ナノメートル、４７０±１０ナノメートル、又は６００ナノメートル以上７５０ナノメートル以下の波長帯域を含み、かつ第３例の光は、４００±１０ナノメートル、４４０±１０ナノメートル、４７０±１０ナノメートル、又は６００ナノメートル以上７５０ナノメートル以下の波長帯域にピーク波長を有する。

《第４例》
特定の波長帯域の第４例は、生体内の蛍光物質が発する蛍光の観察に用いられ、かつこの蛍光物質を励起させる励起光の波長帯域である。例えば、３９０ナノメートル以上４７０ナノメートル以下の波長帯域である。なお、蛍光の観察は蛍光観察と呼ばれる場合がある。

《第５例》
特定の波長帯域の第５例は、赤外光の波長帯域である。この第５例の波長帯域は、７９０ナノメートル以上８２０ナノメートル以下、又は９０５ナノメートル以上９７０ナノメートル以下の波長帯域を含み、かつ第５例の光は、７９０ナノメートル以上８２０ナノメートル以下、又は９０５ナノメートル以上９７０ナノメートル以下の波長帯域にピーク波長を有する。

〔特殊光画像の生成例〕
プロセッサ装置１２は、白色光を用いて撮像して得られた通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を生成してもよい。なお、ここでいう生成は取得が含まれる。この場合、プロセッサ装置１２は、特殊光画像取得部として機能する。そして、プロセッサ装置１２は、特定の波長帯域の信号を、通常光画像に含まれる赤、緑、及び青、或いはシアン、マゼンタ、及びイエローの色情報に基づく演算を行うことで得る。

なお、赤、緑、及び青は、ＲＧＢ（Red,Green,Blue）と表されることがある。また、シアン、マゼンタ、及びイエローは、ＣＭＹ（Cyan,Magenta,Yellow）と表されることがある。

〔特徴量画像の生成例〕
医用画像として、白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得る通常画像、並びに特定の波長帯域の光を照射して得る特殊光画像の少なくともいずれかに基づく演算を用いて、特徴量画像を生成し得る。

［コンピュータを画像処理装置として機能させるプログラムへの適用例］
上述した画像処理方法は、コンピュータを用いて、画像処理方法における各工程に対応する機能を実現させるプログラムとして構成可能である。例えば、コンピュータを、内視鏡画像取得機能、画像解析処理機能、入力制御機能、表示制御機能、及び記憶機能を実現させるプログラムを構成し得る。

内視鏡画像取得機能は医用画像取得機能の一例である。画像解析処理機能は、注目シーン認識機能、類似度算出機能、保存処理機能が構成要素として含まれる。

上述した画像処理機能をコンピュータに実現させるプログラムを光ディスク、磁気ディスク、若しくは、半導体メモリその他の有体物たる非一時的な情報記憶媒体であるコンピュータ可読媒体に記録し、この情報記憶媒体を通じてプログラムを提供することが可能である。またこのような有体物たる非一時的な情報記憶媒体にプログラムを記憶させて提供する態様に代えて、インターネットなどの電気通信回線を利用してプログラム信号をダウンロードサービスとして提供することも可能である。

また、非一時的な情報記憶媒体にプログラムを記憶して提供する態様に代えて、ネットワークを介してプログラム信号を提供する態様も可能である。

［実施形態及び変形例等の組み合わせについて］
上述した実施形態で説明した構成要素、及び変形例で説明した構成要素は、適宜組み合わせて用いることができ、また、一部の構成要素を置き換えることもできる。

以上説明した本発明の実施形態は、本発明の趣旨を逸脱しない範囲で、適宜構成要件を変更、追加、削除することが可能である。本発明は以上説明した実施形態に限定されるものではなく、本発明の技術的思想内で当該分野の通常の知識を有する者により、多くの変形が可能である。

１ 制御部
２ メモリ
３ ハードディスク装置
４ 通信インターフェース
５ 入力コントローラ
６ ディスプレイコントローラ
９ 内視鏡システム
１０ 内視鏡
１１ 光源装置
１２ プロセッサ装置
１３ 表示装置
１４、１４ａ 画像処理装置
１５ 入力装置
１６ モニタ装置
１７ ネットワーク
１８ 記憶装置
１９ 基準画像候補保存部
２０ 挿入部
２１ 操作部
２２ ユニバーサルコード
２５ 軟性部
２６ 湾曲部
２７ 先端部
２７ａ 先端面
２８ 撮像素子
２９ 湾曲操作ノブ
３０ 送気送水ボタン
３１ 吸引ボタン
３２ 静止画像撮像指示部
３３ 処置具導入口
３５ ライトガイド
３６ 信号ケーブル
３７ａ、３７ｂ コネクタ
３８ 内視鏡画像
３８ａ 動画像
３８ｂ フレーム画像
３８ｃ 静止画像
３８ｄ 複数のフレーム画像
３８ｅ アイコン
３９、３９ｂ 基準画像
３９ａ 基準画像候補
４０ 全体制御部
４１ 内視鏡画像取得部
４２ 基準画像候補取得部
４３、４３ａ 画像解析処理部
４４、４４ａ 表示制御部
４４ｂ 再生制御部
４４ｃ 情報表示制御部
４５ 深層学習アルゴリズム
４６ 入力制御部
４７ 記憶部
４８ 画像記憶部
４９ プログラム記憶部
５１、５１ａ 注目シーン認識部
５１ｂ 注目シーン設定部
５１ｃ 基準画像設定部
５１ｄ 認識処理部
５２、５２ａ 類似度算出部
５３、５３ａ 保存処理部
５４ 基準画像選択部
５５ 基準画像保存処理部
５６ 閾値設定部
５７、５７ａ 類似判定部
５８ 画像送信部
６７ 撮像モード切替信号生成部
６８ 通信信号線
ｃ 定数
Ｄ 類似度
ｔ_０、ｔ_１ タイミング
Ｓ１０からＳ１２０ 画像処理方法の各工程

Claims (21)

1. 医用画像を取得する医用画像取得部と、
   前記医用画像取得部を用いて取得した前記医用画像から注目シーンを認識する注目シーン認識部と、
   前記注目シーン認識部を用いて認識された注目シーンについて、前記医用画像取得部を用いて取得した前記医用画像と、前記注目シーンについて定められた基準画像との類似度を算出する類似度算出部と、
   前記類似度算出部を用いて算出された類似度に基づいて前記医用画像を保存装置へ保存する処理を行う保存処理部と、
   を備え、
   前記注目シーン認識部は、予め複数の医用画像が保存される医用画像保存装置から前記複数の医用画像を取得し、前記複数の医用画像について注目シーンの識別を行い、前記注目シーンとして非認識の医用画像の中から、前記注目シーン認識部が認識を困難とする前記基準画像を選択し、
   前記保存処理部は、前記類似度が規定の閾値以上の場合に、前記医用画像を前記保存装置へ保存する画像処理装置。
2. 前記医用画像から特徴量を抽出する医用画像特徴量抽出部を備え、
   前記類似度算出部は、前記医用画像の特徴量に基づいて、前記医用画像と前記基準画像との類似度を算出する請求項１に記載の画像処理装置。
3. 前記基準画像を取得する基準画像取得部と、
   前記基準画像取得部を用いて取得した前記基準画像から特徴量を抽出する基準画像特徴量抽出部と、
   を備えた請求項１又は２に記載の画像処理装置。
4. 前記基準画像の特徴量を取得する基準画像特徴量取得部を備え、
   前記類似度算出部は、前記医用画像の特徴量、及び前記基準画像の特徴量に基づいて、前記医用画像と前記基準画像との類似度を算出する請求項１又は２に記載の画像処理装置。
5. 前記注目シーン認識部は、病変を含むシーンを前記注目シーンとして認識する請求項１から４のいずれか一項に記載の画像処理装置。
6. 前記注目シーン認識部は、前記注目シーン認識部が注目シーンとして非認識の医用画像と、前記注目シーン認識部が認識を困難とする医用画像の正解画像と、の比較結果を用いて、前記注目シーンとして非認識の医用画像の中から前記基準画像を選択し、
   前記保存処理部は、前記類似度が規定の閾値以上の場合に、前記医用画像を前記保存装置へ保存する請求項１から５のいずれか一項に記載の画像処理装置。
7. 医用画像を取得する医用画像取得部と、
   前記医用画像取得部を用いて取得した前記医用画像から注目シーンを認識する注目シーン認識部と、
   前記注目シーン認識部を用いて認識された注目シーンについて、前記医用画像取得部を用いて取得した前記医用画像と、前記注目シーンについて定められた基準画像との類似度を算出する類似度算出部と、
   前記類似度算出部を用いて算出された類似度に基づいて前記医用画像を保存装置へ保存する処理を行う保存処理部と、
   を備え、
   前記注目シーン認識部は、前記医用画像から前記注目シーンを認識し、
   前記保存処理部は、前記保存装置に既に保存されている前記医用画像を基準画像として、前記類似度が規定の閾値以下の場合に、前記医用画像を前記保存装置へ保存する画像処理装置。
8. 前記注目シーンが認識された場合、内視鏡の撮像モードを動画像撮像モードから静止画像撮像モードへ切り替える切替信号を、前記内視鏡を備えた内視鏡装置へ送信する撮像モード切替信号送信部を備えた請求項７に記載の画像処理装置。
9. 前記保存処理部は、前記注目シーンとして認識された前記医用画像を前記保存装置へ保存する請求項７又は８に記載の画像処理装置。
10. 前記保存処理部は、前記注目シーンとして認識された前記医用画像の以降に取得された前記医用画像を前記保存装置へ保存する請求項７又は８に記載の画像処理装置。
11. 前記注目シーン認識部を用いて前記注目シーンとして認識された１枚目の前記医用画像を基準画像として設定する基準画像設定部を備えた請求項７から１０のいずれか一項に記載の画像処理装置。
12. 前記保存装置へ前記医用画像が保存されたことを報知する報知部を備えた請求項１から１１のいずれか一項に記載の画像処理装置。
13. 内視鏡を備えた内視鏡装置と、
    画像処理装置と、
    を備えた内視鏡システムであって、
    前記画像処理装置は、
    医用画像を取得する医用画像取得部と、
    前記医用画像取得部を用いて取得した前記医用画像から注目シーンを認識する注目シーン認識部と、
    前記注目シーン認識部を用いて認識された注目シーンについて、前記医用画像取得部を用いて取得した前記医用画像と、前記注目シーンについて定められた基準画像との類似度を算出する類似度算出部と、
    前記類似度算出部を用いて算出された類似度に基づいて前記医用画像を保存装置へ保存する処理を行う保存処理部と、
    を備え、
    前記注目シーン認識部は、予め複数の医用画像が保存される医用画像保存装置から前記複数の医用画像を取得し、前記複数の医用画像について注目シーンの識別を行い、前記注目シーンとして非認識の医用画像の中から、前記注目シーン認識部が認識を困難とする前記基準画像を選択し、
    前記保存処理部は、前記類似度が規定の閾値以上の場合に、前記医用画像を前記保存装置へ保存する内視鏡システム。
14. 内視鏡を備えた内視鏡装置と、
    画像処理装置と、
    を備えた内視鏡システムであって、
    前記画像処理装置は、
    医用画像を取得する医用画像取得部と、
    前記医用画像取得部を用いて取得した前記医用画像から注目シーンを認識する注目シーン認識部と、
    前記注目シーン認識部を用いて認識された注目シーンについて、前記医用画像取得部を用いて取得した前記医用画像と、前記注目シーンについて定められた基準画像との類似度を算出する類似度算出部と、
    前記類似度算出部を用いて算出された類似度に基づいて前記医用画像を保存装置へ保存する処理を行う保存処理部と、
    を備え、
    前記注目シーン認識部は、前記医用画像から前記注目シーンを認識し、
    前記保存処理部は、前記保存装置に既に保存されている前記医用画像を基準画像として、前記類似度が規定の閾値以下の場合に、前記医用画像を前記保存装置へ保存する内視鏡システム。
15. 前記医用画像を保存する前記保存装置を備えた請求項１３又は１４に記載の内視鏡システム。
16. コンピュータが、
    医用画像を取得する医用画像取得工程と、
    前記医用画像取得工程において取得した前記医用画像から注目シーンを認識する注目シーン認識工程と、
    前記注目シーン認識工程において認識された注目シーンについて、前記医用画像取得工程において取得した前記医用画像と、前記注目シーンについて定められた基準画像との類似度を算出する類似度算出工程と、
    前記類似度算出工程において算出された類似度に基づいて前記医用画像を保存装置へ保存する処理を行う保存処理工程と、
    を実行し、
    前記注目シーン認識工程は、予め複数の医用画像が保存される医用画像保存装置から前記複数の医用画像を取得し、前記複数の医用画像について注目シーンの識別を行い、前記注目シーンとして非認識の医用画像の中から、前記注目シーン認識工程において認識を困難とする前記基準画像を選択し、
    前記保存処理工程は、前記類似度が規定の閾値以上の場合に、前記医用画像を前記保存装置へ保存する画像処理方法。
17. コンピュータが、
    医用画像を取得する医用画像取得工程と、
    前記医用画像取得工程において取得した前記医用画像から注目シーンを認識する注目シーン認識工程と、
    前記注目シーン認識工程において認識された注目シーンについて、前記医用画像取得工程において取得した前記医用画像と、前記注目シーンについて定められた基準画像との類似度を算出する類似度算出工程と、
    前記類似度算出工程において算出された類似度に基づいて前記医用画像を保存装置へ保存する処理を行う保存処理工程と、
    を実行し、
    前記注目シーン認識工程は、前記医用画像から前記注目シーンを認識し、
    前記保存処理工程は、前記保存装置に既に保存されている前記医用画像を基準画像として、前記類似度が規定の閾値以下の場合に、前記医用画像を前記保存装置へ保存する画像処理方法。
18. コンピュータに、
    医用画像を取得する医用画像取得機能、
    前記医用画像取得機能を用いて取得した前記医用画像から注目シーンを認識する注目シーン認識機能、
    前記注目シーン認識機能を用いて認識された注目シーンについて、前記医用画像取得機能を用いて取得した前記医用画像と、前記注目シーンについて定められた基準画像との類似度を算出する類似度算出機能、及び
    前記類似度算出機能を用いて算出された類似度に基づいて前記医用画像を保存装置へ保存する処理を行う保存処理機能を実現させるプログラムであって、
    前記注目シーン認識機能は、予め複数の医用画像が保存される医用画像保存装置から前記複数の医用画像を取得し、前記複数の医用画像について注目シーンの識別を行い、前記注目シーンとして非認識の医用画像の中から、前記注目シーン認識機能が認識を困難とする前記基準画像を選択し、
    前記保存処理機能は、前記類似度が規定の閾値以上の場合に、前記医用画像を前記保存装置へ保存するプログラム。
19. コンピュータに、
    医用画像を取得する医用画像取得機能、
    前記医用画像取得機能を用いて取得した前記医用画像から注目シーンを認識する注目シーン認識機能、
    前記注目シーン認識機能を用いて認識された注目シーンについて、前記医用画像取得機能を用いて取得した前記医用画像と、前記注目シーンについて定められた基準画像との類似度を算出する類似度算出機能、及び
    前記類似度算出機能を用いて算出された類似度に基づいて前記医用画像を保存装置へ保存する処理を行う保存処理機能を実現させるプログラムであって、
    前記注目シーン認識機能は、前記医用画像から前記注目シーンを認識し、
    前記保存処理機能は、前記保存装置に既に保存されている前記医用画像を基準画像として、前記類似度が規定の閾値以下の場合に、前記医用画像を前記保存装置へ保存するプログラム。
20. 非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に、
    医用画像を取得する医用画像取得機能、
    前記医用画像取得機能を用いて取得した前記医用画像から注目シーンを認識する注目シーン認識機能、
    前記注目シーン認識機能を用いて認識された注目シーンについて、前記医用画像取得機能を用いて取得した前記医用画像と、前記注目シーンについて定められた基準画像との類似度を算出する類似度算出機能、及び
    前記類似度算出機能を用いて算出された類似度に基づいて前記医用画像を保存装置へ保存する処理を行う保存処理機能をコンピュータに実現させる記録媒体であって、
    前記注目シーン認識機能は、予め複数の医用画像が保存される医用画像保存装置から前記複数の医用画像を取得し、前記複数の医用画像について注目シーンの識別を行い、前記注目シーンとして非認識の医用画像の中から、前記注目シーン認識機能が認識を困難とする前記基準画像を選択し、
    前記保存処理機能は、前記類似度が規定の閾値以上の場合に、前記医用画像を前記保存装置へ保存する記録媒体。
21. 非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に、
    医用画像を取得する医用画像取得機能、
    前記医用画像取得機能を用いて取得した前記医用画像から注目シーンを認識する注目シーン認識機能、
    前記注目シーン認識機能を用いて認識された注目シーンについて、前記医用画像取得機能を用いて取得した前記医用画像と、前記注目シーンについて定められた基準画像との類似度を算出する類似度算出機能、及び
    前記類似度算出機能を用いて算出された類似度に基づいて前記医用画像を保存装置へ保存する処理を行う保存処理機能をコンピュータに実現させる記録媒体であって、
    前記注目シーン認識機能は、前記医用画像から前記注目シーンを認識し、
    前記保存処理機能は、前記保存装置に既に保存されている前記医用画像を基準画像として、前記類似度が規定の閾値以下の場合に、前記医用画像を前記保存装置へ保存する記録媒体。

Images