WO2019138772A1 - 画像処理装置、プロセッサ装置、画像処理方法、及びプログラム - Google Patents

Abstract

医用画像から注目領域を認識する際の誤認識を抑制し得る、画像処理装置、プロセッサ装置、画像処理方法、及びプログラムを提供する。時系列の複数の医用画像を取得する画像取得部（４１）と、画像取得部を用いて取得した２つ以上の医用画像（３８）について、注目領域らしさのスコアの分布を表すスコアマップ（３９ａ）を生成するスコアマップ生成部（５１）と、スコアマップを保存するスコアマップ保存部（５２）と、スコアマップ保存部に保存したスコアマップについて、注目時刻のスコアマップと、注目時刻よりも過去の少なくとも１つのスコアマップとから１つの演算スコアマップ（３９ｂ）を生成するスコアマップ演算部（５３）とを備える。

Description

画像処理装置、プロセッサ装置、画像処理方法、及びプログラム

　本発明は画像処理装置、プロセッサ装置、画像処理方法、及びプログラムに係り、特に内視鏡画像における注目領域の認識に関する。

　医療分野において内視鏡システムを用いた検査が行われている。近年においては、画像解析によって内視鏡画像に含まれる病変等の注目領域の自動認識を行うシステムが知られている。

　内視鏡システムは、スコープの先端に具備される撮像装置を用いて体腔内部の撮像を行う。撮像装置は体腔内部を移動し、体腔内部を順次撮像する。なお、スコープは内視鏡と同義である。撮像装置は撮像した内視鏡画像をモニタに出力する。撮像装置を用いて撮像された内視鏡画像から病変等を自動認識することで病変等の見落としが抑制される。すなわち、内視鏡画像から病変等を自動認識する技術を用いて、内視鏡検査の支援が可能である。

　特許文献１は、基準画像、及び参照画像のそれぞれについて尤度マップを生成し、基準画像と参照画像との差分に対して尤度を用いた重み付けをして、基準画像の注目領域と参照画像の候補領域との非類似度を算出するＸ線診断装置が記載されている。

　特許文献２は、内視鏡の観察画像から特定領域を判別する画像処理装置が記載されている。同文献に記載の発明は、判別基準の初期値と、既に判別を行った画像内の特定領域の特徴量との加重平均に基づいて、特定領域の判別に用いる判別基準が作成される。

特開２０１５－４１３７０号公報 特許第５５７６７１１号公報

　しかしながら、内視鏡システムでは、スコープの操作、送液、及び残差等の影響に起因する、被写体像のぶれ、及びぼけ等が発生し得る。被写体像のぶれ、及びぼけ等の現象は注目領域の誤認識につながるおそれがある。また、体腔内部は病変と類似する構造を有する粘膜が存在し得る。注目領域が病変の場合、病変と類似する構造の存在が病変の誤認識につながるおそれがある。

　特許文献１に記載の発明において、基準画像は第１撮像方向について対象物にＸ線を透過して取得した投影データに基づいて生成される。参照画像は第２撮像方向について対象物にＸ線を透過して取得した投影データに基づいて生成される。

　特許文献１に記載の発明は、撮像方向が異なる複数の視点において、同一の対象物にＸ線を透過して得られた複数のＸ線透過画像のそれぞれについて尤度マップを生成するものであって、時系列の医用画像である内視鏡画像の注目領域の認識を行うものではない。

　特許文献２に記載の発明は、被検体の個人差、及び観察位置の違い等を考慮して、特定領域の判別に用いる判別基準を作成するものであって、被写体像のぶれ、及びぼけ等が発生した場合に特定領域の誤判別が懸念される。

　本発明はこのような事情に鑑みてなされたもので、内視鏡画像から注目領域を認識する際の誤認識を抑制し得る、画像処理装置、プロセッサ装置、画像処理方法、及びプログラムを提供することを目的とする。

　上記目的を達成するために、次の発明態様を提供する。

　第１態様に係る画像処理装置は、時系列の複数の医用画像を取得する画像取得部と、画像取得部を用いて取得した２つ以上の医用画像について、注目領域らしさのスコアの分布を表すスコアマップを生成するスコアマップ生成部と、スコアマップを保存するスコアマップ保存部と、スコアマップ保存部に保存したスコアマップについて、注目時刻のスコアマップと、注目時刻よりも過去の少なくとも１つのスコアマップとから１つの演算スコアマップを生成するスコアマップ演算部と、を備えた画像処理装置である。

　第１態様によれば、時系列の複数の医用画像について、注目領域らしさを表すスコアの分布であるマップを生成する。注目時刻のスコアマップと、注目時刻よりも過去の少なくとも１つのスコアマップとから１つの演算スコアマップを生成する。これにより、誤検出の原因となり得るスコアの影響が抑制された演算スコアマップに基づいて、誤認識が抑制された注目領域の認識が可能となる。

　時系列の医用画像の例として、内視鏡を用いて体腔内部を撮像して得られた内視鏡画像が挙げられる。内視鏡画像は動画像でもよいし、時系列の静止画像でもよい。

　スコアの例として、０以上１以下の数値が挙げられる。スコアは、任意の数値範囲の数値を正規化した数値でもよい。正規化の例として、０から２５５を用いて表される数値を２５５で除算する例が挙げられる。

　スコアマップは、階調値、色彩、及び濃度等を用いてスコアを表現した画像を適用し得る。スコアマップは、医用画像の位置情報が保有されるものが好ましい。

　演算スコアマップを生成する際の演算の例として算術平均演算等の平均値を算出する演算が挙げられる。

　第１態様に係る画像処理装置は、１つ以上のプロセッサと、１つ以上のメモリを備えた画像処理装置であって、プロセッサは、時系列の複数の医用画像を取得し、画像取得部を用いて取得した２つ以上の医用画像について、注目領域らしさのスコアの分布を表すスコアマップを生成し、注目時刻のスコアマップと、注目時刻よりも過去の少なくとも１つのスコアマップとから１つの演算スコアマップを生成し、メモリは、スコアマップを保存する画像処理装置として構成し得る。

　第２態様は、第１態様の画像処理装置において、スコアマップ生成部は、コンボリューションニューラルネットワークを用いてスコアマップを生成する構成としてもよい。

　第２態様によれば、コンボリューションニューラルネットワークを用いて生成されたスコアマップに基づく注目領域の認識が可能である。

　第３態様は、第１態様又は第２態様の画像処理装置において、スコアマップ演算部は、演算対象のスコアマップに対して加重平均演算を施して、演算スコアマップを生成する構成としてもよい。

　第３態様によれば、スコアマップに対して加重平均演算が施され、演算スコアマップが生成される。これにより、各スコアマップにおける注目領域として誤認識された領域が除去された演算スコアマップの生成が可能である。

　第４態様は、第３態様の画像処理装置において、医用画像を表示する表示装置へ、演算スコアマップに基づいて注目領域を表す報知画像を表示させる表示制御部を備えた構成としてもよい。

　第４態様によれば、表示装置に表示された医用画像における注目領域を視覚的に認識し得る。

　報知画像の例として、注目領域を囲むバウンディングボックス、並びに色の違い、又は色の強弱を用いて注目領域と他の領域とを表すヒートマップ等が挙げられる。

　第５態様は、第４態様の画像処理装置において、表示制御部は、報知画像を医用画像に重畳表示させ、かつ報知画像を医用画像の注目領域の位置とずらして表示させる構成としてもよい。

　第５態様によれば、注目領域の視認性を低下させることなく、報知画像を医用画像に重畳表示させることが可能である。

　第５態様において、医用画像を静止させた際に、注目領域の位置に報知画像を重畳表示させてもよい。

　第６態様は、第４態様の画像処理装置において、スコアマップ演算部は、演算スコアマップへの注目時刻のスコアマップの影響を相対的に小さくする重みを用いた加重平均演算を施して演算スコアマップを生成し、表示制御部は、演算スコアマップに基づいて生成された報知画像を医用画像に重畳表示させる構成としてもよい。

　第６態様によれば、演算スコアマップにおける注目時刻のスコアマップの影響を相対的に小さくし得る。これにより、報知画像は医用画像の注目位置に対して遅れて追従し得る。

　加重平均演算に適用される重み等のパラメータを設定する加重平均演算パラメータ設定部を備えてもよい。加重平均演算パラメータ設定部は、入力インターフェースを介して入力された情報に基づいて、加重平均演算に適用されるパラメータを設定してもよい。

　第７態様は、第６態様の画像処理装置において、スコアマップ演算部は、注目時刻のスコアマップの重みを、注目時刻よりも過去のスコアマップの重みの算術平均未満として、加重平均演算を施して演算スコアマップを生成する構成としてもよい。

　第７態様によれば、演算スコアマップにおける注目時刻のスコアマップの影響を相対的に小さくする重みを実現し得る。

　第８態様は、第６態様の画像処理装置において、スコアマップ演算部は、加重平均演算に用いる重みの最小値を、注目時刻のスコアマップへ適用する加重平均演算を施して演算スコアマップを生成する構成としてもよい。

　第８態様によれば、演算スコアマップにおける注目時刻のスコアマップの影響を、注目時刻よりも過去の時刻のスコアマップの影響と同程度、又は注目時刻よりも過去の時刻のスコアマップの影響以下とすることが可能である。

　第９態様は、第１態様から第８態様のいずれか一態様の画像処理装置において、スコアマップ演算部は、注目時刻のスコアマップを含む時系列の２以上の規定された数のスコアマップがスコアマップ保存部に保存された場合に、注目時刻のスコアマップを含む、時系列の２以上の規定された数のスコアマップについて、演算スコアマップを生成する構成としてもよい。

　第９態様によれば、規定された数のスコアマップに基づく演算スコアマップの生成が可能である。これにより、演算スコアマップにおける注目時刻のスコアマップの影響の程度を維持することが可能である。

　第９態様は、医用画像を表示する表示装置へ、演算スコアマップに基づいて注目領域を表す報知画像を表示させる表示処理部を備えた構成としてもよい。

　第１０態様は、第１態様から第９態様のいずれか一態様の画像処理装置において、画像取得部は、内視鏡を用いて取得した観察画像を取得する構成としてもよい。

　第１０態様によれば、内視鏡を用いて撮像された動画像において、誤認識が抑制された注目領域の認識が可能である。

　第１１態様に係るプロセッサ装置は、内視鏡の動作を制御する内視鏡制御部と、内視鏡を用いた撮像を制御する撮像制御部と、内視鏡を用いて撮像して得られた内視鏡画像を処理する画像処理部と、を備え、画像処理部は、時系列の複数の医用画像として内視鏡画像を取得する画像取得部と、画像取得部を用いて取得した２つ以上の医用画像について、注目領域らしさのスコアの分布を表すスコアマップを生成するスコアマップ生成部と、スコアマップを保存するスコアマップ保存部と、スコアマップ保存部に保存したスコアマップについて、注目時刻のスコアマップと、注目時刻よりも過去の少なくとも１つのスコアマップとから１つの演算スコアマップを生成するスコアマップ演算部と、を備えたプロセッサ装置である。

　第１１態様によれば、第１態様と同様の効果を得ることができる。

　第１１態様において、第２態様から第１０態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、画像処理装置において特定される処理や機能を担う構成要素は、これに対応する処理や機能を担うプロセッサ装置の構成要素として把握することができる。

　第１１態様に係るプロセッサ装置は、１つ以上のプロセッサと、１つ以上のメモリとを備えたプロセッサ装置であって、プロセッサは、内視鏡の動作を制御し、内視鏡を用いた撮像を制御し、内視鏡を用いて撮像して得られた内視鏡画像を処理し、かつ時系列の複数の医用画像として内視鏡画像を取得し、画像取得部を用いて取得した２つ以上の医用画像について、注目領域らしさのスコアの分布を表すスコアマップを生成し、スコアマップ保存部に保存したスコアマップについて、注目時刻のスコアマップと、注目時刻よりも過去の少なくとも１つのスコアマップとから１つの演算スコアマップを生成し、メモリはスコアマップを保存するプロセッサ装置を構成し得る。

　第１２態様に係る画像処理方法は、時系列の複数の医用画像を取得する画像取得工程と、画像取得工程において取得した２つ以上の医用画像について、注目領域らしさのスコアの分布を表すスコアマップを生成するスコアマップ生成工程と、スコアマップを保存するスコアマップ保存工程と、スコアマップ保存工程において保存したスコアマップについて、注目時刻のスコアマップと、注目時刻よりも過去の少なくとも１つのスコアマップとから１つの演算スコアマップを生成するスコアマップ演算工程と、を含む画像処理方法である。

　第１２態様によれば、第１態様と同様の効果を得ることができる。

　第１２態様において、第２態様から第１０態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、画像処理装置において特定される処理や機能を担う構成要素は、これに対応する処理や機能を担う画像処理方法の構成要素として把握することができる。

　第１３態様に係るプログラムは、コンピュータに、時系列の複数の医用画像を取得する画像取得機能、画像取得機能を用いて取得した２つ以上の医用画像について、注目領域らしさのスコアの分布を表すスコアマップを生成するスコアマップ生成機能、スコアマップを保存するスコアマップ保存機能、及びスコアマップ保存機能を用いて保存したスコアマップについて、注目時刻のスコアマップと、注目時刻よりも過去の少なくとも１つのスコアマップとから１つの演算スコアマップを生成するスコアマップ演算機能を実現させるプログラムである。

　第１３態様によれば、第１態様と同様の効果を得ることができる。

　第１３態様において、第２態様から第１０態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、画像処理装置において特定される処理や機能を担う構成要素は、これに対応する処理や機能を担うプログラムの構成要素として把握することができる。

　本発明によれば、時系列の複数の医用画像について、注目領域らしさを表すスコアの分布であるマップを生成する。注目時刻のスコアマップと、注目時刻よりも過去の少なくとも１つのスコアマップとから１つの演算スコアマップを生成する。これにより、誤検出の原因となり得るスコアの影響が抑制された演算スコアマップに基づいて、誤認識が抑制された注目領域の認識が可能となる。

図１は内視鏡システムの全体構成を示す概略図である。 図２は画像処理装置のハードウェアの構成例を示すブロック図である。 図３は画像処理装置の機能を示す機能ブロック図である。 図４は図３に示した画像解析処理部の機能を示す機能ブロック図である。 図５はスコアマップの模式図である。 図６は演算スコアマップの模式図である。 図７は動画像観察中の注目領域の報知例を示す内視鏡画像の模式図である。 図８は静止画像観察中の注目領域の報知例を示す内視鏡画像の模式図である。 図９は画像処理方法の流れを示すフローチャートである。

　以下、添付図面に従って本発明の好ましい実施の形態について詳説する。本明細書では、同一の構成要素には同一の参照符号を付して、重複する説明を省略する。

　［内視鏡システムの全体構成］
　図１は内視鏡システムの全体構成を示す概略図である。図１に示した内視鏡システム９は、内視鏡１０、光源装置１１、プロセッサ装置１２、表示装置１３、画像処理装置１４、入力装置１５、及びモニタ装置１６を備える。内視鏡システム９は、ネットワーク１７を介して記憶装置１８と通信可能に接続される。

　内視鏡１０は電子内視鏡である。また、内視鏡１０は軟性内視鏡である。内視鏡１０は挿入部２０、操作部２１、及びユニバーサルコード２２を備える。挿入部２０は被検体内に挿入される。挿入部２０は、全体が細径で長尺状に形成されている。

　挿入部２０は、軟性部２５、湾曲部２６、及び先端部２７を備える。挿入部２０は、軟性部２５、湾曲部２６、及び先端部２７が連設されて構成される。軟性部２５は、挿入部２０の基端側から先端側に向けて順に可撓性を有する。湾曲部２６は、操作部２１が操作された場合に湾曲可能な構造を有する。先端部２７は、図示しない撮像光学系及び撮像素子２８等が内蔵される。

　撮像素子２８は、ＣＭＯＳ型撮像素子又はＣＣＤ型撮像素子が適用される。ＣＭＯＳは、Complementary Metal Oxide Semiconductorの省略語である。ＣＣＤは、Charge Coupled Deviceの省略語である。

　先端部２７の先端面２７ａは、図示しない観察窓が配置される。観察窓は、先端部２７の先端面２７ａに形成された開口である。観察窓の後方には、図示しない撮像光学系が配置される。撮像素子２８の撮像面は、観察窓、及び撮像光学系等を介して、被観察部位からの反射光が入射する。撮像素子２８は、撮像素子２８の撮像面に入射した被観察部位からの反射光を撮像して、撮像信号を出力する。ここでいう撮像は、被観察部位からの反射光を電気信号へ変換するという意味が含まれる。

　操作部２１は挿入部２０の基端側に連設される。操作部２１は、術者が操作する各種操作部材を備える。具体的には、操作部２１は、２種類の湾曲操作ノブ２９を備える。湾曲操作ノブ２９は、湾曲部２６の湾曲操作の際に用いられる。なお、術者は、医師、操作者、及びユーザなどと呼ばれることがあり得る。

　操作部２１は、送気送水ボタン３０、及び吸引ボタン３１を備える。送気送水ボタン３０は、術者が送気送水操作を行う際に用いられる。吸引ボタン３１は、術者が吸引操作を行う際に用いられる。

　操作部２１は、静止画像撮像指示部３２、及び処置具導入口３３を備える。静止画像撮像指示部３２は、被観察部位の静止画像を撮像する際に、術者が操作する。処置具導入口３３は、挿入部２０の内部を挿通している処置具挿通路の内部に処置具を挿入する開口である。なお、処置具挿通路、及び処置具の図示は省略する。なお、静止画像は符号３８ｃを付して図３に図示する。

　ユニバーサルコード２２は、内視鏡１０を光源装置１１に接続する接続コードである。ユニバーサルコード２２は、挿入部２０の内部を挿通しているライトガイド３５、信号ケーブル３６、及び図示しない流体チューブを内包している。

　また、ユニバーサルコード２２の先端は、光源装置１１に接続されるコネクタ３７ａ、及びコネクタ３７ａから分岐され、かつプロセッサ装置１２に接続されるコネクタ３７ｂを備える。

　コネクタ３７ａを光源装置１１に接続すると、ライトガイド３５及び図示しない流体チューブが光源装置１１に挿入される。これにより、ライトガイド３５及び図示しない流体チューブを介して、光源装置１１から内視鏡１０に対して必要な照明光と水と気体とが供給される。

　その結果、先端部２７の先端面２７ａの図示しない照明窓から被観察部位に向けて照明光が照射される。また、送気送水ボタン３０の押下操作に応じて、先端部２７の先端面２７ａの図示しない送気送水ノズルから気体又は水が噴射される。

　コネクタ３７ｂをプロセッサ装置１２に接続すると、信号ケーブル３６とプロセッサ装置１２とが電気的に接続される。これにより、信号ケーブル３６を介して、内視鏡１０の撮像素子２８からプロセッサ装置１２へ被観察部位の撮像信号が出力され、かつプロセッサ装置１２から内視鏡１０へ制御信号が出力される。

　本実施形態では、内視鏡１０として軟性内視鏡を例に挙げて説明を行ったが、内視鏡１０として、硬性内視鏡等の被観察部位の動画撮像を可能な各種の電子内視鏡を用いてもよい。

　光源装置１１は、コネクタ３７ａを介して、内視鏡１０のライトガイド３５へ照明光を供給する。照明光は、白色光、又は特定の波長帯域の光を適用可能である。照明光は、白色光、及び特定の波長帯域の光を組み合わせてもよい。光源装置１１は、観察目的に応じた波長帯域の光を、照明光として適宜選択可能に構成される。

　プロセッサ装置１２は、コネクタ３７ｂ及び信号ケーブル３６を介して、内視鏡１０の動作を制御する。また、プロセッサ装置１２は、コネクタ３７ｂ及び信号ケーブル３６を介して、内視鏡１０の撮像素子２８から撮像信号を取得する。プロセッサ装置１２は規定のフレームレートを適用して内視鏡１０から出力された撮像信号を取得する。

　プロセッサ装置１２は、内視鏡１０から取得した撮像信号に基づき、被観察部位の観察画像である内視鏡画像３８を生成する。ここでいう内視鏡画像３８には動画像が含まれる。内視鏡画像３８は静止画像が含まれてもよい。動画像は符号３８ａを付して図３に図示する。

　プロセッサ装置１２は、操作部２１の静止画像撮像指示部３２が操作された場合、動画像の生成と並行して、撮像素子２８から取得した撮像信号に基づき被観察部位の静止画像を生成する。静止画像は、動画像の解像度に対して高解像度に生成されていてもよい。

　内視鏡画像３８の生成の際に、プロセッサ装置１２はホワイトバランス調整、及びシェーディング補正等のデジタル信号処理を適用した画質の補正を行う。プロセッサ装置１２はＤＩＣＯＭ規格で規定された付帯情報を内視鏡画像３８へ付加してもよい。なお、ＤＩＣＯＭは、Digital Imaging and Communications in Medicineの省略語である。

　内視鏡画像３８は、被検体内、すなわち、体腔の内部を撮像した体腔内画像である。内視鏡画像３８が、特定の波長帯域の光を用いて撮像して得られた画像である場合、両者は特殊光画像である。そして、プロセッサ装置１２は、生成した内視鏡画像３８を、表示装置１３と画像処理装置１４とのそれぞれに出力する。プロセッサ装置１２は、ＤＩＣＯＭ規格に準拠した通信プロトコルに従って、ネットワーク１７を介して内視鏡画像３８を記憶装置１８へ出力してもよい。

　表示装置１３は、プロセッサ装置１２に接続される。表示装置１３は、プロセッサ装置１２から送信された内視鏡画像３８を表示する。術者は、表示装置１３に表示される内視鏡画像３８を確認しながら、挿入部２０の進退操作等をし得る。術者は、被観察部位に病変等を検出した場合に、静止画像撮像指示部３２を操作して被観察部位の静止画を撮像し得る。

　画像処理装置１４は、コンピュータが用いられる。入力装置１５はコンピュータに接続可能なキーボード及びマウス等が用いられる。入力装置１５とコンピュータとの接続は有線接続、又は無線接続のいずれでもよい。モニタ装置１６は、コンピュータに接続可能な各種モニタが用いられる。

　画像処理装置１４として、ワークステーション及びサーバ装置等の診断支援装置を用いてもよい。この場合、入力装置１５及びモニタ装置１６は、それぞれワークステーション等に接続した複数の端末ごとに設けられる。更に、画像処理装置１４として、医療レポート等の作成支援を行う診療業務支援装置を用いてもよい。

　画像処理装置１４は、内視鏡画像３８の取得、及び内視鏡画像３８の記憶を行う。画像処理装置１４は、モニタ装置１６の再生制御を行う。すなわち、画像処理装置１４は、内視鏡画像３８を取得する内視鏡画像取得部、内視鏡画像３８を記憶する画像記憶部、及び内視鏡画像３８の表示制御を行う表示制御部を備える。内視鏡画像取得部は符号４１を付して図３に図示する。画像記憶部は符号４８を付して図３に図示する。表示制御部は符号４４を付して図３に図示する。

　なお、本明細書における画像の記憶は、画像の保存と読み替えることが可能である。ここでいう画像の記憶は、画像の非一時的記憶を意味する。画像処理装置１４は画像を一次記憶する一次記憶用のメモリを備えてもよい。

　入力装置１５は、画像処理装置１４に対する操作指示の入力に用いられる。モニタ装置１６は、画像処理装置１４の制御の下、内視鏡画像３８の表示を行う。モニタ装置１６は、画像処理装置１４における各種情報の表示部として機能してもよい。

　画像処理装置１４は、ネットワーク１７を介して記憶装置１８と接続される。画像の格納形式、及びネットワーク１７を経由した各装置間の通信は、ＤＩＣＯＭ規格、及びＤＩＣＯＭ規格に準拠したプロトコル等を適用可能である。

　なお、上記した画像という用語は、画像を表す画像データの意味が含まれている。本明細書における画像という用語は、画像自体、及び画像データの少なくともいずれかを意味している。

　記憶装置１８は、データを非一時的に記憶するストレージ等を適用可能である。記憶装置１８は、図示しないサーバ装置を用いて管理されてもよい。サーバ装置は、各種データを記憶して管理するコンピュータを適用可能である。

　［画像処理装置の構成］
　次に、画像処理装置について説明する。

　〔概要〕
　本実施形態に示した内視鏡システム９は、内視鏡１０の先端部２７に具備される撮像素子２８を用いて体腔内部を撮像する。内視鏡システム９は、撮像した体腔内部を表す内視鏡画像３８を受信する。内視鏡システム９は、表示装置１３を用いて受信した内視鏡画像３８を表示する。内視鏡画像３８は医用画像の一例に相当する。

　また、本実施形態に示した画像処理装置１４は、内視鏡画像３８のフレーム画像ごとに、注目領域らしさのスコアの分布を表すスコアマップを生成する。画像処理装置１４は、注目時刻のスコアマップ、及び注目時刻よりも過去の少なくとも１つのスコアマップに対して加重平均処理を施して演算スコアマップを生成する。なお、注目領域は符号７０を付して図５に図示する。

　画像処理装置１４は、演算スコアマップに基づいてバウンディングボックスを生成する。画像処理装置１４は、モニタ装置１６に表示される内視鏡画像３８にバウンディングボックスを重畳表示させる。

　なお、フレーム画像は符号３８ｂを付して図３に図示する。スコアマップは符号３９ａを付して図５に図示する。演算スコアマップは符号３９ｂを付して図６に図示する。バウンディングボックスは符号８２を付して図７に図示する。

　〔ハードウェア構成〕
　図２は画像処理装置のハードウェアの構成例を示すブロック図である。画像処理装置１４は、制御部１、メモリ２、ハードディスク装置３、通信インターフェース４、入力コントローラ５、及びディスプレイコントローラ６を備える。

　〈制御部〉
　制御部１は、画像処理装置１４の全体制御部４０、各種演算部、及び記憶制御部として機能する。制御部１は、メモリ２に具備されるＲＯＭ（read only memory）に記憶されているプログラムを実行する。制御部１は、通信インターフェース４を介して、外部の記憶装置からプログラムをダウンロードし、ダウンロードしたプログラムを実行してもよい。外部の記憶装置は、ネットワーク１７を介して画像処理装置１４と通信可能に接続されていてもよい。

　制御部１は、メモリ２に具備されるＲＡＭ（random access memory）を演算領域とし、各種プログラムと協働して、各種処理を実行する。これにより、画像処理装置１４の各種機能が実現される。

　制御部１は、ハードディスク装置３からのデータの読み出し、及びハードディスク装置３へのデータの書き込みを制御する。制御部１は、１つ又は２つ以上のプロセッサ（processor）が含まれてもよい。

　プロセッサの一例として、ＦＰＧＡ（Field Programmable Gate Array）、及びＰＬＤ（Programmable Logic Device）等が挙げられる。ＦＰＧＡ、及びＰＬＤは、製造後に回路構成の変更を可能とする。

　プロセッサの他の例として、ＡＳＩＣ（Application Specific Integrated Circuit）が挙げられる。ＡＳＩＣは、特定の処理を実行させるために専用に設計された回路構成を備える。

　制御部１は、同じ種類の２以上のプロセッサを適用可能である。例えば、制御部１は２つ以上のＦＰＧＡを用いてもよいし、２つのＰＬＤを用いてもよい。制御部１は、異なる種類の２つ以上プロセッサを適用してもよい。例えば、制御部１は１つ以上のＦＰＧＡと１つ以上のＡＳＩＣとを適用してもよい。

　複数の制御部を備える場合、複数の制御部は１つのプロセッサを用いて構成してもよい。複数の制御部を１つのプロセッサで構成する一例として、１つ以上のＣＰＵ（Central Processing Unit）とソフトウェアとの組合せを用いて１つのプロセッサを構成し、このプロセッサが複数の制御部として機能する形態がある。ＣＰＵに代わり、又はＣＰＵと併用して、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）を適用してもよい。なお、ここでいうソフトウェアはプログラムと同義である。複数の制御部が１つのプロセッサを用いて構成される代表例として、クライアント装置、及びサーバ装置等のコンピュータが挙げられる。

　複数の制御部を１つのプロセッサで構成する他の例として、複数の制御部を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態が挙げられる。複数の制御部を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサの代表例として、ＳｏＣ（System On Chip）が挙げられる。なお、ＩＣは、Integrated Circuitの省略語である。

　このように、制御部１は、ハードウェア的な構造として、各種のプロセッサを１つ以上用いて構成される。

　〈メモリ〉
　メモリ２は、図示しないＲＯＭ、及び図示しないＲＡＭを備える。ＲＯＭは、画像処理装置１４において実行される各種プログラムを記憶する。ＲＯＭは、各種プログラムの実行に用いられるパラメータ、及びファイル等を記憶する。ＲＡＭは、データの一時記憶領域、及び制御部１のワーク領域等として機能する。

　〈ハードディスク装置〉
　ハードディスク装置３は、各種データを非一時的に記憶する。具体的には、ハードディスク装置３は、内視鏡１０の観察画像、及び図１に示した記憶装置１８等の外部の記憶装置から取得した医用画像等を記憶する。ハードディスク装置３は、画像処理装置１４の外部に外付けされてもよい。ハードディスク装置３に代わり、又はこれと併用して、大容量の半導体メモリ装置を適用してもよい。

　〈通信インターフェース〉
　通信インターフェース４は、図１に示した記憶装置１８等の外部の装置との間のデータ通信を行う。図２に示したＩＦは、interfaceの省略後である。

　〈入力コントローラ〉
　入力コントローラ５は、キーボード、及びマウス等の入力装置１５から送信される信号を受信し、画像処理装置１４に適用される形式の信号に変換するインターフェースである。

　〈ディスプレイコントローラ〉
　ディスプレイコントローラ６は、画像処理装置１４において生成された画像を表す信号を、モニタ装置１６を用いて表示させる映像信号に変換するインターフェースである。ディスプレイコントローラ６は、画像を表す映像信号をモニタ装置１６へ送信する。

　なお、図２に示した画像処理装置１４のハードウェア構成は一例であり、適宜、追加、削除、及び変更が可能である。

　〔画像処理装置の機能〕
　図３は画像処理装置の機能を示す機能ブロック図である。図３に示した画像処理装置１４は、全体制御部４０、内視鏡画像取得部４１、画像解析処理部４３、表示制御部４４、入力制御部４６、及び記憶部４７を備える。

　全体制御部４０、内視鏡画像取得部４１、画像解析処理部４３、表示制御部４４、入力制御部４６、及び記憶部４７は、通信信号線６８を介して相互に通信可能に接続される。以下、各部について詳細に説明する。

　〈全体制御部〉
　全体制御部４０は、画像処理装置１４の制御プログラムの実行に基づき、内視鏡画像取得部４１、画像解析処理部４３、及び表示制御部４４を統括的に制御する。

　〈内視鏡画像取得部〉
　内視鏡画像取得部４１は、図１に示したプロセッサ装置１２を用いて生成された内視鏡画像３８を取得する。内視鏡画像取得部４１は、外部の記憶装置に記憶されている内視鏡画像３８を取得してもよい。内視鏡画像取得部４１は、メモリーカード等の各種情報記憶媒体を介して、上記した内視鏡画像３８を取得してもよい。

　内視鏡画像取得部４１は、動画像３８ａを取得する。内視鏡画像取得部４１は、動画像３８ａとして、時系列のフレーム画像３８ｂを取得してもよい。内視鏡画像取得部４１は、時系列の２以上の静止画像３８ｃを取得してもよい。

　動画像３８ａの撮像途中に静止画像３８ｃの撮像操作が行われた場合、内視鏡画像取得部４１は、図１に示したプロセッサ装置１２から静止画像３８ｃを取得する。内視鏡画像取得部４１は時系列の複数の医用画像を取得する画像取得部の一例に相当する。

　〈画像解析処理部〉
　画像解析処理部４３は、深層学習アルゴリズム４５に基づく深層学習を用いて、内視鏡画像取得部４１を用いて取得した内視鏡画像３８の解析処理を実行する。内視鏡画像３８の解析処理の詳細は後述する。

　深層学習アルゴリズム４５は、公知のコンボリューションニューラルネットワークの手法と、全結合層と、出力層とを含むアルゴリズムである。深層学習はディープラーニングと呼ばれることがある。

　コンボリューションニューラルネットワークは、畳み込み層、及びプーリング層の繰り返し処理である。コンボリューションニューラルネットワークは、畳み込みニューラルネットワークと呼ばれる場合がある。なお、深層学習を用いた画像解析処理は公知技術であるので、具体的な説明は省略する。コンボリューションニューラルネットワークはＣＮＮと表されることがある。ＣＮＮは、Convolutional Neural Networkの省略語である。

　〈表示制御部〉
　表示制御部４４は、モニタ装置１６を用いて内視鏡画像３８を再生する際に、画像表示を制御するディスプレイドライバーとして機能する。表示制御部４４は、モニタ装置１６を用いて、動画像３８ａの再生中に撮像された静止画像３８ｃを動画像３８ａに重畳表示させてもよい。表示制御部４４は、モニタ装置１６を用いて、再生中の動画像３８ａ、又は静止画像３８ｃに報知画像等を重畳表示してもよい。

　〈入力制御部〉
　入力制御部４６は、入力装置１５から入力された信号を、画像処理装置１４に適用される形式の信号に変換し、変換後の信号を全体制御部４０へ送信する。全体制御部４０は、入力装置１５から入力された情報に基づいて、画像処理装置１４の各部を制御する。

　〈記憶部〉
　記憶部４７は、画像記憶部４８、及びプログラム記憶部４９を備える。画像記憶部４８は、内視鏡画像取得部４１を用いて取得した内視鏡画像３８を記憶する。画像記憶部４８に記憶された画像は、全体制御部４０の制御の下、画像解析処理部４３へ読み出される。

　プログラム記憶部４９は、画像処理装置１４を動作させる各種プログラムを記憶する。プログラム記憶部４９に記憶された各種プログラムは、全体制御部４０の制御の下、各部へ読み出される。

　〔画像解析処理部の構成例〕
　図４は図３に示した画像解析処理部の機能を示す機能ブロック図である。画像解析処理部４３は、スコアマップ生成部５１、スコアマップ保存部５２、及びスコアマップ演算部５３を備える。以下、上記した各部について詳細に説明する。

　〈スコアマップ生成部〉
　スコアマップ生成部５１は、内視鏡画像３８のフレーム画像３８ｂごとのスコアマップ３９ａを生成する。スコアマップ３９ａは、フレーム画像３８ｂごとの、各フレーム画像３８ｂにおける位置情報を保有した、注目領域らしさを表すスコアの分布である。スコアは０以上１以下の連続する数値を適用可能である。スコアは、任意の数値範囲の数値を正規化した数値でもよい。正規化の例として、０から２５５を用いて表される数値を２５５で除算する例が挙げられる。

　本実施形態では、スコア０は最も注目領域らしくないことを表す。また、スコア１は最も注目領域らしいことを表す。

　スコアマップ生成部５１は、コンボリューションニューラルネットワークを用いて、各フレーム画像３８ｂからスコアマップ３９ａを生成する。スコアマップ生成部５１は、コンボリューションニューラルネットワークを用いた機械学習器を備える。機械学習器は、フレーム画像３８ｂを入力するとスコアマップ３９ａを出力する。

　機械学習器は、注目領域の７０の種類ごとの学習データを用いて機械学習済みの機械学習器である。コンボリューションニューラルネットワークを用いたスコアマップ３９ａは公知の手法を適用可能である。ここでは、コンボリューションニューラルネットワークを用いたスコアマップ３９ａの詳細は省略する。

　〈スコアマップ保存部〉
　スコアマップ保存部５２は、スコアマップ生成部５１を用いて生成されたスコアマップを時系列順に保存する。本実施形態では、画像解析処理部４３がスコアマップ保存部５２を具備する態様を示したが、スコアマップ保存部５２は画像解析処理部４３の外部に具備されるメモリを適用してもよい。

　〈スコアマップ演算部〉
　スコアマップ演算部５３は、スコアマップ保存部５２に規定数のスコアマップ３９ａが保存された場合に、注目時刻におけるフレーム画像３８ｂから生成されたスコアマップ３９ａ、及び注目時刻よりも過去のフレーム画像３８ｂから生成されたスコアマップ３９ａであり、スコアマップ保存部５２を用いて保存されているスコアマップ３９ａのうち少なくとも１つを演算対象として演算を行う。スコアマップ演算部５３は、演算結果として１つの演算スコアマップ３９ｂを生成する。演算の例として加重平均演算が挙げられる。加重平均演算の詳細は後述する。

　スコアマップ演算部５３は、演算スコアマップ３９ｂに基づいて注目領域を報知する際に用いられる報知画像を表す信号を生成する。例えば、スコアマップ演算部５３は、演算スコアマップ３９ｂに基づいて注目領域を表すバウンディングボックスを表す信号を生成する。スコアマップ演算部５３は、表示制御部４４を介して、モニタ装置１６を用いて内視鏡画像３８にバウンディングボックスを重畳表示させる。

　バウンディングボックスは、注目領域を囲む位置に配置される図形である。バウンディングボックスは、円、四角形、及び任意の閉曲線等を適用可能である。

　注目領域の他の報知例として、内視鏡画像３８にヒートマップを重畳表示させる例が挙げられる。ヒートマップは、色彩の違い、及び同一色彩の濃度の違いの少なくともいずれかを用いてスコアの大小を表すものである。注目領域の他の報知例として、スコア自体を表示させる例が挙げられる。

　スコアマップ演算部５３は、スコアマップ保存部５２に規定数のスコアマップ３９ａが保存されるまでの期間は、注目時刻における内視鏡画像３８から生成されたスコアマップ３９ａに基づいて、バウンディングボックス等を用いて注目領域を報知してもよい。

　〔スコアマップ生成の具体例〕
　次に、スコアマップ生成の具体例について説明する。図５はスコアマップの模式図である。図５に示したフレーム画像３８ｂ_１、フレーム画像３８ｂ_２、及びフレーム画像３８ｂ_３は、連続する時系列の任意のフレーム画像３８ｂである。時系列順に、フレーム画像３８ｂ_１、フレーム画像３８ｂ_２、及びフレーム画像３８ｂ_３となる。

　フレーム画像３８ｂ_１、フレーム画像３８ｂ_２、及びフレーム画像３８ｂ_３は、いずれも注目領域７０を有している。注目領域７０の一例として病変が挙げられる。病変の例として、腫瘍、ポリープなどが挙げられる。注目領域７０の他の例として、炎症領域、出血領域、処置痕、及び処置具などが挙げられる。処置具の例として、内視鏡１０に具備される鉗子等、及び血管等のクリッピングに使用されるクリップ等が挙げられる。

　スコアマップ３９ａ_１はフレーム画像３８ｂ_１から生成される。スコアマップ３９ａ_２はフレーム画像３８ｂ_２から生成される。スコアマップ３９ａ_３はフレーム画像３８ｂ_３から生成される。以下、スコアマップ３９ａ_１、スコアマップ３９ａ_２、及びスコアマップ３９ａ_３を総称してスコアマップ３９ａと呼ぶことがある。

　図５に示したスコアマップ３９ａ_１の白はスコア１を表している。スコアマップ３９ａ_１の黒はスコア０を表している。スコアマップ３９ａ_１の生成は、コンボリューションニューラルネットワークを用いた公知の手法を適用し得る。

　フレーム画像３８ｂとスコアマップ３９ａとの対応関係を学習したＣＮＮを用いて、フレーム画像３８ｂ_１からスコアマップ３９ａを生成し得る。ＣＮＮは、１画素ごとに注目領域らしさを表すスコアを出力することが可能である。ＣＮＮは、複数の画素を含む領域ごとにスコアを出力することも可能である。

　スコアマップ３９ａ_１は、フレーム画像３８ｂ_１の注目領域７０として正しく認識された第１スコア領域７２を有している。また、スコアマップ３９ａ_１は、フレーム画像３８ｂ_１の注目領域７０として誤認識された第２スコア領域７４を有している。スコアマップ３９ａ_２、及びスコアマップ３９ａ_３も同様である。

　本実施形態では、スコア０、及びスコア１を用いた二値化画像をスコアマップ３９ａとする例を示したが、スコアマップ３９ａは３以上の多値の量子化画像を適用してもよい。多値の量子化画像の例として、黒の濃淡を用いて多値を表現したグレースケール画像が挙げられる。

　スコアマップ３９ａは、１画素ごとにスコアが付与されてもよいし、２以上の画素を含む領域を単位としてスコアが付与されてもよい。

　〔演算スコアマップ生成の具体例〕
　図６は演算スコアマップの模式図である。図６には図５に示した３つのスコアマップ３９ａである、スコアマップ３９ａ_１、スコアマップ３９ａ_２、及びスコアマップ３９ａ_３を演算して、演算スコアマップ３９ｂが生成される例を示す。

　スコアマップ３９ａ_３は注目時刻のスコアマップ３９ａである。スコアマップ３９ａ_１、及びスコアマップ３９ａ_２は注目時刻よりも過去のスコアマップ３９ａである。注目時刻の例として現在の時刻が挙げられる。

　すなわち、本実施形態に示す演算スコアマップ３９ｂは、注目時刻のスコアマップ３９ａ_３と、注目時刻よりも過去のスコアマップ３９ａ_１、及びスコアマップ３９ａ_２を用いて演算スコアマップ３９ｂが生成される。注目時刻よりも過去のスコアマップ３９ａは１つ以上であればよい。

　演算スコアマップ３９ｂは、加重平均演算、及び加重平均値の二値化処理を適用して生成される。スコアマップ３９ａの加重平均演算を用いて、各スコアマップ３９ａにおける同一位置のスコアの加重平均値が算出される。位置ごとの加重平均値に対して規定の閾値を用いて二値化処理が施される。このようにして、図６に示した演算スコアマップ３９ｂが生成される。なお、演算スコアマップ３９ｂの生成は、多値の量子化処理を適用してもよい。

　二値化処理では、位置ごとの加重平均値が規定の閾値を超える場合が１とされ、位置ごとの加重平均値が規定の閾値以下の場合が０とされる。例えば、閾値として０．５が用いられる。閾値が０．５の場合、演算スコアマップ３９ｂの生成に用いられる複数のスコアマップ３９ａのいずれかにおいてスコアが０の位置は、演算スコアマップ３９ｂにおいてスコアが０とされる。スコアが０以上１以下の数値の場合、閾値は０．１以上０．５以下の数値を適用し得る。閾値は０．２以上０．５以下の数値がより好ましい。

　スコアマップ３９ａを平均化すると誤認識された領域のスコアは減少する。一方、正しく認識された領域はスコアが高いまま維持される。このようにして、スコアマップ３９ａにおいて注目領域７０として誤認識された第２スコア領域７４は、演算スコアマップ３９ｂから除去される。また、スコアマップ３９ａにおいて注目領域７０として認識された第１スコア領域７２のうち、境界近傍の誤認識されている可能性がある領域もまた、演算スコアマップ３９ｂから除去される。

　図６に示した演算スコアマップ３９ｂは、スコアマップ３９ａ_１、スコアマップ３９ａ_２、及びスコアマップ３９ａ_３における第１スコア領域７２に対応する第３スコア領域８０を有している。一方、演算スコアマップ３９ｂは、スコアマップ３９ａ_１、スコアマップ３９ａ_２、及びスコアマップ３９ａ_３における第２スコア領域７４に対応する領域を有していない。

　本実施形態では、スコアマップ３９ａの規定数として３を例示したが、スコアマップ３９ａの規定数は２以上の整数であればよい。スコアマップ３９ａの規定数が相対的に大きい場合は注目領域７０の認識の精度が向上する。規定数が相対的に小さい場合は演算効率が向上する。スコアマップ３９ａの規定数は、注目領域７０の認識の精度、及び演算効率のバランスを考慮して規定することが可能である。

　演算スコアマップ３９ｂの生成に適用される演算は、規定数のスコアマップ３９ａを用いた算術平均演算等の他の平均演算、及び平均演算以外の演算を適用することが可能である。

　〔注目領域の報知の具体例〕
　内視鏡画像３８において注目領域７０を報知する際に、バウンディングボックス等を用いて認識した注目領域７０を囲むなど、注目領域７０に報知画像を重畳表示させる場合、注目領域７０とそれ以外の領域との比較が困難になり、診断等に支障をきたすことが懸念される。

　本実施形態に示す注目領域７０の報知は、内視鏡画像３８における注目領域７０の視認性を低下させずに、注目領域７０に対して報知画像を重畳表示させる。

　図７は動画像観察中の注目領域の報知例を示す内視鏡画像の模式図である。図７に示した内視鏡画像３８は動画像３８ａを構成する任意のフレーム画像３８ｂである。図７に示した内視鏡画像３８は、注目領域７０を表す報知画像としてバウンディングボックス８２が重畳表示されている。

　バウンディングボックス８２は、演算スコアマップ３９ｂの第３スコア領域８０に基づいて生成される。図７に示したバウンディングボックス８２は、演算スコアマップ３９ｂの第３スコア領域８０に外接する四角形が適用されている。

　動画像３８ａの観察中にバウンディングボックス８２が注目領域７０と重なる場合、注目領域７０が視認しにくくなる。本実施形態に示したバウンディングボックス８２は、注目領域７０とずらした位置に表示される。

　すなわち、演算スコアマップ３９ｂを算出する加重平均演算は、注目時刻のスコアマップ３９ａである、図６に示したスコアマップ３９ａ_３の影響が、他のスコアマップ３９ａの影響よりも小さくなる重みが適用される。注目時刻のスコアマップ３９ａの影響が最も小さくなる重みを用いた加重平均演算がより好ましい。

　これにより、注目時刻よりも数フレーム前のフレーム画像３８ｂにおける注目領域７０の位置にバウンディングボックス８２が表示され、注目領域７０から少し遅れながらバウンディングボックス８２が注目領域７０に追従する。

　図８は静止画像観察中の注目領域の報知例を示す内視鏡画像の模式図である。静止画像３８ｃにおけるバウンディングボックス８２は、注目領域７０を囲む位置に表示される。すなわち、動画像３８ａの観察中は、注目領域７０とずらされた位置にバウンディングボックス８２が表示され、動画像３８ａを停止させた静止画像３８ｃの観察中は、注目領域７０と一致する位置にバウンディングボックス８２が表示される。

　ここでいうバウンディングボックス８２の位置はバウンディングボックス８２の重心の位置を適用し得る。同様に、注目領域７０の位置は注目領域７０の重心の位置を適用し得る。

　〔加重平均演算の具体例〕
　注目時刻のスコアマップ３９ａをＸ（ｔ_０）とする。注目時刻ｔ_０よりも過去の７つのスコアマップ３９ａをＸ（ｔ_１）、Ｘ（ｔ_２）、Ｘ（ｔ_３）、Ｘ（ｔ_４）、Ｘ（ｔ_５）、Ｘ（ｔ_６）、及びＸ（ｔ_７）とする。注目時刻ｔ_０のスコアマップＸ（ｔ_０）に適用される重みをＷｔ_０とする。注目時刻ｔ_０よりも過去のスコアマップＸ（ｔ_ｊ）に適用される重みをＷｔ_ｊとする。但し、ｊは１から注目時刻ｔ_０よりも過去のスコアマップ３９ａの総数までの整数である。過去のスコアマップ３９ａの総数が７の場合の注目時刻ｔ_０における演算スコアマップＹ（ｔ_０）は、以下の式１を用いて表される。

　スコアマップ３９ａの総数がｎの場合の演算スコアマップＹ（ｔ_０）は、以下の式２を用いて表される。但し、ｉは０からｎまでの整数である。スコアマップ３９ａの総数ｎは１以上の整数である。スコアマップ３９ａの総数ｎは、注目時刻ｔ_０のスコアマップ３９ａの数、及び注目時刻ｔ_０よりも過去のスコアマップ３９ａの数の総数である。

　ここで、上記の式１、及び式２におけるＸ（ｔ_ｉ）は、各スコアマップ３９ａを構成する各画素の位置、及び各画素のスコアの組の集合体を意味する。上記の式１、及び式２におけるＹ（ｔ_０）は、演算スコアマップ３９ｂを構成する各画素の位置、及び各画素の演算結果の組の集合体を意味する。

　ｎ＝８の場合の重みの例として、以下の式３、及び式４に示す重みが挙げられる。

　上記の式３、及び式４に示した重みを用いた場合、注目時刻ｔ_０の４フレーム前のスコアマップ３９ａの重みが最大となっている。これにより、注目時刻ｔ_０から、おおよそ４フレーム分遅れて動画像３８ａにバウンディングボックス８２が追従する。

　上記の式３、及び式４に示した重みは、注目時刻ｔ_０から過去に向かって単純増加している。また、上記の式３、及び式４に示した重みは、注目時刻ｔ_０から過去の時刻における中央の時刻を最大として、中央の時刻から過去の時刻に向かって単純減少している。

　重みは上記の式３、及び式４に示す例に限定されない。重みが最大となる時刻に応じて、内視鏡画像３８の注目領域７０とバウンディングボックス８２等の報知画像とのずれを規定し得る。

　過去のスコアマップ３９ａの総数が２の場合の注目時刻ｔ_０における演算スコアマップＹ（ｔ_０）は、以下の式５を用いて表される。また、ｎ＝３の場合の重みの例として、以下の式６、及び式７に示す重みが挙げられる。

　上記の式６に示す重みの例は、注目時刻ｔ_０から過去の時刻ｔ_１に向かって単純増加し、かつ過去の時刻ｔ_１から過去の時刻ｔ_２に向かって単純減少する例である。上記の式７に示す重みの例は、注目時刻ｔ_０から過去の時刻に向かって単純増加する例である。

　上記の式３、式４、式６、及び式７には、注目時刻ｔ_０のスコアマップ３９ａに適用される重みが、加重平均演算に用いられる重みの最小値となる加重平均演算を例示したが、注目時刻ｔ_０のスコアマップ３９ａに適用される重みは、上記の式３、式４、式６、及び式７に示した例に限定されない。スコアマップ演算部５３は、注目時刻ｔ_０のスコアマップ３９ａに適用される重みを、注目時刻ｔ_０のスコアマップ３９ａ以外のスコアマップ３９ａの重みの算術平均未満とすることで、演算スコアマップ３９ｂにおける注目時刻ｔ_０のスコアマップ３９ａの影響を、注目時刻ｔ_０よりも過去の時刻のスコアマップ３９ａよりも小さくし得る。注目時刻ｔ_０よりも過去のスコアマップ３９ａは、注目時刻のスコアマップ以外のスコアマップに相当する。

　加重平均演算に用いられるスコアマップ３９ａの規定数は固定値とされる。すなわち、注目時刻のスコアマップ３９ａが更新された場合、更新後の注目時刻ｔ_０のスコアマップ３９ａから規定数の過去のスコアマップ３９ａが適用される。これにより、演算スコアマップ３９ｂにおける注目時刻ｔ_０のスコアマップ３９ａの影響の程度が維持される。

　［画像処理方法の手順］
　図９は画像処理方法の流れを示すフローチャートである。内視鏡画像３８の観察が開始される。内視鏡画像取得工程Ｓ１０では、図３に示した内視鏡画像取得部４１は、図１に示したプロセッサ装置１２を介して内視鏡画像３８を取得する。

　内視鏡画像取得工程Ｓ１０の後にスコアマップ生成工程Ｓ１２へ進む。スコアマップ生成工程Ｓ１２では、図４に示したスコアマップ生成部５１は、内視鏡画像３８の各フレーム画像３８ｂからスコアマップ３９ａを生成する。スコアマップ生成工程Ｓ１２の後にスコアマップ保存工程Ｓ１４へ進む。

　スコアマップ保存工程Ｓ１４では、スコアマップ生成部５１はスコアマップ生成工程Ｓ１２において生成されたスコアマップ３９ａをスコアマップ保存部５２へ保存する。なお、内視鏡画像取得工程Ｓ１０、スコアマップ生成工程Ｓ１２、及びスコアマップ保存工程Ｓ１４は並行して実行されてもよい。スコアマップ保存工程Ｓ１４の後にスコアマップ数判定工程Ｓ１６へ進む。

　スコアマップ数判定工程Ｓ１６では、スコアマップ演算部５３は、スコアマップ保存工程Ｓ１４において保存されたスコアマップ数が規定数以上であるか否かを判定する。スコアマップ数判定工程Ｓ１６において、スコアマップ保存工程Ｓ１４において保存されたスコアマップ数が規定数未満であると判定された場合はＮｏ判定となる。Ｎｏ判定の場合は、スコアマップ数判定工程Ｓ１６においてＹｅｓ判定となるまで、内視鏡画像取得工程Ｓ１０からスコアマップ数判定工程Ｓ１６の各工程を繰り返し実行する。

　スコアマップ数判定工程Ｓ１６において保存されたスコアマップ数が規定数以上であると判定された場合はＹｅｓ判定となる。Ｙｅｓ判定の場合はスコアマップ演算工程Ｓ１８へ進む。

　スコアマップ演算工程Ｓ１８では、スコアマップ演算部５３は、注目時刻のスコアマップ３９ａ、及び注目時刻よりも過去の時刻における少なくとも１つのスコアマップ３９ａを含む、規定数のスコアマップ３９ａを用いて演算スコアマップ３９ｂを生成する。スコアマップ演算工程Ｓ１８の後に報知画像表示工程Ｓ２０へ進む。

　報知画像表示工程Ｓ２０では、スコアマップ演算部５３は、モニタ装置１６に表示される内視鏡画像３８に対して、図７に示したバウンディングボックス８２等の報知画像を重畳表示させる。報知画像表示工程Ｓ２０の後に観察終了判定工程Ｓ２２へ進む。

　観察終了判定工程Ｓ２２では、画像解析処理部４３は、内視鏡画像３８の観察を終了するか否かを判定する。例えば、規定期間、内視鏡画像３８を取得しない場合に、内視鏡画像３８の観察を終了すると判定し得る。観察終了判定工程Ｓ２２において、内視鏡画像３８の観察を終了しないと判定した場合はＮｏ判定となる。Ｎｏ判定の場合、画像処理装置１４は観察終了判定工程Ｓ２２においてＹｅｓ判定となるまで、内視鏡画像取得工程Ｓ１０から観察終了判定工程Ｓ２２までの各工程を繰り返し実行する。

　一方、観察終了判定工程Ｓ２２において、内視鏡画像３８の観察を終了すると判定した場合はＹｅｓ判定となる。Ｙｅｓ判定の場合、内視鏡システム９は内視鏡画像３８の観察を終了する。

　［画像処理装置、及び方法の作用効果］
　上記の如く構成された画像処理装置、及び方法によれば、以下の作用効果を得ることが可能である。

　〔１〕
　内視鏡画像３８の各フレーム画像３８ｂについて、注目領域７０らしさを表すスコアの分布であるスコアマップ３９ａを生成し、スコアマップ３９ａを保存する。注目時刻のスコアマップ３９ａを含む規定数のスコアマップ３９ａが保存された場合に、規定数のスコアマップ３９ａに対して加重平均演算を施して、１つの演算スコアマップ３９ｂを生成する。これにより、誤検出の原因となり得るスコアの影響が抑制された演算スコアマップ３９ｂに基づいて、誤認識が抑制された注目領域７０の認識が可能となる。

　〔２〕
　スコアマップ３９ａの生成はコンボリューションニューラルネットワークが適用される。これにより、コンボリューションニューラルネットワークを用いて生成されたスコアマップ３９ａに基づく注目領域７０の認識が可能となる。

　〔３〕
　規定数のスコアマップ３９ａに対して加重平均演算を施して演算スコアマップ３９ｂが生成される。これにより、注目領域７０として誤認識された第２スコア領域７４が演算スコアマップ３９ｂから除去される。

　〔４〕
　加重平均演算は、注目時刻よりも過去のスコアマップ３９ａの影響よりも注目時刻のスコアマップ３９ａの影響が小さくなる重みが適用される。これにより、演算スコアマップ３９ｂに基づいて生成されたバウンディングボックス８２等の報知画像を内視鏡画像３８に重畳表示させる際に、報知画像の位置を注目領域７０の位置とずらすことが可能となる。

　〔５〕
　加重平均演算は、注目時刻のスコアマップ３９ａに最小の重みを適用する。これにより、演算スコアマップ３９ｂへの注目時刻のスコアマップ３９ａの影響を最小とすることが可能となる。

　〔６〕
　規定数のスコアマップ３９ａを用いて演算スコアマップ３９ｂが生成される。これにより、演算スコアマップ３９ｂへの注目時刻のスコアマップ３９ａの影響の程度を維持し得る。

　〔７〕
　演算スコアマップ３９ｂの第３スコア領域８０に基づくバウンディングボックス８２を内視鏡画像３８に重畳表示させる。これにより、内視鏡画像３８における注目領域７０の報知が可能となる。

　［内視鏡画像の変形例］
　〔第１例〕
　内視鏡画像３８は、白色帯域の光、又は白色帯域の光として波長帯域が異なる複数の光を照射して取得した通常光画像を適用し得る。

　〔第２例〕
　内視鏡画像３８は、特定の波長帯域の光を照射して取得した特殊光画像を適用し得る。特定の波長帯域は、白色光の波長帯域よりも狭い波長帯域を適用し得る。

　［特定の波長帯域の変形例］
　〔第１例〕
　特定の波長帯域の第１例は、可視域の青色帯域又は緑色帯域である。第１例の波長帯域は、３９０ナノメートル以上４５０ナノメートル以下、又は５３０ナノメートル以上５５０ナノメートル以下の波長帯域を含み、且つ第１例の光は、３９０ナノメートル以上４５０ナノメートル以下、又は５３０ナノメートル以上５５０ナノメートル以下の波長帯域内にピーク波長を有する。

　〔第２例〕
　特定の波長帯域の第２例は、可視域の赤色帯域である。第２例の波長帯域は、５８５ナノメートル以上６１５ナノメートル以下、又は６１０ナノメートル以上７３０ナノメートル以下の波長帯域を含み、且つ第２例の光は、５８５ナノメートル以上６１５ナノメートル以下、又は６１０ナノメートル以上７３０ナノメートル以下の波長帯域内にピーク波長を有する。

　〔第３例〕
　特定の波長帯域の第３例は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、且つ第３例の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する。この第３例の波長帯域は、４００±１０ナノメートル、４４０±１０ナノメートル、４７０±１０ナノメートル、又は６００ナノメートル以上７５０ナノメートル以下の波長帯域を含み、且つ第３例の光は、４００±１０ナノメートル、４４０±１０ナノメートル、４７０±１０ナノメートル、又は６００ナノメートル以上７５０ナノメートル以下の波長帯域にピーク波長を有する。

　〔第４例〕
　特定の波長帯域の第４例は、生体内の蛍光物質が発する蛍光の観察に用いられ、且つこの蛍光物質を励起させる励起光の波長帯域である。例えば、３９０ナノメートル以上４７０ナノメートル以下の波長帯域である。なお、蛍光の観察は蛍光観察と呼ばれる場合がある。

　〔第５例〕
　特定の波長帯域の第５例は、赤外光の波長帯域である。この第５例の波長帯域は、７９０ナノメートル以上８２０ナノメートル以下、又は９０５ナノメートル以上９７０ナノメートル以下の波長帯域を含み、且つ第５例の光は、７９０ナノメートル以上８２０ナノメートル以下、又は９０５ナノメートル以上９７０ナノメートル以下の波長帯域にピーク波長を有する。

　［特殊光画像の生成例］
　プロセッサ装置１２は、白色光、又は白色光として異なる波長帯域を有する複数の光を用いて撮像して得られた通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を生成してもよい。なお、ここでいう生成は取得が含まれる。この場合、プロセッサ装置１２は、特殊光画像取得部として機能する。そして、プロセッサ装置１２は、特定の波長帯域の信号を、通常光画像に含まれる赤、緑、及び青、或いはシアン、マゼンタ、及びイエローの色情報に基づく演算を行うことで得る。

　なお、赤、緑、及び青は、ＲＧＢ（Red,Green,Blue）と表されることがある。また、シアン、マゼンタ、及びイエローは、ＣＭＹ（Cyan,Magenta,Yellow）と表されることがある。

　［特徴量画像の生成例］
　プロセッサ装置１２は、通常光画像、及び特殊光画像の少なくともいずれか一方に基づいて、公知の酸素飽和度画像等の特徴量画像を生成してもよい。

　［診断支援装置、医療行業務支援装置への適用例］
　本実施形態に示した画像処理装置１４を備えた診断支援装置、及び医療行業務支援装置を構成し得る。

　［プロセッサ装置への適用例］
　本実施形態に示した画像処理装置１４を備えるプロセッサ装置１２を構成し得る。すなわち、内視鏡１０の動作を制御する内視鏡制御部、内視鏡１０を用いた撮像を制御する撮像制御部、光源装置１１を制御する光源制御部、及び画像処理装置１４を備えたプロセッサ装置１２を構成し得る。画像処理装置１４は画像処理部の一例に相当する。

　［コンピュータを画像処理装置として機能させるプログラムへの適用例］
　上述した画像処理方法は、コンピュータを用いて、画像処理方法における各工程に対応する機能を実現させるプログラムとして構成可能である。例えば、画像取得機能、スコアマップ生成機能、スコアマップ保存機能、及びスコアマップ演算機能を実現させるプログラムを構成し得る。

　上述した画像処理機能をコンピュータに実現させるプログラムを、有体物である非一時的な情報記憶媒体である、コンピュータが読取可能な情報記憶媒体に記憶し、情報記憶媒体を通じてプログラムを提供することが可能である。

　また、非一時的な情報記憶媒体にプログラムを記憶して提供する態様に代えて、ネットワークを介してプログラム信号を提供する態様も可能である。

　［実施形態及び変形例等の組み合わせについて］
　上述した実施形態で説明した構成要素、及び変形例で説明した構成要素は、適宜組み合わせて用いることができ、また、一部の構成要素を置き換えることもできる。

　以上説明した本発明の実施形態は、本発明の趣旨を逸脱しない範囲で、適宜構成要件を変更、追加、削除することが可能である。本発明は以上説明した実施形態に限定されるものではなく、本発明の技術的思想内で当該分野の通常の知識を有する者により、多くの変形が可能である。

１　制御部
２　メモリ
３　ハードディスク装置
４　通信インターフェース
５　入力コントローラ
６　ディスプレイコントローラ
９　内視鏡システム
１０　内視鏡
１１　光源装置
１２　プロセッサ装置
１３　表示装置
１４　画像処理装置
１５　入力装置
１６　モニタ装置
１７　ネットワーク
１８　記憶装置
２０　挿入部
２１　操作部
２２　ユニバーサルコード
２５　軟性部
２６　湾曲部
２７　先端部
２７ａ　先端面
２８　撮像素子
２９　湾曲操作ノブ
３０　送気送水ボタン
３１　吸引ボタン
３２　静止画像撮像指示部
３３　処置具導入口
３５　ライトガイド
３６　信号ケーブル
３７ａ、３７ｂ　コネクタ
３８　内視鏡画像
３８ａ　動画像
３８ｂ、３８ｂ_１、３８ｂ_２、３８ｂ_３　フレーム画像
３８ｃ　静止画像
３９ａ、３９ａ_１、３９ａ_２、３９ａ_３　スコアマップ
３９ｂ　演算スコアマップ
４０　全体制御部
４１　内視鏡画像取得部
４３　画像解析処理部
４４　表示制御部
４５　深層学習アルゴリズム
４６　入力制御部
４７　記憶部
４８　画像記憶部
４９　プログラム記憶部
５１　スコアマップ生成部
５２　スコアマップ保存部
５３　スコアマップ演算部
６８　通信信号線
７０　注目領域
７２　第１スコア領域
７４　第２スコア領域
８０　第３スコア領域
８２　バウンディングボックス
Ｓ１０からＳ２２　画像処理方法の各工程

Claims (14)

1. 　時系列の複数の医用画像を取得する画像取得部と、
   　前記画像取得部を用いて取得した２つ以上の前記医用画像について、注目領域らしさのスコアの分布を表すスコアマップを生成するスコアマップ生成部と、
   　前記スコアマップを保存するスコアマップ保存部と、
   　前記スコアマップ保存部に保存したスコアマップについて、注目時刻のスコアマップと、注目時刻よりも過去の少なくとも１つのスコアマップとから１つの演算スコアマップを生成するスコアマップ演算部と、
   　を備えた画像処理装置。
2. 　前記スコアマップ生成部は、コンボリューションニューラルネットワークを用いて前記スコアマップを生成する請求項１に記載の画像処理装置。
3. 　前記スコアマップ演算部は、演算対象の前記スコアマップに対して加重平均演算を施して、前記演算スコアマップを生成する請求項１又は２に記載の画像処理装置。
4. 　前記医用画像を表示する表示装置へ、前記演算スコアマップに基づいて前記注目領域を表す報知画像を表示させる表示制御部を備えた請求項３に記載の画像処理装置。
5. 　前記表示制御部は、前記報知画像を前記医用画像に重畳表示させ、かつ前記報知画像を前記医用画像の前記注目領域の位置とずらして表示させる請求項４に記載の画像処理装置。
6. 　前記スコアマップ演算部は、前記演算スコアマップへの前記注目時刻のスコアマップの影響を相対的に小さくする重みを用いた前記加重平均演算を施して前記演算スコアマップを生成し、
   　前記表示制御部は、前記演算スコアマップに基づいて生成された前記報知画像を前記医用画像に重畳表示させる請求項４に記載の画像処理装置。
7. 　前記スコアマップ演算部は、前記注目時刻のスコアマップの前記重みを、前記注目時刻よりも過去のスコアマップの重みの算術平均未満として、前記加重平均演算を施して前記演算スコアマップを生成する請求項６に記載の画像処理装置。
8. 　前記スコアマップ演算部は、前記加重平均演算に用いる前記重みの最小値を、前記注目時刻のスコアマップへ適用する前記加重平均演算を施して前記演算スコアマップを生成する請求項６に記載の画像処理装置。
9. 　前記スコアマップ演算部は、前記注目時刻のスコアマップを含む時系列の２以上の規定された数の前記スコアマップが前記スコアマップ保存部に保存された場合に、前記注目時刻のスコアマップを含む、前記時系列の２以上の規定された数のスコアマップについて、前記演算スコアマップを生成する請求項１から８のいずれか一項に記載の画像処理装置。
10. 　前記画像取得部は、内視鏡を用いて取得した観察画像を取得する請求項１から９のいずれか一項に記載の画像処理装置。
11. 　内視鏡の動作を制御する内視鏡制御部と、
    　前記内視鏡を用いた撮像を制御する撮像制御部と、
    　前記内視鏡を用いて撮像して得られた内視鏡画像を処理する画像処理部と、
    　を備え、
    　前記画像処理部は、
    　時系列の複数の医用画像として前記内視鏡画像を取得する画像取得部と、
    　前記画像取得部を用いて取得した２つ以上の前記医用画像について、注目領域らしさのスコアの分布を表すスコアマップを生成するスコアマップ生成部と、
    　前記スコアマップを保存するスコアマップ保存部と、
    　前記スコアマップ保存部に保存したスコアマップについて、注目時刻のスコアマップと、注目時刻よりも過去の少なくとも１つのスコアマップとから１つの演算スコアマップを生成するスコアマップ演算部と、
    　を備えたプロセッサ装置。
12. 　時系列の複数の医用画像を取得する画像取得工程と、
    　前記画像取得工程において取得した２つ以上の前記医用画像について、注目領域らしさのスコアの分布を表すスコアマップを生成するスコアマップ生成工程と、
    　前記スコアマップを保存するスコアマップ保存工程と、
    　前記スコアマップ保存工程において保存したスコアマップについて、注目時刻のスコアマップと、注目時刻よりも過去の少なくとも１つのスコアマップとから１つの演算スコアマップを生成するスコアマップ演算工程と、
    　を含む画像処理方法。
13. 　コンピュータに、
    　時系列の複数の医用画像を取得する画像取得機能、
    　前記画像取得機能を用いて取得した２つ以上の前記医用画像について、注目領域らしさのスコアの分布を表すスコアマップを生成するスコアマップ生成機能、
    　前記スコアマップを保存するスコアマップ保存機能、及び
    　前記スコアマップ保存機能を用いて保存したスコアマップについて、注目時刻のスコアマップと、注目時刻よりも過去の少なくとも１つのスコアマップとから１つの演算スコアマップを生成するスコアマップ演算機能を実現させるプログラム。
14. 　非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に、
    　時系列の複数の医用画像を取得する画像取得機能、
    　前記画像取得機能を用いて取得した２つ以上の前記医用画像について、注目領域らしさのスコアの分布を表すスコアマップを生成するスコアマップ生成機能、
    　前記スコアマップを保存するスコアマップ保存機能、及び
    　前記スコアマップ保存機能を用いて保存したスコアマップについて、注目時刻のスコアマップと、注目時刻よりも過去の少なくとも１つのスコアマップとから１つの演算スコアマップを生成するスコアマップ演算機能をコンピュータに実現させる記録媒体。

Images