WO2022190366A1

WO2022190366A1 - 内視鏡用形状計測システムおよび内視鏡用形状計測方法

Info

Publication number: WO2022190366A1
Application number: PCT/JP2021/010118
Authority: WO
Inventors: 達哉中村; 大智渡邊; 和成花野; 圭悟松尾; 琢坂本; 一郎小田
Original assignee: オリンパス株式会社; 国立研究開発法人国立がん研究センター
Priority date: 2021-03-12
Filing date: 2021-03-12
Publication date: 2022-09-15
Also published as: CN116940274A; JP7462255B2; JPWO2022190366A1; US20230419517A1

Abstract

表示処理部４６は、体腔内の生体組織を内視鏡が撮影した内視鏡画像を表示装置に表示する。操作受付部３０は、内視鏡画像に注目領域を設定するためのユーザ操作を受け付ける。注目領域設定部３４は、ユーザ操作にもとづいて、内視鏡画像に注目領域を設定する。３次元情報取得部３８は、内視鏡が撮影した生体組織の３次元形状情報を取得する。仮想面導出部４８は、注目領域とは異なる領域の３次元形状情報から、注目領域における仮想面の３次元形状情報を導出する。サイズ情報特定部５０は、仮想面の３次元形状情報から、仮想面のサイズに関する情報を特定する。

Description

内視鏡用形状計測システムおよび内視鏡用形状計測方法

　本開示は、内視鏡用形状計測システムおよび内視鏡用形状計測方法に関する。

　内視鏡的粘膜下層剥離術（ＥＳＤ：Endoscopic Submucosal Dissection）は、専用の処置具を使用して病変を一括切除する治療法であり、従来の外科治療に代わって、侵襲の少ない治療法として注目されている。ＥＳＤの対象となる腫瘍は、リンパ節転移リスクのない病変であり、転移率と腫瘍サイズには相関があるため、腫瘍サイズが正確に測定されることが重要である。

　特許文献１は、レーザ光による計測用パターンの投影像を観察部位に投影し、観察部位に投影された計測用パターンの撮像結果に基づいて、観察部位の３次元形状を算出する３次元形状計測装置を開示する。また特許文献２は、凹み、亀裂、孔食などの異常に近接する物体の表面上の複数点の３次元座標を決定して基準面を決定する技術を開示する。

特開２０１７－２３５６２号公報特開２０１７－１６２４５２号公報

　ＥＳＤの実施を検討する際の判断基準としてだけでなく、内視鏡観察による診断において、腫瘍等の病変のサイズを正確に測定することは重要である。しかしながら消化管の内壁面は湾曲した形状を呈しており、従来、そのような内壁面に存在する病変のサイズを正確に測定する手法は確立されていない。本開示はこうした状況に鑑みてなされたものであり、その目的は、内視鏡が撮影した画像に含まれる病変のサイズに関する情報を正確に特定する技術を提供することにある。

　上記課題を解決するために、本開示のある態様の内視鏡用形状計測システムは、プロセッサを備え、プロセッサは、体腔内の生体組織を内視鏡が撮影した内視鏡画像を表示装置に表示し、内視鏡画像に注目領域を設定するためのユーザ操作を受け付け、ユーザ操作にもとづいて内視鏡画像に注目領域を設定し、内視鏡が撮影した生体組織の３次元形状情報を取得し、注目領域とは異なる領域の３次元形状情報から、注目領域における仮想面の３次元形状情報を導出し、導出した仮想面の３次元形状情報から、仮想面のサイズに関する情報を特定する。内視鏡用形状計測システムは、複数のプロセッサを有し、複数のプロセッサが協働して、上記処理を実施してよい。

　本開示の別の態様の内視鏡用形状計測方法は、体腔内の生体組織を内視鏡が撮影した内視鏡画像を表示装置に表示し、内視鏡画像に注目領域を設定するためのユーザ操作を受け付け、ユーザ操作にもとづいて内視鏡画像に注目領域を設定し、内視鏡が撮影した生体組織の３次元形状情報を取得し、注目領域とは異なる領域の３次元形状情報から、注目領域における仮想面の３次元形状情報を導出し、導出した仮想面の３次元形状情報から、仮想面のサイズに関する情報を特定する。

　なお、以上の構成要素の任意の組み合わせ、本開示の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本開示の態様として有効である。

（ａ）は、内視鏡が撮影した画像の一例を示す図であり、（ｂ）は、内視鏡画像撮影時の状況を模式的に示す図である。内視鏡用形状計測システムの構成を示す図である。内視鏡用形状計測システムにおける機能ブロックを示す図である。内視鏡画像の例を示す図である。病変形状の計測処理のフローチャートを示す図である。設定された注目領域を示す図である。設定された参照領域を示す図である。参照領域をｘｙ平面に配置した状態を示す図である。（ａ）および（ｂ）は、参照領域の三次元形状の例を示す図である。仮想面の３次元形状を導出する手法を説明するための図である。（ａ）および（ｂ）は、導出される仮想面の３次元形状を示す図である。（ａ）～（ｃ）は、仮想面のサイズを算出する手法を説明するための図である。注目領域の確認画面の例を示す図である。参照領域に不連続体が含まれている例を示す図である。設定された除外領域を示す図である。

　図１（ａ）は、体腔内の生体組織を内視鏡が撮影した画像の一例を示す。この内視鏡画像において、病変２が中央領域に含まれ、その周囲に、消化管の内壁面である生体面３が含まれている。図１（ｂ）は、内視鏡画像撮影時の状況を模式的に示す。この例で病変２は、湾曲した生体面３から隆起した腫瘍であるが、病変２の中には生体面３から陥没するものも存在する。

　生体面３が湾曲形状を有するため、病変２における点Ａと点Ｂの間の長さＬは、点Ａと点Ｂを直線で結んだ線分の長さではなく、湾曲した生体面３に沿った長さとなる。内視鏡画像には、病変２によって隠されている生体面３は含まれないため、実施例では、病変２により隠された生体面３（以下、「仮想面」と呼ぶ）の３次元形状を推定して、病変２のサイズを計測する。

　図２は、実施例にかかる内視鏡用形状計測システム１の構成を示す。内視鏡用形状計測システム１は、内視鏡検査を行う病院などの医療施設に設けられる。内視鏡用形状計測システム１において、内視鏡観察装置５、情報処理装置１０ａ、情報処理装置１０ｂおよび画像解析装置８が、ＬＡＮ（ローカルエリアネットワーク）などのネットワーク４を介して、通信可能に接続されている。

　内視鏡観察装置５は検査室に設けられ、患者の消化管に挿入される内視鏡７を接続される。内視鏡７は、内視鏡観察装置５から供給される照明光を伝送して、消化管内を照明するためのライトガイドを有し、先端部には、ライトガイドにより伝送される照明光を生体組織へ出射するための照明窓と、生体組織を所定の周期で撮像して撮像信号を内視鏡観察装置５に出力する撮像部が設けられる。内視鏡観察装置５は、観察モードに応じた照明光を内視鏡７に供給する。撮像部は、入射光を電気信号に変換する固体撮像素子（たとえばＣＣＤイメージセンサまたはＣＭＯＳイメージセンサ）を含む。

　内視鏡観察装置５は、内視鏡７の固体撮像素子により光電変換された撮像信号に対して画像処理を施して内視鏡画像を生成し、表示装置６にリアルタイムに表示する。内視鏡観察装置５は、Ａ／Ｄ変換、ノイズ除去などの通常の画像処理に加えて、強調表示等を目的とする特別な画像処理を実施する機能を備えてよい。内視鏡観察装置５が、特別な画像処理機能を搭載することで、内視鏡観察装置５は、同じ照明光を用いて撮像した撮像信号から、特別な画像処理を施していない内視鏡画像と、特別な画像処理を施した内視鏡画像とを生成できる。

　実施例において内視鏡画像は、通常光（白色光）を用いて撮像した撮像信号から生成したＷＬＩ（White Light Imaging）観察画像、通常光を用いて撮像した撮像信号に特別な画像処理を施して生成したＴＸＩ（Texture and Color Enhancement Imaging）観察画像、特殊光を用いて撮像した撮像信号から生成したＲＤＩ観察画像、ＮＢＩ（Narrow Band Imaging）観察画像、ＡＦＩ（Autofluorescence imaging）観察画像であってよい。また内視鏡画像は、被写体の凹凸を擬似カラー化した画像、その他、内視鏡７の撮像信号を画像処理して生成した画像であってよい。

　医師は、検査手順にしたがって、表示装置６に表示されている内視鏡画像を観察する。医師が内視鏡７のレリーズスイッチを操作すると、内視鏡観察装置５は、レリーズスイッチが操作されたタイミングで内視鏡画像をキャプチャ（保存）して、キャプチャした内視鏡画像を画像蓄積サーバ９に送信する。画像蓄積サーバ９に蓄積される内視鏡画像は、医師による検査レポートの作成に利用される。

　情報処理装置１０ａは検査室に設けられ、医師や看護師等のユーザが、内視鏡検査中に内視鏡画像に含まれる病変のサイズに関する情報をリアルタイムに確認するために利用される。情報処理装置１０ａは、画像解析装置８と協働して、病変のサイズに関する情報をユーザに提供してよい。

　情報処理装置１０ｂは検査室以外の部屋に設けられ、医師が検査レポートを作成する際に利用される。たとえば医師が、今回の精密検査で撮影した病変が次回検査においてＥＳＤの対象となる大きさであるか確認するために、情報処理装置１０ｂによる病変形状計測機能が利用されてよい。医師は、撮影した病変がＥＳＤの対象となる大きさであることを確認すると、次回の内視鏡検査においてＥＳＤを用いて当該病変を一括切除することを決定してよい。

　画像解析装置８は、内視鏡画像を入力すると、病変を検出して、病変が存在する領域（病変領域）を出力する画像解析機能を備える。画像解析装置８は、学習用の内視鏡画像および内視鏡画像に含まれる病変領域に関する情報を教師データとして用いた機械学習により生成された学習済みモデルであって、内視鏡画像を入力すると、病変領域の位置を出力する学習済みモデルを利用してよい。内視鏡検査中、画像解析装置８は、内視鏡観察装置５から内視鏡画像を提供されて、画像解析結果を、内視鏡観察装置５または情報処理装置１０ａに供給してよい。

　図３は、内視鏡用形状計測システム１における機能ブロックを示す。内視鏡用形状計測システム１は、病変形状計測処理を実行する処理装置２０、学習済みモデル保持部６０およびユーザインタフェース７０を備える。処理装置２０は、操作受付部３０、領域設定部３２、３次元情報取得部３８、画像生成部４０、画像解析部４２、補助情報生成部４４、表示処理部４６、仮想面導出部４８およびサイズ情報特定部５０を備え、領域設定部３２は、注目領域設定部３４および参照領域設定部３６を有する。ユーザインタフェース７０は、たとえばマウスやタッチペン、キーボードなど、ユーザが操作を入力するためのツールである。

　図３に示す構成はハードウエア的には、任意のプロセッサ、メモリ、補助記憶装置、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

　図３に示す内視鏡用形状計測システム１の機能ブロックは、内視鏡観察装置５、情報処理装置１０ａ、情報処理装置１０ｂ、画像解析装置８の少なくとも１つの装置によって実現される。内視鏡用形状計測システム１の機能ブロックは、内視鏡観察装置５、情報処理装置１０ａ、情報処理装置１０ｂ、画像解析装置８のそれぞれにより単独で実現されてよいが、２つ以上の装置の組み合わせにより実現されてもよい。そのため処理装置２０として示す機能ブロックは、単独の装置に含まれる１以上のプロセッサによって実現されてよいが、２つ以上の装置に含まれる複数のプロセッサによって実現されてもよい。

　内視鏡検査中、内視鏡観察装置５は、内視鏡７が撮影している消化管内の画像を表示装置６に表示する。医師は、内視鏡７を動かしながら、表示装置６に表示される内視鏡画像を観察し、病変が表示装置６に映し出されると、内視鏡７のレリーズスイッチを操作する。内視鏡観察装置５は、レリーズスイッチが操作されたタイミングで内視鏡画像をキャプチャして、キャプチャした内視鏡画像を、当該内視鏡画像を識別する情報（画像ＩＤ）とともに画像蓄積サーバ９に送信する。なお内視鏡観察装置５は、検査終了後に、キャプチャした複数の内視鏡画像をまとめて画像蓄積サーバ９に送信してもよい。画像蓄積サーバ９は、内視鏡検査を識別する検査ＩＤに紐付けて、内視鏡観察装置５から送信された内視鏡画像を記録する。

　実施例の内視鏡観察装置５は、撮影された内視鏡画像に含まれる生体組織の３次元形状情報を計測する機能を有する。内視鏡観察装置５は、既知の手法によって、撮影された生体組織の３次元形状を計測してよい。内視鏡観察装置５は、キャプチャした内視鏡画像に含まれる生体組織の３次元形状を計測し、内視鏡画像に、計測した３次元形状の情報を付加して、画像蓄積サーバ９に送信する。したがって画像蓄積サーバ９は、内視鏡画像に、撮影された生体組織の３次元形状情報を関連付けて記録する。

　たとえば内視鏡７がステレオカメラを搭載し、内視鏡観察装置５が、２つのカメラで撮影した画像から三角測距の原理を利用して、生体組織の３次元形状を計測してよい。また内視鏡観察装置５は、特許文献１に開示されたように、レーザ光による計測用パターンの投影像を生体組織に投影し、生体組織に投影された計測用パターンの撮像結果に基づいて、生体組織の３次元形状を計測してもよい。また内視鏡観察装置５は、ステレオカメラで取得した画像と、当該画像に含まれる生体組織の距離情報とを教師データとして機械学習した学習済みモデルを利用して、単眼カメラで撮影した内視鏡画像から、生体組織の３次元形状を計測してもよい。また内視鏡観察装置５は、単眼カメラで撮影した内視鏡画像のフレーム間の特徴量から、生体組織の３次元形状を計測してもよい。このように内視鏡観察装置５は、既知の計測手法を利用して、内視鏡画像の生体組織の３次元形状を計測する。

　なお、撮影された生体組織の３次元形状計測機能は、内視鏡観察装置５以外の装置に搭載されてもよい。たとえば３次元形状計測機能は、情報処理装置１０ａに搭載されてもよく、画像解析装置８に搭載されてもよく、または画像蓄積サーバ９に搭載されてもよい。いずれの装置が生体組織の３次元形状を計測してもよいが、画像蓄積サーバ９は、内視鏡観察装置５から送信された内視鏡画像に、撮影された生体組織の３次元形状情報または当該３次元形状情報を算出するためのデータを関連付けて記録する。

　検査終了後、医師は、情報処理装置１０ｂを操作して検査レポートを作成する。情報処理装置１０ｂは、画像蓄積サーバ９から、検査で撮影した内視鏡画像を読み出して、表示装置１２ｂに表示し、医師は、表示された内視鏡画像に含まれる病変を診断する。実施例の情報処理装置１０ｂは、医師から要求があった場合に、内視鏡画像に含まれる病変に隠された生体面（仮想面）の３次元形状を導出し、仮想面のサイズつまりは病変底面のサイズを特定する処理を実施する。以下、情報処理装置１０ｂが、処理装置２０（図３参照）の病変形状計測機能を実現する場合について説明する。

　図４は、表示装置１２ｂに表示される内視鏡画像の例を示す。表示処理部４６は、レポートを作成する検査の検査ＩＤに紐付けられた内視鏡画像を画像蓄積サーバ９から取得して、表示装置１２ｂに表示する。内視鏡画像は、内視鏡７が体腔内の生体組織を撮影した画像であり、図４に示す内視鏡画像には、略円形の病変１００と、その周囲に、消化管の内壁面である生体面１０２とが含まれている。

　図５は、病変形状計測処理のフローチャートを示す。医師であるユーザは、ユーザインタフェース７０を操作して、表示装置１２ｂに表示されている内視鏡画像に、注目領域を設定する（Ｓ１０）。

　図６は、設定された注目領域１１０の例を示す。ユーザは、マウスなどのユーザインタフェース７０を操作して、表示装置１２ｂに表示されている内視鏡画像において、病変１００と生体面１０２の境目に境界線を描く。操作受付部３０が、内視鏡画像に注目領域を設定するためのユーザ操作を受け付けると、注目領域設定部３４が、ユーザ操作にもとづいて、内視鏡画像に注目領域１１０を設定する。注目領域１１０は、境界線で囲まれた病変領域である。医師であるユーザは、３次元的形状や色調特性等の医学的所見により病変１００と生体面１０２との境目を認識できるため、注目領域設定部３４はユーザ操作にもとづいて、病変領域を示す注目領域１１０を正確に設定することができる。

　注目領域設定部３４が注目領域１１０を設定した後、参照領域設定部３６が、注目領域１１０にもとづいて、注目領域１１０を取り囲む参照領域を設定する（Ｓ１２）。参照領域１２０は、少なくとも注目領域１１０の全てを包含し、注目領域１１０よりも大きな範囲に設定される。参照領域設定部３６が参照領域を設定することで、生体面が複雑な湾曲形状を有していても、後述するように仮想面導出部４８が、仮想面の３次元形状情報を高精度に導出できるようになる。

　図７は、設定された参照領域１２０の例を示す。参照領域設定部３６は、注目領域１１０の外縁よりも外側に、所定長以上の余白を有するように参照領域１２０を設定することが好ましい。たとえば参照領域設定部３６は、注目領域１１０の最左端、最右端から、それぞれ所定長ｌ１だけ離れた位置を通る左辺、右辺と、注目領域１１０の最上端、最下端からそれぞれ所定長ｌ２だけ離れた位置を通る上辺、下辺から構成される矩形領域を、参照領域１２０として設定してもよい。

　なおユーザが、ユーザインタフェース７０を操作して、表示装置１２ｂに表示されている注目領域１１０に対して、参照領域１２０を設定してもよい。操作受付部３０が、内視鏡画像に参照領域を設定するためのユーザ操作を受け付けると、参照領域設定部３６が、ユーザ操作にもとづいて、内視鏡画像に参照領域１２０を設定する。設定される参照領域１２０は、注目領域１１０の仮想面を導出する際に利用する３次元形状情報の範囲を定めるものであるため、ユーザは、注目領域１１０の仮想面を好適に導出できる範囲を、参照領域１２０として決定することが好ましい。

　参照領域設定部３６が参照領域１２０を設定した後、３次元情報取得部３８が、内視鏡が撮影した生体組織の３次元形状情報を取得する（Ｓ１４）。上記したように、生体組織の３次元形状情報は、内視鏡画像に紐付けて画像蓄積サーバ９に記録されており、３次元情報取得部３８は、内視鏡画像に紐付けられた３次元形状情報を取得する。

　仮想面導出部４８は、注目領域１１０とは異なる領域の３次元形状情報から、注目領域１１０における仮想面の３次元形状情報を導出する（Ｓ１６）。仮想面の３次元形状情報は、内視鏡画像における仮想面の各画素の２次元座標と、各画素の距離情報（深さ情報）を含んでよい。具体的に仮想面導出部４８は、参照領域１２０の３次元形状情報から、注目領域１１０における仮想面の３次元形状情報を導出する。図１に示したように、注目領域１１０における仮想面とは、病変１００の奥側に存在する仮想的な生体面（病変１００が存在しないと仮定したときの生体面１０２）を意味する。

　図８は、参照領域１２０をｘｙ平面に配置した状態を示す。図８では、内視鏡画像の横方向の位置をｘ座標、高さ方向の位置をｙ座標で表現している。なお各画素の３次元情報のうち、カメラからの距離方向の位置（深さ位置）はｚ座標で表現されてよい。図８において、ハッチングで示した領域は、ｘｙ平面における参照領域１２０を示し、仮想面導出部４８は、参照領域１２０の３次元形状情報から、注目領域１１０における仮想面の３次元形状情報を導出する。仮想面の３次元形状情報を導出するとき、仮想面導出部４８は、注目領域１１０の３次元形状情報を利用しない。

　図９は、参照領域１２０の三次元形状の例を示す。図９（ａ）は、参照領域１２０の三次元形状の斜視図であり、図９（ｂ）は、参照領域１２０の３次元形状をｙ軸方向に見た図である。

　図１０は、注目領域１１０における仮想面の３次元形状を導出する手法を説明するための図である。仮想面導出部４８は、ｘ軸方向に所定の間隔を空けたｙ軸方向の列ごとに、参照領域１２０の３次元形状情報から、注目領域１１０の３次元形状のフィッティング処理を行う。具体的に、図１０に示すように、ｙ軸方向に延びる列ごとに、参照領域１２０における三次元の点群データから、多項式近似曲線を求める。仮想面導出部４８は、注目領域１１０をｘ軸方向にＮ個に等間隔に分割して、各分割線（列）にフィットする多項式近似曲線を導出する。その後、仮想面導出部４８は、Ｎ個の多項式近似曲線の点群データをもとに、ｘ軸方向にもフィッティング処理を行って、滑らかな仮想面の３次元形状情報を導出してよい。このように仮想面導出部４８は、参照領域設定部３６により設定された参照領域１２０を利用することで、生体面が複雑な湾曲形状を有していても仮想面の３次元形状情報を高精度に導出できる。

　図１１（ａ）は、図９（ｂ）に示す参照領域１２０の３次元形状に対して導出される仮想面１３０の例を示し、図１１（ｂ）は、導出される仮想面１３０の３次元形状の例を示す。なお実施例の仮想面導出部４８は、多項式近似曲線を導出する３次元形状のフィッテイング処理を実施したが、他の種類のフィッティング処理を行ってもよい。実施例の仮想面導出部４８は、参照領域１２０の３次元形状の中央に空いた空間を滑らかに繋いで、注目領域１１０における仮想面１３０を導出する。このように生成された仮想面１３０は、注目領域１１０における病変１００の仮想的な底面に相当する。

　サイズ情報特定部５０は、仮想面１３０の３次元形状情報から、仮想面１３０のサイズに関する情報を特定する（Ｓ１８）。たとえばサイズ情報特定部５０は、仮想面１３０の長径および短径を、以下のように導出してよい。

　図１２（ａ）は、仮想面１３０の長径を算出する手法を説明するための図である。サイズ情報特定部５０は、境界上の全ての２点間の仮想面１３０に沿った経路距離を算出し、経路距離の最大値を、長径として特定する。

　図１２（ｂ）は、経路距離が最大となった２点の組み合わせを示す。サイズ情報特定部５０は、境界上の点Ｐと点Ｑの間の経路距離が最大となることを判定すると、点Ｐと点Ｑの経路距離を、仮想面１３０の「長径」として特定する。長径を特定すると、サイズ情報特定部５０は、長径に直交する経路のうち、最大の経路距離となる２点の組み合わせを導出する。

　図１２（ｃ）は、長径に交差する方向の経路距離が最大となった２点の組み合わせを示す。サイズ情報特定部５０は、境界上の点Ｒと点Ｓの間の経路距離が最大となることを判定すると、点Ｒと点Ｓの経路距離を、仮想面１３０の「短径」として特定する。

　上記したように仮想面１３０は、病変１００の仮想的な底面に相当し、サイズ情報特定部５０は、仮想面１３０の長径および短径を導出することで、病変１００の底面の長径および短径を導出する。表示処理部４６は、仮想面導出部４８が導出した病変底面の長径および短径を表示装置１２ｂに表示してよい。ユーザは、病変底面の長径および短径を知ることで、当該病変がＥＳＤの対象となる大きさであるか否かを確認できる。

　以上、病変形状計測処理の基本的な工程を説明したが、仮想面１３０の３次元形状情報を高精度に導出するために、各工程における処理をユーザが確認するためのオプションが用意されてもよい。

　図１３は、表示装置１２ｂに表示される注目領域の確認画面の例を示す。Ｓ１０において、ユーザは、ユーザインタフェース７０を操作して注目領域１１０を設定するが、このとき、設定した注目領域１１０が適切であるか確認できるようにしてもよい。

　ユーザが注目領域１１０を設定すると、画像生成部４０は、生体組織の３次元形状情報にもとづいて、生体組織の３次元画像を生成する。表示処理部４６は、生体組織の３次元画像と、注目領域１１０の位置を示す画像とを合成して表示装置１２ｂに表示する。図１３においては、注目領域１１０が、生体組織の３次元画像に対してｚ軸方向に離れた位置に合成されているが、ｚ軸方向の位置を合わせた位置で合成されてもよい。ｚ軸方向の位置を合わせて、生体組織の３次元画像に注目領域１１０の外郭線を重畳表示した場合、ユーザは、病変１００と生体面１０２との境界に、注目領域１１０の外郭線が一致しているか確認できる。一致していなければ、ユーザは、注目領域１１０が病変１００の領域と一致するように、注目領域１１０を再設定する。

　Ｓ１２において表示処理部４６は、生体組織の３次元画像と、参照領域１２０の位置を示す画像とを合成して表示装置１２ｂに表示してもよい。生体組織の３次元画像と、参照領域１２０の位置を示す画像とを合成表示することで、ユーザは、参照領域１２０が適切に設定されているか確認できるようになる。

　また仮想面導出部４８が仮想面１３０を導出した後に、表示処理部４６は、生体組織の３次元画像に、仮想面１３０を合成して表示装置に表示してもよい。本来、仮想面１３０は、病変１００に隠れて視認できるものではないが、生体組織の３次元画像に仮想面１３０を合成表示することで、ユーザは、仮想面１３０が適切に導出されているか確認できる。

　図５に示すＳ１６において、仮想面導出部４８は、注目領域１１０とは異なる参照領域１２０の３次元形状情報から、仮想面１３０の３次元形状情報を導出するが、参照領域１２０内に、生体面の連続性を損なう物体が存在することがある。仮想面導出部４８は、不連続な生体面の３次元形状情報から注目領域１１０の３次元形状のフィッティング処理を行うと、仮想面１３０の３次元形状情報を高精度に推定できない。

　図１４は、参照領域１２０に不連続体１０４が含まれている例を示す。不連続体１０４は、たとえば参照領域１２０における生体面の連続性を損なう凸部や凹部であり、病変であってもよい。３次元形状のフィッティング処理を行う際、不連続体１０４は、フィッティング精度に悪影響を与えるため、フィッティング処理を行う前に、ユーザにより手動で除去されることが好ましい。

　図１５は、設定された除外領域１４０を示す。ユーザは、ユーザインタフェース７０を操作して、表示装置１２ｂに表示されている内視鏡画像に、除外領域１４０を設定する。操作受付部３０は、参照領域１２０に除外領域１４０を設定するためのユーザ操作を受け付けると、仮想面導出部４８は、除外領域１４０の３次元形状情報を除外した参照領域１２０の３次元形状情報から、仮想面１３０の３次元形状情報を導出する。これにより仮想面導出部４８は、仮想面１３０を高精度に導出できる。

　このとき仮想面導出部４８は、除外領域１４０の３次元形状情報を除外した参照領域１２０の３次元形状情報から、除外領域１４０の３次元形状のフィッティング処理を行って、除外領域１４０の補正面（仮想面）を導出してもよい。このように仮想面導出部４８は、除外領域１４０の３次元形状情報を補正した後、補正した参照領域１２０の３次元形状情報から、注目領域１１０の仮想面１３０を導出してもよい。

　以上は、検査終了後、ユーザが検査レポートを作成する際に、情報処理装置１０ｂが、処理装置２０の病変形状計測機能を実現する態様である。別の態様として、情報処理装置１０ａが画像解析装置８と協働して、内視鏡検査中に、処理装置２０の病変形状計測機能を実現してもよい。

　画像解析装置８は、画像解析部４２および学習済みモデル保持部６０（図３参照）を有し、学習済みモデル保持部６０は、学習用の内視鏡画像および内視鏡画像に含まれる病変領域に関する情報を教師データとして用いた機械学習により生成された学習済みモデルを保持している。この学習済みモデルは、内視鏡画像を入力すると、病変領域を検出して、当該病変領域の位置を出力するように構成されている。

　内視鏡検査中、内視鏡観察装置５は、内視鏡７が撮影している内視鏡画像を、表示装置６からリアルタイム表示するとともに、当該内視鏡画像を情報処理装置１０ａおよび画像解析装置８に送信する。画像解析装置８において、画像解析部４２は、内視鏡画像を取得すると、学習済みモデル保持部６０に保持されている学習済みモデルに入力する。学習済みモデルは、内視鏡画像を入力されると、病変領域を検出した場合に、その病変領域の位置情報を出力する。画像解析部４２は、学習済みモデルにより出力された病変領域の位置情報を、内視鏡画像を識別する情報（画像ＩＤ）とともに、情報処理装置１０ａに送信する。

　情報処理装置１０ａにおいて、表示処理部４６は、内視鏡７で撮影されている内視鏡画像を表示装置１２ａに表示するとともに、画像解析装置８から提供される病変領域の位置情報および画像ＩＤをもとに、内視鏡画像に病変領域の位置を示す情報を表示する。このとき表示処理部４６は、画像ＩＤにもとづいて、表示する内視鏡画像と、表示する病変領域の位置を示す情報とを同期させる。表示処理部４６は、たとえば図６に示すように、病変１００を含む内視鏡画像に、病変１００の境界線を重畳して表示してよい。

　情報処理装置１０ａを操作するユーザは、学習済みモデルにより出力された病変１００の境界線が正しいことを確認すると、ユーザインタフェース７０を操作して、注目領域１１０を設定することを決定してよい。このとき操作受付部３０は、内視鏡画像に注目領域を設定するためのユーザ操作を受け付け、注目領域設定部３４は、ユーザ操作にもとづいて、内視鏡画像に注目領域を設定する。このように内視鏡用形状計測システム１が、学習済みモデルを用いて、病変領域を検出する機能を有する場合には、ユーザが、検出された病変領域が正しいことを確認するだけで、注目領域が設定されてもよい。注目領域が設定されると、情報処理装置１０ａは、図５に示すＳ１２、Ｓ１４、Ｓ１６、Ｓ１８の工程を実施して、仮想面１３０のサイズに関する情報を特定する。この情報は、内視鏡観察装置５に提供されて、表示装置６に表示され、内視鏡７を操作する医師に知らされてよい。

　仮想面導出部４８は、仮想面１３０の３次元形状情報を、注目領域１１０の周辺領域の３次元形状から導出するため、当該周辺領域が小さいと、仮想面１３０の３次元形状を推定するための３次元データが十分ではないために、仮想面１３０の３次元形状情報を高精度に導出することが困難となる。そのため補助情報生成部４４は、画像解析装置８から提供される病変領域の位置にもとづいて、撮影中の内視鏡７の撮影範囲に関する補助情報を生成してよい。たとえば内視鏡画像における病変領域の占める割合が所定の閾値（たとえば６０％）を超える場合、病変領域の周囲に十分な大きさの参照領域を確保できないため、補助情報生成部４４は、内視鏡７のカメラが病変部位に近すぎることを医師に知らせるための補助情報を生成してよい。補助情報生成部４４は、生成した補助情報を内視鏡観察装置５に提供し、内視鏡観察装置５は、表示装置６に当該補助情報を表示して、内視鏡７を操作する医師が確認できるようにしてよい。これにより医師は、内視鏡７のカメラが病変部位に近すぎることを認識して、カメラが病変部位から離れるように内視鏡７を動かすことができる。したがって病変領域の周囲に十分な大きさの周辺領域が確保され、仮想面導出部４８が、仮想面１３０の３次元形状情報を高精度に導出できるようになる。

　以上、本開示を複数の実施例をもとに説明した。これらの実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本開示の範囲にあることは当業者に理解されるところである。

　本開示は、病変部位の形状を計測する技術分野に利用できる。

１・・・内視鏡用形状計測システム、５・・・内視鏡観察装置、６・・・表示装置、７・・・内視鏡、８・・・画像解析装置、９・・・画像蓄積サーバ、１０ａ，１０ｂ・・・情報処理装置、１２ａ，１２ｂ・・・表示装置、２０・・・処理装置、３０・・・操作受付部、３２・・・領域設定部、３４・・・注目領域設定部、３６・・・参照領域設定部、３８・・・３次元情報取得部、４０・・・画像生成部、４２・・・画像解析部、４４・・・補助情報生成部、４６・・・表示処理部、４８・・・仮想面導出部、５０・・・サイズ情報特定部、６０・・・学習済みモデル保持部、７０・・・ユーザインタフェース。

Claims

　プロセッサを備えた内視鏡用形状計測システムであって、
　前記プロセッサは、
　体腔内の生体組織を内視鏡が撮影した内視鏡画像を表示装置に表示し、
　内視鏡画像に注目領域を設定するためのユーザ操作を受け付け、
　ユーザ操作にもとづいて、内視鏡画像に注目領域を設定し、
　内視鏡が撮影した生体組織の３次元形状情報を取得し、
　注目領域とは異なる領域の３次元形状情報から、注目領域における仮想面の３次元形状情報を導出し、
　導出した仮想面の３次元形状情報から、仮想面のサイズに関する情報を特定する、
　ことを特徴とする内視鏡用形状計測システム。
　前記プロセッサは、
　注目領域を取り囲む参照領域を設定し、
　参照領域の３次元形状情報から、仮想面の３次元形状情報を導出する、
　ことを特徴とする請求項１に記載の内視鏡用形状計測システム。
　前記プロセッサは、
　内視鏡画像に参照領域を設定するためのユーザ操作を受け付け、
　ユーザ操作にもとづいて、内視鏡画像に参照領域を設定する、
　ことを特徴とする請求項２に記載の内視鏡用形状計測システム。
　前記プロセッサは、
　生体組織の３次元形状情報にもとづいて、生体組織の３次元画像を生成し、
　生体組織の３次元画像と、注目領域の位置を示す画像とを合成して表示装置に表示する、
　ことを特徴とする請求項１に記載の内視鏡用形状計測システム。
　前記プロセッサは、
　生体組織の３次元形状情報にもとづいて、生体組織の３次元画像を生成し、
　生体組織の３次元画像と、参照領域の位置を示す画像とを合成して表示装置に表示する、
　ことを特徴とする請求項２に記載の内視鏡用形状計測システム。
　前記プロセッサは、
　参照領域に除外領域を設定するためのユーザ操作を受け付け、
　除外領域の３次元形状情報を除外した参照領域の３次元形状情報から、仮想面の３次元形状情報を導出する、
　ことを特徴とする請求項２に記載の内視鏡用形状計測システム。
　前記プロセッサは、
　生体組織の３次元画像に、仮想面を合成して表示装置に表示する、
　ことを特徴とする請求項４に記載の内視鏡用形状計測システム。
　前記プロセッサは、
　注目領域とは異なる領域の３次元形状情報から、３次元形状のフィッティング処理を行うことで、注目領域における仮想面の３次元形状情報を導出する、
　ことを特徴とする請求項１に記載の内視鏡用形状計測システム。
　学習用の内視鏡画像および内視鏡画像に含まれる病変領域に関する情報を教師データとして用いた機械学習により生成された学習済みモデルであって、内視鏡画像を入力すると、病変領域の位置を出力する学習済みモデルをさらに備え、
　前記プロセッサは、
　学習済みモデルにより出力された病変領域の位置を示す情報を表示する、
　ことを特徴とする請求項１に記載の内視鏡用形状計測システム。
　学習用の内視鏡画像および内視鏡画像に含まれる病変領域に関する情報を教師データとして用いた機械学習により生成された学習済みモデルであって、内視鏡画像を入力すると、病変領域の位置を出力する学習済みモデルをさらに備え、
　前記プロセッサは、
　学習済みモデルにより出力された病変領域の位置にもとづいて、撮影中の内視鏡の撮影範囲に関する補助情報を生成し、
　補助情報を表示装置に表示する、
　ことを特徴とする請求項１に記載の内視鏡用形状計測システム。
　前記プロセッサは、
　注目領域にもとづいて、参照領域を設定する、
　ことを特徴とする請求項２に記載の内視鏡用形状計測システム。
　体腔内の生体組織を内視鏡が撮影した内視鏡画像を表示装置に表示し、
　内視鏡画像に注目領域を設定するためのユーザ操作を受け付け、
　ユーザ操作にもとづいて、内視鏡画像に注目領域を設定し、
　内視鏡が撮影した生体組織の３次元形状情報を取得し、
　注目領域とは異なる領域の３次元形状情報から、注目領域における仮想面の３次元形状情報を導出し、
　導出した仮想面の３次元形状情報から、仮想面のサイズに関する情報を特定する、
　内視鏡用形状計測方法。