JP2022181645A - 内視鏡業務支援装置及び内視鏡業務支援システム並びに内視鏡業務支援装置の作動方法 - Google Patents

Abstract

【課題】ユーザーに負担をかけることなく、体内静止画と体外静止画を選び出して表示することができる内視鏡業務支援装置及び内視鏡業務支援システム並びに内視鏡業務支援装置の作動方法を提供する。【解決手段】画像受信部１０１は、内視鏡システム１０で取得した静止画を受信する。静止画組み合わせ部１０２は、静止画のうち体内静止画と体外静止画とを照合する静止画照合処理を行い、少なくとも静止画照合処理の結果に基づいて、体内静止画と体外静止画とを組み合わせし、組み合わせされた体内静止画と体外静止画とを業務支援用ディスプレイ１０８に表示する。【選択図】図２４

Description

本発明は、医療文書の作成などを支援する内視鏡業務支援装置及び内視鏡業務支援システム並びに内視鏡業務支援装置の作動方法に関する。

内視鏡を用いる医療分野においては、患者の体内を観察することに加えて、各種処置具などを用いて、病変部などを摘出する処置も行われている（例えば、特許文献１参照）。病変部などを摘出した場合には、摘出した範囲の体内の静止画と、摘出した標本の静止画とを用いて、内視鏡レポートなどの医療文書を作成するなどの内視鏡業務が行われている。

特開２０１６－６２４８８号公報

病変部の摘出などの処置を行う場合において、内視鏡による処置中、又は、処置後の標本撮影時のいずれにおいても、同じ操作又は処理によって、静止画を取得している。そのため、体内又は体外の区別無く静止画が保存されているため、医療文書を作成する段階で、ユーザーが、レポート等の作成に必要な静止画を手動で選び出す必要性が有り、負担がかかっていた。

本発明は、ユーザーに負担をかけることなく、体内静止画と体外静止画を選び出して表示することができる内視鏡業務支援装置及び内視鏡業務支援システム並びに内視鏡業務支援装置の作動方法を提供することを目的とする。

本発明の内視鏡業務支援装置は、業務支援用プロセッサを備え、業務支援用プロセッサは、内視鏡システムで取得した静止画を受信し、静止画のうち体内静止画と体外静止画とを照合する静止画照合処理を行い、少なくとも静止画照合処理の結果に基づいて、体内静止画と体外静止画とを組み合わせし、組み合わせされた体内静止画と体外静止画とを業務支援用ディスプレイに表示する。

業務支援用プロセッサが、静止画が体内静止画又は体外静止画のいずれかであるかを判別することが好ましい。体内静止画又は体外静止画には、処置又は観察を含む検査目的が関連付けられており、業務支援用プロセッサは、静止画照合処理の結果、体外静止画と一致する体内静止画のうち、検査目的が処置である体内静止画を体外静止画と組み合わせることが好ましい。体内静止画又は体外静止画には測長情報が関連付けられており、業務支援用プロセッサは、静止画照合処理の結果、体外静止画と一致する体内静止画のうち、体外静止画と測長情報が一致する体内静止画を体外静止画と組み合わせることが好ましい。

業務支援用ディスプレイには、体内静止画又は前記体外静止画の少なくともいずれかの測長情報を表示する測長情報表示領域と、検査目的を選択するための検査目的選択画面とが設けられていることが好ましい。

本発明の内視鏡業務支援システムは、撮像光学系を用いて被写体を撮像することにより手動又は自動で得られる静止画を取得する内視鏡を有する内視鏡システムと、を備え、上記記載の内視鏡業務支援装置と、体内静止画又は体外静止画は内視鏡によって得られる。

内視鏡は、計測光の光軸と撮像光学系の光軸とを交差した状態で計測光を出射する計測光出射部を有し、計測光が照明された被写体を、撮像光学系を用いて撮像することによって、静止画を取得し、内視鏡システムは、静止画に含まれる計測光の照射位置に基づいて、測長情報を取得するプロセッサ装置を備えることが好ましい。

測長情報は、被写体のサイズを計測するための仮想スケールに基づく情報であり、プロセッサ装置は、内視鏡用プロセッサを備え、内視鏡用プロセッサは、静止画から計測光の照射位置を検出し、計測光の照射位置及びスケール表示位置によって表示態様が異なる仮想スケール画像と、計測光の照射位置とを関連付けて記憶するスケール用テーブルを参照して、仮想スケールとして、計測光の照射位置に合わせてスケール表示位置が変化する第１仮想スケールを設定することが好ましい。

測長情報は、被写体のサイズを計測するための仮想スケールに基づく情報であり、内視鏡は、ズーム機能を有し、プロセッサ装置は、内視鏡用プロセッサを備え、内視鏡用プロセッサは、ズーム機能がONで且つ特定の拡大率以上の場合には、仮想スケールとして、スケール表示位置が固定の第２仮想スケールを設定することが好ましい。第２仮想スケールは、画面の位置によらず表示態様が同じ、又は、画面の位置に応じて表示態様が変化することが好ましい。

本発明の内視鏡業務支援装置の作動方法は、業務支援用プロセッサが、内視鏡システムで取得した静止画を受信するステップと、静止画のうち体内静止画と体外静止画とを照合する静止画照合処理を行い、少なくとも静止画照合処理の結果に基づいて、体内静止画と前記体外静止画とを組み合わせし、組み合わせされた体内静止画と体外静止画とを業務支援用ディスプレイに表示するステップとを有する。

本発明によれば、ユーザーに負担をかけることなく、体内静止画と体外静止画を選び出して表示することができる。

内視鏡システムの各機能を示した内視鏡業務支援システムの概略図である。 内視鏡システムの機能を示すブロック図である。 計測光の光軸と撮像光学系の光軸との関係性を示す概略図である。 （Ａ）は計測光を連続発光する場合の発光制御を示し、（Ｂ）は計測光をパルス発光する場合の発光制御を示す説明図である。 信号処理部の機能を示すブロック図である。 ズーム機能の状態によって仮想スケールの設定方法を変更することを示す説明図である。 近端Ｐｘの場合に表示される第１仮想スケールを示す画像図である。 中央付近Ｐｙの場合に表示される第１仮想スケールを示す画像図である。 遠端Ｐｚの場合に表示される第１仮想スケールを示す画像図である。 各種形状の第１仮想スケールを示す説明図である。 大きさがそれぞれ異なる第１仮想スケールを示す説明図である。 色がそれぞれ異なる第１仮想スケールを示す説明図である。 歪曲同心円状の第１仮想スケールを示す説明図である。 交差ライン及び目盛りからなる第１仮想スケールを示す説明図である。 同心円の第２仮想スケールを示す画像図である。 十字型の第２仮想スケールを示す画像図である。 正方格子型の第２仮想スケールを示す画像図である。 静止画を手動又は自動で取得するための機能を示すブロック図である。 処置時における静止画の取得に関する説明図である。 処置によって摘出した標本の静止画の取得に関する説明図である。 内視鏡業務支援装置の各機能を示した内視鏡業務支援システムの概略図である。 静止画照合処理と検査目的判別処理によって体内静止画と体外静止画とを組み合わせることを示す説明図である。 静止画照合処理と測長情報判別処理によって体内静止画と体外静止画とを組み合わせることを示す説明図である。 体内静止画と体外静止画とを表示する業務支援用ディスプレイの画像図である。 内視鏡業務支援に関する一連の流れを示すフローチャートである。 注目領域の計測部分に合わせて、仮想スケールの形状を変更する場合に用いる信号処理部の機能を示すブロック図である。 基準スケール設定部の機能を示すブロック図である。 ポリープに対して重畳表示された仮想スケールを示す画像図である。 計測値スケール生成部の機能を示すブロック図である。 注目領域を示す画像図である。 計測部分を示す説明図である。 計測値スケールに関する画像図である。 ポリープに対して重畳表示された計測値スケールを示す画像図である。 縞状パターン光ＺＰＬを示す説明図である。 位相Ｘ、Ｙ、Ｚの縞状パターン光ＺＰＬの発光パターンを示す説明図である。 格子状パターンの計測光ＬＰＬを示す説明図である。 格子状パターンの計測光を間欠的に照射する発光パターンを示す説明図である。 ３次元平面光ＴＰＬを示す説明図である。 ３次元平面光ＴＰＬを間欠的に照射する発光パターンを示す説明図である。

図１に示すように、内視鏡業務支援システム５は、患者の体内を観察又は処置するための内視鏡システム１０と、内視鏡システム１０で得られた画像を用いて、内視鏡レポートなどの医療文書の作成などを支援する内視鏡業務支援装置１００とを備えている。内視鏡システム１０と内視鏡業務支援装置１００とはネットワークＮＴを介して、画像などの各種データの通信が可能である。

内視鏡システム１０は、内視鏡１２と、光源装置１３と、プロセッサ装置１４と、ディスプレイ１５と、ユーザーインターフェース１６と、拡張プロセッサ装置１７と、拡張ディスプレイ１８とを有する。内視鏡１２は、光源装置１３と光学的に接続され、且つ、プロセッサ装置１４と電気的に接続される。内視鏡１２は、観察対象の体内に挿入される挿入部１２ａと、挿入部１２ａの基端部分に設けられた操作部１２ｂと、挿入部１２ａの先端側に設けられた湾曲部１２ｃ及び先端部１２ｄとを有している。湾曲部１２ｃは、操作部１２ｂを操作することにより湾曲動作する。先端部１２ｄは、湾曲部１２ｃの湾曲動作によって所望の方向に向けられる。

また、操作部１２ｂには、観察モードの切り替え操作に用いるモード切替スイッチ１２ｆと、観察対象の静止画の取得指示に用いられる静止画取得指示スイッチ１２ｇと、ズームレンズ２１ｂの操作に用いられるズーム操作部１２ｈとが設けられている。

プロセッサ装置１４は、ディスプレイ１５及びユーザーインターフェース１６と電気的に接続される。ディスプレイ１５は、プロセッサ装置１４で処理された観察対象の画像又は情報等を出力表示する。ユーザーインターフェース１６は、キーボード、マウス、タッチパッド、マイク等を有し、機能設定等の入力操作を受け付ける機能を有する。拡張プロセッサ装置１７は、プロセッサ装置１４に電気的に接続されている。拡張ディスプレイ１８は、拡張プロセッサ装置１７で処理された画像又は情報等を出力表示する。

内視鏡１２は、通常観察モードと、特殊光観察モードと、測長モードとを備えており、モード切替スイッチ１２ｆによって切り替えられる。通常観察モードは、照明光によって観察対象を照明するモードである。特殊光観察モードは、照明光と異なる特殊光によって観察対象を照明するモードである。測長モードは、照明光又は計測光を観察対象に照明し、且つ、観察対象の撮像により得られる被写体画像上に、観察対象の大きさなどの測定に用いられる仮想スケールを表示する。仮想スケールが重畳表示されない被写体画像はディスプレイ１５に表示される一方、仮想スケールが重畳表示された被写体画像は拡張ディスプレイ１８に表示される。

なお、照明光は、観察対象全体に明るさを与えて観察対象全体を観察するために用いられる光である。特殊光は、観察対象のうち特定領域を強調するために用いられる光である。計測光は、仮想スケールの表示に用いられる光である。また、本実施形態では、画像上に表示する仮想スケールについて説明を行うが、実際の管腔内に実スケールを設け、実スケールを、画像を通して確認できるようにしてもよい。この場合には、実スケールは、内視鏡１２の鉗子チャンネルを通して、挿入し、先端部１２ｄから実スケールを突出させることが考えられる。

ユーザーが静止画取得指示スイッチ１２ｇを操作することにより、ディスプレイ１５の画面がフリーズ表示し、合わせて、静止画取得を行う旨のアラート音（例えば「ピー」）を発する。そして、静止画取得指示スイッチ１２ｇの操作タイミング前後に得られる被写体画像の静止画が、プロセッサ装置１４内の静止画保存部３７（図２参照）に保存される。なお、静止画保存部３７はハードディスクやＵＳＢ（Universal Serial Bus）メモリなどの記憶部である。プロセッサ装置１４がネットワークに接続可能である場合には、静止画保存部３７に代えて又は加えて、ネットワークに接続された静止画保存サーバ（図示しない）に被写体画像の静止画を保存するようにしてもよい。

なお、静止画取得指示スイッチ１２ｇ以外の操作機器を用いて、静止画取得指示を行うようにしてもよい。例えば、プロセッサ装置１４にフットペダルを接続し、ユーザーが足でフットペダル（図示しない）を操作した場合に、静止画取得指示を行うようにしてもよい。モード切替についてのフットペダルで行うようにしてもよい。また、プロセッサ装置１４に、ユーザーのジェスチャーを認識するジェスチャー認識部（図示しない）を接続し、ジェスチャー認識部が、ユーザーによって行われた特定のジェスチャーを認識した場合に、静止画取得指示を行うようにしてもよい。モード切替についても、ジェスチャー認識部を用いて行うようにしてもよい。

また、ディスプレイ１５の近くに設けた視線入力部（図示しない）をプロセッサ装置１４に接続し、視線入力部が、ディスプレイ１５のうち所定領域内にユーザーの視線が一定時間以上入っていることを認識した場合に、静止画取得指示を行うようにしてもよい。また、プロセッサ装置１４に音声認識部（図示しない）を接続し、音声認識部が、ユーザーが発した特定の音声を認識した場合に、静止画取得指示を行うようにしてもよい。モード切替についても、音声認識部を用いて行うようにしてもよい。また、プロセッサ装置１４に、タッチパネルなどのオペレーションパネル（図示しない）を接続し、オペレーションパネルに対してユーザーが特定の操作を行った場合に、静止画取得指示を行うようにしてもよい。モード切替についても、オペレーションパネルを用いて行うようにしてもよい。

図２に示すように、光源装置１３は、光源部２０と、光源用プロセッサ２１とを備えている。光源部２０は、被写体を照明するための照明光又は特殊光を発生する。光源部２０から出射された照明光又は特殊光は、ライトガイドＬＧに入射される。ライトガイドＬＧからの光は、照明光学系２２を構成する照明レンズ２２ａを通って、被写体に照射される。光源部２０としては、照明光の光源として、白色光を出射する白色光源、又は、白色光源とその他の色の光を出射する光源（例えば青色光を出射する青色光源）を含む複数の光源等が用いられる。また、光源部２０としては、特殊光の光源として、表層血管など表層情報を強調するための青色狭帯域光を含む広帯域光を発する光源が用いられる。なお、照明光としては、紫色光、青色光、緑色光、又は赤色光の少なくともいずれかを組み合わせた白色の混色光としてもよい。この場合には、赤色光の照射範囲に比べて緑色光の照射範囲のほうが大きくなるように、照明光学系２２の光学設計を行うことが好ましい。

光源用プロセッサ２１は、システム制御部３２からの指示に基づいて光源部２０を制御する。通常観察モードの場合には、システム制御部３２は、通常観察モードの場合は、照明光を点灯し、計測光を消灯する制御を行う。特殊光観察モードの場合は、特殊光を点灯し、計測光を消灯する制御を行う。測長モードの場合には、システム制御部３２は、照明光又は計測光を点灯又は消灯する制御を行い、また、計測光出射部２３も制御する。

撮像光学系２４は、対物レンズ２４ａ、ズームレンズ２４ｂ、及び撮像素子２５を有している。観察対象からの反射光は、対物レンズ２４ａ及びズームレンズ２４ｂを介して、撮像素子２５に入射する。これにより、撮像素子２５に観察対象の反射像が結像される。ズームレンズ２４ｂは、テレ端とワイド端との間で移動することによって、ズーム機能として、被写体を拡大又は縮小する光学ズーム機能を有する。光学ズーム機能のＯＮとＯＦＦは、内視鏡の操作部１２ｂに設けられたズーム操作部１２ｈ（図１参照）により切り替えることが可能であり、光学ズーム機能がONの状態で、さらにズーム操作部１２ｈを操作することにより、特定の拡大率で被写体を拡大又は縮小する。

撮像素子２５はカラーの撮像センサであり、被検体の反射像を撮像して画像信号を出力する。撮像素子２５は、撮像制御部２９によって制御される。撮像素子２５は、ＣＣＤ(Charge Coupled Device）撮像センサやＣＭＯＳ(Complementary Metal-Oxide Semiconductor）撮像センサ等であることが好ましい。本発明で用いられる撮像素子２５は、Ｒ（赤）、Ｇ（緑）Ｂ（青）の３色の赤色画像、緑色画像、及び赤色画像を得るためのカラーの撮像センサである。赤色画像は、撮像素子２５において赤色のカラーフィルタが設けられた赤色画素から出力される画像である。緑色画像は、撮像素子２５において緑色のカラーフィルタが設けられた緑色画素から出力される画像である。青色画像は、撮像素子２５において青色のカラーフィルタが設けられた青色画素から出力される画像である。撮像素子２５は、撮像制御部２９によって制御される。

撮像素子２５から出力される画像信号は、ＣＤＳ／ＡＧＣ回路２６に送信される。ＣＤＳ／ＡＧＣ回路２６は、アナログ信号である画像信号に相関二重サンプリング（ＣＤＳ（Correlated Double Sampling））や自動利得制御（ＡＧＣ（Auto Gain Control））を行う。ＣＤＳ／ＡＧＣ回路２６を経た画像信号は、Ａ／Ｄ変換器（Ａ／Ｄ（Analog /Digital）コンバータ）２７により、デジタル画像信号に変換される。Ａ／Ｄ変換されたデジタル画像信号は、通信Ｉ／Ｆ（Interface）２８を介して、光源装置１３の通信Ｉ／Ｆ（Interface）３０に入力される。なお、ＣＤＳ／ＡＧＣ３４及びＡ／Ｄ３５は、撮像制御部２９によって制御される。

プロセッサ装置１４は、各種処理又は制御などに関するプログラムがプログラム格納メモリ（図示しない）に組み込まれている。画像制御用プロセッサによって構成されるシステム制御部３２は、プログラム格納メモリに組み込まれたプログラムを動作することによって、光源装置１３の通信Ｉ／Ｆ（Interface）３０と接続される受信部３３と、信号処理部３４と、表示制御部３５と、データ送受信部３６との機能が実現する。

受信部３３は、通信Ｉ／Ｆ３０から伝送されてきた画像信号を受信して信号処理部３４に伝達する。信号処理部３４は、受信部３３から受けた画像信号を一時記憶するメモリを内蔵しており、メモリに記憶された画像信号の集合である画像信号群を処理して、被写体画像を生成する。なお、受信部３３は、光源用プロセッサ３１に関連する制御信号については、システム制御部３２に直接送るようにしてもよい。

信号処理部３４では、通常観察モードに設定されている場合には、被写体画像の青色画像はディスプレイ１５のBチャンネルに、被写体画像の緑色画像はディスプレイ１５のGチャンネルに、被写体画像の赤色画像はディスプレイ１５のRチャンネルにそれぞれ割り当てる信号割り当て処理を行うことによって、カラーの被写体画像がディスプレイ１５に表示する。測長モードについても、通常観察モードと同様の信号割り当て処理を行う。

一方、信号処理部３４では、特殊光観察モードに設定されている場合には、被写体画像の赤色画像はディスプレイ１５の表示には使用せず、被写体画像の青色画像をディスプレイ１５のBチャンネルとGチャンネルに割り当て、被写体画像の緑色画像をディスプレイ１５のRチャンネルに割り当てることによって、疑似カラーの被写体画像をディスプレイ１５に表示する。また、信号処理部３４では、測長モードに設定されている場合には、計測光の照射位置を含む被写体画像をデータ送受信部３６に送信する。

データ送受信部３６は、被写体画像に関するデータを拡張プロセッサ装置１７に送信する。なお、データ送受信部３６は、拡張プロセッサ装置１７からのデータ等の受信が可能である。受信したデータは、信号処理部３４又はシステム制御部３２にて処理が可能である。

表示制御部３５は、信号処理部３４によって生成された被写体画像をディスプレイ１５に表示する。システム制御部３２は、内視鏡１２、光源装置１３、プロセッサ装置１４、及び拡張プロセッサ装置１７に対して、各種の制御を行う。内視鏡１２に設けられた撮像制御部２９を介して、撮像素子２５の制御を行う。

拡張プロセッサ装置１７は、プロセッサ装置１４から送信されたデータをデータ送受信部４０にて受信する。信号処理部４１は、データ送受信部４０で受信したデータに基づいて、測長モードに関連する処理を行う。具体的には、計測光の照射位置を含む被写体画像から仮想スケールのサイズを決定し、決定した仮想スケールを被写体画像に重畳表示させる処理を行う。表示制御部４２は、仮想スケールが重畳表示された被写体画像を拡張ディスプレイ１８に表示させる。なお、データ送受信部４０は、プロセッサ装置１４にデータ等を送信することが可能である。

図３に示すように、計測光出射部２３は、計測光の光軸Ｌｍが撮像光学系２４の光軸Aｘと交差する状態で、計測光を出射する。観察距離の範囲Ｒｘにおいて観察可能であるとすると、範囲Ｒｘの近端Ｐｘ、中央付近Ｐｙ、及び遠端Ｐｚでは、各点での撮像範囲（矢印Ｑｘ、Ｑｙ、Ｑｚで示す）における計測光Ｌｍによって被写体上に形成されるスポットＳＰの位置（各矢印Ｑｘ、Ｑｙ、Ｑｚが光軸Ａｘと交わる点）が異なることが分かる。なお、撮像光学系２４の撮影画角は２つの実線４５Ｘで挟まれる領域内で表され、この撮影画角のうち収差の少ない中央領域（２つの点線４６Ｘで挟まれる領域）で計測を行うようにしている。

以上のように、計測光の光軸Ｌｍを光軸Aｘと交差する状態で、計測光Lmを出射することによって、観察距離の変化に対するスポット位置の移動から、被写体の大きさを計測することができる。そして、計測光が照明された被写体を撮像素子２５で撮像することによって、計測光の照射位置であるスポットＳＰを含む被写体画像が得られる（図７～図９のスポットＳＰ１、ＳＰ２、ＳＰ３参照）。被写体画像では、スポットＳＰの位置は、撮像光学系２４の光軸Ａｘと計測光Lmの光軸Lmとの関係、及び観察距離に応じて異なるが、観察距離が近ければ、同一の実寸サイズ（例えば５ｍｍ）を示すピクセル数が多くなり、観察距離が遠ければピクセル数が少なくなる。

測長モードでは、光源用プロセッサ３１によって、計測光Ｌｍを連続発光する制御と計測光Ｌｍをパルス発光する制御の２種類の発光制御が行われる。計測光Ｌｍを連続発光する制御では、図４（Ａ）に示すように、光源用プロセッサ３１は、観察対象の全体的な照明に用いる照明光は連続発光し、且つ、計測光Ｌｍを連続発光する。この場合、照明光及び計測光の照明によって得られる撮像画像に対して、スポットＳＰの検出を行い、また、仮想スケールの表示を行う。

一方、図４（Ｂ）に示すように、計測光Ｌｍをパルス発光する制御では、光源用プロセッサ３１は、照明光は連続発光する一方、計測光Ｌｍはパルス発光する。したがって、測長モードにおいて光を発光するフレームとしては、計測光を発光せず、照明光を単独で発光する照明光単独発光フレームＦＬｘと、照明光と計測光を発光する計測光発光フレームＦＬｙとが含まれる。そして、測長モードでは、計測光発光フレームＦＬｙに得られた第１撮像画像からスポットＳＰの位置を検出する一方、照明光単独発光フレームＦＬｘに得られた第２撮像画像に対して、仮想スケールの表示を行う。

なお、図４の照明光又は計測光に対応する部分に示された実線は、あるフレームにおける発光状態を表している。実線が「ｏｎ」に対応する部分にある期間は、照明光又は計測光を発光する期間を示しており、実線が「ｏｆｆ」に対応する部分にある期間は、明光又は計測光を発光しない期間を示している。

図５に示すように、拡張プロセッサ装置１７の信号処理部４１は、スポットＳＰの位置認識、及び仮想スケールの設定を行うために、撮像画像におけるスポットＳＰの位置を検出する第１信号処理部５０と、スポットＳＰの位置に応じて第１仮想スケールを設定する第２信号処理部５１とを備えている。拡張プロセッサ装置１７には、各種処理に関するプログラムを格納するプログラム用メモリ（図示しない）が設けられている。内視鏡用プロセッサから構成される中央制御部（図示しない）がプログラム用メモリ内のプログラムを実行することによって、第１信号処理部５０と第２信号処理部の機能が実現する。

なお、撮像画像には、照明光及び計測光を常時点灯する場合に得られる撮像画像の他、照明光を常時点灯する一方、計測光を点灯又は消灯する場合において、照明光及び計測光の両方の点灯時に得られる第１撮像画像、静止画取得指示スイッチ１２ｇの操作で静止画取得指示が行われた場合に得られる静止画、又は、静止画自動取得部６６によって自動的に得られる静止画が含まれる。

第１信号処理部５０は、撮像画像からスポットＳＰの照射位置を検出する照射位置検出部５２を備えている。照射位置検出部５２では、スポットＳＰの照射位置として、スポットＳＰの重心位置座標を取得することが好ましい。

第２信号処理部５１は、スポットＳＰの照射位置に基づいて、被写体のサイズを計測するための仮想スケールとして、第１仮想スケールを設定し、第１仮想スケールのスケール表示位置を設定する。第１仮想スケールは、スケールを表示するスケール表示位置がスポットＳＰの位置によって変化し、且つ、スケール表示位置によって、表示態様が変化するスケールである。第２信号処理部５１は、第１仮想スケールの設定のために、スポットＳＰの照射位置及びスケール表示位置によって表示態様が異なる仮想スケール画像と、スポットの照射位置とのを関連付けて記憶するスケール用テーブル５３を参照して、スポットＳＰの照射位置に対応する第１仮想スケールを設定する。

第２信号処理部５１では、測長モードがＯＮの場合であって、ズーム機能の状態に応じて、仮想スケールとして、スケール表示位置が変化する第１仮想スケールと、スケール表示位置が固定の第２仮想スケールとのいずれかに設定するようにしてもよい。第２仮想スケールは、スケール表示位置が固定であり、且つ、画面の位置によらず表示態様が同じ、又は、画面の位置に応じて表示態様を変化させたスケールである。これは、撮像光学系２４の歪曲収差による歪みが画面の位置によって異なるため、画面の位置に応じて表示態様（例えば、スケールの形状）を変化させる。

第２信号処理部５１には、ズーム機能がＯＮ又はＯＦＦの状態、又は、拡大率に関する情報を認識するズーム機能認識部５４が設けられている。また、第２信号処理部５１には、第２仮想スケールの設定のために、第２仮想スケール設定部５５が設けられている。

図６に示すように、測長モードがＯＮに設定されている場合において、ズーム機能がＯＦＦ、又は、ズーム機能がＯＮで、且つ、特定の拡大率未満の場合には、スケール用テーブル５３を参照して第１仮想スケールを設定する。一方、ズーム機能がＯＮで、且つ、特定の拡大率以上の場合は、第２仮想スケールを設定する。特定の拡大率は、ズーム機能で試用する最大拡大率であることが好ましい。

第１仮想スケールは、スポットＳＰの照射位置及びスケール表示位置によって、例えば、大きさ、又は、形状が異なっている。スポットＳＰを中心として、第１仮想スケールを重畳した測長画像を拡張ディスプレイ１８に表示する。第１の仮想スケールとしては、例えば、円型の計測マーカを用いる。この場合、図７に示すように、観察距離が近端Ｐｘ（図３参照）に近い場合には、被写体の腫瘍ｔｍ１上に形成されたスポットＳＰ１の中心に合わせて、実寸サイズ５ｍｍ（撮像画像の水平方向及び垂直方向）を示す第１仮想スケールＭ１が表示される。

第１仮想スケールＭ１のスケール表示位置は、撮像光学系２４による歪みの影響を受ける撮像画像の周辺部に位置しているため、第１仮想スケールＭ１は、歪み等の影響に合わせて、楕円状となっている。以上の第１仮想スケールＭ１は腫瘍ｔｍ１の範囲とはほぼ一致しているため、腫瘍ｔｍ１は５ｍｍ程度と計測することができる。なお、撮像画像に対しては、スポットを表示せず、第１仮想スケールのみを表示するようにしてもよい。

また、図８に示すように、観察距離が中央付近Ｐｙに近い場合、被写体の腫瘍ｔｍ２上に形成されたスポットＳＰ２の中心に合わせて、実寸サイズ５ｍｍ（撮像画像の水平方向及び垂直方向）を示す第１仮想スケールＭ２が表示される。第１仮想スケールＭ２のスケール表示位置は、撮像光学系２４によって歪みの影響を受けにくい撮像画像の中心部に位置しているため、第１仮想スケールＭ２は、歪み等の影響を受けることなく、円状となっている。

また、図９に示すように、被写体の腫瘍ｔｍ３上に形成されたスポットＳＰ３の中心に合わせて、実寸サイズ５ｍｍ（撮像画像の水平方向及び垂直方向）を示す仮想スケールＭ３が表示される。第１仮想スケールＭ３のスケール表示位置は、撮像光学系２４による歪みの影響を受ける撮像画像の周辺部に位置しているため、第１仮想スケールＭ３は、歪み等の影響に合わせて、楕円状となっている。以上の図７～図９に示すように、観察距離が長くなるにつれて同一の実寸サイズ５ｍｍに対応する第１仮想スケールの大きさが小さくなっている。また、スケール表示位置によって、撮像光学系２４による歪みの影響に合わせて、第１仮想スケールの形状も異なっている。

なお、図７～図９では、スポットＳＰの中心とスケールの中心を一致させて表示しているが、計測精度上問題にならない場合には、スポットＳＰから離れた位置に第１仮想スケールを表示してもよい。ただし、この場合にもスポットの近傍に第１仮想スケールを表示することが好ましい。また、第１仮想スケールを変形して表示するのではなく、撮像画像の歪曲収差を補正し変形させない状態の第１仮想スケールを補正後の撮像画像に表示するようにしてもよい。

また、図７～図９では、被写体の実寸サイズ５ｍｍに対応する第１仮想スケールを表示しているが、被写体の実寸サイズは観察対象や観察目的に応じて任意の値（例えば、２ｍｍ、３ｍｍ、１０ｍｍ等）を設定してもよい。また、図７～図９では、第１の仮想スケールを、略円型としているが、図１０に示すように、縦線と横線が交差する十字型としてもよい。また、十字型の縦線と横線の少なくとも一方に、目盛りＭｘを付けた目盛り付き十字型としてもよい。また、第１仮想スケールとして、縦線、横線のうち少なくともいずれかを傾けた歪曲十字型としてもよい。また、第１仮想スケールを、十字型と円を組み合わせた円及び十字型としてもよい。その他、第１仮想スケールを、スポットから実寸サイズに対応する複数の測定点ＥＰを組み合わせた計測用点群型としてもよい。また、第１仮想スケールの数は一つでも複数でもよいし、実寸サイズに応じて第１の仮想スケールの色を変化させてもよい。

なお、第１仮想スケールとして、図１１に示すように、大きさが異なる３つの同心円状の第１仮想スケールＭ４Ａ、Ｍ４Ｂ、Ｍ４Ｃ（大きさはそれぞれ直径が２ｍｍ、５ｍｍ、１０ｍｍ）を、腫瘍ｔｍ４上に形成されたスポットＳＰ４を中心として、撮像画像上に表示するようにしてもよい。この３つの同心円状の仮想スケールは、仮想スケールを複数表示するので切替の手間が省け、また、被写体が非線形な形状をしている場合でも計測が可能である。なお、スポットを中心として同心円状の仮想スケールを複数表示する場合には、大きさや色を仮想スケール毎に指定するのではなく、複数の条件の組合せを予め用意しておきその組み合わせの中から選択できるようにしてもよい。

図１１では、３つの第１同心円状の仮想スケールを全て同じ色（黒）で表示しているが、複数の同心円状のスケールを表示する場合、仮想スケールによって色を変えた複数の色付き同心円状のスケールとしてもよい。図１２に示すように、第１仮想スケールＭ５Ａは赤色を表す点線、第２仮想スケールＭ５Ｂは青色を表す実線、第３仮想スケールＭ５Ｃは白を表す一点鎖線で表示している。このように第１仮想スケールの色を変えることで識別性が向上し、容易に計測を行うことができる。

また、第１の仮想スケールとしては、複数の同心円状の仮想スケールの他、図１３に示すように、各同心円を歪曲させた複数の歪曲同心円状の第１仮想スケールを用いてもよい。この場合、歪曲同心円状の第１仮想スケールＭ６Ａ、仮想スケールＭ６Ｂ、仮想スケールＭ６Ｃが、腫瘍ｔｍ５に形成されたスポットＳＰ５を中心に撮像画像に表示されている。

なお、計測光については、被写体に照射された場合に、スポットとして形成される光を用いているが、その他の光を用いるようにしてもよい。例えば、被写体に照射された場合に、図１４に示すように、被写体上に交差ライン５７として形成される平面状の計測光を用いるようにしてもよい。この場合には、第１仮想スケールとして、交差ライン５７及び交差ライン５７上に被写体の大きさ（例えば、ポリープＰ）の指標となる目盛り５８からなるスケールを生成する。

平面状の計測光を用いる場合には、照射位置検出部５２は、交差ライン５７の位置（計測光の照射位置）を検出する。交差ライン５７が下方に位置する程、観察距離が近く、交差ライン５７が上方に位置する程、観察距離が遠くなる。そのため、交差ライン５７が下方に位置する程、目盛り５８の間隔は大きくなり、交差ライン６７が上方に位置する程、目盛り５８の間隔は小さくなる。

ズーム機能が特定の拡大率（例えば、最大拡大率）以上の場合に用いる第２仮想スケールの具体例について、以下説明する。例えば、図１５に示すように、６つの同心円で構成される第２仮想スケール６０を用いてもよい。第２仮想スケール６０は、１ｍｍのサイズを示す円状スケール６０ａ、２ｍｍのサイズを示す円状スケール６０ｂ、３ｍｍのサイズを示す円状スケール６０ｃ、４ｍｍのサイズを示す円状スケール６０ｄ、５ｍｍのサイズを示す円状スケール６０ｅ、及び、６ｍｍのサイズを示す円状スケール６０ｆから構成され、これら円状スケール６０ａ～６０ｆは、同じ中心ＣＴｘを中心に表示される。第２仮想スケール６０のスケール表示位置については、中心ＣＴｘを拡張ディスプレイ１８の画面中央とし、固定されている。そのため、第２仮想スケール６０の表示に関しては、スポットＳＰの位置に関する情報は不要である（下記の第２仮想スケール６２、６４についても同様。）。

ここで、ズーム機能がＯＮの場合における撮像光学系２４の歪曲収差の絶対値は、ズーム機能がＯＦＦの場合における撮像光学系２４の歪曲収差の絶対値よりも小さいことが知られている。具体的には、最大拡大率の場合における歪曲収差の絶対値は、１０％以下である。そのため、最大拡大率のようにズーム機能が特定の拡大率以上の場合においては、画面周辺部などでの形状歪みが小さいため、ズーム機能がＯＦＦの場合のように、スケールの形状を画面の位置に応じて変形させる必要がない（図７、図９参照）。そのため、第２仮想スケール６０においては、円状スケール６０ｅ、６０ｆのように、画面周辺部に位置するスケールについて、画面の位置に応じた変形を施していない。

また、図１６に示すように、縦軸６２ａと横軸６２ｂにそれぞれ１ｍｍ間隔のメモリが設けられた十字型の第２仮想スケール６２を用いてもよい。第２仮想スケール６２では、縦軸６２ａにおいて１ｍｍ間隔で目盛りが設けられており、横軸６２ｂにおいても１ｍｍ間隔で目盛りが設けられている。第２仮想スケール６２のスケール表示位置については、縦軸６２ａと横軸６２ｂの交差点６２ｃを拡張ディスプレイ１８の画面中央とし、固定されている。第２仮想スケール６２においても、ズーム機能が特定の拡大率以上の場合においては、縦軸６２ａと横軸６２のうち画面周辺部に位置する部分の目盛りの間隔を、画面の位置に応じて変えていない。

また、図１７に示すように、縦横１ｍｍの正方格子を縦方向と横方向に配列した正方格子状の第２仮想スケール６４を用いてもよい。第２仮想スケール６４のスケール表示位置については、中心ＣＴｙを拡張ディスプレイ１８の画面中央とし、固定されている。第２仮想スケール６４においても、ズーム機能が特定の拡大率以上の場合においては、画面周辺部に位置する部分の正方格子の形状を、画面の位置に応じて変形させていない。

内視鏡システム１０においては、測長モードに設定されている場合に、手動又は自動で静止画の取得が行われる。図１８に示すように、手動で静止画の取得を行う場合には、ユーザーが静止画取得指示スイッチ１２ｇを操作することによって、プロセッサ装置１４に静止画取得指示が送信される。プロセッサ装置１４では、静止画取得指示が行われたタイミングの静止画に、静止画取得指示が行われたタイミングの測長情報を関連付けて、静止画保存部３７に保存される。測長情報には、スポットＳＰの位置情報、第１仮想スケール又は第２仮想スケールなどの情報の他、第１仮想スケール又は第２仮想スケールに基づいて計測対象物のサイズを数値化した情報が含まれる。

一方、自動で静止画の取得を行う場合には、プロセッサ装置１４内の静止画自動取得部６６が、撮像画像が自動取得対象画像を満たす画像か否かをモニタリングし、自動取得対象画像に該当する撮像画像を、静止画として、自動的に静止画保存部３７に保存する。自動取得対象画像には、特定の病変に関する特定観察画像の他、ＥＳＤ（Endoscopic Submucosal Dissection）などの処置に関する処置画像が含まれる。自動的に取得した静止画については、手動の場合と同様に、自動取得が行われたタイミングの測長情報と関連づけて静止画保存部３７に保存される。なお、静止画自動取得部６６は、自動取得対象画像を含む教師用画像データで機械学習された学習済みモデルであってもよい。機械学習には、教師あり学習、半教師なし学習、教師なし学習、強化学習、深層強化学習、ニューラルネットワークを用いた学習、深層学習等が含まれる。

なお、ＥＳＤなどの処置を行う場合における静止画の取得については、処置後のレポート作成のために、処置を行った処置時の静止画と摘出した標本の静止画の両方を取得することが好ましい。具体的には、図１９に示すように、内視鏡１２による患者ＰＴの消化管の撮影中に、手動又は自動で静止画を取得する。測長モードにおいては、取得した静止画に測長情報が関連付けて静止画保存部３７に保存される。消化管の撮影には、病変などの観察の他、ＥＳＤなどの処置が含まれる。

一方、図２０に示すように、ＥＳＤなどの処置を行った場合には、内視鏡１２を患者から抜去した後、内視鏡１２によって、処置によって摘出した摘出標本７０の静止画を手動又は自動で取得する。測長モードにおいては、取得した静止画に測長情報が関連付けて静止画保存部３７に保存される。上記の処置時の静止画と標本の静止画については、ネットワークＮＴを介して、内視鏡業務支援装置１００に送信される。なお、プロセッサ装置１４では、静止画保存部３７で保存する静止画については、体内又は体外の静止画のいずれかを識別するために、処置を行った処置時の静止画については、体内静止画のタグを付し、摘出した標本の静止画については、体外静止画のタグを付してもよい。

図２１に示すように、内視鏡業務支援装置１００は、画像受信部１０１、静止画組み合わせ部１０２、静止画判別部１０５、検査目的認識部１０６、表示制御部１０７、業務支援用ディスプレイ１０８、ユーザーインターフェース１０９、画像記憶ストレージ１１０を備えている。内視鏡業務支援装置１００には、各種処理に関するプログラムを格納するプログラム用メモリ（図示しない）が設けられている。業務支援用プロセッサで構成される中央制御部（図示しない）によってプログラム用メモリ内のプログラムを実行することによって、画像受信部１０１、静止画組み合わせ部１０２、静止画判別部１０５、検査目的認識部１０６、表示制御部１０７の機能が実現する。

画像受信部１０１は、内視鏡システム１０で取得した静止画を受信する。受信した静止画は画像記憶ストレージ１１０に記憶される。レポートなど医療文書の作成指示などに応じて、画像記憶ストレージ１１０から順次静止画が読み出される。なお、静止画は、静止画保存部３７に保存された静止画であることが好ましい。なお、ユーザーインターフェース１０９は、ユーザーインターフェース１６と同様の機能を有することが好ましい。

内視鏡業務支援装置１００において、ＥＳＤ処置に関するレポートのなどの医療文書の作成指示が行われた場合には、医療文書の作成に用いる静止画が画像記憶ストレージ１１０から読み出される。静止画組み合わせ部１０２は、画像記憶ストレージ１１０から読み出された静止画のうち体内静止画と体外静止画とを照合する静止画照合処理を行い、少なくとも静止画照合処理で体内静止画と体外静止画とを組み合わせする。組み合わせされた体内静止画と体外静止画は、画像記憶ストレージ１１０内の症例画像フォルダ１１０ａに格納され、医療文書の作成等に用いられる。静止画照合処理は、体内静止画と体外静止画の明るさ、色情報を用いるパターンマッチングなどによって行うことが好ましい。

体外静止画は、内視鏡システム１０で体内静止画のタグが付けられた静止画であり、体外静止画は、内視鏡システム１０で体外静止画のタグが付された静止画であることが好ましい。内視鏡システム１０で体外静止画又は体外静止画のタグ付けがされていない場合には、静止画判別部１０５で、体内静止画又は体外静止画の判別が行われる。

静止画判別部１０５では、明るさ、色情報など静止画の特徴量に基づいて、体内静止画又は体外静止画のいずれかを判別する。なお、静止画判別部１０５は、教師用画像データで機械学習された学習済みモデルであってもよい。機械学習には、教師あり学習、半教師なし学習、教師なし学習、強化学習、深層強化学習、ニューラルネットワークを用いた学習、深層学習等が含まれる。

静止画組み合わせ部１０２では、静止画照合処理に加えて、体内静止画と体外静止画とで検査目的が一致するかどうかの検査目的判別処理を行い、静止画照合処理と検査目的判別処理に基づいて、体内静止画と体外静止画とを組み合わせてもよい。この場合には、体内静止画又は体外静止画に、検査目的が関連付けられていることが必要である。検査目的には、観察と処置が含まれることが好ましい。具体的には、検査目的が処置である体内静止画と体外静止画とを組み合わせする場合には、静止画組み合わせ部１０２は、静止画照合処理の結果、体外静止画と一致する体内静止画のうち、検査目的が処置である体内静止画と体外静止画とを組み合わせする。

なお、検査目的認識部１０６において、体内静止画と体外静止画の検査目的を自動的に認識することが好ましい。検査目的認識部１０６では、処置具の有無など体内静止画又は体外静止画の特徴量に基づいて、検査目的を認識する。認識結果に基づいて、体内静止画又は体外静止画に検査目的が関連付けられる。後述するように、業務支援用ディスプレイ１０８に表示された検査目的選択画面（図２４参照）で、ユーザーが手動で、検査目的を選択してもよい。なお、検査目的認識部１０６は、教師用画像データで機械学習された学習済みモデルであってもよい。機械学習には、教師あり学習、半教師なし学習、教師なし学習、強化学習、深層強化学習、ニューラルネットワークを用いた学習、深層学習等が含まれる。

静止画組み合わせ部１０２において、静止画照合処理と検査目的判別処理に基づいて体内静止画と体外静止画とを組み合わせる場合の具体例を以下説明する。図２２に示すように、体外静止画として、検査目的が処置の体外静止画Ｘ１（体外１（処置））があり、体内静止画として、検査目的が観察の体内静止画Ｙ１（体内１（観察））、検査目的が観察の体内静止画Ｙ２（体内２（観察））、検査目的が処置の体内静止画Ｙ３（体内３（処置））、・・・、検査目的が観察の体内静止画ＹＮ（体内Ｎ（観察））がある場合において、まず、静止画照合処理によって、体外静止画Ｘ１と一致する体内静止画として、体内静止画Ｙ２と体内静止画Ｙ３とを選択する。次に、検査目的判別処理によって、体内静止画Ｙ２と体内静止画Ｙ３のうち、検査目的が処置の体外静止画Ｘ１と一致する体内静止画Ｙ３を選択する。以上によって、静止画組み合わせ部１０２では、体外静止画Ｘ１と体内静止画Ｙ３とを組み合わせする。

静止画組み合わせ部１０２では、静止画照合処理に加えて、測長情報が一致するかどうかの測長情報判別処理を行い、静止画照合処理と測長情報判別処理に基づいて、体内静止画と体外静止画とを組み合わせてもよい。この場合には、体内静止画と体外静止画とにそれぞれ測長情報が関連付けられていることが必要である。具体的には、静止画組み合わせ部１０２では、静止画照合処理の結果、体外静止画と一致する体内静止画のうち、測長情報が体外静止画と一致する体内静止画と体外静止画とを組み合わせする。なお、測長情報判別処理で測長情報の一致又は不一致の判別を行うために、測長情報は、第１仮想スケール又は第２仮想スケールに基づいて手動又は自動で測長対象物を数値化したサイズ情報であることが好ましい。

静止画組み合わせ部１０２において、静止画照合処理と測長情報判別処理に基づいて体内静止画と体外静止画とを組み合わせる場合の具体例を以下説明する。図２３に示すように、体外静止画として、測長情報が測長Ｃの体外静止画Ｘ１（体外１（測長Ｃ））があり、体内静止画として、測長情報が測長Ａの体内静止画Ｙ１（体内１（測長Ａ））、測長情報が測長Ｂの体内静止画Ｙ２（体内２（測長Ｂ））、測長情報が測長Ｃの体内静止画Ｙ３（体内３（測長Ｃ））、・・・、測長情報が測長Ｎの体内静止画ＹＮ（体内Ｎ（測長Ｎ））がある場合において、まず、静止画照合処理によって、体外静止画Ｘ１と一致する体内静止画として、体内静止画Ｙ２と体内静止画Ｙ３とを選択する。次に、測長情報判別処理によって、体内静止画Ｙ２と体内静止画Ｙ３のうち、測長情報が体外静止画Ｘ１と一致する体内静止画Ｙ３を選択する。以上によって、静止画組み合わせ部１０２では、体外静止画Ｘ１と体内静止画Ｙ３とを組み合わせする。

図２４に示すように、表示制御部１０３は、静止画組み合わせ部１０２で組み合わせされた体内静止画１１２と体外静止画１１３とを業務支援用ディスプレイ１０８に表示する。ユーザーは、体内静止画１１２及び体外静止画１１３を用いて、処置に関するレポートなどの医療文書を作成する。

業務支援用ディスプレイ１０８には、体内静止画又は体外静止画について、それぞれの測長情報を表示する測長情報表示領域１１４、１１５が設けられている。例えば、測長情報表示領域１１４には、標本を摘出した範囲に関する摘出範囲のサイズを表示し、測長情報表示領域１１５には、ＥＳＤなどの処置で摘出した標本サイズを表示することが好ましい。

また、ユーザーが、体内静止画に対して、手動で検査目的を入力するために、業務支援用ディスプレイ１０８には、検査目的選択画面１１６が設けられている。検査目的選択画面１１６は、観察を選択するための観察選択アイコン１１６ａと、処置を選択するための処置選択アイコン１１６ｂとが含まれる。検査目的を手動で入力する場合には、ユーザーインターフェース１０９を操作して検査目的入力モードに切り替える。検査目的入力モードでは、内視鏡業務体内静止画の表示領域に、画像記憶ストレージ１１０に記憶した静止画のうち体内静止画が順次表示される。ユーザーは、順次表示される体内静止画に対して、ユーザーインターフェース１０９を操作して、観察選択アイコン１１６ａ又は処置選択アイコン１１６ｂをクリックし、観察又は処置のいずれかを選択する。選択操作によって、体内静止画には観察又は処置の検査目的が関連付けられる。

次に、内視鏡業務支援装置１００において、内視鏡システム１０で取得した体内静止画と体外静止画とを組わせて業務支援用ディスプレイ１０８に表示する一連の流れについて、図２５のフローチャートに沿って説明する。ユーザーインターフェース１０９の操作に従って、画像受信部１０１は、内視鏡システム１０からネットワークＮＴを介して静止画を受信する。受信した静止画は、画像記憶ストレージ１１０に記憶される。

ユーザーインターフェース１０９の操作によって、医療文書の作成などの内視鏡業務支援の指示が行われた場合には、静止画組み合わせ部１０２は、画像記憶ストレージ１１０から静止画を読み出す。静止画組み合わせ部１０２では、静止画のうち体内静止画と体外静止画とを照合する静止画照合処理を行い、少なくとも静止画照合処理の結果に基づいて、体内静止画と体外静止画とを組み合わせする。表示制御部１０７は、組み合わせされた体内静止画と体外静止画とを業務支援用ディスプレイ１０８に表示する。また、、組み合わせされた体内静止画と体外静止画とは、画像記憶ストレージ１１０内の症例画像フォルダ１１０ａに格納される。ユーザーによる所見等の入力が完了すると、ユーザーは、ユーザーインターフェース１０９を操作して、内視鏡業務支援を完了させる。

なお、上記実施形態においては、注目領域の計測部分に合わせて、仮想スケールの形状を変更してもよい。この場合には、図２６に示すように、拡張プロセッサ装置１７の信号処理部４５は、照射位置特定部５２、基準スケール設定部１２０、計測値スケール生成部１２１、及び測長画像生成部１２２を備える。基準スケール設定部１２０は、スポットＳＰの位置に基づいて、被写体の実寸サイズを示す基準スケールを設定する。計測値スケール生成部１２１は、設定された基準スケールに基づいて、注目領域の計測部分を計測した計測値を示す計測値スケールを生成する。なお、基準スケール及び計測値スケールは、撮像画像上に表示する仮想的なものであるため、仮想スケールに対応する。

注目領域とは、被写体に含まれるユーザーが注目すべき領域である。注目領域は、例えば、ポリープ等であり、計測が必要とされる可能性が高い領域である。また、計測部分とは、注目領域において、長さ等を計測する部分である。例えば、注目領域が発赤部である場合、計測部分は発赤部の最も長い部分等であり、また、注目領域が円形である場合、計測部分は注目領域の直径部分等である。

測長画像生成部１２２は、撮像画像に計測値スケールを重畳した測長画像を作成する。計測値スケールは、注目領域の計測部分に合わせた状態で撮像画像に重畳する。測長画像は拡張ディスプレイ１８に表示される。

図２７に示すように、基準スケール設定部１２０は、基準スケール用テーブル１２０ａを備える。基準スケール用テーブル１２０ａは、スポットＳＰの位置と被写体の実寸サイズに対応する測長情報とを対応付けた対応情報である。測長モードにおいて、観察対象であるポリープ１２３を含む被写体が撮影された撮像画像１１４が信号処理部４５に入力される。図２８に示すように、撮像画像１２４において、ポリープ１２３は、例えば、球が重なったような立体形状を有する。例えば、ポリープ１２３上の端部にスポットＳＰを形成する。撮像画像１２４に基づき、照射位置検出部５２は、スポットＳＰの位置を特定する。基準スケール設定部１２０は、基準スケール用テーブル１２０ａを参照して、特定したスポットＳＰの位置に対応した、被写体の実寸サイズを示す基準スケール１３１を設定する。

基準スケール１３１は、例えば、実寸サイズにおける２０ｍｍに対応するピクセル数を有する線分並びに実寸サイズを示す数値及び単位である。基準スケール１３１は、通常は拡張ディスプレイ１８に表示しないが、基準スケール１３１を拡張ディスプレイ１８に表示する場合は、撮像画像１２４のように表示する。

図２９に示すように、計測値スケール生成部１２１は、注目領域抽出部１２５と、計測部分決定部１２６と、計測内容受付部１２７と、計測値算出部１２８とを備える。図３０に示すように、注目領域抽出部１２５は、撮像画像１２４のように、ハッチングされた領域を注目領域１２９として抽出する。次に、図３１に示すように、計測部分決定部１２６は、例えば、予め設定した基準が、スポットＳＰを基点とした水平方向における注目領域の部分を計測するとの基準である場合、撮像画像１２４のように、スポットＳＰを基点として、水平方向エッジ位置１３０を抽出する。スポットＳＰと水平方向エッジ位置１３０との間が計測部分となる。

計測値算出部１２８は、例えば、基準スケールの実寸サイズをＬ０、撮像画像１２４に基準スケール１３１のピクセル数をＡａ、撮像画像１２４において注目領域１２９に基準スケール１３１を重畳した場合の計測部分のピクセル数をＢａ、及び計測値スケール１３２の実寸サイズをＬ１とした場合、以下の式（Ｋ１）を満たすように計測値スケール１３２を生成する。
式（Ｋ１）Ｌ１＝Ｌ０×Ｂａ／Ａａ

図３２に示すように、計測値算出部１２８は、撮像画像１２４ａに示す基準スケール１３１に対応するピクセル数Ａａと、撮像画像１２４ｂに示すスポットＳＰと水平方向エッジ位置１３０との間の計測部分に対応するピクセル数Ｂｂにより、例えば、Ｂａ／Ａａが０．７であった場合、基準スケール１３１の実寸サイズが２０ｍｍである場合には、撮像画像１２４ｄのように、計測値スケール１３２の実寸サイズを１４ｍｍと算出する。

測長画像生成部１２２は、撮像画像１２４に計測値スケール１３２を重畳した測長画像１３３を生成する。例えば、図３３に示すように、計測値スケール１３２は、直線の線分の形状である矢印等の図形により、撮像画像１２４に重畳する。測長画像１３３には、計測値スケール１３２の実寸サイズの数値を含んでもよい。なお、計測値スケール１３２の実寸サイズの数値は、矢印等の図形と離れた状態で撮像画像１２４に重畳してもよい。

計測値スケール１３２の種類は、複数の中から選択が可能である。計測内容受付部１２７が計測値スケールの内容の設定を受け付けて計測値スケール生成部１２１にその内容を送り、計測値スケール生成部１２１がその内容に基づいて生成した計測値スケール１３２を用いて、測長画像生成部１２２が測長画像１３３を生成する。

なお、注目領域抽出部１２５は、過去に取得された撮像画像により学習した学習済みモデルを用いて注目領域を抽出することが好ましい。学習済みモデルに用いるモデルは、機械学習による画像認識において好適な各種のモデルを用いることができる。画像上の注目領域を認識する目的から、ニューラルネットワークを用いたモデルが好ましく使用できる。これらのモデルに対し学習させる場合は、教師データとして、注目領域の情報を持つ撮像画像を用いて学習させる。注目領域の情報としては、注目領域の有無、注目領域の位置又は範囲等が挙げられる。なお、モデルに応じて、注目領域の情報を持たない撮像画像により学習させてもよい。

また、計測部分決定部１２６も、過去に取得された撮像画像により学習した学習済みモデルを用いて計測部分を決定することが好ましい。学習済みモデルに用いるモデル等は、注目領域抽出部と同様であるが、これらのモデルに対し学習させる場合は、計測部分の情報を持つ撮像画像による学習させる。計測部分の情報としては、計測値とその計測部分が挙げられる。なお、モデルに応じて、計測部分の情報を持たない撮像画像により学習させてもよい。なお、注目領域抽出部１２５が用いる学習済みモデルと、計測部分決定部１２６が用いる学習済みモデルとは共通としてもよい。計測部分を抽出するとの目的の場合は、１つの学習済みモデルにより、撮像画像１２４から注目領域を抽出せずに、計測部分を抽出するようにしてもよい。

なお、計測光については、被写体に照射された場合に、図３４に示すように、被写体上に縞状のパターンの光として形成される縞状パターン光ＺＰＬを用いてもよい（例えば、特開２０１６－１９８３０４号公報参照）。縞状パターン光ＺＰＬは、透過率可変の液晶シャッター（図示しない）に特定のレーザー光を照射することによって得られ、液晶シャッタによって特定のレーザー光を透過する領域（透過領域）と特定のレーザー光を透過しない（非透過領域）とが水平方向に周期的に繰り返す２つの異なる縦縞のパターンから形成される。計測光として縞状パターン光を用いる場合には、被写体との距離によって、縞状パターン光の周期が変化することから、液晶シャッタによって縞状パターン光の周期又は位相をシフトして複数回照射し、周期又は位相をシフトして得られる複数の画像に基づいて、被写体の３次元形状の測定が行われている。

例えば、位相Ｘの縞状パターン光と、位相Ｙの縞状パターン光と、位相Ｚの縞状パターン光とを交互に被写体に照射する。位相Ｘ、Ｙ、Ｚの縞状パターン光は、縦縞のパターンを１２０°（２π／３）ずつ位相シフトしている。この場合には、各縞状パターン光に基づいて得られる３種類の画像を用いて、被写体の３次元形状を測定する。例えば、図３５に示すように、位相Ｘの縞状パターン光と、位相Ｙの縞状パターン光と、位相Ｚの縞状パターン光とを、それぞれ１フレーム単位（又は数フレーム単位）で切り替えて被写体に照射することが好ましい。なお、照明光は常時被写体に照射することが好ましい。

なお、計測光については、被写体に照射された場合に、図３６に示すように、格子状のパターンとして形成される格子状パターンの計測光ＬＰＬを用いてもよい（例えば、特開２０１７－２１７２１５号公報参照）。この場合は、格子状パターンの計測光ＬＰＬを被写体に照射した場合の格子状パターンの変形状態によって被写体の３次元形状を測定することから、格子状パターンを正確に検出することが求められる。そのため、格子状パターンの計測光ＬＰＬは完全な格子状ではなく、格子状パターンの検出精度を高めるように、波状にするなど格子状から若干変形させている。また、格子状のパターンには、左右の横線分の端点が連続であることを示すＳのコードが設けられている。格子状パターンの検出時には、パターンだけでなく、Ｓのコードも合わせて検出することによって、パターンの検出精度を高めている。なお、格子状パターンとしては、縦線と横線が規則的に配列されたパターンの他、複数のスポットが縦と横に格子状に配列されたパターンであってもよい。

計測光として格子状パターンの計測光ＬＰＬを用いる場合においては、測長モード中に、照明光と格子状パターンの計測光ＬＰＬを常時被写体に照射してもよく、また、図３７に示すように、照明光は常時被写体に照射する一方で、格子状パターンの計測光ＬＰＬは１フレーム毎（又は数フレーム毎）に、点灯と消灯（又は減光）を繰り返すことによって、格子状パターンの計測光ＬＰＬを間欠的に被写体に照射してもよい。この場合には、格子状パターンの計測光ＬＰＬを点灯するフレームにおいて、格子状パターンの計測光ＬＰＬに基づく３次元形状の計測を行う。そして、照明光のみを照射するフレームにおいて得られた画像に対して、３次元形状の計測結果を重畳表示することが好ましい。

なお、計測光については、図３８示すように、被写体画像上において網線によって表される３次元平面光ＴＰＬを用いてもよい（例えば、特表２０１７－５０８５２９号公報参照）。この場合には、３次元平面光ＴＰＬが測定対象に合うように先端部１２ｄを動かす。そして、３次元平面光ＴＰＬが測定対象に交差した場合に、３次元平行光ＴＰＬと被写体との交差曲線ＣＣの距離を、ユーザーインターフェース等の手動操作に基づく処理又は自動処理によって、算出する。

計測光として３次元平面光ＴＰＬを用いる場合においては、測長モード中に、照明光と３次元平面光ＴＰＬを常時被写体に照射してもよく、また、図３９に示すように、照明光は常時被写体に照射する一方で、３次元平面光ＴＰＬは１フレーム毎（又は数フレーム毎）に、点灯と消灯（又は減光）を繰り返すことによって、３次元平面光ＴＰＬを間欠的に被写体に照射してもよい。

上記実施形態において、第１信号処理部５０、第２信号処理部５１、静止画自動取得部６６、画像受信部１０１、静止画組み合わせ部１０２、静止画判別部１０５、検査目的認識部１０６、表示制御部１０７といった各種の処理を実行する処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＦＰＧＡ (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡや、ＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路（circuitry）である。また、記憶部のハードウェア的な構造はＨＤＤ（hard disc drive）やＳＳＤ（solid state drive）等の記憶装置である。

５ 内視鏡業務支援システム
１０ 内視鏡システム
１２ 内視鏡
１２ａ 挿入部
１２ｂ 操作部
１２ｃ 湾曲部
１２ｄ 先端部
１２ｆ モード切替スイッチ
１２ｇ 静止画取得指示スイッチ
１２ｈ ズーム操作部
１３ 光源装置
１４ プロセッサ装置
１５ ディスプレイ
１６ ユーザーインターフェース
１７ 拡張プロセッサ装置
１８ 拡張ディスプレイ
２０ 光源部
２１ 光源用プロセッサ
２２ 照明光学系
２２ａ 照明レンズ
２３ 計測光出射部
２４ 撮像光学系
２４ａ 対物レンズ
２４ｂ ズームレンズ
２５ 撮像素子
２６ ＣＤＳ／ＡＧＣ回路
２７ Ａ／Ｄ変換器
２８、３０ 通信Ｉ／Ｆ
２９ 撮像制御部
３２ システム制御部
３３ 受信部
３４ 信号処理部
３５ 表示制御部
３６ データ送受信部
３７ 静止画保存部
４０ データ送受信部
４１ 信号処理部
４２ 表示制御部
５０ 第１信号処理部
５１ 第２信号処理部
５２ 照射位置検出部
５３ スケール用テーブル
５４ ズーム機能認識部
５５ 第２仮想スケール設定部
５７ 交差ライン
５８ 目盛り
６０、６２ ６４ 第２仮想スケール
６０ａ～６０ｆ 円状スケール
６２ａ 縦軸
６２ｂ 横軸
６２ｃ 交差点
６６ 静止画自動取得部
７０ 摘出標本
１００ 内視鏡業務支援装置
１０１ 画像受信部
１０２ 静止画組み合わせ部
１０５ 静止画判別部
１０６ 検査目的認識部
１０７ 表示制御部
１０８ 業務支援用ディスプレイ
１０９ ユーザーインターフェース
１１０ 画像記憶ストレージ
１１０ａ 症例画像フォルダ
１１２ 体内静止画
１１３ 体外静止画
１１４、１１５ 測長情報表示領域
１１６ 検査目的選択画面
１１６ａ 観察選択アイコン
１１６ｂ 処置選択アイコン
１２０ 基準スケール設定部
１２０ａ 基準スケール用テーブル
１２１ 計測値スケール処理部
１２２ 測長画像生成部
１２３ ポリープ
１２４、１２４ａ、１２４ｂ、１２４ｄ 撮像画像
１２５ 注目領域検出部
１２６ 計測部分決定部
１２７ 計測内容決定部
１２８ 計測値算出部
１２９ 注目領域
１３０ 水平方向エッジ位置
１３１ 基準スケール
１３２ 計測値スケール
１３３ 測長画像
ＣＣ 交差曲線
ＣＴｘ、ＣＴｙ 中心
ＦＬｘ 照明光単独発光フレーム
ＦＬｙ 計測光発光フレーム
ＬＧ ライトガイド
Ｌｍ 計測光
ＬＰＬ 格子状のパターン光
Ｍ１、Ｍ２、Ｍ３ 第１仮想スケール
Ｍ４１、Ｍ４２、Ｍ４３ 仮想スケール
Ｍ４Ａ、Ｍ４Ｂ、Ｍ４Ｃ 第１仮想スケール
Ｍ５Ａ、Ｍ５Ｂ、Ｍ５Ｃ 第１仮想スケール
Ｍ６Ａ、Ｍ６Ｂ、Ｍ６Ｃ 第１仮想スケール
ＮＴ ネットワーク
Ｐ ポリープ
ＰＴ 患者
Ｐｘ 近端
Ｐｙ 中央付近
Ｐｚ 遠端
ＳＰ スポット
ＳＰ１、ＳＰ２、ＳＰ３、ＳＰ４、ＳＰ５ スポット
ＴＰＬ ３次元平面光
Ｘ１ 体外静止画
Ｙ１、Ｙ２、Ｙ３、ＹＮ 体内静止画
ＺＰＬ 縞状パターン光

Claims (11)

1. 業務支援用プロセッサを備え、
   前記業務支援用プロセッサは、
   内視鏡システムで取得した静止画を受信し、
   前記静止画のうち体内静止画と体外静止画とを照合する静止画照合処理を行い、少なくとも静止画照合処理の結果に基づいて、前記体内静止画と前記体外静止画とを組み合わせし、
   組み合わせされた前記体内静止画と前記体外静止画とを業務支援用ディスプレイに表示する内視鏡業務支援装置。
2. 前記業務支援用プロセッサが、前記静止画が前記体内静止画又は前記体外静止画のいずれかであるかを判別する請求項１記載の内視鏡業務支援装置。
3. 前記体内静止画又は前記体外静止画には、処置又は観察を含む検査目的が関連付けられており、
   前記業務支援用プロセッサは、前記静止画照合処理の結果、前記体外静止画と一致する前記体内静止画のうち、前記検査目的が前記処置である体内静止画を前記体外静止画と組み合わせる請求項１または２記載の内視鏡業務支援装置。
4. 前記体内静止画又は前記体外静止画には測長情報が関連付けられており、
   前記業務支援用プロセッサは、前記静止画照合処理の結果、前記体外静止画と一致する前記体内静止画のうち、前記体外静止画と測長情報が一致する体内静止画を前記体外静止画と組み合わせる請求項１または２記載の内視鏡業務支援装置。
5. 前記業務支援用ディスプレイには、前記体内静止画又は前記体外静止画の少なくともいずれかの測長情報を表示する測長情報表示領域と、検査目的を選択するための検査目的選択画面とが設けられている請求項１記載の内視鏡業務支援装置。
6. 撮像光学系を用いて被写体を撮像することにより手動又は自動で得られる前記静止画を取得する内視鏡を有する前記内視鏡システムと、
   請求項１ないし５いずれか１項記載の内視鏡業務支援装置と、を備え、
   前記体内静止画又は前記体外静止画は前記内視鏡によって得られる内視鏡業務支援システム。
7. 前記内視鏡は、計測光の光軸と前記撮像光学系の光軸とを交差した状態で前記計測光を出射する計測光出射部を有し、前記計測光が照明された前記被写体を、撮像光学系を用いて撮像することによって、前記静止画を取得し、
   前記内視鏡システムは、
   前記静止画に含まれる前記計測光の照射位置に基づいて、測長情報を取得するプロセッサ装置を備える請求項６記載の内視鏡業務支援システム。
8. 前記測長情報は、被写体のサイズを計測するための仮想スケールに基づく情報であり、
   前記プロセッサ装置は、
   内視鏡用プロセッサを備え、
   前記内視鏡用プロセッサは、
   前記静止画から計測光の照射位置を検出し、
   前記計測光の照射位置及びスケール表示位置によって表示態様が異なる仮想スケール画像と、前記計測光の照射位置とを関連付けて記憶するスケール用テーブルを参照して、前記仮想スケールとして、前記計測光の照射位置に合わせて前記スケール表示位置が変化する第１仮想スケールを設定する請求項７記載の内視鏡業務支援システム。
9. 前記測長情報は、被写体のサイズを計測するための仮想スケールに基づく情報であり、
   前記内視鏡は、ズーム機能を有し、
   前記プロセッサ装置は、
   内視鏡用プロセッサを備え、
   前記内視鏡用プロセッサは、
   前記ズーム機能がONで且つ特定の拡大率以上の場合には、前記仮想スケールとして、スケール表示位置が固定の第２仮想スケールを設定する請求項７記載の内視鏡業務支援システム。
10. 前記第２仮想スケールは、画面の位置によらず表示態様が同じ、又は、画面の位置に応じて表示態様が変化する請求項９記載の内視鏡業務支援システム。
11. 業務支援用プロセッサが、
    内視鏡システムで取得した静止画を受信するステップと、
    前記静止画のうち体内静止画と体外静止画とを照合する静止画照合処理を行い、少なくとも静止画照合処理の結果に基づいて、前記体内静止画と前記体外静止画とを組み合わせし、
    組み合わせされた前記体内静止画と前記体外静止画とを業務支援用ディスプレイに表示するステップとを有する内視鏡業務支援装置の作動方法。
    
    
    

Images