JP7411772B2 - 内視鏡システム - Google Patents

Description

本発明は、内視鏡を用いて撮影した画像を用いて被写体の認識処理を行う内視鏡システムに関する。

医療分野においては、光源装置、内視鏡、及び、プロセッサ装置を備える内視鏡システムが普及している。光源装置は、照明光を発生する。内視鏡は、イメージセンサを用いて被写体を撮影する。プロセッサ装置は、画像の生成及びその他の画像処理等を行う。

内視鏡システムは、観察のために被写体を撮影するだけでなく、付加的機能を有する場合がある。例えば、処置具の位置及び向きをタッチパネルで操作する「入力モード」を有する内視鏡システムが知られている（特許文献１）。この特許文献１の内視鏡システムにおいては、上記入力モードの状態を画面に表示する。また、内視鏡先端部の湾曲の状態を示す画像、及び、キャリブレーションが終了した旨等を告知する文字列を画面に表示して、システムの異常等を知らせる機能を有する内視鏡システムが知られている（特許文献２）。この他、フットスイッチのオンまたはオフの状態を画面に表示する内視鏡システム（特許文献３）、送気中を示すマークを画面に表示する内視鏡システム（特許文献４）、及び、録画のオンまたはオフの状態を画面に表示する内視鏡システム（特許文献５）が知られている。

また、処置具を検出し、その結果を利用する内視鏡システムが知られている。例えば、処置具の検出結果を用いて画像の補正強度を決定する内視鏡システムが知られている（特許文献６）。処置具を検出した場合に、オートフォーカス機能を停止する内視鏡システムが知られている（特許文献７）。

この他、近年においては、被写体を撮影した画像を用いて生体機能情報を算出等することにより、診断を支援する内視鏡システムも知られている（特許文献８）。

特開２００８－２４５８４０号公報 特開２００７－３３０４０５号公報 特開２００５－３０５５７４号公報 特開平１１－１０３１３号公報 特開昭６３－２５９６１４号公報 特開２０１５－９６２３７号公報 特開２０１３－１５０６５８号公報 特開２０１８－５１３６４号公報

内視鏡を用いて撮影した画像（以下、内視鏡画像という）等の医療画像を用いて、特定の特徴を有する被写体または被写体の一部を認識することにより、診断を支援する情報（以下、診断支援情報という）を得る場合、特定の条件で撮影することにより、認識処理が機能し得る医療画像を使用する必要がある。認識処理が機能し得ない医療画像を使用すると、認識処理の結果が得られたとしても、認識処理の結果が不正確である場合があるからである。

しかし、通常は、認識処理が機能し得る医療画像を常に取得できるとは限らない。このため、不正確な認識処理の結果、または、不正確な認識処理の結果を用いて算出等した診断支援情報が、かえって被写体の観察または診断の妨げとなってしまう場合がある。例えば、内視鏡システムにおいては、内視鏡画像に処置具が写り込んでいる場合に、認識処理の精度が低下する場合がある。

上記のように不正確な認識処理の結果等を提供しないようにするためには、認識処理が機能し得る医療画像が取得できない場合に認識処理を行わないようにすることが考えられる。しかし、単に認識処理を行わないようにすると、ユーザである医師等は、認識処理の結果、または、認識処理を行わなかった結果を誤って認識してしまう場合がある。例えば、病変の候補を検出する認識処理を行う装置等を使用している場合、単に認識処理を行わないようにすると、これを使用する医師等は、認識処理を行った結果、病変の候補が検出されなかったと誤認してしまう場合がある。すなわち、医師等は、認識処理が行われなかったために認識処理の結果が表示されていないのか、認識処理を行った結果、認識する対象がなかったために認識処理の結果が表示されていないかを判別できない場合がある。

また、被写体に対する手術等を開始した場合、または、色素剤を散布して仔細な観察を開始した場合等においては、術者の操作の妨げにならないようにするために、自動的に認識処理または認識処理の結果の表示を無効とする場合がある。しかし、この場合も上記と同様に、医師等は、認識処理を行った結果または認識処理を行わなかった結果を誤認してしまう場合がある。この他、医師等が明示的に認識機能を無効にしていないにもかかわらず、自動的に認識機能が無効になった場合、医師等の集中力が低下する場合があるという問題もある。

本発明は、少なくとも、認識処理を行った結果及び認識処理を行わなかった結果の誤認を防止する内視鏡システムを提供することを目的とする。

本発明の内視鏡システムは、被写体を撮影した画像を取得する画像取得部と、画像を用いて被写体を認識する認識処理を行う認識部と、被写体に対する操作を判別する判別部と、判別部の判別結果を用いて、認識部を有効に設定したまま、認識処理の結果の報知を無効に設定する設定部と、を備える。

判別部が判別する前記操作は、処置具の使用であることが好ましい。判別部は、画像を用いた処置具の有無又は処置具の種類の検出に基づいて処置具の使用を判別することが好ましい。判別部が判別する操作は、被写体に対する液体の散布であることが好ましい。

認識部は、被写体の病変もしくは病変の候補の有無を認識することが好ましい。設定部は、認識部が行う認識処理を有効または無効に設定することが好ましい。設定部は、認識処理の結果の報知を有効または無効に設定することが好ましい。認識部の有効または無効の状態を報知する報知部を備えることが好ましい。

本発明によれば、認識処理を行った結果及び認識処理を行わなかった結果の誤認を防止する内視鏡システムを提供できる。

内視鏡システムの外観図である。 内視鏡システムのブロック図である。 画像処理部のブロック図である。 内視鏡システムの動作態様を示すフローチャートである。 認識部が有効である場合の表示例である。 認識部が無効である場合の表示例である。 第２実施形態の表示例である。 検出と鑑別の動作状態の一覧表である。 変形例の表示例である。 操作内容の表示例である。 操作内容の表示例である。 操作内容の表示例である。 モニタへの表示以外の方法で認識部の有効または向こうを報知する場合のプロセッサ装置のブロック図である。 医療画像処理装置を示す説明図である。 診断支援装置を示す説明図である。 医療業務支援装置を示す説明図である。

［第１実施形態］
図１に示すように、内視鏡システム１０（内視鏡装置）は、内視鏡１２と、光源装置１４と、プロセッサ装置１６と、モニタ１８と、コンソール１９と、を備える。内視鏡１２は、被写体を撮影する。光源装置１４は、照明光を発生する。プロセッサ装置１６は、内視鏡システム１０のシステム制御及び画像処理等を行う。モニタ１８は、内視鏡１２で画像等を表示する表示部である。コンソール１９は、プロセッサ装置１６等への設定入力等を行う入力デバイスである。

内視鏡１２は、被検体内に挿入する挿入部１２ａと、挿入部１２ａの基端部分に設けた操作部１２ｂと、挿入部１２ａの先端側に設けた湾曲部１２ｃと、先端部１２ｄと、を有している。操作部１２ｂのアングルノブ１２ｅを操作することにより、湾曲部１２ｃが湾曲する。その結果、先端部１２ｄが所望の方向に向く。また、操作部１２ｂには、アングルノブ１２ｅの他、処置具挿入口１２ｆ、ズーム操作部１３ａ、及び、送水ボタン１３ｂが設けられている。処置具挿入口１２ｆは、生検鉗子、スネア、または、電気メス等の処置具を挿入する入り口である。処置具挿入口１２ｆに挿入した処置具は、先端部１２ｄから突出する。ズーム操作部１３ａを操作することによって、被写体を拡大または縮小して撮影できる。また、送水ボタン１３ｂを操作することによって、送水タンク１７に貯留した水等の液体が先端部１２ｄから噴出する。

図２に示すように、光源装置１４は、照明光を発光する光源部２０と、光源部２０の動作を制御する光源制御部２２と、を備える。

光源部２０は、被写体を照明する照明光を発光する。照明光の発光には、照明光を発光するために使用する励起光等の発光を含む。光源部２０は、例えば、レーザーダイオード（以下、ＬＤという）、ＬＥＤ(Light Emitting Diode)、キセノンランプ、または、ハロゲンランプの光源を含み、少なくとも、白色の照明光、または、白色の照明光を発光するために使用する励起光を発光する。白色には、内視鏡１２を用いた被写体の撮影において実質的に白色と同等な、いわゆる擬似白色を含む。光源部２０は、必要に応じて、励起光の照射を受けて発光する蛍光体、または、照明光または励起光の波長帯域、分光スペクトル、もしくは光量等を調節する光学フィルタ等を含む。この他、光源部２０は、被写体が含むヘモグロビンの酸素飽和度等の生体情報を算出するために使用する画像の撮影に必要な、特定の波長帯域を有する光を発光できる。

本実施形態においては、光源部２０は、Ｖ－ＬＥＤ２０ａ、Ｂ－ＬＥＤ２０ｂ、Ｇ－ＬＥＤ２０ｃ、及びＲ－ＬＥＤ２０ｄの４色のＬＥＤを有する。Ｖ－ＬＥＤ２０ａは、中心波長４０５ｎｍ、波長帯域３８０～４２０ｎｍの紫色光ＶＬを発光する。Ｂ－ＬＥＤ２０ｂは、中心波長４６０ｎｍ、波長帯域４２０～５００ｎｍの青色光ＢＬを発光する。Ｇ－ＬＥＤ２０ｃは、波長帯域が４８０～６００ｎｍに及ぶ緑色光ＧＬを発光する。Ｒ－ＬＥＤ２０ｄは、中心波長６２０～６３０ｎｍで、波長帯域が６００～６５０ｎｍに及ぶ赤色光ＲＬを発光する。なお、Ｖ－ＬＥＤ２０ａとＢ－ＬＥＤ２０ｂの中心波長は約±２０ｎｍ、好ましくは約±５ｎｍから約±１０ｎｍ程度の幅を有する。

光源制御部２２は、光源部２０を構成する各光源の点灯または消灯もしくは遮蔽のタイミング、及び、発光量等を制御する。その結果、光源部２０は、分光スペクトルが異なる複数種類の照明光を発光できる。本実施形態においては、光源制御部２２は、各ＬＥＤ２０ａ～２０ｄの点灯や消灯、点灯時の発光量、光学フィルタの挿抜等を、各々に独立した制御信号を入力することにより、照明光の分光スペクトルを調節する。これにより、光源部２０は白色光を発光する。また、光源部２０は、少なくとも狭帯域の紫色光からなる照明光を発光できる。「狭帯域」とは、被写体の特性及び／またはイメージセンサ４８が有するカラーフィルタの分光特性との関係において、実質的にほぼ単一の波長帯域であることをいう。例えば、中心波長を基準に、波長帯域が例えば約±２０ｎｍ以下（好ましくは約±１０ｎｍ以下）である場合、この光は狭帯域である。

内視鏡１２の先端部１２ｄには、照明光学系３０ａと撮影光学系３０ｂが設けられている。照明光学系３０ａは、照明レンズ４５を有しており、この照明レンズ４５を介して照明光が被写体に向けて出射する。

撮影光学系３０ｂは、対物レンズ４６、ズームレンズ４７、及びイメージセンサ４８を有する。イメージセンサ４８は、対物レンズ４６及びズームレンズ４７を介して、被写体から戻る照明光の反射光等（反射光の他、散乱光、被写体が発光する蛍光、または、被写体に投与等した薬剤に起因した蛍光等を含む）を用いて被写体を撮影する。ズームレンズ４７は、ズーム操作部１３ａの操作をすることで移動し、被写体像を拡大または縮小する。

イメージセンサ４８は、画素ごとに、複数色のカラーフィルタのうち１色のカラーフィルタを有する。本実施形態においては、イメージセンサ４８は原色系のカラーフィルタを有するカラーセンサである。具体的には、イメージセンサ４８は、赤色カラーフィルタ（Ｒフィルタ）を有するＲ画素と、緑色カラーフィルタ（Ｇフィルタ）を有するＧ画素と、青色カラーフィルタ（Ｂフィルタ）を有するＢ画素と、を有する。

なお、イメージセンサ４８としては、ＣＣＤ（Charge Coupled Device）センサや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサを利用可能である。また、本実施形態のイメージセンサ４８は、原色系のカラーセンサであるが、補色系のカラーセンサを用いることもできる。補色系のカラーセンサは、例えば、シアンカラーフィルタが設けられたシアン画素、マゼンタカラーフィルタが設けられたマゼンタ画素、イエローカラーフィルタが設けられたイエロー画素、及び、グリーンカラーフィルタが設けられたグリーン画素を有する。補色系カラーセンサを用いる場合に上記各色の画素から得る画像は、補色－原色色変換をすれば、原色系のカラーセンサで得る画像と同様の画像に変換できる。原色系または補色系のセンサにおいて、Ｗ画素（ほぼ全波長帯域の光を受光するホワイト画素）等、上記以外の特性を有する画素を１または複数種類有する場合も同様である。また、本実施形態のイメージセンサ４８はカラーセンサであるが、カラーフィルタを有しないモノクロのセンサを使用してもよい。

プロセッサ装置１６は、制御部５２と、画像取得部５４と、画像処理部６１と、報知部６５と、表示制御部６６と、を有する（図２参照）。

制御部５２は、照明光の照射タイミングと撮影のタイミングの同期制御等の内視鏡システム１０の統括的な制御を行う。コンソール１９等を用いて、各種設定の入力等をした場合には、制御部５２は、その設定を、光源制御部２２、イメージセンサ４８、または画像処理部６１等の内視鏡システム１０の各部に入力する。

画像取得部５４は、被写体を撮影した画像を取得する。より具体的には、画像取得部５４は、イメージセンサ４８から、各色の画素を用いて被写体を撮影した画像、すなわちＲＡＷ画像を取得する。また、ＲＡＷ画像は、デモザイク処理を実施する前の画像である。デモザイク処理を実施する前の画像であれば、イメージセンサ４８から取得した画像に対してノイズ低減処理等の任意の処理を実施した画像もＲＡＷ画像に含む。

画像取得部５４は、取得したＲＡＷ画像に必要に応じて各種処理を施して内視鏡画像を生成するために、ＤＳＰ（Digital Signal Processor）５６と、ノイズ低減部５８と、変換部５９と、を備える。

ＤＳＰ５６は、例えば、オフセット処理部、欠陥補正処理部、デモザイク処理部、補完処理部、リニアマトリクス処理部、及び、ＹＣ変換処理部、等（いずれも図示しない）を備える。ＤＳＰ５６は、これらを用いてＲＡＷ画像またはＲＡＷ画像を用いて生成した画像に対して各種処理を施す。

オフセット処理部は、ＲＡＷ画像に対してオフセット処理を施す。オフセット処理は、ＲＡＷ画像から暗電流成分を低減し、正確な零レベルを設定する処理である。オフセット処理は、クランプ処理と称する場合がある。欠陥補正処理部は、ＲＡＷ画像に対して欠陥補正処理を施す。欠陥補正処理は、イメージセンサ４８が製造工程または経時変化に起因する欠陥を有する画素（欠陥画素）を含む場合に、イメージセンサ４８の欠陥画素に対応するＲＡＷ画素の画素値を補正または生成する処理である。デモザイク処理部は、各色のカラーフィルタに対応する各色のＲＡＷ画像に対してデモザイク処理を施す。デモザイク処理は、ＲＡＷ画像においてカラーフィルタの配列に起因して欠落する画素値を補間によって生成する処理である。リニアマトリクス処理部は、１または複数のＲＡＷ画像をＲＧＢ各色のチャンネルに割り当てることにより生成する内視鏡画像に対してリニアマトリクス処理を行う。リニアマトリクス処理は、内視鏡画像の色再現性を高める処理である。ＹＣ変換処理部は、１または複数のＲＡＷ画像をＲＧＢ各色のチャンネルに割り当てることにより生成する内視鏡画像を、輝度チャンネルＹと色差チャンネルＣｂ及び色差チャンネルＣｒを有する内視鏡画像に変換する処理である。

ノイズ低減部５８は、輝度チャンネルＹ、色差チャンネルＣｂ及び色差チャンネルＣｒを有する内視鏡画像に対して、例えば、移動平均法またはメディアンフィルタ法等を用いてノイズ低減処理を施す。変換部５９は、ノイズ低減処理後の輝度チャンネルＹ、色差チャンネルＣｂ及び色差チャンネルＣｒを再びＢＧＲの各色のチャンネルを有する内視鏡画像に再変換する。

画像処理部６１は、画像取得部５４が出力する内視鏡画像に、必要な画像処理を施す。また、画像処理部６１は、内視鏡画像を用いて、特定の特徴を有する被写体または被写体の一部を認識する認識処理を行う。具体的には、図３に示すように、画像処理部６１は、画像生成部７１、認識部７２、判別部７３、及び、設定部７４等を備える。

画像生成部７１は、画像取得部５４から内視鏡画像を取得して、モニタ１８への表示等に使用する内視鏡画像を生成する。例えば、画像生成部７１は、画像取得部５４から、Ｂ画素を用いて被写体を撮影したＢ画像と、Ｇ画素を用いて被写体を撮影したＧ画像と、Ｒ画素を用いて被写体を撮影したＲ画像と、を取得し、これらの全部または一部を用いて表示用の内視鏡画像を生成する。

また、画像生成部７１は、表示用の内視鏡画像を生成する際に、画像取得部５４から取得する内視鏡画像、または、画像取得部５４から取得する内視鏡画像を用いて生成する画像に対して必要な画像処理を施す。画像生成部７１が行う画像処理は、例えば、被写体または被写体の一部を強調する強調処理である。強調とは、他の組織または構造等と区別して、特定の部分の情報を得られるようにすることをいう。例えば、特定の特徴を有する部分を枠で囲み、輪郭を示し、または、他の部分（例えば正常な粘膜等）に対して相対的に色彩もしくは明るさを変更する等の処理は強調処理である。「情報を得られるようにすること」には、特定の部分の位置、形状、色彩もしくは明るさ、及び／または、大きさ（範囲）等を認識し得るようにすることの他、特定の部分について生体機能情報（例えば酸素飽和度または血管の密度等）を知得し得るようにすることを含む。

認識部７２は、被写体を撮影した画像を用いて被写体を認識する認識処理を行う。「被写体を認識する」とは、特定の特徴を有する被写体の部分の有無を検出すること（被写体の全部を検出する場合を含む）、特定の特徴を有する被写体の部分の種類もしくは進行度を鑑別すること（被写体の全体について鑑別することを含む）、及び／または、被写体の一部もしくは全部についての生体機能情報を得る（算出等する）ことをいう。特定の特徴を有する被写体の部分とは、例えば、病変、病変の候補、または、処置の痕跡である処置痕等（以下、病変等という）である。すなわち、認識部７２は、認識処理によって、病変等の有無を認識できる。また、認識部７２は、認識処理によって、病変等の種類または進行度を認識できる。病変等の種類の認識とは、例えばその病変等がポリープである場合には、腺腫、過形成ポリープ、または、癌等の種別を鑑別することをいう。病変等の進行度の認識とは、例えばその病変等が癌であれば癌のステージ、その他、ＮＩＣＥ（NBI(Narrow Band Imaging) International Colorectal Endoscopic Classification）分類もしくはＪＮＥＴ（The Japan NBI Expert Team）分類等を鑑別することをいう。本実施形態においては、被写体を撮影した画像は、画像取得部５４から取得する内視鏡画像、または、画像生成部７１が生成する内視鏡画像である。また、本実施形態においては、認識部７２は認識処理によって病変等を検出する。

認識部７２は、例えば、学習機能を有する人工知能（ＡＩ(Artificial Intelligence)）である。具体的には、認識部７２は、ニューラルネットワーク（ＮＮ(Neural Network)）、畳み込みニューラルネットワーク（ＣＮＮ(Convolutional Neural Network)）、アダブースト（adaboost）、ランダムフォレスト（Random Forest）等の機械学習アルゴリズムを用いて学習したＡＩである。また、認識部７２は、特定の画像を用いて認識処理をするための学習をしているので、他の画像を用いた認識処理を行えるとしても、認識処理の結果の精度が低い場合がある。本実施形態においては、認識部７２は、内視鏡画像を用いて病変等を検出する学習をしたＡＩである。「学習機能を有する」とは、学習できることをいい、学習済みであることを含む。なお、認識部７２は、ＡＩで構成する代わりに、画像から特徴量を算出し、算出した特徴量を用いて検出等を行う構成とすることができる。

本実施形態においては、認識部７２は、検出部７６と、鑑別部７７と、を備える。検出部７６は、内視鏡画像を用いて、病変等を検出する学習をしたＡＩである。鑑別部７７は、内視鏡画像を用いて、病変等の進行度を鑑別する学習をしたＡＩである。

認識部７２は、認識処理の結果を、認識処理の内容にしたがって画像生成部７１または表示制御部６６に入力する。認識部７２が認識処理の結果を画像生成部７１に入力する場合、画像生成部７１は認識処理の結果を反映した表示用の内視鏡画像生成する。認識部７２が認識処理の結果を表示制御部６６に入力する場合、表示制御部６６は画像生成部７１から取得する内視鏡画像とともに、認識処理の結果をモニタ１８の画面に表示する。認識部７２が認識処理の結果を画像生成部７１に入力するのは、例えば、認識処理の結果である生体機能情報の値を用いて表示用の内視鏡画像の色彩等を変更する場合である。認識部７２が認識処理の結果を表示制御部６６に入力するのは、例えば、認識処理の結果である病変等の位置等を、内視鏡画像に重畳した枠の表示等で示す場合である。本実施形態においては、認識部７２は、認識処理の結果である検出した病変等の位置等の情報を画像生成部７１に入力する。そして、画像生成部７１は、病変等がある部分について強調処理をした表示用の内視鏡画像を生成する。

判別部７３は、被写体に対する操作を判別する。被写体に対する操作とは、被写体に対して何らかの（任意の）作用を与える行為をいう。例えば、生体組織検査（生検）に用いる生体組織の採取もしくは内視鏡的切除術（ＥＭＲ：Endoscopic mucosal resection）等の手術もしくは治療に係る処置、被写体に対する液体の散布等または、被写体の洗浄等は、被写体に対する操作である。被写体に対する液体の散布とは、被写体に液体状の薬剤を投与し、または、水を散布することをいう。水の散布とは、被写体の一部または全部に対して、水をかけることをいう。また、薬剤の投与とは、被写体にインジゴカルミン等の色素剤等を散布することの他、被写体にインドシアニングリーン（ＩＣＧ）等の蛍光薬剤を静脈注射することを含む。被写体の洗浄とは、被写体に付着した残渣、残液、または、血液等の観察の妨げになる物質等を、水もしくは空気等によって洗い流し、観察すべき被写体を内視鏡１２に露呈することをいう。なお、結果として被写体に作用が及ばなかったとしても、被写体に対して作用を及ぼし得る行為は「被写体に対する操作」に含む。例えば、被写体を洗浄するためにエア（空気）を噴出する行為は、結果として被写体が清浄にならなかった場合でも、被写体に対する操作に該当する。また、「被写体に対する操作」は、被写体に対して作用を及ぼす前後の関連する一連の行為を含む。例えば、生検をする場合に鉗子を内視鏡１２から突出する行為は、組織の採取前であっても、生検に関連する一連の行為であり、被写体に対する操作に含む。

被写体に対する操作の判別とは、被写体に対して操作をすることを検出すること、または、被写体に対して操作がされたことを検出することをいう。操作の判別は、例えば、処置具の使用の検出、処置痕の検出（手術痕の検出の他、処置によって生じた出血の検出、色素剤の散布等によって色彩等が変化した組織もしくは構造の検出等を含む）、または、送水ボタン１３ｂ等の操作の検出等によって行う。判別部７３は、処置具の使用は、内視鏡画像または設定情報等を用いて、処置具の有無、または、処置具の種類（形状等）を検出することができる。判別部７３は、上記処置具等（水の散布を含む）の検出を内視鏡画像の解析によって行うことできる。また、判別部７３は、制御部５２から信号または設定情報を取得することにより、送水ボタン１３ｂ等の操作の検出できる。

被写体に対する操作の判別には、被写体に対する操作の有無を判別すること、及び、被写体に対する操作の種類を判別すること、を含む。操作の有無の判別には、操作の種類を問わず、検出対象の「被写体に対する操作」を検出することを含む。また、被写体に対する操作の種類の判別とは、操作の内容（例えば、生検であるのか、薬剤の投与であるのか等）を区別して被写体に対する操作を判別することをいう。本実施形態においては、判別部７３は、被写体に対する操作の有無を判別する。

設定部７４は、判別部７３の判別結果を用いて、認識部７２を有効または無効に設定する。判別部７３の判別結果とは、被写体に対する操作の有無、及び／または、被写体に対する操作の種類である。「認識部７２を有効に設定する」とは、認識部７２が行う認識処理を有効とし、認識部７２が認識処理を実行する設定をすること、認識処理の結果の報知をする設定をすること、または、認識部７２が認識処理の結果の出力をする設定をすることをいう。「認識部７２を無効に設定する」とは、認識部７２が行う認識処理を無効とし、認識部７２が認識処理を実行しない設定をすること、または、認識処理の結果の報知しない設定をすること、または、認識処理の結果を出力しない設定をすることをいう。すなわち、「認識部７２を有効または無効に設定する」とは、認識部７２が行う認識処理を有効もしくは無効にすること、または、認識処理の結果の報知（もしくは認識処理結果の出力）を有効もしくは無効にすること、をいう。「認識処理の結果の報知」とは、認識処理の結果を、医師等が認識し得る状態にするこという。「認識処理の結果の出力」とは、認識部７２が、認識処理の結果を、画像生成部７１等の他の処理部等に引き渡すことをいう。本実施形態においては、設定部７４は、認識部７２が行う認識処理自体を有効または無効に設定する。

判別部７３が被写体に対する操作の有無を判別する場合、設定部７４は、被写体に対して操作がある場合に認識部７２を無効に設定し、かつ、被写体に対して操作がない場合に認識部７２を有効に設定する。被写体への操作がある場合には、認識処理の精度が低下する可能性があるか、または、医師等が操作に集中する必要がある状況だからである。

判別部７３が被写体に対する操作の種類を判別する場合、設定部７４は、被写体に対して特定の操作がある場合に、認識部７２を無効にする。特定の操作とは、認識部７２が行う認識処理の精度が低下する操作、または、医師等が操作に集中する必要がある操作である。したがって、判別部７３が被写体に対する操作の種類を判別する場合、操作の種類によっては、設定部７４は、認識部７２を有効に設定することができる。このため、状況に応じて適切な診断支援を継続することができる。

また、認識部７２が複数種類の認識処理をする場合、設定部７４は、認識処理ごとに有効または無効と設定できる。例えば、設定部７４は、認識部７２を有効または無効に設定する場合に、検出部７６を有効または無効に設定し、かつ、検出部７６の有効または無効の設定に依存せずに鑑別部７７を有効または無効に設定できる。もちろん、設定部７４は、検出部７６と鑑別部７７の両方をまとめて、認識部７２の全体を有効または無効に設定できる。本実施形態においては、設定部７４は、認識部７２の全体、すなわち、検出部７６及び鑑別部７７をまとめて有効または無効に設定する。

報知部６５は、例えば判別部７３から判別結果を得て（または設定部７４から認識部７２の設定に係る情報を得て）、認識部７２の有効または無効の状態を報知する。認識部７２の有効または無効の状態について「報知する」とは、ユーザである医師等が、認識部７２の有効または無効の状態を知得し得る状態にすることをいう。例えば、報知部６５は、モニタ１８の画面にメッセージ（文字列）、文字、図形、及び／または、記号等（マーク、アイコン、もしくはインジケータ等の表示を含む）を表示すること、これらを表示しないこと、もしくは、これらの表示を変更することにより、認識部７２の有効または無効の状態を報知できる。この他、報知部６５は、ランプの点灯、消灯もしくは点滅等、音（音声を含む）、振動機能を有する部材の振動、または、これらの変更等によって、認識部７２の有効または無効の状態を報知できる。もちろん、報知部６５は、文字列等と、ランプの点灯等と、を組み合わせて、認識部７２の有効または無効の状態を報知できる。本実施形態においては、報知部６５は、モニタ１８の画面に、認識部７２の有効または無効の状態を示す表示をする。

表示制御部６６は、画像処理部６１が出力する内視鏡画像を表示に適した形式に変換してモニタ１８に出力する。これにより、モニタ１８は内視鏡画像を表示する。また、本実施形態においては、報知部６５が、認識部７２の有効または無効の状態を示す情報を入力する。このため、表示制御部６６は、モニタ１８の画面にその情報を表示する。

上記のように構成する内視鏡システム１０は、認識部７２の有効または無効の状態の報知について以下のように動作する。図４に示すように、内視鏡１２を用いて被写体を撮影すると（ステップＳ１１１）、画像取得部５４が内視鏡画像を取得する。そして、画像生成部７１が必要な画像処理を施して表示用の内視鏡画像を生成する（ステップＳ１１２）。

その後、または、表示用の内視鏡画像と並行して、判別部７３は、例えば表示用の内視鏡画像を用いて、被写体に対する操作を判別する（ステップＳ１１３）。被写体に対する操作がない場合（ステップＳ１１３：ＹＥＳ）、設定部７４は認識部７２を有効に設定する（ステップＳ１１４）。このため、認識部７２は、例えば表示用の内視鏡画像に対して認識処理を実行する（ステップＳ１１５）。本実施形態においては、認識部７２は検出部７６と鑑別部７７があり、設定部７４はこれらをまとめて有効または無効に設定するので、被写体に対する操作がない場合、認識部７２は病変等の検出と鑑別の両方の認識処理を実行する。その後、認識部７２は、認識結果を画像生成部７１に出力するので、画像生成部７１は認識結果を用いて、例えば病変等を強調等した表示用の内視鏡画像を生成し、表示制御部６６に出力する。これにより、モニタ１８は、画面に内視鏡画像を表示する。また、報知部６５は、認識部７２の有効の状態を報知する（ステップＳ１１６）。ここでは設定部７４が認識部７２を有効に設定するので、報知部６５は、認識部７２が有効である状態を示す文字列等をモニタ１８の画面に表示する。例えば、図５に示すように、報知部６５は、内視鏡画像１２１を表示するモニタ１８の画面に、「ＡＩ： ＯＮ」の表示１２２をする。これにより、認識部７２が有効である状態を報知する。なお、内視鏡画像１２１は、被写体に対する操作がなく、かつ、病変等もない画像である。

一方、判別部７３が被写体への操作を検出した場合（ステップＳ１１３：ＮＯ）、設定部７４は、認識部７２を無効に設定する（ステップＳ１１７）。このため、認識部７２は検出及び鑑別のいずれをも実行せず、画像生成部７１は、生成した表示用の内視鏡画像を表示制御部６６に出力する。これにより、モニタ１８は、画面に内視鏡画像を表示する。また、報知部６５は、認識部７２の無効の状態を報知する（ステップＳ１１８）。例えば、図６に示すように、報知部６５は、内視鏡画像１２６を表示するモニタ１８の画面に、「ＡＩ： ＯＦＦ」の表示１２７を表示する。これにより、認識部７２が無効である状態を報知する。なお、内視鏡画像１２６は、生検用の鉗子１２８がある。このため、認識部７２は無効となっている。

上記のように、内視鏡システム１０は、判別部７３が被写体に対する操作を判別し、設定部７４が判別部７３の判別結果を用いて認識部７２を有効または無効に設定する。このため、内視鏡システム１０が、観察の状況に応じて認識部７２を有効または無効するため、ユーザである医師等は、観察の途中において、自ら手動で認識部７２を有効または無効に設定しなくてもよいという利便性がある。しかし、認識部７２の有効または無効を自動的に設定するだけでは、医師等は認識処理の結果または認識処理を行わなかった結果を誤認する場合がある。例えば、認識部７２が有効であるという先入観がある場合、自動的に認識部７２が無効となって認識処理の結果が表示されなくなると、病変等があったとしても、医師等は、認識部７２が認識処理を行った結果、病変等がないと示していると誤認してしまう場合がある。そこで、内視鏡システム１０においては、報知部６５が、認識部７２の有効または無効の状態を報知する。このため、「ＡＩ： ＯＮ」の表示１２２、または、「ＡＩ： ＯＦＦ」の表示１２７を見れば認識部７２が認識処理を行っているか否かが明瞭であるから、上記のような誤認を防止できる。その結果、誤診を防止できる。

［第２実施形態］
設定部７４が、認識処理ごとに有効または無効の設定をする場合、報知部６５は、認識処理ごとに有効または無効の状態を報知できる。例えば、認識部７２が検出部７６と鑑別部７７を有し、かつ、設定部７４が検出部７６と鑑別部７７をそれぞれに有効または無効に設定する場合、図７に示すように、報知部６５は、認識部７２の有効または無効の状態を示す表示欄２２２に、検出部７６の有効または無効の状態を示す表示２２３と、鑑別部７７の有効または無効の状態を示す表示２２４と、をそれぞれ表示し、これらの状態を報知できる。例えば、「検出： ＯＮ」の表示２２３は、検出部７６が有効の状態を示す表示であり、かつ、「検出： ＯＦＦ」（図示しない）の表示は、検出部７６が無効の状態を示す表示である。同様に、「鑑別： ＯＮ」の表示２２４は、鑑別部７７が有効の状態を示す表示であり、かつ、「鑑別： ＯＦＦ」（図示しない）の表示は、鑑別部７７が無効の状態を示す表示である。

上記のように、設定部７４が認識処理ごとに有効または無効の設定をする場合、観察の状況に適切な認識処理を有効とし、それ以外の認識処理を無効とすることができる。このため、内視鏡システム１０は最適な診断支援をすることができる。その上で、報知部６５が認識処理ごとに有効または無効の状態を報知するので、医師等は、各認識処理の有効または無効を正確に把握できる。このため、認識処理の結果または認識処理を行わなかった結果の誤認を防止でき、その結果、誤診を防止できる。

上記第２実施形態においては、検出部７６及び鑑別部７７の両方が有効である例を示しているが、図８に示すように、判別部７３の判別状況によっては、検出部７６のみが有効とすることが適切である場合、鑑別部７７のみが有効とすることが適切な場合、または、検出部７６及び鑑別部７７の両方を無効とすることが適切である場合がある。

「判別状況１」は、検出部７６及び鑑別部７７の両方を有効とすることが適切な状況であり、例えば、被写体に対する操作がない場合、または、水等を用いて被写体を洗浄した場合等である。これらは病変等を検出及び鑑別することが求められている可能性が高い状況である。

「判別状況２」は、検出部７６を有効とし、かつ、鑑別部７７を無効とすることが適切な状況である。例えば、生検または手術等をする際に、被写体からの出血を判別部７３の判別対象（検出対象）とする場合等、すなわち、止血の確認等のために出血の検出は必要であるが、既に手術等に及んでいるため、鑑別は不要という状況等である。判別部７３は、例えば、被写体に対する操作の種類により、上記状況を判別できる。

「判別状況３」は、検出部７６を無効とし、かつ、鑑別部７７を有効とすることが適切な状況である。例えば、既に病変等を発見しているため、改めて病変等の検出することを要せず、かつ、発見した病変等についての診断において、内視鏡システム１０から、より詳細な診断支援を受けたい場合等である。具体的には、被写体に色素剤を散布し、病変等の進行度を鑑別したい場合である。判別部７３は、例えば、被写体に対する操作の種類により、上記状況を判別できる。

「判別状況４」は、検出部７６及び鑑別部７７の両方を無効とすることが適切な状況である。例えば、病変等の検出及び鑑別が済んでおり、操作に集中する必要がある生検または手術等をする場合等である。判別部７３は、操作の種類により、上記状況を判別できる。判別部７３が被写体からの出血を検出した場合には、例えば、判別状況３となる。

なお、上記第２実施形態においては、検出部７６及び鑑別部７７の有効または無効を「ＯＮ」または「ＯＦＦ」で表しているが、検出部７６及び鑑別部７７の有効または無効は、他の表示で表すことができる。例えば、「ＯＦＦ」の表示の代わりに「非対応」等の表示を用いてもよい。また、検出部７６または鑑別部７７が有効の状態であっても、認識処理の精度（確度もしくは信頼度）が低い場合には、「ＯＮ」の表示の代わりに、「Ｕｎｓｕｐｐｏｒｔｅｄ」（非対応）等の表示をすることができる。例えば、判別状況３において、鑑別部７７が色素剤を散布した被写体の鑑別に対応していない場合、鑑別の精度が低下するので、「検出： ＯＦＦ」かつ「鑑別： Ｕｎｓｕｐｐｏｒｔｅｄ」の表示をすることができる。これらの表示態様の変更等は、第１実施形態についても同様に行うことができる。

［第３実施形態］
上記第１実施形態及び第２実施形態においては、報知部６５は、認識部７２の有効または無効の状態を報知しているが、報知部６５は、さらに、判別部７３が判別した操作の有無、または、操作の種類を報知できる。すなわち、報知部６５は、認識部７２の有効または無効の状態に加えて、判別部７３の判別結果を報知することができる。

例えば、判別部７３が被写体への操作を検出した場合、図９に示すように、報知部６５は、「ＡＩ： ＯＦＦ」の表示１２７等の認識部７２の有効または無効の報知に加えて、「Ａｃｔｉｏｎｓ」（「操作」）の表示３０１等により、被写体への操作を検出した旨を報知できる。なお、内視鏡画像３１０は、被写体に色素剤３１１を散布した内視鏡画像である。

上記のように、報知部６５が被写体に対する操作の有無を報知する場合、医師等は、認識部７２の有効または無効の原因を認識できる。その結果、より確実に、認識処理の結果または認識処理を行わなかった結果の誤認を防止でき、かつ、誤診を防止できる。

また、報知部６５は、判別部７３が判別した操作の種類を報知できる。例えば、図１０に示すように、報知部６５は、操作の種類表示欄３１３に、生検を表す「Ｂｉｏｐｓｙ」、色素剤の散布を表す「Ｃｈｒｏｍｏ」、及び、内視鏡的切除術を表す「Ｒｅｓｅｃｔｉｏｎ」を一覧表示し、かつ、判別部７３が判別した操作の種類（図１０においては「Ｃｈｒｏｍｏ」）にチェックマーク（「レ」）を付す等して、判別部７３が判別した操作の種類を報知できる。

上記のように、判別部７３が操作の種類を判別する場合に、報知部６５が、判別部７３が判別した操作の種類を報知すると、医師等は、認識部７２の有効または無効の原因を詳細に認識できる。その結果、より確実に、認識処理の結果または認識処理を行わなかった結果の誤認を防止でき、かつ、誤診を防止できる。

なお、上記第３実施形態の被写体に対する操作の有無または操作の種類の報知は、第２実施形態のように、認識処理ごとに有効または無効の設定及び報知をする場合にも適用できる。この場合、認識部７２の有効または無効の状態を示す表示欄２２２（図７参照）と、「Ａｃｔｉｏｎｓ」の表示３０１または操作の種類表示欄３１３と、をモニタ１８に表示すればよい。

また、上記第３実施形態においては、被写体に対する操作の有無または操作の種類は、文字または文字列以外の表示により報知できる。例えば、図１１に示すように、操作の種類表示欄３１３に、生検を示すアイコン３３１と、色素剤の散布を表すアイコン３３２と、内視鏡的切除術を表すアイコン３３３と、を一覧表示し、判別部７３が判別した操作の種類に該当するアイコンに色を付す等して、判別部７３が判別した操作の種類を報知できる。なお、図１１においては、内視鏡画像３２１に生検用の鉗子１２８があるため、生検を示すアイコン３３１に色が付されている。

上記のように、操作の種類をアイコンで示す場合、図１２に示すように、操作の種類表示欄３１３には、判別部７３が判別した操作の種類に該当するアイコンのみを表示することができる。被写体に対する操作の種類を、操作の種類表示欄３１３に文字列で表示する場合（図１０参照）についても同様であり、操作の種類表示欄３１３には、判別部７３が判別した操作の種類を示す文字列等のみを表示できる。

第１実施形態、第２実施形態、及び、第３実施形態においては、設定部７４は、認識部７２が行う認識処理を有効または無効に設定するが、代わりに、設定部７４は、認識処理の結果の報知を有効または無効に設定することによって、認識部７２の有効または無効を設定できる。この場合において、認識処理の結果の報知を無効に設定する際には、設定部７４は、検出部７６及び鑑別部７７を有効に設定したまま、例えば画像生成部７１等への認識結果の出力を停止し、医師等が認識結果を知り得ない状態に留める。その結果、認識処理自体の有効または無効を設定する場合よりも、簡便かつ迅速に、認識部７２の有効または無効を設定できる。

第１実施形態、第２実施形態、及び、第３実施形態においては、報知部６５は、モニタ１８の画面における表示によって、認識部７２の有効または無効の状態を報知するが、モニタ１８の画面における表示以外の態様で認識部７２の有効または無効の状態を報知する場合、図１３に示すように、プロセッサ装置１６は、報知デバイス１７１を備えることができる。報知デバイス１７１は、音もしくは音声を発するスピーカー、ＬＥＤ等の発光素子で構成するインジケータ、または、モータもしくは圧電素子等の振動素子等である。この他、報知部６５は、内視鏡システム１０が備える素子等を、報知デバイス１７１として使用できる。また、プロセッサ装置１６以外、すなわち、内視鏡１２または光源装置１４に報知デバイス１７１を設けてもよい。

なお、図１４に示すように、認識部７２、判別部７３、設定部７４、及び／または、報知部６５は、例えばプロセッサ装置１６と通信して内視鏡システム１０と連携する医療画像処理装置９０１に設けることができる。また、図１５に示すように、認識部７２、判別部７３、設定部７４、及び／または、報知部６５は、例えば内視鏡システム１０（報知部６５等を有しないものを含む）から直接的に、または、ＰＡＣＳ（Picture Archiving and Communication Systems）９１０から間接的に、内視鏡１２で撮影したＲＡＷ画像を取得する診断支援装置９１１に設けることができる。また、図１６に示すように、内視鏡システム１０を含む、第１検査装置９２１、第２検査装置９２２、…、第Ｋ検査装置９２３等の各種検査装置と、ネットワーク９２６を介して接続する医療業務支援装置９３０に、認識部７２、判別部７３、設定部７４、及び／または、報知部６５を設けることができる。

すなわち、本発明は、被写体を撮影した画像を取得する画像取得部と、画像を用いて被写体を認識する認識処理を行う認識部と、被写体に対する操作を判別する判別部と、判別部の判別結果を用いて、認識部を有効または無効に設定する設定部と、認識部の有効または無効の状態を報知する報知部と、を備える医療画像処理装置及びその作動方法を含む。また、本発明は、被写体を撮影した画像を取得する画像取得部と、画像を用いて被写体を認識する認識処理を行う認識部と、被写体に対する操作を判別する判別部と、判別部の判別結果を用いて、認識部を有効または無効に設定する設定部と、認識部の有効または無効の状態を報知する報知部と、を備える診断支援装置及びその作動方法を含む。同様に、本発明は、被写体を撮影した画像を取得する画像取得部と、画像を用いて被写体を認識する認識処理を行う認識部と、被写体に対する操作を判別する判別部と、判別部の判別結果を用いて、認識部を有効または無効に設定する設定部と、認識部の有効または無効の状態を報知する報知部と、を備える医療業務支援装置及びその作動方法を含む。

また、本発明は、画像取得部が被写体を撮影した画像を取得するステップと、認識部が画像を用いて被写体を認識する認識処理を行うステップと、設定部が、被写体に対する操作を判別する判別部と、判別部の判別結果を用いて、認識部を有効または無効に設定するステップと、報知部が、認識部の有効または無効の状態を報知するステップと、を備える内視鏡システムの作動方法を含む。また、本発明は、被写体を撮影した画像を取得する画像取得部と、画像を用いて被写体を認識する認識処理を行う認識部と、被写体に対する操作を判別する判別部と、判別部の判別結果を用いて、認識部を有効または無効に設定する設定部と、認識部の有効または無効の状態を報知する報知部と、を備えるプロセッサ装置及びその作動方法を含む。

なお、内視鏡１２としてカプセル内視鏡を使用できる。この場合、光源装置１４と、プロセッサ装置１６の一部と、はカプセル内視鏡に搭載できる。

上記実施形態において、認識部７２、判別部７３、設定部７４、または報知部６５等の各種の処理を実行する処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＧＰＵ（Graphical Processing Unit）、ＦＰＧＡ (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡ、ＣＰＵとＦＰＧＡの組み合わせ、またはＣＰＵとＧＰＵの組み合わせ等）で構成してもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路（circuitry）である。

なお、本発明は、内視鏡画像を取得等する内視鏡システム、プロセッサ装置、その他関連する装置等の他に、内視鏡画像以外の医療画像（動画を含む）を取得するシステムまたは装置等においても利用できる。例えば、本発明は、超音波検査装置、Ｘ線画像撮影装置（ＣＴ（Computed Tomography）検査装置及びマンモグラフィ装置等を含む）、ＭＲＩ（magnetic resonance imaging）装置、等に適用できる。

１０ 内視鏡システム
１２ 内視鏡
１２ａ 挿入部
１２ｂ 操作部
１２ｃ 湾曲部
１２ｄ 先端部
１２ｅ アングルノブ
１２ｆ 処置具挿入口
１３ａ ズーム操作部
１３ｂ 送水ボタン
１４ 光源装置
１６ プロセッサ装置
１７ 送水タンク
１８ モニタ
１９ コンソール
２０ 光源部
２２ 光源制御部
３０ａ 照明光学系
３０ｂ 撮影光学系
４５ 照明レンズ
４６ 対物レンズ
４７ ズームレンズ
４８ イメージセンサ
５２ 制御部
５４ 画像取得部
５６ ＤＳＰ
５８ ノイズ低減部
５９ 変換部
６１ 画像処理部
６５ 報知部
６６ 表示制御部
７１ 画像生成部
７２ 認識部
７３ 判別部
７４ 設定部
７６ 検出部
７７ 鑑別部
１２１、１２６、３１０、３２１ 内視鏡画像
１２２、１２７、２２３、２２４、３０１ 表示
１２８ 鉗子
１７１ 報知デバイス
２２２ 表示欄
３１１ 色素剤
３１３ 種類表示欄
３３１、３３２、３３３ アイコン
９０１ 医療画像処理装置
９１０ ＰＡＣＳ
９１１ 診断支援装置
９２１ 第１検査装置
９２２ 第２検査装置
９２３ 第Ｋ検査装置
９２６ ネットワーク
９３０ 医療業務支援装置
Ｓ１１１～Ｓ１１８ 動作のステップ

Claims (23)

1. 被写体を撮影した画像を取得する画像取得部と、
   前記画像を用いて前記被写体を認識する認識処理を行う認識部と、
   前記被写体に対する操作を判別する判別部と、
   前記判別部の判別結果を用いて、前記認識部を有効に設定したまま、前記認識処理の結果の報知を無効に設定する設定部と、
   を備え、
   前記被写体を認識するとは、前記被写体のうち特定の特徴を有する部分の有無を検出すること、前記被写体のうち特定の特徴を有する部分の種類もしくは進行度を鑑別すること、及び／または、前記被写体の一部もしくは全部についての生体機能情報を得ることである内視鏡システム。
2. 前記判別部が判別する前記操作は、処置具の使用である請求項１記載の内視鏡システム。
3. 被写体を撮影した画像を取得する画像取得部と、
   前記画像を用いて前記被写体を認識する認識処理を行う認識部と、
   前記被写体に対する操作を判別する判別部と、
   前記判別部の判別結果を用いて、前記認識部を有効に設定したまま、前記認識処理の結果の報知を無効に設定する設定部と、
   を備え、
   前記判別部は、前記画像を用いた処置具の有無又は処置具の種類の検出に基づいて処置具の使用を判別する内視鏡システム。
4. 被写体を撮影した画像を取得する画像取得部と、
   前記画像を用いて前記被写体を認識する認識処理を行う認識部と、
   前記被写体に対する操作を判別する判別部と、
   前記判別部の判別結果を用いて、前記認識部を有効に設定したまま、前記認識処理の結果の報知を無効に設定する設定部と、
   を備え、
   前記判別部が判別する前記操作は、前記被写体に対する液体の散布である内視鏡システム。
5. 前記液体は色素剤である請求項４記載の内視鏡システム。
6. 被写体を撮影した画像を取得する画像取得部と、
   前記画像を用いて前記被写体を認識する認識処理を行う認識部と、
   前記被写体に対する操作を判別する判別部と、
   前記判別部の判別結果を用いて、前記認識部を有効に設定したまま、前記認識処理の結果の報知を無効に設定する設定部と、
   を備え、
   前記認識部は、前記被写体の病変もしくは病変の候補の有無を認識する内視鏡システム。
7. 前記病変がポリープである場合は、前記病変の認識は、腺腫、過形成ポリープ、又は、癌の種別の鑑別である請求項６記載の内視鏡システム。
8. 前記病変が癌であれば、前記病変の認識は、癌のステージの鑑別、ＮＩＣＥ分類もしくはＪＮＥＴ分類の鑑別である請求項６記載の内視鏡システム。
9. 前記判別部が判別する前記操作は、処置具の使用である請求項６ないし８いずれか１項記載の内視鏡システム。
10. 前記判別部は、前記画像を用いた処置具の有無又は処置具の種類の検出に基づいて処置具の使用を判別する請求項６ないし８いずれか１項記載の内視鏡システム。
11. 前記判別部が判別する前記操作は、前記被写体に対する液体の散布である請求項６ないし８いずれか１項記載の内視鏡システム。
12. 前記液体は色素剤である請求項１１記載の内視鏡システム。
13. 前記設定部は、前記認識部が行う前記認識処理を有効または無効に設定する請求項１ないし１２いずれか１項記載の内視鏡システム。
14. 前記設定部は、前記認識処理の結果の報知を有効または無効に設定する請求項１ないし１３いずれか１項記載の内視鏡システム。
15. 前記認識部の有効または無効の状態を報知する報知部を備える請求項１ないし１３いずれか１項記載の内視鏡システム。
16. 前記報知部は、前記認識部の有効又は無効の報知に加えて、前記判別部による判別の結果を報知する請求項１５記載の内視鏡システム。
17. 前記認識部は、人工知能を含む請求項１ないし１６いずれか１項記載の内視鏡システム。
18. 前記操作は、手術もしくは治療である請求項１ないし１７いずれか１項記載の内視鏡システム。
19. 前記被写体に対する操作の判別には、前記操作の有無の判別、又は、前記操作の種類の判別を含む請求項１ないし１８いずれか１項記載の内視鏡システム。
20. 前記操作は、前記認識処理の精度を低下させる請求項１ないし１９いずれか１項記載の内視鏡システム。
21. 前記操作は、前記被写体の生体組織の採取、又は、前記被写体の洗浄を含む請求項１ないし２０いずれか１項記載の内視鏡システム。
22. 前記操作は、前記被写体の色彩を変化させる請求項１ないし２１いずれか１項記載の内視鏡システム。
23. 画像取得部が、被写体を撮影した画像を取得するステップと、
    認識部が、前記画像を用いて前記被写体を認識する認識処理を行うステップと、
    判別部が、前記被写体に対する操作を判別するステップと、
    設定部が、前記判別部の判別結果を用いて、前記認識部を有効に設定したまま、前記認識処理の結果の報知を無効に設定するステップと、
    を有し、
    前記被写体を認識するとは、前記被写体のうち特定の特徴を有する部分の有無を検出すること、前記被写体のうち特定の特徴を有する部分の種類もしくは進行度を鑑別すること、及び／または、前記被写体の一部もしくは全部についての生体機能情報を得ることである内視鏡システムの作動方法。

Images