JP2021519663A - 内視鏡画像の処理方法、システム、コンピュータデバイス及びコンピュータプログラム - Google Patents

Abstract

本出願は、内視鏡画像の処理方法、システム及びコンピュータデバイスを開示している。当該方法は、検査対象ユーザーの現在の内視鏡画像を取得するステップと、ディープ畳み込みネットワークを使用して、トレーニングパラメータに基づいて現在の内視鏡画像を予測するステップであって、当該トレーニングパラメータが、少なくとも１つの第１の内視鏡画像、及び、少なくとも１つの第１の内視鏡画像を変換した少なくとも１つの第２の内視鏡画像に基づき決定され、当該少なくとも１つの内視鏡画像が人体部位に対応するステップと、現在の内視鏡画像に対応する器官カテゴリーを決定するステップと、を含む。本発明の方法は、予測プロセスをよりインテリジェントかつよりロバストし、処理装置のリソース使用率を向上させる。

Description

本出願は、２０１８年１０月３０日に中国特許庁に提出された、出願番号が２０１８１１２７６８８５．２であって、出願の名称が「内視鏡画像の処理方法、装置、システム及び記憶媒体」である中国特許出願の優先権を主張するものであり、その全内容を本出願に参照により援用する。

本発明は、画像処理技術の分野に関し、特に、内視鏡画像の処理方法、システム及びコンピュータデバイスに関する。

現在、胃がん、食道がんは、中国及び世界で発生率の高い悪性腫瘍の上位５種類にランクされている。胃がんと食道がんは、どちらも上部消化管部位の悪性腫瘍である。実際の診療では、医師は内視鏡によって電子検査を行い、内視鏡を口腔から被験者の上部消化管部位に入り、光源から発せられた強い光が光ファイバを介して光を回すことによって、医師が上部消化管内の各器官の健康状態を観察できるようにする。

しかしながら、内視鏡によって撮影された医療画像は、収集環境、検知デバイス、及び、医師の撮影習慣の違いにより、同じ器官の内視鏡画像の視覚的なパフォーマンスが大きく異なり、異なる器官の局所パフォーマンスが非常に似ている場合がある。従って、医師による病気の診断に深刻な影響を与える。

関連技術では、医療画像における異なる器官を認識するために、一般的に、コンピュータビジョン技術を使用して、例えば、色、テクスチャ、勾配、ローカルバイナリパターン(Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎｓ、ＬＢＰ)などの特徴を抽出し、そして、サポートベクターマシン(Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ、ＳＶＭ)分類方法によって、器官の分類認識を行う。しかし、このような技術では、画像の固有の特点に基づいて、利用可能な特徴抽出案を策定するために、研究者が医療画像を深く理解する必要があり、技術的なしきい値が高くなる。なお、抽出された特徴は、診断される特定の身体部位に対して意図的に抽出された特定の器官特徴ではなく、より一般的な特徴に偏るので、カバレッジが不完全になり、解決策のロバスト性が十分ではない。

そこで、本発明の実施例は、内視鏡画像の処理方法、システム及びコンピュータデバイスを提供し、予測プロセスをよりインテリジェントかつロバストにし、処理装置のリソース使用率を向上させる。

具体的に、本発明の実施例の技術的解決策は、以下のように実現される。
本発明は、内視鏡画像の処理方法を提供し、この方法は、
検査対象ユーザーの現在の内視鏡画像を取得するステップと、
ディープ畳み込みネットワークを使用して、トレーニングパラメータに基づいて前記現在の内視鏡画像を予測するステップであって、前記トレーニングパラメータが少なくとも１つの第１の内視鏡画像、及び、前記少なくとも１つの第１の内視鏡画像を変換した少なくとも１つの第２の内視鏡画像によって決定され、前記少なくとも１つの第１の内視鏡画像が人体部位に対応するステップと、
前記現在の内視鏡画像に対応する器官カテゴリーを決定するステップと、を含む。

本発明は、内視鏡画像処理システムをさらに提供し、当該内視鏡画像処理システムは人体検知デバイスと、内視鏡画像処理装置とを含み、
前記人体検知デバイスは、人体部位を検知し、検知した少なくとも１つの第１の内視鏡画像を前記内視鏡画像処理装置に送信するために用いられ、
前記内視鏡画像処理装置は、前記人体検知デバイスから前記少なくとも１つの第１の内視鏡画像を取得し、内視鏡画像を予測するためのディープ畳み込みネットワークを確立し、前記少なくとも１つの第１の内視鏡画像、及び前記少なくとも１つの第１の内視鏡画像を変換した少なくとも１つの第２の内視鏡画像に基づき、前記ディープ畳み込みネットワークのトレーニングパラメータを決定し、検査対象ユーザーの現在の内視鏡画像を取得し、前記ディープ畳み込みネットワークを使用して前記トレーニングパラメータに基づいて前記現在の内視鏡画像を予測し、前記現在の内視鏡画像に対応する器官カテゴリーを決定するために用いられる。

なお、本発明は、コンピュータ可読記憶媒体をさらに提供し、コンピュータ可読記憶媒体にコンピュータ可読指令が記憶されており、前記コンピュータ可読指令が少なくとも１つのプロセッサーによって実行される場合、次のステップを実現するように、前記少なくとも１つのプロセッサーによってロードされて実行される。即ち、
検査対象ユーザーの現在の内視鏡画像を取得するステップと、
ディープ畳み込みネットワークを使用して、トレーニングパラメータに基づいて前記現在の内視鏡画像を予測するステップであって、前記トレーニングパラメータが少なくとも１つの第１の内視鏡画像、及び、前記少なくとも１つの第１の内視鏡画像を変換した少なくとも１つの第２の内視鏡画像によって決定され、前記少なくとも１つの第１の内視鏡画像が人体部位に対応するステップと、
前記現在の内視鏡画像に対応する器官カテゴリーを決定するステップと、を含む。

また、本発明は、少なくとも１つのメモリ及び少なくとも１つのプロセッサーを含むコンピュータデバイスをさらに提供し、前記少なくとも１つのメモリに少なくとも１つのプログラムコードが記憶されており、前記少なくとも１つのプログラムコードは、次のステップを実現するように、前記少なくとも１つのプロセッサーによってロードされて実行される。即ち、
検査対象ユーザーの現在の内視鏡画像を取得するステップと、
ディープ畳み込みネットワークを使用して、トレーニングパラメータに基づいて前記現在の内視鏡画像を予測するステップであって、前記トレーニングパラメータが少なくとも１つの第１の内視鏡画像、及び、前記少なくとも１つの第１の内視鏡画像を変換した少なくとも１つの第２の内視鏡画像によって決定され、前記少なくとも１つの第１の内視鏡画像が人体部位に対応するステップと、
前記現在の内視鏡画像に対応する器官カテゴリーを決定するステップと、を含む。

上記の技術的解決策から、本発明の実施例によって提供される方法によれば、研究者が医療画像を深く理解する必要なく、ディープ畳み込みネットワークのモデルによって特徴抽出プロセスを完全に自主的に学習できるようにし、医師の専門レベルへの依存を減らし、予測プロセス全体がよりインテリジェントになる。同時に、トレーニングプロセスで使用されるラベル付きデータの数を減らし、トレーニングの収束速度を向上させ、次の疾患診断にクリーンで利用可能なデータを提供し、異なる器官での疾患診断に利用可能な統合モジュールを提供し、処理装置のリソース使用率を向上させることができる。

本発明の一実施例に係る内視鏡画像処理システムの構成概略図である。 本発明の一実施例における内視鏡画像の処理方法のフローチャート概略図である。 本発明の一実施例におけるディープ畳み込みネットワークの構成概略図である。 本発明の他の実施例におけるディープ畳み込みネットワークの構成概略図である。 本発明のさらに他の実施例における処理レイヤーの構成概略図である。 本発明の他の実施例における内視鏡画像の処理方法のフローチャート概略図である。 本発明の一実施例におけるラベル画像の概略図である。 本発明の一実施例におけるディープ畳み込みネットワークをトレーニングするフローチャート概略図である。 本発明の一実施例における内視鏡画像の処理装置の構成概略図である。 本発明の他の実施例における内視鏡画像の処理装置の構成概略図である。

本発明の目的、技術的解決策及び利点をより明確にするために、以下は、添付の図面を参照して実施例を挙げて、本発明をさらに詳細に説明する。

図１は、本発明の一実施例に係る内視鏡画像処理システムの構成概略図である。図１に示すように、内視鏡画像処理システム１００には、検査対象ユーザー１０１と、内視鏡１０２１が含まれる人体検知デバイス１０２と、内視鏡画像処理装置１０３と、医師１０４を含む。その中、内視鏡画像処理装置１０３は、リアルタイム予測サブ装置１０３１、オフライントレーニングサブ装置１０３２、及び内視鏡画像データベース１０３３を含み得る。

本発明の実施例によれば、人体検知デバイス１０２は、内視鏡１０２１を介して、検査対象ユーザー１０１のある人体部位を検知する。人体検知デバイス１０２は、収集した内視鏡画像を内視鏡画像処理装置１０３に送信する。具体的には、それを予測対象となる現在の内視鏡画像としてリアルタイム予測サブ装置１０３１に送信してもよく、内視鏡画像データベース１０３３に送信して記憶してもよく、内視鏡画像データベース１０３３に記憶された画像は、オフライントレーニングに使用される。

本発明の実施例によれば、医師１０４が予測対象となる現在の内視鏡画像を疾患診断したい場合、リアルタイム予測サブ装置１０３１は、まず、オフライントレーニングサブ装置１０３２からトレーニングパラメータを取得する必要があり、そして、当該トレーニングパラメータ及び作成されたディープ畳み込みネットワークに基づいて現在の内視鏡画像を予測し、当該現在の内視鏡画像に対応する器官カテゴリーを決定し、例えば、当該器官カテゴリーは上部消化管における十二指腸であり得る。オフライントレーニングサブ装置１０３２はトレーニングパラメータを生成する場合、リアルタイム予測サブ装置１０３１と同じディープ畳み込みネットワークを使用して、内視鏡画像データベース１０３３から内視鏡を介して収集された画像及びラベル付けされたラベル画像を取得し、内視鏡によって収集された画像及び各ラベル付けされたラベル画像に基づき、オフライントレーニングを実行し、ディープ畳み込みネットワークのトレーニングパラメータを出力する。

ここで、上記の人体検知デバイス１０２とは、内視鏡１０２１が取り付けられ、画像収集機能を持つ医学端末デバイスをいう。さらに、内視鏡１０２１は、画像センサー、光学レンズ、光源照明、機械装置などを含み得る。内視鏡画像処理装置１０３は、サーバー、又はクラウドサーバーであってもよく、画像記憶及び処理機能を備える。これらの端末デバイスには、オペレーティングシステムがインストールされ、当該オペレーティングシステムは、Ａｎｄｒｏｉｄオペレーティングシステム、Ｓｙｍｂｉａｎオペレーティングシステム、Ｗｉｎｄｏｗｓ ｍｏｂｉｌｅオペレーティングシステム、及びＡｐｐｌｅ ｉＰｈｏｎｅ（登録商標） ＯＳオペレーティングシステムなどを含むが、これらに限定されない。人体検知デバイス１０２と内視鏡画像処理装置１０３との間は、有線又は無線ネットワークを介して通信してもよい。

図２は、本発明の一実施例における内視鏡画像の処理方法のフローチャート概略図である。当該方法は、コンピュータデバイスに適用され、コンピュータデバイスがサーバーである例を説明する。当該実施例は、以下のステップを含む。

ステップ２０１、サーバーは、人体部位の少なくとも１つの第１の内視鏡画像を取得する。
つまり、前記少なくとも１つの第１の内視鏡画像は人体部位に対応する。

ステップ２０２、サーバーは、内視鏡画像を予測するためのディープ畳み込みネットワークを確立する。

ステップ２０３、サーバーは、少なくとも１つの第１の内視鏡画像、及び、少なくとも１つの第１の内視鏡画像を変換した少なくとも１つの第２の内視鏡画像に基づき、ディープ畳み込みネットワークのトレーニングパラメータを決定する。

ステップ２０４、サーバーは、検査対象ユーザーの現在の内視鏡画像を取得し、ディープ畳み込みネットワークを使用して、トレーニングパラメータに基づいて現在の内視鏡画像を予測し、現在の内視鏡画像に対応する器官カテゴリーを決定する。
つまり、上記のトレーニングパラメータは少なくとも１つの第１の内視鏡画像、及び、少なくとも１つの第１の内視鏡画像を変換した少なくとも１つの第２の内視鏡画像によって決定される。

次に、実施例に基づいて、上記のステップを詳細に説明する。

上記のステップ２０１では、内視鏡が含まれる検知デバイスを使用して人体部位を検知することによって、少なくとも１枚の第１の内視鏡画像を取得してもよい。人体部位には１つ又は複数の器官を含み、例えば、人体部位が上部消化管部位であり、上部消化管部位に咽頭、食道、胃、噴門、十二指腸などの、５個の器官を含む。検知デバイスによって撮影されたものは写真又はビデオであってもよく、取得された第１の内視鏡画像は白色光ＲＧＢ画像であってもよい。

上記のステップ２０２では、内視鏡画像への分類に使用されるディープ畳み込みネットワークは、深い学習に基づく畳み込みニューラルネットワークである。具体的に、ディープ畳み込みネットワークに、入力レイヤー、処理レイヤー、及び分類レイヤーを含む。図３は、本発明の一実施例におけるディープ畳み込みネットワークの構成概略図である。図３に示すように、ディープ畳み込みネットワークでは、入力レイヤー３０１は、入力として使用される少なくとも１つの内視鏡画像を決定し、処理レイヤー３０２は、入力された各内視鏡画像に対して特徴抽出を行い、分類レイヤー３０３は、入力された各内視鏡画像を予測することによって得られる器官カテゴリーを出力する。ただし、上記の少なくとも１つの内視鏡画像は、検知デバイスによって撮影された各第１の内視鏡画像を含んでもよく、勿論、各第１の内視鏡画像を変換することによって得られる各第２の内視鏡画像を含んでもよい。このように、サンプル容量を増やすことができる。

さらに、処理レイヤー３０２では、畳み込みレイヤー３０２１は、畳み込み行列をフィルタとして内視鏡画像に対して特徴抽出を行い、特徴画像を取得し、プーリングレイヤー３０２２は、畳み込みレイヤーから出力された情報を簡略化し、データの次元を減らし、算出オーバーヘッドを減らし、オーバーフィッティングを制御する。

分類レイヤー３０３では、完全接続レイヤー３０３１は、取得された特徴画像がどの器官カテゴリーに最も類似しているかを検出する。ｓｏｆｔｍａｘ層３０３２は１つの１×Ｍ次元の分類ベクトルを出力し、当該ｓｏｆｔｍａｘ層は指数正規化に使用される。ただし、Ｍは候補器官カテゴリーの数であり、例えば、候補器官カテゴリーには、非器官マップ、咽頭、食道、胃、噴門、十二指腸の６つのカテゴリーがある。分類ベクトルにおける要素の値は［０，１］であり、ｉ番目の要素は、入力である内視鏡画像がｉ番目の候補器官カテゴリーに属する確率を表す。

本発明の一実施例では、サーバーがディープ畳み込みネットワークを確立する場合、処理レイヤーに少なくとも１つの密集接続レイヤーを追加し、当該密集接続レイヤーは複数の接続サブレイヤーを含み、前記接続サブレイヤーのそれぞれについて、当該接続サブレイヤーの前にある他の接続サブレイヤーから出力された特徴を当該接続サブレイヤーの入力としてもよい。

図４は、本発明の他の実施例におけるディープ畳み込みネットワークの構成概略図である。図４に示すように、処理レイヤー３１２に、Ｙ個の密集接続レイヤー３１２１〜３１２Ｙを含む。図のブロック３１２１〜３１２Ｙ内の黒丸で示されるように、密集接続レイヤーのそれぞれは、複数の接続サブレイヤーを含む。出力層３１３では、ブロック３１３１内に示すような６つのカテゴリの確率を出力する。

図５は、本発明のさらに他の実施例における処理レイヤーの構成概略図である。図５に示すように、処理レイヤー４００の構造では、畳み込みレイヤー４０１とプーリングレイヤー４０４の間にＫ個の密集接続レイヤー４０２１〜４０２Ｋがあり、同じ密集接続レイヤーでは、各接続サブレイヤーから出力された特徴がその後の他の接続サブレイヤーに入力される。

密集接続レイヤーがＪ個の接続サブレイヤーを含み、ｊ番目の接続サブレイヤーの処理関数がＨ_ｊ、ｊ＝１，・・・，Ｊであると仮定すると、ｊ番目の接続サブレイヤーから出力された特徴ｚ_ｊは、次の式で算出されることができる。
ｚ_ｊ＝Ｈ _ｊ(［ｚ_０，ｚ_１，・・・，ｚ_ｊ-１］) (１)
ただし、［ｚ_０，ｚ_１，・・・，ｚ_ｊ-１］は、番号が０からｊ-１である接続サブレイヤーから出力された特徴をカスケードすることを示す。Ｈ _ｊは、ブロック正規化(Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ、ＢＮ、バッチ正規化とも呼ばれる)、ＲｅＬＵ励起及び３×３畳み込みなどの動作であってもよい。当該密集接続レイヤーに入力されるチャネルの数がｋ_０であると、ｊ番目のレイヤーのチャネルの数はｋ_０＋(ｊ―１)×ｋであり、ただし、ｋは成長率であり、接続サブレイヤーの数が増えると、チャネルの数がｋとともに線形に増加する。

本発明の一実施例では、処理レイヤーに少なくとも１つの密集接続レイヤーを追加する場合、パラメータをさらにコンパクトするために、２つの隣接する密集接続レイヤーの間に遷移レイヤーを追加してもよい。図５に示すように、密集接続レイヤー４０２１と密集接続レイヤー４０２２との間に遷移レイヤー４０３が追加される。Ｋ個の密集接続レイヤーがあると、遷移レイヤーの数がＫ-１である。そして、予め設定された予測精度に基づき、当該遷移レイヤーの特徴圧縮率を設置してもよい。圧縮率はパラメータの数及び予測精度に影響を与えるため、内視鏡画像に対して予め設定された予測精度に基づき、特徴圧縮率に採用される値を設置する。例えば、０．５に設置される。

本発明の他の実施例では、サーバーは、予測対象となる内視鏡画像の数、予測精度、及びトレーニングプロセス中のハイパーパラメーターへの調整に基づき、ディープ畳み込みネットワークのうち処理レイヤー及び分類レイヤーの具体的なパラメータを決定する。表１は、１つのディープ畳み込みネットワークの構造及びパラメータの例であり、合計で４つの密集接続レイヤー及び３つの遷移レイヤーを含む。その中、各密集接続レイヤーの成長率を２４に設置し、３×３畳み込み動作の前に、１つの１×１畳み込み動作をさらに実行してもよい。これにより、入力される特徴画像の数が削減され、各チャネルの特徴を融合することもできる。遷移レイヤーにおける１×１畳み込み動作では、入力チャネルの数を半分にすることができる。

ステップ２０３では、ディープ畳み込みネットワークをトレーニングする場合、サーバーは、少なくとも１つの第１の内視鏡画像、及び、少なくとも１つの第１の内視鏡画像を変換した少なくとも１つの第２の内視鏡画像に基づき、ディープ畳み込みネットワークのトレーニングパラメータを決定する。

具体的には、サーバーは、まず、少なくとも１つの第１の内視鏡画像を変換して、変換された少なくとも１つの第２の内視鏡画像を取得し、少なくとも１つの第１の内視鏡画像と少なくとも１つの第２の内視鏡画像をディープ畳み込みネットワークに同時に入力してトレーニングし、ディープ畳み込みネットワークのトレーニングパラメータを得る。

本発明の実施例では、当該少なくとも１つの第１の内視鏡画像に対してサーバーによって実行される変換は、クリッピング、回転、輝度ジッター、カラージッター、又はコントラストジッターのうちの少なくとも１つを含む。このような変換操作は、データ拡張役割を果たす。実際に適用する場合、変換される数は、候補器官カテゴリーの数及び／又は予め設定された予測精度によって決定されることができる。

例えば、図３に示すように、入力レイヤー３０１において、３０１１は検知デバイスから取得された第１の内視鏡画像であり、３０１１に対して、変換された第２の内視鏡画像３０１２を得る回転変換と、変換された第２の内視鏡画像３０１３を得る色変換と、を含む２つのタイプの変換を行い、３０１１、３０１２、３０１３を処理レイヤー３０２に同時に入力し、特徴を抽出する。

ステップ２０３で得られたトレーニングパラメータ、及びステップ２０２で確立されたディープ畳み込みネットワークは、後続のリアルタイム予測に使用される。ステップ２０４では、サーバーは検査対象ユーザーの現在の内視鏡画像を取得し、ディープ畳み込みネットワークを使用して、トレーニングパラメータに基づいて現在の内視鏡画像を予測し、現在の内視鏡画像に対応する器官カテゴリーを決定する。

例えば、入力レイヤー３０１に入力される現在の内視鏡画像は、予測されることによって、例えば「食道」のカテゴリに分類されるか、又は、当該画像が無効な医療画像であり、どの器官にも対応せず、「非器官画像」のカテゴリーに属する。これにより、医師は、病気を診断するときに当該画像を参照する必要がなくなる。

上記の実施例により、少なくとも１つの第１の内視鏡画像、及び、少なくとも１つの第１の内視鏡画像を変換した少なくとも１つの第２の内視鏡画像に基づき、ディープ畳み込みネットワークのトレーニングパラメータを決定し、変換された各第２の内視鏡画像を補助データとして、各第１の内視鏡画像に対する分類トレーニングに使用してもよい。全体的な解決策から、次の技術的効果を得ることができる。
１)研究者が医療画像を深く理解する必要なく、特徴抽出プロセスをディープ畳み込みネットワークのモデルによって完全に自主的に学習できるようにし、医師の専門レベルへの依存を減らし、予測プロセス全体がよりインテリジェントになる。
２)トレーニングプロセスで使用されるラベル付きデータの数を減らし、トレーニングの収束速度を改善し、画像分類を高速化し、処理装置のリソース使用率を向上させる。
３)反復されたトレーニングパラメータはより正確になり、ひいては当該トレーニングパラメータによってリアルタイムで予測した分類結果がより正確になり、次の疾患診断に、クリーンで利用可能なデータを提供する。
４)このようなディープ畳み込みネットワークによって、色やテクスチャなどの低レベルの画像特徴だけでなく、粘膜が滑らかかどうか、しわがたくさんあるかどうかなどのより抽象的な語義特徴も抽出でき、強いロバスト性を持ち、異なる病院で異なる医師により撮影された、同一部位に対する異なる角度及び撮影手段などによって引き起こされる干渉に適応できる。
５)正確な分類結果が得られたら、異なる器官での疾患診断に対して、利用可能な統合モジュールを提供でき、例えば、食道器官の場合、分類された後に食道カテゴリーに属する全ての内視鏡画像を食道がんのスクリーニングと診断に使用し、胃器官の場合、分類された後に胃カテゴリーに属する全ての内視鏡画像を胃炎や胃がんなどの疾患のスクリーニングに使用する。
また、ディープ畳み込みネットワークを確立する場合、少なくとも１つの密集接続レイヤーを追加することによって、ネットワークにおけるすべてのレイヤー間の情報フローを最大化し、トレーニングプロセスにおける勾配散逸の問題をある程度軽減でき、そして、大量の特徴が再利用されるため、少量の畳み込みカーネルを使用して大量の特徴を生成でき、最終的なモデルのサイズも比較的小さくなり、パラメータの数が削減される。

図６は、本発明の他の実施例における内視鏡画像処理方法のフローチャート概略図である。図６に示すように、次のステップを含む。

ステップ５０１、サーバーは、人体部位に対する少なくとも１つの第１の内視鏡画像を取得する。

ステップ５０２、サーバーは、少なくとも１つの第１の内視鏡画像を変換して、変換された少なくとも１つの第２の内視鏡画像を得る。

ステップ５０３、サーバーは、内視鏡画像を予測するためのディープ畳み込みネットワークを確立する。

ここで、ステップ５０１−５０３は、上記のステップ２０１、２０３、２０２を参照できる。ここで、繰り返さない。

ステップ５０４、サーバーは、人体部位の構造及び予め設定された診断ターゲットに基づき、少なくとも１つの候補器官カテゴリーを決定する。

このステップでは、人体部位に複数の器官が含まれ、ディープ畳み込みネットワークを利用して内視鏡画像を予測する場合、複数の候補器官カテゴリーを事前に決定する必要がある。具体的には、人体部位を分割する場合、予め設定された診断ターゲットを参照して、複数の領域を分割し、ひいては複数の候補器官カテゴリーを決定することができる。例えば、胃がん、食道がんは、現在発生率の高い悪性腫瘍の種類の中で最も一般的であり、診断ターゲットがこれらの２つの器官を診断するように設定される場合、候補器官カテゴリーは胃、食道、及びその他という３つのカテゴリに設定されることができる。

ステップ５０５、サーバーは、各候補器官カテゴリーに対応するラベル画像を取得する。

本発明の実施例では、これらのラベル画像は、医療画像データベースから取得され、手動でラベル付けされてもよく、又は、収集された第１の内視鏡画像から候補器官の典型的な特徴を持つ画像がフィルタリングされてもよい。図７は、本発明の一実施例におけるラベル画像の概略図である。図７に示すように、十二指腸、食道、胃、及び目の複数のラベル画像がそれぞれ与えられる。

ステップ５０６、ディープ畳み込みネットワークをトレーニングする場合、サーバーは、少なくとも１つの第１の内視鏡画像及び少なくとも１つの第２の内視鏡画像を入力サンプルとして、各ラベル画像を理想的な出力サンプル(即ち、ターゲット出力サンプル)としてトレーニングし、ディープ畳み込みネットワークのトレーニングパラメータを得る。

本発明の実施例では、ディープニューラルネットワークは、トレーニングのプロセスでは、入力された画像サンプル及び理想的な出力サンプルに基づき、収束するまで、重みを反復的に徐々に調整する。

ステップ５０７、サーバーは、検査対象ユーザーの現在の内視鏡画像を取得し、ディープ畳み込みネットワークを使用して、トレーニングパラメータに基づいて現在の内視鏡画像を予測し、現在の内視鏡画像に対応する器官カテゴリーを決定する。

このステップは上記のステップ２０４と同じであるので、ここで、繰り返さない。

上記の実施例によって、同じ器官の医療画像が大きく異なる可能性があることを考慮して、候補器官カテゴリーは合理的に設計され、入力サンプルに各第１の内視鏡画像を変換することによって歪められた各第２の内視鏡画像が含まれることによって、ラベル画像の数を大幅に削減し、ディープ畳み込みネットワークをトレーニングする場合にラベル付きデータとするラベル画像の数が限られるという問題を解決できる。

図８は、本発明の一実施例におけるディープ畳み込みネットワークをトレーニングするフローチャート概略図である。図８に示すように、次のステップを含む。

ステップ７０１、サーバーは、人体部位に対する少なくとも１つの第１の内視鏡画像を取得する。

ステップ７０２、サーバーは、少なくとも１つの第１の内視鏡画像を変換して、変換された少なくとも１つの第２の内視鏡画像を得る。

ステップ７０３、サーバーは、内視鏡画像を予測するためのディープ畳み込みネットワークを確立し、ディープ畳み込みネットワークは、入力レイヤー、処理レイヤー、及び分類レイヤーを含む。

ディープ畳み込みネットワークをトレーニングする場合、収束するまで、反復的に逆伝播アルゴリズムによってパラメータを調整してもよい。逆伝播アルゴリズムは、４つの異なる部分、即ち、順方向伝送、損失関数の計算、逆方向伝送、及びパラメータ更新に分けてもよい。順方向伝送のプロセスでは、少なくとも１つの第１の内視鏡画像及び変換された少なくとも１つの第２の内視鏡画像を含む初期サンプルデータを入力し、処理レイヤーにおいて伝送する。損失関数を構築することにより、収束するまで、ディープ畳み込みネットワークがトレーニングパラメータを更新するのに役立つ。

ステップ７０４、サーバーは、ディープ畳み込みネットワークをトレーニングするための損失関数を予め構築する。

このステップでは、予め設定された収束戦略に従って損失関数を構築する。

本発明の一実施例では、入力された第１の内視鏡画像及び変換された第２の内視鏡画像に対して、具体的に、収束戦略は整合性制約戦略であり、即ち、異なる変換を介した同一の内視鏡画像について、モデルによって抽出された特徴は非常に接近すべきである。

本発明の他の実施例では、入力された第１の内視鏡画像及びそれが属する器官カテゴリーの中心特徴に対して、具体的に、収束戦略は中心アグリゲーション戦略であり、即ち、同じ器官カテゴリーに属する第１の内視鏡画像の間の距離が減少され、つまり、クラスタ間距離が短くなり、同時に、異なる器官カテゴリーの間の内視鏡画像の間の距離が大きくなり、つまり、クラスタ間距離が長くなる。

ステップ７０５、サーバーは、少なくとも１つの第１の内視鏡画像、及び、少なくとも１つの第２の内視鏡画像を入力し、ディープ畳み込みネットワークを初期化する。

このステップでは、ディープ畳み込みネットワークを初期化することは、次の２つの初期化プロセスを含む。
１) 処理レイヤーと出力レイヤーにおける各サブレイヤーの重みを含むディープ畳み込みネットワークのトレーニングパラメータｗを初期化する。例えば、ランダムな初期化方式を採用して、トレーニングパラメータの初期値をランダム値［０．３，０．１， ０．４，０．２，０．３・・・］として決定する。
２)第１の内視鏡画像に対応する中心特徴を初期化し、例えば、各カテゴリーのラベル画像の平均値を中心特徴の初期値とする。

トレーニングの開始時に、初期化されたトレーニングパラメータと中心特徴により、損失関数の値が高くなる。ディープニューラルネットワークをトレーニングする目的は、予測値が実際値と同じであることを期待することである。このため、損失関数の値をなるべく減少する必要があり、損失値が小さいほど、予測結果が実際値に近いことを示す。このプロセスでは、トレーニングパラメータと中心特徴を反復して調整し、各反復において損失関数の値を算出し、最終的にネットワーク全体の損失を最小限に抑える。

損失関数を算出する場合、次のステップ７０６、７０７は上記の整合性制約戦略に対応し、次のステップ７０８は上記の中心アグリゲーション戦略に対応する。

ステップ７０６、サーバーは、処理レイヤーが少なくとも１つの第１の内視鏡画像を処理することによって得られた少なくとも１つの処理済み特徴を取得する。

ステップ７０７、サーバーは、少なくとも１つの処理済み特徴及び少なくとも１つの第２の内視鏡画像の特徴に基づき、今回の反復における損失関数の値を算出する。

上記の整合性制約戦略は、損失関数では、各第１の内視鏡画像の処理済み特徴と各第２の内視鏡画像の特徴との間の複数の第１の距離をそれぞれ算出し、複数の第１の距離によって第１の内視鏡画像と第２の内視鏡画像との間の整合性を制約するように表現される。

具体的には、トレーニングパラメータをｗ、入力されたi番目の第１の内視鏡画像の特徴ベクトルをｘ_ｉ、i番目のラベル画像の特徴ベクトルをｙ_ｉとすると、損失関数Ｌ(ｗ)は、次の式で反復して計算されることができる。

ただし、ｎは入力された第１の内視鏡画像の数であり、ｍは第１の内視鏡画像を変換して得られた第２の内視鏡画像の数であり、

は分類クロスエントロピー損失を示し、

はＬ２正則化パラメータを示し、ｈ_０は第１の内視鏡画像に基づき処理レイヤーによって出力された特徴ベクトル、即ち、処理済み特徴のベクトルであり、ｈ_ｋはｋ番目の第２の内視鏡画像の特徴ベクトルであり、ｒとλはハイパーパラメーターであり、どちらも０より大きい値である。

また、ｉは、１以上かつｎ以下の整数で、ｋは、１以上かつｍ以下の整数である。

以上から、上記の式(２)において、第１の距離はｈ_０−ｈ_ｋであり、表現式

は変換前後の内視鏡画像の間の整合性の制約を反映している。

ステップ７０８、サーバーは、各第１の内視鏡画像の特徴と各第１の内視鏡画像に対応する中心特徴との間の複数の第２の距離を算出する。
第１の内視鏡画像に対応する中心特徴を

中心損失を

として定義すると、中心損失を表すための第２の距離は

である。

ステップ７０９、サーバーは、当該複数の第１の距離と当該複数の第２の距離に基づき、損失関数の値を算出する。

整合性制約のみを考慮すると、損失関数の値は、上記の式(２)を参照して算出されることができる。

整合性制約と中心アグリゲーション戦略を同時に考慮すると、第１の距離と第２の距離に基づき損失関数の値を算出する。具体的に、次のように算出する。

ただし、

ステップ７１０、サーバーは、損失関数の値に基づき、トレーニングプロセスが終了したかどうかを決定する。そうである場合は、ステップ７１３を実行し、そうではない場合は、ステップ７１１及び７１２を実行する。

連続する反復のプロセスでは、損失関数を最小化し、即ち、ｍｉｎＬ(ｗ)である。損失関数の値が許容しきい値に達したかどうかを判断することで、反復を停止するかどうかを判断する。反復を停止した後、トレーニングプロセス全体が終了する。

ステップ７１１、サーバーはトレーニングパラメータを更新する。そして、さらにステップ７０６を実行して、次の反復プロセスを実行する。

ステップ７１２、サーバーは、中心特徴を更新する。そして、さらにステップ７０８を実行し、次の反復プロセスを実行する。

ステップ７１３、サーバーは、トレーニングが終了した後、ディープ畳み込みネットワークのトレーニングパラメータを得る。

上記の実施例によって、ディープ畳み込みネットワークをトレーニングするための損失関数を予め構築し、第１の内視鏡画像の処理済み特徴及び各第２の内視鏡画像の特徴に基づき、各反復における損失関数の値を算出し、整合性制約が導入されることで、より安定した特徴を優先的に見つけて、最適な解が得られるまでトレーニングプロセスの収束速度を加速することができる。また、損失関数では中心アグリゲーション戦略を考慮することで、各カテゴリーに対してモデルにより学習された特徴がより安定してまとまりがあり、実際環境でのモデルの汎化能力をさらに向上させる。

図９は、本発明の一実施例における内視鏡画像の処理装置の構成概略図である。図９に示すように、装置８００は、
内視鏡が含まれる検知デバイスを介して、人体部位に対する第１の内視鏡画像を取得し、検査対象ユーザーの現在の内視鏡画像を取得する取得モジュール８１０と、
内視鏡画像を予測するためのディープ畳み込みネットワークを確立し、取得モジュール８１０によって取得された第１の内視鏡画像、及び、第１の内視鏡画像を変換した少なくとも１つの第２の内視鏡画像に基づき、ディープ畳み込みネットワークのトレーニングパラメータを決定する確立モジュール８２０と、
確立モジュール８２０によって確立されたディープ畳み込みネットワークを使用して、トレーニングパラメータに基づいて現在の内視鏡画像を予測し、現在の内視鏡画像に対応する器官カテゴリーを決定する予測モジュール８３０と、を含む。

本発明の一実施例では、装置８００は、
人体部位の構造及び予め設定された診断ターゲットに基づき、少なくとも１つの候補器官カテゴリーを決定し、各候補器官カテゴリーに対応するラベル画像を取得する決定モジュール８４０と、
第１の内視鏡画像及び少なくとも１つの第２の内視鏡画像を入力サンプルとし、決定モジュール８４０によって決定された各ラベル画像を理想的な出力サンプルとして、トレーニングパラメータを得る確立モジュール８２０をさらに含む。

本発明の一実施例では、ディープ畳み込みネットワークは、入力レイヤー、処理レイヤー、及び分類レイヤーを含み、確立モジュール８２０は、処理レイヤーに、複数の接続サブレイヤーを含む少なくとも１つの密集接続レイヤーを追加し、前記接続サブレイヤーのそれぞれについて、当該接続サブレイヤーの前にある他の接続サブレイヤーから出力された特徴を当該接続サブレイヤーの入力とするために用いられる。

本発明の一実施例では、確立モジュール８２０は、２つの隣接する密集接続レイヤーの間に遷移レイヤーを追加し、予め設定された予測精度に基づき当該遷移レイヤーの特徴圧縮率の値を設置するために用いられる。

本発明の一実施例では、ディープ畳み込みネットワークは、入力レイヤー、処理レイヤー、及び分類レイヤーを含み、装置８００は、
ディープ畳み込みネットワークをトレーニングするための損失関数を予め構築する構築モジュール８５０と、
ディープ畳み込みネットワークをトレーニングする場合、処理レイヤーが第１の内視鏡画像を処理することによって得られた処理済み特徴を取得することと、処理済み特徴と各第２の内視鏡画像の特徴に基づき、今回の反復における損失関数の値を算出することと、損失関数の値に基づきトレーニングプロセスが終了したかどうかを決定し、トレーニングプロセスが終了したと決定した場合、トレーニングパラメータを取得することとを反復して実行する確立モジュール８２０と、をさらに含む。

本発明の一実施例では、確立モジュール８２０は、さらに、第１の内視鏡画像が属する器官カテゴリーの中心特徴を初期化し、処理済み特徴と各第２の内視鏡画像の特徴との間の第１の距離をそれぞれ算出し、第１の内視鏡画像の特徴と第１の内視鏡画像に対応する中心特徴との間の第２の距離を算出し、第１の距離及び第２の距離に基づき値を算出するために用いられる。

本発明の一実施例では、第１の内視鏡画像に対して実行される変換は、クリッピング、回転、輝度ジッター、カラージッター、コントラストジッターのうちの少なくとも１つを含む。

図１０は、本発明の他の実施例における内視鏡画像の処理装置の構成概略図である。図１０に示すように、装置９００は、プロセッサー９１０、メモリ９２０、ポート９３０、及びバス９４０を含む。プロセッサー９１０とメモリ９２０は、バス９４０を介してお互いに接続される。プロセッサー９１０は、ポート９３０を介してデータを送受信することができる。

プロセッサー９１０は、メモリ９２０に記憶された機械可読指令モジュールを実行する。

メモリ９２０に、プロセッサー９１０によって実行可能な機械可読指令モジュールが記憶される。プロセッサー９１０によって実行可能な指令モジュールは、取得モジュール９２１、確立モジュール９２２、及び予測モジュール９２３を含む。
取得モジュール９２１は、プロセッサー９１０によって実行される場合、内視鏡が含まれる検知デバイスを介して、人体部位に対する第１の内視鏡画像を取得し、検査対象ユーザーの現在の内視鏡画像を取得するためのものであってもよい。
確立モジュール９２２は、プロセッサー９１０によって実行される場合、内視鏡画像を予測するためのディープ畳み込みネットワークを確立し、取得モジュール９２１によって取得された第１の内視鏡画像、及び第１の内視鏡画像を変換した少なくとも１つの第２の内視鏡画像に基づき、ディープ畳み込みネットワークのトレーニングパラメータを決定するためのものであってもよい。
予測モジュール９２３は、プロセッサー９１０によって実行される場合、確立モジュール９２２によって確立されるディープ畳み込みネットワークを使用してトレーニングパラメータに基づいて現在の内視鏡画像を予測し、現在の内視鏡画像に対応する器官カテゴリーを決定するためのものであってもよい。

本発明の一実施例では、プロセッサー９１０によって実行可能な指令モジュールは、決定モジュール９２４をさらに含む。決定モジュール９２４は、プロセッサー９１０によって実行される場合、人体部位の構造及び予め設定された診断ターゲットに基づき、少なくとも１つの候補器官カテゴリーを決定し、ディープ畳み込みネットワークをトレーニングする前に、各候補器官カテゴリーに対応するラベル画像を取得するためのものであってもよい。
確立モジュール９２２は、プロセッサー９１０によって実行される場合、第１の内視鏡画像及び少なくとも１つの第２の内視鏡画像を入力サンプルとし、決定モジュール９２４によって決定された各ラベル画像を理想的な出力サンプルとして、トレーニングパラメータを得るためのものであってもよい。

本発明の一実施例では、プロセッサー９１０によって実行可能な指令モジュールは、構築モジュール９２５をさらに含む。構築モジュール９２５は、プロセッサー９１０によって実行される場合、ディープ畳み込みネットワークをトレーニングするための損失関数を予め構築するためのものであってもよい。
確立モジュール９２２は、プロセッサー９１０によって実行される場合、ディープ畳み込みネットワークをトレーニングする場合、処理レイヤーが第１の内視鏡画像を処理することによって得られた処理済み特徴を取得することと、処理済み特徴と各第２の内視鏡画像の特徴に基づき、今回の反復における損失関数の値を算出することと、損失関数の値に基づきトレーニングプロセスが終了したかどうかを決定し、トレーニングプロセスが終了したと決定した場合、トレーニングパラメータを取得することと、を反復して実行するためのものであってもよい。

このことから、メモリ９２０に記憶された指令モジュールがプロセッサー９１０によって実行される場合、上記の各実施例における取得モジュール、確立モジュール、予測モジュール、決定モジュール、及び構築モジュールの各機能を実現できることがわかる。

上記の装置の実施例では、各モジュール及びユニットのその自体の機能を実現するための具体的な方法はいずれも方法実施例で説明されており、ここで繰り返さない。

また、本発明の各実施例における各機能モジュールは、１つの処理ユニットに統合されてもよく、物理的に単独で存在してもよく、２つ又は２つ以上のモジュールが１つのユニットに統合されてもよい。上記の統合されたユニットは、ハードウェアの形で実現されてもよく、ソフトウェア機能ユニットの形で実現されてもよい。

一実施例では、人体検知デバイスと、内視鏡画像処理装置とを含む内視鏡画像処理システムを提供し、
当該人体検知デバイスは、人体部位を検知し、検知した少なくとも１つの第１の内視鏡画像を当該内視鏡画像処理装置に送信するために用いられ、
当該内視鏡画像処理装置は、当該人体検知デバイスから当該少なくとも１つの第１の内視鏡画像を取得し、内視鏡画像を予測するためのディープ畳み込みネットワークを確立し、当該少なくとも１つの第１の内視鏡画像及び当該少なくとも１つの第１の内視鏡画像を変換した少なくとも１つの第２の内視鏡画像に基づき、当該ディープ畳み込みネットワークのトレーニングパラメータを決定し、検査対象ユーザーの現在の内視鏡画像を取得し、当該ディープ畳み込みネットワークを使用して当該トレーニングパラメータに基づいて当該現在の内視鏡画像を予測し、当該現在の内視鏡画像に対応する器官カテゴリーを決定するために用いられる。

一実施例では、当該内視鏡画像処理装置は、さらに、人体部位の構造及び予め設定された診断ターゲットに基づき、少なくとも１つの候補器官カテゴリーを決定し、各候補器官カテゴリーに対応するラベル画像を取得し、当該少なくとも１つの第１の内視鏡画像と当該少なくとも１つ第２の内視鏡画像を入力サンプルとし、各ラベル画像をターゲット出力サンプルとしてトレーニングして、当該トレーニングパラメータを得るために用いられる。

一実施例では、当該ディープ畳み込みネットワークは、入力レイヤー、処理レイヤー、及び分類レイヤーを含み、当該内視鏡画像処理装置は、さらに、当該ディープ畳み込みネットワークをトレーニングするための損失関数を予め構築し、当該ディープ畳み込みネットワークをトレーニングする場合、当該処理レイヤーが当該少なくとも１つの第１の内視鏡画像を処理することによって得られた少なくとも１つの処理済み特徴を取得することと、当該少なくとも１つの処理済み特徴及び当該少なくとも１つの第２の内視鏡画像の特徴に基づき、今回の反復における当該損失関数の値を算出することと、当該損失関数の値に基づきトレーニングプロセスが終了したかどうかを決定し、トレーニングプロセスが終了したと決定した場合、当該トレーニングパラメータを得ることと、を反復して実行するために用いられる。

一実施例では、当該ディープ畳み込みネットワークをトレーニングする場合、当該内視鏡画像処理装置は、さらに、当該少なくとも１つの第１の内視鏡画像が属する器官カテゴリーの中心特徴を初期化し、各処理済み特徴と各第２の内視鏡画像の特徴との間の複数の第１の距離をそれぞれ算出し、各第１の内視鏡画像の特徴と各第１の内視鏡画像に対応する中心特徴との間の複数の第２の距離を算出し、当該複数の第１の距離と当該複数の第２の距離に基づき、当該損失関数の値を算出するために用いられる。

一実施例では、コンピュータデバイスを提供し、当該コンピュータデバイスは少なくとも１つのメモリ及び少なくとも１つのプロセッサーを含み、当該少なくとも１つのメモリに少なくとも１つのプログラムコードが記憶されており、当該少なくとも１つのプログラムコードは、当該少なくとも１つのプロセッサーによってロードされて実行されることで、
検査対象ユーザーの現在の内視鏡画像を取得するステップと、
ディープ畳み込みネットワークを使用して、トレーニングパラメータに基づいて当該現在の内視鏡画像を予測するステップであって、当該トレーニングパラメータが少なくとも１つの第１の内視鏡画像及び当該少なくとも１つの第１の内視鏡画像を変換した少なくとも１つの第２の内視鏡画像によって決定され、当該少なくとも１つの第１の内視鏡画像が人体部位に対応するステップと、
当該現在の内視鏡画像に対応する器官カテゴリーを決定するステップと、を実行する。

一実施例では、当該少なくとも１つのプロセッサーは、
人体部位に対する少なくとも１つの第１の内視鏡画像を取得するステップと、
内視鏡画像を予測するためのディープ畳み込みネットワークを確立し、当該少なくとも１つの第１の内視鏡画像及び当該少なくとも１つの第１の内視鏡画像を変換した少なくとも１つの第２の内視鏡画像に基づき、当該ディープ畳み込みネットワークのトレーニングパラメータを決定するステップと、を実行する。

一実施例では、当該少なくとも１つのプロセッサーは、
人体部位の構造及び予め設定された診断ターゲットに基づき、少なくとも１つの候補器官カテゴリーを決定するステップと、
各候補器官カテゴリーに対応するラベル画像を取得するステップと、
当該少なくとも１つの第１の内視鏡画像と当該少なくとも１つ第２の内視鏡画像を入力サンプルとし、各ラベル画像をターゲット出力サンプルとしてトレーニングして、当該トレーニングパラメータを得るテップと、を実行する。

一実施例では、当該ディープ畳み込みネットワークは、入力レイヤー、処理レイヤー、及び分類レイヤーを含み、
当該少なくとも１つのプロセッサーは、
当該処理レイヤーに少なくとも１つの密集接続レイヤーを追加するステップであって、当該密集接続レイヤーに複数の接続サブレイヤーが含まれるステップと、
前記接続サブレイヤーのそれぞれについて、当該接続サブレイヤーの前にある他の接続サブレイヤーから出力された特徴を当該接続サブレイヤーの入力とするステップと、を実行する。

一実施例では、当該少なくとも１つのプロセッサーは、
２つの隣接する密集接続レイヤーの間に遷移レイヤーを追加し、予め設定された予測精度に基づき、当該遷移レイヤーの特徴圧縮率を設置するステップを実行する。

一実施例では、当該ディープ畳み込みネットワークは、入力レイヤー、処理レイヤー、及び分類レイヤーを含み、当該少なくとも１つのプロセッサーは、
当該ディープ畳み込みネットワークをトレーニングするための損失関数を予め構築するステップと、
当該ディープ畳み込みネットワークをトレーニングする場合、
当該処理レイヤーが当該少なくとも１つの第１の内視鏡画像を処理することによって得られた少なくとも１つの処理済み特徴を取得することと、
当該少なくとも１つの処理済み特徴及び当該少なくとも１つの第２の内視鏡画像の特徴に基づき、今回の反復における当該損失関数の値を算出することと、
当該損失関数の値に基づきトレーニングプロセスが終了したかどうかを決定し、トレーニングプロセスが終了したと決定した場合、当該トレーニングパラメータを得ることと、を反復して実行するステップと、を実行する。

一実施例では、当該ディープ畳み込みネットワークをトレーニングする場合、当該少なくとも１つのプロセッサーは、
当該少なくとも１つの第１の内視鏡画像が属する器官カテゴリーの中心特徴を初期化するステップと、
各処理済み特徴と各第２の内視鏡画像の特徴との間の複数の第１の距離をそれぞれ算出するステップと、
各第１の内視鏡画像の特徴と各第１の内視鏡画像に対応する中心特徴との間の複数の第２の距離を算出するステップと、
当該複数の第１の距離と当該複数の第２の距離に基づき、当該損失関数の値を算出するステップと、を実行する。

一実施例では、当該少なくとも１つの第１の内視鏡画像に対して実行される変換は、クリッピング、回転、輝度ジッター、カラージッター、又はコントラストジッターのうちの少なくとも１つを含む。

また、本発明の各実施例は、コンピュータなどのデータ処理デバイスで実行されるデータ処理プログラムによって実現することができる。明らかに、データ処理プログラムは本発明を構成する。また、一般的に、１つの記憶媒体に記憶されたデータ処理プログラムは、記憶媒体から直接読み取られたり、データ処理デバイスの記憶デバイス(例えば、ハードディスク及び／又はメモリ)にインストール又はコピーされたりすることによって実行される。これにより、このような記憶媒体も本発明を構成する。記憶媒体は、例えば、紙の記憶媒体(例えば、紙テープなど)、磁気記憶媒体(例えば、フレキシブルディスク、ハードディスク、フラッシュメモリなど)、光記憶媒体(例えば、ＣＤ-ＲＯＭなど)、光磁気記憶媒体(例えば、ＭＯなど)などの、任意のカテゴリーの記録形態を使用することができる。

従って、本発明は、さらに、データ処理プログラムが記憶される記憶媒体も開示し、当該データ処理プログラムは、本発明の上記の方法実施例のいずれかを実行するために使用される。

いくつかの実施例では、当該記憶媒体は、コンピュータ可読指令が記憶されるコンピュータ可読記憶媒体であってもよく、当該コンピュータ可読指令は、少なくとも１つのプロセッサーによって実行される場合、当該少なくとも１つのプロセッサーによってロードされて実行されることで、
検査対象ユーザーの現在の内視鏡画像を取得するステップと、
ディープ畳み込みネットワークを使用して、トレーニングパラメータに基づいて当該現在の内視鏡画像を予測するステップであって、当該トレーニングパラメータが少なくとも１つの第１の内視鏡画像及び当該少なくとも１つの第１の内視鏡画像を変換した少なくとも１つの第２の内視鏡画像によって決定され、当該少なくとも１つの第１の内視鏡画像が人体部位に対応するステップと、
当該現在の内視鏡画像に対応する器官カテゴリーを決定するステップと、を実現する。

一実施例では、当該少なくとも１つのプロセッサーは、
人体部位に対する少なくとも１つの第１の内視鏡画像を取得するステップと、
内視鏡画像を予測するためのディープ畳み込みネットワークを確立し、当該少なくとも１つの第１の内視鏡画像、及び当該少なくとも１つの第１の内視鏡画像を変換した少なくとも１つの第２の内視鏡画像に基づき、当該ディープ畳み込みネットワークのトレーニングパラメータを決定するステップと、を実行する。

一実施例では、当該少なくとも１つのプロセッサーは、
人体部位の構造及び予め設定された診断ターゲットに基づき、少なくとも１つの候補器官カテゴリーを決定するステップと、
各候補器官カテゴリーに対応するラベル画像を取得するステップと、
当該少なくとも１つの第１の内視鏡画像と当該少なくとも１つ第２の内視鏡画像を入力サンプルとし、各ラベル画像をターゲット出力サンプルとしてトレーニングして、当該トレーニングパラメータを得るステップと、を実行する。

一実施例では、当該ディープ畳み込みネットワークは、入力レイヤー、処理レイヤー、及び分類レイヤーを含み、当該少なくとも１つのプロセッサーは、
当該処理レイヤーに、少なくとも１つの密集接続レイヤーを追加するステップであって、当該密集接続レイヤーに複数の接続サブレイヤーが含まれるステップと、
前記接続サブレイヤーのそれぞれについて、当該接続サブレイヤーの前にある他の接続サブレイヤーから出力された特徴を当該接続サブレイヤーの入力とするステップと、を実行する。

一実施例では、当該少なくとも１つのプロセッサーは、
２つの隣接する密集接続レイヤーの間に遷移レイヤーを追加し、予め設定された予測精度に基づき当該遷移レイヤーの特徴圧縮率を設置するステップを実行する。

一実施例では、当該ディープ畳み込みネットワークは、入力レイヤー、処理レイヤー、及び分類レイヤーを含み、当該少なくとも１つのプロセッサーは、
当該ディープ畳み込みネットワークをトレーニングするための損失関数を予め構築するステップと、
当該ディープ畳み込みネットワークをトレーニングする場合、
当該処理レイヤーが当該少なくとも１つの第１の内視鏡画像を処理することによって得られた少なくとも１つの処理済み特徴を取得することと、
当該少なくとも１つの処理済み特徴及び当該少なくとも１つの第２の内視鏡画像の特徴に基づき、今回の反復における当該損失関数の値を算出することと、
当該損失関数の値に基づきトレーニングプロセスが終了したかどうかを決定し、トレーニングプロセスが終了したと決定した場合、当該トレーニングパラメータを得ることと、を反復して実行するステップと、を実行する。

一実施例では、当該ディープ畳み込みネットワークをトレーニングする場合、当該少なくとも１つのプロセッサーは、
当該少なくとも１つの第１の内視鏡画像が属する器官カテゴリーの中心特徴を初期化するステップと、
各処理済み特徴と各第２の内視鏡画像の特徴との間の複数の第１の距離をそれぞれ算出するステップと、
各第１の内視鏡画像の特徴と各第１の内視鏡画像に対応する中心特徴との間の複数の第２の距離を算出するステップと、
当該複数の第１の距離と当該複数の第２の距離に基づき、当該損失関数の値を算出するステップと、を実行する。

一実施例では、当該少なくとも１つの第１の内視鏡画像に対して実行される変換は、クリッピング、回転、輝度ジッター、カラージッター、又はコントラストジッターのうちの少なくとも１つを含む。

以上は、本発明の好ましい実施例に過ぎず、本発明を限定することを意図しない。本発明の精神及び原則の範囲で行われた任意の補正、均等な置換、改善などは、いずれも本発明の保護範囲に含まれるべきである。

１００ 内視鏡画像処理システム
１０１ 検査対象ユーザー
１０２ 人体検知デバイス
１０３ 内視鏡画像処理装置
１０４ 医師
３０１ 入力レイヤー
３０２ 処理レイヤー
３０３ 分類レイヤー
３１２ 処理レイヤー
３１３ 出力層
４００ 処理レイヤー
４０１ 畳み込みレイヤー
４０２ 密集接続レイヤー
４０３ 遷移レイヤー
４０４ プーリングレイヤー
８００ 装置
８１０ 取得モジュール
８２０ 確立モジュール
８３０ 予測モジュール
８４０ 決定モジュール
８５０ 構築モジュール
９００ 装置
９１０ プロセッサー
９２０ メモリ
９２１ 取得モジュール
９２２ 確立モジュール
９２３ 予測モジュール
９２４ 決定モジュール
９２５ 構築モジュール
９３０ ポート
９４０ バス
１０２１ 内視鏡
１０３１ リアルタイム予測サブ装置
１０３２ オフライントレーニングサブ装置
１０３３ 内視鏡画像データベース
３０１２ 第２の内視鏡画像
３０１３ 第２の内視鏡画像
３０２１ 畳み込みレイヤー
３０２２ プーリングレイヤー
３０３１ 完全接続レイヤー
３０３２ ｓｏｆｔｍａｘ層
３１２１ 密集接続レイヤー
４０２１ 密集接続レイヤー
４０２２ 密集接続レイヤー

Claims (20)

1. 内視鏡画像の処理方法であって、
   検査対象ユーザーの現在の内視鏡画像を取得するステップと、
   ディープ畳み込みネットワークを使用して、トレーニングパラメータに基づいて前記現在の内視鏡画像を予測するステップであって、前記トレーニングパラメータが少なくとも１つの第１の内視鏡画像、及び、前記少なくとも１つの第１の内視鏡画像を変換した少なくとも１つの第２の内視鏡画像によって決定され、前記少なくとも１つの第１の内視鏡画像が人体部位に対応するステップと、
   前記現在の内視鏡画像に対応する器官カテゴリーを決定するステップと、
   を含むことを特徴とする方法。
2. ディープ畳み込みネットワークを使用して、トレーニングパラメータに基づいて前記現在の内視鏡画像を予測する前に、
   人体部位の少なくとも１つの第１の内視鏡画像を取得するステップと、
   内視鏡画像を予測するためのディープ畳み込みネットワークを確立し、前記少なくとも１つの第１の内視鏡画像、及び、前記少なくとも１つの第１の内視鏡画像を変換した少なくとも１つの第２の内視鏡画像に基づき、前記ディープ畳み込みネットワークのトレーニングパラメータを決定するステップと、
   をさらに含むことを特徴とする請求項１に記載の方法。
3. 前記人体部位の構造及び予め設定された診断ターゲットに基づき、少なくとも１つの候補器官カテゴリーを決定するステップと、
   各候補器官カテゴリーに対応するラベル画像を取得するステップと、
   をさらに含み、
   前記少なくとも１つの第１の内視鏡画像、及び、前記少なくとも１つの第１の内視鏡画像を変換した少なくとも１つの第２の内視鏡画像に基づき、前記ディープ畳み込みネットワークのトレーニングパラメータを決定する前記ステップは、
   前記少なくとも１つの第１の内視鏡画像及び前記少なくとも１つの第２の内視鏡画像を入力サンプルとし、各ラベル画像をターゲット出力サンプルとしてトレーニングして、前記トレーニングパラメータを得るステップ、を含むことを特徴とする請求項２に記載の方法。
4. 前記ディープ畳み込みネットワークは、入力レイヤー、処理レイヤー、及び分類レイヤーを含み、
   内視鏡画像を予測するためのディープ畳み込みネットワークを確立する前記ステップは、
   前記処理レイヤーに少なくとも１つの密集接続レイヤーを追加するステップであって、前記密集接続レイヤーが複数の接続サブレイヤーを含むステップと、
   前記接続サブレイヤーのそれぞれについて、当該接続サブレイヤーの前にある他の接続サブレイヤーから出力された特徴を当該接続サブレイヤーの入力とするステップと、
   を含むことを特徴とする請求項２に記載の方法。
5. 前記処理レイヤーに少なくとも１つの密集接続レイヤーを追加する前記ステップは、
   ２つの隣接する密集接続レイヤーの間に遷移レイヤーを追加し、予め設定された予測精度に基づき、当該遷移レイヤーの特徴圧縮率を設置するステップ、を含むことを特徴とする請求項４に記載の方法。
6. 前記ディープ畳み込みネットワークは、入力レイヤー、処理レイヤー、及び分類レイヤーを含み、
   前記方法は、
   前記ディープ畳み込みネットワークをトレーニングするための損失関数を予め構築するステップをさらに含み、
   前記少なくとも１つの第１の内視鏡画像、及び、前記少なくとも１つの第１の内視鏡画像を変換した少なくとも１つの第２の内視鏡画像に基づき、前記ディープ畳み込みネットワークのトレーニングパラメータを決定する前記ステップは、
   前記ディープ畳み込みネットワークをトレーニングする場合、
   前記処理レイヤーが前記少なくとも１つの第１の内視鏡画像を処理することによって得られた少なくとも１つの処理済み特徴を取得するステップと、
   前記少なくとも１つの処理済み特徴及び前記少なくとも１つの第２の内視鏡画像の特徴に基づき、今回の反復における前記損失関数の値を算出するステップと、
   前記損失関数の値に基づき、トレーニングプロセスが終了したかどうかを決定し、トレーニングプロセスが終了したと決定した場合、前記トレーニングパラメータを取得するステップと、
   を反復して実行することを特徴とする請求項２に記載の方法。
7. 前記ディープ畳み込みネットワークをトレーニングする場合、前記方法は、
   前記少なくとも１つの第１の内視鏡画像が属する器官カテゴリーの中心特徴を初期化するステップ、をさらに含み、
   前記少なくとも１つの処理済み特徴及び前記少なくとも１つの第２の内視鏡画像の特徴に基づき、今回の反復における前記損失関数の値を算出する前記ステップは、
   各処理済み特徴と各第２の内視鏡画像の特徴との間の複数の第１の距離をそれぞれ算出するステップと、
   各第１の内視鏡画像の特徴と各第１の内視鏡画像に対応する中心特徴との間の複数の第２の距離を算出するステップと、
   前記複数の第１の距離と前記複数の第２の距離に基づき、前記損失関数の値を算出するステップと、
   を含むことを特徴とする請求項６に記載の方法。
8. 前記少なくとも１つの第１の内視鏡画像に対して実行される変換は、クリッピング、回転、輝度ジッター、カラージッター、又はコントラストジッターのうちの少なくとも１つを含むことを特徴とする請求項１に記載の方法。
9. 内視鏡画像処理システムであって、
   人体検知デバイスと、内視鏡画像処理装置とを含み、
   前記人体検知デバイスは、人体部位を検知し、検知した少なくとも１つの第１の内視鏡画像を前記内視鏡画像処理装置に送信するために用いられ、
   前記内視鏡画像処理装置は、前記人体検知デバイスから前記少なくとも１つの第１の内視鏡画像を取得し、内視鏡画像を予測するためのディープ畳み込みネットワークを確立し、前記少なくとも１つの第１の内視鏡画像及び前記少なくとも１つの第１の内視鏡画像を変換した少なくとも１つの第２の内視鏡画像に基づき、前記ディープ畳み込みネットワークのトレーニングパラメータを決定し、検査対象ユーザーの現在の内視鏡画像を取得し、前記ディープ畳み込みネットワークを使用し前記トレーニングパラメータに基づいて前記現在の内視鏡画像を予測し、前記現在の内視鏡画像に対応する器官カテゴリーを決定するために用いられる、ことを特徴とするシステム。
10. 前記内視鏡画像処理装置はさらに、
    前記人体部位の構造及び予め設定された診断ターゲットに基づき、少なくとも１つの候補器官カテゴリーを決定し、各候補器官カテゴリーに対応するラベル画像を取得し、前記少なくとも１つの第１の内視鏡画像及び前記少なくとも１つの第２の内視鏡画像を入力サンプルとし、各前記ラベル画像をターゲット出力サンプルとしてトレーニングして、前記トレーニングパラメータを得るために用いられることを特徴とする請求項９に記載のシステム。
11. 前記ディープ畳み込みネットワークは、入力レイヤー、処理レイヤー、及び分類レイヤーを含み、
    前記内視鏡画像処理装置は、さらに、
    前記ディープ畳み込みネットワークをトレーニングするための損失関数を予め構築し、
    前記ディープ畳み込みネットワークをトレーニングする場合、
    前記処理レイヤーが前記少なくとも１つの第１の内視鏡画像を処理することによって得られた少なくとも１つの処理済み特徴を取得するステップと、
    前記少なくとも１つの処理済み特徴及び前記少なくとも１つの第２の内視鏡画像の特徴に基づき、今回の反復における前記損失関数の値を算出するステップと、
    前記損失関数の値に基づき、トレーニングプロセスが終了したかどうかを決定し、トレーニングプロセスが終了したと決定した場合、前記トレーニングパラメータを取得するステップと、を反復して実行する、ために用いられることを特徴とする請求項９に記載のシステム。
12. 前記ディープ畳み込みネットワークをトレーニングする場合、前記内視鏡画像処理装置は、さらに、
    前記少なくとも１つの第１の内視鏡画像が属する器官カテゴリーの中心特徴を初期化し、
    各処理済み特徴と各第２の内視鏡画像の特徴との間の複数の第１の距離をそれぞれ算出し、
    各第１の内視鏡画像の特徴と各第１の内視鏡画像に対応する中心特徴との間の複数の第２の距離を算出し、
    前記複数の第１の距離と前記複数の第２の距離に基づき、前記損失関数の値を算出する、ために用いられることを特徴とする請求項１１に記載のシステム。
13. コンピュータデバイスであって、
    少なくとも１つのメモリ及び少なくとも１つのプロセッサーを含み、前記少なくとも１つのメモリに少なくとも１つのプログラムコードが記憶されており、前記少なくとも１つのプログラムコードは、前記少なくとも１つのプロセッサーによってロードされて実行されることで、
    検査対象ユーザーの現在の内視鏡画像を取得するステップと、
    ディープ畳み込みネットワークを使用して、トレーニングパラメータに基づいて前記現在の内視鏡画像を予測するステップであって、前記トレーニングパラメータが少なくとも１つの第１の内視鏡画像、及び、前記少なくとも１つの第１の内視鏡画像を変換した少なくとも１つの第２の内視鏡画像によって決定され、前記少なくとも１つの第１の内視鏡画像が人体部位に対応するステップと、
    前記現在の内視鏡画像に対応する臓器カテゴリーを決定するステップと、を実行することを特徴とするコンピュータデバイス。
14. 前記少なくとも１つのプロセッサーは、
    人体部位に対する少なくとも１つの第１の内視鏡画像を取得するステップと、
    内視鏡画像を予測するためのディープ畳み込みネットワークを確立し、前記少なくとも１つの第１の内視鏡画像、及び、前記少なくとも１つの第１の内視鏡画像を変換した少なくとも１つの第２の内視鏡画像に基づき、前記ディープ畳み込みネットワークのトレーニングパラメータを決定するステップと、を実行することを特徴とする請求項１３に記載のコンピュータデバイス。
15. 前記少なくとも１つのプロセッサーは、
    前記人体部位の構造及び予め設定された診断ターゲットに基づき、少なくとも１つの候補臓器カテゴリーを決定するステップと、
    各候補臓器カテゴリーに対応するラベル画像を取得するステップと、
    前記少なくとも１つの第１の内視鏡画像及び前記少なくとも１つの第２の内視鏡画像を入力サンプルとし、各ラベル画像をターゲット出力サンプルとしてトレーニングして、前記トレーニングパラメータを得るステップと、を実行することを特徴とする請求項１４に記載のコンピュータデバイス。
16. 前記ディープ畳み込みネットワークは、入力レイヤー、処理レイヤー、及び分類レイヤーを含み、
    前記少なくとも１つのプロセッサーは、
    前記処理レイヤーに少なくとも１つの密集接続レイヤーを追加するステップであって、前記密集接続レイヤーが複数の接続サブレイヤーを含むステップと、
    前記接続サブレイヤーのそれぞれについて、当該接続サブレイヤーの前にある他の接続サブレイヤーから出力された特徴を当該接続サブレイヤーの入力とするステップと、実行することを特徴とする請求項１４に記載のコンピュータデバイス。
17. 前記少なくとも１つのプロセッサーは、
    ２つの隣接する密集接続レイヤーの間に遷移レイヤーを追加し、予め設定された予測精度に基づき、当該遷移レイヤーの特徴圧縮率を設置するステップを実行する、ことを特徴とする請求項１６に記載のコンピュータデバイス。
18. 前記ディープ畳み込みネットワークは、入力レイヤー、処理レイヤー、及び分類レイヤーを含み、
    前記少なくとも１つのプロセッサーは、
    前記ディープ畳み込みネットワークをトレーニングするための損失関数を予め構築するステップを実行し、
    前記ディープ畳み込みネットワークをトレーニングする場合、
    前記処理レイヤーが前記少なくとも１つの第１の内視鏡画像を処理することによって得られた少なくとも１つの処理済み特徴を取得するステップと、
    前記少なくとも１つの処理済み特徴及び前記少なくとも１つの第２の内視鏡画像の特徴に基づき、現在の反復における前記損失関数の値を算出するステップと、
    前記損失関数の値に基づき、トレーニングプロセスが終了したかどうかを決定し、トレーニングプロセスが終了したと決定した場合、前記トレーニングパラメータを取得するステップと、を反復して実行する、ことを特徴とする請求項１４に記載のコンピュータデバイス。
19. 前記ディープ畳み込みネットワークをトレーニングする場合、前記少なくとも１つのプロセッサーは、
    前記少なくとも１つの第１の内視鏡画像が属する臓器カテゴリーの中心特徴を初期化するステップと、
    各処理済み特徴と各第２の内視鏡画像の特徴との間の複数の第１の距離をそれぞれ算出するステップと、
    各第１の内視鏡画像の特徴と各第１の内視鏡画像に対応する中心特徴との間の複数の第２の距離を算出するステップと、
    前記複数の第１の距離と前記複数の第２の距離に基づき、前記損失関数の値を算出するステップと、
    を実行することを特徴とする請求項１８に記載のコンピュータデバイス。
20. 前記少なくとも１つの第１の内視鏡画像に対して実行される変換は、クリッピング、回転、輝度ジッター、カラージッター、又はコントラストジッターのうちの少なくとも１つを含むことを特徴とする請求項１３に記載のコンピュータデバイス。

Images