JP6058240B1 - 画像解析装置、画像解析システム、画像解析装置の作動方法 - Google Patents

Abstract

画像入力部（１１）と、画像入力部（１１）から入力された第１の画像と第１の画像よりも後で取得された第２の画像とに対して、環状の周辺部と周辺部に囲まれ周辺部と色が異なる中心部とをもつ注目要素を特定し、注目要素の中心部のみを解析対象領域として抽出する領域抽出部（１２）と、抽出された第１および第２の画像の解析対象領域の色成分値をそれぞれ抽出する色成分抽出部（１３）と、を含む画像解析装置（１０）。

Description

本発明は、被検体の画像から注目要素を特定して色成分を抽出する画像解析装置、画像解析システム、画像解析装置の作動方法に関する。

画像中の領域を特定して画像解析を行う画像解析装置は、従来より種々のものが提案されている。

例えば、日本国特開２０１２−１５２２６６号公報には、被検体内を撮影する電子内視鏡と、電子内視鏡によって撮影された画像データから像の特徴が変化した変化領域を検出する変化領域検出部と、検出した変化領域に基づいて、変化領域と他の領域とで各々異なる態様で画像処理が施されるように、画像処理のパラメータを画素毎に定めたマスクデータを生成するマスクデータ生成部と、マスクデータに基づいて画像データに画像処理を施す画像処理部と、を備える電子内視鏡システムが記載されている。

また、日本国特表２００７−５０２１８５号公報には、歯の組織のデジタル画像を撮像し、デジタル画像内の複数の画素のそれぞれについて、画素の色の第１の成分値および画素の色の第２の成分値を決定し、第１の成分値および第２の成分値に基づき画素の第１の関数値（例えば、Ｒ／Ｇ）を計算する画像解析方法が記載されている。

上述した画像解析装置の解析対象の一例として腸管の絨毛が挙げられる。腸管の絨毛は、周辺部と、この周辺部とは色が異なる中心部と、をもっている。こうした解析対象の画像を解析するために、従来は、ユーザが例えば画面上において解析対象としての絨毛を探して着目要素として抽出する必要があったが、絨毛の中で変化を起こす部分を正しく抽出して正確に定量評価を行うことは困難であった。

本発明は上記事情に鑑みてなされたものであり、被検体の中でも変化が生じる特徴領域に着目して、この特徴領域の色調変化の解析を行うことで、必要な領域においてより正確な定量評価を行うことを可能とする画像解析装置、画像解析システム、画像解析装置の作動方法を提供することを目的としている。

本発明のある態様による画像解析装置は、経時的に取得された被検体の画像が入力される画像入力部と、前記画像入力部から入力された、第１のタイミングで取得された第１の画像と、前記第１のタイミングより後の第２のタイミングで取得された第２の画像とに対して、環状の周辺部と該周辺部に囲まれ該周辺部とは色が異なる中心部とをもつ注目要素を特定し、前記注目要素の前記中心部のみを解析対象領域として抽出する領域抽出部と、前記領域抽出部により抽出された、前記第１の画像の前記解析対象領域と、前記第２の画像の前記解析対象領域と、の色成分値をそれぞれ抽出する色成分抽出部と、を含む。

本発明のある態様による画像解析システムは、被検体内に挿入され、前記被検体の画像を撮像して取得する内視鏡と、前記画像解析装置と、を備え、前記画像入力部には、前記内視鏡によって取得された前記画像が入力される。

本発明のある態様による画像解析装置の作動方法は、画像入力部に、経時的に取得された被検体の画像が入力され、領域抽出部が、前記画像入力部から入力された、第１のタイミングで取得された第１の画像と、前記第１のタイミングより後の第２のタイミングで取得された第２の画像とに対して、環状の周辺部と該周辺部に囲まれ該周辺部とは色が異なる中心部とをもつ注目要素を特定し、前記注目要素の前記中心部のみを解析対象領域として抽出し、色成分抽出部が、前記領域抽出部により抽出された、前記第１の画像の前記解析対象領域と、前記第２の画像の前記解析対象領域と、の色成分値をそれぞれ抽出する方法である。

本発明の実施形態１における画像解析システムの構成を示すブロック図。 上記実施形態１における領域抽出部の構成を示すブロック図。 上記実施形態１の画像解析システムを用いた処理を示すフローチャート。 上記実施形態１の画像解析装置による画像解析処理を示すフローチャート。 上記実施形態１の画像解析装置における、選択した領域において複数の注目要素の中心部を選択する処理を示すフローチャート。 上記実施形態１の画像解析装置における、選択した領域において複数の注目要素の中心部を選択する処理の変形例を示すフローチャート。 上記実施形態１の画像解析装置における二重閉曲線エッジ特定処理を示すフローチャート。 上記実施形態１の画像解析装置における単一閉曲線エッジ特定処理を示すフローチャート。 上記実施形態１において、時系列順にソートした被検体の画像の表示例を示す図。 上記実施形態１において、被検体の画像の明るさ分布を示す図および注目要素の１つを拡大して示す図。 上記実施形態１において、注目要素である腸管の繊毛の構造を示す図。 上記実施形態１において、被検体の画像に設定された解析対象領域の例を示す図。 上記実施形態１において、内視鏡の明るさのシミュレーション結果の一例を示す図。 上記実施形態１において、内視鏡の明るさのシミュレーション結果から求められた色成分値を抽出するのに適した領域の一例を示す図。

以下、図面を参照して本発明の実施の形態を説明する。

［実施形態１］
図１から図１１は本発明の実施形態１を示したものであり、図１は画像解析システムの構成を示すブロック図である。

画像解析システムは、内視鏡２０と、画像解析装置１０と、を備えている。

内視鏡２０は、被検体内に挿入され、被検体の画像を撮像して取得するものであり、本実施形態においては、例えば、狭帯域光観察（ＮＢＩ：Narrow Band Imaging）が可能となっている。ここに、ノイズ成分を少なくしてＮＢＩ拡大観察を行うために、内視鏡２０の先端には、例えば先端フードや先端アタッチメントが装着される。そして、本実施形態においては、被検体に負荷を与えて負荷の前後における被検体の変化を観察するために、内視鏡２０により、被検体の画像が経時的に取得される。また、被検体に負荷を与える前後における被検体の変化をより正確に捉えるためには、内視鏡２０の明るさの設定が同じ状態であることが望ましい。そこで、被検体に負荷を与える前後で光源の調光は行わず、光源からの出射光量を一定にして被検体の画像を取得すると良い。

画像解析装置１０は、画像入力部１１と、領域抽出部１２と、色成分抽出部１３と、画像解析部１４と、を含んでいる。

画像入力部１１は、内視鏡２０によって経時的に取得された被検体の画像が入力される。

領域抽出部１２は、画像入力部１１から入力された、第１のタイミングで取得された第１の画像と、第１のタイミングより後の第２のタイミングで取得された第２の画像とに対して、環状の周辺部と周辺部に囲まれ周辺部と色が異なる中心部とをもつ注目要素（本実施形態における注目要素は、後述するように、特徴領域である例えば腸管の絨毛の画像部分）を特定し、注目要素の中心部のみを解析対象領域として抽出する。

色成分抽出部１３は、領域抽出部１２により抽出された、第１の画像の解析対象領域と、第２の画像の解析対象領域と、の色成分値をそれぞれ抽出する。

画像解析部１４は、解析対象領域から抽出された、第１の画像の色成分値と第２の画像の色成分値との変化の度合いを算出する。

次に、図２は、領域抽出部１２の構成を示すブロック図である。

領域抽出部１２は、周辺部と中心部との色の相違を、色相と彩度と輝度との少なくとも１つの相違に基づき判定するようになっている。従って、色成分値が異なれば色が異なることに該当し、例えば、色相および彩度が同一で輝度のみが異なる場合でも、色が異なることに該当する。

この領域抽出部１２は、図２に示すように、エッジ検出部２１と、閉曲線エッジ検出部２２と、大きさフィルタ処理部２３と、二重閉曲線エッジ検出部２４と、二重閉曲線エッジ特定部２５と、単一閉曲線エッジ特定部２６と、領域抽出制御部２７と、を備えている。

エッジ検出部２１は、画像に対して例えばエッジ検出フィルタをかけることにより、エッジ検出を行う。

閉曲線エッジ検出部２２は、エッジ検出部２１により検出されたエッジの中から、閉曲線をなすエッジをさらに検出する。

大きさフィルタ処理部２３は、閉曲線エッジ検出部２２により検出された閉曲線エッジの中から、閉曲線エッジの大きさが注目要素として取り得る範囲内（例えば、腸管の絨毛として取り得る大きさの範囲内）であるもののみを選択する。

二重閉曲線エッジ検出部２４は、閉曲線エッジ検出部２２により検出され、さらに例えば大きさフィルタ処理部２３により選択された閉曲線エッジの中から、さらに、二重をなす（つまり、外側閉曲線エッジと、この外側閉曲線エッジ内に含まれる内側閉曲線エッジと、で構成される）二重閉曲線エッジを検出する。

二重閉曲線エッジ特定部２５は、二重閉曲線エッジ検出部２４により検出された二重閉曲線エッジの内の、内側閉曲線エッジ内の領域の色と、内側閉曲線エッジと外側閉曲線エッジとの間の領域の色と、が異なる場合に、内側閉曲線エッジ内の領域を中心部として特定する。

このとき、二重閉曲線エッジ特定部２５は、さらに、内側閉曲線エッジ内の領域の色が注目要素の中心部に該当する第１の色範囲（一例として注目要素が腸管の絨毛である場合には、第１の色範囲は例えば赤に近い色範囲）内であって、内側閉曲線エッジと外側閉曲線エッジとの間の領域の色が注目要素の周辺部に該当する第２の色範囲（第１の色範囲とは異なる第２の色範囲）（一例として注目要素が腸管の絨毛である場合には、第２の色範囲は例えば白に近い色範囲）内である場合に、内側閉曲線エッジ内の領域を中心部として特定するようになっている。

なお、色の相違は、上述したように、色相と彩度と輝度との少なくとも１つの相違に基づき判定する。従って、色範囲は、色相、彩度、輝度の内の、何れか１つの範囲、または２つ以上の組み合わせにより決まる範囲となる。例えば、色範囲を色相および彩度の組み合わせにより決まる範囲としても良いし、あるいは色範囲を輝度範囲としても構わない（すなわち、輝度のみに基づいて中心部と周辺部とを区別するようにしても構わない）。注目要素が腸管の絨毛であって色範囲を輝度範囲とした場合には、例えば、第１の色範囲はやや低輝度の範囲、第２の色範囲は第１の色範囲よりも高輝度の範囲とすれば良い。

さらに、二重閉曲線エッジ特定部２５は、大きさフィルタ処理部２３により内側閉曲線エッジおよび外側閉曲線エッジの大きさが注目要素として取り得る範囲内であると判定された場合にのみ、内側閉曲線エッジ内の領域を中心部として特定すると、より好ましい。

本実施形態においては、上述した二重閉曲線エッジ特定部２５により特定された注目要素の中心部の数が所定数（ここに、所定数は複数である）に満たない場合に、さらに、単一閉曲線エッジ特定部２６を用いて注目要素の中心部を特定するようになっている（ただし、二重閉曲線エッジ特定部２５を用いることなく、単一閉曲線エッジ特定部２６のみを用いて注目要素の中心部を特定するようにしても構わない）。

単一閉曲線エッジ特定部２６は、閉曲線エッジ検出部２２により検出された閉曲線エッジで囲まれた領域の内外で色が異なる場合に、閉曲線エッジで囲まれた領域の内部を中心部として特定する。

なお、本実施形態においては、二重閉曲線エッジ特定部２５による処理対象とならなかった閉曲線エッジに対して、この単一閉曲線エッジ特定部２６により処理を行うことになるが、二重よりも多い三重、四重、…の閉曲線エッジが存在したとしても、その閉曲線エッジは何れも二重閉曲線エッジに該当することになる。このために、単一閉曲線エッジ特定部２６が処理対象とするのは、単一閉曲線エッジとなる。

さらに、単一閉曲線エッジ特定部２６は、さらに、単一閉曲線エッジ内の領域の色が注目要素の中心部に該当する第１の色範囲内であって、単一閉曲線エッジの外側近傍の領域の色が注目要素の周辺部に該当する第２の色範囲内である場合に、単一閉曲線エッジ内の領域を中心部として特定するようになっている。

そして、単一閉曲線エッジ特定部２６は、大きさフィルタ処理部２３により単一閉曲線エッジの大きさが注目要素として取り得る範囲内であると判定された場合にのみ、単一閉曲線エッジで囲まれた領域の内部を中心部として特定すると、より好ましい。

領域抽出制御部２７は、領域抽出部１２内の各部、つまり、上述したエッジ検出部２１、閉曲線エッジ検出部２２、大きさフィルタ処理部２３、二重閉曲線エッジ検出部２４、二重閉曲線エッジ特定部２５、および単一閉曲線エッジ特定部２６等を制御して、後で図５Ａ〜図７を参照して説明するような動作を行わせる。

次に、図３は画像解析システムを用いた処理を示すフローチャートである。

この処理を開始すると、被検体へ負荷を与える前の画像（負荷前画像、第１の画像）を、第１のタイミングで、内視鏡２０により撮像して取得する（ステップＳ１）。ここに、本実施形態における被検体は、例えば、腸管（さらに例えば、小腸）の絨毛であるものとする（ただし、被検体はこれに限定されるものではなく、他の幾つかの例としては、舌部、食道、胃粘膜、大腸等が挙げられる）。また、内視鏡２０により被検体の画像を取得するのと同時に、画像取得時の出射光量の情報を例えば画像解析装置１０、あるいは内視鏡２０に記録しても良い。

その後、被検体へ負荷を付与する（ステップＳ２）。ここでは、例えば、負荷として、ブドウ糖を散布するものとする（ただし、これに限定されるものではなく、静脈注射を行っても良いし、その他の負荷を与えても構わない）。ブドウ糖を散布すると毛細血管を流れる血液量が増加して、血液中のヘモグロビンによって光がより多く吸収される。従って、絨毛内において毛細血管が集まっている部分が暗く観察されることになる。

続いて、上述した第１のタイミングより後の第２のタイミングで、負荷を付与した後の画像（負荷後画像、第２の画像）を内視鏡２０により撮像して取得する（ステップＳ３）。被検体に負荷を付与した後の画像を内視鏡２０により取得する際に、ステップＳ１で出射光量の情報を記録した場合は、出射光量の情報を参照して、ステップＳ１と同じ条件で画像を取得する。なお、ステップＳ１で記録した出射光量の情報を後に消去する機能を有していても良く、出射光量の情報の取得、出射光量の情報を用いた画像の取得、および出射光量の情報の消去は、例えば内視鏡２０の操作部、この画像解析システムを制御するための制御パネルに設けたスイッチ、または内視鏡２０を操作するためのフットスイッチ等の操作により実現するようにしても良い。

そして、さらに次の画像を取得するか否かを判定し（ステップＳ４）、取得すると判定した場合には、ステップＳ３へ戻って次の負荷後画像を取得する。

また、ステップＳ４において、画像の取得が終了したと判定された場合には、画像解析装置１０による画像解析を行い（ステップＳ５）、画像解析が完了したら、この処理を終了する。

図４は、画像解析装置１０による画像解析処理を示すフローチャートである。

この処理を開始すると、画像入力部１１が、内視鏡２０から経時的に取得された被検体の画像を入力して、時系列順にソートする（ステップＳ１０）。

図８は、時系列順にソートした被検体の画像の表示例を示す図である。

この図８に示す表示例においては、モニタ等の表示装置に、画像配列表示３１と、画像取得時間表示３２と、画像配列順序表示３３と、が行われている。

まず、画像配列表示３１は、取得された被検体の画像Ｐ０〜Ｐ８が、取得された時間の順序に配列して表示されている。

また、画像取得時間表示３２は、画像Ｐ１〜Ｐ８が、負荷の付与（ブドウ糖の散布）後のどの時間時点で取得されたかを、例えば、時間軸に沿って取得時間と共に配置して示している。なお、画像Ｐ０はブドウ糖散布前（例えば、ブドウ糖を散布する直前）に取得された画像であるが、この図８に示す例では、便宜上、ブドウ糖散布の位置に表示している（ただし、時間軸をブドウ糖散布よりも前の時点まで延ばして、画像Ｐ０の取得時点を正確に示すようにしても勿論構わない）。

さらに、画像配列順序表示３３は、画像配列表示３１に表示されている各画像が、画像取得時間表示３２に表示されている画像Ｐ０〜Ｐ８の内の、どの時点で取得された画像であるかを対応付けて表示している。

次に、画像解析装置１０は、後でステップＳ１２〜Ｓ１９を参照して説明する処理を未だ行っていない画像が存在するか否かを判定する（ステップＳ１１）。

ここで未処理の画像が存在すると判定された場合には、領域抽出部１２が、画像入力部１１から処理対象となる画像データを入力する（ステップＳ１２）。

そして、色成分値を抽出するのに適さないハレーション等の不適格要素の領域（不適格領域）ＩＲ（図９、図１１等参照）を処理対象から除外する（ステップＳ１３）。ここに、不適格領域ＩＲの例としては、ハレーションが生じている領域以外にも、例えば気泡が生じている領域、ピントがぼけている領域、などが挙げられる。

さらに、画像中における、所定の大きさの部分領域毎に算出した平均輝度が、所定値以上の領域を適正輝度領域として選択する（ステップＳ１４）。例えば、図９（あるいは図１１）に示すような画像Ｐｉ（ここにｉは、図８に示す例においては、０〜８の何れか（つまり、ＰｉはＰ０〜Ｐ８の何れか））においては、右上半分の領域の平均輝度が所定値よりも低い。ここに、図９は被検体の画像の明るさ分布を示す図および注目要素の１つを拡大して示す図である。

なお、上述では、画像入力部１１から入力される画像を取得する撮像装置の性能を示す画像として、内視鏡２０等で取得した被検体の画像を用いて解析対象領域を定めたが、この方法に限定されるものではなく、撮像装置の性能を示すその他の画像（例えば、試験用プレートやホワイトバランスキャップ等の色が一様でフラットな対象物を撮影した画像、あるいは内視鏡２０の設計値から求められる明るさのシミュレーション結果ＳＩ（図１２参照）などの、性能を示す指標となる画像）に基づき、所定の大きさの部分領域毎に算出した平均輝度から色成分値を抽出するのに適した領域ＡＲ（図１３参照）を解析対象領域に設定する方法を採用しても良い。さらに、上記色成分値を抽出するのに適した領域ＡＲの中から、所定の大きさの部分領域毎に算出した平均輝度に基づいて、解析対象領域を定める方法を採用しても構わない。ここに、図１２は内視鏡２０の明るさのシミュレーション結果ＳＩの一例を示す図、図１３は内視鏡２０の明るさのシミュレーション結果ＳＩから求められた色成分値を抽出するのに適した領域ＡＲの一例を示す図である。

そこで、領域抽出部１２は、平均輝度が所定値以上となる、画像Ｐｉの左下半分の領域を適正輝度領域として選択する。このような選択を行うことにより、色成分値を抽出するのに適している明るい領域を選択し、色成分値を抽出するのに適していない暗い領域を除外している。

なお、ここでは、色成分値を抽出するのに適した適正輝度範囲を、平均輝度が所定値以上の範囲としたが、平均輝度が飽和画素値に近いような明るすぎる領域も除外するようにしても構わない。この場合には、色成分値を抽出するのに適した適正輝度範囲を、平均輝度が、所定の下限閾値以上で、かつ所定の上限閾値以下の範囲とすれば良い。

画像上の輝度の階調を例えば０〜２５５の２５６段階とすると、このうち適正輝度範囲は、下限閾値として内視鏡画像の枠部分に該当する例えば１０、上限閾値としてハレーションに該当する例えば２３０と設定することで、解析対象物のみの色成分が抽出でき、解析精度が向上すると考えられる。

続いて、選択した領域において、複数の注目要素（本実施形態においては、腸管の絨毛の画像部分）ＯＢＪの中心部ＯＢＪｃ（この中心部ＯＢＪｃも要素である）を選択する（ステップＳ１５）。

この注目要素ＯＢＪである腸管の絨毛の画像部分は、後で図５Ａ〜図７を参照して説明するように、画像解析等を行って自動処理により複数が抽出され選択されるようになっている（ただし、ユーザが画像を見ながら手動で選択するオプションをさらに用意しても構わない）。

ここに、注目要素ＯＢＪである腸管の絨毛の画像部分は、環状（円環状に限らず、任意の形の閉曲線状を取り得る）の周辺部ＯＢＪｐと、この周辺部ＯＢＪｐに囲まれ周辺部ＯＢＪｐと色が異なる中心部ＯＢＪｃとをもつ要素である。

図１０は、注目要素である腸管の繊毛の構造を示す図である。

腸管の絨毛は、中心部にある中心リンパ管ＣＬの周りの部位に毛細血管ＢＣが分布し、その外側に粘膜上皮ＭＥが形成されて絨毛の表面を構成する構造となっている。

このような腸管の絨毛を、血液中のヘモグロビンに吸収され易い狭帯域化された波長の光を用いたＮＢＩにより拡大観察すると、毛細血管ＢＣの部分が粘膜上皮ＭＥとは異なる色として観察される。

こうした絨毛を上から撮像した画像部分を観察すると、粘膜上皮ＭＥの画像部分が環状の周辺部ＯＢＪｐとして観察され、粘膜上皮ＭＥに囲まれる毛細血管ＢＣの画像部分が粘膜上皮ＭＥと色が異なる中心部ＯＢＪｃとして観察される。そこで、後で説明するように、中心部ＯＢＪｃと周辺部ＯＢＪｐとの色の違いを利用して、注目要素ＯＢＪを決定するようになっている。

こうして選択した複数の中心部ＯＢＪｃの中から、明るさが中央値に近い所定数（図１１に示す例では５つ）の中心部ＯＢＪｃをさらに選択して、選択した所定数の中心部ＯＢＪｃを解析対象領域ＯＲに設定する（ステップＳ１６）。ここに、図１１は被検体の画像Ｐｉに設定された解析対象領域ＯＲの例を示す図である。

ここで、中央値に近い明るさの中心部ＯＢＪｃを選択したのは、サンプルとして最も適切な明るさのものを解析対象とするためである。なお、明るさとしては、複数の色成分に基づいて算出される輝度値を用いても良いし、あるいは、複数の色成分を単純加算した値を明るさの指標として代用するようにしても良いし、その他の方法により複数の色成分に基づき明るさを取得しても構わない。こうして、ここで設定された図１１に示す解析対象領域ＯＲは、例えば５つの腸管の絨毛の画像部分の中心部ＯＢＪｃにより構成されている。

次に、色成分抽出部１３が、解析対象領域ＯＲを構成する各画素の色成分値、例えば、Ｒ成分値、Ｇ成分値、およびＢ成分値を抽出し（ステップＳ１７）、さらに、第１の画像（負荷前画像）における解析対象領域ＯＲのＲ成分値の平均値＜Ｒ＞、Ｇ成分値の平均値＜Ｇ＞、およびＢ成分値の平均値＜Ｂ＞と、第２の画像（負荷後画像）における解析対象領域ＯＲのＲ成分値の平均値＜Ｒ’＞、Ｇ成分値の平均値＜Ｇ’＞、およびＢ成分値の平均値＜Ｂ’＞と、を算出する（ステップＳ１８）。

そして、画像解析部１４が、負荷前画像に対する負荷後画像の変化の度合いとして、色成分平均値の変化量を例えば次のように算出する（ステップＳ１９）。

すなわち、画像解析部１４は、変化量を、第１の画像と第２の画像との色成分値の差分の絶対値の合計として次の数式１に示すように算出する。

［数１］
変化量＝｜＜Ｒ’＞−＜Ｒ＞｜＋｜＜Ｇ’＞−＜Ｇ＞｜＋｜＜Ｂ’＞−＜Ｂ＞｜
従って、算出される変化量は、第１の画像より第２の画像の方が低い色成分値の平均値と、第１の画像より第２の画像の方が高い色成分値の平均値と、の合計となる。

なお、画像解析部１４が算出する、負荷前画像に対する負荷後画像の変化の度合いは、数式１に示したように算出するに限るものではない。

まず、第１の変形例は、ｘとｙとの内の、大きくない方（ｘ≠ｙのときには、小さい方）を出力する関数を、Ｍｉｎ（ｘ，ｙ）としたときに、変化の度合いとしての変化量を、次の数式２に示すように算出するものである。

［数２］
変化量＝｜Ｍｉｎ（＜Ｒ’＞−＜Ｒ＞，０）
＋Ｍｉｎ（＜Ｇ’＞−＜Ｇ＞，０）
＋Ｍｉｎ（＜Ｂ’＞−＜Ｂ＞，０）｜
従って、算出される変化量は、第１の画像より第２の画像の方が低い色成分値の平均値のみの合計となる。このような算出法を用いるのは、人間の眼の特性を考慮したためである。すなわち、人間の眼は、画像の明るさが、暗い方から明るい方へ変化する場合よりも、明るい方から暗い方へ変化する場合の方が、鋭敏に変化を感じとるようになっている。そこで、こうした人間の眼の特性を考慮して、ユーザが視覚的に感じた画像の変化と、画像解析により得られた画像の変化の解析結果とが一致するようにしている。

次に、第２の変形例は、変化の度合いとしての変化量を、次の数式３に示すように算出するものである。

［数３］
変化量＝｜Ｍｉｎ（＜Ｒ＞−＜Ｒ’＞，０）
＋Ｍｉｎ（＜Ｇ＞−＜Ｇ’＞，０）
＋Ｍｉｎ（＜Ｂ＞−＜Ｂ’＞，０）｜
従って、算出される変化量は、第１の画像より第２の画像の方が高い色成分値の平均値のみの合計となる。このような算出法を用いるのは、画像の明るさが暗い方から明るい方へ変化する場合の方が、解析結果として重要な場合もあるためである。

さらに、第３の変形例は、数式１〜３の右辺に各示した色成分に対して、色成分毎の重み係数α，β，γ（ここに、α＞０、β＞０、γ＞０）を乗算するものである。

例えば、数式１に対応して、次の数式４に示すように変化量を算出する。

［数４］
変化量＝｜α×（＜Ｒ’＞−＜Ｒ＞）｜
＋｜β×（＜Ｇ’＞−＜Ｇ＞）｜
＋｜γ×（＜Ｂ’＞−＜Ｂ＞）｜
または、数式２に対応して、次の数式５に示すように変化量を算出する。

［数５］
変化量＝｜α×Ｍｉｎ（＜Ｒ’＞−＜Ｒ＞，０）
＋β×Ｍｉｎ（＜Ｇ’＞−＜Ｇ＞，０）
＋γ×Ｍｉｎ（＜Ｂ’＞−＜Ｂ＞，０）｜
あるいは、数式３に対応して、次の数式６に示すように変化量を算出する。

［数６］
変化量＝｜α×Ｍｉｎ（＜Ｒ＞−＜Ｒ’＞，０）
＋β×Ｍｉｎ（＜Ｇ＞−＜Ｇ’＞，０）
＋γ×Ｍｉｎ（＜Ｂ＞−＜Ｂ’＞，０）｜
このとき、これらの数式４〜６における重み係数α，β，γを調整することにより、各色成分平均値が変化量に対してどれだけ寄与するかを制御することができるようになっている。

そして、第４の変形例は、変化の度合いとして、変化量に代えて変化率を算出するものである。

すなわち、経時的に取得した一連の画像群（負荷前画像および負荷後画像）における各画像の撮像条件（露光時間や絞り値、被検体の照度など）が等しい場合には、画像群内における変化量の比較、例えば、負荷前の画像Ｐ０に対する負荷後の画像Ｐ１の第１の変化量と、負荷前の画像Ｐ０に対する負荷後の画像Ｐ２の第２の変化量と、を比較することが可能である。

しかし、異なる撮像条件で撮像された複数の画像群同士の場合には、一般に画像の明るさが異なるために、変化量同士をそのまま比較できないことがある。例えば、ある被検体に対して取得した画像群と、他の被検体に対して取得した画像群と、における変化量を比較しようとしても、一方の画像群の明るさが他方の画像群の明るさの２倍であれば、仮に病理学的な変化量が同一であっても、算出された変化量は一方が他方の２倍となってしまう。

そこで、この第４の変形例は、こうした場合における比較が可能となるように、変化の度合いとして変化率を算出するようにしている。

例えば、数式４に対応して、次の数式７に示すように変化量を算出する。

［数７］
変化量＝｛｜α×（＜Ｒ’＞−＜Ｒ＞）｜
＋｜β×（＜Ｇ’＞−＜Ｇ＞）｜
＋｜γ×（＜Ｂ’＞−＜Ｂ＞）｜｝
／｜＜Ｒ＞＋＜Ｇ＞＋＜Ｂ＞｜
または、数式５に対応して、次の数式８に示すように変化量を算出する。

［数８］
変化量＝｜α×Ｍｉｎ（＜Ｒ’＞−＜Ｒ＞，０）
＋β×Ｍｉｎ（＜Ｇ’＞−＜Ｇ＞，０）
＋γ×Ｍｉｎ（＜Ｂ’＞−＜Ｂ＞，０）｜
／｜＜Ｒ＞＋＜Ｇ＞＋＜Ｂ＞｜
あるいは、数式６に対応して、次の数式９に示すように変化量を算出する。

［数９］
変化量＝｜α×Ｍｉｎ（＜Ｒ＞−＜Ｒ’＞，０）
＋β×Ｍｉｎ（＜Ｇ＞−＜Ｇ’＞，０）
＋γ×Ｍｉｎ（＜Ｂ＞−＜Ｂ’＞，０）｜
／｜＜Ｒ＞＋＜Ｇ＞＋＜Ｂ＞｜
なお、これらの数式７〜９は、α＝β＝γ＝１とおけば、上述した数式１〜３の変化量に対応する変化率となる。

このステップＳ１９を行ったら、上述したステップＳ１１に戻る。こうして、ステップＳ１１において全ての画像の処理を行ったと判定された場合には、この処理から図示しないメイン処理にリターンする。

図５Ａは、画像解析装置１０における、選択した領域において複数の注目要素の中心部を選択する処理を示すフローチャートである。

図４のステップＳ１５においてこの処理に入ると、選択した領域（例えば、図９に示す画像Ｐｉの左下半分の領域）に対して、エッジ検出部２１がエッジ検出フィルタをかけることにより、エッジ成分を抽出する（ステップＳ２１）。

次に、閉曲線エッジ検出部２２が、エッジ検出部２１により検出されたエッジの中から、閉曲線をなすエッジをさらに検出する（ステップＳ２２）。

続いて、大きさフィルタ処理部２３が、閉曲線エッジ検出部２２により検出された閉曲線エッジの大きさ（例えば、閉曲線の最大径、平均径、あるいは閉曲線で囲まれる領域の面積など）を算出し、算出した大きさが、注目要素として取り得る範囲内（例えば、腸管の絨毛として取り得る大きさの範囲内）となる閉曲線エッジのみを選択する（ステップＳ２３）。

そして、二重閉曲線エッジ検出部２４が、大きさフィルタ処理部２３を通過した閉曲線エッジの中から、二重閉曲線エッジを全て検出する（ステップＳ２４）。

なお、二重閉曲線エッジを構成する内側閉曲線エッジおよび外側閉曲線エッジは、何れも、ステップＳ２３における大きさフィルタ処理部２３の処理を通過しているために、注目要素として取り得る範囲内の大きさであると判定された閉曲線エッジである。

さらに、二重閉曲線エッジ特定部２５が、二重閉曲線エッジ検出部２４により検出された二重閉曲線エッジが、注目要素に該当するか否かを特定する処理を、後で図６を参照して説明するように行う（ステップＳ２５）。

その後、領域抽出制御部２７が、二重閉曲線エッジ検出部２４により検出された二重閉曲線エッジの中に、ステップＳ２５の処理を未だ行っていない二重閉曲線エッジが存在するか否かを判定し（ステップＳ２６）、存在する場合には、次の二重閉曲線エッジに対してステップＳ２５の処理を行う。

こうして、ステップＳ２６において、全ての二重閉曲線エッジに対してステップＳ２５の処理が行われたと判定された場合には、領域抽出制御部２７が、注目要素に該当すると判定された二重閉曲線エッジの数（ひいては、検出された注目要素の中心部の数）が所定数（図１１に示した例においては５つ）以上であるか否かを判定する（ステップＳ２７）。

ここで、注目要素に該当すると判定された二重閉曲線エッジの数が所定数未満であると判定された場合には、単一閉曲線エッジ特定部２６が、二重閉曲線エッジに該当しない単一閉曲線エッジ（この単一閉曲線エッジは、ステップＳ２３における大きさフィルタ処理部２３の処理を通過して、注目要素として取り得る範囲内の大きさであると判定された閉曲線エッジである）が、注目要素に該当するか否かを特定する処理を、後で図７を参照して説明するように行う（ステップＳ２８）。

次に、領域抽出制御部２７が、単一閉曲線エッジの中に、ステップＳ２５の処理を未だ行っていない単一閉曲線エッジが存在するか否かを判定し（ステップＳ２９）、存在する場合には、次の単一閉曲線エッジに対してステップＳ２８の処理を行う。

こうして、ステップＳ２９において、全ての単一閉曲線エッジに対してステップＳ２８の処理が行われたと判定された場合、またはステップＳ２７において、注目要素に該当すると判定された二重閉曲線エッジの数が所定数以上であると判定された場合には、この処理から図４に示した処理にリターンする。

こうして、注目要素に該当する確実性がより高い二重閉曲線エッジの特定をまず行い、注目要素に該当すると判定された二重閉曲線エッジの数が所定数に満たない場合には、さらに、単一閉曲線エッジに対して注目要素に該当するか否かの特定を行うようにしている。

なお、図５Ａの処理では、二重閉曲線エッジの数が所定数に達した場合には単一閉曲線エッジの特定を行わないが、二重閉曲線エッジの数が所定数に達したか否かに関わらず単一閉曲線エッジの特定を行うようにしても良い。

図５Ｂは、画像解析装置における、選択した領域において複数の注目要素の中心部を選択する処理の変形例を示すフローチャートである。

この図５Ｂに示す処理は、図５ＡにおけるステップＳ２７の処理を省略したものとなっている。これにより、二重閉曲線エッジだけでなく、さらに単一閉曲線エッジの特定も行われるために、より多くの注目要素の中心部を選択することが可能となる。

図６は、画像解析装置１０における二重閉曲線エッジ特定処理を示すフローチャートである。

この処理に入ると、二重閉曲線エッジ特定部２５は、ステップＳ２４において二重閉曲線エッジ検出部２４により検出された二重閉曲線エッジの中から、未処理の二重閉曲線エッジを１つ選択する（ステップＳ３１）。

そして、二重閉曲線エッジ特定部２５は、選択した二重閉曲線エッジの、内側閉曲線エッジの内側の各画素の色成分値の例えば平均値が、注目要素の中心部に該当する第１の色範囲内であるか否かを判定する（ステップＳ３２）。

ここで、第１の色範囲外であると判定した場合には、ステップＳ３１で選択した二重閉曲線エッジを注目要素と同定することなく、図５Ａ（または図５Ｂ、以下同様であるので省略する）に示した処理にリターンする。

また、ステップＳ３２において、第１の色範囲内であると判定した場合には、二重閉曲線エッジ特定部２５は、さらに、選択した二重閉曲線エッジの、外側閉曲線エッジと内側閉曲線エッジとの間の各画素の色成分値の例えば平均値が、注目要素の周辺部に該当する第２の色範囲内であるか否かを判定する（ステップＳ３３）。

ここで、第２の色範囲外であると判定した場合には、ステップＳ３１で選択した二重閉曲線エッジを注目要素と同定することなく、図５Ａに示した処理にリターンする。

また、ステップＳ３３において、第２の色範囲内であると判定した場合（従って、内側閉曲線エッジ内の領域の色と、内側閉曲線エッジと外側閉曲線エッジとの間の領域の色と、が異なると判定した場合）には、ステップＳ３１で選択した二重閉曲線エッジが注目要素に該当すると決定して、内側閉曲線エッジの内側を注目要素の中心部に、外側閉曲線エッジと内側閉曲線エッジとの間を注目要素の周辺部に、それぞれ特定してから（ステップＳ３４）、図５Ａに示した処理にリターンする。

図７は、画像解析装置１０における単一閉曲線エッジ特定処理を示すフローチャートである。

この処理に入ると、単一閉曲線エッジ特定部２６は、大きさフィルタ処理部２３を通過した閉曲線エッジの中から、二重閉曲線エッジ以外の単一閉曲線エッジにおける、未処理の閉曲線エッジを１つ選択する（ステップＳ４１）。

そして、単一閉曲線エッジ特定部２６は、選択した単一閉曲線エッジの内側の各画素の色成分値の例えば平均値が、注目要素の中心部に該当する第１の色範囲内であるか否かを判定する（ステップＳ４２）。

ここで、第１の色範囲外であると判定した場合には、ステップＳ４１で選択した単一閉曲線エッジを注目要素と同定することなく、図５Ａに示した処理にリターンする。

また、ステップＳ４２において、第１の色範囲内であると判定した場合には、単一閉曲線エッジ特定部２６は、さらに、選択した単一閉曲線エッジの外側近傍の各画素の色成分値の例えば平均値が、注目要素の周辺部に該当する第２の色範囲（第１の色範囲とは異なる第２の色範囲）内であるか否かを判定する（ステップＳ４３）。

ここで、第２の色範囲外であると判定した場合には、ステップＳ４１で選択した単一閉曲線エッジを注目要素と同定することなく、図５Ａに示した処理にリターンする。

また、ステップＳ４３において、第２の色範囲内であると判定した場合（従って、単一閉曲線エッジの内側領域の色と外側近傍領域の色とが異なると判定した場合）には、ステップＳ４１で選択した単一閉曲線エッジ内を注目要素の中心部に特定してから（ステップＳ４４）、図５Ａに示した処理にリターンする。

なお、上述した図５Ａ〜図７においては、エッジ検出（閉曲線エッジ検出、二重閉曲線エッジ検出）、大きさフィルタ処理、色範囲判定などの各処理を行って注目要素の検出精度を上げているが、何れかの処理を省略して処理負荷を軽減し検出速度を向上するようにしても構わない。

このような実施形態１によれば、領域抽出部１２が、環状の周辺部と周辺部に囲まれ周辺部と色が異なる中心部とをもつ注目要素を特定し、注目要素の中心部のみを解析対象領域として抽出するようにしたために（具体的には、被検体の中でも変化が生じる特徴領域に着目して、この特徴領域の色調変化の解析を行うようにしたために）、必要な領域においてより正確な定量評価を行うことが可能となる。

また、周辺部と中心部との色の相違を、色相と彩度と輝度との少なくとも１つの相違に基づき判定するようにしたために、画像の色成分値に基づく判定が可能となる。

さらに、画像に対してエッジ検出を行い、閉曲線をなすエッジをさらに検出し、検出された閉曲線エッジで囲まれた領域の内外で色が異なる場合に、閉曲線エッジで囲まれた領域の内部を中心部として特定するようにしたために、色が異なる中心部および周辺部をもつ注目要素を精度良く検出することができる。

そして、閉曲線エッジの大きさが注目要素として取り得る範囲内である場合にのみ、閉曲線エッジで囲まれた領域の内部を中心部として特定するようにしたために、注目要素の検出精度をより向上することができる。

加えて、二重閉曲線エッジをさらに検出して、内側閉曲線エッジ内の領域の色と、内側閉曲線エッジと外側閉曲線エッジとの間の領域の色と、が異なる場合に、内側閉曲線エッジ内の領域を中心部として特定するようにしたために、中心部および周辺部をもつ注目要素の形状に対する整合性がより高い検出を行うことができる。

また、注目要素を複数特定して、特定した複数の注目要素の中心部を解析対象領域として抽出するようにしたために、解析対象領域の色成分値がより多くのサンプルから抽出されることになり、抽出した色成分値に基づき算出される、第１の画像の色成分値と第２の画像の色成分値との変化の度合いを、より安定した値とすることができる。

さらに、解析対象領域を抽出する際に、色成分値を抽出するのに適さない不適格要素を除外するようにしたために、不適格要素に左右されることのない、より正確な画像解析結果を得ることができる。

そして、明るさが中央値に近い所定数の注目要素の中心部を解析対象領域として抽出するようにしたために、変化量をより適切に捉えることができる。

平均輝度が色成分値を抽出するのに適した適正輝度範囲内にある適正輝度領域の中から、解析対象領域の抽出を行うようにしたために、被検体に変化が生じたとしてもその変化量が適切に画素値に反映されるとは限らない明るすぎる領域や暗すぎる領域が、解析対象領域となるのを防ぐことができる。

また、内視鏡２０によって撮像し取得された被検体の画像に対して、上述した効果を奏することができる。

さらに、例えば腸管の絨毛に対して、適切な画像解析を行うことができる。

なお、上述した各部は、回路として構成されていても良い。そして、任意の回路は、同一の機能を果たすことができれば、単一の回路として実装されていても良いし、複数の回路を組み合わせたものとして実装されていても構わない。さらに、任意の回路は、目的とする機能を果たすための専用回路として構成されるに限るものではなく、汎用回路に処理プログラムを実行させることで目的とする機能を果たす構成であっても構わない。

また、上述では主として画像解析装置（または画像解析システム、以下同様）について説明したが、画像解析装置を上述したように作動させる作動方法であっても良いし、コンピュータに画像解析装置と同様の処理を行わせるための処理プログラム、該処理プログラムを記録するコンピュータにより読み取り可能な一時的でない記録媒体、等であっても構わない。

さらに、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

本出願は、２０１５年４月２７日に日本国に出願された特願２０１５−０９０６２０号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。

Claims (13)

1. 経時的に取得された被検体の画像が入力される画像入力部と、
   前記画像入力部から入力された、第１のタイミングで取得された第１の画像と、前記第１のタイミングより後の第２のタイミングで取得された第２の画像とに対して、環状の周辺部と該周辺部に囲まれ該周辺部とは色が異なる中心部とをもつ注目要素を特定し、前記注目要素の前記中心部のみを解析対象領域として抽出する領域抽出部と、
   前記領域抽出部により抽出された、前記第１の画像の前記解析対象領域と、前記第２の画像の前記解析対象領域と、の色成分値をそれぞれ抽出する色成分抽出部と、
   を含むことを特徴とする画像解析装置。
2. 前記領域抽出部は、前記周辺部と前記中心部との色の相違を、色相と彩度と輝度との少なくとも１つの相違に基づき判定することを特徴とする請求項１に記載の画像解析装置。
3. 前記領域抽出部は、前記画像に対してエッジ検出を行い、閉曲線をなすエッジをさらに検出し、検出された閉曲線エッジで囲まれた領域の内外で色が異なる場合に、前記閉曲線エッジで囲まれた領域の内部を前記中心部として特定することを特徴とする請求項２に記載の画像解析装置。
4. 前記領域抽出部は、さらに、前記閉曲線エッジの大きさが前記注目要素として取り得る範囲内であるか否かを判定し、前記注目要素として取り得る範囲内である場合にのみ、前記閉曲線エッジで囲まれた領域の内部を前記中心部として特定することを特徴とする請求項３に記載の画像解析装置。
5. 前記領域抽出部は、二重閉曲線エッジをさらに検出し、検出された二重閉曲線エッジの内の、内側閉曲線エッジ内の領域の色と、内側閉曲線エッジと外側閉曲線エッジとの間の領域の色と、が異なる場合に、前記内側閉曲線エッジ内の領域を前記中心部として特定することを特徴とする請求項３に記載の画像解析装置。
6. 前記領域抽出部は、前記注目要素を複数特定して、特定した複数の前記注目要素の前記中心部を前記解析対象領域として抽出することを特徴とする請求項１に記載の画像解析装置。
7. 前記領域抽出部は、色成分値を抽出するのに適さない不適格領域を除外して前記解析対象領域を抽出することを特徴とする請求項６に記載の画像解析装置。
8. 前記領域抽出部は、特定した複数の前記注目要素の内の、明るさが中央値に近い所定数の前記注目要素の前記中心部を前記解析対象領域として抽出することを特徴とする請求項６に記載の画像解析装置。
9. 前記領域抽出部は、前記画像入力部から入力される画像を取得する撮像装置の性能を示す画像において、所定の大きさの部分領域毎に算出した平均輝度が、色成分値を抽出するのに適した適正輝度範囲内にある適正輝度領域の中から、前記注目要素の特定および前記解析対象領域の抽出を行うことを特徴とする請求項１に記載の画像解析装置。
10. 前記画像入力部に入力される前記画像は、前記被検体内に挿入される内視鏡によって撮像し取得された画像であることを特徴とする請求項１に記載の画像解析装置。
11. 前記注目要素は腸管の絨毛の画像部分であり、前記中心部は前記絨毛の中心部において毛細血管を含む部位の画像部分であり、前記周辺部は前記絨毛の表面に形成される粘膜上皮の画像部分であることを特徴とする請求項１０に記載の画像解析装置。
12. 被検体内に挿入され、前記被検体の画像を撮像して取得する内視鏡と、
    請求項１に記載の画像解析装置と、
    を備え、
    前記画像入力部には、前記内視鏡によって取得された前記画像が入力されることを特徴とする画像解析システム。
13. 画像入力部に、経時的に取得された被検体の画像が入力され、
    領域抽出部が、前記画像入力部から入力された、第１のタイミングで取得された第１の画像と、前記第１のタイミングより後の第２のタイミングで取得された第２の画像とに対して、環状の周辺部と該周辺部に囲まれ該周辺部とは色が異なる中心部とをもつ注目要素を特定し、前記注目要素の前記中心部のみを解析対象領域として抽出し、
    色成分抽出部が、前記領域抽出部により抽出された、前記第１の画像の前記解析対象領域と、前記第２の画像の前記解析対象領域と、の色成分値をそれぞれ抽出することを特徴とする画像解析装置の作動方法。

Images