JP2015156937A - 画像処理装置、画像処理方法、並びにプログラム - Google Patents

Abstract

【課題】マスク形状を正確に検出できるようにする。
【解決手段】観察対象となる被写体を含む第１の領域と被写体を含まない第２の領域の境界点を検出するエッジ検出部と、境界点に基づいて、第１の領域と第２の領域の境界の形状として第１の形状を推定する第１の推定部と、境界点および推定された第１の形状に基づいて、第１の領域と第２の領域の境界の形状として第２の形状を推定する第２の推定部とを備える。観察対象となる被写体は、内視鏡装置により撮影された生体である。本技術は、内視鏡装置により撮像された画像を処理する画像処理装置に適用できる。
【選択図】図１

Description

本技術は、画像処理装置、画像処理方法、並びにプログラムに関する。詳しくは、内視鏡のマスクを正確に検出することができる画像処理装置、画像処理方法、並びにプログラムに関する。

患者等の被験者の体内に入れ、体内を観察する医療用装置として内視鏡がある。内視鏡の画像は、矩形の画面に対して、円形の枠内に表示される。このような場合、鏡胴が影になって見えている鏡胴部分と画像部分を正確に検出する必要がある。

内視鏡の画像として利用者に提供する部分と、提供しない部分とを分けるためにマスクが用いられることがある。（特許文献１参照）

特開２０１３−２０７６８２号公報

内視鏡のマスクの位置は頻繁に移動する可能性があるため、移動したときなどには、マスクの検出が行われ、補正されることが望まれている。

本技術は、このような状況に鑑みてなされたものであり、マスクの検出を正確に行えるようにすることができるようにするものである。

本技術の一側面の第１の画像処理装置は、観察対象となる被写体を含む第１の領域と前記被写体を含まない第２の領域の境界点を検出するエッジ検出部と、前記境界点に基づいて、前記第１の領域と前記第２の領域の境界の形状として第１の形状を推定する第１の推定部と、前記境界点および推定された前記第１の形状に基づいて、前記第１の領域と前記第２の領域の境界の形状として第２の形状を推定する第２の推定部とを備える。

前記観察対象となる被写体は、内視鏡装置により撮影された生体であるようにすることができる。

前記第１の推定部は、前記第１の形状を円形状として推定し、前記第２の推定部は、前記第２の形状を楕円形状として推定するようにすることができる。

前記境界点のうち、前記第１の形状内に位置する前記境界点を削除するエッジ削除部をさらに備えるようにすることができる。

前記エッジ検出部は、画素の輝度値に基づいて前記境界点を検出するようにすることができる。

前記エッジ検出部は、所定の画素数だけ間隔を有する状態で配置された２つの矩形からなるフィルタを用いて前記境界点の検出を行うようにすることができる。

前記エッジ検出部は、前記輝度値の標準偏差に基づいて、前記境界点を検出するようにすることができる。

予め求められている前記輝度値と前記標準偏差との関係式から、前記標準偏差は算出されるようにすることができる。

前記エッジ検出部を含む第１の演算部と、前記第１の推定部と前記第２の推定部を含む第２の演算部のうちの一方は、ＣＰＵ（Central Processing Unit）で構成され、他方は、ＧＰＵ（Graphics Processing Unit）で構成されるようにすることができる。

本技術の一側面の第２の画像処理装置は、観察対象となる被写体を含む第１の領域と前記被写体を含まない第２の領域の境界点を検出するエッジ検出部と、所定の参照形状に基づいて、前記境界点に対して重みを設定する第１の推定部と、前記重みが設定された前記境界点に基づいて、前記第１の領域と前記第２の領域の境界の形状を推定する第２の推定部とを備える。

前記観察対象となる被写体は、内視鏡装置により撮影された生体である。

前記所定の参照形状は、円形状であるようにすることができる。

前記所定の参照形状は、前記内視鏡装置の情報に基づいて設定されるようにすることができる。

前記第２の推定部は、前記第１の領域と前記第２の領域の境界の形状を楕円形状として推定するようにすることができる。

本技術の一側面の第１の画像処理方法は、観察対象となる被写体を含む第１の領域と前記被写体を含まない第２の領域の境界点を検出し、検出された前記境界点に基づいて、前記第１の領域と前記第２の領域の境界の形状として第１の形状を推定し、推定された前記第１の形状および前記境界点に基づいて、前記第１の領域と前記第２の領域の境界の形状として第２の形状を推定する。

本技術の一側面の第２の画像処理方法は、観察対象となる被写体を含む第１の領域と前記被写体を含まない第２の領域の境界点を検出し、所定の参照形状に基づいて、検出された前記境界点に対して重みを設定し、重みが設定された前記境界点に基づいて、前記第１の領域と前記第２の領域の境界の形状を推定する。

本技術の一側面のプログラムは、観察対象となる被写体を含む第１の領域と前記被写体を含まない第２の領域の境界の境界点を検出し、検出された前記境界点に基づいて、前記第１の領域と前記第２の領域の境界の形状として第１の形状を推定し、推定された前記第１の形状および前記境界点に基づいて、前記第１の領域と前記第２の領域の境界の形状として第２の形状を推定する処理をコンピュータに実行させる。

本技術の一側面の第１の画像処理装置、画像処理方法、並びプログラムにおいては、観察対象となる被写体を含む第１の領域と被写体を含まない第２の領域の境界点が検出され、検出された境界点に基づいて、第１の領域と第２の領域の境界の形状として第１の形状が推定され、推定された第１の形状および境界点に基づいて、第１の領域と第２の領域の境界の形状として第２の形状が推定される。

本技術の一側面の第２の画像処理装置、画像処理方法、並びプログラムは、観察対象となる被写体を含む第１の領域と被写体を含まない第２の領域の境界点が検出され、所定の参照形状に基づいて、検出された境界点に対して重みが設定され、重みが設定された境界点に基づいて、第１の領域と第２の領域の境界の形状が推定される。

本技術の一側面の画像処理装置、画像処理方法、並びにプログラムにおいては、撮影された画像を利用者に提供する第１の領域と提供しない第２の領域の境界の境界点が検出され、検出された境界点から、第１の形状が推定され、検出された境界点から、第２の形状が推定される。そして第１の形状の推定と第２の形状の推定の２度の推定により、第１の領域と第２の領域の境界の形状が検出される。

本技術の一側面によれば、マスクの検出を正確に行えるようになる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術を適用した画像処理装置の一実施の形態の構成を示す図である。 エッジについて説明するための図である。 画像処理装置の動作について説明するためのフローチャートである。 エッジの検出について説明するための図である。 エッジの検出について説明するための図である。 エッジの検出について説明するための図である。 エッジの検出について説明するための図である。 エッジについて説明するための図である。 本技術を適用した画像処理装置の他の実施の形態の構成を示す図である。 画像処理装置の動作について説明するためのフローチャートである。 重み付けについて説明するための図である。 記録媒体について説明するための図である。

以下に、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は、以下の順序で行う。
１．第１の実施の形態における画像処理装置の構成
２．第１の実施の形態における画像処理装置の動作
３．第２の実施の形態における画像処理装置の構成
４．第２の実施の形態における画像処理装置の動作
５．記録媒体について

＜第１の実施の形態における画像処理装置の構成＞
以下に説明する画像処理装置は、例えば、内視鏡などから得られる画像を処理する画像処理装置である。以下に説明する本技術は、内視鏡から得られる画像を処理する装置に以外にも適用でき、画像を取得し、その画像からマスクを検出する装置に広く適用できる。ここでは、内視鏡から得られる画像を処理する画像処理装置を例に挙げて説明する。

図１は、第１の実施の形態における画像処理装置の構成について説明するための図である。図１に示した画像処理装置１００は、図示していない医療機器としての内視鏡装置からの画像データを取得し、処理し、処理した画像をモニタなどの表示部１０１に出力する。

画像処理装置１００は、画像取得部１１１、第１演算部１１２、および第２演算部１１３を備える。第１演算部１１２は、輝度画像変換部１２１、エッジ検出部１２２、および転送部１２３を備える。第２演算部１１３は、円推定部１３１、エッジ削除部１３２、および楕円推定部１３３を備える。

画像処理装置１００の画像取得部１１１は、図示していない内視鏡装置からの画像を取得する。内視鏡装置は、体腔内に侵入され、体内を撮像する体内撮像装置を形成する内視鏡、この内視鏡に照明光を供給する光源装置、内視鏡の撮像手段、例えばＣＣＤ（Charge Coupled Device）、その撮像手段に対する信号処理を行うカメラコントロールユニットなどから構成され、このカメラコントロールユニットから出力された画像データを、画像取得部１１１は取得する。

画像取得部１１１で取得された画像データは、第１演算部１１２に供給される。第１演算部１１２の輝度画像変換部１２１は、取得された画像データを輝度画像の画像データに変換し、エッジ検出部１２２に供給する。

エッジ検出部１２２は、供給された画像データに基づく輝度画像を用いて、エッジ部分を検出する。図２を参照し、エッジ（マスク形状）につて説明する。図２は、表示部１０１に表示される画像例を示している。画面中央部分は、楕円形状の有効領域１５１とされ、ユーザに内視鏡装置で撮像された画像を提供する領域とされている。

画像の有効領域１５１の周りは、マスク領域１５２とされ、例えば、図２に示したように黒く塗られた領域とされる。エッジは、画像の有効領域１５１とマスク領域１５２の境目であり、そのような境目をエッジ検出部１２２は検出する。本技術においては、後述するように、エッジ検出部１２２でのエッジの検出後に、補正することで正確なエッジ（マスクの検出）が行われる。

内視鏡で得られる画像は、画像の左右上下方向には、生体内映像が映らない領域がある。これは、内視鏡でケラレが発生し、撮像手段に光が入ってこない領域があるからである。この生体内映像が映らない領域がマスク領域１５２に該当し、生体内映像が映る領域が、有効領域１５１に該当する。

内視鏡が動くことにより、ケラレの発生状況が変化する可能性があり、ケラレの発生状況が変化することで、マスク領域１５２も変化する可能性がある。よって、マスク領域１５２の変化をとらえ、適切に対応する必要がある。換言すれば、マスクを適切に検出する必要があり、以下に説明する本技術では、エッジ検出部１２２のエッジの検出後に、補正することで正確なエッジ（マスクの検出）が行われる。

図１に示した画像処理装置１００の説明に戻り、転送部１２３は、エッジ検出部１２２により検出されたエッジ情報を、第２演算部１１３に転送する。

第２演算部１１３の円推定部１３１は、マスクの形状（エッジの形状）を円形状として推定する。エッジ削除部１３２は、円推定部１３１で推定された円内に、エッジ検出部１２２により検出されたエッジがある場合、そのエッジを削除する。

楕円推定部１３３は、エッジ削除部１３２で削除されず、残ったエッジ情報を用いて、マスクの形状を楕円形状であるとして推定することで、マスクを検出する。

このように、本技術においては、第２演算部１１３の円推定部１３１と楕円推定部１３３で、２度の推定を行うことで、マスクの検出を行う。楕円推定部１３３による推定結果は、検出されたマスクの形状として、後段の表示部１０１に出力される。

なお、ここでは、円推定を行った後、楕円推定を行う実施の形態を例に挙げて説明を続けるが、この推定の順序に本技術の適用範囲が限定されるわけではない。

図２に示したように、表示部１０１に表示されるマスク領域１５２（有効領域１５１）が、楕円形状の場合、円推定が行われた後、楕円推定が行われる。または、楕円推定が行われた後、楕円推定が行われるようにすることも可能である。

また、表示部１０１に表示されるマスク領域１５２（有効領域１５１）が、円形状（不図示）の場合、円推定が行われた後、円推定が行われるように構成することも可能である。または、楕円推定が行われた後、円推定が行われるようにすることも可能である。

図１に示した画像処理装置１００において、第１演算部１１２と第２演算部１１３は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）でそれぞれ構成できる。第１演算部１１２と第２演算部１１３は、それぞれ異なる演算部として画像処理装置１００に備えられていても良いし、１つの演算部として備えられていても良い。

また、第１演算部１１２と第２演算部１１３は、同一の画像処理装置１００に搭載されていても良いし、異なる装置にそれぞれ搭載され、後述するエッジ情報の授受を接続されているケーブルなどを介して行うようにしても良い。

具体的には、例えば、第１演算部１１２は、内視鏡装置からの画像を輝度変換し、エッジを検出するため、ＧＰＵで構成されるようにし、第２演算部１１２は、ＧＰＵで検出されたエッジを用いてマスクを検出するため、ＣＰＵで構成されるようにすることができる。

＜第１の実施の形態における画像処理装置の動作＞
図３のフローチャートを参照し、図１に示した画像処理装置１００の動作について説明する。

ステップＳ１０１において、画像処理装置１００の画像取得部１１１は、内視鏡装置（不図示）から、画像データを取得する。

ステップＳ１０２において、第１演算部１１２の輝度画像変換部１２１は、画像取得部１１１で取得された画像データに基づく画像を、輝度画像に変換し、その画像データを、エッジ検出部１２２に供給する。

エッジ検出部１２２は、図４、図５を参照して説明するように、輝度画像から、有効領域１５１とマスク領域１５２（図２）の境界部分となるエッジを検出する。

ここで、エッジ検出部１２２が行うエッジの検出について、図４と図５を参照して説明する。

図４に、表示部１０１で表示される画面の一例を示した。図４に示した画面例は、基本的に図２に示した画面例と同様であるが、説明の都合上、マスク領域１５２を白色で示し、有効領域１５１を灰色で示している。エッジ検出部１２２は、輝度画像の左上から右方向にスキャンを行う。また一方で、右上から左方向にスキャンを行う。

すなわち、エッジ検出部１２２は、左右方向から、それぞれスキャンを行う。左方向からのスキャンと、右方向からのスキャンは、それぞれ同様に行われるため、ここでは、左方向からのスキャンを例に挙げて説明を続ける。

スキャンは、一番上のラインから開始されても良いが、一番上のラインから所定のライン数だけ下側に位置するラインから開始されるようにしても良い。また、スキャンは、一番左に位置する画素から開始されても良いが、一番左に位置する画素から所定の画素数だけ右側に位置する画素から開始されるようにしても良い。ここでは、図４に示した画素Ｓからスキャンが開始されるとして説明を続ける。

画素Ｓから右方向にスキャンが開始され、所定の画素数だけスキャンが終わった時点で、次のラインにスキャン対象が移動される。または、画素Ｓから右方向にスキャンが開始され、エッジが検出された時点で、次のラインにスキャン対象が移動される。

このように、１ラインにつき、所定の範囲内をスキャンした時点で、そのラインのスキャンを終了するようにしても良いし、エッジが検出された時点でそのラインのスキャンを終了するようにしても良い。換言すれば、スキャンする範囲は、固定された範囲でも良いし、可変的な範囲でも良い。

スキャンは、画素Ｅが位置するラインまで行われる。画素Ｅは、一番下に位置するラインから、所定のライン数だけ上側に位置するライン上の画素であり、左側からの位置が、画素Ｓと同じ位置にある画素である。

画素Ｓからスキャンが開始され、画素Ｅからのスキャンが終了した時点で、エッジ検出に関わるスキャンは終了されるが、画素Ｓが位置するラインから、画素Ｅが位置するラインの間に位置する全てのラインをスキャンの対象としても良いし、所定のライン数の間隔を開けたラインをスキャンの対象としても良い。

スキャンは、所定のフィルタ１７１を用いて行われる。図５は、フィルタ１７１について説明するための図であり、図４に示した画面内の領域１７２を拡大した図である。図５においては、マスク領域１５２を黒色で表し、有効領域１５１を灰色で表している。

フィルタ１７１は、四角形状のフィルタ１８１−１とフィルタ１８１−２から構成されている。以下の説明において、フィルタ１８１−１とフィルタ１８１−２を、個々に区別する必要がない場合、単に、フィルタ１８１と記述する。他の部分も同様に記述する。

フィルタ１８１は、四角形状であり、横方向の長辺の長さが幅Ｗ、縦方向の短辺の長さが高さＨとなる大きさの四角形状である。フィルタ１８１内の画素数、換言すれば、幅Ｗ×高さＨの大きさは、２０以上とされる。

フィルタ１８１−１とフィルタ１８１−２との間は、所定の画素数分だけ離されている。ここでは、フィルタ１８１−１とフィルタ１８１−２との間隔をギャップＧとする。

このように、フィルタ１８１−１とフィルタ１８１−２とがあり、フィルタ１８１−１とフィルタ１８１−２とがギャップＧだけ離れた位置に位置するフィルタ１７１が、左方向から右方向へと移動されることでスキャンが行われる。

またスキャンは、フィルタ１８１−１内の平均輝度値とフィルタ１８１−２内の平均輝度値がそれぞれ算出され、その平均輝度値の差分に基づき、エッジが検出される。例えば、フィルタ１８１−１とフィルタ１８１−２が共に、マスク領域１５２内にある場合、フィルタ１８１−１とフィルタ１８１−２内の平均輝度値は共に低く、またフィルタ１８１−１とフィルタ１８１−２内の平均輝度値の差分も小さいと考えられる。

一方で、フィルタ１８１−１がマスク領域１５２内にあり、フィルタ１８１−２が有効領域１５１内にある場合、フィルタ１８１−１内の平均輝度値は低いが、フィルタ１８１−２内の平均輝度値は高くなり（少なくともフィルタ１８１−１内の平均輝度値よりは高くなり）、フィルタ１８１−１とフィルタ１８１−２内の平均輝度値の差分は大きくなると考えられる。

フィルタ１８１−１がマスク領域１５２内にあり、フィルタ１８１−２が有効領域１５１内にある場合の輝度値の例を図６に示す。

図６に示したグラフの横軸は、画素の位置を表し、縦軸は、画素の輝度値を表す。また図６に示したグラフは、エッジがある部分の７箇所で測定した結果を示している。画素の位置が４３（以下、位置４３と記述する）より前の位置にある画素の輝度は低く、１０以下であるのに対して、画素の位置が６２（以下、位置６２と記述する）より後の位置にある画素の輝度は高く、６０以上ある。画素の位置が位置４３から位置６２の間にエッジが存在し、この前後で輝度値が変化している。

フィルタ１８１−１がマスク領域１５２内にある場合、画素の位置４３より前の位置に位置するため、フィルタ１８１−１内の輝度値の平均値は小さい値、この場合、１０以下の値となる。

一方で、フィルタ１８１−２が有効領域１５１内にある場合、画素の位置６２より後ろの位置に位置するため、フィルタ１８１−２内の輝度値の平均値は大きい値、この場合、６０以上の値となる。

このように、フィルタ１８１がマスク領域１５２内に位置するか否かにより、フィルタ１８１内の平均輝度値に差が生じる。この差を利用し、エッジが検出される。図６に示したような状況の場合、画素の位置が位置４３から位置６２内にエッジがあり、この部分にフィルタ１７１のギャップＧが位置すると、エッジが検出される。

図５に示したフィルタ１７１が、フィルタ１８１−１とフィルタ１８１−２から構成され、その間にギャップＧが設けられているのは、フィルタ１８１−１がマスク領域１５２内にあり、フィルタ１８１−２が有効領域１５１内にあるときであり、ギャップＧ内にエッジがあるときを検出するためである。

このように、フィルタ１８１−１内とフィルタ１８１−２内の平均輝度値をそれぞれ算出し、その平均輝度値の差が所定の値以上である場合、ギャップＧ内にエッジがあると検出される。

このように、平均輝度値の差が所定の値以上である位置を検出することで、エッジの位置を検出するようにしても良いが、さらに、標準偏差を求め、その標準偏差も用いて、エッジの位置が検出されるようにしても良い。

ここでは、分離度が高い点をマスクのエッジとする場合を例に挙げて説明する。分離度は、平均輝度値の差分を標準偏差で除算した値とする。
分離度＝（平均輝度値の差分）／標準偏差

この分離度が高い点をマスクのエッジであるとする。具体的には、標準偏差の1.5倍程度を閾値とし、分離度が、その閾値以上である場合に、エッジが検出されたとすることができる。

ところで、標準偏差を用いるようにした場合、実測した輝度値から標準偏差を算出する必要があるが、演算量が増える。そのため、リアルタイム性を重視した場合、実測された輝度値から、その都度標準偏差を算出するのではなく、以下のように、予め算出されている標準偏差を用いて分離度が算出されるようにしても良い。

図７に示したグラフは、平均輝度値と標準偏差との関係を示すグラフであり、横軸が平均輝度値であり、縦軸が標準偏差である。図７に示した点は、実測された値をプロットした点である。四角の点は、有効領域１５１内に位置する画素から得られた値をプロットした点であり、菱形の点は、マスク領域１５２内から得られた値をプロットした点である。

これらの点の分布から、例えば、最小二乗法などにより１次式を求められることで、平均輝度値と標準偏差の関係式が求められる。図７に点線で示した直線が、求められた関係式である。図7に示した関係式から、分離度を求めるときの標準偏差が求められる。例えば、平均輝度値が6.0の場合、標準偏差として0.7が用いられ、分離度が算出される。

このような関係式が、エッジ検出部１２２に記憶され、平均輝度値が算出されたときに、その記憶されている関係式に平均輝度値が代入されることで、標準偏差が求められる。または、平均輝度値と標準偏差を関連付けたテーブルが、エッジ検出部１２２に記憶され、平均輝度値が算出されたときに、その記憶されているテーブルが参照され、標準偏差が読み出されるようにしても良い。

このような関係式は、画像処理装置１００毎に共通して用いられる式としても良いが、内視鏡装置の個体差などを考慮し、内視鏡装置毎に求められるのが好ましい。例えば、内視鏡装置と画像処理装置１００が接続されたときに、テストパターンなどを内視鏡装置で撮影し、そのときの画像から、実測値を得て、関係式が求められるように構成しても良い。

また、使用環境などにより、関係式が変わる可能性がある場合、画像処理装置１００による処理が開始されるときの初期設定として、関係式を求める処理が実行されるようにしても良い。

このように、平均輝度値と標準偏差の関係を予め設定しておくことで、エッジ検出時に必要とされる演算量を低減させることができ、リアルタイムに処理することが可能となる。

また実測した値を用いて標準偏差を求め、分離度を求める場合に比べて、誤って検出されるエッジの数を減らすことができる。

実測により標準偏差を求めると、図７のグラフにおいて、点で示したように、標準偏差がばらつくことがわかる。このように標準偏差がばらつくことが一因となり、実測により標準偏差を求めると、エッジの誤検出が増える可能性がある。しかしながら、上記したように、平均輝度値と標準偏差の関係を予め設定しておくことで、標準偏差のばらつきを吸収し、エッジの誤検出を低減させることができる。

このように、フィルタ１７１を用いたスキャンを、輝度画像に対して行うことで、エッジが検出される。以下の説明においては、適宜、所定のライン上から検出されたエッジをエッジ点と記述し、エッジは、エッジ点の集まりであるとする。またエッジ点は、１ラインから検出された点であり、エッジとして検出された点の座標を含む記述であるとする。

またエッジ点は、内視鏡装置からの画像のうち、利用者に提供する画像を表示する領域（図２における有効領域１５１）と、利用者に画像を提供しない領域（図２におけるマスク領域１５２）との境界に存在する点であり、境界点と称することもできる点である。

エッジ検出部１２２（図１）により検出されたエッジ点は、所定の配列に収められ、転送部１２３により第２演算部１１３に転送される（図３のステップＳ１０４）。

ステップＳ１０５において、円推定部１３１は、マスク形状として円を推定する。マスク形状とは、図８に示した画面例において、有効領域１５１’とマスク領域１５２’との境界の形状であるとする。図８に示した画面例では、マスク形状が円である場合を示している。

円の推定は、マスクの形状が、円であるという前提のもと、エッジ検出部１２２で検出されたエッジ情報から円形状を推定する。換言すれば、エッジ情報から、円の中心点（中心座標）と半径といった、円を特定するためのパラメータが推定される。

図８に示した画面例においては、中心点を点Ｐとして図示し、半径を半径Ｒとして図示してある。円推定部１３１は、この点Ｐの座標と半径Ｒを、エッジ情報から算出する。この推定は、例えば、エッジ情報（エッジ点の座標の情報）を用いた最小自乗法により行われる。

ステップＳ１０６において、エッジ削除部１３２は、エッジ検出部１２２で検出されたエッジ点のうち、円推定部１３１で推定された円内に位置するエッジ点を削除する。

円推定部１３１による推定が行われるときに用いられるエッジ情報を、第１のエッジ情報とした場合、エッジ削除部１３２は、この第１のエッジ情報から、推定された円内に位置するエッジ点の情報を除き、第２のエッジ情報を生成する。

ステップＳ１０７において、楕円推定部１３３は、マスク形状として楕円を推定する。楕円の推定は、マスクの形状が、楕円であるという前提のもと、エッジ削除部１３２で生成された第２のエッジ情報から楕円形状を推定する。換言すれば、第２のエッジ情報から、楕円の中心点（中心座標）、長軸の長さ（長径）、短軸の長さ（短径）といった楕円を特定するためのパラメータが推定される。

図２に示したように、マスク形状が、楕円形状であるとして、第２のエッジ情報を用いた、例えば、最小自乗法によりマスク形状が推定される。この推定結果は、マスク形状として、表示部１０１に出力される（ステップＳ１０８の処理）。

このように、本実施の形態においては、マスクの形状が、２度の推定により決定される。また２度の推定は、マスク形状を、円や楕円といった異なる形状であると推定して行われる。このような２度の推定を行うことでマスク形状を決定することで、マスク形状の検出精度を向上させることができる。

これは、１度目の推定で、誤検出された可能性の高いエッジ点を除去することで、正しく検出された可能性の高いエッジ点を残し、そのようなエッジ点から、２度目の推定を行うからである。

また、エッジの検出も、図４や図５を参照して説明したように、矩形のフィルタを用いて行ったり、平均輝度値と標準偏差の関係を用いたりすることで、１度目の推定で用いられる第１のエッジ情報の精度自体を向上させることができる。よって、最終的に得られるマスク形状の検出の精度も向上したものとなる。

また、マスクの検出は、従来ではハフ変換を用いて行われることが多いが、ハフ変換は、リアルタイム性に欠け、内視鏡画像などのリアルタイム性を必要とする画像処理には不向きであった。

これに対して、上記した第１の実施の形態においては、比較的演算量が少ない最小自乗法などを用いることで、計算量を低減させることができるため、マスク検出に係る時間を短縮することができる。また、エッジ検出部１２２でのエッジ検出の際、平均輝度値と標準偏差の関係を予め求めておき、その関係を用いることで、さらなる処理時間の短縮を実現することが可能となる。

このように、本技術によれば、マスクの検出をより精度良く行うことができ、その検出に係る時間を短縮することができる。

なおここでは、円推定部１３１により円推定が行われた後、楕円推定部１３３により楕円推定が行われるとして説明したが、円推定と楕円推定の組み合わせに本技術の適用が限定されるわけではない。

表示部１０１に提供するマスク形状が、楕円形状である場合、２度目の推定は楕円推定になるが、円形状である場合、円推定とするのが好ましい。また、１度目の推定は、円推定であっても、楕円推定であっても、どちらでも本技術を適用することは可能である。

またここでは、円や楕円を例に挙げて説明しているが、四角形状などの他の形状を用いた推定が、１度目の推定や、２度目の推定のどちらか一方、または両方で行われるように構成することも可能である。

またここでは、２度の推定を行うとしたが、２度以上の推定が行われるようにしても良い。ただし、推定回数が増えると、その分、演算回数も増え、マスクの検出に係る時間が長くなる可能性があるため、マスクの検出に係る時間を短縮し、かつ検出精度を向上できる推定回数に設定されるのが好ましい。

＜第２の実施の形態における画像処理装置の構成＞
図９に第２の実施の形態における画像処理装置の構成を示す。図９に示した画像処理装置２００は、図１に示した第１の実施の形態における画像処理装置１００と同じく、図示していない医療機器としての内視鏡装置からの画像データを取得し、処理し、処理した画像をモニタなどの表示部１０１に出力する。

図９に示した画像処理装置２００と図１に示した画像処理装置１００とで、同一の箇所には同一の符号を付し、適宜その説明は省略する。

画像処理装置２００は、画像取得部１１１、第１演算部１１２、および第２演算部２０１を備える。第１演算部１１２は、輝度画像変換部１２１、エッジ検出部１２２、および転送部１２３を備える。第２演算部２０１は、重み設定部２１１、楕円推定部２１２を備える。

図９に示した画像処理装置２００は、図１に示した画像処理装置１００と比べて、第２演算部２０１の構成が異なり、画像処理装置１００（図１）の円推定部１３１とエッジ削除部１３２の代わりに、重み設定部２１１が設けられている。

＜第２の実施の形態における画像処理装置の動作＞
図１０のフローチャートを、図９に示した画像処理装置２００の動作について説明する。

ステップＳ２０１乃至Ｓ２０４の処理は、図３に示したフローチャートのステップＳ１０１乃至Ｓ１０４の処理と同様に行われるため、その説明は省略する。すなわち、画像処理装置２００の画像取得部１１１が行う処理と、第１演算部１１２が行う処理は、画像処理装置１００の画像取得部１１１が行う処理と、第１演算部１１２（いずれも図１）が行う処理と同様に行われる。

よって、第１の実施の形態と同じく、第２の実施の形態においても、エッジ検出に係る時間が短縮できるなどの効果を得られる。

ステップＳ２０５において、重み設定部２１１により重みが設定される。重み設定部２１１においては、例えば、図１１に示すような重み付けが、エッジ情報に対して行われる。

図１１は、重み設定部２１１で行われる重み付けについて説明するための図であり、表示部１０１に、仮に、設定される重みを表示した場合の画面例を示している。ここでは、エッジが存在する可能性が高い領域には、重み付けとして、１が設定され、エッジが存在する可能性が低い領域には、重み付けとして０が設定されているとして説明を続ける。

図１１中、黒で示した部分は、エッジが存在する可能性が低く、重み付けの値が０に設定されていることを示し、白で示した部分は、エッジが存在する可能性が高く、重み付けの値が１に設定されていることを示す。図１１では、黒の領域から白の領域へとグラデーションがかけられている。

すなわち、重み付けの値は、０から１の間の数値も設定されており、０に設定されている領域から１に設定されている領域まで、徐々に値が変化するように、重み付けは設定されている。なおここでは、このような重み付けの値が設定されているとして説明を続けるが、重み付けの値や重み付けの仕方などは、ここに挙げる例に限定されるわけではない。

重み設定部２１１は、このような重み付けを行うための参照形状を記憶しており、その記憶している参照形状（パターン）に基づいて重み付けを行う。このような参照形状は、内視鏡の種類毎に設けられていても良い。内視鏡は、例えば、系の形が異なる内視鏡があるため、それらの系が異なる内視鏡毎に、参照形状が用意され、内視鏡の情報、例えばＩＤが取得され、そのＩＤに関連付けられている参照画像が用いられて重み付けの処理が行われるようにしても良い。

図１１に示したように、画面中央部分や、四隅などは、エッジが存在する可能性は低くいため、重み付けの値は、０に設定されている。よって、仮に、このような部分にエッジ点が検出されたとしても、重み付けとして０が設定されるため、そのようなエッジ点は、後段の楕円推定部２１２による演算では用いられないことになる。

これは、所定の領域内から検出されたエッジ点を削除するという処理は、第１の実施の形態において、円推定部１３１で円を推定し、その円内にあるエッジ点は、エッジ削除部１３２で削除するという処理に該当する。

第１の実施の形態における画像処理装置１００では、円推定部１３１と楕円推定部１３１による２度の推定が行われることで、マスクが検出されたが、第２の実施の形態における画像処理装置２００においては、１度目の推定に該当する処理として、エッジ情報に対する重み付けが行われる。

これは、マスクの形状が円形状であり、円形状であった場合にエッジが存在する可能性が高い領域を推定することに該当する。また、エッジが存在する可能性が低い領域を推定し、そのような領域内のエッジ点を除去することに該当する。このような処理を行うため、第２の実施の形態においても、重み設定部２１１における処理は、第１の実施の形態における円推定部１３１とエッジ削除部１３２の処理に該当し、１回目の推定に該当する。

第２の実施の形態においても、ステップＳ２０５の後の処理として、楕円推定を行うため、第１の実施の形態と同じく、２度の推定が行われることで、マスクが検出される。

このようにして、重み設定部２１１により重み付けがされたエッジ情報は、楕円推定部２１２に供給される。この楕円推定部２１２に供給されるエッジ情報は、エッジでない可能性が高い情報は除外され、エッジである可能性が高い情報ほど、楕円推定部２１２による推定に大きく影響を与える情報となっている。

ステップＳ２０６において、楕円推定部２１２は、マスク形状が楕円であるとして、マスク形状を検出する。このステップＳ２０６における処理は、画像処理装置１００の楕円推定部１３３が行うステップＳ１０７（図３）の処理と同様に行うことが可能であるため、その説明は省略する。また、ステップＳ２０７の処理も、ステップＳ１０８（図３）の処理と同様に行うことが可能であるため、その説明は省略する。

このように、第２の実施の形態においては、検出されたエッジ点のうち、エッジである可能性が高い点が、マスクの検出に影響を及ぼすように、重み付けを行うことで、マスクの検出の精度を向上させ、かつ演算量を低減させることが可能となる。

第２の実施の形態においても、第１の実施の形態と同じく、マスクの検出をより精度良く行うことができ、その検出に係る時間を短縮することができる。

本技術によれば、内視鏡装置で撮像された画像の露光が適正である場合や、過剰である場合に、マスクの検出を適切に行うことが可能である。露光が適正または過剰である場合、有効領域１５１内の画像とマスク領域１５２内の画像との明暗がハッキリとすることで、その境界であるエッジを検出し、マスクを検出することは、比較的容易に行える。

さらに本技術によれば、内視鏡装置で撮像された画像の露光が不足である場合にも、マスクの検出を適切に行うことが可能である。露光が不足している場合、有効領域１５１内の画像とマスク領域１５２内の画像との明暗がハッキリとしていない状態であるが、上記したように、エッジを検出し、２段階の推定を行うことで、マスクを適切に検出することが可能となる。

＜記録媒体について＞
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図１２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。コンピュータにおいて、ＣＰＵ（Central Processing Unit）１１０１、ＲＯＭ（Read Only Memory）１１０２、ＲＡＭ（Random Access Memory）１１０３は、バス１１０４により相互に接続されている。バス１１０４には、さらに、入出力インタフェース１１０５が接続されている。入出力インタフェース１１０５には、入力部１１０６、出力部１１０７、記憶部１１０８、通信部１１０９、およびドライブ１１１０が接続されている。

入力部１１０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部１１０７は、ディスプレイ、スピーカなどよりなる。記憶部１１０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１１０９は、ネットワークインタフェースなどよりなる。ドライブ１１１０は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア１１１１を駆動する。

以上のように構成されるコンピュータでは、ＣＰＵ１１０１が、例えば、記憶部１１０８に記憶されているプログラムを、入出力インタフェース１１０５およびバス１１０４を介して、ＲＡＭ１１０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（ＣＰＵ１１０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１１１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブルメディア１１１１をドライブ１１１０に装着することにより、入出力インタフェース１１０５を介して、記憶部１１０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１１０９で受信し、記憶部１１０８にインストールすることができる。その他、プログラムは、ＲＯＭ１１０２や記憶部１１０８に、予めインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。

なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

なお、本技術は以下のような構成も取ることができる。

（１）
観察対象となる被写体を含む第１の領域と前記被写体を含まない第２の領域の境界点を検出するエッジ検出部と、
前記境界点に基づいて、前記第１の領域と前記第２の領域の境界の形状として第１の形状を推定する第１の推定部と、
前記境界点および推定された前記第１の形状に基づいて、前記第１の領域と前記第２の領域の境界の形状として第２の形状を推定する第２の推定部と
を備える
画像処理装置。
（２）
前記観察対象となる被写体は、内視鏡装置により撮影された生体である
前記（１）に記載の画像処理装置。
（３）
前記第１の推定部は、前記第１の形状を円形状として推定し、
前記第２の推定部は、前記第２の形状を楕円形状として推定する
前記（１）または（２）に記載の画像処理装置。
（４）
前記境界点のうち、前記第１の形状内に位置する前記境界点を削除するエッジ削除部を
さらに備える前記（１）乃至（３）のいずれかに記載の画像処理装置。
（５）
前記エッジ検出部は、画素の輝度値に基づいて前記境界点を検出する
前記（１）乃至（４）のいずれかに記載の画像処理装置。
（６）
前記エッジ検出部は、所定の画素数だけ間隔を有する状態で配置された２つの矩形からなるフィルタを用いて前記境界点の検出を行う
前記（５）に記載の画像処理装置。
（７）
前記エッジ検出部は、
前記輝度値の標準偏差に基づいて、前記境界点を検出する
前記（５）に記載の画像処理装置。
（８）
予め求められている前記輝度値と前記標準偏差との関係式から、前記標準偏差は算出される
前記（７）に記載の画像処理装置。
（９）
前記エッジ検出部を含む第１の演算部と、前記第１の推定部と前記第２の推定部を含む第２の演算部のうちの一方は、ＣＰＵ（Central Processing Unit）で構成され、他方は、ＧＰＵ（Graphics Processing Unit）で構成される
前記（１）乃至（８）のいずれかに記載の画像処理装置。
（１０）
観察対象となる被写体を含む第１の領域と前記被写体を含まない第２の領域の境界点を検出するエッジ検出部と、
所定の参照形状に基づいて、前記境界点に対して重みを設定する第１の推定部と、
前記重みが設定された前記境界点に基づいて、前記第１の領域と前記第２の領域の境界の形状を推定する第２の推定部と
を備える画像処理装置。
（１１）
前記観察対象となる被写体は、内視鏡装置により撮影された生体である
前記（１０）に記載の画像処理装置。
（１２）
前記所定の参照形状は、円形状である
前記（１０）または（１１）に記載の画像処理装置。
（１３）
前記所定の参照形状は、前記内視鏡装置の情報に基づいて設定される
前記（１１）または（１２）に記載の画像処理装置。
（１４）
前記第２の推定部は、前記第１の領域と前記第２の領域の境界の形状を楕円形状として推定する
前記（１０）乃至（１３）のいずれかに記載の画像処理装置。
（１５）
観察対象となる被写体を含む第１の領域と前記被写体を含まない第２の領域の境界点を検出し、
検出された前記境界点に基づいて、前記第１の領域と前記第２の領域の境界の形状として第１の形状を推定し、
推定された前記第１の形状および前記境界点に基づいて、前記第１の領域と前記第２の領域の境界の形状として第２の形状を推定する
画像処理方法。
（１６）
観察対象となる被写体を含む第１の領域と前記被写体を含まない第２の領域の境界点を検出し、
所定の参照形状に基づいて、検出された前記境界点に対して重みを設定し、
重みが設定された前記境界点に基づいて、前記第１の領域と前記第２の領域の境界の形状を推定する
画像処理方法。
（１７）
観察対象となる被写体を含む第１の領域と前記被写体を含まない第２の領域の境界の境界点を検出し、
検出された前記境界点に基づいて、前記第１の領域と前記第２の領域の境界の形状として第１の形状を推定し、
推定された前記第１の形状および前記境界点に基づいて、前記第１の領域と前記第２の領域の境界の形状として第２の形状を推定する
処理をコンピュータに実行させるためのプログラム。

１００ 画像処理装置， １０１ 表示部， １１１ 画像取得部， １１２ 第１演算部， １１３ 第２演算部， １２１ 輝度画像変換部， １２２ エッジ検出部， １２３ 転送部， １３１ 円推定部， １３２ エッジ削除部， １３３ 楕円推定部， ２００ 画像処理装置， ２０１ 第２演算部， ２１１ 重み設定部， ２１２ 楕円推定部

Claims (17)

1. 観察対象となる被写体を含む第１の領域と前記被写体を含まない第２の領域の境界点を検出するエッジ検出部と、
   前記境界点に基づいて、前記第１の領域と前記第２の領域の境界の形状として第１の形状を推定する第１の推定部と、
   前記境界点および推定された前記第１の形状に基づいて、前記第１の領域と前記第２の領域の境界の形状として第２の形状を推定する第２の推定部と
   を備える
   画像処理装置。
2. 前記観察対象となる被写体は、内視鏡装置により撮影された生体である
   請求項１に記載の画像処理装置。
3. 前記第１の推定部は、前記第１の形状を円形状として推定し、
   前記第２の推定部は、前記第２の形状を楕円形状として推定する
   請求項１に記載の画像処理装置。
4. 前記境界点のうち、前記第１の形状内に位置する前記境界点を削除するエッジ削除部を
   さらに備える請求項１に記載の画像処理装置。
5. 前記エッジ検出部は、画素の輝度値に基づいて前記境界点を検出する
   請求項１に記載の画像処理装置。
6. 前記エッジ検出部は、所定の画素数だけ間隔を有する状態で配置された２つの矩形からなるフィルタを用いて前記境界点の検出を行う
   請求項５に記載の画像処理装置。
7. 前記エッジ検出部は、
   前記輝度値の標準偏差に基づいて、前記境界点を検出する
   請求項５に記載の画像処理装置。
8. 予め求められている前記輝度値と前記標準偏差との関係式から、前記標準偏差は算出される
   請求項７に記載の画像処理装置。
9. 前記エッジ検出部を含む第１の演算部と、前記第１の推定部と前記第２の推定部を含む第２の演算部のうちの一方は、ＣＰＵ（Central Processing Unit）で構成され、他方は、ＧＰＵ（Graphics Processing Unit）で構成される
   請求項１に記載の画像処理装置。
10. 観察対象となる被写体を含む第１の領域と前記被写体を含まない第２の領域の境界点を検出するエッジ検出部と、
    所定の参照形状に基づいて、前記境界点に対して重みを設定する第１の推定部と、
    前記重みが設定された前記境界点に基づいて、前記第１の領域と前記第２の領域の境界の形状を推定する第２の推定部と
    を備える画像処理装置。
11. 前記観察対象となる被写体は、内視鏡装置により撮影された生体である
    請求項１０に記載の画像処理装置。
12. 前記所定の参照形状は、円形状である
    請求項１０に記載の画像処理装置。
13. 前記所定の参照形状は、前記内視鏡装置の情報に基づいて設定される
    請求項１１に記載の画像処理装置。
14. 前記第２の推定部は、前記第１の領域と前記第２の領域の境界の形状を楕円形状として推定する
    請求項１０に記載の画像処理装置。
15. 観察対象となる被写体を含む第１の領域と前記被写体を含まない第２の領域の境界点を検出し、
    検出された前記境界点に基づいて、前記第１の領域と前記第２の領域の境界の形状として第１の形状を推定し、
    推定された前記第１の形状および前記境界点に基づいて、前記第１の領域と前記第２の領域の境界の形状として第２の形状を推定する
    画像処理方法。
16. 観察対象となる被写体を含む第１の領域と前記被写体を含まない第２の領域の境界点を検出し、
    所定の参照形状に基づいて、検出された前記境界点に対して重みを設定し、
    重みが設定された前記境界点に基づいて、前記第１の領域と前記第２の領域の境界の形状を推定する
    画像処理方法。
17. 観察対象となる被写体を含む第１の領域と前記被写体を含まない第２の領域の境界の境界点を検出し、
    検出された前記境界点に基づいて、前記第１の領域と前記第２の領域の境界の形状として第１の形状を推定し、
    推定された前記第１の形状および前記境界点に基づいて、前記第１の領域と前記第２の領域の境界の形状として第２の形状を推定する
    処理をコンピュータに実行させるためのプログラム。

Images