JP2007198934A - 画像データの関心領域抽出方法、その方法を実装したコンピュータプログラムおよび関心領域抽出システム - Google Patents

Abstract

【課題】２次元、３次元いずれの画像データに対しても最適な条件でのトリミング（関心領域の抽出）を安定的に行えるようにする。
【解決手段】対象物について取得された画像データから対象物像を包含する領域を関心領域として抽出する関心領域抽出方法について、画像データＢＤ上で対象物像Ｉと背景の境界を対象物像と背景の交差位置として探索する交差探索プローブ１２を設定する過程、交差探索プローブを画像データ上で走査させて境界端１３を交差位置として探索する過程、および交差位置探索の結果に基づいて関心領域を決定する過程を含むものとしている。
【選択図】 図５

Description

本発明は、対象物について取得した２次元あるいは３次元の画像データから対象物像を包含する領域を関心領域として抽出する技術に関する。

対象物の画像をデジタルデータとして記録するについては多くの方法がある。なかでもビットマップデータによる方法は広く利用されている。図２０にビットマップデータの構成を模式化して示す。ビットマップデータＢＤは、微小な正方形の単位要素であるセルＳを２次元的に密に配列して対象物Ｍの像Ｉを記述するデータ形式である。各セルＳはセル値と呼ばれるデジタル値を輝度に応じて持ち、そのセル値により対象物像Ｉを表現する。こうしたビットマップデータ形式の画像データを取得する撮像手段の代表的な例としてはＸ線ＣＴ装置がある。なお、図中では対象物像Ｉの輪郭をぎざぎざ状態に示してあるが、これはセルＳによる記述を誇張したものである。

２次元のビットマップデータの概念を３次元に拡張すると３次元のビットマップデータが得られる。これはボクセルデータまたは３次元ビットマップデータと呼ばれる。図２１にボクセルデータを模式化して示す。ボクセルデータＶＤは、微小な立方体の単位要素であるボクセルＶＳを３次元的に密に配列して対象物Ｍ´の３次元像Ｉ´を記述するデータ形式である。各ボクセルＶＳは、セルＳと同様にセル値と呼ばれるデジタル値を輝度に応じて持ち、そのセル値により対象物像Ｉ´を表現する。近年の産業界では、ＣＡＥ（Computer Aided Design）手法の一環として、鋳物や機械、あるいは電気部品などについて複数の断層像をＸ線ＣＴ装置により撮像し、それらの断層像を積層することでボクセルデータを構築して設計や製造プロセスに活用するデジタルエンジニアリングの動きが広まってきている。なお、図２１で対象物像Ｉ´の輪郭をぎざぎざ状態に示してあるのは図２０の場合と同様である。

こうした画像データについては、その利用目的に応じて画像処理が施される。画像処理にはさまざまな処理があり、その１つとしてトリミングがある。トリミングとは、画像データから必要な部分を切り出す処理、つまり画像データから関心領域を抽出する処理である。したがってトリミングでは、画像データから対象物像を包含する関心領域を抽出し、その関心領域を中心にした一定範囲を必要な部分として切り出すことになる。こうしたトリミングを最初に行うことにより画像データから不要な部分を切り捨てて画像データのデータサイズを低減することができ、その後のさまざまな画像処理、例えばフィルタリング、エッジ強調、コントラスト補正などの各処理をより高速に行えるようになる。

画像データのトリミングについては、例えばAdobe社製「Adobe Photoshop」などの画像処理ツールに搭載されたトリミング機能が代表的なものとして知られている。この機能では、画像データを表示した画面上でユーザがその画像を見ながらマウスなどの入力装置により点や線を操作することで関心領域を指定してトリミングを行う。

ＣＡＥの分野では、画像データを扱う場合にそのデータ量が膨大になるのが一般的で、トリミングによるデータサイズの低減は特に有用である。そのため関心領域に関して最適な条件でのトリミングを安定的に行えるようにすることが強く望まれる。こうした観点からすると、従来のトリミング法は必ずしも十分でない。

上述のように従来のトリミング法では、ユーザが画面上で画像を見ながらマウスなどの入力装置により点や線を操作することで関心領域を指定してトリミングを行う。こうしたトリミング法では、関心領域の指定範囲がトリミング操作ごとに異なり易く、したがってトリミングで抽出される画像データのサイズが異なり易い。つまりトリミングの状態が一定せず、最適な条件でのトリミングの安定的な実行という要求に十分に応えることができない。

また従来のトリミング法は、２次元の画像データを前提にしてものであり、３次元の画像データであるボクセルデータにそのまま適用するには難がある。ボクセルデータを表示装置の画面に表示させる方法としてはボリュームレンダリング法などがある。この方法によれば、ボクセルデータに記録されている対象物の３次元像を２次元像として表示することができる。この表示画像に対して従来のトリミングでトリミングを行うには、ユーザは表示画像に対して奥行き方向の形状情報も考慮する必要があり、関心領域の指定が実際上困難になる。また奥行き方向の形状情報も考慮しての関心領域の指定を行えるとしても、関心領域の指定範囲がトリミング操作ごとに異なり易いという問題は残り、しかもその問題がより大きく現れる。

本発明は以上のような事情を背景になされたものであり、２次元、３次元いずれの画像データに対しても最適な条件でのトリミングつまり関心領域の抽出を安定的に行うことを可能とする関心領域抽出方法の提供を第１の目的とし、またそうした関心領域抽出方法の実行に用いる関心領域抽出システムの提供を第２の目的としている。

本発明では上記第１の目的のために、対象物について取得された画像データから前記対象物の像を包含する領域を関心領域として抽出する関心領域抽出方法において、前記画像データ上で前記対象物像と背景の境界を前記対象物像と前記背景の交差位置として探索する交差探索プローブを前記画像データ上の所定位置に設定する過程、前記交差探索プローブを前記画像データ上で所定の方向に走査させて前記境界を前記交差位置として探索する過程、および前記交差位置探索の結果に基づいて前記関心領域を決定する過程を含むことを特徴としている。

また本発明では上記のような関心領域抽出方法について、前記交差探索プローブによる前記境界の探索に用いるしきい値を設定する過程をさらに含むものとしている。

また本発明では上記のような関心領域抽出方法について、前記対象物像の外縁部の任意の位置に外縁部点を指定する過程をさらに含み、前記交差探索プローブを前記外縁部点に設定するようにしている。

また本発明では上記のような関心領域抽出方法について、前記対象物像が複数ある場合に、その対象物像ごとに前記関心領域の決定をなすようにしている。

また本発明では上記のような関心領域抽出方法について、前記画像データが２次元画像データある場合は、前記交差探索プローブを線として構成し、前記画像データが３次元画像データある場合は、前記交差探索プローブを面として構成するようにしている。

また本発明では上記のような関心領域抽出方法について、前記画像データが複数の２次元画像データを積層して構成される３次元画像データである場合に、前記複数の２次元画像データのそれぞれについて前記関心領域の抽出を行って関心領域抽出済み２次元画像データを生成する過程、および前記関心領域抽出済み２次元画像データを積層して関心領域抽出済み３次元画像データを構成する過程を含むものとしている。

また本発明では上記のような関心領域抽出方法を実行するについて、当該方法を実行するための手順が記述されているコンピュータプログラムを介在させるものとしている。

また本発明では上記第２の目的のために、対象物について取得された画像データから前記対象物の像を包含する領域を関心領域として抽出する関心領域抽出システムにおいて、前記画像データ上で前記対象物像と背景の境界を前記対象物像と前記背景の交差位置として探索する交差探索プローブを前記画像データ上の所定位置に設定する交差探索プローブ設定手段、前記交差探索プローブを前記画像データ上で所定の方向に走査させて前記境界を前記交差位置として探索する交差検出手段、および前記交差位置探索の結果に基づいて前記関心領域を決定して抽出する関心領域抽出手段過程を備えていることを特徴としている。

本発明では、画像データに設定した交差探索プローブにより自動的に関心領域を決定して抽出するようにしている。したがって本発明によれば、画像データに対して最適な条件での関心領域の抽出を安定的に行うことが可能となり、膨大な画像データを扱うＣＡＥの分野などで特に強く求められるデータサイズの低減をより効果的に行えるようになる。

以下、本発明を実施するための形態について説明する。図１に、関心領域抽出システムの構成の一例を示す。この例の関心領域抽出システムは、関心領域抽出方法を実装したコンピュータプログラム１、コンピュータプログラム１を格納するプログラム記憶装置２、コンピュータプログラム１により関心領域抽出方法を実行する演算装置３、関心領域抽出方法の実行前後の画像データを格納する画像データ記憶装置４、関心領域抽出方法の実行に際して必要な画像データの表示を行う表示装置５を備えている。

そしてそのコンピュータプログラム１は、画像データ上で対象物像と背景の境界を判定するのに用いるしきい値を設定するためのしきい値設定手段６、画像データ上で対象物像と背景の境界を対象物像と背景の交差位置として探索するのに用いる交差探索プローブを設定するための交差探索プローブ設定手段７、交差探索プローブの走査により対象物像と背景の交差位置を探索して検出するための交差検出手段８、交差探索プローブの走査方向における対象物像と背景の境界端を交差検出手段８による交差位置の検出結果に基づいて検出する境界端検出手段９、境界端検出手段９による境界端の検出結果に基づいて関心領域を決定して抽出する関心領域抽出手段１０を備えている。

次に、以上のような関心領域抽出システムで実行される関心領域抽出方法について説明する。図２に第１の実施形態による関心領域抽出方法における処理の流れを示す。本実施形態は、関心領域抽出処理を行う画像データが２次元のビットマップデータの場合である。本実施形態の関心領域抽出方法は、画像データの入力処理（ステップ１００１）、しきい値設定処理（ステップ１００２）、交差探索プローブ設定処理（ステップ１００３）、ｘ軸方向交差検出処理（ステップ１００４）、ｘ軸方向境界端検出処理（ステップ１００５）、ｙ軸方向交差検出処理（ステップ１００６）、ｙ軸方向境界端検出処理（ステップ１００７）、関心領域決定処理（ステップ１００８）、およびトリミング処理（ステップ１００９）を含んでいる。

画像データの入力処理（ステップ１００１）では、演算装置３が処理対象の画像データ、具体的には処理対象のビットマップデータを画像データ記憶装置４から読み込み、必要に応じてそれを表示装置５に表示する。

しきい値設定処理（ステップ１００２）では、しきい値設定手段６を用いてしきい値を設定する。しきい値は、画像データ上でそこにおける対象物像と背景の交差位置つまり対象物像と背景の境界を判定するために用いられる。より具体的には、後述するように構成される交差探索プローブが画像データ上でそこにおける対象物像と交差しているか否かを判定する、つまり交差探索プローブと対象物像との交差の有無を判定するために用いられる。こうしたしきい値は、対象物像を表す各セルのセル値と背景を表す各セルのセル値に関するものとして設定する。１つの例では、対象物像を表す各セルのセル値の平均値と背景を表す各セルのセル値の平均値をさらに平均した値としてしきい値を設定する。すなわち対象物像を表す各セルのセル値の平均値をＭav、背景を表す各セルのセル値の平均値をＢavとして、しきい値＝（Ｍav＋Ｂav）／２とする。このようにしきい値を設定すると画像データに含まれるノイズやボケの影響を避けることができ、より精度の高いしきい値とすることができる。他の例では、背景を表す各セルのセル値の平均値をしきい値に用いる。

交差探索プローブ設定処理（ステップ１００３）では、交差探索プローブ設定手段７が交差探索プローブを設定する。交差探索プローブは、ビットマップデータ上で対象物像と背景の境界を対象物像と背景の交差位置として探索するために画像データ上に定義される仮想的な「探索具」である。図３に交差探索プローブの設定例を示す。図３に見られるように交差探索プローブ１２（１２ｘ）は、所定の幅と長さおよび方向を有した「線」として設定するのが１つの例である。幅は、ビットマップデータＢＤにおけるセルを１つ以上（通常は１〜数セル）含む程度とされ、長さはビットマップデータＢＤのサイズ程度とされるのが通常である。方向は任意に設定することが可能であるが、一般的にはビットマップデータＢＤにおけるセルの配列方向をもとに設定される座標系のｘ軸とｙ軸に関係させて２つの方向を設定することになる。本実施形態でもそのようにしている。１つの方向はｘ軸に垂直な方向（ｙ軸に平行な方向）であり、他の方向はｙ軸に垂直な方向（ｘ軸に平行な方向）である。したがって交差探索プローブ１２は、方向に関してｘ軸に垂直なｘ軸用とｙ軸に垂直なｙ軸用の２種となる。図３ではｘ軸用の交差探索プローブ１２ｘだけを示してあり、ｙ軸用の交差探索プローブ１２ｙ（図５）については図示を省略してある。

こうした交差探索プローブ１２は、ビットマップデータＢＤ上に指定した位置に上記のような「線」を生成させることで設定し、必要に応じてｘ軸用、ｙ軸用それぞれについて複数設定する場合もある。交差探索プローブ１２の設定位置の指定には大別して２つの方式が可能である。１つは、コンピュータプログラム内で予め指定おく方式で、他の１つは、表示装置に表示されたビットマップデータＢＤ上でユーザが設定位置を指定する方式である。コンピュータプログラム内で予め指定おく方式の場合は、例えばｘ＝０の位置（またはｙ＝０の位置）あるいはｘ＝最大値（またはｙ＝最大値の位置）として指定する。

ｘ軸方向交差検出処理（ステップ１００４）では、交差検出手段８がｘ軸用の交差探索プローブ１２ｘをビットマップデータＢＤ上で所定の方向、具体的にはｘ軸方向に走査させ、対象物像Ｉと背景の交差、具体的には対象物像Ｉと交差探索プローブ１２ｘの交差を探索して検出する。交差検出は、交差探索プローブ１２ｘがｘ軸方向の走査によりｘ軸方向での位置つまり座標値を順次更新してゆくのに応じて離散的な座標値ｘ_ｉごとに行うものとし、交差探索プローブ１２ｘを構成するセルそれぞれのセル値の総和値をしきい値に基づく基準総和値と比較することで行う。具体的には、交差探索プローブ１２ｘの幅が１セルで長さがビットマップデータＢＤのｙ軸方向サイズと同じである場合であれば、ビットマップデータＢＤにおけるy軸方向のセル数をymax、しきい値をＴ、基準総和値をymax・Ｔとして、下記の式（１）により座標値ｘ_ｉごとに交差の有無を判定して交差検出を行う。

ｘ軸方向境界端検出処理（ステップ１００５）では、境界端検出手段９がｘ軸方向交差検出処理の結果に基づいて対象物像Ｉと背景のｘ軸方向についての左右両境界端を検出する。左側境界端は、座標値ｘ_ｉが最小である交差位置の１つ手前の位置とし、交差探索プローブ１２ｘの走査で交差なしの状態から交差ありに変わる交差探索プローブ１２ｘの位置の１つ手前の位置（座標値ｘ_ｉ−１）として検出する。一方、右側境界端は、座標値ｘ_ｉが最大である交差位置の１つ後の位置とし、交差探索プローブ１２ｘの走査で交差ありの状態から交差なしに変わる交差探索プローブ１２ｘの位置の１つ後の位置（座標値ｘ_ｉ＋１）として検出する。こうしたｘ軸方向境界端検出処理をイメージ化して図４に示す。図の例では、交差探索プローブ１２ｘによるｘ軸方向交差検出処理に基づいた境界端検出処理で左側境界端１３Ｌと右側境界端１３Ｒが検出された状態を示している。

ｙ軸方向交差検出処理（ステップ１００６）では、交差検出手段８がｙ軸用の交差探索プローブ１２ｙ（図３と図４では図示を省略してある）によりｘ軸用の交差探索プローブ１２ｘの場合と同様にして交差検出を行う。ただしこの場合には、交差探索プローブ１２ｙの幅が１セルで長さがビットマップデータＢＤのｘ軸方向サイズと同じであり、ｘ軸方向のセル数がｘmaxであるとして、式（１）におけるymax・Ｔは、ｘmax・Ｔとなる。

ｙ軸方向境界端検出処理（ステップ１００７）では、境界端検出手段９がｙ軸方向交差検出処理の結果に基づいて対象物像Ｉと背景のｙ軸方向についての上下両境界端を検出する。その具体的処理はｘ軸方向境界端検出処理と同様である。

関心領域決定処理（ステップ１００８）では、関心領域抽出手段１０がｘ軸方向境界端検出処理とｙ軸方向境界端検出処理の結果に基づいて関心領域を決定する。具体的には、図５にイメージ化して示すように、ｘ軸方向境界端検出処理とｙ軸方向境界端検出処理で検出された左側境界端１３Ｌ、右側境界端１３Ｒ、上側境界端１３Ｕ、下側境界端１３Ｄそれぞれを通り、交差探索プローブ１２ｘまたは交差探索プローブ１２ｙに平行な線分（図中では交差探索プローブ１２ｘや交差探索プローブ１２ｙで示してある）で囲まれた領域を関心領域とする。

トリミング処理（ステップ１００９）では、関心領域決定処理で決定された関心領域に基づいて関心領域抽出手段１０によりトリミング領域を決定し、そのトリミング領域で関心領域抽出手段１０がトリミングを行ってトリミングビットマップデータＢＤｔを生成させる。トリミング領域は、関心領域と同一にしてもよいが、関心領域を数セル程度の幅で拡げた領域とするのが通常である。こうしたトリミング領域の決定には、ユーザによる指定で行うマニュアル方式とコンピュータプログラムによる自動方式が可能である。

以上のような関心領域抽出方法によれば、２次元の画像データに対して最適な条件での関心領域の抽出を安定的に行うことが可能となる。特にトリミング領域の決定を自動で行う場合には、関心領域の抽出の全体を自動化することができ、最適な条件での安定的な関心領域の抽出をより迅速に行えるようになる。

図６に第２の実施形態による関心領域抽出方法における処理の流れを示す。本実施形態は、第１の実施形態の場合と同様に、関心領域抽出処理を行う画像データが２次元のビットマップデータの場合である。本実施形態の関心領域抽出方法は、第１の実施形態の場合と同様な画像データの入力処理（ステップ１００１）、しきい値設定処理（ステップ１００２）、交差探索プローブ設定処理（ステップ１００３）、ｘ軸方向交差検出処理（ステップ１００４）、ｘ軸方向境界端検出処理（ステップ１００５）、ｙ軸方向交差検出処理（ステップ１００６）、ｙ軸方向境界端検出処理（ステップ１００７）、関心領域決定処理（ステップ１００８）、およびトリミング処理（ステップ１００９）を含むのに加えて、しきい値設定処理（ステップ１００２）と交差探索プローブ設定処理（ステップ１００３）の間に外縁部指定処理（ステップ１００２´）を含んでいる。本実施形態における各処理は外縁部指定処理を除いて第１の実施形態におけるそれらと同様なので、それらについての説明は省略し、以下では外縁部指定処理について説明する。

外縁部指定処理（ステップ１００２´）では、図７にイメージ化して示すように、ビットマップデータＢＤ上の対象物像Ｉに対し外縁部点１４を指定する。外縁部点１４には、ｘ軸方向についての左右の外縁部点１４ｘＬ、１４ｘＲの他に、図９に示すようにＹ軸方向についての上下の外縁部点１４ｘＵ、１４ｘＤがあるが、図７ではｘ軸方向についての外縁部点１４ｘＬと１４ｘＲだけを示してある。こうした外縁部点１４の指定は、表示装置に表示させたビットマップデータＢＤ上の対象物像Ｉに対してユーザがマウスなどの入力装置を用いて任意に行う。通常は、ｘ軸方向、Ｙ軸方向それぞれにおける対象物像Ｉの最外縁部より若干内側に寄った位置を外縁部点１４として指定する。その指定に際しては、外縁部点１４の座標値を入力するようにしてもよい。

以上のようにして指定した外縁部点１４は、交差探索プローブ１２の設定位置に用いられる。すなわち交差探索プローブ１２は外縁部点１４を設定位置として設定される。この場合、ｘ軸方向についてであれば左右の外縁部点１４ｘＬ、１４ｘＲがあることから、ｘ軸方向用の交差探索プローブ１２ｘを左側交差探索プローブ１２ｘＬと右側交差探索プローブ１２ｘＲとして設定する。

このように予め指定した外縁部点１４を設定位置として交差探索プローブ１２を設定することにより、ｘ軸方向、ｙ軸方向それぞれの交差検出処理の際の交差探索プローブ１２の走査範囲を狭めることができ、処理の高速化を図れる。なお本実施形態の場合の境界端検出処理（ステップ１００５、ステップ１００７）では、外縁部点１４を設定位置として交差探索プローブ１２が最初から対象物像Ｉにかかる状態で設定されることになることを前提としたアルゴリズムで境界端の検出を行うことになり、例えば二分木法などの探索アルゴリズムを利用することができる。

図８に第３の実施形態による関心領域抽出方法における処理の流れを示す。本実施形態は、関心領域抽出処理を行う画像データが２次元のビットマップデータの場合で、そのビットマップデータに複数の対象物像が含まれている場合である。本実施形態の関心領域抽出方法は、画像データの入力処理（ステップ１００１）、しきい値設定処理（ステップ１００２）、外縁部指定処理（ステップ１００２´）、交差探索プローブ設定処理（ステップ１００３）、ｘ軸方向交差検出処理（ステップ１００４）、ｘ軸方向境界端検出処理（ステップ１００５）、ｙ軸方向交差検出処理（ステップ１００６）、ｙ軸方向境界端検出処理（ステップ１００７）、関心領域決定処理（ステップ１００８）、およびトリミング処理（ステップ１００９）を含むのに加えて、トリミング処理（ステップ１００９）に続く判定処理（ステップ１０１０）を含んでいる。本実施形態における各処理は判定処理を除いて基本的には第１の実施形態あるいは第２の実施形態におけるそれらと同様である。

図９に本実施形態における処理をイメージ化して示す。図９のビットマップデータＢＤには２つの対象物像Ｉ−１、Ｉ−２が含まれているが、これは複数の対象物像Ｉ−１、Ｉ−２、…Ｉ−ｉ、…Ｉ−ｎが含まれている場合として一般化でき、これら複数の対象物像Ｉを個々にトリミングで切り出す。したがって外縁部指定処理〜トリミング処理までの各処理を対象物像Ｉごとに行い、判定処理（ステップ１０１０）で未処理の対象物像Ｉの有無を判定し、未処理ありの場合はｘ軸方向交差検出処理に戻って以降の処理を繰り返し、未処理なしとなった場合に処理を終了する。以下ではこうした本実施形態に特有な処理に重点をおいて説明する。

外縁部指定処理（ステップ１００２´）では、第２の実施形態について説明したのと同様な処理を複数の対象物像Ｉ（Ｉ−１、Ｉ−２、…Ｉ−ｉ、…Ｉ−ｎ）のそれぞれについて行う。この場合の各対象物像Ｉに指定された外縁部点１４（１４ｘＬ、１４ｘＲ、１４ｘＵ、１４ｘＤ）は、対象物像Ｉごとに設定される交差探索プローブ１２（１２ｘ、１２ｙ）をその対象物像Ｉに関連付けるのにも機能する。すなわち外縁部点１４はその座標値により各対象物像Ｉに関連付けられ、したがって外縁部点１４を設定位置として各対象物像Ｉに設定される交差探索プローブ１２も外縁部点１４により各対象物像Ｉに関連付けられ、この関連付けにより対象物像Ｉと交差探索プローブ１２の対応関係を識別することができる。

交差探索プローブ設定処理（ステップ１００３）では、第２の実施形態に関して説明したのと同様にして設定したｘ軸方向用とｙ軸方向用それぞれの交差探索プローブについて交点１５を求め、この交点１５により交差探索プローブ１２の長さを制限する。これは例えば対象物像Ｉ−１に設定される交差探索プローブ１２が対象物像Ｉ−２と交差する状態となるようなことがないようにするためである。つまり対象物像Ｉごとに設定する交差探索プローブ１２がその対象物像Ｉについてだけ交差検出を行えるようにするためである。

ｘ軸方向交差検出処理（ステップ１００４）では、任意の対象物像Ｉ−ｉについてｘ軸方向交差検出を行う。ただし、上記のように交点１５により長さが限定された交差探索プローブ１２を用いる関係から、下記の式（２）により交差の有無を判定して交差検出を行う。

ここで、ysとyeは、交点１５で長さが限定されているｘ軸方向交差探索プローブ１２の長さ方向（ｙ軸方向）の始点と終点である。またＴはしきい値で、（ye−ys＋１）・Ｔが基準総和値である。

こうした交差検出処理は、ｙ軸方向交差検出処理（ステップ１００６）でも同様になされる。

判定処理（ステップ１０１０）では、上述のように、未処理の対象物像Ｉの有無を判定し、未処理ありの場合はｘ軸方向交差検出処理（ステップ１００４）に戻って以降の処理を繰り返し、未処理なしとなった場合には処理を終了する。処理が終了すると、図９に示すように、１つのビットマップデータＢＤから複数のトリミングビットマップデータＢＤｔが生成される。

以上のような関心領域抽出方法によれば、複数の対象物像を含む画像データに対して最適な条件での安定した関心領域の抽出を対象物像ごとに容易に行うことが可能となる。

図１０に第４の実施形態による関心領域抽出方法における処理の流れを示す。本実施形態は、関心領域抽出処理を行う画像データが３次元の画像データであるボクセルデータの場合である。本実施形態の関心領域抽出方法は、画像データの入力処理（ステップ２００１）、しきい値設定処理（ステップ２００２）、交差探索プローブ設定処理（ステップ２００３）、ｘ軸方向交差検出処理（ステップ２００４）、ｘ軸方向境界端検出処理（ステップ２００５）、ｙ軸方向交差検出処理（ステップ２００６）、ｙ軸方向境界端検出処理（ステップ２００７）、ｚ軸方向交差検出処理（ステップ２００８）、ｚ軸方向境界端検出処理（ステップ２００９）、関心領域決定処理（ステップ２０１０）、およびトリミング処理（ステップ２０１１）を含んでいる。

ボクセルデータに対する関心領域抽出処理は、上述したビットマップデータつまり２次元の画像データに対する関心領域抽出処理を３次元に拡張したものであり、画像データの入力処理（ステップ２００１）〜トリミング処理（ステップ２０１１）の各処理におけるアルゴリズムは、基本的には第１の実施形態におけるそれらと同様である。２次元画像データに対する関心領域抽出処理の３次元画像データへの拡張において特徴的なこととしては、交差探索プローブを「面」として構成するのが通常であること、それに交差検出処理と境界端検出処理にｚ軸方向が加わることが主である。以下ではこれらの特徴的な処理に重点をおいて説明する。

図１１に、ステップ２００５でなされるｘ軸方向境界端検出処理のイメージを示す。図１１のボクセルデータＶＤには、そこにおけるボクセルの配列方向をもとに３次元の座標系が設定される。その座標系は、横軸をx軸、縦軸をz軸、そして紙面の手前から奥行き方向をy軸とする。

図１１における交差探索プローブ２２（２２ｘ）は、交差探索プローブ設定処理（ステップ２００３）で交差探索プローブ設定手段７により設定される。その処理は、基本的には第１の実施形態における交差探索プローブ設定処理（ステップ１００３）と同様である。ただ、交差探索プローブ２２は、所定の幅（ｙ軸方向での広がり）と長さ（ｚ軸方向での広がり）および方向（座標系のｘ、ｙ、ｚの各軸に関係する方向）を有するのに加えて所定の厚み（ｘ軸方向での広がり）を有した「面」として設定されるのが通常である。

ｘ軸方向交差検出処理（ステップ２００４）では、交差検出手段８がｘ軸用の交差探索プローブ２２ｘをボクセルデータＶＤ上でｘ軸方向に走査させて対象物像Ｉ´に対するｘ軸方向交差検出を行う。その処理は、基本的には第１の実施形態におけるｘ軸方向交差検出処理（ステップ１００４）と同様である。ただし、交差探索プローブ２２ｘが上述のような「面」であることから、下記の式（３）により交差の有無を判定して交差検出を行う。

ここで、交差探索プローブ２２ｘは、厚みが１ボクセル、幅がボクセルデータＶＤのｙ軸方向サイズと同じ、そして長さがボクセルデータＶＤのｚ軸方向サイズと同じとする。またボクセルデータＶＤにおけるy軸方向のボクセル数をymax、ｚ軸方向のボクセル数をｚmax、しきい値をＴ、基準総和値をymax・ｚmax・Ｔとする。

ｘ軸方向境界端検出処理（ステップ２００５）では、境界端検出手段９がｘ軸方向交差検出処理の結果に基づいて対象物像Ｉ´と背景のｘ軸方向についての左右両境界端を検出する。その処理は、基本的には第１の実施形態におけるｘ軸方向境界端検出処理（ステップ１００５）と同様である。図１１には、ｘ軸方向境界端検出処理で左側境界端２３Ｌと右側境界端２３Ｒが検出された状態が示されている。

ｙ軸方向交差検出処理（ステップ２００６）、ｙ軸方向境界端検出処理（ステップ２００７）、ｚ軸方向交差検出処理（ステップ２００８）、ｚ軸方向境界端検出処理（ステップ２００９）では、それぞれの軸方向についてｘ軸方向の場合と同様な処理がなされる。

関心領域決定処理（ステップ２０１０）では、関心領域抽出手段１０がｘ、ｙ、ｚの各軸方向境界端検出処理の結果に基づいて関心領域を決定する。その処理を図１２にイメージ化して示す。ｘ、ｙ、ｚの各軸方向境界端検出処理で検出された左側境界端２３Ｌ、右側境界端２３Ｒ、上側境界端２３Ｕ、下側境界端２３Ｄ、それに図示を省略してある前側境界端、奥側境界端それぞれを通り、交差探索プローブ２２に平行な面（図中では交差探索プローブ２２ｘに平行な面を交差探索プローブ２２ｘで示し、交差探索プローブ２２ｚに平行な面を交差探索プローブ２２ｚで示してあり、ｙ軸方向用の交差探索プローブに平行な面については図示を省略してある）で囲まれた領域を関心領域とする。

トリミング処理（ステップ２０１１）では、関心領域決定処理で決定された関心領域に基づいて関心領域抽出手段１０によりトリミング領域を決定し、そのトリミング領域で関心領域抽出手段１０がトリミングを行ってトリミングボクセルデータＶＤｔを生成させる。この場合もビットマップデータに対する場合と同様に、トリミング領域の決定にはマニュアル方式と自動方式が可能である。

以上のような関心領域抽出方法によれば、３次元の画像データに対して最適な条件での関心領域の抽出を安定的に行うことが可能となり、トリミング領域の決定を自動で行う場合には、関心領域の抽出の全体を自動化することができ、３次元の画像データに対する最適な条件での安定的な関心領域の抽出をより迅速に行えるようになる。

図１３に第５の実施形態による関心領域抽出方法における処理の流れを示す。本実施形態は、第４の実施形態の場合と同様に、関心領域抽出処理を行う画像データが３次元の画像データであるボクセルデータの場合である。本実施形態の関心領域抽出方法は、第４の実施形態の場合と同様な画像データの入力処理（ステップ２００１）、しきい値設定処理（ステップ２００２）、交差探索プローブ設定処理（ステップ２００３）、ｘ軸方向交差検出処理（ステップ２００４）、ｘ軸方向境界端検出処理（ステップ２００５）、ｙ軸方向交差検出処理（ステップ２００６）、ｙ軸方向境界端検出処理（ステップ２００７）、ｚ軸方向交差検出処理（ステップ２００８）、ｚ軸方向境界端検出処理（ステップ２００９）、関心領域決定処理（ステップ２０１０）、およびトリミング処理（ステップ２０１１）を含むのに加えて、しきい値設定処理（ステップ２００２）と交差探索プローブ設定処理（ステップ２００３）の間に外縁部指定処理（ステップ２００２´）を含んでいる。

外縁部指定処理（ステップ２００２´）でなされる処理は、第２の実施形態における外縁部指定処理（ステップ１００２´）における処理と基本的には同様である。すなわち図１４にイメージ化して示すように、ボクセルデータＶＤ上の対象物像Ｉ´に対し外縁部点２４（２４ｘＬ、２４ｘＲ）を指定し、交差探索プローブ２２（２２ｘＬ、２２ｘＲ）の設定位置に用いる。なお外縁部点２４には、ｘ、ｙ、ｚの各軸方向について指定されるものであるが、図１４ではｘ軸方向の外縁部点２４ｘＬ、２４ｘＲだけを示してある。

以上のような関心領域抽出方法によれば、第２の実施形態における関心領域抽出方法と同様に、交差検出処理の際の交差探索プローブ１２の走査範囲を狭めることができ、処理の高速化を図れる。

図１５に第６の実施形態による関心領域抽出方法における処理の流れを示す。本実施形態は、関心領域抽出処理を行う画像データがボクセルデータの場合で、そのボクセルデータに複数の対象物像が含まれている場合である。本実施形態の関心領域抽出方法は、画像データの入力処理（ステップ２００１）、しきい値設定処理（ステップ２００２）、外縁部指定処理（ステップ２００２´）、交差探索プローブ設定処理（ステップ２００３）、ｘ軸方向交差検出処理（ステップ２００４）、ｘ軸方向境界端検出処理（ステップ２００５）、ｙ軸方向交差検出処理（ステップ２００６）、ｙ軸方向境界端検出処理（ステップ２００７）、ｚ軸方向交差検出処理（ステップ２００８）、ｚ軸方向境界端検出処理（ステップ２００９）、関心領域決定処理（ステップ２０１０）、およびトリミング処理（ステップ２０１１）を含むのに加えて、トリミング処理（ステップ２０１１）に続く判定処理（ステップ２０１２）を含んでいる。本実施形態における各処理は判定処理を除いて基本的には第４の実施形態あるいは第５の実施形態におけるそれらと同様である。

図１６に本実施形態における処理をイメージ化して示す。図１６のボクセルデータＶＤには２つの対象物像Ｉ´−１、Ｉ´−２が含まれているが、これは複数の対象物像Ｉ´−１、Ｉ´−２、…Ｉ´−ｉ、…Ｉ´−ｎが含まれている場合として一般化でき、これら複数の対象物像Ｉ´を個々にトリミングで切り出す。その処理は、第３の実施形態による関心領域抽出方法を３次元に拡張しものとしてなされる。３次元への拡張において特徴的なことは、下記の式（４）により交差の有無を判定して交差検出を行うことであり、そしてその他の処理については第３の実施形態に関して説明したのと基本的に同様である。

ここで、ysとyeは、交点２５で幅が限定されているｘ軸方向交差探索プローブ２２ｘの幅方向（ｙ軸方向）の始点と終点、ｚsとｚeは、交点２５で長さが限定されているｘ軸方向交差探索プローブ２２ｘの長さ方向（ｚ軸方向）の始点と終点である。またＴはしきい値で、（ye−ys＋１）・（ｚe−ｚs＋１）・Ｔが基準総和値である。

本実施形態における関心領域抽出方法による処理が終了すると、図１６に示すように、１つのボクセルデータＶＤから複数のトリミングボクセルデータＶＤｔが生成される。こうした関心領域抽出方法によれば、複数の対象物像を含む３次元の画像データに対して最適な条件での安定した関心領域の抽出を対象物像ごとに容易に行うことが可能となる。

図１７に第７の実施形態による関心領域抽出方法における処理の流れを示す。本実施形態は、２次元の画像データを積層して３次元の画像データを構成する場合に、積層する２次元画像データのそれぞれで関心領域の抽出を行うようにする場合の例である。２次元画像データを積層して３次元画像データを構成する代表的な例は、Ｘ線ＣＴ装置で撮像した複数の断層像（ビットマップデータ）により３次元のＸ線ＣＴ画像データ（ボクセルデータ）を構成する場合である。図１８に、そうした３次元のＸ線ＣＴ画像データを複数の断層像から構成する例をイメージ化して示す。なお図では５枚の断層像（ビットマップデータＢＤ−１〜ＢＤ−５）を示してあるが、実際には、対象物Ｍ´のサイズにもよるが、数百枚レベルの断層像を積み重ねることも少なくない。

本実施形態は、３次元画像データを構成するために積層される２次元画像データのそれぞれでトリミングつまり関心領域の抽出を行い、それによるトリミング済みの２次元画像データを積層することでトリミング済みの３次元画像データを生成するものである。したがって本実施形態の関心領域抽出方法は、第１の実施形態におけるのと同様な画像データの入力処理（ステップ１００１）、しきい値設定処理（ステップ１００２）、交差探索プローブ設定処理（ステップ１００３）、ｘ軸方向交差検出処理（ステップ１００４）、ｘ軸方向境界端検出処理（ステップ１００５）、ｙ軸方向交差検出処理（ステップ１００６）、ｙ軸方向境界端検出処理（ステップ１００７）、および関心領域決定処理（ステップ１００８）を含むのに加えて、判定処理（ステップ３００１）、関心領域比較処理（ステップ３００２）、トリミング処理（ステップ３００３）、および積層処理（ステップ３００４）を含んでいる。画像データの入力処理（ステップ１００１）〜関心領域決定処理（ステップ１００８）は、第１の実施形態について説明したのと同様である。したがって以下では判定処理（ステップ３００１）〜積層処理（ステップ３００４）に重点をおいて説明する。

画像データの入力処理（ステップ１００１）で入力したビットマップデータＢＤ−１〜ＢＤ−５のそれぞれにしきい値設定処理（ステップ１００２）と交差探索プローブ設定処理（ステップ１００３）を施したら、いずれか１つのビットマップデータＢＤに対してｘ軸方向交差検出処理（ステップ１００４）〜関心領域決定処理（ステップ１００８）を施して判定処理（ステップ３００１）に進む。判定処理（ステップ３００１）では、未処理のビットマップデータつまり関心領域の決定がなされていないビットマップデータの有無を判定し、未処理ありの場合にはステップ１００１に戻ってステップ１００８までの処理を繰り返し、未処理なしの場合は関心領域比較処理（ステップ３００２）に進む。

関心領域比較処理（ステップ３００２）では、ビットマップデータＢＤ−１〜ＢＤ−５それぞれについて関心領域決定処理で決定された関心領域を比較し、ビットマップデータＢＤ−１〜ＢＤ−５それぞれにおける関心領域の全てをカバーする関心領域を抽出する。図１９に関心領域比較処理をイメージ化して示す。ビットマップデータＢＤ−１〜ＢＤ−５については、関心領域決定処理でそれぞれ関心領域が決定されており、それらの関心領域は、ビットマップデータＢＤ−１〜ＢＤ−５それぞれにおける対象物像の状態に応じて大きさやカバーする範囲が異なっている。図の例ではビットマップデータＢＤ−３の関心領域が最も大きくかつビットマップデータＢＤ−１〜ＢＤ−５それぞれにおける関心領域の全てをカバーするようになっており、これが関心領域比較処理で抽出される。

トリミング処理（ステップ３００３）では、関心領域比較処理で抽出された関心領域に基づいてビットマップデータＢＤ−１〜ＢＤ−５のそれぞれにおけるトリミング領域を決定し、そのトリミング領域でトリミングを行ってビットマップデータＢＤ−１〜ＢＤ−５それぞれのトリミングビットマップデータ（関心領域抽出済みビットマップデータ）ＢＤｔ−１〜ＢＤｔ−５を生成する。そして積層処理（ステップ３００４）でトリミングビットマップデータＢＤｔ−１〜ＢＤｔ−５を積層してトリミングボクセルデータ（関心領域抽出実行済みのボクセルデータ）を生成する。

以上のような関心領域抽出方法によれば、２次元の画像データを積層して構成される３次元画像データに対する最適な条件での関心領域の抽出をより安定的に行うことが可能となる。

以上の各実施形態では交差探索プローブを座標系の軸に対して垂直に設定するものとしていたが、これに限られず、座標系の軸に対して任意の角度で交差探索プローブを設定する形態とすることも可能である。また以上では画像データがビットマップデータやボクセルデータである場合について説明したが、本発明はこれらの画像データ形式に限られるものでない。

本発明は、画像データのトリミングを最適な条件で安定的に行うことを可能とするものであり、画像データを扱う分野において広く利用することができる。

関心領域抽出システムの構成の一例を示す図である。 第１の実施形態による関心領域抽出方法の処理の流れを示す図である。 ビットマップデータに交差探索プローブを設定する例を示す図である。 ｘ軸方向境界端検出処理をイメージ化して示す図である。 関心領域決定処理をイメージ化して示す図である。 第２の実施形態による関心領域抽出方法の処理の流れを示す図である。 外縁部指定処理と交差探索プローブ設定処理をイメージ化して示す図である。 第３の実施形態による関心領域抽出方法の処理の流れを示す図である。 複数対象物像を含むビットマップデータから対象物像ごとに関心領域の抽出を行う処理イメージ化して示す図である。 第４の実施形態による関心領域抽出方法の処理の流れを示す図である。 ボクセルデータにおけるｘ軸方向境界端検出処理をイメージ化して示す図である。 ボクセルデータに対する関心領域決定処理をイメージ化して示す図である。 第５の実施形態による関心領域抽出方法の処理の流れを示す図である。 ボクセルデータに対する外縁部指定処理と交差探索プローブ設定処理をイメージ化して示す図である。 第６の実施形態による関心領域抽出方法の処理の流れを示す図である。 複数対象物像を含むボクセルデータから対象物像ごとに関心領域の抽出を行う処理イメージ化して示す図である。 第７の実施形態による関心領域抽出方法の処理の流れを示す図である。 ３次元のＸ線ＣＴ画像データを複数の断層像から構成する例をイメージ化して示す図である。 関心領域比較処理をイメージ化して示す図である。 ビットマップデータを模式化して示す図である。 ボクセルデータを模式化して示す図である。

符号の説明

１ コンピュータプログラム
２ プログラム記憶装置
３ 演算装置
４ 画像データ記憶装置
５ 表示装置
６ しきい値設定手段
７ 交差探索プローブ設定手段
８ 交差検出手段
９ 境界端検出手段
１０ 関心領域抽出手段１０
１２ 交差探索プローブ
１４ 外縁部点
２２ 交差探索プローブ
２４ 外縁部点
ＢＤ ビットマップデータ（画像データ）
Ｉ 対象物像
Ｉ´ 対象物像
ＶＤ ボクセルデータ（画像データ）

Claims (8)

1. 対象物について取得された画像データから前記対象物の像を包含する領域を関心領域として抽出する関心領域抽出方法において、
   前記画像データ上で前記対象物像と背景の境界を前記対象物像と前記背景の交差位置として探索する交差探索プローブを前記画像データ上の所定位置に設定する過程、前記交差探索プローブを前記画像データ上で所定の方向に走査させて前記境界を前記交差位置として探索する過程、および前記交差位置探索の結果に基づいて前記関心領域を決定する過程を含むことを特徴とする関心領域抽出方法。
2. 前記交差探索プローブによる前記境界の探索に用いるしきい値を設定する過程をさらに含む請求項１に記載の関心領域抽出方法。
3. 前記対象物像の外縁部の任意の位置に外縁部点を指定する過程をさらに含み、前記交差探索プローブを前記外縁部点に設定するようにした請求項１または請求項２に記載の関心領域抽出方法。
4. 前記対象物像が複数ある場合に、その対象物像ごとに前記関心領域の決定をなすようにした請求項１〜請求項３のいずれか１項に記載の関心領域抽出方法。
5. 前記画像データが２次元画像データである場合は、前記交差探索プローブを線として構成し、前記画像データが３次元画像データである場合は、前記交差探索プローブを面として構成するようにした請求項１〜請求項４のいずれか１項に記載の関心領域抽出方法。
6. 前記画像データが複数の２次元画像データを積層して構成される３次元画像データである場合に、前記複数の２次元画像データのそれぞれについて前記関心領域の抽出を行って関心領域抽出済み２次元画像データを生成する過程、および前記関心領域抽出済み２次元画像データを積層して関心領域抽出済み３次元画像データを構成する過程を含む請求項１〜請求項５のいずれか１項に記載の関心領域抽出方法。
7. 請求項１〜請求項６のいずれか１項に記載の関心領域抽出方法を実行するための手順を記述したコンピュータプログラム。
8. 対象物について取得された画像データから前記対象物の像を包含する領域を関心領域として抽出する関心領域抽出システムにおいて、
   前記画像データ上で前記対象物像と背景の境界を前記対象物像と前記背景の交差位置として探索する交差探索プローブを前記画像データ上の所定位置に設定する交差探索プローブ設定手段、前記交差探索プローブを前記画像データ上で所定の方向に走査させて前記境界を前記交差位置として探索する交差検出手段、および前記交差位置探索の結果に基づいて前記関心領域を決定して抽出する関心領域抽出手段過程を備えていることを特徴とする関心領域抽出システム。
   

Images