JP2010154323A - 画像処理装置、画像抽出方法、および、プログラム - Google Patents

Abstract

【課題】効果的な被写体抽出をより効率的におこなう。
【解決手段】画像分割部２１３は、第１撮像部１００Ａと第２撮像部１００Ｂが撮像した２つの撮像画像の一方を、色情報や輝度情報などに基づいて複数の領域に分割する。距離算出部２１４は、分割された領域をテンプレートとし、他方の撮像画像上で走査する。距離算出部２１４は、視差を用いた三角測量の原理により、探索された領域についての撮影距離を算出する。被写体位置が指定されている場合には、当該位置の領域をテンプレートとし、指定されていない場合はすべての領域をテンプレートとし、撮影距離に基づいて候補領域を抽出する。被写体抽出部２１５は、候補領域と候補領域に隣接する非候補領域との間で色間距離を算出し、色間距離が近い場合には、候補から除外する。色間距離による修正後の候補領域を被写体画像として抽出する。
【選択図】図３

Description

本発明は、画像処理装置、画像抽出方法、および、プログラムに関し、特に、撮像画像からの被写体領域抽出に好適な画像処理装置、画像抽出方法、および、プログラムに関する。

デジタルカメラの普及により、撮影した画像に対する様々な画像処理を容易におこなうことができる。例えば、同じアングルから複数の撮影をおこなうことで、被写体部分を抽出して合成する手法などが確立している（例えば、特許文献１）。

特開２００３−３３８９７７号公報

特許文献１などの従来技術では、被写体領域を抽出する際、主に色情報に基づいた抽出が一般的である。例えば、赤い被写体を背景から分離させる場合には、画像中の各画素の色がある範囲の赤い色に入るか判定し、その結果に基づいて抽出する画素であるか識別する。

このような色情報を用いた画像抽出では、単調な背景の中に異なる色の被写体がある場合などには好適であるが、背景と被写体とで同じような色を含んでいる場合には、適切な画像抽出をおこなうことができない。

その他の方法として、画像のエッジ情報、すなわち、画像中の画素の値（例えば、色や明度）が変化する部分の情報を用いる方法がある。この方法では、通常、画像中で隣接する画素間の色や画像濃度の差が大きいところをエッジとして求め、エッジを繋ぐことで輪郭を求める。

しかしながら、この方法では、エッジを探索して次々に繋ぐ処理をコンピュータによる自動処理でおこなうため、例えば、エッジの候補が多数現れたり、途切れたりする場合には、エッジがうまく繋がらないことがある。

本発明は、上記実状に鑑みてなされたものであり、効果的な画像抽出をより効率的におこなうことのできる画像処理装置、画像抽出方法、および、プログラムを提供することを目的とする。

上記目的を達成するため、本発明の第１の観点にかかる画像処理装置は、
同一の被写体について撮像時の光軸位置が異なる２つの撮像画像を取得する画像取得手段と、
前記画像取得手段が取得した撮像画像の一方を複数の領域に分割する分割手段と、
前記分割された領域をテンプレートとした前記撮像画像の他方に対するテンプレートマッチングにより、前記分割された領域単位で撮影距離を算出する撮影距離算出手段と、
前記撮影距離算出手段が算出した撮影距離に基づいて、前記撮像画像から被写体領域を抽出する抽出手段と、
を備えることを特徴とする。

上記画像処理装置において、
前記分割手段は、前記撮像画像における画素値に基づいて前記複数の領域に分割することが望ましい。

上記画像処理装置において、
前記抽出手段は、前記撮影距離が最も短い領域と、前記撮影距離に基づいて該領域と連続する領域と、を前記被写体領域として抽出することができる。

上記画像処理装置において、
前記抽出手段は、前記撮像画像の中央にある領域と、前記撮影距離に基づいて該領域と連続する領域と、を前記被写体領域として抽出することができる。

上記画像処理装置において、
前記抽出手段は、前記撮像画像上で指定された位置にある領域と、前記撮影距離に基づいて該領域と連続する領域と、を前記被写体領域として抽出することができる。

上記画像処理装置は、
前記撮像画像上で人物の顔を認識する顔認識手段をさらに備えていてもよく、この場合、
前記抽出手段は、前記顔認識手段が認識した顔部分の領域と、前記撮影距離に基づいた該領域に連結する領域と、を前記被写体領域として抽出することができる。

上記画像処理装置において、
前記抽出手段は、
被写体領域として抽出した領域を候補領域とし、該候補領域に隣接する非候補領域との色間距離を算出する色間距離算出手段と、
前記色間距離算出手段が算出した色間距離に基づいて、前記候補領域を候補から除外する除外手段と、をさらに備えていることが望ましい。

上記画像処理装置において、
前記画像取得手段は、前記２つの撮像画像を取得する平行ステレオカメラを備えていることが望ましい。

上記目的を達成するため、本発明の第２の観点にかかる画像抽出方法は、
同一の被写体について撮像時の光軸位置が異なる２つの撮像画像から被写体領域を抽出する画像抽出方法であって、
前記２つの撮像画像を取得する画像取得ステップと、
前記画像取得ステップで取得した撮像画像の一方を複数の領域に分割する分割ステップと、
前記分割された領域をテンプレートとした前記撮像画像の他方に対するテンプレートマッチングにより、前記分割された領域単位で撮影距離を算出する撮影距離算出ステップと、
前記撮影距離算出ステップで算出された撮影距離に基づいて、前記撮像画像から被写体領域を抽出する抽出ステップと、
を含むことを特徴とする。

上記目的を達成するため、本発明の第３の観点にかかるプログラムは、
コンピュータに、
同一の被写体について撮像時の光軸位置が異なる２つの撮像画像を取得する機能と、
前記取得した撮像画像の一方を複数の領域に分割する機能と、
前記分割された領域をテンプレートとした前記撮像画像の他方に対するテンプレートマッチングにより、前記分割された領域単位で撮影距離を算出する機能と、
前記算出した撮影距離に基づいて、前記撮像画像から被写体領域を抽出する機能と、
を実現させることを特徴とする。

本発明によれば、より効率的に被写体領域を抽出することができる。

本発明にかかる実施形態を、図面を参照して以下に説明する。本実施形態では、本発明をデジタルスチルカメラ（以下、デジタルカメラ）によって実現した場合を例示する。本実施形態にかかるデジタルカメラ１は、一般的なデジタルスチルカメラが有する機能を備えているものとするが、撮像にかかる構成を２つ備えた、いわゆる複眼カメラとする。

図１は、本発明の実施形態にかかるデジタルカメラ１の構成を示すブロック図である。本実施形態にかかるデジタルカメラ１の概略的構成は、図示するように、第１撮像部１００Ａ、第２撮像部１００Ｂ、データ処理部２００、インタフェース（Ｉ／Ｆ）部３００、などである。

第１撮像部１００Ａおよび第２撮像部１００Ｂは、デジタルカメラ１の撮像動作をおこなう部分である。上述したように、本実施形態にかかるデジタルカメラ１は複眼カメラであるため、第１撮像部１００Ａと第２撮像部１００Ｂとを有する構成であるが、第１撮像部１００Ａと第２撮像部１００Ｂは同一の構成である。以下、第１撮像部１００Ａについての構成には参照符号の末尾に「Ａ」を付し、第２撮像部１００Ｂについての構成には参照符号の末尾に「Ｂ」を付す。

図１に示すように、第１撮像部１００Ａ（第２撮像部１００Ｂ）は、光学装置１１０Ａ（１１０Ｂ）やイメージセンサ部１２０Ａ（１２０Ｂ）などから構成されている。

光学装置１１０Ａ（１１０Ｂ）は、例えば、レンズ、絞り機構、シャッタ機構、などを含み、撮像にかかる光学的動作をおこなう。すなわち、光学装置１１０Ａ（１１０Ｂ）の動作により、入射光が集光されるとともに、焦点距離、絞り、シャッタスピードなどといった、画角やピント、露出などにかかる光学的要素の調整がなされる。なお、光学装置１１０Ａ（１１０Ｂ）に含まれるシャッタ機構はいわゆるメカニカルシャッタであり、イメージセンサの動作のみでシャッタ動作をおこなう場合には、光学装置１１０Ａ（１１０Ｂ）にシャッタ機構が含まれていなくてもよい。また、光学装置１１０Ａ（１１０Ｂ）は、後述する制御部２１０による制御によって動作する。

イメージセンサ部１２０Ａ（１２０Ｂ）は、光学装置１１０Ａ（１１０Ｂ）によって集光された入射光に応じた電気信号を生成する、例えば、ＣＣＤ（Charge Coupled Device：電荷結合素子）やＣＭＯＳ（Complementally Metal Oxide Semiconductor：相補型金属酸化物半導体）などのイメージセンサから構成される。イメージセンサ部１２０Ａ（１２０Ｂ）は、光電変換をおこなうことで、受光に応じた電気信号を発生してデータ処理部２００に出力する。

上述したように、第１撮像部１００Ａと第２撮像部１００Ｂは同一の構成である。より詳細には、レンズの焦点距離ｆやＦ値、絞り機構の絞り範囲、イメージセンサのサイズや画素数、配列、画素面積などの各仕様がすべて同一である。

このような第１撮像部１００Ａと第２撮像部１００Ｂを有するデジタルカメラ１は、図２（ａ）に示すように、光学装置１１０Ａに構成されたレンズと光学装置１１０Ｂに構成されたレンズとが、デジタルカメラ１の外面における同一面上に形成された構成とする。ここでは、シャッタボタンが上になる方向でデジタルカメラ１を水平にした場合に、中心位置が水平方向で同一線上となるよう２つのレンズ（受光部）が配置されるものとする。つまり、第１撮像部１００Ａと第２撮像部１００Ｂとを同時に動作させた場合、同一被写体についての画像が撮像されることになるが、各画像における光軸位置が横方向にずれている画像となる。

この場合、図２（ｂ）の透視射影モデルに示すような光学的特性となるよう第１撮像部１００Ａと第２撮像部１００Ｂが配置される。図２（ｂ）に示す透視射影モデルは、Ｘ、Ｙ、Ｚからなる３次元直交座標系に基づくものであり、第１撮像部１００Ａについてのこの座標系を以下「カメラ座標」と呼ぶ。図２（ｂ）では、第１撮像部１００Ａの光学中心を原点としたカメラ座標を示している。

カメラ座標においては、Ｚ軸をカメラの光学方向に一致する方向とし、Ｘ軸とＹ軸はそれぞれ画像の横方向と縦方向に平行する。ここで、光軸と画像座標面の交点を原点（すなわち、光学中心）とし、イメージセンサの画素間隔を換算してカメラ座標と長さの単位を合わせた場合、第１撮像部１００Ａについての画像座標面で被写体Ａ１を示す画像座標を（u1, v1）とし、第２撮像部１００Ｂについての画像座標面では（u'1, v'1）とする。

第１撮像部１００Ａと第２撮像部１００Ｂは、それぞれの光軸が平行（すなわち、輻輳角が０）になり、かつ、第１撮像部１００Ａについての画像座標ｕ軸と第２撮像部１００Ｂについての画像座標ｕ'軸が同一線上で同じ方向となるよう配置される（すなわち、エピポーラ線が一致）。また、上述したように、第１撮像部１００Ａおよび第２撮像部１００Ｂの焦点距離ｆや画素間隔は同じであり、光軸と画像座標面とが垂直に交わっている。このような構成を「平行ステレオ」と呼び、デジタルカメラ１の第１撮像部１００Ａと第２撮像部１００Ｂは平行ステレオの構成となっている。

図１に戻り、デジタルカメラ１の構成の説明を続ける。

データ処理部２００は、第１撮像部１００Ａおよび第２撮像部１００Ｂによる撮像動作によって生成された電気信号を処理し、撮像画像を示すデジタルデータを生成するとともに、撮像画像に対する画像処理などをおこなう。図１に示すように、データ処理部２００は、制御部２１０、画像処理部２２０、画像メモリ２３０、画像出力部２４０、記憶部２５０、外部記憶部２６０、などから構成される。

制御部２１０は、例えば、ＣＰＵ（Central Processing Unit：中央演算処理装置）などのプロセッサや、ＲＡＭ（Random Access Memory）などの主記憶装置（メモリ）、などから構成され、後述する記憶部２５０などに格納されているプログラムを実行することで、デジタルカメラ１の各部を制御する。また、本実施形態では、所定のプログラムを実行することで、後述する各処理にかかる機能が制御部２１０によって実現される。

画像処理部２２０は、例えば、ＡＤＣ（Analog-Digital Converter：アナログ−デジタル変換器）、バッファメモリ、画像処理用のプロセッサ（いわゆる、画像処理エンジン）などから構成され、イメージセンサ部１２０Ａおよび１２０Ｂによって生成された電気信号に基づいて、撮像画像を示すデジタルデータを生成する。

すなわち、イメージセンサ部１２０Ａ（１２０Ｂ）から出力されたアナログ電気信号をＡＤＣがデジタル信号に変換して順次バッファメモリに格納すると、バッファされたデジタルデータに対し、画像処理エンジンがいわゆる現像処理などをおこなうことで、画質の調整やデータ圧縮などをおこなう。

画像メモリ２３０は、例えば、ＲＡＭやフラッシュメモリなどの記憶装置から構成され、画像処理部２２０によって生成された撮像画像データや、制御部２１０によって処理される画像データなどを一時的に格納する。

画像出力部２４０は、例えば、ＲＧＢ信号の生成回路などから構成され、画像メモリ２３０に展開された画像データをＲＧＢ信号などに変換して表示画面（後述する表示部３１０など）に出力する。

記憶部２５０は、例えば、ＲＯＭ（Read Only Memory）やフラッシュメモリなどの記憶装置から構成され、デジタルカメラ１の動作に必要なプログラムやデータなどを格納する。本実施形態では、制御部２１０などが実行する動作プログラムや処理に必要となるパラメータや演算式などが記憶部２５０に格納されているものとする。

外部記憶部２６０は、例えば、メモリカードなどといった、デジタルカメラ１に着脱可能な記憶装置から構成され、デジタルカメラ１で撮像した画像データなどを格納する。

インタフェース部３００は、デジタルカメラ１とその使用者あるいは外部装置とのインタフェースにかかる構成であり、図１に示すように、表示部３１０、外部インタフェース（Ｉ／Ｆ）部３２０、操作部３３０、などから構成される。

表示部３１０は、例えば、液晶表示装置などから構成され、デジタルカメラ１を操作するために必要な種々の画面や、撮影時のライブビュー画像、撮像画像、などを表示出力する。本実施形態では、画像出力部２４０からの画像信号（ＲＧＢ信号）などに基づいて撮像画像等の表示出力がおこなわれる。

外部インタフェース部３２０は、例えば、ＵＳＢ（Universal Serial Bus）コネクタやビデオ出力端子などから構成され、外部のコンピュータ装置への画像データの出力や、外部のモニタ装置への撮像画像の表示出力などをおこなう。

操作部３３０は、デジタルカメラ１の外面上に構成されている各種ボタンなどによって構成され、デジタルカメラ１の使用者による操作に応じた入力信号を生成して制御部２１０に入力する。操作部３３０を構成するボタンとして、例えば、シャッタ動作を指示するためのシャッタボタンや、デジタルカメラ１のもつ動作モードを指定するためのモードボタン、各種設定をおこなうための十字キーや機能ボタン、などが含まれているものとする。

ここで、本実施形態では、記憶部２５０に格納されている動作プログラムを制御部２１０が実行することで、後述する各処理が実現されるが、この場合に制御部２１０によって実現される機能を、図３を参照して説明する。

図３は、制御部２１０によって実現される機能を示した機能ブロック図である。ここでは、複眼カメラによって撮像された画像から被写体画像を抽出する機能を実現するために必要な機能構成を示す。この場合、図示するように、制御部２１０は、動作モード処理部２１１、撮像制御部２１２、画像分割部２１３、距離算出部２１４、被写体抽出部２１５、などとして機能する。

動作モード処理部２１１は、表示部３１０との協働により、デジタルカメラ１が有する各種動作モードをデジタルカメラ１のユーザに指定させるために必要な画面表示や指定された動作モード毎の設定画面表示などをおこなう他、操作部３３０との協働により、ユーザが指定した動作モードを認識し、当該動作モードの実行に必要なプログラムや演算式などを記憶部２５０から読み出し、制御部２１０の主記憶装置（メモリ）にロードする。

本実施形態では、デジタルカメラ１での撮影後に撮像画像から被写体部分を抽出する動作モード（画像抽出モード）がユーザによって指定されるものとし、以下に説明する制御部２１０の各機能構成は、画像抽出モードの指定に応じて動作モード処理部２１１がロードしたプログラムを実行することで実現される機能構成である。

撮像制御部２１２は、第１撮像部１００Ａおよび第２撮像部１００Ｂを制御することでデジタルカメラ１での撮像動作を実行する。本実施形態にかかる被写体画像抽出機能は、平行ステレオ構成となっている第１撮像部１００Ａと第２撮像部１００Ｂから得られた撮像画像から被写体画像を抽出するので、本実施形態にかかる撮像制御部２１２は、第１撮像部１００Ａと第２撮像部１００Ｂで同時に撮像動作をおこなうよう制御する。これにより、同一の被写体について、光軸位置の異なる２つの撮像画像が取得される。

画像分割部２１３は、撮像制御部２１２の制御によって得られた撮像画像上での領域分割をおこなう。ここでは、取得された２つの撮像画像のうちの一方について領域分割をおこなう。本実施形態では、第１撮像部１００Ａによる撮像動作で得られた撮像画像（以下、「対象画像」とする）で領域分割をおこなうものとする。本実施形態にかかる画像分割部２１３は、例えば、色情報や輝度勾配情報などを用いるMeanshift法やWatershed法などによって領域分割をおこなうものとする。

距離算出部２１４は、対象画像上で分割された領域に基づく２つの撮像画像間の照合により、領域毎の撮影距離を算出する処理をおこなう。本実施形態では、対象画像上で分割された領域をテンプレートとして、第２撮像部１００Ｂの撮像動作で得られた撮像画像（以下、「基準画像」とする）に対するテンプレート照合をおこない、照合する分割領域の画像の相違度から撮影距離を算出する。本実施形態にかかる距離算出部２１４は、例えば、差の２乗和を評価式とするＳＳＤ（Sum of Squared Difference）を用いたテンプレート照合をおこなうものとする。

被写体抽出部２１５は、距離算出部２１４によるテンプレート照合で算出された分割領域毎の撮影距離に基づいて、所望する被写体像が示されている領域を抽出する。ここで、撮影距離に基づく判定では、被写体領域の候補を抽出し、抽出した被写体領域候補と背景との境界における色間距離を算出することで、正確な被写体画像の抽出をおこなう。

以上が制御部２１０によって実現される機能である。なお、本実施形態では、制御部２１０がプログラムを実行することによる論理的処理で上述した各機能が実現されるものとするが、これらの機能を、例えば、ＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）などのハードウェアによって構成してもよい。この場合、図３に示した機能のうち、画像処理にかかる機能については、画像処理部２２０によって実現されてもよい。

以上説明したデジタルカメラ１の構成は、本発明を実現するために必要な構成であり、デジタルカメラとしての基本機能や種々の付加機能に用いられる構成は必要に応じて備えられているものとする。

このような構成のデジタルカメラ１による動作を以下に説明する。ここでは、デジタルカメラ１の動作モードのうち、上述した「画像抽出モード」が選択された場合にデジタルカメラ１が実行する「被写体抽出処理」を、図４に示すフローチャートを参照して説明する。この「被写体抽出処理」は、デジタルカメラ１のユーザが操作部３３０を操作することで、画像抽出モードを選択したことを契機に開始される。この場合、動作モード処理部２１１が、被写体抽出動作にかかるプログラムなどを記憶部２５０からロードすることで、図３に示した各機能構成により以下の処理が実行される。

処理が開始されると、撮像制御部２１２は、シャッタボタン（操作部３３０）が操作されたことに応じて、第１撮像部１００Ａおよび第２撮像部１００Ｂを制御し、第１撮像部１００Ａおよび第２撮像部１００Ｂで同時に撮像動作（複眼同時撮像）をおこなわせる（ステップＳ１１：Ｙｅｓ、ステップＳ１２）。

ここで、本実施形態では、図８（ａ）に示すような場面をデジタルカメラ１で撮影する場合を想定する。ここでは、図８（ａ）に示すように、被写体Ａと被写体Ｂをデジタルカメラ１で撮影するが、デジタルカメラ１から各被写体までの距離は、被写体Ａの方が近くなっている。

このような場面で複眼同時撮像をおこなった場合の撮像画像の例を、図８（ｂ）および図８（ｃ）に示す。本実施形態では、被写体に向かって左側となるレンズが第２撮像部１００Ｂに構成され、被写体に向かって右側となるレンズが第１撮像部１００Ａに構成されているものとする。この場合、図８（ｂ）は、第２撮像部１００Ｂによって撮像された画像を示し、図８（ｃ）は、第１撮像部１００Ａによって撮像された画像を示す。

上述したように、各レンズの光軸が水平方向に異なるよう配置されているので、撮像によって得られた２つの画像には、同じ被写体が写っているが、その横方向の位置は異なっている。

このようにして２つの撮像画像が取得されると、動作モード処理部２１１は、表示部３１０に設定画面を表示し、デジタルカメラ１のユーザに、撮像画像からの抽出を所望する被写体位置の指定方法を設定させる（ステップＳ１３）。ここでは、被写体位置を指定する方法として、例えば、「画像中央」、「任意指定」、「顔認識」、「最短距離」、などが選択可能に設定画面に表示され、デジタルカメラ１のユーザは、操作部３３０を操作することで、撮像画像に適した方法を指定する。

ここで、「画像中央」は、抽出を所望する被写体が撮像画像の中央部に写っている場合に選択される方法であり、被写体位置が画像の中央であることが指定される。

「任意指定」は、抽出を所望する被写体の撮像画像上での位置をユーザが任意に指定する方法であり、例えば、カーソルによって撮像画像上の位置を指定する。

「顔認識」は、デジタルカメラ１が顔認識機能を有している場合に選択可能な方法であり、顔認識によって認識された顔部分の位置が被写体位置として指定される方法である。

「最短距離」は、撮像画像に写っている複数の被写体のうち、デジタルカメラ１と最も近い距離にある被写体を、抽出対象として指定する方法である。この方法は、撮影距離に基づいて被写体部分を判定するため、上記の各方法と異なり、被写体位置を指定しない方法である。

これらの方法のいずれかが指定されると、動作モード処理部２１１は、指定された方法がいずれであるかを示す情報を、制御部２１０のメモリに保持する。

被写体位置の指定方法が選択されると、動作モード処理部２１１は、その旨を画像分割部２１３に通知する。画像分割部２１３は、動作モード処理部２１１からの通知に応じて、画像メモリ２３０に展開されている撮像画像のうち、第１撮像部１００Ａによって撮像された画像（対象画像）を、複数の小領域に分割する（ステップＳ１４）。

ここでは、色情報や輝度勾配情報などを用いるMeanshift法やWatershed法などによって領域分割をおこなう。すなわち、色や輝度などの画素値に基づいて、撮像画像が複数の領域に分割される。領域分割された対象画像の例を図９（ａ）に示す。

このようにして対象画像を複数の小領域に分割すると、画像分割部２１３は、その旨を距離算出部２１４に通知する。距離算出部２１４は、画像分割部２１３からの通知に応じて、分割された領域単位で撮影距離を算出する処理をおこなう。ここで、上述した被写体位置の指定方法により被写体位置の指定があるか否かを判別する（ステップＳ１５）。ここでは、上述した「画像中央」、「任意指定」、「顔認識」のいずれかが選択されていれば「被写体位置の指定あり」と判別し（ステップＳ１５：Ｙｅｓ）、「最短距離」が選択されていれば「被写体位置の指定なし」と判別する（ステップＳ１５：Ｎｏ）。

距離算出部２１４は、「被写体位置の指定あり」と判別した場合には（ステップＳ１５：Ｙｅｓ）、「候補領域抽出処理（１）」を実行し（ステップＳ１００）、「被写体位置の指定なし」と判別した場合には（ステップＳ１５：Ｎｏ）、「候補領域抽出処理（２）」を実行する（ステップＳ２００）。

まず、「候補領域抽出処理（１）」を、図５に示すフローチャートを参照して説明する。

処理が開始されると、距離算出部２１４は、対象画像上で分割された領域のうち、指定された位置に該当する領域を基準テンプレートに指定する（ステップＳ１０１）。

ここで、位置指定方法が「画像中央」である場合、距離算出部２１４は、対象画像の中央位置を示す座標が含まれている領域を基準テンプレートに指定する。

また、位置指定方法が「任意指定」であれば、ユーザが指定した位置の座標が含まれている領域を基準テンプレートに指定する。

位置指定方法が「顔認識」の場合は、対象画像上で顔認識動作を実行し、認識された顔部分の座標が含まれている領域を基準テンプレートに指定する。なお、顔認識にかかる動作は、既知の顔認識技術を用いて制御部２１０によって実行されるものとする。

基準テンプレートを指定すると、距離算出部２１４は、領域分割がおこなわれた対象画像とは光軸位置の異なる基準画像上で、指定した基準テンプレートを走査する（ステップＳ１０２）。ここでは、ＳＳＤなどによるテンプレートマッチングにより、基準テンプレートと類似する画像領域を基準画像上で探索する。ここで、ＳＳＤによるテンプレートマッチングをおこなった場合、完全に一致する画像があれば、値が０になる。この値は画像間の相違が大きい程大きくなるので、テンプレートマッチングによって得られる値は、テンプレートとの相違度を示すことになる。

よって、距離算出部２１４は、基準テンプレートを基準画像上で走査して得られる相違度が最小となる部分が、基準テンプレートに対応する画像領域として特定する（ステップＳ１０３）。

例えば、対象画像上で指定された基準テンプレートが図９（ｂ）でハッチングによって示した領域であるとすると、基準画像上で探索される領域は、例えば、図９（ｃ）でハッチングによって示した領域となる。この場合、各画像上の対応領域の座標は横方向で異なるため、図示するような視差ｄが生じている。

よって、距離算出部２１４は、ステップＳ１０３で特定した基準画像上の領域と、対象画像上で指定した基準テンプレートとの座標上の差異を算出する（ステップＳ１０４）。

このようにして座標上の差異が求められると、三角測量の原理により、基準テンプレートの領域に写っている被写体からデジタルカメラ１までの距離（撮影距離）を算出することができる（ステップＳ１０５）。

ここで、本実施形態では、抽出対象とする被写体を被写体Ａとし（図８（ａ）参照）、被写体Ａが写っている領域（図９（ｂ）でハッチングによって示した基準テンプレート）の中心位置をＡ１とし、カメラ座標において座標（Ｘ１、Ｙ１、Ｚ１）であるものとする。この場合、図２（ｂ）に示したような平行ステレオ構成のデジタルカメラ１においては、Ａ１の座標（Ｘ１、Ｙ１、Ｚ１）はそれぞれ、以下の数１〜数３で表される。ここで、（u1, v1）は、第１撮像部１００Ａについての画像座標面（すなわち、対象画像）への射影点、（u'1, v'1）は、第２撮像部１００Ｂについての画像座標面（すなわち、基準画像）への射影点を示す。また、ｂは第１撮像部１００Ａおよび第２撮像部１００Ｂの光軸間距離（基線間距離）を示す。

（数１）
Ｘ１＝（ｂ×（ｕ１））／（（ｕ'１）−ｕ１）

（数２）
Ｙ１＝（ｂ×（ｖ１））／（（ｕ'１）−ｕ１）

（数３）
Ｚ１＝（ｂ×ｆ）／（（ｕ'１）−ｕ１）

ここで、デジタルカメラ１からＡ１までの距離は、Ａ１の座標Ｚ１によって示されるので、距離算出部２１４は、上記数３を演算することで、基準テンプレートまでの撮影距離を算出することができる。

この数３は、三角測量の原理によって導かれるものである。三角測量の原理を、図１０を参照して説明する。

図１０は、図２（ｂ）に示した平行ステレオ構成におけるカメラ座標を上から見た模式図である。第１撮像部１００Ａによる視点がカメラ座標となっているので、被写体位置Ａ１のＸ軸方向の座標はカメラ座標上のＸ１で与えられ、この数値は図１０に示した数式（１）で求められる。

一方、第２撮像部１００Ｂからの視点におけるＡ１のＸ軸方向の座標は、光軸間距離ｂとカメラ座標のＸ１との和であり、図１０に示した数式（２）で求められ、これらの数式（１）と数式（２）から、上記数３が導き出される。

このような三角測量の原理を用いて、基準テンプレートの撮影距離（以下、「基準撮影距離」とする）を算出すると、距離算出部２１４は、対象画像上で、基準テンプレートに連続して隣接する複数の領域を選択し（ステップＳ１０６）、選択した各領域について、上述したようなテンプレートマッチングをおこなう（ステップＳ１０７）。

すなわち、抽出を所望する被写体の位置として指定された基準テンプレートであるが、当該基準テンプレートの領域のみで被写体のすべてが含まれているとは限らないため、基準テンプレートに隣接する領域についてテンプレートマッチングをおこなって、被写体Ａを示している領域を探索する。

この場合、被写体Ａが写っている領域は、基準テンプレートについて算出された撮影距離と同一もしくは近似するので、距離算出部２１４は、選択した領域それぞれの撮影距離をテンプレートマッチングによって算出する。

そして、距離算出部２１４は、基準テンプレートで算出した撮影距離と同一もしくは近似する撮影距離が算出された領域を特定する（ステップＳ１０８）。ここで、被写体に奥行きがある場合、基準テンプレートの撮影距離と同一の撮影距離となる領域だけでは、被写体を示すことができない。よって、奥行き方向の距離に一定の範囲を設定し、この範囲内の撮影距離となる領域を特定する。この範囲は、予め既定値が設定されていてもよく、あるいは、本処理をおこなう都度、ユーザに指定させるようにしてもよい。

距離算出部２１４は、ステップＳ１０１で基準テンプレートとして指定した領域と、ステップＳ１０８で特定した領域とを、被写体を示す領域の候補、すなわち、抽出する領域の候補とし、各領域を示す画像データを対象画像から抽出する（ステップＳ１０９）。

このようにして、被写体領域として抽出する候補となる領域が抽出されると、「被写体抽出処理」（図４）のフローに戻る。

次に、被写体位置が指定されなかった場合に実行される「候補領域抽出処理（２）」を、図６に示すフローチャートを参照して説明する。

被写体位置が指定された場合は、当該位置を基準テンプレートとしたが、被写体位置が指定されず、撮影距離が最短距離となる部分を被写体位置とする場合には、対象画像上で分割された領域すべてを用いてテンプレートマッチングをおこなう。

よって、距離算出部２１４はまず、対象画像上で分割された領域にナンバリングをおこない（ステップＳ２０１）、領域番号順に順次指定する（ステップＳ２０２）。

この場合、指定した領域をテンプレートとして基準画像上を走査する（ステップＳ２０３、ステップＳ２０４）。ここでは、上述した「候補領域抽出処理（１）」でおこなったテンプレートマッチングと同様の方法で走査する。

そして、各テンプレートについて、相違度が最小となる部分を特定すると（ステップＳ２０５）、距離算出部２１４は、当該相違度と閾値を比較する。つまり、撮像画像全体を対象とした場合、視差の影響などにより対応部分が存在しないことがある。よって、相違度が最小となる部分が特定されても、その相違度が所定の閾値より大きい場合には、マッチングの対象から除外する。

この場合、距離算出部２１４は、相違度が閾値以内となる領域については（ステップＳ２０６：Ｙｅｓ）、その座標上の差異を算出した上で三角測量の原理で撮影距離を算出し（ステップＳ２０７、ステップＳ２０８）、その領域の座標と撮影距離をメモリなどに記録する（ステップＳ２０９）。

一方、相違度が閾値より大きい場合（ステップＳ２０６：Ｎｏ）、このような撮影距離の算出はおこなわない。

このような動作を分割された各領域についておこなう（ステップＳ２１０、ステップＳ２１１：Ｎｏ）。

すべての分割領域について上記の処理をおこなうと（ステップＳ２１１：Ｙｅｓ）、距離算出部２１４は、ステップＳ２０９で記録した撮影距離に基づき、対象画像上の分割領域の中で、撮影距離が最短となる領域を特定する（ステップＳ２１２）。

抽出を所望する被写体（被写体Ａ）が最も近くにある場合、ステップＳ２１２で特定された領域に当該被写体が写っていることになる。よって、距離算出部２１４は、特定した領域に連続して隣接する領域のうち、撮影距離が所定の範囲内となる領域を特定し（ステップＳ２１３）、ステップＳ２１２とステップＳ２１３で特定した領域を、抽出候補として抽出する（ステップＳ２１４）。

このようにして抽出候補となる領域の画像データを抽出すると、「被写体抽出処理」（図４）のフローに戻る。

「被写体抽出処理」では、上述した「候補領域抽出処理（１）」または「候補領域抽出処理（２）」で抽出された被写体領域を修正するための「抽出領域修正処理」が被写体抽出部２１５によって実行される（ステップＳ３００）。

つまり、撮影距離に基づいて被写体領域を抽出した場合、距離の近い他の被写体が含まれてしまう場合がある。例えば、被写体Ａを抽出対象とした場合に抽出された候補領域が、図１１（ａ）にハッチングで示す部分である場合、この領域によって示される画像は、図１１（ｂ）に示すように、被写体Ａとは異なるものになってしまう。

このような誤認識を修正するため、被写体抽出部２１５は「抽出領域修正処理」を実行する。この「抽出領域修正処理」を、図７に示すフローチャートを参照して説明する。

処理が開始されると、被写体抽出部２１５は、候補となった領域にナンバリングをおこない（ステップＳ３０１）、候補領域を順次指定する（ステップＳ３０２）。

このとき被写体抽出部２１５は、修正動作の状態を判定するためのフラグ（状態判定フラグ）に「０」を設定することでリセットする（ステップＳ３０３）。

被写体抽出部２１５は、指定した候補領域に隣接する領域（図１１（ｃ）参照）で、「候補領域抽出処理（１）」または「候補領域抽出処理（２）」で候補領域とされなかった領域（以下、「隣接非候補領域」とする）を抽出する（ステップＳ３０４）。

この状態を、図１２（ａ）を参照して説明する。図１２（ａ）は、理解を容易にするため、候補領域と、これに隣接する他の領域を模式的に示したものである。図１２（ａ）に示す候補領域には、複数の隣接領域があるが、このうち、相違度が閾値より大きいと判別された領域については「隣接非候補領域」から除外する。このような領域については、相違度が閾値より大きいと判別された時点で、例えば、マスクするなどにより除外する。

被写体抽出部２１５は、現在対象となっている候補領域に隣接し、かつ、相違度が閾値以内であった非候補領域を「隣接非候補領域」に指定すると、当該候補領域と隣接非候補領域の双方に、図１２（ａ）に示すような判定領域を設定する（ステップＳ３０５）。

この判定領域は、例えば、候補領域と隣接非候補領域の境界部分に設定され、例えば、１ピクセル分の幅をもった矩形領域である。なお、判定領域の位置は境界部分に限られるものではなく、例えば、図１２（ｂ）に示すように、境界からオフセットした位置に設定してもよい。

被写体抽出部２１５は、このようにして設定した２つの判定領域間の色間距離を算出する（ステップＳ３０６）。ここでは、例えば、各判定領域におけるＲＧＢ空間をＬａｂ空間に変換し、ａｂのユークリッド間距離を算出することで色間距離を算出する。

被写体抽出部２１５は、算出した色空間距離を閾値と比較し（ステップＳ３０７）、閾値以内の色間距離であれば（ステップＳ３０８：Ｙｅｓ）、当該候補領域を、被写体領域としての抽出対象から除外する（ステップＳ３０９）。

例えば、図１１（ａ）の例においては、被写体Ａを示す領域の他に、被写体Ａが置かれていたテーブルの一部が候補として誤認識されているが、誤認識された領域についての隣接非候補領域はテーブル部分を示しているので、色間距離が近いことになる。よって、候補領域と隣接非候補領域との色間距離が閾値以内となる場合には、当該候補領域は誤認識されたものとみなすことができ、この候補領域を除外する。

このような、色間距離に基づいて候補領域を除外した場合、被写体抽出部２１５は、状態判定フラグに「１」を設定する（ステップＳ３１０）。

このような動作を、全ての候補領域についておこなう（ステップＳ３１１、ステップＳ３１２：Ｎｏ）。

すべての候補領域について上記処理をおこなうと（ステップＳ３１２：Ｙｅｓ）、被写体抽出部２１５は、状態判定フラグが「０」であるか否かを判別する（ステップＳ３１３）。上述したように、色間距離に基づいて候補領域の除外がおこなわれると、状態判定フラグが「１」となるが、除外がおこなわれなかった場合（ステップＳ３０８：Ｎｏ）には、状態判定フラグは「０」のままとなる。

状態判定フラグが「１」となっている場合（ステップＳ３１３：Ｎｏ）、色間距離に基づいた修正がおこなわれたことになるので、除外後の候補領域を対象としてステップＳ３０１〜ステップＳ３１２の処理をおこなうことで、より詳細に誤認識領域の除去をおこなう。

このような処理を繰り返し、色間距離に基づく修正がなされなくなれば（ステップＳ３１３：Ｙｅｓ）、本処理を終了し、「被写体抽出処理」（図４）のフローに戻る。

「被写体抽出処理」では、「抽出領域修正処理」で修正された候補領域を被写体領域として抽出する（ステップＳ１６）。この場合、被写体抽出部２１５は、抽出した被写体領域の画像データから被写体部分のみを示した画像を生成し、例えば、表示部３１０に表示出力する。また、操作部３３０の操作によるユーザ指示に基づいて、抽出した被写体画像を記憶部２５０や外部記憶部２６０などに保存する。

そして、所定の終了イベント（例えば、画像抽出モードの解除や、デジタルカメラ１の電源オフなど）が発生するまで上述した各処理をおこない（ステップＳ１７：Ｎｏ）、終了イベントの発生により処理を終了する（ステップＳ１７：Ｙｅｓ）。

以上説明したように、本発明を上記実施形態の如く適用することにより、撮像画像からの効果的な被写体抽出を効率的におこなうことができる。

つまり、平行ステレオに基づいて得られる光軸の異なる撮像画像から、三角測量の原理で撮影距離を算出することができるので、撮像画像上の領域単位で撮影距離に基づいた領域抽出をおこなうことができ、正確な被写体抽出を自動的におこなうことができる。

この場合において、例えば、色情報や輝度情報などの画素値に基づいた領域分割をおこなってテンプレートマッチングをおこなうので、被写体部分の画像上の特徴がテンプレートとなり、効率的なテンプレートマッチングをおこなうことができる。

また、撮影距離に基づいて被写体領域を特定しているので、撮影距離が最短となる領域を被写体部分として抽出することができ、被写体位置を指定しない場合でも、自動的に被写体領域を抽出することができる。

あるいは、被写体位置が指定できる場合には、指定された位置の周辺でマッチングをおこなうので、処理時間を大幅に短縮することができる。

さらに、撮影距離に基づいて被写体領域の候補を特定し、候補領域に隣接する非候補領域との間の色間距離に基づいて候補を除外するので、撮影距離だけでは誤認識されるような領域のない、より正確な被写体抽出をおこなうことができる。

上記実施形態は一例であり、本発明の適用範囲はこれに限られない。すなわち、種々の応用が可能であり、あらゆる実施の形態が本発明の範囲に含まれる。

また、上記実施形態では、色情報や輝度情報に基づいて領域分割する例を示したが、テンプレートマッチングをおこなうことができるのであれば、領域分割の方法はこれに限られず任意である。

また、上記実施形態で示した被写体位置を指定する方法は一例であり、これらに限られるものではない。

また、上記実施形態では、誤認識された領域を修正する際に、色間距離に基づく判定をおこなったが、被写体部分を峻別することができるのであれば、判定に用いる方法は任意である。

なお、本発明を上記実施形態で例示したデジタルカメラ１のような撮像装置で実現する場合においては、本発明にかかる構成や機能を予め備えた撮像装置として提供できる他、制御部２１０の各機能と同様の機能を実現するプログラムを適用することにより、既存の撮像装置を本発明にかかる撮像装置をして機能させることもできる。この場合、平行ステレオの構成となっている撮像装置であることが望ましいが、撮像手段が単一の撮像装置であっても、同一の被写体について光軸位置の異なる画像を取得することができれば、本発明の適用により、効率的な被写体抽出をおこなうことができる。

例えば、上記実施形態では、平行ステレオの撮像装置として本発明を実現した場合を例示したが、撮像機能のない装置（例えば、パーソナルコンピュータなど）として本発明の画像処理装置を実現してもよい。

この場合も、本発明にかかるプログラムを適用することで、既存の装置を本発明にかかる画像処理装置として機能させることができる。

このようなプログラムの適用方法は任意であり、例えば、ＣＤ−ＲＯＭやメモリカードなどの記憶媒体に格納して適用できる他、例えば、インターネットなどの通信媒体を介して適用することもできる。

本発明の実施形態にかかるデジタルカメラの構成を示すブロック図である。 本発明の実施形態にかかるデジタルカメラが複眼カメラ（平行ステレオカメラ）であることを説明するための図であり、（ａ）はデジタルカメラの外観構成を示し、（ｂ）は平行ステレオの概念を示す。 図１に示す制御部によって実現される機能を示す機能ブロック図である。 本発明の実施形態にかかる「被写体抽出処理」を説明するためのフローチャートである。 図４に示す「被写体抽出処理」で実行される「候補領域抽出処理（１）」を説明するためのフローチャートである。 図４に示す「被写体抽出処理」で実行される「候補領域抽出処理（２）」を説明するためのフローチャートである。 図４に示す「被写体抽出処理」で実行される「抽出領域修正処理」を説明するためのフローチャートである。 本発明の実施形態で想定する場面を説明するための図であり、（ａ）は撮影する場面の例を示し、（ｂ）および（ｃ）は撮像された画像の例を示す。 図５または図６に示した「候補領域抽出処理（１）」または「候補領域抽出処理（２）」における動作を説明するための図であり、（ａ）は領域分割された撮像画像の例を示し、（ｂ）はテンプレートとして指定された領域の例を示し、（ｃ）はテンプレートマッチングによって探索された領域の例を示す。 三角測量の原理を説明するための図である。 図７に示した「抽出領域修正処理」における動作を説明するための図であり、（ａ）は候補領域が誤認識された場合の例を示し、（ｂ）は候補領域が誤認識された場合の被写体画像の例を示し、（ｃ）は誤認識された領域を修正するために用いられる領域の例を示す。 図７に示した「抽出領域修正処理」における動作を説明するための図であり、（ａ）は候補領域と隣接非候補領域に設定される判定領域の例を示し、（ｂ）は候補領域と隣接非候補領域に設定される判定領域の他の例を示す。

符号の説明

１…デジタルカメラ、１００Ａ…第１撮像部、１１０Ａ…光学装置、１２０Ａ…イメージセンサ部、１００Ｂ…第２撮像部、１１０Ｂ…光学装置、１２０Ｂ…イメージセンサ部、２００…データ処理部、２１０…制御部、２１１…動作モード処理部、２１２…撮像制御部、２１３…画像分割部、２１４…距離算出部、２１５…被写体抽出部、２２０…画像処理部、２３０…画像メモリ、２４０…画像出力部、２５０…記憶部、２６０…外部記憶部、３００…インタフェース部、３１０…表示部、３２０…外部インタフェース部、３３０…操作部

Claims (10)

1. 同一の被写体について撮像時の光軸位置が異なる２つの撮像画像を取得する画像取得手段と、
   前記画像取得手段が取得した撮像画像の一方を複数の領域に分割する分割手段と、
   前記分割された領域をテンプレートとした前記撮像画像の他方に対するテンプレートマッチングにより、前記分割された領域単位で撮影距離を算出する撮影距離算出手段と、
   前記撮影距離算出手段が算出した撮影距離に基づいて、前記撮像画像から被写体領域を抽出する抽出手段と、
   を備えることを特徴とする画像処理装置。
2. 前記分割手段は、前記撮像画像における画素値に基づいて前記複数の領域に分割する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記抽出手段は、前記撮影距離が最も短い領域と、前記撮影距離に基づいて該領域と連続する領域と、を前記被写体領域として抽出する、
   ことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記抽出手段は、前記撮像画像の中央にある領域と、前記撮影距離に基づいて該領域と連続する領域と、を前記被写体領域として抽出する、
   ことを特徴とする請求項１または２に記載の画像処理装置。
5. 前記抽出手段は、前記撮像画像上で指定された位置にある領域と、前記撮影距離に基づいて該領域と連続する領域と、を前記被写体領域として抽出する、
   ことを特徴とする請求項１または２に記載の画像処理装置。
6. 前記撮像画像上で人物の顔を認識する顔認識手段をさらに備え、
   前記抽出手段は、前記顔認識手段が認識した顔部分の領域と、前記撮影距離に基づいた該領域に連結する領域と、を前記被写体領域として抽出する、
   ことを特徴とする請求項１または２に記載の画像処理装置。
7. 前記抽出手段は、
   被写体領域として抽出した領域を候補領域とし、該候補領域に隣接する非候補領域との色間距離を算出する色間距離算出手段と、
   前記色間距離算出手段が算出した色間距離に基づいて、前記候補領域を候補から除外する除外手段と、をさらに備える、
   ことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記画像取得手段は、前記２つの撮像画像を取得する平行ステレオカメラを備える、
   ことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 同一の被写体について撮像時の光軸位置が異なる２つの撮像画像から被写体領域を抽出する画像抽出方法であって、
   前記２つの撮像画像を取得する画像取得ステップと、
   前記画像取得ステップで取得した撮像画像の一方を複数の領域に分割する分割ステップと、
   前記分割された領域をテンプレートとした前記撮像画像の他方に対するテンプレートマッチングにより、前記分割された領域単位で撮影距離を算出する撮影距離算出ステップと、
   前記撮影距離算出ステップで算出された撮影距離に基づいて、前記撮像画像から被写体領域を抽出する抽出ステップと、
   を含むことを特徴とする画像抽出方法。
10. コンピュータに、
    同一の被写体について撮像時の光軸位置が異なる２つの撮像画像を取得する機能と、
    前記取得した撮像画像の一方を複数の領域に分割する機能と、
    前記分割された領域をテンプレートとした前記撮像画像の他方に対するテンプレートマッチングにより、前記分割された領域単位で撮影距離を算出する機能と、
    前記算出した撮影距離に基づいて、前記撮像画像から被写体領域を抽出する機能と、
    を実現させることを特徴とするプログラム。

Images