JP5959923B2 - 検出装置、その制御方法、および制御プログラム、並びに撮像装置および表示装置 - Google Patents

Description

本発明は、画像から被写体領域を抽出するための検出装置、その制御方法、および制御プログラム、並びに撮像装置、表示装置に関する。

一般に、画像から特定の被写体パターン（例えば、人の顔領域）を自動的に検出する画像処理手法が知られており、例えば、通信会議、マン・マシン・インタフェース、セキュリティ、人間の顔を追跡するためのモニタ・システム、画像圧縮技術などの多くの分野で用いられている。そして、デジタルカメラ又はデジタルビデオカメラなどの撮像装置では、撮影画像から特定の被写体領域を検出して、その検出結果を制御対象として焦点および露出を最適化している。

例えば、撮像装置において、画像における顔の位置を検出し、検出された顔領域に焦点を合わせて顔領域に最適な露出で撮影を行うようにしたものが知られている（特許文献１参照）。また、画像において人物の上半身を検出して、画像中における人物を計数する画像処理装置が知られている（特許文献２参照）。

特開２００５−３１８５５４号公報 特開２００９−２１１３１１号公報

ところが、特許文献１に記載の手法においては、人物が後ろ向きである場合および顔に装飾品を付けている場合などの顔の特徴を十分に抽出できないときには、顔の検出を行うことが困難となってしまう。

一方、特許文献２に記載の手法においては、人物が後ろ向きである場合および顔に装飾品を付けている場合であっても、人物の上半身を検出することができるものの、人物が特殊な姿勢であるか又は上半身領域の一部が隠蔽されている場合には、人物の上半身を検出することが困難となってしまう。このように、検出手法によって検出可能な状況が変化してしまう。

このため、検出が難しい状況を軽減して検出率を向上させるため、異なる検出手法を併用して用いることがある。例えば、顔領域の検出ができなかった被写体については、その人体が検出されれば、当該人体の検出結果に基づいて顔領域を推定する。これによって、顔領域の検出率が向上するようにする。

しかしながら、互いに異なる検出手法である顔領域の検出と人体の検出とは、それぞれ独立に実行されるので、各検出結果がいずれの人物の検出結果であるか分からないことがある。つまり、顔領域の検出による検出結果と人体の検出による検出結果とが同一の人物に対する検出結果であるのか又は異なる人物に対する検出結果であるのかを判別することができない。この結果、被写体領域の１つである顔領域の検出率を向上させることが難しい。

従って、本発明の目的は、画像における被写体領域の検出率を向上させるとともに、容易に被写体領域の検出を行うことのできる検出装置、その制御方法、および制御プログラム、並びに撮像装置および表示装置を提供することにある。

上記の目的を達成するため、本発明による検出装置は、被写体像を有する画像から各被写体像の第１領域を検出する第１検出手段と、前記画像から前記被写体像の前記第１領域と異なる第２領域を検出する第２検出手段と、被写体像における前記第１領域と第２領域の位置関係に基づいて、前記第２検出手段によって検出された第２領域から第１領域に相当する推定領域を推定する推定手段と、前記第１検出手段による検出結果と前記推定手段による推定結果を用いて、前記画像における各被写体像の第１領域の位置を示す結果を出力する出力手段と、を備え、前記出力手段は、前記第１検出手段によって検出された第１領域と前記推定手段によって推定された推定領域が同一の被写体像に関する領域である場合、当該被写体像については前記第１検出手段の検出による検出結果を選択することを特徴とする。

本発明による撮像装置は、被写体を撮像して被写体像を有する画像を得る撮像手段と、上記の被写体領域検出装置と、前記撮像手段によって撮像を行う際の撮像条件を、前記被写体領域検出装置によって検出された前記被写体領域検出結果に応じて制御する制御手段とを備えることを特徴とする。

本発明による表示装置は、被写体像を有する画像を表示する表示手段と、上記の被写体領域検出装置と、前記表示手段に前記画像を表示する際の表示条件を、前記被写体領域検出装置によって検出された前記被写体領域検出結果に応じて制御する制御手段とを備えることを特徴とする。

本発明による制御方法は、被写体像を有する画像において前記被写体像の特定の領域を検出する検出装置の制御方法であって、前記画像から各被写体像の第１領域を検出する第１検出ステップと、前記画像から前記被写体像の前記第１領域と異なる第２領域を検出する第２検出ステップと、被写体像における前記第１領域と第２領域の位置関係に基づいて、前記第２検出ステップで検出された第２領域から第１領域に相当する推定領域を推定する推定ステップと、前記第１検出ステップによる検出結果と前記推定ステップによる推定結果を用いて、前記画像における各被写体像の第１領域の位置を示す結果を出力する出力ステップと、を備え、前記出力ステップでは、前記第１検出ステップで検出された第１領域と前記推定ステップで推定された推定領域が同一の被写体像に関する領域である場合、当該被写体像については前記第１検出ステップの検出による検出結果を選択することを特徴とする。

本発明による制御プログラムは、被写体像を有する画像において前記被写体像の特定の領域を検出する検出装置で用いられる制御プログラムであって、前記検出装置が備えるコンピュータに、前記画像から各被写体像の第１領域を検出する第１検出ステップと、前記画像から前記被写体像の前記第１領域と異なる第２領域を検出する第２検出ステップと、被写体像における前記第１領域と第２領域の位置関係に基づいて、前記第２検出ステップで検出された第２領域から第１領域に相当する推定領域を推定する推定ステップと、前記第１検出ステップによる検出結果と前記推定ステップによる推定結果を用いて、前記画像における各被写体像の第１領域の位置を示す結果を出力する出力ステップと、を実行させ、前記出力ステップでは、前記第１検出ステップで検出された第１領域と前記推定ステップで推定された推定領域が同一の被写体像に関する領域である場合、当該被写体像については前記第１検出ステップの検出による検出結果を選択することを特徴とする。

本発明によれば、画像における被写体領域の検出率を向上させて、容易に被写体領域の検出を行うことができる。

本発明の第１の実施形態による検出装置を備える撮像装置の一例についてその構成を示すブロック図である。 図１に示す検出結果統合部の一例についてその構成を示すブロック図である。 図２に示す検出結果統合部における処理を説明するための図である。 図３に示す撮像画像において結果選定部による選定結果（出力）を示す図である。 本発明の第２の実施形態による検出結果統合部の一例についてその構成を示すブロック図である。 図５に示す検出結果統合部における処理を説明するための図であり、（ａ）は比較のため図２に示す検出結果統合部における処理を示す図、（ｂ）は図５に示す検出結果統合部における処理を示す図である。

以下、本発明の実施の形態による検出装置（以下被写体領域検出装置ともいう）を備える撮像装置の一例について図面を参照して説明する。なお、以下の説明では、被写体領域の１つである人物の顔領域を例に挙げて説明する。

［第１の実施形態］
図１は、本発明の第１の実施形態による被写体領域検出装置を備える撮像装置の一例についてその構成を示すブロック図である。

図示の撮像装置１００は、例えば、デジタルカメラ（以下単にカメラと呼ぶ）であり、カメラ１００は、顔検出部１０９および人体検出部１１０を備えている。顔検出部１０９は検出対象である人物の顔領域を検出し、人体検出部１１０は人物の人体領域を検出する。

さらに、カメラ１００は撮像レンズユニット１０１を有しており、撮像レンズユニット１０１で集光された光学像（被写体像）が撮像素子１０２に結像する。撮像素子１０２は、例えば、ＣＣＤイメージセンサ又はＣＭＯＳイメージセンサである。撮像素子１０２は光学像に応じた電気信号（アナログ信号：映像信号）を出力する。このアナログ信号はアナログ信号処理部１０３に与えられ、ここで、相関二重サンプリング（ＣＤＳ）などのアナログ信号処理が施される。

アナログ信号処理部１０３から出力された映像信号は、Ａ／Ｄ変換部１０４においてデジタル信号に変換される。そして、このデジタル信号は撮影制御部１０５および画像処理部１０６に入力される。

撮影制御部１０５（制御手段）は、例えば、ＣＰＵ又はマイクロコントローラであり、撮像装置１００全体の制御を司る。撮影制御部１０５は、内蔵ＲＯＭに記憶されたプログラムを内蔵ＲＡＭの作業領域に展開して実行し、撮像装置１００の各部を制御する。

画像処理部１０６はデジタル信号（デジタル映像信号）に対して、ガンマ補正およびホワイトバランス処理などの画像処理を行う。なお、画像処理部１０６は、上記の画像処理に加えて、後述する検出結果統合部１１１から与えられる画像中の特定の被写体領域に関する情報（被写体情報）を用いて画像処理を行う機能も備えている。

画像処理部１０６から出力された処理済み映像信号は表示部１０７に送られる。表示部１０７は、例えば、ＬＣＤ又は有機ＥＬディスプレイであり、処理済み映像信号に応じた画像画面を表示する。

図示のカメラ１００では、撮像素子１０２において時系列的に逐次撮像した画像を表示部１０７に表示させて、表示部１０７を電子ビューファインダ（ＥＶＦ）として機能させることができる。また、後述する検出結果統合部１１１により抽出された被写体領域の位置などが表示部１０７に表示される。

さらに、画像処理部１０６から出力された処理済み映像信号は、記録媒体１０８、例えば、着脱可能なメモリーカードに記録される。なお、処理済み映像信号の記録先として、カメラ１００に備えられた内蔵メモリ（図示せず）を用いるようにしてもよく、さらには、通信インターフェイス（図示せず）によってカメラ１００に接続された外部装置（図示せず）を用いるようにしてもよい。

画像処理部１０６から出力された処理済み映像信号は、顔検出部１０９（第１の検出手段）にも与えられる。顔検出部１０９は、処理済み映像信号が表す画像中の特定の被写体像を検出して、被写体領域（第１の被写体領域）を特定する。ここでは、被写体領域として人物像の顔領域が特定される。画像中に複数の人物の顔が存在する場合には、顔検出部１０９は人数分の顔領域を検出する。

顔検出部１０９で用いられる検出手法として、例えば、顔に関する知識（肌色情報、目・鼻・口などのパーツ）を用いる手法又はニューラルネットに代表される学習アルゴリズムによって顔検出のための識別機能を構成する手法がある。また、顔検出においては、一般的に認識率向上のために複数の手法を組み合わせて顔認識が行われる。具体的には、特開２００２−２５１３８０号公報に記載のウェーブレット変換および画像特徴量を用いて顔検出する手法がある。顔検出部１０９で検出された顔検出結果は検出結果統合部１１１に送られる。

また、画像処理部１０６から出力された処理済み映像信号は、人体検出部１１０（第２の検出手段）にも与えられる。人体検出部１１０は処理済み映像信号が表す画像中から被写体領域として人体の上半身領域（第２の被写体領域）を検出する。そして、画像中に複数の人物が存在する場合は、人体検出部１１０は人数分の上半身領域を検出する。

人体検出部１１０で用いられる検出手法として、例えば、特開２００９−２１１３１１号公報に記載の手法が用いられる。ここでは、局所的な上半身の輪郭のエッジ強度を局所特徴量として検出する。画像から特徴量を抽出する手法として、Ｓｏｂｅｌフィルタ、Ｐｒｅｗｉｔｔフィルタ、又はＨａａｒフィルタなどを用いた手法が知られている。そして、人体検出部１１０は抽出した局所特徴量に応じて人物判別器を用いて上半身および非上半身を判別する。

人物判別器における判別は、ＡｄａＢｏｏｓｔ学習などの機械学習に基づいて行われる。人体検出部１１０で検出された上半身検出結果（人体傑出結果ともいう）は検出結果統合部１１１に与えられる。

検出結果統合部１１１は、顔検出結果および上半身検出結果に基づいて、後述するように、同一の被写体における顔検出結果および上半身検出結果を統合して統合検出結果とする。そして、検出結果統合部１１１は統合検出結果を撮影制御部１０５および画像処理部１０６に被写体領域検出結果として出力する。検出結果統合部１１１の動作については後述する。

撮影制御部１０５は、撮像レンズユニット１０１を制御して、撮像の際の焦点状態および露出状態などの撮像条件を制御する。具体的には、制御部１０５はＡ／Ｄ変換部１０４から出力されたデジタル映像信号に基づいて、撮像レンズユニット１０１に備えられた焦点制御機構および露出制御機構（ともに図示せず）を制御する。例えば、焦点制御機構は撮像レンズユニット１０１に備えられた撮像レンズを光軸方向に駆動させるアクチュエータであり、露出制御機構は撮像レンズユニット１０１に備えられた絞りおよびシャッタを駆動するアクチュエータである。

撮影制御部１０５は、焦点制御機構および露出制御機構を制御する際、検出結果統合部１１１から送られた統合検出結果を用いる。具体的には、撮影制御部１０５は統合検出結果が示す被写体領域のコントラスト値を用いて焦点制御を行うとともに、当該被写体領域の輝度値を用いて露出制御を行う。

よって、図示のカメラ１００では、撮像の結果得られた画像における特定の被写体領域を考慮して撮像処理を行うことができる。また、撮影制御部１０５は、撮像素子１０２の読み出しタイミングおよび読み出し画素などの読み出し制御を行う。

図２は、図１に示す検出結果統合部１１１の一例についてその構成を示すブロック図である。

検出結果統合部１１１は、顔検出結果取得部２０１、人体検出結果取得部２０２、領域推定部２０３（領域推定手段）、相関判定部２０４（判定手段）、および結果選定部２０５（選択手段）を備えている。顔検出結果取得部２０１は、顔検出部１０９から顔検出結果を取得する。ここで、顔検出結果には、検出された人数とその人毎の画像における顔領域の位置、大きさ、および検出結果の信頼度などが含まれている。人体検出結果取得部２０２は、人体検出部１１０から人体検出結果を取得する。人体検出結果には、検出された人数とその人毎の画像における上半身領域の位置、大きさ、および検出結果の信頼度などが含まれている。

領域推定部２０３は、人体検出結果取得部２０２から人体検出結果を得て、当該人体検出結果に応じて、顔検出部１０９による検出領域（つまり、顔領域）に相当する部分領域を推定し、推定結果（推定領域ともいう）を出力する。領域推定部２０３における推定手法として、例えば、顔検出部１０９および人体検出部１１０の検出領域の関係に基づいて線形変換による推定が用いられる。

相関判定部２０４には、顔検出結果取得部２０１から顔検出結果が入力されるとともに、領域推定部２０３から推定結果が入力される。相関判定部２０４は顔検出結果および推定結果が示す顔領域の位置および大きさの類似性、つまり、相関度を判定する。そして、相関判定部２０４は顔検出結果と推定結果（つまり、人体検出結果）とが同一の被写体に関する検出結果であると特定する相関判定結果を出力する。

結果選定部２０５には、相関判定部２０４から顔検出結果および推定結果と相関判定結果とが与えられる。結果選定部２０５は相関判定結果に基づいて、顔検出結果および推定結果のいずれか一方を選択する。例えば、相関判定部２０４によって類似性がある（相関あり）と判定されると、結果選定部２０５は顔検出結果を統合検出結果として出力する。一方、相関判定部２０４によって類似性がない（相関なし）と判定されると、結果選定部２０５は推定結果を統合検出結果として出力する。

このように、検出結果統合部１１１では、顔検出部１０９による顔検出結果と人体検出部１１０による人体検出結果とを、同一被写体であるか否かに応じて統合して顔領域（又は部分領域）を検出結果として出力することになる。

図３は、図２に示す検出結果統合部１１１における処理を説明するための図である。

図３において、撮影画像３０１〜３０５は同一の時刻に撮影されたものである。そして、撮影画像３０１〜３０５には被写体像Ａ、被写体像Ｂ、および被写体像Ｃが撮影されている。

撮影画像３０１において、被写体像ＡおよびＢでは顔領域が検出され、それぞれ実線矩形枠３０６および３０７によって顔領域が囲まれている。この撮影画像３０１は顔検出結果を示しており、図２で説明した顔検出結果取得部２０１は撮影画像３０１を顔検出結果として取得する。

なお、撮影画像３０１においては、被写体像Ｃは後方向きであるため、顔領域が検出されていない。

撮像画像３０２において、被写体像ＢおよびＣでは上半身領域（人体領域）が検出され、それぞれ実線矩形枠３０８および３０９によって顔領域が囲まれている。この撮影画像３０２は人体検出結果を示しており、図２で説明した人体検出結果取得部２０２は撮影画像３０２を人体検出結果として取得する。

なお、撮影画像３０２においては、被写体像Ａは両腕が顔の付近まで上げられているため、つまり、姿勢の影響によって上半身領域が検出されていない。

撮像画像３０３は、図２に示す領域推定部２０３による推定結果を表している。つまり、領域推定部２０３は、撮影画像３０２（つまり、人体検出結果）から顔領域に相当する部分領域を推定して撮像画像３０３を出力する。撮像画像３０３において、被写体像ＢおよびＣでは部分領域（つまり、顔領域）が推定されて、それぞれ破線矩形枠３１０および３１１によって部分域が囲まれている。

撮影画像３０４は、図２に示す相関判定部２０４による相関判定処理を表している。撮影画像３０４において、実線矩形枠３１２および３１３はそれぞれ撮影画像３０１における実線矩形枠３０６および３０７に対応する。また、破線矩形枠３１４および３１５は撮影画像３０３における破線矩形枠３１０および３１１に対応する。

撮影画像３０４においては、実線矩形枠３１３および破線矩形枠３１４がともに存在する被写体像Ｂについて相関判定部２０４は実線矩形枠３１３および破線矩形枠３１４の領域（大きさおよび形状）およびその位置座標を求めて、その類似度を求める。

類似度が所定の閾値（０を超え１未満）以上であると、相関判定部２０４は実線矩形枠３１３および破線矩形枠３１４が同一の被写体像における顔領域を示す検出結果であると判定する。一方、類似度が所定の閾値未満であると、相関判定部２０４は実線矩形枠３１３および破線矩形枠３１４が異なる被写体像における顔領域を示す検出結果であると判定する。そして、相関判定部２０４は、撮影画像３０４および相関判定結果を結果選定部２０５に出力する。

なお、被写体像Ａにおいては、実線矩形枠３１２のみが存在し、被写体像Ｃにおいては、破線矩形枠３１５のみが存在しているので、相関判定部２０４は類似度をゼロとする。つまり、相関判定部２０４は相関なしと判定することになる。

撮影画像３０５は、図２に示す結果選定部２０５からの出力される統合検出結果を表している。ここでは、実線矩形枠３１６が撮影画像３０４の実線矩形枠３１２に対応し、実線矩形枠３１７は実線矩形枠３１３に対応する。また、実線矩形枠３１８は破線矩形枠３１５に対応する。

結果選定部２０５は、被写体像について相関判定結果が相関なしを示している場合に、顔検出結果のみが存在すると、当該顔検出結果を選択する。従って、被写体像Ａについては、結果選定部２０５は顔検出結果である実線矩形枠３１２を選択して、撮影画像３０５において実線矩形枠３１６を被写体像Ａに付加する。

結果選定部２０５は、被写体像について相関判定結果が相関なしを示している場合に、推定結果（推定領域）のみが存在すると、当該推定結果を選択する。従って、被写体像Ｃについては、結果選定部２０５は推定結果である破線矩形枠３１５を選択して、撮影画像３０５において実線矩形枠３１８を被写体像Ｃに付加する。

結果選定部２０５は、被写体像について相関判定結果が相関ありを示している場合に、顔検出結果を選択する。つまり、結果選定部２０５は、相関判定結果が顔領域および推定領域の双方が同一の被写体像の領域であることを示していると、顔領域を被写体領域検出結果として出力する。従って、被写体像Ｂについては、結果選定部２０５は顔検出結果である破線矩形枠３１３を選択して、撮影画像３０５において実線矩形枠３１７を被写体像Ｂに付加する。

図４は、図３に示す撮像画像において結果選定部２０５による選定結果（出力）を示す図である。

図４において、被写体像Ａおよび被写体像Ｂについては、顔検出結果が存在するので、結果選定部２０５は顔検出結果を出力する。被写体像Ｃについては、人体検出結果のみが存在するので、結果選定部２０５は人体検出結果から顔領域を推定した推定結果を出力する。このようにして、図３に示す撮影画像３０５において、顔検出結果として実線矩形枠３１６および３１７が被写体像ＡおよびＢに付加され、推定結果として実線矩形枠３１８が被写体像Ｃに付加されることになる。

なお、前述したように、顔検出結果取得部２０１および人体検出結果取得部２０２はそれぞれ顔検出結果および人体検出結果の確からしさを示す信頼度を取得する。上述の説明では、結果選定部２０５は、相関判定部２０４の相関判定結果に基づいて、顔検出結果が存在する被写体について顔検出結果を出力するようにしたが、顔判定結果および人体検出結果が存在する被写体については、信頼度が高い方を出力するようにしてもよい。

このように、第１の実施形態では、顔検出部および人体検出部のように検出される領域が包含関係にある２つの検出部を備えて、同一の被写体に対する２つの検出結果に応じて出力する検出結果を選定するようにしたので、目的とする被写体の検出率を向上させることができる。その結果、例えば、人物が後ろ向きである場合、顔に装飾品を付けている場合、又は任意の姿勢をとるか上半身領域が隠蔽されている場合などであっても被写体を検出することができる。

［第２の実施形態］
次に、本発明の第２の実施形態による被写体領域検出装置について説明する。なお、第２の実施形態による撮像装置の構成は図１に示す撮像装置と同様であるが、検出結果統合部の構成が異なるとともに、顔検出部１０９の機能が異なる。

第２の実施形態では、顔検出部１０９は、人毎の画像における顔領域の位置、大きさ、および検出結果の信頼度とともに、顔向きを示す顔向き情報を顔検出結果として出力する。例えば、顔検出部１０９は、正面顔および横顔など顔の向きに応じた複数の識別器を用いて顔検出を行い、顔領域が検出された識別器を判別して、顔向き情報を得る。

図５は、本発明の第２の実施形態による検出結果統合部１１１の一例についてその構成を示すブロック図である。なお、図５において、図２に示す構成要素と同一の構成要素については同一の参照番号を付して、説明を省略する。

図５において、検出結果統合部１１１はさらに領域補正部５０１（補正手段）を有している。領域補正部５０１は顔検出結果取得部２０１から顔検出結果を受ける。領域補正部５０１は顔検出結果における顔領域の位置および大きさを、顔向き情報に基づいて補正して、補正顔検出結果とする。そして、領域補正部５０１は補正顔検出結果を相関判定部２０４に与える。

図６は、図５に示す検出結果統合部１１１における処理を説明するための図である。そして、図６（ａ）は比較のため図２に示す検出結果統合部１１１における処理を示す図であり、図６（ｂ）は図５に示す検出結果統合部１１１における処理を示す図である。

図６（ａ）および図６（ｂ）において、撮影画像６０１〜６０６は同一の時刻に撮影されたものである。そして、撮影画像６０１〜６０６には被写体像Ａおよび被写体像Ｂが撮影されている。

まず、図６（ａ）を参照して、撮影画像６０１において、被写体像ＡおよびＢでは顔領域が検出され、それぞれ実線矩形枠６０７および６０９によって顔領域が囲まれている。そして、実線矩形枠６０７および６０９は顔検出結果を示し、この顔検出結果は顔検出結果取得部２０１で取得される。

また、被写体像ＡおよびＢでは上半身領域（人体領域）が検出され、それぞれ破線矩形枠６０８および６１０によって上半身領域が囲まれている。そして、破線矩形枠６０８および６１０は人体検出結果を示し、この人体検出結果は人体検出結果取得部２０２で取得される。

顔検出部１０９は、例えば、目の位置を中心として顔領域を検出する。このため、被写体像Ｂのように顔が横向きであると、実線矩形枠６０９は顔領域からずれた位置となる。

撮影画像６０２は、図２に示す相関判定部２０４による相関判定処理を表している。撮影画像６０２において、実線矩形枠６１１および６１３は顔検出結果を示し、破線矩形枠６１２および６１４は、図２に示す領域推定部２０３による推定結果を示す。ここでは、実線矩形枠６１３と破線矩形枠６１４と大きくずれているので、相関判定部２０４は類似度が所定の閾値未満であるとして、相関なしと判定することになる。つまり、つまり、実線矩形枠６１３で示す顔検出結果と破線矩形枠６１４で示す推定結果とは、同一の被写体像Ｂに対する検出結果であるにも拘わらず、異なる被写体像に対する検出結果であると判定されてしまう。

撮影画像６０３は、図２に示す結果選定部２０５からの出力される統合検出結果を表している。ここでは、実線矩形枠６１５が撮影画像６０２の実線矩形枠６１１に対応し、実線矩形枠６１６は実線矩形枠６１３に対応する。また、破線矩形枠６１７は破線矩形枠６１４に対応する。

ここでは、被写体像Ａにおいて、実線矩形枠６１１と破線矩形枠６１２とは相関ありと判定されているので、結果選定部２０５は、被写体像Ａについて顔検出結果である破線矩形枠６１１を選択して、撮影画像６０３において実線矩形枠６１５を被写体像Ａに付加する。

一方、被写体像Ｂにおいて、実線矩形枠６１３と破線矩形枠６１４とは相関なしと判定されているので（異なる被写体像と判定されているので）、この場合には、結果選定部２０５は、顔検出結果である破線矩形枠６１３と破線矩形枠６１３とを選択することになる。この結果、結果選定部２０５は、同一の被写体像Ｂに対して、実線矩形枠６１６および破線矩形枠６１７を付与することになってしまう。

このように、被写体像において顔が横向きであると、顔検出結果が示す顔領域と推定結果が示す顔領域とが大きくずれて、相関なしと判定される結果、同一の被写体像に２つの顔領域検出枠である矩形枠が表示されることになってしまう。

次に、図６（ｂ）を参照して、撮影画像６０４において、被写体像ＡおよびＢでは顔領域が検出され、それぞれ実線矩形枠６１８および６２０によって顔領域が囲まれている。そして、実線矩形枠６１８および６２０は顔検出結果を示し、この顔検出結果は顔検出結果取得部２０１で取得される。

また、被写体像ＡおよびＢでは上半身領域（人体領域）が検出され、それぞれ破線矩形枠６１９および６２１によって上半身領域が囲まれている。そして、破線矩形枠６１９および６２１は人体検出結果を示し、この人体検出結果は人体検出結果取得部２０２で取得される。

撮影画像６０５は、図５に示す相関判定部２０４による相関判定処理を表している。撮影画像６０５において、実線矩形枠６２２および６２４は図５に示す領域補正部５０１で補正された補正顔検出結果を示し、破線矩形枠６２３および６２５は、図５に示す領域推定部２０３による推定結果を示す。

領域補正部５０１は、顔が横向きであると、その横向きの度合いに応じて顔検出結果である顔検出領域を補正する。実線矩形枠６２２は被写体像Ａに対する顔検出結果であって、この被写体像Ａの顔は正面向きであるので、領域補正部５０１は補正を行わない。よって、実線矩形枠６２２および実線矩形枠６１８とは同一の領域となる。

一方、実線矩形枠６２４は被写体Ｂに対する顔検出結果であって、この被写体像Ｂの顔は横向きであるので、領域補正部５０１はその横向きの度合いに応じて顔領域の補正をする。よって、実線矩形枠６２４と実線矩形枠６２０とは異なる領域となる。そして、撮像画像６０５においては、実線矩形枠６２４は撮像画像６０２の実線矩形枠６１３よりも図中左側に移動しており、被写体像Ｂの顔領域を囲んでいる。

ここでは、実線矩形枠６２４と破線矩形枠６２５とのずれは小さく、互いに重なり合う部分が多い。従って、相関判定部２０４は類似度が所定の閾値以上であるとして、相関ふりと判定することになる。つまり、相関判定部２０４は実線矩形枠６２４で示す顔検出結果と破線矩形枠６２５で示す推定結果とは、同一の被写体像Ｂに対する検出結果であると判定することになる。

撮影画像６０６は、図５に示す結果選定部２０５からの出力される統合検出結果を表している。ここでは、実線矩形枠６２６が撮影画像６０５の実線矩形枠６２２に対応し、実線矩形枠６２７は実線矩形枠６２４に対応する。

ここでは、被写体像Ａにおいて、実線矩形枠６２２と破線矩形枠６２３とは相関ありと判定されているので、結果選定部２０５は、被写体像Ａについて顔検出結果である実線矩形枠６２２を選択して、撮影画像６０６において実線矩形枠６２６を被写体像Ａに付加する。

同様に、被写体像Ｂにおいて、実線矩形枠６２４と破線矩形枠６２５とは相関ありと判定されているので、結果選定部２０５は、被写体像Ｂについて顔検出結果である実線矩形枠６２４を選択して、撮影画像６０６において実線矩形枠６２７を被写体像Ａに付加する。

このように、本発明の第２実施形態では、顔検出の際に顔向き情報を取得し、この顔向き情報に基づいて顔検出結果が示す顔領域を補正する。これによって、相関判定における精度を高めることができ、顔領域を的確に検出することができる。

以上のように、本発明の実施の形態では、画像における被写体領域の検出率を向上させるとともに、容易に被写体領域の検出を行うことができる。

なお、上述の説明から明らかなように、図１に示す例においては、撮像レンズユニット１０１、撮像素子１０２、アナログ信号処理部１０３、およびＡ／Ｄ変換部１０４が撮像手段として機能する。

［他の実施形態］
上述の第１および第２の実施形態では、撮像装置に被写体領域の検出を行う被写体領域検出装置を適用した例について説明したが、被写体領域検出装置を適用する機器は撮像装置に限定されない。例えば、外部機器又は記録媒体などから供給される画像データ（再生データ）を画像として表示する表示装置に上記の被写体領域検出装置を適用してもよい。

この表示装置では、再生データを被写体領域検出の対象データとして、被写体領域検出が行われることとなる。この際、表示装置に備えられたマイクロコントローラなどの制御部は、上述した被写体領域検出処理によって得られた被写体像に関する情報（画像中の被写体像の位置、大きさなど）に基づいて、画像を表示する際の表示条件を制御する。

具体的には、画像中の被写体像の位置に矩形枠などの被写体像を示すシンボルを被写体像に重畳表示するか又は被写体像の輝度又は色情報に応じて表示画像の輝度および色合いなどの制御を行う。

また、上述した実施の形態は一例を示すものであり、これに限定するものではない。上述した実施の形態における構成および動作に関しては、適宜変更が可能である。

上述の実施形態は、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム（制御プログラム）自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。

なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳ（オペレーティングシステム）に供給するスクリプトデータなどで構成することができるが、これらに限るものではない。

上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。

有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムファイル）をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。

また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体を配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを許可してもよい。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するＯＳの機能を利用するものであってもよい。さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるＣＰＵで実行するようにしてもよい。

１０５ 撮影制御部
１０９ 顔検出部
１１０ 人体検出部
１１１ 検出結果統合部
２０１ 顔検出結果取得部
２０２ 人体検出結果取得部
２０３ 領域推定部
２０４ 相関判定部
２０５ 結果選定部
５０１ 領域補正部

Claims (11)

1. 被写体像を有する画像から各被写体像の第１領域を検出する第１検出手段と、
   前記画像から前記被写体像の前記第１領域と異なる第２領域を検出する第２検出手段と、
   被写体像における前記第１領域と第２領域の位置関係に基づいて、前記第２検出手段によって検出された第２領域から第１領域に相当する推定領域を推定する推定手段と、
   前記第１検出手段による検出結果と前記推定手段による推定結果を用いて、前記画像における各被写体像の第１領域の位置を示す結果を出力する出力手段と、を備え、
   前記出力手段は、前記第１検出手段によって検出された第１領域と前記推定手段によって推定された推定領域が同一の被写体像に関する領域である場合、当該被写体像については前記第１検出手段の検出による検出結果を選択することを特徴とする検出装置。
2. 前記第１検出手段によって検出された第１領域と前記推定手段によって推定された推定領域が同一の被写体像に関する領域であるか否かを判定する判定手段を備えることを特徴とする請求項１に記載の検出装置。
3. 前記判定手段は、前記第１検出手段によって検出された第１領域と前記推定手段によって推定された推定領域の相関度に基づいて判定を行うことを特徴とする請求項２に記載の検出装置。
4. 前記第１検出手段および前記第２検出手段はそれぞれの検出の確からしさを示す信頼度を求め、前記出力手段は、前記第２検出手段の方が前記第１検出手段よりも検出の信頼度が高い場合は、前記推定手段による推定結果を選択することを特徴とする請求項１〜３のいずれか１項に記載の検出装置。
5. 前記判定手段は、前記第１検出手段によって検出された第１領域および前記推定手段によって推定された推定領域の形状と前記第１検出手段によって検出された第１領域および前記推定手段によって推定された推定領域の前記画像における位置とに基づいて相関判定を行うことを特徴とする請求項２に記載の検出装置。
6. 前記判定手段は、前記第１検出手段によって検出された第１領域および前記推定手段によって推定された推定領域について前記画像における被写体像の位置およびその大きさに基づいて前記第１領域および前記推定領域との間の類似度を求めて、該類似度と所定の閾値とに応じて相関判定を行うことを特徴とする請求項２に記載の検出装置。
7. 前記判定手段は、前記類似度が前記閾値以上であると、前記第１領域および前記推定領域は同一の被写体像に関する領域であると判定することを特徴とする請求項６に記載の検出装置。
8. 被写体を撮像して被写体像を有する画像を得る撮像手段と、
   請求項１〜７のいずれか１項に記載の検出装置と、
   前記撮像手段によって撮像を行う際の撮像条件を、前記検出装置によって検出された結果に応じて制御する制御手段とを備えることを特徴とする撮像装置。
9. 被写体像を有する画像を表示する表示手段と、
   請求項１〜７のいずれか１項に記載の検出装置と、
   前記表示手段に前記画像を表示する際の表示条件を、前記検出装置によって検出された結果に応じて制御する制御手段とを備えることを特徴とする表示装置。
10. 被写体像を有する画像において前記被写体像の特定の領域を検出する検出装置の制御方法であって、
    前記画像から各被写体像の第１領域を検出する第１検出ステップと、
    前記画像から前記被写体像の前記第１領域と異なる第２領域を検出する第２検出ステップと、
    被写体像における前記第１領域と第２領域の位置関係に基づいて、前記第２検出ステップで検出された第２領域から第１領域に相当する推定領域を推定する推定ステップと、
    前記第１検出ステップによる検出結果と前記推定ステップによる推定結果を用いて、前記画像における各被写体像の第１領域の位置を示す結果を出力する出力ステップと、を備え、
    前記出力ステップでは、前記第１検出ステップで検出された第１領域と前記推定ステップで推定された推定領域が同一の被写体像に関する領域である場合、当該被写体像については前記第１検出ステップの検出による検出結果を選択することを特徴とする制御方法。
11. 被写体像を有する画像において前記被写体像の特定の領域を検出する検出装置で用いられる制御プログラムであって、
    前記検出装置が備えるコンピュータに、
    前記画像から各被写体像の第１領域を検出する第１検出ステップと、
    前記画像から前記被写体像の前記第１領域と異なる第２領域を検出する第２検出ステップと、
    被写体像における前記第１領域と第２領域の位置関係に基づいて、前記第２検出ステップで検出された第２領域から第１領域に相当する推定領域を推定する推定ステップと、
    前記第１検出ステップによる検出結果と前記推定ステップによる推定結果を用いて、前記画像における各被写体像の第１領域の位置を示す結果を出力する出力ステップと、を実行させ、
    前記出力ステップでは、前記第１検出ステップで検出された第１領域と前記推定ステップで推定された推定領域が同一の被写体像に関する領域である場合、当該被写体像については前記第１検出ステップの検出による検出結果を選択することを特徴とする制御プログラム。

Images