JP5788197B2 - 画像処理装置、画像処理方法、画像処理プログラム及び撮像装置 - Google Patents

Description

本発明は、撮像時刻の異なる連続した複数の画像データのそれぞれから被写体の顔部と、眼部や口部、鼻部等の器官とを検出し、これら顔部と器官との位置関係を補正する画像処理装置、画像処理方法、画像処理プログラム及びかかる顔部と器官との位置関係の補正を適用した撮像装置に関する。

被写体として例えば移動する人物の顔部等を撮像する技術として例えば特許文献１がある。この特許文献１は、被写体として例えば移動する人物の顔部等を撮像する場合、顔部と、この顔部の少なくとも１つの器官、例えば瞳を含む眼部とを検出し、これら顔部と眼部との位置情報から合焦領域を決定することを開示する。この特許文献１では、被写体の移動や、顔部や眼部の検出アルゴリズムの性能によって、これら顔部や眼部の座標位置にずれが生じ、主被写体となる顔部や瞳を含む眼部に対して精度高く合焦できなくなることがある。
顔部や眼部の座標の位置ずれを補正するための技術として例えば特許文献２がある。この特許文献２は、顔部と、この顔部内の例えば眼部、鼻部、口部等の各器官とを検出し、これら顔部の座標位置と各器官の座標位置との相対位置から顔部の座標位置を補正することを開示する。

特開２００７−２２５８９７号公報 特開２００９−１１００４８号公報

しかしながら、特許文献２では、顔部内の全ての器官、すなわち眼部、鼻部、口部等の全ての器官の位置を検出してから顔部の座標位置を補正するために、最終的な顔部の座標位置を決定するまでに時間を要する。特に、被写体として移動している人物の顔部を撮像する場合、決定した顔部の座標位置と実際の顔部の座標位置とでは、時間的なずれがあるために、位置ずれを生じる可能性が高い。

例えば、図８は最終的な顔部の座標位置を決定するまでの画像処理の過程を示す。液晶ディスプレイには、液晶表示画像として撮像時刻の異なる連続した複数の画像データｇ１、ｇ２、…、ｇ５が順次表示される。顔部の検出処理は、複数の画像データｇ１、ｇ２、…、ｇ５毎に逐次行われる。例えば画像データｇ１の顔部の検出処理は、画像データｇ１の液晶ディスプレイへの表示終了直後から開始し、次の画像データｇ２の液晶ディスプレイへの表示終了の前に完了する。この画像データｇ１の顔部の検出処理により顔部の位置座標が検出される。この画像データｇ１の顔部の検出処理の結果は、さらに次の画像データｇ３上に顔部を検出するための領域、すなわち顔部検出領域Ｋとして現すことが出来る。

一方、眼部等の器官の検出も複数の画像データｇ１、ｇ２、…、ｇ５毎に逐次行われる。この眼部等の器官の検出は、顔部の検出の結果である顔部の位置座標を受けて行われる。例えば、画像データｇ１の眼部等の器官の検出処理は、画像データｇ１により検出された顔部の位置座標に基づいて顔部内の眼部、鼻部、口部等の器官を検出する。この器官の検出処理には、例えば２つの画像データｇ１、ｇ２を液晶ディスプレイに表示するに要する時間分だけ必要とする。
このため、画像データｇ１から眼部等の器官の検出結果を得るには、画像データｇ１から顔部の位置座標を検出し、この後に当該顔部の位置座標に基づいて顔部内の眼部、鼻部、口部等の器官を検出するので、画像データｇ１の眼部等の器官の検出結果は、画像データｇ１から数データ後の例えば画像データｇ５上に現すことになる。

しかしながら、被写体として例えば人物の顔部が移動すると、例えば顔部を検出するときの画像データｇ１上と合焦領域を決定する画像データｇ５上とでは、顔部の移動によって当該顔部の座標位置がそれぞれ相違するために、画像データｇ１から検出した顔部検出領域Ｋ及びその眼部、鼻部、口部等の器官の座標位置は、画像データｇ５上の顔部及びその眼部、鼻部、口部等の器官との座標位置と相違し、位置ずれを生じる。このため、被写体として例えば移動する人物の顔部等を撮像する場合には、実際の顔部に顔部検出領域Ｋを合わせることができず、正確な合焦状態を得ることができない。
本発明の目的は、被写体が移動していても、実際の顔部に顔部検出領域を合わせることができる画像処理装置、画像処理方法、画像処理プログラム及び撮像装置を提供することにある。

本発明の主要な局面に係る画像処理装置は、撮像時刻の異なる連続した複数の画像データのそれぞれから被写体の顔部に対応する第１の画像領域を検出し、かつ前記複数の画像データ上での前記顔部の大きさの変化に関する情報を検出する顔検出部と、前記顔検出部により検出される前記第１の画像領域から前記顔部内の少なくとも１つの器官に対応する第２の画像領域を検出する器官検出部と、前記顔検出部により検出される前記複数の画像データ上での前記顔部の移動位置に追従して前記複数の画像データ間での前記顔部の大きさの変化に関する情報を前記複数の画像データ間での補正量として算出し、これら補正量のうち少なくとも１つの補正量を用いて前記複数の画像データのうち最新の画像データ上において前記器官検出部により検出される前記少なくとも１つの器官の画像位置を補正する顔部補正部とを具備する。

本発明の主要な局面に係る画像処理方法は、撮像時刻の異なる連続した複数の画像データのそれぞれから被写体の顔部に対応する第１の画像領域を検出し、かつ前記複数の画像データ上での前記顔部の大きさの変化に関する情報を検出し、前記第１の画像領域から前記顔部内の少なくとも１つの器官に対応する第２の画像領域を検出し、前記複数の画像データ上での前記顔部の移動位置に追従して前記複数の画像データ間での前記顔部の大きさの変化に関する情報を前記複数の画像データ間での補正量として算出し、これら補正量のうち少なくとも１つの補正量を用いて前記複数の画像データのうち最新の画像データ上において前記検出される前記少なくとも１つの器官の画像位置を補正する。

本発明の主要な局面に係る画像処理プログラムは、コンピュータに、撮像時刻の異なる連続した複数の画像データのそれぞれから被写体の顔部に対応する第１の画像領域を検出させ、かつ前記複数の画像データ上での前記顔部の大きさの変化に関する情報を検出させる顔検出機能と、前記顔検出機能により検出される前記第１の画像領域から前記顔部内の少なくとも１つの器官に対応する第２の画像領域を検出させる器官検出機能と、前記顔検出機能により検出される前記複数の画像データ上での前記顔部の移動位置に追従して前記複数の画像データ間での前記顔部の大きさの変化に関する情報を前記複数の画像データ間での補正量として算出させ、これら補正量のうち少なくとも１つの補正量を用いて前記複数の画像データのうち最新の画像データ上において前記器官検出部により検出される前記少なくとも１つの器官の画像位置を補正させる顔部補正機能とを実現させる。

本発明の主要な局面に係る撮像装置は、光学系で形成された被写体の像を撮像して撮像時刻の異なる連続した複数の画像データを取得する撮像部と、前記撮像部の撮像により取得される撮像時刻の異なる連続した複数の画像データのそれぞれから被写体の顔部に対応する第１の画像領域を検出し、かつ前記複数の画像データ上での前記顔部の大きさの変化に関する情報を検出する顔検出部と、前記顔検出部により検出される前記第１の画像領域から前記顔部内の少なくとも１つの器官に対応する第２の画像領域を検出する器官検出部と、前記顔検出部により検出される前記複数の画像データ上での前記顔部の移動位置に追従して前記複数の画像データ間での前記顔部の大きさの変化に関する情報を前記複数の画像データ間での補正量として算出し、これら補正量のうち少なくとも１つの補正量を用いて前記複数の画像データのうち最新の画像データ上において前記器官検出部により検出される前記少なくとも１つの器官の画像位置を補正する顔部補正部と、前記顔部補正部により補正した少なくとも前記画像位置を含む前記画像データ上において焦点検出領域を決定し、当該焦点検出領域の画像データに基づいて焦点調節を行う焦点調節部とを具備する。

本発明によれば、被写体が移動していても、実際の顔部に顔部検出領域を合わせることができる画像処理装置、画像処理方法、画像処理プログラム及び撮像装置を提供できる。

本発明に係る画像処理装置を適用した撮像装置の一実施の形態を示す構成図。 同装置における画像処理部を示すブロック構成図。 同装置における撮像制御フローチャート。 同装置における最終的な顔部の座標位置を決定するまでの画像処理の過程を示す図。 同装置における補正量算出フローチャート。 同装置における補正処理フローチャート。 同装置における被写体としての人物の顔部の傾きに対する補正を示す図。 従来における最終的な顔部の座標位置を決定するまでの画像処理の過程を示す図。

以下、本発明の一実施の形態について図面を参照して説明する。
図１は画像処理装置を適用した撮像装置の構成図を示す。撮像装置の装置本体１は、撮像光学系を構成するレンズ系２と、絞り３と、メカシャッター４と、撮像素子５とが設けられている。絞り３及びメカシャッター４は、それぞれ駆動部６の駆動によって動作する。レンズ２は、フォーカスレンズやズームレンズを含み、人物の顔部等を含む被写体７からの光学像を絞り３、メカシャッター４を通して撮像素子５に集光する。この撮像素子５は、レンズ２からの被写体７の像を光電変換し、アナログの画像信号として出力する。この撮像素子５は、例えばＣＣＤやＣＭＯＳセンサ等が用いられる。この撮像素子５の出力端子には、アナログ増幅器（Ａ−ＡＭＰ）８を介してアナログ／デジタル変換器（ＡＤＣ）９が接続されている。Ａ−ＡＭＰ８は、撮像素子５から出力されたアナログ画像信号を増幅し、ＡＤＣ９は、Ａ−ＡＭＰ８により増幅されたアナログ画像信号をデジタル画像信号に変換する。

装置本体１内には、ＣＰＵ１０が搭載され、このＣＰＵ１０にバス１１を介してＡＤＣ９と、ＤＲＡＭ１２と、ＲＯＭ１３と、フラッシュ（ＦＬＡＳＨ）メモリ１４と、画像処理部１５と、ビデオエンコーダ１６とが接続されている。又、ＣＰＵ１０には、操作部１７が接続されている。ビデオエンコーダ１６には、ディスプレイ１８として例えば液晶ディスプレイ（ＬＣＤ）又はテレビジョンモニタ（ＴＶ）が接続されている。

ＤＲＡＭ１２には、ＡＤＣ９から出力されるデジタル画像信号を一旦保存したり、画像処理部１５によりデジタル画像信号に対する画像処理を行って取得された撮像時刻の異なる連続した複数の画像データ等を保存する。
ＲＯＭ１３には、ＣＰＵ１０の撮像制御プログラム及び本装置の特徴である画像処理プログラムなどが保存されている。撮像制御プログラムは、ＣＰＵ１０に、撮像素子５から出力されたアナログ画像信号をＡ／Ｄ変換したデジタル画像信号を画像処理し、被写体７の動画をスルー画像としてディスプレイ１８に表示させ、撮影時に静止画又は動画の画像データを取得してその静止画又は動画をディスプレイ１８に表示させると共に、この静止画又は動画をＦＬＡＳＨメモリ１４等に記録させる等の装置本体１内の撮影全般の制御を行う。

画像処理プログラムは、ＣＰＵ１０に、撮像時刻の異なる連続した複数の画像データのそれぞれから被写体７の顔部に対応する第１の画像領域を検出させる顔検出機能と、第１の画像領域から顔部内の少なくとも１つの器官に対応する第２の画像領域を検出させる器官検出機能と、複数の画像データ上での顔部の移動位置に倣って少なくとも１つの器官の画像データ上での画像位置を補正させる顔部補正機能とを実現させる。
この画像処理プログラムのうち顔検出機能は、複数の画像データから顔部の大きさの変化、水平方向への移動、垂直方向への移動、回転変化又は上下左右方向に対する傾きの変化のうち少なくとも１つに関する情報を検出させる。
顔部補正機能は、被写体７の顔部の大きさの変化、水平方向への移動、垂直方向への移動、回転変化、又は上下左右方向に対する傾きの変化のうちいずれか１つに関する情報に基づいて少なくとも１つの器官として眼部、口部又は鼻部の少なくとも座標位置を補正させる。

ＦＬＡＳＨメモリ１４は、静止画の画像データ及び動画の画像データを記録用として保存する。このＦＬＡＳＨメモリ１４は、例えば装置本体１に対して外付けのメモリ、例えばＣＦカード、ＳＤカードである。
操作部１７は、撮影者が操作する各種操作スイッチが接続され、これら操作スイッチのオン・オフを検出する。この操作部１７は、カメラの撮影モードを切り替える切り替えスイッチや、レリーズボタンの操作によって動作するレリーズスイッチなどを含む。このレリーズスイッチは、一般的な２段階スイッチになっている。つまり、レリーズスイッチは、半押されることで、第１レリーズスイッチがオンして焦点検出や測光を行い、フォーカスレンズの駆動により合焦状態になる。更に、レリーズボタンは、全押しされることで、第２レリーズスイッチがオンして露光が行われる。

画像処理部１５は、撮像素子５から出力されてＡ／Ｄ変換されたデジタル画像信号を画像処理し、ビデオエンコーダ１６を通して被写体７の動画をスルー画像としてディスプレイ１８に表示させる。
画像処理部１５は、ＡＤＣ９から出力されるデジタル画像信号に対する画像処理を行って撮像時刻の異なる連続した複数の画像データを取得する。図２は画像処理部１５のブロック構成図を示す。この画像処理部１５は、顔検出部２０と、器官検出部２１と、顔部補正部２２とを有する。これら顔検出部２０と器官検出部２１と顔部補正部２２とは、内部バス２３に接続されている。
顔検出部２０は、ＤＲＡＭ１２に保存されている撮像時刻の異なる連続した複数の画像データのそれぞれから被写体７の顔部に対応する第１の画像領域を検出する。
この顔検出部２０は、複数の画像データから顔部の大きさの変化、水平方向への移動、垂直方向への移動、回転変化又は上下左右方向に対する傾きの変化のうち少なくとも１つに関する情報を検出する。
器官検出部２１は、顔検出部２０により検出される第１の画像領域から顔部内の少なくとも１つの器官、例えば眼部、口部又は鼻部に対応する第２の画像領域を検出する。
これら顔検出部２０と器官検出部２１とは、互いに非同期で動作する。

顔部補正部２２は、顔検出部２０により検出される複数の画像データ上での顔部の移動位置に追従して器官検出部により検出される少なくとも１つの器官、例えば眼部、口部又は鼻部の画像データ上での画像位置を補正するもので、補正量算出部２２−１と、器官情報補正部２２−２とを有する。
このうち補正量算出部２２−１は、顔検出部２０により検出される複数の画像データ毎に顔部の座標位置を検出して当該複数の画像データ上での顔部の移動位置を追従してこれら画像データ上での顔部の移動量を算出し、この顔部の移動量を座標位置に対する補正量とする。
具体的に、補正量算出部２２−１は、顔検出部２０により検出される被写体としての人物の顔部の大きさの変化、水平方向への移動量、垂直方向への移動量、回転変化量、又は上下左右方向に対する傾きの変化量のうち少なくとも１つに関する量を算出し、これらの量をそれぞれ人物の顔部の大きさの変化の補正量、水平方向への移動の補正量、垂直方向への移動の補正量、回転変化の補正量、又は上下左右方向に対する傾きの変化の補正量の各情報として算出する。
器官情報補正部２２−２は、補正量算出部２２−１により算出された人物の顔部の大きさの変化の補正量、水平方向への移動の補正量、垂直方向への移動の補正量、回転変化の補正量、又は上下左右方向に対する傾きの変化の補正量のうち少なくとも１つの補正量を受け取り、当該補正量を用いて器官検出部２１により検出される少なくとも１つの器官、例えば眼部、口部又は鼻部の画像データ上での画像位置を補正する。
又、器官情報補正部２２−２は、補正量算出部２２−１により算出された上記少なくとも１つの補正量を受け取り、当該補正量を用いて器官検出部２１により検出される少なくとも１つの器官、例えば眼部、口部又は鼻部の画像データ上での大きさを補正する。
又、器官情報補正部２２−２は、補正量算出部２２−１により算出された人物の顔部の回転変化の補正量に基づいて器官検出部２１により検出される眼部、口部又は鼻部の少なくとも大きさ、傾き又は座標位置を補正する。
又、器官情報補正部２２−２は、補正量算出部２２−１により算出された被写体７の顔部の上下左右方向に対する傾きの変化を検出すると、顔部の大きさの変化、水平方向への移動、垂直方向への移動、回転変化を用いた補正を実施しない。

上記画像処理部１５は、顔部補正部２２により補正した眼部、口部又は鼻部の少なくとも大きさ、傾き又は座標位置に基づいて顔部、又は眼部、口部又は鼻部等の器官に対して画像処理、例えば眼部のコントラストを変更したり、フィルタ処理などの画像処理を行う。
又、上記画像処理部１５は、顔部補正部２２により補正した眼部、口部又は鼻部の少なくとも大きさ、傾き又は座標位置に基づいて被写体として人物を特定するための認証処理を行う。この認証処理では、予め複数の人物の顔部の参照画像データをＦＬＡＳＨメモリ１４等に保存し、顔部補正部２２により補正した眼部、口部又は鼻部の少なくとも大きさ、傾き又は座標位置と参照画像データの眼部、口部又は鼻部の少なくとも大きさ、傾き又は座標位置とを対比して人物を特定するための認証処理を行う。
又、上記画像処理部１５は、顔部補正部２２により補正した少なくとも画像位置を含む画像データ上において焦点検出領域を決定し、当該焦点検出領域の画像データに基づいて焦点調節を行う焦点調節部の機能を有する。

次に、上記の如く構成された装置の動作について図３に示す撮像制御フローチャートに従って説明する。
ＣＰＵ１０は、ステップＳ１において、スルー画像をディスプレイ１８に表示する命令を発すると、撮像素子５は、レンズ２からの被写体７の像を光電変換し、アナログ画像信号として出力する。撮像素子５から出力されたアナログ画像信号は、Ａ−ＡＭＰ８により増幅され、ＡＤＣ９によりデジタル画像信号に変換される。画像処理部１５は、ＡＤＣ９からのデジタル画像信号をバス１１を通して入力し、このデジタル画像信号を画像処理し、被写体７のスルー画像としてディスプレイ１８に表示する。
このとき、ＤＲＡＭ１２には、ＡＤＣ９から出力されるデジタル画像信号が一旦保存されたり、画像処理部１５によりデジタル画像信号に対する画像処理を行って取得された撮像時刻の異なる連続した複数の画像データが保存される。ここで、撮像時刻の異なる連続した複数の画像データは、例えば図４に示す複数の画像データｇ１０、ｇ１１、…、ｇ１４である。

ＣＰＵ１０は、ステップＳ２において、顔検出部２０に対して顔検出の命令を発する。この顔検出部２０は、ＤＲＡＭ１２に保存されている撮像時刻の異なる連続した複数の画像データのそれぞれから被写体７の顔部に対応する第１の画像領域を検出する。この場合、顔検出部２０は、複数の画像データから顔部の大きさの変化、水平方向への移動、垂直方向への移動、回転変化又は上下左右方向に対する傾きの変化のうち少なくとも１つに関する情報を検出する。

この顔部の検出処理は、図４に示すように複数の画像データｇ１０、ｇ１１、…、ｇ１４毎に逐次行われる。例えば画像データｇ１０の顔部の検出処理は、画像データｇ１０の液晶ディスプレイへの表示終了直後から開始し、次の画像データｇ１１の液晶ディスプレイへの表示終了の前に完了する。この画像データｇ１０の顔部の検出処理により顔部の位置座標が検出される。この画像データｇ１０の顔部の検出処理の結果は、さらに次の画像データｇ１２上に顔部検出領域Ｋとして現すことが出来る。

ＣＰＵ１０は、ステップＳ３において、器官検出部２１により例えば眼部、口部又は鼻部等の器官の検出を実行中であるか否かを判定する。この判定の結果、器官の検出を実行中であれば、ＣＰＵ１０は、ステップＳ４に移り、補正量算出部２２−１に対し、画像データ上での顔部の移動量に応じた補正量を算出する命令を発する。
この補正量算出部２２−１は、顔検出部２０により検出される複数の画像データ毎、例えば画像データｇ１０における顔部の座標位置と画像データｇ１１における顔部の座標位置とを検出し、これら座標位置の差分から各画像データｇ１０、ｇ１１間の顔部の移動量を算出し、この移動量を各画像データｇ１０、ｇ１１間での顔部の座標位置に対する補正量とする。各画像データｇ１０、ｇ１１における顔部の各座標位置は、顔検出部２０により検出される顔部に対応する各画像データｇ１０、ｇ１１中の第１の画像領域の例えば中心座標から求められる。
従って、例えば各画像データｇ１０、ｇ１４の間であれば、補正量算出部２２−１は、画像データｇ１０における顔部の座標位置と画像データｇ１４における顔部の座標位置とを検出し、これら座標位置の差から各画像データｇ１０、ｇ１４間の顔部の移動量を算出し、この移動量を各画像データｇ１０、ｇ１４間での顔部の座標位置に対する補正量とする。

具体的に、補正量算出部２２−１は、図５に示す補正量算出フローチャートに従って補正量を求める。
すなわち、補正量算出部２２−１は、ステップＳ２０において、顔検出部２０により検出される例えば画像データｇ１０における顔部に対応する第１の画像領域の位置情報と、例えば最新の画像データｇ１４における顔部に対応する第１の画像領域の位置情報とを入力し、これら位置情報を取得する。

補正量算出部２２−１は、ステップＳ２１において、画像データｇ１０における顔部に対応する第１の画像領域の中心座標（Ｘ１０、Ｙ１０）を求めると共に、最新の画像データｇ１４における顔部に対応する第１の画像領域の中心座標（Ｘ１４、Ｙ１４）を求める。補正量算出部２２−１は、画像データｇ１０と最新の画像データｇ１４の顔部の座標位置の差分（Ｘ１４−Ｘ１０、Ｙ１４−Ｙ１０）を算出する。

補正量算出部２２−１は、ステップＳ２２において、画像データｇ１０における顔部の回転角度θ１０を求めると共に、最新の画像データｇ１４における顔部の回転角度θ１４を求め、これら画像データｇ１０と最新の画像データｇ１４の顔部の回転角度の差分（θ１４−θ１０）を算出する。

補正量算出部２２−１は、ステップＳ２３において、画像データｇ１０における顔部の大きさＬ１０を求めると共に、最新の画像データｇ１４における顔部の大きさＬ１４を求め、これら画像データｇ１０と最新の画像データｇ１４の顔部の大きさの比率（例えばＬ１４／Ｌ１０）を算出する。顔部の大きさＬ１０、Ｌ１４は、例えば画像データ上で顔部の占める面積を用いる。

補正量算出部２２−１は、ステップＳ２４において、画像データｇ１０と最新の画像データｇ１４の顔部の座標位置の差分（Ｘ１４−Ｘ１０、Ｙ１４−Ｙ１０）と、顔部の回転角度の差分（θ１４−θ１０）と、顔部の大きさの比率（例えばＬ１４／Ｌ１０）とを補正量として例えばＤＲＡＭ１２に保存する。

以上のステップＳ４の処理を終了すると、ＣＰＵ１０は、ステップＳ５において、器官検出部２１による顔部内の少なくとも１つの器官、例えば眼部、口部又は鼻部の検出が完了したか否かを判定する。
ここで、上記補正量算出部２２−１により補正量を算出した時点では、器官検出部２１による顔部内の眼部、鼻部、口部等の器官の検出は完了していない。従って、ＣＰＵ１０は、ステップＳ２に戻り、撮像時刻の異なる連続した複数の画像データについて顔検出処理を行う。
一方、上記ステップＳ３において、器官検出を実行していない場合、つまり最初の顔検出処理の実行後や器官検出完了後の場合、ＣＰＵ１０は、ステップＳ６に移り、器官検出部２１に対して顔部内の眼部、鼻部、口部等の器官の検出を開始する命令を発する。
この器官検出部２１は、ステップＳ７において、顔検出部２０により検出される第１の画像領域から顔部内の少なくとも１つの器官、例えば眼部、口部又は鼻部に対応する第２の画像領域を検出する。これら器官の検出は、顔部の検出の結果である顔部の位置座標を受けて行われる。例えば、画像データｇ１０の眼部等の器官の検出処理は、画像データｇ１０により検出された顔部の位置座標に基づいて顔部内の眼部、鼻部、口部等の器官を検出する。この器官の検出処理には、例えば２つの画像データｇ１０、ｇ１１をディスプレイ１８に表示するに要する時間分だけ必要とする。
ＣＰＵ１０は、上記ステップＳ７の実行後、再び、ステップＳ５において、器官検出部２１による顔部内の少なくとも１つの器官、例えば眼部、口部又は鼻部の検出が完了したか否かを判定する。この判定の結果、例えば眼部、口部又は鼻部等の検出が完了すると、ＣＰＵ１０は、ステップＳ８に移り、器官情報補正部２２−２に対して例えば眼部、口部又は鼻部の画像データ上での画像位置を補正する命令を発する。
ＣＰＵ１０は、ステップＳ８を実行後、ステップＳ９に移行して器官領域情報の補正量を「０」に初期化する。そして、ＣＰＵ１０は、ステップＳ１０に移行して、操作部１７の操作によるスルー画動作の停止指示が発生したか判定し、停止指示があれば本処理を終了し、停止指示がなければ上記ステップＳ２に戻って繰り返し動作を行う。

上記ステップＳ８における器官領域情報の補正の処理において、器官情報補正部２２−２は、補正量算出部２２−１により算出された人物の顔部の大きさの変化の補正量、水平方向への移動の補正量、垂直方向への移動の補正量、回転変化の補正量、又は上下左右方向に対する傾きの変化の補正量のうち少なくとも１つの補正量を受け取り、当該補正量を用いて器官検出部２１により検出される少なくとも１つの器官、例えば眼部、口部又は鼻部の画像データ上での画像位置を補正する。
具体的に、器官情報補正部２２−２は、図６に示す補正処理フローチャートに従って補正量を求める。
すなわち、器官情報補正部２２−２は、ステップＳ３０において、補正量算出部２２−１によって被写体７の顔部の上下左右方向に対する傾きの変化を検出したか否かを判定する。この判定の結果、補正量算出部２２−１によって被写体７の顔部の上下左右方向に対する傾きの変化を検出すると、器官情報補正部２２−２は、顔部の大きさの変化、水平方向への移動、垂直方向への移動、回転変化を用いた補正を実施せず、補正処理を終了する。

補正量算出部２２−１によって被写体７の顔部の上下左右方向に対する傾きの変化を検出しなければ、器官情報補正部２２−２は、ステップＳ３１に移り、補正量算出部２２−１により算出された水平方向への移動の補正量（Ｘ１４−Ｘ１０）、垂直方向への移動の補正量（Ｙ１４−Ｙ１０）を用いて図４に示す画像データｇ１０上の例えば眼部、口部又は鼻部の座標位置を補正する。具体的に器官情報補正部２２−２は、左右の眼部の中心座標を水平方向の補正量（Ｘ１４−Ｘ１０）、垂直方向の補正量（Ｙ１４−Ｙ１０）に従ってシフトして左右の眼部の座標位置を補正する。

器官情報補正部２２−２は、ステップＳ３２において、補正量算出部２２−１により算出された人物の顔部の大きさの変化の補正量、すなわち顔部の大きさの比率、例えば比率Ｌ１４／Ｌ１０を用いて器官検出部２１により検出される少なくとも１つの器官、例えば眼部、口部又は鼻部の画像データ上での大きさを補正する。例えば器官情報補正部２２−２は、画像データｇ１０上の例えば左右の眼部に対応する画像領域に比率Ｌ１４／Ｌ１０を乗算して画像データｇ１４上での左右の眼部の大きさを補正する。

器官情報補正部２２−２は、ステップＳ３３において、画像データｇ１０上で補正した左右の眼部の大きさから当該左右の眼部の目尻と目頭との補正後の各座標位置を算出する。すなわち、
補正後の左眼部の目尻の補正後のＸ座標は、補正後の左眼部のＸ座標の中心から補正後の左眼部の大きさの２分の１を加算して求める。
補正後の左眼部の目尻の補正後のＹ座標は、補正後の左眼部のＹ座標の中心である。
補正後の左眼部の目頭の補正後のＸ座標は、補正後の左眼部のＸ座標の中心から補正後の左眼部の大きさの２分の１を差し引いて求める。
補正後の左眼部の目頭の補正後のＹ座標は、補正後の左眼部のＹ座標の中心である。
補正後の右眼部の目尻の補正後のＸ座標は、補正後の右眼部のＸ座標の中心から補正後の右眼部の大きさの２分の１を差し引いて求める。
補正後の右眼部の目尻の補正後のＹ座標は、補正後の右眼部のＹ座標の中心である。
補正後の右眼部の目頭の補正後のＸ座標は、補正後の右眼部のＸ座標の中心から補正後の右眼部の大きさの２分の１を加算して求める。
補正後の右眼部の目頭の補正後のＹ座標は、補正後の右眼部のＹ座標の中心である。
器官情報補正部２２−２は、ステップＳ３４において、例えば、画像データｇ１０の顔部の回転角度θ１０と、最新の画像データｇ１４の顔部の回転角度θ１４とから顔部の回転角度に変化があるか否かを判定する。この判定の結果、当該顔部の回転角度に変化がなければ、器官情報補正部２２−２は、図６に示す補正処理フローチャートの実行を終了する。

一方、顔部の回転角度に変化があれば、器官情報補正部２２−２は、ステップＳ３５において、次式（１）に従って左右の眼部の目尻の座標位置を角度補正量分だけアフィン変換する。

器官情報補正部２２−２は、ステップＳ３６において、次式（２）に従って左右の眼部の目頭の座標位置を角度補正量分だけアフィン変換する。

図７は被写体としての人物の顔部７の傾きに対する補正を示すもので、同図（ａ）は補正前の顔部７に対する顔部検出領域Ｋを示し、同図（ｂ）は器官検出部２１の検出結果を用いての顔部７の傾きθを示し、同図（ｃ）は補正後の顔部７に対する顔部検出領域Ｋを示す。同図（ｃ）に示すように顔部７の傾きθに対して同一傾きθだけ傾いて顔部検出領域Ｋを設けることが出来る。

この結果、被写体として例えば人物の顔部が移動していても、例えば顔部を検出するときの画像データｇ１０上と合焦領域を決定する画像データｇ１４上とにおいて、顔部の座標位置がそれぞれ相違していても、画像データｇ１０から検出した顔部検出領域Ｋ及びその眼部、鼻部、口部等の器官の座標位置は、画像データｇ１４上の顔部及びその眼部、鼻部、口部等の器官との座標位置と位置ずれせずに一致するようになる。
画像処理部１５は、顔部補正部２２により顔部及びその眼部、鼻部、口部等の器官の座標位置を補正した画像データｇ１４上において焦点検出領域を決定し、当該焦点検出領域の画像データに基づいて焦点調節を行う。

このように上記一実施の形態によれば、器官検出部２１は、顔検出部２０により検出される顔部に対応する第１の画像領域から顔部内の少なくとも１つの器官、例えば眼部、口部又は鼻部を検出し、顔部の移動位置を複数の画像データ上で追従し、少なくとも１つの器官、例えば眼部、口部又は鼻部の画像データ上での画像位置を補正するので、上記の通り、被写体として例えば人物の顔部が移動し、例えば顔部を検出するときの画像データｇ１０上と合焦領域を決定する画像データｇ１４上とにおいて顔部の座標位置がそれぞれ相違していても、顔部のＸＹ方向の移動量に基づいて画像データｇ１４上の顔部及びその眼部、鼻部、口部等の器官との座標位置を補正して実際の顔部に顔部検出領域Ｋを合わせることができ、正確な合焦状態を得ることができる。

なお、顔部補正部２２は、眼部、鼻部、口部等の器官の座標位置の補正と同様の方法で、例えば眼部、鼻部、口部等の輪郭線やあごの輪郭情報のような器官の形状特徴や輪郭特徴を検出して座標位置の補正を行ってもよい。器官の形状特徴や輪郭特徴の情報に基づく座標位置の補正を行うことは、器官の一部の情報を検出するので検出に要する演算時間等を短縮することが可能であり、処理を高速化することができる。
上記一実施の形態では、被写体として人物の顔部を撮像しているが、これに限らず、移動する被写体、例えば鉄道、航空機、動物であっても良い。
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１：装置本体、２：レンズ系、３：絞り、４：メカシャッター、５：撮像素子、６：駆動部、７：被写体、８：アナログ増幅器（Ａ−ＡＭＰ）、９：アナログ／デジタル変換器（ＡＤＣ）、１０：ＣＰＵ、１１：バス、１２：ＤＲＡＭ、１３：ＲＯＭ、１４：フラッシュ（ＦＬＡＳＨ）メモリ、１５：画像処理部、１６：ビデオエンコーダ、１７：操作部、１８：ディスプレイ、２０：顔検出部、２１：器官検出部、２２：顔部補正部、２３：内部バス、２２−１：補正量算出部、２２−２：器官情報補正部。

Claims (13)

1. 撮像時刻の異なる連続した複数の画像データのそれぞれから被写体の顔部に対応する第１の画像領域を検出し、かつ前記複数の画像データ上での前記顔部の大きさの変化に関する情報を検出する顔検出部と、
   前記顔検出部により検出される前記第１の画像領域から前記顔部内の少なくとも１つの器官に対応する第２の画像領域を検出する器官検出部と、
   前記顔検出部により検出される前記複数の画像データ上での前記顔部の移動位置に追従して前記複数の画像データ間での前記顔部の大きさの変化に関する情報を前記複数の画像データ間での補正量として算出し、これら補正量のうち少なくとも１つの補正量を用いて前記複数の画像データのうち最新の画像データ上において前記器官検出部により検出される前記少なくとも１つの器官の画像位置を補正する顔部補正部と、
   を具備することを特徴とする画像処理装置。
2. 前記器官検出部は、前記少なくとも１つの器官として眼部、口部、鼻部、又は前記器官の形状特徴及び輪郭特徴を示す特徴点を検出することを特徴とする請求項１記載の画像処理装置。
3. 前記顔部補正部は、前記被写体顔部の大きさの変化に関する情報に基づいて前記器官検出部により検出される前記眼部、前記口部、前記鼻部、又は前記器官の前記形状特徴及び前記輪郭特徴を示す前記特徴点の少なくとも座標位置を補正することを特徴とする請求項２記載の画像処理装置。
4. 前記顔部補正部は、前記被写体顔部の大きさの変化に関する情報に基づいて前記器官検出部により検出される前記眼部、前記口部又は前記鼻部、又は前記器官の前記形状特徴及び前記輪郭特徴を示す前記特徴点の少なくとも大きさを補正することを特徴とする請求項３記載の画像処理装置。
5. 前記顔検出部は、上下左右方向に対する傾きの変化に関する情報を検出することが可能であり、
   前記顔部補正部は、前記顔検出部により前記被写体顔部の前記上下左右方向に対する傾きの変化を検出すると、前記顔部の大きさの変化、を用いた補正を実施しないことを特徴とする請求項１記載の画像処理装置。
6. 前記顔検出部と前記器官検出部とは、互いに非同期で動作することを特徴とする請求項１記載の画像処理装置。
7. 撮像時刻の異なる連続した複数の画像データのそれぞれから被写体の顔部に対応する第１の画像領域を検出し、かつ前記複数の画像データ上での前記顔部の大きさの変化に関する情報を検出し、
   前記第１の画像領域から前記顔部内の少なくとも１つの器官に対応する第２の画像領域を検出し、
   前記複数の画像データ上での前記顔部の移動位置に追従して前記複数の画像データ間での前記顔部の大きさの変化に関する情報を前記複数の画像データ間での補正量として算出し、これら補正量のうち少なくとも１つの補正量を用いて前記複数の画像データのうち最新の画像データ上において前記検出される前記少なくとも１つの器官の画像位置を補正する、
   ことを特徴とする画像処理方法。
8. 前記少なくとも１つの器官として眼部、口部、鼻部、又は前記器官の形状特徴及び輪郭特徴を示す特徴点を検出することを特徴とする請求項７記載の画像処理方法。
9. コンピュータに、
   撮像時刻の異なる連続した複数の画像データのそれぞれから被写体の顔部に対応する第１の画像領域を検出させ、かつ前記複数の画像データ上での前記顔部の大きさの変化に関する情報を検出させる顔検出機能と、
   前記顔検出機能により検出される前記第１の画像領域から前記顔部内の少なくとも１つの器官に対応する第２の画像領域を検出させる器官検出機能と、
   前記顔検出機能により検出される前記複数の画像データ上での前記顔部の移動位置に追従して前記複数の画像データ間での前記顔部の大きさの変化に関する情報を前記複数の画像データ間での補正量として算出させ、これら補正量のうち少なくとも１つの補正量を用いて前記複数の画像データのうち最新の画像データ上において前記器官検出部により検出される前記少なくとも１つの器官の画像位置を補正させる顔部補正機能と、
   を実現させる画像処理プログラム。
10. 前記顔部補正機能は、前記被写体顔部の大きさの変化に関する情報に基づいて前記少なくとも１つの器官として眼部、口部、鼻部、又は前記器官の形状特徴及び輪郭特徴を示す特徴点の少なくとも座標位置を補正させる、
    を実現させる請求項９記載の画像処理プログラム。
11. 光学系で形成された被写体の像を撮像して撮像時刻の異なる連続した複数の画像データを取得する撮像部と、
    前記撮像部の撮像により取得される撮像時刻の異なる連続した複数の画像データのそれぞれから被写体の顔部に対応する第１の画像領域を検出し、かつ前記複数の画像データ上での前記顔部の大きさの変化に関する情報を検出する顔検出部と、
    前記顔検出部により検出される前記第１の画像領域から前記顔部内の少なくとも１つの器官に対応する第２の画像領域を検出する器官検出部と、
    前記顔検出部により検出される前記複数の画像データ上での前記顔部の移動位置に追従して前記複数の画像データ間での前記顔部の大きさの変化に関する情報を前記複数の画像データ間での補正量として算出し、これら補正量のうち少なくとも１つの補正量を用いて前記複数の画像データのうち最新の画像データ上において前記器官検出部により検出される前記少なくとも１つの器官の画像位置を補正する顔部補正部と、
    前記顔部補正部により補正した少なくとも前記画像位置を含む前記画像データ上において焦点検出領域を決定し、当該焦点検出領域の画像データに基づいて焦点調節を行う焦点調節部と、
    を具備することを特徴とする撮像装置。
12. 前記顔部補正部は、前記被写体顔部の大きさの変化に関する情報に基づいて少なくとも１つの器官として眼部、口部、鼻部、又は前記器官の形状特徴及び輪郭特徴を示す特徴点の少なくとも座標位置を補正する、
    ことを特徴とする請求項１１記載の撮像装置。
13. 撮像時刻の異なる連続した複数の画像データのそれぞれから被写体の顔部に対応する第１の画像領域を検出し、かつ前記複数の画像データ上での前記顔部の大きさの変化、水平方向への移動、垂直方向への移動、 回転変化のうちいずれか１つに関する情報を検出する顔検出部と、
    前記顔検出部により検出される前記第１の画像領域から前記顔部内の少なくとも１つの器官に対応する第２の画像領域を検出する器官検出部と、
    前記顔検出部により検出される前記複数の画像データ上での前記顔部の移動位置に追従して前記複数の画像データ間での前記顔部の大きさの変化、前記水平方向への移動量、前記垂直方向への移動量、又は前記回転変化量のうちいずれか１つに関する情報を前記複数の画像データ間での補正量として算出し、これら補正量のうち少なくとも１つの補正量を用いて前記複数の画像データのうち最新の画像データ上において前記器官検出部により検出される前記少なくとも１つの器官の画像位置を補正する顔部補正部と、
    を具備し、
    前記顔検出部は、上下左右方向に対する傾きの変化に関する情報を検出することが可能であり、
    前記顔部補正部は、前記顔検出部による前記被写体顔部の前記上下左右方向に対する傾きの変化がない場合に、前記顔部の大きさの変化、前記水平方向への移動、前記垂直方向への移動、又は前記回転変化を用いた補正を実施する、
    ことを特徴とする画像処理装置。

Images