JP2007306416A - 顔検出枠の表示方法、文字情報の表示方法及び撮像装置 - Google Patents

Abstract

【課題】１回の顔検出に要する時間よりもスルー画像の更新周期が速くてもスルー画像上の顔と顔検出枠とを一致させことができるようにする。
【解決手段】角速度センサ７０の検出出力に基づいて顔検出の対象となった画像の取得時点からの現在のデジタルカメラ１０のパン／ティルトの変化量を求める。そして、前記顔検出の対象となった画像に対する顔検出枠の表示位置を基準にして、前記求めたデジタルカメラ１０のパン／ティルトの変化量に応じて顔検出枠の表示位置を補正する。これによりデジタルカメラ１０をパン／ティルトさせても液晶モニタ１５上に表示されるスルー画像上の顔の位置と顔検出枠の位置とを一致させる。
【選択図】 図２

Description

本発明は顔検出枠の表示方法、文字情報の表示方法、及び撮像装置に係り、特にスルー画像と顔検出枠等の表示位置とを一致させる技術に関する。

デジタルカメラでは被写体像の中から、顔を検出できるものが実用化されている。これらは通常の撮像による自動焦点制御（ＡＦ）や自動露出制御（ＡＥ）が困難な場合でも、顔を検出し、顔領域でＡＦやＡＥを行うことによって、適切な焦点および露出の被写体像を得ることができる。また、顔を検出した時は検出領域に顔検出枠を表示することで、操作者はデジタルカメラが顔を検出したか否かを判断することができる。

特許文献１には、撮像によって得られた被写体像の中に存在する顔の領域を検出し、撮像時に顔の領域をユーザに知らせることができるようにするデジタルカメラが開示されている。また、顔検出枠内の画像を表す画像データを用いてＡＦおよびＡＥが行われる。顔の領域にピントが合い、かつ適正な明るさをもつ被写体像を表す画像データが記録できる。

特許文献２には、撮像によって得られた被写体像の中に存在する顔の領域を検出し、前記顔評価値が最大となる位置に上記レンズを位置決めするように上記レンズ駆動回路を制御するレンズ制御手段を備えているデジタルカメラが開示されている。
特開２００５−２８６９４０号公報 特開２００５−２８４２０３号公報

しかしながら、連続的に撮影表示されているスルー画像上に顔検出枠を表示する場合、１回の顔検出には１〜２秒程度の時間がかかるため、カメラをパン／ティルトすると、スルー画像上の顔の位置と、顔検出枠の位置とがずれてしまうという問題がある。

図２１（Ａ）は顔検出時の元のスルー画像と、カメラを移動させない場合に表示される顔検出枠１とを示している。同図（Ａ）に示すように、カメラを移動させない場合には、顔検出枠１は、スルー画像上に表示された顔画像を示す位置（顔を囲む位置）に表示される。

一方、顔検出時点から次の顔検出までの間にカメラを右にパンさせると、静止している顔検出枠１に対してスルー画像が左に移動し、スルー画像上の顔の位置と顔検出枠１の位置とがずれ（図２１（Ｂ））、同様にカメラを下へティルトさせると、静止している顔検出枠１に対してスルー画像が上に移動し、スルー画像上の顔の位置と顔検出枠１の位置とがずれる（図２１（Ｃ））。

これに対し、スルー画像の更新周期を顔検出周期と同一にすることによって上記問題を解決することができるが、この場合には、素早くスルー画像を知ることができず、構図を決める上で問題が発生する。

本発明はこのような事情に鑑みてなされたもので、スルー画像の更新周期が速くてもスルー画像上の顔と顔検出枠との位置を一致させ、また、スルー画像中の文字画像とその文字画像の文字を示す文字情報との位置関係を一定に保持することができる顔検出枠の表示方法、文字情報の表示方法及び撮像装置を提供することを目的とする。

前記目的を達成するために請求項１に係る発明は、被写体を示す画像信号を所定の周期で連続的に取得し、この取得した画像信号に基づいて動画のスルー画像を表示手段に表示させるとともに、前記取得した画像信号に基づいて前記スルー画像中に含まれる被写体の顔を検出し、この検出した被写体の顔を囲む顔検出枠を前記スルー画像に合成して前記表示手段に表示させる撮像装置における顔検出枠の表示方法であって、前記顔検出の対象となった画像の取得時点からの前記撮像装置の動きを検出し、前記顔検出の対象となった画像に対する前記顔検出枠の表示位置を基準にして、前記検出した撮像装置の動きに応じて前記顔検出枠の表示位置を補正することを特徴としている。

即ち、顔検出の対象となった画像の取得時点からの撮像装置の動きに応じて顔検出枠の表示位置を補正するようにしたため、撮像装置をパン／ティルトさせてもスルー画像上の顔の位置と顔検出枠の位置とを一致させることができる。

請求項２に示すように請求項１に記載の顔検出枠の表示方法において、前記撮像装置の動きの検出は、該撮像装置の角速度を検出する角速度センサの検出出力に基づいて行うことを特徴としている。

請求項３に示すように請求項１に記載の顔検出枠の表示方法において、前記撮像装置の動きの検出は、該撮像装置から連続的に取得される画像信号に基づいて画像の動きベクトルを検出することによって行うことを特徴としている。

請求項４に示すように請求項２に記載の顔検出枠の表示方法において、被写体の撮影時の撮影レンズの焦点距離を検出し、前記枠表示位置の補正は、前記角速度センサの検出出力、及び前記検出した焦点距離に基づいて行うことを特徴としている。撮影レンズの焦点距離に応じて撮像装置をパン／ティルトさせたときのスルー画像の移動量が異なるため、角速度センサによって検出されるパン／ティルトの変化量の他に撮影レンズの焦点距離も考慮して顔検出枠の表示位置を補正するようにしている。

請求項５に示すように請求項１乃至４のいずれかに記載の顔検出枠の表示方法において、前記検出した撮像装置の動きに応じて画像の手ブレを補正し、前記手ブレ補正によって補正できない前記撮像装置の動きに応じて前記顔検出枠の表示位置を補正することを特徴としている。

これにより、手ブレ補正では補正されない撮像装置の動き（パン／ティルト）のみに応じて顔検出枠を移動させることができ、スルー画像上の顔と顔検出枠とを相対的に固定することができる。

請求項６に示すように請求項１乃至５のいずれかに記載の顔検出枠の表示方法において、前記取得した画像信号に基づいて前記スルー画像中に含まれる被写体の顔の特徴量から人物を特定し、前記特定した人物の名前を該人物の位置に対応付けて前記スルー画像に合成して表示し、前記検出した撮像装置の動きに応じて前記人物の名前の表示位置を補正することを特徴としている。

被写体の顔の特徴量から特定した人物の名前を該人物の位置に対応付けてスルー画像に合成して表示することができるとともに、撮像装置の動きに応じて前記人物の名前の表示位置も補正することができるようにしている。

請求項７に係る発明は、被写体を示す画像信号を所定の周期で連続的に取得し、この取得した画像信号に基づいて動画のスルー画像を表示手段に表示させるとともに、前記取得した画像信号に基づいて前記スルー画像中に含まれる文字画像を検出し、この検出した文字画像の文字又は該文字画像の文字を翻訳した文字情報を、前記スルー画像上の文字画像の近傍に合成して表示させる撮像装置における文字情報の表示方法であって、前記文字検出の対象となった画像の取得時点からの前記撮像装置の動きを検出し、前記文字検出の対象となった画像に対する前記文字情報の表示位置を基準にして、前記検出した撮像装置の動きに応じて前記文字情報の表示位置を補正することを特徴としている。

スルー画像中に含まれる文字画像を検出し、この検出した文字画像の文字又は該文字画像の文字を翻訳した文字情報を、前記スルー画像上の文字画像の近傍に合成して表示させることができ、特に文字検出の対象となった画像の取得時点からの撮像装置の動きに応じて文字情報の表示位置を補正するようにしたため、撮像装置をパン／ティルトさせてもスルー画像上の文字画像の位置と文字情報の位置とを相対的に固定することができる。

請求項８に示すように請求項７に記載の文字情報の表示方法において、前記撮像装置の動きの検出は、該撮像装置の角速度を検出する角速度センサの検出出力に基づいて行うことを特徴としている。

請求項９に示すように請求項７に記載の文字情報の表示方法において、前記撮像装置の動きの検出は、該撮像装置から連続的に取得される画像信号に基づいて画像の動きベクトルを検出することによって行うことを特徴としている。

請求項１０に示すように請求項８に記載の文字情報の表示方法において、被写体の撮影時の撮影レンズの焦点距離を検出し、前記文字情報の表示位置の補正は、前記角速度センサの検出出力、及び前記検出した焦点距離に基づいて行うことを特徴としている。

請求項１１に示すように請求項７乃至１０のいずれかに記載の文字情報の表示方法において、前記検出した撮像装置の動きに応じて画像の手ブレを補正し、前記手ブレ補正によって補正できない前記撮像装置の動きに応じて前記文字情報の表示位置を補正することを特徴としている。

請求項１２に係る撮像装置は、被写体を撮像する撮像手段と、前記撮像手段を介して被写体を示す画像信号を所定の周期で連続的に取得する画像取得手段と、前記取得した画像信号に基づいて動画のスルー画像を表示する表示手段と、前記取得した画像信号に基づいて前記スルー画像中に含まれる被写体の顔を検出する顔検出手段であって、前記連続的に取得される画像信号の周期よりも顔検出用の画像信号を入力してから顔検出するまでに長い時間を要する顔検出手段と、前記検出した被写体の顔を囲む顔検出枠を前記スルー画像に合成して表示させる顔検出枠表示制御手段と、撮像装置の動きを検出する動き検出手段と、前記顔検出手段が次回の顔検出を完了するまでの間、前記動き検出手段の検出出力に基づいて前記表示手段に表示された顔検出枠の表示位置を補正する枠表示位置補正手段と、を備えたことを特徴としている。

請求項１３に示すように請求項１２に記載の撮像装置において、前記動き検出手段は、撮像装置の角速度を検出する角速度センサを含むことを特徴としている。

請求項１４に示すように請求項１２に記載の撮像装置において、前記動き検出手段は、前記連続的に取得される画像信号に基づいて画像の動きベクトルを検出する動きベクトル検出手段であることを特徴としている。

請求項１５に示すように請求項１３に記載の撮像装置において、被写体の撮影時の撮影レンズの焦点距離を検出する検出手段を備え、前記枠表示位置補正手段は、前記角速度センサの検出出力、及び前記検出した焦点距離に基づいて前記表示手段に表示された顔検出枠の表示位置を補正することを特徴としている。

請求項１６に示すように請求項１２乃至１５のいずれかに記載の撮像装置において、前記動き検出手段の検出出力に基づいて手ブレを検出して画像のブレを補正する手ブレ補正手段を備え、前記枠表示位置補正手段は、前記動き検出手段の検出出力に基づいて手ブレ補正後のパン／ティルト角を検出し、該パン／ティルト角に基づいて前記表示手段に表示された顔検出枠の表示位置を補正することを特徴としている。

請求項１７に示すように請求項１２乃至１６のいずれかに記載の撮像装置において、前記取得した画像信号に基づいて前記スルー画像中に含まれる被写体の顔の特徴量から人物を特定する人物特定手段と、前記特定した人物の名前を該人物の位置に対応付けて前記スルー画像に合成して表示させる名前表示制御手段と、前記人物特定手段が次回の人物特定を完了するまでの間、前記動き検出手段の検出出力に基づいて前記表示手段に表示された人物の名前の表示位置を補正する名前表示位置補正手段と、を備えたことを特徴としている。

請求項１８に係る撮像装置は、被写体を撮像する撮像手段と、前記撮像手段を介して被写体を示す画像信号を所定の周期で連続的に取得する画像取得手段と、前記取得した画像信号に基づいてスルー画像を表示する表示手段と、前記取得した画像信号に基づいて前記スルー画像中に含まれる文字画像が示す文字を検出する文字検出手段であって、前記連続的に取得される画像信号の周期よりも文字検出用の画像信号を入力してから文字検出するまでに長い時間を要する文字検出手段と、前記検出した文字又は該文字を翻訳した文字を示す文字情報を、前記スルー画像上の文字画像の近傍に合成して表示させる文字表示制御手段と、撮像装置の動きを検出する動き検出手段と、前記文字検出手段が次回の文字検出を完了するまでの間、前記動き検出手段の検出出力に基づいて前記表示手段に表示された文字情報の表示位置を補正する文字表示位置補正手段と、を備えたことを特徴としている。

請求項１９に示すように請求項１８に記載の撮像装置において前記動き検出手段は、撮像装置の角速度を検出する角速度センサを含むことを特徴としている。

請求項２０に示すように請求項１８に記載の撮像装置において、前記動き検出手段は、前記連続的に取得される画像信号に基づいて画像の動きベクトルを検出する動きベクトル検出手段であることを特徴としている。

請求項２１に示すように請求項１９に記載の撮像装置において、被写体の撮影時の撮影レンズの焦点距離を検出する検出手段を備え、前記文字表示位置補正手段は、前記角速度センサの検出出力、及び前記検出した焦点距離に基づいて前記表示手段に表示された文字情報の表示位置を補正することを特徴としている。

請求項２２に示すように請求項１８乃至２１のいずれかに記載の撮像装置において、前記動き検出手段の検出出力に基づいて手ブレを検出して画像のブレを補正する手ブレ補正手段を備え、前記文字表示位置補正手段は、前記動き検出手段の検出出力に基づいて手ブレ補正後のパン／ティルト角を検出し、該パン／ティルト角に基づいて前記表示手段に表示された文字情報の表示位置を補正することを特徴としている。

本発明によれば、スルー画像の更新周期が速くても、スルー画像中の顔検出の対象となった画像の取得時点からの撮像装置の動きに応じて顔検出枠の表示位置を補正するようにしたため、撮像装置をパン／ティルトさせてもスルー画像上の顔の位置と顔検出枠の位置とを相対的に固定することができる。同様に、スルー画像中に含まれる文字又は該文字を翻訳した文字を示す文字情報を、前記スルー画像上の文字の近傍に合成して表示させることができ、特に文字検出の対象となった画像の取得時点からの撮像装置の動きに応じて文字情報の表示位置を補正するようにしたため、撮像装置をパン／ティルトさせてもスルー画像上の文字位置と文字情報の位置とを相対的に固定することができる。

以下、添付図面に従って本発明に係る顔検出枠の表示方法、文字情報の表示方法及び撮像装置の好ましい実施の形態について説明する。

［本発明に係る撮像装置の外観構成］
図１は本発明に係る撮像装置（デジタルカメラ）を後方から見た斜視図であり、カメラ筐体１１から鏡胴１２が繰り出されている状態に関して示している。

このデジタルカメラ１０は、静止画や動画の記録及び画像再生することができるもので、特に顔検出機能を有するとともに、顔検出枠をスルー画像上に表示する機能を有している。カメラ筐体１１の上面には、シャッターボタン１３及び電源スイッチ１４が設けられている。シャッターボタン１３は、半押し時にＯＮしてフォーカスロック、測光等の撮影準備を行わせるスイッチＳ１と、全押し時にＯＮして画像の取り込みを行わせるスイッチＳ２とを有している。

カメラ筐体１１の背面には、液晶モニタ１５、光学ファインダの接眼部１６、マルチファンクションの左右キー１７ａ，１７ｃ、及び上下キー１７ｂ、撮影モード又は再生モードを選択するモードスイッチ１８、液晶モニタ１５の表示／非表示を選択する表示ボタン１９、キャンセル／戻るボタン２１、及びメニュー／実行ボタン２２が設けられている。

液晶モニタ１５は、動画（スルー画像）を表示して電子ビューファインダとして使用できるとともに、カメラに装填されたメモリカードから読み出した再生画像等を表示することができる。また、液晶モニタ１５は、カメラの動作モードやホワイトバランス、画像のピクセル数、感度等をマニュアル設定する際の各種のメニュー画面をメニュー／戻るボタン２２の操作に応じて表示させ、左右キー１７ａ，１７ｃ、上下キー１７ｂ、及びメニュー／戻るボタン２２の操作に応じてマニュアル設定項目の設定が可能なグラフィカル・ユーザ・インターフェース（ＧＵＩ）用の画面を表示する。更に、液晶モニタ１５は、後述するように顔検出枠を表示する。

＜第１の実施の形態＞
図２は図１に示したデジタルカメラ１０の第１の実施の形態の内部構成の一例を示すブロック図である。

デジタルカメラ１０全体の動作は、中央処理装置（ＣＰＵ）３０によって統括制御される。ＣＰＵ３０は、所定のプログラムに従って本カメラシステムを制御する制御手段として機能するとともに、自動露出（ＡＥ）演算、自動焦点調節（ＡＦ）演算、ホワイトバランス（ＷＢ）調整演算など、各種演算を実施する演算手段として機能する。

バス３１を介してＣＰＵ３０と接続されたメモリ３２は、ＣＰＵ３０が実行するプログラム及び制御に必要な各種データ等が格納されたＲＯＭと、プログラムの展開領域及びＣＰＵ３０の演算作業用領域として利用されるとともに、画像データの一時記憶領域として利用されるＳＤＲＡＭとを含んでいる。ＶＲＡＭ３４は画像データ専用の一時記憶メモリであり、交互に画像データを読み書きするＡ領域とＢ領域が含まれている。

デジタルカメラ１０には、前述したようにシャッターボタン１３、モードスイッチ１８等の操作部が設けられており、この操作部からの信号はＣＰＵ３０に入力され、ＣＰＵ３０は入力信号に基づいてデジタルカメラ１０の各回路を制御し、例えば、レンズ駆動制御、撮影動作制御、画像処理制御、画像データの記録／再生制御、液晶モニタ１５の表示制御などを行う。

モードスイッチ１８を操作して可動接片１８Ａを接点ａに接続させると、その信号がＣＰＵ３０に入力され、撮影モードに設定され、可動接片１８Ａを接点ｂに接続させると、記録済みの画像を再生する再生モードに設定される。

メディアコントローラ３６は、メディアソケットに装着される記録メディア３８に適した入出力信号の受渡しを行うために所要の信号変換を行う。

また、このデジタルカメラ１０は、スルー画像表示中におけるカメラの動きを検出するための角速度センサ７０を備えている。この角速度センサ７０からのカメラの左右／上下（パン／ティルト）方向の角速度を示す検出信号は、ＣＰＵ３０に出力される。

顔検出回路３５は、画像照合回路３５Ａ及び顔画像テンプレート３５Ｂを含み、スルー画像中に含まれる被写体（人物）の顔を検出し、その顔の位置や大きさの情報をＣＰＵ３０に出力する。

即ち、顔検出回路３５の画像照合回路３５Ａは、スルー画像の画面内で、対象領域の位置を移動させながら、対象領域の画像と顔画像テンプレート３５Ｂとを照合し、両者の相関を調べる。そして、相関スコアが予め設定された閾値を越えると、その対象領域を顔領域として認定する。その他、顔検出方法には、エッジ検出又は形状パターン検出による顔検出方法、色相検出又は肌色検出による顔検出方法等の公知の方法を利用することができる。

ＣＰＵ３０は、顔検出回路３５から顔領域の位置及び大きさを示す情報を取得すると、その取得した人物の顔領域を囲む顔検出枠をスルー画像に合成して、液晶モニタ１５に表示させることができるようになっている。

また、ＣＰＵ３０は、角速度センサ７０から入力する検出信号に基づいて顔検出した画像（フレーム画像）の取得時点から、現在液晶モニタ１５に表示されているスルー画像（リアルタイムの画像）までの間のデジタルカメラ１０のパン／ティルト方向の変化量（角度）を検出し、この検出した変化量に応じて、顔検出した画像に対する顔検出枠の表示位置を基準にして顔検出枠の表示位置を補正するように動作する。尚、この顔検出枠の表示方法の詳細については後述する。

次に、デジタルカメラ１０の撮影機能について説明する。

モードスイッチ１８によって撮影モードが選択されると、カラーＣＣＤ固体撮像素子（以下「ＣＣＤ」と記載）４０を含む撮像部に電源が供給され、撮影可能な状態になる。

レンズユニット４２は、フォーカスレンズを含む撮影レンズ４４と絞り兼用メカシャッター４６とを含む光学ユニットである。レンズユニット４２は、ＣＰＵ３０によって制御されるモータドライバ４８、５０によって電動駆動され、ズーム制御、フォーカス制御及びアイリス制御が行われる。

レンズユニット４２を通過した光は、ＣＣＤ４０の受光面に結像される。ＣＣＤ４０の受光面には多数のフォトダイオード（受光素子）が二次元的に配列されており、各フォトダイオードに対応して赤（Ｒ）、緑（Ｇ）、青（Ｂ）の原色カラーフィルタが所定の配列構造（ベイヤー、Ｇストライプなど）で配置されている。また、ＣＣＤ４０は、各フォトダイオードの電荷蓄積時間（シャッタースピード）を制御する電子シャッター機能を有している。ＣＰＵ３０は、タイミングジェネレータ５２を介してＣＣＤ４０での電荷蓄積時間を制御する。

ＣＣＤ４０の受光面に結像された被写体像は、各フォトダイオードによって入射光量に応じた量の信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、ＣＰＵ３０の指令に従いタイミングジェネレータ５２から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号（画像信号）として順次読み出される。

ＣＣＤ４０から出力された信号はアナログ処理部（ＣＤＳ／ＡＭＰ）５４に送られ、ここで画素ごとのＲ，Ｇ，Ｂ信号がサンプリングホールド（相関二重サンプリング処理）され、増幅された後、Ａ／Ｄ変換器５６に加えられる。Ａ／Ｄ変換器５６によってデジタル信号に変換された点順次のＲ，Ｇ，Ｂ信号は、画像入力コントローラ５８を介してメモリ３２に記憶される。

画像信号処理回路６０は、メモリ３２に記憶されたＲ，Ｇ，Ｂ信号をＣＰＵ３０の指令に従って処理する。即ち、画像信号処理回路６０は、同時化回路（単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理回路）、ホワイトバランス補正回路、ガンマ補正回路、輪郭補正回路、輝度・色差信号生成回路等を含む画像処理手段として機能し、ＣＰＵ３０からのコマンドに従ってメモリ３２を活用しながら所定の信号処理を行う。

画像信号処理回路６０に入力されたＲＧＢの画像データは、画像信号処理回路６０において輝度信号（Ｙ信号）及び色差信号（Ｃr,Ｃb 信号）に変換されるとともに、ガンマ補正等の所定の処理が施される。画像信号処理回路６０で処理された画像データはＶＲＡＭ３４に格納される。

撮影画像を液晶モニタ１５に表示する場合、ＶＲＡＭ３４から画像データが読み出され、バス３１を介してビデオエンコーダ６２に送られる。ビデオエンコーダ６２は、入力された画像データを表示用の所定方式の信号（例えば、ＮＴＳＣ方式のカラー複合映像信号）に変換して画像表示装置２８に出力する。

ＣＣＤ４０から出力される画像信号によって、１コマ分の画像を表す画像データがＡ領域とＢ領域とで交互に書き換えられる。ＶＲＡＭ３４のＡ領域及びＢ領域のうち、画像データが書き換えられている方の領域以外の領域から、書き込まれている画像データが読み出される。このようにしてＶＲＡＭ３４内の画像データが定期的に書き換えられ、その画像データから生成される映像信号が液晶モニタ１５に供給されることにより、撮像中の映像がリアルタイムに液晶モニタ１５に表示される。撮影者は、液晶モニタ１５に表示される映像（スルー画像）によって撮影画角を確認できる。

シャッターボタン１３が半押しされ、Ｓ１がオンすると、デジタルカメラ１０はＡＥ及びＡＦ処理を開始する。即ち、ＣＣＤ４０から出力された画像信号はＡ／Ｄ変換後に画像入力コントローラ５８を介してＡＦ検出回路６４並びにＡＥ／ＡＷＢ検出回路６６に入力される。

ＡＥ／ＡＷＢ検出回路６６は、１画面を複数のエリア（例えば、１６×１６）に分割し、分割エリアごとにＲＧＢ信号を積算する回路を含み、その積算値をＣＰＵ３０に提供する。ＣＰＵ３０は、ＡＥ／ＡＷＢ検出回路６６から得た積算値に基づいて被写体の明るさ（被写体輝度）を検出し、撮影に適した露出値（撮影ＥＶ値）を算出する。求めた露出値と所定のプログラム線図に従い、絞り値とシャッタースピードが決定され、これに従いＣＰＵ３０はＣＣＤ４０の電子シャッター及びアイリスを制御して適正な露光量を得る。

また、ＡＥ／ＡＷＢ検出回路６６は、自動ホワイトバランス調整時には、分割エリアごとにＲＧＢ信号の色別の平均積算値を算出し、その算出結果をＣＰＵ３０に提供する。ＣＰＵ３０は、Ｒの積算値、Ｂの積算値、Ｇの積算値を得て、各分割エリアごとにＲ／Ｇ及びＢ／Ｇの比を求め、これらＲ／Ｇ、Ｂ／Ｇの値のＲ／Ｇ、Ｂ／Ｇの色空間における分布等に基づいて光源種判別を行い、判別された光源種に適したホワイトバランス調整値に従って、例えば、各比の値がおよそ１（つまり、１画面においてＲＧＢの積算比率がＲ：Ｇ：Ｂ≒１：１：１）になるように、ホワイトバランス調整回路のＲ，Ｇ，Ｂ信号に対するゲイン値（ホワイトバランス補正値）を制御し、各色チャンネルの信号に補正をかける。

本デジタルカメラ１０におけるＡＦ制御は、例えば映像信号のＧ信号の高周波成分が極大になるようにフォーカシングレンズ（撮影レンズ４４を構成するレンズ光学系のうちフォーカス調整に寄与する移動レンズ）を移動させるコントラストＡＦが適用される。即ち、ＡＦ検出回路６４は、Ｇ信号の高周波成分のみを通過させるハイパスフィルタ、絶対値化処理部、画面内（例えば、画面中央部）に予め設定されているフォーカス対象エリア内の信号を切り出すＡＦエリア抽出部、及びＡＦエリア内の絶対値データを積算する積算部から構成される。

ＡＦ検出回路６４で求めた積算値のデータはＣＰＵ３０に通知される。ＣＰＵ３０は、モータドライバ４８を制御してフォーカシングレンズを移動させながら、複数のＡＦ検出ポイントで焦点評価値（ＡＦ評価値）を演算し、評価値が極大となるレンズ位置を合焦位置として決定する。そして、求めた合焦位置にフォーカシングレンズを移動させるようにモータドライバ４８を制御する。

シャッターボタン１３が半押しされ、Ｓ１オンによってＡＥ／ＡＦ処理が行われ、シャッターボタン１３が全押しされ、Ｓ２オンによって記録用の撮影動作がスタートする。Ｓ２オンに応動して取得された画像データは画像信号処理回路６０において輝度／色差信号（Ｙ／Ｃ信号）に変換され、ガンマ補正等の所定の処理が施された後、メモリ３２に格納される。

メモリ３２に格納されたＹ／Ｃ信号は、圧縮処理回路６８によって所定のフォーマットに従って圧縮された後、メディアコントローラ３６を介して記録メディア３８に記録される。例えば、静止画についてはJPEG（Joint Photographic Experts Group）形式で記録される。

モードスイッチ１８により再生モードが選択されると、記録メディア３８に記録されている最終の画像ファイル（最後に記録されたファイル）の圧縮データが読み出される。最後の記録に係るファイルが静止画ファイルの場合、この読み出された画像圧縮データは、圧縮処理回路６８を介して非圧縮のＹＣ信号に伸張され、画像信号処理回路６０及びビデオエンコーダ６２を介して表示用の信号に変換された後、液晶モニタ１５に出力される。これにより、当該ファイルの画像内容が液晶モニタ１５の画面上に表示される。

静止画の一コマ再生中（動画の先頭フレーム再生中も含む）に、右キー１７ｃ又は左キー１７ａを操作することによって、再生対象のファイルを切り換えること（順コマ送り／逆コマ送り）ができる。コマ送りされた位置の画像ファイルが記録メディア３８から読み出され、上記と同様にして静止画像や動画が液晶モニタ１５に再生表示される。

次に、本発明に係る顔検出枠の表示方法の第１の実施の形態について説明する。

まず、図３により本発明に係る顔検出枠の表示方法の概要について説明する。

図３（Ａ）は顔検出時の元のスルー画像と、カメラを移動させない場合に表示される顔検出枠１とを示している。

同図（Ａ）に示すように顔検出時点からカメラを移動させない場合には、スルー画像も移動しないため、スルー画像上の顔の位置と、顔検出時点に顔を囲むように表示させた顔検出枠１の位置とは一致する。

一方、図３（Ｂ）に示すように顔検出時点から次の顔検出までの間にカメラを右にパンさせると、顔検出時点のスルー画像（元のスルー画像）は、左方向に移動する。

同様に、図３（Ｃ）に示すように顔検出時点から次の顔検出までの間にカメラを下にティルトさせると、元のスルー画像は、上方向に移動する。

本発明は元のスルー画像に対する現在のスルー画像の移動量を検知し、その移動量に合わせて顔検出枠１を移動させ、これによりデジタルカメラ１０をパン／ティルトさせてもスルー画像上の顔の位置と顔検出枠１の位置とを相対的に固定するようにしている。

図４は本発明に係る顔検出枠の表示方法の第１の実施の形態を示すフローチャートであり、特に撮影モード時におけるスルー画像及び顔検出枠の表示方法に関して示している。

撮影モードが開始されると、まず、ＣＣＤ４０を含む撮像手段を介してスルー画像ｌ（最初のフレーム画像）を取得する（ステップＳ１０）。

続いて、顔検出タスクを起動させ、スルー画像ｌに含まれる顔画像の位置検出を依頼する（ステップＳ１２）。

この依頼により顔検出タスクを個別に開始する。即ち、図５に示すように与えられた１コマのスルー画像を解析し、顔がスルー画像中の何処の位置にあるかを調べる（ステップＳ４０）。

図４に戻って、角速度センサ７０から現在の角速度α_ｎ を取得するとともに、現在のスルー画像ｎを取得する（ステップＳ１４、Ｓ１６）。

続いて、依頼した顔検出タスクが完了しているか否かを判別し（ステップＳ１８）、完了していない場合には、ステップＳ２０に進み、完了している場合には、ステップＳ２２に進む。

ステップＳ２２では、何番目のスルー画像の何処の位置に顔が検出されたかを、顔検出タスクより取得し、また、この顔検出したスルー画像をｍとする。続いて、次の顔検出タスクを起動し、ステップＳ１６で取得したスルー画像ｎの顔の位置検出を依頼する（ステップＳ２４）。

ステップＳ２０では、ステップＳ２２で取得される顔検出されたスルー画像ｍがあるか否かを判別する。顔検出されたスルー画像ｍがない場合には、ステップＳ１６で取得したスルー画像を液晶モニタ１６の画面に表示させる（ステップＳ２６）。この場合、１度も顔検出が完了していないため、顔検出枠は表示されない。

一方、顔検出されたスルー画像ｍがある場合には、ステップＳ１６で取得した現在のスルー画像ｎと、顔検出されたスルー画像ｍとの間のパン角度差、及びティルト角度差を求める（ステップＳ２８）。この角度差β_ｎは、次式に示すようにフレーム間隔ｔと角速度α_ｎとの積の、スルー画像ｍからスルー画像ｎまでの総和から算出することができる。

続いて、上記の角度差から、顔検出されたスルー画像ｍ上の顔検出位置が、現在のスルー画像ｎ上の何処の位置に相当するか求め、顔検出枠の位置を補正する（ステップＳ３０）。角度差と画面位置は線形比例すると近似可能なため、位置補正量は、角度差に定数係数を掛けて算出することができる。尚、撮影レンズ４４がズームレンズの場合には、現在の撮影レンズの焦点距離を検出し、この焦点距離と角度差とに基づいてパン／ティルト後の補正量を求めることができる。

次に、ステップＳ１６で取得したスルー画像ｎを液晶モニタ１５の画面に表示するとともに、ステップＳ３０で求めたスルー画像ｎ上の補正位置（即ち、スルー画像ｍ上の顔位置をパン／ティルト角度差で補正した位置）に顔検出枠を表示し（ステップＳ３２）、ステップＳ１４に戻る。

上記ステップＳ１４からステップＳ３２の処理は、所定のフレームレート（例えば、１／６０秒）で繰り返され、これにより液晶モニタ１５には、動画のスルー画像が表示される。

顔検出タスクの処理時間は、上記フレームレートよりも長い時間（例えば、１、２秒）を要するため、液晶モニタ１５に表示される現在のスルー画像と、顔検出されたスルー画像とは時間が異なるが、上記のように顔検出枠の表示位置を補正することにより、デジタルカメラ１０をパン／ティルトさせても、現在のスルー画像上の顔の位置に顔検出枠を表示することができる。

＜第２の実施の形態＞
図６は本発明に係る撮像装置（デジタルカメラ１０−２）の第２の実施の形態の内部構成の一例を示すブロック図である。尚、図２に示したデジタルカメラ１０と共通する部分には、同一の符号を付し、その詳細な説明は省略する。

図６に示した第２の実施の形態のデジタルカメラ１０−２は、手ブレ補正機能を有する点で、図２に示した第１の実施の形態のデジタルカメラ１０と相違する。

即ち、このデジタルカメラ１０−２は、撮影レンズ４０（の一部のレンズ）を上下左右に振動させるためのモータドライバ７２を備えている。ＣＰＵ３０は、角速度センサ７０からの角速度信号に基づいてデジタルカメラ１０−２の手ブレを検出し、この手ブレを相殺するようにモータドライバ７２を駆動制御し、光学的に手ブレを防止させる。

また、ＣＰＵ３０は、上記のように光学防振することにより、角速度センサ７０の検出出力から検出される角度差に対して、光学防振可能な角度差に対しては顔検出枠の表示位置を補正せず、光学防振不能な角度差に対して顔検出枠の表示位置を補正するようにしている。

図７は本発明に係る顔検出枠の表示方法の第２の実施の形態を示すフローチャートである。尚、図４に示したフローチャートと共通する部分には、同一のステップ番号を付し、その詳細な説明は省略する。

図７に示すように、第２の実施の形態は、第１の実施の形態に対して破線で囲んだステップＳ５０、Ｓ５２、及びＳ５４の処理が追加されている。ここでは、主として手ブレ補正処理が行われている。また、ステップＳ２８の代わりに、ステップＳ２８’の処理を行っている。

即ち、角速度センサ７０から取得した現在の角速度α_ｎに基づいて光学防振できる範囲かどうかを判別する（ステップＳ５０）。

光学防振可能な範囲の場合には、レンズを振って光路を、ｔ×α_ｎ分だけ曲げて手ブレ補正を行う（ステップＳ５２）。

一方、光学防振できない場合には、次式に示すように防振しなかった角度ｔ×α_ｎを、現在の角度φ_ｎ−１に加算し、この加算した角度を、パン／ティルトの角度差φ_ｎとする。

［数２］
φ_ｎ＝φ_ｎ−１＋ｔ×α_ｎ
ステップＳ２８’では、次式に示すようにステップＳ５４で取得した現在のスルー画像ｎのパン／ティルトの角度差φ_ｎと、顔検出されたスルー画像ｍのパン／ティルトの角度差φ_ｍとの差を求める。

［数３］
β_ｎ＝φ_ｎ−φ_ｍ
そして、上記の角度差β_ｎから、顔検出されたスルー画像ｍ上の顔検出位置が、現在のスルー画像ｎ上の何処の位置に相当するか求め、顔検出枠の位置を補正する（ステップＳ３０）。

これにより、角速度センサ７０の出力に基づいて直ちに顔検出枠１を移動させず、手ブレ補正量を越えてデジタルカメラ１０−２の角度が変位する場合（スルー画像ｍが移動する場合）のみ、その移動量に対応して顔検出枠１を移動させることができる。

＜第３の実施の形態＞
図８は本発明に係る撮像装置（デジタルカメラ１０−３）の第３の実施の形態の内部構成の一例を示すブロック図である。尚、図１に示したデジタルカメラ１０と共通する部分には、同一の符号を付し、その詳細な説明は省略する。

図８に示した第３の実施の形態のデジタルカメラ１０−３は、主として第１の実施の形態の角速度センサ７０の代わりに、被写体の動きベクトルを検出する動きベクトル検出回路８０を備えている点で相違する。

動きベクトル検出回路８０は、ＣＣＤ４０等を介して連続的に取得されるスルー画像に基づいて前後の画像間の画面上の移動量と移動方向（動きベクトル）を検出する。この動きベクトルを示す情報は、ＣＰＵ３０に加えられる。

ＣＰＵ３０は、動きベクトル検出回路８０から入力する動きベクトルに基づいて、顔検出したスルー画像と現在のスルー画像との間の画像の位置ずれを求め、現在のスルー画像の位置ずれに応じて顔検出枠の表示位置を補正するようにしている。

図９は本発明に係る顔検出枠の表示方法の第３の実施の形態を示すフローチャートである。尚、図４に示したフローチャートと共通する部分には、同一のステップ番号を付し、その詳細な説明は省略する。

図９に示すように、第３の実施の形態は、第１の実施の形態に対して破線で囲んだステップＳ６０，Ｓ６２、及びＳ６４，Ｓ６６での処理が異なる。

ステップＳ６０、Ｓ６２では、連続するスルー画像間の動きベクトルを検出する。即ち、現在のスルー画像ｎを取得し（ステップＳ６０）、現在のスルー画像ｎと、１フレーム前のスルー画像ｎ−１とから動きベクトルＶｎを検出する（ステップＳ６２）。

ステップＳ６４では、次式に示すように顔検出されたスルー画像ｍから現在のスルー画像ｎまでの、ステップＳ６２で検出した動きベクトルＶｎの総和Δを求める。

この総和Δは、顔検出されたスルー画像ｍに対する現在のスルー画像ｎの画面上の位置ずれ（動きベクトル）を示す。ステップＳ６６では、スルー画像ｎを液晶画面に表示するとともに、前記求めた総和Δが示す動きベクトルだけ顔検出枠の位置を補正する。

これにより、顔検出用スルー画像ｍを取得してからデジタルカメラ１０−３がパン／ティルトしても現在のスルー画像ｎ上の顔を囲むように顔検出枠を移動させることができる。

次に、顔検出タスクの詳細について説明する。

図１０に顔検出タスクの概略を示す。同図（Ａ）に示すように予め設定した顔領域を検出するための最も大きな対象領域を、画面内で少しずつ移動させながら顔画像テンプレートとの相関を調べる。そして、相関スコアが閾値を越えると、そのときの対象領域を顔領域として認定する。

続いて、図１０（Ｂ）に示すように対象領域を少し小さくし、再度、顔画像テンプレートとの相関を調べる。これを検出したい最小の検出領域まで繰り返す。

図１１は顔検出タスクの詳細を示すフローチャートである。

同図に示すように、顔検出を行う最初の画像（スルー画像）か否かを判別する（ステップＳ１００）。最初の画像の場合には、ステップＳ１０４に進み、最初の画像でない場合には、ステップＳ１０２に進む。

ステップＳ１０２では、前回の画像（スルー画像ｍ−１）を、今回の画像（スルー画像ｍ）までの動きベクトルの総和分ずらした画像を生成し、今回の画像との相関を演算する。

続いて、パターンマッチングする対象領域を最大サイズに設定する（ステップＳ１０４）。設定されたサイズの対象領域の位置を今回の画像の左上端の位置にする（ステップＳ１０６）。対象領域の画像と、前回の対応する画像との相関が低いか否かを判別し、相関が低い場合には、ステップＳ１１０に進み、相関が高い場合には、ステップＳ１１２に進む。

ステップＳ１１０では、対象領域と顔画像テンプレートとの相関を調べる。そして、相関スコアが閾値以下か否かを判別し（ステップＳ１１４）、ＹＥＳの場合には、ステップＳ１１８に進み、ＮＯの場合（相関スコアが閾値を越える場合）には、当該対象領域を顔領域と認定したのち（ステップＳ１１６）、ステップＳ１１８に進む。

一方、ステップＳ１１２では、前回の画像との相関が高いため（画像が変動していないため）、前回の画像の顔検出結果をそのまま使用する。

ステップＳ１１８では、今回の画像のすべての領域の相関を調べたか否かを判別し、ＮＯの場合には、前回の対象領域を少しだけ右にずらした領域を新たな対象領域とし、対象領域が右端の場合には、左端の少し下の領域を新たな対象領域とし（ステップＳ１２２）、対象領域を移動させた後にステップＳ１０８に戻る。

一方、ＹＥＳの場合には、パターンマッチング対象領域を少しだけ小さくする（ステップＳ１２０）。この小さくしたパターンマッチング対象領域のサイズが設定値以下になったか否かを判別し（ステップＳ１２４）、ＹＥＳの場合には、顔検出タスクを終了し、ＮＯの場合には、ステップＳ１０６に戻る。

このようにして今回の画像（スルー画像ｎ）上の顔領域を検出する。

＜第４の実施の形態＞
図１２は本発明に係る顔検出枠の表示方法の第４の実施の形態を示すフローチャートである。尚、図９に示したフローチャートと共通する部分には、同一のステップ番号を付し、その詳細な説明は省略する。

第４の実施の形態は、第３の実施の形態と比較して、動きベクトルを使用した手ブレ補正を行う処理が追加されている点で相違する。

即ち、図１２の破線で囲んだステップＳ７０では、ステップＳ６２で検出された動きベクトルから、動き（手ブレ）が補正可能な範囲か否かを判別する。ＹＥＳの場合には、取り込んだ画像ｎから実際にスルー画像として出力する画像の切り出し位置を、動きベクトルに従って補正し、画像ｎの中の矩形部分の画像を切り出す（手ブレ補正処理）。

一方、ＮＯの場合には、画像ｎの中から、前回と同一の切り出し位置の矩形部分の画像を切り出す（ステップＳ７４）。続いて、手ブレ補正されない動きベクトルの総和Δ（Δ＝Δ＋Ｖｎ）を演算する（ステップＳ７６）。

次に、ステップＳ７８では、切り出した矩形部分の画像を液晶画面に表示し、その上に、前記ステップＳ７６で演算した位置差Δだけ位置補正した顔検出枠を表示する（ステップＳ７８）。

このように、動きベクトルＶｎに基づいて直ちに顔検出枠を移動させず、手ブレ補正できる範囲を越えた動きベクトルに対して顔検出枠を移動させるようにしている。

＜第５の実施の形態＞
図１３は本発明に係る撮像装置（デジタルカメラ１０−４）の第５の実施の形態の内部構成の一例を示すブロック図である。尚、図８に示したデジタルカメラ１０−３と共通する部分には、同一の符号を付し、その詳細な説明は省略する。

図１３に示した第５の実施の形態のデジタルカメラ１０−４は、主として第３の実施の形態の顔検出回路３５の代わりに、顔検出回路３５’が設けられている点で相違する。

顔検出回路３５’は、画像照合回路３５Ａ、顔画像テンプレート３５Ｂの他に、更に特徴量類似度判定回路３５Ｃ、及び個人特徴量データベース３５Ｄを含んで構成されている。

個人特徴量データベース３５Ｄには、図１４に示すように特定人物の名前と、その特定人物の顔の特徴量Ａ、Ｂ、Ｃ…とが関連づけて予め登録されている。

特徴量類似度判定回路３５Ｃは、画像照合回路３５Ａ及び顔画像テンプレート３５Ｂによって画像中から顔検出された顔画像の特徴量Ａ、Ｂ、Ｃ…を求め、この特徴量Ａ、Ｂ、Ｃ…と一致又は類似する特徴量が、個人特徴量データベース３５Ｄに登録されているかを判定する。

例えば、図１５に示すように複数の特徴量をパラメータとする多次元のグラフ上で、予め登録された特定人物「Ｔｏｎｙ」の特徴量を■、特定人物「Ｍａｒｉａ」の特徴量を▲で示す。これらの■、▲を中心とする所定の円（球）の範囲内の特徴量を、それぞれ特定人物「Ｔｏｎｙ」及び「Ｍａｒｉａ」の特徴量の類似範囲とする。

特徴量類似度判定回路３５Ｃは、顔検出された顔画像の特徴量Ａ、Ｂ、Ｃ…が、個人特徴量データベース３５Ｄに登録された特定人物の特徴量のうちの、いずれの特徴量の類似範囲に入っているか否かを調査し、人物の名前を特定する。

ＣＰＵ３０は、顔検出回路３５’から顔領域の位置及び大きさを示す情報を取得すると、その取得した人物の顔領域を囲む顔検出枠をスルー画像に合成して、液晶モニタ１５に表示させ、また、顔検出した顔画像に基づいて特定された特定人物の名前の情報を取得すると、特定人物の名前を示す名前ラベルをその人物の位置に対応付けてスルー画像に合成して、液晶モニタ１５に表示させる。

図１６に本発明に係る顔検出枠の表示方法の第５の実施の形態の概要を示す。

図１６（Ａ）は顔検出時の元のスルー画像と、カメラを移動させない場合に表示される顔検出枠１と名前ラベル２とを同時に表示している場合に関して示している。

尚、名前ラベル２は、前述したように顔検出枠１に顔検出された顔が予め登録された特定人物の顔であると認識されると、その特定人物の名前を該人物の位置に対応付けて表示させる。

図１６（Ａ）に示すように顔検出時点からカメラを移動させない場合には、スルー画像も移動しないため、スルー画像上の顔及び人物の位置と、顔検出時点に顔を囲むように表示させた顔検出枠１及び人物に対応付けて表示させた名前ラベル２の位置とは一致する。

一方、図１６（Ｂ）に示すように顔検出時点から次の顔検出までの間にカメラを右にパンさせると、顔検出時点のスルー画像（元のスルー画像）は、左方向に移動する。

同様に、図１６（Ｃ）に示すように顔検出時点から次の顔検出までの間にカメラを下にティルトさせると、元のスルー画像は、上方向に移動する。

本発明の第５の実施の形態では、元のスルー画像に対する現在のスルー画像の移動量を検知し、その移動量に合わせて顔検出枠１及び名前ラベル２を移動させ、これによりデジタルカメラ１０−４をパン／ティルトさせてもスルー画像上の顔及び人物の位置と、顔検出枠１及び名前ラベル２の位置とを相対的に固定するようにしている。

次に、本発明の第５の実施の形態における顔検出タスクの詳細について、図１７のフローチャートを参照しながら説明する。尚、図１１に示した顔検出タスクのフローチャートと共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。

図１７に示すように、図１１に示した顔検出タスクに対して破線で囲んだステップＳ１３０、Ｓ１３２、及びＳ１３４の処理が追加されている。ここでは、主として顔検出された顔画像から特定人物の認識処理が行われている。

即ち、顔領域と認定された対象領域からその顔の特徴量を取得する（ステップＳ１３０）。この取得した特徴量に基づいて、予め個人特徴量データベース３５Ｄに登録された特定人物の特徴量と類似しているか否かを判定する（ステップＳ１３２）。登録されている特徴量のいずれの特徴量にも類似していない場合には、特定人物を特定できないと判別し、ステップＳ１１８に進み、登録されている特徴量のいずれかの特徴量に類似している場合には、ステップＳ１３４に進む。

ステップＳ１３４では、当該対象領域の画像を、前記類似した特徴量を有する特定人物の顔と認定し、その特定人物の名前の情報をＣＰＵ３０に出力する。

上記第５の実施の形態のデジタルカメラ１０−４は、図１２に示した第４の実施の形態と同様にして、顔検出したスルー画像に対する現在のスルー画像の動きベクトルに基づいて顔検出枠及び名前ラベルを移動させる（図１６参照）。

＜第６の実施の形態＞
図１８は本発明に係る撮像装置（デジタルカメラ１０−５）の第６の実施の形態の内部構成の一例を示すブロック図である。尚、図８に示したデジタルカメラ１０−３と共通する部分には、同一の符号を付し、その詳細な説明は省略する。

図１８に示した第６の実施の形態のデジタルカメラ１０−５は、主として第３の実施の形態の顔検出回路３５の代わりに、文字検出回路９０及び翻訳装置９２が設けられている点で相違する。

文字検出回路９０は、画像照合回路９０Ａ及び文字画像テンプレート９０Ｂを含み、スルー画像中に含まれる文字画像を検出し、その文字画像を文字情報（テキストデータ）に変換する。そして、文字画像の領域を示す位置情報及びその文字画像の文字情報をＣＰＵ３０に出力するとともに、文字情報を翻訳装置９２に出力する。

即ち、文字検出回路９０の画像照合回路９０Ａは、スルー画像の画面内で、対象領域の位置を移動させながら、対象領域の画像と各種の文字画像テンプレートとを照合し、両者の相関を調べる。そして、相関スコアが予め設定された閾値を越えると、その対象領域を文字領域として認定するとともに、照合した文字画像テンプレートに対応する文字情報を取得する。尚、文字画像テンプレートとしては、アルファベット、ひらがな、カタカナ、漢字等の各種の画像が用意されている。

翻訳装置９２は、英和辞書データベース９２Ａを含み、文字検出回路９０から入力した文字情報がアルファベットの文字列である場合には、英和辞書データベース９２Ａを用いて入力したアルファベットの文字列を日本語に翻訳する。この翻訳した文字情報をＣＰＵ３０に出力する。

ＣＰＵ３０は、文字検出回路９０から文字領域の位置情報を取得すると、その取得した文字領域の近傍に文字枠をスルー画像に合成して、液晶モニタ１５に表示させるとともに、文字枠内に文字情報に対応する文字フォントを表示させる。尚、この文字情報に対して、翻訳装置９２で翻訳した翻訳データがある場合には、ＣＰＵ３０は、翻訳文に対応する文字情報を表示させる。

図１９に本発明に係る文字情報の表示方法の実施の形態の概要を示す。

図１９（Ａ）は文字検出時の元のスルー画像と、カメラを移動させない場合に表示される文字枠及び文字情報を表示している場合に関して示している。

図１９（Ａ）に示すように文字検出時点からカメラを移動させない場合には、スルー画像も移動しないため、スルー画像上の文字画像の近傍に文字情報が表示される。この実施の形態では、検出した文字領域の下方の位置に文字情報を表示させるようにしている。

一方、図１９（Ｂ）に示すように文字検出時点から次の文字検出までの間にカメラを右にパンさせると、文字検出時点のスルー画像（元のスルー画像）は、左方向に移動する。

同様に、図１９（Ｃ）に示すように文字検出時点から次の文字検出までの間にカメラを下にティルトさせると、元のスルー画像は、上方向に移動する。

本発明の第６の実施の形態では、元のスルー画像に対する現在のスルー画像の移動量を検知し、その移動量に合わせて文字情報を移動させ、これによりデジタルカメラ１０−５をパン／ティルトさせてもスルー画像上の文字画像の近傍に、その文字画像に対応する文字情報を表示するようにしている。

図２０は本発明に係る文字情報の表示方法の実施の形態を示すフローチャートである。尚、図１２に示したフローチャートと共通する部分には、同一のステップ番号を付し、その詳細な説明は省略する。

図１２に示した第３の実施の形態が、カメラをパン／ティルトさせてもスルー画像上の顔の位置と顔検出枠の位置とを相対的に固定するのに対し、図２０に示す実施の形態は、スルー画像から文字画像を検出し、この検出した文字画像に対応する文字情報を、カメラをパン／ティルトさせても文字画像の近傍に固定して表示する点で相違する。

即ち、図２０において、ステップＳ１２’では、文字検出タスクを起動し、スルー画像ｌに含まれる文字検出、及びその文字の翻訳を依頼する。ステップＳ７８’では、切り出した矩形部分の画像を液晶画面に表示し、その上に、前記ステップＳ７６で演算した位置差Δだけ位置補正した文字枠及び文字情報を表示する。

ステップＳ１８’では、文字検出タスクによる文字検出が終了したか否かを判別し、ＹＥＳの場合には、ステップＳ２２’に進み、ここで、何番目のスルー画像の何処の位置に文字が検出されたかを、文字検出タスクより取得し、また、この文字検出したスルー画像をｍとする。続いて、次の文字検出タスクを起動し、ステップＳ１６で取得されるスルー画像ｎの文字検出と翻訳を依頼する（ステップＳ２４’）。

また、図２０に示す実施の形態は、文字検出タスクより取得した文字情報に翻訳文がある場合には、原文の代わりに翻訳文を表示するようにしている。

即ち、図２０の破線で囲んだステップＳ８０では、文字検出タスクで検出された文字情報に翻訳文があるか否かを判別する。この実施の形態では、検出された文字情報が英文である場合には、その英文に対する日本語翻訳文があるか否かを判別する。

そして、翻訳文がある場合には、スルー画像上に合成された文字枠内に翻訳文を表示し（ステップＳ８２）、翻訳文がない場合には、スルー画像上に合成された文字枠内に原文を表示する（ステップＳ８４）。

尚、上記実施の形態では、顔検出や文字検出の対象となったスルー画像の取得時点からのデジタルカメラの動きに応じて顔検出枠や文字情報の表示位置を補正するようにしたため、デジタルカメラをパン／ティルトさせてもスルー画像上の顔画像や文字画像の位置と、顔検出枠や文字情報の位置とを固定することができるようにしたが、これに限らず、デジタルカメラを光学ズームしてスルー画像が移動（拡大縮小）する場合にも、上記と同様にして顔検出枠等を移動・拡縮させ、顔画像と顔検出枠とを一致させることができる。

また、この実施の形態では、静止画の撮影前に表示される、ビューファインダ画像として表示されるスルー画像に顔検出枠等を表示する場合について説明したが、動画撮影モード時には、そのスルー画像が動画として記録される。ただし、顔検出枠等は、動画記録しないようにすることが好ましい。

図１は本発明に係る撮像装置を後方から見た斜視図である。 図２は図１に示したデジタルカメラの第１の実施の形態の内部構成の一例を示すブロック図である。 図３は本発明に係る顔検出枠の表示方法の概要を説明するために用いた図である。 図４は本発明に係る顔検出枠の表示方法の第１の実施の形態を示すフローチャートである。 図５は顔検出タスクを示すフローチャートである。 図６は本発明に係る撮像装置の第２の実施の形態の内部構成の一例を示すブロック図である。 図７は本発明に係る顔検出枠の表示方法の第２の実施の形態を示すフローチャートである。 図８は発明に係る撮像装置の第３の実施の形態の内部構成の一例を示すブロック図である。 図９は本発明に係る顔検出枠の表示方法の第３の実施の形態を示すフローチャートである。 図１０は顔検出タスクの概略を説明するために用いた図である。 図１１は顔検出タスクの詳細を示すフローチャートである。 図１２は本発明に係る顔検出枠の表示方法の第４の実施の形態を示すフローチャートである。 図１３は本発明に係る撮像装置の第５の実施の形態の内部構成の一例を示すブロック図である。 図１４は個人特徴量データベースを説明するために用いた図である。 図１５は特徴量類似度判定回路の動作を説明するために用いた図である。 図１６は本発明に係る顔検出枠の表示方法の第５の実施の形態の概要を示す図である。 図１７は本発明の第５の実施の形態における顔検出タスクの詳細を示すフローチャートである。 図１８は本発明に係る撮像装置の第６の実施の形態の内部構成の一例を示すブロック図である。 図１９は本発明に係る文字情報の表示方法の実施の形態の概要を示す図である。 図２０は本発明に係る文字情報の表示方法の実施の形態を示すフローチャートである。 図２１は従来の顔検出枠の表示方法を説明するために用いた図である。

符号の説明

１…顔検出枠、２…名前ラベル、１０、１０−１、１０−２、１０−３、１０−４、１０−５…デジタルカメラ、１３…シャッターボタン、１５…液晶モニタ、３０…中央処理装置（ＣＰＵ）、３２…メモリ、３５、３５’…顔検出回路、３５Ａ、９０Ａ…画像照合回路、３５Ｂ…顔画像テンプレート、３５Ｃ…特徴量類似度判定回路、３５Ｄ…個人特徴量データベース、４０…ＣＣＤ、４２…レンズユニット、４８、５０、７２…モータドライバ、６０…画像信号処理回路、７０…角速度センサ、８０…動きベクトル検出回路、９０…文字検出回路、９０Ｂ…文字画像テンプレート、９２…翻訳装置、９２Ａ…英和辞書データベース

Claims (22)

1. 被写体を示す画像信号を所定の周期で連続的に取得し、この取得した画像信号に基づいて動画のスルー画像を表示手段に表示させるとともに、前記取得した画像信号に基づいて前記スルー画像中に含まれる被写体の顔を検出し、この検出した被写体の顔を囲む顔検出枠を前記スルー画像に合成して前記表示手段に表示させる撮像装置における顔検出枠の表示方法であって、
   前記顔検出の対象となった画像の取得時点からの前記撮像装置の動きを検出し、
   前記顔検出の対象となった画像に対する前記顔検出枠の表示位置を基準にして、前記検出した撮像装置の動きに応じて前記顔検出枠の表示位置を補正することを特徴とする顔検出枠の表示方法。
2. 前記撮像装置の動きの検出は、該撮像装置の角速度を検出する角速度センサの検出出力に基づいて行うことを特徴とする請求項１に記載の顔検出枠の表示方法。
3. 前記撮像装置の動きの検出は、該撮像装置から連続的に取得される画像信号に基づいて画像の動きベクトルを検出することによって行うことを特徴とする請求項１に記載の顔検出枠の表示方法。
4. 被写体の撮影時の撮影レンズの焦点距離を検出し、
   前記枠表示位置の補正は、前記角速度センサの検出出力、及び前記検出した焦点距離に基づいて行うことを特徴とする請求項２に記載の顔検出枠の表示方法。
5. 前記検出した撮像装置の動きに応じて画像の手ブレを補正し、
   前記手ブレ補正によって補正できない前記撮像装置の動きに応じて前記顔検出枠の表示位置を補正することを特徴とする請求項１乃至４のいずれかに記載の顔検出枠の表示方法。
6. 前記取得した画像信号に基づいて前記スルー画像中に含まれる被写体の顔の特徴量から人物を特定し、
   前記特定した人物の名前を該人物の位置に対応付けて前記スルー画像に合成して表示し、
   前記検出した撮像装置の動きに応じて前記人物の名前の表示位置を補正することを特徴とする請求項１乃至５のいずれかに記載の顔検出枠の表示方法。
7. 被写体を示す画像信号を所定の周期で連続的に取得し、この取得した画像信号に基づいて動画のスルー画像を表示手段に表示させるとともに、前記取得した画像信号に基づいて前記スルー画像中に含まれる文字画像を検出し、この検出した文字画像の文字又は該文字画像を翻訳した文字を示す文字情報を、前記スルー画像上の文字画像の近傍に合成して表示させる撮像装置における文字情報の表示方法であって、
   前記文字検出の対象となった画像の取得時点からの前記撮像装置の動きを検出し、
   前記文字検出の対象となった画像に対する前記文字情報の表示位置を基準にして、前記検出した撮像装置の動きに応じて前記文字情報の表示位置を補正することを特徴とする文字情報の表示方法。
8. 前記撮像装置の動きの検出は、該撮像装置の角速度を検出する角速度センサの検出出力に基づいて行うことを特徴とする請求項７に記載の文字情報の表示方法。
9. 前記撮像装置の動きの検出は、該撮像装置から連続的に取得される画像信号に基づいて画像の動きベクトルを検出することによって行うことを特徴とする請求項７に記載の文字情報の表示方法。
10. 被写体の撮影時の撮影レンズの焦点距離を検出し、
    前記文字情報の表示位置の補正は、前記角速度センサの検出出力、及び前記検出した焦点距離に基づいて行うことを特徴とする請求項８に記載の文字情報の表示方法。
11. 前記検出した撮像装置の動きに応じて画像の手ブレを補正し、
    前記手ブレ補正によって補正できない前記撮像装置の動きに応じて前記文字情報の表示位置を補正することを特徴とする請求項７乃至１０のいずれかに記載の文字情報の表示方法。
12. 被写体を撮像する撮像手段と、
    前記撮像手段を介して被写体を示す画像信号を所定の周期で連続的に取得する画像取得手段と、
    前記取得した画像信号に基づいて動画のスルー画像を表示する表示手段と、
    前記取得した画像信号に基づいて前記スルー画像中に含まれる被写体の顔を検出する顔検出手段であって、前記連続的に取得される画像信号の周期よりも顔検出用の画像信号を入力してから顔検出するまでに長い時間を要する顔検出手段と、
    前記検出した被写体の顔を囲む顔検出枠を前記スルー画像に合成して表示させる顔検出枠表示制御手段と、
    撮像装置の動きを検出する動き検出手段と、
    前記顔検出手段が次回の顔検出を完了するまでの間、前記動き検出手段の検出出力に基づいて前記表示手段に表示された顔検出枠の表示位置を補正する枠表示位置補正手段と、
    を備えたことを特徴とする撮像装置。
13. 前記動き検出手段は、撮像装置の角速度を検出する角速度センサを含むことを特徴とする請求項１２に記載の撮像装置。
14. 前記動き検出手段は、前記連続的に取得される画像信号に基づいて画像の動きベクトルを検出する動きベクトル検出手段であることを特徴とする請求項１２に記載の撮像装置。
15. 被写体の撮影時の撮影レンズの焦点距離を検出する検出手段を備え、
    前記枠表示位置補正手段は、前記角速度センサの検出出力、及び前記検出した焦点距離に基づいて前記表示手段に表示された顔検出枠の表示位置を補正することを特徴とする請求項１３に記載の撮像装置。
16. 前記動き検出手段の検出出力に基づいて手ブレを検出して画像のブレを補正する手ブレ補正手段を備え、
    前記枠表示位置補正手段は、前記動き検出手段の検出出力に基づいて手ブレ補正後のパン／ティルト角を検出し、該パン／ティルト角に基づいて前記表示手段に表示された顔検出枠の表示位置を補正することを特徴とする請求項１２乃至１５のいずれかに記載の撮像装置。
17. 前記取得した画像信号に基づいて前記スルー画像中に含まれる被写体の顔の特徴量から人物を特定する人物特定手段と、
    前記特定した人物の名前を該人物の位置に対応付けて前記スルー画像に合成して表示させる名前表示制御手段と、
    前記人物特定手段が次回の人物特定を完了するまでの間、前記動き検出手段の検出出力に基づいて前記表示手段に表示された人物の名前の表示位置を補正する名前表示位置補正手段と、
    を備えたことを特徴とする請求項１２乃至１６のいずれかに記載の撮像装置。
18. 被写体を撮像する撮像手段と、
    前記撮像手段を介して被写体を示す画像信号を所定の周期で連続的に取得する画像取得手段と、
    前記取得した画像信号に基づいてスルー画像を表示する表示手段と、
    前記取得した画像信号に基づいて前記スルー画像中に含まれる文字画像が示す文字を検出する文字検出手段であって、前記連続的に取得される画像信号の周期よりも文字検出用の画像信号を入力してから文字検出するまでに長い時間を要する文字検出手段と、
    前記検出した文字又は該文字を翻訳した文字を示す文字情報を、前記スルー画像上の文字画像の近傍に合成して表示させる文字表示制御手段と、
    撮像装置の動きを検出する動き検出手段と、
    前記文字検出手段が次回の文字検出を完了するまでの間、前記動き検出手段の検出出力に基づいて前記表示手段に表示された文字情報の表示位置を補正する文字表示位置補正手段と、
    を備えたことを特徴とする撮像装置。
19. 前記動き検出手段は、撮像装置の角速度を検出する角速度センサを含むことを特徴とする請求項１８に記載の撮像装置。
20. 前記動き検出手段は、前記連続的に取得される画像信号に基づいて画像の動きベクトルを検出する動きベクトル検出手段であることを特徴とする請求項１８に記載の撮像装置。
21. 被写体の撮影時の撮影レンズの焦点距離を検出する検出手段を備え、
    前記文字表示位置補正手段は、前記角速度センサの検出出力、及び前記検出した焦点距離に基づいて前記表示手段に表示された文字情報の表示位置を補正することを特徴とする請求項１９に記載の撮像装置。
22. 前記動き検出手段の検出出力に基づいて手ブレを検出して画像のブレを補正する手ブレ補正手段を備え、
    前記文字表示位置補正手段は、前記動き検出手段の検出出力に基づいて手ブレ補正後のパン／ティルト角を検出し、該パン／ティルト角に基づいて前記表示手段に表示された文字情報の表示位置を補正することを特徴とする請求項１８乃至２１のいずれかに記載の撮像装置。

Images