JP4350725B2 - 画像処理方法、画像処理装置、及び、画像処理方法をコンピュータに実行させるためのプログラム - Google Patents

Description

本発明は、画像データから所定の条件を満たす対象を繰り返し検出し、この対象の検出結果を示す表示機能に関するものである。

画像データから所定の条件を満たす対象を繰り返し検出する機能を有する装置がある。これは、例えば、下記の状況を改善するために用いられる。

自動的に被写体に焦点をあわせる自動合焦機能を備えたカメラでは、一般的に複数の焦点検出エリアの中から一つ、あるいは、複数を選択し、選択された焦点検出エリアに存在する被写体に焦点があうように撮像光学系のレンズ位置を調節する。そして、この焦点検出エリアに存在する主被写体の輝度値の重み付けを大きくして、露出補償が行われる。しかしながら、この焦点検出エリアが占める面積は画面の一部に限られており、焦点をあわせたい主被写体が焦点検出エリアの外に存在するときには、主被写体に焦点をあわせることができない。また、主被写体が焦点検出エリアに存在していたとしても、目的とする主被写体以外の対象に焦点調節動作が行われる場合がある。例えば別の焦点検出エリアに存在する被写体が主被写体よりもカメラに近い位置に存在していた場合は、この別の焦点検出エリアに存在する被写体を優先的に主被写体とみなして焦点調節動作が行われてしまうことがある。これを回避する手段として、ユーザーに主被写体が存在する焦点検出エリアを指示させるものがあるが、これではユーザーの手間が増える。

そこで、次のような装置が提案されている。得られた画像データの中から形状解析等の手法によって主被写体を自動的に検出し、検出された主被写体に対して焦点検出エリアを表示し、この焦点検出エリアに対して焦点調節動作を行わせるカメラである（例えば、特許文献１参照）。

このカメラによれば、画像データの全体から主被写体の検出を行うことで、主被写体が被写界のどこに存在しようとも、主被写体に対して焦点調節動作を行うことができる。そして、主被写体を追尾するためには、この形状解析等の手法による主被写体の検出動作は周期的に行われる必要がある。
特開２００３−１０７３３５号公報 特開２００２−２５１３８０号公報

しかしながら、自動的に主被写体を検出する機能を有する装置には、ユーザーが意図していない異なる被写体を誤って選択する可能性がある。そのため、どの被写体を主被写体として検出したかをユーザーに報知して確認させる必要がある。

また、例えば液晶モニター等の表示装置にて、被写体の動きを観察するために画像データを連続的に表示する場合は、主被写体の動きにあわせて主被写体の検出結果も更新することが望まれる。そこで、周期的に行われる主被写体の検出結果を随時更新し、最新の主被写体の検出された領域を常に表示する処理が行われる。つまり、主被写体が検出された場合には、その検出された領域に、検出されたことを示す枠を被写体の画像に重畳させて表示する。

ここで、主被写体の検出動作としては、例えば、両目や鼻や口などの顔の器官の配置に基づいて人物の正面顔や斜め顔を検出する方法が提案されている（例えば、特許文献２参照）。しかしながら、この主被写体の検出方法では、主被写体が瞬きして目を閉じたり不意に余所見をして顔が横向きになったときに得られた画像からは片方の目を認識できないため、主被写体の検出ができなくなる。その結果、図１４に示すように、主被写体は場所を移動していないにもかかわらず一時的に検出された領域を示す枠が消えることとなる。

例えば、じっとすることが苦手な子供を対象として上記の方法にて主被写体の検出を行う場合には、一時的に主被写体の検出に失敗する可能性が高い。すると、検出位置を示す枠の表示と非表示とが短期間に繰り返される可能性が高い。すると、被写体の動きを観察するために表示装置に表示された画像が見づらく、煩わしいものとなる。これは動画のように連続的に状況が変化する画像データから主被写体の検出を繰り返し行う機能を有し、その検出結果を表示しようとすれば、共通して生じる課題である。よって、カメラのような撮像機器に限定される課題ではなく、転送された動画データから対象の検出を行い、その結果を表示するアプリケーションを動作させる場合においてもこの課題は生じる。

本発明は、上記の課題を解決するためのものである。その目的は、画像データから所定の条件を満たす対象を繰り返し検出する機能を有する装置において、一時的に目的とする対象が検出できなくとも、検出結果を示す表示を見やすくするように改善を図ることである。

かかる目的下において、第１の発明は、画像データを用いて画像を表示する工程と、前記画像データから所定の条件を満たす対象を検出し、該対象の前記画像における位置を求める工程と、前記位置に基づいて、前記対象が検出された領域を示す検出結果を前記画像に重畳して表示する工程とを有し、前記検出結果が表示されている間に、前記検出結果が示していた領域にいた対象と同一とみなせる対象が検出できなくなった場合に、前記検出結果が継続して表示されている時間が所定の時間に達していなければ、前記対象が検出できていたときの前記対象の位置に基づく前記検出結果の表示を継続し、前記検出結果が継続して表示されている時間が前記所定の時間に達していれば、前記検出結果の表示を消去することを特徴とする画像処理方法とするものである。

また、第２の発明は、画像データを用いて画像を表示する工程と、前記画像データから所定の条件を満たす対象を検出し、該対象の前記画像における位置を求める工程と、前記位置に基づいて、前記対象が検出された領域を示す検出結果を前記画像に重畳して表示する工程とを有し、前記検出結果が表示されている間に、前記検出結果が示していた領域にいた対象と同一とみなせる対象が検出できなくなった場合に、前記対象が検出できていたときの前記対象の位置が前記画像の端部でないことを含む所定の条件を満たしていれば、前記対象が検出できていたときの前記対象の位置に基づく前記検出結果の表示を継続し、前記所定の条件を満たしていなければ、前記検出結果の表示を消去することを特徴とする画像処理方法とするものである。

また、第３の発明は、画像データを用いて画像を表示する工程と、前記画像データから所定の条件を満たす対象を検出し、該対象の前記画像における位置を求める工程と、前記位置に基づいて、前記対象が検出された領域を示す検出結果を前記画像に重畳して表示する工程とを有し、前記検出結果が表示されている間に、前記検出結果が示していた領域にいた対象と同一とみなせる対象が検出できなくなった場合に、前記対象が検出できていたときの前記対象の移動方向が前記画像の外側でないことを含む所定の条件を満たしていれば、前記対象が検出できていたときの前記対象の位置に基づく前記検出結果の表示を継続し、前記所定の条件を満たしていなければ、前記検出結果の表示を消去することを特徴とする画像処理方法とするものである。
また、第４の発明は、画像データを用いて画像を表示する工程と、前記画像データから所定の条件を満たす対象を検出し、該対象の前記画像における位置を求める工程と、前記位置に基づいて、前記対象が検出された領域を示す検出結果を前記画像に重畳して表示する工程とを有し、前記検出結果が表示されている間に、前記検出結果が示していた領域にいた対象と同一とみなせる対象が検出できなくなった場合に、前記画像データを更新した際の画像データの変化の大きさが所定の閾値を越えないことを含む所定の条件を満たしていれば、前記対象が検出できていたときの前記対象の位置に基づく前記検出結果の表示を継続し、前記所定の条件を満たしていなければ、前記検出結果の表示を消去することを特徴とする画像処理方法とするものである。

本発明によれば、画像データから所定の条件を満たす対象を繰り返し検出し、その結果を表示する機能を有する装置において、一時的に目的とする対象が検出できなくとも、検出結果を示す表示を見やすいように改善することができる。

（第１の実施の形態）
以下、添付図面を参照して本発明の好適な実施の形態を詳しく説明する。

図１は、本発明の実施の形態に係る撮像装置１０００の構成を示すブロック図である。本実施の形態では撮像装置１０００として電子スチルカメラを例にあげて説明を行う。

図１において、１００１は撮像レンズ群、１００２は光量調節装置であり、絞り装置及びシャッタ装置を備えている。１００３は撮像レンズ群を通過した被写体像としての光束を電気信号に変換するＣＣＤやＣＭＯＳ等の撮像素子、１００４は撮像素子１００３のアナログ信号出力にクランプ処理、ゲイン処理等を行うアナログ信号処理回路である。１００５はアナログ信号処理回路１００４の出力をデジタル信号に変換するアナログ／デジタル（以下、Ａ／Ｄとする）変換器である。１００７はデジタル信号処理回路であり、Ａ／Ｄ変換器１００５からのデータ或いはメモリ制御回路１００６からのデータに対して画素補間処理や色変換処理を行う。また、このデジタル信号処理回路１００７は、撮像した画像データを用いて演算を行う。システム制御回路１０１２はこの演算結果に基づいて露出制御回路１０１３、焦点制御回路１０１４に対する制御を実行するＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（ストロボプリ発光）処理を行っている。また、デジタル信号処理回路１００７は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。更に、デジタル信号処理回路１００７は、顔検出回路１０１６を備えており、撮像した画像データから、目、口等のエッジを検出して顔の特徴部を検出し、人間の顔が占める領域を検出する顔検出処理を実行する。さらにデジタル信号処理回路１００７はタイマー１０１５を備えており、後述する顔検出枠のそれぞれに対して、互いに独立して表示時間を計測することができる。

メモリ制御回路１００６は、アナログ信号処理回路１００４、Ａ／Ｄ変換器１００５、デジタル信号処理回路１００７、メモリ１００８、デジタル／アナログ（以下、Ｄ／Ａとする）変換器１００９を制御する。これにより、Ａ／Ｄ変換器１００５でＡ／Ｄ変換されたデータは、デジタル信号処理回路１００７とメモリ制御回路１００６を介して、メモリ１００８に書き込まれる。あるいは、Ａ／Ｄ変換器１００５でＡ／Ｄ変換されたデータが直接メモリ制御回路１００６を介して、メモリ１００８に書き込まれる。

メモリ１００８は表示装置１０１０に表示するデータを記憶し、このメモリ１００８に記録されているデータはＤ／Ａ変換器１００９を介して液晶モニター等の表示装置１０１０に出力されて表示される。また、メモリ１００８は、撮像した静止画象や動画像を格納し、所定枚数の静止画像や所定時間分の動画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮像する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ１００８に対して行うことが可能となる。また、このメモリ１００８はシステム制御回路１０１２の作業領域としても使用することが可能である。

表示装置１０１０は、撮像した画像データを逐次表示することで電子ファインダとしての機能を実現できる。また表示装置１０１０は、システム制御回路１０１２の指示により任意に表示をオン／オフすることが可能であり、表示をオフにした場合は、オンにした場合に比較して、この撮像装置１０００の電力消費を低減できる。また、システム制御回路１０１２でのプログラムの実行に応じて、文字や画像等を用いて動作状態やメッセージ等を表示する。

１０１１はメモリカードやハードディスク等の記憶媒体とのインタフェースである。このインターフェース１０１１を用いて、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことができる。このインターフェース１０１１をＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ（登録商標））カード等の規格に準拠したものを用いて構成した場合、各種通信カードを接続すればよい。この各種通信カードとしては、ＬＡＮカードやモデムカード、ＵＳＢカード、ＩＥＥＥ１３９４カード、Ｐ１２８４カード、ＳＣＳＩカード、ＰＨＳ等の通信カード、等があげられる。

システム制御回路１０１２は撮像装置１０００全体の動作を制御している。システム制御回路１０１２内のメモリに、このシステム制御回路１０１２の動作用の定数、変数、プログラム等を記憶している。

露出制御回路１０１３は、光量調節装置１００２の絞り装置、シャッタ装置を制御する。焦点制御回路１０１４は撮像レンズ群１００１のフォーカシング動作、ズーミング動作を制御する。露出制御回路１０１３、焦点制御回路１０１４はＴＴＬ方式を用いて制御されている。撮像した画像データをデジタル信号処理回路１００７によって演算した演算結果に基づき、システム制御回路１０１２が露出制御回路１０１３、焦点制御回路１０１４に対して制御を行う。

以下、図２乃至図５のフローチャートを参照して、本実施の形態に係る電子カメラの動作を説明する。尚、この処理を実行するプログラムはシステム制御回路１０１２内のメモリに記憶されており、システム制御回路１０１２の制御の下に実行される。

図２は本実施の形態に係る撮像装置１０００におけるメイン処理ルーチンでの動作を説明するフローチャートである。

この処理は、例えば電池交換後などの電源投入により開始され、まずステップＳ１０１で、システム制御回路１０１２は、内部のメモリの各種フラグや制御変数等を初期化する。ステップＳ１０２で、システム制御回路１０１２は表示装置１０１０の画像表示をオフ状態に初期設定する。次にステップＳ１０３でシステム制御回路１０１２は撮像装置１０００のモード設定状態を検知し、電源オフに設定されていたならばステップＳ１０５に進む。ステップＳ１０５ではシステム制御回路１０１２は各表示装置の表示を終了状態に変更し、フラグや制御変数等を含む必要なパラメータや設定値、設定モードを記録する。そしてシステム制御回路１０１２は表示装置１０１０を含む撮像装置１０００の各部の不要な電源を遮断する等の所定の終了処理を行う。

またシステム制御回路１０１２は、ステップＳ１０３でその他のモードに設定されていればステップＳ１０４に進む。ステップＳ１０４では、システム制御回路１０１２は選択されたモードに応じた処理を実行し、その処理を終えるとステップＳ１０３に戻る。

システム制御回路１０１２は、ステップＳ１０３で撮影モードが設定されている場合は、ステップＳ１０６に進み、電源の残容量や動作情況が撮像装置１０００の動作に問題があるか否かを判断する。システム制御回路１０１２は、問題があると判断するとステップＳ１０８に進み、表示装置１０１０を用いて、画像や音声により所定の警告表示を行い、ステップＳ１０３に戻る。

ステップＳ１０６で、システム制御回路１０１２は電源に問題が無いと判断するとステップＳ１０７に進む。ステップＳ１０７では、システム制御回路１０１２は記憶媒体の動作状態が撮像装置１０００の動作、特に記憶媒体に対する画像データの記録再生動作に問題があるか否かを判断する。システム制御回路１０１２は問題があると判断すると前述のステップＳ１０８に進み、表示装置１０１０を用いて、画像や音声により所定の警告表示を行った後にステップＳ１０３に戻る。

システム制御回路１０１２はステップＳ１０７で記憶媒体に問題がないと判断するとステップＳ１０９に進む。ステップＳ１０９では、システム制御回路１０１２は表示装置１０１０を用いて、画像や音声により撮像装置１０００の各種設定状態の表示を行う。尚、表示装置１０１０の画像表示がオンであったならば、表示装置１０１０も用いて画像や音声により撮像装置１０００の各種設定状態の表示を行ってもよい。

次にステップＳ１１０で、システム制御回路１０１２は表示装置１０１０の画像表示をオン状態に設定し、光量調節装置１００２にシャッタ装置を開かせる。更に、ステップＳ１１１で、システム制御回路１０１２は、表示装置１１０に撮像した画像データを逐次用いて動画として表示するスルー表示を開始させる。このスルー表示状態では、メモリ１００８に逐次書き込まれたデータを表示装置１０１０により逐次表示することにより、電子ファインダ機能を実現している。本実施の形態では表示装置１０１０は１／３０秒毎に新たな画像を表示する。

ステップＳ１１２ではシステム制御回路１０１２は、デジタル信号処理回路１００７に画像データから顔領域を検出する顔検出処理を開始させる。顔領域を検出する技術としては、様々な手法が公知となっている。例えば、ニューラルネットワークに代表される学習を用いた方法がある。また、目や鼻といった物理的な形状の特徴のある部位を画像領域からテンプレートマッチングで抽出する手法がある。他にも、肌の色や目の形といった画像特徴量を検出し統計的手法を用いて解析する手法があげられる（例えば、特開平１０−２３２９３４号公報や特開２０００−４８１８４号公報等を参照）。

本実施の形態では、一対の目（両目）、鼻、口を検出し、これらの相対位置より人物の顔領域を決定する手法により顔検出処理を行っている。ここで、検出の対象となる人物が片目を閉じていたり、不意に余所見をして横向きになった場合には、基準となる一対の目が存在しないために顔領域の検出ができなくなる。

この顔検出処理にはある程度の演算時間が必要となるため、デジタル信号処理回路１００７は、スルー表示用に得た全ての画像データに対して顔検出処理が行えるわけではない。本実施の形態では、スルー表示用の画像データが２回得られる間に１回の顔検出処理が行われるものとして説明を行う。

ステップＳ１１３では、システム制御回路１０１２は、デジタル信号処理回路１００７に、ステップＳ１１２の顔検出結果を示す枠を表示する枠表示処理を行わせる。この枠表示処理（Ｓ１１３）の詳細を図３のフローチャートを用いて説明する。

まずステップＳ２０１では、デジタル信号処理回路１００７は、表示装置１０１０に検出された顔領域の位置を示す枠（以下、顔検出枠という）が既に表示されているかを判断する。顔検出枠が既に表示されていなければステップＳ２０２に進む。撮像装置１０００を撮影モードに設定してから最初にステップＳ１１３を実行する場合は、顔検出枠がまだ表示されていないために、ステップＳ２０２に進むことになる。

ステップＳ２０２では、デジタル信号処理回路１０７はステップＳ１１２の顔検出処理にて得られた全ての顔領域の座標を取得する。

ステップＳ２０３では、表示装置１０１０は、ステップＳ２０２で取得した顔領域の座標を元に、検出された顔領域を囲う顔検出枠を被写体像に重畳させて表示する。その様子を図７（ａ）に示す。図７（ａ）は表示装置１１０の表示画面を示しており、検出された人物の頭部を囲う四角い顔検出枠が表示される。

ステップＳ２０４では、タイマー１０１５がステップＳ２０３にて表示された顔検出枠の表示時間の計測を開始する。

ステップＳ２０５では、ステップＳ２０２で取得した全ての顔領域の座標に対して顔検出枠の表示がなされていればこのルーチンを終了し、まだ顔検出枠の表示がなされていないのであればステップＳ２０３に戻る。ステップＳ１１２にて顔が１つも検出されなければ、これらステップＳ２０３乃至Ｓ２０５では顔検出枠の表示に関する処理は何も行われない。

そしてこのルーチンを終了後、図２のステップＳ１１４にてシャッタスイッチＳＷ１が押されなければ、再びステップＳ１１３に戻る。シャッタスイッチＳＷ１が押されなければ、ステップＳ１１１のスルー表示、ステップＳ１１２の顔検出処理、ステップＳ１１３の枠表示処理が繰り返し行われる。したがって、スルー表示している間に人物が動けば、検出された顔領域の位置も変化し、これに伴って顔検出枠も移動する。なお、顔検出枠の形状は楕円であっても、被写体の顔の輪郭に沿うものであってもよく、その形状は様々なものが適用できる。また、顔検出枠を表示せずとも、例えば顔領域の輪郭を強調する方法や、顔領域以外をぼかして表示する方法等、検出された顔領域が把握できる表示であればその形態は問わない。

ステップＳ２０１に戻り、デジタル信号処理回路１００７は、顔検出枠が既に表示されている場合はステップＳ２０６に進み、ステップＳ１０１２の顔検出処理にて得られた全ての顔領域の座標を取得する。

ステップＳ２０７では、デジタル信号処理回路１００７は、既に表示されている顔検出枠の中のいずれか１つを選択する。そしてデジタル信号処理回路１００７は、ステップＳ２０６にて新たに取得した顔領域の座標の中に、この選択した顔検出枠の近傍に位置するものが存在するか判断する。新たに取得した顔領域の座標がこの近傍にあれば、ステップＳ２０８に進む。この近傍の範囲は、選択された顔検出枠によって囲われた人物と、新たに取得した顔領域の座標が示す人物とが、同一となる確率が高くなるように実験によって求められる。また、この近傍に位置する顔領域の座標が複数ある場合は、選択した顔検出枠を設定する際に用いた顔領域の座標との差異が最も小さいものを選択してステップＳ２０９の処理を行う。なお、デジタル信号処理回路１００７が個人認証機能を備えていれば、このステップＳ２０７では、デジタル信号処理回路１００７は既に表示されている顔検出枠によって囲まれている人物と、同じ人物の顔が検出されているかを判断してもよい。

ステップＳ２０８では、デジタル信号処理回路１００７は選択した顔検出枠の座標と、この顔検出枠の近傍に位置する顔領域の座標の位置を比較し、その差を求める。

ステップＳ２０９では、ステップＳ２０８にて得られた差が所定範囲内であるならば、表示装置１０１０は顔検出枠の位置を更新することなく、既に表示されている顔検出枠の表示を継続し、ステップＳ２１０に進む。反対にステップＳ２０８にて得られた差が所定範囲内でなければ、ステップＳ２１１にて、表示装置１０１０はステップＳ２０８で比較に用いた顔領域の座標を元にして新たな顔検出枠を設定し、表示を行ってステップＳ２１０に進む。このステップＳ２０９では、ステップＳ２０８にて得られた差が所定範囲内であるかを判断することによって、新たに得られた顔領域の座標が既に表示されている顔検出枠の中に位置しているかを判断している。顔検出枠が細かな移動を頻繁に行うと、画面の見易さがかえって低下してしまう。そこで、新たに得られた顔領域の座標が既に表示されている顔検出枠の中に位置するのであれば、敢えて顔検出枠の更新を行わないことで、画面の見易さを向上させている。

ステップＳ２１０ではタイマー１０１５はステップＳ２１０の判断の対象となった顔検出枠に対応する表示時間、あるいは、ステップＳ２１２にて更新された顔検出枠に対応する表示時間を初期値に戻してから計測を開始させる。そして、ステップＳ２１２に進む。

ステップＳ２０７に戻り、新たに取得した顔領域の座標が選択した顔検出枠の近傍になければ、ステップＳ２１３に進む。

ステップＳ２１３では、デジタル信号処理回路１００７は、選択した顔検出枠のタイマー１０１５による計測時間が所定時間に達したかを判断する。計測時間が所定時間に達していれば、ステップＳ２１４にてその顔検出枠を消去し、計測時間をリセットして初期値に戻す。所定時間に達していなければ、タイマー１０１５をいじることなくその顔検出枠の表示を継続する。そしてステップＳ２１２に進む。

ステップＳ２１２では、デジタル信号処理回路１００７は、既に表示されていた顔検出枠の全てに対してステップＳ２０７の処理が行われたかを判断し、まだ処理の対象となっていない顔検出枠が残っていればステップＳ２０７に戻る。そうでなければステップＳ２１５に進む。

ステップＳ２１５では、デジタル信号処理回路１００７は、ステップＳ２０７の判断に用いた全ての顔検出枠のいずれの近傍にも位置しない顔領域の座標が存在するか判断し、存在していなければこのフローを終了する。全ての顔検出枠のいずれの近傍にも位置しない顔領域の座標が存在すれば、新たに顔検出枠を設定する必要があるため、ステップＳ２１６に進む。

ステップＳ２１６では、表示装置１０１０は、ステップＳ２０６で取得した顔領域の座標を元に、検出された顔領域を囲う顔検出枠を被写体像に重畳させて表示する。

ステップＳ２１７では、タイマー１０１５は、ステップＳ２１６にて新たに表示された顔検出枠の表示時間の計測を開始する。

ステップＳ２１８では、デジタル信号処理回路１００７は顔検出枠が設定されていない顔領域の座標が残っているかを判断し、全ての顔領域の座標に対して顔検出枠の設定が行われていればこのフローを終了する。まだ顔検出枠の設定が行われていない顔領域の座標が残っていれば、ステップＳ２１６に戻る。

図２に戻り、ステップＳ１１４では、システム制御回路１０１２はシャッタスイッチＳＷ１が押されているかどうかを調べ、押されていなければステップＳ１１３に戻るが、シャッタスイッチＳＷ１が押されたならばステップＳ１１５に進む。シャッタスイッチＳＷ１が押されたならば、デジタル信号処理回路１００７はシャッタスイッチＳＷ１が解除されるまでは顔検出処理を停止する。

ステップＳ１１５では、システム制御回路１０１２はＡＦ処理を行って撮像レンズ１００１の焦点を被写体に合わせ、更にＡＥ処理を行って絞り値及びシャッタ速度を決定する。このＡＥ処理では、必要であればストロボの設定も行う。

このステップＳ１１５のＡＦ及びＡＥ処理の詳細を図４のフローチャートを用いて説明する。

まずステップＳ３０１で、撮像素子１００３から電荷信号を読み出し、Ａ／Ｄ変換器１００５を介してデジタルデータに変換し、そのデジタルデータをデジタル信号処理回路１００７に入力する。デジタル信号処理回路１００７はこの入力された画像データを用いて、ＴＴＬ方式のＡＥ処理、ＥＦ処理、ＡＷＢ処理、および、ＡＦ処理に用いる所定の演算を行っている。尚、ここでの各処理は、撮像した全画素数の内、ステップＳ１１２で検出された顔領域のみを用いて、あるいは、顔領域の重み付けを他の領域よりも大きくして演算に用いている。これにより、ＴＴＬ方式のＡＥ処理、ＥＦ処理、ＡＷＢ処理、および、ＡＦ処理の各処理において、検出された顔領域の画像データを他の領域よりも優先して好適となるように演算を行うことが可能となる。ただし、ステップＳ２０９からステップＳ２１０に進んだ場合のように、検出された顔領域の座標と、表示されている顔検出枠の位置とが完全には一致しない場合ある。この場合、ＡＥ処理、ＥＦ処理、ＡＷＢ処理、および、ＡＦ処理の各処理は、顔検出枠が表示されている位置ではなく、検出された最新の顔領域の座標が用いられる。

ステップＳ３０１におけるデジタル信号処理回路１００７での演算結果を用いて、ステップＳ３０２で露出が適正ではないと判断されると、ステップＳ３０３に進む。ステップＳ３０３ではシステム制御回路１０１２は露出制御回路１０１３にＡＥ制御を行わせる。このＡＥ制御で得られた測定データを用いて、ステップＳ３０４で、ストロボが必要か否かを判断する。ストロボ発光が必要であればステップＳ３０５に進み、ストロボフラグをセットし、不図示のストロボを充電してステップＳ３０１に戻る。

ステップＳ３０２で、システム制御回路１０１２は、露出が適正と判断したならばステップＳ３０６に進み、測定データ或いは設定パラメータをシステム制御回路１０１２の内部メモリ或いはメモリ１００８に記憶させる。そしてステップＳ３０７でシステム制御回路１０１２はデジタル信号処理回路１００７での演算結果及びＡＥ制御で得られた測定データを用いて、ホワイトバランスが適正かどうかを判断し、適正でないと判断するとステップＳ３０８に進む。ステップＳ３０８ではデジタル信号処理回路１００７を用いて色処理のパラメータを調節してＡＷＢ制御を行ってステップＳ３０１に戻る。

こうしてシステム制御回路１０１２はステップＳ３０７でホワイトバランスが適正と判断するとステップＳ３０９に進む。ステップＳ３０９でシステム制御回路１０１２は、メモリ１００８の測定データ或いは設定パラメータをシステム制御回路１０１２の内部メモリに記憶させる。そしてステップＳ３１０で合焦状態であるかどうかを判断する。合焦状態でないときはステップＳ３１１に進み、システム制御回路１０１２は焦点制御回路１０１４にＡＦ制御を行わせてステップＳ３０１に戻る。こうしてステップＳ３１０で、合焦状態であると判断されると、ステップＳ３１２に進み測定データ或いは設定パラメータをシステム制御回路１０１２の内部メモリに記憶し、合焦した領域を示すＡＦ枠の表示を設定し、このＡＦ処理及びＡＥ処理を終了する。このＡＦ枠は最新の顔領域の座標とその位置が一致する。

図２に戻り、ステップＳ１１６では、システム制御回路１０１２はＡＦ処理、ＡＥ処理後に再度スルー表示状態に設定し、ＡＦ枠の表示を行う。

次にステップＳ１１７で、シャッタスイッチＳＷ２が押されずに、更にシャッタスイッチＳＷ１も解除されるとステップＳ１１２に戻る。

一方、ステップＳ１１７でシャッタスイッチＳＷ２が押されるとステップＳ１１９に進む。

ステップＳ１１９では、システム制御回路１０１２は撮影した画像データをメモリ１００８に書き込む露光処理を行う。さらに、システム制御回路１０１２はメモリ制御回路１００６、そして必要に応じてデジタル信号処理回路１００７を用いて、メモリ１００８に書き込まれた画像データを読み出して各種処理を行う現像処理からなる撮影処理を実行する。この撮影処理（Ｓ１１９）の詳細を図５のフローチャートを用いて説明する。

ステップＳ４０１では、前述ＡＥ制御で得られた測定データに従い、露出制御回路１０１３は光量調節装置１００２の絞り値を設定し、撮像素子１００３の露光を開始する。

ステップＳ４０２では、システム制御回路１０１２は、ストロボフラグによりストロボ発光が必要か否かを判断し、ストロボ発光が必要な場合はステップＳ４０３に進み、所定の発光量でストロボユニットをプリ発光させる。このプリ発光の光量は、光量調節装置１００２の絞り値と被写体までの距離と、設定された撮像素子１００３の感度とに基づいて決定される。ステップＳ４０２でストロボ発光が必要でないと判断した場合は、プリ発光を行わないのでステップＳ４１０に進む。

ステップＳ４０４では、露出制御回路１０１３は測光データに従って撮像素子１００３の露光終了のタイミングを待ち、露光終了のタイミングになるとステップＳ４０５で、撮像素子１００３から電荷信号を読み出させる。そして、Ａ／Ｄ変換器１００５、デジタル信号処理回路１００７、メモリ制御回路１００６を介して、或いはＡ／Ｄ変換器１００５から直接メモリ制御回路１００６を介して、撮像画像のデータをメモリ１００８に書き込ませる。

次にステップＳ４０６に進み、システム制御回路１０１２はプリ発光時の顔領域内の輝度の平均値を求め、顔領域内の輝度が適正輝度となる本発光量（実際の撮影時の発光量）を演算する。例えば、プリ発光によるプリ撮影の画像信号レベルが適正レベルである場合は、プリ発光と同じ発光量で良く、また例えば、プリ撮影の画像信号レベルが１段階下回っている場合は、プリ発光の２倍の発光量に設定する等の処理を行う。

次にステップＳ４０７で、システム制御回路１０１２は、本撮影のために撮像素子１００３のリセット動作を行って露光を開始する。そしてステップＳ４０８に進み、ステップＳ４０６で求めた本発光量で、ストロボユニットを発光させる。

ステップＳ４０９では、露出制御回路１０１３は測光データに従って撮像素子１００３の露光終了のタイミングを待ち、ステップＳ４１０で、露光を終了させてシャッタを閉じる。

そしてステップＳ４１１で、システム制御回路１０１２は、撮像素子１００３から電荷信号を読み出させる。そして、Ａ／Ｄ変換器１００５、デジタル信号処理回路１００７、メモリ制御回路１００６を介して、或いはＡ／Ｄ変換器１００５から直接メモリ制御回路１００６を介して、メモリ１００８に撮影画像のデータを書き込ませる。

ステップＳ４１２で、システム制御回路１０１２は、メモリ制御回路１００６、そして必要に応じてデジタル信号処理回路１００７を用いて、メモリ１００８に書き込まれた画像データを読み出して垂直加算処理を実行させる。

ステップＳ４１３で、システム制御回路１０１２は、色処理を行わせた後、ステップＳ４１４でその処理を終えた表示画像データをメモリ１００８に書き込ませ、撮影処理ルーチンを終了する。

こうしてステップＳ１１９の撮影処理が実行されるとステップＳ１２０に進み、表示装置１０１０にて、ステップＳ１１９にて得られた画像データを基に表示を行うクイックレビュー表示を実行する。撮影中も表示装置１０１０が電子ファインダとして常に表示された状態であり、撮影直後のクイックレビュー表示も行われる。

ステップＳ１２１では、システム制御回路１０１２は、メモリ１００８に書き込まれた撮像した画像データを読み出して、メモリ制御回路１００６、及び必要に応じてデジタル信号処理回路１００７を用いて各種画像処理を実行させる。また、システム制御回路１０１２は、画像圧縮処理を行わせた後、記憶媒体へ圧縮した画像データの書き込みを行う記録処理を実行する。

ステップＳ１２１の記録処理が終了した後、ステップＳ１２２で、シャッタスイッチＳＷ２が押された状態かどうかを調べる。シャッタスイッチＳＷ２が押された状態であればステップＳ１２３に進み、システム制御回路１０１２は、システム制御回路１０１３の内部メモリ或いはメモリ１００８に記憶される連写フラグの状態を判断する。ここで連写フラグがオンであれば、システム制御回路１０１２は連続して撮影を行うためにステップＳ１１９に進み、次の映像の撮影を行う。ステップＳ１２３で、連写フラグがオンでなければ、システム制御回路１０１２はステップＳ１２２に進み、シャッタースイッチＳＷ２が放されるまでステップＳ１２２、Ｓ１２３の処理を繰り返す。

このように本実施の形態によれば、撮影直後にクイックレビュー表示を行う動作設定状態の場合に、記録処理（Ｓ１２１）が終了した際にシャッタスイッチＳＷ２が押された状態であるかを判断する。シャッタスイッチＳＷ２が押された状態であれば、シャッタスイッチＳＷ２が放されるまで表示装置１０１０におけるクイックレビュー表示を継続する。これにより、撮影画像の確認を入念に行うことができる。

こうしてステップＳ１２１の記録処理の後、直ぐにシャッタスイッチＳＷ２がオフされた場合はステップＳ１２２からステップＳ１２４に進む。同様に、ステップＳ１２１の記録処理の後、シャッタスイッチＳＷ２を押し続けてクイックレビュー表示を継続して撮影画像の確認を行った後にシャッタースイッチＳＷ２をオフにした場合はステップＳ１２２からステップＳ１２４に進む。そしてステップＳ１２４では所定のミニマムレビュー時間が経過するのを待ってステップＳ１２５に進む。

ステップＳ１２５では、システム制御回路１０１２は表示装置１０１０の表示状態をスルー表示状態に設定してステップＳ１２６に進む。これにより、表示装置１０１０でのクイックレビュー表示によって撮影画像を確認した後に、次の撮影のために、撮像した画像データを逐次表示するスルー表示状態にすることができる。

ステップＳ１２６では、シャッタスイッチＳＷ１がオンされた状態かどうかを調べ、そうであればステップＳ１１７に進んで次の撮影に備える。またステップＳ１２６で、シャッタスイッチＳＷ１がオフされている場合は、一連の撮像動作を終えてステップＳ１１２に戻る。

ここで、顔検出枠の表示方法について再び説明を行う。上述の実施の形態では、顔検出枠を表示すると（Ｓ２０３，Ｓ２１１，Ｓ２１６）タイマー１０１５がその顔検出枠の表示時間の計測を開始する（Ｓ２０４，Ｓ２１０，Ｓ２１７）。その顔検出枠によって囲まれていた人物と同一である可能性が高い人物の顔を検出できないままに、タイマー１０１５が所定時間に達すると顔検出枠は消去される（Ｓ２１４）。このタイマー１０１５が計測する所定時間は、少なくとも一度顔検出枠を表示してから、その次に行われた顔検出結果に基づいて再び顔検出枠を表示するために要する時間よりも長く設定されている。つまり、連続して顔検出が成功していれば、タイマーが所定時間に達することによって顔検出枠が消去されることはない。

図６（ａ）にタイマー１０１５による計測時間と、顔検出枠の表示／消去の関係を表す図を示す。

上から順に、スルー表示用の画像データを得るタイミング、顔検出結果を得るタイミング、顔検出枠の更新タイミング、および、タイマー１０１５による時間の計測結果を示す。横軸はいずれも時間を示している。

スルー表示用の画像データは１／３０秒毎に更新され、そのタイミングを順にｔ０、ｔ１、ｔ２、ｔ３、ｔ４、ｔ５、ｔ６、ｔ７、ｔ８、ｔ９、ｔ１０で示す。ｔ０のタイミングで得られた画像データに対する顔検出結果が（１）に示すタイミングで得られる。ｔ２で得られた画像データに対する顔検出結果が（２）に示すタイミングで得られる。ｔ４で得られた画像データに対する顔検出結果が（３）に示すタイミングで得られる。図６（ａ）では、（３）、（４）のタイミングで得られた顔検出結果は顔が検出できなかったことを示している。（１）、（２）のタイミングで得られた顔検出結果には、検出された顔領域の座標が含まれている。顔検出枠の更新はスルー表示と同じく１／３０秒毎に行われる。

タイマー１０１５は顔検出枠の更新のタイミングが来るたびに、１ずつ減算していくカウンターにて構成されている。図６（ａ）では（１）のタイミングにて顔領域の座標が得られたため、次の顔検出枠の更新のタイミングで顔検出枠を新たに表示するとともに、タイマー１０１５はカウント値を‘５’に設定する。次の顔検出枠の更新のタイミングではカウント値は１減算されて‘４’となる。
その次の顔検出枠の更新のタイミングでは、新たに（２）のタイミングにて得られた顔領域の座標が存在する。よって、この新たな顔領域の座標を用いて顔検出枠の更新するとともに、再びタイマー１０１５はカウント値をリセットして‘５’に設定する。
（３）のタイミングで得られた顔検出結果には顔領域の座標が含まれていないため、タイマー１０１５のカウント値は‘２’まで減少することになる。だが、カウント値が‘０’に達していないため、顔検出に失敗したとしても顔検出枠の表示は継続される。
しかしながら、続く（４）のタイミングにて得られた顔検出結果にも顔領域の座標が含まれていないため、カウント値が減少して‘０’に達する。すると、タイマー１０１５による計測時間が所定時間に達したとして、顔検出枠が消去される。
そして、この後、（５）のタイミングにて得られた顔検出結果には新たな顔領域の座標が含まれているため、再び顔検出枠が表示され、タイマー１０１５はカウント値を‘５’に設定する。
このように、本実施の形態では、顔検出に失敗したとしても、タイマー１０１５のカウント値が‘０’に達するまでの所定期間は顔検出枠の表示を継続するという機能を備えている。

さらに、表示装置１０１０にて顔検出枠が表示されていない場合は、新たに得られた顔検出結果をそのまま反映させて顔検出枠を表示させる（Ｓ２０３）。

表示装置１０１０にて既に顔検出枠が表示されており、かつ、その近傍にて新たな顔検出結果が得られた場合には、既に表示されている顔検出枠の位置と、新たな顔検出結果から得られた顔の位置に応じて別々の方法が選択される。既に表示されている顔検出枠の位置と、新たな顔検出結果から得られた顔の位置が近ければ、顔検出枠を頻繁に移動させることはかえって見苦しくなるため、敢えて顔検出枠の位置は変化させない。反対に、既に表示されている顔検出枠の位置と、新たな顔検出結果から得られた顔の位置が近くなければ、被写体の顔の位置を追従させるために顔検出枠の位置を更新する（Ｓ２１１）。

以上説明したように、本実施の形態では顔検出に失敗したとしても、所定時間の間は顔検出枠の表示を継続する。よって、被写体たる人物が瞬きして目を閉じたり不意に余所見をした程度では顔検出枠が消去される可能性が低くなり、表示と非表示とが短期間に繰り返されるという現象を抑制することができるようになる。

（第２の実施の形態）
続いて、本発明の好適な別の実施の形態を説明する。本実施の形態では、検出された顔領域の位置、あるいは、大きさによりタイマー１０１５が設定するカウント値を異ならせることを特徴としている。

検出された顔領域が画面の中央付近であった場合は、その後に顔領域が検出できなくなった場合であっても、その人物が余所見をしたり、目を閉じたりしたことによって顔領域の検出に失敗した可能性が高いと考えられる。この場合は顔領域の検出には失敗しても、その人物の顔は同じ位置に存在している可能性が高いため、タイマー１０１５のカウント時間を長く設定する。

反対に検出された顔領域が画面の端部であった場合は、その後に顔領域が検出できなくなったのであれば、その人物が画面の外に出てしまった可能性が高くなる。この場合は顔領域の検出に失敗したら、その人物の顔はもうそこには存在していない可能性が高いため、タイマー１０１５のカウント時間を短く設定する。

また、検出された顔領域の面積が小さいほど、その人物が遠くにいることになるため、その人物が動いたとしても画面内での位置の変化は小さくなる。反対に検出された顔領域の面積が大きいほど、その人物が近くにいることになるため、その人物が少し動くだけでも画面からはみ出してしまう可能性が大きくなる。

そこで、検出された顔領域の面積が小さいほど、タイマー１０１５のカウント時間を長く設定する。

図８（ａ）は顔検出処理に用いられるスルー表示用の画像データと、検出された顔領域の位置、および、大きさの関係を示した図である。図８（ｂ）は検出された顔領域の位置と、タイマー１０１５のカウント値の補正係数を示した図である。図８（ｃ）は検出された顔領域の大きさと、タイマー１０１５のカウント値の補正係数を示した図である。

図８（ａ）は３２０×２４０ピクセルからなるＱＶＧＡの画像データであり、画像データの左上の座標を（０，０）、右下の座標を（３１９，２３９）とする。顔検出処理にて得られた顔領域の左上の座標を（ｘ０，ｙ０）、左下の座標を（ｘ０，ｙ１）、右上の座標を（ｘ１，ｙ０）、右下の座標を（ｘ１，ｙ１）とする。

これらの座標を用いて、顔検出枠と画面の端部までの距離のうち、最も短い距離ＤＩＳを算出する。このＤＩＳを式に表すと以下のようになる。
ＤＩＳ＝ｍｉｎ（ｘ０，ｙ０，３２０−ｘ１，２４０−ｙ１）
求められたＤＩＳから、タイマー補正係数Ｋ＿ＤＩＳを求める。このタイマー補正係数Ｋ＿ＤＩＳは０．０から１．０までの値であり、ＤＩＳとＫ＿ＤＩＳの関係は図８（ｂ）に示すようになる。ＤＩＳが小さい、すなわち検出された顔が画面の端部に近いほど、Ｋ＿ＤＩＳの値が小さくなるように設定されている。なお、ここでは顔検出枠と画面の端部までの距離を求めたが、顔検出枠の中央部と画面の端部までの距離を求めてもよい。

また、上記の座標を用いて、顔検出枠の大きさＡＲＥＡを算出する。このＡＲＥＡを式に表すと以下のようになる。
ＡＲＥＡ＝（ｘ１−ｘ０）×（ｙ１−ｙ０）
求められたＡＲＥＡから、タイマー補正係数Ｋ＿ＡＲＥＡを求める。このタイマー補正係数Ｋ＿ＡＲＥＡは０．０から１．０までの値であり、ＡＲＥＡとＫ＿ＡＲＥＡの関係は図８（ｃ）に示すようになる。ＡＲＥＡが大きい、すなわち検出された顔の面積が大きいほど、Ｋ＿ＡＲＥＡの値が小さくなるように設定されている。

これらタイマー補正係数Ｋ＿ＤＩＳ、Ｋ＿ＡＲＥＡを、タイマー基準値Ｔｒｅｆ（ここでは、Ｔｒｅｆ＝７）に掛け、小数点以下を切り捨てた値を、タイマー１０１５のカウント値の初期値Ｔとして算出する。もちろんタイマー補正係数Ｋ＿ＤＩＳ、Ｋ＿ＡＲＥＡの一方のみを用いても構わない。

図６（ｂ）、図６（ｃ）に、第１の実施の形態とはタイマー１０１５のカウント値の初期値が異なる場合の、タイマー１０１５による計測時間と、顔検出枠の表示／消去の関係を表す図を示す。

図６（ｂ）では（１）、（２）のタイミングで顔領域の座標を得ることができるが、タイマーのカウント値の初期値が‘２’に設定されている。そのため、（３）のタイミングで顔領域の座標を得ることに失敗すると、その直後の顔検出枠の更新のタイミングにて、顔検出枠が消去されてしまっている。（５）のタイミングで新たな顔領域の座標を得られるまでは顔検出枠は表示されず、（５）のタイミングの後すぐに新たな顔検出枠が表示される。また、このとき設定されたタイマー１０１５のカウント値の初期値は、顔領域の位置が画面の端部から離れたか、あるいは、その面積が大きくなったことによって‘３’に変更されている。

図６（ｃ）ではタイマー１０１５のカウント値の初期値が‘７’に設定されている。そのため、（３）、（４）のタイミングで顔領域の座標が得られずとも、顔領域の座標が得られる（５）のタイミングよりも前にタイマー１０１５のカウント値が‘０’に達することはない。ゆえに図６（ｃ）では顔検出枠は（１）〜（５）の期間の間、常に継続して表示されている。

以上説明したように、本実施の形態では顔検出に失敗したとしても、所定時間の間は顔検出枠の表示を継続する。そして、この所定時間を検出された顔の位置、および、大きさの少なくとも一方に応じて変化させる。これにより、被写体が画面内に存在する可能性が高い状況ほど顔検出枠が消去される可能性が低くなり、表示と非表示とが短期間に繰り返されるという現象を抑制することができるようになる。

（第３の実施の形態）
更に本発明の好適な別の実施の形態を説明する。本実施の形態では、第１の実施の形態における図３のステップＳ２０７にて、ステップＳ２０６にて取得した顔領域の座標の中に、この選択した顔検出枠の近傍に位置するものが存在しないと判断した後の処理が異なる。第１の実施の形態と異なる処理であるステップＳ５０１乃至ステップＳ５０５を中心に説明を行う。なお、図３と同じ番号が付されているステップでは、第１の実施の形態と同じ処理が行われる。

図９のステップＳ２０７では、デジタル信号処理回路１００７は、既に表示されている顔検出枠の中のいずれか１つを選択する。そしてデジタル信号処理回路１００７はステップＳ２０６にて取得した顔領域の座標の中に、この選択した顔検出枠の近傍に位置するものが存在するか判断する。新たに取得した顔領域の座標が選択した顔検出枠の近傍になければ、ステップＳ５０１に進む。

ステップＳ５０１では、デジタル信号処理回路１００７は、ステップＳ２０７にて選択した顔検出枠の近傍にて、前回のタイミングで顔領域の座標を検出できたかを判断する。検出できていなければステップＳ２１３に進み、タイマー１０１５による計測時間に応じて顔検出枠の表示の継続、あるいは、消去を行う。検出できていればステップＳ５０２に進む。

ステップＳ５０２では、デジタル信号処理回路１００７は、ステップＳ２０７にて選択した顔検出枠に最も近い位置で検出された顔領域の座標を用いて、顔領域の動きを算出する。顔領域の移動方向が画面の外側であればステップＳ５０３に進む。顔領域の移動方向が画面の内側であれば、この顔領域は画面内からすぐ消えることはないと判断してステップＳ５０５に進み、タイマー１０１５をリセットして初期値を設定し、表示時間の計測を開始する。

ステップＳ５０３では、デジタル信号処理回路１００７は、顔領域の動きを算出するときに用いた顔領域の座標が、画面の端部に位置しているかを判断する。顔領域の座標が画面の端部に位置していれば、そのままその顔領域が画面からはみ出す可能性が高いため、ステップＳ５０２で顔領域の算出に用いた顔検出枠を消去する。画面の端部に位置していなければ、この顔領域は画面内からすぐ消えることはないと判断してステップＳ５０５に進み、その後ステップＳ２１２に進む。

以上説明したように、本実施の形態では、顔領域の移動方向とその位置に応じて、顔検出枠を消去するかを判断している。これにより、被写体が画面内に存在する可能性が低い状況ほど顔検出枠が速やかに消去され、顔が画面内から消えたにもかかわらずに顔検出枠のみが表示されているという現象を抑制することができるようになる。

また、このステップＳ５０２で、顔領域の移動方向だけでなく移動速度も求め、移動速度が速いほど、ステップＳ５０５にて設定するタイマー１０１５の初期値を小さな値としてもよい。被写体の移動速度が速いほど、画面からはみ出してしまう可能性が高いためである。

（第４の実施の形態）
更に本発明の好適な別の実施の形態を説明する。本実施の形態では、第１の実施の形態における図３のステップＳ２０７にて、ステップＳ２０６にて取得した顔領域の座標の中に、この選択した顔検出枠の近傍に位置するものが存在しないと判断した後の処理が異なる。第１の実施の形態と異なる処理であるステップＳ６０１乃至ステップＳ６０３を中心に説明を行う。なお、図３と同じ番号が付されているステップでは、第１の実施の形態と同じ処理が行われる。

図１０のステップＳ２０７では、デジタル信号処理回路１００７は、既に表示されている顔検出枠の中のいずれか１つを選択する。そしてデジタル信号処理回路１００７はステップＳ２０６にて取得した顔領域の座標の中に、この選択した顔検出枠の近傍に位置するものが存在するか判断する。新たに取得した顔領域の座標が選択した顔検出枠の近傍になければ、ステップ６０１に進む。

ステップＳ６０１では、デジタル信号処理回路１００７は被写体の状況が変化したかを判断するためのシーン検出処理を行う。

このシーン検出処理の詳細を、図１１のフローチャートを示した図と、図７の分割領域を示す図を用いて説明する。図７（ａ）は表示装置１０１０の表示画面を示しており、図７（ｂ）は撮像素子１０３の分割領域を示している。図７（ｂ）の鎖線が分割領域の境界を示しており、説明を容易にするため、図７（ａ）にも図７（ｂ）と同様の鎖線を示している。図７（ｂ）にて、図７（ａ）の顔検出枠がかかっている分割領域には斜線が引いてある。

図１１において、ステップＳ７０１では、デジタル信号処理回路１００７は顔検出枠がかかっていない分割領域（図７（ｂ）にて斜線がかかっていない領域）の輝度信号を検出する。そして、デジタル信号処理回路１００７はこの輝度信号と、前回タイマー１０１５を初期値に設定したときの画像データの対応する領域から得られた輝度信号とを比較し、その差△Ｙｎを演算する。

ステップＳ７０２では、デジタル信号処理回路１００７は顔検出枠がかかっている分割領域毎に画像データを特定の周波数（本実施の形態ではナイキスト周波数の半分である（１／２）＊ｆｎｎ）に変換する。

そして、デジタル信号処理回路１００７はこの周波数と、前回タイマー１０１５を初期値に設定したときの画像データにおける対応する領域において、同様の方法にて求めた周波数とを比較し、その差△（１／２）＊ｆｎｎを演算する。

ステップＳ７０３では、デジタル信号処理回路１００７は顔検出枠がかかっていない分割領域毎の色差信号を検出する。そして、デジタル信号処理回路１００７はこの色差信号と、前回タイマー１０１５を初期値に設定したときの画像データにおける対応する領域から得られた色差信号とを比較し、その差△Ｃｒｎ、△Ｃｂｎを演算する。

デジタル信号処理回路１００７は、ステップＳ７０４にて、ステップＳ７０１で演算した△Ｙｎの大きさが閾値Ｙｔｈ以下であるかを判断する。また、ステップＳ７０５にて、ステップＳ７０２で演算した△（１／２）＊ｆｎｎの大きさが閾値ｆｎｔｈ以下であるかを判断する。また、ステップＳ７０６にて、ステップＳ７０３で演算した△Ｃｒｎ、△Ｃｂｎの大きさがそれぞれ閾値Ｃｒｔｈ、Ｃｂｔｈ以下であるかを判断する。なお、閾値Ｙｔｈ、ｆｎｔｈ、Ｃｒｔｈ、および、Ｃｂｔｈは、実験によって被写体が消えずに画面内に留まっていると判断できるための値が求められる。

その結果、ステップＳ７０４からステップＳ７０６におけるすべての条件を満たすのであれば、デジタル信号処理回路１００７は顔検出は成功していなくとも被写体の状況に生じた変化は小さいと判断する。そして、デジタル信号処理回路１００７はステップＳ７０７にてシーン変化なしを示すフラグを設定する。

反対に、いずれかの条件を満たさないのであれば、被写体の状況に変化は小さくないと判断し、デジタル信号処理回路１００７はステップＳ７０８にてシーン変化ありと示すフラグを設定する。

そしていずれかのフラグを設定すると、このルーチンを終了する。

図１０に戻り、デジタル信号処理回路１００７はステップＳ６０２でシーン変化ありを示すフラグが設定されているかを判断し、設定されていればステップＳ６０３に進む。シーン変化ありを示すフラグが設定されていれば、被写体の状況の変化が小さくなく、被写体の顔検出枠が被写体の頭部を捕らえている可能性は低いと考えられる。そのため、ステップＳ２１３にてタイマー１０１５が所定時間に達しているかを判断し、達していればステップＳ２１４にて表示装置１０１０は顔検出枠を消去する。ステップＳ２１３にてタイマーが所定時間に達していなければ、ステップＳ２１２に進む。

ステップＳ６０２でシーン変化ありを示すフラグが設定されていないと、ステップＳ６０３にてタイマーを初期値に設定し、表示時間の計測を開始し、ステップＳ２１２に進む。これはシーン変化ありを示すフラグが設定されていなければ、被写体の状況の変化が小さいと考えられる。すなわち、被写体たる人物が瞬きして目を閉じたり、不意に余所見をした結果として顔検出に失敗した可能性が高いと考えられる。そのため、顔検出には失敗したが被写体の頭部の位置に大きな変化はないと推定し、既に表示されている顔検出枠を継続して表示させる。

なお、顔検出に失敗し、かつ、シーン検出処理によって被写体の状況変化が小さくないと推定された場合に、すぐさま顔検出枠を消去する構成とすれば、タイマー自体が不要となる。

また、本実施の形態では、シーン変化ありを示すフラグの設定の判断基準として、分割領域毎の輝度信号の差（△Ｙｎ）、特定の周波数に変換した値の差（△（１／２）＊ｆｎｎ）、色差信号の差（△Ｃｒｎ、△Ｃｂｎ）を用いている。判断基準としてはこれらの全ての信号を用いても、一部の信号のみを用いても構わない。また、これらの差を求める際には分割領域毎に得られた信号の差を求めても構わない。あるいは、複数の分割領域で得られた信号、もしくは、全ての領域で得られた信号を平均化したり、重み付けしても構わない。

また、シーン検出処理として別の方法も考えられる。
まず、ステップＳ１１３にてシャッタスイッチＳＷ１がオンされる前のスルー表示の段階からＡＥ処理、ＡＦ処理、あるいは、ＡＷＢ処理が行われる。スルー表示用に得られた画像データを基に得られる輝度値、合焦状態、ホワイトバランス情報を、予め目標として定められている基準値と比較し、これらの差分を補償するために公知のＡＥ処理、ＡＦ処理、あるいは、ＡＷＢ処理等が行われる。

シーン検出処理（Ｓ６０１）では、デジタル信号処理回路１００７が、スルー表示用に得られた画像データを基に演算されたＡＥ処理における補償量、ＡＦ処理における補償量、及び、ＡＷＢ処理における補償量を取得する。そして、これら補償量をそれぞれ閾値と比較し、これらの補償量の全てが、あるいは一つ以上のいずれかの補償量が閾値を超えていれば、被写体の状況に生じた変化は小さくないと判断し、シーン変化ありを示すフラグを設定することも可能である。

さらに、シーン検出のための判断基準に用いられる情報としては、撮像装置１０００で撮像した画像データから得られる信号に限られない。例えば、撮像装置１０００に搭載した振れ検出回路や、姿勢検出回路から出力される信号を判断基準に用いても構わない。更には、ユーザーの操作による撮像装置１０００の特定の操作部材からの入力信号や、外部装置から送信された所定の信号を判断基準としても構わない。

以上説明したように、本実施の形態では、顔検出には失敗したが被写体の状況変化が小さいと推定された場合は、顔検出に成功した場合と同様に、顔検出枠の表示が継続されるとともにタイマーのリセットが行われる。つまり、顔検出に失敗したとしても、被写体の状況変化が小さいと推定されれば、そうでない場合に比較して顔検出枠の表示時間が長くなる。よって、被写体たる人物が瞬きして目を閉じたり不意に余所見をした程度では顔検出枠が消去される可能性が低くなり、表示と非表示とが短期間に繰り返されるという現象を抑制することができるようになる。

（第５の実施の形態）
更に本発明の好適な別の実施の形態を説明する。本実施の形態では、シーン検出処理の結果、被写体の状況変化が小さいと推定された場合の表示装置１０１０の表示内容が他の実施の形態と異なる。

図１２（ｂ）から図１２（ｆ）に、シーン検出処理の結果として被写体の状況変化が小さいと推定された場合における顔検出枠の表示形態を例示する。なお、図１２（ａ）は顔検出に成功した場合の顔検出枠の表示形態を示している。

図１２（ｂ）は顔検出枠の色を変更、あるいは、半透明状態にしていることを示している。図１２（ｃ）は顔検出枠を点線表示、あるいは点滅表示にすることを示している。図１２（ｄ）は顔検出枠を形成する線を細くすることを示している。図１２（ｅ）は顔検出枠の一部のみを表示、あるいは、所定部位を切り欠いた状態を示している。図１２（ｆ）は顔検出枠には変更を加えず、アイコン表示を行うことを示している。このように、顔検出に失敗した場合でも被写体の状況変化が小さいと推定された場合は、顔検出枠をすぐさま消去するのではなく、顔検出に失敗していることを認識させることができる程度に顔検出枠の表示形態を変化させる。これにより、被写体たる人物が瞬きして目を閉じたり不意に余所見をした程度であれば、顔検出枠の表示形態の変化を従来よりも小さくでき、画面上の表示の煩わしさを軽減することができる。

また、図１３に本実施の形態の変形例を示す。

シーン検出処理の結果、被写体の状況変化が小さいと推定される状況が連続する場合は、顔検出枠の状態を複数段階にわたって変化させていき、最終的には消去する。被写体の状況変化が小さいと推定される場合であっても、顔検出ができない状況が連続することは好ましくない。そこで、この変形例では図１３に示すように、被写体たる人物が瞬きして目を閉じたり不意に余所見をした程度であっても、その時間が経過するごとに顔検出枠の状態を変化させ、やがては消去するようにしている。つまり、顔検出に失敗した場合は、被写体の状況変化が小さいと推定される場合であっても、その経過時間によっては消去される場合がある。

なお、上述の実施の形態では、一対の目、鼻、口を検出し、これらの相対位置より人物の顔領域を決定する手法により顔検出処理にて主被写体を特定しているが、これに限定されるものではない。上述したように、ニューラルネットワークに代表される学習機能を用いた解析方法等を用いて顔検出処理を行ってもよい。また、主被写体を検出するために用いられる方法は、顔検出処理に限られるものでもなく、人物に限定する必要もない。主被写体の対象としては、動物、植物、建造物、あるいは、幾何学模様であっても構わない。所望の被写体を検出し、その検出した被写体の位置を示す表示を行う機能を有するものであれば、上記の実施の形態に限らずとも、所望の被写体の検出を一時的に失敗しても表示が見苦しくならないという効果を得ることができる。

また、上述の実施の形態では、撮像装置１０００にて被写体をスルー表示しながら主被写体を検出する場合を例にあげたが、本発明はこれに限定されるものではない。撮像装置にて得られた画像データを外部機器に転送し、この外部機器の表示装置にて画像データを表示し、かつ、主被写体検出を行うものも本発明の実施の形態に含まれる。また、画像データは既に記録済みの動画を読み出したものであっても構わない。つまり、連続して変化する画像データから、特定の条件を満たす対象を繰り返し検出し、その検出結果を表示に反映させる機能を有するものであれば、本発明の実施の形態に含めることができる。

なお、上述の各フロー図におけるプログラムコードは、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び当該プログラムを記録したコンピュータ読み取り可能な記憶媒体は本発明の実施の形態に含まれる。

具体的に、前記プログラムは、例えばＣＤ−ＲＯＭのような記録媒体に記録し、或いは各種伝送媒体を介し、コンピュータに提供される。前記プログラムを記録する記録媒体としては、ＣＤ−ＲＯＭ以外に、フロッピー（登録商標）ディスク、ハードディスク、磁気テープ、光磁気ディスク、不揮発性メモリカード等を用いることができる。他方、上記プログラムの伝送媒体としては、プログラム情報を搬送波として伝搬させて供給するためのコンピュータネットワーク（ＬＡＮ、インターネットの等のＷＡＮを用いることができる。他にも、無線通信ネットワーク等）システムにおける通信媒体（光ファイバ等の有線回線や無線回線等）を用いることもできる。

また、コンピュータが供給されたプログラムを実行することにより上述の実施の形態の機能が実現されるだけではない。そのプログラムがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）あるいは他のアプリケーションソフト等と共同して上述の実施の形態の機能が実現される場合も本実施の形態に含まれる。さらに、供給されたプログラムの処理の全てあるいは一部がコンピュータの機能拡張ボードや機能拡張ユニットにより行われて上述の実施の形態の機能が実現される場合も、かかるプログラムは本発明の実施の形態に含まれる。

本発明の第１の実施の形態における撮像装置の構成を示すブロック図である。 本発明の第１の実施の形態におけるメイン処理ルーチンでの動作を説明するためのフローチャートである。 本発明の第１の実施の形態における枠表示処理ルーチンでの動作を説明するためのフローチャートである。 本発明の第１の実施の形態におけるＡＥ及びＡＦ処理ルーチンでの動作を説明するためのフローチャートである。 本発明の第１の実施の形態における撮像処理ルーチンでの動作を説明するためのフローチャートである。 本発明の第１、２の実施の形態におけるタイマーによる計測時間と、顔検出枠の表示／消去の関係を表す図である。 本発明における顔検出枠の表示形態を示す図と、顔検出枠と分割領域の対応を説明するための図である。 本発明の第２の実施の形態における顔検出処理に用いられるスルー表示用の画像データにおける顔領域の位置を説明するための図と、検出された顔領域の位置とタイマー補正係数の関係を示す図と、検出された顔領域の大きさとタイマー補正係数の関係を示す図である。 本発明の第３の実施の形態における枠表示処理ルーチンでの動作を説明するためのフローチャートである。 本発明の第４の実施の形態における枠表示処理ルーチンでの動作を説明するためのフローチャートである。 本発明の第４の実施の形態におけるシーン検出処理ルーチンでの動作を説明するためのフローチャートである。 本発明の第５の実施の形態における顔検出枠の表示形態を示す図である。 本発明の第５の実施の形態の変形例における顔検出枠の表示形態を示す図である。 従来の顔検出枠の表示形態を示す図である。

符号の説明

１０００ 撮像装置
１００１ 撮像レンズ群
１００２ 光量調節装置
１００３ 撮像素子
１００４ アナログ信号処理回路
１００５ Ａ／Ｄ変換器
１００６ メモリ制御回路
１００７ デジタル信号処理回路
１００８ メモリ
１００９ Ｄ／Ａ変換器
１０１０ 表示装置
１０１１ インタフェース
１０１２ システム制御回路
１０１３ 露出制御回路
１０１４ 焦点制御回路
１０１５ タイマー
１０１６ 顔検出回路

Claims (15)

1. 画像データを用いて画像を表示する工程と、
   前記画像データから所定の条件を満たす対象を検出し、該対象の前記画像における位置を求める工程と、
   前記位置に基づいて、前記対象が検出された領域を示す検出結果を前記画像に重畳して表示する工程とを有し、
   前記検出結果が表示されている間に、前記検出結果が示していた領域にいた対象と同一とみなせる対象が検出できなくなった場合に、
   前記検出結果が継続して表示されている時間が所定の時間に達していなければ、前記対象が検出できていたときの前記対象の位置に基づく前記検出結果の表示を継続し、
   前記検出結果が継続して表示されている時間が前記所定の時間に達していれば、前記検出結果の表示を消去することを特徴とする画像処理方法。
2. 前記検出結果が表示されている間に、前記検出結果が示していた対象が検出できた場合に、計測した時間をリセットすることを特徴とする請求項１に記載の画像処理方法。
3. 検出された前記対象の位置が前記画像の端部に近いほど、前記所定の時間を短く設定することを特徴とする請求項１または２記載の画像処理方法。
4. 検出された前記対象の大きさが大きいほど、前記所定の時間を短く設定することを特徴とする請求項１ないし３のいずれかに記載の画像処理方法。
5. 画像データを用いて画像を表示する工程と、
   前記画像データから所定の条件を満たす対象を検出し、該対象の前記画像における位置を求める工程と、
   前記位置に基づいて、前記対象が検出された領域を示す検出結果を前記画像に重畳して表示する工程とを有し、
   前記検出結果が表示されている間に、前記検出結果が示していた領域にいた対象と同一とみなせる対象が検出できなくなった場合に、
   前記対象が検出できていたときの前記対象の位置が前記画像の端部でないことを含む所定の条件を満たしていれば、前記対象が検出できていたときの前記対象の位置に基づく前記検出結果の表示を継続し、
   前記所定の条件を満たしていなければ、前記検出結果の表示を消去することを特徴とする画像処理方法。
6. 画像データを用いて画像を表示する工程と、
   前記画像データから所定の条件を満たす対象を検出し、該対象の前記画像における位置を求める工程と、
   前記位置に基づいて、前記対象が検出された領域を示す検出結果を前記画像に重畳して表示する工程とを有し、
   前記検出結果が表示されている間に、前記検出結果が示していた領域にいた対象と同一とみなせる対象が検出できなくなった場合に、
   前記対象が検出できていたときの前記対象の移動方向が前記画像の外側でないことを含む所定の条件を満たしていれば、前記対象が検出できていたときの前記対象の位置に基づく前記検出結果の表示を継続し、
   前記所定の条件を満たしていなければ、前記検出結果の表示を消去することを特徴とする画像処理方法。
7. 画像データを用いて画像を表示する工程と、
   前記画像データから所定の条件を満たす対象を検出し、該対象の前記画像における位置を求める工程と、
   前記位置に基づいて、前記対象が検出された領域を示す検出結果を前記画像に重畳して表示する工程とを有し、
   前記検出結果が表示されている間に、前記検出結果が示していた領域にいた対象と同一とみなせる対象が検出できなくなった場合に、
   前記画像データを更新した際の画像データの変化の大きさが所定の閾値を越えないことを含む所定の条件を満たしていれば、前記対象が検出できていたときの前記対象の位置に基づく前記検出結果の表示を継続し、
   前記所定の条件を満たしていなければ、前記検出結果の表示を消去することを特徴とする画像処理方法。
8. 前記所定の条件を満たす対象とは人物の顔の形状であることを特徴とする請求項１ないし７のいずれかに記載の画像処理方法。
9. 画像データを用いて画像を表示する表示手段と、
   前記画像データから所定の条件を満たす対象を検出し、該対象の前記画像における位置を求める検出手段と、
   前記表示手段に、前記位置に基づいて、前記対象が検出された領域を示す検出結果を前記画像に重畳して表示させる制御手段と、
   前記制御手段は、前記検出結果が表示されている間に、前記検出結果が示していた領域にいた対象と同一とみなせる対象が検出できなくなった場合に、
   前記検出結果が継続して表示されている時間が所定の時間に達していなければ、前記表示手段に前記対象が検出できていたときの前記対象の位置に基づく前記検出結果の表示を継続し、
   前記検出結果が継続して表示されている時間が前記所定の時間に達していれば、前記表示手段に前記検出結果の表示を消去させることを特徴とする画像処理装置。
10. 画像データを用いて画像を表示する表示手段と、
    前記画像データから所定の条件を満たす対象を検出し、該対象の前記画像における位置を求める検出手段と、
    前記表示手段に、前記位置に基づいて、前記対象が検出された領域を示す検出結果を前記画像に重畳して表示させる制御手段と、
    前記制御手段は、前記検出結果が表示されている間に、前記検出結果が示していた領域にいた対象と同一とみなせる対象が検出できなくなった場合に、
    前記対象が検出できていたときの前記対象の位置が前記画像の端部でないことを含む所定の条件を満たしていれば、前記表示手段に前記対象が検出できていたときの前記対象の位置に基づく前記検出結果の表示を継続させ、
    前記所定の条件を満たしていなければ、前記表示手段に前記検出結果の表示を消去させることを特徴とする画像処理装置。
11. 画像データを用いて画像を表示する表示手段と、
    前記画像データから所定の条件を満たす対象を検出し、該対象の前記画像における位置を求める検出手段と、
    前記表示手段に、前記位置に基づいて、前記対象が検出された領域を示す検出結果を前記画像に重畳して表示させる制御手段と、
    前記制御手段は、前記検出結果が表示されている間に、前記検出結果が示していた領域にいた対象と同一とみなせる対象が検出できなくなった場合に、
    前記対象が検出できていたときの前記対象の移動方向が前記画像の外側でないことを含む所定の条件を満たしていれば、前記表示手段に前記対象が検出できていたときの前記対象の位置に基づく前記検出結果の表示を継続させ、
    前記所定の条件を満たしていなければ、前記表示手段に前記検出結果の表示を消去させることを特徴とする画像処理装置。
12. 画像データを用いて画像を表示する表示手段と、
    前記画像データから所定の条件を満たす対象を検出し、該対象の前記画像における位置を求める検出手段と、
    前記表示手段に、前記位置に基づいて、前記対象が検出された領域を示す検出結果を前記画像に重畳して表示させる制御手段と、
    前記制御手段は、前記検出結果が表示されている間に、前記検出結果が示していた領域にいた対象と同一とみなせる対象が検出できなくなった場合に、
    前記画像データを更新した際の画像データの変化の大きさが所定の閾値を越えないことを含む所定の条件を満たしていれば、前記表示手段に前記対象が検出できていたときの前記対象の位置に基づく前記検出結果の表示を継続させ、
    前記所定の条件を満たしていなければ、前記表示手段に前記検出結果の表示を消去させることを特徴とする画像処理装置。
13. 被写体像としての光束を前記画像データに変換する撮像素子を有することを特徴とする請求項９ないし１２のいずれかに記載の画像処理装置。
14. 前記検出手段にて検出された前記対象に対してオートフォーカスを行う焦点制御手段、および、露出制御手段を行う露出制御手段を有することを特徴とする請求項１３に記載の画像処理装置。
15. 請求項１から請求項８のいずれかに記載の画像処理方法をコンピュータに実行させるためのプログラム。

Images