JP5181935B2 - 画像処理装置、プログラム及び被写体検出方法 - Google Patents

Description

本発明は、画像データにおいて被写体を検出する画像処理装置、被写体検出プログラム及び被写体検出方法に関する。

従来、撮像される画像において顔部分を検出する顔検出技術が撮像装置等において用いられている。この顔検出技術は、顔画像の特徴を表すテンプレートを予め記憶しておき、撮像結果として得られるフレーム画像から抽出した画像について、前記テンプレートを用いてマッチングを行い顔画像であるか否かを判断するようにしている（例えば、特許文献１参照）。
特開２００３−２７１９３３号公報

しかしながら、顔画像の特徴は人種により異なることから、人種に左右されることなく顔部分を検出可能とするためには、人種毎に顔画像の特徴を表すテンプレートを記憶しておくことが必要となる。

また、前記マッチングを行う際には、前記テンプレートをＲＡＭ内に展開して一次記憶し、この展開したテンプレートとフレーム画像から抽出した画像との比較を行うことになる。したがって、人種に左右されることなく顔部分を検出可能とするためには、前記人種毎に顔画像の特徴を表すテンプレートを全てを読み出して、ＲＡＭ内に登録して展開しなければならない。よって、顔検出を行うに際しては、ＲＡＭ内に全てのテンプレートを登録して、顔検出処理を実行することとなり、その結果、無用な処理負担が発生して、顔検出処理が遅延する要因となる。

また、ＲＡＭは他の処理のワークエリア等としても利用されるが、顔検出処理に多数のテンプレートが用いられると、これらテンプレートによりＲＡＭの大部分が占有されてしまう。その結果、他の処理に必要なデータやプログラム等を当該ＲＡＭに展開することが困難となり、前述した顔検出処理のみならず、他の処理も遅延してしまうという問題があった。

本発明は、かかる従来の課題を鑑みてなされたものであり、画像データからの被写体検出処理における処理負担を軽減できるようにすることを目的とする。

前記課題を解決するため請求項１記載の発明に係る画像処理装置にあっては、予め記憶手段に記憶されている複数種の特徴データを用い、画像データにおいて被写体領域を検出する検出手段を備えた画像処理装置であって、当該装置の所定の機能を実現させるための設定項目を設定する項目設定手段と、前記記憶手段から、前記項目設定手段による設定項目の設定結果に基づき、前記被写体領域の検出に際して用いる特徴データを選択する選択手段と、 この選択手段により選択された前記特徴データに基づいて、前記検出手段による前記画像データにおいて被写体領域を検出する処理を制御する検出制御手段と、を備えることを特徴とする。

また、請求項２記載の発明に係る画像処理装置にあっては、前記設定項目は、ユーザにより当該装置に設定される使用言語を示す情報の設定、ユーザによる当該装置の使用地域を示す情報の設定のうち少なくとも一つを含むことを特徴とする。

また、請求項３記載の発明に係る画像処理装置にあっては、前記検出制御手段は、前記選択手段によって前記使用言語を示す情報及びユーザによる当該装置の使用地域を示す情報に基づき、複数の特徴データが選択された場合には、これら選択された全ての特徴データを用いて、前記画像データにおいて被写体領域を検出するように前記検出手段を制御することを特徴とする。

また、請求項４記載の発明に係る画像処理装置にあっては、前記選択手段は、前記設定結果として前記使用言語を示す情報、及びユーザによる当該装置の使用地域を示す情報が設定された場合、予め定められた優先順位に従って、特徴データを選択することを特徴とする。

また、請求項５記載の発明に係る画像処理装置にあっては、前記選択手段は、前記検出手段が前記選択された前記特徴データを用いて画像データにおいて被写体領域を検出しなかった場合、前記選択された特徴データ以外の他の特徴データを選択することを特徴とする。

また、請求項６記載の発明に係る画像処理装置にあっては、前記複数種の特徴データ毎に検出のための閾値を設定する設定手段と、前記設定手段に設定されている閾値のうち、前記選択手段により選択された前記特徴データに対応する閾値を下降制御して前記設定手段に設定する閾値制御手段とを更に備え、前記検出制御手段は、前記閾値制御手段によって閾値が下降制御された特徴データを用いて、前記閾値以上で類似していると判断された領域を被写体領域として検出するように前記検出手段を制御することを特徴する。

また、請求項７記載の発明に係る画像処理装置にあっては、前記特徴データは、各人種に対応する顔画像テンプレート、各人種に対応する顔における特徴点情報、各人種に対応する肌の色情報のうちの少なくとも１つを含み、前記検出手段は、前記特徴データに基づき、前記被写体領域を検出する処理を実行することを特徴とする。

また、請求項８記載の発明に係る画像処理装置にあっては、前記記憶手段は、所定の特徴別に分類して前記複数種の特徴データを記憶してなることを特徴とする。

また、請求項９記載の発明に係る画像処理装置にあっては、前記所定の特徴別とは、被写体の人種別であることを特徴とする。

また、請求項１０記載の発明に係るプログラムにあっては、予め記憶手段に記憶されている複数種の特徴データを用い、画像データにおいて被写体領域を検出する被写体検出手段を備えた画像処理装置が有するコンピュータを、当該装置の所定の機能を実現させるための設定項目を設定する項目設定手段と、前記記憶手段から、前記項目設定手段による設定項目の設定結果に基づき、前記被写体領域の検出に際して用いる特徴データを選択する選択手段と、この選択手段により選択された前記特徴データに基づいて、前記検出手段による前記画像データにおいて被写体領域を検出する処理を制御する検出制御手段として機能させることを特徴とする。

また、請求項１１記載の発明に係る被写体検出方法にあっては、予め記憶手段に記憶されている複数種の特徴データを用い、画像データにおいて被写体領域を検出する被写体検出方法であって、所定の機能を実現させるための設定項目を設定する項目設定ステップと、前記記憶手段から、前記項目設定手段による設定項目の設定結果に基づき、前記被写体の検出に際して用いる特徴データを選択する選択ステップと、この選択ステップにより選択された前記特徴データに基づいて、前記画像データにおいて被写体領域を検出する処理を制御する検出制御ステップとを含むことを特徴とする。

本発明によれば、画像データからの被写体検出処理時における処理負担を軽減することができる。

以下、本発明の一実施の形態を図に従って説明する。図１は、本発明の一実施の形態を適用したデジタルカメラ１の電子回路構成を示す図である。このデジタルカメラ１は、基本モードである撮影モードにおいて、ズームレンズ１２−１を移動させて光学ズーム動作を行わせるズーム駆動部１１−１、フォーカスレンズ１２−２を移動させて合焦動作を行わせるＡＦ駆動部１１−２、ズームレンズ１２−１及びフォーカスレンズ１２−２を含む撮像レンズ２を構成するレンズ光学系１２、撮像素子であるＣＣＤ１３、タイミング発生器（ＴＧ）１４、垂直ドライバ１５、サンプルホールド回路（Ｓ／Ｈ）１６、Ａ／Ｄ変換器１７、カラープロセス回路１８、ＤＭＡ（Direct Memory Access）コントローラ１９、ＤＲＡＭインターフェイス（Ｉ／Ｆ）２０、ＤＲＡＭ２１を備えていている。また、制御部２２、ＶＲＡＭコントローラ２３、ＶＲＡＭ２４、デジタルビデオエンコーダ２５、表示部２６、ＪＰＥＧ（Joint Photograph cording Experts Group）回路２７、保存メモリ２８を備えているとともに、ＲＡＭ２９、データベース３０、及びキー入力部３２を備えている。

撮影モードでのモニタリング状態においては、ズーム駆動部１１−１は、光学ズーム指示があると制御部２２からの制御信号に基づいて、図示しないズームレンズ駆動モータを駆動してズームレンズ１２−１を光軸に沿って前後に移動させることによりＣＣＤ１３に結像させる画像の倍率そのものを変化させる。また、ＡＦ駆動部１１−２は図示しないフォーカスレンズ駆動モータを駆動してフォーカスレンズ１２−２を移動させる。そして、前記撮像レンズ２を構成するレンズ光学系１２の撮影光軸後方に配置された撮像素子であるＣＣＤ１３が、タイミング発生器（ＴＧ）１４、垂直ドライバ１５によって走査駆動され、一定周期ごとに結像した光像に対応する光電変換出力を１フレーム分出力する。

ＣＣＤ１３は被写体の二次元画像を撮像する固体撮像デバイスであり、典型的には毎秒数十フレームの画像を撮像する。なお、撮像素子はＣＣＤに限定されずＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの固体撮像デバイスでもよい。

この光電変換出力は、アナログ値の信号の状態でＲＧＢの各原色成分ごとに適宜ゲイン調整された後に、サンプルホールド回路（Ｓ／Ｈ）１６でサンプルホールドされ、Ａ／Ｄ変換器１７でデジタルデータ（画素）に変換され、カラープロセス回路１８で画像補間処理及びγ補正処理を含むカラープロセス処理が行われて、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ、Ｃｒが生成され、ＤＭＡ（Direct Memory Access）コントローラ１９に出力される。

ＤＭＡコントローラ１９は、カラープロセス回路１８の出力する輝度信号Ｙ及び色差信号Ｃｂ、Ｃｒを、同じくカラープロセス回路１８からの複合（composite）同期信号、メモリ書き込みイネーブル信号、及びクロック信号を用いてＤＲＡＭインターフェイス（Ｉ／Ｆ）２０を介してバッファメモリとして使用されるＤＲＡＭ２１にＤＭＡ転送する。

制御部２２は、このデジタルカメラ１全体の制御動作を司るものであり、ＣＰＵ若しくはＭＰＵ（以下、ＣＰＵ）と、後述するフローチャートに示す処理を実行するためのプログラム等を記憶したフラッシュメモリ等のプログラム格納メモリ等により構成される。そして、前記輝度及び色差信号のＤＲＡＭ２１へのＤＭＡ転送終了後に、この輝度及び色差信号をＤＲＡＭインターフェイス２０を介してＤＲＡＭ２１から読出し、ＶＲＡＭコントローラ２３を介してＶＲＡＭ２４に書き込む。

また、制御部２２は、キー入力部３２からの状態信号に対応してフラッシュメモリ等のプログラム格納用メモリに格納されている各モードに対応の処理プログラムやメニューデータを取り出して、デジタルカメラ１の各機能の実行制御、具体的には撮影動作や、光学ズーム時のズームレンズの動作制御や、デジタルズーム、ライブビュー表示、自動合焦、撮影、記録、及び記録した画像の再生・表示等の実行制御等や機能選択時の機能選択メニューの表示制御、操作ガイドの表示制御、現在時刻の表示制御等を行う。

なお、これらの機能選択メニューの表示制御、操作ガイドの表示制御は、後述するように日本語、英語、フランス語、イタリア語、オランダ語、ポルトガル語、中国語のいずれによっても表示可能である。また、現在時刻は、後述するワールドタイムのいずれによっても表示可能である。

デジタルビデオエンコーダ２５は、ライブビュー表示状態にあっては、前記輝度及び色差信号をＶＲＡＭコントローラ２３を介してＶＲＡＭ２４から定期的に読み出し、これらのデータを基に表示部２６が備える解像度に対応するビデオ信号を生成して前記表示部２６に出力する。表示部２６は、上述したように撮影モード時にはモニタ表示部（電子ファインダ）として機能するもので、デジタルビデオエンコーダ２５からのビデオ信号に基づいたライブビュー画像データの表示を行うことで、その時点でＶＲＡＭコントローラ２３から取り込んでいる画像情報に基づく画像をリアルタイムに表示する。

制御部２２は撮影指示に応じてその時点でＣＣＤ１３から取り込んでいる１フレーム分の輝度及び色差信号のＤＲＡＭ２１へのＤＭＡ転送の終了後、直ちにＣＣＤ１３からのＤＲＡＭ２１への経路を停止し、記録保存の状態に遷移する。

この保存記録の状態では、制御部２２がＤＲＡＭ２１に書き込まれている１フレーム分の輝度及び色差信号をＤＲＡＭインターフェイス２０を介してＹ、Ｃｂ、Ｃｒのコンポーネントごとに縦８画素×横８画素の基本ブロックと呼称される単位で読み出してＪＰＥＧ回路２７に書込み、このＪＰＥＧ回路２７でＡＤＣＴ（Adaptive Discrete Cosine Transform：適応離散コサイン変換）、エントロピー符号化方式であるハフマン符号化等の処理によりデータ圧縮する。そして得た符号データを１画像のデータファイルとしてＪＰＥＧ回路２７から読出し、保存メモリ２８に記録保存する。また、１フレーム分の輝度及び色差信号の圧縮処理及び保存メモリ２８への全圧縮データの書込み終了に伴って、制御部２２はＣＣＤ１３からＤＲＡＭ２１への経路を再び起動する。

基本モードである再生モード時には、制御部２２が保存メモリ２８に記録されている画像データを選択的に読出し、ＪＰＥＧ回路２７で画像撮影モード時にデータ圧縮した手順と全く逆の手順で圧縮されている画像データを伸張し、伸張した画像データを、ＶＲＡＭコントローラ２３を介してＶＲＡＭ２４に展開して記憶させた上で、このＶＲＡＭ２４から定期的に読出し、これらの画像データを元にビデオ信号を生成して表示部２６で再生出力させる。

なお、表示部２６には、透明のタッチパネル３１が積層されており、タッチパネル３１はタッチ位置を検出して制御部２２に入力する。

前記ＪＰＥＧ回路２７は複数の圧縮率に対応しており、圧縮率に対応させて記憶するモードには圧縮率の低い高解像度（一般に、高精細、ファイン、ノーマルなどと呼ばれる）に対応するモードと、圧縮率の高い低解像度（一般にエコノミーなどと呼ばれる）モードがある。また、高画素数から低画素数にも対応している。

保存メモリ２８は、内蔵メモリ（フラッシュメモリ）やハードディスク、あるいは着脱可能なメモリカード等の記録媒体からなり画像データや撮影情報等を保存記録する。

ＲＡＭ２９は、前記制御部２２が有するＣＰＵのワークメモリとして使用されるとともに、データベース３０に記憶されているデータを選択して使用する際のワークメモリとして使用される。

データベース３０には、図２に示すメニュー画面等各言語テーブル３０１、図３に示す特徴データテーブル３０２、図４に示す設定言語対応テーブル３０３、及び図５に示すワールドタイム対応テーブル３０４が予め記憶されている。

図２示すメニュー画面等各言語テーブル３０１には、各々同一内容のメニューの表示制御データ、操作ガイド等の表示制御データが、「日本語」、「英語」、「フランス語」、「イタリア語」、「オランダ語」、「ポルトガル語」、「中国語」で表示可能に格納されている。したがって、このメニュー画面等各言語テーブル３０１から、対応する設定された言語に対応するメニューの表示制御データ、操作ガイドの表示制御データを読み出すことにより、デジタルカメラ１において、設定された言語でメニュー表示等を行うことが可能となる。

図３に示す特徴データテーブル３０２には、「白人」、「黒人」、「アフリカ人」、「日本人」、「東アジア人」、「西アジア人」、「中南米人」の人種毎に骨格や肌の色等、顔の特徴を表す特徴データ格納されている。

顔の特徴データとしては、下記（１）（２）（３）の少なくともいずれか１つが用いられて、記憶されている。

（１）顔の特徴データは、各人種に対応する顔画像テンプレートであり、顔検出は顔画像テンプレートとのマッチングによって行われる。したがって、この場合の処理内容は、画像データとこれら登録されている顔画像テンプレートとのマッチング処理であるから、比較的簡単な処理で顔検出を行うことができる。

（２）顔の特徴データは、各人種に対応する顔における目、鼻、口などの特徴点情報であり、顔検出は顔特徴点情報によって行われる。したがって、この場合の処理内容は、画像データから、登録されている目、鼻、口などの特徴点の検出であるから、精度よく顔検出を行うことができる。

（３）顔の特徴データは、各人種に対する肌の色情報であり、顔検出は肌色検出によって行われる。したがって、この場合の処理内容は、画像データから登録されている人種に対する肌の色領域の検出処理であるから、比較的簡単な処理で顔検出を行うことができる。また、肌色検出によれば顔以外の被写体領域についても検出可能である。

図４に示す設定言語対応テーブル３０３には、後述するようにして選択される言語設定「日本語」、「英語」、「フランス語」、「イタリア語」、「オランダ語」、「ポルトガル語」、「中国語」に対応して、特徴データグループ、つまり図３に示した特徴データテーブル３０２に記憶された特徴を示す人種名「白人」、「黒人」、「アフリカ人」、「日本人」、「東アジア人」、「西アジア人」、「中南米人」のいずれかが単数又は複数記憶されている。したがって、「日本語」〜「中国語」のいずれかが言語設定された際には、この設定言語対応テーブル３０３より「日本語」〜「中国語」に対応する特徴データグループ「日本人」・・・を特定し、この特定した特徴データグループ「日本人」・・・に対応する特徴データを図３の特徴データテーブル３０２から読み出すことができる。

図５に示すワールドタイム対応テーブル３０４には、表示部２６の一部に表示させる現在時刻をワールドタイムで表示させる際に当該ワールドタイムとして選択可能な状態な都市名「東京」、「ニューヨーク」、「パリ」、「カイロ」、「シドニー」、「リオ・デ・ジャネイロ」、「ペキン」が記憶されているとともに、これらに対応して、特徴データグループ、つまり図３に示した特徴データテーブル３０２に記憶された特徴を示す人種名「日本人」、「白人、黒人」、「白人、黒人」、「白人、アフリカ人」、「白人」、「中南米人」、「東アジア人」が記憶されている。したがって、ワールドタイム「東京」〜「ペキン」のいずれかが表示時刻として設定された際には、このワールドタイム対応テーブル３０４より「東京」〜「ペキン」に対応する特徴データグループ「日本人」・・・を特定し、この特定した特徴データグループ「日本人」・・・に対応する特徴データを図３の特徴データテーブル３０２から読み出すことができる。

キー入力部３２は、モードダイアル、カーソルキー、ＳＥＴキー、ズームボタン（Ｗボタン、Ｔボタン）、シャッターキー、及び電源ボタン等と、それらのキーが操作されると操作されたキーの操作信号を生成して制御部２２に送出するキー処理部（図示せず）等から構成されている。

モードダイアルは撮影モードや再生モードの選択を行うものである。カーソルキーはモード設定やメニュー選択等に際して表示部２６に表示されるメニューやアイコン等をカーソルでポイントを指定する際に操作するキーであり、カーソルキーの操作によりカーソルを上下又は左右に移動させることができる。また、ＳＥＴキーはカーソルキーによってカーソル表示されている項目を選択設定する際に押されるキーである。ズームボタンは、ズーム操作に用いられ、光学ズームの場合はズームボタン（Ｗボタン又はＴボタン）の操作に対応してズームレンズ（可変焦点距離レンズ）１２−１がワイド側またテレ側に移動されズームボタンの操作に対応してズーム値が決定され、ズーム値の変化に追従して画角が実際に変化し、表示部２６にはワイド（広角）画像又はテレ（望遠）画像が表示される。

シャッターキーは、撮影時にレリーズ操作を行うもので、２段階のストロークを有しており、１段目の操作（半押し状態）でオートフォーカス（ＡＦ）と自動露出（ＡＥ）を行わせるための合焦指示信号を発生し、２段目の操作（全押し状態）で撮影処理を行うための撮影指示信号を発生する。

（第１の実施の形態）
以上の構成に係る本実施の形態において、言語設定モードに移行すると制御部２２は、プログラムに従って図６のフローチャートに示すように処理を実行する。すなわち、ユーザがキー入力部３２にて、言語設定モードを設定すると、制御部２２は言語設定表示処理を開始して、その旨のガイダンスを表示部２６表示させる（ステップＳ１０１）。引き続き、言語選択画面表示を実行する（ステップＳ１０２）。この言語選択画面表示に際して制御部２２は、図４に示した設定言語対応テーブル３０３の「設定言語」欄から設定可能な言語種を読み出して、表示部２６に表示する。これにより、表示部２６には「日本語」、「英語」、「フランス語」、「イタリア語」、「オランダ語」、「ポルトガル語」、「中国語」からなる選択肢が表示される。

次に、この表示された選択肢のいずれかが選択されたか否かを判断する（ステップＳ１０３）。選択されたならば、選択された言語種をＲＡＭ２９に記憶して、言語設定モードを終了する（ステップＳ１０４）。

次に、言語設定モードにおいて設定言語が選択された後に撮影モードへ移行すると制御部２２は、プログラムに従って図７のフローチャートに示すように処理を実行する。撮影モードへの移行に伴って、言語設定モードで選択された言語種に基づいて、対応する特徴データグループを検索する（ステップＳ１０５）。つまり、前記ステップＳ１０３で選択された言語種に対応する特徴データグループを、設定言語対応テーブル３０３において検索する。したがって、設定言語対応テーブル３０３において、例えば設定言語として「英語」が選択されたとすると、ステップＳ１０５での処理により対応する特徴グループとして「白人 黒人」が検索されることとなる。

次に、このステップＳ１０５で検索した特徴データグループに対応する特徴データのみを、特徴データテーブル３０２から読み出して、ＲＡＭ２９に登録する（ステップＳ１０６）。つまり、前記ステップＳ１０５での処理により、特徴データを用いる特徴データグループは決定済みであることから、この決定済みの特徴データグループ（人種）に対応する特徴データのみを特徴データテーブル３０２から読み出す。そして、この読み出した特徴データを後述する顔検出処理に使用すべく、ＲＡＭ２９に登録して展開する。

したがって、本例においては、前述のように「英語」に対応する「白人 黒人」が特徴データを用いる特徴データグループとして決定されたことから、ステップＳ１０６においては、特徴データテーブル３０２から「白人」と「黒人」の顔の特徴データのみが読み出されて、ＲＡＭ２９に登録されることとなる。

しかる後に、表示部２６においてライブビュー画像を表示するためのライブビュー画像データがＣＣＤ１３から取り込まれる（ステップＳ１０７）。そして、ＲＡＭ２９に登録した顔の特徴データを用いてステップＳ１０７にて取り込まれたライブビュー画像データに対して顔検出処理を実行する（ステップＳ１０８）。このとき、図３に示したように、本実施の形態においては特徴データテーブル３０２には、「白人」〜「中南米人」の７種の人種毎に顔の特徴を表す特徴データ格納されているが、実際にＲＡＭ２９に登録して顔検出処理に用いるのは、「白人」と「黒人」の特徴データのみである。

したがって、顔検出処理（ステップＳ１０８）を実行する際に、顔検出処理に必要な特徴データのみを選択してＲＡＭ２９内にて用いることができ、顔検出処理時における処理負担を軽減することができる。

しかも、本実施の形態によれば、当該デジタルカメラ１に表示させる言語設定を有効利用して、必要な特徴データのみをＲＡＭ２９に登録することができる。

引き続き、前記ＲＡＭ２９に登録された全特徴データに基づく画像データからの顔の検出が終了したか否を判断し（ステップＳ１０９）、終了するまで顔検出処理を繰り返す。そして、全特徴データについての検出処理が終了したならば、画像データから顔が検出されたか否かを判断し（ステップＳ１１０）、顔が検出された場合、つまり前記ステップＳ１０６でＲＡＭ２９に登録された特徴データにより顔が検出された場合には、表示部２６に表示されたライブビュー画像において検出された顔に顔枠等の指標（アイコン）を重畳表示させ、ステップＳ１１１に進む。

そして、キー入力部３２のシャッター全押し検出等により記録指示が検出されたか否かを判断し（ステップＳ１１１）、記録指示が検出された場合は、検出された顔をフォーカスポイントとして合焦処理を行い、記録指示検出時に撮像された画像データを記録する（ステップＳ１１２）。また、記録指示が検出されなかった場合は、ステップＳ１１３に進む。

ステップＳ１１０にて顔が検出されなかった場合（ステップＳ１１０→Ｎｏ）、若しくは、ステップＳ１１１にて、例えば顔検出後、所定時間内に記録指示が検出されなかった場合（ステップＳ１１１→Ｎｏ）、ユーザが所望する特徴データでは満足な顔の検出結果が得られなかったことになるので、今回のライブビュー画像について、顔の検出を目的として、これら特徴データ以外の全ての他の特徴データを登録したか否かを判断する（ステップＳ１１３）。そして、全ての他の特徴データを登録した場合には（ステップＳ１１３→Ｙｅｓ）、登録すべき特徴データは無いことになるので、キー入力部３２のシャッター全押し検出等により記録指示が検出されたか否かを判断し（ステップＳ１１４）、記録指示が検出された場合は（ステップＳ１１４→Ｙｅｓ）、例えばコントラストＡＦ方式による通常の合焦処理を行い、記録指示検出時に撮像された画像データを記録する（ステップＳ１１５）。

一方、ステップＳ１１３の判断処理により、未だ他の特徴データを登録していなければ（ステップＳ１１３→Ｎｏ）、登録していない他の特徴データ（本例の場合、「白人」、「黒人」以外の特徴データ）を、既に登録されている特徴データと差し替えてＲＡＭ２９に登録し（ステップＳ１１６）、再度ステップＳ１０８の処理に戻り、顔の検出を試みる。 したがって、前記ステップＳ１０６で登録された特徴データでは顔を検出できなかった場合であっても、データベース３０に記憶されている他の特徴データを用いて、確実に顔を検出することができる。

尚、制御部２２は、表示輝度を調整するためのプログラムを読み出してＲＡＭ２９に登録することにより、上述の顔検出処理と並行してライブビュー画像を表示する表示部２６の明るさ（輝度）を取り込んだビデオ信号の明るさに応じて逐次変更する処理を行う（ステップＳ１１７〜Ｓ１１８）。

したがって、上述の顔検出処理と並行して表示輝度の調整処理を実行することにより。ユーザは使用する環境の明暗に左右されず顔の検出結果を確認することができる。

また、上述の顔検出処理においては、ＲＡＭ２９には顔検出処理に用いるに特徴データのみを登録されるので、上記の表示輝度の調整処理に負担がかかることがないという効果が得られる。

（第２の実施の形態）
図８は、本発明の第２の実施の形態におけるワールドタイム設定モードの処理手順を示すフローチャートである。すなわち、ユーザがキー入力部３２にて、ワールドタイム設定モードを設定すると、制御部２２はワールドタイム設定表示処理を開始して、その旨のガイダンスを表示部２６表示させる（ステップＳ２０１）。引き続き、ワールドタイム選択画面表示を実行する（ステップＳ２０２）。このワールドタイム選択画面表示に際して制御部２２は、図５に示したワールドタイム対応テーブル３０４の「都市名」欄から設定可能な都市を読み出して、表示部２６に表示する。これにより、表示部２６には、「東京」、「ニューヨーク」、「パリ」、「カイロ」、「シドニー」、「リオ・デ・ジャネイロ」、「ペキン」からなる選択肢が表示される。

次に、この表示された選択肢のいずれかが選択されたか否かを判断する（ステップＳ２０３）。選択されたならば、選択された都市をＲＡＭ２９に記憶して、ワールドタイム設定モードを終了する（ステップＳ２０４）。

次に、ワールドタイム設定モードにおいて設定都市が選択された後に撮影モードへ移行する。本第２の実施の形態においては、先ず、撮影モードへの移行に伴って、ワールドタイム設定モードで選択された設定に基づいて、対応する特徴データグループを検索し（ステップＳ２０５）、このステップＳ２０５で検索した特徴データグループに対応する特徴データのみを、特徴データテーブル３０２から読み出して、ＲＡＭ２９に登録する（ステップＳ２０６）。つまり、ワールドタイム対応テーブル３０４から設定された都市名に対応する対応する特徴データグループ「日本人」〜「東アジア人」を検索する。この場合、例えばワールドタイムとして「パリ」が設定されたとすると、「パリ」に対応する特徴データグループは「白人 黒人」であることから、特徴データテーブル３０２から「白人」と「黒人」の顔の特徴データが検索されることになる。

そして検索した後は、上記第１の実施の形態における図７のステップＳ１０６の処理に移行する。したがって、本実施の形態によれば、当該デジタルカメラ１に表示させるワールドタイム設定を有効利用して、必要な特徴データのみをＲＡＭ２９に登録することができる。

（第３の実施の形態）
本発明の第３の実施の形態においては、言語及びワールドタイムが共に設定されている場合で、且つ、設定言語に基づいた検索対象となる特徴データの数（種類の数）と、設定されたワールドタイムに基づいた検索対象となる特徴データの数（種類の数）とが不一致となる場合が生ずる。

例えば、「フランス語」が選択されたとすると、「白人」、「黒人」、「アフリカ人」の特徴データ（３種類の特徴データ）が検索対象となり、ワールドタイム「パリ」が選択されたとすると、「白人」、「黒人」の特徴データ（２種類の特徴データ）が検索対象となる。

そして、上記２つの検索により登録すべき特徴データの数が異なる場合には、例えば、より少ない種類の数の特徴データを優先して顔検出処理を行う等の優先順位を予め設定することにより、この設定に基づいて顔検出処理を行う。

また、以上とは逆に全ての特徴データを使用するようにしてもよい。すなわち、前述と同様に、設定言語「フランス語」が選択されて図７のフローチャートによる処理が実行されたとすると、「白人」、「黒人」、「アフリカ人」の特徴データ（３種類の特徴データ）が登録されることとなり、ワールドタイム「パリ」が選択されて図９のフローチャートによる処理が実行されたとすると、「白人」、「黒人」の特徴データ（２種類の特徴データ）が登録されることとなる。

そして、このように登録される特徴データの数が異なる場合には、全ての特徴データを差し替えて使用する。つまり、本例の場合、「白人」、「黒人」、「アフリカ人」の特徴データが全てであることから、これらを全てを差し替えて使用して顔検出処理を実行する。これにより、より確実に顔検出を行うことが可能となる。

（その他の実施の形態）
なお、本発明の他の実施の形態としては、さらに下記のものを挙げることができる。

（１）重み付け等
ユーザの設定に応じて、顔を検出する人種（特徴データ）を制限したり、人種別の特徴データを重み付けし、あるいは閾値を設定して用いるようにしてもよい。このとき、使用する人種別の特徴データを制限すると、予め記憶させてある複数人種の特徴データを全て用いることが不可能となり、特徴データが無意味となる場合があるので、重み付けや閾値により使用する人種別の特徴データの差別化を図ることが好ましい。このように、人種別の特徴データを重み付けしたり閾値を設定することによっても、処理を軽減することができることから、所期の目的を達成することができる。

（２）直接設定
前述の実施の形態においては、言語設定やワールドタイム設定を有効利用して特徴データをＲＡＭ２９に登録するようにしたが、ユーザが直接的に特徴データを選択してＲＡＭ２９に登録できるようにしてもよく、ユーザ自身の人種の特徴データを登録できるようにしてもよい。このように、ユーザ自身の人種の特徴データを登録できるようにすれば、ユーザ自身が被写体となる可能性が高いことから、撮影時における顔検出精度を恒常的に高く維持することができる。
なお、このように直接設定することなく、ユーザ自身の人種等が推定できる項目の設定に応じて特徴データを登録するようにしてもよい。

（３）他の設定形態
前述の実施の形態においては、言語設定により設定された使用言語、ワールドタイム設定により設定された都市に基づき、ＲＡＭ２９に登録する特徴データを決定するようにした。しかし、当該ユーザの「自宅」として設定された都市等、当該機器（デジタルカメラ１）の使用地域として設定された地域等、設定されたユーザの人種、被写体の人種に基づき、ＲＡＭ２９に登録する特徴データを決定するようにしてもよい。

また、人工衛星から送信される情報を受信するためのアンテナを備えさせ、ＧＰＳシステムにより特定される当該機器（デジタルカメラ１）の使用地域からＲＡＭ２９に登録する特徴データを決定しても良いし、移動体通信システム用のアンテナを備えさせ、移動体通信サービスにおけるサービス地域を特定する情報を受信することにより当該機器（デジタルカメラ１）が存在する地域を特定し、ＲＡＭ２９に登録する特徴データを決定してもよい。

更に、デジタルカメラ１が撮影モードで撮影した、風景に含まれる特徴的な人工構造物や地形（ランドマーク）や看板や広告に印刷された言語体系を認識する機能を備えさせ、この認識結果に基づいて、当該機器（デジタルカメラ１）が存在する地域を特定し、ＲＡＭ２９に登録する特徴データを決定しても良い。

このようにすれば、ユーザが言語やワールドタイムを設定することなく自動的に使用地域に沿った顔検出のための特徴データを登録することができる。

また、このように、使用言語、自宅、使用地域等の複数の要素に基づきＲＡＭ２９に登録する特徴データを決定した場合には、その全てを満足する特徴データ、つまり各要素に対応する特徴データを全てＲＡＭ２９に登録して用いる。これにより、前記複数の要素に対応する特徴データを欠落させることなく、顔の特徴抽出を行うことができる。

また、使用言語、自宅、使用地域等の複数の要素に基づきＲＡＭ２９に登録する特徴データを決定するに際しては、前記複数の要素に優先順位を設定する。そして、この設定した優先順位に従って順次ＲＡＭ２９に登録して、顔検出処理を行う。これにより、優先順位に従って早期に顔の検出が可能となる。
さらに、設定されたユーザの年齢や性別に基づき、ＲＡＭ２９に登録する特徴データを決定するようにしてもよく、この場合、データベースには年齢層別、老若男女別で顔の特徴データが記憶されていること好ましい。

（４）データベース等
また、前述した実施の形態においては、予めデータベースも複数種の特徴データを記憶させておくようにしたが、ネットワークを介してユーザ設定に適した特徴データをダウンロードするようにしてもよい。また、ユーザの設定によることなく、メーカの出荷時の設定により、出荷先の情報（言語や地域）を設定し、使用時において適切な特徴データがＲＡＭ２９に登録されるようにしてもよい。

なお、実施の形態では、この発明をデジタルカメラに適用した場合を例にして説明しているが、デジタルカメラばかりでなく、光学系及び撮像素子を介して取り込んだ画像データを記録する機能を備えた装置、例えば、カメラ付携帯電話や撮像機能を備えた電子機器にも適用できる。

本発明の各実施の形態に共通するデジタルカメラの電子回路構成を示す図である。 メニュー画面等各言語テーブルを示す概念図である。 特徴データテーブルを示す概念図である。 設定言語対応テーブルを示す概念図である。 ワールドタイム対応テーブルを示す概念図である。 本発明の第１の実施の形態における言語設定モードでの処理手順を示すフローチャートである。 本発明の第１の実施の形態における言語設定後の撮影モードでの処理手順を示すフローチャートである。 本発明の第２の実施の形態におけるワールドタイム設定モードでの処理手順を示すフローチャートである。 本発明の第２の実施の形態におけるワールドタイム設定後の撮影モードでの処理手順を示すフローチャートである。

符号の説明

１ デジタルカメラ
１３ ＣＣＤ
１５ 垂直ドライバ
１７ Ａ／Ｄ変換器
１８ カラープロセス回路
１９ ＤＭＡコントローラ
２１ ＤＲＡＭ
２２ 制御部
２４ ＶＲＡＭ
２５ デジタルビデオエンコーダ
２６ 表示部
２８ 保存メモリ
２９ ＲＡＭ
３０ データベース
３０１ メニュー画面等各言語テーブル
３０２ 特徴データテーブル
３０３ 設定言語対応テーブル
３０４ ワールドタイム対応テーブル

Claims (11)

1. 予め記憶手段に記憶されている複数種の特徴データを用い、画像データにおいて被写体領域を検出する検出手段を備えた画像処理装置であって、
   当該装置の所定の機能を実現させるための設定項目を設定する項目設定手段と、
   前記記憶手段から、前記項目設定手段による設定項目の設定結果に基づき、前記被写体領域の検出に際して用いる特徴データを選択する選択手段と、
   この選択手段により選択された前記特徴データに基づいて、前記検出手段による前記画像データにおいて被写体領域を検出する処理を制御する検出制御手段と、
   を備えることを特徴とする画像処理装置。
2. 前記設定項目は、ユーザにより当該装置に設定される使用言語を示す情報の設定、ユーザによる当該装置の使用地域を示す情報の設定のうち少なくとも一つを含むことを特徴とする請求項１記載の画像処理装置。
3. 前記検出制御手段は、前記選択手段によって前記使用言語を示す情報及びユーザによる当該装置の使用地域を示す情報に基づき、複数の特徴データが選択された場合には、これら選択された全ての特徴データを用いて、前記画像データにおいて被写体領域を検出するように前記検出手段を制御することを特徴とする請求項２記載の画像処理装置。
4. 前記選択手段は、前記設定結果として前記使用言語を示す情報、及びユーザによる当該装置の使用地域を示す情報が設定された場合、予め定められた優先順位に従って、特徴データを選択することを特徴とする請求項２記載の画像処理装置。
5. 前記選択手段は、前記検出手段が前記選択された前記特徴データを用いて画像データにおいて被写体領域を検出しなかった場合、前記選択された特徴データ以外の他の特徴データを選択することを特徴とする請求項１から４のいずれかに記載の画像処理装置。
6. 前記複数種の特徴データ毎に検出のための閾値を設定する設定手段と、前記設定手段に設定されている閾値のうち、前記選択手段により選択された前記特徴データに対応する閾値を下降制御して前記設定手段に設定する閾値制御手段とを更に備え、
   前記検出制御手段は、前記閾値制御手段によって閾値が下降制御された特徴データを用いて、前記閾値以上で類似していると判断された領域を被写体領域として検出するように前記検出手段を制御することを特徴する請求項１から５のいずれかに記載の画像処理装置。
7. 前記特徴データは、各人種に対応する顔画像テンプレート、各人種に対応する顔における特徴点情報、各人種に対応する肌の色情報のうちの少なくとも１つを含み、
   前記検出手段は、前記特徴データに基づき、前記被写体領域を検出する処理を実行することを特徴とする請求項１から６のいずれかに記載の画像処理装置。
8. 前記記憶手段は、所定の特徴別に分類して前記複数種の特徴データを記憶してなることを特徴とする請求項１から７のいずれかに記載の画像処理装置。
9. 前記所定の特徴別とは、被写体の人種別であることを特徴とする請求項８記載の画像処理装置。
10. 予め記憶手段に記憶されている複数種の特徴データを用い、画像データにおいて被写体領域を検出する被写体検出手段を備えた画像処理装置が有するコンピュータを、
    当該装置の所定の機能を実現させるための設定項目を設定する項目設定手段と、
    前記記憶手段から、前記項目設定手段による設定項目の設定結果に基づき、前記被写体領域の検出に際して用いる特徴データを選択する選択手段と、
    この選択手段により選択された前記特徴データに基づいて、前記検出手段による前記画像データにおいて被写体領域を検出する処理を制御する検出制御手段と
    して機能させることを特徴とする被写体検出プログラム。
11. 予め記憶手段に記憶されている複数種の特徴データを用い、画像データにおいて被写体領域を検出する被写体検出方法であって、
    所定の機能を実現させるための設定項目を設定する項目設定ステップと、
    前記記憶手段から、前記項目設定手段による設定項目の設定結果に基づき、前記被写体の検出に際して用いる特徴データを選択する選択ステップと、
    この選択ステップにより選択された前記特徴データに基づいて、前記画像データにおいて被写体領域を検出する処理を制御する検出制御ステップと、
    を含むことを特徴とする被写体検出方法。

Images