JP2024099985A - 撮像装置および撮像方法 - Google Patents

Abstract

【課題】互いに異なるアルゴリズムで被写体認証を行う撮像装置間において一方の撮像装置での登録情報を用いて他方の撮像装置で被写体認証が行えるようにする。【解決手段】撮像装置１０１は、撮像画像から被写体を検出する検出手段２１１と、撮像画像のうち被写体領域画像から被写体の特徴に関する特徴情報を取得する特徴取得手段２１４と、第１の撮像画像のうち第１の被写体領域画像から取得された第１の被写体の特徴に関する第１の特徴情報と第１の被写体領域画像とを、被写体認証用の登録情報として記憶する第１の記憶手段２１６と、登録情報のうち第１の被写体領域画像を第１の特徴情報を伴わずに外部に出力する出力手段２０１とを有する。【選択図】図２

Description

本発明は、被写体認証機能を有する撮像装置に関する。

デジタルカメラ等の撮像装置には、撮像により生成される画像から被写体（人の顔や瞳等）を検出し、被写体に追従するようにＡＦ（オートフォーカス）を実行し続ける追尾ＡＦが可能なものがある。

また、特許文献１には、追尾対象としての人物を事前に登録しておくと、顔認証を用いて登録人物を自動的に選択する撮像装置が開示されている。顔認証では、登録用の顔画像から特徴情報を抽出して不揮発性メモリに記憶しておき、撮像において生成される画像の中から検出された顔に対して抽出された特徴情報と不揮発性メモリに記憶された特徴情報との類似度を比較することで登録人物か否かを判定する。

特開２００８－１８７５９１号公報

上記のような顔認証機能を有する撮像装置において登録された人物の特徴情報を、別の撮像装置にコピーして、該別の撮像装置でも同様に顔認証を行いたいという要望がある。しかしながら、ある撮像装置で特徴情報を抽出したり該特徴情報を用いて顔認証を行ったりするアルゴリズムがその撮像装置に特有のアルゴリズムである場合には、その撮像装置で得られた特徴情報を用いて別の撮像装置で顔認証が行えないことがある。

本発明は、互いに異なるアルゴリズムで被写体認証を行う撮像装置間において、一方の撮像装置での登録情報を用いて他方の撮像装置で被写体認証が行えるようにすることを目的とする。

本発明の一側面としての撮像装置は、撮像画像から被写体を検出する第１の検出手段と、撮像画像のうち被写体が含まれる被写体領域画像から被写体の特徴に関する特徴情報を取得する第１の特徴取得手段と、第１の撮像画像のうち第１の被写体領域画像から取得された第１の被写体の特徴に関する第１の特徴情報と第１の被写体領域画像とを、被写体認証用の登録情報として記憶する第１の記憶手段と、登録情報のうち第１の被写体領域画像を第１の特徴情報を伴わずに外部に出力する出力手段とを有することを特徴とする。

本発明の他の一側面としての撮像装置は、第１の撮像画像のうち第１の被写体領域画像から取得した第１の被写体の特徴に関する第１の特徴情報と第１の被写体領域画像とを被写体認証用の登録情報として記憶するとともに、登録情報のうち第１の被写体領域画像を第１の特徴情報を伴わずに外部に出力する第１の撮像装置とは別の第２の撮像装置であって、第１の撮像装置から出力された第１の被写体領域画像から第１の被写体の特徴に関する第３の特徴情報を取得する第２の特徴取得手段と、第３の特徴情報を含む被写体認証用の登録情報を記憶する第２の記憶手段とを有することを特徴とする。

また本発明の他の一側面としての制御方法は、撮像画像のうち検出された被写体が含まれる被写体領域画像から被写体の特徴に関する特徴情報を取得する撮像装置に適用される。該制御方法は、第１の撮像画像のうち第１の被写体領域画像から取得された第１の被写体の特徴に関する第１の特徴情報と第１の被写体領域画像とを、被写体認証用の登録情報として第１の記憶手段に記憶させるステップと、登録情報のうち第１の被写体領域画像を第１の特徴情報を伴わずに外部に出力するステップとを有することを特徴とする。

さらに本発明の他の一側面としての制御方法は、第１の撮像画像のうち第１の被写体領域画像から取得した第１の被写体の特徴に関する第１の特徴情報と第１の被写体領域画像とを被写体認証用の登録情報として記憶するとともに、登録情報のうち第１の被写体領域画像を第１の特徴情報を伴わずに外部に出力する第１の撮像装置とは別の第２の撮像装置に適用される。該制御方法は、第１の撮像装置から出力された第１の被写体領域画像から第１の被写体の特徴に関する第３の特徴情報を取得するステップと、第３の特徴情報を含む被写体認証用の登録情報を第２の記憶手段に記憶させるステップとを有することを特徴とする。なお、上記各制御方法に従う処理を撮像装置のコンピュータに実行させるプログラムも、本発明の他の一側面を構成する。

本発明によれば、互いに異なるアルゴリズムで被写体認証を行う撮像装置間において、一方の撮像装置で登録された第１の被写体領域画像を用いて他方の撮像装置で被写体認証を行うことができる。

実施例１の撮像装置の構成を示す図。 実施例１の撮像装置の電気的構成を示すブロック図。 実施例１において実行される被写体登録処理を示すフローチャート。 実施例１において複数の被写体に対する認証処理例を示す図。 実施例１において実行される認証処理を示すフローチャート。 実施例１において記憶される登録データと外部に出力するバイナリデータのメモリマップを示す図。 実施例において実行されるデータベースから外部記憶装置への登録情報の書出し処理を示すフローチャート。 実施例２において実行される被写体登録処理を示すフローチャート。

以下、本発明の実施例について図面を参照しながら説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

図１は、実施例である撮像装置（以下、カメラ本体１０１という）の構成を示している。カメラ本体１０１には、交換式のレンズユニット１２０が着脱可能に装着されている。レンズユニット１２０は、フォーカスレンズ１２１および絞り１２２等を含む撮像光学系を有し、カメラ本体１０１にマウント接点部１２３を介して電気的に接続される。カメラ本体１０１は、マウント接点部１２３を介した通信を通じてレンズユニット１２０にフォーカスレンズ１２１および絞り１２２を制御させてフォーカシングおよび光量調節を行わせる。

カメラ本体１０１に設けられた撮像素子１０４は、ＣＣＤセンサやＣＭＯＳセンサ等の光電変換素子である。撮像素子１０４には、不図示の赤外カットフィルタやローパスフィルタ等が設けられている。撮像素子１０４は、撮像光学系により形成された光学像としての被写体像を光電変換（撮像）して撮像信号を画像処理装置としての演算装置１０２に出力する。演算装置１０２は、撮像信号から被写体観察用の画像データとしてのライブビュー（ＬＶ）画像を生成したり記録用の画像データを生成したりする。生成されたライブビュー画像は、ＬＣＤ等の表示部１０５に表示される。記録用の画像データは、後述する外部記憶装置１０７に記録される。シャッター１０３は、操作部１０６内の撮像スイッチの操作に応じて開閉動作することで撮像素子１０４に対する露光量を制御する。

図２は、カメラ本体１０１内の電気的構成を示している。図２において、図１中の構成要素と同じ構成要素については、図１と同符号を付している。

演算装置１０２は、ＣＰＵやＧＰＵ等を含むコンピュータにより構成され、制御部２０１、主被写体演算部２０２、追尾演算部２０３、フォーカス演算部２０４、露出演算部２０５およびデータベース２１６を有する。制御手段としての制御部２０１は、カメラ本体１０１およびレンズユニット１２０の動作全体を制御する。

主被写体演算部２０２は、第１の検出手段としての被写体検出器２１１、主被写体判定部２１２および認証器２１３により構成されている。認証器２１３は、第１の特徴取得手段としての特徴抽出部２１４と第１の認証手段としての認証部２１５を含む。

被写体検出器２１１は、ＬＶ画像内において被写体を含む１または複数の被写体領域を検出する処理を行う。本実施例では、被写体として人物の顔を含む被写体領域を検出する。被写体領域の検出手法としては、ＡｄａＢｏｏｓｔや畳み込みニューラルネットワーク等の公知の任意の手法を用いることができる。また、それらの手法を用いた検出処理をＣＰＵ上で動作するプログラムに従って実行してもよいし、専用ハードウェアで実行してもよいし、それらを組み合わせて実行してもよい。

被写体検出器２１１から得られる被写体検出結果は、主被写体判定部２１２と特徴抽出部２１４に送られる。特徴抽出部２１４は、検出された被写体領域から被写体の特徴に関する特徴情報を抽出して認証部２１５に出力する。認証部２１５は、特徴抽出部２１４から入力された特徴情報と第１の記憶手段としてのデータベース２１６に予め登録されている登録被写体の特徴情報との類似度を算出する。そして類似度を示す認証評価値に基づいて、被認証対象である検出被写体が登録被写体であるか否かを判定する。具体的には、認証評価値が所定の閾値以上であるとき、検出被写体が登録被写体であると判定（認証）する。

主被写体判定部２１２は、この認証結果と被写体検出結果とに基づいて主被写体を判定する。

なお、認証部２１５は、認証評価値に基づいて検出被写体を登録被写体として認証できないときは、その旨を主被写体判定部２１２に伝える。この場合、主被写体判定部２１２は、主被写体を判定しない。

追尾演算部２０３は、主被写体判定部２１２で判定された主被写体を追尾するように、ＬＶ画像（つまりは撮像素子１０４）上でのＡＦ領域とＡＥ（自動露出）領域を演算する。フォーカス演算部２０４は、ＡＦ領域でのフォーカス情報（ＬＶ画像のコントラスト評価値や撮像光学系のデフォーカス量）を取得する。制御２０１は、フォーカス情報に基づいてフォーカスレンズ１２１を制御するためのフォーカス指示をレンズユニット１２０に送信する。レンズユニット１２０は、フォーカス指示に応じてフォーカスレンズ１２１を駆動する。これにより、主被写体に対するフォーカス制御としての追尾ＡＦが行われる。また露出演算部２０５は、ＡＥ領域での輝度情報を取得する。制御部２０１は、輝度情報に基づいて絞り１２２を制御するための絞り指示をレンズユニット１２０に送信する。レンズユニット１２０は、絞り指示に応じて絞り１２２を駆動する。これにより、主被写体に対する露出制御としての追尾ＡＥが行われる。

外部記憶装置１０７は、カメラ本体１０１に対して着脱が可能な半導体メモリや光ディスク等の記録媒体により構成され、記録用画像データや後述する認証用画像データとしての顔画像を記憶する。

図３のフローチャートは、主被写体演算部２０２がプログラムに従って実行する処理のうちデータベース２１６への被写体登録処理を示している。ユーザは、カメラ本体１０１により登録したい人物の顔を撮像して登録用の撮像画像データ（以下、登録用画像という）を用意する。

まずステップＳ３０１では、主被写体演算部２０２は、登録用画像（第１の撮像画像）を読み込む。登録用画像は、その直前の撮像により演算装置１０２内で生成されたものでもよいし、外部記憶装置１０７に予め記憶されていたものであってもよい。

次にステップＳ３０２では、主被写体演算部２０２は、被写体検出器２１１に登録用画像からの被写体検出を行わせる。このとき、主被写体演算部２０２は、被写体検出器２１１に、目、鼻、口等の顔のパーツが検出でき、後述する特徴情報の抽出が正しく行える顔のみを検出させる。

次にステップＳ３０３では、主被写体演算部２０２は、被写体検出器２１１により検出された被写体の数を判定する。検出された被写体が複数である場合はステップＳ３０４に進み、検出された被写体が１つであればステップＳ３０５に進む。

ステップＳ３０４では、主被写体演算部２０２は、検出された複数の被写体の中から登録する被写体を選択する。このときの選択方法としては、検出された複数の被写体を表示部１０５に表示してそのうち登録する被写体をユーザに選択させる方法でもよいし、登録用画像の中央または所定のエリアに最も近い被写体を自動選択する方法でもよい。また、複数の被写体のうち最もサイズが大きい被写体を自動選択する方法でもよい。被写体を選択すると、ステップＳ３０５に進む。

ステップＳ３０５では、主被写体演算部２０２は、登録用画像から被写体領域の画像部分（以下、被写体領域画像という）を切り出す。主被写体演算部２０２は、切り出す被写体領域画像として、検出された被写体の実領域に対して所定の余白を持った領域の画像とし、顔だけでなく頭部全体が含まれる画像とする。

次にステップ３０６では、主被写体演算部２０２は、特徴抽出部２１４にステップＳ３０５で切り出された被写体領域画像から特徴情報を抽出させる。このときの特徴抽出部２１４への入力画像を被写体検出器２１１に入力された登録用画像とし、該登録用画像に含まれる被写体領域画像から特徴情報を抽出させてもよい。特徴情報には、目、鼻、口等の顔のパーツの特徴点の座標からルールベースで求められる情報や、入力画像をニューラルネットワークへの入力とし、その出力として求められる情報等がある。特徴情報は、被写体の特徴を直接示す情報であってもよいし、特徴に変換可能な情報であってもよい。

次にステップＳ３０７では、主被写体演算部２０２は、ステップＳ３０６で取得された特徴情報（第１の特徴情報）、被写体領域画像、ヘッダー情報および被写体情報を相互に関連付けて１つの登録情報としてデータベース２１６に記憶させる。ヘッダー情報には、カメラ本体１０１において使用している認証器２１３を識別するためのバージョン情報、チェックサム、画像サイズおよび特徴情報のサイズの情報が含まれる。バージョン情報は、互いにバージョン情報が異なる認証器間の互換性を確認するために使用される。例えば、特徴情報の抽出に必要な画像サイズが極端に異なる認証器間では互換性がないとする。
認証器に互換性がなくても被写体領域画像から特徴情報を抽出できる場合には、以下の例がある。カメラ本体Ａはマスクをした人の顔の登録が可能なアルゴリズムを有し、カメラ本体Ａとは異なる機種のカメラ本体Ｂはマスクをした人の顔の登録が不可能というアルゴリズムを有するものとする。この場合、カメラ本体Ｂからカメラ本体Ａに渡されたマスク顔の被写体領域画像からカメラ本体Ａにおいて特徴情報を抽出することができる。ただし、カメラ本体Ａからカメラ本体Ｂに渡されたマスク顔の被写体領域画像からカメラ本体Ｂは特徴情報を抽出できない。
被写体情報には、被写体の特徴情報が保管されているアドレスや被写体領域画像が保管されているアドレス等が含まれる。以下、これら特徴情報、被写体領域画像、ヘッダー情報および被写体情報をまとめて登録情報という。

データベース２１６には、複数の被写体の登録情報を記憶させることが可能である。また登録されている被写体のそれぞれに対して優先順位を設定することが可能であり、被写体情報には優先順位に関する情報が含まれる。優先順位に関する情報は、１、２、３等のように優先順位を直接示す情報であってもよいし、優先順位に変換可能な情報であってもよい。

図４（ａ）～（ｅ）は、ＬＶ画像（第２の撮像画像）に複数の被写体が含まれる場合における認証処理の例を示している。図５のフローチャートは、主被写体演算部２０２がプログラムに従って実行する処理のうち認証処理を示している。

図４（ａ）は、５名の人物Ｐ１～Ｐ５の撮像シーンを示している。人物Ｐ１と人物Ｐ３が予めデータベース２１６に登録されており、人物Ｐ１の優先度が人物Ｐ３の優先度よりも高く設定されているものとする。

認証処理は、静止画または動画としての記録用画像の撮像前に所定のフレームレートで生成されるＬＶ画像の全フレーム画像または所定フレームごとのフレーム画像を入力画像として行われる。

図５のステップＳ５０１では、主被写体演算部２０２は、図４（ａ）に示す入力画像を被写体検出器２１１に入力する。

次にステップＳ５０２では、主被写体演算部２０２は、被写体検出器２１１に入力画像内の被写体を検出させる。被写体検出器２１１が１フレームにおいて検出可能な被写体数は、フレームレート、ＣＰＵまたはＧＰＵの性能および被写体検出用のアルゴリズムでの処理量等によって異なる。ここでは、１フレームで少なくとも５名は検出可能であるものとする。被写体検出器２１１は、図４（ｂ）に示すように人物Ｐ１～Ｐ５を検出し、その検出結果を主被写体判定部２１２と認証器２１３に出力する。

次にステップＳ５０３では、主被写体演算部２０２は、認証器２１３に、ステップＳ５０２で検出された人物Ｐ１～Ｐ５の中から認証を行う被写体を選択させる。認証器２１３が１フレームにおいて認証可能な被写体数も被写体検出器２１１と同様に上限がある。ここでは、認証器２１３は、１フレームで３名までの認証が可能であるものとする。このため、本ステップでは、認証部２１５は、人物Ｐ１～Ｐ５の中から３名を選択する。選択方法としては、例えば、あるフレームでは検出結果における左側３名を認証し、次のフレームでは左から４番目以降の被写体を認証するというように、フレームごとに認証する被写体が変わるように選択してもよい。また、すでに認証が済んで登録済みとなった被写体に対しては認証周期を下げるというように、被写体ごとの認証の優先度に応じて選択してもよい。ここでは、図４（ｃ）に示すように、人物Ｐ１～Ｐ３が認証する被写体として選択されたものとする。

次にステップＳ５０５では、主被写体演算部２０２は、認証器２１３に、選択された検出被写体のそれぞれの認証を行わせる。認証器２１３は、まず特徴抽出部２１４において、入力画像における選択された検出被写体の画像部分から該検出被写体の特徴情報（第２の特徴情報）を抽出する。特徴情報の抽出に用いられるアルゴリズムには、前述したように、目、鼻、口等の顔のパーツの特徴点の座標からルールベースで特徴情報を取得するアルゴリズムや、入力画像をニューラルネットワークへの入力とし、その出力として特徴情報を取得するアルゴリズム等がある。特徴抽出部２１４は、抽出した特徴情報を認証部２１５に入力する。

認証部２１５は、データベース２１６に記憶された登録被写体の特徴情報（第１の特徴情報）を読み込む。そして、読み込んだ登録被写体の特徴情報と特徴抽出部２１４から入力された検出被写体の特徴情報（第２の特徴情報）との類似度を計算し、該類似度を表す認証評価値を生成する。認証部２１５は、認証評価値が所定の閾値以上である場合は認証成功（検出被写体が登録被写体である）と判定し、所定の閾値未満である場合は認証失敗と判定して、判定結果を主被写体判定部２１２に通知する。ここでは、図４（ｄ）に示すように、人物Ｐ１と人物Ｐ３に対する認証が成功したものとする。

次のステップＳ５０６以降では、主被写体演算部２０２は、主被写体判定部２１２に主被写体を判定させる。まずステップＳ５０６では、主被写体判定部２１２は、認証器２１３で認証に成功した被写体の数が複数であるか否かを判定する。認証成功の被写体が１名である場合はその被写体を主被写体候補とみなしてステップＳ５０８に進む。認証成功の被写体が複数名である場合はステップＳ５０７に進む。

ステップＳ５０７では、主被写体判定部２１２は、認証成功の複数の被写体のうち最も優先度が高い被写体を選択して主被写体候補とする。先に説明したように、ここでは人物Ｐ１の優先度が人物Ｐ３の優先度よりも高いので、図４（ｅ）に示すように、人物Ｐ１が主被写体候補として選択される。そしてステップＳ５０８に進む。

ステップＳ５０８では、主被写体判定部２１２は、主被写体候補の情報と被写体検出器２１１からの検出結果とに基づいて最終的な主被写体を決定する。

以上の認証処理により、予め登録された人物が優先的に主被写体として自動選択され、該主被写体に対して適切な追尾ＡＦや追尾ＡＥが実行される。

図６（ａ）はデータベース２１６における登録情報記憶領域内のメモリマップを示し、図６（ｂ）はデータベース２１６から制御部２０１を介して外部記憶装置１０７に出力されるバイナリデータのメモリマップを示している。ユーザが操作部１０６において所定の情報出力操作を行うと、出力手段としての制御部２０１がデータベース２１６に記憶されている登録被写体の登録情報を外部記憶装置１０７に出力する。データベース２１６における登録情報記憶領域には、図６（ａ）に示すように、相互に関連付けられたヘッダー情報、被写体情報、被写体領域画像および特徴情報が異なるアドレスに分けられて記憶される。このとき、特徴情報は、登録情報の末端に配置される。データベース２１６に複数の登録被写体の登録情報が記憶されている場合は、登録被写体ごとの登録情報記憶領域にヘッダー情報、被写体情報、被写体領域画像および特徴情報が記憶される。

図７のフローチャートは、出力手段としての制御部２０１がプログラムに従ってデータベース２１６に記憶（登録）された登録情報を外部記憶装置１０７に書き出す処理を示している。

ステップＳ８０１では、制御部２０１は、ユーザにより操作部１０６にて登録情報を出力する情報出力操作が行われたか否かを判定する。情報出力操作が行われた場合はステップＳ８０２に進み、行われていない場合は本判定を繰り返す。

ステップＳ８０２では、制御部２０１は、データベース（ＤＢ）２１６内の登録情報のうち特徴情報を除いたヘッダー情報、被写体情報および被写体領域画像を１つのバイナリファイルとして外部記憶装置１０７に出力する。すなわち、特徴情報を伴わずに被写体領域画像を外部としての外部記憶装置１０７に出力する。出力ファイルには、図６（ｂ）に示す配置でヘッダー情報、被写体情報および被写体領域画像が記憶される。データベース２１６に複数の登録被写体の登録情報が記憶されている場合は、全ての登録被写体のヘッダー情報、被写体情報および被写体領域画像がまとめて１つのバイナリファイルとして出力される。バイナリファイルには、ユーザが任意の名前を付けることが可能である。これにより、ユーザは登録情報を組織やグループ単位で名称を付けて管理することが可能である。さらに被写体情報に複数の登録被写体に対する優先順位の情報が含まれている場合は、その優先順位の情報も出力される。

こうしてデータベース２１６から外部記憶装置１０７への登録情報の書き出しが完了すると、本処理を終了する。

外部記憶装置１０７はカメラ本体１０１とは別の撮像装置（図示せず）に装着され、該別の撮像装置にて外部記憶装置１０７に記憶されたヘッダー情報、被写体情報および被写体領域画像が読み出される。該別の撮像装置は、読み出した被写体領域画像から被写体の特徴情報を抽出し、上記ヘッダー情報、被写体情報および被写体領域画像と特徴情報を含む登録情報をデータベースに記憶する。

次に実施例２について説明する。本実施例のカメラ本体（第２の撮像装置）は、図１および図２に示した実施例１のカメラ本体（第１の撮像装置）１０１と同様の構成を有し、本実施例のカメラ本体の構成要素には実施例１で使用した符号に「′」を付した符号を付す。ただし、本実施例のカメラ本体は、認証器２１３′が実施例１における認証器２１３とは互換性がない（顔認証に関するアルゴリズムが異なる）カメラ本体である。

図８のフローチャートは、本実施例において制御部２０１′および主被写体演算部２０２′がプログラムに従って実行する被写体登録処理を示している。なお、本実施例の被写体登録処理を実施例１のカメラ本体１０１にて実行してもよい。

まずステップＳ７０１において、実施例１のカメラ本体１０１から取り外された外部記憶装置１０７が装着された本実施例のカメラ本体の制御部２０１′は、外部記憶装置１０７に記憶されたヘッダー情報を参照してバイナリファイル内の登録情報を検証する。この検証では、チェックサムを用いた登録情報の破損や改ざんの有無や、登録情報を生成した認証器２１３のバージョン情報から認証器２１３′との互換性の有無を確認する。検証に成功した場合はステップＳ７０２に進み、検証に失敗した場合は以降の処理は行わずに読み込みを終了する。

ステップＳ７０２では、記憶処理手段としての制御部２０１′は、ユーザが登録情報読み込みモードとして、上書き読込みモード（上書き処理）と追加読込みモード（追加記憶処理）のうちどちらを選択したかを判定する。上書き読込みモードでは、第２の記憶手段としてのデータベース２１６′に先に記憶されていた被写体領域画像を削除してからデータベース２１６′に外部記憶装置１０７から読み込んだ被写体領域画像（第１の被写体領域画像）を記憶させる。追加読込みモードでは、データベース２１６′に先に記憶されていた被写体領域画像を保持したまま外部記憶装置１０７から読み込んだ被写体領域画像を記憶させる。追加読込みモードが選択された場合はステップＳ７０４に進み、上書き読込みモードが選択された場合はステップＳ７０３に進む。

ステップＳ７０３では、制御部２０１′は、データベース２１６′における先に記憶されていた既存の登録情報を削除してデータベース２１６を初期化する。その後ステップＳ７０４に進む。

次にステップＳ７０４では、制御部２０１は、バイナリファイル内の被写体情報および被写体領域画像を読み込んで、データベース２１６′における対応する登録情報記憶領域に記憶させる。この際、追加読込みモードでは、既存の登録被写体の被写体情報に含まれる優先順位を重視するため、予め定められたルールに従って優先順位を更新する。

続いてステップＳ７０５では、制御部２０１′は、ステップＳ７０４で複数の被写体領域画像を読み込んだ場合は、そのうちの１つを選択する。

次にステップＳ７０６では、主被写体演算部２０２′は登録処理を行う。具体的には、主被写体演算部２０２′は、認証器２１３′における第２の特徴取得手段としての特徴抽出部２１４′にステップＳ７０４でデータベース２１６′に記憶された被写体領域画像から図３のステップＳ３０６と同様に被写体（第１の被写体）の特徴情報（第３の特徴情報）を抽出させる。さらに主被写体演算部２０２′は、図３のステップＳ３０７と同様に、抽出した特徴情報、被写体領域画像、ヘッダー情報および被写体情報を相互に関連付けて１つの登録情報としてデータベース２１６′に記憶させる。

次にステップＳ７０７では、主被写体演算部２０２′は、データベース２１６′に読み込んだ全ての被写体領域画像に対してステップＳ７０６での特徴情報の抽出とデータベース２１６′への記憶が完了したか否かを判定する。全ての被写体領域画像の特徴情報の抽出と記憶が完了するまでステップＳ７０５～ステップＳ７０６の処理を繰り返し、全ての被写体領域画像の特徴情報の抽出と記憶が完了すると、本処理を終了する。

この後、主被写体演算部２０２′は、第２の検出手段としての被写体検出器２１１′に、図５のステップＳ５０２と同様に、ＬＶ画像（第３の撮像画像）から被写体（第３の被写体）を検出させる。そして、第３の特徴取得手段としての特徴抽出部２１４′に、図５のステップＳ５０４と同様に、ＬＶ画像のうち被写体領域画像（第３の被写体領域画像）から検出被写体の特徴情報（第４の特徴情報）を抽出させる。さらに第２の認証手段としての認証部２１５′に、図５のステップＳ５０５と同様に、検出被写体の特徴情報とデータベース２１６′内の登録被写体の特徴情報の類似度（認証評価値）に基づいて、検出被写体が登録被写体（第１の被写体）であるか否かの認証処理を行わせる。

さらに実施例１と同様に、追尾演算部２０３′は、主被写体判定部２１２′で判定された主被写体（登録被写体であると認証された検出被写体）を追尾するように、ＡＦ領域とＡＥ領域を演算する。制御部２０１′は、フォーカス演算部２０４′が取得したＡＦ領域でのフォーカス情報に基づいて追尾ＡＦを行い、また露出演算部２０５が取得したＡＥ領域での輝度情報に基づいて追尾ＡＥを行う。複数の検出被写体が検出され、外部記憶装置１０７に複数の登録被写体の優先順位に関する情報が記憶されていた場合は、優先順位がより高い登録被写体であると認証された検出被写体に対してより優先して追尾ＡＦや追尾ＡＥを行う。

以上説明したように、実施例１では、撮像装置においてデータベースに記憶されている登録情報を外部記憶装置に出力する際には特徴情報を出力せずに被写体領域画像を出力する。また実施例２では、実施例１にて外部記憶装置に記憶された登録情報のうち被写体領域画像を別の撮像装置のデータベースに記憶し、該被写体領域画像から特徴情報を抽出して被写体認証に用いる。これにより、被写体認証に関するアルゴリズムが互いに異なる撮像装置間において、一方の撮像装置で登録された被写体領域画像を用いて他方の撮像装置で被写体認証を行うことができる。

なお、上記各実施例では、認証器に互換性がない撮像装置間で外部記憶装置を介して被写体領域画像をやり取りする場合について説明したが、有線または無線通信を介して被写体領域画像をやり取りしてもよい。

以上の実施の形態は、以下の構成を含む。

（構成１）
撮像画像から被写体を検出する第１の検出手段と、
前記撮像画像のうち前記被写体が含まれる被写体領域画像から前記被写体の特徴に関する特徴情報を取得する第１の特徴取得手段と、
第１の撮像画像のうち第１の被写体領域画像から取得された第１の被写体の特徴に関する第１の特徴情報と前記第１の被写体領域画像とを、被写体認証用の登録情報として記憶する第１の記憶手段と、
前記登録情報のうち前記第１の被写体領域画像を前記第１の特徴情報を伴わずに外部に出力する出力手段とを有することを特徴とする撮像装置。
（構成２）
第２の撮像画像のうち第２の被写体領域画像から取得された第２の被写体の特徴に関する第２の特徴情報と前記第１の特徴情報とを用いて前記第２の被写体が前記第１の被写体であることを認証する第１の認証手段を有することを特徴とする構成１に記載の撮像装置。
（構成３）
前記第１の被写体であると認証された前記第２の被写体に対してフォーカス制御および露出制御のうち少なくとも一方を行う制御手段を有することを特徴とする構成２に記載の撮像装置。
（構成４）
前記第１の記憶手段が複数の前記第１の被写体のそれぞれに対する前記登録情報を記憶している場合に、前記出力手段は、前記複数の第１の被写体の前記第１の被写体領域画像を１つのファイルに含めて前記外部に出力することを特徴とする構成１から３のいずれか１つに記載の撮像装置。
（構成５）
前記第１の記憶手段が複数の前記第１の被写体のそれぞれに対する前記登録情報を記憶しており、前記登録情報に前記複数の第１の被写体に対する優先順位に関する情報が含まれている場合に、前記出力手段は、前記複数の第１の被写体の前記第１の被写体領域画像と前記優先順位に関する情報を前記外部に出力することを特徴とする構成１から４のいずれか１つに記載の撮像装置。
（構成６）
前記第２の撮像画像から複数の前記第２の被写体が検出された場合において、前記複数の第２の被写体のうち前記優先順位がより高い前記第１の被写体であると認証された前記第２の被写体に対してより優先してフォーカス制御および露出制御のうち少なくとも一方を行うことを特徴とする構成５に記載の撮像装置。
（構成７）
前記出力手段は、前記外部に設けられた、前記撮像装置に着脱可能な記憶媒体に前記第１の被写体領域画像を出力することを特徴とする構成１から６のいずれか１つに記載の撮像装置。
（構成８）
第１の撮像画像のうち第１の被写体領域画像から取得した第１の被写体の特徴に関する第１の特徴情報と前記第１の被写体領域画像とを被写体認証用の登録情報として記憶するとともに、前記登録情報のうち前記第１の被写体領域画像を前記第１の特徴情報を伴わずに外部に出力する第１の撮像装置とは別の第２の撮像装置であって、
前記第１の撮像装置から出力された前記第１の被写体領域画像から前記第１の被写体の特徴に関する第３の特徴情報を取得する第２の特徴取得手段と、
前記第３の特徴情報を含む被写体認証用の登録情報を記憶する第２の記憶手段とを有することを特徴とする撮像装置。
（構成９）
第３の撮像画像から第３の被写体を検出する第２の検出手段と、
前記第３の撮像画像のうち前記第３の被写体が含まれる第３の被写体領域画像から前記第３の被写体の特徴に関する第４の特徴情報を取得する第３の特徴取得手段と、
前記第４の特徴情報と前記第３の特徴情報とを用いて前記第３の被写体が前記第１の被写体であることの認証を行う第２の認証手段とを有することを特徴とする構成８に記載の撮像装置。
（構成１０）
前記第１の被写体であると認証された前記第３の被写体に対してフォーカス制御および露出制御のうち少なくとも一方を行うことを特徴とする構成９に記載の撮像装置。
（構成１１）
前記第３の撮像画像から複数の前記第３の被写体が検出され、前記第１の撮像装置から複数の前記第１の被写体に対する優先順位に関する情報が出力された場合において、前記複数の第３の被写体のうち前記優先順位がより高い前記第１の被写体であると認証された第３の被写体に対してより優先してフォーカス制御および露出制御のうち少なくとも一方を行うことを特徴とする構成９に記載の撮像装置。
（構成１２）
前記第１の撮像装置に着脱可能な記憶媒体を介して前記第１の被写体領域画像を取得することを特徴とする構成８から１１のいずれか１つに記載の撮像装置。
（構成１３）
前記第２の記憶手段に先に記憶されていた被写体領域画像を削除してから前記第２の記憶手段に前記第１の被写体領域画像を記憶させる上書き処理と、前記第２の記憶手段に先に記憶されていた被写体領域画像を保持したまま前記第２の記憶手段に前記第１の被写体領域画像を記憶させる追加記憶処理とを選択して行う記憶処理手段を有することを特徴とする特徴する構成８から１２のいずれか１つに記載の撮像装置。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

１０１ カメラ本体
１０２ 演算装置
１０７ 外部記憶装置
２０１ 制御部
２０２ 主被写体演算部
２１１ 被写体検出部
２１３ 認証器
２１６ データベース

Claims (17)

1. 撮像画像から被写体を検出する第１の検出手段と、
   前記撮像画像のうち前記被写体が含まれる被写体領域画像から前記被写体の特徴に関する特徴情報を取得する第１の特徴取得手段と、
   第１の撮像画像のうち第１の被写体領域画像から取得された第１の被写体の特徴に関する第１の特徴情報と前記第１の被写体領域画像とを、被写体認証用の登録情報として記憶する第１の記憶手段と、
   前記登録情報のうち前記第１の被写体領域画像を前記第１の特徴情報を伴わずに外部に出力する出力手段とを有することを特徴とする撮像装置。
2. 第２の撮像画像のうち第２の被写体領域画像から取得された第２の被写体の特徴に関する第２の特徴情報と前記第１の特徴情報とを用いて前記第２の被写体が前記第１の被写体であることを認証する第１の認証手段を有することを特徴とする請求項１に記載の撮像装置。
3. 前記第１の被写体であると認証された前記第２の被写体に対してフォーカス制御および露出制御のうち少なくとも一方を行う制御手段を有することを特徴とする請求項２に記載の撮像装置。
4. 前記第１の記憶手段が複数の前記第１の被写体のそれぞれに対する前記登録情報を記憶している場合に、前記出力手段は、前記複数の第１の被写体の前記第１の被写体領域画像を１つのファイルに含めて前記外部に出力することを特徴とする請求項１に記載の撮像装置。
5. 前記第１の記憶手段が複数の前記第１の被写体のそれぞれに対する前記登録情報を記憶しており、前記登録情報に前記複数の第１の被写体に対する優先順位に関する情報が含まれている場合に、前記出力手段は、前記複数の第１の被写体の前記第１の被写体領域画像と前記優先順位に関する情報を前記外部に出力することを特徴とする請求項１に記載の撮像装置。
6. 前記第２の撮像画像から複数の前記第２の被写体が検出された場合において、前記複数の第２の被写体のうち前記優先順位がより高い前記第１の被写体であると認証された前記第２の被写体に対してより優先してフォーカス制御および露出制御のうち少なくとも一方を行うことを特徴とする請求項５に記載の撮像装置。
7. 前記出力手段は、前記外部に設けられた、前記撮像装置に着脱可能な記憶媒体に前記第１の被写体領域画像を出力することを特徴とする請求項１に記載の撮像装置。
8. 第１の撮像画像のうち第１の被写体領域画像から取得した第１の被写体の特徴に関する第１の特徴情報と前記第１の被写体領域画像とを被写体認証用の登録情報として記憶するとともに、前記登録情報のうち前記第１の被写体領域画像を前記第１の特徴情報を伴わずに外部に出力する第１の撮像装置とは別の第２の撮像装置であって、
   前記第１の撮像装置から出力された前記第１の被写体領域画像から前記第１の被写体の特徴に関する第３の特徴情報を取得する第２の特徴取得手段と、
   前記第３の特徴情報を含む被写体認証用の登録情報を記憶する第２の記憶手段とを有することを特徴とする撮像装置。
9. 第３の撮像画像から第３の被写体を検出する第２の検出手段と、
   前記第３の撮像画像のうち前記第３の被写体が含まれる第３の被写体領域画像から前記第３の被写体の特徴に関する第４の特徴情報を取得する第３の特徴取得手段と、
   前記第４の特徴情報と前記第３の特徴情報とを用いて前記第３の被写体が前記第１の被写体であることの認証を行う第２の認証手段とを有することを特徴とする請求項８に記載の撮像装置。
10. 前記第１の被写体であると認証された前記第３の被写体に対してフォーカス制御および露出制御のうち少なくとも一方を行うことを特徴とする請求項９に記載の撮像装置。
11. 前記第３の撮像画像から複数の前記第３の被写体が検出され、前記第１の撮像装置から複数の前記第１の被写体に対する優先順位に関する情報が出力された場合において、前記複数の第３の被写体のうち前記優先順位がより高い前記第１の被写体であると認証された第３の被写体に対してより優先してフォーカス制御および露出制御のうち少なくとも一方を行うことを特徴とする請求項９に記載の撮像装置。
12. 前記第１の撮像装置に着脱可能な記憶媒体を介して前記第１の被写体領域画像を取得することを特徴とする請求項８に記載の撮像装置。
13. 前記第２の記憶手段に先に記憶されていた被写体領域画像を削除してから前記第２の記憶手段に前記第１の被写体領域画像を記憶させる上書き処理と、前記第２の記憶手段に先に記憶されていた被写体領域画像を保持したまま前記第２の記憶手段に前記第１の被写体領域画像を記憶させる追加記憶処理とを選択して行う記憶処理手段を有することを特徴とする特徴する請求項８に記載の撮像装置。
14. 撮像画像のうち検出された被写体が含まれる被写体領域画像から前記被写体の特徴に関する特徴情報を取得する撮像装置の制御方法であって、
    第１の撮像画像のうち第１の被写体領域画像から取得された第１の被写体の特徴に関する第１の特徴情報と前記第１の被写体領域画像とを、被写体認証用の登録情報として第１の記憶手段に記憶させるステップと、
    前記登録情報のうち前記第１の被写体領域画像を前記第１の特徴情報を伴わずに外部に出力するステップとを有することを特徴とする制御方法。
15. 第１の撮像画像のうち第１の被写体領域画像から取得した第１の被写体の特徴に関する第１の特徴情報と前記第１の被写体領域画像とを被写体認証用の登録情報として記憶するとともに、前記登録情報のうち前記第１の被写体領域画像を前記第１の特徴情報を伴わずに外部に出力する第１の撮像装置とは別の第２の撮像装置の制御方法であって、
    前記第１の撮像装置から出力された前記第１の被写体領域画像から前記第１の被写体の特徴に関する第３の特徴情報を取得するステップと、
    前記第３の特徴情報を含む被写体認証用の登録情報を第２の記憶手段に記憶させるステップとを有することを特徴とする制御方法。
16. 撮像装置のコンピュータに、請求項１４に従う処理を実行させることを特徴とするプログラム。
17. 撮像装置のコンピュータに、請求項１５に従う処理を実行させることを特徴とするプログラム。