JP6049333B2 - 焦点検出装置及び焦点検出装置の制御方法 - Google Patents

Description

本発明は、被写体の特徴情報に応じて追尾してＡＦ制御を行う焦点調節装置に関する。

従来、顔や色のような特徴情報を検出し、その特徴情報の位置に対応する位相差ＡＦセンサーの測距結果に基づいて合焦制御を行う技術が提案されている。特許文献１では、顔領域を追尾して位相差ＡＦにより焦点調節を行うことが開示されている。

また、特許文献２では、あらかじめ測光センサーの出力とＡＦセンサーの出力との関係を設定値として記憶し、輝度の明暗によってＡＦセンサーの電荷蓄積時間を調整することが開示されている。

特開２０１０−１８６００４号公報 特許第３４４２４２６号公報

しかしながら、位相差ＡＦと顔・色検出の原理上、それぞれが検出を得意とする被写体の特徴は相反する。具体的には、位相差ＡＦとしてはコントラストがある被写体の方が高い合焦精度が得られるが、一方で顔・色検出では位相差ＡＦが不得手とする肌色などの均一な色を持つ領域の方がより被写体を検出しやすい。この相反する特徴のため、顔・色を検出した位置で合焦制御を行っても十分な合焦精度が得られないという課題がある。

特許文献２では、被写体の輝度情報によってＡＦセンサーの電荷蓄積時間を変更させるものであって、色や顔などの被写体の特徴情報をＡＦする際にコントラストが低く位相差ＡＦの精度が低下するという問題を回避できない。

本発明の目的は、顔や色といった特徴情報を用いた追尾の精度を保ちつつ、追尾した領域の位相差ＡＦ性能を向上させることである。

上記目的を達成するために、第１の本発明は、被写体の特徴情報を検出する被写体検出手段と、電荷蓄積を行ってそれぞれ一対の像信号を生成し出力する複数の信号生成手段と、前記複数の信号生成手段の電荷蓄積を制御し、出力された一対の像信号の位相差に基づいて焦点検出を行う焦点検出手段とを有する焦点検出装置であって、前記焦点検出手段は、所定の信号生成手段の電荷蓄積が完了した時点で、前記被写体検出手段により検出された被写体の特徴情報に対応する第１の信号生成手段の電荷蓄積が完了していない場合、前記被写体の特徴情報の確からしさを示す信頼性が所定のレベルを満たさなければ、前記第１の信号生成手段の電荷蓄積を終了させ、前記信頼性が前記所定のレベルよりも高く、当該被写体の特徴情報が検出された位置が過去の検出結果と乖離していなければ、前記第１の信号生成手段の電荷蓄積時間を延長することを特徴とする。

第２の本発明は、電荷蓄積を行ってそれぞれ一対の像信号を生成し出力する複数の信号生成手段を備えた焦点検出装置の制御方法であって、被写体の特徴情報を検出する被写体検出ステップと、前記複数の信号生成手段の電荷蓄積を制御し、出力された一対の像信号の位相差に基づいて焦点検出を行う焦点検出ステップとを有し、前記焦点検出ステップにおいて、所定の信号生成手段の電荷蓄積が完了した時点で、前記被写体検出ステップにより検出された被写体の特徴情報に対応する第１の信号生成手段の電荷蓄積が完了していない場合、前記被写体の特徴情報の確からしさを示す信頼性が所定のレベルを満たさなければ、前記第１の信号生成手段の電荷蓄積を終了させ、前記信頼性が前記所定のレベルよりも高く、当該被写体の特徴情報が検出された位置が過去の検出結果と乖離していなければ、前記第１の信号生成手段の電荷蓄積時間を延長することを特徴とする。

本発明によれば、画像情報から検出した顔や色といった特徴情報領域に対応する位相差ＡＦセンサーを用いて合焦制御を行う際に、特徴情報を用いた追尾の精度を保ちつつ、合焦精度を向上させることが可能となる。

本実施例１のカメラの構成図 本実施例１のカメラ機能のブロック図 本実施例１のＡＦセンサー面とＡＥセンサー面の対応を示す図 本実施例１のＡＦ処理部の処理を説明するフローチャート 本実施例１のＡＥ画像処理部の処理を説明するフローチャート 本実施例１の追尾測距点採用判定処理を説明するフローチャート 本実施例１の追尾測距点のＡＦ電荷蓄積延長判定処理を説明するフローチャート 本実施例２の追尾測距点のＡＦ電荷蓄積延長判定処理を説明するフローチャート 追尾測距点のＡＦ電荷蓄積完了待ち処理を説明するフローチャート ＡＥセンサー面上での追尾領域の探索を示す図

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

図１は本発明を実施した撮像装置の一例としてのデジタルカメラ（以下、単にカメラという）１００の構成例を示すブロック図である。また、図２は本発明を実施したカメラの機能を説明する構成図である。カメラボディ部２０１にはマウントを介してレンズ部２０２が着脱可能に装着されている。本実施例ではレンズ部についての詳細な説明は行わないが、レンズ部２０２内のレンズＭＰＵは、カメラＭＰＵ６からの指示に基づいてレンズ駆動部２２１、絞り駆動部２２０等の駆動制御を行う。

カメラＭＰＵ６内には、カメラ動作を制御するプログラムを格納したＲＯＭ、変数を記憶するためのＲＡＭ、諸パラメータを記憶するためのＥＥＰＲＯＭが内蔵されている。そしてＲＯＭに格納されたプログラムを実行することにより、後述の焦点検出処理をはじめとしたカメラボディ部２０１の動作を実現する。

カメラＭＰＵ６は被写体の輝度情報を測光／被写体特性情報検出ユニット１０から取得し、焦点検出ユニット７を用いて焦点検出を実行する。また、本実施例では、測光／被写体特性情報検出ユニット１０は、被写体の顔や色の特徴情報を検出する機能も有する。測光／被写体特性情報検出ユニット１０が検出した色情報に対応した領域について、カメラＭＰＵ６は焦点検出ユニット７を駆動させることによりピントずれ量の算出が行われる。図３は本実施例のＡＦセンサー面とＡＥセンサー面との対応を示し、図３（ｂ）はＡＥセンサー面を示している。本実施例において、測光／被写体特性情報検出ユニット１０に含まれるＡＥセンサー２１１は、図３（ｂ）で示されるＲＧＢ成分を検出する複数の画素３０１から構成される。また、図３（ａ）はＡＦセンサー面３０２を示している。焦点検出ユニット７に含まれるＡＦセンサー（信号生成手段）は、図３（ａ）で示される複数のラインセンサー対３０３と測距点３０４からなる。各ラインセンサーは複数の画素からなる。焦点検出ユニット７は、それぞれの測距点３０４に対応するラインセンサー対３０３から出力される一対の像信号の位相差に基づいて、ＡＦ制御を行う。換言すると、被写体からの光束の分割方向の相対的位置ずれ量を検出し、ＡＦ制御を行う。ＡＥセンサー２１１における複数画素３０１の全領域がＡＦセンサー面３０２に相当する位置関係となる。

なお、本実施例のようにＡＦセンサーを用いる代わりに、撮像素子上の画素からの出力を用いて位相差方式の焦点検出を行う、いわゆる撮像面位相差ＡＦを行ってもよい。具体的には、撮影光学系の射出瞳の一部が遮光された光束を受光するＡＦ用画素からの出力を用いる方式がある。また、１つのマイクロレンズ下に画素を分割し、分割された各画素からの出力を用いる方式がある。なお、ＡＦセンサーを用いた位相差ＡＦと撮像面位相差ＡＦを併用してもよい。

焦点検出ユニット７は、ＡＦセンサーに最大許容蓄積時間を指定する。この最大許容蓄積時間が経過したか、またはＡＦセンサーの電荷蓄積が十分になされれば、焦点検出ユニット７は読み出し完了をカメラＭＰＵ６に通知する。例えば、中央のＡＦセンサーの電荷蓄積が十分になされたと判断された時点で、他のＡＦセンサーの読み出しも完了してもよい。焦点検出ユニット７の動作については公知の位相差ＡＦに関する技術を採用する。

カメラレンズシステムとしては、カメラＭＰＵ６は、レンズとのデータ交換通信とＡＦ処理とレンズ駆動通信とを繰り返し実施することでピント制御を行う。

シャッター駆動ユニット８は、カメラＭＰＵ６の制御に従い、図示しないシャッターの駆動を行う。ダイヤルユニット９は、カメラボディ部２０１に対して、ユーザが連続撮影速度、シャッター速度、絞り値、撮像モード等の諸設定を行うための操作部である。撮像面１１は、撮像素子２０８の受光面であり、メインミラー（及びサブミラー）を光路外に移動させシャッターを開くことにより被写体像を受光する。表示ユニット１２は、たとえばＬＣＤや有機ＥＬディスプレイなどの表示装置を含み、撮像面１１で撮像された画像のレビュー表示や、メニュー画面などのＧＵＩ表示に用いる。

次に、本実施例の撮像装置の機能について、図２の構成図を用いて説明する。

操作検出部２１３は、ユーザーがカメラボディ部２０１に取り付けられたダイヤルユニット９や不図示のボタン、スイッチ、接続機器などを介して行った操作を検知し、操作内容に応じた信号をカメラＭＰＵ６内のシステム制御部２０３へ送る。ミラー制御部２１２はシステム制御部２０３から送られてくる制御信号に基づいてミラーの制御を行う。

システム制御部２０３は、操作検出部２１３からＳＷ操作を検出した時および連写時のミラーダウン状態時に、焦点検出ユニット７内のＡＦ処理部２０５が備えるラインセンサー対３０３から電荷蓄積データを読み出す。読み出したデータに基づき、システム制御部２０３は、焦点調節を行う測距点の選択と焦点調節演算を行う。そして、演算結果に基づくレンズ駆動信号をレンズ駆動部２２１へ送る。レンズ駆動ユニットに含まれるレンズ駆動部２２１は、システム制御部２０３から送られてきた信号に基づいてレンズを動かし、合焦制御を行う。絞り駆動部２２０は図１の絞り駆動ユニット３に含まれる。

撮像素子２０８は、レンズを介して入射する光束を電気信号へ光電変換して画像データを生成する。ディスプレイ制御部は、撮像結果の画像などを表示ユニット１２に表示させる。メインメモリ２１０は、システム制御部２０３およびＡＥ画像処理部２０４が行う演算に必要なデータを格納するための記憶装置である。

ＡＥ画像処理部２０４は、ＡＥセンサー２１１から読み出した画像データに基づいて種々の制御動作を行う。ＡＥセンサー面はたとえば図３（ｂ）の画素３０１に示すような多分割センサー構造となっており、ＲＧＢフィルターを備えることで被写体特徴情報としての顔・色情報を検出可能である。この被写体の顔・色情報の検出結果は撮影毎にＡＦ処理部２０５へ伝達される。なお、例えば顔情報の検出結果は数回の撮影毎に１回、色情報の検出結果は毎回の撮影毎にＡＦ処理部２０５へ伝達されるようにしてもよい。

ＡＥ画像処理部２０４のその他の処理の１つは自動露出演算であり、ＡＥセンサー２１１の出力結果から演算処理を行う。

本実施例では、システム制御部２０３は、被写体の顔・色情報の検出結果および検出領域に応じてＡＦ処理部２０５の制御を切り替える。その詳細は後述する。

次に、図３を用いて本実施例のＡＦセンサー面とＡＥセンサー面について説明する。

焦点検出ユニット７は、複数のラインセンサー対３０３から構成されるＡＦセンサー面３０２を備える。ＡＦセンサー面３０２にはユーザーが選択可能な複数の測距点３０４が配置され、それぞれの測距点には対応するＡＦラインセンサー対３０３が配置される。図３（ａ）は６１個の選択可能な測距点で構成される例を示しており、測距点３０４には縦方向検出用および横方向検出用それぞれのラインセンサー対が設けられている。

一方、測光／被写体特徴情報検出ユニット１０は、ＡＥセンサー面を備える。図３（ｂ）のように、ＡＥセンサー面は複数の測光領域３０１に分割されており、ＡＦセンサーの測距点に対応する領域の測光処理を行うことができる。例えば図３（ｃ）、（ｄ）は、ＡＥセンサー面にて被写体（人物）３０５を検出した場合のＡＥセンサー面の検出状態（図３（ｄ））とＡＦセンサー面（図３（ｃ））との位置関係を示したものである。測光／被写体特徴情報検出ユニット１０は、ＡＥセンサー面で被写体３０５の顔の位置および大きさを検出すると、検出した情報をシステム制御部２０３に通知する。システム制御部２０３は、受信した情報に基づいて、検出された顔の領域に対応するＡＦセンサー面３０２上の測距点情報を生成する。この図のケースでは、測距点エリアとして領域３０６が該当する。また、図３（ｅ）、（ｆ）は比較的大きな被写体（人物）を検出した場合のＡＥセンサー面の検出状態（図３（ｆ））とＡＦセンサー（図３（ｅ））との位置関係を示している。この場合、被写体人物の目に相当する領域３０７が検出され、目の領域３０７に対応するＡＦセンサー面３０２上の測距点エリアとして領域３０８を特定することができる。

次に、図４〜図６を用いて本実施例のＡＥ画像処理部２０４とＡＦ処理部２０５とからなるＡＦ処理のフローを説明する。

図４では、ＡＦ処理部２０５の制御フローを示している。システム制御部２０３は、操作検出部２１３によりＳＷ１の入力を受け付けるとＡＦ処理を開始するようＡＦ処理部２０５を制御する。ステップ４０１では、ＡＦ処理部２０５は、ＡＥ画像処理部２０４へ被写体検出、測光演算などの各種処理を要求する。

ステップ４０２では、ＡＦ処理部２０５は、ＡＦセンサーの電荷蓄積駆動を開始する。

ステップ４０３では、ＡＥ画像処理部２０４から追尾する被写体の情報が通知されるのを待つ。ＡＥ画像処理部２０４にて行う追尾処理については図５を用いて後述する。ＡＦ処理部は、追尾する被写体の情報として、追尾被写体の検出結果の確からしさを示す信頼性の評価値および被写体のＡＦセンサー面上での位置情報とを取得する。

ステップ４０４では、ＡＦ処理部２０５は、ＡＥ画像処理部２０４から通知された追尾結果を採用するか否かの判定を行う。この判定処理については図６にて後述する。

ステップ４０５では、ステップ４０４の判定結果を参照し、追尾結果を採用しないと判定すればステップ４１０へ、追尾結果を採用すると判定すればステップ４２０へ遷移する。

ステップ４１０では、所定のラインセンサー対（例えば中央のラインセンサー対）の電荷蓄積の完了を待つ。そして、ＡＦ処理部２０５は、ユーザーが操作検出部２１３により選択した測距点およびその周辺の測距点についてのラインセンサー対について読み出しを行う。選択測距点の周辺の読み出しを行うのは被写体のセンサー面に水平および垂直方向への移動に対して捕捉してピントを合わせるためであって、処理時間の許容する限り広範囲のセンサー情報を読み出すのが好ましい。また、すべての測距点から自動的に適切な測距点を選択する自動選択モードでは全測距点に対応するラインセンサー対から情報を読み出す。

ステップ４１１では、ＡＦ処理部２０５は、ステップ４１０で読み出したラインセンサー対の電荷蓄積結果から最適な電荷蓄積結果を選択する。より具体的には、位相差ＡＦの信頼度（像信号の信頼度）が所定の閾値より高い電荷蓄積結果を採用する。位相差ＡＦの信頼度は、例えば特開２００７−０５２０７２号公報で開示されているように２像の一致度などから算出する。あるいは、いわゆる予測モードで焦点検出をしている場合には、ＡＦ処理部２０５は、過去の履歴から予測結果に近い像ずれ量を示すセンサー出力結果を最適な電荷蓄積結果として選択する。

ステップ４１２では、ＡＦ処理部２０５は、ステップ４１１で選択したセンサー位置に対応する測距点の位置情報および追尾対象を更新する要求とをＡＥ画像処理部２０４へ通知する。たとえば図３（ａ）の測距点エリアとして領域３０９を選択していれば、ＡＦ処理部２０５は、ＡＦセンサー面上の領域３０９に対応する図３（ｂ）の領域３１０をＡＥ画像処理部２０４に通知する。

ステップ４２０は、ＡＥ画像処理部２０４から通知された追尾結果を採用する場合の処理である。ＡＦ処理部２０５は、所定のラインセンサー対（例えば中央のラインセンサー対）の電荷蓄積が完了した時点で、通知された追尾測距点に対応するラインセンサー対（第１の信号生成手段）が電荷蓄積済みか否かを判定する。なお、ＡＥ画像処理部２０４から通知される測距点は複数存在する場合もある。この場合は、当該複数の測距点に対応するすべてのラインセンサー対が、電荷蓄積済みであるかどうかを判定する対象となる。すでに該当するラインセンサー対が電荷蓄積済みであれば、ステップ４３０にて追尾の指定測距点に対応するラインセンサー対の読み出しを行う。たとえばＡＥ画像処理部２０４が図３（ｂ）の領域３１２に追尾対象が存在することを検知すれば、ＡＦ処理部２０５には図３（ａ）のＡＦセンサー面３０２上にて対応する領域３１３が通知される。本ステップでは、領域３１３に対応するすべてのラインセンサー対が電荷蓄積済みか否かを判定することとなる。しかしながら、ＡＥ画像処理部２０４は後述するように同一色の被写体を検出するため、ここで通知される領域３１３の被写体特徴としては均一色のコントラスト成分が小さいものとなる傾向が強い。そのため、コントラスト成分を検出する対象であるラインセンサー対は比較的電荷蓄積に時間がかかる傾向にある。ステップ４３０では、追尾の指定測距点に対応するラインセンサー対の読み出しを行い、ＡＦ処理部２０５は、これらラインセンサー対の読み出し結果のうち最適なラインセンサー対の読み出し結果を選択する。

ステップ４２１は、ステップ４２０にてＡＥ画像処理部２０４から通知された測距点に対応するラインセンサー対が電荷蓄積完了していない場合の処理である。本ステップでは、ＡＦ処理部２０５は、当該センサーの電荷蓄積時間の延長処理を行うか否かの判定を行う。当該判定処理については後述する。

ステップ４２２では、ステップ４２１で行われた追尾測距点に対応するラインセンサー対の電荷蓄積時間を延長すべきか否かの判定結果を参照する。蓄積延長しないと判定すれば、ＡＦ処理部２０５は、ステップ４２４にて追尾測距点のＡＦセンサーの電荷蓄積を打ち切る処理を行い、ステップ４３０に進んで追尾測距点の読み出し処理を行う。蓄積延長すると判定すれば、ＡＦ処理部２０５は、ステップ４２３にて当該ＡＦセンサーの電荷蓄積が完了するのを待ち、ステップ４３０にて追尾測距点の読み出し処理を行う。

ステップ４３１では、ＡＦ処理部２０５は、ステップ４３０で選択した追尾測距点の測距結果を参照し、追尾測距点を採用してよいか否かを判定する。たとえば、過去の測距履歴と比較し測距結果であるデフォーカス量が著しく乖離している場合は追尾測距点を採用せず、ステップ４１１へ遷移する。

追尾測距点を採用すると判定した場合はステップ４３２に進み、ＡＥ画像処理部２０４から通知された測距点のうちステップ４３０にて最終的に選択した測距点をＡＥ画像処理部２０４へ通知してステップ４４０へ遷移する。ＡＥ画像処理部２０４の処理については後述するが、この測距点情報に基づき次の追尾処理を行う。

ステップ４４０では、システム制御部２０３は、ステップ４１１もしくはステップ４３０で選択された測距結果から導出されるピントずれ量に基づいてレンズの距離環を駆動するようレンズＭＰＵに指示する。レンズ駆動部２２１は、レンズＭＰＵの指示に基づいて距離環を駆動する。

ステップ４４１では、システム制御部２０３は、ＳＷ２操作の入力を検知し、ステップ４４２で本画像撮影処理を行う。ステップ４４１でＳＷ２が入力されていなければ、再度４０１のＡＦ処理へ移行する。

次に、ステップ４０４における、ＡＥ処理部２０４から通知された追尾結果を採用するか否かを判定する処理について、図６のフローチャートを用いて説明する。

ステップ６０１では、システム制御部２０３は、前回の測距処理のステップ４１２にて追尾対象の変更要求を通知したか否かを判定し、通知していればステップ６０３で追尾結果は採用しないと判定する。前回の測距処理のステップ４１２にて追尾対象の変更要求を通知していない場合、ステップ６０２へ遷移する。

ステップ６０２では、システム制御部２０３は、ＡＥ画像処理部２０４から通知された追尾結果が過去の測距履歴と比較してセンサー面上で大きく乖離しているかどうかを判定する。大きく乖離していれば、追尾結果は追尾すべき被写体とは別の被写体を検出している可能性が高いため、システム制御部２０３は、ステップ６０３に進んで追尾結果は採用しないと判定する。このとき、センサー面上での過去の選択測距点と追尾結果の測距点との乖離の閾値は、たとえば画角と被写体距離とから決定する。いずれの条件にも当てはまらなければステップ６０４へ進み、追尾結果は採用と判定する。

次に、ＡＥ画像処理部２０４の制御を図５のフローチャートを用いて説明する。まず、ステップ５０１で、ＡＥ画像処理部２０４は、ＡＦ処理部２０５からの処理要求を待ち、処理要求があればステップ５０２へ進む。

ステップ５０２では、ＡＥ画像処理部２０４は、ＡＦ処理部２０５から追尾対象の変更要求が通知されたか否かを判定する。なお、１回目の追尾処理であれば追尾要求があったものと判定する。追尾対象の変更要求が通知されていればステップ５０３へ進み、ＡＥ画像処理部２０４は、ステップ４１２で通知されたＡＦ処理部２０５が選択した測距点領域に基づいて、被写体の顔・色の特徴情報を検出する領域を設定する。追尾対象の変更要求が通知されていなければ、ステップ５０４へ進み、ＡＥ画像処理部２０４は、前回追尾領域に設定した領域に基づき、その周囲の領域について被写体の顔・色の特徴情報を検出する領域を設定する。ここで、被写体の特徴情報を検出する領域を前回追尾領域の周囲に設定するのは、被写体のセンサー面に水平方向への移動に対して捕捉するためであって、処理時間の許容する限り広範囲のセンサー情報を読み出すのが好ましい。

ステップ５０５では、ＡＥ画像処理部２０４は、ＡＥセンサー２１１の電荷蓄積駆動を開始する。

ステップ５０６では、ＡＥ画像処理部２０４は、ＡＥセンサー２１１の電荷蓄積結果を読み出す。

ステップ５０７では、ＡＥ画像処理部２０４は、ＡＥセンサーの読み出し結果から公知の顔検出技術を用いて顔が存在したか否かを判定する。顔を検出した場合にはステップ５０８へ遷移し、顔を検出していない場合にはステップ５１０へ遷移する。

ステップ５０８では、ＡＥ画像処理部２０４は、ステップ５０２での追尾対象変更要求の有無を判定し、追尾対象の変更要求があった場合にはステップ５０９へ進んで色追尾用の色情報を記憶し直す。これは次のコマ以降の色情報による追尾に使用するためである。なお、ここでは、顔が検出できた場合の顔の確からしさを追尾の信頼度を示す評価値として算出する。

ステップ５０７で顔を検出できなかった場合、ステップ５１０でＡＥ画像処理部２０４は、色に基づく追尾の可否を判定する。ここでは、ステップ５０２での追尾対象変更要求の有無を判定し、追尾対象変更要求があればステップ５１１へ、追尾対象変更要求がなければステップ５１２へ遷移する。

ステップ５１１では、ＡＥ画像処理部２０４は、ステップ５０３にて設定した領域で検出された被写体の色情報を追尾用の色情報として記憶する。これは次のコマ以降の色情報による追尾に使用するためである。この処理は測距開始後の１回目の追尾処理、あるいはＡＦ処理部２０５が追尾結果を非採用とした次の測距の追尾処理に相当する。このときＡＦ処理部２０５は、たとえば、図３（ａ）の測距点エリアとして領域３０９を選択している場合、ＡＥ画像処理部２０４には領域３０９に対応する領域３１０を通知する。本ステップでＡＥ画像処理部２０４が記憶する色情報は、領域３１０を含むＡＥ分割領域３１１に存在する色情報となる。複数の色が存在する場合には、ＡＥ画像処理部２０４は、総面積の大きい色を追尾色として記憶し、同一色の面積の形状、大きさを併せて記憶する。

ステップ５１２では、ＡＥ画像処理部２０４は、ステップ５０４で設定した検出対象領域について、記憶済みの追尾用色情報と一致する領域を探索する。このとき、ＡＥ画像処理部２０４は、検出対象領域の色情報と記憶済みの追尾用色情報とが一致する領域を探索し、その一致度合いを追尾の信頼性を評価する評価値として算出する。たとえば、ステップ５１１の処理で説明したようにＡＦの選択測距点に対応したＡＥセンサー面上の領域３１０がＡＥ画像処理部２０４に通知された場合を図１０（ａ）に示す。図１０（ａ）では、領域３１０を含むＡＥ分割領域３１１が検出対象領域となる。ＡＥ画像処理部２０４は、ＡＥ分割領域３１１の中で同一色と判定した領域の占める総面積が最大である色の領域を切りだす。図１０（ａ）では、ＡＥ分割領域３１１内に斜線で示した領域３２０が同一色で最大の領域と判定された場合を示す。次の撮影画像においては、図１０（ｂ）で示すように、ＡＥ画像処理部２０４は、斜線部で示した領域３２０を参照領域として、参照領域と色情報が合致する領域を追尾領域として探索する。追尾領域の検出時には、参照領域３２０は複数の領域に分割される。図１０（ｂ）の場合は、参照領域３２０は１０個の領域に分割されている。ＡＥ画像処理部２０４は、ＡＥセンサー上の画素３０１全体について、単位領域３２３ごとに参照領域３２０との色情報の一致度を評価する。より具体的には、ＡＥ画像処理部２０４は、単位領域３２３を参照領域３２０と同様に分割し、参照領域３２０中の各分割領域と、単位領域３２３中の各分割領域とで色成分の比較を行う。本実施例では、単位領域３２３の大きさは参照領域３２０の大きさと等しく、両領域で対応する位置にある分割領域どうしの色成分が比較される。ＡＥ画像処理部２０４は、単位領域３２３と参照領域３２０の各分割領域の色成分の一致度を全ての分割領域分加算したものを信頼度の評価値として算出し、当該評価値が最も高い単位領域３２３を追尾領域に設定する。このアルゴリズムにより色成分の一致度を評価して追尾対象を設定しているが、結果として形状の一致度も評価していることになる。

また、ＡＥ画像処理部２０４は、前回決定した追尾領域に対して新たに設定された追尾領域がｘ−ｙ平面上で乖離している場合は、評価値を低くして信頼性を下げる。これは前回検出した追尾領域により近い場所に被写体が存在する可能性が高い事を考慮しているためである。

このように、ＡＥ画像処理部２０４は、対象領域の中で追尾用色情報と最も色情報が一致する領域を選択するとともに、記憶した被写体の形状および大きさに基づき、どの程度一致しているかを追尾の信頼性を示す評価値として算出する。

ステップ５１３では、ＡＥ画像処理部２０４は、追尾情報をＡＦ処理部２０５へ通知する。追尾情報としては、ステップ５０７で顔を検出したか否かの情報、ステップ５１１およびステップ５１２で得られた追尾測距領域および信頼度の情報が含まれる。

次に、図７を参照して、本発明の実施例１による、追尾測距点のＡＦ電荷蓄積時間延長判定処理について説明する。

図４のステップ４２１では、ＡＥ画像処理部２０４から通知された測距点に対応するラインセンサー対が電荷蓄積完了していない場合に当該センサー対の電荷蓄積時間延長処理を行うか否かの判定を行う。

図７のステップ７０１では、ＡＦ処理部２０５は、図５のステップ５１３でＡＥ画像処理部２０４から通知された追尾の信頼性が十分に良いかを判定する。すなわち、追尾の信頼性が所定のレベルより高いか否かを判定する。信頼性が所定のレベルより高くなければ（第２のレベルの場合）、ステップ７０８へ遷移し、電荷蓄積時間を延長せずに、ＡＦ処理部２０５は、ＡＥ画像処理部２０４からの通知結果によらず焦点検出結果から優位な結果を採用する。追尾の信頼性が所定のレベルより高い場合には（第１のレベルの場合）ステップ７０２へ遷移する。ステップ７０２では、ＡＦ処理部２０５は、新規に得られた追尾の位置情報が過去の履歴から大きく乖離していないかどうかを判定する。たとえば、過去の数コマの撮影の履歴を参照し、過去の追尾の位置が図３（ａ）の領域３０９付近であったにもかかわらず、新規に得られた追尾の位置が同図の領域３１３のように急に大きく乖離した場合にはステップ７０８へ遷移する。ステップ７０８では、ＡＦ処理部２０５は、電荷蓄積時間を延長せずに、測距結果から優位な結果を採用する。この時の乖離の閾値は、被写体の距離情報や、レンズの焦点距離から決定する。

ステップ７０３では、ＡＦ処理部２０５は、ＡＥ画像処理部２０４から通知された追尾の結果が顔による追尾か否かを判定する。追尾の結果が顔の情報によるものであった場合にはステップ７０４に遷移し、追尾の結果が顔でなく色の情報によるものであった場合にはステップ７０７に遷移する。

ステップ７０４では、ＡＦ処理部２０５は、ＡＥ画像処理部２０４から通知された追尾の結果の顔情報に目の位置が検出されたか否かを判定する。目の位置が検出された場合には、ステップ７０５へ進み、第１の設定時間を延長蓄積時間として、ＡＦ処理部２０５がＡＦセンサーの駆動を制御する。目の位置が検出できなかった場合は、第２の設定時間を延長蓄積時間として、ＡＦ処理部２０５がＡＦセンサーの駆動を制御する。また、ステップ７０７で色による追尾結果を検出している場合には、第３の設定時間を延長蓄積時間として、ＡＦ処理部２０５がＡＦセンサーの駆動を制御する。第１、第２、第３の設定時間は個別に設定可能とし、たとえば、第１の設定時間＜第２の設定時間＜第３の設定時間のように設定する。その理由を説明すると、目の位置が特定できた場合には比較的コントラスト成分を検出しやすいことが想定される。また顔が特定された場合は、平準的な色を検出した場合よりも比較的コントラスト成分を検出しやすいことが期待される。そのため、目や顔が検出された場合には、被写体に応じて延長蓄積時間を必要以上に長く設定しないことでレリーズの応答性を高めることができる。一方、色情報による追尾においては、ステップ５１２で説明したように、同一色で形状や大きさが近いほど追尾の信頼性が良いと判定される。そのため、色情報による追尾を行う場合は、ＡＦ処理においてはコントラスト成分が検出しにくい傾向となるので、より長めに電荷蓄積時間を確保することが好ましい。このとき、追尾の信頼性と位相差ＡＦの検出精度は逆相関の関係になるので、第３の設定時間は追尾の信頼性を示す評価値の逆数で設定しても良い。

なお、本実施例では、ＡＦセンサーの最大許容蓄積時間が予め設定されている。電荷蓄積時間を延長する場合、トータルの電荷蓄積時間が上記最大許容蓄積時間内に収まるように延長蓄積時間を設定する必要がある。

なお、追尾の信頼性が所定のレベルより高い場合は電荷蓄積時間を所定の時間延長し、追尾の信頼性が所定のレベルより高くない場合は蓄積延長しないようにしてもよい。

なお、カメラ設定として顔検出をより積極的に行いたい場合には、第１の設定時間や第２の設定時間を長めに設定してもよい。

以上説明したように、本実施例では、顔や色情報に基づく追尾を行った領域に対応させて位相差ＡＦを行う場合、被写体の特徴に応じてＡＦセンサーの延長蓄積時間を設定する。このように制御することで、追尾の性能を確保しつつ位相差ＡＦの測距精度を確保することができる。

次に、図９を参照して、図４のステップ４２３における電荷蓄積時間を延長した際のＡＦ電荷蓄積の完了待ち処理について説明する。

ステップ９０１では、ＡＦ処理部２０５は、ＡＥ画像処理部２０４から通知された追尾領域に対応する複数のラインセンサー対のうちいずれかが電荷蓄積完了するのを待つ。

ステップ９０２では、ＡＦ処理部２０５は、電荷蓄積が完了したラインセンサー対について読み出しと演算処理を行い、ステップ４１１で説明したのと同様に位相差ＡＦの信頼度を求める。

ステップ９０３では、ＡＦ処理部２０５は、ステップ９０２で求めた信頼度が所定の閾値を超えているか否かを判定する。ここで、いずれかのラインセンサー対の電荷蓄積結果が十分に信頼できるのであれば（信頼度が所定の閾値を超えていれば）、ＡＦ処理部２０５は他のラインセンサー対の駆動を止め、本処理を終了する。つまり、ＡＦ処理部２０５は、追尾測距点に対応するラインセンサー対の電荷蓄積時間を延長した場合でも、延長した電荷蓄積時間内に得られた追尾測距点に対応するいずれかのラインセンサー対の電荷蓄積結果の信頼度が高ければ、電荷蓄積を終了する。読み出したラインセンサー対の電荷蓄積結果の信頼性が高くなければ（信頼度が所定の閾値を超えていなければ）、ステップ９０４へ遷移する。

ステップ９０４では、ＡＦ処理部２０５は、すべての追尾測距点に対応するラインセンサー対の蓄積電荷を読み出したか否かを判定する。まだ読み出していないラインセンサー対があればステップ９０１へ戻る。すべてのラインセンサー対について読み出し完了していればステップ９０５へ進み、ＡＦ処理部２０５は、読み出し完了した中から最良の結果を採用する。

以上の処理により、ＡＥ画像処理部２０４による追尾の結果を採用しつつ、追尾領域に対応するラインセンサー対の読み出し処理を効率適に行う事でＡＦ処理の応答性を確保することができる。

次に、本発明の実施例２について説明する。実施例１と共通する部分については説明を省略する。実施例２では、図７で説明した追尾測距点に対応するラインセンサー対の電荷蓄積時間延長判定処理が実施例１と異なる。以下、図８を参照して、実施例２による追尾測距点に対応するラインセンサー対の電荷蓄積時間の延長判定処理について説明する。

図４のステップ４２１では、ＡＦ処理部２０５は、ＡＥ画像処理部２０４から通知された測距点に対応するラインセンサー対が電荷蓄積完了していない場合に、当該ラインセンサー対の電荷蓄積時間の延長処理を行うか否かについて判定を行う。実施例２では、ステップ４２１での判定の基準として、ＡＦ処理部２０５は、カメラに設定された連写速度の設定を維持できる範囲で電荷蓄積時間を延長する。そこで、ＡＦ処理部２０５は、ステップ４０１でＡＦ処理を開始した時刻を記憶しておく。

ステップ８０１では、ＡＦ処理部２０５は、ステップ５１３でＡＥ画像処理部２０４から通知された追尾の信頼性が十分に良いかを判定する。信頼性が低ければステップ８０７へ遷移し、ＡＦ処理部２０５は、電荷蓄積時間を延長せずに測距結果から優位な結果を採用する。追尾の信頼性が高い場合にはステップ８０２へ遷移する。

ステップ８０２では、ＡＦ処理部２０５は、ステップ４０１で記憶した時刻に対してステップ４２１までの経過時間Ｔ１を計測する。

ステップ８０３では、ＡＦ処理部２０５は、ＡＥ画像処理部２０４から通知された追尾領域に対応するラインセンサー対の読み出し・演算にかかる時間Ｔ２を算出する。なお、追尾領域は検出結果によって異なるため、Ｔ２は追尾領域に含まれるラインセンサー対の数に応じて異なる。

ステップ８０４では、ＡＦ処理部２０５は、カメラに設定された連写速度の条件に対して、Ｔ１とＴ２の処理時間を除いた残り時間Ｔ３を算出する。

ステップ８０５では、ＡＦ処理部２０５は、ステップ８０４で算出した時間Ｔ３に余裕があるか否かを判定する。ＡＦ処理部２０５は、設定された連写速度に対してＴ３に余裕があると判定すれば、ステップ８０６にて時間Ｔ３について延長蓄積時間を設定する。一方、ＡＦ処理部２０５は、Ｔ３に余裕がないと判定すれば、ステップ８０７に進んで蓄積時間を延長せずに処理を終了する。

以上の処理により、本実施例によれば、ＡＥ画像処理部２０４による追尾結果が変わったとしても、カメラに設定された連写速度を維持したうえで、追尾の性能を確保しつつ追尾領域に対応する位相差ＡＦの測距精度を確保することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

６ カメラＭＰＵ
７ 焦点検出ユニット
１０ 測光／被写体特性情報検出ユニット
２０１ カメラボディ部
２０２ レンズ部
２０３ システム制御部
２０４ ＡＥ画像処理部
２０５ ＡＦ処理部
２０８ 撮像素子
２１１ ＡＥセンサー
２２１ レンズ駆動部
３０１ 複数画素
３０２ ＡＦセンサー面
３０３ ラインセンサー対
３０４ 測距点

Claims (14)

1. 被写体の特徴情報を検出する被写体検出手段と、
   電荷蓄積を行ってそれぞれ一対の像信号を生成し出力する複数の信号生成手段と、
   前記複数の信号生成手段の電荷蓄積を制御し、出力された一対の像信号の位相差に基づいて焦点検出を行う焦点検出手段とを有する焦点検出装置であって、
   前記焦点検出手段は、所定の信号生成手段の電荷蓄積が完了した時点で、前記被写体検出手段により検出された被写体の特徴情報に対応する第１の信号生成手段の電荷蓄積が完了していない場合、前記被写体の特徴情報の確からしさを示す信頼性が所定のレベルを満たさなければ、前記第１の信号生成手段の電荷蓄積を終了させ、前記信頼性が前記所定のレベルよりも高く、当該被写体の特徴情報が検出された位置が過去の検出結果と乖離していなければ、前記第１の信号生成手段の電荷蓄積時間を延長することを特徴とする焦点検出装置。
2. 前記焦点検出手段は、前記第１の信号生成手段の電荷蓄積結果を用いて焦点検出を行う場合、当該信号生成手段に対応する焦点検出領域の情報を前記被写体検出手段に送信し、
   前記被写体検出手段は、前記焦点検出領域の情報に基づいて、追尾対象としての被写体の特徴情報を検出する追尾処理を行うことを特徴とする請求項１に記載の焦点検出装置。
3. 前記焦点検出手段は、前記被写体検出手段の追尾処理により検出された被写体の特徴情報を用いずに焦点検出を行う場合、ユーザーにより選択された焦点検出領域およびその周辺の焦点検出領域に対応する前記信号生成手段の電荷蓄積結果の中から焦点検出に用いる電荷蓄積結果を選択し、当該電荷蓄積結果に対応する焦点検出領域の情報とともに、追尾対象の変更要求を前記被写体検出手段に送信することを特徴とする請求項２に記載の焦点検出装置。
4. 前記被写体検出手段は、前記焦点検出手段から前記追尾対象の変更要求を受信した場合、受信した前記焦点検出領域の情報に基づいて、被写体の特徴情報を検出する領域を設定することを特徴とする請求項３に記載の焦点検出装置。
5. 前記焦点検出手段は、前記第１の信号生成手段の電荷蓄積結果の中で、像信号の信頼度が所定の閾値より高い電荷蓄積結果を用いて焦点検出を行うことを特徴とする請求項１乃至４のいずれか１項に記載の焦点検出装置。
6. 前記焦点検出手段は、前記被写体検出手段による検出の信頼性が前記所定のレベルよりも高い場合であって、設定した電荷蓄積時間内において少なくとも一つの前記第１の信号生成手段より出力された像信号の信頼度が所定の閾値より高い場合、全ての前記第１の信号生成手段の電荷蓄積を終了させることを特徴とする請求項１乃至５のいずれか１項に記載の焦点検出装置。
7. 前記焦点検出装置は、撮像装置に備えられ、
   前記焦点検出手段は、前記撮像装置に設定された連写速度に応じて前記信号生成手段の電荷蓄積時間を設定することを特徴とする請求項１乃至６のいずれか１項に記載の焦点検出装置。
8. 前記被写体検出手段は、前記被写体の特徴情報として色の情報を検出することを特徴とする請求項１乃至７のいずれか１項に記載の焦点検出装置。
9. 前記被写体検出手段は、前記被写体の特徴情報として顔の情報を検出することを特徴とする請求項１乃至８のいずれか１項に記載の焦点検出装置。
10. 前記被写体の特徴情報として顔の情報が検出された場合、前記焦点検出手段は、前記被写体の特徴情報として顔の情報が検出されなかった場合と比較して、前記第１の信号生成手段の電荷蓄積時間を短くすることを特徴とする請求項９に記載の焦点検出装置。
11. 前記被写体検出手段は、前記被写体の特徴情報として顔の情報が検出された場合に、さらに目の情報を検出し、
    目の情報が検出された場合、前記焦点検出手段は、目の情報が検出されなかった場合と比較して、前記第１の信号生成手段の電荷蓄積時間を短くすることを特徴とする請求項９又は１０に記載の焦点検出装置。
12. 前記信号生成手段は、複数の画素からなるラインセンサーであることを特徴とする請求項１乃至１１のいずれか１項に記載の焦点検出装置。
13. 前記焦点検出装置は、撮影光学系を介して入射した光束を光電変換する撮像素子を有する撮像装置に備えられ、
    前記信号生成手段は、前記撮像素子上の画素であることを特徴とする請求項１乃至１１のいずれか１項に記載の焦点検出装置。
14. 電荷蓄積を行ってそれぞれ一対の像信号を生成し出力する複数の信号生成手段を備えた焦点検出装置の制御方法であって、
    被写体の特徴情報を検出する被写体検出ステップと、
    前記複数の信号生成手段の電荷蓄積を制御し、出力された一対の像信号の位相差に基づいて焦点検出を行う焦点検出ステップとを有し、
    前記焦点検出ステップにおいて、所定の信号生成手段の電荷蓄積が完了した時点で、前記被写体検出ステップにより検出された被写体の特徴情報に対応する第１の信号生成手段の電荷蓄積が完了していない場合、前記被写体の特徴情報の確からしさを示す信頼性が所定のレベルを満たさなければ、前記第１の信号生成手段の電荷蓄積を終了させ、前記信頼性が前記所定のレベルよりも高く、当該被写体の特徴情報が検出された位置が過去の検出結果と乖離していなければ、前記第１の信号生成手段の電荷蓄積時間を延長することを特徴とする焦点検出装置の制御方法。

Images