JP6346417B2 - 撮像装置、その制御方法および制御プログラム - Google Patents

Description

本発明は、撮像装置、その制御方法、および制御プログラムに関し、特に、画像データに応じて測光測距などに係る撮像用評価値を検出することのできる撮像装置に関する。

従来、撮像装置においてフォーカス制御に用いる被写体の位置情報を得る際には、撮像素子から出力される画像信号に基づいて当該位置情報を得ている。また、被写体を示す光信号を専用の検出装置に直接入力して、当該光信号が示す画像における位相差に基づいて位置情報を得ることも行われている。なお、画像データに基づいて位置情報を得る場合には、専用の検出装置が不要となる点で、撮像装置を小型化することができる。

図１０は、従来の撮像装置においてライブビューの際のオートフォーカス撮像動作（ＡＦ評価撮像）のタイミングを説明するための図である。図に示されるように、従来の撮像装置においては、垂直同期信号（Ｖｅｒｔｉｃａｌ Ｄｒｉｖｉｎｇ Ｐｕｌｓｅ：ＶＤ）によって撮像タイミングが規定されている。ＡＦ制御信号がオンとなると、ライブビュー撮像期間後のＶＤに従ってＡＦ評価像用の画像の撮像が行われ、ＡＦ制御信号がオフとなると、再びライブビュー撮像期間となる。このように、ライブビュー用画像を得るライブビュー撮像期間とＡＦ評価用画像を得るＡＦ動作期間とは時間軸に沿ってシリアルに配置されているで、ライブビュー用画像とＡＦ評価用画像を同時に撮像する構成にはなっていない。

このため、図示するようにライブビュー用画像の撮像期間（フレーム）の間に位置するＡＦ動作期間でＡＦ評価用画像を撮像しているので、ライブビュー用画像とＡＦ評価用画像との間にタイムラグが存在する。

加えて、ＡＦ評価用画像を撮像する際においてもライブビュー表示は行われるものの、この際には、ＡＦ評価用画像に基づいてライブビュー表示が行われる。そして、図１０示すように、ＡＦ評価用画像を撮像する際には、ライブビュー撮像期間よりもフレームレートが高くされるため、撮像素子の読み出しにおける間引き率が高くなり、画質の低下が避けられない。

この点を回避するため、例えば、撮像素子の画素部に焦点信号検出用画素を撮像信号用画素とは別に設けるようにした構成がある。この構成では、ライブビュー表示のための撮像用信号を読み出すライブビュー用読み出しモードとともに、焦点検出用信号および自動露光用測光情報に用いるための撮像用信号を撮像素子から読み出す焦点検出・自動露光（ＡＥ）用読み出しモードを備える。そして、これら読み出しモードをフレーム毎に循環的に繰り返して行うようにしている（特許文献１参照）。

特開２００９−８９１０５号公報

ところが、特許文献１においては、画素部に焦点信号検出用画素が設けられているため、必然的に撮像信号用画素のエリアが小さくなってしまい、焦点信号検出用画素は撮像信号（画像信号）を得る際には用いられないので、その分画質が低下してしまう。また、焦点信号検出用画素は、撮像信号用画素に比べて、感度が下がってしまうため、撮影シーンによっては、焦点信号の検出精度が低下する。

そこで、本発明の目的は、シーン判別によって、焦点検出精度と焦点検出速度の最適化を行うことが可能な撮像素子、その制御方法、および制御プログラムを提供することにある。

本発明によれば、撮影光学系によって形成される被写体の光学像を光電変換して画像信号を生成する画素がマトリックス状に複数配列された画素部を有する第１の素子部と、前記画素部から画像信号を読み出す読み出し手段が配設された第２の素子部とを備え、前記読み出し手段が、前記画素部の第１の画素群から画像信号を読み出す第１の読み出し手段と、前記画素部の前記第１の画素群とは配置される行が異なる第２の画素群から画像信号を読み出す第２の読み出し手段とを有する撮像素子と、前記撮像素子が出力する画像信号から、前記光学像の撮像における露光量を判定する撮像条件判定手段と、前記第１の読み出し手段で前記第１の画素群から読み出される画像信号または前記第２の読み出し手段で前記第２の画素群から読み出される画像信号から前記光学像の撮像に関する撮像評価値を検出する撮像評価値検出手段と、前記読み出し手段を制御するとともに、前記第１の画素群から読み出される画像信号および前記第２の画素群から読み出される画像信号のうちのいずれかから前記光学像の撮像に関する撮像評価値を前記撮像評価値検出手段により検出するかを前記撮像条件判定手段による前記露光量の判定結果に応じて切り替えるように制御する制御手段と、を備えることを特徴とする撮像装置が提供される。

本発明の撮像装置によれば、シーン判別によって、焦点検出精度と焦点検出速度の最適化を行うことが可能な撮像素子、その制御方法、および制御プログラムを提供する。

本発明の第１の実施例に係る撮像装置の構成を示すブロック図である。 本発明の第１の実施例に係る撮像装置が有する撮像素子の構成を示す図である。 本発明の第１の実施例に係る撮像装置が使用する撮像素子の画素部の読み出し構成を説明するための図である。 本発明の第１の実施例に係る撮像装置の撮像タイミングを示す図である。 本発明の第１の実施例に係る撮像装置のＡＦモードでの動作のフローチャートを示す図である。 本発明の第２の実施例に係る撮像装置の構成を示す図である。 本発明の第２の実施例に係る撮像装置のＡＦモードでの動作のフローチャートを示す図である。 本発明の第２の実施例に係る撮像装置におけるシーン判定の判定表を示す図である。 本発明の第３の実施例に係る撮像装置の構成を示す図である。 従来の撮像装置におけるライブビューモードでのオートフォーカス撮像動作のタイミングを示す図である。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

＜第１の実施形態＞
図１は、本発明の第１の実施例に係る撮像装置の構成例を示すブロック図である。図示されている撮像装置は、例えば、動画機能付き電子スチルカメラ又はビデオカメラに適用される。

同図において、撮像装置１００は、レンズ１０１、イメージセンサ１０２、画像信号処理部１０３、圧縮伸長部１０４、レンズ駆動制御部１０５、撮像信号評価値検出部１０６、シーン判別部１０７、システム制御部１０８を備える。また、撮像装置１００はさらに、発光部１０９、操作部１１０、記憶部１１１、表示部１１２を備える。

レンズ１０１は、撮影光学系を構成するレンズ群である。レンズ１０１内には、フォーカスレンズが含まれている。フォーカスレンズは、ピント調整用レンズである。フォーカスレンズは光軸方向に沿って位置を変更可能に構成されている。レンズ駆動制御部１０５、撮像評価値検出部１０６によって検出された値に基づいてフォーカスレンズを駆動制御し、焦点調節処理を実行する焦点調節手段としての機能を有する。レンズ１０１を通ってきた光は、ＣＭＯＳイメージセンサ等で構成されたイメージセンサ１０２の結像面上に被写体の光学像として結像され、後述する画素２０１で画素信号に光電変換される。

イメージセンサ１０２は、画素２０１およびＡ／Ｄコンバータを有し、例えば、いわゆるＸＹ読み出し方式のＣＭＯＳ型イメージセンサである。イメージセンサ１０２は、システム制御部１０８による制御の下で、露光、信号読み出し、およびリセットなどの撮像動作を行って、撮像信号（画像信号ともいう）を出力する。

撮像評価値検出部１０６は、イメージセンサ１０２から出力された画像信号から撮像評価値を検出する。その際、システム制御１０７から出力されるタイミングにおいて、撮像評価値の検出を行う。なお、詳細な動作については後述する。

ここで、撮像評価値とは、撮像装置の制御や、撮影された画像に対する補正等を行う際に必要なパラメータである。例えば、ＡＦ評価値や、ＷＢ（ホワイトバランス）評価値、ＡＥ（Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ）評価値など、撮像装置の基本動作に必要な評価値である。ＡＦ評価値は、撮像時に被写体にピントを合わせるための評価値であり、主にフォーカスレンズを制御する際に必要である。ＷＢ評価値は、撮像時に色を補正するために必要な評価値であり、現像の際に必要なパラメータである。ＡＥ評価値は、撮影時に露出を適正に合わせるために必要な評価値であり、主に、絞りや、シャッタースピード、感度を設定する際に必要である。

システム制御部１０８は、撮像評価値として得られるパラメータの１つであるＡＦ評価値に基づいてレンズ１０１の制御量を決定し、この制御量をレンズ駆動制御部１０５に出力する。レンズ駆動制御部１０５は、システム制御１０８から得られた、ＡＦ評価値の制御量に基づいてレンズ１０１を光軸方向に駆動することで、被写体のピント調節を行う。

画像信号処理部１０３は、システム制御部１０８による制御の下で、イメージセンサ１０２の出力である画像信号に対して信号処理を行って画像データを生成する。具体的には、撮像評価値検出部で検出された撮像評価値に基づいて、ホワイトバランス調整処理、色補正処理、およびＡＥ処理などの信号処理を施して画像データを生成する。

圧縮伸長部１０４は、システム制御部１０８による制御の下で動作し、画像信号処理部103の出力である画像データに対して、所定の静止画像データフォーマットによって圧縮符号化処理を行う。例えば、所定の静止画像データフォーマットは、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式などである。また、圧縮伸長部１０４はシステム制御部１０８から送られた符号化画像データに対して伸長復号化の処理を行う。なお、圧縮伸長部１０４は、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式などによって動画像データに対して圧縮符号化/伸長復号化処理を行うようにしてもよい。

シーン判別部１０７では、システム制御部から得られる撮影条件から撮影シーンを判別し、判別した撮影シーンに従って、撮影時の撮影パラメータや画像処理パラメータなどを変更するための情報をシステム制御部１０８へ送る。ここで、撮像評価値検出部１０６は、シーン判別の情報に基づいて、後述する、撮像評価値検出用画像信号および表示画像信号のどちらから撮像評価値を検出するかを決定する。

システム制御部１０８は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを備えるマイクロコントローラである。システム制御部１０８のＣＰＵは、ＲＯＭに記憶されたプログラムを実行することによって、撮像装置１００全体を統括的に制御する。

発光部１０９は、画像信号処理部１０３によるＡＥ処理によって被写体の露光値が低いと判定されると、被写体に対して光を照射して照明を行う。発光部１０９としては、例えば、キセノン管を用いたストロボ装置又はＬＥＤ発光装置が用いられる。操作部１１０は、例えば、シャッタレリーズボタンなどの各種操作キー、レバー、およびダイヤルを有し、ユーザーの入力操作に従った操作信号をシステム制御部１０８に与える。

記録部１１１は、例えば、可搬型の半導体メモリ、光ディスク、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、又は磁気テープなどの記録媒体であり、圧縮伸長部１０４により圧縮符号化された画像データを画像ファイルとして記憶する。また、記録部１１１は、システム制御部１０８によって指定された画像ファイルを読み出してシステム制御部１０８に出力する。

画像表示部１１２は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）などの表示デバイスおよびＬＣＤに対するインタフェース回路を備え、システム制御部１０８から送られた画像データで表わされる画像を表示デバイスに表示する。

図２は、図１に示すイメージセンサ１０２の構成を説明するための図である。図２（ａ）はイメージセンサの斜視図であり、図２（ｂ）はその構成を示すブロック図である。

図２（ａ）において、イメージセンサ１０２は第１チップ（第１の素子部）２０び第２のチップ２１(第２の素子部)を有し、第２のチップ２１上に第1のチップ２０が積層されている。第１のチップ２０はマトリックス状に配列された複数の画素２０１を有し、第１のチップ２０は画素配列を光入射側に向けて積層されている（つまり、光学像の受光する側に位置している）。第２のチップ２１には、後述する列走査回路２１３−ａ及び２１３−ｂと行走査回路２１２などの画素駆動回路が形成されている。

このように、第１のチップ２０に画素２０１を形成し、第２のチップ２１に画素駆動回路を形成すれば、イメージセンサ１０２の周辺回路および画素部の製造プロセスを分けることができる。これにより、周辺回路における配線の細線化、高密度化による高速化、小型化、および高機能化を図ることができる。

図２（ｂ）に示すように、第１のチップ２０において、画素２０１はマトリクス状に配列されており、各画素２０１は水平方向（行方向）において転送信号線２０３、リセット信号線２０４、および行選択信号線２０５に接続されている。また、垂直方向（列方向）において列信号線２０２−ａおよび２０２−ｂに接続されている。なお、列信号線２０２−ａおよび２０２−ｂの各々は、行単位で、画素を異なる読み出し先に接続する。

また、画素２０１の各々は、図示するように、光電変換素子であるフォトダイオードＰＤ、転送トランジスタＭ１、リセットトランジスタＭ２、増幅トランジスタＭ３、選択トランジスタＭ、４、フローティングディフュージョンＦＤを有している。なお、図示の例では、トランジスタの各々はｎチャネルＭＯＳＦＥＴ（ＭＯＳ Ｆｉｅｌｄ−Ｅｆｆｅｃｔ Ｔｒａｎｓｉｓｔｏｒ）である。

転送トランジスタＭ１、リセットトランジスタＭ２、および選択トランジスタＭ４のゲートには、それぞれ転送信号線２０３、リセット信号線２０４、および行選択信号線２０５が接続されている。これら信号線２０３〜２０５は水平方向に延在し、同一行の画素を同時に駆動する。これによってライン順次動作型のローリングシャッタ又は全行同時動作型のグローバルシャッタの動作を制御することができる。さらに、選択トランジスタＭ４のソースには列信号線２０２−ａ又は２０２−ｂが行単位で接続されている。

フォトダイオードＰＤは、光電変換によって生成された電荷を蓄積する。フォトダイオードＰＤのＰ側は、接地され、Ｎ側は、転送トランジスタＭ１のソースに接続されている。転送トランジスタＭ１がオンすると、フォトダイオードＰＤの電荷がＦＤに転送され、ＦＤには寄生容量が存在するので、ＦＤに転送された電荷が蓄積される。

増幅トランジスタＭ３のドレインには電源電圧Ｖｄｄが印加され、そのゲートはＦＤに接続されている。増幅トランジスタＭ３は、ＦＤの電荷（つまり、電圧）を増幅して電圧信号に変換する。選択トランジスタＭ４は、行選択信号線２０５によって、信号を読み出す画素を行単位で選択するためのものであり、そのドレインは増幅トランジスタＭ３のソースに接続されている。また、選択トランジスタＭ４のソースは列信号線２０２に接続されている。

行信号選択線２０５によって選択トランジスタＭ４がオンすると、ＦＤの電圧に対応する電圧信号が列信号線２０２に出力される。リセットトランジスタＭ２のドレインには電源電圧Ｖｄｄが印加され、そのソースはＦＤに接続されている。リセット信号線２０４によるリセットトランジスタＭ２のオンによって、ＦＤの電圧は電源電圧Ｖｄｄにリセットされる。

第２のチップ２１には、カラムＡＤＣブロック２１１が配設されており、カラムＡＤＣ２１１は列信号線２０２−ａ又は２０２−ｂに接続されている。さらに、第２のチップ２１には、行走査回路２１２、列走査回路２１３−ａ、２１３−ｂ、タイミング制御回路２１４、水平信号線（出力手段）２１５−ａ、２１５−ｂが設けられている。

タイミング制御回路２１４はシステム制御部１０８の制御下で行走査回路２１２、列走査回路２１３−ａ及び２１３−ｂ、およびカラムＡＤＣブロック２１１の動作タイミングを制御する。行走査回路２１２は各行の走査を行い、列走査回路２１３ａおよび２１３ｂはそれぞれ各列の走査を行う。

水平信号線２１５−ａ及び２１５−ｂは、それぞれ列走査回路２１３−ａおよび２１３−ｂで制御されるタイミングに従ってカラムＡＤＣブロック２１１の出力信号（画像信号）を転送する。これによって、ライブビュー用の画像信号（第２の画像信号、つまり、画像表示信号）は列信号線２０２−ａに出力され、撮像評価値検出用の画像信号（第1の画像信号）は列信号線２０２−ｂに出力される。

図３において、行番号１および２は撮像評価値検出用画像の撮像のための行（第１の画素群）であり、行番号３〜８はライブビュー用画像の撮像のための行（第２の画素群）である。図示の例では、読み出し走査が行単位で順次行われて、８行単位で繰り返し読み出し走査が行われることになる。

撮像評価値検出用撮像では、フレームレート重視のため垂直同色４画素中３画素を間引き読み出しする。一方、ライブビュー用撮像では、画質重視のため垂直同色４画素中１画素を間引いて３画素を加算する。言い換えると、撮像評価値検出用撮像においては、第１の画素群を第１のフレームレートで読み出しを行う。そしてライブビュー用撮像では第２の画素群を第１のフレームレートよりも遅い第２のフレームレートで読み出しを行う。

上述のように、選択行毎に撮像評価値検出用撮像とライブビュー用撮像とを分けることによって、異なる電荷蓄積時間でデータサイズの異なるフレームレートの画像信号を取得することが可能となる。

列信号線２０２−ａ及び２０２−ｂに出力された電圧信号（アナログ信号）は、図２に示すカラムＡＤＣブロック２１１においてアナログ信号からデジタル信号（画像信号）に変換される。カラムＡＤＣブロック２１１の出力である画像信号は、列走査回路２１３−ａ又は２１３−ｂによってカラムＡＤＣブロック２１１から水平信号線２１５−ａ又は２１５−ｂに読み出され出力される（第１の読み出し手段、第２の読み出し手段）。

次に、撮像評価値の例として、ＡＦ動作用の最適な撮像評価値（ＡＦ評価値）を検出する動作を、図４を用いて説明する。

図４（ａ）は、後述するシーン判別の結果、撮像評価値検出用画像からＡＦ評価値（オートフォーカス評価値）を検出する際のタイミングチャートを示す図である。図示のように、垂直同期信号によって撮像タイミングが規定されており、ＡＦ評価モードとなると、システム制御部１０８は時間Ｔ０の垂直同期信号の立下りでＡＦ制御信号を立ち上げる（Ｈレベル）。続いて、垂直同期信号が立ち上がると、システム制御部１０８は垂直同期信号に同期して画像表示信号用と撮像評価値検出用の撮像動作を同時に開始して行っていく。

期間Ｔ０〜ＴＦ１で、水平信号線２１５−ｂを介して画素部２０から読み出された撮像評価用画像信号は、撮像評価値検出部１０６に入力され、ＴＦ１〜ＴＦ２においてＡＦ評価値が算出される。AF評価値は、イメージセンサ１０２から出力された、撮像評価値検出用画像信号から得られるコントラスト情報および位相差情報に基づいて、システム制御部１０８で制御されるタイミングで算出される。その後、期間ＴＦ２〜ＴＦ３において、撮像評価値検出部１０６はＡＦ評価値をシステム制御部１０８に出力する。

図示の例では、１垂直同期信号の期間中にライブビュー用画像の１フレームが撮像され、ＡＦ評価値検出用画像（ＡＦ走査）の３フレームが撮像される。そして、システム制御部１０８が垂直同期信号をＬレベルとすると、ライブビュー用画像１フレーム期間内のＡＦ評価が終了する。

システム制御部１０８はＡＦ評価値と後述する所定のＡＦ期待値とを比較する。ＡＦ評価値がＡＦ期待値との所定の評価条件を満足すると、システム制御部１０８はＡＦ制御信号を立ち下げる（時間Ｔ１）。ＡＦ制御信号が立ち下がると、ＡＦ評価用撮像のみが停止して、ライブビュー撮像が継続して行われることになる。

図４（ｂ）は、後述するシーン判別の結果に従って、ライブビュー用画像からＡＦ評価値を検出する際のタイミングチャートを示す図である。

図４（ａ）と同様に、垂直同期信号によって撮像タイミングが規定されており、ＡＦ評価モードが設定されていると、システム制御部１０８は時間Ｔ０の垂直同期信号の立下りでＡＦ制御信号を立ち上げる（Ｈレベル）。続いて、垂直同期信号が立ち上がると、システム制御部１０８は垂直同期信号に同期して画像表示信号用のみ撮像動作を行っていく。

期間Ｔ０〜ＴＦ４において、２１５−ａを介して画素２０１から読み出されたライブビュー用画像信号は、撮像評価値検出部１０６と画像信号処理部１０３に入力され、期間ＴＦ４〜ＴＦ５においてＡＦ評価値が算出される。撮像評価値検出部１０６は、イメージセンサ１０２から出力された、ライブビュー用画像の画像信号から得られるコントラスト情報および位相差情報に基づいて、システム制御部１０８で制御されるタイミングでＡＦ評価値を算出する。その後、期間ＴＦ５〜ＴＦ６において、撮像評価値検出部１０６はＡＦ評価値をシステム制御部１０８に出力する。

図示の例では、１垂直同期信号の期間中にライブビュー用画像の１フレームが撮像され、ＡＦ評価値検出用画像（ＡＦ走査）は撮像されない。システム制御部１０８が垂直同期信号をＬレベルとすると、ライブビュー用画像１フレーム期間内のＡＦ評価が終了する。

システム制御部１０８はライブビュー用画像から検出されたＡＦ評価値と後述する所定のＡＦ期待値とを比較し、ＡＦ評価値がＡＦ期待値との所定の評価条件を満足すると、ＡＦ制御信号を立ち下げる（時間Ｔ７）。ＡＦ制御信号が立ち下がると、表示画像からのＡＦ評価用検出動作が停止して、ライブビュー撮像が継続して行われることになる。

図４（ａ）に示すように、本実施例では、撮像評価値検出用画像は、ライブビュー用画像の動作より速いフレームレートを設定可能なため、撮像装置への撮像評価値の反映を、従来よりも迅速に制御することが可能となる。

しかしながら、撮像装置にはプログラム線図で決められた、露出制御によって暗時の追従限界が存在する。そのためフレームレートが速い撮像評価値検出用画像と、フレームレートの遅いライブビュー用画像では、露出制御による暗部の追従限界が異なってしまう。本実施例では、暗部の追従限界が３段分の差が発生してしまう。

シーン判別部１０７は、ライブビュー用画像撮影時にシステム制御部１０８によって撮影(露出)条件として設定されている感度設定値や、シャッタースピードなどから算出される露光量から撮影シーンの特徴を判別する。撮像評価値検出部１０６は、シーン判別部１０７の判別結果に従って、撮像評価値検出用画像とライブビュー用画像のいずれかから撮像評価値を検出する。

次に本実施形態１にかかわる撮像装置のＡＦ評価モードでの動作を、図５のフローチャートを用いて詳細に説明する。

図示のフローチャートはシステム制御部１０８の制御下で行われる。説明のため、撮像評価値検出用画像で検出される撮像評価値をＡＦ＿Ｋα、ライブビュー用画像で検出される撮像評価値をＡＦ＿Ｋβとする。

ユーザーにより電源がＯＮされ、各種初期設定を行った後（ステップＳ５０２）、ライブビューモードや動画記録などの動作モードに移行し、撮影が開始される（ステップＳ５２０）。

システム制御部１０８はＡＦ評価モードであるか否かを判定する（ステップＳ５０２）。つまり、システム制御部１０８はオートフォーカスモードが設定されているか否かを判定する。ＡＦ評価モードでないと（ステップＳ５０３において、Ｎｏ）、システム制御部１０８はライブビュー撮像のみを開始して（ステップＳ５２０）、後述のステップＳ５２１に進む。

一方、ＡＦ評価モードであると（ステップＳ５０３において、Ｙｅｓ）、システム制御部１０８はＡＦ制御信号をオン（Ｈレベル）にする（ステップＳ５０４）。続いて、システム制御部１０８はＡＦ評価用撮像の回数をカウントするための変数ｎに０を代入して初期化する（ステップＳ５０５）。次にステップＳ５０６では、システム制御部１０８によって、ライブビュー撮影を行う際の撮像条件の露光量Ｅｖを検出する。

次に、シーン判別部１０７によって、ステップＳ５０６で検出された露光量Ｅｖと露光量期待値Ｅの比較を行う(撮像条件判定)。システム制御部１０８は、ライブビュー撮影の露光量が露光設定の期待値であるＥに対して次の式（１）、つまり、所定の感度条件を満たすか否かを判定する（ステップＳ５０７）
Ｅ＜Ｅｖ ・・・（１）
ライブビューの露光量Ｅｖが、（１）式を満たす（Ｙｅｓ）場合、Ｓ５０８に進み、ＡＦ評価値検出用の撮像をスタートする。

次に、図４（ａ）で説明したように、システム制御部１０８はＡＦ評価用撮像を開始する。（ステップＳ５０８）ＡＦ評価用撮像を開始した後、システム制御部１０８は変数ｎを１だけインクリメントする（ステップＳ５０９）。その後、システム制御部１０８による制御の下で、撮像評価値検出部１０６はＡＦ評価用撮像で得られたＡＦ評価用画像信号からＡＦ評価値ＡＦ＿Ｋαを検出する（ステップＳ５１０）。

続いて、システム制御部１０８は、ＡＦ評価値ＡＦ＿ＫαがＡＦ期待値であるＫ＿ｍｉｎαおよびＫ＿ｍａｘαに対して次の式（２）、つまり所定の評価条件を満たすか否かを判定する(ステップＳ５１１)
Ｋ＿ｍｉｎα＜ＡＦ＿Ｋα＜Ｋ＿ｍａｘα （２）
ここでＡＦ評価値期待値Ｋ＿ｍｉｎαおよびＫ＿ｍａｘ αは期待されるＡＦ評価値の最小値および最大値に設定されており、あらかじめ撮像装置の設計の際又は撮像装置の調整の際にシステム制御部１０８に記録される。

ＡＦ評価値ＡＦ＿Ｋαが式（２）を満たさないと（ステップＳ５１１において、Ｎｏ）、システム制御部１０８は上記のＡＦ評価値ＡＦ＿Ｋαに基づいてフィードバック制御量を求める。そして、システム制御部１０８は当該フィードバック制御量に従ってレンズ駆動制御部１０５を駆動制御してレンズ１０１に備えられたフォーカスレンズを駆動する（ステップＳ５１２）。

続いて、システム制御部１０８は変数（ＡＦ評価値撮像回数）ｎが所定の数（ここでは、３）であるか否かを番定する（ステップＳ５１３）。ＡＦ評価値撮像回数が３回未満であれば（ステップＳ５１１において、Ｎｏ）、システム制御部１０８はステップＳ５１０の処理に戻ってＡＦ評価用撮像を行う。一方、ＡＦ評価値撮像回数が３回であれば（ステップＳ５１３において、Ｙｅｓ）、システム制御部１０８は、ステップＳ５０５の処理に戻ってＡＦ評価値撮像回数ｎをゼロとする。

ＡＦ評価値ＡＦ＿Ｋαが式（２）を満たすと（ステップＳ５１１において、Ｙｅｓ）、システム制御部１０８はＡＦ制御信号をオフ（Ｌレベル）として（ステップＳ５１４）、撮像素子１０２におけるＡＦ評価用撮像を停止する（ステップＳ５１５）。その後、システム制御部１０８は、動作をステップＳ５２２へ進める。

ステップＳ５０７にてライブビュー用画像の露光量Ｅｖが、（１）式を満たさない（Ｎｏ）場合、Ｓ５１６に進み、ライブビュー用の撮像画像からＡＦ評価値ＡＦ＿Ｋβを検出する。続いて、システム制御部１０８は、ＡＦ評価値ＡＦ＿ＫβがＡＦ期待値であるＫ＿ｍｉｎβおよびＫ＿ｍａｘβに対して次の式（３）、つまり、所定の評価条件を満たすか否かを判定する（ステップＳ５１７）。
Ｋ＿ｍｉｎβ＜ＡＦ＿Ｋ＜Ｋ＿ｍａｘβ （３）
ここでＡＦ期待値Ｋ＿ｍｉｎβおよびＫ＿ｍａｘβは期待されるＡＦ評価値の最小値および最大値として設定されており、予め撮像装置の設計の際又は撮像装置の調整の際にシステム制御部１０８に記録される。

ＡＦ評価値ＡＦ＿Ｋβが式（３）を満たさない場合は（ステップＳ５１７に置いて、Ｎｏ）、システム制御部１０８は上記のＡＦ評価値ＡＦ＿Ｋβに応じてフィードバック制御量を求める。そして、システム制御部１０８は当該フィードバック制御量に応じてレンズ駆動制御部１０５を駆動制御してレンズ１０１に備えられたフォーカスレンズを駆動し（ステップＳ５１８）、ステップＳ５２２へ進む。

ＡＦ評価値ＡＦ＿Ｋβが式（３）を満たす場合は（ステップＳ５１７において、Ｙｅｓ）、システム制御部１０８はＡＦ制御信号をオフ（Ｌレベル）とし（ステップＳ５１９）、ステップＳ５２２へ進む。ステップＳ５２２では、ライブビュー動作の終了の指示があると（Ｙｅｓ）、ライブビュー動作が終了し、ひき続きライブビュー動画が行われる場合は（Ｎｏ）、ステップＳ５０３へ戻り、ライブビュー動作を行いながら、ＡＦ動作を行う。

上述のように、本実施例は、ライブビュー用撮像と撮像評価値検出用撮像が1フレーム期間中に同時に可能な撮像素子を備えた撮像装置を前提としている。そして、ライブビュー撮像時の露出条件に基づいたシーン判別の結果に従って、ＡＦ評価値を検出する画像を、ＡＦ評価値用画像およびライブビュー画像から選択する。これによって、明るい被写体撮影時ではＡＦ評価を行う際のタイムラグを短縮することができ、暗部に対してはＡＦ評価値の精度を向上することが可能となる。また、本実施例では、ＡＦ評価値と比較するＡＦ期待値を、ＡＦ評価値用画像およびライブビュー画像それぞれについて異なる期待値としたが、同じ期待値としてもよい。

また、本実施例では、撮像評価値の例として、ＡＦ評価値を用いて説明したが、その他の撮像評価値、例えば、ＷＢ評価値(ホワイトバランスデータ)や、ＡＥ評価値(露出制御データ)についても同様な構成で最適な評価値を検出することが可能である。ＷＢ評価値やＡＥ評価値においても、ステップＳ５０７のシーン判別の結果に従って、撮像評価値検出用画像およびライビュー用画像のいずれかから評価値を検出するかを切り替える。これにより、ＷＢやＡＥ評価値検出のタイムラグと精度の最適化を行うことが可能となる。

＜第２の実施形態＞
本発明の第１の実施例では、露出量の情報のみで撮影シーンを判別し、その結果に従って、ＡＦ評価値ＡＦ評価値画像またはライブビュー画像のいずれかから検出する構成を説明した。本実施例では、露出量の情報のみではなく、顔情報や、輝度情報、色情報などに基づいて撮影シーンを判別することでさらに精度よく撮像評価値を検出する構成をする。以下、本発明の第２の実施例に係る撮像装置について、図６乃至８を参照して説明する。なお、図において第１の実施例と同様の部分は、同じ符号を付して示し、その説明を省略する。

図６は、本実施例に係る撮像装置のブロック図である。第１の実施例と異なるのは、顔情報検出部６０１、輝度情報検出部６０２、色情報検出部６０３を備えることであり、その他の構成は同様である。

顔情報検出部６０１は、イメージセンサ１０２から出力された画像信号に対して顔検出処理を行い、フレーム画像に映り込んだ人物や動物（ペットなど）の顔を検出し、検出した顔の領域を顔情報としてシーン判別部１０７に出力する。

輝度情報検出部６０２は、画像信号処部１０３か出力された画像データ画像に対して輝度検出処理を行い、画像フレーム画像を複数の領域に分割し、各領域における平均輝度を求める。輝度情報検出部６０２は、これらの平均輝度を用いて、例えば、フレーム画像の中心部とその周辺部との輝度差や中心輝度値などの輝度情報を求める。輝度情報検出部６０２で検出された輝度情報は、シーン判別部１０７に出力される。

色情報検出部６０３は、画像信号処理１０３から出力された画像データ画像に対して色検出処理を行い、平均彩度、高彩度領域の面積などの色情報を検出する。色情報検出部６０３で検出された色情報は、シーン判別部１０７に出力される。

シーン判別部１０７は、顔情報検出部６０１、輝度情報検出部６０２、及び色情報検出部６０３から入力された各情報に基づいて、信号処理部１０３で処理された画像データ画像から撮影シーンの背景や撮影シーンの被写体を判別する。なお、顔情報検出部６０１、輝度情報検出部６０２、及び色情報検出部６０３から送られてきた各情報は、シーン判別部１０７により一時的に保存され、随時更新される。

次に、本実施例に係る撮像装置における撮影シーンの判別動作について説明する。
シーン判別部１０７は、イメージセンサ１０２から出力されるライブビューの画像信号に対し、輝度検出部６０２にて検出された輝度情報と色検出部６０３にて検出された色情報を用いて、撮影シーンの背景を判別する。さらに、顔検出部６０１にて検出された顔情報を用いて、撮影シーンにおける被写体を判別する。

まず、撮影シーンの背景を判別する場合について説明する。
シーン判別部１０７は、輝度検出部６０２にて検出された輝度情報と色検出部６０３にて検出された色情報を解析し、画像上の青空色の領域の面積が閾値以上かどうかを判定する。シーン判別部１０７は、青空色の領域の面積が閾値以上ならば、撮影シーンの背景は青空であると判定する。また、シーン判別部１０７は、輝度検出部６０２からの輝度情報と色検出部６０３からの色情報を解析する。その結果、シーン判別部１０７は、画像上の輝度が所定のヒストグラム分布や分散の条件を満たすと判定した場合に、撮影シーンの背景は夜景であると判定する。例えば、夜景等の暗部の場合の画像上の輝度は、低輝度部が大部分を占め、且つ高輝度部が単発的に発生している状態である。また、シーン判別部１０７は、輝度検出部６０２からの輝度情報と色検出部６０３からの色情報を解析し、画像上の平均彩度、高彩度の領域の面積が共に閾値以上かどうかを判定し、閾値以上であれば、撮影シーンが鮮やかなシーンであると判定する。

次に、撮影シーンにおける被写体を判別する動作について説明する。
シーン判別部１０７は、顔検出部６０１からの顔情報を解析し、画像信号から顔が検出されていた場合には、撮影シーンにおける被写体が人物であると判定する。
シーン判別部１０７は、上述したようにシーンの背景と被写体の両方を判定し、これらの判定結果を組み合わせて、１つの判定結果をシステム制御部１０７に出力する。

次に、本実施例に係る撮像装置のＡＦ評価モードでの動作を、図９のフローチャートを用いて詳細を説明する。なお、本実施例の詳細な動作を説明するために、ライビュー画像から検出される顔情報検出値をＸｌ、輝度情報検出値をＹｌ、色情報検出値をＺｌとし、第１の実施例と異なる動作についてのみ説明する。

シーン判別部１０７は、検出された各情報の検出値とそれぞれの期待値、顔情報Ｘ、輝度情報Ｙ、色情報Ｚを比較し、図８に示すように、ＡＦ評価値ＡＦ＿Ｋα又はＡＦ＿Ｋβを選択する。この結果に従って、ステップＳ７０２での分岐を決定する。

ステップＳ７０１では、取得されたライブビュー用画像に対して顔検出部６０１、輝度検出部６０２、色検出部６０３によって、顔情報Ｘｌ、輝度情報Ｙｌ、色情報Ｚｌの検出を行う。Ｓ７０２では、シーン判別部１０７によってＳ７０１で撮像評価値検出用画像およびライブビュー用画像から検出された各情報値から、図８の表に示すようにて次の撮影に反映するための撮像評価値を決定する。

例えば、一つの例として各情報値の関係が下記に示すような場合は、
顔情報値：Ｘｌ＞Ｘ
輝度情報値：Ｙｌ＞Ｙ
色情報値：Ｚｌ＞Ｚ
ステップＳ７０２にて、ＡＦ評価値検出用撮像をスタートし（つまり、Ｙｅｓで分岐）、ステップＳ５０８へ進み、システム制御部１０８は変数ｎを１インクリメントする（ステップＳ５０９）。その後は第１の実施例と同様である。

また、他の例として各情報値の関係が下記に示すような場合は、
顔情報値：Ｘｌ≦Ｘｌ
輝度情報値：Ｙｌ≦Ｙ
色情報値：Ｚｌ≦Ｚ
ステップＳ７０２にて、ＡＦ評価値検出用撮像スタートせず（つまり、Ｎｏで分岐）、Ｓ５１６へ進みライブビュー用撮像画像からＡＦ評価値ＡＦ＿Ｋβを検出する。その後は第１の実施例と同様である。その他のシーン判別の場合分けは、図８に示すような関係に従う。

以上、本実施例は、ライブビュー用撮像と撮像評価値検出用撮像が１フレーム期間中に同時に可能な撮像素子を備えた撮像装置を前提としている。そして、輝度/色/顔情報に基づいた撮影シーンを判別の結果に従って、ＡＦ評価値を検出する画像を、ＡＦ評価値用画像またはライブビュー画像から選択する。これにより、明るい被写体撮影時ではＡＦ評価を行う際のタイムラグを短縮することができ、暗部に対してはＡＦ評価値の精度を向上することが可能となる。

また、本実施例では、シーン判別を行う際、撮像評価値検出用画像とライブビュー用画像それぞれから、顔情報、輝度情報、色情報を検出したが、それらに限定されるわけではない。第１の本実施例で記載した感度を検出し、その結果もシーン判別の一つの因子とすることで、さらなるＡＦ評価値の検出タイムラグ、検出速度の最適化が可能となる。

また、本実施例では、シーン判別を行う際に必要な情報である顔情報、輝度情報、色情報の少なくとも２つが大きな情報値である場合の撮像画像から撮像評価値を決定したが、これに限定するわけではない。撮像評価値によって各情報値に重みを付けて比較を行ってもよい。

＜第３の実施形態＞
次に、本発明の第３の実施例を説明する。本実施例は、撮像評価値検出部１０６を、イメージセンサ１０２の外部ではなく、内部、例えば図２(ａ)の第２のチップ２１の画素駆動回路内に形成した構成である。

図９は、撮像評価値検出部を組み込んだイメージセンサ１０２の構成図である。同図において、図２と同様の部分は同じ符号を付して示す。

図において、９０１は、撮像評価値、例えばＡＦ評価値（オートフォーカスデータ）を検出し、検出した評価値のみをシステム制御部１０６に出力する撮像評価値検出部である。撮像評価値検出部９０１は、システム制御部１０８が撮像素子１０２で得られる画像信号から得られるコントラスト情報および位相差情報に基づいて制御するタイミングに従って動作する。

スイッチ９０２、９０３はシステム制御部１０８によって制御され、撮像評価値を検出する際、シーン判別部１０７の判別結果に基づいて、撮像評価値検出用の画像信号とライブビュー用の画像信号のどちらを撮像評価値検出部９０１に選択的に入力するかを切り替える。スイッチ９０２は、図３で図示した、撮像評価値用に対応する画素の信号を、信号処理部１０３または、撮像評価値検出部９０１に出力するか選択するスイッチである。また、スイッチ９０３は、図３で図示した、ライブビュー用選択行に対応する画素信号を撮像評価値に使用する際にＯＮするスイッチである。

図９のイメージセンサを第１の実施例に係る撮像装置で使用したときの、当該イメージセンサの動作を図５のフローチャートを用いて説明する。

ステップＳ５０３で、ＡＦ動作が開始される。第１の実施例で説明したように、ステップＳ５０７においてライブビューの露光量Ｅｖが、（１）式を満たす（ＹＥＳ）場合、ステップＳ５０８に進み、ＡＦ評価値検出用の撮像がスタートする。このとき、スイッチ９０２は撮像評価値検出部９０１側に接続され、スイッチ９０３はＯＦＦにされる。

ＡＦ評価用撮像を開始した後、システム制御部１０８は変数ｎを１だけインクリメントする（ステップＳ５０９）。そして、撮像評価値検出部９０１は、ＡＦ評価値用画像からＡＦ評価値ＡＦ＿Ｋαを検出する。

ステップＳ５０７においてライブビューの露光量Ｅｖが、（１）式を満たさない（Ｎｏ）の場合、Ｓ５１６へ進む。Ｓ５１６では、スイッチ９０３がＯＮにされ、撮像評価値検出部９０１は、ライブビュー用の画像信号からＡＦ評価値ＡＦ＿Ｋβを検出する。このとき、スイッチ９０２は、信号処理部１０４側へ接続されているが、ＡＦ評価値用の動作は行っていないため、信号処理部への画素信号は出力されない。また、撮像評価値検出部９０１は、システム制御部１０８へ、ＡＦ評価値のみを転送するため、第１の実施例と比較して外部への転送データ量を削減でき、消費電力の削減が可能となる。以後の動作は、第１の実施の動作と同様なため、説明は省略する。なお、第２の実施例に係る撮像装置に図９のイメージセンサを用いた場合も、同様の動作となる。

上述した第３の実施例では、撮像評価値をイメージセンサ内に構成することで、第１および第２の実形例において撮像評価値検出時のデータの転送量を削減できるので、消費電力を低減させることが可能となる。

以上、本発明の実施の形態を第１乃至第３の実施例に基づいて説明したが、本発明は、これらの実施例に限定されるものではなく、この発明の要旨を逸脱しない範囲での様々な形態も本発明に含まれる。

例えば、上記の実施の形態の機能の制御方法として、撮像装置に制御部が当該装置の各部を制御してその機能を実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとし、当該制御プログラムを撮像装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記憶媒体に記録される。上記の制御方法および制御プログラムの各々は、少なくとも制御ステップおよび表示制御ステップを有している。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上記実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種の記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。

Claims (17)

1. 撮影光学系によって形成される被写体の光学像を光電変換して画像信号を生成する画素がマトリックス状に複数配列された画素部を有する第１の素子部と、前記画素部から画像信号を読み出す読み出し手段が配設された第２の素子部とを備え、前記読み出し手段が、前記画素部の第１の画素群から画像信号を読み出す第１の読み出し手段と、前記画素部の前記第１の画素群とは配置される行が異なる第２の画素群から画像信号を読み出す第２の読み出し手段とを有する撮像素子と、
   前記撮像素子が出力する画像信号から、前記光学像の撮像における露光量を判定する撮像条件判定手段と、
   前記第１の読み出し手段で前記第１の画素群から読み出される画像信号または前記第２の読み出し手段で前記第２の画素群から読み出される画像信号から前記光学像の撮像に関する撮像評価値を検出する撮像評価値検出手段と、
   前記読み出し手段を制御するとともに、前記第１の画素群から読み出される画像信号および前記第２の画素群から読み出される画像信号のうちのいずれかから前記光学像の撮像に関する撮像評価値を前記撮像評価値検出手段により検出するかを前記撮像条件判定手段による前記露光量の判定結果に応じて切り替えるように制御する制御手段と、
   を備えることを特徴とする撮像装置。
2. 前記撮像条件判定手段は、前記露光量を所定の露光量と比較して判定することを特徴とする請求項１に記載の撮像装置。
3. 前記撮像条件判定手段は、前記撮像素子から出力される画像信号に関する輝度情報を検出する輝度情報検出手段と、前記撮像素子から出力される画像信号に関する色情報を検出する色情報検出手段と、前記撮像素子から出力される画像信号に基づいて、撮影された人物の顔情報を検出する顔情報検出手段とを有し、前記輝度情報、色情報及び顔情報を判定した結果の組み合わせに従って、前記露光量を判定することを特徴とする請求項１又は２に記載の撮像装置。
4. 前記制御手段は、前記露光量の判定結果に応じて、前記第１の読み出し手段および前記第２の読み出し手段の少なくとも一つを所定のフレームレートで駆動することを特徴とする請求項１乃至３のいずれか一項に記載の撮像装置。
5. 前記２の画素群から読み出される画素信号のフレームレートは、前記第１の画素群から読み出され画素信号のフレームレートよりも遅いことを特徴とする請求項４に記載の撮像装置。
6. 前記撮像評価値検出手段は、オートフォーカスデータ、露出制御データ、ホワイトバランスデータの少なくとも一つを検出することを特徴とする請求項４又は５に記載の撮像装置。
7. 前記制御手段はさらに、前記撮像評価値検出手段で検出された撮像評価値に従って、前記撮影光学系の駆動を制御することを特徴とする請求項６に記載の撮像装置。
8. 前記制御手段はさらに、前記撮像評価値検出手段で検出された撮像評価値に従って、前記撮影光学系の露出を制御することを特徴とする請求項６又は７に記載の撮像装置。
9. 前記制御手段は、前記撮像評価値検出手段で検出された撮像評価値に従って、前記画像信号のホワイトバランスを制御することを特徴とする請求項６乃至８のいずれか一項に記載の撮像装置。
10. 前記撮像評価値検出手段は、前記第２の素子部に配設され、
    前記第２の素子部は、前記第１の読み出し手段と前記第２の読み出し手段とから読み出される画像信号を前記撮像評価値検出手段に選択的に入力するためのスイッチと、前記画像信号をデジタル信号に変換する変換手段とをさらに有することを特徴とする請求項４乃至９のいずれか一項に記載の撮像装置。
11. 前記制御手段は、前記露光量の判定結果に従って、前記スイッチを切り替えることを特徴とする請求項１０に記載の撮像装置。
12. 前記第１の素子部と前記第２の素子部とは積層され、前記第１の素子部が前記光学像を受光する側に位置していることを特徴とする請求項１乃至１１のいずれか一項に記載の撮像装置。
13. 撮影光学系によって形成される被写体の光学像を光電変換して画像信号を生成する画素がマトリックス状に複数配列された画素部を有する第１の素子部と、前記画素部から画像信号を読み出す読み出し手段が配設された第２の素子部とを備え、前記読み出し手段が、前記画素部の第１の画素群から画像信号を読み出す第１の読み出し手段と、前記画素部の前記第１の画素群とは配置される行が異なる第２の画素群から画像信号を読み出す第２の読み出し手段とを有する撮像素子を備える撮像装置の制御方法であって、
    前記撮像素子から出力される画像信号から、前記光学像の撮像における露光量を判定する撮像条件判定ステップと、
    前記第１の読み出し手段で前記第１の画素群から読み出される画像信号または前記第２の読み出し手段で前記第２の画素群から読み出される画像信号から前記光学像の撮像に関する撮像評価値を検出する撮像評価値検出ステップであって、前記第１の画素群から読み出される画像信号および前記第２の画素群から読み出される画像信号のうちのいずれから前記光学像の撮像に関する撮像評価値を検出するかが前記撮像条件判定ステップにおける前記露光量の判定結果に応じて切り替えられる撮像評価値検出ステップと、
    を備えることを特徴とする制御方法。
14. 請求項１３の制御方法をコンピュータに実行させるためのプログラム。
15. 請求項１４のプログラムを記録したコンピュータが読み取り可能な記憶媒体。
16. コンピュータを、請求項１乃至１２のいずれか一項に記載された撮像装置の各手段として機能させるプログラム。
17. コンピュータを、請求項１乃至１２のいずれか一項に記載された撮像装置の各手段として機能させるプログラムを記録した記憶媒体。

Images