JP2011018989A - 撮像装置、画像選択方法、及び、プログラム - Google Patents

Abstract

【課題】シャッタータイムラグを考慮した画像を確実に記録できるだけでなく、被写体の状態をも評価した最良な画像を得ることができるようにすることを目的とすること。
【解決手段】デジタルカメラのＣＰＵ５は、固体撮像素子１３が連続して撮像しているライブビュー処理（ステップＳ１）の状態において、シャッターボタンの全押し操作を検出すると（ステップＳ２）、この検出されたタイミングや半押し操作検出時のタイミングでフレーム画像データの蓄積を開始する（ステップＳ６）。そして蓄積されたフレーム画像データの縮小輝度画像データについて顔検出、目検出、瞬き検出による被写体の評価やタイムラグ補正値を考慮して、前記蓄積された複数のフレーム画像データの中から特定のフレーム画像データを選択する（ステップＳ９）。
【選択図】図３

Description

本発明は、撮像装置、画像選択方法、及び、プログラムに関する。

従来より、ユーザのシャッターボタン操作を検知して被写体を撮影するケースにおいては、ユーザがシャッターチャンスと認識した瞬間と、ユーザがシャッターチャンスと認識してシャッターボタンを操作する時間との間に差が生じることから（これをシャッタータイムラグという）、シャッターチャンスを逃し易いという本質的な問題があった。

このような問題を解消するために、シャッターボタンの半押し検出で連写を開始し、連写開始から所定の時間が経過するまでは長い連写間隔で連写撮影を継続し、所定の時間の経過後は短い連写間隔で連続撮影を継続するデジタルカメラが知られている（特許文献１参照）。また、シャッタータイムラグの時間を計測して連写を行い、ユーザがシャッターボタンを押した時に、シャッターボタンを押した時間から事前に計測したシャッタータイムラグ時間を差し引いた時間に撮影された一枚を出力することで、決定的瞬間の一枚を出力することができるデジタルカメラが知られている（特許文献２参照）。

特開２００８−１９９４７６号公報 特開２００２−２７１６７３号公報

しかしながら、特許文献１に記載のデジタルカメラでは、決定的瞬間を撮影できる可能性はあるものの、大量に撮影された連写画像の中から、一枚の決定的瞬間の画像を選択するのが煩わしいという問題があった。

また、特許文献２に記載のデジタルカメラでは、シャッターチャンスを捉える目的から考えれば最良の撮像画像を記録することができるが、撮像画像における被写体の状態が最良であるとは限らないため、結果として、被写体にとってベストな画像が得ることはできない可能性もあった。

本発明は、上述の従来の課題に鑑みてなされたものであり、シャッタータイムラグを考慮した画像を確実に記録できるだけでなく、被写体の状態をも評価した最良な画像を得ることができるようにすることを目的とする。

請求項１に記載の発明に係る撮像装置は、撮像手段と、この撮像手段に連続して撮像するよう制御する連続撮像制御手段と、前記撮像手段によって撮像される画像の記録指示を検出する記録指示検出手段と、この記録指示検出手段により記録指示が検出されたタイミングに基づいて、前記連続撮像制御手段により撮像された複数の画像データを蓄積する蓄積手段と、この蓄積手段により蓄積された複数の画像データに含まれる被写体の撮像状態を評価する評価手段と、タイムラグ補正値を取得するタイムラグ補正値取得手段と、このタイムラグ補正値取得手段により取得されたタイムラグ補正値及び前記評価手段による評価に基づいて、前記蓄積手段により蓄積された複数の画像データの中から特定の画像データを選択する選択手段と、を備えたことを特徴とする。

請求項２に記載の発明に係る撮像装置は、前記蓄積手段により蓄積された複数の画像データから前記被写体に含まれる人の顔を検出する顔検出手段と、前記顔検出手段により検出された人の顔から目を検出する目検出手段と、前記目検出手段により検出された目の瞬き度合いを検出する瞬き検出手段と、を更に備え、前記評価手段は、前記瞬き検出手段により検出された瞬き度合いに基づいて、前記被写体の撮像状態として人の顔の撮像状態を評価することを特徴とする。

請求項３に記載の発明に係る撮像装置は、前記蓄積手段は、前記記録指示検出手段により記録指示が検出されたタイミングの前後、タイミング以前、又は、タイミング以後の少なくとも何れかにより、複数の画像データの蓄積を開始することを特徴とする。

請求項４に記載の発明に係る撮像装置は、前記選択手段により選択された画像データの表示を制御する表示制御手段を更に備えたことを特徴とする。

請求項５に記載の発明に係る撮像装置は、前記選択手段により選択された画像データを記録する記録手段を更に備えたことを特徴とする。

請求項６に記載の発明に係る撮像方法は、撮像部に対し連続して撮像するよう制御する連続撮像制御ステップと、前記撮像部にて撮像される画像の記録指示を検出する記録指示検出ステップと、この記録指示検出ステップにて記録指示が検出されたタイミングに基づいて、前記連続撮像制御ステップにて撮像された複数の画像データを所定のメモリに蓄積する蓄積ステップと、この蓄積ステップにて蓄積された複数の画像データに含まれる被写体の撮像状態を評価する評価ステップと、タイムラグ補正値を取得するタイムラグ補正値取得ステップと、このタイムラグ補正値取得ステップにて取得されたタイムラグ補正値及び前記評価ステップにおける評価に基づいて、前記蓄積ステップにて蓄積された複数の画像データの中から特定の画像データを選択する選択ステップと、を含むことを特徴とする。

請求項７に記載の発明に係る撮像プログラムは、撮像装置が備えるコンピュータを、
連続して撮像するよう制御する連続撮像制御手段、撮像される画像の記録指示を検出する記録指示検出手段、記録指示検出手段によって記録指示が検出されたタイミングに基づいて、前記連続撮像制御手段によって撮像された複数の画像データを所定のメモリに蓄積する蓄積手段、この蓄積手段によって蓄積された複数の画像データに含まれる被写体の撮像状態を評価する評価手段、タイムラグ補正値を取得するタイムラグ補正値取得手段、このタイムラグ補正値取得手段によって取得されたタイムラグ補正値及び前記評価手段による評価に基づいて、前記蓄積手段によって蓄積された複数の画像データの中から特定の画像データを選択する選択手段、として機能させることを特徴とする。

本発明によれば、シャッタータイムラグを考慮してシャッターチャンス画像を確実に撮像するだけでなく、被写体の状態を評価して、被写体にとってベストな画像を得ることができる。

本発明の実施の形態に係るデジタルカメラのブロック図である。 本発明の実施の形態に係るタイムラグ補正処理を説明するフローチャートである。 本発明の実施の形態に係る選択処理を説明するフローチャートである。 本発明の実施の形態に係るタイムラグ補正計測処理を説明するフローチャートである。 本発明の実施の形態に係るタイムラグ補正計測処理を説明する図である。 本発明の実施の形態に係るタイムラグ補正計測処理を説明する図である。 本発明の実施の形態に係るタイムラグ補正計測処理を説明する図である。 本発明の実施の形態に係る選択処理を説明する図である。

以下、本発明の実施の形態を図面に基づいて説明する。
図１は、本発明の実施の形態に係るデジタルカメラ１のブロック図である。このデジタルカメラ１は、撮像系２、メモリカード３、バス４、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）６、画像表示部７、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）８、キー入力部９、検出部１７等を有し、撮像系２において所定のフレームレート（例えば、１０００ｆｐｓ）で連続して撮像して取得した複数のフレーム画像データをＲＡＭ６に一時的に記憶する。

撮像系２は、レンズ駆動ブロック１０、レンズ１１、絞り１２、固体撮像素子１３、ドライバ１４、タイミングジェネレータ（ＴＧ：Ｔｉｍｉｎｇ Ｇｅｎｅｒａｔｏｒ）１５、信号処理部１６等を有する。

レンズ駆動ブロック１０は、バス４を介したＣＰＵ５の制御により、レンズ１１のフォーカス、倍率、絞り１２を変化させる。レンズ１１は、絞り１２を介して固体撮像素子１３の撮像面に入射光を集光し、被写体の光学像を固体撮像素子１３の撮像面に形成する。

固体撮像素子１３は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像素子でもよい。固体撮像素子１３は、ドライバ１４から出力される各種駆動信号に従って動作し、撮像面に形成された光学像の撮像を撮像信号として出力する。固体撮像素子１３が撮像するフレームレート、電荷蓄積時間等はＣＰＵ５が制御する。撮像系２においてドライバ１４は、タイミングジェネレータ１５から出力される各種タイミング信号に従って固体撮像素子１３の駆動信号を生成する。ＣＰＵ５はバス４を介してタイミングジェネレータ１５を制御する。したがって、ドライバ１４に出力するタイミング信号もＣＰＵ５によって制御される。

信号処理部１６は、固体撮像素子１３から出力される撮像信号を相関二重サンプリング処理（ＣＤＳ：Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）した後、自動利得調整（ＡＧＣ：Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）、アナログデジタル変換処理（ＡＤ：Ａｎａｌｏｇ ｔｏ Ｄｉｇｉｔａｌ ｃｏｎｖｅｒｔｅｒ）し、撮像したフレーム画像データをバス４に出力する。

ＲＡＭ６は、固体撮像素子１３により撮像された後、ＣＰＵ５によって送られてきたフレーム画像データを一時記憶するバッファメモリとして使用されるとともに、検出部１７、ＣＰＵ５によって処理されるデータ等を一時的に記憶するワーキングメモリとして使用される。

検出部１７は、顔検出部１８、目検出部１９、及び瞬き検出部２０によって構成される。また、検出部１７は、複数のフレーム画像データの縮小輝度画像データから被写体を検出する機能も有する。

顔検出部１８は、画像データを構成する複数のフレーム画像データの各々の縮小輝度画像データから所定の顔検出方法を用いて人の顔を検出する。具体的には、顔検出部１８は、ＲＡＭ６に一時的に記憶された縮小輝度画像データに基づいて、各フレーム画像データから顔画像領域を検出し、検出した顔画像領域内の画像情報を顔枠情報として生成する。なお、顔検出処理は、公知の技術であるので、ここでは詳細な説明を省略する。

また、顔検出部１８により顔が検出されなかったフレーム画像データについては、前後のフレーム画像データのうち、最も直近において顔検出された顔画像領域の座標を元に顔検出されなかったフレーム画像データにて顔枠情報を設定する。つまり、連写撮影は撮像間隔が極めて短時間であることから、何れかの一のフレーム画像データから顔が検出された場合には、その前後のフレーム画像データにも人の顔が存在しているとみなすことができ、顔が検出されたフレーム画像データの顔画像領域の座標（例えば、矩形枠の四隅の座標）を利用して、顔が検出されなかったフレーム画像データにおいても顔枠情報を設定する。

目検出部１９は、顔検出部１８によって生成された各フレーム画像データの顔枠情報に基づいて、人の顔の目を検出する。具体的には、目検出部１９は、各フレーム画像データの顔枠情報に基づいて、各フレーム画像データの全ての人の左右両目を検出して、その中心座標を算出する。なお、目検出処理は、公知の技術であるので、ここでは詳細な説明を省略する。

また、目検出部１９は、信頼度算出部１９ａと、有効性判定部１９ｂとを具備している。信頼度算出部１９ａは、目検出部１９による目の検出に係る検出信頼度を算出する。具体的には、信頼度算出部１９ａは、例えば、顔検出枠が不適切である場合や顔が横を向いている場合等に信頼度を低下させるように調整された検出信頼度を算出する。

有効性判定部１９ｂは、信頼度算出部１９ａにより算出された検出信頼度が所定の閾値以下であるか否かに応じて当該信頼度に係る目が検出された顔の有効性を判定する。そして、有効性判定部１９ｂは、検出信頼度が所定の閾値以下である場合には、当該目検出に係る顔をＮＧ判定として、目検出が有効でない顔とすることで、後述の瞬き検出部２０における瞬き検出において利用されないようにする。一方、有効性判定部１９ｂは、検出信頼度が所定の閾値よりも大きい場合には、当該目検出に係る顔をＯＫ判定として、目検出が有効である顔とすることで、その後の瞬き検出部２０における瞬き検出において利用する。

瞬き検出部２０は、目検出部１９により検出された目の瞬き度合いを検出する。具体的には、瞬き検出部２０は、連続撮影により生成された全てのフレーム画像データの縮小輝度画像データについて、有効性判定部１９ｂにより有効であると判定された人の顔の左右両目の座標情報に基づいて、縮小輝度画像内での目の瞬き度合いを探索して、目の瞬き度合いに応じて瞬き評価値を算出する。瞬き評価値は、値が大きい程目が開いていることを表すものとする。ここで、瞬き検出部２０は、目検出部１９により検出された目の瞬き度合いを検出する瞬き検出手段を構成している。

画像表示部７は、液晶表示パネル等により構成される表示部であり、再生時、ＣＰＵ５の制御により、メモリカード３からバス４を介してフレーム画像データを取得して表示する。画像表示部７は、撮像時にも同様に、ＣＰＵ５の制御により、ＲＡＭ６からバス４を介してフレーム画像データを取得して表示する。

ＣＰＵ５は、本実施の形態のデジタルカメラ１の動作を制御するコントローラであり、ＲＯＭ８に格納したプログラムを実行して、キー入力部９で検出されるユーザの操作に応動して、本実施の形態のデジタルカメラ１の各部の動作の制御を行う。

なお、本実施の形態では、ＣＰＵ５により実行される下記処理が記述されたプログラムは、ＲＯＭ８に事前に格納されて提供されるものとして説明するが、本発明はこれに限定されない。例えば、このプログラムをメモリカード等の記録媒体に記録して提供するようにしてもよく、ネットワークを介したダウンロードにより提供するようにしてもよい。

キー入力部９は、半押し全押し可能なシャッターボタン、電源オンオフキー、モード切替キー、十字キー、ＳＥＴキー等の複数の操作キーを含み、ユーザのキー操作に応じた操作信号をＣＰＵ５に出力する。

ＣＰＵ５は、ユーザからメモリカード３に記録したフレーム画像データの再生の指示を受けると、ＣＰＵ５は、メモリカード３から対応するフレーム画像データを順次取得し、この画像データを伸張してＲＡＭ６に格納する。更に、ＣＰＵ５は、フレーム画像データをこのＲＡＭ６から画像表示部７に順次転送して画像表示部７に表示させる。こうして、ＣＰＵ５は、メモリカード３に記録したフレーム画像データから静止画像を再生して画像表示部７で表示させる。

また、ユーザから撮影の指示を受けると、ＣＰＵ５は、撮像系２を制御して取得したフレーム画像データを順次メモリカード３に格納する。また、ＣＰＵ５は、このフレーム画像データに対して、ガンマ補正処理、デモザイク処理、ホワイトバランス処理等を実行してメモリカード３に格納し直し、この格納し直した一連のフレーム画像データを順次画像表示部７に転送して表示させる。

＜タイムラグ補正処理＞
図２は、本発明の実施の形態のタイムラグ補正処理に係るＣＰＵ５の処理手順を示すフローチャートである。ＣＰＵ５は、ユーザのキー入力部９のモード切替キーの操作により静止画撮影モードが設定されると、所定のフレームレート（例えば、１０００ｆｐｓ）で固体撮像素子１３による撮像を開始させる。そして、固体撮像素子１３により順次撮像され、信号処理部１６により出力されたフレーム画像データをＲＡＭ６に記憶し、該記憶したフレーム画像データに対応する画像を画像表示部７に表示させる、いわゆるスルー画像表示を行うライブビュー処理を開始する（ステップＳ１）。

次に、ＣＰＵ５は、ユーザによってシャッターボタン等のキーが押されたか否かを判断する（ステップＳ２）。ＣＰＵ５は、キーが押されていないと判断したときには、ステップＳ１に戻り、キーが押されるまでステップＳ１のライブビュー処理を行い待機する。ＣＰＵ５は、キーが押されたと判断したときには、ユーザによるシャッターボタンの半押し操作を検出したか否かを判断する（ステップＳ３）。この判断は、シャッターボタンの半押し操作に対応する操作信号がキー入力部９から送られてきたか否かにより判断する。このとき、ユーザがまもなくシャッターチャンスが到来するであろうと思う場合に、シャッターボタンの半押し操作を行う。

ＣＰＵ５は、ユーザによるシャッターボタンの半押し操作を検出したと判断したときには、その他の処理を行う（ステップＳ４）。その他の処理としては、フレームレート（連写速度）の変更や、撮影シーンの変更処理等である。

このとき、ユーザによってフレームレート設定キーが操作され、フレームレート設定キーの操作に対応する操作信号がキー入力部９から送られてきたときには、ＣＰＵ５は、現在のフレームレートを設定されたフレームレートに変更する。このフレームレートの種別としては、例えば、１５ｆｐｓ、３０ｆｐｓ、６０ｆｐｓ、１０００ｆｐｓ等がある。また、このとき、ユーザによって撮影シーン設定キーが操作され、撮影シーン設定キーに対応する操作信号がキー入力部９から送られてきたときには、ＣＰＵ５は、現在の撮影シーンを設定された撮影シーンに変更する。ユーザが現在の被写体の状況に最も適した撮影シーンの撮影条件で被写体を撮影したい場合には撮影シーン設定モードキーを操作することにより、撮影条件を変更することができる。この撮影シーンとしては、「人物を写す」、「風景を写す」、「子供を写す」、「スポーツを写す」等の複数の撮影シーンがあり、該各撮影シーンに対応する撮影条件も記録されている。ＣＰＵ５は、半押し操作を検出したと判断したときは、フォーカス処理及び露出計測処理を行う（ステップＳ５）。なお、このとき、ＣＰＵ５により被写体の動きが判断されている場合には、被写体が予測される場合と判定し、被写体の動きが判断されていない場合には、被写体が予測できない場合と判定する。

次に、ＣＰＵ５は、後述のタイムラグ補正値を加味したフレーム画像データの蓄積を開始する（ステップＳ６）。タイムラグ補正値とは、ユーザが視覚によって計測用被写体１０１を認識してから、シャッターボタンの全押しするまでの所定の時間値（期間）のことをいう。このタイムラグ補正値を予め取得することで、ユーザのシャッタータイムラグを補正することができる。このタイムラグ補正値は、ステップＳ５において、被写体の動きが判断された場合には、被写体の動きが予測された撮影状況のタイムラグ補正値を加味してフレーム画像データの蓄積を開始し、被写体の動きが判断されなかった場合には、被写体の動きが予測できない撮影状況でのタイムラグ補正値を加味してフレーム画像データの蓄積を開始する。この蓄積処理とは、バッファメモリであるＲＡＭ６の空き容量がなくなるまで撮像されたフレーム画像データを順次蓄積させていき、バッファメモリの空き容量がなくなると、新たに撮像されたフレーム画像データをバッファメモリに記憶されている複数のフレーム画像データのうち一番古いフレーム画像データの上に上書きしていくことをいう。そしてこの蓄積処理は、シャッターボタンの解放を検出するか、又は、シャッターボタンの全押し操作を検出するまで継続して行われる。これにより、直近に撮像されたフレーム画像データから一定時間前までのフレーム画像データが蓄積されていることになる。なお、この際、フレーム画像データとともに対応する縮小輝度画像データを逐次生成してバッファメモリに順次記憶させて蓄積させ、バッファメモリの空き容量がなくなると、新たに生成された縮小輝度画像データを、バッファメモリに記憶されている複数の縮小輝度画像データのうち一番古い縮小輝度画像データの上に上書きしていく。

次に、ＣＰＵ５は、シャッターボタンが解放された（ユーザが手を離した）か否かを判断する（ステップＳ７）。シャッターボタンが解放されたと判断したときには、ステップＳ６の蓄積処理を終了し、ステップＳ１のライブビュー処理に戻る。一方で、シャッターボタンが解放されていない判断したときには、ユーザによるシャッターボタンの全押し操作（記録指示）が検出されたか否かを判断する（ステップＳ８）。

ＣＰＵ５は、シャッターボタンの全押し操作を検出していないと判断したときには、ステップＳ５に戻り、シャッターボタンの全押し操作が検出されるまでステップＳ５〜ステップＳ８の処理を繰り返し行う。

一方、ＣＰＵ５は、シャッターボタンの全押し操作が検出されたと判断したときには、後述の図３を参照して説明する選択処理を行う（ステップＳ９）。この選択処理では、後述の図４を参照して説明するタイムラグ補正計測処理において計測されたタイムラグ補正値及び被写体の瞬き度合いに基づいて、タイムラグ補正値付近の複数の縮小輝度画像データから最良の画像として、被写体の目がつぶっていない輝度縮小画像データに対応するフレーム画像データを選択する処理が行われる。この処理が終了すると、タイムラグ補正処理を終了する。

＜選択処理＞
図３は、本発明の実施の形態の選択処理に係るＣＰＵ５の処理手順を示すフローチャートである。まず、ＣＰＵ５は、顔検出部１８に、各フレーム画像データの縮小輝度画像データから所定の顔検出方法を用いて人の顔を検出させ、検出された顔画像領域内の画像情報を顔情報として生成する（ステップＳ１１）。

次に、ＣＰＵ５は、目検出部１９に、顔検出部１８により生成された顔枠情報に基づいて、人の左右両目を検出させて、その中心座標を算出させるとともに、目検出部１９の信頼度算出部１９ａに、当該目検出に係る検出信頼度を算出させる（ステップＳ１２）。

次に、ＣＰＵ５は、目検出部１９の有効性判定部１９ｂに、信頼度算出部１９ａにより算出された検出信頼度が所定の閾値以下であるか否かに応じて当該信頼度に係る目が検出された顔の有効性を判定させる（ステップＳ１３）。具体的には、有効性判定部１９ｂは、検出信頼度が所定の閾値以下である場合には、当該目検出に係る顔をＮＧ判定として、目検出が有効でない顔とする一方で、検出信頼度が所定の閾値よりも大きい場合には、当該目検出に係る顔をＯＫ判定として、目検出が有効であると顔とする。

次に、ＣＰＵ５は、有効性判定部１９ｂによりＯＫ判定とされた人の顔の左右両目の座標情報に基づいて、縮小輝度画像データ内での目の瞬き度合いを探索して、目の瞬き度合いに応じて瞬き評価値を算出する（ステップＳ１４）。

次に、ＣＰＵ５は、タイムラグ補正値付近のフレーム画像データから、瞬き評価値に基づき対象となるフレーム画像データを選択する（ステップＳ１５）。この処理では、タイムラグ補正値に基づいて決定した複数のフレーム画像データの中から、ステップＳ１４において算出された瞬き評価値の大きいフレーム画像データを選択する処理が行われる。具体的には、図８を参照して後述する。

次に、ＣＰＵ５は、ステップＳ１５において選択されたフレーム画像データをメモリカード３に記録する（ステップＳ１６）。次に、ＣＰＵ５は、選択されたフレーム画像データを画像表示部７において表示する（ステップＳ１７）。この処理が終了すると、選択処理を終了する。

＜タイムラグ補正計測処理＞
図４は、本発明の実施の形態のタイムラグ補正計測処理に係るＣＰＵ５の処理手順を示すフローチャートである。ＣＰＵ５は、ユーザのキー入力部９のモード切替キーの操作によりタイムラグ補正計測モードが設定されると、タイムラグ補正計測処理を開始する。ＣＰＵ５は、はじめに、計測カウンター初期化処理を行う（ステップＳ２１）。この処理では、ＲＡＭ６に記憶された計測カウンターを０に初期化して、タイムラグ補正値の計測を行う回数に応じた複数の値を計測カウンターにセットする。本実施の形態においては、タイムラグ補正値の計測を３回行うため、計測カウンターに３をセットする処理を行う。

次に、ＣＰＵ５は、ユーザによってシャッターボタン等が操作されたか否かを判断する（ステップＳ２２）。ＣＰＵ５は、操作されていないと判断したときには、ステップＳ２１に戻り、操作されるまでステップＳ２１の計測カウンター初期化処理を行い待機する。一方、ＣＰＵ５は、操作されたと判断したときには、更にシャッターボタンの半押し操作を検出したか否かを判断する（ステップＳ２３）。つまり、ユーザがタイムラグ補正値の計測を行う準備ができたときに、シャッターボタンの半押し操作を行う。

ＣＰＵ５は、上記の操作がシャッターボタンの半押し操作ではないと判断したときには、対応するその他の処理を行う（ステップＳ２４）。この「対応するその他の処理」としては、フレームレートの変更や、撮影シーンの変更処理等である。一方、ＣＰＵ５は、半押し操作を検出したと判断したときには、シャッターボタンが解放された（ユーザがシャッターボタンから手を離した）か否かを判断する（ステップＳ２５）。ＣＰＵ５は、シャッターボタンが解放されたと判断したときには、ステップＳ２２に戻り、再びキーの操作検出を待機する。

一方で、ＣＰＵ５は、シャッターボタンが解放されていないと判断したときには、タイムラグ補正値の計測を開始する（ステップＳ２６）。具体的には、計測カウンターに３がセットされているとき、すなわち、１回目のタイムラグ補正値の計測の場合には、図５に示すように、はじめに画像表示部７において何も表示されていない状態（図５Ａの状態）から計測用被写体１０１を表示（図５Ｂの状態）し、タイムラグ補正値の計測を開始する。この１回目のタイムラグ補正値の計測による計測結果は、被写体の動きが予測できない撮影状況でのタイムラグ補正値として計測される。

また、計測カウンターに２がセットされているとき、すなわち、２回目のタイムラグ補正値の計測の場合には、図６に示すように、はじめに、画像表示部７に計測用被写体１０１が自由運動するように表示（図６のＣの状態）してから、所定時間の経過後、画像表示部７の略中央に設けられた矩形の枠１０２内に計測用被写体１０１を表示（図６のＤの状態）し、タイムラグ補正値の計測を開始する。２回目のタイムラグ補正値の計測では、計測用被写体１０１が矩形の枠１０２内に表示されたタイミングで、シャッターボタンの全押し操作が検出されたか否かを判断する。この２回目のタイムラグ補正値の計測による計測結果は、被写体の動きが予測できない撮影状況でのタイムラグ補正値として計測される。

また、計測カウンターに１がセットされているとき、すなわち、３回目のタイムラグ補正値の計測の場合には、図７に示すように、はじめに、画像表示部７に計測用被写体１０１が上下左右に一定の法則をもって移動するように表示（図７のＥの状態）してから、所定時間の経過後、画像表示部７の略中央に設けられた矩形の枠１０２内に計測用被写体１０１を表示（図７のＦの状態）し、タイムラグ補正値の計測を開始する。３回目のタイムラグ補正値の計測では、計測用被写体１０１が矩形の枠１０２内に表示されたタイミングで、シャッターボタンの全押し操作が検出されたか否かを判断する。この３回目のタイムラグ補正値の計測による計測結果は、被写体の動きが予測できる撮影状況でのタイムラグ補正値として計測される。

次に、ＣＰＵ５は、上記の判断によりシャッターボタンの全押し操作が検出されたか否かを判断する（ステップＳ２７）。このとき、ユーザは画像表示部７に計測用被写体が表示されたと判断した時に、シャッターボタンを全押し操作する。

ＣＰＵ５は、全押し操作を検出していないと判断したときには、ステップＳ２５に戻り、全押し操作を検出するまでステップＳ２５〜ステップＳ２７の処理を繰り返し行う。一方、ＣＰＵ５は、全押し操作を検出したと判断したときには、計測処理を行う（ステップＳ２８）。この処理では、ステップＳ２６の処理において、タイムラグ補正値の計測を開始しユーザの視覚による認識からシャッターボタンを押すまでの時間をタイムラグ補正値として予め計測する処理が行われる。この処理は、計測カウンターの残数に応じて複数回行われる。ＣＰＵ５は、この計測処理を終了すると、計測カウンターから１減算する処理を行う。

次に、ＣＰＵ５は、計測カウンターから１減算した結果、計測カウンターは残り０であるか否かを判断する（ステップＳ２９）。ＣＰＵ５は、計測カウンターは残り０ではないと判断したときには、ステップＳ２２に戻り、計測カウンターの残数に応じて、２回目のタイムラグ補正値の計測又は３回目のタイムラグ補正値の計測を行う。

一方で、ＣＰＵ５は、計測カウンターから１減算した結果、計測カウンターは残り０であると判断したときには、計測集計処理を行う（ステップＳ３０）。この処理では、計測カウンター数分のデータを計測し、被写体の動きが予測される撮影状況（１回目、及び２回目のタイムラグ補正値の計測結果）と予測できない撮影状況（３回目のタイムラグ補正値の計測結果）とで２種類に分けてデータを平均値する。被写体の動きがタイムラグ補正処理内で監視できる場合には、被写体の動きが予測できる撮影状況でのタイムラグ補正値の平均値を用い、また、被写体の動きがタイムラグ補正処理内で監視できない場合には、被写体の動きが予測できない撮影状況でのタイムラグ補正値の平均値を用いることで、タイムラグ補正値の精度をより高めることができる。この処理が終了すると、タイムラグ補正計測処理を終了する。

次に、図８を参照して、本実施の形態における選択処理について詳述する。時間ｔ_１のときにユーザによるシャッターボタンの半押し操作を検出して撮影準備を行った場合、１０００ｆｐｓフレームレート、すなわち、０．００１秒に１フレームの速度でフレーム画像データの蓄積が開始される。この蓄積された複数のフレーム画像データは、順次ＲＡＭ６に記憶され蓄積されていく。

そして、シャッターボタンの全押し操作が検出された時間ｔ_２のとき、予め求められたタイムラグ補正値が０．０１秒である場合には、この時間ｔ_２からタイムラグ補正値である０．０１秒遡ったフレーム画像データが一時的に決定される。本実施の形態においては、時間ｔ_２からタイムラグ補正値である０．０１秒に相当する１０フレーム遡ったフレーム画像データａがタイムラグ補正値（０．０１秒）のみを勘案したフレーム画像データとなる。

そして、タイムラグ補正値のみを勘案したフレーム画像データａを含んだ前後１０フレーム（図８の図中ｂ）を取得する。そして、その１０フレームの中から、各フレーム画像データの縮小輝度画像データに基づいて、瞬き評価値の大きいフレーム画像データｃを選択する。本実施の形態においては、フレーム画像データｃの瞬き評価値が、フレーム画像データａの瞬き評価値よりも大きいので、ユーザがシャッターボタンを全押しした時間ｔ_２から遡って１０フレーム前のフレーム画像データａではなく、時間ｔ_２から遡って６フレーム前のフレーム画像データｃが選択される。

したがって、本実施の形態においては、タイムラグ補正値を予め測定し、タイムラグ補正値を加味した時間から遡ってフレーム画像データの蓄積処理をおこなうことにより、シャッタータイムラグを考慮した画像を確実に記録できるだけでなく、被写体の状態をも考慮した最良の画像を得ることができる。

また、選択された一枚の画像をメモリカード３に記憶することにより、ユーザが手動で大量のフレーム画像データから選択するよりも、確実に決定的瞬間が撮影されたフレーム画像データを選択することができる。

また、選択された一枚を画像表示部７に表示することにより、大量のフレーム画像データを表示するよりも、確実に決定的瞬間が撮影されたフレーム画像データを表示することができる。

以上、様々な実施の形態のデジタルカメラ１について説明した。なお、本実施の形態では、被写体の動きが予測される場合と、予測できない場合とのタイムラグ補正値を分けて平均値化したタイムラグ補正値を用いているがこれに限られない。例えば、複数のタイムラグ補正値を一つに集計して平均値として、全ての撮影状態におけるタイムラグ補正値としてもよい。

また、本実施の形態においては、瞬き検出部２０により検出された被写体の人の瞬き度合いに応じて選択処理を行っているがこれに限られない。例えば、目検出部１９で検出された顔の笑顔度合いにより選択処理を行ってもよい。具体的には、デジタルカメラ１の構成に笑顔検出部を備える。そして、この笑顔検出部は、目検出部１９により検出された目の位置情報に基づいて、当該目が検出された笑顔度合いを検出する。笑顔検出部は、連続撮影により生成された全てのフレーム画像データの縮小輝度画像データについて、有効性判定部１９ｂにより有効であると判定された人の顔の左右両目の座標情報に基づいて、縮小輝度画像内で口の一を探索して、口角が上がっている度合いに応じて笑顔値を算出する。このようにして算出された笑顔値の値が一番大きいフレーム画像データを最良のフレーム画像データとして、複数枚のフレーム画像データの中から選択するようにしてもよい。

また、本実施の形態においては、瞬き検出部２０により検出された被写体の人の瞬き度合いに応じて選択処理を行っているがこれに限られない。例えば、蓄積されたフレーム画像データの縮小輝度画像データのうち、有効性判定部１９ｂにより顔が有効であると判定された縮小輝度画像データの各々について、隣り合うものどうしのぶれ量により選択処理を行ってもよい。具体的には、デジタルカメラ１の構成にぶれ検出部を備える。そして、このぶれ検出部は、連写により生成された複数のフレーム画像データの縮小輝度画像データの各々について隣り合うものどうしのぶれ評価値（ぶれ量）を検出する。ぶれ検出部は、連写により生成された複数のフレーム画像データの縮小輝度画像データから顔検出処理にて人の顔が検出されなかった場合や、何れかの縮小輝度画像データから人の顔が検出されたが目検出が有効である顔数が０であった場合に、各縮小輝度画像データ（もしくは各フレーム画像データ）を所定の領域にブロック分割して、各ブロック毎に隣り合うものどうしの同一位置のブロックとの間で差分を算出し、その差分値が全ブロックの中で最大のものをぶれ評価値として算出する。このようにして算出されたぶれ評価値の値が一番小さいものを、複数のフレーム画像データの中から選択するようにしてもよい。

１ デジタルカメラ
２ 撮像系
３ メモリカード
４ バス
５ ＣＰＵ
６ ＲＡＭ
７ 画像表示部
８ ＲＯＭ
９ キー入力部
１０ レンズ駆動ブロック
１１ レンズ
１２ 絞り
１３ 固体撮像素子
１４ ドライバ
１５ タイミングジェネレータ
１６ 信号処理部
１７ 検出部
１８ 顔検出部
１９ 目検出部
１９ａ 信頼度算出部
１９ｂ 有効性判定部
２０ 瞬き検出部

Claims (7)

1. 撮像手段と、
   この撮像手段に連続して撮像するよう制御する連続撮像制御手段と、
   前記撮像手段によって撮像される画像の記録指示を検出する記録指示検出手段と、
   この記録指示検出手段により記録指示が検出されたタイミングに基づいて、前記連続撮像制御手段により撮像された複数の画像データを蓄積する蓄積手段と、
   この蓄積手段により蓄積された複数の画像データに含まれる被写体の撮像状態を評価する評価手段と、
   タイムラグ補正値を取得するタイムラグ補正値取得手段と、
   このタイムラグ補正値取得手段により取得されたタイムラグ補正値及び前記評価手段による評価に基づいて、前記蓄積手段により蓄積された複数の画像データの中から特定の画像データを選択する選択手段と、
   を備えたことを特徴とする撮像装置。
2. 前記蓄積手段により蓄積された複数の画像データから前記被写体に含まれる人の顔を検出する顔検出手段と、
   前記顔検出手段により検出された人の顔から目を検出する目検出手段と、
   前記目検出手段により検出された目の瞬き度合いを検出する瞬き検出手段と、
   を更に備え、
   前記評価手段は、前記瞬き検出手段により検出された瞬き度合いに基づいて、前記被写体の撮像状態として人の顔の撮像状態を評価することを特徴とする請求項１記載の撮像装置。
3. 前記蓄積手段は、
   前記記録指示検出手段により記録指示が検出されたタイミングの前後、タイミング以前、又は、タイミング以後の少なくとも何れかにより、複数の画像データの蓄積を開始することを特徴とする請求項１又は２記載の撮像装置。
4. 前記選択手段により選択された画像データの表示を制御する表示制御手段を更に備えたことを特徴とする請求項１乃至３の何れかに記載の撮像装置。
5. 前記選択手段により選択された画像データを記録する記録手段を更に備えたことを特徴とする請求項１乃至４の何れかに記載の撮像装置。
6. 撮像部に対し連続して撮像するよう制御する連続撮像制御ステップと、
   前記撮像部にて撮像される画像の記録指示を検出する記録指示検出ステップと、
   この記録指示検出ステップにて記録指示が検出されたタイミングに基づいて、前記連続撮像制御ステップにて撮像された複数の画像データを所定のメモリに蓄積する蓄積ステップと、
   この蓄積ステップにて蓄積された複数の画像データに含まれる被写体の撮像状態を評価する評価ステップと、
   タイムラグ補正値を取得するタイムラグ補正値取得ステップと、
   このタイムラグ補正値取得ステップにて取得されたタイムラグ補正値及び前記評価ステップにおける評価に基づいて、前記蓄積ステップにて蓄積された複数の画像データの中から特定の画像データを選択する選択ステップと、
   を含むことを特徴とする画像選択方法。
7. 撮像装置が備えるコンピュータを、
   連続して撮像するよう制御する連続撮像制御手段、
   撮像される画像の記録指示を検出する記録指示検出手段、
   記録指示検出手段によって記録指示が検出されたタイミングに基づいて、前記連続撮像制御手段によって撮像された複数の画像データを所定のメモリに蓄積する蓄積手段、
   この蓄積手段によって蓄積された複数の画像データに含まれる被写体の撮像状態を評価する評価手段、
   タイムラグ補正値を取得するタイムラグ補正値取得手段、
   このタイムラグ補正値取得手段によって取得されたタイムラグ補正値及び前記評価手段による評価に基づいて、前記蓄積手段によって蓄積された複数の画像データの中から特定の画像データを選択する選択手段、
   として機能させることを特徴とするプログラム。

Images