JP7142507B2 - 画像処理装置および画像処理方法、ならびに撮像装置 - Google Patents

Description

本発明は、画像処理装置および画像処理方法、ならびに撮像装置に関する。

近年、撮像素子の性能向上により、読み出し可能なフレームレートが上昇している。そして、読み出しフレームレートの高速化は、例えばＡＦ処理や被写体追尾処理など、撮像画像から得られる情報を用いる処理の性能向上に寄与している。特許文献１では被写体輝度が高いときにフレームレートを上げることで、ＡＦ処理の高速化を実現している。

特開２００３－２６２７８８号

読み出しフレームレートの高速化により、各フレームを撮影する際のシャッタースピードも高速化すると、従来のフレームレートではブレていた物体が静止して写るようになる。そして、物体が静止して写るようになることで、ブレて写っていたときと、画像から得られる情報が変化することがある。例えば、雨粒や噴水の水滴のような小さな動体が存在するシーンで人物などの主被写体を撮影した場合に、水滴が軌跡としてぶれて写っている場合と、静止してはっきり写っている場合とでは、主被写体の領域から得られる情報が異なり得る。

したがって、本発明の目的は、動体の写り方が画像から得られる情報に与える影響を抑制することが可能な画像処理装置および画像処理方法、ならびに撮像装置を提供することである。

上述の目的は、動画の現フレームの画像を含む複数のフレーム画像を合成して合成画像を生成する合成手段と、現フレームの画像または合成画像を選択的に出力する選択手段と、選択手段が出力する画像から予め定められた評価値を生成する生成手段と、評価値に基づいて合成手段が合成するフレーム画像の数を決定する決定手段と、動画のフレーム画像から表示用または記録用の画像データを生成する画像処理手段と、を有し、生成手段は、選択手段が出力する画像に対して被写体検出処理を行うことで、検出された被写体領域の信頼度を表す値を評価値として生成し、現フレームの画像から生成した評価値が閾値未満の場合には合成画像を出力するように選択手段を制御し、画像処理手段は、生成手段が検出した被写体領域の情報を用い、動画のフレーム画像から表示用または記録用の画像データを生成し、動画の撮影フレームレートが動画の記録フレームレートまたは表示フレームレートよりも高いことを特徴とする画像処理装置によって達成される。

本発明によれば、動体の写り方が画像から得られる情報に与える影響を抑制することが可能な画像処理装置および画像処理方法、ならびに撮像装置を提供することができる。

第１実施形態に係る撮像装置の機能構成例を示すブロック図 第１実施形態に係る撮像装置の動作に関するフローチャート 第１実施形態に係る撮像装置の効果に関する模式図 第２実施形態に係る撮像装置の機能構成例を示すブロック図 第２実施形態に係る撮像装置の動作に関するフローチャート 第２実施形態に係る撮像装置の効果に関する模式図

以下、添付図面を参照して、本発明をその例示的な実施形態に基づいて詳細に説明する。なお、説明する実施形態は単なる例示であり、本発明の範囲を限定するものではない。例えば、以下では本発明を撮像装置に適用した実施形態を説明する。しかし、本発明は動画像データから情報を取得可能な任意の電子機器において実施可能である。このような電子機器には、デジタルカメラやデジタルビデオカメラといった撮像装置はもちろん、パーソナルコンピュータ、タブレット端末、携帯電話機、ゲーム機、ドライブレコーダ、ロボット、ドローンなどが含まれるが、これらに限定されない。

●（第１実施形態）
図１は、本実施形態に係る撮像装置の機能構成例を示すブロック図である。
レンズユニット３０１は、撮影光学系であり、合焦距離を調整するためのフォーカスレンズを含む光学レンズ群と、絞りと、フォーカスレンズや絞りを駆動するモータやアクチュエータなどを有する。本実施形態においてレンズユニット３０１は撮像装置３００に固定されているものとするが、着脱可能であってもよい。また、絞りはシャッターを兼ねていてもよい。レンズユニット３０１は、撮像素子３０２の撮像面に光学像を形成する。

撮像素子３０２は、２次元配列された複数の画素を有する。各画素にはマイクロレンズとカラーフィルタが設けられる。カラーフィルタは例えば赤（Ｒ）、緑（Ｇ）、青（Ｂ）のいずれかの色を有する単位フィルタが例えばベイヤー配列などの予め定められた規則で配列された構成を有する。各画素には１つの単位フィルタが設けられる。各画素はまた、１つまたは複数の光電変換部を有する。光電変換部は入射光量に応じた電荷を生成する。したがって、レンズユニット３０１が形成した光学像は、撮像素子３０２によって電気信号群に変換される。Ａ／Ｄ変換器３０３は、画素または光電変換部ごとの電気信号をデジタル値に変換する。なお、Ａ／Ｄ変換器３０３は撮像素子３０２が有してもよい。

操作部３２１は入力デバイス群の総称であり、ユーザが撮像装置３００に指示を入力するために用いる。シャッターボタン、動画撮影・停止ボタン、撮影モード切り換えダイヤル、方向キー、決定ボタン、メニューボタンなどが操作部３２１に含まれる入力デバイスの代表例である。表示部３１９がタッチディスプレイの場合、タッチパネル部分は操作部３２１に含まれる。

ＲＡＭ３２２は、ＣＰＵ３２０が実行するプログラムを読み込んだり、プログラムの実行に必要な情報を記憶したりする。また、ＲＡＭ３２２は、第１および第２画像処理部３１６および３１８が画像データを一時的に記憶するバッファメモリとしても用いられてもよい。

ＲＯＭ３２３は、ＣＰＵ３２０が実行可能なプログラム、各種の設定値、ＧＵＩデータなどを記憶する。ＲＯＭ３２３は書き換え可能であってよい。

制御部であるＣＰＵ３２０は、ＲＯＭ３２３に記憶されたプログラムをＲＡＭ３２２に読み込んで実行することにより、撮像装置３００の各部を制御し、撮像装置３００の機能を実現する。図においてＣＰＵ３２０と接続されていないブロックについても、実際にはＣＰＵ３２０の制御に従って動作する。ＣＰＵ３２０は、評価値生成部３１３から得られるＡＦ情報およびＡＥ情報に基づいて自動焦点調節（ＡＦ）および自動露出制御（ＡＥ）処理を実行する。例えばＣＰＵ３２０は、レンズユニット３０１のデフォーカス量を示すＡＦ情報に基づいて、レンズユニット３０１のフォーカスレンズを駆動する。また、ＣＰＵ３２０は、輝度に関するＡＥ情報に基づいて、絞り、シャッタースピード、撮影感度といった撮影条件を決定する。なお、ＣＰＵ３２０は、コントラスト評価値に基づいて、コントラスト検出方式のＡＦ処理を実行してもよい。また、評価値生成部３１３が顔領域など予め定められた被写体領域の検出を行う場合には、被写体領域の検出結果に基づいて、被写体領域が適正露出となるようにＡＥ処理を行ったり、被写体領域が合焦する様にＡＦ処理を行うことができる。

ＣＰＵ３２０は、撮像素子３０２の露光期間や読み出しフレームレートなどの駆動方法を決定し、決定した駆動方法にしたがって撮像素子３０２の動作を制御する。ＣＰＵ３２０はまた、キーやボタンなどの入力デバイス群の総称である操作部３２１の操作を検出すると、操作に応じた処理を実行する。例えばＣＰＵ３２０は、静止画撮影モードにおいて、シャッターボタンの半押しを検出すると、撮影準備指示と認識し、ＡＦおよびＡＥ処理を実行する。また、シャッターボタンの全押しを検出すると、撮影開始指示と認識し、静止画の撮影処理および記録処理を実行する。

Ａ／Ｄ変換器３０３の出力する画像データ３０４は第１および第２画像合成部３０５、３０７、バッファメモリ３０６、３０８、第１および第２画像選択部３１１、３１２に入力される。

バッファメモリ３０６、３０８は、直近のｎフレーム分（ｎは１以上の整数）のフレーム画像データを記憶する。第１画像合成部３０５は、現フレームの画像データ３０４と、バッファメモリ３０６に記憶された直近のｍフレーム（ｍは１以上の整数。ｍ＜ｎ）とを合成し、合成画像データ３０９を出力する。つまり、第１画像合成部３０５は、現フレームを含む（ｍ＋１）フレームから合成画像を生成する。同様に、第２画像合成部３０７は、現フレームの画像データ３０４と、バッファメモリ３０８に記憶された直近のｐフレーム（ｐは１以上の整数。ｐ＜ｎ）とを合成し、合成画像データ３１０を出力する。つまり、第２画像合成部３０７は、現フレームを含む（ｐ＋１）フレームから合成画像を生成する。

なお、本実施形態では、第１画像合成部３０５は、合成に用いた全てのフレームの画像データをバッファメモリ３０６から削除するものとする。従って、例えばｍ＝３の場合、第１画像合成部３０５からは、第１～４フレーム画像の合成画像、第５～８フレーム画像の合成画像、．．．が出力される。一方、第２画像合成部３０７は、合成に用いたフレームの画像データのうち、最も古い画像データだけをバッファメモリ３０８から削除するものとする。従って、例えばｐ＝３の場合、第２画像合成部３０７からは、第１～４フレーム画像の合成画像、第２～５フレーム画像の合成画像、．．．が出力される。これは、評価値を算出するフレームレートは撮影フレームレートを維持し、記録や表示のフレームレートは撮影フレームレートよりも低くすることを想定したものである。ただし、ここで説明した合成方法は単なる例示であり、第１および第２画像合成部３０５および３０７における合成方法に特に制限はない。

第１画像選択部３１１は、ＣＰＵ３２０の制御に従い、現フレームの画像データ３０４と、第１画像合成部３０５が出力する合成画像データ３０９との一方を選択的に出力する。
第２画像選択部３１２は、評価値生成部３１３の制御に従い、現フレームの画像データ３０４と、第２画像合成部３０７が出力する合成画像データ３１０との一方を選択的に出力する。

評価値生成部３１３は、第２画像選択部３１２が出力する画像データから、予め定められた評価値を生成する。ここで、評価値は画像データから得られる情報であればどのようなものであってもよい。例えば、コントラスト評価値や、デフォーカス量といったオートフォーカス（ＡＦ）処理に用いる評価値、輝度情報（フレーム全体および／または特定領域についての輝度分布や代表輝度値など）のような自動露出制御（ＡＥ）処理に用いる評価値がある。また、人間や動物の顔領域など、予め定められた被写体領域の検出処理の信頼度のように、検出や認識処理の結果を評価するための評価値などであってもよい。この場合、評価値の対象となる検出および／または認識処理も評価値生成部３１３が実行する。

本実施形態では、評価値生成部３１３が、被写体領域の検出処理の信頼度（検出された被写体領域ごとの、予め定められた被写体が写っている領域である信頼度）を、第２画像選択部３１２を制御するための評価値として生成する。具体的には、評価値生成部３１３は、評価値が閾値未満であれば合成画像データ３１０を、閾値以上であれば現フレームの画像データ３０４を出力するように第２画像選択部３１２を制御する制御信号３１５を生成する。なお、被写体領域の検出および、検出した被写体領域ごとの信頼度の算出は、いずれも公知の方法を用いることができるため、その詳細については説明を省略する。ここでは、信頼度（評価値）が０から１００の値を有し、０が最低、１００が最高の信頼度であるものとする。

なお、複数の被写体領域が検出された場合、ユーザが指定した被写体領域、フレームの中心に近い被写体領域、あるいは最も大きな被写体領域などを代表被写体領域として決定し、代表被写体領域についての信頼度を代表評価値とすることができる。あるいは、複数の被写体領域についての信頼度の平均値を代表評価値とするなど、他の方法によって代表評価値とする信頼度を決定してもよい。

また、評価値生成部３１３は、検出した被写体領域の全てまたは代表被写体領域についての情報（例えば位置、大きさ、信頼度）を、第１および第２画像処理部３１６および３１８に供給する。
さらに、評価値生成部３１３は、ＡＦ情報およびＡＥ情報を生成し、ＣＰＵ３２０に供給する。

ＣＰＵ３２０は、ＡＦ情報に基づいてレンズユニット３０１のフォーカスレンズを駆動し、焦点検出領域に合焦するようにレンズユニット３０１の合焦距離を制御する。なお、評価値生成部３１３から被写体領域についての情報をＣＰＵ３２０にも供給し、ＣＰＵ３２０が被写体領域に基づいて焦点検出領域を定めてもよい。

ＣＰＵ３２０はまた、ＡＥ情報とＲＯＭ３２３に記憶されたプログラム線図とに基づいて撮影条件を決定する。そして、ＣＰＵ３２０は、例えば現在のフレームレートでは露出不足になる場合、第１画像合成部３０５が生成する合成画像が適正な露出量になるように合成フレーム数ｍを決定し、第１画像合成部３０５に設定する。また、ＣＰＵ３２０は、第１画像選択部３１１を、第１画像合成部３０５が出力する合成画像データ３０９を出力するように制御する。また、ＣＰＵ３２０は、必要に応じて動画撮影のフレームレートを下げてもよい。なお、合成画像を用いたり撮影フレームレートを下げる場合、記録および／または表示フレームレートを満たすよう、必要に応じてＣＰＵ３２０は第１および第２画像処理部３１６および３１８でフレーム数を増加させてもよい。

一方、現在のフレームレートで個々のフレームの露出量が不足しない場合、ＣＰＵ３２０は第１画像選択部３１１を、現フレームの画像データ３０４を出力するように制御する。

第１画像処理部３１６は、第１画像選択部３１１の出力する画像データに所定の画像処理を適用して、記録用の画像データを生成し、記録部３１７に出力する。また、第２画像処理部３１８は、第１画像選択部３１１の出力する画像データに所定の画像処理を適用して、表示用の画像データを生成し、表示部３１９に出力する。

第１画像処理部３１６が適用する画像処理は例えば、デモザイク（色補間）処理、ホワイトバランス調整処理などの現像処理と呼ばれる処理と、符号化処理、データファイル生成処理といった記録に特有の処理であってよい。

また、第２画像処理部３１８が適用する画像処理は例えば、デモザイク（色補間）処理、ホワイトバランス調整処理などの現像処理と呼ばれる処理と、表示解像度に応じたスケーリング処理やＤ／Ａ変換処理といった表示に特有の処理であってよい。

なお、第１および第２画像処理部３１６および３１８に共通する画像処理は、いずれか一方の画像処理部が適用し、適用後の画像データを他方の画像処理部に供給してもよい。また、第１および第２画像処理部３１６および３１８は１つの画像処理部が実現してもよい。第１および第２画像処理部３１６および３１８はＡＳＩＣなどの専用ハードウェアによって実現されてもよいし、少なくとも一部の処理をマイクロプロセッサがプログラムを実行することによって実現してもよい。

記録部３１７は記録媒体にデータを記録したり、記録媒体からデータを読み出したりする。記録媒体はメモリカードや磁気ディスクドライブなどであってよい。また、記録媒体は着脱可能であってもなくてもよい。

表示部３１９は例えばＬＣＤや有機ＥＬディスプレイであり、撮像装置３００で撮影された画像や、撮像装置３００の情報、メニュー画面、記録媒体から再生された画像などの表示に用いられる。静止画撮影のスタンバイ時や動画記録中には撮影中の動画が表示部３１９に実質的にリアルタイムに表示され、表示部３１９は電子ビューファインダとして機能する。
便宜上図示していないが、撮像装置３００は、上述した機能ブロック以外にも、一般的なデジタルカメラが備える構成を備えている。

次に、図２に示すフローチャートを用いて、撮像装置３００の動作について説明する。この動作は、例えば静止画撮影のスタンバイ時においてライブビュー表示用の動画撮影時や、記録用の動画撮影時に実行することができる。ここでは、例えば操作部３２１に含まれる動画記録ボタンが操作され、記録用の動画撮影が開始した際の処理として説明する。なお、ここでは、フレームごとに実行される撮影から記録に至る一連の処理のうち、主に評価値生成に関する処理について説明する。

なお、本実施形態において動画の撮影時のフレームレートは、例えば１２０［フレーム／秒］（ｆｐｓ）であり、記録時のフレームレートは３０ｆｐｓとする。ただしこれは一例であり、６０ｆｐｓや１２０ｆｐｓで記録してもよい。

Ｓ４０１でＣＰＵ３２０は、記録および表示に合成画像を使用するか否かを判定し、使用すると判定した場合はＳ４０２へ、使用すると判定しない場合はＳ４０３へ処理を進める。ここでの判定条件に制限はないが、ＣＰＵ３２０は例えば撮影フレームレートが記録フレームレートより大きい場合には合成画像を使用すると判定することができる。あるいは、ＣＰＵ３２０は、撮影フレームレートでは各フレームの露出量が不足する場合に合成画像を使用すると判定してもよい。

Ｓ４０２でＣＰＵ３２０は、第１画像合成部３０５でバッファメモリ３０６から読み出して合成するフレーム数ｍを決定する。例えば、撮影フレームレートが１２０ｆｐｓで、記録フレームレートが３０ｆｐｓであれば、合成フレーム数ｍを３と決定することができる。なお、第１画像合成部３０５は、現フレームの画像データと、バッファメモリ３０６から読み出されるｍフレームの画像データとを合成するため、合成画像は（ｍ＋１）フレームを合成した画像となる。また、ＣＰＵ３２０は、第１画像選択部３１１を、合成画像データ３０９を出力するように設定する。

Ｓ４０３でＣＰＵ３２０は、フレーム数ｍを０とする。これにより、第１画像合成部３０５は、現フレームの画像データ３０４をそのまま出力する。また、ＣＰＵ３２０は、第１画像選択部３１１を、現フレームの画像データ３０４を出力するように設定する。

次に、Ｓ４０４でＣＰＵ３２０は、第２画像合成部３０７でバッファメモリ３０８から読み出して合成するフレーム数ｐを決定する。フレーム数ｐは例えば撮影フレームレートに応じた値とすることができる。ＣＰＵ３２０は例えばＲＯＭに予め記憶されている撮影フレームレートとフレーム数ｐとの関係を参照することにより、フレーム数ｐを決定することができる。ここでは、一例としてｐ＝（撮影フレームレート／３０）－１とする。これは、一般的な動画の撮影フレームレートである３０ｆｐｓ相当の合成画像を生成するための条件である。なお、フレーム数ｐは他の条件に基づいて決定してもよい。第２画像合成部３０７は、現フレームの画像データと、バッファメモリ３０８から読み出されるｐフレームの画像データとを合成するため、合成画像は（ｐ＋１）フレームを合成した画像となる。

Ｓ４０５でＣＰＵ３２０は初期設定として、評価値生成部３１３から、第２画像選択部３１２が現フレームの画像データ３０４を出力するように制御する制御信号３１５を出力させる。

Ｓ４０６でＣＰＵ３２０は、撮像素子３０２で１フレーム分の撮影を実行させ、画像信号を読み出す。Ａ／Ｄ変換器３０３から出力される現フレームの画像データ３０４は、第２画像選択部３１２を通じて評価値生成部３１３に供給される。この時点では、第１画像合成部３０５による合成処理が行われないので、記録や表示は行われない。

Ｓ４０７で評価値生成部３１３は、現フレームの画像データ３０４に対して被写体検出処理を適用する。そして、評価値生成部３１３は、被写体領域が検出された場合には、被写体領域ごとに被写体領域情報（位置、大きさ、評価値（検出結果の信頼度））を求め、第１および第２画像処理部３１６および３１８に出力する。第１および第２画像処理部３１６および３１８は、被写体領域情報３１４に基づいて画像処理を適用し、記録用画像データおよび表示用画像データを生成する。なお、記録および表示に合成画像を用いる場合、最初に合成画像が生成されるまでの期間については第１および第２画像処理部３１６および３１８は動作しない。

また、評価値生成部３１３は、ＡＦ情報およびＡＥ情報を生成し、ＣＰＵ３２０に出力する。ＣＰＵ３２０はこれらの評価値に基づいて撮影の露出条件（絞りおよび感度）や、フォーカスレンズの位置を更新する。

Ｓ４０８で評価値生成部３１３は、例えば制御信号３１５の値を参照することにより、評価値を生成した画像が合成画像か否かを判定し、合成画像であると判定されればＳ４１１へ、判定されなければＳ４０９へ処理を進める。

Ｓ４０９で評価値生成部３１３は、生成した評価値が、予め設定された閾値未満であるか否かを判定し、閾値未満と判定されればＳ４１０へ、判定されなければＳ４１１へ処理を進める。なお、上述したように、被写体領域が複数検出されている場合、評価値生成部３１３は代表評価値をＳ４０９で閾値と比較する。あるいは、評価値生成部３１３は、個々の評価値を閾値と比較し、閾値未満の評価値の割合または数によってＳ４０９の判定を行ってもよい。例えば、閾値未満の評価値が半数（５０％）以上の場合、あるいは閾値未満の評価値が１つでもある場合に、評価値生成部３１３は信頼度が閾値未満であると判定することができる。ただし、これらは単なる例示であり、他の方法によってＳ４０９の判定を実施してもよい。

Ｓ４１０で評価値生成部３１３は、評価値を生成するために用いる画像を合成画像に変更する。具体的には、評価値生成部３１３は、第２画像選択部３１２を合成画像データ３１０を出力するように制御する制御信号３１５を出力する。その後、評価値生成部３１３は、処理をＳ４１１に進める。

評価値が閾値未満と判定された場合、撮影フレームレートが高いことによって動体（特に、雨粒、噴水の水滴、紙ふぶき、花びらなどの小さな動体）が静止して写ることが、評価値の低下に影響している可能性がある。そのため、評価値生成部３１３は、合成画像に対して評価値を生成するように切り換える。合成画像を用いることで、擬似的に撮影フレームレートを低下させたときと同様の画像について評価値を生成することができるため、動体が止まって写ることが評価値に与える影響を低減することができる。

Ｓ４１１でＣＰＵ３２０は、記録用の動画撮影処理を完了するか否かを判定し、完了すると判定されれば撮影処理を終了してスタンバイ状態の動作に復帰する。また、ＣＰＵ３２０は、記録用の動画撮影処理を完了すると判定されなければ、処理をＳ４０６に戻して次のフレームの撮影処理を実行する。

図３は、雨中もしくは水しぶきの存在する環境で人物を撮影している状況において、図２の処理によって評価値が改善する例を模式的に示した図である。１２０ｆｐｓという高いフレームレートで撮影して得られる画像データに対して評価値を生成すると、水滴が静止してはっきり写るために、顔領域内の水滴が写っている位置によって顔領域検出処理の信頼度が大きく変動し、また全体的に低い値となる。

これに対し、例えば２フレーム目で信頼度が５０になったことで、閾値（例えば６０）を下回り、合成画像を用いるように切り換えたとする。合成画像では水滴が軌跡として写るようになるため、水滴の画像が被写体領域の検出処理に与える影響が低減され、信頼度の変動が小さく、また全体的に値も改善している。ここでは、３フレームを合成して合成画像を生成した場合（ｐ＝２）を示しているが、より多くのフレームを合成すれば、動体の写り方が評価値に与える影響をより小さくできる。また、ランダムノイズの抑制効果も高くなる。ただし、合成フレーム数が多くなると、検出対象の被写体の動きが評価値に影響を与えるようになることを考慮する必要がある。

このように、本実施形態によれば、所定のフレームレートで撮影された動画のフレーム画像から評価値を生成する場合、評価値の信頼度に応じて評価値を生成する画像を合成画像とするか否かを決定するようにした。具体的には、信頼度が閾値未満の場合には合成画像から評価値を生成するようにし、信頼度が閾値以上の場合には合成されていないフレーム画像から評価値を生成するようにした。これにより、フレームレートが高いことによって、動体が止まって写ることが評価値の信頼度に与える影響を抑制することができる。

なお、記録用および表示用の動画は、フレーム画像を合成する代わりに間引くことで記録フレームレートや表示フレームレートを実現してもよい。この場合、第１画像合成部３０５、バッファメモリ３０６、および第１画像選択部３１１は不要である。

●（第２実施形態）
次に、本発明の第２の実施形態について、図４～図６を用いて説明する。なお、図４および図５において、第１実施形態と同様の構成およびステップについては図１および図２と同じ参照数字を付して説明を省略する。

本実施形態は、評価値を合成画像から生成している場合に、合成画像を生成する際にバッファメモリ３０８から読み出して合成するフレーム画像の数ｐを動的に決定する点で第１の実施形態と異なる。

図４は、本実施形態に係る撮像装置３００’の機能構成例を示すブロック図である。撮像装置３００’は、合成するフレーム画像の数ｐを評価値６０２に基づいて動的に決定するフレーム数決定部６０１を有する点で第１実施形態の撮像装置３００と異なる。

図５は、撮像装置３００’の動作に関するフローチャートである。この動作は、例えば静止画撮影のスタンバイ時においてライブビュー表示用の動画撮影時や、記録用の動画撮影時に実行することができる。ここでは、例えば操作部３２１に含まれる動画記録ボタンが操作され、記録用の動画撮影が開始した際の処理として説明する。なお、ここでは、フレームごとに実行される撮影から記録に至る一連の処理のうち、主に評価値生成に関する処理について説明する。

Ｓ４０１からＳ４１１は第１実施形態と同様であるため説明を省略する。ただし、Ｓ４０７において評価値生成部３１３は、生成した評価値６０２をフレーム数決定部６０１に出力する。

評価値を合成画像から生成している場合、Ｓ４０８からＳ７０２に進む。
Ｓ７０２を最初に実行する際、フレーム数決定部６０１は、評価値生成部３１３から受信した評価値６０２を記憶するとともに、Ｓ４０４で決定した合成フレーム数ｐの初期値を所定量だけ増加または減少させる。最初の実行時に合成フレーム数ｐを増加させるか減少させるか、および所定量は予め定めておけばよい。

Ｓ７０２を次回以降に実行する場合、フレーム数決定部６０１は、評価値生成部３１３から受信した評価値６０２が、前回受信した評価値６０２より増加しているか否かを判定する。そして、フレーム数決定部６０１は、評価値６０２が増加していると判定されれば、前回と同じ方向に合成フレーム数ｐを所定量だけ増加または減少させる。また、フレーム数決定部６０１は、評価値６０２が増加していると判定されなければ、前回と逆の方向に合成フレーム数ｐを所定量だけ増加または減少させる。そして、フレーム数決定部６０１は、合成フレーム数を増加させたか減少させたかを表す情報を最新の評価値６０２とともに記憶する。

このように、合成フレーム数ｐを動的に決定することにより、最適な合成フレーム数ｐで合成画像を生成することができ、精度の高い被写体検出結果を第１および第２画像処理部に供給することができる。また、必要以上の数のフレーム画像を合成することがないため、合成処理の負荷も最適化することができる。

図６は、第１実施形態の図３と同様に、本実施形態の効果を模式的に説明するための図である。ここでは合成フレーム数ｐの初期値が２であり、第３フレームまでは第１実施形態と同様である。第３フレームが撮影され、合成画像に対して評価値が初めて生成されると、Ｓ７０１が実行される。ここでは、所定量が１であり、かつ初期の変化方向が増加方向であるものとする。したがってフレーム数決定部６０１は、合成フレーム数ｐを３に増加させる。これにより、第４フレームが撮影されると、第２画像合成部３０７は、第１～４フレーム画像から合成画像を生成する。

この合成画像から生成された評価値は６０であり、合成フレーム数を増やしたことによって評価値が減少した。そのためフレーム数決定部６０１は、合成フレーム数を１減少させる。第５フレームが撮影されると、第２画像合成部３０７は、第３～５フレーム画像から合成画像を生成する。この合成画像から生成された評価値は９５であり、合成フレーム数を減らしたことによって評価値が増加した。そのためフレーム数決定部６０１は、合成フレーム数を１減少させる。

そのため、第６フレームが撮影されると、第２画像合成部３０７は第５～６フレーム画像から合成画像を生成する。この合成画像から生成された評価値は７０であり、合成フレーム数を減らしたことによって評価値が減少した。そのためフレーム数決定部６０１は、合成フレーム数を１増加させる。以降、フレーム数決定部６０１は、同様にして合成フレーム数ｐを更新する。

このように、評価値を生成するために用いる合成画像を生成するためのフレーム画像の数を、評価値の変化に従って動的に決定するようにした。本実施形態によれば、第１実施形態と同様の効果に加え、合成するフレーム画像の数を最適化することができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

３００、３００’…撮像装置、３０５…第１画像合成部、３０７…第２画像合成部、３１１…第１画像選択部、３１２…第２画像選択部、３１３…評価値生成部、３２０…ＣＰＵ

Claims (7)

1. 動画の現フレームの画像を含む複数のフレーム画像を合成して合成画像を生成する合成手段と、
   前記現フレームの画像または前記合成画像を選択的に出力する選択手段と、
   前記選択手段が出力する画像から予め定められた評価値を生成する生成手段と、
   前記評価値に基づいて前記合成手段が合成するフレーム画像の数を決定する決定手段と、
   前記動画のフレーム画像から表示用または記録用の画像データを生成する画像処理手段と、を有し、
   前記生成手段は、
   前記選択手段が出力する画像に対して被写体検出処理を行うことで、検出された被写体領域の信頼度を表す値を前記評価値として生成し、
   前記現フレームの画像から生成した前記評価値が閾値未満の場合には前記合成画像を出力するように前記選択手段を制御し、
   前記画像処理手段は、前記生成手段が検出した前記被写体領域の情報を用い、前記動画のフレーム画像から表示用または記録用の画像データを生成し、
   前記動画の撮影フレームレートが前記動画の記録フレームレートまたは表示フレームレートよりも高いことを特徴とする画像処理装置。
2. 前記決定手段は、前記合成手段が合成するフレーム画像の数を増加または減少させた際に前記評価値が増加した場合にはフレーム画像の数を同じ方向に変化させ、フレーム画像の数を増加または減少させた際に前記評価値が減少した場合にはフレーム画像の数を逆の方向に変化させる、ことを特徴とする請求項１に記載の画像処理装置。
3. 前記選択手段が前記合成画像を出力する場合であって、前記合成手段が前記合成画像を生成するために合成するフレーム画像の数を増加させた際に前記生成手段によって生成される前記評価値が増加した場合には、前記合成する前記フレーム画像の数をさらに増加させることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記選択手段が前記合成画像を出力する場合であって、前記合成手段が前記合成画像を生成するために合成するフレーム画像の数を減少させた際に前記生成手段によって生成される前記評価値が増加した場合には、前記合成するフレーム画像の数をさらに減少させることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 動画を撮影する撮像素子と、
   前記撮像素子で撮影された動画を処理する請求項１乃至４のいずれか１項に記載の画像処理装置と、
   を有することを特徴とする撮像装置。
6. 画像処理装置が実行する画像処理方法であって、
   動画の現フレームの画像を含む複数のフレーム画像を合成して合成画像を生成する合成工程と、
   前記現フレームの画像または前記合成画像を選択的に出力する選択工程と、
   前記選択工程で出力される画像から予め定められた評価値を生成する生成工程と、
   前記評価値に基づいて前記合成工程で合成するフレーム画像の数を決定する決定工程と、
   前記動画のフレーム画像から表示用または記録用の画像データを生成する画像処理工程と、
   前記現フレームの画像から生成された前記評価値が閾値未満の場合には前記合成画像を出力するように前記選択工程を制御する制御工程と、を有し、
   前記生成工程では、前記選択工程が出力する画像に対して被写体検出処理を行うことで、検出された被写体領域の信頼度を表す値を前記評価値として生成し、
   前記画像処理工程では、前記生成工程で検出された前記被写体領域の情報を用い、前記動画のフレーム画像から表示用または記録用の画像データを生成し、
   前記動画の撮影フレームレートが前記動画の記録フレームレートまたは表示フレームレートよりも高いことを特徴とする画像処理方法。
7. コンピュータを、請求項１乃至４のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images