JP2016140057A - 撮像装置 - Google Patents

Abstract

【課題】被写体が移動しても自然な映像を生成できる撮像装置を、提供する。【解決手段】撮像装置は、撮像部と、露光部と、撮像処理部と、露光情報設定部と、画像処理部とを、備えている。撮像処理部は、撮像部が電荷を蓄積する時間を、第１蓄積時間、及び第１蓄積時間以下の第２蓄積時間に、制御する。露光情報設定部は、第１蓄積時間で生成された第１撮像信号の輝度を制御する第１露光制御情報、及び第２蓄積時間で生成された第２撮像信号の輝度を制御する第２露光制御情報を、設定する。画像処理部は、第１撮像信号と第２撮像信号とを合成する。ここで、第１露光制御情報が所定の条件を満足した場合には、露光情報設定部は、時間軸上において互いに隣接するフレームに対応するそれぞれの電荷を蓄積する時間が同じになるように、第１露光制御情報及び第２露光制御情報を設定する。【選択図】図４Ｂ

Description

本技術は、撮像装置に関する。

従来の撮像装置には、被写体を異なる露光時間で撮像した複数の撮像信号を合成できるものがある（特許文献１を参照）。このタイプの撮像装置では、例えば、第１の撮像信号および第１撮像信号より露光量の小さい第２撮像信号を合成することによって、明暗差が拡大された合成信号（合成画像）が、生成される。

特開平０６−１４１２２９号公報

従来の撮像装置では、露光時間の長い第１撮像信号と、露光時間の短い第２撮像信号とを合成することによって、合成信号が生成される。このため、被写体が移動するような場合、第１撮像信号に基づいたブレが生じた画像と、第２撮像信号に基づいたブレのない鮮明な画像とが、重ね合わせられた合成信号が、生成される。このため、被写体は滑らかに移動しているにもかかわらず、第２撮像信号に基づくブレのない鮮明な画像が、合成信号に生じ、合成画像が不自然なものになる場合がある（図４Ａを参照）。

本技術は、上記の問題に鑑みてなされたものであって、本技術の目的は、被写体が移動しても自然な映像を生成可能な撮像装置を、提供することにある。

ここに開示された撮像装置は、撮像部と、露光部と、撮像処理部と、露光情報設定部と、画像処理部とを、備えている。撮像部は、フレーム毎に、入射する光に応じた電荷を蓄積することにより、撮像信号を生成し出力する。露光部は、撮像部に入射する光を調節する。撮像処理部は、撮像部が電荷を蓄積する時間を、第１蓄積時間、及び第１蓄積時間以下の第２蓄積時間に、制御する。露光情報設定部は、第１蓄積時間で生成された第１撮像信号の輝度を制御する第１露光制御情報、及び第２蓄積時間で生成された第２撮像信号の輝度を制御する第２露光制御情報を、設定する。画像処理部は、第１撮像信号と第２撮像信号とを合成する。ここで、第１露光制御情報が所定の条件を満足した場合には、露光情報設定部は、時間軸上において互いに隣接するフレームに対応するそれぞれの電荷を蓄積する時間が同じになるように、第１露光制御情報及び第２露光制御情報を設定する。

本技術では、被写体が移動しても自然な映像を生成できる。

本実施形態に係る撮像装置のブロック図。 本実施形態に係る撮像部の動作を示す概念図。 本実施形態に係る輝度補完の形態を説明するための概念図。 従来のＡＥ処理を用いて生成した合成信号を示す概念図。 本実施形態に係るＡＥ処理を用いて生成した合成信号を示す概念図。 本実施形態に係る撮像装置におけるＡＥ処理を示すフローチャート。 本実施形態に係る撮像装置におけるＡＥ処理を示すフローチャート。 本実施形態に係る撮像装置におけるＡＥ処理を示すフローチャート。

＜撮像装置の構成＞
図１は、本技術の実施形態に係る撮像装置１００の構成を示すブロック図である。本実施形態における撮像装置１００は、動画撮影が可能なデジタルカメラ及びビデオカメラを含む。以下では、撮像装置１００がデジタルカメラである場合を一例として、説明を行う。

撮像装置１００は、主に、光学系１１０と、露光部１７０と、撮像部１４０と、信号処理部１５０と、制御部１３０と、レンズ駆動部１２０と、記録部１６０とを、備えている。なお、以下で用いる信号という文言は、画像、画像データ、映像、及び映像データを含む概念である。また、以下で用いる情報という文言は、情報データを含む概念である。

＜光学系＞
光学系１１０は、被写体像を形成する。光学系１１０は、主に、フォーカスレンズ１１１、ズームレンズ１１２を、有する。

フォーカスレンズ１１１は、被写体のフォーカス状態を調節するレンズである。ズームレンズ１１２は、被写体の画角を調節するレンズである。フォーカスレンズ１１１及びズームレンズ１１２は、制御部１３０から発行される制御信号に基づいて、レンズ駆動部１２０により駆動される。

なお、ここでは、代表的なレンズを説明したが、光学系１１０は、撮像に必要な他のレンズを有していてもよい。例えば、光学系１１０は、光学式手ぶれ補正レンズを、含んでいてもよい。また、光学系１１０に含まれるレンズは、何枚のレンズから構成されるものであってもよいし、何群のレンズから構成されるものであってもよい。

＜露光部＞
露光部１７０は、絞り１１３と、シャッタ１１４とを、有する。絞り１１３は、撮像部１４０に入射する光量を調節する。シャッタ１１４は、撮像部１４０に入射する光の露光時間を調節する。絞り１１３及びシャッタ１１４によって、撮像部１４０の露出量が、決定される。絞り１１３と、シャッタ１１４とは、制御部１３０から発行される制御信号に基づいて、図示しない駆動部により駆動される。

＜撮像部＞
撮像部１４０は、露光部１７０が調節した光を蓄積することによって、撮像信号を生成し出力する。撮像部１４０は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ１４１を有している。ＣＭＯＳイメージセンサ１４１は、光学系１１０により形成された被写体像を撮像する撮像素子である。例えば、ＣＭＯＳイメージセンサ１４１は、被写体からの光を周期的に蓄積することによって、撮像信号を生成し出力する。

＜信号処理部＞
信号処理部１５０は、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）１５１を有している。ＡＦＥ１５１は、ＣＭＯＳイメージセンサ１４１により生成された撮像信号に対して、各種処理を施す。具体的には、ＡＦＥ１５１は、相関二重サンプリングによる雑音抑圧、アナログゲイン制御部によるＡ／Ｄコンバータの入力レンジ幅への増幅、Ａ／ＤコンバータによるＡ／Ｄ変換等の処理を施す。

＜制御部＞
制御部１３０は、撮像装置１００全体の動作を統括制御する。例えば、制御部１３０は、光学系１１０（レンズ駆動部１２０）、露光部１７０、撮像部１４０、信号処理部１５０、及び記録部１６０等を、制御する。また、制御部１３０は、光学系１１０（レンズ駆動部１２０）、露光部１７０、撮像部１４０、信号処理部１５０、及び記録部１６０等を制御するための各種処理及び情報認識（データ認識を含む）を、実行する。

制御部１３０は、被写体の状態、例えば撮像信号から取得したＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）制御情報に基づいて、光学系１１０（レンズ駆動部１２０）に対するＡＦ制御を、指示する。ＡＦ制御情報には、例えばコントラスト情報が含まれる。また、制御部１３０は、被写体の状態、例えば撮像信号から取得したＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）制御情報に基づいて、露光部１７０に対するＡＥ制御を、指示する。ＡＥ制御情報には、後述する露光制御情報が含まれる。

これにより、制御部１３０は、撮像信号及び／又は合成信号（合成画像）を生成し、これら信号に対応するデータを、静止画データ又は動画データとして、例えばメモリカード１９０及び内部メモリ１６０ｂ（以下、メモリ等）に記録可能である。なお、内部メモリ１６０ｂは、記録部１６０に含まれる第２記録部（後述する）である。メモリカード１９０は、記録部１６０に含まれる第３記録部（カードスロット１６０ｃ）に、装着される。

より具体的には、制御部１３０は、ＲＯＭ及びＣＰＵ等から、構成される。ＲＯＭには、撮像装置１００全体の動作を統括制御するための各種プログラムが、格納されている。各種プログラムには、信号制御（合成制御を含む）、レンズ駆動制御、ＡＦ制御、及びＡＥ制御等に関するプログラムの他、撮像装置１００全体の動作を統括制御するプログラムが、含まれている。ＣＰＵは、ＲＯＭに格納されているプログラムを実行することによって、上述した各種制御を実行する。なお、制御部１３０は、プログラムを実行するマイクロコンピュータから構成されていてもよいし、ハードワイヤードな電子回路であってもよい。

また、制御部１３０は、例えば、命令処理部１３１と、画像処理部１３３と、撮像処理部１３５と、輝度情報取得部１３６と、輝度情報補完部１３７と、輝度調整部１３８と、輝度平均処理部１３９と、露光情報設定部１３２とを、有している。

命令処理部１３１は、撮像装置１００を動作させるために、各種の命令を処理する。例えば、命令処理部１３１は、レンズ駆動部１２０、露光部１７０、撮像部１４０、及び信号処理部１５０等に対する命令を処理し、処理後の命令を各部に対して指示する。これにより、上述したように、ＡＦ制御及び／又はＡＥ制御が実行され、静止画用の撮像信号、及び／又は動画用の合成信号（合成画像）が、生成される。これら撮像信号及び／又は合成信号（合成画像）の生成は、主に、画像処理部１３３において行われる。

画像処理部１３３は、信号処理部１５０から出力された撮像信号に対して、各種の処理を施す。例えば、画像処理部１３３は、被写体に応じて設定された露出設定を用いて撮像された撮像信号に対して、各種の処理を施す。例えば、各種処理には、スミア補正、ホワイトバランス補正、ガンマ補正、ＹＣ変換処理、電子ズーム処理、圧縮処理、縮小処理、拡大処理等の処理等が、含まれる。

画像処理部１３３は、合成処理部１３４を含んでいる。合成処理部１３４は、複数の蓄積時間で蓄積することによって生成された複数の撮像信号を合成して、記録部１６０に記録する。

例えば、動画撮影時には、合成処理部１３４は、異なる露出設定で撮像された複数の撮像信号を合成する処理を、実行する。例えば、合成処理部１３４は、第１撮像信号及び第２撮像信号を合成し、合成後の撮像信号を記録部１６０に記録する。この合成処理によって、明暗差が拡大された合成信号（合成画像）が生成される。

このように、画像処理部１３３で処理された静止画用の撮像信号、及び／又は動画用の合成信号は、上述したように、静止画データ又は動画データとして、メモリ等に記録可能である。

撮像処理部１３５は、撮像部１４０例えばＣＭＯＳイメージセンサ１４１を、制御する。撮像処理部１３５は、ＣＭＯＳイメージセンサ１４１の蓄積時間を、複数の蓄積時間で周期的に制御する。複数の蓄積時間は、例えば、第１蓄積時間及び第２蓄積時間である。具体的には、図２に示すように、撮像処理部１３５は、露光部１７０を制御することによって、撮像部１４０であるＣＭＯＳイメージセンサ１４１の蓄積時間を、第１蓄積時間及び第２蓄積時間で周期的に制御する。第１蓄積時間では、撮像処理部１３５は第１撮像信号を生成する。第２蓄積時間では、撮像処理部１３５は第２撮像信号を生成する。

図２に示す例では、１番目と３番目のフレーム（フレームａとフレームｃ）では撮像部１４０は各フレーム全体にわたって光を蓄積しており、２番目と４番目のフレーム（フレームｂとフレームｄ）では撮像部１４０は各フレームの途中から光の蓄積を開始して蓄積時間を短くしている。ここで、フレームの途中から光の蓄積を開始する方法として、フレームの始まりから光の蓄積開始までの期間（非蓄積期間）において撮像部１４０に入射する光を遮断する方法（メカシャッタ）に限らず、非蓄積期間において蓄積された光による撮像信号を、光の蓄積開始時（フレームの途中）にリセットするという電子シャッタを用いてもよい。

本実施形態では、第１蓄積時間が、第２蓄積時間以上に設定される。基本的には、第１蓄積時間が第２蓄積時間より長く設定されるが、第１蓄積時間及び第２蓄積時間が同じに設定される場合がある。なお、上記のＣＭＯＳイメージセンサ１４１の蓄積時間とは、ＣＭＯＳイメージセンサ１４１に電荷を蓄積する時間を示す文言である。ＣＭＯＳイメージセンサ１４１が電荷を蓄積している時間が、ＣＭＯＳイメージセンサ１４１が露光部１７０により露光されている時間である場合は、蓄積時間と露光時間とは同じになる。

輝度情報取得部１３６は、第１蓄積時間及び第２蓄積時間で生成された第１撮像信号及び第２撮像信号に基づいて、第１撮像信号の第１輝度情報及び第２撮像信号の第２輝度情報を、取得する。なお、第１輝度情報は第１輝度レベルを含む文言であり、第２輝度情報は第２輝度レベルを含む文言である。

具体的には、図３に示すように、輝度情報取得部１３６は、第１撮像信号及び第２撮像信号それぞれを複数に分割（例えばＭ×Ｎ個に分割）することによって、各区分の輝度部分情報（第１輝度部分情報・第２輝度部分情報）を、検出する。すなわち、輝度情報取得部１３６は、Ｍ×Ｎ個の第１輝度部分情報、及びＭ×Ｎ個の第２輝度部分情報を検出することによって、第１輝度情報及び第２輝度情報を、取得する。ここで、第１輝度情報は、Ｍ×Ｎ個の第１輝度部分情報から構成され、第２輝度情報は、Ｍ×Ｎ個の第２輝度部分情報から構成される。

輝度情報補完部１３７は、第１輝度情報に飽和部分が存在する場合、第２輝度情報から飽和部分に対応する対応部分を検出し、対応部分の第２輝度部分情報を用いて第１輝度情報の飽和部分を補完する。

具体的には、第１輝度部分情報の少なくとも１つが飽和した場合、第２輝度部分情報において、第１輝度部分情報の飽和部分に対応する対応部分が、検出される。そして、この対応部分の第２輝度部分情報を用いて、飽和部分の第１輝度部分情報が補完される。すなわち、第１輝度部分情報の少なくとも１つが飽和した場合、第１撮像信号における飽和部分の第１輝度部分情報が、第２撮像信号における対応部分の第２輝度部分情報によって、補完される。図３に示す例では、第１撮像信号ｃの第１輝度部分情報の一つに飽和部分があり、この飽和部分の第１輝度部分情報が第２撮像信号ｂの対応部分の第２輝度部分情報によって補完されている。ここで、飽和部分とは、輝度を算出する処理において桁溢れを起こした部分、すなわち輝度が最大又は最小になった部分を示す。言い換えると、飽和部分では輝度が最大又は最小になっている。

輝度調整部１３８は、補完後の第１輝度情報、又は輝度情報取得部１３６が取得した第１輝度情報に対して、輝度調整処理を実行する。

具体的には、輝度調整部１３８は、第１輝度部分情報が飽和した場合、輝度情報補完部１３７によって補完された第１輝度情報に対して、重み付け処理を実行する。また、輝度調整部１３８は、第１輝度部分情報が非飽和であった場合、輝度情報取得部１３６が取得した第１輝度情報に対して、重み付け処理を実行する。図３に示す例では、第１撮像信号ａは第１輝度部分情報が非飽和である場合であり、輝度情報取得部１３６が取得した第１輝度情報に対して重み付け処理が実行される。また、第１撮像信号ｃは第１輝度部分情報に飽和部分がある場合であり、この場合は飽和部分が補完された第１撮像信号ｃの第１輝度情報に対して重み付け処理が実行される。

輝度平均処理部１３９は、輝度調整部１３８が重み付け処理を実行した第１輝度情報に対して、輝度平均化処理を実行する。具体的には、輝度平均処理部１３９は、複数の第１輝度部分情報（Ｍ×Ｎ個の第１輝度部分情報）に対して、輝度平均化処理を実行する。これにより、第１輝度情報の輝度代表値（第１輝度平均）が算出される。

露光情報設定部１３２は、図１に示すように、第１露光情報設定部１３２ａと、第２露光情報設定部１３２ｂと、第３露光情報設定部１３２ｃとを、有している。

第１露光情報設定部１３２ａは、第１蓄積時間で生成される第１撮像信号の輝度を制御する第１露光制御情報、及び第２蓄積時間で生成される第２撮像信号の輝度を制御する第２露光制御情報を、設定する。

第１露光制御情報は、第１露出情報、第１シャッタ情報、及び第１感度情報を含む。第２露光制御情報及は、第２露出情報、第２シャッタ情報、及び第２感度情報を含む。すなわち、第１露光制御情報及び第２露光制御情報それぞれは、ＡＥ制御情報（ＡＥ制御値）である。

第１露出情報及び第２露出情報は、露光部１７０の絞り１１３を制御するための情報である。第１シャッタ情報及び第２シャッタ情報は、露光部１７０のシャッタ１１４を制御するための情報である。第１感度情報及び第２感度情報は、撮像部１４０のＣＭＯＳイメージセンサ１４１を制御するための情報である。第１露出情報及び第２露出情報は露出量データを含み、第１シャッタ情報及び第２シャッタ情報はシャッタスピードデータを含み、第１感度情報及び第２感度情報はゲインデータを含んでいる。

また、第１露光情報設定部１３２ａは、第１輝度情報に飽和部分が存在する場合、補完後の第１輝度情報に基づいて、第１露光制御情報を設定する。詳細には、露光情報設定部１３２は、第１輝度情報に飽和部分が存在する場合、輝度調整部１３８が調整した第１輝度情報に基づいて、第１露光制御情報を設定する。より詳細には、第１露光情報設定部１３２ａは、第１輝度情報に飽和部分が存在する場合、輝度平均処理部１３９が平均化した第１輝度情報の第１輝度平均に基づいて、第１露光制御情報を設定する。一方で、第１露光情報設定部１３２ａは、第１輝度情報に飽和部分が存在しない場合、輝度情報取得部１３６が取得した第１輝度情報に基づいて、第１露光制御情報を、設定する。また、第１露光情報設定部１３２ａは、輝度情報取得部１３６が取得した第２輝度情報に基づいて、第２露光制御情報を、設定する。

第２露光情報設定部１３２ｂは、被写体の輝度変化に応じて、第１輝度情報の輝度を変化させる第１輝度変化量（第１輝度情報用の輝度変化量）を、変更する。そして、第２露光情報設定部１３２ｂは、第１輝度変化量に基づいて、第１露光制御情報を、設定する。

詳細には、第２露光情報設定部１３２ｂは、被写体の輝度変化に応じて第１輝度変化量を変更する。そして、第２露光情報設定部１３２ｂは、第１輝度変化量を所定値以下（閾値以下）に設定する。そして、第２露光情報設定部１３２ｂは、第１輝度変化量に基づいて、第１輝度情報を、第１輝度情報の第１輝度目標レベルに向けて変化させる。これにより、第２露光情報設定部１３２ｂは、第１露光制御情報を、設定する。

例えば、第２露光情報設定部１３２ｂは、第１輝度情報の第１輝度目標レベル及び第１輝度情報の第１輝度平均に基づいて、第１輝度変化量が所定値以下になるように収束計算する。これにより、第１輝度変化量が所定値以下に設定される。そして、第２露光情報設定部１３２ｂは、第１輝度情報の第１輝度平均を、第１輝度変化量の収束値を用いて、第１輝度情報の第１輝度目標レベルに向けて変化させる。これにより、第２露光情報設定部１３２ｂは、第１露光制御情報を、設定する。

さらに、第２露光情報設定部１３２ｂは、第２輝度情報を第１輝度変化量に基づいて変化させることによって、第２露光制御情報を設定する。詳細には、第２露光情報設定部１３２ｂは、第１輝度変化量に基づいて第２輝度情報が第２輝度情報の第２輝度目標レベルに近づくように、第２露光制御情報を設定する。

第３露光情報設定部１３２ｃは、第１露光制御情報が所定の条件を満足した場合に、時間軸上において互いに隣接するフレームの露光時間が同じになるように、第１露光制御情報及び第２露光制御情報を設定する。

詳細には、第３露光情報設定部１３２ｃは、シャッタ設定部１３２ｄと、感度調整部１３２ｅとを、含んでいる。シャッタ設定部１３２ｄは、第１シャッタ情報が、低速情報である場合、時間軸上において互いに隣接するフレームの第１シャッタ情報及び第２シャッタ情報を、同じ情報に設定する。すなわち、時間軸上において互いに隣接するフレームの第１シャッタ情報及び第２シャッタ情報が、同じ情報に設定される。

具体的には、シャッタ設定部１３２ｄは、前フレームの第１シャッタ情報が低速情報である場合、現フレームの第２シャッタ情報に対して、前フレームの第１シャッタ情報を、設定する。なお、低速情報は、シャッタスピードが低速であることを示す情報である。

ここで、例えば、被写体が移動しているような場合に、図４Ａに示すように、シャッタスピードの差により異なる露光時間（露光時間Ａ＞露光時間Ｂ）で撮像された第１撮像信号（露光時間Ａ）及び第２撮像信号（露光時間Ｂ）が合成されると、合成信号（合成画像）は、第１撮像信号に基づいたブレが生じた画像と、第２撮像信号に基づいたブレのない鮮明な画像とが、重ね合わせられたものになる。このとき、被写体は滑らかに移動しているにもかかわらず、第２撮像信号によるブレのない鮮明な画像が、合成信号に生じるために、合成画像は不自然なものになる。

しかしながら、シャッタ設定部１３２ｄにおいて、第１シャッタ情報及び第２シャッタ情報が同じ情報に設定され、例えば、図４Ｂに示すように、第１撮像信号の露光時間Ａと第２撮像信号の露光時間Ｂとが同じに設定されると、被写体が移動している場合であっても、第２撮像信号にブレのない鮮明な画像は生成されないので、自然な合成信号（合成画像）を生成することができる。

感度調整部１３２ｅは、第１撮像信号及び第２撮像信号の間の輝度レベル差を設定するために、シャッタ設定部１３２ｄで設定されたシャッタ情報に対応する感度情報を、調整する。すなわち、感度調整部１３２ｅは、シャッタ設定部１３２ｄで設定されたシャッタ情報に対応する感度情報を、調整することによって、第１撮像信号及び第２撮像信号の間の輝度レベル差を設定する。

例えば、シャッタ設定部１３２ｄで設定されたシャッタ情報が、現フレームの第２シャッタ情報である場合、感度調整部１３２ｅは、現フレームの第２露光制御情報において第２シャッタ情報に対応する感度情報を調整することによって、第１撮像信号及び第２撮像信号の間の輝度レベル差を設定する。

＜レンズ駆動部＞
レンズ駆動部１２０は、図１に示すように、光学系１１０を駆動するためのものである。レンズ駆動部１２０は、例えば、ＤＣモータ又はステッピングモータ等の駆動ユニットから、構成される。レンズ駆動部１２０は、制御部１３０からの命令に基づいて、駆動する。例えば、レンズ駆動部１２０が、ＡＦ制御のためのＡＦ制御情報を制御部１３０から受け取ると、このＡＦ制御情報に基づいて、レンズ駆動部１２０が光学系１１０を駆動する。例えば、レンズ駆動部１２０は、第１蓄積時間が経過した後に、第１蓄積時間で生成された第１撮像信号を用いて、光学系１１０例えばフォーカスレンズ１１１を、駆動する。また、第２蓄積時間が経過した後には、第２蓄積時間で生成された第２撮像信号を用いて、光学系１１０を、駆動する。

＜記録部＞
記録部１６０は、第１記録部であるバッファ１６０ａと、第２記録部である内部メモリ１６０ｂと、第３記録部であるカードスロット１６０ｃとを、有している。バッファ１６０ａは、揮発性の記憶媒体であり、例えば、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）のようなバッファメモリである。バッファ１６０ａは、制御部１３０例えば画像処理部１３３のワークメモリとして、機能する。内部メモリ１６０ｂは、不揮発性の記録媒体であり、例えばフラッシュメモリである。カードスロット１６０ｃは、メモリカード１９０を着脱可能であり、メモリカード１９０と電気的及び機械的に接続可能である。メモリカード１９０は、撮像装置１００の外部メモリである。例えば、メモリカード１９０は、不揮発性の記録媒体である。

＜その他の構成＞
また、撮像装置１００は、表示部２１０と、操作部２２０とを、備えている。表示部２１０は、例えば、液晶モニタや有機ＥＬモニタ等である。表示部２１０は、スルー画像及び記録画像等の画像を、表示する。スルー画像及び記録画像は、制御部１３０（画像処理部１３３）により、生成される。記録画像は、メモリ等の静止画データ又は動画データを、デコードすることにより得られる画像である。操作部２２０は、ユーザから操作を受け付ける操作インターフェースである。操作部２２０は、撮像装置１００の外部に配置される操作釦や操作ダイヤル等の総称である。操作部２２０は、ユーザによる操作を受け付けると、操作内容に対応する信号を、制御部１３０に送信する。

＜動画撮影時のＡＥ処理＞
図２は、撮像装置１００において動画撮影が実行される場合のタイミングチャートである。この動画撮影では、合成信号（合成画像）が生成され、この合成信号がメモリ等に記録される。

ここでは、図２を参照して、合成信号の生成時の基本動作を説明する。動画撮影は、所定の時間間隔、例えば１／６０秒（１フレーム）ごとの垂直同期信号によって、実行される。図２では、フレームａ、フレームｂ・・・の順で、動画撮影が実行される様子を示している。このときに、撮像処理部１３５は、露光部１７０を制御することによって、撮像部１４０（ＣＭＯＳイメージセンサ１４１）の蓄積時間が、第１蓄積時間及び第２蓄積時間で周期的に変化するように、制御する。これにより、撮像部１４０が、第１蓄積時間に対応する第１撮像信号、及び第２蓄積時間に対応する第２撮像信号を、時間軸に沿って、周期的に生成し、出力する。すなわち、撮像部１４０は、第１蓄積時間と第２蓄積時間とのそれぞれの蓄積時間の終了のタイミングで、第１撮像信号と第２撮像信号とを順次出力する。

そして、制御部１３０の画像処理部１３３（合成処理部１３４）が、撮像部１４０から出力された第１撮像信号及び第２撮像信号に基づいて、合成信号を生成し、この合成信号を合成画像データとしてメモリ等に記録する。図２では、第１撮像信号ａと第２撮像信号ｂに基づいて合成信号Ａが、第２撮像信号ｂと第１撮像信号ｃに基づいて合成信号Ｂが生成される様子を示している。このように、第１撮像信号と第２撮像信号に基づいて合成信号が順次生成される。

このようして合成信号を生成している際には、１フレームごとに、第１撮像信号及び第２撮像信号に対して、ＡＥ処理が実行される。まず、露光部１７０が作動し、撮像部１４０に対する光量及び露光時間が調節される。これにより、撮像部１４０において、上記の第１蓄積時間及び第２蓄積時間が、決定される。すると、第１蓄積時間又は第２蓄積時間に基づいて、撮像部１４０が、第１撮像信号又は第２撮像信号を生成する。この処理は、１フレームごとに実行され、第１撮像信号及び第２撮像信号を用いて、ＡＥ処理が実行される。このＡＥ処理に基づいて、露光部１７０がＡＥ制御される。

以下では、図５Ａ〜図５Ｃのフローチャートを参照して、このＡＥ処理を詳細に説明する。まず、図５Ａに示すように、現フレームの撮像信号が第１撮像信号であるか否かが、判断される（ステップＳ１）。ここで、現フレームの撮像信号が第１撮像信号であった場合（ステップＳ１でＹｅｓ）、第１撮像信号の第１輝度情報が取得される（ステップＳ２）。具体的には、図３に示したように、第１撮像信号をＭ×Ｎ個に分割することによって、各区分の第１輝度部分情報が検出される。各区分の第１輝度部分情報を検出することによって、第１輝度情報が取得される。ここで、第１輝度情報は、Ｍ×Ｎ個の第１輝度部分情報から構成される。

続いて、第１輝度情報に飽和部分が存在するか否か、すなわち第１輝度情報が飽和情報（飽和部分の輝度を示す情報）を有しているか否かが、判断される（ステップＳ３）。

ここで、第１輝度情報が飽和情報を有していた場合（ステップＳ３でＹｅｓ）、前フレームの第２輝度情報から、現フレームの第１輝度情報の飽和部分に対応する第２輝度部分情報が、検出される。そして、図３に示すように、この検出された第２輝度部分情報を用いて、現フレームの第１輝度情報における飽和部分の第１輝度部分情報が、補完される。具体的には、第１輝度情報及び第２輝度情報の間の輝度レベル差に応じた所定の補完倍率によって、第２輝度部分情報が変換され、変換された第２輝度部分情報によって、第１輝度部分情報が補完される。そして、補完後の第１輝度情報（補完後のＭ×Ｎ個の第１輝度部分情報）は、第１記録部（バッファ１６０ａ）に記録される（ステップＳ４）。

一方で、第１輝度情報が飽和情報を有してない場合（ステップＳ３でＮｏ）、現フレームの第１輝度情報（Ｍ×Ｎ個の第１輝度部分情報）が、第１記録部（バッファ１６０ａ）に記録される（ステップＳ５）。

続いて、第１記録部に記録された第１輝度情報に対して、輝度調整部１３８により輝度調整処理が実行される。具体的には、Ｍ×Ｎ個の第１輝度部分情報に対して、重み付け処理が実行される。詳細には、所定の重み付け関数によって算出される倍率によって、Ｍ×Ｎ個の第１輝度部分情報が、重み付けされる（ステップＳ６）。

続いて、重み付けされた第１輝度情報に対して、輝度平均処理部１３９による輝度平均化処理が実行される（ステップＳ７）。具体的には、Ｍ×Ｎ個の第１輝度部分情報を平均化する処理が、実行される。これにより、現フレームの第１輝度情報の輝度代表値（第１輝度平均）が、算出される。そして、この第１輝度情報の輝度代表値が、第１記録部に記録される。

なお、ステップＳ１において現フレームの撮像信号が第２撮像信号であった場合（ステップＳ１でＮｏ）、第２撮像信号の第２輝度情報が、取得される（ステップＳ８）。そして、この第２輝度情報が、現フレームの輝度情報として、第１記録部に記録される。なお、ステップＳ８における第２輝度情報の取得は、ステップＳ２における処理と同様であるので、説明は省略する。

続いて、上記の第１輝度情報又は第２輝度情報に基づいて、第１露光制御情報又は第２露光制御情報（ＡＥ制御情報）が、設定される（ステップＳ９）。そして、第１露光制御情報又は第２露光制御情報（ＡＥ制御情報）に基づいて、ＡＥ制御が実行される（ステップＳ１０）。

以下では、ステップＳ９において実行される処理について、説明する。まず、ステップＳ９の処理概要を、説明する。現フレームの撮像信号が第１撮像信号である場合、図５Ａに示すステップＳ７で平均化された第１輝度情報（Ｍ×Ｎ個の第１輝度部分情報）の第１輝度平均に基づいて、第１露光制御情報が設定される。一方で、現フレームの撮像信号が第２撮像信号である場合、ステップＳ８で取得された第２輝度情報（Ｍ×Ｎ個の第２輝度部分情報）に基づいて、第２露光制御情報が設定される。

次に、図５Ａに示すステップＳ９の処理について、図５Ｂを参照して、詳細に説明する。まず、現フレームの撮像信号が第１撮像信号であるか否かが、判断される（ステップＳ１１）。なお、図５Ａに示すステップＳ１において、制御部１３０は、既に、現フレームの撮像信号が第１撮像信号であるか否かを認識している。このため、ステップＳ１１の判断は敢えて行う必要はないが、ここでは、説明を容易にするために、ステップＳ１と同じ処理を記載している。

ここで、現フレームの撮像信号が第１撮像信号であった場合（ステップＳ１１でＹｅｓ）、図５ＡのステップＳ７で算出された第１輝度平均及び第１輝度目標レベルに基づいて、第１輝度変化量が設定される（ステップＳ１２）。具体的には、第１輝度平均及び第１輝度目標レベルに基づいて、輝度レベル差が設定され、この輝度レベル差を調整値で除算する処理（＝輝度レベル差／調整値）を実行することによって、第１輝度変化量が設定される。調整値は、輝度レベル差の大きさを調整するためのものである。

続いて、第１輝度変化量が、輝度を変化させる上限値（閾値）以下であるか否かが、判断される（ステップＳ１３）。ここで、第１輝度変化量が、輝度を変化させる上限値より大きい場合（ステップＳ１３でＮｏ）、調整値が増加される（ステップＳ１４）。そして、ここで増加させた調整値に基づいて、ステップＳ１２の処理が実行される。ステップＳ１３及びステップＳ１４の処理は、第１輝度変化量が上限値以下になるまで収束計算される。

そして、第１輝度変化量が上限値以下になった場合（ステップＳ１３でＹｅｓ）、第１輝度変化量に基づいて第１輝度情報を第１輝度目標レベルに向けて変化させることによって、２フレーム先の第１輝度情報が設定される（ステップＳ１５）。すると、この第１輝度情報に基づいて、２フレーム先の第１露光制御情報（第１露出情報、第１シャッタ情報、第１感度情報）が、設定される（ステップＳ１６）。すると、この第１露光制御情報に基づいて、上述したＡＥ制御が実行される（図５ＡのステップＳ１０）。

ここで、ステップＳ１６の処理について、具体的に説明する。第１撮像信号から取得した第１輝度情報が、第１輝度目標レベルに対して低い場合、第１シャッタ情報を低速情報に（シャッタスピードを遅く）設定したり、第１感度情報を高感度情報に（ゲインを上げて）設定したりする。これにより、次の第１輝度情報を取得する時に、第１輝度情報が高くなるように、第１露光制御情報が設定される。

また、第１撮像信号から取得した第１輝度情報が、第１輝度目標レベルに対して高い場合、第１シャッタ情報を高速情報に（シャッタスピードを速く）設定したり、第１感度情報を低感度に（ゲインを下げて）設定したりする。これにより、次の第１輝度情報を取得する時に、第１輝度情報が低くなるように、第１露光制御情報が設定される。なお、第１シャッタ情報及び第１感度情報を変化させる量は、第１輝度情報が第１輝度目標レベルに徐々に近付くように、１フレームごとに調整される。

一方で、現フレームの撮像信号が第２撮像信号であった場合（ステップＳ１１でＮｏ）、第２露光制御情報が設定される（ステップＳ１７）。

以下では、ステップＳ１７の処理を、図５Ｃを参照して、詳細に説明する。前フレームの第１露光制御情報において、第１シャッタ情報が低速情報であるか否かが、判断される（ステップＳ１８）。ここで、前フレームの第１シャッタ情報が低速情報である場合（ステップＳ１８でＹｅｓ）、現フレームの第２シャッタ情報に対して、前フレームの第１シャッタ情報が設定される（ステップＳ１９）。

そして、第１撮像信号及び第２撮像信号の間の輝度レベル差を設定するために、第２シャッタ情報に対応する第２感度情報が、調整される（ステップＳ２０）。具体的には、第２シャッタ情報に対応する第２感度情報のゲインを調整することによって、第１撮像信号及び第２撮像信号の間の輝度レベル差が設定される。ここで、露光部１７０は、１フレーム（１／６０秒）ごとの調整に追随することが難しいため、第２露出情報は、第２シャッタ情報に基づいて所定の露出量に設定されている。

このようにして、第２輝度情報、第２感度情報、及び第２露出情報を設定することによって、２フレーム先の第２露光制御情報が設定される（ステップＳ２１）。すると、この第２露光制御情報に基づいて、上述したＡＥ制御が実行される（図５ＡのステップＳ１０）。

ここで、前フレームの第１シャッタ情報が低速情報ではない場合（ステップＳ１８でＮｏ）、前フレームの第１撮像信号の第１輝度変化量に基づいて、第２露光制御情報が設定される（ステップＳ２２）。具体的には、第２感度情報は、前フレームの第１撮像信号の第１輝度変化量に基づいて、現フレームの第２輝度情報が第２輝度情報の第２輝度目標レベルに近づくように、２フレーム先の第２露光制御情報が設定される。

より具体的には、前フレームの第１撮像信号の第１輝度変化量に基づいて、現フレーム第２輝度変化量が設定される。第２輝度変化量は、第２輝度情報の輝度を変化させるためのものである。この第２輝度変化量に基づいて、第２輝度情報が第２輝度目標レベルに近づくように、２フレーム先の第２輝度情報が設定される。第２輝度目標レベルは、第１輝度情報との輝度レベル差が一定となるような輝度レベルである。このようにして、第２輝度情報が設定されると、この第２輝度情報に基づいて、２フレーム先の第２露光制御情報が設定される。すると、この第２露光制御情報に基づいて、上述したＡＥ制御が実行される（図５ＡのステップＳ１０）。

上記のＡＥ処理では、図３及び図５Ａに示すように、第１輝度情報が飽和したとしても、第２輝度情報によって、第１輝度情報の飽和部分を補完することができるので、欠損のない輝度情報によって、ＡＥ制御を実行することができる。すなわち、輝度の欠損を適切に評価した上で、ＡＥ制御を実行することができる。

また、上記のＡＥ処理では、被写体の輝度変化に応じて、輝度情報を変化させている。例えば、図５Ｂで説明したように、輝度レベル差に基づいて、輝度変化量が閾値以下になるように設定し、設定後の輝度変化量に基づいて輝度を変化させている。これにより、輝度レベル差が大きい場合に、輝度情報を緩やかに変化させることができる。すなわち、輝度レベル差が大きい場合に、輝度が自然に変化する映像を、生成することができる。

さらに、上記のＡＥ処理では、図４Ｂ及び図５Ｃに示すように、第１露光制御情報が所定の条件を満足した場合、例えば第１シャッタ情報が低速情報を有する場合に、第２シャッタ情報に対して第１シャッタ情報を適用している。これにより、移動する被写体を撮影する場合であっても、シャッタスピードの差に伴う第１撮像信号と第２撮像信号とにおける画像のブレ方の差が抑制され、自然な合成信号（合成画像）を生成することができる。

［他の実施形態］
本技術は以上のような実施形態に限定されるものではなく、本技術の範囲を逸脱することなく種々の変形又は修正が可能である。

（ａ）上記実施形態では、画像処理部１３３が制御部１３０に含まれる場合の例を示したが、画像処理部１３３は、制御部１３０とは独立した構成としてもよい。

（ｂ）上記実施形態では、本技術の特徴を説明するために必要な構成を説明した。しかし、ここに示されてはいないものの撮像装置１００を動作させるために必要な他の構成については、従来技術と同様に構成されている。すなわち、ここで説明が省略された他の構成は、従来技術に準ずる。

（ｃ）上記実施形態では、第１輝度情報が飽和情報を有している場合に、第１輝度情報の輝度代表値に基づいて、第１露光制御情報が設定される場合の例を示した。これに代えて、この場合、図５Ａに示すステップＳ４で補完された第１輝度情報に基づいて、第１露光制御情報を設定してもよい。

（ｄ）上記実施形態では、第１輝度情報が飽和情報を有している場合に、第１輝度情報の輝度代表値に基づいて、第１露光制御情報が設定される場合の例を示した。これに代えて、この場合、図５Ａに示すステップＳ６で調整された第１輝度情報に基づいて、第１露光制御情報を設定してもよい。

１００ 撮像装置
１１０ 光学系
１３０ 制御部
１３２ 露光情報設定部
１３２ａ 第１露光情報設定部
１３２ｂ 第２露光情報設定部
１３２ｃ 第３露光情報設定部
１３２ｄ シャッタ設定部
１３２ｅ 感度調整部
１３３ 画像処理部
１３４ 合成処理部
１３５ 撮像処理部
１３６ 輝度情報取得部
１３７ 輝度情報補完部
１３８ 輝度調整部
１３９ 輝度平均処理部
１４０ 撮像部
１７０ 露光部

Claims (5)

1. フレーム毎に、入射する光に応じた電荷を蓄積することにより、撮像信号を生成し出力する撮像部と、
   前記撮像部に入射する光を調節する露光部と、
   前記撮像部が前記電荷を蓄積する時間を、第１蓄積時間、及び前記第１蓄積時間以下の第２蓄積時間に、制御する撮像処理部と、
   前記第１蓄積時間で生成される第１撮像信号の輝度を制御するための第１露光制御情報、及び前記第２蓄積時間で生成される第２撮像信号の輝度を制御するための第２露光制御情報を、設定する露光情報設定部と、
   前記第１撮像信号と前記第２撮像信号とを合成する画像処理部と、
   を備え、
   前記第１露光制御情報が所定の条件を満足した場合には、前記露光情報設定部は、時間軸上において互いに隣接する前記フレームに対応するそれぞれの前記電荷を蓄積する時間が同じになるように、前記第１露光制御情報及び前記第２露光制御情報を設定する、
   撮像装置。
2. 前記第１露光制御情報及び前記第２露光制御情報それぞれは、シャッタ情報を含み、
   前記露光情報設定部は、前記シャッタ情報を設定するシャッタ設定部を、有し、
   前記シャッタ設定部は、前記第１露光制御情報の前記シャッタ情報が、低速シャッタを示す低速情報である場合に、時間軸上において互いに隣接する前記フレームに対応する前記第１露光制御情報及び前記第２露光制御情報の前記シャッタ情報を、同じ情報に設定する、
   請求項１に記載の撮像装置。
3. 前記シャッタ設定部は、前記第１露光制御情報の前記シャッタ情報が前記低速情報である場合に、前記第２露光制御情報の前記シャッタ情報に対して、前記第１露光制御情報の前記シャッタ情報を、設定する、
   請求項２に記載の撮像装置。
4. 前記第１露光制御情報及び前記第２露光制御情報それぞれは、感度情報をさらに含み、
   前記露光情報設定部は、前記第１撮像信号及び前記第２撮像信号の間の輝度レベル差を設定するために、前記シャッタ設定部で設定された前記シャッタ情報に対応する前記感度情報を、調整する感度調整部を、さらに有する、
   請求項２又は３に記載の撮像装置。
5. 前記シャッタ設定部は、前記第１露光制御情報の前記シャッタ情報が前記低速情報である場合に、前記第２露光制御情報の前記シャッタ情報に対して、前記第１露光制御情報の前記シャッタ情報を、設定し、
   前記感度調整部は、前記輝度レベル差を設定するために、前記第２露光制御情報において前記シャッタ情報に対応する前記感度情報を、調整する、
   請求項４に記載の撮像装置。