JP6190243B2 - 撮像装置及びその制御方法 - Google Patents

Description

本発明は、撮像装置及びその制御方法に関する。

撮像装置に用いられる撮像素子としては、ＣＣＤ（Charge Coupled Device）型イメージセンサ（以下「ＣＣＤセンサ」という。）が一般的であった。しかし近年では、撮像素子の多画素化が進むにつれ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型イメージセンサ（以下「ＣＭＯＳセンサ」という。）が注目されている。

ＣＭＯＳセンサなどの撮像素子は、画素の光電変換素子が入射光量に応じた電荷を蓄積し、蓄積した電荷に対応する電気信号を出力する光電変換を行う。また、ＣＭＯＳセンサなどの撮像素子は、電子シャッタ機能を備えている。電子シャッタ機能は、画素の光電変換素子をリセットすることにより露光を開始し、光電変換素子に蓄積した電荷を読み出すことにより露光を終了させる。このように、撮像素子の機能だけで露光の始まりと終わりを制御するので、低速シャッタから高速シャッタまで、正確な露光時間の制御を実現することが可能である。

さらに、ＣＭＯＳセンサの特徴の一つに、ローリングシャッタ動作（フォーカルプレーンシャッタ動作とも呼ばれる。）がある。ローリングシャッタ動作では、ＣＣＤセンサと異なり、２次元配列された複数の画素を１ライン毎に順次走査して画素の電荷のリセットを実施する。そして所定の露光時間経過後に、１ライン毎に順次走査して、蓄積した電荷の読み出しと信号の出力を行う。

このように、ローリングシャッタ動作は、ライン毎に電荷読み出しと信号出力のための時間差を持った動作となっている。これにより、１回の撮像動作の中で、ライン毎に露光時間がずれてしまうことになる。

ところで、このようなＣＭＯＳセンサなどの撮像素子を用いた撮像装置においては、明るいところと暗いところが混在するような被写体の撮像を行う場合に、ダイナミックレンジが不足しがちであるという問題がある。例えば、明るいところに合わせて露光時間を短く制御すると、暗い部分で十分な露光時間がとれないために、黒つぶれやＳ／Ｎの劣化による画質の低下が発生する。逆に、暗いところに合わせて露光時間を長く制御すると、光電変換素子の蓄積電荷量が飽和レベルに達してしまい、一定以上の明るさの被写体領域が飽和した輝度レベルに設定される白とびが発生する。

明るい部分、暗い部分の階調を正確に再現する手法として、ダイナミックレンジ拡大処理がある。ダイナミックレンジ拡大処理は、撮像素子上での入射光量が少ない画素では露光時間を長く制御して高いＳ／Ｎを実現し、入射光量が多い画素では飽和を回避する。

ダイナミックレンジ拡大処理の一方式として、同一の撮像素子で連続的に露光時間の異なる複数の画像を撮像して合成する複数回露光方式が知られている。複数回露光方式では、長時間露光画像と短時間露光画像が連続的に個別に撮影される。暗い画像領域には長時間露光画像を利用し、長時間露光画像では白とびとなってしまうような明るい画像領域には短時間露光画像を利用して、合成処理が行われる。こうして、ダイナミックレンジが拡大された１つの画像が生成される。

しかしながら、複数回露光方式では、長時間露光と短時間露光を交互に行い、それぞれの露光から得られた信号を交互に読み出す必要がある。また、複数回露光方式を動画撮影に応用した場合には、フレームレートを均一にするために長時間露光時の１フレーム期間と短時間露光時の１フレーム期間を同一にする必要がある。すると、長時間露光の露光時間が最大で１フレーム期間となり、通常の撮像素子の動作においても、露光時間は最大で１フレーム期間に設定できるため、長時間露光によるＳ／Ｎの改善効果は期待できない。さらに、短時間露光の露光時間は、露光時間の比を２：１とした場合では、最大で１フレーム期間の半分に設定されてしまうため、露光に寄与しない無駄時間も発生してしまう。

また、複数回露光方式では、長時間露光と短時間露光の間に１フレーム期間の時間差が生じている。そのため、移動する被写体が存在すると、長時間露光の画像と短時間露光の画像が同一にならない。その結果、ダイナミックレンジを拡大処理された画像において、移動する被写体がぶれたり、偽色が発生するという問題もある。

こうした複数回露光方式の問題に対応して、ダイナミックレンジ拡大処理の別の手法が、特許文献１、２に開示されている。特許文献１、２では、２ライン毎に２つにグループ化した画素に対して、それぞれ異なる露光時間が設定される。そして、例えば長時間露光画素から高感度画素情報を取得し、短時間露光画素から低感度画素情報を取得し、これらの異なる感度の画素情報に基づいてダイナミックレンジを拡大した画像を生成する。この方法によれば、１つの撮影画像に基づいてダイナミックレンジを拡大した画像を生成することができる。

また、特許文献２は、長時間露光と短時間露光の露光時間の中心を合わせることで、複数回露光方式の問題である移動する被写体のぶれを解消する手法も提案している(特許文献２の図１３）。

特開２０１２−１０５２２５号公報 特開２０１１−２４４３０９号公報

しかしながら、特許文献１の図６や特許文献２の図９に記載された方法においては、２ライン毎に露光時間の異なる画素の信号を、同時期に全ライン読み出すことになる。そのため、長時間露光画素に対する補正処理及び信号処理と、短時間露光画素に対する補正処理及び信号処理とを、２ライン毎に切り換えて実施する必要がある。このような処理では、信号処理回路の負担が大きい。

また、特許文献２の図１３に記載された方法では、短時間露光の中心が常に長時間露光の中心に合っていることが必要である。そうすると、露光時間が変更されることによって長時間露光のリセット及び読み出しのタイミングが変更されるたびに、短時間露光の中心を合わせるためのリセット及び読み出しのタイミングを変更する必要がある。したがってこのような手法では、タイミング制御が複雑になるという課題がある。

本発明は、ダイナミックレンジ拡大処理のためのローリングシャッタ動作の改良であり、画素信号の読み出しにかかる処理負荷の平準化とタイミング制御の単純化を両立した手法を実現する。

本発明の一側面によれば、光電変換素子を持つ複数の画素がマトリクス状に配置された撮像素子と、短時間露光用の垂直同期信号である短期垂直同期信号と、１周期が前記短期垂直同期信号の所定周期分に等しい長時間露光用の長期垂直同期信号とを発生する同期信号発生手段と、前記長期垂直同期信号に従い、前記撮像素子の所定ライン間隔で設定した長時間露光用のラインで長時間露光を実施するとともに、前記短期垂直同期信号に従い、前記撮像素子のその他のラインでそれぞれ短時間露光及び中時間露光を実施する露光制御手段とを有し、前記露光制御手段は、前記長時間露光用のラインについては、前記長期垂直同期信号に同期して前記長時間露光で得られた画素信号の読み出しを開始し、前記その他のラインについては、前記長時間露光用のラインの画素信号の読み出し期間と重複しない短期垂直同期信号に同期して前記短時間露光で得られた画素信号の読み出しを開始し、前記長時間露光で得られた画素信号の読み出しの期間及び前記短時間露光で得られた画素信号の読み出しの期間と重複しない短期垂直同期信号に同期して前記中時間露光で得られた画素信号の読み出しを開始することを特徴とする撮像装置が提供される。

本発明によれば、ダイナミックレンジ拡大処理のためのローリングシャッタ動作における画素信号の読み出しにかかる処理負荷の平準化とタイミング制御の単純化が図られる。

実施形態に係る撮像装置の構成を示す図。 実施形態に係る撮像素子の概略構成を示す図。 第１の実施形態に係る撮像素子の制御タイミングを示す図。 第１の実施形態に係る撮像素子の制御タイミングを示す図。 第１の実施形態に係る撮像素子の制御タイミングを示す図。 第２の実施形態に係る撮像素子の制御タイミングを示す図。 第２の実施形態に係る撮像素子の制御タイミングを示す図。 実施形態に係るダイナミックレンジ拡大処理を説明する図。

以下、添付の図面を参照して、本発明の実施形態を詳しく説明する。なお、以下に説明する実施形態は、本発明の実施構成の一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施形態に限定されるものではない。

＜第１の実施形態＞
第１の実施形態においては、ダイナミックレンジ拡大処理（以下「ＨＤＲ処理」という。）に用いるために、２ライン毎に露光時間の異なる画素の信号を出力するように制御された撮像素子の動作について説明する。

図１は、本実施形態に係る撮像装置の構成を示す図である。本実施形態の撮像装置は、デジタルスチルカメラやデジタルビデオカメラなどに応用可能である。図１に示す撮像装置は、光学系１１、撮像素子１２、信号処理部１３、圧縮伸張部１４、同期制御部１５、操作部１６、画像表示部１７、及び画像記録部１８を備えている。光学系１１は、被写体からの光を撮像素子１２に集光するためのレンズ、レンズを移動させてズームや合焦を行うための駆動機構、メカニカルシャッタ機構、絞り機構などを備えている。これらのうちの可動部は、同期制御部１５からの制御信号に基づいて駆動される。

撮像素子１２は、光電変換素子を持つ複数の画素がマトリクス状に配置されたＸＹアドレス方式のＣＭＯＳセンサである。撮像素子１２は、ＣＤＳ（Correlated Double Sampling）回路、ＡＧＣ（Auto Gain Control）回路、Ａ／Ｄ変換器等を含み、同期制御部１５からの制御信号により制御される。ここで、ＣＭＯＳセンサは、同期制御部１５からの制御信号に応じて、露光や信号読み出し、リセットなどの撮像動作を実施する。そして、ＣＤＳ回路によるノイズ除去、ＡＧＣ回路による利得制御、及び、Ａ／Ｄ変換器によるアナログ−デジタル変換を経て、デジタル化された画像信号を出力する。

信号処理部１３は、同期制御部１５の制御の下で、撮像素子１２から入力されるデジタル化された画像信号に対して、ホワイトバランス調整、色補正、ガンマ補正、ＡＦ（Auto Focus）、ＡＥ（Auto Exposure）等の信号処理を施す。本実施形態においては、この信号処理部１３において、ＨＤＲ処理を実施する。

ＨＤＲ処理の方法としては、例えば、特許文献１の図４のように、感度比を補償するゲイン値と明るさに応じた重み付け係数を用いて、長時間露光画素の信号と短時間露光画素の信号を合成する方法がある。あるいは、特許文献２の図７のように、明るさに応じて、長時間露光画素の信号と短時間露光画素の信号のどちらかを選択する方法を採用してもよい。

圧縮伸張部１４は、同期制御部１５の制御の下で、信号処理部１３からの画像信号に対して、ＪＰＥＧ（Joint Photographic Coding Experts Group）等の所定の静止画像データフォーマットで圧縮符号化処理を行う。また、圧縮伸張部１４は、同期制御部１５から供給された静止画像の符号化データを伸張復号化処理も行う。さらに、圧縮伸張部１４は、ＭＰＥＧ（Moving Picture Experts Group）等により動画像の圧縮符号化／伸張復号化処理も実行可能となっている。

同期制御部１５は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等から構成されるマイクロコントローラであり、ＲＯＭ等に記憶されたプログラムを実行することにより、この撮像装置の各部を統括的に制御する。

操作部１６は、例えばシャッタレリーズボタンなどの各種操作キーやレバー、ダイヤル等から構成され、ユーザによる入力操作に応じた制御信号を同期制御部１５に出力する。

画像表示部１７は、ＬＣＤ（Liquid Crystal Display）等の表示デバイスや、これに対するインタフェース回路等を含む。画像表示部１７は、同期制御部１５から供給された画像信号から表示デバイスに表示させるための画像信号を生成し、この信号を表示デバイスに供給して画像を表示させる。

画像記録部１８は、例えば、可搬型の半導体メモリや、光ディスク、ＨＤＤ（Hard Disk Drive）、磁気テープなどとして実現される。画像記録部１８は、圧縮伸張部１４により符号化された画像データファイルを同期制御部１５から受け取って記憶する。画像記録部１８はまた、同期制御部１５からの制御信号を基に指定されたデータを読み出し、同期制御部１５に出力する。

本実施形態における撮像装置の構成は概ね以上のようなものである。次に、本実施形態における撮像装置の基本的な動作について説明する。

静止画像の撮像前には、撮像素子１２から出力された画像信号が信号処理部１３に順次供給される。信号処理部１３は、撮像素子１２からのデジタル画像信号に対して画質補正処理を施し、カメラスルー画像の信号として、同期制御部１５を通じて画像表示部１７に供給する。これにより、カメラスルー画像が表示され、ユーザは表示画像を見て画角合わせを行うことが可能となる。この状態で、操作部１６のシャッタレリーズボタンが押下されると、同期制御部１５の制御により、撮像素子１２からの１フレーム分の撮像信号が、信号処理部１３に取り込まれる。信号処理部１３は、取り込んだ１フレーム分の画像信号に画質補正処理を施し、処理後の画像信号を圧縮伸張部１４に供給する。圧縮伸張部１４は、入力された画像信号を圧縮符号化し、生成した符号化データを同期制御部１５を通じて画像記録部１８に供給する。これにより、撮像された静止画像のデータファイルが画像記録部１８に記録される。

一方、画像記録部１８に記録された静止画像のデータファイルを再生する場合には、同期制御部１５は、操作部１６からの操作入力に応じて、選択されたデータファイルを画像記録部１８から読み込み、圧縮伸張部１４に供給して伸張復号化処理を実行させる。復号化された画像信号は同期制御部１５を介して画像表示部１７に供給され、これにより静止画像が再生表示される。

また、動画像を記録する場合には、信号処理部１３で順次処理された画像信号に圧縮伸張部１４で圧縮符号化処理を施し、生成された動画像の符号化データを順次画像記録部１８に転送して記録する。また、画像記録部１８から動画像のデータファイルを読み出して圧縮伸張部１４に供給し、伸張復号化処理させて、画像表示部１７に供給することで、動画像が表示される。

図２は、本実施形態に係る撮像素子１２の構成を示す図である。図２に示す撮像素子１２（ＣＭＯＳセンサ）は、複数の画素からなる画素領域２００を備える。撮像素子１２はまた、垂直選択部２２０、画素それぞれに接続する画素制御線２３０及び垂直信号線２４０を有する。撮像素子１２は更に、列信号処理部２５０、水平メモリ部２６０、水平選択部２７０、出力部２８０、及び、ＴＧ２９０（Timing Generator）を備える。

画素領域２００は、不図示の光電変換素子とトランジスタを持つＣＭＯＳセンサの画素で構成され、各画素は、水平方向・垂直方向にマトリクス状に配置されている。図２において、各画素は、上位２ケタを行番号、下位２ケタを列番号として、Ｐ（０１０１）からＰ（１６１６）で示される。図２には、１６×１６配列の例が示されているが本発明は特定の行列数に限定されるものではない。

垂直選択部２２０は、画素領域２００の画素配列を１行ずつ選択し、選択した画素行のリセット動作や読み出し動作を制御する。画素制御線２３０は、画素行毎に共通に接続され、垂直選択部２２０による行単位の制御信号を伝達する。垂直信号線２４０は、画素列毎に共通に接続され、画素制御線２３０により選択された行の画素の信号がそれぞれ対応する垂直信号線２４０に読み出される。列信号処理部２５０は、垂直信号線２４０の各々に設けられる不図示のＣＤＳ回路、ＡＧＣ回路、及びＡ／Ｄ変換器を含む。垂直信号線２４０を通して送られてくる行単位の画素の信号それぞれに対して、ＣＤＳ回路は、画素回路内のトランジスタのしきい値のばらつきに起因する固定パターンノイズを除去して、Ｓ／Ｎを良好に保つようにサンプルホールドを行う。ＡＧＣ回路は利得制御を実施する。Ａ／Ｄ変換器はアナログ−デジタル変換を実施する。

水平メモリ部２６０は、垂直信号線２４０毎に設けられ、それぞれ対応する列信号処理部２５０においてデジタル化された行単位の画素信号を記憶する。水平選択部２７０は、それぞれ対応する水平メモリ部２６０を列毎に選択し、記憶しているデジタル化された画素信号を出力部２８０を介して信号処理部１３へ出力する。ＴＧ２９０は、同期制御部１５からの制御信号に基づいて、撮像素子１２の各部の動作に必要な各種のクロック信号や制御信号などを出力する。

以下、実施形態における撮像素子１２の露光及び読み出しタイミングの制御について詳しく説明する。前述したように、特許文献１の図６や特許文献２の図９に記載された方法においては、２ライン毎に露光時間の異なる画素の信号を、同時期に全ライン読み出すことになる。そのため、長時間露光画素に対する補正処理及び信号処理と、短時間露光画素に対する補正処理及び信号処理とを、２ライン毎に切り換えて実施する必要がある。このような処理では、信号処理回路の負担が大きい。

加えて、ＨＤＲ処理を行う場合には、上記画素に対する補正処理及び信号処理と同時に、２ライン毎の長時間露光画素と短時間露光画素との位置ずれ補正処理とともにＨＤＲ処理を実施することになる。そうすると、撮像装置全体のシステムへの負担は更に大きくなる。

さらに、この方法では、ローリングシャッタ動作を用いて、２ライン毎に露光時間の異なる画素の信号を全ライン読み出すため、最初のラインから最後のラインまで読み出す時間がかかる。このため、ライン毎に露光時間がずれた分だけ移動する被写体が歪んでしまう、ローリング歪という現象が発生しやすくなるという課題もある。

また、特許文献２の図１３に記載された方法では、短時間露光の中心が常に長時間露光の中心に合っていることが必要である。そうすると、露光時間が変更されることによって長時間露光のリセット及び読み出しのタイミングが変更されるたびに、短時間露光の中心を合わせるためのリセット及び読み出しのタイミングを変更する必要がある。したがってこのような手法では、タイミング制御が複雑になるという課題がある。

さらに、この方法では、露光時間が短くなった場合、短時間露光を行うラインを全て読み出すことにかかる時間が、長時間露光と短時間露光の差の半分を超える場合が考えられる。この場合、短時間露光を行うラインの読み出し終了が、長時間露光を行うラインの読み出し開始とぶつかってしまうため、ライン毎に読み出すことができなくなるという課題もある。

そこで本実施形態では、以下に説明する処理によって、タイミング制御の単純化を図りつつ、画素信号の読み出しにかかる処理負荷の平準化を実現する。

図３は、本実施形態に係る撮像素子１２の制御タイミングを示す図である。本実施形態では、ＨＤＲ処理のために、画素領域２００の画素行は、所定ライン間隔（例えば２ライン間隔）で、長時間露光用のライン（以下「長時間露光ライン」という。）が設定される。その他のラインはそれぞれ、短時間露光及び中時間露光が実施される。図３において、ＶＤＬは長時間露光用の垂直同期信号（長期垂直同期信号）、ＶＤＳは短時間露光用の垂直同期信号（短期垂直同期信号）である。長時間露光フレームの垂直同期期間はＴｆｒｌ、短時間露光フレームの垂直同期期間はＴｆｒｓで示される。長期垂直同期信号の１周期にあたる垂直同期期間Ｔｆｒｌは、短期垂直同期信号の所定周期分、例えばＮ周期分（＝Ｎ・Ｔｆｒｓ。ただしＮは２以上の自然数）に等しい。図３の例では、Ｎ＝２、すなわち２周期分である。本実施形態では、これらの短期垂直同期信号、長期垂直同期信号は、同期信号発生手段としてのＴＧ２９０によって発生される。ＨＤは、水平同期信号を示し、画素のリセット動作や読み出し動作を行単位で実施する期間となる。

Ｌｉｎｅ０１からＬｉｎｅ１６は、画素領域２００の画素行Ｐ（０１−−）からＰ（１６−−）の動作の状態を示す。行番号で画素行を表すために列番号は「−−」と表示している。２ライン毎に露光時間が異なるように、長時間露光ラインを０１、０２、０５、０６、０９、１０、１３、１４ラインとし、短時間露光ラインを０３、０４、０７、０８、１１、１２、１５、１６ラインとする。

本実施形態においては更に、短時間露光と長時間露光の中間となる中時間露光を設定し、短時間露光ラインに対して実施する。そして、各ラインの画素の信号を列信号処理部２５０に読み出した後、１ライン分の画素の信号を出力部２８０から出力する期間として、対応する１ＨＤ期間をＲＯと表示する。ここで、各ラインの画素の信号を列信号処理部２５０に読み出す期間は、１ライン分の画素の信号を出力部２８０から出力する期間に比べて十分短いので、次の露光フレームはＲＯ期間から始まるものとする。また、２ライン毎に露光時間が異なる信号からダイナミックレンジの拡大処理を実施しやすいように、それぞれの画素はベイヤ配列のような２ｘ２配列の色フィルタを備えているものとする。

ＲｅａｄＯｕｔは、読み出した長時間露光フレームの出力信号Ｆｒ＿Ｌ Ｒｅａｄｏｕｔ、中時間露光フレームの出力信号Ｆｒ＿Ｍ Ｒｅａｄｏｕｔ、短時間露光フレームの出力信号Ｆｒ＿Ｓ Ｒｅａｄｏｕｔが出力部２８０から出力されるタイミングを示す。

まず、タイミングｔ００において、第１の長期垂直同期信号ＶＤＬに同期して、０１ラインの読み出しを実施することで、画素をリセットし、０１ラインの露光を開始する。続いてタイミングｔ０１において、０２ラインの読み出しを実施することで、画素をリセットし、０２ラインの露光を開始する。ｔ０２以降も同様の方法で、０５ライン、０６ライン、０９ライン、１０ライン、１３ライン及び１４ラインをリセットして、それぞれのラインの露光を開始する。

このように、１ＨＤ経過する毎に、長時間露光ラインである０１、０２、０５、０６、０９、１０、１３、１４ラインをリセットすることで、長時間露光フレームのライン順次のローリングシャッタ動作を開始することができる。

次に、タイミングｔ００からＴｆｒｓ経過後のｔ０５において、ＶＤＬの次の第１の短期垂直同期信号ＶＤＳに同期して０３ラインの読み出しを実施することで画素をリセットし、０３ラインの露光を開始する。続いてタイミングｔ０６において、０４ラインの読み出しを実施することで画素をリセットし、０４ラインの露光を開始する。ｔ０７以降も同様の方法で、０７ライン、０８ライン、１１ライン、１２ライン、１５ライン及び１６ラインをリセットして、それぞれのラインの露光を開始する。

このように、１ＨＤ経過する毎に、短時間露光ラインである０３、０４、０７、０８、１１、１２、１５、１６ラインをリセットすることで、短時間露光フレームのライン順次のローリングシャッタ動作を開始することができる。そして、タイミングｔ００から２Ｔｆｒｓ経過後のｔ１０において、第２の短期垂直同期信号ＶＤＳに同期して、０３ラインの画素の信号をＲＯ期間に出力する。これにより、画素がリセットされ、０３ラインの中時間露光が開始される。続いてタイミングｔ１１において、０４ラインの画素の信号をＲＯ期間に出力する。これにより、画素がリセットされ、０４ラインの中時間露光が開始される。ｔ１２以降も同様の方法で、０７ライン、０８ライン、１１ライン、１２ライン、１５ライン及び１６ラインの画素の信号をそれぞれのＲＯ期間で出力する。これにより、それぞれの画素がリセットされ、０７ライン、０８ライン、１１ライン、１２ライン、１５ライン及び１６ラインの中時間露光が開始される。

このように、１ＨＤ経過する毎に、短時間露光ラインである０３、０４、０７、０８、１１、１２、１５、１６ラインを読み出すことで、短時間露光フレームのライン順次のローリングシャッタ動作が終了する。これとともに、短時間露光ラインに対して中時間露光を実施する中時間露光フレームのライン順次のローリングシャッタ動作を開始することができる。この時に、長時間露光ラインである０１、０２、０５、０６、０９、１０、１３、１４ラインは露光を継続している。この時の短時間露光フレームの出力信号がＦｒ＿Ｓ Ｒｅａｄｏｕｔとなる。ここで、この短時間露光フレームにおいては、画素の読み出しをすることで、画素をリセットしているので、最長の露光時間は、短時間露光フレームの垂直同期期間（短期垂直同期期間）のＴｆｒｓとなっている。

次に、タイミングｔ００からＴｆｒｌ（＝３Ｔｆｒｓ）経過後のｔ１５において、第２の長期垂直同期信号ＶＤＬに同期して、０１ラインの画素の信号をＲＯ期間に出力する。続いてタイミングｔ１６において、０２ラインの画素の信号をＲＯ期間に出力する。ｔ１７以降も同様の方法で、０５ライン、０６ライン、０９ライン、１０ライン、１３ライン及び１４ラインの画素の信号をそれぞれのＲＯ期間で出力する。

このように、１ＨＤ経過する毎に、長時間露光ラインである０１、０２、０５、０６、０９、１０、１３、１４ラインを読み出すことで、長時間露光フレームのライン順次のローリングシャッタ動作を終了する。この時に、中時間露光を実施している短時間露光ラインである０３、０４、０７、０８、１１、１２、１５、１６ラインは露光を継続している。この時の長時間露光フレームの出力信号がＦｒ＿Ｌ Ｒｅａｄｏｕｔとなる。ここで、この長時間露光フレームにおいては、画素の読み出しをすることで、画素をリセットしているので、最長の露光時間は、長時間露光フレームの垂直同期期間のＴｆｒｌとなっている。

さらに、タイミングｔ００から４Ｔｆｒｓ経過後のｔ２０において、第２の長期垂直同期信号ＶＤＬの次の第３の短期垂直同期信号ＶＤＳに同期して、０３ラインの画素の信号をＲＯ期間に出力する。続いてタイミングｔ２１において、０４ラインの画素の信号をＲＯ期間に出力する。ｔ２２以降も同様の方法で、０７ライン、０８ライン、１１ライン、１２ライン、１５ライン及び１６ラインの画素の信号をそれぞれのＲＯ期間で出力する。

このように、１ＨＤ経過する毎に、中時間露光を実施している短時間露光ラインである０３、０４、０７、０８、１１、１２、１５、１６ラインを読み出すことで、中時間露光フレームのライン順次のローリングシャッタ動作を終了する。この時の中時間露光フレームの出力信号がＦｒ＿Ｓ Ｒｅａｄｏｕｔとなる。ここで、この中時間露光フレームにおいては、画素の読み出しをすることで、画素をリセットしているので、最長の露光時間は、短時間露光フレームの垂直同期期間の２ＴｆｒｓであるＴｆｒｍとなっている。

図３の動作においては、長時間露光フレームの最長の露光時間Ｔｆｒｌは、短時間露光フレームの最長の露光時間Ｔｆｒｓの３倍の期間となっている。また、中時間露光フレームの最長の露光時間Ｔｆｒｍは、短時間露光フレームの最長の露光時間Ｔｆｒｓの２倍の期間となっている。

また、図３の動作においては、短時間露光ラインを用いた中時間露光が、短時間露光の空き時間に実施されるように制御されていることがわかる。さらに、２ライン毎に短時間露光ラインと長時間露光ラインに分けて読み出しているので、全ラインを一度に読み出す動作に比べて、それぞれのフレームの読み出し時間は約半分になっている。

図４は、本実施形態に係る長時間露光フレーム、中時間露光フレーム及び短時間露光フレームの制御タイミングを示す図である。図４においては、図３のライン毎の動作をフレーム毎の動作で示すとともに、動画撮影に応用するために、連続撮影が可能な制御タイミングとなっている。連続撮影を可能にするためには、タイミングｔ３６以降の制御タイミングは、ｔ３０に戻って繰り返すものとする。また、図３と同じ動作や構成のものは、同じ符号で示すものとする。

タイミングｔ３０からｔ３６まで、及び、タイミングｔ３６以降がそれぞれ、第１の長期垂直同期期間Ｔｆｒｌ１及び第２の長期垂直同期期間Ｔｆｒｌ２である。タイミングｔ３０からｔ３２までが、第１の短期垂直同期期間Ｔｆｒｓ１である。タイミングｔ３２からｔ３４までが、第２の短期垂直同期期間Ｔｆｒｓ２である。タイミングｔ３４からｔ３６までが、第３の短期垂直同期期間Ｔｆｒｓ３である。タイミングｔ３６からｔ３８までが、第４の短期垂直同期期間Ｔｆｒｓ４である。そして、タイミングｔ３８からｔ４０までが、第５の短期垂直同期期間Ｔｆｒｓ５である。

Ｆｒ＿Ｌが、長時間露光フレームを構成する０１、０２、０５、０６、０９、１０、１３、１４ラインの動作の状態を示す。Ｆｒ＿Ｍ及びＦｒ＿Ｓが、それぞれ中時間露光フレーム及び短時間露光フレームを構成する短時間露光ラインである０３、０４、０７、０８、１１、１２、１５、１６ラインの動作の状態を示す。

ここで、Ｆｒ＿Ｌでは、ＶＤＬに同期して、長期垂直同期期間Ｔｆｒｌ毎に連続してローリングシャッタ動作が実施される。
また、Ｆｒ＿Ｓでは、ＶＤＬからＴｆｒｓ後のＶＤＳに同期してローリングシャッタ動作の露光が開始され、そのＴｆｒｓ後のＶＤＳに同期してローリングシャッタ動作の読み出しが開始される。
さらに、Ｆｒ＿Ｍでは、Ｆｒ＿Ｓの空き時間となるＶＤＬから２Ｔｆｒｓ後のＶＤＳに同期してローリングシャッタ動作の露光が開始され、その２Ｔｆｒｓ後のＶＤＳに同期してローリングシャッタ動作の読み出しが開始される。
そして、この動作が、ＶＤＬに同期して繰り返し実施される。

すなわち、短時間露光ラインについては、長時間露光で得られた画素信号の読み出し期間と重複しないＶＤＳに同期して画素信号の読み出しを開始する。また、長時間露光で得られた画素信号の読み出し期間及び短時間露光で得られた画素信号の読み出し期間と重複しないＶＤＳに同期して中時間露光で得られた画素信号の読み出しを開始する。

具体的には、第１の長期垂直同期期間Ｔｆｒｌ１を構成する第１の短期垂直同期期間Ｔｆｒｓ１において、一巡前に露光を開始した長時間露光フレームの出力信号Ｆｒ＿Ｌ Ｒｅａｄｏｕｔ１を出力する。次に、第２の短期垂直同期期間Ｔｆｒｓ２において、一巡前に露光を開始した中時間露光フレームの出力信号Ｆｒ＿Ｍ Ｒｅａｄｏｕｔ２を出力する。その後、第３の短期垂直同期期間Ｔｆｒｓ３において、短時間露光フレームの出力信号Ｆｒ＿Ｓ Ｒｅａｄｏｕｔ３を出力する。

同様に、第２の長期垂直同期期間Ｔｆｒｌ２を構成する第４の短期垂直同期期間Ｔｆｒｓ４において、長時間露光フレームの出力信号Ｆｒ＿Ｌ Ｒｅａｄｏｕｔ４を出力する。次に、第５の短期垂直同期期間Ｔｆｒｓ５において、中時間露光フレームの出力信号Ｆｒ＿Ｍ Ｒｅａｄｏｕｔ５を出力する。

これにより、短期垂直同期信号ＶＤＳに同期して、長時間露光フレームの出力信号Ｆｒ＿Ｌ Ｒｅａｄｏｕｔ、中時間露光フレームの出力信号Ｆｒ＿Ｍ Ｒｅａｄｏｕｔ、及び短時間露光フレームの出力信号Ｆｒ＿Ｓ Ｒｅａｄｏｕｔが繰り返し出力される。そのため、長時間露光終了後に、全ラインを一度に読み出す動作に比べて、撮像素子からの出力信号の読み出しが平準化される。

次に、電子シャッタを用いた露光制御について説明する。
まず、第１の長期垂直同期期間Ｔｆｒｌ１における長時間露光フレームＦｒ＿Ｌにおいては、タイミングｔ３１において、水平同期信号ＨＤに同期して、０１ラインの画素をリセットし、０１ラインの露光を開始する。この時のリセット動作は破線３１０で示されている。続けて、１ＨＤ経過する毎に、０２、０５、０６、０９、１０、１３、１４ラインをそれぞれリセットすることで、長時間露光フレームＦｒ＿Ｌのライン順次のローリングシャッタ動作を開始する。この時のリセット動作もそれぞれ破線で示されている。

次に、タイミングｔ３１からＴｆｒｌ＿ｅｘｐ経過後のｔ３６において、ＶＤＬに同期して、０１ラインの読み出しを実施する。連続撮影では、タイミングｔ３６以降はｔ３０に戻って繰り返すが、ここでは長時間露光フレームＦｒ＿Ｌの動作終了まで連続して表示する。この時、露光時間となるＴｆｒｌ＿ｅｘｐは、２１ＨＤとなっている。続けて、１ＨＤ経過する毎に、０２、０５、０６、０９、１０、１３、１４ラインをそれぞれ読み出すことで、長時間露光フレームＦｒ＿Ｌのライン順次のローリングシャッタ動作を終了する。これにより、長時間露光フレームＦｒ＿Ｌは、すべてのラインで露光時間Ｔｆｒｌ＿ｅｘｐとなる信号を出力することになる。この時の長時間露光フレームＦｒ＿Ｌの出力信号が、第４の短期垂直同期期間Ｔｆｒｓ４におけるＦｒ＿Ｌ Ｒｅａｄｏｕｔ４となる。

以上が、第１の長期垂直同期期間Ｔｆｒｌ１に実施される電子シャッタを用いた露光制御の動作となる。

また、第１の長期垂直同期期間Ｔｆｒｌ１における短時間露光フレームＦｒ＿Ｓにおいては、タイミングｔ３３において、水平同期信号ＨＤに同期して、０３ラインの画素をリセットし、０３ラインの露光を開始する。この時のリセット動作は破線３２０で示されている。続けて、１ＨＤ経過する毎に、０４、０７、０８、１１、１２、１５、１６ラインをそれぞれリセットすることで、短時間露光フレームＦｒ＿Ｓのライン順次のローリングシャッタ動作を開始する。この時のリセット動作もそれぞれ破線で示されている。

次に、タイミングｔ３３からＴｆｒｓ＿ｅｘｐ経過後のｔ３４において、ＶＤＳに同期して、０３ラインの読み出しを実施する。この時、露光時間となるＴｆｒｓ＿ｅｘｐは、７ＨＤとなっている。続けて、１ＨＤ経過する毎に、０４、０７、０８、１１、１２、１５、１６ラインをそれぞれ読み出すことで、短時間露光フレームＦｒ＿Ｓのライン順次のローリングシャッタ動作を終了する。これにより、短時間露光フレームＦｒ＿Ｓは、すべてのラインで露光時間Ｔｆｒｓ＿ｅｘｐとなる信号を出力することになる。この時の短時間露光フレームＦｒ＿Ｓの出力信号が、短時間露光フレームの第３の短期垂直同期期間Ｔｆｒｓ３におけるＦｒ＿Ｓ Ｒｅａｄｏｕｔ３となる。

そして、中時間露光フレームＦｒ＿Ｍにおいては、タイミングｔ３５において、水平同期信号ＨＤに同期して、０３ラインの画素をリセットし、０３ラインの露光を開始する。この時のリセット動作は破線３３０で示されている。続けて、１ＨＤ経過する毎に、０４、０７、０８、１１、１２、１５、１６ラインをそれぞれリセットすることで、中時間露光フレームＦｒ＿Ｍのライン順次のローリングシャッタ動作を開始する。この時のリセット動作もそれぞれ破線で示されている。次に、タイミングｔ３５からＴｆｒｍ＿ｅｘｐ経過後のｔ３８において、ＶＤＳに同期して、０３ラインの読み出しを実施する。連続撮影では、タイミングｔ３６以降はｔ３０に戻って繰り返すが、ここでは中時間露光フレームＦｒ＿Ｍの動作終了まで連続して表示する。この時、露光時間となるＴｆｒｍ＿ｅｘｐは、１４ＨＤとなっている。続けて、１ＨＤ経過する毎に、０４、０７、０８、１１、１２、１５、１６ラインをそれぞれ読み出すことで、中時間露光フレームＦｒ＿Ｍのライン順次のローリングシャッタ動作を終了する。これにより、中時間露光フレームＦｒ＿Ｍは、すべてのラインで露光時間Ｔｆｒｍ＿ｅｘｐとなる信号を出力することになる。この時の中時間露光フレームＦｒ＿Ｍの出力信号が、短時間露光フレームの第５の短期垂直同期期間Ｔｆｒｓ５におけるＦｒ＿Ｍ Ｒｅａｄｏｕｔ５となる。

以上が、長期垂直同期信号ＶＤＬに同期して実施される電子シャッタを用いた露光制御の動作である。

ここで、短時間露光フレームの露光時間Ｔｆｒｓ＿ｅｘｐ、中時間露光フレームの露光時間Ｔｆｒｍ＿ｅｘｐ、及び長時間露光フレームの露光時間Ｔｆｒｌ＿ｅｘｐの比は、７ＨＤ：１４ＨＤ：２１ＨＤ＝１：２：３となっている。これらの電子シャッタ動作により、短時間露光フレーム、中時間露光フレーム及び長時間露光フレームの露光時間の比が１：２：３となるように制御される。このため、感度比を補償するゲイン値をそれぞれ３倍、３/２倍、１倍として、短時間露光画素の信号、中時間露光画素の信号及び長時間露光画素の信号を合成することでダイナミックレンジの拡大処理を実行すればよい。

図５は、本実施形態に係る長時間露光フレーム、中時間露光フレーム及び短時間露光フレームの制御タイミングを示す図である。図５においては、図４のフレーム毎の動作が簡略化して示されている。図５を参照して、電子シャッタによる露光時間を変更する場合について説明する。なお、図４と同じ動作や構成には、同じ符号で示される。

まず、長時間露光フレームＦｒ＿Ｌにおいては、タイミングｔ５１において、０１ラインからライン毎に順に画素をリセットすることで露光を開始して、ローリングシャッタ動作を開始する。この時のリセット動作が破線４１０で示されている。次に、タイミングｔ５１からＴｆｒｌ＿ｅｘｐｌ経過後のｔ５５において、０１ラインからライン毎に画素の信号の読み出しを実施して、ローリングシャッタ動作を終了する。この時、露光時間となるＴｆｒｌ＿ｅｘｐｌは、１２ＨＤとなっている。この時の長時間露光フレームＦｒ＿Ｌの出力信号は、Ｆｒ＿Ｌ Ｒｅａｄｏｕｔ４となる。

また、短時間露光フレームＦｒ＿Ｓにおいては、タイミングｔ５２において、０３ラインの画素をリセットし、０３ラインからライン毎に順に画素をリセットすることで露光を開始して、ローリングシャッタ動作を開始する。この時のリセット動作が破線４２０で示されている。次に、タイミングｔ５２からＴｆｒｓ＿ｅｘｐｌ経過後のｔ５３において、０３ラインからライン毎に画素の信号の読み出しを実施して、ローリングシャッタ動作を終了する。この時、露光時間となるＴｆｒｓ＿ｅｘｐｌは、４ＨＤとなっている。この時の短時間露光フレームＦｒ＿Ｓの出力信号は、Ｆｒ＿Ｓ Ｒｅａｄｏｕｔ３となる。

そして、中時間露光フレームＦｒ＿Ｍにおいては、タイミングｔ５４において、０３ラインの画素をリセットし、０３ラインからライン毎に順に画素をリセットすることで露光を開始して、ローリングシャッタ動作を開始する。この時のリセット動作が破線４３０で示されている。次に、タイミングｔ５４からＴｆｒｍ＿ｅｘｐｌ経過後のｔ５６において、０３ラインからライン毎に画素の信号の読み出しを実施して、ローリングシャッタ動作を終了する。この時、露光時間となるＴｆｒｍ＿ｅｘｐｌは、８ＨＤとなっている。この時の中時間露光フレームＦｒ＿Ｍの出力信号は、Ｆｒ＿Ｍ Ｒｅａｄｏｕｔ５となる。

以上が、露光時間を変更する前の動作である。ここで、短時間露光フレームの露光時間Ｔｆｒｓ＿ｅｘｐｌ、中時間露光フレームの露光時間Ｔｆｒｍ＿ｅｘｐｌ及び長時間露光フレームの露光時間Ｔｆｒｌ＿ｅｘｐｌの比は、４ＨＤ：８ＨＤ：１２ＨＤ＝１：２：３となっている。

続いて、タイミングｔ５８から始まるリセット動作４４０において、長時間露光フレームＦｒ＿Ｌのローリングシャッタ動作を開始する。次に、タイミングｔ５８からＴｆｒｌ＿ｅｘｐｓ経過後のｔ５９から始まる読み出し動作において、ローリングシャッタ動作を終了する。この時、露光時間となるＴｆｒｌ＿ｅｘｐｓは６ＨＤとなっていて、出力信号は、Ｆｒ＿Ｌ Ｒｅａｄｏｕｔ７となる。

また、タイミングｔ５７から始まるリセット動作４５０において、短時間露光フレームＦｒ＿Ｓのローリングシャッタ動作を開始する。次に、タイミングｔ５７からＴｆｒｓ＿ｅｘｐｓ経過後のｔ５８から始まる読み出し動作において、ローリングシャッタ動作を終了する。この時、露光時間となるＴｆｒｓ＿ｅｘｐｓは２ＨＤとなっていて、出力信号は、Ｆｒ＿Ｓ Ｒｅａｄｏｕｔ６となる。

そして、タイミングｔ６０から始まるリセット動作４６０において、中時間露光フレームＦｒ＿Ｍのローリングシャッタ動作を開始する。次に、タイミングｔ６０からＴｆｒｍ＿ｅｘｐｓ経過後のｔ６１から始まる読み出し動作において、ローリングシャッタ動作を終了する。この時、露光時間となるＴｆｒｍ＿ｅｘｐｓは４ＨＤとなっていて、出力信号は、Ｆｒ＿Ｍ Ｒｅａｄｏｕｔ８となる。

以上が、露光時間を変更した後の動作となっている。ここで、短時間露光フレームの露光時間Ｔｆｒｓ＿ｅｘｐｓ、中時間露光フレームの露光時間Ｔｆｒｍ＿ｅｘｐｓ及び長時間露光フレームの露光時間Ｔｆｒｌ＿ｅｘｐｓの比は、２ＨＤ：４ＨＤ：６ＨＤ＝１：２：３となっている。

このように、電子シャッタによる露光時間の変更を実施した場合においても、短時間露光フレーム、中時間露光フレーム及び長時間露光フレームの露光時間の比を常に１：２：３となるように制御することができる。これにより、感度比を補償するゲイン値をそれぞれ３倍、３/２倍、１倍として、短時間露光画素の信号、中時間露光画素の信号及び長時間露光画素の信号を合成することでダイナミックレンジの拡大処理を実行することができる。

次に、本実施形態における撮影動作とＨＤＲ処理について説明する。
ＨＤＲ処理は、図１の信号処理部１３において実施される。信号処理部１３においては、撮像素子１２から出力される画素信号に対して、画素信号補正処理、位置ずれ補正処理、ＨＤＲ処理、画像信号処理を実施することで、ダイナミックレンジが拡大された画像を生成する。ここでは、図５の長時間露光フレームの出力信号Ｆｒ＿Ｌ Ｒｅａｄｏｕｔ１、中時間露光フレームの出力信号Ｆｒ＿Ｍ Ｒｅａｄｏｕｔ２及び短時間露光フレームの出力信号Ｆｒ＿Ｓ Ｒｅａｄｏｕｔ３を用いた場合について説明する。

まず、ＶＤＳに同期して出力される長時間露光フレームの出力信号Ｆｒ＿Ｌ Ｒｅａｄｏｕｔ１に対して、画素信号補正処理を行う。画素信号補正処理としては、キズ補正、固定パターン補正、シェーディング補正等の補正処理を行う。次に、長時間露光ラインと短時間露光ラインが２ライン毎に位置がずれているため位置ずれ補正処理を行う。位置ずれ補正処理は、長時間露光フレームの０１、０２、０５、０６、０９、１０、１３、１４ラインを用いて、０３、０４、０７、０８、１１、１２、１５、１６ラインの位置の長時間露光時の画素信号を求める。たとえば、長時間露光フレームの０１、０２、０５、０６ラインを用いて、短時間露光時の０３、０４ラインを補間して求める方法をとってもよい。本実施形態においては、短時間露光ラインを短時間露光と中時間露光の両方に用いることや主要被写体が短時間露光側に多いことを考慮して、短時間露光ラインに合わせるように位置ずれ補正処理を行う。また、図２の画素領域２００に１６ラインしか図示していないが、実際の撮像素子においては、動画撮影の規格に応じて９６０ライン以上あるいは２１６０ライン以上を備えている。そのため、短時間露光フレームと長時間露光フレームに分割したとしても十分な位置ずれ補正を実施することができる。こうして求められた長時間露光フレームに相当する０３、０４、０７、０８、１１、１２、１５、１６ラインの画素信号は、信号処理部１３に設けられた不図示のメモリに記憶しておく。そして、次のＶＤＳに同期して出力される中時間露光フレームの出力信号Ｆｒ＿Ｍ Ｒｅａｄｏｕｔ２に対して、同様の画素信号補正処理を行う。さらに、ＨＤＲ処理の一部として、中時間露光フレームと長時間露光フレームの露光時間の比２：３を補償するため、３／２倍のゲイン値をかけておく。中時間露光フレームは、短時間露光ラインであるため位置ずれ補正処理は必要ない。こうして求められた中時間露光フレームに相当する０３、０４、０７、０８、１１、１２、１５、１６ラインの画素信号は、信号処理部１３に設けられた不図示のメモリに記憶しておく。

さらに、次のＶＤＳに同期して出力される短時間露光フレームの出力信号Ｆｒ＿Ｓ Ｒｅａｄｏｕｔ３に対して、同様の画素信号補正処理を行う。さらに、ＨＤＲ処理の一部として、短時間露光フレームと長時間露光フレームの露光時間の比１：３を補償するため、３倍のゲイン値をかけておく。

次に、以下に示す画素信号を用いて、ＨＤＲ処理を実施する。
（ａ）記憶されている長時間露光フレームの０３、０４、０７、０８、１１、１２、１５、１６ラインの画素信号。
（ｂ）記憶されている中時間露光フレームに相当する０３、０４、０７、０８、１１、１２、１５、１６ラインの画素信号。
（ｃ）記憶されている短時間露光フレームに相当する０３、０４、０７、０８、１１、１２、１５、１６ラインの画素信号。

短時間露光フレームの画素信号及び中時間露光フレームの画素信号には露光時間を補償するゲイン値がすでにかけてある。従って、ここでのＨＤＲ処理としては、明るさに応じた重み付け係数を用いて、長時間露光画素の信号、中時間露光画素の信号及び短時間露光画素の信号を合成することになる。明るさに応じた合成の方法は、例えば次のように行うことができる。長時間露光画素の信号の重み付け係数、中時間露光画素の信号の重み付け係数及び短時間露光画素の信号の重み付け係数の和を一定値１とする。画像が明るい場合には、短時間露光画素の信号の重み付け係数を大きくし、画像が暗い場合には、長時間露光画素の信号の重み付け係数を大きくする。

ここまでは、すべて画素ごとの信号処理になっているので、最後に、ダイナミックレンジが拡大された画像に対して画像信号処理を実施する。画像信号処理としては、ホワイトバランス調整処理、色補正処理、ガンマ補正処理等の信号処理を行う。このようにして、長時間露光フレームの信号出力時には、長時間露光フレーム向けの画素信号補正処理、位置ずれ補正処理を実施する。中時間露光フレームの信号出力時には、中時間露光フレーム向けの画素信号補正処理、露光時間を補償するゲイン補正を実施する。短時間露光フレームの信号出力時には、短時間露光フレーム向けの画素信号補正処理、露光時間を補償するゲイン補正、ＨＤＲ処理、画像信号処理を実施する。こうして、各種処理の分散化が図られる。

さらに、動画撮影においては、第３の短期垂直同期期間Ｔｆｒｓ３の画像を、Ｆｒ＿Ｌ Ｒｅａｄｏｕｔ１、Ｆｒ＿Ｍ Ｒｅａｄｏｕｔ２及びＦｒ＿Ｓ Ｒｅａｄｏｕｔ３を用いて作成する。次の第４の短期垂直同期期間Ｔｆｒｓ４の画像を、Ｆｒ＿Ｌ Ｒｅａｄｏｕｔ１の代わりに、Ｆｒ＿Ｍ Ｒｅａｄｏｕｔ２、Ｆｒ＿Ｓ Ｒｅａｄｏｕｔ３及びＦｒ＿Ｌ Ｒｅａｄｏｕｔ４を用いて作成する。このように、新たに出力される画像信号を使ってＨＤＲ処理を実施することで、動画撮影時の動画解像度の向上を図ることができる。

また、連続する３つの露光フレームの出力信号から静止画像を作成する場合は、露光時間の重なりが大きい短時間露光フレーム、長時間露光フレーム及び中時間露光フレームの順番に出力する出力信号を用いればよい。例えば、出力信号Ｆｒ＿Ｓ Ｒｅａｄｏｕｔ３、Ｆｒ＿Ｌ Ｒｅａｄｏｕｔ４及びＦｒ＿Ｍ Ｒｅａｄｏｕｔ５、あるいは、出力信号Ｆｒ＿Ｓ Ｒｅａｄｏｕｔ６、Ｆｒ＿Ｌ Ｒｅａｄｏｕｔ７及びＦｒ＿Ｍ Ｒｅａｄｏｕｔ８を用いればよい。これにより、ブレの少ないダイナミックレンジが拡大された静止画像を作成することができる。

以上のように、本実施形態によれば、隣接する２ライン毎に露光時間の異なる画素の信号を用いたＨＤＲ処理を行う撮像装置が提供される。短時間露光時のフレーム周期に同期して、短時間露光ライン、中時間露光ライン及び長時間露光ラインを別々のフレームで読み出す。これとともに、長時間露光時のフレーム期間内で、短時間露光時のフレーム周期に同期して、短時間露光ライン及び中時間露光ラインを別々のフレームで読み出す。これにより、読み出し制御システムの簡略化と読み出し時及び信号処理時のデータレートの低減と平準化を実現することができる。

また、短時間露光フレーム、中時間露光フレーム及び長時間露光フレームの露光時間の比１：２：３に合わせて、長時間露光フレームの垂直同期期間を短時間露光フレームの垂直同期期間の３倍に設定する。これとともに、短時間露光フレームの間に短時間露光ラインに対して中時間露光を実施する。これにより、長時間露光フレームの露光時間に対して、短時間露光フレームの露光時間及び中時間露光フレームの露光時間を有効に利用でき、かつ、露光時間制御の複雑化を避けることが可能になる。

さらに、長時間露光時のフレーム期間内で、短時間露光時のフレーム周期に同期して、短時間露光ラインを読み出すことで、長時間露光と短時間露光を重ねて実行できる。このため、フレームレートを均一にした場合でも、短時間露光時の１フレームを超える長時間露光が実現される。また、複数回露光方式にみられた露光に寄与しない無駄時間の発生を避けるという効果もある。

そして、短時間露光ラインと長時間露光ラインを別々のフレームで読み出すことで、ローリング歪の発生を半分に低減することができる。

また、長時間露光と短時間露光を重ねて実行できる。そのため従来例のように長時間露光と短時間露光の露光時間の中心を合わせるためにリセットと読み出しのタイミング制御が複雑になるという課題も避けることができる。

さらに、短時間露光ラインと長時間露光ラインを別々のフレームで読み出すことができる。そのため、長時間露光と短時間露光の露光時間の中心を合わせた場合に発生する、露光時間が短い時に短時間露光ラインの読み出し終了と長時間露光ラインの読み出し開始が干渉してしまうという課題も避けることができる。

次に、本実施形態の変形例について説明する。
上述の位置ずれ補正処理においては、長時間露光ラインの０１、０２、０５、０６、０９、１０、１３、１４ラインを用いて、短時間露光ライン相当の０３、０４、０７、０８、１１、１２、１５、１６ラインの画素信号を計算した。このかわりに、長時間露光フレームとして、０１ラインから１６ラインまでの全ラインを用いてもよい。その時は、長時間露光フレームの０１、０２、０５、０６、０９、１０、１３、１４ラインを用いて、長時間露光フレーム相当の０３、０４、０７、０８、１１、１２、１５、１６ラインの画素信号を計算する。これにより、長時間露光フレームとして、０１ラインから１６ラインまでの全ラインを用いる。

同様に、中時間露光及び短時間露光の短時間露光ラインの０３、０４、０７、０８、１１、１２、１５、１６ラインを用いて、中時間露光及び短時間露光の短時間露光ライン相当の０１、０２、０５、０６、０９、１０、１３、１４ラインの画素信号を計算する。そして、中時間露光フレーム及び短時間露光フレームとして、０１ラインから１６ラインまでの全ラインを用いる。

これにより、１６ｘ１６全画素を用いたダイナミックレンジが拡大された画像を生成することができる。この方法は、連続する３つの露光フレームの出力信号から静止画像を作成する場合に適している。

次に、本実施形態の他の変形例について説明する。
上述の画像信号処理においては、ＨＤＲ処理後に、ホワイトバランス調整処理、色補正処理、ガンマ補正処理等の信号処理を行ったが、画像信号処理を分散してもよい。その時は、位置ずれ補正処理を実施した後の長時間露光フレームの出力信号（第１の画像データ）に対して、ホワイトバランス調整処理と色補正処理を行い、メモリに記憶しておく。同様に、露光時間を補償するゲイン値をかけた後の中時間露光フレームの出力信号（第２の画像データ）に対して、ホワイトバランス調整処理と色補正処理を行い、メモリに記憶しておく。そして、画素信号補正処理を行った短時間露光フレームの出力信号（第３の画像データ）に対して、ホワイトバランス調整処理と色補正処理を行う。その後、ＨＤＲ処理を実施し、その出力信号（第４の画像データ）に対してガンマ補正処理を行う。

次に、本実施形態の更に他の変形例を、図８を参照して説明する。
図８（ａ）は、画素領域２００の撮像面照度Ｅｐｌｘと画素の出力信号Ｐｓｉｇの関係を表した画素特性の図である。ここでは、画素特性Ｅｘｐ１、Ｅｘｐ２、Ｅｘｐ３及びＥｘｐ４は、露光フレーム期間が、それぞれＴｆｒｓ、２Ｔｆｒｓ、３Ｔｆｒｓ及び４Ｔｆｒｓで、かつ、電子シャッタによる露光時間の比が１：２：３：４に制御されている。図８（ａ）は、この場合の撮像面照度Ｅｐｌｘと画素の出力信号Ｐｓｉｇの関係を表している。これにより、画素特性Ｅｘｐ１を基準にすると、画素特性Ｅｘｐ２、Ｅｘｐ３及びＥｘｐ４の傾きは、それぞれ２倍、３倍及び４倍となる。ＰＳＡＴは、画素の飽和信号量を示している。

画素特性Ｅｘｐ１、Ｅｘｐ２、Ｅｘｐ３及びＥｘｐ４は、それぞれ撮像面照度Ｅ１、Ｅ２、Ｅ３及びＥ４において、飽和信号量ＰＳＡＴに達するので、それ以上の照度では出力信号が増加しない。破線は、画素特性Ｅｘｐ１、Ｅｘｐ２、Ｅｘｐ３及びＥｘｐ４が飽和しないと仮定した場合について表示している。

本実施形態においては、画素特性Ｅｘｐ１、Ｅｘｐ２及びＥｘｐ３が、それぞれ短時間露光フレームの出力信号、中時間露光フレームの出力信号、中時間露光フレームの出力信号及び長時間露光フレームの出力信号に相当する。

図８（ｂ）は、画素特性Ｅｘｐ１についての撮像面照度Ｅｐｌｘと画像信号処理に用いられる画像信号Ｓｓｉｇの関係を表した画像信号特性の図である。図８（ａ）において、撮像面の照度Ｅ１にて画素が飽和するため、画像信号もＳＳＡＴにて飽和した特性となっている。そして、撮像面照度０からＥ１に対応して、画像信号が０からＳＳＡＴまで階調を持って出力していることがわかる。これが、ＨＤＲ処理を行わなかった場合の画素特性である。

図８（ｃ）は、画素特性Ｅｘｐ１及びＥｘｐ２を用いて、ＨＤＲ処理を実施した場合の撮像面照度Ｅｐｌｘと画像信号処理に用いられる画像信号Ｓｓｉｇの関係を表した画像信号特性の図である。ＨＤＲ処理の方法は、画素特性Ｅｘｐ１及びＥｘｐ２を加算して、最大飽和信号がＳｓｉｇとなるように正規化することで実現する。撮像面照度０からＥ２までは、図８（ａ）における画素特性Ｅｘｐ１及びＥｘｐ２を加算する。撮像面照度Ｅ２からＥ１までは、図８（ａ）において画素特性Ｅｘｐ２が飽和しているので、ＰＳＡＴと画素特性Ｅｘｐ１を加算する。撮像面照度Ｅ１以上は、図８（ａ）において画素特性Ｅｘｐ１及びＥｘｐ２がともに飽和しているので、最大飽和信号量となる２ＰＳＡＴとなっている。このように加算した画素特性に対して、最大飽和信号量２ＰＳＡＴがＳＳＡＴになるように正規化することで、図８（ｃ）のＨＤＲ処理が実現する。これにより、撮像面照度０からＥ１に対応して、画像信号が０からＳＳＡＴまで階調を持って出力していることがわかる。さらに、最大飽和信号量２ＰＳＡＴがＳＳＡＴになるように正規化しているので、ダイナミックレンジが２倍に拡大されていることがわかる。

図８（ｄ）は、本実施形態の撮像装置に対して、画素特性Ｅｘｐ１、Ｅｘｐ２及びＥｘｐ３を用いてＨＤＲ処理を実施した場合の、撮像面照度Ｅｐｌｘと画像信号処理に用いられる画像信号Ｓｓｉｇの関係を表した画像信号特性の図である。ＨＤＲ処理の方法は、画素特性Ｅｘｐ１、Ｅｘｐ２及びＥｘｐ３を加算して、最大飽和信号がＳｓｉｇとなるように正規化することで実現する。撮像面照度０からＥ３までは、図８（ａ）における画素特性Ｅｘｐ１、Ｅｘｐ２及びＥｘｐ３を加算する。撮像面照度Ｅ３からＥ２までは、図８（ａ）において画素特性Ｅｘｐ３が飽和しているので、ＰＳＡＴと画素特性Ｅｘｐ１及びＥｘｐ２を加算する。撮像面照度Ｅ２からＥ１までは、図８（ａ）において画素特性Ｅｘｐ２及びＥｘｐ３がともに飽和しているので、２ＰＳＡＴと画素特性Ｅｘｐ１を加算する。撮像面照度Ｅ１以上は、図８（ａ）において画素特性Ｅｘｐ１、Ｅｘｐ２及びＥｘｐ３がすべて飽和しているので、最大飽和信号量となる３ＰＳＡＴとなっている。このように加算した画素特性に対して、最大飽和信号量３ＰＳＡＴがＳＳＡＴになるように正規化することで、図８（ｄ）のＨＤＲ処理が実現する。そして、撮像素子１２を図４のように動作させるとともに、信号処理部１３において図８（ｄ）となるようにＨＤＲ処理を実施するように撮像装置を制御すればよい。これにより、撮像面照度０からＥ１に対応して、画像信号が０からＳＳＡＴまで階調を持って出力していることがわかる。さらに、最大飽和信号量３ＰＳＡＴがＳＳＡＴになるように正規化しているので、ダイナミックレンジが３倍に拡大されていることがわかる。図８（ｄ）は、ガンマ特性として知られている入出力特性で、これによりダイナミックレンジを拡大することが可能である。

＜第２の実施形態＞
次に、図１、図２及び図６から図８を参照して、第２の実施形態を説明する。なお、本実施形態では、撮像装置の基本的な構成と動作及び撮像素子の基本的な構成と動作は、第１の実施形態と同様であるので、図及び符号を流用して説明する。第１の実施形態においては、２ライン毎に露光時間が異なる長時間露光ラインと短時間露光ラインの２つのフレームと短時間露光ラインに対する中時間露光フレームを設定してダイナミックレンジの広い画像を生成した。本実施形態においては、長時間露光フレームと中時間露光フレームのフレーム期間を変更することで、ＨＤＲ処理の入出力特性を変更する方法について説明する。

図６は、本実施形態に係る長時間露光フレーム、中時間露光フレーム及び短時間露光フレームの制御タイミングを示す図である。図６においては、長期垂直同期期間Ｔｆｒｌが、短期垂直同期期間Ｔｆｒｓの４倍の期間となっているため、第１の実施形態とは異なるＨＤＲ処理の入出力特性を持たせることができる。また、図６においては、動画撮影に応用するために、連続撮影が可能な制御タイミングとなっている。連続撮影を可能にするため、タイミングｔ７７以降の制御タイミングあるいはタイミングｔ８４以降の制御タイミングは、ｔ７０に戻って繰り返すものとする。

図６において、ＶＤＬは長時間露光フレームの垂直同期信号（長期垂直同期信号）、ＶＤＳは、短時間露光フレームの垂直同期信号（短期垂直同期信号）を示す。ＨＤは、水平同期信号を示し、画素のリセット動作や読み出し動作を行単位で実施する期間となる。

タイミングｔ７０からｔ７７まで、及び、タイミングｔ７７からｔ８４までがそれぞれ、第１の長期垂直同期期間Ｔｆｒｌ１及び第２の長期垂直同期期間Ｔｆｒｌ２を示す。
タイミングｔ７０からｔ７１までが第１の短期垂直同期期間Ｔｆｒｓ１である。
タイミングｔ７１からｔ７３までが第２の短期垂直同期期間Ｔｆｒｓ２である。
タイミングｔ７３からｔ７５までが第３の短期垂直同期期間Ｔｆｒｓ３である。
タイミングｔ７５からｔ７７までが第４の短期垂直同期期間Ｔｆｒｓ４である。
タイミングｔ７７からｔ７８までが、第５の短期垂直同期期間Ｔｆｒｓ５である。
タイミングｔ７８からｔ８０までが、第６の短期垂直同期期間Ｔｆｒｓ６である。
タイミングｔ８０からｔ８２までが、第７の短期垂直同期期間Ｔｆｒｓ７である。
タイミングｔ８２からｔ８４までが、第８の短期垂直同期期間Ｔｆｒｓ８である。

Ｆｒ＿Ｌが、長時間露光フレームを構成する０１、０２、０５、０６、０９、１０、１３、１４ラインの動作の状態を示す。Ｆｒ＿Ｍ及びＦｒ＿Ｓが、それぞれ中時間露光フレーム及び短時間露光フレームを構成する短時間露光ラインである０３、０４、０７、０８、１１、１２、１５、１６ラインの動作の状態を示す。これにより、図３と同様に、長時間露光ラインと短時間露光ラインを２ライン毎に露光時間が異なるように制御することができる。

ここで、長時間露光フレームＦｒ＿Ｌでは、ＶＤＬに同期して、長期垂直同期期間のＴｆｒｌ毎に連続してローリングシャッタ動作が実施される。また、短時間露光フレームＦｒ＿Ｓは、ＶＤＬから２Ｔｆｒｓ後のＶＤＳに同期してローリングシャッタ動作の露光が開始され、そのＴｆｒｓ後のＶＤＳに同期してローリングシャッタ動作の読み出しが開始される。さらに、Ｆｒ＿Ｍでは、Ｆｒ＿Ｓの空き時間となるＶＤＬから３Ｔｆｒｓ後の短時間露光フレームのＶＤＳに同期してローリングシャッタ動作の露光が開始され、その２Ｔｆｒｓ後のＶＤＳに同期してローリングシャッタ動作の読み出しが開始される。そして、この動作がＶＤＬに同期して繰り返し実施される。

具体的には、Ｔｆｒｌ１を構成するＴｆｒｓ１において、一巡前に露光を開始した長時間露光フレームの出力信号Ｆｒ＿Ｌ Ｒｅａｄｏｕｔ１を出力する。次に、Ｔｆｒｓ２において、一巡前に露光を開始した中時間露光フレームの出力信号Ｆｒ＿Ｍ Ｒｅａｄｏｕｔ２を出力する。本実施形態においては、ＴｆｒｌをＴｆｒｓの４倍に設定しているため、Ｔｆｒｓ３においては信号出力はない。

次に、Ｔｆｒｓ４において、短時間露光フレームの出力信号Ｆｒ＿Ｓ Ｒｅａｄｏｕｔ４を出力する。同様に、Ｔｆｒｌ２を構成するＴｆｒｓ５において、長時間露光フレームの出力信号Ｆｒ＿Ｌ Ｒｅａｄｏｕｔ５を出力する。次に、Ｔｆｒｓ６において、中時間露光フレームの出力信号Ｆｒ＿Ｍ Ｒｅａｄｏｕｔ６を出力する。

そして、Ｔｆｒｓ７においては信号出力はなく、次のＴｆｒｓ８において、短時間露光フレームの出力信号Ｆｒ＿Ｓ Ｒｅａｄｏｕｔ８を出力する。これにより、ＶＤＳに同期して、Ｆｒ＿Ｌ Ｒｅａｄｏｕｔ、Ｆｒ＿Ｍ Ｒｅａｄｏｕｔ及びＦｒ＿Ｓ Ｒｅａｄｏｕｔが繰り返し出力される。そのため、長時間露光終了後に、全ラインを一度に読み出す動作に比べて、撮像素子からの出力信号の読み出しが平準化される。

次に、電子シャッタを用いた露光制御について説明する。
まず、Ｔｆｒｌ１における長時間露光フレームＦｒ＿Ｌにおいては、タイミングｔ７２において、水平同期信号ＨＤに同期して、０１ラインの画素をリセットし、０１ラインの露光を開始する。この時のリセット動作は破線５１０で示されている。続けて、１ＨＤ経過する毎に、０２、０５、０６、０９、１０、１３、１４ラインをそれぞれリセットすることで、長時間露光フレームＦｒ＿Ｌのライン順次のローリングシャッタ動作を開始する。この時のリセット動作もそれぞれ破線で示される。

次に、タイミングｔ７２からＴｆｒｌ＿ｅｘｐ経過後のｔ７７において、ＶＤＬに同期して、０１ラインの読み出しを実施する。連続撮影では、タイミングｔ７７以降はｔ７０に戻って繰り返すが、ここでは長時間露光フレームＦｒ＿Ｌの動作終了まで連続して表示する。この時、露光時間となるＴｆｒｌ＿ｅｘｐは、１６ＨＤとなっている。続けて、１ＨＤ経過する毎に、０２、０５、０６、０９、１０、１３、１４ラインをそれぞれ読み出すことで、長時間露光フレームＦｒ＿Ｌのライン順次のローリングシャッタ動作を終了する。これにより、長時間露光フレームＦｒ＿Ｌは、すべてのラインで露光時間Ｔｆｒｌ＿ｅｘｐとなる信号を出力することになる。この時の長時間露光フレームＦｒ＿Ｌの出力信号が、短時間露光フレームのＴｆｒｓ５におけるＦｒ＿Ｌ Ｒｅａｄｏｕｔ５となる。以上が、長時間露光フレームのＴｆｒｌ１に実施される電子シャッタを用いた露光制御の動作となる。

また、Ｔｆｒｌ１における短時間露光フレームＦｒ＿Ｓにおいては、タイミングｔ７４において、水平同期信号ＨＤに同期して、０３ラインの画素をリセットし、０３ラインの露光を開始する。この時のリセット動作は破線５２０で示されている。続けて、１ＨＤ経過する毎に、０４、０７、０８、１１、１２、１５、１６ラインをそれぞれリセットすることで、短時間露光フレームＦｒ＿Ｓのライン順次のローリングシャッタ動作を開始する。この時のリセット動作もそれぞれ破線で示される。次に、タイミングｔ７４からＴｆｒｓ＿ｅｘｐ経過後のｔ７５において、ＶＤＳに同期して、０３ラインの読み出しを実施する。この時、露光時間となるＴｆｒｓ＿ｅｘｐは、４ＨＤとなっている。続けて、１ＨＤ経過する毎に、０４、０７、０８、１１、１２、１５、１６ラインをそれぞれ読み出すことで、短時間露光フレームＦｒ＿Ｓのライン順次のローリングシャッタ動作を終了する。これにより、短時間露光フレームＦｒ＿Ｓは、すべてのラインで露光時間Ｔｆｒｓ＿ｅｘｐとなる信号を出力することになる。この時の短時間露光フレームＦｒ＿Ｓの出力信号が、短時間露光フレームのＴｆｒｓ４におけるＦｒ＿Ｓ Ｒｅａｄｏｕｔ４となる。

そして、中時間露光フレームＦｒ＿Ｍにおいては、タイミングｔ７６において、水平同期信号ＨＤに同期して、０３ラインの画素をリセットし、０３ラインの露光を開始する。この時のリセット動作は破線５３０で示されている。続けて、１ＨＤ経過する毎に、０４、０７、０８、１１、１２、１５、１６ラインをそれぞれリセットすることで、中時間露光フレームＦｒ＿Ｍのライン順次のローリングシャッタ動作を開始する。この時のリセット動作もそれぞれ破線で示される。次に、タイミングｔ７６からＴｆｒｍ＿ｅｘｐ経過後のｔ７８において、ＶＤＳに同期して、０３ラインの読み出しを実施する。連続撮影では、タイミングｔ７７以降はｔ７０に戻って繰り返すが、ここでは中時間露光フレームＦｒ＿Ｍの動作終了まで連続して表示する。この時、露光時間となるＴｆｒｍ＿ｅｘｐは、８ＨＤとなっている。続けて、１ＨＤ経過する毎に、０４、０７、０８、１１、１２、１５、１６ラインをそれぞれ読み出すことで、中時間露光フレームＦｒ＿Ｍのライン順次のローリングシャッタ動作を終了する。これにより、中時間露光フレームＦｒ＿Ｍは、すべてのラインで露光時間Ｔｆｒｍ＿ｅｘｐとなる信号を出力することになる。この時の中時間露光フレームＦｒ＿Ｍの出力信号が、短時間露光フレームのＴｆｒｓ６におけるＦｒ＿Ｍ Ｒｅａｄｏｕｔ６となる。

以上が、長期垂直同期信号ＶＤＬに同期して実施される電子シャッタを用いた露光制御の動作となる。ここで、短時間露光フレームの露光時間Ｔｆｒｓ＿ｅｘｐ、中時間露光フレームの露光時間Ｔｆｒｍ＿ｅｘｐ及び長時間露光フレームの露光時間Ｔｆｒｌ＿ｅｘｐの比は、４ＨＤ：８ＨＤ：１６ＨＤ＝１：２：４となっている。これらの電子シャッタ動作により、短時間露光フレーム、中時間露光フレーム及び長時間露光フレームの露光時間の比が１：２：４となるように制御される。このため、感度比を補償するゲイン値をそれぞれ４倍、２倍、１倍として、短時間露光画素の信号、中時間露光画素の信号及び長時間露光画素の信号を合成することでダイナミックレンジの拡大処理を実行すればよい。これにより、第１の実施形態とは異なるＨＤＲ処理の入出力特性を持たせることができる。本実施形態における撮影動作とＨＤＲ処理については、短時間露光フレーム、中時間露光フレーム及び長時間露光フレームの感度比を補償するゲイン値をそれぞれ４倍、２倍、１倍として、第１の実施形態と同様に実施すればよいので、説明は省略する。

また、位置ずれ補正処理についても、第１の実施形態の変形例と同様にして、１６ｘ１６全画素を用いたダイナミックレンジが拡大された画像を生成することができる。さらに、画像信号処理についても、第１の実施形態の他の変形例と同様に、処理の分散が可能である。

以上のように、本実施形態においては、短時間露光時のフレーム周期に同期して、短時間露光ライン、中時間露光ライン及び長時間露光ラインを別々のフレームで読み出す。これにより、読み出し制御システムの簡略化と読み出し時及び信号処理時のデータレートの低減と平準化を実現することができる。この他、第１の実施形態と同様の他の効果を得ることができる。

次に、本実施形態の変形例について説明する。
図７は、長時間露光フレーム、中時間露光フレーム及び短時間露光フレームの制御タイミングの変形例を示す図である。図７においては、長期垂直同期期間Ｔｆｒｌが、短期垂直同期期間Ｔｆｒｓの４倍の期間となっている。また、中期垂直同期期間Ｔｆｒｍは、短期垂直同期期間Ｔｆｒｓの３倍の期間となっている。このため、上述の例とは異なるＨＤＲ処理の入出力特性を持たせることができる。また、図７においては、動画撮影に応用するために、連続撮影が可能な制御タイミングとなっている。連続撮影を可能にするため、タイミングｔ９６以降の制御タイミングあるいはタイミングｔ１０２以降の制御タイミングは、ｔ９０に戻って繰り返すものとする。図６と同じ動作や構成は、同じ符号で示す。

図７において、タイミングｔ９０からｔ９６まで、及び、タイミングｔ９６からｔ１０２までがそれぞれ、第１の長期垂直同期期間Ｔｆｒｌ１及び第２の長期垂直同期期間Ｔｆｒｌ２を示す。
タイミングｔ９０からｔ９１までが第１の短期垂直同期期間Ｔｆｒｓ１である。
タイミングｔ９１からｔ９３までが第２の短期垂直同期期間Ｔｆｒｓ２である。
タイミングｔ９３からｔ９５までが第３の短期垂直同期期間Ｔｆｒｓ３である。
タイミングｔ９５からｔ９６までが第４の短期垂直同期期間Ｔｆｒｓ４である。
タイミングｔ９６からｔ９７までが第５の短期垂直同期期間Ｔｆｒｓ５である。
タイミングｔ９７からｔ９９までが第６の短期垂直同期期間Ｔｆｒｓ６である。
タイミングｔ９９からｔ１０１までが第７の短期垂直同期期間Ｔｆｒｓ７である。
タイミングｔ１０１からｔ１０２までが第８の短期垂直同期期間Ｔｆｒｓ８である。

ここで、長時間露光フレームＦｒ＿Ｌと短時間露光フレームＦｒ＿Ｓは、図６と同じローリングシャッタ動作を実施するものとする。中時間露光フレームＦｒ＿Ｍでは、短時間露光フレームＦｒ＿Ｓの空き時間となるＶＤＬから３Ｔｆｒｓ後のＶＤＳに同期してローリングシャッタ動作の露光が開始され、その３Ｔｆｒｓ後のＶＤＳに同期してローリングシャッタ動作の読み出しが開始される。そして、この動作はＶＤＬに同期して繰り返し実施される。

具体的には、Ｔｆｒｌ１を構成するＴｆｒｓ１において、一巡前に露光を開始した長時間露光フレームの出力信号Ｆｒ＿Ｌ Ｒｅａｄｏｕｔ１を出力する。本変形例においては、ＴｆｒｌをＴｆｒｓの４倍に設定するとともに、ＴｆｒｍをＴｆｒｓの３倍に設定しているため、Ｔｆｒｓ２においては信号出力はない。そして、Ｔｆｒｓ３において、一巡前に露光を開始した中時間露光フレームの出力信号Ｆｒ＿Ｍ Ｒｅａｄｏｕｔ３を出力する。次に、Ｔｆｒｓ４において、短時間露光フレームの出力信号Ｆｒ＿Ｓ Ｒｅａｄｏｕｔ４を出力する。

同様に、Ｔｆｒｌ２を構成するＴｆｒｓ５において、長時間露光フレームの出力信号Ｆｒ＿Ｌ Ｒｅａｄｏｕｔ５を出力する。そして、Ｔｆｒｓ６においては信号出力はなく、Ｔｆｒｓ７において、中時間露光フレームの出力信号Ｆｒ＿Ｍ Ｒｅａｄｏｕｔ７を出力する。次に、Ｔｆｒｓ８において、短時間露光フレームの出力信号Ｆｒ＿Ｓ Ｒｅａｄｏｕｔ８を出力する。そして、この動作をＶＤＬに同期して繰り返し実施するものとする。これにより、ＶＤＳに同期して、長時間露光フレームの出力信号Ｆｒ＿Ｌ Ｒｅａｄｏｕｔ、中時間露光フレームの出力信号Ｆｒ＿Ｍ Ｒｅａｄｏｕｔ及び短時間露光フレームの出力信号Ｆｒ＿Ｓ Ｒｅａｄｏｕｔが繰り返し出力される。そのため、長時間露光終了後に、全ラインを一度に読み出す動作に比べて、撮像素子からの出力信号の読み出しが平準化される。

また、本変形例においては、ＴｆｒｌをＴｆｒｓの４倍に設定しているため、短時間露光フレームＦｒ＿Ｓの空き時間は、Ｔｆｒｓの３倍になっている。そこで、本変形例においては、ＴｆｒｍをＴｆｒｓの３倍に設定しているので、露光に寄与しない短時間露光ラインの無駄時間を無くしていることになる。

次に、電子シャッタを用いた露光制御について説明する。
まず、Ｔｆｒｌ１における長時間露光フレームＦｒ＿Ｌにおいては、タイミングｔ９２の水平同期信号ＨＤに同期して、長時間露光ラインの画素をライン順次でリセットし露光を開始する。これにより、長時間露光フレームＦｒ＿Ｌのライン順次のローリングシャッタ動作を開始する。この時のリセット動作は破線６１０で示される。

次に、タイミングｔ９２からＴｆｒｌ＿ｅｘｐ経過後のｔ９６のＶＤＬに同期して、長時間露光ラインの画素をライン順次で読み出す。これにより、長時間露光フレームＦｒ＿Ｌのライン順次のローリングシャッタ動作を終了する。この時、露光時間となるＴｆｒｌ＿ｅｘｐは、１６ＨＤとなっている。そして、長時間露光フレームＦｒ＿Ｌの出力信号が、Ｔｆｒｓ５におけるＦｒ＿Ｌ Ｒｅａｄｏｕｔ５となる。

次に、Ｔｆｒｌ１における短時間露光フレームＦｒ＿Ｓにおいては、タイミングｔ９４の水平同期信号ＨＤに同期して、短時間露光ラインの画素をライン順次でリセットし露光を開始する。これにより、短時間露光フレームＦｒ＿Ｓのライン順次のローリングシャッタ動作を開始する。この時のリセット動作は破線６２０で示されている。次に、タイミングｔ９４からＴｆｒｓ＿ｅｘｐ経過後のｔ９５のＶＤＳに同期して、短時間露光ラインの画素をライン順次で読み出す。これにより、短時間露光フレームＦｒ＿Ｓのライン順次のローリングシャッタ動作を終了する。この時、露光時間となるＴｆｒｓ＿ｅｘｐは、４ＨＤとなっている。そして、短時間露光フレームＦｒ＿Ｓの出力信号が、Ｔｆｒｓ４におけるＦｒ＿Ｓ Ｒｅａｄｏｕｔ４となる。

次に、中時間露光フレームＦｒ＿Ｍにおいては、タイミングｔ９６の水平同期信号ＨＤに同期して、中時間露光ラインの画素をライン順次でリセットし露光を開始する。これにより、中時間露光フレームＦｒ＿Ｍのライン順次のローリングシャッタ動作を開始する。この時のリセット動作は破線６３０で示されている。次に、タイミングｔ９６からＴｆｒｍ＿ｅｘｐ経過後のｔ９９のＶＤＳに同期して、中時間露光ラインの画素をライン順次で読み出す。これにより、中時間露光フレームＦｒ＿Ｍのライン順次のローリングシャッタ動作を終了する。この時、露光時間となるＴｆｒｍ＿ｅｘｐは、１２ＨＤとなっている。そして、中時間露光フレームＦｒ＿Ｍの出力信号が、短時間露光フレームのＴｆｒｓ７におけるＦｒ＿Ｍ Ｒｅａｄｏｕｔ７となる。

以上が、ＶＤＬに同期して実施される電子シャッタを用いた露光制御の動作となる。ここで、短時間露光フレームの露光時間Ｔｆｒｓ＿ｅｘｐ、中時間露光フレームの露光時間Ｔｆｒｍ＿ｅｘｐ及び長時間露光フレームの露光時間Ｔｆｒｌ＿ｅｘｐの比は、４ＨＤ：１２ＨＤ：１６ＨＤ＝１：３：４となっている。これらの電子シャッタ動作により、短時間露光フレーム、中時間露光フレーム及び長時間露光フレームの露光時間の比が１：３：４となるように制御される。このため、感度比を補償するゲイン値をそれぞれ４倍、４／３倍、１倍として、短時間露光画素の信号、中時間露光画素の信号及び長時間露光画素の信号を合成することでダイナミックレンジの拡大処理を実行すればよい。これにより、第１の実施形態及び本実施形態とは異なるＨＤＲ処理の入出力特性を持たせることができる。

次に、本実施形態の他の変形例について説明する。ＨＤＲ処理の基本的な動作は、図８を用いて説明した、第１の実施形態のさらに他の変形例と同様であるので、図及び符号を流用する。

図８（ａ）は、画素領域２００の撮像面照度Ｅｐｌｘと画素の出力信号Ｐｓｉｇの関係を表した画素特性の図である。本実施形態においては、画素特性Ｅｘｐ１、Ｅｘｐ２及びＥｘｐ４が、それぞれ短時間露光フレームの出力信号、中時間露光フレームの出力信号、中時間露光フレームの出力信号及び長時間露光フレームの出力信号に相当する。

図８（ｅ）は、本実施形態の撮像装置に対して、画素特性Ｅｘｐ１、Ｅｘｐ２及びＥｘｐ４を用いてＨＤＲ処理を実施した場合の、撮像面照度Ｅｐｌｘと画像信号処理に用いられる画像信号Ｓｓｉｇの関係を表した画像信号特性の図である。ＨＤＲ処理の方法は、画素特性Ｅｘｐ１、Ｅｘｐ２及びＥｘｐ４を加算して、最大飽和信号がＳｓｉｇとなるように正規化することで実現する。

撮像面照度０からＥ４までは、図８（ａ）における画素特性Ｅｘｐ１、Ｅｘｐ２及びＥｘｐ４を加算する。
撮像面照度Ｅ４からＥ２までは、図８（ａ）において画素特性Ｅｘｐ４が飽和しているので、ＰＳＡＴと画素特性Ｅｘｐ１及びＥｘｐ２を加算する。
撮像面照度Ｅ２からＥ１までは、図８（ａ）において画素特性Ｅｘｐ２及びＥｘｐ４がともに飽和しているので、２ＰＳＡＴと画素特性Ｅｘｐ１を加算する。
撮像面照度Ｅ１以上は、図８（ａ）において画素特性Ｅｘｐ１、Ｅｘｐ２及びＥｘｐ４がすべて飽和しているので、最大飽和信号量となる３ＰＳＡＴとなっている。

このように加算した画素特性に対して、最大飽和信号量３ＰＳＡＴがＳＳＡＴになるように正規化することで、図８（ｅ）のＨＤＲ処理が実現する。そして、撮像素子１２を図６のように動作させるとともに、信号処理部１３において図８（ｅ）となるようにＨＤＲ処理を実施するように撮像装置を制御すればよい。これにより、撮像面照度０からＥ１に対応して、画像信号が０からＳＳＡＴまで階調を持って出力していることがわかる。さらに、最大飽和信号量３ＰＳＡＴがＳＳＡＴになるように正規化しているので、ダイナミックレンジが３倍に拡大されていることがわかる。

図８（ｆ）は、本実施形態の変形例の撮像装置に対して、画素特性Ｅｘｐ１、Ｅｘｐ３及びＥｘｐ４を用いてＨＤＲ処理を実施した場合の、撮像面照度Ｅｐｌｘと画像信号処理に用いられる画像信号Ｓｓｉｇの関係を表した画像信号特性の図である。ＨＤＲ処理の方法は、画素特性Ｅｘｐ１、Ｅｘｐ３及びＥｘｐ４を加算して、最大飽和信号がＳｓｉｇとなるように正規化することで実現する。

撮像面照度０からＥ４までは、図８（ａ）における画素特性Ｅｘｐ１、Ｅｘｐ３及びＥｘｐ４を加算する。
撮像面照度Ｅ４からＥ３までは、図８（ａ）において画素特性Ｅｘｐ４が飽和しているので、ＰＳＡＴと画素特性Ｅｘｐ１及びＥｘｐ３を加算する。
撮像面照度Ｅ３からＥ１までは、図８（ａ）において画素特性Ｅｘｐ３及びＥｘｐ４がともに飽和しているので、２ＰＳＡＴと画素特性Ｅｘｐ１を加算する。
撮像面照度Ｅ１以上は、図８（ａ）において画素特性Ｅｘｐ１、Ｅｘｐ３及びＥｘｐ４がすべて飽和しているので、最大飽和信号量となる３ＰＳＡＴとなっている。

このように加算した画素特性に対して、最大飽和信号量３ＰＳＡＴがＳＳＡＴになるように正規化することで、図８（ｆ）のＨＤＲ処理が実現する。そして、撮像素子１２を図７のように動作させるとともに、信号処理部１３において図８（ｆ）となるようにＨＤＲ処理を実施するように撮像装置を制御すればよい。これにより、撮像面照度０からＥ１に対応して、画像信号が０からＳＳＡＴまで階調を持って出力していることがわかる。さらに、３最大飽和信号量ＰＳＡＴがＳＳＡＴになるように正規化しているので、ダイナミックレンジが３倍に拡大されていることがわかる。

図８（ｅ）及び図８（ｆ）は、ガンマ特性として知られている入出力特性で、これによりダイナミックレンジを拡大すること、及び、異なるＨＤＲ処理の入出力特性を持たせることが可能となる。

次に、本実施形態の更に他の変形例について説明する。
ここでは、図８（ｅ）及び図８（ｆ）を用いて、被写体に応じてＨＤＲ処理の入出力特性を切り換える場合について説明する。まず、静止画像の撮影前あるいは動画撮影中において、信号処理部１３に入力したデジタル画像信号から、被写体あるいは測光領域の輝度分布を計算する。計算した輝度分布が所定のしきい値より広いと判断された場合、撮像素子１２を図６のように動作させ、被写体の主要な輝度分布が撮像面照度に換算して０からＥ２までに入るように、絞りや電子シャッタを設定する。そして、信号処理部１３において図８（ｅ）となるようにＨＤＲ処理を実施するように撮像装置を制御する。これにより、撮像面照度０からＥ２までの広い撮像面照度に対して多くの階調を割り当てることができるので、被写体に対して十分なダイナミックレンジを確保した良好な画像を撮影することができる。

次に、計算した輝度分布が所定のしきい値より狭いと判断された場合、撮像素子１２を図７のように動作させ、被写体の主要な輝度分布が撮像面照度に換算して０からＥ４までに入るように、絞りや電子シャッタを設定する。そして、信号処理部１３において図８（ｆ）となるようにＨＤＲ処理を実施するように撮像装置を制御する。これにより、撮像面照度０からＥ４までの傾きが大きくなり、その間に多くの階調が割り当てられるので、ダイナミックレンジを拡大するとともに、陰影の際だった良好な画像を撮影することができる。

こうして、被写体に応じたＨＤＲ処理を実施した後に、静止画の撮影や動画撮影を行うことで、良好な画像を得ることができる。

＜他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

Claims (11)

1. 光電変換素子を持つ複数の画素がマトリクス状に配置された撮像素子と、
   短時間露光用の垂直同期信号である短期垂直同期信号と、１周期が前記短期垂直同期信号の所定周期分に等しい長時間露光用の長期垂直同期信号とを発生する同期信号発生手段と、
   前記長期垂直同期信号に従い、前記撮像素子の所定ライン間隔で設定した長時間露光用のラインで長時間露光を実施するとともに、前記短期垂直同期信号に従い、前記撮像素子のその他のラインでそれぞれ短時間露光及び中時間露光を実施する露光制御手段と、
   を有し、
   前記露光制御手段は、
   前記長時間露光用のラインについては、前記長期垂直同期信号に同期して前記長時間露光で得られた画素信号の読み出しを開始し、
   前記その他のラインについては、前記長時間露光用のラインの画素信号の読み出し期間と重複しない短期垂直同期信号に同期して前記短時間露光で得られた画素信号の読み出しを開始し、前記長時間露光で得られた画素信号の読み出しの期間及び前記短時間露光で得られた画素信号の読み出しの期間と重複しない短期垂直同期信号に同期して前記中時間露光で得られた画素信号の読み出しを開始する
   ことを特徴とする撮像装置。
2. 前記露光制御手段は、
   前記長時間露光用のラインについての長時間露光によるローリングシャッタ動作を第１の長期垂直同期信号に同期して開始し、
   前記その他のラインについての短時間露光によるローリングシャッタ動作を前記第１の長期垂直同期信号の次の第１の短期垂直同期信号に同期して開始し、
   前記その他のラインについての短時間露光による画素信号の読み出しを、前記第１の短期垂直同期信号の次の第２の短期垂直同期信号に同期して開始するとともに、前記その他のラインについての中時間露光によるローリングシャッタ動作を開始し、
   前記長時間露光用のラインについての長時間露光による画素信号の読み出しを、前記第１の長期垂直同期信号の次の第２の長期垂直同期信号に同期して開始し、
   前記その他のラインについての中時間露光による画素信号の読み出しを、前記第２の長期垂直同期信号の次の第３の短期垂直同期信号に同期して開始する
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記露光制御手段は、前記長時間露光、前記中時間露光、前記短時間露光における露光時間の比を各フレームで一定とすることを特徴とする請求項１又は２に記載の撮像装置。
4. 前記長時間露光により得られた第１の画像データと前記中時間露光により得られた第２の画像データと前記短時間露光により得られた第３の画像データとを合成して、前記第１、第２、第３の画像データに対してダイナミックレンジが拡大された第４の画像データを作成する信号処理手段を更に有することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記信号処理手段は、更に、前記第４の画像データに対して、ホワイトバランス調整処理、色補正処理、ガンマ補正処理を行うことを特徴とする請求項４に記載の撮像装置。
6. 前記信号処理手段は、更に、前記第１、第２、第３の画像データに対してそれぞれホワイトバランス調整処理及び色補正処理を行い、前記ホワイトバランス調整処理及び色補正処理が行われた前記第１、第２、第３の画像データを合成して前記第４の画像データを作成し、前記第４の画像データに対してガンマ補正処理を行うことを特徴とする請求項４に記載の撮像装置。
7. 前記短時間露光、前記中時間露光、前記長時間露光の露光時間の比が、１：２：３であることを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記短時間露光、前記中時間露光、前記長時間露光の露光時間の比が、１：２：４であることを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
9. 前記短時間露光、前記中時間露光、前記長時間露光の露光時間の比が、１：３：４であることを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
10. 光電変換素子を持つ複数の画素がマトリクス状に配置された撮像素子と、短時間露光用の垂直同期信号である短期垂直同期信号と、１周期が前記短期垂直同期信号の所定周期分に等しい長時間露光用の長期垂直同期信号とを発生する同期信号発生手段とを有する撮像装置の制御方法であって、
    露光制御手段が、前記長期垂直同期信号に従い、前記撮像素子の所定ライン間隔で設定した長時間露光用のラインで長時間露光を実施するとともに、前記短期垂直同期信号に従い、前記撮像素子のその他のラインでそれぞれ短時間露光及び中時間露光を実施する露光制御工程を有し、
    前記露光制御工程は、
    前記長時間露光用のラインについては、前記長期垂直同期信号に同期して前記長時間露光で得られた画素信号の読み出しを開始し、
    前記その他のラインについては、前記長時間露光用のラインの画素信号の読み出し期間と重複しない短期垂直同期信号に同期して前記短時間露光で得られた画素信号の読み出しを開始し、前記長時間露光で得られた画素信号の読み出しの期間及び前記短時間露光で得られた画素信号の読み出しの期間と重複しない短期垂直同期信号に同期して前記中時間露光で得られた画素信号の読み出しを開始する
    ことを特徴とする撮像装置の制御方法。
11. コンピュータに請求項１０に記載の撮像装置の制御方法の各工程を実行させるためのプログラム。

Images