JP5342969B2 - 撮像装置及び撮像方法 - Google Patents

Description

本発明は、ダイナミックレンジの広い画像を撮影する撮像装置及び撮像方法に関する。

ＣＣＤ型イメージセンサやＣＭＯＳ型イメージセンサ等の固体撮像素子を搭載したデジタルスチルカメラは、個々の画素の飽和電荷量が小さいため撮像画像のダイナミックレンジが狭いという問題を抱えている。

このため、撮像画像のダイナミックレンジを広げるための技術開発が進み、例えば下記の特許文献１記載の従来技術では、固体撮像素子に搭載されている多数の画素を、市松状又は１行置きの第１画素群と、残りの市松状又は１行置きの第２画素群とに分け、一方の画素群を長時間露光すると共に他方の画素群を短時間露光し、各画素群が検出した信号電荷を加算合成することで、撮像画像のダイナミックレンジを広げている。

しかし、この従来技術は、静止画像のダイナミックレンジを広げるには好適であるが、フレームレートが高い動画像のダイナミックレンジを広げるのは難しいという問題がある。

また、近年の固体撮像素子は多画素化が進み、１０００万画素以上を搭載するのが普通になってきている。この様な固体撮像素子では、１画素１画素が微細化されるため、更にダイナミックレンジが狭くなってしまうという問題がある。

更に、例えばＣＣＤ型の場合、固体撮像素子チップ上には、各画素（光電変換素子）の受光部の他に信号電荷の転送路を設ける必要があり、受光部面積をなるべく広くするため電荷転送路は細くなってきている。このため、従来は固体撮像素子の各画素が検出した信号を全部同時に読み出すプログレッシブ（ノンインターレース）読出が普通であったが、近年では、下記の特許文献２記載の様に、マルチフィールド（インターレース）読出が主流になってきており、それだけ、信号の読み出しに時間がかかる様になっている。つまり、高いフレームレートの動画像の読み出しに時間がかかる様になってきている。

特開２００７―２３５６５６号公報 特開２００３―３２５５５号公報

静止画像の広ダイナミックレンジ化が実現されると、ユーザの要望は、次に、動画像の広ダイナミックレンジ化に進んでくる。しかし、上述した様に、動画像のフレームレートは高く、メカニカルシャッタを使用することができず、更に近年の固体撮像素子は多画素化が進展しているため、動画像の広ダイナミックレンジ化は困難である。

本発明の目的は、広いダイナミックレンジの画像を撮像できる固体撮像素子の駆動方法を簡単なシステム構成で実現し、静止画像，動画像を問わず広ダイナミックレンジ化を図ることができる撮像装置及び撮像方法を提供することにある。

本発明の撮像装置は、被写体からの入射光を受光する半導体基板表面部に二次元アレイ状に配列形成された複数の画素で構成される第１画素群と該第１画素群に重なる領域の前記半導体基板表面部に二次元アレイ状に配列形成された複数の画素で構成され前記第１画素群の各々の画素に対してずれた位置に画素を有する第２画素群とを備える撮像素子と、垂直同期信号毎に１垂直同期期間に渡って露光した前記第１画素群から１フレームの撮像画像信号を出力させ該１垂直同期期間を含む連続する複数の垂直同期期間に渡って露光した前記第２画素群から１フレームの撮像画像信号を出力させる撮像素子駆動手段とを備え、前記第１画素群から少なくとも２フレームの撮像画像信号を連続して出力させるとき該２フレームのうちの最初の１フレームの撮像画像信号の露光時間を後の１フレームの撮像画像信号の露光時間より短く制御することを特徴とする。

本発明の撮像装置は、被写体からの入射光を受光する半導体基板表面部に二次元アレイ状に配列形成された複数の画素で構成される第１画素群と該第１画素群に重なる領域の前記半導体基板表面部に二次元アレイ状に配列形成された複数の画素で構成され前記第１画素群の各々の画素に対してずれた位置に画素を有する第２画素群とを備える撮像素子と、該撮像素子を垂直同期信号に同期させて駆動し前記第１画素群の露光時間と前記第２画素群の露光時間との間に前記垂直同期信号の垂直同期期間を単位とする差を設けて前記第１画素群と前記第２画素群とから夫々撮像画像信号を出力させる撮像素子駆動手段とを備え、前記第１画素群から少なくとも２フレームの撮像画像信号を連続して出力させるとき該２フレームのうちの最初の１フレームの撮像画像信号の露光時間を後の１フレームの撮像画像信号の露光時間より短く制御することを特徴とする。

本発明の撮像方法は、被写体からの入射光を受光する半導体基板表面部に二次元アレイ状に配列形成された複数の画素で構成される第１画素群と該第１画素群に重なる領域の前記半導体基板表面部に二次元アレイ状に配列形成された複数の画素で構成され前記第１画素群の各々の画素に対してずれた位置に画素を有する第２画素群とを備える撮像素子を搭載した撮像装置の撮像方法であって、垂直同期信号毎に１垂直同期期間に渡って露光した前記第１画素群から１フレームの撮像画像信号を出力させ、該１垂直同期期間を含む連続する複数の垂直同期期間に渡って露光した前記第２画素群から１フレームの撮像画像信号を出力させ、前記第１画素群から少なくとも２フレームの撮像画像信号を連続して出力させるとき該２フレームのうちの最初の１フレームの撮像画像信号の露光時間を後の１フレームの撮像画像信号の露光時間より短く制御することを特徴とする。

本発明の撮像方法は、被写体からの入射光を受光する半導体基板表面部に二次元アレイ状に配列形成された複数の画素で構成される第１画素群と該第１画素群に重なる領域の前記半導体基板表面部に二次元アレイ状に配列形成された複数の画素で構成され前記第１画素群の各々の画素に対してずれた位置に画素を有する第２画素群とを備える撮像素子を搭載した撮像装置の撮像方法であって、前記撮像素子を垂直同期信号に同期させて駆動し、前記第１画素群の露光時間と前記第２画素群の露光時間との間に前記垂直同期信号の垂直同期期間を単位とする差を設けて前記第１画素群と前記第２画素群とから夫々撮像画像信号を出力させ、前記第１画素群から少なくとも２フレームの撮像画像信号を連続して出力させるとき該２フレームのうちの最初の１フレームの撮像画像信号の露光時間を後の１フレームの撮像画像信号の露光時間より短く制御することを特徴とする。

本発明によれば、短時間露光による画像データと、これと同時に撮影した長時間露光による画像データとを得ることができるため、ダイナミックレンジの広い画像を生成することが可能となる。

本発明の一実施形態に係る撮像装置の機能ブロック図である。 図１に示すＣＣＤ型イメージセンサ（撮像素子）の表面模式図である。 図２に示す撮像素子の各画素を第１画素群，第２画素群に分ける説明図である。 図１に示す撮像装置の撮像手順を示すタイミングチャートである。 図４に示す第１露光期間の撮像画像（ａ）と第３露光期間の撮像画像（ｂ）を例示する図である。 図４に替わる実施形態の動作手順を示すタイミングチャートである。 図４に替わる別実施形態の動作手順を示すタイミングチャートである。 図２に替わるＣＭＯＳ型イメージセンサの表面模式図である。 図８に示すＣＭＯＳ型イメージセンサの撮像手順の説明図である。

以下、本発明の一実施形態について、図面を参照して説明する。

図１は、本発明の一実施形態に係る動画撮影機能付き撮像装置のブロック構成図である。この撮像装置１は、被写界からの入射光を集光するレンズユニット２と、レンズユニット２により結像された被写体光学像を電気信号に変換して出力する固体撮像素子（この例ではＣＣＤ型固体撮像素子）３と、固体撮像素子３から出力されるアナログの撮像画像信号の前処理（相関二重サンプリング処理，利得制御，Ａ／Ｄ変換）を行うＡＦＥ（アナログフロントエンド）回路４と、画像処理回路５と、外部メモリ６と、撮像装置背面等に設けられた表示部７と、表示部７のドライバ８と、レンズユニット２と固体撮像素子３とを駆動するドライバ９と、画像処理装置５からの指示によってドライバ９と固体撮像素子３とにタイミング信号を出力するタイミングジェネレータ（ＴＧ）１０とを備える。

画像処理回路５は、１つのＬＳＩで構成され、ＡＦＥ回路４の出力信号を取り込む入力インタフェース部１１と、入力インタフェース部１１に接続されたバス１２と、バス１２に接続された画像処理部（ＤＳＰ）１３と演算処理部（ＣＰＵ）１４と内部メモリ１５とエンコーダ１６とを備え、外部メモリ６はバス１２に接続されている。また、エンコーダ１６はドライバ８に接続され、ＣＰＵ１４からの指示によって表示部７に表示する撮像画像を表示制御する。ＣＰＵ１４は、ＡＦＥ回路４に制御信号を出力すると共にＴＧ１０に制御指令を出力し、また、ドライバ９にも制御指令を出力する。

図２は、図１に示す固体撮像素子３の表面模式図である。この固体撮像素子３は、所謂ハニカム画素配列になっており、半導体基板の表面部に二次元アレイ状に配列形成された複数の画素（フォトダイオード）２１が、奇数行の画素行（行方向を水平方向といい、これに直交する列方向を垂直方向ということにする。）に対して偶数行の画素行が１／２画素ピッチずらして形成されている。

垂直方向に並ぶ各画素列に沿って垂直方向に蛇行する埋め込みチャネルが形成され、水平方向に延びる転送電極膜が半導体基板表面のゲート絶縁膜を介して敷設されることで、各画素列に沿う垂直電荷転送路（ＶＣＣＤ）２２が形成される。Ｖ１〜Ｖ８は、読出パルス，垂直転送パルスの夫々行毎に印加される垂直転送電極を示している。

各垂直電荷転送路２２の転送方向端部に沿って、水平電荷転送路（ＨＣＣＤ）２３が形成され、水平電荷転送路２３の出力端部に出力アンプ２４が設けられている。

図中の各画素２１上に記載されたＲＧＢｒｇｂはカラーフィルタの色を表しており、Ｒとｒが「赤」、Ｇとｇが「緑」、Ｂとｂが「青」を表している。１行置きの大文字のＲＧＢを積層した画素行を、図３に示す様に、「第１画素群」とし、残りの１行置きの小文字のｒｇｂを積層した画素行を、「第２画素群」として以下の実施形態を説明する。なお、本実施形態では、第１画素群の各画素と第２画素群の各画素の飽和電荷量は同一となるように設計されている。

ＲＧＢが積層された第１画素群においては、ＧＢＧＢ…と並ぶ行と、ＲＧＲＧ…と並ぶ行とが交互に配列され、ｒｇｂが積層された第２画素群においても、ｇｂｇｂ…と並ぶ行と、ｒｇｒｇ…と並ぶ行とが交互に配列されている。この結果、同一画素数で構成される第１画素群と第２画素群とは、同色のＲとｒ、Ｇとｇ、Ｂとｂとが斜め方向に隣接することになる。

図４は、図２，図３に示すＣＣＤ型イメージセンサを用いて高フレームレートで広ダイナミックレンジの動画像データを読み出す手順を示すタイミングチャートである。

図３に示した様に、本実施形態で用いるＣＣＤ型イメージセンサは、第１画素群だけみると、各画素が正方格子状に配列され、その上にＲＧＢのカラーフィルタがベイヤ配列されており、第２画素群だけみても、各画素が正方格子状に配列され、その上にｒｇｂのカラーフィルタがベイヤ配列された形となっている。

即ち、第１画素群だけから読み出した画像データ（以下、画像データＡという。）と、第２画素群から読み出した画像データ（以下、画像データＢという。）とは、略同一画像データ（斜め方向４５度に１画素だけずれた画像データ）となっており、第１画素群の読出電極（Ｖ１，Ｖ５）と第２画素群の読出電極（Ｖ３，Ｖ７）とは異なる電極であるため、別々に読み出すことが可能である。

そこで、本実施形態では、図４に示すように、電子シャッタ（ＯＦＤパルス）ａをＣＣＤ型イメージセンサの半導体基板に印加して第１画素群，第２画素群の各画素の蓄積電荷（不要電荷）を半導体基板側に排出し、所定タイミング時点Ｔ０で電子シャッタａの印加を停止する。これにより、各画素は受光量に応じた信号電荷の蓄積を開始する。

所定タイミング時点Ｔ０直後の垂直同期信号ＶＤに同期して、読出電極兼用の転送電極Ｖ１，Ｖ５に読出パルスｂを印加すると、この読出パルスｂの印加時点Ｔ１で、第１画素群の各画素の蓄積電荷が垂直電荷転送路２２に読み出され、この垂直同期期間内の垂直転送駆動／水平転送駆動ｃにより、Ｔ０〜Ｔ１の第１露光期間に第１画素群の各画素に蓄積された信号電荷が、イメージセンサ３から出力される。第２画素群に対しては、読出パルスの印加はないため、第２画素群の各画素における信号電荷の蓄積は時点Ｔ０から継続されている。

時刻Ｔ１で第１画素群から信号電荷が読み出されるが、読出パルスｂの印加後には、再び、第１画素群の各画素に信号電荷が蓄積される。次の垂直同期信号ＶＤに同期して読出電極Ｖ１，Ｖ５に読出パルスｄを印加すると、この読出パルスｄの印加時点Ｔ２で、第１画素群の各画素の蓄積電荷が垂直電荷転送路２２に読み出され、この垂直同期期間内の垂直転送駆動／水平転送駆動ｅにより、Ｔ１〜Ｔ２即ち垂直同期信号ＶＤの周期に等しい第２露光期間に第１画素群の各画素に蓄積された信号電荷が、イメージセンサ３から出力される。第２画素群に対しては、読出パルスの印加はないため、第２画素群の各画素における信号電荷の蓄積は時刻Ｔ０から継続されている。

時刻Ｔ２で第１画素群から信号電荷が読み出されるが、読出パルスｄの印加後には、再び、第１画素群の各画素に信号電荷が蓄積される。次の垂直同期信号ＶＤに同期して読出電極Ｖ１，Ｖ５に読出パルスｆを印加すると、この読出パルスｆの印加時点Ｔ３で、第１画素群の各画素の蓄積電荷が垂直電荷転送路２２に読み出され、この垂直同期期間内の垂直転送駆動／水平転送駆動ｇにより、Ｔ２〜Ｔ３即ち垂直同期信号ＶＤの周期に等しい第２露光期間に第１画素群の各画素に蓄積された信号電荷が、イメージセンサ３から出力される。

第２画素群に対しては、読出パルスの印加はないため、第２画素群の各画素における信号電荷の蓄積は時点Ｔ０から継続されている。この様にして、第２露光期間の信号電荷の読出／出力を、任意の複数期間の数ｎだけ繰り返す。

第２露光期間の信号電荷の読出／出力を所定回数ｎだけ繰り返した後、次の垂直同期信号ＶＤに同期して、図示の例では時点Ｔ６で、読出電極兼用の転送電極Ｖ３，Ｖ７に読出パルスｈを印加する。このとき、読出電極Ｖ１，Ｖ５には読出パルスは印加しない。

これにより、第２画素群の各画素の蓄積電荷が垂直電荷転送路２２に読み出され、この垂直同期期間内の垂直転送駆動／水平転送駆動ｉにより、Ｔ０〜Ｔ６の第３露光期間に第２画素群の各画素に蓄積された信号電荷が、イメージセンサ３から出力される。

そして、読出パルスｈを印加した垂直同期期間内の任意時点から電子シャッタａを印加して第１画素群，第２画素群の各画素の不要電荷を廃棄し、次の露光開始時点になったとき電子シャッタａの印加を停止して上述した動作を繰り返すことで、短時間露光（第１露光期間），中時間露光（第２露光期間），長時間露光（第３露光期間）の三種類の露光時間の画像データを得ることができる。

この様に、本実施形態では、第１画素群の駆動タイミング（駆動パルス波形）と第２画素群の駆動タイミング（駆動パルス波形）とを同一とし、半導体基板に印加するグローバル電子シャッタの印加タイミングを工夫し、読出パルスの印加タイミングだけ第１画素群と第２画素群で変えているだけなので、簡単な制御により高フレームレートでしかもフレームレートを揃えた状態で露光時間の異なる画像データＡ１，Ａ２，Ｂを取得することができる。

第１露光期間の画像データをＡ１，第２露光期間の画像データをＡ２，第３露光期間の画像データをＢとすると、本実施形態では、
…A1・A2・A2・A2・A2・B・A1・A2・A2・A2・A2・B・A1…
という一連の画像データを得ることができる。この画像データＡ１，Ａ２，Ｂのうち、画像データＡ２は、垂直同期信号ＶＤに同期して略毎回得られるため、画像データＡ２を動画の各フレーム画像の基本とし、各画像データＡ２に、短時間露光の画像データＡ１と長時間露光の画像データＢとを用いて適宜補正及び合成を施すことで、ダイナミックレンジの広い動画像を得ることが可能となる。

或いは、より簡単な動画として表示させたい場合には、次の様にしてもよい。図５（ａ）は短時間露光の画像データＡ１を例示する図であり、図５（ｂ）は長時間露光の画像データＢを例示する図である。画像データＡ１に対し、中時間露光と短時間露光の比（ゲイン）を図１のＡＦＥ回路４で乗算して画像データＡ２と同等程度の感度にした画像を用い、また、画像データＢに対し、長時間露光と中時間露光の比をＡＦＥ回路４で乗算して画像データＡ２と同等程度の感度にした画像を、動画の各フレーム画像の基本画像として用いる。この様な方法で基準画像を作成した後、暗部の画像を画像データＢから取得して基準画像を補正し、明部の画像を画像データＡ１から取得して基準画像を補正し、一連のシーケンス内で、補正した基準画像を表示し続けることで、暗部から明部までノイズの少ない動画が得られる。

なお、図４では、第２画素群の読出パルスｈ時に第１画素群に対して読出パルスを印加しないとして説明したが、このとき同時に第１画素群に対しても読出パルスを印加して、画像データＢの出力と並行して画像データＡ２を出力し、この画像データＡ２を利用する構成としても良い。

また、当然であるが、図４に示す「Ａ１・Ａ２・Ａ２・Ａ２・Ａ２・Ｂ」だけで広ダイナミックレンジの静止画像を作成できることは言うまでもない。

更にまた、上述した実施形態では、広ダイナミックレンジの画像を得ることを述べているが、例えば、監視カメラ等に上述した実施形態を適用し、高速で動く動体を短時間露光，中時間露光による画像データＡ１，Ａ２で検出し、殆ど動かない被写体を長時間露光の画像データＢで取得する構成とすることも可能である。

図６は、図４で説明した動作手順の変形例を示すタイミングチャートである。図４の実施形態では、第１の露光期間＜第２の露光期間（＝垂直同期期間）としているのに対し、本実施形態では、第１の露光期間≒第２の露光期間としている。

即ち、第２画素群の読出電極Ｖ３，Ｖ７に読出パルスｈを印加して第２画素群の各画素から信号電荷を垂直電荷転送路に読み出した直後に電子シャッタａを印加して不要電荷を半導体基板側に廃棄する。これにより、本実施形態では、画像データＡ１≒画像データＡ２となるため、
…A2・A2・A2・A2・B・A2・A2・A2・A2・B…
という画像データを得ることができる。即ち、画像データＢの露光期間を画像データＡ２の露光期間に対して整数倍とすることが可能となる。

この実施形態でも、上述した実施形態と同様に、第２画素群に読出パルスを印加すると同時に第１画素群にも読出パルスを印加し、画像データＢの読出／転送／出力と並行して画像データＡ２の読出／転送／出力を行う構成としても良い。この場合、不要電荷が各画素群の各画素に残ることが無いので、電子シャッタは不要となるが、短時間露光の画像データＡ１は得られない。

このように、１つの固体撮像素子３を構成する第１画素群，第２画素群のうち第１画素群からは、垂直同期信号毎に１垂直同期期間（１フレーム期間）の露光時間の画像データＡ２を出力させ、第２画素群からは、ｎ（ｎは２以上の整数）垂直同期信号毎にｎフレーム期間の露光時間の画像データＢを出力させることで、広ダイナミックレンジの動画像の生成が容易となる。

なお、上述した各実施形態で、画像データＢを出力するまでの期間で、何回、画像データＡ２を出力するかは、任意であり、その時の露光条件により撮像装置が自動的に判断する様にすればよい。

図７は、本発明の別実施形態に係る動作手順を示すタイミングチャートである。図４で説明した動作と基本的に同じであり、第１の露光期間Ｊで第１画素群に蓄積された信号電荷を読出パルスＫで読み出し、第１の転送Ｌで出力し、第２の露光期間Ｍで第１画素群に蓄積された信号電荷を読出パルスＮで読み出し、第２の転送Ｏで出力し、第３の露光期間Ｐで第２画素群に蓄積された信号電荷を読出パルスＱで読み出し、第３の転送Ｒで出力する、という動作を繰り返している。

本実施形態では、第３の露光期間を第２の露光期間の約２倍長としている。即ち、図４に示す実施形態では、画像データＢを出力するまでに画像データＡ２を２以上のｎ回繰り返したが、本実施形態では、１回としている点だけ異なる。

この実施形態でも、ダイナミックレンジの広い動画像を得ることが可能となる。

なお、読出パルスＫ，Ｎ，Ｑを印加する垂直同期信号ＶＤの各周期ｔ１，ｔ２，ｔ３を、図４に示す実施形態と同様にｔ１＝ｔ２＝ｔ３としても良いが、ｔ１≠ｔ２≠ｔ３として任意にｔ１，ｔ２，ｔ３を設定することで、よりダイナミックレンジの幅を調整することが可能となる。

この実施形態でも、短時間露光の画像データＡ１と中時間露光の画像データＡ２と長時間露光の画像データＢを用いて広ダイナミックレンジの静止画像を生成でき、これを連続的に出力させることで、広ダイナミックレンジの動画像を生成することができる。

以上は、ＣＣＤ型イメージセンサを用いる例である。近年のＣＣＤ型イメージセンサは、前述した様に、垂直電荷転送路の幅が狭くなってきている関係で、インターレース読出が主流となってきており、信号電荷の読出に時間がかかる。本実施形態の撮像素子の駆動方法すなわち撮影方法は、動画撮影時には第１画素群，第２画素群に分けて画像データを出力する構成のため、インターレース読出を行うＣＣＤ型イメージセンサを搭載した撮像装置に好適であるが、本発明はノンインターレース読出を行うイメージセンサにも適用できる。

図８は、本発明の別実施形態を適用するＣＭＯＳ型イメージセンサの表面模式図である。図示するＣＭＯＳイメージセンサ３０は、半導体基板３１の受光面３２上に、二次元アレイ状に多数の画素３３が形成されており、奇数行の画素３３に対して偶数行の画素３３が１／２ピッチづつずれるように形成され、所謂、ハニカム画素配列になっている。

本実施形態のＣＭＯＳ型イメージセンサ３０も、図２，図３のＣＣＤ型イメージセンサと同様に、１行置きの画素が第１画素群を構成し、残りの１行置きの画素が第２画素群を構成している。即ち、被写体からの入射光を受光する半導体基板表面部に二次元アレイ状に配列形成された複数の画素で構成される第１画素群と、この第１画素群に重なる領域に二次元アレイ状に配列形成された複数の画素で構成され前記第１画素群の各々の画素に対してずれた位置に画素を有する第２画素群とを備える。

半導体基板３１の下辺部には雑音抑制回路３４及び水平走査回路３５が設けられており、半導体基板３１の右辺部には制御パルス生成回路３６及び垂直走査回路３７が設けられている。これらは、図１のＣＰＵ１４やタイミングジェネレータ１０からの制御パルスを受けて動作する。

各画素３３は、フォトダイオードと、フォトダイオードの検出した信号を読み出す図示省略の信号読出回路（３トランジスタ構成，４トランジスタ構成のものが周知（例えば、特開２００７―８１１３９号，特開２００７―８１１４０号公報参照）である。）とで構成され、各フォトダイオードの上にはカラーフィルタＲ，Ｇ，Ｂが積層されている。

カラーフィルタの配列は、本実施形態では、図２，図３と同じであり、第１画素群上のカラーフィルタを大文字のＲＧＢで示し、第２画素群上のカラーフィルタを小文字のｒｇｂで示している。

本実施形態では、画素３３がいわゆるハニカム配列されている関係で、制御パルス生成回路３６及び垂直走査回路３７に画素行毎に接続される水平方向（Ｘ方向）の配線４１（リセット線，行選択線。図８では１本のみ図示）は、受光面３２上のフォトダイオードを避ける様に水平方向に蛇行して設けられ、同様に、雑音抑制回路３４及び水平走査回路３５に画素列毎に接続される垂直方向（Ｙ方向）の配線４２（電源線，出力信号線。図８では１本のみ図示）も、垂直方向に蛇行して設けられる。

ＣＭＯＳ型イメージセンサ３０で被写体画像を撮像し検出信号を出力させる場合、ＣＣＤ型イメージセンサとは異なり、Ｘ走査（垂直走査）Ｙ走査（水平走査）によってＸＹで指定された画素から検出信号を取り出すことになる。一般的には、ローリングシャッタという動作によって被写体画像をイメージセンサ３０から出力させる。

ローリングシャッタとは、先ず第１行目の画素行の検出信号を出力させ、次に第２行目の画素行の検出信号を出力させ、……、第ｎ−１行目の画素行の検出信号を出力させ、第ｎ行目の画素行の検出信号を出力させる、という動作を、１フレーム期間（１垂直同期期間）に行う動作である。

本実施形態では、このローリングシャッタ動作を基本として、短時間露光の画像データＡを第１画素群から出力させ、長時間露光の画像データＢを第２画素群から出力させる制御を行う。

図９は、図８のＣＭＯＳ型イメージセンサから撮像画像信号を読み出すタイミングを説明する図である。図８のＣＭＯＳ型イメージセンサを構成する第１画素群と第２画素群とは画素行が異なるため、画素行毎に異なるタイミングでリセット信号と信号読出信号（３トランジスタの場合には行選択信号、４トランジスタの場合には行読出信号）を印加することができる。各画素行の各画素は、リセット信号印加で露光を開始し、信号読出信号印加で露光終了となり、再びリセット信号印加で露光開始、という動作を繰り返す。

そこで、図示する例では、先ず、第１行，第３行，第５行，…と奇数行目（即ち、第１画素群）の各画素行の検出信号を順に出力させて第１フレームの撮像画像データを得、次に再び第１行，第３行，第５行，…と奇数行目（第１画素群）の各画素行の検出信号を順に出力させて第２フレームの撮像画像データを得、再度第１行，第３行，第５行，…と奇数行目（第１画素群）の各画素行の検出信号を順に出力させて第３フレームの撮像画像データを得た後、今度は、第２行，第４行，第６行，…と偶数行目（第２画素群）の各画素行の検出信号を順に出力させて第４フレームの撮像画像データを得る。

第１フレームの画像（第１画素群による撮像画像）を得るときに第１画素群の各画素行にリセット信号を印加するタイミングと同タイミングで第２画素群の各画素行にリセット信号を印加して露光を開始しておけば、第４フレームの撮像画像すなわち第２画素群による撮像画像は、第１フレーム，第２フレーム，第３フレームの各画像に比べて露光時間が３倍の画像となる。この動作を繰り返せば、Ａ・Ａ・Ａ・Ｂ・Ａ・Ａ・Ａ・Ｂ・Ａ……という動画像を得ることができ、画像データＡと画像データＢとから撮像画像の広ダイナミックレンジ化を図ることが可能となる。

この実施形態は、ＣＣＤ型でいえば図６の実施形態に相当するが、長露光時間を短露光時間の何倍にするかは、そのときの被写体の露光条件などによって設定すればよく、ＡＡＢＡＡＢ…としたり、ＡＡＡＡＢＡＡＡＡＢ…とするなど任意に設定できる。

この様に、上述した各実施形態と同様に、本実施形態でも、撮像素子駆動手段を構成する図１のＣＰＵ１４，ＴＧ１０からの駆動タイミング信号により、第１画素群の露光時間と第２画素群の露光時間との間に、垂直同期期間（１フレーム期間）を単位とする差を設けて同時に撮影した短時間露光の画像データと長時間露光の画像データとを同時に得るため、広ダイナミックレンジの静止画像や動画像を容易に得ることが可能となる。

また、本実施形態では、短時間露光の１フレーム期間ｔを、図７で説明したように、ｔ１≠ｔ２≠ｔ３とすることで、短時間露光，中時間露光，長時間露光を任意に設定可能となる。

なお、上述した実施形態では、カラーフィルタを搭載した固体撮像素子（イメージセンサ）を例に述べたが、カラーフィルタを搭載しない白黒画像撮像用のイメージセンサにも上述した実施形態をそのまま適用できる。

また、全体の画素配列をハニカム画素配列とし、そのうちの第１画素群にベイヤ配列のカラーフィルタを積層し、第２画素群にもベイヤ配列のカラーフィルタを積層したイメージセンサを例に説明したが、画素配列やカラーフィルタ配列は上述した実施形態に限るものではない。例えば、特許文献１（特開２００７―２３５６５６号公報）の図１（ａ）に記載された様に、全体が正方格子状に配列された画素群を、１行置きの第１画素群と、残りの１行置きの第２画素群に分けても良く、また、１列置きの第１画素群と残りの１列置きの第２画素群に分けても良い。カラーフィルタを搭載する場合には、第１画素群と第２画素群のカラーフィルタ配列は同一配列とする。

以上述べた様に、上述した実施形態の撮像装置及び撮像方法は、被写体からの入射光を受光する半導体基板表面部に二次元アレイ状に配列形成された複数の画素で構成される第１画素群と該第１画素群に重なる領域の前記半導体基板表面部に二次元アレイ状に配列形成された複数の画素で構成され前記第１画素群の各々の画素に対してずれた位置に画素を有する第２画素群とを備える撮像素子を搭載した撮像装置において、垂直同期信号毎に１垂直同期期間に渡って露光した前記第１画素群から１フレームの撮像画像信号を出力させ、該１垂直同期期間を含む連続する複数の垂直同期期間に渡って露光した前記第２画素群から１フレームの撮像画像信号を出力させることを特徴とする。

また、実施形態の撮像装置及び撮像方法は、被写体からの入射光を受光する半導体基板表面部に二次元アレイ状に配列形成された複数の画素で構成される第１画素群と該第１画素群に重なる領域の前記半導体基板表面部に二次元アレイ状に配列形成された複数の画素で構成され前記第１画素群の各々の画素に対してずれた位置に画素を有する第２画素群とを備える撮像素子を搭載した撮像装置において、前記撮像素子を垂直同期信号に同期させて駆動し、前記第１画素群の露光時間と前記第２画素群の露光時間との間に前記垂直同期信号の垂直同期期間を単位とする差を設けて前記第１画素群と前記第２画素群とから夫々撮像画像信号を出力させることを特徴とする。

また、実施形態の撮像装置及び撮像方法は、前記第１画素群と前記第２画素群とは同一駆動タイミングで駆動され、露光開始を決める駆動タイミングと露光終了を決める駆動タイミングだけが前記第１画素群と前記第２画素群で異なることを特徴とする。

また、実施形態の撮像装置及び撮像方法は、前記第２画素群から１フレームの撮像画像信号を出力させるとき前記第１画素群からの撮像画像信号の出力を停止させることを特徴とする。

また、実施形態の撮像装置及び撮像方法は、前記第１画素群から複数フレームの撮像画像信号を連続して出力させた後に前記第２画素群から１フレームの撮像画像信号を出力させることを特徴とする。

また、実施形態の撮像装置及び撮像方法は、前記第１画素群から少なくとも２フレームの撮像画像信号を連続して出力させるとき該２フレームのうちの最初の１フレームの撮像画像信号の露光時間を後の１フレームの撮像画像信号の露光時間より短く制御することを特徴とする。

また、実施形態の撮像装置及び撮像方法は、前記垂直同期信号毎の各垂直同期期間が同一であることを特徴とする。

また、実施形態の撮像装置及び撮像方法は、前記垂直同期信号毎の各垂直同期期間が異なることを特徴とする。

また、実施形態の撮像装置及び撮像方法は、前記第１画素群から撮像画像信号を出力させてから前記第２画素群から撮像画像信号を出力させるまでの動作を繰り返すことを特徴とする。

また、実施形態の撮像装置及び撮像方法は、前記第１画素群の露光開始時に電子シャッタパルスを半導体基板に印加することで前記第１画素群の露光時間を短縮させると共に該電子シャッタパルス印加時を前記第２画素群の露光開始とすることを特徴とする。

また、実施形態の撮像装置及び撮像方法は、前記第１画素群から出力された撮像画像信号に対して該第１画素群と前記第２画素群の露光時間比のゲインをかけて出力することを特徴とする。

また、実施形態の撮像装置及び撮像方法は、前記第１画素群と前記第２画素群に同一配列のカラーフィルタが積層されていることを特徴とする。

以上述べた実施形態によれば、第１画素群から１フレーム期間づつ短時間露光された画像データが出力され、第２画素群からは、第１画素群と同一露光期間を含む複数フレーム期間に渡る長時間露光された画像データが出力されるため、静止画像のみならず動画像のダイナミックレンジを広げることが可能となる。

本発明に係る撮像装置は、既存のシステム構成を利用し、撮像素子の駆動タイミングを変えるだけで、静止画像，動画像を問わずにダイナミックレンジの広い画像を撮影できるため、デジタルスチルカメラ，デジタルビデオカメラ，カメラ付携帯電話機，カメラ付電子装置，監視カメラなどに適用すると有用である。

１ 撮像装置
３ ＣＣＤ型イメージセンサ
４ ＡＦＥ回路
９ ドライバ
１０ タイミングジェネレータ
１３ 画像処理部
１４ ＣＰＵ
２１，３３ 画素
２２ 垂直電荷転送路（ＶＣＣＤ）
２３ 水平電荷転送路（ＨＣＣＤ）
３０ ＣＭＯＳ型イメージセンサ
ＲＧＢ 第１画素群に搭載したカラーフィルタ
ｒｇｂ 第２画素群に搭載したカラーフィルタ

Claims (22)

1. 被写体からの入射光を受光する半導体基板表面部に二次元アレイ状に配列形成された複数の画素で構成される第１画素群と該第１画素群に重なる領域の前記半導体基板表面部に二次元アレイ状に配列形成された複数の画素で構成され前記第１画素群の各々の画素に対してずれた位置に画素を有する第２画素群とを備える撮像素子と、垂直同期信号毎に１垂直同期期間に渡って露光した前記第１画素群から１フレームの撮像画像信号を出力させ該１垂直同期期間を含む連続する複数の垂直同期期間に渡って露光した前記第２画素群から１フレームの撮像画像信号を出力させる撮像素子駆動手段とを備え、前記第１画素群から少なくとも２フレームの撮像画像信号を連続して出力させるとき該２フレームのうちの最初の１フレームの撮像画像信号の露光時間を後の１フレームの撮像画像信号の露光時間より短く制御する撮像装置。
2. 被写体からの入射光を受光する半導体基板表面部に二次元アレイ状に配列形成された複数の画素で構成される第１画素群と該第１画素群に重なる領域の前記半導体基板表面部に二次元アレイ状に配列形成された複数の画素で構成され前記第１画素群の各々の画素に対してずれた位置に画素を有する第２画素群とを備える撮像素子と、該撮像素子を垂直同期信号に同期させて駆動し前記第１画素群の露光時間と前記第２画素群の露光時間との間に前記垂直同期信号の垂直同期期間を単位とする差を設けて前記第１画素群と前記第２画素群とから夫々撮像画像信号を出力させる撮像素子駆動手段とを備え、前記第１画素群から少なくとも２フレームの撮像画像信号を連続して出力させるとき該２フレームのうちの最初の１フレームの撮像画像信号の露光時間を後の１フレームの撮像画像信号の露光時間より短く制御する撮像装置。
3. 請求項１又は請求項２に記載の撮像装置であって、前記第１画素群と前記第２画素群とは同一駆動タイミングで駆動され、露光開始を決める駆動タイミングと露光終了を決める駆動タイミングだけが前記第１画素群と前記第２画素群で異なる撮像装置。
4. 請求項１乃至請求項３のいずれかに記載の撮像装置であって、前記第２画素群から１フレームの撮像画像信号を出力させるとき前記第１画素群からの撮像画像信号の出力を停止させる撮像装置。
5. 請求項４に記載の撮像装置であって、前記第１画素群から複数フレームの撮像画像信号を連続して出力させた後に前記第２画素群から１フレームの撮像画像信号を出力させる撮像装置。
6. 請求項１乃至請求項５のいずれかに記載の撮像装置であって、前記垂直同期信号毎の各垂直同期期間が同一である撮像装置。
7. 請求項１乃至請求項５のいずれかに記載の撮像装置であって、前記垂直同期信号毎の各垂直同期期間が異なる撮像装置。
8. 請求項１乃至請求項７のいずれかに記載の撮像装置であって、前記第１画素群から撮像画像信号を出力させてから前記第２画素群から撮像画像信号を出力させるまでの動作を繰り返す撮像装置。
9. 請求項１乃至請求項５のいずれかに記載の撮像装置であって、前記第１画素群の露光開始時に電子シャッタパルスを半導体基板に印加することで前記第１画素群の露光時間を短縮させると共に該電子シャッタパルス印加時を前記第２画素群の露光開始とする撮像装置。
10. 請求項１乃至請求項９のいずれかに記載の撮像装置であって、前記第１画素群から出力された撮像画像信号に対して該第１画素群と前記第２画素群の露光時間比のゲインをかけて出力する撮像装置。
11. 請求項１乃至請求項１０のいずれかに記載の撮像装置であって、前記第１画素群と前記第２画素群に同一配列のカラーフィルタが積層される撮像装置。
12. 被写体からの入射光を受光する半導体基板表面部に二次元アレイ状に配列形成された複数の画素で構成される第１画素群と該第１画素群に重なる領域の前記半導体基板表面部に二次元アレイ状に配列形成された複数の画素で構成され前記第１画素群の各々の画素に対してずれた位置に画素を有する第２画素群とを備える撮像素子を搭載した撮像装置の撮像方法であって、垂直同期信号毎に１垂直同期期間に渡って露光した前記第１画素群から１フレームの撮像画像信号を出力させ、該１垂直同期期間を含む連続する複数の垂直同期期間に渡って露光した前記第２画素群から１フレームの撮像画像信号を出力させ、前記第１画素群から少なくとも２フレームの撮像画像信号を連続して出力させるとき該２フレームのうちの最初の１フレームの撮像画像信号の露光時間を後の１フレームの撮像画像信号の露光時間より短く制御する撮像方法。
13. 被写体からの入射光を受光する半導体基板表面部に二次元アレイ状に配列形成された複数の画素で構成される第１画素群と該第１画素群に重なる領域の前記半導体基板表面部に二次元アレイ状に配列形成された複数の画素で構成され前記第１画素群の各々の画素に対してずれた位置に画素を有する第２画素群とを備える撮像素子を搭載した撮像装置の撮像方法であって、前記撮像素子を垂直同期信号に同期させて駆動し、前記第１画素群の露光時間と前記第２画素群の露光時間との間に前記垂直同期信号の垂直同期期間を単位とする差を設けて前記第１画素群と前記第２画素群とから夫々撮像画像信号を出力させ、前記第１画素群から少なくとも２フレームの撮像画像信号を連続して出力させるとき該２フレームのうちの最初の１フレームの撮像画像信号の露光時間を後の１フレームの撮像画像信号の露光時間より短く制御する撮像方法。
14. 請求項１２又は請求項１３に記載の撮像方法であって、前記第１画素群と前記第２画素群とは同一駆動タイミングで駆動され、露光開始を決める駆動タイミングと露光終了を決める駆動タイミングだけが前記第１画素群と前記第２画素群で異なる撮像方法。
15. 請求項１２乃至請求項１４のいずれかに記載の撮像方法であって、前記第２画素群から１フレームの撮像画像信号を出力させるとき前記第１画素群からの撮像画像信号の出力を停止させる撮像方法。
16. 請求項１５に記載の撮像方法であって、前記第１画素群から複数フレームの撮像画像信号を連続して出力させた後に前記第２画素群から１フレームの撮像画像信号を出力させる撮像方法。
17. 請求項１２乃至請求項１６のいずれかに記載の撮像方法であって、前記垂直同期信号毎の各垂直同期期間が同一である撮像方法。
18. 請求項１２乃至請求項１６のいずれかに記載の撮像方法であって、前記垂直同期信号毎の各垂直同期期間が異なる撮像方法。
19. 請求項１２乃至請求項１８のいずれかに記載の撮像方法であって、前記第１画素群から撮像画像信号を出力させてから前記第２画素群から撮像画像信号を出力させるまでの動作を繰り返す撮像方法。
20. 請求項１２乃至請求項１６のいずれかに記載の撮像装置であって、前記第１画素群の露光開始時に電子シャッタパルスを半導体基板に印加することで前記第１画素群の露光時間を短縮させると共に該電子シャッタパルス印加時を前記第２画素群の露光開始とする撮像方法。
21. 請求項１２乃至請求項２０のいずれかに記載の撮像方法であって、前記第１画素群から出力された撮像画像信号に対して該第１画素群と前記第２画素群の露光時間比のゲインをかけて出力する撮像方法。
22. 請求項１２乃至請求項２１のいずれかに記載の撮像方法であって、前記第１画素群と前記第２画素群に同一配列のカラーフィルタが積層されている撮像方法。

Images