JP4484944B2 - 撮像装置及び撮像装置の駆動方法 - Google Patents

Description

本発明は、受光領域に複数の光電変換部が配列された撮像装置に関し、複数の光電変換部のうち輝度信号を生成する輝度画素の飽和電荷量の拡大を図った撮像装置及びその駆動方法に関する。

現在、デジタルカメラなどの撮像装置に搭載される撮像素子としては、高解像度のカラー画像を生成するため、色成分を抽出する光電変換素子とともに、輝度成分を抽出するための光電変換素子を素子領域に２次元状に配列にした構成が提案されている。色成分を抽出する光電変換素子上には、カラーフィルタが設けられ、光電変換素子で生成された信号電荷を色信号として出力する。一方で、輝度成分を抽出するための光電変換素子上には、無色透明なフィルタ又はカラーフィルタが設けられてない構成とすることで、該光電変換素子で生成された信号電荷を輝度信号として出力する。このような構成の撮像素子を備えたデジタルカメラ等の撮像装置は、高解像度の輝度成分を有するカラー画像を得ることができる。

特開２００７−２５８６８６号公報 特開平０７−２５０２８６号公報

しかし、輝度成分を抽出する光電変換素子は、カラーフィルタなどが設けられた色成分を抽出する光電変換素子に比べて入射光に対する感度が高いため、同じ露光時間で撮像を行った場合に、先に信号電荷が飽和に達してしまう。このため、高感度に見合った飽和電荷量が得られない点で改善の余地があった。

本発明は、上記事情に鑑みてなされたもので、その目的は、光電変換部で取得される輝度信号及び色信号の露光期間に対する同時性を確保しつつ、輝度信号を抽出する光電変換部の電荷飽和量を実質的に増加することができる撮像装置及び撮像装置の駆動方法を提供することにある。

本発明の上記目的は、下記構成によって達成される。
（１）複数の画素が半導体基板表面に配置され、前記複数の画素が複数色の有彩色画素と、前記有彩色画素に比べて入射光に対する感度の高い高感度画素とを含む固体撮像素子を有する撮像装置であって、
前記高感度画素及び前記有彩色画素で同時に露光時間を開始し、該露光時間中に前記高感度画素から第１信号を読み出して保持し、その後、前記高感度画素から前記第２信号の読み出しと、前記有彩色画素から第３信号の読み出しを行うように制御する駆動部と、
前記第１信号、第２信号、及び、前記第３信号に基いて有彩色画像データを生成する信号処理部と、前記画素から読み出された信号電荷を前記列方向に転送する垂直転送部と、
前記信号電荷を前記行方向に転送する水平転送部とを備え、前記垂直転送部が前記第１信号を保持可能である撮像装置。
（２）複数の画素が半導体基板表面に配置され、前記複数の画素が複数色の有彩色画素と、前記有彩色画素に比べて入射光に対する感度の高い高感度画素とを含む固体撮像素子を有する撮像装置であって、
前記高感度画素及び前記有彩色画素で同時に露光時間を開始し、該露光時間中に前記高感度画素から第１信号を読み出して保持し、その後、前記高感度画素から前記第２信号の読み出しと、前記有彩色画素から第３信号の読み出しを行うように制御する駆動部と、
前記第１信号、第２信号、及び、前記第３信号に基いて有彩色画像データを生成する信号処理部と、
露光時間中に被写体に対して発光を行う発光部を備え、
露光時間中、前記第１の光電変換部から信号電荷を読み出し、発光を行う期間に応じて前記高感度画素の信号を前記第１信号と前記第２信号に分割する撮像装置。
（３）前記高感度画素と前記有彩色画素とが、同一の配列ピッチで、かつ、互いに配列ピッチの１／２だけ前記行方向及び前記列方向にずれた位置に配列されている（１）又は（２）に記載の撮像装置。
（４）前記高感度画素と前記有彩色画素とが、同一の配列ピッチで、かつ、それぞれが正方格子状に２×２周期の配列を斜めにした状態で配列されている（１）又は（２）に記載の撮像装置。
（５）前記第１信号を加算して前記垂直転送部に保持する（１）に記載の撮像装置。
（６）前記第１信号が、露光時間中に、前記高感度画素から複数回読み出された信号電荷で構成される（１）から（５）に記載の撮像装置。
（７）前記第１信号の１回の読み出し期間が前記第２信号の１回の読み出し期間より短い（１）から（６）のいずれか１つに記載の撮像装置。
（８）前記第１信号、第２信号、及び、第３信号が、露光時間終了後、前記信号処理部に出力される（１）から（７）のいずれか１つに記載の撮像装置。
（９）前記第１信号と前記第２信号が加算され信号処理部に出力される（１）から（８）のいずれか１つに記載の撮像装置。
（１０）前記第１信号を読み出す時刻が前記高感度画素のうち少なくとも一部で異なる（１）から（９）のいずれか１つに記載の撮像装置。
（１１）複数の画素が半導体基板表面に配置され、前記複数の画素が複数色の有彩色画素と、前記有彩色画素に比べて入射光に対する感度の高い高感度画素とを含む固体撮像素子を有する撮像装置の駆動方法であって、
前記高感度画素及び前記有彩色画素で同時に露光時間を開始し、該露光時間中に前記高感度画素から第１信号を読み出して保持し、その後、前記高感度画素から前記第２信号の読み出しと、前記有彩色画素から第３信号の読み出しを行うように制御し、前記撮像装置が前記画素から読み出された信号電荷を前記列方向に転送する垂直転送部と、前記信号電荷を、前記行方向に転送する水平転送部とを有し、前記第１信号を前記垂直転送部で保持し、
前記第１信号、第２信号、及び、前記第３信号に基いて有彩色画像データを生成する撮像装置の駆動方法。
（１２）複数の画素が半導体基板表面に配置され、前記複数の画素が複数色の有彩色画素と、前記有彩色画素に比べて入射光に対する感度の高い高感度画素とを含む固体撮像素子を有する撮像装置の駆動方法であって、
前記高感度画素及び前記有彩色画素で同時に露光時間を開始し、露光時間中、前記第１の光電変換部から信号電荷を読み出し、発光を行う期間に応じて前記高感度画素の信号を前記第１信号と前記第２信号に分割し、該露光時間中に前記高感度画素から第１信号を読み出して保持し、その後、前記高感度画素から前記第２信号の読み出しと、前記有彩色画素から第３信号の読み出しを行うように制御し、
前記第１信号、第２信号、及び、前記第３信号に基いて有彩色画像データを生成する撮像装置の駆動方法。
（１３）前記高感度画素と前記有彩色画素とが、同一の配列ピッチで、かつ、互いに配列ピッチの１／２だけ前記行方向及び前記列方向にずれた位置に配列されている（１１）又は（１２）に記載の撮像装置の駆動方法。
（１４）前記高感度画素と前記有彩色画素とが、同一の配列ピッチで、かつ、それぞれが正方格子状に２×２周期の配列を斜めにした状態で配列されている（１１）又は（１２）に記載の撮像装置の駆動方法。
（１５）前記第１信号を加算して前記垂直転送部に保持する（１１）に記載の撮像装置の駆動方法。
（１６）前記第１信号が、露光時間中に、前記高感度画素から複数回読み出された信号電荷で構成される（１１）から（１５）のいずれか１つに記載の撮像装置の駆動方法。
（１７）前記第１信号の１回の読み出し期間が前記第２信号の１回の読み出し期間より短い（１１）から（１６）のいずれか１つに記載の撮像装置の駆動方法。
（１８）前記第１信号、第２信号、及び、第３信号が、露光時間終了後、信号処理部に出力される（１１）から（１７）のいずれか１つに記載の撮像装置の駆動方法。
（１９）前記第１信号と前記第２信号が加算され信号処理部に出力される（１１）から（１８）のいずれか１つに記載の撮像装置の駆動方法。
（２０）前記第１信号を読み出す時刻が前記高感度画素のうち少なくとも一部で異なる（１１）から（１９）のいずれか１つに記載の撮像装置の駆動方法。

本発明は、露光時間中に、輝度成分を抽出する高感度画素で生成された信号電荷を第１信号として保持することで、高感度画素の電荷量をリセットし、その後、引き続き露光時間中に信号電荷を蓄積させることができる。こうすることで、高感度画素の見かけ上の飽和電荷量を増加することができる。このように第１信号と第２信号とをそれぞれ出力することで、露光時間に対して１度しか輝度信号を読み出さない従来の構成に比べて、輝度信号のダイナミックレンジを拡大することができ、高画質の画像を得ることができる。また、高感度画素と有彩色画素との露光時間の開始及び終了を同時にできるため、出力後、第１〜第３信号を加算しても、時間に対する同時性が確保され、視認したときに違和感のない画像を得ることができる。
なお、露光時間中に読み出した第１信号と露光時間終了時に読み出した第２信号とを合成した信号を検出することで、結果としてダイナミックレンジの拡大を図ることができるため、飽和電荷量が増加することと同等の効果を得ることができる。
ここで、第１信号の読み出しは、露光時間中に１回だけでなく複数回行ってもよい。

本発明によれば、光電変換部で取得される第１〜第３信号の露光期間に対する同時性を確保しつつ、輝度信号を抽出する光電変換部の電荷飽和量を実質的に増加することができる撮像装置及び撮像装置の駆動方法を提供できる。

本発明にかかる撮像装置の概略構成を示す図である。 固体撮像素子の構成を説明する平面模式図である。 撮像装置の動作の一例を説明する図である。 撮像装置の動作の別の例を説明する図である。 図４に示す読み出し動作の際の信号電荷の状態を示している。 信号電荷の加算を説明する模式図である。 光電変換部の別の配列構造において、読み出し動作の一例を説明する図である。 光電変換部の別の配列構造において、読み出し動作の他の例を説明する図である。 固体撮像素子の他の構成を説明する回路図である。 固体撮像素子の他の構成において、信号電荷の加算を説明する模式図である。 ＣＭＯＳ型固体撮像素子の構成において、高感度画素の露光期間の一例を説明する図である。

以下、本発明の実施形態を図面に基づいて詳しく説明する。
図１は、本発明にかかる撮像装置の概略構成を示す図である。なお、本実施形態では、撮像装置の一例としてデジタルカメラの構成を用いて説明する。図１の撮像装置１００は、撮像部１０と、アナログ信号処理部１０２と、Ａ／Ｄ変換部１０３と、駆動部１０４と、ストロボ１０５と、デジタル信号処理部１０６と、圧縮／伸張処理部１０７と、表示部１０８と、システム制御部１０９と、内部メモリ１１０と、メディアインタフェース１１１と、記録メディア１１２と、操作部１１３とを備える。デジタル信号処理部１０６、圧縮／伸張処理部１０７、表示部１０８、システム制御部１０９、内部メモリ１１０、及びメディアインタフェース１１１は、システムバス１１４に接続されている。

撮像部１０は、撮影レンズ等の光学系及び後述する固体撮像素子によって被写体の撮影を行うものであり、アナログの撮像信号を出力する。撮像部１０には、固体撮像素子への光の入射の遮断制御を行うメカニカルシャッタも含まれている。アナログ信号処理部１０２は、撮像部１０で得られた撮像信号に所定のアナログ信号処理を施す。Ａ／Ｄ変換部１０３は、アナログ信号処理部１０２で処理後のアナログ信号をデジタル信号に変換する。Ａ／Ｄ変換部１０３の出力は、いわゆるＲＡＷ画像データとしてデジタル信号処理部１０６に送られる。ＲＡＷ画像データは、撮像部１０からの撮像信号の形式のままデジタル化したデジタル画像データである。

撮影に際しては、駆動部１０４を介して光学系、メカニカルシャッタ、及び固体撮像素子の制御が行われる。固体撮像素子は、操作部１１３の一部であるレリーズボタン（図示せず）の操作による２段レリーズスイッチ（図示せず）のオンを契機として、所定のタイミングで、駆動部１０４に含まれるタイミングジェネレータ（図１ではＴＧと記載）からの駆動信号によって駆動される。駆動部１０４は、システム制御部１０９によって所定の駆動信号を出力する。

デジタル信号処理部１０６は、Ａ／Ｄ変換部３からのデジタル画像データに対して、操作部１１３によって設定された動作モードに応じたデジタル信号処理を行う。デジタル信号処理部１０６が行う処理には、黒レベル補正処理（ＯＢ処理）、リニアマトリクス補正処理、ホワイトバランス調整処理、ガンマ補正処理、画像合成処理、同時化処理、及びＹ／Ｃ変換処理等が含まれる。デジタル信号処理部１０６は、例えばＤＳＰで構成される。

圧縮／伸張処理部１０７は、デジタル信号処理部１０６で得られたＹ／Ｃデータに対して圧縮処理を施すとともに、記録メディア１１２から得られた圧縮画像データに対して伸張処理を施す。

表示部１０８は、例えばＬＣＤ表示装置を含んで構成され、撮影されてデジタル信号処理を経た画像データに基づく画像を表示する。記録メディア１１２に記録された圧縮画像データを伸張処理して得た画像データに基づく画像の表示も行う。また、撮影時のスルー画像、デジタルカメラの各種状態、操作に関する情報の表示等も可能である。

内部メモリ１１０は、例えばＤＲＡＭであり、デジタル信号処理部１０６やシステム制御部１０９のワークメモリとして利用される他、記録メディアに１１２に記録される撮影画像データを一時的に記憶するバッファメモリや表示部１０８への表示画像データのバッファメモリとしても利用される。メディアインタフェース１１１は、メモリカード等の記録メディア１１２との間のデータの入出力を行うものである。

システム制御部１０９は、所定のプログラムによって動作するプロセッサを主体に構成され、撮影動作を含むデジタルカメラ全体の制御を行う。

操作部１１３は、デジタルカメラ使用時の各種操作を行うものであり、レリーズボタン等を含んでいる。

図１に示すデジタルカメラは、撮影感度の設定が変更可能となっている。例えばフィルム感度でいえば、ＩＳＯ感度１００に相当する感度で撮影を行う低感度撮影モードと、ＩＳＯ感度２００、４００、８００に相当する感度で撮影を行う高感度撮影モードとを切換設定可能となっている。図１に示すデジタルカメラでは、例えば、露光時間等の撮像条件を変えることでＩＳＯ感度を変えており、ＩＳＯ感度が低いほど露光時間を長く設定し、ＩＳＯ感度が高いほど露光時間を短く設定している。

図２は、本実施形態の固体撮像素子の構成を説明する平面模式図である。固体撮像素子２０は、半導体基板の受光領域上に複数のフォトダイオード等の光電変換部１１が二次元状に配列されている。本実施形態では、各光電変換素子が画像を構成する一画素に相当し、以下、単に画素ともいう。

図２のおいて上下方向を列方向、左右方向を行方向としたとき、光電変換部１１が半導体基板表面に行方向及び列方向に配設され、奇数行の光電変換部と偶数行の光電変換部とが１／２ピッチづつずらして配列（所謂、ハニカム画素配列）されている。なお、本実施形態では、光電変換部１１は、色成分を抽出する光電変換部（有彩色画素）１１ａと、輝度成分を抽出する光電変換部（高感度画素）１１ｂとから構成されている。以下の説明では、光電変換部１１ａと光電変換部１１ｂとを総称して単に光電変換部１１ともいう。高感度画素は、有彩色画素に比べて入射光に対する感度が高い。複数の有彩色画素と複数の高感度画素とを総称して単に複数の画素ともいう。

固体撮像素子２０は、各光電変換部１１から読み出された信号電荷を列方向に転送する複数の垂直転送部１２と、複数の垂直転送部１２のそれぞれからの信号電荷を、行方向に転送する水平転送部１３と、水平転送部１３を経て信号電荷に対応する電圧信号を出力する出力アンプ部１４とが設けられている。

垂直転送部１２は、列方向に配設された複数の光電変換部１１に対応して半導体基板に形成された複数の垂直転送チャネル（図示しない）と、複数の垂直転送チャネルのそれぞれと交差するように形成された（図２において左右方向に延設された）複数の垂直転送電極Ｖ１〜Ｖ８と、各光電変換部１１の信号電荷を垂直転送チャネルに読み出す電荷読み出し領域とを含む。各垂直転送部１２の垂直転送電極Ｖ１〜Ｖ８は、光電変換部１１の各列同士の間に延在し、蛇行形状を有している。垂直転送部１２は、垂直転送電極Ｖ１〜Ｖ８に駆動部１０４から出力される垂直転送パルスによって転送駆動される。

水平転送部１３は、半導体基板に形成された図示しない水平転送チャネルと、この水平転送チャネル上に設けられた水平転送電極とを有し、水平転送電極に駆動部１０４から出力される水平転送パルスφＨ１，φＨ２によって２相駆動される。

出力アンプ部１４は、水平転送部１３の転送方向端部まで転送されてきた信号電荷の電荷量に応じた電圧値信号を画像信号として出力する。

なお、垂直転送部１２や水平転送部１３のように、「垂直」「水平」という語句を用いて説明したが、これは、半導体基板表面に平行な「１方向」「この１方向に対して略直角の方向」の意味である。

固体撮像素子において、カラー画像信号を検出するため、受光領域上に図示しないカラーフィルタが設けられている。

各光電変換部１１ａ上に図示した「Ｒ」「Ｇ」「Ｂ」は、各光電変換部上に積層されたカラーフィルタの色を表しており、「Ｒ」は赤色を示し、「Ｇ」は緑色を示し、「Ｂ」は青色を示している。また、「Ｒ」「Ｇ」「Ｂ」で示す位置の光電変換部１１は色成分を抽出する光電変換部を示している。「Ｗ」で示す位置の光電変換部１１ｂは、輝度成分を抽出する光電変換部を示している。光電変換部１１ｂの上には無色透明のフィルタが設けられた構成、または、何もフィルタが設けられていない構成など、入射光の色成分がフィルタに吸収されることなく全て受光する構成である。

光電変換部１１ａによって検出される光に対応する信号を色信号、又は、各色に対応してＲ信号、Ｇ信号、Ｂ信号と記述する場合もある。また、光電変換部１１ｂによって検出される光に対応する信号を輝度信号、又は、後述するように、読み出すタイミングに応じて第１信号や第２信号という場合もある。さらに、色信号を第３信号ともいう。

本実施形態では、光電変換部１１が半導体基板表面に行方向及び列方向に配設され、色成分を抽出する光電変換部１１ａと輝度成分を抽出する光電変換部１１ｂとが、同一の配列ピッチで、かつ、互いに、配列ピッチの１／２だけ行方向及び列方向にずれた位置に配列されている。具体的には、光電変換部１１ａは赤色，緑色，青色のベイヤー配列を有し、光電変換部１１ｂは、光電変換部１１ａと同じピッチの正方格子状の配列であり、光電変換部１１ａの配列ピッチの１／２だけ行方向及び列方向にずれた位置に光電変換部１１ｂが配置されている。ここで、奇数行に「Ｒ」「Ｇ」「Ｂ」で示される光電変換部１１ａが配列され、偶数行に「Ｗ」で示される光電変換部１１ｂが配列されている。

ここで、「Ｒ」「Ｇ」「Ｂ」で示される光電変換部１１ａに相等する画素をそれぞれＲ画素、Ｇ画素、Ｂ画素といい、「Ｗ」で示される光電変換部１１ｂに相等する画素をＷ画素ともいう。

本実施形態の固体撮像素子２０では、色成分を抽出する光電変換部１１ａのうち、奇数行の光電変換部１１ａと偶数行の光電変換部１１ａとの色信号がそれぞれ反対側の垂直転送部１２に読み出される。また、輝度成分を抽出する光電変換部１１ｂのうち、奇数行の光電変換部１１ｂと偶数行の光電変換部１１ｂとの輝度信号がそれぞれ反対側の垂直転送部１２に読み出される。光電変換部１１ａの行と、該行の下に並んだ光電変換部１１ｂの行とが対応して並べられており、これら２行の光電変換部１１ａ，１１ｂの信号電荷が同じ垂直転送部１２に読み出され、その下に２行分の光電変換部１１ａ，１１ｂの信号電荷は、反対側の垂直電荷転送部１２に読み出される。つまり、光電変換部１１ａ，１１ｂは２行ごとに垂直転送部１２に信号電荷を読み出す方向が反対となる。ここで、垂直転送部１２は、露光時間中に光電変換部１１ａから読み出された第１信号を保持可能な画素信号保持部として機能する。

図３は、本実施形態の撮像装置の動作の一例を説明する図である。
本実施形態の固体撮像素子２０は、先ず、電子シャッターを駆動して、露光時間を開始するのと同時に、色成分を抽出する光電変換部（ＲＧＢ画素）１１ａと輝度成分を抽出する光電変換部（Ｗ画素）１１ｂとにおいて露光を開始する。
露光時間開始から所定時間が経過した後、露光の状態のまま、光電変換部１１ｂに蓄積された信号電荷を、一旦、垂直転送部１２に読み出す。このとき、読み出される信号電荷を第１信号とする。なお、第１信号は、露光時間中に、１回読み出されてもよく、または、第１の光電変換部から複数回読み出された信号電荷を含んでいてもよい。

露光時間中は、読み出された第１信号を垂直転送部１２で保持する。そして、読み出し後、光電変換部１１ａ及び光電変換部１１ｂで露光による信号電荷を生成する。露光時間終了とともに、光電変換部１１ａから色信号を読み出し、光電変換部１１ｂから輝度信号を読み出す。露光時間終了後に読み出される輝度信号を、ここでは第２信号とする。そして、露光時間終了後、垂直転送部１２に保持された第１信号と、読み出された第２信号及び色信号（第３信号）を垂直転送及び水平転送し、出力アンプ部１４から信号処理部１０２に出力する。

露光時間の途中に第１信号を読み出す手段としては、露光時間中に被写体に対して発光を行う発光部を備えている構成では、露光時間中、光電変換部１１ｂから信号電荷を読み出し、発光部からの発光期間の光電変換部１１ｂの信号を第１信号と第２信号に分割することができる。発光部としては、例えばストロボ装置である。

図４は、本実施形態の撮像装置の動作の別の例を説明する図である。
図３の動作と同様に、固体撮像素子２０は、先ず、電子シャッターを駆動して、露光時間を開始するのと同時に、色成分を抽出する光電変換部（ＲＧＢ画素）１１ａと輝度成分を抽出する光電変換部（Ｗ画素）１１ｂとにおいて露光を開始する。露光時間開始から所定時間が経過した後、露光の状態のまま、光電変換部１１ｂに蓄積された信号電荷を、一旦、垂直転送部１２に読み出す。読み出される信号電荷を第１信号とする。なお、第１信号は、露光時間中に、１回読み出されてもよく、または、第１の光電変換部から複数回読み出された信号電荷を含んでいてもよい。

ここで、図４に示す動作では、読み出した第１信号の信号電荷を垂直転送部１２で垂直加算する点で、図３の動作と相違する。加算された第１信号は、露光時間中、垂直転送部１２で保持される。第１信号の読み出し後、光電変換部１１ａ及び光電変換部１１ｂで露光による信号電荷を生成する。露光時間終了とともに、光電変換部１１ａから色信号を読み出し、光電変換部１１ｂから輝度信号を読み出す。露光時間終了後に読み出される輝度信号を第２信号とする。そして、露光時間終了後、垂直転送部１２に保持された第１信号と、読み出された第２信号及び色信号を垂直転送及び水平転送し、出力アンプ部１４から信号処理部１０２に出力する。
図４に示す例では、第１信号の１回の読み出し期間が第２信号の１回の読み出し期間より短い。

図５は、図４に示す読み出し動作の際の信号電荷の状態を示している。図６は、信号電荷の加算を説明する模式図である。
図５に示すように、垂直転送部１２において、光電変換部１１ｂから読み出された第１信号（Ｗ信号）が垂直転送される領域を斜線で示している。ここで、読み出されるＷ信号は、垂直転送部１２において垂直加算される。垂直加算としては、例えば、図６に示すように、奇数行のＷ信号と、該奇数行の下の偶数行のＷ信号とを２画素加算する。なお、図６では、点線で囲まれたＷ信号同士を加算されるＷ信号同士をとして表している。こうすれば、図５に示す読み出し動作を行うことで、８相の転送駆動が可能となる。８相駆動とすれば、垂直転送電極Ｖ１〜Ｖ８のうち６電極で電荷蓄積が可能であるため、４相駆動において２電極で電荷蓄積をする場合に比べて、３倍の電荷を蓄積することができる。加算により電荷が２倍となっても画素当たりの飽和電荷量を１．５倍に増やすことが可能である。

読み出した第１信号を加算する場合には、露光時間後読み出した第２信号と平均処理を行うことで、低周波ノイズが改善した低周波のダイナミックレンジが拡大する効果を得ることができる。具体的には、第１信号からローパスフィルタによって低周波成分を検出し、一方で、第２信号からローパスフィルタによって低周波成分を検出した後、第１信号及び第２信号の低周波成分の平均処理を行い、平均化された低周波成分に第２信号の高周波成分を合成することで、輝度信号の低周波のダイナミックレンジを拡大させることができる。

次に、本発明にかかる撮像装置の他の構成例を図面に基いて説明する。なお、以下に説明する実施形態において、すでに説明した部材などと同等な構成・作用を有する部材等については、図中に同一符号又は相当符号を付すことにより、説明を簡略化或いは省略する。

図７及び図８に示す固体撮像素子では、光電変換部２１ａ，２１ｂが半導体基板表面に行方向及び列方向に配設され、色成分を抽出する光電変換部２１ａと輝度成分を抽出する光電変換部２１ｂとが、同一の配列ピッチで、かつ、それぞれが正方格子状に２×２周期の配列を斜めにした状態で配列されている。光電変換部２１ａ及び光電変換部２１ｂは、それぞれ、ベイヤー配列を略４５度傾けた状態で格子状に配置されている。

図７に示す固体撮像素子では、光電変換部２１ａで検出された色信号及び光電変換部２１ｂで検出された輝度信号が、ともに同じ垂直転送部２２に読み出される。転送時には、色信号は、列方向に延在する複数の垂直転送電極のうち、列方向にn番目,n+4番目,n+8番目・・・（n=1,2,3…などの任意の整数とする。）に読み出され、輝度信号は、列方向に延在する複数の垂直転送電極のうち、列方向にn+1番目,n+5番目,n+9番目・・・に読み出される。図７に示す光電変換部の配列によれば、露光時間中に読み出した第１信号や露光時間後に読み出した第２信号及び色信号を４相駆動で垂直転送できる。

図８に示す固体撮像素子では、光電変換部２１ａで検出された色信号及び光電変換部２１ｂで検出された輝度信号が、それぞれ反対側の垂直転送部２２に読み出される。図８では、光電変換部２１ａで検出された色信号が図中右側の垂直転送部２２に読み出され、光電変換部２１ｂで検出された輝度信号が図中左側の垂直転送部２２に読み出される。転送時には、色信号は、列方向に延在する複数の垂直転送電極のうち、列方向にn番目,n+4番目,n+8番目・・・に読み出され、輝度信号は、反対側に延在する複数の垂直転送電極のうち、列方向にn+1番目,n+5番目,n+9番目・・・に読み出される。図８に示す光電変換部の配列によれば、露光時間中に読み出した第１信号や露光時間後に読み出した第２信号及び色信号を４相駆動で垂直転送できる。

図７及び図８に示す光電変換部の配列構成においても、図２に示す光電変換部の配列構成を有する固体撮像素子の読み出し動作と同様に画素信号を読み出すことができる。すなわち、色成分を抽出する光電変換部２１ａと輝度成分を抽出する光電変換部２１ｂとで同時に露光を開始し、露光時間中に、光電変換部２１ｂから第１信号を読み出して、垂直転送部１２に一旦保持させることができる。

なお、上記実施形態において、露光時間中に、第１信号の読み出しを行う場合には、光電変換部から垂直転送部に過剰に電流が流れあふれる現象（所謂、ブルーミング現象）が発生する場合が考えられる。このような現象は、特に読み出しパルスの幅が広い場合に顕著となるが、一方で、パルスの幅を広くすると確実に垂直転送部に読み出しを行うことができる点ではメリットがある。そこで、露光時間中の読み出しのパルス幅は、露光終了後のパルス幅より狭くすることで、露光時間中の読み出しで信号電荷の読み残しが発生しても、露光時間終了時の読み出しで読み出すことができ、全体として同じ信号電荷量を読み出すことが可能となる。

本発明によれば、露光時間中に、輝度成分を抽出する第１の光電変換部で生成された信号電荷を第１信号として保持することで、第１の光電変換部の飽和電荷量をリセットし、その後、引き続き露光時間中に信号電荷を蓄積させることができる。こうすることで、第１の光電変換部の見かけ上の飽和電荷量を増加することができる。このように第１信号と第２信号とをそれぞれ出力することで、露光時間に対して１度しか輝度信号を読み出さない従来の構成に比べて、輝度信号のダイナミックレンジを拡大することができ、高画質の画像を得ることができる。また、第１の光電変換部と第２の光電変換部との露光時間の開始及び終了を同時にできるため、出力後、輝度信号及び色信号を合成する際に、時間に対する同時性が確保され、視認したときに違和感のない画像を得ることができる。
なお、露光時間中に読み出した第１信号と露光時間終了時に読み出した第２信号とを合成した信号を検出することで、結果としてダイナミックレンジの拡大を図ることができるため、飽和電荷量が増加することと同等の効果を得ることができる。

なお、第１信号と前記第２信号が垂直転送部又は水平転送部で互いに加算してから信号処理部に出力されてもよい。

上記の説明ではＣＣＤ型の固体撮像素子を例に説明したが、固体撮像素子の構成はこれに限定されない。例えば、以下に説明するように、固体撮像素子は、ＣＭＯＳ型の構成としてもよい。

図９に示す固体撮像素子は、複数の画素が半導体基板表面に配置されたＣＭＯＳイメージセンサである。複数の画素は、有彩色画素と、該有彩色画素に比べて入射光に対する感度の高い高感度画素とを含む。画素の配列は、例えば、高感度画素と有彩色画素とが、同一の配列ピッチで、かつ、互いに配列ピッチの１／２だけ行方向及び列方向にずれた位置とすることができる。または、高感度画素と有彩色画素とが、同一の配列ピッチで、かつ、それぞれが正方格子状に２×２周期の配列を斜めにした状態で配列されていてもよい。

各画素は、フォトダイオードＰＤと、転送トランジスタＴ１と、リセットトランジスタＴ２と、増幅トランジスタＴ３と、選択トランジスタＴ４とを備えている。フォトダイオードＰＤは、アノードが接地されている。
転送トランジスタＴ１は、フォトダイオードＰＤのカソードとフローティングディフュージョン部ＦＤとの間に接続され、そのゲートに供給される転送パルスＴＳに基づいて、フォトダイオードＰＤで生成された電荷をフローティングディフュージョン部ＦＤに転送する。リセットトランジスタＴ２は、電源とフローティングディフュージョン部ＦＤとの間に接続され、そのゲートに供給されるリセットパルスＲＳＴに基づいて、フローティングディフュージョン部ＦＤの電位を電源電位ＶＣＣにリセットする。

フローティングディフュージョン部ＦＤには、増幅トランジスタＴ３のゲートが接続されている。この増幅トランジスタＴ３は、選択トランジスタＴ４を介して、垂直信号線に接続されている。画素選択信号ＳＥＬに基づいて選択トランジスタＴ４がオンすると、増幅トランジスタＴ３はフローティングディフュージョン部ＦＤの電位を増幅してその電位に応じた電圧を垂直信号線ＶＳＬに出力する。

ＣＭＯＳ型の固体撮像素子では、フローティングディフュージョン部ＦＤが画素信号保持部として機能する。高感度画素から読み出した第１信号をフローティングディフュージョン部ＦＤに保持させることができる。

また、信号を加算して画素信号保持部に保持することができる。図１０に示すように、互いに隣り合う高感度画素（図中のＷ）同士の間に両方の高感度画素で共有するフローティングディフュージョン部ＦＤが設けられた構成とする。各高感度画素とフローティングディフュージョン部ＦＤとの間には、転送トランジスＴｒが設けられている。露光時間中に各転送トランジスタをオンにすることで、各高感度画素から第１信号が読み出され、フローティングディフュージョン部ＦＤで加算され、そのまま保持される。なお、ＣＭＯＳ型の固体撮像素子は、周知の構成を用いてもよい。

図示しないが、ＣＭＯＳ型の固体撮像素子を備えた撮像装置は、高感度画素及び有彩色画素で同時に露光時間を開始し、該露光時間中に高感度画素から第１信号を読み出して保持し、その後、高感度画素から第２信号の読み出しと、有彩色画素から第３信号の読み出しを行うように制御する駆動部と、第１信号、第２信号、及び、前記第３信号に基いて有彩色画像データを生成する信号処理部とを備えている。

ＣＣＤ型の固体撮像素子と同様に、ＣＭＯＳ型の固体撮像素子を備えた撮像装置は、高感度画素及び有彩色画素で同時に露光時間を開始し、該露光時間中に高感度画素から第１信号を読み出して保持し、その後、高感度画素から第２信号の読み出しと、有彩色画素から第３信号の読み出しを行うように制御し、第１信号、第２信号、及び、第３信号に基いて有彩色画像データを生成することができる。

また、ＣＭＯＳ型の固体撮像素子は画素またはラインを逐次選択して読み出す場合がある。図１１は、ＣＭＯＳ型の固体撮像素子において、高感度画素ｐ１，ｐ２、・・ｐＮの露光期間を示している。この場合、高感度画素の露光期間の開始、つまり、第１信号の露光開始が同時であるが、第１信号を読み出す時刻（ここで、時刻とは、信号の読み出しを行うその時点を指す。）が画素間で異なり、第１信号に対応する露光期間が画素間で異なる。一方で、高感度画素の露光期間の終了、つまり、第２信号の露光終了期間が画素間で同じであるため、第２信号の露光期間も画素間で異なる。しかし、高感度画素の全体の露光期間は画素間で同じである。つまり、第１信号の露光期間と第２信号の露光期間との和である高感度画素の全体の露光期間は常に等しく、画素間で第１信号と第２信号とを合成することができる。このため、本発明は第１信号の露光期間開始および第２信号の露光期間修了を画素間で同じとしたとき、第１信号を読み出す時刻が高感度画素のうち少なくとも一部で異なる場合にも適用することができる。
また、ローリングシャッター動作を行い第１信号と第２信号のそれぞれの画素毎の露光期間を同じとする場合も同様に効果がある。

１０ 撮像部
２０ 固体撮像素子
１１ 光電変換部
１１ａ，２１ａ （色成分を抽出する）光電変換部
１１ｂ，２１ｂ （輝度成分を抽出する）光電変換部
１２ 垂直転送部
１３ 水平転送部
１４ 出力アンプ部
１００ 撮像装置

Claims (20)

1. 複数の画素が半導体基板表面に配置され、前記複数の画素が複数色の有彩色画素と、前記有彩色画素に比べて入射光に対する感度の高い高感度画素とを含む固体撮像素子を有する撮像装置であって、
   前記高感度画素及び前記有彩色画素で同時に露光時間を開始し、該露光時間中に前記高感度画素から第１信号を読み出して保持し、その後、前記高感度画素から前記第２信号の読み出しと、前記有彩色画素から第３信号の読み出しを行うように制御する駆動部と、
   前記第１信号、第２信号、及び、前記第３信号に基いて有彩色画像データを生成する信号処理部と、前記画素から読み出された信号電荷を前記列方向に転送する垂直転送部と、
   前記信号電荷を前記行方向に転送する水平転送部とを備え、前記垂直転送部が前記第１信号を保持可能である撮像装置。
2. 複数の画素が半導体基板表面に配置され、前記複数の画素が複数色の有彩色画素と、前記有彩色画素に比べて入射光に対する感度の高い高感度画素とを含む固体撮像素子を有する撮像装置であって、
   前記高感度画素及び前記有彩色画素で同時に露光時間を開始し、該露光時間中に前記高感度画素から第１信号を読み出して保持し、その後、前記高感度画素から前記第２信号の読み出しと、前記有彩色画素から第３信号の読み出しを行うように制御する駆動部と、
   前記第１信号、第２信号、及び、前記第３信号に基いて有彩色画像データを生成する信号処理部と、
   露光時間中に被写体に対して発光を行う発光部を備え、
   露光時間中、前記第１の光電変換部から信号電荷を読み出し、発光を行う期間に応じて前記高感度画素の信号を前記第１信号と前記第２信号に分割する撮像装置。
3. 前記高感度画素と前記有彩色画素とが、同一の配列ピッチで、かつ、互いに配列ピッチの１／２だけ前記行方向及び前記列方向にずれた位置に配列されている請求項１又は２に記載の撮像装置。
4. 前記高感度画素と前記有彩色画素とが、同一の配列ピッチで、かつ、それぞれが正方格子状に２×２周期の配列を斜めにした状態で配列されている請求項１又は２に記載の撮像装置。
5. 前記第１信号を加算して前記垂直転送部に保持する請求項１に記載の撮像装置。
6. 前記第１信号が、露光時間中に、前記高感度画素から複数回読み出された信号電荷で構成される請求項１から５のいずれか１つに記載の撮像装置。
7. 前記第１信号の１回の読み出し期間が前記第２信号の１回の読み出し期間より短い請求項１から６のいずれか１つに記載の撮像装置。
8. 前記第１信号、第２信号、及び、第３信号が、露光時間終了後、前記信号処理部に出力される請求項１から７のいずれか１つに記載の撮像装置。
9. 前記第１信号と前記第２信号が加算され信号処理部に出力される請求項１から８のいずれか１つに記載の撮像装置。
10. 前記第１信号を読み出す時刻が前記高感度画素のうち少なくとも一部で異なる請求項１から９のいずれか１つに記載の撮像装置。
11. 複数の画素が半導体基板表面に配置され、前記複数の画素が複数色の有彩色画素と、前記有彩色画素に比べて入射光に対する感度の高い高感度画素とを含む固体撮像素子を有する撮像装置の駆動方法であって、
    前記高感度画素及び前記有彩色画素で同時に露光時間を開始し、該露光時間中に前記高感度画素から第１信号を読み出して保持し、その後、前記高感度画素から前記第２信号の読み出しと、前記有彩色画素から第３信号の読み出しを行うように制御し、前記撮像装置が前記画素から読み出された信号電荷を前記列方向に転送する垂直転送部と、前記信号電荷を、前記行方向に転送する水平転送部とを有し、前記第１信号を前記垂直転送部で保持し、
    前記第１信号、第２信号、及び、前記第３信号に基いて有彩色画像データを生成する撮像装置の駆動方法。
12. 複数の画素が半導体基板表面に配置され、前記複数の画素が複数色の有彩色画素と、前記有彩色画素に比べて入射光に対する感度の高い高感度画素とを含む固体撮像素子を有する撮像装置の駆動方法であって、
    前記高感度画素及び前記有彩色画素で同時に露光時間を開始し、露光時間中、前記第１の光電変換部から信号電荷を読み出し、発光を行う期間に応じて前記高感度画素の信号を前記第１信号と前記第２信号に分割し、該露光時間中に前記高感度画素から第１信号を読み出して保持し、その後、前記高感度画素から前記第２信号の読み出しと、前記有彩色画素から第３信号の読み出しを行うように制御し、
    前記第１信号、第２信号、及び、前記第３信号に基いて有彩色画像データを生成する撮像装置の駆動方法。
13. 前記高感度画素と前記有彩色画素とが、同一の配列ピッチで、かつ、互いに配列ピッチの１／２だけ前記行方向及び前記列方向にずれた位置に配列されている請求項１１又は１２に記載の撮像装置の駆動方法。
14. 前記高感度画素と前記有彩色画素とが、同一の配列ピッチで、かつ、それぞれが正方格子状に２×２周期の配列を斜めにした状態で配列されている請求項１１又は１２に記載の撮像装置の駆動方法。
15. 前記第１信号を加算して前記垂直転送部に保持する請求項１１に記載の撮像装置の駆動方法。
16. 前記第１信号が、露光時間中に、前記高感度画素から複数回読み出された信号電荷で構成される請求項１１から１５のいずれか１つに記載の撮像装置の駆動方法。
17. 前記第１信号の１回の読み出し期間が前記第２信号の１回の読み出し期間より短い請求項１１から１６のいずれか１つに記載の撮像装置の駆動方法。
18. 前記第１信号、第２信号、及び、第３信号が、露光時間終了後、信号処理部に出力される請求項１１から１７のいずれか１つに記載の撮像装置の駆動方法。
19. 前記第１信号と前記第２信号が加算され信号処理部に出力される請求項１１から１８のいずれか１つに記載の撮像装置の駆動方法。
20. 前記第１信号を読み出す時刻が前記高感度画素のうち少なくとも一部で異なる請求項１１から１９のいずれか１つに記載の撮像装置の駆動方法。

Images