JP2008048246A - 物理量検出装置、物理量検出装置の駆動方法、固体撮像装置、固体撮像装置の駆動方法、及び撮像装置 - Google Patents

Abstract

【課題】より小さい容量の記憶手段を用いて、ダイナミックレンジの拡大を図る。
【解決手段】光などの物理量を検出する物理量検出装置の構成として、外部から与えられる物理量を電気信号に変換する画素２０が行列状に２次元配置された画素アレイ部１１と、この画素アレイ部１１の画素２０から感度を変えて複数回ずつ信号を読み出す走査回路１２と、この走査回路１２によって画素アレイ部１１の画素２０から読み出された複数回分の信号のうち、１回分の信号を記憶可能なメモリ回路１６と、走査回路１２によって画素アレイ部１１の画素２０から読み出された信号の値を閾値と比較し、この比較結果に基づいて、メモリ回路１６に対する信号の書き込みを制御する書き込み制御回路１５とを備える。
【選択図】図１

Description

本発明は、外部から与えられる物理量を検出する物理量検出装置、当該物理量検出装置の駆動方法及び外部からの入射光を物理量として検出する固体撮像装置、当該固体撮像装置の駆動方法、当該固体撮像装置を用いた撮像装置に関する。

外部から与えられる物理量を検出する物理量検出装置として、例えば、被写体を経た入射光の光強度を物理量として検出する固体撮像装置、あるいは、検出電極と指の表面との間に指紋の凹凸に応じて形成される静電容量を物理量として検出する指紋検出装置（静電容量検出装置）などが知られている。

物理量検出装置のうち、例えば固体撮像装置において、光電変換素子を含む画素が行列状に２次元配置されてなる画素アレイ部に対して、１つの画素につき、信号の蓄積時間（露光時間）を変えて２回の走査を行なうことにより、各々の画素から、それぞれ感度を変えて２つの信号を読み出し、当該２つの信号を合成することによってダイナミックレンジを拡大する技術がある（例えば、非特許文献１参照）。

Orly Yadid-Pecht and Eric R. Fossum,"Wide Intrascene Dynamic Range CMOS APS Using Dual Sampling,"IEEE TRANSACTIONS ON ELECTRON DEVICES,VOL.44,NO.10,pp.1721-1723,OCTOBER 1997

ところで、ダイナミックレンジをより拡大するためには、上述のように感度を変えた２つの信号を合成するよりも、感度を変えた３つ以上の信号を合成する方が好ましい。しかしながら、画素アレイ部の画素から複数回の走査によって読み出した信号を、後で１つの画像に合成するには、感度を変えて画素から読み出した信号をメモリに記憶しておく必要がある。そのため、ダイナミックレンジ拡大画像の合成処理に使用する信号の個数が多くなると、その分だけメモリの必要容量が大きくなるとともに、画像合成処理に時間がかかったり消費電力が増加したりするなどの不具合を招いてしまう。

本発明は、上記課題を解決するためになされたもので、その目的とするところは、より小さい容量の記憶手段を用いて、ダイナミックレンジの拡大を図ることができる物理量検出装置、物理量検出装置の駆動方法、固体撮像装置、固体撮像装置の駆動方法、及び撮像装置を提供することにある。

本発明に係る物理量検出装置は、外部から与えられる物理量を電気信号に変換する画素が行列状に２次元配置された画素アレイ部と、この画素アレイ部の画素から感度を変えてｎ回（ｎは２以上の整数）ずつ信号を読み出す読み出し手段と、この読み出し手段によって画素アレイ部の画素から読み出されたｎ回分の信号のうち、ｍ回分（ｍは１以上ｎ未満の整数）の信号を記憶可能な記憶手段と、読み出し手段によって画素アレイ部の画素から読み出された信号の値を閾値と比較し、この比較結果に基づいて、記憶手段に対する信号の書き込みを制御する書き込み制御手段とを備えた構成を採用している。

本発明に係る物理量検出装置においては、画素アレイ部の画素から感度を変えてｎ回ずつ信号を読み出すことにより、各々の画素ごとに、感度の異なるｎ回分の信号が読み出される。また、画素アレイ部の画素から読み出された信号の値は閾値と比較され、この比較結果に基づいて、例えば、記憶手段に信号の値を書き込むか、その信号を捨てるかが決定され、これにしたがって記憶手段に対する信号の書き込みが制御される。

本発明によれば、読み出し手段によって画素アレイ部の画素から読み出された信号の値を閾値と比較し、この比較結果に基づいて、記憶手段に対する信号の書き込みを制御することにより、ｎ回の読み出しによって得られた信号のうち、高ダイナミックレンジ化を実現するうえで有効に利用可能なｍ回分の信号を記憶手段に記憶させることができる。したがって、より小さい容量の記憶手段を用いて、ダイナミックレンジの拡大を図ることができる。

以下、本発明の具体的な実施の形態について図面を参照しつつ詳細に説明する。

ここでは、外部から与えられる物理量を検出する物理量検出装置として、例えば、被写体を経た入射光の光強度を検出する固体撮像装置を例に挙げて説明するものとする。また、本発明の実施形態においては、固体撮像装置として、例えばＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサを例に挙げて説明するものとする。

〈第１実施形態〉
図１は本発明の第１実施形態に係る固体撮像装置の構成の概略を示すシステム構成図である。図示のように、本第１実施形態に係る固体撮像装置１０は、画素アレイ部１１と、走査回路１２と、カラム回路１３と、判定回路１４を含む書き込み制御回路１５と、メモリ回路１６とを備えたシステム構成となっている。

画素アレイ部１１は、入射光をその光量（外部の物理量）に応じた電荷量（電気信号）に光電変換する光電変換素子を含む画素２０が行列状（マトリックス状）に多数２次元配置された構成となっている。

走査回路１２は、例えば、シフトレジスタ又はデコーダなどによって構成されるもので、画素アレイ部１１の各画素２０を行単位で垂直方向に順に選択走査し、その選択行の各画素に対し、画素駆動配線（不図示）を通して駆動パルス（制御パルス）を供給することにより、選択行の画素を並列に動作させて各々の画素から信号（アナログ信号）を読み出すものである。

走査回路１２で選択された行の各画素２０から読み出された信号は、画素列に対して並列なカラム回路１３に供給される。カラム回路１３は、選択行の各画素２０から読み出された信号を処理して保持するものである。さらに詳述すると、カラム回路１３は、画素アレイ部１１の例えば画素列ごとに、即ち１画素列に対して１対１の対応関係をもって画素アレイ部１１の下に配置され、１行分の各画素２０から読み出された信号を画素列ごとに受けて、その信号に対して、例えば、画素固有の固定パターンノイズを除去するためのＣＤＳ(Correlated Double Sampling;相関二重サンプリング)や信号増幅、Ａ／Ｄ（アナログ／デジタル）変換、黒レベルクランプ、縦筋補正などの信号処理を行なうことにより、最終的に各々の画素２０から読み出されたアナログの信号をデジタルの信号で保持するものである。

判定回路１４は、走査回路１２によって画素アレイ部１１の各画素２０から読み出され、かつカラム回路１３で保持された信号の値と、予め設定された閾値との大小関係を比較判定するものである。閾値は、入射光量に対する画素の出力信号特性に応じて設定されるものである。例えば、画素の出力信号特性が図２に示すような特性であったとすると、入射光量と画素出力信号との関係が比例関係となるリニアな領域で、画素の出力信号が最も大きくなる信号の出力値を閾値Ｖthに設定する。書き込み制御回路１５は、判定回路１４での比較判定結果に基づいて、メモリ回路１６に信号を書き込む処理を行なうものである。また、書き込み制御回路１５は、メモリ回路１６に対して信号の書き込みを行なうセンスアンプ回路（不図示）を有し、このセンスアンプ回路による信号の書き込みを、上述した判定回路１４での比較判定結果に基づいて制御するものである。

メモリ回路１６は、画素アレイ部１１の例えば１画素ごとに、即ち１画素に対して１：１の対応関係をもって１画面（１フレーム）分のメモリ領域を備えている。例えば、画素アレイ部１１にｉ行×ｊ列で画素２０が２次元配置されている場合は、これと１：１の関係で対応するように（ｉ×ｊ）個のメモリセル１７からなるメモリ領域（フレームメモリ）をメモリ回路１６は備えている。また、メモリ回路１６において、１つの画素に対応する１つのメモリセル１７は、画素アレイ部１１の１つの画素２０から読み出される信号（以下、「画素信号」とも記す）が、例えば１０ビットのデジタル信号でカラム回路１３に保持されるものとすると、画素信号を記憶するための１０ビットに後述するフラグを書き込むための３ビットを加えた「１０ビット＋３ビット」のビット列を１つのメモリ単位として構成されている。

続いて、上記構成からなる固体撮像装置を用いて画素信号を読み出す場合の処理の手順について説明する。まず、走査回路１２による画素信号の読み出し方式について説明する。走査回路１２は、画素アレイ部１１の各行の画素２０から、それぞれ感度を変えて４回ずつ信号を読み出す。走査回路１２による信号の読み出し方式（走査方式）としては、例えば、次のような方式を採用することが可能である。

第１の方式は、画素アレイ部１１に２次元配置された画素１２を走査回路１２により行単位で走査する場合の画素行として、画素の光電変換素子に蓄積されている信号電荷を捨てるための電子シャッタ走査を行なう画素行（以下、「シャッタ行」と記す）と、光電変換素子に蓄積されている信号電荷を読み出すための読み出し走査を行なう画素行（以下、「読み出し行」と記す）とを設定し、シャッタ行と読み出し行の間隔（露光時間）を順に変えながら、電子シャッタ走査と読み出し走査を４回行なうことにより、各々の画素から４回ずつ信号を読み出す方式である。

第２の方式は、シャッタ行を起点にそれぞれ行間隔を変えて４つの読み出し行を設定し、１回の走査期間内に４つの読み出し行を走査することにより、各々の画素から４回ずつ信号を読み出す方式である。この場合、第１の読み出し行を走査することで信号が読み出される画素の露光時間は、シャッタ行から第１の読み出し行までの間隔に依存し、第２の読み出し行を走査することで信号が読み出される画素の露光時間は、第１の読み出し行から第２の読み出し行までの間隔に依存するものとなる。また、第３の読み出し行を走査することで信号が読み出される画素の露光時間は、第２の読み出し行から第３の読み出し行までの間隔に依存し、第４の読み出し行を走査することで信号が読み出される画素の露光時間は、第３の読み出し行から第４の読み出し行までの間隔に依存するものとなる。

その際、走査回路１２は、読み出しの回数が進むたびに感度を高い方から低い方に順に変化させながら、各行の画素を４回ずつ走査することにより、各々の画素から４回ずつ信号（感度の異なる信号）を読み出す。各々の画素は、信号の蓄積時間の長短によって、感度の異なる信号を出力する。すなわち、蓄積時間が相対的に長い場合は、高感度の信号を出力し、蓄積時間が相対的に短い場合は、低感度の信号を出力する。

このため、走査回路１２は、図３（Ａ）に示すように、信号の蓄積時間の比として、１回目の走査による信号の読み出しでは、蓄積時間比を「６４」に設定し、２回目の走査による信号の読み出しでは、蓄積時間比を１回目の走査の１／４に相当する「１６」に設定し、３回目の走査による信号の読み出しでは、蓄積時間比を２回目の走査の１／４に相当する「４」に設定し、４回目の走査による信号の読み出しでは、蓄積時間比を３回目の走査の１／４に相当する「１」に設定することにより、蓄積時間を長い方から短い方に順に変えながら各行の画素２０を４回ずつ走査する。

これにより、走査（信号の読み出し）の回数が１回、２回、３回、４回と進むにつれて画素の感度が落ちる（画素からの出力信号が小さくなる）。このため、４回の走査のうち、前の走査では暗いところを感度高く捉え、後の走査ほど、明るい部分が飽和せずに適正な信号領域に入る。したがって、４回の走査を行なった後で、それら４回の走査で読み出した信号を合成することにより、６４倍にダイナミックレンジを拡大した画像信号を得ることができる。

また、画素２０からの信号は、カラム回路１３で例えば１０ビットのデジタル信号に変換され、このデジタル信号が書き込み制御回路１５の判定回路１４に取り込まれる。その際、判定回路１４では、カラム回路１３から取り込まれた信号が、上記図２に示すリニアな領域にあるかどうかを、例えば信号値が閾値Ｖth以下であるかどうかによって判定する。１０ビットのデジタル信号は、０〜１０２３の範囲の値を取り得るため、例えば閾値Ｖth＝８５０に設定すると、判定回路１４は、１回の走査によって信号の読み出しが行なわれた各列の画素１２ごとに、カラム回路１３から取り込まれた信号の値が８５０以下であるかどうかを判定し、書き込み制御回路１５は、判定回路１４の判定結果と、走査が何回目であるかによって、メモリ回路１６に対する信号の書き込みを次のように制御する。なお、以降の説明では、１回目の走査で画素から読み出された信号を「Ｖ１」、２回目の走査で画素から読み出された信号を「Ｖ２」、３回目の走査で画素から読み出された信号を「Ｖ３」、４回目の走査で画素から読み出された信号を「Ｖ４」とする。

まず、走査が１回目の場合は、画素からの信号Ｖ１の値が８５０以下であれば、この画素に対応するメモリ回路１６内のメモリセル１７（１０ビット＋３ビット）に対し、画素信号用のビット列に１回目の走査で読み出された信号Ｖ１の値を書き込むとともに、フラグ用のビット列にフラグ「０００」を書き込む。また、画素からの信号Ｖ１の値が８５０よりも大きければ、この画素に対応するメモリ回路１６内のメモリセル１７に対し、画素信号用のビット列に１回目の走査で読み出された信号Ｖ１の値を書き込まずに当該信号Ｖ１を捨て、フラグ用のビット列にフラグ「１００」を書き込む。

次に、走査が２回目の場合は、信号読み出し対象の画素に対応するメモリ回路１６内のメモリセル１７から、フラグの１ビット目（先頭ビット）の値を読み出しておく。そして、フラグの１ビット目の値が「０」のメモリセル１７に対しては、上記１回目の走査で画素から読み出した信号Ｖ１の値を書き込み済みであるため、２回目の走査で画素から読み出された信号Ｖ２の値を上書きせずに当該信号Ｖ２を捨てる。また、フラグの１ビット目の値が「１」で、画素からの信号Ｖ２の値が８５０以下であれば、この画素に対応するメモリ回路１６内のメモリセル１７に対し、画素信号用のビット列に２回目の走査で読み出された信号Ｖ２の値を書き込むとともに、フラグ用のビット列に１回目の走査とは異なる値のフラグ「００１」を書き込む。その際、メモリセル１７に前のデータが残っている場合は、上書きで信号を書き込む。この点は以後の処理においても同様である。また、フラグの１ビット目の値が「１」で、画素からの信号Ｖ２の値が８５０よりも大きければ、この画素に対応するメモリ回路１６内のメモリセル１７に対し、画素信号用のビット列に２回目の走査で読み出された信号Ｖ２の値を書き込まずに当該信号Ｖ２を捨て、上記１回目の走査でフラグ用のビット列に書き込まれたフラグの値「１００」をそのまま維持する。

次に、走査が３回目の場合は、信号読み出し対象の画素に対応するメモリ回路１６内のメモリセル１７から、フラグの１ビット目（先頭ビット）の値を読み出しておく。そして、フラグの１ビット目の値が「０」のメモリセル１７に対しては、上記１回目又は２回目の走査で画素から読み出した信号Ｖ１又はＶ２の値を書き込み済みであるため、３回目の走査で画素から読み出された信号Ｖ３の値は上書きせずに当該信号Ｖ３を捨てる。また、フラグの１ビット目の値が「１」で、画素からの信号Ｖ３の値が８５０以下であれば、この画素に対応するメモリ回路１６内のメモリセル１７に対し、画素信号用のビット列に３回目の走査で読み出された信号Ｖ３の値を書き込むとともに、フラグ用のビット列に１回目及び２回目の走査とは異なる値のフラグ「０１０」を書き込む。また、フラグの１ビット目の値が「１」で、画素からの信号Ｖ３の値が８５０よりも大きければ、この画素に対応するメモリ回路１６内のメモリセル１７に対し、画素信号用のビット列に３回目の走査で読み出された信号Ｖ３の値を書き込まずに当該信号Ｖ３を捨て、上記１回目の走査でフラグ用のビット列に書き込まれたフラグの値「１００」をそのまま維持する。

次に、走査が４回目の場合は、信号読み出し対象の画素に対応するメモリ回路１６内のメモリセル１７から、フラグの１ビット目（先頭ビット）の値を読み出しておく。そして、フラグの１ビット目の値が「０」のメモリセル１７に対しては、上記１回目、２回目又は３回目の走査で画素から読み出した信号Ｖ１、Ｖ２又はＶ３の値を書き込み済みであるため、４回目の走査で画素から読み出された信号Ｖ４の値は上書きせずに当該信号Ｖ４を捨てる。また、フラグの１ビット目の値が「１」で、画素からの信号Ｖ３の値が８５０以下であれば、この画素に対応するメモリ回路１６内のメモリセル１７に対し、画素信号用のビット列に４回目の走査で読み出された信号Ｖ４の値を書き込むとともに、フラグ用のビット列に１回目、２回目及び３回目の走査とは異なる値のフラグ「０１１」を書き込む。また、フラグの１ビット目の値が「１」で、画素からの信号Ｖ４の値が８５０よりも大きければ、この画素に対応するメモリ回路１６内のメモリセル１７に対し、画素信号用のビット列に４回目の走査で読み出された信号Ｖ４の値を書き込まずに当該信号Ｖ４を捨て、上記１回目の走査でフラグ用のビット列に書き込まれたフラグの値「１００」をそのまま維持する。

なお、４回目の走査で画素から読み出された信号Ｖ４の値が８５０よりも大きい場合は、この画素に対応するメモリセル１７に画素信号（１０ビットの信号）が書き込まれないことになるが、このメモリセル１７に書き込まれたフラグの値「１００」は、１回目の走査から４回目の走査までに信号値が書き込まれたメモリセル１７のフラグの値「０００」、「００１」、「０１０」、「０１１」とは異なっている。このため、フラグの値が「１００」で書き込まれたメモリセル１７に書き込むべき信号の値は、「最短の露光時間（露光時間比＝１）の設定で８５０よりも大きい」というように取り扱うことができる。

このように本発明の第１実施形態に係る固体撮像装置において、走査回路１２は、読み出し（走査）の回数が進むたびに感度を高い方から低い方に順に変化させてｎ回（本形態ではｎ＝４）ずつ信号を読み出し、書き込み制御回路１５は、画素アレイ部１１の画素１２からｎ回の読み出しによって得られるｎ個の信号のうち、画素１２から読み出された信号の値が閾値以下となってからｍ回分（本形態ではｍ＝１）の信号の値をメモリ回路１６に書き込み、ｍ回分の信号値の書き込み後に読み出された信号は捨てるように制御する。

すなわち、１回目の走査では、信号Ｖ１の値が閾値以下であれば、その信号Ｖ１の値をメモリ回路１６に書き込み、信号Ｖ１の値が閾値よりも大きければ、その信号Ｖ１を捨てる。次に、２回目の走査では、すでに１回目の走査で信号値が書き込まれていれば、２回目の走査で読み出した信号Ｖ２を捨てる。また、１回目の走査で信号値が書き込まれず、２回目の走査で読み出した信号Ｖ２の値が閾値以下であれば、その信号Ｖ２の値をメモリ回路１６に書き込み、信号Ｖ２の値が閾値よりも大きければ、その信号Ｖ２を捨てる。

次に、３回目の走査では、すでに１回目又は２回目の走査で信号値が書き込まれていれば、３回目の走査で読み出した信号Ｖ３を捨てる。また、１回目及び２回目の走査で信号値が書き込まれず、３回目の走査で読み出した信号Ｖ３の値が閾値以下であれば、その信号Ｖ３の値をメモリ回路１６に書き込み、信号Ｖ３の値が閾値よりも大きければ、その信号Ｖ３を捨てる。次に、４回目の走査では、すでに１回目、２回目又は３回目の走査で信号値が書き込まれていれば、４回目の走査で読み出した信号Ｖ４を捨てる。また、１回目、２回目及び３回目の走査で信号値が書き込まれず、４回目の走査で読み出した信号Ｖ４の値が閾値以下であれば、その信号Ｖ４の値をメモリ回路１６に書き込み、信号Ｖ４の値が閾値よりも大きければ、その信号Ｖ４を捨てる。

要するに、露光時間が長い最初の方の走査では画素信号が飽和していても、それよりも露光時間が短い後の方の走査では、画素信号が飽和せずにリニアな領域に入ってくるため、そのときの信号の値を、画素信号がリニアな領域に入ってからｍ回分（本形態ではｍ＝１）だけ、当該信号値が何回目の走査で読み出された信号であるかを識別可能なフラグ情報（識別情報）とともに、メモリ回路１６のメモリセル１７に書き込み、さらにその後は信号値を書き込まないこととしている。これにより、画素アレイ部１１の各画素２０から、走査回路１２による４回の走査によって読み出された画素信号を、１画面（１フレーム）分のメモリ領域を有するメモリ回路１６に記憶させることができる。

また、１回目の走査による信号の読み出しから４回目の走査による信号の読み出しまでの間に、信号値が閾値（８５０）以下の条件を満たす画素信号だけをメモリ回路１６に書き残すため、４回の走査によって画素から読み出された４つの信号（Ｖ１，Ｖ２，Ｖ３，Ｖ４）の中から、後段の信号処理回路（ＤＳＰ回路等）でダイナミックレンジ拡大画像を合成処理する際に有効に利用可能な１つの信号だけをメモリ回路１６に記憶させることができる。

さらに、メモリ回路１６内のメモリセル１７にフラグ「０００」で書き込まれた信号値は１回目の走査で読み出されたものとなり、フラグ「００１」で書き込まれた信号値は２回目の走査で読み出されたものとなる。また、フラグ「０１０」で書き込まれた信号値は３回目の走査で読み出されたものとなり、フラグ「０１１」で書き込まれた信号値は４回目の走査で読み出されたものとなる。

したがって、後段の信号処理回路（ＤＳＰ回路等）では、メモリ回路１６からメモリセル１７ごとに、信号値とフラグを読み出すことにより、その信号値が何回目の走査で読み出されたものであるかを判別し、この判別結果を参照しながら、ダイナミックレンジを拡大した画像を合成することができる。この方法は、複数回読み出した信号を加算や平均化してフレームメモリに書き込む方法に対して、ダイナミックレンジ拡大の信号処理をより正確に行なうことができる。これは、撮像条件の良い読み出し回の信号のみを使うことと、各画素に対応する信号が何回目の読み出し信号から来たものかがはっきりしていることによる。例えば動きの有る被写体を撮ったときに、信号がどの露光期間のものかという付加情報を参照しながらダイナミックレンジ拡大処理をすることができる。このため、画像合成の自由度や信頼度を高めることができる。この点は、以降の実施形態でも同様である。

なお、上記の信号読み出し処理においては、上記図３（Ａ）に示すように露光時間比を６４→１６→４→１と長い方から短い方に順に変えながら各行の画素２０を４回ずつ走査する場合について説明したが、これと反対に、図３（Ｂ）に示すように露光時間比を１→４→１６→６４と短い方から長い方に順に変えながら各行の画素２０を４回ずつ走査する場合は、次のような手順で信号読み出し処理を行えばよい。

まず、走査が１回目の場合は、画素からの信号の値が８５０以下であれば、この画素に対応するメモリ回路１６内のメモリセル１７（１０ビット＋３ビット）に対し、画素信号用のビット列に１回目の走査で読み出された信号Ｖ１の値を書き込むとともに、フラグ用のビット列にフラグ「０００」を書き込む。また、画素からの信号Ｖ１の値が８５０よりも大きければ、この画素に対応するメモリ回路１６のメモリセル１７に対し、画素信号用のビット列に１回目の走査で読み出された信号Ｖ１の値を書き込まずに当該信号Ｖ１を捨て、フラグ用のビット列にフラグ「１００」を書き込む。

次に、走査が２回目の場合は、信号読み出し対象の画素に対応するメモリ回路１６内のメモリセル１７から、フラグの１ビット目（先頭ビット）の値を読み出しておく。そして、フラグの１ビット目の値が「１」のメモリセル１７に対しては、２回目の走査で画素から読み出された信号Ｖ２の値を上書きせずに当該信号Ｖ２を捨てる。また、フラグの１ビット目の値が「０」で、画素からの信号Ｖ２の値が８５０以下であれば、この画素に対応するメモリ回路１６内のメモリセル１７に対し、画素信号用のビット列に２回目の走査で読み出された信号Ｖ２の値を上書きするとともに、フラグ用のビット列にフラグ「００１」を書き込む。また、フラグの１ビット目の値が「０」で、画素からの信号Ｖ２の値が８５０よりも大きければ、この画素に対応するメモリ回路１６内のメモリセル１７に対し、画素信号用のビット列に２回目の走査で読み出された信号Ｖ２の値を上書きせずに当該信号Ｖ２を捨て、上記１回目の走査でフラグ用のビット列に書き込まれたフラグの値「０００」をそのまま維持する。

次に、走査が３回目の場合は、信号読み出し対象の画素に対応するメモリ回路１６内のメモリセル１７から、フラグの１ビット目（先頭ビット）の値を読み出しておく。そして、フラグの１ビット目の値が「１」のメモリセル１７に対しては、３回目の走査で画素から読み出された信号Ｖ３の値を上書きせずに当該信号Ｖ３を捨てる。また、フラグの１ビット目の値が「０」で、画素からの信号Ｖ３の値が８５０以下であれば、この画素に対応するメモリ回路１６内のメモリセル１７に対し、画素信号用のビット列に３回目の走査で読み出された信号Ｖ３の値を上書きするとともに、フラグ用のビット列にフラグ「０１０」を書き込む。また、フラグの１ビット目の値が「０」で、画素からの信号Ｖ３の値が８５０よりも大きければ、この画素に対応するメモリ回路１６内のメモリセル１７に対し、画素信号用のビット列に３回目の走査で読み出された信号Ｖ３の値を上書きせずに当該信号Ｖ３を捨て、上記１回目又は２回目の走査でフラグ用のビット列に書き込まれたフラグの値「０００」又は「００１」をそのまま維持する。

次に、走査が４回目の場合は、信号読み出し対象の画素に対応するメモリ回路１６内のメモリセル１７から、フラグの１ビット目（先頭ビット）の値を読み出しておく。そして、フラグの１ビット目の値が「１」のメモリセル１７に対しては、４回目の走査で画素から読み出された信号Ｖ４の値を上書きせずに当該信号Ｖ４を捨てる。また、フラグの１ビット目の値が「０」で、画素からの信号Ｖ４の値が８５０以下であれば、この画素に対応するメモリ回路１６内のメモリセル１７に対し、画素信号用のビット列に４回目の走査で読み出された信号Ｖ４の値を上書きするとともに、フラグ用のビット列にフラグ「０１１」を書き込む。また、フラグの１ビット目の値が「０」で、画素からの信号Ｖ４の値が８５０よりも大きければ、この画素に対応するメモリ回路１６内のメモリセル１７に対し、画素信号用のビット列に４回目の走査で読み出された信号Ｖ４の値を上書きせずに当該信号Ｖ４を捨て、上記１回目、２回目又は３回目の走査でフラグ用のビット列に書き込まれたフラグの値「０００」、「００１」又は「０１０」をそのまま維持する。

なお、１回目の走査で画素から読み出された信号Ｖ１の値が８５０よりも大きい場合は、この画素に対応するメモリセル１７に画素信号（１０ビットの信号）が書き込まれないことになるが、このメモリセル１７に書き込まれたフラグの値「１００」は、１回目の走査から４回目の走査までに信号値が書き込まれたメモリセル１７のフラグの値「０００」、「００１」、「０１０」、「０１１」とは異なっている。このため、フラグの値が「１００」で書き込まれたメモリセル１７に書き込むべき信号の値は、「最短の露光時間（露光時間比＝１）の設定で８５０よりも大きい」というように取り扱うことができる。

このように本発明の第１実施形態に係る他の固体撮像装置において、走査回路１２は、読み出し（走査）の回数が進むたびに感度を低い方から高い方に順に変化させてｎ回（本形態ではｎ＝４）ずつ信号を読み出し、書き込み制御回路１５は、画素アレイ部１１の画素１２からｍ回目（本例ではｍ＝１）の読み出しまでに得られるｍ個の信号の値をメモリ回路１６に書き込み、その後、ｎ回目の読み出しまでに得られる信号の値が閾値以下であれば、当該信号の値をメモリ回路１６に上書きし、閾値よりも大であれば、当該信号を捨てるように制御する。

すなわち、１回目の走査では、信号Ｖ１の値が閾値以下であれば、その信号Ｖ１の値をメモリ回路１６に書き込み、信号Ｖ１の値が閾値よりも大きければ、その信号Ｖ１を捨てる。次に、２回目の走査では、信号Ｖ２の値が閾値以下であれば、その信号Ｖ２の値をメモリ回路１６に上書きし、信号Ｖ２の値が閾値よりも大きければ、その信号Ｖ２を捨てる。次に、３回目の走査では、信号Ｖ３の値が閾値以下であれば、その信号Ｖ３の値をメモリ回路１６に上書きし、信号Ｖ３の値が閾値よりも大きければ、その信号Ｖ３を捨てる。次に、４回目の走査では、信号Ｖ４の値が閾値以下であれば、その信号Ｖ４の値をメモリ回路１６に上書きし、信号Ｖ４の値が閾値よりも大きければ、その信号Ｖ４を捨てる。

これにより、画素アレイ部１１の各画素２０から、走査回路１２による４回の走査によって読み出された画素信号を、１画面（１フレーム）分のメモリ領域を有するメモリ回路１６に記憶させることができる。また、１回目の走査による信号の読み出しから４回目の走査による信号の読み出しまでの間に、信号値が閾値（８５０）以下の条件を満たす画素信号だけをメモリ回路１６に書き残すため、４回の走査によって画素から読み出された４つの信号（Ｖ１，Ｖ２，Ｖ３，Ｖ４）の中から、後段の信号処理回路（ＤＳＰ回路等）でダイナミックレンジ拡大画像を合成処理する際に有効に利用可能な１つの信号だけをメモリ回路１６に記憶させることができる。

さらに、メモリ回路１６内のメモリセル１７にフラグ「０００」で書き込まれた信号値は１回目の走査で読み出されたものとなり、フラグ「００１」で書き込まれた信号値は２回目の走査で読み出されたものとなる。また、フラグ「０１０」で書き込まれた信号値は３回目の走査で読み出されたものとなり、フラグ「０１１」で書き込まれた信号値は４回目の走査で読み出されたものとなる。

したがって、後段の信号処理回路（ＤＳＰ回路等）では、メモリ回路１６からメモリセル１７ごとに、信号値とフラグを読み出すことにより、その信号値が何回目の走査で読み出されたものであるかを判別し、この判別結果を参照しながら、ダイナミックレンジを拡大した画像を合成することができる。このため、画像合成の自由度や信頼度を高めることができる。

〈第２実施形態〉
図４は本発明の第２実施形態に係る固体撮像装置の構成の概略を示すシステム構成図である。図示のように、本第２実施形態に係る固体撮像装置１０は、画素アレイ部１１と、走査回路１２と、カラム回路１３と、判定回路１４を含む書き込み制御回路１５と、メモリ回路１６とを備えたシステム構成となっている。このうち、画素アレイ部１１、走査回路１２及びカラム回路１３は、第１の半導体基板（チップ）２１上に形成され、書き込み制御回路１５及びメモリ回路１６は、第１の半導体基板２１と異なる第２の半導体基板（チップ）２２上に形成されている。

このように２つの半導体基板２１，２２に分けたシステム構成を採用する理由は、画素アレイ部１１やメモリ回路１６に別々の製造プロセスを適用した方が効率が良いためである。したがって、効率の善し悪しを考慮しなければ、画素アレイ部１１からメモリ回路１６までのシステム構成要素すべてを同一（共通）の半導体基板上にまとめて形成してもよい。また、半導体基板２１，２２相互の電気的な接続は、第１の半導体基板２１側でカラム回路１３により保持した信号を水平走査してから第２の半導体基板２２側に伝送してもよいが、微細なバンプを用いて電気的な接続を行なうマイクロバンプなどの方法で、画素列ごとにあるいは数画素列ごとにつなぐ方が好ましい。

また、画素アレイ部１１、走査回路１２及びカラム回路１３は、それぞれ上記第１実施形態と同様の機能を有する。書き込み制御回路１５は、上記第１実施形態と同様の機能を有する判定回路１４を含むものであるが、信号の書き込み対象となるメモリ回路１６が２画面分（２フレーム分）のメモリ領域１６Ａ，１６Ｂを有することから、判定回路１４での比較判定結果に基づいて、２つのメモリ領域１６Ａ，１６Ｂのいずれか一方に信号を書き込む処理を行なうものとなっている。

メモリ回路１６は、上述のように２つのメモリ領域（フレームメモリ）１６Ａ，１６Ｂを有している。一方のメモリ領域（以下、「第１のメモリ領域」と記す）１６Ａは、上記第１実施形態のメモリ回路１６と同様に、画素アレイ部１１の例えば１画素ごとに、即ち１画素に対して１：１の対応関係をもって１画面（１フレーム）分のメモリセル１７Ａを備えている。また、１つの画素に対応する１つのメモリセル１７Ａは、画素信号を記憶するための１０ビットにフラグを書き込むための３ビットを加えた「１０ビット＋３ビット」のビット列を１つのメモリ単位として構成されている。これに対して、他方のメモリ領域（以下、「第２のメモリ領域」と記す）１６Ｂは、第１のメモリ領域１６Ａと同様に１画面（１フレーム）分のメモリセル１７Ｂを備えているが、１つの画素に対応する１つのメモリセル１７Ｂは、画素信号を記憶するための１０ビットのビット列を１つのメモリ単位として構成され、フラグを書き込むためのビット列を備えていない。

続いて、上記構成からなる固体撮像装置を用いて画素信号を読み出す場合の処理の手順について説明する。まず、走査回路１２は、上記図３（Ａ）に示すように、露光時間比を６４→１６→４→１と長い方から短い方に順に変えながら（読み出し回数が進むたびに感度を高い方から低い方に順に変化させながら）、各行の画素を４回ずつ走査することにより、各々の画素から４回ずつ信号（感度の異なる信号）を読み出すものとする。また、カラム回路１３と判定回路１４は、上記第１実施形態と同様の処理を行なうものとする。そうした場合、書き込み制御回路１５は、判定回路１４の判定結果と、走査が何回目であるかによって、メモリ回路１６に対する信号の書き込みを次のように制御する。

まず、走査が１回目の場合は、画素からの信号の値が８５０以下であれば、この画素に対応する第１のメモリ領域１６Ａ内のメモリセル１７Ａ（１０ビット＋３ビット）に対し、画素信号用のビット列に１回目の走査で読み出された信号Ｖ１の値を書き込むとともに、フラグ用のビット列にフラグ「０００」を書き込む。また、画素からの信号Ｖ１の値が８５０よりも大きければ、この画素に対応する第１のメモリ領域１６Ａ内のメモリセル１７Ａに対し、画素信号用のビット列に１回目の走査で読み出された信号Ｖ１の値を書き込まずに当該信号Ｖ１を捨て、フラグ用のビット列にフラグ「１００」を書き込む。

次に、走査が２回目の場合は、信号読み出し対象の画素に対応する第１のメモリ領域１６Ａ内のメモリセル１７Ａから、フラグの値を読み出しておく。そして、フラグの１ビット目の値が「０」であれば、２回目の走査で画素から読み出された信号Ｖ２の値を、信号読み出し対象の画素に対応する第２のメモリ領域１６Ｂのメモリセル１７Ｂに書き込む。また、フラグの１ビット目の値が「１」で、画素からの信号Ｖ２の値が８５０以下であれば、信号読み出し対象の画素に対応する第１のメモリ領域１６Ａのメモリセル１７Ａに対し、画素信号用のビット列に２回目の走査で画素から読み出された信号Ｖ２の値を書き込むとともに、フラグ用のビット列にフラグ「００１」を書き込む。また、フラグの１ビット目の値が「１」で、画素からの信号Ｖ２の値が８５０よりも大きければ、当該信号Ｖ２を捨てる。

次に、走査が３回目の場合は、信号読み出し対象の画素に対応する第１のメモリ領域１６Ａ内のメモリセル１７Ａから、フラグの値を読み出しておく。そして、フラグの値が「０００」であれば、３回目の走査で画素から読み出された信号Ｖ３を捨てる。また、フラグの値が「００１」であれば、３回目の走査で画素から読み出された信号Ｖ３の値を、信号読み出し対象の画素に対応する第２のメモリ領域１６Ｂのメモリセル１７Ｂに書き込む。また、フラグの１ビット目の値が「１」で、画素からの信号Ｖ３の値が８５０以下であれば、信号読み出し対象の画素に対応する第１のメモリ領域１６Ａのメモリセル１７Ａに対し、画素信号用のビット列に３回目の走査で画素から読み出された信号Ｖ３の値を書き込むとともに、フラグ用のビット列にフラグ「０１０」を書き込む。また、フラグの１ビット目の値が「１」で、画素からの信号Ｖ３の値が８５０よりも大きければ、当該信号Ｖ３を捨てる。

次に、走査が４回目の場合は、信号読み出し対象の画素に対応する第１のメモリ領域１６Ａ内のメモリセル１７Ａから、フラグの値を読み出しておく。そして、フラグの値が「０００」又は「００１」であれば、４回目の走査で画素から読み出された信号Ｖ４を捨てる。また、フラグの値が「０１０」であれば、４回目の走査で画素から読み出された信号Ｖ４の値を、信号読み出し対象の画素に対応する第２のメモリ領域１６Ｂのメモリセル１７Ｂに書き込む。また、フラグの１ビット目の値が「１」で、画素からの信号Ｖ４の値が８５０以下であれば、信号読み出し対象の画素に対応する第１のメモリ領域１６Ａのメモリセル１７Ａに対し、画素信号用のビット列に４回目の走査で画素から読み出された信号Ｖ４の値を書き込むとともに、フラグ用のビット列にフラグ「０１１」を書き込む。また、フラグの１ビット目の値が「１」で、画素からの信号Ｖ４の値が８５０よりも大きければ、当該信号Ｖ４を捨てる。

このように本発明の第２実施形態に係る固体撮像装置において、走査回路１２は、読み出し（走査）の回数が進むたびに感度を高い方から低い方に順に変化させてｎ回（本形態ではｎ＝４）ずつ信号を読み出し、書き込み制御回路１５は、画素アレイ部１１の画素１２からｎ回の読み出しによって得られるｎ個の信号のうち、画素１２から読み出された信号の値が閾値以下となってからｍ回分（本形態ではｍ＝２）の信号の値をメモリ回路１６に書き込み、ｍ回分の信号値の書き込み後に読み出された信号は捨てるように制御する。

すなわち、１回目の走査では、信号Ｖ１の値が閾値以下であれば、その信号Ｖ１の値を第１のメモリ領域１６Ａに書き込み、信号Ｖ１の値が閾値よりも大きければ、その信号Ｖ１を捨てる。次に、２回目の走査では、１回目の走査で第１のメモリ領域１６Ａに信号値が書き込まれていれば、２回目の走査で読み出した信号Ｖ２の値を第２のメモリ領域１６Ｂに書き込む。また、１回目の走査で信号値が書き込まれず、２回目の走査で読み出した信号Ｖ２の値が閾値以下であれば、その信号Ｖ２の値を第１のメモリ領域１６Ａに書き込み、信号Ｖ２の値が閾値よりも大きければ、その信号Ｖ２を捨てる。

次に、３回目の走査では、１回目及び２回目の走査で第１のメモリ領域１６Ａと第２のメモリ領域１６Ｂに信号値が書き込まれていれば、３回目の走査で読み出した信号Ｖ３を捨てる。また、２回目の走査で第１のメモリ領域１６Ａに信号値が書き込まれていれば、３回目の走査で読み出した信号Ｖ３の値を第２のメモリ領域１６Ｂに書き込む。また、１回目及び２回目の走査で信号値が書き込まれず、３回目の走査で読み出した信号Ｖ３の値が閾値以下であれば、その信号Ｖ３の値を第１のメモリ領域１６Ａに書き込み、信号Ｖ３の値が閾値よりも大きければ、その信号Ｖ３を捨てる。

次に、４回目の走査では、１回目〜３回目の走査で第１のメモリ領域１６Ａと第２のメモリ領域１６Ｂに信号値が書き込まれていれば、４回目の走査で読み出した信号Ｖ４を捨てる。また、３回目の走査で第１のメモリ領域１６Ａに信号値が書き込まれていれば、４回目の走査で読み出した信号Ｖ４の値を第２のメモリ領域１６Ｂに書き込む。また、１回目〜３回目の走査で信号値が書き込まれず、４回目の走査で読み出した信号４３の値が閾値以下であれば、その信号Ｖ４の値を第１のメモリ領域１６Ａに書き込み、信号Ｖ４の値が閾値よりも大きければ、その信号Ｖ４を捨てる。

要するに、露光時間が長い最初の方の走査では画素信号が飽和していても、それよりも露光時間が短い後の方の走査では、画素信号が飽和せずにリニアな領域に入ってくるため、そのときの信号の値を、画素信号がリニアな領域に入ってからｍ回分（本形態ではｍ＝２）だけ、当該信号値が何回目の走査で読み出された信号であるかを識別可能なフラグ情報（識別情報）とともに、メモリ回路１６に書き込み、さらにその後は信号値を書き込まないこととしている。これにより、画素アレイ部１１の各画素２０から、走査回路１２による４回の走査によって読み出された画素信号を、２画面（１フレーム）分の記憶領域１６Ａ，１６Ｂ（メモリセル１７Ａ，１７Ｂ）を有するメモリ回路１６に記憶させることができる。

また、１回目の走査による信号の読み出しから４回目の走査による信号の読み出しまでの間に、信号値が閾値（８５０）以下の条件を満たす画素信号だけをメモリ回路１６に書き残すため、４回の走査によって画素から読み出された４つの信号（Ｖ１，Ｖ２，Ｖ３，Ｖ４）の中から、後段の信号処理回路（ＤＳＰ回路等）でダイナミックレンジ拡大画像を合成処理する際に有効に利用可能な２つの信号だけをメモリ回路１６に記憶させることができる。

また、第１のメモリ領域１６Ａ内のメモリセル１７Ａにフラグ「０００」で書き込まれた信号値は１回目の走査で読み出されたものとなり、第１のメモリ領域１６Ａ内のメモリセル１７Ａにフラグ「００１」で書き込まれた信号値は２回目の走査で読み出されたものとなる。また、第１のメモリ領域１６Ａ内のメモリセル１７Ａにフラグ「０１０」で書き込まれた信号値は３回目の走査で読み出されたものとなり、第１のメモリ領域１６Ａ内のメモリセル１７Ａにフラグ「０１１」で書き込まれた信号値は４回目の走査で読み出されたものとなる。一方、第２のメモリ領域１６Ｂのメモリセル１７Ｂに書き込まれた信号値は、これに対応する第１のメモリ領域１６Ａのメモリセル１７Ａにフラグ「０００」が書き込まれていれば、２回目の走査で読み出されたものとなり、フラグ「００１」が書き込まれていれば、３回目の走査で読み出されたものとなり、フラグ「０１０」が書き込まれていれば、４回目の走査で読み出されたものとなる。

したがって、後段の信号処理回路（ＤＳＰ回路等）では、第１のメモリ領域１６Ａのメモリセル１７Ａから信号値とフラグを読み出す一方、これに対応する第２のメモリ領域１６Ｂのメモリセル１７Ｂから信号値を読み出すことにより、それぞれの信号値が何回目の走査で読み出されたものであるかを判別し、この判別結果を参照しながら、ダイナミックレンジを拡大した画像を合成することができる。このため、画像合成の自由度や信頼度を高めることができる。

また原理的には、走査回路１２で露光時間を１／４ずつ短くしながら走査するため、露光時間（感度）を変えて何回か走査したなかで、信号の値がリニアな領域で、かつ閾値の１／４以上有るものを残せばよい。実際には、ある走査で、信号の値がリニアな領域の最大に近く、次の走査でその１／４くらいのときに、どちらの信号値をメモリに残すかは微妙である。また、リニアな領域といえども、信号のリニアリティー（入射光量に対する信号出力の線形性）が真に完全ではないため、露光時間が正確に１／４でも、信号値が完全に正確に１／４にはならない。このため、例えば明るさにグラディエーションのある空のような被写体を撮像したときに、信号の乗り換えの部分で帯状のノイズが発生する恐れがある。

これに対して、本発明の第２実施形態においては、２枚分（２画面分）の画像データをメモリ回路１６に書き残すようにしたので、蓄積時間の異なる信号に乗り換えるところで、２枚の画像の重なり具合（信号値の差）を示す２つの信号を「のりしろ」の部分として持つことができる。したがって、後段の信号処理回路（ＤＳＰ回路等）で「のりしろ」の部分を参照しながら信号を乗り換えることにより、上記のノイズの発生を防止することができる。さらに、何回走査してもそのうち重要な２枚だけを残すことで、全データを残すのに対して、必要な情報の欠損をほとんどなくメモリを節約できるとともに、後段の処理速度アップ、消費電力低減、小型化、低コスト化などの利点がある。

なお、上記の処理例においては、露光時間を短くしながら何回も走査し、メモリ回路１６の第２のメモリ領域１６Ｂには、それに先立って第１のメモリ領域１６Ａに書き込んだ信号の次に読み出した信号が書き込まれている。その場合、４回の走査に対して３画面分（３フレーム分）のメモリ領域をメモリ回路１６に設けるといった拡張も可能であるが、通常は２画面分のメモリ領域を設けるだけで十分であり、メモリ回路１６に格納する画像データの量を削減する点でも、２画面分のメモリ領域を設ける方が好ましい。

〈第３実施形態〉
図５は本発明の第３実施形態に係る固体撮像装置の構成の概略を示すシステム構成図である。図示のように、本第３実施形態に係る固体撮像装置１０は、基本的に、上記第２実施形態と同様に、画素アレイ部１１と、走査回路１２と、カラム回路１３と、判定回路１４を含む書き込み制御回路１５と、メモリ回路１６とを備えたシステム構成となっている。

また、メモリ回路１６は、２つのメモリ領域（フレームメモリ）１６Ａ，１６Ｂを有し、各々のメモリ領域１６Ａ，１６Ｂは、それぞれ１画面分（１フレーム分）のメモリセル１７Ａ，１７Ｂを備える点は、上記第２実施形態と同様である。ただし、第１のメモリ領域１６Ａにおいて、１つの画素に対応する１つのメモリセル１７Ａは、画素信号を記憶するための１０ビットにフラグを書き込むための１ビットを加えた「１０ビット＋１ビット」のビット列を１つのメモリ単位として構成されている。また、第２のメモリ領域１６Ｂにおいて、１つの画素に対応する１つのメモリセル１７Ｂは、画素信号を記憶するための１０ビットにフラグを書き込むための１ビットを加えた「１０ビット＋１ビット」のビット列を１つのメモリ単位として構成されている。

続いて、上記構成からなる固体撮像装置を用いて画素信号を読み出す場合の処理の手順について説明する。まず、走査回路１２は、上記図３（Ｂ）に示すように、露光時間比を１→４→１６→６４と短い方から長い方に順に変えながら（読み出し回数が進むたびに感度を低い方から高い方に順に変化させながら）、各行の画素を４回ずつ走査することにより、各々の画素から４回ずつ信号（感度の異なる信号）を読み出すものとする。また、カラム回路１３と判定回路１４は、上記第１実施形態と同様の処理を行なうものとする。そうした場合、書き込み制御回路１５は、判定回路１４の判定結果と、走査が何回目であるかによって、メモリ回路１６に対する信号の書き込みを次のように制御する。

まず、走査が１回目の場合は、画素から読み出した信号Ｖ１の値の大小にかかわらず、信号読み出し対象の画素に対応する第１のメモリ領域１６Ａ内のメモリセル１７Ａ（１０ビット＋１ビット）に対し、画素信号用のビット列に１回目の走査で読み出された信号Ｖ１の値を書き込むとともに、フラグ用のビット列にフラグ「０」を書き込む。

次に、走査が２回目の場合は、画素から読み出した信号Ｖ２の値の大小にかかわらず、信号読み出し対象の画素に対応する第２のメモリ領域１６Ｂ内のメモリセル１７Ｂ（１０ビット＋１ビット）に対し、画素信号用のビット列に２回目の走査で読み出された信号Ｖ２の値を書き込むとともに、フラグ用のビット列にフラグ「０」を書き込む。

次に、走査が３回目の場合は、画素からの信号Ｖ３の値が８５０以下であれば、この画素に対応する第１のメモリ領域１６Ａ内のメモリセル１７Ａに対し、画素信号用のビット列に３回目の走査で読み出された信号Ｖ３の値を上書きするとともに、フラグ用のビット列にフラグ「１」を上書きする。また、画素からの信号Ｖ３の値が８５０よりも大きければ、その信号Ｖ３を捨てて、この画素に対応する第１のメモリ領域１６Ａ内のメモリセル１７Ａに１回目の走査で書き込んだ信号Ｖ１の値とフラグの値「０」をそのまま残す。

次に、走査が４回目の場合は、画素からの信号Ｖ４の値が８５０以下であれば、この画素に対応する第２のメモリ領域１６Ｂ内のメモリセル１７Ｂに対し、画素信号用のビット列に４回目の走査で読み出された信号Ｖ４の値を上書きするとともに、フラグ用のビット列にフラグ「１」を上書きする。また、画素からの信号Ｖ４の値が８５０よりも大きければ、その信号Ｖ４を捨てて、この画素に対応する第２のメモリ領域１６Ｂ内のメモリセル１７Ｂに２回目の走査で書き込んだ信号Ｖ２の値とフラグの値「０」をそのまま残す。

このように本発明の第３実施形態に係る固体撮像装置において、走査回路１２は、読み出し（走査）の回数が進むたびに感度を低い方から高い方に順に変化させてｎ回（本形態ではｎ＝４）ずつ信号を読み出し、書き込み制御回路１５は、画素アレイ部１１の画素１２からｍ回目（本形態ではｍ＝２）の読み出しまでに得られるｍ個の信号の値をメモリ回路１６に書き込み、その後、ｎ回目の読み出しまでに得られる信号の値が閾値以下であれば、当該信号の値をメモリ回路１６に上書きし、閾値よりも大であれば、当該信号を捨てるように制御する。

すなわち、１回目の走査では、信号Ｖ１の値を第１のメモリ領域１６Ａに書き込み、２回目の走査では、信号Ｖ２の値を第２のメモリ領域１６Ｂに書き込む。次に、３回目の走査では、信号Ｖ３の値が閾値以下であれば、その信号Ｖ３の値を第１のメモリ領域１６Ａに上書きし、信号Ｖ３の値が閾値よりも大きければ、その信号Ｖ３を捨てる。次に、４回目の走査では、信号Ｖ４の値が閾値以下であれば、その信号Ｖ４の値を第２のメモリ領域１６Ｂに上書きし、信号Ｖ４の値が閾値よりも大きければ、その信号Ｖ４を捨てる。

要するに、書き込み制御回路１５は、１，２，…，ｍ，１，２，…というように巡回させて、メモリ回路１６の各メモリ領域にフラグとともに信号値を書き込み、画素１２から読み出した信号の値が閾値（適正領域）よりも大きければ、当該信号を捨てるように制御するのである。すなわち、露光時間を順に短くしながらｎ回（上記の例では４回）の読み出し走査を行ない、画素からの信号がリニアな領域に入ってからｍ回分（本形態では１回分）の信号を、何度目かの走査で読み出された信号であるかを示すフラグ情報とともにメモリ回路１６に書き残すこととしている。これにより、画素アレイ部１１の各画素２０から、走査回路１２による４回の走査によって読み出された画素信号を、２画面（１フレーム）分の記憶領域１６Ａ，１６Ｂ（メモリセル１７Ａ，１７Ｂ）を有するメモリ回路１６に記憶させることができる。

また、この方法では、画素からの信号をメモリ回路１６に書き込むかどうかを判定するのにフラグを参照する必要がない。判定回路１４による信号値の判定結果だけで信号値の扱いが決まるため、メモリ回路１６から判定回路１４にフラグを読み出す必要がない。したがって、第２の実施形態と比較すると、処理全体が簡素化されたものとなる。

また、第１のメモリ領域１６Ａ内のメモリセル１７Ａにフラグ「０」で書き込まれた信号値は１回目の走査で読み出されたものとなり、第１のメモリ領域１６Ａ内のメモリセル１７Ａにフラグ「１」で書き込まれた信号値は３回目の走査で読み出されたものとなる。また、第２のメモリ領域１６Ｂ内のメモリセル１７Ｂにフラグ「０」で書き込まれた信号値は２回目の走査で読み出されたものとなり、第２のメモリ領域１６Ｂ内のメモリセル１７Ｂにフラグ「１」で書き込まれた信号値は４回目の走査で読み出されたものとなる。

したがって、後段の信号処理回路（ＤＳＰ回路等）では、メモリ回路１６の各メモリ領域１６Ａ，１６Ｂから、それぞれメモリセル１７Ａ，１７Ｂごとに、信号値とフラグを読み出すことにより、その信号値が何回目の走査で読み出されたものであるかを判別し、この判別結果を参照しながら、ダイナミックレンジを拡大した画像を合成することができる。このため、画像合成の自由度や信頼度を高めることができる。

なお、上記の各実施形態においては、メモリ回路１６に対して、画素から読み出した信号値とフラグを共通のメモリセルに書き込むものとしたが、これに限らず、信号値とフラグを別々のメモリ領域に書き込むものとしてもよい。例えば、上記図４においては、第１のメモリ領域１６Ａ内のメモリセル１７Ａに、信号値とフラグの両方を書き込む構成となっているが、図６に示すように、第１のメモリ領域１６Ａのメモリセル１７Ａと１：１で対応する第３のメモリ領域１６Ｃを、第１のメモリ領域１６Ａや第２のメモリ領域１６Ｂとは別に設け、第１のメモリ領域１６Ａのメモリセル１７Ａとこれに対応する第３のメモリ領域１６Ｃのメモリセル１７Ｃに、それぞれ信号値とフラグを分けて書き込む構成としてもよい。

また、メモリ回路１６は、１画面分ちょうどのメモリ領域や、２画面分ちょうどのメモリ領域でなくても、別の目的で使用するメモリ領域を有する、さらに大規模なメモリ回路であってもよい。

また、上記の各実施形態においては、メモリの単位（フラグを付与する単位）を、１画素単位としているが、これ以外にも、例えば色フィルターの配列にしたがった４画素単位とするなど、複数画素単位としてもよい。

また、走査回路１２によって１行分の画素を同時に駆動する場合、判定回路１４は、画素列と１：１の関係で設けることが好ましいが、複数の画素列で判定回路１４を共有することも可能である。

また、メモリ回路１６には、画素からの信号をそのまま書き込んでもよいし、何らかの演算処理を行なってから書き込んでもよい。

また、上記各実施形態のように判定回路１４に１つの閾値を適用した場合、閾値以下の信号値だけでなく、閾値以上、閾値未満又は閾値超の信号値だけをメモリ回路１６に記憶させることもできる。さらに、複数の異なる閾値を適用した場合は、それらの閾値を用いて特定される範囲内の信号値だけをメモリ回路１６に記憶させることができる。また、閾値としては、動作中に変更され得るものも許される。例えば、ＡＤ変換の入力部で閾値を設定し、ゲイン０のときにはＡＤ変換の入力レンジに対して閾値を８５０/１０２４とし、ＡＤ変換のゲインを２倍にしたときは閾値をＡＤ変換の入力レンジそのものとすることができる。

また、上記実施形態においては、走査回路１２が１つの画素につき、感度（露光時間）を変えて４回ずつ信号を読み出し、そのうちの１回分又は２回分の信号をメモリ回路１６に記憶する構成となっているが、本発明は、走査回路１２による信号の読み出し回数に対して、それよりも少ない回数分の信号をメモリ回路１６に記憶する場合全般に適用可能である。すなわち、走査回路１２は、画素アレイ部１１の各行の画素１２から、それぞれ感度を変えてｎ回（ｎは２以上の整数）ずつ信号を読み出し、メモリ回路１６は、走査回路１２によって画素アレイ部１１の画素１２から読み出されたｎ回分の信号のうち、少なくともｍ回分（ｍは１以上ｎ未満の整数）の信号を記憶可能なメモリ領域を有するものであればよい。

また、上記実施形態においては、外部から与えられる物理量を検出する物理量検出装置として、被写体を経た入射光の光強度を検出する固体撮像装置を例に挙げたが、固体撮像装置への適用にあたっては、静止画を扱うもの、動画を扱うもの、静止画と動画の両方を扱うもの、のいずれにも適用可能である。また、本発明は、固体撮像装置に限られるものではなく、センサの構成として、検出電極と指の表面との間に指紋の凹凸に応じて形成される静電容量を物理量として検出する画素、あるいは、外部から与えられる物理量として、可視光以外の電磁波や粒子、圧力や化学物質の分布などを検出する画素が、行列状に２次元配置された物理量検出装置全般に適用可能である。

［適用例］
先述した実施形態に係る固体撮像装置１０は、デジタルスチルカメラやビデオカメラ等の撮像装置において、その撮像デバイス（画像入力デバイス）として用いて好適なものである。

ここに、撮像装置とは、撮像デバイスとしての固体撮像装置の撮像面（受光面）上に被写体の像光を結像させる光学系及び当該固体撮像装置の信号処理回路を含むカメラモジュール（例えば、携帯電話等の電子機器に搭載されて用いられる）と、このカメラモジュールを搭載したデジタルスチルカメラやビデオカメラ等のカメラシステムの両方を含むものである。

図７は本発明に係る撮像装置の構成の一例を示すブロック図である。本例に係る撮像装置は、レンズ４１を含む光学系、撮像デバイス（固体撮像装置）となるＣＭＯＳイメージセンサ（固体撮像装置）を含むセンサチップ４２、フレームメモリ（メモリ回路）を含むメモリチップ４３、ＤＳＰ(Digital signal processor)回路４４、ＤＳＰ回路４４から出力される画像信号を処理するマイクロコンピュータ（マイコン）４５、画像信号を表示する表示装置４６、画像信号を記録するメモリカード４７等を備えた構成となっている。

レンズ４１は、被写体からの像光を、ＣＭＯＳイメージセンサからなる撮像デバイス（固体撮像装置）の撮像面に導くもので、このレンズ４１を含む光学系が結像光学系である。ＣＭＯＳイメージセンサは、レンズ４１を含む光学系によってセンサの撮像面に結像された像光を画素単位で電気信号に変換する。

センサチップ４２は、上記の画素アレイ部１１、走査回路１２、カラム回路１３を搭載している。メモリチップ４３は、上記の判定回路１４、書き込み制御回路１５、メモリ回路１６を搭載している。ＤＳＰ回路４４は、センサチップ４２とメモリチップ４３を制御するとともに、フレームメモリから信号やフラグを読み込んで、ダイナミックレンジが拡大された画像を合成する処理などを行なうものである。メモリチップ４３に搭載されたフレームメモリは、ＤＳＰ回路４４が途中結果を保存するメモリ領域も備えている。

かかる撮像装置の構成において、センサチップ４２に搭載されたＣＭＯＳイメージセンサで複数回の走査によって画素から読み出された信号は、走査による読み出し回数よりも少ない回数分だけ、メモリチップ４２に搭載されたメモリ回路（フレームメモリ）に記憶された後、ＤＳＰ回路４４によって読み込まれ、そこで１枚の画像に合成される。

上述したように、ビデオカメラや電子スチルカメラ、さらには携帯電話等のモバイル機器向けカメラモジュールなどの撮像装置において、その撮像デバイスとして先述した実施形態に係る固体撮像装置１０を用いることで、より小さい容量のメモリを用いて、ダイナミックレンジの拡大を図ることができる。

本発明の第１実施形態に係る固体撮像装置の構成の概略を示すシステム構成図である。 画素出力信号と入射光量の関係を示す図である。 走査回数と蓄積時間比の関係を示す図である。 本発明の第２実施形態に係る固体撮像装置の構成の概略を示すシステム構成図である。 本発明の第３実施形態に係る固体撮像装置の構成の概略を示すシステム構成図である。 メモリ回路の他の構成例を示す図である。 本発明に係る撮像装置の構成の一例を示すブロック図である。

符号の説明

１１…画素アレイ部、１２…走査回路、１３…カラム回路、１４…判定回路、１５…書き込み制御回路、１６…メモリ回路、１６Ａ，１６Ｂ，１６Ｃ…メモリ領域、１７，１７Ａ，１７Ｂ，１７Ｃ…メモリセル、

Claims (10)

1. 外部から与えられる物理量を電気信号に変換する画素が行列状に２次元配置された画素アレイ部と、
   前記画素アレイ部の画素から感度を変えてｎ回（ｎは２以上の整数）ずつ信号を読み出す読み出し手段と、
   前記読み出し手段によって前記画素アレイ部の画素から読み出されたｎ回分の信号のうち、ｍ回分（ｍは１以上ｎ未満の整数）の信号を記憶可能な記憶手段と、
   前記読み出し手段によって前記画素アレイ部の画素から読み出された信号の値を閾値と比較し、この比較結果に基づいて、前記記憶手段に対する信号の書き込みを制御する書き込み制御手段と
   を備えたことを特徴とする物理量検出装置。
2. 前記読み出し手段は、読み出しの回数が進むたびに感度を高い方から低い方に順に変化させてｎ回ずつ信号を読み出し、
   前記書き込み制御手段は、前記画素アレイ部の画素からｎ回の読み出しによって得られるｎ個の信号のうち、画素から読み出された信号の値が前記閾値以下となってからｍ回分の信号の値を前記記憶手段に書き込み、ｍ回分の信号値の書き込み後に読み出された信号は捨てるように制御する
   ことを特徴とする請求項１記載の物理量検出装置。
3. 前記読み出し手段は、読み出しの回数が進むたびに感度を低い方から高い方に順に変化させてｎ回ずつ信号を読み出し、
   前記書き込み制御手段は、前記画素アレイ部の画素からｍ回目の読み出しまでに得られるｍ個の信号の値を前記記憶手段に書き込み、その後、ｎ回目の読み出しまでに得られる信号の値が前記閾値以下であれば、当該信号の値を前記記憶手段に上書きし、前記閾値よりも大であれば、当該信号を捨てるように制御する
   ことを特徴とする請求項１記載の物理量検出装置。
4. ｎ≧３、ｍ＝２である
   ことを特徴とする請求項１記載の物理量検出装置。
5. 前記書き込み制御手段は、前記記憶手段に信号の値を書き込む際に、前記信号値がｎ回のうちの何回目に読み出された信号であるかを示す識別情報を、前記信号値と対応付けて前記記憶手段に記憶させる
   ことを特徴とする請求項１記載の物理量検出装置。
6. 前記書き込み制御手段は、前記信号の書き込みを制御するにあたって、前記記憶手段に記憶させた前記識別情報を参照する
   ことを特徴とする請求項５記載の物理量検出装置。
7. 外部から与えられる物理量を電気信号に変換する画素が行列状に２次元配置された画素アレイ部を具備する物理量検出装置の駆動方法であって、
   前記画素アレイ部の画素から感度を変えてｎ回（ｎは２以上の整数）ずつ信号を読み出し、
   前記画素アレイ部の画素から読み出されたｎ回分の信号のうち、ｍ回分（ｍは１以上ｎ未満の整数）の信号を記憶可能な記憶手段に対して、前記画素アレイ部の画素から読み出された信号の値と閾値との比較結果に基づいて、信号の書き込みを制御する
   ことを特徴とする物理量検出装置の駆動方法。
8. 外部からの入射光を電気信号に変換する画素が行列状に２次元配置された画素アレイ部と、
   前記画素アレイ部の画素から感度を変えてｎ回（ｎは２以上の整数）ずつ信号を読み出す読み出し手段と、
   前記読み出し手段によって前記画素アレイ部の画素から読み出されたｎ回分の信号のうち、ｍ回分（ｍは１以上ｎ未満の整数）の信号を記憶可能な記憶手段と、
   前記読み出し手段によって前記画素アレイ部の画素から読み出された信号の値を閾値と比較し、この比較結果に基づいて、前記記憶手段に対する信号の書き込みを制御する書き込み制御手段と
   を備えたことを特徴とする固体撮像装置。
9. 外部からの入射光を電気信号に変換する画素が行列状に２次元配置された画素アレイ部を具備する固体撮像装置の駆動方法であって、
   前記画素アレイ部の画素から感度を変えてｎ回（ｎは２以上の整数）ずつ信号を読み出し、
   前記画素アレイ部の画素から読み出されたｎ回分の信号のうち、ｍ回分（ｍは１以上ｎ未満の整数）の信号を記憶可能な記憶手段に対して、前記画素アレイ部の画素から読み出された信号の値と閾値との比較結果に基づいて、信号の書き込みを制御する
   ことを特徴とする固体撮像装置の駆動方法。
10. 外部からの入射光を信号電荷に変換する光電変換素子を含む画素が行列状に２次元配置された画素アレイ部を有する固体撮像装置と、
    被写体からの光を前記固体撮像装置の撮像面に導く光学系とを具備し、
    前記固体撮像装置は、
    前記画素アレイ部の画素から感度を変えてｎ回（ｎは２以上の整数）ずつ信号を読み出す読み出し手段と、
    前記読み出し手段によって前記画素アレイ部の画素から読み出されたｎ回分の信号のうち、ｍ回分（ｍは１以上ｎ未満の整数）の信号を記憶可能な記憶手段と、
    前記読み出し手段によって前記画素アレイ部の画素から読み出された信号の値を閾値と比較し、この比較結果に基づいて、前記記憶手段に対する信号の書き込みを制御する書き込み制御手段と
    を備えたことを特徴とする撮像装置。
    

Images