JP3999417B2

JP3999417B2 - Solid-state imaging device and signal readout method

Info

Publication number: JP3999417B2
Application number: JP25389799A
Authority: JP
Inventors: 和也小田
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 1999-09-08
Filing date: 1999-09-08
Publication date: 2007-10-31
Anticipated expiration: 2019-09-08
Also published as: JP2001078209A

Description

【０００１】
【発明の属する技術分野】
本発明は、固体撮像装置および信号読出し方法に関し、たとえば、画素数の高画素化したディジタルカメラや画像入力装置等に適用して好適なものである。
【０００２】
【従来の技術】
近年、銀塩カメラの画質を目指して、電気的に被写体の画像を撮影するディジタルカメラが画素数を一層高める技術が各種提案されてきている。たとえば、特開平10-136391 号公報には、画像の空間サンプリングの最適化をもたらし、受光効率の向上を図るように画素をずらして配置するとともに、モアレ等の偽信号を抑圧する固体撮像装置が提案されている。
【０００３】
ところで、高画質を目的として撮像部に高画素化した画素アレイを用いたディジタルカメラ等においては、本撮像（すなわち、スチル撮像）を行う前に、予備の撮影として撮像部からAE/AF (Automatic Exposure/Automatic Focusing）用の動作や液晶画面に画像を表示させるムービー駆動を行っている。ここで、高画素とは、たとえば、百万画素以上の画素数、いわゆるメガピクセルのことを示している。制御に関して高画素化した撮像部は、予備の撮影に対する駆動と、スチル画像の本撮像での駆動を同じ駆動で読み出している。
【０００４】
【発明が解決しようとする課題】
ところが、上述したように、予備の撮像において、高画素化した画素アレイを有する撮像部からの信号電荷の読出しは考慮されていなかったので、特に撮像部の駆動を低電圧／高速で水平転送路を駆動させると、低照度の画像領域では水平転送路の駆動周波数や駆動電圧等に伴い信号電荷の転送不良が発生する。この転送不良は、この領域に画素間の混色が発生させて、たとえば液晶モニタにムービー表示させる際に正しい色再現ができなくなる。撮像素子の高画素化および携帯性を考慮した電池の長寿命化にともなう低消費電力化が進みますます低照度の領域での混色が発生しやすくなる方向に向かっている。
【０００５】
本発明はこのような従来技術の欠点を解消し、高画素化および低消費電力化しても本撮像で得られる画像の高画質を図ることのできる固体撮像装置および信号読出し方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明は上述の課題を解決するために、光電変換する受光素子を２次元配置し、各受光素子に対して被写界からの入射光側にこの入射光を色分解する色分解手段が配された撮像手段から信号電荷をすべて読み出す本撮像の前に行う予備の撮影により得られた情報に基づいて本撮像を行って信号電荷を読み出し、この信号電荷を出力させるように形成された垂直転送路、水平転送路と順次転送し、得られた信号にディジタル信号処理を施して出力する固体撮像装置において、受光素子からの信号読出しが通常の方式で行われた際に、受光素子数、信号読出しの駆動電圧、および水平転送路での信号電荷の駆動により画像に混色が表れる条件を満たす場合、予備の撮影と本撮像とで撮像手段からの信号電荷読出しをそれぞれ切換制御する制御手段と、この制御手段からの本撮像の指示に応じて撮像手段の受光素子の奇数列と偶数列とを交互に信号電荷の読出しを複数回に分けて読み出す駆動に用いる駆動信号を撮像手段に供給する信号供給手段とを含むことを特徴とする。
【０００７】
ここで、信号供給手段は、水平駆動信号の駆動周波数を予備の撮像時よりも低い駆動周波数にすることが好ましい。
【０００８】
本発明の固体撮像装置は、信号供給手段で撮像手段の受光素子の奇数列と偶数列とを交互に信号電荷の読出しを複数回に分けて読み出す駆動に用いる駆動信号を生成し、制御手段からの本撮像の指示に応じて生成している駆動信号を撮像手段に供給することにより、奇数列だけまたは偶数列だけの信号電荷を水平転送路に読み出す。水平転送路の信号電荷の存在するパケット間に着目すると、この信号電荷のあるパケットとの間に空きパケットを発生させる。この空きパケットを発生させることにより通常の信号読出しと同様に駆動した際の１画素間の転送不良を無視することができる。
【０００９】
本発明は上述の課題を解決するために、光電変換する受光素子の位置を隣接した受光素子に対して互いにずらして２次元配置し、各受光素子に対して被写界からの入射光側にこの入射光を色分解する色分解手段が配された撮像手段から信号電荷をすべて読み出す本撮像の前に行う予備の撮影により得られた情報に基づいて本撮像を行って信号電荷を読み出し、この信号電荷を出力させるように形成された垂直転送路、水平転送路と順次転送し、得られた信号にディジタル信号処理を施して出力する固体撮像装置において、受光素子からの信号読出しが通常の方式で行われた際に、受光素子数、信号読出しの駆動電圧、および水平転送路での信号電荷の駆動により画像に混色が表れる条件を満たす場合、予備の撮影と本撮像とで撮像手段からの信号電荷読出しをそれぞれ切換制御する制御手段と、この制御手段からの本撮像の指示に応じて撮像手段の受光素子の１ライン分の信号電荷が水平転送路に到達した際に、その都度この１ライン分の信号電荷読出し駆動を行う駆動信号を供給する信号供給手段とを含むことを特徴とする。
【００１０】
ここで、信号供給手段は、水平駆動信号の駆動周波数を予備の撮像時よりも低い駆動周波数にするとよい。
【００１１】
本発明の固体撮像装置は、いわゆるハニカム配置と呼ぶ画素ずらしした受光素子から信号電荷をシフト信号に応じて読み出して、これらの信号電荷を水平転送路に向けて垂直転送し、信号電荷が水平転送路に1 ライン分転送されると、この1 ライン分の信号電荷をすべて読み出しても信号電荷のあるパケット間に空きパケットを発生させることができる。これにより通常の信号読出しと同様に駆動した際の１画素間の転送不良を無視することができる。
【００１２】
また、本発明は上述の課題を解決するために、用意した受光素子を複数個２次元配置に配し、複数個の受光素子のそれぞれに対応して被写界からの入射光側で各色に色分解し、この色分解した光をそれぞれの受光素子で光電変換して信号電荷をすべて読み出す本撮像の前に行う予備の撮影により得られた情報に基づいて本撮像を行って信号電荷を読み出し、この信号電荷を垂直方向、水平方向に順次転送し、出力する信号読出し方法において、受光素子からの信号読出しが通常の方式で行われた際に、受光素子数、信号読出しの駆動電圧、および水平方向への信号電荷の駆動により画像に混色が表れる条件を満たす場合、予備の撮影と本撮像とに応じて前記撮像手段からの信号電荷読出しをいずれか一方の撮像に制御を切り換える切換制御工程と、この切換制御工程で本撮像を行う際の制御に応じて２次元配置した奇数列または偶数列の受光素子から信号電荷を読み出すタイミングのシフト信号を生成するとともに、読み出した列の信号電荷を垂直方向、水平方向に転送する駆動信号を生成する信号生成工程と、この信号生成工程で生成したシフト信号の供給により受光素子で光電変換した奇数列または偶数列の信号電荷の一方の列だけを読み出す第１の信号シフト工程と、第１の信号シフト工程で読み出した信号電荷を供給される駆動信号に応じて垂直方向、水平方向に順次読み出す第１の列画像読出し工程と、信号生成工程で生成したシフト信号の供給により受光素子で光電変換した、第１の信号シフト工程とは逆の偶数列または奇数列の信号電荷の一方の列だけを読み出す第２の信号シフト工程と、第２の信号シフト工程で読み出した信号電荷を供給される駆動信号に応じて垂直方向、水平方向に順次読み出す第２の列画像読出し工程とを含むことを特徴とする。
【００１３】
ここで、信号生成工程は、駆動信号の水平駆動周波数を予備の撮像時よりも低い駆動周波数にすることが望ましい。
【００１４】
本発明の信号読出し方法は、切換制御に応じて撮像する際に供給する信号を生成し、生成した信号に応じて信号電荷を奇数列または偶数列のいずれか一方から読み出して、垂直方向、水平方向の転送を行い、そしてこの読み出した列が奇数列のとき偶数列を、偶数列のとき奇数列を読み出して同様に垂直方向、水平方向に転送して、読み出した信号電荷を出力する。特に、水平方向の転送を行うとき、一方の列だけからしか信号電荷を読み出していないので、パケット間に空きパケットを発生させて通常の信号読出しと同様に駆動しても１画素間の転送不良は無視することができる。
【００１５】
本発明は上述の課題を解決するために、用意した２次元配置した複数個の受光素子を隣接する受光素子と互いに位置がずれた位置関係に配し、複数個の受光素子のそれぞれに対応して被写界からの入射光側で各色に色分解し、この色分解した光をそれぞれの受光素子で光電変換して信号電荷をすべて読み出す本撮像の前に行う予備の撮影により得られた情報に基づいて本撮像を行って信号電荷を読み出し、この信号電荷を垂直方向、水平方向に順次転送し、出力する信号読出し方法において、受光素子からの信号読出しが通常の方式で行われた際に、受光素子数、信号読出しの駆動電圧、および水平方向への信号電荷の駆動により画像に混色が表れる条件を満たす場合、予備の撮影と本撮像とに応じて撮像手段からの信号電荷読出しをいずれか一方の撮像に制御を切り換える切換制御工程と、この切換制御工程で本撮像を行う際の制御に応じて２次元配置した受光素子から信号電荷を読み出すタイミングのシフト信号を生成するとともに、読み出した列の信号電荷を垂直方向、水平方向に転送する駆動信号を生成する信号生成工程と、この信号生成工程で生成したシフト信号の供給により受光素子で光電変換した信号電荷を読み出す信号シフト工程と、この信号シフト工程で読み出した信号電荷を供給される駆動信号に応じて垂直方向に転送する垂直転送工程と、この垂直転送工程により信号電荷が垂直方向に直交する水平方向への転送する際に駆動信号に応じて供給された１ラインすべてを読み出す水平転送工程とを含み、垂直転送工程、水平転送工程を繰り返して信号電荷を読み出すことを特徴とする。
【００１６】
ここで、信号生成工程は、駆動信号の水平駆動周波数を予備の撮像時よりも低い駆動周波数にすることが好ましい。
【００１７】
また、色分解は、受光素子に対応して正方格子状の位置に色G を配し、この色G の正方格子の中心位置に色R または色B を交互に配して完全市松を形成する配置パターンで行うことが望ましい。この画素ずらし、いわゆるハニカム配置を用いることで、水平転送路に各ラインの到達する時間が異なり、メカシャッタを用いなくても全画素を同時読出しして混色なく信号電荷を出力する。
【００１８】
本発明の信号読出し方法は、たとえば、シフト信号、垂直、水平方向の駆動信号等の各種の信号を生成し、シフト信号により得られた信号電荷を受光素子から読み出し、垂直方向に転送して、水平方向の転送を行う際に読み出した所定の色の信号電荷の間に空きパケットが画素ずらしの配置関係によって形成されることから、混色を防ぎ、次のラインの信号電荷が転送される前に、１ライン分すべて読み出して全画素同時読出しを実現させている。
【００１９】
【発明の実施の形態】
次に添付図面を参照して本発明による固体撮像装置の一実施例を詳細に説明する。
【００２０】
本発明を適用した実施例のディジタルスチルカメラ10の構成を図１に示す。図１のディジタルスチルカメラ10には、光学レンズ系12、操作部14、システム制御部18、信号発生部20、タイミング信号供給部22、絞り調節機構24、光学ローパスフィルタ26、色分解部28、撮像部30、前処理部32、A/D 変換部34、信号処理部36、圧縮／伸張部38、記録再生部40、およびモニタ42が備えられている。これら各部を順次説明する。光学レンズ系12は、たとえば、複数枚の光学レンズを組み合わせて構成されている。光学レンズ系12には、図示しないが、これら光学レンズの配置する位置を調節して画面の画角を操作部14からの操作信号に応じて調節するズーム機構や被写体とカメラ10との距離に応じてピント調節する、AF（Automatic Focus:自動焦点）調節機構が含まれている。これらの機構の調節は、操作部14の一部を成すレリーズシャッタが、たとえば半押し状態にされた際に予備的な被写界の撮像を行って得られる情報に基づいて行われる。操作信号は、システムバス16を介してシステム制御部18に供給される。光学レンズ系12には、後述する信号発生部20、タイミング信号供給部22のタイミング信号発生部22a 、ドライバ部22b を介して駆動信号が供給される。本撮像する場合、得られた情報に応じて設定された状態で上述したレリーズシャッタを全押しすることにより撮像タイミングがシステム制御部18に供給されて撮像制御が行われる。
【００２１】
操作部14には、図示しないレリーズシャッタやたとえばモニタ画面に表示される項目を選択する機能が備えられている。特に、レリーズシャッタは、複数の段階のそれぞれでカメラ10の操作を行うようにシステムバス16を介して操作信号をシステム制御部18に出力する。また、本実施例において操作部14は、各種の動作・処理を行う際のモードの選択などを行えるように、モニタに表示されるポインティングデバイスの操作も行う。この場合の操作部14の操作もシステム制御部18に操作信号として供給される。
【００２２】
システム制御部18は、たとえば CPU（Central Processing Unit:中央演算処理装置）を有する。システム制御部18には、ディジタルスチルカメラ10の動作手順が書き込まれた ROM（Read Only Memory：読み出し専用メモリ）がある。システム制御部18は、たとえば、ユーザの操作に伴って操作部14から供給される情報とこの ROMの情報を用いて各部の動作を制御する制御信号を生成する。システム制御部18は、生成した制御信号を信号発生部20、あらわに制御信号の供給を示していないがタイミング信号供給部22、前処理部32、A/D 変換部34の他に、システムバス16を介して信号処理部36、圧縮／伸張部38、記録再生部40およびモニタ42にも供給する。特に、システム制御部18は、後述するタイミング信号供給部22に対して予備的な撮像と本撮像とで生成するタイミング信号等が異なるように切換制御している。また、システム制御部18は、後述する信号処理部36に対しても特徴を有する各種の制御を行っている。
【００２３】
信号発生部20は、システム制御部18からの制御に応じてシステムクロックを発振器により発生する。信号発生部20は、このシステムクロックをタイミング信号供給部22および信号処理部36に供給する。また、システムクロックは、たとえばシステムバス16を介してシステム制御部18の動作タイミングの基準としても供給される。
【００２４】
タイミング信号供給部22には、タイミング信号発生部22a およびドライバ部22b が備えられている。タイミング信号供給部22は、システム制御部18の制御によって予備的な撮像と本撮像とで切換制御されることにより、異なるタイミング信号を生成する。タイミング信号発生部22a は供給されるシステムクロックを制御信号に基づいて各部を動作させるタイミング信号を生成する回路を含む。タイミング信号発生部22a は、基本的にシステム制御部18の制御により撮像のモードに応じてタイミング信号を生成し、この生成したタイミング信号を図１に示すように各部に出力するとともに、ドライバ部22b にも供給する。ドライバ部22b は、前述した光学レンズ系12のズーム調節機構およびAF調節機構の他、絞り調節機構24および撮像部30にも駆動信号をそれぞれ供給する。ドライバ部22b もシステム制御部18により直接的に制御させるようにしてもよい。本実施例では、本撮像時の信号電荷読出しに用いる信号の供給を制御する特徴を有する。この信号読出し制御ために切換制御に応じてシステム制御部は、タイミング信号発生部22a に対して生成したフィールドシフトパルスを列、すなわち奇数列と偶数列とを区別して一方の列だけに供給する信号供給制御を行う。また、システム制御部18はドライバ部22b に対して、たとえば読み出したくない列のフィールドシフトパルスの駆動信号への重畳を禁止するようにしてもよい。水平駆動は、予備の撮像により遅いレートで信号電荷を読み出すように駆動周波数を低くして用いる。
【００２５】
絞り調節機構24は、被写体の撮影において最適な入射光の光束を撮像部30に供給するように入射光束断面積（すなわち、絞り開口面積）を調節する機構である。絞り調節機構24にもドライバ部22b から駆動信号が供給される。この駆動信号は、前述したシステム制御部18からの制御に応じて動作させるための信号である。この場合、システム制御部18は、図示しないが、撮像部30で光電変換した信号電荷を基にAE（Automatic Exposure :自動露出）処理として絞り・露光時間を算出している。絞り調節機構24には、この算出した値に対応する制御信号が供給されたタイミング信号発生部22a からの信号に応じた駆動信号がドライバ部22b から供給される。
【００２６】
撮像部30は光電変換する撮像素子を光学レンズ系12の光軸と直交する平面が形成されるように配置する。また、撮像素子の入射光側には、個々の撮像素子に対応して光学像の空間周波数をナイキスト周波数以下に制限する光学ローパスフィルタ26と一体的に色分解する色分解部28の色フィルタCFが一体的に配設される。本実施例では単板方式の色フィルタを用いて撮像する。色フィルタCFの種類等については後段でさらに詳述する。撮像素子には、 CCD（Charge Coupled Device:電荷結合素子）や MOS（Metal Oxide Semiconductor:金属酸化型半導体）タイプがある。撮像部30は、供給される駆動信号に応じて光電変換によって得られた信号電荷を予備の撮像と本撮像とに合わせて読み出す。
【００２７】
本実施例では画素ずらしした、いわゆるハニカム配置していること、および色フィルタパターンに色フィルタG を正方格子状に配し、正方格子状の中心に色R または色B を配して色RBによる完全市松パターンを形成していることから、他の実施例での信号読出しは後段で示すように、全画素読出し( プログレッシブ走査）も行うことができる。この用いている色フィルタ配置パターンをG 正方（格子）RB完全市松パターンと呼ぶ。
【００２８】
前処理部32には、図示しないがCDS （Correlated Double Sampling: 相関二重サンプリング；以下CDS という）部が備えられている。CDS 部は、たとえば、CCD 型の撮像素子を用いて、基本的にその素子により生じる各種のノイズをタイミング信号発生部22a からのタイミング信号によりクランプするクランプ回路と、タイミング信号により信号電荷をホールドするサンプルホールド回路を有する。CDS 部は、ノイズ成分を除去してA/D 変換部34に送る。A/D 変換部34は、供給される信号電荷というアナログ信号の信号レベルを所定の量子化レベルにより量子化してディジタル信号に変換するA/D 変換器を有する。A/D 変換部34は、タイミング信号発生部22a から供給される変換クロック等のタイミング信号により変換したディジタル信号を信号処理部36に出力する。
【００２９】
信号処理部36には、図示しないが得られた画像をより一層高画質化するためにデータ補正部、輝度データ生成機能部、輝度データ補間機能部、高解像度プレーン補間機能部、およびマトリクス処理部が含まれる。データ補正部には、色の補正を行うガンマ補正回路や自動的にホワイトバランスの調整を行うAWB (Automatic White Balance）回路等がある。特に、ガンマ補正回路は、 ROM（Read Only Memory）に供給されるディジタル信号とこのディジタル信号に対応して出力する補正データとを組にした複数のデータセットの集まりであるルックアップテーブルを用いる。データ補正部は、この配置に限定されるものでなく、後段に設けてもよいが、この位置に配することにより、ルックアップテーブルの個数が最小で済む。これら一連のデータ補正においてもタイミング信号発生部22a からのタイミング信号に応じて供給される。データ補正部は、この処理した補正データを輝度データ生成機能部に出力する。
【００３０】
輝度データ生成機能部はシステム制御部18の制御により動作する。輝度データ生成機能部は、このように演算処理により受光素子の位置する画素での輝度データY を生成し、輝度データ補間機能部に出力する。輝度データ補間機能部は、供給される輝度データY の間にある仮想画素の位置における輝度データの補間生成を行う演算機能部である。輝度データ補間機能部は、プレーンの輝度データY_hを生成し、高解像度プレーン補間機能部に供給される。高解像度プレーン補間機能部は、プレーンの輝度データY_hとデータ補正した三原色R, G, B の画素データを入力し、これらのデータを用いてR プレーンデータ、G プレーンデータおよびB プレーンデータを生成する演算機能部である。高解像度プレーン補間機能部は、生成した三原色RGB のプレーンデータをマトリクス処理部に出力する。高解像度プレーン補間機能部には、これらの信号処理して得られた画像データを格納するとともに、非破壊読出し可能なメモリがそれぞれ備えられている。高解像度プレーン補間機能部はプレーン補間に用いる画素データを読み出して画素データの算出を行う。マトリクス処理部は、供給される三原色RGB のそれぞれR プレーンデータ、G プレーンデータおよびB プレーンデータを用いて、画像表示に用いる形式、すなわち輝度データY 、色差データ(R-Y), (B-Y)に変換する。これらの出力形式のデータは、各色に定めた混合割合を乗算し演算することから得られる。混合割合を決める係数は、従来からの値を用いる。この変換した３つのデータに各帯域を含み折返し歪が生じないカットオフ周波数に設定してアンチエリアシング処理を施す。このうち、輝度データY をアパーチャ調整部に送って、輝度データY の周波数の高域を持ち上げる。これにより、画像の輪郭が強調される。このようにしてマトリクス処理部は、輝度データY 、色差データ(R-Y), (B-Y)を圧縮／伸張部38およびモニタ42に出力する。マトリクス処理部は、モニタ42に撮像した画像をシステムバス16を介して供給する。
【００３１】
このように構成して信号処理部36は、受光素子の画素データを用いて、この際にたとえば、相関の大きい方の画素データから輝度データY および色差データを生成して圧縮／伸張部38およびモニタ42に出力する。
【００３２】
圧縮／伸張部38は、たとえば、直交変換を用いたJPEG（Joint Photographic Experts Group）規格での圧縮を施す回路と、この圧縮した画像を再び元のデータに伸張する回路とを有する。圧縮／伸張部38は、システム制御部18の制御により記録時には圧縮したデータをシステムバス16を介して記録再生部40に供給する。また、圧縮／伸張部38は、前述と同様にシステム制御部18の制御により信号処理部36からのデータをスルーさせ、システムバス16を介してモニタ42に供給させてもよい。圧縮／伸張部38が伸張処理を行う場合、逆に記録再生部40から読み出したデータをシステムバス16を介して圧縮／伸張部38に取り込んで処理する。ここで、処理されたデータもモニタ42に供給して表示させる。
【００３３】
記録再生部40は、記録媒体に記録する記録処理部と、記録媒体から記録した画像データを読み出す再生処理部とを含む（ともに図示せず）。記録媒体には、たとえば、いわゆる、スマートメディアのような半導体メモリや磁気ディスク、光ディスク等がある。磁気ディスク、光ディスクを用いる場合、画像データを変調する変調部とともに、この画像データを書き込むヘッドがある。モニタ42は、システム制御部18の制御に応じてシステムバス16を介して供給される輝度データおよび色差データまたは三原色RGB のデータを画面の大きさを考慮するとともに、タイミング調整して表示する機能を有する。液晶表示のようなモニタを用いてムービー表示する場合、たとえば、予備の撮像において受光素子、すなわち画素を間引きながら表示させる。
【００３４】
図１に示すディジタルカメラ10は、このように構成して高画素化した撮像部30を有していながら予備の撮像と本撮像とを切り換えて制御してそれぞれの撮像に応じた適切な撮像を行っている。特に、低照度の画像領域で転送効率の低下に伴う混色の発生を防止する信号読出しを行って、照度にかかわらず、画像全体の画質を高めている。
【００３５】
さらに、撮像部30と色分解部28に用いる色フィルタCFについて説明する。図２は、撮像部30の撮像面およびドライバ部22b からの垂直転送駆動信号V1〜V8を印加する位置関係を示している。撮像部30は、これまで述べてきたように、入射する光を光電変換する受光素子PDに隣接した受光素子PDが垂直方向および水平方向にずらされて２次元配置された受光部30a と、この受光部30a の前面に形成された開口部APを迂回するように配置され、かつ受光素子PDからの信号を取り出す電極ELと、この電極ELを介して供給される信号を受光部30a の垂直方向に順次転送する垂直転送レジスタVRと、垂直転送レジスタVRに対して直交する方向、すなわち水平方向に信号を転送する水平転送レジスタHRとを備えている。
【００３６】
垂直転送レジスタVRは、供給される垂直転送駆動信号V1〜V8に応じて信号を転送している。すなわち、垂直転送レジスタは１受光部あたり４電極構造になっている。また、１受光部領域の水平隣接領域が２電極構造で前述したように画素ずらしされている。これに対応して水平転送レジスタHRも２電極構造になっている。本実施例の撮像部30に形成された開口部APは、六角形のハニカム形状に形成する。開口形状は、一般的に正方格子であるがこの形状は、感度を向上させるとともに、垂直転送レジスタの幅を同じにして転送効率を低下させないようにする条件を満たせばよい。このことから判るように形状は、多角形でもよく、この他の例としては、正方格子を45°回転させた開口形状として、たとえば、菱形等があり、さらに八角形等にしてもよい。
【００３７】
開口部APは、図２に示すように各開口部APを覆う色フィルタCFの直下にそれぞれ対応して配置される受光素子PDの間隔を各方向毎の画素ピッチPPとするとき、開口部APの配列は、一列毎に垂直方向にあるいは一行毎に水平方向に画素ピッチPP分だけ移動させた２次元配置になっている。四角形以上の多角形を用いる場合、開口形状に合わせて開口部APを隙間なく、隣接する開口部APが稠密な配置に配置にさせてもよい。このような場合、配置する上での画素ピッチPPは半ピッチのずらしでもよい。図２のように六角形の場合、稠密な配置は、水平・垂直方向とも上述した画素ピッチPPの半分だけずらした配置（｜PP｜/2）により形成できる。このように稠密な配置を得るには開口部APの形状に依存する。
【００３８】
なお、図２の撮像部30は、最も左側に位置し、縦方向に色R, Bの受光素子を奇数列とする。また、図２から明らかなように電極ELの設けられている位置に対応してフィールドシフトパルスを含む垂直駆動信号はV1, V3, V5, V7である。そして、本実施例における予備の撮像（レリーズシャッタの半押し操作時）では、これまでの操作と同じに高速読出しが行われる。
【００３９】
このように構成した撮像部30を適用したディジタルカメラ10における本撮像時の動作について説明する。この本撮像の前に行う予備の撮像において得られた情報に基づいてAE/AF 調節を行う各機構は設定されている。また、この予備の撮像に応じて、図３(a) に示すAE調節機構の一部をなすメカニカルシャッタは、たとえばレリーズシャッタの半押し状態から本撮像の撮像タイミングを経て露光が終了するまで開状態になっている。これ以降、メカニカルシャッタは閉状態にする。
【００４０】
また、ディジタルカメラ10では、撮像部30に所定のタイミング信号として垂直同期信号VSが供給される（図３(b) を参照）。撮像部30は、垂直同期信号VSに同期して電子シャッタを動作させる。通常、電子シャッタは、垂直同期信号VSに同期して不要電荷の掃捨て処理を行う。この処理は水平帰線期間中に撮像部30の基板電圧に掃捨てパルスを印加して、垂直同期期間のうち、時刻T1から時刻T2の期間中にこれまで蓄積した信号電荷を基板側に掃き出す( 図３(c) を参照）。実際に、電子シャッタをオン状態にする期間が予備の撮像で得られた情報に基づく露光時間である（図３(d) を参照）。この場合、電子シャッタは、垂直同期期間VDの時刻T2の電荷掃出しが終了した時点から図３(a) のメカニカルシャッタが閉状態になるまでの期間である。
【００４１】
この露光後の次の垂直同期信号に同期して受光素子PDに蓄積した信号電荷の読出しを開始する（図３(d) を参照）。ここで、読み出す信号電荷は、受光部30a の奇数列から読み出すように、システム制御部18からの制御に応じてタイミング信号発生部22a でフィールドシフトパルスを生成して、ドライバ部22b に供給している。この供給により、ドライバ部22b はフィールドシフトパルスを含む駆動信号V1, V5を電極ELに印加する。電極ELは信号電荷を蓄積するゲートで印加される信号に応じてゲートの開閉スイッチ機能を果たしている。これらの電極ELにだけ駆動信号が供給されることにより、奇数列、すなわち図２の撮像部30から色BRが読み出される。
【００４２】
図２に示す状態は、得られた信号電荷を垂直転送レジスタVRに読み出して、垂直転送を行い、水平転送レジスタHRに信号電荷を転送した状態である。このとき、図２の水平転送レジスタHRが示すように、水平転送レジスタの信号電荷の位置関係には、信号電荷の間に空きパケットが存在する。これは、偶数列の信号電荷が入るパケットであったが、結果的に奇数列だけの読み出しにより空けられた。この空きパケットが各受光素子間に形成されることにより１画素間の転送不良を無視できるようになる。このため、個々の画素データに色が混じることを大幅に防止できる。水平転送レジスタHRに読み出した信号電荷は、通常の読出しと同様に次の信号電荷が転送されてくるまでに出力する。ただし、１フィールドの期間に半分の信号電荷を読み出せばよいことから、水平転送の転送レートは従来に比べて半分程度で済ませることができる。
【００４３】
先のフィールドでは奇数列だけの信号電荷読出しであった。次のフィールドでは、図示していないが偶数列だけの信号電荷を読み出すように、フィールドシフトパルスを生成し、印加する。すなわち、垂直駆動信号V3, V7を供給して色G だけの信号電荷を垂直転送レジスタVRに読み出す。前述したように信号電荷を順次水平転送レジスタの方向に転送する。水平転送レジスタHRには、受光素子から読み出した信号電荷の間に空きパケット（奇数列の信号電荷用）ができる。これにより、このフィールドでも１画素間の転送不良が無視できるようになる。このフィールドでも水平転送レジスタHRからの信号電荷読出しを確実に１ライン毎に出力させると、大幅に画素の混色を防止して信号電荷を読み出すことができる。このように撮像部30の受光部30a において露光により得られた信号電荷を列毎に読み出し、後段の信号処理において両フィールドで得られた信号電荷を、この段階で２ライン同時読出しで得られる信号電荷関係に並べ替えして画像を生成することにより、低照度の領域が被写界にあっても混色が生じない、高画質の一枚の画像を生成することができる。
【００４４】
この比較例として図３(e) のこれまで行われてきた動作を説明する。図３(a) 〜図３(c) の設定および動作は前述した実施例と同じである。露光時間も同じに設定して露光を行う。ただし、信号電荷の読出しが１フィールドの時間で行っている。この信号電荷読出しを行うには、本発明の実施例のように奇数列と偶数列の区別なく、三原色RGB を取り出すため２ライン同時読出しを行う。この場合、受光素子を画素ずらしして配していることから、読み出した信号電荷が水平転送レジスタHRに転送されても理論的には色データが混じることがない。この結果、水平転送レジスタHRには、「G_B_G_R_G_B_G_R_・・・」の順に信号電荷が配される。ここで、”_ ”は、水平転送レジスタHRのうち、２電極構造のレジスタの一方のレジスタ領域を示している。
【００４５】
この２ライン同時読出しを行うと、この２ラインから三原色RGB は得られるが、課題で述べたように低照度域での転送が水平駆動周波数の高速化および駆動電圧の低下により転送不良になってしまう傾向がある。この結果、この領域で混色が発生し、画像の色再現性が悪い。この画質劣化は、さらなる高画素化や低消費電力化により一層厳しくなる傾向にある。
【００４６】
このように画素の読み出す列を特定し２回に分けて読み出すことによって、結果的に従来の読出しレートよりも低い読出しレートで読み出すことになる。また、従来、予備の撮像と本撮像とでは水平の駆動周波数を同じに読み出していたので予備の撮像時の水平駆動周波数よりも低い駆動周波数で読み出す駆動で行うとも言える。高画素化が要求される撮像において、予備の撮像した信号電荷の高速読出しと、本撮像の画質優先した信号電荷の読出しとを切換制御して読み出すことで本撮像での画素間の転送不良を無視し、低照度域でも色再現性のよい高画質画像を提供することができる。
【００４７】
なお、本実施例は、いわゆるハニカム配置の撮像部に対して適用したがこの信号読出し方法は、画素ずらししていない撮像部においても同様に読み出す信号列を特定してゆっくり読み出すと低照度域での混色を同様に避けることができる。
【００４８】
次に本発明の固体撮像装置を適用したディジタルカメラ10の他の実施例について説明する。本実施例は、画素ずらし配置の、いわゆる画素のハニカム配置に特有な効果を奏するものである。ディジタルカメラ10は、ほぼ先の実施例と同じである。構成上の異なる点は、メカニカルシャッタを用いていない。受光素子PDから信号電荷を読み出す場合、画素ずらし配置の特徴から一度に同時に信号電荷を読み出して垂直方向に信号電荷を転送しても各ライン毎に水平転送レジスタHRに供給される。
【００４９】
このとき、水平転送レジスタHRにおける信号電荷は、空きパケットを介して配された、前述の実施例と同じ奇数列の信号電荷の位置関係に転送される。また、次のラインが水平転送レジスタHRに転送されるとき、信号電荷は偶数列の信号電荷の位置関係と同じ配置で供給される。このことから、各ラインの情報は、次のラインが供給される前に信号電荷を読み出す制御を行うとよいことが判る。この結果、前述の実施例と同じ転送効果が得られる。すなわち、通常の読出しを行う場合、前述した実施例と同様に複数のフィールドにわたって読み出せば水平駆動周波数を下げられるとともに、全画素読出しができる点で大きな効果を有する。また、混色による画質劣化は、空きパケットとして扱って信号電荷を読み出すことから、有意に混色防止できることは明らかである。
【００５０】
以上のように構成し、予備の撮像と本撮像とを切換制御して撮像し、信号電荷をそれぞれ異なる信号電荷読出しで読み出して、特に本撮像での信号電荷読出しにおいて特定の列だけを読み出して水平転送時に信号電荷（すなわち画素データ）間に空きパケットを形成して１画素間の転送不良が無視できるように改善することにより、高画素化した撮像部を用いた際に低照度域があってもこの領域にこれまで生じていた画質劣化を大幅に改善することができる。この空きパケットの形成を行う上で本撮像の水平転送を予備の撮像時に比べてゆっくり読み出すとよい。
【００５１】
また、画素ずらしの、いわゆるハニカム配置では、２つの撮像を切換制御し、本撮像において信号電荷を全画素読出し、順次垂直転送して水平転送レジスタに供給すると、画素ずれにより空きパケット分が形成されることになるから、信号電荷の水平転送を次のラインが水平転送レジスタに転送されるまでの間に水平転送レジスタ内の信号電荷をすべて読み出す処理を行ってもさらなる装置の高画素化および低電力化にも対応して高画質化を図ることができる。
【００５２】
【発明の効果】
このように本発明の固体撮像装置によれば、予備の撮像と本撮像とを制御手段で切換制御して各撮像に応じて信号供給手段で生成した信号を撮像手段に供給して撮像し、信号電荷をそれぞれ異なる信号電荷読出しで読み出して、特に本撮像での信号電荷読出しにおいて特定の列だけを読み出して水平転送時に信号電荷間に空きパケットを形成して１画素間の転送不良が無視できるように改善することにより、高画素化した撮像部を用いた際に低照度域があってもこの領域にこれまで生じていた画質劣化を大幅に改善することができる。また、画素ずらしの、いわゆるハニカム配置では、２つの撮像を切換制御し、本撮像において信号電荷を全画素読出し、順次垂直転送して水平転送レジスタに供給すると、画素ずれにより空きパケット分が形成されることになるから、信号電荷の水平転送を次のラインが水平転送レジスタに転送されるまでの間に水平転送レジスタ内の信号電荷をすべて読み出す処理を行ってもさらなる装置の高画素化および低電力化にも対応して高画質化を図ることができる。
【００５３】
また、本発明の信号読出し方法によれば、切換制御に応じて撮像する際に供給する信号を生成し、生成した信号に応じて信号電荷を奇数列または偶数列のいずれか一方から読み出して、垂直方向、水平方向の転送を行い、そしてこの読み出した列が奇数列のとき偶数列を、偶数列のとき奇数列を読み出して同様に垂直方向、水平方向に転送して、読み出した信号電荷を出力する際に、一方の列だけからしか信号電荷を読み出していないので、パケット間に空きパケットを発生させて通常の信号読出しと同様に駆動しても１画素間の転送不良が目立たないので、画質劣化を改善することができる。いわゆるハニカム配置で全画素読出しした際に、１ライン毎にすべて水平転送して出力することにより、形成した空きパケットの関係を保って信号電荷を読み出すことができ、画質劣化を同様に改善することができる。
【図面の簡単な説明】
【図１】本発明の固体撮像装置を適用したディジタルカメラの概略的な構成を示すブロック図である。
【図２】図１のディジタルカメラにおける撮像部を入射光側から見た撮像平面を示すとともに、撮像における水平転送の信号電荷の位置関係を示す模式図である。
【図３】図１のディジタルカメラにおける撮像における動作を説明するタイミングチャートである。
【図４】従来のディジタルカメラの撮像における水平転送の信号電荷の位置関係を示す模式図である。
【図５】図１のディジタルカメラにおける撮像部を入射光側から見た撮像平面を示すとともに、全画素読出しした際の信号電荷の位置関係を示す模式図である。
【符号の説明】
10 ディジタルカメラ
12 光学レンズ
14 操作部
18 システム制御部
22 タイミング信号供給部
30 撮像部
32 前処理部
34 A/D 変換部
36 信号処理部
38 圧縮／伸張部
42 モニタ
22a タイミング信号発生部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a solid-state imaging device and a signal readout method, and is suitable for application to, for example, a digital camera or an image input device having a high number of pixels.
[0002]
[Prior art]
In recent years, various techniques for further increasing the number of pixels of a digital camera that electrically shoots an image of a subject have been proposed aiming at the image quality of a silver salt camera. For example, Japanese Patent Laid-Open No. 10-136391 discloses a solid-state imaging device that optimizes spatial sampling of an image, displaces pixels so as to improve light receiving efficiency, and suppresses false signals such as moire. Proposed.
[0003]
By the way, in a digital camera or the like using a pixel array with a high pixel count in the imaging unit for the purpose of high image quality, the AE / AF (Automatic Exposure / Automatic Focusing) and movie drive that displays images on the LCD screen. Here, the high pixel means, for example, a so-called mega pixel number of one million pixels or more. The image pickup unit with high pixels regarding control reads out the drive for preliminary photographing and the drive for the main image pickup of the still image by the same drive.
[0004]
[Problems to be solved by the invention]
However, as described above, in the preliminary imaging, the readout of signal charges from the imaging unit having a pixel array with a high pixel count is not considered, so that the imaging unit is driven at a low voltage / high speed horizontal transfer path. Is driven, a signal charge transfer failure occurs in the low illuminance image area due to the drive frequency and drive voltage of the horizontal transfer path. This transfer failure causes a color mixture between pixels in this area, and correct color reproduction cannot be performed when a movie is displayed on a liquid crystal monitor, for example. Low power consumption is progressing along with the increase in pixel size of the image sensor and the longevity of the battery in consideration of portability.
[0005]
The present invention provides a solid-state imaging device and a signal readout method that can solve such drawbacks of the prior art and can achieve high image quality of an image obtained by the main imaging even when the number of pixels and power consumption are reduced. Objective.
[0006]
[Means for Solving the Problems]
In order to solve the above-described problems, the present invention has a two-dimensional arrangement of light receiving elements for photoelectric conversion, and color separation means for color-separating the incident light on the incident light side from the object field for each light receiving element. Reads out all signal charges from the imaged imaging means Vertical transfer formed so as to read the signal charges by performing the main imaging based on the information obtained by the preliminary imaging performed before the main imaging, and to output the signal charges In the solid-state imaging device that sequentially transfers the signal to the horizontal and horizontal transfer paths and outputs the resulting signal after digital signal processing, when the signal is read out from the light receiving element in the normal manner, Control means for switching and controlling the signal charge reading from the image pickup means for the preliminary shooting and the main image pickup when the read drive voltage and the condition that the mixed color appears in the image by driving the signal charge on the horizontal transfer path are satisfied. In response to a main imaging instruction from the control unit, a drive signal used for driving to read out the signal charges alternately in a plurality of times in the odd-numbered and even-numbered columns of the light receiving elements of the imaging unit is supplied to the imaging unit. And a signal supply means.
[0007]
Here, it is preferable that the signal supply means sets the driving frequency of the horizontal driving signal to a driving frequency lower than that during preliminary imaging.
[0008]
In the solid-state imaging device of the present invention, the signal supply unit generates a drive signal used for driving to read out the signal charges in a plurality of times by alternately reading the odd-numbered columns and the even-numbered columns of the light-receiving elements of the imaging unit. By supplying a drive signal generated in accordance with the main imaging instruction to the imaging means, signal charges of only odd columns or even columns are read out to the horizontal transfer path. When attention is paid between packets in the horizontal transfer path where signal charges exist, an empty packet is generated between the packets having signal charges. By generating this empty packet, it is possible to ignore a transfer failure between one pixel when it is driven in the same way as normal signal reading.
[0009]
In order to solve the above-described problems, the present invention provides a two-dimensional arrangement in which the position of a light receiving element for photoelectric conversion is shifted from each other with respect to an adjacent light receiving element, and the light receiving elements are arranged on the incident light side from the object field. Based on the information obtained by the preliminary imaging performed before the main imaging that reads out all the signal charges from the imaging means provided with the color separation means for color-separating the incident light, the signal charges are read out by performing the main imaging. In a solid-state image pickup device that sequentially transfers a vertical transfer path and a horizontal transfer path formed so as to output signal charges, and performs digital signal processing on the obtained signal and outputs it, the signal readout from the light receiving element is a normal method In the case of satisfying the condition that color mixture appears in the image due to the number of light receiving elements, the signal readout drive voltage, and the drive of the signal charge in the horizontal transfer path, the preliminary shooting and the main imaging When the signal charge for one line of the light receiving element of the image pickup means reaches the horizontal transfer path in response to the main image pickup instruction from the control means for switching the signal charge readout respectively, And signal supply means for supplying a drive signal for performing signal charge read driving for a line.
[0010]
Here, the signal supply means may set the driving frequency of the horizontal driving signal to a driving frequency lower than that during preliminary imaging.
[0011]
The solid-state imaging device of the present invention reads out signal charges in accordance with a shift signal from a pixel-shifted light receiving element called a so-called honeycomb arrangement, vertically transfers these signal charges toward a horizontal transfer path, and the signal charges are transferred horizontally. When one line is transferred to the path, an empty packet can be generated between packets with signal charges even if all the signal charges for one line are read out. As a result, it is possible to ignore a transfer failure between one pixel when driven in the same manner as in normal signal readout.
[0012]
Further, in order to solve the above-mentioned problems, the present invention arranges a plurality of prepared light receiving elements in a two-dimensional arrangement, and corresponds to each of the plurality of light receiving elements for each color on the incident light side from the object scene. Color separation and photoelectric conversion of the color-separated light by each light receiving element to read out all signal charges Read the signal charges by performing the main imaging based on the information obtained by the preliminary imaging performed before the main imaging In the signal reading method for sequentially transferring and outputting the signal charges in the vertical direction and the horizontal direction, when the signal reading from the light receiving element is performed in a normal manner, the number of light receiving elements, the drive voltage for signal reading, and When the condition that color mixture appears in the image by driving the signal charge in the horizontal direction, the switching control process for switching the signal charge reading from the imaging means to one of the imaging in accordance with preliminary imaging and main imaging And a shift signal at a timing for reading out the signal charges from the odd-numbered or even-numbered light receiving elements arranged two-dimensionally according to the control at the time of performing the main imaging in the switching control step, and the signal charges of the read out columns are A signal generation step for generating a drive signal to be transferred in the vertical direction and the horizontal direction, and only one column of odd-numbered or even-numbered signal charges photoelectrically converted by the light receiving element by supplying the shift signal generated in this signal generation step. A first signal shift step for reading, a first column image read step for sequentially reading the signal charges read in the first signal shift step in the vertical direction and the horizontal direction in accordance with the supplied drive signal, and a signal generation step; Read only one column of signal charges in even columns or odd columns opposite to the first signal shift step, which is photoelectrically converted by the light receiving element by supplying the generated shift signal. A signal shifting steps, the second signal shifting step vertically in response to a drive signal supplied to the read signal charges in, characterized in that it comprises a second string image reading step of sequentially reading in the horizontal direction.
[0013]
Here, in the signal generation step, it is desirable to set the horizontal drive frequency of the drive signal to a drive frequency lower than that during preliminary imaging.
[0014]
The signal readout method of the present invention generates a signal to be supplied when imaging according to switching control, reads out signal charges from either the odd number column or the even number column according to the generated signal, and operates in the vertical and horizontal directions. When the read column is an odd column, the even column is read, and when the read column is an even column, the odd column is read and similarly transferred in the vertical and horizontal directions, and the read signal charges are output. In particular, when transferring in the horizontal direction, signal charges are read out from only one column. Therefore, even if driving is performed in the same way as normal signal reading by generating an empty packet between packets, transfer defects between one pixel are poor. Can be ignored.
[0015]
In order to solve the above-described problems, the present invention arranges a plurality of prepared two-dimensionally arranged light receiving elements in a positional relationship shifted from each other with respect to the adjacent light receiving elements, and corresponds to each of the plurality of light receiving elements. Information obtained by preliminary imaging before the main imaging that separates each color on the incident light side from the object scene and photoelectrically converts this color separated light by each light receiving element to read out all signal charges In the signal readout method in which the signal charge is read out by performing the main imaging based on the signal, the signal charge is sequentially transferred in the vertical direction and the horizontal direction, and output, when the signal readout from the light receiving element is performed in a normal manner. When the number of light receiving elements, the driving voltage for signal readout, and the condition that color mixture appears in the image by driving the signal charge in the horizontal direction, any signal charge readout from the imaging means is performed depending on the preliminary imaging and the main imaging. A switching control step for switching control to one image pickup, and a shift signal at a timing for reading the signal charge from the two-dimensionally arranged light receiving elements according to the control at the time of performing the main image pickup in this switching control step, and the read column A signal generation step for generating a drive signal for transferring the signal charge in the vertical direction and the horizontal direction, a signal shift step for reading out the signal charge photoelectrically converted by the light receiving element by supplying the shift signal generated in the signal generation step, and A vertical transfer step of transferring the signal charge read in the signal shift step in the vertical direction according to the supplied drive signal, and a drive signal when the signal charge is transferred in the horizontal direction perpendicular to the vertical direction by this vertical transfer step And a horizontal transfer process for reading out all of the supplied one line in response to the signal charges. And wherein the issue.
[0016]
Here, in the signal generation step, it is preferable to set the horizontal drive frequency of the drive signal to a drive frequency lower than that during preliminary imaging.
[0017]
In the color separation, color G is arranged at a square lattice position corresponding to the light receiving element, and color R or color B is alternately arranged at the center position of the square lattice of color G to form a complete checkered pattern. It is desirable to carry out with an arrangement pattern. By using this so-called honeycomb arrangement, the time required for each line to reach the horizontal transfer path is different, and all pixels are read simultaneously and signal charges are output without color mixing without using a mechanical shutter.
[0018]
The signal readout method of the present invention generates, for example, various signals such as a shift signal, vertical and horizontal drive signals, reads the signal charge obtained from the shift signal from the light receiving element, and transfers it in the vertical direction. Since empty packets are formed by the pixel shift arrangement relationship between the signal charges of the predetermined color read out when performing the transfer in the horizontal direction, color mixture is prevented and before the signal charge of the next line is transferred. All lines are read out to realize simultaneous readout of all pixels.
[0019]
DETAILED DESCRIPTION OF THE INVENTION
Next, an embodiment of a solid-state imaging device according to the present invention will be described in detail with reference to the accompanying drawings.
[0020]
A configuration of a digital still camera 10 according to an embodiment to which the present invention is applied is shown in FIG. The digital still camera 10 of FIG. 1 includes an optical lens system 12, an operation unit 14, a system control unit 18, a signal generation unit 20, a timing signal supply unit 22, an aperture adjustment mechanism 24, an optical low-pass filter 26, a color separation unit 28, An imaging unit 30, a preprocessing unit 32, an A / D conversion unit 34, a signal processing unit 36, a compression / decompression unit 38, a recording / reproducing unit 40, and a monitor 42 are provided. Each of these parts will be described sequentially. The optical lens system 12 is configured by combining a plurality of optical lenses, for example. Although not shown in the drawings, the optical lens system 12 adjusts the position where these optical lenses are arranged, and adjusts the angle of view of the screen according to the operation signal from the operation unit 14 or the distance between the subject and the camera 10. AF (Automatic Focus) adjustment mechanism that adjusts the focus accordingly is included. The adjustment of these mechanisms is performed based on information obtained by imaging a preliminary object scene when the release shutter that forms part of the operation unit 14 is, for example, half-pressed. The operation signal is supplied to the system control unit 18 via the system bus 16. A drive signal is supplied to the optical lens system 12 via a signal generation unit 20 described later, a timing signal generation unit 22a of the timing signal supply unit 22, and a driver unit 22b. In the case of actual imaging, imaging timing is supplied to the system controller 18 by fully pressing the release shutter described above in a state set according to the obtained information, and imaging control is performed.
[0021]
The operation unit 14 includes a release shutter (not shown) and a function for selecting items displayed on, for example, a monitor screen. In particular, the release shutter outputs an operation signal to the system control unit 18 via the system bus 16 so as to operate the camera 10 at each of a plurality of stages. In this embodiment, the operation unit 14 also operates a pointing device displayed on the monitor so as to select a mode when performing various operations and processes. The operation of the operation unit 14 in this case is also supplied to the system control unit 18 as an operation signal.
[0022]
The system control unit 18 has, for example, a CPU (Central Processing Unit). The system control unit 18 includes a ROM (Read Only Memory) in which the operation procedure of the digital still camera 10 is written. For example, the system control unit 18 generates a control signal for controlling the operation of each unit by using information supplied from the operation unit 14 in accordance with a user operation and information on the ROM. The system control unit 18 does not show the generated control signal as a signal generation unit 20, which clearly shows the supply of the control signal, but in addition to the timing signal supply unit 22, the preprocessing unit 32, and the A / D conversion unit 34, the system bus 16 is also supplied to the signal processing unit 36, the compression / decompression unit 38, the recording / reproducing unit 40, and the monitor 42. In particular, the system control unit 18 performs switching control with respect to a timing signal supply unit 22 (to be described later) so that timing signals generated by preliminary imaging and main imaging differ. In addition, the system control unit 18 performs various types of control with respect to the signal processing unit 36 described later.
[0023]
The signal generator 20 generates a system clock with an oscillator in accordance with control from the system controller 18. The signal generation unit 20 supplies the system clock to the timing signal supply unit 22 and the signal processing unit 36. The system clock is also supplied as a reference for the operation timing of the system control unit 18 via the system bus 16, for example.
[0024]
The timing signal supply unit 22 includes a timing signal generation unit 22a and a driver unit 22b. The timing signal supply unit 22 generates different timing signals by switching control between preliminary imaging and main imaging under the control of the system control unit 18. The timing signal generator 22a includes a circuit that generates a timing signal for operating each unit based on a supplied system clock based on a control signal. The timing signal generation unit 22a basically generates a timing signal according to the imaging mode under the control of the system control unit 18, and outputs the generated timing signal to each unit as shown in FIG. Also supply. The driver unit 22b supplies drive signals to the aperture adjustment mechanism 24 and the imaging unit 30, in addition to the zoom adjustment mechanism and AF adjustment mechanism of the optical lens system 12 described above. The driver unit 22b may also be directly controlled by the system control unit 18. The present embodiment has a feature of controlling the supply of signals used for signal charge readout during main imaging. In order to perform this signal read control, the system control unit responds to the switching control by supplying a field shift pulse generated to the timing signal generating unit 22a to only one column while distinguishing the odd column from the even column. Supply control is performed. Further, the system control unit 18 may prohibit the driver unit 22b from superimposing, for example, a field shift pulse of a column that is not desired to be read on the drive signal. Horizontal drive is used with a lower drive frequency so that signal charges are read out at a slower rate by preliminary imaging.
[0025]
The aperture adjustment mechanism 24 is a mechanism that adjusts the incident light beam cross-sectional area (that is, the aperture opening area) so as to supply the imaging unit 30 with the optimal incident light beam in photographing the subject. A drive signal is also supplied to the aperture adjusting mechanism 24 from the driver unit 22b. This drive signal is a signal for operating according to the control from the system control unit 18 described above. In this case, the system control unit 18 calculates the aperture / exposure time as AE (Automatic Exposure) processing based on the signal charge photoelectrically converted by the imaging unit 30 (not shown). A driving signal corresponding to the signal from the timing signal generator 22a to which the control signal corresponding to the calculated value is supplied is supplied from the driver unit 22b to the aperture adjusting mechanism 24.
[0026]
The imaging unit 30 arranges an imaging element for photoelectric conversion so that a plane orthogonal to the optical axis of the optical lens system 12 is formed. Also, on the incident light side of the image sensor, the color filter CF of the color separation unit 28 that performs color separation integrally with the optical low-pass filter 26 that limits the spatial frequency of the optical image to be equal to or lower than the Nyquist frequency corresponding to each image sensor. Are integrally disposed. In this embodiment, imaging is performed using a single-plate color filter. The type and the like of the color filter CF will be described in detail later. There are CCD (Charge Coupled Device) and MOS (Metal Oxide Semiconductor) types as imaging devices. The imaging unit 30 reads the signal charge obtained by photoelectric conversion according to the supplied drive signal in accordance with the preliminary imaging and the main imaging.
[0027]
In this embodiment, the so-called honeycomb arrangement in which the pixels are shifted is arranged, and the color filter G is arranged in a square lattice shape in the color filter pattern, and the color R or the color B is arranged in the center of the square lattice shape. Since a complete checkered pattern is formed, signal readout in other embodiments can also be performed for all pixel readout (progressive scanning) as will be shown later. This color filter arrangement pattern used is called a G square (lattice) RB perfect checkered pattern.
[0028]
Although not shown, the preprocessing unit 32 includes a CDS (Correlated Double Sampling: hereinafter referred to as CDS) unit. The CDS unit uses, for example, a CCD type image pickup device, and basically clamps various noises generated by the device with a timing signal from the timing signal generation unit 22a, and holds a signal charge with the timing signal. It has a sample hold circuit. The CDS unit removes the noise component and sends it to the A / D conversion unit 34. The A / D converter 34 includes an A / D converter that quantizes the signal level of the supplied analog signal, ie, signal charge, with a predetermined quantization level and converts it into a digital signal. The A / D converter 34 outputs a digital signal converted by a timing signal such as a conversion clock supplied from the timing signal generator 22a to the signal processor 36.
[0029]
The signal processing unit 36 includes a data correction unit, a luminance data generation function unit, a luminance data interpolation function unit, a high resolution plane interpolation function unit, and a matrix processing unit in order to further improve the image quality of the obtained image (not shown). Is included. The data correction unit includes a gamma correction circuit for correcting color, an AWB (Automatic White Balance) circuit for automatically adjusting white balance, and the like. In particular, the gamma correction circuit uses a look-up table that is a collection of a plurality of data sets in which a digital signal supplied to a ROM (Read Only Memory) and correction data output corresponding to the digital signal are combined. The data correction unit is not limited to this arrangement, and may be provided in the subsequent stage. However, by arranging the data correction unit at this position, the number of lookup tables can be minimized. Even in the series of data correction, the data is supplied in accordance with the timing signal from the timing signal generator 22a. The data correction unit outputs the processed correction data to the luminance data generation function unit.
[0030]
The luminance data generation function unit operates under the control of the system control unit 18. The luminance data generation function unit thus generates the luminance data Y at the pixel where the light receiving element is located by the arithmetic processing, and outputs it to the luminance data interpolation function unit. The luminance data interpolation function unit is an arithmetic function unit that performs interpolation generation of luminance data at the position of a virtual pixel between the supplied luminance data Y 1. Luminance data interpolation function unit _h Is generated and supplied to the high-resolution plane interpolation function unit. The high-resolution plane interpolation function unit _h Is a calculation function unit that inputs pixel data of the three primary colors R, G, and B corrected for data and generates R plane data, G plane data, and B plane data using these data. The high resolution plane interpolation function unit outputs the generated three primary color RGB plane data to the matrix processing unit. The high-resolution plane interpolation function unit is provided with memories that can store image data obtained by the signal processing and that can be read nondestructively. The high resolution plane interpolation function unit reads pixel data used for plane interpolation and calculates pixel data. The matrix processing unit converts each of the supplied three primary color RGB R plane data, G plane data, and B plane data into a format used for image display, that is, luminance data Y, color difference data (RY), (BY). . Data in these output formats is obtained by multiplying and calculating the mixing ratio determined for each color. A conventional value is used as a coefficient for determining the mixing ratio. Anti-aliasing processing is performed by setting the cut-off frequency that includes each band in the converted three data and does not cause aliasing distortion. Among these, the luminance data Y is sent to the aperture adjustment unit, and the high frequency range of the luminance data Y is raised. Thereby, the outline of an image is emphasized. In this manner, the matrix processing unit outputs the luminance data Y and the color difference data (RY), (BY) to the compression / decompression unit 38 and the monitor 42. The matrix processing unit supplies the captured image to the monitor 42 via the system bus 16.
[0031]
The signal processing unit 36 configured as described above uses the pixel data of the light receiving element, and at this time, for example, generates the luminance data Y and the color difference data from the pixel data having the larger correlation, and compresses / decompresses the unit 38 and Output to the monitor 42.
[0032]
The compression / decompression unit 38 includes, for example, a circuit that performs compression in accordance with the JPEG (Joint Photographic Experts Group) standard using orthogonal transformation, and a circuit that decompresses the compressed image to the original data again. The compression / decompression unit 38 supplies compressed data to the recording / reproducing unit 40 via the system bus 16 during recording under the control of the system control unit 18. Further, the compression / decompression unit 38 may pass the data from the signal processing unit 36 under the control of the system control unit 18 and supply the data to the monitor 42 via the system bus 16 in the same manner as described above. When the compression / decompression unit 38 performs the decompression process, on the contrary, the data read from the recording / reproducing unit 40 is taken into the compression / decompression unit 38 via the system bus 16 and processed. Here, the processed data is also supplied to the monitor 42 for display.
[0033]
The recording / playback unit 40 includes a recording processing unit for recording on a recording medium and a playback processing unit for reading image data recorded from the recording medium (both not shown). Examples of the recording medium include a so-called smart media semiconductor memory, a magnetic disk, and an optical disk. In the case of using a magnetic disk or an optical disk, there is a head for writing the image data together with a modulation unit that modulates the image data. The monitor 42 has a function of displaying luminance data and color difference data or three primary color RGB data supplied via the system bus 16 under the control of the system control unit 18 in consideration of the size of the screen and adjusting the timing. Have. When a movie is displayed using a monitor such as a liquid crystal display, for example, a light receiving element, that is, a pixel is displayed while being thinned out during preliminary imaging.
[0034]
The digital camera 10 shown in FIG. 1 has the imaging unit 30 configured as described above and has a high pixel count, and switches between preliminary imaging and main imaging to control and perform appropriate imaging according to each imaging. Is going. In particular, signal readout is performed to prevent color mixing due to a decrease in transfer efficiency in an image area with low illuminance, and the image quality of the entire image is enhanced regardless of illuminance.
[0035]
Further, the color filter CF used for the imaging unit 30 and the color separation unit 28 will be described. FIG. 2 shows a positional relationship in which the vertical transfer drive signals V1 to V8 from the imaging surface of the imaging unit 30 and the driver unit 22b are applied. As described above, the imaging unit 30 includes a light receiving unit 30a in which a light receiving element PD adjacent to a light receiving element PD that photoelectrically converts incident light is shifted in a vertical direction and a horizontal direction, and two-dimensionally arranged. An electrode EL which is arranged so as to bypass the opening AP formed in the front surface of the light receiving unit 30a and takes out a signal from the light receiving element PD, and a signal supplied via this electrode EL is transmitted in the vertical direction of the light receiving unit 30a. Are vertically transferred, and a horizontal transfer register HR for transferring a signal in a direction orthogonal to the vertical transfer register VR, that is, in a horizontal direction.
[0036]
The vertical transfer register VR transfers signals according to the supplied vertical transfer drive signals V1 to V8. That is, the vertical transfer register has a four-electrode structure per one light receiving portion. Further, the horizontal adjacent region of one light receiving portion region is shifted in pixels as described above in the two-electrode structure. Correspondingly, the horizontal transfer register HR also has a two-electrode structure. The opening AP formed in the imaging unit 30 of the present embodiment is formed in a hexagonal honeycomb shape. The opening shape is generally a square lattice, but this shape only needs to satisfy the conditions for improving the sensitivity and preventing the transfer efficiency from being lowered by making the width of the vertical transfer register the same. As can be seen from this, the shape may be a polygon. As another example, an opening shape obtained by rotating a square lattice by 45 ° includes, for example, a rhombus, and may be an octagon.
[0037]
As shown in FIG. 2, the aperture AP has the aperture AP when the interval between the light receiving elements PD arranged corresponding to the color filters CF covering the apertures AP is set to the pixel pitch PP in each direction. The two-dimensional arrangement is moved by the pixel pitch PP in the vertical direction for each column or in the horizontal direction for each row. In the case of using a quadrilateral or more polygon, the adjacent openings AP may be arranged in a dense arrangement with no gap between the openings AP according to the shape of the opening. In such a case, the pixel pitch PP for arrangement may be shifted by a half pitch. In the case of a hexagon as shown in FIG. 2, a dense arrangement can be formed by an arrangement (| PP | / 2) shifted by half the pixel pitch PP described above in both the horizontal and vertical directions. Such a dense arrangement depends on the shape of the opening AP.
[0038]
Note that the imaging unit 30 in FIG. 2 is located on the leftmost side, and the light receiving elements of the colors R and B in the vertical direction are odd columns. As is clear from FIG. 2, the vertical drive signals including the field shift pulse corresponding to the position where the electrode EL is provided are V1, V3, V5, and V7. In preliminary imaging (when the release shutter is half-pressed) in this embodiment, high-speed reading is performed in the same manner as the previous operations.
[0039]
An operation at the time of actual imaging in the digital camera 10 to which the imaging unit 30 configured as described above is applied will be described. Each mechanism for performing AE / AF adjustment is set based on information obtained in preliminary imaging performed before the main imaging. Further, in response to this preliminary imaging, the mechanical shutter forming a part of the AE adjustment mechanism shown in FIG. 3A is opened from the half-pressed state of the release shutter until the exposure is completed through the imaging timing of the main imaging. It is in a state. Thereafter, the mechanical shutter is closed.
[0040]
In the digital camera 10, the vertical synchronization signal VS is supplied to the imaging unit 30 as a predetermined timing signal (see FIG. 3B). The imaging unit 30 operates the electronic shutter in synchronization with the vertical synchronization signal VS. Normally, the electronic shutter performs unnecessary charge sweeping processing in synchronization with the vertical synchronization signal VS. In this process, a sweep pulse is applied to the substrate voltage of the imaging unit 30 during the horizontal blanking period, and the signal charge accumulated so far is swept to the substrate side during the period from time T1 to time T2 in the vertical synchronization period. (See Figure 3 (c)). Actually, the period during which the electronic shutter is turned on is the exposure time based on information obtained by preliminary imaging (see FIG. 3D). In this case, the electronic shutter is a period from the end of the charge sweeping at time T2 in the vertical synchronization period VD to the closing of the mechanical shutter in FIG.
[0041]
Reading of the signal charge accumulated in the light receiving element PD is started in synchronization with the next vertical synchronizing signal after the exposure (see FIG. 3D). Here, the signal charge to be read is generated by the timing signal generator 22a in accordance with the control from the system controller 18 so as to read from the odd columns of the light receiving unit 30a, and supplied to the driver unit 22b. Yes. With this supply, the driver unit 22b applies drive signals V1 and V5 including a field shift pulse to the electrode EL. The electrode EL performs a gate open / close switch function in accordance with a signal applied at a gate for accumulating signal charges. By supplying a drive signal only to these electrodes EL, the color BR is read out from the odd-numbered columns, that is, from the imaging unit 30 in FIG.
[0042]
The state shown in FIG. 2 is a state in which the obtained signal charge is read to the vertical transfer register VR, vertical transfer is performed, and the signal charge is transferred to the horizontal transfer register HR. At this time, as indicated by the horizontal transfer register HR in FIG. 2, there is an empty packet between the signal charges in the positional relationship of the signal charges in the horizontal transfer register. This was a packet containing even-numbered signal charges, but as a result, it was vacated by reading only the odd-numbered columns. By forming this empty packet between the light receiving elements, transfer defects between one pixel can be ignored. For this reason, it is possible to greatly prevent individual pixels from being mixed with color. The signal charge read out to the horizontal transfer register HR is output until the next signal charge is transferred, as in normal reading. However, since half the signal charge needs to be read out during one field period, the transfer rate of horizontal transfer can be reduced to about half compared to the conventional case.
[0043]
In the previous field, the signal charge was read out only in the odd-numbered columns. In the next field, although not shown, a field shift pulse is generated and applied so as to read out signal charges of only even columns. That is, the vertical drive signals V3 and V7 are supplied to read the signal charge of only the color G into the vertical transfer register VR. As described above, the signal charges are sequentially transferred in the direction of the horizontal transfer register. In the horizontal transfer register HR, empty packets (for odd-numbered signal charges) are generated between the signal charges read from the light receiving elements. As a result, even in this field, transfer defects between one pixel can be ignored. Even in this field, if the signal charge reading from the horizontal transfer register HR is surely output for each line, the signal charge can be read while largely preventing color mixture of pixels. In this way, the signal charges obtained by exposure in the light receiving unit 30a of the imaging unit 30 are read for each column, and the signal charges obtained in both fields in the subsequent signal processing are signals obtained by simultaneous readout of two lines at this stage. By generating images by rearranging them according to the charge relationship, it is possible to generate a single high-quality image that does not cause color mixing even when a low-illuminance region is in the object scene.
[0044]
As a comparative example, the operation performed so far in FIG. The settings and operations in FIGS. 3A to 3C are the same as those in the above-described embodiment. Exposure is performed with the same exposure time set. However, the signal charge is read out in one field time. In order to perform this signal charge reading, two lines are read simultaneously to extract the three primary colors RGB without distinguishing between odd and even columns as in the embodiment of the present invention. In this case, since the light receiving elements are arranged so as to be shifted by pixels, even if the read signal charges are transferred to the horizontal transfer register HR, color data is not theoretically mixed. As a result, the signal charges are arranged in the order of “G_B_G_R_G_B_G_R_...” In the horizontal transfer register HR. Here, “_” indicates one register region of the two-electrode structure of the horizontal transfer register HR.
[0045]
If these two lines are read simultaneously, the three primary colors RGB can be obtained from these two lines. However, as described in the problem, transfer in a low illuminance region becomes defective due to an increase in the horizontal drive frequency and a decrease in the drive voltage. Tend to end up. As a result, color mixing occurs in this region, and the color reproducibility of the image is poor. This deterioration in image quality tends to become more severe as the number of pixels increases and the power consumption decreases.
[0046]
Thus, by specifying the column from which the pixels are read and reading in two steps, reading is performed at a reading rate lower than the conventional reading rate. Conventionally, since the horizontal driving frequency is read in the same way in the preliminary imaging and the main imaging, it can be said that the driving is performed by reading at a driving frequency lower than the horizontal driving frequency in the preliminary imaging. In imaging that requires high pixels, switching transfer between high-speed readout of signal charges for preliminary imaging and readout of signal charges with priority on image quality of main imaging can be performed to control transfer defects between pixels in main imaging. It can be ignored and a high-quality image with good color reproducibility can be provided even in a low illuminance region.
[0047]
Although the present embodiment was applied to an imaging unit having a so-called honeycomb arrangement, this signal readout method is also applied to an imaging unit that is not shifted in pixels. Can be avoided as well.
[0048]
Next, another embodiment of the digital camera 10 to which the solid-state imaging device of the present invention is applied will be described. This embodiment has an effect peculiar to the so-called honeycomb arrangement of the pixels with the pixel shift arrangement. The digital camera 10 is almost the same as the previous embodiment. A structural difference is that a mechanical shutter is not used. When reading the signal charge from the light receiving element PD, the signal charge is supplied to the horizontal transfer register HR for each line even if the signal charge is read simultaneously and transferred in the vertical direction due to the feature of the pixel shift arrangement.
[0049]
At this time, the signal charges in the horizontal transfer register HR are transferred to the same positional relationship of the signal charges in the odd-numbered columns as in the above-described embodiment, which are arranged via empty packets. When the next line is transferred to the horizontal transfer register HR, the signal charges are supplied in the same arrangement as the positional relationship of the signal charges in the even columns. From this, it is understood that the information on each line should be controlled so as to read out the signal charge before the next line is supplied. As a result, the same transfer effect as in the above-described embodiment can be obtained. That is, in the case of performing normal reading, if the reading is performed over a plurality of fields as in the above-described embodiment, the horizontal drive frequency can be lowered, and all the pixels can be read. In addition, it is clear that image quality deterioration due to color mixture can be prevented significantly because signal charges are read out by treating them as empty packets.
[0050]
Constructed as described above, switching between preliminary imaging and main imaging is performed and imaging is performed, and signal charges are read out by different signal charge readouts, and only specific columns are read out particularly in signal charge readout in the main imaging. By forming an empty packet between signal charges (that is, pixel data) during horizontal transfer so that transfer defects between one pixel can be ignored, there is a low illuminance area when using an imaging unit with a high pixel count. However, it is possible to greatly improve the image quality degradation that has occurred in this area. In forming this empty packet, the horizontal transfer of the main imaging should be read more slowly than in the preliminary imaging.
[0051]
In addition, in the so-called honeycomb arrangement with pixel shift, when switching between two image pickups, signal charges are read out in all pixels in the main image pickup, sequentially transferred to the horizontal transfer register by vertical transfer, and an empty packet is formed due to pixel shift. Therefore, even if the process of reading out all the signal charges in the horizontal transfer register is performed until the next line is transferred to the horizontal transfer register in the horizontal transfer of the signal charge, the number of pixels in the device is further increased. Higher image quality can be achieved in response to power consumption.
[0052]
【The invention's effect】
As described above, according to the solid-state imaging device of the present invention, the preliminary imaging and the main imaging are switched and controlled by the control unit, the signal generated by the signal supply unit according to each imaging is supplied to the imaging unit, and the imaging is performed. Signal charges are read out by different signal charge readouts, and only a specific column is read out particularly in signal charge readout in actual imaging, and an empty packet is formed between the signal charges at the time of horizontal transfer, so that transfer defects between one pixel can be ignored. By improving in this way, even when there is a low illuminance region when using an imaging unit with a high pixel count, image quality degradation that has occurred in this region can be greatly improved. In addition, in the so-called honeycomb arrangement with pixel shift, when switching between two image pickups, signal charges are read out in all pixels in the main image pickup, sequentially transferred to the horizontal transfer register by vertical transfer, and an empty packet is formed due to pixel shift. Therefore, even if the process of reading out all the signal charges in the horizontal transfer register is performed until the next line is transferred to the horizontal transfer register in the horizontal transfer of the signal charge, the number of pixels in the device is further increased. Higher image quality can be achieved in response to power consumption.
[0053]
Further, according to the signal readout method of the present invention, a signal to be supplied when imaging is performed according to the switching control, and the signal charge is read from either the odd number column or the even number column according to the generated signal, When the read column is an odd column, the even column is read out, and when the read column is an even column, the odd column is read out and transferred in the vertical direction and the horizontal direction in the same manner. Since the signal charge is read out only from one column when outputting, even if the empty packet is generated between the packets and the driving is performed in the same way as the normal signal reading, the transfer defect between one pixel is not conspicuous. Image quality degradation can be improved. When all the pixels are read out in a so-called honeycomb arrangement, the signal charge can be read out while maintaining the relationship of the formed empty packets by horizontally transferring and outputting every line, and image quality deterioration is similarly improved. Can do.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a schematic configuration of a digital camera to which a solid-state imaging device of the present invention is applied.
2 is a schematic diagram showing an imaging plane when the imaging unit of the digital camera of FIG. 1 is viewed from the incident light side, and showing a positional relationship of signal charges for horizontal transfer in imaging.
3 is a timing chart for explaining an operation in imaging in the digital camera of FIG. 1;
FIG. 4 is a schematic diagram showing a positional relationship of signal charges for horizontal transfer in imaging by a conventional digital camera.
5 is a schematic diagram illustrating a positional relationship of signal charges when all pixels are read out, as well as an imaging plane when the imaging unit in the digital camera of FIG. 1 is viewed from the incident light side.
[Explanation of symbols]
10 Digital camera
12 Optical lens
14 Operation unit
18 System controller
22 Timing signal supply
30 Imaging unit
32 Pre-processing section
34 A / D converter
36 Signal processor
38 Compression / decompression unit
42 Monitor
22a Timing signal generator

Claims

The position of the light receiving element for photoelectric conversion is shifted two-dimensionally with respect to the adjacent light receiving element, and color separation means for separating the incident light on the incident light side from the object field is arranged for each light receiving element. Vertically formed so as to read the signal charge by performing the main imaging based on the information obtained by the preliminary imaging performed before the main imaging for reading out all the signal charges from the imaged imaging means, and to output the signal charges. In a solid-state imaging device that sequentially transfers a transfer path and a horizontal transfer path, and performs digital signal processing on the obtained signal and outputs the signal, the apparatus includes:
In the case of using an image pickup unit in which color mixture appears in an image by reading a signal from the light receiving element, signal charge reading from the image pickup unit is performed by the main image pickup that reads out the odd and even columns separately from the preliminary shooting. A control means for controlling each switching;
When the signal charge for one line of the light receiving element of the image pickup means reaches the horizontal transfer path in response to the instruction for the main image pickup from the control means, the signal charge read drive for the line is performed each time. A solid-state imaging device comprising: signal supply means for supplying a drive signal.

2. The solid-state imaging device according to claim 1 , wherein the signal supply unit sets the driving frequency of the horizontal driving signal to a driving frequency lower than that during the preliminary imaging.

The prepared two-dimensionally arranged light receiving elements are arranged in a positional relationship that is shifted from each other with respect to the adjacent light receiving elements, and each color is set on the incident light side from the object field corresponding to each of the plurality of light receiving elements. Based on the information obtained by preliminary imaging before the main imaging that performs color separation, photoelectrically converts the color-separated light by each light receiving element and reads out all signal charges, the signal imaging is performed by performing the main imaging. In the signal readout method of reading, sequentially transferring the signal charges in the vertical direction and the horizontal direction, and outputting them, the method comprises:
In the case of using an image pickup unit in which color mixture appears in an image by reading a signal from the light receiving element, signal charges from the image pickup unit are read in accordance with the main image pickup that reads out odd and even columns separately from the preliminary shooting. A switching control step for switching the control of reading to one of the imaging,
A shift signal is generated at a timing for reading out signal charges from the two-dimensionally arranged light receiving elements in accordance with the control at the time of performing the main imaging in the switching control step, and the signal charges in the read columns are vertically and horizontally A signal generating step for generating a driving signal to be transferred;
A signal shift step of reading out the signal charge photoelectrically converted by the light receiving element by supplying the shift signal generated in the signal generation step;
A vertical transfer step of transferring the signal charge read out in the signal shift step in a vertical direction according to a supplied drive signal;
A horizontal transfer step of reading all one line supplied in response to the drive signal when the signal charge is transferred in a horizontal direction perpendicular to the vertical direction by the vertical transfer step,
A signal reading method, wherein the signal charge is read by repeating the vertical transfer step and the horizontal transfer step.

4. The signal reading method according to claim 3 , wherein the signal generation step sets a horizontal driving frequency of the driving signal to a driving frequency lower than that during the preliminary imaging.

4. The method according to claim 3 , wherein in the color separation, a color G is arranged at a square lattice position corresponding to the light receiving element, and a color R or a color B is alternately arranged at a center position of the square lattice of the color G. A signal reading method characterized in that it is arranged in an arrangement pattern that forms a complete checkered pattern.