JP2007135073A

JP2007135073A - 固体撮像装置

Info

Publication number: JP2007135073A
Application number: JP2005327657A
Authority: JP
Inventors: Norihisa Negishi; 典央根岸
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2005-11-11
Filing date: 2005-11-11
Publication date: 2007-05-31

Abstract

【課題】電子シャッタとしてローリング電子シャッタ機能しか持たないＸ-Ｙアドレス型撮像素子においてメカニカルシャッタを用いない場合であってもすべての画素の露光時間を一定に保ち、所望のフレームレートに設定する。
【解決手段】映像信号期間と固体撮像素子からの映像信号を出力しない空映像信号期間（ＶＢＬＫ）を水平走査期間の整数倍となるよう設定することですべての画素の露光時間が同じになるように制御する。またはすべての水平走査期間の長さを調整することにより所望のフレームレートを実現する。
【選択図】図１

Description

本発明は、光電変換素子を有する固体撮像装置に関し、特にＣＭＯＳイメージセンサを用い、駆動方法に特徴を有する固体撮像装置に関する。

CCD（Charge Coupled Device）イメージセンサやCMOS（Complementary Metal−Oxide―Semiconductor）イメージセンサに代表されるX-Yアドレス型撮像素子などの固体撮像素子の駆動に際しては、垂直転送パルスや水平転送パルスなどの各種駆動信号が用いられる。これらの駆動信号は、固体撮像素子を駆動するためのタイミング発生器において生成される。このようなタイミング発生器は一般にNTSC（National Television System Committee）やPAL（Phase Alternating by Line）といった放送方式の信号フォーマットを満たすように撮像装置を駆動させる。

例えば、図６に示すように各画素の情報が映像信号として導出される有効画素領域６０１と、この有効画素領域の上下左右に遮光された状態で配されたオプティカルブラック（光学的黒）領域６０２とを有したCCDイメージセンサを駆動する場合には、タイミング発生器から図７に示すような駆動信号を発生させ、順次固体撮像素子に与える。例えば、水平転送パルスφH1、φH2であれば約１２．２７MHｚの駆動周波数で発生させ、また予め定められたクロックカウント（例えば７８０）及び行カウント（例えば５２５）で水平同期パルスHD及び垂直同期パルスVDを終了する。これによりタイミング発生器は固体撮像素子から３０フレーム／秒（Frame Per Sec；以下「FPS」と略す）の映像信号が得られるようにする。

上記のように３０FPSや６０FPSといった放送方式の信号フォーマットを満たす値に映像信号のフレームレートを実現するためには、駆動周波数を変更する方法が考えられる。しかし駆動周波数は実現できる周波数が決まっており、また高い周波数では電磁波は多く発生してしまうなどの恐れがある。

さらにはDRAM（Dynamic Random Access Memory）等の記憶装置でフィールドメモリを構成して、固体撮像素子で得られた映像信号に対しフレーム間引きを行うことも考えられるが、この場合はDRAM等の記憶装置追加して搭載する必要があるため、装置構成の複雑化してしまうとともに、その記憶装置の制御を行うための処理を必要となり、製品のコストアップにつながってしまう。

そこで特開２００１−００８１１３号公報においては、固体撮像素子から得られる所定単位の映像信号がその出力開始から出力終了までに走査期間と帰線期間とを含むように固体撮像素子にタイミング発生器から駆動信号を与える固体撮像素子の駆動方法において、所定単位の映像信号ごとに固体撮像素子の水平方向と垂直方向の両方または少なくとも一方について固体撮像素子からの映像信号を出力しない空の映像信号機関を追加することによりフレームレートを所望の値に設定することを可能にしている。
特開２００１-００８１１３号公報

しかしながら、ローリング電子シャッタを用いたX-Yアドレス型撮像素子において、メカニカルシャッタを用いないモードの露光時間制御を上記方法で行う場合、例えば図８に示すように、フレームレートの調整のために他の水平走査期間と長さの異なる水平走査期間Xを追加する。露光時間は水平走査期間の間隔で制御されるため、水平走査期間Ｘを露光期間に含む第ｎ行以前の行と含まない第ｎ+１行目以降の行で露光時間が変わってしまうという問題が発生する。

そこで本発明においては、X-Yアドレス型固体撮像素子において、固体撮像素子から得られる所定単位の映像信号がその出力開始から出力終了までに走査期間と帰線期間を含むように当固体撮像素子に駆動信号を与え、露光開始時間と読出し開始時間が映像信号の行方向または列方向においてそれぞれ異なるように露光時間制御を行う固体撮像装置において、映像信号期間と前記固体撮像素子からの映像信号を出力しない空映像信号期間を水平走査期間の整数倍となるよう設定、またはすべての水平走査期間の長さを調整することにより所望のフレームレートを実現する。さらに、映像信号期間と前記固体撮像素子からの映像信号を出力しない空映像信号期間を水平走査期間の整数倍となるよう設定した後にすべての水平走査期間の長さを調整するという順に設定を行う。

上記のように、請求項１記載の方法を用いることにより、ローリング電子シャッタを用いたX-Yアドレス型撮像素子において、メカニカルシャッタを用いずに露光時間制御を行う場合であってもすべての行の露光時間を一定に保つことができる。また、請求項２記載の方法及び請求項３記載の方法を用いることにより、精度良く所望のフレームレートに設定することができる。また、請求項４、請求項５、請求項６記載の方法を用いることにより、画像ひずみの目立つ状況においては、画像ひずみが発生しづらいフレームレートの設定方法を用いることにより、画像ひずみの少ない撮像装置の駆動を実現することができる。そして、メカニカルシャッタを用いる場合は、請求項７の方法を用い、メカニカルシャッタを用いない場合には請求項１または２記載の方法を用いることで、すべての行の露光時間を一定に保つことができ、さらに画像ひずみの少ない固体撮像装置を実現することができる。

本発明の実施例について、図１から図５を用い説明する。

図２はX-Yアドレス型の走査方法を採る撮像素子の構成を示したものである。
図２において、２０１は単位画素、２０２はフォトダイオード（ＰＤ）、２０３は転送スイッチ、２０４はフローティングデフュージョン（ＦＤ）、２０５はソースフォロアとして機能する増幅ＭＯＳアンプ、２０６は選択スイッチ、２０７はリセットスイッチ、２０８は信号線、２０９は増幅ＭＯＳアンプ２０５の負荷となる定電流源、２１０は選択スイッチ、２１１は出力アンプ、２１２は垂直走査回路、２１３は読み出し回路、２１４は水平走査回路。なお、図２では図の簡略化のために、画素単位２０１を４行×４列のみ示しているが、実際には非常に多数の画素単位２０１が２次元に配置されている。

単位画素２０１は、ＰＤ２０２、転送スイッチ２０３、ＦＤ２０４、増幅ＭＯＳアンプ２０５、選択スイッチ２０６、リセットスイッチ２０７によって構成される。ＰＤ２０２において光を電荷に変換し、ＰＤ２０２で発生した電荷は転送スイッチ２０３により転送パルスφＴＸにて転送し、ＦＤ２０４に一時的に蓄積しておく。ＦＤ２０４、増幅ＭＯＳアンプ２０５、及び定電流源２０９でフローティングディフュージョンアンプが構成され、選択パルスφＳＥＬによって選択スイッチ２０６で選択された画素の信号電荷は電圧に変換され、信号出力線２０８を経て読み出し回路２１３に出力される。さらに水平走査回路２１４により駆動された選択スイッチ２１０により出力する信号が選択され、出力アンプ２１１を経て撮像素子外部に出力に出力される。ＦＤ２０４に蓄積された電荷の除去はリセットパルスφＲＥＳによりセットスイッチ２０７にて行われる。また垂直走査回路２１２では、転送スイッチ２０３、選択スイッチ２０６、リセットスイッチ２０７の選択を行う。

なお、パルス信号φＴＸ、φＲＥＳ、φＳＥＬそれぞれについて、垂直走査回路２１２によって走査選択された、例えばｎ番目の走査行に印加するパルス信号をφＴＸｎ、φＲＥＳｎ、φＳＥＬｎと記述する。

図３は、図２の固体撮像素子で使用した色フィルタアレイの一部を示している。第１の色フィルタを赤（Ｒ）、第２の色フィルタを緑（Ｇ）、第３の色フィルタを緑（Ｇ）、第４の色フィルタを青（Ｂ）とした場合を示している。この色フィルタアレイの配列は、原色の色フィルタ配列のなかでも、とくに、ベイヤ配列と呼ばれるもので、高い解像度と優れた色再現性を備えた色フィルタ配列である。

図４は図２の撮像素子を用いた撮像装置のシステム概要を示したものである。図４において、４０１はレンズ部（レンズと表記）、４０２はレンズ駆動部、４０３はメカニカルシャッタ（メカシャッタと表記）、４０４はメカニカルシャッタ駆動部（シャッタ駆動部と表記）、４０５は図２に示す構成を有する撮像素子、４０６は撮像信号処理回路、４０７はタイミング発生部、４０８はメモリ部、４０９は全体制御演算部、４１０は記録媒体制御インターフェース部（記録媒体制御Ｉ/Ｆ部と表記）、４１１は記録媒体、４１２は外部インターフェース部（外部Ｉ/Ｆ部と表記）、４１３は測光部、４１４は測距部。

レンズ部４０１を通った被写体像を撮像素子４０５に結像させる。撮像素子４０５に結合した被写体像は画像信号として取り込まれ、撮像信号処理回路４０６にて、画像信号の増幅、アナログ信号からディジタル信号への変換を行うＡ／Ｄ変換、Ａ／Ｄ変換後の画像データに各種の補正、画像データの圧縮等を行う。

レンズ部４０１は、レンズ駆動部４０２によってズーム、フォーカス、絞り等が駆動制御される。シャッタ４０３は一眼レフカメラに使用されるフォーカルプレーン型のシャッタの後幕に相当する幕のみを有するシャッタ機構であり、シャッタ駆動部４０４によって駆動制御される。タイミング発生部４０７は、撮像素子４０５、撮像信号処理回路４０６に各種タイミング信号を出力する。全体制御演算部４０９は撮像装置全体の制御と各種演算を行う。メモリ４０８は画像データを一時的に記憶する、記録媒体制御インターフェース部４１０では記録媒体に画像データの記録または読み出しを行う。記録媒体４１１は半導体メモリ等の着脱可能記憶媒体であり、画像データの記録または読み出しを行う。外部インターフェース部４１２は外部コンピュータ等と通信を行うために為のインターフェースである。測光部４１３は被写体の明るさ情報の検出を行い、測距部４１４は被写体までの距離情報を検出する。

次に、本発明の個体撮像素子における露光時間制御のシーケンスについて図１、図５を用いて説明する。

図５はローリング電子シャッタ動作における駆動パルスと動作シーケンスを示したものである。なお図５では説明を簡略にするために垂直走査回路２１２によって走査選択されたｎ行からｎ＋３行の４行分の駆動制御に関して記述する。

ｎ行において、まず時刻t５１からt５２の期間、φＲＥＳｎとφＴＸｎを印加して、転送スイッチ２０３及びリセットスイッチ２０７をオンにし、ｎ行目のＰＤ２０２とＦＤ２０４に蓄積されている不用電荷を除去するリセット動作を行う。時刻t５２で転送スイッチ２０３がオフになり、ＰＤ２０２で発生した光電荷が蓄積される蓄積動作が開始される。次に時刻t５４においてφＴＸｎを印加して、転送スイッチ２０３をオンにし、ＰＤ２０２に蓄積された光電荷をＦＤ２０４に転送する転送動作を行う。なお、リセットスイッチ２０７は、転送動作に先んじてオフする必要があり、図７に示す駆動制御では、時刻t５２で転送スイッチ２０３と同時にオフとなる。ここで、リセット動作終了の時刻t５２から、転送開始の時刻t５５までが蓄積時間となる。

ｎ行目の転送動作終了後、φＳＥＬｎを印加して選択スイッチ２０６をオンにすることにより、ＦＤ２０４に保持した電荷が電圧に変換され、読み出し回路２１３に出力される。読み出し回路２１３で一時的に保持された信号が水平走査回路２１２によって時刻t５６より順次出力される。時刻t５４の転送開始から時刻t５７の読み出し終了までの時間をT３ｒｅａｄとし、時刻t５１から時刻t５３までの時間をT３ｗａｉｔとする。

他の行においても同様に、転送開始から読み出し終了までの時間がT３ｒｅａｄとなり、ある行のリセット開始から次の行のリセット開始までの間の時間がT３ｗａｉｔとなる。

図１は本発明における撮像装置の駆動方法において、撮像素子上の撮像領域を構成する各行の露光期間と水平同期パルス、垂直同期パルスにより同期がとられた水平走査期間、垂直走査期間の関係を示している。リセット動作期間、読み出し動作期間、転送動作期間は省略している。図１に示すようにすべての水平走査期間は同じ期間となっている。

また、１垂直走査期間に含まれる水平走査期間の数をＸ、１水平走査期間内に含まれる基準クロックの数をＹとしたとき、ＸとＹは以下のように設定する。

Ｘ＝（垂直読込み画素数）＋（垂直ブランキング期間内の水平走査期間の数）＋α ・・・（式１）
Ｙ＝（水平読込み画素数）＋（水平ブランキング期間内の基準クロックの数）＋（行のスキップに要する基準クロックの数）＋β ・・・（式２）
ただし、αは水平走査期間の整数倍である。

ここで駆動モードのフレームレートは基準クロックの周波数（Ｈｚ）をＺとしたとき以下の式により求められる。

（フレームレート）＝Ｚ／（Ｘ・Ｙ）・・・（式３）
このため、「αの値のみ設定する」、「βの値のみ設定する」、または「α、βの値両方を設定する」のいずれの方法であってもフレームレートを設計者の所望の値に設定することができる。そして、本発明のようにローリング電子シャッタを用いたX-Yアドレス型撮像素子においては、図５にて説明したように露光期間はＰＤ２０２に蓄積されている不要電荷を除去するリセット動作と読出し動作の間に存在する水平走査期間の和により既定されるのであるが、すべての水平走査期間は同じ期間となっているため、図８に示すように撮像領域を構成する一部の行の露光時間が異なってしまうことがなく、すべての撮像領域の露光時間を均一にすることができる。

一方で、上記の方法にてフレームレートを設定する場合、上記αにて調整できる期間の方がβにて調整できる期間よりも長いため、精度良く所望の露光時間に設定するためには、αを設定してからβを設定すると良い。

ところで図５において示したローリング電子シャッタ動作においては、画面の上部と下部で蓄積時刻が画面の走査に要した時間だけ異なるという問題がある。これは、ある行のリセットおよび転送走査から次の行のリセットおよび転送走査の時間Ｔ３ｗａｉｔが、転送開始から読み出し終了までの時間Ｔ３ｒｅａｄ以上の時間が必要なためである。特に画素数が多い場合、画面の上部と下部での蓄積時刻のずれが大きくなってしまう。この画面の上部と下部での蓄積時刻のずれは被写体と撮像装置との相対速度が速い場合や、露光時間の短い場合、高画素な撮像素子を用いた撮像素子で読出しと転送に要する時間が長い場合などの撮影環境により、被写体がひずみとなって表れてしまう。

行ごとの蓄積時刻のずれはＴ３ｒｅａｄ以上でなければならず、またＴ３ｒｅａｄは１水平走査期間に相当することから、蓄積時刻のずれを小さくするためには水平走査期間を短くすれば良い。すなわちＹを小さくすればよい。Ｙを構成する要素の内、水平読込み画素数、水平ブランキング期間内の基準クロックの数、行のスキップに要する基準クロックの数はシステムの構成要素により既定されてしまうため、βをできるだけ小さく設定すれば良い。

例えば、垂直読込み画素数が５２４、垂直ブランキング期間内の水平走査期間の数が２００、水平読込み画素数が４３７、水平ブランキング期間内の基準クロックの数が４００、行のスキップに要する基準クロックの数が１６であり、駆動モードの基準クロック周波数が４０ＭＨｚである撮像装置において、６０FPSを実現させる場合には、αを可能な限り大きく、βを可能な限り小さく設定するような値として、αを２５、βを３７とすることで６０.００５FPSを実現する。

または、上記の例よりも被写体のひずみを小さくする設定としてαを５８とし、βを０とする。所望の６０FPSには若干足りない５９.９６６FPSとなるが、αを２５、βを３７とするときと比べ、1フレーム中の最初に読み出される行と最後に読み出される行の露光時刻のずれを0.48ｍsec緩和することができる。そして、全体制御演算部４０９にてフレーム間の被写体位置を測定し、フレーム間の差分がゼロまたは所定値以下なら動く被写体は存在しないと判断し、差分が所定値以上ある場合は動く被写体が存在すると判断し、差分の絶対値のピークtoピークから簡易的に移動量を算出。この移動量から被写体と撮像装置との相対速度を算出し、例えば画面上で1フレーム動く間に連続的に１００画素以上移動しつづけている被写体であると認識した場合にはαを５８とし、βを０と設定した駆動タイミングにてモードを駆動させ、上記の移動速度を被写体が満たさない場合には、αを２５とし、βを３７と設定した駆動タイミングにてモードを駆動させる。あるいは、例えば露光時間が1/2000sec以下の場合にはαを５８、βを０と設定した駆動タイミングにてモードを駆動させ、露光時間が1/2000sec以上の場合にはαを２５、βを３７と設定した駆動タイミングにてモードを駆動させる。または、水平方向の間引きを行わないモードに対してはαを５８、βを０と設定した駆動タイミングにてモードを駆動させ、水平方向の間引きを行うモードに対してはαを２５、βを３７と設定した駆動タイミングにてモードを駆動させる。

このように、被写体と撮像装置との相対速度が所定の値よりも大きい場合や、露光時間が所定の値より短い場合、高画素な撮像素子を用いた撮像素子で読出しと転送に要する時間が長い場合など被写体ひずみの目立つ場合においては、βを０にする、つまりαのみでフレームレートを調整することで画像上の行ごとの露光時刻ずれが小さくなる駆動タイミングに設定し、被写体ひずみを目立たなくすることができる。

また、水平走査期間の基準パルスの数が増えることは上記の被写体ひずみ以外にも、レリーズタイムが伸びるだとか、連写速度が増加するなどの弊害が起きる。このため、上記のように水平走査期間の基準パルス数をより少なく設定することで、レリーズタイム、連写速度の短縮にもつながる。

さらに、メカシャッタを用いる駆動モードにて実施例１に示す撮像装置を駆動させる場合は式１〜３に縛られない方法でフレームレートを設定し、メカシャッタを用いない駆動モードにて実施例１に示す撮像装置を駆動させる場合には、上記式１〜３の条件に則ったフレームレートの設定を行うことで、メカシャッタを用いる場合には、レリーズタイム、連写速度の増加を抑えることができる。

本発明の固体撮像装置における露光時間制御の概念を示した図。本発明の固体撮像装置における固体撮像素子の概要を示した図。本発明の固体撮像装置における固体撮像素子に用いる色フィルタを示した図。本発明の固体撮像装置におけるシステムの概要を示した図。本発明の固体撮像装置におけるローリング電子シャッタ動作時の駆動パルスと動作シーケンスを示した図。固体撮像素子における画素構成の一例を示す図。従来の固体撮像装置における固体撮像素子の駆動信号の一例を示した図。ローリング電子シャッタを用いた固体撮像素子における露光時間制御の問題点を示した図。

符号の説明

２０１単位画素
２０２フォトダイオード
２０３転送スイッチ
２０４フローティングデフュージョン
２０５増幅ＭＯＳアンプ
２０６選択スイッチ
２０７リセットスイッチ
２０８信号線
２０９定電流源
２１０選択スイッチ
２１１出力アンプ
２１２垂直走査回路
２１３読み出し回路
２１４水平走査回路
４０１レンズ部
４０２レンズ駆動部
４０３メカニカルシャッタ
４０４メカニカルシャッタ駆動部
４０５撮像素子
４０６撮像信号処理回路
４０７タイミング発生部
４０８メモリ部
４０９全体制御演算部
４１０記録媒体制御インターフェース部
４１１記録媒体
４１２外部インターフェース部
４１３測光部
４１４測距部
６０１有効画素領域
６０２オプティカルブラック領域

Claims

X-Yアドレス型固体撮像素子において、固体撮像素子から得られる所定単位の映像信号がその出力開始から出力終了までに走査期間と帰線期間を含むように当固体撮像素子に駆動信号を与え、露光開始時間と読出し開始時間が映像信号の行方向または列方向においてそれぞれ異なるように露光時間制御を行う固体撮像装置において、映像信号期間と前記固体撮像素子からの映像信号を出力しない空映像信号期間を水平走査期間の整数倍となるよう設定し、またはすべての水平走査期間の長さを調整することにより所望のフレームレートを実現することを特徴とする固体撮像装置。
請求項１に記載の固体撮像装置において、映像信号期間と前記固体撮像素子からの映像信号を出力しない空映像信号期間を水平走査期間の整数倍となるよう設定した後にすべての水平走査期間の長さを調整することにより所望のフレームレートを実現することを特徴とする固体撮像装置。
請求項２に記載の固体撮像装置において、フレームレートの調整をする際、映像信号期間と前記固体撮像素子からの映像信号を出力しない空映像信号期間の追加による延長期間がすべての水平走査期間の延長期間の総和よりも長いことを特徴とする固体撮像装置。
請求項１に記載の固体撮像装置において、被写体と固体撮像装置との相対速度を測定する相対速度測定装置を備えた固体撮像装置において、相対速度速度測定装置にて算出された相対速度が所定の値を上回っていた場合には、映像信号期間と前記固体撮像素子からの映像信号を出力しない空映像信号期間を水平走査期間の整数倍となるよう設定し、すべての水平走査期間に対しその長さの延長は行わないことにより所望のフレームレートを実現することを特徴とする固体撮像装置。
請求項１に記載の固体撮像装置において、露光時間が所定の値よりも短い場合には映像信号期間と前記固体撮像素子からの映像信号を出力しない空映像信号期間を水平走査期間の整数倍となるよう設定し、すべての水平走査期間に対しその長さの延長は行わないことにより所望のフレームレートを実現することを特徴とする固体撮像装置。
請求項１に記載の固体撮像装置において、読出しと転送に要する時間が所定の値よりも長い場合には映像信号期間と前記固体撮像素子からの映像信号を出力しない空映像信号期間を水平走査期間の整数倍となるよう設定し、すべての水平走査期間に対しその長さの延長は行わないことにより所望のフレームレートを実現することを特徴とする固体撮像装置。
固体撮像素子から得られる所定単位の映像信号がその出力開始から出力終了までに走査期間と帰線期間を含むように前記固体撮像素子に駆動信号を与え、露光開始時間と読出し開始時間が映像信号の行方向または列方向においてそれぞれ異なるように露光時間制御を行う固体撮像装置において、露光時間制御にメカニカルシャッタを用いる場合は請求項１記載のフレームレート調整方法を用いないことを特徴とする固体撮像装置。