JP5106056B2 - 撮像装置及びそのフリッカ検出方法 - Google Patents

Description

本発明は、動画撮影時に撮像素子の信号読み出しにおいてフリッカを検出する撮像装置及びそのフリッカ検出方法に関する。

デジタルカメラ等の撮像装置においては、固体撮像素子として低電圧、低消費電力等の点からＣＭＯＳイメージセンサが使用され、近年その使用頻度も増してきている。

ところで、撮影環境の光源に蛍光灯など点滅する光源がある場合、撮像装置の撮影画像はその光源によるフリッカの影響を受ける。特に、ＣＭＯＳイメージセンサにおいては、画素信号の読み出しが走査ライン毎に順次行われるため、走査ライン毎に読み出し開始の時刻がずれ、露光時間が異なることが知られている。

このため、走査ラインが行毎である場合、発生するフリッカは、図８に示す画像のように、画面垂直方向に出力が変化するラインフリッカとなる。図８はラインフリッカの発生を示す図である。

このようなフリッカによる影響を除去もしくは低減させるために、フリッカを検出して補正する方法として、次のようなものが知られている。例えば、１フレーム内の所定ライン毎の画素信号レベルを積算し、過去の複数フレームにおける同一位置のラインの積算結果を用いることで、フリッカを検出するものが提案されている（特許文献１参照）。また、１フレーム内においてライン毎に画素レベルを積算してライン明度を算出し、ライン明度の垂直方向の変動周期を検出することで、フリッカを検出するものも提案されている（特許文献２参照）。
特許第３４７６４００号公報 特開２００４−２６０５７４号公報

しかしながら、特許文献１においては、フリッカを検出するために少なくとも２フレーム以上の撮像画像が必要であり、またフリッカ検出のために複数フレームの積算値を用いるため、処理時間も長くかかり撮影時間が余計にかかってしまうことになった。

また、フリッカ検出に用いる画像と実際の撮影画像の撮影時刻には、必ず時間差が発生するため、その間にフリッカの状態が変化してしまうと、正しくフリッカパターンを除去できないおそれもあった。

また、特許文献２においては、図８のように被写体が“均一輝度面”である場合、その信号振幅から精度良くフリッカパターンを検出することは可能だが、現実的には撮影画面内には様々な被写体が存在しており、“均一輝度面”であることは極めて稀である。よって、撮影された画像から、その画像の持つフリッカパターンを検出することは、通常困難であった。

本発明は、上記問題点を鑑みてなされたものであり、被写体の状態や撮影シーンに依らず、短時間でより精度良くフリッカを検出することができる撮像装置及びそのフリッカ検出方法を提供することを目的とする。

上記目的を達成するために、本発明の撮像装置は、光電変換により電荷を生成して蓄積する光電変換部と、前記光電変換部で生成された電荷を蓄積する浮遊拡散部と、を有する複数の画素部が二次元に配置された撮像素子を用いた撮像装置であって、前記二次元に配置された複数の画素部の前記光電変換部に対し一括でリセットを行う第１のリセットと、前記二次元に配置された複数の画素部の前記光電変換部に対し所定単位毎に順次リセットを行う第２のリセットと、を行うリセット手段と、前記第１のリセットが行われてから当該第１のリセットが行われた前記光電変換部に蓄積された電荷を前記浮遊拡散部に一括で転送する第１の転送と、前記第２のリセットが行われてから当該第２のリセットが行われた前記光電変換部に蓄積された電荷を前記所定単位毎に前記浮遊拡散部に順次転送する第２の転送と、を行う転送手段と、前記第１の転送を行って得られた画素信号と前記第２の転送を行って得られた画素信号との差分情報に基づいてフリッカを検出する検出手段とを備えたことを特徴とする。

本発明の撮像装置のフリッカ検出方法は、光電変換により電荷を生成して蓄積する光電変換部と、前記光電変換部で生成された電荷を蓄積する浮遊拡散部と、を有する複数の画素部が二次元に配置された撮像素子を用いた撮像装置のフリッカ検出方法であって、前記二次元に配置された複数の画素部の前記光電変換部に対し、一括でリセットを行う一括リセットステップと、前記一括リセットステップでリセットが行われてから当該リセットが行われた前記光電変換部に蓄積された電荷を前記浮遊拡散部に一括で転送する一括転送ステップと、前記二次元に配置された複数の画素部の前記光電変換部に対し、所定単位毎に順次リセットを行う順次リセットステップと、前記順次リセットステップでリセットが行われてから当該リセットが行われた前記光電変換部に蓄積された電荷を前記所定単位毎に前記浮遊拡散部に順次転送する順次転送ステップと、前記一括転送ステップで転送を行って得られた画素信号と前記順次転送ステップで転送を行って得られた画素信号との差分情報に基づいてフリッカを検出する検出ステップとを有することを特徴とする。

本発明によれば、被写体の状態や撮影シーンに依らず、短時間でより精度良くフリッカを検出することができる。

本発明の撮像装置及びそのフリッカ検出方法の実施の形態について図面を参照しながら説明する。

［第１の実施形態］
図１は第１の実施形態における撮像装置の構成を示すブロック図である。本実施形態の撮像装置は、動画／静止画撮影を選択して行えるデジタルカメラに適用される。

撮像装置は、レンズおよび絞りからなる光学系１、フォーカルプレーン式のメカニカルシャッタ（メカシャッタ）２および撮像素子３を有する。動画／静止画撮影モードを切り替える撮影モード切替ＳＷ（図示せず）により静止画撮影モードが選択された際、メカシャッタ２は、先幕および後幕の走行時刻の差により撮像素子への露光時間を制御する。また、動画撮影モードが選択された際、メカシャッタ２は全開となり、撮像素子３へ常に光が導光される状態となる。

撮像素子３は、ＣＭＯＳイメージセンサであり、本実施形態においては、撮像素子３は、ローリング読み出しと一括リセット一括転送読み出し可能な構成を有している。なお、この異なる読み出し方法により得られた画素情報を基に、後述するフリッカの検出が可能となる。

また、撮像装置は、アナログ信号処理を行うＣＤＳ回路４、アナログ信号をデジタル信号に変換するＡ／Ｄ変換器５およびタイミング信号発生回路６を有する。タイミング信号発生回路６は、撮像素子３、ＣＤＳ回路４およびＡ／Ｄ変換器５を動作させる信号を発生する。また、撮像装置は、光学系１、メカニカルシャッタ２および撮像素子３の駆動回路７、撮影した画像データに必要な信号処理を行う信号処理回路８、および信号処理された画像データを記憶する画像メモリ９を有する。

また、撮像装置は、撮像装置から取り外し可能な画像記録媒体１０、信号処理された画像データを画像記録媒体１０に記録する記録回路１１、信号処理された画像データを表示する画像表示装置１２、および画像表示装置１２に画像を表示する表示回路１３を有する。また、撮像装置は、撮像装置全体を制御するシステム制御部１４、不揮発性メモリ（ＲＯＭ）１５および揮発性メモリ（ＲＡＭ）１６を有する。

不揮発性メモリ（ＲＯＭ）１５には、システム制御部１４で実行される制御方法を記述したプログラム、およびこのプログラムを実行する際に使用されるパラメータやテーブル等の制御データが記憶される。揮発性メモリ（ＲＡＭ）１６には、不揮発性メモリ１５に記憶されたプログラム、制御データおよび補正データが転送されて記憶される。揮発性メモリ（ＲＡＭ）１６は、システム制御部１４が撮像装置を制御する際に使用される。

上記構成を有する撮像装置において、動画撮影モードが選択された場合の動作について説明する。ここで、撮影動作に先立ち、撮像装置の電源投入時など、システム制御部１４の動作開始時において、不揮発性メモリ１５から必要なプログラム、制御データ等を揮発性メモリ１６に転送して記憶しておくものとする。これらのプログラムやデータは、システム制御部１４が撮像装置を制御する際に使用される。また、システム制御部１４は、必要に応じて、追加のプログラムやデータを不揮発性メモリ１５から揮発性メモリ１６に転送したり、不揮発性メモリ１５内のデータを直接読み出して使用する。

まず、駆動回路７は、システム制御部１４からの制御信号に従って、絞りとレンズからなる光学系１を駆動し、また、メカニカルシャッタ２を全開とする。そして、光学系１は、適切な明るさに設定された被写体像を撮像素子３に結像させる。

撮像素子３は、システム制御部１４により制御されるタイミング信号発生回路６が発生する動作パルスを元にした駆動パルスで駆動され、被写体像を光電変換により電気信号に変換してアナログ画像信号として出力する。なお、撮像素子３の駆動方法については後述する。

撮像素子３から出力されたアナログ画像信号は、システム制御部１４により制御されるタイミング信号発生回路６が発生する動作パルスに従って、ＣＤＳ回路４でクロック同期性ノイズが除去され、Ａ／Ｄ変換器５でデジタル画像信号に変換される。

一旦、デジタル画像は画像メモリ９に記憶されると、システム制御部１４により制御される信号処理回路８において、デジタル画像信号に対し、色変換、ホワイトバランス、ガンマ補正等の画像処理、解像度変換処理、画像圧縮処理等が行われる。

画像メモリ９は、信号処理中のデジタル画像信号を一時的に記憶したり、信号処理されたデジタル画像信号である画像データを記憶するために用いられる。信号処理回路８で信号処理された画像データや画像メモリ９に記憶されている画像データは、記録回路１１において画像記録媒体１０に適したデータ（例えば、階層構造を持つファイルシステムデータ）に変換されて画像記録媒体１０に記録される。また、信号処理回路８で解像度変換処理が行われた後、画像データは、表示回路１３において画像表示装置１２に適した信号（例えばＮＴＳＣ方式のアナログ信号等）に変換され、画像表示装置１２で表示される。

信号処理回路８は、システム制御部１４から要求があった場合、信号処理の過程で生じたデジタル画像信号や画像データの情報をシステム制御部１４に出力する。例えば、画像の空間周波数、指定領域の平均値、圧縮画像のデータ量等の情報、あるいはそれらから抽出された情報が出力される。さらに、信号処理回路８は、ＣＭＯＳイメージセンサ３内の異なる読み出し方法で得られた画像信号から演算を行い、フリッカ情報の生成も行う。また、信号処理回路８は、得られたフリッカ情報をもとに、ライン毎に画像補正を行い、フリッカによる影響を低減させる画像処理も行う。記録回路１１は、システム制御部１４から要求があった場合、画像記録媒体１０の種類や空き容量等の情報をシステム制御部１４に出力する。

また、画像記録媒体１０に画像データが記録されている場合の再生動作について説明する。記録回路１１は、システム制御部１４からの制御信号に従って、画像記録媒体１０から画像データを読み出す。信号処理回路８は、同じくシステム制御部１４からの制御信号に従って、画像データが圧縮画像であった場合、画像伸長処理を行い、画像メモリ９に記憶する。画像メモリ９に記憶されている画像データは、信号処理回路８で解像度変換処理が行われた後、表示回路１３において画像表示装置１２に適した信号に変換され、画像表示装置１２で表示される。

つぎに、第１の実施形態によるＣＭＯＳイメージセンサ３およびその駆動方法について詳細に説明する。図２はＣＭＯＳイメージセンサ３の概略的構成を示す図である。図２では、簡略化のために、単位画素（画素部）２０１が４行×４列のみ配置された画素構成が示されているが、実際には撮影画面として多数の画素部が二次元に配置されている。

フォトダイオード(以下、ＰＤと表す)２０２は光を電荷に変換する。転送スイッチ２０３は、転送パルスφＴＸに従ってＰＤ２０２で発生した電荷を後述する蓄積領域（以下、ＦＤと表す）に転送する。ＦＤ２０４は電荷を一時的に蓄積しておく。増幅ＭＯＳアンプ２０５はソースフォロアとして機能する。選択スイッチ２０６は選択パルスφＳＥＬに従って画素を選択する。リセットスイッチ２０７はリセットパルスφＲＥＳに従ってＦＤ２０４に蓄積された電荷を除去する。

ＦＤ２０４、増幅ＭＯＳアンプ２０５および後述する定電流源２０９からフローティングディフュージョンアンプは構成される。選択スイッチ２０６で選択された画素の信号電荷が電圧に変換され、信号出力線２０８を経て読み出し回路２１３に出力される。

定電流源２０９は増幅ＭＯＳアンプ２０５の負荷となる。水平選択スイッチ２１０は、水平走査回路２１４によって駆動され、読み出し回路２１３からの出力信号を選択する。出力アンプ２１１は、読み出し回路２１３からの出力信号を撮像素子３の外部に出力する。垂直走査回路２１２は、スイッチ２０３、２０６、２０７を選択するためのものである。

なお、パルス信号であるφＴＸ、φＲＥＳ、φＳＥＬにおいて、垂直走査回路２１２によって選択された、例えばｎ番目の走査ラインに印加するパルス信号をそれぞれφＴＸｎ、φＲＥＳｎ、φＳＥＬｎと記述する。

つぎに、動画撮影モードにおける撮像素子の駆動動作について説明する。本実施形態では、撮像素子３の駆動に際して、ローリング読み出し動作と一括リセット一括転送読み出し動作が行われる。そして、ローリング読み出しの駆動から得られた画像と、一括リセット一括転送読み出しの駆動から得られた画像との駆動方法の違いから得られる出力結果の差を基に、フリッカ検出が可能である。

図３はローリング読み出し動作における撮像素子３の駆動を示すタイミングチャートである。なお、図３では、垂直走査回路１１２によって走査・選択されたｎラインからｎ＋３ラインに関して、記述がなされている。

ｎラインにおいて、まず、垂直走査回路２１２は、時刻ｔ３１からｔ３２の期間、リセットパルスφＲＥＳｎおよび転送パルスφＴＸｎを転送スイッチ２０３およびリセットスイッチ２０７に印加し、転送スイッチ２０３およびリセットスイッチ２０７をオンにする。これにより、ｎライン目のＰＤ２０２とＦＤ２０４に蓄積されている不用電荷を除去するリセット動作が行われる。

時刻ｔ３２で転送スイッチ２０３がオフになり、ＰＤ２０２で発生した光電荷を蓄積する蓄積動作が開始される。

つぎに、垂直走査回路２１２は、時刻ｔ３４で転送パルスφＴＸｎを転送スイッチ２０３に印加し、転送スイッチ２０３をオンにする。これにより、ＰＤ２０２に蓄積された光電荷をＦＤ２０４に転送する転送動作が行われる。

なお、この転送動作に先んじて、リセットスイッチ２０７をオフにする必要があり、図３では、時刻ｔ３２でリセットスイッチ２０７は転送スイッチ２０３と同時にオフとなる。ここで、時刻ｔ３２から時刻ｔ３４までの期間が蓄積時間となる。

ｎライン目の転送動作終了後、選択パルスφＳＥＬｎが選択スイッチ２０６に印加され、選択スイッチ２０６がオンになると、ＦＤ２０４で保持された電荷が電圧に変換され、読み出し回路２１３に出力される。そして、読み出し回路２１３で一時的に保持された信号が水平走査回路（ＨＳＲ）２１４によって時刻ｔ３６より順次出力される。

図４は一括リセット一括転送読み出し動作における撮像素子３の駆動を示すタイミングチャートである。図４において、時刻ｔ４１から時刻ｔ４２までの期間にすべてのラインのリセット動作が同時に行われる。時刻ｔ４３から時刻ｔ４４までの期間に転送動作も同時に行われる。

図３のローリング読み出し動作では、画素信号の読み出しが走査ライン毎で順次行われ、走査ライン毎に露光時刻が異なるので、画面垂直方向に出力が変化するラインフリッカが発生する（図８参照）。一方、図４の一括リセット一括転送読み出し動作では、全ての画素の露光時刻が同一であるので、ラインフリッカは発生しない。これらの駆動動作を２フレームの撮影画像で行うことで、ローリング読み出しが行われた画素と、一括リセット一括転送読み出しが行われた画素の信号が得られることとなる。信号処理回路８は、このようにして読み出された画素信号を演算処理し、フリッカ情報の検出を行う。

図５は信号処理回路８におけるフリッカ情報検出処理手順を示すフローチャートである。まず、信号処理回路８は、変数ｎに値１をセットする（ステップＳ１）。そして、信号処理回路８は、画像メモリ９に記憶され、一括リセット一括転送読み出しが行われた画像のｎライン目の画像を読み出す（ステップＳ２）。さらに、信号処理回路８は、画像メモリ９に記憶され、ローリング読み出しが行われた画像のｎライン目の画像を読み出す（ステップＳ３）。

そして、信号処理回路８は、これらの読み出されたｎライン目の画像のうち、特定の列における、一括リセット一括転送読み出しの画素出力からローリング読み出しの画素出力を減算する（ステップＳ４）。この減算の結果、撮影画面上の同位置における両画素出力間の差分値が得られ、画像メモリ９に記憶される。

信号処理回路８は、変数ｎが総ライン数Ｎを超えたか否かを判別する（ステップＳ５）。総ライン数Ｎを超えていない場合、信号処理回路８は、変数ｎに値１を加え（ステップＳ６）、ステップＳ２に戻り、同様の処理を行う。

一方、変数ｎが総ライン数Ｎを超えた場合、信号処理回路８は、画像の垂直方向に周期性があるか否かを判別する（ステップＳ７）。すなわち、信号処理回路８は、画像メモリ９に記憶された各ラインの差分値を参照し、この差分値が所定の閾値以上の値であって、順次転送が行われる行のラインに対して垂直方向に対して周期性を有するか否かを判別する。

差分値が画像の垂直方向に周期性を有する場合、信号処理回路８は、フリッカが発生していると判定し（ステップＳ８）、本処理を終了する。一方、差分値が画像の垂直方向に周期性を有しない場合、信号処理回路８は、フリッカが発生していないと判定し（ステップＳ９）、本処理を終了する。

このように、信号処理回路８は、読み出された画素信号を演算処理し、フリッカ情報の検出を行う。この演算処理では、信号処理回路８は、一括リセット一括転送読み出しが行われた画素の出力と、ローリング読み出しが行われた画素の出力との減算処理をライン毎に行う。この減算処理の結果、所定の閾値以上の差があって、この差（差分情報）が順次転送が行われる行のラインに対して垂直方向に周期性を有する場合、信号処理回路８は、フリッカによる影響があると判定する。

ここで、ライン毎で読み出し時刻に差が発生している画素信号については、フリッカが存在する場合、その時刻の差によるフリッカがライン毎に乗る。一方、ライン毎で読み出し時刻に差が発生していない画素信号については、ライン毎でフリッカが乗らない。このため、これらの差を検出することによりフリッカが検出される。

このように、第１の実施形態の撮像装置は、ＣＭＯＳイメージセンサ内の画素の読み出し方法として、ローリング読み出しと一括リセット一括転送読み出しとを２フレームの撮影画像に対して行わせる。なお、２フィールドの撮影画像に対して行わせてもよいことは勿論である。これにより、その駆動方法による画素の読み出し時刻の差から得られる画素出力の差分情報を基に、フリッカ情報を検出することができる。従って、被写体の状態や撮影シーンに依らず、短時間でより精度良くフリッカを検出することができる。さらに、検出されたフリッカの影響を除去することが可能である。

また、撮影画面上の広範囲で差分情報を算出することができ、フリッカ検出の精度を高めることができる。また、撮影画面上の同位置の画素部に対して差分情報が算出されるので、より正確な差分情報を得ることができる。

［第２の実施形態］
第２の実施形態では、撮像素子であるＣＭＯＳイメージセンサ３は、一部の画素について、他の画素とは読み出し方法を異ならせることが可能である。具体的に、本実施形態においては、撮像素子３は、ローリング読み出し可能な画素部と一括リセット一括転送読み出し可能な画素部とを有している。なお、第２の実施形態における撮像装置の構成は、前記第１の実施形態と同様であるので、その説明を省略する。

第２の実施形態におけるＣＭＯＳイメージセンサ３およびその駆動方法について詳細に説明する。図６はＣＭＯＳイメージセンサ３の概略的構成を示す図である。図６では、簡略化のために、単位画素（画素部）１０１が３行×３列のみ配置された画素構成が示されているが、実際には撮影画面として多数の画素が二次元に配置されている。

また、同図において、左１列に位置する画素については他の画素と異なり、転送スイッチ１０３およびリセットスイッチ１０７のゲートの接続先がそれぞれ転送パルスφＴＸ０およびリセットパルスφＲＥＳ０となっている。また、この左１列の画素は、最終的な画像データとして出力される領域に位置するものでないので、駆動方法の違いによって支障をきたすものではない。

フォトダイオード（ＰＤ）１０２は、光電変換部として、光を電荷に変換する。転送スイッチ１０３は、左１列に位置する画素については転送パルスφＴＸ０、それ以外の画素については転送パルスφＴＸによって、ＰＤ１０２で発生した電荷を後述する蓄積領域（フローティングデフュージョン：ＦＤ）１０４に転送する。浮遊拡散部である蓄積領域（ＦＤ）１０４は、電荷を一時的に蓄積しておく。増幅ＭＯＳアンプ１０５はソースフォロアとして機能する。

選択スイッチ１０６は選択パルスφＳＥＬによって画素を選択する。リセットスイッチ１０７は、左１列に位置する画素についてはリセットパルスφＲＥＳ０、それ以外の画素についてはリセットパルスφＲＥＳによって、ＦＤ１０４に蓄積された電荷を除去する。

ここで、ＦＤ１０４、増幅ＭＯＳアンプ１０５および後述する定電流源１０９でフローティングディフュージョンアンプが構成され、選択スイッチ１０６で選択された画素の信号電荷が電圧に変換され、信号出力線１０８を経て読み出し回路１１３に出力される。定電流源１０９は増幅ＭＯＳアンプ１０５の負荷となる。

列選択スイッチ１１０は、水平走査回路１１４によって駆動され、読み出し回路１１３からの出力信号を選択する。出力アンプ１１１は、読み出し回路１１３からの出力信号を撮像素子３の外部に出力する。また、垂直走査回路（シフトレジスタ）１１２は、スイッチ１０３、１０６、１０７を選択するためものである。読み出し回路１１３は、信号出力線１０８に発生した出力信号を一時的に保持する。水平走査回路１１４は、読み出し回路１１３の列毎の出力となる画素出力を出力アンプ１１１に順次出力する。

なお、パルス信号であるφＴＸ、φＲＥＳ、φＳＥＬについて、垂直走査回路１１２によって選択された、例えばｎ番目の走査ラインに印加するパルス信号をそれぞれφＴＸｎ、φＲＥＳｎ、φＳＥＬｎと記述する。また、パルス信号φＴＸ０、φＲＥＳ０については、走査ラインのｎ番目にかかわらず、各走査ラインに同パルス信号が印加される。

つぎに、動画撮影モードにおける撮像素子の駆動動作について説明する。図７は撮像素子３の駆動動作を示すタイミングチャートである。本実施形態では、ＣＭＯＳイメージセンサ３内の画素を、ローリング読み出しを行う画素と一括リセット一括転送読み出しを行う画素とに、１フレーム中で分けて駆動することにより、駆動方法の違いから得られる出力結果を基に、フリッカが検出可能である。

まず、ローリング読み出しが行われる左１列以外の画素の駆動について説明する。垂直走査回路１１２は、ｎラインにおいて、時刻ｔ１１からｔ１２の期間、リセットパルスφＲＥＳｎと転送パルスφＴＸｎを印加し、転送スイッチ１０３およびリセットスイッチ１０７をオンにする。そして、垂直走査回路１１２は、ｎラインの左１列目以外のＰＤ１０２とＦＤ１０４に蓄積されている不用電荷を、所定単位毎（ライン毎）に順次リセットを行って除去するリセット動作を行う。

時刻ｔ１２で転送スイッチ１０３がオフになると、ＰＤ１０２で発生した光電荷を所定時間Ｔｉｎｔ１だけ蓄積する蓄積動作が開始される。ここで蓄積動作が開始されるＰＤ１０２は、左１列以外に位置するものであり、左１列に位置するＰＤ１０２については、後述するタイミングで蓄積が開始されることになる。

つぎに、垂直走査回路１１２は、所定時間Ｔｉｎｔ１である所定時間経過後の時刻ｔ１７において、転送パルスφＴＸｎを印加し、転送スイッチ１０３をオンにし、ＰＤ１０２に蓄積された光電荷をＦＤ１０４に転送する転送動作を行う。

なお、この転送動作に先んじて、リセットスイッチ１０７をオフにする必要があり、時刻ｔ１２で転送スイッチ１０３と同時にオフにしている。ここで、左１列以外の画素については、リセット動作終了の時刻ｔ１２から転送終了の時刻ｔ１７までの所定時間Ｔｉｎｔ１が蓄積時間となる。

ｎラインの転送動作終了後、垂直走査回路１１２は、時刻ｔ１８において選択パルスφＳＥＬｎを印加して選択スイッチ１０６をオンにすることにより、ＦＤ１０４に保持されたｎラインの電荷が電圧に変換され、読み出し回路１１３に出力される。読み出し回路１１３で一時的に保持された信号が水平走査回路(ＨＳＲ)１１４によって時刻ｔ１９より順次出力される。

ｎラインでリセットパルスφＴＸｎを印加後、ｎラインの次の行となるｎ＋１ラインに対しても同様の動作が行われる。すなわち、ｎ＋１ラインに対し、所定時間後の時刻ｔ１３に、ｎラインと同様、各ラインに対応したパルス信号の印加が開始され、ｎラインと同蓄積時間となる所定時間Ｔｉｎｔ１で電荷が蓄積された後、その信号が順次出力され、読み出される。さらに、その次の行となるｎ＋２ラインに対しても、時刻ｔ１５に、ｎライン、ｎ＋１ラインと同様の動作が行われる。

一方、左１列目の画素については、一括リセット一括転送で読み出しが行われる。この左１列に位置する所定範囲内の画素の駆動について説明する。まず、特定のラインに限らず、全ライン共通に同時間にリセット動作が行われる。

垂直走査回路１１２は、時刻ｔ１５からｔ１６の期間、リセットパルスφＲＥＳ０と転送パルスφＴＸ０を印加し、左１列に位置する画素の転送スイッチ１０３およびリセットスイッチ１０７をオンにする。そして、垂直走査回路１１２は、ＰＤ１０２とＦＤ１０４に蓄積されている不用電荷を除去するリセット動作を行う。なお、このリセット動作は全ラインで同時刻に行われる。

時刻ｔ１６で転送スイッチ１０３がオフになると、ＰＤ１０２で発生した光電荷を所定時間Ｔｉｎｔ０だけ蓄積する蓄積動作が開始される。

つぎに、垂直走査回路１１２は、所定時間Ｔｉｎｔ０である所定時間経過後の時刻ｔ１７において、転送パルスφＴＸ０を印加し、転送スイッチ１０３をオンにし、ＰＤ１０２に蓄積された光電荷をＦＤ１０４に転送する転送動作を行う。この転送動作も全ラインで同時刻に行われる。

全ライン同時に行われた転送動作の終了、および各ラインからの読み出しのタイミングについては、前述したローリング読み出しが行われた画素と同じである。すなわち、各ラインにおいて、一括リセット一括転送が行われる画素は、一旦ＦＤ１０４に保持されてから、同ライン上にあるローリング読み出しが行われる画素と同タイミングで、一ライン上の画素信号としてＦＤ１０４から読み出し回路１１３に読み出される。こうして得られた画素信号は、ライン毎で読み出し時刻が異なることもなく、全ラインについて蓄積時間、およびその時刻も同じである画素信号となる。

このような駆動動作により、一枚の撮影画像からローリング読み出しが行われた画素の信号と、一括リセット一括転送読み出しが行われた画素の信号が得られる。

信号処理回路８は、このようにして読み出された画素信号の演算処理を行い、フリッカ情報の検出を行う。すなわち、信号処理回路８は、上記演算処理において、左１列に位置する一括リセット一括転送読み出しが行われた画素の出力（画素信号）と、その画素に近接するローリング読み出しが行われた画素の出力（画素信号）との減算処理をライン毎に行う。この減算処理の結果、所定の閾値以上の差があって、この差（差分情報）が順次転送が行われる行のラインに対して垂直方向に周期性を有する場合、信号処理回路８は、フリッカによる影響があると判定する。

フリッカが存在する場合、ライン毎で読み出し時刻に差が発生している画素信号では、その時刻の差によるフリッカがライン毎に乗る。一方、ライン毎で読み出し時刻に差が無い画素信号では、ライン毎にフリッカが乗らない。このため、上記減算処理を行ってその差分情報を算出することにより、フリッカを検出することが可能である。このように、フリッカの検出を容易に行うことができる。また、検出されたフリッカの量をライン毎に画素信号から減ずることで、フリッカの影響を除去することができる。

このように、ＣＭＯＳイメージセンサ３内で画素の駆動方法を異ならせて読み出すことにより、一枚の撮影画像で、その駆動方法による画素の読み出しの時刻の差から得られる、画素出力の差分情報を基に、フリッカ情報の検出が可能となる。

また、上記実施形態においては、一括リセット一括転送読み出しを行う所定範囲内の画素の列を左１列としていたが、これに限られるものではない。つまり、光が導光される有効画素領域以外の画素の列であればよく、有効画素領域外の画素の位置および列数は特に限定されない。これにより、有効画素領域を確保しつつ、フリッカを精度良く検出することができる。

また、列間引きによる画像撮影が行われる撮像装置の場合、間引かれる列を一括リセット一括転送読み出しが行われる画素の列とし、間引かれない列をローリング読み出しが行われる画素の列とする構成としてもよく、同様にフリッカを検出することができる。これにより、有効画素領域を効率的に活用することができ、一括リセット一括転送読み出しが行われる画素領域を有効画素領域とは別に設けなくて済む。

また、行間引きによる画像撮影が行われる撮像装置の場合、間引かれる行を一括リセット一括転送読み出しが行われる画素の行とし、間引かれない行をローリング読み出しが行われる画素の行とする構成としてもよく、同様にフリッカを検出することができる。なお、この場合、垂直走査回路により間引かれる行については、その選択を一度に同タイミングとすることで実現が可能となる。さらに、一括リセット一括転送読み出し用としてのリセットパルスφＲＥＳ０と転送パルスφＴＸ０は必要なくなる。

第２の実施形態の撮像装置は、ＣＭＯＳイメージセンサ３内の画素の読み出し方法として、ローリング読み出しと一括リセット一括転送読み出しとを一枚の撮影画像に対して行わせる。これにより、その駆動方法による画素の読み出しの時刻の差から得られる画素出力の差分情報を基に、フリッカ情報を検出することができる。従って、被写体の状態や撮影シーンに依らず、より短時間でより精度良くフリッカを検出することができる。さらに、検出されたフリッカの影響を除去することが可能である。

なお、本発明は、上記実施形態の構成に限られるものではなく、特許請求の範囲で示した機能、または本実施形態の構成が持つ機能が達成できる構成であればどのようなものであっても適用可能である。

第１の実施形態における撮像装置の構成を示すブロック図である。 ＣＭＯＳイメージセンサ３の概略的構成を示す図である。 ローリング読み出し動作における撮像素子３の駆動を示すタイミングチャートである。 一括リセット一括転送読み出し動作における撮像素子３の駆動を示すタイミングチャートである。 信号処理回路８におけるフリッカ情報検出処理手順を示すフローチャートである。 ＣＭＯＳイメージセンサ３の概略的構成を示す図である。 撮像素子３の駆動動作を示すタイミングチャートである。 ラインフリッカの発生を示す図である。

符号の説明

３ ＣＭＯＳイメージセンサ（撮像素子）
７ 駆動回路
８ 信号処理回路
１０１、２０１ 画素部
１０２、２０２ フォトダイオード（ＰＤ）
１０３、２０３ 転送スイッチ
１０４、２０４ 蓄積領域（ＦＤ）
１０７、２０７ リセットスイッチ

Claims (8)

1. 光電変換により電荷を生成して蓄積する光電変換部と、前記光電変換部で生成された電荷を蓄積する浮遊拡散部と、を有する複数の画素部が二次元に配置された撮像素子を用いた撮像装置であって、
   前記二次元に配置された複数の画素部の前記光電変換部に対し一括でリセットを行う第１のリセットと、前記二次元に配置された複数の画素部の前記光電変換部に対し所定単位毎に順次リセットを行う第２のリセットと、を行うリセット手段と、
   前記第１のリセットが行われてから当該第１のリセットが行われた前記光電変換部に蓄積された電荷を前記浮遊拡散部に一括で転送する第１の転送と、前記第２のリセットが行われてから当該第２のリセットが行われた前記光電変換部に蓄積された電荷を前記所定単位毎に前記浮遊拡散部に順次転送する第２の転送と、を行う転送手段と、
   前記第１の転送を行って得られた画素信号と前記第２の転送を行って得られた画素信号との差分情報に基づいてフリッカを検出する検出手段とを備えたことを特徴とする撮像装置。
2. 前記検出手段は、前記差分情報が所定の閾値以上であって、前記第２の転送において電荷を転送させる前記光電変換部を変更していく方向に当該差分情報が周期性を有する場合、フリッカが発生していると判定することを特徴とする請求項１に記載の撮像装置。
3. 前記差分情報が所定の閾値以上であって、前記第２の転送において電荷を転送させる前記光電変換部を変更していく方向に当該差分情報が周期性を有する場合、フリッカによる影響を低減させる画像処理を行う画像処理手段を備えたことを特徴とする請求項２に記載の撮像装置。
4. 前記画像処理手段は、前記差分情報が前記所定の閾値未満の場合、前記画像処理を行わないことを特徴とする請求項３に記載の撮像装置。
5. 前記画像処理手段は、前記差分情報が前記第２の転送において電荷を転送させる前記光電変換部を変更していく方向に周期性を有していない場合、前記画像処理を行わないことを特徴とする請求項３に記載の撮像装置。
6. 前記リセット手段は、前記第１のリセットでは、前記複数の画素部として、撮影画面内の全ての画素部の前記光電変換部に対し一括でリセットを行い、前記第２のリセットでは、前記撮影画面内の全ての画素部の前記光電変換部に対し順次リセットを行うことを特徴とする請求項１ないし５のいずれか１項に記載の撮像装置。
7. 前記検出手段は、前記撮影画面上の同位置の画素部に対し、前記第１の転送を行って得られた画素信号と前記第２の転送を行って得られた画素信号との差分情報に基づいてフリッカを検出することを特徴とする請求項６記載の撮像装置。
8. 光電変換により電荷を生成して蓄積する光電変換部と、前記光電変換部で生成された電荷を蓄積する浮遊拡散部と、を有する複数の画素部が二次元に配置された撮像素子を用いた撮像装置のフリッカ検出方法であって、
   前記二次元に配置された複数の画素部の前記光電変換部に対し、一括でリセットを行う一括リセットステップと、
   前記一括リセットステップでリセットが行われてから当該リセットが行われた前記光電変換部に蓄積された電荷を前記浮遊拡散部に一括で転送する一括転送ステップと、
   前記二次元に配置された複数の画素部の前記光電変換部に対し、所定単位毎に順次リセットを行う順次リセットステップと、
   前記順次リセットステップでリセットが行われてから当該リセットが行われた前記光電変換部に蓄積された電荷を前記所定単位毎に前記浮遊拡散部に順次転送する順次転送ステップと、
   前記一括転送ステップで転送を行って得られた画素信号と前記順次転送ステップで転送を行って得られた画素信号との差分情報に基づいてフリッカを検出する検出ステップとを有することを特徴とする撮像装置のフリッカ検出方法。