JP4994751B2

JP4994751B2 - 撮像装置

Info

Publication number: JP4994751B2
Application number: JP2006242926A
Authority: JP
Inventors: 全江川
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2006-09-07
Filing date: 2006-09-07
Publication date: 2012-08-08
Anticipated expiration: 2026-09-07
Also published as: JP2008067060A

Description

撮像装置の補正に関する。

近年デジタル一眼レフカメラやビデオカメラにＣＭＯＳ撮像素子が使われてきている。ＣＭＯＳ撮像素子もＣＣＤ撮像素子と同様に多画素化が進みひとつの画素が小さくなることで光信号も小さくなり、Ｓ／Ｎを悪化させない為に低ノイズ化がますます必要となってきている。

図６にＣＭＯＳ撮像素子の１画素６０の回路を示している。６１はフォトダイオード（以下ＰＤとよぶ）であり不図示の撮影レンズによって結像された光画像を受けて電荷を発生し蓄積する。６２は転送スイッチ（以下ＴＸとよぶ）でありＭＯＳトランジスタで構成されている。６４はフローティングディフージョン（以下ＦＤとよぶ）でありコンデンサになっている。ＰＤ６１で蓄積された電荷をＴＸ６２でＦＤ６４に転送して電荷が電圧に変換され，アンプ６５からソースフォロワで出力される。６６は行の選択スイッチであり、垂直線６７に画素出力を出力する。６３はリセットスイッチでＦＤ６４の電位をリセットする。

図７はＣＭＯＳ撮像素子の全体レイアウトである。７２はＶＯＢであり遮光された画素で構成され黒レベルの検出に使われ、暗電流成分あるいは温度変動による出力のオフセット変動の補正に使われる。７１はＨＯＢでありＶＯＢと同様に遮光された画素で構成され、垂直方向のダークシェーディング成分の補正に使われる。ダークシェーディング成分の原因として、暗電流シェーディングがあるが、ＣＭＯＳ撮像素子の固有のものとして電源ラインのインピーダンスによる電圧シェーディングによるものがある。通常垂直のダークシェーディング補正はなだらかであり、かつ傷画素があるとライン傷の要因になる為に、複数の行の出力にローパスフィルターをかけて補正される。

７３は有効画素エリアであり、不図示の撮影レンズで結像された画像を得る。
７５は、ＰＤからの信号（Ｓ信号）とノイズ信号（Ｎ信号）とを差分するＳ−Ｎ回路である。これはＣＭＯＳ撮像素子固有のノイズを除去するものであり、これによりＣＣＤと同等のＳ／Ｎを得ることができるようになっている。

行選択スイッチ６６で選択された行の画素出力に対して、それぞれ信号成分Ｓとノイズ成分Ｎを保持し出力アンプ７４により各画素ごとの信号成分Ｓからノイズ成分Ｎを減算してノイズの無い画素信号が出力される。

ノイズ成分とはＴＸ６２をオフの状態でリセットスイッチ６３でパルスでリセットされたＦＤ６４をアンプ６５、行選択スイッチ６６および垂直線６７を介してＳ−Ｎ回路７５のＮ信号として保持されたものである。ノイズ成分にはＦＤのリセットノイズ、アンプ６５のゲートソース間電圧の画素間ばらつき等がある。

信号成分とはＴＸ６２をパルスでオンにすることでＰＤの電荷をＦＤ６４で電圧に変換してノイズ成分と同様にＳ−Ｎ回路７５でＳ信号として保持される。このときリセットしたときのノイズに加算されることになる。

アンプ７４で読み出すときにＳ信号からＮ信号を引くことで、ノイズ成分がキャンセルされる。
その後、アンプ７４からの信号の黒レベルを基準の黒レベルに合わせる補正を行う。
その後、水平ＯＢ領域のオフセット分（水平ＯＢ領域のレベルと基準の黒レベルとの差）を減算することにより、周波数の高いノイズを抑制することが出来る。
特開２００６−１９１４４９号公報

しかしながら、上記水平ＯＢ領域のオフセット分を減算することのみでは、横線ノイズに対して効果がなかった。

水平ＯＢ領域でキャンセルできない理由は、下記のようなものである。

ノイズ源が電源に載っている場合センサーの電源配線やセンサー基盤そのものがゆれてる。図６の画素６０のＦＤ６４の接地側であるセンサー基盤や周辺の配線からの容量結合で画素からの信号出力に載っており配線で遮光されているＯＢと遮光が無い有効画素で影響の受け方が異なるからである。

図５を使ってより詳しく説明する。これはＣＭＯＳセンサーの断面図であり画素１、画素２、画素３、画素４がある。画素１、画素２はＡＬ３で遮光されているＯＢであり、画素３、画素４は遮光されておらず有効画素となる。ＭＬはマイクロレンズであり光を有効にＰＤに集光している。ＡＬ３、ＡＬ２、ＡＬ１は配線層でありＡＬ３は遮光にも兼用されている。ＴＸ、ＦＤ、ＰＤは第６図の同様である。遮光された画素にはＡＬ３が広くある為にＦＤに対して容量結合など有効画素とはことなる影響を与えている。

電源等のノイズの影響を受ける度合いは、実験的に有効画素はＯＢ画素の約０．４〜０．８倍程度である。これはレイアウトに依存する。

すなわち前述のＯＢ部のオフセット分をそのまま減算した場合過補正となり横縞ノイズに対して効果が無いように見えたわけである。

図４（Ａ）（Ｂ）（Ｃ）を使って説明する。各グラフは縦軸はセンサーの縦方向を示しており横軸は黒レベルからのセンサーのＯＢ部のオフセットを示す。（Ｂ）が光が無い状態の有効部の出力のＶ方向ダークシェーディングをしめす。緩やかな変化分が回路インピーダンス等によるものであり（Ｃ）に示されＡＦＥ２の水平ＯＢクランプによって除去される、細かい変化は電源のノイズが画素のＦＤ６４に載ったものである。（Ａ）はＯＢ部のＶ方向ダークシェーディングであり、実線は（Ｂ）とおなじ有効部を示し、破線はＯＢの挙動を示す。緩やかなシェーディングは有効部と同じであるが細かい変化の振幅が有効部より大きく発生していることがわかる。

上記課題を解決するために、本発明の撮像装置は、遮光されていない複数のフォトダイオードからなる有効画素部と、遮光された複数のフォトダイオードからなるＯＢ画素部とを有する撮像素子と、前記ＯＢ画素部の出力信号の平均値から基準黒レベルを減算することでオフセット値を求め、前記オフセット値に撮像素子の構造で決まる電源ノイズの影響を受ける度合いに応じた係数を掛けることで補正量を算出し、前記補正量に基づいて前記有効画素部からの信号を補正する補正手段と、を備えたことを特徴とする。

本発明によれば、電源の振られ等による画素出力への影響がＯＢ部と有効部で異なることを加味して補正することで、いままで除去できなかった横線ノイズが除去できるようになった。また、センサー内の回路インピーダンス等で発生するダークシェーディングのクランプと独立で設けたことで、ダークシェーディングも除去できるようになっている。

（実施例１）
図１は撮像装置の全体ブロック図である。
図１はＣＭＯＳ撮像素子である。図５、図６、図７の構成を備えており不図示の撮影レンズで結像された画像をとりこむ。２は一般的なアナログフロントエンド（ＡＦＥ）でり、図２に内部構成を示す。２１はゲインコントロールアンプであり感度調整に使われる、２４は水平ＯＢクランプ機能であり各ラインのＯＢ出力と黒レベルとのオフセットに徐々に追随させている。これは本来微小かつゆるやかなダークシェーディングを補正するものであり、ＯＢ部のノイズに影響を受けないように設定されている。また、ここでの補正はＡＭＰ２１にフィードバックされており、補正量はラインが進むにつれて積分されていくためゆるい変化にだけ追従することになる。２３はアナログデジタル変換（ＡＤ）であり、ＣＭＯＳ撮像素子１からの画素信号をＡＭＰ２１と水平ＯＢクランプ２４で水平ＯＢを黒レベルに合わせてゲインをかけたアナログ信号を例えば１４ｂｉｔのデジタル信号に変換する。

３はデジタルフロントエンド（ＤＦＥ）であり、各画素のデジタル出力を受けて画像信号の補正や画素の並び替え等をデジタル処理している。

５は画像処理装置であり、現像処理を行い表示回路８に画像を表示したり制御回路６を介して記録回路９に記録したりする。記録回路にはコンパクトフラッシュ（登録商標）メモリーなどがある。メモリー手段４は画像処理装置５の現像段階での作業用メモリーに使われたり、また撮像が続いて行われて現像手段が間に合わないときのバッファーメモリーとしても使われる。７は操作部材であり、デジタルカメラにある操作部材を電気的に受け付けるものである。１０はタイミング発生回路であり、ＣＭＯＳ撮像素子１を駆動する各種タイミングを作っている。

図３にＤＦＥ３の内部構成を示す。ここでは本実施例を構成する部分のみ記載している。
３１はラインごとに水平ＯＢを構成する画素出力を平均している。一般的なデジタル処理回路を構成しており、不図示のレジスターにＯＢ画素の開始位置と終了位置を設定することでデジタル加算平均される。平均することによって画素ごとのランダムノイズの影響を小さくする効果がある。

３２は次の動作を行う。３１で求めた平均値からシステムで決まる基準黒レベルを減算する。それにより、３１で求めた平均値に対して、システムで決まる基準黒レベルであるデジタル値からのオフセットが算出される。さらに求めたオフセット値にたいしてＣＭＯＳ撮像素子の構造で決まる係数（０．４〜０．８）をかけてあらたに補正量を算出する。

ここで処理されているのは図４（Ａ）から（Ｃ）を水平ＯＢクランプ２４で除去したのこりの細かい変化についてである。すなわち（Ａ）の破線の細かい変化を３１の平均でもとめ、３２で係数をかけることで（Ｂ）の有効部の細かい変化に等価な補正量を求めている。３３は３２で得られた補正量で有効部の画素出力を補正減算して出力いる。これらは行ごとに行われる。
以上ハードでの処理を説明したが、デジタル処理なので、ソフトで上記ＤＦＥ３で行った処理を行ってもよい。

図８に動作フローチャートを示す。回路ブロックとしては図１においてＤＦＥ３を削除したものとなる。ソフトで本発明を実施する場合には、画像の読み出しの早さにリアルタイムで処理することは難しいので、一度メモリー回路４に記憶された画像データに対してソフト処理することになる。ソフトは制御回路６の動作を示すもので、メモリー回路４の画像データを画像処理装置５を介してリード／ライトを行う。

ステップ１では不図示のシャッターでＣＭＯＳ撮像素子１に露光を行う。ステップ２にでは不図示のシャッターを閉じて、ＣＭＯＳ撮像素子から信号をＡＦＥ２でデジタル信号に変換して、ステップ３でＤＦＥ３と画像処理装置５を介して、メモリー回路４に記憶する。ステップ４から本実施例の補正処理が行われる。ステップ５で行番号をあらわすｎを０に初期化する。ステップ６でｎを１インクリメントする。ステップ７ではメモリー回路４に記憶された画像信号のｎ行の画像信号の遮光された画素であるＯＢの信号を平均化する。平均する効果はランダムノイズや傷画素の影響の低減である。ステップ８では黒の基準レベルからのオフセットを求める。ステップ９ではステップ８で求めたオフセットに係数をかけて演算する。ここで係数とはＣＭＯＳ撮像素子のレイアウトに依存するもとであり、０．４から０．８である。ステップ１０では同一の行の有効画素信号に対して、ステップ９でもとめたオフセットを減算して、メモリー回路４に書き込む。ステップ１１ではすべての画像信号に対して処理が行われたかを行ｎをみて判断しており、終了していなければステップ６に戻り、終了していればステップ１２に進み、次の処理であるところの現像処理を行う。

また、水平ＯＢクランプ２４との違いは、水平ＯＢクランプ２４ではオフセットに対して数％程度をＡＤ２３の入力にフィードバックして積分していることになり複数行でＬＰＦをかけていることと同じである。そのため、ある程度ゆるい周期であれば追従するため係数は１となってしまう。

本実施例はラインごとに独立で行われかつフィードバックを掛けていないのでゆるい周期であっても係数は常に一定となり１とならない。

撮像装置の全体ブロック図である。アナログフロントエンドのブロック図である。デジタルフロントエンドのブロック図である。垂直方向のダークのシェーディングを説明する図である。ＣＭＯＳ撮像素子の断面図である。ＣＭＯＳ撮像素子の１画素の回路図である。ＣＭＯＳ撮像素子の全体レイアウトである。本発明の第二の実施例であるところのフローチャートである。

符号の説明

１ＣＭＯＳ撮像素子
２アナログフロントエンド
３デジタルフロントエンド
４メモリ
５画像処理装置

Claims

遮光されていない複数のフォトダイオードからなる有効画素部と、遮光された複数のフォトダイオードからなるＯＢ画素部とを有する撮像素子と、
前記ＯＢ画素部の出力信号の平均値から基準黒レベルを減算することでオフセット値を求め、前記オフセット値に撮像素子の構造で決まる電源ノイズの影響を受ける度合いに応じた係数を掛けることで補正量を算出し、前記補正量に基づいて前記有効画素部からの信号を補正する補正手段と、
を備えたことを特徴とする撮像装置。