JP2008109639A - 撮像装置および撮像方法 - Google Patents

Abstract

【課題】ＣＣＤ固体撮像素子を用いた固体撮像装置において、白キズ等のＣＣＤ固体撮像素子の暗電流の影響を受けない様に、垂直スメアを低減する。
【解決手段】固体撮像素子の受光面の有効画素より先に読み出すの４ラインの垂直遮光画素から取得した信号の画面垂直方向の暗電流むらを補正してから、垂直遮光画像４ラインの各垂直画素信号の最小値から２番目の値を算出し、垂直スミア補正信号として記憶し、画像ＡＧＣに合わせて利得を可変して固体撮像素子の受光面の有効画素から出力されるＡＧＣ後の画像信号から減算する。また、前記固体撮像素子から出力される信号を１４ビットにＡ／Ｄ変換して前記代表値信号を算出して１５／１６に減衰して、前記固体撮像素子の受光面の有効画素から出力される画像信号から減算する。
【選択図】図１Ａ

Description

本発明は、固体撮像素子を有する撮像装置に関し、撮像素子から出力される画像信号に含まれる雑音を低減する方法に関するものである。

ＣＣＤ（Charge Coupled Device）撮像素子は固体撮像素子の中でも感度が高く白キズが少ないが、高感度撮像時は白キズが多い。また、ＣＣＤ撮像素子はスポット光のような高輝度被写体を撮像した場合に、スポット光を撮像した画素のフォトダイオードから垂直転送路に過剰電荷が漏れ込み、高輝度被写体を撮像した画素と同じ垂直方向の画素すべてにスポット光の照度に比例した画像信号が重畳されて、垂直スミアとよばれる白い縦線が発生する。ＣＣＤ撮像素子に撮像面の外側に蓄積面を設けて、垂直転送を高速化すれば、垂直スミアは低減する。しかし、蓄積面を設ければ、ＣＣＤ撮像素子面積が倍増し、高価格化する。垂直転送を高速化すれば、消費電力も倍増し、白キズが増加する。さらにＣＣＤ撮像素子の近赤外感度を高くすると、フォトダイオードが深くなり白キズが増加する。

そこで、従来、光学的黒画素部分の白キズの影響を低減するため、ＣＣＤ撮像素子の垂直方向の光学的黒画素（Vertical-Optical Black以下Ｖ−ＯＢ）部分の１２ラインの出力の各垂直画素信号を平均し、１ライン分の信号として記憶し、この固体撮像素子の有効画素部分の出力信号よりこの記憶した信号を減算していた。（特許文献１参照）
また、デジタル信号処理回路の集積化が進み、複数ラインの出力信号を記憶し算術処理することが、映像専用のメモリ集積ＤＳＰだけでなく、安価な汎用のＦＰＧＡ(Field Programmable Gate Array)でも容易に実現できる様になった。

さらに、ＣＣＤから出力された信号から雑音を除去するＣＤＳ（Correlated Double Sampling）と暗電流補正と利得可変増幅回路（Automatic Gain Control以下ＡＧＣ）とデジタル映像信号Ｖｉに変換するＡＤＣ（Analog Digital Converter）とを内蔵したＦＥＰ（Front End Processor）が普及し、ＦＥＰのＡＤＣ階調は従来１０ビットだったが、１２ビットや１４ビットが一般化し、１６ビットも製品化された。ＡＤＣを２２ビットとし、ＡＧＣをＡＤＣの後に配置したＦＥＰも製品化された。

さらに、電子増倍型ＣＣＤ撮像素子（Electron Multiplying-ＣＣＤ以下ＥＭ−ＣＣＤ）は、電子冷却部と組み合わせて感度を高くできるため、可視光と近赤外光の夜間の撮影用の照明なしの準動画監視が可能となった。
特開平０７−０６７０３８号公報

ＣＣＤ撮像素子の高感度化と画素数の増加とに強く相関して暗電流むらが大きくなり白キズや暗部むらのレベルが大きくなり易い。特に、高感度用またはＨＤＴＶ（High Definition TeleVision）用のＣＣＤ撮像素子は、厳しく選別したＣＣＤ撮像素子以外は白キズや暗部むらのレベルが大きいＣＣＤ撮像素子を用いている。また、ＨＤＴＶでは、（上側または下側の）垂直帰線期間が（１１２５（走査線総数）―１０８０（有効走査線数））／２＝２２．５本分の走査に相当する時間と短く、Ｖ−ＯＢ画素部分のライン数は上側が1ラインで下側が３ライン等多くの領域をとることができない。

そのため、ＣＣＤ撮像素子のＶ−ＯＢ部分のラインの出力信号を複数ラインで平均しても、白キズ成分が残留する。さらに、白い縦筋の垂直スミア低減のため、有効画素部分の出力信号から、この平均した信号を減算すると、黒い縦筋が発生してしまう。

また、ＣＣＤ撮像素子のＶ−ＯＢ部分のラインの出力信号を水平方向に平均すると白キズ成分の影響は減少するが、垂直スミア補正の過不足の誤差分が増加するので、減算処理を行っても白い縦筋が残り黒い縦筋が発生してしまう。

さらに、ＣＣＤ固体撮像素子の垂直スミア成分は画像信号が飽和しても増加するので、画像信号が飽和に応じて垂直スミア補正のレベルを可変しないと、垂直スミア補正の過不足の誤差分が増加するので、減算処理を行っても白い縦筋が残り黒い縦筋が発生してしまう。

特にＥＭ−ＣＣＤは感度を高くできるが、スミア成分は多い画像信号を生成する。さらに、画像信号が高レベルに及ぶため、信号回路で飽和し易い。そのＥＭ−ＣＣＤを電子冷却しても、高感度動作時は、白キズや暗部むらのレベルが大きい。その結果、垂直スミア補正の過不足の誤差分が増加して、白い縦筋が残り黒い縦筋が発生してしまう。その結果、高輝度の外部照明光が直接画面に入る夜間監視の障害となっている。

本発明の目的は、厳しく選別した白キズや暗部むらが少ないＣＣＤ撮像素子を用いることなく、ＣＣＤ撮像素子から出力される垂直スミアの補正の過不足の誤差分の白い縦筋や黒い縦筋を低減することにある。

本発明は、上記課題を解決するため、固体撮像素子と該固体撮像素子の受光面の有効画素から出力される画像信号を取得する第１の取得部と固体撮像素子の受光面の上部または下部の遮光した画素から出力される信号を取得する第２の取得部とを有する固体撮像装置において、第２の取得部で取得した遮光した画素から出力される信号の複数ラインの各垂直画素信号の最小値からＮ（Ｎは自然数）番目の値、最大値からＭ（Ｍは自然数）番目の値以下の値の平均値、または他の最大値からＭ番目の値以下の値から算出される代表値信号の少なくとも１つを算出し、第１の取得部で取得した有効画素から出力される画像信号から代表値信号を減算する。

上記において、前記固体撮像素子の受光面の上部または下部の遮光した画素の多い片方の垂直ライン数が、例えば、２、３、４のいずれかである。

さらに上記において、画像信号の垂直暗部むら補正部を有し、前記固体撮像素子の受光面の上部または下部の遮光した画素から出力される信号を垂直暗部むら補正してから、代表値信号を算出する。

また上記において、前記固体撮像素子から出力される信号を１２ビット以上例えば１４ビットにＡ／Ｄ変換して代表値信号を算出して、３／４以上１未満例えば１５／１６に減衰して固体撮像素子の受光面の有効画素から出力される画像信号から減算する。

さらに上記において、前記固体撮像素子から出力される信号を、前記撮像装置から出力する信号のビット数よりもｐビット以上高い解像度でＡ／Ｄ変換して前記代表値信号を算出して、（２＾ｐ−ｓ）／（２＾ｐ）以上１未満の間のいずれかの値で減衰して前記固体撮像素子の受光面の有効画素から出力される画像信号から減算し、ここで、ｐとｓは自然数であり、ｓはｐより小さい例えばｓ＝１である。

また上記において、前記固体撮像素子から出力される信号をｑビット（ｑは自然数）冗長してＡ／Ｄ変換して前記代表値信号を算出して、前記代表値信号を線形処理できる範囲で減衰して前記固体撮像素子の受光面の有効画素から出力される画像信号から減算する。

また、撮像装置であって、撮像素子と、該撮像素子の受光面の有効画素から出力される画像信号を取得する第１の取得部と、前記撮像素子の受光面の上部または下部の遮光した画素から出力される信号を取得する第２の取得部とを有し、前記第２の取得部で取得した遮光した画素から出力される信号の複数ラインの各垂直画素信号の最小値からＮ（Ｎは自然数）番目の値、最大値からＭ（Ｍは自然数）番目の値以下の値の平均値、または他の最大値からＭ番目の値以下の値から算出される代表値信号の少なくとも１つを算出し、前記第１の取得部で取得した有効画素から出力される画像信号から前記代表値信号を減算することを特徴とする撮像装置である。

さらに上記において、前記垂直画素信号の値と所定の基準値とを比較する比較部と、前記比較部で比較した値結果に基づく値を記憶するメモリ部と、を有し、前記メモリ部に記憶された値に基づいて前記代表値信号が算出されることを特徴とする撮像装置である。

さらに上記において、前記メモリ部に記憶された結果に基づく値を加算する加算部と、前記加算部で加算された総和から平均値を算出する平均化部と、を有し、前記平均値に基づいて前記代表値信号が算出されることを特徴とする撮像装置である。

上記の様に本発明によれば、遮光したＶ−ＯＢの複数ラインの各垂直画素信号の最小値からＮ番目の値等の最大値からＭ番目の値の影響を除く代表値を算出することにより、Ｖ−ＯＢのライン数が少なく、白キズや暗部むらのレベルが大きい選別していないＣＣＤ撮像素子でも、白キズなどのＣＣＤ撮像素子の大きい暗電流成分を排除した垂直スミア補正信号を検出できる。さらに、垂直スミア補正信号を水平方向に平均しないで画像信号から減算することにより、垂直スミア補正の過不足の誤差分が減少して白い縦筋と黒い縦筋が目立たない画像信号が得られる。

また、ＣＣＤ固体撮像素子のスミア成分は画像信号が飽和しても増加するので、スミア成分補正の画像信号は、飽和領域まで達すると非線形特性を考慮する必要がある。そこで、スミア成分補正の画像信号の線形領域の傾斜を幾分減衰させた線形信号で近似して、飽和領域まで線形信号で処理する。例えば、４ビット分高い解像度でＡ／Ｄ変換できれば、２の４乗＝１６倍の余裕に相当する。従って、これを幾分減衰させた１５／１６という値にする。１６ビットにＡ／Ｄ変換した場合は６ビット分の余裕ができるので、遮光画素代表値を６３／６４に減衰して減算することができ、画像信号の飽和に対応する処理の必要性が実用上なくなる。

その結果、Ｖ−ＯＢ画素部分のライン数が少ないＨＤＴＶのＣＣＤ撮像素子や、垂直スミアも白キズも多いＥＭ−ＣＣＤを使用しても、安定に垂直スミアが低減でき、画質が改善される。

本発明による撮像装置の一実施例の概要を、本発明の一実施例の全体構成の撮像装置を示すブロック図の図１Ａ−１Ｆと本発明の１実施例や従来技術でのＶ−ＯＢでのスミア値の検出を示す画面の模式図の図４Ａ−４Ｆとを用いて説明する。その後、本発明の幾つかの一実施例の動作を、本発明の一実施例の全体構成の撮像装置を示すブロック図の図１Ａ−１Ｆをと本発明の一実施例の代表値検出フローチャートの図２Ａ−２Ｆとを用いて説明する。

本発明の一実施例の全体構成の撮像装置を示すブロック図の図１Ａ−１Ｆにおいて、図１ＡはＶ−ＯＢが３ライン以上で最小値から２番目の値（３ラインで中央値）を検出する場合で、図１ＢはＶ−ＯＢが５ライン以上で最小値から３番目の値（５ラインで中央値）を検出する場合で、図１ＣはＶ−ＯＢが２ライン以上で最小値を検出しデジタルＡＧＣする場合で、図１ＤはＶ−ＯＢが３ライン以上で最大値除く平均値を検出する場合で、図１ＥはＶ−ＯＢが４ライン以上で最大値と最小値除く平均値を検出する場合で、図１ＦはＶ−ＯＢが４ライン以上で最大値と２番目に大きい値除く平均値を検出する場合である。本発明の一実施例の代表値検出フローチャートの図２Ａ−２Ｆにおいて、図２ＡはＶ−ＯＢ最小値から２番目の値を検出する場合で、図２ＢはＶ−ＯＢ最小値から３番目の値を検出する場合で、図２ＣはＶ−ＯＢ最小値を検出する場合で、図２ＤはＶ−ＯＢが最大値除く平均値を検出する場合で、図２ＥはＶ−ＯＢ最大値と最小値除く平均値を検出する場合で、図２ＦはＶ−ＯＢ最大値と２番目に大きい値を除く平均値を検出する場合である。

本発明の一実施例の全体構成の撮像装置を示すブロック図の図１Ａ―１Ｆの特徴は、比較部とラインメモリ部とにより、最大値または２番目に大きい値を除きＣＣＤ撮像素子の白キズの影響を削除している事である。

本発明の１実施例や従来技術でのＶ−ＯＢでのスミア値の検出を示す画面の模式図の図４Ａ−４Ｆと本発明の１実施例や従来技術でのＶ−ＯＢでのスミア値の検出を示す模式表図の図３Ａ，３Ｂ，３Ｃ，３Ｄ，３Ｅ，３Ｆがそれぞれ図１Ａ，１Ｂ，１Ｃ，１Ｄ，１Ｅ，１Ｆに対応している。図１Ａ、１ＤはＶ−ＯＢが３ラインで、図１ＢはＶ−ＯＢが５ラインで、図１ＣはＶ−ＯＢが２ラインで、図１Ｅ、１ＦはＶ−ＯＢが４ラインである。なお、図４Ａ―図４Ｆは画面の模式図であり、ＣＣＤ撮像面は、画面と上下左右が反転している。

図３ＣのようにＶ−ＯＢが２ラインの中に信号値２１の白キズがあると、平均値は１１．５と特に大きく、スミア補正で誤差が特に大きいことが判る（以下、本実施例では白キズと判定される最大信号値のレベルを２１として説明を続ける）。図３Ａ、３ＤのようにＶ−ＯＢが３ラインの中に信号値２１の白キズがあると、平均値は９となり、中央値４や最大値を除く平均値３から大きく異なる値である。図３Ｅ、３Ｆのように、Ｖ−ＯＢが４ラインの中に信号値２１の白キズがあると、平均値は８となり、最大値を除く平均値３．６７から大きく異なる値である。図３Ｂのように、Ｖ−ＯＢが５ラインの中に信号値２１の白キズがあると、平均値は７となり、中央値４や最大値を除く平均値３．５から大きく異なる値である。よって、平均値はＶ−ＯＢのライン数が少し多くなってもスミア補正で誤差が大きいことが判る。図３Ａ―３Ｆでは、本実施例の最小値は２で、中央値や最大値を除く平均値より１から２小さいが、従来の平均値の７から１１．５ほど大きな誤差がない。最小値はＶ−ＯＢのライン数が２と少ない場合でも従来のＶ−ＯＢが５ラインの平均値よりスミア補正の誤差が少なく、実用的なことが判る。

本発明の一実施例の全体構成の撮像装置を示すブロック図の図１Ａ―１Ｆにおいて、１は撮像装置、２は入射光を結像するレンズ等の光学系、３は光学系２から入射した光を電気信号に変換するＣＣＤやＥＭ−ＣＣＤ等のＣＣＤ撮像素子、４はＣＣＤ撮像素子３から出力された信号から雑音を除去するＣＤＳと暗電流補正と信号の利得を調整するＡＧＣとデジタル映像信号Ｖｉに変換するＡＤＣからなるＦＥＰ（但し、図１Ｃや１Ｅのように、ＡＧＣが、ＦＥＰに含まれない構成を用いてもよい。）、５はデジタル映像信号ＶｉからのＯＢ代表値信号を減算してスミア成分の補正を行うスミア補正部、６はデジタル映像信号ＶｉのＶ−ＯＢの代表値信号の検出を行うＯＢ代表値検出部であり、２１〜２３はデジタル映像信号ＶｉのＶ−ＯＢラインの画素ごとに比較する比較部で、７１〜７６はＯＢ代表値を記憶するラインメモリであり、１１は映像信号から代表値信号を減算する減算器である。７は検出スミア補正部５から出力された信号Ｖｍに種々の画像処理を施しＮＴＳＣ（National Television System Committee）方式またはＰＡＬ（Phase Alternating by Line）方式の複合映像信号（Video Burst Sync以下ＶＢＳ）またはＳＤＩ（Serial Digital Interface）映像信号、あるいはＨＤＴＶのＳＤＩ（ＨＤ−ＳＤＩ）等の所定方式の映像信号に変換して出力する映像信号処理部、８はＥＭ−ＣＣＤ３の駆動および電子増倍の利得制御を行うためのＣＣＤ駆動部（または、ＴＧと標記する）であり、ＥＭ―ＣＣＤを駆動するタイミング信号を生成するタイミングジェネレータ（ＴＧ）と、生成されたタイミング信号を駆動するドライバとを主に備えており、９は撮像装置１内の各部を制御するＣＰＵ（Central Processing Unit）である（ＣＰＵから各部への制御線は図示せず）。１０は、デジタルＡＧＣ（Ｄ．ＡＧＣ）であり、ＯＢ代表値信号をＦＥＰのＡＧＣの増幅度に合わせてＤ．ＡＧＣ自身の増幅度を調節する。

次に、本発明の一実施例の動作を図１Ａ―１Ｆを参照しつつ説明する。撮像装置１のＥＭ−ＣＣＤ３（またはＣＣＤ３）は光学系２で受光面に結像された入射光をフォトダイオードで光電変換して信号電荷を生成し、垂直転送したのち水平転送しながら信号電荷を電子増倍してＦＥＰ４に出力する。ＦＥＰ４はＥＭ−ＣＣＤ３から出力された信号から雑音を除去し暗電流成分を補正し補正した信号を増幅してデジタル映像信号Ｖｉに変換してスミア補正部５にデジタル映像信号Ｖｉを出力する。デジタル映像信号Ｖｉは、スミア補正部５を介してＯＢ代表値検出部６に送られると共に、後述する信号処理を行うために減算器１１にも送られる。ＯＢ代表値検出部６はデジタル映像信号Ｖｉを比較部２１〜２３でＶ−ＯＢラインの垂直画素信号ごとに比較し小さい順にラインメモリ７１〜７６に記憶し、スミア成分としてＯＢ代表値信号を検出する。

あるいは、図１Ｄ−１Ｆに示す実施例のように、比較部２１，２２とラインメモリ７２，７５，７６とを用いて所定の基準を満たすＶ−ＯＢラインの垂直画素信号を選び、その選ばれた垂直画素信号を加算部１３を用いて加算を行い、加算結果をラインメモリ７１に記憶し、平均化部１２で平均値としてのＯＢ代表値信号を算出するように構成してよい。

スミア補正部５はＯＢ代表値信号をＦＥＰのＡＧＣの増幅度に合わせてＤ．ＡＧＣ１０で増幅し、減算器１１はその増幅した信号をデジタル映像信号Ｖｉから減算し、映像信号処理部７にデジタル映像信号Ｖｍを出力する。映像信号処理部７はデジタル映像信号Ｖｍに種々の画像処理を施し所定方式の映像信号Ｖｏに変換して出力する。

さらに、ＣＣＤ駆動部（ＴＧ）８はＣＰＵ９から出力される制御信号（図示せず）に従ってＥＭ−ＣＣＤ３を駆動するための信号を出力する。図１Ｃや図１Ｅに示す実施例ではＦＥＰ４にＡＧＣがないので、スミア補正部５でデジタル映像信号ＶｉからＯＢ代表値信号を減算してからのデジタルＡＧＣをおこなうように構成されている。

また、図１Ａ―１Ｆで示す実施例において、ＦＥＰ内にＡＧＣが含まれていない実施例や、スメア補正部のＤ．ＡＧＣの配置場所が異なる実施例や、デジタル信号ＶｉやＶｍのビット数やＯＢ代表値信号のビット数が異なる実施例や、比較部やラインメモリ部の構成が異なる実施例等があるが、これらは一実施例にすぎず種々の構成が適用されてよい。

次に、図１Ａ−１Ｆと図２Ａ−２Ｆと図３Ａ−３Ｆと図４Ａ−４Ｆとを用いて垂直スミア信号の検出と補正の動作について説明する。

まず、図１Ａ、図２Ａ、図３Ａ、図４Ａに示す実施例について説明する。ＣＰＵ９は、ラインメモリ部７２、７３に最小値信号の上限値、２番目に小さい信号の上限値をそれぞれ設定しておく。ここで、これらの上限値は、例えば、信号の輝度を数値化したものを用いてよい（以下で述べる各値についても、同様の基準で数値化されたものである）。比較部２１は、ラインメモリ部７２に記憶されている上限値とＶ−ＯＢ領域の１ライン目（以下Ｖ−ＯＢ１）の映像信号の画素の値とを各画素間で比較し、値が小さい方の信号（Ｖ−ＯＢ１の映像信号）を各画素の最小値の信号としてラインメモリ部７２に記憶する（ステップ２１，２２）。比較部２１は、Ｖ−ＯＢ２の映像信号の画素の値とラインメモリ部７２に最小値の信号の値とを各画素間で比較し、値が小さい方の信号をラインメモリ部７２に各画素の最小値の信号として記憶する。値が大きい方の信号は比較部２２に送られる。比較部２２は、大きい方の信号の値と２番目に小さい信号としてラインメモリ部７３に記憶されている上限値とを各画素間で比較し、小さい方の信号を各画素の２番目に小さい信号としてラインメモリ部７３に記憶する（ステップ２３）。同様に、比較部２１は、Ｎライン目（Ｎは３以上の自然数）のＶ−ＯＢＮの映像信号の画素の値とメモリ部７２の最小値とを各画素間で比較し、値が小さい方の信号を各画素の最小値の信号としてラインメモリ部７２に記憶する。値が大きい方の信号は各画素の比較1の信号として、比較部２２に送られる（ステップ２４）。比較部２２は、２番目に小さい信号の値と比較1の信号の値とを各画素間で比較し、値が小さい方の信号を各画素の２番目に小さい信号としてラインメモリ部７３に記憶する（ステップ２５）。比較部２２が最後のＶ−ＯＢの比較処理を終了すると、ラインメモリ部７３は、２番目に小さい信号をスミア補正用のＯＢ代表値信号としてスメア補正部５に出力し（ステップ２６）、代表値検出処理が終了する（ステップ２７）。

次に、図１Ｂ、図２Ｂ、図３Ｂ、図４Ｂに示す実施例について説明する。ＣＰＵ９は、ラインメモリ部７２、７３、７４に最小値信号の上限値、２番目に小さい信号の上限値、３番目に小さい信号の上限値をそれぞれ設定しておく。比較部２１は、ラインメモリ部７２に記憶されている上限値とＶ−ＯＢ１の映像信号の画素の値とを各画素間で比較し、値が小さい方の信号（Ｖ−ＯＢ１の映像信号）を最小値の信号としてラインメモリ部７２に記憶する（ステップ２１，２８）。比較部２１は、最小値の信号の値とＶ−ＯＢ２の映像信号の画素の値とを各画素間で比較し、値が小さい方の信号を各画素の最小値の信号としてラインメモリ部７２に記憶する（ステップ２９）。比較部２２は、大きい方の信号の値と各画素の２番目に小さい信号としてラインメモリ部７３に記憶された上限値とを各画素間で比較し、値が小さい方の信号を2番目に小さい信号としてラインメモリ部７３に記憶する（ステップ２９）。比較部２１は、ラインメモリ部７２に記憶された信号の値とＶ−ＯＢ３の映像信号の値とを各画素間で比較し、値が小さい方の信号を各画素の最小値の信号としてラインメモリ部７２に記憶する。値が大きい方の信号は、比較1の信号として、比較部２３に送られる（ステップ３０）。比較部２２は、ラインメモリ部７３に記憶されている２番目に小さい信号の値と比較1の信号とを各画素間で比較し、値が小さい方の信号を各画素の２番目に小さい信号としてラインメモリ部７３に記憶する。比較部２３は、値が大きい方の信号と３番目に小さい信号としてラインメモリ部７４に記憶された上限値とを各画素間で比較し、値が小さい方の信号を各画素の３番目に小さい信号としてラインメモリ部７４に記憶する（ステップ３１）。同様に、Ｎライン目（Ｎは４以上の自然数）のＶ−ＯＢＮの映像信号の画素の値とラインメモリ部７２の最小値とを各画素間で比較し、値が小さい方の信号を各画素の最小値の信号としてラインメモリ部７２に記憶する。値が大きい方の信号は各画素の比較１の信号として、比較部２２に送られる（ステップ２４）。比較部２２は、２番目に小さい信号の値と比較1の信号の値とを各画素間で比較し、値が小さい方の信号を各画素の２番目に小さい信号としてラインメモリ部７３に記憶する。値が大きい方の信号は、各画素の比較２の信号して比較部２３に送られる（ステップ３２）。比較部２３は、３番目に小さい信号の値と比較２の信号の値とを各画素で比較し、値が小さい方の信号を各画素の３番目に小さい信号としてラインメモリ部７４に記憶する（ステップ３３）。比較部２３で最後のＶ−ＯＢの比較が終了すると、ラインメモリ部７４は、３番目に小さい信号をスミア補正用のＯＢ代表値信号としてスメア補正部５に出力し（ステップ３４）、代表値信号検出処理が終了する（ステップ２７）。

さらに、図１Ｃ、図２Ｃ、図３Ｃ、図４Ｃに示す実施例について説明する。ＣＰＵ９は、ラインメモリ部７２に最小値信号の上限値を設定しておく。比較部２１は、上限値とＶ−ＯＢ１の映像信号の画素の値とを各画素間で比較し、値が小さい方の信号（Ｖ−ＯＢ１の映像信号）を最小値の信号としてラインメモリ部７２に記憶する（ステップ２１，３５）。比較部２１は、最小値の信号の値とＶ−ＯＢ２の映像信号の画素の値とを各画素間で比較し、値が小さい方の信号を最小値の信号としてラインメモリ部７２に記憶する（ステップ３６）。同様に、比較部２１は、Ｎライン目（Ｎは３以上の自然数）のＶ−ＯＢＮの映像信号の画素の値と最小値の信号の値とを各画素間で比較し、値が小さい方の信号を最小値の信号としてラインメモリ部７２に記憶する（ステップ３７）。比較部２１が最後のＶ−ＯＢの比較処理を終了すると、ラインメモリ部７２は、最小値の信号をスミア補正用のＯＢ代表値信号としてスメア補正部５に出力し（ステップ３８）、代表値検出処理が終了する（ステップ２７）。

また、図１Ｄ、図２Ｄ、図３Ｄ、図４Ｄに示す実施例について説明する。ＣＰＵ９は、ラインメモリ部７１の値を０、ラインメモリ部７５の値を信号の下限値に設定しておく。比較部２１は、下限値とＶ−ＯＢ１の映像信号の値とを各画素間で比較し、値が大きい方の信号（Ｖ−ＯＢ１の映像信号）を各画素の最大値の信号としてラインメモリ部７５に記憶する（ステップ２１，３９）。比較部２１は、最大値の信号とＶ−ＯＢ２の映像信号の画素の値とを各画素間で比較し、値が大きい方の信号を最大値の信号としてラインメモリ部７５に記憶する。加算部１３は、値が小さい方の信号を中間値としてラインメモリ部７１に加算記憶する（ステップ４０）。同様に、比較部２１は、Ｎライン目のＶ−ＯＢＮ（Ｎは３以上の自然数）の映像信号の画素の値と最大値の信号とを各画素間で比較し、値が大きい方の信号を最大値の信号としてラインメモリ部７５に記憶する。加算部１３は、値が小さい方の信号を中間値としてラインメモリ部７１に加算記憶する（ステップ４１）。比較部２１が最後のＶ−ＯＢの比較処理を終了すると、ラインメモリ部７１は、平均化部１２に加算記憶した値を出力する。平均化部１２は、中間値の信号を１／（Ｎ−１）に減衰して平均値を算出しスミア補正用のＯＢ代表値信号としてスメア補正部５に出力し（ステップ４２）、代表値検出処理が終了する（ステップ２７）。

また、図１Ｅ、図２Ｅ、図３Ｅ、図４Ｅに示す実施例について説明する。ＣＰＵ９は、ラインメモリ部７１の値を０、ラインメモリ部７２の値を信号の上限値に設定しておき、ラインメモリ部７５の値を信号の下限値に設定しておく。比較部２１は、下限値とＶ−ＯＢ１の映像信号の画素の値とを各画素間で比較し、値が大きい方の信号（Ｖ−ＯＢ１の映像信号）を各画素の最大値の信号としてラインメモリ部７５に記憶する（ステップ２１，４３）。比較部２１は、最大値の信号とＶ−ＯＢ２の映像信号の画素の値とを各画素間で比較し、値が大きい方の信号を各画素の最大値の信号としてラインメモリ部７５に記憶する。値が小さい方の信号は、各画素の最小値の信号として比較部２２に送られる。比較部２２は、値が小さい方の信号とラインメモリ部７２に記憶された上限値とを各画素間で比較し、値が小さい方の信号を各画素の最小値の信号としてラインメモリ部７２に記憶する（ステップ４４）。比較部２１は、ラインメモリ部７５に記憶されている最大値の信号の値とＶ−ＯＢ３の映像信号の画素の値とを各画素で比較し、値が大きい方の信号を最大値の信号としてラインメモリ部７５に記憶する。比較部２１は、値が小さい方の信号を比較1の信号として比較部２２に送る（ステップ４５）。比較部２２は、最小値の信号の値と比較1の信号の値とを各画素間で比較し、値が小さい方の信号を最小値の信号としてラインメモリ部７２に記憶し、値が大きい方の信号を中間値として加算部１３を介してラインメモリ部７１に加算記憶する（ステップ４６）。同様に、比較部２１は、Ｎライン目（Ｎは４以上の自然数）のＶ−ＯＢＮの映像信号の画素の値と最大値の信号の値とを各画素間で比較し、値が大きい方の信号を最大値の信号としてラインメモリ部７５に記憶し、値が小さい方の信号を比較１の信号として、比較部２２に送る（ステップ４７）。比較部２２は、最小値の信号の値と比較1の信号の値とを各画素間で比較し、値が小さい方の信号を最小値の信号としてラインメモリ部７２に記憶し、値が大きい方の信号を中間値として加算部１３を介してラインメモリ部７１に加算記憶する（ステップ４８）。比較部２２が最後のＶ−ＯＢの比較処理を終了すると、ラインメモリ部７１は、平均化部１２に加算記憶した値を出力する。平均化部１２は、中間値の信号を１／（Ｎ−２）に減衰して平均値を算出しスミア補正用のＯＢ代表値信号としてスメア補正部５に出力し（ステップ４９）、代表値信号処理が終了する（ステップ２７）。

また、図１Ｆ、図２Ｆ、図３Ｆ、図４Ｆに示す実施例について説明する。ＣＰＵ９は、ラインメモリ部７１の値を０、ラインメモリ部７５，７６の値を信号の下限値にしておく。比較部２１は、下限値とＶ−ＯＢ１の映像信号の画素の値とを各画素間で比較し、値が大きい方の信号（Ｖ−ＯＢ１の映像信号）を最大値の信号としてラインメモリ部７５に記憶する（ステップ２１，５０）。比較部２１は、最大値の信号の値とＶ−ＯＢ２の映像信号の画素の値とを各画素間で比較し、値が大きい方の信号を最大値の信号としてラインメモリ部７５に記憶する。値が小さい方の信号は、各画素の2番目に大きい信号として比較部２２に送られる。比較部２２は、値が小さい方の信号とラインメモリ部７６に記憶された下限値と各画素間で比較し、値が小さい方の信号を各画素の2番目に大きい信号としてラインメモリ部７６に記憶する（ステップ５１）。比較部２１は、ラインメモリ部７５に記憶されている最大値の信号の値とＶ−ＯＢ３の映像信号の画素の値とを各画素間で比較し、値が大きい方の信号を最大値の信号としてラインメモリ部７５に記憶する。比較部２１は、値が小さい方の信号を比較1の信号として比較部２２に送る（ステップ４５）。比較部２２は、２番目に大きい信号の値と比較1の信号の値とを各画素で比較し、値が大きい方の信号を２番目に大きい信号としてラインメモリ部７５に記憶し、値が小さい方の信号を中間値として加算部１３を介してラインメモリ部７１に加算記憶する（ステップ５２）。同様に、比較部２１は、Ｎライン目（Ｎは４以上の自然数）のＶ−ＯＢＮの映像信号の画素の値と最大値の信号の値とを各画素間で比較し、値が大きい方の信号を最大値の信号としてラインメモリ部７５に記憶し、値が小さい方の信号を比較１の信号として比較部２２に送る（ステップ４７）。比較部２２は、２番目に大きい信号の値と比較１の信号の値とを各画素間で比較し、値が大きい方の信号を２番目に大きい信号としてラインメモリ部７５に記憶し、値が小さい方の信号を中間値として加算部１３を介してラインメモリ部７１に加算記憶する（ステップ５３）。比較部２２が最後のＶ−ＯＢの比較処理を終了すると、ラインメモリ部７１は、平均化部１２に加算記憶した値を出力する。平均化部１２は、中間値の信号を１／（Ｎ−２）に減衰して平均値を算出しスミア補正用のＯＢ代表値信号としてスメア部５に出力し（ステップ４９）、代表値信号検出処理が終了（ステップ２７）する。

図１Ａ、１Ｂに示す実施例においては、ＯＢ代表値信号をＦＥＰ４のＡＧＣに合わせて利得を可変してから１５／１６に減衰した信号を信号Ｖｉから減算して、垂直スミア信号を低減した信号Ｖｍを出力する。また、ＣＣＤ撮像素子のスミア成分は画像信号が飽和しても増加するが、画像信号は１４ビットにＡ／Ｄ変換しているので、従来の１０ビットＡ／Ｄ変換に比較して画像信号の飽和に関して４ビット分の余裕ができるので、スミア成分補正の画像信号の飽和に対応するための処理の必要性が少ない。さらに、遮光画素代表値を１５／１６に減衰して減算するので、画像信号の飽和に対応するための処理の必要性が減少する。

ここで、本実施例では、減衰比を１５／１６としたが、スミア成分補正の画像信号を、飽和に対応するための処理（例えば、線形処理）ができるような任意の値を採用してよい。一般的には、ｐビット以上冗長した解像度でＡ／Ｄ変換できれば、（２＾ｐ−ｓ）／（２＾ｐ）以上１未満の間のいずれかの値を採用してよい。ここでｐ、ｓは自然数であり、ｓはｐよりも小さい。好ましくは、ｓの値は１であるが、これに限定されない。スミア成分補正の画像信号は、飽和領域まで達すると非線形特性を考慮する必要がある。そこで、本実施例では、スミア成分補正の画像信号の線形領域の傾斜を幾分減衰させた線形信号で近似して、飽和領域まで線形信号で処理できる構成を採用している。例えば、４ビット分高い解像度でＡ／Ｄ変換できれば、２の４乗＝１６倍の余裕に相当する。従って、これを幾分減衰させた１５／１６という値を本実施例では採用している。図１Ｃに示す実施例のように、１６ビットにＡ／Ｄ変換した場合は６ビット分の余裕ができるので、減算器１１は、遮光画素代表値を６３／６４に減衰して減算することができ、画像信号の飽和に対応する処理の必要性が実用上なくなる。ＣＣＤ固体撮像素子の信号電荷を電圧に変換する感度を上げて、図１Ｆのように２２ビットにＡ／Ｄ変換しＣＣＤ撮像素子の暗電流を補正すれば、画像信号の飽和対応の必要性がほとんどなくなる。

さらに、図１Ｂ、図２Ｂ、図３Ｂ、図４Ｂに示す実施例は、各垂直画素信号の最小値から３番目の値を代表値として用いる方法を示しており、白キズの影響がないだけでなく、暗電流が極端に少ない画素欠陥である黒キズの影響がほとんどなくなり、厳しく選別した高価なＣＣＤ撮像素子を使用しにくい監視用途特にＥＭ−ＣＣＤに適している。また、白キズと黒キズの影響がほとんどないため、垂直スミア発生の有無を検出する回路を省略できる。垂直スミア誤検出による黒い縦筋を防止する少レベル垂直スミア補正信号の切り捨て処理する回路も省略できる。図１Ｂに示す実施例では、信号ＶｉからＯＢ代表値信号を減算してから映像信号処理部７に入力する信号Ｖｍを１０ｂｉｔにして、監視用途に多く使用される低価格の映像信号処理部７の入力ビット数に合わせている。但し、垂直スミア補正の精度を維持するため、ＦＥＰ４の出力ビット数は１４ビットとしている。

また、図１Ｃ、図２Ｃ、図３Ｃ、図４Ｃは、本発明の他の一実施例であり、Ｖ−ＯＢ代表値として各垂直画素信号の最小値を算出する方法を示しており、垂直スミア補正信号の記憶が１ライン分で済み集積規模が従来例よりも小型になる。本実施例では、Ｖ−ＯＢライン数が少なく、黒キズも少ないＨＤＴＶのＣＣＤ撮像素子に適している。さらに、ＡＧＣはないが、１６ｂｉｔのＦＥＰを用い、垂直スミア補正が高精度となっている。ここで、図１Ａ、１Ｂで比較部２２、２３とラインメモリ７２、７３とを省略し、図２Ｃの動作をすれば、Ｖ−ＯＢライン数が少なく、黒キズも少ないＨＤＴＶのＣＣＤ撮像素子を用いた高感度用途になる。

さらに、図１Ｄ、図２Ｄ、図３Ｄ、図４Ｄに示す実施例は、Ｖ−ＯＢが３ライン以上で最大値を除く平均値を算出する方法を示しており、白キズが多くＶ−ＯＢのライン数も多いが黒キズが少ないＣＣＤ撮像素子に適している。

図１Ｅ、図２Ｅ、図３Ｅ、図４Ｅに示す実施例は、Ｖ−ＯＢが４ライン以上で最大値と最小値を除く平均値を代表値として用いる方法を示しており、図１Ｅは２２ビットにＡ／Ｄ変換しＣＣＤ撮像素子の暗電流の補正が容易な事と合わせて、白キズも黒キズも多くＶ−ＯＢのライン数も多いＣＣＤ撮像素子を高感度動作させる用途に適している。

図１Ｆ、図２Ｆ、図３Ｆ、図４Ｆに示す実施例は、Ｖ−ＯＢが４ライン以上で最大値と２番目に大きい値を除く平均値を代表値としており、白キズが特に多くＶ−ＯＢのライン数も多いＣＣＤ撮像素子を高感度動作させる用途に適している。

図１Ａ―１Ｆに示す実施例は、スミア補正部５とＯＢ代表値検出部６と映像信号処理部７と映像信号処理部７とを分けていたが、別の実施例として、スミア補正部５とＯＢ代表値検出部６と映像信号処理部７とは、映像専用のメモリ集積ＤＳＰや、ＦＰＧＡに集積することもできる。

Ｖ−ＯＢは画面始まりの変動が大きい垂直暗部むらによる補正精度劣化を避けるため、有効画素より後に出力される画面下のＶ−ＯＢ領域画素から出力される画像信号を垂直暗部むら補正してから、代表値を算出した方がスミア補正の精度が良くなる。しかし、スミア補正が１画面（約１７ｍ（１／６０）秒）遅れるので、実用的ではない。そこで、１４ｂｉｔにＡ／Ｄ変換して画面始まりの変動が大きい垂直暗部むら補正を高精度に行い、有効画素より先に出力される画面上のＶ−ＯＢ領域画素から出力される画像信号を垂直暗部むら補正してから、代表値を算出すれば、有効画素出力と同時にスミア補正でき、遅れがない。

以上ＥＭ−ＣＣＤとＶ−ＯＢライン数が少なく黒キズも少ないＨＤＴＶのＣＣＤ撮像素子とを用いた撮像装置について詳細に説明したが、本発明は、ここに記載された撮像装置に限定されるものではなく、上記以外のＣＣＤを用いた撮像装置他の撮像装置に広く適用することができることは言うまでもない。

Ｖ−ＯＢが３ライン以上で最小値から２番目の値（３ラインで中央値）の場合の本発明の一実施例の全体構成の撮像装置を示すブロック図 Ｖ−ＯＢが５ライン以上で最小値から３番目の値（５ラインで中央値）の場合の本発明の一実施例の全体構成の撮像装置を示すブロック図 Ｖ−ＯＢが２ライン以上で最小値でデジタルＡＧＣ(Digital AGC)）を用いる場合の本発明の一実施例の全体構成の撮像装置を示すブロック図 Ｖ−ＯＢが３ライン以上で最大値除く平均値の場合の本発明の一実施例の全体構成の撮像装置を示すブロック図 Ｖ−ＯＢが４ライン以上で最大値と最小値除く平均値の場合の本発明の一実施例の全体構成の撮像装置を示すブロック図 Ｖ−ＯＢが４ライン以上で最大値と２番目に大きい値除く平均値の場合の本発明の一実施例の全体構成の撮像装置を示すブロック図 Ｖ−ＯＢの最小値から２番目の値を代表値として検出する本発明の一実施例のフローチャート Ｖ−ＯＢの最小値から３番目の値を代表値として検出する本発明の一実施例のフローチャート Ｖ−ＯＢの最小値を代表値として検出する本発明の一実施例のフローチャート Ｖ−ＯＢの最大値を除く平均値を代表値として検出する本発明の一実施例のフローチャート Ｖ−ＯＢの最大値と最小値を除く平均値を代表値として検出する本発明の一実施例のフローチャート Ｖ−ＯＢの最大値と２番目に大きい値を除く平均値を代表値として検出するフローチャート 本発明の１実施例や従来技術でのＶ−ＯＢでのスミア値の検出を示す模式表図図３Ａ，３ＤはＶ−ＯＢが３ラインの場合、図３ＢはＶ−ＯＢが５ラインの場合、図３Ｃは、Ｖ−ＯＢが２ラインの場合、図３Ｅ、３ＦはＶ−ＯＢが４ラインの場合 本発明の１実施例や従来技術でのＶ−ＯＢでのスミア値の検出を示す画面の模式図図４Ａ、４ＤはＶ−ＯＢが３ラインの場合、図４ＢはＶ−ＯＢが５ラインの場合、図４ＣはＶ−ＯＢが２ラインの場合、図４Ｅ、４ＦはＶ−ＯＢが４ラインの場合

符号の説明

１：撮像装置、２：光学系、３：ＥＭ−ＣＣＤ、４：ＦＥＰ、
５：スミア補正部、６：ＯＢ代表値検出部、７：映像信号処理部、
８：ＣＣＤ駆動部（ＴＧ）、９：ＣＰＵ、、１０：利得可変部（Ｄ．ＡＧＣ）
１１：減算器、１２：係数部、１３：加算器、２１，２２，２３：比較部、
７１〜７６：ラインメモリ部

Claims (3)

1. 固体撮像素子と該固体撮像素子の受光面の有効画素から出力される画像信号を取得する第１の取得部と前記固体撮像素子の受光面の上部または下部の遮光した画素から出力される信号を取得する第２の取得部とを有する固体撮像装置において、前記第２の取得部で取得した遮光した画素から出力される信号の複数ラインの各垂直画素信号の最小値からＮ（Ｎは自然数）番目の値、最大値からＭ（Ｍは自然数）番目の値以下の値の平均値、または他の最大値からＭ番目の値以下の値から算出される代表値信号の少なくとも１つを算出し、前記第１の取得部で取得した有効画素から出力される画像信号から前記代表値信号を減算することを特徴とする撮像方法。
2. 請求項１の固体撮像素子を有する固体撮像装置の撮像方法において、画像信号の垂直暗部むら補正部を有し、前記固体撮像素子の受光面の上部または下部の前記遮光した画素から出力される信号を垂直暗部むら補正してから、前記代表値信号を算出することを特徴とする撮像方法。
3. 請求項１記載の撮像方法において、前記固体撮像素子の受光面の上部または下部の遮光した画素の多い片方の垂直ライン数が２、３、４のいずれかであることを特徴とする撮像方法。

Images