JP2013153380A - 撮像装置および撮像方法 - Google Patents

Abstract

【課題】ＣＭＯＳ撮像素子の白キズ等のフォトダイードの黒画像の信号出力の影響を受けない様に画像信号を補正することを目的とする。
【解決手段】積分増倍Ａ／Ｄ部を有するＣＭＯＳ撮像素子の上下の遮光した画素信号の最小値からＮ番目の値又は最大値からＭ番目の値以下の値の平均値の全水平走査映像信号の暗部シェーディングの基準となる第一の代表値信号を算出し、前記第２の取得部で取得した左右の遮光した画素から出力される信号の各画素信号の最大値からＭ番目からＭ＋Ｌの値の平均値の各水平走査映像信号の暗部平均値の基準となる第二の代表値信号を算出し、積分増倍量に対応して前記第１の取得部で取得した有効画素から出力される各水平走査映像信号から前記第一の代表値信号と前記第二の代表値信号とを減算する。
【選択図】図１Ａ

Description

本発明は、固体撮像素子を有する撮像装置に関し、撮像素子から出力される画像信号に含まれる雑音を低減する方法に関するものである。

ＣＭＯＳ（Complimentary Metal Oxide Semiconductor）撮像素子は一般的にはＣＣＤ撮像素子より感度が低い。そこで、積分増倍Ａ／Ｄ部を有し、ＣＣＤ撮像素子より高感度を狙うＣＭＯＳ撮像素子が開発中である（特許文献１参照）。しかし、フォトダイードの黒画像の信号出力のむらによる暗部むらや黒画像の信号出力が異常に多いフォトダイードの映像信号（白キズ）も積分増倍するため、白キズや暗部むらが増加する。
そこで、従来、光学的黒画素部分の白キズの影響を低減するため、ＣＭＯＳ撮像素子の水平方向の光学的黒画素（Horizontal-Optical Black以下Ｈ−ＯＢ）部分の１２画素信号を平均し、１ライン分の黒画像の基準信号として記憶し、このＣＭＯＳ撮像素子の有効画素部分の出力信号よりこの記憶した黒画像の基準信号を減算していた。

しかし、積分増倍Ａ／Ｄ部を有するＣＭＯＳ撮像素子の積分増倍に強く相関して黒画像の信号出力むらが大きくなり、白キズや暗部むらも積分増倍するため、白キズや暗部むらのレベルが大きくなり易い。また、積分増倍のもれ電流は、積分増倍を変えた時の基準暗部レベルの変動となる。さらに、電源やＧＮＤのゆすれは、積分増倍の変動となり、積分増倍を高くした場合の暗部むらとなる。

そのため、Ｈ−ＯＢ部分の出力信号を平均しても、白キズ成分が残留する。さらに、有効画素部分の出力信号から、この平均した信号を減算すると、横筋が発生してしまう。

また、ＣＣＤ（Charge Coupled Device）撮像素子は固体撮像素子の中でも感度が高く白キズが少ないが、高感度撮像時は白キズが多い。そこで、ＣＣＤ撮像素子の垂直方向の光学的黒画素（Vertical-Optical Black以下Ｖ−ＯＢ）部分の１２ラインの各垂直画素信号の最小値からＮ（Ｎは自然数）番目の値、最大値からＭ（Ｍは自然数）番目の値以下の値の平均値、または他の最大値からＭ番目の値以下の値から算出される代表値信号の少なくとも１つを算出し、前記第１の取得部で取得した有効画素から出力される画像信号から前記代表値信号を減算していた（特許文献２参照）。

また、デジタル信号処理回路の集積化が進み、複数ラインの出力信号を記憶し算術処理することが、映像専用のメモリ集積ＤＳＰだけでなく、安価な汎用のＦＰＧＡ(Field Programmable Gate Array)でも容易に実現できる様になった。

特開２００４−３０４４１３号公報 積分増倍Ａ／Ｄ 特開２００８−１０９６３９号公報 EM-CCDのVOB中央値減算

本発明の目的は、積分増倍Ａ／Ｄ部を有するＣＭＯＳ撮像素子出力の横筋を低減することにある。

本発明は、上記課題を解決するため、積分増倍Ａ／Ｄ部を有するＣＭＯＳ撮像素子と該固体撮像素子の受光面の有効画素から出力される画像信号を取得する第１の取得部と前記固体撮像素子の受光面の上下または左右の遮光した画素から出力される信号を取得する第２の取得部とを有する固体撮像装置において、前記第２の取得部で取得した上下の遮光した画素から出力される信号の各画素信号の最小値からＮ（Ｎは自然数）番目の値、最大値からＭ（Ｍは自然数）番目の値以下の値の平均値、または最大値からＭ番目の値以下の値から左右画素平均や左右画素重みづけ平均などで算出される値の少なくとも１つの（全水平走査映像信号の暗部シェーディングの基準となる）第一の代表値信号を算出し、前記第２の取得部で取得した左右の遮光した画素から出力される信号の各画素信号の最大値からＭ（Ｍは自然数）番目からＭ＋Ｌ（Ｌは自然数）の値の平均値の（各水平走査映像信号の暗部平均値の基準となる）第二の代表値信号を算出し、積分増倍量に対応して前記第１の取得部で取得した有効画素から出力される各水平走査映像信号から前記第一の代表値信号と前記第二の代表値信号とを減算することを特徴とする撮像方法である。

また、積分増倍Ａ／Ｄ部を有するＣＭＯＳ撮像素子と該固体撮像素子の受光面の有効画素から出力される画像信号を取得する第１の取得部と前記固体撮像素子の受光面の上部または下部の遮光した画素から出力される信号を取得する第２の取得部とを有する固体撮像装置において、前記第２の取得部で取得した上下の遮光した画素から出力される信号の各画素信号の最小値からＮ（Ｎは自然数）番目の値、最大値からＭ（Ｍは自然数）番目の値以下の値の平均値、または最大値からＭ番目の値以下の値から算出される値の少なくとも１つの（全水平走査映像信号の暗部シェーディングの基準となる）第一の代表値信号を算出する手段と、前記第２の取得部で取得した左右の遮光した画素から出力される信号の各画素信号の最大値からＭ（Ｍは自然数）番目からＭ＋Ｌ（Ｌは自然数）の値の平均値の（各水平走査映像信号の暗部平均値の基準となる）第二の代表値信号を算出する手段とを有し、積分増倍量に対応して前記第１の取得部で取得した有効画素から出力される各水平走査映像信号から前記第一の代表値信号と前記第二の代表値信号とを減算することを特徴とする固体撮像装置である。

さらに、積分増倍Ａ／Ｄ部を有するＣＭＯＳ撮像素子と該固体撮像素子の受光面の有効画素から出力される画像信号を取得する第１の取得部と前記固体撮像素子の受光面の上部または下部の遮光した画素から出力される信号を取得する第２の取得部とを有する固体撮像装置において、前記第２の取得部で取得した上下の遮光した画素から出力される信号の各画素信号の最小値からＮ（Ｎは自然数）番目の値の左右画素平均値の（全水平走査映像信号の暗部シェーディングの基準となる）第一の代表値信号を算出する手段と、前記第２の取得部で取得した左右の遮光した画素から出力される信号の各画素信号の最大値からＭ（Ｍは自然数）番目からＭ＋Ｌ（Ｌは自然数）の値の平均値の（各水平走査映像信号の暗部平均値の基準となる）第二の代表値信号を算出する手段とを有し、積分増倍量に対応して前記第１の取得部で取得した有効画素から出力される各水平走査映像信号から前記第一の代表値信号と前記第二の代表値信号とを減算することを特徴とする固体撮像装置である。

上記の様に本発明によれば、遮光した画素のＨ−ＯＢとＶ−ＯＢの信号の最小値からＮ番目の値等の最大値からＭ番目の値の影響を除く代表値を算出することにより、Ｈ−ＯＢの数が少ない積分増倍Ａ／Ｄ部を有するＣＭＯＳ撮像素子でも、白キズなどのＣＭＯＳ撮像素子の大きい黒画像の信号出力成分を排除した信号を検出できる。さらに、黒画像の信号出力補正の過不足の誤差分が減少して横筋が目立たない画像信号が得られる。

Ｈ−ＯＢが３以上で最小値から２番目の値（３で中央値）の左右重みづけ平均の場合の本発明の一実施例の全体構成の撮像装置を示すブロック図 Ｈ−ＯＢが５以上で最小値から３番目の値（５で中央値）の場合の本発明の一実施例の全体構成の撮像装置を示すブロック図 Ｈ−ＯＢが２以上で最小値の場合の本発明の一実施例の全体構成の撮像装置を示すブロック図 Ｈ−ＯＢが３以上で最大値除く平均値の場合の本発明の一実施例の全体構成の撮像装置を示すブロック図 Ｈ−ＯＢが４以上で最大値と最小値除く平均値の場合の本発明の一実施例の全体構成の撮像装置を示すブロック図 Ｈ−ＯＢが４以上で最大値と２番目に大きい値除く平均値の場合の本発明の一実施例の全体構成の撮像装置を示すブロック図 Ｈ−ＯＢの最小値から２番目の値を代表値として検出する本発明の一実施例のフローチャート Ｈ−ＯＢの最小値から３番目の値を代表値として検出する本発明の一実施例のフローチャート Ｈ−ＯＢの最小値を代表値として検出する本発明の一実施例のフローチャート Ｈ−ＯＢの最大値を除く平均値を代表値として検出する本発明の一実施例のフローチャート Ｈ−ＯＢの最大値と最小値を除く平均値を代表値として検出する本発明の一実施例のフローチャート Ｈ−ＯＢの最大値と２番目に大きい値を除く平均値を代表値として検出するフローチャート Ｈ−ＯＢが３の中に信号値２１の白キズがある本発明の一実施例 Ｈ−ＯＢが５の中に信号値２１の白キズがある本発明の一実施例 Ｈ−ＯＢが２の中に信号値２１の白キズがある本発明の一実施例 Ｈ−ＯＢが３の中に信号値２１の白キズがある本発明の一実施例 Ｈ−ＯＢが４の中に信号値２１の白キズがある本発明の一実施例 Ｈ−ＯＢが４の中に信号値２１の白キズがある本発明の一実施例

本発明では、上下の遮光した画素から出力される信号の各画素信号の最小値からＮ（Ｎは自然数）番目の値、最大値からＭ（Ｍは自然数）番目の値以下の値の平均値、または他の最大値からＭ番目の値以下の値から左右画素平均や左右画素重みづけ平均などで算出される値の少なくとも１つの全水平走査映像信号の暗部シェーディングの基準となる第一の代表値信号を算出し、前記第２の取得部で取得した左右の遮光した画素から出力される信号の各画素信号の最大値からＭ（Ｍは自然数）番目からＭ＋Ｌ（Ｌは自然数）の値の平均値の各水平走査映像信号の暗部平均値の基準となる第二の代表値信号を算出し、積分増倍量に対応して前記第１の取得部で取得した有効画素から出力される各水平走査映像信号から前記第一の代表値信号と前記第二の代表値信号を減算する。
本発明による上下の遮光した画素信号からの算出方法の撮像装置の一実施例の概要と本発明の幾つかの一実施例の動作を、本発明の一実施例の全体構成の撮像装置を示すブロック図の図１Ａ−１Ｆをと本発明の一実施例の代表値検出フローチャートの図２Ａ−２Ｆとを用いて説明する。

本発明の一実施例の全体構成の撮像装置を示すブロック図の図１Ａ−１Ｆにおいて、図１ＡはＨ−ＯＢが３以上で最小値から２番目の値（３で中央値）を検出する場合で、図１ＢはＨ−ＯＢが５以上で最小値から３番目の値（５で中央値）を検出する場合で、図１ＣはＨ−ＯＢが２以上で最小値を検出する場合で、図１ＤはＨ−ＯＢが３以上で最大値除く平均値を検出する場合で、図１ＥはＨ−ＯＢが４以上で最大値と最小値除く平均値を検出する場合で、図１ＦはＨ−ＯＢが４以上で最大値と２番目に大きい値除く平均値を検出する場合である。本発明の一実施例の代表値検出フローチャートの図２Ａ−２Ｆにおいて、図２ＡはＨ−ＯＢ最小値から２番目の値を検出する場合で、図２ＢはＨ−ＯＢ最小値から３番目の値を検出する場合で、図２ＣはＨ−ＯＢ最小値を検出する場合で、図２ＤはＨ−ＯＢが最大値除く平均値を検出する場合で、図２ＥはＨ−ＯＢ最大値と最小値除く平均値を検出する場合で、図２ＦはＨ−ＯＢ最大値と２番目に大きい値を除く平均値を検出する場合である。

本発明の一実施例の全体構成の撮像装置を示すブロック図の図１Ａ―１Ｆの特徴は、比較部とメモリ部とにより、最大値または２番目に大きい値を除き積分増倍Ａ／Ｄ部を有するＣＭＯＳ撮像素子の白キズの影響を削除している事である。

本発明の１実施例の図１Ａ、１ＤはＨ−ＯＢが３ヶで、図１ＢはＨ−ＯＢが５ヶで、図１ＣはＨ−ＯＢが２ヶで、図１Ｅ、１ＦはＨ−ＯＢが４ヶである。なお、積分増倍Ａ／Ｄ部を有するＣＭＯＳ撮像素子のＨ−ＯＢは多数あるが、判り易くするため、Ｈ−ＯＢが２ヶから４ヶで動作を説明する。

図３ＣのようにＨ−ＯＢが２の中に信号値２１の白キズがあると、平均値は１１．５と特に大きく、黒画像の信号出力補正で誤差が特に大きいことが判る（以下、本実施例では白キズと判定される最大信号値のレベルを２１として説明を続ける）。図３Ａ、３ＤのようにＨ−ＯＢが３の中に信号値２１の白キズがあると、平均値は９となり、中央値４や最大値を除く平均値３から大きく異なる値である。図３Ｅ、３Ｆのように、Ｈ−ＯＢが４の中に信号値２１の白キズがあると、平均値は８となり、最大値を除く平均値３．６７から大きく異なる値である。図３Ｂのように、Ｈ−ＯＢが５の中に信号値２１の白キズがあると、平均値は７となり、中央値４や最大値を除く平均値３．５から大きく異なる値である。よって、平均値はＨ−ＯＢの数が少し多くなっても黒画像の信号出力補正で誤差が大きいことが判る。図３Ａ―３Ｆでは、本実施例の最小値は２で、中央値や最大値を除く平均値より１から２小さいが、従来の平均値の７から１１．５ほど大きな誤差がない。最小値はＨ−ＯＢの数が２と少ない場合でも従来のＨ−ＯＢが５の平均値より黒画像の信号出力補正の誤差が少なく、実用的なことが判る。

本発明の一実施例の全体構成の撮像装置を示すブロック図の図１Ａ―１Ｆにおいて、１は撮像装置、２は入射光を結像するレンズ等の光学系、３は光学系２から入射した光を電気信号に変換する積分増倍Ａ／Ｄ部を有するＣＭＯＳ撮像素子、５はデジタル映像信号ＶｉからのＯＢ代表値信号を減算して暗電流（フォトダイードの黒画像の信号出力）成分の補正を行う暗電流（フォトダイードの黒画像の信号出力）補正部、６はデジタル映像信号ＶｉのＨ−ＯＢの代表値信号の検出を行うＯＢ代表値検出部であり、２１〜２３はデジタル映像信号ＶｉのＨ−ＯＢラインの画素ごとに比較する比較部で、７１〜７６はＯＢ代表値を記憶するメモリであり、１１は映像信号から代表値信号を減算する減算器である。７は検出暗電流補正部５から出力された信号Ｖｍに種々の画像処理を施しＮＴＳＣ（National Television System Committee）方式またはＰＡＬ（Phase Alternating by Line）方式の複合映像信号（Video Burst Sync以下ＶＢＳ）またはＳＤＩ（Serial Digital Interface）映像信号、あるいはＨＤＴＶのＳＤＩ（ＨＤ−ＳＤＩ）等の所定方式の映像信号に変換して出力する映像信号処理部であり、９は撮像装置１内の各部を制御するＣＰＵ（Central Processing Unit）である（ＣＰＵから各部への制御線は図示せず）。１０は、デジタルＡＧＣ（Ｄ．ＡＧＣ）であり、ＯＢ代表値信号を積分増倍Ａ／Ｄ部を有するＣＭＯＳ撮像素子のＡＧＣの増幅度に合わせてＤ．ＡＧＣ自身の増幅度を調節する。１４は白キズの影響をさらに低減する左右画素平均部である。

次に、本発明の一実施例の動作を図１Ａ―１Ｆを参照しつつ説明する。撮像装置１の積分増倍Ａ／Ｄ部を有するＣＭＯＳ撮像素子３は光学系２で受光面に結像された入射光をフォトダイオードで光電変換して信号電荷を生成し信号電荷を電子増倍して雑音を除去し増幅してデジタル映像信号Ｖｉに変換して暗電流補正部５にデジタル映像信号Ｖｉを出力する。デジタル映像信号Ｖｉは、暗電流補正部５を介してＯＢ代表値検出部６に送られると共に、後述する信号処理を行うために減算器１１にも送られる。ＯＢ代表値検出部６はデジタル映像信号Ｖｉを比較部２１〜２３でＨ−ＯＢの画素信号ごとに比較し小さい順にメモリ７１〜７６に記憶し、暗電流（フォトダイードの黒画像の信号出力）成分としてＯＢ代表値信号を検出する。
ＯＢ代表値信号を左右画素平均部１４で左右画素重みづけ平均し、白キズの影響をさらに低減する。簡易的には、左右画素平均部１４で左右画素を単純平均しても良い。

あるいは、図１Ｄ−１Ｆに示す実施例のように、比較部２１，２２とメモリ７２，７５，７６とを用いて所定の基準を満たすＨ−ＯＢの画素信号を選び、その選ばれた画素信号を加算部１３を用いて加算を行い、加算結果をメモリ７１に記憶し、平均化部１２で平均値としてのＯＢ代表値信号を算出するように構成してよい。

暗電流補正部５はＯＢ代表値信号を積分増倍Ａ／Ｄ部を有するＣＭＯＳ撮像素子の増幅度に合わせてＤ．ＡＧＣ１０で増幅し、減算器１１はその増幅した信号をデジタル映像信号Ｖｉから減算し、映像信号処理部７にデジタル映像信号Ｖｍを出力する。映像信号処理部７はデジタル映像信号Ｖｍに種々の画像処理を施し所定方式の映像信号Ｖｏに変換して出力する。

また、図１Ａ―１Ｆで示す実施例において、暗電流補正部のＤ．ＡＧＣの配置場所が異なる実施例や、デジタル信号ＶｉやＶｍのビット数やＯＢ代表値信号のビット数が異なる実施例や、比較部やメモリ部の構成が異なる実施例等があるが、これらは一実施例にすぎず種々の構成が適用されてよい。

次に、図１Ａ−１Ｆと図２Ａ−２Ｆと図３Ａ−３Ｆと図４Ａ−４Ｆとを用いて暗電流信号（フォトダイードの黒画像の信号出力）の検出と補正の動作について説明する。

まず、図１Ａ、図２Ａ、図３Ａ、図４Ａに示す実施例について説明する。ＣＰＵ９は、メモリ部７２、７３に最小値信号の上限値、２番目に小さい信号の上限値をそれぞれ設定しておく。ここで、これらの上限値は、例えば、信号の輝度を数値化したものを用いてよい（以下で述べる各値についても、同様の基準で数値化されたものである）。比較部２１は、メモリ部７２に記憶されている上限値とＨ−ＯＢ領域の１つ目（以下Ｈ−ＯＢ１）の映像信号の画素の値とを各画素間で比較し、値が小さい方の信号（Ｈ−ＯＢ１の映像信号）を各画素の最小値の信号としてメモリ部７２に記憶する（ステップ２１，２２）。比較部２１は、Ｈ−ＯＢ２の映像信号の画素の値とメモリ部７２に最小値の信号の値とを各画素間で比較し、値が小さい方の信号をメモリ部７２に各画素の最小値の信号として記憶する。値が大きい方の信号は比較部２２に送られる。比較部２２は、大きい方の信号の値と２番目に小さい信号としてメモリ部７３に記憶されている上限値とを各画素間で比較し、小さい方の信号を各画素の２番目に小さい信号としてメモリ部７３に記憶する（ステップ２３）。同様に、比較部２１は、Ｎヶ目（Ｎは３以上の自然数）のＨ−ＯＢＮの映像信号の画素の値とメモリ部７２の最小値とを各画素間で比較し、値が小さい方の信号を各画素の最小値の信号としてメモリ部７２に記憶する。値が大きい方の信号は各画素の比較1の信号として、比較部２２に送られる（ステップ２４）。比較部２２は、２番目に小さい信号の値と比較1の信号の値とを各画素間で比較し、値が小さい方の信号を各画素の２番目に小さい信号としてメモリ部７３に記憶する（ステップ２５）。比較部２２が最後のＨ−ＯＢの比較処理を終了すると、メモリ部７３は、２番目に小さい信号を暗電流補正用のＯＢ代表値信号としてスメア補正部５に出力し（ステップ２６）、代表値検出処理が終了する（ステップ２７）。

次に、図１Ｂ、図２Ｂ、図３Ｂ、図４Ｂに示す実施例について説明する。ＣＰＵ９は、メモリ部７２、７３、７４に最小値信号の上限値、２番目に小さい信号の上限値、３番目に小さい信号の上限値をそれぞれ設定しておく。比較部２１は、メモリ部７２に記憶されている上限値とＨ−ＯＢ１の映像信号の画素の値とを各画素間で比較し、値が小さい方の信号（Ｈ−ＯＢ１の映像信号）を最小値の信号としてメモリ部７２に記憶する（ステップ２１，２８）。比較部２１は、最小値の信号の値とＨ−ＯＢ２の映像信号の画素の値とを各画素間で比較し、値が小さい方の信号を各画素の最小値の信号としてメモリ部７２に記憶する（ステップ２９）。比較部２２は、大きい方の信号の値と各画素の２番目に小さい信号としてメモリ部７３に記憶された上限値とを各画素間で比較し、値が小さい方の信号を2番目に小さい信号としてメモリ部７３に記憶する（ステップ２９）。比較部２１は、メモリ部７２に記憶された信号の値とＨ−ＯＢ３の映像信号の値とを各画素間で比較し、値が小さい方の信号を各画素の最小値の信号としてメモリ部７２に記憶する。値が大きい方の信号は、比較1の信号として、比較部２３に送られる（ステップ３０）。比較部２２は、メモリ部７３に記憶されている２番目に小さい信号の値と比較1の信号とを各画素間で比較し、値が小さい方の信号を各画素の２番目に小さい信号としてメモリ部７３に記憶する。比較部２３は、値が大きい方の信号と３番目に小さい信号としてメモリ部７４に記憶された上限値とを各画素間で比較し、値が小さい方の信号を各画素の３番目に小さい信号としてメモリ部７４に記憶する（ステップ３１）。同様に、Ｎライン目（Ｎは４以上の自然数）のＨ−ＯＢＮの映像信号の画素の値とメモリ部７２の最小値とを各画素間で比較し、値が小さい方の信号を各画素の最小値の信号としてメモリ部７２に記憶する。値が大きい方の信号は各画素の比較１の信号として、比較部２２に送られる（ステップ２４）。比較部２２は、２番目に小さい信号の値と比較1の信号の値とを各画素間で比較し、値が小さい方の信号を各画素の２番目に小さい信号としてメモリ部７３に記憶する。値が大きい方の信号は、各画素の比較２の信号して比較部２３に送られる（ステップ３２）。比較部２３は、３番目に小さい信号の値と比較２の信号の値とを各画素で比較し、値が小さい方の信号を各画素の３番目に小さい信号としてメモリ部７４に記憶する（ステップ３３）。比較部２３で最後のＨ−ＯＢの比較が終了すると、メモリ部７４は、３番目に小さい信号を暗電流補正用のＯＢ代表値信号としてスメア補正部５に出力し（ステップ３４）、代表値信号検出処理が終了する（ステップ２７）。

さらに、図１Ｃ、図２Ｃ、図３Ｃ、図４Ｃに示す実施例について説明する。ＣＰＵ９は、メモリ部７２に最小値信号の上限値を設定しておく。比較部２１は、上限値とＨ−ＯＢ１の映像信号の画素の値とを各画素間で比較し、値が小さい方の信号（Ｈ−ＯＢ１の映像信号）を最小値の信号としてメモリ部７２に記憶する（ステップ２１，３５）。比較部２１は、最小値の信号の値とＨ−ＯＢ２の映像信号の画素の値とを各画素間で比較し、値が小さい方の信号を最小値の信号としてメモリ部７２に記憶する（ステップ３６）。同様に、比較部２１は、Ｎライン目（Ｎは３以上の自然数）のＨ−ＯＢＮの映像信号の画素の値と最小値の信号の値とを各画素間で比較し、値が小さい方の信号を最小値の信号としてメモリ部７２に記憶する（ステップ３７）。比較部２１が最後のＨ−ＯＢの比較処理を終了すると、メモリ部７２は、最小値の信号を暗電流補正用のＯＢ代表値信号としてスメア補正部５に出力し（ステップ３８）、代表値検出処理が終了する（ステップ２７）。

また、図１Ｄ、図２Ｄ、図３Ｄ、図４Ｄに示す実施例について説明する。ＣＰＵ９は、メモリ部７１の値を０、メモリ部７５の値を信号の下限値に設定しておく。比較部２１は、下限値とＨ−ＯＢ１の映像信号の値とを各画素間で比較し、値が大きい方の信号（Ｈ−ＯＢ１の映像信号）を各画素の最大値の信号としてメモリ部７５に記憶する（ステップ２１，３９）。比較部２１は、最大値の信号とＨ−ＯＢ２の映像信号の画素の値とを各画素間で比較し、値が大きい方の信号を最大値の信号としてメモリ部７５に記憶する。加算部１３は、値が小さい方の信号を中間値としてメモリ部７１に加算記憶する（ステップ４０）。同様に、比較部２１は、Ｎライン目のＨ−ＯＢＮ（Ｎは３以上の自然数）の映像信号の画素の値と最大値の信号とを各画素間で比較し、値が大きい方の信号を最大値の信号としてメモリ部７５に記憶する。加算部１３は、値が小さい方の信号を中間値としてメモリ部７１に加算記憶する（ステップ４１）。比較部２１が最後のＨ−ＯＢの比較処理を終了すると、メモリ部７１は、平均化部１２に加算記憶した値を出力する。平均化部１２は、中間値の信号を１／（Ｎ−１）に減衰して平均値を算出し暗電流補正用のＯＢ代表値信号としてスメア補正部５に出力し（ステップ４２）、代表値検出処理が終了する（ステップ２７）。

また、図１Ｅ、図２Ｅ、図３Ｅ、図４Ｅに示す実施例について説明する。ＣＰＵ９は、メモリ部７１の値を０、メモリ部７２の値を信号の上限値に設定しておき、メモリ部７５の値を信号の下限値に設定しておく。比較部２１は、下限値とＨ−ＯＢ１の映像信号の画素の値とを各画素間で比較し、値が大きい方の信号（Ｈ−ＯＢ１の映像信号）を各画素の最大値の信号としてメモリ部７５に記憶する（ステップ２１，４３）。比較部２１は、最大値の信号とＨ−ＯＢ２の映像信号の画素の値とを各画素間で比較し、値が大きい方の信号を各画素の最大値の信号としてメモリ部７５に記憶する。値が小さい方の信号は、各画素の最小値の信号として比較部２２に送られる。比較部２２は、値が小さい方の信号とメモリ部７２に記憶された上限値とを各画素間で比較し、値が小さい方の信号を各画素の最小値の信号としてメモリ部７２に記憶する（ステップ４４）。比較部２１は、メモリ部７５に記憶されている最大値の信号の値とＨ−ＯＢ３の映像信号の画素の値とを各画素で比較し、値が大きい方の信号を最大値の信号としてメモリ部７５に記憶する。比較部２１は、値が小さい方の信号を比較1の信号として比較部２２に送る（ステップ４５）。比較部２２は、最小値の信号の値と比較1の信号の値とを各画素間で比較し、値が小さい方の信号を最小値の信号としてメモリ部７２に記憶し、値が大きい方の信号を中間値として加算部１３を介してメモリ部７１に加算記憶する（ステップ４６）。同様に、比較部２１は、Ｎライン目（Ｎは４以上の自然数）のＨ−ＯＢＮの映像信号の画素の値と最大値の信号の値とを各画素間で比較し、値が大きい方の信号を最大値の信号としてメモリ部７５に記憶し、値が小さい方の信号を比較１の信号として、比較部２２に送る（ステップ４７）。比較部２２は、最小値の信号の値と比較1の信号の値とを各画素間で比較し、値が小さい方の信号を最小値の信号としてメモリ部７２に記憶し、値が大きい方の信号を中間値として加算部１３を介してメモリ部７１に加算記憶する（ステップ４８）。比較部２２が最後のＨ−ＯＢの比較処理を終了すると、メモリ部７１は、平均化部１２に加算記憶した値を出力する。平均化部１２は、中間値の信号を１／（Ｎ−２）に減衰して平均値を算出し暗電流補正用のＯＢ代表値信号としてスメア補正部５に出力し（ステップ４９）、代表値信号処理が終了する（ステップ２７）。

また、図１Ｆ、図２Ｆ、図３Ｆ、図４Ｆに示す実施例について説明する。ＣＰＵ９は、メモリ部７１の値を０、メモリ部７５，７６の値を信号の下限値にしておく。比較部２１は、下限値とＨ−ＯＢ１の映像信号の画素の値とを各画素間で比較し、値が大きい方の信号（Ｈ−ＯＢ１の映像信号）を最大値の信号としてメモリ部７５に記憶する（ステップ２１，５０）。比較部２１は、最大値の信号の値とＨ−ＯＢ２の映像信号の画素の値とを各画素間で比較し、値が大きい方の信号を最大値の信号としてメモリ部７５に記憶する。値が小さい方の信号は、各画素の2番目に大きい信号として比較部２２に送られる。比較部２２は、値が小さい方の信号とメモリ部７６に記憶された下限値と各画素間で比較し、値が小さい方の信号を各画素の2番目に大きい信号としてメモリ部７６に記憶する（ステップ５１）。比較部２１は、メモリ部７５に記憶されている最大値の信号の値とＨ−ＯＢ３の映像信号の画素の値とを各画素間で比較し、値が大きい方の信号を最大値の信号としてメモリ部７５に記憶する。比較部２１は、値が小さい方の信号を比較1の信号として比較部２２に送る（ステップ４５）。比較部２２は、２番目に大きい信号の値と比較1の信号の値とを各画素で比較し、値が大きい方の信号を２番目に大きい信号としてメモリ部７５に記憶し、値が小さい方の信号を中間値として加算部１３を介してメモリ部７１に加算記憶する（ステップ５２）。同様に、比較部２１は、Ｎライン目（Ｎは４以上の自然数）のＨ−ＯＢＮの映像信号の画素の値と最大値の信号の値とを各画素間で比較し、値が大きい方の信号を最大値の信号としてメモリ部７５に記憶し、値が小さい方の信号を比較１の信号として比較部２２に送る（ステップ４７）。比較部２２は、２番目に大きい信号の値と比較１の信号の値とを各画素間で比較し、値が大きい方の信号を２番目に大きい信号としてメモリ部７５に記憶し、値が小さい方の信号を中間値として加算部１３を介してメモリ部７１に加算記憶する（ステップ５３）。比較部２２が最後のＨ−ＯＢの比較処理を終了すると、メモリ部７１は、平均化部１２に加算記憶した値を出力する。平均化部１２は、中間値の信号を１／（Ｎ−２）に減衰して平均値を算出し暗電流補正用のＯＢ代表値信号としてスメア部５に出力し（ステップ４９）、代表値信号検出処理が終了（ステップ２７）する。

さらに、図１Ｂ、図２Ｂ、図３Ｂ、図４Ｂに示す実施例は、各垂直画素信号の最小値から３番目の値を代表値として用いる方法を示しており、白キズの影響がないだけでなく、暗電流が極端に少ない画素欠陥である黒キズの影響がほとんどなくなり、厳しく選別した高価な積分増倍Ａ／Ｄ部を有するＣＭＯＳ撮像素子を使用しにくい監視用途に適している。図１Ｂに示す実施例では、信号ＶｉからＯＢ代表値信号を減算してから映像信号処理部７に入力する信号Ｖｍを１０ｂｉｔにして、監視用途に多く使用される低価格の映像信号処理部７の入力ビット数に合わせている。但し、垂直暗電流補正の精度を維持するため、ＦＥＰ４の出力ビット数は１４ビットとしている。

また、図１Ｃ、図２Ｃ、図３Ｃ、図４Ｃは、本発明の他の一実施例であり、Ｈ−ＯＢ代表値として各画素信号の最小値を算出する方法を示しており、暗電流（フォトダイードの黒画像の信号出力）補正信号の記憶が１ヶ分で済み集積規模が従来例よりも小型になる。

さらに、図１Ｄ、図２Ｄ、図３Ｄ、図４Ｄに示す実施例は、Ｈ−ＯＢが３以上で最大値を除く平均値を算出する方法を示しており、白キズが多くＨ−ＯＢの数も多いが黒キズが少ない積分増倍Ａ／Ｄ部を有するＣＭＯＳ撮像素子に適している。

図１Ｅ、図２Ｅ、図３Ｅ、図４Ｅに示す実施例は、Ｈ−ＯＢが４以上で最大値と最小値を除く平均値を代表値として用いる方法を示しており、図１Ｅは２２ビットにＡ／Ｄ変換しＣＣＤ撮像素子の暗電流（フォトダイードの黒画像の信号出力）の補正が容易な事と合わせて、白キズも黒キズも多くＨ−ＯＢの数も多い積分増倍Ａ／Ｄ部を有するＣＭＯＳ撮像素子を高感度動作させる用途に適している。

図１Ｆ、図２Ｆ、図３Ｆ、図４Ｆに示す実施例は、Ｈ−ＯＢが４以上で最大値と２番目に大きい値を除く平均値を代表値としており、白キズが特に多くＨ−ＯＢの数も多い積分増倍Ａ／Ｄ部を有するＣＭＯＳ撮像素子を高感度動作させる用途に適している。

図１Ａ―１Ｆに示す実施例は、暗電流補正部５とＯＢ代表値検出部６と映像信号処理部７と映像信号処理部７とを分けていたが、別の実施例として、暗電流補正部５とＯＢ代表値検出部６と映像信号処理部７とは、映像専用のメモリ集積ＤＳＰや、ＦＰＧＡに集積することもできる。

上記と同様に、前記第２の取得部で取得した左右の遮光した画素から出力される信号の各画素信号の最大値からＭ（Ｍは自然数）番目からＭ＋Ｌ（Ｌは自然数）の値の平均値の（各水平走査映像信号の暗部平均値の基準となる）第二の代表値信号を算出する。

以上積分増倍Ａ／Ｄ部を有するＣＭＯＳ撮像素子を用いた撮像装置について詳細に説明したが、本発明は、ここに記載された撮像装置に限定されるものではなく、上記以外の積分増倍Ａ／Ｄ部を有するＣＭＯＳ撮像素子を用いた撮像装置他の撮像装置に広く適用することができることは言うまでもない。

また、本発明は積分増倍Ａ／Ｄ部を有するＣＭＯＳ撮像素子のフォトダイードの黒画像の信号出力の積分増倍量による変動の影響を受けない様にすることにより、黒画像に近い暗部の画像信号を有効利用できるようにする。暗部の画像信号を有効利用できるので、撮像装置を実効的に高感度にする。この実効的に高感度にすることにより、放送局の情報カメラ（いわゆるお天気カメラ）や寝顔の顔色確認等の寝ている病人の遠隔看護等の低照度でも高画質が必要な撮像用途に利用することができる。さらに、遠距離間高速鉄道の監視や海峡の監視のように照明が確保できない監視の撮像用途に利用することができる。
さらに、高輝度画像の信号出力は維持するので、実効的に撮像装置のダイナミックレンジを拡大する。高感度とダイナミックレンジ拡大を両立することにより、高精細監視のワイドダイナミックレンジ撮像が可能になる。そのため、高精細とワイドダイナミックレンジが要求される、逆光状態での鉄道ホームの転落防止の監視用途や自動車の車種とドライバーの顔とナンバープレートの同時識別の監視用途に利用することができる。

１：撮像装置、２：光学系、３：積分増倍Ａ／Ｄ部を有するＣＭＯＳ撮像素子、
５：暗電流（フォトダイードの黒画像の信号出力）補正部、６：ＯＢ代表値検出部、
７：映像信号処理部、９：ＣＰＵ、
１０：利得可変部（Ｄ．ＡＧＣ）、１１：減算器、１２：係数部、１３：加算器、
１４：左右画素平均部、
２１，２２，２３：比較部、７１〜７６：メモリ部

Claims (3)

1. 積分増倍Ａ／Ｄ部を有するＣＭＯＳ撮像素子と該固体撮像素子の受光面の有効画素から出力される画像信号を取得する第１の取得部と前記固体撮像素子の受光面の上下または左右の遮光した画素から出力される信号を取得する第２の取得部とを有する固体撮像装置において、前記第２の取得部で取得した上下の遮光した画素から出力される信号の各画素信号の最小値からＮ（Ｎは自然数）番目の値、最大値からＭ（Ｍは自然数）番目の値以下の値の平均値、または他の最大値からＭ番目の値以下の値から左右画素平均や左右画素重みづけ平均などで算出される値の少なくとも１つの（全水平走査映像信号の暗部シェーディングの基準となる）第一の代表値信号を算出し、前記第２の取得部で取得した左右の遮光した画素から出力される信号の各画素信号の最大値からＭ（Ｍは自然数）番目からＭ＋Ｌ（Ｌは自然数）の値の平均値の（各水平走査映像信号の暗部平均値の基準となる）第二の代表値信号を算出し、積分増倍量に対応して前記第１の取得部で取得した有効画素から出力される各水平走査映像信号から前記第一の代表値信号と前記第二の代表値信号を減算することを特徴とする撮像方法。
2. 積分増倍Ａ／Ｄ部を有するＣＭＯＳ撮像素子と該固体撮像素子の受光面の有効画素から出力される画像信号を取得する第１の取得部と前記固体撮像素子の受光面の上部または下部の遮光した画素から出力される信号を取得する第２の取得部とを有する固体撮像装置において、前記第２の取得部で取得した上下の遮光した画素から出力される信号の各画素信号の最小値からＮ（Ｎは自然数）番目の値、最大値からＭ（Ｍは自然数）番目の値以下の値の平均値、または他の最大値からＭ番目の値以下の値から算出される値の少なくとも１つの（全水平走査映像信号の暗部シェーディングの基準となる）第一の代表値信号を算出する手段と、前記第２の取得部で取得した左右の遮光した画素から出力される信号の各画素信号の最大値からＭ（Ｍは自然数）番目からＭ＋Ｌ（Ｌは自然数）の値の平均値の（各水平走査映像信号の暗部平均値の基準となる）第二の代表値信号を算出する手段とを有し、積分増倍量に対応して前記第１の取得部で取得した有効画素から出力される各水平走査映像信号から前記第一の代表値信号と前記第二の代表値信号を減算することを特徴とする固体撮像装置。
3. 積分増倍Ａ／Ｄ部を有するＣＭＯＳ撮像素子と該固体撮像素子の受光面の有効画素から出力される画像信号を取得する第１の取得部と前記固体撮像素子の受光面の上部または下部の遮光した画素から出力される信号を取得する第２の取得部とを有する固体撮像装置において、前記第２の取得部で取得した上下の遮光した画素から出力される信号の各画素信号の最小値からＮ（Ｎは自然数）番目の値の左右画素平均値の（全水平走査映像信号の暗部シェーディングの基準となる）第一の代表値信号を算出する手段と、前記第２の取得部で取得した左右の遮光した画素から出力される信号の各画素信号の最大値からＭ（Ｍは自然数）番目からＭ＋Ｌ（Ｌは自然数）の値の平均値の（各水平走査映像信号の暗部平均値の基準となる）第二の代表値信号を算出する手段とを有し、積分増倍量に対応して前記第１の取得部で取得した有効画素から出力される各水平走査映像信号から前記第一の代表値信号と前記第二の代表値信号とを減算することを特徴とする固体撮像装置である。
   

Images