JP2007028026A - 撮像装置 - Google Patents

Abstract

【課題】 補正データからランダムノイズを取り除き、且つ縦スジ及び列方向のシェーディングの補正も行えるようにした撮像装置を提供する。
【解決手段】 被写体光を電気信号に変換して電気的な画像信号に変換する画素が複数、２次元に配列されてなるイメージセンサ２と、該イメージセンサに対して前記被写体光を遮光するメカシャッタ１と、前記イメージセンサの画素配列の行又は列を１処理単位として、前記画像信号に対して前記処理単位毎に所定のフィルタ処理を行うフィルタ処理部８と、前記メカシャッタによる遮光時の画像信号に対する前記フィルタ処理部による処理結果を、暗時の補正データとして保持する暗時補正データ取得部５と、前記画像信号から、前記暗時補正データ取得部に保持された前記暗時補正データを減算し、補正画像信号として出力する減算器６とで撮像装置を構成する。
【選択図】 図 １

Description

この発明は、撮像素子を用い、映像信号を出力する撮像装置に関する。

ＣＣＤイメージセンサやＭＯＳ型イメージセンサなどの固体撮像素子は、デジタルカメラなどに広く用いられている。ＣＣＤイメージセンサやＭＯＳ型イメージセンサの出力信号には、暗電流ムラなどに起因する固定パターンノイズがある。また、多くのＭＯＳ型イメージセンサでは、列並列に処理を行うため、列方向にスジ状の固定パターンノイズが発生する。固定パターンノイズを補正する方法として、暗時のイメージセンサの出力信号を補正データとしてメモリに格納しておき、撮影画像信号から減算器によって減算する手法が知られている。

しかしながら、画素毎のランダムなバラツキ（ランダムノイズ）を含んだ補正データによって減算を行うと、減算後の画像データのランダムノイズが減算前の画像よりも大きくなってしまうという問題がある。

これを解決するため、特開平１１−３３１５９２号公報に開示されているように、補正データのランダムノイズを移動平均処理によって平滑化して取り除く処理部を持つものが提案されている。また、特開２０００−２６１７３０号公報に開示されているように、各列毎に暗時出力の平均値を算出し、それを補正データとしてラインメモリに保持し、画像データから減算する手法も提案されている。
特開平１１−３３１５９２号公報 特開２０００−２６１７３０号公報

しかしながら、前記各公報で提案のものにも以下のような課題がある。すなわち、特開平１１−３３１５９２号公報開示の補正データからランダムノイズを取り除く手法では、ランダムノイズの増加は抑えることができる。しかしながら、列方向のスジ（縦スジ）の発生は抑えられず、その補正については言及されていない。また、特開２０００−２６１７３０号公報開示の暗時画像の列毎の平均値を補正データとしてラインメモリに格納する手法では、ランダムノイズを増加せずに、列方向のスジは抑えられるが、列内でのシェーディング補正には対応できないという問題がある。

本発明は、上記課題に鑑みてなされたもので、補正データからランダムノイズを取り除きつつ、且つ縦スジ及び列方向のシェーディングの補正も行えるようにした撮像装置を提供することを目的とする。

上記課題を解決するため、請求項１に係る発明は、被写体光を電気信号に変換して電気的な画像信号に変換する画素が複数、２次元に配列されてなる撮像部と、前記撮像部に対して前記被写体光を遮光するシャッタと、前記撮像部の画素配列の行又は列を１処理単位として、前記画像信号に対して前記処理単位毎に所定のフィルタ処理を行うフィルタ処理部と、前記シャッタによる遮光時の画像信号に対する前記フィルタ処理部による処理結果を、暗時の補正データとして保持する暗時補正データ取得部と、前記画像信号から、前記暗時補正データ取得部に保持された前記暗時補正データを減算し、補正画像信号として出力する減算器とを備えて、撮像装置を構成するものである。

請求項２に係る発明は、請求項１に係る撮像装置において、フィルタ処理部は、前記画像信号に対して、欠陥画素に対する欠陥除去処理を行い、前記欠陥除去処理後の画像信号に対して平滑化処理を施すことを特徴とするものである。

請求項３に係る発明は、請求項２に係る撮像装置において、フィルタ処理部は、前記平滑化処理として、被処理画素に対し、該被処理画素の属する前記行又は列の近傍複数画素に係る画像信号を加算平均し、その結果を前記被処理画素に対する平滑化後の画像信号として出力する処理を有することを特徴とするものである。

請求項４に係る発明は、請求項２に係る撮像装置において、フィルタ処理部は、前記欠陥除去処理として、メディアンフィルタ処理を有することを特徴とするものである。

請求項５に係る発明は、請求項１〜４のいずれか１項に係る撮像装置において、暗時補正データ取得部は、遮光条件の異なる複数の暗時補正データを保持するフレームメモリと、撮像条件に対応する前記遮光条件の暗時補正データを前記フレームメモリから前記減算器に出力させるように制御するコントローラとを有することを特徴とものである。

請求項６に係る発明は、請求項１〜５のいずれか１項に係る撮像装置において、フィルタ処理部は、前記画像信号に含まれるノイズの生起要因に応じて、前記フィルタ処理の処理条件を変更することを特徴とするものである。

請求項７に係る発明は、請求項６に係る撮像装置において、フィルタ処理部は、前記撮像部の温度に応じて、前記フィルタ処理の処理条件を変更することを特徴とするものである。

請求項８に係る発明は、請求項６に係る撮像装置において、フィルタ処理部は、前記撮像部の蓄積時間に応じて、前記フィルタ処理の処理条件を変更することを特徴とするものである。

請求項９に係る発明は、請求項６に係る撮像装置において、フィルタ処理部は、前記撮像部から出力された前記画像信号に掛けられるゲインに応じて、前記フィルタ処理の処理条件を変更することを特徴とするものである。

請求項10に係る発明は、請求項６〜９のいずれか１項に係る撮像装置において、フィルタ処理部は、変更される前記フィルタ処理の処理条件が、前記フィルタ処理に用いる前記画素の数であることを特徴とするものである。

請求項１に係る発明によれば、画像データからシェーディング状の固定パターンノイズと縦スジ状の固定パターンノイズを軽減させることが可能な撮像装置を実現することができる。請求項２に係る発明によれば、画像信号から暗時補正データを減算するときに、ランダムノイズの増加を抑えることができる。また、平滑化処理前に欠陥除去処理を行うので、欠陥の影響を受けない補正データを作成することができる。また請求項３に係る発明によれば、簡便な手法で暗時画像のランダムノイズを除去することが可能になる。また請求項４に係る発明によれば、平滑化処理前に簡便な手法で欠陥を除去することができる。また請求項５に係る発明によれば、撮影の都度、補正データを作成する必要がなくなる。また請求項６に係る発明によれば、より撮影画像に即した補正処理が可能となる。また請求項７に係る発明によれば、温度に応じて量が異なる暗時画像のランダムノイズ及び欠陥に対応することができる。また請求項８に係る発明によれば、蓄積時間により量が異なる暗時画像のランダムノイズ及び欠陥に対応することができる。また請求項９に係る発明によれば、ゲインに応じて大きさが異なるランダムノイズに対応することができる。また請求項10に係る発明によれば、より適切な欠陥除去処理又は平滑化処理を行うことができる。

次に、本発明を実施するための最良の形態について説明する。

まず、本発明に係る実施例１について説明する。図１は、本発明に係る撮像装置の実施例１を示すブロック図であり、本実施例に係る撮像装置は、メカシャッタ１，イメージセンサ２，前処理部３，シャッタドライバ４，暗時補正データ取得部５，減算部６，信号処理部７，フィルタ処理部８により構成されている。また、暗時補正データ取得部５は、スイッチ５ａ，コントローラ５ｂ，フレームメモリ５ｃにより構成されており、前処理部３はイメージセンサ２の出力を増幅するアンプ３ａ，アナログ信号をデジタル信号に変換するＡ／Ｄ変換器３ｂにより構成されている。

そして、イメージセンサ２の出力は、アンプ３ａ，Ａ／Ｄ変換器３ｂを介して、暗時補正データ取得部５のスイッチ５ａに出力されている。スイッチ５ａの出力は、フレームメモリ５ｃ又は減算部６に出力されている。また、フレームメモリ５ｃの出力は、フィルタ処理部８及び減算器６に接続されている。フィルタ処理部８の出力は、フレームメモリ５ｃに接続されている。減算器の出力は信号処理部７に接続されている。また、暗時補正データ取得部５のコントローラ５ｂは、スイッチ５ａ，シャッタドライバ４及びフレームメモリ５ｃに接続されており、シャッタドライバ４は、メカシャッタ１に接続されている。

次に、このように構成されている実施例１に係る撮像装置の動作について説明する。本実施例に係る撮像装置の補正処理は、大きく分けると補正データ作成処理と補正処理とになる。補正データ作成処理においては、補正データの作成を行い、補正処理では、イメージセンサからの映像信号に対して、補正データ作成処理において作成した補正データに基づいて実際の補正処理を行う。図２は上記補正データ作成処理、図３は上記補正処理の動作を示したフローチャートである。

次に、図２のフローチャートを参照しながら補正データ作成処理について説明する。まずステップＳ11では、コントローラ５ｂはシャッタドライバ４を介してメカシャッタ１を閉じた状態にし、暗時画像の撮影を行わせる。イメージセンサ２の出力は、アンプ３ａで増幅されたのち、Ａ／Ｄ変換器３ｂでＡ／Ｄ変換が行われて暗時画像データとされ、スイッチ５ａを介してフレームメモリ５ｃに保持される。

次に、ステップＳ12では、フィルタ処理部８において、前記ステップＳ11で取得されフレームメモリ５ｃに保持された暗時画像データから、欠陥等の特異データを除去するために、列毎にメディアンフィルタ処理が行われる。ステップＳ13では、フィルタ処理部８において、ステップＳ12で列毎のメディアンフィルタ処理が施された暗時画像データに対して、ランダムノイズを除去するために、列毎に移動平均処理が施される。

次に、図４に基づいて、画像データが10×10画素の場合の、列毎の移動平均処理について説明する。５列目、５行目の処理される画素の移動平均は、５列目、５行目の該処理画素を中心とした列方向に例えば５画素の平均値として与えられる。

ステップＳ14では、ステップＳ13までの処理で得られた演算結果が補正データとしてフレームメモリ５ｃに格納される。以上で、暗時補正データ作成処理は終了する。

次に、図３のフローチャートを参照しながら補正処理について説明を行う。まずステップＳ21では、コントローラ５ｂにより、シャッタドライバ４を介してメカシャッタ１の開閉が制御されて、画像の撮影が行われ、撮影された画像に係る画像データがイメージセンサ２より読み出される。そして、アンプ３ａで増幅されたのち、Ａ／Ｄ変換器３ｂでＡ／Ｄ変換が行われる。

次に、ステップＳ22では、ステップＳ21で読み出された画像データは、スイッチ５ａを介して減算部６に出力され、コントローラ５ｂによりフレームメモリ５ｃから出力される、前記補正データ作成処理のステップＳ14で得られた補正データが減算されて補正処理される。以上の手順により補正した撮影画像が得られる。

前記補正データ作成処理におけるメディアンフィルタ処理においては、メディアンフィルタの範囲は、欠陥画素が多くなる場合は大きくすることが好ましい。欠陥画素が多くなる場合としては、イメージセンサが高温のとき、あるいは蓄積時間が長いときが挙げられる。

また移動平均処理において、ランダムノイズが大きい場合は、移動平均画素数（図４で示した例では５画素）を多くすることが好ましい。ランダムノイズが大きくなる場合としては、イメージセンサが高温のとき、あるいは前処理部のゲインが高いときが挙げられる。これらの条件により、移動平均画素数を変えられるようにすると好ましい。

本実施例によれば、暗時補正データとして、列毎にメディアンフィルタ、並びに移動平均処理を施したものを用いることで、ランダムノイズを増加させることなく、列毎のオフセットバラツキに起因する縦スジだけでなく、列方向のシェーディングも補正することができる。暗時画像の撮影は、必ずしも撮影毎に行う必要はなく、システムの安定性やイメージセンサの環境に対する特性に応じて、適宜実施すればよい。

図１に示した撮像装置では、イメージセンサ２と、前処理部３を構成するアンプ３ａ，Ａ／Ｄ変換器３ｂとを個別ブロックで示しているが、これらが１チップ化されていてもよいことは言うまでもない。

次に、本発明に係る実施例２について説明する。図５は、実施例２に係る撮像装置の構成を示すブロック図であり、図１に示した実施例１に係る撮像装置の構成部材と対応する構成部材には同一符号を付して示している。この実施例に係る撮像装置は、メカシャッタ１，イメージセンサ２，前処理部３，シャッタドライバ４，暗時補正データ取得部105 ，減算部６，信号処理部７，フィルタ処理部８により構成されている。また、暗時補正データ取得部105 は、スイッチ105a，コントローラ105b，複数のフレームメモリ105cにより構成されており、前処理部３は、イメージセンサの出力を増幅するアンプ３ａ，アナログ信号をデジタル信号に変換するＡ／Ｄ変換器３ｂにより構成されている。

本実施例は、実施例１の暗時補正データ取得部のフレームメモリを複数にしたものであり、これにより撮像条件の異なる複数の補正データを持つことが可能となるので、補正の効果を高めることができる。なお、イメージセンサ２の出力は、アンプ３ａ，Ａ／Ｄ変換器３ｂを介して、暗時補正データ取得部105 のスイッチ105aに接続されている。スイッチ105aの出力は、複数のフレームメモリ105c又は減算部6 に接続されている。また、複数のフレームメモリ105cの出力は、フィルタ処理部８及び減算器６に接続されている。フィルタ処理部８の出力は、複数のフレームメモリ105cに接続される。減算器６の出力は、信号処理部７に接続されている。また、暗時補正データ取得部105 のコントローラ105bは、スイッチ105aとシャッタドライバ４と複数のフレームメモリ105cに接続されており、シャッタドライバ４は、メカシャッタ１に接続されている。

次に、このように構成されている実施例２に係る撮像装置の動作について説明する。本実施例に係る補正処理も、大きく分けると補正データ作成処理と補正処理とになる。補正データ作成処理においては、補正データの作成を行い、補正処理では、イメージセンサからの映像信号に対して、補正データ作成処理において作成した補正データに基づいて実際の補正処理を行う。図６は上記補正データ作成処理、図７は上記補正処理の動作を示すフローチャートである。

次に、図６のフローチャートを参照しながら、補正データ作成処理について説明を行う。まずステップＳ31では、コントローラ105bは、シャッタドライバ４を介してメカシャッタ１を閉じた状態にし、ある撮像条件下で暗時画像の撮影を行わせる。イメージセンサ２の出力は、アンプ３ａで増幅されたのち、Ａ／Ｄ変換器３ｂでＡ／Ｄ変換が行われて暗時画像データとされ、スイッチ５ａを介してフレームメモリ105cに保持される。

次に、ステップＳ32では、フィルタ処理部８において、前記ステップＳ31で取得され、フレームメモリ105cに保持された暗時画像データから、欠陥等の特異データを除去するために、列毎にメディアンフィルタ処理が行われる。ステップＳ33では、フィルタ処理部８において、ステップＳ32で列毎のメディアンフィルタ処理が施された暗時画像データに対して、ランダムノイズを除去するために、列毎に実施例１と同様の移動平均処理が施される。ステップＳ34では、ステップＳ33までの処理で得られた演算結果が補正データとしてフレームメモリ105cに格納される。ステップＳ35で、所定の撮像条件数の補正データが作成されているか判定され、作成されていなければ撮像条件を変えて上記ステップＳ31〜Ｓ34を繰り返し、作成されていれば、補正データ作成処理を終了する。

次に、図７のフローチャートを参照して補正処理について説明を行う。まずステップＳ41では、コントローラ105bにより、シャッタドライバ４を介してメカシャッタ１の開閉が制御されて画像の撮影が行われ、撮影された画像に係る画像データがイメージセンサ２より読み出される。そして、アンプ３ａで増幅されたのち、Ａ／Ｄ変換器３ｂでＡ／Ｄ変換が行われる。

次に、ステップＳ42では、ステップＳ41で読み出された画像データは、スイッチ105aを介して減算部６に出力され、該画像データから、補正データ作成処理のステップＳ34でフレームメモリ105cに格納した補正データのうち、撮像条件の合う、あるいは撮像条件の近い補正データがコントローラ105bにより選ばれ、該減算器６で減算され、補正処理が行われる。以上の手順により補正した撮影画像が得られる。複数の撮像条件としては、例えば、暗時画像の蓄積時間が異なるもの、あるいは前処理部のゲインが異なるものが挙げられる。

この実施例２によれば、暗時補正データを複数用意しておくことで、撮像条件に即した補正処理が可能になる上、撮影の都度、補正データを作成する必要がなくなる。

なお、上記各実施例では、列毎にメディアンフィルタ処理、並びに移動平均処理を施して暗時補正データを得るようにしたものを示したが、メディアンフィルタ処理、並びに移動平均処理は行毎に施すこともでき、同様に暗時補正データを得ることができる。

本発明に係る撮像装置の実施例１の構成を示すブロック図である。 図１に示した実施例１における補正データ作成処理動作を説明するためのフローチャートである。 図１に示した実施例１における補正処理動作を説明するためのフローチャートである。 図１に示した実施例１における補正データ作成処理中の列毎の移動平均処理動作を示す説明図である。 本発明の実施例２に係る撮像装置の構成を示すブロック図である。 図５に示した実施例２における補正データ作成処理動作を説明するためのフローチャートである。 図５に示した実施例２における補正処理動作を説明するためのフローチャートである。

符号の説明

１ メカシャッタ
２ イメージセンサ
３ 前処理部
３ａ アンプ
３ｂ Ａ／Ｄ変換器
４ シャッタドライバ
５，105 暗時補正データ取得部
５ａ，105a スイッチ
５ｂ，105b コントローラ
５ｃ フレームメモリ
105c 複数のフレームメモリ
６ 減算部
７ 信号処理部
８ フィルタ処理部

Claims (10)

1. 被写体光を電気信号に変換して電気的な画像信号に変換する画素が複数、２次元に配列されてなる撮像部と、前記撮像部に対して前記被写体光を遮光するシャッタと、前記撮像部の画素配列の行又は列を１処理単位として、前記画像信号に対して前記処理単位毎に所定のフィルタ処理を行うフィルタ処理部と、前記シャッタによる遮光時の画像信号に対する前記フィルタ処理部による処理結果を、暗時の補正データとして保持する暗時補正データ取得部と、前記画像信号から、前記暗時補正データ取得部に保持された前記暗時補正データを減算し、補正画像信号として出力する減算器とを有する撮像装置。
2. 前記フィルタ処理部は、前記画像信号に対して、欠陥画素に対する欠陥除去処理を行い、前記欠陥除去処理後の画像信号に対して平滑化処理を施すことを特徴とする請求項１に係る撮像装置。
3. 前記フィルタ処理部は、前記平滑化処理として、被処理画素に対し、該被処理画素の属する前記行又は列の近傍複数画素に係る画像信号を加算平均し、その結果を前記被処理画素に対する平滑化後の画像信号として出力する処理を有することを特徴とする請求項２に係る撮像装置。
4. 前記フィルタ処理部は、前記欠陥除去処理として、メディアンフィルタ処理を有することを特徴とする請求項２に係る撮像装置。
5. 前記暗時補正データ取得部は、遮光条件の異なる複数の暗時補正データを保持するフレームメモリと、撮像条件に対応する前記遮光条件の暗時補正データを前記フレームメモリから前記減算器に出力させるように制御するコントローラとを有することを特徴とする請求項１〜４のいずれか１項に係る撮像装置。
6. 前記フィルタ処理部は、前記画像信号に含まれるノイズの生起要因に応じて、前記フィルタ処理の処理条件を変更することを特徴とする請求項１〜５のいずれか１項に係る撮像装置。
7. 前記フィルタ処理部は、前記撮像部の温度に応じて、前記フィルタ処理の処理条件を変更することを特徴とする請求項６に係る撮像装置。
8. 前記フィルタ処理部は、前記撮像部の蓄積時間に応じて、前記フィルタ処理の処理条件を変更することを特徴とする請求項６に係る撮像装置。
9. 前記フィルタ処理部は、前記撮像部から出力された前記画像信号に掛けられるゲインに応じて、前記フィルタ処理の処理条件を変更することを特徴とする請求項６に係る撮像装置。
10. 前記フィルタ処理部は、変更される前記フィルタ処理の処理条件が、前記フィルタ処理に用いる前記画素の数であることを特徴とする請求項６〜９のいずれか１項に係る撮像装置。

Images