JP4742652B2

JP4742652B2 - 撮像装置

Info

Publication number: JP4742652B2
Application number: JP2005116642A
Authority: JP
Inventors: 靖雄高根
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2005-04-14
Filing date: 2005-04-14
Publication date: 2011-08-10
Anticipated expiration: 2025-04-14
Also published as: US20060232692A1; JP2006295763A

Description

本発明は撮像装置に係り、特にスミア現象による画質の劣化を防止する機能を具備したデジタルカメラ、ビデオカメラ等の撮像装置のスミア補正技術に関する。

ＣＣＤ(Charge Coupled Device) 撮像素子を使用した撮像装置によって、太陽やライト等の高輝度被写体を撮影すると、撮影画面の縦方向に帯状の明るい線が現れる。かかる現象はスミア現象と呼ばれ、ＣＣＤの各フォトダイオード（光電変換素子）に生じる電荷を垂直転送路に転送して読み出す際に入射光量の大きな部分の電荷が垂直転送路に溢れ出したり、或いは、入射光自体が垂直転送路に漏れて垂直転送路に電荷を発生させてしまうことによって起こる。

このスミア現象を除去すべく、従来の撮像装置においては、ＣＣＤ撮像素子の複数ライン分の光学的黒領域（オプティカルブラック（ＯＢ）領域）の出力信号を加算平均して１ライン分の信号をラインメモリに記憶し、ＣＣＤ撮像素子の有効画像領域の信号から前記記憶した信号を減算するようにしている（特許文献１）。
特開平７−６７０３８号公報

ところで、特許文献１には、スミア補正を行う回路規模の削減を図る技術については記載されていない。また、極端に大きなスミアが発生している場合には、そのスミアが発生している水平方向の画素位置の信号に対する減算値が大きくなり過ぎ、その結果、スジ状ノイズが発生するという問題がある。

本発明はこのような事情に鑑みてなされたもので、スミア補正を行う回路規模の削減を図ることができるとともに、スミア補正の性能を向上させることができる撮像装置を提供することを目的とする。

前記目的を達成するために請求項１に係る発明は、有効画素領域と複数ライン分の光学的黒領域とを有する固体撮像素子と、前記固体撮像素子から出力されるアナログ信号を所定のビット幅のデジタル信号に変換するＡ／Ｄ変換器と、前記光学的黒領域から得られる前記デジタル信号のビット幅よりもビット幅の小さいデジタル信号を入力し、その入力したデジタル信号に基づいて前記複数ライン分を平均した１ライン分のデジタル信号を算出する平均値算出手段と、前記平均値算出手段によって算出された前記ビット幅の小さいデジタル信号を１ライン分記憶するラインメモリと、前記ラインメモリに記憶された１ライン分のデジタル信号に基づいてスミアが発生している前記有効画素領域の水平方向の画素位置を検出するスミア検出手段であって、前記固体撮像素子の光学的黒領域から得られるデジタル信号の平均値と、前記ラインメモリに記憶された各デジタル信号との差分を算出する算出手段と、前記算出した差分と予め設定した閾値との比較結果に基づいてスミアが発生している水平方向の画素位置を検出する比較手段とを有するスミア検出手段と、前記有効画素領域から得られる前記所定のビット幅のデジタル信号のうちの前記スミア検出手段によって検出された画素位置のデジタル信号に対して前記ラインメモリに記憶されたデジタル信号に基づいて補正を行うスミア補正手段であって、前記スミア検出手段によって検出された画素位置のデジタル信号と前記固体撮像素子の光学的黒領域から得られるデジタル信号の平均値との差分を求め、前記有効画素領域から得られる前記所定のビット幅のデジタル信号から前記求めた差分を減算するスミア補正手段と、前記求めた差分が所定の値を超える場合には、該差分によるスミア補正を行わないようにする補正判断手段と、を備え、前記平均値算出手段は、前記Ａ／Ｄ変換器を介して入力する前記ビット幅の小さいデジタル信号と前記ラインメモリに記憶され該ラインメモリから出力されるデジタル信号とを加算し、その加算値を２分の１に除算して平均したデジタル信号を前記ラインメモリに出力することを特徴としている。

即ち、前記固体撮像素子の光学的黒領域から得られる所定のビット幅のデジタル信号からスミア信号を求める際に、前記デジタル信号のビット幅よりもビット幅の小さいデジタル信号を使用し、これにより前記平均値算出手段及びラインメモリ等の回路規模の削減を可能にしている。尚、スミア信号の特徴から信号精度が必要でない領域があるため、前記ビット幅を設定する際に下位ビットを削減することができる。また、過度にスミア補正がかかると、黒スジが現れるが、この黒スジが発生しないようにしてスミア補正の性能を向上させるようにしている。

請求項２に示すように請求項１に記載の撮像装置において、前記平均値算出手段の前段に設けられ、前記所定のビット幅のデジタル信号を入力し、前記所定のビット幅のデジタル信号のうちの任意のビット幅及びビット位置のデジタル信号を選択して前記平均値算出手段に出力するビットセレクタを有することを特徴としている。前記固体撮像素子の特性やノイズが大きくなる被写体等に応じて前記ビット幅及びビット位置を適宜選択することができる。

請求項３に示すように請求項１に記載の撮像装置において、前記平均値算出手段の前段に設けられ、前記平均値算出手段に入力されるデジタル信号が予め設定した数値を超えないように制限するリミッタを有することを特徴としている。

請求項４に示すように請求項１に記載の撮像装置において、前記平均値算出手段の前段に設けられ、前記平均値算出手段に入力されるデジタル信号にニー補正をかけるニー回路を有することを特徴としている。

請求項５に示すように請求項４に記載の撮像装置において、前記スミア検出手段によって検出された画素位置のデジタル信号から減算する前記ラインメモリに記憶された前記画素位置に対応するデジタル信号に対して、前記ニー回路のニー特性と逆の入出力特性を与える補正値修正手段を有することを特徴としている。これにより、ニー回路によって圧縮した信号を伸長させることができる。

請求項６に示すように請求項１に記載の撮像装置において、前記平均値算出手段の前段に設けられ、前記平均値算出手段に入力されるデジタル信号にコアリング補正をかけるコアリング回路を有することを特徴としている。入力するデジタル信号のノイズ成分を抑えることで、良好なスミア補正用の信号を求めることができる。

請求項７に示すように請求項１に記載の撮像装置において、前記平均値算出手段の前段に設けられ、前記平均値算出手段に入力されるデジタル信号にフィルタをかけるデジタルフィルタであって、注目点の値が近傍点の値よりも大きい場合に該注目点の値を低下させるデジタルフィルタを有することを特徴している。これにより、前記固体撮像素子の光学的黒領域に画素欠陥が存在していても、その影響を除去することができる。

請求項８に示すように請求項７に記載の撮像装置において、前記デジタルフィルタは、メディアンフィルタ、ローパスフィルタ又は孤立点除去フィルタであることを特徴としている。

本発明によれば、固体撮像素子の光学的黒領域から得られる所定のビット幅のデジタル信号からスミア信号を求める際に、前記デジタル信号のビット幅よりもビット幅の小さいデジタル信号を使用するようにしたため、スミア補正用の信号を生成するための回路等の回路規模を削減することができ、これに伴い消費電力及びコストの削減も可能となる。

以下添付図面に従って本発明に係る撮像装置の好ましい実施の形態について詳説する。

〔固体撮像素子の構造〕
まず、本発明に係る撮像装置に使用されるＣＣＤ撮像素子の構造について説明する。図１はＣＣＤ固体撮像素子（以下、「ＣＣＤ」という）の一例を示す平面模式図である。

ＣＣＤ１０は、多数の受光セルが水平方向（行方向）及び垂直方向（列方向）に一定の配列周期で配置された二次元撮像デバイス（イメージセンサ）である。

各受光セルの側部には、垂直転送路（垂直ＣＣＤ）が形成されており、各受光セルで蓄積された電荷は、ＣＣＤ駆動時に垂直ＣＣＤに移され、更に垂直ＣＣＤ上の電荷は、図１上で下方向に順次転送される。

ＣＣＤ１０の下部（垂直ＣＣＤの下端側）には、水平転送路（水平ＣＣＤ）１２が設けられており、垂直ＣＣＤから順次転送される１ライン分の信号電荷を受け取る。水平ＣＣＤ１２は、２相駆動されて水平ＣＣＤ１２上の電荷を順次水平方向に移送する。水平ＣＣＤ１２の最終段（図１上で最右段）は出力部１４に接続されている。出力部１４は出力アンプを含み、入力された信号電荷の電荷検出を行い、信号電圧として出力する。こうして、各受光セルで光電変換した信号が、点順次の信号列として出力される。

また、このＣＣＤ１０は、上端部及び右端部がそれぞれ遮光された光学的黒領域（ＯＢ領域）１６、１８と、遮光されていない有効画素領域１９とが形成されている。尚、この実施の形態では、ＯＢ領域１６は、ＣＣＤ１０の上端部の２ライン分とする。

〔撮像装置の構成例〕
次に、本発明に係る撮像装置の実施の形態について説明する。

図２は本発明に係る撮像装置の実施の形態を示すブロック図である。この撮像装置は、上述したＣＣＤ１０が搭載されている。

撮像装置全体の動作は、中央処理装置（ＣＰＵ）２０によって統括制御されている。操作部２２は、電源スイッチ、シャッターボタン、撮影モードと再生モードとを切り換えるためのモード切替えスイッチ、ズームやコマ送り等の各種の指令信号を出力するマルチファンクションの十字キー等を含む。この操作部２２からの各種の操作信号は、ＣＰＵ２０に加えられるようになっている。尚、この撮像装置は、シャッターボタンをＯＮするごとに静止画を撮影する静止画の撮影モード（静止画モード）の他に、シャッターボタンがＯＮされている間、所定のフレームレートで連続的に撮影を行う動画の撮影モード（動画モード）があり、これらのモードは操作部２２での操作によって適宜選択できるようになっている。

静止画や動画の撮影時には、被写体を示す画像光は、撮影レンズ２４及び絞り２６を介して、ＣＣＤ１０の受光面に結像される。ＣＣＤ１０に蓄積された電荷は、ＣＣＤドライバ２８により電圧信号として読み出され、アナログ・フロント・エンド（ＡＦＥ）３０に出力される。

ＡＦＥ３０は、相関二重サンプリング（ＣＤＳ）回路、色分離回路、ゲイン調整回路等のアナログ処理部３２及びＡ／Ｄ変換器３４を含み、入力する信号に対して相関二重サンプリング処理並びにＲ，Ｇ，Ｂの各色信号の色分離処理し、各色信号の信号レベルの調整が行われる。アナログ処理部３２から出力されたアナログ信号は、Ａ／Ｄ変換器３４により１２ビットのデジタル信号に変換された後、Ｒ，Ｇ，ＢのＣＣＤ−ＲＡＷデータとして画像信号処理回路４６に加えられる。

タイミングジェネレータ（ＴＧ）４０は、ＣＰＵ２０の指令に従ってＣＣＤドライバ２８、ＡＦＥ３０に対してタイミング信号を与えており、このタイミング信号によって各回路の同期がとられている。

メモリ（ＳＲＡＭ(Static RAM)）４２は、画像データを一時記憶したり、後述する画像処理等を行う際に使用されるワークメモリとして機能する。ＲＯＭ４４には、予めプログラムや調整値などが記憶されており、これらのプログラムや調整値は適宜読み出される。

画像信号処理回路４６は、図３に示すようにスミア補正回路４８、黒補正回路５０、ホワイトバランス調整回路５２、ガンマ補正回路５４、ＹＣ変換回路５６、輪郭補正回路５８、及び色差マトリクス回路６０等を有しており、ＡＦＥ３０から入力するＣＣＤ−ＲＡＷデータに対して各種の信号処理を施す。

スミア補正回路４８は、入力するＣＣＤ−ＲＡＷデータの中のスミア成分が混入しているデータからスミア成分を除去する。尚、このスミア補正回路４８の詳細については後述する。スミア補正されたデータは、続いて黒補正回路５０にて黒レベル補正が行われる。この黒レベル補正は、図１に示したＯＢ領域１６、１８から得られるデータの積算平均値を基準として行われる。

その後、ホワイトバランス調整回路５２、ガンマ補正回路５４、及びＹＣ変換回路５６により、Ｒ，Ｇ，Ｂデータのホワイトバランス調整、ガンマ補正、Ｒ、Ｇ、Ｂデータから輝度データＹ及び色差データＣ_r、Ｃ_bの生成処理（ＹＣ変換）が行われる。そして、輝度データＹは、輪郭補正回路５８により輪郭強調処理が行われ、色差データＣ_r、Ｃ_bは、色差マトリクス回路６０により色再現性を向上させる色補正が行われる。

画像信号処理回路４６で処理された画像データ（ＹＣデータ）は、ビデオ・エンコーダ６４においてエンコーディングされ、カメラ背面に設けられている液晶モニタ（ＬＣＤ）６６に出力され、これにより被写体像がＬＣＤ６６の表示画面上に表示される。

また、画像信号処理回路４６で処理されたＹＣデータは圧縮伸張処理回路６２に出力され、JPEG (joint photgraphic experts group)などの所定の圧縮処理が実行された後、メディアコントローラ６８を介してメモリカード７０に記録される。

次に、上記スミア補正回路４８について説明する。

〔第１の実施の形態〕
図４はスミア補正回路の第１の実施の形態を示すブロック図である。

同図に示すスミア補正回路４８−１は、主として平均値算出回路１００と、ラインメモリ１０２と、メモリコントローラ１０４と、ＯＢ位置検出カウンタ１０６と、スミア補正値算出回路１０８と、減算回路１１０とから構成されている。

平均値算出回路１００には、ＡＦＥ３０から１２ビットのＣＣＤ−ＲＡＷデータのうちの８ビットのデータが入力されるようになっている。この８ビットは、例えば、１２ビットのうちの下位８ビットである。尚、１〜８ビット目までの下位８ビットに限らず、例えば、３〜１０ビット目までの８ビットでもよい。これは、スミア信号の特徴から信号精度をあまり必要としない領域を圧縮するためである。

この平均値算出回路１００は、加算回路と除算回路とによって構成されており、他の入力には、ラインメモリ１０２から出力される８ビットのデータが加えられるようになっている。平均値算出回路１００は、これらの２入力のデータを加算し、その加算値を２分の１に除算して２入力データの平均値を算出し、その平均値をラインメモリ１０２に出力する。

ラインメモリ１０２は、８ビットのデータをＣＣＤ１０の１ライン分記憶することができるもので、データが読み書きされるラインメモリ１０２上のアドレス指定、及びデータの書き込みは、メモリコントローラ１０４からのアドレス信号Address 、及びライト・イネーブル信号ＷＥによって行われる。

また、メモリコントローラ１０４は、ＯＢ位置検出カウンタ１０６から入力するイネーブル信号Enableに基づいて前記アドレス信号Address 及びライト・イネーブル信号ＷＥを出力する。即ち、ＯＢ位置検出カウンタ１０６は、ＴＧ４０から入力する垂直同期信号ＶＤによってリセットされ、その後、ＴＧ４０から入力する水平同期信号ＨＤをカウントすることで、ＡＦＥ３０から現在、何ライン目のデータが出力されているかを検出することができる。また、ＯＢ位置検出カウンタ１０６には、ＣＰＵ２０によってＣＣＤ１０のＯＢ領域１６のアドレスが設定されている。そして、ＯＢ位置検出カウンタ１０６は、ＯＢ領域１６のライン（この実施の形態では、ＣＣＤ１０の上端部の２ライン分）のデータを入力している期間だけ、メモリコントローラ１０４にイネーブル信号Enableを出力して、メモリコントローラ１０４を動作可能にする。

従って、ＯＢ領域１６のデータを入力している間、平均値算出回路１００とラインメモリ１０２とを使用して２ライン分のＯＢ領域１６のデータを垂直方向に加算平均した１ライン分のデータ列の算出が行われる。

このようにしてラインメモリ１０２には、ＯＢ領域１６の１ライン分のデータ列が記憶保持され、このデータ列は、アドレス信号Address （１ラインの水平方向の画素位置に相当する信号）とともにスミア補正値算出回路１０８に出力される。

図５はＯＢ領域１６の平均化された１ライン分のデータ列（ＯＢ値）の一例を示す図である。同図において、ａはＣＣＤ１０のＯＢ領域全体のデータの平均値を示し、ｂ、ｃは平均値ａよりも著しく大きいデータであり、ｂはＯＢ領域内に画素欠陥があったために大きな値となった箇所を示し、ｃはスミア成分がＯＢ領域に流入したために大きな値となった箇所を示している。

スミア補正値算出回路１０８の他の入力には、ＣＰＵ２０からスミア検出用の所定の閾値Ｔｈが加えられており、スミア補正値算出回路１０８は、図５に示すようにＯＢ領域１６の平均化された１ライン分のＯＢ値のうちの閾値Ｔｈを超えるデータの位置をスミアが発生している位置として検出し、この位置の本線のデータに対するスミア補正値を算出する。即ち、前記閾値Ｔｈを超えるＯＢ値からＯＢ領域のデータの平均値を減算し、その減算値をスミア補正値とする。スミア補正値算出回路１０８は、このようにして算出したスミア補正値を減算回路１１０に出力する。

減算回路１１０の他の入力には、本線のデータが加えられており、減算回路１１０は、本線のデータから前記スミア補正値を減算し、この減算した本線のデータをスミア補正後のデータとして出力する。尚、スミア補正値算出回路１０８は、減算回路１１０に加えられている本線のデータの水平方向のアドレスと同じアドレスのスミア補正値を減算回路１１０に出力している。

図６は上記スミア補正方法の手順を示すフローチャートである。

同図において、ＡＦＥ３０から入力するデータ（ＣＣＤ−ＲＡＷデータ）がＯＢ領域のデータか否かを判別し（ステップＳ１０）、ＯＢ領域のデータの場合には、そのＯＢ領域の全データの平均値（ＯＢ平均値）を算出するとともに、２ライン分のＯＢ領域１６のデータを垂直方向に平均化した１ライン分のデータ列（ＯＢ値）を算出する（ステップＳ１２）。

そして、水平方向の各画素位置ごとに、その画素位置のＯＢ値とＯＢ平均値との差分が所定の閾値以上か否かを判別する（ステップＳ１４）。前記差分が所定の閾値以上の場合には、その差分をスミア補正値として減算回路１１０に出力し（ステップＳ１６）、この減算回路１１０にて本線のデータからスミア補正値を減算する（ステップＳ１８）。尚、前記差分が所定の閾値以下の場合には、本線のデータに対してはスミア補正は行われない。

〔第２の実施の形態〕
図７はスミア補正回路の第２の実施の形態を示すブロック図である。尚、図４に示した第１の実施の形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図７に示すスミア補正回路４８−２は、第１の実施の形態のスミア補正回路４８−１と比較して、平均値算出回路１００の前段にビットセレクタ１２０が追加されている点で相違する。

ビットセレクタ１２０は、１２ビットのＣＣＤ−ＲＡＷデータから任意の８ビットを選択して平均値算出回路１００に出力できるようになっている。例えば、１２ビットのうちの３〜１０ビット目までの８ビットを選択することができる。また、ＣＰＵ２０からの指示により、ＣＣＤ１０の特性やノイズが大きくなるシーンなどの撮影時に応じてビット幅及びビット位置を適宜選択することができる。これは、スミア信号の特徴から信号精度をあまり必要としない領域を圧縮するためである。

このビットセレクタ１２０によりビット数を削減することにより、後段の回路規模を削減できるようにしている。

尚、ビットセレクタ１２０により、１２ビットのうちの３〜１０ビット目までの８ビットを選択した場合、平均値算出回路１００に入力するデータは、８倍の大きさのデータとして入力される。したがって、スミア補正値算出回路１０８では、入力するデータを８分の１（３ビットシフト）にしてＯＢ値にする必要がある。

〔第３の実施の形態〕
図８はスミア補正回路の第３の実施の形態を示すブロック図である。尚、図４に示した第１の実施の形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図８に示すスミア補正回路４８−３は、第１の実施の形態のスミア補正回路４８−１と比較して、平均値算出回路１００の前段にリミッタ１３０が追加されている点で相違する。

リミッタ１３０には、ＣＰＵ２０から所定のリミット値lim が加えられている。このリミッタ１３０は、図９に示すように１２ビットのＣＣＤ−ＲＡＷデータを所定のリミット値lim を超えないように制限する回路である。このリミッタ１３０によって制限されたＣＣＤ−ＲＡＷデータのうちの下位８ビットのデータが平均値算出回路１００に出力される。尚、リミット値は、この例では８ビット未満の値で、後段の加算過程で８ビットの値を超えない（オーバーブローしない）値の最大値とすることが好ましい。

これにより、ＯＢ値の算出時にデータがオーバーフローしないようにすることができる。

〔第４の実施の形態〕
図１０はスミア補正回路の第４の実施の形態を示すブロック図である。尚、図８に示した第３の実施の形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図１０に示すスミア補正回路４８−４は、第３の実施の形態のスミア補正回路４８−３と比較して、スミア補正値算出回路１０８の後段に補正判断回路１３２が追加されている点で相違する。

前述したようにリミッタ１３０では、後段の加算過程でオーバーブローしない値の最大値をリミット値lim としているため、このリミット値を超えるＣＣＤ−ＲＡＷデータに対しては正確なＯＢ値を算出することができない。また、スミア補正値算出回路１０８で算出されたスミア補正値が大きすぎる場合、減算回路１１０で大きなスミア補正値を減算することになり、過補正によるスジ状ノイズが発生するという問題がある。

第４の実施の形態の補正判断回路１３２は、スミア補正値が所定値よりも大きいか否かを判断し、スミア補正値が所定値を超える場合には、そのスミア補正値の代わりにゼロ、平均値、又はデフォルト値（過度にスミア補正しない適宜の値）を減算回路１１０に出力する。

また、補正判断回路１３２は、判断基準としての前記所定値としてリミッタ１３０でのリミット値lim を使用するようにしている。

この補正判断回路１３２によって過度にスミア補正がかからないようにしている。即ち、過度にスミア補正がかかると、スジ状ノイズが現れるが、このような不具合が生じないようにしている。

図１１は上記補正判断回路１３２の処理内容を示すフローチャートである。

同図において、補正判断回路１３２は、スミア補正値算出回路１０８から入力するスミア補正値と、ＣＰＵ２０から入力するリミット値lim とを比較し、スミア補正値がリミット値lim を超えているか否かを判断する（ステップＳ２０）。

そして、スミア補正値がリミット値lim を超えていない場合には、そのスミア補正値を減算値として減算回路１１０に出力し（ステップＳ２２）、スミア補正値がリミット値lim を超えている場合には、減算値を０（又はデフォルト値）として減算回路１１０に出力する（ステップＳ２４）。

〔第５の実施の形態〕
図１２はスミア補正回路の第５の実施の形態を示すブロック図である。尚、図４に示した第１の実施の形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図１２に示すスミア補正回路４８−５は、第１の実施の形態のスミア補正回路４８−１と比較して、平均値算出回路１００の前段にニー回路１４０が追加されている点で相違する。

ニー回路１４０は、入力する１２ビットのＣＣＤ−ＲＡＷデータのうち、図１３（Ａ）に示すように所定のニーポイント以上のデータを圧縮する回路であり、例えば、図１３（Ａ）に示す入出力特性をもったルックアップテーブル（ＬＵＴ）によって構成することができる。

このニー回路１４０により１２ビットのデータを８ビットのデータに圧縮してビット幅を削減し、これにより後段の回路規模を削減できるようにしている。

〔第６の実施の形態〕
図１４はスミア補正回路の第６の実施の形態を示すブロック図である。尚、図１２に示した第５の実施の形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図１４に示すスミア補正回路４８−６は、第５の実施の形態のスミア補正回路４８−５と比較して、スミア補正値算出回路１０８の後段に補正値修正回路１４２が追加されている点で相違する。

前述したようにニー回路１４０では、所定のニーポイント以上のデータを圧縮しているため、このニーポイント以上のスミア補正値も圧縮されていることになる。

補正値修正回路１４２は、ニーポイント以上の圧縮されたスミア補正値を圧縮されていない値に戻すための回路であり、図１３（Ｂ）に示すようにニー回路１４０の入出力特性（同図（Ａ））とは逆の入出力特性をもつようにスミア補正値を修正する。

図１５は上記補正値修正回路１４２の処理内容を示すフローチャートである。

同図において、補正値修正回路１４２は、スミア補正値算出回路１０８から入力するスミア補正値と、ＣＰＵ２０から入力するニーポイントとを比較し、スミア補正値がニーポイントを超えているか否かを判断する（ステップＳ３０）。

そして、スミア補正値がニーポイントを超えていない場合には、そのスミア補正値を減算値として減算回路１１０に出力し（ステップＳ３２）、スミア補正値がニーポイントを超えている場合には、ニー傾きの逆の傾き特性をもたせる補正演算を行い、その演算値を減算値として出力する（ステップＳ３４）。

尚、補正値修正回路１４２は、図１３（Ｂ）に示す入出力特性をもったＬＵＴによって構成することができる。

〔第７の実施の形態〕
図１６はスミア補正回路の第７の実施の形態を示すブロック図である。尚、図４に示した第１の実施の形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図１６に示すスミア補正回路４８−７は、第１の実施の形態のスミア補正回路４８−１と比較して、平均値算出回路１００の前段にコアリング回路１５０が追加されている点で相違する。

コアリング回路１５０には、ＣＰＵ２０から所定のコアリングレベルが加えられている。このコアリング回路１５０は、図１７に示すように所定のコアリングレベル以下のデータを０にして、入力する１２ビットのデータを出力する。尚、コアリングレベルは、ノイズ成分に対応するレベルにすることが好ましい。

上記コアリング回路１５０により、ノイズの影響を除去したＯＢ値を求めることができる。

〔第８の実施の形態〕
図１８はスミア補正回路の第８の実施の形態を示すブロック図である。尚、図４に示した第１の実施の形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図１８に示すスミア補正回路４８−８は、第１の実施の形態のスミア補正回路４８−１と比較して、平均値算出回路１００の前段にメディアンフィルタ１６０が追加されている点で相違する。

メディアンフィルタ１６０は、例えば、注目画素を中心として３×３画素、５×５画素のフィルタサイズのデータの中央値を算出し、注目画素のデータを前記算出した中央値に置き換えるフィルタ処理を行う。このメディアンフィルタ１６０により、注目画素のデータが周囲のデータに対して特異点となっている場合、特異点でないデータに置き換える（特異点を除去する）ことができる。

例えば、図５に示すようにＯＢ領域内に欠陥画素があったために大きなＯＢ値となった箇所ｂのデータをＯＢ平均値近傍の値にすることができる。これにより、正確にＯＢ値を求めることができる。

〔第９の実施の形態〕
図１９はスミア補正回路の第９の実施の形態を示すブロック図である。尚、図４に示した第１の実施の形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図１９に示すスミア補正回路４８−９は、第１の実施の形態のスミア補正回路４８−１と比較して、平均値算出回路１００の前段にローパスフィルタ（ＬＰＦ）１７０が追加されている点で相違する。

ＬＰＦ１７０は、注目画素を含む近傍の画素のデータを平均化し、その平均化したデータを注目画素のデータとして出力する。これにより、ノイズや特異点のデータを除去することができ、ノイズ等の影響を除去したＯＢ値を求めることができる。

尚、この実施の形態では、ＣＣＤ−ＲＡＷデータのビット幅を１２ビットとし、ＯＢ値の算出用に削減したビット幅を８ビットとしたが、各データのビット幅はこれに限らない。また、ＯＢ領域１６のライン数を２ラインとしたが、ＯＢ領域１６のライン数はこれに限らず、８ライン、１６ライン等でもよく、ライン数が多いほど、より精度の高いＯＢ値を算出することができる。

また、ノイズ等を除去するフィイルは、メディアンフィルタ１６０、ＬＰＦ１７０に限らず、例えば、孤立点除去フィルタなどの適宜のデジタルフィルタを使用することができる。

図１はＣＣＤの一例を示す平面模式図である。図２は本発明に係る撮像装置の実施の形態を示すブロック図である。図３は画像信号処理回路の内部構成例を示すブロック図である。図４はスミア補正回路の第１の実施の形態を示すブロック図である。図５はＯＢ領域の平均化された１ライン分のデータ列（ＯＢ値）の一例を示すグラフである。図６はスミア補正方法の手順を示すフローチャートである。図７はスミア補正回路の第２の実施の形態を示すブロック図である。図８はスミア補正回路の第３の実施の形態を示すブロック図である。図９はリミッタを説明するために用いたグラフである。図１０はスミア補正回路の第４の実施の形態を示すブロック図である。図１１は補正判断回路の処理内容を示すフローチャートである。図１２はスミア補正回路の第５の実施の形態を示すブロック図である。図１３はニー回路及び補正値修正回路を説明するために用いたグラフである。図１４はスミア補正回路の第６の実施の形態を示すブロック図である。図１５は補正値修正回路の処理内容を示すフローチャートである。図１６はスミア補正回路の第７の実施の形態を示すブロック図である。図１７はコアリング回路を説明するために用いたグラフである。図１８はスミア補正回路の第８の実施の形態を示すブロック図である。図１９はスミア補正回路の第９の実施の形態を示すブロック図である。

符号の説明

１０…ＣＣＤ固体撮像素子（ＣＣＤ）、１６、１８…ＯＢ領域、１９…有効画素領域、２０…中央処理装置（ＣＰＵ）、３０…アナログ・フロント・エンド（ＡＦＥ）、３４…Ａ／Ｄ変換器、４０…タイミングジェネレータ（ＴＧ）、４６…画像信号処理回路、４８、４８−１〜４８−９…スミア補正回路、５０…黒補正回路、１００…平均値算出回路、１０２…ラインメモリ、１０４…メモリコントローラ、１０６…ＯＢ位置検出カウンタ、１０８…スミア補正値算出回路、１１０…減算回路、１２０…ビットセレクタ、１３０…リミッタ、１３２…補正判断回路、１４０…ニー回路、１４２…補正値修正回路、１５０…コアリング回路、１６０…メディアンフィルタ、１７０…ローパスフィルタ（ＬＰＦ）

Claims

有効画素領域と複数ライン分の光学的黒領域とを有する固体撮像素子と、
前記固体撮像素子から出力されるアナログ信号を所定のビット幅のデジタル信号に変換するＡ／Ｄ変換器と、
前記光学的黒領域から得られる前記デジタル信号のビット幅よりもビット幅の小さいデジタル信号を入力し、その入力したデジタル信号に基づいて前記複数ライン分を平均した１ライン分のデジタル信号を算出する平均値算出手段と、
前記平均値算出手段によって算出された前記ビット幅の小さいデジタル信号を１ライン分記憶するラインメモリと、
前記ラインメモリに記憶された１ライン分のデジタル信号に基づいてスミアが発生している前記有効画素領域の水平方向の画素位置を検出するスミア検出手段であって、前記固体撮像素子の光学的黒領域から得られるデジタル信号の平均値と、前記ラインメモリに記憶された各デジタル信号との差分を算出する算出手段と、前記算出した差分と予め設定した閾値との比較結果に基づいてスミアが発生している水平方向の画素位置を検出する比較手段とを有するスミア検出手段と、
前記有効画素領域から得られる前記所定のビット幅のデジタル信号のうちの前記スミア検出手段によって検出された画素位置のデジタル信号に対して前記ラインメモリに記憶されたデジタル信号に基づいて補正を行うスミア補正手段であって、前記スミア検出手段によって検出された画素位置のデジタル信号と前記固体撮像素子の光学的黒領域から得られるデジタル信号の平均値との差分を求め、前記有効画素領域から得られる前記所定のビット幅のデジタル信号から前記求めた差分を減算するスミア補正手段と、
前記求めた差分が所定の値を超える場合には、該差分によるスミア補正を行わないようにする補正判断手段と、を備え、
前記平均値算出手段は、前記Ａ／Ｄ変換器を介して入力する前記ビット幅の小さいデジタル信号と前記ラインメモリに記憶され該ラインメモリから出力されるデジタル信号とを加算し、その加算値を２分の１に除算して平均したデジタル信号を前記ラインメモリに出力することを特徴とする撮像装置。
前記平均値算出手段の前段に設けられ、前記所定のビット幅のデジタル信号を入力し、前記所定のビット幅のデジタル信号のうちの任意のビット幅及びビット位置のデジタル信号を選択して前記平均値算出手段に出力するビットセレクタを有することを特徴とする請求項１に記載の撮像装置。
前記平均値算出手段の前段に設けられ、前記平均値算出手段に入力されるデジタル信号が予め設定した数値を超えないように制限するリミッタを有することを特徴とする請求項１に記載の撮像装置。
前記平均値算出手段の前段に設けられ、前記平均値算出手段に入力されるデジタル信号にニー補正をかけるニー回路を有することを特徴とする請求項１に記載の撮像装置。
前記スミア検出手段によって検出された画素位置のデジタル信号から減算する前記ラインメモリに記憶された前記画素位置に対応するデジタル信号に対して、前記ニー回路のニー特性と逆の入出力特性を与える補正値修正手段を有することを特徴とする請求項４に記載の撮像装置。
前記平均値算出手段の前段に設けられ、前記平均値算出手段に入力されるデジタル信号にコアリング補正をかけるコアリング回路を有することを特徴とする請求項１に記載の撮像装置。
前記平均値算出手段の前段に設けられ、前記平均値算出手段に入力されるデジタル信号にフィルタをかけるデジタルフィルタであって、注目点の値が近傍点の値よりも大きい場合に該注目点の値を低下させるデジタルフィルタを有することを特徴とする請求項１に記載の撮像装置。
前記デジタルフィルタは、メディアンフィルタ、ローパスフィルタ又は孤立点除去フィルタであることを特徴とする請求項７に記載の撮像装置。