JP2005309651A

JP2005309651A - 撮像素子および撮像装置のシェーディング処理装置、およびシェーディング処理方法

Info

Publication number: JP2005309651A
Application number: JP2004123869A
Authority: JP
Inventors: Toshiro Yamaguchi; 利朗山口
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2004-04-20
Filing date: 2004-04-20
Publication date: 2005-11-04
Anticipated expiration: 2024-04-20
Also published as: JP4579570B2

Abstract

【課題】より人の視覚特性に合致した精度の高いシェーディング検査および補正を可能とする。
【解決手段】画像データ内に設定された所定の測定領域の画像データの変化率を検出する第１の検出手段と、前記第１の検出手段で検出した変化率が所定値よりも大きいと判定された場合には、前記測定領域を複数の領域に分割して、分割された複数の測定領域ごとに前記画像データの変化率を検出する第２の検出手段と、前記第１、第２の検出手段から検出された検出結果を基に、シェーディング補正値を求める演算手段とを有することを特徴とするシェーディング処理装置を提供する。
【選択図】図１

Description

本発明は、撮像素子および撮像装置のシェーディング検査および、シェーディング補正に関するものである。

撮像素子は、多数の画素から形成されているが、製造上各画素に開口むら、エッチングむら、フィルタの染色むらなどが生じ、撮像素子の全受光面において均一な受光特性を持たせることは困難である。これにより、輝度シェーディングまたは色シェーディングが問題となることがある。

従来このような輝度シェーディング、色シェーディングの検査方法として、全受光面をｘ×ｙにブロック分割して、各エリア間での輝度または色差データの最大値、最小値を求め、（最大値−最小値）データの大小で良品、不良品を判断する手法があった。また、他の輝度シェーディングまたは色シェーディングの検査方法として、テストオペレーターが、基準画像との目視比較をすることによって目視評価を行い、良品、不良品を判断する手法があった。

また、輝度シェーディング、色シェーディングの補正の第一の方法として、撮像装置で撮影された画像の各画素毎に補正データを持ち、輝度シェーディングまたは色シェーディング補正を行う方法があった。さらに第二の方法として、撮像装置で撮影された画像を複数の領域に分割し、注目画素の撮像面の中心からの距離を求め、この距離情報に応じて、輝度シェーディングまたは色シェーディング補正を行う方法があった。（例えば、文献１）
特開２００３−３４８６０４号公報

全受光面を（ｘ×ｙ）にブロック分割し、各エリア間での輝度または色差データの最大値、最小値を求め、（最大値−最小値）データの大小で良品、不良品を判断する手法は、輝度または色差信号の変化の度合い、例えば輝度または色が急峻に変化する場合などが考慮されていないため、人の視覚特性に合致しないことが多々あった。また、テストオペレーターが目視検査を行う方法では、同一のオペレーターが長時間検査を行った際に、検査結果にばらつきが生じてしまう可能性がある。さらにテストオペレーターが変わった場合には、個々による検査の差が生じてしまう。

また、輝度シェーディングまたは色シェーディング補正の第一の方法では、撮像装置で撮影された画像を各画素毎に補正可能なため、非常に精度の高い補正が可能になる。しかし、各画素毎に補正データを持つ必要があるため大容量の補正用メモリが必要となる。例えば、横方向２０４８画素、縦方向１５３６画素の画像データに必要な補正データは、１画素につき各色８ｂｉｔ、すなわちＲ，Ｇ，Ｂで３×８＝２４ｂｉｔの補正データを持つ場合、２０４８×１５３６×２４＝約７５．５Ｍｂｉｔの補正データが必要となり、さらにズームや絞りのパラメータが複数ある場合、７５．５Ｍｂｉｔの数倍あるいは数十倍という膨大な補正データ用メモリが必要となってしまう。第二の方法では、全画面を分割するため補正データのメモリは削減できる。しかし、各領域を線形補間する場合、被写体の輝度または色に対して、リニアに輝度または色が変化する場合は、補正誤差は発生しないが、急峻に輝度または色が変化する場合は、補正誤差が急峻度合いに応じて発生してしまう。

上記課題を達成するために、画像データ内に設定された所定の測定領域の画像データの変化率を検出する第１の検出手段と、前記第１の検出手段で検出した変化率が所定値よりも大きいと判定された場合には、前記測定領域を複数の領域に分割して、分割された複数の測定領域ごとに前記画像データの変化率を検出する第２の検出手段と、前記第１、第２の検出手段から検出された検出結果を基に、シェーディング補正値を求める演算手段とを有することを特徴とするシェーディング処理装置を提供する。また、分割された複数の領域ごとに、シェーディング補正値を記憶するシェーディング処理装置であって、画像データの変化率が所定値よりも大きい領域については、画像データの変化率が所定値よりも小さい領域よりも、領域の分割数を大きく設定して、各々の領域ごとにシェーディング補正値を記憶する記憶手段と、前記記憶手段で記憶されたシェーディング補正値を用いて、画像データの補正を行う補正手段を有することを特徴とするシェーディング処理装置を提供する。

また、画像データ内に設定された所定の測定領域の画像データの変化率を検出する第１の検出工程と、前記第１の検出工程で検出した変化率が所定値よりも大きいと判定された場合には、前記測定領域を複数の領域に分割して、分割された複数の測定領域ごとに前記画像データの変化率を検出する第２の検出工程と、前記第１、第２の検出工程から検出された検出結果を基に、シェーディング補正値を求める演算工程とを有することを特徴とするシェーディング処理方法を提供する。また、分割された複数の領域ごとに、シェーディング補正値を記憶するシェーディング処理方法であって、画像データの変化率が所定値よりも大きい領域については、画像データの変化率が所定値よりも小さい領域よりも、領域の分割数を大きく設定して、各々の領域ごとにシェーディング補正値を記憶する記憶工程と、前記記憶工程で記憶されたシェーディング補正値を用いて、画像データの補正を行う補正工程を有することを特徴とするシェーディング処理方法を提供する。

本発明により、より人の視覚特性に合致した精度の高いシェーディング検査が可能となる。また、必要最小のメモリ容量で補正誤差の少ないシェーディング補正が可能となる。

（実施例１）
本発明の実施例を図面に基づいて説明する。図１は本実施例の輝度または色シェーディング処理装置の構成を示すブロック図である。図２は、本実施例の画像データの測定領域を表す図である。図３は、本実施例の輝度または色シェーディング検査のフローチャートである。

まず、図１の各部の機能を説明する。１０は検査対象に均一な面の光を発生させる光源、２０は輝度または色シェーディングの検査対象である撮像装置である。本実施例では撮像装置は、デジタルスチルカメラ２０であり、内部の機能を詳述すると、２２は光を電気信号へ換する撮像素子（本実施例ではＣＣＤ２２）、２１は光源１０からの光をＣＣＤ２２へ集光するレンズ、２３はＣＣＤ２２から出力されるアナログ映像信号をデジタル信号へ変換するＡ／Ｄ変換回路、２４はデジタルに変換された画像データを記憶する画像メモリ、２５は撮像装置を制御する制御手段（本実施例ではＣＰＵ２５）、２６は外部に画像データの送信を行う通信回路、から構成されている。３０はデジタルスチルカメラ２０の検査を行う輝度または色シェーディング処理装置で、内部の機能を詳述すると、３１はデジタルスチルカメラ２０の画像データを取り込む通信回路、３２は通信回路３１で取り込んだ画像データを記憶する画像メモリ、３３は画像データの輝度または色シェーディングの変化率を数値化する変化率算出手段（請求項１〜７では変化率を検出する検出手段）、３４は数値化された値の合格（良品）・不合格（不良品）を判断する判定手段、３５は、変化率算出手段３３と判定手段３４を制御する制御手段で、本実施例では３３、３４、３５はＣＰＵ３６上のソフトウェアで各機能を実現している。

次に、本発明の色シェーディング検査実施例の流れを、図３のフローチャートを使って説明する。まず、検査対象であるデジタルスチルカメラ２０で、光源１０の均一な面の光（予め設定された所定の輝度値の光）を中央部でホワイトバランスを調整し撮影する（Ｓ１０２）。均一な面の光は前述したように、レンズ２１、ＣＣＤ２２、Ａ／Ｄ変換２３を通じてデジタル信号に変換した後、画像メモリに記録され、通信回路２６，３１を経て最終的に処理装置３０の画像メモリ３２に画像データとして記録される（Ｓ１０３）。次に、画像データの輝度または色シェーディングの変化率を数値化するのだが、本実施例では色シェーディングの変化率を、図２のように画面をｍ×ｎ分割、ここでは５×５＝２５分割して数値化する一例を説明する。

まず、各エリアごとに色差信号の平均値を求める（Ｓ１０４）。色差信号の平均値は、各エリア内の平均的な色つき度合いを表現することができる。例えばｘ１ｙ１エリアの色差信号の平均値を求める場合は、ｘ１ｙ１エリアの全画素あるいは間引いた画素などで色差信号の平均値を求める。Ｓ１０３で得られた画像がＪＰＥＧで色差信号としてＣｒ，Ｃｂを用いる場合、ｘ１ｙ１エリアＣｒの平均値Ｃｒ（ａｖｅ）とＣｂの平均値Ｃｂ（ａｖｅ）を算出する。次に各エリアのＣｒの平均値Ｃｒ（ａｖｅ）とＣｂの平均値Ｃｂ（ａｖｅ）が、あらかじめ設定してある規格値を満たしているか判定手段３４で判定する（Ｓ１０５）。

本実施例では
Ｃｒ（ａｖｅ）＜Ｃｒ（ａｖｅ規格）
Ｃｂ（ａｖｅ）＜Ｃｂ（ａｖｅ規格）
を、全エリアで満たす場合は、この項目の検査は合格とし、Ｓ１０６に進む。全エリア中一つのエリアでも規格値を満たせない場合は、色つき度合いが高いと判断し、検査は不合格と判定する（Ｓ１０９）。Ｓ１０５で合格した場合は、次に各エリアごとに色差信号の標準偏差を求める（Ｓ１０６）。色差信号の標準偏差は、各エリア内の色の変化率を表現することができる。例えば、図４のようにｘ１ｙ３，ｘ２ｙ４，ｘ３ｙ５エリアで急激に緑からマゼンタに色が変化しているケースを考えると、ｘ１ｙ３，ｘ２ｙ４，ｘ３ｙ５エリアでは図５のようなＣｒの分布となる（横軸が色の分布、縦軸が各々の色の画素の個数ｎを表している）。これに対して、色の変化が小さいエリアでは、図６のような分布となるため、図５と図６を比較すると標準偏差が高くなる分布、すなわち横軸の広がりの大きい分布の場合に色の変化率が大きいことがわかる。例えばｘ１ｙ２エリアの色差信号の標準偏差を求める場合は、ｘ１ｙ２エリアの全画素あるいは間引いた画素などで色差信号の標準偏差を求める。Ｓ１０３で得られた画像がＪＰＥＧで、色差信号としてＣｒ，Ｃｂを用いる場合、ｘ１ｙ１エリアＣｒの標準偏差Ｃｒ（ｓｔｄｅｖ）とＣｂの標準偏差Ｃｂ（ｓｔｄｅｖ）を算出する。次に、各エリアのＣｒの標準偏差Ｃｒ（ｓｔｄｅｖ）とＣｂの標準偏差Ｃｂ（ｓｔｄｅｖ）が、あらかじめ設定してある規格値を満たしているかを、判定手段３４で判定する（Ｓ１０７）。

本実施例では
Ｃｒ（ｓｔｄｅｖ）＜Ｃｒ（ｓｔｄｅｖ規格）
Ｃｂ（ｓｔｄｅｖ）＜Ｃｂ（ｓｔｄｅｖ規格）
を、全エリアで満たす場合は最終的に検査は合格とし（Ｓ１０８）、全エリア中で一つのエリアでも規格値を満たせない場合は、色の変化率が大きいと判断し、検査は不合格と判定する（Ｓ１０９）。

なお、本実施例では、通信回路２６、３１によって画像の送受信を行った後に、検査するように構成した。本実施例では、この検査結果に基づいて合格か、不合格かを判定するが、撮像装置２０と、処理装置３０が一体型となっており、通常撮影時以外の時に、上記の方法で検査を行い、検査結果に基づいて、画像データの補正を行い出力する構成としてもよい。

また、本実施例では色シェーディング検査実施例の流れを図３のフローチャートを用いて説明したが、輝度シェーディング検査の場合には、前記各領域の輝度値の平均値を算出し、各エリアの平均値と規格値を比較して、基準値以上の場合には検査不合格とし、基準値以下の場合に輝度値の標準偏差を算出して各エリアの標準偏差と規格値を比較して、検査の合否判定を行なう。つまり、輝度信号も、色信号も、同様の手順を踏んで、それぞれの撮像装置または撮像素子に適応したシェーディングの判定を行なうことが可能となる。

（実施例２）
本発明の色シェーディング補正の補正係数算出方法の実施例を、図面に基づいて説明する。図７は本実施例の撮像装置で、ここではデジタルスチルカメラの構成を示すブロック図である。図８は本実施例による色シェーディング補正係数算出方法のフローチャート、図１０は実施例１で説明した図２の画像データを、色の変化率の高いエリアで細分割した図である。

まず、図７の各部の機能を説明する。１０は均一な面の光を発生させる光源である。２０は撮像装置で、本実施例ではデジタルスチルカメラである。内部の機能を詳述すると、２２は光を電気信号へ換する撮像素子、本実施例ではＣＣＤ、２１は光源１０からの光をＣＣＤ２２へ集光するレンズ、２３はＣＣＤ２２から出力されるアナログ映像信号をデジタル映像信号へ変換するＡ／Ｄ変換回路、２４はデジタルに変換された画像データを記憶する画像メモリ、２５は撮像装置を制御する制御手段、３３は画像データの輝度または色シェーディングの変化率を数値化する変化率算出手段で、本実施例では２５、３３はＣＰＵ３７上のファームウェアで各機能を実現している。

次に、本発明の実施例の流れを図８のフローチャートを使って説明する。まず、デジタルスチルカメラ２０で光源１０の均一な面の光を、中央部でホワイトバランスを調整して撮影する（Ｓ２０２）。均一な面の光は前述したように、レンズ２１、ＣＣＤ２２、Ａ／Ｄ変換２３を通じてデジタル信号に変換され、最終的に画像メモリ２１に記録される（Ｓ２０３）。次に、実施例１で説明した２５分割画像（図２）に対して、各エリア毎に色差信号の標準偏差を求める。色差信号の標準偏差は、実施例１で前述したように、各エリア内の色の変化率を表現することができる。例えばｘ１ｙ２エリアの色差信号の標準偏差を求める場合は、ｘ１ｙ２エリアの全画素あるいは間引いた画素などで、色差信号の標準偏差を求める。Ｓ２０３で得られた画像がＪＰＥＧで、色差信号としてＣｒ，Ｃｂを用いる場合、ｘ１ｙ１エリアＣｒの標準偏差Ｃｒ（ｓｔｄｅｖ）とＣｂの標準偏差Ｃｂ（ｓｔｄｅｖ）を算出する（Ｓ２０４）。次に、本実施例では、各エリアのＣｒの標準偏差Ｃｒ（ｓｔｄｅｖ）とＣｂの標準偏差Ｃｂ（ｓｔｄｅｖ）をそれぞれを２乗した和の平方根を計算する（Ｓ２０５）。
Ｃ＝√（Ｃｒ＾２＋Ｃｂ＾２）

以上の演算を、全てのエリアで行い、最も色の変化率の高いエリアのＣｍａｘを抽出する（Ｓ２０６）。最後に、Ｃｍａｘに応じたシェーディング補正係数を決定する。本実施例では、完全補正すなわち１００％補正時のＣ_１００％をあらかじめ設定しておき、
Ｃｍａｘ／Ｃ_１００％ただし、Ｃｍａｘ／Ｃ_１００％＜＝１
をシェーディング補正係数として設定する（Ｓ２０７）。

なお、本実施例では色シェーディング補正について説明したが、実施例１と同様、この手順は、輝度シェーディング補正にも適用できる。

本実施例で求めたシェーディング補正係数を用いて、シェーディング補正を行なえば、領域を分割して領域ごとに補正していること、また、各エリア内の輝度または色の変化率を数値化して補正係数を求めていることから、輝度および色が急峻に変化する場合等に、より人の視覚特性に合致した精度の高いシェーディング補正が可能となる。また、必要最小限のメモリ容量で、補正誤差の小さいシェーディング補正が可能となる。

本実施例のデジタルスチルカメラにおける、色シェーディング補正の流れを、図９のフローチャートを使って説明する。まず、デジタルスチルカメラ２０で光源１０の均一な面の光を中央部でホワイトバランスを調整し撮影する（Ｓ３０２）。均一な面の光は前述したように、レンズ２１、ＣＣＤ２２、Ａ／Ｄ変換２３を通じてデジタル信号に変換され、最終的に画像メモリ２４に記録される（Ｓ３０３）。次に、２５分割した各エリアごとに色差信号の標準偏差を求める。色差信号の標準偏差は、実施例１で前述したように各エリア内の色の変化率を表現することができる。例えば、ｘ１ｙ２エリアの色差信号の標準偏差を求める場合は、ｘ１ｙ２エリアの全画素あるいは間引いた画素などで色差信号の標準偏差を求める。Ｓ３０３で得られた画像がＪＰＥＧで色差信号としてＣｒ，Ｃｂを用いる場合、ｘ１ｙ１エリアＣｒの標準偏差Ｃｒ（ｓｔｄｅｖ）とＣｂの標準偏差Ｃｂ（ｓｔｄｅｖ）を算出する（Ｓ３０４）。次に、本実施例では各エリアのＣｒの標準偏差Ｃｒ（ｓｔｄｅｖ）とＣｂの標準偏差Ｃｂ（ｓｔｄｅｖ）をそれぞれを２乗した和の平方根を計算する（Ｓ３０５）。
Ｃ_ｘｎｙｎ＝√（Ｃｒ＾２＋Ｃｂ＾２）

次にＳ３０５で算出したＣ_ｘｎｙｎが、あらかじめ設定した基準値を超えていないか判定する（Ｓ３０６）。基準値を超えていない場合は、画像の色の変化率が基準値よりも小さいと判断し、所定の２５分割のシェーディング補正係数データを基に補正を行う。基準値を超えている場合は、色の変化率が基準値よりも大きいと判断し、そのエリアを図１０のように画像データの測定領域を細分割する（Ｓ３０７）。ここではｘ１ｙ３，ｘ２ｙ４，ｘ３ｙ５の各エリアで色の変化率が大きく基準値を超えたと判断し、本実施例では４分割している。細分割したエリアを追加した３４分割の画像データを演算し、この３４分割のシェーディング補正係数データと線形補間による補正データを用いて補正を行う。上記のように、変化率が基準値を超えたと判断された場合には、更に画像領域を分割して補正を行うことにより、急峻な色の変化で発生するシェーディング補正誤差を最小とすることが可能となり、なおかつ、必要な箇所のみ細分化可能なため、補正データも削減可能となる（Ｓ３０８）。

なお、実施例２では各々の領域ごとに変化率を求め、必要であれば領域を分割してシェーディング補正を行ったが、必要であれば領域を分割して、各々の領域ごとの変化率をもとにあらかじめ補正値を記憶手段に記憶しておいて、前記あらかじめ記憶された補正値を基に、シェーディング補正を行うように構成しても良い。

本発明の実施例の輝度または色シェーディング処理装置の構成を示すブロック図である。本発明の実施例による画像データの測定領域を表す図である。本発明の実施例による輝度または色シェーディング検査のフローチャートである。本発明の実施例による画像データをエリアごとに表した図である。本発明の実施例の図４のｘ１ｙ３，ｘ２ｙ４，ｘ３ｙ５エリアにおけるＣｒの分布を表す図である。本発明の実施例による画像データにおいて、色の変化が小さいエリアのＣｒの分布を表す図である。本発明の実施例による撮像装置、ここではデジタルスチルカメラの構成を示すブロック図である。本発明の実施例による色シェーディング補正係数算出方法のフローチャートである。実施例２に記載のデジタルスチルカメラにおける実施例３の色シェーディング補正方法の実施例の流れを表すフローチャートである。図２の画像データを色の変化率の高いエリアで細分割した図である。

符号の説明

１０光源
２０デジタルスチルカメラ
２１レンズ
２２ＣＣＤ
２３Ａ／Ｄ変換回路
２４画像メモリ
２５制御手段
２６通信回路
３０色むら、色シェーディング処理装置
３１通信回路
３２画像メモリ
３３変化率算出手段
３４判定手段
３５制御手段

Claims

画像データ内に設定された所定の測定領域の画像データの変化率を検出する第１の検出手段と、
前記第１の検出手段で検出した変化率が所定値よりも大きいと判定された場合には、前記測定領域を複数の領域に分割して、分割された複数の測定領域ごとに前記画像データの変化率を検出する第２の検出手段と、
前記第１、第２の検出手段から検出された検出結果を基に、シェーディング補正値を求める演算手段とを有することを特徴とするシェーディング処理装置。
前記演算手段で求めたシェーディング補正値を基に、前記画像データを補正する補正手段を更に有することを特徴とする請求項１に記載のシェーディング処理装置。
前記第１の検出手段は、前記所定の測定領域の画像データの平均値を検出することを特徴とする請求項１または請求項２に記載のシェーディング処理装置。
前記第２の検出手段は、前記測定領域の複数の画素からの画像データの標準偏差を求めて、前記画像データの変化率を検出することを特徴とすることを特徴とする請求項１乃至請求項３のいずれか１項に記載のシェーディング処理装置。
前記第１、第２の検出手段で検出する画像データの変化率は、前記測定領域内の輝度の変化率または、前記測定領域内の色の変化率であることを特徴とする請求項１乃至請求項４のいずれか１項に記載のシェーディング処理装置。
分割された複数の領域ごとに、シェーディング補正値を記憶するシェーディング処理装置であって、
画像データの変化率が所定値よりも大きい領域については、画像データの変化率が所定値よりも小さい領域よりも、領域の分割数を大きく設定して、各々の領域ごとにシェーディング補正値を記憶する記憶手段と、
前記記憶手段で記憶されたシェーディング補正値を用いて、画像データの補正を行う補正手段を有することを特徴とするシェーディング処理装置。
前記シェーディング補正値は、画像データをシェーディング補正する際の補正の割合であることを特徴とする請求項１乃至請求項６のいずれか１項に記載のシェーディング処理装置。
撮像素子に像を結像するレンズと、
前記撮像素子からの信号をＡ／Ｄ変換するＡ／Ｄ変換器と、
前記Ａ／Ｄ変換器から出力された信号に、カメラ信号処理を行うカメラ信号処理手段とを有することを特徴とする請求項２乃至７のいずれか１項に記載のシェーディング処理装置。
画像データ内に設定された所定の測定領域の画像データの変化率を検出する第１の検出工程と、
前記第１の検出工程で検出した変化率が所定値よりも大きいと判定された場合には、前記測定領域を複数の領域に分割して、分割された複数の測定領域ごとに前記画像データの変化率を検出する第２の検出工程と、
前記第１、第２の検出工程から検出された検出結果を基に、シェーディング補正値を求める演算工程とを有することを特徴とするシェーディング処理方法。
分割された複数の領域ごとに、シェーディング補正値を記憶するシェーディング処理方法であって、
画像データの変化率が所定値よりも大きい領域については、画像データの変化率が所定値よりも小さい領域よりも、領域の分割数を大きく設定して、各々の領域ごとにシェーディング補正値を記憶する記憶工程と、
前記記憶工程で記憶されたシェーディング補正値を用いて、画像データの補正を行う補正工程を有することを特徴とするシェーディング処理方法。