JP4402230B2

JP4402230B2 - 画像処理装置

Info

Publication number: JP4402230B2
Application number: JP36462299A
Authority: JP
Inventors: 一仁堀内
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 1999-12-22
Filing date: 1999-12-22
Publication date: 2010-01-20
Anticipated expiration: 2019-12-22
Also published as: JP2001186533A

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像装置において発生する光学系の倍率色収差を信号処理で補正する画像処理装置、特に欠落している色信号を信号処理で補間する際に倍率色収差を補正する画像処理装置に関するものである。
【０００２】
【従来の技術】
撮像装置等に用いる光学系で発生する収差の一つに倍率色収差がある。色収差は、波長によって屈折率が異なることに起因するもので、特に倍率色収差は色によって焦点距離が異なることで、像面における像の位置（倍率）が各色でずれて見られる現象である。なお、本明細書では、倍率色収差を以後簡略して色収差と記す。この色収差は、レンズの材質等である程度補正できるが、この場合には材質が高価になる等の原因でレンズ製造におけるコストがかかることになる。
【０００３】
そこで、従来、色収差を信号処理によって補正する方法が幾つか提案されている。例えば、特公平６−５９５９号公報には、基準色と他色との誤差および近傍の色信号から補間処理を行うための補正データを予め記憶し、撮像動作時にこれら記憶されているデータを読み出して他色のデータを近傍のデータにより補間することで補正を行うようにしたものが開示されている。
【０００４】
また、特開平８−２０５１８１号公報には、ズーム位置等のレンズ状態と画面位置に対応した色収差情報（基準色に対する他色のずれ情報）を予めメモリに記憶し、該当する色収差情報を用いて基準色との色収差を補正した画像データを補間するようにしたものが開示されている。さらに、この公報には、色収差情報のメモリを減らすための工夫として、画面中心からの距離に応じて色収差を判定したり、部分的に色収差情報を記憶して、色収差情報が存在しない部分は補間により色収差情報を求めることも開示されている。
【０００５】
【発明が解決しようとする課題】
しかしながら、上述した従来例では、基本的に各画素すべての色が存在する段階で色収差補正を行っているため、例えばＲＧＢで表される場合には、各色一つずつの撮像素子（３板撮像素子）を持つ撮像装置が必要となり、撮像素子を多く持つ分だけ撮像装置自体が大きく、かつコスト高になる。
【０００６】
これに対し、単板や２板の撮像素子を用いる（画像再現に必要な色信号に対して撮像素子が少ない）場合には、３板撮像素子を用いる撮像装置に比べ撮像装置自体を小さく、かつ安価にできるが、この場合には、画像として再現するために各画素に関して欠落している色信号を補間する必要がある。ところが、この場合に補間される色信号は、上述した色収差の影響により、参照する画素の像とは異なった部分の像に関して生成されることになる。
【０００７】
この様子を、図１０を用いてさらに詳細に説明する。図１０は、単板撮像素子における欠落色信号の補間の様子を示している。ここで注目している画素“Ｇ｛ｉ，ｊ｝”にはＧ信号が存在し、画像として再現するにはＲ信号およびＢ信号を補間する必要がある。この位置に結像するＧ信号の像に関して、理想的には補間されるＲ信号およびＢ信号は同一位置に結像する。しかし、実際には光学系の色収差により、Ｇ信号の像に関するＲ信号およびＢ信号の結像位置“Ｒ｛ｉ，ｊ｝”， “Ｂ｛ｉ，ｊ｝”は、図１０のようにＧ信号の位置とは異なった位置に結像される。
【０００８】
ここで、色収差補正を行わずにＲ信号およびＢ信号の欠落色信号の補間処理を行うと、参照しているＧ信号の像に対して位置的にずれた像の欠落色信号を補間することになり、実際の被写体の色とは異なる色として再現される場合がある。図１０の場合には、“Ｇ｛ｉ，ｊ｝”にある像のＲ信号およびＢ信号をこのまま補間しようとしても、色収差の影響により実際の像のＲ信号およびＢ信号は“Ｇ｛ｉ，ｊ｝”ではないため、結果として適切な補間処理を行うことができないことになる。
【０００９】
以上のことから、欠落色信号を補間処理するにあたっては、色収差を補正する必要がある。ここで、信号処理による色収差の補正方法として、撮像光学系の色収差情報を基に、色信号の位置ずれ補正量を表す位置補正情報を各画素毎に保持したルックアップテーブル（ＬＵＴ）を予めメモリに記憶させ、欠落色信号の補間処理において画素の位置をアドレスとしてメモリのＬＵＴから位置補正情報を読み込み、その位置補正情報により位置を補正して補間処理を行う、という方法が考えられる。
【００１０】
しかし、この場合には、補間処理前に各画素に対して位置補正情報のＬＵＴを参照するため、参照時の計算時間の増加やメモリ等の回路規模の増大が引き起こされ、コストの安い撮像装置では色収差を補正することが困難であった。
【００１１】
したがって、かかる点に鑑みてなされた本発明の目的は、簡単かつ安価な構成で、入力画像信号の色収差を補正できると共に、欠落色信号の補間処理で色収差を補正できる画像処理装置を提供しようとするものである。
【００１２】
【課題を解決するための手段】
上記目的を達成する請求項１に係る発明は、撮像光学系を経て撮像素子から得られる画像情報の色信号に基づいて各画素に関して欠落している画像情報の色信号を補間処理により復元する画像処理装置において、
前記撮像素子から得られる画像情報の色信号を記憶する画像情報記憶部と、
前記撮像光学系で発生する色収差の情報を色収差情報として記憶する色収差情報記憶部と、
前記画像情報記憶部に記憶されている画像情報の色信号の画素位置と前記撮像光学系に関する情報とに基づいて、前記色収差情報記憶部から色収差情報を読み出して色収差を補正するための色収差補正情報を生成する色収差補正情報生成部と、
前記画像情報記憶部に記憶されている画像情報の色信号の画素位置と前記色収差補正情報生成部で生成された色収差補正情報とに基づいて補間処理のための補間係数を算出する補間係数算出部と、
前記画像情報記憶部に記憶されている画像情報の色信号と前記補間係数算出部で算出された補間係数とを用いて前記画像情報記憶部に記憶されている画像情報の色信号および前記欠落している画像情報の色信号に関して補間処理を行う補間処理部と、
を有することを特徴とするものである。
【００１３】
請求項１に係る発明によると、画像情報の色信号の画素位置と撮像光学系の状態とに基づいて色収差情報から色収差補正情報が生成されるので、撮像光学系の状態変化に応じて画素毎に適した色収差補正情報を得ることができると共に、画像情報の色信号の画素位置に応じて、色収差補正情報から補間係数を生成して入力された画像情報の色信号および欠落している画像情報の色信号に補間処理が施されるので、画素毎に色収差補正に適した補間係数が求められ、補間処理によって画素単位で入力色信号と欠落色信号の色収差を補正することが可能となり、結果として、撮像光学系や撮像素子等のコストを最小限に抑え、信号処理によって全画素に関する全ての色信号に対して色収差を補正した高画質な画像を生成することが可能となる。
【００１４】
請求項２に係る発明は、撮像光学系を経て撮像素子から得られる画像情報の色信号に基づいて各画素に関して欠落している画像情報の色信号を補間処理により復元する画像処理装置において、
前記撮像素子から得られる画像情報の色信号を記憶する画像情報記憶部と、
前記撮像素子から得られる画像情報の色信号に基づいて前記撮像光学系で発生する色収差の情報を生成する色収差情報生成部と、
前記色収差情報生成部で生成された色収差の情報を色収差情報として記憶する色収差情報記憶部と、
前記画像情報記憶部に記憶されている画像情報の色信号の画素位置と前記撮像光学系に関する情報とに基づいて前記色収差情報記憶部から色収差情報を読み出して色収差を補正するための色収差補正情報を生成する色収差補正情報生成部と、
前記画像情報記憶部に記憶されている画像情報の色信号の画素位置と前記色収差補正情報生成部で生成された色収差補正情報とに基づいて補間処理のための補間係数を算出する補間係数算出部と、
前記画像情報記憶部に記憶されている画像情報の色信号と前記補間係数算出部で算出された補間係数とを用いて前記画像情報記憶部に記憶されている画像情報の色信号および前記欠落している画像情報の色信号に関して補間処理を行う補間処理部と、
を有することを特徴とするものである。
【００１５】
請求項２に係る発明によると、画像情報の色信号から色収差情報が生成されるので、画像情報を得る実際の撮像光学系に適合した色収差情報を得ることができると共に、この色収差情報を利用して画像情報の色信号の画素位置と撮像光学系の状態とに基づいて色収差補正情報が生成されるので、撮像光学系の状態変化に応じて画素毎に適した色収差補正情報を得ることが可能となる。また、画像情報の色信号の画素位置に応じて色収差補正情報から補間係数が生成されるので、画素毎に色収差補正に適した補間係数が求められると共に、この補間係数に基づいて入力された画像情報の色信号および欠落している画像情報の色信号に対して補間処理が施されるので、画素単位で入力色信号と欠落色信号の色収差を補正することができ、結果として、撮像光学系や撮像素子等のコストを最小限に抑え、信号処理によって全画素に関する全ての色信号に対して色収差を補正した高画質な画像を生成することが可能となる。
【００１６】
請求項３に係る発明は、請求項１または２に記載の画像処理装置において、前記色収差情報記憶部は、前記画像情報の色信号の画素位置と前記撮像光学系に関する情報とに依存する特性を前記色収差情報として記憶することを特徴とするものである。
【００１７】
請求項３に係る発明によると、各画素毎に色収差情報を記憶する必要がないので、色収差情報記憶部のメモリ容量を縮小することが可能になると共に、色収差情報記憶部およびその周辺の回路構成の簡略化を図ることが可能になる。
【００１８】
請求項４に係る発明は、請求項１または２に記載の画像処理装置において、前記色収差補正情報生成部は、前記色収差情報記憶部から読み出される前記色収差情報を、前記画像情報の色信号の画素位置と前記撮像光学系に関する情報とに依存する特性に変換して、前記色収差補正情報を生成することを特徴とするものである。
【００１９】
請求項４に係る発明によると、色収差補正情報を生成するための情報を各画素毎に保持する必要がないので、メモリ容量を縮小することが可能になると共に、色収差補正情報生成部およびその周辺の回路構成の簡略化を図ることが可能となる。
【００２０】
請求項５に係る発明は、請求項１〜４のいずれか一項に記載の画像処理装置において、前記撮像光学系に関する情報は、前記撮像光学系の焦点距離であることを特徴とするものである。
【００２１】
請求項５に係る発明によると、撮影時のズーム動作等により焦点距離が変化しても、それに対応した色収差情報や色収差補正情報等を得て適切に色収差を補正することが可能となるので、結果的に様々な撮影状態においても常に適切な色収差補正を行うことが可能となる。
【００２２】
請求項６に係る発明は、請求項１〜４のいずれか一項に記載の画像処理装置において、前記撮像光学系に関する情報は、前記撮像光学系の結像面を複数のブロックに分割して定義する情報であることを特徴とするものである。
【００２３】
請求項６に係る発明によると、色収差が複雑に発生する撮像光学系に対しても複数のブロックに分割して部分的に対応した色収差情報や色収差補正情報等を得て部分的に適切に色収差を補正することが可能となるので、結果的に結像面全体すなわち画像全体に適切な色収差補正を行うことが可能となる。
【００２４】
請求項７に係る発明は、請求項２に記載の画像処理装置において、前記色収差情報生成部は、
色収差の補正を目的としたパターン情報をパターン参照情報として記憶するパターン参照情報記憶部と、
前記パターン情報を撮影した画像情報の色信号をパターン画像情報として記憶するパターン画像情報記憶部と、
前記パターン画像情報記憶部に記憶されている前記パターン画像情報に対して位置補正を行うパターン画像情報位置補正部と、
前記パターン画像情報位置補正部で位置補正された前記パターン画像情報と前記パターン参照情報とを比較して色ずれ情報を生成するパターン情報間色ずれ比較部と、
前記パターン情報間色ずれ比較部で生成された色ずれ情報に基づいて前記色収差情報を算出する色収差情報算出部と、
を有することを特徴とするものである。
【００２５】
請求項７に係る発明によると、色収差を補正するためのパターン情報を用意し、これを撮影した画像情報と予め記憶されている参照情報とを比較して色収差情報が生成されるので、撮像光学系の設計スペックに対して誤差が生じていても、各装置毎に適した色収差情報を得ることができ、結果的にどの装置においても適切に色収差補正を行うことが可能となる。
【００２６】
【発明の実施の形態】
以下、図面を参照して、本発明に係る画像処理装置の実施の形態について説明する。
【００２７】
図１は、本発明の第１実施の形態としての電子スチールカメラの基本的構成を示すブロック図である。この電子スチールカメラは、電子シャッタ機能を有する単板式のカラーＣＣＤ撮像素子１を用いるもので、このＣＣＤ撮像素子１には、レンズ群２および絞り・シャッタ機構３を経て被写体像が結像され、その被写体像が光電変換されて画像信号として出力される。ＣＣＤ撮像素子１からの被写体像の画像信号は、図示しない相関二重サンプリング回路等でノイズ成分が除去さたのち、アンプ４で増幅され、さらにＡ／Ｄ変換器５でデジタル信号に変換されてカメラ信号処理回路６に供給され、ここで画像データとして処理される。
【００２８】
また、Ａ／Ｄ変換器５の出力は、ＡＦ，ＡＥ，ＡＷＢ検波回路７にも供給され、ここで本来の撮影に先立って、フォーカスを自動的に制御するためのＡＦ情報を取り出すＡＦ検波処理、露出を自動的に制卸するためのＡＥ情報を取り出すＡＥ検波処理、およびホワイトバランスを自動的に設定するためのＡＷＢ情報を取り出すＡＷＢ検波処理が行われる。このＡＦ，ＡＥ，ＡＷＢ検波回路７からのＡＦ情報、ＡＥ情報およびＡＷＢ情報は、それぞれＣＰＵ８を介してレンズ群２、絞り・シャッタ機構３およびカメラ信号処理回路６に供給される。
【００２９】
カメラ信号処理回路６およびＣＰＵ８は、バスライン９に接続され、このバスライン９には、メモリコントローラ１０を介して、画像データの色処理等を行う際に作業用メモリとして用いられるＤＲＡＭｌｌが接続されていると共に、カメラ信号処理回路６からの画像データを圧縮処理する圧縮回路（ＪＰＥＧ）１２が接続されている。また、バスライン９には、圧縮回路１２で圧縮処理された画像データをメモリカード１３に記録するために、メモリカードＩ／Ｆ１４が接続されていると共に、メモリカード１３に記録された画像データを読み出して表示したり、撮影状態を表示するために表示回路１５を介して液晶表示素子（ＬＣＤ）１６が接続されている。さらに、バスライン９には、メモリカード１３に記録されている画像データをパソコン（ＰＣ）１７へ転送するためのＰＣＩ／Ｆ１８が接続されている。
【００３０】
また、ＣＰＵ８には、ＡＦ，ＡＥ，ＡＷＢ検波回路７からのＡＥ情報に基づいて制御されるストロボ装置１９、および各種撮影モードの設定やトリガスイッチの駆動等を行う入力キー２０がそれぞれ接続されている。なお、ＣＣＤ撮像素子１は、ＣＰＵ８の制御のもとにタイミングジェネレータ（ＴＧ）２１からのタイミングパルスによって駆動されるようになっている。
【００３１】
さらに、レンズ群２は、入力キー２０からのズーム操作に応じてモータ２２により駆動され、その焦点距離情報がモータ２２を介してＣＰＵ８に取り込まれてＡＦ情報、ＡＥ情報、ＡＷＢ情報とともにカメラ信号処理回路６に供給されるようになっている。
【００３２】
図２は、本実施の形態で用いるレンズ群２の一例の構成を示すものである。このレンズ群２は、ズームレンズで収差等に関して光軸回転対称の特性を持ち、モータ２２により駆動して焦点距離を変更することで望遠（テレ）や広角（ワイド）の状態にすることができる構成になっている。
【００３３】
図３は、本実施形態におけるカメラ信号処理回路６の内部の一例の構成を示すブロック図である。このカメラ信号処理回路６は、フレームメモリ３１、ホワイトバランス設定部３２、撮像光学系情報メモリ３３、色収差補正情報特性算出部３４、色収差補正情報算出部３５、色収差補正・欠落色補間処理部３６、色強調マトリックス変換部３７およびγ補正部３８を有しており、撮像光学系情報メモリ３３には、色収差情報を含む撮像光学系に関する情報を予め記憶しておく。
【００３４】
このカメラ信号処理回路６では、Ａ／Ｄ変換器５からデジタル信号として出力される画像信号をフレームメモリ３１に記憶し、このフレームメモリ３１に記憶された画像信号に対してホワイトバランス設定部３２において、ＣＰＵ８から出力されるＡＷＢ情報やＡＥ情報等を用いてホワイトバランス調整を行い、そのホワイトバランス調整された画像信号を、色収差補正情報算出部３５および色収差補正・欠落色補間処理部３６にそれぞれ供給する。
【００３５】
一方、色収差補正情報特性算出部３４では、撮像光学系情報メモリ３３に予め記憶されている色収差情報等の撮像光学系に関する情報と、ＣＰＵ８から出力される焦点距離情報やＡＦ情報とに基づいて、結像面すなわちＣＣＤ撮像素子１上での画素の位置に依存する関数として表される色収差補正情報を生成するための特性を算出し、その算出した色収差補正情報の特性を色収差補正情報算出部３５に供給する。
【００３６】
色収差補正情報算出部３５では、ホワイトバランス設定部３２でホワイトバランス調整された画像信号と、色収差補正情報特性算出部３４で算出された色収差補正情報の特性とに基づいて、画素単位で画像信号を参照して、参照画素の位置に関して色収差補正情報の特性から色収差補正情報を算出し、その算出した色収差補正情報を色収差補正・欠落色補間処理部３６に供給する。本実施の形態では、色収差補正情報は、各色別に参照画素における像の位置ずれを像面の座標値としてサブピクセルのレベルで表されるものとする。
【００３７】
色収差補正・欠落色補間処理部３６では、ホワイトバランス設定部３２でホワイトバランス調整された画像信号と、色収差補正情報算出部３５で算出された色収差補正情報とに基づいて、後述するようにして入力された画像信号に関する色収差補正処理、および欠落している色信号に関して色収差を補正する補間処理を行う。
【００３８】
色収差補正・欠落色補間処理部３６で色収差補正および欠落色補間処理された画像信号は、色強調マトリックス変換部３７で色強調処理を施した後、γ補正部３８でγ補正してバスライン９に伝送する。
【００３９】
図４は、上記の色収差補正・欠落色補間処理部３６での処理の流れを示すフローチャートである。図１に示した電子スチールカメラで撮影して得られる画像信号には、それ自体に色収差、すなわち各画素において色毎に異なった位置ずれが生じて、本来参照する位置からずれた部分を像としているため、この色収差を補正しなければ欠落している色信号を適切に補間することができない。
【００４０】
そこで、色収差補正・欠落色補間処理部３６では、先ず、ステップＳ１で、色収差補正および欠落色補間対象となる色信号を有する参照画素位置の近傍画素について、画素値、像面座標値、および該当色の色収差補正情報を読み込む。ただし、参照画素の色収差補正においては、参照画素自身の情報も併せて読み込む。なお、ここで必要とする近傍画素数は、例えば通常行われる一般の補間と同程度とすることができる。
【００４１】
次に、ステップＳ２で、読み込まれた各画素の像面座標値を色収差補正情報に基づいて補正する。これは各画素に関する色収差補正であり、結果として各画素が持つ画素値に対応する像の位置は適切な場所になる。
【００４２】
図５（Ａ）は、その一例を示すものである。ここでは、参照画素ｐ０{ｉ，ｊ}をＧ信号（白点）とし、近傍画素としてｐ０{ｉ，ｊ}の対角に隣接する４個の画素を用いている。ここで、参照画素ｐ０{ｉ，ｊ}におけるＧの色収差補正情報を{ＧＦｘ（ｉ，ｊ），ＧＦｙ（ｉ，ｊ）}とすると、ステップＳ２の色収差補正により、参照画素ｐ０{ｉ，ｊ}が本来結像される位置は、色収差補正情報分だけずれて図５（Ａ）中のｐ０{ｉ＋ＧＦｘ（ｉ，ｊ），ｊ＋ＧＦｙ（ｉ，ｊ）}となる。同様に、近傍画素についても、色収差補正により本来の結像位置は色収差補正情報分だけずれるようになる。
【００４３】
その後、ステップＳ３において、ステップＳ２で色収差補正された各画素の位置と参照画素位置との距離に基づいて、補間処理に利用する重み係数（補間係数）を算出する。ここで、算出される補間係数は、色収差の補正を考慮したものであり、特性として色収差補正された各画素に対し、参照画素位置との距離が小さい（近い）場合は補間係数を大きく、参照画素位置との距離が大きい（遠い）場合は補間係数を小さくなるようにする。
【００４４】
図５（Ｂ）は、その一例を示すもので、図５（Ａ）から色収差補正された後の状態を示している。図５（Ｂ）において、近傍に位置する５個の色収差補正画素Ｐ０〜Ｐ４によって参照位置の画素Ｐ{ｉ，ｊ}の補間を行う場合、画素Ｐ{ｉ，ｊ}と画素Ｐｎ（ｎ＝０，１，２，３，４）との距離をＤｎとすると、画素Ｐｎに対応する補間係数Ｗｎは（１）式のようになる。
【００４５】
【数１】
Ｗｎ＝（Ｓ−Ｄｎ）／（４×Ｓ）（１）
ただし、Ｓ＝ΣＤｎ（ｎ＝０，１，２，３，４）
【００４６】
（１）式から明らかなように、補間係数Ｗｎは、距離の総和Ｓに対して、距離Ｄｎがどの程度の割合であるかに基づいて決定される。すなわち、距離Ｄｎが小さければ補間係数Ｗｎは大きくなることで補間における画素値の計算割合は大きくなり、距離Ｄｎが大きければ補間係数Ｗｎは小さくなることで補間における画素値の計算割合は小さくなる。また、補間係数Ｗｎの総和は１となることは明らかである。さらに、（１）式を一般化して、近傍に位置するＮ個の色収差補正画素を用いて補間処理を行う場合の補間係数Ｗｎは、（２）式のようになる。
【００４７】
【数２】
Ｗｎ＝（Ｓ−Ｄｎ）／｛（Ｎ−１）×Ｓ｝（２）
ただし、Ｓ＝ΣＤｎ（ｎ＝０，１，．．．，Ｎ−１）
【００４８】
次に、ステップＳ４において、算出された補間係数とそれに対応する色収差補正された各画素の画素値とを用いて、参照画素位置における該当色信号の画素値を補間処理にて算出する。ここで、（２）式におけるＮ個の補間係数Ｗｎと対応するＮ個の色収差補正画素Ｐｎの画素値をＰＶｎとすると、参照位置の画素Ｐ{ｉ，ｊ}の補間画素値ＰＶ{ｉ，ｊ}は、（３）式のようになる。
【００４９】
【数３】
ＰＶ{ｉ，ｊ}＝Σ（ＰＶｎ×Ｗｎ）（３）
ただし、ｎ＝０，１，…，Ｎ−１
【００５０】
上述したステップＳｌ〜Ｓ４によって、色収差を補正した画素値の位置関係を補間係数に反映させて参照位置の画素値を補間により算出することにより、参照位置に関して色収差が補正された適切な画素値を得ることができる。また、図４で説明した色収差を補正する補聞方法は、入力される画像信号および欠落色信号の両方に対して同じ方法で実現できるので、各画素において入力信号の色収差補正と欠落色信号の補間とに場合分けするといった手間が不要となり、処理系自体を単純に構成することができる。
【００５１】
以上のように、本実施の形態によれば、色収差補正情報を、撮像光学系が持つ色収差情報に基づいて画素の位置に依存する関数として算出するので、各画素における色収差情報を記憶する大容量のメモリを必要とせず、処理回路規模を縮小することができる。また、ズーム等により撮像光学系の状態が変化しても、それに対応した色収差補正情報を得るようにしたので、広角や望遠等様々な状況においても常に適切な色収差補正情報を算出することができる。さらに、入力色信号および欠落色信号の如何にかかわらず、画素毎に色収差を補正するための補間処理を同一の処理で行うことができるので、処理回路規模の縮小化および処理の高速化を図ることができ、結果として色収差が適切に補正されたカラー画像を再現することができる。
【００５２】
本発明の第２実施の形態では、図１に示した電子スチールカメラにおいて、モータ２２を省略すると共に、レンズ群２を偏心自由曲面レンズをもって構成する。その他の基本的構成は、図１と同様であるので詳細な説明は省略する。
【００５３】
図６は、本実施の形態で用いるレンズ群２の一例の構成を示すものである。このレンズ群２は、非回転対称形状の偏心自由曲面レンズで、非常に明るくかつ高解像な画像信号が得られる、小型軽量化にできる、等の特徴を有している。
【００５４】
図７は、本実施の形態における図１に示すカメラ信号処理回路６の内部の一例の構成を示すブロック図である。このカメラ信号処理回路６は、フレームメモリ４１、ホワイトバランス設定部４２、第１スイッチ４３、色収差情報生成部４４、色収差情報メモリ４５、第２スイッチ４６、撮像光学系情報メモリ４７、色収差補正情報特性算出部４８、色収差補正情報算出部４９、色収差補正・欠落色補間処理部５０、色強調マトリックス変換部５１およびγ補正部５２を有している。ここで、フレームメモリ４１、ホワイトバランス設定部４２、色収差補正・欠落色補間処理部５０、色強調マトリックス変換部５１およびγ補正部５２は、それぞれ図３に示したフレームメモリ３１、ホワイトバランス設定部３２、色収差補正・欠落色補間処理部３６、色強調マトリックス変換部３７およびγ補正部３８と同等の機能であるので、説明を省略する。また、色収差補正・欠落色補聞処理部５０での内部処理についても、図４と同等であるので、説明を省略する。
【００５５】
本実施の形態では、予め色収差情報を生成するための基準パターンを用意し、これを電子スチールカメラで撮影することによって色収差情報を色収差情報メモリ４５に記憶し、この色収差情報と撮像光学系情報メモリ４７に予め記憶した撮像光学系情報とに基づいて色収差補正情報を算出する。
【００５６】
このため、先ず、図１の入力キー２０の状態によって選択される一般撮影モードもしくは基準パターン撮影モードの撮影モード信号に基づいてＣＰＵ８により第１スイッチ４３および第２スイッチ４６を制御する。
【００５７】
ここで、撮影モード信号が基準パターン撮影モードを示す場合には、第１スイッチ４３はホワイトバランス調整後の画像信号を色収差情報生成部４４に伝送するように駆動し、第２スイッチ４６は色収差補正情報特性算出部４８に色収差情報メモリ４５からの情報を伝送しないように開状態に駆動する。これにより、基準パターン撮影モードでは、撮影された基準パターンの画像信号を色収差情報生成部４４に供給して、後述する方法により色収差情報を生成し、その生成された色収差情報を色収差情報メモリ４５に記憶して、一般撮影モードにて撮影される画像信号の色収差補正に利用する。
【００５８】
これに対し、撮影モードが一般撮影モードを示す場合には、第１スイッチ４３はホワイトバランス調整後の画像信号を色収差補正情報算出部４９、および色収差補正・欠落色補間処理部５０に伝送するように駆動し、第２スイッチ４６は色収差補正情報特性算出部４８に色収差情報メモリ４５からの情報を伝送するように閉状態に駆動する。これにより、一般撮影モードでは、色収差補正情報特性算出部４８に、色収差情報メモリ４５内の色収差情報を第２スイッチ４６を経て読み込むと共に、撮像光学系情報メモリ４７内の撮像光学系情報を読み込む。
【００５９】
ここで、撮像光学系情報メモリ４７内に予め記憶する撮像光学系情報は、例えば図８に示すように、像面全体を複数の部分ブロックに分割して定義される情報で、画素の位置に応じて当該画素がどのブロックに属するかが決定される情報とする。
【００６０】
色収差補正情報特性算出部４８では、撮像光学系情報の各ブロック毎に、色収差情報に基づいて色収差補正情報を生成するための特性を算出する。このように、各ブロックに対応して個別に色収差補正情報を生成するための特性を算出することは、偏心自由曲面レンズのように非回転対称形状で、かつ色収差が部分的に異なって複雑に発生する撮像光学系を有する場合には、非常に有効な方法である。この色収差補正情報を生成するための特性は、第１実施の形態と同様、ＣＣＤ撮像素子１上での画素の位置に依存する関数として表される。
【００６１】
色収差補正情報算出部４９では、ホワイトバランス調整後の画像信号と、色収差補正情報特性算出部４８で算出された色収差補正情報の特性とをそれぞれ読み込んで、色収差補正情報を算出する。この色収差補正情報算出部４９での処理は、基本的には図３に示した第１実施の形態における色収差補正情報算出部３５での処理と同じであるが、本実施の形態では像面を分割したブロック単位で色収差補正情報の特性が異なるので、参照画素の位置に対応したブロックに関する色収差補正情報の特性を選択し、その選択した色収差補正情報の特性に基づいて参照画素における像の位置ずれを像面の座標値として表す色収差補正情報を算出する。以後の処理は、第１実施の形態と同様である。
【００６２】
図９は、図７に示した色収差情報生成部４４の内部の一例の構成を示すブロック図である。この色収差情報生成部４４は、基準パターン画像信号メモリ６１、基準パターン参照信号メモリ６２、画像信号位置補正部６３、画像信号・参照信号間色ずれ比較部６４および色収差情報算出部６５を有している。
【００６３】
本実施の形態では、第１実施の形態のように光学設計値等に基づく撮像光学系の色収差情報を予め記憶するのではなく、基準パターンを撮影して得られる画像信号に基づいて色収差情報を生成する。このため、色収差情報を生成するにあたっては、先ず、第１スイッチ４３を経て伝送される撮影された基準パターンの画像信号を、基準パターン画像信号メモリ６１に読み込んで記憶する。ここで、基準パターン画像信号メモリ６１に記憶される基準パターンの画像信号は、ホワイトバランス調整後の単板画像信号であり、各画素に関して欠落色信号が存在している。
【００６４】
また、これとは別に、基準パターン参照信号メモリ６２には、色収差のない基準パターンの参照情報を予め記憶しておく。この基準パターン参照信号メモリ６２に記憶される基準パターンの参照情報は、撮像装置と同様の単板カラーフィルタにより単板の参照情報として扱われる。なお、ここで利用する基準パターンとしては、色収差情報を生成するという観点から、カラーチャート等のように複数の色が混在するパターンであることが望ましく、また、色収差のない参照情報が得られ易いように、ＣＧ等による人工的なデータを用いるのが取り扱いの点で好ましい。
【００６５】
次に、画像信号位置補正部６３において、基準パターンの画像信号に関する位置合わせ、例えば基準パターンの中心を画像全体の中心に合わせる等の処理を行った後、画像信号・参照信号間色ずれ比較部６４において、同一画素位置における画像信号と参照信号とを比較して色ずれを算出する。
【００６６】
画像信号・参照信号間色ずれ比較部６４での色ずれの算出方法は、基準パターンにも依存するが、例えば参照している画素とその近傍における画素値とから参照画素の色がどちらの方向にどの程度ずれているかを求め、これを画像全体に対して行うことで色ずれ情報として算出する。
【００６７】
次に、色収差情報算出部６５において、画像信号・参照信号間色ずれ比較部６４からの色ずれ情報に基づいて色収差情報を算出する。ここで、色収差情報は画素単位で算出せず、例えばブロック内における該当色の色ずれ情報の平均を当該ブロックの色収差情報として、撮像光学系情報で定義している部分ブロックに対応する形で部分的に算出してブロック毎に異なる色収差特性を保持するようにする。この色収差情報算出部６５で生成した色収差情報は、色収差情報メモリ４５に伝送する。
【００６８】
なお、上記の構成では、撮像装置の入力キー２０を切り換えることで、基準パターン撮影による色収差情報を更新することが可能であるが、別方法として製造時の検査等において色収差情報を上記の方法で予め記憶し、一般には色収差情報の更新ができないようにすることも可能である。
【００６９】
以上のように、本実施の形態によれば、像面全体を複数のブロックに分割し、各ブロックに対応した状態で画素の位置に依存する関数としての色収差補正情報を算出して補間処理を行うようにしたので、部分的に色収差特性が異なる複雑な撮像光学系に対しても、参照画素に対して適切な色収差補正情報を算出することができる。すなわち、どの部分に関しても適切な色収差補正を行うことができるので、結果的に画像全体に色収差補正効果をあげることができる。また、基準パターンを撮影して色収差情報を生成するので、例えば撮像光学系の設計スペックに対して製造等により誤差が生じても、それそれの装置において最適な色収差情報を得ることができ、結果的に色収差が補正された画像を再現することができる。さらに、第１実施の形態の場合と同様に、入力色信号および欠落色信号の如何にかかわらず、画素毎に色収差を補正するための補間処理を同一の処理で行うことができるので、処理回路規模の縮小化および処理の高速化を図ることができ、結果として色収差が適切に補正されたカラー画像を再現することができる。
【００７０】
【発明の効果】
以上説明したところから明らかなように、本発明によれば、簡単かつ安価な構成で、入力画像信号の色収差を補正できると共に、欠落色信号の補間処理で色収差を補正できる画像処理装置を得ることができる。
【図面の簡単な説明】
【図１】本発明の第１実施の形態としての電子スチールカメラの基本的構成を示すブロック図である。
【図２】図１に示すレンズ群の一例の構成を示す図である。
【図３】図１に示すカメラ信号処理回路の内部の一例の構成を示すブロック図である。
【図４】図３に示す色収差補正・欠落色補間処理部での処理の流れを示すフローチャートである。
【図５】同じく、色収差補正および欠落色補間の一例を示す図である。
【図６】本発明の第２実施の形態で用いるレンズ群の一例の構成を示す図である。
【図７】第２実施の形態における図１に示すカメラ信号処理回路の内部の一例の構成を示すブロック図である。
【図８】図７に示した撮像光学系情報メモリに予め記憶する撮像光学系情報を説明するための図である。
【図９】図７に示した色収差情報生成部の内部の一例の構成を示すブロック図である。
【図１０】色収差補正を行わない場合の単板撮像素子における欠落色信号の補間の様子を示す図である。
【符号の説明】
１カラーＣＣＤ撮像素子
２レンズ群
３絞り・シャッタ機構
４アンプ
５Ａ／Ｄ変換器
６カメラ信号処理回路
７ＡＦ，ＡＥ，ＡＷＢ検波回路
８ＣＰＵ
９バスライン
１０メモリコントローラ
１１ＤＲＡＭ
１２圧縮回路（ＪＰＥＧ）
１３メモリカード
１４メモリカードＩ／Ｆ
１５表示回路
１６液晶表示素子（ＬＣＤ）
１７パソコン（ＰＣ）
１８ＰＣＩ／Ｆ
１９ストロボ装置
２０入力キー
２１タイミングジェネレータ（ＴＧ）
２２モータ
３１フレームメモリ
３２ホワイトバランス設定部
３３撮像光学系情報メモリ
３４色収差補正情報特性算出部
３５色収差補正情報算出部
３６色収差補正・欠落色補間処理部
３７色強調マトリックス変換部
３８ γ補正部
４１フレームメモリ
４２ホワイトバランス設定部
４３第１スイッチ
４４色収差情報生成部
４５色収差情報メモリ
４６第２スイッチ
４７撮像光学系情報メモリ
４８色収差補正情報特性算出部
４９色収差補正情報算出部
５０色収差補正・欠落色補間処理部
５１色強調マトリックス変換部
５２ γ補正部
６１基準パターン画像信号メモリ
６２基準パターン参照信号メモリ
６３画像信号位置補正部
６４画像信号・参照信号間色ずれ比較部
６５色収差情報算出部

Claims

撮像光学系を経て撮像素子から得られる画像情報の色信号に基づいて各画素に関して欠落している画像情報の色信号を補間処理により復元する画像処理装置において、
前記撮像素子から得られる画像情報の色信号を記憶する画像情報記憶部と、
前記撮像光学系で発生する色収差の情報を色収差情報として記憶する色収差情報記憶部と、
前記画像情報記憶部に記憶されている画像情報の色信号の画素位置と前記撮像光学系に関する情報とに基づいて、前記色収差情報記憶部から色収差情報を読み出して色収差を補正するための色収差補正情報を生成する色収差補正情報生成部と、
前記画像情報記憶部に記憶されている画像情報の色信号の画素位置と前記色収差補正情報生成部で生成された色収差補正情報とに基づいて補間処理のための補間係数を算出する補間係数算出部と、
前記画像情報記憶部に記憶されている画像情報の色信号と前記補間係数算出部で算出された補間係数とを用いて前記画像情報記憶部に記憶されている画像情報の色信号および前記欠落している画像情報の色信号に関して補間処理を行う補間処理部と、
を有することを特徴とする画像処理装置。
撮像光学系を経て撮像素子から得られる画像情報の色信号に基づいて各画素に関して欠落している画像情報の色信号を補間処理により復元する画像処理装置において、
前記撮像素子から得られる画像情報の色信号を記憶する画像情報記憶部と、
前記撮像素子から得られる画像情報の色信号に基づいて前記撮像光学系で発生する色収差の情報を生成する色収差情報生成部と、
前記色収差情報生成部で生成された色収差の情報を色収差情報として記憶する色収差情報記憶部と、
前記画像情報記憶部に記憶されている画像情報の色信号の画素位置と前記撮像光学系に関する情報とに基づいて前記色収差情報記憶部から色収差情報を読み出して色収差を補正するための色収差補正情報を生成する色収差補正情報生成部と、
前記画像情報記憶部に記憶されている画像情報の色信号の画素位置と前記色収差補正情報生成部で生成された色収差補正情報とに基づいて補間処理のための補間係数を算出する補間係数算出部と、
前記画像情報記憶部に記憶されている画像情報の色信号と前記補間係数算出部で算出された補間係数とを用いて前記画像情報記憶部に記憶されている画像情報の色信号および前記欠落している画像情報の色信号に関して補間処理を行う補間処理部と、
を有することを特徴とする画像処理装置。
前記色収差情報記憶部は、前記画像情報の色信号の画素位置と前記撮像光学系に関する情報とに依存する特性を前記色収差情報として記憶することを特徴とする請求項１または２に記載の画像処理装置。
前記色収差補正情報生成部は、前記色収差情報記憶部から読み出される前記色収差情報を、前記画像情報の色信号の画素位置と前記撮像光学系に関する情報とに依存する特性に変換して、前記色収差補正情報を生成することを特徴とする請求項１または２に記載の画像処理装置。
前記撮像光学系に関する情報は、前記撮像光学系の焦点距離であることを特徴とする請求項１〜４のいずれか一項に記載の画像処理装置。
前記撮像光学系に関する情報は、前記撮像光学系の結像面を複数のブロックに分割して定義する情報であることを特徴とする請求項１〜４のいずれか一項に記載の画像処理装置。
前記色収差情報生成部は、
色収差の補正を目的としたパターン情報をパターン参照情報として記憶するパターン参照情報記憶部と、
前記パターン情報を撮影した画像情報の色信号をパターン画像情報として記憶するパターン画像情報記憶部と、
前記パターン画像情報記憶部に記憶されている前記パターン画像情報に対して位置補正を行うパターン画像情報位置補正部と、
前記パターン画像情報位置補正部で位置補正された前記パターン画像情報と前記パターン参照情報とを比較して色ずれ情報を生成するパターン情報間色ずれ比較部と、
前記パターン情報間色ずれ比較部で生成された色ずれ情報に基づいて前記色収差情報を算出する色収差情報算出部と、
を有することを特徴とする請求項２に記載の画像処理装置。