JP5479187B2

JP5479187B2 - 画像処理装置及びそれを用いた撮像装置

Info

Publication number: JP5479187B2
Application number: JP2010082806A
Authority: JP
Inventors: 弘至畠山
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2010-03-31
Filing date: 2010-03-31
Publication date: 2014-04-23
Anticipated expiration: 2030-03-31
Also published as: JP2011217087A

Description

本発明は画像処理に関する発明であり、特に画像を回復（復元）処理するものに関する。

情報のデジタル化に伴い、画像を信号値として扱えることで撮影画像に対する様々な画像処理装置及びその方法が提案されている。デジタルカメラで被写体を撮像して得られた画像は撮像光学系の収差によって、収差の影響を取り除いた画像に比べその画質は劣化している。その劣化の例として、画像のぼけや、波長ごとのぼけ方の相違により生じる色付きが挙げられる。画像のぼけは、撮像光学系の球面収差、コマ収差、像面湾曲、非点収差等が原因であり、色付きは、撮像光学系の軸上色収差、色の球面収差、色のコマ収差、倍率色収差等が原因である。光学的には、このぼけは点像分布関数（ＰＳＦ）とも呼ばれる。

このような画像のぼけを補正する方法として、撮像光学系の光学伝達関数（ＯＴＦ）の情報を用いて補正するものが知られている。この方法は画像回復や画像復元という言葉で呼ばれており、以下この撮像光学系の光学伝達関数（ＯＴＦ）の情報を用いて画像の劣化を補正する処理を画像回復処理と記す。

画像回復処理に用いられるフィルタとして、画像信号とノイズ信号の強度比（ＳＮＲ）に応じて回復度合いを制御するウィナーフィルタが知られている。

特許文献１では、回復度合いを調整するために、画像回復フィルタにパラメータαを用いている。調整パラメータαにより、何も作用しないフィルタ（α＝０）から逆フィルタ（α＝１）に変化するように構成しているため、元の撮影画像から最大に回復した画像までの範囲で画像の回復度合いが調整可能になる。

画像回復処理ではないが、特許文献２には、倍率色収差のみを補正する方法として画像回復フィルタを用いずに画像のぼけと色付きを分離し、画素の信号値の座標に関する幾何変換処理と画素補間処理を用いて補正する方法が開示されている。

特開２００７−１８３８４２号公報特開平０６−１１３３０９号公報

しかしながら、従来の技術では画像回復処理と倍率色収差補正の相互の作用が考慮されていなかったので、画像処理を行ったにも関わらず色付きが発生してしまう場合があった。

そこで、本発明は色付きを低減させた、より良質な画像を得ることが可能な画像処理装置を提供することを課題とする。
偽色とは、画像処理により生じてしまった色付きである。

上記課題を解決するために、本発明は、
複数の色成分を有する入力画像を回復処理する画像回復処理手段と、
前記入力画像と回復処理した回復画像の差分情報を取得する差分情報取得手段と、
前記回復処理における回復度合いを調整するための調整係数を設定する調整係数設定手段と、
前記入力画像に対して、前記差分情報を前記調整係数に応じて合成することで回復調整画像を生成する回復調整画像生成手段と、
前記調整係数に応じて、前記入力画像または前記回復調整画像に対する倍率色収差の補正量を調整する倍率色収差補正手段を有することを特徴とする。

本発明の効果は、倍率色収差補正量を回復度合いに応じて調整することにより、高画質な出力画像を得ることができる点にある。

画像処理装置の概略構成図画像処理の流れの説明図画像回復フィルタの説明図調整係数を用いた画像処理の説明図回復度合いの変化の模式図回復度合い調整の線形性の説明図調整係数設定に関する処理フロー概要図撮像装置の概略構成図画像回復フィルタ選択及び補正の説明図実施例１の処理フローの説明図画像回復処理過程の説明図倍率色収差補正量に関する説明図倍率色収差補正に関する画像処理の説明図ホワイトバランス補正に関する画像処理の説明図画像処理を実行させる情報処理装置の概略構成図画像処理システムの説明図補正情報の説明図

以下、本発明の実施例について図面を参照しながら説明する。

まず、具体的な実施例の説明に先立って、各実施例に用いられる画像処理技術について説明する。

本発明の画像処理装置の機能ブロック図例を図１に示す。本発明の画像処理装置は画像回復処理手段１１、差分情報取得手段１２、調整係数設定手段１３、倍率色収差補正処理手段１４、回復調整画像生成処理手段１５を有する。

次に、上記各手段について図２を用いて説明する。図２は画像処理の流れを示し、符号ｇ，ｆ，ｆｄ，Ｓ，Ｓｄは各工程における画像を表している。各符号の付帯記号ｍは、画像の色成分を表している。例えば、画像がＲ、Ｇ、Ｂ（赤、青、黄）の色成分を有する場合、Ａ_ｍは（Ａ_Ｒ，Ａ_Ｇ，Ａ_Ｂ）であり、（ＡのＲ成分、ＡのＧ成分、ＡのＢ成分）を表している。

まず、画像回復処理手段１１はＲＧＢの色成分を有する入力画像ｇ_ｍに対して各色成分ごとに画像回復フィルタを用いて画像回復処理を行い、１次回復画像ｆｄ_ｍを得る。

次に差分情報取得手段１２は、この１次回復画像ｆｄ_ｍから元の入力画像ｇ_ｍを式１のように対応する画素ごとに信号値を減算することで、色成分ごとの回復成分情報Ｓ_ｍ（差分情報）を生成する。

次に、回復成分情報Ｓ_ｍを３×３の係数要素を有する行列として表現できる色合成比調整係数ωに応じて合成し、色合成回復成分情報Ｓｄ_ｍを生成する。色合成調整係数ωは調整係数設定手段１３により設定される。図２のωの付帯記号は、ω_ＡＢのとき、色成分Ａ用の色合成回復成分情報Ｓｄ_Ａを生成するための色成分Ｂの色合成比調整係数を表している。例としてＲ成分の色合成回復成分情報Ｓｄ_Ｒの生成について説明する。Ｒ用の色合成回復成分情報Ｓｄ_Ｒは、Ｒ，Ｇ，Ｂの各回復成分情報Ｓ_Ｒ，Ｓ_Ｇ，Ｓ_Ｂの各画素の信号値に、色合成比調整係数ω_ＲＲ，ω_ＲＧ，ω_ＲＢをそれぞれ掛け合わせて、色成分間で合成することで生成される。合成とは、複数の画像の対応する画素ごとの信号値を加算してひとつの画像を生成することである。そして、他の色成分についても同様の処理を行うことで、色合成回復成分情報が生成される。よって、色合成回復成分情報Ｓｄ_ｍの生成は式２として表現できる。式２のｎに関するΣはＲ，Ｇ，Ｂについて和をとることを表している。

つまり、差分情報を、入力画像と回復画像の前記色成分ごとの差分量を色成分の混合比を示す色合成比調整係数に応じて合成することで取得する。

そして、回復調整画像生成処理手段１５は、この各色成分の色合成回復成分情報Ｓｄ_ｍと元の入力画像ｇ_ｍとを色成分ごとに合成することで、回復調整画像ｆ_ｍを得る。この処理は式３として表現できる。

ここまでが本発明の画像処理の基本的な流れであるが、画像回復フィルタが倍率色収差を補正する画像回復フィルタである場合、色合成比調整係数ωの値を考慮することなく画像回復処理を行ってしまうと、偽色が発生してしまう場合がある。そこで、倍率色収差補正処理手段１４は調整係数設定手段１３が設定した色合成比調整係数ωに応じて、画像回復フィルタの成分（画素値）を補正し、補正された画像回復フィルタを用いて画像回復処理を行う。

色合成比調整係数ωがあらかじめ設定されている場合は、倍率色収差補正処理手段１４は設定された値に応じて画像回復フィルタを補正する。画像回復処理を行った後で色合成比調整係数ωが設定あるいは変更された場合は、フィードバック手段を設けて、画像回復フィルタを補正すればよい。このように、画像回復フィルタの倍率色収差補正成分を色合成比調整係数ω（調整係数）に応じて補正することで、回復度合いに応じた倍率色収差補正がなされるので、色ずれが低減した、良質な画像を得ることができる。

次に、図２の各工程やデータについてより詳細に説明する。

（入力画像ｇ_ｍ）
入力画像ｇ_ｍは、撮像光学系を介して撮像素子により光電変換されて得られたデジタル画像であり、レンズと各種の光学フィルタ類を含む撮像光学系の収差による光学伝達関数（ＯＴＦ）により劣化している。撮像光学系はレンズの他にも曲率を有するミラー（反射面）を用いることもできる。

入力画像は、例えばＲＧＢ等、複数の色成分を有しており、各画素にひとつの色成分の信号値を有するモザイク画像でも良いし、このモザイク画像を色補間処理（デモザイキング処理）して各画素に複数の色成分の信号値を有したデモザイク画像でも良い。このモザイク画像は色補間処理（デモザイキング処理）やガンマ変換などの信号値変換や、ＪＰＥＧなどの画像圧縮など、諸々の画像処理を行う前の画像として、ＲＡＷ画像と呼ぶこともできる。

単板の撮像素子で複数の色成分を有する入力画像を得るには、各画素に分光透過率の異なるカラーフィルタを配置して、上記のような各画素にひとつの色成分の信号値を有するモザイク画像を取得する。この場合、上記の色補間処理を行うことで各画素に複数の色成分の信号値を有した画像を生成することができる。

単板に対して、多板、例えば３板の撮像素子を用いて入力画像を得るには、各撮像素子ごとに分光透過率の異なるカラーフィルタを配置して、撮像素子ごとに異なる色成分の画像信号値を取得すればよい。この場合、各撮像素子間で、対応する画素に対してそれぞれの色成分の信号値を有しているので、特に色補間処理を行わずに各画素に複数の色成分の信号値を有した画像を生成することができる。

また、入力画像ｇ_ｍにはレンズの焦点距離、絞り、撮影距離などの撮影条件やこの画像を補正するための各種の補正情報を付帯することができる。撮像から出力までの一連の処理をひとつの閉じた撮像装置で行う場合には、画像に撮影条件情報や補正情報を付帯しなくとも装置内で取得することができる。しかし、撮像装置からＲＡＷ画像を取得し、別の画像処理装置で補正処理や現像処理を行う場合には、上記のように画像に撮影条件情報や補正情報を付帯することが好ましい。ただし、画像処理装置にあらかじめ補正情報が記憶されており、撮像条件情報から調整係数を選択可能なシステムを構成すれば、必ずしも画像に補正情報を付帯する必要はない。ここでの補正情報とは、特に色合成比調整係数ωと、これに関連付けられた倍率色収差補正量である。この補正情報については後述する。

（画像回復処理）
次に、図２の四角で囲った回復処理（画像回復処理）について説明する。画像回復処理に用いられる画像回復フィルタを説明するために、画像回復フィルタの模式図を図３（Ａ）に示す。画像回復フィルタは撮像系の収差特性や要求される回復精度に応じてタップ数を決めることができ、図３（Ａ）では例として１１×１１タップの２次元のフィルタとしている。フィルタの各タップが画像の各画素に対応しており、画像回復処理の工程でこの画像回復フィルタが入力画像の画素に対してコンボリューション処理（畳み込み積分、積和）される。コンボリューション処理とはある画素の信号値を改善するために、その画素を画像回復フィルタの中心と一致させ、画像と画像回復フィルタの対応画素ごとに画像の信号値とフィルタの係数値の積をとることである。そして、その総和を中心画素の信号値として置き換える処理として一般的に知られている。

図３（Ａ）は各タップ内の値を省略しているが、この画像回復フィルタの１断面を図３（Ｂ）に示す。画像回復フィルタの各タップのもつ値（係数値）の分布が、収差によって空間的に広がった信号値を理想的には元の１点に戻す役割を果たしている。この画像回復フィルタは、撮像系の光学伝達関数（ＯＴＦ）を計算若しくは計測し、その逆関数に基づいた関数を逆フーリエ変換して得ることができる。

画像回復処理では、ノイズの影響を考慮する必要があるため、ウィナーフィルタや、関連する種々の画像回復フィルタの作成方法を選択して、回復処理に適した画像回復フィルタを用いることができる。

尚、画像回復フィルタは撮像光学系のＯＴＦのみならず、撮像の過程でＯＴＦを劣化させる要因を考慮して生成ことができる。撮像の過程でＯＴＦを劣化させるものとして、例えば、複屈折を有する光学ローパスフィルタがあり、ＯＴＦの周波数特性に対して高周波成分を抑制するものである。また、撮像素子の画素開口の形状や開口率も周波数特性に影響しているし、光源の分光特性や各種波長フィルタの分光特性などもＯＴＦを劣化させる要因として挙げることができる。これらの要因考慮した広義の光学伝達関数（ＯＴＦ）に基づいて、画像回復フィルタを作成することが望ましい。

被写体面に撮像素子を密着させて撮像を行うスキャナ（読み取り装置）やＸ線撮像装置など、レンズのような撮像光学系を持たない装置の場合、ＯＴＦは撮像システムの伝達関数に相当する。撮像光学系を持たない装置であっても、画像のサンプリングなどにより出力画像は少なからず劣化し、この劣化特性が撮像システム伝達関数にあたる。したがって、撮像光学系を持たずとも、システムの伝達関数に基づいて画像回復フィルタを生成すれば、回復画像を生成することができる。以下、撮像光学系、あるいは撮像光学系を持たないがＯＴＦを取得可能なシステムを両方含めて撮像系と記す。

また、複数の色成分を有する画像に対して画像回復処理を行う場合は、複数の色成分それぞれについて画像回復フィルタを用意することで、より良質な画像を得ることができる。例えば、入力画像がＲＧＢ形式のカラー画像である場合は、Ｒ、Ｇ、Ｂの各色成分に対応した３つの画像回復フィルタを作成すれば良い。こうすることで、撮像系による色収差を良好に補正することができる。

尚、図３（Ａ）に示したように、画像回復フィルタの縦横のタップ数は縦横同じ数である必要はなく、任意に変更することができる。具体的には、画像回復フィルタを１００以上に分割した２次元フィルタとすることで、撮像系による球面収差、コマ収差、軸上色収差、軸外色フレア等の結像位置から大きく広がる収差に対してもより精度よく回復することができる。また、コマ収差、軸外色フレア、サジタルフレア、像面湾曲、非点収差等の非対称収差についても精度良く回復することができる。

さらに、画像回復処理を行う画像の劣化過程が線形である方が劣化前の元画像に回復するための逆過程を高精度に処理できるため、入力画像は諸々の適応的な非線形処理が行われていないことが好ましい。したがって、画像回復処理はモザイク画像（ＲＡＷ画像）に対して行うことが好ましい。ただし、デモザイク画像でも、色補間処理による劣化過程が線形であれば、画像回復フィルタの生成において、この劣化関数を考慮することでより高精度な回復処理を行うことができる。また、回復の要求精度が低い場合や諸々の画像処理が行われた画像しか入手できない場合には、デモザイク画像に対して回復処理を行っても構わない。

（１次回復画像ｆｄ_ｍ）
次に、上記の画像回復処理により生成された１次回復画像ｆｄ_ｍ（回復画像）について説明する。従来技術の多くはこの１次回復画像に諸々の画像処理を施した画像を出力画像としている。この１次回復画像が所望の画質を満たしていれば、出力画像ｆ_ｍとして用いることができる。しかし、実際の撮影状態での光学伝達関数（ＯＴＦ）と画像回復フィルタの作成時に想定している光学伝達関数（ＯＴＦ）とに相違がある場合には、回復画像は所望の特性とは異なったものとなる。このような光学伝達関数（ＯＴＦ）の相違は、撮像装置の製造誤差、機構精度による焦点ずれ、立体物撮影による焦点ずれ、照明光源の分光変動、センサの輝度飽和、撮像装置の処理精度等によって発生する。さらに、この回復度合いが色成分ごとに異なることで、画像に偽色が発生する。収差が大幅に回復され、画像の鮮鋭度が向上したとしても、このような偽色がある場合には、画質としては低品質なものとなってしまう。鮮鋭度が向上しているからこそ、偽色が顕著に目立ってしまうと云うこともできる。この偽色の発生を抑えるために、以下の処理を行う。

（回復成分情報Ｓ_ｍ）
１次回復画像ｆｄ_ｍから元の入力画像ｇ_ｍを式１のように、色成分ごとに画素ごとの減算処理を行うことで色成分ごとの回復成分情報Ｓ_ｍ（差分情報）を生成することができる。この回復成分情報Ｓ_ｍは、入力画像ｇ_ｍの収差成分と画像回復処理により発生した弊害を含んでいる。例えば、ノイズの増加成分やリンギング成分、さらに偽色成分も含んでいる。ここでいう成分とは、画素が有する情報とも言える。

（色合成比調整係数ω、色合成回復成分情報Ｓｄ_ｍ、回復調整画像ｆ_ｍ）
色合成比調整係数ωは、ひとつの色成分Ａの色合成回復成分情報Ｓｄ_ｍを生成するために、該色成分Ａを含む少なくとも２つの色成分の合成比を決める係数である。したがって、回復成分情報Ｓ_ｍから色合成回復成分情報Ｓｄ_ｍを生成する処理は式２及び、これを色成分ｍ，ｎについて展開して記した式４として表現することができる。

式４の９つの色合成比調整係数ωの決定あるいは設定あるいは選択方法について、具体的に２つの例を挙げて説明する。

１つ目は、回復調整画像として１次回復画像ｆｄ_ｍと同じ画像を得るための色合成比調整係数ωについて説明する。式４の色合成比調整係数ωの対角成分を１として残りの成分を０と置く（単位行列）と、色合成回復成分情報Ｓｄ_ｍは自分自身の色成分の回復成分情報Ｓ_ｍと等しくなる。この場合、回復調整画像としては収差成分を最大限に補正しようとするものであるが、同時に偽色が発生する可能性が高くなる傾向にある。しかし、色合成比調整係数を調整することで、回復調整画像を入力画像とすることができるのでシステムの安定性を高くすることができる。

２つ目は、偽色を発生させないための色合成比調整係数ωである。式４の色合成比調整係数ωの全要素を１／３と置くと、色合成回復成分情報Ｓｄ_ｍはすべての色成分の回復成分情報Ｓ_ｍを平均化したものになり、色合成回復成分情報Ｓｄ_Ｒ、Ｓｄ_Ｇ、Ｓｄ_Ｂともに同じ値になる。色合成回復成分情報Ｓｄ_ｍが等しいということは、この後の工程で入力画像ｇ_ｍに色合成回復成分情報Ｓｄ_ｍを合成する際に、色成分に関する付加情報の相違が無いことになるので、偽色が発生しない。ただし、各色成分の収差情報を平均化しているので、上記の１つ目の１次回復画像ｆｄ_ｍを出力画像とする場合に比べて回復度合い、すなわち鮮鋭度は低下することになる。しかし、回復成分情報Ｓ_ｍを平均化しても、各色成分の回復成分情報Ｓ_Ｒ、Ｓ_Ｇ、Ｓ_Ｂの間には少なからず正の相関（類似性）があるので、入力画像ｇ_ｍに対して回復調整画像の鮮鋭度は向上している。したがって、色合成比調整係数ωの全要素を１／３とする条件が、偽色発生リスクを除去した回復条件である。

以上、偽色発生リスクを最大化した場合と最小化した場合の色合成比調整係数ωの設定について記した。この色合成比調整係数ωを連続的に設定可能にすることで、偽色発生リスクと回復度合いのバランスを調整することができる。これにより、偽色の発生のリスクと回復度合い（鮮鋭度の回復度合い）とのバランスをとりながら所望の画質を有する画像を得ることが可能になる。

式４に示したように色合成比調整係数ωは９つの設定自由度を有しているため、各要素値の設定が煩雑になる場合がある。例えば、操作手段などを用いて一般ユーザーがこの色合成比調整係数ωを９つそれぞれ設定する場合である。

そこで、この煩雑さを低減させるために色合成比調整係数ωの各要素間に従属関係を持たせて、調整係数を制御するパラメータを低減する方法について説明する。

色合成比調整係数ωの決定方法の一例として、はじめに２つの制約条件を付加する。１つ目の条件は、式５のように式４の行列ωの行ごとの和をそれぞれ１とするものである。

これは、例えばＲ成分の色合成回復成分情報Ｓｄ_Ｒを生成するための回復成分情報Ｓ_Ｒ、Ｓ_Ｇ、Ｓ_Ｂの混合比を正規化していることを意味している。このように混合比を正規化することで、異なる色合成回復成分情報Ｓｄ_ｍ間でそれぞれ如何なる比率で重み付けされているかが容易に比較できるようになる。

２つ目の条件は、式６のように行列ωの列ごとの和を１とするものである。

これは、各色合成回復成分情報Ｓｄ_Ｒ、Ｓｄ_Ｇ、Ｓｄ_Ｂを生成する際に、回復成分情報Ｓ_Ｒ、Ｓ_Ｇ、Ｓ_Ｂを各色成分に分配してそれぞれ使い果たすことを意味している。

上記の２つの制約条件を施すと、色合成比調整係数ωは式７として表現することができる。

さらに、回復度合いを確保しながら偽色の発生リスクを抑制するためには、各色合成回復成分情報Ｓｄ_ｍは色成分間での類似性が高い、すなわち相違が小さい方が好ましい。したがって、ある色成分の回復成分情報Ｓ_ｍを各色成分の色合成回復成分情報Ｓｄ_ｍにできるだけ均等に配分すれば良いことになるので、式７の各列の分散が小さい方が偽色発生リスクを低減できることができる。これに基づいて、式７の各列の分散を最小化すると色合成比調整係数ωは式８として記すことができる。

式８は設定パラメータがひとつの設定値ωによって設定可能なので、回復度合いと偽色発生リスクのバランスの調整を容易に制御することができる。式８においてω＝１とすると、行列ωは単位行列となり、回復度合いと偽色発生リスクがともに最大になる。また、ω＝１／３とすると、行列ωはすべての要素が１／３となり、偽色発生リスクが無くなる。したがって、１／３≦ω≦１の範囲で色合成比調整係数ωを低下させていけば、偽色発生リスクを低減することができる。

その他の効果として、１つのパラメータでバランス調整が可能となるので、よりユーザビリティを向上させることができる。

その他の効果として、撮像装置や画像処理装置を提供する側としても好適な調整パラメータを少ない自由度で制御できることにより、装置開発工程や生産工程での作業効率を向上させることができる。

尚、ここまでに色合成比調整係数ωの決定方法について一例を示したが、決定方法に関してはこれに限るものではない。例えば、行列ωの全要素を０（ゼロ）にすると、色合成回復成分情報Ｓｄ_ｍがすべての色成分で０（ゼロ）になるので、回復調整画像ｆ_ｍは入力画像ｇ_ｍそのものとなる。このように、１／３≦ω≦１に限らず、０≦ω≦１の範囲で色合成比調整係数ωを調整することで、入力画像から最大回復度合いの画像までの範囲で出力画像を調整して回復調整画像を得ることができる。また、式５の右辺を１よりも大きく設定することで、さらに補正を強調させることも可能である。

また、行列ωの各要素の設定自由度は１つに限定せず、別の制約条件に基づけば、他の設定自由度で調整することもできる。例えば、式７によれば、調整係数の設定自由度は６である。

（回復強度調整係数μ）
以上説明した色合成比調整係数は各色成分の混合比を調整することができるパラメータであった。一方、これから説明する回復強度調整係数は回復度合いを調整することが可能なパラメータである。

式８の色合成比調整係数ωの設定方法を用いて、さらに回復調整画像ｆ_ｍとして、入力画像ｇ_ｍや強調補正した画像が得る方法を説明する。

式８によって決定された行列ωに回復強度調整係数μを用いて回復調整画像ｆ_ｍを得る方法は式９により表される。

μ＝０とすると、式９の右辺第２項は０（ゼロ）になるので、回復調整画像ｆ_ｍとして、入力画像ｇ_ｍそのものを得ることになる。また、μ＝１とすると、式９は式３と等しくなり、式８により決定した色合成比調整係数ωを用いて回復度合いと偽色発生リスクが調整された回復調整画像ｆ_ｍを得ることができる。回復強度調整係数μの基本範囲は０≦μ≦１であるが、μ＞１とすることで強調補正した画像を得ることができる。

さらに、回復強度調整係数μを色成分ごとに変更すれば、色成分ごとに回復度合いを調整することができる。これは、被写体を照明する光源の分光変動や撮像系の製造誤差などの要因で色成分ごとに光学伝達関数（ＯＴＦ）が変化し、色収差のバランスが変化した場合に、色成分ごとの回復度合いの強弱を調整するのに有効である。例えば、照明光源の分光特性（波長ごとの強度比）が変化すると、色成分ごとに収差量が変わってしまう。こういった場合、撮影時の分光特性に応じて回復強度調整係数μを色成分ごとに設定することで、各色成分に適した回復調整画像ｆ_ｍを得ることができる。式１０は回復強度調整係数μを色成分ごとに変更する場合の式である。

また、回復強度調整係数μを用いたその他の例えば撮像系に製造誤差がある場合、画像の左右対称な位置で劣化度合いが異なるものがあり、ぼけやその相対的な色付きの差として入力画像に現れることがある。ぼけについては、回復強度調整係数μを画像の位置によるぼけ量の変動に応じて設定することで、製造誤差による画像の劣化を低減することができる。色付きについては、画像の位置による色付き量の変動に応じて回復強度調整係数μを色成分ごとに設定することで、製造誤差を吸収することができる。つまり、画素の特徴量に応じて回復強度調整係数μを調整することで、より好ましい画質を得ることが可能となる。

このように、回復強度調整係数μを用いることで、色合成比調整係数ωの決定を式８のように容易にしながらも回復度合いを調整することができる。回復強度調整係数μを導入した場合の処理の流れを図４に示す。色合成比調整係数ωと回復強度調整係数μを分離することで、回復度合いと偽色発生リスクとのバランス調整を色合成比調整係数ωで行い、その色合成比調整係数ωにおける回復度合いの調整を回復強度調整係数μで行うことができる。

この調整による回復度合いの変化の模式図を図５に示す。色合成比調整係数ωを変化させることにより偽色発生リスクを調整でき、さらに回復強度調整係数μを変化させることにより、設定した色合成比調整係数ωと入力画像の間で回復度合いを調整することができる。

ここで、図５に示した色合成比調整係数ω及び回復強度調整係数μの変化に対する回復調整画像ｆ_ｍの回復度合いの線形性について説明する。色合成比調整係数ω及び回復強度調整係数μをともに１とした最大回復度合いの回復調整画像ｆ_ｍと等しい１次回復画像ｆｄ_ｍを基準とする。そして、１次回復画像ｆｄ_ｍと回復調整画像ｆ_ｍとの画像の類似性を式１１の評価関数Ｊ_ｍとして定義する。

右辺の記号の２がついた二重縦線は２次元ノルムを示しており、分母のＸ，Ｙは画像の水平方向及び垂直方向の画素数を示している。回復調整画像ｆ_ｍとして式９、色合成比調整係数ωとして式８をそれぞれ代入すると、評価関数Ｊ_ｍは色合成比調整係数ω及び回復強度調整係数μに対して１次式となることから、直線的な回復度合いの調整が可能であることが分かる。

図６（ａ）の試験画像を用いて、回復度合い調整の線形性を評価した実験結果を図６（ｂ）に示す。この結果から図５に示した線形性が正しく再現されていることが分かる。
このような回復度合い調整の直線性は、前記の調整パラメータ数の低減と同様に、ユーザーが可変に調整する場合に設定値とレスポンス（回復画像）の対応が取り易いという利点がある。

色合成比調整係数ωを用いて偽色発生リスクを低減することを上記したが、回復強度調整係数μを用いて回復度合いを調整することは、ノイズやリンギングを抑制することが可能である。出力画像としての画質の評価は目的に応じて異なる。例えば、ポートレートの場合、ノイズやリンギングは非常に邪魔な存在である。一方、監視カメラなどで、車のナンバープレートから数字を読み取りたい場合にはノイズやリンギングがあっても、数字を特定することが最重要となる。また、何らかの要因でノイズやリンギングや偽色等の弊害が画像に大きく現れた場合、出力画像として少なくとも撮影画像（入力画像）そのものを出力できることは出力画像の保障として重要である。これらの場合に対して回復強度調整係数μを調整することで自由度の高い対応を行うことができる。また、一般の写真撮影においても、収差の残っていることでフレアがかった柔らか味のある画像から収差を除去した鮮鋭な画像まで出力画像として要求される画質はユーザーや被写体によって様々である。この場合に対しても回復強度調整係数μを調整することで対応を行うことができる。

本発明のその他の効果を図７の処理フローを用いて説明する。偽色発生リスクを調整する場合にも、回復度合いを調整する場合にも、画像の合成比を変化させるだけなので画像回復フィルタを再計算する必要がない。さらに、調整パラメータの変更の度に入力画像に対してコンボリューション処理を行う必要もない。撮影画像を入力画像とし、初期値としての回復パラメータを用いて画像回復フィルタを生成するか、初期値として予め用意された画像回復フィルタを用いて入力画像に対して画像回復処理を行う。この回復画像に対して予め用意された調整パラメータか、ユーザーが設定した調整パラメータか、画像情報から自動的に決定された調整パラメータを用いて画像合成処理を行い、回復画像とする。この回復画像を評価して、そのまま回復調整画像（出力画像）とするか再度回復度合いを変更するかを判定する。回復度合いを変更する場合には、調整パラメータを変更し、再度画像合成処理を行う。この調整パラメータが上記の色合成比調整係数ωや回復強度調整係数μである。このように、回復度合いの制御を後の工程で行えるため、回復成分情報を抽出するための初めの回復処理では画素単位でフィルタを変更しなくて良い。つまり、回復度合いと偽色（弊害）発生リスクを調整するために色合成比調整係数を変更しても、画像回復フィルタを再計算する必要が無いため、画像処理の負荷を低減し高速な処理を行うことができる。

このように、調整時の画像回復フィルタの再計算の必要の有無、及び画像回復処理である入力画像と画像回復フィルタのコンボリューション処理の必要の有無の点で、より画像処理を行う際に、処理負荷を低減することが可能となった。

尚、ここでの出力画像としての採用の判定や回復度合いの変更に伴う調整パラメータの変更は、ユーザーが主観的な評価に基づいて行っても良いし、予め画像の評価関数を設定しておいて自動的に行っても良い。

また、入力画像の画素の特徴量に応じて調整係数を設定してもよい。画素の特徴量とは、画素の信号値、画素値の変化量等である。これら画素の特徴量に応じて調整係数を変更することは、画像の位置によって回復度合いを変更することを意味している。本発明は、最終的な回復度合いは画像合成処理において画像を画素単位で合成することで行うので、その際の混合比を変更するだけで容易に調整することができる。即ち、従来の方法のように回復フィルタを画素ごとに再生成したり、予め画素値ごとの回復フィルタをデータ保持する必要がないため、予め保持するデータ量を低減し、さらに処理を高速に行うことができる。

また、調整係数の設定値としては、他にもＩＳＯ感度やＳＮ比の変化に関する設定情報、ズーム（焦点距離）、撮影距離（合焦距離）、絞り値や、上記の製造誤差に対応した設定値などがある。

尚、本発明の画像処理の基本的な処理について説明してきたが、ここで説明した各工程は実際の処理上ではいくつかの工程を同時に処理できる場合はまとめて処理することができる。また、各工程の前後に適宜必要な処理工程を追加することも可能である。さらに、説明に用いた式や等号記号は本発明の画像処理方法の具体的なアルゴリズムをこれに限定するものではなく、目的を達成しうる範囲で必要に応じた変形が可能である。

以下、本発明の具体的な実施例について説明する。

図８は本発明の画像処理方法を撮像装置に適用した場合の基本構成の一例を示している。不図示の被写体像を撮像光学系１０１で撮像素子１０２に結像する。撮像素子１０２で結像光が電気信号に変換されＡ／Ｄコンバータ１０３でデジタル信号に変換し、画像処理部１０４に入力される。画像処理部１０４で所定の処理と併せて画像回復処理を行う。まず、状態検知部１０７から撮像装置の撮像状態の情報を得る。状態検知部１０７はシステムコントローラ１１０から直接、状態情報を得ても良いし、例えば撮像系に関する撮像状態情報は撮像光学系制御部から得ることもできる。次に撮像状態に応じた画像回復フィルタを記憶部１０８から選択し、画像処理部１０４に入力された画像に対して画像回復処理及び調整パラメータに応じた回復度合いの調整を行う。ここでいう調整パラメータとは、色合成比調整係数ω、回復強度調整係数μなどである。画像回復フィルタは撮像状態に応じて記憶部１０８から選択したものをそのまま用いても良いし、予め用意した画像回復フィルタを補正して、より撮像状態に適したフィルタに加工したものを用いることもできる。

そして、画像処理部１０４で処理した出力画像を画像記録媒体１０９に所定のフォーマットで保存する。この出力画像は本発明の画像処理方法を用いた画像回復処理により画素値、画素値の変化量などを考慮した回復度合いに調整され、さらに偽色の発生度合いと回復度合いのバランスのとれた鮮鋭化された画像である。また、画像処理部１０４は少なくとも演算部と一時的記憶部（バッファー）を有する。上記の画像処理の各工程ごとに必要に応じて１次的記憶部に対して画像の書き込み（記憶）及び読み出しを行う。例えば、回復画像生成工程では、入力画像と色合成回復成分情報の合成を行うために初めに取得した入力画像を一時的に記憶しておく必要がある。また、一時的に記憶するための記憶部は前記一時的記憶部（バッファー）に限定せず、記憶部１０８でも良く、記憶機能を有する記憶部のデータ容量や通信速度に応じて好適なものを適宜選択して用いることができる。

また、表示部１０５には、回復処理後の画像に表示用の所定の処理を行った画像を表示しても良いし、高速表示のために画像回復処理を行わない、または簡易的な回復処理を行った画像を表示しても良い。

一連の制御はシステムコントローラ１１０で行われ、撮像光学系の機械的な駆動はシステムコントローラ１１０の指示により撮像光学系制御部１０６で行う。絞り１０１ａは、Ｆナンバーの撮影状態設定として開口径が制御される。フォーカスレンズ１０１ｂは、被写体距離に応じてピント調整を行うために不図示のオートフォーカス（ＡＦ）機構や手動のマニュアルフォーカス機構によりレンズの位置が制御される。この撮像光学系にはローパスフィルタや赤外線カットフィルタ等の光学素子を入れても構わないが、ローパスフィルタ等の光学伝達関数（ＯＴＦ）の特性に影響を与える素子を用いる場合には画像回復フィルタを作成する時点での考慮が必要になる場合がある。赤外カットフィルタにおいても、分光波長の点像分布関数（ＰＳＦ）の積分値であるＲＧＢチャンネルの各ＰＳＦ、特にＲチャンネルのＰＳＦに影響するため画像回復フィルタを作成する時点での考慮が必要になる場合がある。

また、撮像光学系１０１は撮像装置の一部として構成されているが、一眼レフカメラにあるような交換式のものであっても良い。絞りの開口径制御やマニュアルフォーカスなどの機能は撮像装置の目的に応じて用いなくても良い。

図９に画像回復フィルタの選択及び補正に関する説明図を示す。図９は、記憶部１０８に格納された画像回復フィルタ群の模式図を示す。格納されたフィルタは、ズーム位置、絞り径、被写体距離の３つの状態を軸とした撮像状態空間中に離散的に配置されている。撮像状態空間中の各点（黒丸）の座標が予め格納された画像回復フィルタの状態位置である。図９では説明のためにフィルタの位置を各状態に対して直交した格子点上に配置しているが各フィルタの位置は格子点から外れても構わない。また、撮像状態の種類の数においても図示するために３つの状態に対する３次元図としたが、４つ以上の状態を対象とした４次元以上の撮像状態空間であっても良い。

画像回復フィルタの具体的な選択方法を説明する。図９中大きな白丸で示した状態が検知された実際の撮像状態であるとする。実際の撮像状態位置またはその極近傍にフィルタが存在する場合には、そのフィルタを選択して画像回復処理に用いることができる。ひとつの方法は、実際の撮像状態と格納された撮像状態の撮像状態空間中の距離を算出し、最も距離の短いものを選択する方法である。図９では小さな白丸で示した位置のフィルタが選択される。また、別の方法として、フィルタ選択に撮像状態空間中の方向による重み付けをすることができる。即ち、撮像状態空間中の距離と方向ウェイトの積を評価関数として選択する方法である。

次に、画像回復フィルタを補正して生成する方法について説明する。フィルタを補正するにあたって、実際の撮像状態と格納された撮像状態の撮像状態空間中の距離を算出し、最も距離の短いものを選択する。このとき状態相違量が最も小さくなるためこの後の補正量も少なくでき、撮像状態での本来のフィルタに近いものを生成することができる。図９では小さな白丸で示した位置のフィルタが選択される。この選択された画像回復フィルタの状態と実際の撮像状態の状態相違量ΔＡ，ΔＢ，ΔＣを算出する。この状態相違量に基づいて状態補正係数を算出し、選択された画像回復フィルタを補正することで、実際の撮像状態に対応した画像回復フィルタを生成することができる。また、別の方法として実際の撮像状態近傍の複数の画像回復フィルタを選択し、状態相違量に応じて補間処理することで撮像状態に適した画像回復フィルタを生成することができる。ここでの補間処理は、２次元フィルタ同士の対応タップの係数値を線形補間、多項式補間、スプライン補間などを用いて補間すれば良い。

また、画像回復フィルタの生成に用いる光学伝達関数（ＯＴＦ）は、撮像光学系に入射した光が光学素子を透過して画像を形成する光学伝達関数（ＯＴＦ）であり、光学設計ツールや光学解析ツールを用いて計算により求めることができる。さらに、撮像光学系単体や撮像装置の状態で実際に光学伝達関数（ＯＴＦ）を計測して求めることもできる。

また、光学伝達関数（ＯＴＦ）は１つの撮影状態においても撮像光学系の像高（画像の位置）に応じて変化するので、本発明の回復処理を像高に応じた画像の分割された領域ごとに変更して行うことが望ましい。画像回復フィルタを画像上をコンボリューション処理をしながら走査させ、所定の領域ごとにフィルタを順次変更すれば良い。

記憶部１０８は、画像回復フィルタ以外に、色合成比調整係数、回復強度調整係数を含む画像補正情報を格納させてもよい。

本実施例の撮像装置は、実施例の説明の導入で記した画像処理方法を画像処理部１０４で行うことを基本構成としている。図１０に画像処理部１０４で行う画像回復処理に関わる具体的なフローを示す。図中の●印は画像等の画素データであることを表し、それ以外は処理を表している。画像処理部１０４は取得工程で入力画像を取得する。ここでの入力画像は画素ごとにひとつの色成分情報をもったモザイク画像である。次に状態検知部１０７から撮像状態情報を得て、記憶部１０８から撮像状態に応じた画像回復フィルタを選択し、画像回復工程でこの画像回復フィルタを用いて入力画像に対して回復処理を行い、１次回復画像を生成する。

回復成分情報生成工程で、入力画像と１次回復画像の各画素の信号値の差分から回復成分情報を生成する。ここで、この後に色成分間での画像合成を行うために入力画像と回復成分情報の色補間処理（デモザイキング処理）を行う。この色補間処理は正規の色補間処理として、以降の処理をこの色補間された画像について行うこともできるし、ここでは正規の色補間処理とは異なる、例えば簡易的な方法で色補間を行うこともできる。そして、前記の色合成比調整係数ωや回復強度調整係数μの調整パラメータの設定値を取得し、色合成回復成分情報生成工程で色成分ごとの回復成分情報に対して調整パラメータを作用し、色合成回復成分情報を生成する。調整パラメータとしての色合成比調整係数ωや回復強度調整係数μは必要に応じてどちらか一方のみとすることもできる。また、本実施例ではユーザーが調整パラメータを設定することなく、自動的に設定している。この設定方法としては、撮像条件や像高に応じて、予め用意してある設定値から自動的に選択して用いることができる。また、画像から画素の特徴量を判別して自動的に調整パラメータを変更して設定することができる。

ここで、設定された調整係数に応じて、倍率色収差の補正量を設定しても良いし、予め記憶された調整係数に応じた倍率色収差の補正量を設定してもよい。

次に、回復画像生成工程で、前記の色合成回復成分情報を入力画像に合成して２次回復画像を生成する。この回復画像生成工程では、前記の色補間処理された画像に対して行うこともできるし、色合成回復成分情報に色成分ごとのマスクをしてモザイク画像のときの色成分情報配列に戻し、モザイク状態の入力画像と合成することもできる。

そして、その他必要な画像処理として、色補間処理（デモザイキング処理）、シェーディング補正、歪曲収差補正などを行い、出力画像を得る。また、幾何変換を用いた倍率色収差補正を行っても良く、その補正量は調整係数に応じて変更される。ここで説明したその他の処理を含めた諸々の画像処理は、上記フローの前後や中間に必要に応じて挿入することもできる。

図１１に色合成比調整係数ω＝１／２、回復強度調整係数μ＝１の場合、画像処理により画像がどのように変化するかを模式図を用いて示す。図中の各四角の枠内は、横方向が画像の位置、縦方向が画素値であり、画像の断面を現している。

これまで色成分をＲ，Ｇ，Ｂの３成分として説明してきたが、ここでは簡易的に２成分において説明する。ω＝１／２の条件は、２つの色成分の場合に偽色発生リスクが０（ゼロ）になる条件である。ｇ_ｍは劣化している入力画像のある断面を模式的に示している。太実線は第一の色成分であり、点線は第二の色成分を示している。

図１１（ａ）の処理は倍率色収差補正成分を含めた画像回復フィルタを用い、さらに後段で回復調整画像ｆ_ｍに対して倍率色収差補正を行う場合である。（ｂ）の処理は倍率色収差補正成分を含まない画像回復フィルタを用い、さらに前段で入力画像ｇ_ｍに対して座標の幾何変換による倍率色収差補正（倍率色収差補正手段による補正）を行う場合である。言い換えれば、図１１（ｂ）の処理は画像回復フィルタに倍率色収差補正の機能を含ませるのではなく、座標の幾何変換処理による倍率色収差補正ｇ_ｍ｜ｓｈｉｆｔ工程を、画像回復処理工程の前工程で行っている。（ｃ）の処理は倍率色収差補正成分を含まない画像回復フィルタを用い、さらに後段で回復調整画像ｆ_ｍに対して倍率色収差補正を行う場合である。

ｇ_ｍ｜ｓｈｉｆｔは（ｂ）について座標の幾何変換による倍率色補正を行った画像である。ｆｄ_ｍはｇ_ｍ、ｇ_ｍ｜ｓｈｉｆｔそれぞれに対して画像回復処理を行った後の画像である。

図１１の１次回復画像（回復画像）ｆｄ_ｍは、処理（ａ）、（ｂ）、（ｃ）とも画像のぼけ成分が補正され、（ａ）においては倍率色収差も同時に補正されている。Ｓ_ｍは、（ａ）及び（ｃ）に対してはｆｄ_ｍからｇ_ｍを減算し（差分情報取得）、（ｂ）に対してはｆｄ_ｍからｇ_ｍ｜ｓｈｉｆｔを減算した回復成分情報である。Ｓｄ_ｍは、第１の色成分及び第２の色成分の回復成分情報Ｓ_ｍを平均化した色合成回復成分情報である。ｆ_ｍは、この色合成回復成分情報Ｓｄ_ｍと入力画像ｇ_ｍとを合成した回復調整画像（２次回復画像）である。ｆ_ｍ｜ｓｈｉｆｔは、回復調整画像ｆ_ｍに対して座標の幾何変換による倍率色収差補正を行う。そして、Ｏ_ｍはこれらの画像処理を経た出力画像である。

図１１の（ａ）の画像回復フィルタの倍率色収差補正成分の補正量は色合成比調整係数あるいは回復強度調整係数に応じて変化させる。調整係数（色合成比調整係数、回復強度調整係数）に応じた倍率色収差量の設定方法を説明する。

調整係数（色合成比調整係数、回復強度調整係数）を大きく設定した場合は、回復度合いが高いので倍率色収差が補正されるので、倍率色収差補正量を小さくする。また、調整係数（色合成比調整係数、回復強度調整係数）を小さく設定した場合、回復度合いが低いので回復度合いが高い場合に比べて倍率色収差が補正されないため、倍率色収差補正量を大きくする。言い換えれば、倍率色収差補正手段は前記調整係数が大きい色成分よりも調整係数が小さい色成分の倍率色収差を大きく補正する。

より具体的に言えば、図６において、色合成比調整係数ωを１／３とした場合（各色成分の合成比を同じにした場合）は、回復強度調整係数μに関わらず倍率色収差の補正が行われないため、倍率色収差補正量を最大にする。ここでいう最大とは、回復前の画像の倍率色収差量である。ここでは、具体的な値として色合成比調整係数、回復強度調整係数の最大値を１とする。

つまり、色合成比調整係数ωを１、回復強度調整係数μを１とした場合は、倍率色収差の補正が行われるため、倍率色収差補正量を零としてよい。さらに、回復強度調整係数μを零とした場合は、色合成比調整係数ωに関わらず倍率色収差の補正が行われないため、倍率色収差補正量を最大にする。つまり、色合成比調整係数の値が１に対して小さくなる場合（色合成比調整比係数が１／３に近づく場合）、倍率色収差補正量は大きく設定する。色合成比調整係数が最大（１）である場合、倍率色収差補正量を零にする。

これらの色合成比調整係数ω、回復強度係調整数μの関係による倍率色収差補正量は、関数として保持することでω、μから算出することが可能であるし、テーブルデータとして保持して参照することにより決定することも可能である。

上記説明のとおり、倍率色収差補正量を調整係数に応じて変更することにより、より色付きを低減した良質な画像を得ることができる点にある。より限定すれば、第１調整係数よりも第２調整係数の方が大きい場合、該第１調整係数を設定した画素に対する倍率色収差補正量を、該第２調整係数を設定した画素に対する倍率色収差補正量よりも小さくすることを特徴とする。以上、倍率色収差補正を画像回復フィルタに持たせた場合の好ましい形態について説明した。

次に、画像回復フィルタには倍率色収差補正成分を含めず、画像回復処理よりも前の工程で倍率色収差補正を行うこともできる。図１１（ｂ）を実施例３の説明図として用いる。図１１（ａ）、（ｃ）と比べると、図１１（ｂ）のように色合成回復成分情報Ｓｄ_ｍを生成するよりも前段の工程で倍率色収差補正を行う場合が最も鮮鋭な出力画像Ｏ_ｍが得られることが分かる。即ち、色合成回復成分情報Ｓｄ_ｍを生成する工程で、回復成分情報Ｓ_ｍに倍率色収差が残留している場合、色合成回復成分情報Ｓｄ_ｍが倍率色収差を含めた広がりを持ってしまうため個々の色成分の補正精度が低下する。よって、幾何変換による倍率色収差補正と倍率色収差補正機能を持たない画像回復処理を組み合わせて行うことが好ましい。さらに好ましくは、調整係数に応じて回復画像の回復度合いが変化するので、幾何変換による倍率色収差補正量も該調整係数に応じて調整することが好ましい。

つまり、入力画像に対して、幾何変換による倍率色収差補正を行った後に、画像回復処理を行い回復画像を得る。そして、該回復画像と入力画像の差分情報を取得し、その差分情報を調整係数に応じて該回復画像に演算して第１の回復調整画像を生成する。生成された第１の回復調整画像に対して、再度、該調整係数に応じて幾何変換による倍率色収差の補正量を変更させて、幾何変換による倍率色収差補正を行うことにより第２の回復調整画像（出力画像）を得る。ここで、画像回復処理には倍率色収差補正機能を付与しない。

先に述べたように、幾何変換による倍率色収差補正を行った場合でも、調整係数の設定値に応じて、第１の回復調整画像の鮮鋭度が変化してしまう。よって、第２の回復調整画像を生成する際の調整係数に応じた倍率色補正は、倍率色の補正量を微小調整を行いたい場合に特に有効である。

鮮鋭度の変化（調整係数の大小）の程度に合わせて、倍率色の補正量をどの程度調整するかは、第１の回復調整画像を生成する前に行った幾何変換による倍率色補正量と調整係数の対応に依存する。本実施例では、第１の回復調整画像を生成する前に倍率色補正を行っているので、鮮鋭度が最小（調整係数が最小）の場合に最適な倍率色収差補正となる。つまり、調整係数が大きくなる（鮮鋭になる）にしたがって倍率色収差が発生し、その収差量も大きくなる。よって、第１の調整係数が第２の調整係数よりも大きい値が設定された場合、第２の回復調整画像を生成する際、該第１の調整係数に対応した倍率色補正量を、第２の調整係数に対応した倍率色収差量よりも大きくする。

倍率色収差は座標の幾何変換処理でも補正することができるため、図１１（ｂ）のようにぼけの補正は画像回復処理により行う。一方、倍率色収差（色付き）の補正は調整係数に応じて補正量に基づいた座標の幾何変換による倍率色収差補正工程により除去あるいは低減し、ぼけを画像回復フィルタによる画像回復処理として調整することが好ましい。

以上のとおり、倍率色収差の補正量を画像回復処理の回復度合い、つまり調整係数に応じて変更することにより、画像として色付きが目立たない状態に補正することができる。

図１２の（ａ）及び（ｃ）は、画像のエッジのプロファイルについてぼけ量の異なる２つの場合の模式図である。それぞれ、太実線、細実線、点線は画像が有する異なる色成分を示している。（ｂ）及び（ｄ）は、それぞれ（ａ）及び（ｃ）に対して太実線で表した色成分を固定して、残りの２つの色成分を平行移動（幾何変換）して適正な補正量で倍率色収差を補正したものである。このとき、補正量ＡとＢとは異なる。よって、ぼけの度合い、即ち回復度合いに応じて倍率色収差の補正量を対応させる必要があるのである。実施例１あるいは２の画像処理方法を用いることにより、画像回復の度合いに応じて変化する倍率色収差を、最適な補正量で補正できるため、高画質な出力画像を得ることができる。

図１５に画像処理を情報処理装置に実行させる場合の概略構成図を示す。１５１は画像処理部、１５２はＲＡＭ、１５３ＲＯＭ、１５４はＣＰＵ、１５５はネットワークと接続するネットワークインタフェイスカード（ＮＩＣ）である。１５６はモニタなどの表示部、１５７はハードディスクドライブやメモリカードなどの記憶装置、１５８はその他の機器を接続可能なＩ／Ｆである。１５９はキーボード、マウスなどの操作部、１５０はシステムバスであり上記説明した要素を相互に接続している。ＣＰＵ１５４は、ＲＯＭ１５３または記憶装置１５７に格納されたプログラム（画像処理プログラム）を、ワークメモリであるＲＡＭ１５２にロードして当該プログラムを実行する。当該プログラムに従いシステムバス１５０を介して各要素を制御することで、画像処理プログラムの機能を実現する。尚、図１５は画像処理を実施する情報処理装置の一般的な構成を示し、その構成の一部を欠いても、他のデバイスが追加されても、本発明の範囲に含まれる。

図１６（Ａ）には、本発明の実施例３である画像処理システムの構成を示している。画像処理装置２０１は、コンピュータ機器により構成され、実施例１、２にて説明した画像処理方法を該コンピュータ機器に実行させるための画像処理ソフトウェア（画像処理プログラム）２０６を搭載している。

撮像装置２０２は、カメラ、顕微鏡、内視鏡、スキャナ等を含む。記憶媒体２０３は、半導体メモリ、ハードディスク、ネットワーク上のサーバ等、撮像により生成された画像（撮影画像データ）を記憶する。

画像処理装置２０１は、撮像装置（撮像機器）２０２または記憶媒体２０３から撮影画像データを取得し、所定の画像処理を行った出力画像（回復調整画像）データを出力機器２０５、撮像装置２０２及び記憶媒体２０３のうち少なくとも１つに出力する。また、出力先を画像処理装置２０１に内蔵された記憶部とし、該記憶部に出力画像データを保存しておくこともできる。出力機器２０５としては、プリンタ等が挙げられる。画像処理装置２０１には、モニタである表示機器２０４が接続されており、ユーザーはこの表示機器２０４を通して画像処理作業を行うとともに、回復調整画像を評価することができる。画像処理ソフトウェア２０６は、画像回復処理機能（調整係数に応じた倍率色収差補正機能）及び回復度合い調整機能の他に、必要に応じて現像機能やその他の画像処理機能を有している。

また、図１６（Ｂ）には、別の画像処理システムの構成を示している。実施例１のように撮像装置（撮像機器）２０２単体で実施例１〜３の画像処理を行う場合は、撮像装置２０２から直接、出力機器２０５に回復調整画像を出力することができる。

また、出力機器２０５に、実施例１，２の画像処理方法を実行する画像処理装置を搭載することで、出力機器２０５は、画像回復処理あるいは回復度合い調整を行うことも可能である。さらに、出力機器２０５の出力時の画像劣化特性を考慮して回復度合い調整を行うことで、より高画質な画像を提供することができる。

ここで、調整係数に応じた倍率色収差補正機能を含む補正処理を含む画像処理を行うための補正データの内容と補正データの流れについて説明する。図１７には、補正データの内容を示す。補正情報セットは、以下の補正に関する情報を有している。

・補正制御情報
補正制御情報は、撮像装置２０２、画像処理装置２０１、出力機器２０５のどの機器で回復処理及び回復度合い調整処理を行うかに関する設定情報と、これに伴い他の機器に伝送するデータの選択情報である。例えば、撮像装置２０２で回復処理のみ行い、画像処理装置２０１で回復度合いの調整を行う場合、画像回復フィルタを伝送する必要は無いが、少なくとも撮影画像と１次回復画像（または回復成分情報）を伝送する必要がある。

・撮像装置情報
撮像装置情報は、製品名称に相当する撮像装置２０２の識別情報である。レンズとカメラ本体が交換可能な場合はその組み合わせを含む識別情報である。

・撮像状態情報
撮像状態情報は、撮影時の撮像装置の状態に関する情報である。例えば、焦点距離、絞り値、撮影距離、ＩＳＯ感度、ホワイトバランスなどである。

・撮像装置個別情報
撮像装置個別情報は、上記の撮像装置情報に対して、個々の撮像装置の識別情報である。製造誤差のばらつきにより撮像装置の光学伝達関数（ＯＴＦ）は個体ばらつきがあるため、撮像装置個別情報は個々に最適な回復度合い調整パラメータを設定するために有効な情報である。また、個々に最適な回復度合い調整パラメータに補正するための補正値を含む。

・画像回復フィルタ群
画像回復フィルタ群は、画像回復処理で用いる画像回復フィルタのセットである。画像回復処理を行う機器が画像回復フィルタを有していない場合、別の機器から画像回復フィルタを伝送する必要がある。

・回復成分情報
既に画像回復処理が行われ、回復成分情報が生成されている場合、撮影画像と回復成分情報を別の機器に伝送すれば、別の機器で回復度合い調整処理を行うことができる。

・調整パラメータ群
調整パラメータ群は色合成比調整係数ω、回復強度調整係数μ、あるいはこれらの調整係数に関連付けられた倍率色収差補正量のセットである。色合成比調整係数ω、回復強度調整係数μは前記のとおり、画像の位置に応じて変更可能である。また撮影状態に応じても変更可能である。調整パラメータ群のデータとしては、調整係数そのもののテーブルデータでも良いし、調整係数を決定するための関数でも良い。
調整係数に応じて決定される倍率色収差補正量も調整パラメータのひとつとして保持することができる。また、倍率色収差補正量は、調整係数に応じてテーブルデータや関数によって自動的に決定することもできるし、ユーザーが可変に設定することも可能である。さらにあらかじめ用意された複数のプリセット値からユーザーが選択して設定することも可能である。

・ユーザー設定情報
ユーザー設定情報は、ユーザーの好みに応じた回復度合いに調整するための調整パラメータまたは調整パラメータの補正関数である。ユーザーは調整パラメータを可変に設定可能であるが、ユーザー設定情報を用いれば常に初期値として好みの出力画像を得ることができる。また、ユーザー設定情報は、ユーザーが調整パラメータを決定した履歴から最も好む鮮鋭度を学習機能により更新することが好ましい。さらに、撮像装置の提供者（メーカー）がいくつかの鮮鋭度パターンに応じたプリセット値をネットワークを介して提供することもできる。

上記の補正情報セットは、個々の画像データに付帯させることが好ましい。必要な補正情報を画像データに付帯させることで、本発明の画像処理装置を搭載した機器であれば回復度合い調整処理を行うことができる。また、補正情報セットの内容は必要に応じて、自動及び手動で取捨選択可能である。例えば、別の機器で回復度合い調整処理を行う場合に、補正情報セットに回復成分情報が含まれていれば画像回復フィルタ群は基本的には必要ない。

補正情報セットを用いた場合の処理の一例を示す。まず、画像処理装置２０１は、撮像装置２０２または記憶媒体２０３等から画像を取得し、画像処理を行うための補正情報を取得する。ここで補正情報は、記憶手段等にあらかじめ記憶されていたものを用いても良いし、ユーザーの入力や選択により調整係数設定手段が設定した調整係数、あるいは画像に付帯された調整係数などを用いても良い。補正情報には倍率色収差補正に関するデータがセットされていた場合、画像処理装置は該倍率色収差補正に関するデータを読み込み、そのデータに応じて倍率色収差の補正量を調整する。

以上、本発明の画像処理を用いたシステムに関する実施例を示したが、その要旨の範囲内で種々の変形及び変更が可能である。

（変形例）
図１３（Ａ）及び図１３（Ｂ）に倍率色収差補正処理を含めたフローチャートを示す。図１３（Ａ）は、初めに入力画像に対して倍率色収差補正処理を行い、画像回復処理では上記の倍率色補正成分を持たない画像回復フィルタを用いている。デモザイキング処理よりも前の工程で倍率色収差補正処理を行うため、倍率色収差補正処理では必要に応じて仮の色補間処理を行っても構わない。

一方、図１３（Ｂ）では、初めに画像回復処理では上記の倍率色補正成分を持たない画像回復フィルタを用い、回復成分情報に対して倍率色収差補正処理を行っている。ただし、この場合、２次回復画像を生成するために入力画像に対して倍率色収差補正処理を行う必要があるため、図１３（Ａ）の方法がより好ましい。

次にホワイトバランスと回復度合いの調整の関係について図１４（Ａ）、（Ｂ）を用いて説明する。ホワイトバランスはデジタルカメラにおける色調の調整方法で適切な色、もしくは撮影者によって意図された色味を出すために使用される。また、白色を生成するためのＲＡＷ画像のＲＧＢ信号の混合比をホワイトバランス係数とする。

上記のとおり、色合成回復成分情報を生成するためには、回復成分情報を色成分間で色合成比調整係数ωに応じて色合成することである。このとき、ホワイトバランスを考慮しないと、ωの設定により意図した混合比にならない。例えば、ω＝１／３はＲ，Ｇ，Ｂの各回復成分を均等に平均化するので、得られる色合成回復成分情報は色味の無い状態である。しかし、ホワイトバランス係数が１：１：１でない限り、１／３ずつ混合した色合成回復成分情報は色味をもつことになる。即ち、偽色発生リスクを０（ゼロ）にできていないことになってしまう。

そこで、図１４（Ａ）のように、入力画像に対してホワイトバランス処理を行う。このホワイトバランス処理は、ホワイトバランス係数で各色成分の信号値を除算に相当する処理を行い、信号値のレベルを正規化する処理である。正規化することで、色合成比調整係数ωに応じた混合比で色合成回復成分情報を生成することができる。そして、２次回復画像を生成する前に逆ホワイトバランス処理を行うことで画像のホワイトバランスを元の状態に戻している。この逆ホワイトバランス処理は、ホワイトバランス係数で各色成分の信号値を乗算に相当する処理を行い、正規化された信号値のレベルを元に戻す処理である。別の方法として図１４（Ｂ）では、図１４（Ａ）のように画像でホワイトバランスの考慮を行うのではなく、回復度合いの調整パラメータをホワイトバランス係数に応じて補正している。調整パラメータは、色合成比調整係数ωや回復強度調整係数μである。

以上、各処理工程の好ましい前後関係や考慮すべき処理について説明したが、処理工程の順序に対して別の観点での制約がある場合にはこれに限るものではなく、処理上の制約条件や要求画質に応じて決定しても構わない。また、本発明の目的を達成可能な範囲では当然ながら処理工程の順序を変更しても構わない。

以上、本発明の画像処理方法を用いた撮像装置に関する実施例を示したが、本発明の撮像装置は、その要旨の範囲内で種々の変形及び変更が可能である。

しかしながら、実際の撮影画像は上述した画像回復技術を用いても、例えばＲ，Ｇ，Ｂの色成分ごとに回復度合いが想定しているものと異なっていた場合、思わぬ偽色が発生し、良質な回復画像を得られない場合がある。ここで、偽色とは、理想的な回復画像には現れない色付きのことである。

１０１画像回復処理手段
１０２差分情報取得手段
１０３調整係数設定手段
１０４倍率色収差補正手段
１０５回復調整画像生成手段

Claims

複数の色成分を有する入力画像を回復処理する画像回復処理手段と、
前記入力画像と回復処理した回復画像の差分情報を取得する差分情報取得手段と、
前記回復処理における回復度合いを調整するための調整係数を設定する調整係数設定手段と、
前記入力画像に対して、前記差分情報を前記調整係数に応じて合成することで回復調整画像を生成する回復調整画像生成手段と、
前記調整係数に応じて、前記入力画像または前記回復調整画像に対する倍率色収差の補正量を調整する倍率色収差補正手段を有することを特徴とする画像処理装置。
前記差分情報を、前記入力画像と前記回復画像の前記色成分ごとの差分量を前記色成分の混合比を示す色合成比調整係数に応じて合成することで取得し、
前記調整係数を、前記色成分ごとに設定することを特徴とする請求項１に記載の画像処理装置。
前記倍率色収差補正手段は、前記画像回復処理手段であることを特徴とする請求項１または２に記載の画像処理装置。
撮像光学系により形成された被写体像を光電変換して撮影画像を生成する撮像素子と、
前記撮影画像を入力画像として処理する請求項１乃至３いずれか１項に記載の画像処理装置とを有することを特徴とする撮像装置。
複数の色成分を有する入力画像を回復処理する画像回復処理工程と、
前記入力画像と回復処理した回復画像の差分情報を取得する差分情報取得工程と、
前記回復処理における回復度合いを調整するための調整係数を設定する調整係数設定工程と、
前記入力画像に対して、前記差分情報を前記調整係数に応じて合成することで回復調整画像を生成する回復調整画像生成工程と、
前記調整係数に応じて、前記入力画像または前記回復調整画像に対する倍率色収差の補正量を調整する倍率色収差補正工程とを情報処理装置に実行させる画像処理プログラム。
複数の色成分を有する入力画像を回復処理する工程と、
前記入力画像と回復処理した回復画像の差分情報を取得する工程と、
前記回復処理における回復度合いを調整するための調整係数を設定する工程と、
前記入力画像に対して、前記差分情報を前記調整係数に応じて合成することで回復調整画像を生成する工程と、
前記調整係数に応じて、前記入力画像または前記回復調整画像に対する倍率色収差の補正量を調整する工程を有することを特徴とする画像処理方法。