JP5157715B2

JP5157715B2 - 画像復元方法、プログラムおよび画像復元装置

Info

Publication number: JP5157715B2
Application number: JP2008190702A
Authority: JP
Inventors: 司村田
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2008-07-24
Filing date: 2008-07-24
Publication date: 2013-03-06
Anticipated expiration: 2028-07-24
Also published as: JP2010026977A

Description

本発明は、画像復元方法、プログラムおよび画像復元装置に関する。

近年、電子カメラ等の撮像装置で撮像された画像から、撮像レンズの焦点ズレによって生じたボケ等の画像劣化を除去し復元する様々な手法の開発が行われている。

特許文献１では、画像における画像劣化を復元するために、その劣化の原因となった撮影条件等の物理的要因から求まる劣化関数を用い、その劣化関数における劣化パラメータの値をシフトさせながら画像をそれぞれ復元するとともに、各復元画像の周波数特性に応じた画像復元度を算出することで、最良の画像復元度を有する復元画像を選択する方法を開示している。
特開２０００−５７３３９号公報

しかしながら、特許文献１のような従来技術では、画像劣化をモデル化した劣化関数等のモデル関数が実際の画像劣化を正確に表すことはほぼ不可能である。したがって、特許文献１のような画像復元度に基づいて、最良の画像復元度を与えるモデル関数のパラメータの値を決定することは非常に困難であり、また画像復元度の定義によって最良のパラメータの値も変化してしまう。

上記従来技術が有する問題に鑑み、本発明の目的は、モデル関数の適用限界に応じて画像における画像劣化の復元処理を行える技術を提供することにある。

上記課題を解決するために、本発明を例示する画像復元方法の一態様は、読み込まれた画像における画像劣化をモデル化したモデル関数を用いて読み込まれた画像における画像劣化を復元する復元処理工程と、復元処理工程によって復元された復元画像においてモデル関数に設定されたパラメータの値での復元の処理により過剰に処理された度合いを示す非復元度を、復元画像の画素値に基づいて算出する非復元度算出工程と、非復元度とあらかじめ決められた復元の限界を示す値との比較に基づいて、復元処理工程でモデル関数に設定されたパラメータの値の良否判定を行う判定工程とを備える。
本発明を例示する画像復元方法の他の態様は、読み込まれた画像における画像劣化をモデル化したモデル関数を用いて読み込まれた画像における画像劣化を復元する復元処理工程と、復元処理工程によって復元された復元画像においてモデル関数に設定されたパラメータの値での復元の処理により過剰に処理された度合いを示す非復元度を、復元画像の画素値に基づいて算出する非復元度算出工程と、非復元度とあらかじめ決められた復元の限界を示す値との比較に基づいて、復元処理工程でモデル関数に設定されたパラメータの値の良否判定を行う判定工程とを備え、非復元度は、復元画像のあらかじめ決められた領域内における負の画素値を有する画素の画素数または画素数の前記領域内の全画素数に対する比率である。
本発明を例示する画像復元方法の別の態様は、読み込まれた画像における画像劣化をモデル化したモデル関数を用いて読み込まれた画像における画像劣化を復元する復元処理工程と、復元処理工程によって復元された復元画像においてモデル関数に設定されたパラメータの値での復元の処理により過剰に処理された度合いを示す非復元度を、復元画像の画素値に基づいて算出する非復元度算出工程と、非復元度とあらかじめ決められた復元の限界を示す値との比較に基づいて、復元処理工程でモデル関数に設定されたパラメータの値の良否判定を行う判定工程とを備え、非復元度は、復元画像のあらかじめ決められた領域内における負の画素値を有する画素のうち負の画素値の絶対値が最も大きい値である。
本発明を例示する画像復元方法のさらに別の態様は、読み込まれた画像における画像劣化を復元する復元処理工程と、復元処理工程によって復元された復元画像において復元処理工程に設定されたパラメータの値での復元の処理により過剰に処理された度合いを示す非復元度を、復元画像の画素値に基づいて算出する非復元度算出工程と、非復元度とあらかじめ決められた復元の限界を示す値との比較に基づいて、復元処理工程に設定されたパラメータの値の良否判定を行う判定工程とを備える。

また、本発明において、良否判定に基づいてパラメータの値を更新する更新工程をさらに備える。

また、本発明において、モデル関数は、少なくとも撮像レンズの焦点ズレによるボケまたは読み込まれた画像を拡大することで生じるボケをモデル化したものである。

また、本発明において、復元処理工程は、モデル関数とパラメータの値とに基づいて決まる所定の関数の値を最大または最小にすることで読み込まれた画像における画像劣化を復元する。

また、本発明において、非復元度は、復元画像における負の画素値を有する画素の画素数または画素数の復元画像の全画素数に対する比率である。

また、本発明において、非復元度は、復元画像における負の画素値を有する画素のうち負の画素値の絶対値が最も大きい値である。

また、本発明において、非復元度は、復元画像の一部の領域における負の画素値を有する画素の画素数または画素数の前記一部の領域内の全画素数に対する比率である。

また、本発明において、非復元度は、復元画像の一部の領域における負の画素値を有する画素のうち負の画素値の絶対値が最も大きい値である。

また、本発明において、復元画像の一部の領域は、読み込まれた画像の撮像情報に基づいて決められる。

また、本発明において、復元処理工程は、ベイズ統計を用いて読み込まれた画像における画像劣化を復元する。

本発明を例示するプログラムの一態様は、本発明の画像復元方法の各工程を、コンピュータに実行させる。

本発明を例示する画像復元装置の一態様は、画像における画像劣化をモデル化したモデル関数を用いて画像における画像劣化を復元する復元処理部と、復元処理部によって復元された復元画像においてモデル関数に設定されたパラメータの値での復元の処理により過剰に処理された度合いを示す非復元度を、復元画像の画素値に基づいて算出する非復元度算出部と、非復元度とあらかじめ決められた復元の限界を示す値との比較に基づいて、復元処理部でモデル関数に設定されたパラメータの値の良否判定を行う判定部とを備える。
本発明を例示する画像復元装置の他の態様は、画像のデータを読み込む入力部と、画像における画像劣化を復元する復元処理部と、復元処理部によって復元された復元画像において復元処理部に設定されたパラメータの値での復元の処理により過剰に処理された度合いを示す非復元度を、復元画像の画素値に基づいて算出する非復元度算出部と、非復元度とあらかじめ決められた復元の限界を示す値との比較に基づいて、復元処理部に設定されたパラメータの値の良否判定を行う判定部とを備える。

本発明によれば、モデル関数の適用限界に応じて画像における画像劣化の復元処理が行える。

図１は、本発明の一の実施形態に係る画像復元方法をコンピュータ１０へ適用した場合の概念図である。

図１に示すコンピュータ１０は、ＣＰＵ１、記憶部２、入出力インタフェース（入出力Ｉ／Ｆ）３およびバス４から構成され、ＣＰＵ１、記憶部２および入出力Ｉ／Ｆ３は、バス４を介して情報伝達可能に接続される。また、コンピュータ１０には、入出力Ｉ／Ｆ３を介して、画像処理の途中経過や処理結果を表示する出力装置２０、ユーザからの入力を受け付ける入力装置３０がそれぞれ接続される。出力装置２０には、一般的な液晶モニタやプリンタ等を用いることができ、入力装置３０には、キーボードやマウス等をそれぞれ適宜選択して使用できる。

ＣＰＵ１は、入力装置３０で受け付けたユーザからの指示に基づいて、記憶部２に記憶されている画像復元プログラムを読み込み、記憶部２に記憶されている画像の復元処理を行う。ＣＰＵ１は、その画像の復元処理の結果を、出力装置２０に表示する。ＣＰＵ１には、一般的な中央演算装置を用いることができる。

記憶部２は、被写体が撮像された画像のデータだけでなく、その画像を復元処理するための画像復元プログラム等を記録する。また、記憶部２は、後述する復元処理において必要となるパラメータの値を記憶する。記憶部２に記憶される画像データやプログラム等は、バス４を介して、ＣＰＵ１から適宜参照することができる。記憶部２には、一般的なハードディスク装置、光磁気ディスク装置等の記憶装置を選択して用いることができる。なお、図１の記憶部２は、コンピュータ１０に組み込まれているが、外付けの記憶装置でもよい。この場合、記憶部２は、入出力Ｉ／Ｆ３を介してコンピュータ１０に接続される。

本実施形態における画像の復元処理の手法は、ベイズ理論に基づいた手法を用いる。以下に、ベイズ統計、確率モデル、最急降下法および目的関数について簡単に説明する。

復元処理対象の劣化画像をｇおよび復元処理後の画像をｆとすると、両画像は次の式（１）のように関係付けることができる。

式（１）のｎは、画像劣化原因の１つであるホワイトノイズである。なお、画像ｇ、画像ｆおよびホワイトノイズｎは、一次元ベクトルで表される。また、Ｈは、ボカシフィルタ行列を表す。本実施形態では、ボカシフィルタ行列Ｈを求めるために、画像劣化をモデル化したモデル関数として、次式（２）で表されるガウス型関数を拡張したフィルタを用いる。なお、パラメータσは、フィルタ強度（ボケの復元強度）を示す。また、パラメータηの値は任意に決めることができる。本実施形態では、η＝０．５とする。

一方、ベイズ統計とは、例えば、ある２つの事象Ａ、Ｂがあるときに、事象Ａが生じたときに事象Ｂが生ずる確率（Ｐ（Ｂ｜Ａ））が、事象Ｂが生じたときに事象Ａが生ずる確率（Ｐ（Ａ｜Ｂ））を用いて次式（３）のように表される関係をいう。なお、Ｐ（Ａ）は、Ａが生ずる確率であり、Ｐ（Ｂ）は、Ｂが生ずる確率である。

式（３）により、本実施形態における画像ｇから画像ｆを求めるということを、画像ｆがあるとき、画像ｇになる確率を用いて表すことができる。そのような確率を、ベイズ統計に基づいて表すと次式（４）のようになる。

式（４）のβは、ホワイトノイズｎの分布をガウス分布としたときの分散の逆数である。ａは画像ｆのエッジ成分の分散を与える行列で、画像の縦、横、斜め４５度および斜め１３５度方向の成分から成る。統計パラメータｍおよびｌは、行列ａの対角成分の平均と分散を表すパラメータで、本手法では撮影画像を用いて見積もることにする。この式（４）は確率モデルと呼ばれる。確率モデルの式（４）が最大となるときの画像ｆが、当該モデルにおける求める画像ｆである。ただし、本実施形態では、式（４）の最大となる画像ｆを求める代わりに、目的関数Ｊ_B（ｇ，ｆ；β，ｍ，ｌ）＝−ｌｎＰ（ｇ，ｆ；β，ｍ，ｌ）の値が最小となる画像ｆを求める。本実施形態における目的関数Ｊ_Bを、具体的に表すと次式（５）のようになる。

式（５）のＮは、画像の画素数を表し、統計パラメータｍおよびｌの添え字ｋは、画像の縦（ｋ＝１）、横（ｋ＝２）、斜め４５度（ｋ＝３）および斜め１３５度（ｋ＝４）の各方向における成分であることを表す。Ｑ^kは、各方向の画像のエッジ成分を求める２次元行列の演算子を表す。

本実施形態では、最急降下法を用いて目的関数Ｊ_Bを最小にする画像ｆを求める。最急降下法では、最適解のある検索方向を目的関数Ｊ_Bの勾配の方向として、その勾配をパラメータμで調節しながら最適解を見つけ出す手法である。最急降下法を式で表すと式（６）のようになる。

目的関数Ｊ_Bが最小になるときの画像ｆが求めるべきものである。目的関数Ｊ_Bの勾配は、式（４）よりベクトル形式で表すと次式（７）のようになる。

ｖ^k _iは次式（８）のように表される。

なお、式（７）および式（８）の中の連続するギリシャ文字の添え字αおよびγは１〜Ｎで和を取ることを示す。

一方、本実施形態において、式（２）内のパラメータの適用限界を調べるために、非復元度というパラメータを導入する。この非復元度について簡単に説明する。上述したように、式（２）のボカシフィルタのフィルタ強度（ボケの復元強度）を示すパラメータσの決定は、非常に困難であり、ユーザの主観に依存していた。そうして決定されたパラメータσの値を用いて、例えば、本実施形態におけるベイズ理論に基づいた画像復元処理を行うと、ある画像領域での実際のフィルタ強度の限界値よりも強くなる場合には、式（６）の演算の過程で画像ｆ_l+1の画素値の一部が負の値になる。これは、その画像領域では過度の復元処理が行われたことを意味し、その結果、画像崩壊が生じ負の画素値になる。しかしながら、通常の画像では負の画素値というのは存在しない。そこで、本実施形態では、逆にこれを利用し、負の画素値となった画素数を画像ｆの全画素数で割った値を、非復元度と定義して用いることで、モデル関数内のパラメータの適用限界を考慮して画像の復元処理を行う。

そこで、本実施形態に係る画像復元方法の処理の手順について、図２のフローチャートを参照しながら説明する。

ユーザが、入力装置３０を用いて、画像復元プログラムのコマンドを入力、または、そのプログラムのアイコンをダブルクリックすることにより、プログラムの起動命令を出す。ＣＰＵ１は、その命令を入出力Ｉ／Ｆ３を通じて受け付け、記憶部２に記憶されている画像復元プログラムを実行する。その結果、図２のステップＳ１０からの処理が行われる。

ここで、本実施形態では、記憶部２にあらかじめ復元処理の対象となる、電子カメラ等で被写体を撮像した画像が記憶されているものとする。また、画像の復元処理で必要となるホワイトノイズｎの分布のパラメータβの値が、ユーザによって、入力装置３０を介して与えられるものとする。パラメータβの値としては、例えば、撮像した画像が風景の場合には、樹木の枝葉を強調するように、少しノイズ成分が残るような処理を行い立体的な質感を出した方が、多くの人にとって良い画像になることが経験的に知られている。そのような処理を行うには、パラメータβの値を１０〜１５くらいの大きめの値を与えるようにするのが好ましい。また、撮像した画像が人物の場合には、ノイズ成分を強めに除去するようにして肌の凹凸感を抑えなめらかな質感を出した方が、良い画像になることが知られている。そのような処理を行うには、パラメータβの値を５くらいの小さめの値を与えるのが好ましい。

ステップＳ１０：ＣＰＵ１は、ユーザの指示に基づいて、復元処理によって、少なくとも電子カメラ等の撮像レンズの焦点ズレによるボケや、撮像素子において生じたノイズ等による画像劣化を軽減したい画像（以下、画像ｇ）を、記憶部２より読み込む。また、ＣＰＵ１は、パラメータσの初期値および非復元度と比較するモデル関数のパラメータの適用限界を示す非復元度の閾値とをそれぞれ記憶部２から読み込み、メモリ（不図示）に一時的に記憶する。

ここで、記憶部２に記憶させるパラメータσの初期値としては、撮像した画像がどれだけボケているか、または撮像した画像をどれだけ拡大させるかに応じて決めるのが好ましい。多くの画像について分析した結果、パラメータσの値は、１０より小さい１ケタくらいの値であることが分かった。そこで、本実施形態では、パラメータσの初期値として、それらよりも小さい０という値を記憶部２に記憶させて与え、０．１刻みで増加させることで、最良のパラメータσの値を見つけ出すようにする。また、同じく多くの画像について分析した結果、非復元度が０．３％くらいの比率になる時が最も復元処理の結果が良好であった。そこで、本実施形態において求める非復元度と比較するモデル関数のパラメータの適用限界を示す非復元度の閾値の値として、０．３％という値を記憶部２に記憶する。

ステップＳ１１：ＣＰＵ１は、図３に示すように、画像ｇの画素の外周に新たに画素（点線）を付加し、ｆ₀＝ｇで初期化する。画像ｇの外周に新たに付加した画素、例えば、画素６０と画素６１とには、隣接する画像の画素５０と同じ画素値が入る。

ここで、画像ｇの画素の周りに新たに画素を付加する理由は、ボカシフィルタが中心対称の場合、式（１）におけるボカシフィルタ行列Ｈとその転置行列Ｈ^Tとはほぼ等しいとして扱え、以下にて説明する演算が容易になる。ただし、ボカシフィルタが中心対称の場合でも、原則的にボカシフィルタ行列Ｈとその転置行列Ｈ^Tとは完全に等しくはない。その原因は、画像ｇの外周上にある画素１０と他の領域にある画素とで扱い方が異なるからであり、中心対称でない場合には、ＨとＨ^T端処理の影響による差だけではない。そこで、図３に示すように、画像ｇの画素の外周上にある画素５０と同じ画素値を有する画素６０と画素６１とを付加させることで、画像ｇの画素の外周上にある画素５０と他の領域にある画素に対する扱い方の違いをなくす。これにより、ボカシフィルタが中心対称の場合に、ボカシフィルタ行列Ｈとその転置行列Ｈ^Tとが等しいとして扱っても、処理結果にはあまり影響しない。なお、新たに付加する画素の幅は任意に決めることができ、図３においては２画素分の幅を加えているが、状況に応じて適宜変更が可能であり、本実施形態ではフィルタ半径より大きい画素数の幅分を付加させる。

ステップＳ１２：ＣＰＵ１は、Ｊ_Bを計算するのに必要となる統計パラメータｍおよびｌを求める。本来であればパラメータｍおよびｌは、ボケのない理想画像ｆからそれらの値を算出した方が、良い復元結果が得られる。しかしながら、理想画像ｆは不明であり、画像ｇから求める値と最終的に得られた画像ｆから求める値とでは処理結果に大きな違いが経験的に無いことから、ｆ＝ｇとして計算する。

ステップＳ１３：ＣＰＵ１は、ステップＳ１０およびステップＳ１２にて得られたパラメータの値を用いて式（７）および式（８）を計算して、目的関数Ｊ_Bの勾配ベクトルを求める。

ステップＳ１４：ＣＰＵ１は、ステップＳ１３にて求めた目的関数Ｊ_Bの勾配ベクトルと式（６）とを用いて、画像ｆを新たに算出された画像ｆ’に更新する（ｆ＝ｆ’）。なお、本実施形態では、勾配を調節するパラメータμはホワイトノイズｎの分散β^-1に等しいとする。

ステップＳ１５：ＣＰＵ１は、画像ｆの全体における画素値が負の値となった画素数の比率である非復元度の値を算出する。

ステップＳ１６：ＣＰＵ１は、ステップＳ１５で求めた非復元度が０．３％以下か否かを判定する。ＣＰＵ１は、非復元度が０．３％以下であると判定した場合、本実施形態におけるベイズ理論に基づいた復元処理がモデル関数の適用限界までまだ行われていないと判断して、ステップＳ１７へ移行する。一方、ＣＰＵ１は、非復元度が０．３％より大きいと判断した場合、復元処理がモデル関数の適用限界以上に行われていると判断して、ステップＳ２０（ＮＯ側）へ移行する。ＣＰＵ１は、ステップＳ２０において、ｆ₀＝ｇとするとともに、パラメータσの値を変更してステップＳ１３へ移行する。

ステップＳ１７：ＣＰＵ１は、ステップＳ１０およびステップＳ１２にて得られたパラメータの値を用いて式（７）および式（８）を計算して、目的関数Ｊ_Bの勾配ベクトルを求める。

ステップＳ１８：ＣＰＵ１は、ステップＳ１７で求めた目的関数Ｊ_Bの勾配ベクトルの成分のうち、最大値となる成分が１より小さいか否かを判定する。１より小さい場合には、ＣＰＵ１は、最急降下法による復元処理は収束したとして、ステップＳ１９（ＹＥＳ側）へ移行する。一方、１以上の場合には、ＣＰＵ１は、復元処理はまだ収束していないとして、ステップＳ１４（ＮＯ側）に戻り、目的関数Ｊ_Bの勾配ベクトル成分の最大値が１より小さくなるまでステップＳ１４からステップＳ１７の処理を行い、画像ｆを求める。

ステップＳ１９：ＣＰＵ１は、ステップＳ１５で求めた非復元度が０．３％と等しいか否かを判定する。ＣＰＵ１は、非復元度が０．３％と等しいと判定した場合、本実施形態におけるベイズ理論に基づいた復元処理がモデル関数の適用限界まで行われ、最良の復元された画像ｆを取得することができたと判断する。そして、ＣＰＵ１は、画像ｆを記憶部２に記録して復元処理を終了する（ＹＥＳ側）。一方、ＣＰＵ１は、非復元度が０．３％と等しくないと判定した場合、本実施形態におけるベイズ理論に基づいた復元処理がモデル関数の適用限界までまだ行われていない（非復元度＜０．３％）と判断する。ＣＰＵ１は、ステップＳ２０（ＮＯ側）へ移行する。ＣＰＵ１は、ステップＳ２０において、ｆ₀＝ｇとするとともに、パラメータσの値を変更してステップＳ１３へ移行する。ＣＰＵ１は、非復元度〜０．３％を満たす画像ｆが取得されるまで、ステップＳ１３〜ステップＳ１８までの処理を行う。最終的に、ＣＰＵ１は、最良の復元された画像ｆを記憶部２に記録して復元処理を終了する。

このように本実施形態は、撮像した画像ｇにおける画像劣化を、モデル関数であるボカシフィルタの適用限界に応じてパラメータσの値を調節して復元処理することで、復元処理された最良の画像ｆを取得することができる。

また、撮像した画像ｇにおける画像劣化をボカシフィルタの適用限界に応じて復元処理することで、復元処理による画像の違和感を軽減することができる。
≪本実施形態に関する補足事項≫
本実施形態では、ベイズ理論に基づいた目的関数を最小にする方法で画像の復元処理を行ったが、本発明はこれに限定されない。例えば、画像ｇからエッジ成分を抽出して、そのエッジ成分を画像ｇに割合を変えながら付加してエッジ強調を行うことで復元処理する方法や、DemosaicingとSuper-Resolutionとから求まるコスト関数を最大または最小になるように画像ｇを復元処理する方法等、公知の他の手法による復元処理を用いることができる。

なお、本実施形態では、復元処理において画像ｆを求めるために最急降下法を用いたが、本発明はこれに限定されない。例えば、準ニュートン法や共役勾配法等の反復法を適宜選択して使用することができる。

なお、本実施形態では、非復元度をモデル関数の適用限界を示す閾値の値０．３％に等しくするようにして、最良の復元された画像ｆを取得するようにしたが、本発明はこれに限定されない。モデル関数の適用限界を示す閾値の値として０．３％以外の値にしてもよい。ただし、多くの画像について分析した結果では、１％程度なると過度の補正になる傾向にあることが判明した。したがって、１％より小さな値にするのが好ましい。ただし、人物の顔のみに注目して復元処理する場合には、１％程度にしてもよい結果を得ている。

また、非復元度が、モデル関数の適用限界を示す閾値の値〜０．３％になるまで行う。つまり、０．３％に等しくなるまで行ってもよいし、０．３％の近傍範囲内になるように復元処理を行ってもよい。例えば、非復元度が、０．３％±０．２％の範囲内であっても十分最良の復元された画像ｆを取得することができる。或いは、ステップＳ１３〜ステップＳ１９までの処理を所定の回数（例えば、１０回等）繰り返したら、たとえ非復元度が０．３％に等しくなくても終了するようにしてもよい。

なお、本実施形態では、非復元度を画像ｆの全体における負の画素値を有する画素の画素数を画像ｆの全画素数で割った比率としたが、本発明はこれに限定されない。例えば、画像ｆの全体における負の画素値を有する画素のうち、負の画素値の絶対値の最大値を非復元度としてもよい。なお、この場合には、モデル関数の適用限界を示す閾値は、画素値になる。

なお、本実施形態では、非復元度を算出するために、画像ｆの全体における負の画素値を有する画素の画素数を求めたが、本発明はこれに限定されない。例えば、画像ｆの一部の領域における負の画素値を有する画素の画素数を用いて求めてもよい。また、非復元度を負の画素値の絶対値の最大値と定義する場合には、画像ｆの一部の領域における負の画素値を有する画素のうち負の画素値の絶対値の最大値を用いてもよい。ここで、画像ｆの一部の領域は、ユーザが任意に決めてもよいし、画像ｇの撮像時におけるオートフォーカス領域や、図４に示すような従来技術である顔認識処理を用いて顔認識された画像ｇ上の領域７０等の撮像情報に基づいて決めてもよい。

なお、本実施形態では、パラメータβの値は、ユーザから与えられるとしたが、本発明はこれに限定されず、例えば、パラメータβの値があらかじめ記憶部２に記憶され、ＣＰＵ１がステップＳ１０で読み込んでもよい。

なお、本実施形態における、ステップＳ２０での式（２）のボカシフィルタのパラメータσの初期値および変更のし方は、任意値および手法を用いることができる。例えば、パラメータσの初期値として０等の値にして、０．１またはそれ以外の値の刻み幅で増加または減少させて変更してもよい。また、パラメータσの値を変更する他の方法として、十分大きな値と十分小さな値とを与えてパラメータσの値の区間をあらかじめ決め、その区間での中間点を求める操作を繰り返すことによってパラメータσの値を検索する二分法等の公知の反復法で行ってもよい。この方法を用いれば、パラメータσの値を０．１刻み幅で少しずつ増加または減少させるよりも高速に処理することが可能となる。なお、多くの画像について分析した結果、パラメータσの値は、１０より小さい１ケタくらいの値である。したがって、例えば、十分大きな値を２０、十分小さな値を０等の区間でパラメータσの値を検索するのが好ましい。

なお、本実施形態では、ステップＳ１８において、更新された画像ｆを用いて求められる目的関数Ｊ_Bの勾配ベクトル成分の最大値が１より小さいか否かで判定したが、本発明はこれに限定されない。例えば、復元処理のループの回数が所定の値より大きいか否かで判定してもよいし、目的関数Ｊ_Bの勾配ベクトル成分の最大値およびループの回数との両方を用いて判定してもよい。

なお、本実施形態では、ボカシフィルタが中心対称の場合を考え、ボカシフィルタ行列Ｈとその転置行列Ｈ^Tとは等しいとしたが、本発明はこれに限定されない。ボカシフィルタが中心対称でない場合には、ボカシフィルタ行列Ｈとその転置行列Ｈ^Tとは互いに別々のボカシフィルタ行列として扱うことができる。

なお、本実施形態では、復元処理が施される画像ｇとして、電子カメラ等の撮像装置によって撮像された画像としたが、本発明はこれに限定されない。例えば、平滑化処理によって取得された画像でもよい。また、低解像度画像を１より大きな拡大率で拡大した結果、少なくともその拡大によって生じたボケと撮像素子等のノイズとを有することとなった画像でもよい。

なお、本実施形態では、復元処理におけるボカシフィルタとして式（２）のガウス型関数を拡張したフィルタを用いたが、本発明はこれに限定されない。例えば、井戸型フィルタ等を適宜選択して行ってもよい。または、実際の撮像装置における光学系のポイントスプレット関数の影響をボカシフィルタとして評価したものを用いてもよい。

なお、本発明は、低解像度画像の高精細化処理に対しても適用可能である。例えば、電子ビデオカメラ等で撮像される動画ファイルは、撮像素子の画素値の一部を間引いて高速に読み出しすることで作成される。したがって、動画の１コマの画像は、一般的に静止画像と比較して低解像度であり、その画像を引き伸ばして印刷してもぼやけたものになる。そこで、引き伸ばす際に、本発明による画像の復元処理を行えば、鮮明な画像で印刷が可能となる。また、防犯カメラ等で撮影された画像の高精細化に用いることも可能である。なお、この場合には、少なくとも画像を拡大することで生じるボケと撮像素子等によるノイズとを考慮して行う必要がある。

なお、本発明に係る画像復元方法における各工程を実現するためのプログラムを備え、撮像した画像を復元または低解像度画像を高精細化する画像復元装置に対しても適用可能である。

なお、本発明に係る画像復元方法における各工程を実現するためのプログラムを備え、撮像した画像を復元または低解像度画像を高精細化する画像復元装置としてコンピュータを機能させることに対しても適用可能である。

なお、本発明に係る画像復元方法における各工程を実現するためのコンピュータプログラムを記憶する記録媒体に対しても適用可能である。

なお、本発明は、その精神またはその主要な特徴から逸脱することなく他の様々な形で実施することができる。本発明は、特許請求の範囲によって示されるものであって、本発明は明細書本文には何ら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。

本発明の一の実施形態に係る画像復元方法をコンピュータ１０へ適用した場合の概念図本発明の一の実施形態に係る復元処理における手順を示すフローチャート画像ｇの外周に新たな画素を付加する手順を示す図画像ｇの一例を示す図

符号の説明

１ＣＰＵ、２記憶部、３入出力Ｉ／Ｆ、４バス、１０コンピュータ、２０出力装置、３０入力装置

Claims

読み込まれた画像における画像劣化をモデル化したモデル関数を用いて前記読み込まれた画像における画像劣化を復元する復元処理工程と、
前記復元処理工程によって復元された復元画像において前記モデル関数に設定されたパラメータの値での復元の処理により過剰に処理された度合いを示す非復元度を、前記復元画像の画素値に基づいて算出する非復元度算出工程と、
前記非復元度とあらかじめ決められた復元の限界を示す値との比較に基づいて、前記復元処理工程で前記モデル関数に設定されたパラメータの値の良否判定を行う判定工程と
を備えることを特徴とする画像復元方法。
読み込まれた画像における画像劣化をモデル化したモデル関数を用いて前記読み込まれた画像における画像劣化を復元する復元処理工程と、
前記復元処理工程によって復元された復元画像において前記モデル関数に設定されたパラメータの値での復元の処理により過剰に処理された度合いを示す非復元度を、前記復元画像の画素値に基づいて算出する非復元度算出工程と、
前記非復元度とあらかじめ決められた復元の限界を示す値との比較に基づいて、前記復元処理工程で前記モデル関数に設定されたパラメータの値の良否判定を行う判定工程とを備え、
前記非復元度は、前記復元画像のあらかじめ決められた領域内における負の画素値を有する画素の画素数または前記画素数の前記領域内の全画素数に対する比率である
ことを特徴とする画像復元方法。
読み込まれた画像における画像劣化をモデル化したモデル関数を用いて前記読み込まれた画像における画像劣化を復元する復元処理工程と、
前記復元処理工程によって復元された復元画像において前記モデル関数に設定されたパラメータの値での復元の処理により過剰に処理された度合いを示す非復元度を、前記復元画像の画素値に基づいて算出する非復元度算出工程と、
前記非復元度とあらかじめ決められた復元の限界を示す値との比較に基づいて、前記復元処理工程で前記モデル関数に設定されたパラメータの値の良否判定を行う判定工程とを備え、
前記非復元度は、前記復元画像のあらかじめ決められた領域内における負の画素値を有する画素のうち前記負の画素値の絶対値が最も大きい値である
ことを特徴とする画像復元方法。
読み込まれた画像における画像劣化を復元する復元処理工程と、
前記復元処理工程によって復元された復元画像において前記復元処理工程に設定されたパラメータの値での復元の処理により過剰に処理された度合いを示す非復元度を、前記復元画像の画素値に基づいて算出する非復元度算出工程と、
前記非復元度とあらかじめ決められた復元の限界を示す値との比較に基づいて、前記復元処理工程に設定されたパラメータの値の良否判定を行う判定工程と
を備えることを特徴とする画像復元方法。
請求項１ないし請求項３のいずれか１項に記載の画像復元方法において、
前記良否判定に基づいて前記パラメータの値を更新する更新工程をさらに備えることを特徴とする画像復元方法。
請求項１ないし請求項３、請求項５のいずれか１項に記載の画像復元方法において、
前記モデル関数は、少なくとも撮像レンズの焦点ズレによるボケまたは前記読み込まれた画像を拡大することで生じるボケをモデル化したものであることを特徴とする画像復元方法。
請求項１ないし請求項３、請求項５、請求項６のいずれか１項に記載の画像復元方法において、
前記復元処理工程は、前記モデル関数と前記パラメータの値とに基づいて決まる所定の関数の値を最大または最小にすることで前記読み込まれた画像における画像劣化を復元することを特徴とする画像復元方法。
請求項１または請求項４に記載の画像復元方法において、
前記非復元度は、前記復元画像のあらかじめ決められた領域内における負の画素値を有する画素の画素数または前記画素数の前記領域内の全画素数に対する比率であることを特徴とする画像復元方法。
請求項１または請求項４に記載の画像復元方法において、
前記非復元度は、前記復元画像のあらかじめ決められた領域内における負の画素値を有する画素のうち前記負の画素値の絶対値が最も大きい値であることを特徴とする画像復元方法。
請求項１ないし請求項９のいずれか１項に記載の画像復元方法において、
前記復元処理工程は、ベイズ統計を用いて前記読み込まれた画像における画像劣化を復元することを特徴とする画像復元方法。
請求項１ないし請求項１０のいずれか１項に記載の画像復元方法の各工程を、コンピュータに実行させることを特徴とするプログラム。
画像のデータを読み込む入力部と、
前記画像における画像劣化をモデル化したモデル関数を用いて前記画像における画像劣化を復元する復元処理部と、
前記復元処理部によって復元された復元画像において前記モデル関数に設定されたパラメータの値での復元の処理により過剰に処理された度合いを示す非復元度を、前記復元画像の画素値に基づいて算出する非復元度算出部と、
前記非復元度とあらかじめ決められた復元の限界を示す値との比較に基づいて、前記復元処理部で前記モデル関数に設定されたパラメータの値の良否判定を行う判定部と
を備えることを特徴とする画像復元装置。
画像のデータを読み込む入力部と、
前記画像における画像劣化を復元する復元処理部と、
前記復元処理部によって復元された復元画像において前記復元処理部に設定されたパラメータの値での復元の処理により過剰に処理された度合いを示す非復元度を、前記復元画像の画素値に基づいて算出する非復元度算出部と、
前記非復元度とあらかじめ決められた復元の限界を示す値との比較に基づいて、前記復元処理部に設定されたパラメータの値の良否判定を行う判定部と
を備えることを特徴とする画像復元装置。