JP2010015243A

JP2010015243A - 画像復元方法、プログラムおよび画像復元装置

Info

Publication number: JP2010015243A
Application number: JP2008172468A
Authority: JP
Inventors: Tsukasa Murata; 司村田
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2008-07-01
Filing date: 2008-07-01
Publication date: 2010-01-21

Abstract

【課題】本発明は、確率モデルを用いた劣化画像の復元を被写体の対象や撮像状況に応じて適応的に処理することができる技術を提供することを目的とする。
【解決手段】本発明は、読み込まれた画像のデータから画像の取得時における撮像状況を予測する予測工程と、予測された撮像状況に基づいて画像における画像劣化を軽減する復元処理のための設定値を取得する設定値取得工程と、設定値を用いて画像における画像劣化を復元処理する画像復元工程とを備える。
【選択図】図１

Description

本発明は、画像復元方法、プログラムおよび画像復元装置に関する。

従来、カメラ等の撮像装置で撮像した画像から、撮像レンズの焦点ズレによって生じたボケ等を除去し復元する手法として、画像からエッジ成分を抽出して、このエッジ成分を元の画像に割合を変えながら付加してエッジ強調を行うことで、鮮明にする手法が知られている。

一方、上記手法とは異なる画像を復元する方法の開発も盛んに行われている。例えば、非特許文献１では、Super-ResolutionおよびDemosaicingに基づいたモデルを、非特許文献２では、ベイズ理論に基づいたモデルを用いて決まる関数が、最小となるときであるとして復元処理を行う手法をそれぞれ開示している。
S. Farsiu, M. Elad, and P. Milanfar, IEEE Trans. 'Multi-Frame Demosaicing and Super-Resolution of Color Images', Image Processing, Vol.15, No.1, pp. 141-159, Jan. 2006 G. K. Chantas, N. P. Galatsanos, and A. C. Likas, 'Bayesian Restoration Using a New Nonstationary Edge-Preserving Image Prior', IEEE Trans. Image Process, Vol.15, No.10, pp.2987-2997, 2006

しかしながら、従来技術である画像のエッジ成分を元の画像に割合を変えながら付加して復元する手法は、強いエッジ強調をする場合にはノイズが目立ってしまう。

一方、非特許文献１や非特許文献２の画像復元方法では、実際のボカシフィルタの形やノイズの分布等が不明であり、モデルに依存した汎用的なものを用いることから、復元される画像の被写体や撮像状況によっては、ノイズを取りすぎた為に解像感が無くなったり、逆にノイズが強調されてしまう場合がある。

上記従来技術が有する問題に鑑み、本発明の目的は、確率モデルを用いた劣化画像の復元を被写体の対象や撮像状況に応じて適応的に処理することができる技術を提供することにある。

上記課題を解決するために、本発明の画像復元方法は、読み込まれた画像のデータから画像の取得時における撮像状況を予測する予測工程と、予測された撮像状況に基づいて画像における画像劣化を軽減する復元処理のための設定値を取得する設定値取得工程と、設定値を用いて画像における画像劣化を復元処理する画像復元工程とを備える。

また、この発明において、画像復元工程は、前記設定値と、それとは別に画像から決まる設定値に基づいて決まる所定の関数の値を最大または最小にすることで画像における画像劣化を復元処理する。

また、この発明において、予測工程は、画像の撮像状況を外部から入力された情報に基づいて予測する外部入力工程をさらに備える。

また、この発明において、画像劣化は、少なくとも撮像レンズの焦点ズレによるボケとノイズとである。

また、この発明において、画像劣化は、少なくとも画像を拡大することで生じるボケとノイズとである。

また、この発明において、画像復元工程は、ベイズ統計を用いて画像における画像劣化を復元処理する。

この発明のプログラムは、この発明の各工程を、コンピュータに実行させる。

この発明の画像復元装置は、画像のデータを読み込む入力部と、画像の取得時の撮像状況を予測する予測部と、予測された撮像状況に基づいて画像における画像劣化を軽減する復元処理のための設定値を取得する設定値取得部と、設定値を用いて画像における画像劣化を復元処理する画像復元部とを備える。

本発明によれば、確率モデルを用いた劣化画像の復元を被写体の対象や撮像状況に応じて適応的に処理することができる。

図１は、本発明の一の実施形態に係る画像復元方法をコンピュータ１０へ適用した場合の概念図である。

図１に示すコンピュータ１０は、ＣＰＵ１、記憶部２、入出力インタフェース（入出力Ｉ／Ｆ）３およびバス４から構成され、ＣＰＵ１、記憶部２および入出力Ｉ／Ｆ３は、バス４を介して情報伝達可能に接続される。また、コンピュータ１０には、入出力Ｉ／Ｆ３を介して、画像処理の途中経過や処理結果を表示する出力装置２０、ユーザからの入力を受け付ける入力装置３０がそれぞれ接続される。出力装置２０には、一般的な液晶モニタやプリンタ等を用いることができ、入力装置３０には、キーボードやマウス等をそれぞれ適宜選択して使用できる。

ＣＰＵ１は、入力装置３０で受け付けたユーザからの指示に基づいて、記憶部２に記憶されている画像復元プログラムを読み込み、記憶部２に記憶されている画像の復元処理を行う。ＣＰＵ１は、その画像の復元処理の結果を、出力装置２０に表示する。ＣＰＵ１には、一般的な中央演算装置を用いることができる。

記憶部２は、被写体が撮像された画像のデータだけでなく、その画像における画像劣化を被写体の対象や撮像状況に応じて復元処理するための画像復元プログラム等を記録する。また、記憶部２は、後述する復元処理において必要となるパラメータの値を、被写体の対象や撮像状況毎に対応付けて一覧にしたパラメータテーブルを記憶する。記憶部２に記憶される画像データ、プログラムおよびテーブル等は、バス４を介して、ＣＰＵ１から適宜参照することができる。記憶部２には、一般的なハードディスク装置、光磁気ディスク装置等の記憶装置を選択して用いることができる。なお、図１の記憶部２は、コンピュータ１０に組み込まれているが、外付けの記憶装置でもよい。この場合、記憶部２は、入出力Ｉ／Ｆ３を介してコンピュータ１０に接続される。

本実施形態における画像の復元処理の手法は、ベイズ理論に基づいた手法を用いる。以下に、ベイズ統計、確率モデル、最急降下法および目的関数について簡単に説明する。

復元処理対象の劣化画像をｇおよび復元処理後の画像をｆとすると、両画像は次の式（１）のように関係付けることができる。

式（１）のｎは、画像劣化原因の１つであるホワイトノイズである。ホワイトノイズは、画像によらず、シーンやカメラで決定される。なお、画像ｇ、画像ｆおよびホワイトノイズｎは、一次元ベクトルで表される。また、Ｈは、ボカシフィルタ行列を表す。本実施形態では、ボカシフィルタ行列Ｈを求めるために、次式（２）で表されるガウス型のフィルタを拡張した関数を用いる。なお、パラメータσは、フィルタ強度（ボケの復元強度）を示す。パラメータσは画像によって決定される。また、パラメータηの値は任意に決めることができる。本実施形態では、η＝０．５とする。

一方、ベイズ統計とは、例えば、ある２つの事象Ａ、Ｂがあるときに、事象Ａが生じたときに事象Ｂが生ずる確率（Ｐ（Ｂ｜Ａ））が、事象Ｂが生じたときに事象Ａが生ずる確率（Ｐ（Ａ｜Ｂ））を用いて次式（３）のように表される関係をいう。なお、Ｐ（Ａ）は、Ａが生ずる確率であり、Ｐ（Ｂ）は、Ｂが生ずる確率である。

式（３）により、本実施形態における画像ｇから画像ｆを求めるということを、画像ｆがあるとき、画像ｇになる確率を用いて表すことができる。そのような確率を、ベイズ統計および非特許文献２のモデルに基づいて表すと次式（４）のようになる。

式（４）のβは、ホワイトノイズｎの分布をガウス分布としたときの分散の逆数である。ａは画像ｆのエッジ成分の分散を与える行列で、画像の縦、横、斜め４５度および斜め１３５度方向の成分から成る。統計パラメータｍおよびｌは、行列ａの対角成分の平均と分散を表すパラメータで、本手法では、撮影画像を用いて見積もることにする。この式（４）は確率モデルと呼ばれる。確率モデルの式（４）が最大となるときの画像ｆが、当該モデルにおける求める画像ｆである。ただし、本実施形態では、式（４）の最大となる画像ｆを求める代わりに、目的関数Ｊ_B（ｇ，ｆ；β，ｍ，ｌ）＝−ｌｎＰ（ｇ，ｆ；β，ｍ，ｌ）の値が最小となる画像ｆを求める。本実施形態における目的関数Ｊ_Bを、非特許文献２のモデルを基に具体的に表すと次式（５）のようになる。

式（５）のＮは、画像の画素数を表し、統計パラメータｍおよびｌの添え字ｋは、画像の縦（ｋ＝１）、横（ｋ＝２）、斜め４５度（ｋ＝３）および斜め１３５度（ｋ＝４）の各方向における成分である事を表す。Ｑ^kは、各方向の画像のエッジ成分を求める２次元行列の演算子を表す。

本実施形態では、最急降下法を用いて目的関数Ｊ_Bを最小にする画像ｆを求める。最急降下法では、最適解のある検索方向を目的関数Ｊ_Bの勾配の方向として、その勾配をパラメータμで調節しながら最適解を見つけ出す手法である。最急降下法を式で表すと式（６）のようになる。

目的関数Ｊ_Bが最小になるときの画像ｆが求めるべきものである。目的関数Ｊ_Bの勾配は、式（４）よりベクトル形式で表すと次式（７）のようになる。

ｖ^k _iは次式（８）のように表される。

なお、式（７）および（８）の中の連続するギリシャ文字の添え字αおよびγは１〜Ｎで和を取ることを示す。

次に、本実施形態に係る画像復元方法の処理の手順について、図２のフローチャートを参照しながら説明する。

ユーザが、入力装置３０を用いて、画像復元プログラムのコマンドを入力、または、そのプログラムのアイコンをダブルクリックすることにより、プログラムの起動命令を出す。ＣＰＵ１は、その命令を入出力Ｉ／Ｆ３を通じて受け付け、記憶部２に記憶されている画像復元プログラムを実行する。その結果、図２のステップＳ１０からの処理が行われる。なお、本実施形態では、記憶部２にあらかじめ復元処理の対象となる、電子カメラ等で被写体を撮像した画像が記憶されているものとする。また、記憶部２に記憶されているパラメータテーブルは、復元処理で用いられ撮像状況毎に、式（２）のホワイトノイズの分布のパラメータテーブルβの値の一覧を有するものとする。ＣＰＵ１は、そのパラメータテーブルをプログラムの起動時に読み込み、メモリ（不図示）に一時的に記憶する。

ステップＳ１０：ＣＰＵ１は、ユーザの指示に基づいて、復元処理によって、少なくとも電子カメラ等の撮像レンズの焦点ズレによるボケや、撮像素子において生じたノイズ等による画像劣化を軽減したい画像（以下、画像ｇ）を、記憶部２より読み込む。

ステップＳ１１：ＣＰＵ１は、ステップＳ１０で読み込んだ画像ｇの被写体や撮像状況について調べる。例えば、画像ｇが図３に示すような画像の場合、ＣＰＵ１は、一般的な公知の顔認識処理を行うことにより、画像ｇに領域４０のような人物が写っている領域があるか否かを判定する。さらに、ＣＰＵ１は、人物が写っていると判定した場合、画像ｇ全体に対する人物の占める領域４０の大きさの割合が、所定の値（例えば、２５％等）以上であるか否かを判定する。その割合が所定の値以上であるならば、ＣＰＵ１は、画像ｇが人物を撮影するポートレートモードで撮像されたものとして判定する。所定の値より小さい場合には、ＣＰＵ１は、画像ｇがそれ以外の撮影モードで撮像されたものであると判定する。なお、ＣＰＵ１は、この顔認識処理結果だけに限らず、撮像した被写体までの距離、画像ｇにおける赤色成分が画像ｇ全体に対して占める割合、または、オートフォーカス（ＡＦ）領域の大きさ等の情報を用いて、被写体の対象（人物や風景等）や撮像状況（ポートレートモード、スポーツモード、風景モードまたは夜景モード等）を判定してもよい。さらに、画像のファイルに、撮影モード等の情報が付加されている場合には、ＣＰＵ１はその情報に基づいて判定してもよい。

ステップＳ１２：ＣＰＵ１は、ステップＳ１１での被写体の対象および撮像状況の結果に基づいて、パラメータテーブルからパラメータβの値を決める。

ここで、パラメータσおよびβの値について簡単に説明する。撮像した画像ｇが風景の場合には、例えば、樹木の枝葉を強調するように、少しノイズ成分が残るような処理を行い立体的な質感を出した方が、多くの人にとって良い画像になることが経験的に知られている。そのような処理を行うには、パラメータβの値を１０〜１５くらいの大きめの値にする。また、撮像した画像ｇが人物の場合には、ノイズ成分を強めに除去するようにして肌の凹凸感を抑えなめらかな質感を出した方が、良い画像になることが知られている。そのような処理を行うには、パラメータβの値を５くらいの小さめの値にする。一方、パラメータσの値は、画像ｇがどれだけボケているか、または画像ｇをどれだけ拡大させるかに応じて決まる。多くの画像について分析したところ、パラメータσの値は、１０より小さい１ケタくらいの値であることが分かった。本実施形態では、パラメータσとして３〜４の値を用いる。したがって、パラメータテーブルとは、このようなパラメータβの値を被写体の対象や撮像状況に応じて一覧にしたものである。

ステップＳ１３：ＣＰＵ１は、図４に示すように、画像ｇの画素の外周に新たに画素（点線）を付加する。新たに付加した画素、例えば、画素６０と画素６１とには、隣接する画像の画素５０と同じ画素値が入る。そして、画像ｇのデータを２次元配列の行列から１次元配列のベクトル型の画像ｇに変換する。

ここで、画像ｇの画素の周りに新たに画素を付加する理由は、ボカシフィルタが中心対称の場合、式（１）におけるボカシフィルタ行列Ｈとその転置行列Ｈ^Tとはほぼ等しいとして扱え、以下にて説明する演算を容易にする。即ち、ボカシフィルタが中心対称の場合でも、原則的にボカシフィルタ行列Ｈとその転置行列Ｈ^Tとは等しくない。その原因は、ボカシフィルタが中心対称の場合には、図４に示すように、例えば、画像ｇの画素の外周上にある画素５０の周りには隣接する画素が存在しない部分があり、それゆえ画像ｇの画素の外周上にある画素１０と他の領域にある画素とで扱い方が異なるからであり、中心対称でない場合には、ＨとＨ^T端処理の影響による差だけではない。そこで、図４に示すように、画像ｇの画素の外周上にある画素５０と同じ画素値を有する画素６０と画素６１とを付加させることで、画像ｇの画素の外周上にある画素５０と他の領域にある画素に対する扱い方の違いをなくす。これにより、ボカシフィルタが中心対称の場合に、ボカシフィルタ行列Ｈとその転置行列Ｈ^Tとが等しいとして扱っても、画像の周囲から生じた解析誤差が、内部の処理結果にはあまり影響しない。なお、新たに付加する画素の幅は任意に決めることができ、図４においては２画素分の幅を加えているが、状況に応じて適宜変更が可能であり、本実施形態ではフィルタ半径より大きい画素数の幅分を付加させる。

ステップＳ１４：ＣＰＵ１は、Ｊ_Bを計算するのに必要となる統計パラメータｍおよびｌそしてボケのσを、ｆ＝ｇとして求める。本来であればｍとｌは画像ｆからそれらの値を算出した方が良い復元結果になる。しかしながら、画像ｆは現ステップにおいてはまだ不明であり、画像ｇから求める値と最終的に得られた画像ｆから求める値とでは処理結果に大きな違いが経験的に無いことから、ｆ＝ｇとして計算する。

ステップＳ１５：ＣＰＵ１は、ステップＳ１２およびステップＳ１４にて得られたパラメータの値を用いて式（７）および式（８）を計算して、目的関数Ｊ_Bの勾配ベクトルを求める。

ステップＳ１６：ＣＰＵ１は、ステップＳ１５にて求めた目的関数Ｊ_Bの勾配ベクトルと式（６）とを用いて、画像ｆを新たに算出された画像ｆ’に更新する（ｆ＝ｆ’）。なお、本実施形態では、勾配を調節するパラメータμはホワイトノイズｎの分散β^-1に等しいとする。

ステップＳ１７：ＣＰＵ１は、ステップＳ１６において更新した画像ｆを用いて、新たな目的関数Ｊ_Bの勾配ベクトルを求める。

ステップＳ１８：ＣＰＵ１は、ステップＳ１７で求めた目的関数Ｊ_Bの勾配ベクトルの成分のうち、最大値となる成分が１より小さいか否かを判定する。１より小さい場合には、ＣＰＵ１は、最急降下法による復元処理は収束したとして、ステップＳ１９（ＹＥＳ側）へ移行する。一方、１以上の場合には、ＣＰＵ１は、復元処理はまだ収束していないとして、ステップＳ１６（ＮＯ側）に戻り、目的関数Ｊ_Bの勾配ベクトル成分の最大値が１より小さくなるまでステップＳ１６からステップＳ１８の処理を行い、画像ｆを求める。

ステップＳ１９：ＣＰＵ１は、得られた画像ｆを１次元配列のベクトルから２次元配列の画像ｆに変換する。ＣＰＵ１は、ステップＳ１３において付加した画素を画像ｆから取り除き、記憶部２に記録して復元処理を終了する。

このように本実施形態は、撮像した画像ｇにおける画像劣化を被写体の対象や撮像状況に応じて復元処理することによって、所望の質感を有する画像を取得することができる。

また、撮像した画像ｇにおける画像劣化を被写体の対象や撮像状況に応じて復元処理することによって、復元処理による画像の違和感を軽減することができる。
≪本実施形態に関する補足事項≫
本実施形態では、ベイズ理論に基づいた目的関数を最小にする方法で画像の復元処理を行ったが、本発明はこれに限定されない。例えば、特許文献１のDemosaicingとSuper-Resolutionとから求まるコスト関数を最小にするなど、公知の他の手法による復元処理を用いて行ってもよい。

なお、本実施形態では、復元処理において画像ｆを求めるために最急降下法を用いたが、本発明はこれに限定されない。例えば、準ニュートン法や共役勾配法等を適宜選択して使用することができる。

なお、本実施形態では、ＣＰＵ１が、顔認識処理等に基づいて画像ｇの被写体の対象や撮像状況を判定するとしたが、本発明はこれに限定されない。例えば、ＣＰＵ１が、画像ｇのファイルに付加された撮影モード等の情報に基づいて、被写体の対象や撮像状況を決めてもよい。または、ユーザが、直接被写体の対象や撮像状況を入力装置３０で直接与えてもよい。

なお、本実施形態では、式（４）のノイズ除去のパラメータβの値は、あらかじめ撮像状況毎に決められ、パラメータテーブルに一覧として挙げられているとしたが、本発明はこれに限定されず、ユーザが入力装置３０を介して直接与えてもよい。これにより、例えば、人物をアップして撮像された画像においては、なめらかな質感よりもノイズ成分を残して立体的な質感を出した方が良い場合には、ユーザが大きなパラメータβの値を入力して対応することが可能となる。

なお、本実施形態では、ステップＳ１８において、更新された画像ｆを用いて求められる目的関数Ｊ_Bの勾配ベクトル成分の最大値が１より小さいか否かで判定したが、本発明はこれに限定されない。例えば、復元処理のループの回数が所定の値より大きいか否かで判定してもよいし、目的関数Ｊ_Bの勾配ベクトル成分の最大値およびループの回数との両方を用いて判定してもよい。

なお、本実施形態では、ボカシフィルタが中心対称の場合を考え、ボカシフィルタ行列Ｈとその転置行列Ｈ^Tとは等しいとしたが、本発明はこれに限定されない。ボカシフィルタが中心対称でない場合には、ボカシフィルタ行列Ｈとその転置行列Ｈ^Tとは互いに別々のボカシフィルタ行列として扱うことができる。

なお、本実施形態では、復元処理が施される画像ｇとして、電子カメラ等の撮像装置によって撮像された画像としたが、本発明はこれに限定されない。例えば、平滑化処理によって取得された画像でもよい。また、低解像度画像を１より大きな拡大率で拡大した結果、少なくともその拡大によって生じたボケと撮像素子等のノイズとを有することとなった画像でもよい。

なお、本実施形態では、復元処理におけるボカシフィルタとして式（２）のガウス型フィルタを拡張したものを用いたが、本発明はこれに限定されない。例えば、井戸型フィルタ等を適宜選択して行ってもよい。または、実際の撮像装置における光学系のポイントスプレット関数の影響をボカシフィルタとして評価したものを用いることも好適である。

なお、本発明は、低解像度画像の高精細化処理に対しても適用可能である。例えば、電子ビデオカメラ等で撮像される動画ファイルは、撮像素子の画素値の一部を間引いて高速に読み出しすることで作成される。したがって、動画の１コマの画像は、一般的に静止画像と比較して低解像度であり、その画像を引き伸ばして印刷してもぼやけたものになる。そこで、引き伸ばす際に、本発明による画像の復元処理を行えば、鮮明な画像で印刷が可能となる。また、防犯カメラ等で撮影された画像の高精細化に用いることも可能である。なお、この場合には、少なくとも画像を拡大することで生じるボケと撮像素子等によるノイズとを考慮して行う必要がある。

なお、本発明に係る画像復元方法における各工程を実現するためのプログラムを備え、撮像した画像を復元または低解像度画像を高精細化する画像復元装置に対しても適用可能である。

なお、本発明に係る画像復元方法における各工程を実現するためのプログラムを備え、撮像した画像を復元または低解像度画像を高精細化する画像復元装置としてコンピュータを機能させることに対しても適用可能である。

なお、本発明に係る画像復元方法における各工程を実現するためのコンピュータプログラムを記憶する記録媒体に対しても適用可能である。

なお、本発明は、その精神またはその主要な特徴から逸脱することなく他の様々な形で実施することができる。本発明は、特許請求の範囲によって示されるものであって、本発明は明細書本文には何ら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。

本発明の一の実施形態に係る画像復元方法をコンピュータ１０へ適用した場合の概念図本発明の一の実施形態に係る復元処理における手順を示すフローチャート画像ｇの一例を示す図画像ｇの外周に新たな画素を付加する手順を示す図

符号の説明

１ＣＰＵ、２記憶部、３入出力Ｉ／Ｆ、４バス、１０コンピュータ、２０出力装置、３０入力装置

Claims

読み込まれた画像のデータから前記画像の取得時における撮像状況を予測する予測工程と、
予測された前記撮像状況に基づいて前記画像における画像劣化を軽減する復元処理のための設定値を取得する設定値取得工程と、
前記設定値を用いて前記画像における画像劣化を復元処理する画像復元工程と
を備えることを特徴とする画像復元方法。
請求項１に記載の画像復元方法において、
前記画像復元工程は、前記設定値と、前記画像から予測される第２の設定値に基づいて決まる所定の関数の値を最大または最小にすることで前記画像における画像劣化を復元処理することを特徴とする画像復元方法。
請求項１または請求項２に記載の画像復元方法において、
前記予測工程は、前記画像の前記撮像状況を外部から入力された情報に基づいて予測する外部入力工程をさらに備えることを特徴とする画像復元方法。
請求項１ないし請求項３のいずれか１項に記載の画像復元方法において、
前記画像劣化は、少なくとも撮像レンズの焦点ズレによるボケとノイズとであることを特徴とする画像復元方法。
請求項１ないし請求項３のいずれか１項に記載の画像復元方法において、
前記画像劣化は、少なくとも前記画像を拡大することで生じるボケとノイズとであることを特徴とする画像復元方法。
請求項１ないし請求項５のいずれか１項に記載の画像復元方法において、
前記画像復元工程は、ベイズ統計を用いて前記画像における画像劣化を復元処理することを特徴とする画像復元方法。
請求項１ないし請求項６のいずれか１項に記載の画像復元方法の各工程を、コンピュータに実行させることを特徴とするプログラム。
画像のデータを読み込む入力部と、
前記画像の取得時の撮像状況を予測する予測部と、
予測された前記撮像状況に基づいて前記画像における画像劣化を軽減する復元処理のための設定値を取得する設定値取得部と、
前記設定値を用いて前記画像における画像劣化を復元処理する画像復元部と
を備えることを特徴とする画像復元装置。