JP2009244944A - 画像回復装置および撮影装置 - Google Patents

Abstract

【課題】特定の被写体を、きれいに画像回復することができる画像回復装置と、その画像回復装置を有する撮影装置とを提供すること。
【解決手段】画像から特定被写体１８を認識する被写体認識部１５と、被写体認識部１５で認識された特定被写体１８の少なくとも一部を含む前記画像内の領域で、点像分布関数を求める演算部１４と、演算部１４で求められたデータに基づき、画像を回復処理する回復処理部２とを有する画像回復装置。
【選択図】図１

Description

本発明は、画像回復装置および撮影装置に関する。

撮影画像から点像分布関数（ＰＳＦ）を算出して、画像回復を行う技術が提案されている（特許文献１参照）。従来の画像回復技術では、一枚の撮影画像に対して一つのＰＳＦデータが存在することを前提にして、画像回復を行っている。

しかしながら、実際には、一枚の撮影画像に対して、複数のＰＳＦデータが存在する場合もある。たとえば被写体ブレが生じた撮影画像であれば、背景と被写体とでは、ＰＳＦが異なっており、複数の被写体がそれぞれ別の動きをしている場合には、各被写体のＰＳＦは異なる。

このような場合に、従来の画像回復装置では、一枚の撮影画像に対して一つのＰＳＦデータが存在することを前提にして、画像回復を行っていたために、必ずしも目的とする被写体をきれいに画像回復することができるとは限らなかった。
特開平１１−１３４４８１号公報

本発明は、このような実状に鑑みてなされ、その目的は、特定の被写体を、きれいに画像回復することができる画像回復装置と、その画像回復装置を有する撮影装置とを提供することである。

上記目的を達成するために、本発明に係る画像回復装置は、
画像から特定被写体（１８，２０，２０ａ）を認識する被写体認識部（１５）と、
前記被写体認識部（１５）で認識された前記特定被写体（１８，２０，２０ａ）の少なくとも一部を含む前記画像内の領域で、点像分布関数を求める演算部（1４）と、
前記演算部（１４）で求められたデータに基づき、前記画像を回復処理する回復処理部（２，Ｓ７）とを有する。

本発明に係る画像回復装置によれば、被写体認識部（１５）で求められた特定被写体（１８，２０，２０ａ）の少なくとも一部を含む領域で、ＰＳＦを求め、そのデータに基づき、画像を回復処理する。そのため、特定の被写体を、きれいに画像回復することができる。

画像回復装置は、前記被写体認識部（１５）で認識された複数の前記特定被写体（２０ａ〜２０ｄ）の内の少なくとも一つを選択する選択部（２，Ｓ５）をさらに有してもよい。その際に、前記選択部（２，Ｓ５）では、複数の前記特定被写体（２０ａ〜２０ｄ）の内の前記画像内で面積が一番大きい特定被写体（２０ａ）が選択されてもよい。一番大きい特定被写体（２０ａ）が、目的とする特定被写体であると推定できるからである。

また、前記選択部（２，Ｓ５）では、外部からの入力信号に基づき、複数の前記特定被写体（２０ａ〜２０ｄ）の内の少なくとも一つが選択されてもよい。その場合には、操作者が特定の被写体を選択することができる。

前記演算部（１４）では、前記選択部（２，Ｓ５）で選択された一つの特定被写体（１８，２０，２０ａ）の少なくとも一部を含む前記画像内の領域で、点像分布関数を求め、
前記回復処理部（２，Ｓ７）では、求められた点像分布関数を用いて、前記画像を回復処理してもよい。

前記演算部（1４）では、前記被写体認識部（１５）で求められた複数の特定被写体（１８，２０，２０ａ）のそれぞれの少なくとも一部を含む領域で、点像分布関数をそれぞれ求め、
前記回復処理部（２，Ｓ７）では、求められた複数の点像分布関数の平均値を用いて、前記画像を回復処理してもよい。その場合には、複数の特定被写体（２０ａ〜２０ｄ）が平均的に高品質で画像回復される。

前記被写体認識部（１５）では、前記特定被写体として、人間の顔あるいは顔の一部が認識されてもよい。

本発明に係る撮影装置は、被写体の画像を取得する撮像部（３）と、上記のいずれかに記載の画像回復装置とを有する。

なお、上述の説明では、本発明をわかりやすく説明するために、実施形態を示す図面の符号に対応つけて説明したが、本発明は、これに限定されるものでない。後述の実施形態の構成を適宜改良してもよく、また、少なくとも一部を他の構成物に代替させてもよい。更に、その配置について特に限定のない構成要件は、実施形態で開示した配置に限らず、その機能を達成できる位置に配置することができる。

以下、本発明を、図面に示す実施形態に基づき説明する。
図１は本発明の一実施形態に係る画像回復装置を有するカメラの全体構成図、
図２は画像回復装置の制御の一例を示すフローチャート図、
図３は図２に示す顔認識工程の詳細なフローチャート図、
図４は顔認識のためのテンプレートの一例を示す概略図、
図５（Ａ）は単一の被写体の撮影画像の例を示す図、図５（Ｂ）は複数の被写体の撮影画像の例を示す図、
図６はＰＳＦの概念を示す概略図、
図７は図２に示すＰＳＦ演算処理の詳細を示すフローチャート図、
図８はＰＳＦ演算処理におけるブロック分割の概略図、
図９は図８の続きの工程を示す概略図、
図１０は図９の続きの工程を示す概略図、
図１１は図１０の続きの工程を示す概略図である。

図１に示すように、本発明の一実施形態に係る一眼レフカメラ１は、カメラボディ１ａと、レンズ鏡筒１ｂとから構成してあり、カメラボディ１ａに内蔵してある制御部としてのＣＰＵ２を有する。ＣＰＵ２には、信号処理回路１２を介して撮像素子３が接続してある。信号処理回路１２は、ノイズ処理やＡ／Ｄ変換等を行う。

撮像素子３は、レンズ鏡筒１ｂの内部に装着してあるズームレンズ群４、フォーカスレンズ群５および振れ補正レンズ群６を通して入射してくる被写体１８の画像を撮像して取得するようになっている。すなわち、撮像素子３は、光電変換素子であり、撮像素子駆動回路からの入力信号を受けて，信号処理回路１２に画像データを出力する。

ズームレンズ群４は、レンズ鏡筒１ｂの内部に装着してあるズーム群駆動機構７により光軸Ａｘ方向に移動可能に装着してある。フォーカスレンズ群５は、レンズ鏡筒１ｂの内部に装着してあるフォーカス群駆動機構８により光軸Ａｘ方向に移動可能に装着してある。

また、振れ補正レンズ群６は、レンズ鏡筒１ｂの内部に装着してある振れ補正群駆動機構９により光軸Ａｘに対して垂直な平面方向に移動可能に装着してある。振れ補正レンズ群６が、手振れの動作に対応して、光軸Ａｘに対して垂直な平面方向に移動することで、手振れ補正効果を奏するようになっている。

これらの駆動機構７〜９は、ＣＰＵ２により制御される。ＣＰＵ２には、ジャイロセンサ１６が接続してある。ジャイロセンサ１６は、カメラ１の角速度を検出することにより、カメラ１の振れを検出するセンサである。

また、ＣＰＵ２には、顔認識演算部１５が接続してある。なお、図１に示す実施形態では、ＣＰＵ２とは別に、顔認識演算部１５およびＰＳＦ演算部１４が表示してあるが、実際には、ＣＰＵ２自体が、これらの演算を処理しても良い。ＰＳＦ演算部１４の機能については後述する。

また、ＣＰＵ２には、撮像素子３の前面に配置してあるシャッタ１０の駆動機構が接続してある。ＣＰＵ２はシャッタ１０を開閉制御する。さらにＣＰＵ２には、表示装置１１が接続してある。ＣＰＵ２は撮像素子３にて取得された被写体１８の画像を表示装置１１の画面に表示させることができる。また、表示装置１１には、メニューなどを表示することもできる。

ＣＰＵ２には、記録媒体１３が接続してあるのでＣＰＵ２は記録媒体１３に保存してある画像データなどを、表示装置１１に表示させることも可能である。記録媒体１３としては、特に限定されないが、ＳＤカード、ＣＦカードなどが例示される。ＣＰＵ２による制御のスタートは、カメラボディ１ａに装着してある電源スイッチやレリーフスイッチなどの操作部材１７を操作することで行うことができる。

ＣＰＵ２は、カメラにおける撮影画像取得などの通常制御を行うと共に、図２に示すように、画像回復制御も行う。図２に示す画像回復制御では、ステップＳ１にて、画像回復処理が開始されると、ステップＳ２にて、選択された画像に対して顔認識処理（詳細は後述）を行う。次に、ステップＳ３では、認識された顔の数を判断し、もし顔が検出できなければ、ステップＳ９にて画像回復処理制御が終了する。

ステップＳ３にて１つ以上の顔が検出されれば、ステップＳ４では、認識された顔が１つか、または、それ以上かを判定し、認識された顔が二つ以上の場合には、ステップＳ５にて、後述するＰＳＦ演算領域を選択し、ステップＳ６にて、ＰＳＦ演算を行う。ステップＳ４には、認識された顔が１つであると判定された場合には、ステップＳ５を飛ばしてステップＳ６へ行きＰＳＦ（Point Spread Function）演算を行う。ＰＳＦ演算の詳細に関しては後述する。

次に、ステップＳ７では、ステップＳ６にて算出されたＰＳＦを用いて、画像回復処理（後述）を行い、ステップＳ８にて、回復画像を記録媒体１３に書き込み、ステップＳ９にて処理を終了する。

本実施形態では、図２に示すステップＳ２における顔の認識動作は、図３に示すフローチャートに基づき行われる。すなわち、ステップＳ２がスタートすると、ステップＳ２１にて、図１に示すＣＰＵ２は、被写体画像を読み込む。被写体画像の読み込みは、図１に示す撮像素子３から読み込んでも良いし、記録媒体１３に記憶してある被写体画像を読み込んでも良い。

次に、図３に示すステップＳ２２およびステップＳ２３では、テンプレートマッチング処理を行うと共に顔の検出判定を行う。ステップＳ２２およびＳ２３では、たとえば図１に示す顔認識演算部１５に予め記憶してある図４に示す正面テンプレートと同様な画像が、読み込まれた被写体画像中に含まれるか否かをＣＰＵ２が判断する。

図４は、人の顔を正面から見た図であり、図４中の点線部をテンプレートとする。人が正面を向いていることを前提としているテンプレートの場合、点線部に示すようなテンプレートとなる。すなわち、目、鼻、口、耳といった物理的な形状の特徴のある部位がテンプレートとなる。

テンプレートと合う形状が得られれば顔と認識できる。テンプレートマッチングが得られれば、顔の数や位置、大きさなどの情報がわかる。なお、テンプレートは、図１に示す顔認識演算部１５に記憶してあっても良いし、記録媒体１３に記憶してあっても良い。

ステップＳ２３にて、正面から見た人の顔を認識することができたら、次にステップＳ２４へ行き、顔の数、位置および大きさを特定し、それらの情報を、顔認識演算部１５にて演算して記憶し、顔認識処理の工程は終了する（ステップＳ２５）。

ステップＳ２４にて求められた顔の数、位置および大きさなどの情報に基づき、図１に示すＣＰＵ２は、図２に示すステップＳ３以降の処理を行う。ステップＳ３およびステップＳ４では、前述したように、認識された顔の数が一つか、それ以上であるかを判断する。認識された顔の数が一つである場合とは、たとえば図５（Ａ）に示す場合であり、そのような場合には、図２に示すステップＳ６へ行き、図５（Ａ）に示す認識された顔を含む領域２０の一部または全部について、図２に示すＰＳＦ演算を行う。

また、認識された顔の数が複数である場合とは、たとえば図５（Ｂ）に示す場合である。そのような場合には、図２に示すステップＳ５に行き、図５（Ｂ）に示す認識された顔をそれぞれ含む領域２０ａ〜２０ｄのうちで、たとえば一番面積が大きな領域２０ａをＣＰＵ２が判断する。その後に、図２に示すステップＳ６へ行き、図５（Ｂ）に示す認識された顔を含む領域２０ａの一部または全部について、図２に示すステップＳ５におけるＰＳＦ演算を行う。

次に、図２に示すステップＳ５におけるＰＳＦ演算の詳細について説明する。まず、ＰＳＦの概略について説明する。

ブレやぼけを含む劣化画像を復元する公知の方法として、ブレやぼけを点像の広がり関数（ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）として推定し、劣化画像を復元する手法が一般的に知られている。（ｘ、ｙ）を画像上の座標とし、ブレ、ぼけを含む劣化画像をｇ（ｘ、ｙ）、ブレ、ぼけのない理想画像をｈ（ｘ、ｙ）、ブレやぼけによって広がった点像の情報（ＰＳＦ）をｐ（ｘ、ｙ）とすると、この３つの式は、次の関係式１を満たす。

ここで、＊は、コンボリューション（畳み込み積分）演算を表すものである。図６は、この関係式１を、模式的に表した図である。ここで、関係式１をフーリエ変換して、空間周波数（ｕ，ｖ）領域２にすると、式１は、以下の式２になる。

ここで、劣化画像ｇ（ｘ，ｙ）に加えて、何らかの方法によりＰＳＦ関数ｐ（ｘ，ｙ）を知ることができれば、それぞれのスペクトルを算出し、式２を変形した以下の式３により、理想画像のスペクトルＨ（ｕ，ｖ）を算出することができる。

そして、Ｈ（ｕ，ｖ）を逆フーリエ変換すれば、理想画像ｈ（ｘ、ｙ）を算出することができる。すなわち、撮像された画像から、何らかの方法によりＰＳＦ関数ｐ（ｘ，ｙ）を求めることができれば、理想画像への画像回復が可能となる。

ＰＳＦの算出方法として公知なものとしては、劣化画像のフーリエ変換の振幅スペクトルがゼロになる周期と方向を検出してブレの大きさと方向を検出する方法（特開２００６−２２１３４７）や、動きベクトルを利用して算出する方法（特開２００７−６０４５）などが挙げられる。ここでは、画像の自己相関に基づきＰＳＦを算出する方法について説明する。図７は、図１に示すＰＳＦ演算部１４（ＣＰＵ２）が行うＰＳＦ算出のフローを示す。

図７に示すように、ステップＳ５におけるＰＳＦ演算では、まず、ステップＳ５１にて、図２に示すステップＳ５にて選択されたＰＳＦ演算領域を、図１に示すＣＰＵ２が読み込み、その画像を内部メモリに取り込む。演算領域は、図５（Ａ）に示すように顔が一つの場合には、領域２０であり、図５（Ｂ）に示すように顔が複数の場合には、選択された領域２０ａである。

次に、図７に示すステップＳ５２では、ＣＰＵ２は、選択された領域について、カラーのＲＧＢ信号の内のＧ成分を抽出する。Ｇ成分のデータが、Ｒ成分、Ｂ成分のデータよりも多く、ＰＳＦ算出には、色成分は不要であるため、画像のＲＧＢ成分中のＧ成分を抽出する。

次に、図７に示すステップＳ５３では、演算量を小さくするため、ダウンサンプリングして画像サイズを小さくする。この画像を、図８に示す画像ｇとする。

次に、図７に示すステップＳ５４では、図８に示すように、画像ｇを、たとえば７×７の領域にブロック分割する。なお、分割するブロックの数は特に限定されない。

次に、図７に示すステップＳ５５では、全ブロック中、画素値が飽和している画素を有するブロックを演算から除外する。また、ステップＳ５６では、ラプラシアン処理によって輪郭を強調させる。さらに、ステップＳ５７では、全ブロック中、テクスチャ（模様）の無いブロックは、ブレ、ぼけを検出できないので除外する。

次に、ステップＳ５８では、除外されず残っているブロックについて自己相関値を演算する。図９の例では、画像ｇの内太線の４つのブロックが残っているブロックであり、それぞれのブロックについて演算を行う。２次元の自己相関関数値Ｒｆｆは次式４で定義される。

ここで、画像Ｂをブロック化された画像（５×５ｐｉｘｅｌ）として、ａおよびｂを、Ｘ、Ｙ方向の画素間距離、Ｎは自己相関を演算する領域のＸ方向の長さ、ＭはＹ方向の長さを示す。自己相関値の演算は、図９に示すように、画像Ｂをずらしながら重なり合っている領域の画素同士の積の結果を加算し、領域の面積で割った値である。

次に図７に示すステップＳ５９では、ステップＳ５８にて計算された自己相関値の演算結果を基に、自己相関画像を作成する。自己相関値は、ａ＝０およびｂ＝０の時、つまり画素が完全に重なっている時に最大となる。Ｒｆｆ（０，０）を基に正規化を行い、グレースケール０〜２５５に対応させ画像を作成する。図１０に、算出された自己相関画像の例を示す。この例では、４つのブロックにおいて、それぞれ斜め方向への自己相関が高く、ブレが斜め方向に生じていると推定される。

次に、図７に示すステップＳ６０では、求めた自己相関画像を平均化した画像（この例では４つの画像の平均）を、ＰＳＦ推定結果として算出する。図１１に、ＰＳＦの算出結果例を示す。ＰＳＦ算出結果から直線的なブレの長さ、方向、ぼけの幅が判る。

ＰＳＦ算出結果から直線的なブレの長さ、方向、ぼけの幅が分かれば、そのデータに基づき、図１に示すＣＰＵ２は、図２に示すステップＳ７における画像回復処理を行う。その後に、ステップＳ８にて、図１に示すＣＰＵ２は、その回復画像を記録媒体１３に書き込み、ステップＳ９にて処理を終了する。回復された画像は、たとえば図５（Ａ）では、撮影された人の顔を、像ブレすることなく、鮮明な画像として見ることができる。また、たとえば図５（Ｂ）では、撮影された複数の人のうちでも、特に特定の人の顔を、像ブレすることなく、鮮明な画像として見ることができる。

なお、上述した実施形態は、種々に改変することができる。

たとえば、上述した実施形態では、図５（Ｂ）に示すように、一番に面積が大きい顔の認識領域２０ａからＰＳＦを演算したが、いずれの領域２０ａ〜２０ｄからＰＳＦを算出して画像を回復するかは、カメラ１を操作する人に選択できるようにしても良い。たとえばタッチパネル式に、いずれの領域２０ａ〜２０ｄを選択するかを、操作者が選択できるようにしても良い。そして、上述した実施形態と同様にして、選択された顔認識領域からＰＳＦを算出し、これを用いて画像回復を行っても良い。

あるいは、操作者が選択できる領域２０ａ〜２０ｄ、あるいは、図１に示す顔認識演算部１５が自動的に選択する領域２０ａ〜２０ｄは、複数（全数を含む）であっても良い。その場合においては、選択された複数の領域でＰＳＦを演算し、その平均値を用いて、画像を回復処理するようにしても良い。

また、顔などの特定の被写体を認識する方法としては、上述したテンプレートを用いる方法に代えて、あるいは、テンプレートを用いる方法に組み合わせて、肌の色や目の形といった画像特徴量を検出し統計的解析を用いる方法、ニューラルネットワークに代表される学習を用いた方法などを用いても良い。

また、上述した実施形態では、顔認識用のテンプレートとして、正面テンプレートを用いたが、それ以外に、横向きテンプレートを用いても良いし、それ以外のテンプレートを用いても良い。またテンプレートとしては、顔の一部のみであっても良く、さらには、人の顔以外、動物や、植物、あるいは自動車などの機械のテンプレートであっても良い。

さらに、本発明の画像回復装置は、スチルカメラに限らず、ビデオカメラに搭載されても良く、さらには、カメラ以外の画像処理機器に搭載されていても良い。

図１は本発明の一実施形態に係る画像回復装置を有するカメラの全体構成図である。 図２は画像回復装置の制御の一例を示すフローチャート図である。 図３は図２に示す顔認識工程の詳細なフローチャート図である。 図４は顔認識のためのテンプレートの一例を示す概略図である。 図５（Ａ）は単一の被写体の撮影画像の例を示す図、図５（Ｂ）は複数の被写体の撮影画像の例を示す図である。 図６はＰＳＦの概念を示す概略図である。 図７は図２に示すＰＳＦ演算処理の詳細を示すフローチャート図である。 図８はＰＳＦ演算処理におけるブロック分割の概略図である。 図９は図８の続きの工程を示す概略図である。 図１０は図９の続きの工程を示す概略図である。 図１１は図１０の続きの工程を示す概略図である。

符号の説明

１… カメラ
１ａ… カメラボディ
１ｂ… レンズ鏡筒
２… ＣＰＵ
３… 撮像素子
１３… 記憶媒体
１４… ＰＳＦ演算部
１５… 顔認識演算部
１８… 被写体
２０，２０ａ〜２０ｄ… 領域

Claims (8)

1. 画像から特定被写体を認識する被写体認識部と、
   前記被写体認識部で認識された前記特定被写体の少なくとも一部を含む前記画像内の領域で、点像分布関数を求める演算部と、
   前記演算部で求められたデータに基づき、前記画像を回復処理する回復処理部とを有する画像回復装置。
2. 前記被写体認識部で認識された複数の前記特定被写体の内の少なくとも一つを選択する選択部をさらに有する請求項１に記載の画像回復装置。
3. 前記選択部では、複数の前記特定被写体の内の前記画像内で面積が一番大きい特定被写体が選択される請求項２に記載の画像回復装置。
4. 前記選択部では、外部からの入力信号に基づき、複数の前記特定被写体の内の少なくとも一つが選択される請求項２に記載の画像回復装置。
5. 前記演算部では、前記選択部で選択された一つの特定被写体の少なくとも一部を含む前記画像内の領域で、点像分布関数を求め、
   前記回復処理部では、求められた点像分布関数を用いて、前記画像を回復処理する請求項２〜４のいずれかに記載の画像回復装置。
6. 前記演算部では、前記被写体認識部で認識された複数の特定被写体のそれぞれの少なくとも一部を含む領域で、点像分布関数をそれぞれ求め、
   前記回復処理部では、求められた複数の点像分布関数の平均値を用いて、前記画像を回復処理する請求項１に記載の画像回復装置。
7. 前記被写体認識部では、前記特定被写体として、人間の顔あるいは顔の一部が認識される請求項１〜６のいずれかに記載の画像回復装置。
8. 被写体の画像を取得する撮像部と、
   請求項１〜７のいずれかに記載の画像回復装置とを有する撮影装置。

Images