JP2013192224A - ブラー映像及びノイズ映像で構成されたマルチフレームを用いて非均一モーションブラーを除去する方法及び装置 - Google Patents

Abstract

【課題】 ブラー映像及びノイズ映像で構成されたマルチフレームを用いて鮮明な映像をより正確で早く推定する。
【解決手段】 非均一モーションブラーを除去する方法は、非均一モーションブラーの含まれたブラー映像及びブラーの含まれていないノイズ映像を含むマルチフレームを受信するステップと、露出時間の差を補正するためのヒストグラムマッチング方法を用いて、前記ブラー映像と前記ノイズ映像に対する映像明度整合を行うステップと、前記映像明度整合を行うことによって生成されたブラー映像に対する非均一モーションブラー情報を推定するステップと、前記推定された非均一モーションブラー情報に基づいて、前記マルチフレームから前記非均一モーションブラーが除去されたレイタント映像を取得するステップとを含む。
【選択図】 図２

Description

下記の実施形態は、ブラー映像及びノイズ映像で構成されたマルチフレームを用いて非均一モーションブラーを除去する方法及び装置に関する。

ブラー（ｂｌｕｒ）現象は、映像取得装置を用いて映像を取得する過程で頻繁に発生する現象であり、映像の品質を低下させる主な原因の１つである。

暗い室内や夕方頃の外側のように光量が足りない環境でカメラなどの装置を用いて映像を取得する場合、鮮明な映像を得るためには十分な光量が必要であり、そのためには映像センサを光に長く露出させなければならない。しかし、露出時間が長くなれば、映像センサの揺れによって取得した映像にブラーが発生することがある。

映像からブラーを除去することは与えられた情報量に比べて把握しなければならない多い量の情報を必要とするため依然として解決が困難である問題がある。

本発明の目的は、ブラー映像及びノイズ映像で構成されたマルチフレームを用いて鮮明な映像をより正確で早く推定することにある。

本発明の目的は、非均一モーションブラー情報の推定及びレイタント映像の取得を反復的に行うことによって、非均一モーションブラー情報の推定正確度を向上させることにある。

一実施形態に係る非均一モーションブラーを除去する方法は、非均一モーションブラーが含まれたブラー映像及びブラーが含まれていないノイズ映像を含むマルチフレームを受信するステップと、露出時間の差を補正するためのヒストグラムマッチング方法を用いて、前記ブラー映像と前記ノイズ映像に対する映像明度整合を行うステップと、前記映像明度整合を行うことによって生成されたブラー映像に対する非均一モーションブラー情報を推定するステップと、前記推定された非均一モーションブラー情報に基づいて、前記マルチフレームから前記非均一モーションブラーが除去されたレイタント映像を取得するステップとを含む。

前記ブラー映像と前記ノイズ映像に対する映像明度整合を行うステップは、前記ノイズ映像からノイズを除去するステップと、前記ブラー映像及び前記ノイズが除去されたノイズ映像に対する映像明度整合を行うステップとを含んでもよい。

前記非均一モーションブラー情報を推定するステップ及び前記レイタント映像を取得するステップを反復的に行うステップをさらに含んでもよい。

前記推定を反復的に行うステップは、前記映像明度整合を行うことによって生成されたブラー映像の解像度を変化させながら前記非均一モーションブラー情報を推定するステップ、及び前記レイタント映像を取得するステップを反復的に行ってもよい。

最初の反復で、前記ノイズの除去されたノイズ映像に対して前記非均一モーションブラー情報を推定するステップをさらに含んでもよい。

２番目以後の反復それぞれで、前の反復で取得されたレイタント映像を用いて前記非均一モーションブラー情報を更新するステップをさらに含んでもよい。

前記レイタント映像を取得するステップは、前記推定の反復的な実行によって取得した最終的な非均一モーションブラー情報、前記非均一モーションブラーが含まれたブラー映像及び前記ノイズが除去されたノイズ映像に対してＲＬデコンボリューション方法を行うことによって、前記マルチフレームから復元される最終レイタント映像を取得するステップを含んでもよい。

前記非均一モーションブラー情報を推定するステップは、前記映像明度整合を行ったブラー映像に対するホモグラフィを推定するステップと、前記推定されたホモグラフィを用いて前記ホモグラフィに対する加重値を算出するステップとを含んでもよい。

前記ホモグラフィを推定するステップ及び前記加重値を算出するステップは、予め決定した回数だけ反復的に行われてもよい。

前記レイタント映像を取得するステップは、前記ＲＬデコンボリューション方法に基づいた残余ブラー映像及び残余レイタント映像を用いて前記非均一モーションブラーを除去するステップをさらに含んでもよい。

前記レイタントイメージは前記ブラーイメージよりも少ないモーションブラーを有し、前記レイタントイメージは前記ノイズイメージよりも少ないノイズを有してもよい。

一実施形態に係る非均一モーションブラーを除去する装置は、非均一モーションブラーが含まれたブラー映像及びブラーが含まれていないノイズ映像を含むマルチフレームを受信する受信部と、露出時間の差を補正するためのヒストグラムマッチング方法を用いて、前記ブラー映像と前記ノイズ映像に対する映像明度整合を行う実行部と、前記映像明度整合を行うことによって生成されたブラー映像に対する非均一モーションブラー情報を推定する推定部と、前記推定された非均一モーションブラー情報に基づいて、前記マルチフレームから前記非均一モーションブラーが除去されたレイタント映像を取得する取得部とを備える。

前記実行部は、前記ノイズ映像からノイズを除去するノイズ除去手段と、前記ブラー映像及び前記ノイズが除去されたノイズ映像に対する映像明度整合を行う実行手段とを備えてもよい。

前記非均一モーションブラー情報の推定及び前記レイタント映像の取得を反復的に行うようにする制御部を備えてもよい。

前記制御部は、前記映像明度整合を行うことによって生成されたブラー映像の解像度を変化させながら前記非均一モーションブラー情報の推定及び前記レイタント映像の取得を反復的に行ってもよい。

前記制御部は、最初の反復で、前記ノイズの除去されたノイズ映像に対して前記非均一モーションブラー情報を推定してもよい。

前記制御部は、２番目以後の反復それぞれで、前の反復で取得されたレイタント映像を用いて前記非均一モーションブラー情報を更新してもよい。

前記取得部は、前記反復的な実行によって取得した最終的な非均一モーションブラー情報、前記非均一モーションブラーの含まれたブラー映像及び前記ノイズの除去されたノイズ映像に対してＲＬデコンボリューション方法を行うことによって前記マルチフレームから復元される最終レイタント映像を取得してもよい。

前記推定部は、前記映像明度整合を行ったブラー映像に対するホモグラフィを推定する推定手段と、前記推定されたホモグラフィを用いて前記ホモグラフィに対する加重値を算出する算出手段とを含んでもよい。

前記推定手段による前記ホモグラフィの推定及び前記算出手段による前記加重値の算出は、予め決定した回数だけ反復的に行われてもよい。

前記レイタントイメージは前記ブラーイメージよりも少ないモーションブラーを有し、前記レイタントイメージは前記ノイズイメージよりも少ないノイズを有してもよい。

一実施形態に係る非均一モーションブラーを除去する方法は、非均一モーションブラー及びノイズイメージの含まれたブラーイメージを含むマルチフレームを受信するステップと、前記ブラーイメージ及び前記ノイズイメージの態様（ａｓｐｅｃｔｓ）を結合して前記ブラーイメージよりも少ないモーションブラーを含むレイタント映像を取得するステップとを含む。

前記ブラーイメージは相対的に長い露出時間を用いて取得され、前記ノイズイメージは相対的に短い露出時間を用いて取得されてもよい。前記レイタントイメージは、前記ノイズイメージよりも少ないノイズを有してもよい。

一実施形態に係る非均一モーションブラーを除去する方法は、露出時間の差を補正するためのヒストグラムマッチングを用いてブラーのない非均一モーションブラー及びノイズイメージを含むブラーイメージに対するイメージ鮮明度登録を行うステップと、前記イメージ鮮明度登録の実行によって生成されるブラーイメージの非均一モーションブラー情報を推定するステップと、前記推定された非均一モーションブラーイメージに基づいて前記マルチフレームで前記非均一モーションブラーを除去することによってレイタントイメージを獲得するステップとを含む。

一実施形態によれば、ブラー映像及びノイズ映像で構成されたマルチフレームを用いてブラー映像の非均一モーションブラー情報を推定することによって、より鮮明な映像をより正確で早く推定することができる。

一実施形態によれば、非均一モーションブラー情報の推定及びレイタント映像の取得を反復的に行うことによって、非均一モーションブラー情報の推定正確度を向上させることができる。

一実施形態に係るブラー映像及びノイズ映像で構成されたマルチフレームを用いた非均一モーションブラーを除去する方法を説明するための図である。 一実施形態に係るブラー映像及びノイズ映像で構成されたマルチフレームを用いた非均一モーションブラーを除去する方法を示したフローチャートである。 一実施形態に係るマルチフレームを構成するブラー映像を示す図である。 一実施形態に係るマルチフレームを構成するノイズ映像を示す図である。 図３に示すブラー映像を白黒で示した映像である。 図４に示すノイズ映像でノイズを除去した後、ブラー映像とのヒストグラムマッチングを行った結果を示す図である。 一実施形態に係る非均一モーションブラーを除去する方法によって推定された非均一モーションブラーを示す図である。 一実施形態に係る非均一モーションブラーを除去する方法を用いて非均一モーションブラーを除去した結果を示す図である。 一実施形態に係るブラー映像及びノイズ映像で構成されたマルチフレームを用いて非均一モーションブラーを除去する装置のブロック図である。

以下、実施形態を添付する図面を参照しながら詳細に説明する。しかし、本発明が一実施形態によって制限されたり限定されることはない。また、各図面に提示された同一の参照符号は同一の部材を示す。

図１は、一実施形態に係るブラー映像及びノイズ映像で構成されたマルチフレームを用いた非均一モーションブラーを除去する方法を説明するための図である。

図１を参照すると、一実施形態ではブラー映像及びノイズ映像で構成されたマルチフレームを用いて非均一モーションブラーを除去するために、ステップＳ１１０では、まず、ブラー映像及びノイズ映像で構成されたマルチフレームが提供される。ここで、ブラー映像は長時間露出によって取得した映像であり、ノイズ映像は映像センサのＩＳＯ感度（ｓｅｎｓｉｔｉｖｉｔｙ）を高くして短露出で撮影した映像である。ステップＳ１２０において、ステップＳ１１０で入力されたノイズ映像を処理する。

すなわち、マルチフレームに含まれたノイズ映像のノイズを除去し、ノイズが除去されたノイズ映像及びブラー映像の露出時間の差を補償するためにヒストグラムマッチングを適用する。

ここで、ノイズ映像に含まれたノイズの種類に応じてエッジ格納ノイズ除去（Ｅｄｇｅ−ｐｒｅｓｅｒｖｉｎｇ ｎｏｉｓｅ ｒｅｍｏｖａｌ）方法を用いてもよい。この過程で、テクスチャのような細部情報はなくなることがあるが、大部分のエッジ情報を格納してステップＳ１３０におけるホモグラフィ推定に利用してもよい。ステップＳ１２０によってノイズ映像からノイズが除去され、ブラー映像と類似の色を有するよう補正された映像を取得することができる。

ステップＳ１３０において、整合を用いて非均一モーションブラー情報を推定する。ステップＳ１３０では、マルチフレームのブラー映像をステップＳ１２０で算出されたノイズの除去された映像に整合で非均一モーションブラー情報を推定する。

ステップＳ１３０とステップＳ１４０の反復的な実行過程において、最初の反復時にはノイズが除去された映像を基準としてブラー映像の非均一モーションブラー情報を推定するが、２番目の反復からはステップＳ１４０のレイタント映像復元過程によって取得した、非均一モーションブラーの除去されたレイタント映像を用いてブラー映像の非均一モーションブラー情報を推定する。

反復回数が増加するにつれて推定された非均一モーションブラー情報は実際にカメラが揺れたモーションの情報と類似に取りまとめられる。また、非均一モーションブラー情報の推定時に用いられる取得されたレイタント映像（中間レイタント映像）も反復回数が増加することによってさらに鮮明になる。しかし、取得されたレイタント映像（中間レイタント映像）は、非均一モーションブラー推定にのみ使用され、ステップＳ１５０で最終的に復元される鮮明な映像には直接的に影響を及ぼさない。

ステップＳ１４０において、ステップＳ１３０で推定された非均一モーションブラー情報に基づいて上述したＲＬ（Ｒｉｃｈａｒｄｓｏｎ−Ｌｕｃｙ）デコンボリューション方法を用いて鮮明な映像、すなわち、レイタント映像を取得することができる。ステップＳ１４０で復元されたレイタント映像は、ステップＳ１３０とステップＳ１４０間の反復的（ｉｔｅｒａｔｉｖｅｌｙ）な実行過程によって、再びステップＳ１３０の入力で提供される。

一実施形態に係る非均一モーションブラーを除去する方法として、より効果的に非均一モーションブラー情報を推定してレイタント映像を取得するために、ステップＳ１３０及びステップＳ１４０間の反復的な実行時にマルチ−スケール反復処理（ｍｕｌｔｉ−ｓｃａｌｅ ｉｔｅｒａｔｉｖｅ ｐｒｏｃｅｓｓｉｎｇ）方式によって映像の解像度を変化させながら推定及び復元の正確度を向上させることができる。

マルチ−スケール反復処理方式は、まず、非均一モーションが大きい場合のブラー情報を推定できる低い解像度で非均一モーションブラー情報を推定する。そして、高い解像度では、以前の低い解像度によって取得した非均一モーションブラー情報をアップサンプリングして小さい大きさのモーションにより発生するブラー情報を推定する。マルチ−スケール反復処理方式を用いる場合、１つのスケールを用いて処理できなかった大きいモーションによるブラーを推定してもよい。また、大きいモーションを先に推定することによって処理速度も加速化される。

ステップＳ１５０は、最終レイタント映像を復元する過程である。ステップＳ１３０及びステップＳ１４０の反復的な実行によって、入力されたブラー映像に対する最終非均一モーションブラー情報が取得された後、ステップＳ１５０では非均一モーションブラーの除去された最終映像を取得するために最終的に推定された非均一モーションブラー情報、入力された非均一モーションブラーが含まれたブラー映像、及びブラー情報が含まれていないノイズ映像を全て用いてデコンボリューションを行う。ここで、推定された非均一モーションブラー情報を用いてマルチフレームの各カラーチャネル（Ｒ、Ｇ、Ｂ）に対するデコンボリューションを行うことで最終レイタント映像を復元することができる。

以下、一実施形態に係る非均一モーションブラーを除去する方法をより具体的に説明する。

一般的にモーションブラーは数式（１）のように表現されてもよい。

数式（１）において、Ｂはブラーが含まれた映像（Ｂｌｕｒｒｅｄ ｉｍａｇｅ）を意味し、Ｋは映像のブラー情報を示すモーションブラーカーネル（ｂｌｕｒ ｋｅｒｎｅｌ）または点拡散関数（ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）を意味する。Ｌはレイタント映像（Ｌａｔｅｎｔ ｉｍａｇｅ）すなわち、ブラーのない鮮明な映像を意味し、Ｎは映像取得過程で導入された把握されない雑音（Ｎｏｉｓｅ）を意味する。＊はコンボリューション演算子（ｃｏｎｖｏｌｕｔｉｏｎ ｏｐｅｒａｔｏｒ）を意味する。

数式（１）は下記の数式（２）のようなベクトル形態に表現されてもよい。

数式（２）において、ｂ、ｌ、ｎはそれぞれ数式（１）でＢ、Ｌ、Ｎのベクトル表現を意味する。ここでＴ_ｉは時点ｔ_ｉでカメラの並進運動（ｔｒａｎｓｌａｔｉｏｎａｌ ｍｏｔｉｏｎ）を代表する行列式である。ｗ_ｉはｔ_ｉでカメラが止まっている時間の相対的な長さ（但し、

すなわち、時点ｔ_ｉでカメラの露出時間を意味する。

数式（２）が意味することは次の通りである。

ブラー映像ｂはカメラが動いた経路上の各地点Ｔ_ｉにおける鮮明な映像（ｌ）の和で表現されたものである。ここで、数式（１）及び数式（２）は同一のモデルを他の表現方法で表したものである。

数式（１）または数式（２）のモーションブラーモデルに基づいて鮮明な映像ｌが算出される。ここで、鮮明な映像（レイタント映像）推定のためのブラーモデルそのものが映像の全てのピクセルが均一に動いた場合を仮定するため、カメラの並進運動の他に回転動き（ｒｏｔａｔｉｏｎａｌ ｍｏｔｉｏｎ）によって発生する非均一モーションブラーを除去することが難しい。

したがって、一実施形態では、非均一モーションブラーを表現することのできる異なるモデルを用いて非均一モーションブラーを除去する。

カメラの揺れが非並進運動（ｎｏｎ−ｔｒａｎｓｌａｔｉｏｎａｌ ｍｏｔｉｏｎ）を示す場合には、数式（１）の形態で表現することが難しい。したがって、一実施形態では数式（２）におけるＴ_ｉをホモグラフィＰ_ｉに置き換えることによって、数式（３）のようにカメラの非均一モーションブラー効果を記述する非均一モーションブラーモデルを導き出すことができる。

一実施形態に係る非均一モーションブラーを除去する方法として、数式（３）を応用してブラインドモーションデブラーリング（ｂｌｉｎｄ ｍｏｔｉｏｎ ｄｅｂｌｕｒｒｉｎｇ）を実行してもよい。

一般的にブラインドモーションデブラーリングでは入力されたブラー映像ｂのみを用いてレイタント映像ｌと非均一モーションブラー情報Ｐ_ｉ、ｗ_ｉを算出する。しかし、一実施形態ではブラー映像及びノイズ映像で構成されたマルチフレームを用いる。すなわち、入力されたブラー映像ｂ以外にノイズ映像ｌ_Ｎからノイズを除去した映像Ｎ_Ｄを共に用いて最終的に鮮明なレイタント映像ｌと非均一モーションブラー情報Ｐ_ｉ、ｗ_ｉを算出することができる。

一実施形態に係る非均一モーションブラーを除去する方法として、入力されたマルチフレームに含まれたブラー映像に対して数式（３）を満足する非均一モーションブラー情報Ｐ_ｉ、ｗ_ｉとこれを鮮明に復元したレイタント映像ｌを求めるために、非均一モーションブラー情報の推定過程及びレイタント映像の取得過程を実行する。

ここで、非均一モーションブラー情報の推定過程及びレイタント映像の取得過程は反復処理（ｉｔｅｒａｔｉｖｅｌｙ ｐｒｏｃｅｓｓ）される。

一実施形態では、このような反復的な処理によって非均一モーションブラー情報を含むＰとｗの正確度を徐々に改善することができる。

ブラー映像から非均一モーションブラーの除去された最終レイタント映像は、反復的な実行によって取得した最終的な非均一モーションブラー情報Ｐ、ｗと非均一モーションブラーが含まれた入力ブラー映像ｂ及び非均一モーションブラーが含まれていないノイズ映像ｌ_Ｎからノイズを除去した映像Ｎ_Ｄを用いて取得してもよい。

ここで、ノイズ映像ｌ_Ｎからノイズを除去した映像Ｎ_Ｄを求める方法は制限されず、ノイズ映像内に存在するノイズの種類に応じていかなるノイズ除去方法も利用できる。

非均一モーションブラー情報の推定過程及びレイタント映像の取得過程を交番に繰り返して最適化する過程で推定された中間レイタント映像は、非均一モーションブラーの除去された最終映像に直接的な影響を及ぼさない。すなわち、中間レイタント映像は、非均一モーションブラー情報Ｐ、ｗ推定に影響を及ぼすことによって非均一モーションブラーの除去された最終鮮明な映像には間接的に影響を及ぼすことになる。

一実施形態に係る非均一モーションブラーを除去する方法として、非均一モーションブラー情報の推定過程は映像整合（ｉｍａｇｅ ｒｅｇｉｓｔｒａｔｉｏｎ）を用いて行われる。この過程は非均一モーションブラーを表現するホモグラフィＰの推定過程及び該当ホモグラフィの加重値ｗの算出過程の２種類ステップを含んでもよい。

非均一モーションブラー情報の推定過程では、中間レイタント映像ｌが与えられた場合、先に非均一モーションブラーを表現するホモグラフィＰを算出してもよい。ホモグラフィＰを算出するために数式（３）を再配列して数式（４）を取得することができる。

一実施形態に係る非均一モーションブラーを除去する方法は、数式（４）において１つのホモグラフィＰ_ｉを算出するため、映像整合方法を適用することによって左辺の

と右辺の

との間の差を最小化するホモグラフィＰ_ｉを算出してもよい。全体ホモグラフィ集合Ｐを算出するために、数式（４）でそれぞれのホモグラフィＰ_ｉは全体ホモグラフィのうちの１つに交番に選択されて全てのホモグラフィを算出することができる。

ホモグラフィの算出において、ブラー映像とノイズ映像を用いて映像整合する場合には、２つの映像間の露出時間の差によって整合を行うことが難しい。したがって、これを解決するために一実施形態では、ヒストグラムマッチング（ｈｉｓｔｏｇｒａｍ ｍａｔｃｈｉｎｇ）方法を用いてノイズ映像のトン値（ｔｏｎｅ ｖａｌｕｅ）をブラー映像のトン値に類似するよう変えた後、映像整合を行う。

全体ホモグラフィＰを算出した後には、算出された全体ホモグラフィＰを用いてホモグラフィの加重値ｗを算出してもよい。加重値ｗを算出するために、まず、数式（３）を下記の数式（５）のように表現してもよい。

ここで、

であり、Ｌは大きさがｍ×ｎである行列である。ここで、ｍは映像のピクセルの個数であり、ｎはホモグラフィＰの個数である。

一般的にｍ＞＞ｎであるため、数式（５）で加重値ｗは「０」以上の値を有しなければならないため、非負最小二乗法（ｎｏｎ−ｎｅｇａｔｉｖｅ ｌｅａｓｔ ｓｑｕａｒｅ ｍｅｔｈｏｄ）を用いて加重値を算出してもよい。非負最小二乗法を用いるために数式（５）を下記の数式（６）のような正規方程式（ｎｏｒｍａｌ ｅｑｕａｔｉｏｎ）の形態で表現してもよい。

下記の数式（６）を用いて加重値ｗを算出してもよい。

ここで、βは括弧内の行列式の逆行列を求めるとき逆行列が存在しない問題を解決するための正規化パラメータであり、Ｉは単位行列（ｉｄｅｎｔｉｔｙ ｍａｔｒｉｘ）である。

一実施形態に係る非均一モーションブラーを除去する方法のうち、非均一モーションブラー情報の推定過程では数式（４）及び数式（６）による反復的な実行によって、現在与えられたレイタント映像ｌに対応する最適化されたホモグラフィＰと加重値ｗを算出してもよい。

但し、ここで、最初の反復（ｉｔｅｒａｔｉｏｎ）におけるレイタント映像ｌではノイズの除去された映像Ｎ_Ｄを利用し、２番目以後の反復それぞれにおいて、前の反復で取得されたレイタント映像を用いて非均一モーションブラー情報を更新してもよい。

一実施形態に係る非均一モーションブラーを除去する方法として、非均一モーションブラー情報Ｐ、ｗの推定はレイタント映像ｌが更新されるたびに反復実行され、このような反復処理過程によって最適化されたレイタント映像ｌとそれに対応する非均一モーションブラー情報Ｐ、ｗを算出してもよい。

一実施形態に係る非均一モーションブラーを除去する方法として、レイタント映像の取得過程では推定された非均一モーションブラー情報Ｐ、ｗと入力ブラー映像ｂ及び入力ノイズ映像ｌ_Ｎを用いてレイタント映像ｌを算出してもよい。

まず、レイタント映像ｌは下記の数式（７）のようにノイズが除去された映像Ｎ_Ｄと本来の鮮明なエッジ情報を含む残余レイタント映像

の和で表現されてもよい。

数式（７）で残余レイタント映像

はノイズの除去過程においてなくなる映像の鮮明な情報である。数式（３）と数式（７）を利用すれば、残余レイタント映像

に対する非均一モーションブラーΔｂを次の数式（８）のように表現してもよい。

一実施形態では数式（８）を解決するために残余レイタント映像

を算出してもよい。残余レイタント映像

の算出には非均一モーションブラーに適するように拡張されたＲｉｃｈａｒｄｓｏｎ−Ｌｕｃｙ（ＲＬ）デコンボリューションアルゴリズムを用いてもよい。

このように、残余ブラー映像に対してデコンボリューションを行うことによって結果映像の品質を低下させるリンギング効果（ｒｉｎｇｉｎｇ ａｒｔｉｆａｃｔ）を減らすことができる。

各反復における残余レイタント映像ｌは次の数式（９）によって算出されてもよい。

数式（９）でＰ^TはホモグラフィＰを逆に適用する変換である。

一実施形態では数式（９）を解決することによって求められた残余レイタント映像

とノイズが除去された映像Ｎ_Ｄを加えれば、最終鮮明な映像ｌを求めることができる。

しかし、数式（９）の結果から取得した残余レイタント映像

は鮮明な映像の他にも若干のリンギング現象を含む。すなわち、リンギング現象を減らすことはできるものの、完全に除去することはできない。

したがって、一実施形態ではこれを解決するために改善された利益制御ＲＬデコンボリューション（Ｇａｉｎ−Ｃｏｎｔｒｏｌｌｅｄ ＲＬ Ｄｅｃｏｎｖｏｌｕｔｉｏｎ）を共に利用する。利益制御ＲＬデコンボリューションで反復実行による残余レイタント映像Δｌは下記の数式（１０）によって算出されてもよい。

数式（１０）で

は次の数式（１１）によって求められてもよい。

ここで、アルファαは利益指標（ｇａｉｎ ｍａｐ）の影響を制御するための変数であり、

はノイズが除去された映像のグラジエントを標準偏差が０．５であるガウスピラミッドでブラーさせたときにピラミッドでｌステップの映像を意味する。

数式（１１）のアルファα値は０〜１間の任意の値になり得るが、主に０．２を用いてもよい。数式（１０）の利益制御ＲＬデコンボリューション結果は、数式（９）のＲＬデコンボリューションに比べてさらにスムーズ（ｓｍｏｏｔｈ）な結果映像を取得し、これはリンギング現象の除去に用いる。

一実施形態では数式（９）及び数式（１０）の結果を相互補完的に利用してもよい。まず、数式（９）のＲＬデコンボリューション結果を数式（１０）の利益制御ＲＬデコンボリューション結果と共に共同双方向フィルタ（ｊｏｉｎｔ ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）に適用してリンギング現象のみを主に含む映像を取得することができる。その後、数式（９）のＲＬデコンボリューション結果からリンギング現象のみを主に含む映像を除くことによって鮮明でリンギング現象のない残余レイタント映像を取得することができる。一実施形態ではリンギング現象のない残余レイタント映像を数式（１０）の利益制御ＲＬデコンボリューション結果に加えることによって、最終的に鮮明な最終レイタント映像を取得することができる。

図２は、一実施形態に係るブラー映像及びノイズ映像で構成されたマルチフレームを用いた非均一モーションブラーを除去する方法を示したフローチャートである。図２を参照すると、一実施形態に係る非均一モーションブラーを除去する装置は、非均一モーションブラーが含まれたブラー映像及びブラーが含まれていないノイズ映像を含むマルチフレームを受信する（Ｓ２０１）。

非均一モーションブラーを除去する装置は、露出時間の差を補正するためのヒストグラムマッチング方法を用いて、ブラー映像とノイズ映像に対する映像明度整合を行う（Ｓ２０３）。ステップＳ２０３において、非均一モーションブラーを除去する装置はノイズ映像からノイズを除去した後、ブラー映像及びノイズが除去されたノイズ映像に対する映像明度整合を実行してもよい。

非均一モーションブラーを除去する装置は、映像明度整合を行うことによって生成されたブラー映像に対する非均一モーションブラー情報を推定する（Ｓ２０５）。

ステップＳ２０５において、非均一モーションブラー情報の推定のために、非均一モーションブラーを除去する装置は、映像明度整合を行ったブラー映像に対するホモグラフィを推定し、推定されたホモグラフィを用いてホモグラフィに対する加重値を算出してもよい。このようなホモグラフィの推定及び加重値の算出過程は、予め決定した回数だけ反復的に実行推定されたホモグラフィを含むホモグラフィ集合に対するエラー値の変化量に一定レベル以上の変化が発生しないときまで行われてもよい。

非均一モーションブラーを除去する装置は、推定された非均一モーションブラー情報に基づいて、マルチフレームから非均一モーションブラーが除去されたレイタント映像を取得する（Ｓ２０７）。非均一モーションブラーを除去する装置は、以後の反復的な実行によってＲＬデコンボリューション方法に基づいた残余ブラー映像及び残余レイタント映像を用いて非均一モーションブラーを除去してもよい。

非均一モーションブラーを除去する装置は、非均一モーションブラー情報を推定するステップＳ２０５及びレイタント映像を取得するステップＳ２０７を反復的に実行する（Ｓ２０９）。ここで、ステップＳ２０９における反復的な実行は、マルチスケールプロセシング方式に基づいて映像明度整合を行うことによって生成されたブラー映像の解像度を変化させながら繰り返し行われてもよい。

ステップＳ２０９の反復的な実行過程のうち、最初の反復ではノイズが除去されたノイズ映像に対して非均一モーションブラー情報を推定する。また、２番目以後の反復それぞれには、前の反復で取得されたレイタント映像を用いて非均一モーションブラー情報を更新してもよい。

非均一モーションブラーを除去する装置は、反復的な実行によって最終的な非均一モーションブラー情報を取得する（Ｓ２１１）。

その後、非均一モーションブラーを除去する装置は、最終的な非均一モーションブラー情報、非均一モーションブラーの含まれたブラー映像及びノイズが除去されたノイズ映像に対してＲＬデコンボリューション方法を行うことによって、マルチフレームから復元される最終レイタント映像を取得する（Ｓ２１３）。

以下で説明する図３〜図８は、一実施形態に係るブラー映像及びノイズ映像で構成されたマルチフレームを用いた非均一モーションブラーを除去する方法により各ステップごとの中間映像を示したものである。

図３は一実施形態に係るマルチフレームを構成する非均一モーションブラーの含まれたブラー映像であり、図４は一実施形態に係るマルチフレームを構成するブラーが含まれていないノイズ映像である。一実施形態において、図３に示す非均一モーションブラーを含むブラーイメージ及び図４に示すノイズイメージは同一のマルチビューフレームを構成してもよい。

また、図５は図３に示すブラー映像を白黒化した映像であり、図６は図４に示すノイズ映像からノイズを除去した後に白黒化した映像を示す。

図７は、図５及び図６を用いて推定した図３に示すブラー映像の非均一モーションブラーを示し、図８は、図７で推定された非均一モーションブラー情報を用いてブラーを除去した最終レイタント映像を示す。

一実施形態では、このように２種類の映像（すなわち、ブラー映像及びノイズ映像）を相互補完的に利用することによってブラーの除去された最終レイタント映像を復元することができる。

図９は、一実施形態に係るブラー映像及びノイズ映像で構成されたマルチフレームを用いて非均一モーションブラーを除去する装置のブロック図である。

一実施形態に係る非均一モーションブラーを除去する装置は、受信部９１０、実行部９３０、推定部９５０、取得部９７０及び制御部９９０を備える。受信部９１０は、非均一モーションブラーが含まれたブラー映像及びブラーが含まれていないノイズ映像を含むマルチフレームを受信する。

実行部９３０は、露出時間の差を補正するためのヒストグラムマッチング方法を用いてブラー映像とノイズ映像に対する映像明度整合を行う。実行部９３０はノイズ除去手段９３１及び実行手段９３５を含んでもよい。ノイズ除去手段９３１はノイズ映像からノイズを除去する。実行手段９３５は、ブラー映像及びノイズが除去されたノイズ映像に対する映像明度整合を実行する。

推定部９５０は、映像明度整合を行うことによって生成されたブラー映像に対する非均一モーションブラー情報を推定する。推定部９５０は推定手段９５１及び算出手段９５５を含んでもよい。推定手段９５１は、映像明度整合を行ったブラー映像に対するホモグラフィを推定する。算出手段９５５は、推定されたホモグラフィを用いてホモグラフィに対する加重値を算出する。

ここで、推定手段によるホモグラフィの推定及び算出手段による加重値の算出は予め決定した回数だけ反復実行されたり、推定手段による推定されたホモグラフィを含むホモグラフィ集合に対するエラー値の変化量に一定レベル以上の変化が発生しないときまで行われてもよい。取得部９７０は、推定された非均一モーションブラー情報に基づいてマルチフレームから非均一モーションブラーの除去されたレイタント映像を取得する。

取得部９７０は、その後の反復的な実行によって取得された最終的な非均一モーションブラー情報、非均一モーションブラーの含まれたブラー映像及びノイズの除去されたノイズ映像に対してＲＬデコンボリューション方法を行うことで、マルチフレームから復元される最終レイタント映像を取得する。

制御部９９０は、推定部９５０による非均一モーションブラー情報の推定及び取得部９７０によるレイタント映像の取得を反復的に実行してもよい。制御部９９０は、映像明度整合を行うことによって生成されたブラー映像の解像度を変化させながら非均一モーションブラー情報の推定及びレイタント映像の取得を反復的に実行してもよい。

ここで、制御部９９０は最初の反復で、ノイズの除去されたノイズ映像に対して非均一モーションブラー情報を推定し、２番目以後の反復それぞれで、前の反復で取得されたレイタント映像を用いて非均一モーションブラー情報を更新してもよい。

本発明の一実施形態に係る方法は、多様なコンピュータ手段によって行うことができるプログラム命令の形態で実現されても良く、かかるプログラム命令は、コンピュータ読み出し可能媒体に記録されてもよい。前記コンピュータ読み出し可能媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせたものを含んでもよい。前記媒体に記録されるプログラム命令は、本発明のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み出し可能記録媒体の例には、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体（ｍａｇｎｅｔｉｃ ｍｅｄｉａ）、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体（ｏｐｔｉｃａｌ ｍｅｄｉａ）、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令の例には、コンパイラによって作られるような機械語コードだけでなく、インタープリタなどを用いてコンピュータによって実行できる高級言語コードが含まれる。前記したハードウェア装置は、本発明の動作を行うために１つ以上のソフトウェアモジュールとして作動するように構成されてもよく、その逆も同様である。

以上のように本発明を限定された実施形態と図面によって説明したが、本発明は、上記の実施形態に限定されることなく、本発明が属する分野における通常の知識を有する者であれば、このような記載から多様な修正及び変形が可能である。

したがって、本発明の範囲は、説明された実施形態に限定されて定められるものではなく、特許請求の範囲及び特許請求の範囲と均等なものなどによって定められるものである。

９１０ 受信部
９３０ 実行部
９３１ ノイズ除去手段
９３５ 実行手段
９５０ 推定部
９５１ 推定手段
９５５ 算出手段
９７０ 取得部
９９０ 制御部

Claims (25)

1. 非均一モーションブラーが含まれたブラー映像及びブラーが含まれていないノイズ映像を含むマルチフレームを受信するステップと、
   露出時間の差を補正するためのヒストグラムマッチング方法を用いて、前記ブラー映像と前記ノイズ映像に対する映像明度整合を行うステップと、
   前記映像明度整合を行うことによって生成されたブラー映像に対する非均一モーションブラー情報を推定するステップと、
   前記推定された非均一モーションブラー情報に基づいて、前記マルチフレームから前記非均一モーションブラーが除去されたレイタント映像を取得するステップと、
   を含むことを特徴とする非均一モーションブラーを除去する方法。
2. 前記ブラー映像と前記ノイズ映像に対する映像明度整合を行うステップは、
   前記ノイズ映像からノイズを除去するステップと、
   前記ブラー映像及び前記ノイズが除去されたノイズ映像に対する映像明度整合を行うステップと、
   を含むことを特徴とする請求項１に記載の非均一モーションブラーを除去する方法。
3. 前記非均一モーションブラー情報を推定するステップ及び前記レイタント映像を取得するステップを反復的に行うステップをさらに含むことを特徴とする請求項２に記載の非均一モーションブラーを除去する方法。
4. 前記推定を反復的に行うステップは、前記映像明度整合を行うことによって生成されたブラー映像の解像度を変化させながら前記非均一モーションブラー情報を推定するステップ、及び前記レイタント映像を取得するステップを反復的に行うことを特徴とする請求項３に記載の非均一モーションブラーを除去する方法。
5. 最初の反復で、前記ノイズの除去されたノイズ映像に対して前記非均一モーションブラー情報を推定するステップをさらに含むことを特徴とする請求項３に記載の非均一モーションブラーを除去する方法。
6. ２番目以後の反復それぞれで、前の反復で取得されたレイタント映像を用いて前記非均一モーションブラー情報を更新するステップをさらに含むことを特徴とする請求項３に記載の非均一モーションブラーを除去する方法。
7. 前記レイタント映像を取得するステップは、前記推定の反復的な実行によって取得した最終的な非均一モーションブラー情報、前記非均一モーションブラーが含まれたブラー映像及び前記ノイズが除去されたノイズ映像に対してＲＬデコンボリューション方法を行うことによって、前記マルチフレームから復元される最終レイタント映像を取得するステップを含むことを特徴とする請求項３に記載の非均一モーションブラーを除去する方法。
8. 前記非均一モーションブラー情報を推定するステップは、
   前記映像明度整合を行ったブラー映像に対するホモグラフィを推定するステップと、
   前記推定されたホモグラフィを用いて前記ホモグラフィに対する加重値を算出するステップと、
   を含むことを特徴とする請求項１に記載の非均一モーションブラーを除去する方法。
9. 前記ホモグラフィを推定するステップ及び前記加重値を算出するステップは、予め決定した回数だけ反復的に行われることを特徴とする請求項８に記載の非均一モーションブラーを除去する方法。
10. 前記レイタント映像を取得するステップは、前記ＲＬデコンボリューション方法に基づいた残余ブラー映像及び残余レイタント映像を用いて前記非均一モーションブラーを除去するステップをさらに含むことを特徴とする請求項１に記載の非均一モーションブラーを除去する方法。
11. 請求項１〜請求項１０のいずれか１項の方法を行うためのプログラムが記録されているコンピュータで読み出し可能な記録媒体。
12. 前記レイタントイメージは前記ブラーイメージよりも少ないモーションブラーを有し、前記レイタントイメージは前記ノイズイメージよりも少ないノイズを有することを特徴とする請求項１に記載の非均一モーションブラーを除去する方法。
13. 非均一モーションブラーが含まれたブラー映像及びブラーが含まれていないノイズ映像を含むマルチフレームを受信する受信部と、
    露出時間の差を補正するためのヒストグラムマッチング方法を用いて、前記ブラー映像と前記ノイズ映像に対する映像明度整合を行う実行部と、
    前記映像明度整合を行うことによって生成されたブラー映像に対する非均一モーションブラー情報を推定する推定部と、
    前記推定された非均一モーションブラー情報に基づいて、前記マルチフレームから前記非均一モーションブラーが除去されたレイタント映像を取得する取得部と、
    を備えることを特徴とする非均一モーションブラーを除去する装置。
14. 前記実行部は、
    前記ノイズ映像からノイズを除去するノイズ除去手段と、
    前記ブラー映像及び前記ノイズが除去されたノイズ映像に対する映像明度整合を行う実行手段と、
    を備えることを特徴とする請求項１３に記載の非均一モーションブラーを除去する装置。
15. 前記非均一モーションブラー情報の推定及び前記レイタント映像の取得を反復的に行うようにする制御部を備えることを特徴とする請求項１４に記載の非均一モーションブラーを除去する装置。
16. 前記制御部は、前記映像明度整合を行うことによって生成されたブラー映像の解像度を変化させながら前記非均一モーションブラー情報の推定及び前記レイタント映像の取得を反復的に行うことを特徴とする請求項１５に記載の非均一モーションブラーを除去する装置。
17. 前記制御部は、最初の反復で、前記ノイズの除去されたノイズ映像に対して前記非均一モーションブラー情報を推定することを特徴とする請求項１５に記載の非均一モーションブラーを除去する装置。
18. 前記制御部は、２番目以後の反復それぞれで、前の反復で取得されたレイタント映像を用いて前記非均一モーションブラー情報を更新することを特徴とする請求項１５に記載の非均一モーションブラーを除去する装置。
19. 前記取得部は、前記反復的な実行によって取得した最終的な非均一モーションブラー情報、前記非均一モーションブラーの含まれたブラー映像及び前記ノイズの除去されたノイズ映像に対してＲＬデコンボリューション方法を行うことによって前記マルチフレームから復元される最終レイタント映像を取得することを特徴とする請求項１５に記載の非均一モーションブラーを除去する装置。
20. 前記推定部は、
    前記映像明度整合を行ったブラー映像に対するホモグラフィを推定する推定手段と、
    前記推定されたホモグラフィを用いて前記ホモグラフィに対する加重値を算出する算出手段と、
    を含むことを特徴とする請求項１３に記載の非均一モーションブラーを除去する装置。
21. 前記推定手段による前記ホモグラフィの推定及び前記算出手段による前記加重値の算出は、予め決定した回数だけ反復的に行われることを特徴とする請求項２０に記載の非均一モーションブラーを除去する装置。
22. 前記レイタントイメージは前記ブラーイメージよりも少ないモーションブラーを有し、前記レイタントイメージは前記ノイズイメージよりも少ないノイズを有することを特徴とする請求項１３に記載の非均一モーションブラーを除去する装置。
23. 非均一モーションブラー及びノイズイメージの含まれたブラーイメージを含むマルチフレームを受信するステップと、
    前記ブラーイメージ及び前記ノイズイメージの態様（ａｓｐｅｃｔｓ）を結合して前記ブラーイメージよりも少ないモーションブラーを含むレイタント映像を取得するステップと、
    を含むことを特徴とする非均一モーションブラーを除去する方法。
24. 前記ブラーイメージは相対的に長い露出時間を用いて取得され、前記ノイズイメージは相対的に短い露出時間を用いて取得されることを特徴とする請求項２３に記載の非均一モーションブラーを除去する方法。
25. 前記レイタントイメージは、前記ノイズイメージよりも少ないノイズを有することを特徴とする請求項２４に記載の非均一モーションブラーを除去する方法。

Images