JPH11134481A - 画像復元装置及び画像復元方法 - Google Patents

Abstract

(57)【要約】 【課題】 カメラ等の撮像装置で撮影されたブレ画像を
復元する際に現実の劣化モデルに近い劣化関数を与える
ことを可能とし、従来と比較して良好な画像復元効果を
得ること等を可能とした画像復元装置及び画像復元方法
を提供する。 【解決手段】 デジタルカメラや銀塩カメラ等の撮像装
置から得た画像情報の一画面分、撮像装置から得たブレ
情報１、ＰＳＦ画像生成に必要なブレ情報２を記憶する
メモリ１０１と、メモリ１０１に記憶されたブレ情報１
及びブレ情報２に基づきＰＳＦ画像を生成するＰＳＦ計
算ブロック１０２と、メモリ１０１から供給された画像
情報及びＰＳＦ計算ブロック１０２から供給されたＰＳ
Ｆ画像情報に基づき、画像復元アルゴリズムに従って復
元画像を生成する計算ブロック１０３とを有する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像復元装置及び
画像復元方法に係り、更に詳しくは、カメラ等の撮像装
置によって撮影された画像が手ブレまたは被写体ブレ等
による劣化を伴う際に原画像に近い復元画像を求める場
合に好適な画像復元装置及び画像復元方法に関する。

【０００２】

【従来の技術】従来より、カメラ等の撮像装置によって
撮影された画像が手ブレや被写体ブレ等によりブレを生
じた際に、ブレ画像を復元する画像復元方法は数多くあ
る。これら多数の画像復元方法の中でも、ブレ方向やブ
レ量等のブレ情報から想定した劣化関数を用いてブレ画
像を復元する手法が、最も一般的であり画像復元効果も
高い。

【０００３】以下に、上記のブレ画像を復元する手法で
用いる劣化関数について説明する。ｆ（ｘ、ｙ）を理想
画像、ｇ（ｘ、ｙ）を劣化した画像としたとき、

【０００４】

【数１】 の関係があると仮定する。ここで、ｈ（ｘ、ｙ、ｘ′、
ｙ′）は劣化関数、ｖ（ｘ、ｙ）は出力画像におけるラ
ンダム雑音を表す。

【０００５】平行移動を除いて、点の劣化した像がその
点の位置に依存しないならば、点ひろがり関数（ＰＳ
Ｆ：Ｐoint Ｓpread Ｆunction）は、ｈ（ｘ−ｘ′、ｙ
−ｙ′）の形となり、式（１）は、

【０００６】

【数２】 となる。雑音がないとき、式（２）の両辺のフーリエ変
換を行い、畳み込み定理より、 Ｇ（ｕ、ｖ）＝Ｈ（ｕ、ｖ）Ｆ（ｕ、ｖ） ・・・（３） となる。Ｇ（ｕ、ｖ）、Ｆ（ｕ、ｖ）、Ｈ（ｕ、ｖ）は
それぞれｇ（ｘ、ｙ）、ｆ（ｘ、ｙ）、ｈ（ｘ、ｙ）の
フーリエ変換を表す。ここで、Ｈ（ｕ、ｖ）は、理想画
像ｆ（ｘ、ｙ）を劣化した画像ｇ（ｘ、ｙ）に変換する
システムの伝達関数である。

【０００７】ここでは、カメラと風景との相対的な運動
による劣化（いわゆるブレ画像）についてのみ取り上げ
るため、その劣化モデルについて以下に説明する。運動
を除いて画像は時間的に不変であると仮定する。もし、
相対運動が平面内における記録用フィルムの運動による
ものと近似的に等しいならば、フィルム上の点における
露光量の総計は、瞬時的な露光量をシャッタが開いてい
る時間だけ積分することによって求められる。この場
合、シャッタの開閉に要する時間は無視できるものとす
る。α（ｔ）、β（ｔ）をそれぞれ変位のｘ、ｙ方向の
成分であるとすると、

【０００８】

【数３】 となる。この場合、Ｔは露光時間で、便宜的に−Ｔ／２
からＴ／２までであるとした。式（４）の両辺をフーリ
エ変換すると、

【０００９】

【数４】 となる。ｘ−α（ｔ）＝ξ、ｙ−β（ｔ）＝ηと置く
と、上式は、

【００１０】

【数５】 となる。この式（５）から、劣化は式（３）またはこれ
に等しい式（２）でモデル化されることがわかる。この
劣化の伝達関数Ｈ（ｕ、ｖ）は次式で与えられる。

【００１１】

【数６】 従って、Ｘ軸に対して、角度θ、一定の速度Ｖで時間Ｔ
だけブレた場合の点応答関数は、 Ｈ（ｕ、ｖ）＝ｓｉｎ πωＴ／πω ・・・（７） で与えられる。ここで、 ω＝（ｕ−ｕ0）Ｖｃｏｓθ＋（ｖ−ｖ0）Ｖｓｉｎθ ・・・（８） で、ｕ0、ｖ0は画像の中心座標である。尚、ωが微小な
時はＨ（ｕ、ｖ）＝Ｔと近似する。

【００１２】点ひろがり関数ｈ（ｘ−ｘ′、ｙ−ｙ′）
は、一般に画像（ＰＳＦ画像）として表現される。従来
から用いられるＰＳＦ画像の一例として、ブレ方向を水
平とした場合のＰＳＦ画像例を図６に示す。図６に示す
ＰＳＦ画像では、画像中心を（ｘ０、ｙ０）とし、図６
左のＸ−Ｘ′の向きがブレ方向、Ｘ−Ｘ′の長さがブレ
量に相当する。また、Ｘ−Ｘ′上の画素の輝度値の関数
を図５右と下に示す。

【００１３】図示の如く、従来の技術におけるＰＳＦ画
像では、ブレ軌跡上の画素（本例ではｙ＝ｙ０を満たす
画素）のみ輝度値ｚ（０）を持ち、それ以外の画素の輝
度値は全て０乃至はごく微小な値である。即ち、この場
合の劣化関数はブレ方向（Ｘ−Ｘ′）上の画素の影響の
みが考慮されたものとなっており、それ以外の画素の影
響は殆ど考慮しないことを示す。

【００１４】ここで、上述した劣化関数を用いた画像復
元の一例として、最も基本的な画像復元アルゴリズムで
ある逆フィルタを用いた画像復元方法について説明す
る。劣化した画像ｇ（ｘ、ｙ）と元の画像ｆ（ｘ、ｙ）
が上記式（２）のモデルに従うと仮定する。

【００１５】このとき、雑音が無いならば、ｇ（ｘ、
ｙ）、ｆ（ｘ、ｙ）及びＰＳＦ、ｈ（ｘ、ｙ）のフーリ
エ変換は上記式（３）を満たす。ここで、式（３）を変
形すると、 Ｆ（ｕ、ｖ）＝Ｇ（ｕ、ｖ）／Ｈ（ｕ、ｖ） ・・・（９） となる。この式（９）から、Ｈ（ｕ、ｖ）が既知であれ
ば、劣化した画像のフーリエ変換Ｇ（ｕ、ｖ）に１／Ｈ
（ｕ、ｖ）をかけて逆フーリエ変換することによって、
ｆ（ｘ、ｙ）を復元できることがわかる。

【００１６】

【発明が解決しようとする課題】しかしながら、上述し
た従来技術においては下記のような問題があった。即
ち、従来からブレ画像復元に用いられるＰＳＦ画像は、
上記図６に示した如く、ブレ方向（Ｘ−Ｘ′）上の画素
の輝度値の関数として表される。しかし、実際に撮影さ
れたブレ画像においては、ブレ方向上の画素のみでな
く、その周辺画素の影響も無視できない。例えば、視覚
的には直線ブレであっても厳密には非直線であるためブ
レ軌跡からずれた画素の影響がある場合や、露光漏れ等
の影響からブレによる劣化に加えて周辺画素に対するボ
ケが生じている場合も考えられる。

【００１７】上記の理由から、上述した従来技術におい
て説明したブレの劣化関数では、実際に撮影されたブレ
画像の劣化モデルとは完全に適応しないため、十分な画
像復元が不可能であるという問題があった。

【００１８】本発明は、上述した点に鑑みなされたもの
であり、カメラ等の撮像装置で撮影されたブレ画像を復
元する際に現実の劣化モデルに近い劣化関数を与えるこ
とを可能とし、従来と比較して良好な画像復元効果を得
ること等を可能とした画像復元装置及び画像復元方法を
提供することを目的とする。

【００１９】

【課題を解決するための手段】上記目的を達成するた
め、請求項１の発明は、撮影動作等により劣化したブレ
画像を原画像に近い画像に復元する画像復元装置であっ
て、ブレ軌跡データに基づき生成した点ひろがり関数画
像及びブレ画像から画像復元アルゴリズムに従って復元
画像を生成する復元手段を有し、該復元手段は、ブレ軌
跡上の画素周辺の画素の輝度値も考慮して復元を行うこ
とを特徴とする。

【００２０】上記目的を達成するため、請求項２の発明
は、撮影動作等により劣化したブレ画像を原画像に近い
画像に復元する画像復元装置であって、ブレ軌跡データ
に基づき生成した点ひろがり関数画像及びブレ画像から
画像復元アルゴリズムに従って復元画像を生成する復元
手段を有し、該復元手段は、前記点ひろがり関数画像を
生成する際に、ブレ軌跡上の画素の輝度値として前記ブ
レ軌跡データから得た値を使用し、ブレ軌跡に垂直方向
の画素の輝度値として前記ブレ軌跡データから関数に基
づき演算した値を使用することを特徴とする。

【００２１】上記目的を達成するため、請求項３の発明
は、前記復元手段は、前記点ひろがり関数画像における
ブレ軌跡に垂直方向の画素の輝度値としてブレ軌跡の線
分からの距離のボケ劣化特性を持つ関数に基づき演算し
た値を使用することを特徴とする。

【００２２】上記目的を達成するため、請求項４の発明
は、前記復元手段は、前記点ひろがり関数画像における
ブレ軌跡に垂直方向の画素の輝度値としてブレ軌跡の線
分からの距離の絶対値に関する負の一次関数に基づき演
算した値を使用することを特徴とする。

【００２３】上記目的を達成するため、請求項５の発明
は、前記復元手段は、前記点ひろがり関数画像における
ブレ軌跡に垂直方向の画素の輝度値としてブレ軌跡上の
画素と同じ値を使用することを特徴とする。

【００２４】上記目的を達成するため、請求項６の発明
は、撮影動作等により劣化したブレ画像を原画像に近い
画像に復元する画像復元装置であって、ブレ軌跡データ
に基づき生成した点ひろがり関数画像及びブレ画像から
画像復元アルゴリズムに従って復元画像を生成する復元
手段を有し、該復元手段は、前記点ひろがり関数画像を
生成する際に、ブレ軌跡上の画素の輝度値として前記ブ
レ軌跡データから得た値を使用し、ブレ軌跡に垂直方向
の画素の輝度値として前記ブレ軌跡データから関数に基
づき演算した値を使用し、ブレ軌跡の端点周辺の画素の
輝度値として前記ブレ軌跡データから関数に基づき演算
した値を使用することを特徴とする。

【００２５】上記目的を達成するため、請求項７の発明
は、前記復元手段は、前記点ひろがり関数画像における
ブレ軌跡に垂直方向の画素の輝度値としてブレ軌跡の線
分からの距離のボケ劣化特性を持つ関数に基づき演算し
た値を使用し、ブレ軌跡の端点周辺の画素の輝度値とし
てブレ軌跡の端点からの距離のボケ劣化特性を持つ関数
に基づき演算した値を使用することを特徴とする。

【００２６】上記目的を達成するため、請求項８の発明
は、前記復元手段は、前記点ひろがり関数画像における
ブレ軌跡に垂直方向の画素の輝度値としてブレ軌跡の線
分からの距離の絶対値に関する負の一次関数に基づき演
算した値を使用し、ブレ軌跡の端点周辺の画素の輝度値
としてブレ軌跡の端点からの距離の絶対値に関する負の
一次関数に基づき演算した値を使用することを特徴とす
る。

【００２７】上記目的を達成するため、請求項９の発明
は、前記復元手段は、前記点ひろがり関数画像における
ブレ軌跡に垂直方向の画素の輝度値及びブレ軌跡の端点
周辺の画素の輝度値としてブレ軌跡上の画素と同じ値を
使用することを特徴とする。

【００２８】上記目的を達成するため、請求項１０の発
明は、撮影動作等により劣化したブレ画像を原画像に近
い画像に復元する画像復元装置であって、ブレ軌跡デー
タに基づき生成した点ひろがり関数画像及びブレ画像か
ら画像復元アルゴリズムに従って復元画像を生成する復
元手段を有し、該復元手段は、前記点ひろがり関数画像
を生成する際に、ブレ軌跡上の画素の輝度値として前記
ブレ軌跡データから得た値を使用し、ブレ軌跡周辺の画
素の輝度値として任意に指定した値を使用することを特
徴とする。

【００２９】上記目的を達成するため、請求項１１の発
明は、前記復元手段は、前記点ひろがり関数画像におけ
るブレ軌跡周辺の画素の輝度値として、任意に指定した
ブレ軌跡周辺の有限領域内の画素に対して任意に指定し
た値を使用することを特徴とする。

【００３０】上記目的を達成するため、請求項１２の発
明は、前記ブレ軌跡データは、対象画像の撮影時に撮像
装置から得る方法或いは対象画像自体から演算により求
める方法により取得されたデータであることを特徴とす
る。

【００３１】上記目的を達成するため、請求項１３の発
明は、撮像装置で撮影された画像情報及び前記点ひろが
り関数画像の生成に必要なブレ情報を記憶する記憶手段
を有することを特徴とする。

【００３２】上記目的を達成するため、請求項１４の発
明は、撮影動作等により劣化したブレ画像を原画像に近
い画像に復元する画像復元方法であって、ブレ軌跡デー
タに基づき生成した点ひろがり関数画像及びブレ画像か
ら画像復元アルゴリズムに従って復元画像を生成する復
元ステップを有し、該復元ステップでは、ブレ軌跡上の
画素周辺の画素の輝度値も考慮して復元を行うことを特
徴とする。

【００３３】上記目的を達成するため、請求項１５の発
明は、撮影動作等により劣化したブレ画像を原画像に近
い画像に復元する画像復元方法であって、ブレ軌跡デー
タに基づき生成した点ひろがり関数画像及びブレ画像か
ら画像復元アルゴリズムに従って復元画像を生成する復
元ステップを有し、該復元ステップでは、前記点ひろが
り関数画像を生成する際に、ブレ軌跡上の画素の輝度値
として前記ブレ軌跡データから得た値を使用し、ブレ軌
跡に垂直方向の画素の輝度値として前記ブレ軌跡データ
から関数に基づき演算した値を使用することを特徴とす
る。

【００３４】上記目的を達成するため、請求項１６の発
明は、前記復元ステップでは、前記点ひろがり関数画像
におけるブレ軌跡に垂直方向の画素の輝度値としてブレ
軌跡の線分からの距離のボケ劣化特性を持つ関数に基づ
き演算した値を使用することを特徴とする。

【００３５】上記目的を達成するため、請求項１７の発
明は、前記復元ステップでは、前記点ひろがり関数画像
におけるブレ軌跡に垂直方向の画素の輝度値としてブレ
軌跡の線分からの距離の絶対値に関する負の一次関数に
基づき演算した値を使用することを特徴とする。

【００３６】上記目的を達成するため、請求項１８の発
明は、前記復元ステップでは、前記点ひろがり関数画像
におけるブレ軌跡に垂直方向の画素の輝度値としてブレ
軌跡上の画素と同じ値を使用することを特徴とする。

【００３７】上記目的を達成するため、請求項１９の発
明は、撮影動作等により劣化したブレ画像を原画像に近
い画像に復元する画像復元方法であって、ブレ軌跡デー
タに基づき生成した点ひろがり関数画像及びブレ画像か
ら画像復元アルゴリズムに従って復元画像を生成する復
元ステップを有し、該復元ステップでは、前記点ひろが
り関数画像を生成する際に、ブレ軌跡上の画素の輝度値
として前記ブレ軌跡データから得た値を使用し、ブレ軌
跡に垂直方向の画素の輝度値として前記ブレ軌跡データ
から関数に基づき演算した値を使用し、ブレ軌跡の端点
周辺の画素の輝度値として前記ブレ軌跡データから関数
に基づき演算した値を使用することを特徴とする。

【００３８】上記目的を達成するため、請求項２０の発
明は、前記復元ステップでは、前記点ひろがり関数画像
におけるブレ軌跡に垂直方向の画素の輝度値としてブレ
軌跡の線分からの距離のボケ劣化特性を持つ関数に基づ
き演算した値を使用し、ブレ軌跡の端点周辺の画素の輝
度値としてブレ軌跡の端点からの距離のボケ劣化特性を
持つ関数に基づき演算した値を使用することを特徴とす
る。

【００３９】上記目的を達成するため、請求項２１の発
明は、前記復元ステップでは、前記点ひろがり関数画像
におけるブレ軌跡に垂直方向の画素の輝度値としてブレ
軌跡の線分からの距離の絶対値に関する負の一次関数に
基づき演算した値を使用し、ブレ軌跡の端点周辺の画素
の輝度値としてブレ軌跡の端点からの距離の絶対値に関
する負の一次関数に基づき演算した値を使用することを
特徴とする。

【００４０】上記目的を達成するため、請求項２２の発
明は、前記復元ステップでは、前記点ひろがり関数画像
におけるブレ軌跡に垂直方向の画素の輝度値及びブレ軌
跡の端点周辺の画素の輝度値としてブレ軌跡上の画素と
同じ値を使用することを特徴とする。

【００４１】上記目的を達成するため、請求項２３の発
明は、撮影動作等により劣化したブレ画像を原画像に近
い画像に復元する画像復元方法であって、ブレ軌跡デー
タに基づき生成した点ひろがり関数画像及びブレ画像か
ら画像復元アルゴリズムに従って復元画像を生成する復
元ステップを有し、該復元ステップでは、前記点ひろが
り関数画像を生成する際に、ブレ軌跡上の画素の輝度値
として前記ブレ軌跡データから得た値を使用し、ブレ軌
跡周辺の画素の輝度値として任意に指定した値を使用す
ることを特徴とする。

【００４２】上記目的を達成するため、請求項２４の発
明は、前記復元ステップでは、前記点ひろがり関数画像
におけるブレ軌跡周辺の画素の輝度値として、任意に指
定したブレ軌跡周辺の有限領域内の画素に対して任意に
指定した値を使用することを特徴とする。

【００４３】上記目的を達成するため、請求項２５の発
明は、前記ブレ軌跡データは、対象画像の撮影時に撮像
装置から得る方法或いは対象画像自体から演算により求
める方法により取得されたデータであることを特徴とす
る。

【００４４】上記目的を達成するため、請求項２６の発
明は、撮像装置で撮影された画像情報及び前記点ひろが
り関数画像の生成に必要なブレ情報を記憶する記憶ステ
ップを有することを特徴とする。

【００４５】

【発明の実施の形態】以下、本発明の実施の形態を図面
を参照して説明する。

【００４６】［１］第１の実施の形態 図１は本発明の第１の実施の形態に係る画像復元装置の
構成を示すブロック図である。第１の実施の形態に係る
画像復元装置は、メモリ１０１と、ＰＳＦ計算ブロック
１０２と、計算ブロック１０３と、メモリ１０４と、モ
ニタ１０５と、画像ファイル１０６とを備える構成とな
っている。画像復元装置は、例えばデジタルカメラや銀
塩カメラ等の撮像装置によって撮影された画像中のブレ
を減少させて、元の画像に近い画像を復元する場合に適
用されるものであり、後述の手順を実現する。

【００４７】上記各部の構成を詳述すると、メモリ１０
１には、例えばデジタルカメラ等の撮像装置から或いは
銀塩カメラ等の撮像装置によって撮影されたフィルムか
ら、フィルムスキャナを用いる等の手法によって取得さ
れたデジタル画像の画像情報の一画面分が記憶される。
また、メモリ１０１には、上記の撮像装置に装備されて
いるセンサによるブレ検知や演算によって得られたブレ
情報１と、本発明で示したＰＳＦ画像生成に必要なブレ
情報２が記憶される。

【００４８】ＰＳＦ計算ブロック１０２は、メモリ１０
１に記憶されたブレ情報１及びブレ情報２に基づきＰＳ
Ｆ画像を生成する。計算ブロック１０３は、メモリ１０
１から供給された画像情報、及びＰＳＦ計算ブロック１
０２から供給されたＰＳＦ画像情報に基づき、画像復元
アルゴリズムに従って復元画像を生成する。メモリ１０
４には、計算ブロック１０３で生成された復元画像が記
憶される。モニタ１０５は、メモリ１０４から出力され
た復元画像を表示する。画像ファイル１０６は、メモリ
１０４から出力された復元画像を格納する。

【００４９】次に、上記の如く構成してなる本発明の第
１の実施の形態に係る画像復元装置により、ブレ劣化に
加えボケ劣化特性を利用したＰＳＦ画像を用いる方法に
ついて詳細に説明する。

【００５０】本発明では、ＰＳＦ画像としてブレ方向
（Ｘ−Ｘ′）上の画素に加え、その周辺画素の影響も含
めた劣化関数を提案した。その第１の実施の形態とし
て、ブレ劣化に加えボケ劣化特性を利用したＰＳＦ画像
を用いる方法について以下に述べる。この場合、ブレ軌
跡データは、対象画像の撮影時に撮像装置から得られる
方法や対象画像自体から演算により求める方法によっ
て、既に取得されているものとする。

【００５１】先ず、一般にボケ修正に用いる劣化関数に
ついて説明する。中心画素からの距離をｒ、正規分布法
則の任意のパラメータをσの二乗とすると、上記ボケ修
正に用いる劣化関数は、

【００５２】

【数７】 で表される関数となる。

【００５３】第１の実施の形態では、ブレ軌跡上の各画
素は、ブレ方向に垂直な方向に式（１０）で示すような
ボケ劣化が生じていると考える。従って、ブレ軌跡（Ｘ
−Ｘ′）の周辺画素は、ブレ軌跡の線分からの距離ｒの
関数、

【００５４】

【数８】 として与えられる輝度値ｚ（ｒ）となる。そして、上式
（１１）により輝度値を与える画素は、ブレ軌跡の線分
からの距離が有限値ｒ０以内とする。

【００５５】図２は上記理論によるＰＳＦ画像の一例を
示す図である。輝度値の関数を示す図２右は、ブレ軌跡
上の各画素がブレ方向に垂直な方向にボケ劣化の特性を
持つことを示している。

【００５６】以下に、従来技術で示したＰＳＦ画像との
相違点を示す。 （ａ）ブレ方向（Ｘ−Ｘ′）上の画素は、従来同様一定
輝度値を持つ。 （ｂ）ブレ軌跡（Ｘ−Ｘ′）の周辺画素は、従来技術で
は輝度値０（乃至はごく微小）であるが、第１の実施の
形態では、ブレ軌跡の線分からの距離ｒの関数式（１
１）として与えられる輝度値となる。 （ｃ）上記（ｂ）の関数により輝度値を与える領域は、
ブレ軌跡からの距離ｒ０以内とし、その領域外の画素は
輝度値０とする。

【００５７】図３は上記図２で示されるＰＳＦ画像の中
心画素周辺部（斜線部画素はＰＳＦ画像中心）の輝度値
を示す。例えば、ブレ軌跡上の画素の輝度値はｚ
（０）、ブレ軌跡からの距離が１画素または２画素で
は、従来は輝度値０（乃至はごく微小）であったのに対
し、第１の実施の形態ではそれぞれ輝度値ｚ（１）、ｚ
（２）が与えられる。

【００５８】以上説明したように、本発明の第１の実施
の形態によれば、画像復元装置は、デジタルカメラや銀
塩カメラ等の撮像装置から得た画像情報の一画面分、撮
像装置から得たブレ情報１、ＰＳＦ画像生成に必要なブ
レ情報２を記憶するメモリ１０１と、メモリ１０１に記
憶されたブレ情報１及びブレ情報２に基づきＰＳＦ画像
を生成するＰＳＦ計算ブロック１０２と、メモリ１０１
から供給された画像情報及びＰＳＦ計算ブロック１０２
から供給されたＰＳＦ画像情報に基づき、画像復元アル
ゴリズムに従って復元画像を生成する計算ブロック１０
３とを有すると共に、ブレ方向上の画素は従来同様一定
輝度値とし、ブレ軌跡の周辺画素はブレ軌跡の線分から
の距離ｒの関数式（１１）として与えられる輝度値と
し、該関数により輝度値を与える領域はブレ軌跡からの
距離ｒ０以内、その領域外の画素は輝度値０とするた
め、下記のような効果を奏する。

【００５９】本発明の第１の実施の形態では、実際のブ
レ画像の劣化モデルにより近い劣化関数を用いる。即
ち、従来技術におけるＰＳＦ画像ではブレ軌跡上の画素
以外の画素の輝度値は全て０乃至ごく微小な値であった
が、本発明の第１の実施の形態ではブレ軌跡上の画素の
輝度値は従来技術と同様の手法により得られる値を使用
し、加えて、ブレ軌跡に垂直な方向の画素の輝度値はブ
レ軌跡データから関数により演算した値を使用する。該
関数は、ブレ軌跡の線分からの距離の関数として、ボケ
劣化の特性を持つガウシアン関数を用いる。

【００６０】従って、カメラ等の撮像装置によって撮影
されたブレ画像を復元する際に、現実の劣化モデルに近
い劣化関数を与えることが可能となる。例えば視覚的に
は直線ブレであっても厳密には非直線であるためブレ軌
跡からずれた画素の影響がある場合や、露光漏れ等の影
響からブレによる劣化に加えて周辺画素に対するボケが
生じている場合等でも、本実施の形態による劣化関数を
適用することにより、効果的な画像復元を行うことが可
能となり、従来と比較して良好な画像復元効果が得られ
る。

【００６１】更に、ブレ軌跡の端点周辺の画素の輝度値
もまた、ブレ軌跡データから関数により演算した値を使
用することにより、画像復元効果は更に向上する。上記
により提供される劣化モデルに適応しない場合、ブレ軌
跡周辺画素の輝度値に関しては、任意に指定した輝度値
を任意に指定した有限領域内の画素にのみ使用すること
により、より柔軟に対応可能な画像復元が可能となる。
更には、本実施の形態による劣化関数は、任意に指定し
た値またはブレ軌跡からの距離の関数として表されるた
め、演算負荷も従来と殆ど変わらないという効果があ
る。

【００６２】［２］第２の実施の形態 本発明の第２の実施の形態に係る画像復元装置は、上記
第１の実施の形態と同様に、メモリ１０１と、ＰＳＦ計
算ブロック１０２と、計算ブロック１０３と、メモリ１
０４と、モニタ１０５と、画像ファイル１０６とを備え
る構成となっている。画像復元装置は、例えばデジタル
カメラや銀塩カメラ等の撮像装置によって撮影された画
像中のブレを減少させて、元の画像に近い画像を復元す
る場合に適用されるものであり、後述の手順を実現す
る。画像復元装置各部の詳細については上記第１の実施
の形態で詳述したので説明を省略する。

【００６３】上記第１の実施の形態においては、ブレ軌
跡周辺の画素の輝度値を与える関数としてボケの特性を
表す関数（上記図２右）を用いた。第２の実施の形態に
おいては、上記第１の実施の形態で用いた式（１１）の
代わりに、矩形波或いは三角波を用いる方法について説
明する。

【００６４】図４（ａ）は矩形波を用いた場合の例を示
す図であり、図４（ｂ）は三角波を用いた場合の例を示
す図である。矩形波の場合、ブレ軌跡の線分からの距離
が既定値ｒ０以内であれば、従来と同様の手法により、
ブレ軌跡データから得た輝度値ｚ（０）（＝一定値）を
与える。即ち、 ｚ（ｒ）＝ｚ（０） （−ｒ０≦ｒ≦ｒ０） ｚ（ｒ）＝０ （ｏｔｈｅｒ） ・・・（１２） で与えられる輝度値を持つ。

【００６５】また、三角波の場合、ブレ軌跡上の画素の
輝度値をｚ（０）とし、ブレ軌跡の線分からの距離ｒの
絶対値に関する負の一次関数を用いる。また、距離ｒが
既定値ｒ０以上の画素の輝度値は０とする。即ち、一次
関数の傾きをａとすると、 ｚ（ｒ）＝ｚ（０）−ａ｜ｒ｜ （−ｒ０≦ｒ≦ｒ０） ｚ（ｒ）＝０ （ｏｔｈｅｒ） ・・・（１３） で与えられる輝度値を持つ。

【００６６】以上説明したように、本発明の第２の実施
の形態によれば、画像復元装置は、デジタルカメラや銀
塩カメラ等の撮像装置から得た画像情報の一画面分、撮
像装置から得たブレ情報１、ＰＳＦ画像生成に必要なブ
レ情報２を記憶するメモリ１０１と、メモリ１０１に記
憶されたブレ情報１及びブレ情報２に基づきＰＳＦ画像
を生成するＰＳＦ計算ブロック１０２と、メモリ１０１
から供給された画像情報及びＰＳＦ計算ブロック１０２
から供給されたＰＳＦ画像情報に基づき、画像復元アル
ゴリズムに従って復元画像を生成する計算ブロック１０
３とを有すると共に、上記第１の実施の形態で用いた式
（１１）の代わりに矩形波或いは三角波を用いる方法を
とり、矩形波の場合は、ブレ軌跡の線分からの距離が既
定値以内であればブレ軌跡データから得た輝度値を与
え、三角波の場合は、ブレ軌跡上の画素の輝度値につい
てブレ軌跡の線分からの距離の絶対値に関する負の一次
関数を用いるため、下記のような効果を奏する。

【００６７】カメラ等の撮像装置によって撮影されたブ
レ画像を復元する際に、現実の劣化モデルに近い劣化関
数を与えることが可能となる。例えば、視覚的には直線
ブレであっても厳密には非直線であるためブレ軌跡から
ずれた画素の影響がある場合や、露光漏れ等の影響から
ブレによる劣化に加えて周辺画素に対するボケが生じて
いる場合等でも、本発明の劣化関数を適用することによ
り、従来と比較して良好な画像復元効果が得られる。更
には、演算負荷も従来と殆ど変わらないという効果があ
る。

【００６８】［３］第３の実施の形態 本発明の第３の実施の形態に係る画像復元装置は、上記
第１の実施の形態と同様に、メモリ１０１と、ＰＳＦ計
算ブロック１０２と、計算ブロック１０３と、メモリ１
０４と、モニタ１０５と、画像ファイル１０６とを備え
る構成となっている。画像復元装置は、例えばデジタル
カメラや銀塩カメラ等の撮像装置によって撮影された画
像中のブレを減少させて、元の画像に近い画像を復元す
る場合に適用されるものであり、後述の手順を実現す
る。画像復元装置各部の詳細については上記第１の実施
の形態で詳述したので説明を省略する。

【００６９】上記第１の実施の形態及び第２の実施の形
態においては、図５に示す如く、ブレ軌跡上の画素に加
え、軌跡に垂直な方向の画素（図５の斜線部領域）に対
し上述したような関数による輝度値を与えた。しかし、
ブレ軌跡の端点周辺（図５の領域Ａ及び領域Ｂ）に注目
すると、領域Ａ、領域Ｂに対しても端点からの距離の関
数等によって輝度値を与えることになり、更に現実の劣
化モデルに近づく。

【００７０】第３の実施の形態においては、ブレ軌跡に
垂直な方向の画素の輝度値を与える関数を、同じくブレ
軌跡の端点周辺の画素の輝度値を与える関数として利用
する。即ち、例えば上記第１の実施の形態で用いた関数
式（１１）を用いる場合、領域Ａ、領域Ｂ内の画素の輝
度値もまた、端点からの距離ｒの関数式（１１）により
与える。また、距離ｒが既定値ｒ０以上の画素の輝度値
は０とする。また、上記第２の実施の形態における矩形
波、三角波を用いる場合も同様である。

【００７１】以上説明したように、本発明の第３の実施
の形態によれば、画像復元装置は、デジタルカメラや銀
塩カメラ等の撮像装置から得た画像情報の一画面分、撮
像装置から得たブレ情報１、ＰＳＦ画像生成に必要なブ
レ情報２を記憶するメモリ１０１と、メモリ１０１に記
憶されたブレ情報１及びブレ情報２に基づきＰＳＦ画像
を生成するＰＳＦ計算ブロック１０２と、メモリ１０１
から供給された画像情報及びＰＳＦ計算ブロック１０２
から供給されたＰＳＦ画像情報に基づき、画像復元アル
ゴリズムに従って復元画像を生成する計算ブロック１０
３とを有すると共に、ブレ軌跡に垂直な方向の画素の輝
度値を与える関数を、同じくブレ軌跡の端点周辺の画素
の輝度値を与える関数として利用するため、下記のよう
な効果を奏する。

【００７２】カメラ等の撮像装置によって撮影されたブ
レ画像を復元する際に、現実の劣化モデルに近い劣化関
数を与えることが可能となる。例えば、視覚的には直線
ブレであっても厳密には非直線であるためブレ軌跡から
ずれた画素の影響がある場合や、露光漏れ等の影響から
ブレによる劣化に加えて周辺画素に対するボケが生じて
いる場合等でも、本発明による劣化関数を適用すること
により、従来と比較して良好な画像復元効果が得られ
る。更には、演算負荷も従来と殆ど変わらないという効
果がある。

【００７３】尚、本発明は、複数の機器から構成される
システムに適用しても、１つの機器からなる装置に適用
してもよい。前述した実施形態の機能を実現するソフト
ウエアのプログラムコードを記憶した記憶媒体を、シス
テム或いは装置に供給し、そのシステム或いは装置のコ
ンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納
されたプログラムコードを読み出し実行することによっ
ても、達成されることは言うまでもない。

【００７４】この場合、記憶媒体から読み出されたプロ
グラムコード自体が前述した実施形態の機能を実現する
ことになり、そのプログラムコードを記憶した記憶媒体
は本発明を構成することになる。

【００７５】プログラムコードを供給するための記憶媒
体としては、例えば、フロッピディスク、ハードディス
ク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ
−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭな
どを用いることができる。

【００７６】また、コンピュータが読出したプログラム
コードを実行することにより、前述した実施形態の機能
が実現されるだけでなく、そのプログラムコードの指示
に基づき、コンピュータ上で稼働しているＯＳなどが実
際の処理の一部または全部を行い、その処理によって前
述した実施形態の機能が実現される場合も含まれること
は言うまでもない。

【００７７】更に、記憶媒体から読出されたプログラム
コードが、コンピュータに挿入された機能拡張ボードや
コンピュータに接続された機能拡張ユニットに備わるメ
モリに書込まれた後、そのプログラムコードの指示に基
づき、その機能拡張ボードや機能拡張ユニットに備わる
ＣＰＵなどが実際の処理の一部または全部を行い、その
処理によって前述した実施形態の機能が実現される場合
も含まれることは言うまでもない。

【００７８】

【発明の効果】以上説明したように、請求項１の発明に
よれば、撮影動作等により劣化したブレ画像を原画像に
近い画像に復元する画像復元装置であって、ブレ軌跡デ
ータに基づき生成した点ひろがり関数画像及びブレ画像
から画像復元アルゴリズムに従って復元画像を生成する
復元手段を有し、該復元手段は、ブレ軌跡上の画素周辺
の画素の輝度値も考慮して復元を行う。従って、従来と
比較して良好な画像復元効果を得ることが可能になると
いう効果がある。

【００７９】請求項２の発明によれば、撮影動作等によ
り劣化したブレ画像を原画像に近い画像に復元する画像
復元装置であって、ブレ軌跡データに基づき生成した点
ひろがり関数画像及びブレ画像から画像復元アルゴリズ
ムに従って復元画像を生成する復元手段を有し、該復元
手段は、前記点ひろがり関数画像を生成する際に、ブレ
軌跡上の画素の輝度値として前記ブレ軌跡データから得
た値を使用し、ブレ軌跡に垂直方向の画素の輝度値とし
て前記ブレ軌跡データから関数に基づき演算した値を使
用する。従って、カメラ等の撮像装置によって撮影され
たブレ画像を復元する際に、現実の劣化モデルに近い劣
化関数を与えることが可能となる。例えば、視覚的には
直線ブレであっても厳密には非直線であるためブレ軌跡
からずれた画素の影響がある場合や、露光漏れ等の影響
からブレによる劣化に加えて周辺画素に対するボケが生
じている場合等でも、本発明による劣化関数を適用する
ことにより、従来と比較して良好な画像復元効果が得ら
れる。更には、本発明による劣化関数は、任意に指定し
た値またはブレ軌跡からの距離の関数として表されるた
め、演算負荷も従来と殆ど変わらないという効果があ
る。

【００８０】請求項３の発明によれば、前記復元手段
は、前記点ひろがり関数画像におけるブレ軌跡に垂直方
向の画素の輝度値としてブレ軌跡の線分からの距離のボ
ケ劣化特性を持つ関数に基づき演算した値を使用する。
従って、上記請求項２の発明と同様に、現実の劣化モデ
ルに近い劣化関数を与えることが可能となり、従来と比
較して良好な画像復元効果が得られる等の効果がある。

【００８１】請求項４の発明によれば、前記復元手段
は、前記点ひろがり関数画像におけるブレ軌跡に垂直方
向の画素の輝度値としてブレ軌跡の線分からの距離の絶
対値に関する負の一次関数に基づき演算した値を使用す
る。従って、上記請求項２の発明と同様に、現実の劣化
モデルに近い劣化関数を与えることが可能となり、従来
と比較して良好な画像復元効果が得られる等の効果があ
る。

【００８２】請求項５の発明によれば、前記復元手段
は、前記点ひろがり関数画像におけるブレ軌跡に垂直方
向の画素の輝度値としてブレ軌跡上の画素と同じ値を使
用する。従って、上記請求項２の発明と同様に、従来と
比較して良好な画像復元効果が得られる等の効果があ
る。

【００８３】請求項６の発明によれば、撮影動作等によ
り劣化したブレ画像を原画像に近い画像に復元する画像
復元装置であって、ブレ軌跡データに基づき生成した点
ひろがり関数画像及びブレ画像から画像復元アルゴリズ
ムに従って復元画像を生成する復元手段を有し、該復元
手段は、前記点ひろがり関数画像を生成する際に、ブレ
軌跡上の画素の輝度値として前記ブレ軌跡データから得
た値を使用し、ブレ軌跡に垂直方向の画素の輝度値とし
て前記ブレ軌跡データから関数に基づき演算した値を使
用し、ブレ軌跡の端点周辺の画素の輝度値として前記ブ
レ軌跡データから関数に基づき演算した値を使用する。
従って、カメラ等の撮像装置によって撮影されたブレ画
像を復元する際に、現実の劣化モデルに近い劣化関数を
与えることが可能となる。例えば、視覚的には直線ブレ
であっても厳密には非直線であるためブレ軌跡からずれ
た画素の影響がある場合や、露光漏れ等の影響からブレ
による劣化に加えて周辺画素に対するボケが生じている
場合等でも、本発明による劣化関数を適用することによ
り、従来と比較して良好な画像復元効果が得られる。更
には、本発明による劣化関数は、任意に指定した値また
はブレ軌跡からの距離の関数として表されるため、演算
負荷も従来と殆ど変わらないという効果がある。

【００８４】請求項７の発明によれば、前記復元手段
は、前記点ひろがり関数画像におけるブレ軌跡に垂直方
向の画素の輝度値としてブレ軌跡の線分からの距離のボ
ケ劣化特性を持つ関数に基づき演算した値を使用し、ブ
レ軌跡の端点周辺の画素の輝度値としてブレ軌跡の端点
からの距離のボケ劣化特性を持つ関数に基づき演算した
値を使用する。従って、上記請求項６の発明と同様に、
現実の劣化モデルに近い劣化関数を与えることが可能と
なり、従来と比較して良好な画像復元効果が得られる等
の効果がある。

【００８５】請求項８の発明によれば、前記復元手段
は、前記点ひろがり関数画像におけるブレ軌跡に垂直方
向の画素の輝度値としてブレ軌跡の線分からの距離の絶
対値に関する負の一次関数に基づき演算した値を使用
し、ブレ軌跡の端点周辺の画素の輝度値としてブレ軌跡
の端点からの距離の絶対値に関する負の一次関数に基づ
き演算した値を使用する。従って、上記請求項６の発明
と同様に、現実の劣化モデルに近い劣化関数を与えるこ
とが可能となり、従来と比較して良好な画像復元効果が
得られる等の効果がある。

【００８６】請求項９の発明によれば、前記復元手段
は、前記点ひろがり関数画像におけるブレ軌跡に垂直方
向の画素の輝度値及びブレ軌跡の端点周辺の画素の輝度
値としてブレ軌跡上の画素と同じ値を使用する。従っ
て、上記請求項６の発明と同様に、従来と比較して良好
な画像復元効果が得られる等の効果がある。

【００８７】請求項１０の発明によれば、撮影動作等に
より劣化したブレ画像を原画像に近い画像に復元する画
像復元装置であって、ブレ軌跡データに基づき生成した
点ひろがり関数画像及びブレ画像から画像復元アルゴリ
ズムに従って復元画像を生成する復元手段を有し、該復
元手段は、前記点ひろがり関数画像を生成する際に、ブ
レ軌跡上の画素の輝度値として前記ブレ軌跡データから
得た値を使用し、ブレ軌跡周辺の画素の輝度値として任
意に指定した値を使用する。従って、カメラ等の撮像装
置によって撮影されたブレ画像を復元する際に、現実の
劣化モデルに近い劣化関数を与えることが可能となる。
例えば、視覚的には直線ブレであっても厳密には非直線
であるためブレ軌跡からずれた画素の影響がある場合
や、露光漏れ等の影響からブレによる劣化に加えて周辺
画素に対するボケが生じている場合等でも、本発明によ
る劣化関数を適用することにより、従来と比較して良好
な画像復元効果が得られる。更には、本発明による劣化
関数は、任意に指定した値またはブレ軌跡からの距離の
関数として表されるため、演算負荷も従来と殆ど変わら
ないという効果がある。

【００８８】請求項１１の発明によれば、前記復元手段
は、前記点ひろがり関数画像におけるブレ軌跡周辺の画
素の輝度値として、任意に指定したブレ軌跡周辺の有限
領域内の画素に対して任意に指定した値を使用する。従
って、上記請求項１０の発明と同様に、従来と比較して
良好な画像復元効果が得られる等の効果がある。

【００８９】請求項１２の発明によれば、前記ブレ軌跡
データは、対象画像の撮影時に撮像装置から得る方法或
いは対象画像自体から演算により求める方法により取得
されたデータである。従って、予め取得してある前記ブ
レ軌跡データに基づき前記点ひろがり関数画像を生成す
る際、前記復元手段で上述した関数を使用することで、
上記と同様に、従来と比較して良好な画像復元効果が得
られる等の効果がある。

【００９０】請求項１３の発明によれば、撮像装置で撮
影された画像情報及び前記点ひろがり関数画像の生成に
必要なブレ情報を記憶する記憶手段を有する。従って、
該記憶手段に記憶された画像情報及びブレ情報に基づ
き、前記復元手段で上述した関数を使用して復元画像を
生成することで、上記と同様に、従来と比較して良好な
画像復元効果が得られる等の効果がある。

【００９１】請求項１４の発明によれば、撮影動作等に
より劣化したブレ画像を原画像に近い画像に復元する画
像復元方法であって、ブレ軌跡データに基づき生成した
点ひろがり関数画像及びブレ画像から画像復元アルゴリ
ズムに従って復元画像を生成する復元ステップを有し、
該復元ステップでは、ブレ軌跡上の画素周辺の画素の輝
度値も考慮して復元を行う。従って、従来と比較して良
好な画像復元効果を得ることが可能になるという効果が
ある。

【００９２】請求項１５の発明によれば、撮影動作等に
より劣化したブレ画像を原画像に近い画像に復元する画
像復元方法であって、ブレ軌跡データに基づき生成した
点ひろがり関数画像及びブレ画像から画像復元アルゴリ
ズムに従って復元画像を生成する復元ステップを有し、
該復元ステップでは、前記点ひろがり関数画像を生成す
る際に、ブレ軌跡上の画素の輝度値として前記ブレ軌跡
データから得た値を使用し、ブレ軌跡に垂直方向の画素
の輝度値として前記ブレ軌跡データから関数に基づき演
算した値を使用する。従って、カメラ等の撮像装置によ
って撮影されたブレ画像を復元する際に、現実の劣化モ
デルに近い劣化関数を与えることが可能となる。例え
ば、視覚的には直線ブレであっても厳密には非直線であ
るためブレ軌跡からずれた画素の影響がある場合や、露
光漏れ等の影響からブレによる劣化に加えて周辺画素に
対するボケが生じている場合等でも、本発明による劣化
関数を適用することにより、従来と比較して良好な画像
復元効果が得られる。更には、本発明による劣化関数
は、任意に指定した値またはブレ軌跡からの距離の関数
として表されるため、演算負荷も従来と殆ど変わらない
という効果がある。

【００９３】請求項１６の発明によれば、前記復元ステ
ップでは、前記点ひろがり関数画像におけるブレ軌跡に
垂直方向の画素の輝度値としてブレ軌跡の線分からの距
離のボケ劣化特性を持つ関数に基づき演算した値を使用
する。従って、上記請求項１５の発明と同様に、現実の
劣化モデルに近い劣化関数を与えることが可能となり、
従来と比較して良好な画像復元効果が得られる等の効果
がある。

【００９４】請求項１７の発明によれば、前記復元ステ
ップでは、前記点ひろがり関数画像におけるブレ軌跡に
垂直方向の画素の輝度値としてブレ軌跡の線分からの距
離の絶対値に関する負の一次関数に基づき演算した値を
使用する。従って、上記請求項１５の発明と同様に、現
実の劣化モデルに近い劣化関数を与えることが可能とな
り、従来と比較して良好な画像復元効果が得られる等の
効果がある。

【００９５】請求項１８の発明によれば、前記復元ステ
ップでは、前記点ひろがり関数画像におけるブレ軌跡に
垂直方向の画素の輝度値としてブレ軌跡上の画素と同じ
値を使用する。従って、上記請求項１５の発明と同様
に、従来と比較して良好な画像復元効果が得られる等の
効果がある。

【００９６】請求項１９の発明によれば、撮影動作等に
より劣化したブレ画像を原画像に近い画像に復元する画
像復元方法であって、ブレ軌跡データに基づき生成した
点ひろがり関数画像及びブレ画像から画像復元アルゴリ
ズムに従って復元画像を生成する復元ステップを有し、
該復元ステップでは、前記点ひろがり関数画像を生成す
る際に、ブレ軌跡上の画素の輝度値として前記ブレ軌跡
データから得た値を使用し、ブレ軌跡に垂直方向の画素
の輝度値として前記ブレ軌跡データから関数に基づき演
算した値を使用し、ブレ軌跡の端点周辺の画素の輝度値
として前記ブレ軌跡データから関数に基づき演算した値
を使用する。従って、カメラ等の撮像装置によって撮影
されたブレ画像を復元する際に、現実の劣化モデルに近
い劣化関数を与えることが可能となる。例えば、視覚的
には直線ブレであっても厳密には非直線であるためブレ
軌跡からずれた画素の影響がある場合や、露光漏れ等の
影響からブレによる劣化に加えて周辺画素に対するボケ
が生じている場合等でも、本発明による劣化関数を適用
することにより、従来と比較して良好な画像復元効果が
得られる。更には、本発明による劣化関数は、任意に指
定した値またはブレ軌跡からの距離の関数として表され
るため、演算負荷も従来と殆ど変わらないという効果が
ある。

【００９７】請求項２０の発明によれば、前記復元ステ
ップでは、前記点ひろがり関数画像におけるブレ軌跡に
垂直方向の画素の輝度値としてブレ軌跡の線分からの距
離のボケ劣化特性を持つ関数に基づき演算した値を使用
し、ブレ軌跡の端点周辺の画素の輝度値としてブレ軌跡
の端点からの距離のボケ劣化特性を持つ関数に基づき演
算した値を使用する。従って、上記請求項１９の発明と
同様に、現実の劣化モデルに近い劣化関数を与えること
が可能となり、従来と比較して良好な画像復元効果が得
られる等の効果がある。

【００９８】請求項２１の発明によれば、前記復元ステ
ップでは、前記点ひろがり関数画像におけるブレ軌跡に
垂直方向の画素の輝度値としてブレ軌跡の線分からの距
離の絶対値に関する負の一次関数に基づき演算した値を
使用し、ブレ軌跡の端点周辺の画素の輝度値としてブレ
軌跡の端点からの距離の絶対値に関する負の一次関数に
基づき演算した値を使用する。従って、上記請求項１９
の発明と同様に、現実の劣化モデルに近い劣化関数を与
えることが可能となり、従来と比較して良好な画像復元
効果が得られる等の効果がある。

【００９９】請求項２２の発明によれば、前記復元ステ
ップでは、前記点ひろがり関数画像におけるブレ軌跡に
垂直方向の画素の輝度値及びブレ軌跡の端点周辺の画素
の輝度値としてブレ軌跡上の画素と同じ値を使用する。
従って、上記請求項１９の発明と同様に、従来と比較し
て良好な画像復元効果が得られる等の効果がある。

【０１００】請求項２３の発明によれば、撮影動作等に
より劣化したブレ画像を原画像に近い画像に復元する画
像復元方法であって、ブレ軌跡データに基づき生成した
点ひろがり関数画像及びブレ画像から画像復元アルゴリ
ズムに従って復元画像を生成する復元ステップを有し、
該復元ステップでは、前記点ひろがり関数画像を生成す
る際に、ブレ軌跡上の画素の輝度値として前記ブレ軌跡
データから得た値を使用し、ブレ軌跡周辺の画素の輝度
値として任意に指定した値を使用する。従って、カメラ
等の撮像装置によって撮影されたブレ画像を復元する際
に、現実の劣化モデルに近い劣化関数を与えることが可
能となる。例えば、視覚的には直線ブレであっても厳密
には非直線であるためブレ軌跡からずれた画素の影響が
ある場合や、露光漏れ等の影響からブレによる劣化に加
えて周辺画素に対するボケが生じている場合等でも、本
発明による劣化関数を適用することにより、従来と比較
して良好な画像復元効果が得られる。更には、本発明に
よる劣化関数は、任意に指定した値またはブレ軌跡から
の距離の関数として表されるため、演算負荷も従来と殆
ど変わらないという効果がある。

【０１０１】請求項２４の発明によれば、前記復元ステ
ップでは、前記点ひろがり関数画像におけるブレ軌跡周
辺の画素の輝度値として、任意に指定したブレ軌跡周辺
の有限領域内の画素に対して任意に指定した値を使用す
る。従って、上記請求項２３の発明と同様に、従来と比
較して良好な画像復元効果が得られる等の効果がある。

【０１０２】請求項２５の発明によれば、前記ブレ軌跡
データは、対象画像の撮影時に撮像装置から得る方法或
いは対象画像自体から演算により求める方法により取得
されたデータである。従って、予め取得してある前記ブ
レ軌跡データに基づき前記点ひろがり関数画像を生成す
る際、前記復元ステップで上述した関数を使用すること
で、上記と同様に、従来と比較して良好な画像復元効果
が得られる等の効果がある。

【０１０３】請求項２６の発明によれば、撮像装置で撮
影された画像情報及び前記点ひろがり関数画像の生成に
必要なブレ情報を記憶する記憶ステップを有する。従っ
て、該記憶ステップで記憶された画像情報及びブレ情報
に基づき、前記復元ステップで上述した関数を使用して
復元画像を生成することで、上記と同様に、従来と比較
して良好な画像復元効果が得られる等の効果がある。

【図面の簡単な説明】

【図１】本発明の第１乃至第３の実施の形態に係る画像
復元装置の構成を示すブロック図である。

【図２】本発明の第１の実施の形態に係るＰＳＦ画像の
一例を示す説明図である。

【図３】本発明の第１の実施の形態に係るＰＳＦ画像の
中心画素周辺部の輝度値を示す示す説明図である。

【図４】本発明の第２の実施の形態に係るブレ軌跡上の
画素の輝度値等を示す説明図であり、（ａ）は矩形波を
用いた場合の例を示す説明図、図４（ｂ）に三角波を用
いた場合の例を示す説明図である。

【図５】本発明の第１及び第２の実施の形態に係るブレ
軌跡の垂直な方向の画素やブレ軌跡の端点周辺等を示す
説明図である。

【図６】従来例に係るＰＳＦ画像を示す説明図である。

【符号の説明】 １０１、１０４ メモリ １０２ ＰＳＦ計算ブロック １０３ 計算ブロック １０５ モニタ １０６ 画像ファイル

Claims (26)

【特許請求の範囲】
1. 【請求項１】 撮影動作等により劣化したブレ画像を原
   画像に近い画像に復元する画像復元装置であって、 ブレ軌跡データに基づき生成した点ひろがり関数画像及
   びブレ画像から画像復元アルゴリズムに従って復元画像
   を生成する復元手段を有し、該復元手段は、ブレ軌跡上
   の画素周辺の画素の輝度値も考慮して復元を行うことを
   特徴とする画像復元装置。
2. 【請求項２】 撮影動作等により劣化したブレ画像を原
   画像に近い画像に復元する画像復元装置であって、 ブレ軌跡データに基づき生成した点ひろがり関数画像及
   びブレ画像から画像復元アルゴリズムに従って復元画像
   を生成する復元手段を有し、該復元手段は、前記点ひろ
   がり関数画像を生成する際に、ブレ軌跡上の画素の輝度
   値として前記ブレ軌跡データから得た値を使用し、ブレ
   軌跡に垂直方向の画素の輝度値として前記ブレ軌跡デー
   タから関数に基づき演算した値を使用することを特徴と
   する画像復元装置。
3. 【請求項３】 前記復元手段は、前記点ひろがり関数画
   像におけるブレ軌跡に垂直方向の画素の輝度値としてブ
   レ軌跡の線分からの距離のボケ劣化特性を持つ関数に基
   づき演算した値を使用することを特徴とする請求項２記
   載の画像復元装置。
4. 【請求項４】 前記復元手段は、前記点ひろがり関数画
   像におけるブレ軌跡に垂直方向の画素の輝度値としてブ
   レ軌跡の線分からの距離の絶対値に関する負の一次関数
   に基づき演算した値を使用することを特徴とする請求項
   ２記載の画像復元装置。
5. 【請求項５】 前記復元手段は、前記点ひろがり関数画
   像におけるブレ軌跡に垂直方向の画素の輝度値としてブ
   レ軌跡上の画素と同じ値を使用することを特徴とする請
   求項２記載の画像復元装置。
6. 【請求項６】 撮影動作等により劣化したブレ画像を原
   画像に近い画像に復元する画像復元装置であって、 ブレ軌跡データに基づき生成した点ひろがり関数画像及
   びブレ画像から画像復元アルゴリズムに従って復元画像
   を生成する復元手段を有し、該復元手段は、前記点ひろ
   がり関数画像を生成する際に、ブレ軌跡上の画素の輝度
   値として前記ブレ軌跡データから得た値を使用し、ブレ
   軌跡に垂直方向の画素の輝度値として前記ブレ軌跡デー
   タから関数に基づき演算した値を使用し、ブレ軌跡の端
   点周辺の画素の輝度値として前記ブレ軌跡データから関
   数に基づき演算した値を使用することを特徴とする画像
   復元装置。
7. 【請求項７】 前記復元手段は、前記点ひろがり関数画
   像におけるブレ軌跡に垂直方向の画素の輝度値としてブ
   レ軌跡の線分からの距離のボケ劣化特性を持つ関数に基
   づき演算した値を使用し、ブレ軌跡の端点周辺の画素の
   輝度値としてブレ軌跡の端点からの距離のボケ劣化特性
   を持つ関数に基づき演算した値を使用することを特徴と
   する請求項６記載の画像復元装置。
8. 【請求項８】 前記復元手段は、前記点ひろがり関数画
   像におけるブレ軌跡に垂直方向の画素の輝度値としてブ
   レ軌跡の線分からの距離の絶対値に関する負の一次関数
   に基づき演算した値を使用し、ブレ軌跡の端点周辺の画
   素の輝度値としてブレ軌跡の端点からの距離の絶対値に
   関する負の一次関数に基づき演算した値を使用すること
   を特徴とする請求項６記載の画像復元装置。
9. 【請求項９】 前記復元手段は、前記点ひろがり関数画
   像におけるブレ軌跡に垂直方向の画素の輝度値及びブレ
   軌跡の端点周辺の画素の輝度値としてブレ軌跡上の画素
   と同じ値を使用することを特徴とする請求項６記載の画
   像復元装置。
10. 【請求項１０】 撮影動作等により劣化したブレ画像を
    原画像に近い画像に復元する画像復元装置であって、 ブレ軌跡データに基づき生成した点ひろがり関数画像及
    びブレ画像から画像復元アルゴリズムに従って復元画像
    を生成する復元手段を有し、該復元手段は、前記点ひろ
    がり関数画像を生成する際に、ブレ軌跡上の画素の輝度
    値として前記ブレ軌跡データから得た値を使用し、ブレ
    軌跡周辺の画素の輝度値として任意に指定した値を使用
    することを特徴とする画像復元装置。
11. 【請求項１１】 前記復元手段は、前記点ひろがり関数
    画像におけるブレ軌跡周辺の画素の輝度値として、任意
    に指定したブレ軌跡周辺の有限領域内の画素に対して任
    意に指定した値を使用することを特徴とする請求項１０
    記載の画像復元装置。
12. 【請求項１２】 前記ブレ軌跡データは、対象画像の撮
    影時に撮像装置から得る方法或いは対象画像自体から演
    算により求める方法により取得されたデータであること
    を特徴とする請求項１乃至１１の何れかに記載の画像復
    元装置。
13. 【請求項１３】 撮像装置で撮影された画像情報及び前
    記点ひろがり関数画像の生成に必要なブレ情報を記憶す
    る記憶手段を有することを特徴とする請求項１乃至１２
    の何れかに記載の画像復元装置。
14. 【請求項１４】 撮影動作等により劣化したブレ画像を
    原画像に近い画像に復元する画像復元方法であって、 ブレ軌跡データに基づき生成した点ひろがり関数画像及
    びブレ画像から画像復元アルゴリズムに従って復元画像
    を生成する復元ステップを有し、該復元ステップでは、
    ブレ軌跡上の画素周辺の画素の輝度値も考慮して復元を
    行うことを特徴とする画像復元方法。
15. 【請求項１５】 撮影動作等により劣化したブレ画像を
    原画像に近い画像に復元する画像復元方法であって、 ブレ軌跡データに基づき生成した点ひろがり関数画像及
    びブレ画像から画像復元アルゴリズムに従って復元画像
    を生成する復元ステップを有し、該復元ステップでは、
    前記点ひろがり関数画像を生成する際に、ブレ軌跡上の
    画素の輝度値として前記ブレ軌跡データから得た値を使
    用し、ブレ軌跡に垂直方向の画素の輝度値として前記ブ
    レ軌跡データから関数に基づき演算した値を使用するこ
    とを特徴とする画像復元方法。
16. 【請求項１６】 前記復元ステップでは、前記点ひろが
    り関数画像におけるブレ軌跡に垂直方向の画素の輝度値
    としてブレ軌跡の線分からの距離のボケ劣化特性を持つ
    関数に基づき演算した値を使用することを特徴とする請
    求項１５記載の画像復元方法。
17. 【請求項１７】 前記復元ステップでは、前記点ひろが
    り関数画像におけるブレ軌跡に垂直方向の画素の輝度値
    としてブレ軌跡の線分からの距離の絶対値に関する負の
    一次関数に基づき演算した値を使用することを特徴とす
    る請求項１５記載の画像復元方法。
18. 【請求項１８】 前記復元ステップでは、前記点ひろが
    り関数画像におけるブレ軌跡に垂直方向の画素の輝度値
    としてブレ軌跡上の画素と同じ値を使用することを特徴
    とする請求項１５記載の画像復元方法。
19. 【請求項１９】 撮影動作等により劣化したブレ画像を
    原画像に近い画像に復元する画像復元方法であって、 ブレ軌跡データに基づき生成した点ひろがり関数画像及
    びブレ画像から画像復元アルゴリズムに従って復元画像
    を生成する復元ステップを有し、該復元ステップでは、
    前記点ひろがり関数画像を生成する際に、ブレ軌跡上の
    画素の輝度値として前記ブレ軌跡データから得た値を使
    用し、ブレ軌跡に垂直方向の画素の輝度値として前記ブ
    レ軌跡データから関数に基づき演算した値を使用し、ブ
    レ軌跡の端点周辺の画素の輝度値として前記ブレ軌跡デ
    ータから関数に基づき演算した値を使用することを特徴
    とする画像復元方法。
20. 【請求項２０】 前記復元ステップでは、前記点ひろが
    り関数画像におけるブレ軌跡に垂直方向の画素の輝度値
    としてブレ軌跡の線分からの距離のボケ劣化特性を持つ
    関数に基づき演算した値を使用し、ブレ軌跡の端点周辺
    の画素の輝度値としてブレ軌跡の端点からの距離のボケ
    劣化特性を持つ関数に基づき演算した値を使用すること
    を特徴とする請求項１９記載の画像復元方法。
21. 【請求項２１】 前記復元ステップでは、前記点ひろが
    り関数画像におけるブレ軌跡に垂直方向の画素の輝度値
    としてブレ軌跡の線分からの距離の絶対値に関する負の
    一次関数に基づき演算した値を使用し、ブレ軌跡の端点
    周辺の画素の輝度値としてブレ軌跡の端点からの距離の
    絶対値に関する負の一次関数に基づき演算した値を使用
    することを特徴とする請求項１９記載の画像復元方法。
22. 【請求項２２】 前記復元ステップでは、前記点ひろが
    り関数画像におけるブレ軌跡に垂直方向の画素の輝度値
    及びブレ軌跡の端点周辺の画素の輝度値としてブレ軌跡
    上の画素と同じ値を使用することを特徴とする請求項１
    ９記載の画像復元方法。
23. 【請求項２３】 撮影動作等により劣化したブレ画像を
    原画像に近い画像に復元する画像復元方法であって、 ブレ軌跡データに基づき生成した点ひろがり関数画像及
    びブレ画像から画像復元アルゴリズムに従って復元画像
    を生成する復元ステップを有し、該復元ステップでは、
    前記点ひろがり関数画像を生成する際に、ブレ軌跡上の
    画素の輝度値として前記ブレ軌跡データから得た値を使
    用し、ブレ軌跡周辺の画素の輝度値として任意に指定し
    た値を使用することを特徴とする画像復元方法。
24. 【請求項２４】 前記復元ステップでは、前記点ひろが
    り関数画像におけるブレ軌跡周辺の画素の輝度値とし
    て、任意に指定したブレ軌跡周辺の有限領域内の画素に
    対して任意に指定した値を使用することを特徴とする請
    求項２３記載の画像復元方法。
25. 【請求項２５】 前記ブレ軌跡データは、対象画像の撮
    影時に撮像装置から得る方法或いは対象画像自体から演
    算により求める方法により取得されたデータであること
    を特徴とする請求項１４乃至２４の何れかに記載の画像
    復元方法。
26. 【請求項２６】 撮像装置で撮影された画像情報及び前
    記点ひろがり関数画像の生成に必要なブレ情報を記憶す
    る記憶ステップを有することを特徴とする請求項１４乃
    至２５の何れかに記載の画像復元方法。