JP2008146643A - 動きでぶれた画像における動きのぶれを低減する方法、動きでぶれた画像における動きのぶれを低減するための装置、および動きでぶれた画像における動きのぶれを低減するコンピュータ・プログラムを具現するコンピュータ読み取り可能な媒体 - Google Patents

Abstract

【課題】画像における動きのぶれを低減する方法および装置。
【解決手段】動きでぶれた画像における動きのぶれを低減する方法および装置が提供され
る。方法は動きでぶれた画像に基づく推量画像を、動きでぶれたぶれパラメータの関数と
してぶれさせることを含む。ぶれた推量画像は動きでぶれた画像と比較され、エラー画像
が生成される。エラー画像はぶれさせられ、ぶれたエラー画像におけるピクセルは動きで
ぶれた画像における対応ピクセル付近のエッジしゅん度に基づき加重される。ぶれて、か
つ加重されたエラー画像と推量画像とは組み合わされ、それにより推量画像を更新し動き
のぶれを補正する。
【選択図】図１

Description

本発明は一般的に画像処理に関し、より具体的には画像における動きのぶれを低減する
方法および装置に関する。

動きのぶれはデジタル・カメラまたはスチル写真機を用いた画像取り込みの際に生じ得
る、画像処理技術において良く知られる問題である。動きのぶれは画像取り込みの過程に
おける振動など、カメラの動きが原因である。歴史的に、動きのぶれはカメラの実際の動
きを推定する演繹的な計測が利用可能な場合にのみ補正できた。このような演繹的計測は
通常利用できず、その結果取り込み画像における動きのぶれを補正するために他の手法が
開発されたことが理解されよう。

例えば、動きでぶれた取り込み画像固有の属性に基づくカメラ動きパラメータ（すなわ
ち露出中の画像取り込み装置の進路を表すパラメータ）を推定する方法は本出願の譲受人
に譲渡され、「動きのぶれの補正」（「MOTION BLUR CORRECTION」）と題する同時係属中
の米国特許出願公開第１０／８２７３９４号明細書に開示され、その内容は引用により本
明細書に組み入れられる。これらの方法において、一旦、カメラ動きパラメータが推定さ
れると、ぶれの補正は推定されたカメラ動きパラメータを用いてカメラの動きの影響を逆
転し画像をぶれ補正することによりぶれ補正が実施される。

カメラの動きの影響を逆転し、動きでぶれた画像をぶれ補正する方法は知られている。
例えば、Ｂｉｅｍｏｎｄ他著の「画像のぶれ除去の反復的方法」（「Iterative Methods
for Image Deblurring」）と題する出版（Proceedings of the IEEE 、78巻5号、1990年5
月）はカメラの動きの影響を逆転させ、推定されたカメラ動きパラメータに基づき取り込
み画像におけるぶれを補正するための逆フィルタ手法を開示している。この手法の際、推
定カメラ動きパラメータに従い構成された動きのぶれフィルタの逆がぶれた画像に直接適
用される。

あいにく、Ｂｉｅｍｏｎｄ他のぶれ補正手法は不利な点がある。ぶれた画像を動きのぶ
れフィルタとたたみこむことは過度のノイズ増幅をもたらし得る。さらに、Ｂｉｅｍｏｎ
ｄ他が開示する復元方程式に関し、ぶれの距離の整数倍数において正のスパイクを有する
エラー寄与項はぶれた画像におけるエッジなど高コントラスト構造とたたみこまれると増
幅され、望ましくないリンギングがもたらされる。リンギングとは画像の鋭いエッジ付近
に光輪および／あるいは輪が出現することで、画像のぶれを取り除くことはたちの悪い逆
問題であることと結び付いている。Ｂｉｅｍｏｎｄ他の出版は画像の局部エッジ内容に基
づきリンギング効果を削減することによりエッジめいた領域をより弱く規制し充分に円滑
な領域においてノイズ増幅を抑制することを考察している。しかしこの方法ではリンギン
グ・ノイズがエッジを含む局部領域に残り得る。

ぶれを補正した画像を生成するために反復的方法を用いる各種手法も提案されている。
通常これらの反復手法の際、推定カメラ動きパラメータを用いて推量画像が動きでぶれ、
動きでぶれた推量画像とぶれた取り込み画像との差異に基づき推量画像が更新される。こ
のプロセスは所定の回数、または推量画像のぶれが充分に補正されるまで反復的に実施さ
れる。カメラ動きパラメータは推定されるため、推量画像におけるぶれは、動きでぶれた
推量画像とぶれた取り込み画像との間のエラーがゼロまで減少するにつれ、反復プロセス
中に削減される。上記反復問題は次の方程式（１）の如く定式化できる。

上記から理解されるように、画像のぶれ補正の目標はぶれた取り込み画像Ｉ（ｘ，ｙ）
が与えられた場合、ぶれていない画像Ｏ（ｘ，ｙ）の推定（復元）画像Ｏ’（ｘ，ｙ）を
生み出すことである。方程式（１）において、点像分布関数は推定カメラ動きパラメータ
から既知であると仮定される。ノイズを無視すると、復元画像Ｏ’（ｘ，ｙ）とぶれてい
ない画像Ｏ（ｘ，ｙ）との間のエラーは以下の方程式（２）により定義できる。

動きのぶれ補正の各反復の際、エラー画像は一定ステップ・サイズ・パラメータαでぶ
れられ加重され、次にぶれていない画像の前の推定（復元）画像Ｏ’（ｘ，ｙ）と組み合
わせて推定を更新する。

動きのぶれの反復的補正は改良をもたらすが、過度のリンギングおよびノイズが問題と
して残り得る。これらの問題は動きのぶれ補正問題のたちの悪さ、動きぶれパラメータの
推定エラー、およびたたみこみ解除中のノイズ増幅による。さらに、実際の実施において
補正反復数は性能の問題から限定されるため、受け入れ得る解決への収束は達成しにくい
。

他の反復的ぶれ補正方法が提案されている。例えば、Ｌｅｗｉｎ他の米国特許出願公開
第２００５／００７４１５２号明細書は磁気共鳴画像を再構成しぶれを除く方法を開示し
ている。方法の際、サンプルされたｋ−空間データが直線形ｋ−空間グリッドに分布され
、分布データは逆フーリエ変換される。逆変換データの選ばれた部分がゼロに設定され、
逆変換データのゼロ化および残りの部分はフーリエ変換される。フーリエ変換データは直
線形ｋ−空間グリッドの対応点における分布ｋ−空間データにより置き換えられ、更新デ
ータのグリッドが作成される。更新データは次に逆フーリエ変換される。分布データの逆
フーリエ変換に始まる手順は逆フーリエ変換された更新データと逆フーリエ変換された分
布データとの間の差異が充分に小さくなるまで反復的に適用される。

Ｌｕｄｗｉｇの米国特許出願公開第２００５／００３１２２１号明細書は写真、ビデオ
、および他種の取り込み画像におけるレンスの焦点合わせ違いの影響を補正する方法を開
示している。方法の際、変換演算子を用いてフラクショナル・フーリエ変換の任意累乗が
演算される。フラクショナル・フーリエ変換パラメータはもたらされる補正画像の鋭いエ
ッジ内容を最大化するように調節される。フラクショナル・フーリエ変換の累乗および倍
率はステップ方向およびサイズ制御要素に基づき必要に応じて設定および調節され、累乗
を最初に０の理想的初期値に設定した上で初期値はいずれかの方向に多少ずれる。もたら
される画像データはエッジ検出器に呈されることができ、エッジ検出器はエッジ情報をエ
ッジの相対的な鋭さのスカラー値測度に変換し画像の鋭さを測定する。

Ｓｔｏｕｂの米国特許第４２９８９４４号明細書はシンチレーション・カメラまたは類
似の画像形成装置による歪みを補正する方法を開示している。初期のオフラインテスト段
階で直交線パターンのテスト・データが得られ、空間的歪み係数が計算される。空間的歪
み係数は画像のフィールド・テスト・データに従って修正され、オンライン作業の際、画
像イベントのデータ出力信号を補正するのに用いられる。計算された空間的歪み係数は補
正された画像イベント・データの単位当たりに基づいた有効画像イベント密度勾配を用い
て反復的に修正される。各反復的修正は画像区域の各サイズにおける勾配の評価を含む。

Ｃａｒｒｉｎｇｔｏｎ他の米国特許第４０４７９６８号明細書はカメラなどの光学シス
テムと使用する反復的復元デバイスを開示している。復元デバイスは見られる画像におけ
る各点に対しその点におけるノイズおよび歪みを最小化する係数を反復的に判定する。特
に、係数は光学部材（すなわちレンズ）の応答関数変換および共鳴関数変換の除法演算双
方を用いて判定される。

Ａｖｉｎａｓｈの米国特許第５５６１６６１号明細書は選ばれた反復数にわたり理想的
な信号を推定することにより顕微鏡などから得られた信号を復元する方法および装置を開
示している。各反復の際、周波数帯の空間的限定を用いて応答関数の周波数領域推定を制
約することにより迅速な信号処理を促進する。エラー項のステップ・サイズは先行する推
定の周波数応答に基づいている。

Ｋｏｎｇ他の米国特許出願公開第２００５／０１００２４１号明細書は解凍画像におけ
る局部特徴の分類に基づいて画像のリンギング・アーチファクトを削減する方法を開示し
ている。解凍画像は圧縮画像の離散コサイン変換（ＤＣＴ）係数の独立量子化が原因とな
ったブロッキング・アーチファクトを有すると予想される。リンギング・アーチファクト
は解凍画像のエッジに沿ってもあり得る。方法の際、ブロッキング・アーチファクトは解
凍画像において検出されるブロック境界をフィルタすることにより除去される。ブロッキ
ング・アーチファクトが検出された場合、一次元ローパス円滑フィルタがブロック境界に
沿ったピクセルに、フィルタ・サイズがブロック境界における勾配に対応するよう適応的
に適用される。大きな勾配値を有するピクセル（すなわちエッジ・ピクセル）はぶれたエ
ッジまたはテクスチャを避けるために操作から除外される。ブロックされる分類は偏差値
または「エッジ・マップ」に従い「円滑」、「テクスチャーされた」、および「エッジ」
ブロックを含む。

Ｇｏｒｉｎｅｖｓｋｙの米国特許出願公開第２００５／０１４７３１３号明細書はシス
トリック・アレー・プロセッサを用いて画像のぶれを除去するための反復的方法を開示し
ている。データは処理論理ブロック間で、各処理論理ブロックを所定数の隣接処理論理ブ
ロックと相互接続し、ぶれを除去した画像をアップロードすることにより順に交換される
。処理論理ブロックは各々現在のぶれが除去された画像と過去のぶれが除去された画像推
定を用い、ぶれ画像の予測エラーのフィードバックによりぶれ画像の反復的更新を提供す
る。一実施形態で、高周波数正則化を組み入れたランドウェーバー方法を用いて反復的更
新の収束問題に取り組んでいる。

Ｂｅｈｉｅｌｓの米国特許出願公開第２００６／００４５３７８号明細書はＸ線撮影画
像を表すデジタル信号におけるアーチファクトを補正する方法を開示している。一並びの
コンピュータＸ線撮影画像プレートの一揃いをデジタル化するために、数個のマイクロレ
ンズ・アレーが通常使用される寸法の画像プレート一並びをデジタル化できる大きさの幅
を有するより大型のマイクロレンズに組み立てられる。マイクロレンズの接続部において
アーチファクトが現れる。アーチファクトを表す接続部はエッジ検出器を用いて検出され
、画像信号から抽出される。抽出されたアーチファクトは次に倍率を適用する振幅変形手
法を通じて新しいアーチファクト・プロファイル信号を得るために用いられる。各反復ス
テップにおいて、加重係数が考慮される。現行反復ステップにおける加重係数は先行反復
ステップで取得した倍率で得られた補正画像信号の変形に依存する。

Ｌ． ＬｉａｎｇおよびＲ．Ｍ． Ｍｅｒｓｅｒｅａｕ共著の、「画像のぶれを除去す
るための適応ランドウェーバー方法」（「Adaptive Landweber Method To Deblur Images
」）と題する出版（IEEE Signal Processing Letters, 10(5): 129-132頁, 2003年）にお
いて画像のぶれを補正する反復的方法が開示され、ぶれたエラー画像の寄与は、ぶれたエ
ラー画像の寄与が各反復において漸次低減されるようにぶれたエラー画像を加重するため
に反復適応ステップ・サイズαを用いることにより適応される。あいにく、相当なリンギ
ング・アーチファクトが急勾配の画像エッジ付近で、特にステップ・サイズαが、従って
ぶれたエラー画像の寄与が、大きい最初のいくつかの反復において、相変わらず生じる。
さらに、ステップ・サイズαが漸次低減されるため、全体の収束が減少する。

米国特許出願公開第２００４／００４４７１５号明細書

上述のような反復的方法は動きぶれフィルタの直接的なぶれの逆転に比べいくらかの利
点を提供するものの、ノイズ増幅およびリンギングを削減するために改良が望まれる。従
って本発明の一目的は画像における動きのぶれを削減する新規な方法および装置を提供す
ることである。

一態様により、動きでぶれた画像における動きのぶれを削減する方法で、動きでぶれた
画像に基づき推量画像を動きでぶれた画像のぶれパラメータの関数としてぶれさせるステ
ップと、ぶれた推量画像を動きでぶれた画像と比較し、エラー画像を生成するステップと
、エラー画像をぶれさせるステップと、ぶれたエラー画像のピクセルを動きでぶれた画像
の対応ピクセル付近のエッジのしゅん度に基づき加重するステップと、ぶれた加重エラー
画像と推量画像とを組み合わせ、それにより推量画像を更新し、動きのぶれを補正するス
テップと、を含む方法が提供される。

一実施形態で、加重は動きでぶれた画像の対応ピクセル付近のエッジしゅん度に基づく
ピクセル値を有する加重画像を構築することを含む。加重画像は次にぶれたエラー画像と
組み合わされてぶれた加重エラー画像を形成する。加重画像の構築は、動きでぶれた画像
の各ピクセルに対しピクセルの近傍を特定すること、各近傍内のピクセルの輝度勾配を計
算することと、各輝度勾配をその近傍に対し正規化することを含むことができる。加重画
像の各ピクセルは動きでぶれた画像の各ピクセルに対応する正規化された輝度勾配である
。

別の態様により、動きでぶれた画像の動きのぶれを削減する装置が提供され、動きでぶ
れた画像に基づき推量画像を動きでぶれた画像のぶれパラメータの関数としてぶれさせる
推量画像ぶれモジュールと、ぶれた推量画像を動きでぶれた画像を比較し、エラー画像を
生成するコンパレータと、エラー画像をぶれさせるエラー画像ぶれモジュールと、ぶれた
エラー画像のピクセルを動きでぶれた画像の対応ピクセル付近のエッジしゅん度に基づき
加重する加重モジュールと、ぶれた加重エラー画像と推量画像とを組み合わせ、それによ
り推量画像を更新し動きのぶれを補正する画像組み合わせ器と、を含む。

さらに別の態様により、動きでぶれた画像の動きのぶれを削減するコンピュータ・プロ
グラムを具現するコンピュータ読み取り可能な媒体が提供され、コンピュータ・プログラ
ムは、動きでぶれた画像に基づき推量画像を動きでぶれた画像のぶれパラメータの関数と
してぶれさせるコンピュータ・プログラム・コードと、ぶれた推量画像を動きでぶれた画
像と比較し、エラー画像を生成するコンピュータ・プログラム・コードと、エラー画像を
ぶれさせるコンピュータ・プログラム・コードと、ぶれたエラー画像のピクセルを動きで
ぶれた画像の対応ピクセル付近のエッジしゅん度に基づき加重するコンピュータ・プログ
ラム・コードと、ぶれた加重エラー画像と推量画像とを組み合わせ、それにより推量画像
を更新し動きのぶれを補正するコンピュータ・プログラム・コードと、を含む。

［適用例１］前述の目的を達成するための、動きでぶれた画像における動きのぶれを低
減する方法は、前記動きでぶれた画像に基づく推量画像を、前記動きでぶれた画像のぶれ
パラメータの関数としてぶれさせるステップと、前記ぶれた推量画像を前記動きでぶれた
画像と比較してエラー画像を生成するステップと、前記エラー画像をぶれさせるステップ
と、ぶれた前記エラー画像におけるピクセルを、前記動きでぶれた画像において対応する
ピクセル付近のエッジしゅん度に基づき加重するステップと、ぶれてかつ加重された前記
エラー画像および前記推量画像を組み合わせ、それにより推量画像を更新して動きのぶれ
を補正するステップとを含むことをその要旨とする。

［適用例２］また、動きでぶれた画像における動きのぶれを低減する方法は、前記加重
するステップは、前記動きでぶれた画像における対応ピクセル付近のエッジしゅん度に基
づくピクセル値を有する加重画像を構築するステップと、前記加重画像を前記ぶれたエラ
ー画像と組み合わせるステップと、を含むことをその要旨とする。

［適用例３］また、動きでぶれた画像における動きのぶれを低減する方法は、前記加重
画像を構築するステップは、動きでぶれた画像の各ピクセルに対し、ピクセルの近傍を特
定するステップと、各近傍内のピクセルの輝度勾配を計算するステップと、各輝度勾配を
その近傍に対し正規化するステップと、を含み、前記加重画像における各ピクセルは前記
動きでぶれた画像における各ピクセルに対応する正規化輝度勾配を表すことをその要旨と
する。

［適用例４］また、動きでぶれた画像における動きのぶれを低減する方法は、前記正規
化するステップの後、加重画像における各ピクセルを最大ステップ・サイズ値でスケール
するステップとを含むことをその要旨とする。

［適用例５］また、動きでぶれた画像における動きのぶれを低減する方法は、前記最大
ステップ・サイズは前記ぶれパラメータに基づくことをその要旨とする。

［適用例６］また、動きでぶれた画像における動きのぶれを低減する方法は、前記近傍
は前記ぶれパラメータに基づくことをその要旨とする。

［適用例７］また、動きでぶれた画像における動きのぶれを低減する方法は、前記近傍
は前記動きでぶれた画像を取り込むために用いられた画像取り込み装置が通る動きのパス
に沿ったピクセルのセットを含むことをその要旨とする。

［適用例８］また、動きでぶれた画像における動きのぶれを低減する方法は、前記近傍
は前記動きでぶれた画像におけるぶれの度合いおよび方向に対応する長さおよび方向を有
する直線で表されることをその要旨とする。

［適用例９］また、動きでぶれた画像における動きのぶれを低減する方法は、前記輝度
勾配を計算するステップが、前記近傍内の最大および最小ピクセル輝度の差異を計算する
ステップと、を含み、各輝度勾配を正規化することは各輝度勾配を各々の最大ピクセル輝
度で割るステップを含むことをその要旨とする。

［適用例１０］また、動きでぶれた画像における動きのぶれを低減する方法は、最大ピ
クセル輝度は前記近傍内で形態拡張操作を用いて得られ、最小ピクセル輝度は前記近傍内
で形態エロージョン操作を用いて得られることをその要旨とする。

［適用例１１］また、動きでぶれた画像における動きのぶれを低減する方法は、前記推
量画像におけるエッジに基づき正則化画像を形成するステップとを含み、前記更新された
推量画像は前記正則化画像、ぶれてかつ加重された前記エラー画像、および前記推量画像
を組み合わせることにより生成されることをその要旨とする。

［適用例１２］また、動きでぶれた画像における動きのぶれを低減する方法は、前記正
則化画像を形成するステップが、前記推量画像から水平および垂直エッジ画像を構築する
ステップと、前記水平および垂直エッジ画像を合計し、それにより正則化画像を形成する
ステップと、を含むことをその要旨とする。

［適用例１３］また、動きでぶれた画像における動きのぶれを低減する方法は、前記推
量画像をぶれさすステップ、比較するステップ、エラー画像をぶれさすステップ、加重す
るステップ、および組み合わせるステップは反復的に行なわれることをその要旨とする。

［適用例１４］また、動きでぶれた画像における動きのぶれを低減する方法は、前記推
量画像をぶれさすステップ、比較するステップ、エラー画像をぶれさすステップ、加重す
るステップ、および組み合わせるステップは閾値回数反復的に行なわれることをその要旨
とする。

［適用例１５］また、動きでぶれた画像における動きのぶれを低減する方法は、前記推
量画像は前記動きでぶれた画像であることをその要旨とする。

［適用例１６］また、動きでぶれた画像における動きのぶれを低減するための装置は、
前記動きでぶれた画像に基づく推量画像を、前記動きでぶれた画像のぶれパラメータの関
数としてぶれさせる推量画像ぶれ化モジュールと、前記ぶれた推量画像を前記動きでぶれ
た画像と比較してエラー画像を生成するコンパレータと、前記エラー画像をぶれさせるエ
ラー画像ぶれ化モジュールと、動きでぶれた画像における対応ピクセル付近のエッジしゅ
ん度に基づき前記ぶれたエラー画像におけるピクセルを加重する加重モジュールと、前記
ぶれてかつ加重されたエラー画像および前記推量画像を組み合わせ、それにより前記推量
画像を更新し動きのぶれを補正する画像コンバイナと、を含むことをその要旨とする。

［適用例１７］また、動きでぶれた画像における動きのぶれを低減するための装置は、
前記加重モジュールが、前記動きでぶれた画像における対応ピクセル付近のエッジしゅん
度に基づくピクセル値を有する加重画像を構築する加重画像モジュールと、を含み、前記
画像コンバイナは前記加重画像と前記ぶれたエラー画像とを組み合わせることをその要旨
とする。

［適用例１８］また、動きでぶれた画像における動きのぶれを低減するための装置は前
記加重画像モジュールが、前記動きでぶれた画像における各ピクセルに対しピクセルの近
傍を特定する近傍定義器と、各近傍内のピクセルの輝度勾配を計算し、各輝度勾配をその
近傍に対し正規化する勾配計算器と、前記加重画像における各ピクセルが動きでぶれた画
像における各ピクセルに対応する前記正規化輝度勾配を表すよう定義する画像構築器と、
を含むことをその要旨とする。

［適用例１９］また、動きでぶれた画像における動きのぶれを低減するための装置は、
前記正規化後、前記画像構築器は前記加重画像における各ピクセルを最大ステップ・サイ
ズ値でスケールすることをその要旨とする。

［適用例２０］また、最大ステップ・サイズ値は前記ぶれパラメータに基づくことをそ
の要旨とする。

［適用例２１］また、動きでぶれた画像における動きのぶれを低減するための装置は、
前記近傍定義器は前記ぶれパラメータに基づき前記近傍を定義することをその要旨とする
。

［適用例２２］また、動きでぶれた画像における動きのぶれを低減するための装置は、
前記近傍は前記動きでぶれた画像を取り込むために用いた画像取り込み装置が通る動きの
パスに沿ったピクセルのセットを含むことをその要旨とする。

［適用例２３］また、動きでぶれた画像における動きのぶれを低減するための装置は、
前記近傍は前記動きのぶれた画像におけるぶれの度合いおよび方向に対応する長さおよび
方向を有する直線で表されることをその要旨とする。

［適用例２４］また、動きでぶれた画像における動きのぶれを低減するための装置は、
輝度勾配の計算および正規化の際、前記勾配計算器は前記近傍内の最大および最小ピクセ
ル輝度の差異を計算し、各輝度勾配を各々の最大ピクセル輝度で割ることをその要旨とす
る。

［適用例２５］また、動きでぶれた画像における動きのぶれを低減するための装置は、
前記勾配計算器は前記近傍内で形態拡張操作を行ない最大ピクセル輝度を得、前記近傍内
で形態エロージョンを行ない最小ピクセル輝度を得ることをその要旨とする。

［適用例２６］また、動きでぶれた画像における動きのぶれを低減するための装置は、
さらに前記推量画像におけるエッジに基づき正則化画像を形成する正則化モジュールと、
を含み、更新された前記推量画像は前記正則化画像、ぶれてかつ加重された前記エラー画
像、および前記推量画像を組み合わせることにより生成されることをその要旨とする。

［適用例２７］また、動きでぶれた画像における動きのぶれを低減するための装置は、
前記推量画像をぶらせること、比較すること、エラー画像をぶらせること、加重すること
、および組み合わせることは反復的に行なわれることをその要旨とする。

［適用例２８］また、動きでぶれた画像における動きのぶれを低減するコンピュータ・
プログラムを具現するコンピュータ読み取り可能な媒体は、前記コンピュータ・プログラ
ムは、前記動きでぶれた画像に基づく推量画像を、前記動きでぶれた画像のぶれパラメー
タの関数としてぶれさせるコンピュータ・プログラム・コードと、前記ぶれた推量画像を
前記動きでぶれた画像と比較してエラー画像を生成するコンピュータ・プログラム・コー
ドと、前記エラー画像をぶれさせるコンピュータ・プログラム・コードと、前記動きでぶ
れた画像における対応ピクセル付近のエッジしゅん度に基づき前記ぶれたエラー画像にお
けるピクセルを加重するコンピュータ・プログラム・コードと、ぶれて、かつ加重された
前記エラー画像と前記推量画像とを組み合わせ、それにより前記推量画像を更新し動きの
ぶれを補正するコンピュータ・プログラム・コードと、を含むことをその要旨とする。

ぶれ削減方法および装置はいくつかの利点を提供する。特に、加重が動きでぶれた画像
の対応ピクセル付近のエッジしゅん度に基づいているので、反復ぶれ補正の際、形態論的
に適応された変換が達成される。例えば、取り込み画像で急勾配の遷移中にある部分はそ
の相対的に高い加重により急速に収束を達成するが、取り込み画像の急勾配の遷移付近に
おけるより均質な部分はより遅く収束を達成する。それにより処理速度およびリンギング
削減間で効率的な妥協が達成される。正規化項の追加によりたたみこみ解除の際、ノイズ
増幅が抑制され、リンギング・アーチファクトが削減される。

以下添付図面を参照して実施形態をより詳細に説明する。以下の説明において、画像に
おける動きのぶれを削減する方法、装置、およびコンピュータ・プログラムを具現するコ
ンピュータ読み取り可能な媒体が開示される。方法および装置はパソコン、例えばデジタ
ル・カメラ、ビデオ・カメラ、もしくはビデオ機能を有する電子装置などのデジタル・ビ
デオ取り込み装置、または他の演算システム環境を含むがこれらに限定されない処理装置
で実行されるコンピュータ実行可能な命令を含むソフトウェア・アプリケーションに具現
されることができる。ソフトウェア・アプリケーションは独立してデジタル・ビデオ・ツ
ールまたは埋め込み機能として実行されるか、または他の利用可能なデジタル画像／ビデ
オ・アプリケーションに組み入れられこれらのデジタル画像／ビデオ・アプリケーション
の機能を拡張させることができる。ソフトウェア・アプリケーションはルーチン、プログ
ラム、オブジェクト・コンポーネント、データ構造等々を含むことができ、コンピュータ
読み取り可能な媒体に格納されるコンピュータ読み取り可能なプログラム・コードとして
具現されることができる。コンピュータ読み取り可能な媒体は後にコンピュータ・システ
ムにより読み取られることのできるデータを格納し得る任意のデータ記憶装置である。コ
ンピュータ読み取り可能な媒体の例としては例えば読み取り専用メモリ、ランダムアクセ
ス・メモリ、ＣＤ−ＲＯＭ、磁気テープおよび光データ記憶装置が含まれる。コンピュー
タ読み取り可能なプログラム・コードはさらに、コンピュータ読み取り可能なプログラム
・コードが分散的に格納され実行されるよう結合コンピュータ・システムを含むネットワ
ーク上に分散することができる。

次に図１から図６を参照して実施形態を説明する。
図１を参照すると、デジタル・カメラ、デジタル・ビデオ・カメラ、等々、のような画
像取り込み装置により取り込まれた画像における動きのぶれを削減する方法が示される。
方法の際、動きでぶれた取り込み画像Ｉ（ｘ，ｙ）が取り込まれると（ステップＳ１００
）、そのＹ−チャンネル輝度画像が抽出され、動きぶれパラメータが推定される（ステッ
プＳ２００）。推定された動きぶれパラメータは次に取り込まれた画像における動きのぶ
れを削減するために用いられ（ステップＳ３００）、それにより動きのぶれが補正された
画像が生成される。

動きぶれパラメータは周知の手法を用いて推定することができる。一手法によると、画
像取り込み装置のジャイロに基づくシステムからの入力データが露出の際に得られ、画像
取り込み装置の露出中の軌道を表す動きぶれパラーメータの推定を計算するために処理さ
れる。推定された動きぶれパラメータは動きのぶれの方法および動きのぶれの度合いを含
むことができ、またはより複雑な動きを表すことができる。例えば、動きぶれパラメータ
は露出時間中定期的に入力データをサンプルすることにより得られた画像取り込み装置の
複数の増分直線的動きの度合いおよび方向を含むことができる。複数の増分直線動きの総
計は露出中画像取り込み装置がたどった動き軌道を表す。

動きブレパラメータを推定する別の手法によると、動きでぶれた取り込み画像固有の属
性を用いて無差別動き推定を行なうことができる。このような手法の一例は上述の米国特
許出願公開第１０／８２７３９４号明細書に記述され、その内容は引用により本明細書に
組み入れられる。

図２は取り込み画像の推定された動きぶれパラメータをステップＳ３００で用いて動き
のぶれを補正した画像生成の際、実施されるステップを示すフローチャートである。最初
に、ぶれた取り込み画像Ｉ（ｘ，ｙ）に等しい初期推量画像Ｏ₀（ｘ，ｙ）が下記の方程
式（３）で表されるように確立される（ステップＳ３１０）。

ここで、ｎは反復数で、この場合初期推量画像であるのでゼロ（０）である。

点像分布関数（ＰＳＦ）または動きぶれフィルタｈ（ｘ，ｙ）が次に推定された動きぶ
れパラメータに基づき作成される（ステップＳ３１２）。ＰＳＦ ｈ（ｘ，ｙ）を作成す
る方法は、特に画像取り込み中の動きは直線的かつ一定速度で生じたと仮定する場合、は
良く知られており、本明細書ではより詳細に説明されない。ＰＳＦ ｈ（ｘ，ｙ）の作成
に続き、加重画像α（ｘ，ｙ）が取り込み画像の形態に基づき構築される。

加重画像α（ｘ，ｙ）構築の際、取り込み画像の各ピクセルに対しある局部の近傍内の
エッジ内容を判定することにより正規化された形態勾配画像ｇ（ｘ，ｙ）が構築される。
局部近傍は以下の方程式（４）から方程式（６）に表されるようにＰＳＦ ｈ（ｘ，ｙ）
の正値要素に基づく構成要素Ｂにより定義される。

動きが直線的で一定速度の場合、構成要素Ｂは判定されたぶれの方向に等しい方向で判
定されたぶれの度合いに等しい度合いに延びる直線である。例えば、判定されたぶれの方
向が４５度に等しく、判定されたぶれの度合いが３ピクセルに等しい場合、ＰＳＦ ｈ（
ｘ，ｙ）および対応する構成要素Ｂは以下の方程式（７）および方程式（８）で表される
。

別の例として、判定されたぶれの方向が９０度に等しく、判定されたぶれの度合いが３
ピクセルに等しい場合、ＰＳＦ ｈ（ｘ，ｙ）および対応する構成要素Ｂは以下の方程式
（９）および方程式（１０）で表される。

正規化された形態勾配画像ｇ（ｘ，ｙ）の位置（ｘ，ｙ）におけるピクセル値は以下の
方程式（１１）から方程式（１３）で表される。

動きでぶれた画像Ｉに対する形態膨張演算ｉｍｄｉｌａｔｅ（Ｉ，Ｂ）は構成要素Ｂで
定義される各ピクセルの近傍内における輝度値の最大（式（Ａ）で示す値）をもたらす。
動きでぶれた画像Ｉに対する形態エロージョン演算ｉｍｅｒｏｄｅ（Ｉ，Ｂ）は構成要素
Ｂで定義される各ピクセルの近傍内における輝度値の最小（式（Ｂ）で示す値）をもたら
す。
正規化された形態勾配画像ｇ（ｘ，ｙ）は画像の形態勾配を局部勾配の最大で正規化し
たものであることが理解されよう。その結果、正規化された形態勾配画像ｇ（ｘ，ｙ）は
ゼロ（０）乃至１の間にある値を有する。

正規化された形態勾配画像ｇ（ｘ，ｙ）の構築に続き、正規化された形態勾配画像ｇ（
ｘ，ｙ）を最大ステップ・サイズを表す値βでスケールすることにより加重画像α（ｘ，
ｙ）が構築され、以下の方程式（１４）で表される。

ここで、βは収束の速度を制御するパラメータである。βは［０，２］のセットになっ
ている。
得られる加重画像α（ｘ，ｙ）は動きでぶれた画像の対応ピクセル付近のエッジしゅん
度に基づく輝度値を有することが理解されよう。

加重画像α（ｘ，ｙ）の構築に続き、ＰＳＦ ｈ（ｘ，ｙ）を用いて初期推量画像Ｏ_n
（ｘ，ｙ）がぶれられる（ステップＳ３１６）。次にぶれた推量画像とぶれた取り込み画
像Ｉ（ｘ，ｙ）との差異を見出すことによりエラー画像が計算される（ステップＳ３１８
）。エラー画像は次に「反転された」ＰＳＦ ｈ（−ｘ，−ｙ）でたたみこまれ、ぶれた
エラー、または忠実項画像Ｆを形成し（ステップＳ３２０）、これは下記の方程式（１５
）で表される。

ステップＳ３１４で構築された加重画像α（ｘ，ｙ）は次に忠実項画像Ｆと組み合わさ
れ、ぶれた加重エラーまたは修正忠実項画像ＭＦを形成し（ステップＳ３２２）、下記の
方程式（１６）で表される。

正則化画像Ｌが次に形成される（ステップＳ３２４）。正則化画像Ｌの形成の際、推量
画像Ｏ_n-1に基づき水平エッジ画像Ｏ_hおよび垂直エッジ画像Ｏ_vを各々計算することによ
り得られ、以下の方程式（１７）および方程式（１８）で表される。

上述のソーベル導関数演算子は画像のエッジ応答の判定に用いるのに適した既知のハイ
パス・フィルタである。

水平エッジ画像Ｏ_hおよび垂直エッジ画像Ｏ_vとが次に正規化される。ｐ−ノルム正則化
を達成し鋭利化または円滑化の度合いを制御するために、正規化の方法は選択可能である
。特に、１と２との間の値を有する可変するｐが選択され正規化水平および垂直エッジ画
像を次のルーチンに従い計算するのに用いられる。

１に等しいｐ値は全変動正則化と合致した正規化をもたらし、２に等しいｐ値はティコ
ノフ−ミラー正則化と合致した正規化をもたらす。１と２との間にあるｐ値は全変動正則
化とティコノフ−ミラー正則化との間にある正則カ強度をもたらし、これは場合によって
過度に鋭いか、または過度に円滑な結果を避けるのに役立つ。ｐ値はユーザによって選択
可能か、既定値に設定することができる。

ぶれパラメータ推定により画像取り込み中画像取り込み装置の動きが直線的で一定速度
であると判定された場合、正規化された水平エッジ画像Ｏ_hおよび垂直エッジ画像Ｏ_vは次
に動きのぶれの推定直線方向に従い加重され、合計されて次の方程式（１９）で表される
方向選択性の正則化画像Ｌを形成する。

ぶれパラメータ推定により画像取り込み中画像取り込み装置の動きが直線的かつ一定速
度でないと判定された場合、正則化画像Ｌは方向の加重なしで形成され、次の方程式（２
０）で表される。

正則化画像Ｌの形成に続き、推量画像、方程式（１６）の修正忠実項画像ＭＦ、および
方程式（１９）（または方程式（２０））の正則化画像Ｌを組み合わせて更新推量画像が
生成され（ステップＳ３２６）、次の方程式（２１）で表される。

ここで、ηは正則化パラメータである。

正則化パラメータηは更新推量画像におけるリンギング・アーチファクトを充分に低減
するために望ましい正則化の量に基づいて選択されることが理解されよう。

更新推量画像Ｏ_nのピクセル輝度が次に下記の方程式（２２）に従い０乃至２５５の間
になるように必要に応じ調節される（ステップＳ３３０）。

ピクセルの輝度が必要に応じ調節されると、ステップＳ３３２で更新推量画像Ｏ_nを動
きのぶれを補正した画像として出力するか、またはステップＳ３１６に戻るか判定される
。本実施形態で反復を続けるかの判断は反復数が閾値の数を超えたことに基づく。これ以
上反復を行なわない場合、更新推量画像Ｏ_nは動きのぶれを補正した画像として出力され
る（ステップＳ３３４）。

忠実項画像Ｆは、ステップＳ３２６における組み合わせの際、忠実項画像Ｆの特定ピク
セルの寄与が取り込み画像の形態に適合されるように加重画像α（ｘ，ｙ）により修正さ
れる。加重画像α（ｘ，ｙ）は従って忠実項画像Ｆの寄与を取り込み画像の形態に合わせ
る形態適合ステップ・サイズとして機能する。より具体的に、急勾配の遷移中にある画像
領域に対し急速変換が達成され、急勾配付近の均質な区域ではリンギングを抑制するため
により遅い、より規則的な変換がなされる。その結果、性能とリンギングの抑制との間で
有益なバランスが達成される。

忠実項画像Ｆの寄与を取り込み画像の形態に適合させるための加重画像α（ｘ，ｙ）の
効果は図３から図６に例示される。図３は画像取り込み装置により取り込まれた単純な、
動きでぶれた、１５ピクセルの水平ステップ画像を示す。初期の推量画像は取り込まれた
動きでぶれた画像である。図４は既知のぶれ補正の方法に従い初期推量画像の動きのぶれ
を補正する最初の反復の際、補正項画像（すなわち未修正忠実画像および正則化画像）が
寄与したリンギングを図示する輝度−空間プロファイルのセットを示す。特にプロファイ
ル４１０は初期推量画像Ｏ_n（ｘ，ｙ）に対応し、プロファイル４２０は正則化画像Ｌに
対応し、プロファイル４３０は未修正の忠実項画像Ｆに対応する。プロファイル４４０は
初期推量画像、未修正の忠実項画像Ｆ、および正則化画像Ｌの組み合わせでもたらされる
更新推量画像に対応する。

急勾配の遷移付近において相当なアーチファクトが存在することが特に円で特定された
更新推量画像のプロファイル４４０の部分で見られる。リンギング・アーチファクトは主
に未修正の忠実項画像Ｆ（プロファイル４３０）の寄与に由来する。

図５は図３における初期推量画像の動きのぶれを補正する最初の反復の際、補正項画像
が寄与したリンギングを図示する輝度−空間プロファイルのセットを示し、ここで加重画
像α（ｘ，ｙ）は忠実項画像Ｆと組み合わされる。特に、プロファイル５１０は初期推量
画像Ｏ_n（ｘ，ｙ）に対応し、プロファイル５２０は正則化画像Ｌに対応し、プロファイ
ル５３０は未修正の忠実項画像Ｆに対応し、プロファイル５３０，５３５は加重画像α（
ｘ，ｙ）の元として用いられる正規化された形態勾配画像ｇ（ｘ，ｙ）に対応する。プロ
ファイル５４０は初期推量画像Ｏ_n（ｘ，ｙ）、修正忠実項画像ＭＦ（すなわち忠実項画
像Ｆと加重画像α（ｘ，ｙ）との組み合わせ）、および正則化画像Ｌの組み合わせである
更新推量画像のプロファイルに対応する。

急勾配の遷移付近のリンギングは加重画像α（ｘ，ｙ）により低減されることは明らか
であろう。これは図６により良く示され、図は更新推量画像のプロファイル４４０および
５４０を示す。プロファイル５４０の部分であるリンギング部分５６０に示されるリンギ
ングは加重画像α（ｘ，ｙ）の寄与によりプロファイル４４０のリンギング部分５５０よ
り明らかに小さい。

図７（ａ）〜図７（ｈ）は加重がある場合とない場合との双方の場合にいくつかの反復
後の動きのぶれ補正中に補正項が寄与するリンギング効果を示す画像のセットである。図
７（ａ）はぶれなしの理想的画像を示す。図７（ｂ）は動きでぶれた画像Ｉを示し、図７
（ａ）の理想的画像が３１ピクセル分意図的にぶれさせられている。図７（ｃ）、図７（
ｅ）、および図７（ｇ）は図７（ｂ）の動きでぶれた画像に基づき加重画像α（ｘ，ｙ）
を用いずに各々３０、５０、および１００反復後の動きのぶれを補正した画像を示す。こ
れに対し図７ｄ、７ｆ、および７ｈは加重画像α（ｘ，ｙ）を用いる動きのぶれの補正を
各々３０、５０、および１００反復後の動きのぶれを補正した画像を示す。加重画像α（
ｘ，ｙ）がリンギングの抑制を、特に急勾配の遷移区域において、向上させることが分か
る。

正則化はたたみこみ解除中のノイズ増幅を抑制するように機能し、可能な場合リンギン
グ・アーチファクトをも低減することが理解されよう。直線かつ一定速度の動きの場合、
正則化画像Ｌを形成する際の水平および垂直エッジの方向の加重はぶれ補正中動きのない
方向における望ましくないぶれを低減する。

ｐ−ノルム正則化を含むぶれ補正方法でｐ＞１の場合は演算上複雑で高価であり得る。
従って性能（すなわち速度）を考慮する場合、ｐ−ノルムのｐ値を１に限定することが有
益かもしれない。その結果性能は向上する一方、動きのぶれ補正の質が顕著に劣化するこ
とは比較的稀である。さらに性能を向上させるために、ある反復においてｐ−ノルム正則
化を飛ばし、または全く省略することも可能である。もとよりｐ−ノルム正則化を飛ばし
、または省略することは動きのぶれ補正の全体速度と望ましい／必要なノイズ除去および
リンギング低減との間のトレードオフをもたらす。例えば、入力画像の信号・ノイズ比が
高い場合（すなわち例えば３０ｄＢ以上）、ｐ−ノルム正則化を行なう必要は全くないか
もしれない。

ステップＳ３１６から３３０は閾値の回数実行されるように説明されているが、反復数
を限定する他の基準を併せてまたは代わりに使用し得ることが理解されよう。例えば反復
プロセスは取り込み画像とぶれの推量画像との間のエラー規模が閾値レベルより低くなる
まで、または後続反復において閾値量をこえて変化しなくなるまで進むことができる。あ
るいは、反復数は他の基準に基づくことができる。

通常の当業者であれば、水平および垂直エッジ画像を得るためのソーベル導関数演算子
の代わりに他の適当なエッジ検出器／ハイパス・フィルタを利用し得ることを理解しよう
。

動きのぶれ補正を簡略化するために、ぶれの原因となる動きは通常直線かつ一定速度で
あると仮定することが知られている。しかし、動きのぶれ補正は動きのぶれの度合いおよ
び方向の初期推定に強く依存しているため、動きのぶれの度合いおよび方向の不正確な推
定は不満足な動きのぶれ補正結果をもたらし得る。上述の方法は画像取り込み装置のより
複雑な動きを表す点像分布関数（ＰＳＦ）と併せて有利に用いることができる。このよう
な場合、方程式（１９）で表される方向選択性正則化画像は直線かつ一定速度の動きに最
も適していることが特記される。より複雑の動きに対しては、方程式（２０）で表される
ような正則化画像を用いるべきである。

上記に特定の実施形態が説明されたが、当業者であれば添付クレームに定義される精神
および範囲を逸脱することなく、変形および修正が可能であることを理解しよう。

取り込み画像の動きのぶれを削減する際、実施されるステップのフローチャート。 推定された動きぶれパラメータを用いて取り込み画像の動きのぶれを補正するステップを示すフローチャート。 取り込み画像における動きのぶれ補正中のリンギングの影響を示す水平のぶれたステップ画像。 図３におけるステップ画像の動きのぶれ補正の第１反復の際、補正項が寄与するリンギング効果を示す空間−輝度プロファイルのセット。 図３におけるステップ画像の動きのぶれ加重を用いた補正の第１反復の際、補正項が寄与するリンギング効果を示す空間−輝度プロファイルのセット。 各々加重付きおよび加重なしで得られた更新推量画像におけるリンギングの量を示す２つの重ね合わせた空間−輝度プロファイル。 （ａ）〜（ｈ）は、加重付きおよび加重なしの何回かの反復後動きのぶれ補正中に補正項が寄与するリンギング効果を示す画像のセット。

符号の説明

４１０，４２０，４３０，４４０，５１０，５２０，５３０，５３５，５４０…プロフ
ァイル、５５０，５６０…リンギング部分、Ｂ…構成要素、Ｆ…忠実項画像、ｇ（ｘ，ｙ
）…正規化された形態勾配画像、ｈ（ｘ，ｙ）…動きぶれフィルタ、Ｉ（ｘ，ｙ）…ぶれ
た取り込み画像、Ｉ…画像、ｉｍｄｉｌａｔｅ（Ｉ，Ｂ）…形態膨張演算、ｉｍｅｒｏｄ
ｅ（Ｉ，Ｂ）…形態エロージョン演算、Ｌ…正則化画像、ＭＦ…修正忠実項画像、Ｏ₀（
ｘ，ｙ），Ｏ_n（ｘ，ｙ）…初期推量画像、Ｏ_h…水平エッジ画像、Ｏ_n…更新推量画像、
Ｏ_n-1…推量画像、Ｏ_v…垂直エッジ画像、α（ｘ，ｙ）…加重画像、β…値、η…正則化
パラメータ、Ｓ１００…ステップ；画像を取り込み、Ｓ２００…ステップ；取り込み画像
の動きのぶれパラメータを推定、Ｓ３００…ステップ；取り込み画像および推定された動
きのぶれパラメータを用いて画像における動きのぶれを低減、Ｓ３１０…ステップ；推量
画像を確立、Ｓ３１２…ステップ；動きのぶれパラメータを用いて点像分布関数（ＰＳＦ
）を作成、Ｓ３１４…ステップ；取り込み画像の形態に基づき加重画像を構築、Ｓ３１６
…ステップ；ＰＳＦを用いて推量画像をぶれさせる、Ｓ３１８…ステップ；取り込み画像
とぶれた推量画像との間のエラーを判定、Ｓ３２０…ステップ；ＰＳＦを用いてエラー画
像をぶれさせ、忠実項画像を形成、Ｓ３２２…ステップ；忠実項画像と加重画像とを組み
合わせ修正忠実項画像を形成、Ｓ３２４…ステップ；正規化画像を形成、Ｓ３２６…ステ
ップ；推量画像、修正忠実項画像、および正規化画像を組み合わせて推量画像を更新、Ｓ
３３０…ステップ；更新推量画像の輝度を調節、Ｓ３３４…ステップ；ぶれを補正した画
像を出力。

Claims (28)

1. 動きでぶれた画像における動きのぶれを低減する方法で、
   前記動きでぶれた画像に基づく推量画像を、前記動きでぶれた画像のぶれパラメータの
   関数としてぶれさせるステップと、
   前記ぶれた推量画像を前記動きでぶれた画像と比較してエラー画像を生成するステップ
   と、
   前記エラー画像をぶれさせるステップと、
   ぶれた前記エラー画像におけるピクセルを、前記動きでぶれた画像において対応するピ
   クセル付近のエッジしゅん度に基づき加重するステップと、
   ぶれてかつ加重された前記エラー画像および前記推量画像を組み合わせ、それにより推
   量画像を更新して動きのぶれを補正するステップと、
   を含むことを特徴とする動きでぶれた画像における動きのぶれを低減する方法。
2. 前記加重するステップは、
   前記動きでぶれた画像における対応ピクセル付近のエッジしゅん度に基づくピクセル値
   を有する加重画像を構築するステップと、
   前記加重画像を前記ぶれたエラー画像と組み合わせるステップと、
   を含むことを特徴とする請求項１に記載の動きでぶれた画像における動きのぶれを低減
   する方法。
3. 前記加重画像を構築するステップは、動きでぶれた画像の各ピクセルに対し、
   ピクセルの近傍を特定するステップと、
   各近傍内のピクセルの輝度勾配を計算するステップと、
   各輝度勾配をその近傍に対し正規化するステップと、を含み、
   前記加重画像における各ピクセルは前記動きでぶれた画像における各ピクセルに対応す
   る正規化輝度勾配を表すことを特徴とする請求項２に記載の動きでぶれた画像における動
   きのぶれを低減する方法。
4. 前記正規化するステップの後、加重画像における各ピクセルを最大ステップ・サイズ
   値でスケールするステップと
   を含むことを特徴とする請求項３に記載の動きでぶれた画像における動きのぶれを低減
   する方法。
5. 前記最大ステップ・サイズは前記ぶれパラメータに基づくことを特徴とする請求項４に
   記載の動きでぶれた画像における動きのぶれを低減する方法。
6. 前記近傍は前記ぶれパラメータに基づくことを特徴とする請求項３に記載の動きでぶれ
   た画像における動きのぶれを低減する方法。
7. 前記近傍は前記動きでぶれた画像を取り込むために用いられた画像取り込み装置が通る
   動きのパスに沿ったピクセルのセットを含むことを特徴とする請求項６に記載の動きでぶ
   れた画像における動きのぶれを低減する方法。
8. 前記近傍は前記動きでぶれた画像におけるぶれの度合いおよび方向に対応する長さおよ
   び方向を有する直線で表されることを特徴とする請求項７に記載の動きでぶれた画像にお
   ける動きのぶれを低減する方法。
9. 前記輝度勾配を計算するステップは、
   前記近傍内の最大および最小ピクセル輝度の差異を計算するステップと、を含み、
   各輝度勾配を正規化することは各輝度勾配を各々の最大ピクセル輝度で割るステップを
   含むことを特徴とする請求項３に記載の動きでぶれた画像における動きのぶれを低減する
   方法。
10. 最大ピクセル輝度は前記近傍内で形態拡張操作を用いて得られ、
    最小ピクセル輝度は前記近傍内で形態エロージョン操作を用いて得られることを特徴と
    する請求項９に記載の動きでぶれた画像における動きのぶれを低減する方法。
11. 前記推量画像におけるエッジに基づき正則化画像を形成するステップと、を含み、
    前記更新された推量画像は前記正則化画像、ぶれてかつ加重された前記エラー画像、お
    よび前記推量画像を組み合わせることにより生成されることを特徴とする請求項１に記載
    の動きでぶれた画像における動きのぶれを低減する方法。
12. 前記正則化画像を形成するステップは、
    前記推量画像から水平および垂直エッジ画像を構築するステップと、
    前記水平および垂直エッジ画像を合計し、それにより正則化画像を形成するステップと
    を含むことを特徴とする請求項１１に記載の動きでぶれた画像における動きのぶれを低減
    する方法。
13. 前記推量画像をぶれさすステップ、比較するステップ、エラー画像をぶれさすステップ
    、加重するステップ、および組み合わせるステップは反復的に行なわれることを特徴とす
    る請求項１１に記載の動きでぶれた画像における動きのぶれを低減する方法。
14. 前記推量画像をぶれさすステップ、比較するステップ、エラー画像をぶれさすステップ
    、加重するステップ、および組み合わせるステップは閾値回数反復的に行なわれることを
    特徴とする請求項１３に記載の動きでぶれた画像における動きのぶれを低減する方法。
15. 前記推量画像は前記動きでぶれた画像であることを特徴とする請求項１に記載の動きで
    ぶれた画像における動きのぶれを低減する方法。
16. 動きでぶれた画像における動きのぶれを低減するための装置で、
    前記動きでぶれた画像に基づく推量画像を、前記動きでぶれた画像のぶれパラメータの
    関数としてぶれさせる推量画像ぶれ化モジュールと、
    前記ぶれた推量画像を前記動きでぶれた画像と比較してエラー画像を生成するコンパレ
    ータと、
    前記エラー画像をぶれさせるエラー画像ぶれ化モジュールと、
    動きでぶれた画像における対応ピクセル付近のエッジしゅん度に基づき前記ぶれたエラ
    ー画像におけるピクセルを加重する加重モジュールと、
    前記ぶれてかつ加重されたエラー画像および前記推量画像を組み合わせ、それにより前
    記推量画像を更新し動きのぶれを補正する画像コンバイナと、
    を含むことを特徴とする動きでぶれた画像における動きのぶれを低減するための装置。
17. 前記加重モジュールは、
    前記動きでぶれた画像における対応ピクセル付近のエッジしゅん度に基づくピクセル値
    を有する加重画像を構築する加重画像モジュールと、を含み、
    前記画像コンバイナは前記加重画像と前記ぶれたエラー画像とを組み合わせることを特
    徴とする請求項１６に記載の動きでぶれた画像における動きのぶれを低減するための装置
    。
18. 前記加重画像モジュールは、
    前記動きでぶれた画像における各ピクセルに対しピクセルの近傍を特定する近傍定義器
    と、
    各近傍内のピクセルの輝度勾配を計算し、各輝度勾配をその近傍に対し正規化する勾配
    計算器と、
    前記加重画像における各ピクセルが動きでぶれた画像における各ピクセルに対応する前
    記正規化輝度勾配を表すよう定義する画像構築器と、
    を含むことを特徴とする請求項１７に記載の動きでぶれた画像における動きのぶれを低
    減するための装置。
19. 前記正規化後、前記画像構築器は前記加重画像における各ピクセルを最大ステップ・サ
    イズ値でスケールすることを特徴とする請求項１８に記載の動きでぶれた画像における動
    きのぶれを低減するための装置。
20. 最大ステップ・サイズ値は前記ぶれパラメータに基づくことを特徴とする請求項１９に
    記載の動きでぶれた画像における動きのぶれを低減するための装置。
21. 前記近傍定義器は前記ぶれパラメータに基づき前記近傍を定義することを特徴とする請
    求項１８に記載の動きでぶれた画像における動きのぶれを低減するための装置。
22. 前記近傍は前記動きでぶれた画像を取り込むために用いた画像取り込み装置が通る動き
    のパスに沿ったピクセルのセットを含むことを特徴とする請求項２１に記載の動きでぶれ
    た画像における動きのぶれを低減するための装置。
23. 前記近傍は前記動きのぶれた画像におけるぶれの度合いおよび方向に対応する長さおよ
    び方向を有する直線で表されることを特徴とする請求項２２に記載の動きでぶれた画像に
    おける動きのぶれを低減するための装置。
24. 輝度勾配の計算および正規化の際、前記勾配計算器は前記近傍内の最大および最小ピク
    セル輝度の差異を計算し、各輝度勾配を各々の最大ピクセル輝度で割ることを特徴とする
    請求項１８に記載の動きでぶれた画像における動きのぶれを低減するための装置。
25. 前記勾配計算器は前記近傍内で形態拡張操作を行ない最大ピクセル輝度を得、前記近傍
    内で形態エロージョンを行ない最小ピクセル輝度を得ることを特徴とする請求項２４に記
    載の動きでぶれた画像における動きのぶれを低減するための装置。
26. 前記推量画像におけるエッジに基づき正則化画像を形成する正則化モジュールと、を
    含み、
    更新された前記推量画像は前記正則化画像、ぶれてかつ加重された前記エラー画像、お
    よび前記推量画像を組み合わせることにより生成されることを特徴とする請求項１６に記
    載の動きでぶれた画像における動きのぶれを低減するための装置。
27. 前記推量画像をぶらせること、比較すること、エラー画像をぶらせること、加重するこ
    と、および組み合わせることは反復的に行なわれることを特徴とする請求項２６に記載の
    動きでぶれた画像における動きのぶれを低減するための装置。
28. 動きでぶれた画像における動きのぶれを低減するコンピュータ・プログラムを具現する
    コンピュータ読み取り可能な媒体で、
    前記コンピュータ・プログラムは、
    前記動きでぶれた画像に基づく推量画像を、前記動きでぶれた画像のぶれパラメータの
    関数としてぶれさせるコンピュータ・プログラム・コードと、
    前記ぶれた推量画像を前記動きでぶれた画像と比較してエラー画像を生成するコンピュ
    ータ・プログラム・コードと、
    前記エラー画像をぶれさせるコンピュータ・プログラム・コードと、
    前記動きでぶれた画像における対応ピクセル付近のエッジしゅん度に基づき前記ぶれた
    エラー画像におけるピクセルを加重するコンピュータ・プログラム・コードと、
    ぶれて、かつ加重された前記エラー画像と前記推量画像とを組み合わせ、それにより前
    記推量画像を更新し動きのぶれを補正するコンピュータ・プログラム・コードと、
    を含むことを特徴とする動きでぶれた画像における動きのぶれを低減するコンピュータ
    ・プログラムを具現するコンピュータ読み取り可能な媒体。