JP4480760B2 - 画像データ処理方法および画像処理装置 - Google Patents

Description

本発明は、撮影した画像をコンピュータ処理することによって手ぶれを補正する技術に係り、特に画像中に動きのある被写体がある場合にも適正な補正をすることのできる画像データ処理方法および画像処理装置に関する。

現在、カメラに加わる手ぶれによる画像のブレを防ぐために、手ぶれ補正技術が開発されている。手ぶれ補正の技術には、光学式補正方式や画像合成方式などがある。このうち、画像合成方式の手ぶれ補正方法は、補正レンズや光学機器の駆動機構などを必要としないため、小型化が必要とされる装置等に適している。

特許文献１および特許文献２では、カメラ等の撮像装置で撮影した複数の静止画間の動きベクトルを計算して、手ぶれの補正をする技術が開示されている。
特開２００３−７８８０７号公報 特開平９−２６１５２６号公報

画像合成方式では、まず、複数の画像間の動きベクトルを計算し、その動きベクトルによって画像間の相対的なずれを得る。そして、ずれを修正した複数の画像間の対応する画素値について加算処理をして合成画像を得る。
しかしながら、撮像した画像の中に動く被写体があった場合、各画像間での被写体の位置が変化しているため、従来の画像合成方式では合成画像上で被写体がゴースト現象のようにぶれた状態で合成画像が生成されてしまう。

図８は、従来の画像合成方式で手ぶれ補正をしたときの撮像画像の例である。画像aから画像dは連続して撮像された入力画像である。撮像された被写体のうち、バイクが画像の右上方向に移動していることがわかる。

画像hは、画像aから画像dの撮像画像から合成された補正後の画像である。被写体のうち、移動している被写体であったバイクが残像のように残っていることがわかる。
本発明は、上記の問題に係り、撮像画像中に動きのある被写体がある場合にも、その被写体の不鮮明化を低減してより適正な手ぶれ補正画像を得ることのできる画像データ処理方法および画像処理装置を提供することを目的とする。

上記の目的を達成するため、本発明に係わる画像データ処理方法は、基準画像と比較画像間の動きデータを算出する動きデータ演算処理と、前記基準画像と前記比較画像との画素値の差分を、前記動きデータによって対応付けられるブロックごとに算出するブロック比較処理と、前記画素値の差分に基づいて、前記基準画像に対する前記比較画像の重ね合わせ比率を前記ブロックごとに算出する重ね合わせ比率算出処理と、前記動きデータおよび前記重ね合わせ比率によって、前記比較画像を前記基準画像に重ね合わせて合成画像を生成する画像合成処理を含むことを特徴とする。

ここで、基準画像は動きデータの演算や画像の重ね合わせ処理をするための基準となる画像として定義される。最初の画像合成処理においては、複数毎の入力画像に対して任意の１枚が基準画像として選択される。選択の基準として、連続して撮像された画像のうち撮像時間が一番早いものを基準としてもよいし、画像を比較するためのパラメータを設けて決定してもよい。２巡目の画像合成処理においては、合成画像があらたな基準画像となる。

また、比較画像は入力画像のうち本発明の画像データ処理の対象となる画像であって基準画像以外の画像をいう。比較画像は、基準画像との間で動きデータの演算や重ね合わせ処理が行われる。比較画像は複数枚であってもよく、それぞれの比較画像ごとに基準画像との間で処理が行われる。

本発明では、基準画像と比較画像との間の動きデータを求める。このときの動きデータは、画像間の相対的なずれを表すものであり、画像全体のずれをあらわすもの、各特徴点や各ブロックの動きを表すものも含む趣旨である。

ここで、重ね合わせ比率は、２枚の画像の合成画像の画素値を算出する際の、各画像から取得する画素値の比率として定義され、中間値のほか、０％，１００％すなわち重ね合わせを行うか否かといういわゆる０，１の判定も含む趣旨である。重ね合わせ比率は、ブロックごとに基準画像と比較画像の画素値の差分に基づいて決定される。画素値の差分が大きいブロックについては重ね合わせ比率を小さくすることによって、基準画像に対する比較画像の影響度を小さくすることができる。画像中に動被写体がある場合には、動被写体のあるブロックについては画像間の画素値の差が大きいため、この処理によって合成画像への動被写体の影響を少なくすることができる。

好ましくは、重ね合わせ比率算出処理は、一旦算出した重ね合わせ比率を隣接するブロックの重ね合わせ比率に基づいて修正するようにすると良い。たとえば、任意のブロック（ブロックＡ）の比較画像の重ね合わせ比率が予め定めた閾値以下の場合は、ブロックＡに隣接するブロックで比較画像の重ね合わせ比率が前記閾値を超えるブロックが存在するか否かを判定し、存在する場合は、その隣接ブロックの重ね合わせ比率をブロックＡの重ね合わせ比率に合わせる、あるいは、その隣接ブロックの比較画像の重ね合わせ比率を周囲の閾値以下のブロック数に応じて低減するという処理を実行する。

これにより、動被写体の境界（エッジ）部分についても鮮明な合成画像を生成することができる。

また、本発明に係わる画像データ処理方法は、画像合成手段によって生成された合成画像を新たな基準画像とし、新たな比較画像を取得し、動きデータ演算処理、ブロック比較処理、重ね合わせ比率算出処理、画像合成処理を、取得する比較画像がなくなるまで、あるいは予め定められた所定回数、順次繰り返して最終的な合成画像を生成することを特徴とする。

本発明では、複数枚の画像を重ね合わせることによって、ノイズが少なくより鮮明な画像を得ることができる。特に、重ね合わせの枚数が多いブロックについては、より鮮明な画像を得ることができる。

また、本発明に係わる画像データ処理方法は、ノイズ除去処理が、前記重ね合わせ比率に基づいてブロックごとにノイズリダクションの係数または方法を変更しながら行うことを特徴とする。

ここで、ノイズリダクションとは、画像中のランダムノイズを平滑化するための処理をいう。係数によってノイズ除去効果を変えても良いし、ノイズリダクションの方法自体を変えるようにしても良い。ノイズリダクション方法としては、例えばメディアンフィルタやガウシアンフィルタなどがあるがこれに限られるものではない。

また、「重ね合わせ比率に基づく」とは、少なくとも合成画像の各ブロックを生成するために用いた基準画像や比較画像の比率によって定まることを意味し、たとえば各画像の重ね合わせ比率が所定の値を超える画像の枚数によって決定される。この場合、重ね合わせ比率は、合成画像の生成に使用された画像の影響度が等しい場合には枚数によって決定できる。したがって重ね合わせ比率に基づくとは、合成に使用された画像の枚数に基づくことも含む趣旨である。

ブロックごとに重ね合わせ比率に基づいてノイズリダクションの係数または方法を変えることで、重ね合わせに用いられた画像の多いブロックと少ないブロックとの間のノイズのばらつきの違いを解消し、全体としてノイズの分布のばらつきが少なく、自然な合成画像を得ることができる。

また、本発明に係わる画像処理装置は、基準画像と比較画像間の動きデータを算出する動きデータ演算手段と、前記基準画像と前記比較画像との画素値の差分を、前記動きデータによって対応付けられるブロックごとに算出するブロック比較手段と、前記画素値の差分に基づいて、前記基準画像に対する前記比較画像の重ね合わせ比率を前記ブロックごとに算出する重ね合わせ比率算出手段と、前記動きデータおよび前記重ね合わせ比率によって、前記比較画像を前記基準画像に重ね合わせて合成画像を生成する画像合成手段と、を備えることを特徴とする。

本発明によれば、撮像画像中の動被写体が存在するブロックを検出して、そのブロックの重ね合わせ比率を変えて合成画像を生成することによって、より鮮明な手ぶれ補正画像を得ることができる。また、この重ね合わせ比率に基づいて、ノイズリダクションの係数あるいは方法を変えてノイズ除去を行うことによって合成画像中のノイズのばらつきを低減し画質を均一化することができる。

以下、本発明の実施形態を説明する。
図１は、本実施形態に係る画像処理装置２のブロック図である。この装置は、複数の画像を入力して、それらの画像を合成して手ぶれ補正された画像を生成するものである。

画像処理装置２は、記憶部１４と演算処理部１６を備えている。

演算処理部１６は、画像データ入力手段３６、画像合成処理部１８、ノイズ除去手段２０、画像データ出力手段２２を備える。
画像データ入力手段３６は、外部から画像データを受け取り、記憶部１４に保存する。この際、画像の比較や合成のための基準画像を入力画像の中から１つ決定して保存し、その他の画像を比較画像として保存する。画像合成処理部１８は、基準画像と比較画像を合成する処理を行う。ノイズ除去手段２０は、ノイズリダクションのフィルタを合成画像に適用して、合成画像中のノイズを除去する。画像データ出力手段２２は、ノイズ除去された合成画像を最終的な出力画像として出力する。

画像合成処理部１８は、動きデータ検出手段３８、ブロック比較手段４０、重ね合わせ比率算出手段４２、画像合成手段４４を備える。
動きデータ検出手段３８は、入力された複数の画像間の動きデータを演算する。ブロック比較手段４０は、基準画像と比較画像の対応するブロック同士を比較して、ブロックごとに画素差分値を演算する。重ね合わせ比率算出手段４２は、ブロック比較手段４０によって算出された画素差分値をもとに、各比較画像についてブロックごとの重ね合わせ比率を算出する。画像合成手段４４は、算出された動きデータと重ね合わせ比率データをもとに、基準画像と複数の比較画像を合成し、合成画像を生成する。ノイズ除去手段２０は、ノイズリダクションフィルタを合成画像に適用して、合成画像中のノイズを除去する。画像データ出力手段２２は、ノイズ除去された合成画像を最終的な出力画像として出力する。

記憶部１４は、画像データ保持部１０とパラメータ保持部１２とからなる。画像データ保持部１０は、画像データ入力手段３６からの入力画像データ２４、画像合成処理部１８によって生成された合成画像データ２６、最終的な出力データとなる出力画像データ２８を保持する。パラメータ保持部１２は、基準画像と比較画像のずれである動きデータ３０、基準画像と比較画像との対応するブロックごとの画素値の差分である画素値差分データ３２、基準画像と比較画像の重ね合わせの比率を比較画像かつブロックごとに持つ重ね合わせ比率データ３４を保持する。

次に、本実施の形態の画像処理装置の動作について、図２に示すフローチャートを用いて説明する。

<ステップS101>
画像データ入力手段３６は、外部の撮像装置から複数の画像を取得し、画像データ保持部１０に保存する。入力される画像は、連続して撮影された画像であり、本実施例では、入力された画像が図８の（a）から（d）であるものとして説明する。

<ステップS102>
動きデータ検出手段３８は、入力された画像のうち、１枚を基準画像とし、その他の画像のうち１枚を比較画像として決定する。本実施例では、撮像されたタイミングが最も早いものを基準画像とし、次のタイミングで撮像された画像を比較画像とする。図８の例では、時系列的に(a)から(d)の順番に撮像されており、このステップにおいては（a）が基準画像となり、(b)が比較画像となる。

<ステップS103>
動きデータ検出手段３８は、基準画像と比較画像間の動きデータを演算する。動きデータとしては、図３の(a)に示すように基準画像と比較画像の相対的なずれであって平行移動量を表す動きベクトルであってもよいし、(b)のように画像の回転など動き検出の自由度が高いアフィンパラメータであってもよい。例えば、特開2007-226643号公報には、入力画像の多重解像度処理を行った後、解像度の低い画像から高い画像へと段階的にブロックマッチング処理を実行して、精度の高いアフィンパラメータを求める技術が開示されており、この技術を用いて基準画像と比較画像間の動きデータを演算することができる。

<ステップS104>
ブロック比較手段４０は、ステップS103で求めた動きデータによって基準画像と比較画像のずれを調整した後に、それぞれの画像を所定のブロックに分割し、対応するブロックそれぞれの画素値の総和の差を演算する。図４は、基準画像と比較画像をブロックに分割した状態を示している。基準画像のブロックAは、動きデータによってずれを考慮した比較画像のブロックBに対応している。ここでブロックA内の各ピクセルの画素値の総和とブロックB内の各ピクセルの画素値の総和の差分を計算する。ブロック分割の具体的な例としては、２００メガピクセルから５００メガピクセルの画像に対して１６×１６ピクセルのブロックに分割して処理している。処理装置や必要とする処理速度あるいは画像の大きさなどに合わせてブロックのピクセルは任意に変えてよい。

この処理における式は、ブロックA内の任意の座標pとブロックB内の任意の座標qについてその画素値をI(p)、I(q)として、以下のとおりとなる。

なお、ブロック内の画素値の総和を計算する際に計算量を少なくするために、適宜画素を間引いて計算してもよい。これによってブロック間の判断の精度は落ちるが処理を高速化することができる。

<ステップS105>
重ね合わせ比率算出手段４２は、ブロック比較手段４０によって算出されたブロックごとの画素値の差分をもとに、基準画像への合成画像の重ね合わせの比率をブロックごとに算出する。算出された重ね合わせ比率は、各画像の各ブロックについて重ね合わせ比率データとしてパラメータ保持部１２に保持される（S105）。本実施の形態では、ステップS104で求めた画素値の総和の差分が所定の閾値以上のときはそのブロックについては基準画像に対する比較画像の重ね合わせを行わない。このとき、比較画像のこのブロックについての重ね合わせ比率は0となる。つまり、合成画像における対応するブロック内の各ピクセルの輝度値について、基準画像１に対して比較画像0の割合で合成される。

画素値の差分が閾値より小さい時は、基準画像およびそれぞれの比較画像による合成画像への影響度が一定になるように重ね合わせ比率を決定する。図５は４枚の入力画像から最終的な合成画像を得る場合の例を示している。まず、ステップS105の最初の段階では、画像aが基準画像として、画像bが比較画像として対応するブロックどうしで重ね合わせ比率が決定される。このとき比較対象となっているブロック同士の画素値の差分が閾値より小さい時、生成される合成画像eへの画像aおよび画像bの影響度は１：１となり、重ね合わせ比率は、画像a、画像bについて、ともに２分の１となる。

なお、このときの閾値は、画素値の総和の差がノイズの影響によるものではなく、そのブロックの撮像された被写体に変化があったと判断できる値となる。本実施例では、諧調値の８分の１としており、これは経験的に求められた値である。例えば、画素値が２５６諧調であるとき、閾値は３２となる。ただしこの値は一例であり、画像の撮像装置などの要因によって最適な値を任意に設定してよい。

詳細については後述するが、合成画像の生成後さらに比較画像がある場合は、生成された合成画像をあらたな基準画像として、あらたな比較画像との間で合成処理をする（S108後のS102）。

<２巡目以降のS105>
図５の例の場合、画像eと画像cを合成して画像fを得る処理、画像fと画像dを合成して画像gを得る処理がこの段階にあたる。画像eと画像cを合成するとき、処理対象のブロックについての画素値の差が前出の閾値を超えた場合、画像cの画像fに対するそれぞれのブロックの影響度が画像aおよび画像bと均等になるように、画像cの重ね合わせ比率は３分の１となり、画像eの重ね合わせ比率は３分の２となる。つまり、基準画像となる合成画像がＮ枚（Ｎは１以上の整数）の画像からなる場合、基準画像の重ね合わせ比率はＮ＋１分のＮ、比較画像の重ね合わせ比率はＮ＋１分の１となる。

上記の算出方法以外に、重ね合わせ比率を画素値の総和の差分に応じて決定してもよい。
例えば、差分が０であるときに基準画像と比較画像の比率が１：１になるように基準画像の重ね合わせ比率を２分の１とし、差分が大きくなるにつれて基準画像の重ね合わせ比率が大きくなるように傾斜的に算出してもよい。

<重ね合わせ比率の調整(S105)>
重ね合わせ比率を決定する際に、基準画像のブロックに比較画像の対応するブロックが存在しないときは、重ね合わせ処理はせず、基準画像のブロックを合成画像のブロックとして採用する。

また、全ブロックについての重ね合わせ比率決定後、基準画像に対して比較画像の重ね合わせをしない、つまり、重ね合わせ比率が0に設定されたブロックの周囲１ブロックについて重ね合わせ比率を0に設定する。これによって、動被写体のエッジ部分のみが含まれるブロックについてより正確な合成処理をすることができる。図９によって例を示す。

ブロックX₁は、基準画像内のブロックで動被写体３００の一部を含む。ブロックX₂は、比較画像内のブロックX₁に対応するブロックである。これらのブロックについてステップS104における画素値の総和の差分を求めた場合、動被写体の影響は少ないためその差分は小さくなる。したがって、ステップS105において両ブロックの画素値について重ね合わせをするように重ね合わせ比率が設定される。このときブロックX₁内の動被写体の一部についての画素値が弱く合成されてしまう。

本実施例の重ね合わせ比率の調整をすると、ブロックX₁の１つ右隣のブロックが重ね合わせを行わないため、ブロックX₁について重ね合わせをしないこととなり、前記の動被写体の一部の画素値が弱く合成されるという問題が解消される。

<ステップS106>
画像合成手段４４は、ステップS105で算出された重ね合わせ比率をもとに、基準画像の各ブロックについて、基準画像の画素値とそれに対応する比較画像の各ピクセルの画素値をステップS105で求めた重ね合わせ比率によって加算処理する。基準画像の全ブロックについて加算処理が終了した時点で、合成画像が生成される。合成画像は合成画像データとして画像データ保持部１０に保存される。

このときの合成画像の生成方法は、合成画像のブロックAについて座標(x,y)における画素値をA(x,y)とし、比較画像のブロックBについて対応するピクセルの各画素値を画像間のずれを考慮してB(x+dx,y+dy)とし、さらに、ブロックAに対するブロックBの重ね合わせ比率をαとすると、以下の通りとなる。

なお、上記の例ではブロックA、B間のずれを動きベクトル(dx,dy)として計算しているが、アフィンパラメータによって計算してもよい。

<ステップS107およびS108>
合成画像の生成後、画像合成処理部１８は画像データ保持部１０の入力画像データを参照し、さらに比較画像があるかを調べる(S107)。新たな比較画像が存在する場合(S107のY)、画像合成処理部１８はステップS106で生成された合成画像を新たな基準画像とし、入力画像データのうち画像合成に使用されていないものを新たな比較画像とし、それらの画像の間で合成処理を開始する(S108)。

図５は、本実施の形態のうちステップS101からS108の処理の概要を示す例として、1枚の基準画像と3枚の比較画像から最終的な合成画像が生成される過程を表した図である。図５中、Mx（x:a〜f）は、画像xの重ね合わせ比率を示している。基準画像aと比較画像bについてステップS101からステップS106の処理を行うことによって合成画像eが得られる。ステップS107においてさらに比較画像があるかを判断する。比較画像が存在するので、ステップS108において、合成画像eを新たな基準画像とし、cを新たな比較画像としてステップS103の処理を再び開始する。再びステップS101からS106の処理によって新たな合成画像fを得る。ステップS107でさらに比較画像がないと判断されるまで同様の処理を繰り返し、最終的に合成画像gを得る。

<ステップS109>
ノイズ除去手段２０は、各ブロックについて合成に使用した画像の枚数にしたがいノイズリダクションの係数を決定し、ノイズ除去のフィルタ処理をする(S109)。ノイズリダクションの方法としては既知の技術を用いる。例えばバイラテラルフィルタやガウシアンフィルタ、メディアンフィルタによるノイズリダクションの方法が知られている。

ノイズリダクションの係数の決定においては、合成に使用された画像が多いほどノイズリダクションの係数を小さくし、ノイズ除去のフィルタが弱くかかるようにする。逆に使用された画像が少ないほどノイズリダクションの係数を大きくしてフィルタを強くかける。

例として、本実施例でバイラテラルフィルタを用いた場合について説明する。バイラテラルフィルタは、注目画素とその周辺の参照画素について距離の差と輝度の差による重みづけをして平均化をするフィルタである。距離および画素値のそれぞれの重みづけには一般的にガウス分布が用いられる。注目画素をp、参照画素をq、参照画素の集合をA、画素値をそれぞれI(p)、I(q)とすると輝度の差による重みづけ関数w(p,q)は以下のようになる。

この重みづけ関数w(p,q)について係数σ_dを変更することにより、フィルタの強さを変えることができる。ノイズリダクションの係数σ_dを大きくするほどフィルタのかかり方は強くなる。

ステップS109においては、この係数σ_dを重ね合わせ枚数によって変更することによってフィルタの強さを変更する。１枚の重ね合わせ画像についてのブロックに関する係数をσとするとき、重ね合わせの画像枚数が２枚、３枚のブロックについてσ／２、σ／３として設定する。これによって重ね合わせの枚数が多いブロックほど輝度の差による重みづけの分散が小さくなり、フィルタの効果が小さくなる。

また、各画像の最終的な合成画像に対する影響度にしたがってノイズリダクションの係数を決定してもよい。各画像の各ブロックにおける合成画像に対する影響度は、各合成処理時の重ね合わせ比率の積となる。図６の例において、画像eを生成する際の画像aの重ね合わせ比率をM_aとし、同様に画像e、画像fの各合成処理時における重ね合わせ比率をそれぞれM_e、M_fとすると、最終的な合成画像gへの画像aの重ね合わせ比率M_gaは、M_a、M_e、M_fの積となる。同様に画像b、画像c、画像dについても求める。入力画像がN枚であるとき、その重ね合わせ比率が閾値（例えば１／Ｎ）以上である画像の枚数によって、段階的にノイズリダクション係数を決定することなどが考えられる。

この処理により、最終的な合成画像内のランダムノイズのばらつきを解消し、全体的にノイズの少ないより滑らかな画像を得ることができる。デジタル画像は画像中にランダムノイズを有しており、画像を合成したときには、ノイズが平均化されてノイズが低減される。本実施例では、ブロックごとに重ね合わせの比率を変更するため、動被写体が存在するブロックでは基準画像と比較画像間の画素値の差が大きくなり、基準画像に対する比較画像の重ね合わせ比率は小さくなる。そのため最終的な合成画像は、ノイズが多く残るブロックとノイズが少ないブロックとが存在しブロック間のノイズのばらつきが目立つ画像となる。したがって、ブロックごとにノイズリダクションの係数を変えながらフィルタを適用することにより全体的なノイズのばらつきがなくなり、より自然な画像を得ることができる。なお、画像合成によってノイズが低減されたブロックについては、ノイズリダクションフィルタを適用すると逆に画質が悪くなるため、ノイズリダクションを弱くかけるかかけないようにしている。

図６は、図１の画像aないし画像dを合成した後のノイズリダクション処理前の画像である。動被写体であるバイクの周辺の領域２００に多くノイズが存在することがわかる。このノイズが多く周辺する領域にはノイズリダクションの係数を大きくしてノイズリダクション処理が行われる。

図７は、図６の画像にステップS109のノイズ除去を行った結果である。図６の画像に比べて、領域２００のノイズが低減していることがわかる。

ノイズ除去手段２０は、上記の処理によって得られた合成画像を手ぶれ補正処理後の画像である出力画像データとして画像データ保持部１０に保持する。画像データ出力手段２２は、出力画像データを外部の表示装置や記憶装置などに出力する。

本実施の形態によれば、画像合成による手ぶれ補正をする際に、各画像間の対応するブロックについて画素値の差を求めて動被写体がありそうなブロックを知り、画像の重ね合わせ処理の時に、そのブロックについての重ね合わせ処理を行わないため、動被写体の影響を受けない画像合成が可能となる。さらに、重ね合わせ処理を行わない、あるいは重ね合わせる画像の影響が少ないブロックについて、他のブロックより強くノイズリダクションをかけることにより、そのブロックについてのノイズを低減し、他のブロックとのノイズ除去のバランスがとれた画像を得ることができる。

<その他の実施の形態>
第２の実施形態について説明する。第１の実施形態では、基準画像と比較画像の合成を順次比較画像を取得しながら繰り返して行った。本実施の形態では、ステップS102からS106までの処理をすべての画像について一括して行い合成画像を得る。その後にステップS109で合成画像にノイズ除去処理をする。

図１０は、本実施の形態についての処理の概要を示す図である。基準画像aと比較画像b〜dによる合成処理を示した例である。基準画像と比較画像のそれぞれについてステップS103からS105までの処理を行い、それぞれの画像のブロックごとに重ね合わせ比率を決定する。重ね合わせ比率決定後、それぞれの画像の対応する画素値を加算処理することにより合成画像を得る。合成処理生成後のノイズ除去処理は第１の実施例と同様である。

この処理により、第１の実施形態に比べて必要とするメモリの容量が多くなるものの、各比較画像を基準画像と比較して動きデータや重ね合わせ比率を決定できるため、より基準画像が反映された合成画像を生成することが可能となる。

なお、本発明は上述の各実施形態に限定されること無く、その要旨を逸脱しない範囲で種々変形して実施することが出来る。たとえば、通信ネットワークを介してこれと繋がるコンピュータ装置等と画像データや動きデータの受け渡しを行うようにしても良い。

本発明による画像データ処理方法は、コンピュータ上で手ぶれ画像を処理する手ぶれ補正装置、画像合成処理をする画像処理装置、デジタルカメラやビデオカメラ等の撮像装置、動画生成装置などに適用することができる。

本発明の実施の形態に係る画像処理装置の機能ブロック図である。 本発明の実施の形態による画像データ処理の流れの説明図である。 動きデータの例を示す図である。 ブロックの対応についての説明図である。 本発明の実施の形態の画像合成処理の概要を示した図である。 ノイズ除去処理前の合成画像である。 ノイズ除去処理後の合成画像である。 従来の技術による画像合成処理の例を示す図である。 ステップS105における重ね合わせ比率決定後の調整処理の具体例を示す図である。 本発明の第２の実施形態の画像合成処理の概要を示した図である。

符号の説明

２ 画像処理装置
１０ 画像データ保持部
１２ パラメータ保持部
１４ 記憶部
１６ 演算処理部
１８ 画像合成処理部
２０ ノイズ除去手段
２２ 画像データ出力手段
２４ 入力画像データ
２６ 合成画像データ
２８ 出力画像データ
３０ 動きデータ
３２ 画素値差分データ
３４ 重ね合わせ比率データ
３６ 画像データ入力手段
３８ 動きデータ検出手段
４０ ブロック比較手段
４２ 重ね合わせ比率算出手段
４４ 画像合成手段

Claims (3)

1. 基準画像と比較画像間の動きデータを算出する動きデータ演算処理と、前記基準画像と前記比較画像との画素値の差分を、前記動きデータによって対応付けられるブロックごとに算出するブロック比較処理と、前記画素値の差分に基づいて、前記基準画像に対する前記比較画像の重ね合わせ比率を前記ブロックごとに算出する重ね合わせ比率算出処理と、前記動きデータおよび前記重ね合わせ比率によって、前記比較画像を前記基準画像に重ね合わせて合成画像を生成する画像合成処理と、を含む画像データ処理方法であって、
   前記画像合成処理の後、新たな比較画像を取得し、前記合成画像を新たな基準画像として、前記動きデータ演算処理、前記ブロック比較処理、前記重ね合わせ比率算出処理、前記画像合成処理を順次繰り返して複数枚の画像からなる合成画像を生成し、
   さらに、当該合成画像に対して、前記重ね合わせ比率に基づいて、ブロックごとにバイラテラルフィルタの係数を変更しながらノイズリダクションを実行するノイズ除去処理を含むことを特徴とする画像データ処理方法。
2. 前記バイラテラルフィルタは、注目画素をp、参照画素をq、参照画素の集合をA、画素値をそれぞれI(p)、I(q)、係数σ _d としたとき、次の式による重みづけ関数w(p,q)であることを特徴とする請求項１に記載の画像データ処理方法。
   
3. 基準画像と比較画像間の動きデータを算出する動きデータ演算手段と、前記基準画像と前記比較画像との画素値の差分を、前記動きデータによって対応付けられるブロックごとに算出するブロック比較手段と、前記画素値の差分に基づいて、前記基準画像に対する前記比較画像の重ね合わせ比率を前記ブロックごとに算出する重ね合わせ比率算出手段と、前記動きデータおよび前記重ね合わせ比率によって、前記比較画像を前記基準画像に重ね合わせて合成画像を生成する画像合成手段と、を備えた画像処理装置であって、
   前記画像合成処理の後、新たな比較画像を取得し、前記合成画像を新たな基準画像として、前記動きデータ演算手段、前記ブロック比較手段、前記重ね合わせ比率算出手段、前記画像合成手段を順次繰り返して実行して複数枚の画像からなる合成画像を生成し、
   さらに、当該合成画像に対して、前記重ね合わせ比率に基づいて、ブロックごとにバイラテラルフィルタの係数を変更しながらノイズリダクションを実行するノイズ除去手段を備えたことを特徴とする画像処理装置。