JP5499050B2 - 画像処理装置、撮像装置、及び画像処理方法 - Google Patents

Description

本発明は、被写体を流し撮りした入力画像のブレを補正する画像処理装置、撮像装置、及び画像処理方法に関するものである。

近年、カメラの多機能化が進むことにより、カメラの手軽さが増加してきている。ユーザニーズは、カメラの機能によってサポートされる撮影技術へとシフトしている。そのような撮影技術の中の１つに流し撮りがある。流し撮りとは、画像内の特定の位置にその像を固定したい被写体にレンズを向け、シャッターの開口中に、被写体の位置がずれないように、その被写体の動きに合わせてカメラを動かして撮影することである。流し撮りされた画像において、背景は露光中にカメラが動いた分だけブレて写り、被写体は止まっているように写る。

その結果、流し撮りされた画像では、離着陸もしくは低空飛行中の航空機、又は走行中の列車、自動車もしくはバイクなど、動きの速い被写体のスピード感が表現される。

ユーザが手でカメラを動かして流し撮りした場合には、大きな手ブレによって被写体の像までも不鮮明になってしまうことが多い。特に、ユーザが手持ち撮影に熟練したフォトグラファーでない場合には、流し撮りは困難な撮影技術である。一脚あるいは三脚といった器具を用いて流し撮りされた場合であっても、被写体の移動方向とは異なる方向のブレ（縦ブレ）が被写体の像に発生する場合がある。

従来、流し撮りした画像のブレ補正を行う方法が提案されている（例えば、特許文献１参照）。図１は、特許文献１に記載された従来の撮像装置を示すブロック図である。

図１において、撮像装置は、撮像部１１と、制御系部１２と、要因情報保存部１３と、検出部１４と、処理部１５と、記録部１６とを備える。撮像部１１は、画像を撮影する。
制御系部１２は、撮像部１１を駆動する。要因情報保存部１３は、画像劣化等を生じさせる既知の変化要因情報（例えば撮影光学系の収差等）を保存する。検出部１４は、角速度センサ等からなり、画像劣化等の変化の要因となる変化要因情報を検知する。処理部１５は、撮像部１１で撮影された画像を処理する。記録部１６は、処理部１５で処理された画像を記録する。

また、処理部１５は、撮影画像が流し撮り撮影画像であるか否かを判定する。そして、処理部１５は、撮影画像が流し撮り撮影画像であると判定した場合、要因情報保存部１３に保存されている変化要因情報から、流し撮りの方向における変化要因情報を取り去ったデータを用いてブレの補正を行う。

また、従来、連続して撮影した複数枚の画像から流し撮り画像を生成する方法も提案されている（例えば、特許文献２参照）。図２は、特許文献２に記載された従来の撮像装置を示すブロック図である。

図２において、撮像装置は、撮像部２１と、背景獲得部２２と、処理部２３と、合成部２４とを備える。撮像部２１は、動く被写体の像を含む複数のフレームを撮影する。背景獲得部２２は、複数のフレームから動く被写体の像を除去するように、複数のフレーム間の画像の差分を計算する。処理部２３は、被写体の像を除去した画像に対してボカシ処理をおこなうことで、背景をぼかした画像を生成することができる。合成部２４は、ボカシ処理結果に被写体の像を重ね合わせることで、背景がぼけていて、かつ、被写体がくっきりと写っている画像を生成する。

特開２００７−０７４２６９号公報 特開２００６−３３９７８４号公報

しかしながら、特許文献１に示される方法では、流し撮りの方向のブレを補正できない。したがって、流し撮りの対象となる被写体の像が流し撮りの方向のブレを有する場合には、効果的にブレ補正を行うことができない。

また、特許文献２に示される方法では、ブレを有していない背景画像に対してボカシ処理が行われるため、被写体の移動方向にブレを有する背景画像を得ることができない。つまり、特許文献２に示される方法では、被写体のスピード感が表現された流し撮り画像を得ることはできない。

本発明は、上記従来の課題を解決するものであって、被写体を流し撮りした画像のブレ補正を行うことにより、被写体の像のブレが抑制され、かつ被写体のスピード感が表現された画像を生成することができる画像処理装置、撮像装置、及び画像処理方法を提供することを目的とする。

従来の課題を解決するために、本発明の一態様に係る画像処理装置は、被写体を流し撮りした入力画像のブレ補正を行う画像処理装置であって、前記入力画像内の複数の領域の各々において、ブレの方向及び大きさを推定するブレ推定部と、推定された前記ブレの方向及び大きさのうち少なくとも一方の類似性に基づいて、前記複数の領域のクラスタリングを行うクラスタリング部と、前記クラスタリングによって得られた複数のクラスタの中から、前記被写体に対応する少なくとも１つのクラスタを特定する被写体領域特定部と、推定された前記ブレの方向及び大きさに基づいて、特定された前記クラスタに属する領域のブレ補正を行うブレ補正部とを備え、前記ブレ推定部は、前記入力画像の特徴と前記入力画像が撮影されたときの撮影条件との少なくとも一方に応じてサイズが適応的に変化するように、ＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）のサイズを決定するＰＳＦサイズ決定部と、前記入力画像内の複数の領域の各々において、決定されたサイズのＰＳＦを推定することにより、前記ブレの方向及び大きさを推定するＰＳＦ推定部とを備える。

この構成によれば、ブレの類似性に基づいて、入力画像内の複数の領域のクラスタリングを行うことができる。動いている被写体を流し撮りした場合、被写体の像と背景の像とは異なるブレを有する。したがって、ブレの類似性に基づいて、入力画像内の複数の領域のクラスタリングを行うことにより、被写体に対応するクラスタ（領域の集合）と背景に対応するクラスタとに切り分けることができる。そこで、被写体に対応するクラスタに属する領域のブレ補正を、当該クラスタに属する領域から推定されたブレの方向及び大きさに基づいて行うことにより、被写体の像のブレが抑制され、かつ被写体のスピード感が表現された画像を生成することが可能となる。

さらに、この構成によれば、入力画像内の複数の領域の各々において、ＰＳＦを推定することにより、ブレの方向及び大きさを高精度に推定することが可能となる。

さらに、この構成によれば、撮影条件又は入力画像の特徴に応じて、ＰＳＦのサイズを適応的に変化させることができる。被写体の像の形状と合致するクラスタを得るためには、各領域のサイズは、小さいことが好ましい。各領域のサイズは、ＰＳＦのサイズ以上である必要がある。したがって、ＰＳＦのサイズはできる限り小さいことが好ましい。しかしながら、ＰＳＦのサイズがブレの大きさよりも小さい場合、ＰＳＦはブレを適切に表現できない。また、領域内の画像の特徴によっては、ＰＳＦのサイズを大きくしなければ、適切にＰＳＦを推定できない場合もある。そこで、撮影条件又は入力画像の特徴に応じて、ＰＳＦのサイズを適応的に変化させることにより、適切なサイズのＰＳＦを推定することが可能となる。

また、前記ＰＳＦサイズ決定部は、前記被写体の像の輪郭形状が複雑であるほどサイズが小さくなるように、前記ＰＳＦのサイズを決定することが好ましい。

この構成によれば、被写体の像の輪郭形状が複雑さに基づいて、ＰＳＦのサイズを決定することができる。被写体の像の輪郭形状が複雑でない場合には、領域内に特徴が少なくなり小さなサイズのＰＳＦを高精度に推定することが難しい。そこで、被写体の像の輪郭形状が複雑であるほどサイズが小さくなるように、ＰＳＦのサイズを決定することにより、ＰＳＦを高精度に推定することが可能となる。

また、前記ＰＳＦサイズ決定部は、前記入力画像が撮影されたときの露光時間が長いほどサイズが大きくなるように、前記ＰＳＦのサイズを決定することが好ましい。

この構成によれば、露光時間が長いほどサイズが大きくなるように、ＰＳＦのサイズを決定することができる。露光時間が長いほどブレは大きくなる傾向がある。したがって、露光時間が長いほどＰＳＦのサイズを大きくすることにより、ＰＳＦのサイズがブレの大
きさよりも小さくなる可能性を低減することが可能となる。

また、前記クラスタリング部は、２つの領域のＰＳＦ間におけるＬ２ノルム又はＬ１ノルムが小さいほど当該２つの領域が同一のクラスタに属するように、前記複数の領域のクラスタリングを行うことが好ましい。

この構成によれば、ＰＳＦ間のＬ２ノルム又はＬ１ノルムに基づいて、複数の領域のクラスタリングを正確に行うことが可能となる。

また、前記クラスタリング部は、２つの領域のブレの方向及び大きさを表すベクトルの差分が小さいほど当該２つの領域が同一のクラスタに属するように、前記複数の領域のクラスタリングを行うことが好ましい。

この構成によれば、ブレを表すベクトルの差分に基づいて、複数の領域のクラスタリングを正確に行うことが可能となる。

また、前記被写体領域特定部は、前記入力画像の中央から閾値以内の距離に位置するクラスタを前記被写体に対応するクラスタとして特定することが好ましい。

この構成によれば、主要な被写体が画像の中心に写されることが多いという特徴を利用して、被写体に対応するクラスタを自動で容易に特定することが可能となる。

また、前記被写体領域特定部は、ユーザから受け付けられた入力情報であって、前記入力画像内における前記被写体の像の位置を示す入力情報に基づいて、前記被写体に対応するクラスタを特定することが好ましい。

この構成によれば、ユーザからの入力情報に基づいて、被写体に対応するクラスタを正確に特定することが可能となる。

また、前記被写体領域特定部は、ブレの大きさが閾値よりも小さいクラスタを前記被写体に対応するクラスタとして特定することが好ましい。

この構成によれば、被写体の像が有するブレよりも背景の像が有するブレの方が大きいことが多いという特徴を利用して、被写体に対応するクラスタを自動で正確に特定することが可能となる。

また、前記ブレ補正部は、特定された前記クラスタに属する領域ごとに、当該領域において推定された前記ブレの方向及び大きさを用いて当該領域のブレ補正を行うことが好ましい。

この構成によれば、領域ごとにブレ補正を行うことができ、より高精度にブレ補正を行うことが可能となる。

また、前記ブレ補正部は、特定された前記クラスタに属する領域ごとに推定された前記ブレの方向及び大きさの平均を用いて、特定された前記クラスタに属する領域のブレ補正を行うことが好ましい。

この構成によれば、クラスタに属する領域のブレ補正を一括で行うことができ、計算負荷を低減することが可能となる。

また、前記ブレ補正部は、さらに、前記被写体に対応するクラスタに属する領域において推定された前記ブレの方向及び大きさを用いて、前記被写体に対応するクラスタ以外のクラスタに属する領域のブレ加工を行うことが好ましい。

この構成によれば、被写体に対応するクラスタ以外のクラスタ（つまり、背景に対応するクラスタ）に属する領域の画像が被写体のブレの方向にブレるように、ブレ補正を行うことができる。したがって、被写体のスピード感がより強調された画像を生成することが可能となる。

また、前記画像処理装置は、集積回路として構成されてもよい。

また、本発明の一態様に係る撮像装置は、上記画像処理装置と、前記入力画像を生成する撮像部とを備える。

この構成によれば、上記画像処理装置と同様の効果を奏することができる。

なお、本発明は、このような画像処理装置として実現することができるだけでなく、このような画像処理装置が備える特徴的な構成要素の動作をステップとする画像処理方法として実現することができる。また、本発明は、画像処理方法に含まれる各ステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の非一時的な記録媒体あるいはインターネット等の伝送媒体を介して配信することができるのは言うまでもない。

本発明によれば、被写体を流し撮りした画像のブレ補正を行うことにより、被写体の像のブレが抑制され、かつ被写体のスピード感が表現された画像を生成することができる。

図１は、従来のブレ補正処理の一例を説明するための図である。 図２は、従来のブレ補正処理の他の一例を説明するための図である。 図３Ａは、本発明の実施の形態における撮像装置の外観図である。 図３Ｂは、本発明の実施の形態における撮像装置の機能構成を示すブロック図である。 図４は、ＰＳＦを説明するための図である。 図５は、本発明の実施の形態におけるＰＳＦ推定部の機能構成を示すブロック図である。 図６は、本発明の実施の形態における画像処理装置の動作を説明するための図である。

以下、本発明の実施の形態について、図面を参照しながら説明する。

図３Ａは、本発明の実施の形態における撮像装置３０の外観図である。図３Ｂは、本発明の実施の形態における撮像装置３０の機能構成を示すブロック図である。

図３Ｂにおいて、撮像装置３０は、撮像部３１と画像処理装置３６とを備える。撮像部３１は、画像を生成する。具体的には、撮像部３１は、図示しない光学系及び撮像素子などを備え、光学系を介して入射した光を撮像素子によって電気信号に変換することにより画像を生成する。

本実施の形態では、撮像部３１は、例えば、ユーザによって、被写体を追跡するように動かされる。その結果、撮像部３１は、被写体を流し撮りした入力画像を生成する。

このように生成された入力画像では、背景の像は、撮像部３１を動かした方向のブレを有し、被写体の像は、撮像部３１の動きと被写体の動きとが合算されたブレを有する。ここで、ブレとは、画像に生じるぼやけ（ｂｌｕｒ）のうち、被写体又は撮像装置が動くことにより生じるぼやけ（ｍｏｔｉｏｎ ｂｌｕｒ）を意味する。

画像処理装置３６は、被写体を流し撮りした入力画像のブレ補正を行う。ブレ補正とは、ブレが低減させる画像処理である。図３Ｂに示すように、画像処理装置３６は、ブレ推定部３２と、クラスタリング部３３と、被写体領域特定部３４と、ブレ補正部３５とを備える。

ブレ推定部３２は、入力画像内の複数の領域の各々において、ブレの方向及び大きさを推定する。本実施の形態では、ブレ推定部３２は、入力画像内の領域ごとに、当該領域のＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）を推定することにより、ブレの方向及び大きさを推定する。

一般的に、ＰＳＦは、図４に示すように、動きの軌跡として表現され、白い箇所に値を持った画像として表現される。つまり、ＰＳＦは、ブレの方向及び大きさを表す。図４において、ＰＳＦ４１は、横方向のブレを表し、ＰＳＦ４２は、斜め方向のブレを表し、ＰＳＦ４３は、円状のブレを表す。

図５は、本発明の実施の形態におけるブレ推定部３２の詳細な機能構成を示すブロック図である。図５に示すように、ブレ推定部３２は、画像入力部５１と、ＰＳＦサイズ決定部５２と、ＰＳＦ推定部５３とを備える。

画像入力部５１は、撮像部３１から入力画像を取得する。そして、画像入力部５１は、入力画像内に複数の領域を設定する。本実施の形態では、画像入力部５１は、互いに重複しない複数の矩形領域に入力画像を分割することにより、複数の領域を設定する。領域のサイズは、すべての領域で共通であり、後述するＰＳＦのサイズ（例えば２０×２０画素）と同一である。

なお、複数の領域は、必ずしも互いに重複しない領域である必要はなく、他の領域と一部が重複する領域であってもよい。例えば、画像入力部５１は、入力画像を１画素ずつラスタ走査することにより、複数の領域を設定してもよい。

ＰＳＦサイズ決定部５２は、ＰＳＦのサイズを決定する。ＰＳＦのサイズは、一般的に２０×２０画素程度であれば、十分にブレを表現できるサイズであると言われている。そこで、本実施の形態では、ＰＳＦサイズ決定部５２は、一般的なブレを表現できるようにあらかじめ定められたサイズであって、領域のサイズと同一のサイズ（例えば２０×２０画素）を、ＰＳＦのサイズとして決定する。なお、ＰＳＦの形状は、必ずしも正方形でなくてもよいが、矩形であることが好ましい。

ＰＳＦ推定部５３は、決定されたサイズのＰＳＦを領域ごとに推定する。このＰＳＦの推定方法は様々な方法がある。しかし、画像内の各領域におけるＰＳＦは、ジャイロセンサなどのセンシング情報を用いて推定することはできない。そこで本実施の形態では、ＰＳＦ推定部５３は、画像処理によって各領域のＰＳＦを推定する。つまり、ＰＳＦ推定部５３は、領域ごとに、当該領域を構成する画素の画素値を用いてＰＳＦを推定する。

具体的には、ＰＳＦ推定部５３は、例えば、非特許文献１（「Ｈｉｇｈ−Ｑｕａｌｉｔｙ Ｍｏｔｉｏｎ Ｄｅｂｌｕｒｒｉｎｇ Ｆｒｏｍ ａ Ｓｉｎｇｌｅ Ｉｍａｇｅ」、Ｓｉｇｇｒａｐｈ２００８、Ｑｉ，Ｓｈｅｎ ｅｔｃ、）に記載されている方法を用いて、各領域のＰＳＦを推定する。

これにより、ＰＳＦ推定部５３は、１枚の入力画像から各領域のブレの方向及び大きさを推定することができる。したがって、ブレの方向及び大きさを推定するために複数枚の画像を連続して撮影する必要がないので、処理負荷を軽減するとともに、撮像部３１の構成を簡易にすることができる。

次に、クラスタリング部３３について説明する。クラスタリング部３３は、推定されたブレの方向及び大きさのうち少なくとも一方の類似性に基づいて、複数の領域のクラスタリングを行う。つまり、クラスタリング部３３は、ブレの方向及び大きさのうち少なくとも一方が類似する互いに隣接する領域が同一のクラスタに属するように、複数の領域のクラスタリングを行う。

ここで、クラスタリングとは、データの集合を、互いに特徴が類似するデータの部分集合に切り分けることをいう。このような部分集合をクラスタという。つまり、クラスタリングによって得られる複数のクラスタの各々には、互いに特徴が類似するデータが属する。

本実施の形態では、クラスタリング部３３は、ＰＳＦの類似性に基づいて、複数の領域のクラスタリングを行う。ＰＳＦは、図５で示すような直線あるいは曲線で表される関数であり、画像とみなされうる。そこで、クラスタリング部３３は、以下の（式１）のように、２つの領域のＰＳＦ間のＬ２ノルムが小さいほど当該２つの領域が同一のクラスタに属するように、複数の領域のクラスタリングを行う。

（式１）において、ＶＡＬは、２つのＰＳＦ間の類似度を示すＬ２ノルムを表す。このＶＡＬは、値が小さいほど類似度が高いことを示す。また、Ｎは、領域に含まれる画素の総数を表す。また、Ｐ１ｐ及びＰ２ｐは、比較対象となる２つのＰＳＦの画素ｐにおける画素値を表す。

つまり、クラスタリング部３３は、このＶＡＬに基づいて、複数の領域のクラスタリングを行う。例えば、クラスタリング部３３は、互いに隣接する２つの領域のＰＳＦ間のＶＡＬが閾値ｔｈより小さい場合に、当該２つの領域が同一のクラスタに属するようにクラスタリングを行う。また、クラスタリング部３３は、互いに隣接する２つのＰＳＦ間のＶＡＬが閾値ｔｈ以上の場合に、当該２つの領域が異なるクラスタに属するようにクラスタリングを行う。

なお、本実施の形態では、クラスタリング部３３は、Ｌ２ノルムに基づいて複数の領域のクラスタリングを行ったが、必ずしもＬ２ノルムに基づいてクラスタリングを行う必要はない。例えば、クラスタリング部３３は、Ｌ１ノルムに基づいてクラスタリングを行っ
てもよい。

また、クラスタリング部３３は、ブレの方向もしくはブレの大きさ、又はそれらの組合せに基づいて、クラスタリングを行ってもよい。例えば、クラスタリング部３３は、ＰＳＦから得られるブレの角度の差異が一定角度より小さくなる領域が１つのクラスタに属するように、クラスタリングを行ってもよい。

また、クラスタリング部３３は、２つの領域のブレの方向及び大きさを表すベクトルの差分が小さいほど当該２つの領域が同一のクラスタに属するように、複数の領域のクラスタリングを行ってもよい。例えば、クラスタリング部３３は、差分ベクトルの大きさが一定の大きさより小さくなる領域が１つのクラスタに属するように、クラスタリングを行ってもよい。これにより、クラスタリング部３３は、複数の領域のクラスタリングを正確に行うことができる。

以上のように、クラスタリング部３３は、ＰＳＦの値の大きさ、あるいは、ＰＳＦによって示されるブレの方向又は大きさ（図４でいう白い線）が類似していれば、１つのクラスタに属するように、複数の領域のクラスタリングを行う。

次に、被写体領域特定部３４について説明する。被写体領域特定部３４は、クラスタリングによって得られた複数のクラスタの中から、流し撮りの対象となる被写体に対応するクラスタを特定する。一般的に、主要な被写体の像は画像の中央付近に位置し、主要な被写体の像の面積は比較的大きいことが知られている。

そこで本実施の形態では、被写体領域特定部３４は、画像の中央付近であり、かつ、面積が最大となるクラスタを、被写体に対応するクラスタとして特定する。つまり、被写体領域特定部３４は、入力画像の中央から閾値以内の距離に位置するクラスタを、被写体に対応するクラスタとして特定する。また、入力画像の中央から閾値以内の距離に位置するクラスタが複数ある場合は、被写体領域特定部３４は、それらのクラスタのうち最も面積が大きいクラスタを、被写体に対応するクラスタとして特定する。これにより、被写体領域特定部３４は、主要な被写体が画像の中心に写されることが多いという特徴を利用して、被写体に対応するクラスタを自動で容易に特定することが可能となる。

なお、クラスタの位置とは、クラスタに属する複数の領域を代表する位置である。例えば、クラスタの位置は、クラスタに属する複数の領域の中心位置又は重心位置などである。

最後に、ブレ補正部３５について説明する。

ブレ補正部３５は、被写体領域特定部３４によって特定されたクラスタに属する領域について、ＰＳＦを用いて、ブレの復元を行う。つまり、ブレ補正部３５は、推定されたブレの方向及び大きさに基づいて、特定されたクラスタに属する領域のブレ補正を行う。

なお、ブレ補正部３５は、前述した非特許文献１に記載の方法、ウィナーフィルタ、あるいはリチャードソンルーシー（ルーシーリチャードソン）手法などを用いてブレ補正を行えばよい。

これにより、ブレ補正部３５は、背景の像は被写体の移動方向のブレを有し、被写体の像はブレを有しない出力画像を生成することができる。つまり、ブレ補正部３５は、適切に流し撮りされた画像を生成することができる。

なお、ブレ補正部３５は、領域ごとにブレ補正を行ってもよいし、クラスタごとにブレ補正を行ってもよい。具体的には、ブレ補正部３５は、例えば、特定されたクラスタに属する領域ごとに、当該領域において推定されたブレの方向及び大きさを用いて当該領域のブレ補正を行ってもよい。これにより、ブレ補正部３５は、高精度にブレ補正を行うことが可能となる。また、ブレ補正部３５は、例えば、特定されたクラスタに属する領域ごとに推定されたブレの方向及び大きさの平均を用いて、特定されたクラスタに属する領域のブレ補正を行ってもよい。これにより、ブレ補正部３５は、クラスタに属する領域のブレ補正を一括で行うことができ、計算負荷を低減することが可能となる。

次に、以上のように構成された画像処理装置における各種動作について説明する。

図６は、本発明の実施の形態における画像処理の流れを示すフローチャートである。

まず、ブレ推定部３２は、入力画像内の複数の領域の各々においてＰＳＦを推定する（Ｓ１０１）。図６では、ブレ推定部３２は、入力画像６１を複数の矩形領域に分割し、その矩形領域ごとにＰＳＦを推定する。

続いて、クラスタリング部３３は、推定されたＰＳＦの類似性に基づいて、複数の領域のクラスタリングを行う（Ｓ１０２）。例えば、クラスタリング結果６２に示すように、クラスタリング部３３は、第１クラスタ６２ａ（ハッチングされた領域）と、第２クラスタ６２ｂ（ハッチングされていない領域）とに、複数の領域をクラスタリングする。

そして、被写体領域特定部３４は、クラスタリングによって得られた複数のクラスタの中から、被写体に対応する少なくとも１つのクラスタを特定する（Ｓ１０３）。例えば、被写体領域特定部３４は、入力画像の中央に位置する第１クラスタ６２ａを、被写体に対応するクラスタとして特定する。

最後に、ブレ補正部３５は、推定されたブレの方向及び大きさに基づいて、特定されたクラスタに属する領域のブレを補正する（Ｓ１０４）。例えば、ブレ補正部３５は、第１クラスタ６２ａに属する８つの領域のブレ補正を行うことにより、出力画像６３を生成する。

以上のように、本実施の形態における画像処理装置３６によれば、背景の像と被写体の像との分離を容易に行うことができる。そして、流し撮りの対象となる主要な被写体の像についてのみブレ補正を行い、背景の像についてはブレを有する状態のまま維持することができるため、手軽に流し撮り画像を生成することができる。

つまり、本実施の形態における画像処理装置３６によれば、ブレの類似性に基づいて、入力画像内の複数の領域のクラスタリングを行うことができる。動いている被写体を流し撮りした場合、被写体の像と背景の像とは異なるブレを有する。したがって、ブレの類似性に基づいて、入力画像内の複数の領域のクラスタリングを行うことにより、被写体に対応するクラスタ（領域の集合）と背景に対応するクラスタとに切り分けることができる。そこで、被写体に対応するクラスタに属する領域のブレ補正を、当該クラスタに属する領域から推定されたブレの方向及び大きさに基づいて行うことにより、被写体の像のブレが抑制され、かつ被写体のスピード感が表現された画像を生成することが可能となる。

以上、本発明の一態様に係る画像処理装置３６について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、あるいは異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。

例えば、上記実施の形態において、ブレ推定部３２は、各領域のＰＳＦを推定することにより、各領域のブレの方向及び大きさを推定していたが、各領域のブレの方向及び大きさを推定できればよく、必ずしもＰＳＦを推定する必要はない。例えば、ブレ推定部３２は、連続して撮影された、入力画像を含む複数枚の画像において、各画像間で対応する点を追跡することにより、ブレの方向及び大きさを推定してもよい。

また例えば、上記実施の形態において、ＰＳＦサイズ決定部５２は、あらかじめ定められたサイズをＰＳＦのサイズとして決定していたが、必ずしもこのようにＰＳＦのサイズを決定する必要はない。ＰＳＦサイズ決定部５２は、入力画像の特徴と入力画像が撮影されたときの撮影条件との少なくとも一方に応じてサイズが適応的に変化するように、ＰＳＦのサイズを決定してもよい。

被写体の像の形状と合致するクラスタを得るためには、各領域のサイズは、小さいことが好ましい。各領域のサイズは、ＰＳＦのサイズ以上である必要がある。したがって、ＰＳＦのサイズはできる限り小さいことが好ましい。しかしながら、ＰＳＦのサイズがブレの大きさよりも小さい場合、ＰＳＦはブレを適切に表現できない。また、領域内の画像の特徴によっては、ＰＳＦのサイズを大きくしなければ、適切にＰＳＦを推定できない場合もある。そこで、ＰＳＦサイズ決定部５２は、撮影条件又は入力画像の特徴に応じて、ＰＳＦのサイズを適応的に変化させることにより、適切なサイズのＰＳＦを推定することが可能となる。

具体的には、ＰＳＦサイズ決定部５２は、被写体の像の輪郭形状が複雑であるほどサイズが小さくなるように、ＰＳＦのサイズを決定してもよい。被写体の像の輪郭形状が複雑でない場合には、領域内に特徴が少なくなり小さなサイズのＰＳＦを高精度に推定することが難しい。そこで、ＰＳＦサイズ決定部５２は、被写体の像の輪郭形状が複雑であるほどサイズが小さくなるように、ＰＳＦのサイズを決定することにより、ＰＳＦを高精度に推定することが可能となる。なお、一般的に、被写体の像の輪郭形状が複雑である場合、入力画像を構成する画素の画素値の分散は大きくなる。したがって、ＰＳＦサイズ決定部５２は、入力画像を構成する画素の画素値の分散が大きいほどサイズが小さくなるように、ＰＳＦのサイズを決定してもよい。

また、ＰＳＦサイズ決定部５２は、例えば、入力画像が撮影されたときの露光時間が長いほどＰＳＦのサイズが大きくなるように、ＰＳＦのサイズを決定してもよい。また、ＰＳＦサイズ決定部５２は、入力画像が撮影されたときの撮像装置３０の動きが大きいほどＰＳＦのサイズが大きくなるように、ＰＳＦのサイズを決定してもよい。この場合、ＰＳＦサイズ決定部５２は、撮像装置３０に取り付けられた動きセンサ（例えばジャイロセンサなど）から取得した情報を用いて、ＰＳＦのサイズを決定してもよい。これにより、ＰＳＦサイズ決定部５２は、ＰＳＦのサイズがブレの大きさよりも小さくなる可能性を低減することが可能となる。

また、ＰＳＦサイズ決定部５２は、ユーザから指示された被写体に関する情報を利用して、ＰＳＦのサイズを決定してもよい。この場合、ＰＳＦサイズ決定部５２は、ユーザからの入力を受け付けることにより、被写体に関する情報を取得すればよい。なお、被写体に関する情報は、例えば、被写体の種別（自動車、電車、飛行機、人あるいは馬など）、被写体の移動速度などである。

なお、上記実施の形態において、被写体領域特定部３４は、入力画像の中央付近に位置するクラスタを、被写体に対応するクラスタとして特定していたが、必ずしもこのように特定する必要はない。例えば、被写体領域特定部３４は、ユーザから受け付けられた入力
情報であって、入力画像内における被写体の像の位置を示す入力情報に基づいて、被写体に対応するクラスタを特定してもよい。この場合、ユーザは、例えば、タッチパネルなどに表示された入力画像に対して、被写体の像の位置を指示すればよい。これにより、被写体領域特定部３４は、被写体に対応するクラスタを正確に特定することが可能となる。

また、被写体領域特定部３４は、ブレの大きさが閾値よりも小さいクラスタを前記被写体に対応するクラスタとして特定してもよい。これにより、被写体領域特定部３４は、被写体の像が有するブレよりも背景の像が有するブレの方が大きいことが多いという特徴を利用して、被写体に対応するクラスタを自動で正確に特定することが可能となる。

なお、被写体領域特定部３４は、上記の各種方法を組み合わせて、被写体に対応する領域を特定してもよい。例えば、被写体領域特定部３４は、入力画像の中央付近に位置しており、かつ、ブレが小さいクラスタを、被写体に対応するクラスタとして特定してもよい。

なお、上記実施の形態において、複数の領域のサイズは、すべて同一であったが、必ずしも同一である必要はない。例えば、画像入力部５１は、入力画像の位置に応じて、領域のサイズを適応的に変化させてもよい。

なお、上記実施の形態において、入力画像は、ユーザによって被写体を追跡するように撮像部３１が動かされて撮影された画像であったが、例えば、撮像部３１が固定されて撮影された画像であってもよい。この場合、ブレ補正部３５は、さらに、被写体に対応するクラスタに属する領域において推定されたブレの方向及び大きさを用いて、被写体に対応するクラスタ以外のクラスタに属する領域のブレ加工を行うことが好ましい。ここで、ブレ加工とは、ブレを強調させる画像処理である。具体的には、ブレ加工は、例えば、画像とＰＳＦとを畳込み演算することにより実現される。

これにより、ブレ補正部３５は、被写体に対応するクラスタ以外のクラスタ（つまり、背景に対応するクラスタ）に属する領域の画像が被写体のブレの方向にブレるように、ブレ補正を行うことができる。したがって、ブレ補正部３５は、被写体のスピード感がより強調された画像を生成することが可能となる。

なお、上記実施の形態において、画像処理装置３６は、撮像装置３０に備えられていたが、必ずしも撮像装置３０に備えられる必要はない。つまり、画像処理装置３６は、撮像装置３０とは独立した装置として構成されてもよい。

また、上記実施の形態における画像処理装置３６が備える構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。例えば、画像処理装置３６は、ブレ推定部３２と、クラスタリング部３３と、被写体領域特定部３４と、ブレ補正部３５とを有するシステムＬＳＩから構成されてもよい。

システムＬＳＩは、複数の構成要素を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｍｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。

なお、ここでは、システムＬＳＩとしたが、集積度の違いにより、ＩＣ、ＬＳＩ、スー
パーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、あるいはＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。

また、本発明は、このような特徴的な処理部を備える画像処理装置として実現することができるだけでなく、画像処理装置に含まれる特徴的な処理部をステップとする画像処理方法として実現することもできる。また、画像処理方法に含まれる特徴的な各ステップをコンピュータに実行させるコンピュータプログラムとして実現することもできる。そして、そのようなコンピュータプログラムを、ＣＤ−ＲＯＭ等のコンピュータ読取可能な非一時的な記録媒体あるいはインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。

本発明は、被写体を流し撮りした入力画像のブレ補正を行うことができる画像処理装置、又はその画像処理装置を備えるデジタルスチルカメラ、デジタルビデオカメラなどの撮像装置に有用である。

３０ 撮像装置
３１ 撮像部
３２ ブレ推定部
３３ クラスタリング部
３４ 被写体領域特定部
３５ ブレ補正部
３６ 画像処理装置
５１ 画像入力部
５２ ＰＳＦサイズ決定部
５３ ＰＳＦ推定部

Claims (15)

1. 被写体を流し撮りした入力画像のブレ補正を行う画像処理装置であって、
   前記入力画像内の複数の領域の各々において、ブレの方向及び大きさを推定するブレ推定部と、
   推定された前記ブレの方向及び大きさのうち少なくとも一方の類似性に基づいて、前記複数の領域のクラスタリングを行うクラスタリング部と、
   前記クラスタリングによって得られた複数のクラスタの中から、前記被写体に対応する少なくとも１つのクラスタを特定する被写体領域特定部と、
   推定された前記ブレの方向及び大きさに基づいて、特定された前記クラスタに属する領域のブレ補正を行うブレ補正部とを備え、
   前記ブレ推定部は、
   前記入力画像の特徴と前記入力画像が撮影されたときの撮影条件との少なくとも一方に応じてサイズが適応的に変化するように、ＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）のサイズを決定するＰＳＦサイズ決定部と、
   前記入力画像内の複数の領域の各々において、決定されたサイズのＰＳＦを推定することにより、前記ブレの方向及び大きさを推定するＰＳＦ推定部とを備える
   画像処理装置。
2. 前記ＰＳＦサイズ決定部は、前記被写体の像の輪郭形状が複雑であるほどサイズが小さくなるように、前記ＰＳＦのサイズを決定する
   請求項１に記載の画像処理装置。
3. 前記ＰＳＦサイズ決定部は、前記入力画像が撮影されたときの露光時間が長いほどサイズが大きくなるように、前記ＰＳＦのサイズを決定する
   請求項１に記載の画像処理装置。
4. 前記クラスタリング部は、２つの領域のＰＳＦ間におけるＬ２ノルム又はＬ１ノルムが小さいほど当該２つの領域が同一のクラスタに属するように、前記複数の領域のクラスタリングを行う
   請求項１〜３のいずれか１項に記載の画像処理装置。
5. 前記クラスタリング部は、２つの領域のブレの方向及び大きさを表すベクトルの差分が小さいほど当該２つの領域が同一のクラスタに属するように、前記複数の領域のクラスタリングを行う
   請求項１〜４のいずれか１項に記載の画像処理装置。
6. 前記被写体領域特定部は、前記入力画像の中央から閾値以内の距離に位置するクラスタを前記被写体に対応するクラスタとして特定する
   請求項１〜５のいずれか１項に記載の画像処理装置。
7. 前記被写体領域特定部は、ユーザから受け付けられた入力情報であって、前記入力画像内における前記被写体の像の位置を示す入力情報に基づいて、前記被写体に対応するクラスタを特定する
   請求項１〜６のいずれか１項に記載の画像処理装置。
8. 前記被写体領域特定部は、ブレの大きさが閾値よりも小さいクラスタを前記被写体に対応するクラスタとして特定する
   請求項１〜７のいずれか１項に記載の画像処理装置。
9. 前記ブレ補正部は、特定された前記クラスタに属する領域ごとに、当該領域において推定された前記ブレの方向及び大きさを用いて当該領域のブレ補正を行う
   請求項１〜８のいずれか１項に記載の画像処理装置。
10. 前記ブレ補正部は、特定された前記クラスタに属する領域ごとに推定された前記ブレの方向及び大きさの平均を用いて、特定された前記クラスタに属する領域のブレ補正を行う
    請求項１〜９のいずれか１項に記載の画像処理装置。
11. 前記ブレ補正部は、さらに、前記被写体に対応するクラスタに属する領域において推定された前記ブレの方向及び大きさを用いて、前記被写体に対応するクラスタ以外のクラスタに属する領域のブレ加工を行う
    請求項１〜１０のいずれか１項に記載の画像処理装置。
12. 前記画像処理装置は、集積回路として構成されている
    請求項１〜１１のいずれか１項に記載の画像処理装置。
13. 請求項１〜１２のいずれか１項に記載の画像処理装置と、
    前記入力画像を生成する撮像部とを備える
    撮像装置。
14. 被写体を流し撮りした入力画像のブレ補正を行う画像処理方法であって、
    前記入力画像内の複数の領域の各々において、ブレの方向及び大きさを推定するブレ推定ステップと、
    推定された前記ブレの方向及び大きさのうち少なくとも一方の類似性に基づいて、前記複数の領域のクラスタリングを行うクラスタリングステップと、
    前記クラスタリングによって得られた複数のクラスタの中から、前記被写体に対応する少なくとも１つのクラスタを特定する被写体領域特定ステップと、
    推定された前記ブレの方向及び大きさに基づいて、特定された前記クラスタに属する領域のブレ補正を行うブレ補正ステップとを含み、
    前記ブレ推定ステップは、
    前記入力画像の特徴と前記入力画像が撮影されたときの撮影条件との少なくとも一方に応じてサイズが適応的に変化するように、ＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）のサイズを決定するＰＳＦサイズ決定ステップと、
    前記入力画像内の複数の領域の各々において、決定されたサイズのＰＳＦを推定することにより、前記ブレの方向及び大きさを推定するＰＳＦ推定ステップとを含む
    画像処理方法。
15. 請求項１４に記載の画像処理方法をコンピュータに実行させるためのプログラム。

Images