JP6025555B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、撮影された画像データの背景領域にぼけ効果を付与した画像データを生成する画像処理装置、画像処理方法及びプログラムに関するものである。

画像処理で疑似的に背景にぼかし効果を与える技術がある。

例えば、特許文献１には、撮像画像の主被写体以外の領域に対して、測距された距離情報に基づいて適応的に特性を変化させたローパスフィルタ処理を施すことで、撮像画像にぼけ効果を与える手法が開示されている。

特開２００７−１２４２８２号公報

しかしながら、上記特許文献１のようにローパスフィルタ処理で画素毎に適応的に処理を行うと、演算規模が複雑になり易い。また、大きいぼけ量を画像に付加しなければならない場合には、タップ数の大きなフィルタ処理を実現させねばならず、処理負荷が大きくなってしまうという問題がある。

そこで、本発明の目的は上記問題点を鑑み、演算負荷が少なく、適応的なぼかし処理を行うことができる画像処理装置、画像処理方法及びプログラムを提供することとする。

上記課題を解決するために、本発明の画像処理装置は、画像データを複数の領域に分割したときの、各領域の距離情報を取得する取得手段と、画像データからぼけ具合の異なる複数のぼかし画像データを生成するぼかし画像生成手段と、前記複数のぼかし画像データを合成して出力画像を生成する出力画像生成手段と、前記取得手段で取得される前記距離情報に基づいて、前記ぼかし画像データのぼけ具合及び前記ぼかし画像データの生成枚数を決定する決定手段と、を有し、前記ぼかし画像生成手段は、前記決定手段で決定されたぼけ具合及び前記ぼかし画像データの生成枚数に基づいて前記ぼかし画像を生成することを特徴とする。

また、本発明の画像処理方法は、画像データを複数の領域に分割したときの、各領域の距離情報を取得する取得ステップと、画像データからぼけ具合の異なる複数のぼかし画像データを生成するぼかし画像生成ステップと、前記複数のぼかし画像データを合成して出力画像を生成する出力画像生成ステップと、前記取得ステップにて取得される前記距離情報に基づいて、前記ぼかし画像データのぼけ具合及び前記ぼかし画像データの生成枚数を決定する決定ステップと、を有し、前記ぼかし画像生成ステップでは、前記決定ステップで決定されたぼけ具合及び前記ぼかし画像データの生成枚数に基づいて前記ぼかし画像を生成することを特徴とする。

本発明によれば、演算負荷が少なく、適応的なぼかし処理を行うことができる。

本発明の実施形態に係る撮像装置の構成を表す図である。 背景ぼかし画像生成部の構成を表す図である。 背景ぼかし画像生成部による背景ぼかし処理を表すフローチャートである。 撮像画角内における複数被写体の位置関係と領域分割を表す図である。 距離情報の差分値からぼけ付加量の判定を行うテーブルを表す図である。 撮像された画像へのぼけ付加処理を表すフローチャートである。 撮像された画像と、複数のぼけ画像を画像合成する手順を表すフローチャートである。 撮像された画像を複数の画像サイズに縮小後、拡大しながら画像合成する手順を表すフローチャートと出力画像を示す図である。 撮像画角内の分割された領域を、測距された情報を用いて結合したものを表す図である。 複数のぼけ画像の生成を、選択的に実施することを表すフローチャートである。

以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。

特許文献１とは異なる手法として、予め元の画像全体に一律なぼけ付加処理を施して多段階のぼけ付加画像を生成し、画像内の領域毎に適切なぼけ付加画像をレイヤ合成する手法が存在する。この手法では予め一律にぼけ付加処理を施した画像を順次合成するため、演算規模が複雑にならないという利点がある。また、大きいぼけ量を画像に付加しなければならない場合でも、画像のリサイズ処理を活用することで比較的容易に前記ぼけ量の付加が実現出来るため、処理負荷の面でも有利である。

しかしながら、上記手段にも、例えば画像内の距離差がほとんどないようなシーンによっては、不必要に多段階にぼかし画像を生成することがあり、無駄な画像保存領域の確保や、ぼかし画像生成処理を実行するといった問題がある。

そこで、本実施形態では、撮影シーンに応じてぼかし画像の生成を制御することを特徴とする。

図１に本実施形態に係る撮像装置の構成を示す。

撮像部１００は光学系に入射される光束を受光し、Ａ／Ｄ（アナログ／デジタル）変換によってデジタル化された画像信号を出力する。撮像部１００は光学系を構成するものとしてフォーカスレンズを含むレンズ群、シャッター、絞り、そして撮像センサを有し、シャッター、絞りおよびフォーカスレンズは撮像制御回路１１５によってそれぞれ制御することが可能である。撮像センサとしては、本実施形態ではＸ−Ｙアドレス型、ＲＧＢ画素のＢａｙｅｒ配列のＣＭＯＳセンサであるものとするが、これに限らない。例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）であってもよいし、補色の画素を配列したセンサなどであってもよい。

発光部１０１は、撮像部１００による撮影の際に補助光として被写体を照射可能なストロボである。本実施形態では、黒体放射軸から比較的離れた色度にあるＬＥＤストロボとする。

撮像部１００から出力された画像データは画像処理部２００へ入力すると同時に、メモリ１０２に記憶することができる。メモリ１０２に記憶した画像データは再度読み出すことができ、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１４が画像データを参照したり、読み出した画像データを画像処理部２００に入力することが可能である。本実施形態では、ＣＰＵ１１６が、撮像部１００によって発光部１０１が発光している状態で撮影された発光画像と発光部１０１が発光していない状態で撮影された非発光画像の明るさを測定することで測光を行う測光手段を担う。この測光結果に基づいて、後段の画像処理部２００内でホワイトバランス補正処理が行われる。

画像処理部２００で画像処理された画像データは、メモリ１０２に書き戻したり、ＣＰＵ１１６から任意のデータを書き込んだりすることも可能である。

表示部１１７は画像処理部２００で画像処理されメモリ１０２に記憶されたデジタル画像データをＤ／Ａ変換して、液晶ディスプレイのような表示媒体に画像を表示することができる。また、画像データだけでなく任意の情報を単独、もしくは画像と共に表示することが可能であり、撮影時の露出情報を表示したり、検出された顔領域に枠を表示したりすることも可能である。

記録部１１８は撮影した画像データをＲＯＭ、ＳＤカード等の記録媒体に記憶することができる。

画像処理部２００内の処理について、本実施形態に関連する箇所を説明する。１０３はＷＢ（ホワイトバランス）制御部であり、メモリ１０２に記憶された画像信号からの情報に基づいてホワイトバランス補正値（ＷＢ補正値）を算出し、メモリ１０２に記憶された画像信号に対してＷＢ補正を行う。なお、このＷＢ制御部１０３の詳細構成およびＷＢ補正値の算出方法については後述する。

１０４は、ＷＢ制御部１０３によりＷＢ補正された画像信号が最適な色で再現されるように色ゲインをかけて色差信号Ｒ−Ｙ、Ｂ−Ｙに変換する色変換ＭＴＸ（色変換マトリックス）回路である。１０５は色差信号Ｒ−Ｙ、Ｂ−Ｙの帯域を制限するＬＰＦ（ローパスフィルタ）回路、１０６はＬＰＦ回路１０５で帯域制限された画像信号の内、飽和部分の偽色信号を抑圧するＣＳＵＰ（Ｃｈｒｏｍａ Ｓｕｐｒｅｓｓ）回路である。一方、ＷＢ制御部１０３によりＷＢ補正された画像信号はＹ（輝度信号）生成回路１１３にも出力されて輝度信号Ｙが生成され、生成された輝度信号Ｙに対してエッジ強調回路１１４にてエッジ強調処理が施される。

ＣＳＵＰ回路１０６から出力される色差信号Ｒ−Ｙ、Ｂ−Ｙと、エッジ強調回路１１２から出力される輝度信号Ｙは、ＲＧＢ変換回路１０７にてＲＧＢ信号に変換され、ガンマ補正回路１０８にて階調補正が施される。その後、色輝度変換回路１０９にてＹＵＶ信号に変換される。その後、色輝度変換回路１０９からのＹＵＶ信号に対して、背景ぼかし画像生成部１１０にて本実施形態の特徴的な処理である背景ぼかし処理を行う。背景ぼかし画像生成部１１０からの背景ぼかし画像はＪＰＥＧ圧縮回路１１１にて圧縮・符号化されてメモリ１０２に書き込まれ、外部記録媒体または内部記録媒体に画像信号として記録される。あるいは表示部１１７にて表示媒体に表示される。あるいは不図示の外部出力に出力されるなどしても良い。

ここで、上述した各構成はその一部あるいは全てをソフトウェアモジュールとして構成していても良いものとする。

次に、背景ぼかし画像生成部１１０の構成について説明する。図２は、背景ぼかし画像生成部１１０の構成を示す図である。図２に示すように、背景ぼかし画像生成部１１０は、領域設定部２０１、ぼけ付加量判定部２０２、ぼけ画像生成制御部２０３、画像処理部２００、画像合成部２０５を備える。

次に、図３のフローチャートを参照しながら、撮像部１００によって撮像された画像にぼけ付加処理を行う例について説明する。

図４（ａ）は、撮像部１００の撮像画角内に写るシーンの例である。画角内の奥行き方向に向かって、被写体４０１〜４０３が３つ並んで存在している。

まず、ステップＳ３０１において、領域設定部２０１は撮像画角内を複数の領域に分割する。本実施例では、縦方向にＮ１等分、横方向にＮ２等分の、均等な領域に分けるものとして説明する。図４（ｂ）において、５０１は前記分割方法で図４（ｂ）のシーンを分割したものを示し、５０２は所定領域の一つを示している。

ステップＳ３０２において、撮像部１００は図５における所定領域５０２毎に測距処理を行い、各所定領域に基づく距離情報の取得を行う。撮像制御回路１１５によってフォーカスレンズを移動させながら、撮像部１００から出力される画像データのコントラストを示すＡＦ（オートフォーカス）評価値を各測距領域に対して求めていく。ＡＦ評価値は画像処理部２００から出力される他、ＣＰＵ１１６において画像データもしくは画像処理部２００の出力から演算により求めることもできる。求まったフォーカスレンズ位置に対する各測距領域のＡＦ評価値から、測距領域ごとに評価値が極大となるフォーカスレンズ位置（以下、ピークポジション）が求まり、これが領域ごとの被写体距離の距離情報に相当する。すなわち、ここでの距離マップはＮ１×Ｎ２のピークポジション情報である。

また、領域ごとの被写体距離の距離情報を取得する方法としては、上記の方法に限らない。例えば同一画角のピント位置の異なる２つ以上の画像を比較して被写体距離を測定する方法として、エッジ差分で距離を推定する方法や、ＤＦＤ（Ｄｅｐｔｈ Ｆｒｏｍ Ｄｅｆｏｃｕｓ）を用いた方法などが考えられる。また、撮像部１００とは別に位相差による距離測定のための測距センサを設けていても良い。撮像部１００の撮像素子の画素配列の中に位相差による焦点検出が可能な瞳分割された画素を配して、当該焦点検出用の画素からの出力に基づいて距離を測定しても良い。

また、距離情報は所定領域内の任意の地点で測距された結果の他、所定領域内の複数地点で測距された結果の平均をとったものなどを取得された距離情報として扱っても良い。

ステップＳ３０３において、ぼけ付加量判定部２０２は、得られた所定領域毎の距離情報から各領域のぼけ付加量を判定する。ここで、今回は例として、撮像部１００は被写体４０１に合焦しているものとし、ステップＳ３０３におけるぼけ付加量の判定の詳細について説明する。

測距手段（画像処理部２００）により得られた被写体４０１までの距離情報（ここでは、被写体４０１を含む所定領域の距離情報の平均値）をＤとする。ぼけ付加量判定部２０２は、各所定領域における距離情報と前記距離情報Ｄの差分値Ｄ’を算出する。次に、これらの差分値と所定のぼけ付加量判定テーブルの照合を行い、ぼけ付加量の判定を行う。図５はぼけ付加量判定テーブルの一例を示す図である。図５（ａ）のテーブルでは、差分値Ｄ’が決定すると、リサイズ係数Ｎが決定され、図５（ｂ）のテーブルでは、差分値Ｄ’が決定すると、フィルタ種類Ｆが決定される。これらリサイズ係数Ｎとフィルタ種類Ｆはぼけ付加処理時のパラメータとして使用される。

ここで、本実施例では、Ｄ’の分布から、ＣＰＵ１１６あるいは画像処理部２００が、必要となるぼかし画像生成処理のステップを決定し、ぼかし画像の生成を行うことを特徴とする。これは、例えばＤ’の分布が狭く、２段階（非ぼけ、ぼけ）のぼかし処理で十分な場合にも、常に３段階以上のぼかし処理ステップをとるのは処理コストが余分にかかってしまうことを防ぐものである。また、同じ２段階のぼかし処理でも、距離が離れている場合と近い場合ではフィルタの種類が異なってくるので、それらを適応的に決定する。また、本実施形態では、距離情報、特にＤ’の分布からぼかし具合およびぼかし画像生成枚数を決定しているが、これに限らない。例えば撮影シーンの判別結果（距離分布から風景、被写体検出によりポートレート、ジャイロや画像差分から動き検出など）に応じてぼかし処理のステップを決定してもよい。

尚、図５のテーブルの設計は任意で行って良く、撮像装置の焦点距離や絞り値といった撮像条件毎にテーブルを設計したり、距離情報の差分値Ｄ’に比例しない一定のテーブルを設計したりしても良い。

また、今回の実施例では、ぼけ付加量は測距情報の差分値により判定を行っているが、測距された情報から求められる各領域間の深度差によりぼけ付加量を判定するなど、所定領域毎に基づく情報から得られるどの情報を用いて行っても良い。

図３の説明に戻る。ステップＳ３０４において、ぼけ画像生成制御部２０３は所定領域毎に決定された前記ぼけ付加量の情報に基づいて、生成するぼけ画像のぼけ度合いと画像の枚数を決定する。

ステップＳ３０５において、撮像部１００は被写体４０１に合焦した状態で撮像を行い、画像データを取得する。

ステップＳ３０６において、ぼけ画像生成制御部２０３によって制御され、撮像された前記画像データへのぼけ付加処理を行う。ここで、ステップＳ３０６における画像データへのぼけ付加処理の詳細について説明する。

画像処理部２００は、ぼけ付加量判定部２０２が判定したぼけ画像を得るため、前記画像データに対してリサイズ処理やフィルタリング処理を行う。リサイズ処理では、前記画像データを１／Ｎ画像サイズ（ＮはステップＳ３０３で決定されたリサイズ係数）まで縮小後、フィルタリング処理などを経て元の画像サイズまで拡大を行う。フィルタリング処理では前記画像データに対し、ステップＳ３０３で決定されたフィルタ種類Ｆに応じたフィルタ係数で、画像フィルタ処理を行う。図６は、本実施例における画像データへのぼけ付加を示すフローチャートである。図６の画像Ａは、撮像部１００により撮像された画像であり、被写体は図４のものと同じである。本実施例では説明のため、被写体４０２と被写体４０３の領域のみに注目して、ぼけ付加量を判定する。この時、ぼけ付加量を判定した結果、リサイズ係数がそれぞれＮ１、Ｎ２、フィルタ種類がそれぞれＦ１、Ｆ２であるとする。画像処理部２００は、画像Ａをそれぞれのリサイズ係数で縮小した縮小画像を生成する。次に、画像処理部２００は前記縮小画像に対し、それぞれのフィルタ種類で画像フィルタ処理を行う。次に、画像処理部２００は前記フィルタ画像を縮小前の画像サイズまで拡大し、画像Ｂ、画像Ｃの様なぼけ画像を生成する。尚、前記リサイズ処理とフィルタ処理は必ずしも両方を実施する必要は無く、任意で処理を省いても良い。

図３の説明に戻る。ステップＳ３０７において、画像合成部２０５は所定領域の情報に基づいて、前記撮像された画像と、ステップＳ３０６で生成された複数の前記ぼけ画像の画像合成処理を行う。ここで、画像合成処理の一例について説明する。画像合成部２０５は、画素毎に定められた合成率α［ｉ，ｊ］（０≦α≦１）に基づいて、被合成画像ＩＭＧ１［ｉ，ｊ］と被合成画像ＩＭＧ２［ｉ，ｊ］とを合成し、合成後画像ＩＭＧ３［ｉ，ｊ］を生成する。即ち、画像合成部２０５は、合成後画像ＩＭＧ３［ｉ，ｊ］を以下の式１を用いて算出する。なお、［ｉ，ｊ］は各画素を示している。

図７は、今回の例における画像の合成手順を示すフローチャートである。図８の画像Ａ、Ｂ、Ｃは、それぞれ図６の画像Ａ、画像Ｂ、画像Ｃと同じ画像を表している。まず、画像Ｂと画像Ｃにおいて、所定の領域に基づいて画像合成を行う。次に、前記画像合成処理で得られた画像と、画像Ａにおいて、同様に画像合成を行う。この処理の結果、各所定領域に所望のぼけが付加された合成後画像を取得することが出来る。尚、各所定領域に所望のぼけが付加されるならば、他の手順で画像合成処理を行っても良い。

また、前記画像合成処理は、ぼけ付加処理に元画像のリサイズが伴う場合に、画像の縮小率が大きい縮小画像から順次画像合成処理を行っていくことで、画像を保存するメモリの使用量を削減することが出来る。図８（ａ）は、この手順において画像の合成処理を行った場合のフローチャートである。画像Ａは、図６の画像Ａと同じ画像を表している。まず、画像Ａを所望のぼけ量と画像枚数が得られる様、複数回の縮小処理を行う。次に、最も縮小率が大きい縮小画像を、次に縮小率が大きい縮小画像と同等のサイズになる様、拡大処理を行う。この２枚の画像において、所定の領域に基づいて画像合成処理を行い、合成後画像を取得する。同様に、前記合成後画像と、次に縮小率が大きい縮小画像、または元の画像との画像合成を合成後画像を次に縮小率が大きい縮小画像と等倍サイズ、あるいは元の画像の等倍サイズにリサイズして合成する。このように複数段階の拡大処理を行いながら順次画像合成を行うことを繰り返す。これにより、画像を保存するメモリの使用量を削減して、各所定領域に所望のぼけが付加された合成後画像を取得することができる。尚、必要であれば、画像のリサイズ処理の前後、または同時に、別途フィルタリング処理を行ってもよい。

図８（ｂ）は、今回の例における合成結果を示したものである。図８（ｂ）において、被写体１００１は撮像部１００が合焦していた領域のため、被写体１００１の領域には非ぼけ付加画像である画像Ａが画像合成される。また、被写体１００２、１００３の領域には、それぞれ所望のぼけ量が付加された画像Ｂ、画像Ｃが画像合成され、最終的な出力画像が生成される。

図３の説明に戻る。ステップＳ３０７において、撮像部１００は合成後画像を同撮像装置の液晶画面へ表示させたり、ＪＰＥＧ方式等により圧縮した後、圧縮後の画像データを外部又は内部の記録媒体１１３に記憶させるといった出力処理を行う。

以上の処理により、余計なぼけ付加処理の実行やぼけ付加画像の生成を省くことで、処理時間の短縮やデータ保存領域の確保を行いながら、主被写体以外の領域にぼけ効果を与えた画像を得ることが出来る。

尚、本実施例では撮像画角内をＮ１×Ｎ２個に分割した領域を所定領域として説明を行ったが、前記撮影画角内の領域の形状や分割数は任意に決定しても良い。例えば、色や明るさ、形状などの特徴が類似している複数の領域を一つの領域として結合したり、ステップＳ３０２において測距した結果、距離が類似している領域を一つの領域に結合したりしても良い。図９は、距離が類似している領域を結合し、撮影画角内を１１０１、１１０２、１１０３の３つの領域に直した例を示す。この場合、再度領域毎に測距を行って領域に基づく情報を取得しても良いし、任意の結合前の領域に基づく情報を後の処理に用いても良い。

また、本実施形態では距離に基づく情報の取得を撮像前のタイミングで行っているが、距離に基づく情報の取得はライブビュー表示中に継続的に行ったり、撮像が完了した後になってから行っても良い。

本実施形態では、測距手段から得られた情報に基づき、必要なぼけ度合いおよび生成枚数のぼけ画像を生成した。しかし、これに限らず、予め複数種類（ここではｎ種類）のぼけ画像を生成する手段を有し、必要なｍ種類（ｍ≦ｎ）のぼけ画像のみを生成してもよい。尚、本実施形態では、予め４種類のぼけ画像を生成可能とする手段があるとして説明する。

図１０は、ぼけ度合いが異なるぼけ画像Ｄ、Ｅ、Ｆ、Ｇの生成を行う４種類のパスが、スイッチＳＷ１〜４の切り替えによって選択可能であることを示すブロック図である。図３のＳ３０３において、所定領域毎のぼけ付加量を判定する際、ぼけ付加量判定部は、前記ぼけ画像Ｄ、Ｅ、Ｆ、Ｇの４種類のぼけ量から選択する。この時、図１０において、生成する必要があると判定されたぼけ画像の生成に該当するスイッチはＯＮが選択され、生成する必要が無いと判定されたぼけ画像の生成に該当するスイッチはＯＦＦが選択される。

例えば、図９の画像の領域１１０１、１１０２にそれぞれぼかし画像Ｇ、Ｅのぼけ量が付加される場合、図１０において、スイッチＳＷ２、ＳＷ４のみがＯＮが選択される。その結果、ぼけ画像の生成時にぼけ画像Ｇの生成パスとぼけ画像Ｅの生成パスが実行され、所望のぼけ画像だけを取得することが可能となる。その後は、実施形態１と同様に、所定の領域に基づいて撮像画像とぼけ画像の画像合成処理が実行され、最終的な出力画像生成が行われる。

（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。

この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。

また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。

更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。

また、本発明はデジタルカメラのような撮影を主目的とした機器にかぎらず、携帯電話、パーソナルコンピュータ（ラップトップ型、デスクトップ型、タブレット型など）、ゲーム機など、撮像装置を内蔵もしくは外部接続する任意の機器に適用可能である。従って、本明細書における「撮像装置」は、撮像機能を備えた任意の電子機器を包含することが意図されている。

１００ 撮像部
２００ 画像処理部
１１０ 背景ぼかし画像生成部
１１４ ＣＰＵ
１１５ 記録部
１１６ 表示部

Claims (11)

1. 画像データを複数の領域に分割したときの、各領域の距離情報を取得する取得手段と、
   画像データからぼけ具合の異なる複数のぼかし画像データを生成するぼかし画像生成手段と、
   前記複数のぼかし画像データを合成して出力画像を生成する出力画像生成手段と、
   前記取得手段で取得される前記距離情報に基づいて、前記ぼかし画像データのぼけ具合及び前記ぼかし画像データの生成枚数を決定する決定手段と、を有し、
   前記ぼかし画像生成手段は、前記決定手段で決定されたぼけ具合及び前記ぼかし画像データの生成枚数に基づいて前記ぼかし画像を生成することを特徴とする画像処理装置。
2. 前記ぼかし画像生成手段は、予め定められた複数種類のぼかし画像を生成可能であり、
   前記決定手段は、前記複数種類のぼかし画像の中から必要なぼかし画像を決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記ぼかし画像生成手段は、元の画像データにリサイズ処理を施してぼかすことを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記ぼかし画像手段は、元の画像データにリサイズ処理とフィルタ処理を施してぼかすことを特徴とする請求項１または請求項２に記載の画像処理装置。
5. 前記ぼかし画像生成手段は、元の画像データを小さくリサイズした画像データから、複数段階の拡大処理を行いながら順次画像合成を行うことを特徴する請求項１乃至４のいずれか１つに記載の画像処理装置。
6. 前記ぼかし画像生成手段は、リサイズの後、元の画像の等倍サイズまで拡大を行ってから画像合成を行うことを特徴する請求項１乃至４のいずれか１つに記載の画像処理装置。
7. 前記ぼかし画像生成手段は、画像サイズを小さくするリサイズ処理とフィルタ処理を行った画像から、複数段階の拡大処理を行いながら順次画像合成を行うことを特徴する請求項１乃至４のいずれか１つに記載の画像処理装置。
8. 前記ぼかし画像生成手段は、リサイズ処理とフィルタ処理の後、元の画像の等倍サイズまで拡大を行ってから画像合成を行うことを特徴する請求項１乃至４のいずれか１つに記載の画像処理装置。
9. 画像データを複数の領域に分割したときの、各領域の距離情報を取得する取得ステップと、
   画像データからぼけ具合の異なる複数のぼかし画像データを生成するぼかし画像生成ステップと、
   前記複数のぼかし画像データを合成して出力画像を生成する出力画像生成ステップと、
   前記取得ステップにて取得される前記距離情報に基づいて、前記ぼかし画像データのぼけ具合及び前記ぼかし画像データの生成枚数を決定する決定ステップと、を有し、
   前記ぼかし画像生成ステップでは、前記決定ステップで決定されたぼけ具合及び前記ぼかし画像データの生成枚数に基づいて前記ぼかし画像を生成することを特徴とする画像処理方法。
10. 請求項９に記載の画像処理方法の手順が記述されたコンピュータで実行可能なプログラム。
11. コンピュータに、請求項９に記載の画像処理方法の各工程を実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。

Images