JP5482589B2 - 画像処理装置、画像処理方法および画像処理用プログラム - Google Patents

Description

本発明は、画像の一部または全部に対してぼかし処理を施した画像を生成する画像処理装置、画像処理方法および画像処理用プログラムに関する。

従来、カメラなどで撮像した画像の一部の領域または全体をぼかした画像を生成する技術が知られている。
例えば、上記技術に関連して、アダプターレンズを用いずにワンタッチで、ピントが合った画像とピントが外れた画像との合成によって擬似的にソフトフォーカス映像を得ることができるソフトフォーカス方法について知られている。

また、ピントの合っている画像から切り出した部分画像と、各フォーカス位置で撮像した画像から切り出した部分画像と、を組み合わせて画像を合成し、被写体と背景との間の距離関係に拘束されることなく背景だけがボケた画像を得るカメラ装置について知られている。

また、背景領域に対してフィルタリング処理などの平滑化処理を行なうことにより、背景領域にピントの合っていない状態で撮影された画像と同等のピンぼけ画像を含む被写体強調画像を生成するデジタルカメラについて知られている。

また、被写体領域には、レンズ位置が被写体合焦位置で撮影された被写体領域の画像を当て嵌め、背景領域には、レンズ位置がマクロ位置で撮影された背景領域の画像を当て嵌めて一つの画像に合成するデジタルカメラについて知られている。

特開平０６−３５０８８９号公報 特開２００５−０３９６８０号公報 特開２００８−０７９１９３号公報 特開２００９−２８４４０４号公報

図１および図２は、画像処理装置がぼかし画像を生成する処理の例を示している。
図１では、画像処理装置が、局所的なぼかしの程度を情報として備えるぼかし情報１２０にしたがってぼかしの程度を変えながら、入力画像１１０に対してぼかし処理を行なってぼかし画像１３０を生成している。

ぼかし処理は、例えば、フィルタ１１１に含まれる画素の画素値を平均化するなどして行なうことができる。この場合、画像処理装置は、ぼかし情報１２０に応じてフィルタ１１１のサイズを変更することでぼかしの程度を変えることができる。

しかし、図１に示すぼかし処理を行なう場合、画像処理装置に大きな負荷がかかる。また、入力画像１１０に含まれる画素毎にぼかし処理を実施するため、画像処理装置には、さらに負荷がかかる。その結果、画像処理装置が実行する処理が重くなり、ぼかし処理に時間がかかるという欠点がある。

図２では、画像処理装置が、ぼかし情報１２０に応じて、入力画像１１０と、ぼかし元画像２１１、２１２、２１３または２１４と、を合成してぼかし画像２２０を生成している。ぼかし元画像２１１、２１２、２１３および２１４は、それぞれ入力画像１１０に対して異なる程度でぼかした画像である。

この場合、ぼかし元画像２１１、２１２、２１３および２１４などを常にメモリに保持していなければならない。そのため、図２に示すぼかし処理では、メモリの消費量が大きくなってしまうという欠点がある。

本画像処理装置は、上述した問題に鑑みてなされたものであり、その解決しようとする課題は、短時間にメモリ消費量を抑えながらぼかし画像を生成することができる画像処理装置、画像処理方法および画像処理用プログラムを提供することである。

本画像処理装置の１つの観点によれば、本画像処理装置は、以下の構成要素を備える。
画像生成手段は、第１の合焦位置に焦点を合わせて被写体を撮像した第１の画像を縮小した第１の縮小画像から、異なるぼかし強度を用いてぼかし処理を適用した複数のぼかし元画像を生成する。

また、合成手段は、前記第１の画像に含まれる画素である第１画素に対してぼかし処理を適用したぼかし画像を合成する際に、前記第１画素の位置に対応する前記ぼかし元画像の画素である第２画素を用いて前記第１画素に対するぼかし処理適用後の画素値を決定する。

本画像処理装置によると、短時間にメモリ消費量を抑えながらぼかし画像を生成することができる画像処理装置、画像処理方法および画像処理用プログラムを提供することができる。

画像処理装置がぼかし画像を生成する処理の例を示す図である。 画像処理装置がぼかし画像を生成する処理の例を示す図である。 第１の実施例に係る画像処理装置を説明する図である。 第２の実施例に係る画像処理装置によるぼかし処理の概要を説明する図である。 第２の実施例に係る画像処理装置によるぼかし処理の流れを説明する図である。 第２の実施例に係る画像処理装置が実行するぼかし処理の概要を示すフローチャートである。 第２の実施例に係るぼかしマップについて説明する図である。 第２の実施例に係るぼかしマップの生成処理を示すフローチャートである。 第２の実施例に係る画像処理装置によるぼかし画像の生成処理を示すフローチャートである。 第３の実施例に係る画像処理装置による画像処理の流れを説明する図である。 図１０に示したぼかし元画像の画面サイズを拡大した図である。 第３の実施例に係る画像処理装置が行なうぼかし処理の概要を説明する図である。 第３の実施例に係る画素の選択を説明する図である。 第３の実施例に係る６点補間処理を説明する図である。 第３の実施例に係る画像処理装置によるぼかし画像の生成処理を示すフローチャートである。 第１〜第３の実施例に係る画像処理装置の具体的な構成例を示す図である。 第１〜第３の実施例に係る画像処理装置を備える装置の構成例を示す図である。

以下、本実施形態の一例について、図３〜図１７に基づいて説明する。なお、以下に説明する実施形態はあくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図ではない。すなわち、本実施形態は、その趣旨を逸脱しない範囲で、各実施例を組み合わせるなど種々変形して実施することができる。

図３は、本実施例に係る画像処理装置３００を説明する図である。
画像処理装置３００は、画像生成手段３１０と、合成手段３２０と、を備える。
画像生成手段３１０は、第１の合焦位置に焦点を合わせて被写体を撮像した第１の画像３３０を縮小した第１の縮小画像３４０から、異なるぼかし強度を用いてぼかし処理を適用した複数のぼかし元画像３５０を生成する。

第１の画像３３０および第１の縮小画像３４０は、例えば、第１の画像３３０および第１の縮小画像３４０を生成する図示しない撮像装置などから取得してもよいし、図示しない撮像装置などが記憶した記憶装置から読み出してもよい。

画像生成手段３１０は、例えば、第１の縮小画像３４０に含まれる画素のうちぼかし対象の画素を中心とした一定範囲内の画素の画素値の平均値を求め、求めた平均値でぼかし対象の画素の画素値を置換えることにより、ぼかし元画像３５０を生成することができる。この場合、画像生成手段３１０は、ぼかし対象の画素を中心とした一定範囲の大小によりぼかし強度を調整することができる。

合成手段３２０は、第１の画像３３０に含まれる画素である第１画素に対してぼかし処理を適用したぼかし画像３６０を合成する際に、第１画素の位置に対応するぼかし元画像３５０の画素である第２画素を用いて第１画素に対するぼかし処理適用後の画素値を決定する。合成する場合、選択したぼかし元画像３５０を第１の画像３３０のサイズまで拡大してから第１の画像３３０と合成してもよい。

合成手段３２０は、必要に応じて様々な基準にしたがって、複数のぼかし元画像３５０からぼかし元画像を選択することができる。例えば、ぼかし強度に応じて、選択するぼかし元画像を決めておき、第１の画像３３０に対応する画素毎にぼかし強度を指定したぼかし情報にしたがって、ぼかし元画像を選択してもよい。また、合成手段３２０は、複数のぼかし元画像３５０から、複数、例えば２つのぼかし元画像を選択してもよい。この場合、画像処理装置１００は、選択した２つのぼかし元画像から、合成に使用する画像を生成することができる。

図４は、本実施例に係る画像処理装置４００によるぼかし処理の概要を説明する図である。なお、下記（１）〜（５）は、図４に記載の（１）〜（５）に対応する。ただし、下記（１）〜（５）および図４に記載の（１）〜（５）は、説明を容易にするために記載したのであって、処理の順番を限定する趣旨ではない。

（１）画像処理装置４００は、例えば、後述するメモリ１６０２やＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）１６０９などから、所望の被写体に焦点があっている画像４１０を取得する。この取得した画像４１０を「被写体合焦画像４１０」という。本実施例に係る被写体合焦画像４１０は、ＹＵＶ形式のデータであるが、ＲＧＢ形式のデータなど様々な形式のデータを使用することができる。

また、画像処理装置４００は、例えば、後述するメモリ１６０２やＤＳＰ１６０９などから、被写体合焦画像４１０を一定の割合で縮小した画像４１１を取得する。この取得した画像４１１を「被写体合焦縮小画像４１１」という。本実施例に係る被写体合焦縮小画像４１１は、ＹＵＶ形式のデータであるが、ＲＧＢ形式のデータなど様々な形式のデータを使用することができる。

（２）画像処理装置４００は、被写体合焦画像４１０を縮小した、複数の縮小画像１、２、３および４を生成する。画像処理装置４００は、被写体合焦画像４１０をそれぞれ異なる縮小率で縮小して縮小画像１、２、３および４を生成してもよいが、本実施例では、画像処理装置４００は、被写体合焦画像４１０を同一の縮小率で縮小して縮小画像１、２、３および４を生成するものとする。

縮小画像１、２、３および４を生成すると、画像処理装置４００は、縮小画像１、２、３および４に対してぼかし処理を行なう。ぼかし処理を行なうに際して、画像処理装置４００は、縮小画像１、２、３および４の順にぼかし強度を強くしてぼかし処理を行なう。このぼかし処理が施された縮小画像１、２、３および４を「ぼかし元画像」という。また、ぼかし強度とは、ぼかしの程度のことをいう。図４には、被写体合焦縮小画像４１１から、ぼかし強度の異なる、４つのぼかし元画像４２１、４２２、４２３および４２４を生成した場合の例を示している。

ぼかし処理は、画素値の平均化などの一般的な手法を用いることができる。例えば、平均化の手法では、ぼかし対象の画素を中心とした一定範囲内の画素の画素値の平均値を求め、求めた平均値でぼかし対象の画素の画素値を置換える。ぼかし対象の画素を中心とした一定範囲の大小によりぼかし強度を調整することができる。以下では、ぼかし対象の画素を中心とした一定範囲を「フィルタサイズ」ということにする。また、画素値とは、ＹＵＶ形式のデータの場合、ある画素におけるＹ値、Ｕ値およびＶ値のそれぞれを指すものとする。

ぼかし強度は、フィルタサイズの大きさや、縮小画像に対して行なうぼかし処理の繰返し回数など、により調整することができる。例えば、画素値の平均化に用いるフィルタサイズを大きくするほどぼかし強度は大きくなり、フィルタサイズを小さくするほどぼかし強度は小さくなる。また、同一の画像に行なうぼかし処理の回数が多いほどぼかし強度は大きくなり、ぼかし処理の回数が少ないほどぼかし強度は小さくなる。

本実施例では、後述するぼかし強度値に０から２５５の値を使用する。値が大きいほどぼかし強度が大きいことを示す。０はぼかし処理を行っていない状態を示す。そして、ぼかし元画像４２１、４２２、４２３および４２４は、それぞれぼかし強度値６４、１２８、１９２および２５５と対応付けられる。また、被写体合焦画像４１０は、ぼかし強度値０と対応付けられる。

画像処理装置４００は、後述するぼかしマップ４４０に含まれるぼかし強度値に応じて、被写体合焦画像４１０、ぼかし元画像４２１、４２２、４２３および４２４から、後述する第１のぼかし元画像および第２のぼかし元画像を選択する。

例えば、ぼかし強度値が０の場合、画像処理装置４００は、被写体合焦画像４１０を第１のぼかし元画像として選択し、ぼかし強度値が６４の場合、ぼかし元画像４２１を第１のぼかし元画像として選択する。また、ぼかし強度値が０から６４の間の値である場合、画像処理装置４００は、第１のぼかし元画像として被写体合焦画像４１０を選択し、第２のぼかし元画像としてぼかし元画像４２１を選択する。

（３）画像処理装置４００は、所望の被写体以外のもの、例えば、景色などに焦点が合っている画像４３０を一定の割合で縮小した画像４３１を取得する。所望の被写体以外のものを「背景」ということにする。また、画像４３０を「背景合焦画像４３０」といい、画像４３１を「背景合焦縮小画像４３１」という。本実施例に係る背景合焦縮小画像４３１は、ＹＵＶ形式のデータであるが、ＲＧＢ形式のデータなど様々な形式のデータを使用することができる。

被写体合焦画像４１０は、背景合焦画像４３０と同じ被写体、同じ背景が同じ構図で撮像された画像であって、背景に焦点を合わせて撮像された画像である。また、背景合焦画像４３０は、被写体合焦画像４１０と同じ被写体、同じ背景が同じ構図で撮像された画像であって、背景に焦点を合わせて撮像された画像である。
なお、図４において、背景合焦画像４３０を点線で記載されているのは、背景合焦画像４３０が、背景合焦縮小画像４３１を説明するためにだけに記載されているからである。

（４）画像処理装置４００は、被写体合焦縮小画像４１１と背景合焦縮小画像４３１とから、ぼかしマップ４４０を生成する。このぼかしマップ４４０は、ぼかし位置とぼかし強度を表わす値とを含む情報である。ぼかし強度を表わす値を「ぼかし強度値」という。本実施例に係るぼかしマップ４４０は、被写体合焦画像４１０の背景領域の画素のぼかし位置とぼかし強度値を含んでいる。

ぼかし位置とは、被写体合焦画像４１０に含まれる画素のうちぼかし処理の対象となる画素の位置を示す情報である。本実施例では、背景がぼかし処理の対象なので、ぼかし位置には、背景領域の画素の位置を示す情報、例えば、ＸＹ座標が含まれる。

画像処理装置４００は、ぼかしマップ４４０に対して平滑化処理を行なう。この平滑化処理は、例えば、３２×３２画素のフィルタサイズで、ぼかしマップ４４０に含まれる画素値の平均化を行なうことにより実現することができる。

（５）画像処理装置４００は、ぼかしマップ４４０にしたがって、被写体合焦画像４１０とぼかし元画像４２０とを合成してぼかし画像４５０を生成する。例えば、画像処理装置４００は、ぼかしマップ４４０に含まれるぼかし強度値に応じて、被写体合焦画像４１０およびぼかし元画像４２０から、合成に使用する第１のぼかし元画像および第２のぼかし元画像を選択する。そして、画像処理装置４００は、選択した第１のぼかし元画像および第２のぼかし元画像からぼかし処理の対象の画素の画素値を算出し、算出した画素値をぼかし画像４５０に設定する。

図５は、本実施例に係る画像処理装置４００によるぼかし処理の流れを説明する図である。
画像処理装置４００は、後述するメモリ１６０２やＤＳＰ１６０９などから、被写体合焦画像４１０を取得する。また、画像処理装置４００は、後述するメモリ１６０２やＤＳＰ１６０９などから、被写体合焦縮小画像４１１を取得する。

被写体合焦縮小画像４１１は、後述するカメラ１６１０が撮像した画像をＤＳＰ１６０９で一定の縮小率で縮小することによって得ることができるが、その縮小率は、被写体合焦画像４１０のサイズに応じて適切に設定することが望ましい。例えば、被写体合焦画像４１０のサイズが小さい場合には、縮小率を小さくし、被写体合焦画像４１０のサイズが大きい場合には、縮小率を大きくするなどして、縮小率を適切に設定することが望ましい。

被写体合焦縮小画像４１１を取得すると、画像処理装置４００は、被写体合焦縮小画像４１１に対して、それぞれ異なるぼかし強度のぼかし元画像４２１、４２２、４２３および４２４を生成する。

ぼかし元画像４２１、４２２、４２３および４２４のぼかし強度は、フィルタサイズを変えてぼかし処理を実施することにより変えることができる。また、ぼかし元画像４２１、４２２、４２３および４２４それぞれに対して実施するぼかし処理の回数を変えることにより各ぼかし元画像のぼかし強度を変えることができる。例えば、ぼかし元画像４２１には１回、ぼかし元画像４２２には２回、ぼかし元画像４２３には３回、そしてぼかし元画像４２４には４回のぼかし処理を行なうことにより各ぼかし元画像のぼかし強度を変えることができる。また、フィルタサイズとぼかし処理の実施回数の組み合わせを変えることによっても、各ぼかし元画像のぼかし強度を変えることができる。本実施例では、ぼかし元画像４２１、４２２、４２３および４２４の順に、ぼかし強度が大きくなっているものとする。

画像処理装置４００は、ぼかしマップ４４０にしたがって、被写体合焦画像４１０とぼかし元画像４２１、４２２、４２３および４２４とを合成してぼかし画像４５０を生成する。

例えば、ぼかしマップ４４０に含まれるぼかし強度値が「０」の場合、画像処理装置４００は、被写体合焦画像４１０に含まれる画素のうちぼかし対象の画素の画素値をぼかし画像４５０に設定する。

また、ぼかしマップ４４０に含まれるぼかし強度値が「０」より大きく、かつ、「６４」以下の場合、画像処理装置４００は、被写体合焦画像４１０とぼかし元画像４２１を選択する。そして、ぼかし強度値に応じて、被写体合焦画像４１０に含まれる画素のうちぼかし対象の画素の画素値と、ぼかし元画像４２１に含まれる画素のうちぼかし対象の画素の画素値と、の補間値をぼかし画像４５０に設定する。

また、ぼかしマップ４４０に含まれるぼかし強度値が「６４」の場合、画像処理装置４００は、ぼかし元画像４２１に含まれる画素のうちぼかし対象の画素の画素値をぼかし画像４５０に設定する。

また、ぼかしマップ４４０に含まれるぼかし強度値が「６４」より大きく、かつ、「１２８」以下の場合、画像処理装置４００は、ぼかし元画像４２１とぼかし元画像４２２を選択する。そして、ぼかし強度値に応じて、ぼかし元画像４２１に含まれる画素のうちぼかし対象の画素の画素値と、ぼかし元画像４２２に含まれる画素のうちぼかし対象の画素の画素値と、の補間値をぼかし画像４５０に設定する。

また、ぼかしマップ４４０に含まれるぼかし強度値が「１２８」の場合、画像処理装置４００は、ぼかし元画像４２２に含まれる画素のうちぼかし対象の画素の画素値をぼかし画像４５０に設定する。

また、ぼかしマップ４４０に含まれるぼかし強度値が「１２８」より大きく、かつ、「１９２」以下の場合、画像処理装置４００は、ぼかし元画像４２２とぼかし元画像４２３を選択する。そして、ぼかし強度値に応じて、ぼかし元画像４２２に含まれる画素のうちぼかし対象の画素の画素値と、ぼかし元画像４２３に含まれる画素のうちぼかし対象の画素の画素値と、の補間値をぼかし画像４５０に設定する。

また、ぼかしマップ４４０に含まれるぼかし強度値が「１９２」の場合、画像処理装置４００は、ぼかし元画像４２３に含まれる画素のうちぼかし対象の画素の画素値をぼかし画像４５０に設定する。

また、ぼかしマップ４４０に含まれるぼかし強度値が「１９２」より大きく、かつ、「２５５」以下の場合、画像処理装置４００は、ぼかし元画像４２３とぼかし元画像４２４を選択する。そして、ぼかし強度値に応じて、ぼかし元画像４２３に含まれる画素のうちぼかし対象の画素の画素値と、ぼかし元画像４２４に含まれる画素のうちぼかし対象の画素の画素値と、の補間値をぼかし画像４５０に設定する。

また、ぼかしマップ４４０に含まれるぼかし強度値が「２５５」の場合、画像処理装置４００は、ぼかし元画像４２４に含まれる画素のうちぼかし対象の画素の画素値をぼかし画像４５０に設定する。

以上の処理が完了すると、例えば、図５に示す処理結果５２０を得ることができる。被写体合焦画像４１０の背景部５１１と対比すると、処理結果５２０の背景部５２１にぼかしがかかっている。

図６は、本実施例に係る画像処理装置４００が実行するぼかし処理の概要を示すフローチャートである。
後述する入力手段１６０３等からぼかし処理の開始が指示されると、画像処理装置４００は、ぼかし処理を開始する（ステップＳ６００）。そして、画像処理装置４００は、処理をステップＳ６０１に移行する。

ステップＳ６０１、Ｓ６０２およびＳ６０３において、画像処理装置４００は、後述するメモリ１６０２やＤＳＰ１６０９などから、被写体合焦画像４１０、被写体合焦縮小画像４１１および背景合焦縮小画像４３１を取得する。

ステップＳ６０４において、画像処理装置４００は、被写体合焦縮小画像４１１から、複数のぼかし元画像４２０を生成する。本実施例では、ぼかし強度の異なる４つのぼかし元画像４２１、４２２、４２３および４２４を生成する。

ステップＳ６０５において、画像処理装置４００は、被写体合焦縮小画像４１１と背景合焦縮小画像４３１とから、ぼかしマップ４４０を生成する。ぼかしマップ４４０については、図７および図８で具体的に説明する。

ステップＳ６０６において、画像処理装置４００は、ぼかしマップ４４０にしたがって、被写体合焦画像４１０とぼかし元画像４２１、４２２、４２３および４２４とを合成することによってぼかし画像４５０を生成する。このぼかし画像４５０を生成する処理については、図９で具体的に説明する。

図７は、本実施例に係るぼかしマップ４４０について説明する図である。なお、下記（１）および（２）は、図７に示す（１）および（２）に対応する。ただし、下記（１）および（２）と図７に記載の（１）および（２）は、説明を容易にするために記載したのであって、処理の順番を限定する趣旨ではない。

（１）画像処理装置４００は、後述するメモリ１６０２やＤＳＰ１６０９などから、被写体合焦縮小画像４１１を取得すると、被写体合焦縮小画像４１１をグレースケールの画像に変換し、変換後の画像に対してエッジ検出処理を行なう。なお、エッジ検出処理には、公知の技術、例えば、ラプラシアンフィルタなどを用いたフィルタ処理を利用することができる。ただし、その他の公知技術を用いて、エッジ検出を行なってもよいのは当然である。

以上の処理により、画像処理装置４００は、被写体合焦縮小画像４１１からエッジを抽出したエッジ画像７１０を生成することができる。エッジ画像７１０は、例えば、−１２８〜＋１２７の画素値を含む画像である。図７に示すエッジ画像７１０には被写体のエッジ部が実線で表示されている。

（２）同様に、画像処理装置４００は、後述するメモリ１６０２やＤＳＰ１６０９などから、背景合焦縮小画像４３１を取得すると、背景合焦縮小画像４３１をグレースケールの画像に変換し、変換後の画像に対してエッジ検出処理を行なう。このエッジ検出処理も、公知の技術、例えば、ラプラシアンフィルタなどを用いたフィルタ処理を利用することができる。

以上の処理により、画像処理装置４００は、背景合焦縮小画像４３１からエッジを抽出したエッジ画像７２０を生成することができる。エッジ画像７２０も、例えば、−１２８〜＋１２７の画素値を含む画像である。図７に示すエッジ画像７２０には被写体を除いた背景のエッジ部が実線で表示されている。

（３）エッジ画像７１０および７２０を生成すると、画像処理装置４００は、画素毎に、エッジ画像７１０の画素値の絶対値と、エッジ画像７２０の画素値の絶対値と、の差分を算出し、絶対値差分画像７３０を生成する。絶対値差分画像７３０に含まれる画素の画素値は、エッジ画像７１０と７２０の画素値の絶対値の差分により求められるので、−１２８〜＋１２８までの値となる。例えば、エッジ画像７２０に含まれる画素の画素値からエッジ画像７１０に含まれる画素の画素値を減算することにより絶対値の差分を求めた場合、絶対値差分画像７３０に含まれる画素の画素値のうち、０より大きい画素値の画素を含むエッジを背景部のエッジと判断することができる。図７に示す絶対値差分画像７３０には、被写体のエッジ部と背景のエッジ部とが実線で表示されている。

画像処理装置４００は、絶対値差分画像７３０から背景部のエッジのみを抽出した画像を生成し、この生成した画像に含まれる画素の画素値を０〜２５５の値となるように調整する。以上の処理により得られる画像をぼかしマップ４４０として使用する。なお、画像処理装置４００は、ぼかしマップ４４０に対して、さらに平滑化処理を行ってもよい。この平滑化処理は、例えば、３２×３２画素のフィルタサイズで、ぼかしマップ４４０に含まれる画素値の平均化を行なうことにより実現することができる。

図８は、本実施例に係るぼかしマップ４４０の生成処理を示すフローチャートである。
ステップＳ８０１において、画像処理装置４００は、ステップＳ６０２で取得した被写体合焦縮小画像４１１をグレースケールに変換後、変換した画像に対してエッジ検出処理を行ってエッジ画像７１０を生成する。同様に、画像処理装置４００は、ステップＳ６０３で取得した背景合焦縮小画像４３１をグレースケールに変換後、変換した画像に対してエッジ検出処理を行ってエッジ画像７２０を生成する。

ステップＳ８０２において、画像処理装置４００は、エッジ画像７１０および７２０に含まれる画素の画素値の絶対値をそれぞれ取得する。
ステップＳ８０３において、画像処理装置４００は、画素毎に、エッジ画像７１０および７２０に含まれる同じ位置の画素の画素値の絶対値の差分を算出して絶対値差分画像７３０を生成する。なお、本実施例では、エッジ画像７２０に含まれる画素の画素値の絶対値から、エッジ画像７１０に含まれる画素の画素値の絶対値を減算するものとする。

ステップＳ８０４において、画像処理装置４００は、絶対値差分画像７３０から背景領域、本実施例では、背景領域に含まれるエッジだけを抽出してぼかしマップ４４０を生成する。なお、本実施例では、絶対値差分画像７３０に含まれる画素のうち画素値が０より大きい画素を背景領域の画素と判断できる。本実施例では、背景のエッジ部を含むエッジ画像７２０に含まれる画素の画素値の絶対値から、エッジ画像７１０に含まれる画素の画素値の絶対値を減算することにより絶対値差分画像７３０を生成しているからである。

エッジ画像７１０に含まれる画素の画素値の絶対値から、エッジ画像７２０に含まれる画素の画素値の絶対値を減算することにより絶対値差分画像７３０を生成した場合は、絶対値差分画像７３０に含まれる画素のうち画素値が０より小さい画素を背景領域の画素と判断できる。

ステップＳ８０５において、画像処理装置４００は、ステップＳ８０４で生成したぼかしマップ４４０に対して平滑化処理を行なう。平滑化処理が終了すると、画像処理装置４００は、ぼかしマップ４４０の生成処理を終了する（ステップＳ８０６）。

図９は、本実施例に係る画像処理装置４００によるぼかし画像４５０の生成処理を示すフローチャートである。
ステップＳ９０１において、画像処理装置４００は、被写体合焦画像４１０に含まれる画素から、処理対象の画素を１つ選択する。すると、画像処理装置４００は、ぼかしマップ４４０を参照し（ステップＳ９０２）、処理対象の画素についてのぼかし強度値を取得する（ステップＳ９０３）。

ここで、本実施例に係るぼかし強度値は、０〜２５５の値である。図４で示したように、被写体合焦画像４１０、ぼかし元画像４２１、４２２、４２３または４２４を選択する基準となるぼかし強度値「０」、「６４」、「１２８」、「１９２」および「２５５」を総じて「境界値」という。

ステップＳ９０３で取得したぼかし強度値が境界値と一致しない場合（ステップＳ９０４ ＹＥＳ）、画像処理装置４００は、処理をステップＳ９０５に移行する。この場合、画像処理装置４００は、ぼかし強度値に応じて、被写体合焦画像４１０、ぼかし元画像４２１、４２２、４２３または４２４から２つの画像を選択する（ステップＳ９０５）。この画像選択処理の具体例については、図５で説明したので省略する。

本実施例では、ステップＳ９０５で選択した２つの画像をそれぞれ「第１のぼかし元画像」、「第２のぼかし元画像」という。被写体合焦画像４１０が、第１のぼかし元画像となる場合もある。

ステップＳ９０６において、画像処理装置４００は、ステップＳ９０５で選択した第１のぼかし元画像を、例えば、被写体合焦画像４１０と同じサイズの画像まで拡大する。なお、ステップＳ９０６において、第１のぼかし元画像として、被写体合焦画像４１０を選択した場合、画像処理装置４００は、ステップＳ９０６の処理を行なわない。

ステップＳ９０７において、画像処理装置４００は、拡大した第１のぼかし元画像から、処理対象の画素と同じ位置にある画素の画素値を取得する。この画素値を「第１の画素値」という。

ステップＳ９０８において、画像処理装置４００は、ステップＳ９０５で選択した第２のぼかし元画像を、例えば、被写体合焦画像４１０と同じサイズの画像まで拡大する。
ステップＳ９０９において、画像処理装置４００は、拡大した第２のぼかし元画像から、処理対象の画素と同じ位置にある画素の画素値を取得する。この画素値を「第２の画素値」という。

ステップＳ９１０において、画像処理装置４００は、ステップＳ９０７およびＳ９０９で取得した画素値の補間値を算出する。第１の画素値をＲ１、第２の画素値をＲ２、境界値をＴｈ１、Ｔｈ２とすると、Ｔｈ２＞Ｓ＞Ｔｈ１の関係にある場合、以下に示す式（１）から、第１の画素値と第２の画素値の補間値を算出することができる。
Ｒ１＊（Ｓ−Ｔｈ１）／（Ｔｈ２−Ｔｈ１）＋
Ｒ２＊（Ｔｈ２−Ｓ）／（Ｔｈ２−Ｔｈ１） ・・・（１）
補間値を算出すると、画像処理装置４００は、処理をステップＳ９１４に移行する。

一方、ステップＳ９０３で取得したぼかし強度値が境界値と一致する場合（ステップＳ９０４ ＮＯ）、画像処理装置４００は、処理をステップＳ９１１に移行する。この場合、画像処理装置４００は、ぼかし強度値に応じて、被写体合焦画像４１０、ぼかし元画像４２１、４２２、４２３または４２４から画像を１つ選択する（ステップＳ９１１）。この画像の選択の具体例については、図５で説明したので省略する。

本実施例では、ステップＳ９１１で選択した画像を「第３のぼかし元画像」という。被写体合焦画像４１０が、第３のぼかし元画像となる場合もある。
ステップＳ９１２において、画像処理装置４００は、ステップＳ９１１で選択した第３のぼかし元画像を、例えば、被写体合焦画像４１０と同じサイズの画像まで拡大する。なお、ステップＳ９１１において、第３のぼかし元画像として、被写体合焦画像４１０を選択した場合、画像処理装置４００は、ステップＳ９１２の処理を行なわない。

ステップＳ９１３において、画像処理装置４００は、第３のぼかし元画像から、処理対象の画素と同じ位置にある画素の画素値を取得する。そして、画像処理装置４００は、処理をステップＳ９１４に移行する。

ステップＳ９１４において、画像処理装置４００は、処理対象の画素と同じ位置にある、ぼかし画像４５０の画素の画素値に、ステップＳ９１０で求めた補間値、または、ステップＳ９１３で取得した画素値を設定する。

被写体合焦画像４１０に含まれる全ての画素について、ステップＳ９０１〜Ｓ９１４の処理を実施した場合（ステップＳ９１５ ＹＥＳ）、画像処理装置４００は、ぼかし画像４５０の生成処理を終了する（ステップＳ９１６）。また、被写体合焦画像４１０に含まれる画素に、ステップＳ９０１〜Ｓ９１４の処理を実施していない画素がある場合（ステップＳ９１５ ＮＯ）、画像処理装置４００は、処理をステップＳ９０１に移行し、ステップＳ９０１〜Ｓ９１４の処理を実施する。

図１０は、本実施例に係る画像処理装置１０００による画像処理の流れを説明する図である。
画像処理装置１０００は、後述するメモリ１６０２やＤＳＰ１６０９などから被写体合焦画像４１０を取得する。また、画像処理装置１０００は、後述するメモリ１６０２やＤＳＰ１６０９などから、被写体合焦縮小画像１０１１、１０１２および１０１３を取得する。図１０では、画像処理装置１０００が、被写体合焦縮小画像１０１１、１０１２および１０１３の順に縮小率を大きくした被写体合焦縮小画像を取得した場合を例示している。

被写体合焦縮小画像１０１１、１０１２および１０１３は、後述するカメラ１６１０が撮像した画像をＤＳＰ１６０９がそれぞれ異なる縮小率で縮小することによって得ることができるが、実施例２と同様に、その縮小率は、被写体合焦画像４１０のサイズに応じて適切に設定することが望ましい。

被写体合焦縮小画像１０１１、１０１２および１０１３を取得すると、画像処理装置１０００は、各被写体合焦縮小画像に対して、それぞれ異なるぼかし強度でぼかし処理を施したぼかし元画像１０２１、１０２２、１０２３および１０２４を生成する。

図１０に示すぼかし元画像１０２１および１０２２は、被写体合焦縮小画像１０１１に対して異なるぼかし強度でぼかし処理を施した被写体合焦縮小画像である。また、ぼかし元画像１０２３は、被写体合焦縮小画像１０１１に対して、ぼかし処理を施した被写体合焦縮小画像である。また、ぼかし元画像１０２４は、被写体合焦縮小画像１０１１に対して、ぼかし処理を施した被写体合焦縮小画像である。

ぼかし元画像１０２１、１０２２、１０２３および１０２４は、実施例２と同様に、各ぼかし元画像に対してフィルタサイズを変えてぼかし処理を実施することによりぼかし強度を変えることができる。また、ぼかし元画像１０２１、１０２２、１０２３および１０２４それぞれに対して実施するぼかし処理の回数を変えることにより各ぼかし元画像のぼかし強度を変えることができる。また、フィルタサイズとぼかし処理の実施回数の組み合わせを変えることによっても、各ぼかし元画像のぼかし強度を変えることができる。本実施例では、ぼかし元画像１０２１、１０２２、１０２３および１０２４の順に、ぼかし強度が大きくなっている。

画像処理装置１０００は、ぼかしマップ４４０にしたがって、被写体合焦画像４１０と、ぼかし元画像１０２１、１０２２、１０２３および１０２４と、を合成してぼかし画像１０４０を生成する。

例えば、ぼかしマップ４４０に含まれるぼかし強度値が「０」の場合、画像処理装置１０００は、被写体合焦画像４１０に含まれる画素のうちぼかし対象の画素の画素値をぼかし画像１０３０に設定する。

また、ぼかしマップ４４０に含まれるぼかし強度値が「０」より大きく、かつ、「６４」以下の場合、画像処理装置１０００は、被写体合焦画像４１０とぼかし元画像１０２１を選択する。そして、ぼかし強度値に応じて、被写体合焦画像４１０に含まれる画素のうちぼかし対象の画素の画素値と、ぼかし元画像１０２１に含まれる画素のうちぼかし対象の画素の画素値と、の補間値をぼかし画像１０３０に設定する。

また、ぼかしマップ４４０に含まれるぼかし強度値が「６４」の場合、画像処理装置１０００は、被写体合焦画像１０２１に含まれる画素のうちぼかし対象の画素の画素値をぼかし画像１０３０に設定する。

また、ぼかしマップ４４０に含まれるぼかし強度値が「６４」より大きく、かつ、「１２８」以下の場合、画像処理装置１０００は、ぼかし元画像１０２１とぼかし元画像１０２２を選択する。そして、ぼかし強度値に応じて、ぼかし元画像１０２１に含まれる画素のうちぼかし対象の画素の画素値と、ぼかし元画像１０２２に含まれる画素のうちぼかし対象の画素の画素値と、の補間値をぼかし画像１０３０に設定する。

また、ぼかしマップ４４０に含まれるぼかし強度値が「１２８」の場合、画像処理装置１０００は、被写体合焦画像１０２２に含まれる画素のうちぼかし対象の画素の画素値をぼかし画像１０３０に設定する。

また、ぼかしマップ４４０に含まれるぼかし強度値が「１２８」より大きく、かつ、「１９２」以下の場合、画像処理装置１０００は、ぼかし元画像１０２２とぼかし元画像１０２３を選択する。そして、ぼかし強度値に応じて、ぼかし元画像１０２２に含まれる画素のうちぼかし対象の画素の画素値と、ぼかし元画像１０２３に含まれる画素のうちぼかし対象の画素の画素値と、の補間値をぼかし画像１０３０に設定する。

また、ぼかしマップ４４０に含まれるぼかし強度値が「１９２」の場合、画像処理装置１０００は、被写体合焦画像１０２３に含まれる画素のうちぼかし対象の画素の画素値をぼかし画像１０３０に設定する。

また、ぼかしマップ４４０に含まれるぼかし強度値が「１９２」より大きく、かつ、「２５５」以下の場合、画像処理装置１０００は、ぼかし元画像１０２３とぼかし元画像１０２４を選択する。そして、ぼかし強度値に応じて、ぼかし元画像１０２３に含まれる画素のうちぼかし対象の画素の画素値と、ぼかし元画像１０２４に含まれる画素のうちぼかし対象の画素の画素値と、の補間値をぼかし画像１０３０に設定する。

また、ぼかしマップ４４０に含まれるぼかし強度値が「２５５」の場合、画像処理装置１０００は、被写体合焦画像１０２４に含まれる画素のうちぼかし対象の画素の画素値をぼかし画像１０３０に設定する。

以上の処理が完了すると、例えば、図１０に示す処理結果１０４０を得ることができる。被写体合焦画像４１０の背景部１０５１と対比すると、処理結果１０４０の背景部１０４１にぼかしがかかっている。

なお、図１０では、被写体合焦縮小画像１０１１、１０１２および１０１３の順に縮小率を大きくした被写体合焦縮小画像を使用しているが、これに限定する趣旨ではない。被写体合焦縮小画像は、それぞれ異なる縮小率であればよい。

また、図１０では、３つの被写体合焦縮小画像１０１１、１０１２および１０１３を使用した場合を例に示しているが、被写体合焦縮小画像の数を限定する趣旨ではない。例えば、２つの被写体合焦縮小画像を使用してもよいし、５つ以上の被写体合焦縮小画像を使用してもよい。

また、同一の被写体合焦縮小画像から生成する２以上のぼかし元画像は、互いに異なるぼかし強度とする必要があるが、異なる被写体合焦縮小画像から生成するぼかし元画像は、ぼかし強度が同一であってもよいし、異なっていてもよい。

ここで、被写体合焦画像４１０、ぼかし元画像１０２１、１０２２、１０２３および１０２４におけるぼかし処理の対象の画素の位置の対応関係を明確にするために、ぼかし元画像１０２１、１０２２、１０２３および１０２４の画面サイズを揃えたものを図１１に示す。以下の説明では、図１１を用いて本実施例を説明する。被写体合焦画像４１０、被写体合焦縮小画像１０１１〜１０１３、ぼかし元画像１０２１〜１０２４内に示す黒い点「・」は画素を示す。例えば、ぼかし元画像１０２１は拡大して表示しているので、被写体合焦縮小画像４１０よりも画素間の距離が大きくなっている。

図１２は、本実施例に係る画像処理装置１０００が行なうぼかし処理の概要を説明する図である。なお、図１２に記載の（１）〜（４）は、以下に記載の（１）〜（４）に対応する。ただし、下記（１）〜（４）および図１２に記載の（１）〜（４）は、説明を容易にするために記載したのであって、処理の順番を限定する趣旨ではない。

（１）画像処理装置１０００は、ぼかし処理の対象である被写体合焦画像４１０に含まれる画素から、処理対象の画素１２１０を１つ選択する。
（２）画像処理装置１０００は、ぼかしマップ４４０を参照し、処理対象の画素１２１０のぼかし強度値を取得する。

（３）処理対象の画素１２１０の位置とぼかし強度値とから、後述する６点補間処理に使用する６点の画素を、被写体合焦画像４１０、ぼかし元画像１０２１、１０２２、１０２３および１０２４に含まれる画素の中から選択する。例えば、以下のようにして画像処理装置１０００は、後述する６点補間処理に使用する６点の画素を選択することができる。

まず、画像処理装置１０００は、ぼかし強度値に応じて、被写体合焦画像４１０、ぼかし元画像１０２１、１０２２、１０２３および１０２４の中から１つまたは２つの画像を選択する。この画像の選択は、例えば、図９に示したステップＳ９０４〜Ｓ９０５やＳ９１１の処理と同様の処理によって行なうことができる。図１２では、ぼかし元画像１０２３と１０２４が選択された場合を例示している。

次に、画像処理装置１０００は、ぼかし処理の対象である被写体合焦画像４１０における処理対象の画素１２１０の位置に対応する、ぼかし元画像１０２３内の位置１２２０を囲む画素のうち３点の画素１２２１、１２２２および１２２３を選択する。また、画像処理装置１０００は、ぼかし処理の対象である被写体合焦画像４１０における処理対象の画素１２１０の位置に対応する、ぼかし元画像１０２４内の位置１２３０を囲む画素のうち３点の画素１２３１、１２３２および１２３３を選択する。

図１３には、本実施例に係る画素の選択を説明する図を示している。
画素の選択を行なう場合、ぼかし元画像１０２３に含まれる３つの画素を頂点とする直角三角形を考える。図１３に示すように、ぼかし元画像１０２３内の位置１２２０は、３点の画素１２２１、１２２２および１２２３を頂点とする直角三角形に囲まれている。この場合、画像処理装置１０００は、３点の画素１２２１、１２２２および１２２３を選択する。

同様に、ぼかし元画像１０２４内の位置１２３０は、３点の画素１２３１、１２３２および１２３３を頂点とする直角三角形に囲まれている。この場合、画像処理装置１０００は、３点の画素１２３１、１２３２および１２３３を選択する。

（４）選択した６点の画素１２２１、１２２２、１２２３、１２３１、１２３２および１２３３に対して、６点補間処理を行って１つの補間値を算出する。
図１４は、本実施例に係る６点補間処理を説明する図である。以下の説明では、図１４に示すｘｙｚ座標系のうち、ｘ軸方向を水平方向といい、ｙ軸方向を垂直方向という。

まず、画像処理装置１０００は、選択した６点の画素１２２１、１２２２、１２２３、１２３１、１２３２および１２３３のうち、ぼかし元画像１０２３上の３点の画素１２２１、１２２２および１２２３に対して補間処理を行なう。この結果得られる補間値を「第１の補間値」という。

ここで、画素１２２１、１２２２および１２２３の画素値をそれぞれｄ１、ａ１およびｃ１とする。また、処理対象の画素１２１０の位置に対応する、ぼかし元画像１０２３内の位置１２２０の水平方向の座標の比をｈ１１：ｈ１２とする。そして、処理対象の画素１２１０の位置に対応する、ぼかし元画像１０２３内の位置１２２０の垂直方向の座標の比をｖ１１：ｖ１２とする。この場合、以下に示す式（２）によって、第１の補間値を得ることができる。
ａ１＋（ｄ１−ａ１）＊（ｖ１１／（ｖ１１＋ｖ１２））
−（ｃ１−ｄ１）＊（ｈ１１／（ｈ１１＋ｈ１２）） ・・・（２）

同様に、画像処理装置１０００は、選択した６点の画素１２２１、１２２２、１２２３、１２３１、１２３２および１２３３のうち、ぼかし元画像１０２４上の３点の画素１２３１、１２３２および１２３３に対して補間処理を行なう。この結果得られる補間値を「第２の補間値」という。

ここで、画素１２３１、１２３２および１２３３の画素値をそれぞれｃ２、ｂ２およびａ２とする。また、処理対象の画素１２１０の位置に対応する、ぼかし元画像１０２４内の位置１２３０の水平方向の座標の比をｈ２１：ｈ２２とする。そして、処理対象の画素１２１０の位置に対応する、ぼかし元画像１０２４内の位置１２３０の垂直方向の座標の比をｖ２１：ｖ２２とする。この場合、以下に示す式（３）によって、第２の補間値を得ることができる。
ａ２＋（ｂ２−ａ２）＊（ｈ２１／（ｈ２１＋ｈ２２））
＋（ｃ２−ｂ２）＊（ｖ２１／（ｖ２１＋ｖ２２）） ・・・（３）

第１の補間値および第２の補間値を算出すると、画像処理装置１０００は、第１の補間値と第２の補間値から６点補間値を算出する。例えば、第１の補間値をＲ１、第２の補間値をＲ２、ぼかし強度値をＳとする。また、ぼかし元画像１０２３および１０２４を選択する場合の境界値のうち上限値をＴｈ１とし、下限値をＴｈ２とする。この場合、以下に示す式（４）によって、第１の補間値と第２の補間値から６点補間値を算出することができる。
Ｒ１＊（Ｓ−Ｔｈ１）／（Ｔｈ２−Ｔｈ１）
＋Ｒ２＊（Ｔｈ２−Ｓ）／（Ｔｈ２−Ｔｈ１） ・・・（４）

本実施例に係る画像処理装置１０００が実行するぼかし処理の概要は、図６に説明した処理と同様なので、以下では、画像処理装置１０００によるぼかし画像１０４０の生成処理について説明する。

図１５は、本実施例に係る画像処理装置１０００によるぼかし画像１０４０の生成処理を示すフローチャートである。なお、ステップＳ１５００〜Ｓ１５０４までの処理は、図９に示したステップＳ９００〜Ｓ９０４までの処理と同様なので説明を省略する。

ステップＳ１５０３で取得したぼかし強度値が境界値と一致しない場合（ステップＳ１５０４ ＹＥＳ）、画像処理装置１０００は、処理をステップＳ１００５に移行する。この場合、画像処理装置１０００は、ぼかし強度値に応じて、被写体合焦画像４１０、ぼかし元画像１０２１、１０２２、１０２３および１０２４から２つの画像を選択する（ステップＳ１５０５）。この画像選択処理の具体例については、図１０で説明したので省略する。

本実施例では、ステップＳ１５０５で選択した２つの画像をそれぞれ「第１のぼかし元画像」、「第２のぼかし元画像」という。被写体合焦画像４１０が、第１のぼかし元画像となる場合もある。

ステップＳ１５０６において、画像処理装置１０００は、ステップＳ１５０５で選択した第１のぼかし元画像から、３点の画素を選択する。そして、ステップＳ１５０７において、画像処理装置１０００は、ステップＳ１５０６で選択した３点の画素の画素値について、第１の補間値を算出する。

ステップＳ１５０８において、画像処理装置１０００は、ステップＳ１５０５で選択した第２のぼかし元画像から、３点の画素を選択する。そして、ステップＳ１５０９において、画像処理装置１０００は、ステップＳ１５０８で選択した３点の画素の画素値について、第２の補間値を算出する。

ステップＳ１５１０において、画像処理装置１０００は、第１の補間値と第２の補間値から、ステップＳ１５０６およびＳ１５０８で選択した６点の画素についての６点補間値を算出する。

なお、ステップＳ１５０６〜Ｓ１５１０についての具体的な説明は、図１２〜図１４で説明したので省略する。
６点補間値を算出すると、画像処理装置１０００は、処理をステップＳ１５１４に移行する。

一方、ステップＳ１５０３で取得したぼかし強度値が境界値と一致する場合（ステップＳ１５０４ ＮＯ）、画像処理装置１０００は、処理をステップＳ１０１１に移行する。この場合、画像処理装置１０００は、ぼかし強度値に応じて、被写体合焦画像４１０、ぼかし元画像１０２１、１０２２、１０２３および１０２４から画像を１つ選択する（ステップＳ１５１１）。この画像の選択の具体例については、図１０で説明したので省略する。

本実施例では、ステップＳ１５１１で選択した画像を「第３のぼかし元画像」という。被写体合焦画像４１０が、第３のぼかし元画像となる場合もある。
ステップＳ１５１２において、画像処理装置１０００は、ステップＳ１５１１で選択した第３のぼかし元画像から、３点の画素を選択する。そして、ステップＳ１５１３において、画像処理装置１０００は、ステップＳ１５１２で選択した３点の画素の画素値について、第３の補間値を算出する。なお、ステップＳ１５１２およびＳ１５１３の処理は、ステップＳ１５０６およびＳ１５０７と同様の処理であるから具体的な説明は省略する。

ステップＳ１５１４において、画像処理装置１０００は、ぼかし画像１０３０に、ステップＳ１５１０で求めた６点補間値、または、ステップＳ１５１３で取得した画素値を設定する。

被写体合焦画像４１０に含まれる全ての画素について、ステップＳ１５０１〜Ｓ１５１４の処理を実施した場合（ステップＳ１５１５ ＹＥＳ）、画像処理装置１０００は、ぼかし画像１０４０の生成処理を終了する（ステップＳ１５１６）。また、被写体合焦画像４１０に含まれる画素に、ステップＳ１５０１〜Ｓ１５１４の処理を実施していない画素がある場合（ステップＳ１５１５ ＮＯ）、画像処理装置１０００は、処理をステップＳ１５０１に移行し、ステップＳ１５０１〜Ｓ１５１４の処理を実施する。

図１６は、第１〜第３の実施例に係る画像処理装置の具体的な構成例を示す図である。なお、画像処理装置４００と画像処理装置１０００は、同じ構成の情報処理装置によって実現することができる。したがって、画像処理装置４００についての具体的な構成例についてだけ説明し、画像処理装置１０００についての具体的な構成例についての説明は省略する。

図１６に示す画像装置４００は、ＣＰＵ１６０１と、メモリ１６０２と、入力装置１６０３と、出力装置１６０４と、外部記憶装置１６０５と、媒体駆動装置１６０６と、ネットワーク接続装置１６０８と、ＤＳＰ１６０９と、カメラ１６１０と、を備える。そして、これらの装置がバスに接続されて相互にデータの受け渡しが行なえる構成となっている。

ＣＰＵ１６０１は、周辺機器や各種ソフトウェアを実行する他に本実施例に係るぼかし処理を実現するプログラムを実行する演算装置である。
メモリ１６０２は、プログラムを実行するために使用される揮発性の記憶装置である。メモリ１６０２には、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを使用することができる。また、メモリ１６０２は、被写体合焦画像４１０、被写体合焦縮小画像４１１、背景合焦画像４３０、背景合焦縮小画像４３１、ぼかし元画像４２０などを記憶することができる。

入力装置１６０３は、外部からのデータ入力手段である。入力装置１６０３には、例えば、キーボードやマウスなどを使用することができる。
出力装置１６０４は、データ等を表示装置等に出力する装置である。なお、出力装置１６０４には、表示装置を含むこともできる。

外部記憶装置１６０５は、画像処理装置４００が動作するために必要なプログラムやデータの他に本実施例に係るぼかし処理を実現するプログラムを記憶する不揮発性の記憶装置である。外部記憶装置１６０５には、例えば、磁気ディスク記憶装置などを使用することができる。

媒体駆動装置１６０６は、メモリ１６０２や外部記憶装置１６０５のデータを可搬記憶媒体１６０７、例えば、フロッピイディスクやＭＯディスク、ＣＤ−ＲやＤＶＤ−Ｒなどに出力し、または可搬記憶媒体１６０７からプログラムやデータ等を読み出す装置である。

ネットワーク接続装置１６０８は、ネットワーク１６０９に接続する装置である。
ＤＳＰ１６０９は、カメラ１６１０で撮像した画像に対して所定の処理、例えば、一定の縮小率で縮小する処理などを行なう。そして、ＤＳＰ１６０９は、所定の処理が施された画像を、メモリ１６０２や外部記憶装置１６０５、可搬記憶媒体１６０７などに必要に応じて記憶する。

カメラ１６１０は、所望の物体に焦点を合わせて画像を生成することができる撮像装置である。例えば、カメラ１６１０は、被写体に焦点を合わせた被写体合焦画像４１０や、背景に焦点を合わせた背景合焦画像４３０などを生成する。カメラ１６１０は、生成した画像を、ＤＳＰ１６０９やメモリ１６０２、外部記憶装置１６０５、可搬記憶媒体１６０７などに必要に応じて出力する。

なお、メモリ１６０２、外部記憶装置１６０５および可搬記憶媒体１６０７などの情報処理装置に読取り可能な記憶媒体は、非一時的（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ）な媒体を用いることができる。

また、図１６に示した画像処理装置４００の構成図は、一例である。したがって、画像処理装置４００を図１６に示した構成に限定する趣旨ではない。例えば、外部記憶装置１６０５、媒体駆動装置１６０６、ネットワーク接続装置１６０８、ＤＳＰ１６０９およびカメラ１６１０などは、必須の構成要素ではなく、必要に応じて画像処理装置４００の構成に組み込むことができる。

図１７は、第１〜第３の実施例に係る画像処理装置を備える装置１７００の構成例を示す図である。図１７に示す装置１７００は、画像処理装置１７１０と、ＤＳＰ１７２０と、カメラ１７３０と、を備える。

画像処理装置１７１０は、図１６に示した第１、第２または第３の実施例に係る画像処理装置である。ただし、画像処理装置１７１０には、図１６で示したＤＳＰ１６０９およびカメラ１６１０は含まれない。

ＤＳＰ１７２０は、カメラ１７３０で撮像した画像に対して所定の処理、例えば、一定の縮小率で縮小する処理などを行って、被写体合焦縮小画像４１１や背景合焦縮小画像４３１などを生成する。

カメラ１７３０は、所望の物体に焦点を合わせて画像を生成することができる撮像装置である。例えば、カメラ１７３０は、被写体に焦点を合わせた被写体合焦画像４１０や、背景に焦点を合わせた背景合焦画像４３０などを生成する。

以上の構成において、画像処理装置１７１０がＤＳＰ１７２０に対して撮像要求を行なうと、ＤＳＰ１７２０は、カメラ１７３０に対して撮像を指示する。すると、カメラ１７３０は、ＤＳＰ１７２０の指示にしたがって、所定の焦点位置に焦点を合わせた画像、例えば、被写体合焦画像４１０や背景合焦画像４３０を撮像する。

カメラ１７３０は、撮像した画像をＤＳＰ１７２０に出力する。ＤＳＰ１７２０は、カメラ１７３０から受信した画像を画像処理装置１７１０に送信する。また、画像処理装置１７１０が縮小率を指定していた場合、ＤＳＰ１７２０は、画像処理装置１７１０が指定した縮小率で、カメラ１７３０から受信した画像を縮小した画像、例えば、被写体合焦縮小画像４１１や背景合焦縮小画像４３１を画像処理装置１７１０に送信する。

画像処理装置１７１０は、ＤＳＰ１７２０から受信した画像を、メモリ１６０２や外部記憶装置１６０５、可搬記憶媒体１６０７などに必要に応じて記憶する。
装置１７００は、携帯電話や携帯端末、カメラなど様々な形態に応用することができる。

第２の実施例では、ぼかし元画像４２１、４２２、４２３および４２４の４つのぼかし元画像を使用する場合について説明した。また、第３の実施例では、ぼかし元画像１０２１、１０２２、１０２３および１０２４の４つのぼかし元画像を使用する場合について説明した。しかし、第２および第３の実施例は、使用するぼかし元画像の数を４つに限定する趣旨ではない。例えば、使用するぼかし元画像は、１つでもよいし、２以上でもよい。

以上の説明において、被写体合焦縮小画像４１０は、第１の画像の一例として挙げることができる。また、被写体合焦縮小画像４１１や１０１１〜１０１３は、第１の縮小画像の一例として挙げることができる。また、ぼかし元画像４２１〜４２４や１０２１〜１０２４は、ぼかし元画像の一例として挙げることができる。また、画像生成手段や合成手段は、所定のプログラムをＣＰＵ１６０１に実行させることにより実現することができる。

第１の実施例に係る画像処理装置３００は、第１の画像３３０を一定の割合で縮小した第１の縮小画像３４０に対してぼかし処理を行なうことでぼかし元画像３５０を生成するので、ぼかし処理の対象となる画素数を少なくすることができる。その結果、画像処理装置３００にかかる負荷を軽くすることができるので、ぼかし処理の時間を短くすることが可能となる。

また、画像処理装置３００は、第１の画像３３０と、第１の画像３３０を一定の割合で縮小した第１の縮小画像３４０をぼかしたぼかし元画像３５０と、を合成することによりぼかし画像３６０を生成する。ぼかし元画像３５０は縮小画像なので、メモリの消費量を小さくすることが可能となる。

したがって、画像処理装置３００は、短時間にメモリ消費量を抑えながらぼかし画像を生成することが可能となる。
第２の実施例に係る画像処理装置４００は、被写体合焦画像４１０を一定の割合で縮小した被写体合焦縮小画像４１１からぼかし元画像４２１〜４２４を作成するので、ぼかし処理の対象となる画素数を少なくすることができる。その結果、画像処理にかかる負担を軽くすることができるので、ぼかし処理の時間を短くすることが可能となる。

また、画像処理装置４００は、被写体合焦画像４１０と、被写体合焦画像４１０を一定の割合で縮小した被写体合焦縮小画像４１１をぼかしたぼかし元画像４２１〜４２４と、を合成することによりぼかし画像５２０を生成する。ぼかし元画像４２１〜４２４は、縮小画像なので、メモリの消費量を小さくすることが可能となる。

したがって、画像処理装置４００は、短時間にメモリ消費量を抑えながらぼかし画像５２０を生成することが可能となる。
第３の実施例に係る画像処理装置１０００は、被写体合焦画像４１０を縮小した被写体合焦縮小画像１０１１〜１０１３からぼかし元画像１０２１〜１０２４を生成するので、ぼかし処理の対象となる画素数を少なくすることができる。その結果、画像処理装置１０００は、画像処理にかかる負担を軽くすることができるので、ぼかし処理の時間を短くすることが可能となる。

また、画像処理装置１０００は、縮小率を段階的に大きくした被写体合焦縮小画像１０１１〜１０１３を使用することで、ぼかし処理の対象となる画素数をさらに少なくすることができる。その結果、画像処理装置１０００は、画像処理にかかる負担をさらに軽くすることがでる。その結果、画像処理装置１０００は、ぼかし処理の時間をさらに短縮することが可能となる。

また、画像処理装置１０００は、被写体合焦画像４１０と、被写体合焦画像４１０を縮小した被写体合焦縮小画像１０１１〜１０１３をぼかしたぼかし元画像１０２１〜１０２４と、合成することによりぼかし画像１０４０を生成する。ぼかし元画像１０２１〜１０２４は、縮小画像なので、メモリの消費量を小さくすることが可能となる。また、画像処理装置１０００は、縮小率を段階的に大きくした被写体合焦縮小画像１０１１〜１０１３を使用することで、メモリの消費量をさらに小さくすることが可能となる。
したがって、画像処理装置１０００は、短時間にメモリ消費量を抑えながらぼかし画像１０４０を生成することが可能となる。

以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。
（付記１）
第１の合焦位置に焦点を合わせて被写体を撮像した第１の画像を縮小した第１の縮小画像から、異なるぼかし強度を用いてぼかし処理を適用した複数のぼかし元画像を生成する画像生成手段と、
前記第１の画像に含まれる画素である第１画素に対してぼかし処理を適用したぼかし画像を合成する際に、前記第１画素の位置に対応する前記ぼかし元画像の画素である第２画素を用いて前記第１画素に対するぼかし処理適用後の画素値を決定する合成手段と、
を備える画像処理装置。
（付記２）
前記第１の縮小画像に含まれる被写体のエッジ成分と、第２の合焦位置に焦点を合わせて前記被写体を撮像した第２の画像を縮小した第２の縮小画像に含まれる被写体のエッジ成分とを比較し、該比較結果に基づいて、前記第１の画像に含まれる画素毎のぼかし強度を示すぼかし強度値を含むぼかしマップを生成するぼかしマップ生成手段、
をさらに備え、
前記合成手段は、前記ぼかし画像の合成において、前記第１画素に対応付けられたぼかし強度を前記ぼかしマップから参照し、前記複数のぼかし元画素および第１の画素の画素値から前記参照したぼかし強度に対応する画素値を決定する、
ことを特徴とする付記１に記載の画像処理装置。
（付記３）
前記合成手段は、前記第１の画像に含まれる第１の画素についてのぼかし強度値を前記ぼかしマップから取得し、該取得したぼかし強度値に応じて前記ぼかし元画像を選択し、該選択した前記ぼかし元画像に含まれる画素のうち前記第１の画素の位置に対応する位置にある第２の画素の画素値から、前記合成に使用する画素値を決定し、該決定した画素値を前記第１の画素の画素値に設定する、
ことを特徴とする付記２に記載の画像処理装置。
（付記４）
前記合成手段は、前記取得したぼかし強度値を含む範囲の下限値と対応付けられた前記第１のぼかし元画像と、前記範囲の上限値と対応付けられた第２のぼかし元画像と、を選択し、前記第１のぼかし元画像に含まれる画素のうち前記第１の画素の位置に対応する位置にある画素の画素値である第１の画素値と、前記第２のぼかし元画像に含まれる画像のうち前記第１の画素の位置に対応する位置にある画素の画素値である第２の画素値と、を前記範囲におけるぼかし強度値の割合で補完した補間値を算出し、該算出した補間値を前記第１の画素の画素値に設定する、
ことを特徴とする付記３に記載の画像処理装置。
（付記５）
前記第１の縮小画像は、前記第１の画像を異なる割合で縮小した複数の縮小画像である、
ことを特徴とする付記２に記載の画像処理装置。
（付記６）
前記合成手段は、前記第１の画像に含まれる第１の画素についてのぼかし強度値を前記ぼかしマップから取得し、該取得したぼかし強度値に応じて前記ぼかし元画像を選択し、該選択した前記ぼかし元画像に含まれる画素のうち前記第１の画素の位置に対応する位置を囲む複数の画素の画素値から、前記合成に使用する画素値を算出し、該算出した画素値を前記第１の画素の画素値に設定する、
ことを特徴とする付記５に記載の画像処理装置。
（付記７）
前記合成手段は、前記取得したぼかし強度値を含む範囲の下限値と対応付けられた前記第１のぼかし元画像と、前記範囲の上限値と対応付けられた第２のぼかし元画像と、を選択し、前記第１のぼかし元画像に含まれる画素のうち前記第１の画素の位置に対応する位置を囲む複数の画素の画素値から、画素間における前記第１の画素の位置の割合で補完した第１の画素値を算出し、前記第２のぼかし元画像に含まれる画素のうち前記第１の画素の位置に対応する位置を囲む複数の画素の画素値から、画素間における前記第１の画素の位置の割合で補完した第２の画素値を算出し、前記第１の画素値と前記第２の画素値とを前記範囲におけるぼかし強度値の割合で補完した補間値を算出し、該算出した補間値を前記第１の画素の画素値に設定する、
ことを特徴とする付記６に記載の画像処理装置。
（付記８）
前記ぼかしマップ生成手段は、
前記第１の縮小画像および前記第２の縮小画像に含まれる画素の画素値が不連続に変化する領域を平滑化する平滑化手段と、
前記第１の縮小画像と前記第２の縮小画像との画素値の差分から前記ぼかし強度値を算出し、画素毎に前記ぼかし強度値を含む前記ぼかしマップを生成するぼかし強度値算出手段と、
前記ぼかしマップにおける所定サイズの領域内の差分値の合計が閾値を超える場合、前記所定サイズの領域内に含まれるぼかし強度値のうち前記閾値以下のぼかし強度値を、前記閾値を超える所定の値に補正する補正手段と、
をさらに備える付記２に記載の画像処理装置。
（付記９）
第１の合焦位置に焦点を合わせて被写体を撮像した第１の画像と、前記第１の画像を縮小した第１の縮小画像と、を記憶手段から取得し、
前記第１の縮小画像を、異なるぼかし強度でぼかした複数のぼかし元画像を生成し、
前記複数のぼかし元画像から選択したぼかし元画像と、前記第１の画像とを合成して一部または全部にぼかし強度の異なるぼかし領域を含むぼかし画像を生成する、
画像処理方法。
（付記１０）
第１の合焦位置に焦点を合わせて被写体を撮像した第１の画像と、前記第１の画像を縮小した第１の縮小画像と、を記憶手段から取得し、
前記第１の縮小画像を、異なるぼかし強度でぼかした複数のぼかし元画像を生成し、
前記複数のぼかし元画像から選択したぼかし元画像と、前記第１の画像とを合成して一部または全部にぼかし強度の異なるぼかし領域を含むぼかし画像を生成する、
処理を情報処理装置に実行させる画像処理用プログラム。
（付記１１）
第１の合焦位置に焦点を合わせて被写体を撮像して第１の画像を生成する撮像手段と、
前記第１の画像を縮小して第１の縮小画像を生成する縮小画像生成手段と、
前記第１の縮小画像を、異なるぼかし強度でぼかした複数のぼかし元画像を生成する画像生成手段と、
前記複数のぼかし元画像から選択したぼかし元画像と、前記第１の画像とを合成して一部または全部にぼかし強度の異なるぼかし領域を含むぼかし画像を生成する合成手段と、
を備える情報処理装置。

３００ 画像処理装置
３１０ 画像生成手段
３２０ 合成手段
３３０ 第１の画像
３４０ 第１の縮小画像
３５０ ぼかし元画像

Claims (6)

1. 第１の合焦位置に焦点を合わせて被写体を撮像した第１の画像を縮小した第１の縮小画像から、異なるぼかし強度を用いてぼかし処理を適用した複数のぼかし元画像を生成する画像生成手段と、
   前記第１の画像に含まれる画素である第１画素に対してぼかし処理を適用したぼかし画像を合成する際に、前記第１画素の位置に対応する前記ぼかし元画像の画素である第２画素を用いて前記第１画素に対するぼかし処理適用後の画素値を決定する合成手段と、
   を備える画像処理装置。
2. 前記第１の縮小画像に含まれる被写体のエッジ成分と、第２の合焦位置に焦点を合わせて前記被写体を撮像した第２の画像を縮小した第２の縮小画像に含まれる被写体のエッジ成分とを比較し、該比較結果に基づいて、前記第１の画像に含まれる画素毎のぼかし強度を示すぼかし強度値を含むぼかしマップを生成するぼかしマップ生成手段、
   をさらに備え、
   前記合成手段は、前記ぼかし画像の合成において、前記第１画素に対応付けられたぼかし強度を前記ぼかしマップから参照し、前記複数のぼかし元画素および第１の画素の画素値から前記参照したぼかし強度に対応する画素値を決定する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の縮小画像は、前記第１の画像を異なる割合で縮小した複数の縮小画像である、
   ことを特徴とする請求項２に記載の画像処理装置。
4. 第１の合焦位置に焦点を合わせて被写体を撮像した第１の画像と、前記第１の画像を縮小した第１の縮小画像と、を記憶手段から取得し、
   前記第１の縮小画像を、異なるぼかし強度でぼかした複数のぼかし元画像を生成し、
   前記複数のぼかし元画像から選択したぼかし元画像と、前記第１の画像とを合成して一部または全部にぼかし強度の異なるぼかし領域を含むぼかし画像を生成する、
   画像処理方法。
5. 第１の合焦位置に焦点を合わせて被写体を撮像した第１の画像と、前記第１の画像を縮小した第１の縮小画像と、を記憶手段から取得し、
   前記第１の縮小画像を、異なるぼかし強度でぼかした複数のぼかし元画像を生成し、
   前記複数のぼかし元画像から選択したぼかし元画像と、前記第１の画像とを合成して一部または全部にぼかし強度の異なるぼかし領域を含むぼかし画像を生成する、
   処理を情報処理装置に実行させる画像処理用プログラム。
6. 第１の合焦位置に焦点を合わせて被写体を撮像して第１の画像を生成する撮像手段と、
   前記第１の画像を縮小して第１の縮小画像を生成する縮小画像生成手段と、
   前記第１の縮小画像を、異なるぼかし強度でぼかした複数のぼかし元画像を生成する画像生成手段と、
   前記複数のぼかし元画像から選択したぼかし元画像と、前記第１の画像とを合成して一部または全部にぼかし強度の異なるぼかし領域を含むぼかし画像を生成する合成手段と、
   を備える情報処理装置。