JPWO2013047405A1 - 画像処理装置及び方法 - Google Patents

Abstract

画像をぼかし処理すると、ぼかし処理の対象領域ではぼかし処理フィルタの特性に応じてノイズが低減されるため、ぼかし処理の非対象領域との間でノイズ量に差が生じる。このような事情に鑑み本発明の一の態様に係る画像処理装置では、ぼかし対象領域にノイズを付加するので、ノイズ量の差を軽減することができ、自然なぼけ強調画像を作成することができる。また本発明の一の態様に係る画像処理装置では、ぼかし量が多いほどぼかし処理に伴いノイズが大幅に低減される点を考慮し、ぼかし処理フィルタによるぼかし量に応じたノイズ量を決定し、付加するようにしている。

Description

本発明は、画像処理装置及び方法、並びにプログラムに関し、特にぼけ強調画像を作成する技術に関する。

デジタルカメラ等の撮像装置や画像処理装置の分野では、いわゆるフォーカスブラケット撮影で得られた画像に対して対応点検出・画像変形を行い、それらに基づいて所定の画像にぼかしを加えることで、被写界深度の浅い画像を生成することが行われている。例えば特許文献１では、基準画像に適用するガウシアンフィルタのフィルタ特性をフォーカスブラケット画像に基づいて算出し、当該特性に基づいて基準画像を局所平滑化することで、ぼけを強調した画像を生成している。また特許文献２では、画像にノイズ付加フィルタを適用する際、人物などノイズを付加したくない領域を検出し、当該領域にソフトフォーカス処理を行い、当該領域外にはノイズ付加処理を行うことが記載されている。

特開２００８−２７１２４０号公報 特開２００７−２４１４２４号公報

上記特許文献のような従来の技術で画像にぼかし処理を行う場合、平滑化フィルタなどを用いる一般的な手法では、画像中のぼかし処理した部分とそうでない部分とでノイズの量に差が生じてムラとなり、違和感のある画像となってしまう。例えば上記特許文献１では、ぼかし処理に伴って発生する画像中のノイズ量の差については考慮されていない。また特許文献２では特定の領域にノイズを付加するが、人物等が含まれノイズを付加したくない領域ではソフトフォーカス処理のフィルタ特性に応じてノイズが減少する一方、それ以外の領域にノイズを加えるため、処理後の画像にノイズの差が生じてしまう、という問題がある。

本発明はこのような事情に基づいてなされたもので、ぼかし処理を加えた部分とそうでない部分とのノイズ量の差を軽減し、自然なぼけ強調画像を作成する画像処理装置及び方法、並びにプログラムを提供することを目的とする。

上記目的を達成するため、本発明の第１の態様に係る画像処理装置は、被写体の基準画像を取得する基準画像取得手段と、取得した基準画像の内のぼかし対象領域にぼかし処理フィルタを適用するぼかし処理手段と、ぼかし処理されたぼかし対象領域に付加するノイズ量を決定するノイズ量決定手段と、ぼかし処理されたぼかし対象領域に決定した量のノイズを付加するノイズ付加手段と、を含み、ノイズ量決定手段は、ぼかし対象領域に対してぼかし処理フィルタによるぼかし量に応じたノイズ量を決定し、ノイズ付加手段は、決定した量のノイズをぼかし対象領域に対して付加する。

上述のように、画像をぼかし処理すると、ぼかし処理の対象領域ではぼかし処理フィルタの特性に応じてノイズが低減されるため、ぼかし処理の非対象領域との間でノイズ量に差が生じるが、本発明の第１の態様に係る画像処理装置ではぼかし対象領域にノイズを付加するため、ノイズ量の差を軽減することができ、自然なぼけ強調画像を作成することができる。また第１の態様に係る画像処理装置では、ぼかし量が多いほどぼかし処理に伴いノイズが大幅に低減される点を考慮し、ぼかし処理フィルタによるぼかし量に応じたノイズ量を決定し、付加するようにしている。

第１の態様に係る画像処理装置において、ノイズ付加手段は、ぼかし対象領域におけるぼかし量がしきい値以上である画素にノイズを付加する、ようにしてもよい。上述のように第１の態様に係る画像処理装置ではぼかし対象領域にノイズを付加するが、そのような処理を実行するためには、本態様のようにぼかし対象領域におけるぼかし量を参照してノイズを付加することが有効である。

第１の態様に係る画像処理装置において、取得した基準画像と基準画像以外の画像とから距離画像を作成する距離画像作成手段をさらに含み、ぼかし処理フィルタは、作成した距離画像から得られる被写体距離に応じたぼかし量でぼかし処理を行う、ようにしてもよい。例えば、手前にある人物等の主要被写体はぼかし処理を行わず、主要被写体からの距離が遠い背景などはぼかし量を大きくするようにすることができる。このようにぼかし処理をすることで自然なぼけ強調画像が得られる。

第１の態様に係る画像処理装置において、ノイズ量決定手段は、基準画像の撮影感度に応じたノイズ量を決定し、ノイズ付加手段は、撮影感度に応じて決定した量のノイズを付加するようにしてもよい。一般に撮影感度が高いとノイズ量が多くなり、例えばＩＳＯ１６００のような高感度の場合だと多くのノイズが発生する。そのためそのようなノイズが多い画像をぼかし処理すると、ぼかし処理の対象となった領域ではノイズが低減される一方、処理の対象とならなかった領域では元の画像に含まれるノイズがそのまま残ってしまい、画像内でのノイズムラが非常に目立つこととなる。そのため上記態様の画像処理方法では、撮影感度に応じた量のノイズを決定・付加することで上記問題に対処している。本態様の画像処理装置は、このような場合に非常に有効である。

本発明の第２の態様に示すように、第１の態様に係る画像処理装置において、取得した基準画像からノイズを抽出するノイズ抽出手段をさらに含み、ノイズ量決定手段は、ぼかし対象領域に対して、抽出したノイズを用いてノイズ量を決定する、ようにしてもよい。ぼかし処理によりどのようなノイズの差が生じるかはぼかし処理の対象となる画像に含まれるノイズに依存するため、本態様のように元の基準画像から抽出したノイズを用いてぼかし対象領域に加えるノイズを算出することで、自然な感じのノイズを付加することができる。

第２の態様に係る画像処理装置において、ノイズ量決定手段は、ぼかし処理フィルタによるぼかし量に応じた係数を抽出したノイズに乗じてぼかし対象領域に対するノイズ量を決定する、ようにしてもよい。本態様のように抽出したノイズに係数を乗じ、ぼかし対象領域に付加するノイズ量を調整することで、ノイズ量の差をより軽減できる。

本発明の第３の態様に示すように、第１の態様に係る画像処理装置において、取得した基準画像の撮影条件から当該基準画像のノイズ量を推定するノイズ量推定手段をさらに含み、ノイズ決定手段では、ぼかし対象領域に対して、推定したノイズを用いてノイズ量を決定する、ようにしてもよい。ぼかし処理画像に付加するノイズは上述のように基準画像から抽出したものを用いてもよいが、本態様のように基準画像の撮像条件からモデルにより推定したノイズを用いてもよい。

第３の態様に係る画像処理装置において、ノイズ量決定手段は、ぼかし処理フィルタによるぼかし量に応じた係数を推定したノイズ量に乗じてぼかし対象領域の各画素に対するノイズ量を決定するようにしてもよい。本態様のように推定したノイズに係数を乗じ、ぼかし対象領域に付加するノイズ量を調整することで、ノイズ量の差をより軽減できる。

第３の態様に係る画像処理装置において、撮影条件は取得した基準画像の画素値であるようにしてもよい。一般的にイメージセンサで発生するノイズの量はフォトダイオードの受光量、即ち画像の画素値に依存することから、本態様は、ノイズ量を画素値の関数として扱うものである。

上記目的を達成するため、本発明の第４の態様に係る画像処理装置は、被写体の基準画像を取得する基準画像取得手段と、取得した基準画像における平坦度を検出する平坦度検出手段と、検出した平坦度に応じて基準画像の内のぼかし対象領域におけるぼかし量を設定するぼかし量設定手段と、ぼかし対象領域が設定したぼかし量分ぼかされるよう処理するぼかし処理手段と、を含む。

ぼかし処理により生じるノイズ量の差は特に平坦部で視覚的に目立つ。そこで第４の態様に係る画像処理装置では、平坦度に応じてぼかし量を設定するようにしている。これにより、ノイズ量が一様で自然なぼけ強調画像を得ることができる。

上述した第３の態様に係る画像処理装置は、基準画像から抽出したノイズをぼかし処理画像に付加するのではなく、撮影条件に基づいて推定したノイズを付加する点が第２の態様に係る画像処理装置と異なるが、第１〜第３の態様に係る画像処理装置では、作成したぼかし処理画像に別途何らかのノイズを付加する点においては共通している。これに対し本発明の第４の態様に係る画像処理装置では、第１〜第３の態様に係る画像処理装置のようにノイズそのものを加えるのではなく、ぼかし処理の結果として生成されたぼけ強調画像でノイズが一様になるようにぼかし量を設定している。

第４の態様に係る画像処理装置において、ぼかし量設定手段は、基準画像における平坦度を考慮しない場合のぼかし量に検出した平坦度に応じた係数を乗じてぼかし量を設定するようにしてもよい。本態様は、平坦度に応じたぼかし量設定の具体的な態様を示すものである。

第４の態様に係る画像処理装置において、基準画像の撮影感度に応じたノイズ量を決定するノイズ量決定手段と、撮影感度に応じて決定した量のノイズを付加するノイズ付加手段と、をさらに含むようにしてもよい。

上記目的を達成するため、本発明の第５の態様に係る画像処理装置は、被写体の基準画像を取得する基準画像取得手段と、基準画像に対するぼかし量を設定するぼかし量設定手段と、取得した基準画像に対して設定したぼかし量でぼかし処理フィルタを適用してぼけ画像を生成するぼけ画像生成手段であって、ぼかし処理フィルタの特性に依存してノイズが低減されたぼけ画像を生成するぼけ画像生成手段と、取得した基準画像に対して、取得した基準画像と生成したぼけ画像との差分値を算出する差分算出手段と、算出した差分値に応じて、基準画像とぼけ画像とを重みづけ加算して合成画像を生成する合成画像生成手段と、を含む。

本第５の態様に係る画像処理装置も、生成したぼかし処理画像にノイズを付加することでノイズが一様になるようにしているのではないという点で、上記第４の態様と共通している。しかしながら本第５の態様では第４の態様と異なり、ある程度のノイズが含まれる基準画像とノイズが低減されたぼけ画像とを重みづけ加算することで、合成画像においてノイズが一様になるようにしている。この際、基準画像とぼかし処理画像との差分の大小はぼかし処理や平坦度の大小を意味し、従って両画像間でのノイズ量の差を表すため、第５の態様に係る画像処理装置では、当該差分値に応じて重みづけ加算を行うことで、合成画像においてノイズが一様になるようにしている。これにより第５の態様に係る画像処理装置では、ぼかし処理を加えた部分とそうでない部分とのノイズ量の差を軽減し、自然なぼけ強調画像を作成することができる。

第５の態様に係る画像処理装置において、合成画像生成手段は、算出した差分値が所定の範囲にある場合は、差分値が小さいほど基準画像に対する重みを大きく設定すると共にぼけ画像に対する重みを小さく設定し、差分値が大きいほど基準画像に対する重みを小さく設定すると共にぼけ画像に対する重みを大きく設定する、ようにしてもよい。差分値（の全体値）が大きいということはぼかし処理によって大きくぼけ強調されているということ（即ち、ノイズが大幅に低減されているということ）であり、一方差分値（の絶対値）が小さいということは、ぼけ強調をしていないか、あるいはその程度が弱いということ（即ち、ノイズはあまり若しくは全く低減されていないということ）である。また平坦部分についても差分値が小さくなる。従って差分値が小さい領域では基準画像に対する重みを大きく設定して合成画像に多くのノイズが含まれるようにし、逆に差分値が小さい領域ではぼけ画像に対する重みを大きく設定して合成画像に含まれるノイズの量を抑えるようにすることで、合成画像全体にわたってノイズの量が一様になるようにしている。

なお第５の態様に係る画像処理装置では、差分値の「所定の範囲」は撮影条件や撮像装置の特性等に応じて適宜設定してよく、また差分値が所定の範囲外にある場合、例えば差分値が極端に小さかったり極端に大きかったりする場合は差分値によらず一定の値を設定してもよい。

また第１〜第５の態様に係る画像処理装置において、予め定められた移動量で離散的に焦点位置を移動して順次画像を撮影することにより複数の画像を得るフォーカスブラケット撮影手段と、フォーカスブラケット撮影手段により撮影された複数の画像間の被写体の対応点を検出する対応点検出手段と、複数の画像の中から所定の基準により選択された１枚の基準画像に対して、対応点の位置が一致するように基準画像以外の複数の画像を変形する画像変形手段と、を含むようにしてもよい。この場合基準画像取得手段が、フォーカスブラケット撮影手段により得られた複数の画像から被写体の基準画像を取得するようにしてもよい。

なお、上記第１〜第５の態様に係る画像処理装置において、ノイズ量の決定等の処理を領域単位で行っているが、これらの処理は一画素単位や、複数画素からなる画素ブロック単位で行うようにしてもよい。

上記目的を達するために、本発明の第６の態様は、被写体の基準画像を取得する基準画像取得ステップと、取得した基準画像の内のぼかし対象領域にぼかし処理フィルタを適用するぼかし処理ステップと、ぼかし処理されたぼかし対象領域に付加するノイズ量を決定するノイズ量決定ステップと、ぼかし処理されたぼかし対象領域に決定したノイズを付加するノイズ付加ステップと、を含み、ノイズ量決定ステップでは、ぼかし対象領域に対してぼかし処理フィルタによるぼかし量に応じたノイズ量を決定し、ノイズ付加ステップでは、決定した量のノイズをぼかし対象領域に対して付加する、画像処理方法を提供する。

第６の態様に係る画像処理方法において、ノイズ付加ステップでは、ぼかし対象領域におけるぼかし量がしきい値以上である画素にノイズを付加する、ようにしてもよい。

第６の態様に係る画像処理方法において、取得した基準画像と基準画像以外の画像とから距離画像を作成する距離画像作成ステップをさらに含み、ぼかし処理フィルタは、作成した距離画像から得られる被写体距離に応じたぼかし量でぼかし処理を行う、ようにしてもよい。

第６の態様に係る画像処理方法において、基準画像の撮影感度に応じたノイズ量を決定するノイズ決定ステップと、撮影感度に応じて決定した量のノイズを付加するノイズ付加ステップと、をさらに含むようにしてもよい。

本発明の第７の態様に示すように、第６の態様に係る画像処理方法において、取得した基準画像からノイズを抽出するノイズ抽出ステップをさらに含み、ノイズ量決定ステップでは、ぼかし対象領域素に対して、抽出したノイズを用いてノイズ量を決定する、ようにしてもよい。

第７の態様に係る画像処理方法において、ノイズ量決定ステップでは、ぼかし処理フィルタによるぼかし量に応じた係数を抽出したノイズに乗じてぼかし対象領域に対するノイズ量を決定する、ようにしてもよい。

本発明の第８の態様に示すように、第６の態様に係る画像処理方法において、取得した基準画像の撮影条件から当該基準画像のノイズ量を推定するノイズ量推定ステップをさらに含み、ノイズ量決定ステップでは、ぼかし対象領域に対して、推定したノイズを用いてノイズ量を決定する、ようにしてもよい。

第８の態様に係る画像処理方法において、ノイズ量決定ステップでは、ぼかし処理フィルタによるぼかし量に応じた係数を推定したノイズ量に乗じてぼかし対象領域に対するノイズ量を決定する、ようにしてもよい。

第８の態様に係る画像処理方法において、撮影条件は取得した基準画像の画素値であってよい。

上述した本発明の第６〜第８の態様に係る画像処理方法は、上述した本発明の第１〜第３の態様に係る画像処理装置に対応するもので、第１〜第３の態様に係る画像処理装置と同様に、ぼかし対象領域にノイズを付加することでぼかし処理画像におけるノイズ量の差を軽減することができ、自然なぼけ強調画像を作成することができる。

上記目的を達成するため、本発明の第９の態様は、被写体の基準画像を取得する基準画像取得ステップと、取得した基準画像における平坦度を検出する平坦度検出ステップと、検出した平坦度に応じて基準画像の内のぼかし対象領域におけるぼかし量を設定するぼかし量設定ステップと、ぼかし対象領域が設定したぼかし量分ぼかされるよう処理するぼかし処理ステップと、を含む画像処理方法を提供する。

上記本発明の第９の態様に係る画像処理方法は、上述した第４の態様に係る画像処理装置に対応するもので、第４の態様に係る画像処理装置と同様に、基準画像の各画素における平坦度に応じてぼかし量を設定するようにしている。

第９の態様に係る画像処理方法において、ぼかし量設定ステップでは、基準画像における平坦度を考慮しない場合のぼかし量に検出した平坦度に応じた係数を乗じてぼかし量を設定する、ようにしてもよい。

第９の態様に係る画像処理方法において、基準画像の撮影感度に応じたノイズ量を決定するノイズ量決定ステップと、撮影感度に応じて決定した量のノイズを付加するノイズ付加ステップと、をさらに含むようにしてもよい。

上記目的を達成するため、本発明の第１０の態様は、被写体の基準画像を取得する基準画像取得ステップと、基準画像に対するぼかし量を設定するぼかし量設定ステップと、取得した基準画像に対して設定したぼかし量でぼかし処理フィルタを適用してぼけ画像を生成するぼけ画像生成ステップであって、ぼかし処理フィルタの特性に依存してノイズが低減されたぼけ画像を生成するぼけ画像生成ステップと、取得した基準画像に対して、取得した基準画像と生成したぼけ画像との差分値を算出する差分算出ステップと、算出した差分値に応じて、基準画像とぼけ画像とを重みづけ加算して合成画像を生成する合成画像生成ステップと、を含む画像処理方法を提供する。

上記本発明の第１０の態様に係る画像処理方法は、上述した第５の態様に係る画像処理装置に対応するもので、第５の態様に係る画像処理装置と同様に、基準画像とノイズが低減されたぼけ画像とを重みづけ加算することで、合成画像においてノイズが一様になるようにしており、これによりぼかし処理を加えた部分とそうでない部分とのノイズ量の差を軽減し、自然なぼけ強調画像を作成することができる。

第１０の態様に係る画像処理方法において、合成画像生成ステップでは、算出した差分値が所定の範囲にある場合は、差分値が小さいほど基準画像に対する重みを大きく設定すると共にぼけ画像に対する重みを小さく設定し、差分値が大きいほど基準画像に対する重みを小さく設定すると共にぼけ画像に対する重みを大きく設定する、ようにしてもよい。

第１０の態様に係る画像処理方法において、基準画像の撮影感度に応じたノイズ量を決定するノイズ量決定ステップと、撮影感度に応じて決定したノイズを付加するノイズ付加ステップと、をさらに含むようにしてもよい。

なお第６〜第１０の態様に係る画像処理方法において、第１〜第５の態様に係る画像処理装置と同様に、フォーカスブラケット撮影ステップと、対応点検出ステップと、画像変形ステップと、を含むようにしてもよい。

また、上記第６〜第１０の態様に係る画像処理方法において、ノイズ量の決定等の処理を領域単位で行っているが、これらの処理は一画素単位や、複数画素からなる画素ブロック単位で行うようにしてもよい。

上記目的を達成するため、本発明の第１１の態様に係る画像処理プログラムは、上記第６〜第１０の態様のいずれかに係る画像処理方法を画像処理装置に実行させる。第１１の形態に係る画像処理プログラムは、デジタルカメラ等の撮像装置に組み込んで使用するほか、パーソナルコンピュータ（ＰＣ）等において画像処理・編集用ソフトウェアとして用いるようにしてもよい。また本発明の第１２の態様に係る記録媒体には、上記第６〜第１０の態様のいずれかに係る画像処理方法を画像処理装置に実行させるプログラムの、コンピュータ読み取り可能なコードが記録されている。なお第１２の態様に係る記録媒体の例としては、デジタルカメラやＰＣのＲＯＭ・ＲＡＭの他、ＣＤ、ＤＶＤやＢＤ、ＨＤＤやＳＳＤ、各種メモリカード等の、非一時的（non-transitory）な半導体記録媒体や光磁気記録媒体を用いることができる。

上述のように本発明に係る画像処理装置及び方法、並びにプログラムによれば、ぼかし処理を加えた部分とそうでない部分とのノイズ量の差を軽減して自然なボケ強調画像を作成できる。

図１は、本発明の第１の実施形態に係る撮像装置１０の構成を示すブロック図である。 図２は、本発明の第１の実施形態に係る画像処理の概要を示す模式図である。 図３は、本発明の第１の実施形態に係る画像処理の手順を示すフローチャートである。 図４は、ノイズ抽出処理の例を示すフローチャートである。 図５は、ノイズ付加処理の例を示すフローチャートである。 図６は、ぼかし処理の度合いとノイズに対する係数との関係の例を示す図である。 図７は、本発明の第２の実施形態に係る画像処理の概要を示す模式図である。 図８は、本発明の第２の実施形態に係る画像処理の手順を示すフローチャートである。 図９は、ノイズモデルに基づくノイズ付加の例を示すフローチャートである。 図１０は、本発明の第３の実施形態に係る画像処理の概要を示す模式図である。 図１１は、本発明の第３の実施形態に係る画像処理の手順を示すフローチャートである。 図１２は、注目画素の平坦度合いとぼけ強調強度に対する係数との関係を示す図である。 図１３は、本発明の第４の実施形態に係る画像処理の概要を示す模式図である。 図１４は、本発明の第４の実施形態に係る画像処理の手順を示すフローチャートである。 図１５は、基準画像とぼけ強調画像との差分と、画像合成時の重みづけ係数との関係を示す図である。

以下、添付図面に従って本発明に係る画像処理装置及び方法、並びにプログラムを実施するための形態について詳細に説明する。

［撮像装置の構成］
図１は本発明の第１の実施の形態に係る撮像装置１０の実施の形態を示すブロック図である。撮像装置１０の装置全体の動作は中央処理装置（ＣＰＵ）４０によって統括制御され、ＣＰＵ４０の動作に必要なプログラム（後述するぼかし処理やノイズ付加処理に用いるプログラムを含む）やパラメータは、ＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）４６に記憶されている。

撮像装置１０には、シャッタボタン、モードダイヤル、再生ボタン、ＭＥＮＵ／ＯＫキー、十字キー、ＢＡＣＫキー等の操作部３８が設けられている。この操作部３８からの信号はＣＰＵ４０に入力され、ＣＰＵ４０は入力信号に基づいて、後述するように撮像装置１０の各回路を制御する。

シャッタボタンは、撮影開始の指示を入力する操作ボタンであり、半押し時にＯＮするＳ１スイッチと、全押し時にＯＮするＳ２スイッチとを有する二段ストローク式のスイッチで構成されている。モードダイヤルは、静止画／動画撮影モード、マニュアル／オート撮影モード、及び撮影シーン等を選択する手段であり、また撮影感度（例えばＩＳＯ１００、４００、８００、１６００等）の設定が可能になっている。

再生ボタンは、撮影記録した画像の静止画又は動画を液晶モニタ３０に表示させる再生モードに切り替えるためのボタンである。ＭＥＮＵ／ＯＫキーは、液晶モニタ３０の画面上にメニューを表示させる指令を行うための機能と、選択内容の確定及び実行などを指令する機能とを兼備した操作キーである。十字キーは、上下左右の４方向の指示を入力する操作部であり、カーソル移動操作手段やズームスイッチ、再生モード時のコマ送りボタン等として機能する。ＢＡＣＫキーは、選択項目など所望の対象の消去や指示内容の取消し、あるいは１つ前の操作状態に戻らせる時などに使用される。これらのボタンやキーは、ユーザがぼかし処理の度合を指定する場合等、ぼかし処理やノイズ付加処理の際に必要な操作にも用いることができる。

撮影モード時において、被写体を示す画像光は、撮影レンズ１２、絞り１４を介して固体撮像素子（以下、「ＣＣＤ」という）１６の受光面に結像される。撮影レンズ１２は、フォーカスレンズ、ズームレンズを含み、ＣＰＵ４０によって制御されるレンズ駆動部３６によって駆動され、フォーカス制御、ズーム制御等が行われる。

レンズ駆動部３６は、ＣＰＵ４０からの指令に従い、フォーカスレンズを光軸方向に移動させ、焦点位置を可変する。また、レンズ駆動部３６は、ＣＰＵ４０からの指令に従い、ズームレンズを光軸方向に進退動作させ、焦点距離を変更させる。

またＣＰＵ４０は、絞り駆動部３４を介して絞り１４を制御するとともに、ＣＣＤ制御部３２を介してＣＣＤ１６での電荷蓄積時間（シャッタスピード）や、ＣＣＤ１６からの画像信号の読み出し制御等を行う。ＣＣＤ１６に蓄積された信号電荷は、ＣＣＤ制御部３２から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出され、アナログ信号処理部２０に加えられる。

アナログ信号処理部２０は、ＣＣＤ１６から出力された電圧信号に対して相関二重サンプリング処理により各画素ごとのＲ、Ｇ、Ｂ信号をサンプリングホールドし、増幅した後Ａ／Ｄ変換器２１に加える。Ａ／Ｄ変換器２１は、順次入力するアナログのＲ、Ｇ、Ｂ信号をデジタルのＲ、Ｇ、Ｂ信号に変換して画像入力コントローラ２２に出力する。

デジタル信号処理部２４は、画像入力コントローラ２２を介して入力するデジタルの画像信号に対して、オフセット処理、ホワイトバランス補正及び感度補正を含むゲイン・コントロール処理、ガンマ補正処理、ＹＣ処理等の所定の信号処理を行う。

デジタル信号処理部２４で処理された画像データは、ＶＲＡＭ５０に入力される。ＶＲＡＭ５０には、それぞれが１コマ分の画像を表す画像データを記憶するＡ領域とＢ領域とが含まれており、１コマ分の画像を表す画像データがＡ領域とＢ領域とで交互に書き換えられ、画像データが書き換えられている領域以外の領域から、書き込まれた画像データが読み出される。ＶＲＡＭ５０から読み出された画像データはビデオ・エンコーダ２８においてエンコーディングされて液晶モニタ３０に出力され、これにより被写体像が液晶モニタ３０に表示される。

また、操作部３８のシャッタボタンの第１段階の押下（半押し）があると、ＣＰＵ４０は、ＡＦ動作及びＡＥ動作を開始させ、レンズ駆動部３６を介して撮影レンズ１２の合焦制御を行う。また、シャッタボタンの半押し時にＡ／Ｄ変換器２１から出力される画像データは、ＡＥ検出部４４に取り込まれる。

ＣＰＵ４０は、ＡＥ検出部４４から入力するＧ信号の積算値より被写体の明るさ（撮影Ｅｖ値）を算出し、この撮影Ｅｖ値に基づいて絞り１４の絞り値及びＣＣＤ１６の電子シャッタ（シャッタスピード）を決定し、その結果に基づいて絞り１４及びＣＣＤ１６での電荷蓄積時間を制御する。

ＡＦ処理部４２は、コントラストＡＦ処理又は位相ＡＦ処理を行う部分である。コントラストＡＦ処理を行う場合には、所定のフォーカス領域内の画像データの高周波成分を積分して算出した、合焦状態を示すＡＦ評価値が極大となるように撮影レンズ１２内のフォーカスレンズを制御する。また、位相差ＡＦ処理を行う場合には、画像データのうちの所定のフォーカス領域内の主画素、副画素の画像データの位相差から求めたデフォーカス量が０になるように、撮影レンズ１２内のフォーカスレンズを制御する。

ＡＥ動作及びＡＦ動作が終了し、シャッタボタンの第２段階の押下（全押し）があると、その押下に応答してＡ／Ｄ変換器２１から出力される画像データが画像入力コントローラ２２からメモリ(SDRAM) ４８に入力され、一時的に記憶される。

メモリ４８への一時記憶後、デジタル信号処理部２４におけるＹＣ処理等の信号処理や圧縮伸張処理部２６でのJPEG (joint photographic experts group)形式への圧縮処理等を経て画像ファイルが生成され、その画像ファイルは、メディア・コントローラ５２により読み出されてメモリカード５４に記録される。メモリカード５４に記録された画像は、操作部３８の再生ボタンを操作することにより液晶モニタ３０で再生表示することができる。

［本発明における画像処理］
＜第１の実施形態＞
次に、本発明の第１の実施形態に係る画像処理について説明する。図２は、本発明に係る画像処理の第１の実施形態を示す模式図であり、ここでは図２の例のように、背景の前に人物が立っており背景をぼかし処理する場合について考える。図３はこのような場合の画像処理手順を示すフローチャートである。図３に示す画像処理の手順は、大きく分けて（１）フォーカスブラケット撮影（Ｓ１０６まで；図２(ａ)）、（２）距離画像作成（Ｓ１１６まで；図２(ｂ)〜(ｄ)）、（３）距離画像に基づくぼかし処理（Ｓ１１８まで；図２(ｅ)）、（４）ノイズ抽出（Ｓ１２０；図２(ｆ)）、（５）ノイズ付加（Ｓ１２２；図２(ｆ)）の５段階に分かれる。以下、各段階の処理について説明する。

（１）フォーカスブラケット撮影
処理を開始すると、Ｓ１００で、フォーカスブラケット撮影に含まれる所定の複数回数の撮影のそれぞれにおける焦点位置と基準焦点位置を決定し、Ｓ１０２でＣＰＵ４０がレンズ１２を移動させて最初の焦点位置に合焦させ、Ｓ１０４で撮影を行う。撮影が所定回数に達していない場合は（Ｓ１０６でｎｏ）、Ｓ１０２に戻ってレンズ１２を移動させ次の焦点位置に合焦させて撮影を繰り返す。撮影が所定回数に達したら（Ｓ１０６でｙｅｓ）、Ｓ１０８に進んで距離画像作成を行う。

（２）距離画像作成
Ｓ１０８では、Ｓ１０６までの撮影で得られた複数の画像のうち、Ｓ１００で決定した基準焦点位置での撮影画像を基準画像Ｉ_０に設定する。次いでＳ１１０へ進んで基準画像Ｉ_０以外の画像を非基準画像Ｉ_１として選択し、Ｓ１１２で非基準画像Ｉ_１の位置合わせを行う。このように位置合わせを行うのは、フォーカスブラケットの各撮影で撮影タイミングが微妙に異なり画角ずれが起きている場合があるためである。位置合わせは、まず基準画像Ｉ_０の特徴点を抽出し、非基準画像Ｉ_１において当該特徴点と対応する対応点を検出し、対応点が特徴点と重なるように非基準画像Ｉ_１を変形して変形画像Ｉ_１’を作成することにより行う。この処理を、非基準画像Ｉ_１全てについて行い（Ｓ１１４でｎｏの間）、位置合わせが終了したら（Ｓ１１４でｙｅｓ）Ｓ１１６へ進んで基準画像Ｉ_０および変形画像Ｉ_１’から距離画像Ｉ_２を生成する。

距離画像Ｉ_２の生成は種々の手法により行うことができ、例えば特開２０１０−２０７５８号公報に記載の方法を用いることができる。具体的には特開２０１０−２０７５８号公報において第１の実施形態として記載されているように、距離画像作成の基となる複数の画像に対して各画素の先鋭度を算出し、先鋭度が最大となる画像が複数の画像のうちいずれの画像に属するかを示す第１の参照値を画素毎に算出し、算出された第１の参照値をその周囲の画素の第１の参照値に基づいて空間平滑化して第２の参照値を算出し、算出された第２の参照値に基づいて、複数枚の画像のうちの少なくとも１枚を画像処理することで合焦分布を示す第２の参照値のつながりを平滑化することができる。これにより第２の参照値のマップ、すなわち距離画像を得ることができる。また特開２０１０−２０７５８号公報において第２の実施形態として記載されているように、第１の参照値を鮮鋭度最大の画像番号というスカラー量でなく、これに鮮鋭度を加えた２次元ベクトル（鮮鋭度ベクトル）として表現することにより、鮮鋭度の大きさも加味した上で平滑化を行って第２の参照値のマップ、すなわち距離画像を得るようにしてもよい。

なお図２(ｄ)の模式図では距離画像Ｉ_２を黒（手前側）と白（奥側）の２色で示しているが、距離画像Ｉ_２は必ずしも２値の画像に限られるものではない。

（３）ぼかし処理
Ｓ１１８では、Ｓ１１６までで作成した距離画像Ｉ_２に含まれる距離情報に基づいて、基準画像Ｉ_０のぼかし処理を行う。ぼかし処理には種々のフィルタを用いることができるが、ここでは以下の式１で表されるガウシアンフィルタを用いるものとする。

［数１］ ｆ(ｘ)＝(２πσ^２)^−１／２×ｅｘｐ（−ｘ^２／(２σ^２))
上式中、σがぼかし処理によるぼけ強調の度合を表し、σが小さいほどぼけ強調の度合が小さく、σが大きいほどぼけ強調の度合が大きくなる。なおガウシアンフィルタの適用においては、３×３、５×５等種々のサイズのカーネルを用いることができる。このようなガウシアンフィルタを適用し、距離情報に基づいて基準画像Ｉ_０をぼかし処理してぼけ画像Ｉ_０’を生成する。例えば、距離が近い画素はガウシアンフィルタのσを小さくしてぼけ強調の度合を小さくし、距離が遠い画素はσを大きくしてぼけ強調の度合いを大きくすることができる。

なおぼかし処理の際に、画像中でどの部分をどの程度ぼかしたかをぼかし情報として記録しておき、後述するノイズ付加（図３のＳ１２２及び図５のＳ３００〜Ｓ３０８）の際に用いる。このぼかし情報は各画素にどの程度の強度のぼかし量を加えたかを示すもので、ぼかし処理を上述の式で表されるガウシアンフィルタで行うものとすれば、式中のσをぼかし処理の度合と考えればよい。このσをぼかし情報として画素ごとに記録しておく。

Ｓ１１８までの処理により、基準画像Ｉ_０の背景部分はぼかし処理に用いるフィルタの特性（上記例ではガウシアンフィルタのσの大きさ）に応じてボケるが、このぼかし処理に伴い背景部分では元の基準画像Ｉ_０に含まれているノイズが低減される。一方で、ぼかし処理を行わない（あるいはぼかし処理の程度が弱い）人物領域のノイズは低減されない。本発明における画像処理では、ぼかし処理を行う領域と行わない領域との間のノイズの差を軽減するため、以下に述べるノイズ抽出及びノイズ付加を行う。

（４）ノイズ抽出
Ｓ１２０では、基準画像Ｉ_０（ぼかし処理の対象となる画像）からノイズ成分を抽出する。ノイズ成分の抽出は種々の手法により行うことができ、例えば、図４のフローチャートに示す手法で行うことができる。図４の例では、Ｓ２００で基準画像Ｉ_０に対し平滑化フィルタを適用した平滑化画像を生成し、Ｓ２０２で基準画像Ｉ_０と平滑化画像の差分を取って基準画像Ｉ_０における高周波成分を抽出する。この高周波成分からノイズ成分を抽出するには、高周波成分にはノイズ以外に真の信号も含まれることを考慮して高周波成分のうち値が小さいものをノイズと判断するようにしてもよいが、本実施の形態ではＳ２０６において、高周波成分に対してエッジ検出を行いその結果に基づいてノイズ抽出を行うようにしている。

具体的には、高周波成分からなる高周波画像の注目画素に対し、水平、垂直、右上斜め方向、左上斜め方向の各方向にＨＰＦ（ハイパスフィルタ）を掛ける。例えば、［−１：２：−１］の１次元フィルタを用いる。そして上記各方向のＨＰＦの出力値の絶対値Ｈｈ、Ｈｖ、Ｈｎｅ、Ｈｎｗのうち最も値が大きいものをＨｍａｘとする。
このＨｍａｘの大きさは、エッジの度合（各画素がエッジにどれだけ近いか）を表す。そしてこのＨｍａｘとしきい値ｈｐｆ_ｔｈ１を比較して、
（ａ）Ｈｍａｘ＞ｈｐｆ_ｔｈ１ならば注目画素はエッジ部に属する
（ｂ）Ｈｍａｘ≦ｈｐｆ_ｔｈ１ならば注目画素はノイズである
と判定し、基準画像Ｉ_０と同サイズのノイズ画像Ｉ_ｎを生成する。

（５）ノイズ付加
図４の例に示す処理によりノイズ画像Ｉ_ｎを生成すると、図３のＳ１２２において、生成したノイズをぼけ画像Ｉ_０’に付加する処理を行う。この際、ぼかし処理によりぼかされた領域にのみノイズを付加するようにする必要がある。そこで、上記ぼかし処理の際（図３のＳ１１８）に記録しておいたぼかし情報（ガウシアンフィルタのσ）を基にノイズを加えるようにする。

Ｓ１２２におけるノイズ付加処理の詳細を図５のフローチャートに示す。まずＳ３００でぼけ画像Ｉ_０’における処理画素（注目画素）を設定し、Ｓ３０２において、ぼかし処理の際に記録しておいたぼかし情報から、ぼけ画像Ｉ_０’における当該注目画素のぼけ強調度合σを読み込む。読み込んだσがしきい値sigma_th以上の場合は（Ｓ３０４でｙｅｓ）、その画素ではぼかし処理されたと同時にノイズも低減されているため、Ｓ３０６へ進んで生成したノイズ画像における対応画素の値（即ち、ノイズ量）を当該注目画素に付加してＳ３０８へ進む。Ｓ３０２で読み込んだσがしきい値sigma_th未満の場合は（Ｓ３０４でｎｏ）、ノイズを付加せずにＳ３０６へ進む。注目画素を別の画素に設定してこれらの処理を繰り返し（Ｓ３０８でｎｏの間）、全画素を処理したら（Ｓ３０８でｙｅｓ）ノイズ付加処理を終了する。これによりノイズ付加画像Ｉ_３が得られる。

なお、ノイズ付加の際には、上記読み込んだσの値に応じてノイズ加算量を可変にすることが好ましい。例えば注目画素の画素値をｐ、ノイズ量をｎとした場合、（ｐ＋α×ｎ）のように、σに依存する係数α（＝Ｇ(σ)）（α＝０．０〜１．０）をノイズｎに乗じて画素値とする。σとαの関係の例を図６に示す。

また上記画像処理においては、モード設定ダイヤルで設定した撮影感度に応じてぼけ画像に付加するノイズ量を調整するようにすることが好ましい。

このように第１の実施形態では、基準画像Ｉ_０から抽出したノイズをぼかし処理の強度σに応じてぼけ画像Ｉ_０’のぼかし処理領域に加えることで、ぼかし処理を行う領域と行わない領域との間のノイズ量の差を軽減して自然なボケ強調画像を作成できる。

＜第２の実施形態＞
次に、第２の実施形態に係る画像処理について説明する。図７は、本発明に係る画像処理の第２の実施形態を示す模式図であり、図２の例のように、背景の前に人物が立っており背景をぼかし処理する場合について考える。図８はこのような場合の画像処理手順を示すフローチャートであるが、図８に示す画像処理の手順のうちフォーカスブラケット撮影（Ｓ４０６まで；図７(ａ)）、距離画像作成（Ｓ４１６まで；図７(ｂ)〜(ｄ)）、及び距離画像に基づくぼかし処理（Ｓ４１８まで；図７(ｅ)）は第１の実施形態について上述した図３のフローチャートと同様であるので、その説明は省略する。以下、モデルノイズ計算（Ｓ４２０；図７(ｆ)）及びノイズ付加の処理（Ｓ４２２；図７(ｆ)）について詳細に説明する。上記第１の実施形態では基準画像からノイズを抽出しそれをぼかし処理画像に加えていたが、本第２の実施形態ではノイズ抽出を行わず、撮像装置１０におけるノイズ伝播モデルからノイズ量を推定してぼかし処理画像に加える。

（１）モデルノイズ計算
第２の実施形態でも第１の実施形態と同様に、ぼかし処理画像の注目画素のσがしきい値sigma_th以上であれば、そこはぼかし処理されたと同時にノイズも低減されていると考える。この条件を満たす場合、注目画素の値ｐに対してノイズｎを加算すればよい。

本第２の実施形態では、撮像装置１０におけるノイズの発生・伝播モデルからノイズの量ｎを推定する。一般的に、ＣＣＤ等のイメージセンサで発生するノイズの量は、フォトダイオードの受光量に依存しており、フォトダイオードの受光量は画像の画素値であるから、ノイズ量ｎを基準画像Ｉ_０の画素値ｖの関数と考える（ｎ(ｖ)）。ＣＣＤ等のイメージセンサで発生したノイズは、上記「撮像装置の構成」の項で説明した各種信号処理を受ける度にその特性を変えていくので、画素値ｖに対するノイズ量ｎ(ｖ)が信号処理後ｎ’(ｖ)になったものとする。

このようにして基準画像Ｉ_０の画素値によって推測されるノイズ量ｎ’(ｖ)を、ぼけ画像Ｉ_０’の注目画素ｐに加えてノイズ付加画像Ｉ_３を作成する。その際、（ｐ＋α×ｎ）のように、σに依存する係数α（＝Ｇ(σ)）（α＝０．０〜１．０）をノイズｎに乗じて画素値とすることが好ましい。

（２）ノイズ付加
Ｓ４２０までの処理によりノイズ画像Ｉ_ｎ’を生成すると、図８のＳ４２２において、生成したノイズをぼけ画像Ｉ_０’に付加する処理を行う。この処理を図９のフローチャートに示す。図９のフローチャートの処理Ｓ５００〜Ｓ５０４、Ｓ５０８の処理は図５に示すフローチャートのＳ３００〜Ｓ３０４、Ｓ３０８と同様であるので詳細な説明は省略する。Ｓ５０４までのステップでσがしきい値sigma_th以上であると判断されると、Ｓ５０６へ進んでモデルにより推定したノイズを当該注目画素に付加してＳ５０８へ進む。Ｓ５０２で読み込んだσがしきい値sigma_th未満の場合は（Ｓ５０４でｎｏ）、ノイズを付加せずにＳ５０６へ進む。注目画素を別の画素に設定してこれらの処理を繰り返し（Ｓ５０８でｎｏの間）、全画素を処理したら（Ｓ５０８でｙｅｓ）ノイズ付加処理を終了する。これによりノイズ付加画像Ｉ_３が得られる。

上述した第２の実施形態では、モデルに基づいてノイズを推定しそのノイズを加えることで、第１の実施形態と同様にぼかし処理に起因するノイズ量の差を軽減し自然なぼけ強調画像を作成することができる。またノイズ伝播に基づいたモデルノイズを使用するためノイズ抽出をする必要がなく、処理が簡易で高速に処理できる。なお第２の実施形態においても第１の実施形態と同様に、モード設定ダイヤルで設定した撮影感度に応じてぼけ画像に付加するノイズ量を調整するようにすることが好ましい。

＜第３の実施形態＞
次に、本発明の第３の実施形態に係る画像処理について説明する。図１０は、本発明に係る画像処理の第３の実施形態を示す模式図であり、第１、第２の実施形態と同様に、背景の前に人物が立っており背景をぼかし処理する場合について考える。図１１はこのような場合の画像処理手順を示すフローチャートである。図１１に示すフローチャートのうちフォーカスブラケット処理（Ｓ６００〜Ｓ６０６；図１０(ａ)）及び距離画像生成処理（Ｓ６０８〜Ｓ６１６；図１０(ｂ)〜(ｄ)）は、図３に示す第１の実施形態に係るフローチャートのフォーカスブラケット処理（Ｓ１００〜Ｓ１０６）及び距離画像生成処理（Ｓ１０８〜Ｓ１１６）と同様なので詳細な説明は省略し、第３の実施形態特有の処理である平坦部検出（Ｓ６１８；図１０(ｅ)）及びこれに基づくボケ強調処理（Ｓ６２０：図１０(ｆ)）について説明する。

本発明が解決しようとする課題であるノイズ量の差は、特に平坦部で視覚的に目立つ。またそもそも、平坦部についてはぼけ強調をしてもしなくても、見た目に大きな差がないため画質的な影響は少ない。そこで第３の実施形態では、平坦部に対してはぼけ強調を行わないか、あるいはボケ強調度合を弱めることによって、平坦部におけるノイズ量のムラを低減する。なお第３の実施形態は、第１、第２の実施形態に係る画像処理方法のようにノイズそのものを加えるのではなく、画像の各部分の特性に応じてぼかし量の設定を変更することでぼかし処理に伴うノイズの低減度合を調整し、結果として生成されたぼけ強調画像でノイズが一様になるようにしている点が特徴である。

（１）平坦部検出
Ｓ６１８では、基準画像に対して平坦部を検出する。平坦部検出は様々な手法があるが、ここでは画素値の分散値Ｖａｒによって平坦部の度合を測る。注目画素を中心とする所定サイズの演算ウインドウを設け、ウインドウ内の全ての画素の画素値に基づいて、分散Ｖａｒを算出する。分散が小さければ平坦部であり、大きければエッジ部である。

（２）ボケ強調処理
Ｓ６２０では、平坦部検出結果に基づいたぼけ強調処理を行う。基準画像の所定画素を注目画素としたとき、平坦部検出を加味しない場合に距離画像から決まる注目画素のボケ強調強度をσ１とする。これに対し、注目画素の平坦度合（分散Ｖａｒ）に基づいた係数β(Ｖａｒ)（β＝０．０〜１．０）を乗算し、最終的にボケ強調強度σ２を計算する。σ２＝β(Ｖａｒ)×σ１である。

β(Ｖａｒ)の例を図１２に示す。この例ではＶａｒが小さいとき、即ち平坦部ではβが小さく、最終的なボケ強調強度σ２が大きくならないようになっている。一方Ｖａｒが大きいとき、即ちエッジ部であるときはβが大きく、最終的なボケ強調強度σ２が大きくなるようになっている。

上述のように第３の実施形態に係る画像処理方法では平坦度に応じてぼかし量を設定するようにしているため、ノイズ量が一様で自然なぼけ強調画像を得ることができる。また、第１、第２の実施形態のようなノイズの抽出／推定や付加の処理が不要で、処理が簡易で高速に処理できる。なお第３の実施形態においても第１及び第２の実施形態と同様に、モード設定ダイヤルで設定した撮影感度に応じてぼけ画像に付加するノイズ量を調整するようにすることが好ましい。

＜第４の実施形態＞
次に、本発明の第４の実施形態に係る画像処理について説明する。図１３は、本発明に係る画像処理の第４の実施形態を示す模式図であり、第１〜第３の実施形態と同様に、背景の前に人物が立っており背景をぼかし処理する場合について考える。図１４はこのような場合の画像処理手順を示すフローチャートである。図１４に示すフローチャートのうちフォーカスブラケット処理（Ｓ７００〜Ｓ７０６）及び距離画像生成処理（Ｓ７０８〜Ｓ７１６）は、図３に示す第１の実施形態に係るフローチャートのフォーカスブラケット処理（Ｓ１００〜Ｓ１０６）及び距離画像生成処理（Ｓ１０８〜Ｓ１１６）と同様なので詳細な説明は省略し、第４の実施形態特有の処理である差分処理（図１１のＳ７２０）及び差分画像に基づく画像合成処理（Ｓ７２２）について説明する。

（１）差分処理
まず、Ｓ７２０において、基準画像Ｉ_０とぼけ強調画像Ｉ_０’とで画素ごとに差分値（の絶対値）を計算し、差分画像Ｉ_４を得る。差分値（の絶対値）が大きいということは、ボケ強調処理によって大きくぼけ強調されている部分であり、ノイズが大きく低減している部分である。一方差分値が小さいところは、ぼけ強調をしていないか、あるいはその程度が弱い領域である。これに加えて、平坦部分についても差分値が小さくなる。これらの部分についてはノイズがそれほど低減していない部分である。

（２）画像合成処理
続いてＳ７２２で、Ｓ７２０での差分処理の結果得られる差分値に基づいて、基準画像Ｉ_０とぼけ強調画像Ｉ_０’とを合成する。ノイズ量の差は、特に平坦部で視覚的に目立つため、平坦部については基準画像に重きを置いて合成することが好ましい。そこで、ぼけ強調していない領域及び平坦部で差分値が小さいという特性を利用し、差分値の大小に基づいて画素ごとに基準画像とぼけ強調画像とのブレンド率（合成の重み）を変更する。

基準画像の画素値をｐ(ｘ，ｙ)、ぼけ強調画像の画素値をｑ(ｘ，ｙ)、差分値をｄ(ｘ，ｙ)、合成画像の画素値をｒ(ｘ，ｙ)としたとき、以下の式２により合成して合成画像Ｉ_３を生成する。

［数２］ ｒ(ｘ，ｙ)＝ｗ(ｄ(ｘ，ｙ))×ｐ(ｘ，ｙ)＋［１−ｗ(ｄ(ｘ，ｙ))］×ｑ(ｘ，ｙ)
ここでｗ(ｄ)は差分値ｄに依存したブレンド率（重み）であり、例えば図１５のような特性とすることができる。図１５では、差分値の中間部分（グラフが右下がりの部分）では差分値ｄが大きくなるほど重みｗが小さくなっており、それ以外の部分ではｄの値によらずｗの値は一定である。ただしｄとｗの関係は図１５の例に限定されるものではない。

本第４の実施形態に係る画像処理では、第１及び第２の実施形態に係る画像処理のように、生成したぼかし処理画像にノイズを付加することでノイズが一様になるようにするのではなく、ある程度のノイズが含まれる基準画像とノイズが低減されたぼけ画像とを重みづけ加算することで、合成画像においてノイズが一様になるようにしている。これにより第４の態様に係る画像処理では、ぼかし処理を加えた部分とそうでない部分とのノイズ量の差を軽減し、自然なぼけ強調画像を作成することができる。また、第１、第２の実施形態のようなノイズの抽出／推定や付加の処理が不要で、処理が簡易で高速に処理できる。

なお第４の実施形態においても第１乃至第３の実施形態と同様に、モード設定ダイヤルで設定した撮影感度に応じてぼけ画像に付加するノイズ量を調整するようにすることが好ましい。

上述した第１乃至第４の実施形態では、ぼかし処理やノイズ抽出・推定・付加等の処理を画素ごとに行っているが、これらの処理は領域や領域を構成する部分単位、あるいは複数画素からなる画素ブロック単位で行うようにしてもよい。

また上述した第１乃至第４の実施形態では、画像処理を行う装置を撮像装置１０として説明していたが、本発明に係る画像処理は撮像装置での実行に限定されるものではなく、カメラ付携帯電話やパーソナルコンピュータ（ＰＣ）等において実行することが可能である。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０…撮像装置、３０…液晶モニタ、３８…操作部、４０…ＣＰＵ、４６…ＥＥＰＲＯＭ、４８…メモリ、５４…メモリカード、Ｉ_０…基準画像、Ｉ_０’ …ぼけ画像、Ｉ_１…非基準画像、Ｉ_２…距離画像、Ｉ_３…ノイズ付加画像、Ｉ_ｎ、Ｉ_ｎ’ …ノイズ画像

Claims (32)

1. 被写体の基準画像を取得する基準画像取得手段と、
   前記取得した基準画像の内のぼかし対象領域にぼかし処理フィルタを適用するぼかし処理手段と、
   前記ぼかし処理されたぼかし対象領域に付加するノイズ量を決定するノイズ量決定手段と、
   前記ぼかし処理されたぼかし対象領域に前記決定した量のノイズを付加するノイズ付加手段と、
   を含み、
   前記ノイズ量決定手段は、前記ぼかし対象領域に対して前記ぼかし処理フィルタによるぼかし量に応じたノイズ量を決定し、
   前記ノイズ付加手段は、前記決定した量のノイズを前記ぼかし対象領域に対して付加する、
   画像処理装置。
2. 前記ノイズ付加手段は、前記ぼかし対象領域におけるぼかし量がしきい値以上である画素にノイズを付加する、
   請求項１に記載の画像処理装置。
3. 前記取得した基準画像と前記基準画像以外の画像とから距離画像を作成する距離画像作成手段をさらに含み、
   前記ぼかし処理フィルタは、前記作成した距離画像から得られる被写体距離に応じたぼかし量でぼかし処理を行う、
   請求項１または２に記載の画像処理装置。
4. 前記ノイズ量決定手段は、前記基準画像の撮影感度に応じたノイズ量を決定し、
   前記ノイズ付加手段は、前記撮影感度に応じて決定した量のノイズを付加する、請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記取得した基準画像からノイズを抽出するノイズ抽出手段をさらに含み、
   前記ノイズ量決定手段は、前記ぼかし対象領域に対して、前記抽出したノイズを用いて前記ノイズ量を決定する、
   請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記ノイズ量決定手段は、前記ぼかし処理フィルタによるぼかし量に応じた係数を前記抽出したノイズに乗じて前記ぼかし対象領域に対するノイズ量を決定する、
   請求項５に記載の画像処理装置。
7. 前記取得した基準画像の撮影条件から当該基準画像のノイズ量を推定するノイズ量推定手段をさらに含み、
   前記ノイズ量決定手段は、前記ぼかし対象領域に対して、前記推定したノイズを用いて前記ノイズ量を決定する、
   請求項１から４のいずれか１項に記載の画像処理装置。
8. 前記ノイズ量決定手段は、前記ぼかし処理フィルタによるぼかし量に応じた係数を前記推定したノイズ量に乗じて前記ぼかし対象領域に対するノイズ量を決定する、請求項７に記載の画像処理装置。
9. 前記撮影条件は前記取得した基準画像の画素値である、請求項７または８に記載の画像処理装置。
10. 被写体の基準画像を取得する基準画像取得手段と、
    前記取得した基準画像における平坦度を検出する平坦度検出手段と、
    前記検出した平坦度に応じて前記基準画像の内のぼかし対象領域におけるぼかし量を設定するぼかし量設定手段と、
    前記ぼかし対象領域が前記設定したぼかし量分ぼかされるよう処理するぼかし処理手段と、
    を含む、
    画像処理装置。
11. 前記ぼかし量設定手段は、前記基準画像における平坦度を考慮しない場合のぼかし量に前記検出した平坦度に応じた係数を乗じて前記ぼかし量を設定する、請求項１０に記載の画像処理装置。
12. 前記基準画像の撮影感度に応じたノイズ量を決定するノイズ量決定手段と、
    前記撮影感度に応じて決定した量のノイズを付加する前記ノイズ付加手段と、
    をさらに含む、請求項１０または１１に記載の画像処理装置。
13. 被写体の基準画像を取得する基準画像取得手段と、
    前記基準画像に対するぼかし量を設定するぼかし量設定手段と、
    前記取得した基準画像に対して前記設定したぼかし量でぼかし処理フィルタを適用してぼけ画像を生成するぼけ画像生成手段であって、前記ぼかし処理フィルタの特性に依存してノイズが低減されたぼけ画像を生成するぼけ画像生成手段と、
    前記取得した基準画像に対して、前記取得した基準画像と前記生成したぼけ画像との差分値を算出する差分算出手段と、
    前記算出した差分値に応じて、前記基準画像と前記ぼけ画像とを重みづけ加算して合成画像を生成する合成画像生成手段と、
    を含む画像処理装置。
14. 前記合成画像生成手段は、前記算出した差分値が所定の範囲にある場合は、
    前記差分値が小さいほど前記基準画像に対する重みを大きく設定すると共に前記ぼけ画像に対する重みを小さく設定し、
    前記差分値が大きいほど前記基準画像に対する重みを小さく設定すると共に前記ぼけ画像に対する重みを大きく設定する、
    請求項１３に記載の画像処理装置。
15. 前記ノイズ量決定手段は、前記基準画像の撮影感度に応じたノイズ量を決定し、
    前記ノイズ付加手段は、前記撮影感度に応じて決定したノイズを付加する、請求項１３または１４に記載の画像処理装置。
16. 被写体の基準画像を取得する基準画像取得ステップと、
    前記取得した基準画像の内のぼかし対象領域にぼかし処理フィルタを適用するぼかし処理ステップと、
    前記ぼかし処理されたぼかし対象領域に付加するノイズ量を決定するノイズ量決定ステップと、
    前記ぼかし処理されたぼかし対象領域に前記決定した量のノイズを付加するノイズ付加ステップと、
    を含み、
    前記ノイズ量決定ステップでは、前記ぼかし対象領域に対して前記ぼかし処理フィルタによるぼかし量に応じたノイズ量を決定し、
    前記ノイズ付加ステップでは、前記決定した量のノイズを前記ぼかし対象領域に対して付加する、
    画像処理方法。
17. 前記ノイズ付加ステップでは、前記ぼかし対象領域におけるぼかし量がしきい値以上である画素にノイズを付加する、
    請求項１６に記載の画像処理方法。
18. 前記取得した基準画像と前記基準画像以外の画像とから距離画像を作成する距離画像作成ステップをさらに含み、
    前記ぼかし処理フィルタは、前記作成した距離画像から得られる被写体距離に応じたぼかし量でぼかし処理を行う、
    請求項１６または１７に記載の画像処理方法。
19. 前記基準画像の撮影感度に応じたノイズ量を決定するノイズ量決定ステップと、
    前記撮影感度に応じて決定した量のノイズを付加するノイズ付加ステップと、
    をさらに含む、請求項１６から１８のいずれか１項に記載の画像処理方法。
20. 前記取得した基準画像からノイズを抽出するノイズ抽出ステップをさらに含み、
    前記ノイズ量決定ステップでは、前記ぼかし対象領域に対して、前記抽出したノイズを用いて前記ノイズ量を決定する、
    請求項１６から１９のいずれか１項に記載の画像処理方法。
21. 前記ノイズ量決定ステップでは、前記ぼかし処理フィルタによるぼかし量に応じた係数を前記抽出したノイズに乗じて前記ぼかし対象領域に対するノイズ量を決定する、
    請求項２０に記載の画像処理方法。
22. 前記取得した基準画像の撮影条件から当該基準画像のノイズ量を推定するノイズ量推定ステップをさらに含み、
    前記ノイズ量決定ステップでは、前記ぼかし対象領域に対して、前記推定したノイズを用いて前記ノイズ量を決定する、
    請求項１６から１９のいずれか１項に記載の画像処理方法。
23. 前記ノイズ量決定ステップでは、前記ぼかし処理フィルタによるぼかし量に応じた係数を前記推定したノイズ量に乗じて前記ぼかし対象領域に対するノイズ量を決定する、請求項２２に記載の画像処理方法。
24. 前記撮影条件は前記取得した基準画像の画素値である、請求項２２または２３に記載の画像処理方法。
25. 被写体の基準画像を取得する基準画像取得ステップと、
    前記取得した基準画像における平坦度を検出する平坦度検出ステップと、
    前記検出した平坦度に応じて前記基準画像の内のぼかし対象領域におけるぼかし量を設定するぼかし量設定ステップと、
    前記ぼかし対象領域が前記設定したぼかし量分ぼかされるよう処理するぼかし処理ステップと、
    を含む、
    画像処理方法。
26. 前記ぼかし量設定ステップでは、前記基準画像における平坦度を考慮しない場合のぼかし量に前記検出した平坦度に応じた係数を乗じて前記ぼかし量を設定する、請求項２５に記載の画像処理方法。
27. 前記基準画像の撮影感度に応じたノイズ量を決定するノイズ量決定ステップと、
    前記撮影感度に応じて決定した量のノイズを付加するノイズ付加ステップと、
    をさらに含む、請求項２５または２６に記載の画像処理方法。
28. 被写体の基準画像を取得する基準画像取得ステップと、
    前記基準画像に対するぼかし量を設定するぼかし量設定ステップと、
    前記取得した基準画像に対して前記設定したぼかし量でぼかし処理フィルタを適用してぼけ画像を生成するぼけ画像生成ステップであって、前記ぼかし処理フィルタの特性に依存してノイズが低減されたぼけ画像を生成するぼけ画像生成ステップと、
    前記取得した基準画像に対して、前記取得した基準画像と前記生成したぼけ画像との差分値を算出する差分算出ステップと、
    前記算出した差分値に応じて、前記基準画像と前記ぼけ画像とを重みづけ加算して合成画像を生成する合成画像生成ステップと、
    を含む画像処理方法。
29. 前記合成画像生成ステップでは、前記算出した差分値が所定の範囲にある場合は、
    前記差分値が小さいほど前記基準画像に対する重みを大きく設定すると共に前記ぼけ画像に対する重みを小さく設定し、
    前記差分値が大きいほど前記基準画像に対する重みを小さく設定すると共に前記ぼけ画像に対する重みを大きく設定する、
    請求項２８に記載の画像処理方法。
30. 前記基準画像の撮影感度に応じたノイズ量を決定するノイズ量決定ステップと、
    前記撮影感度に応じて決定した量のノイズを付加するノイズ付加ステップと、
    をさらに含む、請求項２８または２９に記載の画像処理方法。
31. 請求項１６から３０のいずれか１項に記載の画像処理方法を画像処理装置に実行させる画像処理プログラム。
32. 請求項１６から３０のいずれか１項に記載の画像処理方法を画像処理装置に実行させるプログラムの、コンピュータ読み取り可能なコードが記録された記録媒体。