JP6472183B2 - 画像処理装置、その制御方法、プログラム - Google Patents

Description

本発明は、撮影された画像データの背景領域にぼけ効果を付与するとともに、被写体人物の肌領域をぼかして平滑化する技術に関する。

従来、デジタルカメラやデジタルビデオカメラなどの撮像装置が備える機能として、撮影された画像の背景領域に対して疑似的にぼかし効果を与える機能がある。

一般に、一眼レフカメラのように撮像素子が大きい撮像装置であれば、絞りを開いて焦点距離を長くすることで、被写界深度が浅くなり、合焦している被写体以外の背景をぼかした画像を撮影することが比較的容易である。一方、コンパクトデジタルカメラなどの撮像素子が小さい撮像装置では、上記の方法を用いたとしても、被写界深度が深くなる傾向にあるため、背景をぼかした画像を撮影することが困難である。

上記問題を鑑みて、撮影された画像の被写体領域と背景領域の判別を行い、背景領域に対してぼかし処理を施すことで、撮像素子の小さい撮像装置であっても、背景がぼけた画像を取得することを可能とした技術が提案されている。

また、被写体人物の肌領域に対して画像処理を行い、肌を滑らかにすることで美肌効果を与える機能がある。例えば、特許文献１には、被写体人物の肌領域の検出を行い、その領域にぼかし処理を施して平滑化する手法が開示されている。この機能により、被写体人物の顔の皺やシミなどを見えなくさせることを可能としている。

特開２００４−３０３１９３号公報

画像の背景領域をぼかす技術と、被写体人物の肌領域にぼかし処理を施して平滑化することで美肌効果を与える技術とを１枚の撮影画像に対して同時に用いた場合、以下に述べるような問題があった。

被写体人物の肌領域にぼかし処理を行うことにより、ぼかし処理前と比較して被写体人物の顔は相対的にぼけた印象になる。特に、背景領域のぼかし量よりも、被写体人物の肌領域のぼかし量が大きくなった場合に、被写体人物にピントが合っていない印象を与えてしまうという問題があった。

本発明の目的は、被写体人物にピントが合っていない印象を与えることなく、画像における背景領域のぼかし処理と被写体人物の肌領域のぼかし処理を同時に行うことにある。

本発明に係る画像処理装置は、画像を取得する画像取得手段と、前記画像における被写体人物の肌領域と背景領域のそれぞれに対してぼかし処理を行うぼかし処理手段と、前記ぼかし処理のぼかし量を領域ごとに制御する制御手段と、を備え、前記制御手段は、前記画像の撮像条件ごとに用意される、前記被写体人物の肌領域と背景領域のぼかし量の関係を定義する情報に基づき、前記被写体人物の肌領域のぼかし量が前記背景領域のぼかし量以下となるように、ぼかし量を制御することを特徴とする画像処理装置である。

本発明によれば、画像における背景領域のぼかし処理と被写体人物の肌領域のぼかし処理をともに行う画像処理において、被写体人物にピントが合っていない印象を与えない好適な画像を得る事が出来る。

本発明の実施形態に係る画像処理装置の構成例を示すブロック図である。 肌領域平滑化処理部の構成例を示すブロック図である。 背景ぼかし処理部の構成例を示すブロック図である。 肌領域平滑化処理部と背景ぼかし処理部における処理フローを示す図である。 原画像の顔範囲の検出の例を示す図である。 原画像の肌領域検出処理の例を示す図である。 背景領域検出処理における処理フローを示す図である。 ぼけ付加パラメータと最低ぼけ付加パラメータを求めるテーブルを示す図である。 最大平滑化パラメータを求めるテーブルを示す図である。

図面を参照して、本発明の実施形態にかかる画像処理装置について詳細に説明する。以下の説明において、本発明の画像処理装置をデジタルカメラに適用した例を用いて説明するが、これに限定されない。

（第１の実施形態）
図１から図８を参照して、第１の実施形態にかかる画像処理装置１００を説明する。

図１は、画像処理装置１００の構成例を示す図である。

画像処理装置１００は、撮影レンズ１０１、絞り機能を備える機械式シャッター１０２、光学像を電気信号に変換する撮像素子１０３、撮像素子１０３のアナログ信号出力をデジタル信号に変換するＡ／Ｄ変換器１０４を備えている。

また、画像処理装置１００は、撮影により画像取得する撮像素子１０３とＡ／Ｄ変換器１０４にクロック信号や制御信号を供給するタイミング発生回路１０５を備え、タイミング発生回路１０５は、メモリ制御回路１０６及びシステム制御回路１０７によって制御される。機械式シャッター１０２以外にも、タイミング発生回路１０５の撮像素子１０３のリセットタイミングの制御によって、電子シャッターとして蓄積時間を制御することが可能であり、動画撮影などに使用可能である。

画像処理回路１０８は、Ａ／Ｄ変換器１０４からのデータ或いはメモリ制御回路１０６からのデータに対して、所定の画素補間処理や色変換処理を行う。また画像処理回路１０８は、画像の切り出し、変倍処理を行うことで電子ズーム機能を実現する。

さらに、画像処理回路１０８は、撮像した画像データを用いて所定の演算処理を行う。得られた演算結果に基づいて、システム制御回路１０７は、露光制御手段１１３、測距制御手段１１４に対して制御して、ＴＴＬ方式のＡＦ処理、ＡＥ処理、ＥＦ処理を行う。さらにまた、画像処理回路１０８は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいて、ＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行う。

メモリ制御回路１０６は、Ａ／Ｄ変換器１０４、タイミング発生回路１０５、画像処理回路１０８、メモリ１０９、圧縮・伸長回路１１２を制御する。Ａ／Ｄ変換器１０４から出力されたデータは、画像処理回路１０８とメモリ制御回路１０６を介して、或いは直接メモリ制御回路１０６を介して、メモリ１０９に書き込まれる。

ＬＣＤ等から成る画像表示部１１０は、メモリ制御回路１０６を介してメモリ１０９に書き込まれた表示用の画像データを表示する。画像表示部１１０に撮像した画像データを逐次表示すれば、画像表示部１１０は電子ファインダーとして機能する。画像表示部１１０は、システム制御回路１０７の指示により表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合には画像処理装置１００の電力消費を大幅に低減することが出来る。

静止画像や動画像を格納するためのメモリ１０９は、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ１０９に対して行うことが可能となる。また、メモリ１０９はシステム制御回路１０７の作業領域としても使用することが可能である。

ＦｌａｓｈＲＯＭ等で構成された不揮発性メモリ１１１には、システム制御回路１０７が実行するプログラムコードが書き込まれ、逐次読み出しながらプログラムコードを実行する。また、不揮発性メモリ１１１内にはシステム情報を記憶する領域やユーザー設定情報を記憶する領域を設け、さまざまな情報や設定を次回起動時に読み出して復元することを実現している。

適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する圧縮・伸長回路１１２は、メモリ１０９に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ１０９に書き込む。

絞り機能を備えるシャッター１０２を制御する露光制御手段１１３は、フラッシュ１１６と連動することによりフラッシュ調光機能も有するものである。

撮影レンズ１０１のフォーカシングを制御する測距制御手段１１４、撮影レンズ１０１のズーミングを制御するズーム制御手段１１５が備えられている。

フラッシュ１１６は、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。露光制御手段１１３、測距制御手段１１４はＴＴＬ方式を用いて制御されており、撮像した画像データを画像処理回路１０８によって演算した演算結果に基づき、システム制御回路１０７が露光制御手段１１３、測距制御手段１１４に対して制御を行う。

システム制御回路１０７は、画像処理装置１００全体を制御する。

モードダイアル１１８、シャッタースイッチＳＷ（１）１１９、シャッタースイッチＳＷ（２）１２０、表示切替スイッチ１２１、操作部１２２及びズームスイッチ１２３は、システム制御回路１０７の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。

ここで、これらの操作手段の具体的な説明を行う。

モードダイアルスイッチ１１８は、電源オフ、自動撮影モード、撮影モード、ＨＤＲ撮影モード、パノラマ撮影モード、動画撮影モード、再生モード、ＰＣ接続モード等の各機能モードを切り替え設定することが出来る。

シャッタースイッチＳＷ（１）１１９を操作することで、シャッターボタンの操作途中でＯＮとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＥＢ（オートホワイトバランス）処理等の動作開始を指示する。

シャッタースイッチＳＷ（２）１２０を操作することで、シャッターボタンの操作完了でＯＮとなる。フラッシュ撮影の場合、ＥＦ（フラッシュプリ発光）処理を行った後に、ＡＥ処理で決定された露光時間分、撮像素子１０３を露光させる。フラッシュ撮影の場合、この露光期間中に発光させて、露光期間終了と同時に露光制御手段１１３により遮光することで、撮像素子１０３への露光を終了させる。

撮像素子１０３から読み出した信号をＡ／Ｄ変換器１０４、メモリ制御回路１０６を介してメモリ１０９に画像データを書き込む読み出し処理、画像処理回路１０８やメモリ制御回路１０６での演算を用いた現像処理、メモリ１０９から画像データを読み出し、圧縮・伸長回路１１２で圧縮を行う。次に記録媒体２００に画像データを書き込む記録処理という一連の処理の動作開始を指示する。

表示切替スイッチ１２１で、画像表示部１１０の表示切替をすることが出来る。この機能により、光学ファインダー１０４を用いて撮影を行う際に、ＬＣＤ等から成る画像表示部への電流供給を遮断することにより、省電力を図ることが可能となる。

各種ボタン、タッチパネルや回転式ダイアル等からなる操作部１２２には、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン等がある。また、操作部１２２は、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等も有している。

ズームスイッチ１２３は、ユーザーが撮像画像の倍率変更指示を行うズーム操作手段である。このズームスイッチ１２３は、撮像画角を望遠側に変更させるテレスイッチと、広角側に変更させるワイドスイッチから構成される。このズームスイッチ１２３を用いることにより、ズーム制御手段１１５に撮影レンズ１０１の撮像画角の変更を指示し、光学ズーム操作を行うトリガとなる。また、画像処理回路１０８による画像の切り出しや、画素補間処理などによる撮像画角の電子的なズーミング変更のトリガともなる。

電源手段１１７は、アルカリ電池の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉイオン電池等の二次電池、ＡＣアダプター等からなる電源である。

Ｉ／Ｆ１２４は、メモリカードやハードディスク等の記録媒体とのインタフェースであり、コネクタ１２５によりメモリカードやハードディスク等の記録媒体と接続を行う。

光学ファインダー１２６を用いることで、画像表示部１１０による電子ファインダー機能を使用すること無しに、撮影を行うことが可能である。

通信手段１２７は、ＵＳＢ、ＩＥＥＥ１３９４、ＬＡＮ、無線通信等の各種通信機能を有する。

コネクタ（アンテナ）１２８は、通信手段１２７により画像処理装置１００を他の機器と接続するコネクタ或いは無線通信の場合はアンテナである。

記録媒体１２９は、メモリカードやハードディスク等の記録媒体である。画像処理装置１００との接続を行うコネクタ１３０、画像処理装置１００とのインタフェース１３１、メモリカードやハードディスク等の記録媒体の記録部１３２である。

上述の画像処理回路１０８は、図２に示す、被写体人物の肌領域の平滑化処理を行う肌領域平滑化処理部２００と、図３に示す、画像の背景領域にぼかし処理を行う背景ぼかし処理部３００を備えている。

以下、図２を参照して、肌領域平滑化処理部２００の構成について説明する。肌領域平滑化処理部２００は肌領域検出部２０１を備えており、この肌領域検出部２０１は、顔範囲検出部２０２、肌色検出部２０３、肌領域検出部２０４から構成される。肌領域平滑化処理部２００は、さらに、平滑化度制御部２０５、平滑化処理部２０６、肌領域平滑化画像合成部２０７を備えている。

以下、図３を参照して、背景ぼかし処理部３００の構成について説明する。背景ぼかし処理部３００は領域検出部３０１を備えており、この領域検出部３０１はエッジ検出部３０２、エリア分割部３０３、エッジ積分部３０４、領域判定部３０５を備える。背景ぼかし処理部３００は、さらに背景ぼかし度制御部３０６、背景ぼかし処理部３０７、背景ぼかし画像合成部３０８を備えている。

次に、肌領域平滑化処理部２００と背景ぼかし処理部３００における処理内容について、詳しく説明する。図４は、本実施形態の肌領域平滑化処理部２００と背景ぼかし処理部３００における処理全体のフローを示しており、肌領域平滑化処理部２００と背景ぼかし処理部３００が備える各処理部によって実行される。

また、図４の原画像１と原画像２は、肌領域平滑化処理部２００と、背景ぼかし処理部３００に対して入力される画像データである。原画像１は被写体人物に合焦して撮像された画像データであり、原画像２は原画像１の状態から背景側に合焦して撮像された画像データである。

以下、肌領域平滑化処理部２００の処理について説明する。肌領域平滑化処理部２００は入力された原画像１に対し、被写体人物の肌領域に平滑化処理を行う。ここで肌領域の平滑化処理とはぼかし処理であり、以下では平滑化処理と称して説明する。

肌領域検出部２０１が実行する顔範囲の検出方法について説明する。顔範囲検出処理Ｓ４００において、顔範囲検出部２０２は、図５に示す原画像１の顔範囲９を検出する。まず、顔範囲検出部２０２は、原画像１の画像データに水平方向バンドパスフィルタを作用させる。次に、顔範囲検出部２０２は処理された画像データに垂直方向バンドパスフィルタを作用させる。これら水平方向及び垂直方向のバンドパスフィルタにより、原画像１の画像データからエッジ成分を検出する。

その後、顔範囲検出部２０２は、検出されたエッジ成分に関してパターンマッチングを行い、目、鼻、口、耳などの顔パーツに関する候補群を抽出する。そして、顔範囲検出部２０２は、抽出された目の候補群の中から、予め設定された条件（例えば２つの目の距離、傾き等）を満たすものを、目の対と判断し、目の対があるもののみ目の候補群として絞り込む。そして、顔範囲検出部２０２は、絞り込まれた目の候補群とそれに対応する顔を形成する他のパーツ（鼻、口、耳）を対応付け、また、予め設定した非顔条件フィルタを通すことで、顔範囲９を検出する。

なお、顔範囲の検出は上記に限らず、他の検出手段で行っても良い。例えば、顔範囲をユーザーが手動で選択することで、顔範囲の検出が行われても良い。

次に、肌色検出処理Ｓ４０１において、肌色検出部２０３は顔範囲９に含まれる画像情報に基づき、被写体人物の肌の明るさと色の度合い（以下、肌色成分と称す）を決定する。肌色成分は、たとえば、顔範囲９の範囲内における色相、彩度、明度といった成分の平均値を用いることができる。なお、肌色成分を決定する方法は、上記に限らず、顔範囲内の目や鼻といった被写体人物の肌以外の領域を除いた範囲に限定して肌色情報を決定しても良い。また、肌の色や明るさの成分のヒストグラムを生成し、所定の閾値を超える成分を抽出して肌色成分を決定しても良い。

肌領域検出処理Ｓ４０２において、肌領域検出部２０４は、上述の肌色成分に基づき原画像１の被写体人物の肌に相当する領域を検出し、肌領域検出画像３を生成する。肌領域検出画像３は、画素値が原画像１における色相、彩度、明度などの成分と、上述の肌色成分との近さによって決まる画像である。本実施形態では、肌領域検出画像３は、上述の肌色成分に最も近い画素が最大の画素値をとる画像とする。

以下、原画像１の平滑化処理について説明する。平滑化処理Ｓ４０３において、平滑化度制御部２０５は、平滑化処理の度合いを示すパラメータ（以下、平滑化パラメータと称す）をユーザーの設定により決定する。そして、平滑化処理部２０６は、前記平滑化パラメータに基づいた原画像１の平滑化処理を行い、平滑化画像４を生成する。ここで、平滑化処理はぼかし処理であり、平滑化パラメータはぼかし処理のぼかし量の大きさを示すパラメータである。

平滑化処理部２０６は、原画像１に対して、フィルタリング処理を行う。フィルタリング処理は、画像の平滑化を行うものであれば良く、その例として、移動平均フィルタや加重平均フィルタを用いて行う。また、その平滑化の度合いは上述の平滑化パラメータに基づいて決まり、フィルタリング処理のタップ数を増やすなどにより平滑化効果の度合いを変更する。

なお、原画像１の平滑化処理の方法はこれに限定されず、画像データのリサイズによる平滑化など、他の方法を用いても良い。

また、本実施形態では、ユーザーの設定により平滑化パラメータが決定されるが、これに限らなくても良い。例えば、被写体人物の肌領域上において凹凸等の信号特性を測定し、これが所定のレベルまで平滑化されるのに要する平滑化パラメータを、自動で決定するようにしても良い。

以下、原画像１と平滑化画像４の画像合成処理について説明する。肌領域平滑化画像合成処理Ｓ４０４において、肌領域平滑化画像合成部２０７は、上述の肌領域検出画像３に基づいて、原画像１と平滑化画像４の画像合成を行い、肌領域平滑化画像５を生成する。

ここで、画像合成処理の一例について説明する。肌領域平滑化画像合成部２０７は、肌領域検出画像３の画素値から求まるα［ｉ，ｊ］（０≦α≦１）に基づいて、原画像１の画像データＩＭＧ１［ｉ，ｊ］と平滑化画像４の画像データＩＭＧ２［ｉ，ｊ］を画像合成し、合成画像データＩＭＧ３［ｉ，ｊ］を生成する。即ち、肌領域平滑化画像合成部２０７は、合成画像データＩＭＧ３［ｉ，ｊ］を以下の式（１）を用いて算出する。なお、［ｉ，ｊ］は各画素を示している。

上記の処理によって得られた合成画像データＩＭＧ３を、肌領域平滑化画像５として取得する。

次に、図３、図４を用いて背景ぼかし処理部３００の処理について説明する。背景ぼかし処理部３００は、原画像１の背景領域を検出し、切り出しマップ画像６を生成する。次に、原画像１にぼかし処理を行い、ぼけ付加画像７を生成する。そして、画像合成によって被写体人物を含む領域には肌領域平滑化画像５を適用し、背景領域にはぼけ付加画像７を適用した最終画像８を生成する。

以下、背景領域の検出方法について説明する。背景領域検出処理Ｓ４０５において、領域検出部３０１は、原画像１の背景領域を検出し、切り出しマップ画像６を生成する。

ここで、図７のフローチャートを参照しながら、領域検出部３０１による領域検出処理について説明する。

ステップＳ７０１において、エッジ検出部３０２は、被写体に合焦して撮像された原画像１の画像データのエッジを検出するとともに、背景に合焦して撮像された原画像２の画像データのエッジを検出する。エッジ検出方法の一例としては、撮影された画像データにバンドパスフィルタリングを行って絶対値をとることによって、画像データのエッジを検出する方法が挙げられる。なお、エッジの検出方法はこれに限定されず、他の方法を用いてもよい。

以下、被写体に合焦して撮像された画像データから検出されたエッジ画像を、被写体合焦側のエッジ画像データと称し、背景に合焦して撮像された画像データから検出されたエッジ画像を、背景合焦側のエッジ画像データと称す。

ステップＳ７０２において、エリア分割部３０３は、被写体合焦側のエッジ画像データと背景合焦側のエッジ画像データのそれぞれについて、複数の領域に分割する。

ステップＳ７０３において、エッジ積分部３０４は、前記分割されたそれぞれの領域について、エッジの絶対値を積分する。

ステップＳ７０４において、領域判定部３０５は、各分割領域について被写体領域、背景領域のいずれかを判定する。各分割領域［ｉ，ｊ］における被写体合焦側のエッジ積分値をＥＧＩ１［ｉ，ｊ］、背景合焦側のエッジ積分値をＥＧＩ２［ｉ，ｊ］とする。領域判定部３０５は、各分割領域［ｉ，ｊ］について、算出されたＥＧＩ１［ｉ，ｊ］とＥＧＩ２［ｉ，ｊ］の評価を行い、ＥＧＩ１［ｉ，ｊ］とＥＧＩ２［ｉ，ｊ］が所定の閾値ＴＨに対し、以下の式（２）の関係を満たすかどうかを判定する。

式（２）の関係が満たされる場合は、領域判定部３０５は当該領域を被写体領域として定義し、式（２）の関係が満たされない場合は、領域判定部３０５は当該領域を背景領域として定義する。

ステップＳ７０５において、領域判定部３０５は、ステップＳ７０４における領域判定結果に基づいて、被写体領域と背景領域を判別可能な切り出しマップ画像６を生成する。切り出しマップ画像６においては、例えば合成比率が画像データ自体の画素値で表されている。なお、切り出しマップ画像６に対して、境界の変化を目立たなくさせるために、ローパスフィルタなどを行っても良い。

以下、背景領域のぼかし処理について説明する。背景領域のぼかし処理Ｓ４０６において、背景ぼかし度制御部３０６は、ぼかし効果の度合いを表すパラメータ（以下、ぼけ付加パラメータと称す）を決定する。そして、背景ぼかし処理部３０７は、前記ぼけ付加パラメータに基づいたぼかし処理を実施する。以下、ぼけ付加パラメータの決定方法について説明する。

画像処理装置１００は、撮像時に、撮像画像に写る領域を複数に分割する。次に、画像処理装置１００は、所定位置までの距離を求める距離情報取得手段としての測距手段により、画像処理装置１００から各分割領域に含む地点までの距離を取得する。撮像後、背景ぼかし度制御部３０６は、前記取得された距離情報のうち、被写体人物までの距離情報と、背景領域の中で最も遠側の距離情報を取得する。このとき、被写体人物までの距離情報をＤ１、背景までの距離情報をＤ２とする。

背景ぼかし度制御部３０６は、前記距離情報Ｄ１と前記距離情報Ｄ２の差分値Ｄ’を算出する。次に、この差分値と所定のぼけ付加量判定テーブルの照合を行い、ぼけ付加量の判定を行う。図８（ａ）は、ぼけ付加量判定テーブルの一例を示す図である。図８（ａ）のテーブルでは、差分値Ｄ’が決定すると、ぼけ付加パラメータＰ１が決定される。

なお、図８（ａ）のテーブルの設計は任意で行って良く、撮像装置の焦点距離や絞り値といった撮像条件毎にテーブルを設計したり、距離情報の差分値Ｄ’に比例しない一定のテーブルを設計したりしても良い。

また、本実施形態では、背景領域の中で最も遠側の距離情報を背景までの距離情報Ｄ２としたが、これに限らなくても良い。例えば、背景領域に含まれる全距離情報の平均をとった値を、背景までの距離情報Ｄ２としても良い。

また、本実施形態では、測距情報の差分によりぼけ付加パラメータの判定を行っているが、被写体と背景の関係から得られるどの情報を用いてぼけ付加パラメータの判定を行っても良い。例えば、測距された情報から求められる被写体と背景の深度差により、ぼけ付加パラメータの判定を行っても良い。

次に、ぼかし量を制御する制御部としての背景ぼかし度制御部３０６は、上述の平滑化パラメータに基づき、最低ぼけ付加パラメータＰ１ｍｉｎを決定する。最低ぼけ付加パラメータとは、肌領域が平滑化された被写体人物が、背景と同等以上にピントが合っている印象を与えるぼけ付加パラメータの最低値である。図８（ｂ）は、決定された平滑化パラメータＰ２を入力として、最低ぼけ付加パラメータＰ１ｍｉｎを求めるテーブルを示している。背景ぼかし度制御部３０６は、ぼけ付加パラメータＰ１が最低ぼけ付加パラメータＰ１ｍｉｎ以上になるように設定する。これにより、被写体人物の肌領域のぼかし量は、背景領域のぼかし量以下に設定される。

なお、図８（ｂ）のテーブルの設計は任意で行って良く、撮像装置の焦点距離や絞り値といった撮像条件毎にテーブルを設計しても良い。

以下、背景ぼかし処理部３０７によるぼかし処理について説明する。背景ぼかし処理部３０７は、上述のぼけ付加パラメータに基づいて、原画像１の画像データに対してフィルタリング処理を行う。フィルタリング処理は画像の平滑化を行うものであれば良く、その例として、移動平均フィルタや加重平均フィルタを用いて行う。また、その平滑化の度合いは上述の平滑化パラメータに基づいて決まり、フィルタリング処理のタップ数を増やすなどにより平滑化効果の度合いを変更する。

なお、原画像１の平滑化処理の方法はこれに限定されず、画像データのリサイズによる平滑化など、他の方法を用いても良い。

以下、上述の肌領域平滑化画像５とぼけ付加画像７の画像合成処理について説明する。背景ぼかし画像合成処理Ｓ４０７において、背景ぼかし画像合成部３０８は、切り出しマップ画像６に基づいて、肌領域平滑化画像５とぼけ付加画像７の画像合成を行い、最終画像８を生成する。

ここで、画像合成処理の一例について説明する。背景ぼかし画像合成部３０８は、切り出しマップ画像６の画素値から求まるα［ｉ，ｊ］（０≦α≦１）に基づいて、肌領域平滑化画像５の画像データＩＭＧ１［ｉ，ｊ］とぼけ付加画像７の画像データＩＭＧ２［ｉ，ｊ］を画像合成し、合成画像データＩＭＧ３［ｉ，ｊ］を生成する。即ち、背景ぼかし画像合成部３０８は、合成画像データＩＭＧ３［ｉ，ｊ］を上述の式（１）を用いて算出する。なお、［ｉ，ｊ］は各画素を示している。この処理によって得られた合成画像データＩＭＧ３を、最終画像として取得する。

以上、ユーザーにより決定された肌領域の平滑化度合い（肌領域のぼかし量）に基づいて、背景領域のぼけ度合い（背景領域のぼかし量）を制御する手段について説明した。本実施形態によれば、背景領域のぼかし量が肌領域のぼかし量以上となるように制御されるので、肌領域の平滑化処理と背景領域のぼけ付加処理を同時に行う画像処理において、肌領域の平滑化処理によって被写体人物がぼけた印象にならない好適な画像データを取得することが出来る。

なお、上述の肌領域の平滑化度はユーザーによる入力だけでなく、被写体人物の肌領域のコントラスト差や、周波数特性に基づいて決定されても良い。

（第２の実施形態）
第１の実施形態では、撮影画像内の被写体人物の肌領域の平滑化度合いに基づいて、背景領域のぼかし効果の強弱を制御する手段について説明した。第２の実施形態では、撮影画像内の背景領域のぼけ度合い（ぼかし量）に基づいて、被写体人物の肌領域の平滑化度合い（ぼかし量）を制御する手段について説明する。なお、第２の実施形態の内容が、第１の実施形態の内容と同じ部分については説明を省略する。

第２の実施形態では、図４の肌領域の平滑化処理Ｓ４０３が実行されるよりも先に、背景領域のぼけ付加パラメータが決定される。ぼけ付加パラメータは、ユーザーからの入力か、或いは画像処理装置１００によって自動的に決定される。例えば、自動で決定される場合は、上述したように、撮影時の被写体と背景の位置関係などによって決定される。

図４の平滑化処理Ｓ４０３において、ぼかし量を制御する制御部としての平滑化度制御部２０５は、前記ぼけ付加パラメータ（ぼけ付加パラメータＰ１と称す）に基づき、最大平滑化パラメータＰ２ｍａｘを決定する。最大平滑化パラメータとは、肌領域が平滑化された被写体人物が、背景と同等かそれ以上にピントが合っている印象を与える平滑化パラメータの最大値である。図９は、決定されたぼけ付加パラメータＰ１を入力として、最大平滑化パラメータＰ２ｍａｘを求めるテーブルを示している。平滑化度制御部２０５は、平滑化パラメータが最大平滑化パラメータＰ２ｍａｘ以下になるように設定する、これにより、被写体人物の肌領域のぼかし量は、背景領域のぼかし量以下に設定される。

なお、図９のテーブルの設計は任意で行って良く、撮像装置の焦点距離や絞り値といった撮像条件毎にテーブルを設計しても良い。

以上、決定された背景領域のぼかし効果の強弱に基づいて、被写体人物の肌領域の平滑化効果を制御する手段について説明した。本実施形態によれば、肌領域の平滑化処理を背景領域のぼけ付加処理を同時に行う画像処理において、肌領域の平滑化処理によって被写体人物がぼけた印象にならない好適な画像データを取得することが出来る。

以上、第１の実施の形態では、肌領域のぼかし量に基づいて背景領域の適用可能なぼかし量の最小値を算出し、第２の実施形態では、背景領域のぼかし量に基づいて肌領域に適用可能なぼかし量の最大値を算出した。しかし、肌領域のぼかし量を背景領域のぼかし量以下とすればよく、必ずしも最大値または最小値に設定する必要はない。

また、被写体人物の肌領域と背景領域の一方の領域のぼかし量に依存して他方の領域のぼかし量を決定する形態を用いて説明したが、肌領域のぼかし量が背景領域のぼかし量以下となる関係を満たせば、それぞれのぼかし量を独立に設定してもよい。

なお、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

１００ 画像処理装置
１０８ 画像処理部
２００ 肌領域平滑化処理部
３００ 背景ぼかし処理部

Claims (10)

1. 画像を取得する画像取得手段と、
   前記画像における被写体人物の肌領域と背景領域のそれぞれに対してぼかし処理を行うぼかし処理手段と、
   前記ぼかし処理のぼかし量を領域ごとに制御する制御手段と、を備え、
   前記制御手段は、前記画像の撮像条件ごとに用意される、前記被写体人物の肌領域と背景領域のぼかし量の関係を定義する情報に基づき、前記被写体人物の肌領域のぼかし量が前記背景領域のぼかし量以下となるように、ぼかし量を制御することを特徴とする画像処理装置。
2. 前記被写体人物の肌領域と背景領域のうち一方の領域のぼかし量を設定する設定手段を有し、
   前記制御手段は、前記設定手段によって設定された一方の領域のぼかし量に基づいて、他方の領域のぼかし量を決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記制御手段は、被写体人物の肌領域が背景領域よりも合焦している印象をユーザーに与えるように、前記設定手段によって設定された一方の領域のぼかし量に基づいて、他方の領域のぼかし量を決定することを特徴とする請求項２に記載の画像処理装置。
4. 前記被写体人物の肌領域と背景領域のぼかし量の関係はテーブルにより定義され、前記テーブルは前記画像の撮像条件ごとに用意されることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記画像における被写体の距離情報を取得する距離情報取得手段を有し、
   前記制御手段は、被写体人物までの距離と背景までの距離との差分に基づいて、前記背景領域のぼかし量を決定することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記ぼかし処理手段は、肌領域にぼかし処理を施した第１の画像と、背景領域にぼかし処理を施した第２の画像とを生成し、前記第１の画像と前記第２の画像とを合成することで肌領域及び背景領域にぼかし処理を施した画像を得ることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記撮像条件は、撮像装置の焦点距離または絞り値であることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 撮像手段をさらに有することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
9. 画像処理装置の制御方法であって、
   画像を取得する画像取得工程と、
   前記画像における被写体人物の肌領域と背景領域のそれぞれに対してぼかし処理を行うぼかし処理工程と、
   前記ぼかし処理のぼかし量を領域ごとに制御する制御工程と、を備え、
   前記制御工程では、前記画像の撮像条件ごとに用意される、前記被写体人物の肌領域と背景領域のぼかし量の関係を定義する情報に基づき、前記被写体人物の肌領域のぼかし量が前記背景領域のぼかし量以下となるように、ぼかし量を制御することを特徴とする画像処理装置の制御方法。
10. コンピュータを、請求項１乃至８のいずれか１項に記載の画像処理装置の各手段として機能させる、コンピュータが実行可能なプログラム。