JP2021013056A - 画像処理装置、撮像装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】精度良く画像内の領域を分離することができる画像処理装置を提供すること。【解決手段】画像処理部１０４は、画像に対応する距離情報を取得するデフォーカス演算部２０４と、距離情報に応じて、画像を複数の領域に分割する第１の分割手段と、被写体検出を行う被写体検出部２０２と、被写体検出の検出結果に応じて、画像を複数の領域に分割する第２の分割手段と、距離情報に基づいて、画像を複数の領域に分割する分割手段を決定する信号処理部２０１と、を備える。【選択図】図２

Description

本発明は、画像処理装置、撮像装置、画像処理方法およびプログラムに関する。

従来、画像の明瞭度やコントラスト、明るさなどを補正する画像処理（例えば、覆い焼き処理、ＨＤＲなど）を、画像内の一部の領域に適用する処理が知られている。一部の領域を抽出するために、距離情報を参照して、距離の分布を元に特定の被写体を検出する技術がある。特許文献１は、現在のフレームよりも前の距離分布データに基づいて、現在のフレームにおける物体の位置を予測し、以降のフレームで物体を追跡する技術を開示している。

国際公開第２０１７／１３０６３９号

しかしながら、特許文献１に開示されている常に距離情報を参照する構成では、例えば画像が示す距離の分布が万遍なく一様に広がっていたり、同じ距離に複数の被写体が存在していたりするシーンでは、精度良く被写体を検出することが困難である。被写体検出や領域抽出の精度が低いと、抽出した一部の領域に対して行う画像処理において所望の効果が得られない恐れがある。

本発明は、精度良く画像内の領域を分離することができる画像処理装置を提供することを目的とする。

上記課題を解決するために、本発明の画像処理装置は、画像に対応する距離情報を取得する取得手段と、前記距離情報に応じて、画像を複数の領域に分割する第１の分割手段と、被写体検出を行う検出手段と、前記被写体検出の検出結果に応じて、画像を複数の領域に分割する第２の分割手段と、前記距離情報に基づいて、画像を複数の領域に分割する分割手段を決定する決定手段と、を備える。

本発明によれば、精度良く画像内の領域を分離することができる画像処理装置を提供することができる。

撮像装置の構成を示す図である。 画像処理部の構成を示す図である。 撮像部の構成を示す図である。 画像の一部の領域に対する画像処理を説明するフローチャートである。 入力画像および被写体検出結果の一例を示す図である。 デフォーカスマップの一例を示す図である。 デフォーカスのヒストグラムおよび閾値算出結果を説明する図である。 デフォーカスマップに基づく書き割りマップを説明する図である。 被写体検出結果に基づく書き割りマップを説明する図である。

本実施形態では、画像の一部領域に対する画像処理の一例として、デジタルカメラなどの撮像装置を用いて撮影した画像を、被写体の領域検出情報や距離情報、撮影条件などの撮影シーンに関する情報を用いて覆い焼き処理による階調処理を行う場合を説明する。以下では、画像処理装置の一例として撮像装置について説明するが、本実施形態の画像処理装置は撮像装置に限定されず、例えばパーソナルコンピュータ（ＰＣ）などであってもよい。

図１は、撮像装置１００の構成を示す図である。撮像装置１００は、例えば、デジタル一眼レフカメラ、デジタルビデオカメラ、コンパクトデジタルカメラ等、デジタル画像の処理を行うことができる撮像装置である。撮像装置１００は、光学系１０１、撮像部１０２、Ａ／Ｄ変換部１０３、画像処理部１０４、制御部１０５、表示部１０６、記録部１０７を備える。なお、本実施形態では、撮像装置１００の本体部とレンズ装置（光学系１０１）が一体となっている撮像装置の例について説明するが、レンズ装置が本体部に対して着脱可能な撮像装置であってもよい。

光学系１０１は、ズームレンズやフォーカスレンズから構成されるレンズ群、絞り、シャッターを備える撮像光学系である。光学系１０１は、撮像部１０２に到達する被写体像の倍率やピント位置、あるいは、光量を調整する。
撮像部１０２は、光学系１０１を通過した被写体の光束を光電変換し電気信号に変換するＣＣＤやＣＭＯＳセンサー等の撮像素子を有する。撮像部１０２の詳細な構成については、図３（Ａ）および図３（Ｂ）を用いて後述する。

Ａ／Ｄ変換部１０３は、撮像部１０２から入力された映像信号をデジタルの画像に変換する。画像処理部１０４は、ノイズ低減や現像処理、階調処理などの信号処理、表示用画像の加工処理等を行う。なお、画像処理部１０４は、Ａ／Ｄ変換部１０３から出力された画像のみでなく、記録部１０７から読み出した画像に対しても同様の画像処理を行うことができる。

制御部１０５は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、撮像装置１００全体を制御する。例えば、適正な明るさを持つ入力画像を得るために、撮影時の露光量を算出し、算出した露光量で画像を取得するために光学系１０１と撮像部１０２を制御して、絞り、シャッタースピード、センサーのアナログゲイン等を制御する。

表示部１０６は、画像処理部１０４から出力される画像をＬＣＤ（液晶表示装置）などの表示用部材に逐次表示することにより、電子ビューファインダ（ＥＶＦ）として機能する。なお、本実施形態では電子ビューファインダの例を説明するが、撮像装置１００は光学ファインダを備えていてもよい。また、表示部１０６は、操作内容や各種設定等の情報をＵＩに表示し、撮影者からの操作を受け付けるタッチパネル機能を有する表示用部材を有していてもよい。

記録部１０７は、画像を記録する機能を有し、たとえば、半導体メモリが搭載されたメモリカードや光磁気ディスク等の回転記録体を収容したパッケージなどを用いた情報記録媒体を含んでもよい。記録部１０７は、撮像装置１００に備えられていてもよいし、着脱可能なメモリであってもよい。

図２は、画像処理部１０４の構成を説明する図である。画像処理部１０４は、信号処理部２０１、被写体検出部２０２、撮影情報取得部２０３、デフォーカス演算部２０４、ヒスト算出部２０５を備える。なお、図２に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよいし、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。

信号処理部２０１は、ノイズ低減処理や現像処理などの信号処理を行う他、ガンマ変換などによる階調圧縮処理、画像の明るさやコントラスト、色相、彩度、シャープネス等を補正する処理等、様々な画像処理を行う。また、信号処理部２０１は、領域ごとに画像処理を行う場合に、一部の領域を分離するための分離方法を決定する決定手段と、決定した分離方法で画像の領域を分離する分離手段としての機能も有する。

被写体検出部２０２は、画像内に特定の被写体が存在するか否かを検出する。そして、被写体検出部２０２は、画像内に特定の被写体が存在する場合には、特定の被写体の位置（画像内での座標）および大きさを出力する。特定の被写体としては、人物の顔や体全体、各種動物や乗り物など種々のものが指定可能である。
撮影情報取得部２０３は、撮影時の撮影モードや、焦点距離、絞り値、露光時間などの各種情報を取得する。

デフォーカス演算部２０４は、光学系１０１の異なる瞳領域から到来する光束が生ずる複数の被写体像の位相差に基づいて像ずれ量を算出し、像ずれ量に基づいてデフォーカスの分布を示すデフォーカスマップを生成する。デフォーカスマップの具体的な生成方法については、例えば、特開２０１６−９０６２号公報で述べられているような公知の手法を用い、画素毎にデフォーカス量を算出しデフォーカスマップとして扱う。また、デフォーカス演算部２０４は、デフォーカス量から変換される撮像装置１００と対象物との距離マップデータを取得してもよい。なお、本実施形態では距離情報の一例としてデフォーカスマップを用いる例について説明するが、光学系１０１の瞳の異なる領域から到来する光束が生ずる複数の被写体像の位相差（像ずれ量）や、絶対距離値に基づいたマップであってもよい。

ヒスト算出部２０５は、画像に対してヒストグラムを生成する処理を行う。ヒストグラムを生成する画像としては、輝度および色信号を持ったものでも距離を示す多値の信号であってもよい。

図３（Ａ）は、撮像部１０２の画素３０２の配列構成を示す図である。図３（Ｂ）は、画素３０２の構成を示す図である。撮像部１０２の撮像素子は、二次元状に配置された複数の画素３０２を備える。画素３０２は、１つのマイクロレンズ３０１と、一対の光電変換部３０３Ａおよび光電変換部３０３Ｂを備える。光電変換部３０３Ａおよび光電変換部３０３Ｂは、１つのマイクロレンズに対して瞳分割された光束をそれぞれ受光し、位相差のある一対の焦点検出用信号を出力することが可能である。なお、本実施形態では各画素部が２つの光電変換部を備える例を説明するが、これに限られるものではなく、複数の光電変換部を備える構成であればよい。

次に、画像の一部の領域に画像処理を施す一例として、背景の領域に対してのみコントラストを補正する階調処理を行う例について説明する。図４（Ａ）は、画像の一部の領域に対する画像処理を説明するフローチャートである。図５（Ａ）は、画像処理の対象となる入力画像５０１の一例を示す図である。入力画像５０１は、人物５０２が手前に花を差し出しているシーンである。入力画像５０１では、撮像装置１００の近くにいる人物５０２がくっきりとしたコントラストを有しているのに対し、背景がかすんでコントラストが低くなっている。

ステップＳ４０１で、被写体検出部２０２は、入力画像５０１に対して被写体検出処理を行う。被写体の検出方法としては、例えば特開平１０−１６２１１８号公報で述べられているようなエッジのパターンに基づいて判定する手法など既存の技術を用いて良い。本実施形態では、被写体を人とし、被写体検出処理として顔検出処理を行う。図５（Ｂ）は、被写体検出結果の一例を示す図である。枠５１０は、顔検出の検出結果である人物５０２の顔の位置を示す枠である。

ステップＳ４０２で、デフォーカス演算部２０４は、入力画像５０１のデフォーカスマップを生成する。図６は、デフォーカスマップの一例を示す図である。デフォーカスマップ６０１は、入力画像５０１に対応するデフォーカスマップである。デフォーカスマップ６０１では、デフォーカス量を濃淡により示している。濃淡の中間（灰色）で示される領域６０２は、入力画像５０１の人物５０２に対応する領域であり、合焦を示している。領域６０２より淡い色（白色）で示される領域は、入力画像５０１において手前側にある花に対応する領域であり、前ボケの非合焦を示している。領域６０２より濃い色（黒色）で示される領域は、入力画像５０１において奥側にある背景に対応する領域であり、後ボケの非合焦を示している。なお、本実施形態のステップＳ４０２では、距離情報としてデフォーカスマップを生成する例を説明したが、これに限られるものではなく、位相差（像ずれ量）や絶対距離に基づくマップを生成してもよい。

ステップＳ４０３で、ヒスト算出部２０５は、ステップＳ４０２で生成したデフォーカスマップ６０１に基づいてデフォーカスのヒストグラムを生成する。図７（Ａ）は、ヒストグラムの一例を示す図である。ヒストグラム７０１は、横方向がデフォーカスの値を、縦方向が画素数を示している。デフォーカスの値は、１２８が合焦を示しており、１２７以下の値は後ボケ（奥側）を、１２９以上の値は前ボケ（手前側）であることを意味している。

ステップＳ４０４で、信号処理部２０１は、ステップＳ４０３で生成したデフォーカスのヒストグラムに基づいて、被写体距離閾値を算出する。被写体距離閾値は、被写体を含む被写体領域のデフォーカスの範囲を示す値である。本実施形態においては、被写体である人物５０２に対応するデフォーカスの範囲を算出する。デフォーカスの範囲の具体的な算出方法について、図４（Ｂ）のフローチャートを用いて説明する。

図４（Ｂ）は、被写体距離閾値算出処理を示すフローチャートである。
ステップＳ４５０で、信号処理部２０１は、ステップＳ４０１の顔検出結果（枠５１０）の位置における平均デフォーカス値Ｄｅｆ＿ｆａｃｅを、ステップＳ４０２で生成したデフォーカスマップを参照して算出する。図７（Ｂ）は、被写体距離閾値を説明する図である。点７１０は、算出された平均デフォーカス値Ｄｅｆ＿ｆａｃｅに対応するヒストグラム上の値を示している。点７１０は、デフォーカス値の１２８に近い値となっている。入力画像５０１は人物５０２にピントを合わせて撮影されたことにより、人物５０２の顔領域のデフォーカス量が１２８に近い値となっていることがわかる。

ステップＳ４５１で、信号処理部２０１は、ステップＳ４５０で算出した平均デフォーカス値Ｄｅｆ＿ｆａｃｅに基づいて人物５０２を示すデフォーカスの下限値ｔｈ１を算出する。デフォーカスの下限値ｔｈ１は、被写体と背景の距離の境界を示すデフォーカス量である。具体的には、ヒストグラム上で平均デフォーカス値Ｄｅｆ＿ｆａｃｅから左側（デフォーカスの値が小さくなる）方向へヒストグラムの値を順次参照していき下限値ｔｈ１を検出する。そして、デフォーカス値の変化量がマイナス方向（減）からプラス方向（増）に所定値以上の変化をした場合、または、０の値が所定値以上連続した場合のいずれかが満たされたときのデフォーカスの値を下限値ｔｈ１とする。このように、ヒストグラムの谷すなわち距離の分布が大きく切り替わっている部分を検出することで、被写体と背景の距離の境界を示すデフォーカス量を検出することができる。

ステップＳ４５２で、信号処理部２０１は、ステップＳ４５０で算出した平均デフォーカス値Ｄｅｆ＿ｆａｃｅに基づいて人物５０２を示すデフォーカスの上限値ｔｈ２を算出する。デフォーカスの上限値ｔｈ２は、被写体と前景の距離の境界を示すデフォーカス量である。
具体的には、ヒストグラム上で平均デフォーカス値Ｄｅｆ＿ｆａｃｅから右側（デフォーカスの値が大きくなる）方向へヒストグラムの値を順次参照していき上限値Ｔｈ２を検出する。そして、デフォーカス値の変化量がマイナス方向（減）からプラス方向（増）に所定以上の変化をした場合、または、０の値が所定以上連続した場合のいずれかが満たされたときのデフォーカスの値を上限値ｔｈ２とする。このように、ヒストグラムの谷すなわち距離の分布が大きく切り替わっている部分を検出することで、人物と前景の距離の境界を示すデフォーカス量を検出することができる。

なお、ステップＳ４５１およびステップＳ４５２においてヒストグラムの増減の変化や連続性に基づいて閾値を算出する方法について述べたが、これに限られるものではなく、他の手法を用いて閾値を算出してもよい。例えば、分割後の２つのグループが持つヒストグラムの分散に基づいて最適な閾値を探索するような手法を用いてもよい。また、平均デフォーカス値Ｄｅｆ＿ｆａｃｅから左右方向にカウント数を積算していき、積算値が顔サイズに基づいた所定の閾値になった時の値をそれぞれ下限値および上限値としてもよい。

図４（Ａ）の説明に戻る。本実施形態では、領域別処理として背景領域にのみコントラスト補正処理を適用するため、距離情報（デフォーカス量）を用いて背景と人物を分離する処理を行う。このとき、背景を正しく分離できないまま領域別処理を適用すると、主被写体である人物に好ましくない補正がかかったり、背景に所望とする補正がかからなかったりするなどの弊害が発生してしまう。

例えば、人物に対して背景が遠く離れているようなシーンではデフォーカスの分布も分散するが、距離が緩やかに変化するような奥行きのあるシーンではデフォーカスの値が一様になり、どこからが背景かを分離することが難しくなる。本実施形態では、距離による人物と背景の分離のしやすさの指標として、距離の分散すなわち分布の散らばり度合いを用いる。分散が大きければ人物と背景は分離がしやすいという判定をすることができる。そして、本実施形態では、距離情報であるデフォーカス量により人物と背景を分離できる場合と分離できない場合、すなわち分離の精度に応じて、一部の領域を抽出するための処理を変更する。具体的には、分散が大きく人物と背景が分離しやすい場合には、デフォーカスマップに基づいて一部の領域を抽出し、分散が小さく人物と背景が分離しにくい場合には、被写体検出の結果に基づいて一部の領域を検出する。これらの処理の詳細について、ステップＳ４０５〜ステップＳ４０９で説明する。

ステップＳ４０５で、信号処理部２０１は、ヒストグラム７０１におけるデフォーカス値０〜上限値ｔｈ２までの分布、すなわち人物および背景が含まれるデフォーカスの分散を算出する。具体的な算出方法としては、まず分布におけるデフォーカス値０〜上限値ｔｈ２の平均値Ｄａｖｅを以下の式（１）および式（２）により算出する。ここで、Ｈｉｓｔ［ｉ］はデフォーカス値ｉに対するヒストの値、Ｎはデフォーカス値０〜上限値ｔｈ２の総カウント数を表している。なお、分散を算出するデフォーカスの範囲を被写体領域と被写体領域より遠い領域のデフォーカス値０〜上限値ｔｈ２に限定するのは、人物と背景の分離のしやすさを判定する上で、人物よりも手前にいる前景の距離の分布に影響されないようにするためである。

そして、算出した平均値Ｄａｖｅを用いて、デフォーカスの分散Ｄｄｉｓｐを以下の式（３）により算出する。

ステップＳ４０６で、信号処理部２０１は、分離の精度が高いか否かを、ステップＳ４０５で算出したデフォーカスの分散Ｄｄｉｓｐが所定の閾値Ｄｔｈ以上か否かにより判定する。デフォーカスの分散Ｄｄｉｓｐが所定の閾値Ｄｔｈ以上であり、分離の精度が高いと判定できる場合には、ステップＳ４０７進む。一方、デフォーカスの分散Ｄｄｉｓｐが所定の閾値Ｄｔｈ未満であり、分離の精度が低いと判定できる場合には、ステップＳ４０８へ進む。

ステップＳ４０７で、信号処理部２０１は、デフォーカスマップ６０１に基づいて、人物５０２および前景を含む書き割りマップを生成する。具体的には、デフォーカスマップ６０１において、デフォーカスの値が下限値ｔｈ１以上の領域とそうでない領域とで２値化した書き割りマップを生成する。図８は、デフォーカスマップに基づく書き割りマップを説明する図である。書き割りマップ８０１では、人物５０２とそれよりも手前にある花の領域が白色で、それ以外の背景が黒色となっている。なお、書き割りマップ８０１がより被写体の輪郭に合うように、例えば特開２０１７−１１６５２号公報で述べられているような入力画像５０１の画素値を参照した整形処理を行なってもよい。

ステップＳ４０８で、信号処理部２０１は、ステップＳ４０１の被写体検出結果に基づいて、人物５０２を含む書き割りマップを生成する。まず、被写体検出部２０２が検出した人物５０２の顔の位置およびサイズに基づいて、人型のシルエット画像を生成する。図９（Ａ）および図９（Ｂ）は、被写体検出結果に基づく書き割りマップを説明する図である。図９（Ａ）および図９（Ｂ）では、人物５０２の領域が白色で、それ以外の領域が黒色となっている。

図９（Ａ）の画像９０１では、顔検出結果である枠５１０の位置に合わせた円形９０２とその下部に楕円形９０３がそれぞれシルエットとして生成されている。さらに、画像９０１に対して、例えば特開２０１７−１１６５２号公報で述べられているような、入力画像５０１の画素値を参照した整形処理を行なうことで、図９（Ｂ）に示されるような、被写体の輪郭に合う書き割りマップ９１０を生成することができる。

ステップＳ４０９で、信号処理部２０１は、書き割りマップで抽出した一部領域に対して領域別に画像処理を行う。本実施形態では、信号処理部２０１は、ステップＳ４０７あるいはステップＳ４０８で生成した書き割りマップを用いて、入力画像５０１から一部領域のみコントラストが補正された画像を生成する。ここで一部領域とは、書き割りマップにおいて人物が含まれない黒色で示されている領域のことである。

具体的な補正方法としては、まず画像５０１全体のコントラストを補正した画像を生成する。コントラストの補正方法としては、例えば特開２０１９−２８５３７号公報で述べられているような低周波領域の明るさを変えることなく局所的なコントラストのみを補正する手法など、既存の技術を用いてよい。そして、コントラストを補正した画像をコントラストの補正をせずに現像した画像と、書き割りマップに基づいて合成する。これにより、書き割りマップにおいて黒色で示された背景領域のみコントラストが補正された画像を生成することが可能となる。

なお、本実施形態では２つの書き割りマップ８０１、書き割りマップ９１０のどちらか一方を用いて入力画像５０１を補正するようにしたが、２つの書き割りマップ両方を用いてもよい。２つの書き割りマップを用いる場合、ステップＳ４０５において算出した分散Ｄｄｉｓｐに応じて、２つの書き割りマップを用いる割合を変えるようにすればよい。例えば、分散が大きいほど、距離情報に基づいた書き割りマップ８０１の重みを大きくしながら、２つの書き割りマップを加重加算するようにしてもよい。ステップＳ４０９において、多値となった書き割りマップに基づいてコントラストを補正した画像と補正なしの画像とを加重加算することで、急峻な効果の切り替わりを抑えることが可能となる。

以上説明したように、本実施形態によると、領域別画像処理の効果を距離情報によって制御する際に、デフォーカスの分布に基づいて領域の分割が可能かを判定することにより、領域分割の失敗による弊害が発生するのを抑えることが可能となる。

なお、本実施形態では、距離情報を取得する手段として、撮像光学系の異なる瞳領域から到来する光束が生ずる複数の被写体像の位相差に基づいて距離情報を生成する構成について説明したが、他の構成や手段を代用あるいは併用しても良い。例えば複数のレンズおよび撮像素子を有する複眼カメラの構成とすることで、より精度の良い像ずれ量を検出できるようにしても良い。また、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）カメラや超音波により距離が計測可能な構成とすることで、模様の変化が乏しい被写体に対する測距性能を向上したりすることが可能となる。

また、本実施形態では、主被写体が人物で背景のコントラストを補正する場合について説明したが、これに限られるものではなく、どのような被写体であってもよい。例えば、主被写体としては動物や建造物、乗り物などでもよく、該被写体を検出する技術を用いることで本実施形態を適用することが可能である。また、一部領域に対する画像処理は、コントラストの補正処理に限らず、例えば、明るさや色相、彩度、シャープネスなどを補正する処理であってもよい。

また、本実施形態では、距離の分散を用いて背景の分離の精度を判定する場合について説明したが、これに加えて、画像が有する各種の撮影情報を参照するようにしてもよい。例えば、絞り値を大きくすればするほど深度が深くなり背景のデフォーカス量も小さくなっていくことから、デフォーカス値による分離が困難となる傾向にある。したがって、絞り値が大きいほど閾値Ｄｔｈを小さく、絞り値が小さいほど閾値Ｄｔｈを大きくした上で判定するようにしてもよい。また、ＩＳＯ感度が大きいほど信号にノイズが増大し分散も大きくなることから、感度が大きいほど閾値Ｄｔｈを大きく、感度が小さいほど閾値Ｄｔｈを小さくした上で判定するようにしてもよい。また、デフォーカスの分散に限らず、標準偏差やヒストグラム上で所定以上のカウント数を有する値の最大値と最小値の差分など、他の統計量に基づいて判定を行なってもよい。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。

１０４ 画像処理部
１０５ 制御部
２０１ 信号処理部
２０２ 被写体検出部
２０３ 撮影情報取得部
２０４ デフォーカス演算部
２０５ ヒスト算出部

Claims (13)

1. 画像に対応する距離情報を取得する取得手段と、
   前記距離情報に応じて、画像を複数の領域に分割する第１の分割手段と、
   被写体検出を行う検出手段と、
   前記被写体検出の検出結果に応じて、画像を複数の領域に分割する第２の分割手段と、
   前記距離情報に基づいて、画像を複数の領域に分割する分割手段を決定する決定手段と、を備えることを特徴とする画像処理装置。
2. 前記決定手段は、前記距離情報に基づいて、被写体を含む被写体領域と背景領域との前記距離情報による分離の精度を判定し、前記距離情報による分離の精度に応じて、画像を複数の領域に分割する分割手段を決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記決定手段は、前記距離情報による分離の精度に応じて、画像を複数の領域に分割する分割手段を用いる割合を変更することを特徴とする請求項２に記載の画像処理装置。
4. 前記決定手段は、前記距離情報による分離の精度が高い場合は、前記第１の分割手段により画像を複数の領域に分割し、前記距離情報による分離の精度が低い場合は、前記第２の分割手段により画像を複数の領域に分割すると決定することを特徴とする請求項２に記載の画像処理装置。
5. 前記決定手段は、前記距離情報と前記被写体検出の検出結果に基づいて、被写体を含む被写体領域を抽出し、前記被写体領域と前記被写体領域より遠い領域の前記距離情報の統計量に基づいて分割手段を決定することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記距離情報の統計量は、距離情報の分散、距離情報の標準偏差、距離情報における所定以上のカウント数を有する値の最大値と最小値との差のいずれかであることを特徴とする請求項５に記載の画像処理装置。
7. 前記決定手段は、前記分割手段を決定する際に、絞り値またはＩＳＯ感度に基づくことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記取得手段は、撮像光学系の異なる瞳領域を通過した光束をそれぞれ受光して生成された複数の画像に基づいて得られるデフォーカス量または像ずれ量から前記距離情報を生成することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記分割された領域ごとに画像処理を行う画像処理手段をさらに備えることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記画像処理は、明るさ、コントラスト、色相、彩度、シャープネスのいずれかを補正する処理であることを特徴とする請求項９に記載の画像処理装置。
11. 請求項１乃至１０のいずれか１項に記載の画像処理装置と、像光学系の異なる瞳領域を通過した光束をそれぞれ受光して複数の画像を出力する撮像手段を備えることを特徴とする撮像装置。
12. 画像に対応する距離情報を取得する工程と、
    前記距離情報に応じて、第１の分離方法で画像を複数の領域に分割する工程と、
    被写体検出を行う工程と、
    前記被写体検出の検出結果に応じて、第２の分離方法で画像を複数の領域に分割する工程と、
    前記距離情報に基づいて、画像を複数の領域に分割する分割方法を決定する工程と、を有することを特徴とする画像処理方法。
13. コンピュータを、請求項１乃至１０のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images