JP2015041901A - 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置 - Google Patents

Abstract

【課題】画面の周辺における距離情報の精度低下（合焦位置精度の低下）に応じた画像処理を行う。【解決手段】ＣＰＵ１１５は画像を表示する画面に複数のＡＦ枠を有するＡＦ設定範囲を設定してＡＦ枠の各々について合焦位置を求め、当該合焦位置に応じてＡＦ設定範囲を複数の距離領域に分割し、さらに、ＡＦ設定範囲よりも広い拡張範囲を所定の複数のブロックに分割してブロックの各々について色相を示す色情報を得て当該色情報に応じて画面を複数の色領域に分割する。ＣＰＵは距離領域とＡＦ設定範囲における色領域とを対応付けて第１の統合領域分割結果を生成して、画像において特定の被写体が検出された際に特定の被写体がＡＦ設定範囲に収まっていると第１の統合領域分割結果を参照して特定の被写体を規定する第１の選択領域を選択する。そして、ＣＰＵは画像処理部１１０によって第１の選択領域に応じて画像に対して所定の第１の画像処理を行う。【選択図】図５

Description

本発明は、画像処理装置、その制御方法、および制御プログラム、並びに撮像装置に関し、特に、撮影の結果得られた画像について、カメラなどの撮像装置からの距離に応じて複数の領域に分割して画像処理を行う技術に関する。

一般に、画像処理装置の１つとして、デジタルスチルカメラなどの撮像装置があり、当該撮像装置で得られた画像（以下撮影画像と呼ぶ）に対して画像処理を行って、画像における表現を多彩にすることが行われている。例えば、撮影画像において被写体が存在する領域（以下被写体領域という）を特定して、当該被写体領域を含む範囲を切り出した画像を生成することが行われている。さらに、被写体領域以外の背景領域においてぼかし処理を施すことがある。

ところが、被写体領域を特定する際の検出精度が悪いと、かえって望ましくない画像が生成されることもある。例えば、被写体領域の特定精度が悪いと、切り出し処理の際に被写体領域について適切な構図で切り出すことができないことがあり、これによって、望ましくない画像が生成されてしまうことがある。

さらに、被写体領域を特定する際の検出精度が悪いと、ぼかし処理の際には、被写体領域においてぼかし処理が行われてしまうことがあるばかりでなく、背景領域について所謂ぼかし残しが発生してしまうなどの不自然なぼかし処理が行われることになる。

このように、被写体領域を切り出して画像処理を行う際、又は背景領域にぼかし処理を行う際には、撮影画像における被写体領域を特定するための検出精度を向上させる必要がある。

被写体領域の特定精度を向上させるため、例えば、撮影画像をカメラからの距離を示す距離情報に応じて所定の段数に分割して、輝度および／または色情報に基づいて被写体領域を判定するようにしたものがある。そして、ここでは、距離情報と領域判定情報とに対応づけてぼかし処理を施すようにしている（特許文献１参照）。

特開２０１０−２２６６９４号公報

ところで、特許文献１においては、撮影画像の全体、つまり、画面全体を距離情報の取得対象としているものの、画面の周辺においては像面湾曲又は周辺光量落ちに起因してオートフォーカス（ＡＦ）精度が低下する。このため、画面の周辺において被写体領域の抽出を誤ってしまい、望ましくないぼかし処理が施された、つまり、被写体領域の一部がぼかされてしまった画像が生成されることがある。

そこで、本発明の目的は、画面の周辺における距離情報の精度低下（合焦位置精度の低下）に応じた画像処理を行うことのできる画像処理装置、その制御方法、および制御プログラム、並びに撮像装置を提供することにある。

上記の目的を達成するため、本発明による画像処理装置は、画像における特定の被写体を検出して、当該特定の被写体の検出結果に応じて前記画像に対して画像処理を行う画像処理装置であって、前記画像を表示する画面に複数のＡＦ枠を有するＡＦ設定範囲を設定して、前記ＡＦ枠の各々について合焦位置を求めて、当該合焦位置に応じて前記ＡＦ設定範囲を複数の距離領域に分割する第１の分割手段と、前記ＡＦ設定範囲よりも広い拡張範囲を所定の複数のブロックに分割して前記ブロックの各々について少なくとも輝度値および色相の１つを示す色情報を得て当該色情報に応じて前記画面を複数の色領域に分割する第２の分割手段と、前記距離領域と前記ＡＦ設定範囲における色領域とを対応付けて第１の統合領域分割結果を生成する領域生成手段と、前記画像において前記特定の被写体が検出された際、前記特定の被写体が前記ＡＦ設定範囲に収まっていると、前記第１の統合領域分割結果を参照して前記特定の被写体を規定する第１の選択領域を選択する選択手段と、前記第１の選択領域に応じて前記画像に対して所定の第１の画像処理を行う第１の画像処理手段と、を有することを特徴とする。

本発明による撮像装置は、前記特定の被写体を撮像して前記画像を得る撮像手段と、上記の画像処理装置と、を有することを特徴とする。

本発明による制御方法は、画像における特定の被写体を検出して、当該特定の被写体の検出結果に応じて前記画像に対して画像処理を行う画像処理装置の制御方法であって、前記画像を表示する画面に複数のＡＦ枠を有するＡＦ設定範囲を設定して、前記ＡＦ枠の各々について合焦位置を求めて、当該合焦位置に応じて前記ＡＦ設定範囲を複数の距離領域に分割する第１の分割ステップと、前記ＡＦ設定範囲よりも広い拡張範囲を所定の複数のブロックに分割して前記ブロックの各々について少なくとも輝度値および色相の１つを示す色情報を得て当該色情報に応じて前記画面を複数の色領域に分割する第２の分割ステップと、前記距離領域と前記ＡＦ設定範囲における色領域とを対応付けて第１の統合領域分割結果を生成する領域生成ステップと、前記画像において前記特定の被写体が検出された際、前記特定の被写体が前記ＡＦ設定範囲に収まっていると、前記第１の統合領域分割結果を参照して前記特定の被写体を規定する第１の選択領域を選択する選択ステップと、前記第１の選択領域に応じて前記画像に対して所定の第１の画像処理を行う第１の画像処理ステップと、を有することを特徴とする。

本発明による制御プログラムは、画像における特定の被写体を検出して、当該特定の被写体の検出結果に応じて前記画像に対して画像処理を行う画像処理装置で用いられる制御プログラムであって、前記画像処理装置が備えるコンピュータに、前記画像を表示する画面に複数のＡＦ枠を有するＡＦ設定範囲を設定して、前記ＡＦ枠の各々について合焦位置を求めて、当該合焦位置に応じて前記ＡＦ設定範囲を複数の距離領域に分割する第１の分割ステップと、前記ＡＦ設定範囲よりも広い拡張範囲を所定の複数のブロックに分割して前記ブロックの各々について少なくとも輝度値および色相の１つを示す色情報を得て当該色情報に応じて前記画面を複数の色領域に分割する第２の分割ステップと、前記距離領域と前記ＡＦ設定範囲における色領域とを対応付けて第１の統合領域分割結果を生成する領域生成ステップと、前記画像において前記特定の被写体が検出された際、前記特定の被写体が前記ＡＦ設定範囲に収まっていると、前記第１の統合領域分割結果を参照して前記特定の被写体を規定する第１の選択領域を選択する選択ステップと、前記第１の選択領域に応じて前記画像に対して所定の第１の画像処理を行う第１の画像処理ステップと、を実行させることを特徴とする。

本発明によれば、画像において特定の被写体が検出された際、特定の被写体がＡＦ設定範囲に収まっていると、第１の統合領域分割結果を参照して特定の被写体を規定する第１の選択領域を選択して、第１の選択領域に応じて画像に対して所定の第１の画像処理を行うようにした。これによって、画面周辺における合焦位置精度の悪化によって特定の被写体を検出する精度が低下しても、その検出精度に応じた画像処理を行うことができる。つまり、画面周辺における合焦位置の精度低下に応じた画像処理を行うことができる。

本発明の第１の実施形態による画像処理装置を備える撮像装置の一例についてその構成を示すブロック図である。 図１に示すカメラにおける撮影処理を説明するためのフローチャートである。 図２で説明したＡＦ設定範囲の一例を示す図である。 図２に示す画像処理の決定を説明するためのフローチャートである。 図４に示す領域分割処理を説明するためのフローチャートである。 図５に示す領域分割処理による画面分割の一例を説明するための図であり、（ａ）は距離情報に応じた画面分割を示す図、（ｂ）は色情報に応じた画面分割を示す図である。 図５に示す領域分割処理による画面分割結果の一例を説明するための図であり、（ａ）は図６（ａ）および図６（ｂ）に示す画面分割を重ね合わせた状態を示す図であり、（ｂ）は最終の分割結果を示す図である。 図１に示すカメラで設定されるＡＦ設定範囲と主顔領域との関係を説明するための図であり、（ａ）はＡＦ設定範囲に主顔領域が収まっている状態を示す図、（ｂ）はＡＦ設定範囲から主顔領域がはみ出している状態を示す図である。 図１に示すカメラで行われる領域選択を説明するための図であり、（ａ）は第１の統合領域分割結果を用いた領域選択を示す図、（ｂ）は第２の統合領域分割結果を用いた領域選択を示す図である。 本発明の第２の実施形態に係るカメラで行われる画像処理の決定について説明するためのフローチャートである。 図１０に示す領域分割処理を説明するためのフローチャートである。 本発明の第２の実施形態に係るカメラで行われる領域選択を説明するための図であり、（ａ）はＡＦ設定範囲と主顔領域との関係を示す図、（ｂ）は第１の統合領域分割結果を用いた領域選択を示す図、（ｃ）は第２の統合領域分割結果を用いた領域選択を示す図である。

以下、本発明の実施の形態による画像処理装置の一例について図面を参照して説明する。

［第１の実施形態］
図１は、本発明の第１の実施形態による画像処理装置を備える撮像装置の一例についてその構成を示すブロック図である。

図示の撮像装置は、所謂電子カメラ（以下単にカメラと呼ぶ）であり、ズーム機構を備える撮影レンズユニット（以下単に撮影レンズと呼ぶ）１０１を有している。撮影レンズ１０１の後段には絞り１０２およびフォーカスレンズ１０４が配置され、フォーカスレンズ１０４の後段には、ＣＣＤ又はＣＭＯＳセンサなどの撮像素子１０８が配置されている。

絞り１０２は、撮影レンズ１０１を介して入射した光学像における光量を調整するとともに被写界深度の調節を行う。フォーカスレンズ１０４は焦点合わせを行って光学像を撮像素子１０８に結像するためのレンズである。

フォーカスレンズ１０４はＡＦ処理部１０５によって光軸に沿って駆動制御される。そして、ＡＦ処理部１０５は、フォーカスレンズ１０４の位置（駆動位置）に応じて、後述する距離分布（つまり、距離情報）を取得してシステム制御部１１５に与える。

撮像素子１０８は、光学像に応じた電気信号（アナログ信号）を生成してＡ／Ｄ変換部１０９に出力する。Ａ／Ｄ変換部１０９は、ＣＤＳ回路および非線形増幅回路を備えており、ＣＤＳ回路は撮像素子１０８の出力であるアナログ信号に含まれる出力ノイズを除去する。そして、非線形増幅回路によってアナログ信号を増幅した後、Ａ／Ｄ変換部１０９は当該アナログ信号をＡ／Ｄ変換してデジタル信号（画像データ）とする。

画像処理部１１０は、Ａ／Ｄ変換部１０９の出力であるデジタル信号に対して各種の画像処理を行う。図示の例では、画像処理部１１０は、デジタル信号（つまり、画像データ）が示す画像（一画面毎）における色分布を取得する処理を行う。そして、システム制御部（以下ＣＰＵという）１１５は、画像処理部１１０で得られた色分布（つまり、色情報）に基づいて、ＡＦ処理部１０５で得られた距離分布と被写体検出モジュール１２３で得られた被写体検出情報とを参照して被写体（つまり、被写体領域）を特定する。

画像処理部１１０は、ＣＰＵ１１５の制御下で特定された被写体領域に基づいて画像の一部について切り出しを行う処理又はぼかしを付加するぼかし処理などの画像処理を行う。そして、画像処理部１１０は画像処理後の画像データを画像記録部１１４に送る。

画像記録部１１４はメモリーカードなどの記録媒体およびインターフェースを有し、画像処理後の画像データを記録媒体に記録する。

ＣＰＵ１１５はカメラ全体の制御を司り、例えば、撮影シーケンスなどに応じてカメラを制御する。第１のスイッチ（ＳＷ１）１２１が操作されると、ＣＰＵ１１５はオートフォーカス制御（ＡＦ）および自動露出制御などの撮影スタンバイ動作を開始する。

第１のスイッチ１２１の操作の後、第２のスイッチ（ＳＷ２）１２２が操作されると、ＣＰＵ１１５はカメラを制御して撮影を実行する。撮影の実行によって、前述したようにして、処理後の画像データが記録媒体に記録される。

画像処理部１１０で画像処理された画像データは被写体検出モジュール１２３に与えられる。被写体検出モジュール１２３は画像データにおいて被写体領域（例えば、顔領域）を検出して、その検出結果である被写体の位置、大きさ、およびその信頼度をＣＰＵ１１５に送る。

図２は、図１に示すカメラにおける撮影処理を説明するためのフローチャートである。なお、図２に示すフローチャートに係る処理はＣＰＵ１１５の制御下で行われる。

撮影処理を開始すると、ＣＰＵ１１５は第１のスイッチ（ＳＷ１）１２１がＯＮであるか否かを判定する（ステップＳ２０１）。第１のスイッチ１２１がＯＦＦであると（ステップＳ２０１において、ＮＯ）、ＣＰＵ１１５は待機する。

第１のスイッチ１２２がＯＮであると（ステップＳ２０１において、ＹＥＳ）、ＣＰＵ１１５は、画像を表示する画面において所定の範囲であるＡＦ設定範囲に複数のＡＦ枠を設定する（ステップＳ２０２）。

図３は、図２で説明したＡＦ設定範囲の一例を示す図である。

ここでは、ＣＰＵ１１５は、画面３０１に横方向にＮ個、そして、縦方向にＭ個の合計Ｎ×Ｍ個の矩形状のＡＦ枠３０２を備えるＡＦ設定範囲３０３を設定する（ＮおよびＭは２以上の整数である）。図示の例においては、Ｎ＝７、Ｍ＝９である。なお、一般に、画面３０１の周辺に近づくにつれて、像面湾曲および周辺光量低下に起因してＡＦの精度は低下する。つまり、ＡＦ精度が保証できない状態となる。

さらに、像面湾曲および周辺光量低下は、撮影レンズ１０１のズーム倍率および絞り１０２の絞り値にも起因し、これらズーム倍率および絞り値が変化すると、ＡＦ精度が保証可能な範囲が変化する。

従って、ズーム倍率および絞りの設定値に応じて、ＡＦ精度が保障可能な範囲内にＡＦ設定範囲３０３を設定するため、ズーム倍率および絞りの設定値に応じてＡＦ設定範囲３０３を設定する範囲を切り替えるようにしてもよい。前述のように、ＡＦ枠３０２を設定した範囲をＡＦ設定範囲と呼ぶ。

再び図２を参照して、ＣＰＵ１１５は、ＡＦ処理部１０５を制御して、予め定められたＡＦスキャンを行う距離範囲でフォーカスレンズ１０４を駆動する。そして、ＣＰＵ１１５は、フォーカスレンズ１０４を駆動しつつ、ＡＦ枠３０２毎にフォーカスレンズ１０４の合焦位置を求める（ステップＳ２０３）。

続いて、ＰＵ１１５は第２のスイッチ（ＳＷ２）１２２がＯＮとされたか否かを判定する（ステップＳ２０４）。第２のスイッチ１２２がＯＦＦであると（ステップＳ２０４において、ＮＯ）、ＣＰＵ１１５は待機する。一方、第２のスイッチ１２２がＯＮとされると（ステップＳ２０４において、ＹＥＳ）、ＣＰＵ１１５は、後述するようにして撮影画像について行う画像処理を決定する（ステップＳ２０５）。

次に、ＣＰＵ１１５は、画像処理部１１０によって、ステップＳ２０５で決定した画像処理を行う（ステップＳ２０６）。そして、ＣＰＵ１１５の制御下で、画像処理部１１０は、処理後の画像データを画像記録部１１４によって記録媒体に保存して（ステップＳ２０７）、撮影処理を終了する。

図４は、図２に示す画像処理の決定処理を説明するためのフローチャートである。

画像処理を決定するための処理を開始すると、ＣＰＵ１１５は距離情報、色情報、および被写体検出情報を取得する（ステップＳ４０１）。ここで、距離情報とは、前述のステップＳ２０３で行われたＡＦスキャンで得られたＡＦ枠３０２毎の合焦位置をいう。

色情報とは画面３０１を複数のブロックに分割した際のブロック毎の平均色相値をいう。平均色相値を求める際には、たとえば、画像処理部１１０は、Ａ／Ｄ変換部１０９からの出力である画像データをＹＵＶ信号に変換してブロック毎の平均色相値を求める。なお、平均色相値の代わりにブロック毎の平均輝度値を用いるようにしてもよい。

被写体検出情報とは、画面３０１における被写体の位置および大きさ（サイズ）を示す情報であり、この被写体検出情報は被写体検出モジュール１２３によって検出される。

続いて、ＣＰＵ１０１は、後述するようにして、距離情報、色情報、および被写体検出情報に基づいて、ＡＦ設定範囲３０３および当該ＡＦ設定範囲よりも広い拡張範囲を複数の領域に分割する（ステップＳ４０２）。そして、ＣＰＵ１１５はこれら領域の各々について画像処理の対象として選択された被写体領域が存在するか否かを判定する（ステップＳ４０３）。

画像処理の対象として選択された被写体領域が存在すると（ステップＳ４０３において、ＹＥＳ）、ＣＰＵ１１５は、画像処理部１１０によって当該画像処理の対象として選択された被写体領域に対して所定の画像処理（例えば、ぼかし処理又は切り出し処理）を行う旨を決定する（ステップＳ４０４）。そして、ＣＰＵ１１５は画像処理を決定するための処理を終了する。

画像処理の対象として選択された被写体領域が存在しないと（ステップＳ４０３において、ＮＯ）、ＣＰＵ１１５は、ステップＳ４０２による領域分割に応じた画像処理を行わない旨を決定する（ステップＳ４０５）。そして、ＣＰＵ１１５は画像処理を決定するための処理を終了する。

なお、所定の画像処理とは、例えば、画像処理の対象として選択された被写体領域以外の領域に対して画像処理部１０８によってぼかし処理を行う処理、又は画像処理の対象として選択された被写体領域を含む範囲を切り出す処理をいう。

図５は、図４に示す領域分割処理を説明するためのフローチャートである。

領域分割処理を開始すると、ＣＰＵ１１５は距離情報を参照して、互いに合焦位置が近いＡＦ枠同士で画面３０１を分割する（距離分割：ステップＳ５０１）。

図６は、図５に示す領域分割処理による画面分割の一例を説明するための図である。そして、図６（ａ）は距離情報に応じた画面分割を示す図であり、図６（ｂ）は色情報に応じた画面分割を示す図である。

図６（ａ）に示す例では、カメラの手前（前方）に位置する花と後方に位置する花と、そして、背景が山である撮影画像（つまり、画面３０１）において、ＡＦ枠３０２毎のピーク位置（つまり、合焦位置）が示されている。前方の花については、ピーク位置は”１９９”〜”２０２”の範囲に分布しており、後方の花については、ピーク位置は”１４９”〜”１５１”の範囲に分布している。一方、背景の山については、ピーク位置は”９９”〜”１０３”の範囲に分布している。

ＣＰＵ１１５は、前述のように、互いにピーク位置が近いＡＦ枠同士について画面３０１を分割する。つまり、ＣＰＵ１１５は、ピーク位置が所定の範囲にあるＡＦ枠３０２を統合することになる。

ここでは、ＣＰＵ１１５は、距離情報に応じてＡＦ枠３０２の統合を行って前方の花領域を規定する距離領域６０１、後方の花領域を規定する距離領域６０２、および山領域を規定する距離領域６０３を得る。なお、図６（ａ）において、バツ印はピーク値が得られなかったＡＦ枠３０２を示す。

再び図５を参照して、ＣＰＵ１１５は色情報を参照して、前述のブロックにおいて平均色相値が近いブロック同士で画面３０１を分割する（色領域分割：ステップＳ５０２）。

図６（ｂ）に示す例では、画面３０１を横３０ブロック、縦２０ブロックの合計３０×２０＝６００ブロックに分割した際の色領域分割の結果が示されている。図示の例では、四角で示すブロックは空の色領域６０７、アスタリスクで示す領域は山の色領域６０６、白抜きの星印で示す領域は花の色領域６０４、そして、黒い星印で示す領域は花の茎と葉の色領域６０５である。つまり、ここでは、画面３０１は色領域６０４〜６０７に分割されている。

続いて、ＣＰＵ１１５は、距離分割結果および色領域分割結果に応じて、分解能が高く距離情報を反映した領域分割結果を求める。つまり、ＣＰＵ１１５は距離領域と色領域とを統合して統合領域分割結果を生成することになる（ステップＳ５０３）。

距離（つまり、合焦位置）に応じた領域分割結果のみでは画面全体の領域に対する分解能が低く、一方、色情報（つまり、平均色相値）に応じた領域分割結果のみでは同一の距離にある複数の色の被写体領域が異なる被写体領域として分割されてしまう。このため、距離情報および色情報を統合して領域分割が行われることになる。

図７は、図５に示す領域分割処理による画面分割結果の一例を説明するための図である。そして、図７（ａ）は図６（ａ）および図６（ｂ）に示す画面分割を重ね合わせた状態を示す図であり、図７（ｂ）は最終の分割結果を示す図である。

図７（ａ）に示すように、ＣＰＵ１１５は、図６（ａ）に示す距離領域分割結果および図６（ｂ）に示す色領域分割結果を重ね合わせて色領域毎に代表距離を求める。代表距離を求める際には、例えば、距離領域分割結果と色領域分割結果とを重ね合わせ、色領域６０４〜６０７毎に重なった距離領域６０１〜６０３を得る。

ＣＰｕ１１５は色領域６０４〜６０７毎に対応する距離領域６０１〜６０３の数を得る。そして、ＣＰＵ１１５は、当該数が最も大きく、さらにこの最も大きい数の距離領域の割合が所定の閾値以上であると、当該最も数の大きい距離領域における距離を色領域の代表距離とする。

この結果、図７（ｂ）に示すように、前方の花は距離領域６０１（図中”１”で示す）に対応付けられ、後方の花は距離領域６０２（図中”２”で示す）に対応付けられ、山は距離領域６０３（図中”３”で示す）に対応付けられる。これによって、色領域毎に距離領域を対応付けた領域分割結果が得られる。

なお、ここでは、花については、花弁部分と茎および葉の部分とでは色が異なり、色領域においては別の被写体としてされてしまうが、色領域と距離領域と対応付けた結果、同一の距離領域として、花弁部分と茎および葉の部分とが統合されることになる。

また、図７（ｂ）に示す例では、空領域はローコントラストであるので、ＡＦ非合焦とされて距離分割結果が取得できない。このため、空領域については距離領域が割り当てられず、この場合には、図示のように、空領域を示す色領域６０７には”９９”が挿入される。

ステップＳ５０３の処理では、ＣＰＵ１１５は、距離領域６０１〜６０３とＡＦ設定範囲３０３における色領域６０４〜６０７とを対応付けた結果を第１の統合領域分割結果として生成する。さらに、ＣＰＵ１１５は、距離領域６０１〜６０３と拡張範囲（ここでは、画面全体）における色領域６０４〜６０７とを対応付けた結果を第２の統合領域分割結果として生成する。

次に、ＣＰＵ１１５は、被写体検出モジュール１２３によって少なくとも１つの人物の顔領域が検出されているか否かを判定する（ステップＳ５０４）。なお、被写体検出モジュール１２３において複数の顔領域が検出された際には、ＣＰＵ１１５は顔領域毎のサイズ、位置、およびその信頼度に応じて、複数の顔領域の１つを主顔領域とする。検出された顔領域が１つである場合には、当該顔領域が主顔領域とされる。

人物の顔領域が検出されると（ステップＳ５０４において、ＹＥＳ）、ＣＰＵ１１５は主顔領域がＡＦ設定範囲３０３に収まっているか否かを判定する（ステップＳ５０５）。

図８は、図１に示すカメラで設定されるＡＦ設定範囲と主顔領域との関係を説明するための図である。そして、図８（ａ）はＡＦ設定範囲に主顔領域が収まっている状態を示す図であり、図８（ｂ）はＡＦ設定範囲から主顔領域がはみ出している状態を示す図である。

主顔領域がＡＦ設定範囲３０３に収まっていると（ステップＳ５０５において、ＹＥＳ）、つまり、図８（ａ）に示すように、被写体８０１の顔領域がＡＦ設定範囲３０３に収まっていると、ＣＰＵ１１５は前述の第１の統合領域分割結果を参照して、主顔領域と重なる第１の統合領域分割結果の領域を第１の選択領域として選択する（ステップＳ５０６）。

一方、主顔領域がＡＦ設定範囲３０３からはみ出していると（ステップＳ５０５において、ＮＯ）、つまり、図８（ｂ）に示すように、被写体８０２の顔領域がＡＦ設定範囲３０３からはみ出していると、ＣＰＵ１１５は前述の第２の統合領域分割結果を参照して、主顔領域と重なる第２の統合領域分割結果の領域を第２の選択領域として選択する（ステップＳ５０７）。

図９は、図１に示すカメラで行われる領域選択を説明するための図である。そして、図９（ａ）は第１の統合領域分割結果を用いた領域選択を示す図であり、図９（ｂ）は第２の統合領域分割結果を用いた領域選択を示す図である。

図９（ａ）に示すように、被写体８０１の顔領域がＡＦ設定範囲３０３に収まっていると、ＣＰＵ１１５は第１の統合領域分割結果（つまり、ＡＦ設定範囲３０３）において、人物８０１の顔領域と重なる領域（ここでは領域”１”）を第１の選択領域として選択することになる。

一方、図９（ｂ）に示すように、被写体８０２の顔領域がＡＦ設定範囲３０３からはみ出すと、ＣＰＵ１１５は第２の統合領域分割結果（つまり、画面３０１）において、人物８０２の顔領域と重なる領域（ここでは領域”１”）を第２の選択領域として選択することになる。

なお、ステップＳ５０６又はＳ５０７において、第１又は第２の選択領域を選択する際、主顔領域の一部が含まれるのみの領域（例えば、被写体８０２について第１の統合領域分割結果）を選択すると、当該主顔領域の近傍に存在する他の顔領域を誤って選択する可能性がある。このため、主顔領域の中心位置を含み、かつ主顔領域と重なる割合が所定の割合以上である統合領域分割結果を用いる。

ステップＳ５０６又はＳ５０７の処理に続いて、ＣＰＵ１１５は主顔領域に基づいて人物の胴体を示す胴体領域を推定して、当該胴体領域がＡＦ設定範囲３０３に収まっているか否かを判定する（ステップＳ５０８）。ここでは、ＣＰＵ１１１５は主顔領域のサイズに応じて、当該主顔領域の下側に位置する所定サイズの領域を胴体領域として推定する。なお、図８（ａ）に示す例では、胴体領域８０３はＡＦ設定範囲３０３に胴体領域が収まっているものの、図８（ｂ）に示す例では胴体領域８０４の一部がＡＦ設定範囲３０３からはみ出している。

胴体領域がＡＦ設定範囲３０３に収まっていると（ステップＳ５０８において、ＹＥＳ）、ＣＰＵ１１５は第１の統合領域分割結果を参照して、胴体領域８０３と重なる第１の統合領域分割結果の領域（例えば、図９（ａ）において領域”４”）を追加して選択領域として選択する（ステップＳ５０９）。そして、ＣＰＵ１１５は領域分割処理を終了する。

一方、胴体領域がＡＦ設定範囲３０３からはみ出していると（ステップＳ５０８において、ＮＯ）、ＣＰＵ１１５は第２の統合領域分割結果を参照して、胴体領域８０４と重なる第２の統合領域分割結果の領域（例えば、図９（ｂ）において領域”４”）を追加して第２の選択領域として選択する（ステップＳ５１０）。そして、ＣＰＵ１１５は領域分割処理を終了する。

なお、ステップＳ５０９又はＳ５１０において第１又は第２の選択領域を選択する際、主顔領域における距離から遠い領域又は胴体領域に一部が含まれるのみの領域を選択すると、当該胴体領域と重なる他の被写体を誤って選択する可能性がある。このため、主顔領域と重なる領域における代表距離が所定範囲内にあって、かつ胴体領域と重なる割合が所定の割合以上である領域が選択される。

人物の顔領域が検出されないと（ステップＳ５０４において、ＮＯ）、ＣＰＵ１１５は第１の統合領域分割結果を参照して、領域のサイズ、代表距離、および中心度合い（画面の中心に近いか否かを示す度合い）に応じて、主となる被写体の可能性が最も高い領域を第１の選択領域として選択する（ステップＳ５１１）。そして、ＣＰＵ１１５は領域分割処理を終了する。

なお、ここでは、領域のサイズがより大きく、距離がより至近側で、かつ画面内の中心近くに存在する程、ＣＰＵ１１５は主となる被写体の可能性が高い領域であると判定することになる。

このように、本発明の第１の実施形態では、画面における距離（つまり、ピント位置）の分布が取得できるＡＦ設定範囲と当該ＡＦ設定範囲よりも広い拡張範囲に対応付けてそれぞれ第１の統合領域分割結果および第２の統合領域分割結果を設定するようにしたので、画像における領域分割の精度を保証することができるばかりでなく、領域分割結果に基づいて精度よく画像処理を行うことができる。

［第２の実施形態］
続いて、本発明の第２の実施形態による画像処理装置を備えるカメラについて説明する。

なお、第２の実施形態に係るカメラの構成は図１に示すカメラと同様である。さらに、第２の実施形態に係るカメラにおける撮影処理は図２に示すフローチャートで説明した処理と同様であるが、ステップＳ２０５に示す画像処理を決定するための処理が異なる。

図１０は、本発明の第２の実施形態に係るカメラで行われる画像処理の決定について説明するためのフローチャートである。

なお、図１０において、図４に示すフローチャートにおけるステップと同一のステップについては同一の参照符号を付して説明を省略する。また、図１０に示すフローチャートに係る処理は、図１に示すＣＰＵ１１５の制御下で行われる。

画像処理を決定するための処理を開始すると、ＣＰＵ１１５は、前述のステップＳ４０１において距離情報、色情報、および被写体検出情報を取得する。そして、ＣＰＵ１１５は、後述するようにして、距離情報、色情報、および被写体検出情報に基づいてＡＦ設定範囲および当該ＡＦ設定範囲よりも広い拡張範囲を複数の領域に分割する領域分割を行う（ステップＳ８０２）。

続いて、ＣＰＵ１１５はＡＦ設定範囲および拡張範囲の領域（ここでは画面全体）において画像処理の対象となる被写体領域が存在するか否かを判定する（ステップＳ８０３）。画像処理の対象となる被写体領域が存在すると（ステップＳ８０３において、ＹＥＳ）、ＣＰＵ１１５は所定の第１の画像処理を行う旨を決定する（ステップＳ８０４）。そして、ＣＰＵ１１５は画像処理の決定に係る処理を終了する。

なお、第１の画像処理は、例えば、選択された領域以外の領域についてぼかし処理を行うなどの被写体領域の分割精度を高くする必要のある処理である。

一方、画像処理の対象となる被写体領域が存在しないと（ステップＳ８０３において、ＮＯ）、ＣＰＵ１１５は画像全体、つまり、画面全体の領域において画像処理の対象となる被写体領域が存在するか否かを判定する（ステップＳ８０５）。画像処理の対象となる被写体領域が存在しないと（ステップＳ８０５において、ＮＯ）、ＣＰＵ１１５は画像処理の決定に係る処理を終了する。

画像処理の対象となる被写体領域が存在すると（ステップＳ８０５において、ＹＥＳ）、ＣＰＵ１１５は、所定の第２の画像処理を行う旨を決定する（ステップＳ８０６）。そして、ＣＰＵ１１５は画像処理の決定に係る処理を終了する。

第２の画像処理は、例えば、選択された領域以外の領域について切り出し処理を行うなどの被写体領域について高い分割精度が要求されない処理である。

図１１は、図１０に示す領域分割処理を説明するためのフローチャートである。なお、図１１において、図５に示すフローチャートにおけるステップと同一のステップについては同一の参照符号を付して説明を省略する。

領域分割処理を開始すると、図５で説明したステップＳ５０１〜Ｓ５０３において、ＣＰＵ１１５は距離分割および色分割を行って、第１の統合領域分割結果および第２の統合領域分割結果を生成する。

図１２は、本発明の第２の実施形態に係るカメラで行われる領域選択を説明するための図である。そして、図１２（ａ）はＡＦ設定範囲と主顔領域との関係を示す図であり、図１２（ｂ）は第１の統合領域分割結果を用いた領域選択を示す図である。また、図１２（ｃ）は第２の統合領域分割結果を用いた領域選択を示す図である。

図１２（ａ）に示す例では、カメラの前方（手前側）に位置する人物、そして、後方の花および背景の山を撮影した際に得られた画像（つまり、画面３０１）に設定されたＡＦ設定範囲３０３におけるＡＦ枠３０２毎のピーク位置（合焦位置）が示されている。前方の人物については、ピーク位置は”１９９”〜”２０２”の範囲に分布している。また、後方の花については、ピーク位置は”１４９”〜”１５１”の範囲に分布しており、背景の山については、ピーク位置は”９９”〜”１０３”の範囲に分布している。

さらに、画面右下には看板１２０１が存在し、この看板１２０１は人物よりもカメラに近い距離に位置しているものの、看板１２０１の存在範囲はＡＦ設定範囲３０３から外れた位置にある。このため、看板１２０１のみを含むＡＦ枠３０２は存在しない。一方、看板１２０１を一部含むＡＦ枠３０２のピーク位置は人物の胴体領域８０３および山に影響されており、看板１２０１の一部については距離の分布が正しく取得できない。

図１２（ｂ）に示す例では、前述の第１の統合領域分割結果（つまり、ＡＦ設定範囲３０３）を参照して領域選択（つまり、領域分割）を行っているので、互いに異なる距離に存在する主顔領域（領域”１”）、胴体領域（領域”４”）、花領域（領域”２”）、および山（領域”３”）について精度よく領域分割を行うことができる。

一方、図１２（ｃ）に示す例では、前述の第２の統合領域分割結果（つまり、ここでは、画面３０１）を参照して領域分割を行っているので、図１２（ｂ）に比べて分割精度が低下し、その結果、胴体領域８０３に看板１２０１の領域が含まれてしまう（領域”４”）。

次に、ＣＰＵ１１５は、ステップＳ５０４において画像に少なくとも１つの人物の顔領域（主顔領域）が検出されているか否かを判定する。主顔領域が検出されていると（ステップＳ５０４において、ＹＥＳ）、ＣＰＵ１１５は第１の統合領域分割結果を参照して、主顔領域８０１を検出した領域と重なる領域（図１２（ｂ）に示す領域”１”）を第１の選択領域として選択する（ステップＳ９０５）。

続いて、ＣＰＵ１１５は、第１の統合領域分割結果を参照して、主顔領域８０１の範囲から推定した胴体領域８０３と重なる領域（図１２（ｂ）に示す領域”４”）を第１の選択領域に追加する（ステップＳ９０６）。そして、ＣＰＵ１１５は第２の統合領域分割結果を参照して、主顔領域８０１を検出した領域と重なる領域（図１２（ｃ）に示す領域”１”）を第２の選択領域として選択する（ステップＳ９０７）。

次に、ＣＰＵ１１５は、第２の統合領域分割結果を参照して、主顔領域８０１の範囲から推定した胴体領域８０３と重なる領域（図１２（ｃ）に示す領域”４”）を第２の選択領域に追加する（ステップＳ９０８）。そして、ＣＰＵ１１５は領域分割処理を終了する。

人物の顔領域が検出されないと（ステップＳ５０４において、ＮＯ）、ＣＰＵ１１５は第１の統合領域分割結果を参照して、領域のサイズ、代表距離、および中心度合いに応じて、主となる被写体の可能性が最も高い領域を第１の選択領域として選択する（ステップＳ９０９）。そして、ＣＰＵ１１５は、第２の統合領域分割結果を参照して、領域のサイズ、代表距離、および中心度合いに応じて、主となる被写体の可能性が最も高い領域を第２の選択領域として選択して（ステップＳ９１０）、領域分割処理を終了する。

このようにして、第１の選択領域として選択された領域以外の範囲にぼかし処理を行う場合には、人物などの領域についてその分割精度が高いので、人物以外の領域をぼかし処理すれば、違和感のない仕上がりとすることができる。

第２の選択領域として選択された領域以外の範囲にぼかし処理を行う場合、人物とその距離が異なる看板がぼかし処理されることなく残って違和感のある仕上がりとなる。このため。第２の統合領域分割結果を参照して得られた第２の選択領域を用いてぼかし処理のような高い分割精度が要求される処理は行わないようにする。

一方、第２の選択領域を対象とする切り出し処理を行う場合には、人物の周辺が切り出されても、あまり違和感のある仕上がりとはならず、第２の選択領域では画面全体を対象とするので、切り出す処理を行う範囲が広がって、ＡＦ設定範囲に限定した切り出し処理よりも表現の幅が広がることになる。

このように、本発明の第２の実施形態では、画像における領域の分割の際に、高い精度を要求する画像処理を行う場合には、ＡＦ設定範囲で領域分割を行い、高い精度を必要としなくてよい場合には、ＡＦ設定範囲よりも広い拡張範囲（例えば、画面全体）を対象として領域分割を行う。これによって、画像処理に応じて適切な領域分割を行うことができる。

上述の説明から明らかなように、図１に示す例においては、ＡＦ処理部１０５、画像処理部１１０、およびＣＰＵ１１５が第１の分割手段として機能する。また、画像処理部１１０およびＣＰＵ１１５が第２の分割手段として機能する。

さらに、ＣＰＵ１１５は領域生成手段、選択手段、および変更手段として機能し、ＣＰＵ１１５および画像処理部１１０は第１の画像処理手段および第２の画像処理手段として機能する。加えて、撮影レンズ１０１、絞り１０２、フォーカスレンズ１０４、撮像素子１０８、およびＡ／Ｄ変換部１０９は撮像手段を構成する。

なお、図１に示す例では、少なくともＡＦ処理部１０５、画像処理部１１０、ＣＰＵ１１５、および被写体検出モジュール１２３が画像処理装置を構成する。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記の実施の形態の機能を制御方法として、この制御方法を画像処理装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを画像処理装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

上記の制御方法および制御プログラムの各々は、少なくとも第１の分割ステップ、第２の分割ステップ、領域生成ステップ、選択ステップ、および第１の画像処理ステップを有している。

また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。

１０１ 撮影レンズ
１０２ 絞り
１０４ フォーカスレンズ
１０５ ＡＦ処理部
１０８ 撮像素子
１０９ Ａ／Ｄ変換部
１１０ 画像処理部
１１４ 画像記録部
１１５ システム制御部（ＣＰＵ）
１２３ 被写体検出モジュール

Claims (9)

1. 画像における特定の被写体を検出して、当該特定の被写体の検出結果に応じて前記画像に対して画像処理を行う画像処理装置であって、
   前記画像を表示する画面に複数のＡＦ枠を有するＡＦ設定範囲を設定して、前記ＡＦ枠の各々について合焦位置を求めて、当該合焦位置に応じて前記ＡＦ設定範囲を複数の距離領域に分割する第１の分割手段と、
   前記ＡＦ設定範囲よりも広い拡張範囲を所定の複数のブロックに分割して前記ブロックの各々について少なくとも輝度値および色相の１つを示す色情報を得て、当該色情報に応じて前記画面を複数の色領域に分割する第２の分割手段と、
   前記距離領域と前記ＡＦ設定範囲における色領域とを対応付けて第１の統合領域分割結果を生成する領域生成手段と、
   前記画像において前記特定の被写体が検出された際、前記特定の被写体が前記ＡＦ設定範囲に収まっていると、前記第１の統合領域分割結果を参照して前記特定の被写体を規定する第１の選択領域を選択する選択手段と、
   前記第１の選択領域に応じて前記画像に対して所定の第１の画像処理を行う第１の画像処理手段と、
   を有することを特徴とする画像処理装置。
2. 前記領域生成手段は、前記距離領域と前記拡張範囲における色領域とを対応付けて第２の統合領域分割結果を生成し、
   前記選択手段は、前記画像において前記特定の被写体が検出された際、前記特定の被写体の少なくとも一部が前記ＡＦ設定範囲から外れていると、前記第２の統合領域分割結果を参照して前記特定の被写体を規定する第２の選択領域を選択しており、
   前記第２の選択領域に応じて前記画像に対して所定の第２の画像処理を行う第２の画像処理手段を有することを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の画像処理手段は前記第１の画像処理として前記画像において前記第１の選択領域を除く領域についてぼかし処理を行うことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記第２の画像処理手段は前記第２の画像処理として前記画像において前記第２の選択領域を切り出す切り出し処理を行うことを特徴とする請求項２に記載の画像処理装置。
5. 前記拡張範囲は前記画面の全体に設定されることを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
6. 前記特定の被写体を撮像して前記画像を得る撮像手段と、
   請求項１〜５のいずれか１項に記載の画像処理装置と、
   を有することを特徴とする撮像装置。
7. 前記撮像手段には、少なくともズーム機構および絞りが備えられており、
   前記ズーム機構におけるズーム倍率および前記絞りにおける絞り設定値に応じて前記ＡＦ設定範囲を変更する変更手段を有することを特徴とする請求項６に記載の撮像装置。
8. 画像における特定の被写体を検出して、当該特定の被写体の検出結果に応じて前記画像に対して画像処理を行う画像処理装置の制御方法であって、
   前記画像を表示する画面に複数のＡＦ枠を有するＡＦ設定範囲を設定して、前記ＡＦ枠の各々について合焦位置を求めて、当該合焦位置に応じて前記ＡＦ設定範囲を複数の距離領域に分割する第１の分割ステップと、
   前記ＡＦ設定範囲よりも広い拡張範囲を所定の複数のブロックに分割して前記ブロックの各々について少なくとも輝度値および色相の１つを示す色情報を得て、当該色情報に応じて前記画面を複数の色領域に分割する第２の分割ステップと、
   前記距離領域と前記ＡＦ設定範囲における色領域とを対応付けて第１の統合領域分割結果を生成する領域生成ステップと、
   前記画像において前記特定の被写体が検出された際、前記特定の被写体が前記ＡＦ設定範囲に収まっていると、前記第１の統合領域分割結果を参照して前記特定の被写体を規定する第１の選択領域を選択する選択ステップと、
   前記第１の選択領域に応じて前記画像に対して所定の第１の画像処理を行う第１の画像処理ステップと、
   を有することを特徴とする制御方法。
9. 画像における特定の被写体を検出して、当該特定の被写体の検出結果に応じて前記画像に対して画像処理を行う画像処理装置で用いられる制御プログラムであって、
   前記画像処理装置が備えるコンピュータに、
   前記画像を表示する画面に複数のＡＦ枠を有するＡＦ設定範囲を設定して、前記ＡＦ枠の各々について合焦位置を求めて、当該合焦位置に応じて前記ＡＦ設定範囲を複数の距離領域に分割する第１の分割ステップと、
   前記ＡＦ設定範囲よりも広い拡張範囲を所定の複数のブロックに分割して前記ブロックの各々について少なくとも輝度値および色相の１つを示す色情報を得て、当該色情報に応じて前記画面を複数の色領域に分割する第２の分割ステップと、
   前記距離領域と前記ＡＦ設定範囲における色領域とを対応付けて第１の統合領域分割結果を生成する領域生成ステップと、
   前記画像において前記特定の被写体が検出された際、前記特定の被写体が前記ＡＦ設定範囲に収まっていると、前記第１の統合領域分割結果を参照して前記特定の被写体を規定する第１の選択領域を選択する選択ステップと、
   前記第１の選択領域に応じて前記画像に対して所定の第１の画像処理を行う第１の画像処理ステップと、
   を実行させることを特徴とする制御プログラム。

Images