JP2007096437A - 画像生成者の意図の判定 - Google Patents

Abstract

【課題】 画像から画像生成者の意図を判定することを可能とする。
【解決手段】 画像処理装置は、レンズと撮像素子とを用いて、画像を構成する複数の画素の色を表す画像データを生成する撮像部と、画像を構成する複数の画素のそれぞれに対応した、被写体と撮像部との間の距離である被写体距離を表す距離データを生成する距離データ生成部と、を備える。画像処理装置は、また、距離データに基づき、画像の中から複数の画素の集合を主たる被写体の候補として抽出する主被写体候補抽出部と、所定の条件に基づいて、主たる被写体の候補が主たる被写体であるか否かを判定する主被写体判定部と、を備える。
【選択図】図６

Description

本発明は、画像における画像生成者の意図を判定する技術に関する。

近年、撮像素子を用いて被写体を撮像することによりデジタルデータとしての画像データを生成するデジタルスチルカメラ（以下「ＤＳＣ」とも呼ぶ）が広く普及している。また、このような画像データに対するホワイトバランス補正等の画像処理（画像補正）が、一般に実施されている。

このような画像処理の１つとして、被写体の各部分における距離情報を含む画像データを用いた画像処理の技術が知られている（例えば特許文献１）。特許文献１には、距離情報を含む画像データと合焦位置の情報とを用いて、画像にぼけ効果を加える画像処理が開示されている。

特開２０００−２０７５４９

画像生成者（撮像者）は、画像中の特定の被写体を主たる被写体と考えたり、あるいは、画像中のすべての被写体を同程度の重要性を有する被写体と考えたり、といったような、ある意図を持って画像を生成する場合が多い。しかし、生成された画像データからこのような画像生成者の意図を判定する技術は知られていない。そのため、上記従来技術では、このような画像生成者の意図は考慮されておらず、必ずしも画像生成者の意図に沿った画像処理が実施されるわけではないという問題があった。

本発明は、上述した従来の課題を解決するためになされたものであり、画像から画像生成者の意図を判定することを可能とする技術を提供することを目的とする。

上記課題の少なくとも一部を解決するために、本発明の第１の画像処理装置は、
レンズと撮像素子とを用いて、画像を構成する複数の画素の色を表す画像データを生成する撮像部と、
前記画像を構成する複数の画素のそれぞれに対応した、被写体と前記撮像部との間の距離である被写体距離を表す距離データを生成する距離データ生成部と、
前記距離データに基づき、前記画像の中から複数の画素の集合を主たる被写体の候補として抽出する主被写体候補抽出部と、
所定の判定条件を用いて、前記主たる被写体の候補が主たる被写体であるか否かを判定する主被写体判定部と、を備える。

この画像処理装置では、画像データおよび距離データを生成し、距離データに基づき被写体の候補を抽出し、所定の判定条件を用いて主たる被写体の候補が主たる被写体であるか否かを判定する。そのため、この画像処理装置では、画像における主たる被写体の有無や、画像に主たる被写体が含まれる場合に画像のどの部分が主たる被写体であるのかといったような画像生成者の意図を判定することができる。

上記画像処理装置において、さらに、画像データの補正を行う補正処理部を備え、
前記補正処理部は、前記主被写体判定部が前記主たる被写体の候補は主たる被写体であると判定した場合には、前記主たる被写体を考慮して画像データの補正を行い、前記主被写体判定部が前記主たる被写体の候補は主たる被写体ではないと判定した場合には、前記主たる被写体を考慮せずに画像データの補正を行うとしてもよい。

このようにすれば、画像生成者の意図に沿った画像データの補正を行うことができる。

また、上記画像処理装置において、前記補正処理部は、前記主被写体判定部が前記主たる被写体の候補は主たる被写体であると判定した場合には、前記主たる被写体の候補を構成する画素についての画像データに基づき、前記画像全体を表す画像データの補正に用いる指標値を設定するとしてもよい。

このようにすれば、主たる被写体における補正結果が良好となるような画像データの補正を行うことができ、画像生成者の意図に沿った画像データの補正を行うことができる。

また、上記画像処理装置において、さらに、
前記主被写体判定部が前記主たる被写体の候補は主たる被写体であると判定した場合に、前記主たる被写体の候補を構成する画素を特定する情報を前記画像データに付加する主被写体特定情報付加部を備えるとしてもよい。

このようにすれば、主たる被写体を特定可能な画像データを生成することができる。

また、上記画像処理装置において、前記主被写体候補抽出部は、被写体距離が、前記画像のピント位置の被写体距離を含む所定の範囲内にある画素の集合を、前記主たる被写体の候補として抽出するとしてもよい。

このようにすれば、画像のピント位置における被写体距離と近い被写体距離を有する被写体を主たる被写体の候補として抽出することができるため、画像生成者の意図を精度良く判定することができる。

また、上記画像処理装置において、前記所定の範囲は、前記ピント位置の被写体距離が小さいほど狭い範囲となるように設定されているとしてもよい。

このようにすれば、主たる被写体の候補を精度良く抽出することができる。

また、上記画像処理装置において、前記主被写体判定部は、前記画像を構成する全画素の中の前記主たる被写体の候補を構成する画素の占める割合が所定の閾値より大きい場合には、前記主たる被写体の候補は主たる被写体であると判定するとしてもよい。

このようにすれば、画像において大きな割合を占める部分が主たる被写体であるとされるため、画像生成者の意図を精度良く判定することができる。

また、上記画像処理装置において、前記主被写体判定部は、前記主たる被写体の候補についての被写体距離が、前記画像の撮像時の前記レンズの焦点距離に応じて設定された閾値より小さい場合には、前記主たる被写体の候補は主たる被写体であると判定するとしてもよい。

このようにしても、画像において大きな割合を占める部分が主たる被写体であるとされるため、画像生成者の意図を精度良く判定することができる。

また、上記画像処理装置において、前記距離データ生成部は、前記画像を複数の領域に分割した分割領域毎に、分割領域内の代表位置に対応した被写体距離を計測すると共に、前記計測した被写体距離を、当該分割領域内に含まれる画素に対応した被写体距離として設定するとしてもよい。

このようにすれば、距離データの生成の効率化・高速化を図ることができる。

また、上記課題の少なくとも一部を解決するために、本発明の第２の画像処理装置は、
画像を構成する複数の画素の色を表す画像データと、前記画像を構成する複数の画素のそれぞれに対応した、被写体と前記撮像部との間の距離である被写体距離を表す距離データと、を取得するデータ取得部と、
前記距離データに基づき、前記画像の中から複数の画素の集合を主たる被写体の候補として抽出する主被写体候補抽出部と、
所定の判定条件を用いて、前記主たる被写体の候補が主たる被写体であるか否かを判定する主被写体判定部と、を備える。

この画像処理装置では、画像データおよび距離データを取得し、距離データに基づき被写体の候補を抽出し、所定の判定条件を用いて主たる被写体の候補が主たる被写体であるか否かを判定する。そのため、この画像処理装置では、画像における主たる被写体の有無や、画像に主たる被写体が含まれる場合に画像のどの部分が主たる被写体であるのかといったような画像生成者の意図を判定することができる。

なお、本発明は、種々の態様で実現することが可能であり、例えば、画像処理方法および装置、画像生成方法および装置、画像補正方法および装置、これらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、そのコンピュータプログラムを含み搬送波内に具現化されたデータ信号、等の形態で実現することができる。

次に、本発明の実施の形態を実施例に基づいて以下の順序で説明する。
Ａ．第１実施例：
Ｂ．第２実施例：
Ｃ．第３実施例：
Ｄ．変形例：

Ａ．第１実施例：
図１は、本発明の第１実施例としてのデジタルスチルカメラ１００の構成を概略的に示す説明図である。第１実施例のデジタルスチルカメラ（以下「ＤＳＣ」とも呼ぶ）１００は、レンズ１０２と、レンズ１０２を駆動して焦点距離ｆを調整するレンズ駆動部１０４と、レンズ駆動部１０４を制御するレンズ駆動制御部１０６と、レンズ１０２を介して受光面に入力された光を電気信号に変換する撮像素子１０８と、撮像素子１０８から出力された電気信号に対するＡ／Ｄ変換を行うＡ／Ｄ変換器１１０と、外部機器との情報のやり取りのためのインターフェイス部（Ｉ／Ｆ部）１１２と、画像や各種設定情報を表示する表示部１１４と、ユーザ操作のための操作部１１６と、ＤＳＣ１００の各部を制御するＣＰＵ１１８と、後述の被写体距離Ｄを計測する距離計測部１２０と、内部メモリ２００と、を備えている。ＤＳＣ１００の各構成要素は、バス１２２を介して互いに接続されている。

本実施例では、撮像素子１０８としてＣＣＤ（Ｃｈａｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ（電荷結合素子））が用いられる。また、本実施例では、表示部１１４として、液晶モニタが用いられる。ＤＳＣ１００による撮像時には、表示部１１４としての液晶モニタに被写体の画像が表示される。なお、本明細書において、「被写体」とは、画像の全体にわたって撮像される人、物、景色といった撮像対象を意味している。

距離計測部１２０は、ＤＳＣ１００により生成される画像上の複数の所定の位置のそれぞれに対応した、被写体と撮像素子１０８との間の距離（以下「被写体距離Ｄ」と呼ぶ）を計測する。距離計測部１２０による被写体距離Ｄの計測は、公知の任意の方法で実行可能である。例えば距離計測部１２０による被写体距離Ｄの計測は、三角測量を用いたり、光波や音波を用いたりして実行される。なお、被写体距離Ｄの計測対象となる上記画像上の複数の所定の位置については、後述する。また、本実施例では、被写体距離Ｄを被写体と撮像素子１０８との間の距離として定義しているが、被写体距離Ｄを、被写体とＤＳＣ１００内の任意の位置との間の距離として定義してもよい。

内部メモリ２００には、画像処理部２１０として機能するコンピュータプログラムが格納されている。画像処理部２１０は、モジュールとして、主被写体候補抽出部２１２と、主被写体判定部２１４と、補正処理部２１６と、を含んでいる。ＣＰＵ１１８は、内部メモリ２００から画像処理部２１０としてのコンピュータプログラムを読み出して実行することにより、後述の画像生成・補正処理を実行する。

図２は、ＤＳＣ１００による画像生成・補正処理の流れを示すフローチャートである。ステップＳ１１０では、画像処理部２１０（図１）が、ＤＳＣ１００の各部を用いて被写体を撮像することにより、画像（以下「撮像画像ＣＩ」と呼ぶ）を表す画像データを生成する。具体的には、レンズ１０２を通って撮像素子１０８の受光面に投影された光が電気信号に変換され、さらにＡ／Ｄ変換器１１０において電気信号がデジタルデータに変換されることによって、画像データが生成される。画像データは、撮像画像ＣＩを構成する各画素の色を表す色データとして生成される。本実施例では、色データとしてＲＧＢデータが用いられる。

図３は、生成された画像データの表す撮像画像ＣＩの一例を示す説明図である。図３において、破線で示した位置Ｐ（以下「ピント位置Ｐ」と呼ぶ）は、撮像画像ＣＩの撮像時のピントの位置を示している。

ステップＳ１１０（図２）では、また、画像処理部２１０が、距離計測部１２０（図１）を用いて被写体距離Ｄの計測を行い、被写体距離Ｄを表す距離データを生成する。

図４は、計測された被写体距離Ｄの一例を示す説明図である。図４には、被写体距離Ｄ（括弧付きの数字（単位：メートル））を撮像画像ＣＩ上に重ねて示している。ここで本実施例では、距離計測部１２０による被写体距離Ｄの計測は、撮像画像ＣＩを複数の領域に分割した分割領域ＤＡ毎に行われる。具体的には、各分割領域ＤＡの中心画素が代表画素として設定され、代表画素の位置に対応した被写体距離Ｄが計測される。すなわち、上述した被写体距離Ｄの計測対象となる画像上の複数の所定の位置とは、撮像画像ＣＩ内の各分割領域ＤＡの中心画素の位置である。

また、画像処理部２１０は、被写体距離Ｄの計測が行われない位置の画素、すなわち各分割領域ＤＡ内の中心画素以外の画素の位置に対応した被写体距離Ｄを、中心画素の位置に対応した被写体距離Ｄと同じ距離に設定する。このようにして、撮像画像ＣＩを構成する各画素の位置に対応した被写体距離Ｄが設定され、被写体距離Ｄを表す距離データが生成される。なお、計測された被写体距離Ｄが所定の距離以上の場合には、被写体距離Ｄは無限遠（∞）として設定される。

図５は、生成された画像データ（色データ）および距離データの一例を示す説明図である。図５に示すように、画像データ（色データ）は、座標によって特定される撮像画像ＣＩを構成する各画素のＲＧＢ各成分の値を表すデータとして生成される。また、距離データは、各画素の位置に対応した被写体距離Ｄを表すデータとして生成される。

ステップＳ１２０（図２）では、画像処理部２１０の主被写体候補抽出部２１２（図１）が、撮像画像ＣＩから主被写体候補ＭＳＣを抽出する。主被写体候補ＭＳＣは、撮像画像ＣＩにおける主たる被写体の候補である。本実施例では、主被写体候補ＭＳＣを、被写体距離Ｄが下記の式（１）を満足する画素により構成された領域であると定義している。主被写体候補抽出部２１２は、撮像画像ＣＩを表す画像データから、下記の式（１）を満足する画素を選択することにより、主被写体候補ＭＳＣの抽出を行う。
｜Ｄ−Ｄｐ｜≦Ｇｔ・・・（１）
Ｄ：判定対象となる画素の位置における被写体距離（ｍ）
Ｄｐ：ピント位置Ｐにおける被写体距離（ｍ）
Ｇｔ：閾値（ｍ）

上記式（１）からわかるように、本実施例では、主被写体候補ＭＳＣは、被写体距離Ｄがピント位置Ｐにおける被写体距離Ｄｐの前後Ｇｔ（ｍ）以内である画素によって構成される。一般に、撮像の際には主たる被写体にピントが合わせられることが多いため、本実施例では、主被写体候補ＭＳＣを上述のように定義している。

なお、ピント位置Ｐが複数の画素を含む場合には、上記式（１）におけるピント位置Ｐにおける被写体距離Ｄｐは、ピント位置Ｐに含まれる複数の画素の位置における被写体距離Ｄの平均として算出してもよく、ピント位置Ｐに含まれる複数の画素の内の代表画素の位置における被写体距離Ｄとして算出してもよい。また、主被写体候補ＭＳＣの抽出を精度良く行うために、ピント位置Ｐに含まれる画素の位置において、ステップＳ１１０における被写体距離Ｄの計測が実行されることが好ましい。

図６は、抽出された主被写体候補ＭＳＣの一例を示す説明図である。図６の例では、ピント位置Ｐにおける被写体距離Ｄｐは、５（ｍ）である。また、閾値Ｇｔは１（ｍ）であるとする。このとき、被写体距離Ｄが４（ｍ）以上６（ｍ）以下である画素の集合が、主被写体候補ＭＳＣとして抽出されることとなる。図６には、抽出された主被写体候補ＭＳＣをハッチングを付して示している。

なお、本実施例では、主被写体候補ＭＳＣの抽出を精度良く行うために、上記式（１）における閾値Ｇｔは、ピント位置Ｐにおける被写体距離Ｄｐに応じて可変に設定されるとしている。図７は、ピント位置Ｐにおける被写体距離Ｄｐに応じた閾値Ｇｔを示すグラフである。図７に示すように、閾値Ｇｔは、ピント位置Ｐにおける被写体距離Ｄｐが大きいほど、大きくなるように設定されている。従って、例えばマクロ撮影を行う場合のようにピント位置Ｐにおける被写体距離Ｄｐが小さい場合には、より狭い範囲内の被写体距離Ｄを有する画素によって主被写体候補ＭＳＣが構成される。一方、ピント位置Ｐにおける被写体距離Ｄｐが大きい場合には、より広い範囲内の被写体距離Ｄを有する画素によって主被写体候補ＭＳＣが構成される。

ステップＳ１３０（図２）では、主被写体判定部２１４（図１）が、抽出された主被写体候補ＭＳＣについて主被写体判定を行う。主被写体判定は、主被写体候補ＭＳＣが主被写体であるか否かの判定である。本実施例では、撮像画像ＣＩ中における主被写体候補ＭＳＣの占める割合Ｒが所定の閾値Ｒｔより大きい場合には、主被写体候補ＭＳＣは主被写体であると判定される。一方、割合Ｒが所定の閾値Ｒｔ以下の場合には、主被写体候補ＭＳＣは主被写体ではないと判定される。撮像画像ＣＩ中においてある程度大きな割合を示す領域は主被写体である場合が多いため、本実施例の主被写体判定は上述の判定条件に従って実行される。

例えば、上記判定条件における所定の閾値Ｒｔが１／４（２５％）であるとする。このとき、図６の例では、撮像画像ＣＩ中における主被写体候補ＭＳＣの占める割合Ｒは、８／２５（３２％）であり、閾値Ｒｔより大きいため、主被写体候補ＭＳＣは主被写体であると判定される。

図８は、他の撮像画像ＣＩにおける主被写体候補ＭＳＣを示す説明図である。図８に示した撮像画像ＣＩは、図６に示した撮像画像ＣＩよりも広角の画像である。図８に示した撮像画像ＣＩにおいては、撮像画像ＣＩ中における主被写体候補ＭＳＣの占める割合Ｒは、３／２５（１２％）であり、閾値Ｒｔ以下のため、主被写体候補ＭＳＣは主被写体ではないと判定される。この場合には、撮像画像ＣＩ中には主被写体は存在せず、撮像画像ＣＩ中のすべての被写体が同程度の重要性を有する被写体であると判断される。

ステップＳ１３０（図２）において主被写体候補ＭＳＣは主被写体であると判定された場合には、処理はステップＳ１４０に進み、補正処理部２１６（図１）が、撮像画像ＣＩを表す画像データに対して、主被写体を考慮した画像補正を行う。

例えば、補正処理部２１６は、主被写体を考慮したホワイトバランス補正を行う。このときには、補正処理部２１６は、撮像画像ＣＩ中の主被写体候補ＭＳＣの色データに基づいて補正の指標値（パラメータ）を設定し、設定されたパラメータを用いて撮像画像ＣＩ全体の色データに対するホワイトバランス補正を行う。このようにすれば、撮像画像ＣＩ中の主被写体候補ＭＳＣにおけるホワイトバランスが良好となるような、撮像画像ＣＩ全体に対するホワイトバランス補正を実現できる。

また、例えば、補正処理部２１６は、主被写体を考慮した「ぼけ」の補正を行う。このときには、補正処理部２１６は、被写体距離Ｄが主被写体候補ＭＳＣにおける被写体距離Ｄから離れた画素ほど強いぼけが付加されるように、ぼけの補正を行う。なお、主被写体候補ＭＳＣにおける被写体距離Ｄとしては、主被写体候補ＭＳＣを構成する画素における被写体距離Ｄの平均値や、代表位置（例えばピント位置Ｐ）における被写体距離Ｄが用いられる。このようにすれば、主被写体は、ぼけがほとんどなく、主被写体から撮像画像ＣＩの奥行き方向に離れた位置にある被写体ほど、よりぼけて表現されるような、撮像画像ＣＩに対するぼけの補正を実現できる。

一方、ステップＳ１３０（図２）において主被写体候補ＭＳＣは主被写体ではないと判定された場合には、処理はステップＳ１５０に進み、補正処理部２１６（図１）が、撮像画像ＣＩを表す画像データに対して、主被写体を考慮しない画像補正を行う。例えば、補正処理部２１６は、撮像画像ＣＩ全体の色データに基づいてホワイトバランス補正の指標値（パラメータ）を設定し、設定されたパラメータを用いて撮像画像ＣＩ全体の色データに対するホワイトバランス補正を行う。このようにすれば、全体的にホワイトバランスが良好となるような、撮像画像ＣＩ全体に対するホワイトバランス補正を実現できる。

以上説明したように、本実施例のＤＳＣ１００による画像生成・補正処理では、画像データが生成されると共に、距離データが生成される。そして、距離データに基づき、主被写体候補ＭＳＣが抽出される。さらに、主被写体判定によって、主被写体候補ＭＳＣが主被写体であるか否かが判定される。そのため、本実施例の画像生成・補正処理では、撮像画像ＣＩ中に主被写体が存在するか否か、および、存在するとすればそれは撮像画像ＣＩ中のどの領域であるか、といった画像生成者の意図を判定することができる。

さらに、本実施例の画像生成・補正処理では、撮像画像ＣＩ中に主被写体があると判定された場合には、主被写体を考慮した画像補正が実行される。従って、画像生成者の意図に沿った画像補正を実現することができる。

Ｂ．第２実施例：
図９は、第２実施例の画像生成・補正処理における主被写体判定を説明するためのグラフである。第２実施例の画像生成・補正処理は、主被写体判定の判定基準が第１実施例とは異なっているが、その他は第１実施例と同様である。

第２実施例の画像生成・補正処理における主被写体判定では、下記の式（２）を満足する場合には、主被写体候補ＭＳＣは主被写体であると判定される。
Ｄｐ≦Ｄｐｔ・・・（２）
Ｄｐ：ピント位置Ｐにおける被写体距離（ｍ）
Ｄｐｔ：閾値（ｍ）

上記式（２）からわかるように、第２実施例では、ピント位置Ｐにおける被写体距離Ｄｐが閾値Ｄｐｔ以下の場合には、主被写体候補ＭＳＣは主被写体であると判定される。ここで、閾値Ｄｐｔは、撮像時のレンズ１０２（図１）の焦点距離ｆに応じて可変に設定されている。図９には、撮像時のレンズ１０２の焦点距離ｆと閾値Ｄｐｔとの関係の一例を示している。図９に示すように、焦点距離ｆが大きいほど閾値Ｄｐｔも大きくなるように、閾値Ｄｐｔが設定されている。

焦点距離ｆが大きい場合には、撮像画像ＣＩは望遠の画像となる。この場合、ピント位置Ｐにおける被写体距離Ｄｐがある程度大きくても、撮像画像ＣＩ中の主被写体候補ＭＳＣの領域の占める割合は比較的大きくなる。一方、焦点距離ｆが小さい場合には、撮像画像ＣＩは広角の画像となる。この場合、ピント位置Ｐにおける被写体距離Ｄｐが大きいと、撮像画像ＣＩ中の主被写体候補ＭＳＣの領域の占める割合は比較的小さくなる。第２実施例では、このような関係を考慮して、焦点距離ｆに応じて、撮像画像ＣＩ中の主被写体候補ＭＳＣの領域の占める割合がある程度の大きさになるようなピント位置Ｐにおける被写体距離Ｄｐを、閾値Ｄｐｔとして設定している。

以上説明した第２実施例の画像生成・補正処理における主被写体判定によっても、第１実施例と同様に、主被写体候補ＭＳＣが主被写であるか否かの判定を行うことができる。

Ｃ．第３実施例：
図１０は、本発明の第３実施例としての画像処理システム１０の構成を概略的に示す説明図である。第３実施例における画像処理システム１０は、ＤＳＣ１００ａと、コンピュータ３００と、を備えている。第３実施例では、このような画像処理システム１０によって画像生成・補正処理（図２参照）が行われる点が、第１実施例とは異なっている。

コンピュータ３００は、ＣＰＵ３１０と、モニタ等の表示部３２０と、キーボードやマウス等の操作部３３０と、ハードディスクドライブ等の外部記憶装置３４０と、インターフェイス部（Ｉ／Ｆ部）３５０と、ＲＯＭやＲＡＭ等の内部記憶装置４００と、を備えている。コンピュータ３００の各構成要素は、バス３６０を介して互いに接続されている。

コンピュータ３００のインターフェイス部３５０は、複数の入出力端子を備えており、外部機器との間で情報のやり取りを行う。例えば、インターフェイス部３５０は、ケーブルを介してＤＳＣ１００と接続され、ＤＳＣ１００に格納されたデータの読み込みを行う。

コンピュータ３００の内部記憶装置４００には、画像処理部４１０として機能するコンピュータプログラムが格納されている。この画像処理部４１０は、第１実施例においてＤＳＣ１００に格納されていた画像処理部２１０（図１）と同様のプログラムである。画像処理部４１０は、第１実施例の画像処理部２１０と同様に、モジュールとして、主被写体候補抽出部４１２と、主被写体判定部４１４と、補正処理部４１６と、を含んでいる。ＣＰＵ３１０は、内部記憶装置４００から画像処理部４１０としてのコンピュータプログラムを読み出して実行することにより、後述の画像生成・補正処理を実行する。

画像処理システム１０のＤＳＣ１００ａは、第１実施例のＤＳＣ１００と同様の構成を有している。ただし、第３実施例のＤＳＣ１００ａは、画像処理部２１０（図１）としてのコンピュータプログラムを有している必要はない。

図１１は、第３実施例における画像生成・補正処理の流れを示すフローチャートである。第３実施例では、画像処理システム１０のＤＳＣ１００ａとコンピュータ３００とが協働して、第１実施例と同様の画像生成・補正処理を行う。

すなわち、ステップＳ１１０では、ＤＳＣ１００ａが、第１実施例と同様に、画像データおよび距離データ（図５参照）を生成する。ステップＳ１１５では、コンピュータ３００が、ＤＳＣ１００ａからインターフェイス部３５０（図１０）を介して、画像データおよび距離データを取得する。

ステップＳ１２０以降の処理は、主体がコンピュータ３００の画像処理部４１０（図１０）であることを除いて、第１実施例の画像生成・補正処理におけるステップＳ１２０以降の処理と同じである。

以上説明したように、第３実施例の画像処理システム１０では、第１実施例と同様に、画像生成・補正処理を実行することができる。

Ｄ．変形例：
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。

Ｄ１．変形例１：
上記各実施例における分割領域ＤＡの設定態様は、あくまで一例であり、分割領域ＤＡの設定態様を他の態様としてもよい。例えば、上記各実施例では、撮像画像ＣＩを縦方向に５分割、横方向に５分割して、５×５の分割領域ＤＡを設定しているが、１０×１０の分割領域ＤＡを設定してもよく、５×１０の分割領域ＤＡを設定してもよい。究極的には、各分割領域ＤＡを撮像画像ＣＩを構成する１つの画素によって構成してもよい。また、異なる大きさや形状の分割領域ＤＡが混在するように、分割領域ＤＡを設定してもよい。

Ｄ２．変形例２：
上記各実施例では、被写体距離Ｄの計測の対象となる代表画素は、分割領域ＤＡの中心画素であるとしているが、代表画素は分割領域ＤＡ内の他の画素であるとしてもよい。また、代表画素は分割領域ＤＡ内の複数の画素であるとしてもよい。

Ｄ３．変形例３：
上記各実施例における主被写体候補ＭＳＣの抽出条件（上記式（１））は、あくまで一例であり、他の条件を採用してもよい。例えば、主被写体候補ＭＳＣの抽出条件として、下記の式（３）を採用することも可能である。なお、Ｇｔ１およびＧｔ２は、異なる値であってもよく、同じ値であってもよい。
Ｄｐ−Ｇｔ１≦Ｄ＜Ｄｐ＋Ｇｔ２・・・（３）
Ｄ：判定対象となる画素の位置における被写体距離（ｍ）
Ｄｐ：ピント位置Ｐにおける被写体距離（ｍ）
Ｇｔ１、Ｇｔ２：閾値（ｍ）

Ｄ４．変形例４：
上記各実施例では、閾値Ｇｔを、ピント位置Ｐにおける被写体距離Ｄｐに応じて可変に設定しているが（図７参照）、閾値Ｇｔをピント位置Ｐにおける被写体距離Ｄｐに関わらず一定の値に設定してもよい。

Ｄ５．変形例５：
上記各実施例における主被写体判定に用いる判定条件は、あくまで一例であり、他の条件を採用することも可能である。例えば、上記第１実施例では、判定条件における所定の閾値Ｒｔが１／４（２５％）であるとしているが、この閾値Ｒｔは他の値に設定されてもよい。

また、主被写体判定に用いる判定条件として、主被写体候補ＭＳＣについての被写体距離Ｄと撮像画像ＣＩ中の他の領域についての被写体距離Ｄとの差に関する条件を採用してもよい。すなわち、上記差が、所定の閾値以上であれば、主被写体候補ＭＳＣは主たる被写体であると判定され、所定の閾値より小さければ、主被写体候補ＭＳＣは主たる被写体ではないと判定されるとしてもよい。なお、この場合に、主被写体候補ＭＳＣについての被写体距離Ｄとしては、ピント位置Ｐについての被写体距離Ｄｐを採用してもよいし、主被写体候補ＭＳＣの中の代表画素についての被写体距離Ｄを採用してもよいし、主被写体候補ＭＳＣの中の複数の代表画素についての被写体距離Ｄの平均を採用してもよい。また、撮像画像ＣＩ中の他の領域は、主被写体候補ＭＳＣの外周線から所定の距離内に含まれる領域であるとしてもよい。また、撮像画像ＣＩ中の他の領域についての被写体距離Ｄとしては、当該他の領域の中の代表画素についての被写体距離Ｄを採用してもよいし、当該他の領域の中の複数の代表画素についての被写体距離Ｄの平均を採用してもよい。

また、上記第２実施例では、ピント位置Ｐについての被写体距離Ｄｐと閾値Ｄｐｔとを比較することによって主被写体判定を行っているが、ピント位置Ｐについての被写体距離Ｄｐの代わりに、主被写体候補ＭＳＣの中の代表画素についての被写体距離Ｄを用いてもよいし、主被写体候補ＭＳＣの中の複数の代表画素についての被写体距離Ｄの平均を用いてもよい。

Ｄ６．変形例６：
上記各実施例では、画像生成・補正処理において補正処理部２１６が行う画像補正の例として、ホワイトバランス補正やぼけの補正を挙げているが、補正処理部２１６が、コントラスト補正やシャープネス補正、カラーバランス補正等といった他の画像補正を行うとしてもよい。

Ｄ７．変形例７：
上記第３実施例では、画像生成・補正処理において、画像データおよび距離データの生成のステップ（図１１のステップＳ１１０）のみが、ＤＳＣ１００ａにより実行され、残りのステップは、コンピュータ３００によって実行されている。画像生成・補正処理におけるＤＳＣ１００ａとコンピュータ３００との処理の分担は、他の態様とすることも可能である。

例えば、画像生成・補正処理（図１１）中の主被写体判定（ステップＳ１３０）までがＤＳＣ１００ａにより実行され、残りの処理がコンピュータ３００により実行されるとしてもよい。あるいは、主被写体候補抽出（ステップＳ１２０）までがＤＳＣ１００ａにより実行され、残りの処理がコンピュータ３００により実行されるとしてもよい。これらの場合に、ＤＳＣ１００ａは、撮像画像ＣＩを表す画像データに対し、主被写体候補ＭＳＣまたは主被写体を構成する画素を特定するための情報（例えば主被写体フラグ）を付加したデータを生成するとしてもよい。コンピュータ３００は、このデータを、ＤＳＣ１００ａから取得して、残りの処理を実行するとしてもよい。

Ｄ８．変形例８：
上記各実施例のＤＳＣ１００の構成は、あくまで一例であり、ＤＳＣ１００の構成を他の構成とすることも可能である。また、上記各実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。

本発明の第１実施例としてのデジタルスチルカメラの構成を概略的に示す説明図である。 ＤＳＣによる画像生成・補正処理の流れを示すフローチャートである。 生成された画像データの表す撮像画像ＣＩの一例を示す説明図である。 計測された被写体距離Ｄの一例を示す説明図である。 生成された画像データ（色データ）および距離データの一例を示す説明図である。 抽出された主被写体候補ＭＳＣの一例を示す説明図である。 ピント位置Ｐにおける被写体距離Ｄｐに応じた閾値Ｇｔを示すグラフである。 他の撮像画像ＣＩにおける主被写体候補ＭＳＣを示す説明図である。 第２実施例の画像生成・補正処理における主被写体判定を説明するためのグラフである。 本発明の第３実施例としての画像処理システムの構成を概略的に示す説明図である。 第３実施例における画像生成・補正処理の流れを示すフローチャートである。

符号の説明

１０...画像処理システム
１００...デジタルスチルカメラ
１０２...レンズ
１０４...レンズ駆動部
１０６...レンズ駆動制御部
１０８...撮像素子
１１０...Ａ／Ｄ変換器
１１４...表示部
１１６...操作部
１１８...ＣＰＵ
１２０...距離計測部
１２２...バス
２００...内部メモリ
２１０...画像処理部
２１２...主被写体候補抽出部
２１４...主被写体判定部
２１６...補正処理部
３００...コンピュータ
３１０...ＣＰＵ
３２０...表示部
３３０...操作部
３４０...外部記憶装置
３５０...インターフェイス部
３６０...バス
４００...内部記憶装置
４１０...画像処理部
４１２...主被写体候補抽出部
４１４...主被写体判定部
４１６...補正処理部

Claims (11)

1. 画像処理装置であって、
   レンズと撮像素子とを用いて、画像を構成する複数の画素の色を表す画像データを生成する撮像部と、
   前記画像を構成する複数の画素のそれぞれに対応した、被写体と前記撮像部との間の距離である被写体距離を表す距離データを生成する距離データ生成部と、
   前記距離データに基づき、前記画像の中から複数の画素の集合を主たる被写体の候補として抽出する主被写体候補抽出部と、
   所定の判定条件を用いて、前記主たる被写体の候補が主たる被写体であるか否かを判定する主被写体判定部と、を備える、画像処理装置。
2. 請求項１記載の画像処理装置であって、さらに、
   画像データの補正を行う補正処理部を備え、
   前記補正処理部は、前記主被写体判定部が前記主たる被写体の候補は主たる被写体であると判定した場合には、前記主たる被写体を考慮して画像データの補正を行い、前記主被写体判定部が前記主たる被写体の候補は主たる被写体ではないと判定した場合には、前記主たる被写体を考慮せずに画像データの補正を行う、画像処理装置。
3. 請求項２記載の画像処理装置であって、
   前記補正処理部は、前記主被写体判定部が前記主たる被写体の候補は主たる被写体であると判定した場合には、前記主たる被写体の候補を構成する画素についての画像データに基づき、前記画像全体を表す画像データの補正に用いる指標値を設定する、画像処理装置。
4. 請求項１記載の画像処理装置であって、さらに、
   前記主被写体判定部が前記主たる被写体の候補は主たる被写体であると判定した場合に、前記主たる被写体の候補を構成する画素を特定する情報を前記画像データに付加する主被写体特定情報付加部を備える、画像処理装置。
5. 請求項１ないし請求項４のいずれかに記載の画像処理装置であって、
   前記主被写体候補抽出部は、被写体距離が、前記画像のピント位置の被写体距離を含む所定の範囲内にある画素の集合を、前記主たる被写体の候補として抽出する、画像処理装置。
6. 請求項５記載の画像処理装置であって、
   前記所定の範囲は、前記ピント位置の被写体距離が小さいほど狭い範囲となるように設定されている、画像処理装置。
7. 請求項１ないし請求項４のいずれかに記載の画像処理装置であって、
   前記主被写体判定部は、前記画像を構成する全画素の中の前記主たる被写体の候補を構成する画素の占める割合が所定の閾値より大きい場合には、前記主たる被写体の候補は主たる被写体であると判定する、画像処理装置。
8. 請求項１ないし請求項４のいずれかに記載の画像処理装置であって、
   前記主被写体判定部は、前記主たる被写体の候補についての被写体距離が、前記画像の撮像時の前記レンズの焦点距離に応じて設定された閾値より小さい場合には、前記主たる被写体の候補は主たる被写体であると判定する、画像処理装置。
9. 請求項１記載の画像処理装置であって、
   前記距離データ生成部は、前記画像を複数の領域に分割した分割領域毎に、分割領域内の代表位置に対応した被写体距離を計測すると共に、前記計測した被写体距離を、当該分割領域内に含まれる画素に対応した被写体距離として設定する、画像処理装置。
10. 画像処理方法であって、
    （ａ）レンズと撮像素子とを用いて、画像を構成する複数の画素の色を表す画像データを生成する工程と、
    （ｂ）前記画像を構成する複数の画素のそれぞれに対応した、被写体と前記撮像部との間の距離である被写体距離を表す距離データを生成する工程と、
    （ｃ）前記距離データに基づき、前記画像の中から複数の画素の集合を主たる被写体の候補として抽出する工程と、
    （ｄ）所定の判定条件を用いて、前記主たる被写体の候補が主たる被写体であるか否かを判定する工程と、を備える、画像処理方法。
11. 画像処理装置であって、
    画像を構成する複数の画素の色を表す画像データと、前記画像を構成する複数の画素のそれぞれに対応した、被写体と前記撮像部との間の距離である被写体距離を表す距離データと、を取得するデータ取得部と、
    前記距離データに基づき、前記画像の中から複数の画素の集合を主たる被写体の候補として抽出する主被写体候補抽出部と、
    所定の判定条件を用いて、前記主たる被写体の候補が主たる被写体であるか否かを判定する主被写体判定部と、を備える、画像処理装置。

Images