JP5223912B2 - 撮像装置、および焦点判定プログラム - Google Patents

Description

本発明は、撮像装置、および焦点判定プログラムに関する。

次のようなオートフォーカス装置が知られている。このオートフォーカス装置は、光の色収差を利用してレンズの焦点位置ズレを検出し、検出結果に基づいて焦点調整を行って各色光のぼけを修正する（例えば、特許文献１）。

特開平６−１３８３６２号公報

しかしながら、従来のオートフォーカス装置では、ＡＦレンズの位置が合焦位置に対して光軸方向のどちらの方向にずれているかを検出することができず、合焦状態の判定精度が低かった。

本発明による撮像装置は、軸上色収差をもつ光学系が形成する被写体像を入力画像として入力する画像入力手段と、画像入力手段により入力された入力画像から各色成分ごとのエッジを検出するエッジ検出手段と、エッジ検出手段により検出された各色成分ごとのエッジのうち、軸上色収差がある２つの色成分のエッジ両側でコントラスト差を正規化したエッジを算出する正規化手段と、正規化されたエッジ領域の色差和に基づいて所定の評価値を算出し、算出した評価値を用いて、正規化されたエッジのボケ幅の差を算出する算出手段と、算出手段によって算出された正規化されたエッジのボケ幅の差に基づいて、合焦状態を判定する合焦状態判定手段と、を備え、前記算出手段は、前記軸上色収差がある２つの色成分のエッジのボケ幅とエッジの勾配、およびエッジ両側のコントラスト差に基づいて前記ボケ幅の差を算出することを特徴とする。
本発明による焦点判定プログラムは、軸上色収差をもつ光学系が形成する被写体像を入力画像として入力する画像入力手順と、画像入力手順で入力された入力画像から各色成分ごとのエッジを検出するエッジ検出手順と、エッジ検出手段により検出された各色成分ごとのエッジのうち、軸上色収差がある２つの色成分のエッジ両側でコントラスト差を正規化したエッジを算出する正規化手順と、正規化されたエッジ領域の色差和に基づいて所定の評価値を算出し、算出した評価値を用いて、正規化されたエッジのボケ幅の差を算出する算出手順と、算出手順で算出された正規化されたエッジのボケ幅の差に基づいて、合焦状態を判定する合焦状態判定手順と、をコンピュータに実行させるための焦点判定プログラムであって、前記算出手順は、前記軸上色収差がある２つの色成分のエッジの輝度面積と、エッジ両側のコントラスト差に基づいて前記ボケ幅の差を算出することを特徴とする。

本発明によれば、合焦状態を高精度に判定することができる。

カメラ１００の一実施の形態の構成を示すブロック図である。 第１の実施の形態における焦点位置検出処理の流れを示すフローチャート図である。 モデルエッジへの近似例を示す図である。 エッジ領域の背景色の補正例を示す図である。 合焦状態の判定例を示す図である。 ２色エッジ間の色差和の算出例を示す第１の図である。 ２色エッジ間の色差和の算出例を示す第２の図である。 ２×２画素加算時のサンプル位置のずれを示す図である。 第２の実施の形態における焦点位置検出処理の流れを示すフローチャート図である。 ベイヤー配列を示す図である。 ベイヤー配列から同色画素勾配を検出するフィルタの例を示すである。 ２×２画素加算時の元画像に対する参照画素範囲を示す図である。 ベイヤー配列上の水平方向のエッジに対する使用画素を示す図である。 ベイヤー配列上の垂直方向のエッジに対する使用画素を示す図である。 ベイヤー配列上の斜め方向のエッジに対する使用画素を示す図である。 第３の実施の形態における焦点位置検出処理の流れを示すフローチャート図である。 補正処理決定のために撮影するチャート画像を示す図である。 エッジ方向による合焦時基準値ずれの変化を示す図である。 補正用の方向性を持つ平滑化フィルタを示す図である。 エッジ方向による合焦時基準値ずれの変化を示す図である。

―第１の実施の形態―
図１は、第１の実施の形態におけるカメラの一実施の形態の構成を示すブロック図である。カメラ１００は、操作部材１０１と、レンズ１０２と、撮像素子１０３と、制御装置１０４と、メモリカードスロット１０５と、モニタ１０６とを備えている。操作部材１０１は、使用者によって操作される種々の入力部材、例えば電源ボタン、レリーズボタン、ズームボタン、十字キー、決定ボタン、再生ボタン、削除ボタンなどを含んでいる。

レンズ１０２は、複数の光学レンズから構成されるが、図１では代表して１枚のレンズで表している。また、レンズ１０２を構成するレンズには、後述するＡＦ（Ａｕｔｏ Ｆｏｃｕｓ／自動焦点調整）のためのＡＦレンズ（焦点調節用レンズ）が含まれる。撮像素子１０３は、例えばＣＣＤやＣＭＯＳなどのイメージセンサーであり、レンズ１０２により結像した被写体像を撮像する。そして、撮像によって得られた画像信号を制御装置１０４へ出力する。

制御装置１０４は、ＣＰＵ、メモリ、およびその他の周辺回路により構成され、カメラ１００を制御する。なお、制御装置１０４を構成するメモリには、ＳＤＲＡＭやフラッシュメモリが含まれる。ＳＤＲＡＭは、揮発性のメモリであって、ＣＰＵがプログラム実行時にプログラムを展開するためのワークメモリとして使用されたり、データを一時的に記録するためのバッファメモリとして使用される。また、フラッシュメモリは、不揮発性のメモリであって、制御装置１０４が実行するプログラムのデータや、プログラム実行時に読み込まれる種々のパラメータなどが記録されている。

制御装置１０４は、撮像素子１０３から入力された画像信号に基づいて所定の画像形式、例えばＪＰＥＧ形式の画像データ（以下、「本画像データ」と呼ぶ）を生成する。また、制御装置１０４は、生成した画像データに基づいて、表示用画像データ、例えばサムネイル画像データを生成する。制御装置１０４は、生成した本画像データとサムネイル画像データとを含み、さらにヘッダ情報を付加した画像ファイルを生成してメモリカードスロット１０５へ出力する。

メモリカードスロット１０５は、記憶媒体としてのメモリカードを挿入するためのスロットであり、制御装置１０４から出力された画像ファイルをメモリカードに書き込んで記録する。また、メモリカードスロット１０５は、制御装置１０４からの指示に基づいて、メモリカード内に記憶されている画像ファイルを読み込む。

モニタ１０６は、カメラ１００の背面に搭載された液晶モニタ（背面モニタ）であり、当該モニタ１０６には、メモリカードに記憶されている画像やカメラ１００を設定するための設定メニューなどが表示される。また、制御装置１０４は、使用者によってカメラ１００のモードが撮影モードに設定されると、撮像素子１０３から時系列で取得した画像の表示用画像データをモニタ１０６に出力する。これによってモニタ１０６にはスルー画が表示される。

本実施の形態では、制御装置１０４は、撮像素子１０３からスルー画の入力が開始されると、ＡＦ（Ａｕｔｏフォーカス／自動焦点調節）処理を実行して、スルー画表示中に継続して焦点調節を行うことによって、スルー画表示中の常時ＡＦ制御を行う。具体的には、撮像素子１０３から入力されるフレームがＲＧＢ表色系で表される画像である場合には、ＲＧＢの各色成分ごとの軸上色収差の違いにより各色成分の光軸上の合焦位置は異なるため、光軸上の合焦位置の前後においてエッジ領域の各色成分のボケ幅の大小関係が逆転するという点に着目し、２色間のエッジのボケ幅の差に基づいて現在の合焦状態を判定する。そして、現在のＡＦレンズ位置が合焦位置から光軸方向のどちらの方向にずれているかを判定して、スルー画表示中の常時ＡＦ制御を実現する。なお、光軸上の合焦位置の前後においてエッジ領域の各色成分のボケ幅の大小関係が逆転する点についての具体例は、図５により後述する。

ここで、一般的なデジタルカメラで使用されている光学系（レンズ１０２）や撮像素子１０３の場合、上述した各色成分のボケ幅は数画素から数十画素単位の広がりを持つのに対して、２色間のボケ幅の差はその１０分の１から１００分の１程度しかなく、このボケ幅の差は、画素単位でしか行なえないボケ幅の測定誤差に対して小さいため、直接ボケ幅の測定結果からボケ幅の差を精度良く求めることは困難である。このため、本実施の形態では、制御装置１０４は、以下に説明するように、画素値の集合分類と集合ごとの統計量とに基づいて間接的に２色間のボケ幅の差を算出し、現在のＡＦレンズ位置が合焦位置から光軸方向のどちらの方向にずれているかを判定することにより、合焦状態を判定する。

図２は、第１の実施の形態におけるスルー画表示中に常時ＡＦ制御を行なうための焦点位置検出処理の流れを示すフローチャートである。図２に示す処理は、撮像素子１０３からスルー画の入力が開始されると起動するプログラムとして、制御装置１０４によって実行される。なお、本実施の形態では、ＲとＧとの間に軸上色収差があり、光軸上の合焦位置よりも撮像素子１０３側にピントがずれている場合、すなわち後ピンの場合にはＲがＧよりもぼけ、逆に光軸上の合焦位置よりもレンズ１０２側にピントがずれている場合、すなわち前ピンの場合には常にＧがＲよりもぼける場合を想定して、以下の処理を説明する。

ステップＳ１において、制御装置１０４は、撮像素子１０３から入力される画像内から評価領域内の画像（評価領域画像）を読み出す。ここで、評価領域画像とは、例えば、撮影画面内に配置されたＡＦ評価エリア内の画像をいう。その後、ステップＳ２へ進み、制御装置１０４は、評価領域画像を対象としてエッジ検出を行なって、評価領域画像内に合焦状態の判定に利用することができるエッジの有無を検査する。その後、ステップＳ３へ進み、制御装置１０４は、ステップＳ３におけるエッジの検出結果に基づいて、評価領域画像内からエッジが検出されたか否かを判断する。ステップＳ３で否定判断した場合には、ステップＳ１４へ進み、制御装置１０４は、合焦状態の判定は不可能であると判断して、処理を終了する。これに対して、ステップＳ３で肯定判断した場合には、ステップＳ４へ進む。

ステップＳ４では、制御装置１０４は、評価領域画像内の画素ごとの勾配の有無に基づいて、評価領域画像をフラット領域（平坦部）Ｆとエッジ領域（エッジ部）Ｅに分離する。具体的には、制御装置１０４は、評価領域画像の各画素をｐ（ｘ，ｙ）と表し、各画素をｐ（ｘ，ｙ）のＲ、Ｇ、Ｂそれぞれの値をＲ（ｘ，ｙ）、Ｇ（ｘ，ｙ）、Ｂ（ｘ，ｙ）と表した場合には、次式（１）、（２）により勾配量絶対値ｇＲ（ｘ，ｙ）とｇＧ（ｘ，ｙ）とを算出する。なお、上述したように、本実施の形態ではＲとＧとの間に軸上色収差がある場合を想定しているため、次式（１）、（２）により勾配量絶対値ｇＲ（ｘ，ｙ）とｇＧ（ｘ，ｙ）とを算出するが、他の色成分間に軸上色収差がある場合には、その色成分について勾配量絶対値を算出すればよい。

そして、制御装置１０４は、算出した勾配量絶対値ｇＲ（ｘ，ｙ）とｇＧ（ｘ，ｙ）とに基づいて、次式（３）、（４）を用いて閾値を超える勾配が存在するか否かを判定することにより、評価領域画像をフラット領域Ｆとエッジ領域Ｅに分離する。

さらに、制御装置１０４は、次式（５）、（６）に示すように、フラット領域Ｆに属する画素の平均値Ｆｍｅａｎを閾値として用いて、フラット領域Ｆをサブフラット領域ＦＨとＦＬとに分離する。これにより、評価領域画像内における任意の断面形状を持つエッジを、２つのサブフラット領域ＦＨとＦＬ、および該２つのサブフラット領域間を結ぶエッジ領域Ｅで表したモデルエッジで近似することができる。

例えば、図３（ａ）に示すような断面形状を持つエッジ３ａは、図３（ｂ）に示すように、エッジ両側のコントラスト差がＣとなる２つのサブフラット領域ＦＬおよびＦＨと、サブフラット領域ＦＬ−ＦＨ間を結ぶエッジ領域Ｅとに分離されたモデルエッジ３ｂで近似される。なお、この図３（ｂ）に示すモデルエッジ３ｂにおいて、エッジ領域Ｅの長さｗがエッジのボケ幅を示している。また、エッジに沿った方向の画素単位長さ当たりのモデルエッジを換算エッジと呼ぶ。

その後、ステップＳ５へ進み、制御装置１０４は、サブフラット領域ＦＨおよびＦＬのそれぞれの平均色を調べ、背景色が軸上色収差が見える色か否かを判断する。すなわち、制御装置１０４は、ＲとＧとの間およびＲとＢとの間に軸上色収差があり、ＧとＢとの間には軸上色収差がない場合には、サブフラット領域ＦＨおよびＦＬの背景色がＧとＢのみにコントラスト差があってもＲにコントラスト差がなければ軸上色収差は観察されない。よって、この場合には、背景色がＲに十分なコントラスト差があり、かつＧとＢの内の少なくとも片方に十分なコントラスト差があればステップＳ５で肯定判断され、それ以外の場合にはステップＳ５で否定判断される。ステップＳ５で否定判断した場合には、上述したステップＳ１４へ進み、制御装置１０４は、合焦状態の判定は不可能であると判断して、処理を終了する。これに対して、ステップＳ５で肯定判断した場合には、ステップＳ６へ進む。

ステップＳ６では、制御装置１０４は、サブフラット領域ＦＨおよびＦＬの色が灰色になるように、評価領域画像の全体を補正する。具体的には、制御装置１０４は、サブフラット領域ＦＨおよびＦＬの色が灰色になるように、評価領域画像全体でＲ、Ｇ、Ｂのエッジ両側でのコントラスト差を正規化する。例えば、図４（ａ）において実線で示すＲ成分のエッジＲ（ｘ）および点線で示すＧ成分のエッジＧ（ｘ）は、図４（ｂ）に示すように、エッジ領域Ｅの両側のコントラスト差が同じになるように背景色の補正が行われる。その後、ステップＳ７へ進む。

ステップＳ７では、制御装置１０４は、ステップＳ６で各色成分のエッジ両側のコントラスト差を正規化した後の評価領域画像におけるエッジ領域Ｅに基づいて、Ｒ、Ｇ、Ｂのうち軸上色収差のある２色間成分について、次式（７）〜（１１）を用いて評価値Ｉを算出する。すなわち、制御装置１０４は、まず、背景色補正を行った後の評価領域画像を対象として、式（７）、（８）を示すように、エッジ領域Ｅに属する画素の平均値Ｅｍｅａｎを閾値として用いて、エッジ領域Ｅをサブエッジ領域ＥＬとＥＨとに分離する。

次に制御装置１０４は、次式（９）を用いてサブエッジ領域ＥＬの色差和ΔＡＬを算出し、次式（１０）を用いてサブエッジ領域ＥＨの色差和ΔＡＨを算出する。なお、上述したように、本実施の形態ではＲとＧとの間に軸上色収差がある場合を想定しているため、次式（９）と（１０）では、Ｒ成分のエッジとＧ成分のエッジとを対象として色差和ΔＡＬとΔＡＨとを算出するが、他の色成分間に軸上色収差がある場合には、その色成分のエッジを対象として色差和ΔＡＬとΔＡＨとを算出すればよい。

さらに制御装置１０４は、次式（１１）により、軸上色収差のある２色間、すなわちＲとＧとの間について、評価値Ｉを算出する。評価値Ｉは、後述する式（２３）との比較により、評価領域画像内に換算エッジボケ幅差Δｗを示すエッジがいくつ存在するかを示す量である。なお、次式（１１）による評価値Ｉの算出は、評価領域画像内におけるエッジ形状を何ら仮定せず、統計量に基づいた階層的な画素集合への分類のみで行なうため、どのような評価領域画像に対しても式（１１）による評価値Ｉの算出が可能である。

その後、ステップＳ８へ進み、制御装置１０４は、評価領域画像内に含まれる上述した換算エッジの数（換算エッジ数）Ｎを概算する。例えば、制御装置１０４は、上述したＥｍｅａｎで評価領域画像を二値化して境界となる画素を数えることにより換算エッジ数Ｎを概算することが可能である。その後、ステップＳ９へ進む。

ステップＳ９では、制御装置１０４は、現在のＡＦレンズ位置が合焦位置から光軸方向のどちらの方向にずれているかを判定するために用いる換算エッジボケ幅差Δｗを算出する。式（１１）により算出される評価値Ｉと、換算エッジ数Ｎおよび換算エッジボケ幅差Δｗの間には、Ｉ＝Δｗ×Ｎという関係が成り立つことから、制御装置１０４は、次式（１２）により換算エッジボケ幅差Δｗを算出する。
Δｗ＝Ｉ／Ｎ ・・・（１２）
これにより、任意の形状のエッジを含む評価領域画像から換算エッジボケ幅差Δｗを間接的に算出することができる。なお、ここで算出される換算エッジボケ幅差Δｗは、軸上色収差があるＲ成分とＧ成分との間の換算エッジボケ幅差であるため、Δｗは、ΔｗＲ−Ｇと表記することもできる。

その後、ステップＳ１０へ進み、制御装置１０４は、換算エッジボケ幅差Δｗに基づいてＡＦレンズの移動方向を判定するために用いる閾値を設定する。なお、ＡＦレンズが合焦位置に近いほど、算出されるΔｗは０に近い値となる。このため、Δｗが０のときに合焦位置と判定し、それ以外の場合にはΔｗが０になる方向をＡＦレンズの移動方向と判定することも可能である。しかしながら、本実施の形態では、測定誤差によるピント前後の誤判定を避けるために、Δｗが０を中心とした一定範囲内にあればＡＦレンズ位置は合焦位置にあると判定するために、ステップＳ１０で所定の閾値を設定する。なお、閾値は、あらかじめ決められた定数であってもよいし、画像や撮影条件等に基づいて適宜設定してもよい。

その後、ステップＳ１１へ進み、制御装置１０４は、ステップＳ９で算出した換算エッジボケ幅差Δｗと閾値とを比較して、現在の焦点調節状態が前ピンか後ピンかを判定する。すなわち、Δｗが−０．５から０．５の間にあるときに合焦状態と判定するように閾値が設定されている場合には、制御装置１０４は、Δｗが０．５より大きいときに後ピンであると判定し、Δｗが−０．５より小さいときに前ピンであると判定する。

例えば、図４に示した正規化後のＲ成分のエッジＲ（ｘ）とＧ成分のエッジＧ（ｘ）とを考えると、後ピンの場合には、上述したようにＲがＧよりもぼけるため、図５（ａ）に示すようにＲ成分のエッジ領域Ｅの長さｗＲとＧ成分のエッジ領域Ｅの長さｗＧとの間には、ｗＲ＞ｗＧの関係が成り立つ。このため、制御装置１０４は、Δｗ（＝ｗＲ−ｗＧ）が閾値の上限である０．５より大きい場合には、後ピンであると判定する。

一方、前ピンの場合には、上述したようにＧがＲよりもぼけるため、図５（ｃ）に示すようにＲ成分のエッジ領域Ｅの長さｗＲとＧ成分のエッジ領域Ｅの長さｗＧとの間には、ｗＲ＜ｗＧの関係が成り立つ。このため、制御装置１０４は、Δｗ（＝ｗＲ−ｗＧ）が閾値の下限である−０．５より小さい場合には、前ピンであると判定する。

これに対して、合焦時には図５（ｂ）に示すようにＲ成分のエッジ領域Ｅの長さｗＲとＧ成分のエッジ領域Ｅの長さｗＧとの間には、原則としてｗＲ＝ｗＧの関係が成り立つ。このため、制御装置１０４は、Δｗ（＝ｗＲ−ｗＧ）が閾値の下限である−０．５以上、かつ閾値の上限である０．５以下である場合には、合焦状態であるため、前ピンか後ピンかは不明であると判定する。

その後、ステップＳ１２へ進み、制御装置１０４は、ステップＳ１１における判定の結果、前ピンまたは後ピンと判定されたか否かを判断する。ステップＳ１２で否定判断した場合には、上述したステップＳ１４へ進み、制御装置１０４は、合焦状態の判定は不可能であると判断して、処理を終了する。これに対して、ステップＳ１２で肯定判断した場合には、ステップＳ１３へ進む。

ステップＳ１３では、制御装置１０４は、ステップＳ１１での判定結果に基づいて、Δｗを０に近付けることができる方向をＡＦレンズの移動方向として判定する。そして、制御装置１０４は、判定したＡＦレンズの移動方向をＡＦレンズを駆動させるためのモータに出力することによって、ＡＦレンズを合焦方向へ移動させる。その後、処理を終了する。

以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
（１）制御装置１０４は、評価領域画像から各色成分ごとのエッジを検出して、軸上色収差がある２つの色成分のエッジの換算エッジボケ幅差Δｗを算出し、該換算エッジボケ幅差Δｗに基づいて、合焦状態を判定するようにした。これによって、合焦状態を高精度に判定することができる。

（２）制御装置１０４は、軸上色収差がある２つの色成分のエッジをフラット領域Ｆとエッジ領域Ｅとに分類し、エッジ領域Ｅを対象として算出した色差和に基づいて評価値Ｉを算出するようにした。そして、制御装置１０４は、算出した評価値Ｉを用いて式（１２）により換算エッジボケ幅差Δｗを算出するようにした。これによって、エッジの形状が不明である場合でも、換算エッジボケ幅差Δｗを算出することができる。

（３）制御装置１０４は、軸上色収差がある２つの色成分のエッジの両側のコントラスト差を無くすように補正を行い、補正後の評価領域画像を用いて換算エッジボケ幅差Δｗを算出するようにした。これによって、換算エッジボケ幅差Δｗの算出精度を高めることができる。

―第２の実施の形態―
上述した第１の実施の形態では、軸上色収差がある２つの色成分のエッジの換算エッジボケ幅差Δｗを算出し、該換算エッジボケ幅差Δｗに基づいて、合焦状態を判定するようにした。この場合、軸上色収差に起因する各色成分のボケ量とは別に、入力画像が生成される過程の処理が原因で各色成分間の解像度が変化して測定されるボケ幅および各色成分間のボケ幅差が変化することがある。

このような状況は、例えば、単板式カラー撮像素子から読み出したＲＡＷ画像を補間して画像を生成する撮像装置において、撮像素子から画素加算読み出しを行って読み出したＲＡＷ画像を画素加算を想定していない補間装置により補間した場合に発生する。具体的には、撮影画像と同一撮像素子の出力画像でコントラストＡＦによる合焦動作を行う場合、フレームレート向上を目的とした画像サイズ縮小のため画素加算読み出しが行われる。一方コストの都合で撮影画像用の補間装置しか備えていない場合、合焦動作に用いる画素加算された画像の補間には必ずしも最適化されていない補間装置で補間が行われた画像が生成される。このとき単板式カラー撮像素子の画素配列が画素加算に対して色成分によって均一な分布をしていない場合には、生成される画像の画素に対する縦、横、斜めの方向に依存して各色成分間の解像度変化が起こる場合がある。

例えば撮像素子が最もよく使われるＲＧＧＢの4色ベイヤー配列で、同色２×２画素平均の画素加算読み出しを行った場合、画素加算読み出しにより元のベイヤー配列ＲＡＷ画像と相似な配列の縮小ベイヤー配列ＲＡＷ画像が生成されるが、撮像素子上の光学像におけるサンプル位置重心と画像データ上の画素位置は図８のようにずれる。

すなわち、図８（ａ）に示す元ベイヤー配列ＲＡＷ画像で、図８（ｂ）に示すように同色２×２画素平均の画素加算読み出しを行って得られる縮小ベイヤー配列ＲＡＷ画像では、Ｒ画素の元のベイヤー配列ＲＡＷ画像上のサンプル位置重心、すなわち４つのＲ画素の重心位置８ａと、縮小ベイヤー配列ＲＡＷ画像におけるＲ´画素の画素位置８ｂとにはずれが生じている。同様に、Ｇｒ画素の元ベイヤー配列ＲＡＷ画像上のサンプル位置重心、すなわち４つのＧｒ画素の重心位置８ｃと、縮小ベイヤー配列ＲＡＷ画像におけるＧｒ´画素の画素位置８ｄとにはずれが生じている。Ｇｂ画素の元ベイヤー配列ＲＡＷ画像上のサンプル位置重心、すなわち４つのＧｂ画素の重心位置８ｅと、縮小ベイヤー配列ＲＡＷ画像におけるＧｂ´画素の画素位置８ｆとにはずれが生じている。Ｂ画素の元ベイヤー配列ＲＡＷ画像上のサンプル位置重心、すなわち４つのＢ画素の重心位置８ｇと、縮小ベイヤー配列ＲＡＷ画像におけるＢ´画素の画素位置８ｈとにはずれが生じている。

この縮小ベイヤー配列ＲＡＷ画像の色に依存したサンプル位置ずれを想定していない補間装置が元のベイヤー配列ＲＡＷ画像と同じ処理で補間を行うと偽色や、ベイヤー配列に対する方向に依存する色成分間の解像度の変化が生じた画像が生成されることになる。このような画像で第１の実施の形態で上述した軸上色収差に起因する二色間のエッジボケ幅差を利用した焦点位置判定を行うと、画像に含まれるエッジの方向に依存して測定される二色間のエッジボケ幅差が変化する。こういった変化が存在すると、合焦状態における基準値との比較で行う焦点位置判定の際、変化の依存性を元にした条件別判定を行う必要が生じて判定精度が悪化する。また動く被写体を追尾中や動画撮影中に軸上色収差による合焦状態判定を行う場合には、判定動作中にエッジ位置が回転すると判定の基準となる値が変化するために安定した判定結果を出すことが難しくなる。

このような問題を解決するために、第２の実施の形態では、このような補間処理を行うと入力画像に軸上色収差以外の各色成分間の解像度変化が含まれる状況に対して、ＲＡＷ画像あるいは補間済み画像から各色成分間の解像度変化による影響を受けない画素の組み合わせだけを選別して利用することにより、精度の高い軸上色収差による焦点位置判定を行う方法について説明する。

第２の実施の形態では、画素加算読出と補間によりエッジ方向に依存した各色成分間の解像度変化が発生する場合を例にとって、処理の流れを説明する。図９は、第２の実施の形態における焦点位置検出処理の流れを示すフローチャート図である。

ステップＳ１において、制御装置１０４は、Ｒ、Ｇｒ、Ｇｂ、Ｂの４種のカラーフィルタから成るベイヤー配列の撮像素子から上述した２×２画素加算を行って画像を読み出した縮小ベイヤー配列ＲＡＷ画像を取得する。図８（ｂ）に示したように、この縮小ベイヤー配列ＲＡＷ画像は画像データ上の画素位置と元画像に対する各色成分のサンプル位置重心がずれている。このため、補間装置が画素加算読み出しを想定していない場合、エッジ方向により各色成分間の解像度が変化した画像が生成される。そこでこの悪影響を回避するため、補間を行わずにそのままステップＳ２に進む。

ステップＳ２では、制御装置１０４は、縮小ベイヤー配列ＲＡＷ画像からＲ、Ｇｒ、Ｇｂ、Ｂの４色の色成分それぞれのエッジ方向を検出する。例えば、図１０に示すような縮小ベイヤー配列ＲＡＷ画像に対して、図１１（ａ）、（ｂ）、（ｃ）、（ｄ）に示すような４種のフィルタを用いて同色画素勾配を画素ごとに算出し、画像全体で総和をとって比較する。そして、エッジ勾配の符号と、絶対値が最大となる方向とから、各色成分ごとに８方向のうちの１つの方向をエッジ方向として検出することができる。

その後、ステップＳ３へ進み、制御装置１０４は、ステップＳ２でのエッジ方向の検出結果に基づいて、縮小ベイヤー配列ＲＡＷ画像内にエッジが存在するか否かを判断する。例えば、ステップＳ２において、勾配が小さくエッジが検出されない場合には、縮小ベイヤー配列ＲＡＷ画像内にエッジが存在しないと判断する。ステップＳ３で否定判断した場合には、ステップＳ１で取得した縮小ベイヤー配列ＲＡＷ画像は、軸上色収差による焦点位置判定には不適な画像であると判断して、そのまま処理を終了する。これに対して、ステップＳ３で肯定判断した場合には、ステップＳ４へ進む。

ステップＳ４では、制御装置１０４は、ステップＳ２でのエッジ方向の検出結果に基づいて、縮小ベイヤー配列ＲＡＷ画像内から各色成分ごとに検出したエッジ方向が互いに一致しているか否かを判断する。ステップＳ４で否定判断した場合には、ステップＳ１で取得した縮小ベイヤー配列ＲＡＷ画像は、軸上色収差による焦点位置判定には不適な画像であると判断して、そのまま処理を終了する。これに対して、ステップＳ４で肯定判断した場合には、ステップＳ１で取得した縮小ベイヤー配列ＲＡＷ画像は、軸上色収差による焦点位置判定が可能な画像であると判断してステップＳ５へ進む。

ステップＳ５では、制御装置１０４は、ステップＳ２で検出したエッジ方向に応じて各色成分間で解像度とサンプル位置の一致する画素の選別を行う。ここで、軸上色収差による焦点位置判定は図５に示した関係を利用して、ＲとＧ、ＧとＢ、ＲとＢの三組の二色間のボケ幅の差を、合焦時の基準値と比較して行われ、三組の二色間ボケ幅差の結果を算出し、それぞれに重み付けをして最終的な判定結果が得られる。

まず、Ｒ、Ｇｒ、Ｇｂ、Ｂの４種のカラーフィルタからなるベイヤー配列ＲＡＷ画像を補間する場合はＧｒとＧｂの両方を用いてＧ面画像が生成されるが、本実施の形態ではＧｒとＧｂを区別して扱う。これは図８に示したような画素加算を行うと、図１２（ａ）に示すように、縮小ベイヤー配列ＲＡＷ画像のＲ´画素の元ベイヤー配列ＲＡＷ画像のＲ画素に対する参照範囲が３×３画素であるのに対して、図１２（ｂ）に示すように、縮小ベイヤー配列ＲＡＷ画像のＧｒ´＋Ｇｂ´画素の元のベイヤー配列ＲＡＷ画像のＧｒ＋Ｇｂ画素に対する参照範囲は４×４画素となっており、Ｇｒ´＋Ｇｂ´画素をＧ画素として使用するとＲに対するＧの解像度が若干悪化して、軸上色収差による微小なボケ幅の差を測る場合に悪影響が出るためである。

一方Ｇｒ´とＧｂ´を区別して扱えば、図１２（ｃ）に示すように、例えば縮小ベイヤー配列ＲＡＷ画像のＧｒ´画素の元ＲＡＷ画像Ｇｒ画素に対する参照範囲は３×３画素となってＲ画素の参照範囲と等しくなり、解像度を一致させることが出来る。

次に、制御装置１０４は、エッジの方向に応じて軸上色収差による焦点位置判定を行う二色の組み合わせごとに、使用する画素の組み合わせを選別する。本実施の形態では以下の（ａ）〜（ｃ）３つの場合で分ける。

（ａ）図１３（ａ）に示すような水平方向エッジの場合
この場合は、ＲとＧの組み合わせとして、図１３（ｂ）に示すようにＲ画素とＧｒ画素とを選別し、ＧとＢの組み合わせとして、図１３（ｃ）に示すようにＧｂ画素とＢ画素とを選別する。このように選ぶことで、図１３（ｂ）、（ｃ）に示すように水平方向エッジに対してエッジを横切る方向にＲとＧ、ＧとＢのそれぞれの組み合わせで同じ解像度とサンプル位置にすることができる。この場合、ＲとＢの組み合わせに対しては解像度は一致するがサンプル位置がずれる。そのため、ＲとＢで求めた結果は使用しないか、ＲとＢで求めた結果をＲとＧ、ＧとＢで求めた結果よりも重みを低くして用いる。

（ｂ）図１４（ａ）に示すような垂直方向エッジの場合
この場合は、ＲとＧの組み合わせとして、図１４（ｂ）に示すようにＲ画素とＧｂ画素とを選別し、ＧとＢの組み合わせとして、図１４（ｃ）に示すようにＧｒ画素とＢ画素とを選別する。このように選ぶことで、図１４（ｂ）、（ｃ）に示すように垂直方向エッジに対してエッジを横切る方向にＲとＧ、ＧとＢのそれぞれの組み合わせで同じ解像度とサンプル位置にすることができる。この場合も上述した（ａ）の場合と同様にＲとＢの組み合わせに対しては解像度は一致するがサンプル位置がずれる。そのため、ＲとＢで求めた結果は使用しないか、ＲとＢで求めた結果をＲとＧ、ＧとＢで求めた結果よりも重みを低くして用いる。

（ｃ）図１５（ａ）に示すような斜め方向エッジの場合
この場合は、図１５（ｂ）に示すように、Ｒ画素とＢ画素の組み合わせによりＲとＢとを同じ解像度とサンプル位置にすることが出来る。この場合についてはＲとＧ、ＧとＢの組み合わせに対してサンプル位置はずれるが、解像度についてはＧｒ画素かＧｂ画素のいずれか片方のみを用いることで一致させることが出来る。よって、ＲとＧ、ＧとＢで求めた結果は使用しないか、ＲとＧ、ＧとＢで求めた結果をＲとＢで求めた結果よりも重みを低くして用いる。

その後、ステップＳ６へ進み、制御装置１０４は、ステップＳ５で選別した画素の組から軸上色収差による焦点位置判定を行って処理を終了する。具体的には、制御装置１０４は、ステップＳ５で選別した画素の組を対象として、第１の実施の形態における図２のステップＳ４〜Ｓ１４の処理を実行する。すなわち、第１の実施の形態では、ＲとＧとの間に軸上色収差がある場合の例について説明したが、このＲとＧに代えて、ステップＳ５で選別した画素の組に対応する２色を対象として図２のステップＳ４〜Ｓ１４の処理を実行する。

以上説明した第２の実施の形態によれば、以下のような効果を得ることができる。
制御装置１０４は、入力画像に含まれるエッジの方向に応じて、軸上色収差以外の要因で異なった解像度を一致させるための画素の組み合わせを選別するようにした。これによって、入力画像に含まれるエッジの条件によらず軸上色収差に起因する二色間のエッジボケ幅差の合焦状態における基準値を揃えることができ、合焦状態における基準値との大小を比較して行う焦点位置検出の精度を向上することが出来る。また、被写体追尾や動画撮影における合焦動作を行う場合には、入力画像内で被写体が移動したりしてエッジ方向が回転したり、照明が変化して被写体色が変化しても合焦状態における基準値が変化しなくなるため、安定した軸上色収差を利用した焦点状態検出を行って合焦調整が可能となる。さらに、使用する画素を選別して制限することで扱う画素データ量が抑えられ、補間処理も不要となるため計算コストが削減されて焦点位置検出処理が高速化されるといった副次的な効果も期待できる。

―第３の実施の形態―
第３の実施の形態では、入力画像に軸上色収差以外の各色成分間の解像度変化が含まれる状況に対しても、入力画像に対して単純な補正処理を施すことにより、精度の高い軸上色収差による焦点位置判定を行う方法について説明する。本実施の形態では、判定に用いる画像で発生する各色成分間の解像度変化を打ち消す補正処理をあらかじめ求めておき、焦点位置判定を行う前にこの補正処理を用いて入力画像に補正を行ってから焦点位置判定を行う。

第３の実施の形態では、エッジ方向に依存して各色成分間の解像度変化が発生する画素加算読み出しと補間の場合を例にとり、処理の流れを説明する。図１６は、第３の実施の形態における焦点位置検出処理の流れを示すフローチャート図である。

ステップＳ１において、制御装置１０４は、ベイヤー配列の撮像素子から画素加算を行って画像を読み出す。その後、ステップＳ２へ進み、制御装置１０４は、ステップＳ１で読み出した画像に対して補間処理を施す。ここで、補間装置が画素加算読み出しを想定していない場合には、エッジ方向により各色成分間の解像度が変化した画像が生成される。

その後、ステップＳ３へ進み、制御装置１０４は、入力画像にエッジ方向依存性が存在するか否かを判断する。本実施の形態では、本発明が目的とする軸上色収差による焦点位置検出処理に入力される画像と同一の撮像素子、画素加算読み出し駆動、補間装置、画像処理等の組み合わせにより入力画像の持つエッジ方向依存性をあらかじめ調査しておく。例えば、図１７（ａ）、（ｂ）に示すような白黒の市松模様を画素配列に対して縦横、斜めに置いた画像をコントラストＡＦなどにより合焦状態で撮影して、入力画像の持つエッジ方向依存性を調査しておき、その調査結果に基づいてステップＳ３の判断を行う。

ステップＳ３で否定判断した場合には、入力画像の持つエッジ方向依存性を補正するための処理は必要でないことから、後述するステップＳ５へ進む。これに対して、ステップＳ３で肯定判断した場合には、入力画像の持つエッジ方向依存性を補正するための処理が必要であると判断して、ステップＳ４へ進む。ステップＳ４では、制御装置１０４は、ステップＳ２で補間処理が行われた画像に対して、入力画像の持つ解像度のエッジ方向依存性を補正するための処理を実行する。具体的には、以下のように処理を行う。

まず、制御装置１０４は、軸上色収差による焦点位置検出処理で使用されるものと同一の方法により二色間のエッジボケ幅差Δωをエッジ方向ごとに算出する。ここではＲとＧの色成分間に生じる軸上色収差から合焦状態を判定する場合について説明する。制御装置１０４は、合焦状態でのチャート撮影画像からＲとＧの色成分間のエッジボケ幅差を算出してこれをΔωＡＦ（Ｒ−Ｇ）とする。ここで、合焦状態におけるＲのボケ幅をωＡＦ＿Ｒ、Ｇのボケ幅をωＡＦ＿Ｇとすると、ΔωＡＦ（Ｒ−Ｇ）＝ωＡＦ＿Ｒ−ωＡＦ＿Ｇの関係が存在する。

ΔωＡＦ（Ｒ−Ｇ）のエッジ方向による変化をプロットした結果を図１８に示す。図１８では、縦横斜めの８方向のエッジについてΔωＡＦ（Ｒ−Ｇ）の算出結果をプロットした例を示している。この図１８では、エッジ方向が撮像素子配列に対するエッジの角度が４５度、２２５度の周辺でΔωＡＦ（Ｒ−Ｇ）が０．０を基準としてプラス方向に変化していると見ることができる。どちらも画像上で右上から左下に伸びるエッジであり、この方向のエッジでΔωＡＦ（Ｒ−Ｇ）がプラス方向に変化しているということは、これと直交する左上から右下にいたる方向でＲの解像度が低下し、ωＡＦ＿Ｒが大きくなっていると解釈できる。これを補正するためには、例えば、図１９（ａ）に示す３×３の平滑化フィルタをＧの色成分のみに適用することにより、左上から右下に至る方向でＧの解像度を低下させてＲの解像度に一致するような平滑化を行えばよい。これにより、エッジ方向によるΔωＡＦ（Ｒ−Ｇ）の変化は、図２０（ａ）のように補正される。その結果、エッジ方向によるΔωＡＦ（Ｒ−Ｇ）の変動は解消されるため、ステップＳ５では、どの方向のエッジについてもΔωＡＦ（Ｒ−Ｇ）＝０．０を基準値として、これとの大小により焦点位置検出処理を行うことが可能となる。

また図１８からは別の解釈も可能である。すなわちエッジ方向が撮像素子配列に対するエッジの角度が１３５度、３１５度（＝−４５度）の周辺でΔωＡＦ（Ｒ−Ｇ）が０．３を基準としてマイナス方向に変化していると見ても良い。この場合はどちらも画像上で左上から右下に伸びるエッジであり、この方向のエッジでΔωＡＦ（Ｒ−Ｇ）がマイナス方向に変化しているということは、これと直交する右上から左下にいたる方向でＧの解像度が低下し、ωＡＦ＿Ｇが大きくなっていると解釈できる。これを補正するためには、例えば、図１９（ｂ）に示す３×３の平滑化フィルタをＲの色成分のみに適用することにより、右上から左下に至る方向でＲの解像度を低下させてＧの解像度に一致するような平滑化を行えばよい。これにより、エッジ方向によるΔωＡＦ（Ｒ−Ｇ）の変化は、図２０（ｂ）のように補正される。その結果、エッジ方向によるΔωＡＦ（Ｒ−Ｇ）の変動は解消されるため、ステップＳ５では、どの方向のエッジについてもΔωＡＦ（Ｒ−Ｇ）＝０．３を基準値として、これとの大小により焦点位置検出処理を行うことが可能となる。

後者の場合では基準値が０．３となり０とはならないが、これは特に問題とはならない。合焦状態でのΔωＡＦ（Ｒ−Ｇ）がどのような値となるかは光学系とコントラストＡＦなどの合焦動作に依存し、多くの場合Ｒ、Ｇ、Ｂの全ての色成分で見て総合的にコントラストの良くなる状態が合焦状態と規定されるため、そのうち二色のみ（ここではＲとＧのみ）に注目した場合、合焦状態でもΔωＡＦ（Ｒ−Ｇ）は０になるとは限らない。補正後の値がどの値でも良く、ΔωＡＦ（Ｒ−Ｇ）エッジ方向に対する依存性が解消される状態に画像を補正することが重要となる。

その後、ステップＳ５へ進み、制御装置１０４は、ステップＳ４において各色成分間の解像度変化が補正された画像を対象として、図２のステップＳ４〜Ｓ１４の処理を実行することにより、軸上色収差を用いた焦点位置検出を行う。その後、処理を終了する。

以上説明した第３の実施の形態によれば、以下のような効果を得ることができる。
制御装置１０４は、軸上色収差以外の要因で生じる各色成分間の解像度変化を補正してから、合焦状態を判定するようにした。これによって、入力画像に含まれるエッジ方向やエッジ両側の色、エッジを横切る断面形状、撮影距離やズームポジションなど光学系の状態によらず合焦状態における軸上色収差に起因する二色間のエッジボケ幅差の基準値を揃えることができ、基準値との大小を比較して行う合焦位置検出の精度を向上することが出来る。また、被写体追尾や動画撮影における合焦動作を行う場合には、入力画像内で被写体が移動したりしてエッジ方向が回転したり、被写体が前後に移動して撮影距離が変化したり、照明条件が変化して被写体色が変化しても合焦状態における基準値が変化しなくなるため、安定した軸上色収差を利用した焦点状態検出を行って合焦調整が可能となる。

―変形例―
なお、上述した実施の形態のカメラは、以下のように変形することもできる。
（１）上述した第１の実施の形態では、式（１２）を用いて換算エッジボケ幅差Δｗを算出する例について説明した。しかしながら、以下の（Ａ）〜（Ｄ）に示す何れかの方法により換算エッジボケ幅差Δｗを算出するようにしてもよい。

（Ａ）制御装置１０４は、評価領域内から検出され、図４に示したように正規化されたエッジから直接Ｒ成分のエッジのボケ幅ｗＲとＧ成分のエッジのボケ幅ｗＧとを測定し、次式（１３）により換算エッジボケ幅差Δｗを算出するようにしてもよい。この方法によれば、簡易な計算でΔｗを算出できるため、上述した実施の形態よりもΔｗを算出するための計算量を少なくすることができる。

（Ｂ）制御装置１０４は、評価領域内から検出され、図４に示したように正規化されたエッジの勾配を測定し、間接的に換算エッジボケ幅差Δｗを算出するようにしてもよい。具体的には、Ｒ成分のエッジのボケ幅ｗＲとＲ成分のエッジの勾配ｇＲとエッジ両側のコントラスト差Ｃとの間には次式（１４）に示す関係があり、Ｇ成分のエッジのボケ幅ｗＧとＧ成分のエッジの勾配ｇＧとエッジ両側のコントラスト差Ｃとの間には次式（１５）に示す関係がある。

このため、制御装置１０４は、次式（１６）により換算エッジボケ幅差Δｗを算出することができる。

この方法の場合も、簡易な計算でΔｗを算出できるため、上述した実施の形態よりもΔｗを算出するための計算量を少なくすることができる。

（Ｃ）制御装置１０４は、エッジ領域Ｅの色差和を測定し、間接的にΔｗを算出するようにしてもよい。例えば、図４に示した正規化後のＲ成分のエッジＲ（ｘ）とＧ成分のエッジＧ（ｘ）とを考えると、エッジ領域ＥのＲ、Ｇ２色間の色差和ΔａＲ−Ｇは、図６に示すＲ成分のエッジの輝度面積ａＲとＧ成分のエッジの輝度面積ａＧとを用いて、次式（１７）により算出される。
ΔａＲ−Ｇ＝ａＲ−ａＧ ・・・（１７）

ここで、換算エッジにおいては、点６ａ、点６ｂ、点６ｃを頂点とする三角形の面積により表されるＲ成分のエッジの輝度面積ａＲと、Ｒ成分のエッジのボケ幅ｗＲと、エッジ両側のコントラスト差Ｃとの間には、次式（１８）に示す関係があり、点６ｄ、点６ｅ、点６ｆを頂点とする三角形の面積により表されるＧ成分のエッジの輝度面積ａＧと、Ｇ成分のエッジのボケ幅ｗＧと、エッジ両側のコントラスト差Ｃとの間には、次式（１９）に示す関係がある。

このため、制御装置１０４は、次式（２０）により換算エッジボケ幅差Δｗを算出することができる。

この方法の場合も、簡易な計算でΔｗを算出できるため、上述した実施の形態よりもΔｗを算出するための計算量を少なくすることができる。

（Ｄ）制御装置１０４は、図４に示した正規化後のＲ成分のエッジＲ（ｘ）とＧ成分のエッジＧ（ｘ）とにおけるエッジ領域Ｅを、図７に示すようにエッジ領域Ｅの中間値を境にしてサブエッジ領域ＥＬとＥＨとに分割する。これにより、Ｒ成分のエッジのボケ幅ｗＲとＧ成分のエッジのボケ幅ｗＧは、それぞれＲとＧに共通な幅で２分割される。すなわち、Ｒ成分のエッジのボケ幅ｗＲはエッジ領域Ｅの中間値を境にそれぞれｗＲ／２ずつに２分割され、Ｇ成分のエッジのボケ幅ｗＧはエッジ領域Ｅの中間値を境にそれぞれｗＧ／２ずつに２分割される。

次に、制御装置１０４は、分割した各サブエッジ領域ＥＬとＥＨとのそれぞれについて、２色間の色差和を算出する。この色差和は、上述した（Ｃ）で式（１７）に示したようにＲ成分のエッジの輝度面積とＧ成分のエッジの輝度面積との差分となる。図７に示す例の場合には、サブエッジ領域ＥＬについてのＲ、Ｇ２色間の色差和ΔａＬＲ−Ｇは、点７ａ、点７ｂ、点７ｃを頂点とする三角形の面積と、点７ａ、点７ｄ、点７ｃを頂点とする三角形の面積との差分となり、次式（２１）により算出される。

また、サブエッジ領域ＥＨについてのＲ、Ｇ２色間の色差和ΔａＨＲ−Ｇは、点７ａ、点７ｅ、点７ｇを頂点とする三角形の面積と、点７ａ、点７ｅ、点７ｆ、点７ｇを頂点とする台形の面積との差分となり、次式（２２）により算出される。

制御装置１０４は、式（２１）、（２２）に基づいて、換算エッジボケ幅差Δｗ、すなわちΔｗＲ−Ｇを次式（２３）により算出することができる。

この方法によれば、軸上色収差がある２色で共通するサブエッジ領域ＥＬ、ＥＨを参照して色差和を算出するため、上述した（Ａ）〜（Ｃ）の方法よりも精度良く換算エッジボケ幅差Δｗを算出することができる。

なお、ここではエッジ領域Ｅを中間値を境にして２つのサブエッジ領域ＥＬとＥＨとに２分割する例について説明したが、エッジ領域Ｅをさらに細かく分割し、それぞれのサブエッジ領域を対象として色差和を算出するようにしてもよい。この場合、各サブエッジ領域ごとに算出された色差和に対して適切な加重線形和をとることによって、換算エッジボケ幅差Δｗを間接的に算出することができる。

（２）上述した第１の実施の形態では、制御装置１０４は、エッジ領域Ｅに属する画素の平均値Ｅｍｅａｎを閾値として用いて、エッジ領域Ｅをサブエッジ領域ＥＬとＥＨとに分離する例について説明した。しかしながら、制御装置１０４は、フラット領域Ｆやエッジ領域Ｅにおける画素値の統計的分布に基づく値を閾値として用い、エッジ領域Ｅをサブエッジ領域ＥＬとＥＨとに分離するようにしてもよい。このとき、サブエッジ領域ＥＬとＥＨは、それぞれに重複する画素を含むようにしてもよい。

（３）上述した第１の実施の形態では、制御装置１０４は、エッジ領域Ｅを２つのサブエッジ領域ＥＬとＥＨとに分離する例について説明した。しかしながら、制御装置１０４は、エッジ領域Ｅを３つ以上のサブエッジ領域Ｅ１〜Ｅｎに分離するようにしてもよい。この場合、上述した評価値Ｉに代えて、所定の係数によるＥ１〜Ｅｎの色差和の係数加重演算により評価値Ｉと等価な値を算出してもよいし、それぞれのサブエッジ領域さらに階層的に分類して評価値Ｉを算出してもよい。また、評価領域画像内に換算エッジへの近似が成り立たないエッジが存在する場合には、評価値Ｉに対して、それを考慮した補正を行うようにしてもよい。

（４）上述した第１の実施の形態では、エッジ領域を２つのサブエッジ領域ＥＬとＥＨとに分離を行う前に画像のアップサンプリングを行うようにすれば、合焦位置精度をさらに向上させることできる。特にレンズ位置が合焦状態に近くエッジ幅がシャープな場合にアップサンプリングによって領域分離の分解能が改善されるため、大きな精度向上が見込まれる。このとき、計算負荷の許される範囲で高い拡大倍率のアップサンプリングを行えばよい。また画像拡大時の画素補間方法は周囲の画素を用いた単純な双線形補間でよい。

（５）上述した第２の実施の形態では、２×２画素加算読出した縮小ベイヤー配列ＲＡＷ画像を例に説明したが本発明の適用範囲はそれに限定されない。例えば、本発明は元ベイヤー配列ＲＡＷ画像に対して適用しても良い。ベイヤー配列ＲＡＷ画像の補間処理において輝度色差面での補間を行う場合やエッジ強調効果が含まれる場合がある。それらは画質面では優れた画像を生成するが、軸上色収差を用いた焦点位置検出に対しては微妙な二色間のボケ幅の差を消す効果をもたらす事もあり、そういった場合には補間を行わないＲＡＷ画像を用いた方が高精度な焦点位置検出ができる。また本発明は補間済みの画像に対して適用しても良い。ベイヤー配列ＲＡＷ画像を補間して全画素でＲＧＢの値を持つ画像から、元ベイヤー配列ＲＡＷ画像に由来する画素のみを選別して用いることで、補間等画像処理の影響を受けた各色成分間の解像度変化の影響を避けることが可能となる場合がある。いずれの場合についても、入力された画像から、軸上色収差による焦点位置判定を行う二色の組み合わせのそれぞれについて、解像度とサンプル位置がなるべく一致する画素の組み合わせを選別することが重要となる。

（６）上述した第２、第３の実施の形態は、画素加算読み出しに最適化されていない補間装置により生成される画像を例としてあげたが、本発明の対象はこれに限定するものではない。例えば、画質改善を目的としたエッジ方向に適応的な補間処理、ノイズ除去、エッジ強調や色調変換などといったあらゆる画像処理や、撮像素子が原因で各色成分間の解像度が変化した画像も対象に含む。また各色成分間の解像度が変化する条件はエッジ方向によるものだけでなく、エッジ両側の色、エッジを横切る断面形状（エッジの形状）、撮影距離やズームポジションなど光学系の状態によるものなども含まれる。

（７）上述した第３の実施の形態では、図１８に示したように、縦横斜めの８方向のエッジについてΔωＡＦ（Ｒ−Ｇ）のエッジ方向による変化を測定する例について説明した。しかしながら、さらに細かいエッジの傾きに対して変化を調査し、より精度の高い補正方法と係数を決定しても良い。

（８）上述した第３の実施の形態では、図６のステップＳ４において、平滑化により補正を行う例を示したが、補正の手段としては平滑化に限定されない。例えば、エッジ強調などの各色成分間の解像度変化を補正しうる処理であってもよい。またエッジ方向に対する変化以外にも、エッジ両側の色、エッジを横切る断面形状、撮影距離やズームポジションなど光学系の状態による変化を同じように調べて、この影響を補正する手段をあらかじめ調べて決定してもよい。また、ステップＳ４では、入力画像によるエッジの特徴を都度調べて補正の強度をあらかじめ決められた係数から適応的に変化させても良い。

（９）上述した第1〜第３の実施の形態では、本発明をカメラ１００に適用する例について説明した。しかしながら、オートフォーカス機能を備えた他の撮影装置にも本発明を適用することができる。

なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。また、上述の実施の形態と複数の変形例を組み合わせた構成としてもよい。

１００ カメラ、１０１ 操作部材、１０２ レンズ、１０３ 撮像素子、１０４ 制御装置、１０５ メモリカードスロット、１０６ モニタ

Claims (8)

1. 軸上色収差をもつ光学系が形成する被写体像を入力画像として入力する画像入力手段と、
   前記画像入力手段により入力された前記入力画像から各色成分ごとのエッジを検出するエッジ検出手段と、
   前記エッジ検出手段により検出された各色成分ごとのエッジのうち、前記軸上色収差がある２つの色成分のエッジ両側でコントラスト差を正規化したエッジを算出する正規化手段と、
   前記正規化されたエッジ領域の色差和に基づいて所定の評価値を算出し、算出した前記評価値を用いて、前記正規化されたエッジのボケ幅の差を算出する算出手段と、
   前記算出手段によって算出された前記正規化されたエッジのボケ幅の差に基づいて、合焦状態を判定する合焦状態判定手段と、を備え、
   前記算出手段は、前記軸上色収差がある２つの色成分のエッジのボケ幅とエッジの勾配、およびエッジ両側のコントラスト差に基づいて前記ボケ幅の差を算出することを特徴とする撮像装置。
2. 軸上色収差をもつ光学系が形成する被写体像を入力画像として入力する画像入力手段と、
   前記画像入力手段により入力された前記入力画像から各色成分ごとのエッジを検出するエッジ検出手段と、
   前記エッジ検出手段により検出された各色成分ごとのエッジのうち、前記軸上色収差がある２つの色成分のエッジ両側でコントラスト差を正規化したエッジを算出する正規化手段と、
   前記正規化されたエッジ領域の色差和に基づいて所定の評価値を算出し、算出した前記評価値を用いて、前記正規化されたエッジのボケ幅の差を算出する算出手段と、
   前記算出手段によって算出された前記正規化されたエッジのボケ幅の差に基づいて、合焦状態を判定する合焦状態判定手段と、を備え、
   前記算出手段は、前記軸上色収差がある２つの色成分のエッジの輝度面積と、エッジ両側のコントラスト差に基づいて前記ボケ幅の差を算出することを特徴とする撮像装置。
3. 請求項１または２に記載の撮像装置において、
   前記算出手段は、前記入力画像のアップサンプリング処理を行ったのち前記ボケ幅の差を算出することを特徴とする撮像装置。
4. 請求項１〜３のいずれか一項に記載の撮像装置において、
   前記入力画像を構成する色成分の中から前記軸上色収差がある２つの色成分を選択する選択手段をさらに備え、
   前記選択手段は、前記入力画像に含まれるエッジの方向に応じて、軸上色収差以外の要因で異なった解像度を一致させるための２つの色成分の使用画素を選択することを特徴とする撮像装置。
5. 請求項４に記載の撮像装置において、
   前記入力画像は、画素加算読み出しにより生成されたＲＡＷ画像であることを特徴とする撮像装置。
6. 請求項５に記載の撮像装置において、
   前記選択手段は、撮像素子から読み出された元のＲＡＷ画像における各色成分の画素位置と、前記画素加算読み出しにより生成されたＲＡＷ画像における各色成分の画素位置との位置関係を加味して、前記軸上色収差以外の要因で異なった解像度を一致させるための２つの色成分の使用画素を選択することを特徴とする撮像装置。
7. 請求項５または６に記載の撮像装置において、
   前記入力画像は、補間処理を施された画像であることを特徴とする撮像装置。
8. 軸上色収差をもつ光学系が形成する被写体像を入力画像として入力する画像入力手順と、
   前記画像入力手順で入力された前記入力画像から各色成分ごとのエッジを検出するエッジ検出手順と、
   前記エッジ検出手段により検出された各色成分ごとのエッジのうち、前記軸上色収差がある２つの色成分のエッジ両側でコントラスト差を正規化したエッジを算出する正規化手順と、
   前記正規化されたエッジ領域の色差和に基づいて所定の評価値を算出し、算出した前記評価値を用いて、前記正規化されたエッジのボケ幅の差を算出する算出手順と、
   前記算出手順で算出された前記正規化されたエッジのボケ幅の差に基づいて、合焦状態を判定する合焦状態判定手順と、をコンピュータに実行させるための焦点判定プログラムであって、前記算出手順は、前記軸上色収差がある２つの色成分のエッジの輝度面積と、エッジ両側のコントラスト差に基づいて前記ボケ幅の差を算出することを特徴とする焦点判定プログラム。
   

Images