JP2011128623A - 信頼基準を有するオートフォーカス - Google Patents

Abstract

【課題】画像取得技術、特に、自動画像合焦機構を提供する。
【解決手段】オートフォーカスが、各焦点調節反復時に以前のピンぼけ差深度推定値の加重和に応答して実行される。分散も、過去及び現在の両方の推定にわたって判断され、所定の画像に対して現在の焦点位置に関する信頼基準を提供する。フォーカス調節は、分散が、適正焦点が達成されたという信頼性を示すほど十分に低くなるまで繰り返される。本方法は、次のレンズ位置を判断するために最も最近の深度推定を利用するもののような最良の現在の深度ベースの技術によって達成されるものよりも正確かつ迅速な合焦を提供する。それとは対照的に、本発明の装置及び方法は、オートフォーカス処理における全ての以前の深度推定結果を結合し、統計モデル及び信頼基準に基づいて次のレンズ位置を判断する。
【選択図】図１

Description

関連出願への相互参照
適用なし

連邦政府委託研究又は開発に関する陳述
適用なし

コンパクトディスクで提出された内容の引用による組込み
適用なし

著作権保護を受ける内容の通知
この特許文献中の内容の一部は、米国及び他の国の著作権法に従って著作権保護を受ける。著作権の権利の所有者は、米国特許商標局の一般公開ファイル又は記録中に現れる時の特許文献又は特許開示内容の何人による複製にも異議がないが、それ以外は、いかなる著作権も全て保有する。著作権所有者は、以下に限定されるものではないが、３７Ｃ．Ｆ．Ｒ．§１．１４に従ったその権利を含むこの特許文献を秘密に付しておくその権利のいずれも放棄するものではない。

本発明は、一般的に画像取得に関し、より具体的には、自動画像合焦機構に関する。

カメラ及び他の光デバイスは、典型的には、被写体上の正しい焦点を取得する自動化された機構を提供する。通常、オートフォーカス（ＡＦ）は、途中までのようなシャッター−トリガをある程度押すことに応答して作動する。一部の場合には、オートフォーカス機能は、画像を捕捉する前又は画像シーケンス又は映像を捕捉する間に焦点を連続的に維持する。

オートフォーカス中、カメラレンズは、３次元の場面上に自動的に合焦し、焦点は、深度に対して制御されることが認められるであろう。多くのオートフォーカス機構が、当業技術で公知である。１つの従来のオートフォーカス方式では、オートフォーカス曲線のピークを捜す。一実施形態では、カメラは、画像勾配から得られたオートフォーカス曲線を利用する。分析の領域が益々合焦すると、画像勾配は益々大きくなる。オートフォーカスアルゴリズムの目的は、必要とするカメラ焦点位置の数を最小にしながら、オートフォーカス曲線のピークに到達することである。しかし、既存の機構は、適正な焦点上に決して収束することができず、かつそれらは、作動が遅いことが多く、又は適正焦点位置を「捜し」続ける場合がある。

望ましい画像を捕捉する１つの重要な測定基準は、それが適正に合焦されることである。適正カメラ焦点を推定又は達成する多くのシステムが開発されている。カメラレンズシステムは、いくつかの関連の要素及び特性を有するので、次に、これらの要素及びそれらの関連の特性を簡単に説明する。

一般的に、写真レンズの２つの主要な光学パラメータは、最大絞り及び焦点距離である。焦点距離は、所定の被写体までの距離（被写体−距離）に対して視角及びの物体（被写体）のサイズに対する画像のサイズを判断する。最大絞り（ｆ数又はｆストップ）は、所定の設定に対して使用可能な画像の明るさ及び最速シャッター速度を制限し（焦点距離／有効口径）、数字が小さいほど、典型的には簡単なデジタルカメラ内の画像センサの面と考えることができる焦点面に与えられる光が多いことを示している。

技術的に単一要素を有するレンズである１つの形態の典型的な単一レンズは、単一焦点距離を有し、「プライムレンズ」とも呼ばれる。単一焦点レンズを使用してカメラを合焦させる際には、レンズと焦点面の間の距離が変更され、これは、写真の被写体画像が焦点面上へ誘導される焦点の変更をもたらす。すなわち、単焦点レンズは、固定の光学的関係及び焦点距離を有するが、それは、カメラにおいて集束範囲スパンにわたって被写体上に合焦させるために使用される。その結果、焦点面に関連してそのレンズの位置を調節すると焦点距離が変わるそのレンズを使用するカメラで取得することができる焦点距離の範囲とレンズの固定焦点距離を混同すべきではない。

単焦点レンズを使用する際には、望ましいシャッター速度に対して光量を選択するために絞りを調節し、次に、焦点距離とも呼ばれる被写体−距離に従って焦点を調節し、次に、画像を捕捉する。多くの場合、それ以外では単焦点レンズには、マクロ設定には、接写を行うための異なる焦点距離選択が設けられている。望遠レンズは、遠距離物体からの画像でフレームを満たすために高い倍率で非常に狭い視角を提供する。

多焦点レンズは、通常、「ズーム」レンズと呼び、その理由は、画像倍率を場合によって「ズーム式」又は「非ズーム式」とすることができるからである。ズームレンズにより、ユーザは、被写体の倍率の量を選択するか、又は言い換えれば、被写体がフレームを満たす程度を設定することができる。これらのレンズ又はカメラ−レンズシステムのズーム機能は、概念的には焦点制御及び絞り制御の両方から別のものであることを理解することが重要である。

利用されるのが単焦点レンズか多焦点レンズかに関わらず、所定の被写体−距離が得られるように適正にレンズを合焦させることが必要である。所定の焦点設定に対して満足できる焦点範囲は、物体空間又は被写体空間において満足できる鮮明度の深度の測定値である「被写界深度」と呼ばれる。例えば、１５フィートの被写体距離では、高解像度カメラの満足できる焦点範囲は、インチの程度とすることができ、一方、最適焦点には、より多くの精度を必要とする可能性がある。被写界深度は、合焦が中間距離から、言うまでもなくその範囲では無制限の被写界深度を有する「無限大」（例えば、遠くの山々、雲のような画像を捕捉する）に向けて移動する時に増加することが認められるであろう。

所定の絞り設定の単焦点レンズに対して、カメラから被写体まで所定の距離（被写体−距離）に対して単一の最適焦点設定が存在することになる。カメラの焦点距離より近いか又は遠い被写体の各部は、被写界深度に影響を与える多くのファクタに依存して、何らかのピンぼけの尺度に従って捕捉された画像内に現れることになる。しかし、多焦点レンズにおいては、そのレンズにより取得することができる各レンズ倍率（レンズ焦点距離）に対して最適焦点が存在する。実用性を増大させるために、レンズ製造業者は、ズーム設定に応答して再合焦する必要性を大幅に低減したが、再合焦が必要であるか否かは、使用時の特定のカメラ−レンズシステムに依存する。更に、絞り設定には、異なるレベルのズーム倍率に応答して変更が必要である可能性がある。

本来、カメラの焦点は、カメラを操作する人の認識及び手動により焦点調節に応じてしか判断及び補正することができなかった。しかし、結果に対する焦点の極めて重要な性質のために、合焦の補助手段がすぐに採用された。ごく最近では、撮像デバイスは、被写体に対して自動的に合焦させる機能、すなわち、今日では、一般的に「オートフォーカス」という機能を備えている。多くの既存のオートフォーカス機構の各々は欠点及び妥協を有するために、合焦方法は、引き続き激しい技術開発の項目となっている。

２つの一般的な形式のオートフォーカス（ＡＦ）システム、すなわち、能動オートフォーカス及び受動オートフォーカスが存在する。能動オートフォーカスにおいては、１つ又はそれよりも多くの画像センサを利用して焦点までの距離を判断するか又は他の方法で画像捕捉レンズシステムの外部にある焦点を検出する。能動ＡＦシステムは、迅速な合焦を行うことができるが、それらは、一般的に、窓を通じて又は他の特定の用途において合焦しないことになり、その理由は、音波及び赤外線光がガラス及び他の表面により反射されるからである。受動オートフォーカスシステムにおいては、表示された画像の特性を使用して焦点を検出して設定する。

高性能ＳＬＲカメラの大半では、現在、レンズを通じた光学ＡＦセンサを使用しており、これらのセンサは、例えば、露出計としても利用することができる。これらの最新のＡＦシステムの合焦機能は、多くの場合に、普通のファインダを通じて手動で達成するよりも高い精度になる可能性がある。

１つの形態の受動ＡＦは、ビームスプリッタを通じて入射光を画像の対に分割してＡＦセンサ上でそれらを比較することによるような位相検出を利用する。２つの光学プリズムは、レンズの両側から来る光線を捕捉してＡＦセンサに向け、レンズの直径と同一のベースを有する簡単な距離計を作成する。焦点は、物体が焦点の前か又は適正焦点位置の後部にあると見なされるかを判断するために計算した類似の光の強度パターン及び位相差の有無を検査することに応答して判断される。

別の形式の受動ＡＦシステムにおいては、コントラスト測定が、レンズを通じてセンサ視野内で行われる。システムは、一般的に正しい画像焦点を示す隣接ピクセル間の強度差を最大にするように焦点を調節する。すなわち、合焦は、最大レベルのコントラストが得られるまで行われる。この形式の合焦は、特に、弱い光の下で作動する時には能動ＡＦより速度が遅いが、低価格の撮像デバイスにおいて利用される一般的な方法である。

受動システムは、低コントラスト条件、特に、大きな単色面で（固体面、空など）又は暗い条件で焦点判断を行うことが劣っていることで有名である。受動システムは、被写体に対するある一定の照明（自然であるか否かに関わらず）に依存し、一方、能動システムは、必要な時には暗黒においてさえも正しく合焦させることができる。

従って、より確実にカメラの合焦を制御するシステム及び方法に対する必要性が存在する。これらの必要性及び他のものは、以前に開発されたオートフォーカスシステム及び方法の欠点を克服する本発明の範囲内で満足される。

本発明は、既存の機構よりも容易かつ正確に適正焦点を取得することができる画像適合オートフォーカス方法を教示する。本発明者の関連のオートフォーカスシステムの１つは、次のレンズ位置を判断するために最も最近の深度推定結果を利用する関連の２画像適合方法である。本方法は、適合曲線が滑らかな時に極めて良好に機能する。しかし、頻繁に発生するが、適合曲線がノイズを有する時、焦点精度及び速度性能は劣化する。本発明は、これらの欠点を克服する新しいオートフォーカス方法を教示するものである。２つの画像の関係に基づいて合焦させるのではなく、本発明は、オートフォーカス中に現在と過去（例えば、この画像に関する全ての深度推定）の深度推定結果を結合する新しい手段を利用して統計モデル及び信頼基準に基づいて次のレンズ位置を判断する。本発明は、適合曲線がノイズを有する時でさえも焦点精度及び速度を大幅に改善するものである。本発明は、（１）最も最近のもののみの代わりに、現在及び過去（例えば、この画像の全ての以前の予測）の予測レンズ位置を使用して予測の精度を改善し、（２）オートフォーカス中に予測レンズ位置の信頼基準を生成することにより、現実世界条件においてオートフォーカス方法の使用性を広げるものである。

本発明は、以下の説明を含むがこれらに限らずいくつかの方法で具現化することが容易である。

本発明の一実施形態は、（ａ）撮像デバイス及び関連の焦点制御要素を制御するように構成されたコンピュータプロセッサと、（ｂ）コンピュータプロセッサに結合されたメモリと、（ｃ）（ｃ）（ｉ）対象画像を捕捉する段階、（ｃ）（ｉｉ）捕捉された画像対間の深度を推定する段階、（ｃ）（ｉｉｉ）深度の重み付き平均とこの画像に関する現在及び以前の収集画像対にわたる分散とを判断する段階、（ｃ）（ｉｖ）深度の重み付き平均に応答して焦点を調節する段階、及び（ｃ）（ｖ）分散が適正焦点の十分な信頼性が得られたことを示す値に到達するまで上述の段階を繰り返す段階を含むオートフォーカス段階を実行するためのコンピュータプロセッサによって実行可能なメモリ上のプログラミングとを含むオートフォーカスを制御する装置である。本発明は、すなわち、最も最近の深度推定のみを使用する代わりに、全ての以前の深度推定結果を結合することに応答してプログラミング段階の各反復において焦点を調節する。更に、本発明の少なくとも１つの実施形態は、好ましくは、過大数のレンズ焦点移動を検出することに応答するように構成され、かつ合焦処理を終了し、推定結果に大きな分散を割り当て、反復数をリセットしてオートフォーカスを続行し、現在の深度推定を廃棄し、新しい深度推定を計算する別の対の画像を撮像するか、又は適正焦点を取得することに向けて別の代案を実行するかのいずれかを行うように構成される。

本発明により、画像対の２つの画像間のピンぼけ差の量を判断して実際の深度を推定することに基づいて、対の各画像が異なる焦点距離で撮像された捕捉した画像対間で深度が推定される。本発明の少なくとも１つの実施形態では、深度は、被写体深度の最尤推定量（ＭＬＥ）を用いて推定される。少なくとも１つの実施形態では、深度は、次式によって与えられる重み付き平均を用いて推定される。

Ｎは、オートフォーカス中のレンズ移動の数を表し、Ｎ個のバイアスなしの深度推定結果ｄ₁、．．．、ｄ_Nは、ｄ_i〜Ｎ（μ，σ_i ²）で取得したものであり、μは、実際の被写体深度であり、ｄ_iは、距離であり、σ_i ²は、分散であり、μの「最尤推定量（ＭＬＥ）」は、重み付き平均によって与えられる。分散は、予測レンズ位置が最適焦点を提供するという信頼基準として各焦点反復を用いて判断される。少なくとも１つの実施形態では、重み付き平均の分散は、以下によって与えられる。

Ｎは、オートフォーカス中のバイアスなしの深度推定結果の数を表している。

コンピュータプロセッサ、撮像デバイス、及びフォーカス制御を含むような本発明の実施形態は、静止画像カメラ内に、又は作動的態様においてそれほど好ましくはないが、ビデオカメラ内に又は静止及びビデオ画像カメラの組合せに組み込むことができる。

本発明の一実施形態は、（ａ）撮像デバイスと、（ｂ）撮像デバイスに結合された焦点制御要素と、（ｃ）撮像デバイス及び焦点制御要素に結合されたコンピュータプロセッサと、（ｄ）コンピュータプロセッサに結合されたメモリと、（ｅ）（ｅ）（ｉ）対象画像を捕捉する段階、（ｅ）（ｉｉ）捕捉された画像対間の深度を推定する段階、（ｅ）（ｉｉｉ）深度の重み付き平均と過去及び現在の収集画像対にわたる分散とを判断する段階、（ｅ）（ｉｖ）深度の重み付き平均に応答して焦点を調節する段階、及び（ｅ）（ｖ）分散が、適正焦点の十分な信頼性が得られたことを示す値に到達するまで上述の段階を繰り返す段階を含むオートフォーカス段階を実行するためのコンピュータプロセッサ上で実行可能なプログラミングとを含む画像を電子的に捕捉する装置である。捕捉された画像対間の深度の推定は、好ましくは、被写体距離がカメラの焦点範囲の少なくとも一部を通じて変化する時に検出されるコントラスト変化に応答して判断されたピンぼけ差に基づく焦点適合モデル（あらゆる望ましい形式の）に応答して実行される。

本発明の一実施形態は、（ａ）カメラデバイスにより第１の対象画像を捕捉する段階と、（ｂ）カメラデバイスにより付加的な対象画像を捕捉する段階と、（ｃ）捕捉された対象画像間のピンぼけ差を焦点適合モデルに入力することに応答して捕捉画像対の間の深度を推定し、モデルを解いて対象まで距離の推定を生成する段階と、（ｄ）深度の重み付き平均と過去及び現在の収集画像対にわたる分散とを判断する段階と、（ｅ）深度の重み付き平均に応答してオートフォーカス処理においてカメラ焦点位置を調節する段階と、（ｆ）分散が、適正焦点を達成する際の十分な信頼性を示す値（例えば、分散閾値未満）に到達するまで段階（ｂ）から（ｅ）を繰り返す段階とを含むカメラ焦点を自動的に調節する方法である。少なくとも１つの実施形態では、段階（ｂ）〜（ｅ）の反復数が望ましい閾値を超えたと判断された時に、オートフォーカス処理は、（ｅ）（ｉ）現在の焦点位置でオートフォーカスを終了する段階、又は（ｅ）（ｉｉ）推定結果に大きな分散を割り当ててオートフォーカス処理を続行する段階、又は（ｅ）（ｉｉｉ）現在の深度推定を廃棄して新しい深度推定を計算するための１つ又はそれよりも多くの付加的な写真を撮る段階を実行することによって変更される。

本発明は、本教示内容を逸脱ことなく別々に又はあらゆる望ましい組合せで実施することができるいくつかの有益な態様を提供する。

本発明の態様は、画像取得中のオート画像フォーカス（ＡＦ）である。

本発明の別の態様は、オートフォーカス（ＡＦ）機構の精度を増大させることである。

本発明の別の態様は、オートフォーカス（ＡＦ）中に必要なレンズ運動の量を低減することである。

本発明の別の態様は、適正焦点が高いレベルの信頼性で達成されるようにＡＦ機構に関する判断を高めることである。

本発明の別の態様は、最も最近の推定を使用する代わりに、ピンぼけ差に基づく以前の距離推定の加重和に基づいてオートフォーカスを行うことである。

本発明の別の態様は、合焦の反復の程度及び適正焦点を保証するために他のアクションを取る必要があるか否かを制御するのに利用することができる信頼基準をオートフォーカス処理の各段階で生成することである。

本発明の別の態様は、撮像デバイスと捕捉画像を処理するようになったコンピュータプロセッサとで構成されたあらゆる撮像デバイスに実施することができるオートフォーカス方法である。

本発明の更に別の態様は、あらゆる形式のスチールカメラに実施することができるオートフォーカス方法である。

本発明の更に別の態様は、詳細説明が制限を設けることなく本発明の好ましい実施形態を完全に開示することを目的としたものである本明細書の以下の各部で説明する。

本発明は、単に例示目的である以下の図面への参照によってより完全に理解されるであろう。

本発明の態様による複数の焦点での複数の画像の捕捉の概略図である。 本発明の態様による較正ターゲット（例えば、ステップエッジ）画像の概略図である。 本発明の態様による較正ターゲット（例えば、ステップエッジ）画像の概略図である。 本発明の態様による３回の反復におけるピンぼけ差の計算の概略図である。 合焦中の画像数に対する反復数を示す収集された良好な適合曲線のグラフである。 合焦中の画像数に対する反復数を示す収集された不良な適合曲線のグラフである。 分散がどのように反復の数と共に増加するかを示す反復及び分散に対する誤差分布のグラフである。 ３つの標準偏差にわたる焦点信頼性を示すガウス分布のグラフである。 焦点信頼性を示す推定誤差対反復数の平均値のグラフである。 反復数が増加する時に増加する分散を示す推定誤差のグラフである。 本発明の実施形態により最も最近の推定処理を重み付き平均推定と比較する焦点誤差試験結果のグラフである。 本発明の実施形態により最も最近の推定処理を重み付き平均推定と比較するレンズ移動の結果のグラフである。 深度推定信頼性レベルに対する被写界深度（ＤＯＦ）に対する焦点位置の線グラフである。 本発明の実施形態による重み付き平均推定の反復数に対する信頼性のレベルのグラフである。 本発明の実施形態による信頼性基準による重み付き平均推定の実行の流れ図である。 本発明の実施形態による信頼性基準による重み付き平均推定方法を用いてオートフォーカスを行うカメラのブロック図である。

図面を更に具体的に参照すると、例示を目的として、本発明は、図１〜図１５に全体的に示す装置に実施される。装置は、構成に関してかつ各部の詳細に関して異なる場合があり、かつ本方法は、本明細書で開示する基本的な概念から逸脱することなく、特定の段階及びシーケンスに関して変わる場合があることが認められるであろう。

既存の２画像適合を利用するオートフォーカスでは、オートフォーカスに向けて最も最近の深度推定結果を使用するが、ノイズがある適合曲線を適正に処理することはできない。目的は、合焦精度を改善して、ノイズのある状況下でレンズ移動の数を低減する方法を開発することである。この目的は、オートフォーカス中に現在と過去の（例えば、この画像に関する全ての深度推定）深度推定結果を結合することによってもたらすことができる。

１．ピンぼけ差

被写体が合焦されている時、捕捉された画像は最も鮮明である（最も高いコントラストを有する）。レンズが合焦されている位置から離れる時にピンぼけが発生する（コントラストが少なくなる）。一般的に、２つの画像を２つの異なる焦点距離で撮像した時、被写体距離に近い方で撮像した画像の方が、他方よりも鮮明である。画像を撮像する焦点距離及びこれらの２つの画像間のピンぼけ差の量を利用して、実際の被写体距離又は深度を推定することができる。

図１は、所定の撮像装置（例えば、カメラの特定の銘柄又はモデル）を特徴付ける時に、較正ターゲット（又は被写体）の複数の画像を異なる焦点位置（被写体−距離）で捕捉する実施形態１０を示している。最小焦点距離１４から無限大１６まで焦点を調節することができる撮像デバイス（カメラ）１２が示されている。最小焦点距離１４（例えば、この場合は３５ｃｍ）、並びに無限大１６での焦点が示されている。本発明により、焦点は、焦点経路２４に沿って既知の光学特性を有するステップエッジ画像、スレート、目盛り、又は類似のターゲットのような較正ターゲット２２上で第１の焦点位置１８に、次に、第２の焦点位置２０に収束する。一例として、カメラの集束距離は、最小焦点距離（例えば、３５ｃｍ）と無限大の間の範囲である。

図２Ａは、被写体３２が合焦されている条件３０を示しており、捕捉した画像データは、ステップエッジの「エッジプロフィール」とも呼ばれる鮮明なコントラスト曲線３４により表されるように最も鮮明である。較正ターゲット又は被写体は、単にコントラストに基づいて焦点の鮮明度を判断する機構になることが好ましいことが認められるであろう。例えば、ステップエッジターゲットにおいては、明瞭なステップエッジの描写は、少なくとも２つの色、色相、輝度の間で行われ、焦点の鮮明度は、コントラストプロフィールの鮮明度から容易に判断することができる。ターゲットは、ビデオ補捉及び出力の異なる態様を試験する際の異なる彩度キー及び色バーパターンの使用と同様に、いくつかの異なる方法のいずれかで形成することができることが当業者により認められるであろう。

図２Ｂは、レンズが「合焦」位置から離れる時に物体３８の画像がぼける条件３６を示しており、得られる傾斜したコントラスト曲線４０が示されている。一般的に、２つの画像を２つの異なる焦点距離で撮像した時、被写体距離に近い方で撮像した画像の方が、他方よりも鮮明である。画像を撮像する焦点距離及びこれらの２つの画像間のピンぼけ差の量を利用して、実際の被写体距離又は深度を推定することができる。

２つの画像ｆ_A及びｆ_Bをｆ_Aがｆ_Bより鮮明な条件で位置Ａ及びＢで撮像する場合を考える。ピンぼけの変化は、位置ＡからＢまで点広がり関数Ｐによりモデル化することができる。
ｆ_A ^*Ｐ＝ｆ_B
ここで、^*は、２次元畳み込みの演算を示している。更に、点広がり関数Ｐは、ピンぼけカーネルＫによる一連の畳み込みを使用することによって近似することができる。
Ｐ＝Ｋ^*Ｋ^*．．．^*Ｋ （１）

本明細書で行う試験においては、カーネルＫは、以下として選択される。

次に、ｆ_Aとｆ_B間のピンぼけ差の量は、式（１）の畳み込みの回数より測定することができる。実際の実施においては、ピンぼけ差は、反復処理により取得する。

ここで、‖．‖は、ｆ_Aとｆ_Bの間のピンぼけ適合誤差を評価するノルム演算子を示している。

２．適合曲線

適合曲線は、反復数とレンズ焦点位置の関係である。所定の深度のための適合曲線を取得するために、一連の画像をレンズの焦点範囲全体に対して撮像し、次に、ピンぼけ差を２つの画像毎にその間に計算する。シーケンスの第１の画像は、無限大の焦点距離で撮像し、次に、レンズが最小焦点距離に到達するまで、レンズが１つの被写界深度で焦点に接近する度に１つの画像を撮像する。画像のこのシーケンスをｆ₀、ｆ₁、．．．、ｆ_N-1によって示し、ここで、Ｎは、シーケンスの長さである。

図４及び図５は、一部の統計モデルに適合するノイズを有するデータ（図４）及びあらゆる統計モデルに適合しない異常値（図５）を示す異なる適合曲線を示している。

図４は、反復数と焦点範囲にわたる焦点位置の関係として適合曲線を示す例示的な試験結果のグラフを示している。一例としてかつ非制限的に、このシーケンスは、被写体がステップエッジ画像で焦点距離１７５ｍｍ（３５ｍｍ相当）及び絞りｆ４．４でソニー製ＤＳＣ−Ｔ２００カメラにより撮像したものである。一例として、捕捉した画像の解像度は、この例においては、３２０ｘ２４０ピクセルに縮小した。この例に対して、ｆ_i及びｆ_i+4のピンぼけ差は、１＝０、．．．、Ｎ−５に対して計算した。ピンぼけ差値の符号は、いずれの画像がより鮮明であるかを示す有利な手段になることを認めるべきである。符号が＋である場合、ｆ_iは、ｆ_i+4より鮮明である。そうでなければ、すなわち、符号が−である負の場合、ｆ_i+4の方が鮮明である。

図４の「画像数」軸は、反復数が計算される画像対を示している。この例においては、画像数ｉは、反復数がｆ_i-2とｆ_i+2の間に計算されることを意味する。反復の数の絶対値は、レンズ焦点位置が被写体距離から離れる時に増加することがわかる。ゼロ交差点（図４内の画像数３３付近で交差すると図示）は、被写体が合焦されている位置である。

図５は、異常値の計算に対する応答をもたらすような反復数と焦点位置の「不良な」関係を示す例示的な試験結果のグラフを示している。これらの結果は、適切なシステム応答を適正にモデル化していないので「不良」と呼ばれる。このデータのような「不良」データに遭遇した時の一般的なオートフォーカス機構は、適正焦点をもたらすことができないことは驚くべきことではない。

３．深度推定及びオートフォーカス

深度推定は、適合曲線の特性に応答して実行される。特性は、線形勾配又は多項式によりモデル化することができることが認められるであろう。オートフォーカス中、異なる焦点位置で画像を撮像する。各々の２つの画像間のピンぼけ差を計算して、適合曲線モデルを利用して深度を推定する。

オートフォーカス用途に対しては、従来は、推定距離でレンズを焦点まで移動させ、次に、新しい深度を同様に推定する。この手順は、次に、反復数が、ゼロ（合焦）又は代替的に何らかの指定の閾値未満に収束するまで繰り返される。これらの推定距離の最高の結果は、最も最近の深度推定であると考えられている。しかし、この「最も最近の推定」手法には、いくつかの欠点がある：（１）収束が保証されない、（２）次の深度推定でより多くの精度が得られるという保証がない、（３）特に適合曲線がノイズを有する時に遅い処理である、及び（４）この方法は、ピンぼけ差結果が誤りである（例えば、異常値）状況を適正に処理しない。

本発明による方法は、非常に容易に正確な焦点に到達するためにこれらの欠点を克服するものである。

４．複数の深度推定結果の結合

深度推定誤差は、以下のように設計される。
ｅ＝ｄ−ｆ （４）
ここで、ｄは、推定被写体深度であり、ｆは、実際の被写体深度である。誤差ｅは、ガウス分布ｅ〜Ｎ（μ，σ²）を使用してモデル化され、ここで、平均値μは、推定バイアス量を表し、一方、分散σ²は、信頼性レベルの基準である。σ²の値が小さいほど、大きな信頼性が推定結果によって得られる。

レンズ位置が実際の焦点位置から離れる時に、反復数の絶対値は増大し、深度推定結果の信頼性レベルは一般的に低くなる。

図６は、反復数が増加する時に分散がどのように増加するかを示すものであり、曲線は、５．２の分散で単一の反復（実線）を示し、２６．６の分散で５回の反復（破線）を示している。反復数は、レンズ位置が焦点位置から離れる時に増加することが観測される。更に、反復数が増加する時に、曲線は、多くのノイズを伴い、推定は、信頼性が劣るようになる。

図７は、ガウス分布内の信頼区間を示している。図示の分布においては、平均値μは、バイアス量を表し、一方、分散σ²は、推定結果のうち信頼性、すなわち、信頼性レベルを計るものである。ガウス分布に対しては、値の約６８％は平均から１標準偏差内にあり、約９５％は、２標準偏差内にあり、約９９．７％は、３標準偏差内にあることが認められるであろう。

例えば、反復数が０である時、焦点位置は、現在のレンズ位置であると推定される。推定分散は、統計データに基づいて２．６０である（ＤＳＣ−Ｔ２００望遠レンズワイド−オープン）。標準偏差は、１．６１である。推定が１．６１ＤＯＦ内にあるという６８％信頼性が存在し、３．２２ＤＯＦ内に９５％信頼性、４．８３ＤＯＦ内に９９．７％信頼性が存在する。

図８は、推定誤差対反復数の平均値を示している。グラフは、平均値が、反復数が増加して１１よりも多いと急激に増加することを示している。理想的には、推定は、全ての反復数に対して平均値０でバイアスなしということになる。依然として推定は、ノイズ、異常値、モデル化誤差、及び他の誤差源の存在に応答してバイアスされる。推定をバイアスなしにするには、推定結果から平均値を差し引くことが必要である。平均値は、反復数が１１よりも小さい時にほぼ０である。

図９は、推定誤差の分散を示すと共に、反復数が増加する時に増加する分散を示している。分散は、この例示的な結果で見ることができるように、１３〜１４回の反復を超えると急激に上昇することが分かるであろう。

本発明は、１つよりも多いレンズ移動がオートフォーカスに必要な時に推定結果を結合し、従って、２つの画像だけに基づく最も最近の推定ではなく、合焦中に生成された過去及び現在の両方の推定を使用するように構成される。これに対する目的は、以下のように理解することができる。

画像のＮ個の対がオートフォーカス中に捕捉され、かつＮ個のバイアスなしの深度推定結果ｄ₁、．．．、ｄ_Nがｄ_i〜Ｎ（μ，σ_i ²）で得られたと仮定してみる。平均値μは、実際の被写体深度である。ｄ_iは、ｉ番目の画像対からの深度推定として独立したものであると仮定すると、所定のσ_i ²、すなわち、μの「最尤推定量（ＭＬＥ）」は、重み付き平均によって与えられる。

この分散：

は、ｄ_iに対するいずれの個々の分散σ_i ²よりも小さく、これは、重み付き平均：

によりいずれの個々のｄ_iよりも大きい信頼性が得られることを意味する。従って、

は、最も最近の推定に依存するのではなく、オートフォーカスに使用すべきである。このオートフォーカス処理の収束条件は、

の十分な信頼性に応答して、又は

が所定の閾値を下回る時に生じる。各回の新しい推定により重み付き平均の分散が低減される。高精度の合焦の結果は、十分なレンズ移動が行われ、かつ画像が撮像された場合に取得することができる。

最も最近の推定方法を使用する時、反復レンズ移動は、前の位置に戻る時に無限ループを防止するために停止する必要があり、焦点位置への収束は決して達成されないことを認めるべきである。これとは対照的に、本発明の重み付き平均法においては、レンズ運動は、各回の推定により信頼性レベル増加及び焦点改善になるので停止する必要はない。

最も最近の推定処理に対して、収束条件は、反復数が０又はほぼ０である時に起こり、依然としてノイズを有する適合曲線に応答して適正に機能しない。しかし、本発明の重み付き平均法を使用して、オートフォーカスは、結果の十分な信頼性の達成に応答して、又は推定分散が特定の閾値未満である時に収束する。

本発明の１つの試験においては、試験結果は、ソニー製ＤＳＣ−Ｔ２００カメラを使用して撮像した２５７個の自然な場面シーケンスに応答して発生させた。シーケンスは、異なる照明条件、屋内及び屋外、及び細密テクスチャ及び粗いテクスチャなどに及ぶものであった。これらのシーケンスのうちの３７個は、統計モデルを構築するには異常値が多過ぎたので別々に処理した。残りのシーケンスのうちの２１９個は、より良好であるが依然としてノイズを有するシーケンスであることが判明した。これらのうちの１０９個のシーケンスをトレーニングのために（平均及び分散の計算）無作為に選択し、残りの１１０個のシーケンスは、試験のために使用した。これらの試験においては、閾値推定分散は、４被写界深度（ＤＯＦ）内で９５％信頼性が得られる４．０に設定された。

図１０は、本発明による重み付き平均推定（実線）を最も最近の推定（破線）と比較する試験結果を示している。これらの結果から、合焦誤差は、本発明の方法を使用すると低減され、合焦誤差は、遥かに少なくなったことを見ることができる。より注意して見ると、重み付き平均方法に対して、ＡＦ結果の９７．５％が４ＤＯＦ内で得られたことが見られる。しかし、最も最近の推定方法（現地試験において使用される今回の実施例）は、４ＤＯＦ内でＡＦ結果の８７．４％のみを提供する。この方法の推定誤差を補正すると、４ＤＯＦ内でのＡＦ結果の９０．６％が得られる。本発明の重み付き平均推定方法を用いて、性能の実質的な改善が明らかである。

図１１は、重み付き平均推定処理（実線）と最も最近の推定方法（破線）の比較を示している。精度はさておき、合焦に関する別の重要な測定基準には、焦点位置をもたらす際に必要とされるレンズ運動の量が含まれることが認められるであろう。

重み付き平均推定に応答して、レンズ移動の平均数は、２．９２であり、画像の平均数２．９２個の対として捕捉されたものであった。しかし、最も最近の推定方法を使用して、レンズ移動の平均数は、５．６６であり、画像の平均数は、６．６６個の対として捕捉されたものであった。従って、最も最近の推定技術を使用して必要とされるものに対して、本発明で必要とするレンズ移動及び画像捕捉は遥かに少なくなる（例えば、ほぼ１／２ほども少なくなる）。

５．信頼性のない深度推定

深度推定結果が無作為な「見当」を使用することと同じである場合、その推定は、信頼性なし（ゼロ信頼性）をもたらす。技術的には、信頼性のレベルは、分散が無限大（一様な分布）である時にゼロである。

図１２は、一例としてかつ制限なく選択した望遠レンズ付きソニー製ＤＳＣ−Ｔ２００カメラの合焦範囲での７１個の画像数（ＤＯＦ）を示している。推定結果が焦点位置に対して１８ＤＯＦ以内である（３６ＤＯＦ間隔又は合焦範囲の半分）という確率が僅か５０％である場合、これは、信頼性のない推定である。

図１３は、反復数に対する１８ＤＯＦ内の適合する結果の百分率としての深度推定の頻度を示している。推定の分散は、反復数が増加する時に増加することを見ることができる。反復数の閾値は、従って、結果が無作為見当と同じになる点又はその前の点で確立されることが好ましい。この例に対して、反復数が約１４を超えた時、推定結果に信頼性がないことを見ることができる。

最も最近の推定のような方法とは異なり、本発明の重み付き平均方法は、焦点信頼性に関する情報が得られ、すなわち、それは、オートフォーカスで不規則な結果が得られる場合があるか、又は適正焦点で収束する可能性がない時を認識し、かつその時に適切なアクションを講じることができる。以下は、信頼性なしの推定に応答して実行することができる３つの選択肢を概説する。

１．推定結果に大きな分散（例えば、１０００）を割り当てて通常のオートフォーカス処理を続ける。例えば、図９は、１４を超えるか又は等しい全ての反復数に１０００を割り当てることによって修正することができる。

２．この結果を廃棄し、別の対の画像を撮像して新しい深度推定を計算する。

３．オートフォーカス処理を終了する。

本発明で実行する試験において、第１の選択肢を一例として選択する。焦点信頼性値を生成する機能は、本発明の教示内容を逸脱することなくいくつかの異なる方法で利用することができることを認めるべきである。

６．オートフォーカス方法の要約

本発明は、レンズ移動の各反復に対して過去及び現在の推定結果の重み付き平均の使用を教示し、かつ最も最近の推定だけに基づく推定に比べて改善を提供する。更に、本発明は、統計分散を使用し、オートフォーカス（ＡＦ）方法を制御、修正、及び／又は終了するための信頼基準を生成する。本発明は、ＡＦ精度を改善し、かつ適正焦点に到達するのに必要とされるレンズ移動数及び画像捕捉数を低減する。

図１４は、本発明のオートフォーカス方法の例示的な実施形態を示している。段階５０で、Ｎ＝１で処理を初期化する。画像を段階５２に従って撮像し、深度推定ｄ_Nを段階５４に従って計算する。全ての｛ｄ₁、．．．、ｄ_N｝に対して、ＭＬＥ

及びその分散：

を段階５６で計算する。ブロック５８に従って、レンズをＭＬＥ

によって与えられる深度まで移動する。分散：

と所定の閾値の間の比較を実行する（６０）。分散が段階６２で判断するように閾値よりも小さい（又は代替的に、閾値に等しいか又はそれ未満の）場合、オートフォーカス処理を段階６８で終了する。そうでない場合、すなわち、

の方が大きい場合、段階６４で１（Ｎ＝Ｎ＋１）によるなどでＮを増大させる。Ｎのサイズの検査を段階６６に従って行い、Ｎがオートフォーカスのレンズ移動の最大許可数よりも大きい場合、オートフォーカスを終了することができ（６８）、一方、そうでなければ、段階５２に戻って処理を続行することができる。分散がＮの最大値に到達したとしても（段階６６で検出）依然として過大である場合、本発明の教示内容から逸脱することなくオートフォーカス終了以外の選択肢を選択することができることを認めるべきである。

７．オートフォーカスハードウエア実施形態

本発明は、いくつかの異なる形式の画像捕捉のいずれかを実行するように構成される様々なデバイス及びシステム上に実施することができることを認めるべきである。一例としてかつ非制限的に、以下は、カメラデバイス内の実施形態を説明する。

図１５は、本発明によるオートフォーカスに向けて構成された画像捕捉デバイス（カメラ）９０の例示的な実施形態９０を示している。焦点／ズーム制御装置９４は、コンピュータプロセッサ（例えば、１つ又はそれよりも多くのＣＰＵ、マイクロコントローラ、及び／又はＤＳＰ）９６により制御される撮像光学要素９２に結合されるように示されている。コンピュータプロセッサ９６は、メモリ９８及び／又は補助メモリ１００から実行された命令に応答してオートフォーカス方法を実行する。静止画像カメラデバイスに対して、任意的な画像ディスプレイ１０２及びタッチスクリーン１０４を一例として示すが、本発明による方法は、撮像デバイス、フォーカス制御装置、コンピュータプロセッサ、及びメモリから成る様々な画像捕捉デバイス上に実施することができることが認められるであろう。ズーム、タッチスクリーン、画像ディスプレイ、非タッチ式画面インタフェース１１６、及び補助メモリの存在は、必ずしも本発明を実施する画像捕捉デバイス内にあるわけではなく、一般的なカメラシステムに存在する姿に示されている。

一般的に図１４に示すオートフォーカスの段階は、メモリ９８及び／又は補助メモリ１００と組み合わせてコンピュータプロセッサ９６によって実行されることを認めるべきである。

本発明は、カメラの焦点制御の方法及び装置を提供する。本発明の教示内容は、スチールカメラなどを含むオートフォーカス態様を必要とする様々なカメラ装置及び用途に応用することができる。

本発明の実施形態を本発明の実施形態による方法及びシステムの流れ図の例示を参照して説明する。これらの方法及びシステムは、コンピュータプログラム製品として実施することができる。この点に関しては、流れ図の各ブロック又は段階、及び流れ図内のブロック（及び／又は段階）の組合せは、コンピュータ可読プログラムコード論理に実施される１つ又はそれよりも多くのコンピュータプログラム命令を含むハードウエア、ファームウエア、及び／又はソフトウエアのような様々な手段によって実施することができる。認められることになるように、あらゆるこのようなコンピュータプログラム命令は、コンピュータ又は他プログラマブル機械上に実施されるコンピュータプログラム命令によって流れ図のブロック内に明記した機能を実行するための手段が作り出されるように、機械を製造するために汎用コンピュータ又は専用コンピュータ又は他のプログラマブル処理装置を含むがこれらに限定されないコンピュータ上にロードすることができる。

従って、流れ図のブロックは、指定の機能を実行するための手段の組合せ、指定の機能を実行する段階の組合せ、及び指定の機能を実行するためのコンピュータ可読プログラムコード論理手段に具現化されるようなコンピュータプログラム命令をサポートする。しかし、流れ図に例示の各ブロック及び流れ図の例示内のブロックの組合せは、指定の機能又は段階を実行する専用ハードウエアに基づくコンピュータシステム、又は専用ハードウエア及びコンピュータ可読プログラムコード論理手段の組合せによって実行することができることも理解されるであろう。

コンピュータ可読プログラムコード論理手段に実施されるようなこれらのコンピュータプログラム命令は、コンピュータ可読メモリに格納された命令により流れ図に明記する機能を実行する命令手段を含む製造品目が製造されるようにコンピュータ又は他のプログラマブル処理装置に特定の方法で機能するように指示することができるコンピュータ可読メモリに格納することができる。コンピュータプログラム命令は、コンピュータ又は他プログラマブル機械上に実施されるコンピュータプログラム命令によって流れ図のブロック内に明記した機能を実行する段階が得られるように、一連の作動段階をコンピュータ又は他のプログラマブル処理装置上で実行させてコンピュータによって実行される処理を生成するためにコンピュータ又は他のプログラマブル処理装置上にロードすることができる。

本明細書で説明する内容から、本発明は、以下を含む様々な方法で具現化することができることが認められるであろう。

１．（ａ）撮像デバイス及び関連の焦点制御要素を制御するように構成されたコンピュータプロセッサと、（ｂ）コンピュータプロセッサに結合されたメモリと、（ｃ）（ｉ）対象画像を捕捉する段階、（ｉｉ）深度推定値に到達するように捕捉された画像対間の深度を推定する段階、（ｉｉｉ）深度推定値の重み付き平均及び過去及び現在の深度推定値の両方にわたる分散を判断する段階、（ｉｖ）深度推定の重み付き平均に応答して実行される合焦移動による焦点を調節する段階、及び（ｖ）分散が、適正焦点位置がもたらされたという十分な信頼性を示す値に到達するまで、段階（ｉ）〜（ｉｖ）を繰り返す段階を含むオートフォーカス処理を実施するためにメモリに格納されてコンピュータプロセッサによって実行可能なプログラミングとを含むオートフォーカスを制御するための装置。

２．過大数の合焦移動が実行されたと判断する段階と、現在の焦点位置でオートフォーカス処理を終了する段階とを含む段階を実行するためのコンピュータプロセッサ上で実行可能なプログラミングを更に含む実施形態１による装置。

３．過大数の合焦移動が実行されたと判断する段階と、推定結果に大きな分散を割り当ててオートフォーカス段階を実行し続ける段階とを含む段階を実行するためのコンピュータプロセッサ上で実行可能なプログラミングを更に含む実施形態１による装置。

４．過大数の合焦移動が実行されたと判断する段階と、深度推定を廃棄して、別の深度推定を作ってオートフォーカス処理を続けるべき対象画像の別の対を捕捉する段階とを含む段階を実行するためのコンピュータプロセッサ上で実行可能なプログラミングを更に含む実施形態１による装置。

５．焦点が、最近の深度推定のみを利用する代わりに、現在及び以前の深度推定を結合することによってオートフォーカス処理の各反復に応答して調節される実施形態１による装置。

６．深度推定が、捕捉された画像対の間に実行され、その各画像が、異なる焦点位置で撮像され、画像対内の捕捉画像間のピンぼけ差の量を判断することに基づいて実際の深度を推定する実施形態１による装置。

７．深度推定が、被写体深度の最尤推定量（ＭＬＥ）を用いて行われる実施形態１による装置。

８．深度推定が、

によって与えられる重み付き平均；

に応答して判断され、ここで、Ｎは、オートフォーカス処理中のレンズ移動の数を表し、ｄ_iは、ｉ番目の画像対からの深度推定であり、σ_i ²は、ｄ_iの分散である実施形態１による装置。

９．分散が、オートフォーカス処理中に行われた全ての深度推定の考慮に応答してコンピュータプロセッサ上で実行可能なプログラミングによって生成される信頼基準を含む実施形態１による装置。

１０．分散が、オートフォーカス処理中に予測される深度推定に応答してコンピュータプロセッサ上で実行可能なプログラミングによって生成される信頼基準を含み、分散が、

によって与えられる重み付き平均：

として判断され、Ｎは、オートフォーカス処理中に実行されたバイアスなしの深度推定の数を表し、σ_i ²は、ｉ番目の深度推定の分散である実施形態１による装置。

１１．装置が静止画像カメラの構成要素である実施形態１による装置。

１２．（ａ）撮像デバイスと、（ｂ）撮像デバイスに結合され、かつ撮像デバイスに焦点範囲を与える焦点制御要素と、（ｃ）撮像デバイス及び焦点制御要素に結合されたコンピュータプロセッサと、（ｄ）コンピュータプロセッサに結合されたメモリと、（ｅ）メモリに格納され、かつ（ｉ）対象画像を捕捉する段階、（ｉｉ）深度推定に到達するように捕捉された画像対間の深度を推定する段階、（ｉｉｉ）深度推定の重み付き平均を判断し、かつ過去及び現在の収集画像対にわたる分散を判断する段階、（ｉｖ）深度推定の重み付き平均に応答して焦点を調節する段階、及び（ｖ）分散が、適正焦点位置がもたらされたという十分な信頼性を示す値に到達するまで、段階（ｉ）〜（ｉｖ）を繰り返す段階を含むオートフォーカス処理を実施するためにコンピュータプロセッサ上で実行可能なプログラミングとを含む画像を電子的に捕捉するための装置。

１３．装置が静止画像カメラの構成要素である実施形態１２による装置。

１４．コンピュータプロセッサ上で実行可能なプログラミングが、画像が捕捉されている物体の被写体距離が撮像デバイスの焦点範囲の少なくとも一部を通じて変化する時に検出されたコントラスト変化に応答して判断されるピンぼけ差に基づいて焦点適合モデルに応答して捕捉画像対の間で深度を推定するように構成される実施形態１２による装置。

１５．コンピュータプロセッサ上で実行可能なプログラミングが、オートフォーカス処理が過大回数実行されたと判断することに応答してオートフォーカス処理を中断するように構成される実施形態１２による装置。

１６．コンピュータプロセッサ上で実行可能なプログラミングが、オートフォーカス処理が、分散が所定の閾値に到達することなく過大回数実行されたと判断する時に、分散に大きな値を割り当てるように構成される実施形態２による装置。

１７．コンピュータプロセッサ上で実行可能なプログラミングが、オートフォーカス処理が、分散が所定の閾値に到達することなく過大回数実行されたと判断する時に、現在の深度推定を廃棄して深度推定を行うべき対象画像の付加的な対を捕捉するように構成される実施形態１２による装置。

１８．（ａ）カメラデバイスにより第１の対象画像を捕捉する段階と、（ｂ）カメラデバイスにより付加的な対象画像を捕捉する段階と、（ｃ）深度推定を生成するために解かれる焦点適合モデルに捕捉対象画像間のピンぼけ差の値を入力することに応答して捕捉画像対間の深度を推定する段階と、（ｄ）深度の重み付き平均と過去及び現在の深度推定にわたる分散とを判断する段階と、（ｅ）深度推定の重み付き平均に応答してオートフォーカス処理内のカメラ合焦移動を用いてカメラ焦点位置を調節する段階と、（ｆ）分散が、カメラデバイスのための適正焦点位置を達成する際の十分な信頼性を示す値に到達するまで、段階（ｂ）〜（ｅ）を繰り返す段階とを含むカメラ焦点を自動的に調節する方法。

１９．方法が静止画像カメラにおいて実施される実施形態１８による方法。

２０．過大数の合焦移動が実行されたと判断する段階と、現在の焦点位置でオートフォーカス処理を終了すること、分散に大きな値を割り当ててオートフォーカス処理を続行すること、及び現在の深度推定を廃棄して新しい深度推定を行うべき１つ又はそれよりも多くの付加的な対象画像を捕捉することから成るアクションの群から選択されたアクションを実行することによってオートフォーカス処理を変更する段階とを更に含む実施形態１８による方法。

以上の説明には多くの詳細が含まれているが、これらは、発明の範囲を制限するのではなく、単に本発明の現在の好ましい実施形態の一部の例示を示すものと解釈すべきである。従って、本発明の範囲は、当業者に対して明らかであると考えられる他の実施形態を完全に包含し、かつ本発明の範囲は、特許請求の範囲以外のいかなるものによっても制限すべきものではなく、特許請求の範囲では、単数での要素への言及は、明示的に記載されていない限り「１つかつ１つのみ」を意味するのではなく、むしろ「１つ又はそれよりも多く」を意味することを意図することが認められるであろう。当業者に公知の上述の好ましい実施形態の要素に対する全ての構造的及び機能上の均等物は、引用により本明細書に明示的に組み込まれ、かつ本発明の特許請求の範囲により包含されるように仮定されているものである。更に、本発明により解決されるように求められる各々かつ全ての問題に対処する必要はなく、その理由は、本発明の特許請求の範囲によって包含されているからである。更に、本発明の開示内容におけるいかなる要素、構成要素、又は方法段階も、その要素、構成要素、又は方法段階が特許請求の範囲において明示的に記載されているか否かに関係なく、一般大衆に捧げられることを意図したものではない。本明細書のいかなる請求項の要素も、その要素が「のための手段」という語句を使用して明示的に記載されていない限り、３５Ｕ．Ｓ．Ｃ．１１２の第６段落の規定に基づいて解釈されないものとする。

１０ 較正ターゲットの複数の画像を異なる焦点位置で捕捉する実施形態
１２ 撮像デバイス（カメラ）
１４ 最小焦点距離
１６ 無限大

Claims (20)

1. オートフォーカスを制御するための装置であって、
   （ａ）撮像デバイス及び関連の焦点制御要素を制御するように構成されたコンピュータプロセッサと、
   （ｂ）前記コンピュータプロセッサに結合されたメモリと、
   （ｃ）前記メモリに格納され、かつ
   （ｉ）対象画像を捕捉する段階、
   （ｉｉ）深度推定に到達するために捕捉画像対間の深度を推定する段階、
   （ｉｉｉ）深度推定の重み付き平均と過去及び現在の両方の深度推定にわたる分散とを判断する段階、
   （ｉｖ）前記深度推定の前記重み付き平均に応答して実行される合焦移動を用いて焦点を調節する段階、及び
   （ｖ）前記分散が、適正焦点位置が達成されたという十分な信頼性を示す値に到達するまで、段階（ｉ）から（ｉｖ）を繰り返す段階、
   を含むオートフォーカス処理を実施するために前記コンピュータプロセッサによって実行可能であるプログラミングと、
   を含むことを特徴とする装置。
2. 過大数の合焦移動が実行されたと判断する段階、及び
   現在の焦点位置で前記オートフォーカス処理を終了する段階、
   を含む段階を実施するために前記コンピュータプロセッサ上で実行可能なプログラミングを更に含むことを特徴とする請求項１に記載の装置。
3. 過大数の合焦移動が実行されたと判断する段階、及び
   前記推定結果に大きな分散を割り当ててオートフォーカスの段階を実行し続ける段階、
   を含む段階を実施するために前記コンピュータプロセッサ上で実行可能なプログラミングを更に含むことを特徴とする請求項１に記載の装置。
4. 過大数の合焦移動が実行されたと判断する段階、及び
   深度推定を廃棄し、別の深度推定を行って前記オートフォーカス処理を続けるための対象画像の別の対を捕捉する段階、
   を含む段階を実施するために前記コンピュータプロセッサ上で実行可能なプログラミングを更に含むことを特徴とする請求項１に記載の装置。
5. 焦点が、最近の深度推定のみを利用する代わりに、現在及び以前の深度推定を結合することによって前記オートフォーカス処理の各反復に応答して調節されることを特徴とする請求項１に記載の装置。
6. 前記深度推定は、各画像が異なる焦点位置で撮像された捕捉画像対間で行われ、実際の深度を推定する段階が、該画像対内の捕捉画像間のピンぼけ差の量の判断に基づくことを特徴とする請求項１に記載の装置。
7. 前記深度推定は、被写体深度の最尤推定量（ＭＬＥ）を用いて行われることを特徴とする請求項１に記載の装置。
8. 前記深度推定は、
   

   

   によって与えられる重み付き平均；
   

   

   に応答して判断され、ここで、Ｎは、前記オートフォーカス処理中のレンズ移動の数を表し、ｄ_iは、ｉ番目の画像対からの深度推定であり、σ_i ²は、ｄ_iの分散であることを特徴とする請求項１に記載の装置。
9. 前記分散は、前記オートフォーカス処理中に行われた全ての深度推定の考慮に応答して前記コンピュータプロセッサ上で実行可能な前記プログラミングによって生成される信頼基準を含むことを特徴とする請求項１に記載の装置。
10. 前記分散は、前記オートフォーカス処理中に予測される深度推定に応答して前記コンピュータプロセッサ上で実行可能な前記プログラミングによって生成される信頼基準を含み、かつ
    前記分散は、
    

    

    によって与えられる重み付き平均：
    

    

    として判断され、ここで、Ｎは、前記オートフォーカス処理中に実行されたバイアスなしの深度推定の数を表し、σ_i ²は、ｉ番目の深度推定に対する分散である、
    ことを特徴とする請求項１に記載の装置。
11. 静止画像カメラの構成要素であることを特徴とする請求項１に記載の装置。
12. 画像を電子的に捕捉するための装置であって、
    （ａ）撮像デバイスと、
    （ｂ）前記撮像デバイスに結合され、かつ該撮像デバイスに焦点範囲を与える焦点制御要素と、
    （ｃ）前記撮像デバイス及び前記焦点制御要素に結合されたコンピュータプロセッサと、
    （ｄ）前記コンピュータプロセッサに結合されたメモリと、
    （ｅ）前記メモリに格納され、かつ
    （ｉ）対象画像を捕捉する段階、
    （ｉｉ）深度推定に到達するために捕捉画像対間の深度を推定する段階、
    （ｉｉｉ）深度推定の重み付き平均を判断し、かつ現在及び過去の収集画像対にわたる分散を判断する段階、
    （ｉｖ）前記深度推定の前記重み付き平均に応答して焦点を調節する段階、及び
    （ｖ）前記分散が、適正焦点が達成されたという十分な信頼性を示す値に到達するまで、オートフォーカス処理における段階（ｉ）から（ｉｖ）を繰り返す段階、
    を含むオートフォーカス処理を実施するために前記コンピュータプロセッサ上で実行可能であるプログラミングと、
    を含むことを特徴とする装置。
13. 静止画像カメラの構成要素であることを特徴とする請求項１２に記載の装置。
14. 前記コンピュータプロセッサ上で実行可能な前記プログラミングは、画像が捕捉されている物体の被写体距離が前記撮像デバイスの焦点範囲の少なくとも一部を通じて変化する時に検出されるコントラスト変化に応答して判断されたピンぼけ差に基づく焦点適合モデルに応答して捕捉画像対間の深度を推定するように構成されることを特徴とする請求項１２に記載の装置。
15. 前記コンピュータプロセッサ上で実行可能な前記プログラミングは、前記オートフォーカス処理が過大回数実行されたと判断することに応答して該オートフォーカス処理を中断するように構成されることを特徴とする請求項１２に記載の装置。
16. 前記コンピュータプロセッサ上で実行可能な前記プログラミングは、前記オートフォーカス処理が、前記分散が所定の閾値に到達することなく過大回数実行されたと判断された時に該分散に大きな値を割り当てるように構成されることを特徴とする請求項１２に記載の装置。
17. 前記コンピュータプロセッサ上で実行可能な前記プログラミングは、前記オートフォーカス処理が、前記分散が所定の閾値に到達することなく過大回数実行されたと判断された時に、現在の深度推定を廃棄し、かつ深度推定を行うための対象画像の付加的な対を捕捉するように構成されることを特徴とする請求項１２に記載の装置。
18. カメラ焦点を自動的に調節する方法であって、
    （ａ）カメラデバイスによって第１の対象画像を捕捉する段階と、
    （ｂ）前記カメラデバイスによって付加的な対象画像を捕捉する段階と、
    （ｃ）深度推定を生成するために解かれる焦点適合モデル内に捕捉対象画像間のピンぼけ差値を入力することに応答して捕捉画像対間の深度を推定する段階と、
    （ｄ）深度推定の重み付き平均と過去及び現在の深度推定にわたる分散とを判断する段階と、
    （ｅ）前記深度推定の前記重み付き平均に応答してオートフォーカス処理内のカメラ合焦移動を用いてカメラ焦点位置を調節する段階と、
    （ｆ）前記分散が、前記カメラデバイスに対する適正焦点を達成する際の十分な信頼性を示す値に到達するまで、段階（ｂ）から（ｅ）を繰り返す段階と、
    を含むことを特徴とする方法。
19. 静止画像カメラにおいて実施されることを特徴とする請求項１８に記載の方法。
20. 過大数の合焦移動が実行されたと判断する段階と、
    前記現在の焦点位置で前記オートフォーカス処理を終了すること、
    分散に大きな値を割り当てて前記オートフォーカス処理を続行すること、及び
    現在の深度推定を廃棄し、新しい深度推定を行うための１つ又はそれよりも多くの付加的な対象画像を捕捉すること、
    から成るアクションの群から選択されたアクションを実行することによって前記オートフォーカス処理を変更する段階と、
    を更に含むことを特徴とする請求項１８に記載の方法。

Images