[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP5214811B2 - 測距装置、測距方法、測距プログラムおよび測距システムならびに撮像装置 - Google Patents

測距装置、測距方法、測距プログラムおよび測距システムならびに撮像装置 Download PDF

Info

Publication number
JP5214811B2
JP5214811B2 JP2011540463A JP2011540463A JP5214811B2 JP 5214811 B2 JP5214811 B2 JP 5214811B2 JP 2011540463 A JP2011540463 A JP 2011540463A JP 2011540463 A JP2011540463 A JP 2011540463A JP 5214811 B2 JP5214811 B2 JP 5214811B2
Authority
JP
Japan
Prior art keywords
distance
attention
subject
unit
parallax
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011540463A
Other languages
English (en)
Other versions
JPWO2011058876A1 (ja
Inventor
英二 石山
智紀 増田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2011540463A priority Critical patent/JP5214811B2/ja
Publication of JPWO2011058876A1 publication Critical patent/JPWO2011058876A1/ja
Application granted granted Critical
Publication of JP5214811B2 publication Critical patent/JP5214811B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本発明は、複数の視点画像に基づいて被写体距離を測定する測距装置および測距方法に関し、特に、レンズ位置情報が無くても精度よく被写体距離を測定することができる測距装置および測距方法に関する。
複数の撮像部を持つステレオカメラ乃至マルチカメラにおいて、各々の撮像画像における被写体の画像情報を比較することで、被写体の３次元情報を計測することが可能である。その際に精度の良い３次元計測を行うためには、ズームレンズやフォーカスレンズの光学的な特性に起因する画像歪みの影響を除去することと、カメラパラメータと呼ばれる、カメラの焦点距離や画像中心やせん断（以下内部パラメータと記す）、及びカメラの空間中における位置・方位（以下外部パラメータと記す）などの幾何的な情報を正確に把握しておくことが必要となる。そこで、カメラ情報格納部は、第一の撮像部及び第２の撮像部のズーム倍率やフォーカス位置に依存して変化する、レンズ歪み補正情報または内部パラメータを格納するため、ズーム倍率とフォーカス位置の組み合わせに対応した複数のレンズ歪み補正情報または内部パラメータを格納する。カメラ情報は事前にカメラキャリブレーション処理を行うことで取得可能であり、例えば工場出荷時や設置後の初期調整時に校正パターンなどを用いた既存のカメラキャリブレーション手法、例えばZhangの用いた手法などで計測し、カメラ情報格納部に格納する。ステレオ画像処理部は、ズーム・フォーカス制御部から第一の撮像部と第２の撮像部のズーム及びフォーカスの情報を取得し、カメラ情報格納部からズーム及びフォーカスの情報に応じたカメラ情報を取得する。ステレオ画像処理部は、このカメラ情報を用いてステレオ画像をステレオ画像処理し、被写体の3次元計測を行って、視差情報や距離情報や3次元位置情報や3次元計測の信頼性を示す評価値などを3次元情報として出力する（特許文献１）。
特許文献２には、一方の撮像画像を基準画像、他方の撮像画像を参照画像とし、参照画像を移動すると共に、視差画像を作成して、視差量の分散が最小となる参照画像の移動量を参照画像の補正量として選択する構成が開示されている。
特許文献３には、距離画像を生成し、距離画像における各距離ごとの画素の出現頻度を示すヒストグラムを作成し、そのヒストグラムに基づいて、主要被写体の範囲を検出する構成が開示されている。
ステレオカメラシステムでは、３次元空間の位置情報を得ようとする対象の物体（対象物体）を、複数のカメラで撮影した時に、各カメラにおける、例えばＣＣＤなどの光電変換素子の受光面（以下、適宜、スクリーンという）上に投射される対象物体の位置情報から、その対象物体の３次元空間における位置情報を特定できる。従って、３次元空間内のある位置に存在する物体の位置情報と、その位置に対象物体があるときに、その対象物体が各カメラのスクリーン上に投影される位置の位置情報との対応関係（位置情報対応関係）を、予め求めておく必要がある。この位置情報対応関係を求めることをキャリブレーションという（特許文献４）。
２つのカメラを用いて被写体の３次元情報を求めるステレオカメラ部では、カメラ個々の焦点距離、画像中心、画素サイズ等の情報からなる内部パラメータと、２つのカメラの位置、姿勢等の関係情報からなる外部パラメータと、カメラにおける理想的光学系と実際の光学系との間の差による光学歪パラメータ等が必要であり、これらのパラメータを総合してカメラパラメータと言う。カメラキャリブレーションでは、予め３次元座標位置の分かっている被写体を、複数のカメラから構成されるステレオカメラ部で撮像して複数の投影像を求め、この複数の投影像と３次元座標位置から、カメラパラメータを求めていた。そしてカメラパラメータから投影像内における所定の画像位置の対応する点の３次元情報を求めていた（特許文献５）。
奥行き画像生成手段は、ＡＦの合焦距離（撮像レンズから現在焦点が合わせられている被写体までの距離）に対応した奥行き画像生成方法（マッピングテーブル）を読み出し、このマッピングテーブルと、距離情報取得手段にて取得した画素ごとの距離情報とに基づいて、画素ごとに奥行き値をそれぞれ設定していき、奥行き画像を生成する。これにより、撮影時のＡＦの合焦距離によって得られた被写体に適した立体視画像を作成することができるとする（特許文献６）。
異なる位置に設けられた２台以上のカメラを用いて被写体を撮像し、これにより取得された複数の画像（基準カメラによる基準画像および参照カメラによる参照画像）の間で対応する画素である対応点を探索し（ステレオマッチング）、互いに対応する基準画像上の画素と、参照画像上の画素との位置の差（視差）を算出し、視差に三角測量の原理を適用することにより、基準カメラまたは参照カメラから当該画素に対応する被写体上の点までの距離を計測して、被写体の立体形状を表す距離画像を生成することができる。ステレオマッチングを行う際には、基準画像上のある画素に写像される実空間上の点は、複数存在するため、実空間上の点の写像である直線（エピポーラ線）上に、当該画素に対応する参照画像上の画素が存在することに基づいて、当該画素に対応する参照画像上の画素である対応点が探索される。ステレオマッチングを行う際には、基準画像上に対応点探索の対象となる画素を含む相関ウィンドウを設定し、参照画像上において基準画像に設定したものと同一の相関ウィンドウをエピポーラ線上に沿って移動し、移動位置毎に各画像上の相関ウィンドウ内の各画素についての相関を算出し、参照画像上における相関が所定のしきい値以上となる相関ウィンドウの中央の位置にある画素を、画素の対応点として求めている（特許文献７）。
測距センサが搭載されていないカメラであっても、焦点レンズを前後にモータ駆動して被写体に合焦させる機構を持ったカメラであれば、そのモータ駆動のパルス数を計数し、この計数値から距離情報を求めることができる。この場合、パルス数計数値と距離との関係を関数で持っていても、あるいはテーブルデータとして持っていてもよい（特許文献８）。
顔検出部は、フレームメモリに記憶された画像データに基づいて、２つの撮像ユニットによって撮像された各画像から顔を検出する。この顔検出方法としては、公知の方法、例えば、顔検出用のパターン画像をＲＯＭに記憶させておき、このパターン画像を参照してパターン認識によって顔検出を行う（特許文献９）。
この他、顔検出の方法は様々あり、例えば、画像から肌色を有するとともに人物の顔の形状（例えば長円系）を有する領域を検出し、検出した領域を顔の領域と見なして抽出する手法がある（特許文献１０）。
異なる視点画像間の対応点検索の方法としては、絶対値和法（Sum of Absolute Difference：ＳＡＤ法）や位相限定相関法(Phase-Only Correlation: ＰＯＣ法）などがある（特許文献１１）。
特許文献１２はディストーション補正式の一例を示す。
特許文献１３は、被写体距離に応じたフォーカスレンズの位置（焦点位置）を規定するテーブルの一例を示す。
特開２００８−２４１９１号公報 特開２００２−３１５３１５号公報 特開２００８−１１６３０９号公報 特開平１０−３２０５５８号公報 特開２００６−９０７５６号公報 特開２００８−１４１６６６号公報 特開２００９−２０５１９３号公報 特開２００４−３３４８３６号公報 特開２００８−２５２２５４号公報 特開２００７−１０９１３０号公報 特開２００９−１４４４５号公報 特開２００４−３５４２５７号公報 特開２００５−２５８４６６号公報（段落００３０、図７）
特許文献１記載の構成では、撮像デバイスのレンズ位置（フォーカスレンズおよびズームレンズの位置）を取得する必要があるので、撮像デバイスのレンズ位置が不明な状態では、被写体距離を測距することができない。
特許文献２、３には、レンズ位置情報が無くても精度よく被写体距離を測定することができる構成について開示がない。
また、特許文献３記載の構成では、距離画像の生成が必須である。
例えば、複数の撮像デバイスを用いて撮影を行って複数の視点画像を取得した後、その複数の視点画像から被写体距離を取得しようとすると、既に撮影は終わっているので、一般に撮影時のレンズ位置情報を得ることができない。よって、フォーカスレンズのレンズ位置に基づくキャリブレーションを行うことができない。
一方、複数のカメラでＡＦ合焦されて得られた被写体画像から適切な３次元情報を取得して距離画像を生成するには、被写体距離に応じたキャリブレーション用のカメラパラメータを用意しておき、実際の被写体距離に対応するカメラパラメータを用いてキャリブレーションすることが有効である。
特許文献６の段落００１８では、フォーカス制御部が、撮像部のフォーカス制御位置を取得するとする。すなわち、フォーカス制御位置情報を取得する機能を持つ撮像装置でしか測距できない。
特許文献８のようなエンコーダなどのフォーカスレンズ位置検出手段を用いて、合焦時の正確なフォーカスレンズ位置を取得し、その位置から目標被写体までの被写体距離を推測することも考えられるが、コスト面の制約からコンパクトデジタルカメラにこのような手段を設けるのは困難である。
本発明はこのような事情に鑑みてなされたもので、レンズ位置情報が無くても精度よく被写体距離を測定することができる測距装置および測距方法を提供することを目的とする。
また本発明は、エンコーダなどの機械的な手段を用いて焦点調節時の正確なフォーカスレンズ位置を検出することなく、被写体距離に応じたキャリブレーション用のカメラパラメータを設定する方法を提供する。
また本発明は、合焦制御により撮像光学系が変化する状況下で、その光学系の状態に応じた適切なキャリブレーション用のカメラパラメータを設定する方法を提供する。
前記目的を達成するために、本発明の第１の態様に係る測距装置は、複数の撮像デバイスにより異なる視点から被写体を撮像して得られた複数の視点画像を入力する画像入力部と、複数の注目距離の各々に注目し、前記視点画像の二次元座標と実空間の３次元座標とを整合するための複数のキャリブレーションデータのうちから前記各注目距離に対応するキャリブレーションデータを取得するキャリブレーションデータ取得部と、前記各注目距離ごとに、前記各キャリブレーションデータに基づいて前記複数の視点画像を補正する画像補正部と、前記各注目距離ごとに、補正後の前記複数の視点画像間で視差を算出する視差演算部と、注目した前記複数の注目距離にわたって補正後の前記視点画像を比較することで、前記複数のキャリブレーションデータのうちから最適キャリブレーションデータを特定する比較部と、前記視差に基づいて被写体距離を算出する距離演算部と、前記最適キャリブレーションデータで補正後の前記視点画像間の前記視差から算出された被写体距離を、測距結果として出力する出力部とを備える。
即ち、撮像デバイスの合焦可能距離範囲にわたる複数のキャリブレーションデータのうちから最適キャリブレーションデータが特定されて、最適キャリブレーションデータで補正後の視点画像間の視差から算出された被写体距離を測距結果として得ることができるので、レンズ位置情報が無くても、精度よく被写体距離を測定することができる。
本発明の第２の態様に係る測距装置は、上記第１の態様において、前記各注目距離ごとに、補正後の前記複数の視点画像間における輝度および色のうち少なくとも一方の相関度を算出する相関度演算部を備え、前記比較部は、注目した複数の前記注目距離にわたって前記相関度を比較し、前記相関度が最大となるキャリブレーションデータを前記最適キャリブレーションデータとして特定する。
本発明の第３の態様に係る測距装置は、上記第１の態様において、前記各注目距離ごとに、補正後の前記複数の視点画像間における対応画素間の縦ずれ量を算出する縦ずれ量演算部を備え、前記比較部は、注目した複数の前記注目距離にわたって前記縦ずれ量を比較し、前記縦ずれ量が最小となるキャリブレーションデータを前記最適キャリブレーションデータと特定する。
本発明の第４の態様に係る測距装置は、上記第１の態様において、前記各注目距離ごとに、補正後の前記複数の視点画像間で視差演算できた視差演算画素数を算出する視差演算画素数算出部を備え、前記比較部は、注目した複数の前記注目距離にわたって前記視差演算画素数を比較し、前記視差演算画素数が最大となるキャリブレーションデータを前記最適キャリブレーションデータと特定する。
本発明の第５の態様に係る測距装置は、上記第１の態様において、前記各注目距離ごとに、補正後の前記複数の視点画像の視差分布で局所的に存在する局所ノイズ画素数を算出する局所ノイズ画素数演算部を備え、前記比較部は、注目した複数の前記注目距離にわたって前記局所ノイズ画素数を比較し、前記局所ノイズ画素数が最小となるキャリブレーションデータを前記最適キャリブレーションデータと特定する。
また、本発明の第６の態様に係る測距装置は、複数の撮像デバイスにより異なる視点から被写体を撮像して得られた複数の視点画像を入力する画像入力部と、複数の注目距離の各々に注目し、前記視点画像の二次元座標と実空間の３次元座標とを整合するための複数のキャリブレーションデータのうちから前記各注目距離に対応するキャリブレーションデータを取得するキャリブレーションデータ取得部と、前記各注目距離ごとに、前記各キャリブレーションデータに基づいて複数の前記視点画像を補正する画像補正部と、前記各注目距離ごとに、補正後の複数の前記視点画像間で視差を算出する視差演算部と、前記各注目距離ごとに、前記視差に基づいて被写体距離を算出する距離演算部と、注目した複数の前記注目距離にわたって前記被写体距離と前記注目距離との差分を比較することで、前記複数のキャリブレーションデータのうちから最適キャリブレーションデータを特定する比較部と、前記最適キャリブレーションデータで補正後の前記視点画像の前記視差から算出された前記被写体距離を、測距結果として出力する出力部とを備える。
即ち、撮像デバイスの合焦可能距離範囲にわたる複数のキャリブレーションデータのうちから最適キャリブレーションデータが特定されて、最適キャリブレーションデータで補正後の視点画像間の視差から算出された被写体距離を測距結果として得ることができるので、レンズ位置情報が無くても、精度よく被写体距離を測定することができる。
また、本発明の第７の態様に係る測距装置は、複数の撮像デバイスにより異なる視点から被写体を撮像して得られた複数の視点画像を入力する画像入力部と、複数の注目距離の各々に注目し、前記視点画像の二次元座標と実空間の３次元座標とを整合するための複数のキャリブレーションデータのうちから各注目距離に対応するキャリブレーションデータを取得するキャリブレーションデータ取得部と、前記各注目距離ごとに、前記注目距離に基づいて第１の視差を算出する第１の視差演算部と、前記各注目距離ごとに、前記各キャリブレーションデータに基づいて複数の前記視点画像を補正する画像補正部と、前記各注目距離ごとに、補正後の複数の前記視点画像間で第２の視差を算出する第２の視差演算部と、注目した複数の前記注目距離にわたって前記第１の視差と前記第２の視差との差分を比較することで、前記複数のキャリブレーションデータのうちから最適キャリブレーションデータを特定する比較部と、前記最適キャリブレーションデータで補正後の前記視点画像の前記第２の視差に基づいて、被写体距離を算出する距離演算部と、算出された前記被写体距離を測距結果として出力する出力部とを備える。
即ち、撮像デバイスの合焦可能距離範囲にわたる複数のキャリブレーションデータのうちから最適キャリブレーションデータが特定されて、最適キャリブレーションデータで補正後の視点画像間の視差から算出された被写体距離を測距結果として得ることができるので、レンズ位置情報が無くても、精度よく被写体距離を測定することができる。
また、本発明の第８の態様に係る測距装置は、複数の撮像デバイスにより異なる視点から被写体を撮像して得られた複数の視点画像を入力する画像入力部と、複数の注目距離の各々に注目し、前記視点画像の二次元座標と実空間の３次元座標とを整合するための複数のキャリブレーションデータのうちから前記各注目距離に対応するキャリブレーションデータを取得するキャリブレーションデータ取得部と、前記各注目距離ごとに、前記各キャリブレーションデータに基づいて複数の前記視点画像を補正する画像補正部と、前記各注目距離ごとに、補正後の複数の前記視点画像間で視差を算出する視差演算部と、前記各注目距離ごとに、前記視差に基づいて被写体距離を算出する距離演算部と、前記各注目距離ごとに、前記被写体距離と前記注目距離との差分を算出する距離差分演算部と、複数の前記注目距離のうちで最初の注目距離を決定するとともに、算出された前記被写体距離を次の注目距離と決定することで前記注目距離を切り換える注目距離決定部と、前記注目距離の切り換えの前後の前記差分を比較することで、複数の算出された前記被写体距離のうちから測距結果を選択する比較部と、前記測距結果を出力する出力部とを備える。
即ち、撮像デバイスの合焦可能距離範囲にわたる複数のキャリブレーションデータのうちから最適キャリブレーションデータが特定されて、最適キャリブレーションデータで補正後の視点画像間の視差から算出された被写体距離を測距結果として得ることができるので、レンズ位置情報が無くても、精度よく被写体距離を測定することができる。
また、本発明の第９の態様に係る測距装置は、複数の撮像デバイスにより異なる視点から被写体を撮像して得られた複数の視点画像を入力する画像入力部と、複数の注目距離の各々に注目し、前記視点画像の二次元座標と実空間の３次元座標とを整合するための複数のキャリブレーションデータのうちから前記各注目距離に対応するキャリブレーションデータを取得するキャリブレーションデータ取得部と、前記各注目距離ごとに、前記各キャリブレーションデータに基づいて複数の前記視点画像を補正する画像補正部と、前記各注目距離ごとに、補正後の複数の前記視点画像間で視差を算出する視差演算部と、前記各注目距離ごとに、前記視差に基づいて被写体距離を算出する距離演算部と、複数の前記注目距離のうちで最初の注目距離を決定するとともに、算出された前記被写体距離を次の注目距離と決定することで前記注目距離を切り換える注目距離決定部と、前記各注目距離ごとに、前記被写体距離と前記注目距離との差分を算出する距離差分演算部と、前記差分と閾値とを比較する比較部と、前記差分が前記閾値よりも小さい場合、算出された前記被写体距離を測距結果として出力する出力部とを備える。
即ち、撮像デバイスの合焦可能距離範囲にわたる複数のキャリブレーションデータのうちから最適キャリブレーションデータが特定されて、最適キャリブレーションデータで補正後の視点画像間の視差から算出された被写体距離を測距結果として得ることができるので、レンズ位置情報が無くても、精度よく被写体距離を測定することができる。
また、まず最初の注目距離で仮の被写体距離を算出し、その算出した被写体距離を次の注目距離として測距結果としての被写体距離を算出するので、高速且つ高精度で測距結果を出力することができる。
本発明の第１０の態様に係る測距装置は、上記第１の態様において、複数の前記注目距離のうちで最初の注目距離を決定するとともに、算出された前記被写体距離を次の注目距離と決定することで前記注目距離を切り換える注目距離決定部と、前記各注目距離ごとに、補正後の前記複数の視点画像間における輝度または色のうち少なくとも一方の相関度を算出する相関度演算部とを備え、前記比較部は、前記注目距離の切り換えごとに前記相関度を比較し、前記注目距離の切り換え前に算出された前記相関度よりも前記注目距離の切り換え後に算出された前記相関度が小さい場合、前記注目距離の切り換え前に算出された前記被写体距離を測距結果として採用する。
即ち、まず最初の注目距離で仮の被写体距離を算出し、その算出した被写体距離を次の注目距離として測距結果としての被写体距離を算出するので、高速且つ高精度で測距結果を出力することができる。
本発明の第１１の態様に係る測距装置は、上記第１の態様において、複数の前記注目距離のうちで最初の注目距離を決定するとともに、算出された前記被写体距離を次の注目距離と決定することで前記注目距離を切り換える注目距離決定部と、前記各注目距離ごとに、補正後の前記複数の視点画像間における対応画素間の縦ずれ量を算出する縦ずれ量演算部とを備え、前記比較部は、前記注目距離の切り換えごとに前記縦ずれ量を比較し、前記注目距離の切り換え前に算出された前記縦ずれ量よりも前記注目距離の切り換え後に算出された前記縦ずれ量が大きい場合、前記注目距離の切り換え前に算出された前記被写体距離を測距結果として採用する。
即ち、まず最初の注目距離で仮の被写体距離を算出し、その算出した被写体距離を次の注目距離として測距結果としての被写体距離を算出するので、高速且つ高精度で測距結果を出力することができる。
本発明の第１２の態様に係る測距装置は、上記第１の態様において、複数の前記注目距離のうちで最初の注目距離を決定するとともに、算出された前記被写体距離を次の注目距離と決定することで前記注目距離を切り換える注目距離決定部と、前記各注目距離ごとに、補正後の前記複数の視点画像間で視差演算できた視差演算画素数を算出する視差演算画素数算出部とを備え、前記比較部は、前記注目距離の切り換えごとに前記視差演算画素数を比較し、前記注目距離の切り換え前に算出された前記視差演算画素数よりも前記注目距離の切り換え後に算出された前記視差演算画素数が小さい場合、前記注目距離の切り換え前に算出された前記被写体距離を測距結果として採用する。
即ち、まず最初の注目距離で仮の被写体距離を算出し、その算出した被写体距離を次の注目距離として測距結果としての被写体距離を算出するので、高速且つ高精度で測距結果を出力することができる。
本発明の第１３の態様に係る測距装置は、上記第１の態様において、複数の前記注目距離のうちで最初の注目距離を決定するとともに、算出された前記被写体距離を次の注目距離と決定することで前記注目距離を切り換える注目距離決定部と、前記各注目距離ごとに、補正後の前記複数の視点画像の視差分布で局所的に存在する局所ノイズ画素数を算出する局所ノイズ画素数演算部とを備え、前記比較部は、前記注目距離の切り換えごとに前記局所ノイズ画素数を比較し、前記注目距離の切り換え前に算出された前記局所ノイズ画素数よりも前記注目距離の切り換え後に算出された前記局所ノイズ画素数が大きい場合、前記注目距離の切り換え前に算出された前記被写体距離を測距結果として採用する。
即ち、まず最初の注目距離で仮の被写体距離を算出し、その算出した被写体距離を次の注目距離として測距結果としての被写体距離を算出するので、高速且つ高精度で測距結果を出力することができる。
本発明の第１４の態様に係る測距装置は、上記第１から第１３の態様において、前記視点画像間の視差と頻度との関係を示すヒストグラムを作成し、前記ヒストグラムにおける前記頻度に基づいて代表視差を決定する代表視差決定部を備え、前記距離演算部は、前記代表視差に基づいて前記被写体距離を算出する。
即ち、簡単且つ精度良く代表視差を求めることができる。よって、簡単且つ精度良く測距結果としての被写体距離を得られる。
本発明の第１５の態様に係る測距装置は、上記第１４の態様において、前記代表視差決定部は、前記ヒストグラムから最頻値を検出し、該最頻値を前記代表視差と決定する。
本発明の第１６の態様に係る測距装置は、上記第１から第１３の態様において、前記視点画像の各画素の距離と頻度との関係を示すヒストグラムを作成し、前記ヒストグラムにおける前記頻度に基づいて代表距離を決定する代表距離決定部を備え、前記距離演算部は、前記各画素の距離を算出し、前記出力部は、前記代表距離を測距結果として出力する。
即ち、簡単且つ精度良く代表距離（即ち測距結果としての被写体距離）を得られる。
本発明の第１７の態様に係る測距装置は、上記第１６の態様において、前記ヒストグラムから最頻値を検出し、該最頻値を前記代表距離と決定する。
本発明の第１８の態様に係る測距装置は、上記第１４から第１７の態様において、前記ヒストグラムにて前記頻度の高低を判別し、前記ヒストグラムから局所的に存在する画素の成分を除外する。
即ち、全ての画素から代表視差または代表距離を求めるのではなく、不正マッチング画素判断等の判断対象を限定して代表視差または代表距離を求めることができるので、高速で測距することが可能になる。
本発明の第１９の態様に係る測距装置は、上記第１４から第１８の態様において、前記頻度を算出する注目領域を決定する注目領域決定部を備え、前記注目領域に限定して前記頻度を算出し前記ヒストグラムを作成する。
即ち、注目領域に限定して代表視差または代表距離を求めることができるので、高速で測距することが可能になる。
本発明の第２０の態様に係る測距装置は、上記第１９の態様において、前記注目領域決定部は、前記視点画像の撮影時に露出制御または合焦制御にて用いられた演算領域を、前記注目領域と決定する。
本発明の第２１の態様に係る測距装置は、上記第１９の態様において、前記注目領域決定部は、前記視点画像をアレイ状の複数の分割領域に分割し、前記各分割領域ごとに周波数解析を行って、高周波成分を有する分割領域を、前記注目領域と決定する。
本発明の第２２の態様に係る測距装置は、上記第１９から第２１の態様において、前記注目領域決定部は、前記視点画像から特定対象を抽出した特定対象抽出領域を、前記注目領域と決定する。
本発明の第２３の態様に係る測距装置は、上記第１４から第２２の態様において、前記視点画像における各画素の位置に基づいて、前記頻度に対する重みを決定する重み決定部を備え、前記重みに基づく重み付けを行って前記ヒストグラムを作成する。
また、本発明の第２４の態様に係る測距方法は、複数の撮像デバイスにより異なる視点から被写体を撮像して得られた複数の視点画像を入力する画像入力ステップと、複数の注目距離の各々に注目し、前記視点画像の二次元座標と実空間の３次元座標とを整合するための複数のキャリブレーションデータのうちから前記各注目距離に対応するキャリブレーションデータを取得するキャリブレーションデータ取得ステップと、前記各注目距離ごとに、前記各キャリブレーションデータに基づいて前記複数の視点画像を補正する画像補正ステップと、前記各注目距離ごとに、補正後の前記複数の視点画像間で視差を算出する視差演算ステップと、注目した前記複数の注目距離にわたって補正後の前記視点画像を比較することで、前記複数のキャリブレーションデータのうちから最適キャリブレーションデータを特定する比較ステップと、前記視差に基づいて被写体距離を算出する距離演算ステップと、前記最適キャリブレーションデータで補正後の前記視点画像間の前記視差から算出された被写体距離を、測距結果として出力する出力ステップとを備える。
本発明の第２５の態様に係る測距方法は、上記第２４の態様において、前記各注目距離ごとに、補正後の前記複数の視点画像間における輝度および色のうち少なくとも一方の相関度を算出するステップを備え、注目した複数の前記注目距離にわたって前記相関度を比較し、前記相関度が最大となるキャリブレーションデータを前記最適キャリブレーションデータとして特定する。
本発明の第２６の態様に係る測距方法は、上記第２４の態様において、前記各注目距離ごとに、補正後の前記複数の視点画像間における対応画素間の縦ずれ量を算出するステップを備え、注目した複数の前記注目距離にわたって前記縦ずれ量を比較し、前記縦ずれ量が最小となるキャリブレーションデータを前記最適キャリブレーションデータと特定する。
本発明の第２７の態様に係る測距方法は、上記第２４の態様において、前記各注目距離ごとに、補正後の前記複数の視点画像間で視差演算できた視差演算画素数を算出するステップを備え、注目した複数の前記注目距離にわたって前記視差演算画素数を比較し、前記視差演算画素数が最大となるキャリブレーションデータを前記最適キャリブレーションデータと特定する。
なお、上記の態様においては、前記各注目距離ごとに、補正後の前記複数の視点画像間で視差演算できた視差演算画素数を算出するステップを備え、注目した複数の前記注目距離にわたって前記視差演算画素数を比較し、前記視差演算画素数が最小となるキャリブレーションデータを前記最適キャリブレーションデータと特定するようにしてもよい。
本発明の第２８の態様に係る測距方法は、上記第２４の態様において、前記各注目距離ごとに、補正後の前記複数の視点画像の視差分布で局所的に存在する局所ノイズ画素数を算出するステップを備え、注目した複数の前記注目距離にわたって前記局所ノイズ画素数を比較し、前記局所ノイズ画素数が最小となるキャリブレーションデータを前記最適キャリブレーションデータと特定する。
また、本発明の第２９の態様に係る測距方法は、複数の撮像デバイスにより異なる視点から被写体を撮像して得られた複数の視点画像を入力する画像入力ステップと、複数の注目距離の各々に注目し、前記視点画像の二次元座標と実空間の３次元座標とを整合するための複数のキャリブレーションデータのうちから前記各注目距離に対応するキャリブレーションデータを取得するキャリブレーションデータ取得ステップと、前記各注目距離ごとに、前記各キャリブレーションデータに基づいて複数の前記視点画像を補正する画像補正ステップと、前記各注目距離ごとに、補正後の複数の前記視点画像間で視差を算出する視差演算ステップと、前記各注目距離ごとに、前記視差に基づいて被写体距離を算出する距離演算ステップと、注目した複数の前記注目距離にわたって前記被写体距離と前記注目距離との差分を比較することで、前記複数のキャリブレーションデータのうちから最適キャリブレーションデータを特定する比較ステップと、前記最適キャリブレーションデータで補正後の前記視点画像の前記視差から算出された前記被写体距離を、測距結果として出力する出力ステップとを備える。
また、本発明の第３０の態様に係る測距方法は、複数の撮像デバイスにより異なる視点から被写体を撮像して得られた複数の視点画像を入力する画像入力ステップと、複数の注目距離の各々に注目し、前記視点画像の二次元座標と実空間の３次元座標とを整合するための複数のキャリブレーションデータのうちから各注目距離に対応するキャリブレーションデータを取得するキャリブレーションデータ取得ステップと、前記各注目距離ごとに、前記注目距離に基づいて第１の視差を算出する第１の視差演算ステップと、前記各注目距離ごとに、前記各キャリブレーションデータに基づいて複数の前記視点画像を補正する画像補正ステップと、前記各注目距離ごとに、補正後の複数の前記視点画像間で第２の視差を算出する第２の視差演算ステップと、注目した複数の前記注目距離にわたって前記第１の視差と前記第２の視差との差分を比較することで、前記複数のキャリブレーションデータのうちから最適キャリブレーションデータを特定する比較ステップと、前記最適キャリブレーションデータで補正後の前記視点画像の前記第２の視差に基づいて、被写体距離を算出する距離演算ステップと、算出された前記被写体距離を測距結果として出力する出力ステップとを備える。
本発明の第３１の態様に係る測距方法は、上記第２４から第３０の態様において、前記注目距離を第１の変更幅よりも大きな第２の変更幅で変更しながら第１の測距を行って第１の被写体距離を取得し、前記注目距離を前記第１の被写体距離の付近で前記第１の変更幅で変更しながら第２の測距を行って第２の被写体距離を取得し、前記第２の被写体距離を測距結果として出力する。
本発明の第３２の態様に係る測距方法は、上記第３１の態様において、前記第１の測距と前記第２の測距とで、最適なキャリブレーションデータの判断基準が異なる。
また、本発明の第３３の態様に係る測距方法は、複数の撮像デバイスにより異なる視点から被写体を撮像して得られた複数の視点画像を入力する画像入力ステップと、複数の注目距離の各々に注目し、前記視点画像の二次元座標と実空間の３次元座標とを整合するための複数のキャリブレーションデータのうちから前記各注目距離に対応するキャリブレーションデータを取得するキャリブレーションデータ取得ステップと、複数の前記注目距離のうちで最初の注目距離を決定するステップと、前記各注目距離ごとに、前記各キャリブレーションデータに基づいて複数の前記視点画像を補正する画像補正ステップと、前記各注目距離ごとに、補正後の複数の前記視点画像間で視差を算出する視差演算ステップと、前記各注目距離ごとに、前記視差に基づいて被写体距離を算出する距離演算ステップと、算出された前記被写体距離を次の注目距離と決定することで前記注目距離を切り換えるステップと、前記各注目距離ごとに前記被写体距離と前記注目距離との差分を算出し、前記注目距離の切り換えの前後の前記差分を比較することで、複数の算出された前記被写体距離のうちから測距結果を選択する比較ステップと、前記測距結果を出力する出力ステップとを備える。
また、本発明の第３４の態様に係る測距方法は、複数の撮像デバイスにより異なる視点から被写体を撮像して得られた複数の視点画像を入力する画像入力ステップと、複数の注目距離のうちで最初の注目距離を決定するステップと、複数の前記注目距離の各々に注目し、前記視点画像の二次元座標と実空間の３次元座標とを整合するための複数のキャリブレーションデータのうちから前記各注目距離に対応するキャリブレーションデータを取得するキャリブレーションデータ取得ステップと、前記各注目距離ごとに、前記各キャリブレーションデータに基づいて複数の前記視点画像を補正する画像補正ステップと、前記各注目距離ごとに、補正後の複数の前記視点画像間で視差を算出する視差演算ステップと、前記各注目距離ごとに、前記視差に基づいて被写体距離を算出する距離演算ステップと、算出された前記被写体距離を次の注目距離と決定することで前記注目距離を切り換えるステップと、前記各注目距離ごとに、前記被写体距離と前記注目距離との差分を算出し、前記差分と閾値とを比較する比較ステップと、前記差分が前記閾値よりも小さい場合、算出された前記被写体距離を測距結果として出力する出力ステップとを備える。
本発明の第３５の態様に係る測距方法は、上記第２４の態様において、複数の前記注目距離のうちで最初の注目距離を決定するステップと、前記各注目距離ごとに、補正後の前記複数の視点画像間における輝度または色のうち少なくとも一方の相関度を算出するステップと、算出された前記被写体距離を次の注目距離と決定することで前記注目距離を切り換えるステップとを備え、前記注目距離の切り換えごとに前記相関度を比較し、前記注目距離の切り換え前に算出された前記相関度よりも前記注目距離の切り換え後に算出された前記相関度が小さい場合、前記注目距離の切り換え前に算出された前記被写体距離を測距結果として採用する。
本発明の第３６の態様に係る測距方法は、上記第２４の態様において、複数の前記注目距離のうちで最初の注目距離を決定するステップと、前記各注目距離ごとに、補正後の前記複数の視点画像間における対応画素間の縦ずれ量を算出するステップと、算出された前記被写体距離を次の注目距離と決定することで前記注目距離を切り換えるステップとを備え、前記注目距離の切り換えごとに前記縦ずれ量を比較し、前記注目距離の切り換え前に算出された前記縦ずれ量よりも前記注目距離の切り換え後に算出された前記縦ずれ量が大きい場合、前記注目距離の切り換え前に算出された前記被写体距離を測距結果として採用する。
本発明の第３７の態様に係る測距方法は、上記第２４の態様において、複数の前記注目距離のうちで最初の注目距離を決定するステップと、前記各注目距離ごとに、補正後の前記複数の視点画像間で視差演算できた視差演算画素数を算出するステップと、算出された前記被写体距離を次の注目距離と決定することで前記注目距離を切り換えるステップとを備え、前記注目距離の切り換えごとに前記視差演算画素数を比較し、前記注目距離の切り換え前に算出された前記視差演算画素数よりも前記注目距離の切り換え後に算出された前記視差演算画素数が大きい場合、前記注目距離の切り換え前に算出された前記被写体距離を測距結果として採用する。
本発明の第３８の態様に係る測距方法は、上記第２４の態様において、複数の前記注目距離のうちで最初の注目距離を決定するステップと、前記各注目距離ごとに、補正後の前記複数の視点画像の視差分布で局所的に存在する局所ノイズ画素数を算出するステップと、算出された前記被写体距離を次の注目距離と決定することで前記注目距離を切り換えるステップとを備え、前記注目距離の切り換えごとに前記局所ノイズ画素数を比較し、前記注目距離の切り換え前に算出された前記局所ノイズ画素数よりも前記注目距離の切り換え後に算出された前記局所ノイズ画素数が大きい場合、前記注目距離の切り換え前に算出された前記被写体距離を測距結果として採用する。
本発明の第３９の態様に係る測距方法は、上記第３３から第３８の態様において、前記最初の注目距離を決定して初期の前記被写体距離を取得する第１の測距と、前記第１の測距で得られた前記被写体距離を次の前記注目距離と決定して測距結果としての前記被写体距離を取得する第２の測距とで、最適なキャリブレーションデータの判断基準が異なる。
本発明の第４０の態様に係る測距方法は、上記第２４から第３９の態様において、前記視点画像間の視差と頻度との関係を示すヒストグラムを作成し、前記ヒストグラムにおける前記頻度に基づいて代表視差を決定し、前記代表視差に基づいて前記被写体距離を算出する。
本発明の第４１の態様に係る測距方法は、上記第４０の態様において、前記ヒストグラムから最頻値を検出し、該最頻値を前記代表視差と決定する。
本発明の第４２の態様に係る測距方法は、上記第２４から第３９の態様において、前記視点画像の各画素の距離と頻度との関係を示すヒストグラムを作成し、前記ヒストグラムにおける前記頻度に基づいて代表距離を決定し、前記代表距離を測距結果として出力する。
本発明の第４３の態様に係る測距方法は、上記第４２の態様において、前記ヒストグラムから最頻値を検出し、該最頻値を前記代表距離と決定する。
本発明の第４４の態様に係る測距方法は、上記第４０から第４３の態様において、前記ヒストグラムにて前記頻度の高低を判別し、前記ヒストグラムから局所的に存在する画素の成分を除外する。
本発明の第４５の態様に係る測距方法は、上記第４０から第４４の態様において、前記頻度を算出する注目領域を決定し、前記注目領域に限定して前記頻度を算出し前記ヒストグラムを作成する。
本発明の第４６の態様に係る測距方法は、上記第４５の態様において、前記視点画像の撮影時に露出制御または合焦制御にて用いられた演算領域を、前記注目領域と決定する。
本発明の第４７の態様に係る測距方法は、上記第４５の態様において、前記視点画像をアレイ状の複数の分割領域に分割し、前記各分割領域ごとに周波数解析を行って、高周波成分を有する分割領域を、前記注目領域と決定する。
本発明の第４８の態様に係る測距方法は、上記第４５から第４７の態様において、前記視点画像から特定対象を抽出した特定対象抽出領域を、前記注目領域と決定する。
本発明の第４９の態様に係る測距方法は、上記第４５から第４８の態様において、前記視点画像における各画素の位置に基づいて、前記頻度に対する重みを決定し、前記重みに基づく重み付けを行って前記ヒストグラムを作成する。
本発明の第５０の態様に係る測距装置は、異なる視点から同一の被写体を焦点調節が可能な撮像装置により撮像した複数の視点画像を入力する画像入力部と、前記撮像装置における、焦点位置に対応したキャリブレーションパラメータを記憶するキャリブレーションパラメータ記憶部と、前記視点画像または前記視点画像の付帯情報に基づいて前記撮像装置から前記被写体までの距離である被写体距離を推定する距離推定部と、前記距離推定部で推定した被写体距離に基づいて、焦点位置を選択する焦点位置選択部と、前記焦点位置選択部で選択された前記焦点位置に基づいて、前記キャリブレーションパラメータ記憶部に記憶されたキャリブレーションパラメータの中から、前記被写体の初期の測距演算に用いる初期キャリブレーションデータを設定する初期キャリブレーションデータ設定部と、前記初期キャリブレーションデータ設定部の設定した初期キャリブレーションデータと前記複数の視点画像間の視差とに基づいて被写体距離を演算する測距演算部とを備える。
この発明によると、視点画像またはその付帯情報を用いて簡易に初期キャリブレーションデータを設定できる。
本発明の第５１の態様に係る測距装置は、上記第５０の態様において、前記測距演算部の演算した距離を評価し、測距演算の成功または失敗を判定する判定部と、前記判定部の判定結果に応じて、前記キャリブレーションパラメータ記憶部に記憶されたキャリブレーションパラメータの中から、前記被写体距離に適合するキャリブレーションパラメータを再設定するキャリブレーションパラメータ再設定部とを備える。
この発明によると、初期キャリブレーションデータを設定して、合焦被写体を撮像した視点画像から測距演算を行い、その測距演算を評価し、その結果に応じてキャリブレーションパラメータを再設定する。このため、変動しうる撮像光学系の合焦状態に応じたキャリブレーションパラメータを設定して簡易かつ正確な測距ができる。
本発明の第５２の態様に係る測距装置は、上記第５１の態様において、前記距離推定部は、前記視点画像の付帯情報に基づいて前記被写体距離を推定し、前記初期キャリブレーションデータ設定部は、前記距離推定部の推定した被写体距離と、前記キャリブレーションパラメータ記憶部に記憶されたキャリブレーションパラメータとに基づき、前記被写体の初期の測距演算に用いる初期キャリブレーションデータを設定し、前記判定部は、前記初期キャリブレーションデータ設定部の設定した初期キャリブレーションデータの信頼性を示す信頼性情報を前記測距演算部による測距演算の結果に基づいて作成し、前記信頼性情報に基づいて測距演算の成功または失敗を判定する。
この発明によると、測距演算の結果に基づいて作成された信頼性情報に基づいて測距演算の成功または失敗を判定するため、信頼性の低い被写体距離が初期キャリブレーションデータの設定のために安易に使用されることがない。
本発明の第５３の態様に係る測距装置は、上記第５２の態様において、前記判定部は、前記信頼性情報に応じて測距演算の成功または失敗を判定する条件を選択する。
本発明の第５４の態様に係る測距装置は、上記第５０から第５３の態様において、前記距離推定部は、前記付帯情報に含まれる撮影モード情報に基づいて前記被写体距離を推定する。
この発明によると、一般的に画像の付帯情報に含まれる撮影モード情報に基づいて簡易に被写体距離を推定できる。
本発明の第５５の態様に係る測距装置は、上記第５０から第５３の態様において、前記距離推定部は、前記視点画像を解析することにより取得した撮影シーンに関する情報、もしくは前記付帯情報に含まれる撮影シーン情報に基づいて被写体距離を推定する。
この発明によると、画像そのものに含まれる撮影シーンの情報に基づいて簡易に被写体距離を推定できる。
本発明の第５６の態様に係る測距装置は、上記第５０から第５３の態様において、前記距離推定部は、前記視点画像を解析することにより取得した被写体のサイズ情報に基づいて、もしくは前記付帯情報に含まれる被写体のサイズ情報に基づいて被写体距離を推定する。
本発明の第５７の態様に係る測距装置は、上記第５６の態様において、前記距離推定部は、前記視点画像に含まれる人物被写体のサイズと前記人物被写体の標準のサイズとの比較に基づいて前記被写体距離を推定する。
この発明によると、一般的に画像に含まれる人物被写体のサイズに基づいて簡易に被写体距離を推定できる。
本発明の第５８の態様に係る測距装置は、上記第５０から第５３の態様において、前記距離推定部は、前記視点画像の合焦評価値算出領域の視差に基づいて前記被写体距離を推定する。
この発明によると、合焦被写体に限って視差を演算することで、演算時間と演算負荷を抑制できる。
本発明の第５９の態様に係る測距装置は、上記第５０から第５３の態様において、前記距離推定部は、前記撮像装置の輻輳距離に基づいて前記被写体距離を推定する。
この発明は、輻輳点が左右の視点どちらからみても画面中央に写り、被写体はその距離で撮像される可能性が高いことを利用して、被写体距離を推定している。
本発明の第６０の態様に係る測距装置は、上記第５９の態様において、撮像装置の機種ごとの輻輳距離を記憶した輻輳距離記憶部を備え、前記距離推定部は、前記輻輳距離記憶部に記憶された輻輳距離のうち前記視点画像を撮像した撮像装置の機種に対応する輻輳距離に基づいて前記被写体距離を推定する。
本発明の第６１の態様に係る測距装置は、上記第５９の態様において、前記撮像装置の外部パラメータを取得する外部パラメータ取得部を備え、前記距離推定部は、前記外部パラメータ取得部の取得した撮像装置の外部パラメータから前記撮像装置の輻輳距離を算出し、算出された輻輳距離を被写体距離と推定する。
この発明によると、予め撮像装置ごとの輻輳距離が分からなくても撮像装置の輻輳距離を算出することができる。
本発明の第６２の態様に係る測距装置は、上記第５０から第５３の態様において、前記視点画像の特徴を記憶する特徴記憶部を備え、前記距離推定部は、前記特徴記憶部に記憶された以前の視点画像の特徴と現在の視点画像の特徴とを比較し、前記比較の結果に応じて前記以前の視点画像の被写体距離を現在の視点画像の被写体距離と推定する。
この発明は、複数の視点画像に基づき連続して測距を行う場合、それらの視点画像は同様の特徴を有していると推測されるため、前の視点画像についての被写体距離をそのまま現在の被写体距離とすることで、被写体距離の推定処理を簡素化している。
本発明の第６３の態様に係る測距装置は、上記第６２の態様において、前記距離推定部は、前記特徴記憶部に記憶された以前の視点画像の特徴と現在の視点画像の特徴とが一致した場合に限り、前記以前の視点画像の被写体距離を現在の視点画像の被写体距離と推定する。
この発明は、撮影条件が変化した場合、以前の視点画像の被写体距離を現在の視点画像の被写体距離とせず、撮影条件に合わない被写体距離が測距に使用されることを防げる。
本発明の第６４の態様に係る測距装置は、上記第５０から第５３の態様において、測距演算に関するパラメータの入力を受け付ける測距演算パラメータ入力部を備え、前記距離推定部は、前記測距演算パラメータ入力部から入力したパラメータから前記被写体距離を推定する。
この発明は、測距演算に関するパラメータが信頼できる内容でユーザから入力されたものとみなし、これを用いて被写体距離を算出している。
本発明の第６５の態様に係る測距装置は、上記第５０から第６４の態様において、前記キャリブレーションパラメータ記憶部は、離散的に設定された焦点位置の各々に対応するキャリブレーションパラメータを記憶する。
本発明の第６６の態様に係る測距装置は、上記第５０から第６４の態様において、前記キャリブレーションパラメータ記憶部は、焦点位置に対応するキャリブレーションパラメータを規定する関数を記憶する。
本発明の第６７の態様に係る撮像装置は、異なる撮像光学系の各々のフォーカスレンズの焦点位置を制御する焦点位置制御部と、前記焦点位置制御部の制御に応じ、前記撮像光学系を介して結像した被写体像を撮像素子により光電変換して得られた複数の視点画像を、上記第５０から第６６の態様に係る測距装置の備える画像入力部に出力可能な撮像部とを備える。
本発明の第６８の態様に係る測距方法は、情報処理装置が、異なる視点から同一の被写体を焦点調節が可能な撮像装置により撮像した複数の視点画像を入力するステップと、前記撮像装置における、焦点位置に対応したキャリブレーションパラメータを記憶するステップと、前記視点画像または前記視点画像の付帯情報に基づいて前記撮像装置から前記被写体までの距離である被写体距離を推定するステップと、前記推定した被写体距離に基づいて、焦点位置を選択するステップと、前記選択された前記焦点位置に基づいて、前記記憶されたキャリブレーションパラメータの中から、前記被写体の初期の測距演算に用いる初期キャリブレーションデータを設定するステップと、前記設定した初期キャリブレーションデータと前記複数の視点画像間の視差とに基づいて被写体距離を演算するステップとを実行する。
本発明の第６９の態様に係る測距プログラムは、異なる視点から同一の被写体を焦点調節が可能な撮像装置により撮像した複数の視点画像の入力を受け付ける機能と、前記撮像装置における、焦点位置に対応したキャリブレーションパラメータを記憶する機能と、前記視点画像または前記視点画像の付帯情報に基づいて前記撮像装置から前記被写体までの距離である被写体距離を推定する機能と、前記推定した被写体距離に基づいて、焦点位置を選択する機能と、前記選択された前記焦点位置に基づいて、前記記憶されたキャリブレーションパラメータの中から、前記被写体の初期の測距演算に用いる初期キャリブレーションデータを設定する機能と、前記設定した初期キャリブレーションデータと前記複数の視点画像間の視差とに基づいて被写体距離を演算する機能とを情報処理装置に実現させる。
本発明の第７０の態様に係る測距システムは、異なる撮像光学系の各々のフォーカスレンズの焦点位置を制御する焦点位置制御部と、前記焦点位置制御部の制御に応じ、前記撮像光学系を介して結像した被写体像を撮像素子により光電変換して得られた複数の視点画像を、前記測距装置の画像入力部に出力可能な撮像部とを備える。
本発明によれば、レンズ位置情報が無くても精度よく被写体距離を測定することができる。
また、この発明によると、視点画像または視点画像の付帯情報に基づいて被写体距離を推定し、推定した被写体距離に基づいて焦点位置を選択し、該選択された焦点位置に対応する初期キャリブレーションパラメータを設定して、被写体を撮像した視点画像から測距演算を行う。このため、機械的な手段を用いて焦点調節時の正確なフォーカスレンズ位置を検出することなく、被写体距離に応じたキャリブレーション用のカメラパラメータを設定することができる。
また、この発明によると、初期キャリブレーションデータを設定して、被写体を撮像した視点画像から測距演算を行い、その測距演算を評価し、その結果に応じてキャリブレーションパラメータを再設定する。このため、変動しうる撮像光学系の合焦状態に応じたキャリブレーションパラメータを設定して簡易かつ正確な測距ができる。
第１実施形態の実施例１における測距装置のブロック図 キャリブレーションデータの一例を示す説明図 キャリブレーションデータ演算関数の一例を示す説明図 視差と被写体距離との関係の説明に用いる説明図 視差と被写体距離との関係の説明に用いる説明図 第１実施形態の実施例１における測距処理のフローチャート 第１実施形態の実施例１における測距の説明に用いる説明図 第１実施形態の実施例２における測距処理のフローチャート 第１実施形態の実施例２における測距処理のフローチャート 第１実施形態の実施例２における測距の説明に用いる説明図 第１実施形態の実施例３における測距装置のブロック図 第１実施形態の実施例３における測距処理のフローチャート 第１実施形態の実施例４における測距処理のフローチャート 第１実施形態の実施例４における測距処理のフローチャート 第２実施形態の実施例１における測距装置のブロック図 第２実施形態の実施例１における測距処理のフローチャート 第２実施形態の実施例１における測距の説明に用いる説明図 第２実施形態の実施例２における測距処理のフローチャート 第２実施形態の実施例２における測距処理のフローチャート 第２実施形態の実施例３における測距装置のブロック図 第３実施形態の実施例１における測距装置のブロック図 第３実施形態の実施例１における測距処理のフローチャート 第２実施形態の実施例２における測距処理のフローチャート 第２実施形態の実施例２における測距処理のフローチャート 第３実施形態の実施例３における測距装置のブロック図 第４実施形態の実施例１における測距装置のブロック図 第４実施形態の実施例１における測距処理のフローチャート 第４実施形態の実施例２における測距処理のフローチャート 第４実施形態の実施例２における測距処理のフローチャート 第４実施形態の実施例３における測距装置のブロック図 第５実施形態の実施例１における測距装置のブロック図 第５実施形態の実施例１における測距処理のフローチャート 距離のヒストグラムの一例を示す説明図 第５実施形態の実施例２における測距処理のフローチャート 第５実施形態の実施例２における測距処理のフローチャート 第５実施形態の実施例３における測距装置のブロック図 第５実施形態の実施例３における測距処理のフローチャート 視差ヒストグラムの一例を示す説明図 第５実施形態の実施例４における測距装置のブロック図 第５実施形態の実施例４における測距処理のフローチャート 第６実施形態の実施例１における測距処理の前半処理例のフローチャート 第６実施形態の実施例１における測距処理の後半処理例のフローチャート 第６実施形態の実施例１における測距の説明に用いる説明図 第６実施形態の実施例１における測距の説明に用いる説明図 第６実施形態の実施例２における測距処理の前半処理例のフローチャート 第６実施形態の実施例２における測距処理の前半処理例のフローチャート 第６実施形態の実施例２における測距処理の後半処理例のフローチャート 第６実施形態の実施例２における測距処理の後半処理例のフローチャート 第６実施形態の実施例１における測距の説明に用いる説明図 第６実施形態の実施例１における測距の説明に用いる説明図 第７実施形態の実施例１における測距装置のブロック図 第７実施形態の実施例１における測距処理のフローチャート 第７実施形態の実施例１における測距処理のフローチャート 第７実施形態の実施例２における測距装置のブロック図 第７実施形態の実施例２における測距処理のフローチャート 第７実施形態の実施例２における測距処理のフローチャート 第８実施形態の実施例１における測距装置のブロック図 第８実施形態の実施例１における測距処理のフローチャート 第８実施形態の実施例２における測距装置のブロック図 第９実施形態の実施例１における測距装置のブロック図 第９実施形態の実施例１における測距処理のフローチャート 第９実施形態の実施例１における測距処理のフローチャート 第９実施形態の実施例２における測距装置のブロック図 第１０実施形態の実施例１における測距装置のブロック図 第１０実施形態の実施例１における測距処理のフローチャート 第１０実施形態の実施例１における測距処理のフローチャート 第１０実施形態の実施例２における測距装置のブロック図 第１１実施形態の実施例１における測距装置のブロック図 第１１実施形態の実施例１における測距処理のフローチャート 第１１実施形態の実施例１における測距処理のフローチャート 第１１実施形態の実施例２における測距装置のブロック図 第１２実施形態の実施例１における測距装置のブロック図 第１２実施形態の実施例１における測距処理のフローチャート 第１２実施形態の実施例１における測距処理のフローチャート 第１２実施形態の実施例２における測距装置のブロック図 第１３実施形態の実施例１における測距処理のフローチャート 第１３実施形態の実施例１における測距処理のフローチャート 第１３実施形態の実施例２における測距処理のフローチャート 第１３実施形態の実施例３における測距処理のフローチャート 第１３実施形態の実施例３における測距処理のフローチャート 第１４実施形態における測距装置例のブロック図 第１４実施形態の実施例１における代表視差決定部の詳細ブロック図 第１４実施形態の実施例１における測距処理のフローチャート 第１４実施形態の実施例１における測距処理のフローチャート 第１４実施形態の実施例２における代表視差決定部の詳細ブロック図 第１４実施形態の実施例２における測距処理の要部フローチャート 視差選択の説明図 フィルタの説明図 第１４実施形態の実施例３における代表視差決定部の詳細ブロック図 注目領域決定部の詳細ブロック図 第１４実施形態の実施例３における測距処理の要部フローチャート 注目距離決定処理例のフローチャート 高周波領域を注目領域と決定する場合の説明図 顔抽出領域を注目領域と決定する場合の説明図 第１４実施形態の実施例４における代表視差決定部の詳細ブロック図 第１４実施形態の実施例４における測距処理の要部フローチャート 注目領域の分割および重み付けの説明に用いる説明図 測距装置のブロック図 測距処理の概略フローチャート 第１実施形態の初期キャリブレーションデータ選択処理のフローチャート 演算結果評価処理のフローチャート キャリブレーションデータ更新・再選択処理のフローチャート 第２実施形態の初期キャリブレーションデータ選択処理のフローチャート 第２実施形態の演算結果判定処理のフローチャート 第３実施形態の初期キャリブレーションデータ選択処理のフローチャート 第４実施形態の初期キャリブレーションデータ選択処理のフローチャート 第５実施形態の初期キャリブレーションデータ選択処理のフローチャート 第６実施形態の初期キャリブレーションデータ選択処理のフローチャート 第７実施形態の初期キャリブレーションデータ選択処理のフローチャート 第８実施形態の初期キャリブレーションデータ選択処理のフローチャート 第９実施形態の初期キャリブレーションデータ選択処理のフローチャート 第１０実施形態の初期キャリブレーションデータ選択処理のフローチャート 焦点位置（離散値）に対応するキャリブレーションパラメータの構成を概念的に例示した図 焦点位置（関数）に対応するキャリブレーションパラメータの構成を概念的に例示した図 カメラの電気的構成を例示した図
以下、添付図面に従って、本発明の実施形態について、詳細に説明する。
まず、第１実施形態について説明する。
図１は、第１実施形態の実施例１における測距装置１００ａのブロック図である。
図１において、本例の測距装置１００ａは、測距制御部１０、画像入力部１１、メモリ１２、指定番号決定部１３、キャリブレーションデータ取得部１４、キャリブレート部１５、視差演算部１６、距離演算部１７、相関度演算部１８、相関度比較部１９、および、距離記録部２０を備える。
測距制御部１０は、測距装置１００ａの各部を統括して制御することで、測距処理を実行する。
画像入力部１１は、複数の撮像デバイスにより異なる視点から被写体を撮像して得られた複数の撮像画像（以下「視点画像」という）を入力する。画像入力部１１の例としては、メモリカード等の記録媒体から複数の視点画像を入力する記録媒体インタフェース、３Ｄデジタルカメラ（立体撮影装置）と通信して複数の視点画像を受信するカメラインタフェース、ネットワークから複数の視点画像を入力するネットワークインタフェースなどが挙げられる。
メモリ１２は、各種情報を記憶するデバイスである。例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）およびＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）によって構成される。
測距制御部１０、指定番号決定部１３、キャリブレーションデータ取得部１４、キャリブレート部１５、視差演算部１６、距離演算部１７、相関度演算部１８及び相関度比較部１９は、例えばＣＰＵ（Central Processing Unit）によって構成される。
指定番号決定部１３は、指定番号を決定する。指定番号は、撮像デバイスで合焦可能な距離範囲にわたる複数の指定距離（注目距離）のうち、何れに注目するかを指し示すインデックスである。即ち、指定番号決定部１３は、指定番号により、注目すべき指定距離およびキャリブレーションデータを指定する。
キャリブレーションデータ取得部１４は、決定された指定番号に対応するキャリブレーションデータ（即ち注目した指定距離に対応するキャリブレーションデータ）を取得する。キャリブレーションデータは、視点画像の二次元座標と実空間の３次元座標とを整合するためのデータである。
キャリブレート部１５(画像補正手段)は、取得されたキャリブレーションデータに基づいて、複数の視点画像を補正する。
視差演算部１６は、各指定距離ごとに、補正後の複数の視点画像間で視差を算出する。
距離演算部１７は、視差演算部１６で算出された視差に基づいて、被写体距離を算出する。
相関度演算部１８は、各注目距離ごとに、補正後の複数の視点画像間における対応画素間の輝度または色の相関度を算出する。
相関度比較部１９は、注目した複数の注目距離にわたって相関度を比較することで、複数のキャリブレーションデータのうちから相関度が最大となるキャリブレーションデータを最適キャリブレーションデータとして特定する。
距離記録部２０は、最適キャリブレーションデータで補正後の視点画像間の視差から算出された被写体距離を、測距結果と特定し、記録媒体に記録する。
次に、キャリブレーションデータ取得の各種態様について、説明する。
第１に、合焦可能距離とキャリブレーションデータとの対応関係を示すテーブル情報をメモリ１２に予め記憶させておき、注目した合焦可能距離に対応するキャリブレーションデータをメモリ１２から取得する態様がある。
図２は、メモリ１２に記憶されるキャリブレーションデータの構造例を示す。本例のキャリブレーションデータは、カメラの各撮像デバイスごとに、ディストーションパラメータ（中心座標および係数）、外部パラメータおよび内部パラメータを含んで構成されている。ディストーションパラメータおよび内部パラメータは各撮像デバイスごとの画像補正用パラメータであり、外部パラメータは撮像デバイス間の画像補正用パラメータである。指定距離間のキャリブレーションデータを線形補間により求めてもよい。
第２に、合焦可能距離とキャリブレーションデータとの対応関係を示す関数をメモリ１２に予め記憶させておき、注目した合焦可能距離に対応するキャリブレーションデータを関数により算出する態様がある。
図３は、メモリ１２に記憶される関数の構造例を示す。本例の関数は、合焦可能距離Ｌを入力値として、ディストーションパラメータ（中心座標および係数）、外部パラメータおよび内部パラメータを出力する。例えば、各パラメータごとに、関数を構成する多項式の係数をメモリ１２に記憶しておく。
次に、被写体距離と視差との関係について、図４Ａ及び図４Ｂを用いて説明する。
まず、理解を容易にするため、複数の視点画像を撮像した３Ｄデジタルカメラ８０において、基線長ＳＢ（撮像デバイス８１Ｌ、８１Ｒの光軸の間隔）および輻輳角θｃ（撮像デバイス８１Ｌ、８１Ｒの光軸同士が成す角度）は、一定であるものとして説明する。複数の撮像デバイス８１Ｌ、８１Ｒにより、同一の特定対象９１（例えば球）を複数の視点から撮像することで、複数の視点画像（左視点画像９２Ｌおよび右視点画像９２Ｒ）が生成される。生成された視点画像９２Ｌ、９２Ｒは、同一の特定対象９１が投影された特定対象像９３Ｌ、９３Ｒを、それぞれ含んでいる。これらの視点画像９２Ｌ、９２Ｒを、立体視表示可能なモニタ８２で重ね合わせて表示することで、すなわち３Ｄ表示することで、３Ｄ表示画像９４が再生される。３Ｄ表示画像９４は左視点画像９２Ｌおよび右視点画像９２Ｒによって構成されている。観察者９５は、モニタ８２上の３Ｄ表示画像９４を両眼９６Ｌ、９６Ｒから観察する。そうすると、観察者９５には特定対象９１（例えば球）の虚像９７が飛び出して見える。尚、図４Ｂでは、光軸が交わる輻輳点９９よりも近い位置に特定対象９１が存在したので虚像９７が手前側に飛び出して見えるが、輻輳点９９よりも遠い位置に特定対象が存在した場合には虚像が奥側に引き込んで見える。図４Ａに示すように被写体距離Ｓが輻輳点９９までの距離よりも小さい範囲内では、被写体距離Ｓが小さいほど、視点画像９２Ｌ、９２Ｒ上で特定対象像９３Ｌ、９３Ｒの中心座標ＸＬＦ、ＸＲＦ（図２ではｘ座標のみ図示）の差分｜ＸＬＦ−ＸＲＦ｜が大きくなる。すなわち、被写体距離Ｓが小さいほど、視点画像間で対応点同士が離れる。ここで、差分｜ＸＬＦ−ＸＲＦ｜はｘ座標のみであり、これを視差ＡＰ（両眼視差量）として表す。つまり、基線長ＳＢおよび輻輳角θｃが一定であれば、被写体距離Ｓが小さいほど、ＡＰが大きくなり、観察者９５が体感する虚像９７の飛び出し量ＡＤも大きくなる。即ち、被写体距離Ｓと視差ＡＰとの間に一定の対応関係が存在する。
しかし、実際には、３Ｄデジタルカメラの装置間で基線長ＳＢおよび輻輳角θｃにばらつきが存在するため、被写体距離Ｓが同じであっても、装置間で視差ＡＰにもばらつきが生じる。つまり、撮像デバイス間のキャリブレーションが適切に行われていない状態では、視差ＡＰから被写体距離Ｓを精度よく求めることができない。このような撮像デバイス間のばらつきを視点画像において補正するためのキャリブレーションパラメータが、外部パラメータである。
次に、第１実施形態の実施例１における測距処理の一例について、図５のフローチャートを用いて説明する。
ステップＳ１００にて、画像入力部１１により、複数の視点画像を取得する。
ステップＳ１０２にて、指定番号決定部１３により、初期指定番号（本例では「０」）を決定し、キャリブレーションデータ取得部１４により、初期指定番号に対応したキャリブレーションデータを取得する。即ち、初期指定距離（最初の注目距離）に対応するキャリブレーションデータを取得する。
ステップＳ１０４にて、キャリブレート部１５により、取得されたキャリブレーションデータを用いてキャリブレートを行う。即ち、指定距離に対応するキャリブレーションデータに基づいて、複数の視点画像を補正する。
ステップＳ１０６にて、視差演算部１６により、補正後の複数の視点画像間で視差を算出する。具体的には、まず、一の視点画像を基準画像として他の視点画像を参照画像とし、基準画像の各画素と参照画像の各画素との対応付け（対応画素検出）を行う。次に、基準画像における各画素の位置と参照画像における対応画素の位置とに基づいて、各画素の視差を算出する。
本例では、視点画像の全範囲ではなく特定の注目エリア（例えば合焦エリア）にて、各画素の視差を算出する。
ステップＳ１０８にて、距離演算部１７により、視差に基づいて被写体距離を算出する。
ステップＳ１１０にて、相関度演算部１８により、補正後の複数の視点画像における、輝度および色のうち少なくとも一方の相関度の合計を算出する。
なお、視差演算部１６により、対応画素検出にて複数の視点画像間で対応画素同士の輝度および色の差分（各画素ごとの相関度）を既に算出しているので、その差分を特定の注目エリア（例えば、合焦エリア、顔検出エリア）で合計すればよい。注目エリアについては後の実施形態１４で詳説する。
ステップＳ１１２にて、指定番号＝最大指定番号であるか否かを判定し、指定番号＝最大指定番号でない場合にはステップＳ１１４に進み、指定番号＝最大指定番号である場合にはステップＳ１１６に進む。
指定番号＝最大指定番号でない場合、ステップＳ１１４にて、指定番号を１増やし、ステップＳ１１５にて、キャリブレーションデータ取得部１４により、指定番号の距離（指定距離）に対応するキャリブレーションデータを取得し、ステップＳ１０４に進む。
指定番号＝最大指定番号である場合、ステップＳ１１６にて、相関度比較部１９により、注目した全ての指定距離にわたって相関度の合計を比較し、相関度の合計が最大となる指定番号を選択する。即ち、複数のキャリブレーションデータのうちから、相関度の合計が最大となるキャリブレーションデータを、最適キャリブレーションデータとして特定する。
ステップＳ１１８にて、距離記録部２０により、選択された指定番号に対応する距離情報を記録する。即ち、最適キャリブレーションデータで補正後の視点画像間の視差から算出された被写体距離を、測距結果として出力する。
また、本例では、測距結果としての被写体距離を、複数の視点画像を含む画像ファイルに、付加情報として付加する。例えば、画像ファイルのヘッダに被写体距離を書き込む。
図６に示すように、撮像デバイスのフォーカスレンズが合焦可能な距離（合焦可能距離）の範囲内で、指定距離（合焦可能距離）を最小値から最大値に向けて切り換えながら、各指定距離ごとに相関度を算出する。相関度が最大となる指定距離に対応するキャリブレーションデータを最適キャリブレーションデータと特定する。そして、最適キャリブレーションデータで補正後の視点画像間の視差に基づく被写体距離を、測距結果として記録する。
次に、第１実施形態の実施例２における測距処理の一例について、図７Ａ及び図７Ｂのフローチャートを用いて説明する。
ステップＳ１２０〜Ｓ１２８は、第１実施例のステップＳ１００〜Ｓ１０８と同様である。
ステップＳ１３０にて、相関度演算部１８により、相関度の合計を算出し、その相関度の合計を閾値に設定する（閾値＝相関度）。
ステップＳ１３２にて、キャリブレーションデータ取得部１４により、指定番号１に対応したキャリブレーションデータを取得する。
ステップＳ１３４にて、キャリブレート部１５により、キャリブレーションデータによるキャリブレート（画像補正）を行う。
ステップＳ１３６にて、視差演算部１６により、補正後の視点画像間で視差を算出する。
ステップＳ１３８にて、距離演算部１７により、視差に基づいて距離を算出する。
ステップＳ１４０にて、相関度演算部１８により、相関度の合計を算出する。
ステップＳ１４２にて、相関度比較部１９により、今回算出した相関度の合計と閾値（前回算出した相関度の合計）とを比較する。相関度の合計≧閾値である場合にはステップＳ１４４に進み、相関度の合計＜閾値である場合にはステップＳ１４８に進む。
ステップＳ１４４にて、今回算出した相関度の合計を閾値に設定する（閾値＝今回算出した相関度の合計）。
ステップＳ１４６にて、指定番号を１増やし、ステップＳ１４７にて、キャリブレーションデータ取得部１４により、指定番号に対応したキャリブレーションデータを取得して、ステップＳ１３４に進む。
ステップＳ１４８では、前回の指定番号に対応したキャリブレーションデータを用いて求めた被写体距離を、測距結果として記録する。
本例では、図８に示すように、撮像デバイスのフォーカスレンズが合焦可能な範囲内で、注目する指定距離を最小距離から最大距離に向けて切り換えながら、各指定距離ごとに相関度を算出する。相関度が極大となる指定距離に対応するキャリブレーションデータを最適キャリブレーションデータと特定する。そして、最適キャリブレーションデータで補正後の視点画像間の視差から算出された被写体距離を、測距結果として記録する。
図９は、第１実施形態の実施例３における測距装置１００ｂのブロック図である。なお、図１に示した実施例１の測距装置１００ａと同じ構成要素には、同じ符号を付した。
次に、第１実施形態の実施例３における測距処理について、図１０のフローチャートを用いて説明する。
ステップＳ１５０〜Ｓ１５６は第１実施例のステップＳ１００〜Ｓ１０６と同様であり、ステップＳ１６０〜Ｓ１６６は第１実施例のステップＳ１１０〜Ｓ１１６と同様である。
本実施例３では、実施例１のステップＳ１０８を実行せず、ステップＳ１６８にて、判定結果（即ち相関度が最大となる指定番号）についてのみ被写体距離を算出して、記録する。
次に、第１実施形態の実施例４における測距処理について、図１１Ａ及び図１１Ｂのフローチャートを用いて説明する。
ステップＳ１７０〜Ｓ１７６は第２実施例のステップＳ１２０〜Ｓ１２６と同様であり、ステップＳ１８０〜Ｓ１８６は第２実施例のステップＳ１３０〜Ｓ１３６と同様であり、ステップＳ１９０〜Ｓ１９７は第２実施例のステップＳ１４０〜Ｓ１４７と同様である。
第４実施例では、第２実施例のステップＳ１２８およびＳ１３８を実行せず、ステップＳ１９８にて、判定結果（即ち相関度が最大となる指定番号）についてのみ被写体距離を算出して、記録する。
次に、第２実施形態について説明する。
図１２は、第２実施形態の実施例１における測距装置１００ｃのブロック図である。なお、図１の測距装置１００ａ（実施形態１の実施例１）と同じ構成要素は、同じ符号を付してあり、記述済の事項の説明を省略する。
測距装置１００ｃは、縦ずれ量演算部２１および縦ずれ量比較部２２を備える。
縦ずれ量演算部２１は、各指定距離ごとに、補正後の複数の視点画像間における対応画素間の縦ずれ量を算出する。
縦ずれ量比較部２２は、注目した複数の指定距離にわたって縦ずれ量を比較し、縦ずれ量が最小となるキャリブレーションデータを、最適キャリブレーションデータとして特定する。
次に、第２実施形態の実施例１における測距処理について、図１３のフローチャートを用いて説明する。
ステップＳ２００〜Ｓ２０８は、図５（第１実施形態の第１実施例）のステップＳ１００〜Ｓ１０８と同様である。
ステップＳ２１０にて、縦ずれ量演算部２１により、対応画素間の縦ずれ量の合計を算出する。即ち、一の視点画像を基準画像として他の視点画像を参照画像としたとき、基準画像と参照画像とで対応する画素間の縦方向における差分（各画素の縦ずれ量）を合計する。図４Ａの場合、左視点画像の特定対象像９３Ｌと右視点画像の特定対象像９３Ｒとで対応する点同士のｙ座標の差分が、各画素の縦ずれ量である。
ステップＳ２１２にて、指定番号＝最大指定番号であるか否かを判定する。
指定番号＝最大指定番号でない場合、ステップＳ２１４にて、指定番号を１増やし、ステップＳ２１５にて、指定距離に対応するキャリブレーションデータを取得し、ステップＳ２０４に進む。
指定番号＝最大指定番号である場合、ステップＳ２１６にて、縦ずれ量比較部２２により、注目した全ての指定距離にわたって縦ずれ量の合計を比較し、縦ずれ量の合計が最小となる指定番号を選択する。即ち、複数のキャリブレーションデータのうちから、縦ずれ量の合計が最小となるキャリブレーションデータを、最適キャリブレーションデータとして特定する。
ステップＳ２１８にて、距離記録部２０により、選択された指定番号に対応する被写体距離を、記録する。即ち、最適キャリブレーションデータで補正後の視点画像間の視差から算出された被写体距離を、測距結果として出力する。
正確なキャリブレーションが行われていれば、補正後の視点画像間の対応点同士では縦方向の差分（縦ずれ量）がほとんど無いはずである。つまり、縦ずれ量が最も小さくなるキャリブレーションデータが最も適切なキャリブレーションデータである、と言うことができる。そこで、本例では、図１４に示すように、撮像デバイスの合焦可能距離の範囲内で、注目距離（指定距離）を最小値から最大値に向けて切り換えながら、各注目距離ごとに縦ずれ量を算出する。縦ずれ量が最小となる注目距離に対応するキャリブレーションデータを最適キャリブレーションデータと特定し、その最適キャリブレーションデータで補正後の視点画像間の視差に基づく被写体距離（縦ずれ量の最小値に対応する被写体距離）を、測距結果として記録する。
次に、第２実施形態の実施例２における測距処理の一例について、図１５Ａ及び図１５Ｂのフローチャートを用いて説明する。
ステップＳ２２０〜Ｓ２２８は、図７Ａ（第１実施形態の第２実施例）のステップＳ１２０〜Ｓ１２８と同様である。
ステップＳ２３０にて、縦ずれ量演算部２１により、縦ずれ量の合計を算出し、その縦ずれ量の合計を閾値に設定する（閾値＝縦ずれ量の合計）。
ステップＳ２３２〜Ｓ２３８は、図７ＢのステップＳ１３２〜Ｓ１３８と同様である。
ステップＳ２４０にて、縦ずれ量演算部２１により、縦ずれ量の合計を算出する。
ステップＳ２４２にて、縦ずれ量比較部２２により、今回算出した縦ずれ量の合計と閾値（前回算出した縦ずれ量の合計）とを比較する。縦ずれ量の合計≦閾値である場合にはステップＳ２４４に進み、縦ずれ量の合計＞閾値である場合にはステップＳ２４８に進む。
ステップＳ２４４にて、今回算出した縦ずれ量の合計を閾値に設定する（閾値＝今回算出した縦ずれ量の合計）。ステップＳ２４６にて、指定番号を１増やし、ステップＳ２４７にて、キャリブレーションデータ取得部１４により、指定番号に対応したキャリブレーションデータを取得して、ステップＳ２３４に進む。
ステップＳ２４８では、前回の指定番号に対応したキャリブレーションデータを用いて求めた被写体距離を、測距結果として記録する。
本例では、撮像デバイスの合焦可能距離の範囲内で、注目距離（指定距離）を最小値から最大値に向けて切り換えながら、各注目距離ごとに縦ずれ量を算出する。縦ずれ量が極小となる注目距離に対応するキャリブレーションデータを最適キャリブレーションデータと特定し、その最適キャリブレーションデータで補正後の視点画像間の視差から算出された被写体距離を、測距結果として記録する。
図１６は、第２実施形態の実施例３における測距装置１００ｄのブロック図である。なお、図１２に示した本実施形態の実施例１の測距装置１００ｃと同じ構成要素には、同じ符号を付した。
本実施例３では、各指定番号ごとの距離演算（図１３のステップＳ２０８）を実行せず、縦ずれ量が最小となる指定番号についてのみ被写体距離を算出して、記録する。
次に、第３実施形態について説明する。
図１７は、第３実施形態の実施例１における測距装置１００ｅのブロック図である。なお、図１の測距装置１００ａ（実施形態１の実施例１）と同じ構成要素は、同じ符号を付してあり、記述済の事項の説明を省略する。
測距装置１００ｅは、視差演算画素数演算部２３および視差演算画素数比較部２４を備える。
視差演算画素数演算部２３は、各指定距離ごとに、補正後の複数の視点画像間で正しく視差演算できた画素数（以下「視差演算画素数」という）を算出する。
視差演算画素数比較部２４は、注目した複数の指定距離にわたって視差演算画素数を比較し、視差演算画素数が最大となるキャリブレーションデータを、最適キャリブレーションデータとして特定する。
次に、第３施形態の実施例１における測距処理について、図１８のフローチャートを用いて説明する。
ステップＳ３００〜Ｓ３０８は、図５（第１実施形態の第１実施例）のステップＳ１００〜Ｓ１０８と同様である。
ステップＳ３１０にて、視差演算画素数演算部２３により、視差演算画素数を算出する。
例えば、次の条件１および条件２の両方に該当する画素は、視差演算画素として、カウントされる。
条件１：複数の視点画像のうち一方を参照画像としたときの画素間の対応関係（マッチング）と他方を参照画像としたときの画素間の対応関係とが同じであること。
条件２：基準画像の１画素に参照画像の多数の画素（一定数以上の画素）が対応していないこと。
視差演算画素数演算部２３は、要するに、正しく視差演算できた画素（視差演算に成功した画素）を、視差演算画素として、カウントする。補正後の視点画像間で対応点検出に成功したか否かを判定し、成功した画素の数をカウントしてもよい。各処理系の判断基準に従い、上記の条件１、２以外の条件で視差演算画素数をカウントしてよいことは、言うまでもない。
ステップＳ３１２にて、指定番号＝最大指定番号であるか否かを判定する。
指定番号＝最大指定番号でない場合、ステップＳ３１４にて、指定番号を１増やし、ステップＳ３１５にて、指定距離に対応するキャリブレーションデータを取得し、ステップＳ３０４に進む。
指定番号＝最大指定番号である場合、ステップＳ３１６にて、視差演算画素数比較部２４により、注目した全ての指定距離にわたって視差演算画素数を比較し、視差演算画素数が最大となる指定番号を選択する。即ち、複数のキャリブレーションデータのうちから、視差演算画素数が最大となるキャリブレーションデータを、最適キャリブレーションデータとして特定する。
ステップＳ３２２にて、距離記録部２０により、選択された指定番号に対応する被写体距離を、記録する。即ち、最適キャリブレーションデータで補正後の視点画像間の視差に基づく被写体距離を、測距結果として出力する。
次に、第３実施形態の実施例２における測距処理の一例について、図１９Ａ及び図１９Ｂのフローチャートを用いて説明する。
ステップＳ３２０〜Ｓ３２８は、図７Ａ（第１実施形態の第２実施例）のステップＳ１２０〜Ｓ１２８と同様である。
ステップＳ３３０にて、視差演算画素数演算部２３により、視差演算画素数を算出し、その視差演算画素数を閾値に設定する（閾値＝視差演算画素数）。
ステップＳ３３２〜Ｓ３３８は、図７ＢのステップＳ１３２〜Ｓ１３８と同様である。
ステップＳ３４０にて、視差演算画素数演算部２３により、視差演算画素数を算出する。
ステップＳ３４２にて、視差演算画素数比較部２４により、今回算出した視差演算画素数と閾値（前回算出した視差演算画素数）とを比較する。
視差演算画素数≧閾値である場合には、ステップＳ３４４にて、今回算出した視差演算画素数を閾値に設定し（閾値＝視差演算画素数）、ステップＳ３４６にて、指定番号を１増やし、ステップＳ３４７にて、指定番号に対応したキャリブレーションデータを取得して、ステップＳ３３４に進む。
視差演算画素数＜閾値である場合には、ステップＳ３４８にて、前回の指定番号に対応したキャリブレーションデータを用いて求めた被写体距離を、測距結果として記録する。
図２０は、第３実施形態の実施例３における測距装置１００ｆのブロック図である。なお、図１７に示した本実施形態の実施例１の測距装置１００ｅと同じ構成要素には、同じ符号を付した。本実施例３では、視差演算画素数が最大となる指定番号についてのみ被写体距離を算出して、記録する。
次に、第４実施形態について説明する。
図２１は、第４実施形態の実施例１における測距装置１００ｇのブロック図である。なお、図１の測距装置１００ａ（実施形態１の実施例１）と同じ構成要素は、同じ符号を付してあり、記述済の事項の説明を省略する。
測距装置１００ｇは、局所ノイズ画素数演算部２５および局所ノイズ画素数比較部２６を備える。
局所ノイズ画素数演算部２５は、各指定距離ごとに、補正後の複数の視点画像の視差分布で局所的に存在する画素数（以下「局所ノイズ画素数」という）を算出する。
視差演算画素数比較部２４は、注目した複数の注目距離にわたって局所ノイズ画素数を比較し、局所ノイズ画素数が最小となるキャリブレーションデータを、最適キャリブレーションデータとして特定する。
次に、第４実施形態の実施例１における測距処理について、図２２のフローチャートを用いて説明する。
ステップＳ４００〜Ｓ４０８は、図５（第１実施形態の第１実施例）のステップＳ１００〜Ｓ１０８と同様である。
ステップＳ４１０にて、局所ノイズ画素数演算部２５により、局所ノイズ画素数を算出する。
具体的には、補正後の視点画像において、各画素に注目し、その周辺の画素と比較して視差が大きく異なる画素の数をカウントする。要するに、輝度や色の分布ではなくて、視差の分布において、孤立した画素または画素群を検出し、その検出した画素（局所ノイズ画素）の数をカウントする。なお、視差と距離とは対応するので、距離の分布において、孤立した画素または画素群を検出し、カウントしてもよい。
ステップＳ４１２にて、指定番号＝最大指定番号であるか否かを判定する。
指定番号＝最大指定番号でない場合には、ステップＳ４１４にて、指定番号を１増やし、ステップＳ４１５にて、指定距離に対応するキャリブレーションデータを取得し、ステップＳ４０２に進む。
指定番号＝最大指定番号である場合、ステップＳ４１８にて、局所ノイズ画素数比較部２６により、注目した全ての指定距離にわたって局所ノイズ画素数を比較し、局所ノイズ画素数が最小となる指定番号を選択する。即ち、複数のキャリブレーションデータのうちから、局所ノイズ画素数が最小となるキャリブレーションデータを、最適キャリブレーションデータとして特定する。
ステップＳ４１８にて、距離記録部２０により、選択された指定番号に対応する被写体距離を、記録する。
次に、第４実施形態の実施例２における測距処理の一例について、図２３Ａ及び図２３Ｂのフローチャートを用いて説明する。
ステップＳ４２０〜Ｓ４２８は、図７Ａ（第１実施形態の第２実施例）のステップＳ１２０〜Ｓ１２８と同様である。
ステップＳ４３０にて、局所ノイズ画素数演算部２５により、局所ノイズ画素数を算出し、その局所ノイズ画素数を閾値に設定する（閾値＝局所ノイズ画素数）。
ステップＳ４３２〜Ｓ４３８は、図７ＢのステップＳ１３２〜Ｓ１３８と同様である。
ステップＳ４４０にて、局所ノイズ画素数演算部２５により、局所ノイズ画素数を算出する。
ステップＳ４４２にて、局所ノイズ画素数比較部２６により、今回算出した局所ノイズ画素数と閾値（前回算出した局所ノイズ画素数）とを比較する。
局所ノイズ画素数≦閾値である場合には、ステップＳ４４４にて、今回算出した局所ノイズ画素数を閾値に設定する（閾値＝局所ノイズ画素数）。ステップＳ４４６にて、指定番号を１増やし、ステップＳ４４７にて、指定番号に対応したキャリブレーションデータを取得して、ステップＳ４３４に進む。
局所ノイズ画素数＞閾値である場合には、ステップＳ４４８にて、前回の指定番号に対応したキャリブレーションデータを用いて求めた被写体距離を、測距結果として記録する。
図２４は、第４実施形態の実施例３における測距装置１００ｈのブロック図である。なお、図２１に示した本実施形態の実施例１の測距装置１００ｇと同じ構成要素には、同じ符号を付した。本実施例３では、局所ノイズ画素数が最小となる指定番号についてのみ被写体距離を算出して、記録する。
次に、第５実施形態について説明する。
図２５は、第５実施形態の実施例１の測距装置１００ｉを示すブロック図である。なお、図１の測距装置１００ａ（第１実施形態の実施例１）と同じ構成要素は、同じ符号を付してあり、説明済みの事項の説明を以下では省略する。
本例の測距装置１００ｉは、代表距離決定部２７、｜指定距離−代表距離｜演算部２８、および、｜指定距離−代表距離｜比較部２９を備える。
代表距離決定部２７は、各指定距離ごとに、補正後の複数の視点画像間の視差に基づいて算出された各画素ごと（または画素群ごと）の距離の代表値（以下「代表距離」という）を決定する。
｜指定距離−代表距離｜演算部２８（距離差分演算手段）は、各指定距離ごとに、｜指定距離−代表距離｜を算出する。
｜指定距離−代表距離｜比較部２９は、注目した複数の指定距離にわたって｜指定距離−代表距離｜を比較し、｜指定距離−代表距離｜が最小となるキャリブレーションデータを、最適キャリブレーションデータとして特定する。
次に、第５実施形態の実施例１の測距処理について、図２６のフローチャートを用いて説明する。
ステップＳ５００〜Ｓ５０８は、図５（第１実施形態の第１実施例）のステップＳ１００〜Ｓ１０８と同様である。
ステップＳ５１０にて、代表距離決定部２７により、距離のヒストグラムを作成する。距離のヒストグラムは、図２７に示すように、補正後の視点画像における各画素ごとの距離と頻度（画素数）との関係を示す。
ステップＳ５１２にて、代表距離決定部２７により、図２７に示すように、距離のヒストグラムから最頻値を検出し、その最頻値を代表距離と決定する。即ち、距離の最頻値を、被写体距離の候補として選出する。
ステップＳ５１４にて、指定番号＝最大指定番号であるか否かを判定する。
指定番号＝最大指定番号でない場合には、ステップＳ５１６にて、指定番号を１増やし、ステップＳ５１７にて、指定番号に対応するキャリブレーションデータを取得する。
指定番号＝最大指定番号である場合には、ステップＳ５１８にて、｜指定距離−代表距離｜が最小となる指定番号を選択する。具体的には、｜指定距離−代表距離｜演算部２８により、｜指定距離−代表距離｜を算出するとともに、｜指定距離−代表距離｜比較部２９により、注目した複数の指定距離にわたって｜指定距離−代表距離｜を比較し、｜指定距離−代表距離｜が最小となる指定番号を選択する。即ち、複数のキャリブレーションデータのうちから、｜指定距離−代表距離｜が最小となるキャリブレーションデータを、最適キャリブレーションデータとして特定する。
ステップＳ５１９にて、距離記録部２０により、選択された指定番号に対応する代表距離を記録する。即ち、最適キャリブレーションデータで補正後の視点画像間の視差から算出された被写体距離を、測距結果として出力する。
なお、本例では距離のヒストグラムの最頻値を代表距離（被写体距離）としているが、本発明はこれに限定されない。代表距離を他の方法により求めてもよい。
次に、第５実施形態の実施例２の測距処理について、図２８Ａ図２８Ｂのフローチャートを用いて説明する。本測距処理は、図２５に示した測距装置１００ｉにて行われる。
ステップＳ５２０〜Ｓ５２８は、図７Ａ（第１実施形態の第２実施例）のステップＳ１２０〜Ｓ１２８と同様である。
ステップＳ５３０にて、距離のヒストグラムを作成し、ステップＳ５３２にて、距離の最頻値を代表距離と決定する。ステップＳ５３４にて、｜指定距離−代表距離｜を算出して閾値に設定する（閾値＝｜指定距離−代表距離｜）。
ステップＳ５３６〜Ｓ５４２は、図７ＢのステップＳ１３２〜Ｓ１３８と同様である。
ステップＳ５４４にて、距離のヒストグラムを作成し、ステップＳ５４６にて、距離の最頻値を代表距離と決定し、ステップＳ５４８にて、｜指定距離−代表距離｜を算出する。
ステップＳ５５８にて、｜指定距離−代表距離｜比較部２９により、今回算出した｜指定距離−代表距離｜と、閾値（前回算出した｜指定距離−代表距離｜）とを比較する。
｜指定距離−代表距離｜≦閾値である場合には、ステップＳ５５２にて、今回算出した｜指定距離−代表距離｜を閾値に設定する（閾値＝｜指定距離−代表距離｜）。ステップＳ５５４にて、指定番号を１増やし、ステップＳ５５６にて、指定番号に対応したキャリブレーションデータを取得し、ステップＳ５３８に進む。
｜指定距離−代表距離｜＞閾値である場合には、ステップＳ５５８にて、前回の指定番号に対応した代表距離を、測距結果の被写体距離として記録する。
図２９は、第５実施形態の実施例３の測距装置１００ｊのブロック図である。以下では、図２５の測距装置１００ｉ（本実施形態の実施例１）と異なる事項のみ説明する。
本例の測距装置１００ｊは、代表視差決定部３０を備える。代表視差決定部３０は、各指定距離ごとに、補正後の視点画像間の視差の代表値（以下「代表視差」という）を決定する。代表視差は、視差演算部１６で対応画素検出に成功した各画素（または画素群）ごとの視差を、代表する。
本例の距離演算部１７は、代表視差に基づいて代表距離を算出する。
次に、第５実施形態の実施例３の測距処理について、図３０のフローチャートを用いて説明する。
ステップＳ５６０〜Ｓ５６６は、図２６（本実施形態の実施例１）のステップＳ５００〜５０６と同様である。
ステップＳ５６８にて、代表視差決定部３０により、視差のヒストグラムを作成する。視差のヒストグラムは、図３１に示すように、補正後の視点画像間における各画素ごとの視差と頻度（画素数）との関係を示す。
ステップＳ５７０にて、代表視差決定部３０により、図３１に示すように、視差のヒストグラムから最頻値を検出し、その最頻値を代表視差と決定する。即ち、視差の最頻値を、主要被写体の視差として選出する。
ステップＳ５７２にて、距離演算部１７により、代表視差に基づいて代表距離を算出する。即ち、視差の最頻値に対応する距離を、被写体距離の候補として算出する。
ステップＳ５７４〜Ｓ５７９は、図２６のステップＳ５１４〜Ｓ５１９と同様である。
図３２は、第５実施形態の実施例４の測距装置１００ｋのブロック図である。以下では、図２９の測距装置１００ｊ（本実施形態の実施例３）と異なる事項のみ説明する。
本例の測距装置１００ｋは、指定視差演算部３１、および、｜指定視差−代表視差｜演算部３２、｜指定視差−代表視差｜比較部３３を備える。
指定視差演算部３１は、各指定距離ごとに、指定距離に基づいて視差（以下「指定視差」という）を算出する。
｜指定視差−代表視差｜演算部３２は、各指定距離ごとに、｜指定視差−代表視差｜を算出する。
｜指定視差−代表視差｜比較部３３は、注目した複数の指定距離にわたって｜指定視差−代表視差｜を比較し、｜指定視差−代表視差｜が最小となるキャリブレーションデータを最適なキャリブレーションデータとして特定する。
次に、第５実施形態の実施例４の測距処理について、図３３のフローチャートを用いて説明する。
ステップＳ５８０〜Ｓ５８２は、図３０（本実施形態の実施例３）のステップＳ５６０〜Ｓ５６２と同じである。
ステップＳ５８３にて、指定視差演算部３１により、指定距離に基づいて指定視差を算出する。即ち、指定距離を指定視差に変換する。
ステップＳ５８４〜Ｓ５９０は、図３０のステップＳ５６４〜Ｓ５７０と同様である。本例では、図３０のステップＳ５７２に相当するステップがない。ステップＳ５９４〜Ｓ５９７は、図３０のステップＳ５７４〜Ｓ５７７と同様である。
ステップＳ５９８にて、｜指定視差−代表視差｜が最小となる指定番号を選択する。即ち、｜指定視差−代表視差｜演算部３２により｜指定視差−代表視差｜を算出し、｜指定視差−代表視差｜比較部３３により、注目した複数の指定距離にわたって｜指定視差−代表視差｜を比較し、｜指定視差−代表視差｜が最も小さくなる指定番号を特定する。即ち、最適キャリブレーションデータを特定する。
ステップＳ５９９にて、特定した指定番号に対応する指定距離（または対応点距離）を、距離記録部２０により、測距結果の被写体距離として記録する。
以上のように、実施例１〜３では、｜指定距離−代表距離｜を算出し、最小の｜指定距離−代表距離｜を選択することで、最適キャリブレーションデータを特定したが、実施例４では、指定距離を指定視差に変換して｜指定視差−代表視差｜を算出し、最小の｜指定視差−代表視差｜を選択することで、最適キャリブレーションデータを特定する。
次に、第６実施形態について説明する。
第６実施形態の実施例１の測距処理について、図３４および図３５のフローチャートを用いて説明する。この測距処理は、図１の測距装置１００ａにて実行される。
本実施形態では、測距制御部１０の制御により、まず、指定距離（注目距離）を大きな変更幅で変更しながら第１の測距（以下「前半処理」という）を行って第１の被写体距離を取得し、次に、指定距離を前記第１の被写体距離の付近で小さな変更幅で変更しながら第２の測距（以下「後半処理」という）を行って第２の被写体距離を取得する。距離記録部２０は、第２の被写体距離を測距結果として記録する。
図３４は、前半処理を示す。ステップＳ６００〜Ｓ６１０は、図５（第１実施形態の実施例１）のステップＳ１００〜Ｓ１１０と、同様である。即ち、複数の視点画像を取得し（ステップＳ６００）、指定番号０の指定距離に対応したキャリブレーションデータを取得し（ステップＳ６０２）、キャリブレーションデータにより複数の視点画像を補正し（ステップＳ６０４）、補正後の複数の視点画像での視差を算出し（ステップＳ６０６）、視差に基づいて被写体距離を算出し（ステップＳ６０８）、最適キャリブレーションデータの判断基準として相関度の合計を算出する（ステップＳ６１０）。ステップＳ６１２にて、指定番号＝最大指定番号であるか否かを判定し、指定番号＝最大指定番号でない場合、ステップＳ６１４にて、指定番号をｎ増やす。ここでｎ≧２である。即ち、指定距離（注目距離）を通常の変更幅よりも大きな変更幅で変更しながら、各指定距離で判断基準（本例では相関度の合計）を算出する。指定番号＝最大指定番号である場合、ステップＳ６１８にて、注目した複数の指定距離にわたって相関度の合計を比較し、相関度の合計が最大であった指定番号（ｍとする）を取得する。即ち、相関度の合計が最大となる指定距離およびキャリブレーションデータを特定する。
図３５は、後半処理を示す。ステップＳ６２２にて、指定番号ｍ−ｎの指定距離に対応したキャリブレーションデータを取得する。ステップＳ６２４〜Ｓ６３０は、前半処理のステップＳ６０４〜６１０と同様である。ステップＳ６３２にて、指定番号＝ｍ＋ｎであるか否かを判定し、指定番号がｍ＋ｎでない場合にはステップＳ６３４に進み、指定番号＝ｍ＋ｎである場合にはステップＳ６３６に進む。ステップＳ６３４にて指定番号を１増やし、ステップＳ６３５にて指定距離に対応したキャリブレーションデータを取得し、ステップＳ６２４に進む。ステップＳ６３６にて、相関度の合計が最大となる指定番号を取得する。即ち、相関度の合計が最大となる指定距離およびキャリブレーションデータを特定する。ステップＳ６３８にて、特定された指定番号に対応した被写体距離（ステップＳ６２８で算出した被写体距離）を、被写体距離として記録する。
本例では、まず、図３６Ａに示すように、被写体距離のサーチ範囲を合焦可能距離範囲の全てとして、変更幅ｎ（ｎ≧２）で指定番号を変更するラフな測距を行い、相関度の合計が最大となる指定番号ｍを取得する。即ち、注目距離を大きな変更幅で変更しながら第１の被写体距離を検出する。次に、図３６Ｂに示すように、被写体距離のサーチ範囲を指定番号ｍ−ｎ〜ｍ＋ｎに対応する距離範囲に限定するとともに、変更幅＝１で指定番号を変更する詳細な測距を行い、相関度の合計が最大となる指定番号を取得する。即ち、注目距離を小さな変更幅で変更しながら測距結果としての第２の被写体距離を検出する。これにより、高精度で測距し、且つ、測距処理全体での処理時間を短縮することができる。
次に、第６実施形態の実施例２の測距処理について、図３７Ａ、図３７Ｂ、図３８Ａ及び図３８Ｂのフローチャートを用いて説明する。この測距処理は、図１の測距装置１００ａにて実行される。
図３７Ａ及び図３７Ｂは、前半処理を示す。ステップＳ６４０〜Ｓ６５０は、図７Ａ（第１実施形態の実施例２）のステップＳ１２０〜Ｓ１３０と、同様である。ステップＳ６５２にて、指定番号ｎの指定距離に対応したキャリブレーションデータを取得する。ステップＳ６５４〜Ｓ６６０は、図７ＢのステップＳ１３４〜Ｓ１４０と、同様である。ステップＳ６６２にて、相関度の合計と閾値とを比較し、相関度の合計≧閾値である場合にはステップＳ６６４に進み、相関度の合計＜閾値である場合にはステップＳ６６８に進む。ステップＳ６６４にて相関度の合計を閾値に設定し、ステップＳ６６６にて指定番号をｎ増やし、ステップＳ６６７にて指定距離に対応したキャリブレーションデータを取得する。ステップＳ６６８にて、一つ前の指定番号（ｍとする）を取得する。
図３８Ａ及び図３８Ｂは、後半処理を示す。ステップＳ６７２にて、指定番号ｍ−ｎの距離に対応したキャリブレーションデータを取得する。ステップＳ６７４〜Ｓ６８０は、前半処理のステップＳ６４４〜６５０と同様である。ステップＳ６８２にて、指定番号ｍ−ｎ＋１の距離に対応したキャリブレーションデータを取得する。ステップＳ６８４〜Ｓ６９０は、前半処理のステップＳ６５４〜６６０と同様である。ステップＳ６９２にて、相関度の合計と閾値とを比較し、相関度の合計≧閾値である場合にはステップＳ６９４に進み、相関度の合計＜閾値である場合にはステップＳ６９８に進む。ステップＳ６９４にて相関度の合計を閾値に設定し、ステップＳ６９６にて指定番号を１増やし、ステップＳ６９７にて指定距離に対応したキャリブレーションデータを取得する。ステップＳ６９８にて、一つ前の回の指定番号に対応した被写体距離を記録する。
本例では、まず、図３９Ａに示すように、サーチ開始の指定番号を０（合焦可能距離範囲の至近端）にして、変更幅＝ｎ（ｎ≧２）で指定番号を変更するラフな測距を行い、相関度の合計が極大となる指定番号ｍを取得する。即ち、注目距離を大きな変更幅で変更しながら第１の被写体距離を検出する。次に、図３９Ｂに示すように、サーチ開始の指定番号をｍ−ｎ（第１の被写体距離の付近）にして、変更幅＝１で指定番号を変更する詳細な測距を行い、相関度の合計が最大となる指定番号を取得する。即ち、注目距離を小さな変更幅で変更しながら測距結果としての第２の被写体距離を検出する。これにより、高精度で測距し、且つ、測距処理全体での処理時間を短縮することができる。
なお、最適なキャリブレーションデータの判断基準として相関度の合計を用いた場合を例に説明したが、他の判断基準（例えば、第２実施形態で説明した縦ずれ量の合計、第３実施形態で説明した視差演算画素数、第４実施形態で説明した局所ノイズ画素数など）を用いてもよいことは、言うまでもない。
また、前半処理と後半処理で最適なキャリブレーションデータの判断基準が同じ場合（本例ではいずれも相関度の合計）を説明したが、その判断基準を異ならせてもよい。例えば、前半処理では相関度の合計に基づいて判断し、後半処理では局所ノイズ画素数に基づいて判断する。
次に、第７実施形態について説明する。
図４０は、第７実施形態の実施例１における測距装置１００ｍのブロック図である。なお、図２５の測距装置１００ｉ（第５実施形態の実施例１）と同じ構成要素は、同じ符号を付してあり、説明済みの事項の説明を以下では省略する。
指定距離決定部３４は、撮像デバイス（図４Ａの８１Ｌ、８１Ｒ）の合焦可能距離範囲の全てにわたる複数の指定距離（注目距離）のうちで、最初に注目する指定距離（以下「初期指定距離」という）を決定する。また、指定距離決定部３４は、距離演算部１７および代表距離決定部２７により補正後の視点画像間の視差に基づいて算出された代表距離（被写体距離）を、次に注目する指定距離と決定することで、指定距離を切り換える。
本実施形態の｜指定距離−代表距離｜比較部３５は、指定距離の切り換え前後の｜指定距離−代表距離｜を比較することで、複数の代表距離（被写体距離）のうちから測距結果を選択する。
指定距離決定部３４による初期指定距離の決定態様には各種ある。
第１に、複数の視点画像を含む画像ファイルから視点画像の付帯情報を取得し、その付帯情報に基づいて、初期指定距離を決定する態様がある。例えば、撮像デバイスによる被写体撮影時のモード（人物撮影モード、風景撮影モードなど）を示す撮影モード情報に基づいて、距離決定を行う。
第２に、視点画像から取得した撮影シーンに関する情報に基づいて、初期指定距離を決定する態様がある。例えば、視点画像を分析して、人物撮影シーンであるか、風景撮影シーンであるかを特定し、そのシーンに基づいて、距離決定を行う。
第３に、視点画像から取得した被写体のサイズに基づいて、初期指定距離を決定する態様がある。例えば、視点画像中の顔のサイズと標準的な顔のサイズとの比較に基づいて、距離決定を行う。
第４に、フォーカスエリア（合焦評価値算出領域）の視差に基づいて、初期指定距離を決定する態様がある。例えば、キャリブレーションデータによる補正前の複数の視点画像について視差のヒストグラムを作成し、その視差ヒストグラムの最頻値を距離に変換し、その距離を初期指定距離とする。
第５に、複数の撮像デバイスの輻輳点（光軸同士の交点）の距離に基づいて、初期指定距離を決定する態様がある。
次に、第７実施形態の実施例１の測距処理について、図４１Ａ及び図４１Ｂのフローチャートを用いて説明する。
まず、ステップＳ７００にて、画像入力部１１により、複数の視点画像を取得する。
次に、ステップＳ７０２にて、指定距離決定部３４により、初期指定距離を決定し、キャリブレーションデータ取得部１４により、初期指定距離に対応したキャリブレーションデータを取得する。
ステップＳ７０４〜Ｓ７１２は、図２８Ａ（第５実施形態の実施例２）のステップＳ５２４〜Ｓ５３２と同様である。即ち、キャリブレーションデータに基づいて複数の視点画像を補正し（ステップＳ７０４）、補正後の複数の視点画像間で各画素の視差を算出し（ステップＳ７０６）、視点画像間の各画素の視差に基づいて各画素の距離を算出し（ステップＳ７０８）、距離と頻度（画素数）との関係を示す距離のヒストグラムを作成し（ステップＳ７１０）、距離の最頻値を被写体距離の候補としての代表距離と決定する（ステップＳ７１２）。
ステップＳ７１４にて、｜指定距離−代表距離｜演算部２８により、｜指定距離−代表距離｜を算出し、閾値に設定する（閾値＝｜指定距離−代表距離｜）。
ステップＳ７１６にて、指定距離決定部３４により、代表距離を、次に注目する指定距離として決定し、キャリブレーションデータ取得部１４により、キャリブレーションデータを取得する。即ち、注目距離を切り換える。
ステップＳ７１８〜Ｓ７２６は、ステップＳ７０４〜Ｓ７１２と同様である。
ステップＳ７２８にて、｜指定距離−代表距離｜演算部２８により、｜指定距離−代表距離｜を算出し、｜指定距離−代表距離｜比較部２９により、今回算出した｜指定距離−代表距離｜と、閾値（前回算出した｜指定距離−代表距離｜）とを比較する。
｜指定距離−代表距離｜≦閾値である場合には、ステップ７３２にて、今回算出した｜指定距離−代表距離｜を閾値に設定し、ステップＳ７１６に進む。ステップＳ７１６では、指定距離決定部３４により、代表距離を、次に注目する指定距離と決定する。即ち、注目距離を切り換える。
｜指定距離−代表距離｜＞閾値である場合には、ステップＳ７３４にて、距離記録部２０により、前回算出した距離情報（代表距離）を、測距結果として記録する。
このように本例では、指定距離の切り換えの前後の｜指定距離−代表距離｜を比較し、前回よりも今回の方が大きければ、前回算出した代表距離を測距結果として選択する。即ち、｜指定距離−代表距離｜が極小となる指定距離を検出し、その指定距離に対応するキャリブレーションデータを最適なキャリブレーションデータと特定して、測距結果を決定する。
図４２は、第７実施形態の実施例２における測距装置１００ｎのブロック図である。なお、図２９の測距装置１００ｊ（第５実施形態の実施例２）と同じ構成要素および図４０（本実施形態の実施例１）と同じ構成要素には、同じ符号を付してあり、説明済みの事項の説明を省略する。
次に、第７実施形態の実施例２の測距処理について、図４３Ａ及び図４３Ｂのフローチャートを用いて説明する。
ステップＳ７５０〜Ｓ７５６は、図４１Ａ（本実施形態の実施例１）のステップＳ７００〜Ｓ７０６と同様である。ステップＳ７５８〜Ｓ７６２は、図３０（第５実施形態の実施例３）のステップＳ５６８〜Ｓ５７２と同様である。ステップＳ７６４〜Ｓ７７０は、図４１のステップＳ７１４〜Ｓ７２０と同様である。ステップＳ７７２〜Ｓ７７６は、本実施例のステップＳ７５８〜Ｓ７６２と同様である。ステップＳ７７８〜Ｓ７８４は、図４１のステップＳ７２８〜Ｓ７３４と同様である。
本実施例２では、視差のヒストグラムを作成し（ステップＳ７５８、Ｓ７７２）、視差の最頻値を代表視差と決定し（ステップＳ７６０、Ｓ７７４）、代表視差に基づいて代表距離を算出する（ステップＳ７６２、Ｓ７７６）。注目距離（指定距離）の切り換えの前後の｜指定距離−代表距離｜を比較し、前回よりも今回の方が大きければ、前回算出した代表距離を測距結果として選択する点は、実施例１と同様である。即ち、｜指定距離−代表距離｜が極小となる指定距離を検出し、その指定距離に対応するキャリブレーションデータを最適なキャリブレーションデータと特定する。
次に、第８実施形態について説明する。
図４４は、第８実施形態の実施例１における測距装置１００ｐのブロック図である。なお、図４０の測距装置１００ｍ（第７実施形態の実施例１）と同じ構成要素は、同じ符号を付してあり、説明済みの事項の説明を以下では省略する。
閾値決定部３６は、指定距離に基づいて閾値を決定する。
｜指定距離−代表距離｜閾値比較部３７は、｜指定距離−代表距離｜と閾値とを比較し、｜指定距離−代表距離｜が閾値よりも小さいとき、その代表距離を測距結果の被写体距離として採用する。
次に、第８実施形態の実施例１の測距処理について、図４５のフローチャートを用いて説明する。
ステップＳ８００〜Ｓ８１２は、図４１Ａ（第７実施形態の実施例１）のステップＳ７００〜Ｓ７１２と同様である。
ステップＳ８１４にて、閾値決定部３６により、閾値を決定する。例えば、指定距離と閾値との対応関係を示すテーブルデータをメモリ１２から、注目した指定距離に応じた閾値を取得する。関数により、指定距離に対応する閾値を算出してもよい。
ステップＳ８１６にて、｜指定距離−代表距離｜閾値比較部３７により、｜指定距離−代表距離｜と閾値とを比較する。
ステップＳ８１８にて、｜指定距離−代表距離｜≧閾値である場合には、ステップＳ８２０に進み、｜指定距離−代表距離｜＜閾値である場合には、ステップＳ８２２に進む。
ステップＳ８２０にて、指定距離決定部３４により、代表距離を次に注目する指定距離と決定することで、注目距離の切り換えを行い、ステップＳ８０４に進む。
ステップＳ８２２にて、距離記録部２０により、前回算出した距離情報（代表距離）を、測距結果として記録する。
このように本例では、｜指定距離−代表距離｜と閾値とを比較し、｜指定距離−代表距離｜＜閾値であれば、前回算出した代表距離を測距結果として採用する。即ち、｜指定距離−代表距離｜＜閾値となる指定距離を検出し、その指定距離に対応するキャリブレーションデータを最適なキャリブレーションデータと特定して、測距結果を決定する。
図４６は、第８実施形態の実施例２の測距装置１００ｑを示すブロック図である。なお、図４２の測距装置１００ｎ（第７実施形態の実施例２）と同じ構成要素および図４４（本実施形態の実施例１）と同じ構成要素には、同じ符号を付してあり、説明済みの事項の説明を以下では省略する。
第８実施形態の実施例２の測距処理については、詳細な説明を省略する。本実施例では、代表視差のみに基づいて被写体距離を算出する。
次に、第９実施形態について説明する。
図４７は、第９実施形態の実施例１の測距装置１００ｒを示すブロック図である。なお、図４０の測距装置１００ｍ（第７実施形態の実施例１）と同じ構成要素は、同じ符号を付してあり、説明済みの事項の説明を以下では省略する。また、相関度演算部１８は、図１（第１実施形態）のものと同様であり、説明を省略する。
本実施形態の相関度比較部３８は、指定距離決定部３４による指定距離（注目距離）の切り換えごとに、切り換え前後の相関度の合計を比較し、切り換え前の相関度の合計が切り換え後の算出された相関度の合計よりも大きい場合、切り換え前の代表距離（被写体距離）を測距結果として採用する。
次に、第９実施形態の実施例１の測距処理について、図４８Ａ及び図４８Ｂのフローチャートを用いて説明する。
ステップＳ９００〜Ｓ９１２は、図４１Ａ（第７実施形態の実施例１）のステップＳ７００〜Ｓ７１２と同様である。ステップＳ９１４にて、相関度演算部１８により、相関度の合計を算出する。ステップＳ９１６にて、算出した相関度の合計を閾値に設定する。
ステップＳ９１８〜Ｓ９２８は、図４１ＢのステップＳ７１６〜Ｓ７２６と同様である。ステップＳ９３０にて、相関度演算部１８により、相関度の合計を算出する。ステップＳ９３２にて、相関度比較部３８により、今回算出した相関度の合計を閾値（前回算出した相関度の合計）と比較する。
ステップＳ９３４にて、相関度の合計≧閾値である場合には、ステップＳ９３６に進み。相関度の合計＜閾値である場合には、ステップＳ９３８に進む。
ステップＳ９３６では、今回算出した相関度の合計を閾値に設定する。
ステップＳ９３８では、前回算出した代表距離を、測距結果として採用し、記録する。
図４９は、第９実施形態の実施例２の測距装置１００ｓを示すブロック図である。なお、図２９の測距装置１００ｊ（第５実施形態の実施例２）と同じ構成要素および図４７（本実施形態の実施例１）と同じ構成要素には、同じ符号を付してあり、説明済みの事項の説明を以下では省略する。本実施例では、代表視差のみに基づいて被写体距離を算出する。
次に、第１０実施形態について説明する。
図５０は、第１０実施形態の実施例１の測距装置１００ｔを示すブロック図である。なお、図４０の測距装置１００ｍ（第７実施形態の実施例１）と同じ構成要素は、同じ符号を付してあり、説明済みの事項の説明を以下では省略する。また、縦ずれ量演算部２１は、図１２（第２実施形態）のものと同様であり、説明を省略する。
本実施形態の縦ずれ量比較部３９は、指定距離決定部３４による指定距離（注目距離）の切り換えごとに、切り換え前後の縦ずれ量の合計を比較し、切り換え前の縦ずれ量の合計が切り換え後の縦ずれ量の合計よりも小さい場合、切り換え前の代表距離（被写体距離）を測距結果として採用する。
次に、第１０実施形態の実施例１の測距処理について、図５１Ａ及び図５１Ｂのフローチャートを用いて説明する。
ステップＳ１０００〜Ｓ１０１２は、図４１Ａ（第７実施形態の実施例１）のステップＳ７００〜Ｓ７１２と同様である。ステップＳ１０１４にて、縦ずれ量演算部２１により、縦ずれ量の合計を算出する。ステップＳ１０１６にて、算出した縦ずれ量の合計を閾値に設定する。
ステップＳ１０１８〜Ｓ１０２８は、図４１ＢのステップＳ７１６〜Ｓ７２６と同様である。ステップＳ１０３０にて、縦ずれ量演算部２１により、縦ずれ量の合計を算出する。ステップＳ１０３２にて、縦ずれ量比較部３９により、今回算出した縦ずれ量の合計を閾値（前回算出した縦ずれ量の合計）と比較する。
ステップＳ１０３４にて、縦ずれ量の合計≦閾値である場合には、ステップＳ１０３６に進み、縦ずれ量の合計＞閾値である場合には、ステップＳ１０３８に進む。
ステップＳ１０３６では、今回算出した相関度の合計を閾値に設定する。
ステップＳ１０３８では、前回算出した代表距離を、測距結果として採用し、記録する。
図５２は、第１０実施形態の実施例２の測距装置１００ｕを示すブロック図である。なお、図２９の測距装置１００ｊ（第５実施形態の実施例２）と同じ構成要素および図５０（本実施形態の実施例１）と同じ構成要素には、同じ符号を付してあり、説明済みの事項の説明を以下では省略する。本実施例では、代表視差のみに基づいて被写体距離を算出する。
次に、第１１実施形態について説明する。
図５３は、第１１実施形態の実施例１の測距装置１００ｖを示すブロック図である。なお、図４０の測距装置１００ｍ（第７実施形態の実施例１）と同じ構成要素は、同じ符号を付してあり、説明済みの事項の説明を以下では省略する。また、視差演算画素数演算部２３は、図１７（第３実施形態）のものと同様であり、説明を省略する。
本実施形態の視差演算画素数比較部４０は、指定距離決定部３４による指定距離（注目距離）の切り換えごとに、切り換え前後の視差演算画素数を比較し、切り換え前の視差演算画素数が切り換え後の視差演算画素数よりも大きい場合、切り換え前の代表距離（被写体距離）を測距結果として採用する。
次に、第１１実施形態の実施例１の測距処理について、図５４Ａ及び図５４Ｂのフローチャートを用いて説明する。
ステップＳ１１００〜Ｓ１１１２は、図４１Ａ（第７実施形態の実施例１）のステップＳ７００〜Ｓ７１２と同様である。ステップＳ１１１４にて、視差演算画素数演算部２３により、視差演算画素数を算出する。ステップＳ１１１６にて、算出した視差演算画素数を閾値に設定する。
ステップＳ１１１８〜Ｓ１１２８は、図４１ＢのステップＳ７１６〜Ｓ７２６と同様である。ステップＳ１１３０にて、視差演算画素数演算部２３により、視差演算画素数を算出する。
ステップＳ１１３２にて、視差演算画素数比較部４０により、今回算出した視差演算画素数の合計を閾値（前回算出した視差演算画素数の合計）と比較する。
ステップＳ１１３４にて、視差演算画素数≧閾値である場合には、ステップＳ１１３６に進み、視差演算画素数＜閾値である場合には、ステップＳ１１３８に進む。
ステップＳ１１３６では、今回算出した視差演算画素数を閾値に設定する。
ステップＳ１１３８では、前回算出した代表距離を、測距結果として採用し、記録する。
図５５は、第１１実施形態の実施例２の測距装置１００ｗを示すブロック図である。なお、図２９の測距装置１００ｊ（第５実施形態の実施例２）と同じ構成要素および図５３（本実施形態の実施例１）と同じ構成要素には、同じ符号を付してあり、説明済みの事項の説明を以下では省略する。本実施例では、代表視差のみに基づいて被写体距離を算出する。本実施例では、代表視差のみに基づいて被写体距離を算出する。
次に、第１２実施形態について説明する。
図５６は、第１２実施形態の実施例１の測距装置１００ｘを示すブロック図である。なお、図４０の測距装置１００ｍ（第７実施形態の実施例１）と同じ構成要素は、同じ符号を付してあり、説明済みの事項の説明を以下では省略する。また、局所ノイズ画素数演算部２５は、図２１（第４実施形態）のものと同様であり、説明を省略する。
本実施形態の局所ノイズ画素数比較部４１は、指定距離決定部３４による指定距離（注目距離）の切り換えごとに、切り換え前後の局所ノイズ画素数を比較し、切り換え前の局所ノイズ画素数が切り換え後の局所ノイズ画素数よりも小さいとき、切り換え前の代表距離（被写体距離）を測距結果として採用する。
次に、第１２実施形態の実施例１の測距処理について、図５７Ａ及び図５７Ｂのフローチャートを用いて説明する。
ステップＳ１２００〜Ｓ１２１２は、図４１Ａ（第７実施形態の実施例１）のステップＳ７００〜Ｓ７１２と同様である。ステップＳ１２１４にて、局所ノイズ画素数演算部２５により、局所ノイズ画素数を算出する。ステップＳ１２１６にて、算出した局所ノイズ画素数を閾値に設定する。
ステップＳ１２１８〜Ｓ１２２８は、図４１Ｂ（第７実施形態の実施例１）のステップＳ７１６〜Ｓ７２６と同様である。ステップＳ１２３０にて、局所ノイズ画素数演算部２５により、局所ノイズ画素数を算出する。
ステップＳ１２３２にて、局所ノイズ画素数比較部４１により、今回算出した局所ノイズ画素数を閾値（前回算出した局所ノイズ画素数）と比較する。ステップＳ１２３４にて、局所ノイズ画素数≦閾値である場合には、ステップＳ１２３６に進み、局所ノイズ画素数＞閾値である場合には、ステップＳ１２３８に進む。ステップＳ１２３６では、今回算出した局所ノイズ画素数を閾値に設定する。ステップＳ１２３８では、前回算出した代表距離を、測距結果として採用し、記録する。
図５８は、第１２実施形態の実施例２の測距装置１００ｙを示すブロック図である。なお、図２９の測距装置１００ｊ（第５実施形態の実施例２）と同じ構成要素および図５０（本実施形態の実施例１）と同じ構成要素には、同じ符号を付してあり、説明済みの事項の説明を以下では省略する。本実施例では、代表視差のみに基づいて被写体距離を算出する。本実施例では、代表視差のみに基づいて被写体距離を算出する。
次に、第１３実施形態について説明する。
第１３実施形態の実施例１の測距処理について、図５９および図６０のフローチャートを用いて説明する。この測距処理は、図４０（第７実施形態の実施例１）の測距装置１００ｍにて実行される。
本実施形態では、測距制御部１０の制御により、まず、初期指定距離（最初の注目距離）を決定して、第１の測距（以下「前半処理」という）を行い、第１の被写体距離を取得する。次に、第１の被写体距離を次の指定距離と決定し、第２の測距（以下「後半処理」という）を行い、第２の被写体距離を取得する。距離記録部２０は、第２の被写体距離を測距結果として記録する。第１の測距と、第２の測距とで、最適なキャリブレーションデータを判断するための判断基準が異なる。
図５９は、前半処理の一例を示す。ステップＳ１３００〜Ｓ１３３２は、図４１Ａ及び図４１Ｂ（第７実施形態の実施例１）のステップＳ７００〜Ｓ７３２と、同様である。ステップＳ１３３４にて、前回の指定番号をｍ、今回の指定番号をｍ＋ｎとして取得する。
図６０は、後半処理の一例を示す。ステップＳ１３４２にて、指定番号ｍ−ｎの距離（指定距離）に対応するキャリブレーションデータを取得する。ステップＳ１３４４〜Ｓ１３５０は、図５（第１実施形態の実施例１）のステップＳ１０４〜Ｓ１１０と同様である。ステップＳ１３５２にて、指定番号＝ｍ＋ｎであるか否かを判定し、指定番号＝ｍ＋ｎでない場合にはステップＳ１３５４に進み、指定番号＝ｍ＋ｎである場合にはステップＳ１３５６に進む。ステップＳ１３５４にて指定番号を１増やし、ステップＳ１３５５にて、指定距離に対応するキャリブレーションデータを取得する。ステップＳ１３５６にて、相関度が最大となる指定番号を選択し、ステップＳ１３５８にて、選択した指定番号に対応する指定距離を測距結果として記録する。
図６１Ａ及び図６１Ｂは、後半処理の他の例を示す。ステップＳ１３６２にて、指定番号ｍ−ｎの距離（指定距離）に対応するキャリブレーションデータを取得する。ステップＳ１３６４〜Ｓ１３７０は、図７Ａ（第１実施形態の実施例２）のステップＳ１２４〜Ｓ１３０と同様である。ステップＳ１３７２にて、指定番号ｍ−ｎの距離（指定距離）に対応するキャリブレーションデータを取得する。ステップＳ１３７４〜Ｓ１３８８は、図７ＢのステップＳ１３４〜Ｓ１４８と同様である。
なお、前半処理と後半処理とで判断基準が異なる場合の例として、前半処理で｜指定距離−代表距離｜、後半処理で相関度の合計を用いる場合を説明したが、本発明はこのような場合に特に限定されない。第７実施形態（｜指定距離−代表距離｜）、第８実施形態（｜指定距離−代表距離｜と閾値）、第９実施形態（相関度の合計）、第１０実施形態（縦ずれ量の合計）、第１１実施形態（視差演算画素数）、および、第１２実施形態（局所ノイズ画素数）のいずれで説明した判断基準を用いてもよい。
次に、第１４実施形態について説明する。
図６２は、第１４実施形態の実施例１の測距装置１００ｚを示すブロック図である。なお、図４０の測距装置１００ｍ（第７実施形態の実施例１）と同じ構成要素は、同じ符号を付してあり、説明済みの事項の説明を以下では省略する。本実施形態の測距装置１００ｚは、代表視差を決定する代表視差決定部３０を含んで構成されている。代表視差は、視差演算部１６で対応画素検出に成功した各画素（または画素群）ごとの視差を、代表する。
図６３は、本実施形態の実施例１おける代表視差決定部３０の詳細を示すブロック図である。代表視差決定部３０は、複数の視点画像間における各画素ごとの視差と頻度（画素数）との関係を示す視差ヒストグラムを作成する視差ヒストグラム作成部５１と、視差ヒストグラムにおける最頻値を代表視差として検出する最頻値検出部５２とを有する。
第１４実施形態の実施例１の測距処理を、図６４Ａ及び図６４Ｂのフローチャートに示す。ここで、ステップＳ１４５０〜Ｓ１４８４は、図４３Ａ及び図４３Ｂ（第７実施形態の実施例２）のステップＳ７５０〜Ｓ７８４と同様である。
ステップＳ１４５８及びＳ１４７２にて、視差ヒストグラム作成部５１により、第５実施形態の実施例３で説明したように、図３１に示すような視差のヒストグラムを作成する。また、ステップＳ１４６０及びＳ１４７４にて、最頻値検出部５２により、視差のヒストグラムにおける最頻値を検出し、その最頻値を代表視差と決定する。ステップＳ１４６２およびステップＳ１４７６にて、距離演算部１７により、代表視差に基づいて代表距離を算出する。即ち、代表視差を測距結果の被写体距離の候補としての代表距離に変換する。
なお、遠景などの背景や主要被写体の手前の前景が視点画像に写り込んでいる場合には、測定範囲の端に最頻値が存在する場合がある。よって、代表視差決定ステップ（Ｓ１４６０）にて、視差範囲の端（図３１の視差のヒストグラムにて左端側および右端側）に存在する頻度を除外して、最頻値を選択することが、好ましい。また、視差のヒストグラムにて、局所的に存在する頻度に対応する画素は、ノイズ画素である可能性が高い。よって、ヒストグラム作成ステップ（Ｓ１４５８）にて、各視差の頻度の高低を判別し、高頻度の視差を選択して、低頻度の視差をヒストグラムから除外してもよい。
次に、第１４実施形態の実施例２について説明する。
図６５は、第１４実施形態の実施例２の測距装置における代表視差決定部３０の詳細を示すブロック図である。それ以外の部分は、図６２に示した通りである。
本例の代表視差決定部３０は、視差ヒストグラム作成部５１、最頻値検出部５２、視差選択部５３、および、フィルタ５４を含んで構成されている。ここで、視差ヒストグラム作成部５１および最頻値検出部５２は、実施例１と同じである。
視差選択部５３は、視差のヒストグラムにて各視差の頻度の高低を判別して、高頻度の視差を選択することで、局所的に存在する画素の成分を視差のヒストグラムから除外する。例えば、頻度（画素数）が閾値以上である視差を選択して、頻度（画素数）が閾値未満である視差をヒストグラムから除外する。
フィルタ５４は、選択した各視差の頻度から視点画像間でのマッチングが適切でない画素の成分（画素数）を除去する。例えば、右視点画像を基準画像として左視点画像を参照画像としたマッチングと、左視点画像を基準画像として右視点画像を参照画像としたマッチングとで、対応関係が同じでない画素を選択して、選択した画素の数を各視差の頻度から減算する。また、例えば、基準画像の１画素に、参照画像の多数の画素が対応している場合、そのような対応関係の画素を選択して、選択した画素の数を各視差の頻度から減算する。なお、本発明におけるフィルタは、上記画素選択には特に限定されない。例えば、適切な視差演算ができているか否かを判断して不適切な視差演算成分を排除する他の画素選択手段を含む。
第１４実施形態の実施例２の測距処理を、図６６のフローチャートを用いて説明する。ここで、視差のヒストグラム作成以前は、図６４Ａ及び図６４Ｂと同様の処理（ステップＳ１４５０〜Ｓ１４７２と同じ）である。以下では、実施例１と異なる事項のみ説明する。
ステップＳ１４７３ａにて、視差選択部５３により、図６７Ａに示すように、頻度（画素数）が閾値Ｔｄ以上である視差を選択する。ここで、閾値Ｔｄは、動的であり、最頻値の頻度をＤｍとするとＴｄ＝Ｄｍ−Ｋｍである。Ｋｍは例えば一定値である。つまり、本例視差選択部５３は、最頻値との頻度の差分が一定値Ｋｍ以内である視差を選択する。
ステップＳ１４７３ｂにて、選択した視差にフィルタをかける。即ち、フィルタ５４により、図６７Ｂにて点線で示すように、選択した各視差の頻度から視点画像間でのマッチングが適切でない画素の成分（画素数）を除去する。
ステップＳ１４７４以降は、図６４Ｂを用いて説明した通りである。ただし、本例の最頻値検出部５２は、図６７Ｂに示すように、フィルタをかけた後の視差のヒストグラムにおける最頻値を、代表視差とする。
次に、第１４実施形態の実施例３について説明する。
図６８Ａは、第１４実施形態の実施例３の測距装置における代表視差決定部３０の詳細を示すブロック図である。それ以外の部分は、図６２に示した通りである。
本実施例の代表視差決定部３０は、視差ヒストグラム作成部５１、最頻値検出部５２および注目領域決定部５５を含む。ここで、注目領域決定部５５以外は、実施例１と同じである。
注目領域決定部５５は、視差ごとの頻度（画素数）を算出する注目領域を決定する。即ち、視差ヒストグラムの作成に用いる領域を決定する。
本例の注目領域決定部５５は、図６８Ｂに示すように、画像分割部５５１、周波数解析部５５２、周波数頻度算出部５５３および領域決定部５５４を含んで構成されている。
画像分割部５５１は、視点画像をアレイ状の複数の分割領域に分割する。
周波数解析部５５２は、各分割領域ごとに、フーリエ変換による周波数解析を行う。
周波数頻度算出部５５３は、各分割領域ごとに、高周波成分の積分値を算出する。本例では、空間周波数が予め決められた高周波数範囲内である画素の数を算出する。
領域決定部５５４は、高周波成分の積分値が最大である分割領域を注目領域と決定し、注目領域の位置を取得する。
本実施例の視差ヒストグラム作成部５１は、注目領域に限定して頻度を算出し、視差ヒストグラムを作成する。
第１４実施形態の実施例３の測距処理を、図６９のフローチャートを用いて説明する。ここで、注目領域決定（ステップＳ１４６９）よりも前は、図６４Ａ及び図６４Ｂと同様の処理（ステップＳ１４５０〜Ｓ１４６８）である。以下では、実施例１と異なる事項のみ説明する。
ステップＳ１４６９にて、注目領域決定部５５により、頻度を算出する注目領域を決定し、視点画像から抽出する。
図７０は、注目領域決定（Ｓ１４６９）の詳細を示す詳細フローチャートである。
ステップＳ１４６９ａにて、画像分割部５５１により、視点画像をＭ×Ｎ個の分割領域に分割する。
ステップＳ１４６９ｂにて、周波数解析部５５２により、各分割領域ごとに、フーリエ変換による周波数解析を行う。
ステップＳ１４６９ｃにて、周波数頻度算出部５５３により、各分割領域ごとに、決められた周波数の頻度を算出する。即ち、各分割領域ごとに、高周波成分の積分値を算出する。
ステップＳ１４６９ｄにて、領域決定部５５４により、頻度が最も高い分割領域の位置を取得する。即ち、高周波成分の積分値が最大である分割領域を注目領域と決定し、その注目領域の位置を取得する。
ステップＳ１４７０以降は、実施例１と同じである。
ここでは、高周波領域を注目領域と決定する場合を例に説明したが、本発明は上記態様に特に限定されない。例えば、以下の態様がある。
第１に、ユーザにより指示入力された領域を、注目領域と決定する態様がある。
第２に、視点画像の撮影時に露出制御または合焦制御にて用いられた演算領域を、注目領域と決定する態様がある。例えば、視点画像を含む画像ファイルのヘッダから、撮影時の露出演算領域および合焦演算領域を示す情報（撮影時演算領域情報）を取得する。
第３に、視点画像から特定対象を抽出した領域（特定対象抽出領域）を、注目領域と決定する態様がある。例えば、図７１Ｂに示すように、顔を特定対象として、顔抽出領域を注目領域と決定する。例えば、視点画像を含む画像ファイルのヘッダから、特定対象抽出領域を示す情報（特定対象抽出領域情報）を取得する。
他の方法により、主要被写体領域を注目領域と決定してもよい。
次に、第１４実施形態の実施例４について説明する。
図７２は、第１４実施形態の実施例４の測距装置における代表視差決定部３０の詳細を示すブロック図である。それ以外の部分は、図６２に示した通りである。
本実施例の代表視差決定部３０は、視差ヒストグラム作成部５１、最頻値検出部５２、注目領域決定部５５および重み決定部５６を含んで構成されている。ここで、重み決定部５６以外は、実施例３と同じである。重み決定部５６は、視点画像における各画素の位置に基づいて、視差ヒストグラムの頻度に対する重みを決定する。本実施例の視差ヒストグラム作成部５１は、頻度に対し重み付けを行う。
第１４実施形態の実施例４の測距処理を、図７３のフローチャートを用いて説明する。
ステップＳ１４６９〜Ｓ１４７０は、実施例３と同様である。
ステップＳ１４７１にて、重み決定部５６により、重みを決定する。
ステップＳ１４７２にて、視差ヒストグラム作成部５１により、頻度に対し重み付けを行って、視差ヒストグラムを作成する。
本例では、図７４に示すように、ひとつの注目領域７４を、更に複数（例えば４×４個）の分割領域７４１に分割し、各分割領域毎に、重み係数を異ならせる。例えば、図７４に示すように、中央の２×２個の領域（太線７４２で囲まれた領域）の重み係数を、その周囲の領域の重み係数よりも大きくする。
ステップＳ１４７４以降は、実施例３と同じである。
なお、視差のヒストグラムを作成する場合を例に説明したが、距離のヒストグラムを作成する場合にも、本実施形態の記載事項を適用可能であることは、言うまでもない。
また、図６２および図６４Ａ、図６４Ｂを用い、｜指定距離−代表距離｜を基準に最適キャリブレーションデータを特定する場合を例に説明したが、他の判断基準（例えば、相関度、縦ずれ量、視差演算画素数、局所ノイズ画素数など）を用いて最適キャリブレーションデータを特定する場合にも、本実施形態の記載事項を適用可能である。
図７５は本発明の好ましい第１５実施形態に係る測距装置１００のブロック図である。この装置は情報処理装置（ＣＰＵ，ＲＡＭ，ＲＯＭなど演算処理に必要な回路、データ記憶媒体、データ入出力回路、表示回路、操作装置、通信回路などを備えたもの）で構成することができる。
画像入力部１は、メモリカード、フラッシュメモリ、ＣＤＲＯＭ、ＤＶＤＲＯＭなどの各種の記録メディアやなどの記憶媒体から、あるいはカメラと接続されたＵＳＢなどの周辺機器接続用汎用インターフェースから、あるいはインターネットやＬＡＮなどのネットワークから、基準画像（視点の異なる複数の撮像手段を備えたカメラのうち、予め定められた１つの基準撮像手段で被写体を撮像した視点画像）および参照画像（当該カメラの基準撮像手段以外の撮像手段から得られた被写体の視点画像）の組を入力する。画像入力部１が入力した基準画像および参照画像は画像記憶部２に記憶される。
以下では、基準画像と参照画像とのステレオマッチングを可能にするため、基準画像および参照画像は少なくとも輝度情報を含むものとする。３Ｄ画像に色情報を付加するため、基準画像は色情報を含んでもよい。
焦点位置テーブル４０はＥＥＰＲＯＭなどの不揮発性記憶媒体で構成され、所望の被写体距離に対応する焦点位置を規定する焦点位置テーブルを記憶する。例えば、焦点位置テーブル４０には、特許文献１１の焦点位置テーブルが記憶される。ここで、被写体距離とはカメラから被写体までの距離である。例えば、カメラの合焦制御機構（ＴＴＬのオートフォーカスや、赤外線三角測距方式や瞳分割位相差検出方式を用いた外部測距方式のオートフォーカスなど）により合焦した被写体までの距離や、視差ベクトルに基づいて算出された距離情報（特許文献４など）を被写体距離とすることができる。
キャリブレーションデータ入力部３は、メモリカード、フラッシュメモリ、ＣＤＲＯＭ、ＤＶＤＲＯＭなどの各種の記録メディアやなどの記憶媒体から、あるいはパソコンから、あるいはキーボードなどのユーザインターフェースから、あるいはインターネットやＬＡＮなどのネットワークから、キャリブレーションデータを入力する。キャリブレーションデータは、カメラ個々の焦点距離、画像中心、画素サイズ等の情報からなる内部パラメータと、２つのカメラの位置、姿勢等の関係情報からなる外部バラメータと、カメラにおける理想的光学系と実際の光学系との間の差による光学歪パラメータの組を含む。当該組は複数入力される。
また、パラメータの組の各々は、所定の複数の焦点位置のいずれかと対応づけられている。
所定の複数の焦点位置は、位置１、位置３、位置５・・のように離散的な値でもよいし、全ての焦点位置でもよい。キャリブレーションデータ入力部３が入力した焦点位置ごとのキャリブレーションデータはキャリブレーションデータ記憶部４に記憶される。
３Ｄフォーマット変換部７、画像ファイル分析部８、キャリブレーションデータ分析部２３、拡大・縮小部２４、距離初期推定部２５、領域切出部２６、初期キャリブレーションデータ選択部２７、測距演算部２９、測距演算結果評価・判定部３２、キャリブレーションデータ更新選択部３６、焦点位置選択部４１は、コプロセッサであって、それぞれ専門の処理を受け持ってＣＰＵ１０５の処理動作を補助する。ただしＣＰＵ１０５そのものがこれらの各部の役割を担ってもよい。
また画像記憶部２、キャリブレーションデータ記憶部４、演算結果記憶部１９、シーン特徴記憶部３７、焦点位置記憶部３８は、ＲＡＭなどの揮発性記憶媒体で構成される。
測距演算パラメータ入力部３９は、キーボード、マウス、タッチパネル、音声入力インターフェース、視線入力インターフェースなど、ユーザの動作によるデータ入力を受け付ける手段（ユーザインターフェース）である。
図７６は距離測定装置の実行する測距処理の概略を示すフローチャートを示す。この処理を距離測定装置のＣＰＵ１０５に実行させるためのプログラムは、ＲＯＭ、ＲＡＭ、ＥＥＰＲＯＭ、ＣＤＲＯＭ、ＤＶＤなどのコンピュータ読み取り可能な記録媒体である記憶部１０１に記録されており、ＣＰＵ１０５がこの記録媒体からこのプログラムを読み出して実行する。
Ｓ１では、ＣＰＵ１０５はこれまでに基準画像の入力源となったことのない新たなカメラから基準画像が画像入力部１から入力されたか否かを判断する。Ｙｅｓの場合はＳ２、Ｎｏの場合はＳ３に進む。具体的には、例えば、ＥＥＰＲＯＭのような不揮発性記憶媒体に、これまで基準画像の入力源となったカメラの識別情報を格納しておき、ＣＰＵ１０５がその識別情報と、新たに入力された基準画像の付帯情報に格納されているカメラの識別情報とを比較照合して、両者が一致すればＮｏ，両者が一致しなければＹｅｓと判断する。
Ｓ２では、新たなカメラの種類に対応したキャリブレーションデータをキャリブレーションデータ入力部３から入力する。
Ｓ３では、基準画像および参照画像を画像入力部１から入力する。
Ｓ４では、初期キャリブレーションデータ選択部２７は、初期キャリブレーション選択処理を実行する。この処理の詳細は後述する。
Ｓ５では、測距演算部２９は、初期キャリブレーション選択処理の結果選択されたキャリブレーションデータに基づいて、基準画像の被写体の３次元計測を行い、距離情報、視差情報、３次元位置情報などを含む３次元情報（点群情報）を得る。３次元情報は演算結果記憶部１９に記憶される。
Ｓ６では、測距演算結果評価・判定部３２は、演算結果評価処理を実行する。この処理の詳細は後述する。
Ｓ７では、測距演算結果評価・判定部３２は、演算結果判定処理を実行する。この処理の詳細は後述する。演算結果判定処理の結果、演算結果が信頼できると判定された場合はＳ９に進み、演算結果が信頼できないと判定された場合はＳ８に進む。
Ｓ８では、キャリブレーションデータ更新選択部３６は、キャリブレーションデータ更新・再選択処理を実行する。この処理の詳細は後述する。
Ｓ９では、３Ｄフォーマット変換部７は、３次元情報に基づき、基準画像を立体視可能な３Ｄ画像（右目用画像および左目用画像）に変換する。
Ｓ１０では、３Ｄ画像出力部１８は、３Ｄ画像と３次元情報を出力する。３Ｄ画像と３次元情報の出力先は表示装置、記録媒体、ネットワーク上の情報通信機器、３Ｄプリンタなどを含みうる。
Ｓ１１では、ＣＰＵ１０５は、画像入力部１に新たな基準画像が入力されたか否かを判断する。Ｙｅｓの場合はＳ１に戻り、Ｎｏの場合は処理を終了する。
図７７は初期キャリブレーションデータ選択処理（Ｓ４）の詳細なフローチャートである。
Ｓ２１では、画像ファイル分析部８は、入力された基準画像の画像データファイル付帯情報を分析し、被写体距離を取得する。例えば、Exifタグの被写体距離(SubjectDistance)を取得する。
Ｓ２２では、距離初期推定部２５は、画像ファイル分析部８の取得した被写体距離を、基準画像の被写体に関する被写体距離と推定する。焦点位置選択部４１は、焦点位置テーブル４０の焦点位置テーブルに基づき、推定された被写体距離に対応する焦点位置を選択する。そして、焦点位置選択部４１は、選択された焦点位置であるカレント焦点位置を焦点位置記憶部３８に記憶する。
Ｓ２３では、初期キャリブレーションデータ選択部２７は、焦点位置記憶部３８に記憶されたカレント焦点位置に近接する上位２組の焦点位置に対応づけられたキャリブレーションデータをキャリブレーションデータ記憶部４から選択する。
Ｓ２４では、初期キャリブレーションデータ選択部２７は、選択された２組のキャリブレーションデータを内挿して、焦点位置記憶部３８に記憶されたカレント焦点位置に対応するキャリブレーションパラメータを作成する。作成されたキャリブレーションパラメータはカレント焦点位置に対応づけられてキャリブレーションデータ記憶部４に記憶される。
図７８は演算結果評価処理（Ｓ６）および演算結果判定処理（Ｓ７）の詳細フローチャートを示す。
Ｓ３１では、画像ファイル分析部８は、基準画像の付帯情報から被写体位置情報を取得する。これは例えば、測距演算前に、Exifタグの被写体位置ブロック(SubjectLocation)を参照することで取得することができる。
Ｓ３２では、測距演算結果評価・判定部３２は、基準画像のＡＦ領域内の各画素の測距結果（３Ｄ座標値）から、ＡＦ領域内の各画素までの距離を計算する。
Ｓ３３では、測距演算結果評価・判定部３２は、ＡＦ領域内の各画素までの距離に基づくヒストグラムを作成する。このヒストグラムが、初期キャリブレーションデータの信頼性を示す信頼性情報である。
Ｓ３４では、測距演算結果評価・判定部３２は、Ｓ３３で作成したヒストグラムのピークとその半値幅の対応する距離と、測距演算に使用した推定被写体距離（Ｓ２２）とを比較する。そして、演算結果判定処理（Ｓ３５）に進む。
Ｓ３５では、測距演算結果評価・判定部３２は、Ｓ３４での比較の結果、推定被写体距離がヒストグラムのピークの半値幅に対応する距離の範囲内にあるか否かを判断する。当該推定被写体距離が当該範囲内にある場合は、演算結果が信頼できると判定してＳ９に進む。当該推定被写体距離が当該範囲内にない場合は、演算結果が信頼できないと判定してＳ８に進む。
図７９はキャリブレーションデータ更新・再選択処理（Ｓ８）の詳細なフローチャートである。
Ｓ４１では、焦点位置選択部４１は、Ｓ３３と同様にして作成したヒストグラムのピーク位置に対応する距離を推定被写体距離とみなし、この被写体距離に対応する焦点位置を焦点位置テーブル４０から選択して、該選択された焦点位置をカレント焦点位置として焦点位置記憶部３８に記憶する。
Ｓ４２では、焦点位置記憶部３８に記憶されたカレント焦点位置に近接する上位２つの焦点位置に対応するキャリブレーションパラメータの組を、キャリブレーションデータ記憶部４から抽出する。
Ｓ４３では、キャリブレーションパラメータの組を内挿して、カレント焦点位置に対応するキャリブレーションパラメータを作成する。作成されたキャリブレーションパラメータはカレント焦点位置に対応づけられてキャリブレーションデータ記憶部４に記憶される。
図８０は第１６実施形態に係る初期キャリブレーションデータ選択処理（Ｓ４）の他の詳細なフローチャートである。この処理は図７７の処理の代わりに実行されることができる。
Ｓ５１では、画像ファイル分析部８は、入力された基準画像の画像データファイル付帯情報を分析し、撮影時のフォーカスレンズの位置に対応する駆動・BR>Pルス数の位置（カメラ起動時または駆動範囲の端までフォーカスレンズが駆動された時からの駆動パルス設定値の積算値）と、パルス履歴（カメラ起動時または駆動範囲の端までフォーカスレンズが駆動された時からの駆動パルス数の総積算値か、または近側パルスから遠側パルスへの総切り換え回数）を取得する。
Ｓ５２では、距離初期推定部２５は、Ｓ５１で取得されたパルス数から被写体距離を算出する。パルス数からの被写体距離の算出は特許文献６のようにして行うことができる。距離初期推定部２５は、算出された被写体距離を、基準画像の被写体に対する被写体距離と推定する。
Ｓ５３では、初期キャリブレーションデータ選択部２７は、総パルス数および総切り換え数がそれぞれ対応する規定の閾値以下であるか否かを判断する。Ｙｅｓの場合はＳ５４、Ｎｏの場合はＳ５６に進む。
Ｓ５４では、焦点位置選択部４１は、Ｓ５２で推定された被写体距離に対応する焦点位置を焦点位置テーブル４０から選択して、該選択された焦点位置をカレント焦点位置として焦点位置記憶部３８に記憶する。
初期キャリブレーションデータ選択部２７は、焦点位置記憶部３８に記憶されたカレント焦点位置に近接する上位２組の焦点位置に対応づけられたキャリブレーションデータをキャリブレーションデータ記憶部４から選択する。
Ｓ５５では、初期キャリブレーションデータ選択部２７は、選択された２組のキャリブレーションデータを内挿して、焦点位置記憶部３８に記憶されたカレント焦点位置に対応するキャリブレーションパラメータを作成する。作成されたキャリブレーションパラメータはキャリブレーションパラメータ記憶部４に記憶される。そして処理を終える。
Ｓ５６では、Ｓ５２で算出されたカレント焦点位置に近接する上位３組の焦点位置に対応するキャリブレーションデータをキャリブレーションデータ記憶部４から選択する。
Ｓ５７では、初期キャリブレーションデータ選択部２７は、選択された３組のキャリブレーションデータを２次関数でフィッティングして、焦点位置記憶部３８に記憶されたカレント焦点位置に対応するキャリブレーションパラメータを作成する。作成されたキャリブレーションパラメータはカレント焦点位置に対応づけられてキャリブレーションパラメータ記憶部４に記憶される。そして処理を終える。
図８１は演算結果判定処理（Ｓ７）の他の詳細フローチャートを示す。
Ｓ６１では、Ｓ５３と同様の判断を行い、Ｙｅｓと判断されればＳ６２、Ｎｏと判断されればＳ６３に進む。
Ｓ６２では、Ｓ３５と同様の判断を行い、その判断結果に応じてＳ９またはＳ８に進む。
Ｓ６３では、測距演算結果評価・判定部３２は、総パルス数および総切り換え数がそれぞれ対応する規定の閾値（規定の閾値は２以下の数値）以下であるか否かを判断する。Ｙｅｓの場合はＳ６４、Ｎｏの場合はＳ６５に進む。
Ｓ６４では、測距演算結果評価・判定部３２は、Ｓ３３で作成したヒストグラムのピークとその半値幅の対応する距離と、測距演算に使用した推定被写体距離とを比較する。そして、推定被写体距離が、ヒストグラムのピークの中央部１０％に対応する距離の範囲内にあるか否かを判断する。当該被写体距離が当該範囲内にある場合は、演算結果が信頼できると判定しＳ９に進む。当該被写体距離が当該範囲内にない場合は、演算結果が信頼できないと判定してＳ８に進む。
Ｓ６５では、測距演算結果評価・判定部３２は、演算結果が信頼できないと判定してＳ８に進む。
図８２は第１７実施形態に係る初期キャリブレーションデータ選択処理（Ｓ４）の他の詳細なフローチャートである。この処理は図７７または８０の処理の代わりに実行されることができる。
Ｓ７１では、画像ファイル分析部８は、入力された基準画像の画像データファイル付帯情報を分析し、撮影モード情報を取得する。例えば、Exifタグの撮影シーン・タイプSceneCaptureType(風景、人物ポートレート、夜景などを含む)を撮影モード情報として取得する。
Ｓ７２では、距離初期推定部２５は、Ｓ７１で取得された撮影モード情報が「人物ポートレート」であるか否かを判断する。Ｙｅｓの場合はＳ７３に進み、Ｎｏの場合はＳ７４に進む。
Ｓ７３では、距離初期推定部２５は、予めＲＯＭなどに格納された撮影モード−撮影距離対応テーブル２０に基づき、「人物ポートレート」に対応する距離＝２ｍを被写体距離と推定する。
Ｓ７４では、距離初期推定部２５は、Ｓ７１で取得された撮影モード情報が「風景」であるか否かを判断する。Ｙｅｓの場合はＳ７５に進み、Ｎｏの場合はＳ７６に進む。
Ｓ７５では、距離初期推定部２５は、撮影モード−撮影距離対応テーブル２０に基づき、「風景」に対応する距離＝１０ｍを被写体距離と推定する。
Ｓ７６では、距離初期推定部２５は、本実施形態以外の任意の初期キャリブレーションデータ選択処理により被写体距離を推定する。
その後、推定された被写体距離に対応する焦点位置の選択、選択された焦点位置に基づく初期キャリブレーションデータの算出が行われる。これは上述と同様である。
図８３は第１８実施形態に係る初期キャリブレーションデータ選択処理（Ｓ４）の他の詳細なフローチャートである。この処理は図７７、８０または８２の処理の代わりに実行されることができる。
Ｓ８１では、画像データ分析部１６は、基準画像から被写体検出を行う。被写体検出は周知の手法、例えば特許文献７や８のようにして行えばよい。画像データ分析部１６は、検出された被写体のサイズD（例えば矩形領域の縦横の長さに相当するピクセル数ｎ×ｍ）を検出する。画像データ分析部１６は、検出された被写体が複数存在する場合、その中で所定の基準を満たすもの（例えば最も画面中央に位置する被写体）を代表被写体とし、その代表被写体のサイズを検出する。なお、被写体は顔に限らず、周知の物体検出技術により、顔でなく他の特定の種類の被写体のサイズが検出されてもよい。
Ｓ８２では、画像データ分析部１６は、被写体サイズ記憶部２２に予め記憶された、標準的被写体サイズを取得する。
Ｓ８３では、画像ファイル分析部８は、入力された基準画像の画像データファイル付帯情報を分析し、カメラ機種情報を取得する。例えば、Exifタグのカメラの機種名Modelをカメラ機種情報として取得する。
Ｓ８４では、距離初期推定部２５は、カメラ画角ＤＢ２１に予め記憶されたカメラ機種情報ごとの撮影画像の画角情報のうち、Ｓ８３で取得されたカメラ機種情報に対応する画角情報を取得する。画角情報は、撮影画角a[rad]、基準画像の画素数w[pixel]を含む。
Ｓ８５では、距離初期推定部２５は、Ｓ８４の撮影画角a[rad]、基準画像の画素数w[pixel]、Ｓ８２の標準的被写体サイズn[pixel]、Ｓ８１の実際の被写体サイズD[mm]に基づいて、撮影距離L[mm]を算出する。すなわち、
L=Dw/(2ntan(a/2))
とする。距離初期推定部２５は、Lを被写体距離と推定し、以下、当該推定被写体距離に対応する焦点位置の選択、選択された焦点位置に基づく初期キャリブレーションデータの算出が行われる。なお、顔以外の特定の種類の被写体に対応する標準的サイズを用意しておけば、当該種類の被写体のサイズが検出された場合、その標準的サイズと検出サイズとから撮影距離が算出されうる。
図８４は第１９実施形態に係る初期キャリブレーションデータ選択処理（Ｓ４）の他の詳細なフローチャートである。この処理は図７７、８０、８２または８３の処理の代わりに実行されることができる。
Ｓ９１では、拡大・縮小部２４は、基準画像および基準画像と組をなす参照画像を縮小する。縮小率は予め記憶部１０１に記録された値であり、例えば１／４である。
Ｓ９２では、距離初期推定部２５は、縮小された基準画像と参照画像に基づいて相関演算を行う。距離初期推定部２５の相関演算はＳＡＤ法など各種の手法により行われる（特許文献９参照）。次に、距離初期推定部２５は、基準画像の各画素に対応する参照画像の対応点検索を行う。そして、互いに対応する基準画像上の画素と、参照画像上の画素との視差を算出する。
Ｓ９３では、距離初期推定部２５は、画素ごとの視差からヒストグラムを作成する。
Ｓ９４では、距離初期推定部２５は、作成したヒストグラムのピークを、距離を示す視差d[pixel]とする。
Ｓ９５では、距離初期推定部２５は、キャリブレーションデータ記憶部４に予め記憶された、所定の初期キャリブレーションパラメータに基づいて、視差dを被写体距離L[mm]へ変換する。所定の初期キャリブレーションパラメータの内容は任意である。距離初期推定部２５は、Lを現在の被写体に対する被写体距離と推定する。以下、焦点位置選択部４１は、推定された被写体距離Lに対応する焦点位置を選択し、初期キャリブレーションデータ選択部２７は、Lに対応して選択された焦点位置をカレント焦点位置とし、図７７のＳ２３〜２４を実行する。
図８５は第２０実施形態に係る初期キャリブレーションデータ選択処理（Ｓ４）の他の詳細なフローチャートである。この処理は図７７、８０、８２、８３または８４の処理の代わりに実行されることができる。
Ｓ１０１では、画像ファイル分析部８は、入力された基準画像の画像データファイル付帯情報を分析し、基準画像におけるフォーカスエリアの位置情報（フォーカスエリア情報）を付帯情報から取得する。例えば、画像ファイル分析部８は、ExifタグのＡＦ領域(NKAFFocusPoint)をフォーカスエリア情報として取得する。
Ｓ１０２では、領域切出部２６は、フォーカスエリア情報によって特定される基準画像のフォーカスエリア内の画像をそれぞれ切り出す。
Ｓ１０３では、距離初期推定部２５は、相関演算部３０により、切り出された基準画像のフォーカスエリアの画像と参照画像に基づいて相関演算を行う。相関演算部３０の相関演算はＳＡＤ法など各種の手法により行われる。次に、距離初期推定部２５は、基準画像の切り出し画像の各画素に対応する参照画像の対応点検索を行う。そして、互いに対応する基準画像上の画素と、参照画像上の画素との視差を算出する。
Ｓ１０４では、距離初期推定部２５は、画素ごとの視差からヒストグラムを作成する。距離初期推定部２５は、作成したヒストグラムのピークを、被写体距離を示す視差d[pixel]とする。距離初期推定部２５は、キャリブレーションデータ記憶部４に予め記憶された、所定の初期キャリブレーションパラメータに基づいて、視差dを被写体距離L[mm]へ変換する。これらの処理はＳ９４・９５と同様である。また所定の初期キャリブレーションパラメータの内容は任意である。
以下、焦点位置選択部４１は、Lに対応する焦点位置を選択し、初期キャリブレーションデータ選択部２７は、Lに対応して選択された焦点位置をカレント焦点位置とし、図７７のＳ２３〜２４を実行する。
図８６は第２１実施形態に係る初期キャリブレーションデータ選択処理（Ｓ４）の他の詳細なフローチャートである。この処理は図７７、８０、８２、８３、８４または８５の処理の代わりに実行されることができる。
Ｓ１１１では、画像ファイル分析部８は、入力された基準画像の画像データファイル付帯情報を分析し、カメラ機種情報を取得する。例えば、Exifタグのカメラの機種名Modelを撮影モード情報として取得する。
Ｓ１１２では、距離初期推定部２５は、予め輻輳距離ＤＢ２８に記憶されたカメラ機種ごとの輻輳距離のうち、取得されたカメラ機種情報に対応する輻輳距離を取得する。
Ｓ１１３では、距離初期推定部２５は、取得された輻輳距離を被写体距離と推定する。その後、焦点位置選択部４１は、当該被写体距離に対応する焦点位置を選択し、初期キャリブレーションデータ選択部２７は、当該選択された焦点位置をカレント焦点位置とし、初期キャリブレーションデータ選択部２７は、図７７のＳ２３〜２４を実行する。
図８７は第２２実施形態に係る初期キャリブレーションデータ選択処理（Ｓ４）の他の詳細なフローチャートである。この処理は図７７、８０、８２、８３、８４、８５または８６の処理の代わりに実行されることができる。
Ｓ１２１では、距離初期推定部２５は、キャリブレーションデータ記憶部４に予め記憶された、所定の初期キャリブレーションパラメータを取得する。
Ｓ１２２では、距離初期推定部２５は、取得した所定の初期キャリブレーションパラメータに基づいて、カメラの各撮像手段の外部パラメータを取得する。外部パラメータは、ある世界座標系における、カメラの位置座標とカメラの各撮像手段の光軸の方向を記述している。
Ｓ１２３では、距離初期推定部２５は、取得した外部パラメータに基づき、カメラから輻輳点までの距離である輻輳距離を算出する。例えば、上記世界座標系におけるカメラの撮像手段Ａの位置座標と光軸の方向ベクトルと、カメラの撮像手段Ｂの座標で構成される平面を取得する。次に、撮像手段Ｂの方向ベクトルをこの平面に射影する。次に、撮像手段Ａの方向ベクトルと、射影された撮像手段Ｂの方向ベクトルの交点を、輻輳点とする。そして、撮像手段Ａの位置座標と輻輳点との距離を輻輳距離とする。距離初期推定部２５は、算出された輻輳距離を被写体距離と推定する。
その後、焦点位置選択部４１は、当該推定被写体距離に対応する焦点位置を選択し、初期キャリブレーションデータ選択部２７は、当該選択された焦点位置をカレント焦点位置とし、初期キャリブレーションデータ選択部２７は、図７７のＳ２３〜２４を実行する。
図８８は第２３実施形態に係る初期キャリブレーションデータ選択処理（Ｓ４）の他の詳細なフローチャートである。この処理は図７７、８０、８２、８３、８４、８５、８６または８７の処理の代わりに実行されることができる。
Ｓ１３１では、シーン特徴分析部３５は、今回入力された基準画像の特徴を分析する。特徴とは、撮影モードおよび／または被写体人物の有無を含む。撮影モードは上述のように基準画像の付帯情報から取得されてもよい。分析結果はシーン特徴記憶部３７に記憶される。
Ｓ１３２では、シーン特徴分析部３５は、前回画像入力部１から入力された基準画像の特徴の分析結果がシーン特徴記憶部３７に記憶されているか否かを判断する。Ｙｅｓの場合はＳ１３３、Ｎｏの場合はＳ１３６に進む。
Ｓ１３３では、シーン特徴分析部３５は、前回の基準画像の特徴の分析結果をシーン特徴記憶部３７から取得する。
Ｓ１３４では、シーン特徴分析部３５は、前回の基準画像の特徴の分析結果と、Ｓ１３１で得られた今回の基準画像の特徴の分析結果とを比較し、両者が異なるか否かを判断する。Ｙｅｓの場合はＳ１３６、Ｎｏの場合はＳ１３５に進む。
Ｓ１３５では、距離初期推定部２５は、前回の基準画像について推定した被写体距離を、今回の基準画像についての被写体距離と推定する。
Ｓ１３６では、距離初期推定部２５は、前回の基準画像について適用された初期キャリブレーションデータ選択処理（図７７、８０、８２、８３、８４、８５または８６の処理のうちいずれか１つ）とは異なる所望の初期キャリブレーションデータ選択処理を実施し、被写体距離を推定する。どの初期キャリブレーションデータ選択処理を実施するかは、記憶部１０１の記録データで指定されていてもよいし、ユーザインターフェースから任意に指定されてもよい。
Ｓ１３７では、焦点位置選択部４１は、Ｓ１３５またはＳ１３６で推定された被写体距離に対応する焦点位置を焦点位置テーブル４０に基づいて選択する。初期キャリブレーションデータ選択部２７は、Ｓ２３およびＳ２４の処理を実行し、選択された焦点位置に対応する初期キャリブレーションデータを作成する。
Ｓ１３８では、シーン特徴分析部３５は、Ｓ１３１で得られた画像データの特徴をシーン特徴記憶部３７に記憶する。
本処理はＳ１３８で完結する。ただしその後、Ｓ１３９では、測距演算部２９は、選択された初期キャリブレーションデータに従って画素ごとの測距を行う。そして、Ｓ１４０では、作成された初期キャリブレーションデータをキャリブレーションパラメータ記憶部４に記憶し、測距情報をキャリブレーションパラメータ記憶部４に記憶する。
図８９は第２４実施形態に係る初期キャリブレーションデータ選択処理（Ｓ４）の他の詳細なフローチャートである。この処理は図７７、８０、８２、８３、８４、８５、８６または８８の処理の代わりに実行されることができる。
Ｓ１５１では、測距演算パラメータ入力部３９は、測距範囲の最小距離zmin[mm]、測距範囲の最大距離zmin[mm]、相関ウィンドウサイズw[pixel]の入力を受け付ける。これらの情報は予め記憶部１０１に設定されていてもよい。
Ｓ１５２では、距離初期推定部２５は、入力された測距範囲の中央値を被写体距離Lと推定する。すなわち、被写体距離L[mm]=(zmin+zmax)/2である。
以下、焦点位置選択部４１は、Lに対応する焦点位置を選択し、初期キャリブレーションデータ選択部２７は、Lに対応して選択された焦点位置をカレント焦点位置とし、図７７のＳ２３〜２４を実行する。
図９０は第２５実施形態に係るキャリブレーションデータ記憶部４に記憶されるキャリブレーションパラメータの構造を例示する。所定の複数の焦点位置に対応するカメラの撮像手段ごとのキャリブレーションパラメータは、ディストーションパラメータの中心座標、係数、外部パラメータ行列、内部パラメータ行列を含む。カレント焦点位置が、所定の複数の焦点位置の間にある場合は、取得された焦点位置に隣接する所定の２つの焦点位置に対応するキャリブレーションパラメータを内挿したりフィッティングするなどの線形補間でそのカレント焦点位置に対応するキャリブレーションパラメータを算出する。
図９１はキャリブレーションデータ記憶部４に記憶されるキャリブレーションパラメータの他の構造を例示する。
所定の複数の焦点位置に対応するカメラの撮像手段ごとのキャリブレーションパラメータは、ディストーションパラメータの中心座標の関数、係数、外部パラメータ行列、内部パラメータの焦点距離、光軸中心座標を含む。各パラメータの関数は予め定義された焦点位置Lをパラメータとする多項式で近似的に表現するため、その係数だけがキャリブレーションパラメータとして格納されていれば足りる。例えば、焦点距離fx(L)の関係を示す多項式は、
fx(L)=fx2 * L2+ fx1 * L + fx0
で定義される。
図９１において、外部パラメータは、３×４行列で表現される。この行列の要素は、１つの３×３回転行列と、１つの３次元ベクトルであり、要素数は１２である。内部パラメータは５つの要素で表現される。ディストーションパラメータは４つの要素で表現される。各パラメータの各要素は焦点位置を変数とするｎ次多項式関数（例えばｎ＝２）で表現されるため、実際には、キャリブレーションパラメータとして当該多項式関数の各次数に対応する係数と定数項を格納しておけば足りる。
図９２は第２６実施形態に係る基準画像および参照画像を測距装置１００に提供可能なカメラの電気的構成を示す。第１撮像部１０２ａは、レンズ光軸Ｌ１に沿って配列された第１ズームレンズ１１１、第１絞り１１２、第１フォーカスレンズ１１３を含む第１撮像光学系、及び第１撮像素子１１４によって構成されている。図示は省略するが、第１ズームレンズ１１１には第１ズームレンズモータ、第１絞り１１２には第１絞りモータ、第１フォーカスレンズ１１３には第１フォーカスレンズモータが接続されている。また、第１撮像素子１１４にはタイミングジェネレータ（ＴＧ）を含む第１撮像素子制御部１１８が接続されている。各モータ及び第１撮像素子制御部１１８の動作はＣＰＵ１１９によって制御され、モータの実際の駆動開始および終了はＣＰＵ１１９の制御に従って光学系制御１２９が指示する。
光学系制御１２９は、第１ズームレンズモータを制御し、ボタン（操作部）１０９からのズーム操作に応じて、第１ズームレンズ１１１をレンズ光軸Ｌ１に沿って広角側あるいは望遠側に移動させ、ズーム倍率を変化させる。第１絞りモータは、ＡＥ（Auto Exposure）動作時に第１絞り１１２の開口値（絞り値）を変化させて光束を制限し、露出調整を行う。第１フォーカスレンズレンズモータは、ＡＦ（Auto Focus）動作時に第１フォーカスレンズ１１３をレンズ光軸Ｌ１に沿って無限遠側あるいは至近側に移動させ、ＡＦ評価値のピークに対応する焦点位置である合焦位置を探索し、ピント調整を行う。
第１撮像素子１１４は、ＣＣＤやＣＭＯＳなどの固体撮像素子で構成され、第１ズームレンズ１１１、第１絞り１１２、及び第１フォーカスレンズ１１３からなる第１撮像光学系によって結像された被写体光を受光し、受光量に応じた光電荷を蓄積する。第１撮像素子１１４の光電荷蓄積・転送動作は、撮像素子制御部１１８によって制御され、撮像素子制御部１１８から入力されるタイミング信号（クロックパルス）により、電子シャッタ速度（光電荷蓄積時間）が決定される。第１撮像素子１１４は、撮影モード時には、１画面分の画像信号を所定周期ごとに取得し、順次、アナログ信号処理回路１２８ａに入力する。
第２撮像部１０２ｂは、第１撮像部１０２ａと略同等の構成であり、レンズ光軸Ｌ２に沿って配列された第２ズームレンズ１２０、第２絞り１２１、第２フォーカスレンズ１２２を含む第２撮像光学系を含む。また、図示は省略するが、第２撮像部１０２ｂは、第２ズームレンズ１２０に接続された第２ズームレンズモータ、第２絞り１２１に接続された第２絞りモータ、第２フォーカスレンズ１２２に接続された第２フォーカスレンズモータと、それらの駆動を制御する第２光学制御部１３０を含む。また、第２撮像部１０２ｂは、第２撮像素子１２３に接続されたタイミングジェネレータ（ＴＧ）である第２撮像素子制御部１２７を含む。各モータ及び第２撮像素子制御部１２７の動作はＣＰＵ１１９によって制御される。
第２撮像素子１２３は、撮影モード時には、１画面分の画像信号を所定周期ごとに取得し、順次、アナログ信号処理回路１２８ａに入力する。
第１撮像部２ａと第２撮像部２ｂとは、基本的に連動して動作を行うが、各々個別に動作させることも可能となっている。よって、一方で静止画、他方で動画を撮影したり、双方で静止画、あるいは双方で動画を撮影することもできる。
ただし、第２撮像部１０２ｂは、第１撮像部１０２ａよりも簡素化された構成でもよい。例えば、第２撮像素子１２３は、少なくとも輝度信号を出力できる構成であり、例えばモノクロＣＣＤなどで構成されてもよい。あるいは、第２撮像部１０２ｂには、ズーム機能やＡＦ機能がなくてもよい。
ＣＰＵ１１９は、操作部１０９のシャッタボタンが押された時点で（あるいはタイマー１５５が所定の時間経過の計時を完了した時点で）撮像素子制御部１１８・１２７に対し、露光開始信号を撮像素子１１４・１２３に向けて供給させるよう指示する。このときに測光結果により撮影補助光の発光が必要であるとＣＰＵ１１９が判定した場合には、シャッタボタンの押下に同期して、ＬＥＤなどで構成された発光部１５０に撮影補助光を発光させるよう発光制御手段１５１に指示する。なお発光部１５０の発光電源はバッテリ１５２から供給される。
こうして被写界輝度が明るいときには撮影補助光の発光なしに、また被写界輝度が暗いときには撮影補助光が発光され撮影が行なわれたら、ＣＰＵ１１９は、撮像素子制御部１１８・１２７、発生回路１２１に指示を出して所定のシャッタ秒時後に露光終了信号を撮像素子１１４・１２３に向けて供給させ、その露光終了信号に同期して撮像素子１１４・１２３から画像信号を出力させる。
第１及び第２撮像素子１１４，１２３から出力された撮像信号は、それぞれアナログ信号処理１２８ａ、ｂ（まとめて撮像回路１２８と表記）に含まれる相関二重サンプリング回路（ＣＤＳ）に入力される。ＣＤＳは、第１及び第２撮像素子１１４・１２３の各受光素子の蓄積電荷量に正確に対応したＲ，Ｇ，Ｂの画像データを、増幅器（ＡＭＰ）に入力し増幅する。増幅された第１及び第２撮像素子１１４，１２３からの撮像信号は、それぞれＡ／Ｄ変換器１２９ａまたは１２９ｂ（まとめて撮像回路１２９と表記）に入力される。Ａ／Ｄ変換器１２９は、入力された画像データをアナログからデジタルに変換する。撮像回路１２８に含まれるＣＤＳ・ＡＭＰと、Ａ／Ｄ変換器１２９を通して、第１撮像素子１１４の撮像信号は第１画像データ（基準画像）として、第２撮像素子１２３の撮像信号は第２画像データ（参照画像）として出力される。
デジタル信号処理回路１３１は、階調変換、ホワイトバランス補正、γ補正処理などの各種画像処理をＡ／Ｄ変換器１２９から入力された第１及び第２画像データに施す。メモリ１３２は、デジタル信号処理回路１３１で各種画像処理が施された第１及び第２画像データを一時的に格納する。
ＡＦ／ＡＥ制御部１３３は、メモリ１３２に格納された第１及び第２画像データの各々からＡＦ評価値及びＡＥ評価値を算出する。ＡＦ評価値は、各画像データに設定された所定のＡＦ領域（例えば画像の中央部や画像の全領域など）について輝度値の高周波成分を積算することにより算出され、画像の鮮鋭度を表す。輝度値の高周波成分とは、隣接する画素間の輝度差（コントラスト）を所定領域内について足し合わせたものである。また、ＡＥ評価値は、各画像データに設定された所定のＡＥ領域（例えば画像の中央部や画像の全領域など。ＡＦ領域と同一でもよい）について輝度値を積算することにより算出され、画像の明るさを表す。ＡＦ評価値及びＡＥ評価値は、上述のＡＦ動作（自動焦点制御）及びＡＥ動作（自動露出制御）においてそれぞれ使用される。
２Ｄ／３Ｄ表示制御部１３４は、操作部９からパノラマ撮影モードが選択された場合、メモリ１３２に格納されている第１及び第２画像データの重なる領域を繋ぐような関連付けおよび合成を行う。２Ｄ／３Ｄ表示制御部１４０の合成した画像をパノラマ画像という。２Ｄ／３Ｄ表示制御部１４０は、パノラマ画像をメモリ１３２に記憶し、このパノラマ画像データが、２Ｄ／３Ｄ表示制御部１３４を介してＬＣＤ１１０にスルー画として表示される。
２Ｄ／３Ｄ表示制御部１３４は、操作部９から立体撮影モードが選択された場合、メモリ１３２に格納されている第１及び第２画像データを、表示部１１０が立体表示を行うための３Ｄ画像（立体画像データ）に変換する。その方法はＳ９に示したとおりである。撮影モード時に表示部１１０が電子ビューファインダとして使用される際には、２Ｄ／３Ｄ表示制御部１３４によって合成された立体画像データが、表示部１０にスルー画として表示される。
２Ｄ／３Ｄ表示制御部１３４は、操作部９から２枚同時撮影モードが選択された場合、第１及び第２画像データをそれぞれ独立した個別画像データに構成し、個別画像データは、図示しないＯＳＤ信号発生回路から供給された区切り枠の映像などで区別された上、表示部１１０にスルー画として表示される。
カードＩ／Ｏ部１３６は、操作部１０９から撮影指示が入力されたことに応じてメモリ１３２に記憶された第１及び第２画像データ（パノラマ画像データ、立体画像データ、個別画像データ）に対して、ＪＰＥＧやＭＰＥＧ方式等の圧縮形式により圧縮処理を施す。カードＩ／Ｏ部１３６は、デジタル信号処理回路１３１によって圧縮処理された画像データをメモリカード等の記録媒体１３８に記録させる。なお、異なる光学系に対応した画像データを１つの画像ファイル内に記録してもよいし、２つ以上の独立した画像ファイルとしてもよい。
ただし、２つの独立した画像ファイルの付帯情報（ヘッダ情報、タグ情報その他）には、画像データを撮影した第１撮像部２ａの識別情報（例えば「１」）または第２撮像部２ｂの識別情報（例えば「２」）と撮影日時情報と撮影時に選択されていた撮影モードが記録され、撮影日時情報の同一性によって同時に撮影された２枚の画像の関連づけを行う。
また、ＣＰＵ１１９は、カードＩ／Ｏ部１３６を介して、撮影モード、被写体距離、被写体位置情報、撮影時のフォーカスレンズ１１３・１２２の位置に対応する駆動パルス数の位置（カメラ起動時または駆動範囲の端までフォーカスレンズ１１３・１２２が駆動された時からの駆動パルス設定値の積算値）と、パルス履歴、カメラ機種、ＡＦ領域の位置情報を画像ファイルの付帯情報に書き込む。
このようにして記録媒体１３８に記録された画像データを表示部１１０に再生表示する場合、記録媒体１３８の各画像データは、カードＩ／Ｏ部１３６によって読み出され、デジタル信号処理回路１３１によって伸張処理が行われる。
読み出された画像データに対応する付帯情報の撮影モードが、パノラマ撮影モードの場合、画像データは、２Ｄ／３Ｄ表示制御部１４０によって重複領域が重畳された平面のパノラマ画像に変換された後、表示部１１０に再生画像として表示される。
読み出された画像データに対応する付帯情報の撮影モードが、立体撮影モードの場合、画像データは、２Ｄ／３Ｄ表示制御部１４０によって立体画像データに変換された後、表示部１１０に３Ｄ再生画像として表示される。立体画像データへの変換方法はＳ９に示したとおりである。
読み出された画像データに対応する付帯情報の撮影モードが、２枚同時撮影モードの場合、同一の撮影日時情報がヘッダ情報に記録された２枚の画像ファイルの画像データの各々を、表示部１１０の同一画面に、撮像光学系の識別情報に対応した位置（２眼の撮像系では左側または右側）に配置した再生画像として表示される。
表示部１１０の詳細な構造は図示しないが、表示部１１０は、その表面にパララックスバリア表示層を備えている。表示部１１０は、立体表示を行う際に、パララックスバリア表示層に光透過部と光遮蔽部とが交互に所定のピッチで並んだパターンからなるパララックスバリアを発生させるとともに、その下層の画像表示面に左右の像を示す短冊状の画像断片を交互に配列して表示することで擬似的な立体視を可能にする。なお、第１撮像部１０２ａおよび第２撮像部１０２ｂから得られた平面画像を短冊状の画像断片に再構成してこれらを交互に配列せず、第１撮像部１０２ａまたは第２撮像部１０２ｂの一方から得られた右あるいは左の像のみを短冊状の画像断片に再構成してこれらを交互に配列すれば、観者の右目も左目も同一の平面画像を視覚することになる。
ＣＰＵ１１９は、全体の動作を統括的に制御する。ＣＰＵ１１９には、前述の操作部１０９のほか、ＥＥＰＲＯＭなどの不揮発性メモリで構成された内蔵メモリ１３９が接続されている。内蔵メモリ１３９は、各種制御用のプログラムや設定情報などを格納している。ＣＰＵ１１９は、このプログラムや設定情報に基づいて各種処理を実行する。
操作部１０９のシャッタボタンは２段押しのスイッチ構造となっている。撮影モード中に、シャッタボタンが軽く押圧（半押し）されると、ＣＰＵ１１９はＡＦ動作及びＡＥ動作を開始し撮影準備処理がなされる。この状態でさらにシャッタボタンが強く押圧（全押し）されると、ＣＰＵ１１９は撮影処理を開始し、１画面分の第１及び第２画像データがメモリ１３２から記録媒体１３８に転送されて記録される。
ＡＦ動作は、ＣＰＵ１１９が光学系制御部１２９レンズモータを制御して第１及び第２フォーカスレンズ１１３，１２２をそれぞれ所定方向に移動させながら、順次に得られる第１及び第２画像データの各々からＡＦ／ＡＥ制御部１３３が算出したＡＦ評価値の最大値を求めることによりなされる。ＡＥ動作は、ＡＦ動作が完了した後、ＡＦ／ＡＥ制御部１３３が算出したＡＥ評価値に基づいて、ＣＰＵ１１９がアイリスモータ１８，２７及び撮像素子制御部１１８，２７を制御し、第１及び第２絞り１２，２１の開口値（絞り値）、及び第１及び第２撮像素子１１４，１２３の電子シャッタ速度を内蔵メモリ１３９（ＥＥＰＲＯＭなどで構成）に予め格納されたプログラム線図に従って設定することによりなされる。
測距装置１００は、第１５〜２５実施形態の測距装置１００と同様の構成をとりうる。測距装置１００は、デジタル信号処理回路１３１から出力された、あるいはメモリ１３２に記憶された第１および第２画像データを基準画像および参照画像として入力する。第１および第２画像データのうちいずれを基準画像とするか、換言すると第１撮像部１０２ａおよび第２撮像部１０２ｂのうちいずれを基準撮像手段とするかは任意であるが、いずれにせよ、内蔵メモリ１３９には、基準画像の取得元となる基準撮像手段が第１撮像部１０２ａおよび第２撮像部１０２ｂのうちいずれであるかを指定する情報が記録されており、測距装置１００は、その情報に従って基準画像と参照画像を区別する。
測距装置１００は、第１撮像部１０２ａおよび第２撮像部１０２ｂによる少なくとも１度の撮影で得られた基準画像および参照画像により、初期キャリブレーションパラメータを選択し、ステレオマッチング、視差算出、各画素に対応する被写体上の点までの距離を計測することができる。また測距装置１００は、２度以降の撮影で得られた基準画像および参照画像により、キャリブレーションパラメータの再選択・更新をすることができる。２Ｄ／３Ｄ表示制御部１３４は、測距装置１００がキャリブレーションパラメータに従って得た３次元情報に従い、被写体の立体形状を表す距離画像を生成して、記録媒体１３８に記録したり、表示部１１０に出力したりすることができる。
以上、本発明を実施形態１〜２６に分けて説明したが、これらの実施形態のどのような組み合わせにより本発明を実施してもよいことは、言うまでもない。
また、本発明は、本明細書において説明した例や図面に図示された例には限定されず、本発明の要旨を逸脱しない範囲において、各種の設計変更や改良を行ってよいのはもちろんである。
１１…画像入力部、１２…メモリ、１３…指定番号決定部、１４…キャリブレーションデータ取得部、１５…キャリブレート部、１６…視差演算部、１７…距離演算部、１８…相関度演算部、１９、３８…相関度比較部、２０…距離比較部、２１、３９…縦ずれ量演算部、２２…縦ずれ量比較部、２３…視差演算画素数演算部、２４、４０…視差演算画素数比較部、２５、４１…局所ノイズ画素数演算部、２６…局所ノイズ画素数比較部、２７…代表距離決定部、２８…｜指定距離−代表距離｜演算部、２９…｜指定距離−代表距離｜比較部、３０…代表視差決定部、３１…指定視差演算部、３２…｜指定視差−代表視差｜演算部、３３…｜指定視差−代表視差｜比較部、３４…指定距離決定部、３５，３７…｜指定視差−代表視差｜比較部、３６…閾値決定部、５１…視差ヒストグラム作成部、５２…最頻値検出部、５３…視差選択部、５４…フィルタ、５５…注目領域決定部、５６…重み決定部

Claims (71)

  1. 複数の撮像デバイスにより異なる視点から被写体を撮像して得られた複数の視点画像を入力する画像入力部と、
    複数の注目距離の各々に注目し、前記視点画像の二次元座標と実空間の３次元座標とを整合するための複数のキャリブレーションデータのうちから前記各注目距離に対応するキャリブレーションデータを取得するキャリブレーションデータ取得部と、
    前記各注目距離ごとに、前記各キャリブレーションデータに基づいて前記複数の視点画像を補正する画像補正部と、
    前記各注目距離ごとに、補正後の前記複数の視点画像間で視差を算出する視差演算部と、
    注目した前記複数の注目距離にわたって補正後の前記視点画像を比較することで、前記複数のキャリブレーションデータのうちから最適キャリブレーションデータを特定する比較部と、
    前記視差に基づいて被写体距離を算出する距離演算部と、
    前記最適キャリブレーションデータで補正後の前記視点画像間の前記視差から算出された被写体距離を、測距結果として出力する出力部と、
    を備える測距装置。
  2. 前記各注目距離ごとに、補正後の前記複数の視点画像間における輝度および色のうち少なくとも一方の相関度を算出する相関度演算部を備え、
    前記比較部は、注目した複数の前記注目距離にわたって前記相関度を比較し、前記相関度が最大となるキャリブレーションデータを前記最適キャリブレーションデータとして特定する、請求項１に記載の測距装置。
  3. 前記各注目距離ごとに、補正後の前記複数の視点画像間における対応画素間の縦ずれ量を算出する縦ずれ量演算部を備え、
    前記比較部は、注目した複数の前記注目距離にわたって前記縦ずれ量を比較し、前記縦ずれ量が最小となるキャリブレーションデータを前記最適キャリブレーションデータと特定する、請求項１に記載の測距装置。
  4. 前記各注目距離ごとに、補正後の前記複数の視点画像間で視差演算できた視差演算画素数を算出する視差演算画素数算出部を備え、
    前記比較部は、注目した複数の前記注目距離にわたって前記視差演算画素数を比較し、前記視差演算画素数が最大となるキャリブレーションデータを前記最適キャリブレーションデータと特定する、請求項１に記載の測距装置。
  5. 前記各注目距離ごとに、補正後の前記複数の視点画像の視差分布で局所的に存在する局所ノイズ画素数を算出する局所ノイズ画素数演算部を備え、
    前記比較部は、注目した複数の前記注目距離にわたって前記局所ノイズ画素数を比較し、前記局所ノイズ画素数が最小となるキャリブレーションデータを前記最適キャリブレーションデータと特定する、請求項１に記載の測距装置。
  6. 複数の撮像デバイスにより異なる視点から被写体を撮像して得られた複数の視点画像を入力する画像入力部と、
    複数の注目距離の各々に注目し、前記視点画像の二次元座標と実空間の３次元座標とを整合するための複数のキャリブレーションデータのうちから前記各注目距離に対応するキャリブレーションデータを取得するキャリブレーションデータ取得部と、
    前記各注目距離ごとに、前記各キャリブレーションデータに基づいて複数の前記視点画像を補正する画像補正部と、
    前記各注目距離ごとに、補正後の複数の前記視点画像間で視差を算出する視差演算部と、
    前記各注目距離ごとに、前記視差に基づいて被写体距離を算出する距離演算部と、
    注目した複数の前記注目距離にわたって前記被写体距離と前記注目距離との差分を比較することで、前記複数のキャリブレーションデータのうちから最適キャリブレーションデータを特定する比較部と、
    前記最適キャリブレーションデータで補正後の前記視点画像の前記視差から算出された前記被写体距離を、測距結果として出力する出力部と、
    を備える測距装置。
  7. 複数の撮像デバイスにより異なる視点から被写体を撮像して得られた複数の視点画像を入力する画像入力部と、
    複数の注目距離の各々に注目し、前記視点画像の二次元座標と実空間の３次元座標とを整合するための複数のキャリブレーションデータのうちから各注目距離に対応するキャリブレーションデータを取得するキャリブレーションデータ取得部と、
    前記各注目距離ごとに、前記注目距離に基づいて第１の視差を算出する第１の視差演算部と、
    前記各注目距離ごとに、前記各キャリブレーションデータに基づいて複数の前記視点画像を補正する画像補正部と、
    前記各注目距離ごとに、補正後の複数の前記視点画像間で第２の視差を算出する第２の視差演算部と、
    注目した複数の前記注目距離にわたって前記第１の視差と前記第２の視差との差分を比較することで、前記複数のキャリブレーションデータのうちから最適キャリブレーションデータを特定する比較部と、
    前記最適キャリブレーションデータで補正後の前記視点画像の前記第２の視差に基づいて、被写体距離を算出する距離演算部と、
    算出された前記被写体距離を測距結果として出力する出力部と、
    を備える測距装置。
  8. 複数の撮像デバイスにより異なる視点から被写体を撮像して得られた複数の視点画像を入力する画像入力部と、
    複数の注目距離の各々に注目し、前記視点画像の二次元座標と実空間の３次元座標とを整合するための複数のキャリブレーションデータのうちから前記各注目距離に対応するキャリブレーションデータを取得するキャリブレーションデータ取得部と、
    前記各注目距離ごとに、前記各キャリブレーションデータに基づいて複数の前記視点画像を補正する画像補正部と、
    前記各注目距離ごとに、補正後の複数の前記視点画像間で視差を算出する視差演算部と、
    前記各注目距離ごとに、前記視差に基づいて被写体距離を算出する距離演算部と、
    前記各注目距離ごとに、前記被写体距離と前記注目距離との差分を算出する距離差分演算部と、
    複数の前記注目距離のうちで最初の注目距離を決定するとともに、算出された前記被写体距離を次の注目距離と決定することで前記注目距離を切り換える注目距離決定部と、
    前記注目距離の切り換えの前後の前記差分を比較することで、複数の算出された前記被写体距離のうちから測距結果を選択する比較部と、
    前記測距結果を出力する出力部と、
    を備える測距装置。
  9. 複数の撮像デバイスにより異なる視点から被写体を撮像して得られた複数の視点画像を入力する画像入力部と、
    複数の注目距離の各々に注目し、前記視点画像の二次元座標と実空間の３次元座標とを整合するための複数のキャリブレーションデータのうちから前記各注目距離に対応するキャリブレーションデータを取得するキャリブレーションデータ取得部と、
    前記各注目距離ごとに、前記各キャリブレーションデータに基づいて複数の前記視点画像を補正する画像補正部と、
    前記各注目距離ごとに、補正後の複数の前記視点画像間で視差を算出する視差演算部と、
    前記各注目距離ごとに、前記視差に基づいて被写体距離を算出する距離演算部と、
    複数の前記注目距離のうちで最初の注目距離を決定するとともに、算出された前記被写体距離を次の注目距離と決定することで前記注目距離を切り換える注目距離決定部と、
    前記各注目距離ごとに、前記被写体距離と前記注目距離との差分を算出する距離差分演算部と、
    前記差分と閾値とを比較する比較部と、
    前記差分が前記閾値よりも小さい場合、算出された前記被写体距離を測距結果として出力する出力部と、
    を備える測距装置。
  10. 複数の前記注目距離のうちで最初の注目距離を決定するとともに、算出された前記被写体距離を次の注目距離と決定することで前記注目距離を切り換える注目距離決定部と、
    前記各注目距離ごとに、補正後の前記複数の視点画像間における輝度または色のうち少なくとも一方の相関度を算出する相関度演算部とを備え、
    前記比較部は、前記注目距離の切り換えごとに前記相関度を比較し、前記注目距離の切り換え前に算出された前記相関度よりも前記注目距離の切り換え後に算出された前記相関度が小さい場合、前記注目距離の切り換え前に算出された前記被写体距離を測距結果として採用する、請求項１に記載の測距装置。
  11. 複数の前記注目距離のうちで最初の注目距離を決定するとともに、算出された前記被写体距離を次の注目距離と決定することで前記注目距離を切り換える注目距離決定部と、
    前記各注目距離ごとに、補正後の前記複数の視点画像間における対応画素間の縦ずれ量を算出する縦ずれ量演算部とを備え、
    前記比較部は、前記注目距離の切り換えごとに前記縦ずれ量を比較し、前記注目距離の切り換え前に算出された前記縦ずれ量よりも前記注目距離の切り換え後に算出された前記縦ずれ量が大きい場合、前記注目距離の切り換え前に算出された前記被写体距離を測距結果として採用する、請求項１に記載の測距装置。
  12. 複数の前記注目距離のうちで最初の注目距離を決定するとともに、算出された前記被写体距離を次の注目距離と決定することで前記注目距離を切り換える注目距離決定部と、
    前記各注目距離ごとに、補正後の前記複数の視点画像間で視差演算できた視差演算画素数を算出する視差演算画素数算出部とを備え、
    前記比較部は、前記注目距離の切り換えごとに前記視差演算画素数を比較し、前記注目距離の切り換え前に算出された前記視差演算画素数よりも前記注目距離の切り換え後に算出された前記視差演算画素数が小さい場合、前記注目距離の切り換え前に算出された前記被写体距離を測距結果として採用する、請求項１に記載の測距装置。
  13. 複数の前記注目距離のうちで最初の注目距離を決定するとともに、算出された前記被写体距離を次の注目距離と決定することで前記注目距離を切り換える注目距離決定部と、
    前記各注目距離ごとに、補正後の前記複数の視点画像の視差分布で局所的に存在する局所ノイズ画素数を算出する局所ノイズ画素数演算部とを備え、
    前記比較部は、前記注目距離の切り換えごとに前記局所ノイズ画素数を比較し、前記注目距離の切り換え前に算出された前記局所ノイズ画素数よりも前記注目距離の切り換え後に算出された前記局所ノイズ画素数が大きい場合、前記注目距離の切り換え前に算出された前記被写体距離を測距結果として採用する、請求項１に記載の測距装置。
  14. 前記視点画像間の視差と頻度との関係を示すヒストグラムを作成し、前記ヒストグラムにおける前記頻度に基づいて代表視差を決定する代表視差決定部を備え、
    前記距離演算部は、前記代表視差に基づいて前記被写体距離を算出する、請求項１から１３のうちいずれか１項に記載の測距装置。
  15. 前記代表視差決定部は、前記ヒストグラムから最頻値を検出し、該最頻値を前記代表視差と決定する、請求項１４に記載の測距装置。
  16. 前記視点画像の各画素の距離と頻度との関係を示すヒストグラムを作成し、前記ヒストグラムにおける前記頻度に基づいて代表距離を決定する代表距離決定部を備え、
    前記距離演算部は、前記各画素の距離を算出し、
    前記出力部は、前記代表距離を測距結果として出力する、請求項１から１３のうちいずれか１項に記載の測距装置。
  17. 前記ヒストグラムから最頻値を検出し、該最頻値を前記代表距離と決定する、請求項１６に記載の測距装置。
  18. 前記ヒストグラムにて前記頻度の高低を判別し、前記ヒストグラムから局所的に存在する画素の成分を除外する、請求項１４から１７のうちいずれか１項に記載の測距装置。
  19. 前記頻度を算出する注目領域を決定する注目領域決定部を備え、
    前記注目領域に限定して前記頻度を算出し前記ヒストグラムを作成する、請求項１４から１８のうちいずれか１項に記載の測距装置。
  20. 前記注目領域決定部は、前記視点画像の撮影時に露出制御または合焦制御にて用いられた演算領域を、前記注目領域と決定する、請求項１９に記載の測距装置。
  21. 前記注目領域決定部は、前記視点画像をアレイ状の複数の分割領域に分割し、前記各分割領域ごとに周波数解析を行って、高周波成分を有する分割領域を、前記注目領域と決定する、請求項１９に記載の測距装置。
  22. 前記注目領域決定部は、前記視点画像から特定対象を抽出した特定対象抽出領域を、前記注目領域と決定する、請求項１９から２１のうちいずれか１項に記載の測距装置。
  23. 前記視点画像における各画素の位置に基づいて、前記頻度に対する重みを決定する重み決定部を備え、
    前記重みに基づく重み付けを行って前記ヒストグラムを作成する、請求項１４から２２のうちいずれか１項に記載の測距装置。
  24. 複数の撮像デバイスにより異なる視点から被写体を撮像して得られた複数の視点画像を入力する画像入力ステップと、
    複数の注目距離の各々に注目し、前記視点画像の二次元座標と実空間の３次元座標とを整合するための複数のキャリブレーションデータのうちから前記各注目距離に対応するキャリブレーションデータを取得するキャリブレーションデータ取得ステップと、
    前記各注目距離ごとに、前記各キャリブレーションデータに基づいて前記複数の視点画像を補正する画像補正ステップと、
    前記各注目距離ごとに、補正後の前記複数の視点画像間で視差を算出する視差演算ステップと、
    注目した前記複数の注目距離にわたって補正後の前記視点画像を比較することで、前記複数のキャリブレーションデータのうちから最適キャリブレーションデータを特定する比較ステップと、
    前記視差に基づいて被写体距離を算出する距離演算ステップと、
    前記最適キャリブレーションデータで補正後の前記視点画像間の前記視差から算出された被写体距離を、測距結果として出力する出力ステップと、
    を備える測距方法。
  25. 前記各注目距離ごとに、補正後の前記複数の視点画像間における輝度および色のうち少なくとも一方の相関度を算出するステップを備え、
    注目した複数の前記注目距離にわたって前記相関度を比較し、前記相関度が最大となるキャリブレーションデータを前記最適キャリブレーションデータとして特定する、請求項２４に記載の測距方法。
  26. 前記各注目距離ごとに、補正後の前記複数の視点画像間における対応画素間の縦ずれ量を算出するステップを備え、
    注目した複数の前記注目距離にわたって前記縦ずれ量を比較し、前記縦ずれ量が最小となるキャリブレーションデータを前記最適キャリブレーションデータと特定する、請求項２４に記載の測距方法。
  27. 前記各注目距離ごとに、補正後の前記複数の視点画像間で視差演算できた視差演算画素数を算出するステップを備え、
    注目した複数の前記注目距離にわたって前記視差演算画素数を比較し、前記視差演算画素数が最大となるキャリブレーションデータを前記最適キャリブレーションデータと特定する、請求項２４に記載の測距方法。
  28. 前記各注目距離ごとに、補正後の前記複数の視点画像の視差分布で局所的に存在する局所ノイズ画素数を算出するステップを備え、
    注目した複数の前記注目距離にわたって前記局所ノイズ画素数を比較し、前記局所ノイズ画素数が最小となるキャリブレーションデータを前記最適キャリブレーションデータと特定する、請求項２４に記載の測距方法。
  29. 複数の撮像デバイスにより異なる視点から被写体を撮像して得られた複数の視点画像を入力する画像入力ステップと、
    複数の注目距離の各々に注目し、前記視点画像の二次元座標と実空間の３次元座標とを整合するための複数のキャリブレーションデータのうちから前記各注目距離に対応するキャリブレーションデータを取得するキャリブレーションデータ取得ステップと、
    前記各注目距離ごとに、前記各キャリブレーションデータに基づいて複数の前記視点画像を補正する画像補正ステップと、
    前記各注目距離ごとに、補正後の複数の前記視点画像間で視差を算出する視差演算ステップと、
    前記各注目距離ごとに、前記視差に基づいて被写体距離を算出する距離演算ステップと、
    注目した複数の前記注目距離にわたって前記被写体距離と前記注目距離との差分を比較することで、前記複数のキャリブレーションデータのうちから最適キャリブレーションデータを特定する比較ステップと、
    前記最適キャリブレーションデータで補正後の前記視点画像の前記視差から算出された前記被写体距離を、測距結果として出力する出力ステップと、
    を備える測距方法。
  30. 複数の撮像デバイスにより異なる視点から被写体を撮像して得られた複数の視点画像を入力する画像入力ステップと、
    複数の注目距離の各々に注目し、前記視点画像の二次元座標と実空間の３次元座標とを整合するための複数のキャリブレーションデータのうちから各注目距離に対応するキャリブレーションデータを取得するキャリブレーションデータ取得ステップと、
    前記各注目距離ごとに、前記注目距離に基づいて第１の視差を算出する第１の視差演算ステップと、
    前記各注目距離ごとに、前記各キャリブレーションデータに基づいて複数の前記視点画像を補正する画像補正ステップと、
    前記各注目距離ごとに、補正後の複数の前記視点画像間で第２の視差を算出する第２の視差演算ステップと、
    注目した複数の前記注目距離にわたって前記第１の視差と前記第２の視差との差分を比較することで、前記複数のキャリブレーションデータのうちから最適キャリブレーションデータを特定する比較ステップと、
    前記最適キャリブレーションデータで補正後の前記視点画像の前記第２の視差に基づいて、被写体距離を算出する距離演算ステップと、
    算出された前記被写体距離を測距結果として出力する出力ステップと、
    を備える測距方法。
  31. 前記注目距離を第１の変更幅よりも大きな第２の変更幅で変更しながら第１の測距を行って第１の被写体距離を取得し、前記注目距離を前記第１の被写体距離の付近で前記第１の変更幅で変更しながら第２の測距を行って第２の被写体距離を取得し、前記第２の被写体距離を測距結果として出力する、請求項２４から３０のうちいずれか１項に記載の測距方法。
  32. 前記第１の測距と前記第２の測距とで、最適なキャリブレーションデータの判断基準が異なる、請求項３１に記載の測距方法。
  33. 複数の撮像デバイスにより異なる視点から被写体を撮像して得られた複数の視点画像を入力する画像入力ステップと、
    複数の注目距離の各々に注目し、前記視点画像の二次元座標と実空間の３次元座標とを整合するための複数のキャリブレーションデータのうちから前記各注目距離に対応するキャリブレーションデータを取得するキャリブレーションデータ取得ステップと、
    複数の前記注目距離のうちで最初の注目距離を決定するステップと、
    前記各注目距離ごとに、前記各キャリブレーションデータに基づいて複数の前記視点画像を補正する画像補正ステップと、
    前記各注目距離ごとに、補正後の複数の前記視点画像間で視差を算出する視差演算ステップと、
    前記各注目距離ごとに、前記視差に基づいて被写体距離を算出する距離演算ステップと、
    算出された前記被写体距離を次の注目距離と決定することで前記注目距離を切り換えるステップと、
    前記各注目距離ごとに前記被写体距離と前記注目距離との差分を算出し、前記注目距離の切り換えの前後の前記差分を比較することで、複数の算出された前記被写体距離のうちから測距結果を選択する比較ステップと、
    前記測距結果を出力する出力ステップと、
    を備える測距方法。
  34. 複数の撮像デバイスにより異なる視点から被写体を撮像して得られた複数の視点画像を入力する画像入力ステップと、
    複数の注目距離のうちで最初の注目距離を決定するステップと、
    複数の前記注目距離の各々に注目し、前記視点画像の二次元座標と実空間の３次元座標とを整合するための複数のキャリブレーションデータのうちから前記各注目距離に対応するキャリブレーションデータを取得するキャリブレーションデータ取得ステップと、
    前記各注目距離ごとに、前記各キャリブレーションデータに基づいて複数の前記視点画像を補正する画像補正ステップと、
    前記各注目距離ごとに、補正後の複数の前記視点画像間で視差を算出する視差演算ステップと、
    前記各注目距離ごとに、前記視差に基づいて被写体距離を算出する距離演算ステップと、
    算出された前記被写体距離を次の注目距離と決定することで前記注目距離を切り換えるステップと、
    前記各注目距離ごとに、前記被写体距離と前記注目距離との差分を算出し、前記差分と閾値とを比較する比較ステップと、
    前記差分が前記閾値よりも小さい場合、算出された前記被写体距離を測距結果として出力する出力ステップと、
    を備える測距方法。
  35. 複数の前記注目距離のうちで最初の注目距離を決定するステップと、
    前記各注目距離ごとに、補正後の前記複数の視点画像間における輝度または色のうち少なくとも一方の相関度を算出するステップと、
    算出された前記被写体距離を次の注目距離と決定することで前記注目距離を切り換えるステップとを備え、
    前記注目距離の切り換えごとに前記相関度を比較し、前記注目距離の切り換え前に算出された前記相関度よりも前記注目距離の切り換え後に算出された前記相関度が小さい場合、前記注目距離の切り換え前に算出された前記被写体距離を測距結果として採用する、請求項２４に記載の測距方法。
  36. 複数の前記注目距離のうちで最初の注目距離を決定するステップと、
    前記各注目距離ごとに、補正後の前記複数の視点画像間における対応画素間の縦ずれ量を算出するステップと、
    算出された前記被写体距離を次の注目距離と決定することで前記注目距離を切り換えるステップとを備え、
    前記注目距離の切り換えごとに前記縦ずれ量を比較し、前記注目距離の切り換え前に算出された前記縦ずれ量よりも前記注目距離の切り換え後に算出された前記縦ずれ量が大きい場合、前記注目距離の切り換え前に算出された前記被写体距離を測距結果として採用する、請求項２４に記載の測距方法。
  37. 複数の前記注目距離のうちで最初の注目距離を決定するステップと、
    前記各注目距離ごとに、補正後の前記複数の視点画像間で視差演算できた視差演算画素数を算出するステップと、
    算出された前記被写体距離を次の注目距離と決定することで前記注目距離を切り換えるステップとを備え、
    前記注目距離の切り換えごとに前記視差演算画素数を比較し、前記注目距離の切り換え前に算出された前記視差演算画素数よりも前記注目距離の切り換え後に算出された前記視差演算画素数が大きい場合、前記注目距離の切り換え前に算出された前記被写体距離を測距結果として採用する、請求項２４に記載の測距方法。
  38. 複数の前記注目距離のうちで最初の注目距離を決定するステップと、
    前記各注目距離ごとに、補正後の前記複数の視点画像の視差分布で局所的に存在する局所ノイズ画素数を算出するステップと、
    算出された前記被写体距離を次の注目距離と決定することで前記注目距離を切り換えるステップとを備え、
    前記注目距離の切り換えごとに前記局所ノイズ画素数を比較し、前記注目距離の切り換え前に算出された前記局所ノイズ画素数よりも前記注目距離の切り換え後に算出された前記局所ノイズ画素数が大きい場合、前記注目距離の切り換え前に算出された前記被写体距離を測距結果として採用する、請求項２４に記載の測距方法。
  39. 前記最初の注目距離を決定して初期の前記被写体距離を取得する第１の測距と、前記第１の測距で得られた前記被写体距離を次の前記注目距離と決定して測距結果としての前記被写体距離を取得する第２の測距とで、最適なキャリブレーションデータの判断基準が異なる、請求項３３から３８のうちいずれか１項に記載の測距方法。
  40. 前記視点画像間の視差と頻度との関係を示すヒストグラムを作成し、前記ヒストグラムにおける前記頻度に基づいて代表視差を決定し、前記代表視差に基づいて前記被写体距離を算出する、請求項２４から３９のうちいずれか１項に記載の測距方法。
  41. 前記ヒストグラムから最頻値を検出し、該最頻値を前記代表視差と決定する、請求項４０に記載の測距方法。
  42. 前記視点画像の各画素の距離と頻度との関係を示すヒストグラムを作成し、前記ヒストグラムにおける前記頻度に基づいて代表距離を決定し、前記代表距離を測距結果として出力する、請求項２４から３９のうちいずれか１項に記載の測距方法。
  43. 前記ヒストグラムから最頻値を検出し、該最頻値を前記代表距離と決定する、請求項４２に記載の測距方法。
  44. 前記ヒストグラムにて前記頻度の高低を判別し、前記ヒストグラムから局所的に存在する画素の成分を除外する、請求項４０から４３のうちいずれか１項に記載の測距方法。
  45. 前記頻度を算出する注目領域を決定し、前記注目領域に限定して前記頻度を算出し前記ヒストグラムを作成する、請求項４０から４４のうちいずれか１項に記載の測距方法。
  46. 前記視点画像の撮影時に露出制御または合焦制御にて用いられた演算領域を、前記注目領域と決定する、請求項４５に記載の測距方法。
  47. 前記視点画像をアレイ状の複数の分割領域に分割し、前記各分割領域ごとに周波数解析を行って、高周波成分を有する分割領域を、前記注目領域と決定する、請求項４５に記載の測距方法。
  48. 前記視点画像から特定対象を抽出した特定対象抽出領域を、前記注目領域と決定する、請求項４５から４７のうちいずれか１項に記載の測距方法。
  49. 前記視点画像における各画素の位置に基づいて、前記頻度に対する重みを決定し、前記重みに基づく重み付けを行って前記ヒストグラムを作成する、請求項４０から４８のうちいずれか１項に記載の測距方法。
  50. 異なる視点から同一の被写体を焦点調節が可能な撮像装置により撮像した複数の視点画像を入力する画像入力部と、
    前記撮像装置における、焦点位置に対応したキャリブレーションパラメータを記憶するキャリブレーションパラメータ記憶部と、
    前記視点画像または前記視点画像の付帯情報に含まれる撮影モード情報を取得し、予め格納された撮影モード情報と撮影距離との関係に基づいて前記撮像装置から前記被写体までの距離である被写体距離を推定する距離推定部と、
    前記距離推定部で推定した被写体距離に基づいて、焦点位置を選択する焦点位置選択部と、
    前記焦点位置選択部で選択された前記焦点位置に基づいて、前記キャリブレーションパラメータ記憶部に記憶されたキャリブレーションパラメータの中から、前記被写体の初期の測距演算に用いる初期キャリブレーションデータを設定する初期キャリブレーションデータ設定部と、
    前記初期キャリブレーションデータ設定部の設定した初期キャリブレーションデータと前記複数の視点画像間の視差とに基づいて被写体距離を演算する測距演算部と、
    を備える測距装置。
  51. 前記測距演算部の演算した距離を評価し、測距演算の成功または失敗を判定する判定部と、
    前記判定部の判定結果に応じて、前記キャリブレーションパラメータ記憶部に記憶されたキャリブレーションパラメータの中から、前記被写体距離に適合するキャリブレーションパラメータを再設定するキャリブレーションパラメータ再設定部と、
    を備える請求項５０に記載の測距装置。
  52. 前記距離推定部は、前記視点画像の付帯情報に基づいて前記被写体距離を推定し、
    前記初期キャリブレーションデータ設定部は、前記距離推定部の推定した被写体距離と、前記キャリブレーションパラメータ記憶部に記憶されたキャリブレーションパラメータとに基づき、前記被写体の初期の測距演算に用いる初期キャリブレーションデータを設定し、
    前記判定部は、前記初期キャリブレーションデータ設定部の設定した初期キャリブレーションデータの信頼性を示す信頼性情報を前記測距演算部による測距演算の結果に基づいて作成し、前記信頼性情報に基づいて測距演算の成功または失敗を判定する、請求項５１に記載の測距装置。
  53. 前記判定部は、前記信頼性情報に応じて測距演算の成功または失敗を判定する条件を選択する、請求項５２に記載の測距装置。
  54. 前記キャリブレーションパラメータ再設定部は、前記判定部が前記測距演算を失敗と判定した場合に、前記焦点位置に近接する上位２つの焦点位置に対応するキャリブレーションパラメータの組を抽出し、前記抽出したキャリブレーションパラメータの組を内挿して、前記焦点位置に対応するキャリブレーションパラメータに対応するキャリブレーションパラメータを作成して再設定する、請求項５１に記載の測距装置。
  55. 前記距離推定部は、前記視点画像を解析することにより取得した撮影シーンに関する情報、もしくは前記付帯情報に含まれる撮影シーン情報に基づいて被写体距離を推定する、請求項５０から５３のいずれかに記載の測距装置。
  56. 前記距離推定部は、前記視点画像を解析することにより取得した被写体のサイズ情報に基づいて、もしくは前記付帯情報に含まれる被写体のサイズ情報に基づいて被写体距離を推定する、請求項５０から５３のいずれかに記載の測距装置。
  57. 前記距離推定部は、前記視点画像に含まれる人物被写体のサイズと前記人物被写体の標準のサイズとの比較に基づいて前記被写体距離を推定する、請求項５６に記載の測距装置。
  58. 前記距離推定部は、前記視点画像の合焦評価算出領域の視差に基づいて前記被写体距離を推定する、請求項５０から５３のいずれかに記載の測距装置。
  59. 前記距離推定部は、前記撮像装置の輻輳距離に基づいて前記被写体距離を推定する、請求項５０から５３のいずれかに記載の測距装置。
  60. 撮像装置の機種ごとの輻輳距離を記憶した輻輳距離記憶部を備え、
    前記距離推定部は、前記輻輳距離記憶部に記憶された輻輳距離のうち前記視点画像を撮像した撮像装置の機種に対応する輻輳距離に基づいて前記被写体距離を推定する、請求項５９に記載の測距装置。
  61. 前記撮像装置の外部パラメータを取得する外部パラメータ取得部を備え、
    前記距離推定部は、前記外部パラメータ取得部の取得した撮像装置の外部パラメータから前記撮像装置の輻輳距離を算出し、算出された輻輳距離を被写体距離と推定する、請求項５９に記載の測距装置。
  62. 異なる視点から同一の被写体を焦点調節が可能な撮像装置により撮像した複数の視点画像を入力する画像入力部と、
    前記撮像装置における、焦点位置に対応したキャリブレーションパラメータを記憶するキャリブレーションパラメータ記憶部と、
    前記視点画像または前記視点画像の付帯情報に基づいて前記撮像装置から前記被写体までの距離である被写体距離を推定する距離推定部と、
    前記距離推定部で推定した被写体距離に基づいて、焦点位置を選択する焦点位置選択部と、
    前記焦点位置選択部で選択された前記焦点位置に基づいて、前記キャリブレーションパラメータ記憶部に記憶されたキャリブレーションパラメータの中から、前記被写体の初期の測距演算に用いる初期キャリブレーションデータを設定する初期キャリブレーションデータ設定部と、
    前記初期キャリブレーションデータ設定部の設定した初期キャリブレーションデータと前記複数の視点画像間の視差とに基づいて被写体距離を演算する測距演算部と、
    前記視点画像の特徴を記憶する特徴記憶部を備え、
    前記距離推定部は、前記特徴記憶部に記憶された以前の視点画像の特徴と現在の視点画像の特徴とを比較し、前記特徴記憶部に記憶された以前の視点画像の特徴と現在の視点画像の特徴とが一致した場合に限り、前記以前の視点画像の被写体距離を現在の視点画像の被写体距離と推定する、測距装置。
  63. 測距演算に関するパラメータの入力を受け付ける測距演算パラメータ入力部を備え、
    前記距離推定部は、前記測距演算パラメータ入力部から入力したパラメータから前記被写体距離を推定する、請求項５０から５３のいずれかに記載の測距装置。
  64. 前記キャリブレーションパラメータ記憶部は、離散的に設定された焦点位置の各々に対応するキャリブレーションパラメータを記憶する、請求項５０から６３のいずれかに記載の測距装置。
  65. 前記キャリブレーションパラメータ記憶部は、焦点位置に対応するキャリブレーションパラメータを規定する関数を記憶する、請求項５０から６３のいずれかに記載の測距装置。
  66. 異なる撮像光学系の各々のフォーカスレンズの焦点位置を制御する焦点位置制御部と、
    前記焦点位置制御部の制御に応じ、前記撮像光学系を介して結像した被写体像を撮像素子により光電変換して得られた複数の視点画像を、請求項５０から６５のいずれかに記載の測距装置の備える画像入力部に出力可能な撮像部と、
    を備える撮像装置。
  67. 情報処理装置が、
    異なる視点から同一の被写体を焦点調節が可能な撮像装置により撮像した複数の視点画像を入力するステップと、
    前記撮像装置における、焦点位置に対応したキャリブレーションパラメータを記憶するステップと、
    前記視点画像または前記視点画像の付帯情報に含まれる撮影モード情報を取得し、予め格納された撮影モード情報と撮影距離との関係に基づいて前記撮像装置から前記被写体までの距離である被写体距離を推定するステップと、
    前記推定した被写体距離に基づいて、焦点位置を選択するステップと、
    前記選択された前記焦点位置に基づいて、前記記憶されたキャリブレーションパラメータの中から、前記被写体の初期の測距演算に用いる初期キャリブレーションデータを設定するステップと、
    前記設定した初期キャリブレーションデータと前記複数の視点画像間の視差とに基づいて被写体距離を演算するステップと、
    を実行する測距方法。
  68. 異なる視点から同一の被写体を焦点調節が可能な撮像装置により撮像した複数の視点画像の入力を受け付ける機能と、
    前記撮像装置における、焦点位置に対応したキャリブレーションパラメータを記憶する機能と、
    前記視点画像または前記視点画像の付帯情報に含まれる撮影モード情報を取得し、予め格納された撮影モード情報と撮影距離との関係に基づいて前記撮像装置から前記被写体までの距離である被写体距離を推定する機能と、
    前記推定した被写体距離に基づいて、焦点位置を選択する機能と、
    前記選択された前記焦点位置に基づいて、前記記憶されたキャリブレーションパラメータの中から、前記被写体の初期の測距演算に用いる初期キャリブレーションデータを設定する機能と、
    前記設定した初期キャリブレーションデータと前記複数の視点画像間の視差とに基づいて被写体距離を演算する機能と、
    を情報処理装置に実現させるための測距プログラム。
  69. 請求項５０から６５のいずれかに記載の測距装置と、
    異なる撮像光学系の各々のフォーカスレンズの焦点位置を制御する焦点位置制御部と、
    前記焦点位置制御部の制御に応じ、前記撮像光学系を介して結像した被写体像を撮像素子により光電変換して得られた複数の視点画像を、前記測距装置の画像入力部に出力可能な撮像部と、
    を備える測距システム。
  70. 情報処理装置が、
    異なる視点から同一の被写体を焦点調節が可能な撮像装置により撮像した複数の視点画像を入力するステップと、
    前記撮像装置における、焦点位置に対応したキャリブレーションパラメータを記憶するステップと、
    前記視点画像の特徴を記憶するステップと、
    前記視点画像または前記視点画像の付帯情報に基づいて前記撮像装置から前記被写体までの距離である被写体距離を推定するステップであって、前記記憶した以前の視点画像の特徴と現在の視点画像の特徴とを比較し、前記記憶した以前の視点画像の特徴と現在の視点画像の特徴とが一致した場合に限り、前記以前の視点画像の被写体距離を現在の視点画像の被写体距離と推定するステップと、
    前記推定した被写体距離に基づいて、焦点位置を選択するステップと、
    前記選択された前記焦点位置に基づいて、前記記憶されたキャリブレーションパラメータの中から、前記被写体の初期の測距演算に用いる初期キャリブレーションデータを設定するステップと、
    前記設定した初期キャリブレーションデータと前記複数の視点画像間の視差とに基づいて被写体距離を演算するステップと、
    を実行する測距方法。
  71. 異なる視点から同一の被写体を焦点調節が可能な撮像装置により撮像した複数の視点画像の入力を受け付ける機能と、
    前記撮像装置における、焦点位置に対応したキャリブレーションパラメータを記憶する機能と、
    前記視点画像の特徴を記憶する機能と、
    前記視点画像または前記視点画像の付帯情報に基づいて前記撮像装置から前記被写体までの距離である被写体距離を推定する機能であって、前記記憶した以前の視点画像の特徴と現在の視点画像の特徴とを比較し、前記記憶した以前の視点画像の特徴と現在の視点画像の特徴とが一致した場合に限り、前記以前の視点画像の被写体距離を現在の視点画像の被写体距離と推定する機能と、
    前記推定した被写体距離に基づいて、焦点位置を選択する機能と、
    前記選択された前記焦点位置に基づいて、前記記憶されたキャリブレーションパラメータの中から、前記被写体の初期の測距演算に用いる初期キャリブレーションデータを設定する機能と、
    前記設定した初期キャリブレーションデータと前記複数の視点画像間の視差とに基づいて被写体距離を演算する機能と、
    を情報処理装置に実現させるための測距プログラム。
JP2011540463A 2009-11-13 2010-10-26 測距装置、測距方法、測距プログラムおよび測距システムならびに撮像装置 Expired - Fee Related JP5214811B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011540463A JP5214811B2 (ja) 2009-11-13 2010-10-26 測距装置、測距方法、測距プログラムおよび測距システムならびに撮像装置

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
JP2009260251 2009-11-13
JP2009260251 2009-11-13
JP2009261049 2009-11-16
JP2009261049 2009-11-16
JP2010106441 2010-05-06
JP2010106441 2010-05-06
JP2011540463A JP5214811B2 (ja) 2009-11-13 2010-10-26 測距装置、測距方法、測距プログラムおよび測距システムならびに撮像装置
PCT/JP2010/068933 WO2011058876A1 (ja) 2009-11-13 2010-10-26 測距装置、測距方法、測距プログラムおよび測距システムならびに撮像装置

Publications (2)

Publication Number Publication Date
JPWO2011058876A1 JPWO2011058876A1 (ja) 2013-03-28
JP5214811B2 true JP5214811B2 (ja) 2013-06-19

Family

ID=43991535

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011540463A Expired - Fee Related JP5214811B2 (ja) 2009-11-13 2010-10-26 測距装置、測距方法、測距プログラムおよび測距システムならびに撮像装置

Country Status (4)

Country Link
US (1) US8654195B2 (ja)
JP (1) JP5214811B2 (ja)
CN (1) CN102597693B (ja)
WO (1) WO2011058876A1 (ja)

Families Citing this family (120)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011523538A (ja) 2008-05-20 2011-08-11 ペリカン イメージング コーポレイション 異なる種類の撮像装置を有するモノリシックカメラアレイを用いた画像の撮像および処理
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
JP2010204304A (ja) * 2009-03-02 2010-09-16 Panasonic Corp 撮像装置、運転者監視装置および顔部測距方法
JP5294995B2 (ja) * 2009-06-03 2013-09-18 パナソニック株式会社 距離計測装置及び距離計測方法
JP2011060116A (ja) * 2009-09-11 2011-03-24 Fujifilm Corp 画像処理装置
US8514491B2 (en) 2009-11-20 2013-08-20 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
SG10201503516VA (en) 2010-05-12 2015-06-29 Pelican Imaging Corp Architectures for imager arrays and array cameras
JP5614268B2 (ja) * 2010-12-09 2014-10-29 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
CN103765864B (zh) 2011-05-11 2017-07-04 派力肯影像公司 用于传送和接收阵列照相机图像数据的系统和方法
JP2012247356A (ja) * 2011-05-30 2012-12-13 Canon Inc 撮像モジュール、撮像装置、画像処理装置及び画像処理方法。
US20130265459A1 (en) 2011-06-28 2013-10-10 Pelican Imaging Corporation Optical arrangements for use with an array camera
WO2013003276A1 (en) 2011-06-28 2013-01-03 Pelican Imaging Corporation Optical arrangements for use with an array camera
WO2013043751A1 (en) 2011-09-19 2013-03-28 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super resolution processing using pixel apertures
US9129183B2 (en) 2011-09-28 2015-09-08 Pelican Imaging Corporation Systems and methods for encoding light field image files
US8760513B2 (en) * 2011-09-30 2014-06-24 Siemens Industry, Inc. Methods and system for stabilizing live video in the presence of long-term image drift
JP6023415B2 (ja) * 2011-10-17 2016-11-09 キヤノン株式会社 三次元計測装置、三次元計測装置の制御方法およびプログラム
JP5901935B2 (ja) * 2011-10-24 2016-04-13 株式会社東芝 固体撮像装置及びカメラモジュール
EP2817955B1 (en) 2012-02-21 2018-04-11 FotoNation Cayman Limited Systems and methods for the manipulation of captured light field image data
JP5967470B2 (ja) * 2012-03-30 2016-08-10 株式会社リコー 検査装置
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
CN104508681B (zh) 2012-06-28 2018-10-30 Fotonation开曼有限公司 用于检测有缺陷的相机阵列、光学器件阵列和传感器的系统及方法
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
CA2881131A1 (en) 2012-08-21 2014-02-27 Pelican Imaging Corporation Systems and methods for parallax detection and correction in images captured using array cameras
US20140055632A1 (en) 2012-08-23 2014-02-27 Pelican Imaging Corporation Feature based high resolution motion estimation from low resolution images captured using an array source
KR101207343B1 (ko) * 2012-08-30 2012-12-04 재단법인대구경북과학기술원 영상 밝기 조절 방법 및 그 장치와, 스테레오 카메라
JP5995614B2 (ja) * 2012-08-31 2016-09-21 キヤノン株式会社 距離情報推定装置
TWI496090B (zh) * 2012-09-05 2015-08-11 Ind Tech Res Inst 使用深度影像的物件定位方法與裝置
US9214013B2 (en) 2012-09-14 2015-12-15 Pelican Imaging Corporation Systems and methods for correcting user identified artifacts in light field images
US20140092281A1 (en) 2012-09-28 2014-04-03 Pelican Imaging Corporation Generating Images from Light Fields Utilizing Virtual Viewpoints
JP6082556B2 (ja) * 2012-09-28 2017-02-15 日立オートモティブシステムズ株式会社 撮像装置
JP5962428B2 (ja) * 2012-10-22 2016-08-03 セイコーエプソン株式会社 画像処理装置の調整方法、調整装置、画像処理装置、及び表示モジュール
US9143711B2 (en) 2012-11-13 2015-09-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
JP2014126612A (ja) * 2012-12-25 2014-07-07 Canon Inc 撮像装置およびその制御方法
WO2014130849A1 (en) 2013-02-21 2014-08-28 Pelican Imaging Corporation Generating compressed light field representation data
WO2014133974A1 (en) 2013-02-24 2014-09-04 Pelican Imaging Corporation Thin form computational and modular array cameras
US9638883B1 (en) 2013-03-04 2017-05-02 Fotonation Cayman Limited Passive alignment of array camera modules constructed from lens stack arrays and sensors based upon alignment information obtained during manufacture of array camera modules using an active alignment process
US9917998B2 (en) 2013-03-08 2018-03-13 Fotonation Cayman Limited Systems and methods for measuring scene information while capturing images using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9124831B2 (en) 2013-03-13 2015-09-01 Pelican Imaging Corporation System and methods for calibration of an array camera
US9519972B2 (en) 2013-03-13 2016-12-13 Kip Peli P1 Lp Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
WO2014164909A1 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation Array camera architecture implementing quantum film sensors
US9578259B2 (en) 2013-03-14 2017-02-21 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US9100586B2 (en) 2013-03-14 2015-08-04 Pelican Imaging Corporation Systems and methods for photometric normalization in array cameras
JP2016524125A (ja) 2013-03-15 2016-08-12 ペリカン イメージング コーポレイション カメラアレイを用いた立体撮像のためのシステムおよび方法
US9497370B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Array camera architecture implementing quantum dot color filters
US9633442B2 (en) 2013-03-15 2017-04-25 Fotonation Cayman Limited Array cameras including an array camera module augmented with a separate camera
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
JP6288952B2 (ja) * 2013-05-28 2018-03-07 キヤノン株式会社 撮像装置およびその制御方法
US9210417B2 (en) * 2013-07-17 2015-12-08 Microsoft Technology Licensing, Llc Real-time registration of a stereo depth camera array
WO2015048694A2 (en) 2013-09-27 2015-04-02 Pelican Imaging Corporation Systems and methods for depth-assisted perspective distortion correction
CN103528562A (zh) * 2013-10-26 2014-01-22 吉林大学 一种基于单摄像头检测人眼与显示终端距离的方法
JP5893601B2 (ja) * 2013-10-31 2016-03-23 富士重工業株式会社 車両制御システム
US9185276B2 (en) 2013-11-07 2015-11-10 Pelican Imaging Corporation Methods of manufacturing array camera modules incorporating independently aligned lens stacks
WO2015074078A1 (en) 2013-11-18 2015-05-21 Pelican Imaging Corporation Estimating depth from projected texture using camera arrays
EP3075140B1 (en) 2013-11-26 2018-06-13 FotoNation Cayman Limited Array camera configurations incorporating multiple constituent array cameras
US10089740B2 (en) 2014-03-07 2018-10-02 Fotonation Limited System and methods for depth regularization and semiautomatic interactive matting using RGB-D images
US9247117B2 (en) 2014-04-07 2016-01-26 Pelican Imaging Corporation Systems and methods for correcting for warpage of a sensor array in an array camera module by introducing warpage into a focal plane of a lens stack array
US10062180B2 (en) 2014-04-22 2018-08-28 Microsoft Technology Licensing, Llc Depth sensor calibration and per-pixel correction
US9521319B2 (en) 2014-06-18 2016-12-13 Pelican Imaging Corporation Array cameras and array camera modules including spectral filters disposed outside of a constituent image sensor
JP6376873B2 (ja) * 2014-07-16 2018-08-22 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP2016061622A (ja) * 2014-09-17 2016-04-25 株式会社リコー 情報処理システム、及び情報処理方法
JP2017531976A (ja) 2014-09-29 2017-10-26 フォトネイション ケイマン リミテッド アレイカメラを動的に較正するためのシステム及び方法
KR102299575B1 (ko) * 2015-03-09 2021-09-07 삼성전자주식회사 위상 검출 픽셀들로부터 깊이 맵을 생성할 수 있는 이미지 신호 프로세서와 이를 포함하는 장치
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
JP6345627B2 (ja) * 2015-05-20 2018-06-20 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および情報処理方法
CN106534828A (zh) * 2015-09-11 2017-03-22 钰立微电子股份有限公司 应用于立体图像获取装置的控制器与立体图像获取装置
EP3252709B1 (en) * 2015-09-15 2019-05-22 Huawei Technologies Co., Ltd. Image distortion correction method and apparatus
TWI781085B (zh) 2015-11-24 2022-10-21 日商索尼半導體解決方案公司 複眼透鏡模組及複眼相機模組
JP6611588B2 (ja) * 2015-12-17 2019-11-27 キヤノン株式会社 データ記録装置、撮像装置、データ記録方法およびプログラム
US10339662B2 (en) 2016-05-23 2019-07-02 Microsoft Technology Licensing, Llc Registering cameras with virtual fiducials
US10326979B2 (en) 2016-05-23 2019-06-18 Microsoft Technology Licensing, Llc Imaging system comprising real-time image registration
US10559095B2 (en) * 2016-08-31 2020-02-11 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and medium
JP6335237B2 (ja) * 2016-09-15 2018-05-30 株式会社Ｓｕｂａｒｕ ステレオ測距装置、ステレオ測距方法及びステレオ測距プログラム
JP6463319B2 (ja) * 2016-10-19 2019-01-30 株式会社Ｓｕｂａｒｕ ステレオ測距装置、ステレオ測距方法及びステレオ測距プログラム
CN108074267B (zh) * 2016-11-18 2023-08-11 松下知识产权经营株式会社 交点检测装置及方法、摄像头校正系统及方法及记录介质
KR102534875B1 (ko) * 2016-12-08 2023-05-22 한국전자통신연구원 카메라 어레이와 다중 초점 영상을 이용하여 임의 시점의 영상을 생성하는 방법 및 장치
JP6878018B2 (ja) 2017-01-26 2021-05-26 ソニーセミコンダクタソリューションズ株式会社 Ａｆモジュール、カメラモジュール、および、電子機器
JP6967715B2 (ja) * 2017-04-18 2021-11-17 パナソニックＩｐマネジメント株式会社 カメラ校正方法、カメラ校正プログラム及びカメラ校正装置
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
JP6957271B2 (ja) 2017-08-31 2021-11-02 ソニーセミコンダクタソリューションズ株式会社 積層レンズ構造体、固体撮像素子、および、電子機器
JP2019062340A (ja) * 2017-09-26 2019-04-18 キヤノン株式会社 像振れ補正装置および制御方法
KR102019382B1 (ko) * 2017-09-29 2019-09-06 현대오트론 주식회사 거리 검출 센서 및 그것의 동작 방법
JP2019078621A (ja) * 2017-10-24 2019-05-23 セイコーエプソン株式会社 エンコーダー、ロボットおよびプリンター
JP7009945B2 (ja) * 2017-11-15 2022-01-26 株式会社豊田自動織機 画像処理装置及び車両
JP6620175B2 (ja) * 2018-01-19 2019-12-11 本田技研工業株式会社 距離算出装置及び車両制御装置
US10876833B2 (en) 2018-03-26 2020-12-29 International Business Machines Corporation Apparatus and method for measuring micrometer scale features of electronic component over millimeter scale distances to nanometer scale precision
JP2021122080A (ja) * 2018-05-09 2021-08-26 ソニーグループ株式会社 データ処理装置、データ処理方法、及び、プログラム
US10839837B2 (en) 2018-05-22 2020-11-17 International Business Machines Corporation Determining span expansion or contraction between features and structures in thin films
US11989901B2 (en) * 2018-07-17 2024-05-21 Sony Corporation Information processing device and information processing method
CN109283542B (zh) * 2018-09-10 2020-09-15 上海隧道工程有限公司 隧道管片钢模端板合模到位检测装置及其检测方法
JP7134113B2 (ja) * 2019-02-12 2022-09-09 日立Astemo株式会社 画像処理装置
WO2020188929A1 (ja) * 2019-03-18 2020-09-24 ソニー株式会社 撮像装置、情報処理方法、およびプログラム
CN110113528B (zh) * 2019-04-26 2021-05-07 维沃移动通信有限公司 一种参数获取方法及终端设备
JP7334516B2 (ja) * 2019-07-16 2023-08-29 凸版印刷株式会社 三次元形状モデル生成装置、三次元形状モデル生成方法、及びプログラム
CN114600165A (zh) 2019-09-17 2022-06-07 波士顿偏振测定公司 用于使用偏振提示表面建模的系统和方法
CN112313941A (zh) * 2019-09-20 2021-02-02 深圳市大疆创新科技有限公司 控制装置、摄像装置、控制方法以及程序
JP2022552833A (ja) 2019-10-07 2022-12-20 ボストン ポーラリメトリックス，インコーポレイティド 偏光による面法線計測のためのシステム及び方法
CN110830696B (zh) * 2019-11-26 2021-03-12 成都立鑫新技术科技有限公司 一种双目视觉测量技术的校准方法
EP4066001A4 (en) 2019-11-30 2024-01-24 Boston Polarimetrics, Inc. SYSTEMS AND METHODS FOR TRANSPARENT OBJECT SEGMENTATION USING POLARIZATION GUIDES
KR20220132620A (ko) 2020-01-29 2022-09-30 인트린식 이노베이션 엘엘씨 물체 포즈 검출 및 측정 시스템들을 특성화하기 위한 시스템들 및 방법들
US11797863B2 (en) 2020-01-30 2023-10-24 Intrinsic Innovation Llc Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images
CN111652069B (zh) * 2020-05-06 2024-02-09 天津博诺智创机器人技术有限公司 移动机器人的目标识别与定位方法
WO2021243088A1 (en) 2020-05-27 2021-12-02 Boston Polarimetrics, Inc. Multi-aperture polarization optical systems using beam splitters
CN114200479A (zh) * 2020-08-31 2022-03-18 华为技术有限公司 一种dTOF传感模组、终端设备及测距方法
JP7473449B2 (ja) * 2020-10-28 2024-04-23 Kddi株式会社 歪曲収差補正装置、方法及びプログラム
KR20220122317A (ko) 2021-02-26 2022-09-02 삼성전자주식회사 오토 줌 및 오토 포커스를 수행하는 이미지 시그널 프로세서, 이미지 시그널 프로세서의 이미지 프로세싱 방법 및 이미지 프로세싱 시스템
US12069227B2 (en) 2021-03-10 2024-08-20 Intrinsic Innovation Llc Multi-modal and multi-spectral stereo camera arrays
US12020455B2 (en) 2021-03-10 2024-06-25 Intrinsic Innovation Llc Systems and methods for high dynamic range image reconstruction
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US12067746B2 (en) 2021-05-07 2024-08-20 Intrinsic Innovation Llc Systems and methods for using computer vision to pick up small objects
CN117321382A (zh) * 2021-05-20 2023-12-29 发那科株式会社 基于由视觉传感器拍摄到的图像来计算三维位置的拍摄装置
WO2022250600A1 (en) * 2021-05-26 2022-12-01 Acuvi Ab Control system for optical zoom and focus for miniature camera modules
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers
CN114720982A (zh) * 2022-04-26 2022-07-08 深圳市电科智能科技有限公司 改善毫米波成像系统成像质量的方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002350131A (ja) * 2001-05-25 2002-12-04 Minolta Co Ltd 多眼カメラのキャリブレーション方法および装置並びにコンピュータプログラム
JP2007147457A (ja) * 2005-11-28 2007-06-14 Topcon Corp 三次元形状演算装置及び三次元形状演算方法
JP2008002995A (ja) * 2006-06-23 2008-01-10 Konica Minolta Sensing Inc 三次元形状測定装置
JP2008122778A (ja) * 2006-11-14 2008-05-29 Seiko Epson Corp 帯電装置およびこれを備えた画像形成装置
JP2008298589A (ja) * 2007-05-31 2008-12-11 Konica Minolta Holdings Inc 位置検出装置及び位置検出方法
WO2009119229A1 (ja) * 2008-03-26 2009-10-01 コニカミノルタホールディングス株式会社 ３次元撮像装置及び３次元撮像装置の校正方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10320558A (ja) 1997-05-21 1998-12-04 Sony Corp キャリブレーション方法並びに対応点探索方法及び装置並びに焦点距離検出方法及び装置並びに３次元位置情報検出方法及び装置並びに記録媒体
US6542249B1 (en) * 1999-07-20 2003-04-01 The University Of Western Ontario Three-dimensional measurement method and apparatus
JP2002122778A (ja) 2000-10-19 2002-04-26 Fuji Electric Co Ltd 自動焦点調節装置および電子的撮像装置
JP2002315315A (ja) 2001-04-16 2002-10-25 Maekawa Denki Kk 交流／直流変換装置
US20040228505A1 (en) 2003-04-14 2004-11-18 Fuji Photo Film Co., Ltd. Image characteristic portion extraction method, computer readable medium, and data collection and processing device
JP4338560B2 (ja) 2003-04-14 2009-10-07 富士フイルム株式会社 画像の特徴部分抽出方法及び特徴部分抽出プログラム並びに撮像装置と画像処理装置
JP2004354257A (ja) 2003-05-29 2004-12-16 Olympus Corp キャリブレーションずれ補正装置及びこの装置を備えたステレオカメラ並びにステレオカメラシステム
EP1637836A1 (en) 2003-05-29 2006-03-22 Olympus Corporation Device and method of supporting stereo camera, device and method of detecting calibration, and stereo camera system
JP2006090756A (ja) 2004-09-21 2006-04-06 Victor Co Of Japan Ltd カメラキャリブレーション装置
JP3794588B2 (ja) 2005-05-18 2006-07-05 富士写真フイルム株式会社 カメラ
JP2007109130A (ja) 2005-10-17 2007-04-26 Fujifilm Corp 画像検索装置および方法並びにプログラム
JP4854013B2 (ja) 2006-07-21 2012-01-11 株式会社ブリヂストン 空気入りタイヤ
JP4939901B2 (ja) 2006-11-02 2012-05-30 富士フイルム株式会社 距離画像生成方法及びその装置
JP2008141666A (ja) 2006-12-05 2008-06-19 Fujifilm Corp 立体視画像作成装置、立体視画像出力装置及び立体視画像作成方法
JP4858263B2 (ja) 2007-03-28 2012-01-18 株式会社日立製作所 ３次元計測装置
JP4714176B2 (ja) 2007-03-29 2011-06-29 富士フイルム株式会社 立体撮影装置及び光軸調節方法
JP2009014445A (ja) 2007-07-03 2009-01-22 Konica Minolta Holdings Inc 測距装置
JP4886716B2 (ja) 2008-02-26 2012-02-29 富士フイルム株式会社 画像処理装置および方法並びにプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002350131A (ja) * 2001-05-25 2002-12-04 Minolta Co Ltd 多眼カメラのキャリブレーション方法および装置並びにコンピュータプログラム
JP2007147457A (ja) * 2005-11-28 2007-06-14 Topcon Corp 三次元形状演算装置及び三次元形状演算方法
JP2008002995A (ja) * 2006-06-23 2008-01-10 Konica Minolta Sensing Inc 三次元形状測定装置
JP2008122778A (ja) * 2006-11-14 2008-05-29 Seiko Epson Corp 帯電装置およびこれを備えた画像形成装置
JP2008298589A (ja) * 2007-05-31 2008-12-11 Konica Minolta Holdings Inc 位置検出装置及び位置検出方法
WO2009119229A1 (ja) * 2008-03-26 2009-10-01 コニカミノルタホールディングス株式会社 ３次元撮像装置及び３次元撮像装置の校正方法

Also Published As

Publication number Publication date
JPWO2011058876A1 (ja) 2013-03-28
CN102597693A (zh) 2012-07-18
WO2011058876A1 (ja) 2011-05-19
CN102597693B (zh) 2015-04-01
US20120229628A1 (en) 2012-09-13
US8654195B2 (en) 2014-02-18

Similar Documents

Publication Publication Date Title
JP5214811B2 (ja) 測距装置、測距方法、測距プログラムおよび測距システムならびに撮像装置
US9210408B2 (en) Stereoscopic panoramic image synthesis device, image capturing device, stereoscopic panoramic image synthesis method, recording medium, and computer program
US7860386B2 (en) Imaging apparatus, control method of imaging apparatus, and computer program
JP4852591B2 (ja) 立体画像処理装置、方法及び記録媒体並びに立体撮像装置
US8970672B2 (en) Three-dimensional image processing
JP4737573B2 (ja) ３次元画像出力装置及び方法
US7729602B2 (en) Camera using multiple lenses and image sensors operable in a default imaging mode
US7859588B2 (en) Method and apparatus for operating a dual lens camera to augment an image
US9288474B2 (en) Image device and image processing method for generating control information indicating the degree of stereoscopic property or whether or not 3D image needs to be outputted
US8135270B2 (en) Imaging device and imaging method
US7676146B2 (en) Camera using multiple lenses and image sensors to provide improved focusing capability
US8970675B2 (en) Image capture device, player, system, and image processing method
US9042709B2 (en) Image capture device, player, and image processing method
US8823778B2 (en) Imaging device and imaging method
JP2011101240A (ja) 立体撮影装置および撮影制御方法
US20130155204A1 (en) Imaging apparatus and movement controlling method thereof
JP5929037B2 (ja) 撮像装置
US9094671B2 (en) Image processing device, method, and recording medium therefor
WO2013047641A1 (ja) 立体画像処理装置及び立体画像処理方法
US20130093856A1 (en) Stereoscopic imaging digital camera and method of controlling operation of same
WO2013005477A1 (ja) 撮像装置、立体画像撮像方法及びプログラム
JP2002298138A (ja) 人物検出装置及びこの装置を備えた撮影装置
JP2004317917A (ja) 撮像装置
WO2012105122A1 (ja) 立体視用画像撮像装置およびその動作制御方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130227

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160308

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees