JP6555990B2 - 距離計測装置、撮像装置、および距離計測方法 - Google Patents

Description

本発明は距離計測装置に関連する。

従来、撮像装置によって取得された画像から撮影シーンの距離を取得する手法として特許文献１のようなＤｅｐｔｈ ｆｒｏｍ Ｄｅｆｏｃｕｓ（ＤＦＤ）法が提案されている。ＤＦＤ法では撮像光学系の撮影パラメータを制御することでぼけの異なる複数の画像を取得し、複数の取得画像において測定対象画素およびその周辺画素を用いて互いのぼけの大きさや相関量を算出する。このぼけの大きさや相関量は画像中の被写体の距離に応じて変化するため、その関係を用いて距離を算出する。ＤＦＤ法による距離計測は、１つの撮像系によって距離を算出することできるため、市販されている撮像装置に組み込むことが可能といった利点を有する。

特許文献１では、被写体距離が空間変動する場合でも高精度に距離計測可能とするために、撮影した輝度画像から局所領域を選択して重みづけを行う距離計測方法が提案されている。

特許文献２では、光学系を変えることで１回の撮影で異なる撮影パラメータの画像を取得することを可能にしている。また、被写体の距離によって異なる色の輝度画像を用いて距離計測を行う提案がされている。
また、距離を取得する方法として、異なる瞳領域を通過した光束による画像の像ズレ量を用いた位相差検出方式もある。

特開２０１０−０１６７４３号公報 特許第５１５９９８６号公報

特許文献１に記載されているようなＤＦＤ法による距離計測は、撮像光学系によるぼけの大きさが被写体までの距離に応じて変化することを利用し、撮影した画像のぼけの大きさから距離を算出している。開示されているＤＦＤ法は輝度画像を用いて距離計測を行っているが、輝度画像がモノクロの撮像素子から得られたものである場合は、様々な波長成分が混合した光の輝度値が得られる。光学系に軸上色収差がある場合には、被写体像の色（波長）ごとにぼけ方が異なるために距離計測結果にばらつきが生じる。ベイヤー配列の撮像素子からＹＵＶ変換して得られた輝度画像を用いる場合も同様の課題が生じる。また、ベイヤー配列の緑画素の輝度画像（Ｇ画像）を用いる場合は、被写体像が緑色成分を含まない場合に正しい距離計測ができない。具体的には、Ｇ画像の輝度が低くなるので、ＳＮが悪化し距離計測ができなかったり、距離計測精度が低下したりするといった課題がある。
この課題はＤＦＤ法を用いる場合に限定されるものではなく、位相差検出方式を用いる場合にも生じる。

特許文献２では、軸上色収差を発生させた光学系を用いて、色別に距離計測を行うことで距離計測範囲を拡張しているが、被写体色によっては距離計測ができない課題は残存している。

上記のような問題を考慮して、本発明は、被写体色によらず安定した精度の良い距離計測を行うことを目的とする。

上記課題を解決するために、本発明に係る距離計測装置は、第一のカラー画像と第二のカラー画像に基づき、被写体の距離情報を算出する距離計測装置であって、前記二つのカラー画像を用いて各カラープレーンにおいて注目画素の距離情報をそれぞれ算出可能な距離算出手段と、前記注目画素における距離情報の信頼度を表す評価値をカラープレーンごとに算出する評価値算出手段と、を有し、前記距離算出手段は、前記評価値に基づいて、どのカラープレーンに基づいて前記注目画素の距離情報を算出するかを決定する。

また、本発明に係る距離計測方法は、第一のカラー画像と第二のカラー画像に基づき、被写体の距離情報を算出する距離計測装置が行う距離計測方法であって、注目画素における距離情報の信頼度を表す評価値をカラープレーンごとに算出する評価値算出ステップと、前記評価値に基づいて、どのカラープレーンを用いて前記注目画素の距離情報を算出するかを決定する選択ステップと、前記決定にしたがって、前記注目画素の距離情報を算出する距離算出ステップと、を含む。

本発明による距離計測方法によれば、被写体色に因らず安定した精度の良い距離計測を行うことができる。

第一の実施形態に係る撮像装置の構成を示す図。 第一の実施形態における距離計測処理の流れを示すフローチャート。 第一の実施形態における距離マップ生成処理の流れを示すフローチャート。 カラープレーンごとの相関値の違いを説明する図。 第一の実施形態における距離統合処理の流れを示すフローチャート。 第二の実施形態における距離統合処理の流れを示す図。 第三の実施形態における距離統合処理の流れを示す図。 第四の実施形態における距離マップ生成処理の流れを示すフローチャート。 第四の実施形態における撮像素子を説明する図。 第四の実施形態における距離計測処理の流れを示すフローチャート。

（第一実施形態）
＜システム構成＞
図１は、本発明の第一実施形態に係る撮像装置のシステム構成図である。撮像装置１は、撮像光学系１０、撮像素子１１、制御部１２、信号処理部１３、距離計測部１４、メモリ１５、入力部１６、表示部１７、記憶部１８を有する。

撮像光学系１０は、複数のレンズから構成され、入射する光を撮像素子１１の像面上に結像させる光学系である。撮像光学系１０としては可変焦点の光学系が用いられており、制御部１２のオートフォーカス機能により自動焦点合わせが可能である。オートフォーカスの方式はパッシブ方式でもアクティブ方式でもよい。

撮像素子１１は、ＣＣＤやＣＭＯＳなどを有する撮像素子であり、カラー画像を取得する。撮像素子１１は、カラーフィルタを有する撮像素子でもよいし、色の異なる三板式の撮像素子でもよい。また、本実施形態の撮像素子１１はＲＧＢの３色のカラー画像を取得
するが、可視光以外を含む３色以上のカラー画像を取得する撮像素子であってもよい。

制御部１２は、撮像装置１の各部を制御する機能部である。制御部１２の機能としては、例えば、オートフォーカス（ＡＦ）による自動焦点合わせ、フォーカス位置の変更、Ｆ値（絞り）の変更、画像の取り込み、シャッターやフラッシュ（いずれも不図示）の制御、入力部１６や表示部１７や記憶部１８の制御などがある。

信号処理部１３は、撮像素子１１から出力された信号に対して処理を行う機能部である。具体的な信号処理部１３の機能には、アナログ信号のＡ／Ｄ変換やノイズ除去、デモザイキング、輝度信号変換、収差補正、ホワイトバランス調整、色補正などがある。信号処理部１３から出力されるデジタル画像データは一時的にメモリ１５に蓄積された後、表示部１７への表示、記憶部１８への記録（保存）、距離計測部１４への出力などがされ、所望の処理が行われる。

距離計測部１４は、画像中の物体までの奥行き方向の距離を算出する機能部である。距離計測部１４は、評価値算出部１４１と距離算出部１４２とを備える。評価値算出部１４１は、カラー画像のカラープレーンのそれぞれについて距離算出の信頼度を表す評価値を求める機能を有する。距離算出部１４２は、カラー画像のカラープレーンのそれぞれから距離を算出する機能と、カラープレーン別の距離と評価値とに基づいて最終的な距離を算出する機能とを有する。距離計測部１４の詳しい動作については後述する。

入力部１６は、ユーザが操作し、撮像装置１に対して情報入力や設定変更を行うためのインターフェイスである。例えばダイヤル、ボタン、スイッチ、タッチパネルなどを利用することができる。

表示部１７は、液晶ディスプレイや有機ＥＬディスプレイなどで構成される表示手段である。表示部１７は、撮影時の構図確認、撮影・記録した画像の閲覧、各種設定画面やメッセージ情報の表示などに利用される。

記憶部１８は、撮影された画像データや、撮像装置１で利用されるパラメータデータなどが格納される不揮発性の記憶媒体である。記憶部１８としては、高速に読み書きでき、且つ、大容量の記憶媒体を用いることが好ましい。例えばフラッシュメモリなどを好適に用いることができる。

＜被写体距離の計測方法＞
次に、撮像装置１が行う距離計測処理について、処理の流れを示したフローチャートである図２を参照しながら詳細に説明する。

ユーザが、入力部１６を操作して距離計測の実行を指示し撮影を開始すると、オートフォーカス（ＡＦ）や自動露光制御（ＡＥ）が実行された後に撮影が実行し、フォーカス位置と絞り（Ｆナンバー）を決定する（ステップＳ１１）。その後、ステップＳ１２にて撮影が実行され、撮像素子１１から画像を取り込む。

一枚目の撮影が完了すると、制御部１２が撮影パラメータを変更する（ステップＳ１３）。変更される撮影パラメータとは、絞り（Ｆナンバー）、フォーカス位置、焦点距離のうちの少なくともいずれか一つである。パラメータの値として、予め保存された値を読み出して使用してもよいし、ユーザが入力した情報をもとに決定された値を使用してもよい。撮影パラメータの変更が完了すると、処理はステップＳ１４に遷移し、二枚目の撮影が行われる。

本実施形態では、フォーカス位置を変更して二枚目の画像を撮影する。例えば、一枚目は主被写体に合焦するように撮影を行い、二枚目は主被写体がぼけるようにフォーカス位置を変更して撮影を行う。

なお、複数の画像を撮影する際は、シャッター速度が高速であるほど、また、撮影間隔が短いほど、手ぶれや被写体ぶれの影響が軽減される。したがって、より高精度な距離計測を行うためには、シャッター速度を高速にし、かつ、撮影間隔を短くすることが望ましい。ただし、シャッター速度を上げるために感度を上げると、場合によっては手ぶれの影響以上にノイズの影響が増加するため、感度を考慮して適切なシャッター速度を設定する必要がある。

二枚の画像が撮影されると、撮影された画像は、距離計測に適した画像となるように信号処理部１３でそれぞれ処理され、一時的にメモリ１５に蓄積される。具体的には現像処理が行われるが、信号処理によってぼけが変化しないようにエッジ強調処理などは避ける必要がある。また、以後の処理に利用する画像は、カラー画像の場合ベイヤー配列からデモザイキングまたは特定色のみを画素選択して生成したＲＧＢ各画像とする。Ｒ画像、Ｇ画像、Ｂ画像が、本実施形態におけるカラープレーン画像である。また、撮影した２枚の画像のうち少なくとも１枚を、観賞用の画像として信号処理し、メモリ１５に蓄積してもよい。

ステップＳ１５では、距離計測部１４が、メモリ１５に蓄積された距離計測用の２枚のカラー画像を入力として受け付け、これらのカラー画像から距離マップを算出する。距離マップとは、画像中の被写体距離の分布を表すデータである。なお、被写体距離は、撮像装置から被写体までの絶対距離として表されてもよいし、フォーカス位置から被写体までの相対的な距離で表されてもよい。また、被写体距離は、物体距離で表されてもよいし、像距離で表されてもよい。さらには、ぼけの大きさや相関量など距離に換算可能な値を、被写体距離（距離情報）として用いてもよい。算出された被写体距離の分布（距離マップ）は表示部１７を通して表示され、また、記録部１９に保存される。

次に、ステップＳ１５で距離計測部１４が行う処理（以下、距離マップ生成処理）についてより詳細に説明する。図３は、本実施形態における距離マップ生成ステップＳ１５の流れを示したフローチャート図である。

距離計測部１４は、２枚のカラー画像を受け取ると、カラープレーン選択ステップＳ２１において、２枚のカラー画像からそれぞれ同じ色のカラープレーン画像を選択する。ステップＳ２２からＳ２５の処理は全てのカラープレーンを対象として実行されるので、ステップＳ２１におけるカラープレーンの選択順序は特に限定されない。

次に帯域制限ステップＳ２２で、距離算出部１４２は、生成された２枚のカラープレーン画像に対して所望の空間周波数帯域を抽出するようにフィルタリング処理を実行し、帯域制限されたカラープレーン画像を生成する。ぼけの変化が空間周波数によって異なるので、帯域制限ステップＳ２２では、安定した距離計測を行えるように注目する周波数帯域のみを抽出する。空間周波数帯の抽出は、周波数空間に変換して行ってもよいし、フィルタリングによって行ってもよく、その手法は限定されない。高周波帯域はノイズの影響が大きいため、低域から中域周波数を通過させるのが良い。

領域選択ステップＳ２３では、距離算出部１４２は、帯域制限された２枚のカラープレーン画像において同じ座標位置の注目画素およびその周辺の局所領域を選択する。１画素ずつずらして画像全体に渡り注目画素および局所領域を設定し、以下の処理を行うことで入力画像全体の距離画像（距離マップ）を算出することが可能となる。距離マップは必ず
しも入力画像と同じ画素数でなくともよく、入力画像の数画素ごとに算出しても良い。また、局所領域の設定は、予め指定された１つ以上の領域を対象として行っても良いし、入力部１６によりユーザがその範囲を指定しても良い。

次に相関演算ステップＳ２４では、距離算出部１４２は、前記領域選択ステップＳ２３で選択した第一の画像の局所領域と、第二の画像の局所領域との相関を数式１の式で算出する。

ここで、ＮＣＣ_ｊは注目画素ｊを中心とする局所領域における相関値を表し、Ｉ_１，ｉは一方のカラープレーン画像における画素位置ｉでの画素値を表し、Ｉ_２，ｉは他方のカラープレーン画像における画素位置ｉでの画素値を表わす。総和は注目画素ｊを中心とする局所領域を対象として行われる。また、バーのついたＩ_１およびＩ_２は、それぞれのカラープレーン画像における局所領域内での画素値の平均値である。

収差が無くデフォーカスした場合のぼけ方がフォーカス前後で同じ場合、像側においてフォーカスを移動して撮影した２つのフォーカス位置の中間でぼけが同等となり、その位置での相関が最も高い値となる。この中間位置から離れるに従い、二画像のぼけ方は変化し相関が低下していく。つまりぼけが同じ位置をピークとしてその位置から前後に離れるに従い相関が低下する。相関値はデフォーカスによるぼけに応じた値となるため、相関値がわかれば対応するデフォーカス量を知ることができ、相対的な距離を算出することが可能となる。

次に距離変換ステップＳ２５では、距離算出部１４２は、相関演算ステップＳ２４で算出された相関値を像距離に変換する。相関値と像距離の関係を図４に示す。カラープレーンによって相関値のデフォーカス特性の傾きや相関値が最大になる位置が異なる。傾きは波長による深度の違いによるもので、フォーカス位置のずれは軸上色収差に起因するものである。よって、距離算出部１４２は、カラープレーンごとに相関値から像距離に変換する異なる変換テーブルまたは変換式を保持しておき、カラープレーンごとに異なる変換によって像距離に変換する。変換テーブルまたは変換式は、予め計測によって求めるか光学設計情報を利用したシミュレーションによって求めておく。シミュレーションの場合、カラープレーンごとの変換テーブルおよび変換式は、カラーフィルタごとの中心波長や最も透過率の高い波長を代表波長としてその波長を用いたシミュレーションした結果を適用する。代表波長を求めるに当たり、カラーフィルタ中の波長とその透過率から重心波長を求めて利用しても良い。同じ距離にある物体でもカラープレーンごとに異なる相関値が算出されるが、距離変換ステップＳ２５によりカラープレーンに依存しない像距離が得られる。

本実施形態では演算の方法として数式１を例に説明したが、２つのカラープレーン間のぼけの関係を判断できる数式であればよくこの式に限定するものではない。演算に応じた出力値と像面でのフォーカス位置の関係が既知であれば相対距離への変換が可能である。

他の演算例としては、以下の数式２などが挙げられる。

また、フーリエ変換を行い周波数空間での評価による距離算出演算として数式３などが挙げられる。

ここでＦはフーリエ変換を表し、ＯＴＦは光学伝達関数、Ｓは撮影シーンのフーリエ変換結果を表している。数式３では、２つの撮影条件における光学伝達関数の比が得られ、予め光学系の設計データからこの値のデフォーカスによる変化を知ることができるため相対距離への変換が可能となる。

距離変換ステップＳ２５が終了すると、領域選択ステップＳ２３に戻り、未処理の注目画素を対象として上述の処理を繰り返す。指定された領域もしくは画像全域に対する演算が終了するまで領域選択ステップＳ２３と相関演算ステップＳ２４を繰り返し実行する。この繰り返し処理により、１つのカラープレーンについての距離マップの生成が行える。距離変換ステップＳ２５が全ての局所領域に対して終了すると、処理は終了判定ステップＳ２６に移る。

終了判定ステップＳ２６では、距離算出部１４２は、カラー画像に含まれる全てのカラープレーンに対して処理が完了したかを判定する。処理が終わっていないカラープレーンがある場合は、カラープレーン選択ステップＳ２１に戻って距離変換ステップＳ２５までの処理を繰り返す。全てのカラープレーンについて距離マップの生成が終わると、処理は距離統合ステップＳ２７に移る。

距離統合ステップＳ２７では、距離計測部１４は、距離変換ステップＳ２５で算出された複数のカラープレーンの距離マップから画素ごとに信頼度の高いカラープレーンの距離を選択して最終的な距離マップを生成する。距離統合ステップＳ２７の詳細を、図５Ａのフローチャートに示す。

評価値算出部１４１は、距離マップの注目画素における距離情報の信頼度を表す評価値を、カラープレーンごとに算出する（Ｓ３１）。本実施形態では、評価値として、カラーフィルタの透過率の補正を行う前のカラープレーンごとの輝度値を用いる。なお、評価値の算出の元となるカラープレーン画像は、２枚のカラー画像のいずれか１枚についてのカラープレーン画像であってもよいし、２枚のカラー画像を合成して得られるカラー画像についてのカラープレーン画像であってもよい。

距離算出部１４２は、評価値が最も高いカラープレーンにおける距離を、注目画素における距離として選択する（Ｓ３２）。これは、輝度値が高いカラープレーンを用いた方が、ＳＮが良く精度の高い測距結果が得られるためである。

以上の評価値算出ステップＳ３１と距離選択ステップＳ３２を、距離マップの全画素に対して行うことで、カラープレーンごとに算出された距離マップを統合した一つの距離マップが生成される。

なお、図５Ａのフローチャートでは、画素ごとに評価値算出ステップＳ３１および距離選択ステップＳ３２の処理を行っているが、全画素について評価値算出処理を行ってから、全画素について距離選択ステップＳ３２を行ってもよい。また、評価値を求めるタイミングは、距離選択ステップＳ３２の前であればどのタイミングであっても構わない。

図５Ｂは、本実施形態の距離マップ生成ステップＳ１５におけるデータの流れを説明する図である。複数のカラープレーンからなるカラー画像から、距離算出部１４２によって、カラープレーンごとに、各画素についての距離情報を含む距離マップが生成される（Ｓ２１〜Ｓ２６）。また、複数のカラープレーンからなるカラー画像から、評価値算出部１０３によって、カラープレーンごとに、各画素についての距離情報の信頼度を表す評価値が算出される（Ｓ３１）。そして、距離算出部１４２が、画素ごとに、評価値に基づいてどのカラープレーンから得られる距離情報を用いて最終的な距離マップを生成するかを決定する（Ｓ３２）。

ここで、評価値の別の算出方法を説明する。評価値として、注目画素を中心とした周辺領域の輝度値（カラーフィルタの透過率の補正前）の平均値を用いることもできる。ここで、周辺領域の大きさは、距離算出で使用する局所領域（ステップＳ２３で選択される）と同じ大きさとしてもよいし、これと異なる大きさとしてもよい。また、評価値として、カラーフィルタの透過率の補正やホワイトバランスの補正を行った後の、注目画素における輝度値や注目画素の周辺領域での平均輝度値を用いることもできる。さらに別の例として、帯域制限されたカラープレーン画像における周辺領域内での、輝度値が閾値以上であるという条件を満たす画素の数などを用いることもできる。ここでの閾値は、輝度値がそれ以上であると信頼できる距離算出が行える輝度値とすることが好ましい。

距離計測部１４が出力する距離マップに含まれる距離情報は、フォーカス位置からの相対距離であってもよいし、得られた相対距離を焦点距離および物体側におけるフォーカス距離を用いて変換した物体距離であってもよい。

本実施形態は、複数のカラープレーンから距離情報を算出し、最も信頼できる（最も評価値が高い）カラープレーンの距離情報を選択している。ある特定色のカラープレーンに基づいて距離算出を行う従来技術の手法では、当該色成分が弱い領域では精度の良い距離計測が行えないが、本実施形態では、被写体像の色によらず精度の良い距離計測が可能となる。また、複数色の画像から生成した輝度画像を用いて距離算出を行う従来技術の手法では、複数色が混じった輝度値が得られ、軸上色収差によって相関値は色によって異なる値が得られることから距離計測が正確に行えない。しかし、本実施形態ではカラープレーン別の距離計測を行っているので、光学系に軸上色収差がある場合であっても、精度の良い距離計測が可能となる。したがって、本実施形態によれば、被写体色に対するロバスト性および距離計測精度を向上させることが可能となる。

（第二実施形態）
次に、本発明の第二実施形態について説明する。第二実施形態は、カラープレーンごとに算出された距離を統合する方法（Ｓ２７）が、第一実施形態と相違する。撮像装置１の構成は第一実施形態のものと同様のため、同一の符号を用いて説明を行う。以下、第一の実施形態との処理の相違点について主に説明する。図６は、第二の実施形態における、距離統合ステップＳ２７の流れを示しフローチャートである。

評価値算出ステップＳ３１は、第一実施形態と同様である。評価値として、第一実施形態で述べた種々のものを採用可能である。以下では、評価値として、カラーフィルタの透過率の補正を行う前のカラープレーンごとの輝度値を用いる場合を例に説明する。

本実施形態では、注目画素における距離を、一つのカラープレーンから算出された距離として決定するのではなく、複数のカラープレーンから算出された距離の加重平均値として決定する。加重平均における各カラープレーン別の距離に対する重みは、各カラープレーンでの評価値に応じて決定される。距離算出部１４２は、加重平均距離算出ステップＳ３３において、まず注目画素におけるカラープレーンごとの評価値（ここでは輝度値）を用い、加重平均のための重みを算出する。カラー画像がＲＧＢ画像の場合、各カラープレーンの重みＷは数式４のように輝度値の比率で算出する。

ここで、Ｗ_Ｒ，Ｗ_Ｇ、Ｗ_Ｂはそれぞれ各カラープレーンに対する重みであり、Ｒ，Ｇ，Ｂは各カラープレーンにおける輝度値である。添字のｉは注目画素を表す。

距離算出部１４２は、算出された重みを用いて、各カラープレーンの距離マップに対し加重平均を実施する。距離算出部１４２は、このようにして算出された距離の加重平均値を注目画素における最終的な距離情報として決定する。距離算出部１４２は、以上の加重平均を用いた統合処理を距離マップの全画素に対して実行し、統合した距離マップを出力する。

上記の例では、評価値として輝度値を採用している場合を例として加重平均処理を説明したが、評価値が輝度値以外の場合であっても同様の手法によって加重平均処理ができることは明らかであろう。具体的には、数式２におけるＲ，Ｇ，Ｂを各カラープレーンにおける評価値と読み替えて、評価値の比を重みとする加重平均を最終的な距離とすればよい。

また、距離変換ステップＳ２５で算出される距離情報が像距離であり、フォーカス位置を基準とした相対距離の場合には、距離値の符号を考慮して加重平均に用いる距離情報を決定してもよい。より具体的には、距離算出部１４２は、ステップＳ３３において、各カラープレーンを用いて得られる距離情報のうち、フォーカス位置を基準とした相対距離の符号が同じとなる数が多い距離情報のみを用いて、加重平均距離値を算出する。例えば、カラープレーンがＲＧＢの３色の場合で、ＲとＧのカラープレーンから得られる相対距離が正であり、Ｂのカラープレーンから得られる相対距離が負の場合には、ＲとＧのカラープレーンから得られる距離情報のみを用いて加重平均距離値が算出される。この際の重みは、加重平均に用いられるカラープレーンの評価値に基づいて決定される。カラープレーンの数が３より多い場合でも同様である。

このように相対距離の符号を考慮した加重平均を行うことで、フォーカス近傍において算出した距離に含まれる誤差による符号の違いが生じた場合に、加重平均で距離を統合する際の誤差の混入を防ぐことができる。また、フォーカスから大きく外れた距離においてノイズなどにより符号の反転が生じた場合、距離統合時に異なる符号が含まれることで精度が大きく低下する。このように評価値の算出時に符号を考慮することで、加重平均による距離統合時の精度低下を防ぐことができる。

なお、カラープレーン数が偶数であり、正負どちらの符号の距離値を与えるカラープレーンの数も同数であった場合には、次のような処理を行うことができる。例えば、正負どちらかの符号を適宜選択して、選択された符号の距離情報のみを用いて加重平均を取ることが考えられる。この際、評価値の平均値や最大値が大きい方の符号の相対距離を選択するようにしても良い。また、いずれの場合も、算出した距離の信頼度が低いといったデータを付加するなどの対応を行うことも好ましい。

本実施形態によれば、距離統合処理で距離選択されるカラープレーンが異なる境界において、カラープレーンごとの距離変換誤差によって生じる誤差による距離段差を、加重平均を用いることで軽減することができる。また、ノイズや距離変換誤差で生じる像距離の符号エラーが生じた場合、同符号の距離のみを用いて加重平均を行うことで、統合時の距離劣化を低減することが可能となる。

（第三実施形態）
本発明の第三実施形態について説明する。第三実施形態は、カラープレーンごとに算出された距離を統合する方法（Ｓ２７）において、距離算出の際に求められた相関値を考慮する点で、第一実施形態および第二実施形態と相違する。第三実施形態における撮像装置１の構成は、第一実施形態および第二実施形態と同様のため、同一の符号を用いて説明を行う。以下、第一実施形態および第二実施形態との処理の相違点について主に説明する。

図７Ａおよび図７Ｂは、本実施形態における、距離統合ステップＳ２７の流れを示したフローチャートである。図７Ａは第一実施形態を基にした処理の例を示し、図７Ｂは第二実施形態を基にした処理の例を示す。

本実施形態では、カラープレーンごとに距離を算出する際の相関値（図３のステップＳ２４および数式１等参照）が高いカラープレーンの距離情報は、距離統合処理に用いない。ぼけの大きさが同程度の領域では相関値が高くなるが、ノイズによる相関値の低下が大きくなるため、予め保持した距離変換テーブルや変換式にしたがって得られる距離の誤差も大きくなる場合がある。このように相関値が高い場合は距離計測誤差が大きくなるため、高い相関値から得られた距離を距離統合に用いないようにすることで、距離算出の向上を図れる。

ここで、光学系に軸上色収差が残存していると、カラープレーンにより高相関となる被写体距離が異なる。よって、一つのカラープレーンで相関が高くても、他のカラープレーンは相関が高くないため、少なくともいずれかのカラープレーンは信頼できる相関値を持っており距離計測に利用できる。

評価値算出部１４１は、高相関判定ステップＳ４１において、各カラープレーンについて算出された相関値が、所定の閾値よりも大きいか否かを判定する。この閾値は、相関値がそれよりも高ければ、ノイズの影響により距離算出誤差が大きくなると推定される値である。評価値算出部１４１は、評価値算出ステップＳ３１において、相関値が所定の閾値よりも大きいと判定されたカラープレーンについては、評価値を０（最低値）とする。そして、距離算出部１４２は、このように決定された評価値を用いて、距離選択ステップＳ３２や加重平均距離算出ステップＳ３３を実施する。これらのステップにおける処理は第一実施形態および第二実施形態と同様である。本実施形態では、上記のように評価値を決定しているので、相関値が上記閾値以下であるカラープレーンから得られる距離情報を用いて注目画素における距離情報を算出できる。

なお、評価値自体は第一実施形態および第二実施形態と同様に算出し、距離選択ステップＳ３２や加重平均距離値算出ステップＳ３３において相関値が閾値より大きい距離情報を用いないようにしても同様の効果が得られる。

本実施形態によれば、高相関領域においても精度良く距離情報を算出することができる。上述したように、光学系に軸上色収差がある場合には、あるカラープレーンでは相関が高くても、別のカラープレーンでは相関が高くない。本実施形態では、ノイズによる測距
性能の低下が少ないカラープレーンから得られる情報に基づいて最終的な距離マップを生成するので、精度低下を避けることができる。

（第四実施形態）
本発明の第四実施形態では、画素ごとに距離計測に利用するカラープレーンを決定し、利用するカラープレーンについてのみ距離算出を行う。第一実施形態と比較して、全てのカラープレーンについて距離算出を行わない点で相違する。

第四実施形態における撮像装置１の構成は、第一実施形態と同様である。以下、第一実施形態との処理の相違点について説明する。図８は、第四実施形態における、距離マップ生成ステップＳ１５の流れを示したフローチャートである。

距離計測部１４にカラー画像が入力されると、評価値算出部１４１が評価値算出ステップＳ５１を実行する。評価値算出ステップＳ５１は、第一実施形態の評価値算出ステップＳ３１（図５Ａ）と同様に、カラープレーンごとおよび画素ごとに評価値を算出する処理である。具体的な評価値としては、各カラープレーンにおける輝度値など、第一の実施形態で説明した種々のものを採用できる。

次に距離算出部１４２が、入力されたカラー画像に対して帯域制限ステップＳ５２および領域選択ステップＳ５３を実行する。これらの処理は第一実施形態の帯域制限ステップＳ２２および領域選択ステップＳ２３と同様の処理である。

距離算出部１４２は、カラープレーン選択ステップＳ５４において、評価値算出ステップＳ３１で算出された評価値をもとに、注目画素においてどのカラープレーンを距離計測に用いるか選択を行う。具体的には、距離算出部１４２は、注目画素において最も高い評価値をとるカラープレーンを距離計測に用いると決定する。

距離算出部１４２は、選択されたカラープレーンに対して、相関演算ステップＳ５５および距離変換ステップＳ５６を実行する。これらの処理は第一実施形態の相関演算ステップＳ２４および距離変換ステップＳ２５と同様の処理のため説明は省略する。なお、第三実施形態と同様の効果を得るために、相関演算ステップＳ５５において算出された相関値が所定の閾値よりも大きい場合には、次に評価値が大きいカラープレーンを用いて相関値演算をやり直すこともできる。

終了判定ステップＳ５７では、距離マップの全画素に対して処理が完了したかの判定を行う。全画素の処理が完了するまで、領域選択ステップＳ５３から距離変換ステップＳ５６までの処理を繰り返す。全画素の距離算出が完了したら終了して距離マップを出力する。

なお、領域選択とカラープレーン選択の処理の順序を変えても同様の距離マップ生成が行える。具体的には、まずカラープレーンを選択してから、当該カラープレーンで評価値が最高となる画素について当該カラープレーンを用いて距離情報を算出すればよい。この処理を、全てのカラープレーンについて実行することで、上記と同様の効果が得られる。

本実施形態における距離計測部１４は、いずれのカラープレーンからも距離情報が算出可能であるが、カラープレーン別に全ての画素において距離を算出せず必要なカラープレーンについてのみ距離算出を行うので演算量を削減できる。さらに、複数の距離の統合処理が不要な点でも演算量を削減できる。よって、一つのカラープレーンの距離マップを算出する演算量と同等の演算量で、被写体の色にロバストな距離マップを生成することが可
能となる。

（第五実施形態）
本発明の第五実施形態では、位相差方式を用いて距離計測を行う場合に関して述べる。ここでまず、本発明の第五実施形態に係る撮像装置１に含まれる撮像素子１１に関して説明する。図９は撮像素子を説明する図である。図９Ａにおいて、画素群２０１及び画素群２０２はそれぞれ２行×２列の４つの画素から構成される。。画素群２０１内には、対角方向に緑画素２０１Ｇｖが配置され、もう一方の対角方向に赤画素２０１Ｒｖと青画素２０１Ｂｖが配置されている。同様に画素群２０２内にも、対角方向に緑画素２０２Ｇｈが、他方には赤画素２０２Ｒｈと青画素２０２Ｂｈが配置されている。これらの二種類の画素群が撮像素子１１上に市松模様状に配置されている。

図９Ｂに、画素群２０１におけるＶ−Ｖ’概略断面図を示す。２０１ＭＬはマイクロレンズ、２０１ＣＦはカラーフィルタ、そして２０１Ａ及び２０１Ｂは光電変換部である。図９Ｃに、画素群２０２におけるＨ−Ｈ’概略断面図を示す。２０２ＭＬはマイクロレンズ、２０２ＣＦはカラーフィルタ、そして２０２Ａ及び２０２Ｂは光電変換部である。また、図９Ｂ及び図９Ｃにおいて、２１０は受光面であり、光電変換部の光入射側のｘｙ面（＋ｚ側の面）である。図９Ｂでは緑画素２０１Ｇｖと青画素Ｂｖの構造を示しているが、赤画素２０１Ｒｖも同様の構造を有している。また、図９Ｃでは緑画素２０２Ｇｈと青画素２０２Ｂｈの構造を示しているが、赤画素２０２Ｒｈも同様の構造を有している。

本変形形態の撮像素子１１では、１つの画素（緑画素などの各画素）内に光電変換部を２つ配置し、受光面２１０と射出瞳が光学的に共役関係になるようにマイクロレンズ２０１ＭＬ、２０２ＭＬのパワーを設定している。このような配置とすることで、光電変換部２０１Ａと２０１Ｂ（及び２０２Ａと２０２Ｂ）では、それぞれ、射出瞳の異なる領域ＥＰＡ，ＥＰＢを通過した光束を受光することができる。また、画素群２０１と画素群２０２では、２つの光電変換部の配置が９０°回転している。このような構成とすることで、画素群２０１と画素群２０２では射出瞳を異なる方向に分割した領域を通過した光束を光電変換部で受光することとなる。これにより、画素群２０１と画素群２０２では異なる方向にコントラスト変化のある被写体に対して被写体距離の検出を行うことができる。

各画素群における２つの光電変換部で受光した光から生成される像信号をそれぞれＡ像、Ｂ像として取得する。Ａ像とＢ像は第一のカラー画像および第二のカラー画像に相当する。

次に生成したＡ像とＢ像から位相差方式によって距離計測を行う方法を説明する。図１０は、位相差方式による距離計測処理の流れを示したフローチャート図である。

位相差方式では、Ａ像とＢ像の像ずれ量ｒを検出することで、被写体像のデフォーカス量Ｄｅｆを検出することが可能となる。像ずれ量ｒの検出は、Ａ像とＢ像の相関演算によって求める（ステップＳ１２１）。相関演算は公知の手法を用いることができ、例えば数式５により相関値Ｃ（ｋ）を算出し、Ｃ（ｋ）＝０となるｋから、像ずれ量ｒを算出することをできる。

ここで、Ａ（ｉ）はＡ像の像信号、Ｂ（ｉ）はＢ像の像信号、ｉは画素番号、ｋはＡ像とＢ像の相対シフト量である。ｍは、相関値Ｃ（ｋ）の演算に用いる対象画素範囲を表して
いる。

次に、算出された像ずれ量ｒを数式６に代入することでデフォーカス量Ｄｅｆを算出する（ステップＳ１２２）。

ここでｗは基線長（射出瞳ＥＰＡと射出瞳ＥＰＢの中心間隔）であり、Ｚは撮像素子から射出瞳までの距離である。

距離計測に用いたＡ像、Ｂ像の全面に対して、同様の処理を行うことでデフォーカス量による距離画像を生成することができる。また、算出したデフォーカス量を撮影時のパラメータを用いて被写体までの距離に換算し、距離画像を生成することもできる。距離計測に用いるＡ像およびＢ像は、画素群２０１および画素群２０２のいずれか一方から得られるものであってよい。あるいは、画素群２０１から得られるＡ像およびＢ像と画素群２０２から得られるＡ像およびＢ像のそれぞれについて距離計測を行い、各位置において距離計測の信頼度の高い方の距離を選択して距離画像を生成してもよい。

本実施形態における距離計測の信頼度として、カラープレーンごとの輝度値、テクスチャの有無（テクスチャが多いほど高信頼度）、あるいはこれらの組み合わせが利用できる。

以上の距離計測方法をＲＧＢのカラープレーンごとに実行することで、カラープレーン毎に距離算出が可能となる。各カラープレーンの距離情報は、カラープレーン毎の焦点位置の違いによる算出距離情報のずれを補正する。この補正は、レンズの設計データを用いて行う。距離の選択や統合に関しては第一実施形態から第四実施形態に示した方法と同様に行うことができる。

上記の説明では撮像素子１１が瞳分割方向の異なる画素群２０１と画素群２０２を同数有する例を示したが、画素群２０１と画素群２０２の数は異なっていてもよいし、画素群２０１と画素群２０２のいずれか一方のみを採用してもよい。また上記の説明では画素に入射する光を光電変換部に集光するためにマイクロレンズを用いる例を示したが、マイクロレンズの代わりに導波路を用いて入射光を集光してもよい。あるいは、マイクロレンズと導波路の両方を用いて入射光を集光してもよい。

（その他の実施例）
なお、各実施形態の説明は本発明を説明する上での例示であり、本発明は、発明の趣旨を逸脱しない範囲で適宜変更または組み合わせて実施することができる。例えば、本発明は、上記処理の少なくとも一部を含む撮像装置として実施することもできるし、撮像手段を有さない距離計測装置として実施することもできる。また、距離計測方法として実施することもできるし、当該距離計測方法を距離計測装置に実行させる画像処理プログラムとして実施することもできる。各実施形態で説明した処理や手段などの各要素技術は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。

また、実施形態の説明では、撮像装置が二枚の画像を取得する例を述べたが、取得する画像は三枚以上であってもよい。この場合、撮影した画像から二画像を選択して距離計測を行う。三枚以上の画像を取得することで、距離計測可能な範囲が広くなるといった効果や、距離精度が向上するといった効果を得ることができる。

上述した本発明の距離計測技術は、例えば、デジタルカメラやデジタルカムコーダなどの撮像装置、あるいは撮像装置で得られた画像データに対し画像処理を施す画像処理装置やコンピュータなどに好ましく適用できる。また、このような撮像装置或いは画像処理装置を内蔵する各種の電子機器（携帯電話、スマートフォン、スレート型端末、パーソナルコンピュータを含む）にも本発明を適用することができる。

また、実施形態の説明では、撮像装置本体に距離計測の機能を組み込んだ構成を示したが、距離計測は撮像装置以外で行ってもよい。たとえば、撮像装置を有するコンピュータに距離計測の機能を組み込み、撮像装置で撮影した画像をコンピュータが取得して、距離の算出を行うようにしてもよい。また、有線あるいは無線によりネットワークアクセス可能なコンピュータに距離計測の機能を組み込み、当該コンピュータがネットワークを介して複数枚の画像を取得し、距離計測を行うようにしてもよい。

得られた距離情報は、例えば、画像の領域分割、立体画像や奥行き画像の生成、ボケ効果のエミュレーションなどの各種画像処理に利用することができる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

この目的のために、上記プログラムは、例えば、ネットワークを通じて、又は、上記記憶装置となり得る様々なタイプの記録媒体（つまり、非一時的にデータを保持するコンピュータ読取可能な記録媒体）から、上記コンピュータに提供される。したがって、上記コンピュータ（ＣＰＵ、ＭＰＵ等のデバイスを含む）、上記方法、上記プログラム（プログラムコード、プログラムプロダクトを含む）、上記プログラムを非一時的に保持するコンピュータ読取可能記録媒体は、いずれも本発明の範疇に含まれる。

１４ 距離計測部
１４１ 相関値算出部
１４２ 距離算出部

Claims (23)

1. 第一のカラー画像と第二のカラー画像に基づき、被写体の距離情報を算出する距離計測装置であって、
   前記二つのカラー画像を用いて各カラープレーンにおいて注目画素の距離情報をそれぞれ算出可能な距離算出手段と、
   前記注目画素における距離情報の信頼度を表す評価値をカラープレーンごとに算出する評価値算出手段と、
   を有し、
   前記距離算出手段は、前記評価値に基づいて、どのカラープレーンに基づいて前記注目画素の距離情報を算出するかを決定する、
   距離計測装置。
2. 前記評価値算出手段は、前記注目画素におけるカラープレーンの評価値を、前記二つのカラー画像のいずれか１つまたはこれらを合成して得られる画像の当該カラープレーンでの、前記注目画素における輝度値または前記注目画素の周辺領域の輝度値の平均値として算出する、
   請求項１に記載の距離計測装置。
3. 前記評価値算出手段は、前記注目画素におけるカラープレーンの評価値を、前記二つのカラー画像のいずれか１つまたはこれらを合成して得られる画像の当該カラープレーンにおける前記注目画素の周辺領域内での、輝度値が所定の閾値以上であるという条件を満たす画素の数として算出する、
   請求項１に記載の距離計測装置。
4. 前記距離算出手段は、前記評価値が最も高いカラープレーンを用いて前記注目画素の距離情報を算出する、
   請求項１から３のいずれか１項に記載の距離計測装置。
5. 前記距離算出手段は、複数の画素のそれぞれについて、各カラープレーンを用いて複数の距離情報を算出し、画素ごとに前記評価値が最も高いカラープレーンを用いて得られる距離情報を当該画素の距離情報として選択する、
   請求項１から４のいずれか１項に記載の距離計測装置。
6. 前記距離算出手段は、画素ごとに前記評価値が最も高いカラープレーンを選択し、選択されたカラープレーンを用いて距離情報を算出する、
   請求項１から４のいずれか１項に記載の距離計測装置。
7. 前記距離算出手段は、各カラープレーンを用いて得られる距離情報を前記評価値に応じて加重平均した値を、前記注目画素の距離情報として算出する、
   請求項１から３のいずれか１項に記載の距離計測装置。
8. 前記距離算出手段は、各カラープレーンを用いて得られる距離情報のうち、フォーカス位置を基準とした距離の符号が同じとなる数が多い距離情報のみを用いて、加重平均を行う、
   請求項７に記載の距離計測装置。
9. 前記距離算出手段は、二つのカラー画像の１つのカラープレーン間の相関値を算出し、カラープレーンごとに異なる変換テーブルまたは変換式により、前記相関値から距離情報を算出する、
   請求項１から８のいずれか１項に記載の距離計測装置。
10. 前記距離算出手段は、前記相関値が閾値以下であるカラープレーンを用いて前記注目画素の距離情報を算出する、
    請求項９に記載の距離計測装置。
11. 前記距離算出手段は、二つのカラー画像の各カラープレーンにおいて位相差の違いから距離情報を算出する、
    請求項１から８のいずれか１項に記載の距離計測装置。
12. 撮像光学系と、
    複数のカラープレーンからなるカラー画像を取得する撮像素子と、
    請求項１から１１のいずれか１項に記載の距離計測装置と、
    を有する、撮像装置。
13. 第一のカラー画像と第二のカラー画像に基づき、被写体の距離情報を算出する距離計測装置が行う距離計測方法であって、
    注目画素における距離情報の信頼度を表す評価値をカラープレーンごとに算出する評価値算出ステップと、
    前記評価値に基づいて決定されるカラープレーンから得られる距離情報を用いて、前記注目画素の距離情報を算出する距離算出ステップと、
    を含む、距離計測方法。
14. 前記評価値算出ステップにおいて、前記注目画素におけるカラープレーンの評価値は、前記二つのカラー画像のいずれか1つまたはこれらを合成して得られる画像の当該カラー
    プレーンでの、前記注目画素における輝度値または前記注目画素の周辺領域の輝度値の平均値として算出される、
    請求項１３に記載の距離計測方法。
15. 前記評価値算出ステップにおいて、前記注目画素におけるカラープレーンの評価値は、前記二つのカラー画像のいずれか1つまたはこれらを合成して得られる画像の当該カラー
    プレーンでの、前記注目画素の周辺領域内における輝度値が所定の閾値以上の画素数として算出される、
    請求項１３に記載の距離計測方法。
16. 前記距離算出ステップにおいて、前記評価値が最も高いカラープレーンを用いて前記注目画素の距離情報が算出される、
    請求項１３から１５のいずれか１項に記載の距離計測方法。
17. 前記評価値算出ステップにおいて、複数の画素について前記評価値が算出され、
    前記距離算出ステップは、
    複数の画素のそれぞれについて、各カラープレーンを用いて複数の距離情報を算出するステップと
    画素ごとに、前記評価値に基づいて決定されるカラープレーンを用いて得られる距離情報を当該画素の距離情報として選択するステップと、
    を含む、請求項１３から１６のいずれか１項に記載の距離計測方法。
18. 前記評価値算出ステップにおいて、複数の画素について前記評価値が算出され、
    前記距離算出ステップにおいて、画素ごとに、前記評価値に基づいて決定されるカラープレーンを用いて当該画素の距離情報を算出する、
    請求項１３から１６のいずれか１項に記載の距離計測方法。
19. 前記距離算出ステップにおいて、各カラープレーンを用いて得られる距離情報を前記評価値に応じて加重平均した値を、前記注目画素の距離情報として算出する、
    請求項１３から１５のいずれか１項に記載の距離計測方法。
20. 前記距離算出ステップにおいて、各カラープレーンを用いて得られる距離情報のうち、フォーカス位置を基準とした距離の符号が同じとなる数が多い方の距離情報のみを用いて、加重平均を行う、
    請求項１９に記載の距離計測方法。
21. 前記距離算出ステップにおいて、二つのカラー画像の１つのカラープレーン間の相関値を算出し、カラープレーンごとに異なる変換テーブルまたは変換式により、前記相関値から距離情報を算出する、
    請求項１３から２０のいずれか１項に記載の距離計測方法。
22. 前記距離算出ステップにおいて、前記相関値が閾値以下であるカラープレーンを用いて前記注目画素の距離情報を算出する、
    請求項２１に記載の距離計測方法。
23. 請求項１３から２２のいずれか１項に記載の方法の各ステップをコンピュータに実行させるためのプログラム。

Images