JP7206602B2 - 撮像装置、車両、及び撮像方法 - Google Patents

Description

本発明は、撮像装置、車両、及び撮像方法に関する。

車載や監視などの用途では、ステレオカメラ等を用いて得ることができる３次元情報を利用した空間認識や環境認識が盛んになっている。ステレオカメラ等では、基準とする一方の画像内の画素群と、他方の画像の画素群とから、画像間の相対的な画素群のずれ量である視差を算出する。算出した視差に基づく三角測量により、被写体までの距離を測定する。

ステレオカメラでは、視野の広さと距離の測定分解能はトレードオフの関係にあり、これらを両立させることは課題のひとつとなっている。視野が広く、高精度な距離測定を行うステレオカメラとして、例えば、空間分解能は低いが視野の広いカメラと、視野は狭いが空間分解能の高いカメラとを有するステレオカメラで距離を測定する技術が開示されている（例えば、特許文献１参照）。

しかしながら特許文献１のステレオカメラ等の異なる空間分解能の画像を取得する複数のカメラを有し、被写体との距離を測定する撮像装置では、一方のカメラの空間分解能が低いために、撮像装置で取得される距離画像の空間分解能が低くなってしまうという問題があった。

本発明は、上記の点に鑑みてなされたものであって、異なる空間分解能の画像を取得する複数のカメラを有し、被写体との距離を測定して距離画像を形成する撮像装置において、距離画像の空間分解能を向上させることを課題とする。

開示の技術の一態様に係る撮像装置は、所定の視野で第１の空間分解能を有する第１の画像を取得するカメラと、前記第１の空間分解能より低い第２の空間分解能を有する第２の画像を取得するカメラと、が所定の配列方向に所定の間隔で配列され、前記第１の画像と、前記第２の画像と、に基づき測定された被写体との距離から、距離画像を形成する撮像装置であって、前記距離画像は、前記配列方向において、前記第２の空間分解能を有し、前記配列方向と交差する方向において、前記第１の空 間分解能を有することを特徴とする。

本発明の実施形態によれば、異なる空間分解能の画像を取得する複数のカメラを有し、被写体との距離を測定して距離画像を形成する撮像装置において、距離画像の空間分解能を向上させることができる。

第１の実施形態の撮像装置の構成の一例を示す図である。 第１の実施形態の撮像装置で取得される画像の一例を示す図である。 第１の実施形態の画像処理基板の構成要素を機能ブロックで示す図である。 第１の実施形態の画像領域抽出部による処理の一例を説明する図である。 第１の実施形態の画素数合わせ部による処理の一例を説明する図である。 視差の検出方法の概要を説明する図である。 コストカーブの一例を説明する図である。 第１の実施形態の視差検出部による処理の一例を説明する図である。 第１の実施形態の視差検出部による処理の一例を示すフローチャートである。 第１の実施形態の距離画像の一例を説明する図である。 第１の実施形態の画像処理基板による処理の一例を示すフローチャートである。 第２の実施形態の、撮像装置を搭載した車両の構成の一例を示す図である。

以下、図面を参照して発明を実施するための形態について説明する。各図面において、同一構成部分には同一符号を付し、重複した説明を省略する場合がある。

［第１の実施形態］
図１は、本実施形態の撮像装置の構成の一例を示す図である。

撮像装置１００は、カメラ１と、カメラ２と、画像処理基板１０とを有している。

カメラ１は、レンズ３１_１と、画像センサ３２_１と、画像センサコントローラ３３_１とを有している。カメラ２は、レンズ３１_２と、画像センサ３２_２と、画像センサコントローラ３３_２とを有している。尚、以下では、レンズ３１_１と３１_２を単にレンズ３１と称し、画像センサ３２_１と３２_２を単に画像センサ３２と称し、画像センサコントローラ３３_１～３３_Ｎを単に画像センサコントローラ３３と称する場合がある。

カメラ１は、レンズ３１_１による被写体５０の像を、画像センサ３２_１で撮像し、出力する。同様にカメラ２は、レンズ３１_２による被写体５０の像を画像センサ３２_２で撮像し、出力する。

カメラ１が備えるレンズ３１_１の焦点距離ｆ１と、カメラ２が備えるレンズ３１_２の焦点距離ｆ_２は異なっており、焦点距離ｆ_２は焦点距離ｆ_１より短い。これによりカメラ２の光学倍率は、カメラ１に対して低い。光学倍率が低いことで、カメラ２では、カメラ１に対し、視野が広い画像が取得される。またその反面で、カメラ２による画像の空間分解能は、カメラ１に対して低くなる。このような画像の視野と空間分解能については、別途詳述する。

カメラ１とカメラ２が備える画像センサ３２_１と画像センサ３２_２は同仕様のものが用いられている。同様にカメラ１が備える画像センサコントローラ３３_１と画像センサコントローラ３３_２も同仕様のものが用いられている。

画像センサ３２は、例えば撮像素子であり、撮像素子としてＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）を用いることができる。

カメラ１とカメラ２は、レンズ３１の光軸と交差する方向に配列され、ベース板上に固定されている。レンズ３１_１の光軸と、レンズ３１_２の光軸は略平行である。カメラ１とカメラ２が配列する方向において、カメラ１の備えるレンズ３１_１の光軸と、カメラ２の備えるレンズ３１_２の光軸との間隔を、基線長Ｂと称する。

尚、カメラ１とカメラ２が配列する方向は、「配列方向」の一例であり、基線長Ｂは「所定の間隔」の一例である。カメラ１とカメラ２が配列する方向と交差する方向は、「配列方向と交差する方向」の一例である。配列方向は、カメラ１とカメラ２により取得される画像の水平方向に該当し、配列方向と交差する方向は、カメラ１とカメラ２により取得される画像の垂直方向に該当する。

画像センサコントローラ３３は，画像センサ３２の露光制御、画像データの読み出し制御、外部回路との通信、及び画像データの送信等を行う。画像データは輝度画像データである。

カメラ１とカメラ２は、データバス２０及びシリアルバス２１を介して、それぞれ画像処理基板１０と接続している。

画像処理基板１０は、ＣＰＵ（Central Processing Unit）１１と、ＦＰＧＡ（Field-Programmable Gate Array）１２と、ＲＡＭ（Random Access Memory）１３と、ＲＯＭ（ReadｎOnly Memory）１４と、シリアルＩＦ（Interface）１５と、データＩＦ１６とを有している。これらはデータバス２０と、シリアルバス２１を介して相互に接続されている。

ＣＰＵ１１は、画像処理基板１０の動作を統括的に制御する。またＣＰＵ１１は、カメラ１とカメラ２で撮像した画像の画像処理や画像認識処理等を実行する。ＣＰＵ１１は、ＲＡＭ１３をワークエリア（作業領域）としてＲＯＭ１４等に格納されたプログラムを実行することで、上記の制御及び処理を実行し、後述する各種機能を実現する。尚、ＣＰＵ１１の有する機能の一部、又は全部をワイヤードロジックによるハードウェアにより実現させてもよい。

カメラ１とカメラ２による画像データは、データバス２０を通じて画像センサ３２から画像処理基板１０のＲＡＭ１３に転送される。

ＦＰＧＡ１２は、ＲＡＭ１３に保存された画像データに対してリアルタイム性が要求される処理を実行する。リアルタイム性が要求される処理とは、例えばガンマ補正，ゆがみ補正（左右画像の平行化）等の画像処理である。またＦＰＧＡ１２は、カメラ１、カメラ２による画像データに対し、ブロックマッチングによる視差演算を行って視差画像を生成する。生成された視差画像は、ＲＡＭ１３に書き戻される。

ＣＰＵ１１、及びＦＰＧＡ１２は、シリアルバス２１を通じて画像センサコントローラ３３に対し、センサ露光制御値の変更、画像読み出しパラメータ変更、及び各種設定データの送受信を行う。

シリアルＩＦ１５は、デジタルデータを1ビットずつ順次伝送、または、そのような方式を用いる接続インターフェースである。データＩＦ１６は、画像処理基板１０とＰＣ（Personal Computer）等の外部機器を接続するためのインターフェースである。

図２は、カメラ１とカメラ２で取得される画像の一例を示す図である。（ａ）は実環境における被写体を示し、（ｂ）はカメラ１で取得された画像１_Ｉｍを示し、（ｃ）はカメラ２で取得された画像２_Ｉｍを示す。被写体５０の像は、カメラ１では被写体像５０_Ｉｍ１でとして、またカメラ２では被写体像５０_Ｉｍ２として示されている。

図２に示されているように、カメラ２で取得された画像２_Ｉｍは、カメラ１で取得された画像１_Ｉｍに対して視野が広く、画像２_Ｉｍの視野の一部に画像１_Ｉｍの視野が含まれている。画像１_Ｉｍと画像２_Ｉｍとの間には、被写体までの距離と基線長Ｂに応じた視差が含まれている。尚、以下では、被写体までの距離を被写体距離と称する場合がある。

一方、被写体像５０_Ｉｍ２は被写体像５０_Ｉｍ１より小さく撮像されている。これは、被写体像５０_Ｉｍ２を構成する画素数が、同じ被写体５０の像である被写体像５０_Ｉｍ１より少なく、空間分解能が低いことを意味している。つまり画像２_Ｉｍは画像１_Ｉｍに対して空間分解能が低い。

空間分解能は、画像センサ３２の画素サイズをレンズ３１の光学倍率で除した値である。光学倍率は、およそ、レンズ３１の焦点距離を被写体距離で除した値である。従って、本実施形態では、画像１_Ｉｍと画像２_Ｉｍとの間の空間分解能の差は、レンズ３１_１とレンズ３１_２の焦点距離の差により決定されている。但し、これに限定はされない。カメラ１の画像センサ３２_１とカメラ２の画像センサ３２_２との間で画素サイズ、又は画素数等の仕様を異ならせて両者の空間分解能を異ならせてもよい。また、レンズ３１の仕様と画像センサ３２の仕様を組み合わせて異ならせてカメラ１とカメラ２の空間分解能を異ならせてもよい。

尚、本実施形態では「画素ピッチ」という用語を用いる場合があるが、「画素ピッチ」は、「画素サイズ」を光学倍率で除した空間分解能を表す用語として用いている。一方、「画素サイズ」という用語を用いる場合は、光学倍率は考慮せず、画像センサ３２の単なる画素の大きさを表している。

カメラ１は、「第１の空間分解能を有する第１の画像を取得するカメラ」の一例であり、画像１_Ｉｍは「第１の画像」の一例であり、画像１_Ｉｍの空間分解能は「第１の空間分解能」の一例である。またカメラ２は、「第１の空間分解能より低い第２の空間分解能を有する第２の画像を取得するカメラ」の一例であり、画像２_Ｉｍは「第２の画像」の一例であり、画像２_Ｉｍの空間分解能は「第２の空間分解能」の一例である。

以下では、画像１_Ｉｍの空間分解能は、画像２_Ｉｍの空間分解能の２倍である場合を例に説明する。この２倍は、水平方向に２倍、また垂直方向に２倍という意味である。

本実施形態の撮像装置１００では、このような画像１_Ｉｍと、画像２_Ｉｍとを取得し、画像処理基板１０により所定の処理を実行して距離画像を形成する。距離画像とは、距離が測定された画素、又は画素群を、二次元に配列して形成した画像である。

図３は、本実施形態の撮像装置１００の有する画像処理基板１０の構成要素を機能ブロックで示す図である。尚、図３に図示される各機能ブロックは概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。各機能ブロックの全部又は一部を、任意の単位で機能的又は物理的に分散・結合して構成することが可能である。各機能ブロックにて行われる各処理機能は、その全部又は任意の一部が、上述のＣＰＵ１１にて実行されるプログラムにて実現され、或いはワイヤードロジックによるハードウェアとして実現されうる。尚、画像処理基板１０は、「処理手段」の一例である。

画像処理基板１０は、画像領域抽出部２５と、画素数合わせ部２６と、視差検出部２７と、距離画像形成部２８とを有している。

画像領域抽出部２５は、カメラ２で取得された画像２_Ｉｍから、カメラ１で取得された画像１_Ｉｍの視野に該当する画像領域を抽出する。尚、画像領域抽出部２５は、「画像領域抽出手段」の一例である。

図４は、本実施形態の画像領域抽出部２５による上記のような画像領域の抽出の一例を説明する図である。（ａ）はカメラ１で取得された画像１_Ｉｍを示し、（ｂ）はカメラ２で取得された画像２_Ｉｍを示している。（ｂ）において破線で示されている画像領域２_ａｒｅａは、画像１_Ｉｍの視野に該当する画像領域である。（ｃ）は、このような画像領域２_ａｒｅａを、画像２_Ｉｍから抽出した結果である画像領域２２を示している。

撮像装置１００を組み付ける際に、カメラ１とカメラ２の相対位置関係は調整されており、画像１_Ｉｍの視野に該当する画像領域は、画像２_Ｉｍの所定の領域に決定されている。従って画像２_Ｉｍの所定の領域を切り出すことで、画像領域２２を抽出することができる。

図３に戻り、画素数合わせ部２６は、画像領域２２の画素数を画像２_Ｉｍの画素数に合わせる処理を実行する。尚、画素数合わせ部２６は、「画素数合わせ手段」の一例である。

図５は、本実施形態の画素数合わせ部２６による画素数を合わせる処理の一例を説明する図である。図５において、（ａ）は画像１_Ｉｍを示し、（ｂ）は、画素数合わせ処理が実行された後の画素数合わせ画像２２ａを示している。（ｂ）における画素数合わせ画像２２ａは、画像領域２２が水平方向に２倍に拡大され、また垂直方向に２倍に拡大されたものである。拡大された結果、画像１_Ｉｍを構成する画素数と画素数合わせ画像２２ａを構成する全体の画素数は一致している。

画素数合わせ画像２２ａを構成する画素に注目すると、画像領域２２を構成していた画素２２ｐの輝度は、水平、垂直、及び斜め方向の隣接画素にコピーされ、（ｂ）に破線で示し、灰色で塗り潰した画素２２ａｐは、４つの画素２２ｐで構成されている。画像領域２２を構成する全画素に対してこのような処理が実行されると、画素数合わせ画像２２ａは、画像領域２２を、水平に２倍に拡大し、また垂直方向に２倍に拡大した画像になる。尚、カメラ１とカメラ２では同仕様の画像センサ３２を用いているため、（ａ）に示される画像１_Ｉｍの画素１ｐと、（ｂ）に示される画素数合わせ画像２２ａの画素２２ｐは同じ画素サイズである。

上述のように画素１ｐの画素サイズを光学倍率で除した画素ピッチは、「第１の空間分解能」を表し、「第１の空間分解能を表す第１の画素ピッチ」の一例である。一方、画素２２ａｐ（灰色で塗った領域を示す画素）の画素サイズを光学倍率で除した画素ピッチは、「第２の空間分解能」を表し、「第２の空間分解能を表す第２の画素ピッチ」の一例である。画素数合わせ画像２２ａは、「画素数合わせ画像」の一例である。

図３に戻り、視差検出部２７は、画像１_Ｉｍと画素数合わせ画像２２ａとの間で、視差を検出する。尚、視差検出部２７は、「視差検出手段」の一例である。

ここで、視差の検出方法の概要を図６～８を用いて説明する。図６は、視差を有する画像４１_Ｉｍと画像４２_Ｉｍを示す図である。画像４１_Ｉｍと画像４２_Ｉｍには、それぞれ被写体像５１_Ｉｍが含まれている。画像４２_Ｉｍの被写体像５１_Ｉｍの位置は、視差により画像４１_Ｉｍの被写体像５１_Ｉｍの位置から視差ｄだけ画像の水平方向、すなわち配列方向にずれている。

例えば、図６において、画像４１_Ｉｍにおける被写体像５１_Ｉｍの周辺の画像領域を図中右方向、すなわち配列方向に１画素ずつシフトさせながら、シフト毎で画像４１_Ｉｍと画像４２_Ｉｍの被写体像５０_Ｉｍの周辺の画像領域の差分を計算する。画像領域の差分とは、画像領域を構成する各画素で２つの画像の輝度差を求め、この画像領域の全画素の輝度差の総和、又は平均を算出する処理である。被写体像５１_Ｉｍの視差ｄだけシフトさせた時に、このような画像領域の差分は最小になる。

図７は、被写体像５１_Ｉｍのシフトに伴う画像領域の差分の変化を説明する図である。画像４１_Ｉｍにおける被写体像５１_Ｉｍの周辺の画像領域をシフトさせると、図７に示されるように、画像領域の差分が最小になる時がある。この時のシフト値が、視差ｄの検出値となる。

画像領域の差分の最小値を求めるためには、差分が最小値となるシフト値が含まれるように、一定の範囲内で被写体像５０_Ｉｍの周辺の画像領域をシフトさせる必要があるが、この範囲を「視差探索範囲」と称する。図６、及び図７で「ＳＷ」で示されている範囲が「視差探索範囲」である。

画像領域の差分は、「類似性の評価値」の一例である。以下では、「類似性の評価値」を「コスト」と称する場合がある。またシフトに伴う画像領域の差分の変化を「コストカーブ」と称する場合がある。このようなコストカーブを取得する処理は、「視差探索処理」の一例である。

上記では簡単に説明するために、被写体像５１_Ｉｍの周辺の画像領域をシフトさせる例を示したが、画像４１_Ｉｍにおける７×７画素や１５×１５画素等の微小ブロックをシフトさせ、画像４２_Ｉｍにおける同サイズの微小ブロックとの差分を求めてもよい。微小ブロックには１×１画素のブロックも含まれる。これによれば、微小ブロック毎で被写体距離を算出できる。被写体距離が算出された微小ブロックを二次元に配列して画像を形成することで、距離画像を形成することができる。尚、微小ブロックは、「画像の一部、又は全部の画素群」の一例である。微小ブロックを用いて類似性を評価する処理は、所謂ブロックマッチング処理である。

「類似性の評価値」として、画像領域の差分の例を示したが、ブロックマッチングの「類似性の評価値」としては、公知の何れの類似性の評価値を用いても構わない。

上記では、画像４１_Ｉｍをシフトさせながら画像４２_Ｉｍとの間で「類似性の評価値」、すなわちコストを算出する例を説明したが、このようなシフトさせる画像を基準画像と称し、基準画像との間でコストを算出するための画像を比較画像と称する。上記の例では、画像４１_Ｉｍは基準画像であり、画像４２_Ｉｍは比較画像である。

画像領域を１画素ずつシフトさせるため、視差の検出値は画素数の整数値で得られる。しかし、例えばシフトに伴うコストの変化を多項式に近似し、多項式を用いて最小値を算出したりすれば、小数単位で視差を算出することも可能である。このように、視差の検出値を小数単位、すなわちサブピクセルのオーダーで求めることにより、被写体距離の測定分解能を向上させることができる。

図８は、本実施形態の視差検出部２７による処理の一例を説明する図である。（ａ）は画像１_Ｉｍを示し、（ｂ）は画素数合わせ画像２２ａを示している。図中矢印で示されているＸ方向は画像の水平方向であり、Ｙ方向は画像の垂直方向である。従って、Ｘ方向は配列方向に該当し、Ｙ方向は配列方向と交差する方向に該当する。

（ａ）における画素１ｐ（ｉ、ｊ）、１ｐ（ｉ＋３、ｊ）、及び１ｐ（ｉ、ｊ＋１）は画像１_Ｉｍの画素を示し、括弧内の表示のうち、ｉはＸ座標、ｊはＹ座標を示している。画素１ｐ（ｉ＋３、ｊ）は、画素１ｐ（ｉ、ｊ）に対しＸ方向に３画素ずれていることを表し、画素１ｐ（ｉ、ｊ＋１）は、画素１ｐ（ｉ、ｊ）に対しＹ方向に１画素ずれていることを表している。

（ｂ）における画素２２ａｐ（ｍ、ｎ）、２２ａｐ（ｍ＋１、ｎ）も（ａ）と同様に、画素数合わせ画像２２ａの画素を示し、括弧内の表示のうち、ｍはＸ座標、ｎはＹ座標を示している。画素２２ａｐ（ｍ＋１、ｎ）は、画素２２ａｐ（ｍ、ｎ）に対しＸ方向に１画素ずれていることを表している。

本実施形態では、画素数合わせ画像２２ａを基準画像とし、画像１_Ｉｍは比較画像とする。

（ｃ）は、比較画像である画像１_Ｉｍとの間でコストを算出するために、基準画像である画素数合わせ画像２２ａの画素２２ａｐ（ｍ，ｎ）を、画像１_Ｉｍの左上の画像領域に適用した例を示している。この場合の微小ブロックは１×１画素のブロックサイズである。微小ブロックは、「画素数合わせ画像の一部」の一例である。

（ｃ）において、画素１ｐ（ｉ、ｊ）、１ｐ（ｉ＋１、ｊ）、１ｐ（ｉ、ｊ＋１）、及び１ｐ（ｉ＋１、ｊ＋１）の輝度の平均値と、画素２２ａｐ（ｍ、ｎ）の輝度値との間でコストを算出する。

次に（ｄ）は、（ｃ）に対して画素２２ａｐ（ｍ，ｎ）をＸ方向にシフトさせた例を示している。この場合、コストは、画素１ｐ（ｉ＋１、ｊ）、１ｐ（ｉ＋２、ｊ）、１ｐ（ｉ＋１、ｊ＋１）、及び１ｐ（ｉ＋２、ｊ＋１）の輝度の平均値と、画素２２ａｐ（ｍ、ｎ）の輝度値との間で算出される。視差検出部２７はこのようにＸ方向にシフトさせながら、コストを算出してコストカーブを算出する。すなわち視差検出部２７は視差探索処理を実行する。

次に（ｅ）は、（ｃ）に対して画素２２ａｐ（ｍ，ｎ）をＹ方向に、画素１ｐ分ずらした例を示している。この場合、コストは、画素１ｐ（ｉ、ｊ＋１）、１ｐ（ｉ＋１、ｊ＋１）、１ｐ（ｉ、ｊ＋２）、及び１ｐ（ｉ＋１、ｊ＋２）の輝度の平均値と、画素２２ａｐ（ｍ、ｎ）の輝度値との間で算出される。

次に（ｆ）は、（ｅ）に対して画素２２ａｐ（ｍ，ｎ）をＸ方向にシフトさせた例を示している。この場合、コストは、画素１ｐ（ｉ＋１、ｊ＋１）、１ｐ（ｉ＋２、ｊ＋１）、１ｐ（ｉ＋１、ｊ＋２）、及び１ｐ（ｉ＋２、ｊ＋２）の輝度の平均値と、画素２２ａｐ（ｍ、ｎ）の輝度値との間で算出される。視差検出部２７はこのように、Ｙ方向に画素１ｐ分ずらした領域において、Ｘ方向にシフトさせながら、コストを算出してコストカーブを算出する。すなわち視差検出部２７は、Ｙ方向に画素１ｐ分ずらした領域において、視差探索処理を実行する。

以上のように、本実施形態の視差検出部２７は、基準画像である画素数合わせ画像２２ａの微小ブロックを、画素１ｐの画素ピッチでシフトさせ、シフト毎で、画素２２ａｐの画素ピッチで構成された画像に対してコストを算出する。すなわち視差探索処理を実行する。また視差検出部２７は、Ｙ方向に画素１ｐの画素ピッチずつずらして、視差探索処理を実行する。

上述のように画素１ｐは第１の空間分解能を表す第１の画素ピッチであり、画素２２ａｐは第２の空間分解能を表す第２の画素ピッチである。そのため、本実施形態の視差検出部２７は、画素数合わせ画像２２ａの一部、又は全部の画素群を、配列方向に第１の画素ピッチでシフトさせ、シフト毎で、コストを算出する視差探索処理を実行している。

また視差検出部２７は、画素数合わせ画像２２ａの一部、又は全部の画素群を、配列方向と交差する方向に、第１の画素ピッチでずらしながら、視差探索処理を実行している。

さらに視差検出部２７は、視差探索処理においては、第２の画素ピッチで構成される画像に対してコストを算出している。

基準画像の微小ブロックをシフトさせながらコストを算出することで、微小ブロック毎で、図７に示されるようなコストカーブが得られる。コストが最小となる時のシフト量から視差が算出される。

尚、視差探索処理では、コストの最小値が得られるシフトが視差探索範囲内に含まれるように、視差探索処理を実行する度に視差探索範囲（画素数）を適正化する処理を行う場合がある。本実施形態において、図８（ｃ）及び（ｄ）の視差探索処理と、図８（ｅ）及び（ｆ）の視差探索処理は、Ｙ方向に画素１ｐだけずれた画素に対する処理である。比較画像において、図８（ｃ）及び（ｄ）で対象とする画素と、図８（ｅ）及び（ｆ）で対象とする画素は、第２の画素ピッチで視差探索処理を行う場合には同一の画素であり、視差探索範囲はほぼ一致すると考えられる。そのため、図８で示した例のようなケースでは、図８（ｅ）及び（ｆ）のようなＹ方向のシフト量が奇数になる行の視差探索処理の探索範囲を図８（ｃ）及び図８（ｄ）で図示されているような偶数行(Ｙ方向±１行)で算出した視差から決定することで視差探索範囲を適正化し、処理を効率化する。

また上記では、画素１ｐ（ｉ、ｊ）、１ｐ（ｉ＋１、ｊ）、１ｐ（ｉ、ｊ＋１）、及び１ｐ（ｉ＋１、ｊ＋１）の４つの画素の輝度の平均値をコストの算出に用いる例を示したが、これに限定はされない。例えば４つの画素の輝度の総和を用いてもよいし、４つの画素のうちの１つの画素の輝度を、４つの画素の輝度の代表値として用いても構わない。

図９は、本実施形態の視差検出部２７による処理の一例を示すフローチャートである。

先ず、視差検出部２７は、基準画像である画素数合わせ画像２２ａの微小ブロックをシフトさせながら、比較画像である画像１_Ｉｍとの間でコストを算出し、コストカーブを算出する（ステップＳ１００１）。

次に、視差検出部２７は、算出したコストカーブから、コストが最小となる時のシフトの整数値を求める（ステップＳ１００３）。本実施形態では、このシフトは、第１の画素ピッチで求めることができる。

次に、視差検出部２７は、コストカーブとシフトの整数値に基づき、サブピクセル推定を行う（ステップＳ１００５）。すなわち、コストが最小となる時、及びその前後のシフトの整数値及びコスト値から、等角直線法やパラボラフィッティング法等を用いてサブピクセル推定を行う。またＥＥＣ（サブピクセル推定誤差低減手法;Estimation Error Cancel method）法や、これに等角直線法、又はパラボラフィッティング法組み合わせた等角直線ＥＥＣ法やパラボラＥＥＣ法を用いてもよい。

所定の注目画素において、最小のコスト値をＣｏｓｔ_ｍｉｎとし、その近傍のコスト値をＣｏｓｔ_{ｍｉｎ＋１}、Ｃｏｓｔ_{ｍｉｎ―１}とすると、パラボラフィッティングのサブピクセル推定により、視差d_paraは以下の（１）式から算出することができる。

d_para＝（Ｃｏｓｔ_{ｍｉｎ－１}-Ｃｏｓｔ_{ｍｉｎ＋１}）/｛２×(Ｃｏｓｔ_{ｍｉｎ－１}－２×Ｃｏｓｔ_ｍｉｎ+Ｃｏｓｔ_{ｍｉｎ＋１})｝ （１）
尚、視差検出部２７は、画素数合わせ画像２２ａをシフトさせる際、画素数合わせ画像２２ａの微小ブロックをシフトさせる場合は、微小ブロックとなる領域をずらしながら、コストカーブを算出する。視差検出部２７は、画素数合わせ画像２２ａを構成する全ての微小ブロックに対してコストカーブを算出し、サブピクセル推定して視差を算出する。

第１の空間分解能を表す第１の画素ピッチで視差探索処理を実行するため、第１の画素ピッチで視差が検出され、またサブピクセル推定される。

図３に戻り、距離画像形成部２８は、このようにして検出された視差ｄと基線長Ｂに基づき、次の（２）式を用いて被写体距離Ｄを算出する。

Ｄ＝（Ｂ×ｆ_２）／（ｄ×Δ） （２）
但し、ｆ_２はレンズ３１_２の焦点距離、Δは、画像センサ３２の画素サイズである。尚、距離画像形成部２８は、「距離画像形成手段」の一例である。

本実施形態では、第１の画素ピッチで視差探索処理を行うため、距離分解能は、第１の空間分解能で測定した場合の距離の測定分解能が得られる。つまり、カメラ２で取得される画像は、焦点距離がｆ_２のレンズを用いて取得される画像となる。しかし、上述の視差探索処理を実行することで、ｆ_２の２倍である焦点距離ｆ_１のレンズを用いて取得される画像により距離を測定した場合と同等の測定分解能が得られる。

距離画像形成部２８は、距離を例えば画素輝度に置き換え、微小ブロック毎の距離を表す画素輝度を、二次元に配列して距離画像を形成し、出力する。

図１０は、本実施形態の距離画像の一例を説明する図である。破線で示されている画素２２ａｐは、第２の空間分解能を表す第２の画素ピッチを示している。横線ハッチングで示されている画素２３と、斜線ハッチングで示されている画素２４は、視差が算出され、（２）式により距離が算出された画素を示している。

本実施形態では、Ｙ方向に画素１ｐ、すなわち第１の画素ピッチずつずらして、視差探索処理を実行する。そのため、図示されているように、画素２３と画素２４は、Ｙ方向において画素２２ａｐに対して半分の画素ピッチ、つまり第１の画素ピッチとなっている。従って距離画像は、Ｙ方向、すなわち配列方向と交差する方向において、第１の空間分解能を有しており、第２の空間分解能に対して空間分解能が向上している。

また算出した視差はそのまま用いるだけでなく多項式フィッティングなどを用いて算出してもよい。

上述では図８（ａ）のｊ＋１のラインは図８（ｂ）のｎ行のラインと視差探索しているが、それに加えてｎ＋１行のラインと視差探索し、ｊ＋１のラインの位置を重みとして加重平均などを用いて視差値を求めてもよい。このようにすることで、空間分解能差が２倍以上になったときにより精度のよい視差算出ができる。

図１１は、本実施形態の画像処理基板１０による処理の一例を示すフローチャートである。

先ず、カメラ１とカメラ２はそれぞれ被写体の画像を取得する（ステップＳ１２０１）。

次に、画像領域抽出部２５は、カメラ２で取得された画像２_Ｉｍから、カメラ１で取得された画像１_Ｉｍの視野に該当する画像領域２_ａｒｅａを抽出し、画像領域２２を取得する。画像領域抽出部２５は、画像領域２２を画素数合わせ部２６に出力する（ステップＳ１２０３）。

次に、画素数合わせ部２６は、画像領域２２の画素数を画像２_Ｉｍの画素数に合わせる処理を実行する。画素数合わせ部２６は、画像１_Ｉｍと画素数合わせ画像２２ａを視差検出部２７に出力する（ステップＳ１２０５）。

次に、視差検出部２７は、画像１_Ｉｍと画素数合わせ画像２２ａとの間で、視差を検出する。視差検出部２７は、検出した視差を距離画像形成部２８に出力する（ステップＳ１２０７）。

距離画像形成部２８は、検出された視差ｄと基線長Ｂに基づき、（２）式を用いて被写体距離Ｄを算出する。距離画像形成部２８は、距離を例えば画素輝度に置き換え、置き換えられた画素を二次元に配列して距離画像を形成し、出力する（ステップＳ１２０９）。

このように画像処理基板１０は、カメラ１とカメラ２により取得した画像に基づき、距離画像を出力することができる。

以上説明してきたように、本実施形態によれば、異なる空間分解能の画像を取得する複数のカメラを有し、被写体との距離を測定する撮像装置において、取得される距離画像の空間分解能を向上させることができる。

また本実施形態によれば、第１の画素ピッチで視差探索処理を行うため、第１の空間分解能で測定した場合と同等の距離測定分解能が得られる。つまり、カメラ２で取得される画像は、焦点距離がｆ_２のレンズを用いて取得される画像となるが、視差探索処理を実行することで、ｆ_２の２倍の焦点距離ｆ_１を有するレンズを用いたステレオカメラ等で、距離測定した場合と同等の測定分解能が得られる。

本実施形態において、距離画像と併せて第２の画像、すなわち視野が広い画像を出力するようにしてもよい。これにより距離画像とともに視野の広い輝度画像を利用することができる。例えば図２（ａ）に示されている場面において、道路の前方の走行車両である被写体５０が含まれる距離画像を出力し、図２（ｃ）に示されている輝度画像を出力する。これにより前方の走行車両との距離とともに、道路脇の植栽等の障害物を認識することが可能となる。車両の安全性の確保等に利用できる。

［第２の実施形態］
次に、第２の実施形態における画像形成装置の一例を、図１２を用いて説明する。尚、第１の実施形態において、既に説明した実施形態と同一構成部分についての説明は省略する場合がある。

図１２は、本実施形態の撮像装置を搭載した車両の構成の一例を示す図である。

図１２は、車両４００のルームミラー４０１に、撮像装置１００が設置された例を示す概略図である。図１２に示されているように、撮像装置１００は、車両４００のルームミラー４０１の前側、すなわち図中黒矢印で示される車両４００の進行方向側に設置されている。車両４００は運転者４０２により運転されている。撮像装置１００は、車両４００の進行方向に向いて画像を取得する。尚、撮像装置１００を設置する位置は、上記に限定はされず、任意の位置で構わない。

撮像装置１００により取得された距離画像は、車両４００の有する車載コントローラに転送される。車載コントローラは、例えば距離画像から車両４００の前方の先行車両を認識し、先行車両との距離が規定値より短くなった場合に、車両４００にブレーキをかけるように制御する。これにより、例えば車両４００の運転の安全性を確保すること等が可能となる。

本実施形態の撮像装置１００を車両４００に設置する場合、画像処理基板１０の有する機能の一部、又は全部を車両４００の有する車載コントローラに実現させてもよい。また車両４００の有する車載コントローラの有する機能の一部を画像処理基板１０に実現させてもよい。

尚、これ以外の効果は、第１の実施形態で説明したものと同様である。

以上、実施形態に係る画像形成装置、及び画像形成方法について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の範囲内で種々の変形及び改良が可能である。

１、２ カメラ
１０ 画像処理基板（処理手段の一例）
１１ ＣＰＵ
１２ ＦＰＧＡ
１３ ＲＡＭ
１４ ＲＯＭ
１５ シリアルＩＦ
１６ データＩＦ
２０ データバス
２１ シリアルバス
２２ａ 画素数合わせ画像
２５ 画像領域抽出部（画像領域抽出手段の一例）
２６ 画素数合わせ部（画素数合わせ手段の一例）
２７ 視差検出部（視差検出手段の一例）
２８ 距離画像形成部（距離画像形成手段の一例）
３１ レンズ
３２ 画像センサ
３３ 画像センサコントローラ
５０ 被写体
１００ 撮像装置（撮像装置の一例）
４００ 車両（車両の一例）
４０１ ルームミラー
４０２ 運転者
Ｂ 基線長
Ｄ 被写体距離
ＳＷ 探索視差範囲

特許２９９８７９１号公報

Claims (7)

1. 所定の視野で第１の空間分解能を有する第１の画像を取得するカメラと、前記第１の空間分解能より低い第２の空間分解能を有する第２の画像を取得するカメラと、が所定の配列方向に所定の間隔で配列され、
   前記第１の画像と、前記第２の画像と、に基づき測定された被写体との距離から、距離画像を形成する撮像装置であって、
   前記距離画像は、
   前記配列方向において、前記第２の空間分解能を有し、
   前記配列方向と交差する方向において、前記第１の空間分解能を有する
   ことを特徴とする撮像装置。
2. 前記第１の画像と、前記第２の画像と、に基づき、前記距離画像を形成する処理手段を有し、
   前記処理手段は、
   前記第２の画像において、前記第１の画像の前記視野に該当する画像領域を抽出する画像領域抽出手段と、
   前記画像領域の画素数を前記第１の画像の前記画素数に合わせた、画素数合わせ画像を形成する画素数合わせ手段と、
   前記画素数合わせ画像と、前記第１の画像との間で前記配列方向の視差を検出する視差検出手段と、
   前記視差と、前記間隔とに基づいて算出された前記距離から前記距離画像を形成する距離画像形成手段と、を有する
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記第１の画像は、前記第１の空間分解能を表す第１の画素ピッチで構成され、
   前記第２の画像は、前記第２の空間分解能を表す第２の画素ピッチで構成され、
   前記視差検出手段は、前記画素数合わせ画像の一部、又は全部の画素群を、前記配列方向に前記第１の画素ピッチでシフトさせ、シフト毎で、前記画素数合わせ画像と前記第１の画像の類似性の評価値を算出する視差探索処理を実行し、
   前記視差検出手段は、前記画素数合わせ画像の前記画素群を、前記配列方向と交差する方向に、前記第１の画素ピッチでずらしながら、前記視差探索処理を実行し、
   前記評価値は、前記第２の画素ピッチで構成される画像に対して算出され、
   前記配列方向と交差する方向において、前記第１の空間分解能を有する
   ことを特徴とする請求項２に記載の撮像装置。
4. 前記第２の画像と、前記距離画像とを出力する
   ことを特徴とする請求項１乃至３の何れか１項に記載の撮像装置。
5. 請求項１乃至４の何れか１項に記載の撮像装置を有する
   ことを特徴とする車両。
6. 所定の視野で第１の空間分解能を有する第１の画像を取得するカメラと、前記第１の空間分解能より低い第２の空間分解能を有する第２の画像を取得するカメラと、が所定の配列方向に所定の間隔で配列され、
   前記第１の画像と、前記第２の画像と、に基づき測定された被写体との距離から、距離画像を形成する撮像方法であって、
   前記第２の画像において、前記第１の画像の前記視野に該当する画像領域を抽出する画像領域抽出工程と、
   前記画像領域の画素数を前記第１の画像の前記画素数に合わせた、画素数合わせ画像を形成する画素数合わせ工程と、
   前記画素数合わせ画像と、前記第１の画像との間で前記配列方向の視差を検出する視差検出工程と、
   前記視差と、前記間隔とに基づいて算出された距離から距離画像を形成する距離画像形成工程と、を有し、
   前記距離画像は、
   前記配列方向において、前記第２の空間分解能を有し、
   前記配列方向と交差する方向において、前記第１の空間分解能を有する
   ことを特徴とする撮像方法。
7. 前記第１の画像は、前記第１の空間分解能を表す第１の画素ピッチで構成され、
   前記第２の画像は、前記第２の空間分解能を表す第２の画素ピッチで構成され、
   前記視差検出手段は、前記画素数合わせ画像の一部、又は全部の画素群を、前記配列方向に前記第１の画素ピッチでシフトさせ、シフト毎で、前記画素数合わせ画像と前記第１の画像の類似性の評価値を算出する視差探索処理を実行し、
   前記視差検出手段は、前記画素数合わせ画像の前記画素群を、前記配列方向と交差する方向に、前記第１の画素ピッチで上下にずらしながら、前記視差探索処理を実行し、前記第２の画素ピッチで構成される画像の画素に対し、前記第１の画素ピッチで上下にずらすことにより算出された複数の評価値から、該当位置の視差を検出する
   ことを特徴とする請求項２に記載の撮像装置。

Images