JP6197291B2 - 複眼カメラ装置、及びそれを備えた車両 - Google Patents

Description

本発明は、視差情報を取得可能な複眼カメラ装置及びそれを備えた車両に関する。

近年、車載用のステレオカメラの普及が進んでおり、このようなステレオカメラを用いることで、車両前方の距離画像を生成し、その距離画像に基づいて障害物を認識して障害物までの距離を計測することにより、衝突の防止や車間距離制御のために運転者に警告を発したり、ブレーキやステアリングなどの制御装置の操作を実行することが出来ることが知られている。
さらに、近年は解像度などのセンサ性能が高まったこともあり、車載環境におけるセンシングの中心ニーズが高速道路から市街地へと移行してきている。
市街地環境では、高速道路等に比べてセンシングの対象となる環境が多様となっている。
複雑なセンシング環境における認識処理の最大の問題点は、認識する対象が多様化することにより処理の複雑化して処理時間が増大することと、誤認識が増加することである。
従来の一般的な車載ステレオカメラにおける認識処理を説明すると、まず、撮像画像のほぼ全面に対してエッジを検出し、エッジ検出された画素位置に対して視差計算処理を施す。その後、計算結果の視差情報を用いてクラスタリングを施し、これに各種の情報を付加して最終的な認識対象を検出する。

図９は、視差情報を使った一般的な物体認識処理の流れを示すフローチャートである。なお、ここでの認識ターゲットは、路上物体としての車、人、バイク、自転車、標識、信号などである。
まず、ステレオカメラ（基準カメラ／比較カメラ）を用いて、ステレオ画像（基準画像／比較画像）を撮影する（ステップＳ２０１）。
そして、基準画像における輝度情報を用いて、路面上の白線を認識する（ステップＳ２０８）。
そして、基準画像／比較画像に基づいて視差を算出し（ステップＳ２０２）、視差情報を用いたクラスタリング（ステップＳ２０３）を実行し、車、人／バイク／自転車のサイズ、標識／信号のサイズなどの物体サイズを用いて、クラスタリング結果の修正を行う（ステップＳ２０４）。

図１０は、図９のステップＳ２０１〜ステップＳ２０４の処理によって得られた認識結果画像の例を示す図である。
図１０において、枠１００が車両物体サイズとして認識されたクラスタリング結果、枠１０１が歩行者／バイク／自転車サイズとして認識されたクラスタリング結果、枠１０２が標識／信号サイズとして認識されたクラスタリング結果である。
図１０に示す認識結果画像からわかるように、特に標識／信号などはサイズが小さいがために、多くの誤認識（枠１０２’）が見られる。また歩行者の誤認識が画面上方に見られる（枠１０１’）。
これらの誤認識に対して、図９のステップＳ２０５以降の処理において、さまざまな条件分岐処理などを行う。

例えば、ステップＳ２０８において認識した白線のデータから、路面高さを算出し、その上にある人や物体などのターゲットモデル情報を用いて、クラスタリング結果の修正を行う（ステップＳ２０５）。
さらに、基準画像における輝度情報を用いて、クラスタリングをされたエリアに対して、Ａｄａｂｏｏｓｔなどを使って、ターゲット物体認識の最終判断を行う（ステップＳ２０６）。最後に、認識物体の３次元位置を出力する（ステップＳ２０７）。

以上説明した処理における、ステップＳ２０４までの処理において、大きく誤認識が発生したり、またうまく物体を分離できていないとその後の認識処理においてさまざまな条件分岐処理を行う必要が生じたり、前段の処理に戻る必要が生じたりと、多くの複雑な処理が発生する。
従って、視差算出／クラスタリング処理における認識率をより高めて誤認識を減らすことが非常に重要になる。
画像内の物体を認識する手法として、例えば特許文献１には、自車両周辺の景色を撮像することにより、カラー画像を出力するカメラと、監視領域内における距離の二次元的な分布を示す距離データを計算して自車線や隣接車線を走行する他車両を認識するステレオカメラを備え、認識結果である画像内の車両位置を基準として所定面積のウィンカ領域を設定し、カラー画像に基づいてウィンカの色成分の画素を検出することで、カラー情報と視差情報をともに利用してウィンカと隣接車両を同時に認識する構成が開示されている。
かかる構成によれば、カラー情報と視差情報といった異なる情報を組み合わせて使用して、より正確に、複数の対象物を同時に認識することが可能である。

確かに、特許文献１に記載の方法によれば、予めカラー情報が分かっているような認識対象について、カラーカメラによって撮像したカラー画像から、認識対象の色成分を検出することで、その対象について正確に検出することが可能である。
しかし、ステレオカメラに加えて別途カラーカメラが必要であり、画像内に認識対象用のエリアを設定して、別途異なるアルゴリズムによって認識を行う必要がある。
また、全面画像内の物体と、設定エリア内の物体についてそれぞれ視差計算を行うには、視差計算アルゴリズムやパラメータ切替等が必要になる。これは、処理の複雑化につながり、上述の問題点を解消し得ない。
本発明は、視差画像を使った認識処理における画像認識率を向上するとともに処理負荷を低減して、高精度且つ高速に周辺環境を認識することが可能な複眼カメラ装置を提供することを目的とする。

上記の課題を解決するために、請求項１の発明は、光学フィルタ及び撮像素子を備えた複数のカメラユニットと、前記各撮像素子が前記各光学フィルタを介して取得した撮影画像について画像処理を行う画像処理手段と、を備え、前記光学フィルタは、前記撮影画像の中央部に対応する領域に備えたクリアフィルタ領域と、前記撮影画像の上部に対応する領域に備えたカラーフィルタ領域と、を有し、前記画像処理手段は、前記撮影画像の前記クリアフィルタ領域に対応する領域について複数の前記撮影画像間の視差計算を行うとともに、前記撮影画像の前記カラーフィルタ領域に対応する領域について物体認識を行う複眼カメラ装置を特徴とする。

上記のように構成したので、本発明によれば、光学特性が異なる複数の光学フィルタ領域を用いて得られる複数の画像領域毎に異なる画像処理を行うことで、画像処理の精度を向上して、高精度且つ高速に周辺環境を認識することが可能な複眼カメラ装置を提供することが出来る。

本発明の実施の形態に係るステレオカメラの構成の一例を示す図。 図１に示すステレオカメラによって撮影した画像を示す図。 本実施形態のステレオカメラの制御部の構成を示す図。 ステレオカメラの原理を示す図。 本実施形態のステレオカメラにおける処理を説明するフローチャート。 本実施形態を構成する各要素のタイミングチャートを示す図。 全画面の視差計算・クリアフィルタクラスタリングによって得られる視差画像を示した図。 本実施形態のステレオカメラを適用した車両を説明する概略図。 視差情報を使った一般的な物体認識処理の流れを示すフローチャート。 図８の処理フロー（ステップＳ２０１〜ステップＳ２０４）に従って処理を施した結果画像の例を示す図。

以下に、図面を参照して、本発明の実施の形態を詳細に説明する。
図１は、本発明の実施の形態に係るステレオカメラの構成の一例を示す図である。
図１（ａ）に示すように、本実施形態に係るステレオカメラ１は、左右に基準カメラ１０及び比較カメラ２０を備えている。
基準カメラ（カメラユニット）１０は、撮像素子１１と、撮像素子１１の上面に配置した光学フィルタ１２と、撮像素子１１に光を集光するレンズ１３とを備え、比較カメラ（カメラユニット）２０は、撮像素子２１と、撮像素子２１の上面に配置した光学フィルタ２２と、撮像素子２１に光を集光するレンズ２３とを備えている。
さらに、各カメラユニットによって撮像された画像に基づいて視差計算や画像認識等の処理を行う画像処理部３０を備えている。
本実施形態に係るステレオカメラ装置は、異なる視点位置から同じ物体を撮像し、それぞれのセンサ画像上での結像点が物体の距離によって変化することを利用して物体の距離や位置を測定する距離測定装置である。

図１（ｂ）は、各カメラユニットにおける撮像素子及び光学フィルタを詳細に示した図であり、図１（ｂ）において、基準カメラ１０の光学フィルタ１２と、比較カメラ２０の光学フィルタ２２とは互いに同じ構成を有するフィルタである。
従って、撮像素子１１と撮像素子２１とにより取得される画像は、基本的に同じ特性を有する。
基準カメラ１０の光学フィルタ１２及び比較カメラ２０の光学フィルタ２２は、カラーフィルタ領域１２ａ（２２ａ）、クリアフィルタ領域１２ｂ（２２ｂ）、ＮＤフィルタ領域１２ｃ（２２ｃ）に分割された特種フィルタである。
これにより、カラーフィルタ領域１２ａを使用して色情報を検出出来るとともに、クリアフィルタ領域１２ｂを使用して輝度情報を検出することが出来る。

図２は、図１に示すステレオカメラによって撮影した画像を示す図である。
図１に示すステレオカメラによって撮影された画像４０は、図２に示すように、各フィルタ領域１２ａ（２２ａ）、１２ｂ（２２ｂ）、１２ｃ（２２ｃ）の特性が反映された領域４０ａ、４０ｂ、４０ｃに分割された画像となる。
なお、光学フィルタ１２（２２）において、中央部にクリアフィルタ領域を設ければ、その上下の領域は、他の異なるフィルタとしても良く、検出をしたい情報に応じて適宜選択することが出来る。
また、領域分割の形態も、図１（ｂ）に示すような横分割ではなく、縦分割としても良い。

図２の画像４０における領域４０ａは、カラーフィルタ領域１２ａ（２２ａ）を通過した光が撮像素子１１（２２）に結像することで得られたカラーフィルタ対応領域であり、領域４０ｂは、クリアフィルタ領域１２ｂ（２２ｂ）を通過した光が撮像素子１１（２２）に結像することで得られたクリアフィルタ対応領域４０ｂ、領域４０ｃは、ＮＤフィルタ領域１２ｃ（２２ｃ）を通過した光が撮像素子１１（２２）に結像することで得られたＮＤフィルタ対応領域である。
このように複数の異なる光学特性を有する画像について、本実施形態では、クリアフィルタ対応領域４０ｂのみについて視差計算を施す。
そして、このクリアフィルタ対応領域４０ｂは、車サイズ、および人／バイク／自転車サイズを認識する領域とする。
このクリアフィルタ対応領域４０ｂは、カメラが車両においてとりつけられた際に、撮像画像内の消失点位置を中心に、上下に坂道や車両／人の高さ分を考慮して決定される。
車両や人を認識する上では、視差情報が非常に有効であり、高解像度に視差（距離）を算出することによって、高精度に物体を分離すること、及び、遠方までの認識が可能になる。また、車両／人は自車両との衝突時間などの算出が問題となるため、距離の算出が必須である。そのために、このエリアはクリアフィルタが望ましく、認識処理も視差情報を積極的に使用することが望ましい。

一方、画像上部に撮像される標識や信号などは、物体が小さく、視差情報からも、誤認識することが多くなる。一方、信号の色や標識の色などは、車両の色などと異なって規定されるため、カラー情報を積極的に利用することで、視差情報からの認識よりも効率的に認識が可能になる。
そこで、このエリアには、カラーフィルタを設け、カラー画像（カラーフィルタ対応領域４０ａ）として撮像する。
そしてカラー画像を使って視差計算をする場合には、ＲＧＢもしくはＹＣＢＣＲなどで、多次元の視差計算を実行しなければならなくなり、処理時間やアルゴリズムを変更する必要がある。そこで、このエリアでは、カラー画像から、まず信号などを認識し、そのエリアに対して、必要に応じてカラー用の視差算出処理を実行させる、という方法をとる。
さらに、画像下部領域４０ｃについては、極小エリアとして画像認識に使用しない領域とする。なお、図２においては、ボンネットが撮像されている。
そしてこの領域には、ＬＥＤ光を照射するなどして、その光波長のみをターゲットとしたＮＤフィルタを設置する。
これにより、画像の不要領域を用いて雨滴を検知することができる。また、この領域を画像認識に使う場合でも、超近距離をターゲットとする。
この場合でも、物体は大きく写る為、画像としては粗くして、視差計算を実施することが出来る。

以上のように、ステレオカメラにおいて光学的に分割されたエリアごとに視差計算処理方法／利用方法を可変とし、さらに他の撮像情報を積極的に利用することで、誤認識の低減、認識率の向上を実現しつつ、ステレオカメラ、および車両制御システムのコストダウンと省スペース化を実現することができる。

図３は、本実施形態のステレオカメラの画像処理部の構成を示す図である。
図３に示すように、画像処理部３０は、基準カメラ１０で撮影された基準撮影画像と、比較カメラ２０で撮影された比較撮影画像とが入力されるフレームバッファとしてのＲＡＭ３２と、ＲＡＭ３２に入力された基準撮影画像１０Ａのクリアフィルタ領域通過成分と、比較撮影画像２０Ａのクリア領域通過成分とを用いて視差計算及びクラスタリングを行う視差計算部３１としてのＦＰＧＡ（Field-Programmable Gate Array）又はＡＳＩＣ（Application Specific Integrated Circuit）と、所定のプログラムに従って、基準撮影画像のうちのカラーフィルタ領域通過成分（ＲＧＢ画素成分）、比較撮影画像得のカラーフィルタ領域通過成分に基づく認識処理を実行するＣＰＵ３３と、ＣＰＵ３３による処理のための一時データや処理プログラムを一時的に展開して格納するＲＡＭ３４と、を備えている。

視差計算部３１による処理もＣＰＵ３３による処理とすることも可能であるが、処理速度を考慮すると、ハードウェアによる処理がより望ましい。
視差計算部３１による処理において、大きく誤認識が発生したり、うまく物体を分離できていないと、その後のＣＰＵ３３による認識処理においてさまざまな条件分岐処理を行う必要が生じたり、前段の処理に戻る必要が生じたりと、多くの複雑な処理が発生する。
そのために、後段のＣＰＵ３３が高価になったり、処理時間が増大する、といった問題が発生する。よって、視差計算部３１による処理のシンプル性を保ちつつ、この段階での認識率を高めて誤認識を減らし、後段のＣＰＵ３３での処理負荷を低減させることが非常に重要になる。

しかし、視差計算部３１による重要性は、先行車両のみをメインで検出すればよかった高速道路に対して、たとえば車両、歩行者、バイク、自転車、信号、標識などを認識対象とする市街地ではさらに顕著になる。
そこで、ステレオカメラにおいて光学的に分割されたエリアごとに視差計算処理方法／利用方法を可変とし、さらに他の撮像情報を積極的に利用することで、誤認識の低減、認識率の向上を実現しつつ、ステレオカメラ、および車両制御システムのコストダウンと省スペース化を実現することができる。

図４は、ステレオカメラの原理を示す図である。
基線長Ｂ（カメラ間の距離）と焦点距離ｆと視差ｄ（視点による物体の結像点の位置の差）、物体までの距離Ｚの情報を使い、式（１）に表される形で、物体までの距離を算出する。ここで、視差計算とは、数式１におけるｄを算出することを言う。

・・・（１）
このｄは、基準カメラ１０で撮像された基準画像と、比較カメラ２０で撮像された比較画像との、各画素の対応位置を意味しており、これは一般的には、注目画素の周辺数画素を使ったブロックマッチングによって算出される。たとえば周辺画素を含むブロックサイズを９ｘ９と想定すると、下記式（２）に示されるようなＳＡＤ（Sum of Absolute Difference）などによって計算されるとする。

ブロックマッチングの方法としては、ＳＡＤ以外にも、ＳＳＤ（Sum of Squared Differences）やＮＣＣ（Normalized Cross Correlation）、ＺＳＡＤ（Zero-mean Sum of Absolute Differences）など、さまざまな手法が提案されており、いずれの手法を利用してもよい。

・・・（２）
このブロックマッチングによる視差計算は、この式（２）で表される計算を、基準画像の注目画素に対して、比較画像側で１画素づつ（もしくは小数補間されたサブピクセル合成画像づつ）計算していき、最も相関している位置を視差ｄと算出するものである。

このように、ある画素について視差を探索するには、少なくとも想定可能な視差ｄ以上の画素数分の処理が必要になるため、多くの時間を必要とする。例えば、１画素ごとに視差ｄを探索するための画素をずらして探索する長さ（探索幅）が６４画素だとした場合、ある画像を処理するための処理時間は、１画素分の視差を探索するために１クロックサイクルかかるとしても、１画面を処理するために６４倍の処理時間がかかることになる。一般に１画素分の相関値を計算するために１クロックサイクルで処理が実現されるということは不可能であり、これは相関を行うブロックサイズによって指数的にさらに増大する。このため、視差計算時間を短縮することは大きな課題となっている。これを一般化した式で表すと、下記（３）式のようになる。
１画面分の視差計算時間＝視差算出画素数×（１画素の相関計算時間×探索幅）
・・・（３）
この計算が図９におけるステップＳ２０２に相当する部分であり、この処理時間を短縮することは、大きな技術課題のひとつとなっている。
そこで、この視差計算は、クリアフィルタ対応領域４０ｂのみに施す。

図５は、本実施形態のステレオカメラにおける処理を説明するフローチャートである。
まず、基準カメラ１０、比較カメラ２０によって、ステレオ画像（基準画像／比較画像）を撮影する（ステップＳ１００）。
次に、図１（ｂ）に示したフィルタ構成に基づいてステレオ画像（基準画像／比較画像）を分割する（ステップＳ１０１）。
そして、各フィルタ領域を通過することでフィルタごとに光学特性の異なるそれぞれの画像エリアに対して異なる処理を実行する。

［クリアフィルタ対応領域を用いた処理］
図２に示した各画像領域において、基準画像１０Ａ、比較画像２０Ａ双方のクリアフィルタ対応領域（クリアフィルタ部）４０ｂは、図３に示した視差計算部３１に入力され、図４で説明した輝度情報を用いた視差計算が実施される（ステップＳ１０２）。
特にステップＳ１０２の視差計算処理は、処理はシンプルであるものの多大な時間がかかるため、処理のハ−ド化が必須である。
次に、視差計算部３１では、基準画像１０Ａのクリアフィルタ対応領域４０ｂを用いて、路面上の白線の認識を行い（ステップＳ１０３ａ）、且つ、ステップＳ１０２で算出した視差情報を用いて、クラスタリングを実行する（ステップＳ１０３ｂ）。そして、車サイズ、人／バイク／自動車サイズなどといった物体サイズに基づいて、クラスタリングの結果を修正する（ステップＳ１０３ｂ）。
次に、ターゲットモデル情報を用いて、クラスタリング結果の修正を行う（ステップＳ１０５）。例えば、ステップＳ１０３ａで認識した白線のデータから路面の高さを算出し、その上にある物体などをターゲットモデル情報として使用する。
次に、基準画像１０Ａの輝度情報を用いて、ターゲット物体認識の最終判断を行う（ステップＳ１０６）。これは、クラスタリングされたエリアに対して、Ａｄａｂｏｏｓｔなど用いて識別する。
以上の処理により認識された認識物体の３次元位置を出力する（ステップＳ１０７）。

［カラーフィルタ対応領域を用いた処理］
カラーフィルタ対応領域については、視差計算部３１ではなく、ＣＰＵ３３にデータが渡され、信号や標識の認識処理が実施される。
ステップＳ１０１で分割した領域における、基準画像Ａのカラーフィルタ対応領域（基準側カラーフィルタ部）４０ａを用いて、交通信号／交通標識の認識を行う（ステップＳ１１０）。
そして、交通信号／交通標識が認識された結果エリアにのみ、基準画像１０Ａ、比較画像２０Ａ双方におけるカラーフィルタ対応領域４０ａのカラー情報を用いて、視差計算を行う（ステップＳ１１１）。
こうして認識された物体（信号／標識）について、３次元位置を出力する（ステップＳ１１２）。

上記に説明したように、カラーフィルタ対応領域４０ａについては、ＣＰＵ３３で認識された結果に対してのみ、視差計算が実施されている。
このとき、クリアフィルタ対応領域４０ｂに対して実施したものとは異なる視差計算処理を実施する必要がある。
カラー画像はＲ、Ｇ、ＢもしくはＹＣｂＣｒなどで表されるため、輝度のように視差計算に利用する情報が１次元的ではない。
一般に、カラー画像の視差計算では、輝度画像での視差計算に比較して３倍以上の処理時間を要する。

また、カラー画像での視差計算では、多重化された情報をもってマッチング処理が実行されるために誤認識は低減できるが、クリアフィルタの場合のように全画素について視差を算出することができない。
またレンズを通して結像される点が輝度画像のように全画素において均一に利用されることはないため、測距精度を高精度に実現することが難しくなる。
そのために、遠方物体の視差を算出するのには適さない。従って、カラー画像に対しては、カラー情報を利用して認識した物体の部分のみに対して、視差を算出することが望ましい。
また、そのような目的で利用する場合、利用される目的が異なる為に、視差計算のアルゴリズムやパラメータなども、輝度画像による視差計算とは適したものが異なる。
例えば、画面内にカラー物体を見つける場合には、まず画面全体の視差を算出し、そこにおけるカラー視差の分布を見て距離を計測する必要がある。
そのために、よりシンプルな手法で、各画素や隣接画素差分が高い画素位置などに対してブロックマッチングを適用するのが望ましい。

一方、基準画像内のある部分に、ある物体が撮像されていると考えられる場合は、その部分全体を１つの塊として、それと同じ特徴を持つ塊が比較画像のどこにあるかを探索するほうが、視差計算時間やミスマッチングなどを低減することができる。
そのような手法として、ブロックマッチングではなく、たとえば空間周波数特性を利用する位相限定相関などが有効である。

［ＮＤフィルタ対応領域を用いた処理］
ＮＤフィルタ対応領域４０ｃも、視差計算部３１ではなく、ＣＰＵ３３にデータが渡され、雨滴認識が実施される。
雨滴については、距離を計測する必要はないので視差計算は実施しない。
ステップＳ１０１で分割した領域における、基準画像１０ＡのＮＤフィルタ対応領域（基準側ＮＤフィルタ部）４０ｃについて、輝度画像を用いた雨滴の認識を行う（ステップＳ１２０）。
そして、雨滴の検出結果を出力する（ステップＳ１２１）。

図６は、本実施形態を構成する各要素のタイミングチャートを示す図である。
なお、図６中（ｂ）は、本実施形態の各要素のタイミングチャートを示す図であるが、（ａ）には、比較例としての、視差計算部によって全画面について輝度に基づく視差算出・クラスタリングを行い（処理３００）、なおかつ別途設けたカラーカメラによって得たカラー画像に対して認識処理を行い（処理３０１）、処理３００の処理結果を、処理３０１による認識結果に基づいて修正する場合におけるタイミングチャートを示している。
図６（ａ）に示す場合、全画面について輝度に基づく視差計算、クラスタリングを行っているため、この処理３００に３フレームを費やしている。この処理３００によって得られる視差画像を図７に示している。
カラー画像認識には処理時間も大きくかかり、誤認識も多いが、本実施形態では、図１（ｂ）に示すような特種の光学フィルタを構成し、各領域に適した視差計算ロジックを採用するので、ひとつのカメラ画像によって処理することができ、さらにエリアごとに処理方法を変えるので、図６（ｂ）のようにＣＰＵ３３と視差計算部３１の処理を効率的に利用することができる。
すなわち、本実施形態は、クリアフィルタ対応領域を画面の１／３に設定しているため、視差計算部３１による視差計算も、図６（ａ）の場合の１／３である１フレ−ムで処理を実行することができている。
図６（ｂ）を参照すると、視差計算部３１は、図５のステップＳ１０２、１０３の処理を１フレームで実行後、次のフレームでステップＳ１１１の処理を実行出来ているのが分かる。

また、それに並行して、ＣＰＵ３３は、ステップＳ１１０、ステップＳ１２０の処理を１フレームで実行し、次のフレームでステップＳ１０４〜ステップ１０６を実行出来ている。
このように、本実施形態の場合、処理の効率が極めて高い。
また、カラー画像の認識に加え、カラー情報を利用した距離計測も可能になる。
これは、上述したように、カラー画像が得意とする対象を画像認識し、そのエリアのみを視差計算するためである。
ただし、このような処理を実現するためには、各光学フィルタ撮像画像と認識手法にあわせた視差計算アルゴリズムの切替とパラメータの切替等が必要になる。
そして、一般に、全く異なる視差計算ロジックを適用する場合は、視差計算ハードウェア（視差計算部）内にそれぞれ別の視差計算実行ロジックを実装しなければならない。
認識対象の要求精度などによっては、通常のブロックマッチング・アルゴリズムを利用してもよいが、その場合でも、互いに光学特性が異なる画像に適用する場合、ブロックサイズの変更だけでは十分ではない。たとえばカラー画像領域では、画像はＲＧＢなどのフィルタを通して画素に結像されるため、カラー補間されない画像を使う場合は各フィルタ分離画像の探索幅が変わり、また、カラー補間された画像を利用する場合は、補間後の画素情報量が異なるからである。

以上説明したように、本実施形態では、輝度に基づく視差画像をベースに視差計算処理を行うべき領域と、カラー画像などを利用した方が効率的に認識をすることが可能になる領域を、アプリケーション、及び認識ターゲットに応じて光学的、および画像エリアとして分割することで、視差計算部３１による誤認識の低減が可能になり、認識率が向上することが出来るようになった。
また、視差計算ロジックをそのエリアごとに効率的に適用させることができるようになり、不必要な処理演算を低減することができる。同時に、輝度情報を用いた視差計算を実行する領域を制限することができるため、視差計算部３１の処理負荷を低減できるとともに、図３に示す視差計算部３１、ＣＰＵ２３のコストダウンが可能になる。
さらに、雨滴用に別途センサを設けたり、カラー情報を利用するためにカラーカメラを別途も受けたり、処理負荷が大きいカラーステレオカメラを構成したりといった必要がなくなり、一体のステレオカメラで複数のアプリケーションが可能になり、結果、システムとして大きなコストダウンと省スペース化が可能となる。

本実施形態では、ステレオカメラの撮像画像を、目的の認識対象ごとに領域分割し、さらに、これらをそれぞれの認識処理に適した画像が撮像できるように光学的に工夫している。
これにより、認識すべき対象を整理し、その対象が見えるエリアを画像上で配置設定し、その認識に適した特種光学フィルタを構築し、この特種フィルタの画像特性と認識処理方法に応じて視差計算ロジックのアルゴリズムやパラメータ、さらに、画像間引き率や視差計算実行画素位置検出アルゴリズムを変更することで、誤認識の低減や認識対象の拡大といった性能の向上とともに、処理の高速化も図ることが可能になっている。
なお、本実施形態では２眼のステレオカメラにおいて説明しているが、同様の構成・原理が適用できるため、カメラを２台以上搭載した測距カメラ装置に適用することが出来る。また、カメラを１台のみ用いる、単眼カメラ装置に適用することも出来る。

＜その他の実施形態＞
図８は、本実施形態の距離計測装置を適用可能な車両を示す模式図である。
本実施形態の画像処理システムは、車両５０前方の画像を取得するための撮像ユニット５１と、取得した画像に基づいて車両５０の前方に存在する他の車両までの距離を算出する等の処理を行う画像解析ユニット５２を有している。撮像ユニット５１は、車両５０が走行する前方の画像を撮像できるように、座席のルームミラー位置等に設置されている。撮像ユニット５１で撮像された車両前方の画像は、画像信号化されて画像解析ユニット５２に入力される。画像解析ユニット５２は、撮像ユニット５１から出力された画像信号を解析する。
撮像ユニット５１として、上記実施形態の基準カメラ、比較カメラよりなるステレオカメラを適用できる。
また、画像解析ユニット５２の一部の機能として、上記実施形態の視差計算部３１、ＣＰＵ３３適用することが出来る。
車両走行制御ユニット５８は、画像解析ユニット５２で計算された距離に基づいてハンドルやブレーキの制御も行うことが出来る。

１ ステレオカメラ、１０ 基準カメラ（カメラユニット）、１０Ａ 基準画像、１１ 撮像素子、１２ 光学フィルタ、１２ａ カラーフィルタ領域、１２ｂ クリアフィルタ領域、１２ｃ ＮＤフィルタ領域、１３ レンズ、２０ 比較カメラ（カメラユニット）、２０Ａ 比較画像、２１ 撮像素子、２２ 光学フィルタ、２２ａ カラーフィルタ領域、２２ｂ クリアフィルタ領域、２３ レンズ、３０ 制御部、３１ 視差計算部、３２ ＲＡＭ、３３ ＣＰＵ、３４ ＲＡＭ、４０ 画像、４０ａ カラーフィルタ対応領域、４０ｂ クリアフィルタ対応領域、４０ｃ ＮＤフィルタ対応領域、５０ 車両、５１ 撮像ユニット、５２ 画像解析ユニット、５８ 車両走行制御ユニット

特許第４１５１８９０号

Claims (6)

1. 光学フィルタ及び撮像素子を備えた複数のカメラユニットと、前記各撮像素子が前記各光学フィルタを介して取得した撮影画像について画像処理を行う画像処理手段と、を備え、
   前記光学フィルタは、
   前記撮影画像の中央部に対応する領域に備えたクリアフィルタ領域と、前記撮影画像の上部に対応する領域に備えたカラーフィルタ領域と、を有し、
   前記画像処理手段は、
   前記撮影画像の前記クリアフィルタ領域に対応するクリア画像領域について複数の前記撮影画像間の視差計算を行うとともに、前記撮影画像の前記カラーフィルタ領域に対応するカラー画像領域について物体認識を行うことを特徴とする複眼カメラ装置。
2. 請求項１に記載の複眼カメラ装置において、
   前記画像処理手段は、
   前記カラー画像領域について、前記クリア画像領域とは異なる視差計算方法によって、複数の前記撮影画像間の視差計算を行うことを特徴とする複眼カメラ装置。
3. 請求項２に記載の複眼カメラ装置において、
   前記画像処理手段は、
   前記カラー画像領域について、前記クリア画像領域とは異なる画像情報を用いて視差計算を行うこと特徴とする複眼カメラ装置。
4. 請求項２又は３に記載の複眼カメラ装置において、
   前記画像処理手段は、
   前記クリア画像領域について、前記カラー画像領域とは異なる画像認識方法によって物体認識を行うことを特徴とする複眼カメラ装置。
5. 請求項４に記載の複眼カメラ装置において、
   前記画像処理手段は、
   前記クリア画像領域について、前記撮影画像における輝度情報又は前記撮影画像間の視差情報を利用して物体認識を行うとともに、前記カラー画像領域について、カラー情報を利用して物体認識を行うことを特徴とする複眼カメラ装置。
6. 請求項１乃至５の何れか一項に記載の複眼カメラ装置を備えたことを特徴とする車両。

Images