JP4402400B2 - 物体認識装置 - Google Patents

Description

本発明は、自動車、航空機、船舶、ロボット等の移動物体、あるいは、屋外監視システム等の非移動体に搭載して用いられる物体認識装置に関する。

自動車等に搭載され前方の物体を認識する装置としてステレオカメラが知られている。このステレオカメラは、異なる視線方向から対象物体を観察し、対象物体までの距離を測定する機能を有する。このステレオカメラの技術は既に広く知られている（特許文献１参照）。

上記ステレオカメラは、一般に暗い所では適切な物体検出、距離の検出等が難しい。また明るい所でも対象物体が低コントラストである時は、対象物体までの距離を正確に求めることが困難である。

一方、車載用のビデオカメラとして、ヘッドライトを補助光として使用するものが知られている（特許文献２，３参照）。

また車載用のビデオカメラに赤外線を補助光として発光する発光器を付加し、ビデオカメラの撮像タイミングと、上記発光器からの赤外線補助光の発光タイミングとの同期を取りながら照明を行なう技術も公知である（特許文献４参照）。

さらに車載用のビデオカメラとして、レーザー光を補助光として使用するものが知られている（特許文献５参照）。

赤外線やレーザー光を補助光として使用するものは、補助光を発するための光源を付加する必要があるため、装置のコストアップに繋がる。

ところで近時、ステレオカメラとレーザーレーダー等の二種類の測距装置を併設し、これら両測距装置からの測距結果に基づいて、所定のアルゴリズムに従って物体認識を行なう技術が提案されている（特許文献６，７参照）。
特開平５−１１４０９９号公報 特開平５−１８９６９４号公報 特開平５−３３８４８７号公報 特開２００２−２４０６２９号公報 特開２００３−１３４５０９号公報 特開２０００−３２９８５２号公報 特開２００３−１２１５４７号公報

前記二種類の測距装置を併設した複合型の物体認識装置においては、ステレオカメラとレーザーレーダーとがそれぞれ有している長所を活かして、状況に応じた確度の高い測距性能および物体認識が可能になる。すなわち、ステレオカメラによれば、遠距離にある対象物体までの距離については正確に検知できないが、比較的近い距離にある対象物体の形状を詳細に認識できる上、道路面や道路上の白線も検知可能である。これに対し、レーザーレーダーにおいては、対象物体の形状を詳細に検知することはできないが、遠距離（例えば１００ｍｍ以上の遠方）にある対象物体までの距離を正確に検知できる。

特許文献６および７には、上記二つの測距装置の長所を活かすべく、両者を最適に統合する手段に関しての技術が開示されている。しかしレーザーレーダーの光源をステレオカメラの補助光として使用する技術については開示されていない。

本発明の目的は、ステレオカメラ及びアクティブレンジファインダーの両者により、極めて確度の高い物体認識を行なえると共に、設置スペースを削減でき、低コストで製作可能な物体認識装置を提供することにある。

なお上記アクティブレンジファインダーとは、例えばレーザーレーダーのように、対象物体に対してレーザー光などの電磁波を照射し、その反射波を受けて当該反射波に含まれる情報に基づいて測距を行なう計測装置を指す。

上記目的を達成するために、本発明の物体認識装置は、下記のような特徴ある構成を有している。なお下記以外の本発明の特徴ある構成については実施形態の中で明らかにする。

本発明の物体認識装置は、車載用の物体認識装置であって、対象物体に光を投光する投光手段を有し、その反射光より対象物体までの距離を求めるためのアクティブレンジファインダーと、前記対象物体からの画像情報に基づいて、当該対象物体までの距離を求めるためのステレオカメラと、前記アクティブレンジファインダーからの出力信号と前記ステレオカメラからの出力信号とに基づいて前記対象物体を認識する物体認識手段と、前記アクティブレンジファインダーの投光手段で投光される光を、前記ステレオカメラの補助光として照射するように、上記投光手段を動作制御する補助光制御手段と、を備え、前記補助光制御手段は、前記投光手段で投光された光の照射範囲を、当該物体認識装置が搭載された車の運転状況または前記ステレオカメラから得られた画像情報に応じて、前記ステレオカメラの視野範囲に対して調整することを特徴としている。

本発明においては、専用の補助光照射手段を付加することなく、レーザーレーダー等のアクティブレンジファインダーの光源を、ステレオカメラの補助光として利用している。このため、ステレオカメラとアクティブレンジファインダーの両者による確度の高い物体認識を行なえるうえ、装置全体をコンパクトに形成できるため、設置スペースを削減でき、低コストで製作可能な物体認識装置を提供できる。

（第１実施形態）
図１は本発明の第１実施形態に係る物体認識装置を車両（乗用車）に適用した一例を示す図で、（ａ）は車両前方から見た外観正面図であり、（ｂ）は車両側面から見た概要説明図である。図２は本発明の第１実施形態に係る物体認識装置の外観を示す斜視図である。

図１の（ａ）（ｂ）及び図２に示すように、車両１０の車室１１の内部には物体認識装置２０が取り付けられている。この物体認識装置２０は、ハウジングとしてのケース２１の内部に、例えばレーザーレーダーからなるアクティブレンジファインダー１００と、ステレオカメラ２００とを一体的に収容することにより、両者を単一ユニット化したものとなっている。ケース２１の前面中央上部には、アクティブレンジファインダー１００の投光ユニット１１０における投光窓１１０ａが配設されている。またケース２１の前面中央下部には、アクティブレンジファインダー１００の受光ユニット１２０における受光窓１２０ａが配設されている。さらにケース２１の前面左側部には、ステレオカメラ２００の左側光入力部２１１における左視野開口部２１１ａが配設され、ケース２１の前面右側部には、ステレオカメラ２００の右側光入力部２１２における右視野開口部２１２ａが配設されている。ケース２１の後部容器内にはステレオカメラ２００の撮像ユニット２２０が収容されている。

図１の（ａ）（ｂ）に示すように、アクティブレンジファインダー１００とステレオカメラ２００とは、単一ユニット化されて車両１０のフロントガラス上方部位に設置されている。このためアクティブレンジファインダー１００とステレオカメラ２００とが車両１０の前部の別個所に（例えばステレオカメラ２００はフロントガラス上方部位に、アクティブレンジファインダー１００は前部バンパーの近傍に）離間して取り付けられた場合に比べると、効率の良い補助光照射が可能になる。すなわち、図１のように配置されていると、アクティブレンジファインダー１００の投光ユニット１１０をステレオカメラ２００の補助光照射手段として用いる場合において、補助光の発光点とステレオカメラの視点との一致度を高めることができる。したがってステレオカメラ２００による撮像に際し、効率の良い補助光照射が可能になる。これに対し、アクティブレンジファインダー１００とステレオカメラ２００とを別箇所に離間して取り付けた場合には、補助光の発光点とステレオカメラ２００の視点との一致度が低い。このため、対象物体１が立体物の場合、補助光の当たらない部分が発生し、ステレオカメラ２００の画像に影が生じる。換言すれば効率の良い補助光照射が行なえない。またステレオカメラ２００の測距結果とアクティブレンジファインダー１００の測距結果とから所定のアルゴリズムに従って物体認識を行なうに当っては、両者の検出系のパララックスが少ないことが望ましい。図１の配置においては、両検出系のパララックスが非常に小さい。しかし両者を別箇所に離間して取り付けた場合には、ある程度のパララックスが発生するのを避けられない。

ところで、物体認識装置２０が取り付けられている車両１０のフロントガラス１３は、本発明で言うところの保護ガラスを構成している。この保護ガラス１３は、前記アクティブレンジファインダー１００及びステレオカメラ２００の前面に配されている。そしてこの保護ガラス１３は、前記アクティブレンジファインダー１００の投光ユニット１１０から投光され、前記対象物体１から反射された光が入射する領域を含む所定領域Ｅが、赤外光透過可能領域となっている。上記所定領域Ｅを除く他の領域は、赤外光透過制限領域となっている。上記所定領域Ｅは、前記投光ユニット１１０から投光される赤外光の周波数領域の一部または全部が透過可能な領域となっている。

次に図３、図４を参照してアクティブレンジファインダー１００及びステレオカメラ２００の詳細な構成について説明する。

図３（ａ）〜（ｃ）は物体認識装置２０の内部構成を示す図で、（ａ）は横断面図、（ｂ）はアクティブレンジファインダー１００の部分で切断して示す縦断面図、（ｃ）はポリゴンミラー１１３の上面図である。

図３（ａ）〜（ｃ）に示すように、アクティブレンジファインダー１００は、対象物体１に光（赤外光）を投光する投光手段としての投光ユニット１１０と、その反射光を受光して対象物体１までの距離を求める受光ユニット１２０とを備えている。

投光ユニット１１０は、ステレオカメラ２００の二つの光入力部２１１，２１２の略中間位置に搭載されている。投光ユニット１１０は、レーザー光源１１１と、当該光源１１１からの光束をメカニカルに走査する走査手段１１２とを有している。この走査手段１１２は、複数枚のミラーを多角錐体状に配したポリゴンミラー１１３と、このポリゴンミラー１１３を回転駆動することにより前記光束の走査を行なうスキャニングモータ１１４とからなる。

上記ポリゴンミラー１１３は、図３の（ｃ）に示すように、レーザー光源１１１からの光を反射する面として、Ｕ１、Ｍ１、Ｌ１、Ｕ２、Ｍ２、Ｌ２の６面をもっている。Ｕ１、U２は水平面に対して所定レベルの同一角度をもった傾斜反射面であり、この傾斜反射面を利用して照射範囲Ｗの上部を水平方向にスキャンする。Ｍ１、Ｍ２も水平面に対してＵ１、Ｕ２とは異なる所定レベルの同一角度をもった傾斜反射面であり、この傾斜反射面を利用して照射範囲Ｗの中央部を水平方向にスキャンする。Ｌ１、Ｌ２も水平面に対してＵ１、Ｕ２およびＭ１、Ｍ２とは異なる所定レベルの同一角度をもった傾斜反射面であり、この傾斜反射面を利用して照射範囲Ｗの下部を水平方向にスキャンする。かくしてポリゴンミラー１１３を一回転させる間に、照射範囲Ｗの上部、中央部、下部がそれぞれ二回スキャンされ得るものとなっている。

上記投光ユニット１１０は、レーザー光源１１１の発光タイミングと前記走査手段１１２の動作タイミングとの関係を調整することによって、上記光束をステレオカメラ２００の補助光として照射する照射範囲Ｗを左右に調整する手段を有している。この点については後で詳しく説明する。また上記投光ユニット１１０は、当該投光ユニット１１０の支持角度を上下方向に可変調整することによって、投光される光束の照射角度を上下に調整する調整機構（不図示）を有している。

一方、受光ユニット１２０は、受光素子１２１および計測回路部１２６を備えている。ＳＣは上記受光ユニット１２０へ入力する制御信号、ＳＤは上記受光ユニット１２０から出力される距離出力信号をそれぞれ示している。

上記アクティブレンジファインダー１００は、例えば、投光ユニット１１０から発光された赤外光の前記対象物体１からの反射光を受光ユニット１２０で受けて、上記発光から受光までの時間差（位相差その他の情報でも良い）に基づいて、対象物体１までの距離を求めるものである。

ステレオカメラ２００は、前記対象物体１からの画像情報に基づいて、当該対象物体１までの距離を求める如く構成されている。このステレオカメラ２００は、ステレオ光学系２１０と撮像ユニット２２０とを備えている。ステレオ光学系２１０は、対象物体１の画像情報を異なる視線方向から取得する為に二つの光入力部２１１，２１２を有している。二つの光入力部２１１，２１２は、同一の対象物体１からの光を、左右に所定間隔だけ離間して位置で受光するように配置された一対の前玉ユニット２１１ｂ、２１２ｂと、一対の一次偏向ミラー２１１ｃ、２１２ｃと、この一次偏向ミラー２１１ｃ、２１２ｃで反射した各々の光をさらに反射して撮像ユニット２２０へ導く一対の二次偏向ミラー２１１ｄ、２１２ｄとを備えている。

図４の（ａ）はステレオカメラ２００のステレオ光学系２１０と撮像ユニット２２０の概略構成を示している。図４の（ｂ）はステレオ光学系２１０で得られたステレオ画像２を示している。前記した前玉ユニット２１１ｂ、２１２ｂを介して入射した対象物体１からの光束ＯＰ１，ＯＰ２は、一次偏向ミラー２１１ｃ、２１２ｃで反射される。これら一次偏向ミラー２１１ｃ、２１２ｃは、前玉ユニット２１１ｂ、２１２ｂを透過した光束を反射可能な程度のサイズをもっている。すなわち一次偏向ミラー２１１ｃ、２１２ｃは、前玉ユニット２１１ｂ、２１２ｂの遮蔽されていない領域と略同じか、それよりも少し大きい程度のサイズを有している。また一次偏向ミラー２１１ｃ、２１２ｃは、水平方向には約４５度傾いて配置される。そして一次偏向ミラー２１１ｃは、垂直方向には二次偏向ミラー２１１ｄ側に数度下向きに傾いた状態に配置される。また一次偏向ミラー２１２ｃは、垂直方向には二次偏向ミラー２１２ｄ側に数度上向きに傾いた状態に配置される。このように配置されることにより、一次偏向ミラー２１１ｃ、２１２ｃで反射された各光束は、二次偏向ミラー２１１ｄ、２１２ｄにそれぞれ入射する。

二次偏向ミラー２１１ｄ、２１２ｄは、水平方向には一次偏向ミラー２１１ｃ、２１２ｃと略平行に対向し、且つ上面方向から見ると互いに交差するように配置されている。そして２１１ｄは垂直方向には撮像素子側に数度下向きに傾いた状態に配置される。また二次偏向ミラー２１２ｄは、垂直方向には撮像素子側に数度上向きに傾いた状態に配置される。このように配置されることにより、二次偏向ミラー２１１ｄ、２１２ｄで反射された光束は撮像ユニット２２０に入射する。すなわち一次偏向ミラー２１１ｃから入射してくる光束ＯＰ１は、二次偏向ミラー２１１ｄで反射されて撮像ユニット２２０に入射するように偏向される。一方、一次偏向ミラー２１２ｃから入射してくる光束ＯＰ２は、二次偏向ミラー２１２ｄで反射されて撮像ユニット２２０に入射するように偏向される。

撮像ユニット２２０は、撮像光学系２２１と撮像素子２２２とからなり、前記ステレオ光学系２１０から入射する光束に基づいて視差画像２を得る。

すなわち左側光入力部２１１の光学系を介して入射した光束は、撮像光学系２２１を通して撮像素子２２２の下半部領域に結像する。また右側光入力部２１２の光学系を介して入射した光束は、撮像光学系２２１を通して撮像素子２２２の上半部領域に結像する。すなわち前玉ユニット２１１ｂ、２１２ｂに装着されている視野マスクで視野が限定されることにより、上記画像は、オーバーラップせずに撮像素子２２２の受光面上に結像する。ただしここで撮像素子２２２の上半部領域には右画像が結像し、下半部領域には左画像が結像するが、結像レンズの作用で天地が逆転して結像する。そこでこの天地の関係を反転して正しい方向に復元すると、図４（ｂ）に示すように、左右の視差をもった左画像２Ｌと右画像２Ｒとが、撮像素子２２２の受光面上に、上半部領域と下半部領域とにそれぞれ対応して結像することになる。なお上記ステレオ光学系２１０は、本願出願人が先に出願した特願２００３‐１５３４５５に開示されたステレオ光学系と類似したものであり、二次偏向ミラーの反射方向が１８０度異なるだけで基本原理は同じである。

図５は本発明の第１実施形態に係る物体認識装置２０の制御系を含む内部構成を示すブロック図である。図５に示すように、この物体認識装置２０は大別すると、アクティブレンジファインダー１００と、ステレオカメラ２００と、処理ユニット３００とからなっている。

アクティブレンジファインダー１００の投光ユニット１１０は、ポリゴンミラー１１３、このポリゴンミラー１１３を駆動するためのポリゴンミラードライバー(ＰＭドライバー)１１４、このポリゴンミラードライバー１１４からの駆動パルスに対して同期を取りながらレーザー光源１１１のパルス発光制御を行なうためのパルス制御部１１５、このパルス制御部１１５からの信号を受けて発光パルスを生成するためのパルス生成部１１６、このパルス生成部１１６からの出力パルスに対して発光強度を調整するための出力調整部１１７、この出力調整部１１７から出力される信号により発光動作するレーザー光源（ＬＤ）１１１とを含んでいる。

またアクティブレンジファインダー１００の受光ユニット１２０は、前述したもの以外に、アンプ１２２、距離算出ユニット１２３、測光装置１２４、ゲインコントローラ１２５などを備えている。

アクティブレンジファインダー１００は、先行車両の所謂レフレクター（採光反射体）からの反射光を受光することにより、特に遠距離にある車両などの距離検出が可能である。これに対しステレオカメラ２００は、左右視差の大きさにもよるが、あまり遠距離の物体の距離を検出することはできない。したがって、アクティブレンジファインダー１００からの出力を用いることにより、たとえば高速走行中において、比較的遠方に停止している他の車両などを回避する等の運転支援上有効である。これに対してステレオカメラ２００においては、後述するような特長があるので、本実施形態ではこれらの両検出系からの出力を所定のアルゴリズムにしたがって、その長所を生かしての物体検出を行ない、最終的には運転支援に役立てようとするものである。

ステレオカメラ２００は、ステレオ光学系２１０と、このステレオ光学系２１０で捉えたステレオ画像を電気信号に変換するための撮像素子２２２と、ステレオ光学系内部にある絞り機構（不図示）の調整を行なうための絞り調整部２３２、撮像素子２２２内部にある電子シャッターの電荷蓄積時間を調整するためのシャッター調整部２３３、撮像素子２２２の内部にあるアナログ画像信号増幅部の増幅率を調整するための感度調整部２３４、上記絞り調整部２３２とシャッター調整部２３３と感度調整部２３４とを調整し、いわゆる露出調整を行なう露出調整部２３１などを備えている。このステレオカメラ２００内部の撮像素子２２２は、可視光の分光感度特性を有していると共に、前記投光ユニット１１０から投光される赤外光をこのステレオカメラ２００の補助光として利用するために、この投光ユニット１１０から投光される赤外光の周波数領域の一部または全部を捉え得る有効感度領域を更に有している。またステレオカメラ２００の感度調整部２３４は、通常は標準的な感度が得られるように設定されているが、当該ステレオカメラ２００で得られる前記補助光を伴う画像輝度情報に応じて、可変制御され得るものとなっている。さらにステレオカメラ２００は、前記対象物体１からの画像情報を取得するために撮像素子２２２を周期的に動作させてステレオ画像を周期的に取得し、この取得したステレオ画像について前記距離算出部２３５で距離演算を行ない、対象物体１までの距離を周期的に求めるものとなっている。

処理ユニット３００は、物体認識部３１０、補助光制御部３２０、信頼性判定部３３０、統括制御部３４０、運転状況を入力するための情報入力端子３５０などを備えている。

処理ユニット３００における物体認識部３１０は、前記アクティブレンジファインダー１００からの距離出力信号ＳＤと、前記ステレオカメラ２００内の撮像素子２２２から出力されるテクスチャ画像データＳＴと、距離算出部２３５から出力される三次元画像データＳＶと、運転状況入力手段からの情報ＳＩとに基づいて、前記対象物体１を認識する。

ここでテクスチャ画像データＳＴとは、物体の距離情報を含まない輝度や色の情報を含む平面画像のデータである。また三次元距離画像データＳＶとは、物体の輝度や色の情報を含まないテクスチャ画像データＳＴのピクセルに対応した距離データ列の分布を示すデータである。

ステレオカメラ２００からの上記テクスチャ画像データＳＴと三次元距離画像データＳＶとに基づいて、道路上の白線検知やガードレール、その他の障害物の検出が可能となる。このため白線をトレースしながら走行したり、障害物を避けて走行するための運転支援が可能となる。この機能はアクティブレンジファインダー１００では得られない機能であり、ステレオカメラ２００の特長となっている。

タイミング調整部３２１は、統括制御部３４０からの制御信号を入力して投光ユニット１１０内のパルス制御部１１５に制御信号を出力し、レーザー光源１１１のパルス発光の発光タイミングを制御する。また受光ユニット１２０に制御信号を出力して、受光ユニット１２０の受光素子１２１、距離算出ユニット１２３などの制御を行なう。更にステレオカメラ２００内の撮像素子２２２に制御信号を出力して、この撮像素子２２２の駆動制御を行なう。

露光調整部３２２は、物体認識部３１０から出力される物体距離に関する情報と、物体認識部３１０を経由して得られるステレオカメラ２００からのテクスチャ画像データＳＴとに基づいて、後述するアルゴリズムに従い、投光ユニット１１０内部の出力調整部１１７に制御信号を出力し、レーザー光源１１１の発光強度を制御する。また受光ユニット１２０内部のゲインコントローラ１２５に制御信号を出力し、受光感度の調整を行なう。更にステレオカメラ２００内部の露出調整部２３１に制御信号を出力し、ステレオカメラ２００内の絞り、電子シャッター、受光感度の調整を行なう。

信頼性判定部３３０は、アクティブレンジファインダー１００からの測距結果とステレオカメラ２００からの測距結果とを比較し、両測距結果の比較判定を行なう。そして両者の測距結果に大きな差がある場合には、この装置に故障が発生したものと判定し、外部に所定の警告信号を出力する。

統括制御部３４０は、前記物体認識部３１０，タイミング調整部３２１，露光調整部３２２，信頼性判定部３３０からの出力信号を入力すると共に、これら３１０，３２１，３２２，３３０に対して制御信号を出力して全体の統括制御を行なう。

タイミング調整部３２１、露光調整部３２２を含む補助光制御手段３２０は、以下の如く種々の機能を有している。前記アクティブレンジファインダー１００の投光ユニット１１０で投光される光を、前記ステレオカメラ２００の補助光として照射するように、上記投光ユニット１１０を動作制御する。また補助光制御手段３２０は、前記アクティブレンジファインダー１００の投光ユニット１１０で投光された光を、前記ステレオカメラ２００の補助光として、前記ステレオカメラ２００の視野範囲Ｖに対し所定の関係にある照射範囲Ｗに対して照射させる。

補助光制御手段３２０は、前記ステレオカメラ２００の撮像動作に対し、前記アクティブレンジファインダー１００の投光ユニット１１０を、前記ステレオカメラの補助光照射手段として、所定のタイミングで動作させる。また補助光制御手段３２０は、一回の撮像動作において所定の照射範囲を照射する手段を含んでいる。また補助光制御手段３２０は、複数回の撮像動作において所定の異なる照射範囲を照射する手段を含んでいる。また補助光制御手段３２０は、複数回の撮像動作において特定の撮像動作に限り、前記アクティブレンジファインダー１００の投光ユニット１１０を選択的に動作させる手段を含んでいる。

また補助光制御手段３２０は、前記ステレオカメラ２００から得られた画像情報に基づいて、補助光照射手段としての前記投光ユニット１１０の制御を行なう。また補助光制御手段３２０は、前記ステレオカメラ２００から得られた画像情報に応じて、補助光照射手段としての前記投光ユニット１１０のオン／オフ制御を行なう。さらに補助光制御手段３２０は、前記ステレオカメラ２００から得られた画像情報に応じて、補助光照射手段としての前記投光ユニット１１０の光強度制御を行なう。

補助光制御手段３２０は、前記ステレオカメラ２００から得られた画像情報に応じて、対象領域の輝度が所定の輝度範囲に入るように前記投光ユニット１１０の光強度の調整制御を行なう。また補助光制御手段３２０は、前記ステレオカメラから得られた画像情報に応じて、対象となる領域に人物が存在している可能性があると判断された場合には、前記投光ユニット１１０をオフにするか又は光強度を弱くする手段を含んでいる。また補助光制御手段３２０は、前記ステレオカメラ２００から得られた画像情報に応じて、補助光照射手段としての前記投光ユニット１１０からの投光スポットの大きさを制御する手段を含んでいる。さらに補助光制御手段３２０は、前記ステレオカメラ２００から得られた画像情報に応じて、補助光照射手段としての前記投光ユニット１１０による照射範囲Ｗを制御する手段を含んでいる。

補助光制御手段３２０は、動作開始時において、補助光照射手段としての前記投光ユニット１１０を、オフの状態又は光強度が比較的弱い状態から除々に比較的強い状態に高めていく手段を含んでいる。また補助光制御手段３２０は、前記ステレオカメラ２００から得られた輝度情報に応じて補助光照射手段としての前記投光ユニット１１０を制御する手段を含んでいる。また補助光制御手段３２０は、前記ステレオカメラから得られた画像情報に応じて、補助光照射手段としての前記投光ユニット１１０の制御を行なうと共に、前記ステレオカメラ２００の受光感度の調整を行なう手段を含んでいる。さらに補助光制御手段３２０は、前記運転状況入力手段で入力された車両１０の運転状況（例えばハンドルの舵角）に基づいて、補助光照射手段としての前記投光ユニット１１０の照射範囲Ｗを決定する手段を含んでいる。

なお本装置２０は上述したもの以外に、次のような手段を備えている。すなわち前記アクティブレンジファインダー１００の投光ユニット１１０で投光された光が、前記ステレオカメラ２００の補助光として照射される範囲Ｗを、前記ステレオカメラ２００の視野範囲Ｖまたは視野範囲Ｖの基準位置に対して調整する補助光照射範囲の調整手段を備えている。

またアクティブレンジファインダー１００からの測距結果に基づいて、ステレオカメラ２００からの測距結果のキャリブレーションを行なうキャリブレーション実行手段を備えている。ステレオカメラ２００の光学系は精密な光学的な調整が行なわれているが、長期間使用していると、振動などによる経時変化によって測距結果に誤差が発生するおそれがある。アクティブレンジファインダー１００の測距方法は、レーザー光源１１１から発光が行なわれてから、対象物体１で反射した光が戻ってくるまでの時間を測定することにより測距するものである。従ってステレオカメラ２００に比べて経時変化が生じ難く、計測値が安定している。従って上記キャリブレーションは、定期的に、あるいは物体認識装置の電源投入時毎に、行なわれることが好ましい。

また本装置２０は、前記撮像ユニット２２０における撮像素子２２２の動作周期中、電荷蓄積を行なう期間内は、前記ステレオカメラ２００の補助光照射のために前記投光ユニット１１０を動作させ、電荷蓄積を行なう期間以外は、アクティブレンジファインダー１００として測距データを得るために前記投光ユニット１１０を動作させる、投光制御手段（１２５，３４０）を備えている。

以下、上述した第1実施形態の動作及び作用を説明する。図６は物体認識装置２０で得られるステレオ画像２（左画像２Ｌ、右画像２Ｒ）を示す図で、アクティブ投影照射範囲ＷＬ、ＷＲを示す図である。図７は物体認識装置２０で得られるステレオ画像２（左画像２Ｌ、右画像２Ｒ）を示す図で、アクティブ投影照射スポットＳＰによるスキャニング状況を示す図である。矢印Ｘ１、Ｘ２．Ｘ３…はポリゴンミラー１１３の各傾斜反射面による水平走査ラインを示している。

図８、図９はレーザー光源１１１からステレオカメラ２００の補助光として照射される光の左右照射範囲を調整する手段についての説明図である。図８はポリゴンミラー１１３の三つの傾斜反射面(ＰＭ−Ｕ、ＰＭ−Ｍ、ＰＭ−Ｌ)の回転動作と、レーザーパルス照射Ａ，Ｂ，Ｃのタイミングとの関係を示している。ここでＰＭ−Ｕは、図３の（ｃ）のＵ１又はＵ２、ＰＭ−Ｍは図３の（ｃ）のM1又はM2、ＰＭ−Ｌは図３の（ｃ）のＬ１又はＬ２に対応している。上記レーザーパルス照射Ｂは、レーザー光源１１１の基準の発光タイミングを示す。レーザー光源１１１はポリゴンミラー１１３の各傾斜反射面の回転周期に同期して、所定のタイミングでパルス発光を行なう。結果として図９の（ｂ）に示すように、ステレオカメラ２００の検出視野に対し、所定の照射範囲Ｗ（ＷＬ，ＷＲ）において補助光としての発光スキャンを行なう。

ここでステレオカメラ２００の検出視野に対し、投光ユニット１１０とりわけレーザー光源１１１が正確に取り付けられていればよいが、そうでない場合には、図９の（ａ）または（ｃ）のように、補助光としてのスキャン範囲がずれてしまう。図９の（ｃ）に示すように右側にずれた場合には、図８のレーザーパルス照射Ａに示すように、レーザー光源１１１の発光タイミングを基準よりΔｔだけ早める。こうすることで、結果として図９の（ｂ）に示すものとなる。また図９の（ａ）に示すようにスキャン範囲が左側にずれた場合には、図８のレーザーパルス照射Ｃに示すように、レーザー光源１１１の発光タイミングをΔｔだけ遅らせる。こうすることにより、結果として図９の（ｂ）に示すものとなる。上記の調整は、ステレオカメラ２００の補助光としてレーザー光源１１１を使用する場合だけでなく、レーザー光源１１１をアクティブレンジファインダー本来の使い方をする場合においても同じく有効な調整である。

図１０は統括制御部３４０が行なう全体制御シーケンスを示すフロー図である。統括制御部３４０によりステップＳ１００のステレオ撮像と、ステップＳ１０１のアクティブレンジファインダー１００での測距が１セットとして３０回／秒の頻度で行なわれる。すなわち１サイクルを約３３ｍｓｅｃとしてその前半でステップＳ１００が実行され、後半でステップＳ１０１が実行される。また前記ステップＳ１００，１０１のシーケンスと並行してステップＳ１０２の物体認識と、ステップＳ１０３の運転支援情報出力のシーケンスが行なわれる。このステップＳ１０２，Ｓ１０３は前回あるいは前々回等の過去のループで求めたステップＳ１００，Ｓ１０１の結果を用いて行なう。

図１１は前記ステップＳ１００，Ｓ１０１のシーケンスにおける撮像素子２２２の電荷蓄積時間、ポリゴンミラー１１３の傾斜反射面の動き、レーザー光源（ＬＤ）１１１の発光パルス照射のタイミングを示す図である。図示の如く、一つの撮像動作（１サイクル）の前半の１／２サイクルにおいて、ポリゴンミラー１１３の各傾斜反射面（ＰＭ−Ｕ１，ＰＭ−Ｍ１，ＰＭ−L１）からの補助光照射を伴った電荷蓄積が行なわれる。そして後半の１／２サイクルにおいて、ポリゴンミラー１１３の各傾斜反射面（ＰＭ−Ｕ２，ＰＭ−Ｍ２，ＰＭ−L２）からのレーザー光の投光によるアクティブレンジファインダー１００としての測距動作が行なわれる。

図１１に示すようなタイミングでレーザー光源（ＬＤ）１１１を発光動作させることにより、図９の（ｂ）に示すように、ステレオカメラ２００の視野範囲の中の所定の範囲内において補助光を照射したり、あるいはアクティブレンジファインダー１００として所定の範囲内にレーザー光を照射して測距を行なうことが可能になる。

図１２のフローチャートおよび図１３に示す図表を用いて、前記ステップＳ１００のステレオ撮像のシーケンスをさらに詳しく説明する。

まずステップＳ２００で高輝度かどうかの判定が行なわれる。シャッター開時間(電荷蓄積時間) が最長である１５ｍｓｅｃ、絞りが最小絞り、撮像素子２２２の感度設定が最低感度、の条件において、撮像素子２２２からの出力が飽和する輝度である場合は高輝度であると判断され、ステップＳ２０１の高輝度制御が行なわれる。

ステップＳ２０１の高輝度制御では、図１３のＸ項に示すように、シャッター開時間は、最長秒時である１５ｍｓｅｃから最短秒時である１μｓｅｃの間で、輝度に合わせて可変制御が行なわれる。絞りは最小絞り固定である。撮像素子２２２の感度設定は、最低感度固定である。レーザー光源１１１による補助光は無し(ＯＦＦ)とされる。ここでシャッター開時間は、撮像素子２２２から得られる画像データのＭＡＸ値が飽和レベルの７０〜１００％の範囲内に入るように、各回のステレオ撮像にフィードバックをかけて調整制御される。

前記ステップＳ２００において、高輝度でないと判定された場合には、ステップＳ２０２で低輝度か否かを判定される。シャッター開時間(電荷蓄積時間) が最長である１５ｍｓｅｃ、絞りが最大絞り、撮像素子２２２の感度設定が最低感度、の条件において、撮像素子２２２からの出力が飽和レベルの７０％以下の時には、低輝度であると判定され、ステップＳ２０４の低輝度制御が行なわれる。またそうで無いときには、中輝度であると判定され、ステップＳ２０３の中輝度制御が行なわれる。

ステップＳ２０３の中輝度制御では、図１３のＹ項に示すように、シャッター開時間は最長秒時である１５ｍｓｅｃに固定される。絞りは最小絞り〜最大絞りの間で輝度に合わせて可変制御が行なわれる。撮像素子２２２の感度設定は最低感度固定である。レーザー光源１１１による補助光は有り（ＯＮ）とされる。レーザー光源１１１の発光強度は、対象物体１にとって適正な補助光となるように、対象物体１までの距離と絞りの制御値とに合わせて調整制御される。ここで絞りは、撮像素子２２２から得られる画像データのＭＡＸ値が飽和レベルの７０〜１００％の範囲内に入るように、各回のステレオ撮像結果から次回のステレオ撮像にフィードバックをかけて調整制御される。

ステップＳ２０４の低輝度制御では、図１３のＺ項に示すように、シャッター開時間は最長秒時である１５ｍｓｅｃに固定される。絞りは最大絞り固定である。撮像素子２２２の感度設定は最低感度と最高感度との間で輝度に合わせて可変制御される。レーザー補助光は有り（ＯＮ）とされる。レーザー光源１１１の発光強度は、対象物体１にとって適正な補助光となるように、対象物体１までの距離と撮像素子２２２の感度設定の制御値とに合わせて調整制御される。ここで撮像素子２２２の感度設定は、撮像素子２２２から得られる画像データのＭＡＸ値が飽和レベルの７０〜１００％の範囲内に入るように、各回のステレオ撮像結果から次回のステレオ撮像にフィードバックをかけて調整制御される。

なお上記調整制御としては、一般的なビデオカメラ撮影時における絞り優先、シャッタースピード優先、絞り・シャッタースピード優先等と同様の露出制御を行なうようにしても良い。

以上のようにステレオカメラ２００内の撮像素子２２２からの出力に応じて、適宜シャッター開時間の調整制御、絞りの調整制御、撮像素子２２２の感度設定のための調整制御、レーザー光源１１１の発光強度の調整制御等が行なわれる。

（第２実施形態）
図１４の（ａ）（ｂ）及び図１５は本発明の第２実施形態に係る物体認識装置２０の構成を示す図で、図１の（ａ）（ｂ）及び図２に対応して示した図である。この第２実施形態が前記第１実施形態と異なる点は、アクティブレンジファインダー１００の投光ユニット１１０のみをステレオカメラ２００と一体化して車内に設置し、アクティブレンジファインダー１００の受光ユニット１２０は、車両の前部バンパー近傍に設置した点である。このような形態でも本発明の目的は達成可能である。

（第３実施形態）
図１６は本発明の第３実施形態に係る物体認識装置の動作を示す図で、撮像素子の電荷蓄積時間、ポリゴンミラー１１３の傾斜反射面の動き、レーザー光源（ＬＤ）の発光パルス照射のタイミングを示す図である。図１７の（ａ）（ｂ）（ｃ）は、同実施形態に係る物体認識装置２０による三回の撮影で得られるステレオ画像とアクティブ投影照射範囲ＷＬ、ＷＲとの関係を示す図である。この第３実施形態は、ポリゴンミラー１１３の動作速度が第1実施形態のように速くなく、１サイクルの間にポリゴンミラー１１３の6面の駆動ができずに、４面分しか駆動できない場合に対応した実施形態である。この場合、第1実施形態のような１５ｍｓｅｃ程度のシャッター秒時の設定が不可能になり、シャッター速度が速く電荷蓄積時間が１サイクルの１／４以下の短い撮影条件のとき、ポリゴンミラー１１３の発光スキャン速度に合わせて、撮影動作を複数回（本実施形態では３回）に分けて行ない、それらの撮影画像を合成することにより所要の一枚の画像を得るようにした例である。図１６において斜線部ＰＡ，ＰＢ，ＰＣが補助光照射による撮影のタイミングを示している。図１７の（ａ）（ｂ）（ｃ）に示すように、アクティブ投影照射範囲ＷＬ、ＷＲは、（ａ）（ｂ）（ｃ）…で示す複数回（本実施形態では３回）の撮影動作に対応して順次下方へずれている。

（第４実施形態）
図１８は本発明の第４実施形態に係る物体認識装置の動作を示す図で、撮像素子の電荷蓄積時間、ポリゴンミラーの傾斜反射面の動き、レーザー光源（ＬＤ）の発光パルス照射のタイミングを示す図である。この第４実施形態が第１実施形態と異なる点は、ステレオ撮像を３回行なう毎に１回の割合で補助光をＯＮにするようにした点である。すなわち図１８に示すように、ステレオ撮像を行なう期間（電荷蓄積時間）Ｆ１、Ｆ７…で補助光をＯＮにする。期間Ｆ３，Ｆ５，Ｆ９，Ｆ１１ではレーザー光をＯＦＦとする。またアクティブレンジファインダー１００としてのレーザー光源１１１は、間引き動作することなく期間Ｆ２，Ｆ４，Ｆ６，Ｆ８，Ｆ１０…においてそれぞれ動作する。

（第５実施形態）
図１９は本発明の第５実施形態に係る物体認識装置の動作を示す図で、レーザーパルスＬＰ１、ＬＰ２．ＬＰ３．ＬＰ４…の照射タイミングとポリゴンミラーの各傾斜反射面（ＰＭ−Ｕ、ＰＭーＭ、ＰＭ−Ｌ）の回転周期との対応関係を示すタイミング図である。図２０は図１９に示すタイミングでレーザーパルスＬＰ１、ＬＰ２．ＬＰ３．ＬＰ４…が照射されたときのステレオ画像２上のアクティブ投影照射範囲ＷＬ、ＷＲを示す図である。

この第５実施形態が第１実施形態と異なる点は、ステレオ画像データにおいて、ターゲットとなる対象物体がステレオカメラ２００の視野範囲における一部分であると判定された場合には、その限られた一部分にのみ補助光を照射するようにした点である。図１９に示すように、投光ユニット１１０から発せられるレーザーパルスＬＰ１、ＬＰ２．ＬＰ３．ＬＰ４…の照射幅は通常の場合より幅が狭い。図１９に示すように、アクティブ投影照射範囲ＷＬ、ＷＲは、各ステレオ画像２Ｌ、２Ｒの上部領域に制限されている。

（第６実施形態）
図２１は本発明の第６実施形態に係る物体認識装置の動作を示す図で、レーザーパルスＬＰ１、ＬＰ２、ＬＰ３、ＬＰ４…の照射タイミングとポリゴンミラー１１３の各傾斜反射面（ＰＭ−Ｕ、ＰＭーＭ、ＰＭ−Ｌ）の回転周期との対応関係を示すタイミング図である。図２２の（ａ）は同実施形態に係る物体認識装置で得られるステレオ画像とアクティブ投影照射範囲ＷＬ、ＷＲとの関係を示す図、図２２の（ｂ）は同図の（ａ）に対応するハンドル舵角の操作方向を示す概略図である。

この第６実施形態が第１実施形態と異なる点は、入力端子３５０を介して入力する運転状況入力手段（不図示）からの情報ＳＩに応じて、限定された範囲に補助光を照射するようにした点である。運転状況入力手段（不図示）として自動車のハンドル舵角を入力し、たとえば図２２の（ｂ）に示すようにハンドルＨを右方向に切った場合には、ターゲットとなる対象物体１がステレオカメラ２００の視野の右側にあると判断し、このハンドル舵角に応じて図２２の（ａ）に示すように右側にシフトした領域に対して補助光照射範囲ＷＬ、ＷＲを移すように構成されている。

（第７実施形態）
図２３の（ａ）（ｂ）は本発明の第７実施形態に係る物体認識装置で得られるステレオ画像とアクティブ投影照射範囲ＷＬ、ＷＲとの関係を示す図で、（ａ）は通常時の場合の図、（ｂ）はシリンドリカルレンズを挿入し且つ発光パルスの周期を短くして出射した場合の図である。

この第７実施形態が第１実施形態と異なる点は、レーザー光源１１１とポリゴンミラー１１３との間に、挿脱可能なシリンドリカルレンズ（不図示）を挿入可能とした点である。通常の場合には、このシリンドリカルレンズをレーザー光源１１１の前に挿入せずに円形のレーザー光束を出射する。その結果、図２３の（ａ）に示すように、標準的な照射範囲ＷＬ，WRに補助光が照射される。そして例えば対象物体１が遠方にあり、強力な補助光が必要な場合には、レーザー光源１１１の前方にシリンドリカルレンズを挿入し、レーザー光束が垂直方向に細長になるように変形させると共に、レーザー光源１１１の発光パルスの周期を短くして出射する。その結果、図２３の（ｂ）に示すように、標準的な照射範囲ＷＬａ，ＷＲａに比べて狭い照射範囲ＷＬｂ，WRｂに補助光が照射される。かくして遠方にある対象物体１に対し、補助光を効率よく照射することが可能となる。この第７実施形態では、シリンドリカルレンズをレーザー光源１１１とポリゴンミラー１１３との間に入れるようにしたが、ポリゴンミラー１１３の光出射側に入れるようにしても良い。この場合は、レーザー光源１１１の発光パルスの周期を変更しなくても、シリンドリカルレンズの挿脱だけで同様の効果が得られる。

（第８実施形態）
図２４は本発明の第８実施形態に係る物体認識装置で得られるステレオ画像とアクティブ投影照射範囲ＷＬ、ＷＲとの関係を示す図である。この第８実施形態が第１実施形態と異なる点は、補助光の照射ムラを更に大きくして、対象物体にコントラストを与える効果を高めるようにした点である。すなわち、図２４に示すように、レーザー光源１１１をステレオカメラ２００の補助光照射の手段として動作させるときに、発光周期を標準より長めにして各発光パルスの間の間隔をあけるようにした。このようにすることで、対象物体１の表面に発生する照射ムラがより明確なものとなり、上記対象物体にコントラストを与える効果が高まる。

（第９実施形態）
図２５は本発明の第９実施形態に係る物体認識装置の動作を示す図で、撮像素子の電荷蓄積時間、ポリゴンミラーの傾斜反射面の動き、レーザー光源（ＬＤ）の発光パルス照射のタイミングを示す図である。この第９実施形態が第１実施形態と異なる点は、レーザー光源１１１から発するパルス発光の強度に変調をかけることにより、対象物体１上に照射ムラを発生させるようにした点である。すなわちステレオカメラ２００の補助光として、間断なくレーザー光線を照射させる点においては、図２３の（ａ）と同様であるが、図２５に示すように、強度がランダムに変化するパルス発光を対象物体１に対して照射するようになっている。本実施形態によれば、対象物体１にコントラストを与える効果が高まる点では第８実施形態と同様である。しかも対象物体１上に発生する照射ムラが周期的なものでなくなるため、誤測距のおそれが少ない。因みに、ステレオカメラ２００の測距方法は左右の視差を利用したものであるため、照射ムラが周期的なものであると、正確な検出が行なわれず誤測距のおそれがある。

（第１０実施形態）
図２６は本発明の第１０実施形態に係る物体認識装置の構成を示す外観斜視図である。この第１０実施形態が第１実施形態と異なる点は、図２６に示すように、投光ユニット１１０、受光ユニット１２０を一体化しているアクティブレンジファインダー１００全体が、回動軸ＡＸを中心として矢印Ｒで示すように俯仰自在に回動可能とし、照射範囲Ｗの高さ方向の向きを上下に調整可能とした調整機構を備えた点である。なお回動軸ＡＸは、左視野開口部２１１ａと右視野開口部２１１ｂとを結ぶ線に沿って設けられている。

（実施形態における特徴点)
［１］実施形態に示された物体認識装置は、
対象物体に光を投光する投光ユニット１１０を有し、その反射光より対象物体までの距離を求めるためのアクティブレンジファインダー１００と、
前記対象物体からの画像情報に基づいて、当該対象物体までの距離を求めるためのステレオカメラ２００と、
前記アクティブレンジファインダー１００からの出力信号Ｓ１と前記ステレオカメラ２００からの出力信号Ｓ２とに基づいて前記対象物体を認識する物体認識手段３１０と、
前記アクティブレンジファインダー１００の投光ユニット１１０で投光される光を、前記ステレオカメラ２００の補助光として照射するように、上記投光ユニット１１０を動作制御する補助光制御手段３２０と、
を備えたことを特徴としている。

上記物体認識装置は、アクティブレンジファインダー１００とステレオカメラ２００という二種類の測距手段を有する装置において、アクティブレンジファインダー１００の投光ユニット１１０をステレオカメラ２００の補助光としても使用するものである。このため、周囲が暗い条件下でも、専用の補助光照射手段を格別に設けることなく、適正なステレオ画像を得ることができる。しかも装置はコンパクトに形成でき、低コストで製作できる上、設置スペース上も有利である。また補助光の投光パターンに分布を持たせることにより、パターン投射の機能を持たせることも可能である。このため低コントラストの対象物体に対しては、周囲が明るい条件下において、所要のコントラストを与えることが可能であり、測距精度を高めることが可能となる。

［２］実施形態に示された物体認識装置は、
対象物体に光を投光する投光ユニット１１０を有し、その反射光より対象物体までの距離を求めるためのアクティブレンジファインダー１００と、
前記対象物体からの画像情報に基づいて、当該対象物体までの距離を求めるためのステレオカメラ２００と、
前記アクティブレンジファインダー１００からの出力信号Ｓ１と前記ステレオカメラ２００からの出力信号Ｓ２とに基づいて前記対象物体を認識する物体認識手段３１０と、
を備えた車載用の物体認識装置において、
前記アクティブレンジファインダー１００及び前記ステレオカメラ２００は、車室１１内に設けられていることを特徴としている。

上記物体認識装置においては、少なくともステレオカメラ１００を車室１１内の高い位置に設けることが可能になる。このため車道の白線検知を行なう場合等において視界が十分広いものとなる。またアクティブレンジファインダー１００及びステレオカメラ２００が車室１１内に設けられることから、当該物体認識装置を雨、風、ゴミから保護することができる。さらに当該物体認識装置の取り付け位置が、車室１１内のフロントガラス１３の内側に設けられた場合には、雨天であっても、ワイパー機能により雨滴が取り除かれた状態となるため、雨滴による悪影響の無い画像データを得ることができる。

［３］実施形態に示された物体認識装置は、
対象物体に赤外光を投光する投光ユニット１１０を有し、その反射光より対象物体までの距離を求めるためのアクティブレンジファインダー１００と、
前記対象物体からの画像情報に基づいて、当該対象物体までの距離を求めるための、ステレオカメラ２００と、
前記アクティブレンジファインダー１００からの出力信号Ｓ１と前記ステレオカメラ２００からの出力信号Ｓ２とに基づいて前記対象物体を認識する物体認識手段３１０と、
前記アクティブレンジファインダー１００の投光ユニット１１０で投光される光を、前記ステレオカメラ２００の補助光として照射するように、上記投光ユニット１１０を動作制御する補助光制御手段３２０と、
前記ステレオカメラ２００の前面に配された保護ガラス１３と、
を備えた物体認識装置において、
前記保護ガラス１３は、前記アクティブレンジファインダー１００の投光ユニット１１０から投光され、前記対象物体から反射された光が入射する領域を含む所定領域Ｅが赤外光透過可能領域となっており、上記所定領域Ｅを除く他の領域が赤外光透過制限領域となっていることを特徴としている。

上記物体認識装置においては、対象物体から反射されてくる必要な赤外光は、所定領域Ｅを透過して入射する。このため無用な赤外光が車室１１内に侵入することによる弊害を回避できる。

［４］実施形態に示された物体認識装置は、
対象物体に赤外光を投光する投光ユニット１１０を有し、その反射光より対象物体までの距離を求めるためのアクティブレンジファインダー１００と、
前記対象物体からの画像情報に基づいて、当該対象物体までの距離を求めるための、ステレオカメラ２００と、
前記アクティブレンジファインダー１００からの出力信号Ｓ１と前記ステレオカメラ２００からの出力信号Ｓ２とに基づいて前記対象物体を認識する物体認識手段３１０と、
前記アクティブレンジファインダー１００の投光ユニット１１０で投光される光を、前記ステレオカメラ２００の補助光として照射するように、上記投光ユニット１１０を動作制御する補助光制御手段３２０と、
前記ステレオカメラ２００の前面に配された保護ガラス１３と、
を備えた物体認識装置において、
前記保護ガラス１３は、前記投光ユニット１１０から投光される赤外光の周波数領域の一部または全部が透過可能な有効感度領域を有することを特徴としている。

上記物体認識装置においては、車室１１内に設けたステレオカメラ２００に対して補助光を有効に適用することができる。

［５］実施形態に示された物体認識装置は、
対象物体に赤外光を投光する投光ユニット１１０を有し、その反射光より対象物体までの距離を求めるためのアクティブレンジファインダー１００と、
前記対象物体からの画像情報に基づいて、当該対象物体までの距離を求めるための、ステレオカメラ２００と、
前記アクティブレンジファインダー１００からの出力信号Ｓ１と前記ステレオカメラ２００からの出力信号Ｓ２とに基づいて前記対象物体を認識する物体認識手段３１０と、
前記アクティブレンジファインダー１００の投光ユニット１１０で投光される光を、前記ステレオカメラ２００の補助光として照射するように、上記投光ユニット１１０を動作制御する補助光制御手段３２０と、
を備えた物体認識装置において、
前記アクティブレンジファインダー１００の投光ユニット１１０と前記ステレオカメラ２００とは、同一のハウジング２１に収容されユニット化されていることを特徴としている。

上記物体認識装置においては、ステレオカメラ２００の検出視野(左右カメラ視野のオーバーラップ領域)Ｖと、補助光照射範囲（レーダースキャン領域）Ｗとの位置合わせ等のキャリブレーションを、車両１０等の移動体に取り付ける前の段階において、ユニット単体として実行可能である。

［６］実施形態に示された物体認識装置は、前記［５］に記載の物体認識装置であって、
前記ステレオカメラ２００は、前記対象物体の画像情報を異なる視線方向から取得する為に、二つの光入力部２１０，２２０を有し、
前記投光ユニット１１０は、前記ステレオカメラ２００の二つの光入力部２１０，２２０の略中間位置に搭載されていることを特徴としている。

上記物体認識装置においては、ステレオカメラ２００の検出視野(左右カメラ視野のオーバーラップ領域)Ｖに効率良く補助光Ｐを照射することが可能になる。また物体認識装置の統合ユニット２０をコンパクトに形成できるため、同ユニット２０の設置スペースを必要最小限に抑制できる。なお対象物体が立体物である場合には、当該対象物体の影の部分に補助光が照射されない部分が発生するが、上記の如く投光ユニット１１０が二つの光入力部２１０，２２０の略中間位置に配置されていることから、上記補助光が照射されない領域を極力少なくすることができる。

［７］実施形態に示された物体認識装置は、
対象物体に光を投光する投光ユニット１１０を有し、その反射光より対象物体までの距離を求めるためのアクティブレンジファインダー１００と、
前記対象物体からの画像情報に基づいて、当該対象物体までの距離を求めるためのステレオカメラ２００と、
前記アクティブレンジファインダー１００の投光ユニット１１０で投光される光を、前記ステレオカメラ２００の補助光として、前記ステレオカメラ２００の視野範囲Ｖに対し所定の関係にある照射範囲Ｗに対して照射する補助光制御手段３２０と、
前記アクティブレンジファインダー１００からの出力信号Ｓ１と前記ステレオカメラ２００からの出力信号Ｓ２とに基づいて前記対象物体を認識する物体認識手段３１０と、
を備えたことを特徴としている。

上記物体認識装置においては、ステレオカメラ２００の検出視野Ｖと補助光照射範囲Ｗとを、所定の関係で合わせるようにしたので、ステレオカメラ２００の対象物体に効率良く補助光を照射することができる。

［８］実施形態に示された物体認識装置は、
対象物体に光を投光する投光ユニット１１０を有し、その反射光より対象物体までの距離を求めるためのアクティブレンジファインダー１００と、
前記対象物体からの画像情報に基づいて、当該対象物体までの距離を求めるためのステレオカメラ２００と、
前記アクティブレンジファインダー１００からの出力信号Ｓ１と前記ステレオカメラ２００からの出力信号Ｓ２とに基づいて前記対象物体を認識する物体認識手段３１０と、
前記アクティブレンジファインダー１００の投光ユニット１１０で投光される光を、前記ステレオカメラ２００の補助光として照射するように、上記投光ユニット１１０を動作制御する補助光制御手段３２０と、
前記アクティブレンジファインダー１００の投光ユニット１１０で投光された光が前記ステレオカメラ２００の補助光として照射される範囲Ｗを、前記ステレオカメラ２００の視野範囲Ｖまたは視野範囲Ｖの基準位置に対して調整する調整手段と、
を備えたことを特徴としている。

［９］実施形態に示された物体認識装置は、前記［８］に記載の物体認識装置であって、
前記投光ユニット１１０は、光源１１１と、当該光源１１１からの光束をメカニカルに走査する走査手段１１２とを有し、前記光源１１１の発光タイミングと前記走査手段１１２の動作タイミングとの関係を調整することによって、前記補助光として照射する範囲Ｗを調整することを特徴としている。

［１０］実施形態に示された物体認識装置は、前記［８］に記載の物体認識装置であって、
前記投光ユニット１１０は、当該投光ユニット１１０から投光される光束の角度（照射角度）を調整する調整手段を有することを特徴としている。

［１１］実施形態に示された物体認識装置は、
対象物体に光を投光する投光ユニット１１０を有し、その反射光より対象物体までの距離を求めるためのアクティブレンジファインダー１００と、
前記対象物体からの画像情報に基づいて、当該対象物体までの距離を求めるためのステレオカメラ２００と、
前記ステレオカメラ２００の撮像動作に対し、前記アクティブレンジファインダー１００の投光ユニット１１０を、前記ステレオカメラの補助光照射手段として、所定のタイミングで動作させる補助光制御手段３２０と、
前記アクティブレンジファインダー２００からの出力信号Ｓ１と前記ステレオカメラ２００からの出力信号Ｓ２とに基づいて前記対象物体を認識する物体認識手段３１０と、
を備えたことを特徴としている。

上記物体認識装置においては、ステレオカメラ２００の撮影動作に対し、投光ユニット１１０が、補助光照射手段として所定のタイミングで動作する。このため撮像動作の期間内における必要な期間だけ補助光が有効に照射される。

［１２］実施形態に示された物体認識装置は、前記［１１］に記載の物体認識装置であって、
前記補助光制御手段３２０は、一回の撮像動作において所定の照射範囲を照射する手段を含んでいることを特徴としている。

［１３］実施形態に示された物体認識装置は、前記［１１］に記載の物体認識装置であって、
前記補助光制御手段３２０は、複数回の撮像動作において所定の異なる照射範囲を照射する手段を含んでいることを特徴としている。

上記物体認識装置においては、被写体輝度が比較的明るい状態であって、撮像手段の露出時間（電荷蓄積時間）が非常に短い場合（このような場合、一回の撮像動作中（露出時間中）に必要な照射範囲を全て照射することができない）において、複数回の撮像動作において必要な照射範囲が分割して照射されることになる。

［１４］実施形態に示された物体認識装置は、前記［１１］に記載の物体認識装置であって、
前記補助光制御手段３２０は、複数回の撮像動作において特定の撮像動作に限り、前記アクティブレンジファインダー１００の投光ユニット１１０を選択的に動作させる手段を含んでいることを特徴としている。

上記物体認識装置においては、補助光の照射が不必要に多数回行なわれることが防止される。このため、投光ユニット１１０の寿命を長くすることが可能になる。

［１５］実施形態に示された物体認識装置は、
対象物体に赤外光を投光する投光ユニット１１０を有し、その反射光より対象物体までの距離を求めるためのアクティブレンジファインダー１００と
前記対象物体からの画像情報に基づいて、当該対象物体までの距離を求めるための車室１１内に設けられたステレオカメラ２００と、
前記アクティブレンジファインダー１００からの出力信号Ｓ１と前記ステレオカメラ２００のからの出力信号Ｓ２とから前記対象物体を認識するための物体認識手段３１０と、
前記アクティブレンジファインダー１００の投光ユニット１１０で投光される光を、前記ステレオカメラ２００の補助光として照射するように、上記投光ユニット１１０を動作制御する補助光制御手段３２０と、
を備えた物体認識装置において、
前記ステレオカメラ２００は、前記投光ユニット１１０から投光される赤外光の周波数領域の一部または全部を有効感度領域として捉える手段を有することを特徴としている。

上記物体認識装置においては、ステレオカメラ２００の分光感度と、投光ユニット１１０の分光感度とにオーバーラップ領域が生じることになる。このためアクティブレンジファインダー１００の投光ユニット１１０をステレオカメラ２００の補助光照射手段として有効に利用することができる。

［１６］実施形態に示された物体認識装置は、
対象物体に光を投光する投光ユニット１１０を有し、その反射光より対象物体までの距離を求めるためのアクティブレンジファインダー１００と、
前記対象物体からの画像情報に基づいて、当該対象物体までの距離を求めるためのステレオカメラ２００と、
前記アクティブレンジファインダー１００からの出力信号Ｓ１と、前記ステレオカメラ２００からの出力信号Ｓ２とに基づいて前記対象物体を認識する物体認識手段３１０と、
前記アクティブレンジファインダー１００の投光ユニット１１０で投光される光を、前記ステレオカメラ２００の補助光として照射するように、上記投光ユニット１１０を動作制御する補助光制御手段３２０と、
を備えた物体認識装置において、
前記ステレオカメラ２００は画像信号増幅部を更に有し、この画像信号増幅部の増幅率が、前記ステレオカメラ２００から得られる前記補助光を伴う画像輝度情報に応じて可変制御されることを特徴としている。

上記物体認識装置においては、外光の状況（晴天時、夜間などで赤外外乱光の状況が異なる）や対象物体までの距離の関係から、補助光を用いたステレオ画像撮影が良好に行なえない場合、ゲインアップが自動的に行なわれる。その結果、常に良好な補助光撮影が可能となる。

［１７］実施形態に示された物体認識装置は、
対象物体に光を投光する投光ユニット１１０を有し、その反射光より対象物体までの距離を求めるためのアクティブレンジファインダー１００と、
前記対象物体からの画像情報に基づいて、当該対象物体までの距離を求めるためのステレオカメラ２００と、
前記アクティブレンジファインダー１００からの出力信号Ｓ１と前記ステレオカメラ２００からの出力信号Ｓ２とに基づいて前記対象物体を認識する物体認識手段３１０と、
前記アクティブレンジファインダー１００の投光ユニット１１０で投光される光を、前記ステレオカメラ２００の補助光として照射するように、上記投光ユニット１１０を動作制御する補助光制御手段３２０と、
を備えた物体認識装置において、
前記補助光制御手段３２０は、前記ステレオカメラ２００から得られた画像情報に基づいて、補助光照射手段としての前記投光ユニット１１０の制御を行なうことを特徴としている。

上記物体認識装置においては、ステレオカメラ２００にとって必要な補助光照射が的確に行なわれる。このためエネルギーの有効利用等が図れるメリットがある。

［１８］実施形態に示された物体認識装置は、前記［１７］に記載の物体認識装置であって、
前記補助光制御手段３２０は、前記ステレオカメラ２００から得られた画像情報に応じて、補助光照射手段としての前記投光ユニット１１０のオン／オフ制御を行なうことを特徴としている。

上記物体認識装置においては、ステレオ画像情報から補助光が不要であると判断された時、あるいは補助光が有害であると判断された時には補助光がオフ制御される。このため、エネルギーの有効利用が図れる上、補助光を動作させることによる弊害を防止することが可能になる。

［１９］実施形態に示された物体認識装置は、前記［１７］に記載の物体認識装置であって、
前記補助光制御手段３２０は、前記ステレオカメラ２００から得られた画像情報に応じて、補助光照射手段としての前記投光ユニット１１０の光強度制御を行なうことを特徴としている。

上記物体認識装置においては、ステレオ画像情報から、補助光の強度がそれ程必要ないと判断された時、あるいは補助光強度が強いため何らかの弊害があると判断された時に、補助光の強度が自動的に弱められる。またステレオ画像情報から強力な補助光が必要であると判断された時には、補助光の強度が自動的に強められる。したがって状況に応じた適正な補助光強度を設定することが可能となる。

［２０］実施形態に示された物体認識装置は、前記［１９］に記載の物体認識装置であって、
前記補助光制御手段３２０は、前記ステレオカメラ２００から得られた画像情報に応じて、対象領域の輝度が所定の輝度範囲に入るように前記投光ユニット１１０の光強度の調整制御を行なうことを特徴としている。

［２１］実施形態に示された物体認識装置は、前記［１７］に記載の物体認識装置であって、
前記補助光制御手段３２０は、前記ステレオカメラから得られた画像情報に応じて、対象となる領域に人物が存在している可能性があると判断された場合には、前記投光手段をオフにするか又は光強度を弱くする手段を含んでいることを特徴としている。

上記物体認識装置においては、人体に補助光が照射されて、当該人体にダメージを与えることを回避することができる。

［２２］実施形態に示された物体認識装置は、前記［１７］に記載の物体認識装置であって、
前記補助光制御手段３２０は、前記ステレオカメラ２００から得られた画像情報に応じて、補助光照射手段としての前記投光ユニット１１０からの投光スポットの大きさを制御する手段を含んでいることを特徴としている。

通常、遠方に存在するかもしれない対象物体をレーザーレーダーで検出しようとする場合には、投光スポットの径を大きくすることで、結果的にカバーし得る測距領域を大きくし、レーザーレーダーで車両のリフレクタを検出している。上記物体認識装置においては、ステレオ画像の情報を同時に用いることができるため、車両のリフレクタの位置が検出できた場合には、その位置に小径の光強度の強いレーザーを照射することが可能になる。その結果、レーザーレーダーでの測距性能が向上する。

［２３］実施形態に示された物体認識装置は、前記［１７］に記載の物体認識装置であって、
前記補助光制御手段３２０は、前記ステレオカメラ２００から得られた画像情報に応じて、補助光照射手段としての前記投光ユニット１１０による照射範囲Ｗを制御する手段を含んでいることを特徴としている。

上記物体認識装置においては、補助光が必要な照射範囲に限り照射され得る。このためエネルギーの有効利用が図れる。

［２４］実施形態に示された物体認識装置は、前記［１７］又は［２２］に記載の物体認識装置であって、
前記補助光制御手段３２０は、動作開始時において、補助光照射手段としての前記投光ユニット１１０を、オフの状態又は光強度が比較的弱い状態から除々に比較的強い状態に高めていく手段を含んでいることを特徴としている。

上記物体認識装置においては、いきなり強い光強度で動作させた場合に発生するエネルギーのロスを削減できる。同時に、補助光照射領域Ｗに人物が存在している場合、当該人物の人体に与えるダメージを回避することができる。

［２５］実施形態に示された物体認識装置は、前記［１７］に記載の物体認識装置であって、
前記補助光制御手段３２０は、前記ステレオカメラ２００から得られた輝度情報に応じて補助光照射手段としての前記投光ユニット１１０を制御する手段を含んでいることを特徴としている。

上記物体認識装置においては、輝度情報に従って、輝度が明るい場合には補助光の強度を弱く、また輝度が暗い場合には補助光の強度を強くして照射することが可能になる。このため輝度に応じて必要な補助光の強度を設定することができ、エネルギーの有効利用が図れる。

［２６］実施形態に示された物体認識装置は、
対象物体に光を投光する投光ユニット１１０を有し、その反射光より対象物体までの距離を求めるためのアクティブレンジファインダー１００と、
前記対象物体からの画像情報に基づいて、当該対象物体までの距離を求めるためのステレオカメラ２００と、
前記アクティブレンジファインダー１００からの出力信号Ｓ１と、前記ステレオカメラ２００からの出力信号Ｓ２とに基づいて前記対象物体を認識する物体認識手段３１０と、
前記アクティブレンジファインダー１００の投光ユニット１１０で投光される光を、前記ステレオカメラ２００の補助光として照射するように、上記投光ユニット１１０を動作制御する補助光制御手段３２０と、
を備えた物体認識装置において、
前記補助光制御手段３２０は、前記ステレオカメラから得られた画像情報に応じて、補助光照射手段としての前記投光ユニット１１０の制御を行なうと共に、前記ステレオカメラ２００の受光感度の調整を行なう手段を含んでいることを特徴としている。

上記物体認識装置においては、ステレオカメラ２００にとって必要な補助光照射を的確に行なうことができる。しかもステレオカメラ２００からの出力信号Ｓ２の大きさに応じた信号処理が可能となる。したがって、エネルギーの有効利用をはかり得るうえ、ステレオカメラ２００からの出力信号Ｓ２に対して必要なダイナミックレンジの確保が可能になる。

［２７］実施形態に示された物体認識装置は、
対象物体に光を投光する投光ユニット１１０を有し、その反射光より対象物体までの距離を求めるためのアクティブレンジファインダー１００と、
前記対象物体からの画像情報に基づいて、当該対象物体までの距離を求めるためのステレオカメラ２００と、
前記アクティブレンジファインダー１００からの出力信号Ｓ１と前記ステレオカメラ２００からの出力信号Ｓ２とに基づいて前記対象物体を認識する物体認識手段３１０と、
前記アクティブレンジファインダー１００の投光ユニット１１０で投光される光を、前記ステレオカメラ２００の補助光として照射するように、上記投光ユニット１１０を動作制御する補助光制御手段３２０と、
前記アクティブレンジファインダー１００からの距離出力信号Ｓ１により、前記ステレオカメラ２００の距離出力信号のキャリブレーションを行なうキャリブレーション実行手段と、
を備えたことを特徴としている。

一般に、ステレオカメラは複雑かつ繊細な光学機構を有しており、振動等の要因により経時的に光学系のアライメントがずれる可能性がある。これに対してアクティブレンジファインダー１００は経時変化に比較的強い。上記の物体認識装置においては、アクティブレンジファインダー１００の距離出力信号Ｓ１により、ステレオカメラ２００の距離出力信号Ｓ２に対するキャリブレーションが適宜行なわれる。このため経時変化の少ない物体認識装置を実現することが可能となる。

［２８］実施形態に示された物体認識装置は、
対象物体に光を投光する投光ユニット１１０を有し、その反射光より対象物体までの距離を求めるためのアクティブレンジファインダー１００と、
前記対象物体からの画像情報に基づいて、当該対象物体までの距離を求めるためのステレオカメラ２００と、
前記アクティブレンジファインダー１００からの出力信号Ｓ１と前記ステレオカメラ２００からの出力信号Ｓ２とに基づいて前記対象物体を認識する物体認識手段３１０と、
前記アクティブレンジファインダー１００の投光ユニット１１０で投光される光を、前記ステレオカメラ２００の補助光として照射するように、上記投光ユニット１１０を動作制御する補助光制御手段３２０と、
車両１０の運転状況を入力するための運転状況入力手段と、
を備えた車載用の物体認識装置において、
前記補助光制御手段３２０は、前記運転状況入力手段で入力された運転状況に基づいて、補助光照射手段としての前記投光ユニット１１０の照射範囲Ｗを決定する手段を含んでいることを特徴としている。

上記物体認識装置においては、運転状況入力手段で入力された運転状況に基づいて、ステレオカメラ２００の検出視野Ｖの中で必要な領域、或いは重要な領域に対して重点的に補助光を照射することが可能となる。このためエネルギーの有効利用等が図られる。

［２９］実施形態に示された物体認識装置は、前記［２９］の記載の物体認識装置であって、
前記運転状況入力手段は、車両のハンドルの舵角を入力する入力手段であり、
前記補助光制御手段３２０は、前記運転状況入力手段から入力されたハンドルの舵角に基づいて、補助光照射手段としての前記投光ユニット１１０の照射範囲Ｗを決定する手段を含んでいることを特徴としている。

上記物体認識装置においては、ステレオカメラ２００の検出視野Ｖの中で、ハンドルを切った方向に対応した領域に限定して補助光を照射することが可能になる。従ってエネルギーの有効利用等が可能になる。

［３０］実施形態に示された物体認識装置は、
対象物体に光を投光する投光ユニット１１０を有し、その反射光より対象物体までの距離を求めるためのアクティブレンジファインダー１００と、
前記対象物体からの画像情報に基づいて、当該対象物体までの距離を求めるためのステレオカメラ２００と、
前記アクティブレンジファインダー１００からの出力信号Ｓ１と前記ステレオカメラ２００のからの出力信号Ｓ２とに基づいて前記対象物体を認識する物体認識手段３１０と、
前記アクティブレンジファインダー１００の投光ユニット１１０で投光される光を、前記ステレオカメラ２００の補助光として照射するように、上記投光ユニット１１０を動作制御する補助光制御手段３２０と、
前記アクティブレンジファインダー１００からの出力信号Ｓ１と前記ステレオカメラ２００からの出力信号Ｓ２に基づいて、物体認識性能の信頼性を判定するための信頼性判定手段３３０と、
を備えたことを特徴としている。

上記物体認識装置においては、アクティブレンジファインダー１００からの距離出力信号Ｓ１と、ステレオカメラ２００からの距離出力信号Ｓ２とを比較して信頼性の判定を行なうようにしたので、信頼性を損なった場合において、その問題に迅速且つ的確に対処することが可能になる。

［３１］実施形態に示された物体認識装置は、
対象物体に光を投光する投光ユニット１１０を有し、その反射光より対象物体までの距離を求めるためのアクティブレンジファインダー１００と、
前記対象物体からの画像情報を取得するための撮像素子２２０を含み、前記撮像素子２２０を周期的に動作させて対象物体までの距離を周期的に求めるためのステレオカメラ２００と、
前記アクティブレンジファインダー１００からの出力信号Ｓ１と前記ステレオカメラ２００のからの出力信号Ｓ２とに基づいて前記対象物体を認識する物体認識手段３１０と、
前記アクティブレンジファインダー１００の投光ユニット１１０で投光される光を、前記ステレオカメラ２００の補助光として照射するように、上記投光ユニット１１０を動作制御する補助光制御手段３２０と、
前記撮像素子２２０の動作周期の期間中、電荷蓄積を行なう期間内は前記ステレオカメラ２００の補助光照射手段として前記投光ユニット１１０を動作させ、電荷蓄積を行なう期間外はアクティブレンジファインダー１００として前記投光ユニット１１０を動作させる投光制御手段（１２５，３４０）と、
を備えたことを特徴としている。

上記物体認識装置においては、補助光を使用したステレオカメラ２００の撮像動作が周期的に行なわれると共に、その合間を縫ってアクティブレンジファインダー１００の本来的な測距動作が行なわれる。したがって限られた時間内にアクティブレンジファインダー１００及びステレオカメラ２００の両検出系が有効に動作することになる。

［３２］実施形態に示された物体認識装置は、前記［１］〜［３２］のうち［９］以外のいずれか一つに記載の物体認識装置であって、
前記投光ユニット１１０は、光源１１１と、当該光源１１１からの光束をメカニカルに走査する手段１１２（１１３．１１４）を含んでいることを特徴としている。

［３３］実施形態に示された物体認識装置は、前記［１］〜［３２］のいずれか一つに記載の物体認識装置であって、
前記アクティブレンジファインダー１００は、レーザーレーダーでることを特徴としている。

［３４］実施形態に示された物体認識装置のキャリブレーション方法は、
対象物体に光を投光する投光ユニット１１０を有し、その反射光より対象物体までの距離を求めるためのアクティブレンジファインダー１００と、
前記対象物体からの画像情報に基づいて、当該対象物体までの距離を求めるためのステレオカメラ２００と
前記アクティブレンジファインダー１００からの出力信号Ｓ１と前記ステレオカメラ２００からの出力信号Ｓ２とから前記対象物体を認識する物体認識手段３１０と、
前記アクティブレンジファインダー１００の投光ユニット１１０で投光される光を、前記ステレオカメラ２００の補助光として照射するように、上記投光ユニット１１０を動作制御する補助光制御手段３２０と、
を備えた物体認識装置におけるキャリブレーション方法であって、
前記アクティブレンジファインダー１００から得られる距離出力信号Ｓ１を用いて、前記ステレオカメラ２００の距離出力信号Ｓ２のキャリブレーションを行なうようにしたことを特徴としている。

（変形例）
前記実施形態に示された物体認識装置は、下記の変形例を含んでいる。

(1) ステレオカメラ２００で取得したステレオ画像データに基づいて、物体認識部３１０で、当該車両の前方に人がいると判定された場合には、レーザー光源１１１をＯＦＦにする手段を備えるようにしたもの。本変形例によれば、レーザー光線が当該人物の目に入ることを避けることができる。このため当該人物の目にダメージを与えるのを未然に防止することが出来る。なお上記手段は、レーザー光源１１１を補助光照射手段として動作させる場合、アクティブレンジファインダーとして動作させる場合の両方に適用可能である。

(2) レーザー光源１１１の発光強度を、動作直後はＯＦＦ又は比較的弱い状態にしておき、その状態から漸次強くしていく手段を備えるようにしたもの。本変形例によれば、たとえ至近距離に人物等が存在していても、当該人物にいきなり強いレーザー光線が照射されるのを回避できるため、当該人物等に障害を与えるおそれがない。また周辺が明るい状態で、レーザー光源１１１による補助光がそれほど必要ないときに、いきなり強い強度のレーザー光線が出射されるのを回避できるため無駄なエネルギーの損失を防げる。

本装置を用いることによって、周囲の状況を極めて的確に認識することが可能となる。このため例えば車両等の移動体に搭載することにより、当該移動体の安全走行を図る上で極めて有用なものとなる。

本発明の第１実施形態に係る物体認識装置を車両（乗用車）に適用した一例を示す図で、（ａ）は車両前方から見た外観正面図であり、（ｂ）は車両側面から見た概要説明図である。 本発明の第１実施形態に係る物体認識装置の外観を示す斜視図である。 本発明の第１実施形態に係る物体認識装置の内部構成を示す図で、（ａ）は横断面図、（ｂ）はアクティブレンジファインダーの部分で切断して示す縦断面図、（ｃ）はポリゴンミラーの上面図である。 本発明の第１実施形態に係る物体認識装置のステレオカメラの構成を示す図で、（ａ）はステレオ光学系と撮像ユニットとを示す略式図、（ｂ）は得られたステレオ画像例を示す図である。 本発明の第１実施形態に係る物体認識装置の制御系を含む内部構成を示すブロック図である。 本発明の第１実施形態に係る物体認識装置で得られるステレオ画像のアクティブ投影照射範囲ＷＬ、ＷＲを示す図である。 本発明の第１実施形態に係る物体認識装置で得られるステレオ画像のアクティブ投影照射スポットＳＰによるスキャニング状況を示す図である。 本発明の第１実施形態に係る物体認識装置のレーザー光源からステレオカメラの補助光として照射される光の左右照射範囲の調整についての説明図で、ポリゴンミラーの各傾斜反射面の回転動作とレーザーパルス照射のタイミングとの関係を示す図である。 本発明の第１実施形態に係る物体認識装置のレーザー光源からステレオカメラの補助光として照射される光の左右照射範囲の調整についての説明図で、補助光としての発光スキャン範囲を示す図である。 本発明の第１実施形態に係る物体認識装置の統括制御部が行なう全体制御シーケンスを示すフロー図である。 図１０におけるステップＳ１００，１０１のシーケンスにおける撮像素子の電荷蓄積時間、ポリゴンミラーの傾斜反射面の動き、レーザー光源（ＬＤ）の発光パルス照射のタイミングを示す図である。 図１０におけるステップＳ１００のステレオ撮像シーケンスの流れを示すフロー図である。 図１１のフロー図に示すステレオ撮像シーケンスの流れについての解説を表形式に纏めた説明図である。 本発明の第２実施形態に係る物体認識装置の構成を示す図で、図１４の（ａ）（ｂ）は図１の（ａ）（ｂ）に対応して示した図である。 本発明の第２実施形態に係る物体認識装置の構成を示す概観斜視図で、図２に対応して示した図である。 本発明の第３実施形態に係る物体認識装置の動作を示す図で、撮像素子の電荷蓄積時間、ポリゴンミラーの傾斜反射面の動き、レーザー光源（ＬＤ）の発光パルス照射のタイミングを示す図である。 （ａ）（ｂ）（ｃ）は本発明の第３実施形態に係る物体認識装置の三回の撮影で得られるステレオ画像とアクティブ投影照射範囲ＷＬ、ＷＲとの関係を示す図である。 本発明の第４実施形態に係る物体認識装置の動作を示す図で、撮像素子の電荷蓄積時間、ポリゴンミラーの傾斜反射面の動き、レーザー光源（ＬＤ）の発光パルス照射のタイミングを示す図である。 本発明の第５実施形態に係る物体認識装置の動作を示す図で、レーザーパルスの照射タイミングとポリゴンミラーの各傾斜反射面の回転周期との対応関係を示すタイミング図である。 本発明の第５実施形態に係る物体認識装置で得られるステレオ画像とアクティブ投影照射範囲ＷＬ、ＷＲとの関係を示す図である。 本発明の第６実施形態に係る物体認識装置の動作を示す図で、レーザーパルスの照射タイミングとポリゴンミラーの各傾斜反射面の回転周期との対応関係を示すタイミング図である。 （ａ）は本発明の第６実施形態に係る物体認識装置で得られるステレオ画像とアクティブ投影照射範囲ＷＬ、ＷＲとの関係を示す図、（ｂ）は（ａ）に対応するハンドル舵角の操作方向を示す概略図である。 本発明の第７実施形態に係る物体認識装置で得られるステレオ画像とアクティブ投影照射範囲ＷＬ、ＷＲとの関係を示す図で、（ａ）は通常時の場合の図、（ｂ）はシリンドリカルレンズを挿入し且つ発光パルスの周期を短くして出射した場合の図である。 本発明の第８実施形態に係る物体認識装置で得られるステレオ画像とアクティブ投影照射範囲ＷＬ、ＷＲとの関係を示す図である。 本発明の第９実施形態に係る物体認識装置の動作を示す図で、撮像素子の電荷蓄積時間、ポリゴンミラーの傾斜反射面の動き、レーザー光源（ＬＤ）の発光パルス照射のタイミングを示す図である。 本発明の第１０実施形態に係る物体認識装置の構成を示す外観斜視図である。

符号の説明

１…対象物体、２０…物体認識装置、１００…アクティブレンジファインダー、１１０…投光ユニット、１２０…受光ユニット、２００…ステレオカメラ、２１０…ステレオ光学系、２２０…撮像ユニット、３００…処理ユニット、３１０…物体認識手段、３２０…補助光制御手段。

Claims (31)

1. 車載用の物体認識装置であって、
   対象物体に光を投光する投光手段を有し、その反射光より対象物体までの距離を求めるためのアクティブレンジファインダーと、
   前記対象物体からの画像情報に基づいて、当該対象物体までの距離を求めるためのステレオカメラと、
   前記アクティブレンジファインダーからの出力信号と前記ステレオカメラからの出力信号とに基づいて前記対象物体を認識する物体認識手段と、
   前記アクティブレンジファインダーの投光手段で投光される光を、前記ステレオカメラの補助光として照射するように、上記投光手段を動作制御する補助光制御手段と、
   を備え、
   前記補助光制御手段は、前記投光手段で投光された光の照射範囲を、当該物体認識装置が搭載された車の運転状況または前記ステレオカメラから得られた画像情報に応じて、前記ステレオカメラの視野範囲に対して調整することを特徴とする物体認識装置。
2. 前記アクティブレンジファインダー及び前記ステレオカメラは、車室内に設けられていることを特徴とする請求項１に記載の物体認識装置。
3. 前記ステレオカメラの前面に配された保獲ガラスを更に備え、
   前記保護ガラスは、前記アクティブレンジファインダーの投光手段から投光され、前記対象物体から反射された光が入射する領域を含む所定領域が赤外光透過可能領域となっており、上記所定領域を除く他の領城が赤外光透過制限領域となっていることを特徴とする請求項１に記載の物体認識装置。
4. 前記ステレオカメラの前面に配された保護ガラスを更に備え、
   前記保護ガラスは、前記投光手段から投光される赤外光の周波数領域の一部または全部が透過可能な有効感度領域を有することを特徴とする請求項１に記載の物体認識装置。
5. 前記アクティブレンジファインダーの投光手段と前記ステレオカメラとは、同一のハウジングに収容されユニット化されていることを特徴とする請求項１に記載の物体認識装置。
6. 前記ステレオカメラは、前記対象物体の画像情報を異なる視線方向から取得する為に、二つの光入力部を有し、
   前記投光手段は、前記ステレオカメラの二つの光入力部の略中間位置に搭載されていることを特徴とする請求項１に記載の物体認識装置。
7. 前記補助光制御手段は、前記投光手段で投光された光の照射範囲を、前記ステレオカメラの視野範囲または視野範囲の基準位置に対して調整することを特徴とする請求項１に記載の物体認識装置。
8. 前記投光手段は、光源と、当該光源からの光束をメカニカルに走査する走査手段とを有し、
   前記補助光制御手段は、前記光源の発光タイミングと前記走査手段の動作タイミングとの関係を調整することによって、前記補助光として照射する範囲を調整することを特徴とする請求項１に記載の物体認識装置。
9. 前記投光手段は、当該投光手段から投光される光束の照射角度を調整する調整手段を有することを特徴とする請求項１に記載の物体認識装置。
10. 前記補助光制御手段は、一回の撮像動作において所定の照射範囲を照射する手段を含んでいることを特徴とする請求項１に記載の物体認識装置。
11. 前記補助光制御手段は、複数回の撮像動作において所定の異なる照射範囲を照射する手段を含んでいることを特徴とする請求項１に記載の物体認識装置。
12. 前記補助光制御手段は、複数回の撮像動作において特定の撮像動作に限り、前記アクティブレンジファインダーの投光手段を選択的に動作させる手段を含んでいることを特徴とする請求項１に記載の物体認識装置。
13. 前記ステレオカメラは、前記投光手段から投光される赤外光の周波数領域の一部または全部を有効惑度領域として捉える手段を有することを特徴とする請求項１に記載の物体認識装置。
14. 前記ステレオカメラは画像信号増幅部を更に有し、この画像信号増幅部の増幅率が、前記ステレオカメラから得られる前記補助光を伴う画像輝度情報に応じて可変制御されることを特徴とする請求項１に記載の物体認識装置。
15. 前記補助光制御手段は、前記ステレオカメラから得られた画像情報に基づいて、補助光照射手段としての前記投光手段の制御を行なうことを特徴とする請求項１に記載の物体認識装置。
16. 前記補助光制御手段は、前記ステレオカメラから得られた画像情報に応じて、補助光照射手段としての前記投光手段のオン／オフ制御を行なうことを特徴とする請求項１に記載の物体認識装置。
17. 前記補助光制御手段は、前記ステレオカメラから得られた画像情報に応じて、補助光照射手段としての前記投光手段の光強度制御を行なうことを特徴とする請求項１に記載の物体認識装置。
18. 前記補助光制御手段は、前記ステレオカメラから得られた画像情報に応じて、対象領域の輝度が所定の輝度範囲に入るように前記投光手段の光強度の調整制御を行なうことを特徴とする請求項１に記載の物体認識装置。
19. 前記補助光制御手段は、前記ステレオカメラから得られた画像情報に応じて、対象となる領域に人物が存在している可能性があると判断された場合には、前記投光手段をオフにするか又は光強度を弱くする手段を含んでいることを特徴とする請求項１に記載の物体認識装置。
20. 前記補助光制御手段は、前記ステレオカメラから得られた画像情報に応じて、補助光照射手段としての前記投光手段からの投光スポットの大きさを制御する手段を含んでいることを特徴とする請求項１に記載の物体認識装置。
21. 前記補助光制御手段は、前記ステレオカメラから得られた画像情報に応じて、補助光照射手段としての前記投光手段による照射範囲を制御する手段を含んでいることを特徴とする請求項１に記載の物体認識装置。
22. 前記補助光制御手段は、動作開始時において、補助光照射手段としての前記投光手段を、オフの状態又は光強度が比較的弱い状態から除々に比較的強い状態に高めていく手段を含んでいることを特徴とする請求項１に記載の物体認識装置。
23. 前記補助光制御手段は、前記ステレオカメラから得られた輝度情報に応じて、補助光照射手段としての前記投光手段を制御する手段を含んでいることを特徴とする請求項１に記載の物体認識装置。
24. 前記補助光制御手段は、前記ステレオカメラから得られた画像情報に応じて、補助光照射手段としての前記投光手段の制御を行なうと共に、前記ステレオカメラの受光感度の調整を行なう手段を含んでいることを特徴とする請求項１に記載の物体認識装置。
25. 前記アクティブレンジファインダーからの距離出力信号により、前記ステレオカメラの距離出力信号のキャリブレーションを行なうキャリブレーション実行手段を更に備えたことを特徴とする請求項１に記載の物体認識装置。
26. 更に車両の運転状況を入力するための運転状況入力手段を備え、
    前記補助光制御手段は、前記運転状況入力手段で入力された運転状況に基づいて、前記照射範囲を調整することを特徴とする請求項１に記載の物体認識装置。
27. 前記運転状況入力手段は、車両のハンドルの舵角を入力する入力手段であり、
    前記補助光制御手段は、前記運転状況入力手段から入力されたハンドルの舵角に基づいて、前記照射範囲を調整することを特徴とする請求項２６に記載の物体認識装置。
28. 前記アクティブレンジファインダーからの出力信号と前記ステレオカメラからの出力信号に基づいて、物体認識性能の信頼性を判定するための信頼性判定手段を更に備えたことを特徴とする請求項１に記載の物体認識装置。
29. 前記ステレオカメラの撮像素子の動作周期の期間中、電荷蓄積を行なう期間内は前記ステレオカメラの補助光照射手段として前記投光手段を動作させ、電荷蓄積を行なう期間外はアクティブレンジファインダーとして前記投光手段を動作させる投光制御手段と、を備えたことを特徴とする請求項１に記載の物体認識装置。
30. 前記投光手段は、光源と、当該光源からの光束をメカニカルに走査する手段を含んでいることを特徴とする請求項１に記載の物体認識装置。
31. 前記アクティブレンジファインダーは、レーザーレーダーであることを特徴とする請求項１に記載の物体認識装置。

Images