JP3600314B2 - 車両の外部環境認識装置 - Google Patents
車両の外部環境認識装置 Download PDFInfo
- Publication number
- JP3600314B2 JP3600314B2 JP14523995A JP14523995A JP3600314B2 JP 3600314 B2 JP3600314 B2 JP 3600314B2 JP 14523995 A JP14523995 A JP 14523995A JP 14523995 A JP14523995 A JP 14523995A JP 3600314 B2 JP3600314 B2 JP 3600314B2
- Authority
- JP
- Japan
- Prior art keywords
- obstacle
- vehicle
- traveling road
- image
- edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
【０００１】
【産業上の利用分野】
この発明は車両の外部環境認識装置に関し、より具体的には自車の進行方向にある障害物の走行路（車線）内での位置を正確に認識するようにしたものに関する。
【０００２】
【従来の技術】
単眼視カメラとレーダとを備えて前方障害物が車線内にあるか否か判定する装置としては、例えば特開平７−８１６０４号公報記載のものを挙げることができる。この従来技術においては、カメラが得た画像データから抽出した走行路区分線（車線区分線）などの道路情報を基に２次元座標上に道路を再現し、その上にレーダから得られる障害物情報を重ねることにより、障害物が走行路内にあるか否か判定している。
【０００３】
【発明が解決しようとする課題】
しかし、この従来技術においては障害物がどの走行路（車線）内に位置するかと言う情報が得られるのみで、障害物の走行路区分線との相対位置関係を正確に認識することができない。更に、走行路区分線などの位置情報と障害物の位置情報と言う同種類の情報を異なった検出手段で得ているため、道路構造が予定するものと異なる場合ないしは車両の姿勢が変動するとき、道路（走行路）を正確に再現することができず、２種のデータを照合する際に、障害物と走行路区分線の相対位置関係の認識に誤差を生じてしまう不都合があった。
【０００４】
その結果、障害物の走行路区分線に対する相対位置関係を正確に認識することができないのみならず、場合によっては障害物が走行路内に位置するか否かも十分に判定することができなかった。この問題は２基のカメラを用いて複眼視（ステレオ視）することで解消することができるが、複眼視システムは調整、画像処理が複雑であると共に、高コストとなる。
【０００５】
これに対して単眼視で得た連続画像から道路構造および単眼視カメラを取りつけた車両のピッチ・ロールなどの姿勢角を同時に推定して修正する手法が特開平６−２０１８９号公報記載の技術を含めて幾つか提案されているが、どの手法も、地図情報を予め持っている、ないしは道路構造に対して道路幅が一定であること、もしくはバンクがないことなどを前提とする拘束条件があり、適用される場所が限定される不都合があった。
【０００６】
先行車両などの前方障害物の走行路内位置情報は、自動走行、中でもすり抜けを行う上で欠くことができない情報の１つである。
【０００７】
尚、この明細書で『走行路』とは道路上の車線ないし走行レーンを意味する。また『走行路区分線』とは前記走行路を区分するための、道路端をも含む境界線を意味し、より具体的には高速道路などに地色とは明度（ないし濃度、色彩）において異なる白色などで表示された破線ないし実線などを意味する。
【０００８】
従って、この発明の目的は上記した問題点を解決し、単眼視で得た画像データに基づきながら、道路構造が予定するものと異なるとき、ないしは車両姿勢角が変化するときも、それらにほとんど影響されることなく、障害物と走行路区分線との相対位置関係を高精度に測定することができる車両の外部環境認識装置を提供することにある。
【０００９】
【課題を解決するための手段】
上記の目的を達成するために、この発明に係る車両の外部環境認識装置は請求項１項において、車両の進行方向の走行路面を含む走行路を単眼視で撮像する撮像手段と、前記撮像手段が撮像した走行路画像から走行路区分線と障害物の位置についての情報を検出する走行路区分線検出手段と、前記車両から前記障害物までの距離を少なくとも含む情報を検出する障害物距離情報検出手段と、前記走行路画像の明度分布に基づいて前記走行路の二値画像を得る二値化手段と、前記走行路画像からエッジ成分を検出し、走行路のエッジ画像を得るエッジ検出手段と、および前記二値化手段が得た二値画像と前記エッジ検出手段が得たエッジ画像とを比較して前記障害物が路面と接地する部位の両側の端点を求め、前記両側の端点を結ぶ線分の前記走行路区分線との交点を求め、前記求めた交点と前記車両からの距離に少なくとも基づいて前記走行路区分線と障害物の前記端点との相対位置関係を算出する算出手段と、を備える如く構成した。
【００１１】
請求項２項にあっては、前記障害物距離情報検出手段は、前記障害物の前記車両に対する方向を検出すると共に、前記二値化手段と前記エッジ検出手段は、前記障害物距離情報検出手段が検出する前記障害物の前記車両に対する方向に基づいて、前記走行路画像中に二値化処理およびエッジ成分検出処理を行う領域を決定する如く構成した。
【００１２】
請求項３項に係る車両の外部環境認識装置にあっては、車両の進行方向の走行路面を含む走行路を単眼視で撮像する撮像手段と、前記撮像手段が撮像した走行路画像から走行路区分線と障害物の位置についての情報を検出する走行路区分線検出手段と、前記車両から前記障害物までの距離を少なくとも含む情報を検出する障害物距離情報検出手段と、前記走行路画像の明度分布に基づいて前記走行路の二値画像を得る二値化手段と、前記走行路画像からエッジ成分を検出し、走行路のエッジ画像を得るエッジ検出手段と、および前記二値化手段が得た二値画像と前記エッジ検出手段が得たエッジ画像の論理積を求め、前記求めた論理積に基づいて前記障害物が路面と接地する部位の両側の端点を求め、前記両側の端点を結ぶ線分の前記走行路区分線との交点を求め、前記求めた交点と前記車両からの距離に少なくとも基づいて前記走行路区分線と障害物の前記端点との離間距離を含む相対位置関係を算出する算出手段と、を備える如く構成した。
【００１３】
【作用】
請求項１項に係る車両の外部環境認識装置においては、車両の進行方向の走行路面を含む走行路を単眼視で撮像し、撮像した走行路画像から走行路区分線と障害物の位置についての情報を検出し、前記車両から前記障害物までの距離を少なくとも含む情報を検出し、前記走行路画像の明度分布に基づいて前記走行路の二値画像を得、前記走行路画像からエッジ成分を検出し、走行路のエッジ画像を得、得た二値画像とエッジ画像とを比較して前記障害物が路面と接地する部位の両側の端点を求め、前記両側の端点を結ぶ線分の前記走行路区分線との交点を求め、前記求めた交点と前記車両からの距離に少なくとも基づいて前記走行路区分線と障害物の前記端点との相対位置関係を算出する如く構成したので、単眼視で得た画像データに基づきながら、道路構造が予定するものと異なるとき、ないしは車両姿勢角が変化するときも、それらにほとんど影響されることなく、障害物と走行路区分線との相対位置関係を高精度に測定することができる。また、走行路上に障害物とは無関係の表示などがあるときも高精度に障害物と走行路区分線との相対位置関係を求めることができる。
【００１４】
尚、上記で障害物と走行路区分線との『相対位置関係』とは具体的には、障害物と走行路区分線の間で離間距離で示される。
【００１６】
請求項２項にあっては、前記障害物の前記車両に対する方向を検出すると共に、前記障害物の前記車両に対する方向に基づいて、前記走行路画像中に二値化処理およびエッジ成分検出処理を行う領域を決定する如く構成したので、前記した作用効果に加えて、演算負荷を低減することができる。
【００１７】
請求項３項に係る車両の外部環境認識装置にあっては、車両の進行方向の走行路面を含む走行路を単眼視で撮像し、撮像した走行路画像から走行路区分線と障害物の位置についての情報を検出し、前記車両から前記障害物までの距離を含む情報を検出し、前記走行路画像の明度分布に基づいて前記走行路の二値画像を得、前記走行路画像からエッジ成分を検出し、走行路のエッジ画像を得、得た二値画像とエッジ画像の論理積を求め、前記求めた論理積に基づいて前記障害物が路面と接地する部位の両側の端点を求め、前期両側の端点を結ぶ線分の前記走行路区分線との交点を求め、前記求めた交点と前記車両からの距離に少なくとも基づいて前記走行路区分線と障害物の前記端点との離間距離を含む相対位置関係を算出する如く構成したので、単眼視で得た画像データに基づきながら、道路構造が予定するものと異なるとき、ないしは車両姿勢角が変化するときも、それらにほとんど影響されることなく、また走行路上に障害物とは無関係の表示があるときも、障害物と走行路区分線との離間距離を含む相対位置関係を高精度に測定し、必要に応じてすり抜けなどを行うことができる。
【００１８】
【実施例】
以下、添付図面に即してこの発明の実施例を説明する。
【００１９】
図１はこの発明に係る車両の外部環境認識装置を備えた車両を全体的に示す説明透視図であり、図２はその外部環境認識装置の構成を機能的に示すブロック図である。
【００２０】
図において符号１０は前記した撮像手段たるＣＣＤカメラ（モノクロＴＶカメラ）を示し、図１に示す如く、運転席上方のルームミラー取り付け位置に固定されて車両進行方向を単眼視する。図２に示す如く、外部環境認識装置においてＣＣＤカメラ１０が撮像した画像データは、画像処理部１２に送られる。
【００２１】
画像処理部１２は図３に示す如く、画像処理デジタイズハードウェア１２ａ、リアルタイムエッジ検出ハードウェア１２ｂ、ハフ変換ハードウェア１２ｃおよび画像データバスコントローラ１２ｄからなる画像処理ハードウェア部と画像処理ＣＰＵ１２ｅおよび通信用メモリ１２ｆなどからなる。
【００２２】
画像データおよび画像処理結果は画像データバスおよびＶＭＥバスを介して後述の信号処理部などのブロックに送られる。画像処理部１２は、ＣＣＤカメラ１０より得られた画像から走行路区分線もしくは道路境界線と障害物位置を抽出する。
【００２３】
具体的には、ＣＣＤカメラ１０より得られた画像データから走行路区分線などを抽出するために、当該画像データについて前処理としてエッジ検出、二値化処理を行う。次にハフ変換を用いて走行路区分線を通例は複数本抽出する。
【００２４】
ここで特開平６−１２４３４０号公報記載で提案されるように、レーダ情報を用いてエッジ検出を行う領域を限定することで処理を高速かつ高精度に行うことも可能である。また、抽出された走行路区分線内で、鉛直エッジと水平エッジを数多く含む領域を障害物として抽出し、その位置を障害物位置とすることも可能である。
【００２５】
図１において符号１４は前記した障害物距離情報検出手段たるレーダユニットを示し、そのレーダユニット１４は車両前方に取り付けられたミリ波レーダからなる２基の前方レーダからなり、反射波を通じて自車から先行車両などの立体障害物までの距離および方向を検出する。
【００２６】
レーダユニット１４は、より具体的にはＦＭ−ＣＷ型のレーダ装置からなり、図４に示す如く、複数本の電磁波ビームを送波し、その反射波を受信して立体障害物の存在を検出する。検出された障害物の位置座標（相対距離）は、ビームごとに発生する。尚、このレーダユニットの詳細は、本出願人が先に提案した特願平５−２７６３９６号に詳細に述べられているので、これ以上の説明は省略する。
【００２７】
図２においてレーダユニット１４の出力は信号処理部１６に送られる。信号処理部１６は画像処理部１２と同様にレーダ出力を処理するハードウェア部とＣＰＵなどからなり、レーダユニット１４から得られたレーダ情報、即ち、障害物までの距離および方向（自車からの）を初期カメラパラメータを用いて撮像面上の座標に変換する。
【００２８】
尚、このとき走行路区分線も障害物と共に合わせて変換される。以下、この変換された座標データを『実平面座標データ』と呼ぶ。実平面座標データはその座標に対応する距離と共に、図示しないバスを介して走行路内位置測定部１８などに送出される。
【００２９】
走行路内位置測定部１８は、画像処理部１２で得られた走行路区分線と障害物位置、および信号処理部１６で得られた障害物情報（距離・方向）から、障害物の走行路内位置、詳しくは障害物と走行路区分線との相対位置関係を測定（認識）する。この発明に係る車両の外部環境認識装置の特徴は主としてこの走行路内位置測定部１８にあるが、それについては後述する。
【００３０】
尚、よって得られる障害物の走行路内位置は後段の結果出力部２０に送られ、そこで表示部２２を介して走行路内位置が表示ないしは警報されると共に、更に車両制御部２４に送られる。
【００３１】
車両制御部２４は、図１に示すような車両室内の中央部付近に設けられて車両の鉛直軸（ｚ軸）回りの角加速度を検出するヨーレートセンサ３０、車両のドライブシャフト（図示せず）の付近に設けられ、車両の進行速度を検出する車速センサ３２、車両のステアリングシャフト３４の付近に設けられてステアリング舵角を検出する舵角センサ３６を備える。
【００３２】
更に、車両制御部２４は、また該ステアリングシャフト３４に取り付けられた舵角制御モータ３８、スロットル弁（図示せず）に取り付けられ、パルスモータからなるスロットルアクチュエータ４０、およびブレーキ（図示せず）に取り付けられたブレーキ圧力アクチュエータ（図１で図示省略）を備える。
【００３３】
車両制御部２４にあっては、前記した実平面座標データおよび車速センサ３２などの出力などを入力して自車両の移動軌跡を推定し、舵角センサ３６の出力などから舵角制御量を算出して舵角制御モータ３８を駆動すると共に、スロットルアクチュエータ４０およびブレーキ圧力アクチュエータを駆動して車速を制御し、よって得られる障害物の走行路内位置に基づいて障害物と走行路区分線との間をすり抜ける、ないし停止するなどの車両制御を行う。
【００３４】
続いて、図５フロー・チャートを参照してこの出願に係る車両の外部環境認識装置の動作を説明する。この動作はより具体的には、主として図２の走行路内位置測定部１８が行う動作である。尚、図示のプログラムは所定時間ごとに起動される。
【００３５】
以下説明すると、先ずＳ１０においてＣＣＤカメラ１０が自車の進行方向を単眼視で撮像した原画像を、前記した画像処理部１２を介して再び入力する。
【００３６】
続いてＳ１２に進んで前記した信号処理部１６を介してレーダユニット１４が検出した障害物の自車からの方向および自車からの距離についての情報を入力し、Ｓ１４に進んで処理領域を決定する。
【００３７】
この処理領域は後述の如く、障害物、具体的には先行車両の車輪が路面と接地する接地線を抽出することで先行車両と走行路区分線との相対位置を測定するための処理を行う領域を意味する。ここで処理領域を決定、換言すれば限定するのは、不要領域を排除して演算負荷を低減するためである。
【００３８】
尚、Ｓ１２で得られる障害物の方向についてのデータは前記した実平面座標データとして入力され、Ｓ１４では障害物方向データを撮像面上の座標に変換し、図６に示すように処理領域を決定する。
【００３９】
処理領域は、車両のピッチ・ロールなどの姿勢変動に伴い、ＣＣＤカメラ１０の俯角などのカメラパラメータも変動することから、図６に示す如く、障害物の方向、即ち、検知角度θに応じて左右方向のみを限定し、上下方向は限定しない短冊状のウィンドウとなるように決定する。
【００４０】
尚、この場合、レーダユニット１４の走査方向とＣＣＤカメラ１０の撮像面の横方向が常に平行になるように両者を設置しておくことで、車両姿勢の変動に関わりなく、左右方向を限定することができる。尚、道路構造が既知であれば処理領域を上下方向について限定することも可能であるが、そのためにはマップ情報などを必要とし、現実的ではない。
【００４１】
また、障害物は前記の如く、抽出された走行路区分線内で鉛直エッジと水平エッジを数多く含む領域として抽出すれば、ガードレールなど走行路区分線の外に位置するものを予め排除することも可能である。
【００４２】
続いてＳ１６に進んで決定された処理領域内の濃度ヒストグラムを計算し、Ｓ１８に進んでしきい値を決定し、Ｓ２０に進んで二値化を行う。
【００４３】
即ち、障害物（先行車両）の存在する処理領域内の濃度ヒストグラムを求めると、図７に示す如く、濃度（明度、色彩）が最も低い部分は車体下部、タイヤ、路面上の影であり、これらが濃度ヒストグラムの最初の山を形成する。従って、この最初の山と２番目の山との間の谷に相当する値をしきい値とし、道路画像を二値化処理することで、図８に示す如く、それら濃度の低い部位を抽出することができる。尚、ここでの二値化は、しきい値より濃度値の低い方を１、高い方を０とする。
【００４４】
他方、Ｓ２２において、二値化と平行して処理領域内の垂直エッジ群を抽出する。垂直エッジの抽出は、例えばｓｏｂｅｌなどの局所オペレータを用いて行う。エッジ強度がある程度以上でかつ垂直である画素を１、それ以外の画素を０とする。このとき路面表示（図８で言えば『４０』）に含まれる垂直エッジも同時に抽出される。
【００４５】
続いて、Ｓ２４に進んで二値化画像と二値化垂直エッジ画像の論理積を求める。この時点で路面表示による垂直エッジは消滅し、障害物に関与するエッジ情報のみ残る。従って、それによって後述の如く障害物と走行路区分線との相対位置を高精度に測定することができる。
【００４６】
続いてＳ２６に進んで残ったエッジから接地線分、即ち、先行車両（障害物）の両輪と道路との接地位置の間を結ぶ線の端点の抽出を行う。具体的には図９に示す如く、処理領域を左右に２分割し、中央最上点を基準点とし、次に残ったエッジの各点とこの基準点の間の距離を計算し、それぞれの領域で最も長いものを接地線分の端点とする。
【００４７】
続いてＳ２８に進んで走行路内位置、即ち、障害物と走行路区分線との相対位置を測定する。尚、測定に際しては図１０に示す如く、撮像面上での障害物、即ち、車両の車輪と路面との接地線分、障害物（複数個あるときはそれぞれの）までの自車からの距離Ｌｒ （レーダ情報）および走行路区分線（道路端含む）の情報が抽出できているものとする。
【００４８】
測定について以下説明すると、図１１に示す如く、撮像面上での接地線分の中点をＰＯＣ、左右端点をそれぞれＰＯＬ， ＰＯＲとする。また接地線分の延長と左右の走行路区分線との交点をそれぞれＰＲＬ， ＰＲＲとする。
【００４９】
障害物までの距離Ｌｒ が、カメラの視点Ｏから実際の障害物の路面との接地線分の中点ＰＯＣ’ までの距離であると仮定する。次に、撮像面上の点ＰＯＬ， ＰＯＲ， ＰＲＬ， ＰＲＲを、図１２に示す如く、ＰＯＣ’ を含み撮像面と平行である平面上に射影し、それぞれＰＯＬ’，ＰＯＲ’，ＰＲＬ’，ＰＲＲ’ とする。このＰＯＬ’，ＰＯＲ’，ＰＲＬ’，ＰＲＲ’ が、それぞれ障害物と左右の走行路区分線までの距離を意味する（以降この距離を『すり抜け幅』と呼ぶ）。
【００５０】
次に、このすり抜け幅を定式化する。
【００５１】
具体的には、３次元直交直線座標系を考え、カメラの視点をＯ（０，０，０） 、撮像面をｚ＝−ｆ（ｆ：焦点距離） とおく。撮像面上の接地線分の中点ＰＯＣの座標が（ｘ０，ｙ０，−ｆ）であるとき、点ＰＯＣ’ は視点Ｏと点ＰＯＣを通る直線上にあり、かつ視点からの距離がＬｒ である点であるから、点ＰＯＣ’ を含み撮像面に平行である平面（射影面）は数１で表される。図１３にその射影平面を示す。
【００５２】
【数１】
【００５３】
よって、撮像面上の任意の点Ｐ（ｘ１，ｙ１，−ｆ）を射影面に射影した点は、視点Ｏ（０，０，０） と点Ｐ（ｘ１，ｙ１，−ｆ）を通る、数２で示される直線と、射影面の式（数１）との交点Ｐ’（Ｋ１ｘ１，Ｋ１ｙ１，−Ｋ１ｆ）となる。
【００５４】
【数２】
【００５５】
従って、撮像面上の接地線分上の点の座標をＰＯＬ（ｘＯＬ，ｙＯＬ，−ｆ）， ＰＯＲ（ｘＯＲ，ｙＯＲ，−ｆ）， ＰＲＬ（ｘＲＬ，ｙＲＬ，−ｆ）， ＰＲＲ（ｘＲＲ，ｙＲＲ，−ｆ）とすると、これらの点を射影面に射影した点の座標はそれぞれ数３に示すようになる。
【００５６】
【数３】
【００５７】
以上より、左右のすり抜け幅ＷＴＬ， ＷＴＲは数４で表される。
【００５８】
【数４】
【００５９】
従って、走行路区分線ないしは障害物の幅が分かれば、左右のすり抜け幅ＷＴＬ， ＷＴＲを具体的な値として求めることができる。
【００６０】
尚、上記は平面上に射影した場合であるが、球面上に射影しても求めることができる。
【００６１】
その場合、撮像面上の点ＰＯＬ， ＰＯＲ， ＰＲＬ， ＰＲＲを、図１４に示す如く、中心が視点ＯでＰＯＣ’ を含む球面（半径Ｌｒ の球面） 上に射影し、それぞれＰＯＬ’，ＰＯＲ’，ＰＲＬ’，ＰＲＲ’ とする。
【００６２】
続いて、平面上に射影する場合と同様に、３次元直交直線座標系を考え、カメラの視点をＯ（０，０，０） 、撮像面をｚ＝−ｆとおく。射影面は視点Ｏが中心で半径Ｌｒ の球面であるから、数５のようになる。
【００６３】
【数５】
【００６４】
よって、撮像面上の任意の点Ｐ（ｘ１，ｙ１，−ｆ）を球面に射影した点は、視点Ｏ（０，０，０） と点Ｐ（ｘ１，ｙ１，−ｆ）を通る直線の式（数２）と球面の式（数５）との、ｚ＜０での交点Ｐ’（Ｋ２ｘ１，Ｋ２ｙ１，−Ｋ２ｆ） である。ここで、Ｋ２は数６のようにおいた。
【００６５】
【数６】
【００６６】
従って、撮像面上の接地線分上の点の座標をＰＯＬ（ｘＯＬ，ｙＯＬ，−ｆ）， ＰＯＲ（ｘＯＲ，ｙＯＲ，−ｆ）， ＰＲＬ（ｘＲＬ，ｙＲＬ，−ｆ）， ＰＲＲ（ｘＲＲ，ｙＲＲ，−ｆ）とすると、これらの点を射影面に射影した点の座標は、数７に示すようになる。
【００６７】
【数７】
【００６８】
以上より、左右のすり抜け幅ＷＴＬ， ＷＴＲは数８で表される。
【００６９】
【数８】
【００７０】
この実施例は上記の如く構成したので、単眼視して得た画像データに基づきながら、道路構造の違いや車両姿勢角の変化にほとんど影響されることなく、障害物と走行路区分線の離間距離（すり抜け幅）を高精度に測定することができる。それによって前記した車両制御部では障害物と走行路区分線との間をすり抜ける、ないしはその直前で停止するなど、任意に車両運転を制御することができる。また、必要に応じて運転者に警報することもできる。
【００７１】
また二値化画像と二値化垂直エッジ画像との論理積を求めるようにしたので、路面に障害物とは関係ない、路面と明度（濃度、色彩）において異なる表示などがあっても、接地線分を高精度に抽出することができ、障害物と走行路区分線の離間距離（すり抜け幅）を高精度に測定することができる。
【００７２】
また処理領域を限定するようにしたので、演算負荷を低減することができる。これは特に外部環境認識装置を車両搭載するマイクロコンピュータから主として構成するとき、演算速度を向上できると共に、メモリ容量を低減することができて好都合である。
【００７３】
ここで、障害物について説明を敷衍すると、障害物は走行路区分線内に位置するものに限られるが、通例は複数本の走行路区分線が平行することから、Ｓ１２で求める障害物の情報は、自車が走行する走行路区分線に限られない。また連続して障害物との距離が等しく検出される角度間は、１つの障害物とみなす。
【００７４】
また前記したレーダユニット１４が図６に示すようなθ１，θ２などのある程度の大きさを持った角度幅として検出することができず、幅のない角度としか検出しないときは、検出角度が障害物の中心位置の角度を示していると仮定し、距離情報を用いて障害物の幅を決定する。具体的には障害物の幅は安全を考慮してトレーラ、バスなどの大型車の幅とみなし、自車に近いものほど障害物の幅が大きいように決定する。
【００７５】
更に、障害物が複数個検出されるときは、処理領域を障害物ごとに決定すると共に、自車に近い障害物から順に行う。障害物の検出角度が接している場合や接近している場合に、遠方の障害物から処理すると、片方の接地線分端点（後述）を手前の障害物から抽出してしまう恐れがあるが、手前側の障害物から処理することで、後方の障害物の処理領域を正確に決定することができ、誤抽出を防ぐことができる。
【００７６】
尚、画像上で障害物の一部が重なって見えない場合、接地線分端点の一方は手前の障害物に隠れて抽出することができず、無関係な点を接地線分端点として抽出する可能性もあるが、手前の障害物の抽出端点から水平、または手前の障害物の接地線分と平行、もしくは近傍の水平エッジと平行、などに接地線分を設定し直す。
【００７７】
更に、しきい値の決定について敷衍すると、しきい値の自動決定法の１つに大津の方法（判別分析法）と呼ばれる手法があるが、その原理を本手法にそのまま用いると、濃度値の低いタイヤおよび車体の影の部分の切り出しを必ずしも適正に行うことができない。しかし、タイヤおよび車体の影の部分は比較的濃度値が低いことから、処理領域の濃度ヒストグラムに対してメジアン（中央値）を計算し、メジアンより濃度値の低い範囲に対してしきい値計算を行うことで、タイヤおよび車体影領域の抽出精度を上げることができる。
【００７８】
また、垂直エッジ群抽出についてｓｏｂｅｌのオペレータを使用するようにしたが、実際にはグラジェントの方向を計算して垂直に近いものを抽出しているのではなく、実施例では水平方向のグラジェント強度のみ計算し、この値が一定値より大きいものを抽出するようにした。その理由としては、タイヤの角の部分などでグラジェントの方向は４５度となり、垂直エッジとして抽出できない場合が生じる恐れがあるからである。
【００７９】
尚、抽出エッジ群からノイズを除去するのは困難であるが、弛緩法を用いることで、ある程度低減することができる。ここで弛緩法とは、画素がエッジ上に位置する確率と位置しない確率を定義し、次に各画素の周囲の状況を見て局所的な矛盾が少なくなるように確率を更新し、それを全画素について繰り返した後、最終的にエッジ確率が高いものをエッジ上に位置する画素と判定する手法である。これを用いることにより、ノイズ除去、正確にはそもそもノイズの抽出自体を減少することができる。
【００８０】
更に、二値化データとエッジデータの論理積の算出について敷衍すると、両データともタイヤの接地部分を抽出する必要があるが、二値化データについてはあらゆる場合でも確実に抽出することは困難である。
【００８１】
しかしながら、車両は多くの水平エッジを持っており、接地線分も基本的には水平エッジと平行な筈であることから、抽出された接地線分から上もしくは上下の領域で水平エッジ群を抽出し、抽出した水平エッジと抽出した接地線分の角度を比較し、差が大きいようであればしきい値を設定し直すことで、接地線分抽出の信頼性を高めることができる。
【００８２】
更に、処理領域の決定について、車体のロール・ピッチを検出すると共に、前回の結果から次の処理領域を決定しても良い。
【００８３】
またレーダを車両前方のみ設けたが、後方にも設けて車両後方の障害物を認識しても良い。
【００８４】
【発明の効果】
請求項１項に係る車両の外部環境認識装置にあっては、単眼視で得た画像データに基づきながら、道路構造が予定するものと異なるとき、ないしは車両姿勢角が変化するときも、それらにほとんど影響されることなく、障害物と走行路区分線との相対位置関係を高精度に測定することができる。また、走行路上に障害物とは無関係の表示などがあるときも高精度に障害物と走行路区分線との相対位置関係を求めることができる。
【００８６】
請求項２項にあっては、前記した効果に加えて、演算負荷を低減することができる。
【００８７】
請求項３項に係る車両の外部環境認識装置にあっては、単眼視で得た画像データに基づきながら、道路構造が予定するものと異なるときないしは車両姿勢角が変化するときも、それらにほとんど影響されることなく、また走行路上に障害物とは無関係の表示があるときも、障害物と走行路区分線との離間距離を含む相対位置関係を高精度に測定し、必要に応じてすり抜けなどを行うことができる。
【図面の簡単な説明】
【図１】この発明に係る車両の外部環境認識装置を備えた車両を全体的に示す説明透視図である。
【図２】この発明に係る車両の外部環境認識装置の詳細を機能的に示すブロック図である。
【図３】図２の画像処理部の詳細を示すブロック図である。
【図４】図１に示すレーダユニットの検出動作を示す説明図である。
【図５】この出願に係る車両の外部環境認識装置の動作を示すフロー・チャートである。
【図６】図５フロー・チャートの処理領域決定作業を示す説明図である。
【図７】図５フロー・チャートで用いる濃度ヒストグラムおよびしきい値決定作業を示す説明グラフ図である。
【図８】図５フロー・チャートの動作を説明する説明図である。
【図９】図５フロー・チャートの接地線分端点抽出作業を示す説明図である。
【図１０】図５フロー・チャートの走行路内位置測定作業に必要な情報を示す説明図である。
【図１１】図５フロー・チャートの走行路内位置測定作業で抽出される点群を示す説明図である。
【図１２】図５フロー・チャートの走行路内位置測定作業を説明する説明図である。
【図１３】図５フロー・チャートの走行路内位置測定作業で使用される射影平面を示す説明図である。
【図１４】図５フロー・チャートの走行路内位置測定作業で使用される、球面上の射影面を示す説明図である。
【符号の説明】
１０ ＣＣＤカメラ（モノクロＴＶカメラ）（撮像手段）
１２ 画像処理部
１４ レーダユニット
１６ 信号処理部
１８ 走行路内位置測定部
２０ 結果出力部
２２ 表示部
２４ 車両制御部
【産業上の利用分野】
この発明は車両の外部環境認識装置に関し、より具体的には自車の進行方向にある障害物の走行路（車線）内での位置を正確に認識するようにしたものに関する。
【０００２】
【従来の技術】
単眼視カメラとレーダとを備えて前方障害物が車線内にあるか否か判定する装置としては、例えば特開平７−８１６０４号公報記載のものを挙げることができる。この従来技術においては、カメラが得た画像データから抽出した走行路区分線（車線区分線）などの道路情報を基に２次元座標上に道路を再現し、その上にレーダから得られる障害物情報を重ねることにより、障害物が走行路内にあるか否か判定している。
【０００３】
【発明が解決しようとする課題】
しかし、この従来技術においては障害物がどの走行路（車線）内に位置するかと言う情報が得られるのみで、障害物の走行路区分線との相対位置関係を正確に認識することができない。更に、走行路区分線などの位置情報と障害物の位置情報と言う同種類の情報を異なった検出手段で得ているため、道路構造が予定するものと異なる場合ないしは車両の姿勢が変動するとき、道路（走行路）を正確に再現することができず、２種のデータを照合する際に、障害物と走行路区分線の相対位置関係の認識に誤差を生じてしまう不都合があった。
【０００４】
その結果、障害物の走行路区分線に対する相対位置関係を正確に認識することができないのみならず、場合によっては障害物が走行路内に位置するか否かも十分に判定することができなかった。この問題は２基のカメラを用いて複眼視（ステレオ視）することで解消することができるが、複眼視システムは調整、画像処理が複雑であると共に、高コストとなる。
【０００５】
これに対して単眼視で得た連続画像から道路構造および単眼視カメラを取りつけた車両のピッチ・ロールなどの姿勢角を同時に推定して修正する手法が特開平６−２０１８９号公報記載の技術を含めて幾つか提案されているが、どの手法も、地図情報を予め持っている、ないしは道路構造に対して道路幅が一定であること、もしくはバンクがないことなどを前提とする拘束条件があり、適用される場所が限定される不都合があった。
【０００６】
先行車両などの前方障害物の走行路内位置情報は、自動走行、中でもすり抜けを行う上で欠くことができない情報の１つである。
【０００７】
尚、この明細書で『走行路』とは道路上の車線ないし走行レーンを意味する。また『走行路区分線』とは前記走行路を区分するための、道路端をも含む境界線を意味し、より具体的には高速道路などに地色とは明度（ないし濃度、色彩）において異なる白色などで表示された破線ないし実線などを意味する。
【０００８】
従って、この発明の目的は上記した問題点を解決し、単眼視で得た画像データに基づきながら、道路構造が予定するものと異なるとき、ないしは車両姿勢角が変化するときも、それらにほとんど影響されることなく、障害物と走行路区分線との相対位置関係を高精度に測定することができる車両の外部環境認識装置を提供することにある。
【０００９】
【課題を解決するための手段】
上記の目的を達成するために、この発明に係る車両の外部環境認識装置は請求項１項において、車両の進行方向の走行路面を含む走行路を単眼視で撮像する撮像手段と、前記撮像手段が撮像した走行路画像から走行路区分線と障害物の位置についての情報を検出する走行路区分線検出手段と、前記車両から前記障害物までの距離を少なくとも含む情報を検出する障害物距離情報検出手段と、前記走行路画像の明度分布に基づいて前記走行路の二値画像を得る二値化手段と、前記走行路画像からエッジ成分を検出し、走行路のエッジ画像を得るエッジ検出手段と、および前記二値化手段が得た二値画像と前記エッジ検出手段が得たエッジ画像とを比較して前記障害物が路面と接地する部位の両側の端点を求め、前記両側の端点を結ぶ線分の前記走行路区分線との交点を求め、前記求めた交点と前記車両からの距離に少なくとも基づいて前記走行路区分線と障害物の前記端点との相対位置関係を算出する算出手段と、を備える如く構成した。
【００１１】
請求項２項にあっては、前記障害物距離情報検出手段は、前記障害物の前記車両に対する方向を検出すると共に、前記二値化手段と前記エッジ検出手段は、前記障害物距離情報検出手段が検出する前記障害物の前記車両に対する方向に基づいて、前記走行路画像中に二値化処理およびエッジ成分検出処理を行う領域を決定する如く構成した。
【００１２】
請求項３項に係る車両の外部環境認識装置にあっては、車両の進行方向の走行路面を含む走行路を単眼視で撮像する撮像手段と、前記撮像手段が撮像した走行路画像から走行路区分線と障害物の位置についての情報を検出する走行路区分線検出手段と、前記車両から前記障害物までの距離を少なくとも含む情報を検出する障害物距離情報検出手段と、前記走行路画像の明度分布に基づいて前記走行路の二値画像を得る二値化手段と、前記走行路画像からエッジ成分を検出し、走行路のエッジ画像を得るエッジ検出手段と、および前記二値化手段が得た二値画像と前記エッジ検出手段が得たエッジ画像の論理積を求め、前記求めた論理積に基づいて前記障害物が路面と接地する部位の両側の端点を求め、前記両側の端点を結ぶ線分の前記走行路区分線との交点を求め、前記求めた交点と前記車両からの距離に少なくとも基づいて前記走行路区分線と障害物の前記端点との離間距離を含む相対位置関係を算出する算出手段と、を備える如く構成した。
【００１３】
【作用】
請求項１項に係る車両の外部環境認識装置においては、車両の進行方向の走行路面を含む走行路を単眼視で撮像し、撮像した走行路画像から走行路区分線と障害物の位置についての情報を検出し、前記車両から前記障害物までの距離を少なくとも含む情報を検出し、前記走行路画像の明度分布に基づいて前記走行路の二値画像を得、前記走行路画像からエッジ成分を検出し、走行路のエッジ画像を得、得た二値画像とエッジ画像とを比較して前記障害物が路面と接地する部位の両側の端点を求め、前記両側の端点を結ぶ線分の前記走行路区分線との交点を求め、前記求めた交点と前記車両からの距離に少なくとも基づいて前記走行路区分線と障害物の前記端点との相対位置関係を算出する如く構成したので、単眼視で得た画像データに基づきながら、道路構造が予定するものと異なるとき、ないしは車両姿勢角が変化するときも、それらにほとんど影響されることなく、障害物と走行路区分線との相対位置関係を高精度に測定することができる。また、走行路上に障害物とは無関係の表示などがあるときも高精度に障害物と走行路区分線との相対位置関係を求めることができる。
【００１４】
尚、上記で障害物と走行路区分線との『相対位置関係』とは具体的には、障害物と走行路区分線の間で離間距離で示される。
【００１６】
請求項２項にあっては、前記障害物の前記車両に対する方向を検出すると共に、前記障害物の前記車両に対する方向に基づいて、前記走行路画像中に二値化処理およびエッジ成分検出処理を行う領域を決定する如く構成したので、前記した作用効果に加えて、演算負荷を低減することができる。
【００１７】
請求項３項に係る車両の外部環境認識装置にあっては、車両の進行方向の走行路面を含む走行路を単眼視で撮像し、撮像した走行路画像から走行路区分線と障害物の位置についての情報を検出し、前記車両から前記障害物までの距離を含む情報を検出し、前記走行路画像の明度分布に基づいて前記走行路の二値画像を得、前記走行路画像からエッジ成分を検出し、走行路のエッジ画像を得、得た二値画像とエッジ画像の論理積を求め、前記求めた論理積に基づいて前記障害物が路面と接地する部位の両側の端点を求め、前期両側の端点を結ぶ線分の前記走行路区分線との交点を求め、前記求めた交点と前記車両からの距離に少なくとも基づいて前記走行路区分線と障害物の前記端点との離間距離を含む相対位置関係を算出する如く構成したので、単眼視で得た画像データに基づきながら、道路構造が予定するものと異なるとき、ないしは車両姿勢角が変化するときも、それらにほとんど影響されることなく、また走行路上に障害物とは無関係の表示があるときも、障害物と走行路区分線との離間距離を含む相対位置関係を高精度に測定し、必要に応じてすり抜けなどを行うことができる。
【００１８】
【実施例】
以下、添付図面に即してこの発明の実施例を説明する。
【００１９】
図１はこの発明に係る車両の外部環境認識装置を備えた車両を全体的に示す説明透視図であり、図２はその外部環境認識装置の構成を機能的に示すブロック図である。
【００２０】
図において符号１０は前記した撮像手段たるＣＣＤカメラ（モノクロＴＶカメラ）を示し、図１に示す如く、運転席上方のルームミラー取り付け位置に固定されて車両進行方向を単眼視する。図２に示す如く、外部環境認識装置においてＣＣＤカメラ１０が撮像した画像データは、画像処理部１２に送られる。
【００２１】
画像処理部１２は図３に示す如く、画像処理デジタイズハードウェア１２ａ、リアルタイムエッジ検出ハードウェア１２ｂ、ハフ変換ハードウェア１２ｃおよび画像データバスコントローラ１２ｄからなる画像処理ハードウェア部と画像処理ＣＰＵ１２ｅおよび通信用メモリ１２ｆなどからなる。
【００２２】
画像データおよび画像処理結果は画像データバスおよびＶＭＥバスを介して後述の信号処理部などのブロックに送られる。画像処理部１２は、ＣＣＤカメラ１０より得られた画像から走行路区分線もしくは道路境界線と障害物位置を抽出する。
【００２３】
具体的には、ＣＣＤカメラ１０より得られた画像データから走行路区分線などを抽出するために、当該画像データについて前処理としてエッジ検出、二値化処理を行う。次にハフ変換を用いて走行路区分線を通例は複数本抽出する。
【００２４】
ここで特開平６−１２４３４０号公報記載で提案されるように、レーダ情報を用いてエッジ検出を行う領域を限定することで処理を高速かつ高精度に行うことも可能である。また、抽出された走行路区分線内で、鉛直エッジと水平エッジを数多く含む領域を障害物として抽出し、その位置を障害物位置とすることも可能である。
【００２５】
図１において符号１４は前記した障害物距離情報検出手段たるレーダユニットを示し、そのレーダユニット１４は車両前方に取り付けられたミリ波レーダからなる２基の前方レーダからなり、反射波を通じて自車から先行車両などの立体障害物までの距離および方向を検出する。
【００２６】
レーダユニット１４は、より具体的にはＦＭ−ＣＷ型のレーダ装置からなり、図４に示す如く、複数本の電磁波ビームを送波し、その反射波を受信して立体障害物の存在を検出する。検出された障害物の位置座標（相対距離）は、ビームごとに発生する。尚、このレーダユニットの詳細は、本出願人が先に提案した特願平５−２７６３９６号に詳細に述べられているので、これ以上の説明は省略する。
【００２７】
図２においてレーダユニット１４の出力は信号処理部１６に送られる。信号処理部１６は画像処理部１２と同様にレーダ出力を処理するハードウェア部とＣＰＵなどからなり、レーダユニット１４から得られたレーダ情報、即ち、障害物までの距離および方向（自車からの）を初期カメラパラメータを用いて撮像面上の座標に変換する。
【００２８】
尚、このとき走行路区分線も障害物と共に合わせて変換される。以下、この変換された座標データを『実平面座標データ』と呼ぶ。実平面座標データはその座標に対応する距離と共に、図示しないバスを介して走行路内位置測定部１８などに送出される。
【００２９】
走行路内位置測定部１８は、画像処理部１２で得られた走行路区分線と障害物位置、および信号処理部１６で得られた障害物情報（距離・方向）から、障害物の走行路内位置、詳しくは障害物と走行路区分線との相対位置関係を測定（認識）する。この発明に係る車両の外部環境認識装置の特徴は主としてこの走行路内位置測定部１８にあるが、それについては後述する。
【００３０】
尚、よって得られる障害物の走行路内位置は後段の結果出力部２０に送られ、そこで表示部２２を介して走行路内位置が表示ないしは警報されると共に、更に車両制御部２４に送られる。
【００３１】
車両制御部２４は、図１に示すような車両室内の中央部付近に設けられて車両の鉛直軸（ｚ軸）回りの角加速度を検出するヨーレートセンサ３０、車両のドライブシャフト（図示せず）の付近に設けられ、車両の進行速度を検出する車速センサ３２、車両のステアリングシャフト３４の付近に設けられてステアリング舵角を検出する舵角センサ３６を備える。
【００３２】
更に、車両制御部２４は、また該ステアリングシャフト３４に取り付けられた舵角制御モータ３８、スロットル弁（図示せず）に取り付けられ、パルスモータからなるスロットルアクチュエータ４０、およびブレーキ（図示せず）に取り付けられたブレーキ圧力アクチュエータ（図１で図示省略）を備える。
【００３３】
車両制御部２４にあっては、前記した実平面座標データおよび車速センサ３２などの出力などを入力して自車両の移動軌跡を推定し、舵角センサ３６の出力などから舵角制御量を算出して舵角制御モータ３８を駆動すると共に、スロットルアクチュエータ４０およびブレーキ圧力アクチュエータを駆動して車速を制御し、よって得られる障害物の走行路内位置に基づいて障害物と走行路区分線との間をすり抜ける、ないし停止するなどの車両制御を行う。
【００３４】
続いて、図５フロー・チャートを参照してこの出願に係る車両の外部環境認識装置の動作を説明する。この動作はより具体的には、主として図２の走行路内位置測定部１８が行う動作である。尚、図示のプログラムは所定時間ごとに起動される。
【００３５】
以下説明すると、先ずＳ１０においてＣＣＤカメラ１０が自車の進行方向を単眼視で撮像した原画像を、前記した画像処理部１２を介して再び入力する。
【００３６】
続いてＳ１２に進んで前記した信号処理部１６を介してレーダユニット１４が検出した障害物の自車からの方向および自車からの距離についての情報を入力し、Ｓ１４に進んで処理領域を決定する。
【００３７】
この処理領域は後述の如く、障害物、具体的には先行車両の車輪が路面と接地する接地線を抽出することで先行車両と走行路区分線との相対位置を測定するための処理を行う領域を意味する。ここで処理領域を決定、換言すれば限定するのは、不要領域を排除して演算負荷を低減するためである。
【００３８】
尚、Ｓ１２で得られる障害物の方向についてのデータは前記した実平面座標データとして入力され、Ｓ１４では障害物方向データを撮像面上の座標に変換し、図６に示すように処理領域を決定する。
【００３９】
処理領域は、車両のピッチ・ロールなどの姿勢変動に伴い、ＣＣＤカメラ１０の俯角などのカメラパラメータも変動することから、図６に示す如く、障害物の方向、即ち、検知角度θに応じて左右方向のみを限定し、上下方向は限定しない短冊状のウィンドウとなるように決定する。
【００４０】
尚、この場合、レーダユニット１４の走査方向とＣＣＤカメラ１０の撮像面の横方向が常に平行になるように両者を設置しておくことで、車両姿勢の変動に関わりなく、左右方向を限定することができる。尚、道路構造が既知であれば処理領域を上下方向について限定することも可能であるが、そのためにはマップ情報などを必要とし、現実的ではない。
【００４１】
また、障害物は前記の如く、抽出された走行路区分線内で鉛直エッジと水平エッジを数多く含む領域として抽出すれば、ガードレールなど走行路区分線の外に位置するものを予め排除することも可能である。
【００４２】
続いてＳ１６に進んで決定された処理領域内の濃度ヒストグラムを計算し、Ｓ１８に進んでしきい値を決定し、Ｓ２０に進んで二値化を行う。
【００４３】
即ち、障害物（先行車両）の存在する処理領域内の濃度ヒストグラムを求めると、図７に示す如く、濃度（明度、色彩）が最も低い部分は車体下部、タイヤ、路面上の影であり、これらが濃度ヒストグラムの最初の山を形成する。従って、この最初の山と２番目の山との間の谷に相当する値をしきい値とし、道路画像を二値化処理することで、図８に示す如く、それら濃度の低い部位を抽出することができる。尚、ここでの二値化は、しきい値より濃度値の低い方を１、高い方を０とする。
【００４４】
他方、Ｓ２２において、二値化と平行して処理領域内の垂直エッジ群を抽出する。垂直エッジの抽出は、例えばｓｏｂｅｌなどの局所オペレータを用いて行う。エッジ強度がある程度以上でかつ垂直である画素を１、それ以外の画素を０とする。このとき路面表示（図８で言えば『４０』）に含まれる垂直エッジも同時に抽出される。
【００４５】
続いて、Ｓ２４に進んで二値化画像と二値化垂直エッジ画像の論理積を求める。この時点で路面表示による垂直エッジは消滅し、障害物に関与するエッジ情報のみ残る。従って、それによって後述の如く障害物と走行路区分線との相対位置を高精度に測定することができる。
【００４６】
続いてＳ２６に進んで残ったエッジから接地線分、即ち、先行車両（障害物）の両輪と道路との接地位置の間を結ぶ線の端点の抽出を行う。具体的には図９に示す如く、処理領域を左右に２分割し、中央最上点を基準点とし、次に残ったエッジの各点とこの基準点の間の距離を計算し、それぞれの領域で最も長いものを接地線分の端点とする。
【００４７】
続いてＳ２８に進んで走行路内位置、即ち、障害物と走行路区分線との相対位置を測定する。尚、測定に際しては図１０に示す如く、撮像面上での障害物、即ち、車両の車輪と路面との接地線分、障害物（複数個あるときはそれぞれの）までの自車からの距離Ｌｒ （レーダ情報）および走行路区分線（道路端含む）の情報が抽出できているものとする。
【００４８】
測定について以下説明すると、図１１に示す如く、撮像面上での接地線分の中点をＰＯＣ、左右端点をそれぞれＰＯＬ， ＰＯＲとする。また接地線分の延長と左右の走行路区分線との交点をそれぞれＰＲＬ， ＰＲＲとする。
【００４９】
障害物までの距離Ｌｒ が、カメラの視点Ｏから実際の障害物の路面との接地線分の中点ＰＯＣ’ までの距離であると仮定する。次に、撮像面上の点ＰＯＬ， ＰＯＲ， ＰＲＬ， ＰＲＲを、図１２に示す如く、ＰＯＣ’ を含み撮像面と平行である平面上に射影し、それぞれＰＯＬ’，ＰＯＲ’，ＰＲＬ’，ＰＲＲ’ とする。このＰＯＬ’，ＰＯＲ’，ＰＲＬ’，ＰＲＲ’ が、それぞれ障害物と左右の走行路区分線までの距離を意味する（以降この距離を『すり抜け幅』と呼ぶ）。
【００５０】
次に、このすり抜け幅を定式化する。
【００５１】
具体的には、３次元直交直線座標系を考え、カメラの視点をＯ（０，０，０） 、撮像面をｚ＝−ｆ（ｆ：焦点距離） とおく。撮像面上の接地線分の中点ＰＯＣの座標が（ｘ０，ｙ０，−ｆ）であるとき、点ＰＯＣ’ は視点Ｏと点ＰＯＣを通る直線上にあり、かつ視点からの距離がＬｒ である点であるから、点ＰＯＣ’ を含み撮像面に平行である平面（射影面）は数１で表される。図１３にその射影平面を示す。
【００５２】
【数１】
よって、撮像面上の任意の点Ｐ（ｘ１，ｙ１，−ｆ）を射影面に射影した点は、視点Ｏ（０，０，０） と点Ｐ（ｘ１，ｙ１，−ｆ）を通る、数２で示される直線と、射影面の式（数１）との交点Ｐ’（Ｋ１ｘ１，Ｋ１ｙ１，−Ｋ１ｆ）となる。
【００５４】
【数２】
従って、撮像面上の接地線分上の点の座標をＰＯＬ（ｘＯＬ，ｙＯＬ，−ｆ）， ＰＯＲ（ｘＯＲ，ｙＯＲ，−ｆ）， ＰＲＬ（ｘＲＬ，ｙＲＬ，−ｆ）， ＰＲＲ（ｘＲＲ，ｙＲＲ，−ｆ）とすると、これらの点を射影面に射影した点の座標はそれぞれ数３に示すようになる。
【００５６】
【数３】
以上より、左右のすり抜け幅ＷＴＬ， ＷＴＲは数４で表される。
【００５８】
【数４】
従って、走行路区分線ないしは障害物の幅が分かれば、左右のすり抜け幅ＷＴＬ， ＷＴＲを具体的な値として求めることができる。
【００６０】
尚、上記は平面上に射影した場合であるが、球面上に射影しても求めることができる。
【００６１】
その場合、撮像面上の点ＰＯＬ， ＰＯＲ， ＰＲＬ， ＰＲＲを、図１４に示す如く、中心が視点ＯでＰＯＣ’ を含む球面（半径Ｌｒ の球面） 上に射影し、それぞれＰＯＬ’，ＰＯＲ’，ＰＲＬ’，ＰＲＲ’ とする。
【００６２】
続いて、平面上に射影する場合と同様に、３次元直交直線座標系を考え、カメラの視点をＯ（０，０，０） 、撮像面をｚ＝−ｆとおく。射影面は視点Ｏが中心で半径Ｌｒ の球面であるから、数５のようになる。
【００６３】
【数５】
よって、撮像面上の任意の点Ｐ（ｘ１，ｙ１，−ｆ）を球面に射影した点は、視点Ｏ（０，０，０） と点Ｐ（ｘ１，ｙ１，−ｆ）を通る直線の式（数２）と球面の式（数５）との、ｚ＜０での交点Ｐ’（Ｋ２ｘ１，Ｋ２ｙ１，−Ｋ２ｆ） である。ここで、Ｋ２は数６のようにおいた。
【００６５】
【数６】
従って、撮像面上の接地線分上の点の座標をＰＯＬ（ｘＯＬ，ｙＯＬ，−ｆ）， ＰＯＲ（ｘＯＲ，ｙＯＲ，−ｆ）， ＰＲＬ（ｘＲＬ，ｙＲＬ，−ｆ）， ＰＲＲ（ｘＲＲ，ｙＲＲ，−ｆ）とすると、これらの点を射影面に射影した点の座標は、数７に示すようになる。
【００６７】
【数７】
以上より、左右のすり抜け幅ＷＴＬ， ＷＴＲは数８で表される。
【００６９】
【数８】
この実施例は上記の如く構成したので、単眼視して得た画像データに基づきながら、道路構造の違いや車両姿勢角の変化にほとんど影響されることなく、障害物と走行路区分線の離間距離（すり抜け幅）を高精度に測定することができる。それによって前記した車両制御部では障害物と走行路区分線との間をすり抜ける、ないしはその直前で停止するなど、任意に車両運転を制御することができる。また、必要に応じて運転者に警報することもできる。
【００７１】
また二値化画像と二値化垂直エッジ画像との論理積を求めるようにしたので、路面に障害物とは関係ない、路面と明度（濃度、色彩）において異なる表示などがあっても、接地線分を高精度に抽出することができ、障害物と走行路区分線の離間距離（すり抜け幅）を高精度に測定することができる。
【００７２】
また処理領域を限定するようにしたので、演算負荷を低減することができる。これは特に外部環境認識装置を車両搭載するマイクロコンピュータから主として構成するとき、演算速度を向上できると共に、メモリ容量を低減することができて好都合である。
【００７３】
ここで、障害物について説明を敷衍すると、障害物は走行路区分線内に位置するものに限られるが、通例は複数本の走行路区分線が平行することから、Ｓ１２で求める障害物の情報は、自車が走行する走行路区分線に限られない。また連続して障害物との距離が等しく検出される角度間は、１つの障害物とみなす。
【００７４】
また前記したレーダユニット１４が図６に示すようなθ１，θ２などのある程度の大きさを持った角度幅として検出することができず、幅のない角度としか検出しないときは、検出角度が障害物の中心位置の角度を示していると仮定し、距離情報を用いて障害物の幅を決定する。具体的には障害物の幅は安全を考慮してトレーラ、バスなどの大型車の幅とみなし、自車に近いものほど障害物の幅が大きいように決定する。
【００７５】
更に、障害物が複数個検出されるときは、処理領域を障害物ごとに決定すると共に、自車に近い障害物から順に行う。障害物の検出角度が接している場合や接近している場合に、遠方の障害物から処理すると、片方の接地線分端点（後述）を手前の障害物から抽出してしまう恐れがあるが、手前側の障害物から処理することで、後方の障害物の処理領域を正確に決定することができ、誤抽出を防ぐことができる。
【００７６】
尚、画像上で障害物の一部が重なって見えない場合、接地線分端点の一方は手前の障害物に隠れて抽出することができず、無関係な点を接地線分端点として抽出する可能性もあるが、手前の障害物の抽出端点から水平、または手前の障害物の接地線分と平行、もしくは近傍の水平エッジと平行、などに接地線分を設定し直す。
【００７７】
更に、しきい値の決定について敷衍すると、しきい値の自動決定法の１つに大津の方法（判別分析法）と呼ばれる手法があるが、その原理を本手法にそのまま用いると、濃度値の低いタイヤおよび車体の影の部分の切り出しを必ずしも適正に行うことができない。しかし、タイヤおよび車体の影の部分は比較的濃度値が低いことから、処理領域の濃度ヒストグラムに対してメジアン（中央値）を計算し、メジアンより濃度値の低い範囲に対してしきい値計算を行うことで、タイヤおよび車体影領域の抽出精度を上げることができる。
【００７８】
また、垂直エッジ群抽出についてｓｏｂｅｌのオペレータを使用するようにしたが、実際にはグラジェントの方向を計算して垂直に近いものを抽出しているのではなく、実施例では水平方向のグラジェント強度のみ計算し、この値が一定値より大きいものを抽出するようにした。その理由としては、タイヤの角の部分などでグラジェントの方向は４５度となり、垂直エッジとして抽出できない場合が生じる恐れがあるからである。
【００７９】
尚、抽出エッジ群からノイズを除去するのは困難であるが、弛緩法を用いることで、ある程度低減することができる。ここで弛緩法とは、画素がエッジ上に位置する確率と位置しない確率を定義し、次に各画素の周囲の状況を見て局所的な矛盾が少なくなるように確率を更新し、それを全画素について繰り返した後、最終的にエッジ確率が高いものをエッジ上に位置する画素と判定する手法である。これを用いることにより、ノイズ除去、正確にはそもそもノイズの抽出自体を減少することができる。
【００８０】
更に、二値化データとエッジデータの論理積の算出について敷衍すると、両データともタイヤの接地部分を抽出する必要があるが、二値化データについてはあらゆる場合でも確実に抽出することは困難である。
【００８１】
しかしながら、車両は多くの水平エッジを持っており、接地線分も基本的には水平エッジと平行な筈であることから、抽出された接地線分から上もしくは上下の領域で水平エッジ群を抽出し、抽出した水平エッジと抽出した接地線分の角度を比較し、差が大きいようであればしきい値を設定し直すことで、接地線分抽出の信頼性を高めることができる。
【００８２】
更に、処理領域の決定について、車体のロール・ピッチを検出すると共に、前回の結果から次の処理領域を決定しても良い。
【００８３】
またレーダを車両前方のみ設けたが、後方にも設けて車両後方の障害物を認識しても良い。
【００８４】
【発明の効果】
請求項１項に係る車両の外部環境認識装置にあっては、単眼視で得た画像データに基づきながら、道路構造が予定するものと異なるとき、ないしは車両姿勢角が変化するときも、それらにほとんど影響されることなく、障害物と走行路区分線との相対位置関係を高精度に測定することができる。また、走行路上に障害物とは無関係の表示などがあるときも高精度に障害物と走行路区分線との相対位置関係を求めることができる。
【００８６】
請求項２項にあっては、前記した効果に加えて、演算負荷を低減することができる。
【００８７】
請求項３項に係る車両の外部環境認識装置にあっては、単眼視で得た画像データに基づきながら、道路構造が予定するものと異なるときないしは車両姿勢角が変化するときも、それらにほとんど影響されることなく、また走行路上に障害物とは無関係の表示があるときも、障害物と走行路区分線との離間距離を含む相対位置関係を高精度に測定し、必要に応じてすり抜けなどを行うことができる。
【図面の簡単な説明】
【図１】この発明に係る車両の外部環境認識装置を備えた車両を全体的に示す説明透視図である。
【図２】この発明に係る車両の外部環境認識装置の詳細を機能的に示すブロック図である。
【図３】図２の画像処理部の詳細を示すブロック図である。
【図４】図１に示すレーダユニットの検出動作を示す説明図である。
【図５】この出願に係る車両の外部環境認識装置の動作を示すフロー・チャートである。
【図６】図５フロー・チャートの処理領域決定作業を示す説明図である。
【図７】図５フロー・チャートで用いる濃度ヒストグラムおよびしきい値決定作業を示す説明グラフ図である。
【図８】図５フロー・チャートの動作を説明する説明図である。
【図９】図５フロー・チャートの接地線分端点抽出作業を示す説明図である。
【図１０】図５フロー・チャートの走行路内位置測定作業に必要な情報を示す説明図である。
【図１１】図５フロー・チャートの走行路内位置測定作業で抽出される点群を示す説明図である。
【図１２】図５フロー・チャートの走行路内位置測定作業を説明する説明図である。
【図１３】図５フロー・チャートの走行路内位置測定作業で使用される射影平面を示す説明図である。
【図１４】図５フロー・チャートの走行路内位置測定作業で使用される、球面上の射影面を示す説明図である。
【符号の説明】
１０ ＣＣＤカメラ（モノクロＴＶカメラ）（撮像手段）
１２ 画像処理部
１４ レーダユニット
１６ 信号処理部
１８ 走行路内位置測定部
２０ 結果出力部
２２ 表示部
２４ 車両制御部
Claims (3)
- ａ．車両の進行方向の走行路面を含む走行路を単眼視で撮像する撮像手段と、
ｂ．前記撮像手段が撮像した走行路画像から走行路区分線と障害物の位置についての情報を検出する走行路区分線検出手段と、
ｃ．前記車両から前記障害物までの距離を少なくとも含む情報を検出する障害物距離情報検出手段と、
ｄ．前記走行路画像の明度分布に基づいて前記走行路の二値画像を得る二値化手段と、
ｅ．前記走行路画像からエッジ成分を検出し、走行路のエッジ画像を得るエッジ検出手段と、
および
ｆ．前記二値化手段が得た二値画像と前記エッジ検出手段が得たエッジ画像とを比較して前記障害物が路面と接地する部位の両側の端点を求め、前記両側の端点を結ぶ線分の前記走行路区分線との交点を求め、前記求めた交点と前記車両からの距離に少なくとも基づいて前記走行路区分線と障害物の前記端点との相対位置関係を算出する算出手段と、
を備えることを特徴とする車両の外部環境認識装置。 - 前記障害物距離情報検出手段は、前記障害物の前記車両に対する方向を検出すると共に、前記二値化手段と前記エッジ検出手段は、前記障害物距離情報検出手段が検出する前記障害物の前記車両に対する方向に基づいて、前記走行路画像中に二値化処理およびエッジ成分検出処理を行う領域を決定することを特徴とする請求項１項記載の車両の外部環境認識装置。
- ａ．車両の進行方向の走行路面を含む走行路を単眼視で撮像する撮像手段と、
ｂ．前記撮像手段が撮像した走行路画像から走行路区分線と障害物の位置についての情報を検出する走行路区分線検出手段と、
ｃ．前記車両から前記障害物までの距離を少なくとも含む情報を検出する障害物距離情報検出手段と、
ｄ．前記走行路画像の明度分布に基づいて前記走行路の二値画像を得る二値化手段と、
ｅ．前記走行路画像からエッジ成分を検出し、走行路のエッジ画像を得るエッジ検出手段と、
および
ｆ．前記二値化手段が得た二値画像と前記エッジ検出手段が得たエッジ画像の論理積を求め、前記求めた論理積に基づいて前記障害物が路面と接地する部位の両側の端点を求め、前記両側の端点を結ぶ線分の前記走行路区分線との交点を求め、前記求めた交点と前記車両からの距離に少なくとも基づいて前記走行路区分線と障害物の前記端点との離間距離を含む相対位置関係を算出する算出手段と、
を備えることを特徴とする車両の外部環境認識装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP14523995A JP3600314B2 (ja) | 1995-05-19 | 1995-05-19 | 車両の外部環境認識装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP14523995A JP3600314B2 (ja) | 1995-05-19 | 1995-05-19 | 車両の外部環境認識装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08315299A JPH08315299A (ja) | 1996-11-29 |
| JP3600314B2 true JP3600314B2 (ja) | 2004-12-15 |
Family
ID=15380553
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP14523995A Expired - Fee Related JP3600314B2 (ja) | 1995-05-19 | 1995-05-19 | 車両の外部環境認識装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3600314B2 (ja) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE19749086C1 (de) | 1997-11-06 | 1999-08-12 | Daimler Chrysler Ag | Vorrichtung zur Ermittlung fahrspurverlaufsindikativer Daten |
| JP4308381B2 (ja) | 1999-09-29 | 2009-08-05 | 富士通テン株式会社 | 周辺監視センサ |
| JP2005018548A (ja) * | 2003-06-27 | 2005-01-20 | Alpine Electronics Inc | 周辺車両表示装置 |
| DE102004038494A1 (de) * | 2004-08-07 | 2006-03-16 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Betreiben eines Sensorsystems |
| JP4530827B2 (ja) * | 2004-12-08 | 2010-08-25 | ダイハツ工業株式会社 | 画像処理方法及び画像処理装置 |
| JP5533323B2 (ja) * | 2010-06-21 | 2014-06-25 | 日産自動車株式会社 | 移動量推定装置及び移動量推定方法 |
| JP5330341B2 (ja) * | 2010-08-31 | 2013-10-30 | 本田技研工業株式会社 | 車載カメラを用いた測距装置 |
| JP6045796B2 (ja) * | 2012-02-27 | 2016-12-14 | 京セラ株式会社 | 映像処理装置、映像処理方法、および映像表示システム |
| CN111258306B (zh) * | 2018-11-14 | 2023-10-03 | 北京图森智途科技有限公司 | 基于成像设备的车辆定位方法及装置 |
| CN112464906B (zh) * | 2020-12-17 | 2024-08-23 | 上海媒智科技有限公司 | 一种基于计算机视觉的轨道异物入侵检测方法及装置 |
| CN113486836B (zh) * | 2021-07-19 | 2023-06-06 | 安徽江淮汽车集团股份有限公司 | 针对低通度障碍物的自动驾驶操控方法 |
-
1995
- 1995-05-19 JP JP14523995A patent/JP3600314B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH08315299A (ja) | 1996-11-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3596314B2 (ja) | 物体端の位置計測装置および移動体の通行判断装置 | |
| JP3349060B2 (ja) | 車外監視装置 | |
| JP3630100B2 (ja) | 車線検出装置 | |
| US9599706B2 (en) | Fusion method for cross traffic application using radars and camera | |
| EP2422320B1 (en) | Object detection device | |
| US9784829B2 (en) | Wheel detection and its application in object tracking and sensor registration | |
| JP6662388B2 (ja) | 画像処理装置、撮像装置、機器制御システム、分布データ生成方法、及びプログラム | |
| JP3822515B2 (ja) | 障害物検知装置及びその方法 | |
| JP4420011B2 (ja) | 物体検知装置 | |
| US20190188498A1 (en) | Image Processing Method For Recognizing Ground Marking And System For Detecting Ground Marking | |
| EP3549055B1 (en) | Information processing device, imaging device, apparatus control system, information processing method, and computer program product | |
| JP6458651B2 (ja) | 路面標示検出装置及び路面標示検出方法 | |
| JPH09264954A (ja) | レーダを用いた画像処理システム | |
| JP2013190421A (ja) | 車両において通行物体位置検出を向上する方法 | |
| US11691585B2 (en) | Image processing apparatus, imaging device, moving body device control system, image processing method, and program product | |
| JP3600314B2 (ja) | 車両の外部環境認識装置 | |
| JP3961584B2 (ja) | 区画線検出装置 | |
| JP4719996B2 (ja) | 物体検知装置 | |
| JP3925285B2 (ja) | 走行路環境検出装置 | |
| JP6340849B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、及び移動体機器制御システム | |
| JP3612821B2 (ja) | 車載用距離測定装置 | |
| JP3586938B2 (ja) | 車載用距離測定装置 | |
| JP3838020B2 (ja) | 障害物検出装置 | |
| JPH08329398A (ja) | 走行路検出装置 | |
| JPH05113482A (ja) | 車載用追突防止装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040519 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040525 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040723 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040831 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040916 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070924 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080924 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080924 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090924 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100924 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100924 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110924 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110924 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120924 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120924 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130924 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |