JP2004280194A - 前方監視装置及びその方法 - Google Patents
前方監視装置及びその方法 Download PDFInfo
- Publication number
- JP2004280194A JP2004280194A JP2003067272A JP2003067272A JP2004280194A JP 2004280194 A JP2004280194 A JP 2004280194A JP 2003067272 A JP2003067272 A JP 2003067272A JP 2003067272 A JP2003067272 A JP 2003067272A JP 2004280194 A JP2004280194 A JP 2004280194A
- Authority
- JP
- Japan
- Prior art keywords
- obstacle
- vehicle
- camera
- interruption
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
【目的】自動車等の車両に代表される移動体に取り付けられたＴＶカメラから得られる時系列画像を用いて、先行車、駐車車両、歩行者等の前方障害物、また特に自車両の走行しているレーン、または自車両の走行が予測される領域に割り込んでくる車両等の割り込み障害物を同時に検出する前方監視装置である。
【構成】自車両に搭載されたカメラにより撮影される時系列画像を取り込む画像入力部１と、前記時系列画像から、前記自車両の走行する範囲であって、かつ、他車両が割り込んでくると前記自車両が危険である範囲を走行領域として、前記走行領域の範囲を設定する走行領域設定部２と、走行領域において前方を走行している先行車両、停止車両、歩行者等を障害物と検出する設定する前方障害物検出部３と、前記設定した走行領域に進入してくるような車両、歩行者等の割り込み障害物を検出する割り込み障害物検出部４と、前記障害物検出手段と前記割り込み障害物検出手段の結果を統合する統合判定部５からなり、広範囲における自車両にとって最も危険な障害物を検出する。
【選択図】 図１
【構成】自車両に搭載されたカメラにより撮影される時系列画像を取り込む画像入力部１と、前記時系列画像から、前記自車両の走行する範囲であって、かつ、他車両が割り込んでくると前記自車両が危険である範囲を走行領域として、前記走行領域の範囲を設定する走行領域設定部２と、走行領域において前方を走行している先行車両、停止車両、歩行者等を障害物と検出する設定する前方障害物検出部３と、前記設定した走行領域に進入してくるような車両、歩行者等の割り込み障害物を検出する割り込み障害物検出部４と、前記障害物検出手段と前記割り込み障害物検出手段の結果を統合する統合判定部５からなり、広範囲における自車両にとって最も危険な障害物を検出する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、自動車等の車両に代表される移動体に取り付けられたＴＶカメラから得られる画像を用いて、先行車、駐車車両、歩行者等の前方障害物と、自車両の走行しているレーン、または自車両の走行が予測される領域に割り込んでくる車両等の割り込み障害物とを同時に検出することができる前方監視装置及びその方法に関するものである。
【０００２】
【従来の技術】
前方監視装置として、画像処理による、２台のカメラを用いてステレオ視により前方の障害物を検出する手法を用いたもの、ミリ波レーダにより前方の障害物を検出する手法を用いたもの等様々提案されている。しかし、以上の手法では自車両前方の道路上において狭い領域に存在する障害物しか検出できない。道路上に存在する障害物の中で「割り込み車両」とは、自車両の走行、または、停止しているレーン、または、自車両の走行が予測される領域に侵入してくる車両である。自車と近い距離で突発的に発生する現象であるため、非常に危険であり、迅速に検出する必要がある。したがって、道路上において広い領域に存在する障害物を検出する必要があり、割り込み車両等の割り込み障害物を検出する必要がある。
【０００３】
自車両の走行しているレーン、または、自車両の走行が予測される領域に割り込んでくる車両を検出する方式として、大きく分けてレーダを用いる方式と、画像を用いる方式が提案されている。
【０００４】
（１）レーダを用いる方式
レーダを用いる方式として、特許文献１において、レーザレーダを用いて検出する方法が提案されている。
【０００５】
レーザレーダを用いる方式は雨等悪天候に弱いという問題がある。また、割り込み車両の場合、レーザレーダが斜めに照射されるため、反射波を受光できないという問題や、指向性が強く、曲がった道路での利用等は困難であるということや、他車両から発せられるレーザと干渉するという問題がある。
【０００６】
（２）画像を用いる方式
これに対して、画像を用いる方式では、例えば自車両の走行レーンを検出することができるため、自車両の走行に対して危険となる領域を限定することができる。このように様々の情報を、画像から取得することができる。また、装置を安価に構成することもできる。したがって、センサとしてレーダを用いるのではなく画像を用いる。
【０００７】
この画像を用いる方式には、複数のＴＶカメラを用いる方式と、単一のＴＶカメラによって単眼で撮影した画像を用いる方式とがある。
【０００８】
（２−１）複数のＴＶカメラを用いる方式
複数のＴＶカメラを用いる方式として、特許文献２において、ステレオ視により車両までの距離を計測して、３次元シーンにおける他車両の移動ベクトルを求め、その延長線と走行レーンが交わったとき割り込み車両と検出する手法が提案されている。
【０００９】
このステレオ視による手法は割り込み車両が、二台のＴＶカメラの共通視野領域に入ってくるまで検出できないため、検出が遅くなるという問題がある。また、左右の画像間から互いの点の応対付けにより視差を求めるので、計算量が大きくなるという問題もある。したがって、カメラとしては、複数のカメラを用いるのではなく、単一のカメラを用いるのが好ましい。
【００１０】
（２−２）単一のＴＶカメラを用いる方式
単一のＴＶカメラによって単眼で撮影した画像を用いる方式として、下記の二つの方式が知られている。
【００１１】
（２−２−１）第１の方式
第１の方式としては、特許文献３において、道路面のエッジ点数の変化に注目して割り込み車両を検出する方法が提案されている。
【００１２】
この手法は、予め設定したある領域内部のエッジ点数の最大値が、ある閾値以上になったときに、割り込み車両が存在したとする。この手法では、エッジ点数から検出しているため、道路面に模様があると車両が存在しなくてもエッジ点数が増大することから誤検出する可能性がある。
【００１３】
（２−２−２）第２の方式
第２の方式としては、特許文献４において、まず車両を検出し、検出した車両が走行レーン領域に十分に重なったら割り込み車両であると判断する手法が提案されている。
【００１４】
この手法では、正確な車両検出が必要となるが、精度の良い車両検出自体困難である。
【００１５】
【特許文献１】
特開平７−８９３６７号公報
【００１６】
【特許文献２】
特開平１１−２１３２９５号公報
【００１７】
【特許文献３】
特開平８−２４９５９７号公報
【００１８】
【特許文献４】
特開平８−２４９５９７号公報
【００１９】
【発明が解決しようとする課題】
前述のように、単一のＴＶカメラを用いる第２の方式においては、割り込み車両の検出のために車両の正確な検出が必要である。しかし、この車両の正確な検出は、非常に困難である。
【００２０】
また割り込み車両を検出するためには、広範囲の環境を撮影する必要があり、カメラ配置を工夫する必要がある。
【００２１】
そこで本発明では、以上のような点を考慮して、割り込み車両検出に適したカメラ配置におけるカメラで撮影された画像を用いて、車両を正確に検出するのでなく、自車両の走行しているレーン、または、自車両の走行が予測される領域に割り込んでくる他車両等の障害物の運動軌跡を、車両部分候補領域を追跡することにより求め、その運動軌跡から割り込み車両等の割り込み障害物を検出し、また同時に、単眼又は、ステレオ視により先行車両等の前方の障害物を検出する前方監視装置及びその方法を提供することを目的とする。
【００２２】
【課題を解決するための手段】
請求項１の発明は、道路面を走行、または、停止している自車両に搭載されたカメラにより撮影される時系列画像を取り込む画像取得手段と、前記自車両の走行する道路面の範囲を走行領域として、前記時系列画像に対して前記走行領域の範囲を設定する走行領域設定手段と、前記設定した走行領域において前方を走行している先行車両、停止車両、歩行者等を前方障害物として検出する前方障害物検出手段と、前記設定した走行領域に進入してくるような車両、歩行者等の割り込み障害物を検出する割り込み障害物検出手段と、前記前方障害物検出手段で検出した前方障害物と前記割り込み障害物検出手段で検出した割り込み障害物の中で、前記自車両に最も近い障害物の位置を障害物として検出する統合判定手段と、を具備することを特徴とする前方監視装置である。
【００２３】
請求項２の発明は、前記画像取得手段において、カメラの光軸方向を前記自車両の前進方向と平行になるように前記自車両の左右両側にカメラを各々配置し、前記左側のカメラは、左側から前記走行領域に割り込んでくる車両等の割り込み障害物を撮影できるように配置し、前記右側のカメラは、右側から前記走行領域に割り込んでくる車両等の割り込み障害物を撮影できるように配置し、前記割り込み障害物検出手段は、前記画像取得手段の左右両側のカメラで撮影した左右両画像に基づいて前記割り込み障害物を検出することを特徴とする請求項１記載の前方監視装置である。
【００２４】
請求項３の発明は、前記前方障害物検出手段は、前記画像取得手段の左右両側のカメラを用いてステレオ視により撮影した左右両画像と三角測量の原理を用いて、前記前方障害物を検出することを特徴とする請求項２記載の前方監視装置である。
【００２５】
請求項４の発明は、前記画像取得手段において、前記自車両の左右両側にカメラを配置し、前記左側のカメラは、右側から前記走行領域に割り込んでくる車両等の割り込み障害物が撮影できるように、前記道路面に対して垂直な方向を軸としてカメラの光軸方向を右側に回転させて配置し、前記右側のカメラは、左側から前記走行領域に割り込んでくる車両等の割り込み障害物が撮影できるように、前記道路面に対して垂直な方向を軸としてカメラの光軸方向を左側に回転させて配置し、前記割り込み障害物検出手段は、前記画像取得手段の左右両側のカメラで撮影した左右両画像に基づいて前記割り込み障害物を検出することを特徴とする請求項１記載の前方監視装置である。
【００２６】
請求項５の発明は、前記前方障害物検出手段は、前記画像取得手段の左右両側のカメラを用いてステレオ視により撮影した左右両画像と三角測量の原理を用いて、前記前方障害物を検出することを特徴とする請求項４記載の前方監視装置である。
【００２７】
請求項６の発明は、前記画像取得手段において、前記自車両の中央付近に複数台のカメラを配置し、そのうち一台のカメラを、左側から前記走行領域に割り込んでくる車両等の割り込み障害物が撮影できるように道路面に対して垂直な方向を軸としてカメラの光軸方向を左側に回転させて配置した左側割り込み用カメラとなし、そのうち一台のカメラを、右側から前記走行領域に割り込んでくる車両等の割り込み障害物が撮影できるように道路面に対して垂直な方向を軸としてカメラの光軸方向を右側に回転させて配置した右側割り込み監視用カメラとなし、前記割り込み障害物検出手段は、前記画像取得手段の左右両側の割り込み監視用カメラで撮影した左右両画像に基づいて前記割り込み障害物を検出することを特徴とする請求項１記載の前方監視装置である。
【００２８】
請求項７の発明は、前記複数台のカメラの中で、カメラの光軸方向を前記自車両の前進方向と平行になるように一台、または、複数台のカメラを配置して前方監視用カメラとなし、前記前方障害物検出手段は、前記前方監視カメラで撮影した画像を用いて前方障害物を検出することを特徴とする請求項６記載の前方監視装置である。
【００２９】
請求項８の発明は、道路面を走行、または、停止している自車両に搭載されたカメラにより撮影される時系列画像を取り込む画像取得ステップと、前記自車両の走行する道路面の範囲を走行領域として、前記時系列画像に対して前記走行領域の範囲を設定する走行領域設定ステップと、前記設定した走行領域において前方を走行している先行車両、停止車両、歩行者等を前方障害物として検出する前方障害物検出ステップと、前記設定した走行領域に進入してくるような車両、歩行者等の割り込み障害物を検出する割り込み障害物検出ステップと、前記前方障害物検出ステップで検出した前方障害物と前記割り込み障害物検出ステップで検出した割り込み障害物の中で、前記自車両に最も近い障害物の位置を障害物として検出する統合判定ステップと、を具備することを特徴とする前方監視方法である。
【００３０】
請求項９の発明は、道路面を走行、または、停止している自車両に搭載されたカメラにより撮影される時系列画像を取り込む画像取得機能と、前記自車両の走行する道路面の範囲を走行領域として、前記時系列画像に対して前記走行領域の範囲を設定する走行領域設定機能と、前記設定した走行領域において前方を走行している先行車両、停止車両、歩行者等を前方障害物として検出する前方障害物検出機能と、前記設定した走行領域に進入してくるような車両、歩行者等の割り込み障害物を検出する割り込み障害物検出機能と、前記前方障害物検出機能で検出した前方障害物と前記割り込み障害物検出機能で検出した割り込み障害物の中で、前記自車両に最も近い障害物の位置を障害物として検出する統合判定機能と、をコンピュータによって実現することを特徴とする前方監視方法のプログラムである。
【００３１】
【発明の実施の形態】
以下、図１から図１３を参照して本発明の実施形態を具体的に実現する一実施例を説明する。
【００３２】
図１に本実施形態の前方監視装置の基本的な構成例を示す。
【００３３】
図１に示すように、前方監視装置は、画像入力部１、走行領域設定部２、前方障害物検出部３、割り込み障害物検出部４、統合判定部５とより構成され、これら各部１〜５の機能は、コンピュータに記憶されたプログラムによって実現される。
【００３４】
（１）カメラの配置
まず、前方監視装置における３種類のカメラ配置について、図２から図４に基づいて説明する。
【００３５】
（１−１）第１のカメラ配置
図２に基づいて、第１のカメラ配置について説明する。
【００３６】
図２に示すように、自車両の前部の左端部に左側のカメラが配され、前部の右端部に右側のカメラが配されている。両カメラの光軸方向は、自車両前進方向と平行になるように設置している。
【００３７】
左側のカメラは、左側の割り込み障害物を検出するための左側割り込み監視用カメラ、右側のカメラは、右側の割り込み障害物を検出するための右側割り込み監視用カメラの役割を果たしている。
【００３８】
また、両カメラは、ステレオ視により走行領域内の前方障害物を検出するためのステレオ視の左前方監視カメラ、右前方監視カメラを兼ねている。
【００３９】
（１−２）第２のカメラ配置
図３に基づいて、第２のカメラ配置について説明する。
【００４０】
図３に示すように、自車両の前部の左端部に左側のカメラが配され、前部の右端部に右側のカメラが配されている。
【００４１】
左側のカメラが右側の割り込み障害物を検出するための右側割り込み監視用カメラ、右側のカメラが左側の割り込み障害物を検出するための左側割り込み監視用カメラの役割を果たしている。
【００４２】
また、両カメラは、ステレオ視により走行領域内の前方障害物を検出するためのステレオ視の左前方監視カメラ、右前方監視カメラを兼ねている。
【００４３】
そして、左側のカメラによって、右側から走行領域に割り込んでくる割り込み車両が適切に撮影されるように、道路面に対して垂直方向を軸として、カメラの光軸方向を右側に回転させている。
【００４４】
また、右側のカメラによって、左側から走行領域に割り込んでくる割り込み車両が適切に撮影されるように、道路面に対して垂直方向を軸として、カメラの光軸方向を左側に回転させている。
【００４５】
この第２のカメラ配置では、第１のカメラ配置のようカメラの光軸が自車両前進方向に対して平行である場合と比較して、割り込み車両等の割り込み障害物の側面がより撮影しやすいので、取得した画像を用いて割り込み障害物を検出しやすくなる。そのために、自車両に近い割り込み障害物を検出しやすい。
【００４６】
（１−３）第３のカメラ配置
図４に基づいて、第３のカメラ配置について説明する。
【００４７】
図４に示すように、自車両の前部の中央部分に左側割り込み監視用カメラと左前方監視カメラ、右側割り込み監視用カメラと右前方監視カメラが配されている。
【００４８】
自車両の中央に配置された左側割り込み監視用カメラによって、左側から走行領域に割り込んでくる割り込み車両が適切に撮影されるように、道路面に対して垂直方向を軸として、カメラの光軸方向を左側に回転させている。
【００４９】
また、右側割り込み監視用カメラによって、右側から走行領域に割り込んでくる割り込み車両が適切に撮影されるように、道路面に対して垂直方向を軸として、カメラの光軸方向を右側に回転させている。
【００５０】
また、左右両前方監視カメラは、ステレオ視により走行領域内の前方障害物を検出するためのステレオ視のカメラである。
【００５１】
この第３のカメラ配置では、第１のカメラ配置のようにカメラの光軸が自車両前進方向に対して平行である場合と比較して、割り込み車両等の割り込み障害物の側面がより撮影しやすいので、取得した画像を用いて割り込み障害物を検出しやすくなる。そのために、自車両に近い割り込み障害物を検出しやすい。
【００５２】
（２）前方監視装置の動作の内容
前方監視装置は、上記で説明した３つのカメラ配置の中の一つのカメラ配置を用いて動作するものである。
【００５３】
自車両に取り付けられた車両周辺の画像を取得可能な装置（例えば、第１のカメラ配置における左右のカメラ）である画像入力部１によって、撮影された時系列画像を取得する。
【００５４】
この撮影された時系列画像から、他車両が割り込みであるかどうか判定するために、自車両の走行する領域（以下、走行領域という）を画像内に走行領域設定部２により領域を設定する。
【００５５】
また、割り込み車両の候補を検出するために追跡開始領域を画像内に領域を設定する。
【００５６】
なお、「割り込み車両」とは、自車両が走行している領域、前記自車両が停止している領域、または、前記自車両の走行が予測される領域に侵入してくる車両をいう。
【００５７】
（ａ）走行領域設定部２
図５に示すように、走行領域設定部２は、走行レーン検出部２１、領域設定部２２からなる。
【００５８】
（ａ−１）走行レーン検出部２１
割り込み車両が走行領域の境界線と交わるときを割り込みであると判断するため、自車両が現在、走行しているレーンの境界線を検出する。すなわち、自車両は道路を走行しているので、白線検出の結果から走行レーンの境界線とする。なお、自車両は停止していてもよい。
【００５９】
また、検出された２本の白線の交点を消失点とする。この「消失点」とは、画像上における無限遠点のことである。白線検出としては、特許文献１（特開平７−８９３６７公報）による方法等様々な手法が提案されていて、どのような手法を用いても良い。
【００６０】
（ａ−２）領域設定部２２
割り込み車両は、自車両前方の近い距離において走行領域の外側から進入してくるものである。
【００６１】
そこで、図６に示すように、自車両の幅の長さを考慮して、自車両からある距離までの走行レーンに挟まれた領域の内側に、走行領域を設定する。
【００６２】
また、走行領域の外側の領域を「車両追跡開始領域」として設定する。
【００６３】
（ｂ）前方障害物検出部３
前方障害物検出として、ステレオ視により特許文献５（特願２００１−１５４５６９）による方法等様々な手法が提案されていて、また、単眼視により特許文献６（特願２００２−１８７０９１）による方法等様々な手法が提案されていて、どのような手法を用いても、前方障害物を検出できれば良い。
【００６４】
本実施形態では、図７に示すように、特許文献５による方法により、左前方監視カメラ、右前方監視カメラで取得した時系列画像を用いて、走行領域内に存在する前方障害物の有無、及び、前方障害物までの距離、画像上の前方障害物の下端の位置を検出する。また、画像上の前方障害物の下端の位置を障害物位置とする。
【００６５】
（ｃ）割り込み障害物検出部４
図８に示すように、割り込み障害物検出部４は、車両部分候補領域設定部４１、追跡部４２、割り込み判定部４３、割り込み車両領域検出部４４からなる。
【００６６】
以下の処理は、左側割り込み監視用カメラ、及び、右側割り込み監視用カメラで取得した時系列画像に対して、それぞれ行う。
【００６７】
（ｃ−１）車両部分候補領域設定部４１
車両は、水平・垂直の線分を多く含んでいる。したがって、水平・垂直方向のエッジが多い領域が車両領域である可能性が高い。
【００６８】
図６における、追跡開始領域において、垂直・水平方向のエッジが両方含まれるコーナ点を検出する。
【００６９】
コーナ点であれば、安定した追跡が行えるからである。コーナ点検出に関しては、Ｍｉｒｏｓｌａｖ Ｔｒａｊｋｏｖｉｃらによる”Ｆａｓｔ ｃｏｒｎｅｒｄｅｔｅｃｔｉｏｎ， Ｉｍａｇｅ ａｎｄ Ｖｉｓｉｏｎ Ｃｏｍｐｕｔｉｎｇ，Ｎｏ．１６，ｐｐ．７５−８７，１９９８”を用いている。これらのコーナ点を中心としたある大きさの矩形領域を車両部分候補領域と設定する。
【００７０】
（ｃ−２）追跡部４２
本手法では動きを検出するために、車両部分候補領域をテンプレートマッチングによって追跡することにより行う。テンプレートマッチングに用いる画像間の相関値は輝度値の残差絶対値和（Ｓｕｍ ｏｆ ａｂｓｏｌｕｔｅ ｄｉｆｆｅｒｅｎｃｅ：ＳＡＤ）である。車両部分候補領域をテンプレートとして登録し、次フレームで、テンプレートの位置周辺でＳＡＤ値を求め、ＳＡＤが最小になる位置を、そのフレームの車両部分候補領域の位置とする。車両部分候補領域が画像上である一定の距離以上動いたとき、テンプレートを更新している。画像間の相関値に関しては、ＳＡＤに限定しているわけではない。
【００７１】
このとき、以下に示すテンプレートマッチングの信頼性と割り込み方向の運動をしているか否かの２つの条件を考慮し、条件を満たさない車両部分候補領域は追跡を打ち切る。これにより、安定に追跡されている割り込み運動をしている車両部分候補領域のみ、以後の割り込み車両検出に用いることができる。
【００７２】
（ｃ−２−１）テンプレートマッチングの信頼性
テンプレートマッチングを行ったときに求まるＳＡＤの最小値が一定のしきい値より大きいとき、マッチングの信頼性が低いので、追跡を打ち切る。また、車両部分候補領域が車両の一部分であれば、水平、または、垂直エッジが存在するので、現在のフレームで車両部分候補領域内のエッジ密度を求め、一定のしきい値より小さい場合、追跡を打ち切る。エッジ密度とは、領域内で、Ｓｏｂｅｌフィルタ等によりエッジ強度を求め、一定のしきい値より大きいエッジ強度をもつ画素数が領域全体の画素数に対して占める割合である。
【００７３】
（ｃ−２−２）割り込み運動
車両が右側のレーンから自車両の走行レーンに割り込んでくる場合、他車両の動きは、図９に示すように、左方向である。よって、車両部分候補領域の運動方向が左方向でなければ、割り込み運動ではないので、追跡を打ち切る。但し、車両の縦揺れを考慮して、上下方向の動きも許容する。左側の場合も同様である。
【００７４】
以上のように、車両部分候補領域を毎フレーム追跡することにより、領域の運動軌跡を計算することができる。このときの運動軌跡は、領域の追跡を開始した位置と現在の領域の位置を直線で結んだ線で近似する。
【００７５】
（ｃ−３）割り込み判定部４３
割り込み車両は、走行領域内に進入している車両で、かつ、その運動方向は水平方向に近い。よって、車両部分候補領域の運動軌跡が以下の条件Ｃ１、Ｃ２を両方とも満たすとき、割り込みと判定する。
【００７６】
〔Ｃ１〕車両部分候補領域の運動軌跡が走行領域の境界線と交わっている。
【００７７】
〔Ｃ２〕車両部分候補領域の運動軌跡と走行領域の境界線のなす角が、一定のしきい値より大きい。
【００７８】
但し、車両部分候補領域の運動軌跡の内、以下の条件Ｒ１、Ｒ２のうちどちらか一方を満たすもののみ信頼性があるとし、条件Ｃ１、Ｃ２によって割り込みの判定を行う。
【００７９】
〔Ｒ１〕車両部分候補領域が追跡されている時間が十分長い。
【００８０】
〔Ｒ２〕車両部分候補領域の運動軌跡が十分な長さを持っている。
【００８１】
以上の処理により、車両部分候補領域に対して、割り込みであるかどうか判定できる。
【００８２】
（ｃ−４）割り込み車両領域検出部４４
図１０に示すように、ある車両部分候補領域の位置を（ｘ，ｙ），運動ベクトルの水平方向からの角度をθ，運動ベクトルをＶ，その他の車両部分候補領域の位置座標を（ｘｉ，ｙｉ），運動ベクトルの角度をθｉ，運動ベクトルをＶｉとする。ここで運動ベクトルは、数フレーム過去の車両部分候補領域の位置と現在の位置を結ぶベクトルである。以下の条件（１）、（２）、（３）を満たすとき、２つの車両部分候補領域が同じ車両候補領域に属すると決定する。
【００８３】
【数１】
【数２】
【数３】
ここで、θＴ は類似していると判断する角度差の許容範囲、ｄＴ は類似していると判断する距離の許容範囲、ＶＴ は類似していると判断する速度差の許容範囲である。今回は個別にしきい値を設定する必要性があったので、式が分かれている。
【００８４】
この処理を、検出された全ての車両部分候補領域について行うことによりクラスタリングを行い、車両部分候補領域をある個数以上所有するクラスターを、車両候補領域として検出する。
【００８５】
図１１に車両候補領域を検出した結果を示す。矩形領域が検出された車両候補領域である。
【００８６】
そして、さらに許容範囲のしきい値を変更して、車両候補領域に対してクラスタリングを行う。最初のクラスタリングでは、主に孤立した位置に存在する車両部分候補領域や性質が違う車両部分候補領域をアウトライアとして除去することを目的とし、２回目では、主にグルーピングが目的である。
【００８７】
図１２に車両候補領域を検出した結果を示す。矩形領域が検出された車両候補領域である。
【００８８】
以上のような処理を行うことによって、孤立して存在する、間違った追跡結果による車両部分候補領域は削除される。そして、割り込みと判定された車両部分候補領域を含む車両候補領域は、割り込み車両領域として検出する。
【００８９】
また、画像上の割り込み車両領域の下端の位置を、割り込み障害物位置とする。
【００９０】
（ｄ）統合判定部５
障害物検出部３から出力される前方障害物の有無、前方障害物位置と、割り込み障害物検出部４から出力される左右の割り込み障害物の有無、割り込み障害物位置の情報を用いて、図１３に示すように自車両から最も近い障害物の位置を、最終的な障害物位置と検出する。
【００９１】
つまり、広範囲な環境下において、自車両にとって最も危険な障害物を検出している。
【００９２】
【発明の効果】
本発明によれば、車両に搭載されたカメラにより取得される時系列画像から、前方障害物及び割り込み障害物を安定に検出することにより、広範囲な環境を認識することができ、画像情報に基づく機器制御等の技術の実現に大きく貢献する。
【図面の簡単な説明】
【図１】本発明の前方監視装置の一実施形態の構成を示すブロック図である。
【図２】第１のカメラ配置を示す図である。
【図３】第２のカメラ配置を示す図である。
【図４】第３のカメラ配置を示す図である。
【図５】図１の走行領域設定部の一実施形態を示すブロック図である。
【図６】走行領域を設定する手法の説明図である。
【図７】図１の前方障害物検出部の説明図である。
【図８】図１の割り込み障害物検出部の一実施形態を示すブロック図である。
【図９】図８の追跡部の説明図である。
【図１０】図８の割り込み車両領域検出部の説明図である。
【図１１】図８の割り込み車両領域検出部の説明図である。
【図１２】図８の割り込み車両領域検出部の説明図である。
【図１３】図１の統合判定部の説明図である。
【符号の説明】
１ 画像入力部
２ 走行領域設定部
３ 前方障害物検出部
４ 割り込み障害物検出部
５ 統合判定部
２１ 走行レーン検出部
２２ 領域設定部
４１ 車両部分候補領域設定部
４２ 追跡部
４３ 割り込み判定部
４４ 割り込み車両領域検出部
【発明の属する技術分野】
本発明は、自動車等の車両に代表される移動体に取り付けられたＴＶカメラから得られる画像を用いて、先行車、駐車車両、歩行者等の前方障害物と、自車両の走行しているレーン、または自車両の走行が予測される領域に割り込んでくる車両等の割り込み障害物とを同時に検出することができる前方監視装置及びその方法に関するものである。
【０００２】
【従来の技術】
前方監視装置として、画像処理による、２台のカメラを用いてステレオ視により前方の障害物を検出する手法を用いたもの、ミリ波レーダにより前方の障害物を検出する手法を用いたもの等様々提案されている。しかし、以上の手法では自車両前方の道路上において狭い領域に存在する障害物しか検出できない。道路上に存在する障害物の中で「割り込み車両」とは、自車両の走行、または、停止しているレーン、または、自車両の走行が予測される領域に侵入してくる車両である。自車と近い距離で突発的に発生する現象であるため、非常に危険であり、迅速に検出する必要がある。したがって、道路上において広い領域に存在する障害物を検出する必要があり、割り込み車両等の割り込み障害物を検出する必要がある。
【０００３】
自車両の走行しているレーン、または、自車両の走行が予測される領域に割り込んでくる車両を検出する方式として、大きく分けてレーダを用いる方式と、画像を用いる方式が提案されている。
【０００４】
（１）レーダを用いる方式
レーダを用いる方式として、特許文献１において、レーザレーダを用いて検出する方法が提案されている。
【０００５】
レーザレーダを用いる方式は雨等悪天候に弱いという問題がある。また、割り込み車両の場合、レーザレーダが斜めに照射されるため、反射波を受光できないという問題や、指向性が強く、曲がった道路での利用等は困難であるということや、他車両から発せられるレーザと干渉するという問題がある。
【０００６】
（２）画像を用いる方式
これに対して、画像を用いる方式では、例えば自車両の走行レーンを検出することができるため、自車両の走行に対して危険となる領域を限定することができる。このように様々の情報を、画像から取得することができる。また、装置を安価に構成することもできる。したがって、センサとしてレーダを用いるのではなく画像を用いる。
【０００７】
この画像を用いる方式には、複数のＴＶカメラを用いる方式と、単一のＴＶカメラによって単眼で撮影した画像を用いる方式とがある。
【０００８】
（２−１）複数のＴＶカメラを用いる方式
複数のＴＶカメラを用いる方式として、特許文献２において、ステレオ視により車両までの距離を計測して、３次元シーンにおける他車両の移動ベクトルを求め、その延長線と走行レーンが交わったとき割り込み車両と検出する手法が提案されている。
【０００９】
このステレオ視による手法は割り込み車両が、二台のＴＶカメラの共通視野領域に入ってくるまで検出できないため、検出が遅くなるという問題がある。また、左右の画像間から互いの点の応対付けにより視差を求めるので、計算量が大きくなるという問題もある。したがって、カメラとしては、複数のカメラを用いるのではなく、単一のカメラを用いるのが好ましい。
【００１０】
（２−２）単一のＴＶカメラを用いる方式
単一のＴＶカメラによって単眼で撮影した画像を用いる方式として、下記の二つの方式が知られている。
【００１１】
（２−２−１）第１の方式
第１の方式としては、特許文献３において、道路面のエッジ点数の変化に注目して割り込み車両を検出する方法が提案されている。
【００１２】
この手法は、予め設定したある領域内部のエッジ点数の最大値が、ある閾値以上になったときに、割り込み車両が存在したとする。この手法では、エッジ点数から検出しているため、道路面に模様があると車両が存在しなくてもエッジ点数が増大することから誤検出する可能性がある。
【００１３】
（２−２−２）第２の方式
第２の方式としては、特許文献４において、まず車両を検出し、検出した車両が走行レーン領域に十分に重なったら割り込み車両であると判断する手法が提案されている。
【００１４】
この手法では、正確な車両検出が必要となるが、精度の良い車両検出自体困難である。
【００１５】
【特許文献１】
特開平７−８９３６７号公報
【００１６】
【特許文献２】
特開平１１−２１３２９５号公報
【００１７】
【特許文献３】
特開平８−２４９５９７号公報
【００１８】
【特許文献４】
特開平８−２４９５９７号公報
【００１９】
【発明が解決しようとする課題】
前述のように、単一のＴＶカメラを用いる第２の方式においては、割り込み車両の検出のために車両の正確な検出が必要である。しかし、この車両の正確な検出は、非常に困難である。
【００２０】
また割り込み車両を検出するためには、広範囲の環境を撮影する必要があり、カメラ配置を工夫する必要がある。
【００２１】
そこで本発明では、以上のような点を考慮して、割り込み車両検出に適したカメラ配置におけるカメラで撮影された画像を用いて、車両を正確に検出するのでなく、自車両の走行しているレーン、または、自車両の走行が予測される領域に割り込んでくる他車両等の障害物の運動軌跡を、車両部分候補領域を追跡することにより求め、その運動軌跡から割り込み車両等の割り込み障害物を検出し、また同時に、単眼又は、ステレオ視により先行車両等の前方の障害物を検出する前方監視装置及びその方法を提供することを目的とする。
【００２２】
【課題を解決するための手段】
請求項１の発明は、道路面を走行、または、停止している自車両に搭載されたカメラにより撮影される時系列画像を取り込む画像取得手段と、前記自車両の走行する道路面の範囲を走行領域として、前記時系列画像に対して前記走行領域の範囲を設定する走行領域設定手段と、前記設定した走行領域において前方を走行している先行車両、停止車両、歩行者等を前方障害物として検出する前方障害物検出手段と、前記設定した走行領域に進入してくるような車両、歩行者等の割り込み障害物を検出する割り込み障害物検出手段と、前記前方障害物検出手段で検出した前方障害物と前記割り込み障害物検出手段で検出した割り込み障害物の中で、前記自車両に最も近い障害物の位置を障害物として検出する統合判定手段と、を具備することを特徴とする前方監視装置である。
【００２３】
請求項２の発明は、前記画像取得手段において、カメラの光軸方向を前記自車両の前進方向と平行になるように前記自車両の左右両側にカメラを各々配置し、前記左側のカメラは、左側から前記走行領域に割り込んでくる車両等の割り込み障害物を撮影できるように配置し、前記右側のカメラは、右側から前記走行領域に割り込んでくる車両等の割り込み障害物を撮影できるように配置し、前記割り込み障害物検出手段は、前記画像取得手段の左右両側のカメラで撮影した左右両画像に基づいて前記割り込み障害物を検出することを特徴とする請求項１記載の前方監視装置である。
【００２４】
請求項３の発明は、前記前方障害物検出手段は、前記画像取得手段の左右両側のカメラを用いてステレオ視により撮影した左右両画像と三角測量の原理を用いて、前記前方障害物を検出することを特徴とする請求項２記載の前方監視装置である。
【００２５】
請求項４の発明は、前記画像取得手段において、前記自車両の左右両側にカメラを配置し、前記左側のカメラは、右側から前記走行領域に割り込んでくる車両等の割り込み障害物が撮影できるように、前記道路面に対して垂直な方向を軸としてカメラの光軸方向を右側に回転させて配置し、前記右側のカメラは、左側から前記走行領域に割り込んでくる車両等の割り込み障害物が撮影できるように、前記道路面に対して垂直な方向を軸としてカメラの光軸方向を左側に回転させて配置し、前記割り込み障害物検出手段は、前記画像取得手段の左右両側のカメラで撮影した左右両画像に基づいて前記割り込み障害物を検出することを特徴とする請求項１記載の前方監視装置である。
【００２６】
請求項５の発明は、前記前方障害物検出手段は、前記画像取得手段の左右両側のカメラを用いてステレオ視により撮影した左右両画像と三角測量の原理を用いて、前記前方障害物を検出することを特徴とする請求項４記載の前方監視装置である。
【００２７】
請求項６の発明は、前記画像取得手段において、前記自車両の中央付近に複数台のカメラを配置し、そのうち一台のカメラを、左側から前記走行領域に割り込んでくる車両等の割り込み障害物が撮影できるように道路面に対して垂直な方向を軸としてカメラの光軸方向を左側に回転させて配置した左側割り込み用カメラとなし、そのうち一台のカメラを、右側から前記走行領域に割り込んでくる車両等の割り込み障害物が撮影できるように道路面に対して垂直な方向を軸としてカメラの光軸方向を右側に回転させて配置した右側割り込み監視用カメラとなし、前記割り込み障害物検出手段は、前記画像取得手段の左右両側の割り込み監視用カメラで撮影した左右両画像に基づいて前記割り込み障害物を検出することを特徴とする請求項１記載の前方監視装置である。
【００２８】
請求項７の発明は、前記複数台のカメラの中で、カメラの光軸方向を前記自車両の前進方向と平行になるように一台、または、複数台のカメラを配置して前方監視用カメラとなし、前記前方障害物検出手段は、前記前方監視カメラで撮影した画像を用いて前方障害物を検出することを特徴とする請求項６記載の前方監視装置である。
【００２９】
請求項８の発明は、道路面を走行、または、停止している自車両に搭載されたカメラにより撮影される時系列画像を取り込む画像取得ステップと、前記自車両の走行する道路面の範囲を走行領域として、前記時系列画像に対して前記走行領域の範囲を設定する走行領域設定ステップと、前記設定した走行領域において前方を走行している先行車両、停止車両、歩行者等を前方障害物として検出する前方障害物検出ステップと、前記設定した走行領域に進入してくるような車両、歩行者等の割り込み障害物を検出する割り込み障害物検出ステップと、前記前方障害物検出ステップで検出した前方障害物と前記割り込み障害物検出ステップで検出した割り込み障害物の中で、前記自車両に最も近い障害物の位置を障害物として検出する統合判定ステップと、を具備することを特徴とする前方監視方法である。
【００３０】
請求項９の発明は、道路面を走行、または、停止している自車両に搭載されたカメラにより撮影される時系列画像を取り込む画像取得機能と、前記自車両の走行する道路面の範囲を走行領域として、前記時系列画像に対して前記走行領域の範囲を設定する走行領域設定機能と、前記設定した走行領域において前方を走行している先行車両、停止車両、歩行者等を前方障害物として検出する前方障害物検出機能と、前記設定した走行領域に進入してくるような車両、歩行者等の割り込み障害物を検出する割り込み障害物検出機能と、前記前方障害物検出機能で検出した前方障害物と前記割り込み障害物検出機能で検出した割り込み障害物の中で、前記自車両に最も近い障害物の位置を障害物として検出する統合判定機能と、をコンピュータによって実現することを特徴とする前方監視方法のプログラムである。
【００３１】
【発明の実施の形態】
以下、図１から図１３を参照して本発明の実施形態を具体的に実現する一実施例を説明する。
【００３２】
図１に本実施形態の前方監視装置の基本的な構成例を示す。
【００３３】
図１に示すように、前方監視装置は、画像入力部１、走行領域設定部２、前方障害物検出部３、割り込み障害物検出部４、統合判定部５とより構成され、これら各部１〜５の機能は、コンピュータに記憶されたプログラムによって実現される。
【００３４】
（１）カメラの配置
まず、前方監視装置における３種類のカメラ配置について、図２から図４に基づいて説明する。
【００３５】
（１−１）第１のカメラ配置
図２に基づいて、第１のカメラ配置について説明する。
【００３６】
図２に示すように、自車両の前部の左端部に左側のカメラが配され、前部の右端部に右側のカメラが配されている。両カメラの光軸方向は、自車両前進方向と平行になるように設置している。
【００３７】
左側のカメラは、左側の割り込み障害物を検出するための左側割り込み監視用カメラ、右側のカメラは、右側の割り込み障害物を検出するための右側割り込み監視用カメラの役割を果たしている。
【００３８】
また、両カメラは、ステレオ視により走行領域内の前方障害物を検出するためのステレオ視の左前方監視カメラ、右前方監視カメラを兼ねている。
【００３９】
（１−２）第２のカメラ配置
図３に基づいて、第２のカメラ配置について説明する。
【００４０】
図３に示すように、自車両の前部の左端部に左側のカメラが配され、前部の右端部に右側のカメラが配されている。
【００４１】
左側のカメラが右側の割り込み障害物を検出するための右側割り込み監視用カメラ、右側のカメラが左側の割り込み障害物を検出するための左側割り込み監視用カメラの役割を果たしている。
【００４２】
また、両カメラは、ステレオ視により走行領域内の前方障害物を検出するためのステレオ視の左前方監視カメラ、右前方監視カメラを兼ねている。
【００４３】
そして、左側のカメラによって、右側から走行領域に割り込んでくる割り込み車両が適切に撮影されるように、道路面に対して垂直方向を軸として、カメラの光軸方向を右側に回転させている。
【００４４】
また、右側のカメラによって、左側から走行領域に割り込んでくる割り込み車両が適切に撮影されるように、道路面に対して垂直方向を軸として、カメラの光軸方向を左側に回転させている。
【００４５】
この第２のカメラ配置では、第１のカメラ配置のようカメラの光軸が自車両前進方向に対して平行である場合と比較して、割り込み車両等の割り込み障害物の側面がより撮影しやすいので、取得した画像を用いて割り込み障害物を検出しやすくなる。そのために、自車両に近い割り込み障害物を検出しやすい。
【００４６】
（１−３）第３のカメラ配置
図４に基づいて、第３のカメラ配置について説明する。
【００４７】
図４に示すように、自車両の前部の中央部分に左側割り込み監視用カメラと左前方監視カメラ、右側割り込み監視用カメラと右前方監視カメラが配されている。
【００４８】
自車両の中央に配置された左側割り込み監視用カメラによって、左側から走行領域に割り込んでくる割り込み車両が適切に撮影されるように、道路面に対して垂直方向を軸として、カメラの光軸方向を左側に回転させている。
【００４９】
また、右側割り込み監視用カメラによって、右側から走行領域に割り込んでくる割り込み車両が適切に撮影されるように、道路面に対して垂直方向を軸として、カメラの光軸方向を右側に回転させている。
【００５０】
また、左右両前方監視カメラは、ステレオ視により走行領域内の前方障害物を検出するためのステレオ視のカメラである。
【００５１】
この第３のカメラ配置では、第１のカメラ配置のようにカメラの光軸が自車両前進方向に対して平行である場合と比較して、割り込み車両等の割り込み障害物の側面がより撮影しやすいので、取得した画像を用いて割り込み障害物を検出しやすくなる。そのために、自車両に近い割り込み障害物を検出しやすい。
【００５２】
（２）前方監視装置の動作の内容
前方監視装置は、上記で説明した３つのカメラ配置の中の一つのカメラ配置を用いて動作するものである。
【００５３】
自車両に取り付けられた車両周辺の画像を取得可能な装置（例えば、第１のカメラ配置における左右のカメラ）である画像入力部１によって、撮影された時系列画像を取得する。
【００５４】
この撮影された時系列画像から、他車両が割り込みであるかどうか判定するために、自車両の走行する領域（以下、走行領域という）を画像内に走行領域設定部２により領域を設定する。
【００５５】
また、割り込み車両の候補を検出するために追跡開始領域を画像内に領域を設定する。
【００５６】
なお、「割り込み車両」とは、自車両が走行している領域、前記自車両が停止している領域、または、前記自車両の走行が予測される領域に侵入してくる車両をいう。
【００５７】
（ａ）走行領域設定部２
図５に示すように、走行領域設定部２は、走行レーン検出部２１、領域設定部２２からなる。
【００５８】
（ａ−１）走行レーン検出部２１
割り込み車両が走行領域の境界線と交わるときを割り込みであると判断するため、自車両が現在、走行しているレーンの境界線を検出する。すなわち、自車両は道路を走行しているので、白線検出の結果から走行レーンの境界線とする。なお、自車両は停止していてもよい。
【００５９】
また、検出された２本の白線の交点を消失点とする。この「消失点」とは、画像上における無限遠点のことである。白線検出としては、特許文献１（特開平７−８９３６７公報）による方法等様々な手法が提案されていて、どのような手法を用いても良い。
【００６０】
（ａ−２）領域設定部２２
割り込み車両は、自車両前方の近い距離において走行領域の外側から進入してくるものである。
【００６１】
そこで、図６に示すように、自車両の幅の長さを考慮して、自車両からある距離までの走行レーンに挟まれた領域の内側に、走行領域を設定する。
【００６２】
また、走行領域の外側の領域を「車両追跡開始領域」として設定する。
【００６３】
（ｂ）前方障害物検出部３
前方障害物検出として、ステレオ視により特許文献５（特願２００１−１５４５６９）による方法等様々な手法が提案されていて、また、単眼視により特許文献６（特願２００２−１８７０９１）による方法等様々な手法が提案されていて、どのような手法を用いても、前方障害物を検出できれば良い。
【００６４】
本実施形態では、図７に示すように、特許文献５による方法により、左前方監視カメラ、右前方監視カメラで取得した時系列画像を用いて、走行領域内に存在する前方障害物の有無、及び、前方障害物までの距離、画像上の前方障害物の下端の位置を検出する。また、画像上の前方障害物の下端の位置を障害物位置とする。
【００６５】
（ｃ）割り込み障害物検出部４
図８に示すように、割り込み障害物検出部４は、車両部分候補領域設定部４１、追跡部４２、割り込み判定部４３、割り込み車両領域検出部４４からなる。
【００６６】
以下の処理は、左側割り込み監視用カメラ、及び、右側割り込み監視用カメラで取得した時系列画像に対して、それぞれ行う。
【００６７】
（ｃ−１）車両部分候補領域設定部４１
車両は、水平・垂直の線分を多く含んでいる。したがって、水平・垂直方向のエッジが多い領域が車両領域である可能性が高い。
【００６８】
図６における、追跡開始領域において、垂直・水平方向のエッジが両方含まれるコーナ点を検出する。
【００６９】
コーナ点であれば、安定した追跡が行えるからである。コーナ点検出に関しては、Ｍｉｒｏｓｌａｖ Ｔｒａｊｋｏｖｉｃらによる”Ｆａｓｔ ｃｏｒｎｅｒｄｅｔｅｃｔｉｏｎ， Ｉｍａｇｅ ａｎｄ Ｖｉｓｉｏｎ Ｃｏｍｐｕｔｉｎｇ，Ｎｏ．１６，ｐｐ．７５−８７，１９９８”を用いている。これらのコーナ点を中心としたある大きさの矩形領域を車両部分候補領域と設定する。
【００７０】
（ｃ−２）追跡部４２
本手法では動きを検出するために、車両部分候補領域をテンプレートマッチングによって追跡することにより行う。テンプレートマッチングに用いる画像間の相関値は輝度値の残差絶対値和（Ｓｕｍ ｏｆ ａｂｓｏｌｕｔｅ ｄｉｆｆｅｒｅｎｃｅ：ＳＡＤ）である。車両部分候補領域をテンプレートとして登録し、次フレームで、テンプレートの位置周辺でＳＡＤ値を求め、ＳＡＤが最小になる位置を、そのフレームの車両部分候補領域の位置とする。車両部分候補領域が画像上である一定の距離以上動いたとき、テンプレートを更新している。画像間の相関値に関しては、ＳＡＤに限定しているわけではない。
【００７１】
このとき、以下に示すテンプレートマッチングの信頼性と割り込み方向の運動をしているか否かの２つの条件を考慮し、条件を満たさない車両部分候補領域は追跡を打ち切る。これにより、安定に追跡されている割り込み運動をしている車両部分候補領域のみ、以後の割り込み車両検出に用いることができる。
【００７２】
（ｃ−２−１）テンプレートマッチングの信頼性
テンプレートマッチングを行ったときに求まるＳＡＤの最小値が一定のしきい値より大きいとき、マッチングの信頼性が低いので、追跡を打ち切る。また、車両部分候補領域が車両の一部分であれば、水平、または、垂直エッジが存在するので、現在のフレームで車両部分候補領域内のエッジ密度を求め、一定のしきい値より小さい場合、追跡を打ち切る。エッジ密度とは、領域内で、Ｓｏｂｅｌフィルタ等によりエッジ強度を求め、一定のしきい値より大きいエッジ強度をもつ画素数が領域全体の画素数に対して占める割合である。
【００７３】
（ｃ−２−２）割り込み運動
車両が右側のレーンから自車両の走行レーンに割り込んでくる場合、他車両の動きは、図９に示すように、左方向である。よって、車両部分候補領域の運動方向が左方向でなければ、割り込み運動ではないので、追跡を打ち切る。但し、車両の縦揺れを考慮して、上下方向の動きも許容する。左側の場合も同様である。
【００７４】
以上のように、車両部分候補領域を毎フレーム追跡することにより、領域の運動軌跡を計算することができる。このときの運動軌跡は、領域の追跡を開始した位置と現在の領域の位置を直線で結んだ線で近似する。
【００７５】
（ｃ−３）割り込み判定部４３
割り込み車両は、走行領域内に進入している車両で、かつ、その運動方向は水平方向に近い。よって、車両部分候補領域の運動軌跡が以下の条件Ｃ１、Ｃ２を両方とも満たすとき、割り込みと判定する。
【００７６】
〔Ｃ１〕車両部分候補領域の運動軌跡が走行領域の境界線と交わっている。
【００７７】
〔Ｃ２〕車両部分候補領域の運動軌跡と走行領域の境界線のなす角が、一定のしきい値より大きい。
【００７８】
但し、車両部分候補領域の運動軌跡の内、以下の条件Ｒ１、Ｒ２のうちどちらか一方を満たすもののみ信頼性があるとし、条件Ｃ１、Ｃ２によって割り込みの判定を行う。
【００７９】
〔Ｒ１〕車両部分候補領域が追跡されている時間が十分長い。
【００８０】
〔Ｒ２〕車両部分候補領域の運動軌跡が十分な長さを持っている。
【００８１】
以上の処理により、車両部分候補領域に対して、割り込みであるかどうか判定できる。
【００８２】
（ｃ−４）割り込み車両領域検出部４４
図１０に示すように、ある車両部分候補領域の位置を（ｘ，ｙ），運動ベクトルの水平方向からの角度をθ，運動ベクトルをＶ，その他の車両部分候補領域の位置座標を（ｘｉ，ｙｉ），運動ベクトルの角度をθｉ，運動ベクトルをＶｉとする。ここで運動ベクトルは、数フレーム過去の車両部分候補領域の位置と現在の位置を結ぶベクトルである。以下の条件（１）、（２）、（３）を満たすとき、２つの車両部分候補領域が同じ車両候補領域に属すると決定する。
【００８３】
【数１】
【００８４】
この処理を、検出された全ての車両部分候補領域について行うことによりクラスタリングを行い、車両部分候補領域をある個数以上所有するクラスターを、車両候補領域として検出する。
【００８５】
図１１に車両候補領域を検出した結果を示す。矩形領域が検出された車両候補領域である。
【００８６】
そして、さらに許容範囲のしきい値を変更して、車両候補領域に対してクラスタリングを行う。最初のクラスタリングでは、主に孤立した位置に存在する車両部分候補領域や性質が違う車両部分候補領域をアウトライアとして除去することを目的とし、２回目では、主にグルーピングが目的である。
【００８７】
図１２に車両候補領域を検出した結果を示す。矩形領域が検出された車両候補領域である。
【００８８】
以上のような処理を行うことによって、孤立して存在する、間違った追跡結果による車両部分候補領域は削除される。そして、割り込みと判定された車両部分候補領域を含む車両候補領域は、割り込み車両領域として検出する。
【００８９】
また、画像上の割り込み車両領域の下端の位置を、割り込み障害物位置とする。
【００９０】
（ｄ）統合判定部５
障害物検出部３から出力される前方障害物の有無、前方障害物位置と、割り込み障害物検出部４から出力される左右の割り込み障害物の有無、割り込み障害物位置の情報を用いて、図１３に示すように自車両から最も近い障害物の位置を、最終的な障害物位置と検出する。
【００９１】
つまり、広範囲な環境下において、自車両にとって最も危険な障害物を検出している。
【００９２】
【発明の効果】
本発明によれば、車両に搭載されたカメラにより取得される時系列画像から、前方障害物及び割り込み障害物を安定に検出することにより、広範囲な環境を認識することができ、画像情報に基づく機器制御等の技術の実現に大きく貢献する。
【図面の簡単な説明】
【図１】本発明の前方監視装置の一実施形態の構成を示すブロック図である。
【図２】第１のカメラ配置を示す図である。
【図３】第２のカメラ配置を示す図である。
【図４】第３のカメラ配置を示す図である。
【図５】図１の走行領域設定部の一実施形態を示すブロック図である。
【図６】走行領域を設定する手法の説明図である。
【図７】図１の前方障害物検出部の説明図である。
【図８】図１の割り込み障害物検出部の一実施形態を示すブロック図である。
【図９】図８の追跡部の説明図である。
【図１０】図８の割り込み車両領域検出部の説明図である。
【図１１】図８の割り込み車両領域検出部の説明図である。
【図１２】図８の割り込み車両領域検出部の説明図である。
【図１３】図１の統合判定部の説明図である。
【符号の説明】
１ 画像入力部
２ 走行領域設定部
３ 前方障害物検出部
４ 割り込み障害物検出部
５ 統合判定部
２１ 走行レーン検出部
２２ 領域設定部
４１ 車両部分候補領域設定部
４２ 追跡部
４３ 割り込み判定部
４４ 割り込み車両領域検出部
Claims (9)
- 道路面を走行、または、停止している自車両に搭載されたカメラにより撮影される時系列画像を取り込む画像取得手段と、
前記自車両の走行する道路面の範囲を走行領域として、前記時系列画像に対して前記走行領域の範囲を設定する走行領域設定手段と、
前記設定した走行領域において前方を走行している先行車両、停止車両、歩行者等を前方障害物として検出する前方障害物検出手段と、
前記設定した走行領域に進入してくるような車両、歩行者等の割り込み障害物を検出する割り込み障害物検出手段と、
前記前方障害物検出手段で検出した前方障害物と前記割り込み障害物検出手段で検出した割り込み障害物の中で、前記自車両に最も近い障害物の位置を障害物として検出する統合判定手段と、を具備することを特徴とする前方監視装置。 - 前記画像取得手段において、
カメラの光軸方向を前記自車両の前進方向と平行になるように前記自車両の左右両側にカメラを各々配置し、
前記左側のカメラは、左側から前記走行領域に割り込んでくる車両等の割り込み障害物を撮影できるように配置し、
前記右側のカメラは、右側から前記走行領域に割り込んでくる車両等の割り込み障害物を撮影できるように配置し、
前記割り込み障害物検出手段は、前記画像取得手段の左右両側のカメラで撮影した左右両画像に基づいて前記割り込み障害物を検出することを特徴とする請求項１記載の前方監視装置。 - 前記前方障害物検出手段は、前記画像取得手段の左右両側のカメラを用いてステレオ視により撮影した左右両画像と三角測量の原理を用いて、前記前方障害物を検出することを特徴とする請求項２記載の前方監視装置。
- 前記画像取得手段において、
前記自車両の左右両側にカメラを配置し、
前記左側のカメラは、右側から前記走行領域に割り込んでくる車両等の割り込み障害物が撮影できるように、前記道路面に対して垂直な方向を軸としてカメラの光軸方向を右側に回転させて配置し、
前記右側のカメラは、左側から前記走行領域に割り込んでくる車両等の割り込み障害物が撮影できるように、前記道路面に対して垂直な方向を軸としてカメラの光軸方向を左側に回転させて配置し、
前記割り込み障害物検出手段は、前記画像取得手段の左右両側のカメラで撮影した左右両画像に基づいて前記割り込み障害物を検出することを特徴とする請求項１記載の前方監視装置。 - 前記前方障害物検出手段は、前記画像取得手段の左右両側のカメラを用いてステレオ視により撮影した左右両画像と三角測量の原理を用いて、前記前方障害物を検出することを特徴とする請求項４記載の前方監視装置。
- 前記画像取得手段において、
前記自車両の中央付近に複数台のカメラを配置し、
そのうち一台のカメラを、左側から前記走行領域に割り込んでくる車両等の割り込み障害物が撮影できるように道路面に対して垂直な方向を軸としてカメラの光軸方向を左側に回転させて配置した左側割り込み用カメラとなし、
そのうち一台のカメラを、右側から前記走行領域に割り込んでくる車両等の割り込み障害物が撮影できるように道路面に対して垂直な方向を軸としてカメラの光軸方向を右側に回転させて配置した右側割り込み監視用カメラとなし、
前記割り込み障害物検出手段は、前記画像取得手段の左右両側の割り込み監視用カメラで撮影した左右両画像に基づいて前記割り込み障害物を検出することを特徴とする請求項１記載の前方監視装置。 - 前記複数台のカメラの中で、カメラの光軸方向を前記自車両の前進方向と平行になるように一台、または、複数台のカメラを配置して前方監視用カメラとなし、
前記前方障害物検出手段は、前記前方監視カメラで撮影した画像を用いて前方障害物を検出することを特徴とする請求項６記載の前方監視装置。 - 道路面を走行、または、停止している自車両に搭載されたカメラにより撮影される時系列画像を取り込む画像取得ステップと、
前記自車両の走行する道路面の範囲を走行領域として、前記時系列画像に対して前記走行領域の範囲を設定する走行領域設定ステップと、
前記設定した走行領域において前方を走行している先行車両、停止車両、歩行者等を前方障害物として検出する前方障害物検出ステップと、
前記設定した走行領域に進入してくるような車両、歩行者等の割り込み障害物を検出する割り込み障害物検出ステップと、
前記前方障害物検出ステップで検出した前方障害物と前記割り込み障害物検出ステップで検出した割り込み障害物の中で、前記自車両に最も近い障害物の位置を障害物として検出する統合判定ステップと、を具備することを特徴とする前方監視方法。 - 道路面を走行、または、停止している自車両に搭載されたカメラにより撮影される時系列画像を取り込む画像取得機能と、
前記自車両の走行する道路面の範囲を走行領域として、前記時系列画像に対して前記走行領域の範囲を設定する走行領域設定機能と、
前記設定した走行領域において前方を走行している先行車両、停止車両、歩行者等を前方障害物として検出する前方障害物検出機能と、
前記設定した走行領域に進入してくるような車両、歩行者等の割り込み障害物を検出する割り込み障害物検出機能と、
前記前方障害物検出機能で検出した前方障害物と前記割り込み障害物検出機能で検出した割り込み障害物の中で、前記自車両に最も近い障害物の位置を障害物として検出する統合判定機能と、をコンピュータによって実現することを特徴とする前方監視方法のプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003067272A JP3868915B2 (ja) | 2003-03-12 | 2003-03-12 | 前方監視装置及びその方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003067272A JP3868915B2 (ja) | 2003-03-12 | 2003-03-12 | 前方監視装置及びその方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004280194A true JP2004280194A (ja) | 2004-10-07 |
| JP3868915B2 JP3868915B2 (ja) | 2007-01-17 |
Family
ID=33284931
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003067272A Expired - Fee Related JP3868915B2 (ja) | 2003-03-12 | 2003-03-12 | 前方監視装置及びその方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3868915B2 (ja) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008045998A (ja) * | 2006-08-16 | 2008-02-28 | Toyota Motor Corp | 物体検出装置 |
| EP2015276A2 (en) | 2007-07-10 | 2009-01-14 | Omron Corporation | Surroundings detecting device, method and program |
| JP2010079582A (ja) * | 2008-09-25 | 2010-04-08 | Toshiba Corp | 物体を検出する装置、方法及びプログラム |
| JP2010210486A (ja) * | 2009-03-11 | 2010-09-24 | Omron Corp | 画像処理装置および方法、並びに、プログラム |
| WO2014103433A1 (ja) * | 2012-12-25 | 2014-07-03 | 本田技研工業株式会社 | 車両周辺監視装置 |
| JP2015225546A (ja) * | 2014-05-28 | 2015-12-14 | 本田技研工業株式会社 | 物体検出装置、運転支援装置、物体検出方法、および物体検出プログラム |
| JP2016062368A (ja) * | 2014-09-18 | 2016-04-25 | 日本精機株式会社 | 車両用周辺情報表示システム及び表示装置 |
| US9454704B2 (en) | 2012-08-31 | 2016-09-27 | Fujitsu Limited | Apparatus and method for determining monitoring object region in image |
| JP2020108979A (ja) * | 2018-12-29 | 2020-07-16 | 日本信号株式会社 | 監視装置 |
| CN111497833A (zh) * | 2019-01-30 | 2020-08-07 | 株式会社万都 | 驾驶员辅助系统及其控制方法 |
| JP2020158077A (ja) * | 2019-03-28 | 2020-10-01 | 本田技研工業株式会社 | 車両制御装置、車両制御方法、およびプログラム |
| CN114639230A (zh) * | 2020-12-15 | 2022-06-17 | 丰田自动车株式会社 | 步行辅助系统 |
-
2003
- 2003-03-12 JP JP2003067272A patent/JP3868915B2/ja not_active Expired - Fee Related
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008045998A (ja) * | 2006-08-16 | 2008-02-28 | Toyota Motor Corp | 物体検出装置 |
| EP2015276A2 (en) | 2007-07-10 | 2009-01-14 | Omron Corporation | Surroundings detecting device, method and program |
| JP2010079582A (ja) * | 2008-09-25 | 2010-04-08 | Toshiba Corp | 物体を検出する装置、方法及びプログラム |
| JP2010210486A (ja) * | 2009-03-11 | 2010-09-24 | Omron Corp | 画像処理装置および方法、並びに、プログラム |
| US9454704B2 (en) | 2012-08-31 | 2016-09-27 | Fujitsu Limited | Apparatus and method for determining monitoring object region in image |
| JP5922257B2 (ja) * | 2012-12-25 | 2016-05-24 | 本田技研工業株式会社 | 車両周辺監視装置 |
| CN104885122A (zh) * | 2012-12-25 | 2015-09-02 | 本田技研工业株式会社 | 车辆周围监测装置 |
| WO2014103433A1 (ja) * | 2012-12-25 | 2014-07-03 | 本田技研工業株式会社 | 車両周辺監視装置 |
| CN104885122B (zh) * | 2012-12-25 | 2017-06-23 | 本田技研工业株式会社 | 车辆周围监测装置 |
| JP2015225546A (ja) * | 2014-05-28 | 2015-12-14 | 本田技研工業株式会社 | 物体検出装置、運転支援装置、物体検出方法、および物体検出プログラム |
| JP2016062368A (ja) * | 2014-09-18 | 2016-04-25 | 日本精機株式会社 | 車両用周辺情報表示システム及び表示装置 |
| JP7290942B2 (ja) | 2018-12-29 | 2023-06-14 | 日本信号株式会社 | 監視装置 |
| JP2020108979A (ja) * | 2018-12-29 | 2020-07-16 | 日本信号株式会社 | 監視装置 |
| CN111497833A (zh) * | 2019-01-30 | 2020-08-07 | 株式会社万都 | 驾驶员辅助系统及其控制方法 |
| CN111746530A (zh) * | 2019-03-28 | 2020-10-09 | 本田技研工业株式会社 | 车辆控制装置、车辆控制方法、及存储介质 |
| JP7261635B2 (ja) | 2019-03-28 | 2023-04-20 | 本田技研工業株式会社 | 車両制御装置 |
| JP2020158077A (ja) * | 2019-03-28 | 2020-10-01 | 本田技研工業株式会社 | 車両制御装置、車両制御方法、およびプログラム |
| CN114639230A (zh) * | 2020-12-15 | 2022-06-17 | 丰田自动车株式会社 | 步行辅助系统 |
| CN114639230B (zh) * | 2020-12-15 | 2024-01-30 | 丰田自动车株式会社 | 步行辅助系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3868915B2 (ja) | 2007-01-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10452931B2 (en) | Processing method for distinguishing a three dimensional object from a two dimensional object using a vehicular system | |
| US7612800B2 (en) | Image processing apparatus and method | |
| JP3822515B2 (ja) | 障害物検知装置及びその方法 | |
| JP3759429B2 (ja) | 障害物検出装置及びその方法 | |
| JP3747599B2 (ja) | 車両用障害物検出装置 | |
| JP2007300181A (ja) | 周辺認識装置、周辺認識方法、プログラム | |
| JP2000136905A (ja) | 物体端の位置計測装置および移動体の通行判断装置 | |
| US20180114078A1 (en) | Vehicle detection device, vehicle detection system, and vehicle detection method | |
| JP6837262B2 (ja) | 走行可能領域検出装置及び走行支援システム | |
| JP3656056B2 (ja) | 割り込み車両検出装置及びその方法 | |
| JP3868915B2 (ja) | 前方監視装置及びその方法 | |
| US9524645B2 (en) | Filtering device and environment recognition system | |
| JP2020190416A (ja) | 認識システム、認識方法、及び認識プログラム | |
| JP2006004188A (ja) | 障害物認識方法及び障害物認識装置 | |
| JP2007199932A (ja) | 画像処理装置及びその方法 | |
| JP4575315B2 (ja) | 物体検出装置及びその方法 | |
| JP6174884B2 (ja) | 車外環境認識装置および車外環境認識方法 | |
| JP4798576B2 (ja) | 付着物検出装置 | |
| JP2008040965A (ja) | 路面推定装置 | |
| JP4015036B2 (ja) | 障害物検出装置および障害物検出方法 | |
| US9430707B2 (en) | Filtering device and environment recognition system | |
| JP6564682B2 (ja) | 対象物検出装置、対象物検出方法、及び、対象物検出プログラム | |
| JP4381394B2 (ja) | 障害物検知装置及びその方法 | |
| JP2004310282A (ja) | 車両検出装置 | |
| US20240377203A1 (en) | Nformation processing device, storage medium storing computer program for information processing, and information processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060501 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060704 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060818 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061003 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061011 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101020 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |