[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP6380232B2 - 物体検出装置、及び物体検出方法 - Google Patents

物体検出装置、及び物体検出方法 Download PDF

Info

Publication number
JP6380232B2
JP6380232B2 JP2015101571A JP2015101571A JP6380232B2 JP 6380232 B2 JP6380232 B2 JP 6380232B2 JP 2015101571 A JP2015101571 A JP 2015101571A JP 2015101571 A JP2015101571 A JP 2015101571A JP 6380232 B2 JP6380232 B2 JP 6380232B2
Authority
JP
Japan
Prior art keywords
lateral position
target
host vehicle
fusion
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015101571A
Other languages
English (en)
Other versions
JP2016218651A5 (ja
JP2016218651A (ja
Inventor
田村 圭
圭 田村
洋介 伊東
洋介 伊東
明憲 峯村
明憲 峯村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2015101571A priority Critical patent/JP6380232B2/ja
Priority to PCT/JP2016/064895 priority patent/WO2016186171A1/ja
Priority to US15/575,314 priority patent/US10527719B2/en
Publication of JP2016218651A publication Critical patent/JP2016218651A/ja
Publication of JP2016218651A5 publication Critical patent/JP2016218651A5/ja
Application granted granted Critical
Publication of JP6380232B2 publication Critical patent/JP6380232B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867Combination of radar systems with cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/251Fusion techniques of input or preprocessed data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/93185Controlling the brakes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/932Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using own vehicle data, e.g. ground speed, steering wheel direction
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327Sensor installation details
    • G01S2013/93271Sensor installation details in the front of the vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • G06T2207/10044Radar image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Electromagnetism (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Image Analysis (AREA)

Description

本発明は、レーダ及び撮像装置を用いて物体を検出する物体検出装置、及び物体検出方法に関する。
PCS(Pre-crash safety system)等の衝突回避又は衝突による被害低減のための安全システムが開発されている。安全システムを適切に作動させるためには、自車両と物体(自車両以外の車両、障害物、歩行者等)との距離、自車両の車幅方向に対する物体の位置を表す横位置、物体の大きさ等を正確に把握する必要がある。
これらを把握する技術として、レーダ及び撮像装置を用いて物体を検出する物体検出装置が知られている。レーダは、電磁波の反射点として検出対象となる物体をレーダ物標として検出するため、物体までの距離を精度よく検出できるが、物体の大きさや横位置を正しく特定することが困難であることが考えられる。撮像装置は、撮影画像を画像処理することで物体を画像物標として抽出するため、物体の大きさや横位置を精度よく検出できるが、物体までの距離を正しく特定することが困難であることが考えられる。
そこで、特許文献1では、レーダで取得されたレーダ物標と、撮像装置で取得された画像物標とを照合し、レーダ物標と画像物標とが同一の物体によるものであると判定した場合には、レーダ物標と撮像物標とをフュージョン(融合)させて新たな物標(フュージョン物標)を作成する。なお、フュージョン物標の距離は、レーダ物標の検出距離に基づき設定され、フュージョン物標の横位置は、レーダ物標と画像物標の両方の情報を合成して生成される。そのため、このフュージョン物標を用いることで、物体検出装置による物体の検出能力を向上することができる(特許文献1参照)。
特開2011−39833号公報
ところで、安全システムを適切に作動するためには、自車両と物体との接近状態が正しく認識される必要がある。しかし、フュージョン物標で認識される物体の横位置は、撮像装置の撮影画像で検出される物体の端部と一致するとは限らないことが分かった。
本発明は上記に鑑みてなされたものであり、物体の検出精度を向上でできる物体検出装置、及び物体検出方法を提供することを主たる目的とするものである。
本発明は、搬送波の反射波として取得される自車両前方の物体の第1物標情報と、撮像装置(22)の画像処理で取得される自車両前方の物体の第2物標情報とをフュージョンしてフュージョン物標を生成するフュージョン物標生成部を備え、前記フュージョン物標を用いて物体を検出する物体検出装置であって、前記フュージョン物標を用いて自車両の車幅方向に対する物体の位置を表す第1横位置を取得する第1横位置取得手段と、前記第2物標情報を用いて自車両の車幅方向に対する物体の位置を表す第2横位置を取得する第2横位置取得手段と、前記第1横位置及び前記第2横位置のうち自車両に最も近い横位置を前記物体の横位置として選択する横位置選択手段と、を備えることを特徴とする。
本発明によれば、搬送波の反射波として取得される自車両前方の物体の第1物標情報と、撮像装置の画像処理で取得される自車両前方の物体の第2物標情報とをフュージョンしてフュージョン物標を生成し、当該フュージョン物標を用いて自車両の車幅方向に対する物体の横位置(第1横位置)を求める場合、撮影画像の画像処理で検出した物体の横位置よりも、第1横位置が自車両から離れた位置として算出される可能性がある。そこで、撮像装置の画像処理で取得される第2物標情報から自車両の車幅方向に対する物体の横位置(第2横位置)を算出し、第1横位置と第2横位置のうちで自車両に最も近い横位置を物体の横位置に選択するようにした。この場合、自車両に対する物体の横位置をより正しく求めることができる。
物体検出装置の概略構成図。 自車両における撮像装置とレーダの取付状態を示す図。 フュージョン物標の算出原理の説明図。 横位置の選択に関する説明図。 物標の横位置補正に関する説明図。 横位置の選択処理に関するフローチャート。 運転支援処理に関するフローチャート。
以下、各実施形態を図面に基づいて説明する。なお、以下の各実施形態相互において、互いに同一もしくは均等である部分には、図中、同一符号を付しており、同一符号の部分についてはその説明を援用する。
本実施形態に係る物体検出装置は、車両(自車両)に搭載され、自車両の前方に存在する物体を検出し、その物体との衝突を回避/軽減すべく各種制御を行うPCSシステムとして機能する。
図1において、自車両に搭載される物体検出装置100は、ECU10、レーダ21、撮像装置22、各種センサ、制動装置30を備えて構成されている。
レーダ21は、ミリ波やレーザ等の指向性のある電磁波を利用して自車両前方の物体をレーダ物標LTとして検出するものであり、図2に示すように、自車両50の前部においてその光軸X1が車両前方を向くように取り付けられている。そして所定時間ごとに、光軸X1を中心に車両前方に向かって所定角度θ1の範囲に亘って広がる領域61をレーダ信号により走査するとともに、車外の物体の表面で反射された電磁波を受信し、ECU10に入力する。
なお、レーダ21においては、レーダの反射波を所定以上の受信強度で受信できた場合に物体を検出したことになる。そのため、レーダ21は所定の閾値以上の受信強度で反射波を受信する毎に、1個のレーダ物標LTを受信したとして、そのレーダ物標LTをECU10に入力する。
レーダ物標LTには、自車両の進行方向の物体との距離や相対速度、自車両の車幅方向の位置を表す横位置等の情報が含まれている。なお、レーダ21は、自車両の進行方向における物体との距離や相対速度を精度よく検出できるが、物体の横位置の検出精度は比較的に低い特徴を有している。
撮像装置22は、CCDカメラ、単眼カメラ、ステレオカメラ等であり、図2に示すように、自車両50のフロントガラスの上端付近等に設置されている。すなわち、撮像装置22は、レーダ21の取付位置に対して前後方向の位置に取り付けられている。そして所定時間毎に、撮像軸X2を中心に車両前方に向かって所定角度θ2の範囲で広がる領域62を撮影して撮影画像を取得する。そして、撮像画像を画像処理することで物体を画像物標GTとして取得し、ECU10に入力する。
画像物標GTには、自車両の進行方向における物体との距離や相対速度、自車両の車幅方向の位置を表す横位置に加えて、物体の横幅等の情報が含まれている。そのため、ECU10は、画像物標GTを所定の幅を有する情報として認識することとなる。なお撮像装置22は、自車両の進行方向における距離や相対速度の検出精度は比較的に低いが、物体の横位置や横幅等の検出精度が高い特徴を有している。
各種センサとしては、ヨーレートセンサ23、車速センサ24、操舵角センサ25が設けられている。ヨーレートセンサ23は、車両の旋回角速度(ヨーレートγ)を検出する周知のセンサであり、車速センサ24は、車輪の回転速度に基づき自車両の速度(自車速V)を検出する。操舵角センサ25は、自車両のステアリングホイールが回転操作された角度を操舵角として検出する。
ECU10は、物体検出装置100全体の制御を行う電子制御ユニットであり、CPUを主体として構成され、ROM,RAM、I/O等を備えて構成されている。ECU10は、レーダ21及び撮像装置22で取得した各物標の情報に基づいて、自車両以外の物体(車両や障害物、歩行者等)を検出する。そして、これらの物体と衝突する可能性があるか否かを判定し、衝突する可能性が高いと判定した場合には、制動装置30を作動させる。なお、制動装置30としてはスピーカ、シートベルト、ブレーキ等が設けられている。例えばECU10は、自車両が物体に衝突する可能性が高いと判定した場合には、スピーカの作動で運転者に警報を発信したり、シートベルトの巻き上げをしたり、ブレーキによって衝突速度を低減する等の各種制御を実施する。
ECU10は、レーダ物標取得部11、撮像物標取得部12、フュージョン処理部13、横位置選択部14、衝突予測部15および車両制御部16などを備えている。
レーダ物標取得部11は、所定周期毎にレーダ21が検出したレーダ物標LTの情報を取得する。撮像物標取得部12は、所定周期毎に撮像装置22が検出した画像物標GTの情報を取得する。
フュージョン処理部13は、所定周期毎に、物標探索処理やフュージョン物標生成処理を繰り返して、フュージョン物標FNSを生成する。ここで図3を用いてフュージョン物標FNSの生成について詳しく説明する。なお図中において、撮像装置22の座標系を実線、レーダ21の座標系を破線で示している。また、各座標系において、自車両の車幅方向をX軸、車幅方向に直交する自車両の進行方向をY軸としている。
まず、物標探索処理として、レーダ物標取得部11でレーダ物標LTを取得している場合、そのレーダ物標LT(xm,ym)を中心とした探索範囲S内に含まれる画像物標GTがあるか否かを判定する。探索範囲S内に含まれる画像物標GTがある場合には、その画像物標GTとレーダ物標LTとは類似性があり、同一の物体であると判定される。図3の例では、画像物標GT(xi,yi)とレーダ物標LT(xm,ym)とが同一の物体であると判定される。
この場合、フュージョン物標生成処理により、同一物体と判定されたレーダ物標LT(xm,ym)と画像物標GT(xi,yi)とを統合してフュージョン物標FNS(xf,yf)を生成する。
詳しくは、画像物標GT(xi,yi)と自車両の原点(撮像装置22の座標系の原点)とを結ぶ線と、レーダ物標LT(xm,ym)からx軸方向に延びる線との交点を、フュージョン物標FNS(xf,yf)の座標(位置)に設定する。すなわち、フュージョン物標FNSにおいては、X軸方向の位置xf=(ym/yi)×xi、y軸方向の位置yf=ymに設定される。
このように、フュージョン物標FNSにおける自車両の進行方向の位置yfを、レーダ物標LTの距離ymとし、フュージョン物標FNSの車幅方向の位置xfを、画像物標GTの車幅方向の位置xiを基準として設定した場合、レーダ21と撮像装置22とが得意な情報により物体の位置が特定されることとなり、物体の位置の認識精度を向上できる。
しかし、レーダ物標LTと画像物標GTとの横位置を統合して設定されたフュージョン物標FNSの横位置は、撮像装置22による撮像画像の画像処理で検出される物標の横位置よりも、自車両から離れた位置又は自車両に近い位置として出力される場合があることが分かった。
そこで本実施形態では、横位置選択部14によって、フュージョン物標FNSの横位置(FNS横位置Y1)と、同一物体の画像物標GTの左端の横位置(左横位置Y2)と右端の横位置(右横位置Y3)と比較する。そして、これらの各横位置のうち、自車両に近い横位置をPSCによる制御対象の横位置(以下、PCS横位置)として選択する。
図4を用いて詳しく説明すると、自車両M1の車幅方向の中心位置を軸(自車線O)とすると、自車線OとFNS横位置Y1との距離d1と、自車線Oと左横位置Y2との距離d2と、自車線Oと右横位置Y3との距離d3とを比較する。この場合、自車線Oに対する距離が最も短い左横位置Y2を、PCS横位置として選択する。
ところで、自車両がカーブを走行する場合には、自車線Oと各横位置との距離がその影響を受けて変化する。そこで本実施形態では、横位置選択部14は、自車両の予測進路のカーブ半径(曲率の逆数)である推定Rを求める。そして推定Rを用いて各横位置を補正する。
詳しくは、図5において、車速センサ24で検出した自車速V、ヨーレートセンサ23で検出したヨーレートγに基づき、推定R=V/γとして算出する。そして、推定Rと、先行車両M2との距離Dを用いて、横位置の補正値ΔxをΔx=D・D/2Rとして算出する。そして算出した補正値Δxを用いて、FNS横位置Y1、左横位置Y2および右横位置Y3の各横位置を補正する。そして補正後の各横位置を比較することにより、自車線Oとの距離が最も短い横位置を、PCS横位置に選択する。
なお推定Rがゼロとなる自車両停止中や、推定Rが所定の閾値よりも大きくなる自車両の直進走行時には、補正値Δxによる補正を行わないようにする。これにより、例えば、直進とみなせる推定Rの大きい領域においては、ドライバのふらつきの影響を排除しつつ、PCS横位置の算出精度を向上できる。
また、レーダ物標LTと画像物標GTがフュージョンしていない場合、すなわちレーダ21及び撮像装置22のいずれか一方のみで物体が検出されている場合には、レーダ21又は撮像装置22で取得した物標情報に基づいて、PCS横位置を選択すればよい。詳しくは、レーダ物標LTのみが検出された場合には、レーダ物標LTのレーダ横位置をPCS横位置に選択する。画像物標GTのみが検出されている場合には、画像物標GTの左横位置Y2及び右横位置Y3のうち、自車線Oとの距離が短い方を、PCS横位置に選択する。
更には、フュージョン物標FNSが生成されている場合においても、物体が歩行者の場合には、上述したような横位置のずれは生じがたい。そこで、物体が歩行者であると判定される場合には、フュージョン物標FNSのFNS横位置Y1をPCS横位置に選択する。なお歩行者は、車両等の金属体で形成された移動体に比べて、レーダ21の反射波が弱いため、レーダ21の反射強度が所定未満に小さい場合には、物体が歩行者であると判定できる。これ以外にも、これ以外にも、撮像装置22の画像処理で歩行者の特徴を抽出することにより、物体が歩行者であるかを特定してもよい。
図1の説明に戻り、衝突予測部15は、横位置選択部14で選択された横位置を用いて、自車両と物体とが衝突の可能性があるかを判定する。車両制御部16は、自車両と物体との衝突の可能性がある場合に、制動装置30を作動させるための信号を出力する。
次に、本実施形態の物標の横位置の選択処理手順について図6を用いて説明する。なお本処理は、ECU10の起動状態で、所定周期で繰り返し実施する。
まず、レーダ物標LT及び画像物標GTの情報を読み込む(S11)。次に、レーダ物標LTと画像物標GTとがフュージョン条件を満たしているか否かを判定する(S12)。本処理は、S11で設定した探索範囲Sに画像物標GTが存在している場合に肯定する。
レーダ物標LTと画像物標GTとがフュージョン条件を満たしている場合、レーダ物標LTと画像物標GTとを統合してフュージョン物標FNSを生成する(S13)。そしてフュージョン物標FNSのFNS横位置Y1、画像物標GTの左横位置Y2,右横位置Y3を算出する(S14)。
次に、ヨーレートγと、自車速Vの検出結果から推定Rを求める(S15)。次に推定Rによる補正条件を満たしているか否かを判定する(S16)。本処理は、推定Rがゼロとなる自車両の停車中および、推定Rが所定の閾値よりも大きくなる自車両の直進状態の直進走行の際に否定し、それ以外の場合には肯定する。
S16で否定した場合にはS19に進む。S16で肯定した場合には、推定Rから補正値Δxを算出する(S17)。そしてS17で算出した補正値Δxを用いて、FNS横位置Y1、左横位置Y2、右横位置Y3の各々を補正する(S18)。
次に、フュージョン物標FNSで特定される物体が歩行者であるか否かを判定する(S19)。S19で歩行者であると判定した場合には、フュージョン物標FNSのFNS横位置Y1をPCS横位置に選択する(S21)。
S19で否定した場合、すなわち歩行者以外の物体(車両等)の場合には、FNS横位置Y1と、左横位置Y2及び右横位置Y3のうち、自車線Oとの距離が最も短い横位置を、PCS横位置に選択する(S20)。
一方、S12でフュージョン条件を満たしていない場合には、レーダ物標LTのみが検出されたか否かを判定する(S22)。肯定した場合には、レーダ物標LTのレーダ横位置をPCS横位置に選択する(S23)。S22で否定した場合には、画像物標GTのみが検出されたか否かを判定する(S24)。肯定した場合には、左横位置Y2及び右横位置Y3のうち、自車線Oとの距離が短い方の横位置がPCS横位置に選択する(S25)。S24で否定した場合、すなわちレーダ物標LTと画像物標GTの両方を検出していない場合には処理を終了する。
次に、ECU10による運転支援作動処理について、図7に記載のフローチャートを用いて説明する。なお本処理は、ECU10の起動状態で、所定周期で繰り返し実施する。
まず、PCS横位置と自車線Oとの距離が所定以上であるか否かを判定する(S31)。S31で肯定した場合、すなわち自車両と物体との衝突可能性が低い場合には、処理を終了する。S31で否定した場合、すなわちPCS横位置と自車線Oとの距離が所定未満の場合には、物体と自車両との距離を物体との相対速度で除算する等の方法によって、当該物体についてのTTCを算出する(S32)。
次に、TTCと制動装置30の作動タイミングT1とを比較する(S33)。TTCが作動タイミングT1以下であれば、TTCが作動タイミングT1に到達したことを意味するため、制動装置30へ駆動信号を送信する(S34)。一方、TTCが作動タイミングよりも大きければ、処理を終了する。この場合には、物体との衝突の可能性が低く、制動装置30が駆動されないこととなる。
上記によれば以下の優れた効果を奏することができる。
・レーダの反射波として取得される自車両前方の物体のレーダ物標LTと、撮像装置22の画像処理で取得される自車両前方の物体の画像物標GTとをフュージョンしてフュージョン物標FNSを生成し、当該フュージョン物標FNSを用いて自車両の車幅方向に対する物体の横位置(FNS横位置)を求める場合、撮影画像の画像処理で検出した物体の横位置よりも、FNS横位置が自車両から離れた位置として算出される可能性がある。そこで、撮像装置22の画像処理で取得される画像物標GTから自車両の車幅方向に対する物体の横位置を算出し、FNS横位置と画像物標GTから取得した横位置のうちで自車両に最も近い横位置を物体の横位置に選択するようにした。この場合、自車両に対する物体の横位置をより正しく求めることができる。
・撮影画像の画像処理によって物体の後端部における左端に対応する左横位置Y2及び右端に対応する右横位置Y3を取得し、FNS横位置Y1、左横位置Y2、右横位置Y3を比較して、物体の横位置を判定することとしたため、自車両に最も近い横位置を適切に選択することができる。
・自車両に対して物体が右側にあるか左側にあるかを判定できる場合には、その判定結果を利用して、物標の横位置をより簡単に特定することができる。
・自車両の予測進路の曲率(推定カーブ)を推定し、当該曲率に基づいて、横位置の各々を補正することとしたため、自車両に対する物体の横位置の算出精度を高めることができる。
・曲率が所定の閾値よりも大きくなる自車両の直進状態の際には、横位置の補正を実施しないこととしたため、演算負荷の軽減を図りつつ、横位置の算出精度を高めることができる。
・レーダ物標LT及び画像物標GTの一方が検出されないことで、フュージョン物標FNSが生成されない場合には、レーダ物標LT及び画像物標GTのうち、取得された物標の横位置を物体の横位置に選択するようにしたため、フュージョン物標FNSが生成されない状況においても、物体の横位置を選択することができる。
本発明は上記に限定されず次のように実施してもよい。なお以下の説明において上記と同様の構成については同じ図番号を付し詳述を省略する。
・上記では、フュージョン物標FNSのFNS横位置Y1と、画像物標GTの左横位置Y2と右横位置Y3とを比較してPCS横位置を選択する例を示した。これ以外にも、自車両に対して物体が左右のいずれに存在するかを特定できる場合には、FNS横位置Y1と、画像物標GTの左横位置Y2及び右横位置Y3の一方との比較により、PCS横位置を特定することができる。
例えば、撮像装置22の撮影画像を画像処理することで自車両に対して物体が右側にあるか左側にあるかを検出できる。このことを利用して、自車両に対して物体が左側にある場合には、FNS横位置Y1と右横位置Y3とを比較する。自車両に対して物体が右側にある場合には、FNS横位置Y1と左横位置Y2とを比較する。そしてこの場合にも、自車線Oに対する距離が近い横位置がPCS横位置に選択されることとなる。
・上記において、FNS横位置Y1、撮像物標の左横位置Y2及び右横位置Y3に加えて、レーダ物標LTのレーダ横位置を用いて、PCS横位置を選択してもよい。この場合、レーダ物標LTの横位置を考慮して、自車線Oに対して最も近い横位置を選択する精度を高めることができる。
・上記において、自車両と物標との距離が所定未満となる際に、TTCが作動タイミング以下となる可能性が生じる。そこで、レーダ21で検出した物標の距離が所定の閾値未満となる際に、上述したようなPCS横位置の選択が行われてもよい。なお距離の閾値は、自車両と物体との相対速度に応じて可変設定されるとよい。
・上記の図6の処理において、物体が歩行者であるか否かの処理を省略してもよい。すなわち歩行者であるか否かに関わらず、FNS横位置Y1と、画像物標GTの左横位置Y2及び右横位置Y3との比較を行うことにより、PCS横位置を選択してもよい。
・上記において、物体が所定の車幅を有する車両であると判定されたことを条件に、上記の横位置の選択処理が実施されてもよい。なお物体が所定の車幅を有する車両であるかは、レーダ21のよる反射波の強度が所定以上であり、且つ撮像装置22の画像処理等で検出される物体の横幅が所定以上の大きさを有する場合に肯定できる。
10…ECU、21…レーダ、22…撮像装置、100…物体検出装置。

Claims (11)

  1. 搬送波の反射波として取得される自車両前方の物体の第1物標情報と、撮像装置(22)の画像処理で取得される自車両前方の物体の第2物標情報とをフュージョンしてフュージョン物標を生成するフュージョン物標生成部を備え、前記フュージョン物標を用いて物体を検出する物体検出装置であって、
    前記フュージョン物標を用いて自車両の車幅方向に対する物体の位置を表す第1横位置を取得する第1横位置取得手段と、
    前記第2物標情報を用いて自車両の車幅方向に対する物体の位置を表す第2横位置を取得する第2横位置取得手段と、
    前記第1横位置と、前記第2横位置であって前記物体の後端部の左側に対応する左横位置と前記物体の後端部の右側に対応する右横位置とのうちで、前記自車両の車幅方向の位置が前記自車両に最も近い横位置を前記物体の横位置として選択する横位置選択手段と、
    を備えることを特徴とする物体検出装置。
  2. 自車両に対して前記物体が左側及び右側のいずれにあるかを判定する物標位置判定手段を備え、
    前記横位置選択手段は、物体が自車両の右側にある場合には、前記第1横位置と前記左横位置とを比較し、物体が自車両の左側にある場合には、前記第1横位置と前記右横位置とを比較することにより、自車両に最も近い横位置を選択する請求項に記載の物体検出装置。
  3. 前記フュージョン物標で特定される物体の種類を判定する物体種類判定手段を備え、
    前記横位置選択手段は、前記物体が歩行者であると判定された場合には、前記第1横位置を前記物標の横位置として選択する請求項1又は2に記載の物体検出装置。
  4. 搬送波の反射波として取得される自車両前方の物体の第1物標情報と、撮像装置(22)の画像処理で取得される自車両前方の物体の第2物標情報とをフュージョンしてフュージョン物標を生成するフュージョン物標生成部を備え、前記フュージョン物標を用いて物体を検出する物体検出装置であって、
    前記フュージョン物標を用いて自車両の車幅方向に対する物体の位置を表す第1横位置を取得する第1横位置取得手段と、
    前記第2物標情報を用いて自車両の車幅方向に対する物体の位置を表す第2横位置を取得する第2横位置取得手段と、
    前記第1横位置及び前記第2横位置のうち自車両に最も近い横位置を前記物体の横位置として選択する横位置選択手段と、
    前記フュージョン物標で特定される物体の種類を判定する物体種類判定手段と、を備え、
    前記横位置選択手段は、前記物体が歩行者であると判定された場合には、前記第1横位置を前記物標の横位置として選択することを特徴とする物体検出装置。
  5. 前記第1物標情報から自車両に対する前記物体の第3横位置を取得するものであって、
    前記横位置選択手段は、前記第1横位置、前記第2横位置及び前記第3横位置のうち、自車両に最も近い横位置を選択する請求項1乃至のいずれか1項に記載の物体検出装置。
  6. 自車両の予測進路の曲率を推定する予測進路推定手段と、
    前記予測進路推定手段が推定した曲率に基づいて、前記横位置取得手段で取得された前記横位置の各々を補正する横位置補正手段と、
    を備えることを特徴とする請求項1乃至のいずれか1項に記載の物体検出装置。
  7. 前記横位置補正手段は、前記曲率の逆数であるカーブ半径が所定の閾値よりも大きくなる自車両の直進状態の際には、前記横位置の補正を実施しない請求項に記載の物体検出装置。
  8. 前記横位置選択手段は、前記フュージョン物標が生成されない場合には、前記第1物標情報及び前記第2物標情報のいずれかで取得した横位置を選択する請求項1乃至のいずれか1項に記載の物体検出装置。
  9. 前記第1物標情報を取得する第1取得手段(21)と、前記第2物標情報を取得する第2取得手段(22)とは自車両において互いに前後方向に異なる位置に設けられている請求項1乃至8のいずれか1項に記載の物体検出装置。
  10. 前記横位置選択手段で選択された前記横位置を用いて、前記物標に対する運転支援を行うか否かを判定する運転支援判定手段を備える請求項1乃至9のいずれか1項に記載の物体検出装置。
  11. 搬送波の反射波として取得される第1物標情報と、撮像装置(22)の画像処理で取得される第2物標情報とをフュージョンしてフュージョン物標を生成するステップと、
    当該フュージョン物標を用いて自車両の車幅方向に対する物体の位置を表す第1横位置を取得するステップと、
    前記第2物標情報を用いて自車両の車幅方向に対する物体の位置を表す第2横位置を取得するステップと、
    前記第1横位置と、前記第2横位置であって前記物体の後端部の左側に対応する左横位置と前記物体の後端部の右側に対応する右横位置とのうちで、前記自車両の車幅方向の位置が前記自車両に最も近い横位置を前記物体の横位置として選択するステップと、
    を備えることを特徴とする物体検出方法。
JP2015101571A 2015-05-19 2015-05-19 物体検出装置、及び物体検出方法 Active JP6380232B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015101571A JP6380232B2 (ja) 2015-05-19 2015-05-19 物体検出装置、及び物体検出方法
PCT/JP2016/064895 WO2016186171A1 (ja) 2015-05-19 2016-05-19 物体検出装置、及び物体検出方法
US15/575,314 US10527719B2 (en) 2015-05-19 2016-05-19 Object detection apparatus and object detection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015101571A JP6380232B2 (ja) 2015-05-19 2015-05-19 物体検出装置、及び物体検出方法

Publications (3)

Publication Number Publication Date
JP2016218651A JP2016218651A (ja) 2016-12-22
JP2016218651A5 JP2016218651A5 (ja) 2017-08-31
JP6380232B2 true JP6380232B2 (ja) 2018-08-29

Family

ID=57320430

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015101571A Active JP6380232B2 (ja) 2015-05-19 2015-05-19 物体検出装置、及び物体検出方法

Country Status (3)

Country Link
US (1) US10527719B2 (ja)
JP (1) JP6380232B2 (ja)
WO (1) WO2016186171A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10317522B2 (en) * 2016-03-01 2019-06-11 GM Global Technology Operations LLC Detecting long objects by sensor fusion
DE102016224913A1 (de) * 2016-12-14 2018-06-14 Robert Bosch Gmbh Verfahren zur selbsttätigen Einstellung der Geschwindigkeit eines Motorrads
CN107202983B (zh) * 2017-05-19 2020-11-13 深圳佑驾创新科技有限公司 基于图像识别和毫米波雷达融合的自动刹车方法和系统
JP6816658B2 (ja) * 2017-06-09 2021-01-20 トヨタ自動車株式会社 物標情報取得装置
JP7044000B2 (ja) * 2018-07-20 2022-03-30 株式会社デンソー 車両制御装置および車両制御方法
US20210389448A1 (en) * 2018-11-14 2021-12-16 Sony Group Corporation Control device, control method and sensor control system
KR20220010900A (ko) * 2020-07-20 2022-01-27 현대모비스 주식회사 차량용 레이더 장치 및 제어방법
DE102021102480A1 (de) 2021-02-03 2022-08-04 Valeo Schalter Und Sensoren Gmbh Verfahren zum bestimmen einer ersten montageposition zumindest einer ersten sensorvorrichtung eines assistenzsystems eines kraftfahrzeugs sowie assistenzsystem
CN114862931A (zh) * 2022-05-31 2022-08-05 小米汽车科技有限公司 深度距离确定方法、装置、车辆、存储介质与芯片

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6405128B1 (en) * 1999-12-20 2002-06-11 Navigation Technologies Corp. Method and system for providing an electronic horizon in an advanced driver assistance system architecture
JP4595833B2 (ja) * 2006-02-24 2010-12-08 トヨタ自動車株式会社 物体検出装置
JP2011039833A (ja) 2009-08-12 2011-02-24 Fujitsu Ltd 車両検出装置、車両検出プログラム、および車両検出方法
JP5471195B2 (ja) * 2009-09-03 2014-04-16 トヨタ自動車株式会社 物体検出装置
US8610620B2 (en) * 2009-12-08 2013-12-17 Toyota Jidosha Kabushiki Kaisha Object detecting apparatus and object detecting method
JP2011164989A (ja) * 2010-02-10 2011-08-25 Toyota Motor Corp ふらつき判定装置
JP2011248532A (ja) * 2010-05-25 2011-12-08 Toyota Motor Corp 先行車検出装置
US8704887B2 (en) * 2010-12-02 2014-04-22 GM Global Technology Operations LLC Multi-object appearance-enhanced fusion of camera and range sensor data
JP5724955B2 (ja) * 2012-06-22 2015-05-27 トヨタ自動車株式会社 物体検出装置、情報処理装置、物体検出方法
JP5812064B2 (ja) * 2012-11-22 2015-11-11 株式会社デンソー 物標検出装置
JP5905846B2 (ja) * 2013-03-29 2016-04-20 株式会社日本自動車部品総合研究所 横断判定装置およびプログラム
JP6281459B2 (ja) 2014-09-24 2018-02-21 株式会社デンソー 物体検出装置
JP6375828B2 (ja) * 2014-09-25 2018-08-22 ブラザー工業株式会社 搬送装置

Also Published As

Publication number Publication date
WO2016186171A1 (ja) 2016-11-24
US20180149740A1 (en) 2018-05-31
JP2016218651A (ja) 2016-12-22
US10527719B2 (en) 2020-01-07

Similar Documents

Publication Publication Date Title
JP6380232B2 (ja) 物体検出装置、及び物体検出方法
JP5862785B2 (ja) 衝突判定装置及び衝突判定方法
JP4883246B2 (ja) 物体検出装置及び物体検出方法
JP6536521B2 (ja) 物体検知装置及び物体検知方法
JP6561584B2 (ja) 車両制御装置、及び車両制御方法
WO2017104773A1 (ja) 移動体制御装置及び移動体制御方法
JP6493196B2 (ja) 制御装置、制御方法
WO2017104387A1 (ja) 物体検知装置及び物体検知方法
WO2017111135A1 (ja) 走行支援装置及び走行支援方法
JP6855776B2 (ja) 物体検出装置、及び物体検出方法
JP2007132748A (ja) 物体検出装置
EP2894618B1 (en) Speed calculating device and speed calculating method, and collision determination device
JP2019052920A (ja) 物体検出装置、物体検出方法及び車両制御システム
JP2017117345A (ja) 運転支援装置及び運転支援方法
JP5012270B2 (ja) 物体検出装置
JP6432538B2 (ja) 衝突予測装置
JP2016192167A (ja) 車両制御装置、及び車両制御方法
JP2012064026A (ja) 車両用対象物検出装置、およびその方法
CN108885833B (zh) 车辆检知装置
JP6429360B2 (ja) 物体検出装置
JP2017054311A (ja) 物体検出装置
JP2017194926A (ja) 車両制御装置、車両制御方法
JP6451619B2 (ja) 物体検出装置
JP6451565B2 (ja) 運転支援装置、及び運転支援方法
WO2017154471A1 (ja) 横断判定装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170719

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170719

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180703

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180716

R151 Written notification of patent or utility model registration

Ref document number: 6380232

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250