[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP5747482B2 - 車両用環境認識装置 - Google Patents

車両用環境認識装置 Download PDF

Info

Publication number
JP5747482B2
JP5747482B2 JP2010252816A JP2010252816A JP5747482B2 JP 5747482 B2 JP5747482 B2 JP 5747482B2 JP 2010252816 A JP2010252816 A JP 2010252816A JP 2010252816 A JP2010252816 A JP 2010252816A JP 5747482 B2 JP5747482 B2 JP 5747482B2
Authority
JP
Japan
Prior art keywords
road
optical axis
axis direction
traveling
host vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010252816A
Other languages
English (en)
Other versions
JP2011221983A (ja
Inventor
文紀 武田
文紀 武田
高浜 琢
琢 高浜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2010252816A priority Critical patent/JP5747482B2/ja
Priority to US13/053,684 priority patent/US9592834B2/en
Priority to EP11002471A priority patent/EP2371648B1/en
Priority to CN2011100748057A priority patent/CN102201056B/zh
Publication of JP2011221983A publication Critical patent/JP2011221983A/ja
Application granted granted Critical
Publication of JP5747482B2 publication Critical patent/JP5747482B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06Road conditions
    • B60W40/072Curvature of the road
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06Road conditions
    • B60W40/076Slope angle of the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/12Lateral speed
    • B60W2520/125Lateral acceleration
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/14Yaw
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20061Hough transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本発明は、車両周囲の環境を認識する車両用環境認識装置に関する。
従来、車両周囲の環境を認識する技術として、車両用の環境認識装置がある。
このような技術として、例えば特許文献1に記載の白線認識装置が挙げられる。
特許文献1に記載の白線認識装置では、車載カメラで車両前方の道路を撮像し、道路画像から白線候補点を検出して左右白線の近似直線を算出する。そして、近似直線と白線候補点との偏差から道路の曲がり具合を判断し、直線路であるときに左右の近似直線の交点を仮想消失点とする。さらに、仮想消失点の検出頻度ヒストグラムを作成し、その最頻値によって光軸方向を推定して、車載カメラの光軸補正を行っている。
特開2000−242899号公報
特許文献1に記載の技術では、白線候補点と近似直線との偏差から直線路の判定をしているが、直線路判定の精度が高くなく、より高い精度で直線路判定ができるシステムが要望されていた。
本発明の課題は、車両用環境認識装置の直線路判定をより正確に行うことである。
以上の課題を解決するため、本発明に係る車両用環境認識装置は、自車両前方における遠方および近傍の複数領域で、走行路の道路形状の近似直線を算出し、それぞれの近似直線の一致度合いから直線路を判定する。
本発明によれば、複数領域での道路形状の近似直線から走行路が直線路であるか否かを判定するため、直線路の判定精度が向上する。
第1実施形態に係る自動車1の構成を示す概略図である。 レーン認識装置22の構成を示すブロック図である。 レーン認識装置22における処理の概念を示す模式図である。 近傍領域と遠方領域とを区分してレーン認識処理を行う場合の概念を示す模式図である。 直線路判定部410による直線路の判定処理の第1の例を説明する説明図である。 直線路判定部410による直線路の判定処理の第2の例を説明する説明図である。 直線路判定部410による直線路の判定処理の第3の例を説明する説明図である。 レーン認識装置22が実行する光軸補正処理を示すフローチャートである。 本実施形態に係るレーン認識装置22の構成を示すブロック図である。 第2実施形態に係る光軸補正処理を示すフローチャートである。 光軸方向の偏差の積分値を算出する回数を設定するための処理を示すフローチャートである。
以下、図を参照して本発明を適用した自動車の実施の形態を説明する。
(第1実施形態)
(構成)
図1は、本発明の第1実施形態に係る自動車1の構成を示す概略図である。
図1において、自動車1は、車体1Bと、ステアリングホイール2と、入力側ステアリング軸3と、ハンドル角度センサ4と、操舵トルクセンサ5と、操舵反力アクチュエータ6と、操舵反力アクチュエータ角度センサ7と、転舵アクチュエータ8と、転舵アクチュエータ角度センサ9と、出力側ステアリング軸10と、転舵トルクセンサ11と、ピニオンギア12と、ピニオン角度センサ13と、ラックギア14と、タイロッド15と、タイロッド軸力センサ16と、車輪17FR,17FL,17RR,17RLと、ブレーキディスク18と、ホイールシリンダ19と、圧力制御ユニット20と、車両状態パラメータ取得部21と、レーン認識装置22と、方向指示スイッチ23と、車輪速センサ24FR,24FL,24RR,24RLと、車線内走行支援コントローラ25と、コントロール/駆動回路ユニット26と、メカニカルバックアップ27と、ブザー28とを備えている。
なお、これらのうち、レーン認識装置22は、本発明に係る環境認識装置1Aを構成している。また、レーン認識装置22は、車線内走行支援システムの一部を構成している。
ステアリングホイール2は、入力側ステアリング軸3と一体に回転するよう構成され、運転者による操舵入力を入力側ステアリング軸3に伝達する。
入力側ステアリング軸3は、操舵反力アクチュエータ6を備えており、ステアリングホイール2から入力された操舵入力に対し、操舵反力アクチュエータ6による操舵反力を加える。
ハンドル角度センサ4は、入力側ステアリング軸3に備えられ、入力側ステアリング軸3の回転角度(即ち、運転者によるステアリングホイール2への操舵入力角度)を検出する。そして、ハンドル角度センサ4は、検出した入力側ステアリング軸3の回転角度をコントロール/駆動回路ユニット26に出力する。
操舵トルクセンサ5は、入力側ステアリング軸3に備えられ、入力側ステアリング軸3の回転トルク(即ち、ステアリングホイール2への操舵入力トルク)を検出する。そして、操舵トルクセンサ5は、検出した入力側ステアリング軸3の回転トルクをコントロール/駆動回路ユニット26に出力する。
操舵反力アクチュエータ6は、モータ軸と一体に回転するギアが入力側ステアリング軸3の一部に形成されたギアに噛合しており、コントロール/駆動回路ユニット26の指示に従って、ステアリングホイール2による入力側ステアリング軸3の回転に対して反力を付与する。
操舵反力アクチュエータ角度センサ7は、操舵反力アクチュエータ6の回転角度(即ち、操舵反力アクチュエータ6に伝達された操舵入力による回転角度)を検出し、検出した回転角度をコントロール/駆動回路ユニット26に出力する。
転舵アクチュエータ8は、モータ軸と一体に回転するギアが出力側ステアリング軸10の一部に形成されたギアに噛合しており、コントロール/駆動回路ユニット26の指示に従って、出力側ステアリング軸10を回転させる。
転舵アクチュエータ角度センサ9は、転舵アクチュエータ8の回転角度(即ち、転舵アクチュエータ8が出力した転舵のための回転角度)を検出し、検出した回転角度をコントロール/駆動回路ユニット26に出力する。
出力側ステアリング軸10は、転舵アクチュエータ8を備えており、転舵アクチュエータ8によって入力された回転をピニオンギア12に伝達する。
転舵トルクセンサ11は、出力側ステアリング軸10に備えられ、出力側ステアリング軸10の回転トルク(即ち、ラックギア14を介した車輪17FR,17FLの転舵トルク)を検出する。そして、転舵トルクセンサ11は、検出した出力側ステアリング軸10の回転トルクをコントロール/駆動回路ユニット26に出力する。
ピニオンギア12は、ラックギア14と噛合しており、出力側ステアリング軸10から入力された回転をラックギア14に伝達する。
ピニオン角度センサ13は、ピニオンギア12の回転角度(即ち、ラックギア14を介して出力される車輪17FR,17FLの転舵角度)を検出し、検出したピニオンギア12の回転角度をコントロール/駆動回路ユニット26に出力する。
ラックギア14は、ピニオンギア12と噛合する平歯を有し、ピニオンギア12の回転を車幅方向の直線運動に変換する。
タイロッド15は、ラックギア14の両端部と車輪17FR,17FLのナックルアームとを、ボールジョイントを介してそれぞれ連結している。
タイロッド軸力センサ16は、ラックギア14の両端部に設置されたタイロッド15それぞれに備えられており、タイロッド15に作用している軸力を検出する。そして、タイロッド軸力センサ16は、検出したタイロッド15の軸力をコントロール/駆動回路ユニット26に出力する。
車輪17FR,17FL,17RR,17RLは、サスペンションを介して車体1Bに設置されており、これらのうち、前輪(車輪17FR,17FL)は、タイロッド15によってナックルアームが揺動されることにより、車体1Bに対する車輪17FR,17FLの向きが変化する。
ブレーキディスク18は、車輪17FR,17FL,17RR,17RLと一体に回転し、ホイールシリンダ19の押圧力によってブレーキパッドが押し当てられると、その摩擦力によって制動力を発生する。
ホイールシリンダ19は、各車輪に設置されたブレーキパッドを、ブレーキディスク18に押し当てる押圧力を発生する。
圧力制御ユニット20は、車線内走行支援コントローラ25の指示に従って、各車輪に備えられたホイールシリンダ19の圧力を制御する。
車両状態パラメータ取得部21は、方向指示スイッチ23の動作信号、および、レーン認識装置22の出力信号を取得する。また、車両状態パラメータ取得部21は、車輪速センサ24FR,24FL,24RR,24RLから出力される車輪の回転速度を示すパルス信号を基に車速を取得する。さらに、車両状態パラメータ取得部21は、車速と各車輪の回転速度とを基に、各車輪のスリップ率を取得する。そして、車両状態パラメータ取得部21は、取得した各パラメータをコントロール/駆動回路ユニット26に出力する。
レーン認識装置22は、自車両周囲の画像を撮影するカメラ(例えば単眼カメラ)と、その撮影画像を解析し、自車両のヨー角C、自車両のピッチ角D、路面からのカメラ100の高さH、車線中心からの横変位Aおよび走行車線の曲率Bを算出する演算装置とを備えている。そして、レーン認識装置22は、演算装置によって算出した自車両のヨー角C、車線中心からの横変位Aおよび走行車線の曲率B(以下、これらをまとめて「車線内走行支援情報」という。)を、車線内走行支援コントローラ25に出力する。
また、レーン認識装置22は、車線中心からの横変位A、走行車線の曲率B、自車両の車線に対するヨー角C、自車両のピッチ角D、路面からのカメラの高さHを基に、後述する光軸補正処理を実行し、カメラの光軸を補正する。
方向指示スイッチ23は、運転者による方向指示レバーの操作に対応して、右方向あるいは左方向を示唆する方向指示灯を点灯させる。また、方向指示スイッチ23は、方向指示動作が行われていること、および、その指示方向を示す動作信号を車線内走行支援コントローラ25に出力する。
車輪速センサ24FR,24FL,24RR,24RLは、各車輪の回転速度を示すパルス信号を、車両状態パラメータ取得部21および車線内走行支援コントローラ25に出力する。
車線内走行支援コントローラ25には、車輪速センサ24FR,24FL,24RR,24RLから各車輪の回転速度を示すパルス信号、方向指示スイッチ23から方向指示の動作信号、レーン認識装置22から車線内走行支援情報、コントロール/駆動回路ユニット26から操舵入力の状態(操舵入力角、操舵入力トルク等)および転舵出力の状態(転舵角度、転舵トルク等)が入力される。そして、車線内走行支援コントローラ25は、入力された情報を基に、車線内走行支援処理を実行する。即ち、車線内走行支援コントローラ25は、自車両が車線内の目標軌道を走行するための車両制御(前輪の転舵、入力側ステアリング軸3に加える操舵反力、各車輪の制動力等)に関するパラメータを算出する。さらに、車線内走行支援コントローラ25は、算出した各車輪の制動力に関するパラメータを圧力制御ユニット20への指示信号として出力する。また、車線内走行支援コントローラ25は、算出した前輪の転舵および入力側ステアリング軸3に加える操舵反力に関するパラメータをコントロール/駆動回路ユニット26に出力する。
コントロール/駆動回路ユニット26は、自動車1全体を制御するものであり、各部に設置されたセンサから入力される信号を基に、入力側ステアリング軸3の操舵反力、前輪の転舵角、あるいはメカニカルバックアップ27の連結について、各種制御信号を、操舵反力アクチュエータ6、転舵アクチュエータ8、あるいはメカニカルバックアップ27等に出力する。
また、コントロール/駆動回路ユニット26は、各センサによる検出値を使用目的に応じた値に換算する。例えば、コントロール/駆動回路ユニット26は、操舵反力アクチュエータ角度センサ7によって検出された回転角度を操舵入力角度に換算したり、転舵アクチュエータ角度センサ9によって検出された回転角度を車輪の転舵角に換算したり、ピニオン角度センサ13によって検出されたピニオンギア12の回転角度を車輪の転舵角に換算したりする。
そして、コントロール/駆動回路ユニット26は、操舵入力の状態および転舵出力の状態に関する情報を車線内走行支援コントローラ25に出力する。
なお、コントロール/駆動回路ユニット26は、ハンドル角度センサ4によって検出された入力側ステアリング軸3の回転角度、操舵反力アクチュエータ角度センサ7によって検出された操舵反力アクチュエータ6の回転角度、転舵アクチュエータ角度センサ9によって検出された転舵アクチュエータ8の回転角度、および、ピニオン角度センサ13によって検出されたピニオンギア12の回転角度を監視し、これらの関係を基に、操舵系統におけるフェールの発生を検出することができる。そして、操舵系統におけるフェールを検出すると、コントロール/駆動回路ユニット26は、メカニカルバックアップ27に対し、入力側ステアリング軸3と出力側ステアリング軸10とを連結させる指示信号を出力する。
メカニカルバックアップ27は、コントロール/駆動回路ユニット26の指示に従って、入力側ステアリング軸3と出力側ステアリング軸10とを連結し、入力側ステアリング軸3から出力側ステアリング軸10への力の伝達を確保する機構である。ここで、メカニカルバックアップ27は、通常時には、コントロール/駆動回路ユニット26から、入力側ステアリング軸3と出力側ステアリング軸10とを連結しない状態が指示されている。そして、操舵系統におけるフェールの発生により、ハンドル角度センサ4、操舵トルクセンサ5および転舵アクチュエータ8等を介することなく操舵操作を行う必要が生じた場合に、入力側ステアリング軸3と出力側ステアリング軸10とを連結するよう指示される。
なお、メカニカルバックアップ27は、例えばケーブル式ステアリング機構等によって構成することができる。
ブザー28は、車線内走行支援コントローラ25の指示信号に応じて、運転者に対する警報音を発する。
(レーン認識装置22の具体的構成)
次に、レーン認識装置22の具体的な構成について説明する。
図2は、レーン認識装置22の構成を示すブロック図である。なお、図2においては、レーン認識装置22に関連する他の機能部を併せて図示している。
また、図3は、レーン認識装置22における処理の概念を示す模式図である。
図2において、レーン認識装置22は、カメラ100と、白線候補点検出部200と、レーン認識処理部300と、光軸補正部400とを含んでいる。
カメラ100は、CCD(Charge Coupled Device )あるいはCMOS(Complementary Metal Oxide Semiconductor )等の撮像素子を備えたデジタルカメラである。カメラ100は、車両前方の画像を撮影し、撮影した画像データを白線候補点検出部200に出力する。なお、カメラ100は、車両室内における天井の前方中央部に車両前方を撮像するように設置してあり、フロントガラスを通して車両前方の走行路を撮像するようになっている。ただし、このような設置態様の他、自車両の走行路を撮像するカメラであれば、他の設置態様とできる。例えば、バックビューカメラのように車両後方にカメラを取り付けることや、バンパ等の車両前端に取り付けることもでき、またカメラの視野内に消失点が映らない設置態様とすることもできる。いずれの場合においても、白線エッジの検出および近似直線の算出を行うことにより、仮想消失点を算出することができる。
白線候補点検出部200は、カメラ100が撮影した画像データに基づいて、車線区分線となる白線の候補点を検出する。
白線候補点検出部200では、図3に示すように、カメラ100から自車両の走行路を撮像した画像を取得し、画像処理を行うことで白線エッジEdを検出する。本実施形態における画像処理では、取得した画像の左右に位置する車線区分線(白線)に対し、後述する道路パラメータ(道路形状およびこの道路に対する車両姿勢)を基に画像処理枠Fの位置を設定する。次に、設定した画像処理枠Fに対して、例えばSobelフィルタによる一次空間微分を施して、白線と路面との境界のエッジを強調した後、白線エッジEdを抽出する。
レーン認識処理部300は、道路形状を直線近似する道路形状算出部310と、道路形状および道路に対する車両姿勢を推定する道路パラメータ推定部320とを含んでいる。
道路形状算出部310は、図3に示すように、白線候補点検出部200によって抽出した白線エッジEdの強度が設定した閾値Edth以上の画素を、設定した画素数Pth以上通過し、かつ検出領域の上辺の1点と下辺の1点を結ぶ直線を、ハフ変換により抽出することにより道路形状の近似直線Rfを算出する。本実施形態においては、撮影して得た道路の画像データを遠方と近傍と2つの領域に分けて、それぞれの領域で道路形状を直線近似する(図4参照)。なお、遠方領域の画像上下方向の幅は、近傍領域の画像上下方向の幅よりも小さい方が望ましい。
道路パラメータ推定部320は、道路形状算出部310によって検出した道路形状の近似直線Rfから、次式(1)を用いて、道路モデル式として道路パラメータ(道路形状および道路に対する車両姿勢)を推定する。
Figure 0005747482
ここで、(1)式におけるパラメータ、A,B,C,D,Hは、道路パラメータ推定部320において推定する道路パラメータおよび車両状態量となり、自車両の車線に対する横変位(A)、道路曲率(B)、自車両の車線に対するヨー角(C)、自車両のピッチ角(D)、および路面からのカメラ100の高さ(H)である。また、Wは車線幅(実際の道路上における左右白線内側間の距離)を示す定数、fはカメラ透視変換定数、jは左右の白線を区別するパラメータであり、左白線のときj=0、右白線のときj=1とする。また、(x,y)は、左または右白線の車線内側端部上の任意の点の道路画像上の座標であり、道路画像左上を原点に取り、右方向がx軸正方向、下方向がy軸正方向とする。
光軸補正部400は、自車両の走行路が直線路であることを判定する直線路判定部410と、自車両が走行路と平行に走行していることを判定する平行走行判定部420と、道路形状の近似直線Rfから仮想消失点を算出する仮想消失点算出部430と、仮想消失点から光軸方向を推定しレーン認識装置22で記憶している光軸設定値を補正する光軸方向補正処理部440とを含んでいる。
直線路判定部410は、道路形状算出部310によって算出した遠方と近傍の道路形状の近似直線Rfについて、後述する手順で一致度合いを算出し、この算出した一致度合いを所定値と比較することで、自車両の走行路が直線路であるか否かを判定する。
平行走行判定部420は、道路パラメータ推定部320によって推定した自車両の走行路に対する車両姿勢から、自車両が走行路と平行に走行していることを判定する。具体的には、平行走行判定部420は、道路パラメータ推定部320によって推定した車両状態量の1つである車線に対する自車両の横変位Aを用いて、現在値と過去値との差分から自車両の車線に対する横速度(横変位Aの微分値)を算出し、横速度が設定した閾値以下である場合を、自車両が走行路と平行に走行していると判定する。
仮想消失点算出部430は、直線路判定部410と平行走行判定部420とによる判定結果が、自車両の走行路が直線路かつ、自車両が自車両の走行路と平行に走行している状態となっている場合に、道路形状の左右近似直線Rfの交点を仮想消失点として算出する。
光軸方向補正処理部440は、仮想消失点算出部430によって算出した仮想消失点から光軸方向を算出し、レーン認識装置22が記憶している光軸方向と比較することで、光軸方向のずれを判定する。この判定を行った場合、光軸方向補正処理部440は、過去の履歴を用いて光軸方向を推定し、レーン認識装置22が記憶している光軸方向の設定値を補正する。具体的には、光軸方向補正処理部440は、ヨー方向とピッチ方向で、レーン認識装置22が記憶している光軸方向の設定値と、仮想消失点から算出した光軸方向との偏差を算出し、ループ処理ごとに偏差を積分していく。
仮想消失点の算出回数が設定した値に達した時に、ヨー方向、もしくはピッチ方向での偏差の積分値(絶対値)が閾値を超えている場合には、光軸方向補正処理部440は、レーン認識装置22で記憶している光軸方向の設定を、過去の履歴から推定した光軸方向の値(例えば、直近の一定回数以内の光軸方向の平均値等)に変更することで光軸を補正する。これにより、光軸方向の検出結果のばらつきを吸収して、光軸方向の誤補正を防止できる。
また、このとき、光軸方向補正処理部440は、ヨー方向およびピッチ方向それぞれについて、偏差の積分値が閾値を超えているか否かを判定し、光軸方向の補正も、ヨー方向およびピッチ方向それぞれについて独立に行うものとする。これにより、ヨー方向成分およびピッチ方向成分それぞれの光軸方向の誤差を区別して光軸方向の補正を行うことができ、より高精度に光軸方向の補正を行うことができる。
また、光軸方向補正処理部440は、算出回数が設定値に達した場合は、光軸方向の偏差の積分値と、算出回数のカウント値をリセットする。
なお、レーン認識装置22では、車両前方の近傍領域と遠方領域それぞれについて、レーン認識処理を行い、直線路を判定している。
図4は、近傍領域と遠方領域とを区分してレーン認識処理を行う場合の概念を示す模式図である。なお、図4においては、比較的半径の大きい曲線路を例として示している。
図4に示すように、レーン認識装置22は、カメラ100が撮影した画像データを近傍領域(画像下部)と遠方領域(画像中央部)とに区分し、それぞれの領域において、白線候補点検出部200およびレーン認識処理部300が白線エッジEdおよび近似直線Rfの検出を行う。
さらに、それらの一致度合いを基に、直線路判定部410が、走行路が直線であるか否かを判定する。具体的には、直線路判定部410は、例えば下記の第1〜第3の例のように、近傍領域と遠方領域とにおける近似直線の一致度合いを算出して、この一致度合いを基に、走行路が直線(直線路)であるか否かを判定する。
(直線路の判定処理)
(1)第1の例
第1の例では、図5に示すように、遠方領域の画像に基づいて検出した左右それぞれの白線エッジに対応する2つの近似直線Rf1の画面上での交点C1と、近傍領域の画像に基づいて検出した左右それぞれの白線エッジに対応する2つの近似直線Rf2の画面上での交点C2と、をそれぞれ求める。
そして、その求めた交点C1と交点C2のX軸方向における偏差を、近傍領域と遠方領域とにおける近似直線Rf1、Rf2の一致度合いとして算出する。さらに、その偏差(一致度合い)を設定した偏差閾値と比較し、偏差が設定した偏差閾値以内の場合には、遠方領域と近傍領域の近似直線が一致しており、走行路が直線(直線路)であると判定する。
なお、上記の偏差閾値は、走行路を直線と認識して良い値を、設計的あるいは実験によって予め求めて設定した値である。
(2)第2の例
第2の例では、図6に示すように、遠方領域の画像に基づいて検出した左右の白線エッジの一方に対応する近似直線Rf1と、近傍領域の画像に基づいて検出した左右の白線エッジの一方に対応する近似直線Rf2について、それぞれ以下の(2)および(3)式で示す近似直線式に変換する。
y=a1x+b1・・・(2)
y=a2x+b2・・・(3)
次に、(2)および(3)式に基づき、2つの近似直線式の一致の度合いEを次の(4)式に基づいて算出する。
E={1−〔(|a1−a2|)/c〕}×{1−〔(|b1−b2|)/d〕}
・・・・(4)
ここで、cは傾きの許容誤差であり、dは切片の許容誤差である。
このような処理を左右の双方の近似直線に対して行なう。
すなわち、遠方領域の近似直線Rf1を、傾きa1、y切片がb1の直線式として(2)式のように数式化し、近傍領域の近似直線Rf2を、傾きa2、y切片がb2の直線式として(3)式のように数式化する。
次に、傾きa1と傾きa2の偏差、およびy切片b1とy切片b2との偏差に基づき、(4)式により2つの近似直線式Rf1、Rf2の一致度合いEを算出する。この一致度合いEの算出は、遠方領域における左側の近似直線Rf1と近傍領域における左側の近似直線Rf2に対して算出すると共に、遠方領域における右側の近似直線Rf1と近傍領域における右側の近似直線Rf2に対して算出する。
そして、それぞれ算出した2つの一致度合いEについて、2つの予め定めた判定閾値とそれぞれ比較し、2つの一致度合いEのいずれもがその2つの判定閾値以上である場合に、遠方領域と近傍領域の近似直線Rf1、Rf2が一致しており、走行路が直線であると判定する。
なお、上記の2つの一致度合いEの乗算値または合計値を求め、この求めた値を予め定めた判定閾値と比較し、それらが判定閾値以上である場合に、遠方領域と近傍領域の近似直線Rf1、Rf2が一致していると判定するようにしても良い。
上記の例では、近似直線の傾きとy切片との双方を用いて一致度合いEを算出したが、傾きとy切片について別々に一致度合いを算出するようにしても良い。
また、上記の例では、走行路が直線であることを精度良く判定するために、左側の近似直線Rf1、Rf2に対して算出された一致度合いEと、右側の近似直線Rf1、Rf2に対して算出された一致度合いEとの2つの一致度合いEに基づいて判定している。しかし、走行路が直線であることの判定精度が求められない場合には、その2つのうちの一方の一致度合いEに基づいて判定するようにしても良い。
ここで、上記の判定閾値は、いずれも、走行路を直線と認識して良い程度の値を、設計的あるいは実験によって予め求めて設定した値である。
(3)第3の例
第3の例では、図7に示すように、遠方領域の画像に基づいて検出した左右の白線エッジの一方に対応する近似直線Rf1と、近傍領域の画像に基づいて検出した左右の白線エッジの一方に対応する近似直線Rf2について、それぞれ遠方領域の上辺との交点のx座標x1およびx2と、近傍領域の下辺との交点のx座標x3およびx4とを求める。
次に、遠方領域の上辺における各交点のx座標の偏差(すなわち、x1とx2との偏差)と、遠方領域の下辺における各交点のx座標の偏差(すなわち、x3とx4との偏差)とを、それぞれ一致度合いEとして算出する。
そして、それぞれ算出した2つの一致度合いEについて、2つの予め定めた判定閾値とそれぞれ比較し、2つの一致度合いEのいずれもがその2つの判定閾値以下である場合に、遠方領域と近傍領域の近似直線Rf1、Rf2が一致しており、走行路が直線であると判定する。
なお、上記の2つの一致度合いEの乗算値または合計値を求め、この求めた値を予め定めた判定閾値と比較し、それらが判定閾値以下である場合に、遠方領域と近傍領域の近似直線Rf1、Rf2が一致していると判定するようにしても良い。
上記の例では、近似直線と処理領域の上辺および下辺との交点のx座標に基づいて近似直線の一致度合いを算出しているが、近似直線と画像処理領域(画面領域)の上辺および下辺との交点のx座標に基づいて近似直線の一致度合いを算出しても良い。
また、上記の例では、左側の近似直線Rf1、Rf2に対して算出された偏差を基に、走行路が直線であるか否かを判定するようにした。しかし、判定精度を上げるために、さらに、右側の近似直線Rf1、Rf2に対しても偏差を算出し、これを含めて走行路が直線であるか否かを判定するようにしても良い。
ここで、上記の判定閾値は、いずれも、走行路を直線と認識して良い程度の値を、設計的あるいは実験によって予め求めて設定した値である。
(光軸補正処理)
次に、レーン認識装置22が実行する光軸補正処理について説明する。
図8は、レーン認識装置22が実行する光軸補正処理を示すフローチャートである。
光軸補正処理は、カメラ100の光軸を適正な位置とし、正確なレーン認識処理を行うために実行するものである。レーン認識装置22は、カメラ100が画像を撮影している間、図8に示す光軸補正処理を繰り返し実行する。
図8において、光軸補正処理を開始すると、レーン認識装置22は、カメラ100によって、自車両の走行路の画像データを取得する(ステップS101)。
次に、レーン認識装置22は、白線候補点検出部200によって、走行路の画像データを基に画像処理を行い、白線エッジEdを検出する(ステップS102)。
続いて、レーン認識装置22は、道路形状算出部310によって、検出した白線エッジEdを用いて、遠方領域および近傍領域それぞれにおける道路形状の近似直線Rfを取得する(ステップS103)。このとき、道路形状算出部310は、走行路左右の白線それぞれについて近似直線Rfを取得する。
次いで、レーン認識装置22は、道路パラメータ推定部320によって、道路形状の近似直線Rfを用いて、(1)式に従って、道路パラメータを推定する(ステップS104)。
次に、レーン認識装置22は、直線路判定部410によって、道路形状の近似直線Edを基に、自車両の走行路が直線路であるか否かを判定する(ステップS105)。
また、レーン認識装置22は、平行走行判定部420によって、推定した道路パラメータを基に、自車両が走行路と平行に走行しているか否かを判定する(ステップS106)。
そして、レーン認識装置22は、ステップS105,S106の判定結果を基に、自車両の走行路が直線路で、かつ、自車両が走行路と平行に走行している状態であるか否かを判定する(ステップS107)。
ステップS105,S106の判定結果が、自車両の走行路が直線路で、かつ、自車両が走行路と平行に走行している状態である場合、レーン認識装置22は、仮想消失点算出部430によって、左右の近似直線Rfから仮想消失点を算出する(ステップS108)。なお、ステップS105,S106の判定結果が、自車両の走行路が直線路で、かつ、自車両が走行路と平行に走行している状態ではない場合、レーン認識装置22は、ステップS101の処理に戻る。
ステップS108に続いて、レーン認識装置22は、光軸方向補正処理部440によって、仮想消失点によって算出できる光軸方向と、レーン認識装置22が現在記憶している光軸方向との偏差を積分する(ステップS109)。
次に、レーン認識装置22は、仮想消失点を算出した回数が設定した値Nth以上となっているか否かの判定を行い(ステップS110)、仮想消失点を算出した回数(即ち、光軸方向の偏差の積分回数)が設定した値Nth以上であると判定した場合、仮想消失点の算出回数のカウント値および光軸方向の偏差の積分値をリセットする(ステップS111)。
さらに、レーン認識装置22は、光軸方向補正処理部440によって、光軸の補正を行い(ステップS112)、ステップS101の処理に戻る。
また、ステップS110において、仮想消失点を算出した回数が設定した値未満であると判定した場合、レーン認識装置22は、ステップS101の処理に戻る。
以上の処理により、遠方と近傍の近似直線Rfの一致度合いを基に、走行路の直線度を判定することで、より精度良く道路の曲がり具合を検出することが可能となる。そのため、より正確に仮想消失点を算出することができ、より高精度な光軸補正を行うことができる。
(動作)
次に、動作を説明する。
自動車1は、イグニションオンと共に、レーン認識装置22によって自車両前方の道路の画像を撮影して、車線内走行支援処理を開始する。
また、カメラ100によって道路の画像を撮影している間、レーン認識装置22は、光軸補正処理を実行し、カメラ100の光軸を適正な状態に補正する。
即ち、レーン認識装置22は、カメラ100で撮影した道路の画像データから白線候補点Edを検出し、道路形状の近似直線Rfを算出する。
そして、レーン認識装置22は、(1)式から道路パラメータを推定して、走行路が直線路であるか否か、および、自車両が走行路と平行に走行しているか否かを判定する。
走行路が直線路であり、自車両が走行路と平行に走行している場合、レーン認識装置22は、仮想消失点を算出して、算出した仮想消失点が示す光軸方向と現在の光軸方向との偏差を積分する。
そして、仮想消失点の算出回数(カウント値)が設定した値以上であるときに、レーン認識装置22は、光軸方向の偏差の積分値、および、算出回数のカウント値をリセットし、過去の履歴から推定した光軸方向の値に光軸方向を補正する。
これにより、カメラ100の光軸を適正な状態とでき、レーン認識装置22におけるレーン認識の精度が向上する。また、そのため、より適切に車線内走行支援を行うことができる。
以上のように、本実施形態に係る自動車1は、レーン認識装置22によって、自車両前方における遠方領域および近傍領域それぞれの近似直線Rfの一致度合いを基に、走行路が直線路であるか否かを判定する。
そのため、より高精度に道路の曲がり具合を検出することができ、より正確に仮想消失点を算出することができる。
したがって、光軸補正を行う上で適切な状況において光軸補正を行うことができるため、車両用環境認識装置の光軸補正をより正確に行うことができる。
ここで、第1実施形態においては、走行路両側に敷設した白線を検出対象とするものとして説明したが、白線の他、レーンマーカー、道路鋲、中央分離帯など、道路に沿って連続して敷設され、車線もしくは道路を区分しているものであれば、走行路の検出に用いることができる。
なお、本実施形態において、カメラ100が撮像手段に対応し、白線候補点検出部200および道路形状算出部310が道路形状算出手段に対応する。また、直線路判定部410が直線路判定手段に対応し、平行走行判定部420が平行走行判定手段に対応する。また、仮想消失点算出部430が仮想消失点算出手段に対応し、光軸方向補正処理部440が光軸方向補正手段に対応する。
(第1実施形態の効果)
(1)自車両前方における遠方および近傍の複数領域で、走行路の道路形状の近似直線を算出し、走行路が直線路で、自車両が走行路と平行に走行しているときに、仮想消失点を算出する。そして、算出した仮想消失点から光軸方向を推定して、光軸方向の補正を行う。
複数領域での道路形状の近似直線から走行路が直線路であるか否かを判定するため、直線路の判定精度が向上する。また、このように判定した直線路において、自車両が走行路と平行に走行しているときに、仮想消失点を算出するため、光軸方向をより正確に推定できる。
したがって、車両用環境認識装置の光軸補正をより正確に行うことが可能となる。
(2)自車両の前方あるいは後方の画像を撮影し、画像処理によって自車両の走行路上、あるいは、自車両の走行路における路側の敷設物から自車両の走行路を検出する。
したがって、車両周囲を撮影するカメラを車両用環境認識装置として用いた場合にも、車両用環境認識装置の光軸補正をより正確に行うことが可能となる。
(3)自車両の走行路において、道路に沿って連続して敷設され、車線あるいは道路を区分している対象物から道路形状を算出する。
したがって、種々の対象物を用いて、光軸方向の補正を行うことができる。
(4)自車両の走行路を、自車両を中心として左右の領域に区分して道路形状を表す近似直線を算出し、左右の領域それぞれにおいて、複数領域における近似直線の一致度合いを判定し、自車両の走行路が直線路であることを判定する。
したがって、左右領域それぞれにおいて、遠方および近傍の領域における近似直線を算出することによって、より高精度な光軸方向の補正を行うことができる。
(5)算出した仮想消失点から推定した光軸方向と、保持している光軸方向との偏差を積分し、仮想消失点の算出回数が設定した回数に達したときに、積分結果の絶対値が設定した閾値以上であれば、光軸方向の補正を行う。
したがって、光軸方向の推定結果のばらつきを吸収し、光軸方向の誤補正を抑制することができる。
(6)算出した仮想消失点から推定した光軸方向と、保持している光軸方向との偏差を積分する際に、該偏差の方向をヨー方向とピッチ方向に分け、各々の方向において積分値を
算出し、ヨー方向とピッチ方向それぞれにおいて独立に光軸を補正する。
したがって、ヨー方向成分およびピッチ方向成分それぞれの光軸方向の誤差を区別して光軸方向の補正を行うことができ、より高精度に光軸方向の補正を行うことができる。
(第2実施形態)
次に、本発明の第2実施形態について説明する。
本実施形態は、第1実施形態におけるレーン認識装置22の構成に対し、直線路を判定する手法を異なるものとしている。
具体的には、本実施形態では、第1実施形態で車線内走行支援に用いた車両センサ(ヨーレートセンサや加速度センサ)を利用して、カメラ100による直線路の判定および平行走行の判定に加えて、ヨーレートや横加速度を用いた直線路の判定を行うものである。
(構成)
図9は、本実施形態に係るレーン認識装置22の構成を示すブロック図である。なお、図9においては、レーン認識装置22に関連する他の機能部を併せて図示している。
なお、横加速度センサ21aおよびヨーレートセンサ21bは、車両状態パラメータ取得部21の一部である。
図9において、車線内走行支援コントローラ25は、レーン認識装置22で推定した道路パラメータと、車輪速センサ24FR,24FL,24RR,24RL、横加速度センサ21aおよびヨーレートセンサ21bから取得した自車両状態の検出値(車速、ヨーレート、横加速度)を用いて、操舵支援を行うように操舵機構およびブザー28を制御する。
また、図9に示すレーン認識装置22は、第1実施形態におけるレーン認識装置22に対し、車両センサオフセット判定部450を追加した構成である。そして、横加速度センサ21aおよびヨーレートセンサ21bの出力が、車両センサオフセット判定部450を経由して、仮想消失点算出部430に入力する。また、直線路判定部410および平行走行判定部420の判定結果が、車両センサオフセット判定部450に入力する。
車両センサオフセット判定部450は、直線路判定部410による判定結果および平行走行判定部420による判定結果が、自車両の走行路が直線路、かつ、自車両が自車両の走行路と平行に走行している状態である場合に、ヨーレートと横加速度の中央値が0付近(即ち0から設定値以内)であることを確認する。そして、この確認結果を履歴として一定の回数だけ記憶しておき、この履歴と今回の結果とを比較することで、ヨーレート、または横加速度の中央値がオフセットしてないこと判定する。
仮想消失点算出部430は、車両センサオフセット判定部450によって、ヨーレートと横加速度とのいずれかがオフセットしていないと判定されている場合に、直線路判定部410および平行走行判定部420による判定結果が、自車両の走行路が直線路かつ自車両が自車両の走行路と平行に走行している状態となり、さらにオフセットしていないことを確認できている車両センサ値(ヨーレート、横加速度)が設定値以内であることを確認できたときのみ、道路形状の左右近似直線Rfの交点を仮想消失点として算出する。
また、車両センサオフセット判定部450が、ヨーレートと横加速度のいずれもオフセットしていると判定した場合は、直線路判定部410による判定結果および平行走行判定部420による判定結果を用いて、仮想消失点算出部430は、第1実施形態と同様の処理を行う。
光軸方向補正処理部440の第1実施例との異なる点は、白線候補点検出部200の検出状況と、直線路判定時の車両センサの使用の有無から仮想消失点の信頼度を算出し、この信頼度に応じて光軸方向の偏差の積分値を算出する回数(時間)を変化させる点である
。これにより、光軸方向補正処理部440は、信頼度が高い状態が続いた場合は、早い時間で光軸補正を行うことができるものとなる。
(光軸補正処理)
図10は、第2実施形態に係る光軸補正処理を示すフローチャートである。
光軸補正処理は、カメラ100の光軸を適正な位置とし、正確なレーン認識処理を行うために実行するものである。レーン認識装置22は、カメラ100が画像を撮影している間、図8に示す光軸補正処理を繰り返し実行する。
図10に示す光軸補正処理において、ステップS201〜ステップS206の処理は、図8に示す光軸補正処理のステップS101〜ステップS106の処理と同様であるため、異なる部分について説明する。
ステップS206の後、レーン認識装置22は、車両センサオフセット判定部450によって、ヨーレート、または横加速度がオフセットしているか否かを、それぞれ判定する(ステップS207)。
次に、レーン認識装置22は、ヨーレート、または横加速度のうち、オフセットしていないものがあるか否かの判定を行う(ステップS208)。
ステップS208において、ヨーレート、または横加速度のうち、オフセットしていないものがあると判定した場合、レーン認識装置22は、ステップS205,S206の判定結果を基に、自車両の走行路が直線路で、かつ、自車両が走行路と平行に走行している状態であり、かつ、オフセットしていないと判定した車両センサ値が設定値以内であるか否かを判定する(ステップS209)。なお、ステップS205,S206の判定結果を基に、自車両の走行路が直線路で、かつ、自車両が走行路と平行に走行している状態であり、かつ、オフセットしていないと判定した車両センサ値が設定値以内ではないと判定した場合、レーン認識装置22は、ステップS201の処理に戻る。
また、ステップS208において、ヨーレート、または横加速度のうち、オフセットしていないものがないと判定した場合、レーン認識装置22は、ステップS205,S206の判定結果を基に、自車両の走行路が直線路で、かつ、自車両が走行路と平行に走行している状態であるか否かを判定する(ステップS210)。
ステップS209の後、レーン認識装置22は、光軸方向補正処理部440によって、白線候補点検出部200の検出状況と、直線路判定時における車両センサの使用の有無とから、取得した仮想消失点の信頼度を算出し、この信頼度に応じて光軸方向の偏差の積分値を算出する回数(ステップS214における設定値Nth)を変更する(ステップS211)。
以降、ステップS212〜ステップS215の処理は、図8に示す光軸補正処理のステップS108〜ステップS111の処理と同様である。
(仮想消失点の信頼度)
本実施形態では、ステップS211において、光軸方向補正処理部440によって、白線候補点検出部200の検出状況と、直線路判定時における車両センサの使用の有無とから、取得した仮想消失点の信頼度を算出している。
具体的には、光軸方向補正処理部440は、白線候補点検出部200の検出状況、車両センサの使用の有無から算出した仮想消失点の信頼度を判定し、その判定結果に応じて光軸誤差の偏差を積分する回数を変化させる。
具体的には、算出した仮想消失点の信頼度が高い状況であるほど、光軸方向の誤差を積分する時間を短く(回数を少なく)する。
ここで、白線候補点検出部200の検出状況について、条件(1)遠方まで自車両の走
行路の特徴(白線エッジ)を検出できているほど、条件(2)自車両の走行路の特徴(白線エッジ)を遠方から近傍までばらつきなく連続して検出できているほど、検出状況が良好であり、算出した仮想消失点の信頼度が高いと判定する。
また、車両センサについては、車両センサを使用して算出したときの方が、使用せずに算出したときよりも、仮想消失点の信頼度が高いと判定する。
さらに、自車両の走行路が直線路であり、自車両が走行路と平行に走行しているものと判定している状況下で、車両センサの値が中央値(0近傍)であるときには、以後、車両センサの検出値が設定した閾値を超えた場合(即ち、走行路が直線路でないと推定される場合)には、光軸方向補正処理部440は、光軸方向の補正を停止するものとする。
これにより、直線路であることをより確実に検出できるため、算出する仮想消失点の信頼度を高めることができ、光軸方向の補正をより高精度に行うことができる。
(光軸誤差の積分時間設定方法)
本実施形態では、ステップS211において、上記仮想消失点の信頼度に応じて、光軸方向の偏差の積分値を算出する回数(仮想消失点の算出回数の設定値Nth)を算出する。
図11は、光軸方向の偏差の積分値を算出する回数を設定するための処理を示すフローチャートである。
図11に示す処理は、図10におけるステップS211のサブフローである。
図11において、光軸方向補正処理部440は、白線候補点検出部200の検出状況が良好であるか否かの判定を行う(ステップS301)。
このとき、光軸方向補正処理部440は、上記条件(1),(2)に従い、例えば、遠方領域において白線エッジEdが検出できているか否か、および、遠方領域から近傍領域まで連続して白線エッジEdを検出できているか、の少なくともいずれかを充足しているときに、白線候補点検出部200の検出状況が良好であると判定できる。
ステップS301において、白線候補点検出部200の検出状況が良好でないと判定した場合、光軸方向補正処理部440は、直線路判定時に車両センサを使用し、かつ、車両センサの中央値がオフセットしていないか否かの判定を行う(ステップS302)。
ステップS302において、直線路判定時に車両センサを使用しておらず、あるいは、車両センサの中央値がオフセットしていると判定した場合、光軸方向補正処理部440は、光軸方向の偏差の積分値を算出する回数(時間)についての閾値Nthを、基準として設定した値Nとする(ステップS303)。なお、基準値Nは、光軸方向の偏差の積分値を算出する回数(時間)として、最長の値である。
一方、ステップS302において、直線路判定時に車両センサを使用し、かつ、車両センサの中央値がオフセットしていないと判定した場合、光軸方向補正処理部440は、軸方向の偏差の積分値を算出する回数(時間)についての閾値Nthを、基準として設定した値Nの0.9倍(0.9N)とする(ステップS304)。
また、ステップS301において、白線候補点検出部200の検出状況が良好であると判定した場合、光軸方向補正処理部440は、直線路判定時に車両センサを使用し、かつ、車両センサの中央値がオフセットしていないか否かの判定を行う(ステップS305)。
ステップS305において、直線路判定時に車両センサを使用しておらず、あるいは、車両センサの中央値がオフセットしていると判定した場合、光軸方向補正処理部440は、光軸方向の偏差の積分値を算出する回数(時間)についての閾値Nthを、基準として設定した値Nの0.6倍(0.6N)とする(ステップS306)。
一方、ステップS305において、直線路判定時に車両センサを使用し、かつ、車両センサの中央値がオフセットしていないと判定した場合、光軸方向補正処理部440は、軸方向の偏差の積分値を算出する回数(時間)についての閾値Nthを、基準として設定した値Nの0.5倍(0.5N)とする(ステップS307)。なお、基準値Nの0.5倍は、光軸方向の偏差の積分値を算出する回数(時間)として、最短の値である。
以上の処理により、ヨーレートセンサ、もしくは加速度センサのように直線路判定を行うことができる車両センサが車両に搭載されている場合には、各車両センサがオフセットしていない信頼できる状況を確認した上で、これらの車両センサを直線路判定に用いる。
これにより、白線候補点検出部200の検出誤差による直線路判定の誤判定を回避することができ、より高精度な光軸補正を行うことができる。
また、算出する仮想消失点の信頼度が高いほど、光軸方向の偏差の積分値を算出する回数(時間)を短くする。
ステップS303、S304,S306,S307の後、光軸方向補正処理部440は、メインフローに戻る。
これにより、算出する仮想消失点の信頼度が比較的高い状況下では、より高い応答性をもって光軸方向の補正を行い、算出する仮想消失点の信頼度が比較的低い状況下では、白線候補点検出部200の検出誤差による直線路判定の誤判定を回避することができる。
(動作)
次に、動作を説明する。
自動車1は、イグニションオンと共に、レーン認識装置22によって自車両前方の道路の画像を撮影して、車線内走行支援処理を開始する。
また、カメラ100によって道路の画像を撮影している間、レーン認識装置22は、光軸補正処理を実行し、カメラ100の光軸を適正な状態に補正する。
即ち、レーン認識装置22は、カメラ100で撮影した道路の画像データから白線候補点Edを検出し、道路形状の近似直線Rfを算出する。
そして、レーン認識装置22は、(1)式から道路パラメータを推定して、走行路が直線路であるか否か、および、自車両が走行路と平行に走行しているか否かを判定する。
走行路が直線路であり、自車両が走行路と平行に走行している場合、レーン認識装置22は、仮想消失点を算出して、算出した仮想消失点が示す光軸方向と現在の光軸方向との偏差を積分する。
そして、仮想消失点の算出回数(カウント値)が設定した値以上であるときに、レーン認識装置22は、光軸方向の偏差の積分値、および、算出回数のカウント値をリセットし、過去の履歴から推定した光軸方向の値に光軸方向を補正する。
これにより、カメラ100の光軸を適正な状態とでき、レーン認識装置22におけるレーン認識の精度が向上する。また、そのため、より適切に車線内走行支援を行うことができる。
また、このとき、自動車1は、白線候補点検出部200の検出状況と、直線路判定時における車両センサの使用の有無とから、取得した仮想消失点の信頼度を算出し、この信頼度に応じて光軸方向の偏差の積分値を算出する回数(設定値Nth)を変更する。
これにより、白線候補点検出部200の検出誤差による直線路判定の誤判定を回避することができ、より高精度な光軸補正を行うことができる。
また、自動車1は、算出する仮想消失点の信頼度が高いほど、光軸方向の偏差の積分値を算出する回数(時間)を短くする。
これにより、算出する仮想消失点の信頼度が比較的高い状況下では、より高い応答性をもって光軸方向の補正を行い、算出する仮想消失点の信頼度が比較的低い状況下では、白線候補点検出部200の検出誤差による直線路判定の誤判定を回避することができる。
以上のように、本実施形態に係る自動車1は、レーン認識装置22によって、自車両前方における遠方領域および近傍領域それぞれの近似直線Rfの一致度合いを基に、走行路が直線路であるか否かを判定する。
そのため、より高精度に道路の曲がり具合を検出することができ、より正確に仮想消失点を算出することができる。
したがって、光軸補正を行う上で適切な状況において光軸補正を行うことができるため、車両用環境認識装置の光軸補正をより正確に行うことができる。
また、白線候補点検出部200の検出状況と、車両センサの検出結果から、算出する仮想消失点の信頼度を算出し、信頼度が高いほど、光軸方向の偏差の積分値を算出する回数(時間)を短くする。
したがって、白線候補点検出部200の検出誤差による直線路判定の誤判定を回避して、より高精度な光軸補正を行うことができる。
また、算出する仮想消失点の信頼度に応じて、より高い応答性をもって光軸方向の補正を行うことや、白線候補点検出部200の検出誤差による直線路判定の誤判定を回避することが可能となる。
なお、本実施形態において、車両状態パラメータ取得部21のヨーレートセンサ21bがヨーレート計測手段に対応し、横加速度センサ21aが横加速度計測手段に対応する。
(第2実施形態の効果)
(1)自車両の走行路が直線路であり、自車両が走行路と平行に走行していると判定しているときに、ヨーレートの値が設定した閾値を超えた場合には、前記光軸方向補正手段における光軸方向の補正を停止させる。
したがって、直線路であることをより確実に検出できるため、算出する仮想消失点の信頼度を高めることができ、光軸方向の補正をより高精度に行うことができる。
(2)自車両の走行路が直線路であり、自車両が走行路と平行に走行していると判定しているときに、横加速度の値が設定した閾値を超えた場合には、前記光軸方向補正手段における光軸方向の補正を停止させる。
したがって、直線路であることをより確実に検出できるため、算出する仮想消失点の信頼度を高めることができ、光軸方向の補正をより高精度に行うことができる。
(3)レーン認識手段の検出状況、および、車両センサを使用して算出したか否かを基に、仮想消失点の信頼度を判定する。そして、その判定結果に応じて、算出した仮想消失点から推定した光軸方向と、レーン認識手段が保持している光軸方向との偏差の積分結果が閾値以上であるか否かを判定するまでの積分回数を変化させる。
したがって、算出する仮想消失点の信頼度が比較的高い状況下では、より高い応答性をもって光軸方向の補正を行い、算出する仮想消失点の信頼度が比較的低い状況下では、白線候補点検出部200の検出誤差による直線路判定の誤判定を回避することができる。
なお、上記の直線性の判定処理の各例は、カメラ100が撮像した画像を近傍領域と遠方領域の2つの領域に区分(分割)した場合の適用例であるが、その撮像画像を3つ以上の領域に分割しても良く、この場合にも適用可能である。
また、その近傍領域の画像の上下方向の幅と、その遠方領域の画像の上下方向の幅とは等しくても良い。さらに.その近傍領域の画像とその遠方領域の画像とは、連続せずに離間していても良い。
1 自動車、1A 環境認識装置、1B 車体、2 ステアリングホイール、3 入力側ステアリング軸、4 ハンドル角度センサ、5 操舵トルクセンサ、6 操舵反力アクチュエータ、7 操舵反力アクチュエータ角度センサ、8 転舵アクチュエータ、9 転舵アクチュエータ角度センサ、10 出力側ステアリング軸、11 転舵トルクセンサ、12 ピニオンギア、13 ピニオン角度センサ、14 ラックギア、15 タイロッド、16 タイロッド軸力センサ、17FR,17FL,17RR,17RL 車輪、18
ブレーキディスク、19 ホイールシリンダ、20 圧力制御ユニット、21 車両状態パラメータ取得部、21a 横加速度センサ、21b ヨーレートセンサ、22 レーン認識装置、23 方向指示スイッチ、24FR,24FL,24RR,24RL 車輪速
センサ、25 車線内走行支援コントローラ、26 コントロール/駆動回路ユニット、27 メカニカルバックアップ、28 ブザー、100 カメラ、200 白線候補点検出部、300 レーン認識処理部、310 道路形状算出部、320 道路パラメータ推定部、400 光軸補正部、410 直線路判定部、420 平行走行判定部、430
仮想消失点算出部、440 光軸方向補正処理部、450 車両センサオフセット判定部

Claims (7)

  1. 自車両の走行路を撮像する撮像手段と、
    前記撮像手段が撮像した画像データを基に、自車両に対して遠方および近傍の複数領域で、走行路の道路形状の近似直線を算出する道路形状算出手段と、
    前記道路形状算出手段によって算出した前記複数領域における前記近似直線の一致度合いを基に、自車両の走行路が直線路であるか否かを判定する直線路判定手段と、
    前記撮像手段および前記道路形状算出手段の出力結果を基に、自車両が走行路と平行に走行しているか否かを判定する平行走行判定手段と、
    自車両の走行路が直線路であり、自車両が走行路と平行に走行しているときに、走行路における左右の前記近似直線の交点を仮想消失点として算出する仮想消失点算出手段と、
    前記仮想消失点算出手段の算出結果を基に、前記撮像手段の光軸方向を推定し、光軸方向の設定値を補正する光軸方向補正手段と、
    を備え、
    前記直線路判定手段は、自車両の走行路を、自車両を中心として左右の領域に区分して道路形状を表す前記近似直線を算出し、左右の領域の少なくとも一方において、前記複数領域における近似直線の一致度合いを判定し、自車両の走行路が直線路であることを判定することを特徴とする車両用環境認識装置。
  2. 自車両の走行路を撮像する撮像手段と、
    前記撮像手段が撮像した画像データを基に、自車両に対して遠方および近傍の複数領域で、走行路の道路形状の近似直線を算出する道路形状算出手段と、
    前記道路形状算出手段によって算出した前記複数領域における前記近似直線の一致度合いを基に、自車両の走行路が直線路であるか否かを判定する直線路判定手段と、
    前記撮像手段および前記道路形状算出手段の出力結果を基に、自車両が走行路と平行に走行しているか否かを判定する平行走行判定手段と、
    自車両の走行路が直線路であり、自車両が走行路と平行に走行しているときに、走行路における左右の前記近似直線の交点を仮想消失点として算出する仮想消失点算出手段と、
    前記仮想消失点算出手段の算出結果を基に、前記撮像手段の光軸方向を推定し、光軸方向の設定値を補正する光軸方向補正手段と、
    自車両のヨーレートを計測するヨーレート計測手段と、
    備え、
    前記直線路判定手段および前記平行走行判定手段が、自車両の走行路が直線路であり、自車両が走行路と平行に走行していると判定しているときに、ヨーレートの値が設定した閾値を超えた場合には、前記光軸方向補正手段における前記光軸方向の設定値の補正を停止させることを特徴とする車両用環境認識装置。
  3. 自車両の走行路を撮像する撮像手段と、
    前記撮像手段が撮像した画像データを基に、自車両に対して遠方および近傍の複数領域で、走行路の道路形状の近似直線を算出する道路形状算出手段と、
    前記道路形状算出手段によって算出した前記複数領域における前記近似直線の一致度合いを基に、自車両の走行路が直線路であるか否かを判定する直線路判定手段と、
    前記撮像手段および前記道路形状算出手段の出力結果を基に、自車両が走行路と平行に走行しているか否かを判定する平行走行判定手段と、
    自車両の走行路が直線路であり、自車両が走行路と平行に走行しているときに、走行路における左右の前記近似直線の交点を仮想消失点として算出する仮想消失点算出手段と、
    前記仮想消失点算出手段の算出結果を基に、前記撮像手段の光軸方向を推定し、光軸方向の設定値を補正する光軸方向補正手段と、
    車両の横加速度を計測する横加速度計測手段と、
    備え、
    前記直線路判定手段および前記平行走行判定手段が、自車両の走行路が直線路であり、自車両が走行路と平行に走行していると判定しているときに、横加速度の値が設定した閾値を超えた場合には、前記光軸方向補正手段における前記光軸方向の設定値の補正を停止させることを特徴とする車両用環境認識装置。
  4. 自車両の走行路を撮像する撮像手段と、
    前記撮像手段が撮像した画像データを基に、自車両に対して遠方および近傍の複数領域で、走行路の道路形状の近似直線を算出する道路形状算出手段と、
    前記道路形状算出手段によって算出した前記複数領域における前記近似直線の一致度合いを基に、自車両の走行路が直線路であるか否かを判定する直線路判定手段と、
    前記撮像手段および前記道路形状算出手段の出力結果を基に、自車両が走行路と平行に走行しているか否かを判定する平行走行判定手段と、
    自車両の走行路が直線路であり、自車両が走行路と平行に走行しているときに、走行路における左右の前記近似直線の交点を仮想消失点として算出する仮想消失点算出手段と、
    前記仮想消失点算出手段の算出結果を基に、前記撮像手段の光軸方向を推定し、光軸方向の設定値を補正する光軸方向補正手段と、
    を備え、
    前記光軸方向補正手段は、算出した仮想消失点から推定した光軸方向と、前記光軸方向の設定値との偏差を積分し、仮想消失点の算出回数が設定した回数に達したときに、前記積分結果の絶対値が設定した閾値以上である場合に前記光軸方向の設定値の補正を行うことを特徴とする車両用環境認識装置。
  5. 前記光軸方向補正手段は、算出した仮想消失点から推定した光軸方向と、前記光軸方向の設定値との偏差を積分する際に、該偏差の方向をヨー方向とピッチ方向に分け、各々の方向において積分値を算出し、ヨー方向とピッチ方向それぞれにおいて独立に前記光軸方向の設定値の補正を行うことを特徴とする請求項に記載の車両用環境認識装置。
  6. 前記光軸方向補正手段は、前記撮像手段の撮像状況、および、車両センサを使用して算出したか否かを基に、前記仮想消失点の信頼度を判定し、該判定結果に応じて、算出した仮想消失点から推定した光軸方向と、前記光軸方向の設定値との偏差の前記積分結果が前記閾値以上であるか否かを判定するまでの積分回数を変化させることを特徴とする請求項又はに記載の車両用環境認識装置。
  7. 自車両の走行路を撮像する撮像手段と、
    前記撮像手段が撮像した画像データを基に、自車両に対して遠方および近傍の複数領域で、自車両の走行路を、自車両を中心として左右の領域に区分して道路形状を表す近似直線を算出する道路形状算出手段と、
    前記道路形状算出手段によって算出した前記左右の領域の少なくとも一方において、前記複数領域における近似直線の一致度合いを判定し、自車両の走行路が直線路であることを判定する直線路判定手段と、
    を備えることを特徴とする車両用環境認識装置。
JP2010252816A 2010-03-26 2010-11-11 車両用環境認識装置 Active JP5747482B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2010252816A JP5747482B2 (ja) 2010-03-26 2010-11-11 車両用環境認識装置
US13/053,684 US9592834B2 (en) 2010-03-26 2011-03-22 Vehicle environment recognizing apparatus
EP11002471A EP2371648B1 (en) 2010-03-26 2011-03-24 Vehicle environment recognizing apparatus
CN2011100748057A CN102201056B (zh) 2010-03-26 2011-03-24 车辆用环境识别装置以及方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010072451 2010-03-26
JP2010072451 2010-03-26
JP2010252816A JP5747482B2 (ja) 2010-03-26 2010-11-11 車両用環境認識装置

Publications (2)

Publication Number Publication Date
JP2011221983A JP2011221983A (ja) 2011-11-04
JP5747482B2 true JP5747482B2 (ja) 2015-07-15

Family

ID=44170329

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010252816A Active JP5747482B2 (ja) 2010-03-26 2010-11-11 車両用環境認識装置

Country Status (4)

Country Link
US (1) US9592834B2 (ja)
EP (1) EP2371648B1 (ja)
JP (1) JP5747482B2 (ja)
CN (1) CN102201056B (ja)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9834153B2 (en) 2011-04-25 2017-12-05 Magna Electronics Inc. Method and system for dynamically calibrating vehicular cameras
JP5733395B2 (ja) * 2011-06-13 2015-06-10 日産自動車株式会社 車載用画像認識装置、撮像軸調整装置およびレーン認識方法
JP5800194B2 (ja) * 2011-11-08 2015-10-28 株式会社ジェイテクト 車両用操舵装置及び荷役車両
JP5855756B2 (ja) * 2012-08-30 2016-02-09 本田技研工業株式会社 レーンマーク認識装置
JP6015276B2 (ja) * 2012-09-19 2016-10-26 日産自動車株式会社 カメラ取り付け誤差補正装置及びカメラ取り付け誤差補正方法
JP6270102B2 (ja) * 2012-10-10 2018-01-31 株式会社リコー 移動面境界線認識装置、これを用いた移動体機器制御システム、移動面境界線認識方法及び移動面境界線認識用プログラム
KR101976392B1 (ko) * 2012-11-28 2019-05-09 현대모비스 주식회사 차선 인식 시스템
JP5754470B2 (ja) * 2012-12-20 2015-07-29 株式会社デンソー 路面形状推定装置
JP5739465B2 (ja) * 2013-02-14 2015-06-24 本田技研工業株式会社 車両の操舵制御装置
US9123113B2 (en) * 2013-03-08 2015-09-01 Raven Industries, Inc. Row guidance parameterization with Hough transform
JP6295524B2 (ja) * 2013-07-02 2018-03-20 日産自動車株式会社 光軸補正装置
JP6260891B2 (ja) * 2013-08-08 2018-01-17 パナソニックIpマネジメント株式会社 画像処理装置および画像処理方法
KR20150059489A (ko) * 2013-11-22 2015-06-01 현대자동차주식회사 협로 검출 방법과 협로 검출 장치 및 협로 검출 시스템
JP6260233B2 (ja) * 2013-12-02 2018-01-17 富士通株式会社 情報処理装置、カメラ取付角度の推定方法、及びプログラム
JP6130809B2 (ja) * 2014-04-25 2017-05-17 本田技研工業株式会社 車線認識装置
JP6443063B2 (ja) * 2015-01-15 2018-12-26 株式会社デンソー 道路形状情報生成装置、道路形状情報集配システム及び道路形状情報生成プログラム
JP6363518B2 (ja) * 2015-01-21 2018-07-25 株式会社デンソー 区画線認識装置
JP6567659B2 (ja) * 2015-05-07 2019-08-28 株式会社日立製作所 レーン検出装置およびレーン検出方法
TWI588444B (zh) * 2015-10-08 2017-06-21 國立勤益科技大學 路面檢測方法、路面檢測裝置與路面檢測系統
US10694175B2 (en) * 2015-12-28 2020-06-23 Intel Corporation Real-time automatic vehicle camera calibration
US20170190355A1 (en) * 2016-01-04 2017-07-06 GM Global Technology Operations LLC Wheel alignment monitoring
DE112016006811T5 (de) * 2016-04-28 2019-02-14 Honda Motor Co., Ltd. Fahrzeugsteuersystem, fahrzeugsteuerverfahren und fahrzeugsteuerprogramm
US10650526B2 (en) * 2016-06-28 2020-05-12 Canon Kabushiki Kaisha Image processing apparatus, image capturing apparatus, image processing method, and storage medium
JP6830212B2 (ja) * 2016-09-13 2021-02-17 パナソニックIpマネジメント株式会社 路面状態予測システム、運転支援システム、路面状態予測方法及びデータ配信方法
JP6609237B2 (ja) * 2016-11-17 2019-11-20 株式会社デンソー 衝突判定装置、及び衝突判定方法
CN110114634B (zh) * 2016-12-28 2023-06-06 本田技研工业株式会社 外界识别系统
CN110140158A (zh) * 2017-01-10 2019-08-16 三菱电机株式会社 行驶路径识别装置及行驶路径识别方法
DE102017214070A1 (de) * 2017-08-11 2019-02-14 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ermitteln eines Reibwertes einer Fahrbahn
JP6611275B2 (ja) * 2017-11-17 2019-11-27 株式会社Subaru 車両の車線逸脱防止制御装置
JP6637946B2 (ja) * 2017-11-17 2020-01-29 株式会社Subaru 車両の車線逸脱防止制御装置
JP6637953B2 (ja) * 2017-12-28 2020-01-29 株式会社Subaru 車両の車線逸脱防止制御装置
JP6637952B2 (ja) * 2017-12-28 2020-01-29 株式会社Subaru 車両の車線逸脱防止制御装置
JP6638012B2 (ja) * 2018-03-16 2020-01-29 株式会社Subaru 車両の車線逸脱防止制御装置
US10689033B2 (en) * 2018-03-27 2020-06-23 Subaru Corporation Vehicle driving assist apparatus
JP7069943B2 (ja) * 2018-03-28 2022-05-18 株式会社アイシン 方位検出システム、方位検出方法、及び方位検出プログラム
DE102018222601A1 (de) * 2018-12-20 2020-06-25 Volkswagen Aktiengesellschaft Verfahren und Fahrerassistenzsystem zum Unterstützen eines Fahrers eines Fahrzeugs beim Führen des Fahrzeugs
DE112020003177T5 (de) * 2019-07-03 2022-03-31 Denso Corporation Kartendatenerzeugungsvorrichtung
CN114127826B (zh) * 2019-07-18 2023-10-31 三菱电机株式会社 车道形状识别系统以及车道形状识别方法
CN112304293B (zh) * 2019-08-02 2022-09-13 北京地平线机器人技术研发有限公司 道路高度检测方法、装置、可读存储介质和电子设备
CN112639814B (zh) * 2020-05-29 2022-02-11 华为技术有限公司 一种路况检测方法和装置
US20210405641A1 (en) * 2020-06-29 2021-12-30 Lyft, Inc. Detecting positioning of a sensor system associated with a vehicle
CN114291087A (zh) * 2021-12-20 2022-04-08 一汽奔腾轿车有限公司 一种车载智能巡航系统弯道自适应路径规划控制方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2535927B2 (ja) * 1987-07-09 1996-09-18 アイシン精機株式会社 車上距離検出装置
US5359666A (en) * 1988-09-28 1994-10-25 Honda Giken Kogyo Kabushiki Kaisha Driving way judging device and method
JPH0624035B2 (ja) * 1988-09-28 1994-03-30 本田技研工業株式会社 走行路判別装置
JP3293441B2 (ja) * 1996-01-09 2002-06-17 トヨタ自動車株式会社 撮像装置
JP3357290B2 (ja) * 1998-05-22 2002-12-16 三菱電機株式会社 車両用位置検出装置
JP3807651B2 (ja) * 1999-02-24 2006-08-09 三菱電機株式会社 白線認識装置
JP2002259995A (ja) * 2001-03-06 2002-09-13 Nissan Motor Co Ltd 位置検出装置
JP2004247979A (ja) 2003-02-14 2004-09-02 Hitachi Ltd 車載用カメラ装置
US7200478B2 (en) * 2003-10-31 2007-04-03 Nissan Motor Co., Ltd. Lane departure prevention apparatus
JP3931891B2 (ja) * 2004-07-05 2007-06-20 日産自動車株式会社 車載用画像処理装置
DE102005001429A1 (de) 2005-01-12 2006-07-20 Robert Bosch Gmbh Verfahren für die Bildlagekorrektur eines Monitorbilds
DE102005024558A1 (de) * 2005-05-28 2006-11-30 Daimlerchrysler Ag Verfahren zur Bestimmung der Geometrie eines Streckenabschnittes
US8428821B2 (en) * 2007-08-15 2013-04-23 Volvo Technology Corporation Operating method and system for supporting lane keeping of a vehicle
JP2010072451A (ja) 2008-09-19 2010-04-02 Sharp Corp 光学素子、撮像装置、電子機器、および光学素子の製造方法
JP2010252816A (ja) 2010-08-23 2010-11-11 Gumlink As 圧縮チューインガムタブレット
JP5733395B2 (ja) * 2011-06-13 2015-06-10 日産自動車株式会社 車載用画像認識装置、撮像軸調整装置およびレーン認識方法
JP6254084B2 (ja) * 2012-07-27 2017-12-27 クラリオン株式会社 画像処理装置
JP6270102B2 (ja) * 2012-10-10 2018-01-31 株式会社リコー 移動面境界線認識装置、これを用いた移動体機器制御システム、移動面境界線認識方法及び移動面境界線認識用プログラム
JP5754470B2 (ja) * 2012-12-20 2015-07-29 株式会社デンソー 路面形状推定装置

Also Published As

Publication number Publication date
US9592834B2 (en) 2017-03-14
EP2371648B1 (en) 2012-07-25
EP2371648A1 (en) 2011-10-05
JP2011221983A (ja) 2011-11-04
US20110238252A1 (en) 2011-09-29
CN102201056B (zh) 2013-01-16
CN102201056A (zh) 2011-09-28

Similar Documents

Publication Publication Date Title
JP5747482B2 (ja) 車両用環境認識装置
KR102098140B1 (ko) 자동차의 블라인드 스팟 모니터링 방법 및 이를 이용한 블라인드 스팟 모니터
US11315348B2 (en) Vehicular vision system with object detection
EP2103500B1 (en) Vehicle and steering control device for vehicle
EP2093129B1 (en) Parking assist apparatus and method
US8384561B2 (en) Parking assist device
JP5389002B2 (ja) 走行環境認識装置
JP5962771B2 (ja) 移動物体位置姿勢角推定装置及び移動物体位置姿勢角推定方法
EP2682897B1 (en) Lane departure warning system
US10000210B2 (en) Lane recognition apparatus
WO2013018537A1 (ja) 走行支援装置および走行支援方法
WO2015125590A1 (ja) 外界認識システム、車両、及びカメラの汚れ検出方法
JP3600378B2 (ja) 車両の外界認識装置
CN112537295A (zh) 驾驶辅助装置
WO2014034187A1 (ja) レーンマーク認識装置
US20200090347A1 (en) Apparatus for estimating movement information
JP3925285B2 (ja) 走行路環境検出装置
KR100766596B1 (ko) 차량의 차선유지 조향제어방법
JP2006151123A (ja) 車両の走行支援装置
JP4606861B2 (ja) 車両状態検知装置
JP7541497B2 (ja) 車両制御装置、情報処理装置、それらの動作方法及びプログラム
JP2020115302A (ja) 車両の運転支援装置
EP2293223B1 (en) Vision system and method for a motor vehicle
JP5152592B2 (ja) 物体下端位置検出装置及び物体下端位置検出プログラム
KR20190012967A (ko) 긴급 제동 시스템의 제어 장치 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130925

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140611

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140617

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140808

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20141028

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150127

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20150204

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150414

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150427

R151 Written notification of patent or utility model registration

Ref document number: 5747482

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151