[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP4281543B2 - 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両 - Google Patents

車両用運転操作補助装置および車両用運転操作補助装置を備えた車両 Download PDF

Info

Publication number
JP4281543B2
JP4281543B2 JP2003417746A JP2003417746A JP4281543B2 JP 4281543 B2 JP4281543 B2 JP 4281543B2 JP 2003417746 A JP2003417746 A JP 2003417746A JP 2003417746 A JP2003417746 A JP 2003417746A JP 4281543 B2 JP4281543 B2 JP 4281543B2
Authority
JP
Japan
Prior art keywords
driving
vehicle
intention
driving intention
driver
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003417746A
Other languages
English (en)
Other versions
JP2005180196A (ja
Inventor
智弘 山村
伸友 久家
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2003417746A priority Critical patent/JP4281543B2/ja
Priority to EP04029606.3A priority patent/EP1544070B1/en
Priority to US11/012,158 priority patent/US7349767B2/en
Priority to US11/012,165 priority patent/US7440823B2/en
Publication of JP2005180196A publication Critical patent/JP2005180196A/ja
Application granted granted Critical
Publication of JP4281543B2 publication Critical patent/JP4281543B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60TVEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T7/00Brake-action initiating means
    • B60T7/12Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/04Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09Driving style or behaviour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60TVEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2201/00Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
    • B60T2201/08Lane monitoring; Lane Keeping Systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60TVEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2201/00Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
    • B60T2201/08Lane monitoring; Lane Keeping Systems
    • B60T2201/086Lane monitoring; Lane Keeping Systems using driver related features
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60TVEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2260/00Interaction of vehicle brake system with other systems
    • B60T2260/09Complex systems; Conjoint control of two or more vehicle active control systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Social Psychology (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
  • Regulating Braking Force (AREA)
  • Control Of Throttle Valves Provided In The Intake System Or In The Exhaust System (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、走行中の運転者の運転行動意図を推定し、推定した運転行動意図に応じて運転者の操作を補助する車両用運転操作補助装置に関する。
運転行動意図を推定する従来の装置としては、運転者の視線行動を用いて運転意図を推定するものがある(例えば特許文献1参照)。この装置は、運転者の視線方向を前方投影平面に投影し、投影平面上の分割された複数の領域における視線方向頻度分布を用いて運転者の運転意図を推定する。
本願発明に関連する先行技術文献としては次のものがある。
特開2002−331850号公報
上述した従来の装置は、運転者の視線方向や視線の注視頻度等を用いて運転者の運転行動意図を推定することができる。ただし、運転者の視線行動は車両走行環境の差異に影響され、さらに運転者の個人差も大きく意図推定の精度が変動してしまうという問題があるため、常に高い精度で運転意図を推定し、車両制御することが望まれている。
本発明による車両用運転操作補助装置は、自車両周囲の障害物状況を検出する障害物検出手段と、障害物検出手段による検出結果に基づいて、自車両周囲のリスクポテンシャルを算出するリスクポテンシャル算出手段と、リスクポテンシャル算出手段によって算出されるリスクポテンシャルに基づいて、車両操作機器を操作する際に発生する操作反力を制御する操作反力制御手段と、自車両の車両状態および車両周囲状態を検出する車両状態検出手段と、ドライバによる運転操作量を検出する運転操作量検出手段と、車両状態検出手段および運転操作量検出手段による検出結果に基づいて前記ドライバの運転意図を推定する運転意図推定手段と、運転意図推定手段による運転意図の推定結果の確信度を算出する確信度算出手段と、確信度算出手段によって算出される確信度に基づいて、操作反力制御手段によって制御する操作反力を変更する操作反力変更手段とを備え、運転意図推定手段は、(a)運転意図を与えられた複数の異なる仮想のドライバについて、車両状態検出手段によって検出される自車両の車両周囲状態に基づいて、各仮想ドライバが運転意図を遂行するために必要な運転操作量を計算する仮想ドライバ運転操作量計算手段と、(b)現時点を含む過去の所定時間区間の各時間フレームにおいて複数の仮想ドライバの運転意図をそれぞれ決定し、所定時間区間における複数の仮想ドライバの運転意図系列を動的に生成する運転意図系列生成手段と、(c)所定時間区間における複数の仮想ドライバの運転操作量と実際のドライバの運転操作量との系列的な近似度合(以降、運転操作量系列近似度合とする)を、運転意図系列生成手段によって生成された運転意図系列毎に計算する運転操作量系列近似度合計算手段とを有し、運転操作量系列近似度合計算手段によって計算された複数の運転操作量系列近似度合を比較することによって、実際のドライバの運転意図を推定し、確信度算出手段は、複数の運転操作量系列近似度合に基づいて運転意図の推定結果の確信度を算出する
また、本発明による車両用運転操作補助装置は、自車両周囲の障害物状況を検出する障害物検出手段と、障害物検出手段による検出結果に基づいて、自車両周囲のリスクポテンシャルを算出するリスクポテンシャル算出手段と、リスクポテンシャル算出手段によって算出されるリスクポテンシャルに基づいて、自車両に発生させる減速度を制御する減速度制御手段と、自車両の車両状態および車両周囲状態を検出する車両状態検出手段と、ドライバによる運転操作量を検出する運転操作量検出手段と、車両状態検出手段および運転操作量検出手段による検出結果に基づいてドライバの運転意図を推定する運転意図推定手段と、運転意図推定手段による運転意図の推定結果の確信度を算出する確信度算出手段と、確信度算出手段によって算出される確信度に基づいて、減速度制御手段によって制御する減速度を変更する減速度変更手段とを備え、運転意図推定手段は、(a)運転意図を与えられた複数の異なる仮想のドライバについて、車両状態検出手段によって検出される自車両の車両周囲状態に基づいて、各仮想ドライバが運転意図を遂行するために必要な運転操作量を計算する仮想ドライバ運転操作量計算手段と、(b)現時点を含む過去の所定時間区間の各時間フレームにおいて複数の仮想ドライバの運転意図をそれぞれ決定し、所定時間区間における複数の仮想ドライバの運転意図系列を動的に生成する運転意図系列生成手段と、(c)所定時間区間における複数の仮想ドライバの運転操作量と実際のドライバの運転操作量との系列的な近似度合(以降、運転操作量系列近似度合とする)を、運転意図系列生成手段によって生成された運転意図系列毎に計算する運転操作量系列近似度合計算手段とを有し、運転操作量系列近似度合計算手段によって計算された複数の運転操作量系列近似度合を比較することによって、実際のドライバの運転意図を推定し、確信度算出手段は、複数の運転操作量系列近似度合に基づいて運転意図の推定結果の確信度を算出する
推定された運転意図の確信度に基づいて車両操作機器に発生する操作反力を変更するので、自車両周囲のリスクポテンシャルを操作反力としてドライバに知らせながら、ドライバの運転意図を反映した操作反力制御を行うことができる。
推定された運転意図の確信度に基づいて自車両に発生させる減速度を変更するので、ドライバの運転意図を反映しながら減速度を発生させ、ドライバの注意を喚起することができる。
《第1の実施の形態》
本発明の第1の実施の形態による運転意図推定装置および車両用運転操作補助装置について、図面を用いて説明する。図1(a)は、本発明の第1の実施の形態による運転意図推定装置1の構成を示すシステム図、(b)は本発明の第1の実施の形態による車両用運転操作補助装置100の構成を示すシステム図である。まず、第1の実施の形態による運転意図推定装置1の構成を説明する。
運転意図推定装置1は、自車両周囲の状態を検出する車両周囲状態検出部10と、車両状態を検出する車両状態検出部20と、ドライバの操作による運転操作量を検出する運転操作量検出部30と、仮想ドライバ運転意図系列動的決定部40と、仮想ドライバ操作量計算部50と、仮想ドライバ運転操作量近似度合計算部60と、運転意図推定部70と、確信度推定部80とを備えている。
運転意図推定装置1は、運転意図を有する仮想のドライバを複数設定し、実際のドライバの運転操作と仮想ドライバの運転操作とを比較する。そして、実際のドライバの運転操作と仮想ドライバの運転操作がどれだけ近似しているかに基づいて、例えば車線維持や車線変更といった実際のドライバの運転意図を推定する。運転意図を推定するために、現在から過去の直近の所定時間における仮想ドライバの運転意図系列を動的に決定する。そして、動的に決定した運転意図系列を用いて運転操作の系列的な近似度合を算出し、実際のドライバの運転意図を推定する。さらに、推定した実際のドライバの運転意図について、その運転意図がどれほど確実かを表す確信度を推定する。
車両周囲状態検出部10は、例えば自車両の前方道路状況を画像として取得する前方カメラおよびヨー角センサ等を備え、自車両の車線内横方向位置、および車線に対する自車両のヨー角等を検出する。なお、車両周囲状態検出部10は、前方カメラで取得した画像信号を画像処理する画像処理装置も備えている。
車両状態検出部20は、例えば自車速を検出する車速センサを備えている。運転操作量検出部30は、例えば操舵系に組み込まれた操舵角センサを備え、自車両の操舵角を検出する。
仮想ドライバ運転意図系列動的決定部40,仮想ドライバ操作量計算部50、仮想ドライバ運転操作量近似度合計算部60、運転意図推定部70および確信度推定部80は、例えばそれぞれマイクロコンピュータから構成される。またはCPUと、ROMおよびRAM等のCPU周辺部品とから構成されるコントローラにおいて、CPUのソフトウェア形態によりそれぞれを構成することもできる。
仮想ドライバ運転意図系列動的決定部40は、現在から過去の直近の所定時間において、複数の仮想ドライバの運転意図系列を動的に決定する。ここで、仮想ドライバの運転意図系列を動的に決定するとは、時間によって仮想ドライバの運転意図、さらには仮想ドライバすなわち運転意図系列の数が変化することを表している。従って、例えば現在の運転意図が右車線変更であっても、過去の運転意図は車線維持である仮想ドライバが設定される可能性もある。
仮想ドライバ運転操作量計算部50は、それぞれ異なる運転意図を与えられた複数の仮想ドライバが、それぞれの運転意図を遂行するために必要な運転操作量を計算する。仮想ドライバ運転操作量近似度合計算部60は、仮想ドライバ運転操作量計算部50で算出した仮想ドライバの運転操作量と、運転操作量検出部30で検出された実際のドライバの運転操作量との近似度合を、仮想ドライバ運転意図系列動的決定部40で決定した運転意図系列毎に算出する。
運転意図推定部70は、複数の仮想ドライバと実際のドライバについて算出された運転操作量に関する運転意図系列毎の近似度合を比較することにより、実際のドライバの運転意図を推定する。確信度推定部80は、推定した実際のドライバの運転意図の確信度を推定する。
つぎに、車両用運転操作補助装置100の構成を説明する。
レーザレーダ110は、車両の前方グリル部もしくはバンパ部等に取り付けられ、水平方向に赤外光パルスを照射して自車両の前方領域を走査する。レーザレーダ110は、前方にある複数の反射物(通常、先行車の後端)で反射された赤外光パルスの反射波を計測し、反射波の到達時間より、先行車までの車間距離と相対速度を検出する。検出した車間距離及び相対速度はコントローラ150へ出力される。レーザレーダ110によりスキャンされる前方の領域は、自車正面に対して±6deg 程度であり、この範囲内に存在する前方物体が検出される。
前方カメラ120は、フロントウィンドウ上部に取り付けられた小型のCCDカメラ、またはCMOSカメラ等であり、前方道路の状況を画像として検出する。前方カメラ120からの画像信号は画像処理装置130で画像処理を施され、コントローラ150へと出力される。前方カメラ120による検知領域は車両の前後方向中心線に対して水平方向に±30deg程度であり、この領域に含まれる前方道路風景が画像として取り込まれる。
車速センサ140は、車輪の回転数や変速機の出力側の回転数を計測することにより自車両の車速を検出し、検出した自車速をコントローラ150に出力する。
さらに、上述した運転意図推定装置1によって推定された実際のドライバの運転意図λrdおよび確信度Scがコントローラ150へ入力される。
コントローラ150は、CPUと、ROMおよびRAM等のCPU周辺部品とから構成される。コントローラ150は、例えばCPUのソフトウェア形態により、リスクポテンシャル計算部151,アクセルペダル反力指令値計算部152,およびアクセルペダル反力指令値補正部153を構成する。
リスクポテンシャル計算部151は、レーザレーダ110および車速センサ140から入力される自車速、車間距離および先行車両との相対車速と、画像処理装置130から入力される車両周辺の画像情報とから、自車両周囲のリスクポテンシャルRPを算出する。アクセルペダル反力指令値計算部152は、リスクポテンシャル計算部151で算出されたリスクポテンシャルRPに基づいて、アクセルペダル160に発生させるアクセルペダル反力の指令値FAを算出する。
アクセルペダル反力指令値補正部153は、運転意図推定装置1から入力される運転意図推定結果および確信度Scに基づいて、アクセルペダル反力指令値計算部152で算出されたアクセルペダル反力指令値FAを補正する。アクセルペダル反力指令値補正部153で補正されたアクセルペダル反力指令値FAcは、アクセルペダル反力制御装置170へ出力される。
アクセルペダル反力制御装置170は、コントローラ150からの指令値に応じてアクセルペダル操作反力を制御する。アクセルペダル160には、リンク機構を介してサーボモータ180およびアクセルペダルストロークセンサ181が接続されている(図12参照)。サーボモータ180は、アクセルペダル反力制御装置170からの指令に応じてトルクと回転角とを制御し、運転者がアクセルペダル160を操作する際に発生する操作反力を任意に制御する。アクセルペダルストロークセンサ181は、リンク機構を介してサーボモータ180の回転角に変換されたアクセルペダル160のストローク量Sを検出する。
なお、アクセルペダル反力制御を行わない場合の通常のアクセルペダル反力特性は、例えば、ストローク量Sが大きくなるほどアクセルペダル反力がリニアに大きくなるよう設定されている。通常のアクセルペダル反力特性は、例えばアクセルペダル160の回転中心に設けられたねじりバネ(不図示)のバネ力によって実現することができる。
以下に、第1の実施の形態による運転意図推定装置1の動作を、図2〜図6を用いて詳細に説明する。図2は、運転意図推定装置1における運転意図推定処理プログラムの処理手順を示すフローチャートである。図3は、仮想ドライバの運転操作量の算出方法を説明する図、図4および図5(a)(b)は、仮想ドライバの動的運転意図系列の設定方法を説明する図、図6は、運転操作量の系列近似度合の算出方法を説明する図である。図2に示す処理の処理内容は、一定間隔(例えば50msec)毎に連続的に行われる。
ステップS101では、車両周囲状態検出部10によって検出される現在の自車両の車線内横位置yと自車両のヨー角ψを読み込む。図3に示すように、車線内横位置yは、自車線の車線中央線から自車両中心点Oまでの左右方向距離であり、ヨー角ψは、自車線の直進方向に対する自車両の回転角である。
ステップS102では、複数の仮想ドライバの運転操作量Oidを算出する。ここでは、車線維持(LK)、右車線変更(LCR)、および左車線変更(LCL)の運転意図を持つ3人の仮想ドライバを設定する。そして、それぞれの仮想ドライバがその運転意図を遂行するために必要な運転操作量Oidを算出する。ここでは、仮想ドライバが行う操舵操作の操舵角θidを、運転操作量Oidとして算出する。以下に、仮想ドライバの運転操作量Oidの算出方法を説明する。
(1)仮想ドライバの運転意図が車線維持の場合
仮想ドライバの操舵角θidを算出するために、まず仮想ドライバの運転意図が車線維持である場合の前方参照点LK(i)を設定し、前方参照点LK(i)の横位置p_lkを算出する。前方参照点LK(i)の個数は任意であるが、ここでは自車両の前後方向中心線上に2つの前方参照点LK1,LK2を設定した場合を例として説明する。図3に示すように、自車両中心点Oから前方参照点LK1,LK2までの距離px(i)は、例えばpx(1)=10m、px(2)=30mに設定する(px={10m、30m})。距離px(i)は、例えば自車速に応じて設定することもできる。
現在自車両が走行する車線の中央線から前方参照点LK(i)までの左右方向距離lat_pos(px(i))は、自車両のヨー角ψと前方地点LK(i)までの距離px(i)に依存し、例えば前方カメラからの画像信号に基づいて算出することができる。車線維持の場合の前方参照点LK(i)の横位置p_lk(px(i))は、以下の(式1)で表すことができる。
p_lk(px(i))=lat_pos(px(i)) i={1,...,n}・・・(式1)
ここで、n=2である。
前方参照点LK(i)の横位置p_lk(px(i))を用いて、車線維持の場合の仮想ドライバの操舵角θid_lkを以下の(式2)から算出することができる。
θid_lk=Σ{a(i)×p_lk(px(i))} ・・・(式2)
ここで、a(i)は前方参照点LK(i)における横位置p_lk(px(i))に重み付けをする重み付け係数であり、予め適切な値を設定しておく。
(2)仮想ドライバの運転意図が右車線変更の場合
仮想ドライバの操舵角θidを算出するために、仮想ドライバの運転意図が右車線変更である場合の前方参照点LCR(i)を設定する。図3には、自車両の前方に2つの前方参照点LCR1,LCR2を設定した場合を例として示している。
右車線変更の場合の前方参照点LCR(i)の横位置p_lcr(px(i))は、以下の(式3)で表すように、車線維持の場合の前方参照点LK(i)の左右方向距離lat_pos(px(i))にオフセット量lc_offset_lcrを加算して算出することができる。
p_lcr(px(i))=lat_pos(px(i))+lc_offset_lcr i={1,...,n}・・・(式3)
ここで、n=2である。オフセット量lc_offset_lcrは、右車線変更の場合の前方参照点LCR(i)の横位置p_lcr(px(i))を設定するために予め適切な値、例えばlc_offset_lcr=−1.75に設定する。
前方参照点LCR(i)の車線内横位置p_lcr(px(i))を用いて、右車線変更の場合の操舵角θid_lcrを以下の(式4)から算出することができる。
θid_lcr=Σ{a(i)×p_lcr(px(i))} ・・・(式4)
ここで、a(i)は前方参照点LCR(i)における車線内横位置p_lcr(px(i))に重み付けをする重み付け係数であり、予め適切な値を設定しておく。
(3)仮想ドライバの運転意図が左車線変更の場合
仮想ドライバの操舵角θidを算出するために、仮想ドライバの運転意図が左車線変更である場合の前方参照点LCL(i)を設定する。図3には、自車両の前方に2つの前方参照点LCL1,LCL2を設定した場合を例として示している。
左車線変更の場合の前方参照点LCL(i)の横位置p_lcl(px(i))は、以下の(式5)で表すように、車線維持の場合の前方参照点LK(i)の左右方向距離lat_pos(px(i))にオフセット量lc_offset_lclを加算して算出することができる。
p_lcl(px(i))=lat_pos(px(i))+lc_offset_lcl i={1,...,n}・・・(式5)
ここで、n=2である。オフセット量lc_offset_lclは、左車線変更の場合の前方参照点LCL(i)の横位置p_lcl(px(i))を設定するために予め適切な値、例えばlc_offset_lcl=1.75に設定する。
前方参照点LCL(i)の車線内横位置p_lcl(px(i))を用いて、左車線変更の場合の仮想ドライバの操舵角θid_lclを以下の(式6)から算出することができる。
θid_lcl=Σ{a(i)×p_lcl(px(i))} ・・・(式6)
ここで、a(i)は前方参照点LCL(i)における車線内横位置p_lcl(px(i))に重み付けをする重み付け係数であり、予め適切な値を設定しておく。
このようにステップS102で仮想ドライバの運転操作量Oidを算出した後、ステップS103へ進む。ステップS103では、運転操作量検出部30によって検出される現在の操舵角θrdを、実際のドライバの運転操作量Ordとして読み込む。
ステップS104では、仮想ドライバの動的運転意図系列を生成する。ここでは、図4に示すように、現時点tから過去の時点(t−m+1)までのm個の時間フレームにおいて可能性のある運転意図を組み合わせて仮想ドライバの運転意図系列を生成する。例えば、運転意図系列L1は、過去の時点(t−m+1)から(t−1)の時点までは車線維持LKの運転意図を有していたが、現時点tで運転意図が右車線変更LCRに変化した仮想ドライバを表している。運転意図系列L2は、1フレーム前の時点(t−1)で運転意図が車線維持LKから右車線変更LCRに変化した仮想ドライバを表し、運転意図系列L3は、過去の時点(t−m+3)で運転意図が車線維持LKから右車線変更LCRに変化した仮想ドライバを表している。
以下に、仮想ドライバの動的運転意図系列の設定方法について説明する。過去の時点(t−m+1)から時間(t−1)までの運転意図系列は、時間(t−1)で設定した運転意図系列を継続して使用する。現時点tにおける仮想ドライバの運転意図は、1フレーム前の時間(t−1)における仮想ドライバの運転意図および運転意図系列の生成則に基づいて動的に決定する。
図5(a)に示すように、時間(t−1)における仮想ドライバの運転意図が車線維持LKの場合、時間tにおいて可能性のある仮想ドライバの運転意図は、車線維持LK、右車線変更LCRおよび左車線変更LCLである。従って、時間(t−1)までは一つであった運転意図系列が、時間tにおいて3つに増加する。このとき、3つの運転意図系列は分岐元の時間(t−m+1)から時間(t−1)までの運転意図系列をそれぞれ継承する。
一方、時間(t−1)における仮想ドライバの運転意図が車線変更の場合、時間tにおいて可能性のある仮想ドライバの運転意図は同一方向の車線変更のみである。図5(b)に示すように、時間(t−1)における仮想ドライバの運転意図が右車線変更LCRの場合、時間tにおいて可能性のある仮想ドライバの運転意図は右車線変更LCRのみである。具体的には、時間tにおいて自車両が右車線変更を継続していると判定される場合は運転意図を右車線変更LCRとし、その運転意図系列を存続させる。一方、例えば右隣接車線への車線変更を完了し、時間tでは車線変更を実行していない場合は、その運転意図系列自体を消滅させる。
車線変更継続判定方法としては、例えば自車両の横位置および走行車線検出結果を用いて、時間(t−1)の運転意図が右車線変更LCRの場合、時間tにおいて自車両がまだ同じ車線内を走行しているときは車線変更継続中であると判断する。一方、時間tにおいて時間(t−1)とは異なる車線を走行している場合は、車線変更の実行中ではないと判断する。時間(t−1)の運転意図が左車線変更LCLの場合も、同様にして時間tの運転意図を設定する。
このように、ステップS104では、時間(t−1)の仮想ドライバの運転意図および現時点tでの自車両の車両周囲状態に基づいて運転意図系列を新たに形成または消滅して、現時点tから過去の時点(t−m+1)の間の複数の運転意図系列を生成する。
なお、運転意図系列を生成する際のm個の時間フレームは、常に現在までの直近のm個の時間フレームであり、次周期(t+1)において運転意図系列を生成する時は、時間(t+1)から過去の時間(t−m+2)までのm個の時間フレームを用いる。
ステップS105では、ステップS102で算出した各運転意図における仮想ドライバの運転操作量Oidと、ステップS103で検出した実際のドライバの運転操作量Ordとを用いて、仮想ドライバの運転操作量近似度合Pidを算出する。ここでは、運転意図が車線維持の場合、右車線変更の場合、および左車線変更の場合の近似度合Pid_lk, Pid_lcr, Pid_lclをまとめてPidで表す。同様に、運転意図が車線維持の場合、右車線変更の場合、および左車線変更の場合の仮想ドライバの操舵角θid_lk, θid_lcr, θid_lclをまとめてθidで表す。
仮想ドライバ運転操作量近似度合Pidは、実際のドライバの操舵角θrdを平均値、所定値ρrdを標準偏差とする正規分布に対して、仮想ドライバの操舵角θidの正規化(規準化)値の対数確率として、以下の(式7)から算出することができる。
Pid=log{Probn((θid−θrd)/ρrd)} ・・・(式7)
ここで、Probnは、与えられた標本が、正規分布で表される母集団から観測される確率を計算するための確率密度変換関数である。
このように、ステップS105では、(式7)を用いて車線維持の場合の近似度合Pid_lk、右車線変更の場合の近似度合Pid_lcr、および左車線変更の場合の近似度合Pid_lclをそれぞれ算出する。その後、ステップS106へ進む。
つづくステップS106では、ステップS104で生成した複数の仮想ドライバの動的運転意図系列について、それぞれ仮想ドライバ運転操作量系列近似度合Pidsを算出する。ここでは、図6に示すように、各動的運転意図系列jに属する過去の時点(t−m+1)から現時点tまでのm個の運転操作量近似度合Pid(j)(t-m+1)〜Pid(j)(t)を用いて、動的運転意図系列jの系列的な近似度合P(j)idsを算出する。なお、過去の運転操作量近似度合Pidは不図示のメモリに記憶されているとする。動的仮想ドライバ運転操作量系列近似度合P(j)idsは、以下の(式8)から算出することができる。
Figure 0004281543
ここで、Πは、動的運転意図系列jにおける現時点tでの仮想ドライバ運転操作量近似度合Pid(j)(t)から過去の時点(t−m+1)での仮想ドライバ運転操作量近似度合Pid(j)(t-m+1)までを全て積算した積和を表す。
このように、ステップS106で、(式8)を用いて各動的運転意図系列jの近似度合P(j)idsをそれぞれ算出した後、ステップS107へ進む。
ステップS107では、以下の(式9)に表すように、ステップS106で算出した動的仮想ドライバ運転操作量系列近似度合P(j)idsの最大値を有する仮想ドライバの運転意図系列jを、最大の尤度を持つ運転意図系列Lmaxとして選択する。そして、運転意図系列Lmaxを持つ仮想ドライバの現在の運転意図を、実際のドライバの運転意図λrdとして選択する。
λrd=max{Pids_lk, Pids_lcr, Pids_lcl} ・・・(式9)
ステップS108では、ステップS107で推定した実際のドライバの運転意図λrdの確信度Scを推定する。そこで、仮想ドライバの現在の運転意図が車線維持LKである運転意図系列jから、最も確率の高い仮想ドライバを選択する。また、仮想ドライバの現在の運転意図が車線変更LCである運転意図系列jから、最も確率の高い仮想ドライバを選択する。
具体的には、例えば図6に示すように系列L1,L2,L3の現在の運転意図が右車線変更LCRの場合、それぞれの運転操作量系列近似度合P(1)ids, P(2)ids, P(3)idsから最大値を選択する。そして、最も大きな運転操作量系列近似度合P(j)idsを持つ運転意図系列jを、最も確率の高い右車線変更LCRの仮想ドライバとして選択する。
ここで、右車線変更LCRおよび左車線変更LCLをまとめて車線変更LCと表す。ステップS107で実際のドライバの運転意図λrdが右車線変更LCRであると推定されたときは、仮想ドライバの現在の運転意図が右車線変更LCRである運転意図系列jから、最も確率の高い仮想ドライバを選択する。実際のドライバの運転意図λrdが左車線変更LCLであると推定されたときは、仮想ドライバの現在の運転意図が左車線変更LCLである運転意図系列jから、最も確率の高い仮想ドライバを選択する。また、実際のドライバの運転意図λrdが車線維持LKであると推定されたときは、仮想ドライバの現在の運転意図が右車線変更LCRまたは左車線変更LCLである運転意図系列jから、最も確率の高い仮想ドライバを選択する。
車線維持LKの最も確率の高い仮想ドライバの確率Pr(LK)と、車線変更LCの最も高い仮想ドライバの確率Pr(LC)とを用いて、ステップS107で推定した運転意図λrdの確信度Scを以下の(式10)から算出する。なお、確率Pr(LK)は、最も確率の高い車線維持LKの仮想ドライバの運転操作量系列近似度合P(j)ids、確率Pr(LC)は、最も確率の高い車線変更LCの仮想ドライバの運転操作量系列近似度合P(j)idsである。
Sc=1/{1+exp(−2×k×Pr(LC)/Pr(LK))} ・・・(式10)
(式10)において、kは任意の係数である。
(式10)で算出される確信度Scは、0〜1の範囲で変化し、車線変更LCの確率が車線維持LKの確率よりも相対的に高いほど大きな値をとる。例えば、車線変更LCと車線維持LKの確率が50:50のときに、確信度Sc=0.5となり、車線変更LCの確率が1のときに、確信度Sc=1となる。
続くステップS109では、ステップS107で推定した実際のドライバの運転意図λrd、およびステップS108で算出した運転意図λrdの確信度Scを出力する。これにより、今回の処理を終了する。
つぎに、第1の実施の形態による車両用運転操作補助装置100の動作を、図7を用いて詳細に説明する。図7は、コントローラ150における運転操作補助制御プログラムの処理手順を示すフローチャートである。本処理内容は、一定間隔(例えば50msec)毎に連続的に行われる。
ステップS201で、レーザレーダ110、前方カメラ120および車速センサ140によって検出される自車両周囲の走行環境を表す環境状態量を読み込む。具体的には、自車両と先行車との車間距離D、先行車速V2および自車速V1を読み込む。ステップS202では、ステップS201で読み込んだ走行環境に基づいて、自車両周囲のリスクポテンシャルRPを算出する。ここでは、自車両周囲のリスクポテンシャルRPを算出するために、先行車に対する余裕時間TTCと車間時間THWとを算出する。
余裕時間TTCは、先行車に対する現在の自車両の接近度合を示す物理量である。余裕時間TTCは、現在の走行状況が継続した場合、つまり自車速V1、先行車速V2および相対車速Vr(Vr=V2−V1)が一定の場合に、何秒後に車間距離Dがゼロとなり自車と先行車両とが接触するかを示す値である。余裕時間TTCは、以下の(式11)により求められる。
TTC=−D/Vr ・・・(式11)
余裕時間TTCの値が小さいほど、先行車への接触が緊迫し、先行車への接近度合が大きいことを意味している。例えば先行車への接近時には、余裕時間TTCが4秒以下となる前に、ほとんどの運転者が減速行動を開始することが知られている。
車間時間THWは、自車両が先行車に追従走行している場合に、想定される将来の先行車の車速変化による余裕時間TTCへの影響度合、つまり相対車速vrが変化すると仮定したときの影響度合を示す物理量である。車間時間THWは、以下の(式12)で表される。
THW=D/V1 ・・・(式12)
車間時間THWは、車間距離Dを自車速V1で除したものであり、先行車の現在位置に自車両が到達するまでの時間を示す。この車間時間THWが大きいほど、周囲の環境変化に対する予測影響度合が小さくなる。つまり、車間時間THWが大きい場合には、もしも将来に先行車の車速が変化しても、先行車までの接近度合には大きな影響を与えず、余裕時間TTCはあまり大きく変化しないことを示す。なお、自車両が先行車に追従し、自車速V1=先行車速V2である場合は、(式12)において自車速V1の代わりに先行車速V2を用いて車間時間THWを算出することもできる。
そして、算出した余裕時間TTCと車間時間THWとを用いて先行車に対するリスクポテンシャルRPを算出する。先行車に対するリスクポテンシャルRPは、以下の(式13)を用いて算出することができる。
RP=a/THW+b/TTC ・・・(式13)
(式13)に示すように、リスクポテンシャルRPは、余裕時間TTCと車間時間THWとから連続的に表現される物理量である。ここで、a、bは、車間時間THWおよび余裕時間TTCにそれぞれ適切な重み付けをするための定数であり、予め適切な値を設定しておく。定数a、bは、例えばa=1,b=8(a<b)に設定する。
ステップS211では、アクセルペダルストロークセンサ181によって検出されるアクセルペダル160のストローク量Sを読み込む。ステップS212では、ステップS202で算出したリスクポテンシャルRPに基づいて、アクセルペダル反力指令値FAを算出する。まず、リスクポテンシャルRPに応じた反力増加量ΔFを算出する。
図8に、先行車に対するリスクポテンシャルRPと反力増加量ΔFとの関係を示す。図8に示すように、リスクポテンシャルRPが最小値RPmin以下の場合は、反力増加量ΔFを0とする。これは、自車両周囲のリスクポテンシャルRPが非常に小さいときにアクセルペダル反力FAを増加することによって、運転者に煩わしさを与えてしまうことを避けるためである。最小値RPminは、予め適切な値を設定しておく。
リスクポテンシャルRPが最小値RPminを超える領域では、リスクポテンシャルRPに応じて反力増加量ΔFが指数関数的に増加するように設定する。反力増加量ΔFは、以下の(式14)で表される。
ΔF=k・RP・・・(式14)
ここで、定数k、nはそれぞれ車種等によって異なり、ドライブシミュレータや実地試験によって取得される結果に基づいて、リスクポテンシャルRPを効果的に反力増加量ΔFに変換できるように予め適切に設定しておく。
さらに、(式14)に従って算出した反力増加量ΔFを、アクセルペダルストローク量Sに応じた通常の反力特性に加算することにより、アクセルペダル反力指令値FAを算出する。
ステップS213では、運転意図推定装置1によって推定された運転意図λrdを読み込み、ステップS214で、推定された運転者の運転意図λrdが車線変更であるか否かを判定する。運転者の運転意図λrdが車線変更の場合は、ステップS215へ進む。ステップS215では、運転意図推定装置1によって算出された運転意図λrdの確信度Sc、すなわちドライバの車線変更意図の確信度Scを読み込む。
ステップS216では、ステップS215で読み込んだ車線変更意図の確信度Scに基づいて、ステップS212で算出したアクセルペダル反力指令値FAを補正する。具体的には、ステップS212で算出したアクセルペダル反力指令値FAにローパスフィルタ等のフィルタ処理を施して減衰させる。
補正後のアクセルペダル反力指令値FAは、以下の(式15)を用いて表すことができる。なお、(式15)において補正後の反力指令値FAを制御用の反力指令値としてFAcで表す。
FAc=gf(FA)
=kf・{1/(1+Tsf)}・FA ・・・(式15)
ここで、kfは適切に設定された定数、Tsfは反力指令値FAを減衰させる際の時定数である。なお、時定数Tsfは、以下の(式16)に示すように車線変更意図の確信度Scの関数として設定される。
Tsf=f(Sc) ・・・(式16)
図9に、車線変更意図の確信度Scと時定数Tsfとの関係を示す。図9に示すように、確信度Scが高くなるほど時定数Tsfが小さくなるように設定する。具体的には、確信度Scが0.5以上の領域で車線変更の確率が車線維持の確率よりも相対的に大きい場合は、確信度Scが大きくなるほど時定数Tsfが小さくなる。確信度Scが高いほど時定数Tsfを小さくすることにより、アクセルペダル反力を速やかに減衰させることができる。
一方、ステップS214において運転意図推定装置1によって推定された運転意図λrdが車線維持であると判定された場合は、ステップS217へ進み、ステップS212で算出したアクセルペダル反力指令値FAをそのまま制御用の指令値FAcとして設定する。
ステップS218では、ステップS216またはS217で設定したアクセルペダル反力指令値FAcを、アクセルペダル反力制御装置170へ出力する。アクセルペダル反力制御装置170は、コントローラ150から入力された指令に従ってサーボモータ180を制御する。これにより、今回の処理を終了する。
このように、以上説明した第1の実施の形態においては、以下のような作用効果を奏することができる。
(1)運転意図推定装置1は、自車両の車両状態および車両周囲状態、および実際のドライバによる運転操作量に基づいて、実際のドライバの運転意図λrdを推定し、推定した運転意図λrdの確信度Scを算出する。これにより、運転意図推定装置1の推定結果がどれほど確実であるかを確信度Scとして表すことができる。そして、車両用運転操作補助装置100は、自車両周囲のリスクポテンシャルRPに基づいてアクセルペダル操作反力制御を行うときに、運転意図推定装置1による推定結果に基づいてアクセルペダル操作反力を変更する。これにより、自車両周囲のリスクポテンシャルRPを車両操作機器であるアクセルペダル160の操作反力としてドライバに伝えながら、ドライバの運転意図に合った操作反力制御を行うことができる。
(2)運転意図推定装置1は、現時点tを含む過去の所定時間区間における複数の仮想ドライバの運転意図系列を動的に生成し、運転意図系列j毎に、仮想ドライバの運転操作量Oidと実際のドライバの運転操作量Ordとの系列的な近似度合を表す運転操作量系列近似度合P(j)idsを算出する。そして、複数の運転操作量系列近似度合P(j)idsを比較することによって実際のドライバの運転意図λrdを推定する。これにより、実際のドライバの運転意図λrdを精度よく推定することができる。
なお、上述した第1の実施の形態においては、推定された運転意図λrdについて確信度Scを算出したが、車線変更意図が推定された場合のみに確信度Scを算出することも可能である。
なお、上述した第1の実施の形態においては、実際のドライバの運転操作量Ordと仮想ドライバの運転操作量Oidとして、操舵角θrd、θidを用いた。ただし、これには限定されず、例えば運転操作量としてアクセルペダルの操作量を用いることもできる。この場合、仮想ドライバのペダル操作量Sidは、例えば自車両と先行車との車間距離および車間時間THW等で表される先行車に対する接近度合に基づいて算出することができる。そして、実際のドライバのペダル操作量Srdと仮想ドライバのペダル操作量Sidとの近似度合に基づいて、実際のドライバの運転意図を推定する。
上述した第1の実施の形態においては、仮想ドライバの運転操作量Oidを算出するために、図3に示すように各運転意図において2つの前方参照点を設定したが、前方車参照点の数は任意に設定することができる。
上述した第1の実施の形態においては、複数の規範的な仮想ドライバの運転意図系列を動的に生成し、複数の仮想ドライバの運転操作と実際のドライバの運転操作とを比較することによって実際のドライバの運転意図λrdを推定した。ただし、これには限定されず、例えば予め学習された運転操作パターンと、実際のドライバの運転操作パターンとの合致度に基づいて、実際のドライバの運転意図を推定することもできる。
パターン識別による運転意図の検出手法としては、例えば、Support Vector Machine (SVM)を用いる方法、またはRelevance Vector Machine (RVM)を用いる方法がある。SVMはノンパラメトリックなパターン分類器の一つである。SVMは分離平面と入力パターンの距離を表すマージンを最大化するような分離平面を求めるもので、カーネルの特性により線形分離器として定式化されている。この定式化によってSVMによるパターン分離平面を二次最適化問題の解として得ることができる。RVMはTippingによって提案されたカーネル学習器の一つである。RVMでは、学習データから目的とする関数を推定するときに、推定関数の重みパラメータに対して平均0の事前分布を与え、その分散をEMアルゴリズムによって重みパラメータに関する周辺尤度について最適化している。
SVMおよびRVMのいずれにおいても、識別したい対象(ここでは車線維持および車線変更)に対応する正しい運転操作パターンを予め学習させておく。そして、実際の認識時には、実際のドライバによる運転操作パターンをリアルタイムに入力し、予め学習した運転操作パターンと実際のドライバの運転操作パターンとの合致度から、実際のドライバの運転意図が車線維持であるか、車線変更であるかを判別する。
以下の(式17)に、SVMまたはRVMを用いる場合の、実際のドライバの運転意図推定の判別式を示す。
Figure 0004281543
ここで、wnは予め学習された識別用のパラメータであり、複数の運転操作量(例えば操舵角、アクセルペダル操作量等)や車両状態量(例えば車速、車線からの側方距離等)を配列としてKに入力する。(式17)の結果yとして、実際のドライバの運転意図が車線維持あるいは車線変更であるかという判別結果を得ることができる。
さらに、SVMおよびRVMのいずれの手法においても、パターン識別結果として実際のドライバの運転意図λrdを推定するとともに、パターン識別の合致度を用いて、推定した運転意図λrdの確信度Scを算出することが可能である。このようなパターン識別手法を用いても、上述した第1の実施の形態と同様に運転意図推定装置1の推定結果がどれほど確実であるかを確信度Scとして表すことができる。
《第2の実施の形態》
本発明の第2の実施の形態による車両用運転操作補助装置について、図面を用いて説明する。図10は、本発明の第2の実施の形態による車両用運転操作補助装置200の構成を示すシステム図であり、図11は、車両用運転操作補助装置200を搭載した車両の構成図である。
まず、車両用運転操作補助装置200の構成を説明する。
レーザレーダ110は、車両の前方グリル部もしくはバンパ部等に取り付けられ、水平方向に赤外光パルスを照射して自車両の前方領域を走査する。レーザレーダ110は、前方にある複数の反射物(通常、先行車の後端)で反射された赤外光パルスの反射波を計測し、反射波の到達時間より、先行車までの車間距離と相対速度を検出する。検出した車間距離及び相対速度はコントローラ150Aへ出力される。レーザレーダ110によりスキャンされる前方の領域は、自車正面に対して±6deg 程度であり、この範囲内に存在する前方物体が検出される。
前方カメラ120は、フロントウィンドウ上部に取り付けられた小型のCCDカメラ、またはCMOSカメラ等であり、前方道路の状況を画像として検出する。前方カメラ120からの画像信号は画像処理装置130で画像処理を施され、コントローラ150Aへと出力される。前方カメラ120による検知領域は車両の前後方向中心線に対して水平方向に±30deg程度であり、この領域に含まれる前方道路風景が画像として取り込まれる。
車速センサ140は、車輪の回転数や変速機の出力側の回転数を計測することにより自車両の車速を検出し、検出した自車速をコントローラ150Aに出力する。
さらに、上述した運転意図推定装置1によって推定された実際のドライバの運転意図λrdおよび確信度Scがコントローラ150Aへ入力される。運転意図推定装置1は、上述したように複数の仮想ドライバを用いる方法、またはSVM、RVM等のパターン識別による方法を用いることが可能である。
コントローラ150Aは、CPUと、ROMおよびRAM等のCPU周辺部品とから構成される。コントローラ150Aは、例えばCPUのソフトウェア形態により、リスクポテンシャル計算部151,アクセルペダル反力指令値計算部152,アクセルペダル反力指令値補正部153,減速度制御指令値計算部154および減速指令値補正部155を構成する。
リスクポテンシャル計算部151は、レーザレーダ110および車速センサ140から入力される自車速、車間距離および先行車両との相対車速と、画像処理装置130から入力される車両周辺の画像情報とから、自車両周囲のリスクポテンシャルRPを算出する。アクセルペダル反力指令値計算部152は、リスクポテンシャル計算部151で算出されたリスクポテンシャルRPに基づいて、アクセルペダル160に発生させるアクセルペダル反力の指令値FAを算出する。
アクセルペダル反力指令値補正部153は、運転意図推定装置1から入力される運転意図推定結果および確信度Scに基づいて、アクセルペダル反力指令値計算部152で算出されたアクセルペダル反力指令値FAを補正する。アクセルペダル反力指令値補正部153で補正されたアクセルペダル反力指令値FAcは、アクセルペダル反力制御装置170へ出力される。
減速度制御指令値計算部154は、リスクポテンシャル計算部151で算出されたリスクポテンシャルRPに基づいて、自車両に発生させる減速度Xgを算出する。減速度制御指令値補正部155は、運転意図推定装置1から入力される運転意図推定結果および確信度Scに基づいて、減速度制御指令値計算部154で算出された減速度Xgを補正する。減速度制御指令値補正部155で補正された減速度Xgは、自動ブレーキ制御装置190へ出力される。
アクセルペダル反力制御装置170は、コントローラ150Aからの指令値に応じてアクセルペダル操作反力を制御する。図12に示すように、アクセルペダル160には、リンク機構を介してサーボモータ180およびアクセルペダルストロークセンサ181が接続されている。サーボモータ180は、アクセルペダル反力制御装置170からの指令に応じてトルクと回転角とを制御し、運転者がアクセルペダル160を操作する際に発生する操作反力を任意に制御する。アクセルペダルストロークセンサ181は、リンク機構を介してサーボモータ180の回転角に変換されたアクセルペダル160のストローク量Sを検出する。
なお、アクセルペダル反力制御を行わない場合の通常のアクセルペダル反力特性は、例えば、ストローク量Sが大きくなるほどアクセルペダル反力がリニアに大きくなるよう設定されている。通常のアクセルペダル反力特性は、例えばアクセルペダル160の回転中心に設けられたねじりバネ(不図示)のバネ力によって実現することができる。
自動ブレーキ制御装置190は、コントローラ150Aからの指令値に応じてブレーキ液圧指令を出力する。自動ブレーキ制御装置190は、ブレーキ液圧指令を出力することにより、各車輪に設けられたブレーキ装置(不図示)を作動し、コントローラ150Aからの指令値に応じた減速度を自車両に発生させる。
次に、第2の実施の形態による車両用運転操作補助装置200の動作を、図13を用いて詳細に説明する。図13は、コントローラ150Aにおける運転操作補助制御プログラムの処理手順を示すフローチャートである。本処理内容は、一定間隔(例えば50msec)毎に連続的に行われる。
ステップS201で、レーザレーダ110、前方カメラ120および車速センサ140によって検出される自車両周囲の走行環境を表す環境状態量を読み込む。具体的には、自車両と先行車との車間距離D、先行車速V2および自車速V1を読み込む。ステップS202では、ステップS201で読み込んだ走行環境に基づいて、自車両周囲のリスクポテンシャルRPを算出する。ここでは、自車両周囲のリスクポテンシャルRPを算出するために、先行車に対する余裕時間TTCと車間時間THWとを算出する。
余裕時間TTCは、先行車に対する現在の自車両の接近度合を示す物理量である。余裕時間TTCは、現在の走行状況が継続した場合、つまり自車速V1、先行車速V2および相対車速Vr(Vr=V2−V1)が一定の場合に、何秒後に車間距離Dがゼロとなり自車と先行車両とが接触するかを示す値である。余裕時間TTCは、以下の(式18)により求められる。
TTC=−D/Vr ・・・(式18)
余裕時間TTCの値が小さいほど、先行車への接触が緊迫し、先行車への接近度合が大きいことを意味している。例えば先行車への接近時には、余裕時間TTCが4秒以下となる前に、ほとんどの運転者が減速行動を開始することが知られている。
車間時間THWは、自車両が先行車に追従走行している場合に、想定される将来の先行車の車速変化による余裕時間TTCへの影響度合、つまり相対車速vrが変化すると仮定したときの影響度合を示す物理量である。車間時間THWは、以下の(式19)で表される。
THW=D/V1 ・・・(式19)
車間時間THWは、車間距離Dを自車速V1で除したものであり、先行車の現在位置に自車両が到達するまでの時間を示す。この車間時間THWが大きいほど、周囲の環境変化に対する予測影響度合が小さくなる。つまり、車間時間THWが大きい場合には、もしも将来に先行車の車速が変化しても、先行車までの接近度合には大きな影響を与えず、余裕時間TTCはあまり大きく変化しないことを示す。なお、自車両が先行車に追従し、自車速V1=先行車速V2である場合は、(式19)において自車速V1の代わりに先行車速V2を用いて車間時間THWを算出することもできる。
そして、算出した余裕時間TTCと車間時間THWとを用いて先行車に対するリスクポテンシャルRPを算出する。先行車に対するリスクポテンシャルRPは、以下の(式20)を用いて算出することができる。
RP=a/THW+b/TTC ・・・(式20)
(式20)に示すように、リスクポテンシャルRPは、余裕時間TTCと車間時間THWとから連続的に表現される物理量である。ここで、a、bは、車間時間THWおよび余裕時間TTCにそれぞれ適切な重み付けをするための定数であり、予め適切な値を設定しておく。定数a、bは、例えばa=1,b=8(a<b)に設定する。
ステップS211では、アクセルペダルストロークセンサ181によって検出されるアクセルペダル160のストローク量Sを読み込む。ステップS212では、ステップS202で算出したリスクポテンシャルRPに基づいて、アクセルペダル反力指令値FAを算出する。まず、リスクポテンシャルRPに応じた反力増加量ΔFを算出する。
図14に、先行車に対するリスクポテンシャルRPと反力増加量ΔFとの関係を示す。図14に示すように、リスクポテンシャルRPが最小値RPmin以下の場合は、反力増加量ΔFを0とする。これは、自車両周囲のリスクポテンシャルRPが非常に小さいときにアクセルペダル反力FAを増加することによって、運転者に煩わしさを与えてしまうことを避けるためである。最小値RPminは、予め適切な値を設定しておく。
リスクポテンシャルRPが最小値RPminを超える領域では、リスクポテンシャルRPに応じて反力増加量ΔFが指数関数的に増加するように設定する。反力増加量ΔFは、以下の(式21)で表される。
ΔF=k・RP・・・(式21)
ここで、定数k、nはそれぞれ車種等によって異なり、ドライブシミュレータや実地試験によって取得される結果に基づいて、リスクポテンシャルRPを効果的に反力増加量ΔFに変換できるように予め適切に設定しておく。
さらに、(式21)に従って算出した反力増加量ΔFを、アクセルペダルストローク量Sに応じた通常の反力特性に加算することにより、アクセルペダル反力指令値FAを算出する。
ステップS213では、運転意図推定装置1によって推定された運転意図λrdを読み込み、ステップS214で、推定された運転者の運転意図λrdが車線変更であるか否かを判定する。運転者の運転意図λrdが車線変更の場合は、ステップS215へ進む。ステップS215では、運転意図推定装置1によって算出された運転意図λrdの確信度Sc、すなわちドライバの車線変更意図の確信度Scを読み込む。
ステップS216では、ステップS215で読み込んだ車線変更意図の確信度Scに基づいて、ステップS212で算出したアクセルペダル反力指令値FAを補正する。具体的には、ステップS212で算出したアクセルペダル反力指令値FAにローパスフィルタ等のフィルタ処理を施して減衰させる。
補正後のアクセルペダル反力指令値FAは、以下の(式22)を用いて表すことができる。なお、(式22)において補正後の反力指令値FAを制御用の反力指令値としてFAcで表す。
FAc=gf(FA)
=kf・{1/(1+Tsf)}・FA ・・・(式22)
ここで、kfは適切に設定された定数、Tsfは反力指令値FAを減衰させる際の時定数である。なお、時定数Tsfは、以下の(式23)に示すように車線変更意図の確信度Scの関数として設定される。
Tsf=f(Sc) ・・・(式23)
図15に、車線変更意図の確信度Scと時定数Tsfとの関係を示す。図15に示すように、確信度Scが高くなるほど実線で示す時定数Tsfが小さくなるように設定する。具体的には、確信度Scが0.5以上の領域で車線変更の確率が車線維持の確率よりも相対的に大きい場合は、確信度Scが大きくなるほど時定数Tsfが小さくなる。確信度Scが高いほど時定数Tsfを小さくすることにより、アクセルペダル反力を速やかに減衰させることができる。なお、図15に破線で示す時定数Tsgは、後述する減速度補正に用いる。
一方、ステップS214において運転意図推定装置1によって推定された運転意図λrdが車線維持であると判定された場合は、ステップS217へ進み、ステップS212で算出したアクセルペダル反力指令値FAをそのまま制御用の指令値FAcとして設定する。
ステップS218では、ステップS216またはS217で設定したアクセルペダル反力指令値FAcを、アクセルペダル反力制御装置170へ出力する。アクセルペダル反力制御装置170は、コントローラ150Aから入力された指令に従ってサーボモータ180を制御する。
ステップS221では、ステップS202で算出したリスクポテンシャルRPに基づいて、自車両に発生させる減速度の指令値Xgを算出する。図16に、先行車に対するリスクポテンシャルRPと減速度指令値Xgとの関係を示す。図16に示すように、リスクポテンシャルRPが大きくなるほど減速度指令値Xgが例えば指数関数的に大きくなるように設定する。リスクポテンシャルRPが最小値RPmin以下の場合は、減速度指令値Xgを0とし、リスクポテンシャルRPが非常に小さいときに運転者に煩わしさを与えないようにする。
ステップS222では、運転意図推定装置1によって推定された運転意図λrdを読み込み、ステップS223で、推定された運転者の運転意図λrdが車線変更であるか否かを判定する。運転者の運転意図λrdが車線変更の場合は、ステップS224へ進む。ステップS224では、運転意図推定装置1によって算出された運転意図λrdの確信度Sc、すなわちドライバの車線変更意図の確信度Scを読み込む。
ステップS225では、ステップS224で読み込んだ車線変更意図の確信度Scに基づいて、ステップS221で算出した減速度指令値Xgを補正する。具体的には、ステップS221で算出した減速度指令値Xgにローパスフィルタ等のフィルタ処理を施して減衰させる。
補正後の減速度指令値Xgは、以下の(式24)を用いて表すことができる。なお、(式24)において補正後の減速度指令値Xgを制御用の指令値としてXgcで表す。
Xgc=gf(Xg)
=kg・{1/(1+Tsg)}・Xg ・・・(式24)
ここで、kgは適切に設定された定数、Tsgは減速度指令値Xgを減衰させる際の時定数である。なお、時定数Tsgは、以下の(式25)に示すように車線変更意図の確信度Scの関数として設定される。
Tsg=fg(Sc) ・・・(式25)
図15に示すように、確信度Scが高くなるほど破線で示す時定数Tsgが小さくなるように設定する。具体的には、確信度Scが0.5以上の領域で車線変更の確率が車線維持の確率よりも相対的に大きい場合は、確信度Scが大きくなるほど時定数Tsgが小さくなる。確信度Scが高いほど時定数Tsgを小さくすることにより、自車両に発生する減速度を速やかに減衰させることができる。
なお、図15に示すように、同じ確信度Scに対して、アクセルペダル反力の時定数Tsfを減速度の時定数Tsgよりも小さく設定する。これにより、ドライバの車線変更意図を検出した場合に、まずアクセルペダル反力を減衰させ、その後、自車両に発生する減速度を徐々に減衰させる。
一方、ステップS223において運転意図推定装置1によって推定された運転意図λrdが車線維持であると判定された場合は、ステップS226へ進み、ステップS221で算出した減速度Xgをそのまま制御用の指令値Xgcとして設定する。
ステップS227では、ステップS225またはS226で設定した減速度指令値Xgcを、自動ブレーキ制御装置190へ出力する。自動ブレーキ制御装置190は、コントローラ150Aから入力された指令に応じてブレーキ装置を作動し、自車両に減速度を発生させる。これにより、今回の処理を終了する。
図17(a)〜(c)を用いて、車両用運転操作補助装置100の作用を説明する。図17(a)は自車両が走行車線から左側の追い越し車線に車線変更を行っていく様子を表し、図17(b)(c)は車線変更を行うときのアクセルペダル反力指令値FAcの時間変化および減速度指令値Xgcの時間変化をそれぞれ示している。なお、図17(b)(c)において、車線変更意図の確信度Sc=0.6の場合の指令値FAc、Xgcを実線で示し、車線変更意図の確信度Sc=0.8の場合の指令値FAc、Xgcを破線で示す。
図17(b)(c)に示すように、車線変更意図が検出される前は、他車両に接近しリスクポテンシャルRPが増加するに従って、アクセルペダル反力指令値FAcおよび減速度指令値Xgcが増加する。そして、時間t=taで運転者の車線変更意図が検出されるとアクセルペダル反力指令値FAcおよび減速度指令値Xgcが徐々に低下する。このとき、車線変更意図の確信度Scが高いほど、指令値FAc、Xgcが速やかに低下する。
これにより、ドライバが車線変更を意図しているときに、ドライバのペダル操作や加速動作を妨げることなくドライバの期待に合致したアクセルペダル反力制御および減速度制御を行うことが可能となる。また、同じ確信度Scに対して、減速度指令値Xgcよりもアクセルペダル反力指令値FAcが大きく減衰する。これにより、ドライバの車線変更意図を検出したときに、まずアクセルペダル反力を低下して車線変更意図を検出したことをドライバに伝え、その後、減速度制御が徐々に解除されるので、ドライバに与える違和感を効果的に軽減することができる。
このように、以上説明した第2の実施の形態においては、以下のような作用効果を奏することができる。
(1)コントローラ150Aは、自車両周囲の障害物状況に基づいてリスクポテンシャルRPを算出し、リスクポテンシャルRPに基づいてアクセルペダル操作反力制御を行う。このとき、推定された運転意図λrdおよび運転意図λrdの確信度Scに基づいて、アクセルペダル160に発生させる操作反力を変更する。これにより、自車両周囲のリスクポテンシャルRPを車両操作機器の操作反力としてドライバに知らせながら、実際のドライバの運転意図を反映し、ドライバの感覚に合ったアクセルペダル反力制御を行うことができる。
(2)コントローラ150Aは、推定された運転意図λrdが車線変更である場合に、車線変更意図の確信度Scが高いほど、アクセルペダル160に発生させる操作反力を小さくする。これにより、車線変更意図の推定結果が確実であるほどアクセルペダル反力が速やか低下するので、ドライバの意図に合ったアクセルペダル反力制御を行うことができる。
(3)コントローラ150Aは、車線変更意図の確信度Scに応じてリスクポテンシャルRPと操作反力との関係を補正するアクセルペダル反力指令値補正部153を備えている。これにより、確信度Scが高く車線変更意図が確実なものであるほどアクセルペダル反力が速やかに減少し、ドライバの感覚に合ったアクセルペダル反力制御を行うことができる。
(4)コントローラ150Aは、自車両周囲の障害物状況に基づいてリスクポテンシャルRPを算出し、リスクポテンシャルRPに基づいて自車両に減速度を発生させる減速度制御を行う。このとき、推定された運転意図λrdおよび運転意図λrdの確信度Scに基づいて、自車両に発生させる減速度を変更する。これにより、自車両周囲のリスクポテンシャルRP、とくに先行車に対するリスクを減速度として運転者に伝え、ドライバの注意を喚起しながら、実際のドライバの運転意図を反映し、ドライバの感覚に合った減速度制御を行うことができる。
(5)コントローラ150Aは、推定された運転意図λrdが車線変更である場合に、車線変更意図の確信度Scが高いほど、減速度を小さくする。これにより、車線変更意図の推定結果が確実であるほど減速度が速やか低下するので、ドライバの加速操作を妨げることなく、ドライバの意図に合った減速度制御を行うことができる。
(6)コントローラ150Aは、車線変更意図の確信度Scに応じてリスクポテンシャルRPと減速度との関係を補正する減速度制御指令値補正部155を備えている。これにより、確信度Scが高く車線変更意図が確実なものであるほど減速度が速やかに減少し、ドライバの感覚に合った減速度制御を行うことができる。
(7)コントローラ150Aは、運転意図λrdが車線変更であると推定された場合に、車線変更意図の確信度Scに対する操作反力の減少割合を、同一の確信度Scに対する減速度の減少割合よりも大きくなるように設定する。具体的には、図15に示すように操作反力を減衰するための時定数Tsfを減速度を減衰するための時定数Tsgよりも小さく設定し、運転意図推定装置1によって車線変更意図を推定した場合に、まずアクセルペダル反力を減少し、その後減速度制御を徐々に解除する。このようにアクセルペダル反力を先行して減少することにより車線変更を検出したことをドライバに伝えるので、ドライバに与える違和感を効果的に減少することが可能となる。
なお、上述した第2の実施の形態においては、車線変更意図の確信度Scに基づいてアクセルペダル反力指令値FAおよび減速度指令値Xgを補正した。しかし、これには限定されず、車線変更意図の確信度Scに基づいて自車両周囲のリスクポテンシャルRPを補正し、補正したリスクポテンシャルRPに基づいてアクセルペダル反力指令値FAおよび減速度指令値Xgを算出することもできる。また、確信度Scに応じて時定数Tsf、Tsgを変更する代わりに、確信度Scに応じて変化する係数k1,k2をそれぞれ予め設定した時定数Tsf、Tsgに掛けて時定数項(k1×Tsf)、(k2×Tsg)を設定することも可能である。
上述した第2の実施の形態においては、自車両周囲のリスクポテンシャルRPに基づくアクセルペダル反力制御および減速度制御を行った。しかし、これには限定されず、アクセルペダル反力制御および減速度制御のいずれか一方を行うことも可能である。
上述した第2の実施の形態においては、自車両と先行車との余裕時間TTCおよび車間時間THWとを用いてリスクポテンシャルRPを算出した。ただしこれには限定されず、例えば余裕時間TTCの逆数をリスクポテンシャルとして用いることもできる。また、同一のリスクポテンシャルRPに基づいてアクセルペダル反力指令値FAおよび減速度指令値Xgを算出したが、これには限定されない。例えば、アクセルペダル反力指令値FAと減速度指令値Xgを算出するためのリスクポテンシャルをそれぞれ別々に設定することもできる。この場合、減速度指令値Xgを算出するためのリスクポテンシャルは、とくに、車間距離や車間時間等の自車両と先行車との関係に基づいて設定することが可能である。
以上説明した第1および第2の実施の形態においては、障害物検出手段としてレーザレーダ110,前方カメラ120および車速センサ140を用い、リスクポテンシャル算出手段としてリスクポテンシャル計算部151,操作反力制御手段としてアクセルペダル反力制御装置170,減速度制御手段として自動ブレーキ制御装置190を用いた。また、車両状態検出手段として車両周囲状態検出部10および車両状態検出部20を用い、運転操作量検出手段として運転操作量検出部30を用い、運転意図推定手段として運転意図推定部70,確信度算出手段として確信度推定部80を用い、操作反力変更手段としてアクセルペダル反力指令値補正部153,減速度変更手段として減速度制御指令値補正部155を用いた。さらに、仮想ドライバ運転操作量計算手段として仮想ドライバ運転操作量計算部50,運転意図系列生成手段として仮想ドライバ運転意図系列動的決定部40,運転操作量系列近似度合計算手段として仮想ドライバ運転操作量近似度合計算部60を用いた。また、設定手段としてコントローラ150Aを用いた。ただし、これらには限定されず、障害物検出手段として、別方式のミリ波レーダ等を用いることもできる。また、車両操作機器として操舵装置を用い、操作反力制御手段として操舵反力を制御する操舵反力制御装置を用いることも可能である。
(a)本発明の第1の実施の形態による運転意図推定装置のシステム図、(b)本発明の第1の実施の形態による車両用運転操作補助装置のシステム図。 第1の実施の形態における運転意図推定処理の処理手順を示すフローチャート。 仮想ドライバの運転操作量の算出方法を説明する図。 仮想ドライバの動的運転意図系列の例を示す図。 (a)(b)仮想ドライバの動的運転意図系列の設定方法を説明する図。 運転意図系列毎の運転操作量系列近似度合の算出方法を説明する図。 第1の実施の形態における運転操作補助制御処理の処理手順を示すフローチャート。 リスクポテンシャルと反力増加量との関係を示す図。 車線変更意図の確信度と時定数との関係を示す図。 第2の実施の形態による車両用運転操作補助装置のシステム図。 図10に示す車両用運転操作補助装置を搭載した車両の構成図。 アクセルペダルおよびその周辺の構成を示す図。 第2の実施の形態における運転操作補助制御処理の処理手順を示すフローチャート。 リスクポテンシャルと反力増加量との関係を示す図。 車線変更意図の確信度と時定数との関係を示す図。 リスクポテンシャルと反力増加量との関係を示す図。 (a)自車両が車線変更を行う様子を示す図、(b)車線変更時のアクセルペダル反力の時間変化を示す図、(c)車線変更時の減速度の時間変化を示す図。
符号の説明
1:運転意図推定装置
10:車両周囲状態検出部
20:車両状態検出部
30:運転操作量検出部
40:仮想ドライバ運転意図系列動的決定部
50:仮想ドライバ運転操作量計算部
60:仮想ドライバ運転操作量近似度合計算部
70:運転意図推定部
80:確信度推定部
100,200:車両用運転操作補助装置
150,150A:コントローラ
170:アクセルペダル反力制御装置
180:自動ブレーキ制御装置

Claims (13)

  1. 自車両周囲の障害物状況を検出する障害物検出手段と、
    前記障害物検出手段による検出結果に基づいて、前記自車両周囲のリスクポテンシャルを算出するリスクポテンシャル算出手段と、
    前記リスクポテンシャル算出手段によって算出される前記リスクポテンシャルに基づいて、車両操作機器を操作する際に発生する操作反力を制御する操作反力制御手段と、
    前記自車両の車両状態および車両周囲状態を検出する車両状態検出手段と、
    ドライバによる運転操作量を検出する運転操作量検出手段と、
    前記車両状態検出手段および前記運転操作量検出手段による検出結果に基づいて前記ドライバの運転意図を推定する運転意図推定手段と、
    前記運転意図推定手段による前記運転意図の推定結果の確信度を算出する確信度算出手段と、
    前記確信度算出手段によって算出される前記確信度に基づいて、前記操作反力制御手段によって制御する前記操作反力を変更する操作反力変更手段とを備え
    前記運転意図推定手段は、(a)運転意図を与えられた複数の異なる仮想のドライバについて、前記車両状態検出手段によって検出される前記自車両の車両周囲状態に基づいて、各仮想ドライバが前記運転意図を遂行するために必要な運転操作量を計算する仮想ドライバ運転操作量計算手段と、(b)現時点を含む過去の所定時間区間の各時間フレームにおいて前記複数の仮想ドライバの前記運転意図をそれぞれ決定し、前記所定時間区間における前記複数の仮想ドライバの運転意図系列を動的に生成する運転意図系列生成手段と、(c)前記所定時間区間における前記複数の仮想ドライバの前記運転操作量と実際のドライバの前記運転操作量との系列的な近似度合(以降、運転操作量系列近似度合とする)を、前記運転意図系列生成手段によって生成された前記運転意図系列毎に計算する運転操作量系列近似度合計算手段とを有し、前記運転操作量系列近似度合計算手段によって計算された複数の前記運転操作量系列近似度合を比較することによって、前記実際のドライバの運転意図を推定し、
    前記確信度算出手段は、前記複数の運転操作量系列近似度合に基づいて前記運転意図の推定結果の前記確信度を算出することを特徴とする車両用運転操作補助装置。
  2. 自車両周囲の障害物状況を検出する障害物検出手段と、
    前記障害物検出手段による検出結果に基づいて、前記自車両周囲のリスクポテンシャルを算出するリスクポテンシャル算出手段と、
    前記リスクポテンシャル算出手段によって算出される前記リスクポテンシャルに基づいて、前記自車両に発生させる減速度を制御する減速度制御手段と、
    前記自車両の車両状態および車両周囲状態を検出する車両状態検出手段と、
    ドライバによる運転操作量を検出する運転操作量検出手段と、
    前記車両状態検出手段および前記運転操作量検出手段による検出結果に基づいて前記ドライバの運転意図を推定する運転意図推定手段と、
    前記運転意図推定手段による前記運転意図の推定結果の確信度を算出する確信度算出手段と、
    前記確信度算出手段によって算出される前記確信度に基づいて、前記減速度制御手段によって制御する前記減速度を変更する減速度変更手段とを備え
    前記運転意図推定手段は、(a)運転意図を与えられた複数の異なる仮想のドライバについて、前記車両状態検出手段によって検出される前記自車両の車両周囲状態に基づいて、各仮想ドライバが前記運転意図を遂行するために必要な運転操作量を計算する仮想ドライバ運転操作量計算手段と、(b)現時点を含む過去の所定時間区間の各時間フレームにおいて前記複数の仮想ドライバの前記運転意図をそれぞれ決定し、前記所定時間区間における前記複数の仮想ドライバの運転意図系列を動的に生成する運転意図系列生成手段と、(c)前記所定時間区間における前記複数の仮想ドライバの前記運転操作量と実際のドライバの前記運転操作量との系列的な近似度合(以降、運転操作量系列近似度合とする)を、前記運転意図系列生成手段によって生成された前記運転意図系列毎に計算する運転操作量系列近似度合計算手段とを有し、前記運転操作量系列近似度合計算手段によって計算された複数の前記運転操作量系列近似度合を比較することによって、前記実際のドライバの運転意図を推定し、
    前記確信度算出手段は、前記複数の運転操作量系列近似度合に基づいて前記運転意図の推定結果の前記確信度を算出することを特徴とする車両用運転操作補助装置。
  3. 請求項1または請求項2に記載の車両用運転操作補助装置において、
    前記運転意図推定手段は、予め学習した運転操作パターンを用いたパターン識別を行い、前記運転操作量検出手段によって検出される実際のドライバの運転操作パターンと前記予め学習した運転操作パターンとの合致度に基づいて、前記実際のドライバの運転意図を推定することを特徴とする車両用運転操作補助装置。
  4. 請求項3に記載の車両用運転操作補助装置において、
    前記運転意図推定手段は、Support Vector Machine(SVM)またはRelevance Vector Machine(RVM)を用いて前記パターン識別を行うことを特徴とする車両用運転操作補助装置。
  5. 請求項1に記載の車両用運転操作補助装置において、
    前記車両操作機器は、アクセルペダルであり、
    前記操作反力変更手段は、前記運転意図推定手段によって前記運転意図が車線変更であると推定されると、前記確信度が高いほど前記操作反力を小さくすることを特徴とする車両用運転操作操作補助装置。
  6. 請求項5に記載の車両用運転操作補助装置において、
    前記操作反力変更手段は、前記確信度に応じて、前記リスクポテンシャルと前記アクセルペダルの前記操作反力との関係を変更することを特徴とする車両用運転操作操作補助装置。
  7. 請求項2に記載の車両用運転操作補助装置において、
    前記減速度変更手段は、前記運転意図推定手段によって前記運転意図が車線変更であると推定されると、前記確信度が高いほど前記減速度を小さくすることを特徴とする車両用運転操作操作補助装置。
  8. 請求項7に記載の車両用運転操作補助装置において、
    前記減速度変更手段は、前記確信度に応じて、前記リスクポテンシャルと前記減速度との関係を変更することを特徴とする車両用運転操作操作補助装置。
  9. 請求項1に記載の車両用運転操作補助装置において、
    前記リスクポテンシャル算出手段によって算出される前記リスクポテンシャルに基づいて、前記自車両に発生させる減速度を制御する減速度制御手段と、
    前記確信度算出手段によって算出される前記確信度に基づいて、前記減速度制御手段によって制御する前記減速度を変更する減速度変更手段とをさらに備え、
    前記前記運転意図推定手段によって前記運転意図が車線変更であると推定されると、前記操作反力変更手段は前記確信度が高いほど前記操作反力を小さくし、前記減速度変更手段は前記確信度が高いほど前記減速度を小さくすることを特徴とする車両用運転操作操作補助装置。
  10. 請求項9に記載の車両用運転操作補助装置において、
    前記運転意図推定手段によって前記運転意図が車線変更であると推定された場合に、前記確信度に対する前記操作反力の減少割合を、同一の確信度に対する前記減速度の減少割合よりも大きくなるように設定する設定手段をさらに備えることを特徴とする車両用運転操作補助装置。
  11. 請求項1から請求項10のいずれか1項に記載の車両用運転操作補助装置において、
    前記確信度算出手段は、前記運転意図の推定結果の前記確信度を、前記ドライバの前記運転意図が車線変更である確率および前記ドライバの運転意図が車線維持である確率に基づいて算出することを特徴とする車両用運転操作補助装置。
  12. 請求項1から請求項11のいずれか1項に記載の車両用運転操作補助装置において、
    前記運転意図推定手段は、前記ドライバの運転意図が、右車線変更、左車線変更、および車線維持のいずれであるかを推定することを特徴とする車両用運転操作補助装置。
  13. 請求項1から請求項12のいずれか1項に記載の車両用運転操作補助装置を備えることを特徴とする車両。
JP2003417746A 2003-12-16 2003-12-16 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両 Expired - Fee Related JP4281543B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2003417746A JP4281543B2 (ja) 2003-12-16 2003-12-16 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
EP04029606.3A EP1544070B1 (en) 2003-12-16 2004-12-14 Method and system for estimating the intention of a driver of a vehicle with confidence indication
US11/012,158 US7349767B2 (en) 2003-12-16 2004-12-16 Method and system for intention estimation and operation assistance
US11/012,165 US7440823B2 (en) 2003-12-16 2004-12-16 Intention estimation method and system with confidence indication

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003417746A JP4281543B2 (ja) 2003-12-16 2003-12-16 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両

Publications (2)

Publication Number Publication Date
JP2005180196A JP2005180196A (ja) 2005-07-07
JP4281543B2 true JP4281543B2 (ja) 2009-06-17

Family

ID=34510612

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003417746A Expired - Fee Related JP4281543B2 (ja) 2003-12-16 2003-12-16 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両

Country Status (3)

Country Link
US (1) US7440823B2 (ja)
EP (1) EP1544070B1 (ja)
JP (1) JP4281543B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005343317A (ja) * 2004-06-03 2005-12-15 Nissan Motor Co Ltd 車両用運転操作補助装置および車両用運転操作補助装置を備える車両
JP2006213276A (ja) * 2005-02-07 2006-08-17 Nissan Motor Co Ltd 運転意図推定装置、車両用運転操作補助装置および車両用運転操作補助装置を備えた車両

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4226455B2 (ja) * 2003-12-16 2009-02-18 日産自動車株式会社 運転意図推定装置、車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
JP4367319B2 (ja) * 2004-11-12 2009-11-18 日産自動車株式会社 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
JP4622465B2 (ja) * 2004-11-12 2011-02-02 日産自動車株式会社 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
US7340441B1 (en) * 2004-12-17 2008-03-04 The Mathworks, Inc. Search directions in pattern search via rotation
JP4735310B2 (ja) * 2005-04-15 2011-07-27 株式会社デンソー 走行支援装置
JP2007022238A (ja) 2005-07-14 2007-02-01 Nissan Motor Co Ltd 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
DE102005033087A1 (de) * 2005-07-15 2007-01-25 Robert Bosch Gmbh Verfahren und Vorrichtung zur Vermeidung von Auffahrunfällen
DE102005039103A1 (de) * 2005-08-18 2007-03-01 Robert Bosch Gmbh Verfahren für die Erfassung eines Verkehrsraums
CN1996194A (zh) * 2005-12-31 2007-07-11 清华大学 一种运动物体定位纠偏系统及其运动跟踪方法
JP4458072B2 (ja) * 2006-06-28 2010-04-28 日産自動車株式会社 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
EP2054281B1 (de) * 2006-08-18 2013-12-25 Continental Teves AG & Co. oHG Ansteuerung von sicherheitsmitteln eines kraftfahrzeugs
JP5055933B2 (ja) * 2006-10-05 2012-10-24 トヨタ自動車株式会社 走行支援装置
WO2008056548A1 (fr) * 2006-11-10 2008-05-15 Panasonic Corporation Dispositif d'estimation cible et procédé d'estimation cible
DE102007029909A1 (de) * 2007-06-28 2009-01-02 Robert Bosch Gmbh Verfahren zum automatischen Korrigieren einer Zustandsgröße eines Fahrzeugs
JP5017039B2 (ja) * 2007-09-27 2012-09-05 日立オートモティブシステムズ株式会社 車線変更支援装置
US8179282B1 (en) * 2007-11-30 2012-05-15 Cal Poly Corporation Consensus based vehicle detector verification system
ES2341633B1 (es) * 2008-01-25 2011-04-08 Fundacion Para Progreso Soft Computing Detector personalizado de conduccion anomala de un automovil.
JP4623136B2 (ja) * 2008-05-14 2011-02-02 日産自動車株式会社 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
JP5531896B2 (ja) * 2010-02-04 2014-06-25 日産自動車株式会社 電動油圧装置および電動油圧装置の作動油温度制御方法
US8800356B2 (en) 2011-09-28 2014-08-12 Ford Global Technologies, Llc Engine catalyst diagnostics
DE102011087774A1 (de) * 2011-12-06 2013-06-06 Robert Bosch Gmbh Verfahren zur Überwachung und Signalisierung einer Verkehrssituation im Umfeld eines Fahrzeuges
KR101470146B1 (ko) * 2013-04-23 2014-12-05 현대자동차주식회사 가속페달 장치의 답력 능동 조절방법
JP6115429B2 (ja) * 2013-09-27 2017-04-19 日産自動車株式会社 自車位置認識装置
JP7139331B2 (ja) * 2016-08-19 2022-09-20 マサチューセッツ インスティテュート オブ テクノロジー 資源配分管理を改善するために注意力バッファを使用するシステムおよび方法
KR101874186B1 (ko) * 2016-08-19 2018-07-03 한양대학교 산학협력단 기계 학습을 통한 주변 차량의 주행 경로 예측 방법 및 이를 이용하는 차량 제어 방법
DE102017212607A1 (de) * 2017-07-21 2019-01-24 Ford Global Technologies, Llc Verfahren und Vorrichtung zur umgebungsbasierten Adaption von Fahrerassistenzsystem-Funktionen
CN113320532B (zh) * 2017-12-28 2022-10-21 北京百度网讯科技有限公司 合作式变道控制方法、装置及设备
JP7180077B2 (ja) * 2018-02-16 2022-11-30 マツダ株式会社 車両の制御装置
CN110254436B (zh) * 2018-03-12 2021-03-30 深圳鼎然信息科技有限公司 基于运动传感器的驾驶行为分析方法、装置、设备及介质
US10723362B2 (en) * 2018-06-05 2020-07-28 Denso International America, Inc. Driver assistance system operating based on autonomous statuses of host and local vehicles while in a multi-level autonomous environment
US10726642B1 (en) 2019-03-29 2020-07-28 Toyota Motor North America, Inc. Vehicle data sharing with interested parties
US10896555B2 (en) 2019-03-29 2021-01-19 Toyota Motor North America, Inc. Vehicle data sharing with interested parties
US10535207B1 (en) 2019-03-29 2020-01-14 Toyota Motor North America, Inc. Vehicle data sharing with interested parties
KR102339085B1 (ko) * 2019-07-22 2021-12-14 엘지전자 주식회사 사용자의 어플리케이션 사용 기록을 고려하여 사용자의 음성을 인식하는 인공 지능 장치 및 그 방법
US11529918B2 (en) 2019-09-02 2022-12-20 Toyota Motor North America, Inc. Adjustment of environment of transports
KR102322815B1 (ko) * 2019-09-11 2021-11-10 한국도로공사 카메라 기반의 도로이벤트 점유차로 검출 장치 및 그 방법
KR20210072362A (ko) 2019-12-09 2021-06-17 엘지전자 주식회사 인공 지능 모델에 대한 학습 데이터를 생성하는 인공 지능 장치 및 그 방법
CN111754816B (zh) * 2020-06-04 2023-04-28 纵目科技(上海)股份有限公司 一种移动物体意图识别装置、方法、系统、终端和介质
CN117698770B (zh) * 2024-02-06 2024-04-12 北京航空航天大学 基于多场景融合的自动驾驶决策安全碰撞风险评估方法

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5189621A (en) 1987-05-06 1993-02-23 Hitachi, Ltd. Electronic engine control apparatus
JP3197307B2 (ja) 1991-10-14 2001-08-13 マツダ株式会社 移動車の走行制御装置
JP3273800B2 (ja) 1991-11-11 2002-04-15 茂 近藤 自動車運転解析診断方法及び装置
DE4313568C1 (de) 1993-04-26 1994-06-16 Daimler Benz Ag Verfahren zur Leithilfe für einen Fahrspurwechsel durch ein Kraftfahrzeug
JP3357749B2 (ja) 1994-07-12 2002-12-16 本田技研工業株式会社 車両の走行路画像処理装置
JPH0872589A (ja) 1994-09-02 1996-03-19 Hitachi Ltd パワートレイン制御装置及び制御方法
US6278362B1 (en) 1995-01-12 2001-08-21 Honda Giken Kogyo Kabushiki Kaisha Driving state-monitoring apparatus for automotive vehicles
DE19536512A1 (de) 1995-09-29 1997-04-03 Bayerische Motoren Werke Ag Gangwechselsteuerung für Automatikgetriebe in Kraftfahrzeugen mit einem elektronischen Steuergerät
JP3521249B2 (ja) 1995-11-24 2004-04-19 光洋精工株式会社 自動車の舵取り装置
JP3599144B2 (ja) 1996-05-09 2004-12-08 本田技研工業株式会社 車両用操舵支援装置
DE19620929A1 (de) 1996-05-24 1997-11-27 Porsche Ag Längsregelsystem für Kraftfahrzeuge mit haptischem Gaspedal
JPH1031799A (ja) 1996-07-15 1998-02-03 Toyota Motor Corp 自動走行制御装置
DE69731585T2 (de) 1996-07-15 2005-12-01 Toyota Jidosha K.K., Toyota Fahrzeugfahrzustandsvorhersagevorrichtung und Warnvorrichtung, welche die Vorrichtung verwendet
JPH10166934A (ja) 1996-12-13 1998-06-23 Koito Mfg Co Ltd 車輌用灯具装置
US6185492B1 (en) 1997-07-09 2001-02-06 Toyota Jidosha Kabushiki Kaisha Vehicle steering control apparatus for assisting a steering effort to move a vehicle along a line desired by a driver
JP3358709B2 (ja) 1997-08-11 2002-12-24 富士重工業株式会社 車両用運転支援装置
DE19736756A1 (de) 1997-08-23 1999-02-25 Volkswagen Ag Verfahren und Vorrichtung zur Abstandsregelung für ein Fahrzeug
JP3314866B2 (ja) 1997-09-13 2002-08-19 本田技研工業株式会社 車両用操舵装置
JP3780655B2 (ja) 1997-09-30 2006-05-31 日産自動車株式会社 運転行動パターン認識装置
JP3913878B2 (ja) 1998-01-14 2007-05-09 本田技研工業株式会社 車両用物体検知装置
JP4329088B2 (ja) 1998-02-18 2009-09-09 株式会社エクォス・リサーチ 車両制御装置
JPH11321598A (ja) 1998-05-07 1999-11-24 Honda Motor Co Ltd 車両走行安全装置
DE19921449C1 (de) 1999-05-08 2001-01-25 Daimler Chrysler Ag Leithilfe bei einem Fahrspurwechsel eines Kraftfahrzeuges
JP3998855B2 (ja) * 1999-05-18 2007-10-31 三菱電機株式会社 危険接近防止装置
JP4120127B2 (ja) 2000-02-23 2008-07-16 アイシン・エィ・ダブリュ株式会社 自動変速機の制御装置
JP3896757B2 (ja) 2000-03-16 2007-03-22 株式会社日立製作所 車両制御方法及び車両制御装置
JP3539362B2 (ja) 2000-07-07 2004-07-07 日産自動車株式会社 車線追従走行制御装置
JP3498910B2 (ja) 2000-09-05 2004-02-23 日産自動車株式会社 車線追従制御装置
JP3603768B2 (ja) 2000-09-06 2004-12-22 日産自動車株式会社 車線逸脱判定装置
KR100776860B1 (ko) 2000-09-08 2007-11-16 레이던 컴퍼니 경로 예측 시스템 및 방법
JP3600518B2 (ja) 2000-10-11 2004-12-15 トヨタ自動車株式会社 車両用変速制御装置
US6879969B2 (en) 2001-01-21 2005-04-12 Volvo Technological Development Corporation System and method for real-time recognition of driving patterns
EP1256479A1 (de) * 2001-05-07 2002-11-13 Ford Global Technologies, Inc., A subsidiary of Ford Motor Company Verfahren zur Fahrer-Typ-Erkennung
JP2002331850A (ja) 2001-05-07 2002-11-19 Nissan Motor Co Ltd 運転行動意図検出装置
DE60226817D1 (de) 2001-08-23 2008-07-10 Nissan Motor Fahrassistenzsystem
JP3531640B2 (ja) 2002-01-10 2004-05-31 日産自動車株式会社 車両用運転操作補助装置
DE50312682D1 (de) * 2002-03-21 2010-06-17 Continental Automotive Gmbh Verfahren zum Steuern eines automatischen Getriebes
US6879896B2 (en) 2002-04-11 2005-04-12 Delphi Technologies, Inc. System and method for using vehicle operator intent to adjust vehicle control system response
FR2838386B1 (fr) * 2002-04-11 2004-06-18 Renault Sa Procede et dispositif d'activation automatique d'un regulateur de vitesse pour vehicule
AU2003218520A1 (en) * 2002-04-12 2003-10-27 Keba Ag Mobile arithmetic unit and extension device for industrial machine control
JP4173324B2 (ja) 2002-06-20 2008-10-29 日産自動車株式会社 アクセルペダル装置
JP3700682B2 (ja) 2002-06-20 2005-09-28 日産自動車株式会社 アクセルペダル装置
JP3838166B2 (ja) 2002-06-20 2006-10-25 日産自動車株式会社 車両用運転操作補助装置
JP3938023B2 (ja) 2002-11-27 2007-06-27 日産自動車株式会社 リスクポテンシャル算出装置、車両用運転操作補助装置、その装置を備える車両およびリスクポテンシャル演算方法
JP4265240B2 (ja) 2003-03-05 2009-05-20 日産自動車株式会社 車両用駆動力制御装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005343317A (ja) * 2004-06-03 2005-12-15 Nissan Motor Co Ltd 車両用運転操作補助装置および車両用運転操作補助装置を備える車両
JP4543760B2 (ja) * 2004-06-03 2010-09-15 日産自動車株式会社 車両用運転操作補助装置および車両用運転操作補助装置を備える車両
JP2006213276A (ja) * 2005-02-07 2006-08-17 Nissan Motor Co Ltd 運転意図推定装置、車両用運転操作補助装置および車両用運転操作補助装置を備えた車両

Also Published As

Publication number Publication date
EP1544070B1 (en) 2016-03-09
EP1544070A1 (en) 2005-06-22
JP2005180196A (ja) 2005-07-07
US7440823B2 (en) 2008-10-21
US20050131589A1 (en) 2005-06-16

Similar Documents

Publication Publication Date Title
JP4281543B2 (ja) 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
JP4229051B2 (ja) 運転意図推定装置、車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
JP4400316B2 (ja) 運転意図推定装置、車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
JP4226455B2 (ja) 運転意図推定装置、車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
JP3873876B2 (ja) 車両用運転操作補助装置およびその装置を備えた車両
JP4062310B2 (ja) 運転意図推定装置、車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
JP4561092B2 (ja) 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
JP3982456B2 (ja) 車両用リスクポテンシャル算出装置、車両用運転操作補助装置、車両用運転操作補助装置を備える車両およびリスクポテンシャル算出方法
JP4367319B2 (ja) 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
JP4367254B2 (ja) 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
JP4483837B2 (ja) 車両用運転操作補助装置およびその装置を備えた車両
JP5293784B2 (ja) 操作補助方法、操作補助装置、制御プログラム、および車両
JP3157986B2 (ja) 追突防止システムにおける追突危険性判断方法
JP4852851B2 (ja) 運転意図推定装置、車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
JP2004182200A (ja) 車両用運転操作補助装置およびその装置を備えた車両
JP3948463B2 (ja) 車両用運転操作補助装置および車両用運転操作補助装置を備える車両
JP4947134B2 (ja) 操作補助方法、操作補助装置、制御プログラム、および車両
JP4063283B2 (ja) 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
JP4605200B2 (ja) 運転意図推定装置、車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
JP4483827B2 (ja) 車両用運転操作補助装置
JP4927056B2 (ja) 運転意図推定装置、車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
JP4042633B2 (ja) 車両用リスクポテンシャル算出装置、車両用運転操作補助装置および車両用運転操作補助装置を備える車両
JP4622465B2 (ja) 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
JP3767572B2 (ja) 車両用運転操作補助装置およびその装置を備えた車両
JP3879708B2 (ja) 車両用リスクポテンシャル算出装置、車両用運転操作補助装置および車両用運転操作補助装置を備える車両

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060829

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080624

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080822

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081021

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090224

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090309

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120327

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120327

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130327

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130327

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees