[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN102656613B - 使用眼睛注视技术、盲点指示器和驾驶员经验的预测人机接口 - Google Patents

使用眼睛注视技术、盲点指示器和驾驶员经验的预测人机接口 Download PDF

Info

Publication number
CN102656613B
CN102656613B CN201080057617.7A CN201080057617A CN102656613B CN 102656613 B CN102656613 B CN 102656613B CN 201080057617 A CN201080057617 A CN 201080057617A CN 102656613 B CN102656613 B CN 102656613B
Authority
CN
China
Prior art keywords
driver
vehicle
alarm
eye
understanding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201080057617.7A
Other languages
English (en)
Other versions
CN102656613A (zh
Inventor
S·菲特
N·朔夫勒
D·乔伊
M·科斯特利施
R·米勒
C·格瑞比
J·林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of CN102656613A publication Critical patent/CN102656613A/zh
Application granted granted Critical
Publication of CN102656613B publication Critical patent/CN102656613B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/30—Conjoint control of vehicle sub-units of different type or different function including control of auxiliary equipment, e.g. air-conditioning compressors or oil pumps
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/30—Driving style
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Traffic Control Systems (AREA)
  • Regulating Braking Force (AREA)
  • Steering Control In Accordance With Driving Conditions (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

公开了一种用于预防车辆事故的系统和方法。该系统包括用于从驾驶员接收眼睛注视矢量的眼睛注视检测器。该系统还包括用于检测邻近物体的位置及其速度的接近度感测器。基于邻近物体的位置和速度确定车辆事故风险。此外，基于邻近物体位置和速度以及眼睛注视位置确定驾驶员对车辆境况的了解。响应于驾驶员的了解和车辆事故风险，激活车辆警报。

Description

使用眼睛注视技术、盲点指示器和驾驶员经验的预测人机接口
相关申请
本申请要求2009年12月18日提交的美国临时申请号61/288200的权益，其整体内容通过引用结合于此。
技术领域
示例性实施例涉及机动车人机接口的领域，并且尤其涉及一种使用眼睛注视技术、盲点指示器和驾驶员经验信息的预测人机接口。
背景技术
在机动车制造商和消费者中始终保持着对机动车安全的关注。虽然现代的汽车包含了许多被设计来提高使用者安全的进展，但是驾驶员的动作经常成为汽车事故是否对使用者造成伤害的最终决定因素。为了解决这一问题，制造商最近开始在其汽车设计中加入事故预防系统以试图缓解驾驶员错误并预防事故的发生，而不是依赖于对事故发生之后的安全措施。事故预防系统的范围在功能上从仅仅就即将发生的事故对驾驶员进行警报到取得对车辆的控制以主动预防或缓解事故。
然而，事故预防系统具有妨碍了其被广泛采用的内在问题。事故预防系统在本质上对驾驶员的车辆控制造成了干扰。这样，驾驶员对车辆周围环境的解释被汽车自身对相同事件的解释所替代或改变。然而，现有的事故预防系统所使用的信息远少于一个有能力的驾驶员。结果，现有的事故预防系统易于就驾驶员知道将不会发生的事故提供警告。
更为频繁的是，缺少与汽车境况相关的信息使得事故预防系统对驾驶员已经了解的危险驾驶情形的提供警告。现有的事故预防系统无法得知驾驶员对汽车境况的知道什么。在许多情况下，并不必关于驾驶员已经认识到会发生的可能地危险驾驶情形对他们进行警告。结果，现有的事故预防系统提供了比必要的警告更多的警告，并且因此对驾驶员造成了骚扰。结果，许多具有这种系统的车主会忽略事故预防系统或者使其完全失效，由此使其效用无从发挥。
发明内容
本发明的一个实施例包括一种用于事故预防的预测人机接口。该人机接口包括事故预防系统和眼睛注视检测系统。事故预防系统和眼睛注视检测系统一起允许针对危险驾驶情形的适当响应的复杂确定。眼睛注视检测系统提供了眼睛注视矢量信息，其向事故预防系统指示了驾驶员所注视位置的确定。根据眼睛注视矢量信息，事故预防系统能够确定驾驶员对当前驾驶境况的了解。事故预防系统随后能够基于汽车境况和之前所确定的驾驶员对车辆境况的了解对潜在的车辆事故提供适当响应(例如，以警报或警告的形式)。
如果汽车的车辆当前境况所造成的风险低，并且确定了驾驶员了解那些风险，则事故预防系统可以几乎不采取动作。随着事故风险的增加，事故预防系统可以提供类型根据风险而变化的警报。警报的类型还取决于驾驶员对车辆境况的认知。在确定了驾驶员不了解汽车境况并且存在高的事故风险的情况下，所选择的警报类型具有被调整为就车辆事故风险对用户进行通知以便预防该事故的音频和/或视觉分量。此外，在一些实施例中，事故预防系统也可以对汽车进行主动控制以预防事故，尤其是在即将高于最高事故风险并且确定驾驶员不了解该风险的情况下。
在本发明的具体实施例中，事故预防系统包括被配置为检测特定的邻近物体(例如，车辆)以检测危险驾驶情形的汽车环境感测器。在一些实施例中，汽车环境感测器包括接近度感测器以确定汽车是否具有处于其紧前方的另一汽车。事故预防系统接着发出警告或者对汽车采取动作以免造成与其前方汽车的追尾碰撞。在其它实施例中，接近度感测器被用于警告或调节汽车的行进方向以将车辆保持在当前车道。在其它实施例中，接近度感测器检测相邻车道中的汽车并且指示转弯或改变车道对于汽车而言是否安全。
在其它实施例中，事故预防系统被补充以驾驶员经验模块。驾驶员经验模块被配置为收集驾驶员经验信息，并且使用该信息来确定驾驶员的驾驶经验水平。驾驶员的驾驶经验水平被用来调节事故预防系统的表现。如果确定了驾驶员具有高的驾驶经验水平，则事故预防系统将显示较少的警报并且在驾驶校正中作为较不主动的角色。相应地，如果确定了驾驶员具有低的驾驶经验水平，则事故预防系统将显示更多警报并且将在驾驶校正中作为更主动的角色。
本发明的一个实施例的优势在于其在确定提供什么类型的事故预防响应时结合了驾驶员对车辆当前境况的了解。这产生了在减少汽车事故的频率和严重性方面将更为有效的更好的调整警报。此外，更好的调整警报将可能使得驾驶员发现该警报是有帮助的而不是恼人的。结果，驾驶员就不太可能弃用事故预防系统，这增加了它们的采用。
说明书中所描述的特征和优势并不是无所不包的，特别是许多其它特征和优势将由于附图和说明书而对于本领域技术人员而言是显而易见的。此外，应当注意到，说明书中所使用的语言主要出于可读性和教导的目的而进行选择，而并没有被选择来对发明的主题进行描绘或限制。
附图说明
图1-3描绘了向事故预防系统提供驾驶员正在看向哪里的确定的眼睛注视检测系统的一个实施例。
图4图示了依据一个实施例的碰撞缓解制动系统的系统配置。
图5图示了依据一个实施例的冲撞缓解制动系统的操作示例。
图6是没有使用眼睛注视技术的现有碰撞缓解制动系统的流程图。
图7是依据一个实施例的结合眼睛注视检测系统进行操作的碰撞缓解制动系统的流程图。
图8图示了依据一个实施例的用于使用车道保持辅助系统(LKAS)的预测HMI的车辆布局和电路。
图9是没有使用眼睛注视技术的现有车道保持辅助系统的流程图。
图10是依据一个实施例的结合眼睛注视检测系统进行操作的车道保持辅助系统的流程图。
图11图示了依据一个实施例的用于使用盲点指示(BSI)系统的预测HMI的车辆布局和电路。
图12图示了依据一个实施例的现有盲点指示系统的操作示例。
图13-14是现有盲点指示系统的流程图。
图15-20是依据一个实施例的结合眼睛注视检测系统进行操作的盲点指示系统的流程图。
图21概括了能够在依据一个实施例的结合眼睛注视检测系统进行操作的盲点指示系统中使用的各种类型警报。
图22图示了依据一个实施例的结合到引擎启动/熄火按钮中的指纹读取器系统。
图23是依据一个实施例的使用眼睛注视矢量信息确定驾驶员经验水平的驾驶员经验系统的操作流程图。
图24图示了依据一个实施例的能够在确定驾驶员的经验水平时考虑的附加因素的示例。
图25是依据一个实施例的使用驾驶员的经验水平来确定是否显示帮助信息给驾驶员的示例的流程图。
图26是依据一个实施例的使用驾驶员的经验水平来确定是否显示某信息给驾驶员的示例的流程图。
附图仅出于图示的目的描绘了各个实施例。本领域技术人员从以下讨论将轻易地认识到，可以采用这里所图示的结构和方法的可替换实施例而并不背离这里所描述的原理。
具体实施方式
一个实施例的特征是一种用于事故预防的预测人机接口(HMI)。该人机接口包括事故预防系统和眼睛注视检测系统。事故预防系统和眼睛注视检测系统一起允许针对危险驾驶情形的适当响应的复杂确定。
眼睛注视检测系统
图1-3描绘了向事故预防系统提供驾驶员正在看向哪里的确定的眼睛注视检测系统的一个实施例。图1图示了依据一个实施例的眼睛注视检测系统。该眼睛注视检测系统包括眼睛追踪计算单元(或者眼睛追踪电子控制单元(ECU))110、红外(IR)照明器120和相机120。所有这些元件都电耦合在一起。眼睛追踪ECU 110被配置为对IR照明器和相机120进行控制以捕获眼睛注视数据。眼睛追踪ECU 110还被配置为对从相机120所接收的眼睛注视数据执行计算以确定指示驾驶员注视位置的眼睛注视矢量。眼睛注视矢量可以通过车辆CAN总线130而被传输到车辆的其它部分，特别是事故预防系统。
美国专利7206435描述了一种用于眼睛注视检测的系统和方法，其全文通过引用结合于此。眼睛注视检测系统可以以多种不同的方式来构造，并且该专利提供了如何构造这样的系统的一个示例。在一些实施例中，眼睛追踪ECU 110还被配置为将眼睛注视矢量关联到车辆内部位置(例如，驾驶员正在观看乘客，或者处于后视镜中)。在一个实施例中，眼睛追踪ECU 110使用具有能够存储计算机程序指令的存储装置和/或存储器的处理器来构造，当计算机程序指令被处理器执行时，该计算机程序指令执行这里所描述的各种功能。在一些实施例中，眼睛追踪ECU 110是车辆电子控制单元(ECU)的一部分。“Smart Eye Pro 5.0”白皮书也描述了一种可以依据本发明的另一个实施例使用的用于眼睛注视检测的设备，其全文通过引用结合于此。
IR照明器和相机120(分别)被用来创建和接收眼睛注视数据，并且将眼睛注视数据提供至眼睛追踪ECU。在图1的示例实施例中，IR照明器和相机120附接在一起，然而在其它实施例中，它们可以是分离的。在一个实施例中，相机120被配置为在IR电磁频率范围内进行操作。在一些实施例中，使用多于一个这样的相机。眼睛追踪ECU 110使用眼睛注视数据来确定眼睛注视矢量。在一些实施例中，眼睛注视检测系统的相机能够通过各种类型的眼镜在各种照明条件下进行观看，以便清楚地追踪驾驶员的眼睛位置。在一些实施例中，使用其它类型的系统来检测驾驶员正在使用的方向并且例如可以使用非红外光。
图2图示了依据一个实施例的在车辆操作中的眼睛注视检测系统的示例。在一个实施例中，虽然预见到也可以使用其它位置，但是IR照明器和(多个)相机120被定位在仪表盘、转向柱和/或方向盘上。图2图示了用于特定实施例的相机视线和样本眼睛注视矢量。
图3图示了依据一个实施例的眼睛注视技术如何工作的示例。在一个实施例中，两个同心圆310a和310b被用来计算注视矢量的起始平面以及眼睛中心点。
结合眼睛注视检测的事故预防系统
预测人机接口的事故预防系统使用来自眼睛注视检测系统的眼睛注视矢量信息来提高其决定制定过程的复杂度。眼睛注视矢量信息允许事故预防系统部分地基于驾驶员是否了解危险驾驶境况来调整其警报或有效汽车控制形式的响应。事故预防系统包括不同种类的接近度感测器(例如，位于车辆不同部分的雷达)，其检测车辆的周边环境并且提供结合驾驶员的眼睛注视矢量使用来确定是否发出警报或激活汽车控制功能的基线信息。包括事故预防系统和眼睛注视检测系统的车辆在以下被称作“增强型车辆”。
事故预防系统能够根据事故预防系统被配置为对其进行响应的危险驾驶境况的类型来发出不同种类的警报并且激活不同的车辆控制功能。以下将对危险车辆境况的示例进行描述以说明事故预防系统的各个实施例和特征。每种类型的车辆境况(或车辆事故风险)可以使用不同种类的接近度感测器来向事故预防系统提供被其用作用于确定要提供哪种响应的基线的数据。危险车辆境况的示例包括前方碰撞事故、变道事故和车道保持事故。然而，这些示例仅是说明性的，并且这里所描述的预测HMI可以被配置为也对其它危险境况作出响应而并不背离这里所描述的原理。
碰撞缓解制动系统
在一个实施例中，事故预防系统包括碰撞缓解制动系统(CMBS)。当前的CMBS以声音发出警报并且在一些情况下根据驾驶员车辆与驾驶员车辆前方的车辆之间的距离以及两车之间的速度差对车辆进行制动。在示例性实施例中，CMBS使用眼睛注视矢量信息以在驾驶员的注意力集中于道路时使得警报最少化以防止发出不必要的警报。
图4图示了依据一个实施例的碰撞缓解制动系统(CMBS)的系统配置。CMBS包括雷达设备420和电子预紧器(pretensioner)(未示出)。在一个实施例中，雷达设备420是毫米波雷达。虽然雷达也可以放置在车辆的其它地方，但是在图4所示的实施例中，雷达设备420位于车辆前方。增强型车辆还包括CMBS计算设备(或“ACC/CMBS ECU”)410，其包括处理器以及能够存储计算机程序指令的存储装置和/或存储器，当计算机程序指令被处理器所执行时，该计算机程序指令执行这里所描述的各种功能。ACC/CMBS ECU410可以被结合到车辆的电子控制单元(ECU)中。雷达设备420电连接到ACC/CMBS ECU 410并且将外部车辆位置和速度信息传输给ACC/CMBS ECU。
图5图示了依据一个实施例的冲撞缓解制动系统的操作示例。如图5所示，在一个实施例中，雷达420检测到增强型车辆之前的车辆并且向ACC/CMBS ECU 410提供信息。如果检测到冲撞风险，作为CMBS和事故预防系统的一部分，ACC/CMBS ECU向驾驶员提供音频和/或视觉警告。如果两车继续会聚，则CMBS能够对增强型车辆施加轻微制动并且使用电子预紧器稍微增加安全带的张力以向驾驶员提供触觉警告。如果车辆甚至更为靠近，例如达到冲撞不可避免或接近于不可避免的点，如果驾驶员没有采取动作，则CMBS能够激活对增强型车辆的强制动并且使用电子预紧器牢固地收紧安全带以缓解冲击所导致的伤害。
图6是没有使用眼睛注视技术的现有碰撞缓解制动系统的流程图。现有系统检测在驾驶员车辆的前方是否存在目标车辆605并且确定目标车辆相对于驾驶员车辆的相对速度610。如果目标车辆移动更快615，则不给出警报625。如果目标车辆移动更慢，但是比驾驶员车辆慢(例如)每小时十英里(mph)内620，则不给出警报625。如果目标车辆比驾驶员车辆移动慢10mph以上630，则现有系统确定到目标车辆的距离635并且如果距离低于警报阈值640则生成警报645。否则645，不提供警报625。警报阈值可以根据驾驶员车辆的速度或者两车之间的速度差而变化。
诸如图6中所描述的系统所提供的任意警报独立于驾驶员对境况的了解。这里，境况是驾驶员汽车与驾驶员汽车前方的目标车辆的相对位置和速度。即使在驾驶员充分意识到目标车辆的情况下，也将无论如何提供警告。例如如果驾驶员正在加速以安全改变车道，则这可能对驾驶员是恼人的。在该示例中，驾驶员可能意识到其正在接近于(可能是危险接近)目标车辆，但是具有更为安全地改变车道的意图。在该示例中，不必要的警告可能会阻碍驾驶员安全执行变道的能力。基于诸如这样的经验，驾驶员将可能会忽略警告消息或者使得警告系统完全失效，由此使得其效用无从发挥。
图7是依据一个实施例的结合眼睛注视检测系统进行操作的碰撞缓解制动系统的流程图。增强型车辆中的CMBS检测增强型车辆前方是否存在目标车辆705，并且确定目标车辆相对于增强型车辆的相对速度710。如果目标车辆移动更快715则不给出警报725。如果目标车辆移动更慢，但是比驾驶员车辆慢(例如)每小时十英里(mph)内720，则不给出警报725。如果目标车辆比驾驶员车辆移动慢10mph以上730，则CMBS与眼睛注视检测系统进行通信以获得驾驶员正在看哪里的确定735。如果驾驶员没有向前看道路740，则CMBS增加警报阈值距离数值(以使得在目标车辆更远时将进行警报)。另一方面。如果驾驶员正在看道路745，则CMBS维持警报阈值距离数值不变或使其减小。随后CMBS ECU系统确定与目标车辆的距离750并且如果距离低于警报阈值755则生成警报765。否则760，不提供警报725。
通过将眼睛注视检测系统结合到事故预防系统的CMBS中，可以针对驾驶员对驾驶境况的了解来调整警报。再次考虑以上驾驶员进行加速来改变车道的示例。在这种情况下，如果驾驶员在查看其与其前方车辆有多接近的同时进行加速来改变车道，则不提供警报。通过基于驾驶员的意识来限制给出警报的阈值，总体上提供了较少的警报，提高了每次警报的功效并且鼓励驾驶员将事故预防系统当做一种有价值的工具而不是烦扰。
车道保持辅助系统
在一个实施例中，事故预防系统包括车道保持辅助系统(LKAS)。LKAS在相机图像指示驾驶员车辆正在偏离其当前通车车道时以声音发出可听和/或视觉警告。在示例性实施例中，LKAS使用眼睛注视矢量信息以在驾驶员的注意力集中于道路时消除警告。
图8图示了依据一个实施例的用于使用车道保持辅助系统(LKAS)的预测HMI的车辆布局和电路。LKAS包括LKAS ECU810，其包括处理器以及能够存储计算机程序指令的存储装置和/或存储器，当计算机程序指令被处理器所执行时，该计算机程序指令执行这里所描述的各种功能。LKAS还包括相机820，在一个实施例中，其接近于挡风玻璃而位于增强型车辆的中间。预见到可以使用其它的相机位置甚至可以使用多个相机。LKAS连接到车辆通信(CAN)总线130并且可以是车辆的ECU的一部分。在这种情况下，LKASECU 810是车辆的ECU的一部分。
图9是没有使用眼睛注视技术的现有车道保持辅助系统的流程图。在一个示例实施例中，LKAS在驾驶员车辆以每小时60和100千米(km)之间的车辆速度在直线道路或者具有230米或更大半径的弯道的道路上运行的情况下进行操作。其它实施例可以利用不同的运行状况进行操作。相机检测到车道标记910并且基于相机相对于车道标记的地理位置来确定车辆是否处于车道标记内920。如果车辆处于车道标记之外940，则给出警报960。否则930，则不给出警报950。
诸如图9所描绘的现有系统所提供的警报独立于驾驶员对境况的了解。这里，境况包括车辆相对于相机的地理位置以及车道标记的布局的位置和定向。即使驾驶员有目的地缓慢改变车道，无论如何也将会提供警告。在该示例中，不必要的警告会烦扰驾驶员，导致他们忽略LKAS所提供的警告或者完全使得该系统无效。
图10是依据一个实施例的结合眼睛注视检测系统进行操作的车道保持辅助系统的流程图。在增强型车辆中，相机820检测车道标记1005，并且基于相机相对于车道标记的地理位置来确定车辆是否处于车道标记之内1010。如果车辆处于车道标记之外1020，则系统使用眼睛注视检测器来确定驾驶员是否将注意力集中于道路1030。如果驾驶员向前看着道路1040，则给出较低强度的警报1050。如果驾驶员没有向前看道路1035，则给出较高强度的警报1045。如果车辆处于车道标记之内1015，则不提供警报1025。
所给出的警报的强度是相对的，并且能够提供各种较低和较高强度的警报。例如，低强度警报可以仅是视觉警报，而高强度警报则包括视觉警报和音频警报。在另一个示例中，低强度警报可以是根本没有警报，而高强度警报包括视觉和/或音频警报。在其它示例中，警报基于音频警报的音量或位置而不同，或者基于视觉警报的视觉图案、亮度或位置而不同。警报的位置可以被用来将驾驶员的注意力吸引到特定的注视位置，例如将他们的注意力吸引到车辆的左侧或右侧。
通过将眼睛注视检测系统结合到事故预防系统的LKAS，可以针对驾驶员对驾驶境况的了解而对警报进行调整。再次考虑以上的驾驶员非常缓慢地改变车道的示例。在这种情况下，如果驾驶员正看着道路，则不提供警报或者提供低强度警报。通过限制所提供警报的数目和/或警报强度，每个警报变得更有效，鼓励驾驶员将事故预防系统当做一种有价值的工具而不是烦扰。
车道改变和盲点指示系统
在一个实施例中，事故预防系统包括盲点指示(BSI)系统。BSI系统在增强型车辆要进入已经被另一车辆已经占据的车道时提供视觉或音频警告。在示例性实施例中，BSI系统使用眼睛注视矢量信息以对要向驾驶员提供警报的境况进行限制。
图11图示了依据一个实施例的用于使用盲点指示(BSI)系统的预测HMI的车辆布局和电路。在一个实施例中，增强型车辆包括指向车辆尾部左侧1120b和右侧1120d的两个雷达设备以及在左侧1120a和右侧1120c指向驾驶员车辆正后方位置的两个雷达设备。雷达1120连接到盲点指示(BSI)ECU 1110。BSI ECU 1110可以是车辆的ECU的一部分，其经由数据总线(车辆CAN总线)130连接到其它车辆感测器和设备。BSI ECU可以包括具有能够存储计算机程序指令的存储装置和/或存储器的处理器，当计算机程序指令被处理器所执行时，该计算机程序指令执行这里所描述的各种功能。
图12图示了依据一个实施例的现有盲点指示系统的操作示例。图12显示了位于驾驶员盲点中的两个警报区域1240(驾驶员车辆被称作宿主车辆1220)。图12还图示了由现有BSI系统触发和不触发警报1210的情形。这些情形在图13和14中更为详细的进行描述。例如，警报1210可以由进入警报区域1240的其它车辆1230或静止物体所触发。
图13-14是现有盲点指示系统的流程图。在一个这样的示例BSI系统中，如果另一个“目标”车辆进入警报区域1305，BSI ECU确定目标所接近的方向1310。如果目标车辆从前方接近1315，则BSI系统确定目标车辆的相对速度1325。如果速度类似驾驶员车辆1330或大于驾驶员车辆1335，则不生成警报1340。如果相对速度小于驾驶员车辆1345，则BSI系统确定驾驶员是否已经激活了其车辆在目标车辆方向的转向信号1410。如图14所显示的，如果是1420，则生成警报类型2的警报1450。同样如图14所显示的，如果转向信号1430不是在目标车辆的方向1430，则可以生成警报类型1的警报1440。
参考图13和14，如果目标车辆正在从后方接近警报区域1350，则BSI确定驾驶员车辆的转向信号1410是否在目标车辆的方向1410。如果是1420，则生成警报类型2的警报1450。如果转向信号没有在目标车辆的方向1430，则可以生成警报类型2的警报1440。
参考图13和14，如果目标车辆从警报区域的侧面进入警报区域1320，则BSI系统确定目标对象是车辆还是静止对象1335。如果是静止对象，则不给出警报(未示出)。如果是目标车辆，则BSI ECU确定目标车辆关于驾驶员车辆的相对速度，并且如果速度类似1360则不生成警报1340，虽然在可替换实施例中，如果速度类似则该过程在图14的步骤1继续并且可以导致警报得以被生成以警告驾驶员车辆已经进入了驾驶员的盲点。如果目标车辆的速度低于驾驶员车辆的速度1365，则BSI ECU确定驾驶员车辆的转向信号是否在目标车辆的方向1410。如果是1420，则生成警报类型2的警报1450。如果转向信号不在目标车辆的方向1430，则可以生成警报类型1的警报1440。在可替换实施例中，如果目标车辆的速度小于驾驶员车辆的速度，则不生成警报。在一个示例实施例中，警报是指示器图像1460，其强度基于类型1或类型2的警报类型以及基于环境光条件(例如，夜间和日间)而变化。
诸如图12-14所述的系统所提供的任意警报独立于驾驶员对境况的了解。这里，境况包括在驾驶员的盲点中出现车辆或物体。不必要的警告可能会烦扰驾驶员，导致他们忽略BSI系统所提供的警告或者使得系统完全失效。
图15-20是依据一个实施例的结合眼睛注视检测系统进行操作的盲点指示系统的流程图。在该实施例中，BSI系统将眼睛注视矢量信息结合到其关于在车辆或物体进入驾驶员盲点时是否提供警报的确定之中。参考图15，如果目标车辆进入警报区域1501，BSI ECU确定目标车辆正在接近的方向1502。如果目标车辆从前方接近警报区域1503，则BSI ECU确定警报区域处于驾驶员一侧还是乘客一侧1505。
如果目标车辆从前方以及从驾驶员一侧接近警报区域1506，则BSI ECU确定目标车辆与增强型车辆相比的相对速度1517(图16)。如果目标车辆的速度与宿主车辆类似1518或比宿主测量更快1519，则不给出警报1520。如果目标车辆的速度小于增强型车辆1521，则BSI ECU使用眼睛注视矢量确定驾驶员正看向哪里1522。如果驾驶员向前看着道路或者看向驾驶员一侧的车窗1523，则(参考图19中的#7)如果BSI ECU确定转向感测器检测到左转1550，其就生成警报1552，例如警报类型1。如果BSI ECU确定转向感测器没有检测到左转，则如果BSI ECU确定左转信号没有打开1551其就生成警报1553，例如警报类型2，并且如果BSI ECU确定左转信号打开1551其就生成警报1554，例如，警报类型3。参考图16，如果驾驶员看向乘客区或者中心区1524，则(参考图19中的#8)，如果BSI ECU确定转向感测器检测到左转1555其就生成警报1552，例如警报类型1。如果BSI ECU确定转向感测器没有检测到左转，则如果BSI ECU确定左转信号没有打开1556其就生成警报1553，例如警报类型2，并且如果BSI ECU确定左转信号打开1556其就生成警报1557，例如警报类型4。
如果目标车辆从前方并且从乘客一侧接近警报区1507，则BSIECU确定目标车辆与增强型车辆相比的相对速度1525(图16)。如果目标车辆的速度与宿主车辆类似1526或比宿主车辆更快1527，则不给出警报1520。如果目标车辆的速度小于增强型车辆1528，则BSI ECU使用眼睛注视技术确定驾驶员正看向哪里1529。如果驾驶员向前看着道路或者看向乘客一侧的车窗1530，则(参考图20中的#9)如果BSI ECU确定转向感测器检测到右转1558，其就生成警报1560，例如警报类型5。如果BSI ECU确定转向感测器没有检测到右转，则如果BSI ECU确定右转信号没有打开1559其就生成警报1553，例如警报类型2，并且如果BSI ECU确定右转信号打开1559其就生成警报1554，例如警报类型3。参考图16，如果驾驶员正看向驾驶员一侧的车窗或中间区1531，则(参考图20中的#10)如果BSI ECU确定转向感测器检测到右转1561其就生成警报1561，例如警报类型5。如果BSI ECU确定转向感测器没有检测到右转，则如果BSI ECU确定右转信号没有打开1562其就生成警报1553，例如警报类型2，并且如果BSI ECU确定右转信号打开1562其就生成警报1563，例如警报类型6。
如果目标车辆从后方1508以及从驾驶员一侧1510接近警报区，则BSI ECU使用眼睛注视技术确定(参考图17中的#3)驾驶员正看向哪里1532。如果驾驶员向前看着道路或者看向驾驶员一侧的车窗1533，则(参考图19中的#7)如果BSI ECU确定转向感测器检测到左转1550，其就生成警报1552，例如警报类型1。如果BSI ECU确定转向感测器没有检测到左转，则如果BSI ECU确定左转信号没有打开1551其就生成警报1553，例如警报类型2，并且如果BSI ECU确定左转信号打开1551其就生成警报1554，例如，警报类型3。参考图17，如果驾驶员看向乘客区或者中心区1534，则(参考图19中的#8)，如果BSI ECU确定转向感测器检测到左转1555其就生成警报1552，例如警报类型1。如果BSI ECU确定转向感测器没有检测到左转，则如果BSI ECU确定左转信号没有打开1556其就生成警报1553，例如警报类型2，并且如果BSI ECU确定左转信号打开1556其就生成警报1557，例如警报类型4。
如果目标车辆从后方以及从乘客一侧15111接近警报区，则BSI ECU使用眼睛注视技术确定(参考图17中的#4)驾驶员正看向哪里1535。如果驾驶员向前看着道路或者看向乘客一侧的车窗1536，则(参考图20中的#9)如果BSI ECU确定转向感测器检测到右转1558，其就生成警报1560，例如警报类型5。如果BSI ECU确定转向感测器没有检测到右转，则如果BSI ECU确定右转信号没有打开1559其就生成警报1553，例如警报类型2，并且如果BSI ECU确定右转信号打开1559其就生成警报1554，例如警报类型3。参考图17，如果驾驶员正看向驾驶员一侧的车窗或中间区1537，则(参考图20中的#10)如果BSI ECU确定转向感测器检测到右转1561，其就生成警报1560，例如警报类型5。如果BSI ECU确定转向感测器没有检测到右转，则如果BSI ECU确定右转信号没有打开1562其就生成警报1553，例如警报类型2，并且如果BSI ECU确定1562右转信号打开其就生成警报1563，例如警报类型6。
如果目标车辆从侧面1504以及从驾驶员一侧1513接近警报区，则BSI ECU确定(参考图18中的#5)目标车辆实际上是车辆还是静止物体1538。如果其是车辆，则BSI ECU确定目标车辆与增强型车辆相比的相对速度。如果目标车辆的速度与宿主车辆相似或比宿主车辆更快1540，则不给出警报1520，虽然在可替换实施例中，在这种和类似情形中可以给出警报，但是在这里经受剩余的测试，例如驾驶员正看向哪里。如果目标车辆的速度小于增强型车辆1539，则BSI ECU使用眼睛注视技术确定驾驶员正看向哪里1541。如果驾驶员向前看着道路或者看向驾驶员一侧的车窗1542，则(参考图19中的#7)如果BSI ECU确定转向感测器检测到左转1550其就生成警报1552，例如警报类型1。如果BSI ECU确定转向感测器没有检测到左转，则如果BSI ECU确定左转信号没有打开1551其就生成警报1553，例如警报类型2，并且如果BSI ECU确定左转信号打开1551其就生成警报1554，例如，警报类型3。参考图18，如果驾驶员看向乘客区或者中心区1543，则(参考图19中的#8)如果BSI ECU确定转向感测器检测到左转1555其就生成警报1552，例如警报类型1。如果BSI ECU确定转向感测器没有检测到左转，则如果BSI ECU确定左转信号没有打开1556其就生成警报1553，例如警报类型2，并且如果BSI ECU确定左转信号打开1556其就生成警报1557，例如警报类型4。
如果目标车辆从侧面1504以及从乘客一侧1516接近警报区，则BSI ECU确定(参考图18中的#6)目标车辆实际上是车辆还是静止物体1544。如果其是车辆，则BSI ECU确定目标车辆与增强型车辆相比的相对速度。如果目标车辆的速度与宿主车辆相似或比宿主车辆更快1546，则不给出警报1520，虽然在可替换实施例中，在这种和类似情形中可以给出警报，但是在这里经受剩余的测试，例如驾驶员正看向哪里。如果目标车辆的速度小于增强型车辆1545，则BSI ECU使用眼睛注视技术确定驾驶员正看向哪里1547。如果驾驶员向前看着道路或者看向乘客一侧的车窗1548，则(参考图20中的#9)如果BSI ECU确定转向感测器检测到右转1558其就生成警报1560，例如警报类型5。如果BSI ECU确定转向感测器没有检测到右转，则如果BSI ECU确定右转信号没有打开1559其就生成警报1553，例如警报类型2，并且如果BSI ECU确定右转信号打开1559其就生成警报1554，例如警报类型3。参考图18，如果驾驶员正看向驾驶员一侧的车窗或中间区1549，则(参考图19中的#10)如果BSI ECU确定转向感测器检测到右转1561其就生成警报1560，例如警报类型5。如果BSI ECU确定转向感测器没有检测到右转，则如果BSI ECU确定右转信号没有打开1562其就生成警报1553，例如警报类型2，并且如果BSI ECU确定右转信号打开1562其就生成警报1563，例如警报类型6。
图21概括了依据一个实施例的能够在结合眼睛注视检测系统进行操作的盲点指示系统中使用的各种类型的警报。连同不提供警报一起，图21中的六种警报指示了基于境况信息和眼睛注视矢量信息的BSI系统的可能响应的范围。这与以上所述仅能够提供两种不同警报类型(三次计数、无警报)的现有系统形成了对比。所增加的不同类型的警报被用来基于所确定的驾驶员注视的位置来提供针对外部汽车境况的复杂响应。
根据驾驶员车辆所面临的危险，所提供的警报可以以若干种方面进行变化。例如，警报可以为音频或视觉的形式，警报可以在可听或视觉强度上有所变化，音频或视觉警报的位置可以有所改变，和/或警报可以是恒定的或周期性的或不定期的形式。通过变换警报的这些不同变量，许多不同的警报类型是可能的。将会显而易见的是，可以使用许多其它类型的警报而并不背离其范围。
BSI系统使用这些不同类型的警报对针对车辆境况和驾驶员注视位置所提供的警报进行调整。例如，警报类型1和4提供驾驶员侧警报。然而，这些警报是否将被提供则将取决于驾驶员是否了解外部威胁。驾驶员对外部威胁的了解是基于是否确定了驾驶员注视是正在看向驾驶员一侧的车窗之外。
使用眼睛注视矢量信息的BSI系统不仅能够确定何时提供警报，而且还能够确定何时不提供警报。以这种方式，如果驾驶员正将注意力集中于BSI的接近度感测器所感知到的威胁，则不提供警报。结果，BSI系统能够减少提供给驾驶员的不必要警告的数目。
驾驶员经验系统
在一个实施例中，人机接口还包括驾驶员经验系统。驾驶员经验系统对驾驶员的驾驶进行追踪以确定驾驶员的经验水平。驾驶员的经验水平反映了驾驶员的驾驶技能。基于该经验水平，驾驶员经验系统能够改变呈现给驾驶员的信息。如果驾驶员经验不足，则HMI可以提供附加警报以及帮助信息来辅助驾驶员。HMI系统还可以留意车辆的一些资讯娱乐系统以帮助驾驶员将注意力保持集中于道路。与之相比，如果驾驶员经验丰富，则HMI可以提供较少的信息，可以减少警报的数目和强度，并且将不会以与经验不足的驾驶员相同的程度对资讯娱乐系统进行留意。
图22图示了依据一个实施例的被结合到引擎启动/熄火按钮2210中的指纹读取器系统。驾驶员经验系统接收来自指纹读取器系统的信号以识别车辆的驾驶员。驾驶员的身份被用来追踪驾驶员并且确定驾驶员的经验水平(或经验水平得分)。
在一个实施例中，指纹读取器系统2210可以包括能够使用的常规指纹读取器，诸如可从加州Redwood City的DigitalPersona公司商业获得的DIGITAL PERSONA PRO。在可替换的实施例中，可以使用其它的个人识别系统来确定驾驶员的身份，例如使用密钥卡或者要求驾驶员输入标识符。驾驶员经验系统可以包括具有能够存储计算机程序指令的存储装置和/或存储器的处理器，当计算机程序指令被处理器执行时，该计算机程序指令执行这里所描述的各种功能，并且驾驶员经验系统可以作为车辆的电子控制单元(ECU)的一部分。
图23是依据一个实施例的驾驶员经验系统使用眼睛注视矢量信息来确定驾驶员经验水平的操作的流程图。驾驶员经验系统识别驾驶员为已知驾驶员2320还是未知驾驶员2315。如果驾驶员是之前未知的驾驶员，则驾驶员经验系统将该驾驶员注册到数据库中2325，该数据库可以在存储装置中本地存储或者例如在使用无线通信的远程服务器中距车辆远程存储。驾驶员经验系统随后开始记录数据2335以创建驾驶员的经验水平。如果驾驶员是已知的2320，则驾驶员经验系统获取已知驾驶员的经验信息和水平2330并且开始记录数据2335以更新经验水平。
被记录以及被用来创建经验水平或得分的数据类型的示例包括驾驶时间2340，即驾驶员驾驶所花费的时间量，诸如交通信息和天气信息2350之类的驾驶状况2345，其能够与驾驶时间进行匹配以确定驾驶员已经在各种驾驶状况下驾驶了多长时间。驾驶状况数据从车上的感测器生成，例如挡风玻璃雨刷器、温度计、防抱死制动、速度、周边车辆及基于车载雷达的其速度。驾驶状况数据还可以包括来自外部源的信息，例如来自第三方的交通数据和/或可经由无线通信网络获取的天气信息，该无线通信网络例如蜂窝网络、卫星通信网络。驾驶数据还结合注视信息2355。所有这些数据都被合并以更新驾驶员的经验水平2360。
图24图示了依据一个实施例的在确定驾驶员的经验水平时能够考虑的附加因素的示例。驾驶员经验系统还可以使用来自眼睛注视检测系统的眼睛注视矢量信息来确定驾驶员的经验水平。在一个实施例中，眼睛注视矢量信息可以被用来审查驾驶员相对使用其周边视野看向侧面的时间量，这进而能够指示驾驶员所具有的经验和技能的量。该信息可以被记录和分析，并且可以被包括作为驾驶员的技能和经验得分的一部分(或其全部成分)。眼睛注视检测系统还可以被用来确定驾驶员查看车辆的每个镜子的时间量以及驾驶员对附近车辆的反应时间，其中如以上所描述的，这样的车辆可以被车载雷达系统所识别。在图24中，新手驾驶员的眼睛移动示出驾驶员的注意力集中于对于车辆安全操作而言不像有经验的驾驶员的注意力集中于其上的事物那么重要的事物。如图24所示，例如，有经验的驾驶员的眼睛正在看着即将到来的转弯。
图25是依据一个实施例的使用驾驶员经验水平来确定是否向驾驶员显示帮助信息的示例的流程图。在一个实施例中，帮助信息通过车辆接口软件的HMI帮助模块来提供2505。在一个示例实施例中，帮助信息可以包括帮助“弹出菜单(pop-up)”。为了确定要显示多少帮助信息，驾驶员经验系统首先识别驾驶员的经验水平2510。如果经验水平高2515，则驾驶员经验系统确定该特定驾驶员对HMI帮助的使用量2520。如果该系统之前的使用水平高2525，则系统将不示出帮助消息2530，如果使用水平低2535，则仅示出最少量的帮助消息2540。如果驾驶员的经验水平低2545，并且HMI帮助的使用量低2565，则将向用户示出所有消息2570，并且如果该系统的使用量2550高2555，则将仅示出最少量的帮助消息2560。在一个实施例中，经验水平得分是粒状的，以识别出驾驶员经验水平之间更多的差异。
图26是依据一个实施例的使用驾驶员的经验水平来确定是否向驾驶员显示某信息的示例的流程图。驾驶员经验系统可以锁定信息2605以使得HMI、车辆信息系统或礼貌警告所提供的信息免于干扰集中于驾驶的驾驶员注意力。在一个实施例中，驾驶员经验系统使用驾驶员的经验水平和交通信息2610来确定是否锁定驾驶员免于访问或观看某信息。如果驾驶员具有高的经验水平2615，则没有信息被锁定2620。如果驾驶员的经验水平低2625，则驾驶员经验系统(或车辆中的另一个单元，例如ECU中的另一个单元)确定交通状况2630。如果交通状况良好(low)2635，则没有信息被锁定2640。然而，如果交通状况拥挤(heavy)2645，则驾驶员经验系统识别天气状况2650。如果天气状况良好2655，则锁定最少量的系统2660。如果天气状况差2665，则对驾驶员锁定更多信息2670。
由于所提出的驾驶员经验系统知道驾驶员是谁这一事实，所以该驾驶员经验系统还允许订制例如事故预防系统或HMI之类的车辆特征。基于关于驾驶员经验以及当前驾驶状况的这种知识和信息，驾驶员经验系统能够提高驾驶员完成驾驶任务的能力。通过使用该信息，车辆能够减少HMI给予驾驶员的帮助的量，减少事故预防系统所提供的警告的数目，减少较不重要信息以及某些特征的显示。结果，驾驶员经验系统能够减少提供给驾驶员的干扰的数目。
其它特征
将眼睛注视检测系统与事故预防系统相结合允许若干的特征。在一个实施例中，事故预防系统基于对驾驶员的认知负荷的测量进行调节。已知的是，随着你的认知负荷的增加，你的瞳孔相对非负荷状态稍有放大。在一个实施例中，眼睛注视检测系统还被配置为测量驾驶员的眼睛放大以监视驾驶员的认知状态。为了建立数据的基线，眼睛注视检测系统记录驾驶员眼睛放大的大小并且将该大小与其它外部活动期间所记录的大小进行比较。例如，系统能够从环境光感测器读取数据并且监视当前的操作任务以开始建立基线数据。一旦对驾驶员累积了基线数据，眼睛注视检测系统就能够减少非实质性的警告并且在检测到高度认知负荷的期间锁定复杂功能，例如诸如IPOD音乐搜索之类的资讯娱乐功能。
在另一个实施例中，在车辆事故之后，眼睛注视检测系统还被配置为确定驾驶员是否有意识。系统将从辅助约束系统(SRS)接收到指示发生了碰撞的碰撞信号。响应于接收到碰撞信号，系统随后确定驾驶员的眼睛是否张开。如果系统确定驾驶员没有意识，则系统利用之前所记录的消息对例如911的紧急服务系统发起自动电话呼叫。在该实施例中，眼睛注视检测系统结合(例如经由蓝牙或其它类似技术)连接到系统的电话一起工作。在一个实施例中，眼睛注视检测系统还被配置为将来自导航系统的位置信息结合到预先记录的消息之中。
在另一个实施例中，眼睛注视检测系统能够使用眼睛注视信息来改变HMI在哪里显示信息。例如，对于警报而言，眼睛注视检测系统能够使得警报被显示在驾驶员正在看的地方。例如，如果驾驶员正在看音频系统显示器，则低燃油警报应当被重新路由以显示在音频系统显示器上。眼睛注视检测系统还被配置为改变驾驶员正在观看的信息。系统可以增大在驾驶员正在观看的地方的文本和/或图标的大小以提高其可读性。系统还可以改变驾驶员正在观看的文本和/或图标的亮度和/或对比度。在一个实施例中，改变是微妙的从而不会使得驾驶员难以接受或者对其造成干扰。
在另一个实施例中，眼睛注视检测系统被配置为基于驾驶员眼睛的位置来调节车辆镜子的位置。使用眼睛注视矢量信息，系统能够自动将侧视镜调节到汽车工程师学会(SAE)所建议的位置。眼睛注视检测系统将基于用于计算镜子的可见度的当前的SAE公式来执行镜子算法。所建议的镜子位置可以被用作由驾驶员进行微调的起始点。
其它考虑
说明书中对“一个实施例”或“实施例”的引用意味着结合该实施例所描述的特定特征、结构或特性可以包括在至少一个实施例中。在说明书各处所出现的短语“在一个实施例中”或“实施例”并不必全部涉及相同的实施例。
随后的一些具体实施方式部分按照对计算机存储器内的数据比特所进行的运算的算法和符号表示形式而给出。这些算法描述和表示形式是数据处理领域技术人员用于将其工作的实质有效传递给本领域其它技术人员所采用的手段。算法在这里以及通常被理解为导致所期望结果的步骤(指令)的自洽(self-consistent)序列。步骤是要求物理量的物理操控的那些步骤。通常，虽然并不必然如此，这些量采用能够被存储、传输、合并、比较以及以另外的方式进行操控的电、磁或光学信号的形式。原则上出于普遍使用的原因，有时将这些信号称作比特、数值、元素、符号、字符、项、数字等是方便的。此外，不失其一般性，有时将需要物理量或物理量的表示形式的物理操控或变换的步骤的某些排列称作模块或编码设备也是方便的。
然而，所有这些和类似的术语都要与适当的物理量相关联并且仅是应用于这些量的方便的标签。除非另外特别指出，否则从以下讨论显而易见的是，贯穿文字描述，应该理解宜于将采用诸如“处理”或“计算”或“运算”或“确定”或“显示”或“确定”等术语的讨论称作计算机系统或类似的电子计算设备(诸如专用计算机器)的动作或处理，计算机系统或类似的电子计算设备对计算机系统的存储器或寄存器或者其它这样的信息存储、传输或显示设备内的表示为物理(电子)量的数据进行操控和变换。
某些方面包括以算法形式在这里进行描述的处理步骤和指令。应当注意的是，处理步骤和指令可以以软件、固件或硬件来实现，并且当以软件实现时，可以被下载以存在于各种操作系统所使用的不同平台上并且从那里进行操作。实施例还可以在能够在计算系统上执行的计算机程序产品中。
示例性实施例还涉及一种用于执行这里的操作的设备。该设备可以出于该目的而被专门构建，例如车辆中的具体计算机，或者其可以包括被可处于车辆中的计算机中所存储的计算机程序有选择地激活或重新配置的通用计算机。这样的计算机程序可以存储在计算机可读存储介质中，诸如但不限于包括软盘、光盘、CD-ROM、磁-光盘的任意类型的盘、只读存储器(ROM)、随机存取存储器(RAM)、EPROM、EEPROM、磁或光学卡、专用集成电路(ASIC)，或者适于存储电指令的任意类型的介质，并且它们每一个耦合到计算机系统总线。存储器可以包括能够存储信息/数据/程序的任意的以上和/或其它设备。此外，说明书中所提到的计算机可以包括单个处理器，或者可以是采用有所提高的计算能力的多处理器设计的架构。
这里所给出的算法和显示并非固有地涉及任意特定计算机或其它设备。可以利用依据这里所教导的程序来使用各种通用系统，或者可以证明构建更为专用的设备来执行方法步骤是方便的。用于各种这些系统的结构将由于以下描述而是显而易见的。此外，示例性实施例并非参考任意特定的编程语言进行描述。将会意识到的是，可以使用各种编程语言来实施这里所描述的教导，并且以下对特定语言的任意引用是被提供用于实现和最佳模式的公开。
此外，说明书中所使用的语言是在原则上出于可读性和指导性的目的而被选择的，而并非被选择来描绘或限制发明主题。因此，本公开意在是说明性的而并非对实施例的范围进行限制。
虽然已经在这里图示并描述了特定的实施例和应用，但是所要理解的是，实施例并不局限于这里所公开的确切构造和组件并且可以对方法和设备的排列、操作和细节进行各种修改、改变和变化而并不背离精神和范围。

Claims (18)

1.一种在车辆中提供事故警告警报的方法，包括：
使用眼睛注视检测器接收来自驾驶员的眼睛注视矢量；
使用接近度感测器检测邻近物体的位置，其中所述邻近物体处于车辆之外；
基于所述邻近物体的位置确定车辆事故风险；
基于所述邻近物体的位置和所述眼睛注视矢量确定驾驶员对车辆境况的了解；和
基于所述驾驶员对车辆境况的了解和所述车辆事故风险激活车辆警报，
其特征在于，所述方法进一步包括：
使用所述眼睛注视检测器和车辆驾驶数据收集来自驾驶员的驾驶员经验信息，其中所述驾驶员经验信息包括记录的驾驶员驾驶所花费的时间量、驾驶状况数据和眼睛注视矢量信息；和
基于所述驾驶员经验信息计算驾驶员经验水平，其中所述驾驶员经验水平反映驾驶员的驾驶技能，并且其中激活车辆警报进一步基于所述驾驶员经验水平。
2.根据权利要求1的方法，进一步包括：
基于所述驾驶员对车辆境况的了解和所述车辆事故风险激活汽车控制功能。
3.根据权利要求2的方法，其中所述汽车控制功能是车辆制动功能、方向盘功能或资讯娱乐控制功能中的至少一个。
4.根据权利要求1的方法，其中确定驾驶员对车辆境况的了解进一步包括：
确定所述邻近物体的位置是否处于所述眼睛注视矢量的视场内。
5.根据权利要求1的方法，其中所述车辆警报包括在所述驾驶员对车辆境况的了解和所述车辆事故风险高于第一阈值时的第一视觉警报。
6.根据权利要求5的方法，其中所述车辆警报包括在所述驾驶员对车辆境况的了解和所述车辆事故风险高于第二阈值时的第二视觉警报。
7.根据权利要求6的方法，其中所述车辆警报包括在所述驾驶员对车辆境况的了解和所述车辆事故风险高于第三阈值时的听觉警报。
8.根据权利要求1的方法，其中所述邻近物体是第二车辆、固定物体或车道界限中的至少一个。
9.根据权利要求1的方法，进一步包括使用接近度感测器检测邻近物体速度，并且其中确定所述车辆事故风险和所述驾驶员对车辆境况的了解进一步基于所述邻近物体速度。
10.一种在车辆中提供事故警告警报的系统，包括：
被配置为接收来自驾驶员的眼睛注视矢量的眼睛注视检测器；
被配置为检测邻近物体的位置的接近度感测器，其中所述邻近物体处于车辆之外；
电子控制单元，其被配置为基于所述邻近物体的位置确定车辆事故风险并且基于所述邻近物体的位置和所述眼睛注视矢量确定驾驶员对车辆境况的了解；并且
所述电子控制单元进一步被配置为基于所述驾驶员对车辆境况的了解和所述车辆事故风险激活车辆警报，
其特征在于，所述系统进一步包括：
驾驶员经验系统，其被配置为使用所述眼睛注视检测器和车辆驾驶数据收集来自驾驶员的驾驶员经验信息，并且基于所述驾驶员经验信息确定驾驶员经验水平，其中所述驾驶员经验信息包括记录的驾驶员驾驶所花费的时间量、驾驶状况数据和眼睛注视矢量信息，所述驾驶员经验水平反映驾驶员的驾驶技能，并且激活车辆警报进一步基于所述驾驶员经验水平。
11.根据权利要求10的系统，其中所述电子控制单元进一步被配置为：
基于所述驾驶员对车辆境况的了解和所述车辆事故风险激活汽车控制功能。
12.根据权利要求11的系统，其中所述汽车控制功能是车辆制动功能、方向盘功能或资讯娱乐控制功能中的至少一个。
13.根据权利要求10的系统，其中确定驾驶员对车辆境况的了解进一步基于所述邻近物体的位置是否处于所述眼睛注视矢量的视场内。
14.根据权利要求10的系统，其中所述车辆警报包括在所述驾驶员对车辆境况的了解和所述车辆事故风险高于第一阈值时的第一视觉警报。
15.根据权利要求14的系统，其中所述车辆警报包括在所述驾驶员对车辆境况的了解和所述车辆事故风险高于第二阈值时的第二视觉警报。
16.根据权利要求15的系统，其中所述车辆警报包括在所述驾驶员对车辆境况的了解和所述车辆事故风险高于第三阈值时的听觉警报。
17.根据权利要求10的系统，其中所述邻近物体是第二车辆、固定物体或车道界限中的至少一个。
18.根据权利要求10的系统，其中接近度感测器进一步被配置为检测邻近物体速度，并且其中所述车辆事故风险和所述驾驶员对车辆境况的了解进一步基于所述邻近物体速度。
CN201080057617.7A 2009-12-18 2010-12-09 使用眼睛注视技术、盲点指示器和驾驶员经验的预测人机接口 Active CN102656613B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US28820009P 2009-12-18 2009-12-18
US61/288,200 2009-12-18
PCT/US2010/059713 WO2011075392A1 (en) 2009-12-18 2010-12-09 A predictive human-machine interface using eye gaze technology, blind spot indicators and driver experience

Publications (2)

Publication Number Publication Date
CN102656613A CN102656613A (zh) 2012-09-05
CN102656613B true CN102656613B (zh) 2015-02-11

Family

ID=44167665

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080057617.7A Active CN102656613B (zh) 2009-12-18 2010-12-09 使用眼睛注视技术、盲点指示器和驾驶员经验的预测人机接口

Country Status (8)

Country Link
US (2) US9650041B2 (zh)
EP (1) EP2513882B1 (zh)
JP (1) JP2013514592A (zh)
CN (1) CN102656613B (zh)
BR (1) BR112012012635A2 (zh)
CA (1) CA2779923A1 (zh)
RU (1) RU2514924C2 (zh)
WO (1) WO2011075392A1 (zh)

Families Citing this family (152)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120007772A1 (en) * 2009-03-16 2012-01-12 Paerssinen Aarno Tapio Controller for a Directional Antenna and Associated Apparatus and Methods
US11511757B2 (en) 2010-06-07 2022-11-29 Affectiva, Inc. Vehicle manipulation with crowdsourcing
US11587357B2 (en) 2010-06-07 2023-02-21 Affectiva, Inc. Vehicular cognitive data collection with multiple devices
US12076149B2 (en) 2010-06-07 2024-09-03 Affectiva, Inc. Vehicle manipulation with convolutional image processing
US11430561B2 (en) 2010-06-07 2022-08-30 Affectiva, Inc. Remote computing analysis for cognitive state data metrics
US11393133B2 (en) 2010-06-07 2022-07-19 Affectiva, Inc. Emoji manipulation using machine learning
US11887352B2 (en) 2010-06-07 2024-01-30 Affectiva, Inc. Live streaming analytics within a shared digital environment
US11704574B2 (en) 2010-06-07 2023-07-18 Affectiva, Inc. Multimodal machine learning for vehicle manipulation
US11657288B2 (en) 2010-06-07 2023-05-23 Affectiva, Inc. Convolutional computing using multilayered analysis engine
US11430260B2 (en) 2010-06-07 2022-08-30 Affectiva, Inc. Electronic display viewing verification
US11484685B2 (en) 2010-06-07 2022-11-01 Affectiva, Inc. Robotic control using profiles
US11465640B2 (en) 2010-06-07 2022-10-11 Affectiva, Inc. Directed control transfer for autonomous vehicles
US11410438B2 (en) * 2010-06-07 2022-08-09 Affectiva, Inc. Image analysis using a semiconductor processor for facial evaluation in vehicles
US11935281B2 (en) 2010-06-07 2024-03-19 Affectiva, Inc. Vehicular in-cabin facial tracking using machine learning
US11700420B2 (en) 2010-06-07 2023-07-11 Affectiva, Inc. Media manipulation using cognitive state metric analysis
US9035803B2 (en) * 2010-08-03 2015-05-19 Lc Technologies, Inc. Systems and methods for aiding traffic controllers and/or pilots
US9542847B2 (en) 2011-02-16 2017-01-10 Toyota Motor Engineering & Manufacturing North America, Inc. Lane departure warning/assistance method and system having a threshold adjusted based on driver impairment determination using pupil size and driving patterns
US20120206252A1 (en) * 2011-02-16 2012-08-16 Toyota Motor Engineering & Manufacturing North America, Inc. Lane departure warning system
JP5765995B2 (ja) * 2011-03-31 2015-08-19 富士通テン株式会社 画像表示システム
US20120306637A1 (en) * 2011-06-01 2012-12-06 Johnson Controls Technology Company System and method for selectively altering content of a vehicle interface
US10967882B2 (en) * 2018-01-09 2021-04-06 Motherson Innovations Company Limited Autonomous vehicles with control retaking systems and methods of using same
DE102011085825A1 (de) * 2011-11-07 2013-05-08 Robert Bosch Gmbh Verfahren und Vorrichtung zum Warnen des Fahrers eines Kraftfahrzeugs bei mangelnder Aufmerksamkeit
US20150032328A1 (en) * 2011-12-29 2015-01-29 Jennifer Healey Reconfigurable personalized vehicle displays
US20140070934A1 (en) * 2012-09-07 2014-03-13 GM Global Technology Operations LLC Methods and systems for monitoring driver object detection
EP2896033A4 (en) * 2012-09-17 2016-09-28 Volvo Lastvagnar Ab METHOD FOR PROVIDING VEHICLE DRIVER WITH CONTEXT-BASED ADVICE MESSAGE
US9400551B2 (en) * 2012-09-28 2016-07-26 Nokia Technologies Oy Presentation of a notification based on a user's susceptibility and desired intrusiveness
US9085262B2 (en) 2012-10-08 2015-07-21 Microsoft Technology Licensing, Llc Tinting indication of environmental conditions
US9002586B2 (en) * 2012-12-03 2015-04-07 Honda Motor Co., Ltd. Integrated biometric switch
US9524269B1 (en) * 2012-12-19 2016-12-20 Allstate Insurance Company Driving event data analysis
US9457914B1 (en) * 2013-05-24 2016-10-04 Rockwell Collins, Inc. Bringing critical notifications to a pilot via eye tracking
US9654740B2 (en) 2013-05-28 2017-05-16 International Business Machines Corporation Controlling automotive rear-view mirror based on eye movement
US9096129B2 (en) * 2013-07-29 2015-08-04 Freescale Semiconductor, Inc. Method and system for facilitating viewing of information in a machine
US20150029031A1 (en) * 2013-07-29 2015-01-29 Thomas Pank Driver alertness detection and alarm system
JP6258639B2 (ja) * 2013-09-04 2018-01-10 トヨタ自動車株式会社 衝突回避支援装置及び衝突回避支援方法
US10210761B2 (en) * 2013-09-30 2019-02-19 Sackett Solutions & Innovations, LLC Driving assistance systems and methods
US9354073B2 (en) * 2013-12-09 2016-05-31 Harman International Industries, Inc. Eye gaze enabled navigation system
KR20150066739A (ko) * 2013-12-09 2015-06-17 경북대학교 산학협력단 경고 메시지를 제공하는 차량 제어 시스템 및 그 방법
KR20150073269A (ko) * 2013-12-20 2015-07-01 현대자동차주식회사 차량용 클러스터 장치
US9298994B2 (en) * 2014-01-09 2016-03-29 Harman International Industries, Inc. Detecting visual inattention based on eye convergence
KR20150087985A (ko) * 2014-01-23 2015-07-31 한국전자통신연구원 안전운행정보 표출 장치 및 그 방법
US20150249906A1 (en) * 2014-02-28 2015-09-03 Rovi Guides, Inc. Methods and systems for encouraging behaviour while occupying vehicles
US9810783B2 (en) * 2014-05-15 2017-11-07 Empire Technology Development Llc Vehicle detection
DE102014214698B3 (de) * 2014-07-25 2015-12-24 Bayerische Motoren Werke Aktiengesellschaft Benutzerschnittstelle und Bedienverfahren zur blickbasierten Bedienung eines Geschwindigkeitsregelungssystems
US9514651B2 (en) 2014-08-19 2016-12-06 Here Global B.V. Optimal warning distance
US9884588B2 (en) * 2014-10-17 2018-02-06 Mitsubishi Electric Corporation Driver supporting device and warning timing control method
FR3027418B1 (fr) * 2014-10-20 2020-07-31 Peugeot Citroen Automobiles Sa Dispositif de controle de desactivation d’un systeme de surveillance de la trajectoire d’un vehicule, en fonction de la direction d’observation des yeux du conducteur
US9747812B2 (en) 2014-10-22 2017-08-29 Honda Motor Co., Ltd. Saliency based awareness modeling
DE102015200697A1 (de) * 2015-01-19 2016-07-21 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erkennen von Sekundenschlaf eines Fahrers eines Fahrzeugs
US9505413B2 (en) * 2015-03-20 2016-11-29 Harman International Industries, Incorporated Systems and methods for prioritized driver alerts
JP6428482B2 (ja) 2015-05-18 2018-11-28 トヨタ自動車株式会社 車両用制御装置
GB2535246B (en) * 2015-05-19 2019-04-17 Ford Global Tech Llc A method and system for increasing driver awareness
US9493118B1 (en) * 2015-06-24 2016-11-15 Delphi Technologies, Inc. Cognitive driver assist with variable warning for automated vehicles
JP6488922B2 (ja) * 2015-07-06 2019-03-27 株式会社デンソー 運転者異常検出装置
DE102015213769A1 (de) * 2015-07-22 2017-01-26 Robert Bosch Gmbh Verfahren und Vorrichtung zum Prädizieren einer Blickrichtung eines Fahrzeuginsassen
US9771082B2 (en) * 2015-08-13 2017-09-26 International Business Machines Corporation Reducing cognitive demand on a vehicle operator by generating passenger stimulus
US10618521B2 (en) * 2015-09-21 2020-04-14 Ford Global Technologies, Llc Wearable in-vehicle eye gaze detection
EP3153366B1 (en) * 2015-10-07 2020-12-09 Volvo Car Corporation Vehicle observability enhancing system, vehicle comprising such system and a method for increasing vehicle observability
DE102015220237A1 (de) * 2015-10-16 2017-04-20 Zf Friedrichshafen Ag Fahrzeugsystem und Verfahren zur Aktivierung einer Selbstfahreinheit zum autonomen Fahren
DE102015220398A1 (de) * 2015-10-20 2017-04-20 Robert Bosch Gmbh Verfahren zur Übermittlung von Informationen an einen Fahrer eines Kraftfahrzeuges und adaptives Fahrerassistenzsystem
WO2017072894A1 (ja) * 2015-10-29 2017-05-04 三菱電機株式会社 運転支援装置
US20170185146A1 (en) * 2015-12-29 2017-06-29 Ford Global Technologies, Llc Vehicle notification system including transparent and mirrored displays
US10162651B1 (en) 2016-02-18 2018-12-25 Board Of Trustees Of The University Of Alabama, For And On Behalf Of The University Of Alabama In Huntsville Systems and methods for providing gaze-based notifications
US9778654B2 (en) 2016-02-24 2017-10-03 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for advanced resting time suggestion
DE102017101250A1 (de) * 2016-03-09 2017-09-14 Subaru Corporation Fahrtsteuerungsvorrichtung für Fahrzeug
US9707911B1 (en) * 2016-03-21 2017-07-18 Ford Global Technologies, Llc Identifying a driver of a vehicle
CN105867410A (zh) * 2016-04-06 2016-08-17 东莞北京航空航天大学研究院 基于眼球跟踪的无人机地面站控制方法及其系统
US9826500B1 (en) * 2016-05-11 2017-11-21 International Business Machines Corporation Preventing driver distraction from incoming notifications
US12094224B2 (en) * 2016-07-01 2024-09-17 Eyesight Mobile Technologies Ltd. System and method for driver monitoring
CN107662559A (zh) * 2016-07-28 2018-02-06 奥迪股份公司 警告控制装置及方法
US9809167B1 (en) * 2016-08-29 2017-11-07 Ford Global Technologies, Llc Stopped vehicle traffic resumption alert
DE102016216738A1 (de) * 2016-09-05 2018-03-08 Robert Bosch Gmbh Verfahren und Vorrichtung zum Steuern eines Fahrzeugs
US20180082203A1 (en) * 2016-09-21 2018-03-22 International Business Machines Corporation Detection of operator likelihood of deviation from planned route
EP3299241B1 (en) * 2016-09-26 2021-11-10 Volvo Car Corporation Method, system and vehicle for use of an object displaying device in a vehicle
CN106476700A (zh) * 2016-11-08 2017-03-08 北京小米移动软件有限公司 驾车安全提醒的方法、装置、后视镜及交通工具
US11249544B2 (en) * 2016-11-21 2022-02-15 TeleLingo Methods and systems for using artificial intelligence to evaluate, correct, and monitor user attentiveness
US10467488B2 (en) * 2016-11-21 2019-11-05 TeleLingo Method to analyze attention margin and to prevent inattentive and unsafe driving
DE112017006397B4 (de) * 2016-12-21 2022-06-15 Continental Teves Ag & Co. Ohg System für ein Fahrzeug
WO2018117631A1 (en) 2016-12-21 2018-06-28 Samsung Electronics Co., Ltd. Electronic apparatus and method of operating the same
KR102471072B1 (ko) * 2016-12-21 2022-11-25 삼성전자주식회사 전자 장치 및 그 동작 방법
BR112019014912A2 (pt) * 2017-01-20 2020-03-31 Nissan Motor Co., Ltd. Método de previsão de comportamento de veículo e aparelho de previsão de comportamento de veículo
US10259455B2 (en) * 2017-01-25 2019-04-16 Ford Global Technologies, Llc Collision avoidance systems and methods
US20180215395A1 (en) * 2017-02-02 2018-08-02 Intel Corporation Context derived driver assistance
US10082869B2 (en) * 2017-02-03 2018-09-25 Qualcomm Incorporated Maintaining occupant awareness in vehicles
US10166996B2 (en) * 2017-02-09 2019-01-01 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for adaptively communicating notices in a vehicle
US10445559B2 (en) 2017-02-28 2019-10-15 Wipro Limited Methods and systems for warning driver of vehicle using mobile device
JP6860068B2 (ja) * 2017-05-31 2021-04-14 富士通株式会社 運転支援装置、運転支援システムおよび運転支援方法
WO2018235409A1 (ja) * 2017-06-22 2018-12-27 三菱電機株式会社 危険情報収集装置
JP6838657B2 (ja) * 2017-06-26 2021-03-03 日産自動車株式会社 車両の走行支援方法及び走行支援装置
CN107487358A (zh) * 2017-08-02 2017-12-19 江苏开放大学 一种基于大脑情感学习回路模型的驾驶员转向控制方法
US11100729B2 (en) * 2017-08-08 2021-08-24 Panasonic Intellectual Property Corporation Of America Information processing method, information processing system, and program
DE112017007854T5 (de) * 2017-08-11 2020-04-23 Toyota Motor Europe System für automatisiertes Fahren und Verfahren zum Stimulieren eines Fahrers
US10782776B2 (en) * 2017-09-28 2020-09-22 Nissan North America, Inc. Vehicle display configuration system and method
JP6984312B2 (ja) * 2017-10-26 2021-12-17 トヨタ自動車株式会社 車載装置、情報処理システム、及び情報処理方法
US10572745B2 (en) 2017-11-11 2020-02-25 Bendix Commercial Vehicle Systems Llc System and methods of monitoring driver behavior for vehicular fleet management in a fleet of vehicles using driver-facing imaging device
US10339401B2 (en) 2017-11-11 2019-07-02 Bendix Commercial Vehicle Systems Llc System and methods of monitoring driver behavior for vehicular fleet management in a fleet of vehicles using driver-facing imaging device
JP2019095892A (ja) * 2017-11-20 2019-06-20 シャープ株式会社 車両用運転支援装置、および車両用運転支援プログラム
EP3493178B1 (en) * 2017-12-01 2024-03-06 Veoneer Sweden AB Driver attentiveness detection method and device
JP6954069B2 (ja) * 2017-12-08 2021-10-27 トヨタ自動車株式会社 車両用注意喚起装置
FR3076521B1 (fr) * 2018-01-05 2020-02-07 Institut De Recherche Technologique Systemx Procede d'aide a la conduite d'un vehicule et dispositifs associes
EP3517385B1 (en) * 2018-01-26 2022-08-31 Honda Research Institute Europe GmbH Method and driver assistance system for assisting a driver in driving a vehicle
US11042156B2 (en) * 2018-05-14 2021-06-22 Honda Motor Co., Ltd. System and method for learning and executing naturalistic driving behavior
US10849543B2 (en) * 2018-06-08 2020-12-01 Ford Global Technologies, Llc Focus-based tagging of sensor data
IL260822B (en) * 2018-07-26 2019-12-31 Ophir Yoav Method and system for a dynamic collision awareness envelope for a vehicle
US11866042B2 (en) 2018-08-20 2024-01-09 Indian Motorcycle International, LLC Wheeled vehicle adaptive speed control method and system
JP6777124B2 (ja) * 2018-08-24 2020-10-28 株式会社Ｊｖｃケンウッド 警告装置、運転傾向解析装置および運転傾向解析方法
EP3644095A1 (en) * 2018-10-23 2020-04-29 Veoneer Sweden AB Object detection system
JP7146585B2 (ja) * 2018-11-13 2022-10-04 本田技研工業株式会社 視線検出装置、プログラム、及び、視線検出方法
DE102019202587A1 (de) 2019-02-26 2020-08-27 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Fahrerinformationssystems in einem Ego-Fahrzeug und Fahrerinformationssystem
DE102019202592A1 (de) 2019-02-26 2020-08-27 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Fahrerinformationssystems in einem Ego-Fahrzeug und Fahrerinformationssystem
DE102019202581B4 (de) 2019-02-26 2021-09-02 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Fahrerinformationssystems in einem Ego-Fahrzeug und Fahrerinformationssystem
DE102019202588A1 (de) * 2019-02-26 2020-08-27 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Fahrerinformationssystems in einem Ego-Fahrzeug und Fahrerinformationssystem
DE102019202578A1 (de) 2019-02-26 2020-08-27 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Fahrerinformationssystems in einem Ego-Fahrzeug und Fahrerinformationssystem
IL265495B (en) * 2019-03-19 2022-09-01 Rober Ohrenstein Method for travel authorization
US11887383B2 (en) 2019-03-31 2024-01-30 Affectiva, Inc. Vehicle interior object management
EP3722158A1 (en) 2019-04-10 2020-10-14 Volvo Car Corporation A voice assistant system
US11618439B2 (en) * 2019-04-11 2023-04-04 Phantom Auto Inc. Automatic imposition of vehicle speed restrictions depending on road situation analysis
US11878698B2 (en) * 2019-04-12 2024-01-23 Mitsubishi Electric Corporation Display control device, display control method, and storage medium storing display control program
DE102019208663B4 (de) * 2019-06-14 2021-01-14 Audi Ag Verfahren zur Unterstützung eines Fahrers hinsichtlich für eine Verkehrssituation relevanter Objekte und Kraftfahrzeug
KR102704494B1 (ko) * 2019-06-17 2024-09-11 현대자동차주식회사 차량 및 그 제어 방법
WO2021067380A1 (en) * 2019-10-01 2021-04-08 TeleLingo D/B/A dreyev Methods and systems for using artificial intelligence to evaluate, correct, and monitor user attentiveness
KR20210044961A (ko) * 2019-10-15 2021-04-26 현대자동차주식회사 자율주행차량의 차선변경 전략 결정 장치 및 그 방법
US11769056B2 (en) 2019-12-30 2023-09-26 Affectiva, Inc. Synthetic data for neural network training using vectors
US11866037B2 (en) * 2020-03-16 2024-01-09 Toyota Motor Engineering & Manufacturing North America, Inc. Behavior-based vehicle alerts
CN113815623B (zh) * 2020-06-11 2023-08-08 广州汽车集团股份有限公司 一种视觉追踪人眼注视点的方法、车辆预警方法及装置
DE102020207820A1 (de) * 2020-06-24 2021-12-30 Volkswagen Aktiengesellschaft Verfahren zum Betrieb eines Fahrerassistenzsystems für ein Fahrzeug und Fahrerassistenzsystem
US11654919B2 (en) * 2020-08-11 2023-05-23 Aptiv Technologies Limited Adaptive user-specific automated driver assistance system warnings
US11535253B2 (en) * 2020-09-18 2022-12-27 GM Global Technology Operations LLC Lane change maneuver intention detection systems and methods
DE102020212165A1 (de) 2020-09-28 2022-03-31 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Kraftfahrzeugs sowie Kraftfahrzeug
MX2023004389A (es) * 2020-10-20 2023-05-04 Polaris Inc Sistemas y metodos para la deteccion de condiciones peligrosas en vehiculos.
JP2024510864A (ja) 2020-10-20 2024-03-12 ポラリス インダストリーズ インコーポレーテッド 車両通信及び監視
US11978266B2 (en) * 2020-10-21 2024-05-07 Nvidia Corporation Occupant attentiveness and cognitive load monitoring for autonomous and semi-autonomous driving applications
US11584378B2 (en) * 2020-10-27 2023-02-21 Arm Limited Vehicle-assist system
CN112396235B (zh) * 2020-11-23 2022-05-03 浙江天行健智能科技有限公司 基于眼球动作追踪的交通事故发生时间预测建模方法
CN112489425A (zh) * 2020-11-25 2021-03-12 平安科技（深圳）有限公司 车辆防撞预警方法、装置、车载终端设备和存储介质
EP4005889A1 (en) * 2020-11-30 2022-06-01 Aptiv Technologies Limited Attention assist method for dynamic blind zone with driver state in the loop, assist system, vehicle and computer program
JP2022119496A (ja) * 2021-02-04 2022-08-17 本田技研工業株式会社 車両用シートベルト装置
JP7229283B2 (ja) * 2021-02-04 2023-02-27 本田技研工業株式会社 車両用シートベルト装置
JP2022119428A (ja) * 2021-02-04 2022-08-17 本田技研工業株式会社 運転支援装置
JP2022152869A (ja) * 2021-03-29 2022-10-12 本田技研工業株式会社 車両制御装置、車両制御方法、及びプログラム
CN113173168A (zh) * 2021-04-30 2021-07-27 重庆工程职业技术学院 车辆智能驾驶控制系统及方法
US11749032B2 (en) 2021-05-17 2023-09-05 Toyota Research Institute, Inc. Systems and methods for adapting notifications according to component monitoring
CN113421458A (zh) * 2021-06-16 2021-09-21 吉林大学 一种重型商用车驾驶员动态盲区的检测方法
CN113450595A (zh) * 2021-06-30 2021-09-28 江西昌河汽车有限责任公司 一种人车交互的防碰撞预警系统及预警方法
US12112851B2 (en) 2021-08-18 2024-10-08 Toyota Motor North America, Inc. Linking personal environment and transport operation
US11861916B2 (en) * 2021-10-05 2024-01-02 Yazaki Corporation Driver alertness monitoring system
EP4163896A1 (en) 2021-10-08 2023-04-12 Honda Research Institute Europe GmbH Assistance system with relevance-dependent stimulus modulation
FR3132266B1 (fr) * 2022-01-28 2024-08-30 Renault Sas Procédé d’adaptation d’informations communiquées à un conducteur d’un véhicule et dispositif d’assistance à la conduite apte à mettre en œuvre un tel procédé.
US20230267399A1 (en) * 2022-02-18 2023-08-24 Bendix Commercial Vehicle Systems Llc System and method for providing a driver of a vehicle with feedback for self-coaching
US11878707B2 (en) * 2022-03-11 2024-01-23 International Business Machines Corporation Augmented reality overlay based on self-driving mode
CN118804862A (zh) * 2022-03-18 2024-10-18 金泰克斯公司 用于基于眼睛注视的警觉性测量的系统和方法
US11934574B2 (en) * 2022-07-15 2024-03-19 Ghost Autonomy Inc. Modifying vehicle display parameters using operator gaze
FR3144092A1 (fr) * 2022-12-21 2024-06-28 Renault S.A.S Procédé mis en œuvre par ordinateur d’aide à la conduite d’un véhicule automobile

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1732028A1 (en) * 2005-06-10 2006-12-13 Delphi Technologies, Inc. System and method for detecting an eye
CN101295355A (zh) * 2007-04-25 2008-10-29 株式会社电装 面部图像获取装置
CN101500874A (zh) * 2006-09-14 2009-08-05 丰田自动车株式会社 视线终点估计装置和驾驶辅助装置

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7570785B2 (en) 1995-06-07 2009-08-04 Automotive Technologies International, Inc. Face monitoring system and method for vehicular occupants
JPH1139199A (ja) 1997-07-18 1999-02-12 Fujitsu General Ltd 業務管理データトランザクションシステム
JP3465590B2 (ja) 1998-05-27 2003-11-10 トヨタ自動車株式会社 車両走行支援装置
US6154559A (en) 1998-10-01 2000-11-28 Mitsubishi Electric Information Technology Center America, Inc. (Ita) System for classifying an individual's gaze direction
JP4348663B2 (ja) 1999-12-09 2009-10-21 マツダ株式会社 自動車の制御装置
JP4385392B2 (ja) 2000-06-15 2009-12-16 マツダ株式会社 車両用情報提供装置
US6909947B2 (en) * 2000-10-14 2005-06-21 Motorola, Inc. System and method for driver performance improvement
EP2305106A1 (en) 2002-02-19 2011-04-06 Volvo Technology Corporation Method for monitoring and managing driver attention loads
US7199767B2 (en) * 2002-03-07 2007-04-03 Yechezkal Evan Spero Enhanced vision for driving
US6927674B2 (en) 2002-03-21 2005-08-09 Delphi Technologies, Inc. Vehicle instrument cluster having integrated imaging system
US7206435B2 (en) 2002-03-26 2007-04-17 Honda Giken Kogyo Kabushiki Kaisha Real-time eye detection and tracking under various light conditions
JP4551766B2 (ja) 2002-10-15 2010-09-29 ボルボ テクノロジー コーポレイション 被験者の頭及び目の動きを分析する方法及び装置
US6859144B2 (en) * 2003-02-05 2005-02-22 Delphi Technologies, Inc. Vehicle situation alert system with eye gaze controlled alert signal generation
US6906619B2 (en) * 2003-02-27 2005-06-14 Motorola, Inc. Visual attention influenced condition indicia apparatus and method
US6989754B2 (en) * 2003-06-02 2006-01-24 Delphi Technologies, Inc. Target awareness determination system and method
EP1638801A1 (en) 2003-06-06 2006-03-29 Volvo Technology Corporation Method and arrangement for controlling vehicular subsystems based on interpreted driver activity
JP4275507B2 (ja) * 2003-10-28 2009-06-10 富士通テン株式会社 運転支援装置
SE0303122D0 (sv) 2003-11-20 2003-11-20 Volvo Technology Corp Method and system for communication and/or interaction between a vehicle driver and a plurality of applications
JP4277081B2 (ja) 2004-03-17 2009-06-10 株式会社デンソー 運転支援装置
DE102005018697A1 (de) * 2004-06-02 2005-12-29 Daimlerchrysler Ag Verfahren und Vorrichtung zur Warnung eines Fahrers im Falle eines Verlassens der Fahrspur
US7551991B2 (en) * 2006-03-07 2009-06-23 Tdk Corporation Vehicle over speed indicator
RU69814U1 (ru) * 2006-03-22 2008-01-10 Федеральное государственное унитарное предприятие Центральный научно-исследовательский институт машиностроения (ФГУП ЦНИИмаш) Устройство сигнализации о движении транспорта специального назначения
WO2007145566A1 (en) * 2006-06-11 2007-12-21 Volvo Technology Corporation Method and apparatus for determining and analyzing a location of visual interest
SG138501A1 (en) * 2006-07-05 2008-01-28 Micron Technology Inc Lead frames, microelectronic devices with lead frames, and methods for manufacturing lead frames and microelectronic devices with lead frames
US7609150B2 (en) * 2006-08-18 2009-10-27 Motorola, Inc. User adaptive vehicle hazard warning apparatuses and method
US7579942B2 (en) 2006-10-09 2009-08-25 Toyota Motor Engineering & Manufacturing North America, Inc. Extra-vehicular threat predictor
JP2008222055A (ja) * 2007-03-13 2008-09-25 Toyota Motor Corp 運転補助制御装置
CN101674965B (zh) * 2007-05-02 2013-05-22 丰田自动车株式会社 车辆行为控制装置
US8831299B2 (en) * 2007-05-22 2014-09-09 Intellectual Ventures Fund 83 Llc Capturing data for individual physiological monitoring
US7859432B2 (en) 2007-05-23 2010-12-28 Che Il Electric Wireing Devices Co., Ltd. Collision avoidance system based on detection of obstacles in blind spots of vehicle
JP5028302B2 (ja) 2008-03-05 2012-09-19 本田技研工業株式会社 車両用警報装置
JP4727688B2 (ja) * 2008-04-23 2011-07-20 トヨタ自動車株式会社 覚醒度推定装置
EP2141696A1 (en) * 2008-07-03 2010-01-06 Deutsche Thomson OHG Method for time scaling of a sequence of input signal values
US8028789B2 (en) * 2008-07-31 2011-10-04 GM Global Technology Operations LLC Control adaptation of variable gear ratio steering
US8384532B2 (en) * 2009-04-02 2013-02-26 GM Global Technology Operations LLC Lane of travel on windshield head-up display
US8631893B2 (en) * 2009-11-16 2014-01-21 Michael M. Van Schoiack Driver drowsiness detection and verification system and method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1732028A1 (en) * 2005-06-10 2006-12-13 Delphi Technologies, Inc. System and method for detecting an eye
CN101500874A (zh) * 2006-09-14 2009-08-05 丰田自动车株式会社 视线终点估计装置和驾驶辅助装置
CN101295355A (zh) * 2007-04-25 2008-10-29 株式会社电装 面部图像获取装置

Also Published As

Publication number Publication date
WO2011075392A1 (en) 2011-06-23
CN102656613A (zh) 2012-09-05
US9650041B2 (en) 2017-05-16
US10336323B2 (en) 2019-07-02
RU2012130445A (ru) 2014-01-27
US20120271484A1 (en) 2012-10-25
EP2513882A1 (en) 2012-10-24
BR112012012635A2 (pt) 2016-07-12
JP2013514592A (ja) 2013-04-25
US20170247031A1 (en) 2017-08-31
CA2779923A1 (en) 2011-06-23
RU2514924C2 (ru) 2014-05-10
EP2513882B1 (en) 2014-04-02
EP2513882A4 (en) 2013-05-29

Similar Documents

Publication Publication Date Title
CN102656613B (zh) 使用眼睛注视技术、盲点指示器和驾驶员经验的预测人机接口
US10281914B2 (en) Alerting predicted accidents between driverless cars
US9841762B2 (en) Alerting predicted accidents between driverless cars
US11851077B2 (en) Secondary disengage alert for autonomous vehicles
US10166918B2 (en) Drive assisting apparatus
US10053007B2 (en) Motor vehicle collision warning system
CN101369020A (zh) 结合盲点检测与后方交叉道路碰撞警告的系统与方法
CN101219659A (zh) 使用车辆的系统来检测和避免障碍的方法和设备
CN107111955B (zh) 操作控制装置
EP1663711B2 (en) Detection of unintended lane departures
CN111443708B (zh) 自动驾驶系统
CN103303194A (zh) 用于警告物体与静止汽车的车门可能碰撞的方法和系统
JP2006163828A (ja) 車両用警報装置、車両周囲状況の警報方法
KR102712223B1 (ko) 차량 및 그 제어 방법
EP4005889A1 (en) Attention assist method for dynamic blind zone with driver state in the loop, assist system, vehicle and computer program
EP4434837A1 (en) User interface for driver situational awareness
US20240317253A1 (en) User Interface For Driver Situational Awareness
EP4335679A1 (en) System and method for providing well distinguishable warning levels for obstacles in different visibility areas in the vicinity of a vehicle
CN219302678U (zh) 车辆避障装置及车辆避障设备
WO2023013341A1 (ja) 車載システム及び運転診断プログラム
CN118683526A (zh) 用于驾驶员情况感知的用户界面
Mutthalkar et al. Advanced Driver Assist System: Case Study
Ashley Crashless cars: Making driving safer
WO2015186184A1 (ja) 運転支援システム
KR20230055840A (ko) 자율 주행 차량을 제어하는 방법 및 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant