[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN118306418A - 一种智能座舱仿生眼机器人舱驾融合感知决策方法及系统 - Google Patents

一种智能座舱仿生眼机器人舱驾融合感知决策方法及系统 Download PDF

Info

Publication number
CN118306418A
CN118306418A CN202410147559.0A CN202410147559A CN118306418A CN 118306418 A CN118306418 A CN 118306418A CN 202410147559 A CN202410147559 A CN 202410147559A CN 118306418 A CN118306418 A CN 118306418A
Authority
CN
China
Prior art keywords
cabin
driver
intelligent
automatic driving
alarm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410147559.0A
Other languages
English (en)
Inventor
朱忠攀
杜奇蔚
何斌
王志鹏
陆萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN202410147559.0A priority Critical patent/CN118306418A/zh
Publication of CN118306418A publication Critical patent/CN118306418A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0053—Handover processes from vehicle to occupant
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0059—Estimation of the risk associated with autonomous or manual driving, e.g. situation too complex, sensor failure or driver incapacity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/092—Reinforcement learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种智能座舱仿生眼机器人舱驾融合感知决策方法，包括：舱外观察眼获取舱外异常情况，生成并发送异常信息和接管信息；舱内观察眼接收所述异常信息和接管信息后，基于驾驶员视线凝点判断驾驶员注意力是否朝向舱外异常情况，并进行接管主体选择，实现智能座舱内外的人机共驾协同决策。本发明实现舱内全息感知，全方位覆盖智能座舱中各类人员的各种需求，不断优化用户体验。

Description

一种智能座舱仿生眼机器人舱驾融合感知决策方法及系统
技术领域
本发明涉及人机交互与智能驾驶技术领域，尤其涉及一种智能座舱仿生眼机器人舱驾融合感知决策方法及系统。
背景技术
车载智能机器人是运用于车载智能座舱场景的一种服务机器人，属于社交机器人、个人交互机器人，主要提供驾驶智能信息、提升人机交互能力，具有拟人化以及一定程度自主交互能力的机器人。一个决策智能、感知能力强、人性化的车载机器人可以提高行驶安全性和决策科学性，通过恰当的、贴心的人机交互行为使用户在行驶过程中保持身心愉悦，从而提升整体的驾驶和乘坐体验。
传统的车载机器人以纯语音形式，智能屏上的虚拟形象，或全息投影为主，可以进行一些简单的被动交互。
然而，传统的车载机器人无法同时观察到座舱内外的情况从而进行更科学的智能决策，而且拟人性不足，大多不以实体形态出现，也不能在用户未发出指令的情况下灵活地进行主动交互。
发明内容
本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
鉴于上述现有存在的问题，提出了本发明。
因此，本发明提供了一种智能座舱仿生眼机器人舱驾融合感知决策方法及系统解决现有技术存在的无法同时观察到座舱内外的情况、拟人性不足、不能灵活主动交互等缺陷的问题。
为解决上述技术问题，本发明提供如下技术方案：
第一方面，本发明提供了一种智能座舱仿生眼机器人舱驾融合感知决策方法，包括：
舱外观察眼获取舱外异常情况，生成并发送异常信息和接管信息；
舱内观察眼接收所述异常信息和接管信息后，基于驾驶员视线凝点判断驾驶员注意力是否朝向舱外异常情况，并进行接管主体选择，实现智能座舱内外的人机共驾协同决策。
作为本发明所述的智能座舱仿生眼机器人舱驾融合感知决策方法的一种优选方案，其中：
所述接管主体选择，包括：
若驾驶员的注意力朝向与舱外异常情况朝向不相同，则判定为不安全，自动驾驶系统拒绝驾驶员接管，继续按自动驾驶系统策略处理异常情况；
若驾驶员的注意力朝向与舱外异常情况朝向相同，则判定为安全，自动驾驶系统同意驾驶员接管，若舱内观察眼一段时间内没有接收到异常信息，则将控制权交还给自动驾驶系统。
作为本发明所述的智能座舱仿生眼机器人舱驾融合感知决策方法的一种优选方案，其中：
所述舱外异常情况，包括：
第一种类型为在自动驾驶过程中，前方突然出现行人、车辆或其他障碍物；
第二种类型为车辆在没有打转向灯的情况下偏离了当前车道；
第三种类型为在行驶过程中遇到交通拥堵和交通事故；
第四种类型为在行驶过程中遇到坑洼路段和施工区域。
作为本发明所述的智能座舱仿生眼机器人舱驾融合感知决策方法的一种优选方案，其中：
所述舱内预警情况，包括
若舱内人员未系安全带，则自动驾驶系统发出二级警报；
若车辆起步后未松手刹且速度超过50km/h时，则自动驾驶系统发出一级警报；
若大灯在白天处于开启状态，则自动驾驶系统发出三级警报；
若舱外环境处于黑暗环境下而灯光未开启，则自动驾驶系统发出一级警报；
若车辆速度在经过限速路段时超过道路限速标牌，则自动驾驶系统发出三级警报；
若车辆速度达到120km/h以上，则自动驾驶系统发出一级警报；
所述三级警报为提醒警报，二级警报为重要警报，一级警报为危险警报；
若三种警报同时发生，优先级为：一级警报，二级警报，三级警报。
作为本发明所述的智能座舱仿生眼机器人舱驾融合感知决策方法的一种优选方案，其中：
所述基于驾驶员视线凝点判断驾驶员的注意力，包括通过ResNet深度残差网络提取驾驶员面度的眼睛与鼻梁3D坐标，通过以下公式计算驾驶员视线朝向角度：
其中，(x1,y1,z1)和(x2,y2,z2)分别是驾驶员眼睛和鼻梁的3D坐标，r1和r2分别是眼睛和鼻梁的半径，θ是眼睛和鼻梁之间的夹角。
作为本发明所述的智能座舱仿生眼机器人舱驾融合感知决策方法的一种优选方案，其中：
所述自动驾驶系统策略，包括：
若出现舱外异常情况的第一种类型事件，则自动驾驶系统应迅速识别障碍物并采取紧急刹车措施，在刹车后向舱内发出语音提示，告知前方有障碍物，并进行接管主体选择；
若出现舱外异常情况的第二种类型事件，则自动驾驶系统应通过自动调整方向盘将车辆引导回原车道，在车辆回正后向舱内发出语音提示，告知车道偏离的情况，并进行接管主体选择；
若出现舱外异常情况的第三种类型事件，则自动驾驶系统应减速并保持安全距离，在减速并保持安全距离后向舱内发出语音提示，告知当前路况和预计的延迟时间，并询问是否需要改变路线；
若出现舱外异常情况的第四种类型事件，则自动驾驶系统应减速通过，在通过后向舱内发出语音提示，告知道路施工或障碍物的情况，并进行接管主体选择。
第二方面，本发明提供了一种智能座舱仿生眼机器人舱驾融合感知决策系统，包括：
获取模块，舱外观察眼获取舱外异常情况，生成并发送异常信息和接管信息；
判断模块，舱内观察眼接收所述异常信息和接管信息后，基于驾驶员视线凝点判断驾驶员注意力是否朝向舱外异常情况，并进行接管主体选择，实现智能座舱内外的人机共驾协同决策。
更进一步的，所述舱内观察眼包括：
多自由度类人头部运动控制模块，用于实现仿生眼机器人的头部旋转、侧倾以及俯仰运动；
基于主动感知双向仿生眼的舱内外协同感知模块，用于通过仿生眼摄像头获取驾驶员信息和实时路况；
多用户识别记忆与交互模块，用于识别用户音色特征、身份和位置的个性化交互；
驾驶习惯记忆分析模块，用于记录驾驶行为，评估驾驶员的安全意识和操作熟练度；
出行安全性评估模块，用于评估出行安全性，提供出行建议；
舱内智能定位模块，用于接收交互指令，通过头部运动控制模块感知乘客状态；
日常事务处理模块，用于连接车载系统，处理日常事务；
基于用户画像的多感官主动交互模块，用于通过用户画像预测行为，多感官途径与用户主动交互。
第三方面，本发明提供了一种计算设备，包括：
存储器，用于存储程序；
处理器，用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现所述智能座舱仿生眼机器人舱驾融合感知决策方法的步骤。
第四方面，本发明提供了一种计算机可读存储介质，包括：所述程序被处理器执行时，实现所述的智能座舱仿生眼机器人舱驾融合感知决策方法的步骤。
本发明的有益效果：根据“一机多用”理念，依托仿生眼机器人集成多维度智能感知交互的多功能轻量化座舱平台，能够替代DMS/OMS功能，实现舱内全息感知，全方位覆盖智能座舱中各类人员的各种需求，并结合基于边缘计算的深度学习与强化学习，不断优化用户体验。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
图1为本发明一个实施例提供的一种智能座舱仿生眼机器人舱驾融合感知决策方法的基本流程示意图；
图2为本发明一个实施例提供的一种智能座舱仿生眼机器人舱驾融合感知决策方法的接管主体选择流程图；
图3为本发明一个实施例提供的一种智能座舱仿生眼机器人舱驾融合感知决策方法的驾驶员注意力区域示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
实施例1
参照图1-3，为本发明的一个实施例，提供了一种智能座舱仿生眼机器人舱驾融合感知决策方法，如图1所示，包括：
S1：舱外观察眼获取舱外异常情况，生成并发送异常信息和接管信息；
更进一步的，多自由度类人头部运动控制模块，包括多自由度主动感知双向仿生眼控制舵机组合及控制调理电路板卡，可以进行类人头部运动及眼动控制，实现仿生眼机器人的头部旋转、侧倾以及俯仰运动，实现眼球的同向扫视和异向扫视、防颤凝视以及变焦跳视，以实现驾驶动态过程中不同场景的人机交互应用要求。
更进一步的，多自由度类人头部运动控制模块，包括多自由度的主动感知双向仿生眼及智能交互面板，可以进行类人头部运动，实时调整观察角度，以提高数据记录和识别精度、机器人观感，及人机交互体验。所述类人头部运动包括颈部和眼部运动，颈部由3自由度控制俯仰、平转、侧偏动作，每个眼部由前后向2个摄像头组成，每个摄像头也有俯仰、平转、侧偏3自由度，所以类人头部运动控制模块共3+2*2*3＝15自由度。
更进一步的，基于主动感知双向仿生眼的舱内外协同感知模块，包括仿生眼机器人的前后双向摄像头，同步获取舱内驾驶员/乘客信息、实时路况信息，并结合车内外各类感知传感器，实现基于多模态信息融合的智能驾驶智能决策。
更进一步的，多用户识别记忆与交互模块，包括舱内视觉模块、语音模块、文本生成模块联合形成的用户记忆交互模块。语音模块可根据每个用户音色特征识别或新增当前对话用户身份，根据声音来源定位当前对话用户所处位置，并结合仿生眼视觉模块捕捉唇部运动等信息智能判断。基于NLP的文本生成模块，记忆每个用户与机器人的历史对话信息，并据此分析用户年龄、性格、喜好、情绪、语言习惯等，生成个性化的对话内容和对话风格，根据用户需求，以语音或文本形式与用户进行交互，并根据不同场景灵活切换NLP模型的在线/离线模式，提高交互响应速度和质量。同时，增加自定义或智能识别手势/肢体/表情交互指令，力图给予包括各类特殊人群在内的所有用户良好的交互体验。智能调度车内闲置算力资源，结合边缘计算突破资源限制，增加语音、视觉等模块对于驾驶员/乘客行为的持续学习时间与规模。
更进一步的，驾驶习惯记忆分析模块，能够记录驾驶员驾驶过程中的速度变化趋势、紧急情况处理、对于车辆行人的避让倾向、驾驶姿势规范性、违规记录等信息，据此自动计算生成出驾驶员的反应速度、安全意识、操作熟练度、驾驶激进度等评估指标，上述评估出的指标，对应驾驶员身份分别记录于本地数据库中，后续可供出行安全性评估模块和舱内外协同感知模块使用。
更进一步的，出行安全性评估模块，融合了多项生物、环境特征提取任务，根据对驾驶员的身份识别、年龄识别、姿态识别、疲劳程度评估、历史驾驶习惯记录，以及座舱硬件损坏情况、舱内载重与人员数量、当前能见度、光照强度、环境温度、路况信息等进行综合性的出行安全性评估，在出发前或行驶过程中，通过语音或显示屏实时给出合理的出行建议，所述多项生物、环境特征提取任务采用深度学习算法，搭载融合基于yoloface、mediapipe等多种脸部、骨骼识别定位模型的分析系统，结合舱内外多种传感器信息，服务于最终的安全性评估。
更进一步的，舱内智能定位模块，可以接受用户的语音、手势、触摸屏交互等方式发出的指令，调用多自由度类人头部运动控制模块，搜索定位舱内指定物品位置或查询指定乘客状态，减少驾驶员的视线转移，提高安全性和便捷性。
更进一步的，日常事务处理模块，连接其他车载系统，例如空调系统、导航系统、通讯系统、社交平台、购物支付、音乐频道等，集成了多项高频日常事务。
更进一步的，基于用户画像的多感官主动交互模块，通过学习用户历史行为数据构建用户画像，并根据用户微表情、肢体动作、语言等线索预测用户行为，提前进行准备或给予协助。根据监测到的用户健康状况和情绪变化，从视觉、听觉、嗅觉等多感官途径，与用户进行主动智能交互，多维度改善用户当前身心状况，所述微表情、肢体动作等特征的识别可与驾驶习惯记忆分析模块及出行安全性评估模块共用部分深度学习模型，所述视觉、听觉、嗅觉等多感官途径的具体实施方式包括但不限于智能屏动画显示、自然声/音乐播放、不同种类的香薰气味释放等。
S2：舱内观察眼接收所述异常信息和接管信息后，基于驾驶员视线凝点判断驾驶员注意力是否朝向舱外异常情况，并进行接管主体选择，实现智能座舱内外的人机共驾协同决策。
更进一步的，接管主体选择，如图2所示，包括以下步骤：
S21：进入正常自动驾驶状态；
在这个阶段，智能汽车通过前视摄像头、激光雷达、毫米波雷达等外部环境感知系统，获取车辆周围的环境信息，同时通过自身的内部传感器(如轮速传感器、陀螺仪等)获取车辆状态信息，对车辆进行自主控制。
S22：仿生眼机器人的舱外观察眼检测到舱外出现异常情况，请求驾驶员接管并向舱内观察眼发送信号；
S23：当舱内观察眼接收到舱外观察眼发送的信号后，会基于驾驶员视线凝点判断驾驶员的注意力是否朝向异常情况，
S24：若驾驶员的注意力朝向与舱外异常情况朝向不相同，则判定不安全，自动驾驶系统拒绝驾驶员接管，继续按自动驾驶系统策略处理舱外异常情况；
S25：若驾驶员的注意力朝向与舱外异常情况朝向相同，则默认安全，同意驾驶员接管，自行处理异常情况，并在必要时决定何时将控制权交还给自动驾驶系统。
更进一步的，舱外异常情况，包括：
第一种类型为在自动驾驶过程中，前方突然出现行人、车辆或其他障碍物；
第二种类型为车辆在没有打转向灯的情况下偏离了当前车道；
第三种类型为在行驶过程中遇到交通拥堵和交通事故；
第四种类型为在行驶过程中遇到坑洼路段和施工区域。
更进一步的，舱内预警情况，包括
若舱内人员未系安全带，则自动驾驶系统发出二级警报；
若车辆起步后未松手刹且速度超过50km/h时，则自动驾驶系统发出一级警报；
若大灯在白天处于开启状态，则自动驾驶系统发出三级警报；
若舱外环境处于黑暗环境下而灯光未开启，则自动驾驶系统发出一级警报；
若车辆速度在经过限速路段时超过道路限速标牌，则自动驾驶系统发出三级警报；
若车辆速度达到120km/h以上，则自动驾驶系统发出一级警报；
所述三级警报为提醒警报，二级警报为重要警报，一级警报为危险警报；
若三种警报同时发生，优先级为：一级警报，二级警报，三级警报。
更进一步的，基于驾驶员视线凝点判断驾驶员的注意力，包括通过ResNet深度残差网络提取驾驶员面度的眼睛与鼻梁3D坐标，通过以下公式计算驾驶员视线朝向角度：
其中，(x1,y1,z1)和(x2,y2,z2)分别是驾驶员眼睛和鼻梁的3D坐标，r1和r2分别是眼睛和鼻梁的半径，θ是眼睛和鼻梁之间的夹角。
进一步地，将朝向角度转化为座舱内驾驶员注意力区域，如图3所示。
座舱区域共计12个，设为集合Q，驾驶员视线朝向为为D，构建映射函数D→Q。
安全性评估模块处理规则主要参照映射函数D→Q。例如左侧反光镜有道路风险场景，当驾驶员视线朝向与风险侧区域相同，则默认安全；如不一致则判定不安全。
更进一步的，自动驾驶系统策略，包括：
若出现舱外异常情况的第一种类型事件，则自动驾驶系统应迅速识别障碍物并采取紧急刹车措施，在刹车后向舱内发出语音提示，告知前方有障碍物，并进行接管主体选择；
若出现舱外异常情况的第二种类型事件，则自动驾驶系统应通过自动调整方向盘将车辆引导回原车道，在车辆回正后向舱内发出语音提示，告知车道偏离的情况，并进行接管主体选择；
若出现舱外异常情况的第三种类型事件，则自动驾驶系统应减速并保持安全距离，在减速并保持安全距离后向舱内发出语音提示，告知当前路况和预计的延迟时间，并询问是否需要改变路线；
若出现舱外异常情况的第四种类型事件，则自动驾驶系统应减速通过，在通过后向舱内发出语音提示，告知道路施工或障碍物的情况，并进行接管主体选择。
本实施例还提供一种智能座舱仿生眼机器人舱驾融合感知决策系统，包括：
获取模块，舱外观察眼获取舱外异常情况，生成并发送异常信息和接管信息；
判断模块，舱内观察眼接收所述异常信息和接管信息后，基于驾驶员视线凝点判断驾驶员注意力是否朝向舱外异常情况，并进行接管主体选择，实现智能座舱内外的人机共驾协同决策。
更进一步的，舱内观察眼包括：
多自由度类人头部运动控制模块，用于实现仿生眼机器人的头部旋转、侧倾以及俯仰运动；
基于主动感知双向仿生眼的舱内外协同感知模块，用于通过仿生眼摄像头获取驾驶员信息和实时路况；
多用户识别记忆与交互模块，用于识别用户音色特征、身份和位置的个性化交互；
驾驶习惯记忆分析模块，用于记录驾驶行为，评估驾驶员的安全意识和操作熟练度；
出行安全性评估模块，用于评估出行安全性，提供出行建议；
舱内智能定位模块，用于接收交互指令，通过头部运动控制模块感知乘客状态；
日常事务处理模块，用于连接车载系统，处理日常事务；
基于用户画像的多感官主动交互模块，用于通过用户画像预测行为，多感官途径与用户主动交互。
更进一步的，还包括：
存储器，用于存储程序；
处理器，用于加载所述程序以执行所述的智能座舱仿生眼机器人舱驾融合感知决策方法。
本实施例还提供一种计算机可读存储介质，其存储有程序，所述程序被处理器执行时，实现所述的智能座舱仿生眼机器人舱驾融合感知决策方法。
本实施例提出的存储介质与上述实施例提出的智能座舱仿生眼机器人舱驾融合感知决策方法属于同一发明构思，未在本实施例中详尽描述的技术细节可参见上述实施例，并且本实施例与上述实施例具有相同的有益效果。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(ReadOnly，Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例的方法。
实施例2
参照表1，为本发明的一个实施例，提供了一种智能座舱仿生眼机器人舱驾融合感知决策方法，为了验证其有益效果，提供了两种方案的对比结果。
现有方法为在驾驶员走神时处理视觉次任务和听觉次任务时的反应时间以及执行时间；
我方发明为在驾驶员走神时，开启自动驾驶模式，处理视觉次任务和听觉次任务时的反应时间以及执行时间；
以下为现有方法和我方发明的对比表；
表1实验接管反应时间描述性统计
表2实验接管执行时间描述性统计
从表1和表2可以看出，通过接管主体选择，同时观察到座舱内外的情况从而进行更科学的决策，能在用户未发出指令的情况下灵活地进行主动交互，我方发明可以大大减少由于驾驶员疏忽或疲劳引起的交通事故，可以实时地响应路况，减少反应时间，从而降低事故风险。
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种智能座舱仿生眼机器人舱驾融合感知决策方法，其特征在于，包括：
舱外观察眼获取舱外异常情况，生成并发送异常信息和接管信息；
舱内观察眼接收所述异常信息和接管信息后，基于驾驶员视线凝点判断驾驶员注意力是否朝向舱外异常情况，并进行接管主体选择和舱内预警情况分类，实现智能座舱内外的人机共驾协同决策。
2.如权利要求1所述的智能座舱仿生眼机器人舱驾融合感知决策方法，其特征在于：
所述接管主体选择，包括：
若驾驶员的注意力朝向与舱外异常情况朝向不相同，则判定为不安全，自动驾驶系统拒绝驾驶员接管，继续按自动驾驶系统策略处理异常情况；
若驾驶员的注意力朝向与舱外异常情况朝向相同，则判定为安全，自动驾驶系统同意驾驶员接管，若舱内观察眼一段时间内没有接收到异常信息，则将控制权交还给自动驾驶系统。
3.如权利要求1或2所述的智能座舱仿生眼机器人舱驾融合感知决策方法，其特征在于：所述舱外异常情况，包括：
第一种类型为在自动驾驶过程中，前方突然出现行人、车辆或其他障碍物；
第二种类型为车辆在没有打转向灯的情况下偏离了当前车道；
第三种类型为在行驶过程中遇到交通拥堵和交通事故；
第四种类型为在行驶过程中遇到坑洼路段和施工区域。
4.如权利要求3所述的智能座舱仿生眼机器人舱驾融合感知决策方法，其特征在于：所述舱内预警情况，包括
若舱内人员未系安全带，则自动驾驶系统发出二级警报；
若车辆起步后未松手刹且速度超过50km/h时，则自动驾驶系统发出一级警报；
若大灯在白天处于开启状态，则自动驾驶系统发出三级警报；
若舱外环境处于黑暗环境下而灯光未开启，则自动驾驶系统发出一级警报；
若车辆速度在经过限速路段时超过道路限速标牌，则自动驾驶系统发出三级警报；
若车辆速度达到120km/h以上，则自动驾驶系统发出一级警报；
所述三级警报为提醒警报，二级警报为重要警报，一级警报为危险警报；
若三种警报同时发生，优先级为：一级警报，二级警报，三级警报。
5.如权利要求4所述的智能座舱仿生眼机器人舱驾融合感知决策方法，其特征在于：所述基于驾驶员视线凝点判断驾驶员的注意力，包括通过ResNet深度残差网络提取驾驶员面度的眼睛与鼻梁3D坐标，通过以下公式计算驾驶员视线朝向角度：
其中，(x1,y1,z1)和(x2,y2,z2)分别是驾驶员眼睛和鼻梁的3D坐标，r1和r2分别是眼睛和鼻梁的半径，θ是眼睛和鼻梁之间的夹角。
6.如权利要求5所述的智能座舱仿生眼机器人舱驾融合感知决策方法，其特征在于：所述自动驾驶系统策略，包括：
若出现舱外异常情况的第一种类型事件，则自动驾驶系统应迅速识别障碍物并采取紧急刹车措施，在刹车后向舱内发出语音提示，告知前方有障碍物，并进行接管主体选择；
若出现舱外异常情况的第二种类型事件，则自动驾驶系统应通过自动调整方向盘将车辆引导回原车道，在车辆回正后向舱内发出语音提示，告知车道偏离的情况，并进行接管主体选择；
若出现舱外异常情况的第三种类型事件，则自动驾驶系统应减速并保持安全距离，在减速并保持安全距离后向舱内发出语音提示，告知当前路况和预计的延迟时间，并询问是否需要改变路线；
若出现舱外异常情况的第四种类型事件，则自动驾驶系统应减速通过，在通过后向舱内发出语音提示，告知道路施工或障碍物的情况，并进行接管主体选择。
7.一种基于权利要求1所述的智能座舱仿生眼机器人舱驾融合感知决策系统，其特征在于：
获取模块，用于舱外观察眼获取舱外异常情况，生成并发送异常信息和接管信息；
判断模块，用于舱内观察眼接收所述异常信息和接管信息后，基于驾驶员视线凝点判断驾驶员注意力是否朝向舱外异常情况，并进行接管主体选择，实现智能座舱内外的人机共驾协同决策。
8.一种基于权利要求7所述的智能座舱仿生眼机器人舱驾融合感知决策系统，其特征在于：所述舱内观察眼包括：
多自由度类人头部运动控制模块，用于实现仿生眼机器人的头部旋转、侧倾以及俯仰运动；
基于主动感知双向仿生眼的舱内外协同感知模块，用于通过仿生眼摄像头获取驾驶员信息和实时路况；
多用户识别记忆与交互模块，用于识别用户音色特征、身份和位置的个性化交互；
驾驶习惯记忆分析模块，用于记录驾驶行为，评估驾驶员的安全意识和操作熟练度；
出行安全性评估模块，用于评估出行安全性，提供出行建议；
舱内智能定位模块，用于接收交互指令，通过头部运动控制模块感知乘客状态；
日常事务处理模块，用于连接车载系统，处理日常事务；
基于用户画像的多感官主动交互模块，用于通过用户画像预测行为，多感官途径与用户主动交互。
9.一种电子设备，其特征在于，包括：
存储器，用于存储程序；
处理器，用于加载所述程序以执行如权利要求1-7任一项所述的智能座舱仿生眼机器人舱驾融合感知决策方法的步骤。
10.一种计算机可读存储介质，其存储有程序，其特征在于，所述程序被处理器执行时，实现如权利要求1-7任一项所述的智能座舱仿生眼机器人舱驾融合感知决策方法的步骤。
CN202410147559.0A 2024-02-01 2024-02-01 一种智能座舱仿生眼机器人舱驾融合感知决策方法及系统 Pending CN118306418A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410147559.0A CN118306418A (zh) 2024-02-01 2024-02-01 一种智能座舱仿生眼机器人舱驾融合感知决策方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410147559.0A CN118306418A (zh) 2024-02-01 2024-02-01 一种智能座舱仿生眼机器人舱驾融合感知决策方法及系统

Publications (1)

Publication Number Publication Date
CN118306418A true CN118306418A (zh) 2024-07-09

Family

ID=91721319

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410147559.0A Pending CN118306418A (zh) 2024-02-01 2024-02-01 一种智能座舱仿生眼机器人舱驾融合感知决策方法及系统

Country Status (1)

Country Link
CN (1) CN118306418A (zh)

Similar Documents

Publication Publication Date Title
Xing et al. Toward human-vehicle collaboration: Review and perspectives on human-centered collaborative automated driving
CN112672943B (zh) 信息处理设备、移动装置、方法和程序
US10421459B2 (en) Contextual-assessment vehicle systems
US20220164026A1 (en) Methods and systems for using artificial intelligence to evaluate, correct, and monitor user attentiveness
US10317900B2 (en) Controlling autonomous-vehicle functions and output based on occupant position and attention
Li et al. Cognitive cars: A new frontier for ADAS research
JP4694440B2 (ja) 運転者支援システム
KR102591432B1 (ko) 운전자 피로를 검출하고 동적으로 완화하기 위한 시스템들 및 방법들
US11685390B2 (en) Assistance method and assistance system and assistance device using assistance method that execute processing relating to a behavior model
US20220009524A1 (en) Information processing apparatus, moving apparatus, and method, and program
US20240034362A1 (en) Information processing device, information processing method, and information processing program
US20170355377A1 (en) Apparatus for assessing, predicting, and responding to driver fatigue and drowsiness levels
CN103732480A (zh) 用于在行车道上车辆的线路引导中辅助驾驶员的方法和设备
CN112644507B (zh) 驾驶者状态判定装置
WO2022050200A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
Rong et al. Artificial intelligence methods in in-cabin use cases: A survey
CN116279572A (zh) 一种车辆安全态势评估与稳态驾驶模式切换方法及系统
Aledhari et al. Motion comfort optimization for autonomous vehicles: Concepts, methods, and techniques
Meng et al. Application and development of AI technology in automobile intelligent cockpit
Amditis et al. Design and development of an adaptive integrated driver-vehicle interface: overview of the AIDE project
CN116685516A (zh) 信息处理装置、信息处理方法和信息处理程序
JP7232094B2 (ja) 車両の制御装置、車両の制御方法及びプログラム
CN118306418A (zh) 一种智能座舱仿生眼机器人舱驾融合感知决策方法及系统
CN117465459A (zh) 车辆控制方法、装置、设备及存储介质
Abdi Khojasteh et al. An intelligent safety system for human-centered semi-autonomous vehicles

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination