CN115440107B - 一种基于vr虚拟现实的聋哑人智能驾驶训练系统及方法 - Google Patents

Abstract

本发明涉及驾驶模拟控制领域，公开了一种基于VR虚拟现实的聋哑人智能驾驶训练系统及方法，包括构建模块，用于根据目标人员的身份信息构建相应的VR车辆模型和VR场景模型；训练模块，用于利用VR车辆模型和VR场景模型对目标人员进行驾驶训练，在训练过程中实时采集训练数据；人机交互模块，用于在训练过程中与目标人员实现交互功能；评估模块，用于对训练数据进行评估以确定目标人员的合格率和错误操作并进行错误指导。通过构建VR模型对聋哑人员进行驾驶训练即可提供直接、生动、直观、智能、安全的驾驶训练课程，提高训练质量与效率，同时降低训练成本，避免聋哑人与教练人员沟通困难的问题，提高实用性，降低风险的同时提高安全性。

Description

一种基于VR虚拟现实的聋哑人智能驾驶训练系统及方法

技术领域

本发明涉及驾驶模拟控制技术领域，尤其涉及一种基于VR虚拟现实的聋哑人智能驾驶训练系统及方法。

背景技术

在现代社会，驾驶是一项重要的社会技能。目前，在对学员进行驾驶技能培训时，通常是由具有经验的驾驶教练一对一对学员在实际道路上驾驶实际车辆进行陪练，这种方法能够确保每位学员真正掌握驾驶技巧。然而，这种陪练方式的效率较低，而且，由于需要在实际道路驾驶实际车辆，增加了学车时的危险性。

模拟驾驶、自动驾驶相关技术近年来也在快速发展，例如公开号为CN109597317A的中国专利申请，提出一种基于自学习的车辆自动驾驶方法、系统及电子设备，可进行道路环境学习，构建虚拟道路场景，规划目标轨迹和目标车速，生成待训练的自动驾驶控制模型。

特别是对于聋哑人来说，由于其具备明显的生理缺陷故而在驾驶技能学习时会会出现与教练人员沟通困难，进而极大的增加教学难度和学车时的危险性。

发明内容

针对上述所显示出来的问题，本发明提供了一种基于VR虚拟现实的聋哑人智能驾驶训练系统及方法，用以解决背景技术中提到的聋哑人具备明显的生理缺陷故而在驾驶技能学习时会出现与教练人员沟通困难，进而极大的增加教学难度和学车时的危险性的问题。

一种基于VR虚拟现实的聋哑人智能驾驶训练系统，该系统包括：

构建模块，用于根据目标人员的身份信息构建相应的VR车辆模型和VR场景模型；

训练模块，用于利用VR车辆模型和VR场景模型对目标人员进行驾驶训练，在训练过程中实时采集训练数据；

人机交互模块，用于在训练过程中与目标人员实现交互功能；

评估模块，用于对训练数据进行评估以确定目标人员的合格率和错误操作并进行错误指导。

优选的，上述构建模块，包括：

第一获取子模块，用于获取目标人员的身份信息并提取其对应的五官特征，根据身份信息和五官特征确定目标人员的残疾信息；

选择子模块，用于根据目标人员的残疾信息选择对应的教学模式和教学视频；

第一构建子模块，用于根据教学模式和教学视频确定教学场景，获取教学场景对应的场景点云数据并基于VR技术构建VR场景模型；

第二构建子模块，用于根据目标人员的驾驶需求确定驾驶训练车型，获取驾驶训练车型中任一车辆的车辆点云数据并基于VR技术构建VR车辆模型。

优选的，上述训练模块，包括：

身份确认子模块，用于确认目标人员是否符合训练人员的身份信息，根据确认结果确认目标人员是否具备训练条件；

第一标记子模块，用于根据VR场景模型，获取场地中库位标线、道路标线或特征点，并将场地中库位标线、道路标线或特征点以预设方式进行标记以确定车辆的行驶方向；

第一生成子模块，用于根据车辆的行驶方向和VR车辆模型以及VR场景模型生成VR训练场地以供目标人员进行训练。

监控子模块，用于监控目标人员在驾驶过程中的注视特征信息和驾驶状态信息；

第一采集子模块，用于采集目标人员在驾驶过程中的车辆动力系统参数信息和车辆行驶轨迹信息。

优选的，上述人机交互模块，包括：

第二采集子模块，用于采集目标人员发出的语音信号或者手势信号；

第二获取子模块，用于根据语音信号获取第一技术问题信息或者根据手势信号获取手势行为；

转化子模块，用于利用预设手势识别算法对手势行为进行解析，将解析结果转化为文字格式内容；

确认子模块，用于将文字格式内容反馈至目标人员佩戴VR设备确认是否正确，接收目标人员反馈的动作指令以确认文字格式内容的精度；

第三获取子模块，用于当目标人员确认文字格式内容无误时，根据文字格式内容获取第二技术问题信息；

检索子模块，用于根据第一技术问题和第二技术问题对预设教学内容进行检索，获取对应的答疑或指导方案；

教学子模块，用于根据答疑或指导方案对目标人员进行语音教学或者手势教学。

优选的，上述训练模块，还包括：

第四获取子模块，用于获取目标人员的驾驶训练项并获取每个驾驶训练项的预设驾驶参数；

第二生成子模块，用于根据每个驾驶训练项的预设驾驶参数生成该驾驶项的语音指导指标和文字指导指标；

判断子模块，用于通过语音指导指标和文字指导指标提醒目标人员进行驾驶训练，在训练过程中当目标人员出现错误操作时，获取车辆操作错误后的位置数据和姿态数据，根据位置数据和姿态数据判断目标人员是否可以继续完整的完成驾驶科目流程；

第二标记子模块，用于当判断目标人员可以继续完整的完成驾驶科目流程时，对错误操作参数进行标记和存储；

调整子模块，用于当判断目标人员无法继续完整的完成驾驶科目流程时，通过预设大数据算法计算出目标人员可继续完整的完成驾驶科目流程时的目标位置并将车辆调节至目标位置。

优选的，上述评估模块，用于对训练数据进行评估以确定目标人员的合格率和错误操作并进行错误指导，包括：

筛选子模块，用于根据训练数据筛选出目标人员的错误驾驶操作；

第五获取子模块，用于获取目标人员的错误驾驶操作对应的操作行为特征；

分析子模块，用于根据操作行为特征分析出目标人员的操作错误原因和改进建议；

第三生成子模块，用于根据目标人员的每个错误操作项的改进建议和该错误操作项的规范操作参数生成第一人称指导内容和第三人称指导内容；

第一显示子模块，用于将上述第一人称指导内容和第三人称指导内容进行显示以对目标人员进行错误操作项的指导工作。

优选的，该系统，还包括：

确定模块，用于确定训练数据的数据格式；

加密模块，用于基于数据格式对训练数据进行加密，获取加密后的训练数据；

上传模块，用于将加密后的训练数据上传到管理服务器上；

上述训练模块，还包括：

处理子模块，用于将VR车辆模型进行透明化处理以显示其多个车辆连接部件；

第二显示子模块，用于显示目标人员在训练过程中VR车辆模型在不同操作项下方向盘转角与轮胎角度之间的联动关系以及车辆所处的视景位置和行驶过程中车辆与路面、车辆与障碍物之间的位置关系。

优选的，加密模块基于数据格式对训练数据进行加密，获取加密后的训练数据，具体为：

整合训练数据中的关键数据集，并进行数据保护；

根据关键数据集中每个关键数据的数据格式确定该关键数据的数据类型；

确定每种数据类型对应的加密密级，根据加密等级生成对应的密级钥；

根据每种数据类型的密级钥构建其对应规格的加密序列，并将加密序列输入到预设矩阵中构建加密矩阵；

将关键数据集输入到加密矩阵中，并获取随机码填充加密矩阵中的空白元素位，同时根据每一元素行在加密矩阵中的顺序，为每一元素行进行编号；

根据编号顺序并基于对应的密级钥分别提取每一元素行对应的密级敏感元素，并在提取密级敏感元素的过程中记录每一元素行对应的当前密级钥，建立与编号对应的密级钥链；

在加密矩阵中标记每一密级敏感元素对应的第一位置，并根据每一元素列中包含的密级敏感元素的数量，建立对应的加密层；

获取所有第一位置，建立待检位置集；

将每个元素列输入到其对应的加密层中，进行逐层加密，根据编号顺序利用加密结果建立秘密矩阵，同时，获取秘密矩阵在建立过程中的秘密钥链；

判断密级钥链与秘密钥链是否互补，并在密级钥链与秘密钥链互补时，利用秘密矩阵替换加密矩阵，完成加密工作；

反之，基于待检位置集，在秘密矩阵标记对应的第二位置，提取第二位置上对应的第二元素；

获取密级敏感元素与第二元素之间的相关度，基于相关度，生成干扰钥，对第二元素进行干扰加密，利用干扰加密结果替换秘密矩阵中对应的第二元素；

同时，基于干扰钥调整秘密钥链；

持续判断密级钥链与调整后的秘密钥链是否互补，并利用密级钥链与调整后的秘密钥链互补时对应的第一秘密矩阵替换加密矩阵，完成关键数据集的加密工作。

优选的，该系统还用于：

获取目标人员在训练过程中VR场景模型的背景特征信息的变化情况；

根据背景特征信息的变化情况确定每个背景特征信息的模态特征向量；

将训练过程中的不同帧训练图像的同一背景特征信息进行特征匹配，获取匹配结果；

根据匹配结果计算出训练过程中的每帧训练图像的同一背景特征信息的变化率：

选择训练过程中的每帧训练图像的同一背景特征信息的变化率大于等于第一预设阈值的第一背景特征信息初步确认为大幅变轮换背景信息，将变化率小于第一预设阈值的第二背景特征信息确认为小幅变背景信息；

确定第一背景特征信息的目标模态特征向量在每帧训练图像中的离散变化区间；

根据第一背景特征信息的目标模态特征向量在每帧训练图像中的离散变化区间确定相邻两帧直播图像中第一背景特征信息对于不同第二背景特征信息的参考相关系数；

确认相邻两帧直播图像中第一背景特征信息对于不同第二背景特征信息的参考相关系数是否大于等于第二预设阈值，若是，将第一背景特征信息确认为驾驶参考背景特征信息，否则，将第一背景特征信息确认为无关驾驶参考背景特征信息；

若第一背景特征信息为驾驶参考背景特征信息，将其进行保留，若第一背景特征信息为无关驾驶参考背景特征信息，将其从VR场景模型中剔除。

一种基于VR虚拟现实的聋哑人智能驾驶训练方法，包括以下步骤：

根据目标人员的身份信息构建相应的VR车辆模型和VR场景模型；

利用VR车辆模型和VR场景模型对目标人员进行驾驶训练，在训练过程中实时采集训练数据；

在训练过程中与目标人员进行交互；

对训练数据进行评估以确定目标人员的合格率和错误操作并进行错误指导。

通过本技术方案，可以取得如下技术效果：

1）通过构建VR模型来对聋哑人员进行驾驶训练即可以为其提供直接、生动、直观、智能、安全的驾驶训练课程，提高了训练质量与效率，同时也降低训练成本，避免了聋哑人与教练人员沟通困难的问题，提高了实用性，同时也无需去实际道路上进行训练，降低了风险的同时也提高了安全性。

2）通过根据目标人员内的需求来自适应构建虚拟车辆模型和场景模型可以获得目标人员实际需求的最佳模型，提高了模型的适配性和实用性。

3）通过对目标人员进行身份验证可以确保其具备训练条件，提高了隐私性，进一步的，通过对模型中的驾驶路线进行高亮标记可以使得目标人员直观清晰的确定自己的训练路线，提高了其体验感，进一步的，通过从车辆和目标人员双维度来采集训练过程中的数据可以实现对于目标人员驾驶习惯和行为特征的监视同时还可以监控车辆的行驶参数，从而可以为后续综合的评估出目标人员的驾驶和学习水平奠定了基础条件。

4）可以保证目标人员可以稳定的完成整个驾驶科目流程，进一步的提高了目标人员的体验感，进一步的，通过生成每个驾驶项的语音指导指标和文字指导指标可以针对训练人员的不同学习条件来为其提供相应的教学指导指标，进一步的提高了实用性和适配性以及训练人员的体验感。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分的从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。

图1为本发明所提供的一种基于VR虚拟现实的聋哑人智能驾驶训练系统的结构示意图；

图2为本发明所提供的一种基于VR虚拟现实的聋哑人智能驾驶训练系统中训练模块的结构示意图；

图3为本发明所提供的一种基于VR虚拟现实的聋哑人智能驾驶训练系统中训练模块的另一结构示意图；

图4为本发明所提供的一种基于VR虚拟现实的聋哑人智能驾驶训练方法的工作流程图。

具体实施方式

这里将详细的对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

在现代社会，驾驶是一项重要的社会技能。目前，在对学员进行驾驶技能培训时，通常是由具有经验的驾驶教练一对一对学员在实际道路上驾驶实际车辆进行陪练，这种方法能够确保每位学员真正掌握驾驶技巧。然而，这种陪练方式的效率较低，而且，由于需要在实际道路驾驶实际车辆，增加了学车时的危险性。对于聋哑人来说，由于其具备明显的生理缺陷，故而在驾驶技能学习时会出现与教练人员沟通困难，进而极大的增加教学难度和学车时的危险性。为了解决上述问题，本实施例公开了一种基于VR虚拟现实的聋哑人智能驾驶训练系统及方法。

一种基于VR虚拟现实的聋哑人智能驾驶训练系统，如图1所示，该系统包括：

构建模块101，用于根据目标人员的身份信息构建相应的VR车辆模型和VR场景模型；

训练模块102，用于利用VR车辆模型和VR场景模型对目标人员进行驾驶训练，在训练过程中实时采集训练数据；

人机交互模块103，用于在训练过程中与目标人员实现交互功能；

评估模块104，用于对训练数据进行评估以确定目标人员的合格率和错误操作并进行错误指导；

在本实施例中，身份信息包含但不局限于目标人员的体征信息和健康信息；

在本实施例中，VR场景模型表示为根据目标人员练习科目所构建的对应场景模型；

在本实施例中，训练数据包含但不局限于车辆运动特征信息、操作行为特征信息、错误驾驶操作、场景特征信息，能追踪和记录驾驶人的注视目标、注视时间等注视特征信息、训练车辆的当前时速、发动机转速，方向盘转动方向和方向盘转动度数，当前档位和手刹的状态等信息；

在本实施例中，交互功能可以为语音交互也可以为手势交互；

在本实施例中，合格率表示为目标人员对于某个科目的训练合格率；

在本实施例中，错误操作可以为主动错误操作也可以为被动错误操作。

上述技术方案的工作原理为：首先利用构建模块根据目标人员的身份信息构建相应的VR车辆模型和VR场景模型，例如根据目标人员的身份信息确定其练习科目和等级，从而选择对应的练习车辆和练习场景进而构建场景模型和车辆模型，然后通过训练模块利用VR车辆模型和VR场景模型对目标人员进行驾驶训练，在训练过程中实时采集训练数据，在目标人员驾驶训练过程中通过人机交互模块实现与目标人员的交互功能以对其进行教学和操作指导以及纠正工作以最大化的实现目标人员的驾驶训练完成度，最后通过评估模块对训练数据进行评估以确定目标人员的合格率和错误操作并进行错误指导。

上述技术方案的有益效果为：通过构建VR模型来对聋哑人员进行驾驶训练即可以为其提供直接、生动、直观、智能、安全的驾驶训练课程，提高了训练质量与效率，同时也降低训练成本，避免了聋哑人与教练人员沟通困难的问题，提高了实用性，同时也无需去实际道路上进行训练，降低了风险的同时也提高了安全性，解决了现有技术中聋哑人具备明显的生理缺陷故而在驾驶技能学习时会会出现与教练人员沟通困难进而极大的增加教学难度和学车时的危险性的问题。

在一个实施例中，构建模块101，包括：

第一获取子模块，用于获取目标人员的身份信息并提取其对应的五官特征，根据身份信息和五官特征确定目标人员的残疾信息；

选择子模块，用于根据目标人员的残疾信息选择对应的教学模式和教学视频；

第一构建子模块，用于根据教学模式和教学视频确定教学场景，获取教学场景对应的场景点云数据并基于VR技术构建VR场景模型；

第二构建子模块，用于根据目标人员的驾驶需求确定驾驶训练车型，获取驾驶训练车型中任一车辆的车辆点云数据并基于VR技术构建VR车辆模型；

在本实施例中，教学模式表示为多通道交互式、带有闭环反馈的智能化教学模式；

在本实施例中，教学视频可以为手势语言教学视频也可以为纯语音流教学视频；

在本实施例中，目标人员的驾驶需求可以通过目标人员的身高信息或者目标人员的驾驶习惯获得。

上述技术方案的有益效果为：通过根据目标人员内的需求来自适应构建虚拟车辆模型和场景模型可以获得目标人员实际需求的最佳模型，提高了模型的适配性和实用性。

在一个实施例中，如图2所示，训练模块102，包括：

身份确认子模块1021，用于确认目标人员是否符合训练人员的身份信息，根据确认结果确认目标人员是否具备训练条件；

第一标记子模块1022，用于根据VR场景模型，获取场地中库位标线、道路标线或特征点，并将场地中库位标线、道路标线或特征点以预设方式进行标记以确定车辆的行驶方向；

第一生成子模块1023，用于根据车辆的行驶方向和VR车辆模型以及VR场景模型生成VR训练场地以供目标人员进行训练；

监控子模块1024，用于监控目标人员在驾驶过程中的注视特征信息和驾驶状态信息；

第一采集子模块1025，用于采集目标人员在驾驶过程中的车辆动力系统参数信息和车辆行驶轨迹信息；

在本实施例中，训练条件表示为目标人员的身份信息与训练人员的身份信息是否一致；

在本实施例中，预设方式可以为3D Mark高亮标记显示线、高亮车辆的指示点或引导方向的3D指示方向的箭头；

在本实施例中，车辆动力系统参数信息表示为车辆的方向盘角度信息、车速、转速、驻车制动器状态，挡位状态等信息。

上述技术方案的有益效果为：通过对目标人员进行身份验证可以确保其具备训练条件，提高了隐私性，进一步的，通过对模型中的驾驶路线进行高亮标记可以使得目标人员直观清晰的确定自己的训练路线，提高了其体验感，进一步的，通过从车辆和目标人员双维度来采集训练过程中的数据可以实现对于目标人员驾驶习惯和行为特征的监视同时还可以监控车辆的行驶参数，从而可以为后续综合的评估出目标人员的驾驶和学习水平奠定了基础条件。

在一个实施例中，人机交互模块103，包括：

第二采集子模块，用于采集目标人员发出的语音信号或者手势信号；

第二获取子模块，用于根据语音信号获取第一技术问题信息或者根据手势信号获取手势行为；

转化子模块，用于利用预设手势识别算法对手势行为进行解析，将解析结果转化为文字格式内容；

确认子模块，用于将文字格式内容反馈至目标人员佩戴VR设备确认是否正确，接收目标人员反馈的动作指令以确认文字格式内容的精度；

第三获取子模块，用于当目标人员确认文字格式内容无误时，根据文字格式内容获取第二技术问题信息；

检索子模块，用于根据第一技术问题和第二技术问题对预设教学内容进行检索，获取对应的答疑或指导方案；

教学子模块，用于根据答疑或指导方案对目标人员进行语音教学或者手势教学；

在本实施例中，手势识别还可以通过如下两种方法执行：

一种是数据手套的识别，数据手套的手势识别系统利用数据手套和位置跟踪器来捕捉手势的运动轨迹和检测手的方向，手指弯曲程度等信息，根据这些信息对手势进行分析，这种方法的优点是系统识别率高。另一种是基于摄像机连续拍摄手的运动，再用边界特征识别的方法判断出具体手势，具体为：

（1）摄像机设定：确定驾驶学员人手表面各个关节点的三维几何位置与其在图像中对应点之间的关系，利用合适的摄像机标定算法，提高机器视觉的识别性。

（2）手势图像获取与特征提取：手势特征提取过程需减除背景，基于肤色分割算法对已有的手势识别算法改进，并利用恰当的算法对图像进行二值化处理，使图像转化一个突出手势的图片。

（3）手势估计与跟踪：利用水平算法及其改进识别图像，配合适当的模型对手部动作轮廓进行提取和跟踪，用均值漂移算法等跟踪轮廓内外的图像特征分部。

手势行为识别：使用适当的分类器识别已有手语库中的手势，提高识别率。

上述技术方案的有益效果为：通过对不同形式的技术问题进行采集和识别可以完整的针对聋哑人的各种残疾情况来准确的获得其想表述的技术问题信息，进一步的提高了目标人员的体验感，同时也可以快速的调取指导方案进行技术问题解决，进一步的提高了工作效率和实用性。

在一个实施例中，如图3所示，训练模块102，还包括：

第四获取子模块1026，用于获取目标人员的驾驶训练项并获取每个驾驶训练项的预设驾驶参数；

第二生成子模块1027，用于根据每个驾驶训练项的预设驾驶参数生成该驾驶项的语音指导指标和文字指导指标；

判断子模块1028，用于通过语音指导指标和文字指导指标提醒目标人员进行驾驶训练，在训练过程中当目标人员出现错误操作时，获取车辆操作错误后的位置数据和姿态数据，根据位置数据和姿态数据判断目标人员是否可以继续完整的完成驾驶科目流程；

第二标记子模块1029，用于当判断目标人员可以继续完整的完成驾驶科目流程时，对错误操作参数进行标记和存储；

调整子模块10210，用于当判断目标人员无法继续完整的完成驾驶科目流程时，通过预设大数据算法计算出目标人员可继续完整的完成驾驶科目流程时的目标位置并将车辆调节至目标位置。

在本实施例中，驾驶训练项表示为目标人员的驾驶项目，例如倒库、侧方或者模拟上路等；

在本实施例中，预设驾驶参数表示为可完成每个驾驶项目的标准驾驶指标的驾驶操作参数；

在本实施例中，提醒目标人员进行驾驶训练的提醒方式可以为通过体感震动的方式提醒目标人员进行每个驾驶项目的调整时机；

在本实施例中，姿态数据表示为车辆在模拟场景道路上的道路偏差姿势和自身偏度姿势；

上述技术方案的有益效果为：可以保证目标人员可以稳定的完成整个驾驶科目流程，进一步的提高了目标人员的体验感，进一步的，通过生成每个驾驶项的语音指导指标和文字指导指标可以针对训练人员的不同学习条件来为其提供相应的教学指导指标，进一步的提高了实用性和适配性以及训练人员的体验感。

在本实施例中，还可以对聋哑学员进行眼球训练，眼动锁定目标，观察后视镜的时间教学内容等。

后视镜观察的培养，观察后视镜通过眼球追踪识别聋哑驾驶员的眼部观察目标和时间。

当驾驶员驾驶车辆左转，掉头，开启左转向灯并且刹车，通过眼球追踪技术判断聋哑学员是否观察左侧后视镜。

当驾驶员驾驶车辆右转，开启右转灯并且刹车，通过眼球追踪技术判断聋哑学员是否观察右后视镜。

当驾驶员驾驶车辆倒车，侧方停车等，通过眼球追踪技术判断驾驶人观察后视镜的时间，时机等提示。

聋哑学员驾驶过程中进行眼球训练，行车中，聋哑驾驶学员更应通过每隔几秒钟观察后视镜的习惯，提早发现后方的潜在风险，提早决策行动。训练聋哑驾驶学员频繁地查看后视镜以确定自己的安全。提前预知风险的感应力。

一般情况下人们的眼睛具有两种不同的观察能力。一种是由狭窄的中心视野（3º）来完成，另一种是由边缘视野来完成。用边缘视野看不会很清楚，但对光线、运动和任何区别于背景的过亮或过暗的东西反应迅速。每个驾驶员驾车时看到的东西首先都是由边缘视野发现，再由中心视野对准时才反应。

当聋哑学员加快速度开车时，特别是在驾驶员专注于一个物体时，边缘视野变得更狭窄。边缘视野在行车时还有很多作用，中心视野常称为“辨认视野”，边缘视野也叫做“生存视野”。一般的交通事故原因是很多驾车者只使用中心视野，对于出现在边缘视野的预兆不去关心。

车速越快，视距和视野下降的程度也就越明显，根据车辆的速度计算视距和视野，通过扇形区域和车前距离的设计生动形象的展现给聋哑驾驶学员不同车速的视距和视野，明显的区域范围变化生动形象的展示并且教育聋哑学员提前预知车辆在运动过程中观察到的范围。根据车辆行驶的速度，确认目标驾驶学员观察后视镜的时间、时机是否正确，教育聋哑驾驶学员形成肌肉性的记忆。

驾驶员的眼睛在开车时应每2秒眨动一下来刷新记忆，提供驾驶员对路况的注意。人的眼睛如果凝视一个物体多于1.7秒，就不能保持足够的专注，变成空虚的凝视。所以驾驶员需要不断的眨眼睛，以保证能持续看到物体。通过眼球追踪技术，在VR汽车模拟器教学中通过有意识的锻炼，来迫使聋哑驾驶学员的眼睛看一个物体只有2秒。养成习惯后，当驾驶员的思想不在驾车时，仍可以避免由于空虚的凝视而造成严重问题，对聋哑学员进行眼球训练，有力的保障驾驶员的安全性。

在一个实施例中，评估模块104，用于对训练数据进行评估以确定目标人员的合格率和错误操作并进行错误指导，包括：

筛选子模块，用于根据训练数据筛选出目标人员的错误驾驶操作；

第五获取子模块，用于获取目标人员的错误驾驶操作对应的操作行为特征；

分析子模块，用于根据操作行为特征分析出目标人员的操作错误原因和改进建议；

第三生成子模块，用于根据目标人员的每个错误操作项的改进建议和该错误操作项的规范操作参数生成第一人称指导内容和第三人称指导内容；

第一显示子模块，用于将第一人称指导内容和第三人称指导内容进行显示以对目标人员进行错误操作项的指导工作。

上述技术方案的有益效果为：可以从第一人称和第三人称全方位的对目标人员进行错误驾驶纠正和指导，提高了教学效率和目标人员的接受度，进一步的提高了目标人员的体验感。

在一个实施例中，该系统，还包括：

确定模块，用于确定训练数据的数据格式；

加密模块，用于基于数据格式对训练数据进行加密，获取加密后的训练数据；

上传模块，用于将加密后的训练数据上传到管理服务器上；

训练模块102，还包括：

处理子模块，用于将VR车辆模型进行透明化处理以显示其多个车辆连接部件；

第二显示子模块，用于显示目标人员在训练过程中VR车辆模型在不同操作项下方向盘转角与轮胎角度之间的联动关系以及车辆所处的视景位置和行驶过程中车辆与路面、车辆与障碍物之间的位置关系。

上述技术方案的有益效果为：通过对训练数据进行加密可以有效的防止篡改数据情况的发生，保证了训练数据的精度和安全性，进一步的，通过显示目标人员在训练过程中VR车辆模型在不同操作项下方向盘转角与轮胎角度之间的联动关系以及车辆所处的视景位置和行驶过程中车辆与路面、车辆与障碍物之间的位置关系可以使得目标人员更加直观清晰的获取到驾驶过程中的车辆制动体验，为其驾驶经验的增加奠定了条件。

在一个实施例中，上述加密模块基于数据格式对训练数据进行加密，获取加密后的训练数据，具体为：

整合训练数据中的关键数据集，并进行数据保护；

根据关键数据集中每个关键数据的数据格式确定该关键数据的数据类型；

确定每种数据类型对应的加密密级，根据加密等级生成对应的密级钥；

根据每种数据类型的密级钥构建其对应规格的加密序列，并将加密序列输入到预设矩阵中构建加密矩阵；

将关键数据集输入到加密矩阵中，并获取随机码填充加密矩阵中的空白元素位，同时根据每一元素行在加密矩阵中的顺序，为每一元素行进行编号；

根据编号顺序并基于对应的密级钥分别提取每一元素行对应的密级敏感元素，并在提取密级敏感元素的过程中记录每一元素行对应的当前密级钥，建立与编号对应的密级钥链；

在加密矩阵中标记每一密级敏感元素对应的第一位置，并根据每一元素列中包含的密级敏感元素的数量，建立对应的加密层；

获取所有第一位置，建立待检位置集；

将每个元素列输入到其对应的加密层中，进行逐层加密，根据编号顺序利用加密结果建立秘密矩阵，同时，获取秘密矩阵在建立过程中的秘密钥链；

判断密级钥链与秘密钥链是否互补，并在密级钥链与秘密钥链互补时，利用秘密矩阵替换加密矩阵，完成加密工作；

反之，基于待检位置集，在秘密矩阵标记对应的第二位置，提取第二位置上对应的第二元素；

获取密级敏感元素与第二元素之间的相关度，基于相关度，生成干扰钥，对第二元素进行干扰加密，利用干扰加密结果替换秘密矩阵中对应的第二元素；

同时，基于干扰钥调整秘密钥链；

持续判断密级钥链与调整后的秘密钥链是否互补，并利用密级钥链与调整后的秘密钥链互补时对应的第一秘密矩阵替换加密矩阵，完成关键数据集的加密工作。

在本实施例中，密级钥表示不同密级的数据对应的加密强度的表现形式；

在本实施例中，加密序列是根据关键数据集的长度建立；

在本实施例中，随机码的格式与对应元素行的性质一致；

在本实施例中，加密层表示根据每一元素行的秘级进行加密工作的平台；

在本实施例中，当加密层的数量不为1时，逐层加密表示由第一加密层完成加密工作后，将其结果输入到第二加密层中进行加密，以此类推，获取最后一个加密层的输出结果；

在本实施例中，互补表示密级钥链与（调整后的）秘密钥链在同一位置处的数据相加为0；

在本实施例中，利用（第一）秘密矩阵替换加密矩阵后，删除原加密矩阵。

上述技术方案的有益效果为：根据每一关键数据对应的密级对其进行加密，为了避免同时对多条数据进行加密造成紊乱，建立加密矩阵，分别对每一元素行进行加密，最后利用加密结果替换原矩阵，完成加密工作，这样一来，不仅提高了加密的质量，还保证了加密过程的稳定性，避免数据紊乱，造成信息泄露。

在一个实施例中，该系统还用于：

获取目标人员在训练过程中VR场景模型的背景特征信息的变化情况；

根据背景特征信息的变化情况确定每个背景特征信息的模态特征向量；

将训练过程中的不同帧训练图像的同一背景特征信息进行特征匹配，获取匹配结果；

根据匹配结果计算出训练过程中的每帧训练图像的同一背景特征信息的变化率：

选择训练过程中的每帧训练图像的同一背景特征信息的变化率大于等于第一预设阈值的第一背景特征信息初步确认为大幅变轮换背景信息，将变化率小于第一预设阈值的第二背景特征信息确认为小幅变背景信息；

确定第一背景特征信息的目标模态特征向量在每帧训练图像中的离散变化区间；

根据第一背景特征信息的目标模态特征向量在每帧训练图像中的离散变化区间确定相邻两帧直播图像中第一背景特征信息对于不同第二背景特征信息的参考相关系数；

确认相邻两帧直播图像中第一背景特征信息对于不同第二背景特征信息的参考相关系数是否大于等于第二预设阈值，若是，将第一背景特征信息确认为驾驶参考背景特征信息，否则，将第一背景特征信息确认为无关驾驶参考背景特征信息；

若第一背景特征信息为驾驶参考背景特征信息，将其进行保留，若第一背景特征信息为无关驾驶参考背景特征信息，将其从VR场景模型中剔除。

在本实施例中，背景特征信息的变化情况表示为车辆行驶过程中的模型背景的参数特征变化信息；

在本实施例中，模态特征向量表示为每个背景特征信息分别在不同帧训练图像中的模态因子变化向量值；

在本实施例中，第一预设阈值可以为0.5，第二预设阈值可以为0.7；

在本实施例中，小幅变背景信息表示为相对于车辆驾驶人员第一人称视角而言变化幅度较小的背景信息，大幅变轮换背景信息表示为相对于车辆驾驶人员第一人称视角而言变化幅度较大的背景信息；

上述技术方案的有益效果为：可以有效的将无参考意义的模型背景特征信息剔除以保证模型的运行精度和可靠性，进一步的提高了稳定性和工作效率，进一步的，通过以大幅变轮换背景信息对小幅变背景信息的参考相关系数作为剔除条件可以最大化的保证目标人员在驾驶训练过程中的视觉效果良好，进一步的提高了驾驶训练效率和目标人员的体验感。

在本实施例中，可以通过如下公式计算出每帧训练图像的同一背景特征信息的变化率：

其中，表示为第i个背景特征信息的变化率，表示为匹配结果中直播画面的第一帧中第i个背景特征信息和第二帧中第i个背景特征信息的特征匹配距离，表示为匹配结果中直播画面的第二帧中第i个背景特征信息和最后一帧中第i个背景特征信息的特征匹配距离，表示为变化率计算结果中特征匹配距离所占的权重值，表示为匹配结果中直播画面的第一帧中第i个背景特征信息和第二帧中第i个背景特征信息的拒识率，表示为匹配结果中直播画面的第二帧中第i个背景特征信息和最后一帧中第i个背景特征信息的据识率，表示为变化率计算结果中拒识率所占的权重值，表示为匹配结果中直播画面的第一帧中第i个背景特征信息和第二帧中第i个背景特征信息的聚合度，表示为匹配结果中直播画面的第二帧中第i个背景特征信息和最后一帧中第i个背景特征信息的聚合度，表示为变化率计算结果中聚合度所占的权重值，表示为第i个背景特征信息的自适应变化指数。

本实施例还公开了一种基于VR虚拟现实的聋哑人智能驾驶训练方法，如图4所示，包括以下步骤：

步骤S401、根据目标人员的身份信息构建相应的VR车辆模型和VR场景模型；

步骤S402、利用VR车辆模型和VR场景模型对目标人员进行驾驶训练，在训练过程中实时采集训练数据；

步骤S403、在训练过程中与目标人员进行交互；

步骤S404、对训练数据进行评估以确定目标人员的合格率和错误操作并进行错误指导。

上述技术方案的工作原理及有益效果在系统权利要求中已经说明，此处不再赘述。

本领域技术人员应当理解的是，本发明中的第一、第二、第三指的是不同应用阶段而已。

本领域技术人员在考虑说明书及实践这里公开的技术内容后，将容易想到本发明的其它实施方案。本发明旨在涵盖任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (8)

1.一种基于VR虚拟现实的聋哑人智能驾驶训练系统，其特征在于，所述系统包括：

构建模块，用于根据目标人员的身份信息构建相应的VR车辆模型和VR场景模型；

训练模块，用于利用所述VR车辆模型和VR场景模型对目标人员进行驾驶训练，在训练过程中实时采集训练数据；

人机交互模块，用于在训练过程中与目标人员实现交互功能；

评估模块，用于对所述训练数据进行评估以确定目标人员的合格率和错误操作并进行错误指导；

所述系统，还包括：

确定模块，用于确定所述训练数据的数据格式；

加密模块，用于基于所述数据格式对所述训练数据进行加密，获取加密后的训练数据；

上传模块，用于将加密后的训练数据上传到管理服务器上；

所述训练模块，还包括：

处理子模块，用于将所述VR车辆模型进行透明化处理以显示其多个车辆连接部件；

第二显示子模块，用于显示目标人员在训练过程中VR车辆模型在不同操作项下方向盘转角与轮胎角度之间的联动关系以及车辆所处的视景位置和行驶过程中车辆与路面、车辆与障碍物之间的位置关系；

所述加密模块基于所述数据格式对所述训练数据进行加密，获取加密后的训练数据，具体为：

整合所述训练数据中的关键数据集，并进行数据保护；

根据所述关键数据集中每个关键数据的数据格式确定该关键数据的数据类型；

确定每种数据类型对应的加密密级，根据所述加密密级生成对应的密级钥；

根据每种数据类型的密级钥构建其对应规格的加密序列，并将所述加密序列输入到预设矩阵中构建加密矩阵；

将所述关键数据集输入到所述加密矩阵中，并获取随机码填充所述加密矩阵中的空白元素位，同时根据每一元素行在所述加密矩阵中的顺序，为每一元素行进行编号；

根据编号顺序并基于对应的密级钥分别提取每一所述元素行对应的密级敏感元素，并在提取密级敏感元素的过程中记录每一元素行对应的当前密级钥，建立与编号对应的密级钥链；

在所述加密矩阵中标记每一所述密级敏感元素对应的第一位置，并根据每一元素列中包含的密级敏感元素的数量，建立对应的加密层；

获取所有第一位置，建立待检位置集；

将每个元素列输入到其对应的所述加密层中，进行逐层加密，根据编号顺序利用加密结果建立秘密矩阵，同时，获取秘密矩阵在建立过程中的秘密钥链；

判断所述密级钥链与所述秘密钥链是否互补，并在所述密级钥链与所述秘密钥链互补时，利用所述秘密矩阵替换所述加密矩阵，完成加密工作；

反之，基于所述待检位置集，在所述秘密矩阵标记对应的第二位置，提取所述第二位置上对应的第二元素；

获取所述密级敏感元素与所述第二元素之间的相关度，基于所述相关度，生成干扰钥，对所述第二元素进行干扰加密，利用干扰加密结果替换所述秘密矩阵中对应的所述第二元素；

同时，基于所述干扰钥调整所述秘密钥链；

持续判断所述密级钥链与调整后的所述秘密钥链是否互补，并利用所述密级钥链与调整后的所述秘密钥链互补时对应的第一秘密矩阵替换所述加密矩阵，完成关键数据集的加密工作。

2.根据权利要求1所述基于VR虚拟现实的聋哑人智能驾驶训练系统，其特征在于，所述构建模块，包括：

第一获取子模块，用于获取目标人员的身份信息并提取其对应的五官特征，根据所述身份信息和五官特征确定目标人员的残疾信息；

选择子模块，用于根据目标人员的残疾信息选择对应的教学模式和教学视频；

第一构建子模块，用于根据所述教学模式和教学视频确定教学场景，获取所述教学场景对应的场景点云数据并基于VR技术构建VR场景模型；

第二构建子模块，用于根据目标人员的驾驶需求确定驾驶训练车型，获取所述驾驶训练车型中任一车辆的车辆点云数据并基于所述VR技术构建VR车辆模型。

3.根据权利要求1所述基于VR虚拟现实的聋哑人智能驾驶训练系统，其特征在于，所述训练模块，包括：

身份确认子模块，用于确认目标人员是否符合训练人员的身份信息，根据确认结果确认目标人员是否具备训练条件；

第一标记子模块，用于根据所述VR场景模型，获取场地中库位标线、道路标线或特征点，并将所述场地中库位标线、道路标线或特征点以预设方式进行标记以确定车辆的行驶方向；

第一生成子模块，用于根据所述车辆的行驶方向和VR车辆模型以及VR场景模型生成VR训练场地以供目标人员进行训练；

监控子模块，用于监控目标人员在驾驶过程中的注视特征信息和驾驶状态信息；

第一采集子模块，用于采集目标人员在驾驶过程中的车辆动力系统参数信息和车辆行驶轨迹信息。

4.根据权利要求1所述基于VR虚拟现实的聋哑人智能驾驶训练系统，其特征在于，所述人机交互模块，包括：

第二采集子模块，用于采集目标人员发出的语音信号或者手势信号；

第二获取子模块，用于根据所述语音信号获取第一技术问题信息或者根据所述手势信号获取手势行为；

转化子模块，用于利用预设手势识别算法对所述手势行为进行解析，将解析结果转化为文字格式内容；

确认子模块，用于将所述文字格式内容反馈至目标人员佩戴VR设备确认是否正确，接收目标人员反馈的动作指令以确认所述文字格式内容的精度；

第三获取子模块，用于当目标人员确认文字格式内容无误时，根据所述文字格式内容获取第二技术问题信息；

检索子模块，用于根据所述第一技术问题和第二技术问题对预设教学内容进行检索，获取对应的答疑或指导方案；

教学子模块，用于根据所述答疑或指导方案对目标人员进行语音教学或者手势教学。

5.根据权利要求3所述基于VR虚拟现实的聋哑人智能驾驶训练系统，其特征在于，所述训练模块，还包括：

第四获取子模块，用于获取目标人员的驾驶训练项并获取每个驾驶训练项的预设驾驶参数；

第二生成子模块，用于根据每个驾驶训练项的预设驾驶参数生成该驾驶训练项的语音指导指标和文字指导指标；

判断子模块，用于通过所述语音指导指标和文字指导指标提醒目标人员进行驾驶训练，在训练过程中当目标人员出现错误操作时，获取车辆操作错误后的位置数据和姿态数据，根据所述位置数据和姿态数据判断目标人员是否可以继续完整的完成驾驶科目流程；

第二标记子模块，用于当判断目标人员可以继续完整的完成驾驶科目流程时，对所述错误操作参数进行标记和存储；

调整子模块，用于当判断目标人员无法继续完整的完成驾驶科目流程时，通过预设大数据算法计算出目标人员可继续完整的完成驾驶科目流程时的目标位置并将车辆调节至所述目标位置。

6.根据权利要求1所述基于VR虚拟现实的聋哑人智能驾驶训练系统，其特征在于，所述评估模块，用于对所述训练数据进行评估以确定目标人员的合格率和错误操作并进行错误指导，包括：

筛选子模块，用于根据所述训练数据筛选出目标人员的错误驾驶操作；

第五获取子模块，用于获取目标人员的错误驾驶操作对应的操作行为特征；

分析子模块，用于根据所述操作行为特征分析出目标人员的操作错误原因和改进建议；

第三生成子模块，用于根据目标人员的每个错误操作项的改进建议和该错误操作项的规范操作参数生成第一人称指导内容和第三人称指导内容；

第一显示子模块，用于将所述第一人称指导内容和第三人称指导内容进行显示以对目标人员进行错误操作项的指导工作。

7.根据权利要求1所述基于VR虚拟现实的聋哑人智能驾驶训练系统，其特征在于，所述系统还用于：

获取目标人员在训练过程中VR场景模型的背景特征信息的变化情况；

根据所述背景特征信息的变化情况确定每个背景特征信息的模态特征向量；

将训练过程中的不同帧训练图像的同一背景特征信息进行特征匹配，获取匹配结果；

根据所述匹配结果计算出训练过程中的每帧训练图像的同一背景特征信息的变化率：

选择训练过程中的每帧训练图像的同一背景特征信息的变化率大于等于第一预设阈值的第一背景特征信息初步确认为大幅变轮换背景信息，将变化率小于所述第一预设阈值的第二背景特征信息确认为小幅变背景信息；

确定第一背景特征信息的目标模态特征向量在每帧训练图像中的离散变化区间；

根据第一背景特征信息的目标模态特征向量在每帧训练图像中的离散变化区间确定相邻两帧直播图像中第一背景特征信息对于不同第二背景特征信息的参考相关系数；

确认相邻两帧直播图像中第一背景特征信息对于不同第二背景特征信息的参考相关系数是否大于等于第二预设阈值，若是，将所述第一背景特征信息确认为驾驶参考背景特征信息，否则，将所述第一背景特征信息确认为无关驾驶参考背景特征信息；

若所述第一背景特征信息为驾驶参考背景特征信息，将其进行保留，若所述第一背景特征信息为无关驾驶参考背景特征信息，将其从VR场景模型中剔除。

8.一种基于VR虚拟现实的聋哑人智能驾驶训练方法，其特征在于，包括以下步骤：

根据目标人员的身份信息构建相应的VR车辆模型和VR场景模型；

利用所述VR车辆模型和VR场景模型对目标人员进行驾驶训练，在训练过程中实时采集训练数据；

在训练过程中与目标人员进行交互；

对所述训练数据进行评估以确定目标人员的合格率和错误操作并进行错误指导；还包括：

确定所述训练数据的数据格式；

基于所述数据格式对所述训练数据进行加密，获取加密后的训练数据；

将加密后的训练数据上传到管理服务器上；

还包括：

将所述VR车辆模型进行透明化处理以显示其多个车辆连接部件；

显示目标人员在训练过程中VR车辆模型在不同操作项下方向盘转角与轮胎角度之间的联动关系以及车辆所处的视景位置和行驶过程中车辆与路面、车辆与障碍物之间的位置关系；

其中，基于所述数据格式对所述训练数据进行加密，获取加密后的训练数据，具体为：

整合所述训练数据中的关键数据集，并进行数据保护；

根据所述关键数据集中每个关键数据的数据格式确定该关键数据的数据类型；

确定每种数据类型对应的加密密级，根据所述加密密级生成对应的密级钥；

根据每种数据类型的密级钥构建其对应规格的加密序列，并将所述加密序列输入到预设矩阵中构建加密矩阵；

将所述关键数据集输入到所述加密矩阵中，并获取随机码填充所述加密矩阵中的空白元素位，同时根据每一元素行在所述加密矩阵中的顺序，为每一元素行进行编号；

根据编号顺序并基于对应的密级钥分别提取每一所述元素行对应的密级敏感元素，并在提取密级敏感元素的过程中记录每一元素行对应的当前密级钥，建立与编号对应的密级钥链；

在所述加密矩阵中标记每一所述密级敏感元素对应的第一位置，并根据每一元素列中包含的密级敏感元素的数量，建立对应的加密层；

获取所有第一位置，建立待检位置集；

将每个元素列输入到其对应的所述加密层中，进行逐层加密，根据编号顺序利用加密结果建立秘密矩阵，同时，获取秘密矩阵在建立过程中的秘密钥链；

判断所述密级钥链与所述秘密钥链是否互补，并在所述密级钥链与所述秘密钥链互补时，利用所述秘密矩阵替换所述加密矩阵，完成加密工作；

反之，基于所述待检位置集，在所述秘密矩阵标记对应的第二位置，提取所述第二位置上对应的第二元素；

获取所述密级敏感元素与所述第二元素之间的相关度，基于所述相关度，生成干扰钥，对所述第二元素进行干扰加密，利用干扰加密结果替换所述秘密矩阵中对应的所述第二元素；

同时，基于所述干扰钥调整所述秘密钥链；

持续判断所述密级钥链与调整后的所述秘密钥链是否互补，并利用所述密级钥链与调整后的所述秘密钥链互补时对应的第一秘密矩阵替换所述加密矩阵，完成关键数据集的加密工作。