发明内容
本发明的主要目的在于提供一种车辆碰撞监测方法、装置、设备及计算机可读存储介质,旨在解决现有的车辆碰撞监测技术具有局限性且预测准确率低的技术问题。
此外,为实现上述目的,本发明还提供一种车辆碰撞监测方法,所述车辆碰撞监测方法包括以下步骤:
获取待监测的目标车辆的流媒体数据,并对所述流媒体数据进行预处理得到目标监测数据;
对所述目标监测数据进行特征工程处理,得到所述流媒体数据的特征监测数据;
获取所述特征监测数据的判别标注信息并建立判定规则;
根据所述判别标注信息和所述判定规则对所述目标车辆进行监测,以获取所述目标车辆的碰撞监测信息,以及与所述碰撞监测信息对应的目标响应方案。
可选地,所述对所述流媒体数据进行预处理得到目标监测数据的步骤,包括:
从所述流媒体数据中识别干扰数据;
对所述干扰数据进行过滤清洗,以将所述干扰数据从所述流媒体数据中进行剔除,得到目标监测数据。
可选地,所述对所述目标监测数据进行特征工程处理,得到所述流媒体数据的特征监测数据的步骤,包括:
对所述目标监测数据进行分离处理,以从所述目标监测数据中剥离出音轨数据和图像视频数据;
对所述音轨数据进行音频特征工程处理,以从所述音轨数据中提取目标音轨特征数据;
对所述图像视频数据进行图像特征工程处理,以从所述图像视频数据中提取目标图像特征数据;
将所述目标音轨特征数据与所述目标图像特征数据进行整合,得到所述流媒体数据的特征监测数据。
可选地,所述对所述音轨数据进行音频特征工程处理,以从所述音轨数据中提取目标音轨特征数据的步骤,包括:
对所述音轨数据进行分类处理,得到第一音轨特征数据;
对所述第一音轨特征数据进行识别处理,得到第二音轨特征数据;
对所述第二音轨特征数据进行特征提取处理,得到目标音轨特征数据。
可选地,所述对所述图像视频数据进行图像特征工程处理,以从所述图像视频数据中提取图像特征数据的步骤,包括:
对所述图像视频数据进行图像预处理,得到第一图像特征数据;
对所述第一图像特征数据进行目标检测处理,得到目标图像特征数据。
可选地,所述根据所述判别标注信息和所述判定规则对所述目标车辆进行监测,以获取所述目标车辆的碰撞监测信息,以及与所述碰撞监测信息对应的目标响应方案的步骤,包括:
根据所述判别标注信息,利用预设监测模型对所述特征监测数据进行检测,得到所述目标车辆的碰撞监测信息的预测结果,其中,所述预设监测模型是基于车辆的流媒体数据,对预设的基础监测模型进行迭代训练得到的目标监测模型;
根据所述判定规则对所述预测结果进行判定,得到所述目标车辆的碰撞监测信息;
根据所述碰撞监测信息中的碰撞类型和碰撞等级,确定所述碰撞监测信息对应的目标响应方案。
可选地,所述根据所述判别标注信息,利用预设监测模型对所述特征监测数据进行检测,得到所述目标车辆的碰撞监测信息的预测结果的步骤,包括:
利用预设监测模型中的音频监测模型,检测所述特征监测数据中的目标音轨特征数据,得到第一预测结果;
利用预设监测模型中的图像视频监测模型,检测所述特征监测数据中的目标图像特征数据,得到第二预测结果;
将所述第一预测结果和所述第二预测结果进行关联,得到所述目标车辆的碰撞监测信息的预测结果。
此外,为实现上述目的,本发明还提供一种车辆碰撞监测装置,所述车辆碰撞监测装置包括:
数据预处理模块,用于获取待监测的目标车辆的流媒体数据,并对所述流媒体数据进行预处理得到目标监测数据;
特征提取模块,用于对所述目标监测数据进行特征工程处理,得到所述流媒体数据的特征监测数据;
标注判定模块,用于获取所述特征监测数据的判别标注信息并建立判定规则;
碰撞监测模块,用于根据所述判别标注信息和所述判定规则对所述目标车辆进行监测,以获取所述目标车辆的碰撞监测信息,以及与所述碰撞监测信息对应的目标响应方案。
此外,为实现上述目的,本发明还提供一种车辆碰撞监测设备,所述车辆碰撞监测设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的车辆碰撞监测程序,所述车辆碰撞监测程序被所述处理器执行时实现如上述的车辆碰撞监测方法的步骤。
此外,为实现上述目的,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有车辆碰撞监测程序,所述车辆碰撞监测程序被处理器执行时实现如上述的车辆碰撞监测方法的步骤。
本发明实施例提出的一种车辆碰撞监测方法、装置、设备及计算机可读存储介质。与现有技术中,只能对事后碰撞进行检测,或仅适用于车辆与车辆间的碰撞监测的监测技术,具有很大的局限性且预测准确率相比,本发明实施例中,通过获取待监测的目标车辆的流媒体数据,并对所述流媒体数据进行预处理得到目标监测数据,然后对所述目标监测数据进行特征工程处理,得到所述流媒体数据的特征监测数据,获取所述特征监测数据的判别标注信息并建立判定规则,并根据所述判别标注信息和所述判定规则对所述目标车辆进行监测,以获取所述目标车辆的碰撞监测信息,以及与所述碰撞监测信息对应的目标响应方案。通过流媒体数据中的图像和音频数据,不仅可以对车辆之间的碰撞进行监测,还能对车辆与其他物体之间的碰撞进行监测,解决了现有车辆碰撞监测技术的局限性,提高了车辆碰撞监测的预测准确率。并且,通过对车辆碰撞的预测能有效降低事故的发生率,同时通过对车辆碰撞进行监测,在碰撞发生后能够及时确定目标响应方案,为碰撞事件的现场紧急救援、碰撞车辆的送检维修、道路纠纷法律援助等提供支持。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
在后续的描述中,使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明,其本身没有特定的意义。因此,“模块”、“部件”或“单元”可以混合地使用。
本发明实施例车辆碰撞监测终端(又叫终端、设备或者终端设备)可以是PC,也可以是智能手机、平板电脑和便携计算机等具有显示功能的可移动式终端设备。
如图1所示,该终端可以包括:处理器1001,例如CPU,网络接口1004,用户接口1003,存储器1005,通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地,终端还可以包括摄像头、RF(Radio Frequency,射频)电路,传感器、音频电路、WiFi模块等等。其中,传感器比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示屏的亮度,接近传感器可在移动终端移动到耳边时,关闭显示屏和/或背光。作为运动传感器的一种,重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别移动终端姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;当然,移动终端还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
本领域技术人员可以理解,图1中示出的终端结构并不构成对终端的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种计算机可读存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及车辆碰撞监测程序。
在图1所示的终端中,网络接口1004主要用于连接后台服务器,与后台服务器进行数据通信;用户接口1003主要用于连接客户端(用户端),与客户端进行数据通信;而处理器1001可以用于调用存储器1005中存储的车辆碰撞监测程序,所述车辆碰撞监测程序被处理器执行时实现下述实施例提供的车辆碰撞监测方法中的操作。
基于上述设备硬件结构,提出了本发明车辆碰撞监测方法的实施例。
参照图2,在本发明车辆碰撞监测方法的第一实施例中,所述车辆碰撞监测方法包括:
步骤S10,获取待监测的目标车辆的流媒体数据,并对所述流媒体数据进行预处理得到目标监测数据;
本发明中的车辆碰撞监测方法是基于流媒体数据的,通过流媒体数据对车辆碰撞事故的发生进行监测,包括碰撞事故的事前预测和事后检测,其中,流媒体数据包括但不限于行车记录仪数据,以行车记录仪数据为例,通过待监测目标车辆的行车记录仪获取的目标车辆对应的流媒体数据中,包括目标车辆在行驶过程中的环境图像视频信息和音频信息。由于行车记录仪摄像头一般有一定的拍摄角度,获取的流媒体数据中的图像视频信息和音频信息可能不是完全对应的,且由于环境因素的复杂多变性,流媒体数据中可能存在干扰数据,如雨天的雷雨声、目标车辆内部对碰撞监测无用的声音等,包括但不限于非真实数据、时间过短数据以及二次处理数据,干扰数据的存在可能会影响对车辆碰撞事故预测的准确性,特别是二次处理数据,由于二次处理的数据中可能存在的信息缺失或重构,会导致虚假信息的产生从而影响预测结果的准确性,因此,需要对获取的流媒体数据进行预处理,预处理包括对数据进行压缩和高斯模糊处理,然后通过制定数据规则或利用算法模型,从流媒体数据中过滤剔除干扰数据,得到目标监测数据,目标监测数据是经过处理的流媒体数据。
步骤S20,对所述目标监测数据进行特征工程处理,得到所述流媒体数据的特征监测数据;
对经过预处理得到的目标监测数据进行特征工程处理,将目标监测数据中具有辨识性的成分提取出来,由于目标监测数据也是流媒体数据,其中包括图像视频数据和音频数据,可以运用图像和音频处理技术,对车辆碰撞中会产生的具有明显特征的声音或图像视频进行增强,从而增强数据的可辨识性,进而增强对流媒体数据的识别度。
由于对图像视频数据和音频数据进行处理时,存在技术差异,可以将经过预处理的流媒体数据,即目标监测数据进行分离,将目标监测数据中的图像视频数据与音频数据剥离开,由于视频是由多帧图像组成的,对视频进行处理实际上是对视频中的多帧图像进行处理,因此,以下将图像数据和视频数据合并统称为图像数据。对经过剥离得到的图像数据和音轨数据分别进行特征工程处理,例如,对音轨数据进行分类后,再进行识别检测处理,从而得到音轨数据对应的特征数据,对图像数据进行分类后,再进行目标检测处理,得到图像数据对应的特征数据,将音轨数据和图像数据对应的特征数据进行整合,得到目标车辆的流媒体数据对应的特征监测数据,特征监测数据中包括图像视频数据中的物体信息,以及音轨数据中具有明显特征的音频片段,其中,物体信息如车辆、行人、树木等。
步骤S30,获取所述特征监测数据的判别标注信息并建立判定规则;
获取特征监测数据的判别标注信息,其中,判别标注信息可以是预设的,包括但不限于通过人为或识别技术,对样本流媒体数据中的特征数据进行判定标注形成的标注信息库,例如,人为地对图像数据对应的特征数据中的物体信息,以及音轨数据对应的特征数据中的特征音频进行信息标注,确定哪些物体信息和音频数据表示车辆碰撞事件即将发生或已经发生,比如人工标注车头检测框和碰撞类型、人工判别碰撞事件是否发生,根据碰撞点声音的大小、频率划分碰撞等级。或者,通过图像和音频识别技术,识别出图像中的物体并标注物体名称如“车辆”、“行人”、“树木”等,并确定当目标车辆周围环境中出现哪些物体已经各个物体如何分布,以及存在哪些音频时,表示车辆碰撞事件即将发生或已经发生。同时建立判定规则,根据特征监测数据的判别标注信息,判别车辆碰撞事件是否已经发生,若还未发生,对发生碰撞事件的概率进行预测,这是由于,车辆碰撞事件的发生一般是多种因素综合作用的结果,根据单一的特征无法确定碰撞事件是否已经发生,或者预测碰撞事件发生的概率,需要建立判定规则,对获取的特征监测数据中的各个特征数据进行综合评估,从而检测车辆碰撞事件是否发生,或预测碰撞事件发生的概率。例如,当已经获取到目标车辆周围存在多个车辆,以及每个车辆的行驶速度和方向时,单一地对某个车辆的行驶速度和行驶方向进行判定,无法准确预测是否会发生碰撞事件,需要根据其他车辆的行驶速度和行驶方向进行综合分析,因为存在两个即将发生碰撞事件的车辆碰撞后会波及到目标车辆,进而使目标车辆发生碰撞事件的可能。通过将目标车辆对应的特征监测数据与预设判定标注信息库中的数据进行匹配,获取特征监测数据中的各个特征的判定标注信息,并根据建立的判定规则将特征监测数据中的各个特征信息进行关联,能够对目标车辆周围环境对应的流媒体数据进行综合分析,以提高对碰撞事件的发生以及发生概率的预测准确度。
步骤S40,根据所述判别标注信息和所述判定规则对所述目标车辆进行监测,以获取所述目标车辆的碰撞监测信息,以及与所述碰撞监测信息对应的目标响应方案。
对目标车辆进行监测即实时获取目标车辆的流媒体数据,包括行车记录仪中的流媒体数据,以及目标车辆上预设的摄像头、激光传感器等产生的流媒体数据,并对获取的目标车辆的流媒体数据进行预处理和特征工程处理,得到目标车辆的特征监测数据。根据建立的判定规则,以及获取的特征监测数据的判定标注信息,对目标车辆的流媒体数据进行实时分析,以获取目标车辆的碰撞监测信息,目标车辆的碰撞监测信息包括碰撞事件发生的概率、碰撞类型、碰撞等级等,碰撞类型包括正面车-车碰撞、正面车-物碰撞、正面车-人碰撞、侧面碰撞、追尾等。
当获取到目标车辆的碰撞监测信息后,确定对应的目标响应方案,对于不同的碰撞类型和碰撞等级可以有不同的响应方案。例如,对于车-物碰撞类型的碰撞事件,当监测到碰撞事件发生概率较高,且超过预设阈值时,如目标车辆在快速行驶时,根据获取的目标车辆的流媒体数据监测到道路前方因施工设有围栏,在距离围栏预设距离处即通过报警方式对目标车辆的驾驶人员进行提醒,对驾驶人员进行报警提醒即为一种响应方案的部分内容。再例如,对于车-人碰撞类型的碰撞事件,当检测到目标车辆前方有行人时,在距离行人预设距离处即提醒驾驶人员减速或停止行驶,由于存在在紧急情况下,误将油门当做刹车的可能性,驾驶人员可能会做出与提醒信息相反的行为,当检测到目标车辆基于当前车速,即将处于与行人之间的最短制动距离仍未减速甚至在加速行驶时,可以确定此时碰撞事件发生的概率很高,且碰撞等级较高,则控制目标车辆进行紧急制动,以防止碰撞事件的发生,对驾驶人员进行报警提醒和控制目标车辆进行紧急制动也属于一种响应方案的一部分。
当根据获取的流媒体数据检测到碰撞事件发生时,例如上述的车-人碰撞事件,若碰撞等级较高,则与急救中心和目标车辆的检修中心分别建立通讯以请求紧急救援,或者,显示当前的位置信息以及碰撞类型、碰撞等级等碰撞监测信息,为驾驶人员请求支援提供必要的信息,建立通讯或显示必要信息也是碰撞事件一种响应方案的一部分,与上述通过报警提醒驾驶人员和控制目标车辆进行紧急制动构成一种较为完整的响应方案。即对于一个完整的响应方案,应包括事前预防和事后支持,也就是说,一个较为完整的车辆碰撞事件响应方案应该在检测到可能发生碰撞事件时,有降低碰撞发生概率的措施,当检测到碰撞事件发生时,有为碰撞事件后续的救援善后工作提供支持的措施。
步骤S10的细化,包括步骤A1-A2:
步骤A1,从所述流媒体数据中识别干扰数据;
步骤A2,对所述干扰数据进行过滤清洗,以将所述干扰数据从所述流媒体数据中进行剔除,得到目标监测数据。
从获取的目标车辆的流媒体数据中,识别出干扰数据,对干扰数据的识别也可以是基于预设的判别标注信息库,从预设的判别标注信息库中调用干扰数据的特征数据及其标注信息,与目标车辆的流媒体数据进行匹配,从而从目标车辆的流媒体数据中识别出干扰数据,通过截取、抽帧等方式对目标车辆的流媒体数据进行过滤清洗,以从中剔除干扰数据,得到目标监测数据。
步骤S40的细化,包括步骤B1-B:3:
步骤B1,根据所述判别标注信息,利用预设监测模型对所述特征监测数据进行检测,得到所述目标车辆的碰撞监测信息的预测结果,其中,所述预设监测模型是基于车辆的流媒体数据,对预设的基础监测模型进行迭代训练得到的目标监测模型;
步骤B2,根据所述判定规则对所述预测结果进行判定,得到所述目标车辆的碰撞监测信息;
步骤B3,根据所述碰撞监测信息中的碰撞类型和碰撞等级,确定所述碰撞监测信息对应的目标响应方案。
根据从预设的判别标注信息库中获取的,目标车辆的特征监测数据的判别标注信息,利用预设监测模型对特征监测数据进行检测,得到目标车辆的碰撞监测信息的预测结果,碰撞监测信息的预测结果包括但不限于发生碰撞事件的概率、可能发生的碰撞事件的碰撞类型和碰撞等级,以及每种碰撞类型和碰撞等级对应的概率,其中,预设监测模型可以是以车辆的流媒体数据为样本,对预设的基础监测模型进行迭代训练得到的目标监测模型,样本流媒体数据包括但不限于可以从互联网上获取的公开的行车记录仪数据。
根据事先建立的判定规则,对碰撞监测信息进行关联分析,目标车辆的碰撞监测信息的预测结果中,可能包括多种碰撞类型和碰撞等级,通过对预测结果进行关联分析从而得出最终的预测结果,即最有可能发生的碰撞事件的碰撞类型和碰撞等级等,然后根据之中预测结果中的碰撞类型和碰撞等级,确定最终的目标响应方案,若目标响应方案中,包括事前预防措施,则执行目标响应方案中的预防措施以防止碰撞发生,当检测到碰撞事件发生时,执行目标响应方案中碰撞后的响应措施。
当确定目标车辆的碰撞监测信息的预测结果后,根据判定规则确定目标车辆碰撞监测的最终预测结果,其中,判定规则如下列(公式1-4)所示,以下仅为本实施例中判定规则的举例说明,并不用于限制本发明实施例中的判定规则:
Pa1(Y_hat=1)=p (1)
Cx=argmax Pa2_C(Yc_hat=C) (2)
当p大于或等于预设阈值时:
Vx=argmax Pv_V(Yv_hat=V) (3)
当p小于预设阈值时:
Y_hat=0 (4)
其中,Pa1表示设备车辆发生碰撞的预测概率,p表示Pa1的概率值,Cx为目标车辆x的预测碰撞等级,Pa2_C为碰撞等级为C时的预测概率,Yc_hat=C表示碰撞等级为C;Vx为目标车辆x的预测碰撞类型,Pv_V表示碰撞类型为V时的预测概率,Yv_hat=V表示碰撞类型为V;Y_hat为1时,表示发生碰撞,Y_hat为0时表示不发生碰撞;argmax(f(x))是求使函数f(x)值最大的参数x的函数,在公式2-3中表示选择碰撞等级或碰撞类型概率最大的值。
基于上述判定规则,当检测到目标车辆发生碰撞的概率大于或等于预设阈值时,通过报警等方式向用户显示碰撞概率、碰撞类型等碰撞监测信息,以执行目标响应方案;当检测到目标车辆发生碰撞的概率小于预设阈值时,则判定为目标车辆不会发生碰撞事件。其中,还可以向用户实时地显示碰撞监测信息,当检测到目标车辆发生碰撞的概率大于或等于预设阈值时,通过报警等方式响应目标响应方案,向用户显示预防措施以降低碰撞发生的概率。
目标响应方案的确定方式如下表1所示,表1仅为本实施例中目标响应方案确定方式的一种,并不用于限定本发明实施例的响应方案的确定方式或内容:
碰撞类型 |
碰撞等级 |
目标响应方案 |
正面车-车碰撞 |
1 |
响应方案1 |
正面车-车碰撞 |
2 |
响应方案2 |
正面车-人碰撞 |
1 |
响应方案3 |
正面车-人碰撞 |
2 |
响应方案4 |
正面车-物碰撞 |
1 |
响应方案5 |
正面车-物碰撞 |
2 |
响应方案6 |
侧面/追尾碰撞 |
1 |
响应方案7 |
侧面/追尾碰撞 |
2 |
响应方案8 |
表1
表1中所示的响应方案1-8的具体内容,可以根据用户需求进行自定义设置,例如,用户根据自身对目标车辆的监测需求,在预设选项中选择启用各个方案中设置的响应措施,如报警、紧急制动和建立通讯等,本实施例中的用户可以是被监测的目标车辆的驾驶人员。
步骤B1的细化,包括步骤B11-B13:
步骤B11,利用预设监测模型中的音频监测模型,检测所述特征监测数据中的目标音轨特征数据,得到第一预测结果;
步骤B12,利用预设监测模型中的图像视频监测模型,检测所述特征监测数据中的目标图像特征数据,得到第二预测结果;
步骤B13,将所述第一预测结果和所述第二预测结果进行关联,得到所述目标车辆的碰撞监测信息的预测结果。
由于在对音频数据和图像数据进行体征提取时,要使用不同的算法,同样地,对于提取的特征数据进行识别检测时,也需要使用不同的算法模型,利用预设监测模型中的音频监测模型,监测音轨特征数据中的目标音轨特征数据,得到语音识别结果,其中,音频监测模型中的一种优选模型如DenseNet(卷积神经网络)模型,DenseNet模型的特点是可以缓解梯度消失、加强特征传播并强调特征重用,利用DenseNet模型对目标音轨特征数据进行训练,以对目标音轨特征数据进行检测,得到音轨数据对应的语音识别结果,根据语音识别结果检测碰撞是否发生,若发生了碰撞事件,根据语音识别结果确定碰撞等级等信息;利用预设监测模型中的图像视频监测模型,监测图像数据中的目标图像特征数据,得到图像数据的目标检测结果,根据目标检测结果确定碰撞类型等信息。其中,图像视频监测模型的一种优选模型可以是YOLOV3(You Only Look Once V3,第三版目标检测算法模型)模型,YOLOV3模型对于微小物体的识别准确度较好,且具有很好的深度检测功能,能够精确识别并检测重叠或者靠的很近的物体,利用YOLOV3模型作为图像视频监测模型,对目标图像特征数据进行检测,结合距离判别算法计算监测目标与目标车辆之间的距离,得到目标检测结果,利用预设监测模型将音频监测模型和图像视频监测模型进行关联,以将语音识别结果和目标检测结果进行关联,得到碰撞事件的预测结果。
在进行模型训练时,得到特征数据的预测结果后,对预测结果进行关联包括但不限于基于时间轴信息对音频数据和图像数据进行重构,将同一时间段的音频数据和图像数据进行组合,重构出完整的具有音频数据和图像数据的流媒体数据,通过数据关联还原碰撞事件现场信息,得到碰撞事件发生时的图像和音频特征数据,在对目标车辆进行监测时,从判别标注信息库中获取特征数据的判别标注信息后,将带有标注信息的特征数据进行关联,即可确定碰撞事件发生的概率、碰撞类型和碰撞等级,以及碰撞类型和碰撞等级对应的概率。
在本实施例中,通过获取待监测的目标车辆的流媒体数据,并对所述流媒体数据进行预处理得到目标监测数据,然后对所述目标监测数据进行特征工程处理,得到所述流媒体数据的特征监测数据,获取所述特征监测数据的判别标注信息并建立判定规则,并根据所述判别标注信息和所述判定规则对所述目标车辆进行监测,以获取所述目标车辆的碰撞监测信息,以及与所述碰撞监测信息对应的目标响应方案。通过流媒体数据中的图像和音频数据,不仅可以对车辆之间的碰撞进行监测,还能对车辆与其他物体之间的碰撞进行监测,解决了现有车辆碰撞监测技术的局限性,提高了车辆碰撞监测的预测准确率。并且,通过对车辆碰撞的预测能有效降低事故的发生率,同时通过对车辆碰撞进行监测,在碰撞发生后能够及时确定目标响应方案,为碰撞事件的现场紧急救援、碰撞车辆的送检维修、道路纠纷法律援助等提供支持。
进一步地,参照3,在本发明上述实施例的基础上,提出了本发明车辆碰撞监测方法的第二实施例。
本实施例是第一实施例中步骤S20细化的步骤,包括步骤S21-S24:
步骤S21,对所述目标监测数据进行分离处理,以从所述目标监测数据中剥离出音轨数据和图像视频数据;
步骤S22,对所述音轨数据进行音频特征工程处理,以从所述音轨数据中提取目标音轨特征数据;
步骤S23,对所述图像视频数据进行图像特征工程处理,以从所述图像视频数据中提取目标图像特征数据;
步骤S24,将所述目标音轨特征数据与所述目标图像特征数据进行整合,得到所述流媒体数据的特征监测数据。
目标车辆的流媒体数据中所包含的音频数据和图像数据具有不同的特征,利用特征工程处理可以提取流媒体数据中的特征数据,但是在提取特征数据时,对音频数据和图像数据使用的提取方式不同,因此,需要将流媒体数据中的音频数据和图像数据进行分离,然后分别进行特征处理。从对获取的原始流媒体数据进行处理后得到的目标监测数据中,剥离出音轨数据和图像数据,对剥离出的音轨数据进行音频特征工程处理,从音轨数据中提取目标音轨特征数据,对剥离出的图像数据进行图像特征工程处理,从图像数据中提取目标图像特征数据,并利用分类器对图像数据进行分类,图像数据分类器例如上述DenseNet模型,将通过特征工程处理得到的目标音轨特征数据和目标图像特征数据进行合并关联,得到目标车辆的流媒体数据对应的特征监测数据。具体地,对目标音轨特征数据和目标图像特征数据进行合并关联的方式,例如,以上述的DenseNet模型为例,在提取了流媒体数据对应的音轨数据和图像数据的特征数据后,利用DenseNet模型对音轨数据和图像数据的特征数据进行分类识别,从而得到目标车辆的流媒体数据对应的特征监测数据。
步骤S22的细化,包括步骤C1-C3:
步骤C1,对所述音轨数据进行分类处理,得到第一音轨特征数据;
步骤C2,对所述第一音轨特征数据进行识别处理,得到第二音轨特征数据;
步骤C3,对所述第二音轨特征数据进行特征提取处理,得到目标音轨特征数据。
在本实施例中,对音轨数据进行特征工程处理的一种优选方法是梅尔频率倒谱系数法,利用梅尔频率倒谱系数法对音轨数据进行特征工程处理时,先对音轨数据进行分类,例如,按照频率、声效大小或者其他具有明显区别的特征,对音轨数据进行分类,得到第一音轨特征数据,对第一音轨特征数据进行语音识别处理,例如,利用谱减法对音轨数据进行语音降噪和语音增强,然后进行采样压缩,对采样后的音轨数据先分帧,将语音信号分帧后,对每一帧信号进行分析处理后加窗函数,窗函数一般具有低通特性,通过加窗函数减少频域中的信号泄漏,最后再做傅里叶变换,得到第二音轨特征数据。对音轨数据进行语音分类和语音识别,可以称为梅尔频率倒谱系数法的数据预处理阶段,在对音轨数据进行预处理得到第二音轨特征数据后,对第二音轨特征数据进行特征提取处理,得到目标音轨特征数据。
其中,在对第二音轨特征数据进行特征提取处理时,可知地,原始的音轨数据一般是时域信号,利用梅尔频率倒谱系数法将通过采样得到的每帧短时时域信号转换为频域信号,得到每帧音轨数据对应的梅尔频谱图,频谱图中的共振峰包含了音频数据的辨识信息,通过对梅尔频谱图进行倒谱分析,即频谱图中的语音信号的频率进行取对数和逆变换计算,得到每帧音轨数据的梅尔频率倒谱系数,梅尔频率倒谱系数中包含了具有辨识信息的共振峰信息,得到的梅尔频率倒谱系数即为该帧音轨数据对应的特征数据,基于音轨特征数据可以对碰撞监测信息中的碰撞发生概率、碰撞等级进行监测。
步骤S23的细化,包括步骤D1-D2:
步骤D1,对所述图像视频数据进行图像预处理,得到第一图像特征数据;
步骤D2,对所述第一图像特征数据进行目标检测处理,得到目标图像特征数据。
在对图像数据进行特征工程处理时,与音轨数据相同,需要对图像数据进行预处理,例如,从图像数据中提取预设分辨率的图像,并对图像数据进行压缩和高斯模糊处理,然后利用固定帧率重采样方法,通过截取、抽帧和加窗函数等方式对缺失信息进行填补,得到第一图像特征数据,利用YOLOV3模型,基于第一图像特征数据进行目标检测处理,从图像数据中识别出各个目标物体,以及目标物体与目标车辆之间的距离,得到目标特征图像数据,基于目标特征数据可以对碰撞监测信息中的碰撞类型进行监测。
需要说明的是,在对音轨数据和图像数据进行特征工程处理时,对应该数据和图像数据都进行了压缩,这是由于,在基于5G网络对流媒体进行传输时,不对数据进行压缩也可以满足实时监测的数据传输需求,但是对数据进行压缩后,可以有效增加数据的传输速率,减少传输时间,从而降低网络信号不稳定时对监测效果的影响。
在本实施例中,对所述目标监测数据进行分离处理,以从所述目标监测数据中剥离出音轨数据和图像视频数据,对所述音轨数据进行音频特征工程处理,以从所述音轨数据中提取目标音轨特征数据,并对所述图像视频数据进行图像特征工程处理,以从所述图像视频数据中提取目标图像特征数据,将所述目标音轨特征数据与所述目标图像特征数据进行整合,得到所述流媒体数据的特征监测数据。通过对流媒体数据进行特征工程处理,提取流媒体数据中的特征监测数据,基于特征监测数据对目标车辆的碰撞事件进行监测,可以有效提高监测过程中对碰撞监测信息的预测准确性。
此外,参照图4,本发明实施例还提出一种车辆碰撞监测装置,所述车辆碰撞监测装置包括:
数据预处理模块10,用于获取待监测的目标车辆的流媒体数据,并对所述流媒体数据进行预处理得到目标监测数据;
特征提取模块20,用于对所述目标监测数据进行特征工程处理,得到所述流媒体数据的特征监测数据;
标注判定模块30,用于获取所述特征监测数据的判别标注信息并建立判定规则;
碰撞监测模块40,用于根据所述判别标注信息和所述判定规则对所述目标车辆进行监测,以获取所述目标车辆的碰撞监测信息,以及与所述碰撞监测信息对应的目标响应方案。
可选地,所述数据预处理模块10,包括:
干扰识别单元,用于从所述流媒体数据中识别干扰数据;
数据剔除单元,用于对所述干扰数据进行过滤清洗,以将所述干扰数据从所述流媒体数据中进行剔除,得到目标监测数据。
可选地,所述特征提取模块20,包括:
数据剥离单元,用于对所述目标监测数据进行分离处理,以从所述目标监测数据中剥离出音轨数据和图像视频数据;
音轨特征提取单元,用于对所述音轨数据进行音频特征工程处理,以从所述音轨数据中提取目标音轨特征数据;
图像特征提取单元,用于对所述图像视频数据进行图像特征工程处理,以从所述图像视频数据中提取目标图像特征数据;
数据关联单元,用于将所述目标音轨特征数据与所述目标图像特征数据进行整合,得到所述流媒体数据的特征监测数据。
可选地,所述音频特征提取单元,包括:
增强采样子单元,用于对所述音轨数据进行分类处理,得到第一音轨特征数据;
加帧分窗子单元,用于对所述第一音轨特征数据进行识别处理,得到第二音轨特征数据;
音轨特征提取子单元,用于对所述第二音轨特征数据进行特征提取处理,得到目标音轨特征数据。
可选地,所述图像特征提取单元,包括:
采样压缩子单元,用于对所述图像视频数据进行图像预处理,得到第一图像特征数据;
图像特征提取子单元,用于对所述第一图像特征数据进行目标检测处理,得到目标图像特征数据。
可选地,所述碰撞监测模块40,包括:
模型预测单元,用于根据所述判别标注信息,利用预设监测模型对所述特征监测数据进行检测,得到所述目标车辆的碰撞监测信息的预测结果,其中,所述预设监测模型是基于车辆的流媒体数据,对预设的基础监测模型进行迭代训练得到的目标监测模型;
预测结果判定单元,用于根据所述判定规则对所述预测结果进行判定,得到所述目标车辆的碰撞监测信息;
碰撞信息获取单元,用于根据所述碰撞监测信息中的碰撞类型和碰撞等级,确定所述碰撞监测信息对应的目标响应方案。
可选地,所述模型预测单元,包括:
音轨特征检测子单元,用于利用预设监测模型中的音频监测模型,检测所述特征监测数据中的目标音轨特征数据,得到第一预测结果;
图像特征检测子单元,用于利用预设监测模型中的图像视频监测模型,检测所述特征监测数据中的目标图像特征数据,得到第二预测结果;
结果关联子单元,用于将所述第一预测结果和所述第二预测结果进行关联,得到所述目标车辆的碰撞监测信息的预测结果。
此外,本发明实施例还提出一种计算机可读存储介质,所述计算机可读存储介质上存储有车辆碰撞监测程序,所述车辆碰撞监测程序被处理器执行时实现上述实施例提供的车辆碰撞监测方法中的操作。
上述各程序模块所执行的方法可参照本发明方法各个实施例,此处不再赘述。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体/操作/对象与另一个实体/操作/对象区分开来,而不一定要求或者暗示这些实体/操作/对象之间存在任何这种实际的关系或者顺序;术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
对于装置实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的。可以根据实际的需要选择中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的车辆碰撞监测方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。