CN115883748B - 一种数据回放的同步方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请公开了数据回放的同步方法、装置、电子设备及存储介质，其中，数据回放的同步方法可应用于雷达传感器开发领域，该方法包括：获取待同步回放的多帧雷达数据和多帧摄像头数据；播放第一帧雷达数据和第一帧摄像头数据，记录第一帧本地播放时间；基于第一帧本地播放时间和第一帧雷达数据的采集时间确定雷达基准时间差，基于第一帧本地播放时间和第一帧摄像头数据的采集时间确定摄像头基准时间差；基于雷达基准时间差和本地时间，确定剩余每帧雷达数据的本地播放时间；基于摄像头基准时间差和本地时间，确定剩余每帧摄像头数据的本地播放时间；基于本地播放时间，播放相应帧雷达数据和相应帧摄像头数据。本申请提高了数据回放的真实性与可靠性。

Description

一种数据回放的同步方法、装置、电子设备及存储介质

技术领域

本申请涉及计算机技术领域，特别涉及一种数据回放的同步方法、装置、电子设备及存储介质。

背景技术

作为智能驾驶的眼睛，汽车雷达的应用越来越广泛，为了更好地研究雷达，分析雷达的性能指标，确定是否出现漏检和误检，如图1所示，雷达厂商通常在车上安装多个雷达和摄像头，通过大量的路试采集雷达数据和摄像头数据，之后研发人员通过回放采集的数据来发现雷达的问题。

在数据回放的过程中，雷达数据和摄像头数据在雷达上位机的显示理论上应该和实时采集数据时在雷达上位机的显示是完全一致的，但是实际上雷达与摄像头数据显示会不一致，这给研发人员分析雷达数据造成了很大的问题，其中的根本原因就是雷达的数据和摄像头数据在回放的过程中没有同步。

发明内容

为了解决现有技术的问题，本申请实施例提供了一种数据回放的同步方法、装置、电子设备及存储介质。所述技术方案如下：

一方面，提供了一种数据回放的同步方法，所述方法包括：

获取待同步回放的多帧雷达数据和多帧摄像头数据；

播放所述多帧雷达数据中的第一帧雷达数据和所述多帧摄像头数据中的第一帧摄像头数据，记录第一帧本地播放时间；所述第一帧本地播放时间为在所述播放时参考时钟所指示的时间；

基于所述第一帧本地播放时间和所述第一帧雷达数据的采集时间确定雷达基准时间差，以及基于所述第一帧本地播放时间和所述第一帧摄像头数据的采集时间确定摄像头基准时间差；

基于所述雷达基准时间差和本地时间，确定剩余每帧雷达数据的本地播放时间；以及基于所述摄像头基准时间差和本地时间，确定剩余每帧摄像头数据的本地播放时间；所述本地时间为所述参考时钟所指示的时间；

基于所述剩余每帧雷达数据的本地播放时间和所述剩余每帧摄像头数据的本地播放时间，分别对相应帧雷达数据和相应帧摄像头数据进行播放。

另一方面，提供了一种数据回放的同步装置，所述装置包括：

数据获取模块，用于获取待同步回放的多帧雷达数据和多帧摄像头数据；

第一数据播放模块，用于播放所述多帧雷达数据中的第一帧雷达数据和所述多帧摄像头数据中的第一帧摄像头数据，记录第一帧本地播放时间；所述第一帧本地播放时间为在所述播放时参考时钟所指示的时间；

基准确定模块，用于基于所述第一帧本地播放时间和所述第一帧雷达数据的采集时间确定雷达基准时间差，以及基于所述第一帧本地播放时间和所述第一帧摄像头数据的采集时间确定摄像头基准时间差；

播放时间确定模块，用于基于所述雷达基准时间差和本地时间，确定剩余每帧雷达数据的本地播放时间；以及基于所述摄像头基准时间差和本地时间，确定剩余每帧摄像头数据的本地播放时间；所述本地时间为所述参考时钟所指示的时间；

第二数据播放模块，用于基于所述剩余每帧雷达数据的本地播放时间和所述剩余每帧摄像头数据的本地播放时间，分别对相应帧雷达数据和相应帧摄像头数据进行播放。

在一个示例性的实施方式中，所述播放时间确定模块，包括：

雷达帧确定模块，用于确定剩余帧雷达数据中待播放的当前帧雷达数据；

第一和值确定模块，用于确定所述雷达基准时间差与本地时间的和值；

第一确定模块，用于在所述和值大于或者等于所述当前帧雷达数据的采集时间时，将所述本地时间确定为所述当前帧雷达数据的本地播放时间。

在一个示例性的实施方式中，所述装置还包括用于确定当前帧雷达数据的本地播放时间的第一时间确定模块，所述第一时间确定模块，包括：

第一等待模块，用于在所述和值小于所述当前帧雷达数据的采集时间时，等待第一预设时长；

第二和值确定模块，用于在等待时长达到所述第一预设时长时，确定所述雷达基准时间差与本地时间的和值；

第二等待模块，用于若所述和值小于所述当前帧雷达数据的采集时间，则执行所述等待第一预设时长的步骤，直至所述和值大于或者等于所述当前帧雷达数据的采集时间，停止所述等待；

第二确定模块，用于将停止所述等待时的本地时间，确定为所述当前帧雷达数据的本地播放时间。

在一个示例性的实施方式中，所述播放时间确定模块，包括：

摄像头帧确定模块，用于确定剩余帧摄像头数据中待播放的当前帧摄像头数据；

差值确定模块，用于确定所述当前帧摄像头数据的采集时间与所述摄像头基准时间差的和值，确定本地时间与所述和值的差值；

第三等待模块，用于在所述差值为负值时，等待第二预设时长；

第三确定模块，用于在等待时长达到所述第二预设时长时，将本地时间确定为所述当前帧摄像头数据的本地播放时间。

在一个示例性的实施方式中，所述装置还包括用于确定当前帧摄像头数据的本地播放时间的第二时间确定模块，所述第二时间确定模块，包括：

第一阈值获取模块，用于在所述差值为正值时，获取第一预设同步阈值；

第四确定模块，用于在所述差值小于或者等于所述第一预设同步阈值时，将本地时间确定为所述当前帧摄像头数据的本地播放时间。

在一个示例性的实施方式中，所述装置还包括用于确定当前帧摄像头数据的本地播放时间的第三时间确定模块，所述第三时间确定模块，包括：

第二阈值获取模块，用于在所述差值大于所述第一预设同步阈值时，获取第二预设同步阈值；

第五确定模块，用于在所述差值小于或者等于所述第二预设同步阈值时，将本地时间减去所述第二预设时长，得到所述当前帧摄像头数据的本地播放时间。

在一个示例性的实施方式中，所述装置还包括用于丢弃当前帧摄像头数据的数据丢弃模块，所述数据丢弃模块，包括：

数据丢弃模块，用于在所述差值大于所述第二预设同步阈值时，丢弃所述当前帧摄像头数据。

另一方面，提供了一种电子设备，包括处理器和存储器，所述存储器中存储有至少一条指令或者至少一段程序，所述至少一条指令或者所述至少一段程序由所述处理器加载并执行以实现上述任一方面的数据回放的同步方法。

另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令或者至少一段程序，所述至少一条指令或者所述至少一段程序由处理器加载并执行以实现如上述任一方面的数据回放的同步方法。

另一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该电子设备执行上述任一方面的数据回放的同步方法。

本申请实施例通过引入雷达上位机的时钟作为参考时钟，将雷达数据和摄像头数据分别与雷达上位机的时钟同步，可以有效解决数据回放过程中雷达数据与摄像头视频之间的不同步问题，辅助研发人员更准确判断雷达有无漏检和误检，极大方便了研发人员分析雷达数据，提高了回放的真实性与可靠性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的路试车安装雷达和摄像头的常用部署示意图；

图2是本申请实施例提供的一种数据回放的同步方法的流程示意图；

图3是本申请实施例提供的一种雷达数据回放的同步方法的流程示意图；

图4是本申请实施例提供的一种摄像头数据回放的同步方法的流程示意图；

图5是本申请实施例提供的一种数据回放的同步装置的结构框图；

图6是本申请实施例提供的一种电子设备的硬件结构框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

可以理解的是，在本申请的具体实施方式中，涉及到用户信息等相关的数据，当本申请以上实施例运用到具体产品或技术中时，需要获得用户许可或者同意，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

请参阅图2，其所示为本申请实施例提供的一种数据回放的同步方法的流程示意图。需要说明的是，本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图2所示，所述方法可以包括：

S201，获取待同步回放的多帧雷达数据和多帧摄像头数据。

其中，雷达数据为安装在路试车上的雷达采集的数据，如图1所示，路试车上常见的雷达部署为4个角雷达(左前、右前、左后和右后)、1个前向雷达、1个后向雷达、1个左侧雷达以及1个右侧雷达，对于雷达数据，记录原始数据的同时，还需要记录采集每一帧原始数据时的时间。

其中，摄像头数据为安装在路试车上的摄像头采集的视频，包括每一帧视频采集时的时间，如图1所示，路试车上常见的摄像头部署为1个前向摄像头、1个后向摄像头、1个左侧摄像头以及1个右侧摄像头；并且摄像头数据与雷达数据记录了同一时间段的数据，在回放摄像头数据与雷达数据时，将多路数据同步，便于研发人员通过回放摄像头数据来发现雷达是否出现漏检和误检。

S203，播放所述多帧雷达数据中的第一帧雷达数据和所述多帧摄像头数据中的第一帧摄像头数据，记录第一帧本地播放时间。

其中，第一帧本地播放时间为在所述播放时参考时钟所指示的时间。

其中，参考时钟为雷达上位机的时钟，通过雷达上位机回放雷达数据和摄像头数据，同时以雷达上位机的时钟为参考时钟，回放的同时完成多帧雷达数据的本地播放时间、多帧摄像头数据的本地播放时间分别与参考时钟的同步，从而完成多帧雷达数据的本地播放时间与多帧摄像头数据的本地播放时间的同步。

具体的，同时播放第一帧雷达数据和第一帧摄像头数据，则第一帧雷达数据播放时参考时钟所指示的时间与第一帧摄像头数据播放时参考时钟所指示的时间为同一时刻，即完成了第一帧雷达数据与第一帧摄像头数据的同步播放，这是后续将剩余每帧雷达数据与剩余每帧摄像头数据同步播放的前提。

具体的，记录第一帧播放时间，即记录第一帧雷达数据与第一帧摄像头数据播放时参考时钟所指示的时间，用以对剩余每帧雷达数据以第一帧播放时间为基准逐帧进行校准，对剩余每帧摄像头数据以第一帧播放时间为基准逐帧进行校准。

S205，基于所述第一帧本地播放时间和所述第一帧雷达数据的采集时间确定雷达基准时间差，以及基于所述第一帧本地播放时间和所述第一帧摄像头数据的采集时间确定摄像头基准时间差。

其中，第一帧雷达数据的采集时间为雷达采集第一帧数据时的时间。

其中，雷达基准时间差为第一帧雷达数据播放时参考时钟所指示的时间与采集第一帧雷达数据时的时间的差值。在对剩余每帧雷达数据进行校准时，需要确保当前帧雷达数据播放时参考时钟所指示的时间与采集当前帧雷达数据时的时间的差值与雷达基准时间差的差距保持在一定范围内，用户对于数据同步的要求越高，该范围需要设定得越小，从而完成雷达数据与参考时钟的时间的同步。

其中，第一帧摄像头数据的采集时间为摄像头采集第一帧数据时的时间。

其中，摄像头基准时间为第一帧摄像头数据播放时参考时钟所指示的时间与采集第一帧摄像头数据时的时间的差值。在对剩余每帧摄像头数据进行校准时，需要确保当前帧摄像头数据播放时参考时钟所指示的时间与采集当前帧摄像头数据时的时间的差值与摄像头基准时间差的差距保持在一定范围内，用户对于数据同步的要求越高，该范围需要设定得越小，从而完成摄像头数据与参考时钟的时间的同步。

S207，基于所述雷达基准时间差和本地时间，确定剩余每帧雷达数据的本地播放时间；以及基于所述摄像头基准时间差和本地时间，确定剩余每帧摄像头数据的本地播放时间。

其中，本地时间为参考时钟所指示的时间。

其中，雷达数据的本地播放时间为雷达数据播放时参考时钟所指示的时间。具体实施中，在雷达基准时间差、本地时间和当前帧雷达数据的采集时间满足一定的比较关系时，将本地时间确定为当前帧雷达数据的本地播放时间，在不满足时，等待一定时长，直至等待结束时的本地时间能够使得上述时间值之间满足上述比较关系，也就是使得本地时间和当前帧雷达数据的采集时间的差值与雷达基准时间差的差距保持在一定的范围内，该范围即上述时长所表征的范围，该时长设定得越小，最终数据同步程度越高。

其中，摄像头数据的本地播放时间为摄像头数据播放时参考时钟所指示的时间。具体实施中，在摄像头基准时间差、本地时间和当前帧摄像头数据的采集时间满足一定的比较关系时，将本地时间确定为当前帧摄像头数据的本地播放时间，在不满足时，视上述比较的结果而延迟或提前播放当前帧摄像头数据，或对当前帧摄像头数据丢帧处理，也就是使得当前帧摄像头数据的本地播放时间和当前帧摄像头数据的采集时间的差值与摄像头基准时间差的差距保持在一定的范围内，该范围设定得越小，最终数据同步程度越高。

在一个示例性的实施方式中，请参阅图3，其所示为本申请实施例提供的一种雷达数据回放的同步方法的流程示意图，上述步骤S207可以包括：

S301，确定剩余帧雷达数据中待播放的当前帧雷达数据。

其中，剩余帧雷达数据为多帧雷达数据在此轮回放中尚未播放的雷达数据。

其中，当前帧雷达数据为剩余帧雷达数据中的第一帧雷达数据。

S303，确定所述雷达基准时间差与本地时间的和值。

其中，雷达基准时间差为播放第一帧雷达数据时参考时钟所指示的时间与采集第一帧雷达数据时的时间的差值。

其中，本地时间为参考时钟当前所指示的时间。

S305，判断所述和值是否大于或者等于所述当前帧雷达数据的采集时间。

具体的，和值与当前帧雷达数据的采集时间的比较，即为雷达基准时间差与本地时间的和值与当前帧雷达数据的采集时间的比较，即为本地时间和当前帧雷达数据的采集时间的差值，与第一帧雷达数据播放时的本地时间和第一帧雷达数据的采集时间的差值比较，比较、校准这两个差值，最终使得这两个差值的差距保持在一定范围内，将此时的本地时间确定为当前帧雷达数据的本地播放时间，也就完成了雷达数据与参考时钟的时间的同步。具体实施中，通过等待使得本地时间增加的方式，来完成校准过程。

具体的，若判断的结果为是，则可以执行步骤S307；反之，若判断的结果为否，则可以执行步骤S309。

S307，将所述本地时间确定为所述当前帧雷达数据的本地播放时间。

其中，本地播放时间为符合比较条件的本地时间，或者经校准后符合该比较条件的本地时间，比较条件具体为雷达基准时间差与本地时间的和值大于或者等于当前帧雷达数据的采集时间。具体实施中，将符合比较条件的本地时间确定为当前帧雷达数据的本地播放时间，通过雷达上位机按照当前帧雷达数据的本地播放时间播放当前帧雷达数据，即可完成对雷达数据的同步回放。

S309，等待，直至等待时长达到所述第一预设时长。

其中，等待为雷达上位机的等待，达到增加本地时间的效果。

其中，第一预设时长为预设的雷达上位机的单次等待的时长。具体的，在雷达基准时间差与本地时间的和值小于当前帧雷达数据的采集时间时，雷达上位机等待第一预设时长，基于等待结束时的本地时间重新计算步骤S303的和值，基于重新计算的和值重新进行步骤S305的判断，在判断结果为是时，将本地时间确定为当前帧雷达数据的本地播放时间，在判断结果为否时，重新执行步骤S309的等待，直至判断结果为是时，结束等待，从而确定当前帧雷达数据的本地播放时间。具体实施中，在要求高同步精度的同时，考虑到计算机性能的影响，第一预设时长的取值通常为2毫秒。

由本申请实施例的上述技术方案可见，本申请实施例通过对雷达基准时间差、本地时间和当前帧雷达数据的采集时间设置比较条件，将符合条件时的本地时间确定为当前帧雷达数据的本地播放时间，从而使得当前帧雷达数据的本地播放时间和采集时间的差值与雷达基准时间差的差距保持在一定范围，基于此完成对剩余每帧雷达数据的本地播放时间的确定，从而完成剩余每帧雷达数据的本地播放时间与参考时钟时间的同步。

在一个示例性的实施方式中，请参阅图4，其所示为本申请实施例提供的一种摄像头数据回放的同步方法的流程示意图，上述步骤S207可以包括：

S401，确定剩余帧摄像头数据中待播放的当前帧摄像头数据。

其中，剩余帧摄像头数据为多帧摄像头数据在此轮回放中尚未播放的摄像头数据。

其中，当前帧摄像头数据为剩余帧摄像头数据中的第一帧摄像头数据。

S403，确定所述当前帧摄像头数据的采集时间与所述摄像头基准时间差的和值，确定本地时间与所述和值的差值。

其中，当前帧摄像头数据的采集时间为摄像头采集当前帧数据时的时间；

其中，摄像头基准时间差为播放第一帧摄像头数据时参考时钟所指示的时间与采集第一帧摄像头数据时的时间的差值。

其中，本地时间为参考时钟当前所指示的时间。

S405，判断所述差值是否为负值。

具体的，差值正负的比较，即为本地时间和当前帧摄像头数据的采集时间的差值与摄像头基准时间差的比较，即为本地时间和当前帧摄像头数据的采集时间的差值与第一帧摄像头数据的本地播放时间和第一帧摄像头数据的采集时间的差值的比较，根据这两个差值的大小以及差距决定当前帧摄像头数据是直接播放，还是延迟播放，还是提前播放，还是直接丢弃。

具体的，当差值为负值时，本地时间和当前帧摄像头数据的采集时间的差值小于第一帧摄像头数据的本地播放时间和第一帧摄像头数据的采集时间的差值，即小于摄像头基准时间差，如果将本地时间确定为当前帧摄像头数据的本地播放时间，那么当前帧摄像头数据的播放速度快于参考时钟时间，因此需要延迟播放；当差值为正值时，本地时间和当前帧摄像头数据的采集时间的差值大于或者等于第一帧摄像头数据的本地播放时间和第一帧摄像头数据的采集时间的差值，即大于或者等于摄像头基准时间差，还需基于这两个差值的差距决定当前帧摄像头数据的本地播放时间。

具体的，若判断的结果为是，则可以执行步骤S407；反之，若判断的结果为否，则可以执行步骤S4011。

S407，等待，直至等待时长达到第二预设时长。

其中，等待为雷达上位机的等待，达到增加本地时间的效果。

其中，第二预设时长为预设的雷达上位机的等待的时长。具体实施中，在上述差值为负值时，雷达上位机等待第二预设时长，将等待结束时的本地时间确定为当前帧摄像头数据的的本地播放时间，从而达到将当前帧摄像头数据延迟播放的效果。具体实施中，在要求高同步精度的同时，考虑到计算机性能的影响，第一预设时长的取值通常为2毫秒。

S409，将本地时间确定为所述当前帧摄像头数据的本地播放时间。

其中，本地播放时间为符合比较条件的本地时间，或者经调整后的本地时间，比较条件具体为差值是小于或者等于第一预设同步阈值的正值。具体实施中，确定当前帧摄像头数据的本地播放时间后，通过雷达上位机按照当前帧摄像头数据的本地播放时间播放当前帧摄像头数据，即可完成对当前帧摄像头数据的同步回放。

S4011，获取第一预设同步阈值。

其中，第一预设同步阈值为用户在预设范围内选择的可接受的回放延迟数值。具体实施中，该范围为10毫秒至100毫秒，其中，10毫秒为受限于硬件设备本实施例能够达到的最大精度，100毫秒为肉眼分辨不出数据回放不同步的最大延迟，用户可以根据同步要求的高低在这个范围内选择一个数值作为第一预设同步阈值，第一预设同步阈值的取值越高，数据回放的同步程度越高，当然，取值越小，对于硬件设备的要求也就相对越高。

S4013，判断所述差值是否小于或者等于所述第一预设同步阈值。

具体的，差值与第一预设同步阈值的比较，即为本地时间和当前帧摄像头数据的采集时间的差值与摄像头基准时间差的差距大小的判断，即为本地时间和当前帧摄像头数据的采集时间的差值与第一帧摄像头数据的本地播放时间和第一帧摄像头数据的采集时间的差值的差距大小的判断，根据两个差值的差距的大小决定当前帧摄像头数据是直接播放，还是提前播放，还是直接丢弃。

具体的，当差值小于或者等于第一预设同步阈值时，本地时间和当前帧摄像头数据的采集时间的差值与第一帧摄像头数据的本地播放时间和第一帧摄像头数据的采集时间的差值的差距在可接受的回放延时范围内，即该差距达到了用户设定的同步精度，因此可以直接播放；当差值大于第一预设同步阈值时，上述差距超出了可接受的回放延时范围，没有达到用户设定的同步精度，因此还需要基于差距大小进一步判断当前帧摄像头数据是提前播放，还是直接丢弃。

具体的，若判断的结果为是，则可以执行步骤S409；反之，若判断的结果为否，则可以执行步骤S4015。

S4015，获取第二预设同步阈值。

其中，第二预设同步阈值为最大延迟数值，数据回放的延时超过该数值时，即可对当前帧摄像头数据做丢帧处理。具体实施中，第二预设同步阈值的取值通常为500毫秒，由于目前市面上的摄像头视频刷新率多为60赫兹，也就是每秒60侦，一侦16.7毫秒，500毫秒约30侦，回放延时超过500毫秒即慢了30帧左右，将这30侦丢弃，以使摄像头数据尽快跟上参考时钟。

S4017，判断所述差值是否小于或者等于所述第二预设同步阈值。

具体的，差值与第二预设同步阈值的比较，即为本地时间和当前帧摄像头数据的采集时间的差值与摄像头基准时间差的差距大小的判断，即为本地时间和当前帧摄像头数据的采集时间的差值与第一帧摄像头数据的本地播放时间和第一帧摄像头数据的采集时间的差值的差距大小的判断，根据两个差值的差距的大小决定当前帧摄像头数据是提前播放，还是直接丢弃。

具体的，当差值小于或者等于第二预设同步阈值时，本地时间和当前帧摄像头数据的采集时间的差值与第一帧摄像头数据的本地播放时间和第一帧摄像头数据的采集时间的差值的差距尚在可调整的范围内，即摄像头数据回放的延时还来得及调整，因此可以将当前帧摄像头数据提前播放；当差值大于第二预设同步阈值时，上述差距超出了可调整的范围，来不及对摄像头数据逐帧调整，因此对当前帧摄像头数据直接丢弃。

具体的，若判断的结果为是，则可以执行步骤S4019；反之，若判断的结果为否，则可以执行步骤S4021。

S4019，将本地时间减去所述第二预设时长，得到所述当前帧摄像头数据的本地播放时间。

其中，将本地时间减去所述第二预设时长，即将当前帧摄像头数据提前第二预设时长播放。具体实施中，在差值小于或者等于第二预设同步阈值时，将当前帧摄像头数据提前第二预设时长播放，确定当前帧摄像头数据的本地播放时间后，通过雷达上位机按照当前帧摄像头数据的本地播放时间播放当前帧摄像头数据，即可完成对当前帧摄像头数据的同步回放。

S4021，丢弃所述当前帧摄像头数据。

具体的，在差值大于第二预设同步阈值时，本地时间和当前帧摄像头数据的采集时间的差值与第一帧摄像头数据的本地播放时间和第一帧摄像头数据的采集时间的差值的差距已经超出了来得及调整的范围，因此对当前帧摄像头数据直接丢弃。具体实施中，具体实施中，第二预设同步阈值的取值通常为500毫秒，由于目前市面上的摄像头视频刷新率多为60赫兹，回放延时超过500毫秒即慢了30帧左右，需要丢弃30侦摄像头数据，才能使摄像头数据尽快跟上参考时钟。

由本申请实施例的上述技术方案可见，本申请实施例通过对摄像头基准时间差、本地时间和当前帧摄像头数据的采集时间设置比较条件，分情况对当前帧摄像头数据的本地播放时间逐帧确定，从而使得当前帧摄像头数据的本地播放时间和采集时间的差值与摄像头基准时间差的差距保持在一定范围，基于此完成对剩余每帧摄像头数据的本地播放时间的确定，从而完成剩余每帧雷达数据的本地播放时间与参考时钟时间的同步。

S209，基于所述剩余每帧雷达数据的本地播放时间和所述剩余每帧摄像头数据的本地播放时间，分别对相应帧雷达数据和相应帧摄像头数据进行播放。

具体的，通过雷达上位机按照当前帧雷达数据的本地播放时间播放当前帧雷达数据，通过雷达上位机按照当前帧摄像头数据的本地播放时间播放当前帧摄像头数据，当播放完获取的多帧雷达数据和多帧摄像头数据时，即完成了对多帧雷达数据和多帧摄像头数据的同步回放。

具体实施中，本实施例所述数据回放的同步方法不仅可以应用于摄像头数据和雷达数据的同步回放，而且可以应用于多路雷达数据的同步回放，以及多路摄像头数据的同步回放；本实施例将摄像头数据与雷达数据同步回放，便于研发人员通过回放摄像头数据来发现雷达是否出现漏检和误检。

由本申请实施例的上述技术方案可见，本申请实施例通过引入雷达上位机的时钟作为参考时钟，将雷达数据和摄像头数据分别与雷达上位机的时钟同步，可以有效解决数据回放过程中雷达数据与摄像头视频之间的不同步问题，辅助研发人员更准确判断雷达有无漏检和误检，极大方便了研发人员分析雷达数据，提高了回放的真实性与可靠性。

与上述几种实施例提供的数据回放的同步方法相对应，本申请实施例还提供一种数据回放的同步装置，由于本申请实施例提供的数据回放的同步装置与上述几种实施例提供的数据回放的同步方法相对应，因此前述数据回放的同步方法的实施方式也适用于本实施例提供的数据回放的同步装置，在本实施例中不再详细描述。

请参阅图5，其所示为本申请实施例提供的一种数据回放的同步装置的结构示意图，该装置具有实现上述方法实施例中数据回放的同步方法的功能，所述功能可以由硬件实现，也可以由硬件执行相应的软件实现。如图5所示，该装置可以包括：

数据获取模块510，用于获取待同步回放的多帧雷达数据和多帧摄像头数据；

第一数据播放模块520，用于播放所述多帧雷达数据中的第一帧雷达数据和所述多帧摄像头数据中的第一帧摄像头数据，记录第一帧本地播放时间；所述第一帧本地播放时间为在所述播放时参考时钟所指示的时间；

基准确定模块530，用于基于所述第一帧本地播放时间和所述第一帧雷达数据的采集时间确定雷达基准时间差，以及基于所述第一帧本地播放时间和所述第一帧摄像头数据的采集时间确定摄像头基准时间差；

播放时间确定模块540，用于基于所述雷达基准时间差和本地时间，确定剩余每帧雷达数据的本地播放时间；以及基于所述摄像头基准时间差和本地时间，确定剩余每帧摄像头数据的本地播放时间；所述本地时间为所述参考时钟所指示的时间；

第二数据播放模块550，用于基于所述剩余每帧雷达数据的本地播放时间和所述剩余每帧摄像头数据的本地播放时间，分别对相应帧雷达数据和相应帧摄像头数据进行播放。

在一个示例性的实施方式中，所述播放时间确定模块，包括：

雷达帧确定模块，用于确定剩余帧雷达数据中待播放的当前帧雷达数据；

第一和值确定模块，用于确定所述雷达基准时间差与本地时间的和值；

第一确定模块，用于在所述和值大于或者等于所述当前帧雷达数据的采集时间时，将所述本地时间确定为所述当前帧雷达数据的本地播放时间。

在一个示例性的实施方式中，所述装置还包括用于确定当前帧雷达数据的本地播放时间的第一时间确定模块，所述第一时间确定模块，包括：

第一等待模块，用于在所述和值小于所述当前帧雷达数据的采集时间时，等待第一预设时长；

第二和值确定模块，用于在等待时长达到所述第一预设时长时，确定所述雷达基准时间差与本地时间的和值；

第二等待模块，用于若所述和值小于所述当前帧雷达数据的采集时间，则执行所述等待第一预设时长的步骤，直至所述和值大于或者等于所述当前帧雷达数据的采集时间，停止所述等待；

第二确定模块，用于将停止所述等待时的本地时间，确定为所述当前帧雷达数据的本地播放时间。

在一个示例性的实施方式中，所述播放时间确定模块，包括：

摄像头帧确定模块，用于确定剩余帧摄像头数据中待播放的当前帧摄像头数据；

差值确定模块，用于确定所述当前帧摄像头数据的采集时间与所述摄像头基准时间差的和值，确定本地时间与所述和值的差值；

第三等待模块，用于在所述差值为负值时，等待第二预设时长；

第三确定模块，用于在等待时长达到所述第二预设时长时，将本地时间确定为所述当前帧摄像头数据的本地播放时间。

在一个示例性的实施方式中，所述装置还包括用于确定当前帧摄像头数据的本地播放时间的第二时间确定模块，所述第二时间确定模块，包括：

第一阈值获取模块，用于在所述差值为正值时，获取第一预设同步阈值；

第四确定模块，用于在所述差值小于或者等于所述第一预设同步阈值时，将本地时间确定为所述当前帧摄像头数据的本地播放时间。

在一个示例性的实施方式中，所述装置还包括用于确定当前帧摄像头数据的本地播放时间的第三时间确定模块，所述第三时间确定模块，包括：

第二阈值获取模块，用于在所述差值大于所述第一预设同步阈值时，获取第二预设同步阈值；

第五确定模块，用于在所述差值小于或者等于所述第二预设同步阈值时，将本地时间减去所述第二预设时长，得到所述当前帧摄像头数据的本地播放时间。

在一个示例性的实施方式中，所述装置还包括用于丢弃当前帧摄像头数据的数据丢弃模块，所述数据丢弃模块，包括：

数据丢弃模块，用于在所述差值大于所述第二预设同步阈值时，丢弃所述当前帧摄像头数据。

需要说明的是，上述实施例提供的装置，在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，该存储器中存储有至少一条指令或者至少一段程序，该至少一条指令或者该至少一段程序由该处理器加载并执行以实现如上述方法实施例所提供的任意一种数据回放的同步方法。

存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、功能所需的应用程序等；存储数据区可存储根据所述设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器还可以包括存储器控制器，以提供处理器对存储器的访问。

本申请实施例所提供的方法实施例可以在计算机终端、服务器或者类似的运算装置中执行，即上述电子设备可以包括计算机终端、服务器或者类似的运算装置。图6是本发明实施例提供的运行一种数据回放的同步方法的计算机设备的硬件结构框图，如图6所示，该计算机设备的内部结构可包括但不限于：处理器、网络接口及存储器。其中，计算机设备内的处理器、网络接口及存储器可通过总线或其他方式连接，在本说明书实施例所示图6中以通过总线连接为例。

其中，处理器(或称CPU(Central Processing Unit，中央处理器))是计算机设备的计算核心以及控制核心。网络接口可选的可以包括标准的有线接口、无线接口(如WI-FI、移动通信接口等)。存储器(Memory)是计算机设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的存储器可以是高速RAM存储设备，也可以是非不稳定的存储设备(non-volatile memory)，例如至少一个磁盘存储设备；可选的还可以是至少一个位于远离前述处理器的存储装置。存储器提供存储空间，该存储空间存储了电子设备的操作系统，可包括但不限于：Windows系统(一种操作系统)，Linux(一种操作系统)，Android(安卓，一种移动操作系统)系统、IOS(一种移动操作系统)系统等等，本发明对此并不作限定；并且，在该存储空间中还存放了适于被处理器加载并执行的一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。在本说明书实施例中，处理器加载并执行存储器中存放的一条或一条以上指令，以实现上述方法实施例提供的数据回放的同步方法。本申请的实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质可设置于电子设备之中以保存用于实现一种数据回放的同步方法相关的至少一条指令或者至少一段程序，该至少一条指令或者该至少一段程序由该处理器加载并执行以实现上述方法实施例提供的任意一种数据回放的同步方法。

可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是：上述本申请实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (9)

1.一种数据回放的同步方法，其特征在于，所述方法包括：

获取待同步回放的多帧雷达数据和多帧摄像头数据；

播放所述多帧雷达数据中的第一帧雷达数据和所述多帧摄像头数据中的第一帧摄像头数据，记录第一帧本地播放时间；所述第一帧本地播放时间为在所述播放时参考时钟所指示的时间；

基于所述第一帧本地播放时间和所述第一帧雷达数据的采集时间确定雷达基准时间差，以及基于所述第一帧本地播放时间和所述第一帧摄像头数据的采集时间确定摄像头基准时间差；

基于所述雷达基准时间差和本地时间，确定剩余每帧雷达数据的本地播放时间；以及基于所述摄像头基准时间差和本地时间，确定剩余每帧摄像头数据的本地播放时间；所述本地时间为所述参考时钟所指示的时间；

基于所述剩余每帧雷达数据的本地播放时间和所述剩余每帧摄像头数据的本地播放时间，分别对相应帧雷达数据和相应帧摄像头数据进行播放；

其中，所述基于所述摄像头基准时间差和本地时间，确定剩余每帧摄像头数据的本地播放时间，包括：确定剩余帧摄像头数据中待播放的当前帧摄像头数据；确定所述当前帧摄像头数据的采集时间与所述摄像头基准时间差的和值，确定本地时间与所述和值的差值；在所述差值为正值时，获取第一预设同步阈值；在所述差值小于或者等于所述第一预设同步阈值时，将本地时间确定为所述当前帧摄像头数据的本地播放时间。

2.根据权利要求1所述的数据回放的同步方法，其特征在于，所述基于所述雷达基准时间差和本地时间，确定剩余每帧雷达数据的本地播放时间，包括：

确定剩余帧雷达数据中待播放的当前帧雷达数据；

确定所述雷达基准时间差与本地时间的和值；

在所述和值大于或者等于所述当前帧雷达数据的采集时间时，将所述本地时间确定为所述当前帧雷达数据的本地播放时间。

3.根据权利要求2所述的数据回放的同步方法，其特征在于，所述方法还包括：

在所述和值小于所述当前帧雷达数据的采集时间时，等待第一预设时长；

在等待时长达到所述第一预设时长时，确定所述雷达基准时间差与本地时间的和值；

若所述和值小于所述当前帧雷达数据的采集时间，则执行所述等待第一预设时长的步骤，直至所述和值大于或者等于所述当前帧雷达数据的采集时间，停止所述等待；

将停止所述等待时的本地时间，确定为所述当前帧雷达数据的本地播放时间。

4.根据权利要求1所述的数据回放的同步方法，其特征在于，所述方法还包括：

在所述差值为负值时，等待第二预设时长；

在等待时长达到所述第二预设时长时，将本地时间确定为所述当前帧摄像头数据的本地播放时间。

5.根据权利要求4所述的数据回放的同步方法，其特征在于，所述方法还包括：

在所述差值大于所述第一预设同步阈值时，获取第二预设同步阈值；

在所述差值小于或者等于所述第二预设同步阈值时，将本地时间减去所述第二预设时长，得到所述当前帧摄像头数据的本地播放时间。

6.根据权利要求5所述的数据回放的同步方法，其特征在于，所述方法还包括：

在所述差值大于所述第二预设同步阈值时，丢弃所述当前帧摄像头数据。

7.一种数据回放的同步装置，其特征在于，所述装置包括：

数据获取模块，用于获取待同步回放的多帧雷达数据和多帧摄像头数据；

第一数据播放模块，用于播放所述多帧雷达数据中的第一帧雷达数据和所述多帧摄像头数据中的第一帧摄像头数据，记录第一帧本地播放时间；所述第一帧本地播放时间为在所述播放时参考时钟所指示的时间；

基准确定模块，用于基于所述第一帧本地播放时间和所述第一帧雷达数据的采集时间确定雷达基准时间差，以及基于所述第一帧本地播放时间和所述第一帧摄像头数据的采集时间确定摄像头基准时间差；

播放时间确定模块，用于基于所述雷达基准时间差和本地时间，确定剩余每帧雷达数据的本地播放时间；以及基于所述摄像头基准时间差和本地时间，确定剩余每帧摄像头数据的本地播放时间；所述本地时间为所述参考时钟所指示的时间；

第二数据播放模块，用于基于所述剩余每帧雷达数据的本地播放时间和所述剩余每帧摄像头数据的本地播放时间，分别对相应帧雷达数据和相应帧摄像头数据进行播放；

其中，所述基于所述摄像头基准时间差和本地时间，确定剩余每帧摄像头数据的本地播放时间，包括：确定剩余帧摄像头数据中待播放的当前帧摄像头数据；确定所述当前帧摄像头数据的采集时间与所述摄像头基准时间差的和值，确定本地时间与所述和值的差值；在所述差值为正值时，获取第一预设同步阈值；在所述差值小于或者等于所述第一预设同步阈值时，将本地时间确定为所述当前帧摄像头数据的本地播放时间。

8.一种电子设备，其特征在于，包括处理器和存储器，所述存储器中存储有至少一条指令或者至少一段程序，所述至少一条指令或者所述至少一段程序由所述处理器加载并执行以实现如权利要求1～6中任一项所述的数据回放的同步方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条指令或者至少一段程序，所述至少一条指令或者所述至少一段程序由处理器加载并执行以实现如权利要求1～6任一项所述的数据回放的同步方法。