CN107959787B - 一种图像处理方法及装置 - Google Patents

Abstract

本发明实施例提供的一种图像处理方法及装置，应用于全景相机中的图像处理器，全景相机还包括：多个图像传感器和数据处理器组，数据处理器组中包括至少两个中央处理器CPU。应用本发明实施例提供的方案进行图像处理时，并非直接对原始全景图像进行图像编码，而是先将其拆分为多个原始拆分图像，并由数据处理器组中的多个CPU分别对各个原始拆分图像进行图像编码，由于各个原始拆分图像的分辨率小于原始全景图像的分辨率，使得各个原始拆分图像的分辨率容易处于CPU的处理能力内，因此无需降低原始全景图像的分辨率，在保证目标全景图像正常显示的前提下，有利于提高所有目标拆分图像对应的目标全景图像的清晰度。

Description

一种图像处理方法及装置

技术领域

本发明涉及视频监控技术领域，特别是涉及一种图像处理方法及装置。

背景技术

现如今，用户可以利用全景相机拍摄全景图像，其中，所谓的全景图像，是指视场角在180°-360°范围内的图像。通常，全景相机特指具有多个镜头、多个图像传感器(简称为传感器)的摄像机。

相关技术中提供了如下的图像处理方案，首先全景相机的各个传感器分别进行图像采集，得到各个待拼接的原始图像，然后全景相机的图像处理器对所得到的各个原始图像进行拼接处理，从而将各个原始图像拼接为原始全景图像，接着全景相机的CPU(CentralProcessing Unit，中央处理器)对拼接得到的原始全景图像进行图像编码，以去掉原始全景图像中的冗余数据，最终得到用于显示的目标全景图像，并通过显示终端显示该目标全景图像。

通常，拼接得到的原始全景图像的分辨率往往很大，而全景相机的CPU的处理能力也是有限制的，因此，为了保证CPU能够对原始全景图像进行图像编码，往往需要降低各个传感器采集的原始图像的分辨率。可见，由于全景相机的CPU的处理能力的制约，导致相关技术所得到的目标全景图像的分辨率较低，即目标全景图像的清晰度不高。

发明内容

本发明实施例的目的在于提供一种图像处理方法及装置，以在保证目标全景图像正常显示的前提下，提高目标全景图像的清晰度。

为达到上述目的，本发明实施例公开了一种图像处理方法，应用于全景相机中的图像处理器，所述全景相机还包括：多个图像传感器和数据处理器组，所述数据处理器组中包括至少两个中央处理器CPU；所述方法包括：

接收各个图像传感器采集并发送的待拼接的原始图像；

对各个原始图像进行拼接处理，得到拼接后的原始全景图像；

按照预设图像拆分规则，将所述原始全景图像拆分为多个原始拆分图像；

将各个原始拆分图像发送至所述数据处理器组，以使得：所述数据处理器组对所述各个原始拆分图像进行图像编码，得到与各个原始拆分图像相对应的目标拆分图像，并将所述各个原始拆分图像所对应的时间戳校正为相同时间戳，控制与所述原始全景图像对应的所有目标拆分图像按照校正后的时间戳进行同步显示。

可选的，所述按照预设图像拆分规则，将所述原始全景图像拆分为多个原始拆分图像的步骤，包括：

根据所述数据处理器组中的CPU的数量和处理能力参数值、以及所述原始全景图像的分辨率中的至少一种信息，将所述原始全景图像拆分为多个原始拆分图像。

可选的，所述数据处理器组包括一个主CPU和至少一个从CPU；

所述将各个原始拆分图像发送至所述数据处理器组，以使得：所述数据处理器组对所述各个原始拆分图像进行图像编码，得到与各个原始拆分图像相对应的目标拆分图像，并将所述各个原始拆分图像所对应的时间戳校正为相同时间戳，控制与所述原始全景图像对应的所有目标拆分图像按照校正后的时间戳进行同步显示的步骤，包括：

将各个原始拆分图像分别发送至所述数据处理器组中的主CPU和从CPU，以使得：主CPU和从CPU对自身接收到的原始拆分图像进行图像编码，得到与各个原始拆分图像相对应的目标拆分图像，以及主CPU接收由从CPU进行图像编码得到并发送的目标拆分图像，主CPU将所述各个原始拆分图像所对应的时间戳校正为相同时间戳，控制与所述原始全景图像对应的所有目标拆分图像按照校正后的时间戳进行同步显示。

可选的，所述主CPU将所述各个原始拆分图像所对应的时间戳校正为相同时间戳，控制与所述原始全景图像对应的所有目标拆分图像按照校正后的时间戳进行同步显示的步骤，包括：

所述主CPU按照参考时间戳，修正所接收的由从CPU进行图像编码得到并发送的目标拆分图像的时间戳；其中，所述参考时间戳为所述主CPU接收到所述图像处理器发送的原始拆分图像时的时间戳；

所述主CPU控制与所述原始全景图像对应的所有目标拆分图像，按照目标时间戳进行同步显示；其中，所述主CPU进行图像编码所得的目标拆分图像对应的目标时间戳为所述参考时间戳，所述主CPU所接收到的目标拆分图像对应的目标时间戳为修正后的时间戳。

可选的，所述主CPU控制与所述原始全景图像对应的所有目标拆分图像，按照目标时间戳进行同步显示的步骤，包括：

所述主CPU对与所述原始全景图像对应的所有目标拆分图像进行打包处理，得到包含各个目标拆分图像的图像包；

所述主CPU将所述图像包发送至显示终端，以便所述显示终端对所接收的图像包进行解码处理后，按照相应的目标时间戳同步显示与所述原始全景图像对应的所有目标拆分图像。

可选的，所述目标拆分图像为：所述主CPU和所述从CPU，按照与所述主CPU中配置的图像参数编码得到的图像；其中，所述图像参数包括：曝光参数、白平衡参数和色彩矫正矩阵。

可选的，所述对各个原始图像进行拼接处理，并得到拼接后的原始全景图像的步骤之后，还包括：

对所述原始全景图像进行降低分辨率的缩放处理，并得到缩放处理后的低分辨率全景图像；

将所述低分辨率全景图像发送至所述数据处理器组，以使得：所述数据处理器组对所述低分辨率全景图像进行图像编码，得到与所述低分辨率全景图像相对应的目标低分辨率全景图像，并控制所述目标低分辨率全景图像的显示。

可选的，所述对所述原始全景图像进行降低分辨率的缩放处理，并得到缩放处理后的低分辨率全景图像的步骤之后，还包括：

获得由所述数据处理器组进行图像编码后得到的目标低分辨率全景图像；

提取所述目标低分辨率全景图像中的运动目标；

获得所提取的运动目标在所述低分辨率全景图像中的第一像素坐标；

按照所述目标低分辨率全景图像与各个目标拆分图像之间的像素坐标对应关系，确定所述第一像素坐标所对应的第二像素坐标所在的目标拆分图像；

将所确定出的目标拆分图像的标识信息发送至所述数据处理器组，以使得所述数据处理器组控制所确定出的目标拆分图像进行显示。

可选的，所述将所确定出的目标拆分图像的标识信息发送至所述数据处理器组，以使得所述数据处理器组控制所确定出的目标拆分图像进行显示的步骤，包括：

检测是否接收到控制所确定出的目标拆分图像进行显示的触发信号；

若检测到，则将所确定出的目标拆分图像的标识信息发送至所述数据处理器组，以使得所述数据处理器组控制所确定出的目标拆分图像进行显示。

可选的，所述图像处理器，为基于现场可编程门阵列FPGA芯片所搭建的模块。

为达到上述目的，本发明实施例公开了一种图像处理装置，应用于全景相机中的图像处理器，所述全景相机还包括：多个图像传感器和数据处理器组，所述数据处理器组中包括至少两个中央处理器CPU；所述装置包括：

图像接收模块，用于接收各个图像传感器采集并发送的待拼接的原始图像；

图像拼接模块，用于对各个原始图像进行拼接处理，得到拼接后的原始全景图像；

图像拆分模块，用于按照预设图像拆分规则，将所述原始全景图像拆分为多个原始拆分图像；

图像发送模块，用于将各个原始拆分图像发送至所述数据处理器组，以使得：所述数据处理器组对所述各个原始拆分图像进行图像编码，得到与各个原始拆分图像相对应的目标拆分图像，并将所述各个原始拆分图像所对应的时间戳校正为相同时间戳，控制与所述原始全景图像对应的所有目标拆分图像按照校正后的时间戳进行同步显示。

可选的，所述图像拆分模块，具体用于：

根据所述数据处理器组中的CPU的数量和处理能力参数值、以及所述原始全景图像的分辨率中的至少一种信息，将所述原始全景图像拆分为多个原始拆分图像。

可选的，所述数据处理器组包括一个主CPU和至少一个从CPU；

所述图像发送模块，具体用于：

将各个原始拆分图像分别发送至所述数据处理器组中的主CPU和从CPU，以使得：主CPU和从CPU对自身接收到的原始拆分图像进行图像编码，得到与各个原始拆分图像相对应的目标拆分图像，以及主CPU接收由从CPU进行图像编码得到并发送的目标拆分图像，主CPU将所述各个原始拆分图像所对应的时间戳校正为相同时间戳，控制与所述原始全景图像对应的所有目标拆分图像按照校正后的时间戳进行同步显示。

可选的，所述主CPU将所述各个原始拆分图像所对应的时间戳校正为相同时间戳，控制与所述原始全景图像对应的所有目标拆分图像按照校正后的时间戳进行同步显示，包括：

所述主CPU按照参考时间戳，修正所接收的由从CPU进行图像编码得到并发送的目标拆分图像的时间戳；其中，所述参考时间戳为所述主CPU接收到所述图像处理器发送的原始拆分图像时的时间戳；

所述主CPU控制与所述原始全景图像对应的所有目标拆分图像，按照目标时间戳进行同步显示；其中，所述主CPU进行图像编码所得的目标拆分图像对应的目标时间戳为所述参考时间戳，所述主CPU所接收到的目标拆分图像对应的目标时间戳为修正后的时间戳。

可选的，所述主CPU控制与所述原始全景图像对应的所有目标拆分图像，按照目标时间戳进行同步显示，包括：

所述主CPU对与所述原始全景图像对应的所有目标拆分图像进行打包处理，得到包含各个目标拆分图像的图像包；

所述主CPU将所述图像包发送至显示终端，以便所述显示终端对所接收的图像包进行解码处理后，按照相应的目标时间戳同步显示与所述原始全景图像对应的所有目标拆分图像。

可选的，所述目标拆分图像为：所述主CPU和所述从CPU，按照与所述主CPU中配置的图像参数编码得到的图像；其中，所述图像参数包括：曝光参数、白平衡参数和色彩矫正矩阵。

可选的，所述图像处理装置还包括：

图像缩放模块，用于在所述图像拼接模块对各个原始图像进行拼接处理，并得到拼接后的原始全景图像之后，对所述原始全景图像进行降低分辨率的缩放处理，并得到缩放处理后的低分辨率全景图像；

所述图像发送模块，还用于将所述低分辨率全景图像发送至所述数据处理器组，以使得：所述数据处理器组对所述低分辨率全景图像进行图像编码，得到与所述低分辨率全景图像相对应的目标低分辨率全景图像，并控制所述目标低分辨率全景图像的显示。

可选的，所述图像处理装置还包括：

全景图像获得模块，用于在所述图像缩放模块对所述原始全景图像进行降低分辨率的缩放处理，并得到缩放处理后的低分辨率全景图像之后，获得由所述数据处理器组进行图像编码后得到的目标低分辨率全景图像；

目标提取模块，用于提取所述目标低分辨率全景图像中的运动目标；

坐标获得模块，用于获得所提取的运动目标在所述低分辨率全景图像中的第一像素坐标；

拆分图像确定模块，用于按照所述目标低分辨率全景图像与各个目标拆分图像之间的像素坐标对应关系，确定所述第一像素坐标所对应的第二像素坐标所在的目标拆分图像；

所述图像发送模块，还用于将所确定出的目标拆分图像的标识信息发送至所述数据处理器组，以使得所述数据处理器组控制所确定出的目标拆分图像进行显示。

可选的，所述图像发送模块，具体用于：

检测是否接收到控制所确定出的目标拆分图像进行显示的触发信号；

若检测到，则将所确定出的目标拆分图像的标识信息发送至所述数据处理器组，以使得所述数据处理器组控制所确定出的目标拆分图像进行显示。

可选的，所述图像处理器，为基于现场可编程门阵列FPGA芯片所搭建的模块。

本发明实施例提供的一种图像处理方法及装置，应用于全景相机中的图像处理器，所述全景相机还包括：多个图像传感器和数据处理器组，所述数据处理器组中包括至少两个中央处理器CPU。在进行图像处理时，所述图像处理器首先接收各个图像传感器采集并发送的待拼接的原始图像，接着对各个原始图像进行拼接处理，得到拼接后的原始全景图像，然后按照预设图像拆分规则，将所述原始全景图像拆分为多个原始拆分图像，以及将各个原始拆分图像发送至所述数据处理器组，以使得所述数据处理器组对所述各个原始拆分图像进行图像编码，得到与各个原始拆分图像相对应的目标拆分图像，并将所述各个原始拆分图像所对应的时间戳校正为相同时间戳，控制与所述原始全景图像对应的所有目标拆分图像按照校正后的时间戳进行同步显示。

由以上可见，应用本发明实施例提供的方案进行图像处理时，并不是直接对原始全景图像进行图像编码的，而是先将该原始全景图像拆分为多个原始拆分图像，然后再由数据处理器组中的多个CPU分别对各个原始拆分图像进行图像编码，由于各个原始拆分图像的分辨率小于原始全景图像的分辨率，使得各个原始拆分图像的分辨率容易处于CPU所能处理的图像分辨率的处理能力内，因此无需降低原始全景图像的分辨率，在保证目标全景图像正常显示的前提下，有利于提高所有目标拆分图像对应的目标全景图像的清晰度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种图像处理方法的流程示意图；

图2为本发明实施例提供的另一种图像处理方法的流程示意图；

图3为本发明实施例提供的又一种图像处理方法的流程示意图；

图4为本发明实施例提供的一种图像处理装置的结构示意图；

图5为本发明实施例提供的另一种图像处理装置的结构示意图；

图6为本发明实施例提供的又一种图像处理装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了在保证目标全景图像正常显示的前提下，提高目标全景图像的清晰度，本发明实施例提供了一种图像处理方法及装置。

下面首先对本发明实施例提供的一种图像处理方法进行下说明。

本发明实施例提供的一种图像处理方法，应用于全景相机中的图像处理器，所述全景相机还包括：多个图像传感器和数据处理器组，所述数据处理器组中包括至少两个中央处理器CPU。举例而言，所述图像处理器可以为基于现场可编程门阵列FPGA芯片所搭建的模块，当然并不局限于此。

具体的，图1所示的图像处理方法，可以包括以下步骤：

S101：接收各个图像传感器采集并发送的待拼接的原始图像。

具体的，各个待拼接的原始图像，是利用全景相机中的各个图像传感器采集得到的，且各个图像传感器可以利用光电转换效应来采集图像，一般的，全景相机中的多个镜头和多个图像传感器配合使用，可以采集到多个视场角的原始图像。当各个图像传感器采集到各个原始图像之后，可以将各个原始图像发送到图像处理器中，以使得图像处理器对所接收的原始图像进行后续的图像处理。

需要说明的是，在利用图像传感器进行图像采集之前，需要对全景相机的各个部件进行参数配置，本领域内的技术人员需要根据实际应用中的具体情况对各个部件的参数进行合理的设置。并且，本领域技术人员可以理解的是，图像传感器是组成数字摄像头的重要组成部分，也是应用在摄影摄像方面的高端技术元件，根据元件不同可分为CCD(ChargeCoupled Device，电荷耦合元件)和CMOS(Complementary Metal-Oxide Semiconductor，金属氧化物半导体元件)两大类。需要强调的是，关于图像传感器采集待拼接的原始图像的具体采集方式可以参照任一现有技术，在此不做限定。

S102：对各个原始图像进行拼接处理，得到拼接后的原始全景图像。

具体的，图像处理器接收到图像传感器发送的各个原始图像之后，可以将各个原始图像拼接为一个大分辨率的原始全景图像。举例而言，对于分辨率大于1200万的图像就可以称之为一幅大分辨率图像，当然并不局限于此。

另外，为了保证拼接出的原始图像的整体效果，在对原始图像进行拼接处理前，还可以对各个原始图像进行图像旋转等预处理，以及对拼接后的原始全景图像进行图像融合等图像处理，例如，对于图像重合和接缝处需要利用图像处理的相关算法进行处理，本发明实施例并不需要对所采用的具体的图像处理算法进行限定。

需要强调的是，本发明实施例中对各个原始图像进行拼接处理，得到拼接后的原始全景图像的具体实现方式可以参照任一现有技术，在此不做限定。

S103：按照预设图像拆分规则，将所述原始全景图像拆分为多个原始拆分图像。

可选地，一种实现方式中，可以根据所述数据处理器组中的CPU的数量和处理能力参数值、以及所述原始全景图像的分辨率中的至少一种信息，将所述原始全景图像拆分为多个原始拆分图像。

举例而言，假设数据处理器组中的CPU所能处理的图像分辨率的大小(即CPU的处理能力参数值)不超过600*600，对于分辨率为1000*1000的原始全景图像而言，可以根据CPU的处理能力参数值和原始全景图像的分辨率，可以将该原始全景图像拆分为4幅分辨率为500*500的原始拆分图像。

需要说明的是，上述仅仅是对如何将原始全景图像拆分为多个原始拆分图像的具体方式进行了举例说明，并不应该构成对拆分为多个原始拆分图像的具体实现方式的限定，任何可能的实现方式均可以应用于本发明。

S104：将各个原始拆分图像发送至所述数据处理器组，以使得：所述数据处理器组对所述各个原始拆分图像进行图像编码，得到与各个原始拆分图像相对应的目标拆分图像，并将所述各个原始拆分图像所对应的时间戳校正为相同时间戳，控制与所述原始全景图像对应的所有目标拆分图像按照校正后的时间戳进行同步显示。

在获得原始拆分图像后，为了得到分辨率较高的目标全景图像，可以将各个原始拆分图像发送至数据处理器组；相应地，所述数据处理器组可以对各个原始拆分图像进行编码，得到与各个原始拆分图像相对应的目标拆分图像，并将所述各个原始拆分图像所对应的时间戳校正为相同时间戳，控制与所述原始全景图像对应的所有目标拆分图像按照校正后的时间戳进行同步显示，以从视觉上使得所显示的所有的目标拆分图像等同于原始全景图像对应的分辨率较高的目标全景图像。

可选地，一种实现方式中，所述数据处理器组包括一个主CPU和至少一个从CPU，相应的，图像处理器可以将各个原始拆分图像分别发送至所述数据处理器组中的主CPU和从CPU，以使得：主CPU和从CPU对自身接收到的原始拆分图像进行图像编码，得到与各个原始拆分图像相对应的目标拆分图像，以及主CPU接收由从CPU进行图像编码得到并发送的目标拆分图像，主CPU将所述各个原始拆分图像所对应的时间戳校正为相同时间戳，控制与所述原始全景图像对应的所有目标拆分图像按照校正后的时间戳进行同步显示。

具体的，在一种具体实现方式中，所述主CPU可以按照以下方式控制与所述原始全景图像对应的所有目标拆分图像按照校正后的时间戳进行同步显示：

(1)所述主CPU按照参考时间戳，修正所接收的由从CPU进行图像编码得到并发送的目标拆分图像的时间戳；其中，所述参考时间戳为所述主CPU接收到所述图像处理器发送的原始拆分图像时的时间戳；

(2)所述主CPU控制与所述原始全景图像对应的所有目标拆分图像，按照目标时间戳进行同步显示；其中，所述主CPU进行图像编码所得的目标拆分图像对应的目标时间戳为所述参考时间戳，所述主CPU所接收到的目标拆分图像对应的目标时间戳为修正后的时间戳。

需要说明的是，对于全景相机的各个图像传感器所采集的视频帧图像而言，当图像处理器将各个原始图像(视频帧图像)拼接为一个原始全景图像时，可以获得该原始全景图像所对应的视频帧图像的帧号，这样，当原始全景图像别划分为多个原始拆分图像时，可以在各个原始拆分图像中携带该视频帧图像的帧号。相应的，当主CPU或各个从CPU获得到图像处理器发送的各个原始拆分图像时，可以建立相应的原始拆分图像中所携带的视频帧图像的帧号与获得该原始拆分图像时的时间戳之间的对应关系。需要指出的是，携带该视频帧图像的帧号的目的在于，能够保证对应于同一原始全景图像的目标拆分图像的同步显示，不至于出现对应于不同视频帧图像的目标拆分图像同时显示与显示终端的显示界面中。

具体的，所述主CPU可以按照以下方式控制与所述原始全景图像对应的所有目标拆分图像，按照目标时间戳进行同步显示：

所述主CPU对与所述原始全景图像对应的所有目标拆分图像进行打包处理，得到包含各个目标拆分图像的图像包；

所述主CPU将所述图像包发送至显示终端，以便所述显示终端对所接收的图像包进行解码处理后，按照相应的目标时间戳同步显示与所述原始全景图像对应的所有目标拆分图像。

需要说明的是，主CPU可以利用本领域内的技术人员所约定的私有协议或本领域内的技术人员所公知的公开协议对各个目标拆分图像进行打包处理，这里并不需要对所采用的打包协议进行限定，任何可能的实现方式均可以应用于本发明。

另外，由于各个目标拆分图像最终是要进行同步显示的，以给用户显示一幅完整的目标全景图像，因此利用数据处理器组中的不同CPU对各个原始拆分图像进行图像编码之前，可以对各个图像参数进行同步，以使得各个CPU所编码得到的目标拆分图像在图像效果上的一致性。具体的，主CPU可以利用现有的图像参数计算方式计算获得相应的图像参数，并将该图像参数保存于全景相机的存储单元中，同时利用多路切换器件切换至从CPU1，并触发从CPU1读取存储单元中主CPU存储的图像参数，以此类推，依次触发其余的从CPU读取存储单元中主CPU存储的图像参数，另外，主CPU和各个从CPU在获得相应的图像参数后，按照所获得的图像参数进行同步。

可选地，所述目标拆分图像可以为：所述主CPU和所述从CPU，按照与所述主CPU中配置的图像参数编码得到的图像；其中，所述图像参数包括：曝光参数、白平衡参数和色彩矫正矩阵。当然，在不影响视觉效果的前提下，所述主CPU和从CPU的图像参数可以具有一定范围内的差异，这也是合理的。

需要说明的是，上述所列举的3种图像参数仅仅作为举例，并不应该构成对图像参数的限定，本领域内的技术人员需要根据实际应用中的具体情况选用合适的具体的图像参数。由以上可见，应用本发明实施例提供的方案进行图像处理时，并不是直接对原始全景图像进行图像编码的，而是先将该原始全景图像拆分为多个原始拆分图像，然后再由数据处理器组中的多个CPU分别对各个原始拆分图像进行图像编码，由于各个原始拆分图像的分辨率小于原始全景图像的分辨率，使得各个原始拆分图像的分辨率容易处于CPU所能处理的图像分辨率的处理能力内，因此无需降低原始全景图像的分辨率，在保证目标全景图像正常显示的前提下，有利于提高所有目标拆分图像对应的目标全景图像的清晰度。

如图2所示，为本发明实施例提供的另一种图像处理方法，在图1所示方法实施例的基础之上，在步骤S102之后，还可以包括以下步骤：

S105：对所述原始全景图像进行降低分辨率的缩放处理，并得到缩放处理后的低分辨率全景图像。

具体的，由各个原始图像拼接得到的原始全景图像的分辨率通常会很大，往往会超出一个CPU的处理能力，这里可以利用现有技术中的降低图像分辨率的图像处理算法对原始全景图像进行缩放处理，进而可以得到与该原始全景图像相对应的低分辨率全景图像。

S106：将所述低分辨率全景图像发送至所述数据处理器组，以使得：所述数据处理器组对所述低分辨率全景图像进行图像编码，得到与所述低分辨率全景图像相对应的目标低分辨率全景图像，并控制所述目标低分辨率全景图像的显示。

需要说明的是，可以利用数据处理器组中的主CPU或从CPU对该低分辨率全景图像进行图像编码，需要强调的是，当利用从CPU对该低分辨率全景图像进行图像编码时，该从CPU需要将所编码得到的目标低分辨率全景图像发送至主CPU，并由主CPU控制该目标低分辨率全景图像的显示。

由以上可见，应用本发明实施例提供的方案进行图像处理时，除了具体图1所示的方法实施例的全部有益效果之外，还可以获得与该原始全景图像相对应的目标低分辨率全景图像，与原始全景图像相比而言，该目标低分辨率全景图像的分辨率已经大大降低，容易处于CPU所能处理的图像分辨率的处理能力内，适用于对全景图像的分辨率要求不高的应用场景。

如图3所示，为本发明实施例提供的又一种图像处理方法，在图2所示方法实施例的基础之上，在步骤S106之后，还可以包括以下步骤：

S107：获得由所述数据处理器组进行图像编码后得到的目标低分辨率全景图像。

具体的，当数据处理器组对低分辨率全景图像进行图像编码后，得到已去掉冗余数据的低数据量的目标低分辨率全景图像，图像处理器需要先获得数据处理器组发送的目标低分辨率全景图像，以便对其进行后续相关的图像处理。

S108：提取所述目标低分辨率全景图像中的运动目标。

需要说明的是，对于视频帧图像而言，在提取目标低分辨率全景图像中的运动目标时，可以结合该目标低分辨率全景图像所对应的上一视频帧图像，来提取当前目标低分辨率全景图像中的运动目标，具体的，运动目标可以包括：人、车辆等等，本发明实施例并不需要对具体的运动目标进行限定，本领域内的技术人员需要根据实际应用中的具体情况进行合理的设置。

S109：获得所提取的运动目标在所述低分辨率全景图像中的第一像素坐标。

具体的，从目标低分辨率全景图像中提取出运动目标之后，可以获得运动目标所在的图像区域，进而，可以利用现有技术中的方式来确定运动目标在第分辨率全景图像中的第一像素坐标，例如，可以将运动目标所在图像区域的中心点确定为该运动目标所对应的第一像素坐标，当然还可以有其他可行的实现方式，本发明实施例并不需要对如何确定所提取的运动目标的第一像素坐标的具体方式进行限定。

S110：按照所述目标低分辨率全景图像与各个目标拆分图像之间的像素坐标对应关系，确定所述第一像素坐标所对应的第二像素坐标所在的目标拆分图像。

具体的，目标低分辨率全景图像以及各个目标拆分图像，均是通过对同一原始全景图像进行一系列的图像处理之后得到的，从图像内容的角度而言，目标低分辨率全景图像与所有目标拆分图像对应的目标全景图像是一致的，因此，可以建立目标低分辨率全景图像与各个目标拆分图像之间的像素坐标对应关系。这样，当获得了运动目标在目标低分辨率全进图像中的第一像素坐标之后，可以根据所建立的对应关系，来确定出与包含该运动目标的各个目标拆分图像，即第一像素坐标所对应的第二像素坐标所在的目标拆分图像。

S111：将所确定出的目标拆分图像的标识信息发送至所述数据处理器组，以使得所述数据处理器组控制所确定出的目标拆分图像进行显示。

具体的，当确定出包含该运动目标的各个目标拆分图像之后，可以将该目标拆分图像所携带的标识信息，例如视频帧图像的帧号，发送至数据处理器组，从而使得数据处理器组可以控制所确定出的目标拆分图像进行显示。

一种实现方式中，所述图像处理器检测是否接收到控制所确定出的目标拆分图像进行显示的触发信号；若检测到，则将所确定出的目标拆分图像的标识信息发送至所述数据处理器组，以使得所述数据处理器组控制所确定出的目标拆分图像进行显示。

需要说明的是，上述仅仅列举了数据处理器组控制所确定出的目标拆分图像进行显示的一种具体方式，当然还可以有其他可行的实现方式，例如，数据处理器组还可以在接收到图像处理器发送的所确定出的目标拆分图像的标识信息时，直接显示该目标拆分图像，而不需要检测是否接收到触发信号，这也是可行的。

由以上可见，应用本发明实施例提供的方案进行图像处理时，除了具备图2所示方法实施例的全部有益效果之外，还可以对所得到的目标低分辨率全景图像进行图像分析，例如提取图像中的运动目标，这样既满足了用户对于高分辨率的全景图像显示的需求，也满足了对全景图像进行图像分析的需求，而且对于所提取出的运动目标还可以进行高清晰度的局部图像显示。

下面再对本发明实施例提供的一种图像处理装置进行下说明。

本发明实施例提供的一种图像处理装置，应用于全景相机中的图像处理器，所述全景相机还包括：多个图像传感器和数据处理器组，所述数据处理器组中包括至少两个中央处理器CPU。其中，所述图像处理器，为基于现场可编程门阵列FPGA芯片所搭建的模块。

具体的，图4所示的图像处理装置可以包括以下模块：

图像接收模块21，用于接收各个图像传感器采集并发送的待拼接的原始图像；

图像拼接模块22，用于对各个原始图像进行拼接处理，得到拼接后的原始全景图像；

图像拆分模块23，用于按照预设图像拆分规则，将所述原始全景图像拆分为多个原始拆分图像；

图像发送模块24，用于将各个原始拆分图像发送至所述数据处理器组，以使得：所述数据处理器组对所述各个原始拆分图像进行图像编码，得到与各个原始拆分图像相对应的目标拆分图像，并将所述各个原始拆分图像所对应的时间戳校正为相同时间戳，控制与所述原始全景图像对应的所有目标拆分图像按照校正后的时间戳进行同步显示。

由以上可见，应用本发明实施例提供的方案进行图像处理时，并不是直接对原始全景图像进行图像编码的，而是先将该原始全景图像拆分为多个原始拆分图像，然后再由数据处理器组中的多个CPU分别对各个原始拆分图像进行图像编码，由于各个原始拆分图像的分辨率小于原始全景图像的分辨率，使得各个原始拆分图像的分辨率容易处于CPU所能处理的图像分辨率的处理能力内，因此无需降低原始全景图像的分辨率，在保证目标全景图像正常显示的前提下，有利于提高所有目标拆分图像对应的目标全景图像的清晰度。

其中，所述图像拆分模块23，具体用于：

根据所述数据处理器组中的CPU的数量和处理能力参数值、以及所述原始全景图像的分辨率中的至少一种信息，将所述原始全景图像拆分为多个原始拆分图像。

在本发明的一个具体实施例中，所述数据处理器组包括一个主CPU和至少一个从CPU；

所述图像发送模块24，具体用于：

将各个原始拆分图像分别发送至所述数据处理器组中的主CPU和从CPU，以使得：主CPU和从CPU对自身接收到的原始拆分图像进行图像编码，得到与各个原始拆分图像相对应的目标拆分图像，以及主CPU接收由从CPU进行图像编码得到并发送的目标拆分图像，主CPU将所述各个原始拆分图像所对应的时间戳校正为相同时间戳，控制与所述原始全景图像对应的所有目标拆分图像按照校正后的时间戳进行同步显示。

一种实现方式中，所述主CPU将所述各个原始拆分图像所对应的时间戳校正为相同时间戳，控制与所述原始全景图像对应的所有目标拆分图像按照校正后的时间戳进行同步显示，包括：

所述主CPU按照参考时间戳，修正所接收的由从CPU进行图像编码得到并发送的目标拆分图像的时间戳；其中，所述参考时间戳为所述主CPU接收到所述图像处理器发送的原始拆分图像时的时间戳；

所述主CPU控制与所述原始全景图像对应的所有目标拆分图像，按照目标时间戳进行同步显示；其中，所述主CPU进行图像编码所得的目标拆分图像对应的目标时间戳为所述参考时间戳，所述主CPU所接收到的目标拆分图像对应的目标时间戳为修正后的时间戳。

具体的，所述主CPU控制与所述原始全景图像对应的所有目标拆分图像，按照目标时间戳进行同步显示，包括：

所述主CPU对与所述原始全景图像对应的所有目标拆分图像进行打包处理，得到包含各个目标拆分图像的图像包；

所述主CPU将所述图像包发送至显示终端，以便所述显示终端对所接收的图像包进行解码处理后，按照相应的目标时间戳同步显示与所述原始全景图像对应的所有目标拆分图像。

其中，所述目标拆分图像为：所述主CPU和所述从CPU，按照与所述主CPU中配置的图像参数编码得到的图像；其中，所述图像参数包括：曝光参数、白平衡参数和色彩矫正矩阵。

如图5所示，为本发明实施例提供的另一种图像处理装置，在图4所示装置实施例的基础之上，还可以包括以下模块：

图像缩放模块25，用于在所述图像拼接模块对各个原始图像进行拼接处理，并得到拼接后的原始全景图像之后，对所述原始全景图像进行降低分辨率的缩放处理，并得到缩放处理后的低分辨率全景图像；

所述图像发送模块24，还用于将所述低分辨率全景图像发送至所述数据处理器组，以使得：所述数据处理器组对所述低分辨率全景图像进行图像编码，得到与所述低分辨率全景图像相对应的目标低分辨率全景图像，并控制所述目标低分辨率全景图像的显示。

由以上可见，应用本发明实施例提供的方案进行图像处理时，除了具体图4所示的装置实施例的全部有益效果之外，还可以获得与该原始全景图像相对应的目标低分辨率全景图像，与原始全景图像相比而言，该目标低分辨率全景图像的分辨率已经大大降低，容易处于CPU所能处理的图像分辨率的处理能力内，适用于对全景图像的分辨率要求不高的应用场景。

如图6所示，为本发明实施例提供的又一种图像处理装置，在图5所示装置实施例的基础之上，还可以包括以下模块：

全景图像获得模块26，用于在所述图像缩放模块25对所述原始全景图像进行降低分辨率的缩放处理，并得到缩放处理后的低分辨率全景图像之后，获得由所述数据处理器组进行图像编码后得到的目标低分辨率全景图像；

目标提取模块27，用于提取所述目标低分辨率全景图像中的运动目标；

坐标获得模块28，用于获得所提取的运动目标在所述低分辨率全景图像中的第一像素坐标；

拆分图像确定模块29，用于按照所述目标低分辨率全景图像与各个目标拆分图像之间的像素坐标对应关系，确定所述第一像素坐标所对应的第二像素坐标所在的目标拆分图像；

所述图像发送模块24，还用于将所确定出的目标拆分图像的标识信息发送至所述数据处理器组，以使得所述数据处理器组控制所确定出的目标拆分图像进行显示。

由以上可见，应用本发明实施例提供的方案进行图像处理时，除了具备图5所示装置实施例的全部有益效果之外，还可以对所得到的目标低分辨率全景图像进行图像分析，例如提取图像中的运动目标，这样既满足了用户对于高分辨率的全景图像显示的需求，也满足了对全景图像进行图像分析的需求，而且对于所提取出的运动目标还可以进行高清晰度的局部图像显示。

一种实现方式中，所述图像发送模块24，具体用于：

检测是否接收到控制所确定出的目标拆分图像进行显示的触发信号；

若检测到，则将所确定出的目标拆分图像的标识信息发送至所述数据处理器组，以使得所述数据处理器组控制所确定出的目标拆分图像进行显示。

对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本领域普通技术人员可以理解实现上述方法实施方式中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机可读取存储介质中，这里所称的存储介质，如：ROM/RAM、磁碟、光盘等。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (14)

1.一种图像处理方法，其特征在于，应用于全景相机中的图像处理器，所述全景相机还包括：多个图像传感器和数据处理器组，所述数据处理器组包括一个主CPU和至少一个从CPU；所述方法包括：

接收各个图像传感器采集并发送的待拼接的原始图像；

对各个原始图像进行拼接处理，得到拼接后的原始全景图像；

按照预设图像拆分规则，将所述原始全景图像拆分为多个原始拆分图像；

将各个原始拆分图像分别发送至所述数据处理器组中的主CPU和从CPU，以使得：主CPU和从CPU对自身接收到的原始拆分图像进行图像编码，得到与各个原始拆分图像相对应的目标拆分图像，以及主CPU接收由从CPU进行图像编码得到并发送的目标拆分图像，主CPU将所述各个原始拆分图像所对应的时间戳校正为相同时间戳，控制与所述原始全景图像对应的所有目标拆分图像按照校正后的时间戳进行同步显示；

对所述原始全景图像进行降低分辨率的缩放处理，并得到缩放处理后的低分辨率全景图像；

将所述低分辨率全景图像发送至所述数据处理器组，以使得：所述数据处理器组对所述低分辨率全景图像进行图像编码，得到与所述低分辨率全景图像相对应的目标低分辨率全景图像，并控制所述目标低分辨率全景图像的显示；

获得由所述数据处理器组进行图像编码后得到的目标低分辨率全景图像；

提取所述目标低分辨率全景图像中的运动目标；

获得所提取的运动目标在所述低分辨率全景图像中的第一像素坐标；

按照所述目标低分辨率全景图像与各个目标拆分图像之间的像素坐标对应关系，确定所述第一像素坐标所对应的第二像素坐标所在的目标拆分图像；

将所确定出的目标拆分图像的标识信息发送至所述数据处理器组，以使得所述数据处理器组控制所确定出的目标拆分图像进行显示。

2.根据权利要求1所述的方法，其特征在于，所述按照预设图像拆分规则，将所述原始全景图像拆分为多个原始拆分图像的步骤，包括：

根据所述数据处理器组中的CPU的数量和处理能力参数值、以及所述原始全景图像的分辨率中的至少一种信息，将所述原始全景图像拆分为多个原始拆分图像。

3.根据权利要求1所述的方法，其特征在于，所述主CPU将所述各个原始拆分图像所对应的时间戳校正为相同时间戳，控制与所述原始全景图像对应的所有目标拆分图像按照校正后的时间戳进行同步显示的步骤，包括：

所述主CPU按照参考时间戳，修正所接收的由从CPU进行图像编码得到并发送的目标拆分图像的时间戳；其中，所述参考时间戳为所述主CPU接收到所述图像处理器发送的原始拆分图像时的时间戳；

所述主CPU控制与所述原始全景图像对应的所有目标拆分图像，按照目标时间戳进行同步显示；其中，所述主CPU进行图像编码所得的目标拆分图像对应的目标时间戳为所述参考时间戳，所述主CPU所接收到的目标拆分图像对应的目标时间戳为修正后的时间戳。

4.根据权利要求3所述的方法，其特征在于，所述主CPU控制与所述原始全景图像对应的所有目标拆分图像，按照目标时间戳进行同步显示的步骤，包括：

所述主CPU对与所述原始全景图像对应的所有目标拆分图像进行打包处理，得到包含各个目标拆分图像的图像包；

所述主CPU将所述图像包发送至显示终端，以便所述显示终端对所接收的图像包进行解码处理后，按照相应的目标时间戳同步显示与所述原始全景图像对应的所有目标拆分图像。

5.根据权利要求1所述的方法，其特征在于，所述目标拆分图像为：所述主CPU和所述从CPU，按照与所述主CPU中配置的图像参数编码得到的图像；其中，所述图像参数包括：曝光参数、白平衡参数和色彩矫正矩阵。

6.根据权利要求1所述的方法，其特征在于，所述将所确定出的目标拆分图像的标识信息发送至所述数据处理器组，以使得所述数据处理器组控制所确定出的目标拆分图像进行显示的步骤，包括：

检测是否接收到控制所确定出的目标拆分图像进行显示的触发信号；

若检测到，则将所确定出的目标拆分图像的标识信息发送至所述数据处理器组，以使得所述数据处理器组控制所确定出的目标拆分图像进行显示。

7.根据权利要求1-6任一项所述的方法，其特征在于，所述图像处理器，为基于现场可编程门阵列FPGA芯片所搭建的模块。

8.一种图像处理装置，其特征在于，应用于全景相机中的图像处理器，所述全景相机还包括：多个图像传感器和数据处理器组，所述数据处理器组包括一个主CPU和至少一个从CPU；所述装置包括：

图像接收模块，用于接收各个图像传感器采集并发送的待拼接的原始图像；

图像拼接模块，用于对各个原始图像进行拼接处理，得到拼接后的原始全景图像；

图像拆分模块，用于按照预设图像拆分规则，将所述原始全景图像拆分为多个原始拆分图像；

图像发送模块，用于将各个原始拆分图像分别发送至所述数据处理器组中的主CPU和从CPU，以使得：主CPU和从CPU对自身接收到的原始拆分图像进行图像编码，得到与各个原始拆分图像相对应的目标拆分图像，以及主CPU接收由从CPU进行图像编码得到并发送的目标拆分图像，主CPU将所述各个原始拆分图像所对应的时间戳校正为相同时间戳，控制与所述原始全景图像对应的所有目标拆分图像按照校正后的时间戳进行同步显示；

图像缩放模块，用于在所述图像拼接模块对各个原始图像进行拼接处理，并得到拼接后的原始全景图像之后，对所述原始全景图像进行降低分辨率的缩放处理，并得到缩放处理后的低分辨率全景图像；

所述图像发送模块，还用于将所述低分辨率全景图像发送至所述数据处理器组，以使得：所述数据处理器组对所述低分辨率全景图像进行图像编码，得到与所述低分辨率全景图像相对应的目标低分辨率全景图像，并控制所述目标低分辨率全景图像的显示；

全景图像获得模块，用于在所述图像缩放模块对所述原始全景图像进行降低分辨率的缩放处理，并得到缩放处理后的低分辨率全景图像之后，获得由所述数据处理器组进行图像编码后得到的目标低分辨率全景图像；

目标提取模块，用于提取所述目标低分辨率全景图像中的运动目标；

坐标获得模块，用于获得所提取的运动目标在所述低分辨率全景图像中的第一像素坐标；

拆分图像确定模块，用于按照所述目标低分辨率全景图像与各个目标拆分图像之间的像素坐标对应关系，确定所述第一像素坐标所对应的第二像素坐标所在的目标拆分图像；

所述图像发送模块，还用于将所确定出的目标拆分图像的标识信息发送至所述数据处理器组，以使得所述数据处理器组控制所确定出的目标拆分图像进行显示。

9.根据权利要求8所述的装置，其特征在于，所述图像拆分模块，具体用于：

根据所述数据处理器组中的CPU的数量和处理能力参数值、以及所述原始全景图像的分辨率中的至少一种信息，将所述原始全景图像拆分为多个原始拆分图像。

10.根据权利要求8所述的装置，其特征在于，所述主CPU将所述各个原始拆分图像所对应的时间戳校正为相同时间戳，控制与所述原始全景图像对应的所有目标拆分图像按照校正后的时间戳进行同步显示，包括：

所述主CPU按照参考时间戳，修正所接收的由从CPU进行图像编码得到并发送的目标拆分图像的时间戳；其中，所述参考时间戳为所述主CPU接收到所述图像处理器发送的原始拆分图像时的时间戳；

所述主CPU控制与所述原始全景图像对应的所有目标拆分图像，按照目标时间戳进行同步显示；其中，所述主CPU进行图像编码所得的目标拆分图像对应的目标时间戳为所述参考时间戳，所述主CPU所接收到的目标拆分图像对应的目标时间戳为修正后的时间戳。

11.根据权利要求10所述的装置，其特征在于，所述主CPU控制与所述原始全景图像对应的所有目标拆分图像，按照目标时间戳进行同步显示，包括：

所述主CPU对与所述原始全景图像对应的所有目标拆分图像进行打包处理，得到包含各个目标拆分图像的图像包；

所述主CPU将所述图像包发送至显示终端，以便所述显示终端对所接收的图像包进行解码处理后，按照相应的目标时间戳同步显示与所述原始全景图像对应的所有目标拆分图像。

12.根据权利要求8所述的装置，其特征在于，所述目标拆分图像为：所述主CPU和所述从CPU，按照与所述主CPU中配置的图像参数编码得到的图像；其中，所述图像参数包括：曝光参数、白平衡参数和色彩矫正矩阵。

13.根据权利要求8所述的装置，其特征在于，所述图像发送模块，具体用于：

检测是否接收到控制所确定出的目标拆分图像进行显示的触发信号；

若检测到，则将所确定出的目标拆分图像的标识信息发送至所述数据处理器组，以使得所述数据处理器组控制所确定出的目标拆分图像进行显示。

14.根据权利要求8-13任一项所述的装置，其特征在于，所述图像处理器，为基于现场可编程门阵列FPGA芯片所搭建的模块。

Images