CN110503725B - 图像处理的方法、装置、电子设备及计算机可读存储介质 - Google Patents

Abstract

本申请公开了一种图像处理的方法、装置、电子设备及计算机可读存储介质，涉及计算机视觉领域。图像处理的方法的具体实现方案为：对待处理视频的帧图像进行目标检测，得到目标区域；获取目标区域外的颜色；根据目标区域外的颜色，提取出目标区域内的目标图像；将目标图像作为图层，叠加到真实场景图像所在的图层中。克服了现有技术需要对每一个显示场景进行单独制作技术问题，进而达到降低现有技术中制作需要进行逐个显示个体与显示场景的制作成本，可以快速的实现将图像人物与真实场景的结合技术效果。降低现有技术的制作成本。无需对每一个显示场景进行制作，可以快速的实现将图像人物与真实场景的结合。

Description

图像处理的方法、装置、电子设备及计算机可读存储介质

技术领域

本申请涉及一种计算机领域，尤其涉及一种图像处理领域。

背景技术

增强真实(AR，Augmented Reality)可以是采集真实场景的数据，将虚拟场景与真实场景的融合后呈现给用户。例如在家具购物场景下，用户可以通过AR技术直观地看到不同的虚拟家具放置在家中的效果。再如，在博物馆对展品的介绍说明中，通过AR技术在展品上叠加虚拟文字、图片、视频等信息为游客提供展品导览介绍。

AR技术需要预先对制作与每一个真实场景叠加的虚拟图像，在将制作好的虚拟图像与观看者所在的真实场景结合，制作过程复杂，耗时长，成本高。

发明内容

本申请实施例提供一种图像处理的方法、装置、电子设备及计算机可读存储介质，以解决现有技术中的一个或多个技术问题。

第一方面，本申请实施例提供了一种图像处理的方法，包括：

对待处理视频的帧图像进行目标检测，得到目标区域；

获取目标区域外的颜色；

根据目标区域外的颜色，提取出目标区域内的目标图像；

将目标图像作为图层，叠加到真实场景图像所在的图层中。

上述技术方案根据目标区域内外的颜色差别提取出目标图像，进而将目标图像与真实场景结合，可以利用已有图像快速得到需要叠加到真实场景中的目标图像，可以降低制作成本。

在一种实施方式中，根据目标区域外的颜色，提取出目标区域内的目标图像，包括：

获取在目标区域内的各像素点的颜色数组；

将目标区域内的各像素点的颜色数组与目标区域外的各像素点的颜色数组进行比较，得到比较结果；

根据比较结果，调整目标区域内与目标区域外的各像素点的颜色数组相同的像素点的不透明度。

上述技术方案将目标区域外部各像素点的颜色数组作为背景，与目标区域内部的各像素点进行比较，可以准确确定目标区域内部与外部颜色数组相同的像素点，将与目标区域外的颜色数组相同的像素点设置为透明，可以得到不同于背景的目标图像。

在一种实施方式中，根据目标区域外的颜色，提取出目标区域内的目标图像，包括：

获取用户在待处理视频的第一帧图像上选择的目标图像对应的像素点；

在第一帧图像上，获取像素点以外的其他像素点的位置和颜色数组；

在待处理视频其他帧图像上，根据其他像素点的位置和颜色数组，调整对应位置的像素点的不透明度。

上述技术方案将在第一帧图像中选择出目标图像以后。可以根据用户的选择在后续的各帧图像中进行相同选择。由此可以解决在非纯色背景图像中无法精确提取出目标图像的问题。

在一种实施方式中，获取目标区域外的颜色，包括：

获取目标区域的坐标信息；

在待处理视频的帧图像中，根据该坐标信息获取该目标区域外的各像素点的颜色数组。

上述技术方案根据目标区域的坐标确定目标区域的内部和外部，进而准确获取到目标区域外部的各像素点的颜色数组。

在一种实施方式中，该方法还包括，

调整目标区域外的各像素点的不透明度。

上述技术方案通过将目标区域外的背景设置为透明，可以快速处理待处理视频的帧图像的大部分背景区域。

在一种实施方式中，该方法还包括，该不透明度为0。

在一种实施方式中，该方法还包括：

将待处理视频的帧图像投影在画布上。

上述技术方案在待处理视频的帧图像为视频中的帧图像的情况下，使用脚本绘制或编辑画布上的图像，可以实现对待处理视频的帧图像的简便、快速处理。

在一种实施方式中，还包括：

获取移动终端实时采集的视频图像，将实时采集的视频图像转换成网页实时通信的视频流，视频流中的帧图像作为该真实场景图像。

通过上述实施方式，在待处理图像为视频中的帧图像的情况下，将实时采集的视频图像进行视频流的转换，从而与待处理图像呈相同格式，便于叠加处理。

第二方面，本申请实施例提供了一种图像处理的装置，该装置包括：

目标区域检测模块，用于对待处理视频的帧图像进行目标检测，得到目标区域；

目标区域外的颜色获取模块，用于获取目标区域外的颜色；

目标图像提取模块，用于根据目标区域外的颜色，提取出目标区域内的目标图像；

图像叠加模块，用于将目标图像作为图层，叠加到真实场景图像所在的图层中。

在一种实施方式中，该目标图像提取模块，包括：

第二颜色获取执行子模块，用于获取在目标区域内的各像素点的颜色数组；

颜色数组比较子模块，用于将目标区域内的各像素点的颜色数组与目标区域外的各像素点的颜色数组进行比较，得到比较结果；

第一透明设置子模块，用于根据比较结果，调整目标区域内与目标区域外的各像素点的颜色数组相同的像素点的不透明度。

在一种实施方式中，该目标图像提取模块，包括：

像素点获取模块，用于获取用户在待处理视频的第一帧图像上选择的目标图像对应的像素点；

其他像素点的位置和颜色数组获取模块，用于在第一帧图像上，获取像素点以外的其他像素点的位置和颜色数组；

第二透明设置子模块，用于在待处理视频其他帧图像上，根据其他像素点的位置和颜色数组，调整对应位置的像素点的不透明度。

在一种实施方式中，目标区域外的颜色获取模块，包括：

坐标信息获取子模块，用于获取目标区域的坐标信息；

第一颜色获取执行子模块，用于在待处理视频的帧图像中，根据坐标信息获取目标区域外的各像素点的颜色数组。在一种实施方式中，该装置还包括，

第三透明设置子模块，用于调整目标区域外的各像素点的不透明度。

在一种实施方式中，该装置还包括：

投影模块，用于将待处理视频的帧图像投影在画布上。

在一种实施方式中，该装置还包括：

视频流转换模块，用于获取移动终端实时采集的视频图像，将实时采集的视频图像转换成网页实时通信的视频流，视频流中的帧图像作为真实场景图像。

第三方面，本申请提供一种电子设备，该电子设备的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。

在一个可能的设计中，该装置的结构中包括处理器和存储器，该存储器用于存储支持该装置执行上述图像处理方法的程序，该处理器被配置为用于执行该存储器中存储的程序。该装置还可以包括通信接口，用于与其他设备或通信网络通信。

第四方面，本发明实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质，用于存储图像处理装置所用的计算机软件指令，其包括用于执行上述图像处理的方法所涉及的程序。

上述概述仅仅是为了说明书的目的，并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外，通过参考附图和以下的详细描述，本发明进一步的方面、实施方式和特征将会是容易明白的。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1是根据本申请第一实施例的示意图；

图2是根据本申请第一实施例中目标区域的示意图；

图3是根据本申请第一实施例中的示意图；

图4是根据本申请第一实施例将目标图像叠加到真实场景图像中的示意图；

图5是根据本申请第一实施例的示意图；

图6是根据本申请第一实施例中确定目标图像的轮廓的示意图；

图7是根据本申请第二实施例的示意图；

图8是根据本申请第二实施例的示意图；

图9是根据本申请第二实施例的示意图；

图10是用来实现本申请实施例的图像处理的方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1示出根据本申请实施例图像处理的方法的流程图。如图1所示，该方法包括以下步骤：

S101：对待处理视频的帧图像进行检测，得到目标区域。

S102：获取目标区域外的颜色。

S103：根据目标区域外的颜色提取出目标区域内的目标图像。

S104：将目标图像作为图层，叠加到真实场景图像所在的图层中。

在一种示例中，待处理图像可以是视频中的帧图像。用户可以通过手机、PAD等设备在视频页面播放视频。在视频页面中可以设置有开启图像处理的按键。用户通过点击该按键可以触发图像处理的过程。

利用目标检测模型对待处理图像进行检测，得到待处理图像中的目标区域并进行定位。目标区域可以包括以矩形框选中的包括有某个目标的区域。目标可以包括视频中的人物、动物、物体等。结合图2所示，目标区域可以是以最小矩形框选中的包括有某个人物的区域。目标检测模型可以是人物检测模型，例如mobilenet-SSD(基于针对移动端视觉应用的高效卷积神经网络的直接多目标检测)、shufflenet-SSD(面向移动设备的极为高效的卷积神经网络的多目标检测)等。

在待处理视频的帧图像中，可以包括获取该最小矩形框所表示的目标区域的位置信息。目标区域的位置信息可以包括坐标信息、宽度值和高度值等。例如，根据最小矩形框左上角的坐标、宽度值和高度值可以确定最小矩形框的位置。再如，根据最小矩形框四个角的坐标可以确定最小矩形框的位置。

在待处理视频的帧图像中，扫描目标区域外(参见图2中主体框外的部分)的各像素点，获取各像素点的颜色。如果目标区域外的像素点的颜色比较单一，例如纯色背景，可以获取任意一个像素点的颜色。如果目标区域外的像素点的颜色有差异，可以对多个像素点的颜色进行平均。例如，可以选择靠近目标区域边缘的多个像素点的颜色进行平均。或者，还可以获取目标区域外所有像素点的不同颜色。

扫描目标区域内(参见图2中主体框内的部分)的各像素点，获取各像素点的颜色。以目标区域外的各像素点的颜色作为参照，与目标区域内的像素点进行颜色对比，得到比较结果。若比较结果为目标区域内像素点与目标区域外的像素点颜色相同的情况下，将目标区域内的像素点进行透明处理。另外，还可以设置颜色相似度阈值，若比较结果为目标区域内像素点与目标区域外的像素点颜色差异在相似度阈值内，也可以将目标区域内的像素点进行透明处理。通过上述处理后，可以得到目标区域中的目标图像。目标图像可以对应目标区域中的人物或者动物的抠图。

调用手机、PAD等移动终端的后置摄像头以实时采集视频图像。结合图3所示，将目标图像作为图层叠加在视频图像所在的图层中，即可实现将视频页面播放的视频中的人物叠加到真实的场景中，实现增强真实(AR)的显示效果。

如图4所示，在一种实施方式中，步骤S102的获取目标区域外的颜色，包括：

S1021：获取目标区域的坐标信息。

S1022：在待处理视频的帧图像中，根据坐标信息获取目标区域外的各像素点的颜色数组。

目标区域的坐标信息可以表示为(x，y，w，h)。其中x，y可以分别表示目标区域的任一顶点的横坐标和纵坐标，w，h可以分别表示目标区域的宽度值和高度值。

在待处理图像中，根据目标区域的坐标信息筛选出目标区域内的部分，以及目标区域外的部分。

调取颜色提取工具，对目标区域外的部分进行轮询，从而对目标区域外各像素点的颜色进行提取。例如，颜色提取工具可以是小视频页面中的颜色获取插件，或者是屏幕取色的软件等。通过运行该颜色获取插件或屏幕取色的软件，可以获取轮询到的各像素点的颜色。各像素点的颜色可以包括RGBA格式或者RGB格式的颜色数组。RGBA格式包括像素点的红色(Red)值、绿色(Green)值、蓝色(Blue)值和透明度(Alpha)值。RGB格式包括该像素点的红色值、绿色值和蓝色值。

如图5所示，在一种实施方式中，步骤S103，包括：

S1031：获取在目标区域内的各像素点的颜色数组。

S1032：将目标区域内的各像素点的颜色数组与目标区域外的各像素点的颜色数组进行比较，得到比较结果。

S1033：根据比较结果，调整所述目标区域内与目标区域外的各像素点的颜色数组相同的像素点的不透明度。

可以采用与步骤S1022相同的检测方式，获取目标区域内各像素点的颜色数组。将目标区域内的各像素点与目标区域外各像素点的颜色数组进行比较，判断二者的颜色数组是否相同。在二者的颜色数组相同的情况下，可以确定为目标区域内为背景区域，而非目标图像的像素点。基于判断结果，将该像素点进行透明处理。透明处理可以将该像素点的不透明度设置为0。

由于视频在目标区域内非目标图像的区域与目标区域外的区域颜色基本一致。所以获取主体框外的颜色基本上能够覆盖大多数视频背景颜色。对于目标区域内的部分，可以认为与目标区域外相差不大。将目标区域内与目标区域外存在相同颜色像素点的不透明度进行调整，例如可以将不透明度设置成0。这样可以很大程度上将目标图像外的大多数背景去除。

在一种实施方式中，步骤S103还包括：

根据比较结果确定目标图像的轮廓。

比较的过程中，可以将目标区域内的像素点按照横向或者纵向的顺序，依次与目标区域外的各像素点进行颜色数组的比较，得到比较结果。

在比较结果为：目标区域内的连续多个像素点均与目标区域外的像素点的颜色数组不相同。则在目标区域内，将第一次出现颜色数组不同的像素点作为目标图像的边缘。

例如图6所示的实施方式中，目标区域内的a0、a1、b1、c1、d1是横向相邻的5个像素点。目标区域内的a1～a5是纵向相邻的5个像素点。例如，在相邻的4个像素点a1、b1、c1、d1均与像素点a0的颜色数组不相同的情况下，可以将与像素点a0相邻的第一个像素点a1作为目标图像的边缘。又例如，在相邻的5个像素点a1～a5的均与像素点a0’的颜色数组不相同的情况下，可以将与像素点a0’相邻的第一个像素点a1作为目标图像的边缘。通过上述方式，可以勾勒出目标图像的边缘。

对于在目标图像边缘内部的像素点，可以不再与目标区域外的各像素点的颜色数组进行比较。通过上述技术方案，在目标图像是人物，而人物的服装可能与背景存在相同颜色的情况下，避免将人物身上的像素点进行透明处理，从而保留完整的人物。

在一种实施方式中，步骤S103，包括：

获取用户在待处理视频的第一帧图像上选择的目标图像对应的像素点。

在第一帧图像上，获取像素点以外的其他像素点的位置和颜色数组。

在待处理视频的其他帧图像上，根据其他像素点的位置和颜色数组，调整对应位置的像素点的不透明度。

用户在观看视频的过程中，可以在待处理视频的当前帧图像上手动选择目标图像。该当前帧图像可以作为第一帧图像。手动选择目标图像可以采用涂抹屏幕等方式选中目标图像。接收到用户的指令后，可以记录用户涂抹的位置所对应的像素点。将上述像素点确定为目标图像所对应的像素点。此后将用户未涂抹的位置对应的像素点确定为背景区域。获取背景区域对应的像素点的位置以及颜色数组。

分别在第一帧图像的后续各帧图像中，获取与第一帧图像的背景区域对应位置的各像素点。获取上述各像素点的颜色数组，将后续各帧图像中获取的各像素点的颜色数组与第一帧图像中相同位置的像素点的颜色数组进行比较，若比较结果在阈值范围内，则表示该像素点属于背景区域。可以将后续帧图像中该像素点的透明度进行调整。例如将该像素点的透明度置0。

通过上述方式，用户在第一帧图像中选择出目标图像以后。可以根据用户的选择在后续的各帧图像中进行相同选择。由此可以解决在非纯色背景图像中无法精确提取出目标图像的问题。

在一种实施方式中，该方法还包括：

调整目标区域外的各像素点的不透明度。

结合图2所示，目标对象为人物的视频可以具有固定背景(目标区域外的部分)。视频中的人物在固定背景前移动。检测到固定背景的颜色后，可以调整固定背景的不透明度，例如可以直接将固定背景对应的各像素点的不透明度设置为0。固定背景的颜色越单一，去除效果越好。

在一种实施方式中，该方法还包括：将待处理视频的帧图像投影在画布上。

画布(Canvas)是一个可以使用脚本来绘制或编辑图形的超级文本标记语言(HTML，Hyper Text Markup Language)图形容器，在画布上可以绘制或编辑图像。另外，通过调用获取颜色的脚本便可以获取到画布上任意像素点的颜色数组。例如，获取颜色的脚本可以是名称为getcanvaspixelcolor.js的脚本。该脚本是一段轻量级的脚本，通过此脚本获得画布中指定像素点的颜色。

在一种实施方式中，步骤S104的获取真实场景的图像，包括：

获取移动终端实时采集的视频图像，将实时采集的视频图像转换成网页实时通信的视频流，视频流中的帧图像作为所述真实场景图像。

例如手机或者PAD等移动终端，可以调用该移动终端的后置摄像头实时采集视频图像。可以通过调用应用程序编程接口，将所采集的视频图像通过网页实时通信(webRTC)技术转换成视频流，将该视频流进行实时播放。实时播放的视频流作为真实场景的图像。

例如，在视频网页中观看视频的场景下，视频中的目标对象(人物)可以包括正在进行直播。在纯色背景的视频中可以设置按钮。用户通过点击该按钮触发图像处理进程。通过上述技术手段将视频或中正在进行直播的目标对象提取出来，并且可以将提取出的目标对象与用户所在的场景相结合。实现将视频中的目标对象与用户所在环境融合，并在网页中显示。用户可以与视频中的目标对象在同一虚拟场景下进行互动。该方法不仅提升了用户的用户体验，而且可以为带有人物的视频场景提供更加有趣的玩法。

图7示出根据本申请实施例的图像处理的装置结构示意图。如图7所示，该装置包括：

目标区域检测模块701，用于对待处理视频的帧图像进行目标检测，得到目标区域。

目标区域外的颜色获取模块702，用于获取目标区域外的颜色。

目标图像提取模块703，用于根据目标区域外的颜色，提取出目标区域内的目标图像。

图像叠加模块704，用于将目标图像作为图层，叠加到真实场景图像所在的图层中。

如图8所示，在一种实施方式中，目标区域外的颜色获取模块702，包括：

坐标信息获取子模块7021，用于获取目标区域的坐标信息。

第一颜色获取执行子模块7022，用于在待处理视频的帧图像中，根据坐标信息获取目标区域外的各像素点的颜色数组。

如图9所示，在一种实施方式中，目标图像提取模块703，包括：

第二颜色获取执行子模块7031，用于获取在目标区域内的各像素点的颜色数组。

颜色数组比较子模块7032，用于将目标区域内的各像素点的颜色数组与目标区域外的各像素点的颜色数组进行比较，得到比较结果。

第一透明设置子模块7033，用于根据比较结果，调整目标区域内与目标区域外的各像素点的颜色数组相同的像素点的不透明度。

在一种实施方式中，目标图像提取模块703，包括：

像素点获取模块，用于获取用户在待处理视频的第一帧图像上选择的目标图像对应的像素点；

其他像素点的位置和颜色数组获取模块，用于在第一帧图像上，获取像素点以外的其他像素点的位置和颜色数组；

第二透明设置子模块，用于在待处理视频其他帧图像上，根据其他像素点的位置和颜色数组，调整对应位置的像素点的不透明度。

在一种实施方式中，该装置还包括，

第三透明设置子模块，用于调整目标区域外的各像素点的不透明度。

在一种实施方式中，该装置还包括：

投影模块，用于将待处理视频的帧图像投影在画布上。

在一种实施方式中，该装置还包括：

视频流转换模块，用于获取移动终端实时采集的视频图像，将实时采集的视频图像转换成网页实时通信的视频流，视频流中的帧图像作为真实场景图像。

根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。

如图10所示，是根据本申请实施例的图像处理的方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图10所示，该电子设备包括：一个或多个处理器1010、存储器1020，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示图形用户界面(Graphical User Interface，GUI)的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图10中以一个处理器1010为例。

存储器1020即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的图像处理的方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的图像处理的方法。

存储器1020作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的图像处理的方法对应的程序指令/模块(例如，附图7所示的目标区域检测模块701、目标区域外的颜色获取模块702、目标图像提取模块703和图像叠加模块704)。处理器1010通过运行存储在存储器1020中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的图像处理的方法。

存储器1020可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据图像处理的电子设备的使用所创建的数据等。此外，存储器1020可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器1020可选包括相对于处理器1010远程设置的存储器，这些远程存储器可以通过网络连接至图像处理的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

图像处理的方法的电子设备还可以包括：输入装置1030和输出装置1040。处理器1010、存储器1020、输入装置1030和输出装置1040可以通过总线或者其他方式连接，图10中以通过总线连接为例。

输入装置1030可接收输入的数字或字符信息，以及产生与图像处理的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置1040可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(Liquid Crystal Display，LCD)、发光二极管(Light EmittingDiode，LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用集成电路(Application Specific Integrated Circuits，ASIC)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(programmable logic device，PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(Cathode Ray Tube，阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(Local Area Network，LAN)、广域网(Wide Area Network.WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

根据本申请实施例的技术方案，根据目标区域内外的颜色差别提取出目标图像，进而将目标图像与真实场景结合，可以利用已有图像快速得到需要叠加到真实场景中的目标图像，可以降低制作成本。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (15)

1.一种图像处理的方法，其特征在于，包括：

对待处理视频的帧图像进行目标检测，得到目标区域；

获取所述目标区域外的颜色；

根据所述目标区域外的颜色，提取出目标区域内的目标图像；

将所述目标图像作为图层，叠加到真实场景图像所在的图层中；

获取移动终端实时采集的视频图像，将所述实时采集的视频图像转换成网页实时通信的视频流，所述视频流中的帧图像作为所述真实场景图像。

2.根据权利要求1所述的方法，其特征在于，所述根据所述目标区域外的颜色，提取出目标区域内的目标图像，包括：

获取在所述目标区域内的各像素点的颜色数组；

将所述目标区域内的各像素点的颜色数组与所述目标区域外的各像素点的颜色数组进行比较，得到比较结果；

根据比较结果，调整所述目标区域内与所述目标区域外的各像素点的颜色数组相同的像素点的不透明度。

3.根据权利要求1所述的方法，其特征在于，所述根据所述目标区域外的颜色，提取出目标区域内的目标图像，包括：

获取用户在待处理视频的第一帧图像上选择的目标图像对应的像素点；

在所述第一帧图像上，获取所述像素点以外的其他像素点的位置和颜色数组；

在待处理视频其他帧图像上，根据所述其他像素点的位置和颜色数组，调整对应所述位置的像素点的不透明度。

4.根据权利要求1所述的方法，其特征在于，所述获取所述目标区域外的颜色，包括：

获取所述目标区域的坐标信息；

在所述待处理视频的帧图像中，根据所述坐标信息获取所述目标区域外的各像素点的颜色数组。

5.根据权利要求1所述的方法，其特征在于，还包括，

调整所述目标区域外的各像素点的不透明度。

6.根据权利要求3或5所述的方法，其特征在于，所述不透明度为0。

7.根据权利要求1所述的方法，其特征在于，还包括：

将待处理视频的帧图像投影在画布上。

8.一种图像处理的装置，其特征在于，包括：

目标区域检测模块，用于对待处理视频的帧图像进行目标检测，得到目标区域；

目标区域外的颜色获取模块，用于获取所述目标区域外的颜色；

目标图像提取模块，用于根据所述目标区域外的颜色，提取出目标区域内的目标图像；

图像叠加模块，用于将所述目标图像作为图层，叠加到真实场景图像所在的图层中；

视频流转换模块，用于获取移动终端实时采集的视频图像，将所述实时采集的视频图像转换成网页实时通信的视频流，所述视频流中的帧图像作为所述真实场景图像。

9.根据权利要求8所述的装置，其特征在于，所述目标图像提取模块，包括：

第二颜色获取执行子模块，用于获取在所述目标区域内的各像素点的颜色数组；

颜色数组比较子模块，用于将所述目标区域内的各像素点的颜色数组与所述目标区域外的各像素点的颜色数组进行比较，得到比较结果；

第一透明设置子模块，用于根据比较结果，调整所述目标区域内与所述目标区域外的各像素点的颜色数组相同的像素点的不透明度。

10.根据权利要求8所述的装置，其特征在于，所述目标图像提取模块，包括：

像素点获取模块，用于获取用户在待处理视频的第一帧图像上选择的目标图像对应的像素点；

其他像素点的位置和颜色数组获取模块，用于在所述第一帧图像上，获取所述像素点以外的其他像素点的位置和颜色数组；

第二透明设置子模块，用于在待处理视频其他帧图像上，根据所述其他像素点的位置和颜色数组，调整对应所述位置的像素点的不透明度。

11.根据权利要求8所述的装置，其特征在于，所述目标区域外的颜色获取模块，包括：

坐标信息获取子模块，用于获取所述目标区域的坐标信息；

第一颜色获取执行子模块，用于在所述待处理视频的帧图像中，根据所述坐标信息获取所述目标区域外的各像素点的颜色数组。

12.根据权利要求8所述的装置，其特征在于，还包括，

第三透明设置子模块，用于调整所述目标区域外的各像素点的不透明度。

13.根据权利要求8所述的装置，其特征在于，还包括：

投影模块，用于将待处理视频的帧图像投影在画布上。

14.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。

15.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-7中任一项所述的方法。

Images