CN109308449A - 一种基于深度学习的异物过滤视频编码芯片和方法 - Google Patents

Abstract

本发明提供了一种基于深度学习的异物过滤视频编码芯片和方法，所述方法通过神经网络分类识别单元对视频流图像中包含的物体一一进行分类，并在当前帧图像中识别出敏感物体的情况下，采用该敏感物体对应的处理方式对敏感物体进行处理，从而实现自动将当前帧图像中用户不期望看到的物体去除的目的。同时，当某一帧图像识别出敏感物体时，则会对接下来几帧图像都进行物体识别，反之，当某一帧图像未识别出敏感物体时，则对接下来几帧图像直接进行编码输出而不进行物体识别，相较于对每一帧图像都进行识别判断的方式，有效提升了处理效率。

Description

一种基于深度学习的异物过滤视频编码芯片和方法

技术领域

本发明涉及芯片硬件电路领域，特别涉及一种基于深度学习的异物过滤视频编码芯片和方法。

背景技术

当前，在采用摄像头进行拍摄过程中，在拍摄的视频流画面中往往存在用户不期望呈现的物体，对于这种情况，用户一般只能采用手动修图的方式，一一将视频流画面中不期望看到的物体从相应帧去除，费时费力。例如用户想要拍摄的是一段大草原景物视频流影像，假设草原上放置着一个垃圾桶，用户在拍摄过程中除了拍摄蓝天草地之外，也不可避免地将垃圾桶拍摄进视频流画面里，为此，当用户不期望垃圾桶出现在视频流画面中时，只能采用修图工具一一将垃圾桶从大量视频帧图像中去除，消耗了大量的时间精力。

发明内容

为此，需要提供一种基于深度学习的异物过滤视频编码的技术方案，用以解决当拍摄视频流画面中出现用户不期望看到的物体时，需要用户手动去除，费时费力的问题。

为实现上述目的，发明人提供了一种基于深度学习的异物过滤视频编码芯片，所述芯片包括数据通路选择单元、神经网络分类识别单元、敏感物体判断单元、敏感区域划分单元、敏感物体存储列表、敏感区域处理单元、敏感区域缓存单元、图像合并单元、视频编码单元；

所述数据通路选择单元分别与图像采集单元、敏感物体判断单元、神经网络分类识别单元连接；所述神经网络分类识别单元与敏感区域划分单元、敏感物体判断单元连接；所述敏感物体判断单元与敏感物体存储列表连接；所述敏感区域划分单元与敏感区域缓存单元连接，所述敏感区域缓存单元与图像合并单元连接，所述图像合并单元与视频编码单元连接；

所述数据通路选择单元用于接收图像采集单元采集的视频流数据，并将当前帧图像发送至神经网络分类识别单元；

所述神经网络分类识别单元用于对当前帧图像进行物体识别，并将物体识别结果发送至敏感物体判断单元；

所述敏感物体判断单元用于根据当前帧图像的物体识别结果，判断当前帧图像中是否包含有敏感物体存储列表中预先存储的敏感物体，若是则发送第一控制信号至数据通路选择单元，否则发送第二控制信号至数据通路选择单元；

所述数据通路选择单元用于接收第一控制信号，将当前帧图像之后的连续N帧图像传输至神经网络分类识别单元；或者，用于接收第二控制信号，将当前帧图像之后的连续M帧图像传输至视频编码单元进行编码处理；N、M为正整数；

所述敏感区域划分单元用于在当前帧图像中存在敏感物体的情况下，接收神经网络分类识别单元传输的当前帧图像，并划分出当前帧图像对应的敏感区域图像，并将敏感区域图像存储于敏感区域缓存单元中；所述敏感区域图像包含有敏感物体；

所述敏感区域处理单元用于获取敏感区域缓存单元中的敏感区域图像，根据敏感物体与处理方式的对应关系，采用相应地处理方式处理敏感区域图像，并将处理结果发送至图像合并单元；

所述图像合并单元用于接收当前帧图像和处理后的敏感区域图像，根据敏感区域图像在当前帧图像上的坐标位置，将处理后的敏感区域图像和当前帧图像合成为处理帧图像，并将所述处理帧图像传输至视频编码单元进行编码。

进一步地，所述敏感区域划分单元包括轮廓识别单元和敏感区域坐标计算单元；

所述轮廓识别单元用于识别出敏感区域图像中敏感物体的轮廓位置信息，所述轮廓位置信息以“第一标识行-第一起始坐标点-第一结束坐标点”的方式进行存储；

所述敏感区域坐标计算单元用于根据轮廓位置信息、以及敏感区域图像在当前帧图像中的坐标信息，计算敏感区域图像内的敏感物体在当前帧图像中的坐标位置信息，并将所述坐标位置信息以“第二标识行-第二起始坐标点-第二结束坐标点”的方式进行存储；

所述第二标识行的数值为第一标识行的数值与敏感区域图像在当前帧图像内的起始行之和，所述第二起始坐标点为第一起始坐标点与敏感区域图像在当前帧图像内的起始列之和，所述第二结束坐标点为第二结束坐标点与敏感区域图像在当前帧图像内的起始列之和。

进一步地，所述芯片还包括图像预测网络电路；

所述图像预测网络电路用于根据敏感区域图像、当前帧图像、以及敏感区域图像在当前帧图像的坐标位置，根据预测出新的区域图像，并将新的区域图像送往图像合并单元。

进一步地，敏感区域图像内敏感物体的处理方式包括以下一种或多种：马赛克处理、二值化处理、添加遮挡标识。

进一步地，所述神经网络分类识别电路包括：fast-RCNN神经网络电路、SSD神经网络电路、YOLO神经网络电路。

以及发明人还提供了一种基于深度学习的异物过滤视频编码方法，所述方法应用于基于深度学习的异物过滤视频编码电路，所述芯片包括数据通路选择单元、神经网络分类识别单元、敏感物体判断单元、敏感区域划分单元、敏感物体存储列表、敏感区域处理单元、敏感区域缓存单元、图像合并单元、视频编码单元；

所述数据通路选择单元分别与图像采集单元、敏感物体判断单元、神经网络分类识别单元连接；所述神经网络分类识别单元与敏感区域划分单元、敏感物体判断单元连接；所述敏感物体判断单元与敏感物体存储列表连接；所述敏感区域划分单元与敏感区域缓存单元连接，所述敏感区域缓存单元与图像合并单元连接，所述图像合并单元与视频编码单元连接；

所述方法包括以下步骤：

数据通路选择单元接收图像采集单元采集的视频流数据，并将当前帧图像发送至神经网络分类识别单元；

神经网络分类识别单元对当前帧图像进行物体识别，并将物体识别结果发送至敏感物体判断单元；

敏感物体判断单元根据当前帧图像的物体识别结果，判断当前帧图像中是否包含有敏感物体存储列表中预先存储的敏感物体，若是则发送第一控制信号至数据通路选择单元，否则发送第二控制信号至数据通路选择单元；

数据通路选择单元接收第一控制信号，将当前帧图像之后的连续N帧图像传输至神经网络分类识别单元；或者，接收第二控制信号，将当前帧图像之后的连续M帧图像传输至视频编码单元进行编码处理；N、M为正整数；

敏感区域划分单元在当前帧图像中存在敏感物体的情况下，接收神经网络分类识别单元传输的当前帧图像，并划分出当前帧图像对应的敏感区域图像，并将敏感区域图像存储于敏感区域缓存单元中；所述敏感区域图像包含有敏感物体；

敏感区域处理单元获取敏感区域缓存单元中的敏感区域图像，根据敏感物体与处理方式的对应关系，采用相应地处理方式处理敏感区域图像，并将处理结果发送至图像合并单元；

图像合并单元接收当前帧图像和处理后的敏感区域图像，根据敏感区域图像在当前帧图像上的坐标位置，将处理后的敏感区域图像和当前帧图像合成为处理帧图像，并将所述处理帧图像传输至视频编码单元进行编码。

进一步地，所述敏感区域划分单元包括轮廓识别单元和敏感区域坐标计算单元；

所述方法还包括以下步骤：

轮廓识别单元识别出敏感区域图像中敏感物体的轮廓位置信息，所述轮廓位置信息以“第一标识行-第一起始坐标点-第一结束坐标点”的方式进行存储；

敏感区域坐标计算单元根据轮廓位置信息、以及敏感区域图像在当前帧图像中的坐标信息，计算敏感区域图像内的敏感物体在当前帧图像中的坐标位置信息，并将所述坐标位置信息以“第二标识行-第二起始坐标点-第二结束坐标点”的方式进行存储；

所述第二标识行的数值为第一标识行的数值与敏感区域图像在当前帧图像内的起始行之和，所述第二起始坐标点为第一起始坐标点与敏感区域图像在当前帧图像内的起始列之和，所述第二结束坐标点为第二结束坐标点与敏感区域图像在当前帧图像内的起始列之和。

进一步地，所述芯片还包括图像预测网络电路；所述方法包括以下步骤：

图像预测网络电路根据敏感区域图像、当前帧图像、以及敏感区域图像在当前帧图像的坐标位置，根据预测出新的区域图像，并将新的区域图像送往图像合并单元。

进一步地，敏感区域图像内敏感物体的处理方式包括以下一种或多种：马赛克处理、二值化处理、添加遮挡标识。

进一步地，所述神经网络分类识别电路包括：fast-RCNN神经网络电路、SSD神经网络电路、YOLO神经网络电路。

区别于现有技术，上述技术方案所述的基于深度学习的异物过滤视频编码芯片和方法，所述方法通过神经网络分类识别单元对视频流图像中包含的物体一一进行分类，并在当前帧图像中识别出敏感物体的情况下，采用该敏感物体对应的处理方式对敏感物体进行处理，从而实现自动将当前帧图像中用户不期望看到的物体去除的目的。同时，当某一帧图像识别出敏感物体时，则会对接下来几帧图像都进行物体识别，反之，当某一帧图像未识别出敏感物体时，则对接下来几帧图像直接进行编码输出而不进行物体识别，相较于对每一帧图像都进行识别判断的方式，有效提升了处理效率。

附图说明

图1为本发明一实施方式涉及的基于深度学习的异物过滤视频编码芯片的示意图；

图2为本发明一实施方式涉及的基于深度学习的异物过滤视频编码方法的流程图；

图3本发明一实施方式涉及的神经网络分类识别单元进行物体识别的示意图；

图4本发明一实施方式涉及的轮廓识别单元进行物体轮廓识别的示意图；

图5本发明一实施方式涉及的图像预测网络电路进行处理后的敏感区域预测的示意图。

附图标记说明：

10、基于深度学习的异物过滤视频编码芯片；

101、数据通路选择单元；

102、神经网络分类识别单元；

103、敏感物体判断单元；

104、敏感区域划分单元；114、轮廓识别单元；124、敏感区域坐标计算单元；

105、敏感物体存储列表；

106、敏感区域处理单元；

107、敏感区域缓存单元；

108、图像合并单元；

109、视频编码单元；

110、处理方式存储单元。

111、图像预测网络电路；

20、图像采集单元。

具体实施方式

为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体实施例并配合附图详予说明。

请参阅图1，本发明一实施方式所述的基于深度学习的异物过滤视频编码芯片的示意图。

所述芯片10包括数据通路选择单元101、神经网络分类识别单元102、敏感物体判断单元103、敏感区域划分单元104、敏感物体存储列表105、敏感区域处理单元106、敏感区域缓存单元107、图像合并单元108、视频编码单元109；

所述数据通路选择单元101分别与图像采集单元20、敏感物体判断单元103、神经网络分类识别单元102连接；所述神经网络分类识别单元102与敏感区域划分单元104、敏感物体判断单元103连接；所述敏感物体判断单元103与敏感物体存储列表105连接；所述敏感区域划分单元104与敏感区域缓存单元107连接，所述敏感区域缓存单元107与图像合并单元108连接，所述图像合并单元108与视频编码单元109连接；

所述数据通路选择单元101用于接收图像采集单元20采集的视频流数据，并将当前帧图像发送至神经网络分类识别单元102。所述图像采集单元20为具有视频流数据采集的电子设备，如可以是一个摄像头。通常视频流数据包括多帧图像，视频的编码是基于一帧一帧图像而进行的。所述数据通路选择单元101为具有控制信号选择功能的电子元件，其可以选择将摄像头采集的当前帧图像直接发送给视频编码单元进行编码，也可以选择将当前帧图像发送至神经网络分类识别单元102进行分类识别，数据通路选择单元选择的依据在下方展开详细说明。

所述神经网络分类识别单元102用于对当前帧图像进行物体识别，并将物体识别结果发送至敏感物体判断单元。如图3所示，神经网络分类识别单元不仅可以识别出某一张图像包括中哪些物体，通常还能以特定形状(如矩形、圆形等)框出这些物体对应的位置区域。例如当前帧图像为一张草原图片，该图像除了背景是大部分草之外，还存在着白云、垃圾桶、花、树等物体。当这张图像被传输至神经网络分类识别单元后，神经网络分类识别单元能够识别出白云、垃圾桶、花、树等物体，并将这些物体在图像上的大致区域(一般为恰好能包含对应物体的固定图形)圈出。

图像上目标区域检测和物体识别是较成熟技术,所述神经网络分类识别电路包括：fast-RCNN神经网络电路、SSD神经网络电路、YOLO神经网络电路。fast-RCNN神经网络电路相关实现方式可以参考以下链接：https://blog.csdn.net/xiaoye5606/article/ details/71191429。SSD神经网络电路、YOLO神经网络电路的实现方式可以参考以下链接：

http://www.360doc.com/content/17/0810/10/10408243678091430.shtml

https://www.cnblogs.com/fariver/p/7446921.html。

所述敏感物体判断单元103用于根据当前帧图像的物体识别结果，判断当前帧图像中是否包含有敏感物体存储列表105中预先存储的敏感物体，若是则发送第一控制信号至数据通路选择单元，否则发送第二控制信号至数据通路选择单元。

所述敏感物体是指用户事先自定义需要进行特殊处理的物体，既可以是某个物体形象，如垃圾桶，也可以是某段以图片形式呈现的文字，如一些敏感词汇。同样以前文所述的草原图像为例，假设敏感物体为垃圾桶，那么在敏感物体存储列表中存储有垃圾桶的相关参数，以便敏感物体判断单元进行获取判断。

所述数据通路选择单元101用于接收第一控制信号，将当前帧图像之后的连续N帧图像传输至神经网络分类识别单元；或者，用于接收第二控制信号，将当前帧图像之后的连续M帧图像传输至视频编码单元进行编码处理；N、M为正整数。N、M的数值既可以相同，也可以不同。

在实际应用过程中，可以在数据通路选择单元(即数据通路选通开关)内置一个帧计数器,摄像头采集到的第一帧图像会被送往CNN分类单元(即神经网络分类识别单元)进行物体识别。当敏感物体判断单元判定第一帧图像中没有出现敏感物体时,其会发送第一控制信号至数据通路选择单元，数据通路选择单元会将当前帧图像之后连续的5帧图像(假设M的值为5)都不再送往CNN分类单元进行分类判断,而是直接将这5帧图像送往视频编码单元进行视频编码，并且直到当前帧图像之后的第6帧图像，再将其送往CNN分类单元进行物体识别。

如果第一帧图像被敏感物体判断单元判定为出现了敏感物体,那么敏感物体判断单元会发送第二控制信号至数据通路选择单元，数据通路选择单元会将当前帧图像之后连续的6帧图像(假设N的值为6)都送往CNN分类单元进行分类判断,直到摄像头采集到当前帧图像之后的第7帧图像时，再将第7帧图像发送给CNN分类单元进行识别，而后再根据第7帧图像是否存在敏感物体，决定是将第7帧之后的连续N帧图像送往CNN分类单元进行识别，还是直接将第7帧之后的连续N帧图像送往视频编码单元进行编码。

这一，当某一帧图像识别出敏感物体时，则会对接下来几帧图像都进行物体识别，反之，当某一帧图像未识别出敏感物体时，则对接下来几帧图像直接进行编码输出而不进行物体识别，相较于对每一帧图像都进行识别判断的方式，有效提升了处理效率。

所述敏感区域划分单元104用于在当前帧图像中存在敏感物体的情况下，接收神经网络分类识别单元传输的当前帧图像，并划分出当前帧图像对应的敏感区域图像，并将敏感区域图像存储于敏感区域缓存单元中；所述敏感区域图像包含有敏感物体。

所述敏感区域划分单元104包括轮廓识别单元114和敏感区域坐标计算单元124。轮廓识别单元进行敏感区域中敏感物体的轮廓识别如图4所示。

所述轮廓识别单元114用于识别出敏感区域图像中敏感物体的轮廓位置信息，所述轮廓位置信息以“第一标识行-第一起始坐标点-第一结束坐标点”的方式进行存储；

所述敏感区域坐标计算单元124用于根据轮廓位置信息、以及敏感区域图像在当前帧图像中的坐标信息，计算敏感区域图像内的敏感物体在当前帧图像中的坐标位置信息，并将所述坐标位置信息以“第二标识行-第二起始坐标点-第二结束坐标点”的方式进行存储；

所述第二标识行的数值为第一标识行的数值与敏感区域图像在当前帧图像内的起始行之和，所述第二起始坐标点为第一起始坐标点与敏感区域图像在当前帧图像内的起始列之和，所述第二结束坐标点为第二结束坐标点与敏感区域图像在当前帧图像内的起始列之和。

例如敏感物体为垃圾桶，神经网络分类识别单元识别出的敏感区域为包含有垃圾桶的矩形区域，那么轮廓识别单元会从所述敏感区域识别出“垃圾桶”的轮廓，并将轮廓对应的坐标点计算出来，送往敏感区域坐标计算单元。轮廓区域存储格式为:图像行数，敏感物起始像素点，结束像素点。比如:一个垃圾桶,轮廓信息为：第300行,50像素点到150点；301行，51像素点到148像素点；302行，52像素点到149像素点等等。通过上述格式，可以将整个敏感物体的轮廓信息通过“第一标识行-第一起始坐标点-第一结束坐标点”的方式进行存储。

而敏感区域在当前帧图像中的起始行为第200行，起始列为第300列，那么当敏感物体在敏感区域内的坐标换算为敏感物体在整个当前帧图像内的坐标时，假设垃圾桶的轮廓信息中某一行的存储格式为“第300行,50像素点到150点”，那么经过划算后该行的存储格式为“第500行，第350像素值450像素点”，其他行同理可得。

轮廓识别是现有成熟技术，轮廓识别单元可以为FCN电路，参考链接如下：https://www.cnblogs.com/gujianhan/p/6030639.html，也可以为deeplab网络电路，参考链接如下：

https://baijiahao.baidu.com/s？id＝1595995875370065359&wfr＝spide r& for＝pc。

所述敏感区域处理单元106用于获取敏感区域缓存单元107中的敏感区域图像，根据敏感物体与处理方式的对应关系，采用相应地处理方式处理敏感区域图像，并将处理结果发送至图像合并单元108。在本实施方式中，敏感区域图像内敏感物体的处理方式包括以下一种或多种：马赛克处理、二值化处理、添加遮挡标识。处理方式的类型，可以预先存储于处理方式存储单元110中。

马赛克处理是指在敏感区域图像以4x4或者8x8为单位处理宏块,将宏块内的图像像素值取平均值,并将该平均值重新赋值给该图像块内的所有像素点,用该方法覆盖全部敏感图像区域,完成马赛克处理。

二值化是指将敏感区域图像内所有像素点的像素值全部赋值为0或者255，也就是对应为黑色或白色。采用的做法可以是像素值大于某个预设值的像素点全部赋值为255，像素值小于某个预设值的像素点全部赋值为0.

添加遮挡标识是指在所述敏感区域图像上添加预设的遮挡标识，例如可以采用与敏感区域图像大小相同的矩形框遮挡当前敏感区域图像。

所述图像合并单元108用于接收当前帧图像和处理后的敏感区域图像，根据敏感区域图像在当前帧图像上的坐标位置，将处理后的敏感区域图像和当前帧图像合成为处理帧图像，并将所述处理帧图像传输至视频编码单元进行编码。

在本实施方式中，将处理后的敏感区域图像和当前帧图像合成为处理帧图像包括：将当前帧图像上原始的敏感区域图像替换为经过处理后的敏感区域图像。

在某些实施例中，所述芯片还包括图像预测网络电路111；所述图像预测网络电路111用于根据敏感区域图像、当前帧图像、以及敏感区域图像在当前帧图像的坐标位置，根据预测出新的区域图像，并将新的区域图像送往图像合并单元。图像预测网络电路进行区域图像预测的方式如图5所示。

例如草原图片上的敏感物体为垃圾桶，当敏感物体被去除后，当前帧图像则会留下一大片空白区域，严重影响用户的感官体验，因而需要对这部分区域进行图像预测，采用的方式是基于周围像素点预测出新的区域图像，例如垃圾桶所在位置周围都是草地，那么经过图像预测网络电路预测后会生成与敏感物体区域大小相同的新图像，并用新图像覆盖原有当前帧图像上的敏感区域位置。

图像预测网络电路为现有技术，具体可以采用DCGAN或LAPGAN网络实现，实现的方式可以参考以下链接：

https://blog.csdn.net/stdcoutzyx/article/details/53872121。

https://blog.csdn.net/u011534057/article/details/53410098。

请参阅图2，发明人提供了一种基于深度学习的异物过滤视频编码方法，所述方法应用于基于深度学习的异物过滤视频编码电路，所述芯片包括数据通路选择单元、神经网络分类识别单元、敏感物体判断单元、敏感区域划分单元、敏感物体存储列表、敏感区域处理单元、敏感区域缓存单元、图像合并单元、视频编码单元；

所述数据通路选择单元分别与图像采集单元、敏感物体判断单元、神经网络分类识别单元连接；所述神经网络分类识别单元与敏感区域划分单元、敏感物体判断单元连接；所述敏感物体判断单元与敏感物体存储列表连接；所述敏感区域划分单元与敏感区域缓存单元连接，所述敏感区域缓存单元与图像合并单元连接，所述图像合并单元与视频编码单元连接；

所述方法包括以下步骤：

首先进入步骤S201数据通路选择单元接收图像采集单元采集的视频流数据，并将当前帧图像发送至神经网络分类识别单元；

而后进入步骤S202神经网络分类识别单元对当前帧图像进行物体识别，并将物体识别结果发送至敏感物体判断单元；

而后进入步骤S203敏感物体判断单元根据当前帧图像的物体识别结果，判断当前帧图像中是否包含有敏感物体存储列表中预先存储的敏感物体，若是则进入步骤S204发送第一控制信号至数据通路选择单元，否则进入步骤S205发送第二控制信号至数据通路选择单元；

步骤S204后进入步骤S205数据通路选择单元接收第一控制信号，将当前帧图像之后的连续N帧图像传输至神经网络分类识别单元；或者，步骤S206后进入步骤S207数据通路选择单元接收第二控制信号，将当前帧图像之后的连续M帧图像传输至视频编码单元进行编码处理；N、M为正整数；

步骤S205后进入步骤S208敏感区域划分单元在当前帧图像中存在敏感物体的情况下，接收神经网络分类识别单元传输的当前帧图像，并划分出当前帧图像对应的敏感区域图像，并将敏感区域图像存储于敏感区域缓存单元中；所述敏感区域图像包含有敏感物体；

步骤S28后进入步骤S209敏感区域处理单元获取敏感区域缓存单元中的敏感区域图像，根据敏感物体与处理方式的对应关系，采用相应地处理方式处理敏感区域图像，并将处理结果发送至图像合并单元；

步骤S209后进入步骤S210图像合并单元接收当前帧图像和处理后的敏感区域图像，根据敏感区域图像在当前帧图像上的坐标位置，将处理后的敏感区域图像和当前帧图像合成为处理帧图像，并将所述处理帧图像传输至视频编码单元进行编码。

在某些实施例中，所述敏感区域划分单元包括轮廓识别单元和敏感区域坐标计算单元；所述方法还包括以下步骤：

轮廓识别单元识别出敏感区域图像中敏感物体的轮廓位置信息，所述轮廓位置信息以“第一标识行-第一起始坐标点-第一结束坐标点”的方式进行存储；

敏感区域坐标计算单元根据轮廓位置信息、以及敏感区域图像在当前帧图像中的坐标信息，计算敏感区域图像内的敏感物体在当前帧图像中的坐标位置信息，并将所述坐标位置信息以“第二标识行-第二起始坐标点-第二结束坐标点”的方式进行存储；

所述第二标识行的数值为第一标识行的数值与敏感区域图像在当前帧图像内的起始行之和，所述第二起始坐标点为第一起始坐标点与敏感区域图像在当前帧图像内的起始列之和，所述第二结束坐标点为第二结束坐标点与敏感区域图像在当前帧图像内的起始列之和。

在某些实施例中，所述芯片还包括图像预测网络电路；所述方法包括以下步骤：图像预测网络电路根据敏感区域图像、当前帧图像、以及敏感区域图像在当前帧图像的坐标位置，根据预测出新的区域图像，并将新的区域图像送往图像合并单元。

在某些实施例中，敏感区域图像内敏感物体的处理方式包括以下一种或多种：马赛克处理、二值化处理、添加遮挡标识。

在某些实施例中，所述神经网络分类识别电路包括：fast-RCNN神经网络电路、SSD神经网络电路、YOLO神经网络电路。

上述技术方案所述的基于深度学习的异物过滤视频编码芯片和方法，所述方法通过神经网络分类识别单元对视频流图像中包含的物体一一进行分类，并在当前帧图像中识别出敏感物体的情况下，采用该敏感物体对应的处理方式对敏感物体进行处理，从而实现自动将当前帧图像中用户不期望看到的物体去除的目的。同时，当某一帧图像识别出敏感物体时，则会对接下来几帧图像都进行物体识别，反之，当某一帧图像未识别出敏感物体时，则对接下来几帧图像直接进行编码输出而不进行物体识别，相较于对每一帧图像都进行识别判断的方式，有效提升了处理效率。

需要说明的是，尽管在本文中已经对上述各实施例进行了描述，但并非因此限制本发明的专利保护范围。因此，基于本发明的创新理念，对本文所述实施例进行的变更和修改，或利用本发明说明书及附图内容所作的等效结构或等效流程变换，直接或间接地将以上技术方案运用在其他相关的技术领域，均包括在本发明的专利保护范围之内。

Claims (10)

1.一种基于深度学习的异物过滤视频编码芯片，其特征在于，所述芯片包括数据通路选择单元、神经网络分类识别单元、敏感物体判断单元、敏感区域划分单元、敏感物体存储列表、敏感区域处理单元、敏感区域缓存单元、图像合并单元、视频编码单元；

所述数据通路选择单元分别与图像采集单元、敏感物体判断单元、神经网络分类识别单元连接；所述神经网络分类识别单元与敏感区域划分单元、敏感物体判断单元连接；所述敏感物体判断单元与敏感物体存储列表连接；所述敏感区域划分单元与敏感区域缓存单元连接，所述敏感区域缓存单元与图像合并单元连接，所述图像合并单元与视频编码单元连接；

所述数据通路选择单元用于接收图像采集单元采集的视频流数据，并将当前帧图像发送至神经网络分类识别单元；

所述神经网络分类识别单元用于对当前帧图像进行物体识别，并将物体识别结果发送至敏感物体判断单元；

所述敏感物体判断单元用于根据当前帧图像的物体识别结果，判断当前帧图像中是否包含有敏感物体存储列表中预先存储的敏感物体，若是则发送第一控制信号至数据通路选择单元，否则发送第二控制信号至数据通路选择单元；

所述数据通路选择单元用于接收第一控制信号，将当前帧图像之后的连续N帧图像传输至神经网络分类识别单元；或者，用于接收第二控制信号，将当前帧图像之后的连续M帧图像传输至视频编码单元进行编码处理；N、M为正整数；

所述敏感区域划分单元用于在当前帧图像中存在敏感物体的情况下，接收神经网络分类识别单元传输的当前帧图像，并划分出当前帧图像对应的敏感区域图像，并将敏感区域图像存储于敏感区域缓存单元中；所述敏感区域图像包含有敏感物体；

所述敏感区域处理单元用于获取敏感区域缓存单元中的敏感区域图像，根据敏感物体与处理方式的对应关系，采用相应地处理方式处理敏感区域图像，并将处理结果发送至图像合并单元；

所述图像合并单元用于接收当前帧图像和处理后的敏感区域图像，根据敏感区域图像在当前帧图像上的坐标位置，将处理后的敏感区域图像和当前帧图像合成为处理帧图像，并将所述处理帧图像传输至视频编码单元进行编码。

2.如权利要求1所述的基于深度学习的异物过滤视频编码芯片，其特征在于，所述敏感区域划分单元包括轮廓识别单元和敏感区域坐标计算单元；

所述轮廓识别单元用于识别出敏感区域图像中敏感物体的轮廓位置信息，所述轮廓位置信息以“第一标识行-第一起始坐标点-第一结束坐标点”的方式进行存储；

所述敏感区域坐标计算单元用于根据轮廓位置信息、以及敏感区域图像在当前帧图像中的坐标信息，计算敏感区域图像内的敏感物体在当前帧图像中的坐标位置信息，并将所述坐标位置信息以“第二标识行-第二起始坐标点-第二结束坐标点”的方式进行存储；

所述第二标识行的数值为第一标识行的数值与敏感区域图像在当前帧图像内的起始行之和，所述第二起始坐标点为第一起始坐标点与敏感区域图像在当前帧图像内的起始列之和，所述第二结束坐标点为第二结束坐标点与敏感区域图像在当前帧图像内的起始列之和。

3.如权利要求1所述的基于深度学习的异物过滤视频编码芯片，其特征在于，所述芯片还包括图像预测网络电路；

所述图像预测网络电路用于根据敏感区域图像、当前帧图像、以及敏感区域图像在当前帧图像的坐标位置，根据预测出新的区域图像，并将新的区域图像送往图像合并单元。

4.如权利要求1所述的基于深度学习的异物过滤视频编码芯片，其特征在于，敏感区域图像内敏感物体的处理方式包括以下一种或多种：马赛克处理、二值化处理、添加遮挡标识。

5.如权利要求1所述的基于深度学习的异物过滤视频编码芯片，其特征在于，所述神经网络分类识别电路包括：fast-RCNN神经网络电路、SSD神经网络电路、YOLO神经网络电路。

6.一种基于深度学习的异物过滤视频编码方法，其特征在于，所述方法应用于基于深度学习的异物过滤视频编码电路，所述芯片包括数据通路选择单元、神经网络分类识别单元、敏感物体判断单元、敏感区域划分单元、敏感物体存储列表、敏感区域处理单元、敏感区域缓存单元、图像合并单元、视频编码单元；

所述数据通路选择单元分别与图像采集单元、敏感物体判断单元、神经网络分类识别单元连接；所述神经网络分类识别单元与敏感区域划分单元、敏感物体判断单元连接；所述敏感物体判断单元与敏感物体存储列表连接；所述敏感区域划分单元与敏感区域缓存单元连接，所述敏感区域缓存单元与图像合并单元连接，所述图像合并单元与视频编码单元连接；

所述方法包括以下步骤：

数据通路选择单元接收图像采集单元采集的视频流数据，并将当前帧图像发送至神经网络分类识别单元；

神经网络分类识别单元对当前帧图像进行物体识别，并将物体识别结果发送至敏感物体判断单元；

敏感物体判断单元根据当前帧图像的物体识别结果，判断当前帧图像中是否包含有敏感物体存储列表中预先存储的敏感物体，若是则发送第一控制信号至数据通路选择单元，否则发送第二控制信号至数据通路选择单元；

数据通路选择单元接收第一控制信号，将当前帧图像之后的连续N帧图像传输至神经网络分类识别单元；或者，接收第二控制信号，将当前帧图像之后的连续M帧图像传输至视频编码单元进行编码处理；N、M为正整数；

敏感区域划分单元在当前帧图像中存在敏感物体的情况下，接收神经网络分类识别单元传输的当前帧图像，并划分出当前帧图像对应的敏感区域图像，并将敏感区域图像存储于敏感区域缓存单元中；所述敏感区域图像包含有敏感物体；

敏感区域处理单元获取敏感区域缓存单元中的敏感区域图像，根据敏感物体与处理方式的对应关系，采用相应地处理方式处理敏感区域图像，并将处理结果发送至图像合并单元；

图像合并单元接收当前帧图像和处理后的敏感区域图像，根据敏感区域图像在当前帧图像上的坐标位置，将处理后的敏感区域图像和当前帧图像合成为处理帧图像，并将所述处理帧图像传输至视频编码单元进行编码。

7.如权利要求6所述的基于深度学习的异物过滤视频编码方法，其特征在于，所述敏感区域划分单元包括轮廓识别单元和敏感区域坐标计算单元；

所述方法还包括以下步骤：

轮廓识别单元识别出敏感区域图像中敏感物体的轮廓位置信息，所述轮廓位置信息以“第一标识行-第一起始坐标点-第一结束坐标点”的方式进行存储；

敏感区域坐标计算单元根据轮廓位置信息、以及敏感区域图像在当前帧图像中的坐标信息，计算敏感区域图像内的敏感物体在当前帧图像中的坐标位置信息，并将所述坐标位置信息以“第二标识行-第二起始坐标点-第二结束坐标点”的方式进行存储；

所述第二标识行的数值为第一标识行的数值与敏感区域图像在当前帧图像内的起始行之和，所述第二起始坐标点为第一起始坐标点与敏感区域图像在当前帧图像内的起始列之和，所述第二结束坐标点为第二结束坐标点与敏感区域图像在当前帧图像内的起始列之和。

8.如权利要求6所述的基于深度学习的异物过滤视频编码方法，其特征在于，所述芯片还包括图像预测网络电路；所述方法包括以下步骤：

图像预测网络电路根据敏感区域图像、当前帧图像、以及敏感区域图像在当前帧图像的坐标位置，根据预测出新的区域图像，并将新的区域图像送往图像合并单元。

9.如权利要求6所述的基于深度学习的异物过滤视频编码方法，其特征在于，敏感区域图像内敏感物体的处理方式包括以下一种或多种：马赛克处理、二值化处理、添加遮挡标识。

10.如权利要求6所述的基于深度学习的异物过滤视频编码方法，其特征在于，所述神经网络分类识别电路包括：fast-RCNN神经网络电路、SSD神经网络电路、YOLO神经网络电路。