CN116614666B - 一种基于ai摄像头特征提取系统及方法 - Google Patents

Abstract

本发明公开了一种基于AI摄像头特征提取系统及方法，属于摄像头监控设备技术领域，上述方法包括以下步骤：获取待测目标的实时图像；检测到待测目标的特定姿态，进行录制动作，获取特定姿态后的连续帧图像；将获取的连续帧图像与存储库中的内容进行对比，判断在存储库中是否存在目标连续帧图像；当检测到存储库中存在目标连续帧图像与获取的连续帧图像中至少部分图像内容保持一致，执行目标连续帧图像对应的指令。本发明提供的基于AI摄像头特征提取方法能够有效避免因主播方在不经意间出现了指令动作，进而导致指令的错误下达的情况，进而实现提高系统的鲁棒性的目的，并且避免可能给直播方带来损失的情况。

Description

一种基于AI摄像头特征提取系统及方法

技术领域

本发明属于摄像头监控设备技术领域，具体涉及一种基于AI摄像头特征提取系统及方法。

背景技术

随着互联网的普及，传统行业也受到或多或少的影响，传统行业开始了互联网加的改变。示例性的，网络直播变得越来越普及。在网络直播的过程中，为满足主播方的各种需求，主播方希望能够在直播的同时，能够遥控互联网设备作出不同的指令。

现目前所采用的现有技术中，有通过对主播方的姿态认知，进行实现指令的下达。而目前通常采用的具体方式是通过对主播方进行拍摄，获得静态图像，然后对静态图像进行识别，并将识别的静态图像与存储库中预存图像进行对比，当获取到存储库中存在预设图像与获取识别到的静态图像相同时，随之进行该预设图像对应的指令下达。

然而，这种方式是通过静态图像对比实现的，主播方为区分日常动作和指令动作的区别，在不需要进行指令下达时，会刻意避开指令动作；而在实际操作时，为避免主播方出现突兀的动作，指令动作通常设计为接近日常动作，因此存在较多主播方在不经意间进行了指令动作，导致指令的错误下达，而错误的指令下达，轻则导致增加互联网设备的系统进程增加，影响系统的运行稳定性；重则造成经济损失，带来难以挽回的后果。

发明内容

本发明提供一种基于AI摄像头特征提取系统及方法，能够有效避免主播方在直播过程中在进行日常动作时，出现不经意的指令动作的情况，进而实现避免指令错误的下达的目的。

本发明通过下述技术方案实现：

一方面，本发明提供一种基于AI摄像头特征提取方法，包括以下步骤：获取待测目标的实时图像；检测到待测目标的特定姿态，进行录制动作，获取特定姿态后的连续帧图像；将获取的连续帧图像与存储库中的内容进行对比，判断在存储库中是否存在目标连续帧图像；当检测到存储库中存在目标连续帧图像与获取的连续帧图像中至少部分图像内容保持一致，执行目标连续帧图像对应的指令。

在其中一些实施例中，当检测到存储库中存在目标连续帧图像与获取的连续帧图像中至少部分图像内容保持一致之后，执行目标连续帧图像对应的指令之前，还包括以下步骤：对获取的连续帧图像按照目标连续帧图像中内容进行剪切，得到与目标连续帧图像内容一致的处理后连续帧图像；获取处理后连续帧图像中最先一帧的第一图像，和最后一帧的第二图像；对第一图像和第二图像进行灰度处理，得到内容为0或1的多个像素点；获取第一图像中像素点为1的数量和第二图像中像素点为1的数量差；当第一图像中像素点为1的数量和第二图像中像素点为1的数量差在目标连续帧图像对应像素点数量差的范围内时，则继续进行后续的执行目标连续帧图像对应的指令。

在其中一些实施例中，获取待测目标的实时图像包括：获取待测目标的整体图像；在整体图像中寻找标记点；获取以标记点为中心，半径为预设半径的指定图像，并以该图像作为待测目标的实时图像。

在其中一些实施例中，标记点包括以待测物指定部位为标记点，或以佩戴外设所在位置为标记点。

在其中一些实施例中，在整体图像中寻找标记点包括：对待测目标进行识别；以待测目标的特定部位作为标记点。

在其中一些实施例中，进行录制动作之后，还包括以下步骤：停止录制动作；重复获取待测目标的实时图像及后续步骤。

在其中一些实施例中，进行录制动作之后，停止录制动作之前，还包括以下步骤：判断录制时间是否达到预设时间；当达到预设时间时，则继续执行后续的停止录制动作的步骤。

在其中一些实施例中，判断在存储库中是否存在目标连续帧图像之后，还包括以下步骤：当检测到存储库中不存在目标连续帧图像与获取的连续帧图像中至少部分图像内容保持一致时，将获取的连续帧图像删除。

另一方面，本实施例提供一种基于AI摄像头特征提取系统，包括存储器和处理器，存储器存储有计算机程序，处理器执行该计算机程序，以实现上述实施例中任一项的基于AI摄像头特征提取方法。

本发明与现有技术相比，具有以下优点及有益效果：

本发明提供的基于AI摄像头特征提取方法通过对录制动作的在先确认，以及后续录制动作中获取的连续帧图像的对比，然后再执行对应的指令的方式，相对于采用静态图作为对比，其指令下达的稳定性更好，能够有效避免因主播方在不经意间出现了指令动作，进而导致指令的错误下达的情况，进而实现提高系统的鲁棒性的目的，并且避免可能给直播方带来损失的情况。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明一些实施例提供的基于AI摄像头特征提取方法的流程示意图；

图2为本发明一些实施例提供的获取待测目标的实时图像步骤的流程示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。

在本发明的描述中，需要说明的是，所采用的术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，本发明的描述中若出现“水平”、“竖直”等术语并不表示要求部件绝对水平或悬垂，而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微倾斜。

在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，若出现术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、系统、产品或设备没有限定于已列出的步骤或模块，而是可选地还包括没有列出的步骤或模块，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。

如非特别说明，不同的步骤的顺序不分先后。

一方面，本实施例提供一种基于AI摄像头特征提取方法，请参阅图1，主要包括以下步骤：

S10、获取待测目标的实时图像。在S10中，通过不断获取待测目标的实时图像，以方便后续用于待测目标特定姿态的判定。获取的实时图像可以是摄像头拍摄的整个图像，也可以是拍摄的整个图像中的部分图像内容。

在一些示例中，待测目标可以是人，当待测目标为人时，可通过获取人体的手势、身体姿态等，进行互联网设备的指令下达。

在另一些示例中，待测目标也可以是物，当待测目标是物体时，比如设备时，可通过设备的动作，作为互联网设备指令的触发动作，在实际的应用过程中，设备的动作可以是物体周期性的预设动作，也可以是物体被远程操作的实时动作。

S20、检测到待测目标的特定姿态，进行录制动作，获取特定姿态后的连续帧图像。在S20中，在获取的实时图像中，检测到待测目标的特定姿态时，此时，触发录制指令，进行录制动作。录制动作的目的是用于获取特定姿态后的连续帧图像，通过获取连续帧图像在后续步骤中与存储库中的内容进行判定，确定是否进行指令下达。

S30、将获取的连续帧图像与存储库中的内容进行对比，判断在存储库中是否存在目标连续帧图像。在S30中，获取的连续帧图像与存储库中的内容进行对比，存储库中预先存储的内容也是包括连续帧图像的内容，多个连续帧图像为一组数据，目标连续帧图像是指在存储库中存在一组数据，该组数据中多个连续帧图像与获取的连续帧图像内容相同，为方便说明，定义该组数据为目标连续帧图像。因为获取的连续帧图像的帧数可能大于存储库中目标连续帧图像的帧数，这通常是因为录制动作时间较长引起的，其原因在于，对于不同的指令，其对应的目标连续帧图像帧数不一定相同，因此录制动作可采用获取的连续帧图像的帧数大于存储库可中最大帧数的目标连续帧图像，因此目标连续帧图像的帧数通常小于获取的连续帧图像的帧数。

S40、当检测到存储库中存在目标连续帧图像与获取的连续帧图像中至少部分图像内容保持一致时，判定直播方发出相应的指令，执行目标连续帧图像对应的指令。在S40中，存储库中每个目标连续帧图像对应至少一个指令，在获取的录制动作中的连续帧图像中至少部分内容与目标连续帧图像相同时，目标连续帧图像对应的指令触发，然后执行该指令。

在上述实施例中，通过对录制动作的在先确认，以及后续录制动作中获取的连续帧图像的对比，然后再执行对应的指令的方式，相对于采用静态图作为对比，其指令下达的稳定性更好，能够有效避免因主播方在不经意间出现了指令动作，进而导致指令的错误下达的情况，进而实现提高系统的鲁棒性的目的，并且避免可能给直播方带来损失的情况。

在其中一些实施例中，在S40步骤中，当检测到存储库中存在目标连续帧图像与获取的连续帧图像中至少部分图像内容保持一致之后，在执行该目标连续帧图像对应的指令之前，还包括以下步骤：

T10、对获取的连续帧图像按照目标连续帧图像中内容进行剪切，得到与目标连续帧图像内容一致的处理后连续帧图像。在T10中，处理后连续帧图像与目标连续帧图像内容一致并非是从人类感官而言的完全相同，而是从机器视角来看，机器判定认为二者是一致的情况。在现有的技术中，通过预先建模和机器学习，在实时图像满足一定要求时，即认为该实时图像与存储库中预先存储的图像内容相同，或部分相同。因此在T10步骤中获得的处理后连续帧图像为机器视角来看，满足一定要求的多帧实时图像，基于机器认为的相同的内容，然后对获取的连续帧图像进行剪切，以使得剪切后的处理后连续帧图像与目标连续帧图像内容一致，剪切之后的多帧图像，为方便后续说明，定义为处理后连续帧图像。

T20、获取处理后连续帧图像中最先一帧的第一图像和最后一帧的第二图像。在T20中，处理后连续帧图像中最先一帧的图像定义为第一图像；处理后连续帧图像中最后一帧的图像定义为第二图像，以是的后续的描述更加方便。

T30、对第一图像和第二图像进行灰度处理。在T30中，第一图像和第二图像经过灰度处理，得到包括多个像素点的图像，每个像素点中的内容为0或1。

T40、获取第一图像中像素点为1的数量和第二图像中像素点为1的数量差。

T50、当第一图像中像素点为1的数量和第二图像中像素点为1的数量差在目标连续帧图像对应像素点数量差的范围内时，则继续进行后续的执行目标连续帧图像对应的指令。在T50中，存储库中每个目标连续帧图像对应一个像素点为1的数量差的范围区间，第一图像中像素点为1的数量和第二图像中像素点为1的数量差值处于目标连续帧图像对应个像素点为1的数量差的范围区间之内，即认为二者为相同内容。

在上述实施例中，在机器认为获取的录制的连续帧图像与存储库中目标连续帧图像相对应时，为避免在先机器学习过拟合的情况，进一步通过像素点的数量差进行辅助判定，进一步确定录制的连续帧图像是满足一定要求的，即获取的录制的连续帧图像与存储库中目标连续帧图像对应。通过该设置，能够进一步提高系统的鲁棒性。另一方面，也能够有效解决当前机器学习中过拟合较多的情况。

在其中一些实施例中，请参阅图2，S10可主要包括以下步骤：

S101、获取待测目标的整体图像。在T101中，获取的整体图像为摄像头获取的整体的静态图像的内容。

S102、在整体图像中寻找标记点。在S102中，标记点的预先设置方式可包括多种，可以是在直播方指定部位作为标记点，也可以是摄像头获取的整体图像中指定区域为标记点，也可以采用外在辅助设备，以辅助设备所在的位置为标记。

S103、获取以标记点为中心，半径为预设半径的指定图像，并以该图像作为待测目标的实时图像。

在上述实施例中，通过将摄像头获取的整体图像进行简化处理得到待测目标的实时图像，能够使得后续对比过程中，对比图像的尺寸更小，机器进行图像对比所需要的计算力也就更低，能够有效降低设备的前期投入，提高经济性。另一方面，机器所需要的计算力更低，其占用的运行内容也更低，通过该设置，还能够有效提高系统的鲁棒性。在其他方面，将整体图像进行简化处理后，后续对比的过程中，图像对比的内容更少，能够有效避免因对比内容过多，导致其他次要内容（除开特定姿态的其他内容）对主要内容（包括特定姿态的内容）在对比过程造成影响的情况。

在其中一些实施例中，当获取待测目标的实时图像采用以标记点为中心，半径为预设半径的指定图像时的实施例时，存储库中预设的内容也可以是局部图像内容，后续对比图像像素点数量差时，其对比的像素点数量也更少，对比速度更快。

在一些示例中，标记点可以将待测物指令部位作为标记点，比如人体的面部、手部等。也可采用佩戴外设的方式，将佩戴外设所在的位置作为标记点所在的位置。

在另一些示例中，整体图像中寻找标记点可包括以下步骤：

S1021、对待测目标进行识别。

S1022、以待测目标的特定部位作为标记点。

在上述实施例中，通过对待测目标进行识别，能够在整体图像中内容过多时，进行针对性的识别操作，减少需要识别的内容，然后进行后续的对比动作。示例性的，当直播方包括多个人物时，为使得指令下达的更加准确，也为了避免其他人物因对指令动作不清楚而出现误操作的情况，而仅将其中部分人物作为指令下达方，通过对待测目标进行识别，能够有效避免其他的人或物的动作触发指令下达。另一方面，也能够降低系统的识别内容的数量，进而提高整个对比过程的对比效率。

在其中一些实施例中，进行录制动作之后，还包括以下步骤：

K10、停止录制动作。在K10中，发出停止录制动作指令后，得到一个包括连续帧图像的数组，然后将得到的包括连续帧图像的数组与存储库中的数据进行对比。

K20、重复获取待测目标的实时图像及后续步骤。在K20中，在停止录制动作之后，重复进行静态图像的识别，以进行下一次直播方控制指令的下达。而重复的步骤也可以与步骤S30和S40同时进行，即处理器一方面重复进行静态图像的识别，以判断是否需要进行录制动作；另一方面仍继续进行已经录制好的连续帧图像与存储库中预先存在的目标连续帧图像进行对比，以实现多核操作。当然，在不同的示例中，停止录制动作之后，重复进行静态图像的识别的步骤，也可以与步骤S30和S40步骤之间存在先后关系，示例性的，可在在先指令的识别和确定是否执行之后，再重复进行静态图像的识别的步骤，该方式对处理器的要求更低。

在其中一些实施例中，进行录制动作之后，停止录制动作之前，还包括以下步骤：

判断录制时间是否达到预设时间。

当判定达到预设时间时，则继续执行后续的停止录制动作的步骤。

在上述实施例中，以预设时间作为录制动作的结束信号，因时间长短与获取的连续帧图像的帧数呈正比，预设时间可采用存储库中目标连续帧图像帧数对应的录制时间，以避免因录制时间过短，导致直播方即便进行了正确的录制动作时，录制得到的连续帧图像因无法进行识别导致识别失败的情况。也能够避免因录制时间过长，导致系统进程占用时间过长，增加系统负担的情况。

在其中一些实施例中，判断在存储库中是否存在目标连续帧图像之后步骤之后，还包括以下步骤：

当检测到存储库中不存在目标连续帧图像与获取的连续帧图像中至少部分图像内容保持一致时，将获取的连续帧图像删除。

在上述实施例中，在录制的连续帧图像不能在存储库中找到对应的内容时，即判断该录制的连续帧图像无实际意义，之前的特定姿态是主播方作为日常动作的误触发，此时不需要进行指令下达，此时及时将获取的连续帧图像删除，可以有效解除内存的占用，提高互联网设备的运行速度。

另一方面，本实施例提供一种基于AI摄像头特征提取系统，包括存储器和处理器，存储器中存储有计算机程序，处理器执行该计算机程序，以实现上述实施例中任一项所述的基于AI摄像头特征提取方法。

本实施例还提供一种计算机存储介质，其上存储有计算机程序，计算机程序被处理模块进行加载，以实现上述实施例中任一项的基于AI摄像头特征提取方法。

以上所述，仅是本发明的较佳实施例，并非对本发明做任何行进上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。

Claims (8)

1.一种基于AI摄像头特征提取方法，其特征在于，包括以下步骤：

获取待测目标的实时图像；

检测到待测目标的特定姿态，进行录制动作，获取特定姿态后的连续帧图像；

将获取的所述连续帧图像与存储库中的内容进行对比，判断在所述存储库中是否存在目标连续帧图像；

当检测到所述存储库中存在目标连续帧图像与获取的所述连续帧图像中至少部分图像内容保持一致，执行所述目标连续帧图像对应的指令；

当检测到所述存储库中存在目标连续帧图像与获取的所述连续帧图像中至少部分图像内容保持一致之后，执行所述目标连续帧图像对应的指令之前，还包括以下步骤：

对获取的所述连续帧图像按照所述目标连续帧图像中内容进行剪切，得到与所述目标连续帧图像内容一致的处理后连续帧图像；

获取所述处理后连续帧图像中最先一帧的第一图像，和最后一帧的第二图像；

对所述第一图像和所述第二图像进行灰度处理，得到内容为0或1的多个像素点；

获取所述第一图像中像素点为1的数量和所述第二图像中像素点为1的数量差；

当所述第一图像中像素点为1的数量和所述第二图像中像素点为1的数量差在所述目标连续帧图像对应像素点数量差的范围内时，则继续进行后续的执行所述目标连续帧图像对应的指令。

2.根据权利要求1所述的基于AI摄像头特征提取方法，其特征在于，获取待测目标的实时图像包括：

获取待测目标的整体图像；

在所述整体图像中寻找标记点；

获取以所述标记点为中心，半径为预设半径的指定图像，并以该图像作为待测目标的实时图像。

3.根据权利要求2所述的基于AI摄像头特征提取方法，其特征在于，所述标记点包括以待测物指定部位为标记点，或以佩戴外设所在位置为标记点。

4.根据权利要求2所述的基于AI摄像头特征提取方法，其特征在于，在所述整体图像中寻找标记点包括：

对待测目标进行识别；

以待测目标的特定部位作为标记点。

5.根据权利要求1所述的基于AI摄像头特征提取方法，其特征在于，进行录制动作之后，还包括以下步骤：

停止录制动作；

重复获取待测目标的实时图像及后续步骤。

6.根据权利要求5所述的基于AI摄像头特征提取方法，其特征在于，进行录制动作之后，停止录制动作之前，还包括以下步骤：

判断录制时间是否达到预设时间；

当达到预设时间时，则继续执行后续的停止录制动作的步骤。

7.根据权利要求1所述的基于AI摄像头特征提取方法，其特征在于，判断在所述存储库中是否存在目标连续帧图像之后，还包括以下步骤：

当检测到所述存储库中不存在目标连续帧图像与获取的所述连续帧图像中至少部分图像内容保持一致时，将获取的所述连续帧图像删除。

8.一种基于AI摄像头特征提取系统，其特征在于，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序，以实现权利要求1至7任一项所述的基于AI摄像头特征提取方法。