CN112800811B - 一种色块追踪方法、装置及终端设备 - Google Patents

Abstract

本申请提供了一种色块追踪方法、装置及终端设备，适用于视觉识别技术领域，该方法包括：对视频进行采样；根据采样得到的第一帧图像进行目标物体的色块定位，得到目标物体色块在第一帧图像中所处的第一候选框区域；在第一帧图像中选取出包含第一候选框区域的第一活动区域；从采样得到的第二帧图像中确定出与第一活动区域对应的第二活动区域；对第二活动区域进行目标物体的色块定位，得到目标物体色块在第二帧图像中的第二候选框区域，并在第二帧图像中选取出包含第二候选框区域的第三活动区域。本申请实施例可以提升对目标物体色块追踪的效率和准确率。

Description

一种色块追踪方法、装置及终端设备

技术领域

本申请属于视觉识别技术领域，尤其涉及色块追踪方法及终端设备。

背景技术

色块追踪，是指对视频帧图像中存在的目标物体进行色块识别，并对目标物体色块在各帧图像中所处的候选框区域进行定位，以实现对目标物体色块位置的持续追踪。

相关的色块追踪方法，都是直接对所有帧图像进行全局色块扫描，并从扫描出的所有色块中识别出目标物体色块，这样虽然可以实现对目标物体色块的持续追踪，但一方面全局扫描处理的工作量大效率低下，对处理设备的负荷极大，另一方面，由于每次采集到的帧图像中都可能会存在干扰物，从而使得每次识别时都会存在较大的干扰，极容易导致追踪失败，因此，已知的色块追踪方法效率低下，且准确率难以得到保障。

发明内容

有鉴于此，本申请实施例提供了一种色块追踪方法及终端设备，可以解决色块追踪效率和准确率低下的问题。

本申请实施例的第一方面提供了一种色块追踪方法，包括：

对视频进行采样；

根据采样得到的第一帧图像进行目标物体的色块定位，得到目标物体色块在所述第一帧图像中所处的第一候选框区域；

在所述第一帧图像中选取出包含所述第一候选框区域的第一活动区域；

从采样得到的第二帧图像中确定出与所述第一活动区域对应的第二活动区域，所述第二帧图像与所述第一帧图像采样时间相邻，且所述第二帧图像的采样时间晚于所述第一帧图像的采样时间，所述第二活动区域在所述第二帧图像中的坐标与所述第一活动区域在所述第一帧图像中的坐标相同；

对所述第二活动区域进行所述目标物体的色块定位，得到所述目标物体色块在所述第二帧图像中的第二候选框区域，并在所述第二帧图像中选取出包含所述第二候选框区域的第三活动区域。

在第一方面的第一种可能的实现方式中，所述根据采样得到的第一帧图像进行目标物体的色块定位，得到目标物体色块在所述第一帧图像中所处的第一候选框区域，包括：

将采样得到的第N-1张视频帧作为第三帧图像，将采样得到的第N张视频帧作为所述第一帧图像，获取所述第三帧图像中的第四活动区域，并从所述第一帧图像中确定出与所述第四活动区域对应的第五活动区域，其中，N为大于1的整数，所述第四活动区域内包含所述目标物体色块在所述第三帧图像中所处的第三候选框区域；

对所述第五活动区域进行所述目标物体的色块定位，得到所述目标物体色块在所述第一帧图像中的所述第一候选框区域。

在第一方面的第二种可能的实现方式中，所述根据采样得到的第一帧图像进行目标物体的色块定位，得到目标物体色块在所述第一帧图像中所处的第一候选框区域，包括：

将采样得到的第1张视频帧作为所述第一帧图像，对所述第一帧图像进行全局色块扫描，并识别所述目标物体色块在所述第一帧图像中所处的所述第一候选框区域。

在第一方面的第三种可能的实现方式中，所述在所述第一帧图像中选取出包含所述第一候选框区域的第一活动区域，包括：

获取第一长度和第一宽度，基于所述第一长度和所述第一宽度对所述第一候选框区域的尺寸进行扩增，并将扩增后得到的图像区域作为所述第一活动区域。

在第一种可能的实现方式至第三种可能的实现方式的基础上，作为第一方面的第四种可能实现方式，所述对所述第二活动区域进行所述目标物体的色块定位，得到所述目标物体色块在所述第二帧图像中的第二候选框区域，包括：

对所述第二活动区域内所有的色块进行颜色筛选，得到与所述目标物体颜色相同的一个或多个待检测色块，并获取各个所述待检测色块在所述第二帧图像中所处的第四候选框区域；

针对每个所述第四候选框区域进行色块形状识别，得到对应的色块形状；

获取所述目标物体色块的色块形状，将所述目标物体色块与各个所述待检测色块进行色块形状的匹配，并将匹配成功的所述待检测色块识别为所述目标物体色块，将匹配成功的所述待检测色块对应的所述第四候选框区域，识别为所述目标物体色块对应的所述第二候选框区域。

在第四种可能的实现方式的基础上，作为第一方面的第五种可能实现方式，所述针对每个所述第四候选框区域进行色块形状识别，包括：

以所述第四候选框区域的四个角为基点，在所述第四候选框区域的四个角处绘制大小为第一尺寸的四个矩形，得到对应的四个矩形图像区域；

检测四个所述矩形图像区域分别与所述第四候选框区域内的所述待检测色块的重叠部分图像，得到对应的M个重叠部分图像，其中，M∈[1，2，3，4]；

根据M个所述重叠部分图像，识别所述第四候选框区域内的所述待检测色块的色块图形。

在第五种可能的实现方式的基础上，作为第一方面的第六种可能实现方式，所述根据M个所述重叠部分图像，识别所述第四候选框区域内的所述待检测色块的色块图形，包括：

若M＝4，4个所述重叠部分图像内包含的像素点数之间的差值小于第一阈值，且4个所述重叠部分图像的形状均为矩形，则判定所述第四候选框区域内的所述待检测色块的色块图形为矩形；

若M＝4，4个所述重叠部分图像内包含的像素点数之间的差值小于第一阈值，且4个所述重叠部分图像的形状均为夹角为90度的扇形，则判定所述第四候选框区域内的所述待检测色块的色块图形为圆形。

本申请实施例的第二方面提供了一种色块追踪装置，包括：

采样模块，用于对视频进行采样；

第一定位模块，用于根据采样得到的第一帧图像进行目标物体的色块定位，得到目标物体色块在所述第一帧图像中所处的第一候选框区域；

活动区域选取模块，用于在所述第一帧图像中选取出包含所述第一候选框区域的第一活动区域；

活动区域查找模块，用于从采样得到的第二帧图像中确定出与所述第一活动区域对应的第二活动区域，所述第二帧图像与所述第一帧图像采样时间相邻，且所述第二帧图像的采样时间晚于所述第一帧图像的采样时间，所述第二活动区域在所述第二帧图像中的坐标与所述第一活动区域在所述第一帧图像中的坐标相同；

第二定位模块，用于对所述第二活动区域进行所述目标物体的色块定位，得到所述目标物体色块在所述第二帧图像中的第二候选框区域，并在所述第二帧图像中选取出包含所述第二候选框区域的第三活动区域。

本申请实施例的第三方面提供了一种终端设备，所述终端设备包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面中任一项所述色块追踪方法的步骤。

本申请实施例的第四方面提供了一种计算机可读存储介质，包括：存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上述第一方面中任一项所述色块追踪方法的步骤。

本申请实施例的第五方面提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中任一项所述色块追踪方法。

本申请实施例与现有技术相比存在的有益效果是：在进行色块追踪时，对先采样到的帧图像而言，既会对目标物体色块所处的候选框区域进行定位，同时还会识别目标物体可能活动的区域范围，在对下一次采样到的帧图像进行处理时，则直接对前一次识别出的活动区域进行目标物体的色块定位，并同时识别目标物体此次可能活动的区域范围，从而使得每一次对帧图像的目标物体色块定位，都仅需要对帧图像中一片目标物体可能活动的图像区域进行识别定位，大大减少了每次目标物体色块识别的工作量提高了识别效率，同时由于仅对活动区域进行识别定位，使得帧图像中干扰物对识别定位的干扰大大降低，使得识别定位的准确率得以提升，因此本申请实施例可以提升对目标物体色块追踪的效率和准确率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例一提供的色块追踪方法的实现流程示意图；

图2是本申请实施例二提供的色块追踪方法的实现流程示意图；

图3是本申请实施例三提供的色块追踪方法的实现流程示意图；

图4A是本申请实施例四提供的色块追踪方法的实现流程示意图；

图4B是本申请实施例四提供的第二活动区域的示意图；

图4C是本申请实施例四提供的对第二活动区域进行矩形绘制的示意图；

图4D是本申请实施例四提供的对第二活动区域进行矩形绘制的示意图；

图4E是本申请实施例四提供的对第二活动区域进行矩形绘制的示意图；

图4F是本申请实施例四提供的对第二活动区域进行矩形绘制的示意图；

图5A是本申请实施例五提供的色块追踪方法的实现流程示意图；

图5B是本申请实施例五提供的第二活动区域的示意图；

图5C是本申请实施例五提供的对第二活动区域进行矩形绘制的示意图；

图6是本申请实施例六提供的色块追踪装置的结构示意图；

图7是本申请实施例七提供的终端设备的示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。

为了便于理解本申请，此处先对本申请实施例进行简要说明，色块追踪广泛应用于材料分拣、商标识别、图像处理、产品质检和车辆识别等场景之中，可以实现对目标物体色块的有效追踪，但相关的色块追踪方法都是直接对所有帧图像均进行全局色块扫描，例如OpenMV机器视觉模块中内置的色块追踪的find_blobs函数，而全局扫描一方面处理的工作量大效率低下，对处理设备的负荷极大，特别是对于一些如单片机等计算资源较为紧张的处理设备而言，实用性较差，另一方面，由于每次采集到的帧图像中都可能会存在干扰物，从而使得每次识别时都会存在较大的干扰，极容易导致追踪失败，因此，已知的色块追踪方法效率低下，且准确率难以得到保障。

为了提升色块追踪的效率和准确率，本申请实施例在开始对视频进行帧图像的持续采样时，就进行目标物体色块定位，其中对于任意两张相邻采样的帧图像而言，对先采样到的帧图像，在对目标物体色块所处的候选框区域进行定位的同时，考虑到在较短的采样间隔时长内实际目标物体移动的区域范围十分有限，因此还会识别目标物体可能活动的区域范围，在对后一张采样到的帧图像进行处理时，则直接对前一次识别出的活动区域进行目标物体的色块定位，并同时识别目标物体下次可能活动的区域范围，从而使得每一次对帧图像的目标物体色块定位，都仅需要对帧图像中一片目标物体可能活动的图像区域进行识别定位，大大减少了每次目标物体色块识别的工作量提高了识别效率，同时由于仅对活动区域进行识别定位，使得帧图像中干扰物对识别定位的干扰大大降低，使得识别定位的准确率得以提升，因此本申请实施例可以提升对目标物体色块追踪的效率和准确率。

对本申请实施例中可能涉及到的名词说明如下：

候选框区域，是指由色块所处的候选框框选的图像区域。

活动区域，是指目标物体色块在下一张采样的帧图像之中可能处于的图像区域，由于色块追踪时对视频帧图像的采样频率较高，相邻两张采样帧图像之间间隔时间极短，因此在已知目标物体色块在前一张帧图像中所处的候选框区域之后，可以大致预估出其在下一张采样的视频帧中对应活动的范围，进而可以确定出活动范围对应的图像区域，因此本申请实施例中，在每次对视频帧完成目标物体色块的定位之后，还会基于定位出的候选框区域，进一步地计算出对应的活动区域，以供下一张采样的视频帧使用。

同时，本申请实施例中色块追踪方法的执行主体为具有一定数据处理功能的终端设备，其中一定的数据处理能力，是指可以进行本申请实施例中的色块形状识别和目标物体色块识别和定位处理的能力，此处不对执行主体的具体设备种类进行限定，可由技术人员根据实际需求进行设定，包括但不限于如单片机等处理能力较弱的终端设备，或者一些如电脑等处理能力较强的终端设备。

另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。还应理解的是，虽然术语“第一”、“第二”等在文本中在一些本申请实施例中用来描述各种元素，但是这些元素不应该受到这些术语的限制。这些术语只是用来将一个元素与另一元素区分开。例如，第一帧图像可以被命名为第二帧图像，并且类似地，第二帧图像可以被命名为第一帧图像，而不背离各种所描述的实施例的范围。第一帧图像和第二帧图像都是视频帧，但是它们不是同一视频帧。

对本申请实施例进行色块追踪的过程详述如下

图1示出了本申请实施例一提供的色块追踪方法的实现流程图，详述如下：

S101，对视频进行采样。

在开始对视频进行采样之后，本申请实施例会持续获取到新的视频帧，直至接收到停止追踪的相关指令，或者达到一些特定的停止条件时才会停止采样，其中特定的停止条件可由技术人员根据实际不同场景的需求来进行设定，此处不予限定，例如预先设置了一个色块追踪时间段，此时，当前时刻是否为时间段的终点时刻就是对应特定的停止条件。同时，本申请实施例不对具体采样的频率进行限定，可以根据实际应用需求设定，例如，既可以是设置为一个固定的频率大小，如可以是50张/秒，也可以是先对视频帧采样的间隔进行设置，如对每张帧图像都进行采样，再根据采样间隔和视频的帧率进行采样频率的计算。

应当理解地，根据实际执行主体情况的不同，此处对视频的获取方式也可能会存在多种差异，其中，当是由执行主体中自带的摄像头进行视频采集时，此时直接实时获取摄像头采集的视频并处理即可，而当视频是由其他设备采集并发送给执行主体时，则需要对接收到的视频进行实时处理，此时视频的获取则会存在一个视频接收的过程。

作为本申请的一种触发对目标物体色块追踪的具体实施方式，包括：

若检测到触发指令，开始对视频进行采样。

其中，触发指令，是指可以触发对目标物体的色块追踪功能的一类指令，在不同的场景之下，触发指令的对应的实际指令可以不同，例如在正常调用色块追踪功能的场景之下，触发指令可以是对色块追踪功能的启动指令，而在一些特殊场景之下，触发指令也可以是对应的一些特定指令，如设置了开机就自动运行色块追踪功能的场景之下，开机指令就是触发指令。

在检测到触发指令时，本申请实施例会开始对视频进行视频帧的图像采样，以对目标物体的色块分析和追踪。

S102，根据采样得到的第一帧图像进行目标物体的色块定位，得到目标物体色块在第一帧图像中所处的第一候选框区域。

在S101对视频进行持续采样的同时，本申请实施例会对采样得到的视频帧进行目标物体的色块定位，具体而言：

本申请实施例中，第一帧图像可以是采样得到的视频帧中除最后一张以外的任意一张视频帧，而第二帧图像则是在第一帧图像之后下一次采样到的视频帧，因此跟随着第一帧图像的采样情况变化，第二帧图像可以是采样得到的视频帧中除第一张以外的任意一张视频帧。在本申请实施例中，对相邻采样到的视频帧的处理方式相同，因此仅以单组相邻采样的视频帧：第一帧图像和第二帧图像为例进行说明，应当理解地，由于在本申请实施例中第一帧图像可以是采样得到的视频帧中除最后一张以外的任意一张视频帧，因此第一帧图像和第二帧图像的组合，即为采样到的视频帧中任意一对相邻采样的视频帧的组合，从而保证可以对采样到的每个视频帧都进行目标物体的色块定位，实现最终的色块追踪功能。

对于先采样到的第一帧图像而言，本申请实施例会对第一帧图像进行目标物体色块定位，从而确定出目标物体色块在第一帧图像中所处的候选框区域，由于本申请实施例中对视频帧的处理实质是一个循环的过程，因此对第一帧图像的目标物体色块定位的操作，在第一帧图像不是采样到的第一张视频帧时，可以直接参考S104-S105中对第二帧图像的操作。

考虑到第一帧图像是采样到的第一张视频帧时，由于没有更早的视频帧处理结果的参考，无法采用如对第二帧图像的处理方式，因此此时对第一帧图像的目标物体色块定位需要有一套与第二帧图像不同的处理方法，在本申请实施例中，不对第一帧图像为采样到的第一张视频帧时，对第一帧图像的目标物体色块定位的方法进行限定，可由技术人员根据实际需求进行选取或者设定，包括但不限于如全局色块扫描，或者预先将视频帧划分为几个大区域，再按照预设的顺序，依次对各个区域进行目标物体色块的识别定位。

作为本申请的一个实施例，对第一帧图像的目标物体色块定位的步骤包括：

将采样得到的第1张视频帧作为第一帧图像，对第一帧图像进行全局色块扫描，并识别目标物体色块在第一帧图像中所处的第一候选框区域。

在本申请实施例中，对第一帧图像是采样到的第一张视频帧的情况，选用了全局色块扫描的方法来进行对目标物体色块的首次识别定位，以保障对目标物体首次定位的准确性，其中全局色块扫描，是指对第一帧图像进行整张图像的色块扫描，并识别出其中目标物体对应的色块。

S103，在第一帧图像中选取出包含第一候选框区域的第一活动区域。

由上述说明可知，在确定出目标物体色块所处的候选框区域的基础上，由于每次采样的时间间隔极短，因此对目标物体色块在下一张帧图像总的可能活动范围是可以预估的，因此本申请实施例在确定出第一帧图像中目标物体色块对应的第一候选框区域之后，会基于第一候选框区域来进行对应第一活动区域的定位识别，以便于后续对第二帧图像的处理。其中，本申请上述实例不对具体的活动区域选取方法进行限定，可由技术人员根据实际需求来进行选取或者设定，例如以候选框区域为中心选取一个大于候选框区域的活动区域，或者对目标物体色块在各个历史视频帧中的运动趋势进行分析，确定出对应的运动方向，再根据运动方向来选取一个活动区域，此时候选框区域可以不在活动区域的中心，但无论何种选取方法，均需要满足活动区域内一定要包含对应的候选框区域。

作为本申请实施例一中进行第一活动区域选取的一种具体实现方式，对第一活动区域选取的操作，包括：

获取第一长度和第一宽度，基于第一长度和第一宽度对第一候选框区域的尺寸进行扩增，并将扩增后得到的图像区域作为第一活动区域。

在本申请实施例中，考虑到目标物体色块运动的方向较难确定，即实际应用时，往往难以确定下一张视频帧中目标物体色块会往哪个方向移动，因此本申请实施例会以第一候选区域为基础对第一候选区域的尺寸进行扩增，实现对第一候选区域“放大”的效果，并将扩增后得到的图像区域作为对应的第一活动区域，从而保证选取出的活动区域可以满足目标物体色块在任意方向上的运动情况。其中，第一长度和第一宽度的具体值大小此处不予限定，可由技术人员自行设定，其既可以是固定的值大小，也可以是对实际第一候选框区域的尺寸进行系数放大后得到的值，如可以设置为第一长度为第一候选框长度的三倍。

S104，从采样得到的第二帧图像中确定出与第一活动区域对应的第二活动区域，第二帧图像与第一帧图像采样时间相邻，且第二帧图像的采样时间晚于第一帧图像的采样时间，第二活动区域在第二帧图像中的坐标与第一活动区域在第一帧图像中的坐标相同。

在第一帧图像完成对第一活动区域选取的基础上，开始对下一张采样出的帧图像进行目标物体色块定位，具体而言，本申请实施例会在第二帧图像中查找出与第一活动区域对应的第二活动区域，第二活动区域在第二帧图像中的坐标与第一活动区域在第一帧图像中的坐标相同，例如，假设第一活动区域为第一帧图像的整个左半边区域图像，此时第二活动区域则为第二帧图像的整个左半边区域图像，从而实现对目标物体色块在第二帧图像可能的活动区域进行快速识别定位。

S105，对第二活动区域进行目标物体的色块定位，得到目标物体色块在第二帧图像中的第二候选框区域，并在第二帧图像中选取出包含第二候选框区域的第三活动区域。

在确定出第二活动区域后，本申请实施例直接在第二活动区域内进行目标物体的色块定位，确定出对应的第二候选框区域，由于第二活动区域仅是第二帧图像中的一部分图像区域，因此相对全局色块扫描而言工作量大大减小，效率得到了极大的提升，其中，本申请实施例不对具体的活动区域目标物体色块定位方法进行限定，可由技术人员根据实际需求进行选取或设定，包括但不限于如直接对第二活动区域进行全局色块扫描，而不对第二活动区域以外的图像区域进行处理，亦可参考本申请实施例三至五以及其他相关实施例。

在实现对第二候选框区域定位的同时，本申请实施例还会进一步地选取出第二候选区域对应的第三活动区域，以共后续的视频帧处理使用，保障除第一张采样到的视频帧以外，每一张视频帧都可以参考前一张采样的视频帧的活动区域，进行目标物体色块的快速准确定位。其中，具体对第三活动区域的选取方法，可以参考上述对第一活动区域的选取方法说明，此处不予赘述。

为了提升色块追踪的效率和准确率，本申请实施例在开始对视频进行帧图像的持续采样时，就开始进行目标物体色块定位，其中对于任意两张相邻采样的帧图像而言，对先采样到的帧图像，在对目标物体色块所处的候选框区域进行定位的同时，考虑到在较短的采样间隔时长内实际目标物体移动的区域范围十分有限，因此还会识别目标物体可能活动的区域范围，在对后一张采样到的帧图像进行处理时，则直接对前一次识别出的活动区域进行目标物体的色块定位，并同时识别目标物体此次可能活动的区域范围，从而使得每一次对帧图像的目标物体色块定位，都仅需要对帧图像中一片目标物体可能活动的图像区域进行识别定位，大大减少了每次目标物体色块识别的工作量提高了识别效率，同时由于仅对活动区域进行识别定位，使得帧图像中干扰物对识别定位的干扰大大降低，使得识别定位的准确率得以提升，因此本申请实施例可以提升对目标物体色块追踪的效率和准确率。

作为本申请实施例一中对第一帧图像的目标物体色块定位的一种具体实现方式，针对第一帧图像不是第一张采样到的视频帧的情况，如图2所示，本申请实施例进行目标物体色块定位的步骤，包括：

S201，将采样得到的第N-1张视频帧作为第三帧图像，将采样得到的第N张视频帧作为第一帧图像，获取第三帧图像中的第四活动区域，并从第一帧图像中确定出与第四活动区域对应的第五活动区域，其中，N为大于1的整数，第四活动区域内包含目标物体色块在第三帧图像中所处的第三候选框区域。

在本申请实施例中，为了实现对第一帧图像的处理，首先会获取在第一帧图像前一张采样的视频帧(即第三帧图像)中目标物体色块对应的活动区域，以实现对第一帧图像对应的活动区域的查找，保障对第一帧图像目标物体色块的快速定位。其中，N的值是随着对视频的实时采样情况变化而变化的，而不是一个固定的数值，如假设实时处理的第一帧图像为采集到的第三张视频帧时，此时N就为3，而若实时处理的第一帧图像为采集到的第十张视频帧时，此时N就为10。

S202，对第五活动区域进行目标物体的色块定位，得到目标物体色块在第一帧图像中的第一候选框区域。

本申请实施例中的第五活动区域查找和对第五活动区域内目标物体色块的定位，与本申请实施例一中对第二活动区域的查找，以及对第二活动区域内目标物体色块定位相同，详情可参考本申请实施例一中的相关说明，此处不予赘述。

作为上述本申请实施例一中对第二活动区域进行目标物体色块定位的一种具体实现方式，考虑到实际应用中活动区域一般不会设定的太小，以防止目标物体色块运动中活动区域外，导致色块追踪失败，而当活动区域比较大的时候，又极有可能有干扰物体的色块进入活动区域，从而导致目标物体色块的识别准确性难以得到保障，虽然可以在活动区域内进行目标物体的物体识别，但直接进行物体识别的工作量较大，会占用较多的处理资源，因此又会导致目标物体色块识别效率大大降低。

为了保障在对活动区域内目标物体色块定位时，对目标物体色块识别的准确率和效率，在上述各个本申请实施例的基础上，如图3所示，本申请实施例三中对第二活动区域进行目标物体色块定位的步骤，包括：

S301，对第二活动区域内所有的色块进行颜色筛选，得到与目标物体颜色相同的一个或多个待检测色块，并获取各个待检测色块在第二帧图像中所处的第四候选框区域。

其中，由于在S102中已经识别出了目标物体色块，即已经获知了目标物体色块的颜色，或者也可以由用户自行输入目标物体色块的颜色，因此本申请实施例会直接基于已知的目标物体色块颜色对第二活动区域进行色块查找，以确定出颜色匹配的一个或多个待检测色块，并同时确定出对应的一个或多个第四候选框区域，从而实现对目标物体色块的快速粗筛选操作。

S302，针对每个第四候选框区域进行色块形状识别，得到对应的色块形状。

考虑到实际情况中，活动区域内进入干扰物体色块的概率本身就比较小，同时出现与目标物体色块形状相同的干扰物体色块的概率就更小，因此为了实现对目标物体色块的快速准确识别，在本申请实施例中选用了色块形状匹配的方式进行目标物体色块的识别，因此本申请实施例会识别每个第四候选框内色块的形状。

S303，获取目标物体色块的色块形状，将目标物体色块与各个待检测色块进行色块形状的匹配，并将匹配成功的待检测色块识别为目标物体色块，将匹配成功的待检测色块对应的第四候选框区域，识别为目标物体色块对应的第二候选框区域。

由于目标物体色块的色块形状既可以是用户预先输入的，也可以是对目标物体色块进行形状识别得到的，此处不予限定，可根据实际场景情况确定。同时目标物体色块的色块形状既可以是单种形状如矩形，也可以是同时包含多种形状，以满足不同情况下目标物体出现不同投影形状的情况，具体此处亦不予限定，可由技术人员根据实际需求设定，如考虑到圆柱形物体投影既可能是矩形，也可能是圆形的情况，可以将目标物体色块的色块形状设置为同时包含圆形和矩形。

由于目标物体色块的色块形状是已知数据，因此在获取到各个待检测物体色块的色块形状的基础上，对这些色块形状进行匹配即可以识别出其中的目标物体色块的色块形状，从而确定出活动区域内包含的目标物体色块，以及目标物体色块对应的第二候选框区域。

考虑到实际情况中，当色块追踪方法的执行主体为单片机等计算能力较弱的终端设备时，若目标物体色块的识别工作量较大，会直接导致处理的效率大大降低，为了减小目标物体色块识别的工作量提高识别效率，本申请实施例选用了色块形状识别匹配的方式进行目标物体色块识别，由于没有复杂的图像匹配和数据计算等操作，使得形状的识别计算量极小效率大大提高。同时由于本身识别的活动区域就是视频帧中的一部分图像区域，其检索的区域范围极为有限，因此干扰源一般较少且难以有色块形状相似的情况出现，因此基于色块形状的识别准确性得以保障，进而使得本申请实施例可以实现对目标物体色块识别的准确高效识别。

作为本申请的一个实施例，在S303中，若出现色块形状匹配失败的情况，即说明目标物体色块运动超出了对应的活动范围，此时，为了保障对目标物体色块的准确定位，本申请实施例会再次对第二帧图像进行全局色块扫描。

作为本申请实施例三中对第四候选框区域内待检测色块进行色块形状识别的一种具体实现方式，为了进一步提高对色块形状识别的效率，如图4A所示，本申请实施例四中色块形状识别的步骤，包括：

S401，以第四候选框区域的四个角为基点，在第四候选框区域的四个角处绘制大小为第一尺寸的四个矩形，得到对应的四个矩形图像区域。

在本申请实施例中，会以第四候选框区域的四个角为基点来进行第一尺寸大小的矩形绘制，并利用绘制矩形与待检测色块之间的重叠部分图像，来检测待检测色块的四个角的情况，进而识别出对应的色块形状，其中第一尺寸的具体数值，理论上矩形尺寸越大绘制矩形与待检测色块的交汇概率越大，从而使得对重叠部分图像面积越大，但过大的绘制矩形又会导致对重叠部分图像整体相似的可能性更大，从而使得对形状识别的准确率下降，反之，绘制矩形尺寸越小，重叠部分图像相似的可能性越小，识别的准确率越高，因此第一尺寸的具体值可由技术人员根据实际需求确定，此处不予限定。

参考图4B对矩形绘制的过程进行举例说明，假设图4B中矩形边框内框选的区域为第四候选框，其中的黑色矩形为包含的待检测色块，此时本申请实施例会以矩形边框的四个角为基点来绘制对应的四个矩形，参考图4C和图4D，均是以矩形边框的四个角为基点来进行矩形绘制后得到的包含矩形图像区域和第四候选区域的示意图，但图4C绘制的方法为以四个角为绘制矩形的角，向矩形边框内进行矩形绘制，而图4D则是以四个角为矩形中心来进行矩形绘制，本申请实施例中不对具体矩形绘制的方法进行限定，既可以是如图4C中的以四个角为绘制矩形的角向矩形边框内进行矩形绘制，也可以是如图4D中的以四个角为矩形中心来进行矩形绘制，只要保证4个绘制矩形中，至少存在一个绘制矩形与待检测色块之间存在交汇即可。

S402，检测四个矩形图像区域分别与第四候选框区域内的待检测色块的重叠部分图像，得到对应的M个重叠部分图像，其中，M∈[1，2，3，4]。

参考图4C、图4D、图4E和图4F可知，不同的色块形状以及不同绘制矩形尺寸，会导致最终得到的重叠部分图像的数量和形状等存在一定的差异，因此本申请实施例在得到四个矩形图像区域之后，可以得到对应的M个充电部分图像，其中具体的M值大小，需根据实际绘制后的情况决定，如图4C、图4D和图4E中M均为4，但图4F中，M则为2。

S403，根据M个重叠部分图像，识别第四候选框区域内的待检测色块的色块图形。

由于不同形状的待检测色块与四个矩形图像区域对应的重叠部分图像数量和形状都会存在一定的差异，如图4C、图4D、图4E和图4F中所示，当待检测色块为矩形和圆形等规则图形时，对应的重叠部分图像数量一般为4，而当待检测色块为如心形等不规则的图形时，此时重叠部分图像的数量往往难以确定。正是基于这一特性，本申请实施例会根据重叠部分图像的具体个数、形状以及包含像素点数量等属性，来判别出对应待检测色块的具体色块形状，其中，本申请实施例不对具体使用的属性数量和判别方法进行限定，可由技术人员根据实际自行选取设定，包括但不限于如，同时根据重叠部分图像的具体个数、形状以及包含像素点数量三种属性，来识别具体的形状，或者仅根据个数和形状来识别形状。

作为本申请实施例四中根据M个重叠部分图像来识别待检测色块的色块图形的一种具体实现方式，如图5A所示，本申请实施例五识别色块图形的操作，包括：

S501，若M＝4，4个重叠部分图像内包含的像素点数之间的差值小于第一阈值，且4个重叠部分图像的形状均为矩形，则判定第四候选框区域内的待检测色块的色块图形为矩形。

参考图4C和图4D可知，当待检测色块为矩形时，其会与4个矩形图像区域均产生交汇，即对应的重叠部分图像数量应该为4，此时重叠部分图像也都为矩形，同时4个重叠部分图像内包含的像素点数也应当是差不多的(由于投影得到的图形不一定是标准的矩形，因此重叠部分图像之间会稍有差异)。

因此，在识别出M＝4，4个重叠部分图像内包含的像素点数之间的差值小于第一阈值，且4个重叠部分图像的形状均为矩形时，本申请实施例会直接判定待检测色块为矩形。其中。第一阈值的具体数值大小，可由技术人员根据实际需求自行设定，此处不予限定。

S502，若M＝4，4个重叠部分图像内包含的像素点数之间的差值小于第一阈值，且4个重叠部分图像的形状均为夹角为90度的扇形，则判定第四候选框区域内的待检测色块的色块图形为圆形。

同理，参考图4E可知，当M＝4，4个重叠部分图像内包含的像素点数之间的差值小于第一阈值，且4个重叠部分图像的形状均为夹角为90度的扇形，说明待检测色块为圆形。

作为本申请的一个实施例，参考图4F可知，当待检测色块为不规则图形时，往往不会同时与4个矩形图像区域均产生交汇，或者参考图5B，假设待检测色块为图5B中的不规则多边形，此时进行矩形绘制之后，可以得到图5C，由图5C可知，此时M＝4，但4个重叠部分图像内包含的像素点数之间的差值较大，因此在本申请实施例中，识别色块图形的操作，包括：

若M<4，或者当M＝4时，4个重叠部分图像内包含的像素点数差值大于或等于第一阈值，判定第三候选框区域内的待检测色块的色块图形为不规则图形。

其中，不规则图形是指既非圆形也非矩形的图形。

应当理解地，本申请实施例中，除采样的第一张视频帧以外，对其他所有采样的视频帧的处理方式实质都是一样的，因此上述本申请实施例三至五，以及其他第二帧图像处理方法对应的实施例，均可应用在非第一张采样的任意视频帧之中，而均属于本申请包含的范围，此时只需要将对应的对象由第二帧图像替换为待处理的视频帧即可。

对应于上文实施例的方法，图6示出了本申请实施例提供的色块追踪装置的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。图6示例的色块追踪装置可以是前述实施例一提供的色块追踪方法的执行主体。

参照图6，该色块追踪装置包括：

采样模块61，用于对视频进行采样。

第一定位模块62，用于根据采样得到的第一帧图像进行目标物体的色块定位，得到目标物体色块在所述第一帧图像中所处的第一候选框区域。

活动区域选取模块63，用于在所述第一帧图像中选取出包含所述第一候选框区域的第一活动区域。

活动区域查找模块64，用于从采样得到的第二帧图像中确定出与所述第一活动区域对应的第二活动区域，所述第二帧图像与所述第一帧图像采样时间相邻，且所述第二帧图像的采样时间晚于所述第一帧图像的采样时间，所述第二活动区域在所述第二帧图像中的坐标与所述第一活动区域在所述第一帧图像中的坐标相同。

第二定位模块65，用于对所述第二活动区域进行所述目标物体的色块定位，得到所述目标物体色块在所述第二帧图像中的第二候选框区域，并在所述第二帧图像中选取出包含所述第二候选框区域的第三活动区域。

进一步地，第一定位模块62，包括：

将采样得到的第N-1张视频帧作为第三帧图像，将采样得到的第N张视频帧作为所述第一帧图像，获取所述第三帧图像中的第四活动区域，并从所述第一帧图像中确定出与所述第四活动区域对应的第五活动区域，其中，N为大于1的整数，所述第四活动区域内包含所述目标物体色块在所述第三帧图像中所处的第三候选框区域。

对所述第五活动区域进行所述目标物体的色块定位，得到所述目标物体色块在所述第一帧图像中的所述第一候选框区域。

进一步地，第一定位模块62，还包括：

将采样得到的第1张视频帧作为所述第一帧图像，对所述第一帧图像进行全局色块扫描，并识别所述目标物体色块在所述第一帧图像中所处的所述第一候选框区域。

进一步地，活动区域选取模块63，包括：

获取第一长度和第一宽度，基于所述第一长度和所述第一宽度对所述第一候选框区域的尺寸进行扩增，并将扩增后得到的图像区域作为所述第一活动区域。

进一步地，第二定位模块65，包括：

色块筛选模块，用于对所述第二活动区域内所有的色块进行颜色筛选，得到与所述目标物体颜色相同的一个或多个待检测色块，并获取各个所述待检测色块在所述第二帧图像中所处的第四候选框区域。

形状识别模块，用于针对每个所述第四候选框区域进行色块形状识别，得到对应的色块形状。

色块匹配模块，用于获取所述目标物体色块的色块形状，将所述目标物体色块与各个所述待检测色块进行色块形状的匹配，并将匹配成功的所述待检测色块识别为所述目标物体色块，将匹配成功的所述待检测色块对应的所述第四候选框区域，识别为所述目标物体色块对应的所述第二候选框区域。

进一步地，形状识别模块，包括：

矩形绘制模块，用于以所述第四候选框区域的四个角为基点，在所述第四候选框区域的四个角处绘制大小为第一尺寸的四个矩形，得到对应的四个矩形图像区域。

重叠检测模块，用于检测四个所述矩形图像区域分别与所述第四候选框区域内的所述待检测色块的重叠部分图像，得到对应的M个重叠部分图像，其中，M∈[1，2，3，4]。

识别模块，用于根据M个所述重叠部分图像，识别所述第四候选框区域内的所述待检测色块的色块图形。

进一步地，识别模块，包括：

若M＝4，4个所述重叠部分图像内包含的像素点数之间的差值小于第一阈值，且4个所述重叠部分图像的形状均为矩形，则判定所述第四候选框区域内的所述待检测色块的色块图形为矩形。

若M＝4，4个所述重叠部分图像内包含的像素点数之间的差值小于第一阈值，且4个所述重叠部分图像的形状均为夹角为90度的扇形，则判定所述第四候选框区域内的所述待检测色块的色块图形为圆形。

本申请实施例提供的色块追踪装置中各模块实现各自功能的过程，具体可参考前述图1至5所示的各个实施例，以及其他相关的色块追踪方法的实施例的描述，此处不再赘述。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

本申请实施例提供的色块追踪方法可以应用于手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)等终端设备上，本申请实施例对终端设备的具体类型不作任何限制。

例如，所述终端设备可以是WLAN中的站点(STAION，ST)，可以是蜂窝电话、无绳电话、会话启动协议(Session InitiationProtocol，SIP)电话、无线本地环路(WirelessLocal Loop，WLL)站、个人数字处理(Personal Digital Assistant，PDA)设备、具有无线通信功能的手持设备、计算设备或连接到无线调制解调器的其它处理设备、车载设备、车联网终端、电脑、膝上型计算机、手持式通信设备、手持式计算设备、卫星无线设备、无线调制解调器卡、电视机顶盒(set top box，STB)、用户驻地设备(customer premise equipment，CPE)和/或用于在无线系统上进行通信的其它设备以及下一代通信系统，例如，5G网络中的移动终端或者未来演进的公共陆地移动网络(Public Land Mobile Network，PLMN)网络中的移动终端等。

作为示例而非限定，当所述终端设备为可穿戴设备时，该可穿戴设备还可以是应用穿戴式技术对日常穿戴进行智能化设计、开发出可以穿戴的设备的总称，如眼镜、手套、手表、服饰及鞋等。可穿戴设备即直接穿在身上，或是整合到用户的衣服或配件的一种便携式设备。可穿戴设备不仅仅是一种硬件设备，更是通过软件支持以及数据交互、云端交互来实现强大的功能。广义穿戴式智能设备包括功能全、尺寸大、可不依赖智能手机实现完整或者部分的功能，如智能手表或智能眼镜等，以及只专注于某一类应用功能，需要和其它设备如智能手机配合使用，如各类进行体征监测的智能手环、智能首饰等。

图7是本申请一实施例提供的终端设备的结构示意图。如图7所示，该实施例的终端设备7包括：至少一个处理器70(图7中仅示出一个)、存储器71，所述存储器71中存储有可在所述处理器70上运行的计算机程序72。所述处理器70执行所述计算机程序72时实现上述各个色块追踪方法实施例中的步骤，例如图1所示的步骤101至105。或者，所述处理器70执行所述计算机程序72时实现上述各装置实施例中各模块/单元的功能，例如图6所示模块61至65的功能。

所述终端设备7可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器70、存储器71。本领域技术人员可以理解，图7仅仅是终端设备7的示例，并不构成对终端设备7的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入发送设备、网络接入设备、总线等。

所称处理器70可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器71在一些实施例中可以是所述终端设备7的内部存储单元，例如终端设备7的硬盘或内存。所述存储器71也可以是所述终端设备7的外部存储设备，例如所述终端设备7上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(SecureDigital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器71还可以既包括所述终端设备7的内部存储单元也包括外部存储设备。所述存储器71用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器71还可以用于暂时地存储已经发送或者将要发送的数据。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。

本申请实施例提供了一种计算机程序产品，当计算机程序产品在移动终端上运行时，使得移动终端执行时实现可实现上述各个方法实施例中的步骤。

所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、电载波信号、电信信号以及软件分发介质等。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使对应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (9)

1.一种色块追踪方法，其特征在于，包括：

对视频进行采样；

根据采样得到的第一帧图像进行目标物体的色块定位，得到目标物体色块在所述第一帧图像中所处的第一候选框区域；

在所述第一帧图像中选取出包含所述第一候选框区域的第一活动区域；

从采样得到的第二帧图像中确定出与所述第一活动区域对应的第二活动区域，所述第二帧图像与所述第一帧图像采样时间相邻，且所述第二帧图像的采样时间晚于所述第一帧图像的采样时间，所述第二活动区域在所述第二帧图像中的坐标与所述第一活动区域在所述第一帧图像中的坐标相同；

对所述第二活动区域进行所述目标物体的色块定位，得到所述目标物体色块在所述第二帧图像中的第二候选框区域，并在所述第二帧图像中选取出包含所述第二候选框区域的第三活动区域；

所述对所述第二活动区域进行所述目标物体的色块定位，得到所述目标物体色块在所述第二帧图像中的第二候选框区域，包括：

对所述第二活动区域内所有的色块进行颜色筛选，得到与所述目标物体颜色相同的一个或多个待检测色块，并获取各个所述待检测色块在所述第二帧图像中所处的第四候选框区域；

针对每个所述第四候选框区域进行色块形状识别，得到对应的色块形状；

获取所述目标物体色块的色块形状，将所述目标物体色块与各个所述待检测色块进行色块形状的匹配，并将匹配成功的所述待检测色块识别为所述目标物体色块，将匹配成功的所述待检测色块对应的所述第四候选框区域，识别为所述目标物体色块对应的所述第二候选框区域；

其中，候选框区域表示由色块所处的候选框框选的图像区域；活动区域表示目标物体色块在下一张采样的帧图像之中可能处于的图像区域。

2.如权利要求1所述的色块追踪方法，其特征在于，所述根据采样得到的第一帧图像进行目标物体的色块定位，得到目标物体色块在所述第一帧图像中所处的第一候选框区域，包括：

将采样得到的第N-1张视频帧作为第三帧图像，将采样得到的第N张视频帧作为所述第一帧图像，获取所述第三帧图像中的第四活动区域，并从所述第一帧图像中确定出与所述第四活动区域对应的第五活动区域，其中，N为大于1的整数，所述第四活动区域内包含所述目标物体色块在所述第三帧图像中所处的第三候选框区域；

对所述第五活动区域进行所述目标物体的色块定位，得到所述目标物体色块在所述第一帧图像中的所述第一候选框区域。

3.如权利要求1所述的色块追踪方法，其特征在于，所述根据采样得到的第一帧图像进行目标物体的色块定位，得到目标物体色块在所述第一帧图像中所处的第一候选框区域，包括：

将采样得到的第1张视频帧作为所述第一帧图像，对所述第一帧图像进行全局色块扫描，并识别所述目标物体色块在所述第一帧图像中所处的所述第一候选框区域。

4.如权利要求1所述的色块追踪方法，其特征在于，所述在所述第一帧图像中选取出包含所述第一候选框区域的第一活动区域，包括：

获取第一长度和第一宽度，基于所述第一长度和所述第一宽度对所述第一候选框区域的尺寸进行扩增，并将扩增后得到的图像区域作为所述第一活动区域。

5.如权利要求1所述的色块追踪方法，其特征在于，所述针对每个所述第四候选框区域进行色块形状识别，包括：

以所述第四候选框区域的四个角为基点，在所述第四候选框区域的四个角处绘制大小为第一尺寸的四个矩形，得到对应的四个矩形图像区域；

检测四个所述矩形图像区域分别与所述第四候选框区域内的所述待检测色块的重叠部分图像，得到对应的M个重叠部分图像，其中，M∈[1，2，3，4]；

根据M个所述重叠部分图像，识别所述第四候选框区域内的所述待检测色块的色块图形。

6.如权利要求5所述的色块追踪方法，其特征在于，所述根据M个所述重叠部分图像，识别所述第四候选框区域内的所述待检测色块的色块图形，包括：

若M＝4，4个所述重叠部分图像内包含的像素点数之间的差值小于第一阈值，且4个所述重叠部分图像的形状均为矩形，则判定所述第四候选框区域内的所述待检测色块的色块图形为矩形；

若M＝4，4个所述重叠部分图像内包含的像素点数之间的差值小于第一阈值，且4个所述重叠部分图像的形状均为夹角为90度的扇形，则判定所述第四候选框区域内的所述待检测色块的色块图形为圆形。

7.一种色块追踪装置，其特征在于，包括：

采样模块，用于对视频进行采样；

第一定位模块，用于根据采样得到的第一帧图像进行目标物体的色块定位，得到目标物体色块在所述第一帧图像中所处的第一候选框区域；

活动区域选取模块，用于在所述第一帧图像中选取出包含所述第一候选框区域的第一活动区域；

活动区域查找模块，用于从采样得到的第二帧图像中确定出与所述第一活动区域对应的第二活动区域，所述第二帧图像与所述第一帧图像采样时间相邻，且所述第二帧图像的采样时间晚于所述第一帧图像的采样时间，所述第二活动区域在所述第二帧图像中的坐标与所述第一活动区域在所述第一帧图像中的坐标相同；

第二定位模块，用于对所述第二活动区域进行所述目标物体的色块定位，得到所述目标物体色块在所述第二帧图像中的第二候选框区域，并在所述第二帧图像中选取出包含所述第二候选框区域的第三活动区域；

所述第二定位模块包括：

色块筛选模块，用于对所述第二活动区域内所有的色块进行颜色筛选，得到与所述目标物体颜色相同的一个或多个待检测色块，并获取各个所述待检测色块在所述第二帧图像中所处的第四候选框区域；

形状识别模块，用于针对每个所述第四候选框区域进行色块形状识别，得到对应的色块形状；

色块匹配模块，用于获取所述目标物体色块的色块形状，将所述目标物体色块与各个所述待检测色块进行色块形状的匹配，并将匹配成功的所述待检测色块识别为所述目标物体色块，将匹配成功的所述待检测色块对应的所述第四候选框区域，识别为所述目标物体色块对应的所述第二候选框区域；

其中，候选框区域表示由色块所处的候选框框选的图像区域；活动区域表示目标物体色块在下一张采样的帧图像之中可能处于的图像区域。

8.一种终端设备，其特征在于，所述终端设备包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述方法的步骤。

9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述方法的步骤。