CN116309687B - 基于人工智能的摄像机实时跟踪定位方法 - Google Patents

Abstract

本发明涉及图像数据处理技术领域，具体涉及一种基于人工智能的摄像机实时跟踪定位方法。该方法获取含有目标物体的目标灰度图像中的目标区域和待匹配灰度图像中的待匹配区域；根据像素点的通道值获取颜色分布差异；根据像素点的位置获取目标连通区域和待匹配连通区域；根据目标连通区域与待匹配连通区域的重合区域，获取目标连通区域与待匹配连通区域之间的形状相似度和纹理相似度，进而获取相似显著度；根据颜色分布差异与相似显著度获取目标区域与待匹配区域之间的色彩相似度；根据色彩相似度获得待匹配灰度图像中跟踪定位的目标物体。本发明对目标区域与待匹配区域中的颜色和纹理共同分析，使得匹配更准确，获得跟踪定位的物体更准确高效。

Description

基于人工智能的摄像机实时跟踪定位方法

技术领域

本发明涉及图像数据处理技术领域，具体涉及一种基于人工智能的摄像机实时跟踪定位方法。

背景技术

摄像机实时跟踪定位方法是一种利用计算机视觉技术，通过对物体在视频中的运动轨迹进行分析和推断，实现物体实时跟踪和定位的技术。通过摄像机实时跟踪定位，可精确地定位和跟踪物体的位置等信息，在监控、运动控制、导航、测量等领域应用广泛，同时，可提升工作效率、增强客户体验。

现阶段，摄像机实时跟踪定位技术已经得到了广泛的应用，并不断得到改进和优化，目前可以借助图像处理和机器学习等传统算法通过摄像机实现对物体的实时跟踪定位，由于算法成熟、消耗计算资源较少、容易获得训练数据等优势，使得根据视频的相邻两帧图像通过匹配实现摄像机实时跟踪定位的准确度较高，但实际中还存在一些挑战和限制，即匹配过程一般为单一特征匹配，所以当需要跟踪定位的物体本身较为复杂或者处于较为复杂的场景中时，相邻两帧图像匹配会不准确，导致对物体的实时跟踪定位不准确。

发明内容

为了解决相邻两帧图像匹配不准确，导致对物体的实时跟踪定位不准确的技术问题，本发明的目的在于提供一种基于人工智能的摄像机实时跟踪定位方法，所采用的技术方案具体如下：

本发明提出了一种基于人工智能的摄像机实时跟踪定位方法，方法包括：

获取含有目标物体的目标灰度图像中预设大小的目标区域和待匹配灰度图像中预设大小的待匹配区域；

将目标灰度图像和待匹配灰度图像进行颜色空间转换，根据转换后的图像中像素点的通道值获取每个目标区域与每个待匹配区域之间的颜色分布差异；

根据像素点的位置分布获取目标区域中的目标连通区域，以及待匹配区域中的待匹配连通区域；根据每个目标连通区域与每个待匹配连通区域的重合区域，获取对应目标连通区域与对应待匹配连通区域之间的形状相似度；

将重合区域对应的目标连通区域和待匹配连通区域所组成区域的最小外接矩形作为共用矩形；根据目标连通区域内像素点的灰度值在共用矩形内的分布，获取目标序列矩阵；根据待匹配连通区域内像素点的灰度值在共用矩形内的分布，获取待匹配序列矩阵；根据目标序列矩阵与待匹配序列矩阵之间的差异，获取对应目标连通区域与对应待匹配连通区域之间的纹理相似度；

根据每个目标连通区域与每个待匹配连通区域之间的形状相似度与纹理相似度，获取对应目标连通区域所在的目标区域与对应待匹配连通区域所在的待匹配区域之间的相似显著度；

根据每个目标区域与每个待匹配区域之间的颜色分布差异与相似显著度，获取对应目标区域与对应待匹配区域之间的色彩相似度；

根据色彩相似度获得待匹配灰度图像中跟踪定位的目标物体。

进一步地，所述根据转换后的图像中像素点的通道值获取每个目标区域与每个待匹配区域之间的颜色分布差异的方法，包括：

将颜色空间下的每个颜色通道内的颜色范围均分为预设等份，获取不同颜色范围的颜色空间，根据每个颜色空间依次获取的顺序进行标号；

获取每个目标区域与每个待匹配区域内的每个像素点在每个颜色通道下的通道值，确定每个目标区域与每个待匹配区域内的每个像素点的颜色空间的标号，构成每个目标区域对应的目标颜色空间分布矩阵和每个待匹配区域对应的待匹配颜色空间分布矩阵；

根据每个目标颜色空间分布矩阵，获取对应目标区域的颜色聚合向量作为目标颜色聚合向量；

根据每个待匹配颜色空间分布矩阵，获取对应待匹配区域的颜色聚合向量作为待匹配颜色聚合向量；

当所述目标颜色聚合向量与所述待匹配颜色聚合向量的维度相同时，获取所述目标颜色聚合向量与所述待匹配颜色聚合向量的差的模进行归一化的结果，作为对应目标区域与对应待匹配区域之间的颜色分布差异；

当所述目标颜色聚合向量与所述待匹配颜色聚合向量的维度不相同时，获取目标颜色空间分布矩阵与待匹配颜色空间分布矩阵相同位置对应标号之间的差异进行累加的结果作为第一结果，将归一化的第一结果作为对应目标区域与对应待匹配区域之间的颜色分布差异。

进一步地，所述目标连通区域和待匹配连通区域的获取方法，包括：

将目标区域中的聚合像素点对应的区域作为目标连通区域；

将待匹配区域中的聚合像素点对应的区域作为待匹配连通区域。

进一步地，所述形状相似度的获取方法，包括：

将每个目标连通区域与每个待匹配连通区域的质心重合，获取对应目标连通区域与对应待匹配连通区域之间的重合区域；

任选一个重合区域作为参考重合区域，将参考重合区域中像素点数量进行归一化的结果，作为参考重合区域对应的目标连通区域与待匹配连通区域之间的形状相似度。

进一步地，所述目标序列矩阵和待匹配序列矩阵的获取方法，包括：

获取连通区域内的每个像素点的census序列，根据每个连通区域内每个像素点在共用矩形内的位置，确定每个连通区域内每个像素点的census序列构成的对应连通区域的序列矩阵；

将目标连通区域的序列矩阵作为目标序列矩阵；

将待匹配连通区域的序列矩阵作为待匹配序列矩阵。

进一步地，所述纹理相似度的获取方法，包括：

获取任一个census序列的字符串长度作为序列长度；

将同一个共用矩形对应的目标序列矩阵与待匹配序列矩阵作为一个匹配对；

任选一个匹配对作为目标匹配对，获取目标匹配对的目标序列矩阵或待匹配序列矩阵的行数和列数分别作为目标行数与目标列数；

获取目标匹配对的目标序列矩阵与待匹配序列矩阵中同一位置的census序列的汉明距离作为目标汉明距离；

将序列长度与每个目标汉明距离的差异进行累加的结果作为第二结果，将归一化的第二结果作为目标匹配对的目标序列矩阵对应的目标连通区域与待匹配序列矩阵对应的待匹配连通区域之间的纹理相似度。

进一步地，所述相似显著度获取方法，包括：

任选一个目标连通区域作为参考目标连通区域，任选一个待匹配连通区域作为参考待匹配连通区域；

将参考目标连通区域所在的目标区域作为参考目标区域，将参考待匹配连通区域所在的待匹配区域作为参考待匹配区域；

将参考目标连通区域与参考待匹配连通区域之间的形状相似度与纹理相似度的乘积，作为参考目标连通区域与参考待匹配连通区域之间的一致相似度；

获取参考目标连通区域与参考待匹配区域中每个待匹配连通区域之间的一致相似度，将最大的一致相似度，作为参考目标连通区域与参考待匹配区域的纹理一致值；

获取参考目标区域中的每个目标连通区域与参考待匹配区域的纹理一致值，将纹理一致值的均值，作为参考目标区域与参考待匹配区域之间的相似显著度。

进一步地，所述色彩相似度的获取方法，包括：

将每个颜色分布差异进行负相关映射的结果作为颜色相似度；

将每个目标区域与每个待匹配区域之间的颜色相似度与相似显著度的乘积进行归一化的结果，作为对应目标区域与对应待匹配区域之间的色彩相似度。

进一步地，所述根据色彩相似度获得待匹配灰度图像中跟踪定位的目标物体的方法，包括：

通过柔性模板匹配算法根据色彩相似度，对每个目标区域和每个待匹配区域进行匹配，获取待匹配灰度图像中进行跟踪定位的目标物体。

进一步地，所述将目标灰度图像和待匹配灰度图像进行颜色空间转换的方法，包括：

将所述目标灰度图像和所述待匹配灰度图像转换至Lab颜色空间中。

本发明具有如下有益效果：

将目标灰度图像和待匹配灰度图像进行颜色空间转换，更能清晰的获取目标灰度图像和待匹配灰度图像中的颜色空间，进而准确的根据像素点的通道值获取每个目标区域与每个待匹配区域之间的颜色分布差异；获取目标区域中的目标连通区域，以及待匹配区域中的待匹配连通区域，对目标连通区域和待匹配连通区域进行分析，更能准确的将目标区域与待匹配区域进行匹配；获取每个目标连通区域与每个待匹配连通区域的重合区域，根据重合区域的大小和对应目标连通区域与待匹配连通区域内的像素点的灰度值，获取目标连通区域与待匹配连通区域之间的形状相似度和纹理相似度，进而获取对应目标区域与对应待匹配区域之间的相似显著度，避免目标区域与待匹配区域内的颜色复杂，导致目标区域与待匹配区域之间的匹配不准确的问题；根据每个目标区域与每个待匹配区域之间的颜色分布差异与相似显著度获取对应目标区域与对应待匹配区域之间的色彩相似度，解决了对于复杂图像中目标物体的定位由单一特征进行匹配不准确的问题，使得每个目标区域与每个待匹配区域之间的匹配更准确高效；进而根据色彩相似度获得待匹配灰度图像中跟踪定位的目标物体，使得待匹配灰度图像中的目标物体匹配的更准确。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明一个实施例所提供的一种基于人工智能的摄像机实时跟踪定位方法的流程示意图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于人工智能的摄像机实时跟踪定位方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的一种基于人工智能的摄像机实时跟踪定位方法的具体方案。

请参阅图1，其示出了本发明一个实施例提供的一种基于人工智能的摄像机实时跟踪定位方法的流程示意图，该方法包括以下步骤：

步骤S1：获取含有目标物体的目标灰度图像中预设大小的目标区域和待匹配灰度图像中预设大小的待匹配区域。

具体的，调整摄像机的位置，将需要进行跟踪定位的目标物体置于摄像机的取景框内较中心位置，人工框选并标记出取景框内需要进行跟踪定位的目标物体。其中，将需要进行跟踪定位的目标物体置于摄像机的取景框内较中心位置的目的是为了方便检测，使目标物体的位置较大可能的保持在摄像机的取景框内，防止当目标物体较靠近取景框的边缘且目标物体移动较快时，需要进行跟踪定位的目标物体在下一帧图像中已移动到取景框外的情况发生。将标记出需要进行跟踪定位的目标物体的第一帧图像记为目标图像，从目标图像对应时刻开始使用摄像机进行录像，将目标图像的相邻下一帧图像记为待匹配图像。其中，目标图像和待匹配图像均为RGB图像。

对目标图像和待匹配图像分别使用高斯滤波进行去噪，其中，高斯滤波去噪为公知技术，此处不再赘述。本发明实施例使用大小的滑动窗口在目标图像中根据滑动步长为1的步长依次滑动，其中，/>的设定预设大小为30，设施者可根据实际情况进行设定；滑动窗口在目标图像中不同位置得到的各窗口区域均记为目标区域，以同样大小的滑动窗口和相同的滑动步长在待匹配图像中依次滑动，滑动窗口在待匹配图像中不同位置得到的各窗口区域均记为待匹配区域，因此，每个目标区域与每个待匹配区域的大小相同，即均为。本发明实施例的目的为将每个目标区域与每个待匹配区域进行匹配，最终匹配出待匹配图像中进行跟踪定位的目标物体。

将目标图像与待匹配图像进行灰度处理，获取目标图像的灰度图像记为目标灰度图像，以及待匹配图像的灰度图像记为待匹配灰度图像。每个目标区域与每个待匹配区域均有对应的灰度区域。其中，灰度处理为公知技术，在此不再进行赘述。

步骤S2：将目标灰度图像和待匹配灰度图像进行颜色空间转换，根据转换后的图像中像素点的通道值获取每个目标区域与每个待匹配区域之间的颜色分布差异。

具体的，由于目标区域和待匹配区域为相邻两帧图像中提取出的区域，时间间隔较短，所以目标物体移动的距离较小，能够进行匹配的目标区域和待匹配区域距离应该较为接近。为了减少匹配次数，提升匹配效率，获取每个目标区域和每个待匹配区域的中心点坐标，计算每个目标区域与每个待匹配区域的中心点坐标之间的欧氏距离，按照欧式距离从小到大的顺序依次对目标区域和待匹配区域进行匹配。

为了准确的将每个目标区域与每个待匹配区域进行匹配，本发明实施例将目标灰度图像和待匹配灰度图像转换至Lab颜色空间中，进而获取每个目标区域和每个待匹配区域中各个像素点在对应的Lab颜色空间下的通道a和通道b对应的通道值，根据每个像素点的通道值，获取每个目标区域与每个待匹配区域之间的颜色分布差异，根据颜色分布差异初步确定每个目标区域对应匹配的待匹配区域，进而为确定出待匹配区域中的需要实时跟踪定位的目标物体提供了前提条件。

优选地，获取颜色分布差异的方法为：将颜色空间下的每个颜色通道内的颜色范围均分为预设等份，获取不同颜色范围的颜色空间，根据每个颜色空间依次获取的顺序进行标号；获取每个目标区域与每个待匹配区域内的每个像素点在每个颜色通道下的通道值，确定每个目标区域与每个待匹配区域内的每个像素点的颜色空间的标号，构成每个目标区域对应的目标颜色空间分布矩阵和每个待匹配区域对应的待匹配颜色空间分布矩阵；根据每个目标颜色空间分布矩阵，获取对应目标区域的颜色聚合向量作为目标颜色聚合向量；根据每个待匹配颜色空间分布矩阵，获取对应待匹配区域的颜色聚合向量作为待匹配颜色聚合向量；当目标颜色聚合向量与待匹配颜色聚合向量的维度相同时，获取目标颜色聚合向量与待匹配颜色聚合向量的差的模进行归一化的结果，作为对应目标区域与对应待匹配区域之间的颜色分布差异；当目标颜色聚合向量与待匹配颜色聚合向量的维度不相同时，获取目标颜色空间分布矩阵与待匹配颜色空间分布矩阵相同位置对应标号之间的差异进行累加的结果作为第一结果，将归一化的第一结果作为对应目标区域与对应待匹配区域之间的颜色分布差异。

作为一个示例，本发明实施例将通道a和通道b的颜色范围分别均分为预设等份5等份，实施者可根据实际情况进行设定预设等份，在此不进行限定。将通道a和通道b的每个等份的颜色范围分别两两进行组合，且通道a对应的每份颜色范围在前，通道b对应的每份颜色范围在后，因此，共获取个不同的颜色空间，根据每个颜色空间依次获取的顺序从1开始进行标号，直至25结束。根据每个目标区域与每个待匹配区域内的每个像素点的通道值对应的颜色空间，确定每个目标区域与每个待匹配区域内的每个像素点的颜色空间的标号，将每个目标区域内根据像素点的位置进行排列的标号，构成的区域作为目标颜色空间分布矩阵；将每个待匹配区域内根据像素点的位置进行排列的标号，构成的区域作为待匹配颜色空间分布矩阵。其中，目标颜色空间分布矩阵和待匹配颜色空间分布矩阵的大小均为/>。本发明实施例设定像素点数量阈值为5，实施者可根据实际情况进行设定，根据每个目标颜色空间分布矩阵和像素点数量阈值，获取对应目标区域的颜色聚合向量即为目标颜色聚合向量；根据每个待匹配颜色空间分布矩阵和像素点数量阈值，获取对应待匹配区域的颜色聚合向量即为待匹配颜色聚合向量。其中，颜色聚合向量为公知技术，在此不进行过多赘述。以第i个目标区域和第j个待匹配区域为例，获取第i个目标区域的目标颜色聚合向量和第j个待匹配区域的待匹配颜色聚合向量。当第i个目标区域的目标颜色聚合向量和第j个待匹配区域的待匹配颜色聚合向量的维度相同时，根据第i个目标区域的目标颜色聚合向量和第j个待匹配区域的待匹配颜色聚合向量的差的模，获取第i个目标区域和第j个待匹配区域之间的颜色分布差异/>的公式为：

式中，第i个目标区域与第j个待匹配区域之间的颜色分布差异；/>为第i个目标区域的目标颜色聚合向量；/>为第j个待匹配区域的待匹配颜色聚合向量；/>为向量的模的符号。

需要说明的是，与/>的维度相同，即包含的元素数量相同，/>表示第i个目标区域的目标颜色聚合向量和第j个待匹配区域的待匹配颜色聚合向量之间的不同，越大，说明第i个目标区域与第j个待匹配区域之间的颜色聚合向量的差异越大，第i个目标区域与第j个待匹配区域之间的差异越大，/>越大；通过/>对/>进行归一化处理，使得/>的取值范围在0和1之间；在本发明另一个实施例中，可以通过其他对进行归一化的方法，例如函数转化、最大最小规范化、Sigmoid函数等归一化方法，在此不做限定。

当第i个目标区域的目标颜色聚合向量和第j个待匹配区域的待匹配颜色聚合向量的维度不相同时，无法根据颜色聚合向量获取第i个目标区域与第j个待匹配区域之间的颜色分布差异，此时，根据第i个目标区域的目标颜色空间分布矩阵与第j个待匹配区域的待匹配颜色空间分布矩阵中相同位置元素对应标号之间的差异，获取第i个目标区域与第j个待匹配区域之间的颜色分布差异的公式为：

式中，第i个目标区域与第j个待匹配区域之间的颜色分布差异；/>为第i个目标区域的目标颜色空间分布矩阵中第u行第v列的颜色空间的标号；/>为第j个待匹配区域的待匹配颜色空间分布矩阵中第u行第v列的颜色空间的标号；/>为第i个目标区域的目标颜色空间分布矩阵或第j个待匹配区域的待匹配颜色空间分布矩阵的总行数或总列数，本发明实施例设定为30；u为第i个目标区域的目标颜色空间分布矩阵或第j个待匹配区域的待匹配颜色空间分布矩阵的第u行；v为第i个目标区域的目标颜色空间分布矩阵或第j个待匹配区域的待匹配颜色空间分布矩阵的第v列；/>为绝对值函数。

需要说明的是，越大，说明第i个目标区域与第j个待匹配区域之间的颜色分布越不同，第i个目标区域的目标颜色空间分布矩阵与第j个待匹配区域的待匹配颜色空间分布矩阵的差异越大，/>越大；通过/>对/>进行归一化处理，使得/>的取值范围在0和1之间；在本发明另一个实施例中，可以通过其他对进行归一化的方法，例如函数转化、最大最小规范化、Sigmoid函数等归一化方法，在此不做限定。

根据获取第i个目标区域与第j个待匹配区域之间的颜色分布差异的方法，获取每个目标区域与每个待匹配区域之间的颜色分布差异。

当第i个目标区域的目标颜色聚合向量和第j个待匹配区域的待匹配颜色聚合向量的维度相同时，第i个目标区域与第j个待匹配区域的颜色分布，相较于第i个目标区域的目标颜色聚合向量和第j个待匹配区域的待匹配颜色聚合向量的维度不相同时，有更大的概率出现较为一致的情况，因此，可以仅根据第i个目标区域的目标颜色聚合向量和第j个待匹配区域的待匹配颜色聚合向量进行分析，得到的颜色分布差异较小，突出颜色分布较为一致的特征；当第i个目标区域的目标颜色聚合向量和第j个待匹配区域的待匹配颜色聚合向量的维度不相同时，第i个目标区域与第j个待匹配区域的颜色分布的一致性明显较小，因此，根据第i个目标区域与第j个待匹配区域对应的颜色空间分布矩阵中相同位置元素对应的颜色空间的标号之间的差异，获取第i个目标区域与第j个待匹配区域之间的颜色分布差异，突出颜色分布一致性较小的特征。

步骤S3：根据像素点的位置分布获取目标区域中的目标连通区域，以及待匹配区域中的待匹配连通区域；根据每个目标连通区域与每个待匹配连通区域的重合区域，获取对应目标连通区域与对应待匹配连通区域之间的形状相似度。

具体的，获取每个目标区域和每个待匹配区域的颜色聚合向量的过程中，可以获取每个目标区域和每个待匹配区域中的聚合像素点对应的区域，本发明实施例将目标区域中的聚合像素点对应的区域作为目标连通区域；将待匹配区域中的聚合像素点对应的区域作为待匹配连通区域。目标连通区域和待匹配连通区域分别对应目标灰度图像和待匹配灰度图像中颜色较为一致的部分，因此，仅对目标连通区域和待匹配连通区域进行分析，忽略了少数非聚合像素点的差异，即可以减少颜色分布过于杂乱的像素点和噪声点等因素，对目标区域与待匹配区域之间的匹配造成干扰。根据要进行匹配的目标连通区域和待匹配连通区域的形状，获取目标连通区域与待匹配连通区域之间的形状相似度，进而准确清晰的确定目标连通区域与待匹配连通区域之间的匹配程度，使得对应的目标区域与待匹配区域之间的匹配更准确。

优选地，获取形状相似度的方法为：将每个目标连通区域与每个待匹配连通区域的质心重合，获取对应目标连通区域与对应待匹配连通区域之间的重合区域；任选一个重合区域作为参考重合区域，将参考重合区域中像素点数量进行归一化的结果，作为参考重合区域对应的目标连通区域与待匹配连通区域之间的形状相似度。

作为一个示例，以第a个目标连通区域和第b个待匹配连通区域为例，根据OpenCV获取第a个目标连通区域与第b个待匹配连通区域的质心，将第a个目标连通区域与第b个待匹配连通区域的质心进行重合，并保持第a个目标连通区域与第b个待匹配连通区域的位置不发生方向变化，即第a个目标连通区域与第b个待匹配连通区域通过位移，将第a个目标连通区域与第b个待匹配连通区域的质心进行重合，进而获取第a个目标连通区域与第b个待匹配连通区域之间的重合区域。其中，OpenCV为公知技术，在此不再进行赘述。将第a个目标连通区域和第b个待匹配连通区域的重合区域作为参考重合区域，根据参考重合区域，获取第a个目标连通区域和第b个待匹配连通区域之间的形状相似度的公式为：

式中，为第a个目标连通区域和第b个待匹配连通区域之间的形状相似度；/>为第a个目标连通区域和第b个待匹配连通区域的重合区域即参考重合区域的像素点数量；为第a个目标连通区域中像素点数量。

需要说明的是，越大，说明第a个目标连通区域和第b个待匹配连通区域的重合区域越大，第a个目标连通区域和第b个待匹配连通区域的形状越相似，第a个目标连通区域和第b个待匹配连通区域对应的物体越可能为同一个物体，/>越大；通过/>对/>进行归一化处理，使得/>的取值范围在0和1之间；在本发明另一个实施例中，可以通过其他对/>进行归一化的方法，例如函数转化、最大最小规范化、Sigmoid函数等归一化方法，在此不做限定。

根据获取第a个目标连通区域和第b个待匹配连通区域之间的形状相似度的方法，获取目标区域内每个目标连通区域与待匹配区域内每个待匹配连通区域的形状相似度。

步骤S4：将重合区域对应的目标连通区域和待匹配连通区域所组成区域的最小外接矩形作为共用矩形；根据目标连通区域内像素点的灰度值在共用矩形内的分布，获取目标序列矩阵；根据待匹配连通区域内像素点的灰度值在共用矩形内的分布，获取待匹配序列矩阵；根据目标序列矩阵与待匹配序列矩阵之间的差异，获取对应目标连通区域与对应待匹配连通区域之间的纹理相似度。

具体的，为了更准确的将目标区域与待匹配区域进行匹配，进而获取重合区域对应的目标连通区域和待匹配连通区域之间的纹理相似度。其中，获取纹理相似度的具体方法如下：

（1）获取目标序列矩阵和待匹配序列矩阵。

为了更好的获取每个目标连通区域和每个待匹配连通区域之间的纹理相似度，将每个目标连通区域和每个待匹配连通区域中的像素点的信息转换为数据，即根据每个目标连通区域和每个待匹配连通区域中的每个像素点的灰度值，获取每个目标连通区域对应的目标序列矩阵和每个待匹配连通区域对应的待匹配序列矩阵，根据目标序列矩阵与待匹配序列矩阵获取纹理相似度，使得纹理相似度的获取更准确高效。

优选地，获取目标序列矩阵和待匹配序列矩阵的方法为：获取连通区域内的每个像素点的census序列，根据每个连通区域内每个像素点在共用矩形内的位置，确定每个连通区域内每个像素点的census序列构成的对应连通区域的序列矩阵；将目标连通区域的序列矩阵作为目标序列矩阵；将待匹配连通区域的序列矩阵作为待匹配序列矩阵。

作为一个示例，以步骤S3中的第a个目标连通区域与第b个待匹配连通区域为例，获取第a个目标连通区域与第b个待匹配连通区域构成重合区域时组成区域的最小外接矩形即为第a个目标连通区域与第b个待匹配连通区域的共用矩形。获取第a个目标连通区域中的每个像素点在目标灰度图像中的灰度值，通过census算法，获取第a个目标连通区域中的每个像素点的census序列，根据共用矩形中第a个目标连通区域中每个像素点的位置，确定第a个目标连通区域中的每个像素点的census序列在共用矩形中的位置，将共用矩形中非第a个目标连通区域的像素点的census序列均设定为0，进而将共用矩形中的像素点的census序列构成为一个矩阵即为目标序列矩阵，其中，共用矩形中的像素点数量与目标序列矩阵中元素的数量相同，且目标序列矩阵中每个元素的位置与第a个目标连通区域对应的共用矩形中对应像素点的位置保持一致。获取第b个待匹配连通区域中的每个像素点在待匹配灰度图像中的灰度值，通过census算法，获取第b个待匹配连通区域中的每个像素点的census序列，根据共用矩形中第b个待匹配连通区域中每个像素点的位置进行排序，确定第b个待匹配连通区域中的每个像素点的census序列在共用矩形中的位置，将共用矩形中非第b个待匹配连通区域的像素点的census序列均设定为0，进而将共用矩形中的像素点的census序列构成为一个矩阵即为待匹配序列矩阵，共用矩形中的像素点数量与待匹配序列矩阵中元素的数量相同，且待匹配序列矩阵中每个元素的位置与第b个待匹配连通区域对应的共用矩形中对应像素点的位置保持一致。其中，第a个目标连通区域的目标序列矩阵与第b个待匹配连通区域的待匹配序列矩阵的大小相同，且每个元素为一个census序列，每个census序列为八位的二值序列。当第a个目标连通区域与第b个待匹配连通区域的纹理越为相近时，第a个目标连通区域的目标序列矩阵与第b个待匹配连通区域的待匹配序列矩阵中的同一位置的census序列值越为接近。其中，census算法为公知技术，在此不进行赘述。

（2）获取纹理相似度。

根据目标序列矩阵和待匹配序列矩阵的元素即census序列，获取每个重合区域对应的目标连通区域和待匹配连通区域的纹理相似度，进一步确定每个重合区域对应的目标连通区域和待匹配连通区域之间的相似程度。

优选地，获取纹理相似度的方法为：获取任一个census序列的字符串长度作为序列长度；将同一个共用矩形对应的目标序列矩阵与待匹配序列矩阵作为一个匹配对；任选一个匹配对作为目标匹配对，获取目标匹配对的目标序列矩阵或待匹配序列矩阵的行数和列数分别作为目标行数与目标列数；获取目标匹配对的目标序列矩阵与待匹配序列矩阵中同一位置的census序列的汉明距离作为目标汉明距离；将序列长度与每个目标汉明距离的差异进行累加的结果作为第二结果，将归一化的第二结果作为目标匹配对的目标序列矩阵对应的目标连通区域与待匹配序列矩阵对应的待匹配连通区域之间的纹理相似度。其中，汉明距离的获取方法为公知技术，在此不进行赘述。

作为一个示例，以步骤S3中的第a个目标连通区域与第b个待匹配连通区域为例，本发明实施例将每个像素点的census序列的字符串长度即序列长度统一设定为8，第a个目标连通区域的目标序列矩阵与第b个待匹配连通区域的待匹配序列矩阵为一个匹配对即目标匹配对，获取第a个目标连通区域的目标序列矩阵或第b个待匹配连通区域的待匹配序列矩阵的行数与列数即目标行数与目标列数。第a个目标连通区域的目标序列矩阵与第b个待匹配连通区域的待匹配序列矩阵的行数和列数相同，进而根据第a个目标连通区域的目标序列矩阵与第b个待匹配连通区域的待匹配序列矩阵中相同位置的元素对应的census序列之间的汉明距离即目标汉明距离，表示对应位置像素点的纹理差异程度，目标汉明距离越大，说明第a个目标连通区域的目标序列矩阵与第b个待匹配连通区域的待匹配序列矩阵中对应的相同位置的元素对应的像素点的纹理差异越大。根据目标汉明距离与序列长度，获取第a个目标连通区域与第b个待匹配连通区域之间的纹理相似度的公式为：

式中，为第a个目标连通区域与第b个待匹配连通区域之间的纹理相似度；/>为序列长度，本发明实施例中为8；/>为目标行数；/>为目标列数；/>为第a个目标连通区域的目标序列矩阵中第e行第f列的元素与第b个待匹配连通区域的待匹配序列矩阵中第e行第f列的元素之间的汉明距离即目标汉明距离；e为第a个目标连通区域的目标序列矩阵或第b个待匹配连通区域的待匹配序列矩阵的第e行；f为第a个目标连通区域的目标序列矩阵或第b个待匹配连通区域的待匹配序列矩阵的第f列；/>为绝对值函数。

需要说明的是，第二结果越大，说明目标汉明距离/>越小，第a个目标连通区域的目标序列矩阵中第e行第f列的元素与第b个待匹配连通区域的待匹配序列矩阵中第e行第f列的元素之间的差异越小，对应的目标连通区域中的像素点与待匹配连通区域中的像素点的纹理越相近，/>越大；通过/>对进行归一化处理，使得/>的取值范围在0和1之间；在本发明另一个实施例中，可以通过其他对/>进行归一化的方法，例如函数转化、最大最小规范化、Sigmoid函数等归一化方法，在此不做限定。

根据获取第a个目标连通区域与第b个待匹配连通区域之间的纹理相似度的方法，获取每个重合区域对应的目标连通区域与待匹配连通区域之间的纹理相似度。

步骤S5：根据每个目标连通区域与每个待匹配连通区域之间的形状相似度与纹理相似度，获取对应目标连通区域所在的目标区域与对应待匹配连通区域所在的待匹配区域之间的相似显著度。

具体的，当每个重合区域对应的目标连通区域与待匹配连通区域之间的形状与纹理越相同时，说明对应重合区域的目标连通区域与待匹配连通区域越相似。每个目标区域可能至少有两个目标连通区域，每个待匹配区域可能至少有两个待匹配连通区域，因此，每个目标区域与每个待匹配区域之间的形状相似度与纹理相似度均可能存在多对多的关系，进而对每个目标区域与每个待匹配区域之间的形状相似度与纹理相似度进行处理，获取每个目标区域与每个待匹配区域之间的相似显著度。

优选地，获取相似显著度的方法为：任选一个目标连通区域作为参考目标连通区域，任选一个待匹配连通区域作为参考待匹配连通区域；将参考目标连通区域所在的目标区域作为参考目标区域，将参考待匹配连通区域所在的待匹配区域作为参考待匹配区域；将参考目标连通区域与参考待匹配连通区域之间的形状相似度与纹理相似度的乘积，作为参考目标连通区域与参考待匹配连通区域之间的一致相似度；获取参考目标连通区域与参考待匹配区域中每个待匹配连通区域之间的一致相似度，将最大的一致相似度，作为参考目标连通区域与参考待匹配区域的纹理一致值；获取参考目标区域中的每个目标连通区域与参考待匹配区域的纹理一致值，将纹理一致值的均值，作为参考目标区域与参考待匹配区域之间的相似显著度。

作为一个示例，以步骤S3中的第a个目标连通区域与第b个待匹配连通区域为例，第a个目标连通区域即为参考目标连通区域，第b个待匹配连通区域即为参考待匹配连通区域，将第a个目标连通区域所在的目标区域即为参考目标区域，将第b个待匹配连通区域所在的待匹配区域即为参考待匹配区域，根据第a个目标连通区域与第b个待匹配连通区域之间的形状相似度与纹理相似度，获取第a个目标连通区域与第b个待匹配连通区域之间的一致相似度的公式为：

式中，为第a个目标连通区域与第b个待匹配连通区域之间的一致相似度；为第a个目标连通区域和第b个待匹配连通区域之间的形状相似度；/>为第a个目标连通区域和第b个待匹配连通区域之间的纹理相似度。

需要说明的是，越大，第a个目标连通区域和第b个待匹配连通区域之间的形状越相似，/>越大；/>越大，第a个目标连通区域和第b个待匹配连通区域之间的纹理越一致，/>越大；因此，/>越大，说明第a个目标连通区域和第b个待匹配连通区域中的物体越可能为同一物体。

根据获取第a个目标连通区域与第b个待匹配连通区域之间的一致相似度的方法，获取参考目标区域中每个目标连通区域与参考待匹配区域中每个待匹配连通区域中的一致相似度。第a个目标连通区域与参考待匹配区域中每个待匹配连通区域均有一个一致相似度，将每个一致相似度均进行归一化处理，获得归一化一致相似度，将最大的归一化一致相似度作为第a个目标连通区域与参考待匹配区域的纹理一致值。根据获取第a个目标连通区域与参考待匹配区域的纹理一致值的方法，获取参考目标区域中的每个目标连通区域与参考待匹配区域的纹理一致值，获取纹理一致值的均值，作为参考目标区域与参考待匹配区域之间的相似显著度。

根据获取参考目标区域与参考待匹配区域之间的相似显著度的方法，获取每个目标区域与每个待匹配区域之间的相似显著度。

步骤S6：根据每个目标区域与每个待匹配区域之间的颜色分布差异与相似显著度，获取对应目标区域与对应待匹配区域之间的色彩相似度。

具体的，根据每个目标区域与每个待匹配区域之间的颜色分布差异与相似显著度，共同获取对应目标区域与对应待匹配区域之间的色彩相似度，使得每个目标区域与每个待匹配区域之间的匹配更准确，当每个目标区域与每个待匹配区域中的颜色复杂时，也可以最大概率的获取到每个目标区域对应匹配的待匹配区域。

优选地，获取色彩相似度的方法为：将每个颜色分布差异进行负相关映射的结果作为颜色相似度；将每个目标区域与每个待匹配区域之间的颜色相似度与相似显著度的乘积进行归一化的结果，作为对应目标区域与对应待匹配区域之间的色彩相似度。

作为一个示例，以步骤S2中的第i个目标区域和第j个待匹配区域为例，根据第i个目标区域和第j个待匹配区域之间的颜色分布差异与相似显著度，获取第i个目标区域和第j个待匹配区域之间的色彩相似度的公式为：

式中，为第i个目标区域和第j个待匹配区域之间的色彩相似度；/>为第i个目标区域和第j个待匹配区域之间的颜色分布差异；/>为第i个目标区域和第j个待匹配区域之间的相似显著度；norm为归一化函数。

需要说明的是，颜色相似度越大，/>越小，第i个目标区域和第j个待匹配区域之间的颜色差异越小，第i个目标区域和第j个待匹配区域的颜色越相似，/>越大；越大，第i个目标区域和第j个待匹配区域之间的纹理越相似，第i个目标区域和第j个待匹配区域越相似，/>越大；因此，/>越大，第i个目标区域和第j个待匹配区域越匹配。

根据获取第i个目标区域和第j个待匹配区域之间的色彩相似度的方法，获取每个目标区域和每个待匹配区域之间的色彩相似度。

步骤S7：根据色彩相似度获得待匹配灰度图像中跟踪定位的目标物体。

具体的，本发明实施例将色彩相似度作为每个目标区域和每个待匹配区域进行匹配的衡量参数，通过柔性模板匹配(Best-Buddies Similarity，BBS)算法根据色彩相似度，对每个目标区域和每个待匹配区域进行匹配，获取每个目标区域对应的待匹配区域，根据目标灰度图像中标记的目标物体的区域，在待匹配灰度图像中获取到对应匹配的区域，即在待匹配灰度图像中确定出需要进行跟踪定位的目标物体。其中，柔性模板匹配(Best-Buddies Similarity，BBS)算法为公知技术，在此不再进行过多赘述。

重复获取每张待匹配灰度图像中跟踪定位的目标物体，进而获得实时跟踪定位目标物体的视频。

至此，本发明完成。

综上所述，本发明实施例获取含有目标物体的目标灰度图像中的目标区域和待匹配灰度图像中的待匹配区域；根据像素点的通道值获取颜色分布差异；根据像素点的位置获取目标连通区域和待匹配连通区域；根据目标连通区域与待匹配连通区域的重合区域，获取目标连通区域与待匹配连通区域之间的形状相似度和纹理相似度，进而获取相似显著度；根据颜色分布差异与相似显著度获取目标区域与待匹配区域之间的色彩相似度；根据色彩相似度获得待匹配灰度图像中跟踪定位的目标物体。本发明对目标区域与待匹配区域中的颜色和纹理共同分析，使得匹配更准确，获得跟踪定位的物体更准确高效。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

Claims (10)

1.一种基于人工智能的摄像机实时跟踪定位方法，其特征在于，该方法包括以下步骤：

获取含有目标物体的目标灰度图像中预设大小的目标区域和待匹配灰度图像中预设大小的待匹配区域；

将目标灰度图像和待匹配灰度图像进行颜色空间转换，根据转换后的图像中像素点的通道值获取每个目标区域与每个待匹配区域之间的颜色分布差异；

根据像素点的位置分布获取目标区域中的目标连通区域，以及待匹配区域中的待匹配连通区域；根据每个目标连通区域与每个待匹配连通区域的重合区域，获取对应目标连通区域与对应待匹配连通区域之间的形状相似度；

将重合区域对应的目标连通区域和待匹配连通区域所组成区域的最小外接矩形作为共用矩形；根据目标连通区域内像素点的灰度值在共用矩形内的分布，获取目标序列矩阵；根据待匹配连通区域内像素点的灰度值在共用矩形内的分布，获取待匹配序列矩阵；根据目标序列矩阵与待匹配序列矩阵之间的差异，获取对应目标连通区域与对应待匹配连通区域之间的纹理相似度；

根据每个目标连通区域与每个待匹配连通区域之间的形状相似度与纹理相似度，获取对应目标连通区域所在的目标区域与对应待匹配连通区域所在的待匹配区域之间的相似显著度；

根据每个目标区域与每个待匹配区域之间的颜色分布差异与相似显著度，获取对应目标区域与对应待匹配区域之间的色彩相似度；

根据色彩相似度获得待匹配灰度图像中跟踪定位的目标物体。

2.如权利要求1所述的一种基于人工智能的摄像机实时跟踪定位方法，其特征在于，所述根据转换后的图像中像素点的通道值获取每个目标区域与每个待匹配区域之间的颜色分布差异的方法，包括：

将颜色空间下的每个颜色通道内的颜色范围均分为预设等份，获取不同颜色范围的颜色空间，根据每个颜色空间依次获取的顺序进行标号；

获取每个目标区域与每个待匹配区域内的每个像素点在每个颜色通道下的通道值，确定每个目标区域与每个待匹配区域内的每个像素点的颜色空间的标号，构成每个目标区域对应的目标颜色空间分布矩阵和每个待匹配区域对应的待匹配颜色空间分布矩阵；

根据每个目标颜色空间分布矩阵，获取对应目标区域的颜色聚合向量作为目标颜色聚合向量；

根据每个待匹配颜色空间分布矩阵，获取对应待匹配区域的颜色聚合向量作为待匹配颜色聚合向量；

当所述目标颜色聚合向量与所述待匹配颜色聚合向量的维度相同时，获取所述目标颜色聚合向量与所述待匹配颜色聚合向量的差的模进行归一化的结果，作为对应目标区域与对应待匹配区域之间的颜色分布差异；

当所述目标颜色聚合向量与所述待匹配颜色聚合向量的维度不相同时，获取目标颜色空间分布矩阵与待匹配颜色空间分布矩阵相同位置对应标号之间的差异进行累加的结果作为第一结果，将归一化的第一结果作为对应目标区域与对应待匹配区域之间的颜色分布差异。

3.如权利要求1所述的一种基于人工智能的摄像机实时跟踪定位方法，其特征在于，所述目标连通区域和待匹配连通区域的获取方法，包括：

将目标区域中的聚合像素点对应的区域作为目标连通区域；

将待匹配区域中的聚合像素点对应的区域作为待匹配连通区域。

4.如权利要求1所述的一种基于人工智能的摄像机实时跟踪定位方法，其特征在于，所述形状相似度的获取方法，包括：

将每个目标连通区域与每个待匹配连通区域的质心重合，获取对应目标连通区域与对应待匹配连通区域之间的重合区域；

任选一个重合区域作为参考重合区域，将参考重合区域中像素点数量进行归一化的结果，作为参考重合区域对应的目标连通区域与待匹配连通区域之间的形状相似度。

5.如权利要求1所述的一种基于人工智能的摄像机实时跟踪定位方法，其特征在于，所述目标序列矩阵和待匹配序列矩阵的获取方法，包括：

获取连通区域内的每个像素点的census序列，根据每个连通区域内每个像素点在共用矩形内的位置，确定每个连通区域内每个像素点的census序列构成的对应连通区域的序列矩阵；

将目标连通区域的序列矩阵作为目标序列矩阵；

将待匹配连通区域的序列矩阵作为待匹配序列矩阵。

6.如权利要求5所述的一种基于人工智能的摄像机实时跟踪定位方法，其特征在于，所述纹理相似度的获取方法，包括：

获取任一个census序列的字符串长度作为序列长度；

将同一个共用矩形对应的目标序列矩阵与待匹配序列矩阵作为一个匹配对；

任选一个匹配对作为目标匹配对，获取目标匹配对的目标序列矩阵或待匹配序列矩阵的行数和列数分别作为目标行数与目标列数；

获取目标匹配对的目标序列矩阵与待匹配序列矩阵中同一位置的census序列的汉明距离作为目标汉明距离；

将序列长度与每个目标汉明距离的差异进行累加的结果作为第二结果，将归一化的第二结果作为目标匹配对的目标序列矩阵对应的目标连通区域与待匹配序列矩阵对应的待匹配连通区域之间的纹理相似度。

7.如权利要求1所述的一种基于人工智能的摄像机实时跟踪定位方法，其特征在于，所述相似显著度获取方法，包括：

任选一个目标连通区域作为参考目标连通区域，任选一个待匹配连通区域作为参考待匹配连通区域；

将参考目标连通区域所在的目标区域作为参考目标区域，将参考待匹配连通区域所在的待匹配区域作为参考待匹配区域；

将参考目标连通区域与参考待匹配连通区域之间的形状相似度与纹理相似度的乘积，作为参考目标连通区域与参考待匹配连通区域之间的一致相似度；

获取参考目标连通区域与参考待匹配区域中每个待匹配连通区域之间的一致相似度，将最大的一致相似度，作为参考目标连通区域与参考待匹配区域的纹理一致值；

获取参考目标区域中的每个目标连通区域与参考待匹配区域的纹理一致值，将纹理一致值的均值，作为参考目标区域与参考待匹配区域之间的相似显著度。

8.如权利要求1所述的一种基于人工智能的摄像机实时跟踪定位方法，其特征在于，所述色彩相似度的获取方法，包括：

将每个颜色分布差异进行负相关映射的结果作为颜色相似度；

将每个目标区域与每个待匹配区域之间的颜色相似度与相似显著度的乘积进行归一化的结果，作为对应目标区域与对应待匹配区域之间的色彩相似度。

9.如权利要求1所述的一种基于人工智能的摄像机实时跟踪定位方法，其特征在于，所述根据色彩相似度获得待匹配灰度图像中跟踪定位的目标物体的方法，包括：

通过柔性模板匹配算法根据色彩相似度，对每个目标区域和每个待匹配区域进行匹配，获取待匹配灰度图像中进行跟踪定位的目标物体。

10.如权利要求1所述的一种基于人工智能的摄像机实时跟踪定位方法，其特征在于，所述将目标灰度图像和待匹配灰度图像进行颜色空间转换的方法，包括：

将所述目标灰度图像和所述待匹配灰度图像转换至Lab颜色空间中。