CN106371459A - 目标跟踪方法及装置 - Google Patents
目标跟踪方法及装置 Download PDFInfo
- Publication number
- CN106371459A CN106371459A CN201610797686.0A CN201610797686A CN106371459A CN 106371459 A CN106371459 A CN 106371459A CN 201610797686 A CN201610797686 A CN 201610797686A CN 106371459 A CN106371459 A CN 106371459A
- Authority
- CN
- China
- Prior art keywords
- module
- distributed constant
- current frame
- similarity
- destination object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 230000006698 induction Effects 0.000 claims abstract description 55
- 230000007613 environmental effect Effects 0.000 claims description 72
- 239000002245 particle Substances 0.000 claims description 61
- 238000001514 detection method Methods 0.000 claims description 39
- 230000008569 process Effects 0.000 claims description 22
- 230000004888 barrier function Effects 0.000 claims description 13
- 238000009331 sowing Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 9
- 210000004705 lumbosacral region Anatomy 0.000 description 42
- 230000033001 locomotion Effects 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 230000009466 transformation Effects 0.000 description 4
- 241000208340 Araliaceae Species 0.000 description 3
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 3
- 235000003140 Panax quinquefolius Nutrition 0.000 description 3
- 239000004744 fabric Substances 0.000 description 3
- 235000008434 ginseng Nutrition 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 241000406668 Loxodonta cyclotis Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 210000003141 lower extremity Anatomy 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/12—Target-seeking control
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种目标跟踪方法及装置，属于机器人技术领域。该目标跟踪装置包括：状态感应模块、数据处理模块和移动模块，状态感应模块设置在移动模块上，且与数据处理模块连接，状态感应模块用于采集环境数据，并将环境数据发送至数据处理模块，环境数据为反映状态感应模块周围环境的数据；数据处理模块用于根据环境数据确定目标对象在当前帧图像中的第一分布参数，并根据第一分布参数生成提示命令，再将提示命令发送至移动模块，提示命令用于指示移动模块需要移动到的目标位置。本发明解决了现有技术中目标跟踪装置跟踪目标对象的效果较差的问题，提高了跟踪目标对象的效果，用于跟踪目标对象。
Description
技术领域
本发明涉及机器人技术领域，特别涉及一种目标跟踪方法及装置。
背景技术
目标跟踪技术是一种基于图像序列处理，从复杂背景中识别出目标，并对目标的运动规律加以预测，实现对目标的连续准确的跟踪的技术。目标跟踪技术作为人机交互领域中的一个重要部分，常常用于实现多种用途。比如，该目标跟踪技术能够用于实现物品搬运的用途，人员(如老人及儿童)看护的用途以及追踪儿童玩具的用途等。
现有技术中有一种目标跟踪装置，该目标跟踪装置主要包括视觉传感器(或红外传感器)、处理器和移动模块，视觉传感器和处理器设置在移动模块上。视觉传感器用于采集目标对象的图像数据，并将该图像数据发送至处理器，处理器根据该图像数据生成包括目标跟踪装置需要移动到的目标位置的命令，并将该命令发送至移动模块，移动模块再根据该命令进行移动以跟踪目标对象。
但由于视觉传感器(或红外传感器)可观察的视角是有限的，导致视觉传感器总会存在视觉盲区，也就是说，当目标对象不在视觉传感器的视线范围内时，视觉传感器无法采集到目标对象的图像，这样一来，目标跟踪装置无法跟踪目标，因此，目标跟踪装置跟踪目标对象的效果较差。
发明内容
为了解决现有技术中目标跟踪装置跟踪目标对象的效果较差的问题，本发明提供了一种目标跟踪方法及装置。所述技术方案如下：
一方面，提供了一种目标跟踪装置，所述装置包括：状态感应模块、数据处理模块和移动模块，所述状态感应模块设置在所述移动模块上，且与所述数据处理模块连接，
所述状态感应模块用于采集环境数据，并将所述环境数据发送至所述数据处理模块，所述环境数据为反映所述状态感应模块周围环境的数据；
所述数据处理模块用于根据所述环境数据确定目标对象在当前帧图像中的第一分布参数，并根据所述第一分布参数生成提示命令，再将所述提示命令发送至所述移动模块，所述提示命令用于指示所述移动模块需要移动到的目标位置。
可选的，所述装置还包括：图像采集模块，
所述图像采集模块设置在所述移动模块上，且与所述数据处理模块连接，
所述图像采集模块用于采集所述目标对象的图像数据，并将所述图像数据发送至所述数据处理模块；
所述数据处理模块还用于根据所述图像数据确定所述目标对象在当前帧图像中的第二分布参数，并根据所述第一分布参数和所述第二分布参数生成所述提示命令。
可选的，所述数据处理模块包括：第一检测子模块、第二检测子模块、计算子模块和命令生成子模块，
所述第一检测子模块用于根据所述图像数据采用预测跟踪算法，确定所述目标对象在当前帧图像中的第二分布参数；
所述第二检测子模块用于根据所述环境数据确定所述目标对象，以及所述目标对象在当前帧图像中的第一分布参数；
所述计算子模块用于根据所述第二分布参数和所述第一分布参数确定所述目标对象在当前帧图像中的目标分布参数；
所述命令生成子模块用于根据所述目标分布参数生成所述提示命令。
可选的，所述第一分布参数包括：所述目标对象在当前帧图像中的第一位置和第一大小，所述第二分布参数包括：所述目标对象在当前帧图像中的第二位置和第二大小，
所述计算子模块具体用于：
计算所述第一分布参数对应的第一区域和所述第二分布参数对应的第二区域的重叠率；
判断所述重叠率是否大于预设阈值；
当所述重叠率大于所述预设阈值时，将所述第一分布参数和所述第二分布参数的加权平均值作为所述目标分布参数；
当所述重叠率不大于所述预设阈值时，确定所述第一区域的第一相似度，以及所述第二区域的第二相似度；
将所述第一相似度和所述第二相似度中的较大值对应的分布参数作为所述目标分布参数。
可选的，所述第二检测子模块包括：
第一确定单元，用于对所述环境数据进行处理，得到环境中n个对象，所述n大于或等于1，所述n个对象包括所述目标对象；
第二确定单元，用于确定每个所述对象的相似度以及每个所述对象在当前帧图像中的分布参数；
处理单元，用于将相似度最大的对象作为所述目标对象。
可选的，所述数据处理模块还包括：标定子模块，所述标定子模块用于存储所述图像采集模块的内部参数，以及所述图像采集模块和所述状态感应模块的联合外部参数，
所述第二确定单元具体用于：
采用所述标定子模块中存储的内部参数和联合外部参数将所述n个对象映射到一个图像上，得到n个区域；
对每个所述区域进行粒子撒播处理，计算每个所述区域中的粒子的相似度，并根据粒子的相似度确定对应粒子的权重；
根据每个所述区域中粒子的权重，以及粒子在当前帧图像中的分布参数，确定对应区域在当前帧图像中的分布参数，并将区域在当前帧图像中的分布参数作为对象在当前帧图像中的分布参数；
确定每个所述区域的相似度，并将区域的相似度作为对象的相似度。
可选的，所述数据处理模块还用于：
在未接收到所述环境数据，且接收到所述图像数据时，根据所述图像数据生成所述提示命令。
可选的，所述装置还包括避障模块，
所述避障模块设置在所述移动模块上，且与所述移动模块连接，
所述避障模块用于在检测到所述目标跟踪装置周边的障碍物时，向所述移动模块发送告警命令，所述告警命令用于指示所述移动模块避开所述障碍物移动。
可选的，所述移动模块包括控制子模块和移动子模块，
所述控制子模块用于接收所述数据处理模块发送的提示命令，并根据所述提示命令控制所述移动子模块移动至所述目标位置。
可选的，所述装置还包括支撑部件，
所述支撑部件设置在所述移动模块上，所述图像采集模块和所述数据处理模块设置在所述支撑部件上。
可选的，所述状态感应模块通过第一接口组件将所述环境数据发送至所述数据处理模块；
所述图像采集模块通过第二接口组件将所述图像数据发送至所述数据处理模块。
可选的，所述状态感应模块为激光雷达传感器；
所述图像采集模块为单目视觉传感器。
可选的，所述避障模块为超声波避障传感器。
可选的，所述第一接口组件为串行接口、以太网接口或通用串行总线USB接口；
所述第二接口组件为串行接口、以太网接口或USB接口。
第二方面，提供了一种目标跟踪方法，所述方法包括：
采集环境数据，所述环境数据为反映目标跟踪装置周围环境的数据；
根据所述环境数据确定目标对象在当前帧图像中的第一分布参数；
根据所述第一分布参数生成提示命令，所述提示命令用于指示所述目标跟踪装置需要移动到的目标位置；
根据所述提示命令使所述目标跟踪装置移动至所述目标位置。
可选的，在所述根据所述第一分布参数生成提示命令之前，所述方法还包括：
采集所述目标对象的图像数据；
所述根据所述第一分布参数生成提示命令，包括：
根据所述图像数据确定所述目标对象在当前帧图像中的第二分布参数；
根据所述第一分布参数和所述第二分布参数生成所述提示命令。
可选的，所述根据所述图像数据确定所述目标对象在当前帧图像中的第二分布参数，包括：
根据所述图像数据采用预测跟踪算法，确定所述目标对象在当前帧图像中的第二分布参数；
所述根据所述环境数据确定目标对象在当前帧图像中的第一分布参数，包括：
根据所述环境数据确定所述目标对象，以及所述目标对象在当前帧图像中的第一分布参数；
所述根据所述第一分布参数和所述第二分布参数生成所述提示命令，包括：
根据所述第二分布参数和所述第一分布参数确定所述目标对象在当前帧图像中的目标分布参数；
根据所述目标分布参数生成所述提示命令。
可选的，所述第一分布参数包括：所述目标对象在当前帧图像中的第一位置和第一大小，所述第二分布参数包括：所述目标对象在当前帧图像中的第二位置和第二大小，
所述根据所述第二分布参数和所述第一分布参数确定所述目标对象在当前帧图像中的目标分布参数，包括：
计算所述第一分布参数对应的第一区域和所述第二分布参数对应的第二区域的重叠率；
判断所述重叠率是否大于预设阈值；
当所述重叠率大于所述预设阈值时，将所述第一分布参数和所述第二分布参数的加权平均值作为所述目标分布参数；
当所述重叠率不大于所述预设阈值时，确定所述第一区域的第一相似度，以及所述第二区域的第二相似度；
将所述第一相似度和所述第二相似度中的较大值对应的分布参数作为所述目标分布参数。
可选的，所述根据所述环境数据确定所述目标对象，以及所述目标对象在当前帧图像中的第一分布参数，包括：
对所述环境数据进行处理，得到环境中n个对象，所述n大于或等于1，所述n个对象包括所述目标对象；
确定每个所述对象的相似度以及每个所述对象在当前帧图像中的分布参数；
将相似度最大的对象作为所述目标对象。
可选的，所述确定每个所述对象的相似度以及每个所述对象在当前帧图像中的分布参数，包括：
采用预先存储的内部参数和联合外部参数将所述n个对象映射到一个图像上，得到n个区域；
对每个所述区域进行粒子撒播处理，计算每个所述区域中的粒子的相似度；
根据粒子的相似度确定对应粒子的权重；
根据每个所述区域中粒子的权重，以及粒子在当前帧图像中的分布参数，确定对应区域在当前帧图像中的分布参数；
将区域在当前帧图像中的分布参数作为对象在当前帧图像中的分布参数；
确定每个所述区域的相似度；
将区域的相似度作为对象的相似度。
可选的，在所述采集所述目标对象的图像数据之后，所述方法还包括：
根据所述图像数据生成所述提示命令。
可选的，在所述根据所述提示命令使所述目标跟踪装置移动至所述目标位置之后，所述方法还包括：
在检测到所述目标跟踪装置周边的障碍物时，控制所述目标跟踪装置避开所述障碍物移动。
本发明提供的技术方案带来的有益效果是：
由于目标跟踪装置的状态感应模块能够将采集的环境数据发送至数据处理模块，数据处理模块能够根据环境数据确定目标对象在当前帧图像中的第一分布参数，并根据第一分布参数生成提示命令，再将提示命令发送至移动模块，使得移动模块移动到目标位置，相较于现有技术，能够实时跟踪目标对象，提高了目标跟踪装置跟踪目标对象的效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种目标跟踪装置的结构示意图；
图2是本发明实施例提供的另一种目标跟踪装置的结构示意图；
图3是本发明实施例提供的一种数据处理模块的结构示意图；
图4-1是本发明实施例提供的一种第二检测子模块的结构示意图；
图4-2是本发明实施例提供的一种移动模块的结构示意图；
图4-3是本发明实施例提供的又一种目标跟踪装置的结构示意图；
图5是本发明实施例提供的再一种目标跟踪装置的结构示意图；
图6是本发明实施例计算第一区域和第二区域的重叠率的示意图；
图7是本发明实施例提供的一种目标位置坐标的示意图；
图8-1是本发明实施例提供的一种目标跟踪方法的流程图；
图8-2是本发明实施例提供的另一种目标跟踪方法的流程图；
图8-3是本发明实施例提供的一种确定目标对象和第一分布参数的流程图；
图8-4是本发明实施例提供的一种确定每个对象的相似度以及分布参数的流程图；
图8-5是本发明实施例提供的一种生成提示命令的流程图；
图8-6是本发明实施例提供的一种确定目标对象在当前帧图像中的目标分布参数的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
本发明实施例提供了一种目标跟踪装置100，如图1所示，该目标跟踪装置100包括：状态感应模块110、数据处理模块120和移动模块130。状态感应模块110设置在移动模块130上，且与数据处理模块120连接。
状态感应模块110用于采集环境数据，并将环境数据发送至数据处理模块120，该环境数据为反映状态感应模块110周围环境的数据，状态感应模块周围环境指的是状态感应模块周围360度环境。
数据处理模块120用于根据环境数据确定目标对象在当前帧图像中的第一分布参数，并根据第一分布参数生成提示命令，再将提示命令发送至移动模块130，该提示命令用于指示移动模块130需要移动到的目标位置。
综上所述，本发明实施例提供的目标跟踪装置，由于状态感应模块能够将采集的环境数据发送至数据处理模块，数据处理模块能够根据环境数据确定目标对象在当前帧图像中的第一分布参数，并根据第一分布参数生成提示命令，再将提示命令发送至移动模块，使得移动模块移动到目标位置，相较于现有技术，该目标跟踪装置能够实时跟踪目标对象，提高了目标跟踪装置跟踪目标对象的效果。
具体的，如图1所示，移动模块130呈圆柱状，状态感应模块110可以设置在移动模块130的上底面中心位置，状态感应模块110的中心点在移动模块130的上底面的投影与移动模块110的上底面的圆心重合，这样一来，便于简化后续的坐标转换过程，即将目标对象在当前帧图像(即图像坐标系)中的坐标转换为目标对象在世界坐标系中的坐标。
示例的，数据处理模块可以为笔记本及工控机等具有处理能力的模块。
此外，由于激光雷达传感器的测距精度较高，实时性较高，且对阴影和光照变化不敏感，所以可以将激光雷达传感器作为状态感应模块。激光雷达传感器利用光频波段的电磁波向目标对象发射探测信号，再将接收到的同波信号与发射信号进行比较，以获得目标对象的位置等信息。
进一步的，如图2所示，该目标跟踪装置100还包括：图像采集模块140。图像采集模块140设置在移动模块130上，且与数据处理模块120连接。图像采集模块140用于采集目标对象的图像数据，并将图像数据发送至数据处理模块120。图像采集模块可以采集图像采集模块周围环境的图像数据，并从周围环境的图像数据中获得目标对象的图像数据。示例的，图像采集模块为单目视觉传感器。单目视觉传感器可以通过颜色识别出目标对象，但相较于激光雷达传感器，单目视觉传感器对光线较敏感。
数据处理模块120还用于根据图像数据确定目标对象在当前帧图像中的第二分布参数，并根据第一分布参数和第二分布参数生成提示命令。图像采集模块将采集的目标对象的图像数据发送至数据处理模块，状态感应模块将采集的环境数据发送至数据处理模块，使得数据处理模块根据环境数据和目标对象的图像数据生成提示命令。
具体的，如图3所示，数据处理模块120包括：第一检测子模块121、第二检测子模块122、计算子模块123和命令生成子模块124。
第一检测子模块121用于根据图像数据采用预测跟踪算法，确定目标对象在当前帧图像中的第二分布参数。第一检测子模块接收图像采集模块发送的目标对象的图像数据，采用预测跟踪算法，确定目标对象在当前帧图像中的第二分布参数。示例的，该预测跟踪算法可以为均值偏移算法、光流算法或卡尔曼(英文：Kalman)算法等。关于预测跟踪算法可以参考现有技术，本发明实施例在此不再赘述。
第二检测子模块122用于根据环境数据确定目标对象，以及目标对象在当前帧图像中的第一分布参数。第二检测子模块接收状态感应模块发送的环境数据，并对该环境数据进行处理，得到目标对象，以及目标对象在当前帧图像中的第一分布参数。
计算子模块123用于根据第二分布参数和第一分布参数确定目标对象在当前帧图像中的目标分布参数。计算子模块根据第一检测子模块121确定的第二分布参数和第二检测子模块122确定的第一分布参数，确定目标对象在当前帧图像中的目标分布参数。
命令生成子模块124用于根据目标分布参数生成提示命令。命令生成子模块可以根据计算子模块123确定的目标对象在当前帧图像中的目标分布参数，对目标对象在当前帧图像中的坐标进行转换，得到目标对象在世界坐标系(该世界坐标系的原点为移动模块的上底面的圆心)中的坐标，再生成提示命令，并将提示命令发送至移动模块，以便于移动模块移动到目标位置。命令生成子模块也可以不执行坐标转换过程，而是计算子模块执行坐标转换过程。
可选的，第一分布参数包括：目标对象在当前帧图像中的第一位置和第一大小，第二分布参数包括：目标对象在当前帧图像中的第二位置和第二大小，其中，位置指的是目标对象的中心点在当前帧图像中的坐标，大小指的是目标对象在当前帧图像中的长度和宽度。相应的，计算子模块123具体用于：
计算第一分布参数对应的第一区域和第二分布参数对应的第二区域的重叠率；
判断重叠率是否大于预设阈值；
当重叠率大于预设阈值时，将第一分布参数和第二分布参数的加权平均值作为目标分布参数；
当重叠率不大于预设阈值时，确定第一区域的第一相似度，以及第二区域的第二相似度；
将第一相似度和第二相似度中的较大值对应的分布参数作为目标分布参数。
具体的，如图4-1所示，第二检测子模块122包括：
第一确定单元1221，用于对环境数据进行处理，得到环境中n个对象，n大于或等于1，该n个对象包括目标对象。
第二确定单元1222，用于确定每个对象的相似度以及每个对象在当前帧图像中的分布参数。第二确定单元1222计算第一确定单元1221确定的对象的相似度，以及每个对象在当前帧图像中的分布参数。
处理单元1223，用于将相似度最大的对象作为目标对象。处理单元1223将第二确定单元1222确定的相似度最大的对象作为目标对象。其中，第二确定单元1222确定的目标对象在当前帧图像中的分布参数即为目标对象在当前帧图像中的第一分布参数。
进一步的，如图3所示，数据处理模块120还包括：标定子模块125，标定子模块125用于存储图像采集模块的内部参数，以及图像采集模块和状态感应模块的联合外部参数。相应的，图4-1中的第二确定单元1222具体用于：
采用标定子模块中存储的内部参数和联合外部参数将n个对象映射到一个图像上，得到n个区域；
对每个区域进行粒子撒播处理，计算每个区域中的粒子的相似度，并根据粒子的相似度确定对应粒子的权重；
根据每个区域中粒子的权重，以及粒子在当前帧图像中的分布参数，确定对应区域在当前帧图像中的分布参数，并将区域在当前帧图像中的分布参数作为对象在当前帧图像中的分布参数；
确定每个区域的相似度，并将区域的相似度作为对象的相似度。
其中，图像采集模块的内部参数，以及图像采集模块和状态感应模块的联合外部参数的确定过程涉及三个坐标系和两个坐标系转换过程，三个坐标系分别为：图像坐标系、图像采集模块坐标系和状态感应模块坐标系，两个坐标系转换过程为：状态感应模块坐标系到图像采集模块坐标系的转换过程，图像采集模块坐标系到图像坐标系的转换过程。状态感应模块坐标系的原点为状态感应模块的中心点在移动模块的上底面的投影。
参考现有技术，假设空间中某一点P在状态感应模块坐标系中的坐标为PL＝[XL，YL，ZL]，那么状态感应模块坐标系到图像采集模块坐标系的转换的关系式为：
PL＝φPC+Δ；
其中，PC为点P在图像采集模块坐标系中的坐标，且PC＝[XC，YC，ZC]，φ为图像采集模块坐标系到状态感应模块坐标系的旋转矩阵，Δ为图像采集模块坐标系到状态感应模块坐标系的平移向量，且该平移向量是三行三列的向量。旋转矩阵φ和平移向量Δ为联合外部参数(即图像采集模块和状态感应模块的联合外部参数)。
再假设点P在图像坐标系中的坐标为(u，v)，那么图像采集模块坐标系到图像坐标系的转换的关系式为：
其中，参数ax，参数ay，参数u0以及参数v0为图像采集模块的内部参数。
可见，在得到旋转矩阵φ，平移向量Δ，参数ax，参数av，参数u0以及参数v0之后，就可以将状态感应模块坐标系中的点投影至图像坐标系中，进而达到将n个对象映射到一个图像上，得到n个区域的。
示例的，确定图像采集模块的内部参数时，可以采用张正友标定法来确定。确定图像采集模块和状态感应模块的联合外部参数时，可以将标定板放置在图像采集模块和状态感应模块都能够捕获到图像信息的位置，确定时可以先采用数据处理模块同时捕获图像采集模块和状态感应模块采集到的标定板上的图像信息，再采用数据处理模块分析两者采集的图像信息之间的几何约束关系，求出旋转矩阵φ和平移向量Δ。其中，采用的标定板可以为棋盘标定板、三角形标定板、V型标定板以及正方体标定板等，本发明实施例对标定板的类型不做限定。另外，关于根据图像信息之间的几何约束关系，求出旋转矩阵φ和平移向量Δ的具体过程可以参考现有技术，本发明实施例在此不再赘述。
可选的，如图4-2所示，移动模块130包括控制子模块131和移动子模块132。控制子模块131用于接收数据处理模块发送的提示命令，并根据提示命令控制移动子模块132移动至目标位置。示例的，移动子模块为轮式结构，该移动子模块可以为三轮结构，也可以为四轮结构，移动子模块的驱动方式可以为差动驱动方式，也可以为全方位驱动方式，本发明实施例对移动子模块的结构以及驱动方式不做限定。
进一步的，如图4-3所示，该目标跟踪装置100还包括避障模块150。避障模块150设置在移动模块130上，且与移动模块130连接。
如图4-3所示，移动模块130呈圆柱状，避障模块150设置在移动模块130的侧面。避障模块150用于在检测到目标跟踪装置周边的障碍物时，向移动模块130发送告警命令，该告警命令用于指示移动模块130避开障碍物移动。避障模块避免了目标跟踪装置因碰撞障碍物而损坏导致无法实时跟踪目标对象。示例的，避障模块为超声波避障传感器。目标跟踪装置上可以设置多个避障模块，本发明实施例对避障模块的数量不做限定。
进一步的，如图4-3所示，该目标跟踪装置100还包括支撑部件160。
支撑部件160设置在移动模块130上，图像采集模块140和数据处理模块120设置在支撑部件160上。数据处理模块120也可以设置在移动模块130上。参见图4-3，移动模块130呈圆柱状，支撑架160设置在移动模块130的上底面，支撑架160的高度方向(如图4-3中k1所指示的方向)与移动模块130的高度方向(如图4-3中k2所指示的方向)平行。
可选的，状态感应模块通过第一接口组件将环境数据发送至数据处理模块。示例的，第一接口组件可以为串行接口、以太网接口或通用串行总线(英文：Universal SerialBus；简称：USB)接口；图像采集模块通过第二接口组件将图像数据发送至数据处理模块。示例的，第二接口组件可以为串行接口、以太网接口或USB接口。
进一步的，数据处理模块还用于：
在未接收到环境数据，且接收到图像数据时，根据图像数据生成提示命令。数据处理模块将该提示命令发送至移动模块，以使移动模块移动到目标位置，避免数据处理模块未接收到环境数据而导致目标跟踪装置无法跟踪目标对象。
本发明实施例以该目标跟踪装置跟踪一个老人R为例，对该目标跟踪装置的工作过程进行说明。假设当前时刻，老人R旁边还有两个人，这两个人分别为A和B。
参见图5，1)状态感应模块110采集环境数据，该环境数据为反映状态感应模块110周围360度环境的数据，状态感应模块110再将该环境数据发送至数据处理模块的第二检测子模块122。
2)第二检测子模块122根据接收到的环境数据确定目标对象(如R的腰部区域)，以及R的腰部区域在当前帧图像中的第一位置和第一大小。
具体的，第二检测子模块122的第一确定单元1221先对环境数据依次进行预处理、聚类处理、特征提取处理及特征匹配处理，得到环境中的3个对象：R的腰部区域，A的腰部区域，以及B的腰部区域。
第二确定单元1222采用标定子模块125中存储的图像采集模块的内部参数，以及图像采集模块和状态感应模块的联合外部参数，将该3个对象映射到一个图像上，得到3个区域：区域S1，区域S2和区域S3。其中，区域S1为R的腰部区域映射到图像上的区域，区域S2为A的腰部区域映射到图像上的区域，区域S3为B的腰部区域映射到图像上的区域。第二确定单元1222再向3个区域中每个区域撒播M(M大于1)个粒子，并计算每个粒子的相似度，然后根据粒子的相似度确定对应粒子的权重，粒子的相似度越大，粒子的权重就越大。在确定了每个区域中各个粒子的权重后，可以根据粒子的权重，以及粒子在当前帧图像中的位置和大小，确定每个区域在当前帧图像中的位置和大小。假设M等于2，区域S1中的2个粒子分别为：粒子11和粒子12，粒子11的权重为q1，且粒子11的大小为p1，粒子12的权重为q2，且粒子12的大小为p2，那么，区域S1的大小为：q1*p1+q2*p2。第二确定单元1222确定了区域S1在当前帧图像中的位置和大小，区域S2在当前帧图像中的位置和大小以及区域S3在当前帧图像中的位置和大小之后，再将区域S1在当前帧图像中的位置作为R的腰部区域在当前帧图像中的位置，将区域S1在当前帧图像中的大小作为R的腰部区域在当前帧图像中的大小，同样的，将区域S2在当前帧图像中的位置作为A的腰部区域在当前帧图像中的位置，将区域S2在当前帧图像中的大小作为A的腰部区域在当前帧图像中的大小，将区域S3在当前帧图像中的位置作为B的腰部区域在当前帧图像中的位置，将区域S3在当前帧图像中的大小作为B的腰部区域在当前帧图像中的大小。然后第二确定单元1222确定每个区域的相似度，并将区域的相似度作为对象的相似度。其中，区域的相似度等于区域与模板区域的相似度，该模板区域为上一帧图像区域。
假设R的腰部区域的相似度等于0.9，A的腰部区域的相似度等于0.3，B的腰部区域的相似度等于0.5，那么R的腰部区域的相似度最大，所以处理单元1223将R的腰部区域作为目标对象。R的腰部区域在当前帧图像中的位置即为第一位置，R的腰部区域在当前帧图像中的大小即为第一大小，上述第一分布参数包括该第一位置和该第一大小。
3)图像采集模块140采集R的腰部区域的图像数据，并将R的腰部区域的图像数据发送至数据处理模块的第一检测子模块121。
4)第一检测子模块121根据R的腰部区域的图像数据，采用预测跟踪算法，确定R的腰部区域在当前帧图像中的第二位置和第二大小，上述第二分布参数包括该第二位置和该第二大小。
5)计算子模块123根据第一检测子模块121确定的第二分布参数，以及第二检测子模块122确定的第一分布参数确定R的腰部区域在当前帧图像中的目标分布参数。
具体的，计算子模块123先计算第二检测子模块122确定的R的腰部区域与第一检测子模块121确定的R的腰部区域的重叠率，此处，将第二检测子模块122确定的R的腰部区域记为第一区域，将第一检测子模块121确定的R的腰部区域记为第二区域。计算第一区域和第二区域的重叠率C可以参考图6，采用如下公式来计算：
该公式中的Y1为第一区域601的面积，Y2为第二区域602的面积，Y1∩Y2表示Y1与Y2的交集，Y1∪Y2表示Y1与Y2的并集。图6中的实线围成的区域为第一区域，虚线围成的区域为第二区域。
计算子模块123判断第一区域和第二区域的重叠率C是否大于预设阈值；
当第一区域和第二区域的重叠率C大于预设阈值时，计算子模块123将第一分布参数和第二分布参数的加权平均值作为目标分布参数。该目标分布参数包括R的腰部区域在当前帧图像中的目标位置和目标大小。
假设第一区域的中心点在当前帧图像中的坐标为O1，第二区域的中心点在当前帧图像中的坐标为O2，第一分布参数的第一大小中的长度为w1，宽度为h1，第二分布参数中的第二大小的长度为w2，宽度为h2，那么目标分布参数的目标大小的长度w＝a*w1+b*w2，宽度h＝a*h1+b*h2，其中，a大于0且小于1，b大于0且小于1。优选的，a和b均等于0.5。目标分布参数的目标位置，即目标对象的中心点在当前帧图像中的坐标O＝a*O1+b*O2，其中，a大于0且小于1，b大于0且小于1。优选的，a和b均等于0.5。
当第一区域和第二区域的重叠率C不大于预设阈值时，计算子模块123确定第一区域的第一相似度，以及第二区域的第二相似度。其中，第一区域的第一相似度为第一区域与模板区域的相似度，第二区域的第二相似度为第二区域与模板区域的相似度，该模板区域为上一帧图像区域。比如，第二区域的相似度可以采用如下公式来计算：
其中，Sim为第二区域的相似度，f1i为第二区域中第i个像素的像素值，f2i为模板区域中第i个像素的像素值，M为每一列像素的个数，N为每一行像素的个数。
6)命令生成子模块124根据计算子模块123确定的目标分布参数生成提示命令，再将提示命令发送至移动模块130的控制子模块131，控制子模块131根据该提示命令控制移动子模块132移动至目标位置。示例的，如图7所示，命令生成子模块根据计算子模块确定的目标分布参数得到R的腰部区域在世界坐标系中的坐标为(x，y)，命令生成子模块再向控制子模块发送提示命令，该提示命令包括：坐标(x，y-d)，控制子模块根据该提示命令控制移动子模块移动至坐标(x，y-d)所对应的位置。其中，d为移动模块与R的腰部区域的跟踪距离，d的大小可以根据实际应用来确定，本发明实施例对此不作限定。图7中的圆圈表示R的腰部区域的位置，五角星表示移动模块需要移动到的目标位置。该过程需要完成图像坐标系到世界坐标系的转换，具体的，可以对图像坐标系与状态感应模块坐标系进行联合标定，完成图像坐标系到世界坐标系的转换。其中，状态感应模块坐标系的原点与世界坐标系的原点重合。
需要补充说明的是，参见图5，当第一检测子模块121未接收到R的腰部区域的图像数据，且第二检测子模块122接收到环境数据时，计算子模块123可以将第二检测子模块122确定的第一分布参数作为目标分布参数，命令生成子模块124再根据该目标分布参数生成提示命令，再将提示命令发送至移动模块130；当第一检测子模块121接收到R的腰部区域的图像数据，且第二检测子模块122未接收到环境数据时，计算子模块123可以将第一检测子模块121确定的第二分布参数作为目标分布参数，命令生成子模块124再根据该目标分布参数生成提示命令，再将提示命令发送至移动模块130。这样一来，提高了目标跟踪装置的鲁棒性，提高了跟踪目标对象的可靠性。
需要补充说明的是，本发明实施例提供的目标跟踪装置包括用于采集环境数据的状态感应模块(如激光雷达传感器)，能够实现360度无盲点的检测与跟踪，即使目标对象消失在目标跟踪装置的视线范围内，该目标跟踪装置仍能够基于环境数据跟踪目标对象。该目标跟踪装置还融合了图像采集模块，使得跟踪结果更加精确，更加可靠，目标跟踪装置的鲁棒性更好。
综上所述，本发明实施例提供的目标跟踪装置，由于状态感应模块能够将采集的环境数据发送至数据处理模块，数据处理模块能够根据环境数据确定目标对象在当前帧图像中的第一分布参数，并根据第一分布参数生成提示命令，再将提示命令发送至移动模块，使得移动模块移动到目标位置，相较于现有技术，能够实现360度无盲点的检测与跟踪，实时跟踪目标对象，提高了目标跟踪装置跟踪目标对象的效果。
本发明实施例提供了一种目标跟踪方法，如图8-1所示，该方法包括：
步骤601、采集环境数据，该环境数据为反映目标跟踪装置周围环境的数据。
步骤602、根据环境数据确定目标对象在当前帧图像中的第一分布参数。
步骤603、根据第一分布参数生成提示命令，该提示命令用于指示目标跟踪装置需要移动到的目标位置。
步骤604、根据提示命令使目标跟踪装置移动至目标位置。
综上所述，本发明实施例提供的目标跟踪方法，由于该方法能够根据采集的环境数据确定目标对象在当前帧图像中的第一分布参数，并根据第一分布参数生成提示命令，使得目标跟踪装置移动到目标位置，相较于现有技术，能够实时跟踪目标对象，提高了跟踪目标对象的效果。
本发明实施例提供了另一种目标跟踪方法，如图8-2所示，该方法包括：
步骤701、采集环境数据。
该环境数据为反映目标跟踪装置周围环境的数据。目标跟踪装置周围环境的数据为目标跟踪装置周围360度环境。示例的，可以采用激光雷达传感器采集环境数据。
步骤702、根据环境数据确定目标对象在当前帧图像中的第一分布参数。
具体的，可以采用处理器来根据环境数据确定目标对象在当前帧图像中的第一分布参数。
具体的，步骤702包括：
根据环境数据确定目标对象，以及目标对象在当前帧图像中的第一分布参数。假设该方法要跟踪一个老人，那么目标对象可以是该老人的腰部区域，也可以是该老人的腿部区域。
进一步的，如图8-3所示，根据环境数据确定目标对象，以及目标对象在当前帧图像中的第一分布参数，包括：
步骤7021、对环境数据进行处理，得到环境中n个对象。
n大于或等于1，n个对象包括目标对象。假设该方法要跟踪一个老人，当前时刻，老人R旁边还有两个人，这两个人分别为A和B，那么该方法可以根据环境数据得到环境中的3个对象：R的腰部区域，A的腰部区域，以及B的腰部区域。
步骤7022、确定每个对象的相似度以及每个对象在当前帧图像中的分布参数。
具体的，如图8-4所示，步骤7022包括：
步骤7022a、采用预先存储的内部参数和联合外部参数将n个对象映射到一个图像上，得到n个区域。
图像采集模块的内部参数，以及图像采集模块和状态感应模块的联合外部参数的确定过程可以参考上述装置实施例中的说明，在此不再赘述。
步骤7022b、对每个区域进行粒子撒播处理，计算每个区域中的粒子的相似度。
粒子的相似度为粒子与模板区域的相似度，该模板区域为上一帧图像区域。
步骤7022c、根据粒子的相似度确定对应粒子的权重。
根据粒子的相似度可以确定对应粒子的权重，粒子的相似度越大，粒子的权重就越大，粒子的相似度越小，粒子的权重就越小。
步骤7022d、根据每个区域中粒子的权重，以及粒子在当前帧图像中的分布参数，确定对应区域在当前帧图像中的分布参数。
在确定了每个区域中各个粒子的权重后，可以根据粒子的权重，以及粒子在当前帧图像中的位置和大小，确定每个区域在当前帧图像中的位置和大小，即每个区域在当前帧图像中的分布参数。
步骤7022e、将区域在当前帧图像中的分布参数作为对象在当前帧图像中的分布参数。
按照步骤7022d确定了每个区域在当前帧图像中的分布参数之后，再将区域在当前帧图像中的分布参数作为对象在当前帧图像中的分布参数。
步骤7022f、确定每个区域的相似度。
区域的相似度等于区域与模板区域的相似度。
步骤7022g、将区域的相似度作为对象的相似度。
确定了每个区域的相似度后，再将区域的相似度作为对应的对象的相似度。
步骤7023、将相似度最大的对象作为目标对象。
假设R的腰部区域的相似度等于0.9，A的腰部区域的相似度等于0.3，B的腰部区域的相似度等于0.5，那么可以将R的腰部区域作为目标对象，且可以得到目标对象在当前帧图像中第一分布参数。
步骤703、采集目标对象的图像数据。
步骤704、根据图像数据确定目标对象在当前帧图像中的第二分布参数。
具体的，步骤704可以包括：
根据图像数据采用预测跟踪算法，确定目标对象在当前帧图像中的第二分布参数。示例的，该预测跟踪算法可以为均值偏移算法、光流算法或Kalman算法等。
步骤705、根据第一分布参数和第二分布参数生成提示命令。
该提示命令用于指示目标跟踪装置需要移动到的目标位置。
具体的，如图8-5所示，步骤705包括：
步骤7051、根据第二分布参数和第一分布参数确定目标对象在当前帧图像中的目标分布参数。
第一分布参数包括：目标对象在当前帧图像中的第一位置和第一大小，第二分布参数包括：目标对象在当前帧图像中的第二位置和第二大小，相应的，如图8-6所示，步骤7051可以包括：
步骤7051a、计算第一分布参数对应的第一区域和第二分布参数对应的第二区域的重叠率。执行步骤7051b。
计算第一区域和第二区域的重叠率可以参考上述装置实施例以及图6的说明，在此不再赘述。
步骤7051b、判断重叠率是否大于预设阈值。当重叠率大于预设阈值时，执行步骤7051c；当重叠率不大于预设阈值时，执行步骤7051d。
步骤7051c、将第一分布参数和第二分布参数的加权平均值作为目标分布参数。
该步骤的具体过程可以参考上述装置实施例进行说明。
步骤7051d、确定第一区域的第一相似度，以及第二区域的第二相似度。执行步骤7051e。
第一区域的第一相似度为第一区域与模板区域的相似度，第二区域的第二相似度为第二区域与模板区域的相似度。第一相似度或第二相似度可以根据相应区域中的像素值来计算。
步骤7051e、将第一相似度和第二相似度中的较大值对应的分布参数作为目标分布参数。
比较步骤7051d的计算结果，将第一相似度和第二相似度中的较大值对应的分布参数作为目标分布参数。
步骤7052、根据目标分布参数生成提示命令。
该方法可以根据目标分布参数得到目标对象在世界坐标系中的坐标，再生成提示命令，该提示命令包括目标跟踪装置要移动到的目标位置的坐标。具体可以参考图7进行说明。
步骤706、根据提示命令使目标跟踪装置移动至目标位置。
该方法根据提示命令中的坐标，使目标跟踪装置移动至目标位置。
步骤707、在检测到目标跟踪装置周边的障碍物时，控制目标跟踪装置避开障碍物移动。
该方法在检测到目标跟踪装置周边的障碍物时，能够控制目标跟踪装置避开障碍物移动，避免目标跟踪装置损坏，无法实时跟踪目标对象，提高跟踪目标对象的可靠性。
需要补充说明的是，在采集目标对象的图像数据，该方法还可以包括：根据图像数据生成提示命令。
本发明实施例提供的目标跟踪方法可以在未采集到目标对象的图像数据，但采集到环境数据时，根据环境数据生成提示命令，再根据该提示命令使目标跟踪装置移动至目标位置；还可以在未采集到环境数据，但采集到目标对象的图像数据时，根据目标对象的图像数据生成提示命令，再根据该提示命令使目标跟踪装置移动至目标位置，提高了跟踪目标对象的可靠性。
需要说明的是，本发明实施例提供的目标跟踪方法步骤的先后顺序可以进行适当调整，步骤也可以根据情况进行相应增减，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化的方法，都应涵盖在本发明的保护范围之内，因此不再赘述。
综上所述，本发明实施例提供的目标跟踪方法，由于该方法能够根据采集的环境数据确定目标对象在当前帧图像中的第一分布参数，并根据第一分布参数生成提示命令，使得目标跟踪装置移动到目标位置，相较于现有技术，能够实现360度无盲点的检测与跟踪，实时跟踪目标对象，提高了跟踪目标对象的效果。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述方法实施例中的具体过程，可以参考前述装置实施例中对应的组件、机构和模块的具体工作过程，在此不再赘述。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (22)
1.一种目标跟踪装置，其特征在于，所述装置包括：状态感应模块、数据处理模块和移动模块，所述状态感应模块设置在所述移动模块上，且与所述数据处理模块连接，
所述状态感应模块用于采集环境数据，并将所述环境数据发送至所述数据处理模块，所述环境数据为反映所述状态感应模块周围环境的数据；
所述数据处理模块用于根据所述环境数据确定目标对象在当前帧图像中的第一分布参数，并根据所述第一分布参数生成提示命令，再将所述提示命令发送至所述移动模块，所述提示命令用于指示所述移动模块需要移动到的目标位置。
2.根据权利要求1所述的装置，其特征在于，所述装置还包括：图像采集模块，
所述图像采集模块设置在所述移动模块上，且与所述数据处理模块连接，
所述图像采集模块用于采集所述目标对象的图像数据，并将所述图像数据发送至所述数据处理模块；
所述数据处理模块还用于根据所述图像数据确定所述目标对象在当前帧图像中的第二分布参数，并根据所述第一分布参数和所述第二分布参数生成所述提示命令。
3.根据权利要求2所述的装置，其特征在于，所述数据处理模块包括：第一检测子模块、第二检测子模块、计算子模块和命令生成子模块，
所述第一检测子模块用于根据所述图像数据采用预测跟踪算法，确定所述目标对象在当前帧图像中的第二分布参数；
所述第二检测子模块用于根据所述环境数据确定所述目标对象，以及所述目标对象在当前帧图像中的第一分布参数；
所述计算子模块用于根据所述第二分布参数和所述第一分布参数确定所述目标对象在当前帧图像中的目标分布参数；
所述命令生成子模块用于根据所述目标分布参数生成所述提示命令。
4.根据权利要求3所述的装置，其特征在于，所述第一分布参数包括：所述目标对象在当前帧图像中的第一位置和第一大小，所述第二分布参数包括：所述目标对象在当前帧图像中的第二位置和第二大小，
所述计算子模块具体用于：
计算所述第一分布参数对应的第一区域和所述第二分布参数对应的第二区域的重叠率；
判断所述重叠率是否大于预设阈值；
当所述重叠率大于所述预设阈值时，将所述第一分布参数和所述第二分布参数的加权平均值作为所述目标分布参数；
当所述重叠率不大于所述预设阈值时，确定所述第一区域的第一相似度，以及所述第二区域的第二相似度；
将所述第一相似度和所述第二相似度中的较大值对应的分布参数作为所述目标分布参数。
5.根据权利要求3所述的装置，其特征在于，所述第二检测子模块包括：
第一确定单元，用于对所述环境数据进行处理，得到环境中n个对象，所述n大于或等于1，所述n个对象包括所述目标对象；
第二确定单元，用于确定每个所述对象的相似度以及每个所述对象在当前帧图像中的分布参数；
处理单元，用于将相似度最大的对象作为所述目标对象。
6.根据权利要求5所述的装置，其特征在于，所述数据处理模块还包括：标定子模块，所述标定子模块用于存储所述图像采集模块的内部参数，以及所述图像采集模块和所述状态感应模块的联合外部参数，
所述第二确定单元具体用于：
采用所述标定子模块中存储的内部参数和联合外部参数将所述n个对象映射到一个图像上，得到n个区域；
对每个所述区域进行粒子撒播处理，计算每个所述区域中的粒子的相似度，并根据粒子的相似度确定对应粒子的权重；
根据每个所述区域中粒子的权重，以及粒子在当前帧图像中的分布参数，确定对应区域在当前帧图像中的分布参数，并将区域在当前帧图像中的分布参数作为对象在当前帧图像中的分布参数；
确定每个所述区域的相似度，并将区域的相似度作为对象的相似度。
7.根据权利要求2所述的装置，其特征在于，所述数据处理模块还用于：
在未接收到所述环境数据，且接收到所述图像数据时，根据所述图像数据生成所述提示命令。
8.根据权利要求1所述的装置，其特征在于，所述装置还包括避障模块，
所述避障模块设置在所述移动模块上，且与所述移动模块连接，
所述避障模块用于在检测到所述目标跟踪装置周边的障碍物时，向所述移动模块发送告警命令，所述告警命令用于指示所述移动模块避开所述障碍物移动。
9.根据权利要求1至8任一所述的装置，其特征在于，所述移动模块包括控制子模块和移动子模块，
所述控制子模块用于接收所述数据处理模块发送的提示命令，并根据所述提示命令控制所述移动子模块移动至所述目标位置。
10.根据权利要求2所述的装置，其特征在于，所述装置还包括支撑部件，
所述支撑部件设置在所述移动模块上，所述图像采集模块和所述数据处理模块设置在所述支撑部件上。
11.根据权利要求2所述的装置，其特征在于，
所述状态感应模块通过第一接口组件将所述环境数据发送至所述数据处理模块；
所述图像采集模块通过第二接口组件将所述图像数据发送至所述数据处理模块。
12.根据权利要求2所述的装置，其特征在于，
所述状态感应模块为激光雷达传感器；
所述图像采集模块为单目视觉传感器。
13.根据权利要求8所述的装置，其特征在于，
所述避障模块为超声波避障传感器。
14.根据权利要求11所述的装置，其特征在于，
所述第一接口组件为串行接口、以太网接口或通用串行总线USB接口；
所述第二接口组件为串行接口、以太网接口或USB接口。
15.一种目标跟踪方法，其特征在于，所述方法包括：
采集环境数据，所述环境数据为反映目标跟踪装置周围环境的数据；
根据所述环境数据确定目标对象在当前帧图像中的第一分布参数；
根据所述第一分布参数生成提示命令，所述提示命令用于指示所述目标跟踪装置需要移动到的目标位置；
根据所述提示命令使所述目标跟踪装置移动至所述目标位置。
16.根据权利要求15所述的方法，其特征在于，
在所述根据所述第一分布参数生成提示命令之前，所述方法还包括：
采集所述目标对象的图像数据；
所述根据所述第一分布参数生成提示命令，包括：
根据所述图像数据确定所述目标对象在当前帧图像中的第二分布参数；
根据所述第一分布参数和所述第二分布参数生成所述提示命令。
17.根据权利要求16所述的方法，其特征在于，
所述根据所述图像数据确定所述目标对象在当前帧图像中的第二分布参数，包括：
根据所述图像数据采用预测跟踪算法，确定所述目标对象在当前帧图像中的第二分布参数；
所述根据所述环境数据确定目标对象在当前帧图像中的第一分布参数，包括：
根据所述环境数据确定所述目标对象，以及所述目标对象在当前帧图像中的第一分布参数；
所述根据所述第一分布参数和所述第二分布参数生成所述提示命令，包括：
根据所述第二分布参数和所述第一分布参数确定所述目标对象在当前帧图像中的目标分布参数；
根据所述目标分布参数生成所述提示命令。
18.根据权利要求17所述的方法，其特征在于，所述第一分布参数包括：所述目标对象在当前帧图像中的第一位置和第一大小，所述第二分布参数包括：所述目标对象在当前帧图像中的第二位置和第二大小，
所述根据所述第二分布参数和所述第一分布参数确定所述目标对象在当前帧图像中的目标分布参数，包括：
计算所述第一分布参数对应的第一区域和所述第二分布参数对应的第二区域的重叠率；
判断所述重叠率是否大于预设阈值；
当所述重叠率大于所述预设阈值时，将所述第一分布参数和所述第二分布参数的加权平均值作为所述目标分布参数；
当所述重叠率不大于所述预设阈值时，确定所述第一区域的第一相似度，以及所述第二区域的第二相似度；
将所述第一相似度和所述第二相似度中的较大值对应的分布参数作为所述目标分布参数。
19.根据权利要求17所述的方法，其特征在于，所述根据所述环境数据确定所述目标对象，以及所述目标对象在当前帧图像中的第一分布参数，包括：
对所述环境数据进行处理，得到环境中n个对象，所述n大于或等于1，所述n个对象包括所述目标对象；
确定每个所述对象的相似度以及每个所述对象在当前帧图像中的分布参数；
将相似度最大的对象作为所述目标对象。
20.根据权利要求19所述的方法，其特征在于，所述确定每个所述对象的相似度以及每个所述对象在当前帧图像中的分布参数，包括：
采用预先存储的内部参数和联合外部参数将所述n个对象映射到一个图像上，得到n个区域；
对每个所述区域进行粒子撒播处理，计算每个所述区域中的粒子的相似度；
根据粒子的相似度确定对应粒子的权重；
根据每个所述区域中粒子的权重，以及粒子在当前帧图像中的分布参数，确定对应区域在当前帧图像中的分布参数；
将区域在当前帧图像中的分布参数作为对象在当前帧图像中的分布参数；
确定每个所述区域的相似度；
将区域的相似度作为对象的相似度。
21.根据权利要求16所述的方法，其特征在于，在所述采集所述目标对象的图像数据之后，所述方法还包括：
根据所述图像数据生成所述提示命令。
22.根据权利要求15至21任一所述的方法，其特征在于，在所述根据所述提示命令使所述目标跟踪装置移动至所述目标位置之后，所述方法还包括：
在检测到所述目标跟踪装置周边的障碍物时，控制所述目标跟踪装置避开所述障碍物移动。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610797686.0A CN106371459B (zh) | 2016-08-31 | 2016-08-31 | 目标跟踪方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610797686.0A CN106371459B (zh) | 2016-08-31 | 2016-08-31 | 目标跟踪方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106371459A true CN106371459A (zh) | 2017-02-01 |
| CN106371459B CN106371459B (zh) | 2018-01-30 |
Family
ID=57899208
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610797686.0A Active CN106371459B (zh) | 2016-08-31 | 2016-08-31 | 目标跟踪方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106371459B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106843280A (zh) * | 2017-02-17 | 2017-06-13 | 深圳市踏路科技有限公司 | 一种机器人智能跟随系统 |
| CN109544590A (zh) * | 2018-11-27 | 2019-03-29 | 上海芯仑光电科技有限公司 | 一种目标跟踪方法及计算设备 |
| CN110163885A (zh) * | 2018-02-12 | 2019-08-23 | 杭州海康威视数字技术股份有限公司 | 一种目标跟踪方法及装置 |
| CN110197104A (zh) * | 2018-02-27 | 2019-09-03 | 杭州海康威视数字技术股份有限公司 | 基于车辆的测距方法及装置 |
| CN110794692A (zh) * | 2018-08-03 | 2020-02-14 | 珠海格力电器股份有限公司 | 家电设备的移动控制方法、装置及家电设备 |
| WO2021139414A1 (zh) * | 2020-01-06 | 2021-07-15 | 苏州宝时得电动工具有限公司 | 自移动设备 |
| US11458627B2 (en) | 2020-08-13 | 2022-10-04 | National Chiao Tung University | Method and system of robot for human following |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105046220A (zh) * | 2015-07-10 | 2015-11-11 | 华为技术有限公司 | 一种多目标跟踪方法、装置及设备 |
| CN105427338A (zh) * | 2015-11-02 | 2016-03-23 | 浙江宇视科技有限公司 | 一种运动目标的跟踪方法和装置 |
| JP2016085675A (ja) * | 2014-10-28 | 2016-05-19 | セコム株式会社 | 移動物体追跡装置 |
| CN105741325A (zh) * | 2016-03-15 | 2016-07-06 | 上海电气集团股份有限公司 | 一种跟踪移动目标的方法及移动目标跟踪设备 |
| CN205387157U (zh) * | 2016-01-29 | 2016-07-20 | 速感科技（北京）有限公司 | 自动跟随购物车 |
| CN105825524A (zh) * | 2016-03-10 | 2016-08-03 | 浙江生辉照明有限公司 | 目标跟踪方法和装置 |
-
2016
- 2016-08-31 CN CN201610797686.0A patent/CN106371459B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016085675A (ja) * | 2014-10-28 | 2016-05-19 | セコム株式会社 | 移動物体追跡装置 |
| CN105046220A (zh) * | 2015-07-10 | 2015-11-11 | 华为技术有限公司 | 一种多目标跟踪方法、装置及设备 |
| CN105427338A (zh) * | 2015-11-02 | 2016-03-23 | 浙江宇视科技有限公司 | 一种运动目标的跟踪方法和装置 |
| CN205387157U (zh) * | 2016-01-29 | 2016-07-20 | 速感科技（北京）有限公司 | 自动跟随购物车 |
| CN105825524A (zh) * | 2016-03-10 | 2016-08-03 | 浙江生辉照明有限公司 | 目标跟踪方法和装置 |
| CN105741325A (zh) * | 2016-03-15 | 2016-07-06 | 上海电气集团股份有限公司 | 一种跟踪移动目标的方法及移动目标跟踪设备 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106843280A (zh) * | 2017-02-17 | 2017-06-13 | 深圳市踏路科技有限公司 | 一种机器人智能跟随系统 |
| CN110163885A (zh) * | 2018-02-12 | 2019-08-23 | 杭州海康威视数字技术股份有限公司 | 一种目标跟踪方法及装置 |
| CN110163885B (zh) * | 2018-02-12 | 2022-06-03 | 杭州海康威视数字技术股份有限公司 | 一种目标跟踪方法及装置 |
| CN110197104A (zh) * | 2018-02-27 | 2019-09-03 | 杭州海康威视数字技术股份有限公司 | 基于车辆的测距方法及装置 |
| CN110794692A (zh) * | 2018-08-03 | 2020-02-14 | 珠海格力电器股份有限公司 | 家电设备的移动控制方法、装置及家电设备 |
| CN110794692B (zh) * | 2018-08-03 | 2021-07-23 | 珠海格力电器股份有限公司 | 家电设备的移动控制方法、装置及家电设备 |
| CN109544590A (zh) * | 2018-11-27 | 2019-03-29 | 上海芯仑光电科技有限公司 | 一种目标跟踪方法及计算设备 |
| CN109544590B (zh) * | 2018-11-27 | 2020-05-15 | 上海芯仑光电科技有限公司 | 一种目标跟踪方法及计算设备 |
| WO2021139414A1 (zh) * | 2020-01-06 | 2021-07-15 | 苏州宝时得电动工具有限公司 | 自移动设备 |
| US11458627B2 (en) | 2020-08-13 | 2022-10-04 | National Chiao Tung University | Method and system of robot for human following |
| TWI780468B (zh) * | 2020-08-13 | 2022-10-11 | 國立陽明交通大學 | 機器人對人員跟隨之控制方法與系統 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106371459B (zh) | 2018-01-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106371459A (zh) | 目标跟踪方法及装置 | |
| US20230072637A1 (en) | Vehicle Drivable Area Detection Method, System, and Autonomous Vehicle Using the System | |
| Choi et al. | A sensor fusion system with thermal infrared camera and LiDAR for autonomous vehicles and deep learning based object detection | |
| Levinson et al. | Traffic light mapping, localization, and state detection for autonomous vehicles | |
| US10192113B1 (en) | Quadocular sensor design in autonomous platforms | |
| WO2022012158A1 (zh) | 一种目标确定方法以及目标确定装置 | |
| US10496104B1 (en) | Positional awareness with quadocular sensor in autonomous platforms | |
| US11064178B2 (en) | Deep virtual stereo odometry | |
| Moras et al. | Credibilist occupancy grids for vehicle perception in dynamic environments | |
| US10921820B2 (en) | Movable object and control method thereof | |
| US10860034B1 (en) | Barrier detection | |
| JP2021089724A (ja) | 構造的制約及び物理的制約を伴う３ｄ自動ラベル付け | |
| Lookingbill et al. | Reverse optical flow for self-supervised adaptive autonomous robot navigation | |
| US20210004566A1 (en) | Method and apparatus for 3d object bounding for 2d image data | |
| Man et al. | A low cost autonomous unmanned ground vehicle | |
| CN113837059B (zh) | 一种规劝行人及时佩戴口罩的巡视车及其控制方法 | |
| Hossai et al. | Design of an IoT based autonomous vehicle with the aid of computer vision | |
| KR20210010276A (ko) | 객체 영상 생성 장치, 방법 및 이를 포함하는 객체 인식 장치 | |
| CN208937705U (zh) | 一种多源异构传感器特征深度融合的装置 | |
| Cai et al. | LWDNet-A lightweight water-obstacles detection network for unmanned surface vehicles | |
| Devnath et al. | A systematic study on object recognition using millimeter-wave radar | |
| Hu et al. | A simple information fusion method provides the obstacle with saliency labeling as a landmark in robotic mapping | |
| CN117665805A (zh) | 一种基于射频信号的细粒度多尺度人体姿态估计方法 | |
| Valtl et al. | Frequency modulated continuous wave radar-based navigation algorithm using artificial neural network for autonomous driving | |
| CN115131756A (zh) | 一种目标检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |