CN105955308A - 一种飞行器的控制方法和装置 - Google Patents
一种飞行器的控制方法和装置 Download PDFInfo
- Publication number
- CN105955308A CN105955308A CN201610339586.3A CN201610339586A CN105955308A CN 105955308 A CN105955308 A CN 105955308A CN 201610339586 A CN201610339586 A CN 201610339586A CN 105955308 A CN105955308 A CN 105955308A
- Authority
- CN
- China
- Prior art keywords
- face
- destination object
- aircraft
- location
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000001514 detection method Methods 0.000 claims abstract description 50
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims abstract description 32
- 238000006073 displacement reaction Methods 0.000 claims description 85
- 230000033001 locomotion Effects 0.000 claims description 68
- 238000012545 processing Methods 0.000 claims description 26
- 238000004364 calculation method Methods 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 17
- 241000406668 Loxodonta cyclotis Species 0.000 claims description 6
- 238000007689 inspection Methods 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 10
- 230000000007 visual effect Effects 0.000 description 10
- 239000000203 mixture Substances 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/12—Target-seeking control
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种飞行器的控制方法和装置,用于在不需要用户控制飞行器的情况下实现对目标对象目标的自动追踪。该飞行器的控制方法中,对飞行器的摄像头实时采集目标对象得到的图像分别进行脸部检测,得到第一脸部位置和第二脸部位置,第二脸部位置是在得到第一脸部位置之前对图像进行脸部检测得到的;根据第一脸部位置和第二脸部位置判断目标对象是否发生移动;当判断出目标对象发生移动时,根据第一脸部位置和第二脸部位置获取目标对象的移动方向,以及根据第一脸部位置和飞行器与目标对象的相对位置信息获取目标对象的移动距离;根据移动方向和移动距离向飞行器发送飞行控制命令,以使飞行器按照飞行控制命令调整飞行姿态。
Description
技术领域
本发明涉及飞行器技术领域,尤其涉及一种飞行器的控制方法和装置。
背景技术
无人驾驶飞机简称为飞行器,飞行器在国民经济、军事上都有很多应用,目前飞行器己被广泛应用于航拍摄影、电力巡检、环境监测、森林防火、灾情巡查、防恐救生、军事侦察、战场评估等领域,飞行器是利用无线电遥控设备和自备的程序控制装置操纵的不载人飞机。机上无驾驶舱,但安装有自动驾驶仪、程序控制装置、信息采集装置等设备,遥控站人员通过雷达等设备,对其进行跟踪、定位、遥控、遥测和数字传输。
现有技术中飞行器在追踪人物目标时通常采用如下两种方案:1、用户通过人工控制飞行器的遥控器来实现飞行器跟踪某个人。2、飞行器通过用户手持设备发送的全球定位系统(英文全称:Global Positioning System,英文简称:GPS)定位信息来实现自动跟踪目标。其中,手持设备可以是指智能手机、平板电脑等移动设备,而遥控器是传统的飞行器飞行控制杆。人工控制遥控器的方法需要用户随时关注飞行器的飞行轨迹,才能实现对准人物目标,该方法需要有专门的操作人员,如果想完成对用户本人的跟踪会比较难于操作,同时不利于用户同时完成其它任务,比如自拍。通过手持设备发送GPS定位信息给飞行器来实现自动跟踪的方法,主要缺点是GPS信号的误差很大,某些位置会接收不到GPS信号,因此无法实现飞行器精确跟踪人物目标。
发明内容
本发明实施例提供了一种飞行器的控制方法和装置,用于在不需要用户控制飞行器的情况下实现对目标对象目标的自动追踪。
为解决上述技术问题,本发明实施例提供以下技术方案:
第一方面,本发明实施例提供一种飞行器的控制方法,包括:
对飞行器的摄像头实时采集目标对象得到的图像分别进行脸部检测,得到第一脸部位置和第二脸部位置,所述第二脸部位置是在得到所述第一脸部位置之前对所述图像进行脸部检测得到的;
根据所述第一脸部位置和所述第二脸部位置判断所述飞行器跟踪的目标对象是否发生移动;
当判断出所述目标对象发生移动时,根据所述第一脸部位置和所述第二脸部位置获取所述目标对象的移动方向,以及根据所述第一脸部位置和所述飞行器与所述目标对象的相对位置信息获取所述目标对象的移动距离;
根据所述移动方向和所述移动距离向所述飞行器发送飞行控制命令,以使所述飞行器按照所述飞行控制命令调整飞行姿态。
第二方面,本发明实施例还提供一种飞行器的控制装置,包括:
脸部检测模块,用于对飞行器的摄像头实时采集目标对象得到的图像分别进行脸部检测,得到第一脸部位置和第二脸部位置,所述第二脸部位置是在得到所述第一脸部位置之前对所述图像进行脸部检测得到的;
移动判断模块,用于根据所述第一脸部位置和所述第二脸部位置判断所述飞行器跟踪的目标对象是否发生移动;
移动处理模块,用于当判断出所述目标对象发生移动时,根据所述第一脸部位置和所述第二脸部位置获取所述目标对象的移动方向,以及根据所述第一脸部位置和所述飞行器与所述目标对象的相对位置信息获取所述目标对象的移动距离;
发送模块,用于根据所述移动方向和所述移动距离向所述飞行器发送飞行控制命令,以使所述飞行器按照所述飞行控制命令调整飞行姿态。
从以上技术方案可以看出,本发明实施例具有以下优点:
在本发明实施例中,首先对飞行器的摄像头实时采集目标对象得到的图像分别进行脸部检测,得到第一脸部位置和第二脸部位置,第二脸部位置是在得到第一脸部位置之前对图像进行脸部检测得到的,然后根据第一脸部位置和第二脸部位置判断飞行器跟踪的目标对象目标是否发生移动,当判断出目标对象发生移动时,根据第一脸部位置和第二脸部位置获取目标对象的移动方向,以及根据第一脸部位置和飞行器与目标对象的相对位置信息获取目标对象的移动距离,根据移动方向和移动距离向飞行器发送飞行控制命令,以使飞行器按照飞行控制命令调整飞行姿态。本发明实施例中飞行器上配置有摄像头,摄像头对飞行器跟踪的目标对象目标进行实时的图像采集,通过对实时采集得到的图像分别进行分析可以判断出目标对象目标是否发生移动,并可以获取到目标对象目标的移动距离以及移动方向,从而飞行器可以按照飞行控制命令调整飞行姿态,整个目标的跟踪过程不需要用户的介入控制,飞行器可以实现对目标对象目标的自动追踪。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的技术人员来讲,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种飞行器的控制方法的流程方框示意图;
图2为本发明实施例提供的目标对象在前后方向上移动时移动距离的计算方式示意图;
图3为本发明实施例提供的目标对象在左右方向上移动时移动距离的计算方式示意图;
图4为本发明实施例提供的飞行器自动跟踪的工作流程示意图;
图5为本发明实施例提供的飞行器对摄像头采集目标对象得到的图像分别进行视觉识别的实现场景示意图;
图6-a为本发明实施例提供的一种飞行器的控制装置的组成结构示意图;
图6-b为本发明实施例提供的另一种飞行器的控制装置的组成结构示意图;
图6-c为本发明实施例提供的一种移动判断模块的组成结构示意图;
图6-d为本发明实施例提供的一种移动处理模块的组成结构示意图;
图6-e为本发明实施例提供的一种第一移动距离计算模块的组成结构示意图;
图6-f为本发明实施例提供的另一种移动处理模块的组成结构示意图;
图6-g为本发明实施例提供的一种第二移动距离计算模块的组成结构示意图;
图7为本发明实施例提供的飞行器的控制方法应用于飞行器的组成结构示意图。
具体实施方式
本发明实施例提供了一种飞行器的控制方法和装置,用于在不需要用户控制飞行器的情况下实现对目标对象目标的自动追踪。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,下面所描述的实施例仅仅是本发明一部分实施例,而非全部实施例。基于本发明中的实施例,本领域的技术人员所获得的所有其他实施例,都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换,这仅仅是描述本发明的实施例中对相同属性的对象在描述时所采用的区分方式。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。
以下分别进行详细说明。
本发明飞行器的控制方法的一个实施例,具体可以应用于使用飞行器对目标对象的跟踪场景中,飞行器具体可以是无人机、也可以是遥控飞机、航模飞机等。本发明实施例通过飞行器自带的摄像头实现脸部跟踪,从而不需要用户去控制飞行器飞行姿态,自动实现飞行器精确对准目标对象的脸部,可以实时跟随目标对象脸部的前后左右移动以及左右的旋转等动作。接下来进行详细说明,请参阅图1所示,本发明一个实施例提供的飞行器的控制方法,可以包括如下步骤:
101、对飞行器的摄像头实时采集目标对象得到的图像分别进行脸部检测,得到第一脸部位置和第二脸部位置,第二脸部位置是在得到第一脸部位置之前对图像进行脸部检测得到的。
在本发明实施例中,飞行器可用于对目标对象目标的实时跟踪,飞行器中设置有摄像头,该摄像头实时拍摄目标对象,并生成在不同时刻拍摄的图像,首先对于摄像头实时采集目标对象得到的图像分别进行脸部检测。本发明实施例中每对摄像头采集目标对象得到的图像分别进行一次脸部检测就可以得到一个脸部位置。具体的,以对摄像头采集目标对象得到的图像分别进行两次的脸部检测为例,则可以得到两个脸部位置,分别表示为第一脸部位置和第二脸部位置,例如对摄像头在第一时间点和第二时间点分别采集目标对象得到的图像分别进行脸部检测,其中从在第一时间点采集目标对象得到的图像分别中检测到的脸部定义为第一脸部位置,从在第二时间点采集目标对象得到的图像分别中检测到的脸部定义为第二脸部位置,第二时间点为在时间轴上早于第一时间点的时刻,则第二脸部位置是在得到第一脸部位置之前对图像进行脸部检测得到的。不限的是,在本发明实施例中,第二脸部位置也可以称为“历史脸部位置”,第一脸部位置也可以称为“当前脸部位置”。另外,本发明实施例采用的脸部检测算法可以是基于Adaboost学习算法的方法,例如Haar-like矩形特征的特征值的快速计算方法等等。不限的是,在本发明的其他实施例中,本发明实施例采用的脸部检测算法还可以是神经网络的方法,或者基于几何特征的方法等等。
在本发明的一些实施例中,步骤101对飞行器的摄像头实时采集目标对象得到的图像分别进行脸部检测,得到第一脸部位置和第二脸部位置之前,本发明实施例提供的飞行器的控制方法还可以包括如下步骤:
A1、对摄像头实时采集目标对象得到的图像分别进行缩放处理;
A2、将缩放处理后的图像转换为灰度图,然后对该灰度图进行均衡化处理。
其中,对于摄像头采集目标对象得到的图像,若存在干扰情况,还可以对图像进行预处理,例如可以进行缩放处理和灰度直方图的均衡化处理。其中,对图像的缩放处理时可以将摄像头采集目标对象得到的图像分别缩放到一个适合进行脸部识别的比例,例如可以放大图像也可以缩小图像。在本发明的另一些实施例中,如果一副图像的像素占有很多的灰度级而且分布均匀,那么这样的图像往往有高对比度和多变的灰度色调。对灰度图的均衡化处理也称为直方图均衡化,就是一种能仅靠输入图像直方图信息自动达到这种效果的变换函数。它的基本思想是对图像中像素个数多的灰度级进行展宽,而对图像中像素个数少的灰度进行压缩,从而扩展像素取值的动态范围,提高了对比度和灰度色调的变化,使图像更加清晰。通过前述对图像的预处理,还可以使图像的光照均衡,图像大小适合移动设备处理。在得到更清晰的图像之后可以输入该图像进行脸部检测,详解前述内容的说明。
在本发明实施例执行前述步骤A1和步骤A2的实现场景下,步骤101对飞行器的摄像头实时采集目标对象得到的图像分别进行脸部检测,得到第一脸部位置和第二脸部位置,具体可以包括如下步骤:
B1、对均衡化处理后的灰度图分别进行脸部检测,得到第一脸部位置和第二脸部位置。
可以理解的是,对于飞行器中摄像头实时采集目标对象得到的图像,若先对该图像转换得到的灰度图进行了均衡化处理,则输入到脸部检测中的图像就是均衡化处理后的灰度图,对先后两个不同的时刻采集到的灰度图分别进行脸部检测可以得到第一脸部位置和第二脸部位置。
102、根据第一脸部位置和第二脸部位置判断飞行器跟踪的目标对象是否发生移动。
在本发明实施例中,通过对实时采集到的图像分别进行脸部检测得到第一脸部位置和第二脸部位置之后,可以根据第一脸部位置和第二脸部位置在摄像头的拍摄视角范围内是否产生位置变动来确定目标对象是否发生移动,第一脸部位置和第二脸部位置分别在摄像头采集到的图像中表示的位置是以像素为单位的,因此也可以将第一脸部位置相对于第二脸部位置是否移动记录为像素移动信息,根据该像素移动信息判断飞行器跟踪的目标对象是否发生移动。其中,像素移动信息指的是在摄像头先后采集的图像中脸部位置的移动情况,若在同一个图像中两个脸部的像素位置保持不变,则确定飞行器跟踪的目标对象没有发生移动,若在同一个图像中两个脸部的像素位置发生了移动,则确定飞行器跟踪的目标对象发生了移动。
在本发明的一些实施例中,步骤102根据第一脸部位置和第二脸部位置判断飞行器跟踪的目标对象是否发生移动,具体可以包括如下步骤:
C1、计算出第一脸部位置相对于第二脸部位置在图像中的像素位置差值;
C2、判断像素位置差值是否超过预置的差值门限;
C3、当像素位置差值没有超过预置的差值门限时,确定目标对象没有发生移动,当像素位置差值超过预置的差值门限时,确定目标对象发生移动。
其中,在摄像头采集目标对象得到的图像中分别检测出第一脸部位置和第二脸部位置之后,可以得到第一脸部位置在图像上的像素坐标和第二脸部位置在该图像上的像素坐标,通过第一脸部位置的像素坐标和第二脸部位置的像素坐标进行差值计算,可以得到第一脸部位置相对于第二脸部位置在图像中的像素位置差值。在实际应用中,飞行器在飞行时会有自身抖动,外界气流扰动等影响,因此实时图像的采集会有抖动等噪声因素,因此在判断飞行器移动时需要设置一个差值门限,当脸部的移动范围在这个差值门限以内时,飞行器不需要做任何移动,可以确定目标对象没有发生移动。需要说明的是,该差值门限可以根据具体的应用场景来灵活确定,例如可以根据需要控制飞行器的移动精度来控制,结合具体场景的经验值来设置。通过对脸部位置移动范围是否超过差值门限的判断,可以减少飞行器因外界因素导致的不必要调整,减少控制流程的无效调整,但也不会影响到对目标对象的跟踪。
103、当目标对象发生移动时,根据第一脸部位置和第二脸部位置获取目标对象的移动方向,以及根据第一脸部位置和飞行器与目标对象的相对位置信息获取目标对象的移动距离。
在本发明实施例中,通过步骤102可以确定飞行器跟踪的目标对象是否发生移动,若确定目标对象发生了移动,则可以根据第一脸部位置相对于第二脸部位置的位置关系判断出目标对象的移动方向,该移动方向指的是目标图像的脸部位置在摄像头拍摄到的图像中的移动方向,目标对象的移动方向是调整飞行器的控制依据,但是只有目标对象的移动方向还无法确定该怎样调整飞行器,仍需要确定目标对象沿着移动方向移动的具体移动距离。本发明实施例中,根据第一脸部位置和飞行器与目标对象的相对位置信息可以确定出目标对象在摄像头拍摄到的图像中的脸部移动距离,再将脸部移动距离按照飞行器与目标对象的相对位置信息转化为目标对象需要移动的实际物理距离,该实际物理距离就是目标对象产生的移动距离。
在本发明的一些实施例中,步骤103中的根据第一脸部位置和第二脸部位置获取目标对象的移动方向,具体可包括如下步骤:
D1、确定第一脸部位置和第二脸部位置在图像中的位置关系,通过位置关系确定出目标对象的移动方向。
其中,在摄像头采集目标对象得到的图像分别中可以分别确定出第一脸部位置和第二脸部位置,第一脸部位置和第二脸部位置在该图像中的位置关系指的是在摄像头的拍摄视角范围内第一脸部位置与第二脸部位置之间的位置连线所指示的方向,通过该位置关系可以确定目标对象的移动方向。例如在摄像头实时采集目标对象得到的图像中第一脸部位置在第一脸部位置的正前方,就可以确定目标对象的移动方向就是正前方。飞行器中配置的摄像头对目标对象进行实时的画面跟踪拍摄,从图像中检测到的脸部位置关系发生移动,则脸部位置的移动方向就代表了目标对象的移动方向。
在本发明的一些实施例中,步骤103中的根据第一脸部位置和飞行器与目标对象的相对位置信息获取目标对象的移动距离,具体可包括如下步骤:
E1、根据第一脸部位置获取移动后的目标对象的脸部在图像的竖直方向上的像素位置和图像的像素高度;
E2、根据飞行器与目标对象的相对位置信息确定飞行器与目标对象的相对高度和摄像头与移动后的目标对象的脸部之间的俯视角度;
E3、根据移动后的目标对象的脸部在图像的竖直方向上的像素位置、图像的像素高度、飞行器与目标对象的相对高度和摄像头与移动后的目标对象的脸部之间的俯视角度,计算目标对象在前后方向上的移动距离。
具体的,在上述步骤E1至E3中对目标对象在前后方向上移动距离的计算进行详细说明。其中,首先根据第一脸部位置获取移动后的目标对象的脸部在图像的竖直方向上的像素位置和图像的像素高度。图像的像素高度指的是摄像头采集目标对象得到的图像分别在屏幕上显示出来的图像高度,由于摄像头拍摄到的图像都是以像素为单位,则将该图像在屏幕上的图像高度称之为像素高度。移动后的目标对象的脸部在图像的竖直方向上的像素位置是指的是在摄像头采集目标对象得到的图像的竖直方向上检测到脸部的像素位置。在步骤E2中,通过飞行器与目标对象的相对位置信息可以确定飞行器与目标对象的相对高度和摄像头与移动后的目标对象的脸部之间的俯视角度,其中,飞行器与目标对象的相对高度指的是在实际的目标对象跟踪场景中飞行器的物理高度与目标对象的物理高度之间产生的相对高度,摄像头与移动后的脸部之间的俯视角度指的是飞行器的摄像头实时拍摄目标对象,当目标对象移动后摄像头与移动后的脸部之间的俯视角度,通过移动后的目标对象的脸部在图像的竖直方向上的像素位置、图像的像素高度、飞行器与目标对象的相对高度和摄像头与移动后的脸部之间的俯视角度可以准确计算出目标对象在前后方向上的移动距离。举例说明如下,步骤E3根据移动后的目标对象的脸部在图像的竖直方向上的像素位置、图像的像素高度、飞行器与目标对象的相对高度和摄像头与移动后的目标对象的脸部之间的俯视角度,计算目标对象在前后方向上的移动距离,具体可以包括如下步骤:
E31、根据移动后的目标对象的脸部在图像的竖直方向上的像素位置和图像的像素高度、摄像头在脸部移动后的垂直视角计算摄像头在脸部移动前后的垂直视角变化值;
E32、根据飞行器与目标对象的相对高度、摄像头与移动后的脸部之间的俯视角度和摄像头在脸部移动前后的垂直视角变化值计算目标对象在前后方向上的移动距离。
其中,步骤E31中摄像头在脸部移动前后的垂直视角变化值是指在摄像头先后采集目标对象得到的图像中摄像头对目标对象拍摄时垂直视角的变化情况。首先可以计算出摄像头在脸部移动前后的垂直视角变化值,该垂直视角变化值的计算可以通过移动后的目标对象的脸部在图像的竖直方向上的像素位置和图像的像素高度、摄像头在脸部移动后的垂直视角来完成,摄像头在脸部移动前后的垂直视角变化值指示了在前后方向上目标对象的脸部移动情况,然后执行步骤E32,目标对象在前后方向上的移动距离可以通过飞行器与目标对象的相对高度、摄像头与移动后的脸部之间的俯视角度、摄像头在脸部移动前后的垂直视角变化值计算出来。
具体的,上述步骤E31根据移动后的目标对象的脸部在图像的竖直方向上的像素位置和图像的像素高度、摄像头在脸部移动后的垂直视角计算摄像头在脸部移动前后的垂直视角变化值,可以包括如下步骤:
通过如下方式计算摄像头在脸部移动前后的垂直视角变化值Δα:
其中,Pixy表示脸部在图像的竖直方向上的像素位置,HeightTotalPix表示图像的像素高度,αvert表示摄像头在脸部移动后的垂直视角。
如图2所示,为本发明实施例提供的目标对象在前后方向上移动时移动距离的计算方式示意图,具体的,通过反三角函数中的反正切来计算垂直视角变化值Δα,αvert表示摄像头在脸部移动后的垂直视角。
在摄像头采集目标对象得到的图像分别中,垂直视角变化值Δα满足如下关系:其中,Pixy表示移动后的目标对象的脸部在图像的竖直方向上的像素位置,Pixdis tan ce是目标对象的脸部在图像中位移的距离,Pixy和Pixdis tan ce单位是像素(英文名称:Pixel)。
由图2可知,摄像头在脸部移动后的垂直视角αvert满足如下关系:其中,HeightTotalPix表示图像的像素高度,因此可以得到Pixdis tan ce满足如下关系:将Pixdis tan ce的表达式带入到tan(Δα)的表达式,再对tan(Δα)取反正切,可以得到Δα的表达式。
具体的,上述步骤E32根据飞行器与目标对象的相对高度、摄像头与移动后的脸部之间的俯视角度和摄像头在脸部移动前后的垂直视角变化值计算目标对象在前后方向上的移动距离,可以包括如下步骤:
通过如下方式计算目标对象在前后方向上的移动距离Δs:
Δs=sa-st,
sa=Δh*tan(αlean+Δα),
st=Δh*tan(αlean),
Δh=hc-ht,
其中,sa表示目标对象在移动之前与飞行器之间的投影距离,st表示目标对象在移动之后与飞行器之间的投影距离,αlean表示摄像头与移动后的脸部之间的俯视角度,Δα表示脸部移动前后的垂直视角变化值,Δh表示飞行器与目标对象的相对高度,hc表示飞行器相对于参照物的高度,ht表示目标对象的脸部相对于参照物的高度。该参照物可以是地平面。
如图2所示,sa和st分别通过与Δh的关系计算出,然后再通过sa和st的相减,得到目标对象在前后方向上的移动距离Δs。
需要说明的是,在本发明的上述实施例中,检测到的脸部位置是相对于摄像头屏幕的像素位置,目标对象的移动距离在方向上可以分为在飞行器的前后方向上的移动距离和在飞行器的左右方向上的移动距离,据此可以分别执行前述的步骤E1至E3来计算目标对象在前后方向上的移动距离,接下来以步骤F1至F3对目标对象在左右方向上的移动距离的计算进行详细说明。
在本发明的一些实施例中,步骤103中的根据第一脸部位置和飞行器与目标对象的相对位置信息获取目标对象的移动距离,具体可包括如下步骤:
F1、根据第一脸部位置获取移动后的目标对象的脸部在图像的水平方向上的像素位置和图像的像素宽度;
F2、根据飞行器与目标对象的相对位置信息确定飞行器与目标对象的相对高度、摄像头与移动后的目标对象的脸部之间的俯视角度和摄像头在脸部移动后的水平视角;
F3、根据移动后的目标对象的脸部在图像的水平方向上的像素位置、图像的像素宽度、飞行器与目标对象的相对高度、摄像头与移动后的目标对象的脸部之间的俯视角度和摄像头在脸部移动后的水平视角,计算目标对象在左右方向上的移动距离。
具体的,在上述步骤F1至F3中对目标对象在左右方向上移动距离的计算进行详细说明。其中,首先根据第一脸部位置获取移动后的目标对象的脸部在图像的水平方向上的像素位置和图像的像素宽度。图像的像素宽度指的是摄像头采集目标对象得到的图像分别在屏幕上显示出来的图像宽度,由于摄像头拍摄到的图像都是以像素为单位,则将该图像在屏幕上的图像宽度称之为像素宽度。移动后的目标对象的脸部在图像的水平方向上的像素位置是指的是在摄像头采集目标对象得到的图像的水平方向上检测到脸部的像素位置。在步骤F2中,飞行器与目标对象的相对高度指的是在实际的目标对象跟踪场景中飞行器的物理高度与目标对象的物理高度之间的相对高度,摄像头与移动后的脸部之间的俯视角度指的是飞行器的摄像头实时拍摄目标对象,当目标对象移动后摄像头与移动后的脸部之间的俯视角度,摄像头在脸部移动后的水平视角是指在摄像头采集目标对象得到的图像分别中摄像头对目标对象拍摄时具有的水平视角。通过移动后的目标对象的脸部在图像的水平方向上的像素位置和图像的像素宽度、飞行器与目标对象的相对高度、摄像头与移动后的脸部之间的俯视角度和摄像头在脸部移动后的水平视角可以准确计算出目标对象在左右方向上的移动距离。举例说明如下,步骤F3根据移动后的目标对象的脸部在图像的水平方向上的像素位置、图像的像素宽度、飞行器与目标对象的相对高度、摄像头与移动后的目标对象的脸部之间的俯视角度和摄像头在脸部移动后的水平视角,计算目标对象在左右方向上的移动距离,包括:
F31、根据飞行器与目标对象的相对高度、摄像头与移动后的目标对象的脸部之间的俯视角度计算飞行器与目标对象之间的水平距离;
F32、根据飞行器与目标对象之间的水平距离、摄像头在目标对象的脸部移动后的水平视角计算摄像头拍摄到的场景宽度;
F33、根据目标对象的脸部在图像的水平方向上的像素位置、图像的像素宽度和摄像头拍摄到的场景宽度计算目标对象在左右方向上的移动距离。
其中,在上述步骤F31中,首先可以计算出飞行器与目标对象之间的水平距离,该飞行器与目标对象之间的水平距离的计算可以通过飞行器与目标对象的相对高度、摄像头与移动后的脸部之间的俯视角度来完成。具体的,步骤F31根据飞行器与目标对象的相对高度、摄像头与移动后的脸部之间的俯视角度计算飞行器与目标对象之间的水平距离,包括如下步骤:
通过如下方式计算飞行器与目标对象之间的水平距离wt:
wt=Δh*cos(αlean),
其中,Δh表示飞行器与目标对象的相对高度,αlean表示摄像头与移动后的脸部之间的俯视角度。
如图3所示,为本发明实施例提供的目标对象在左右方向上移动时移动距离的计算方式示意图。首先通过摄像头与移动后的脸部之间的俯视角度αlean飞行器与目标对象的相对高度Δh相乘,可以得到飞行器与目标对象之间的水平距离wt。
在上述步骤F32中,计算出飞行器与目标对象之间的水平距离之后,还可以进一步的通过飞行器与目标对象之间的水平距离、摄像头在脸部移动后的水平视角计算摄像头拍摄到的场景宽度,其中场景宽度指的是摄像头对真实场景进行拍摄时能够拍摄到的实际场景的宽度。具体的,步骤F32根据飞行器与目标对象之间的水平距离、摄像头在脸部移动后的水平视角计算摄像头拍摄到的场景宽度,可以包括如下步骤:
通过如下方式计算摄像头拍摄到的场景宽度whori:
其中,wt表示飞行器与目标对象之间的水平距离,αhori表示摄像头在脸部移动后的水平视角。
由图3可知,αhori表示摄像头在脸部移动后的水平视角,从摄像头到目标对象之间的中心线开始,可以计算出
在上述步骤F33中,计算出摄像头拍摄到的场景宽度之后,将摄像头采集目标对象得到的图像分别中脸部位置的移动像素转换为在真实的物理场景中的移动距离即为目标对象在左右方向上的移动距离。具体的,步骤F33根据目标对象的脸部在图像的水平方向上的像素位置和图像的像素宽度、摄像头拍摄到的场景宽度计算目标对象在左右方向上的移动距离,可以包括如下步骤:
通过如下方式计算目标对象在左右方向上的移动距离Δw:
其中,Pixx表示目标对象的脸部在图像的水平方向上的像素位置,whori表示摄像头拍摄到的场景宽度,WidthTotalPix表示图像的像素宽度。
具体的,表示摄像头采集目标对象得到的图像分别中脸部位置的移动像素,再将该和摄像头拍摄到的场景宽度whori相乘,可以得到目标对象在左右方向上的移动距离Δw。
104、根据移动方向和移动距离向飞行器发送飞行控制命令,以使飞行器按照飞行控制命令调整飞行姿态。
在本发明实施例中,通过前述步骤103计算出目标对象的移动方向和移动举例之后,可以根据计算出的目标对象的移动方向和移动距离来控制飞行器的飞行姿态调整。具体的,可以根据计算出的移动方向和移动距离向飞行器发送飞行控制命令,在该飞行控制命令中携带目标对象的移动方向和移动距离,从而可以飞行器可以根据该飞行控制命令调整自身的飞行姿态。其中,飞行器的飞行姿态可以指的是飞行器的朝向,高度和位置,在使用飞行器跟踪目标对象的实现过程中,主要控制飞行器随目标对象进行的位置移动。例如,调整飞行姿态可以只是控制飞行器往前飞行,也可以指控制飞行器实现翻滚等飞行动作。
通过前述实施例对本发明的举例说明可知,首先对飞行器的摄像头实时采集目标对象得到的图像分别进行脸部检测,得到第一脸部位置和第二脸部位置,第二脸部位置是在得到第一脸部位置之前对图像进行脸部检测得到的,然后根据第一脸部位置和第二脸部位置判断飞行器跟踪的目标对象目标是否发生移动,当判断出目标对象发生移动时,根据第一脸部位置和第二脸部位置获取目标对象的移动方向,以及根据第一脸部位置和飞行器与目标对象的相对位置信息获取目标对象的移动距离,根据移动方向和移动距离向飞行器发送飞行控制命令,以使飞行器按照飞行控制命令调整飞行姿态。本发明实施例中飞行器上配置有摄像头,摄像头对飞行器跟踪的目标对象目标进行实时的图像采集,通过对实时采集得到的图像分别进行分析可以判断出目标对象目标是否发生移动,并可以获取到目标对象目标的移动距离以及移动方向,从而飞行器可以按照飞行控制命令调整飞行姿态,整个目标的跟踪过程不需要用户的介入控制,飞行器可以实现对目标对象目标的自动追踪。
为便于更好的理解和实施本发明实施例的上述方案,下面举例相应的应用场景来进行具体说明。本发明实施例通过飞行器自带的摄像头实现脸部跟踪,从而不需要用户去控制飞行器飞行姿态,自动实现飞行器精确对准目标对象的脸部,可以实时跟随人脸部的前后左右移动以及左右的旋转等动作。请参阅如图4所示,为本发明实施例提供的飞行器自动跟踪的工作流程示意图。飞行器通过自身的摄像头采集实时图像。实时图像会由飞行器通过视觉识别来检测当前用户的脸部,检测到脸部后会输出脸部在图像中的位置信息。飞行器中的飞行控制模块根据脸部的位置信息来判断脸部是否前后左右移动。如果脸部移动,飞行控制模块会计算出移动距离和移动方向。最后飞行控制模块实时操控飞行器跟踪脸部的移动。
接下来对飞行器进行视觉识别进行详细说明,请参阅如图5所示,为本发明实施例提供的飞行器对摄像头采集目标对象得到的图像分别进行视觉识别的实现场景示意图。例如,飞行器的视觉识别可以通过设置在飞行器中的视觉识别模块来完成,飞行器的视觉识别模块负责对脸部的检测。例如使用Haar分类器的方法来实现脸部的检测。该方法是基于统计的方法,将脸部看作一个整体的模式,从统计的观点通过大量脸部图像样本构造脸部模式空间,根据相似度量来判断脸部是否存在。视觉识别模块的工作流程如下:脸部检测是提取脸部上面的特征点来构建一个分类器,一副图像需要用这个分类器来判断其与脸部的相似程度,超过某个阈值,就可以认为这是一张脸部。因为光线的原因,视觉识别模块在采集到实时图像后,会对当前图像做一个预处理,这包括图像的缩放,彩色图转灰度直方图以及灰度直方图的均衡化等等。其目的是使图像的光照均衡,大小适合移动设备处理。预处理过的图像会使用Haar分类器来实现脸部的检测。如果检测到脸部,那么视觉识别模块会返回当前脸部在图像中的位置。不限定的是,本发明实施例中还可以采用Adaboost算法,神经网络的方法,基于几何特征的方法等等进行脸部检测。
接下来对飞行器的飞行控制模块进行详细说明,首先进行飞行器平移的判定,视觉识别模块检测到的脸部位置是相对于屏幕的像素位置。飞行器的飞行控制模块在判定飞行器移动时是使用当前的脸部位置与上一次的脸部位置做比较。但是飞行器在飞行时会有自身抖动,外界气流扰动等影响,因此实时图像的采集会有抖动等噪声因素。飞行控制模块在判断飞行器移动时需要设置一个阈值。当脸部的移动在这个阈值以内时,飞行器不会做任何移动。当脸部移动超过该阈值,则判定脸部已经移动,此时需要飞行控制模块把当前的脸部像素移动转换成脸部的实际移动距离。其中,飞行控制模块进行脸部前后平移计算和脸部左右平移计算可以参阅前述实施例中针对图2和图3所示的平移计算过程,此处不再赘述。
通过前述的举例说明可知,本发明实施例通过飞行器内置的摄像头实现脸部的实时检测,并且可以根据检测到脸部图像的移动判断脸部的移动方向,根据脸部在图像中移动的距离计算出脸部实际的物理移动距离,然后根据此移动距离和移动方向来调整飞行器的飞行姿态,达到飞行器自动跟踪脸部的功能。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
为便于更好的实施本发明实施例的上述方案,下面还提供用于实施上述方案的相关装置。
请参阅图6-a所示,本发明实施例提供的一种飞行器的控制装置600,可以包括:脸部检测模块601、移动判断模块602、移动处理模块603、发送模块604,其中,
脸部检测模块601,用于对飞行器的摄像头实时采集目标对象得到的图像分别进行脸部检测,得到第一脸部位置和第二脸部位置,所述第二脸部位置是在得到所述第一脸部位置之前对所述图像进行脸部检测得到的;
移动判断模块602,用于根据所述第一脸部位置和所述第二脸部位置判断所述目标对象是否发生移动;
移动处理模块603,用于当判断出所述目标对象发生移动时,根据所述第一脸部位置和第二脸部位置获取所述目标对象的移动方向,以及根据所述第一脸部位置和所述飞行器与所述目标对象的相对位置信息获取所述目标对象的移动距离;
发送模块604,用于根据所述移动方向和所述移动距离向所述飞行器发送飞行控制命令,以使所述飞行器按照所述飞行控制命令调整飞行姿态。
在本发明的一些实施例中,请参阅如图6-b所示,所述飞行器的控制装置600还包括:图像预处理模块605,其中,
所述图像预处理模块605,用于所述脸部检测模块对飞行器的摄像头实时采集目标对象得到的图像分别进行脸部检测,得到第一脸部位置和第二脸部位置之前,对所述摄像头实时采集目标对象得到的图像分别进行缩放处理;将缩放处理后的图像转换为灰度图,并对所述灰度图进行均衡化处理;
所述脸部检测模块601,具体用于对均衡化处理后的灰度图分别进行脸部检测,得到第一脸部位置和第二脸部位置。
在本发明的一些实施例中,请参阅如图6-c所示,所述移动判断模块602,包括:
差值计算模块6021,用于计算出所述第一脸部位置相对于所述第二脸部位置在所述图像中的像素位置差值;
差值判断模块6022,用于判断所述像素位置差值是否超过预置的差值门限;
移动分析模块6023,用于当所述像素位置差值没有超过预置的差值门限时,确定所述目标对象没有发生移动,当所述像素位置差值超过预置的差值门限时,确定所述目标对象发生移动。
在本发明的一些实施例中,所述移动处理模块603,具体用于确定所述第一脸部位置和所述第二脸部位置在所述图像中的位置关系,通过所述位置关系确定出所述目标对象的移动方向。
在本发明的一些实施例中,请参阅如图6-d所示,所述移动处理模块603,包括:
第一参数获取模块6031,用于根据所述第一脸部位置获取移动后的所述目标对象的脸部在所述图像的竖直方向上的像素位置和所述图像的像素高度;
第二参数获取模块6032,用于根据所述飞行器与所述目标对象的相对位置信息确定所述飞行器与所述目标对象的相对高度和所述摄像头与移动后的所述目标对象的脸部之间的俯视角度;
第一移动距离计算模块6033,用于根据移动后的所述目标对象的脸部在所述图像的竖直方向上的像素位置、所述图像的像素高度、所述飞行器与所述目标对象的相对高度和所述摄像头与移动后的所述目标对象的脸部之间的俯视角度,计算所述目标对象在前后方向上的移动距离。
在本发明的一些实施例中,请参阅如图6-e所示,所述第一移动距离计算模块6033,包括:
垂直视角计算模块60331,用于根据移动后的所述目标对象的脸部在所述图像的竖直方向上的像素位置、所述图像的像素高度、所述摄像头在所述目标对象的脸部移动后的垂直视角计算所述摄像头在所述目标对象的脸部移动前后的垂直视角变化值;
前后移动距离计算模块60332,用于根据所述飞行器与所述目标对象的相对高度、所述摄像头与移动后的所述目标对象的脸部之间的俯视角度和所述摄像头在所述目标对象的脸部移动前后的垂直视角变化值计算所述目标对象在前后方向上的移动距离。
在本发明的一些实施例中,请参阅如图6-f所示,所述移动处理模块603,包括:
第三参数获取模块6034,用于根据所述第一脸部位置获取移动后的所述目标对象的脸部在所述图像的水平方向上的像素位置和所述图像的像素宽度;
第四参数获取模块6035,用于根据所述飞行器与所述目标对象的相对位置信息确定所述飞行器与所述目标对象的相对高度、所述摄像头与移动后的所述目标对象的脸部之间的俯视角度和所述摄像头在所述脸部移动后的水平视角;
第二移动距离计算模块6036,用于根据移动后的所述目标对象的脸部在所述图像的水平方向上的像素位置、所述图像的像素宽度、所述飞行器与所述目标对象的相对高度、所述摄像头与移动后的所述目标对象的脸部之间的俯视角度和所述摄像头在所述脸部移动后的水平视角,计算所述目标对象在左右方向上的移动距离。
在本发明的一些实施例中,请参阅如图6-g所示,所述第二移动距离计算模块6036,包括:
水平距离计算模块60361,用于根据所述飞行器与所述目标对象的相对高度、所述摄像头与移动后的所述目标对象的脸部之间的俯视角度计算所述飞行器与所述目标对象之间的水平距离;
场景宽度计算模块60362,用于根据所述飞行器与所述目标对象之间的水平距离、所述摄像头在所述目标对象的脸部移动后的水平视角计算所述摄像头拍摄到的场景宽度;
左右移动距离计算模块60363,用于根据移动后的所述目标对象的脸部在所述图像的水平方向上的像素位置、所述图像的像素宽度和所述摄像头拍摄到的场景宽度计算所述目标对象在左右方向上的移动距离。
通过以上对本发明实施例的描述可知,首先对飞行器的摄像头实时采集目标对象得到的图像分别进行脸部检测,得到第一脸部位置和第二脸部位置,第二脸部位置是在得到第一脸部位置之前对图像进行脸部检测得到的,然后根据第一脸部位置和第二脸部位置判断飞行器跟踪的目标对象目标是否发生移动,当判断出目标对象发生移动时,根据第一脸部位置和第二脸部位置获取目标对象的移动方向,以及根据第一脸部位置和飞行器与目标对象的相对位置信息获取目标对象的移动距离,根据移动方向和移动距离向飞行器发送飞行控制命令,以使飞行器按照飞行控制命令调整飞行姿态。本发明实施例中飞行器上配置有摄像头,摄像头对飞行器跟踪的目标对象目标进行实时的图像采集,通过对实时采集得到的图像分别进行分析可以判断出目标对象目标是否发生移动,并可以获取到目标对象目标的移动距离以及移动方向,从而飞行器可以按照飞行控制命令调整飞行姿态,整个目标的跟踪过程不需要用户的介入控制,飞行器可以实现对目标对象目标的自动追踪。
图7是本发明实施例提供的一种飞行器的结构示意图,该飞行器1100可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(central processing units,CPU)1122(例如,一个或一个以上处理器)和存储器1132,一个或一个以上存储应用程序1142或数据1144的存储介质1130(例如一个或一个以上海量存储设备)、摄像头1152、传感器1162。其中,存储器1132和存储介质1130可以是短暂存储或持久存储。存储在存储介质1130的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对飞行器中的一系列指令操作。更进一步地,中央处理器1122可以设置为与存储介质1130通信,在飞行器1100上执行存储介质1130中的一系列指令操作。本领域技术人员可以理解,图7中示出的飞行器结构并不构成对飞行器的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
飞行器1100还可以包括一个或一个以上电源1126,一个或一个以上无线网络接口1150,一个或一个以上输入输出接口1158,和/或,一个或一个以上操作系统1141,例如安卓系统等等。
飞行器中包括的摄像头1152,该摄像头具体可以是数字摄像头,也可以是模拟摄像头。摄像头的分辨率可以根据实际需要来选择,摄像头的结构组件可以包括:镜头、图像传感器可以结合具体场景来配置。
飞行器还可以包括:传感器1162,比如运动传感器以及其他传感器。具体地,作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别飞行器姿态的应用(比如飞行器偏航角、横滚角、俯仰角的测算、磁力计姿态校准)、识别相关功能(比如计步器)等;至于飞行器还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
上述实施例中由飞行器所执行的控制方法步骤可以基于该图7所示的飞行器结构。
另外需说明的是,以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外,本发明提供的装置实施例附图中,模块之间的连接关系表示它们之间具有通信连接,具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件的方式来实现,当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下,凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现,而且,用来实现同一功能的具体硬件结构也可以是多种多样的,例如模拟电路、数字电路或专用电路等。但是,对本发明而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在可读取的存储介质中,如计算机的软盘,U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
综上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照上述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对上述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (16)
1.一种飞行器的控制方法,其特征在于,包括:
对飞行器的摄像头实时采集目标对象得到的图像分别进行脸部检测,得到第一脸部位置和第二脸部位置,所述第二脸部位置是在得到所述第一脸部位置之前对所述图像进行脸部检测得到的;
根据所述第一脸部位置和所述第二脸部位置判断所述目标对象是否发生移动;
当判断出所述目标对象发生移动时,根据所述第一脸部位置和所述第二脸部位置获取所述目标对象的移动方向,以及根据所述第一脸部位置和所述飞行器与所述目标对象的相对位置信息获取所述目标对象的移动距离;
根据所述移动方向和所述移动距离向所述飞行器发送飞行控制命令,以使所述飞行器按照所述飞行控制命令调整飞行姿态。
2.根据权利要求1所述的方法,其特征在于,所述对飞行器的摄像头实时采集目标对象得到的图像分别进行脸部检测,得到第一脸部位置和第二脸部位置之前,所述方法还包括:
对所述摄像头实时采集目标对象得到的图像分别进行缩放处理;
将缩放处理后的图像转换为灰度图,并对所述灰度图进行均衡化处理;
所述对飞行器的摄像头实时采集目标对象得到的图像分别进行脸部检测,得到第一脸部位置和第二脸部位置,包括:
对均衡化处理后的灰度图分别进行脸部检测,得到所述第一脸部位置和所述第二脸部位置。
3.根据权利要求1所述的方法,其特征在于,所述根据所述第一脸部位置和所述第二脸部位置判断所述目标对象是否发生移动,包括:
计算出所述第一脸部位置相对于所述第二脸部位置在所述图像中的像素位置差值;
判断所述像素位置差值是否超过预置的差值门限;
当所述像素位置差值没有超过预置的差值门限时,确定所述目标对象没有发生移动,当所述像素位置差值超过预置的差值门限时,确定所述目标对象发生移动。
4.根据权利要求1所述的方法,其特征在于,所述根据所述第一脸部位置和所述第二脸部位置获取所述目标对象的移动方向,包括:
确定所述第一脸部位置和所述第二脸部位置在所述图像中的位置关系,通过所述位置关系确定出所述目标对象的移动方向。
5.根据权利要求1至4中任一项所述的方法,其特征在于,所述根据所述第一脸部位置和所述飞行器与所述目标对象的相对位置信息获取所述目标对象的移动距离,包括:
根据所述第一脸部位置获取移动后的所述目标对象的脸部在所述图像的竖直方向上的像素位置和所述图像的像素高度;
根据所述飞行器与所述目标对象的相对位置信息确定所述飞行器与所述目标对象的相对高度和所述摄像头与移动后的所述目标对象的脸部之间的俯视角度;
根据移动后的所述目标对象的脸部在所述图像的竖直方向上的像素位置、所述图像的像素高度、所述飞行器与所述目标对象的相对高度和所述摄像头与移动后的所述目标对象的脸部之间的俯视角度,计算所述目标对象在前后方向上的移动距离。
6.根据权利要求5所述的方法,其特征在于,所述根据移动后的所述目标对象的脸部在所述图像的竖直方向上的像素位置、所述图像的像素高度、所述飞行器与所述目标对象的相对高度和所述摄像头与移动后的所述目标对象的脸部之间的俯视角度,计算所述目标对象在前后方向上的移动距离,包括:
根据移动后的所述目标对象的脸部在所述图像的竖直方向上的像素位置和所述图像的像素高度、所述摄像头在所述目标对象的脸部移动后的垂直视角计算所述摄像头在所述目标对象的脸部移动前后的垂直视角变化值;
根据所述飞行器与所述目标对象的相对高度、所述摄像头与移动后的所述目标对象的脸部之间的俯视角度和所述摄像头在所述目标对象的脸部移动前后的垂直视角变化值计算所述目标对象在前后方向上的移动距离。
7.根据权利要求1至4中任一项所述的方法,其特征在于,所述根据所述第一脸部位置和所述飞行器与所述目标对象的相对位置信息获取所述目标对象的移动距离,包括:
根据所述第一脸部位置获取移动后的所述目标对象的脸部在所述图像的水平方向上的像素位置和所述图像的像素宽度;
根据所述飞行器与所述目标对象的相对位置信息确定所述飞行器与所述目标对象的相对高度、所述摄像头与移动后的所述目标对象的脸部之间的俯视角度和所述摄像头在所述脸部移动后的水平视角;
根据移动后的所述目标对象的脸部在所述图像的水平方向上的像素位置、所述图像的像素宽度、所述飞行器与所述目标对象的相对高度、所述摄像头与移动后的所述目标对象的脸部之间的俯视角度和所述摄像头在所述脸部移动后的水平视角,计算所述目标对象在左右方向上的移动距离。
8.根据权利要求7所述的方法,其特征在于,所述根据移动后的所述目标对象的脸部在所述图像的水平方向上的像素位置、所述图像的像素宽度、所述飞行器与所述目标对象的相对高度、所述摄像头与移动后的所述目标对象的脸部之间的俯视角度和所述摄像头在所述脸部移动后的水平视角,计算所述目标对象在左右方向上的移动距离,包括:
根据所述飞行器与所述目标对象的相对高度、所述摄像头与移动后的所述目标对象的脸部之间的俯视角度计算所述飞行器与所述目标对象之间的水平距离;
根据所述飞行器与所述目标对象之间的水平距离、所述摄像头在所述目标对象的脸部移动后的水平视角计算所述摄像头拍摄到的场景宽度;
根据移动后的所述目标对象的脸部在所述图像的水平方向上的像素位置、所述图像的像素宽度和所述摄像头拍摄到的场景宽度计算所述目标对象在左右方向上的移动距离。
9.一种飞行器的控制装置,其特征在于,包括:
脸部检测模块,用于对飞行器的摄像头实时采集目标对象得到的图像分别进行脸部检测,得到第一脸部位置和第二脸部位置,所述第二脸部位置是在得到所述第一脸部位置之前对所述图像进行脸部检测得到的;
移动判断模块,用于根据所述第一脸部位置和所述第二脸部位置判断所述目标对象是否发生移动;
移动处理模块,用于当判断出所述目标对象发生移动时,根据所述第一脸部位置和第二脸部位置获取所述目标对象的移动方向,以及根据所述第一脸部位置和所述飞行器与所述目标对象的相对位置信息获取所述目标对象的移动距离;
发送模块,用于根据所述移动方向和所述移动距离向所述飞行器发送飞行控制命令,以使所述飞行器按照所述飞行控制命令调整飞行姿态。
10.根据权利要求9所述的装置,其特征在于,所述飞行器的控制装置还包括:图像预处理模块,其中,
所述图像预处理模块,用于所述脸部检测模块对飞行器的摄像头实时采集目标对象得到的图像分别进行脸部检测,得到第一脸部位置和第二脸部位置之前,对所述摄像头实时采集目标对象得到的图像分别进行缩放处理;将缩放处理后的图像转换为灰度图,并对所述灰度图进行均衡化处理;
所述脸部检测模块,具体用于对均衡化处理后的灰度图分别进行脸部检测,得到所述第一脸部位置和所述第二脸部位置。
11.根据权利要求9所述的装置,其特征在于,所述移动判断模块,包括:
差值计算模块,用于计算出所述第一脸部位置相对于所述第二脸部位置在所述图像中的像素位置差值;
差值判断模块,用于判断所述像素位置差值是否超过预置的差值门限;
移动分析模块,用于当所述像素位置差值没有超过预置的差值门限时,确定所述目标对象没有发生移动,当所述像素位置差值超过预置的差值门限时,确定所述目标对象发生移动。
12.根据权利要求9所述的装置,其特征在于,所述移动处理模块,具体用于确定所述第一脸部位置和所述第二脸部位置在所述图像中的位置关系,通过所述位置关系确定出所述目标对象的移动方向。
13.根据权利要求9至12中任一项所述的装置,其特征在于,所述移动处理模块,包括:
第一参数获取模块,用于根据所述第一脸部位置获取移动后的所述目标对象的脸部在所述图像的竖直方向上的像素位置和所述图像的像素高度;
第二参数获取模块,用于根据所述飞行器与所述目标对象的相对位置信息确定所述飞行器与所述目标对象的相对高度和所述摄像头与移动后的所述目标对象的脸部之间的俯视角度;
第一移动距离计算模块,用于根据移动后的所述目标对象的脸部在所述图像的竖直方向上的像素位置、所述图像的像素高度、所述飞行器与所述目标对象的相对高度和所述摄像头与移动后的所述目标对象的脸部之间的俯视角度,计算所述目标对象在前后方向上的移动距离。
14.根据权利要求13所述的装置,其特征在于,所述第一移动距离计算模块,包括:
垂直视角计算模块,用于根据移动后的所述目标对象的脸部在所述图像的竖直方向上的像素位置、所述图像的像素高度、所述摄像头在所述目标对象的脸部移动后的垂直视角计算所述摄像头在所述目标对象的脸部移动前后的垂直视角变化值;
前后移动距离计算模块,用于根据所述飞行器与所述目标对象的相对高度、所述摄像头与移动后的所述目标对象的脸部之间的俯视角度和所述摄像头在所述目标对象的脸部移动前后的垂直视角变化值计算所述目标对象在前后方向上的移动距离。
15.根据权利要求9至12中任一项所述的装置,其特征在于,所述移动处理模块,包括:
第三参数获取模块,用于根据所述第一脸部位置获取移动后的所述目标对象的脸部在所述图像的水平方向上的像素位置和所述图像的像素宽度;
第四参数获取模块,用于根据所述飞行器与所述目标对象的相对位置信息确定所述飞行器与所述目标对象的相对高度、所述摄像头与移动后的所述目标对象的脸部之间的俯视角度和所述摄像头在所述脸部移动后的水平视角;
第二移动距离计算模块,用于根据移动后的所述目标对象的脸部在所述图像的水平方向上的像素位置、所述图像的像素宽度、所述飞行器与所述目标对象的相对高度、所述摄像头与移动后的所述目标对象的脸部之间的俯视角度和所述摄像头在所述脸部移动后的水平视角,计算所述目标对象在左右方向上的移动距离。
16.根据权利要求15所述的装置,其特征在于,所述第二移动距离计算模块,包括:
水平距离计算模块,用于根据所述飞行器与所述目标对象的相对高度、所述摄像头与移动后的所述目标对象的脸部之间的俯视角度计算所述飞行器与所述目标对象之间的水平距离;
场景宽度计算模块,用于根据所述飞行器与所述目标对象之间的水平距离、所述摄像头在所述目标对象的脸部移动后的水平视角计算所述摄像头拍摄到的场景宽度;
左右移动距离计算模块,用于根据移动后的所述目标对象的脸部在所述图像的水平方向上的像素位置、所述图像的像素宽度和所述摄像头拍摄到的场景宽度计算所述目标对象在左右方向上的移动距离。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610339586.3A CN105955308B (zh) | 2016-05-20 | 2016-05-20 | 一种飞行器的控制方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610339586.3A CN105955308B (zh) | 2016-05-20 | 2016-05-20 | 一种飞行器的控制方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105955308A true CN105955308A (zh) | 2016-09-21 |
CN105955308B CN105955308B (zh) | 2018-06-29 |
Family
ID=56909328
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610339586.3A Active CN105955308B (zh) | 2016-05-20 | 2016-05-20 | 一种飞行器的控制方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105955308B (zh) |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106354156A (zh) * | 2016-09-29 | 2017-01-25 | 腾讯科技(深圳)有限公司 | 一种跟踪目标对象的方法、装置及飞行器 |
CN106422358A (zh) * | 2016-12-19 | 2017-02-22 | 深圳高灿科技有限公司 | 基于视觉控制的悬停和近距离跟踪装置及方法、电动玩具 |
CN106843278A (zh) * | 2016-11-24 | 2017-06-13 | 腾讯科技(深圳)有限公司 | 一种飞行器跟踪方法、装置及飞行器 |
CN106843489A (zh) * | 2017-01-24 | 2017-06-13 | 腾讯科技(深圳)有限公司 | 一种飞行器的飞行路线控制方法及飞行器 |
CN106921833A (zh) * | 2017-03-31 | 2017-07-04 | 思依暄机器人科技(深圳)有限公司 | 一种拍摄控制方法、装置和动态跟踪拍摄设备 |
WO2018058307A1 (en) * | 2016-09-27 | 2018-04-05 | SZ DJI Technology Co., Ltd. | Systems and methods for initialization of target object in a tracking system |
CN108022255A (zh) * | 2017-12-07 | 2018-05-11 | 深圳慧源创新科技有限公司 | 无人机自动跟踪方法、无人机自动跟踪装置和无人机 |
CN108255198A (zh) * | 2017-12-28 | 2018-07-06 | 广州亿航智能技术有限公司 | 一种无人机飞行状态下的摄像云台控制系统和控制方法 |
WO2018137608A1 (zh) * | 2017-01-24 | 2018-08-02 | 腾讯科技(深圳)有限公司 | 飞行器飞行控制方法、装置、飞行器及系统 |
CN108427110A (zh) * | 2018-01-30 | 2018-08-21 | 广州市君望机器人自动化有限公司 | 测距方法、装置及电子设备 |
CN108628340A (zh) * | 2017-03-22 | 2018-10-09 | 三星电子株式会社 | 基于外部对象的移动确定移动位置的方法及电子设备 |
WO2018195955A1 (zh) * | 2017-04-28 | 2018-11-01 | 深圳市大疆创新科技有限公司 | 一种基于飞行器的设施检测方法及控制设备 |
CN109432724A (zh) * | 2018-12-13 | 2019-03-08 | 福州大学 | 新型健身飞行器及其控制方法 |
CN109889727A (zh) * | 2019-03-14 | 2019-06-14 | 睿魔智能科技(深圳)有限公司 | 无人拍摄目标切换方法及系统、无人摄像机及存储介质 |
CN110249281A (zh) * | 2017-02-10 | 2019-09-17 | 深圳市大疆创新科技有限公司 | 位置处理装置、飞行体、位置处理系统、飞行系统、位置处理方法、飞行控制方法、程序以及记录介质 |
CN110392891A (zh) * | 2018-03-14 | 2019-10-29 | 深圳市大疆创新科技有限公司 | 活动体检测装置、控制装置、移动体、活动体检测方法及程序 |
US11069342B2 (en) | 2017-03-10 | 2021-07-20 | Tencent Technology (Shenzhen) Company Limited | Method for training voice data set, computer device, and computer-readable storage medium |
CN113497910A (zh) * | 2020-04-01 | 2021-10-12 | 南宁富桂精密工业有限公司 | 视讯系统及视讯系统的画面产生方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102809969A (zh) * | 2011-06-03 | 2012-12-05 | 鸿富锦精密工业(深圳)有限公司 | 无人飞行载具控制系统及方法 |
CN104853104A (zh) * | 2015-06-01 | 2015-08-19 | 深圳市微队信息技术有限公司 | 一种自动跟踪拍摄运动目标的方法以及系统 |
CN105100728A (zh) * | 2015-08-18 | 2015-11-25 | 零度智控(北京)智能科技有限公司 | 无人机视频跟踪拍摄系统及方法 |
CN105095905A (zh) * | 2014-04-18 | 2015-11-25 | 株式会社理光 | 目标识别方法和目标识别装置 |
CN105117022A (zh) * | 2015-09-24 | 2015-12-02 | 北京零零无限科技有限公司 | 一种控制无人机随脸转动的方法和装置 |
CN105447459A (zh) * | 2015-11-18 | 2016-03-30 | 上海海事大学 | 一种无人机自动检测目标和跟踪方法 |
-
2016
- 2016-05-20 CN CN201610339586.3A patent/CN105955308B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102809969A (zh) * | 2011-06-03 | 2012-12-05 | 鸿富锦精密工业(深圳)有限公司 | 无人飞行载具控制系统及方法 |
CN105095905A (zh) * | 2014-04-18 | 2015-11-25 | 株式会社理光 | 目标识别方法和目标识别装置 |
CN104853104A (zh) * | 2015-06-01 | 2015-08-19 | 深圳市微队信息技术有限公司 | 一种自动跟踪拍摄运动目标的方法以及系统 |
CN105100728A (zh) * | 2015-08-18 | 2015-11-25 | 零度智控(北京)智能科技有限公司 | 无人机视频跟踪拍摄系统及方法 |
CN105117022A (zh) * | 2015-09-24 | 2015-12-02 | 北京零零无限科技有限公司 | 一种控制无人机随脸转动的方法和装置 |
CN105447459A (zh) * | 2015-11-18 | 2016-03-30 | 上海海事大学 | 一种无人机自动检测目标和跟踪方法 |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018058307A1 (en) * | 2016-09-27 | 2018-04-05 | SZ DJI Technology Co., Ltd. | Systems and methods for initialization of target object in a tracking system |
CN106354156A (zh) * | 2016-09-29 | 2017-01-25 | 腾讯科技(深圳)有限公司 | 一种跟踪目标对象的方法、装置及飞行器 |
CN106843278A (zh) * | 2016-11-24 | 2017-06-13 | 腾讯科技(深圳)有限公司 | 一种飞行器跟踪方法、装置及飞行器 |
CN106843278B (zh) * | 2016-11-24 | 2020-06-19 | 腾讯科技(深圳)有限公司 | 一种飞行器跟踪方法、装置及飞行器 |
CN106422358A (zh) * | 2016-12-19 | 2017-02-22 | 深圳高灿科技有限公司 | 基于视觉控制的悬停和近距离跟踪装置及方法、电动玩具 |
WO2018137608A1 (zh) * | 2017-01-24 | 2018-08-02 | 腾讯科技(深圳)有限公司 | 飞行器飞行控制方法、装置、飞行器及系统 |
CN106843489A (zh) * | 2017-01-24 | 2017-06-13 | 腾讯科技(深圳)有限公司 | 一种飞行器的飞行路线控制方法及飞行器 |
CN106843489B (zh) * | 2017-01-24 | 2019-02-19 | 腾讯科技(深圳)有限公司 | 一种飞行器的飞行路线控制方法及飞行器 |
CN110249281A (zh) * | 2017-02-10 | 2019-09-17 | 深圳市大疆创新科技有限公司 | 位置处理装置、飞行体、位置处理系统、飞行系统、位置处理方法、飞行控制方法、程序以及记录介质 |
US11513514B2 (en) | 2017-02-10 | 2022-11-29 | SZ DJI Technology Co., Ltd. | Location processing device, flight vehicle, location processing system, flight system, location processing method, flight control method, program and recording medium |
US11069342B2 (en) | 2017-03-10 | 2021-07-20 | Tencent Technology (Shenzhen) Company Limited | Method for training voice data set, computer device, and computer-readable storage medium |
CN108628340A (zh) * | 2017-03-22 | 2018-10-09 | 三星电子株式会社 | 基于外部对象的移动确定移动位置的方法及电子设备 |
CN106921833A (zh) * | 2017-03-31 | 2017-07-04 | 思依暄机器人科技(深圳)有限公司 | 一种拍摄控制方法、装置和动态跟踪拍摄设备 |
WO2018195955A1 (zh) * | 2017-04-28 | 2018-11-01 | 深圳市大疆创新科技有限公司 | 一种基于飞行器的设施检测方法及控制设备 |
CN108022255A (zh) * | 2017-12-07 | 2018-05-11 | 深圳慧源创新科技有限公司 | 无人机自动跟踪方法、无人机自动跟踪装置和无人机 |
CN108255198A (zh) * | 2017-12-28 | 2018-07-06 | 广州亿航智能技术有限公司 | 一种无人机飞行状态下的摄像云台控制系统和控制方法 |
CN108427110A (zh) * | 2018-01-30 | 2018-08-21 | 广州市君望机器人自动化有限公司 | 测距方法、装置及电子设备 |
CN110392891A (zh) * | 2018-03-14 | 2019-10-29 | 深圳市大疆创新科技有限公司 | 活动体检测装置、控制装置、移动体、活动体检测方法及程序 |
CN109432724A (zh) * | 2018-12-13 | 2019-03-08 | 福州大学 | 新型健身飞行器及其控制方法 |
CN109889727A (zh) * | 2019-03-14 | 2019-06-14 | 睿魔智能科技(深圳)有限公司 | 无人拍摄目标切换方法及系统、无人摄像机及存储介质 |
CN113497910A (zh) * | 2020-04-01 | 2021-10-12 | 南宁富桂精密工业有限公司 | 视讯系统及视讯系统的画面产生方法 |
Also Published As
Publication number | Publication date |
---|---|
CN105955308B (zh) | 2018-06-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105955308A (zh) | 一种飞行器的控制方法和装置 | |
Zhao et al. | Detection, tracking, and geolocation of moving vehicle from uav using monocular camera | |
KR102189262B1 (ko) | 엣지 컴퓨팅을 이용한 교통 정보 수집 장치 및 방법 | |
CN106874854B (zh) | 基于嵌入式平台的无人机车辆跟踪方法 | |
CN106339006B (zh) | 一种飞行器的目标跟踪方法和装置 | |
CN106529538A (zh) | 一种飞行器的定位方法和装置 | |
CN106529495A (zh) | 一种飞行器的障碍物检测方法和装置 | |
CN112598757B (zh) | 一种多传感器时间空间标定方法及装置 | |
CN112444242B (zh) | 一种位姿优化方法及装置 | |
CN110047142A (zh) | 无人机三维地图构建方法、装置、计算机设备及存储介质 | |
CN110136199A (zh) | 一种基于摄像头的车辆定位、建图的方法和装置 | |
CN110147094A (zh) | 一种基于车载环视系统的车辆定位方法及车载终端 | |
CN109857144A (zh) | 无人机、无人机控制系统及控制方法 | |
CN111275015A (zh) | 一种基于无人机的电力巡线电塔检测识别方法及系统 | |
CN112771576A (zh) | 位置信息获取方法、设备及存储介质 | |
CN117036989A (zh) | 基于计算机视觉的微型无人机目标识别与跟踪控制方法 | |
CN109214254B (zh) | 一种确定机器人位移的方法及装置 | |
CN113048951B (zh) | 一种基于人工智能的测绘无人机抖动检测方法及系统 | |
Mao et al. | Obstacle recognition and avoidance for UAVs under resource-constrained environments | |
CN116030194A (zh) | 一种基于目标检测规避的空地协同实景三维建模优化方法 | |
CN116486290B (zh) | 一种无人机监测追踪方法、装置、电子设备及存储介质 | |
CN110382358A (zh) | 云台姿态修正方法、云台姿态修正装置、云台、云台系统和无人机 | |
CN107423766B (zh) | 一种混联式汽车电泳涂装输送机构末端运动位姿检测方法 | |
CN115471555A (zh) | 一种基于图像特征点匹配的无人机红外巡检位姿确定方法 | |
CN112818837A (zh) | 一种基于姿态校正和困难样本感知的航拍车辆重识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |