[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN105223957B - 一种手势操控无人机的方法和装置 - Google Patents

一种手势操控无人机的方法和装置 Download PDF

Info

Publication number
CN105223957B
CN105223957B CN201510616129.XA CN201510616129A CN105223957B CN 105223957 B CN105223957 B CN 105223957B CN 201510616129 A CN201510616129 A CN 201510616129A CN 105223957 B CN105223957 B CN 105223957B
Authority
CN
China
Prior art keywords
gesture
motion
subunit
gestures
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510616129.XA
Other languages
English (en)
Other versions
CN105223957A (zh
Inventor
王孟秋
张通
利启诚
鲁佳
刘力心
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zero Zero Infinity Technology Co Ltd
Original Assignee
Beijing Zero Zero Infinity Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zero Zero Infinity Technology Co Ltd filed Critical Beijing Zero Zero Infinity Technology Co Ltd
Priority to CN201510616129.XA priority Critical patent/CN105223957B/zh
Publication of CN105223957A publication Critical patent/CN105223957A/zh
Priority to US15/108,390 priority patent/US10261507B2/en
Priority to PCT/CN2016/070584 priority patent/WO2017049817A1/zh
Application granted granted Critical
Publication of CN105223957B publication Critical patent/CN105223957B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0016—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00—Constructional aspects of UAVs
    • B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种手势操控无人机的方法和装置，无人机上设置摄像机，包括：通过Viola‑Jones手势检测框架检测图像中的手势；判断所述手势是否属于预定操控无人机手势；当判断所述手势为预定操控无人机手势时，获取手势的运动轨迹；由所述手势的运动轨迹控制无人机执行与该手势的运动轨迹对应的操控动作，所述手势的运动轨迹与该手势的运动轨迹对应的操控动作预先设定。由手势的运动轨迹找到该运动轨迹对应的操控动作，控制无人机执行所述操控动作。手势的运动轨迹与操控动作一一对应，预先设定。这样实现了手势对于无人机的操控，省去了用户操控遥控器控制无人机的步骤，该方法简单易行，用户体验度得到提升。

Description

一种手势操控无人机的方法和装置
技术领域
本发明涉及无人机控制技术领域，特别涉及一种手势操控无人机的方法和装置。
背景技术
目前，无人机的应用越来越广泛，例如高空拍照，体育赛事以及重大会议时，通过无人机可以实现拍照的目的。
现有技术中，无人机的操控方式主要是传统遥控和手机遥控两种。传统遥控是通过左右手操控上下左右四个方向的遥控操控杆实现。手机遥控一般是将传统遥控器的左右手遥控操控杆移植于手机上实现。
但是，这种通过遥控器控制无人机的方式需要操控者具有熟练的遥控技术，操纵感比较强。
因此，本领域技术人员需要提供一种手势操控无人机的方法和装置，不必使用者操控遥控器来控制无人机。
发明内容
本发明要解决的技术问题是提供一种手势操控无人机的方法和装置，能够实现手势操控无人机，必须使用遥控器遥控无人机。
本实施例提供一种手势操控无人机的方法，无人机上设置摄像机，包括：
通过Viola-Jones手势检测框架检测图像中的手势；
判断所述手势是否属于预定操控无人机手势；
当判断所述手势为预定操控无人机手势时，获取手势的运动轨迹；
由所述手势的运动轨迹控制无人机执行与该手势的运动轨迹对应的操控动作，所述手势的运动轨迹与该手势的运动轨迹对应的操控动作预先设定。
优选地，所述手势的运动轨迹为：单一手势运动形成的运动轨迹或至少两种手势之间的交替动作形成的运动轨迹。
优选地，当所述手势的运动轨迹为单一手势运动形成的运动轨迹时，所述获取手势的运动轨迹，具体为：
由当前帧的手势和前一帧的手势获得当前帧的手势相对于前一帧的手势的运动参数；所述运动参数包括旋转矩阵R和平移向量T；
累积当前帧与第一帧之间所有相邻两帧之间的所述运动参数；
由累积的运动参数获得该手势的运动轨迹。
优选地，当所述手势的运动轨迹为两种手势H1和H2之间的交替动作形成的运动轨迹时，所述获取手势的运动轨迹，具体为：
从所述图像中获取M个H1，判断该M个H1的帧跨度K是否小于预设帧数N；所述M和N均为整数；
当判断M个H1的帧跨度K小于预设帧数N时，将所述K均分为(M-1)个区间，判断(M-1)个区间中每个区间是否均包括H2；
当判断每个区间均包括H2时，则判断出现两种手势H1和H2之间的交替动作，根据H1和H2之间的交替动作确定手势的运动轨迹。
优选地，所述由当前帧的手势和前一帧的手势获得当前帧的手势相对于前一帧的手势的运动参数，具体包括：
分别从当前帧和前一帧的图像中手势所在的区域提取FAST特征点；
由所述FAST特征点计算BRIEF特征向量；
对所述BRIEF特征向量进行暴力匹配，并利用RANSAC过滤暴力匹配结果中错误的匹配点，获得过滤后的匹配点对；
利用所述匹配点计算本征矩阵E，从所述E中分解得到所述R和T。
本发明实施例还提供一种手势操控无人机的装置，无人机上设置摄像机，包括：手势检测单元、手势判断单元、手势的运动轨迹获取单元和控制单元；
所述手势检测单元，用于通过Viola-Jones手势检测框架检测图像中的手势；
所述手势判断单元，用于判断所述手势是否属于预定操控无人机手势；
所述手势的运动轨迹获取单元，用于当判断所述手势为预定操控无人机手势时，获取手势的运动轨迹；
所述控制单元，用于由所述手势的运动轨迹控制无人机执行与该手势的运动轨迹对应的操控动作，所述手势的运动轨迹与该手势的运动轨迹对应的操控动作预先设定。
优选地，所述手势的运动轨迹为：单一手势运动形成的运动轨迹或至少两种手势之间的交替动作形成的运动轨迹。
优选地，当所述手势的运动轨迹为单一手势运动形成的运动轨迹时，所述手势的运动轨迹获取单元包括：运动参数获取子单元、累积子单元和轨迹获取子单元；
所述运动参数获取子单元，用于由当前帧的手势和前一帧的手势获得当前帧的手势相对于前一帧的手势的运动参数；所述运动参数包括旋转矩阵R和平移向量T；
所述累积子单元，用于累积当前帧与第一帧之间所有相邻两帧之间的所述运动参数；
所述轨迹获取子单元，由累积的运动参数获得该手势的运动轨迹。
优选地，当所述手势的运动轨迹为两种手势H1和H2之间的交替动作形成的运动轨迹时，所述手势的运动轨迹获取单元包括：帧获取子单元、第一判断子单元、第二判断子单元和确定子单元；
所述帧获取子单元，用于从所述图像中获取M个H1；
所述第一判断子单元，用于判断该M个H1的帧跨度K是否小于预设帧数N；所述M和N均为整数；
所述第二判断子单元，用于当所述第一判断子单元判断M个H1的帧跨度K小于预设帧数N时，将所述K均分为(M-1)个区间，判断(M-1)个区间中每个区间是否均包括H2；
所述确定子单元，用于当所述第二判断子单元判断每个区间均包括H2时，则判断出现两种手势H1和H2之间的交替动作，根据H1和H2之间的交替动作确定手势的运动轨迹。
优选地，所述运动参数获取子单元包括：FAST特征点提取子单元、BRIEF特征向量获得子单元、匹配子单元和分解子单元；
所述FAST特征点提取子单元，用于分别从当前帧和前一帧的图像中手势所在的区域提取FAST特征点；
所述BRIEF特征向量获得子单元，用于由所述FAST特征点计算BRIEF特征向量；
所述匹配子单元，用于对所述BRIEF特征向量进行暴力匹配，并利用RANSAC过滤暴力匹配结果中错误的匹配点，获得过滤后的匹配点对；
所述分解子单元，用于利用所述匹配点计算本征矩阵E，从所述E中分解得到所述R和T。
与现有技术相比，本发明具有以下优点：
本实施例提供的方法，利用无人机上设置的摄像机对人的手势进行识别，然后判断该手势为预定操控无人机手势时，则获取该手势的运动轨迹，由手势的运动轨迹找到该运动轨迹对应的操控动作，控制无人机执行所述操控动作。手势的运动轨迹与操控动作一一对应，预先设定。这样实现了手势对于无人机的操控，省去了用户操控遥控器控制无人机的步骤，该方法简单易行，用户体验度得到提升。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的手势操控无人机的方法实施例一流程图；
图2是本发明提供的手势操控无人机的方法实施例二流程图；
图3是本发明提供的手势操控无人机的方法实施例三流程图；
图4是本发明提供的手势操控无人机的装置实施例一示意图；
图5是本发明提供的手势操控无人机的装置实施例二示意图；
图6是本发明提供的手势操控无人机的装置实施例三示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。
方法实施例一：
参见图1，该图为本发明提供的手势操控无人机的方法实施例一流程图。
本实施例提供的手势操控无人机的方法，无人机上设置摄像机，包括：
S101：通过Viola-Jones手势检测框架检测图像中的手势；
需要说明的是，无人机上设有前置摄像头或者底置摄像头。
无人机上的摄像机拍摄的图像中包括人手，通过Viola-Jones手势检测框架可以检测图像中的手势。
需要说明的是，虽然Viola-Jones手势检测框架是现有技术，但是本发明对Viola-Jones手势检测框架使用的人脸检测模型进行了改进。本发明从互联网抓取了大量包括人的手势的照片作为样本。对所述样本中的手势区域进行手工标注，将标注的手势区域进行截取。
需要说明的是，不同手势的运动轨迹对应不同的操控动作，例如，五指张开和拳头是两种不同的手势，其中五指张开的运动轨迹可以为：左右晃动、上下移动、左右移动等。同理，拳头的运动轨迹也可以为：左右晃动、上下移动、左右移动等。
S102：判断所述手势是否属于预定操控无人机手势；
需要说明的是，不是所有手势均对应操控动作，预先设定几种手势，只有检测的手势属于预定操控无人机手势时，才继续跟踪该手势的运动轨迹，如果判断该手势不属于预定操控无人机手势，则对不跟踪该手势的运动轨迹。
S103：当判断所述手势为预定操控无人机手势时，获取手势的运动轨迹；
S104：由所述手势的运动轨迹控制无人机执行与该手势的运动轨迹对应的操控动作，所述手势的运动轨迹与该手势的运动轨迹对应的操控动作预先设定。
例如，五指张开且向左移动对应的操控动作为控制无人机水平向左移动，五指张开且向右移动对应的操控动作为控制无人机水平向右移动。
本实施例提供的方法，利用无人机上设置的摄像机对人的手势进行识别，然后判断该手势为预定操控无人机手势时，则获取该手势的运动轨迹，由手势的运动轨迹找到该运动轨迹对应的操控动作，控制无人机执行所述操控动作。手势的运动轨迹与操控动作一一对应，预先设定。这样实现了手势对于无人机的操控，省去了用户操控遥控器控制无人机的步骤，该方法简单易行，用户体验度得到提升。
方法实施例二：
参见图2，该图为本发明提供的手势操控无人机的方法实施例二流程图。
需要说明的是，本发明实施例中所涉及的手势的运动轨迹包括：单一手势运动形成的运动轨迹或至少两种手势之间的交替动作形成的运动轨迹。
其中，单一手势运动形成的运动轨迹包括：前后运动、上下运动、左右摇摆等。
两种手势之间的交替动作可以为五指张开和拳头交替动作。
本实施例中先介绍手势的运动轨迹为单一手势运动形成时对无人机的操控。
当所述手势的运动轨迹为单一手势运动形成的运动轨迹时，所述获取手势的运动轨迹，具体为：
S201：由当前帧的手势和前一帧的手势获得当前帧的手势相对于前一帧的手势的运动参数；所述运动参数包括旋转矩阵R和平移向量T；
所述由当前帧的手势和前一帧的手势获得当前帧的手势相对于前一帧的手势的运动参数，具体包括：
分别从当前帧和前一帧的图像中手势所在的区域提取FAST特征点；
由所述FAST特征点计算BRIEF特征向量；
对所述BRIEF特征向量进行暴力匹配，并利用RANSAC过滤暴力匹配结果中错误的匹配点，获得过滤后的匹配点对；
利用所述匹配点计算本征矩阵E，从所述E中分解得到所述R和T。
下面具体介绍从所述E中分解得到所述R和T。
设相机P＝K[R|T]，则有x＝K[R|T]X，其中x为提取的FAST特征点，定义其中X为空间中的点；
则x′为正则化的图像坐标，对于x′，对应的相机模型为P＝[I|0]，P′＝[R|T]，该相机对应的基本矩阵即为本征矩阵E，从而根据双目视觉成像理论，有E＝[T]xR＝R[RTT]x。
并且
由本征矩阵E可计算R和T，具体方法如下：
设本征矩阵E的svd分解为Udiag(1,1,0)V，那么，R和T有如下四种选择方法：
其中，u3为U的第三列。
最后，可以根据条件重建的三维点必须在相机位于两个不同位置的正前方来选择唯一的R和T。即，当前帧和前一帧时相机的位置不同，但是要保持手势在相机的正前方。
累积相邻两帧的对应的手的位置和姿态，得到当前手势相对于第一帧的手势的位置和姿态。
设第i帧的手的位置和姿态为Ri和Ti，第i+1帧手势相对于第i帧的手势变化为Ri,i+1和Ti,i+1，由上一步计算得出，则有
上式即为由第i帧的位姿转换到第i+1帧的步骤，设第一帧的R＝1，T＝0，则通过上式和上一步的结果便可以迭代出当前帧的位置和姿态。
S202：累积当前帧与第一帧之间所有相邻两帧之间的所述运动参数；
S203：由累积的运动参数获得该手势的运动轨迹。
本实施例提供的方法，由当前帧的手势和前一帧的手势获得当前帧的手势相对于前一帧的手势的运动参数；累积当前帧与第一帧之间所有相邻两帧之间的所述运动参数；由累积的运动参数获得该手势的运动轨迹。由手势的运动轨迹控制无人机的运动。可以理解的是，本发明提供的方法，均是无人机自身在识别手势以及手势的运动轨迹，从而控制自身的运动，不需要外部控制器的任何控制。
方法实施例三：
参见图3，该图为本发明提供的手势操控无人机的方法实施例三流程图。
本实施例中介绍至少两种手势之间的交替动作形成的运动轨迹。为了方便描述，下面以两种手势交替动作形成运动轨迹为例进行介绍，可以理解的是，也可以为多种手势交替动作形成运动轨迹。
当所述手势的运动轨迹为两种手势H1和H2之间的交替动作形成的运动轨迹时，所述获取手势的运动轨迹，具体为：
S301：从所述图像中获取M个H1，判断该M个H1的帧跨度K是否小于预设帧数N；所述M和N均为整数；
需要说明的是，H1和H2均是通过图像帧中的序列来查找。
S302：当判断M个H1的帧跨度K小于预设帧数N时，将所述K均分为(M-1)个区间，判断(M-1)个区间中每个区间是否均包括H2；
S303：当判断每个区间均包括H2时，则判断出现两种手势H1和H2之间的交替动作，根据H1和H2之间的交替动作确定手势的运动轨迹。
本实施例提供的方法是在足够短的时间段内，交叉检测到H1和H2。
需要说明的是，S303还可以为：当判断每个区间均包括H2时，继续判断在第一个H1之前和最后一个H1之后的一个区间内分别寻找H2，如果找到一个H2，则判断出现两种手势H1和H2之间的交替动作，根据H1和H2之间的交替动作确定手势的运动轨迹。即，本步骤中是为了查找边缘区间中是否包含H2。
本实施例提供的方法，是通过对图像帧中的手势进行识别，然后判断是否交替出现了两种或两种以上的手势，例如在较短时间内交替出现了两种预定操控无人机手势时，控制无人机执行与该交替手势对应的操控动作。例如H1为五指张开，H2为拳头，即手掌张开闭合的交替动作视为一种手势的运动轨迹。
基于以上实施例提供的一种手势操控无人机的方法，本发明还提供了一种手势操控无人机的装置，下面结合附图对其工作原理进行详细的介绍。
装置实施例一：
参见图4，该图为本发明提供的手势操控无人机的装置实施例一示意图。
本实施例提供的手势操控无人机的装置，无人机上设置摄像机，包括：手势检测单元401、手势判断单元402、手势的运动轨迹获取单元403和控制单元404；
所述手势检测单元401，用于通过Viola-Jones手势检测框架检测图像中的手势；
需要说明的是，无人机上设有前置摄像头或者底置摄像头。
无人机上的摄像机拍摄的图像中包括人手，通过Viola-Jones手势检测框架可以检测图像中的手势。
需要说明的是，虽然Viola-Jones手势检测框架是现有技术，但是本发明对Viola-Jones手势检测框架使用的人脸检测模型进行了改进。本发明从互联网抓取了大量包括人的手势的照片作为样本。对所述样本中的手势区域进行手工标注，将标注的手势区域进行截取。
需要说明的是，不同手势的运动轨迹对应不同的操控动作，例如，五指张开和拳头是两种不同的手势，其中五指张开的运动轨迹可以为：左右晃动、上下移动、左右移动等。同理，拳头的运动轨迹也可以为：左右晃动、上下移动、左右移动等。
所述手势判断单元402，用于判断所述手势是否属于预定操控无人机手势；
需要说明的是，不是所有手势均对应操控动作，预先设定几种手势，只有检测的手势属于预定操控无人机手势时，才继续跟踪该手势的运动轨迹，如果判断该手势不属于预定操控无人机手势，则对不跟踪该手势的运动轨迹。
所述手势的运动轨迹获取单元403，用于当判断所述手势为预定操控无人机手势时，获取手势的运动轨迹；
所述控制单元404，用于由所述手势的运动轨迹控制无人机执行与该手势的运动轨迹对应的操控动作，所述手势的运动轨迹与该手势的运动轨迹对应的操控动作预先设定。
例如，五指张开且向左移动对应的操控动作为控制无人机水平向左移动，五指张开且向右移动对应的操控动作为控制无人机水平向右移动。
本实施例提供的装置，利用无人机上设置的摄像机对人的手势进行识别，然后判断该手势为预定操控无人机手势时，则获取该手势的运动轨迹，由手势的运动轨迹找到该运动轨迹对应的操控动作，控制无人机执行所述操控动作。手势的运动轨迹与操控动作一一对应，预先设定。这样实现了手势对于无人机的操控，省去了用户操控遥控器控制无人机的步骤，该方法简单易行，用户体验度得到提升。
装置实施例二：
参见图5，该图为本发明提供的手势操控无人机的装置实施例一示意图。
所述手势的运动轨迹为：单一手势运动形成的运动轨迹或至少两种手势之间的交替动作形成的运动轨迹。
当所述手势的运动轨迹为单一手势运动形成的运动轨迹时，所述手势的运动轨迹获取单元403包括：运动参数获取子单元403a、累积子单元403b和轨迹获取子单元403c；
所述运动参数获取子单元403a，用于由当前帧的手势和前一帧的手势获得当前帧的手势相对于前一帧的手势的运动参数；所述运动参数包括旋转矩阵R和平移向量T；
所述累积子单元403b，用于累积当前帧与第一帧之间所有相邻两帧之间的所述运动参数；
所述轨迹获取子单元403c，由累积的运动参数获得该手势的运动轨迹。
所述运动参数获取子单元403a包括：FAST特征点提取子单元403a1、BRIEF特征向量获得子单元403a2、匹配子单元403a3和分解子单元403a4；
所述FAST特征点提取子单元403a1，用于分别从当前帧和前一帧的图像中手势所在的区域提取FAST特征点；
所述BRIEF特征向量获得子单元403a2，用于由所述FAST特征点计算BRIEF特征向量；
所述匹配子单元403a3，用于对所述BRIEF特征向量进行暴力匹配，并利用RANSAC过滤暴力匹配结果中错误的匹配点，获得过滤后的匹配点对；
所述分解子单元403a4，用于利用所述匹配点计算本征矩阵E，从所述E中分解得到所述R和T。
本实施例提供的装置，由当前帧的手势和前一帧的手势获得当前帧的手势相对于前一帧的手势的运动参数；累积当前帧与第一帧之间所有相邻两帧之间的所述运动参数；由累积的运动参数获得该手势的运动轨迹。由手势的运动轨迹控制无人机的运动。可以理解的是，本发明提供的装置，均是无人机自身在识别手势以及手势的运动轨迹，从而控制自身的运动，不需要外部控制器的任何控制。
装置实施例三：
参见图6，该图为本发明提供的手势操控无人机的装置实施例三示意图。
本实施例中，当所述手势的运动轨迹为两种手势H1和H2之间的交替动作形成的运动轨迹时，所述手势的运动轨迹获取单元包括：帧获取子单元403d、第一判断子单元403e、第二判断子单元403f和确定子单元403g；
所述帧获取子单元403d，用于从所述图像中获取M个H1；
所述第一判断子单元403e，用于判断该M个H1的帧跨度K是否小于预设帧数N；所述M和N均为整数；
需要说明的是，H1和H2均是通过图像帧中的序列来查找。
所述第二判断子单元403f，用于当所述第一判断子单元判断M个H1的帧跨度K小于预设帧数N时，将所述K均分为(M-1)个区间，判断(M-1)个区间中每个区间是否均包括H2；
所述确定子单元403g，用于当所述第二判断子单元判断每个区间均包括H2时，则判断出现两种手势H1和H2之间的交替动作，根据H1和H2之间的交替动作确定手势的运动轨迹。
本实施例提供的方法是在足够短的时间段内，交叉检测到H1和H2。
需要说明的是，所述确定子单元403g还可以为：用于当判断每个区间均包括H2时，继续判断在第一个H1之前和最后一个H1之后的一个区间内分别寻找H2，如果找到一个H2，则判断出现两种手势H1和H2之间的交替动作，根据H1和H2之间的交替动作确定手势的运动轨迹。即，查找边缘区间中是否包含H2。
本实施例提供的装置，通过对图像帧中的手势进行识别，然后判断是否交替出现了两种或两种以上的手势，例如在较短时间内交替出现了两种预定操控无人机手势时，控制无人机执行与该交替手势对应的操控动作。例如H1为五指张开，H2为拳头，即手掌张开闭合的交替动作视为一种手势的运动轨迹。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制。虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明。任何熟悉本领域的技术人员，在不脱离本发明技术方案范围情况下，都可利用上述揭示的方法和技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。

Claims (4)

1.一种手势操控无人机的方法，其特征在于，无人机上设置摄像机，包括：
通过Viola-Jones手势检测框架检测图像中的手势；
判断所述手势是否属于预定操控无人机手势；
当判断所述手势为预定操控无人机手势时，获取手势的运动轨迹；
由所述手势的运动轨迹控制无人机执行与该手势的运动轨迹对应的操控动作，所述手势的运动轨迹与该手势的运动轨迹对应的操控动作预先设定；
所述手势的运动轨迹为：单一手势运动形成的运动轨迹或至少两种手势之间的交替动作形成的运动轨迹；
当所述手势的运动轨迹为单一手势运动形成的运动轨迹时，所述获取手势的运动轨迹，具体为：
由当前帧的手势和前一帧的手势获得当前帧的手势相对于前一帧的手势的运动参数；所述运动参数包括旋转矩阵R和平移向量T；
累积当前帧与第一帧之间所有相邻两帧之间的所述运动参数；
由累积的运动参数获得该手势的运动轨迹；
当所述手势的运动轨迹为两种手势H1和H2之间的交替动作形成的运动轨迹时，所述获取手势的运动轨迹，具体为：
从所述图像中获取M个H1，判断该M个H1的帧跨度K是否小于预设帧数N；所述M和N均为整数；
当判断M个H1的帧跨度K小于预设帧数N时，将所述K均分为(M-1)个区间，判断(M-1)个区间中每个区间是否均包括H2；
当判断每个区间均包括H2时，则判断出现两种手势H1和H2之间的交替动作，根据H1和H2之间的交替动作确定手势的运动轨迹。
2.根据权利要求1所述的手势操控无人机的方法，其特征在于，所述由当前帧的手势和前一帧的手势获得当前帧的手势相对于前一帧的手势的运动参数，具体包括：
分别从当前帧和前一帧的图像中手势所在的区域提取FAST特征点；
由所述FAST特征点计算BRIEF特征向量；
对所述BRIEF特征向量进行暴力匹配，并利用RANSAC过滤暴力匹配结果中错误的匹配点，获得过滤后的匹配点对；
利用所述匹配点计算本征矩阵E，从所述E中分解得到所述R和T。
3.一种手势操控无人机的装置，其特征在于，无人机上设置摄像机，包括：手势检测单元、手势判断单元、手势的运动轨迹获取单元和控制单元；
所述手势检测单元，用于通过Viola-Jones手势检测框架检测图像中的手势；
所述手势判断单元，用于判断所述手势是否属于预定操控无人机手势；
所述手势的运动轨迹获取单元，用于当判断所述手势为预定操控无人机手势时，获取手势的运动轨迹；
所述控制单元，用于由所述手势的运动轨迹控制无人机执行与该手势的运动轨迹对应的操控动作，所述手势的运动轨迹与该手势的运动轨迹对应的操控动作预先设定；
所述手势的运动轨迹为：单一手势运动形成的运动轨迹或至少两种手势之间的交替动作形成的运动轨迹；
当所述手势的运动轨迹为单一手势运动形成的运动轨迹时，所述手势的运动轨迹获取单元包括：运动参数获取子单元、累积子单元和轨迹获取子单元；
所述运动参数获取子单元，用于由当前帧的手势和前一帧的手势获得当前帧的手势相对于前一帧的手势的运动参数；所述运动参数包括旋转矩阵R和平移向量T；
所述累积子单元，用于累积当前帧与第一帧之间所有相邻两帧之间的所述运动参数；
所述轨迹获取子单元，由累积的运动参数获得该手势的运动轨迹；
当所述手势的运动轨迹为两种手势H1和H2之间的交替动作形成的运动轨迹时，所述手势的运动轨迹获取单元包括：帧获取子单元、第一判断子单元、第二判断子单元和确定子单元；
所述帧获取子单元，用于从所述图像中获取M个H1；
所述第一判断子单元，用于判断该M个H1的帧跨度K是否小于预设帧数N；所述M和N均为整数；
所述第二判断子单元，用于当所述第一判断子单元判断M个H1的帧跨度K小于预设帧数N时，将所述K均分为(M-1)个区间，判断(M-1)个区间中每个区间是否均包括H2；
所述确定子单元，用于当所述第二判断子单元判断每个区间均包括H2时，则判断出现两种手势H1和H2之间的交替动作，根据H1和H2之间的交替动作确定手势的运动轨迹。
4.根据权利要求3所述的手势操控无人机的装置，其特征在于，所述运动参数获取子单元包括：FAST特征点提取子单元、BRIEF特征向量获得子单元、匹配子单元和分解子单元；
所述FAST特征点提取子单元，用于分别从当前帧和前一帧的图像中手势所在的区域提取FAST特征点；
所述BRIEF特征向量获得子单元，用于由所述FAST特征点计算BRIEF特征向量；
所述匹配子单元，用于对所述BRIEF特征向量进行暴力匹配，并利用RANSAC过滤暴力匹配结果中错误的匹配点，获得过滤后的匹配点对；
所述分解子单元，用于利用所述匹配点计算本征矩阵E，从所述E中分解得到所述R和T。
CN201510616129.XA 2015-09-24 2015-09-24 一种手势操控无人机的方法和装置 Active CN105223957B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201510616129.XA CN105223957B (zh) 2015-09-24 2015-09-24 一种手势操控无人机的方法和装置
US15/108,390 US10261507B2 (en) 2015-09-24 2016-01-11 Method and device for controlling unmanned aerial vehicle with gesture
PCT/CN2016/070584 WO2017049817A1 (zh) 2015-09-24 2016-01-11 一种手势操控无人机的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510616129.XA CN105223957B (zh) 2015-09-24 2015-09-24 一种手势操控无人机的方法和装置

Publications (2)

Publication Number Publication Date
CN105223957A CN105223957A (zh) 2016-01-06
CN105223957B true CN105223957B (zh) 2018-10-02

Family

ID=54992987

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510616129.XA Active CN105223957B (zh) 2015-09-24 2015-09-24 一种手势操控无人机的方法和装置

Country Status (3)

Country Link
US (1) US10261507B2 (zh)
CN (1) CN105223957B (zh)
WO (1) WO2017049817A1 (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105223957B (zh) * 2015-09-24 2018-10-02 北京零零无限科技有限公司 一种手势操控无人机的方法和装置
EP3165945B1 (de) * 2015-11-03 2024-01-03 Leica Geosystems AG Oberflächenvermessungsgerät zur bestimmung von 3d-koordinaten einer oberfläche
CN105741320B (zh) * 2016-01-27 2021-01-01 北京航空航天大学 一种高实时性机器视觉运动分析方法
CN105677300A (zh) * 2016-02-04 2016-06-15 普宙飞行器科技（深圳）有限公司 基于手势识别操控无人机的方法、无人机及系统
CN105677039B (zh) * 2016-02-16 2020-06-09 北京博研智通科技有限公司 一种基于手势检测驾驶状态的方法、装置及可穿戴设备
CN105589466A (zh) * 2016-02-24 2016-05-18 谭圆圆 无人飞行器的飞行控制装置及其飞行控制方法
CN105912989B (zh) * 2016-04-01 2020-01-03 成都云图秀色科技有限公司 基于图像识别的飞行指令生成系统及方法
US11086313B2 (en) * 2016-04-27 2021-08-10 Atlas Dynamic Limited Gesture-based unmanned aerial vehicle (UAV) control
CN106094861B (zh) * 2016-06-02 2024-01-12 零度智控（北京）智能科技有限公司 无人机、无人机控制方法及装置
CN106203299A (zh) 2016-06-30 2016-12-07 北京二郎神科技有限公司 一种可操控设备的控制方法和装置
US10427305B2 (en) * 2016-07-21 2019-10-01 Autodesk, Inc. Robotic camera control via motion capture
WO2018058264A1 (zh) * 2016-09-27 2018-04-05 深圳市大疆创新科技有限公司 一种基于影像的控制方法、装置及飞行器
US10409276B2 (en) * 2016-12-21 2019-09-10 Hangzhou Zero Zero Technology Co., Ltd. System and method for controller-free user drone interaction
CN109196439B (zh) * 2017-04-28 2022-04-29 深圳市大疆创新科技有限公司 无人飞行器的控制方法、设备及无人飞行器
CN107067617A (zh) * 2017-05-16 2017-08-18 京东方科技集团股份有限公司 一种基于无人机的安全监控方法及安全监控系统
CN107831791B (zh) * 2017-11-17 2020-12-15 深圳意动航空科技有限公司 一种无人机的操控方法、装置、操控设备及存储介质
CN108839809A (zh) * 2018-06-26 2018-11-20 深圳草莓创新技术有限公司 手势引导无人机降落的方法及无人机
CN110825121B (zh) * 2018-08-08 2023-02-17 纬创资通股份有限公司 控制装置与无人机控制方法
CN109634410A (zh) * 2018-11-28 2019-04-16 上海鹰觉科技有限公司 基于手势识别的无人机拍照方法和系统
CN109784178A (zh) * 2018-12-14 2019-05-21 深圳壹账通智能科技有限公司 基于手势识别的参数调节方法、装置及健身设备
US11281234B2 (en) * 2018-12-20 2022-03-22 Motorola Mobility Llc Methods and systems for crashing unmanned aircraft
CN110058602A (zh) * 2019-03-27 2019-07-26 天津大学 基于深度视觉的多旋翼无人机自主定位方法
CN110851070A (zh) * 2019-11-12 2020-02-28 新石器慧通（北京）科技有限公司 一种停车方法、装置、无人车和存储介质
CN111325179B (zh) * 2020-03-09 2023-05-02 厦门美图之家科技有限公司 手势跟踪方法、装置、电子设备和存储介质
CN111736607B (zh) * 2020-06-28 2023-08-11 上海黑眸智能科技有限责任公司 基于脚部运动的机器人运动引导方法、系统以及终端
TWI802115B (zh) 2021-11-30 2023-05-11 仁寶電腦工業股份有限公司 無人機的控制裝置及其控制方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7606411B2 (en) 2006-10-05 2009-10-20 The United States Of America As Represented By The Secretary Of The Navy Robotic gesture recognition system
KR20110003146A (ko) * 2009-07-03 2011-01-11 한국전자통신연구원 제스쳐 인식 장치, 이를 구비한 로봇 시스템 및 이를 이용한 제스쳐 인식 방법
CN102662460B (zh) * 2012-03-05 2015-04-15 清华大学 移动终端的非接触式控制装置及其控制方法
TW201339903A (zh) * 2012-03-26 2013-10-01 Hon Hai Prec Ind Co Ltd 無人飛行載具控制系統及方法
CN103376890B (zh) * 2012-04-16 2016-08-31 富士通株式会社 基于视觉的手势遥控系统
CN102855649B (zh) * 2012-08-23 2015-07-15 山东电力集团公司电力科学研究院 基于orb特征点的高压杆塔高清图像全景拼接方法
CN103926999B (zh) * 2013-01-16 2017-03-01 株式会社理光 手掌开合手势识别方法和装置、人机交互方法和设备
CN103336967B (zh) * 2013-05-27 2016-12-28 东软集团股份有限公司 一种手部运动轨迹检测方法及装置
KR101606960B1 (ko) * 2013-08-02 2016-03-28 삼성전기주식회사 카메라 모듈
EP3754381A1 (en) * 2013-12-10 2020-12-23 SZ DJI Technology Co., Ltd. Sensor fusion
CN103810979B (zh) * 2013-12-31 2017-01-25 合肥京东方光电科技有限公司 液晶显示装置及其显示驱动方法
US9678506B2 (en) * 2014-06-19 2017-06-13 Skydio, Inc. Magic wand interface and other user interaction paradigms for a flying digital assistant
CN104200487A (zh) 2014-08-01 2014-12-10 广州中大数字家庭工程技术研究中心有限公司 一种基于orb特征点匹配的目标跟踪方法
CN104680127A (zh) * 2014-12-18 2015-06-03 闻泰通讯股份有限公司 手势识别方法及系统
US9738380B2 (en) * 2015-03-16 2017-08-22 XCraft Enterprises, LLC Unmanned aerial vehicle with detachable computing device
CN104808799A (zh) * 2015-05-20 2015-07-29 成都通甲优博科技有限责任公司 一种能够识别手势的无人机及其识别方法
CN104915014A (zh) * 2015-07-07 2015-09-16 安徽瑞宏信息科技有限公司 一种基于移动终端的非接触式交互方法
CN105223957B (zh) * 2015-09-24 2018-10-02 北京零零无限科技有限公司 一种手势操控无人机的方法和装置

Also Published As

Publication number Publication date
WO2017049817A1 (zh) 2017-03-30
US20180196419A1 (en) 2018-07-12
CN105223957A (zh) 2016-01-06
US10261507B2 (en) 2019-04-16

Similar Documents

Publication Publication Date Title
CN105223957B (zh) 一种手势操控无人机的方法和装置
JP6942177B2 (ja) ロボットが学習した経路を自律的に走行するように初期化するためのシステムおよび方法
US10095033B2 (en) Multimodal interaction with near-to-eye display
CN105930767B (zh) 一种基于人体骨架的动作识别方法
CN106846403B (zh) 一种三维空间中手部定位的方法、装置及智能设备
KR101761050B1 (ko) 인간-컴퓨터 자연스러운 3차원 손 제스처 기반 내비게이션 방법
TWI489317B (zh) 電子裝置的操作方法及系統
Suau et al. Real-time head and hand tracking based on 2.5 D data
CN105407346B (zh) 影像分割方法
Chen et al. A real-time dynamic hand gesture recognition system using kinect sensor
KR20140002401A (ko) 카메라 장치 및 상기 카메라 장치에서의 물체 추적 방법
CN105242888B (zh) 一种系统控制方法及电子设备
CN103500335A (zh) 一种基于手势识别的照片拍摄与浏览的方法及其装置
KR101654311B1 (ko) 사용자 모션 인식 방법 및 장치
CN104914990A (zh) 姿势辨识装置以及姿势辨识装置的控制方法
CN102902356A (zh) 一种手势控制系统及其控制方法
CN111161335A (zh) 虚拟形象的映射方法、映射装置及计算机可读存储介质
CN109214295A (zh) 基于Kinect v2和Leap Motion的数据融合的手势识别方法
Chen et al. Motion tracking of both hands with occasional mutual occlusion using RGB-D camera and IMU
Ikoma Hands and arms motion estimation of a car driver with depth image sensor by using particle filter
KR101876543B1 (ko) 탑뷰 영상 기반 인체 포즈 추정 장치 및 방법
CN110413111B (zh) 一种目标键盘追踪系统及方法
JP6400110B2 (ja) カーソル制御装置及びカーソル制御方法
EP2908219A1 (en) Gesture recognition apparatus and control method of gesture recognition apparatus
Takahashi et al. Real-time human body posture estimation using neural networks

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant