CN108460354B - 无人机控制方法、装置、无人机及系统 - Google Patents
无人机控制方法、装置、无人机及系统 Download PDFInfo
- Publication number
- CN108460354B CN108460354B CN201810199832.9A CN201810199832A CN108460354B CN 108460354 B CN108460354 B CN 108460354B CN 201810199832 A CN201810199832 A CN 201810199832A CN 108460354 B CN108460354 B CN 108460354B
- Authority
- CN
- China
- Prior art keywords
- posture
- image
- gesture
- unmanned aerial
- aerial vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000012544 monitoring process Methods 0.000 claims abstract description 15
- 230000036544 posture Effects 0.000 claims description 233
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims description 20
- 238000004891 communication Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 claims 6
- 238000007405 data analysis Methods 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000011022 operating instruction Methods 0.000 description 2
- 238000005452 bending Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- General Physics & Mathematics (AREA)
- Psychiatry (AREA)
- Human Computer Interaction (AREA)
- Social Psychology (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明提供了一种无人机控制方法、装置、无人机及系统,涉及无人机的技术领域,该方法由无人机执行,包括:监测用户的当前姿势;根据该姿势确定当前待执行的操作;执行确定的操作。本发明可以使用户无需手持地面终端即可操纵无人机,给用户提供了较大的便利。
Description
技术领域
本发明涉及无人机技术领域,尤其是涉及一种无人机控制方法、装置、无人机及系统。
背景技术
传统的无人机需要用户操纵诸如遥控器、设置有APP遥控应用的手机等地面终端进行控制,这种方式需要用户手持地面终端,势必会给用户带来较大的姿势限制,给用户带来诸多不便。诸如,当用户操纵无人机进行航拍时,由于手里需要握持地面终端,用户不方便摆出其它姿态,如果用户想要摆出其它姿态,则不方便操纵地面终端控制无人机。
针对现有技术中用户需要手持地面终端操纵无人机,较为不便的问题,目前尚未提出有效的解决方案。
发明内容
有鉴于此,本发明的目的在于提供一种无人机控制方法、装置、无人机及系统,能够改善现有技术中存在的用户需要手持地面终端操纵无人机,较为不便的技术问题。
为了实现上述目的,本发明实施例采用的技术方案如下:
第一方面,本发明实施例提供了一种无人机控制方法,所述方法由无人机执行,所述方法包括:监测用户的当前姿势;根据所述姿势确定当前待执行的操作;执行确定的所述操作。
结合第一方面,本发明实施例提供了第一方面的第一种可能的实施方式,其中,所述监测用户的当前姿势的步骤,包括:通过所述无人机的摄像头采集用户的当前姿势图像。
结合第一方面的第一种可能的实施方式,本发明实施例提供了第一方面的第二种可能的实施方式,其中,所述根据所述姿势确定当前待执行的操作的步骤,包括:通过预先存储的操作数据库,查找与所述当前姿势图像对应的操作指令;其中,所述操作数据库中存储有姿势图像与操作指令的对应关系;所述操作指令包括拍照指令和/或飞行控制指令;根据所述操作指令,确定当前待执行的操作。
结合第一方面的第一种可能的实施方式,本发明实施例提供了第一方面的第三种可能的实施方式,其中,所述根据所述姿势确定当前待执行的操作的步骤,包括:在预先建立的姿势数据库中查找是否存有与所述当前姿势图像相匹配的图像;其中,所述姿势数据库中存储有多种拍照触发姿势对应的姿势图像;如果是,确定所述当前姿势图像对应的姿势为拍照触发姿势,当前待执行的操作为拍照操作。
结合第一方面的第三种可能的实施方式,本发明实施例提供了第一方面的第四种可能的实施方式,其中,所述姿势数据库的建立方式包括:接收用户预先录入的姿势图像,将所述姿势图像存储于所述姿势数据库;和/或,从已存储的相册中查找姿势图像,将对应姿势的出现频率高于预设频率的姿势图像存储于所述姿势数据库中;其中,所述相册包含有所述无人机历史拍摄的图像。
结合第一方面的第三种可能的实施方式,本发明实施例提供了第一方面的第五种可能的实施方式,其中,所述在预先建立的姿势数据库中查找是否存有与所述当前姿势图像相匹配的图像的步骤,包括:通过人体姿态识别算法确定所述当前姿势图像对应的姿势;比对所述当前姿势图像对应的姿势,以及预先建立的姿势数据库中的各种姿势图像对应的拍照触发姿势;判断是否存在与所述当前姿势图像对应的姿势的相似度高于预设相似度阈值的拍照触发姿势;如果是,确定所述姿势数据库中存有与所述当前姿势图像相匹配的图像。
结合第一方面的第三种可能的实施方式,本发明实施例提供了第一方面的第六种可能的实施方式,其中,所述方法还包括:将执行拍照操作所得到的图像发送给与所述无人机相关联的终端,和/或,存储于所述无人机的存储装置。
第二方面,本发明实施例还提供一种无人机控制装置,所述装置设置于无人机侧,所述装置包括:姿势监测模块,用于监测用户的当前姿势;操作确定模块,用于根据所述姿势确定当前待执行的操作;执行模块,用于执行确定的所述操作。
第三方面,本发明实施例提供了一种无人机,所述无人机上设置有第二方面所述的无人机控制装置。
第四方面,本发明实施例提供了一种无人机系统,所述无人机系统包括第三方面所述的无人机,以及终端设备;所述无人机与所述终端设备通信连接;所述终端设备用于与所述无人机交互信息。
本发明实施例提供了一种无人机控制方法、装置、无人机及系统,无人机通过监测用户的当前姿势,并根据该姿势确定当前待执行的操作,从而可执行确定的操作。与现有技术中用户需要手持遥控器等地面终端操纵无人机,较为不便的问题相比,本发明实施例可以使用户无需手持地面终端即可操纵无人机,给用户提供了较大的便利。
本公开的其他特征和优点将在随后的说明书中阐述,或者,部分特征和优点可以从说明书推知或毫无疑义地确定,或者通过实施本公开的上述技术即可得知。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本发明实施例所提供的一种无人机控制方法流程图;
图2示出了本发明实施例所提供的一种姿势示意图;
图3示出了本发明实施例所提供的一种姿态图像的匹配方法流程图,
图4示出了本发明实施例所提供的一种无人机的工作示意图;
图5示出了本发明实施例所提供的一种无人机控制装置的结构框图;
图6示出了本发明实施例所提供的一种无人机系统的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
目前无人机大多需要用户手持遥控器等地面终端进行操纵,给用户带来不便,为改善此问题,本发明实施例提供的一种无人机控制方法、装置、无人机及系统,该技术可应用于无人机领域,以下对本发明实施例进行详细介绍。
参见图1所示的一种无人机控制方法流程图,该方法由无人机执行,包括以下步骤:
步骤S102,监测用户的当前姿势。在实际应用中,无人机上通常设置有摄像头等图像采集设备,无人机可以通过摄像头实时监测用户的当前姿势;具体的,可以是通过无人机的摄像头采集用户的当前姿势图像。在实际应用中,无人机的摄像头可以默认为实时开启,无人机实时监测用户的当前姿势;无人机的摄像头也可以在用户通过遥控器等地面终端设定后开启,处于拍照模式下的无人机再去监测用户的当前姿势。
步骤S104,根据姿势确定当前待执行的操作。具体的,不同的姿势对应不同的操作。
在一种实施方式中,可以参照如下步骤执行:
(1)通过预先存储的操作数据库,查找与当前姿势图像对应的操作指令;其中,操作数据库中存储有姿势图像与操作指令的对应关系;操作指令包括拍照指令和/或飞行控制指令。拍照指令也即指示无人机通过摄像头拍摄图像,飞行控制指令包括对无人机的方向控制、悬停控制、降落控制、返航控制、跟随控制、速度控制等指令。可以理解的是,操作数据库中存储有多张姿势图像,每张姿势图像都包含一种特定姿势,不同的姿势对应不同的操作指令。无人机通过识别姿势,即可确定与该姿势对应的操作指令。
(2)根据操作指令,确定当前待执行的操作。具体的,当操作指令为拍照指令时,无人机确定当前待执行的操作为拍照操作;当操作指令为飞行控制指令时,无人机确定当前待执行的操作为执行飞行控制指令所指示的操作,诸如飞行控制指令为悬停控制时,无人机确定当前待执行的操作为悬停操作,又诸如飞行控制指令为返航控制时,无人机确定当前待执行的操作为返航操作等。
步骤S106,执行确定的操作。无人机在确定待执行的操作时,直接执行确定的操作即可满足用户对无人机的操纵要求。
本实施例的上述方法中,无人机通过监测用户的当前姿势,并根据该姿势确定当前待执行的操作,从而可执行确定的操作。与现有技术中用户需要手持遥控器等地面终端操纵无人机,较为不便的问题相比,本发明实施例可以使用户无需手持地面终端即可操纵无人机,给用户提供了较大的便利。
考虑到航拍操作是无人机的常见用途,无人机在执行航拍操作时,通常需要用户手持遥控器或者手机,并按下拍照控制按键,才可控制无人机拍照,诸如采集到包括用户在内的图像。但是,这种拍照控制方式极大地限制了用户的摆拍姿势,为了使用户在利用无人机进行航拍时能够随心所欲的摆拍,无需再受到需要手持遥控器的姿势限制,本实施例提供了一种根据姿势确定当前待执行的操作的具体实施方式,包括:
(1)在预先建立的姿势数据库中查找是否存有与当前姿势图像相匹配的图像;其中,姿势数据库中存储有多种拍照触发姿势对应的姿势图像。可以理解的是,每张姿势图像都包含一种特定的姿势,诸如交叉双臂、抬头、侧脸、跳远、走路、叉腰、奔跑、弯腰、托下巴、抱臂等姿势,为便于理解,可以参照图2所示的一种姿势示意图,该示意图中仅简单示意出部分姿势,在姿势数据库中存储有多张姿势图像,每张姿势图像都包含有一种拍照触发姿势;拍照触发姿势可以包含有大多数常见的用户姿态,具体的拍照触发姿势可以是由用户预先设定的。
(2)如果是,确定当前姿势图像对应的姿势为拍照触发姿势,当前待执行的操作为拍照操作。
本实施例给出了以下两种姿势数据库的建立方式,分别为:
方式一:接收用户预先录入的姿势图像,将姿势图像存储于姿势数据库。用户可以预先将可能摆拍的各种姿势图像都存储于姿势数据库。
方式二:从已存储的相册中查找姿势图像,将对应姿势的出现频率高于预设频率的姿势图像存储于姿势数据库中;其中,相册包含有无人机历史拍摄的图像。已存储的相册包含有历史拍摄的照片,具体可以为APP相册等云相册。通过对相册进行大数据分析、频率统计等,可以从相册中所存储的各姿势图像中筛选出高于一定频率的姿势图像,将高于一定频率的姿势图像确认为是用户偏好的摆拍姿势,从而存储于姿势数据库,作为拍照触发姿势。
在具体应用中,可以根据实际需求而灵活采用方式一或方式二建立姿势数据库,也可以同时采用方式一和方式二建立姿势数据库。当然,以上两种方式仅为示意性说明,在此不应当被视为限制。
具体的,参见图3所示的一种姿态图像的匹配方法流程图,该方法流程图主要示出了在预先建立的姿势数据库中查找是否存有与当前姿势图像相匹配的图像的具体实现方式,包括如下步骤:
步骤S302,通过人体姿态识别算法确定当前姿势图像对应的姿势。人体姿态识别算法的原理是可识别姿势图像中人体关节点位置,或者,人体关键部位的位置。以关节点位置为例,在具体实现时,可以采用深度图进行关节点位置估计,也可以直接基于RGB图像进行关节点位置估计,在人体姿态识别算法对当前姿态图像进行处理时,首先获得一张热点图谱,基本处理过程是先将人体热点图谱进行颜色分类并标定颜色,然后再进行三维关节点的位置估计,最后将标定的颜色与三维关节点进行匹配,即可确定当前姿势图像对应的姿势。
步骤S304,比对当前姿势图像对应的姿势以及预先建立的姿势数据库中的各种姿势图像对应的拍照触发姿势。也即,将确定的当前姿势与拍照触发姿势进行比对。可以理解的是,每张姿势图像都对应一种姿势,当前姿势图像对应的姿势为当前姿势,姿势数据库中存储的各种姿势图像对应的姿势为拍照触发姿势;具体可以采用图像比对算法进行逐一比对当前姿势图像对应的姿势和姿势数据库中各种姿势图像对应的拍照触发姿势。
步骤S306,判断是否存在与当前姿势图像对应的姿势的相似度高于预设相似度阈值的拍照触发姿势。具体的,人体姿态识别算法可以将当前姿势图像转换为关节点二维图,然后再转换为坐标点阵列数据,再采用该坐标点阵列数据与姿势数据库中各拍照触发姿势对应的坐标点阵列数据进行比对,从而确定两张图像之间的相似度。
步骤S308,判断为是时,确定姿势数据库中存有与当前姿势图像相匹配的图像。诸如,设定预设相似度阈值为80%,如果相似度高于80%,则说明姿势数据库中存储有与当前姿势图像相匹配的图像,则表明当前姿势图像对应的姿势为拍照触发姿势,无人机即可确定需要执行拍照指令。
通过上述方式可将用户的当前姿势图像与姿势数据库进行比对,从而判断该当前姿势图像是否存储于姿势数据库中,存储于姿势数据库中的图像所对应的姿势为拍照触发姿势,无人机从而可以判断用户当前的姿势是否对应拍照操作,如果是,则执行拍照操作。
进一步,无人机在执行拍照操作后,可以将执行拍照操作所得到的图像发送给与无人机相关联的终端,和/或,存储于无人机的存储装置。与无人机相关联的终端可以是用户的移动终端(手机等),也可以是云服务器等终端,以便于用户存储或直接查看拍照图像;无人机的存储装置具体可以为存储器等,用户事后可以查看无人机的存储装置内存储的图像信息,具体可以将无人机从存储装置所存储的图像信息导入至电脑、手机等智能终端上查看。
在一种实施方式中,可以参见图4所示的一种无人机的工作示意图,简单示意出无人机在采用姿态检测机制进行拍照时的各部件连接关系,为便于理解,在此具体说明如下:存储器内存储有姿势数据库,姿势数据库中所包含的姿势图像可以为从相册中收集到的用户常见摆拍姿势,也可以是用户通过电脑等外部设备导入至存储器中的姿势图像。在地面终端通过无人机的处理器开启拍照模式后,无人机即开启相机进行用户姿态监测,相机可以将采集的当前姿态图像实时传递给处理器,以使处理器比对该当前姿态图像与存于存储器中的姿势数据库的拍照触发姿势,如果确定当前姿态图像对应的姿势为拍照触发姿势,则控制相机执行拍照操作,并将拍摄的照片存储于地面终端。具体的,在图4中的地面终端可以为手机、电脑等,在实际应用中,地面终端可以安设有相应的APP,通过APP与云服务器相连,将拍摄的照片通过APP存储于云端。
对应于前述无人机控制方法,本实施例进一步提供了一种无人机控制装置,参见图5所示的一种无人机控制装置的结构框图,该装置设置于无人机侧,具体包括如下模块:
姿势监测模块502,用于监测用户的当前姿势。在一种实施方式中,姿势监测模块502用于通过无人机的摄像头采集用户的当前姿势图像。
操作确定模块504,用于根据姿势确定当前待执行的操作。在一种实施方式中,操作确定模块504用于通过预先存储的操作数据库,查找与当前姿势图像对应的操作指令;其中,操作数据库中存储有姿势图像与操作指令的对应关系;操作指令包括拍照指令和/或飞行控制指令;根据操作指令,确定当前待执行的操作。
执行模块506,用于执行确定的操作。
本实施例的上述装置中,无人机通过监测用户的当前姿势,并根据该姿势确定当前待执行的操作,从而可执行确定的操作。与现有技术中用户需要手持遥控器等地面终端操纵无人机,较为不便的问题相比,本发明实施例可以使用户无需手持地面终端即可操纵无人机,给用户提供了较大的便利。
在另一种实施方式中,操作确定模块包括查找单元和确定单元,具体说明如下:
查找单元,用于在预先建立的姿势数据库中查找是否存有与当前姿势图像相匹配的图像;其中,姿势数据库中存储有多种拍照触发姿势对应的姿势图像。具体的,姿势数据库的建立方式包括:接收用户预先录入的姿势图像,将姿势图像存储于姿势数据库;和/或,从已存储的相册中查找姿势图像,将对应姿势的出现频率高于预设频率的姿势图像存储于姿势数据库中;其中,相册包含有无人机历史拍摄的图像。
确定单元,用于在查找单元的查找结果为是时,确定当前姿势图像对应的姿势为拍照触发姿势,当前待执行的操作为拍照操作。
在具体实施时,上述查找单元用于:通过人体姿态识别算法确定当前姿势图像对应的姿势;比对当前姿势图像对应的姿势,以及预先建立的姿势数据库中的各种姿势图像对应的拍照触发姿势;判断是否存在与当前姿势图像对应的姿势的相似度高于预设相似度阈值的拍照触发姿势;如果是,确定姿势数据库中存有与当前姿势图像相匹配的图像。
在实际应用中,本实施例提供的无人机控制装置还包括:图像处理模块,用于将执行拍照操作所得到的图像发送给与无人机相关联的终端,和/或,存储于无人机的存储装置。
本实施例所提供的装置,其实现原理及产生的技术效果和前述实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。
进一步,本实施例还提供了一种无人机,该无人机上设置有无人机控制装置。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的无人机的具体工作过程,可以参考前述实施例中的对应过程,在此不再赘述。
此外,本实施例还提供了一种无人机系统,参见图6所示的一种无人机系统的结构示意图,包括无人机100,以及终端设备200;其中,无人机100与终端设备200通信连接;终端设备200用于与无人机100交互信息。
终端设备可以是无人机的遥控器,也可以是手机、平板电脑等终端,在此不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统具体工作过程,可以参考前述实施例中的对应过程,在此不再赘述。
本发明实施例所提供的无人机控制方法、装置、无人机及系统的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行前面方法实施例中所述的方法,具体实现可参见方法实施例,在此不再赘述。
另外,在本发明实施例的描述中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
Claims (5)
1.一种无人机控制方法,其特征在于,所述方法由无人机执行,所述方法包括:
监测用户的当前姿势;
根据所述姿势确定当前待执行的操作;
执行确定的所述操作;
所述监测用户的当前姿势的步骤,包括:通过所述无人机的摄像头采集用户的当前姿势图像;
所述根据所述姿势确定当前待执行的操作的步骤,包括:在预先建立的姿势数据库中查找是否存有与所述当前姿势图像相匹配的图像;其中,所述姿势数据库中存储有多种拍照触发姿势对应的姿势图像;所述拍照触发姿势包括用户姿态;如果是,确定所述当前姿势图像对应的姿势为拍照触发姿势,当前待执行的操作为拍照操作;
通过预先存储的操作数据库,查找与当前姿势图像对应的操作指令;其中,操作数据库中存储有姿势图像与操作指令的对应关系;操作指令包括拍照指令和/或飞行控制指令,拍照指令指示无人机通过摄像头拍摄图像,飞行控制指令包括对无人机的方向控制、悬停控制、降落控制、返航控制、跟随控制、速度控制指令,操作数据库中存储有多张姿势图像,每张姿势图像都包含一种特定姿势,不同的姿势对应不同的操作指令,无人机通过识别姿势,确定与该姿势对应的操作指令;
根据操作指令,确定当前待执行的操作,当操作指令为拍照指令时,无人机确定当前待执行的操作为拍照操作;当操作指令为飞行控制指令时,无人机确定当前待执行的操作为执行飞行控制指令所指示的操作,飞行控制指令为悬停控制时,无人机确定当前待执行的操作为悬停操作,飞行控制指令为返航控制时,无人机确定当前待执行的操作为返航操作;
姿势数据库的建立方式,包括:接收用户预先录入的姿势图像,将姿势图像存储于姿势数据库,用户预先将可能摆拍的各种姿势图像都存储于姿势数据库;或者,从已存储的相册中查找姿势图像,将对应姿势的出现频率高于预设频率的姿势图像存储于姿势数据库中;其中,相册包含有无人机历史拍摄的图像,已存储的相册包含有历史拍摄的照片,通过对相册进行大数据分析、频率统计,从相册中所存储的各姿势图像中筛选出高于一定频率的姿势图像,将高于一定频率的姿势图像确认为是用户偏好的摆拍姿势,存储于姿势数据库,作为拍照触发姿势;
通过人体姿态识别算法确定当前姿势图像对应的姿势,采用深度图或者直接基于RGB图像进行关节点位置估计,在人体姿态识别算法对当前姿态图像进行处理时,首先获得一张热点图谱,将人体热点图谱进行颜色分类并标定颜色,然后再进行三维关节点的位置估计,最后将标定的颜色与三维关节点进行匹配,确定当前姿势图像对应的姿势;
比对当前姿势图像对应的姿势以及预先建立的姿势数据库中的各种姿势图像对应的拍照触发姿势,将确定的当前姿势与拍照触发姿势进行比对,采用图像比对算法进行逐一比对当前姿势图像对应的姿势和姿势数据库中各种姿势图像对应的拍照触发姿势;
判断是否存在与当前姿势图像对应的姿势的相似度高于预设相似度阈值的拍照触发姿势,人体姿态识别算法将当前姿势图像转换为关节点二维图,然后再转换为坐标点阵列数据,再采用该坐标点阵列数据与姿势数据库中各拍照触发姿势对应的坐标点阵列数据进行比对,从而确定两张图像之间的相似度;
当判断为是时,确定姿势数据库中存有与当前姿势图像相匹配的图像,无人机即可确定需要执行拍照指令。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
将执行拍照操作所得到的图像发送给与所述无人机相关联的终端,和/或,存储于所述无人机的存储装置。
3.一种无人机控制装置,其特征在于,所述装置设置于无人机侧,所述装置包括:
姿势监测模块,用于监测用户的当前姿势;
操作确定模块,用于根据所述姿势确定当前待执行的操作;
执行模块,用于执行确定的所述操作;
所述姿势检测模块进一步还用于通过所述无人机的摄像头采集用户的当前姿势图像;
所述操作确定模块进一步还用于在预先建立的姿势数据库中查找是否存有与所述当前姿势图像相匹配的图像;其中,所述姿势数据库中存储有多种拍照触发姿势对应的姿势图像;所述拍照触发姿势包括用户姿态;如果是,确定所述当前姿势图像对应的姿势为拍照触发姿势,当前待执行的操作为拍照操作;
姿势数据库建立模块,用于接收用户预先录入的姿势图像,将所述姿势图像存储于所述姿势数据库;和/或,从已存储的相册中查找姿势图像,将对应姿势的出现频率高于预设频率的姿势图像存储于所述姿势数据库中;其中,所述相册包含有所述无人机历史拍摄的图像;
所述装置还用于:
通过预先存储的操作数据库,查找与当前姿势图像对应的操作指令;其中,操作数据库中存储有姿势图像与操作指令的对应关系;操作指令包括拍照指令和/或飞行控制指令,拍照指令指示无人机通过摄像头拍摄图像,飞行控制指令包括对无人机的方向控制、悬停控制、降落控制、返航控制、跟随控制、速度控制指令,操作数据库中存储有多张姿势图像,每张姿势图像都包含一种特定姿势,不同的姿势对应不同的操作指令,无人机通过识别姿势,确定与该姿势对应的操作指令;
根据操作指令,确定当前待执行的操作,当操作指令为拍照指令时,无人机确定当前待执行的操作为拍照操作;当操作指令为飞行控制指令时,无人机确定当前待执行的操作为执行飞行控制指令所指示的操作,飞行控制指令为悬停控制时,无人机确定当前待执行的操作为悬停操作,飞行控制指令为返航控制时,无人机确定当前待执行的操作为返航操作;
姿势数据库的建立方式,包括:接收用户预先录入的姿势图像,将姿势图像存储于姿势数据库,用户预先将可能摆拍的各种姿势图像都存储于姿势数据库;或者,从已存储的相册中查找姿势图像,将对应姿势的出现频率高于预设频率的姿势图像存储于姿势数据库中;其中,相册包含有无人机历史拍摄的图像,已存储的相册包含有历史拍摄的照片,通过对相册进行大数据分析、频率统计,从相册中所存储的各姿势图像中筛选出高于一定频率的姿势图像,将高于一定频率的姿势图像确认为是用户偏好的摆拍姿势,存储于姿势数据库,作为拍照触发姿势;
通过人体姿态识别算法确定当前姿势图像对应的姿势,采用深度图或者直接基于RGB图像进行关节点位置估计,在人体姿态识别算法对当前姿态图像进行处理时,首先获得一张热点图谱,将人体热点图谱进行颜色分类并标定颜色,然后再进行三维关节点的位置估计,最后将标定的颜色与三维关节点进行匹配,确定当前姿势图像对应的姿势;
比对当前姿势图像对应的姿势以及预先建立的姿势数据库中的各种姿势图像对应的拍照触发姿势,将确定的当前姿势与拍照触发姿势进行比对,采用图像比对算法进行逐一比对当前姿势图像对应的姿势和姿势数据库中各种姿势图像对应的拍照触发姿势;
判断是否存在与当前姿势图像对应的姿势的相似度高于预设相似度阈值的拍照触发姿势,人体姿态识别算法将当前姿势图像转换为关节点二维图,然后再转换为坐标点阵列数据,再采用该坐标点阵列数据与姿势数据库中各拍照触发姿势对应的坐标点阵列数据进行比对,从而确定两张图像之间的相似度;
当判断为是时,确定姿势数据库中存有与当前姿势图像相匹配的图像,无人机即可确定需要执行拍照指令。
4.一种无人机,其特征在于,所述无人机上设置有权利要求3所述的无人机控制装置。
5.一种无人机系统,其特征在于,所述无人机系统包括权利要求4所述的无人机,以及终端设备;所述无人机与所述终端设备通信连接;
所述终端设备用于与所述无人机交互信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810199832.9A CN108460354B (zh) | 2018-03-09 | 2018-03-09 | 无人机控制方法、装置、无人机及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810199832.9A CN108460354B (zh) | 2018-03-09 | 2018-03-09 | 无人机控制方法、装置、无人机及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108460354A CN108460354A (zh) | 2018-08-28 |
CN108460354B true CN108460354B (zh) | 2020-12-29 |
Family
ID=63217151
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810199832.9A Expired - Fee Related CN108460354B (zh) | 2018-03-09 | 2018-03-09 | 无人机控制方法、装置、无人机及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108460354B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110426970B (zh) * | 2019-06-25 | 2021-05-25 | 西安爱生无人机技术有限公司 | 一种无人机拍照系统及其控制方法 |
CN110650287A (zh) * | 2019-09-05 | 2020-01-03 | 深圳市道通智能航空技术有限公司 | 一种拍摄控制方法、装置、飞行器及飞行系统 |
CN111123959B (zh) * | 2019-11-18 | 2023-05-30 | 亿航智能设备(广州)有限公司 | 基于手势识别的无人机控制方法及采用该方法的无人机 |
CN114168744A (zh) * | 2021-11-25 | 2022-03-11 | 中国航空工业集团公司沈阳飞机设计研究所 | 一种基于知识图谱的无人机指控意图理解方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105487673A (zh) * | 2016-01-04 | 2016-04-13 | 京东方科技集团股份有限公司 | 一种人机交互系统、方法及装置 |
CN105589553A (zh) * | 2014-09-23 | 2016-05-18 | 上海影创信息科技有限公司 | 一种智能设备的手势控制方法和系统 |
CN105892474A (zh) * | 2016-03-31 | 2016-08-24 | 深圳奥比中光科技有限公司 | 无人机以及无人机控制方法 |
CN106161954A (zh) * | 2016-08-16 | 2016-11-23 | 北京金山安全软件有限公司 | 一种视频拍摄控制方法、装置及电子设备 |
CN106227341A (zh) * | 2016-07-20 | 2016-12-14 | 南京邮电大学 | 基于深度学习的无人机手势交互方法及系统 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103295028B (zh) * | 2013-05-21 | 2018-09-04 | 深圳Tcl新技术有限公司 | 手势操作控制方法、装置及智能显示终端 |
CN104363494A (zh) * | 2013-12-21 | 2015-02-18 | 滁州惠智科技服务有限公司 | 一种用于智能电视的手势识别系统 |
US9600736B2 (en) * | 2015-06-29 | 2017-03-21 | International Business Machines Corporation | Pose detection using depth camera |
CN107741781A (zh) * | 2017-09-01 | 2018-02-27 | 中国科学院深圳先进技术研究院 | 无人机的飞行控制方法、装置、无人机及存储介质 |
-
2018
- 2018-03-09 CN CN201810199832.9A patent/CN108460354B/zh not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105589553A (zh) * | 2014-09-23 | 2016-05-18 | 上海影创信息科技有限公司 | 一种智能设备的手势控制方法和系统 |
CN105487673A (zh) * | 2016-01-04 | 2016-04-13 | 京东方科技集团股份有限公司 | 一种人机交互系统、方法及装置 |
CN105892474A (zh) * | 2016-03-31 | 2016-08-24 | 深圳奥比中光科技有限公司 | 无人机以及无人机控制方法 |
CN106227341A (zh) * | 2016-07-20 | 2016-12-14 | 南京邮电大学 | 基于深度学习的无人机手势交互方法及系统 |
CN106161954A (zh) * | 2016-08-16 | 2016-11-23 | 北京金山安全软件有限公司 | 一种视频拍摄控制方法、装置及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN108460354A (zh) | 2018-08-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US12136210B2 (en) | Image processing method and apparatus | |
CN108460354B (zh) | 无人机控制方法、装置、无人机及系统 | |
KR102067057B1 (ko) | 디지털 디바이스 및 제어 방법 | |
WO2019128507A1 (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN105488371B (zh) | 一种脸部识别方法和装置 | |
EP3432207A1 (en) | Method for biometric recognition and terminal device | |
WO2019137131A1 (zh) | 图像处理方法、装置、存储介质及电子设备 | |
WO2018001245A1 (en) | Robot control using gestures | |
CN108229369A (zh) | 图像拍摄方法、装置、存储介质及电子设备 | |
CN105956518A (zh) | 一种人脸识别方法、装置和系统 | |
WO2019024717A1 (zh) | 防伪处理方法及相关产品 | |
WO2019052329A1 (zh) | 人脸识别方法及相关产品 | |
CN107231470B (zh) | 图像处理方法、移动终端及计算机可读存储介质 | |
CN106292799B (zh) | 无人机、遥控装置及其控制方法 | |
WO2019011098A1 (zh) | 解锁控制方法及相关产品 | |
WO2019084825A1 (zh) | 图像处理方法、设备及无人机 | |
US20210233529A1 (en) | Imaging control method and apparatus, control device, and imaging device | |
CN110731076A (zh) | 一种拍摄处理方法、设备及存储介质 | |
CN112699849A (zh) | 手势识别方法和装置、电子设备、可读存储介质和芯片 | |
EP3627383A1 (en) | Anti-counterfeiting processing method, anti-counterfeiting processing apparatus and electronic device | |
CN110580053A (zh) | 一种目标追踪方法、飞行器及飞行系统 | |
CN107341190B (zh) | 图片筛选方法、终端及计算机可读存储介质 | |
WO2018049630A1 (zh) | 一种拍照方法及终端 | |
CN106829662A (zh) | 一种多功能智能电梯系统及控制方法 | |
CN107729736B (zh) | 人脸识别方法以及相关产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20201229 |