CN108366208A - 一种应用于灾区搜索的无人机立体视觉随动系统 - Google Patents
一种应用于灾区搜索的无人机立体视觉随动系统 Download PDFInfo
- Publication number
- CN108366208A CN108366208A CN201810268923.3A CN201810268923A CN108366208A CN 108366208 A CN108366208 A CN 108366208A CN 201810268923 A CN201810268923 A CN 201810268923A CN 108366208 A CN108366208 A CN 108366208A
- Authority
- CN
- China
- Prior art keywords
- unmanned plane
- module
- disaster area
- video
- main control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G08—SIGNALLING
- G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
- G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
- G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- Alarm Systems (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明公开了一种应用于灾区搜索的无人机立体视觉随动系统，包括无人机随动平台、远程通讯系统和本地控制平台，本系统运用基站实现本地操作员将头部姿态传输到无人机，控制摄像头跟随运动，并将无人机上的音视频传输回本地的视频眼镜与蓝牙耳机，同时结合对音视频滤波、压缩等算法，将这样的无线控制距离延长，稳定性提高，适用于人员难以到达、信号不好的灾区进行搜索救援等工作，加强对现场的深度感和立体感，便于完成一些特殊的对现场画面要求较高的任务。
Description
技术领域
本发明属于机电控制技术领域，具体涉及一种应用于远距离恶劣环境下灾区搜索的无人机立体视觉随动系统。
背景技术
无人机是利用无线电遥控设备和自备的程序控制装置操纵的不载人飞行器。与载人飞机相比，它具有体积小、造价低、使用方便、机动性能好等优点。这些突出的优点促使无人机被广泛的应用于民用和军用领域，民用方面大多用于航拍，军事方面应用较多，多应用于人员难以到达的、环境较为危险的情景下，如灾区的人员搜索、危险品的泄露排查等。然而现有的将无人机应用在灾区作业的技术，还仅仅局限于平面的影像显示，对于危险灾区的特殊情况下，缺乏人员对深度感知感和身历其境的真实感。
申请号为201610581526.2的发明公开了一种无线头部运动随动系统设计方法，利用陀螺+地磁+加速度传感器的方法，以地面为参照物建立坐标系，灵活分析头部相对于地面的运动姿态。除此之外，提供了一种无线头部运动随动系统设计系统，包括用户头部设备和飞机端设备，所述用户头部设备包括视频眼镜、图传接收模块、主控板、发射器和传感器检测板，所述飞机端设备包括接收机、云台、图传发射模块和摄像头。本发明使得操作者可以通过佩戴用户头部设备来实现对操作者头部运动姿态的分析，能精确分析操作者头部相对于地面的运动姿态，操作者可以通过佩戴头部设备实现操控无人机飞行和目标数据的采集。
但是现有的技术仍存在以下两点不足：
1.无人机应用在危险的灾区情况下，信号传输距离较近，无法满足对于人员无法到达的偏远地区对于信号传输的需要。
2.无人机应用在环境复杂的灾区情况下，干扰较多，无人机探测到的图像及音频传输不稳定，极易丢包，传输的数据也具有滞后性。
发明内容
本发明的目的在于克服现有技术的不足，提供一种应用于灾区搜索的无人机立体视觉随动系统，通过操作人员头戴VR眼镜和蓝牙耳机实时获取灾区现场音视频，并用头部运动姿态控制无人机摄像头的同步运动，同时利用无线网桥和基站实现灾区远距离的信号传输。
本发明所述系统包括无人机随动平台、远程通讯系统和本地操控平台；
所述无人机随动平台安装在无人机上，该平台包括摄像头、双自由度云台、拾音器和主控模块；摄像头安装在双自由度云台上进行视频信息采集并传输至主控模块，拾音器采集音频信息同样传输至主控模块；主控模块与双自由度云台相连并对其进行控制；
远程通讯系统包括无人机无线收发模块、基站和本地无线收发模块；主控模块与无人机无线收发模块有线相连；无人机无线收发模块与基站通过无线技术相连，基站再通过无线技术与本地无线收发模块相连；
本地控制平台包括VR视频眼镜、蓝牙耳机、头部姿态采集模块和上位机；本地无线收发模块将接收到的数据传输到上位机中，上位机对数据进行处理，还原为高清晰度的现场视频与音频，将视频投影到VR视频眼镜中，音频传输到蓝牙耳机中；头部姿态采集模块佩戴在操作人员头部用来采集头部俯仰角和水平转动角，将角度信息传到上位机中进行处理；上位机将头部姿态信息传到本地无线收发模块，经过基站传递给无人机收发模块；无人机收发模块将头部姿态信息传给主控模块，主控模块对信息进行解算处理，控制与摄像机相连的双自由度云台，使得无人机上摄像头按照操作人员头部转动实时跟随运动。
进一步的，所述双自由度云台中的自由度为空间坐标系中的x轴和z轴两个方向，模拟头部的水平和俯仰运动；该双自由度云台由舵机控制。
进一步的，所述主控模块由单片机最小系统和基于Linux环境开发的系统组成。
进一步的，所述基站为可移动基站车。
进一步的，所述头部姿态采集模块使用九轴姿态检测模块，包括三轴数字加速度计、三轴陀螺仪和三轴磁阻传感器检测板。
进一步的，所述主控模块中对音视频进行压缩算法，对音频进行参数编码，对视频进行熵编码。
进一步的，所述无人机和本地无线收发模块采用5.8GHz无线网桥。
本发明的有益效果如下：
1、采用基站配合压缩算法的模式，信号传输距离长，稳定性高，适用于人员难以到达、信号不好的灾区进行搜索救援等工作，便于完成一些特殊的对现场画面要求较高的任务。
2、采用的材质较轻，飞行器负载较小，但抗抖性能强，自行开发的上位机，界面简洁清晰，便于操作，纵使应用在灾区等紧急情况下，其失误率也较小，稳定性能强。
3、有较好的实时性，极强的现场深度感和立体感强，同样适合应用在娱乐或其他工业设备上，应用前景可观。
附图说明
图1是本发明系统的原理结构图；
图2是本发明系统的上位机图。
附图标号：1-无人机随动平台、2-远程通讯系统、3-本地控制平台、11-摄像头、12-双自由度云台、13-拾音器、14-主控制模块、21-无人机无线收发模块、22-基站、23-本地无线收发模块、31-上位机、32-VR视频眼镜、33蓝牙耳机、34-头部姿态采集模块。
具体实施方式
下面结合附图对本发明的具体实施方案进一步描述，以便本领域的技术人员更好地理解本发明。
图1是本发明系统的原理结构图。如图1所示，本发明系统包括无人机随动平台1、远程通讯系统2及本地控制平台3。
其中，无人机随动平台1又包括摄像头11、双自由度云台12、拾音器13和主控制模块14。摄像头11位于双自由云台12上，负责实时随动拍摄无人机高空现场画面，并将画面传送回主控模块14。双自由度云台12框架由树脂制作，材质较轻，对无人机飞行的稳定性影响较小，内部有两个舵机控制摄像头，保证其能够在X轴和Z轴两个自由度运动。主控模块中的Linux系统微型计算机接收摄像头11和拾音器13传回来的视频和音频，同时控制单片机系统对舵机的偏转角度进行调整。
远程通讯系统2包括无人机无线收发模块21、基站22和本地无线收发模块23。基站22为支持本系统实现应用于信号较弱、距离较远的灾区的关键所在，它实现将无人机无线收发模块21和本地无线收发模块23的信号双向传输，保证低丢包率。无人机无线收发模块21和本地无线收发模块23均采用5.8GHz无线网桥。
本地控制平台3由上位机31、VR视频眼镜32、蓝牙耳机33和头部姿态采集模块34组成。上位机31接收无线收发模块传来的音视频信息，将画面呈现在上位机的同时，也将画面投影到VR视频眼镜32中，将声音无线传到蓝牙耳机33中，头部姿态采集模块34中的三轴陀螺仪、三轴磁阻传感器检测板和三轴数字加速度计将采集到的数据上传到上位机31中进行处理，最终进现对无人机端摄像头11实时随动控制。
图2是本发明系统的上位机图。该上位画面为无人机拍摄的北纬N39°53′54.71″东经E119°31′10.90″某高校上空画面。
该上位机界面能够实时显示无人机所在位置的经纬度及拍摄时间，控制声音和画面的传输。上位界面中有一项为头部后带模式，该模式的设计为操作人员将视频眼镜后带，只看上位机界面中的画面进行操作，其随动效果与带上眼镜的头部正带模式一样，可以方便不同的操作人员选择使用。
工作步骤如下：
步骤一，无人机上的摄像头将拍摄到的画面与拾音器采集到的灾区现场声音传输到主控模块中，主控模块经过滤波、压缩等算法将传输数据打包发送给无人机无线收发模块；
步骤二，远程通讯系统中的无人机收发模块以无线的形式，将在无人机随动平台采集到的音视频发送给基站，再通过基站将信号转发给本地无线收发模块。
步骤三，本地无线收发模块将接收到的数据传输到上位机中，上位机对数据进行解压缩等处理，还原为高清晰度的现场视频与音频，将视频投影到VR视频眼镜中，音频传输到蓝牙耳机中。
步骤四，头部姿态采集模块佩戴在操作人员头部，操作人员根据需要进行头部运动，头部姿态采集模块采集头部俯仰角和水平转动角，将角度信息传到上位机中进行处理。
步骤五，上位机将头部姿态信息传到本地无线收发模块，经过基站传递给无人机收发模块。
步骤六，无人机收发模块将头部姿态信息传给主控模块，主控模块对信息进行解算处理，控制与摄像机相连的双自由度云台，使得无人机上摄像头按照操作人员头部运动实时跟随运动。
本发明的双自由度云台中使用国产工作电压为6V、反应速度为0.12s/60°的舵机，体积较小，舵机控制信号周期为20Ms的脉宽调制信号，X轴方向舵机脉冲宽度为0.5-2.5ms，对应舵盘的位置为0-180度，呈线性变化，Z轴方向舵机脉冲宽度从0.5-1.5ms，对应舵盘位置为0-90度。
本发明的基站使用移动方便的基站车，基站起到了将信号滤波、放大的作用，基站的加入使得信号的传输距离由2km-3km，延长为10-20km，对交通不便或情况危险使得人员无法到达的灾区进行搜索探测提供了便利。
本发明的主控模块中使用的单片机为基于ARM Cortex-M3内核的性能高、成本低、功耗低的STM32系列单片机。主控模块中另配有一基于Linux系统的微型计算机，其搭载1.2GHz的64位四核处理器，功能强大，运行流畅，保证了音视频传输的稳定性，实时性。
本发明对于音频采用参数编码方式，根据声音的行程机理，构造声音生成模型，该模型以一定的精度模拟说话人的发音声道，接收端根据该模型还原生成合成语音。对于视频采用熵编码，把一系列表示视频的数列元素转变为用来传输的压缩码流。
以上所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。
Claims (7)
1.一种应用于灾区搜索的无人机立体视觉随动系统，其特征在于：所述系统包括无人机随动平台、远程通讯系统和本地操控平台；
所述无人机随动平台安装在无人机上，该平台包括摄像头、双自由度云台、拾音器和主控模块；摄像头安装在双自由度云台上进行视频信息采集并传输至主控模块，拾音器采集音频信息同样传输至主控模块；主控模块与双自由度云台相连并对其进行控制；
远程通讯系统包括无人机无线收发模块、基站和本地无线收发模块；主控模块与无人机无线收发模块有线相连；无人机无线收发模块与基站通过无线技术相连，基站再通过无线技术与本地无线收发模块相连；
本地控制平台包括VR视频眼镜、蓝牙耳机、头部姿态采集模块和上位机；本地无线收发模块将接收到的数据传输到上位机中，上位机对数据进行处理，还原为高清晰度的现场视频与音频，将视频投影到VR视频眼镜中，音频传输到蓝牙耳机中；头部姿态采集模块佩戴在操作人员头部用来采集头部俯仰角和水平转动角，将角度信息传到上位机中进行处理；上位机将头部姿态信息传到本地无线收发模块，经过基站传递给无人机收发模块；无人机收发模块将头部姿态信息传给主控模块，主控模块对信息进行解算处理，控制与摄像机相连的双自由度云台，使得无人机上摄像头按照操作人员头部转动实时跟随运动。
2.如权利要求1所述的一种应用于灾区搜索的无人机立体视觉随动系统，其特征在于：所述双自由度云台中的自由度为空间坐标系中的x轴和z轴两个方向，模拟头部的水平和俯仰运动；该双自由度云台由舵机控制。
3.如权利要求1所述的一种应用于灾区搜索的无人机立体视觉随动系统，其特征在于：所述主控模块由单片机最小系统和基于Linux环境开发的系统组成。
4.如权利要求1所述的一种应用于灾区搜索的无人机立体视觉随动系统，其特征在于：所述基站为可移动基站车。
5.如权利要求1所述的一种应用于灾区搜索的无人机立体视觉随动系统，其特征在于：所述头部姿态采集模块使用九轴姿态检测模块，包括三轴数字加速度计、三轴陀螺仪和三轴磁阻传感器检测板。
6.如权利要求1所述的一种应用于灾区搜索的无人机立体视觉随动系统，其特征在于：所述主控模块中对音视频进行压缩算法，对音频进行参数编码，对视频进行熵编码。
7.如权利要求1所述的一种应用于灾区搜索的无人机立体视觉随动系统，其特征在于：所述无人机和本地无线收发模块采用5.8GHz无线网桥。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810268923.3A CN108366208A (zh) | 2018-03-29 | 2018-03-29 | 一种应用于灾区搜索的无人机立体视觉随动系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810268923.3A CN108366208A (zh) | 2018-03-29 | 2018-03-29 | 一种应用于灾区搜索的无人机立体视觉随动系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108366208A true CN108366208A (zh) | 2018-08-03 |
Family
ID=63001374
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810268923.3A Pending CN108366208A (zh) | 2018-03-29 | 2018-03-29 | 一种应用于灾区搜索的无人机立体视觉随动系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108366208A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110083241A (zh) * | 2019-04-26 | 2019-08-02 | 南京邮电大学 | 一种用于vr头盔控制无人机运动的映射机制 |
| CN111314616A (zh) * | 2020-03-16 | 2020-06-19 | 维沃移动通信有限公司 | 图像获取方法、电子设备、介质及可穿戴设备 |
| CN114051099A (zh) * | 2022-01-13 | 2022-02-15 | 北京蔚领时代科技有限公司 | 无人机模块vr系统及通过无人机模块实现vr的方法 |
| CN114449156A (zh) * | 2020-11-04 | 2022-05-06 | 北京小米移动软件有限公司 | 摄像头控制方法及装置、电子设备、存储介质 |
| CN115076561A (zh) * | 2022-05-18 | 2022-09-20 | 燕山大学 | 应用于工程机械的远程沉浸式双目云台随动系统及方法 |
| CN116184510A (zh) * | 2023-04-26 | 2023-05-30 | 军事科学院系统工程研究院网络信息研究所 | 基于量子磁力仪的搜救方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102348068A (zh) * | 2011-08-03 | 2012-02-08 | 东北大学 | 一种基于头部姿态控制的随动远程视觉系统 |
| CN105242686A (zh) * | 2015-11-13 | 2016-01-13 | 南京衡创天伟无人机技术有限公司 | 一种无人机航拍系统和航拍方法 |
| CN205179259U (zh) * | 2015-12-07 | 2016-04-20 | 国网浙江省电力公司信息通信分公司 | 一种基于4g lte和无人机的红外联合故障系统 |
| CN106125769A (zh) * | 2016-07-22 | 2016-11-16 | 南阳理工学院 | 一种无线头部运动随动系统设计方法 |
| CN106125747A (zh) * | 2016-07-13 | 2016-11-16 | 国网福建省电力有限公司 | 基于vr交互的无人机机载第一视角随动吊舱系统 |
| CN106598067A (zh) * | 2016-12-07 | 2017-04-26 | 中国人民武装警察部队总医院 | 基于多无人机的联合医学灾害救援系统及方法 |
| CN106788677A (zh) * | 2016-12-09 | 2017-05-31 | 佛山科学技术学院 | 一种基于移动数据网络的无人机数据中继装置及其方法 |
| US20170180636A1 (en) * | 2015-12-18 | 2017-06-22 | Fu Tai Hua Industry (Shenzhen) Co., Ltd. | Electronic device and image capturing method |
-
2018
- 2018-03-29 CN CN201810268923.3A patent/CN108366208A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102348068A (zh) * | 2011-08-03 | 2012-02-08 | 东北大学 | 一种基于头部姿态控制的随动远程视觉系统 |
| CN105242686A (zh) * | 2015-11-13 | 2016-01-13 | 南京衡创天伟无人机技术有限公司 | 一种无人机航拍系统和航拍方法 |
| CN205179259U (zh) * | 2015-12-07 | 2016-04-20 | 国网浙江省电力公司信息通信分公司 | 一种基于4g lte和无人机的红外联合故障系统 |
| US20170180636A1 (en) * | 2015-12-18 | 2017-06-22 | Fu Tai Hua Industry (Shenzhen) Co., Ltd. | Electronic device and image capturing method |
| CN106125747A (zh) * | 2016-07-13 | 2016-11-16 | 国网福建省电力有限公司 | 基于vr交互的无人机机载第一视角随动吊舱系统 |
| CN106125769A (zh) * | 2016-07-22 | 2016-11-16 | 南阳理工学院 | 一种无线头部运动随动系统设计方法 |
| CN106598067A (zh) * | 2016-12-07 | 2017-04-26 | 中国人民武装警察部队总医院 | 基于多无人机的联合医学灾害救援系统及方法 |
| CN106788677A (zh) * | 2016-12-09 | 2017-05-31 | 佛山科学技术学院 | 一种基于移动数据网络的无人机数据中继装置及其方法 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110083241A (zh) * | 2019-04-26 | 2019-08-02 | 南京邮电大学 | 一种用于vr头盔控制无人机运动的映射机制 |
| CN110083241B (zh) * | 2019-04-26 | 2022-02-11 | 南京邮电大学 | 一种用于vr头盔控制无人机运动的映射机制 |
| CN111314616A (zh) * | 2020-03-16 | 2020-06-19 | 维沃移动通信有限公司 | 图像获取方法、电子设备、介质及可穿戴设备 |
| CN114449156A (zh) * | 2020-11-04 | 2022-05-06 | 北京小米移动软件有限公司 | 摄像头控制方法及装置、电子设备、存储介质 |
| CN114051099A (zh) * | 2022-01-13 | 2022-02-15 | 北京蔚领时代科技有限公司 | 无人机模块vr系统及通过无人机模块实现vr的方法 |
| CN115076561A (zh) * | 2022-05-18 | 2022-09-20 | 燕山大学 | 应用于工程机械的远程沉浸式双目云台随动系统及方法 |
| CN116184510A (zh) * | 2023-04-26 | 2023-05-30 | 军事科学院系统工程研究院网络信息研究所 | 基于量子磁力仪的搜救方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108366208A (zh) | 一种应用于灾区搜索的无人机立体视觉随动系统 | |
| WO2017211031A1 (zh) | 无人机机械臂的控制方法和装置 | |
| CN103353758B (zh) | 一种室内机器人导航方法 | |
| CN104808675B (zh) | 基于智能终端的体感飞行操控系统及终端设备 | |
| CN105563493A (zh) | 一种高度方位自适应的服务机器人及适应方法 | |
| CN102902276A (zh) | 一种基于偏振光传感器的飞行控制系统 | |
| CN202255404U (zh) | 一种室内移动机器人双目视觉导航系统 | |
| CN109983468A (zh) | 使用特征点检测和跟踪对象的方法和系统 | |
| KR101835516B1 (ko) | 지형지물에 의한 영상이미지를 도화하는 공간영상도화 시스템 | |
| CN205608991U (zh) | 用于无人机的体感遥控器 | |
| CN106125769A (zh) | 一种无线头部运动随动系统设计方法 | |
| CN106444810A (zh) | 借助虚拟现实的无人机机械臂空中作业系统及其控制方法 | |
| CN104656482A (zh) | 终端遥控装置 | |
| CN107992064A (zh) | 基于主无人机的从无人机飞行控制方法、装置及系统 | |
| CN109062407A (zh) | 基于vr技术的远程移动终端三维显控系统和方法 | |
| CN108762253B (zh) | 一种应用于为人导航系统的人机队形控制方法 | |
| CN106444805A (zh) | 用于控制无人飞行器的控制终端、控制方法及其控制系统 | |
| CN207339850U (zh) | 一种基于移动设备实现地面站功能的无人机系统 | |
| CN112722331B (zh) | 一种月面载人移动车系统的交互装置及交互控制方法 | |
| CN208284105U (zh) | 基于虚拟现实和空间定位的分布式协同装填训练模拟系统 | |
| CN210346713U (zh) | 一种室内无人机高精度三维定位导航装置 | |
| CN108459716B (zh) | 一种在vr中实现多人协作完成任务的方法 | |
| CN106445193B (zh) | 一种基于手机操控的激光笔演示系统 | |
| CN206057972U (zh) | 用于控制无人飞行器的控制终端及其无人飞行器控制系统 | |
| CN107437330A (zh) | 无人机遥控系统和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180803 |
|
| RJ01 | Rejection of invention patent application after publication |