CN104765280B - 无人机三维立体显控综合训练系统 - Google Patents

Abstract

本发明公开了一种无人机三维立体显控综合训练系统，涉及模拟训练技术领域。该系统包括飞行仿真模块、视景仿真模块、飞行控制交互模块、维修操作训练模块和自主学习考核模块，采用主动式三维立体曲面显示器构建显示平台，采用3D互动技术和立体驱动技术实现三维影像的驱动与立体显示，通过交互硬件实现高度仿真的人机交互，建立多感官刺激的地面操控环境，具有飞行操控训练、维修操作训练、自主学习考核三种工作模式。通过该系统，无人机操控人员能够掌握无人机控制方法、操作流程和特情处置方法，准确感知飞机三维立体空间的状态及环境态势，维修人员能够快速熟悉无人机的原理、结构和功能，掌握保障流程和维修方法。

Description

无人机三维立体显控综合训练系统

技术领域

本发明属于一种用于飞行操控人员的飞行训练和地面维修人员的无人机三维立体显控综合训练系统，涉及模拟训练技术领域。

背景技术

有人机飞行人员的培养主要依赖于实装飞行训练，模拟飞行时间仅占总培训时间的30％。而无人机操控人员的培训与之存在本质差别，大量的培训工作都由地面模拟训练完成。因此，需要地面模拟训练系统满足对无人机操控人员培养的需要。由于无人机操控人员大都没有实际空中飞行经验，需要借助三维立体显示系统训练其空中态势感知能力，准确掌握无人机在三维立体空间的位置和周边状态，以应对空中突发情况，而传统的三维立体显示系统价格昂贵，使用寿命有限，难以满足训练需求。由于实装数量有限、价格昂贵，地面维修人员维修操作训练只能由教员通过图片讲解各类机件、设备的原理构造和检查流程，或是在实装上简单的实际操作演示，学员能够实际操作的机会很少，这就造成了维修人员的培养周期较长，实际操作能力偏弱，如果能够把虚拟维修和三维交互技术运用到维修人员的培训中将直观的展现各类机件设备的拆装方法、检查流程和工作原理，将大大缩短培养周期，提高维修人员维修操作能力。此外，无人机同传统的有人驾驶飞机相比，在维护方法上存在很大的差别，其特殊性决定了采用传统的模拟器技术难以实现无人机系统的高度仿真，无法满足训练使用需求。因此，需要一种既价格低廉又能够为飞行控制与维修保障人员提供三维立体环境的模拟训练技术方案。

发明内容

本发明的目的是提供一种沉浸感好、交互性强、集成度高、功能丰富、易于扩展、成本低的无人机三维立体显控综合训练系统。

本发明的技术方案是：一种无人机三维立体显控综合训练系统，包括控制系统、显示系统和服务器组成。控制系统包括油门(4)、驾驶杆(5)、三维鼠标(6)、键盘(7)，是该系统的交互平台，接收操控人员的控制指令，传动给解算计算机(9)，通过显示系统显示相应的动作和参数。显示系统由三维立体曲面显示器(1)、第一触控平面显示器(2)和第二触控平面显示器(3)组成，是该系统的仿真核心，三维曲面立体显示器(1)主要显示叠加平显的三维视景画面、维修操作画面、设备维护舱、飞机、关键机件三维模型和载荷装挂场景，第一触控平面显示器(2)主要显示飞机综合信息、任务规划软件、虚拟维修检测界面，第二触控平面显示器(3)主要显示链路监控软件、载荷控制软件和PMA控制界面。服务器由数据计算机(8)、解算计算机(9)和图形工作站(10)组成，是数据的解算和存储中心，用来存储虚拟飞行环境数据、装备三维模型数据、维修保障资源数据，完成飞行数据解算和解析控制信息。系统具有操控训练、维修操作训练、自主学习考核三种工作模式，可用于飞行操控人员的飞行训练和地面维修人员的虚拟维修训练。

本发明的效果是：本发明可用于中小型无人机的飞控与维修人员模拟训练，能够使无人机操控人员掌握无人机控制方法、操作流程和特情处置方法，准确感知飞机三维立体空间的位置及环境态势，维修人员快速熟悉无人机的原理、结构和功能，掌握保障流程和维修方法，降低培训成本，缓解实装数量少、使用寿命有限、承训人数受限等训练难题。本发明将3D互动技术和立体驱动技术运用到无人机模拟训练中，利用虚拟环境代替实物装备，在外形和操作使用上与实装保持一致，三维图像效果逼真、具有身临其境之感，符合直观思维模式，人机交互性强。本发明的一个突出特点是在不改变系统主要硬件组成的情况下，仅需换装不同机型的训练软件，无需硬件改动，即可方便地将系统扩展为其它机型，通用性强。

附图说明

图1是无人机三维显控综合训练系统结构布局；

图2是无人机三维显控综合训练系统组成框图；

图3是基于矢量地图的三维视景生成流程图；

图4是汇聚式双中心成像模型；

图5是监控软件设计流程图。

图中：1.三维立体曲面显示器；2.第一触控平面显示器；3.第二触控平面显示器；4.油门；5.驾驶杆；6.三维鼠标；7.键盘；8.数据计算机；9.解算计算机；10.图形工作站。

具体实施方式

一种无人机三维立体显控综合训练系统，采用与通用地面站结构一致的操控平台，提高模拟训练的逼真度和训练效果，系统结构布局如图1所示。系统硬件主要由控制系统、显示系统和服务器组成。控制系统包括油门(4)、驾驶杆(5)、三维鼠标(6)、键盘(7)，是该系统的交互平台，接收操控人员的控制指令，传动给解算计算机(9)，通过显示系统显示相应的动作和参数。显示系统由三维立体曲面显示器(1)、第一触控平面显示器(2)和第二触控平面显示器(3)组成，是该系统的仿真核心，三维曲面立体显示器(1)主要显示叠加平显的三维视景画面、维修操作画面、设备维护舱、飞机、关键机件三维模型和载荷装挂场景，第一触控平面显示器(2)主要显示飞机综合信息、任务规划软件、虚拟维修检测界面，第二触控平面显示器(3)主要显示链路监控软件、载荷控制软件和PMA控制界面。服务器由数据计算机(8)、解算计算机(9)和图形工作站(10)组成，是数据的解算和存储中心，数据计算机(8)存储飞行数据、维修资源数据、多媒体资源、电子维护手册和考核题库，解算计算机(9)完成飞机运动模型解算、解析控制信息和数据调用、分发，图形工作站(10)用来存储虚拟飞行环境数据、装备三维模型数据，生成三维立体场景。

本发明集成三种训练模式，即飞行操控训练模式、维修操作训练模式和自主学习考核模式。在飞行操控训练模式下，曲面三维立体显示器显示叠加平显的三维虚拟场景，第一触控平面显示器(2)显示飞机综合信息和任务规划界面，第二触控平面显示器(3)显示链路监控和载荷控制界面，教员通过任务规划软件设定飞行任务、航路、环境数据和特情，学员通过驾驶杆、油门实现飞机姿态控制、发动机控制，通过触控屏实现链路管理、导航控制和载荷控制，完成任务准备、飞行监控、人工操控、载荷控制等训练课目。遇到特情时，做出正确的处置动作。飞行结束后，任务规划软件对本次飞行做出综合评判，通过数据回放让参训者查找问题并加以改正。在维修操作训练模式下，曲面三维立体显示器显示无人机三维模型和重要设备外观结构，第一触控平面显示器(2)显示虚拟维修检测界面，第二触控平面显示器(3)显示PMA控制界面，参训者通过三维鼠标进行与真实场景一致的拆卸操作实现模拟拆装和外观检查，通过三维鼠标控制维修接口和插头，在维修检测界面输入检测指令，通过PMA控制界面反馈检测结果，实现检测流程的训练。在自主学习考核模式下，曲面三维立体显示器显示图片、动画和视频，第一触控平面显示器(2)显示查询引导目录，第二触控平面显示器(3)显示操作提示、考核任务和结果信息，参训者通过人机交互实现对设备原理、检查流程和技术资料的检索，实现自主学习。

本发明包括飞行仿真模块、视景仿真模块、飞行控制交互模块、维修操作训练模块和自主学习考核模块等五个功能模块，系统组成框图如图2所示。

所述的飞行仿真模块利用飞机的气动参数、动力参数建立起飞行模型和控制律，通过数学仿真的方法仿真飞机气动和动力系统、舵机、飞控、导航计算机等真实设备，接收控制指令，产生飞机的飞行姿态、位置信息、飞行距离等参数，是整个训练系统的核心。无人机在载荷设备开机的状态下要求飞行平稳，在受到扰动的情况下飞行操控人员需要及时进行人工修正，因此本发明对风和紊流对飞机运动的影响进行分析，建立在风和紊流扰动下的飞机运动模型，满足无人机训练的需要。

所述的视景仿真模块包括虚拟环境数据库、设备模型库、视景生成系统和视景显示系统，主要完成飞机姿态三维显示、虚拟空间环境三维显示、大气环境模拟、特效模拟、机件拆装过程演示等工作，为操控人员提供虚拟三维立体场景。采用Creator如软件进行三维场景和设备模型的建模，通过Vega Prime软件将各类模型集成并驱动，通过接口程序接收控制指令，实现人机交互。基于Direct3D技术开发立体驱动程序，分离并发生左右眼立体信号，获得逼真的立体显示效果。逼真的仿真视景使参训人员有身临其境的感觉，三维视景仿真效果取决于地形模型的细化程度和地表纹理的逼真程度，但地形模型越细致，参与交互、计算的数据量就越大，降低了地景实时显示的速度。解决这一问题的有效方法是简化地形模型，通过逼真的地表纹理来展现地形细节。本发明以矢量数字地图作为约束，结合地表纹理样图生成三维地景的方法，保证了地形数据库的真实性和精确性，解决了地形库生成后无法更改的问题。数学抽象模型为：

S₁+S₂+…+S_n+T＝R

式中S₁，S₂，S_n表示不同的地表纹理，而T表示矢量地图，R则表示生成的三维地景。

根据功能划分，可将上述流程划分为如图3所示的四个部分：确定顶点坐标和属性、绘制网格、选择地表纹理样图、纹理融合，具体流程为：

1.构建顶点数据结构并初始化。读入图元文件。构建顶点数组，每一个顶点由三维坐标和属性两部分组成。

2.通过等高线数据生成DEM数据。将等高线数据导入MAPGIS中的DEM分析模块，得到规则网格的DEM数据。

3.对DEM数据中的未知高程点进行插值。

4.通过判断顶点与图元的位置关系确定各顶点属于哪个图元。

5.遍历所有顶点，为其赋三维坐标值。

6.根据顶点坐标绘制地形网格。

7.综合所有顶点的属性选取适当的纹理。

8.遍历顶点，根据其属性向地形网格映射纹理，并在图元边界处进行纹理融合。

要实现三维视景的立体显示就要采用双摄像机投影模式，本发明采用汇聚式双中心成像模型如图4所示，将双目注视中心点C限定在虚线框中，中心线左右各65°，会聚变化角为±1.5°，使之符合人眼的水平视野范围，取得良好的视觉效果。

可以求出左摄像机投影坐标A(x_l,y_l,z_l)为：

右摄像机投影坐标B(x_r,y_r,z_r)为：

其中d为基线到XO_MY面的距离，e为两视点间的距离。

视景中的一点C(x_c,y_c,z_c)左、右像中的视差i与双目焦距f、基线距离h、光心偏角β的关系模型为：

根据求出的左右摄像机的位置和相关参数，在Direct3D中进行设置从而实现三维立体显示。左摄像机位置、方向和视矩阵设置代码为：

右摄像机位置、方向和视矩阵设置代码为：

所述的飞行控制交互模块主要完成任务规划、飞行监控、人工操控、链路控制、载荷控制、特情处置等功能的模拟，由控制单元和显示单元组成，实现飞机各类信息的显示和控制指令的输入，是人机交互的平台。控制单元包括驾驶杆、油门、键盘、三维鼠标和触控屏，用于接收操控者的操作意图，将其转换为计算机控制语言，通过显示单元进行信息反馈。显示单元包括飞机综合信息、任务规划软件、链路监控软件和载荷控制软件。飞机综合信息主要显示飞机姿态、航向、高度、速度、位置、发动机状态和机载设备信息；任务规划软件显示航路点、位置、环境态势等信息；链路监控软件显示链路模式和状态，根据飞机状态可切换链路模式；载荷控制界面显示载荷状态，通过控制指令控制载荷工作模式，接收并分发任务数据。任务规划软件利用ArcGis软件绘制，通过VisioStudio环境进行驱动。飞机综合信息、链路监控软件、载荷控制软件通过GLStudio软件设计，利用VC++环境进行驱动。其开发过程如图5所示，具体开发过程为：

1.创建纹理，即采用图像处理软件制作出所需纹理的图片；

2.根据显示模块的显示要求，创建多边形并贴上纹理，将图形重新命名，指定回调函数和行为等；

3.将显示模块创建成组件，便于重复使用；

4.在应用程序中添加代码，为显示模块创建行为，调用控制函数，如旋转、移动、缩放等，完成对显示模块的动态控制；

5.将编写的行为代码和图形数据转化为C++类代码；

6.在VC++平台上进行编译和测试，查看显示效果，如果不满意，回到第二步。

所述的维修操作训练模块主要实现飞机通电检查、设备外观检查、载荷挂载等课目的维修操作训练。能够模拟无人机的外观和正常工作时的功能状态，即动态模拟无人机组成和功能，演示无人机的检查路线，通过与实装一致的拖拽和拆卸操作学习无人机的内部结构和拆装方法。依据实装的训练操作和设备操作设置，描述不同系统与检测设备之间的状态关系，依据检测设备PMA的具体功能建立功能模拟单元，模拟检查设备的真实功能，做出与实装一致的操作响应，使维修人员掌握检查标准和流程，达到模拟真实操作的效果。采用基于触控技术的虚拟检测面板和三维立体动态显示相结合的方法，利用通过平面触控显示器和三维鼠标发送控制指令，通过三维立体曲面显示器反馈操控动作，增强虚拟维修训练的沉浸感。利用Creator软件对装备关键部件的外形特征、物理特征、活动特征进行建模，建立三维模型。利用GLStudio软件制作检测操控界面，通过Vega Prime软件实现模型的驱动与操控信息的交互。

所述的自主学习考核模块包括维修信息单元和考核单元。维修信息划分为设备原理介绍、基本功能描述、操作流程解析和维护保养知识，参训者选择系统框架内对应的条目，进入到相应的知识点进行学习，即观看调用出来的文本、图片、三维动画和视频资源。考核单元为参训者提供由无人机原理、功能、结构、检查流程、维护保养等方面组成的考核题库，参训者根据考核任务在虚拟装备对象或考核界面中交互进行答题操作，考核结束时对考核情况进行评分。采用Authorware软件搭建软件框架，链接文本文件、图片文件、视频文件、数据库文件等，形成整体封装的维修信息查询单元。采取智能检索的方式对维修信息进行检索，与以往操作任务和考核结果进行比对，即根据维修人员操作水平、当前操作状态和易错考点，通过优化算法为维修人员提供相关度高的考核题库，提高参训人员学习效率。

Claims (1)

1.一种无人机三维立体显控综合训练系统，包括控制系统、显示系统和服务器，所述的控制系统包括油门(4)、驾驶杆(5)、三维鼠标(6)、键盘(7)，是该系统的交互平台，所述的显示系统由三维立体曲面显示器(1)、第一触控平面显示器(2)和第二触控平面显示器(3)组成，是该系统的仿真核心，所述的服务器由数据计算机(8)、解算计算机(9)和图形工作站(10)组成，是数据的解算和存储中心，其特征在于：控制系统采用3D互动技术将操控人员的控制指令传送给服务器，调取服务器中存储的虚拟飞行环境数据、装备三维模型数据、维修保障资源数据，完成飞行数据解算和解析控制信息，通过显示系统显示相应的动作和参数，三维曲面立体显示器(1)采用三维立体驱动技术分离并发生左右眼立体信号，逼真的显示三维立体场景，显示叠加平显的三维立体视景画面、维修操作画面、设备维护舱、飞机、关键机件三维模型和载荷装挂场景，第一触控平面显示器(2)显示飞机综合信息、任务规划软件、虚拟维修检测界面，第二触控平面显示器(3)显示链路监控软件、载荷控制软件和PMA控制界面，该系统具有操控训练、维修操作训练、自主学习考核三种工作模式，可用于飞行操控人员的飞行训练和地面维修人员的虚拟维修训练；

所述的一种无人机三维立体显控综合训练系统，还包括飞行仿真模块、视景仿真模块、飞行控制交互模块、维修操作训练模块和自主学习考核模块五个功能模块；

所述的飞行仿真模块利用飞机的气动参数、动力参数建立起飞行模型和控制律，通过数学仿真的方法仿真飞机气动和动力系统、舵机、飞控、导航计算机真实设备，接收控制指令，产生飞机的飞行姿态、位置信息、飞行距离参数；

所述的视景仿真模块包括虚拟环境数据库、设备模型库、视景生成系统和视景显示系统，完成飞机姿态三维显示、虚拟空间环境三维显示、大气环境模拟、特效模拟、机件拆装过程演示工作，为操控人员提供虚拟三维立体场景；

以矢量数字地图作为约束，结合地表纹理样图生成三维地景，数学抽象模型为：

S₁+S₂+…+S_n+T＝R

式中S₁，S₂，S_n表示不同的地表纹理，而T表示矢量地图，R则表示生成的三维地景；

采用汇聚式双中心成像模型，视野范围为双目中心线左右各65°，会聚变化角为±1.5°；

左摄像机投影坐标A(x_l,y_l,z_l)为：

<mrow> <mo>(</mo> <mo>(</mo> <mrow> <msub> <mi>x</mi> <mi>c</mi> </msub> <mo>+</mo> <mfrac> <mi>e</mi> <mn>2</mn> </mfrac> </mrow> <mo>)</mo> <mi>d</mi> <mo>/</mo> <msub> <mi>z</mi> <mi>c</mi> </msub> <mo>,</mo> <mfrac> <mrow> <msub> <mi>y</mi> <mi>c</mi> </msub> <mi>d</mi> </mrow> <msub> <mi>z</mi> <mi>c</mi> </msub> </mfrac> <mo>,</mo> <mi>d</mi> <mo>)</mo> </mrow>

右摄像机投影坐标B(x_r,y_r,z_r)为：

<mrow> <mo>(</mo> <mo>(</mo> <mrow> <msub> <mi>x</mi> <mi>c</mi> </msub> <mo>-</mo> <mfrac> <mi>e</mi> <mn>2</mn> </mfrac> </mrow> <mo>)</mo> <mi>d</mi> <mo>/</mo> <msub> <mi>z</mi> <mi>c</mi> </msub> <mo>+</mo> <mfrac> <mi>c</mi> <mn>2</mn> </mfrac> <mo>,</mo> <mfrac> <mrow> <msub> <mi>y</mi> <mi>c</mi> </msub> <mi>d</mi> </mrow> <msub> <mi>z</mi> <mi>c</mi> </msub> </mfrac> <mo>,</mo> <mi>d</mi> <mo>)</mo> </mrow>

其中d为基线到XO_MY面的距离，e为两视点间的距离；

视景中的一点C(x_c,y_c,z_c)左、右像中的视差i与双目焦距f、基线距离h、光心偏角β的关系模型为：

<mrow> <mfrac> <mi>i</mi> <mi>f</mi> </mfrac> <mo>=</mo> <mfrac> <mrow> <mo>(</mo> <mn>4</mn> <msub> <mi>x</mi> <mi>c</mi> </msub> <mo>-</mo> <mn>2</mn> <mi>h</mi> <mo>)</mo> <mi>k</mi> <mi>cos</mi> <mi>&amp;beta;</mi> <mo>+</mo> <msub> <mi>z</mi> <mi>c</mi> </msub> <mo>(</mo> <mn>2</mn> <mi>h</mi> <mo>-</mo> <mn>4</mn> <mi>k</mi> <mi>sin</mi> <mi>&amp;beta;</mi> <mo>)</mo> </mrow> <mrow> <mn>4</mn> <msub> <mi>z</mi> <mi>c</mi> </msub> <mi>k</mi> <mi>cos</mi> <mi>&amp;beta;</mi> <mo>-</mo> <mi>h</mi> <mrow> <mo>(</mo> <mn>2</mn> <msub> <mi>x</mi> <mi>c</mi> </msub> <mo>-</mo> <mi>h</mi> <mo>)</mo> </mrow> <mo>+</mo> <mn>2</mn> <mrow> <mo>(</mo> <mn>2</mn> <msub> <mi>y</mi> <mi>c</mi> </msub> <mo>-</mo> <mi>h</mi> <mo>+</mo> <mn>2</mn> <msub> <mi>x</mi> <mi>c</mi> </msub> <mo>)</mo> </mrow> <mi>d</mi> <mi>sin</mi> <mi>&amp;beta;</mi> </mrow> </mfrac> <mo>-</mo> <mfrac> <mrow> <mo>(</mo> <mn>4</mn> <msub> <mi>x</mi> <mi>c</mi> </msub> <mo>+</mo> <mn>2</mn> <mi>h</mi> <mo>)</mo> <mi>k</mi> <mi>cos</mi> <mi>&amp;beta;</mi> <mo>+</mo> <msub> <mi>z</mi> <mi>c</mi> </msub> <mo>(</mo> <mn>2</mn> <mi>h</mi> <mo>+</mo> <mn>4</mn> <mi>k</mi> <mi>sin</mi> <mi>&amp;beta;</mi> <mo>)</mo> </mrow> <mrow> <mn>4</mn> <msub> <mi>z</mi> <mi>c</mi> </msub> <mi>k</mi> <mi>cos</mi> <mi>&amp;beta;</mi> <mo>-</mo> <mi>h</mi> <mrow> <mo>(</mo> <mn>2</mn> <msub> <mi>x</mi> <mi>c</mi> </msub> <mo>+</mo> <mi>h</mi> <mo>)</mo> </mrow> <mo>+</mo> <mn>2</mn> <mrow> <mo>(</mo> <mn>2</mn> <msub> <mi>y</mi> <mi>c</mi> </msub> <mo>-</mo> <mi>h</mi> <mo>-</mo> <mn>2</mn> <msub> <mi>x</mi> <mi>c</mi> </msub> <mo>)</mo> </mrow> <mi>d</mi> <mi>sin</mi> <mi>&amp;beta;</mi> </mrow> </mfrac> </mrow>

根据求出的左右摄像机的位置和相关参数，在Direct3D中进行设置从而实现三维立体显示。