CN113240597B - 基于视觉惯性信息融合的三维软件稳像方法 - Google Patents

Abstract

本发明提出一种基于视觉惯性信息融合的三维软件稳像方法。第一步，进行相机及视觉惯性传感器标定，获取单目相机的畸变参数及内参矩阵，并标定IMU误差参数用于获取后续紧耦合联合优化的IMU误差模型；第二步，进行单目视觉初始化，获取足量的世界坐标系下的三维特征点；第三步，将IMU数据同视觉数据紧耦合进行联合优化，相机变换矩阵及三维空间特征点；第四步：根据获取的变换矩阵进行预翘曲，并将获取的特征点进行局部网格变换，获取最终的稳像结果。本发明能够有效解决经典SFM方法的运动矢量估计性能不佳问题，提高运动补偿的三维特征点空间位置及整体的运动矢量精度。

Description

基于视觉惯性信息融合的三维软件稳像方法

技术领域

本发明是一种用于带有惯性元器件的视觉三维软件稳像方法，特别涉及一种基于视觉惯性信息融合(Visual Inertial Information Fusion)理论的软件稳像(SoftwareStabilization)方法。

背景技术

电子信息时代的快速发展，引来了技术上的腾飞，无人驾驶技术逐步由车辆向空中发展。无人系统在城市运输，战场打击等军事和民用领域扮演了日益重要的角色。在无人系统的研发过程中，传感、导航和控制系统的设计是至关重要的。视觉导航技术为无人系统从摄像机实时获取的环境图像中提取丰富的导航信息，使无人系统拥有与环境交互的能力，提升控制的自动化和智能化水平。然而，在一些情况下摄像载体可能会发生不期望的随机抖动，在这种情况下，摄像载体获取的视频和图像会出现不稳定和模糊的画面，导致视频质量和观察效果降低。为保证获取视频序列的使用价值，需要对运动的摄像平台进行防抖处理，即稳像处理。

稳像系统根据其稳像方式可分为机械稳像，光学稳像，数字图像稳像。机械稳像平台在实际使用中体型往往较大，精度较低，且容易受到摩擦力，风阻等外力误差影响，因而并不适和作为小型旋翼无人机稳像的主要手段；光学稳像效果较好，可直接利用光学方法对图像序列实现稳定，但由于二级光谱的存在，对可变光楔需要进行消色差处理，使得稳像器的结构和工艺过于复杂，仅靠棱镜、反射镜或者光楔等被动补偿，其稳像能力受限较大；数字视频稳像(Digital video stabilization DVS)技术又称电子稳像，基于计算机视觉、图像处理、信号处理等学科，主要依靠计算机和软件代码编写稳像算法来实现稳像功能，不需要其他系统支持，编写的软件代码能移植，便于维护和更新，成本较低且具有较好的精度。数字视频稳像技术则是近几十年发展起来的新兴技术，其主要通过消除或减少视频的抖动，生成稳定的视频序列。根据当前的研究模型，可以将稳像方法分为2D，2.5D和3D方法。2D方法算法原理简单，运算量小，但由于缺乏景深，稳像效果不够自然，且算法性能有限；2.5D算法折中了2D和3D算法，算法复杂度较高，稳像效果较好，能够处理视差，但该算法需要采取多帧图像中足够长的连续出现特征点，生成轨迹并按一定的约束条件进行稳像，难以用于实时稳像；3D算法复杂度最高，性能最优，但该算法的稳像效果受限于运动恢复结构(Structure From Motion，SFM)的性能，难以获取足够良好的稳像效果。

发明内容

本发明的目的在于提供一种基于视觉惯性信息融合的三维软件稳像方法。这种基于视觉惯性信息融合的三维软件稳像方法，能够同视觉导航方法相结合，降低算法计算量，且稳像性能好，能有效提升获取的图像序列质量。

本发明提出的基于视觉惯性信息融合的三维软件稳像方法结合了视觉惯性方法的精度高优点和网格翘曲变化相对自然的特点，能够有效解决现有稳像算法的存在的精度瓶颈问题。

本发明的技术方案为：

所述一种基于视觉惯性信息融合的三维软件稳像方法，包括如下步骤：

步骤1：进行相机及IMU标定，获取单目相机的畸变参数及内参矩阵，并标定IMU误差参数用于获取后续紧耦合联合优化的IMU误差模型；

步骤2：进行单目视觉初始化，获取足量的世界坐标系下的三维特征点；

步骤3：将IMU数据同视觉数据紧耦合进行联合优化，获取相机变换矩阵及优化后的三维空间特征点；

步骤4：根据获取的变换矩阵进行预翘曲，并将获取的特征点进行局部网格变换，获取最终的稳像结果。

进一步的，步骤1中，相机及IMU标定方法参照github开源标定工具Kalibr进行标定。

进一步的，步骤1中，通过IMU标定获取角速度和线速度的误差，来对IMU误差模型进行校正；通过视觉标定获取相机内参矩阵K和畸变系数；通过联合标定对参数做进一步修正，并获取IMU和摄像载体间的转换矩阵。

进一步的，步骤2中，进行单目视觉初始化的过程为：

对于单目视觉获得的图像帧I₁,I₂，在世界坐标系下有共同三维点P，其位于世界坐标系下的位置为[X,Y,Z]^T；该三维点在两帧图像中的位姿有关系：

s₁p₁＝KP,s₂p₂＝K(RP+t)

x₁＝K^-1p₁，x₂＝K^-1p₂

其中R,t为相机相邻两帧间的旋转矩阵和位移矢量；根据位姿关系能够得到

从而求得本质矩阵E和基础矩阵F，进而根据本质矩阵E和基础矩阵F获得旋转矩阵R及平移矩阵t，并采用三角测量，恢复各特征点的相对深度；再利用IMU预积分模型获取各特征点的尺度信息。

进一步的，所述IMU预积分模型为：

根据步骤1的IMU标定，得到陀螺仪偏置b_w、加速度计偏置b_a及附加噪声n_a，n_w；采用6轴IMU获取加速度计值以及陀螺仪获取角速度值/>

其中b下标表示处于体坐标系下,为世界坐标系转移至体坐标系下的旋转矩阵,g^w为世界坐标系下的重力参数；若相机在[t_k,t_k+1]时间内获取的图像帧分别为k及k+1，其中某一特征点在体坐标系下的对应的位置分别为b_k及b_k+1，得到在世界坐标系下的位置、速度及方向值通过IMU测量值在时间间隔内的传递为：

其中Δt_k为[t_k,t_k+1]之间的时间间隔，体坐标系转至世界坐标下的旋转矩阵；进一步将位于世界坐标系下的位置，速度，方向值转换至体坐标系下：

其中：

对上式进行一阶泰勒展开获取近似值后并用中值法展开，得：

并得到误差传递函数矩阵：

其中

并利用误差传递函数矩阵得到对应的参数；利用

求得尺度信息s，从而恢复各特征点的实际深度及位于世界坐标系下的结果，其中角标c₀表示相机第一帧图像下的相机坐标系。

进一步的，步骤3中将IMU数据同视觉数据紧耦合进行联合优化时采用滑窗法进行优化，选取一部分帧信息作为关键帧信息同其余解联合优化。

进一步的，步骤3中采用滑窗法进行优化过程为：

利用公式

表示待优化的参数变量，其中x_k,k＝0,...,n表示各时刻下的相机状态，包括位置速度/>及旋转/>和各时刻加速度计和陀螺仪的偏置矩阵b_a，b_g；/>为相机坐标系和体坐标系间的转换矩阵，λ_n为逆深度值；求解目标函数

实现优化，目标函数第一部分表示边缘化残差部分，第二部分为IMU残差，第三部分则为视觉误差函数部分。

有益效果

本发明通过视觉惯性融合方法建立基于单目视觉的运动估计模型，利用从而实现运动估计方法精度的提升。且相对传统的SFM进行运动估计的方法基础上，加入视觉惯导信息紧耦合的方法，提高算法获取三维信息的整体精确度。

本发明所采用的预翘曲加上网格变换局部翘曲的方法，让运动补偿方法在传统稳像方法的基础上有效解决了视差问题，使稳像后的结果显得更加自然，可以有效提高稳像算法的稳像视觉效果。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为对极几何示意图，相邻的图像帧I₁,I₂，设图像帧I₁→I₂的运动为R,t，每个图像帧中，相机的中心位置分别为O₁,O₂。假设图像帧I₁其对应的特征点为p₁,图像帧I₂对应的着特征点p₂，两者是经由ORB特征点法匹配并进行RANSAC筛选后得到的结果，可以看做是同一点在两个不同图像帧成像平面中的投影。因此，连线和/>在三维空间中会相交于点P，由O₁,O₂及P我们可以得到一个名为极平面(Epipolar plane)的平面，O₁,O₂两点间的连线会与图像帧交于e₁,e₂两点，以上两点被称作极点(Epipoles),O₁O₂则被称为基线(Baseline)。l₁,l₂为两图像帧平面I₁,I₂与极平面的交线，称为极线(Epipolar line)。

图2为IMU积分示意图，其中红色表示视觉数据，绿色表示IMU数据。

图3为局部翘曲示意图，表示网格顶点，u和v分别表示转换坐标系后的/>坐标。

具体实施方式

本发明针对传统稳像方法的精度无法满足未来高精度稳像算法需求的问题，提出了一种基于视觉惯导信息融合的三维稳像方法。主要包括运动估计及运动补偿两个主要部分。运动估计采用视觉惯性信息结合的方法，能够有效解决经典SFM方法的运动矢量估计性能不佳问题，提高运动补偿的三维特征点空间位置及整体的运动矢量精度。运动补偿负责根据获取的运动矢量以及三维特征点云进行预翘曲，并进行网格分割实行三维图像翘曲进一步补偿，获取稳像后的结果，从而提高稳像精度。

本发明的主要思路是：第一步，进行相机及视觉惯性传感器标定，获取单目相机的畸变参数及内参矩阵，并标定IMU误差参数用于获取后续紧耦合联合优化的IMU误差模型；第二步，进行单目视觉初始化，获取足量的世界坐标系下的三维特征点；第三步，将IMU数据同视觉数据紧耦合进行联合优化，相机变换矩阵及三维空间特征点；第四步：根据获取的变换矩阵进行预翘曲，并将获取的特征点进行局部网格变换，获取最终的稳像结果。

具体流程如下：

(一)进行相机及IMU标定，获取单目相机的畸变参数及内参矩阵，并标定IMU误差参数用于获取后续紧耦合联合优化的IMU误差模型；

视觉、IMU标定具体标定方法可参照github开源标定工具Kalibr进行标定。IMU标定是为了获取角速度和线速度的误差，来对IMU误差模型进行校正，用于尺度获取和最后的整体优化，视觉标定则是为了获取内参矩阵K和畸变系数，联合标定可对上述参数做进一步修正，并获取IMU和摄像载体间的转换矩阵，本方法默认采用单目针孔相机模型。其畸变参数包含切向畸变p₁,p₂和径向畸变k₁,k₂,k₃：

其中X,Y为相机归一化坐标的测量值，x,y为相机归一化坐标系下的实际值，r²＝x²+y²，根据式(1-1)可以获得畸变校正后的真实值x,y。

(二)进行单目视觉初始化，获取足量的世界坐标系下的三维特征点；

经畸变校正后，可默认输入的图像帧无失真。之后采用的图像帧的像素，默认已经经过了校正。接下来可进行初始化。如图1所示，图像帧I₁,I₂中有世界坐标系下共同三维点P，其位于世界坐标系下的位置为[X,Y,Z]^T。根据单目相机模型，该三维点在两帧图像中的位姿，有式(1-2)的关系：

其中R,t为相机相邻两帧间的旋转矩阵和位移矢量，由式(1-2)可以推得式(1-3)：

由式(1-3)可求得本质矩阵E和基础矩阵F，由本质矩阵和本质矩阵E和基础矩阵F可以进一步获得旋转矩阵R及平移矩阵t，如通过八点法或五点法。之后可以采用三角测量，恢复各特征点的相对深度，该部分为相对深度主要是受限于单目相机无法获取实际尺度的缺陷。而为联合优化尺度，借助IMU预积分模型获取尺度信息。此外，IMU预积分的另一个作用是获取IMU积分误差传递公式的线性模型，用于后续的联合优化。

IMU预积分模型：根据步骤1中IMU标定，可以得到陀螺仪偏置b_w、加速度计偏置b_a及附加噪声n_a，n_w。

为了使IMU数据信息获取模块具有普遍性，选择使用6轴IMU进行数据上的获取，故可通过加速度计获取加速度计值以及陀螺仪获取角速度值/>

其中b下标表示处于体坐标系下，为世界坐标系转移至体坐标系下的旋转矩阵,g^w为世界坐标系下的重力参数。

假设视觉传感器在[t_k,t_k+1]时间内获取的图像帧分别为k及k+1，在体坐标系下的对应的位置分别为b_k及b_k+1，在世界坐标系下的位置，速度及方向值通过IMU测量值在时间间隔内的传递为式(1-5)至(1-8)：

其中Δt_k为[t_k,t_k+1]之间的时间间隔，为t时刻体坐标系转至世界坐标下的旋转矩阵。由图2可以看出，体坐标系下b_k+1的状态/>依赖于前一时刻b_k的实时状态，因此如果直接使用进行后续的优化流程，会大大增加整体的计算量。这是由于直接使用进行优化时每次迭代都要重传入IMU的状态结果，进行状态更新。

为融合视觉及IMU数据，应将前述位于世界坐标系下的位置，速度，方向值转换至体坐标系下，即乘以世界坐标系w到对应时刻的体坐标系b_k的旋转矩阵式(1-5)、(1-6)、(1-7)可改写为：

其中：

q表示四元数形式，上述三个分量可以看作是体坐标系下b_k+1相对于b_k的运动量，分别对应位移，速度及四元数，可得，三个分量中只需考虑加速度计及陀螺仪的偏置b_a和b_w，且前一时刻的状态不会对其产生影响，将其作为优化变量，能够一定程度上降低整体的计算量。其次，在相邻帧间变化很小的情况下，上述三个值可以采用一阶泰勒展开获取近似值：

离散时间下对IMU的预积分方式有多种，如使用欧拉积分法、RK4积分法、中值法等，本实施例中对式(1-13)进行中值法展开，可得：

初始时刻下，状态值皆为0，噪声值n_a、n_w的值为0，/>为单位四元数，t为IMU的相邻测量时间间隔。

通过上述过程，IMU预积分的测量值的获取已经结束，进一步的，为了完成IMU的预积分的整体流程，将其运用于非线性优化之中，需要推导方程的协方差矩阵，并求解对应的雅克比矩阵来获取结果，故需要使用测量值建立线性高斯误差状态递推方程，利用线性高斯系统的协方差进行进一步的推导，获取由式(1-9)(1-10)(1-11)可以得到误差传递函数矩阵，详细形式如下式(1-15)所示，其中R_k和R_k+1可由动力学积分方程建立线性关系由前一时刻的旋转矩阵获得：

式(1-15)中：

为简单起见，将误差传递方程简写为

δz_k+1＝Hδz_k+Vn

雅克比初始值设置为单位矩阵I，其迭代公式如下：

J_k+1＝FJ_k

根据误差传播模型，可得到协方差迭代公式为

P_k+1＝HPH^T+VQV^T

协方差初始值为0；IMU预积分为后续信息的融合初始化提供了用于观测的初值，并为迭代优化提供了测量项。实际情况下，为了将上述两信息更为准确的融合，先通过步骤1对IMU及相机进行联合标定，获取其畸变参数，对获取的数据进行去畸处理，提高数据的准确度。

将式(1-15)代回(1-13)即可得到对应的参考值，该部分即为后续紧耦合所需的数值分量。

此外，为恢复三维空间的实际尺度，可由式(1-16)求解获得尺度结果，该部分可以通过LDLT分解，求得最后的尺度信息s，于是可恢复前述求解结果中的特征点和位姿的实际深度及位于世界坐标系下的结果。其中角标c₀表示相机第一帧图像下的相机坐标系。R和p分别表示旋转矩阵和平移。对式(1-16)使用最小二乘法进行优化，可以得到优化后的重力，根据重力变化获取c₀坐标系到世界坐标系间的转换关系，之后可将初始相机坐标系下的各变量(视觉对极几何运算中的平移及三角测量恢复的三维特征点)转移至世界坐标系下并恢复尺度，至此初始化完毕。

初始化的视觉图像帧可以采用滑窗法，不断保证有10帧图像用于初始化，直至初始化成功。初始化成功后，能够获得足够的世界坐标系下三维空间特征点x，之后对于世界坐标系下特征点及变换矩阵的求解可以采用P3P及ICP方法进行求解，有效减小计算量。

(三)将IMU数据同视觉数据紧耦合进行联合优化，获取相机变换矩阵及优化后的三维空间特征点；

若仅仅使用上述计算位姿结果而不进行紧耦合优化，误差会随着时间的推移而慢慢累积，而将所有的数据皆作为后续优化产条件会过度增大计算量，故本方法选择采用滑窗法进行优化，选取一部分帧信息作为关键帧信息同其余解联合优化，获取最后的优化解。关键帧的选取要求满足视差足够的大要求，具体选择根据实际参考。那么待优化的参数变量可由式(1-17)表示

其中x_k,k＝0,...,n表示各时刻下的相机状态，包括位置速度/>及旋转/>和各时刻加速度计b_a和陀螺仪b_g的偏置矩阵，/>为相机坐标系和体坐标系间的转换矩阵，λ_n为逆深度值(归一化相机坐标系特征点深度的逆值，数量为关键帧内包含的路标特征点数量，该值符合高斯分布，能够简化运算约束)，根据式(1-17)，状态估计优化的目标函数可以进一步表示为

式(1-18)中，第一部分表示边缘化残差部分，第二部分为IMU残差，第三部分则为视觉误差函数部分。

视觉残差函数部分通过最小化同一特征点在不同时刻下观察的归一化坐标误差来获得最优解。对于该特征点，有如下几何关系(1-19)

其中T表示变换矩阵，表示经过了四次坐标系转换，由i时刻的下的相机坐标系转至惯性坐标系至世界坐标系，再由世界坐标系转至j时刻下的惯性坐标系再至相机坐标系。那么由式(1-19)可以得到新的关系式(1-20)

其中R和p对应拆解变换矩阵后的旋转和平移矩阵，对于针孔相机，有视觉残差公式

结合式(1-20)，可得到最小化视觉残差部分。

第二部分为IMU分量部分的误差，根据预积分公式(1-9)(1-10)(1-11)，有式(1-22)

第一部分为边缘化残差部分，引入边缘化残差的目的主要出于运算速度及性能的折中考虑。若仅考虑相邻两帧图像来优化位姿，虽然可以保证算法拥有良好的运算速度，但误差累积会更为迅速，而运算每一帧就进行全部图像的信息进行优化会不仅十分冗余且运算量大。为了保证运算量较为固定，选择采用滑动窗口法对固定的帧数进行非线性优化，并引入边缘化。引入边缘化的目的是为了保留边缘帧对窗口约束的同时，停止计算该帧的位姿及其相关的路标点，以到达加速保证优化矩阵稀疏性的同时加快速度。边缘化具体考虑下述两种情况：一种是若滑动窗口中的加入新的参考帧，而目前窗口中存在的倒数第二帧为关键帧，则将最后一帧的位姿移出，并边缘化与之相关的视觉和惯性数据边缘化，用做先验值；而当倒数第二帧并非关键帧，则将视觉相关部分边缘化，而保留相关IMU约束。即schur消元去掉非关键信息，并根据待优化量进行矩阵维度扩充，最后可以采用开源ceres库求解整体优化结果，最后得到误差更小的位姿信息及特征点世界坐标系下的位姿。该部分最后可以得到帧间的变换矩阵及用于后续弱约束变换的三维空间点信息。

(四)对获取的三维运动矢量及空间位姿进行处理，并进行补偿，即根据获取的变换矩阵进行预翘曲，并将获取的特征点进行局部网格变换，获取最终的稳像结果。

在进行前述步骤前，运动滤波根据获取的帧间运动矢量使用经典稳像方法中的步骤进行滤波，并进行预翘曲，依照全局运动结果对算法进行一次补偿，再采用弱约束补偿进行二次运动补偿，获取补偿变换后的稳定图像结果。二次运动补偿中，主要采用的信息为之前获取的三维空间信息，将其投影至稳定帧中，观察对应点的投影误差，进行弱约束补偿。弱约束补偿部分核心思路包含如下两部分：

(1)对图像中的特征点采用强约束进行修正，有可能导致图像的完全变形，产生时域不连贯并使得变换的边缘部分产生扭曲。而使用计算完毕的特征点用做弱约束，可以有效的将失真分布到图像的其他平坦区域部分，故本方法选择采用弱约束方法，在尽可能保证图像不失真的情况下，从视觉上忽略这些干扰。

(2)为在图像变形的同时保持图像中的内容和细节，需要额外加以约束，令变形前后符合相似变换。此外，特征点较为稀疏的部分，可以降低该部分的约束，以将图像扭曲分布到视觉上不明显的区域。为进行该项操作，可将输入视频帧图像均匀分成n×m个部分，每个部分称为一个网格，该网格中存在着一个特征点。

每个已经获得的特征点位于图像中的位置投影为算法中将每个特征点用其所在网格的四个顶点利用双线性插值方式来进行表示。假设/>为由网格的四个顶点构成的向量，V_k为输出图像中对应的四个网格顶点。向量ωk为包含和为1的双线性插值系数，故数据项可以表示为一个最小二乘问题：

其中V_k为四个未知顶点，P_k为经过非线性优化特征点所处的位置。采用这一数据项的目的是使输出图像中特征点P_k与原图像特征点所在网格的插值位置间隔距离最小。

相似变换项测量的输出图像中的网格单元与对应的输入网格的相似变换之间的差异。将每个网格划分成两个三角形来构建模型。

其中u和v为原始图像中可求的已知值，当网格为正方形时u＝0,v＝1，而当输出图像中三角形不满足相似变换关系时，V₁与理想位置存在偏差，如图3所示，变换后的理想位置如虚线所示，V₁为实际位置。则需要采用相似变换使得变换后的位置同理想位置结果间的距离满足最小的关系：

E_s(V₁)＝ω_s||V₁-(V₂+u(V₃-V₂)+vR₉₀(V₁-V₁))||² (1-25)

其中，每个网格中用于计算最优解的权值ω_s设置为颜色方差的二范数，于是对于每个网格的变化都可以看作分为两个三角形后做相似变换的和，共有8项。令式(1-23)及(1-25)同时取得最小值时，即可求得输出顶点位于网格中的理想最优坐标，之后采用标准纹理映射算法进行求解，获取进一步稳像后的生成输出图像，再对图像进行裁切消除黑边，即可获得最后的稳定图像帧。

本方法考虑到未来可能的实时性等问题，选择稍微降低观感问题，在可接受的范围内保留一定的时域上的视觉不连贯，并优先选取在之前的关键帧和数据帧中连续出现的特征点作为稳像用特征点，尽可能保证算法本身的连贯性。

之后按照上述步骤不断重复即可获得稳定的输出图像序列。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (5)

1.一种基于视觉惯性信息融合的三维软件稳像方法，其特征在于：包括如下步骤：

步骤1：进行相机及IMU标定，获取单目相机的畸变参数及内参矩阵，并标定IMU误差参数用于获取后续紧耦合联合优化的IMU误差模型；

步骤2：进行单目视觉初始化，获取足量的世界坐标系下的三维特征点；

步骤3：将IMU数据同视觉数据紧耦合进行联合优化，获取相机变换矩阵及优化后的三维空间特征点；

其中将IMU数据同视觉数据紧耦合进行联合优化时采用滑窗法进行优化，选取一部分帧信息作为关键帧信息同其余解联合优化；

采用滑窗法进行优化过程为：

利用公式

表示待优化的参数变量，其中x_k,k＝0,...,n表示各时刻下的相机状态，包括位置速度/>及旋转/>和各时刻加速度计和陀螺仪的偏置矩阵b_a，b_g；/>为相机坐标系和体坐标系间的转换矩阵，λ_n为逆深度值；求解目标函数

实现优化，目标函数第一部分表示边缘化残差部分，第二部分为IMU残差，第三部分则为视觉误差函数部分；

步骤4：根据获取的变换矩阵进行预翘曲，并将获取的特征点进行局部网格变换，获取最终的稳像结果。

2.根据权利要求1所述一种基于视觉惯性信息融合的三维软件稳像方法，其特征在于：步骤1中，相机及IMU标定方法参照github开源标定工具Kalibr进行标定。

3.根据权利要求1所述一种基于视觉惯性信息融合的三维软件稳像方法，其特征在于：步骤1中，通过IMU标定获取角速度和线速度的误差，来对IMU误差模型进行校正；通过视觉标定获取相机内参矩阵K和畸变系数；通过联合标定对参数做进一步修正，并获取IMU和摄像载体间的转换矩阵。

4.根据权利要求1所述一种基于视觉惯性信息融合的三维软件稳像方法，其特征在于：步骤2中，进行单目视觉初始化的过程为：

对于单目视觉获得的图像帧I₁,I₂，在世界坐标系下有共同三维点P，其位于世界坐标系下的位置为[X,Y,Z]^T；该三维点在两帧图像中的位姿有关系：

s₁p₁＝KP,s₂p₂＝K(RP+t)

x₁＝K^-1p₁，x₂＝K^-1p₂

其中R,t为相机相邻两帧间的旋转矩阵和位移矢量；根据位姿关系能够得到

从而求得本质矩阵E和基础矩阵F，进而根据本质矩阵E和基础矩阵F获得旋转矩阵R及平移矩阵t，并采用三角测量，恢复各特征点的相对深度；再利用IMU预积分模型获取各特征点的尺度信息。

5.根据权利要求4所述一种基于视觉惯性信息融合的三维软件稳像方法，其特征在于：所述IMU预积分模型为：

根据步骤1的IMU标定，得到陀螺仪偏置b_w、加速度计偏置b_a及附加噪声n_a，n_w；采用6轴IMU获取加速度计值以及陀螺仪获取角速度值/>

其中b下标表示处于体坐标系下,为世界坐标系转移至体坐标系下的旋转矩阵,g^w为世界坐标系下的重力参数；若相机在[t_k,t_k+1]时间内获取的图像帧分别为k及k+1，其中某一特征点在体坐标系下的对应的位置分别为b_k及b_k+1，得到在世界坐标系下的位置、速度及方向值通过IMU测量值在时间间隔内的传递为：

其中Δt_k为[t_k,t_k+1]之间的时间间隔，体坐标系转至世界坐标下的旋转矩阵；进一步将位于世界坐标系下的位置，速度，方向值转换至体坐标系下：

其中：

对上式进行一阶泰勒展开获取近似值后并用中值法展开，得：

并得到误差传递函数矩阵：

其中

并利用误差传递函数矩阵得到对应的参数；利用

求得尺度信息s，从而恢复各特征点的实际深度及位于世界坐标系下的结果，其中角标c₀表示相机第一帧图像下的相机坐标系。