[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN102622732A - 一种前扫声纳图像拼接方法 - Google Patents

一种前扫声纳图像拼接方法 Download PDF

Info

Publication number
CN102622732A
CN102622732A CN2012100662188A CN201210066218A CN102622732A CN 102622732 A CN102622732 A CN 102622732A CN 2012100662188 A CN2012100662188 A CN 2012100662188A CN 201210066218 A CN201210066218 A CN 201210066218A CN 102622732 A CN102622732 A CN 102622732A
Authority
CN
China
Prior art keywords
image
point
sonar
template
unique point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012100662188A
Other languages
English (en)
Inventor
徐元玉
谢少荣
金文俊
段莉
张秋菊
叶周浩
罗均
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANGHAI UNIVERSITY
Original Assignee
SHANGHAI UNIVERSITY
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHANGHAI UNIVERSITY filed Critical SHANGHAI UNIVERSITY
Priority to CN2012100662188A priority Critical patent/CN102622732A/zh
Publication of CN102622732A publication Critical patent/CN102622732A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)

Abstract

本发明涉及一种前扫声纳图像拼接方法。本方法包括：通过SURF算法实现参考声纳图像与其相邻帧的待匹配声纳图像之间的特征点匹配；通过变换模型估计计算出参考声纳图像与待匹配声纳图像之间的单应变换矩阵，将待匹配声纳图像的特征点一一映射到参考声纳图像的坐标系中，再经过图像插值实现参考图像与待匹配之间的配准；不断重复上述步骤实现声纳序列中所有声纳图像的配准，然后通过亮度调整、图像融合实现声纳图像的拼接。本发明的方法能够解决DIDSON在水下监测过程中，声纳图像分辨率低、探测范围视角小的问题；通过声纳图像拼接，将一系列声纳图像拼接成一个分辨率高、大范围的声纳图像，使DIDSON能够同时监测较大范围的水下环境。

Description

一种前扫声纳图像拼接方法
技术领域
本发明涉及一种前扫声纳图像拼接方法，可将视角较小的前扫声纳图像拼接为一个高分辨率、大范围的图像。
背景技术
目前世界各国正致力于利用水下无人探测器对海洋、湖泊、江河等水资源进行水声环境的研究及目标检测工作。这种水下运动目标检测技术不仅在海洋开发，港口航道建设等民用方面有着潜在的巨大经济利益，而且在水下环境监控等安全检测方面也有着重要的意义。
由于水下机器人在商业与军事上的重大价值和技术上面临的众多挑战，其技术研究受到越来越多科学家和技术人员的重视，并进行了大量的工作。对于水下机器人来说，视觉系统就是它的眼睛和耳目。毋庸置疑地，视觉系统具有极其重要的地位和作用。通过视觉系统，机器人才能够快速获取水下周围环境信息，为其运动和进行水下作业提供引导。显然，水下机器人的技术水平和作业能力在相当大程度上取决于视觉系统的性能好坏。在特殊的水下环境下，声波是迄今为止唯一可以进行远程信息传输的载体。声波在水中传播的衰减就小得多，在深海声道中爆炸一个几公斤的炸弹，在两万公里外还可以收到信号，低频的声波还可以穿透海底几千米的地层，并且得到地层中的信息。在水中进行测量和观察，至今还没有发现比声波更有效的手段。因此，利用水中声波对水下目标进行探测、定位和通信的声纳，是水声学中应用最广泛、最重要的一种装置。
当水下观测对象比较大而又要保证分辨率时，发射信号不能覆盖全部探测区域，只能进行局部探测，这就需要用到图像拼接技术。同时在声纳图像处理方面，一次声成像返回的声探测区域视野较小，工程实践中经常无法通过一幅图像进行目标识别，同时对于大目标图像的数据测量也需要把不完整的图像拼接为一个整体。所以图像拼接技术在水下图像的后期处理中具有重要作用。
现有的前扫声纳DIDSON( Dual-Frequency Identification Sonar)。由于工作环境的复杂性，该高分辨率双频识别声纳在执行水下危险目标探测任务时，存在以下几个方面的难点问题：1）声纳图像实时判读，目前还是依靠人眼来人工判读、识别水下可疑目标，然而声学成像原理截然不同于光学成像原理，尤其是其分辨率远远小于光学成像，因而要探测、识别像水下可疑爆炸物这样的危险目标就很困难，而且判读人员很辛苦、极易疲劳；2）高分辨率声纳自身视野很窄，需要进行图像拼接；3）声纳设备在水下工作时，会受到浪涌、水流的影响，产生纵摇、横摇，引起声纳图像的变形。在实际的应用中，DIDSON在同一时刻也只能观测到一个小视角范围内的图像。由于水下环境复杂，要判别一个物体的性质，需要有个连续的过程，最好能够显示大范围的水中的影像。实时将多幅分辨率低、视角小的声纳图像拼接为一个高分辨率、大范围的图像，可以同时监测较大范围的水下环境，在水下探测中具有重要的作用。
发明内容
本发明的目的在于针对已有技术存在的问题，提供一种前扫声纳图像拼接方法,能实时将多幅分辨率低、视角较小的声纳图像拼接为一个高分辨率、大范围的图像，从而可以监测较大范围的水下环境，提高了前扫声纳目标监测水平。
为达到上述目的，本发明的构思是：首先使用SURF算法检测并描述特征点;然后运用Hessian矩阵迹的正负性与最近邻比次近邻的方法相结合匹配特征点，寻找出相邻声纳图像之间的匹配点对;进而通过直接线性变换算法求取变换矩阵的最小二乘解;最后运用求解出的单应矩阵将待匹配图像的特征点一一映射到参考图像坐标系中，再进行图像插值处理，完成图像之间的配准。在实现配准的基础上，对声纳图像进行了图像融合处理，最终实现了声纳图像的拼接。
根据上述发明构思，本发明采用下述技术方案：
一种前扫声纳图像拼接方法，其基本实施步骤如下：
（1）    声纳图像输入
将前扫声纳DIDSON采集的数据信息以图像形式显示出来（DIDSON软件自带）
（2）    特征点检测和描述
SURF算法使用了近似的Hessian矩阵检测特征点，并使用积分图像大幅减少了运算量。SURF算法的特征点描述算子所描述依然是特征点某个小邻域内的灰度分布信息。SURF使用一阶Haar小波在x、y两个方向的响应作为构建特征向量的分布信息。
（3）    特征点匹配
利用特征向量间的欧式距离的方法来匹配特征点，完成参考图像与待匹配图像之间的特征点匹配。
（4）    变换模型估计
在两幅图像相互对应的特征点之间完成匹配之后就可以通过变换模型估计对应关系估计它们之间的几何变换模型。在这里，几何变换模型指的就是单应矩阵。
（5）    坐标映射和图像插值
在完成几何变换模型的估计之后，就要利用得到的单应矩阵H把待匹配图像中的每一点映射到参考图像的坐标系中去。待匹配图像在完成坐标映射之后，其像素点有可能落在非网格位置，这就需要图像插值，本方案中采用双线性插值法。
（6）    图像配准
选择第一帧声纳图像作为参考图像，第二帧声纳图像作为待匹配图像，对第一帧和第二帧声纳图像进行步骤（2）～（5）的配准处理。然后每次将前一次得到的配准图像作为参考图像，与下一帧声纳图像进行配准，直至完成整个声纳图像序列的配准工作，实现所有待匹配声纳图像之间的配准；
（7）    图像融合
通过灰度拉伸调整配准后声纳图像的亮度，运用一种边界保持的加权平滑算法实现声纳图像的融合：采用了图像灰度拉伸的方法来改善图像的对比度，将不同帧图像的亮度调整一致，增强图像的分辨率；然后运用一种边界保持的加权平滑算法来实现配准后图像的融合，通过上面一系列步骤，就完成了所有前扫声纳图像的拼接。
所述步骤（2）中特征点检测和描述，具体步骤如下：
⒈    特征点检测
1)      积分图像
积分图像可以大幅提高框状卷积滤波器的计算效率。对于积分图像中某点                                               
Figure 2012100662188100002DEST_PATH_IMAGE002
，，可得：
Figure 2012100662188100002DEST_PATH_IMAGE006
                          (1)
其中，
Figure 2012100662188100002DEST_PATH_IMAGE008
表示原始图像中，原点和点形成的矩形区域里面所有像素值之和；
Figure 2012100662188100002DEST_PATH_IMAGE010
表示点的坐标值；
Figure 2012100662188100002DEST_PATH_IMAGE012
，
Figure 2012100662188100002DEST_PATH_IMAGE014
表示坐标系中点的位置；
Figure 2012100662188100002DEST_PATH_IMAGE016
表示点
Figure 2012100662188100002DEST_PATH_IMAGE018
的像素值。一旦将一幅图像转换成积分图像的形式，在积分图像中计算一个矩形区域内的灰度之和就可以用3个加减运算来解决。如图2所示，
Figure 2012100662188100002DEST_PATH_IMAGE020
，与矩形的面积无关。其中，
Figure 2012100662188100002DEST_PATH_IMAGE022
表示积分图像中一个矩形区域内的灰度值和；
Figure 2012100662188100002DEST_PATH_IMAGE024
表示原点和矩形区域右下点形成的矩形区域里面所有像素值之和；
Figure 2012100662188100002DEST_PATH_IMAGE026
表示原点和矩形区域右上点形成的矩形区域里面所有像素值之和；
Figure 2012100662188100002DEST_PATH_IMAGE028
表示原点和矩形区域左下点形成的矩形区域里面所有像素值之和；
Figure 2012100662188100002DEST_PATH_IMAGE030
表示原点和矩形区域左上形成的矩形区域里面所有像素值之和。
2)      Hessian矩阵的近似（）计算
SURF算法中，特征点检测是基于Hessian矩阵的，它依靠Hessian矩阵行列式的局部最大值定位特征点位置。
对于图像I中某点
Figure 2012100662188100002DEST_PATH_IMAGE034
，在
Figure 208532DEST_PATH_IMAGE002
点的
Figure 2012100662188100002DEST_PATH_IMAGE036
尺度上的Hessian矩阵定义为:
Figure 2012100662188100002DEST_PATH_IMAGE038
                   (2)
其中，表示点
Figure 605064DEST_PATH_IMAGE034
；
Figure 427526DEST_PATH_IMAGE036
表示尺度空间，通常取
Figure 2012100662188100002DEST_PATH_IMAGE040
；图像I在点
Figure 632243DEST_PATH_IMAGE002
处与二阶高斯偏导
Figure 2012100662188100002DEST_PATH_IMAGE044
的卷积， 、
Figure 2012100662188100002DEST_PATH_IMAGE048
具有相似的含义。为了提高计算效率，增加计算的简便性。Bay等人直接用框状滤波器去近似高斯的二阶偏导，如图3所示。用这种近似后的卷积模板处理积分图像的好处显而易见，因为这种模板均由简单的矩形构成，运算量独立于模板的尺寸，大大的提高了运算效率。
将近似模板与图像卷积的结果用
Figure 2012100662188100002DEST_PATH_IMAGE050
、、
Figure 2012100662188100002DEST_PATH_IMAGE054
表示，用他们代替
Figure 2012100662188100002DEST_PATH_IMAGE056
、
Figure 2012100662188100002DEST_PATH_IMAGE058
、
Figure 2012100662188100002DEST_PATH_IMAGE060
得到近似Hessian矩阵，其行列式为：
Figure 2012100662188100002DEST_PATH_IMAGE062
                     (3)
其中，
Figure 2012100662188100002DEST_PATH_IMAGE064
是个权重系数，实际应用中取0.9就可以了；
Figure 2012100662188100002DEST_PATH_IMAGE066
、
Figure 2012100662188100002DEST_PATH_IMAGE068
、
Figure 2012100662188100002DEST_PATH_IMAGE070
分别表示在、
Figure 2012100662188100002DEST_PATH_IMAGE074
、
Figure 2012100662188100002DEST_PATH_IMAGE076
方向上离散化和裁切不正的高斯二阶偏导数；
Figure 2012100662188100002DEST_PATH_IMAGE078
、
Figure 2012100662188100002DEST_PATH_IMAGE080
、
Figure 2012100662188100002DEST_PATH_IMAGE082
表示在、
Figure 997780DEST_PATH_IMAGE074
、
Figure 939060DEST_PATH_IMAGE076
方向上高斯二阶偏导数的近似。按照上式中所示的近似Hessian矩阵行列式的计算方法，对图像中每一点求取响应并记录下来就得到了在尺度
Figure 613755DEST_PATH_IMAGE036
上的响应图。
3)      尺度空间的表示
要在存在缩放关系的图像间找到相互匹配的特征点，检测算子就必须具备可以在不同尺度下找到表示同一个物理位置的特征点的能力。SURF算法中，直接用不同尺寸的框状滤波器对原始图像进行处理，因为使用了积分图像，不同尺寸的框状滤波器的计算速度是相同的。用
Figure 2012100662188100002DEST_PATH_IMAGE084
来表示近似模板的尺度，此时
Figure 2012100662188100002DEST_PATH_IMAGE086
。用初始尺度的近似模板对图像做卷积得到的是尺度空间的第一层，接下来的层依次通过尺寸逐渐增大的模板与原始图像做卷积来获得。为了保证模板尺寸的奇数性和其中心像素的存在，相邻模板的尺寸总是相差偶数个像素,如图4所示。
每4个模板为一阶(Octave)。第1阶中，相邻的模板尺寸相差6个像素，第2阶中相差12个像素，第3阶中相差24个像素，以此类推。每一阶的第一个模板尺寸是上一阶的第二个模板的尺寸(见表1)。因为特征点的数量在尺度的方向上退化很快，所以一般情况下取4个Octave就足够了。
表1.前4阶中16个模板的尺寸
Octave1 9 15 21 27
Octave2 15 27 39 51
Octave3 27 51 75 99
Octave4 51 99 147 195
若一个模板的尺寸是
Figure 2012100662188100002DEST_PATH_IMAGE088
，则该模板所对应的尺度为
Figure 2012100662188100002DEST_PATH_IMAGE090
。我们依次用不同尺度的模板对原始图像做卷积，在卷积过程中用公式(3)计算在每一点的响应，把这些响应记录下来，就得到了由不同尺度。对应的响应图，从而构成了3维尺度空
间。
4)      特征点定位
在3维
Figure 2012100662188100002DEST_PATH_IMAGE092
尺度空间中，在每个
Figure 2012100662188100002DEST_PATH_IMAGE094
的局部区域里，进行非最大值抑制。只有比临近的26个点的响应值都大的点才被选为特征点。然后利用3维2次函数拟合方法对特征点精确定位，使特征点具有亚像素和亚尺度级的精度。至此我们已经得到特征点的位置、尺度信息
Figure 324091DEST_PATH_IMAGE092
。
⒉    特征点描述
1)      确定特征点的方向特征
为使特征点描述算子具有旋转不变的性能，首先要赋予每一个特征点方向特征。我们在以某个特征点为圆心，以
Figure 2012100662188100002DEST_PATH_IMAGE096
 (为该特征点对应的尺度)为半径的圆形邻域里，用尺寸为
Figure 2012100662188100002DEST_PATH_IMAGE098
的Haar小波模板对图像进行处理，求x、y两个方向的Haar小波响应。Haar小波的模板如图5所示，其中左侧模板计算x方向的响应，右侧模板计算y方向的响应，黑色表示-1，白色表示+1。
用图5所示的Haar小波滤波器对圆形邻域进行处理后，就得到了该邻域内每个点基于SURF的图像匹配与拼接技术研究对应的x、y方向的响应，然后用以特征点为中心的高斯函数(
Figure 2012100662188100002DEST_PATH_IMAGE100
)对这些响应进行加权。
用一个圆心角为
Figure 2012100662188100002DEST_PATH_IMAGE102
扇形以特征点为中心环绕一周，计算该扇形处于每个角度时，所包括的图像点的Haar小波响应之和。由于每一点都有x、y两个方向的响应，因此扇形区域中所有点的响应之和构成一个矢量。把扇形区域环绕一周所形成的矢量都记录来（如图6所示），取长度最大的矢量，其方向即为该特征点所对应的方向。
2)      构建描述子向量
为了构建描述子向量，首先要确定一个以特征点为中心的正方形邻域。该邻域的边长为20S(S为该特征点对应的尺度)，把上一节中所确定的特征点方向作为该邻域的y轴方向，如图7所示。把该正方形区域分成 
Figure 2012100662188100002DEST_PATH_IMAGE104
个子块区域，在每一个子块区域中用图5所示的Haar小波滤波器进行处理(该处的Haar小波模板尺寸为
Figure 2012100662188100002DEST_PATH_IMAGE106
)。我们用
Figure 2012100662188100002DEST_PATH_IMAGE108
表示水平方向的Haar小波响应，用
Figure 2012100662188100002DEST_PATH_IMAGE110
表示竖直方向的Haar小波响应。这里的水平和竖直是相对特征点方向来说的。在构建描述子向量之前，对于所有的
Figure 57878DEST_PATH_IMAGE108
、
Figure 333001DEST_PATH_IMAGE110
都要用一个以特征点为中心的高斯函数加权，该高斯函数的a=3.3S。
图7中的每个子区域中只有
Figure 2012100662188100002DEST_PATH_IMAGE112
个网格，这是只是为了方便展示，在实际的计算中是
Figure 2012100662188100002DEST_PATH_IMAGE114
个网格。另外需要指出的是，在程序实现的过程中并不是通过旋转图像来实现图7所展示的计算过程，因为旋转图像会降低计算效率。直接使用Haar小波滤
波器直接对原始图像进行处理，然后对所得响应进行插值处理，从而得到相对于特征点方向的
Figure 163423DEST_PATH_IMAGE108
、。
在每个子块区域中对
Figure 227511DEST_PATH_IMAGE108
、
Figure 244008DEST_PATH_IMAGE110
、、
Figure 2012100662188100002DEST_PATH_IMAGE118
求和，从而得到一个4维向量。把
Figure 928936DEST_PATH_IMAGE104
个子块区域的向量连接起来就得到了一个64维的向量，此向量就是描述该特征点的描述子特征向量。
所述步骤（3）中特征点匹配，具体步骤如下：
当两幅图像的SURF特征向量生成后，在此采用特征向量间欧式距离(4)作为两幅图像中特征点的相似性判定度量。
Figure 2012100662188100002DEST_PATH_IMAGE122
                         （4）
其中，
Figure 2012100662188100002DEST_PATH_IMAGE124
表示特征向量间的欧式距离；
Figure 2012100662188100002DEST_PATH_IMAGE126
表示图像
Figure 2012100662188100002DEST_PATH_IMAGE128
中任意一点；
Figure 2012100662188100002DEST_PATH_IMAGE130
表示图像
Figure 2012100662188100002DEST_PATH_IMAGE132
中任意一点；
Figure 2012100662188100002DEST_PATH_IMAGE134
表示描述子向量中第
Figure 825217DEST_PATH_IMAGE134
个分量；
Figure 2012100662188100002DEST_PATH_IMAGE136
、
Figure 2012100662188100002DEST_PATH_IMAGE138
分别表示图像
Figure 713539DEST_PATH_IMAGE128
、
Figure 596044DEST_PATH_IMAGE132
描述子向量的第
Figure 948528DEST_PATH_IMAGE134
个分量；
Figure 2012100662188100002DEST_PATH_IMAGE140
为特征向量的维数，这里
Figure 2012100662188100002DEST_PATH_IMAGE142
。首先取参考图像的某个特征点并在待匹配图像中找出与该点欧式距离最近和次近的两个特征点，如果最近距离与次近距离的比例小于60%，则认为最近的这一对特征点为对应的匹配对。遍历参考图像中的特征点，找出所有潜在的匹配点对。
所述步骤（4）中变换模型估计，具体步骤如下：
图像变换模型是指两幅二维图像之间的坐标变换关系。在前扫声纳DIDSON的运动条件下，三维场景形成的两幅或多幅图像之间的关系可以完全由图像变换模型描述。在声纳DIDSON实际拍摄过程中，近似满足透视变换模型。两幅图像之间的对应关系可以由一个
Figure 2012100662188100002DEST_PATH_IMAGE144
的平面透视变换矩阵来表示：
Figure 2012100662188100002DEST_PATH_IMAGE146
                                   (5)
其中，
Figure 2012100662188100002DEST_PATH_IMAGE148
可以表示为
Figure 2012100662188100002DEST_PATH_IMAGE150
,
Figure 2012100662188100002DEST_PATH_IMAGE152
可以表示为
Figure 2012100662188100002DEST_PATH_IMAGE154
，
Figure 2012100662188100002DEST_PATH_IMAGE156
和
Figure 2012100662188100002DEST_PATH_IMAGE158
是一对匹配点；单应矩阵H是一个
Figure 220239DEST_PATH_IMAGE144
的满秩矩阵，也可以称为平面透视变换矩阵。可以表示为：
Figure 2012100662188100002DEST_PATH_IMAGE160
                             （6）
其中，一般取1；
Figure 2012100662188100002DEST_PATH_IMAGE164
、分别表示在
Figure 2012100662188100002DEST_PATH_IMAGE168
、方向上的平移量；、
Figure 2012100662188100002DEST_PATH_IMAGE174
、
Figure 2012100662188100002DEST_PATH_IMAGE176
和
Figure 2012100662188100002DEST_PATH_IMAGE178
表示旋转量和其比例因子；
Figure 2012100662188100002DEST_PATH_IMAGE180
、
Figure 2012100662188100002DEST_PATH_IMAGE182
表示透视变换因子。在步骤（3）中相邻两幅声纳图像相互对应的特征点之间的匹配已经完成，接下来就可以通过特征点这种对应关系估计它们之间的单应矩阵。在此我们采用比较简单的直接线性变换算法来估计单应矩阵的参数。假设给定图像
Figure 2012100662188100002DEST_PATH_IMAGE184
和
Figure 2012100662188100002DEST_PATH_IMAGE186
的两点
Figure 2012100662188100002DEST_PATH_IMAGE188
和
Figure 2012100662188100002DEST_PATH_IMAGE190
。那么就有
Figure 2012100662188100002DEST_PATH_IMAGE192
，其中表示成比例相等。设
Figure 32075DEST_PATH_IMAGE188
和
Figure 452692DEST_PATH_IMAGE190
的坐标分别为和
Figure 2012100662188100002DEST_PATH_IMAGE198
，把它们写成齐次坐标形式：
Figure 2012100662188100002DEST_PATH_IMAGE200
和
Figure 2012100662188100002DEST_PATH_IMAGE202
，其中
Figure 2012100662188100002DEST_PATH_IMAGE204
，
Figure 2012100662188100002DEST_PATH_IMAGE206
，则可以得到公式（7）。
Figure 2012100662188100002DEST_PATH_IMAGE208
                          （7）
由公式（7）可以推导出公式（8）和（9）。
Figure 2012100662188100002DEST_PATH_IMAGE210
                          （8）
                                                  （9）
由于是二维平面，不失一般性，在此令
Figure 2012100662188100002DEST_PATH_IMAGE214
。由公式（8）和（9）可以得到：
             
Figure 2012100662188100002DEST_PATH_IMAGE216
                    （10）
                 
Figure 2012100662188100002DEST_PATH_IMAGE218
                 （11）
由公式（10）和（11）可以推导出：
                           
Figure 2012100662188100002DEST_PATH_IMAGE220
                                   （12）
                                                              （13）
其中，
Figure DEST_PATH_IMAGE224
，
Figure DEST_PATH_IMAGE226
，           
Figure DEST_PATH_IMAGE228
 ；
给定两幅相邻声纳图像之间的一组对应特征点，可以构建方程：
Figure DEST_PATH_IMAGE230
                                  （14）
在这里A表示：
Figure DEST_PATH_IMAGE232
                                  （15）
通过步骤（3）的特征点匹配方法，已经得到了N个匹配点对，注意这里的， 
可以得到一个
Figure DEST_PATH_IMAGE236
的矩阵A。虽然计算单应矩阵最少需要4个匹配点对就可以，但是仅用4个匹配点对所计算出的结果是无法保证精度的。这种误差主要是由兴趣点的定位误差导致的。SURF算法所给出的兴趣点位置信息是具有亚像素精度的。但是即便如此，受噪声，光照，以及大幅度的视角变化等影响，误差是一定存在的。这就要求我们使用更多的匹配点对来求解单应矩阵的参数。在实际应用中，N一般等于几十，甚至数百。根据前人的试验，几十个左右的(没有误配的)匹配点对所求取的单应矩阵，可以使最后的配准结果达到亚像素级。一般来说，匹配点对的数量越多，最后的结果就越精确。但是如果匹配点在图像中分布不均匀也会影响到最后结果。在本方法中我们采用628个分布均匀的匹配点对实现对单应矩阵的估计，从而得到单应矩阵H。
所述步骤（5）中坐标映射和图像插值，具体步骤如下：
在完成几何变换模型的估计之后，就要利用得到的单应矩阵H把待匹配图像中的每一点映射到参考图像的坐标系中去。假设给定待匹配图像中的某点，使用公式(8)和(9)就可以将
Figure 236846DEST_PATH_IMAGE188
点映射到参考图像的坐标系中去得到新的坐标点
Figure DEST_PATH_IMAGE240
，即:
Figure DEST_PATH_IMAGE242
                         （16）
其中，
Figure DEST_PATH_IMAGE244
表示待匹配图像中的点
Figure DEST_PATH_IMAGE246
映射到参考图像坐标系中得到的新的坐标。坐标映射的过程中，会导致一种必然出现的情况:原来在整数网格上的点(x、y坐标都是整数)，在映射之后没有落在网格点上，如图8所示。
但是数字图像只能输出离散位置的信息，所以必须进行图像插值。常用的插值方法有最近邻插值、双线性插值、立方卷积插值。双线性插值方法是计算效率和效果都较为适中的一种方法，在本文中我们就采用了这种方法。如图9所示。
Figure DEST_PATH_IMAGE248
是我们把输出图像中的A点反向映射到输入图像中的点，假设(0，0)、(1，0)、(0，l)、(l，l)是的4个相邻点，A的输出值计算方法如公式(20)。
Figure DEST_PATH_IMAGE250
        （17）
至此，我们完成了待匹配图像与参考图像之间的配准。
所述步骤（6）中图像配准，具体步骤如下：
为了实现多帧前扫声纳图像的拼接。首先选择第一帧声纳图像作为参考图像，第二帧声纳图像作为待匹配图像，对第一帧和第二帧声纳图像进行步骤（2）～（5）的配准处理，然后每次将前一次得到的配准图像作为参考图像，与下一帧声纳图像进行拼接，直至完成整个声纳图像序列的配准工作，实现所有待匹配声纳图像之间的配准。
所述步骤（7）中图像融合，具体步骤如下：
视角范围较小的相邻两帧前扫声纳图像，一般情况下由于采样时间和采样角度的不同，重叠部分会出现亮度不均和变形程度的差异，为了使相邻两幅图像的重叠部分具有视觉一致性而且没有明显的接缝，本方案采用了图像灰度拉伸的方法来改善图像的对比度，将不同帧图像的亮度调整一致，增强了图像的分辨率；并且采用了一种边界保持的加权平滑算法来实现配准后图像的融合。
如图10所示，
Figure DEST_PATH_IMAGE252
，是相邻两幅待镶嵌的声纳图像，
Figure 592970DEST_PATH_IMAGE252
和
Figure 817278DEST_PATH_IMAGE254
在区间
Figure DEST_PATH_IMAGE256
上重叠，假设
Figure DEST_PATH_IMAGE258
表示融合后的图像，平滑后的像素点的值为
Figure DEST_PATH_IMAGE260
。采用的算法流程图如图11所示，算法具体步骤如下：
①    利用Compass算子分别对
Figure 816458DEST_PATH_IMAGE252
和图像进行边缘检测，提取出图像边缘。
②    设
Figure 700286DEST_PATH_IMAGE252
和在重叠部分对应的像素点的值和
Figure DEST_PATH_IMAGE264
，取
                     （18）
其中，表示加权因子，
Figure DEST_PATH_IMAGE270
，按照从到的方向
Figure 123997DEST_PATH_IMAGE268
由1渐变为0。
③利用前面提取出的边缘信息，对重叠区域内的像素点进行分类：
如果像素不属于边界点，则
Figure DEST_PATH_IMAGE274
。
如果像素
Figure 627791DEST_PATH_IMAGE272
属于边界点，则
Figure DEST_PATH_IMAGE276
保持不变，即若
Figure DEST_PATH_IMAGE278
，
Figure DEST_PATH_IMAGE280
；
若
Figure DEST_PATH_IMAGE282
，
Figure DEST_PATH_IMAGE284
。
该平滑方法在加权平滑的处理基础上多了一道处理程序，即在加权平滑时，判断该点是否为图像的边缘，如果是边缘，则不处理;如果不是边缘，则按照加权平滑法处理。这样进行拼接后的平滑能够达到很好的效果，在保持了边界特征的同时，自然缝合。至此，通过上面一系列步骤，就完成了所有帧声纳图像的拼接。
本发明与现有技术相比较，具有如下显而易见的突出实质性特点和显著进步：本发明通过SURF算法实现参考声纳图像与其相邻帧的待匹配声纳图像之间的特征点匹配；通过变换模型估计计算出参考声纳图像与待匹配声纳图像之间的单应变换矩阵，将待匹配声纳图像的特征点一一映射到参考声纳图像的坐标系中，再经过图像插值实现参考图像与待匹配之间的配准；不断重复上述步骤实现声纳序列中所有声纳图像的配准，然后通过亮度调整、图像融合实现声纳图像的拼接。本发明的方法能够解决DIDSON在水下监测过程中，声纳图像分辨率低、探测范围视角小的问题；通过声纳图像拼接，将一系列声纳图像拼接成一个分辨率高、大范围的声纳图像，使DIDSON能够同时监测较大范围的水下环境。
附图说明
图1表示本发明实施例的实施流程图；
图2表示积分图像示意图；
图3表示用框状滤波器近似二阶偏导；
图4表示
Figure 116410DEST_PATH_IMAGE054
所对应的相邻的两个模板尺寸（
Figure DEST_PATH_IMAGE286
和）；
图5表示Haar小波滤波器示意图；
图6表示滑动扇形窗口；
图7表示描述子向量示意图；
图8表示整数网格上的点经映射后没有落在网格点的情况；
图9表示双线性插值；
图10表示加权平均算法示意图；
图11表示边界保持的加权平均融合算法流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清晰明了，下面结合附图，对本发明的两个优选实施例作详细说明：
实施例一：
附图1为本发明实施例中的一种前扫的声纳图像拼接方法流程图。如图1所示，本前扫声纳图像拼接方法的操作步骤包括如下：
1.        声纳图像输入：通过DIDSON自带软件将前扫声纳接收到的回波数据以灰度图像形式显示出来。
2.        特征点检测和描述：
通过SURF算法实现待匹配声纳图像与参考声纳图像之间的特征点检测和描述：
⑴    积分图像
积分图像可以大幅提高框状卷积滤波器的计算效率。对于积分图像中某点
Figure 414667DEST_PATH_IMAGE002
，，可得：
Figure DEST_PATH_IMAGE290
                                (1)
其中，
Figure 358538DEST_PATH_IMAGE008
表示原始图像中，原点和点
Figure 249134DEST_PATH_IMAGE002
形成的矩形区域里面所有像素值之和；
Figure 983872DEST_PATH_IMAGE010
表示点
Figure 592708DEST_PATH_IMAGE002
的坐标值；
Figure 766200DEST_PATH_IMAGE012
，
Figure 776881DEST_PATH_IMAGE014
表示坐标系中点的位置；
Figure 931788DEST_PATH_IMAGE016
表示点
Figure 27920DEST_PATH_IMAGE018
的像素值。一旦将一幅图像转换成积分图像的形式，在积分图像中计算一个矩形区域内的灰度之和就可以用3个加减运算来解决。如图2所示，
Figure 739524DEST_PATH_IMAGE020
，与矩形的面积无关。其中，
Figure 604712DEST_PATH_IMAGE022
表示积分图像中一个矩形区域内的灰度值和；
Figure 681252DEST_PATH_IMAGE024
表示原点和矩形区域右下点形成的矩形区域里面所有像素值之和；
Figure 264680DEST_PATH_IMAGE026
表示原点和矩形区域右上点形成的矩形区域里面所有像素值之和；
Figure 514396DEST_PATH_IMAGE028
表示原点和矩形区域左下点形成的矩形区域里面所有像素值之和；
Figure 499670DEST_PATH_IMAGE030
表示原点和矩形区域左上形成的矩形区域里面所有像素值之和。
⑵    Hessian矩阵的近似（
Figure 996379DEST_PATH_IMAGE032
）计算
SURF算法中，特征点检测是基于Hessian矩阵的，它依靠Hessian矩阵行列式的局部最大值定位特征点位置。
对于图像I中某点
Figure 67103DEST_PATH_IMAGE034
，在
Figure 120510DEST_PATH_IMAGE002
点的
Figure 897973DEST_PATH_IMAGE036
尺度上的Hessian矩阵定义为:
Figure 378633DEST_PATH_IMAGE038
                        (2)
其中，
Figure 671074DEST_PATH_IMAGE002
表示点
Figure 528172DEST_PATH_IMAGE034
；
Figure 403549DEST_PATH_IMAGE036
表示尺度空间，通常取
Figure 55111DEST_PATH_IMAGE040
；
Figure 100427DEST_PATH_IMAGE042
图像I在点
Figure 495636DEST_PATH_IMAGE002
处与二阶高斯偏导
Figure 982112DEST_PATH_IMAGE044
的卷积， 
Figure 70154DEST_PATH_IMAGE046
、
Figure 337187DEST_PATH_IMAGE048
具有相似的含义。为了提高计算效率，增加计算的简便性。Bay等人直接用框状滤波器去近似高斯的二阶偏导，如图3所示。用这种近似后的卷积模板处理积分图像的好处显而易见，因为这种模板均由简单的矩形构成，运算量独立于模板的尺寸，大大的提高了运算效率。
将近似模板与图像卷积的结果用
Figure 536088DEST_PATH_IMAGE050
、
Figure 126338DEST_PATH_IMAGE052
、
Figure 385281DEST_PATH_IMAGE054
表示，用他们代替
Figure 139610DEST_PATH_IMAGE056
、
Figure 814305DEST_PATH_IMAGE058
、
Figure 337690DEST_PATH_IMAGE060
得到近似Hessian矩阵
Figure 954485DEST_PATH_IMAGE032
，其行列式为：
Figure 930532DEST_PATH_IMAGE062
                         (3)
其中，
Figure 471234DEST_PATH_IMAGE064
是个权重系数，实际应用中取0.9就可以了；、、
Figure 116476DEST_PATH_IMAGE070
分别表示在
Figure 195291DEST_PATH_IMAGE072
、
Figure 880219DEST_PATH_IMAGE074
、
Figure 386287DEST_PATH_IMAGE076
方向上离散化和裁切不正的高斯二阶偏导数；
Figure 602504DEST_PATH_IMAGE078
、
Figure 485010DEST_PATH_IMAGE080
、
Figure 775177DEST_PATH_IMAGE082
表示在
Figure 717725DEST_PATH_IMAGE072
、
Figure 155659DEST_PATH_IMAGE074
、
Figure 576277DEST_PATH_IMAGE076
方向上高斯二阶偏导数的近似。按照上式中所示的近似Hessian矩阵行列式的计算方法，对图像中每一点求取响应并记录下来就得到了在尺度
Figure 235797DEST_PATH_IMAGE036
上的响应图。
⑶    尺度空间的表示
要在存在缩放关系的图像间找到相互匹配的特征点，检测算子就必须具备可以在不同尺度下找到表示同一个物理位置的特征点的能力。SURF算法中，直接用不同尺寸的框状滤波器对原始图像进行处理，因为使用了积分图像，不同尺寸的框状滤波器的计算速度是相同的。用来表示近似模板的尺度，此时
Figure 8898DEST_PATH_IMAGE086
。用初始尺度的近似模板对图像做卷积得到的是尺度空间的第一层，接下来的层依次通过尺寸逐渐增大的模板与原始图像做卷积来获得。为了保证模板尺寸的奇数性和其中心像素的存在，相邻模板的尺寸总是相差偶数个像素,如图4所示。
每4个模板为一阶(Octave)。第1阶中，相邻的模板尺寸相差6个像素，第2阶中相差12个像素，第3阶中相差24个像素，以此类推。每一阶的第一个模板尺寸是上一阶的第二个模板的尺寸(见表1)。因为特征点的数量在尺度的方向上退化很快，所以一般情况下取4个Octave就足够了。
表1.前4阶中16个模板的尺寸
Octave1 9 15 21 27
Octave2 15 27 39 51
Octave3 27 51 75 99
Octave4 51 99 147 195
若一个模板的尺寸是，则该模板所对应的尺度为
Figure 497965DEST_PATH_IMAGE090
。我们依次用不同尺度的模板对原始图像做卷积，在卷积过程中用公式(3)计算在每一点的响应，把这些响应记录下来，就得到了由不同尺度。对应的响应图，从而构成了3维尺度空
间。
⑷    特征点定位
在3维尺度空间中，在每个
Figure 194843DEST_PATH_IMAGE094
的局部区域里，进行非最大值抑制。只有比临近的26个点的响应值都大的点才被选为特征点。然后利用3维2次函数拟合方法对特征点精确定位。使特征点具有亚像素和亚尺度级的精度。至此我们已经得到特征点的位置、尺度信息
Figure 144213DEST_PATH_IMAGE092
。
⑸    确定特征点的方向特征
为使特征点描述算子具有旋转不变的性能，首先要赋予每一个特征点方向特征。我们在以某个特征点为圆心，以
Figure 325796DEST_PATH_IMAGE096
 (为该特征点对应的尺度)为半径的圆形邻域里，用尺寸为
Figure 680871DEST_PATH_IMAGE098
的Haar小波模板对图像进行处理，求x、y两个方向的Haar小波响应。Haar小波的模板如图5所示，其中左侧模板计算x方向的响应，右侧模板计算y方向的响应，黑色表示-1，白色表示+1。
用图5所示的Haar小波滤波器对圆形邻域进行处理后，就得到了该邻域内每个点基于SURF的图像匹配与拼接技术研究对应的x、y方向的响应，然后用以特征点为中心的高斯函数(
Figure 184664DEST_PATH_IMAGE100
)对这些响应进行加权。
用一个圆心角为
Figure 220753DEST_PATH_IMAGE102
扇形以特征点为中心环绕一周，计算该扇形处于每个角度时，所包括的图像点的Haar小波响应之和。由于每一点都有x、y两个方向的响应，因此扇形区域中所有点的响应之和构成一个矢量。把扇形区域环绕一周所形成的矢量都记录来（如图6所示），取长度最大的矢量，其方向即为该特征点所对应的方向。
⑹    构建描述子向量
为了构建描述子向量，首先要确定一个以特征点为中心的正方形邻域。该邻域的边长为20S(S为该特征点对应的尺度)，把上一节中所确定的特征点方向作为该邻域的y轴方向，如图7所示。把该正方形区域分成 
Figure 846907DEST_PATH_IMAGE104
个子块区域，在每一个子块区域中用图5所示的Haar小波滤波器进行处理(该处的Haar小波模板尺寸为
Figure 234026DEST_PATH_IMAGE106
)。我们用
Figure 525199DEST_PATH_IMAGE108
表示水平方向的Haar小波响应，用
Figure 681374DEST_PATH_IMAGE110
表示竖直方向的Haar小波响应。这里的水平和竖直是相对特征点方向来说的。在构建描述子向量之前，对于所有的
Figure 478428DEST_PATH_IMAGE108
、
Figure 87264DEST_PATH_IMAGE110
都要用一个以特征点为中心的高斯函数加权，该高斯函数的a=3.3S。
图7中的每个子区域中只有
Figure 198440DEST_PATH_IMAGE112
个网格，这是只是为了方便展示，在实际的计算中是
Figure 209121DEST_PATH_IMAGE114
个网格。另外需要指出的是，在程序实现的过程中并不是通过旋转图像来实现图7所展示的计算过程，因为旋转图像会降低计算效率。直接使用Haar小波滤
波器直接对原始图像进行处理，然后对所得响应进行插值处理，从而得到相对于特征点方向的
Figure 177077DEST_PATH_IMAGE108
、
Figure 273209DEST_PATH_IMAGE110
。
在每个子块区域中对
Figure 906184DEST_PATH_IMAGE108
、
Figure 36951DEST_PATH_IMAGE110
、
Figure 175809DEST_PATH_IMAGE116
、
Figure 696920DEST_PATH_IMAGE118
求和，从而得到一个4维向量。把个子块区域的向量连接起来就得到了一个64维的向量，此向量就是描述该特征点的描述子特征向量。
3.        特征点匹配：
利用计算特征向量间欧式距离的方法来实现参考图像与待匹配图像之间的特征点匹配：当两幅图像的SURF特征向量生成后，采用特征向量间欧式距离（如公式(4)）作为两幅图像中特征点的相似性判定度量。
                            （4）
其中，
Figure 434478DEST_PATH_IMAGE124
表示特征向量间的欧式距离；
Figure 505202DEST_PATH_IMAGE126
表示图像
Figure 558609DEST_PATH_IMAGE128
中任意一点；
Figure 398389DEST_PATH_IMAGE130
表示图像
Figure 816732DEST_PATH_IMAGE132
中任意一点；
Figure 109173DEST_PATH_IMAGE134
表示描述子向量中第
Figure 966270DEST_PATH_IMAGE134
个分量；
Figure 660557DEST_PATH_IMAGE136
、
Figure 499069DEST_PATH_IMAGE138
分别表示图像、
Figure 939595DEST_PATH_IMAGE132
描述子向量的第
Figure 488388DEST_PATH_IMAGE134
个分量；
Figure 514112DEST_PATH_IMAGE140
为特征向量的维数，这里
Figure 781146DEST_PATH_IMAGE142
。首先取参考图像的某个特征点并在待匹配图像中找出与该点欧式距离最近和次近的两个特征点，如果最近距离与次近距离的比例小于60%，则认为最近的这一对特征点为对应的匹配对。遍历参考图像中的特征点，找出所有潜在的匹配点对。
4.        变换模型估计：
通过两幅图像之间的特征点匹配关系，估计两幅图像之间的几何变换模型：在声纳DIDSON实际拍摄过程中，近似满足透视变换模型。两幅图像之间的对应关系可以由一个
Figure 714467DEST_PATH_IMAGE144
的平面透视变换矩阵来表示： 
Figure 570296DEST_PATH_IMAGE146
                                  (5)
其中，
Figure 829239DEST_PATH_IMAGE148
可以表示为,
Figure 320580DEST_PATH_IMAGE152
可以表示为
Figure 781649DEST_PATH_IMAGE154
，
Figure 945914DEST_PATH_IMAGE156
和
Figure 187539DEST_PATH_IMAGE158
是一对匹配点；单应矩阵H是一个
Figure 728242DEST_PATH_IMAGE144
的满秩矩阵，也可以称为平面透视变换矩阵。可以表示为：
                            （6）
其中，
Figure 893830DEST_PATH_IMAGE162
一般取1；、
Figure 701566DEST_PATH_IMAGE166
分别表示在
Figure 137227DEST_PATH_IMAGE168
、
Figure 643294DEST_PATH_IMAGE170
方向上的平移量；
Figure 859512DEST_PATH_IMAGE172
、
Figure 742017DEST_PATH_IMAGE174
、
Figure 281452DEST_PATH_IMAGE176
和
Figure 958421DEST_PATH_IMAGE178
表示旋转量和其比例因子；
Figure 396355DEST_PATH_IMAGE180
、
Figure 20235DEST_PATH_IMAGE182
表示透视变换因子。在步骤（3）中相邻两幅声纳图像相互对应的特征点之间的匹配已经完成，接下来就可以通过特征点这种对应关系估计它们之间的单应矩阵。在此我们采用比较简单的直接线性变换算法来估计单应矩阵的参数。假设给定图像
Figure 227225DEST_PATH_IMAGE184
和的两点
Figure 265905DEST_PATH_IMAGE188
和。那么就有
Figure 4240DEST_PATH_IMAGE192
，其中
Figure 288591DEST_PATH_IMAGE194
表示成比例相等。设
Figure 373222DEST_PATH_IMAGE188
和
Figure 401221DEST_PATH_IMAGE190
的坐标分别为
Figure 582803DEST_PATH_IMAGE196
和，把它们写成齐次坐标形式：
Figure 124829DEST_PATH_IMAGE200
和
Figure 690939DEST_PATH_IMAGE202
，其中
Figure 727029DEST_PATH_IMAGE204
，
Figure 353182DEST_PATH_IMAGE206
，则可以得到公式（7）。
Figure 599356DEST_PATH_IMAGE208
                        （7）
由公式（7）可以推导出公式（8）和（9）。
Figure 969157DEST_PATH_IMAGE210
                           （8）
                        
Figure 125332DEST_PATH_IMAGE212
                           （9）
由于是二维平面，不失一般性，在此令
Figure 922387DEST_PATH_IMAGE214
。由公式（8）和（9）可以得到：
             
Figure 468906DEST_PATH_IMAGE216
                 （10）
                 
Figure DEST_PATH_IMAGE294
                 （11）
由公式（10）和（11）可以推导出：
                           
Figure 376819DEST_PATH_IMAGE220
                                （12）
                           
Figure 387500DEST_PATH_IMAGE222
                                （13）
其中，
Figure 559985DEST_PATH_IMAGE224
，
Figure 656117DEST_PATH_IMAGE226
，            ；
给定两幅相邻声纳图像之间的一组对应特征点，可以构建方程：
Figure DEST_PATH_IMAGE296
                                 （14）
在这里A表示：
Figure 436171DEST_PATH_IMAGE232
                                 （15）
通过步骤（3）的特征点匹配方法，已经得到了N个匹配点对，注意这里的
Figure 575028DEST_PATH_IMAGE234
， 
可以得到一个
Figure 892877DEST_PATH_IMAGE236
的矩阵A。虽然计算单应矩阵最少需要4个匹配点对就可以，但是仅用4个匹配点对所计算出的结果是无法保证精度的。这种误差主要是由兴趣点的定位误差导致的。SURF算法所给出的兴趣点位置信息是具有亚像素精度的。但是即便如此，受噪声，光照，以及大幅度的视角变化等影响，误差是一定存在的。这就要求我们使用更多的匹配点对来求解单应矩阵的参数。在实际应用中，N一般等于几十，甚至数百。根据前人的试验，几十个左右的(没有误配的)匹配点对所求取的单应矩阵，可以使最后的配准结果达到亚像素级。一般来说，匹配点对的数量越多，最后的结果就越精确。但是如果匹配点在图像中分布不均匀也会影响到最后结果。在本方法中我们采用628个分布均匀的匹配点对实现对单应矩阵的估计，从而得到单应矩阵H。
5.        坐标映射和图像插值：
通过单应矩阵H把待匹配图像中的每一点映射到参考图像中，并对图像进行插值处理：在完成几何变换模型的估计之后，就要利用得到的单应矩阵H把待匹配图像中的每一点映射到参考图像的坐标系中去。假设给定待匹配图像中的某点
Figure 595123DEST_PATH_IMAGE238
，使用公式(8)和(9)就可以将点映射到参考图像的坐标系中去得到新的坐标点
Figure 890155DEST_PATH_IMAGE240
，即:
Figure DEST_PATH_IMAGE298
                          （16）
其中，
Figure 632983DEST_PATH_IMAGE244
表示待匹配图像中的点
Figure 686390DEST_PATH_IMAGE246
映射到参考图像坐标系中得到的新的坐标。坐标映射的过程中，会导致一种必然出现的情况:原来在整数网格上的点(x、y坐标都是整数)，在映射之后没有落在网格点上，如图8所示。
但是数字图像只能输出离散位置的信息，所以必须进行图像插值。常用的插值方法有最近邻插值、双线性插值、立方卷积插值。双线性插值方法是计算效率和效果都较为适中的一种方法，在本文中我们就采用了这种方法。如图9所示。
Figure 526170DEST_PATH_IMAGE248
是我们把输出图像中的A点反向映射到输入图像中的点，假设(0，0)、(1，0)、(0，l)、(l，l)是
Figure 6830DEST_PATH_IMAGE248
的4个相邻点，A的输出值计算方法如公式(20)。
Figure 751801DEST_PATH_IMAGE250
        （17）
至此，我们完成了待匹配图像与参考图像之间的配准。
6.        图像配准：
为了实现多帧前扫声纳图像的拼接：首先选择第一帧声纳图像作为参考图像，第二帧声纳图像作为待匹配图像，对第一帧和第二帧声纳图像进行步骤（2）～（5）的配准处理，然后每次将前一次得到的配准图像作为参考图像，与下一帧声纳图像进行拼接，直至完成整个声纳图像序列的配准工作，实现所有待匹配声纳图像之间的配准。
7.        图像融合：
通过灰度拉伸调整配准后声纳图像的亮度，增强图像的分辨率，采用一种边界保持的加权平滑算法实现声纳图像的融合： 视角范围较小的相邻两帧前扫声纳图像，一般情况下由于采样时间和采样角度的不同，重叠部分会出现亮度不均和变形程度的差异，为了使相邻两幅图像的重叠部分具有视觉一致性而且没有明显的接缝，本方案采用了图像灰度拉伸的方法来改善图像的对比度，将不同帧图像的亮度调整一致，增强了图像的分辨率；并且采用了一种边界保持的加权平滑算法来实现配准后图像的融合。
如图10所示，
Figure 343319DEST_PATH_IMAGE252
，是相邻两幅待镶嵌的声纳图像，
Figure 954746DEST_PATH_IMAGE252
和在区间
Figure 67375DEST_PATH_IMAGE256
上重叠，假设
Figure 881748DEST_PATH_IMAGE258
表示融合后的图像，平滑后的像素点的值为
Figure 704210DEST_PATH_IMAGE260
。采用的算法流程图如图11所示，算法具体步骤如下：
①利用Compass算子分别对
Figure 158194DEST_PATH_IMAGE252
和
Figure 357094DEST_PATH_IMAGE254
图像进行边缘检测，提取出图像边缘。
②设
Figure 25973DEST_PATH_IMAGE252
和
Figure 19337DEST_PATH_IMAGE254
在重叠部分对应的像素点的值
Figure 711349DEST_PATH_IMAGE262
和
Figure 713940DEST_PATH_IMAGE264
，取
Figure 237326DEST_PATH_IMAGE266
                     （18）
其中，表示加权因子，
Figure 830167DEST_PATH_IMAGE270
，按照从
Figure 370870DEST_PATH_IMAGE252
到
Figure 748761DEST_PATH_IMAGE254
的方向
Figure 287190DEST_PATH_IMAGE268
由1渐变为0。
③利用前面提取出的边缘信息，对重叠区域内的像素点进行分类：
如果像素
Figure 750532DEST_PATH_IMAGE272
不属于边界点，则
Figure 281877DEST_PATH_IMAGE274
。
如果像素
Figure 514275DEST_PATH_IMAGE272
属于边界点，则
Figure 285922DEST_PATH_IMAGE276
保持不变，即若
Figure 174244DEST_PATH_IMAGE278
，
Figure 56749DEST_PATH_IMAGE280
；
若
Figure 409233DEST_PATH_IMAGE282
，
Figure 538732DEST_PATH_IMAGE284
。
该平滑方法在加权平滑的处理基础上多了一道处理程序，即在加权平滑时，判断该点是否为图像的边缘，如果是边缘，则不处理;如果不是边缘，则按照加权平滑法处理。这样进行拼接后的平滑能够达到很好的效果，在保持了边界特征的同时，自然缝合。至此，通过上面一系列步骤，就完成了所有帧声纳图像的拼接。
实施例二：
步骤（7）图像融合为本发明中另一优选实施例。图像融合的操作步骤包括如下：
采用一种边界保持的加权平滑算法实现声纳图像的融合：视角范围较小的相邻两帧前扫声纳图像，一般情况下由于采样时间和采样角度的不同，重叠部分会出现亮度不均和变形程度的差异，为了使相邻两幅图像的重叠部分具有视觉一致性而且没有明显的接缝，本方案采用了图像灰度拉伸的方法来改善图像的对比度，将不同帧图像的亮度调整一致，增强了图像的分辨率；并且采用了一种边界保持的加权平滑算法来实现配准后图像的融合。
如图10所示，
Figure 976666DEST_PATH_IMAGE252
，
Figure 662863DEST_PATH_IMAGE254
是相邻两幅待镶嵌的声纳图像，
Figure 869853DEST_PATH_IMAGE252
和
Figure 920986DEST_PATH_IMAGE254
在区间
Figure 846216DEST_PATH_IMAGE256
上重叠，假设
Figure 70524DEST_PATH_IMAGE258
表示融合后的图像，平滑后的像素点的值为
Figure 584551DEST_PATH_IMAGE260
，本文中采用的算法流程图如图11所示，算法具体步骤如下：
①利用Compass算子分别对
Figure 603323DEST_PATH_IMAGE252
和
Figure 15849DEST_PATH_IMAGE254
图像进行边缘检测，提取出图像边缘。
②设
Figure 43848DEST_PATH_IMAGE252
和
Figure 163114DEST_PATH_IMAGE254
在重叠部分对应的像素点的值
Figure 618366DEST_PATH_IMAGE262
和
Figure 252610DEST_PATH_IMAGE264
，取
Figure 11530DEST_PATH_IMAGE266
                （18）
其中，
Figure 250882DEST_PATH_IMAGE270
，按照从到
Figure 185526DEST_PATH_IMAGE254
的方向
Figure 555327DEST_PATH_IMAGE268
由1渐变为0。
③利用前面提取出的边缘信息，对重叠区域内的像素点进行分类：
如果像素不属于边界点，则
Figure 446240DEST_PATH_IMAGE274
。
如果像素
Figure 55076DEST_PATH_IMAGE272
属于边界点，则
Figure 962989DEST_PATH_IMAGE276
保持不变，即若
Figure 973670DEST_PATH_IMAGE278
，
Figure 128577DEST_PATH_IMAGE280
；
若
Figure 224709DEST_PATH_IMAGE282
，
Figure 936313DEST_PATH_IMAGE284
。
该平滑方法在加权平滑的处理基础上多了一道处理程序，即在加权平滑时，判断该点是否为图像的边缘，如果是边缘，则不处理;如果不是边缘，则按照加权平滑法处理。这样进行拼接后的平滑能够达到很好的效果，在保持了边界特征的同时，自然缝合，很好的对声纳图像进行了融合处理。

Claims (7)

1.一种前扫声纳图像拼接方法，其特征在于操作步骤如下：
（1）声纳图像输入；
（2）特征点检测和描述：通过SURF算法实现待匹配声纳图像与参考声纳图像之间的特征点检测和描述：首先对图像进行积分处理，这样可以大幅减少运算量，然后运用近似的Hessian矩阵检测特征点，实现了特征点的检测；利用特征点某个小邻域内的灰度分布信息，使用一阶Haar小波在x、y两个方向的响应作为构建特征向量的基础，实现特征点的描述；
（3）特征点匹配：利用计算特征向量间欧式距离的方法来实现参考图像与待匹配图像之间的特征点匹配：当两幅图像的SURF特征向量生成后，采用特征向量间欧式距离作为两幅图像中特征点的相似性判定度量；首先取参考图像中的某个特征点并在待匹配中找出与该点欧式距离最近和次近的两个特征点，如果最近距离与次近距离的比例小于60%，则认为最近的这一对特征点为对应的匹配点对；遍历参考图像中的特征点，找出所有潜在的匹配点对；
（4）变换模型估计：通过两幅图像之间的特征点匹配关系，估计两幅图像之间的几何变换模型：采用628个分布均匀的匹配点对，通过直接线性变换算法求取变换矩阵的最小二乘解，实现对单应矩阵H的估计；     
（5）坐标映射和图像插值：通过单应矩阵H把待匹配图像中的每一点映射到参考图像中，并对图像进行插值处理：在完成几何变换模型的估计之后，利用得到的单应矩阵H把待匹配图像中的每一点映射到参考图像的坐标系中去；运用双线性插值方法处理图像，对那些映射后没有落到整数网格上的点进行取整处理；
（6）图像配准：选择第一帧声纳图像作为参考图像，第二帧声纳图像作为待匹配图像，对第一帧和第二帧声纳图像进行步骤（2）～（5）的配准处理；然后每次将前一次得到的配准图像作为参考图像，与下一帧声纳图像进行配准，直至完成整个声纳图像序列的配准工作，实现所有待匹配声纳图像之间的配准；    
（7）图像融合：通过灰度拉伸调整配准后声纳图像的亮度，运用一种边界保持的加权平滑算法实现声纳图像的融合：采用了图像灰度拉伸的方法来改善图像的对比度，将不同帧图像的亮度调整一致，增强图像的分辨率；然后运用一种边界保持的加权平滑算法来实现配准后图像的融合；至此，就完成了所有前扫声纳图像的拼接。
2.根据权利要求1所述的前扫声纳图像拼接方法，其特征在于，所述步骤（2）中的特征点检测和描述具体步骤是：
① 特征点检测：首先对声纳图像进行积分处理，积分图像可以大幅提高框状卷积滤波器的计算效率，大幅减少了运算量；对于积分图像中某点                                                
Figure 2012100662188100001DEST_PATH_IMAGE001
，
Figure 126295DEST_PATH_IMAGE002
，可得：
Figure 2012100662188100001DEST_PATH_IMAGE003
                              (1)
其中，表示原始图像中，原点和点
Figure 349783DEST_PATH_IMAGE001
形成的矩形区域里面所有像素值之和；
Figure 2012100662188100001DEST_PATH_IMAGE005
，
Figure 634134DEST_PATH_IMAGE006
分别表示点的坐标值；
Figure 261610DEST_PATH_IMAGE008
，表示坐标系中点的位置；表示在坐标系中点的像素值；一旦将一幅图像转换成积分图像的形式，在积分图像中计算一个矩形区域内的灰度之和就可以用3个加减运算来解决，
Figure 570549DEST_PATH_IMAGE012
，与矩形的面积无关；其中，
Figure 2012100662188100001DEST_PATH_IMAGE013
表示积分图像中一个矩形区域内的灰度值和；
Figure 470372DEST_PATH_IMAGE014
表示原点和矩形区域右下点形成的矩形区域里面所有像素值之和；
Figure 2012100662188100001DEST_PATH_IMAGE015
表示原点和矩形区域右上点形成的矩形区域里面所有像素值之和；表示原点和矩形区域左下点形成的矩形区域里面所有像素值之和；
Figure 2012100662188100001DEST_PATH_IMAGE017
表示原点和矩形区域左上形成的矩形区域里面所有像素值之和；
SURF算法中，特征点检测是基于Hessian矩阵的，它依靠Hessian矩阵行列式的局部最大值定位特征点位置；对于图像I中某点
Figure 519242DEST_PATH_IMAGE018
，在
Figure 817499DEST_PATH_IMAGE001
点的
Figure DEST_PATH_IMAGE019
尺度上的Hessian矩阵定义为:
                   (2)
其中，
Figure 574420DEST_PATH_IMAGE001
表示点
Figure 651966DEST_PATH_IMAGE018
；
Figure 449021DEST_PATH_IMAGE019
表示尺度空间，通常取
Figure 2012100662188100001DEST_PATH_IMAGE021
；图像I在点处与二阶高斯偏导
Figure 2012100662188100001DEST_PATH_IMAGE023
的卷积， 
Figure 179713DEST_PATH_IMAGE024
、
Figure 2012100662188100001DEST_PATH_IMAGE025
具有相似的含义；在此直接用框状滤波器去近似高斯的二阶偏导；用这种近似后的卷积模板处理积分图像的好处显而易见，因为这种模板均由简单的矩形构成，运算量独立于模板的尺寸，大大的提高了运算效率；将近似模板与图像卷积的结果用
Figure 334620DEST_PATH_IMAGE026
、、
Figure 430752DEST_PATH_IMAGE028
表示，用他们代替
Figure 2012100662188100001DEST_PATH_IMAGE029
、
Figure 80039DEST_PATH_IMAGE030
、
Figure 2012100662188100001DEST_PATH_IMAGE031
得到近似Hessian矩阵
Figure 945227DEST_PATH_IMAGE032
，其行列式为：
Figure 2012100662188100001DEST_PATH_IMAGE033
                     (3)
其中，
Figure 271035DEST_PATH_IMAGE034
是个权重系数，实际应用中取0.9就可以了；
Figure DEST_PATH_IMAGE035
、
Figure 854463DEST_PATH_IMAGE036
、
Figure 2012100662188100001DEST_PATH_IMAGE037
分别表示在
Figure 41862DEST_PATH_IMAGE038
、
Figure 2012100662188100001DEST_PATH_IMAGE039
、
Figure 27136DEST_PATH_IMAGE040
方向上离散化和裁切不正的高斯二阶偏导数；
Figure 2012100662188100001DEST_PATH_IMAGE041
、
Figure 523845DEST_PATH_IMAGE042
、
Figure 2012100662188100001DEST_PATH_IMAGE043
表示在、
Figure 647976DEST_PATH_IMAGE039
、
Figure 425439DEST_PATH_IMAGE040
方向上高斯二阶偏导数的近似；按照上式中所示的近似Hessian矩阵行列式的计算方法，对图像中每一点求取响应并记录下来就得到了在尺度上的响应图；
取
Figure 198540DEST_PATH_IMAGE044
,
Figure 2012100662188100001DEST_PATH_IMAGE045
表示近似模板的尺度，用初始尺度的近似模板对图像做卷积得到的是尺度空间的第一层，接下来的层依次通过尺寸逐渐增大的模板与原始图像做卷积来获得；为了保证模板尺寸的奇数性和其中心像素的存在，相邻模板的尺寸总是相差偶数个像素；每4个模板为一阶Octave，第1阶中，相邻的模板尺寸相差6个像素，第2阶中相差12个像素，第3阶中相差24个像素，以此类推，每一阶的第一个模板尺寸是上一阶的第二个模板的尺寸，如下表；因为特征点的数量在尺度的方向上退化很快，所以一般情况下取4个Octave就足够；
前4阶中16个模板的尺寸
Octave1 9 15 21 27 Octave2 15 27 39 51 Octave3 27 51 75 99 Octave4 51 99 147 195
若一个模板的尺寸是
Figure 242588DEST_PATH_IMAGE046
，则该模板所对应的尺度为
Figure 2012100662188100001DEST_PATH_IMAGE047
；依次用不同尺度的模板对原始图像做卷积，在卷积过程中用公式(3)计算在每一点的响应，把这些响应记录下来，就得到了由不同尺度；对应的响应图，从而构成了3维尺度空间；
在3维尺度空间中，在每个的局部区域里，进行非最大值抑制；只有比临近的26个点的响应值都大的点才被选为特征点；然后利用3维2次函数拟合方法对特征点精确定位；使特征点具有亚像素和亚尺度级的精度；至此我们已经得到特征点的位置、尺度信息
Figure 526119DEST_PATH_IMAGE048
；
②特征点描述：首先确定特征点的方向特征，然后构建描述子向量；为使特征点描述算子具有旋转不变的性能，首先要赋予每一个特征点方向特征；以某个特征点为圆心，
Figure 571435DEST_PATH_IMAGE045
为该特征点对应的尺度，以
Figure 153595DEST_PATH_IMAGE050
为半径的圆形邻域里，用尺寸为
Figure 2012100662188100001DEST_PATH_IMAGE051
的Haar小波模板对图像进行处理，求x、y两个方向的Haar小波响应；在Haar小波的模板中，用左侧模板计算x方向的响应，右侧模板计算y方向的响应，黑色表示-1，白色表示+1；用Haar小波滤波器对圆形邻域进行处理后，就得到了该邻域内每个点基于SURF的图像匹配与拼接技术研究对应的x、y方向的响应，然后用以特征点为中心的高斯函数(
Figure 640071DEST_PATH_IMAGE052
)对这些响应进行加权；用一个圆心角为扇形以特征点为中心环绕一周，计算该扇形处于每个角度时，所包括的图像点的Haar小波响应之和；由于每一点都有x、y两个方向的响应，因此扇形区域中所有点的响应之和构成一个矢量；把扇形区域环绕一周所形成的矢量都记录来，取长度最大的矢量，其方向即为该特征点所对应的方向；
为了构建描述子向量，首先要确定一个以特征点为中心的正方形邻域；该邻域的边长为20S，S为该特征点对应的尺度，把上一节中所确定的特征点方向作为该邻域的y轴方向；把该正方形区域分成 
Figure 728113DEST_PATH_IMAGE054
个子块区域，在每一个子块区域中用Haar小波滤波器进行处理(该处的Haar小波模板尺寸为
Figure 2012100662188100001DEST_PATH_IMAGE055
)；我们用
Figure 182097DEST_PATH_IMAGE056
表示水平方向的Haar小波响应，用表示竖直方向的Haar小波响应；这里的水平和竖直是相对特征点方向来说的；在构建描述子向量之前，对于所有的
Figure 380997DEST_PATH_IMAGE056
、
Figure 784297DEST_PATH_IMAGE057
都要用一个以特征点为中心的高斯函数加权，该高斯函数的a=3.3S；在每个子区域中，实际的计算是
Figure 980923DEST_PATH_IMAGE058
个网格；另外需要指出的是，在程序实现的过程中直接使用Haar小波滤波器直接对原始图像进行处理，然后对所得响应进行插值处理，从而得到相对于特征点方向的
Figure 735252DEST_PATH_IMAGE056
、
Figure 472264DEST_PATH_IMAGE057
；在每个子块区域中对
Figure 995649DEST_PATH_IMAGE056
、
Figure 618304DEST_PATH_IMAGE057
、、
Figure 594350DEST_PATH_IMAGE060
求和，从而得到一个4维向量；把
Figure 72736DEST_PATH_IMAGE054
个子块区域的向量连接起来就得到了一个64维的向量，此向量就是描述该特征点的描述子特征向量。
3.根据权利要求1所述的前扫声纳图像拼接方法，其特征在于，所述步骤（3）中的特征点匹配具体步骤是：当两幅图像的SURF特征向量生成后，在此采用特征向量间欧式距离(4)作为两幅图像中特征点的相似性判定度量；
Figure 716207DEST_PATH_IMAGE062
                         （4）
其中，
Figure 2012100662188100001DEST_PATH_IMAGE063
表示特征向量间的欧式距离；表示图像
Figure 2012100662188100001DEST_PATH_IMAGE065
中任意一点；表示图像
Figure 2012100662188100001DEST_PATH_IMAGE067
中任意一点；
Figure 2012100662188100001DEST_PATH_IMAGE069
表示描述子向量中第
Figure 983743DEST_PATH_IMAGE069
个分量；
Figure 481720DEST_PATH_IMAGE070
、分别表示图像
Figure 987788DEST_PATH_IMAGE065
、
Figure 390956DEST_PATH_IMAGE067
描述子向量的第
Figure 273462DEST_PATH_IMAGE069
个分量；
Figure 625946DEST_PATH_IMAGE072
为特征向量的维数，这里
Figure 2012100662188100001DEST_PATH_IMAGE073
；首先取参考图像的某个特征点并在待匹配图像中找出与该点欧式距离最近和次近的两个特征点，如果最近距离与次近距离的比例小于60%，则认为最近的这一对特征点为对应的匹配对；遍历参考图像中的特征点，找出所有潜在的匹配点对。
4.根据权利要求1所述的前扫声纳图像拼接方法，其特征在于，所述步骤（4）中的变换模型估计具体步骤是：在声纳DIDSON实际拍摄过程中，近似满足透视变换模型；两幅图像之间的对应关系可以由一个
Figure 506177DEST_PATH_IMAGE074
的平面透视变换矩阵来表示：
Figure 2012100662188100001DEST_PATH_IMAGE075
                           (5)
其中，可以表示为,
Figure 551679DEST_PATH_IMAGE078
可以表示为
Figure 2012100662188100001DEST_PATH_IMAGE079
，其中
Figure 24249DEST_PATH_IMAGE080
和
Figure 2012100662188100001DEST_PATH_IMAGE081
是一对匹配点；单应矩阵H是一个
Figure 809802DEST_PATH_IMAGE074
的满秩矩阵，也可以称为平面透视变换矩阵；可以表示为：
Figure 735033DEST_PATH_IMAGE082
                     （6）
其中，
Figure DEST_PATH_IMAGE083
一般取1；、
Figure DEST_PATH_IMAGE085
分别表示在
Figure 473368DEST_PATH_IMAGE005
、
Figure 757719DEST_PATH_IMAGE086
方向上的平移量；
Figure DEST_PATH_IMAGE087
、、
Figure DEST_PATH_IMAGE089
和
Figure 870348DEST_PATH_IMAGE090
表示旋转量和其比例因子；
Figure DEST_PATH_IMAGE091
、
Figure 238882DEST_PATH_IMAGE092
表示透视变换因子；在步骤（3）中相邻两幅声纳图像相互对应的特征点之间的匹配已经完成，接下来就可以通过特征点这种对应关系估计它们之间的单应矩阵；在此我们采用比较简单的直接线性变换算法来估计单应矩阵的参数；假设给定图像
Figure DEST_PATH_IMAGE093
和
Figure 694134DEST_PATH_IMAGE094
的两点
Figure DEST_PATH_IMAGE095
和
Figure 531640DEST_PATH_IMAGE096
；那么就有，其中
Figure 97750DEST_PATH_IMAGE098
表示成比例相等；设
Figure 320790DEST_PATH_IMAGE095
和
Figure 946943DEST_PATH_IMAGE096
的坐标分别为
Figure DEST_PATH_IMAGE099
和
Figure 334062DEST_PATH_IMAGE100
，把它们写成齐次坐标形式：
Figure DEST_PATH_IMAGE101
和
Figure 375968DEST_PATH_IMAGE102
，其中
Figure DEST_PATH_IMAGE103
，，则可以得到公式（7）；
Figure DEST_PATH_IMAGE105
                         （7）
由公式（7）可以推导出公式（8）和（9）；
Figure 516148DEST_PATH_IMAGE106
                         （8）
                       
Figure DEST_PATH_IMAGE107
                         （9）
由于是二维平面，不失一般性，在此令
Figure 62667DEST_PATH_IMAGE108
，由公式（8）和（9）可以得到：
            
Figure DEST_PATH_IMAGE109
                （10）
                
Figure 236159DEST_PATH_IMAGE110
                （11）
由公式（10）和（11）可以推导出：
                          
Figure DEST_PATH_IMAGE111
                               （12）
                          
Figure 451369DEST_PATH_IMAGE112
                              （13）
其中，
Figure DEST_PATH_IMAGE113
，
Figure 419325DEST_PATH_IMAGE114
 ，          
Figure DEST_PATH_IMAGE115
 ；  
给定两幅相邻声纳图像之间的一组对应特征点，可以构建方程：
Figure 453141DEST_PATH_IMAGE116
                           （14）
在这里
Figure DEST_PATH_IMAGE117
表示：
Figure 899165DEST_PATH_IMAGE118
                            （15）
通过步骤（3）的特征点匹配方法，已经得到了N个匹配点对，注意这里的
Figure DEST_PATH_IMAGE119
， 
可以得到一个
Figure 216883DEST_PATH_IMAGE120
的矩阵A；虽然计算单应矩阵最少需要4个匹配点对就可以，但是仅用4个匹配点对所计算出的结果是无法保证精度的；这种误差主要是由兴趣点的定位误差导致的；在本方法中我们采用628个分布均匀的匹配点对实现对单应矩阵的估计，从而得到单应矩阵H。
5.根据权利要求1所述的前扫声纳图像拼接方法，其特征在于，所述步骤（5）中的坐标映射和图像插值具体步骤是：在完成几何变换模型的估计之后，利用得到的单应矩阵H把待匹配图像中的每一点映射到参考图像的坐标系中去；假设给定待匹配图像中的某点
Figure DEST_PATH_IMAGE121
，使用公式(8)和(9)就可以将
Figure 355740DEST_PATH_IMAGE095
点映射到参考图像的坐标系中去得到新的坐标点
Figure 876852DEST_PATH_IMAGE122
，即:
Figure DEST_PATH_IMAGE123
                        （16）
其中，
Figure 126567DEST_PATH_IMAGE124
表示待匹配图像中的点
Figure DEST_PATH_IMAGE125
映射到参考图像坐标系中得到的新的坐标；在坐标映射的过程中，会导致一种必然出现的情况：原来在整数网格上的点(x、y)坐标都是整数，在映射之后没有落在网格点上，如图8所示；但是数字图像只能输出离散位置的信息，所以必须进行图像插值；在本文中我们就采用了计算效率和效果都较为适中双线性插值方法，如图9所示；是我们把输出图像中的
Figure 608550DEST_PATH_IMAGE117
点反向映射到输入图像中的点，假设(0，0)、(1，0)、(0，l)、(l，l)是的4个相邻点，的输出值计算方法如公式(20)；
Figure DEST_PATH_IMAGE127
         （17）
至此，我们完成了待匹配图像与参考图像之间的配准。
6.根据权利要求1所述的前扫声纳图像拼接方法，其特征在于，所述步骤（6）中的图像配准具体步骤是：在这里我们需要的是实现多帧前扫声纳图像的拼接；首先选择第一帧声纳图像作为参考图像，第二帧声纳图像作为待匹配图像，对第一帧和第二帧声纳图像进行步骤（2）～（5）的配准处理，然后每次将前一次得到的配准图像作为参考图像，与下一帧声纳图像进行拼接，直至完成整个声纳图像序列的配准工作，实现所有待匹配声纳图像之间的配准。
7.根据权利要求1所述的前扫声纳图像拼接方法，其特征在于，所述步骤（7）中的图像融合具体步骤是：视角范围较小的相邻两帧前扫声纳图像，一般情况下由于采样时间和采样角度的不同，重叠部分会出现亮度不均和变形程度的差异，为了使相邻两幅图像的重叠部分具有视觉一致性而且没有明显的接缝，本方案采用了图像灰度拉伸的方法来改善图像的对比度，将不同帧图像的亮度调整一致，增强了图像的分辨率；并且采用了一种边界保持的加权平滑算法来实现配准后图像的融合；
设
Figure 697095DEST_PATH_IMAGE128
，
Figure DEST_PATH_IMAGE129
是相邻两帧待拼接的声纳图像，
Figure 177755DEST_PATH_IMAGE128
和
Figure 407879DEST_PATH_IMAGE129
在区间
Figure 264977DEST_PATH_IMAGE130
上重叠，假设
Figure DEST_PATH_IMAGE131
表示融合后的图像，平滑后的像素点的值为
Figure 146214DEST_PATH_IMAGE132
，算法具体步骤如下：
1）利用Compass算子分别对
Figure 735458DEST_PATH_IMAGE128
和
Figure 780774DEST_PATH_IMAGE129
图像进行边缘检测，提取出图像边缘；
2）设
Figure 175984DEST_PATH_IMAGE128
和在重叠部分对应的像素点的值
Figure DEST_PATH_IMAGE133
和，取
Figure DEST_PATH_IMAGE135
                 （18）
其中，表示加权因子，
Figure DEST_PATH_IMAGE137
，按照从
Figure 137806DEST_PATH_IMAGE128
到的方向
Figure 252579DEST_PATH_IMAGE136
由1渐变为0；
利用前面提取出的边缘信息，对重叠区域内的像素点进行分类：
如果像素
Figure 741329DEST_PATH_IMAGE138
不属于边界点，则
Figure DEST_PATH_IMAGE139
；
如果像素
Figure 743920DEST_PATH_IMAGE138
属于边界点，则
Figure 204988DEST_PATH_IMAGE140
保持不变，即若，；
若
Figure DEST_PATH_IMAGE143
，
Figure 797830DEST_PATH_IMAGE144
；
该平滑方法在加权平滑的处理基础上多了一道处理程序，即在加权平滑时，判断该点是否为图像的边缘，如果是边缘，则不处理;如果不是边缘，则按照加权平滑法处理；这样进行拼接后的平滑能够达到很好的效果，在保持了边界特征的同时，自然缝合；至此，通过上面一系列步骤，就完成了所有帧声纳图像的拼接。
CN2012100662188A 2012-03-14 2012-03-14 一种前扫声纳图像拼接方法 Pending CN102622732A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2012100662188A CN102622732A (zh) 2012-03-14 2012-03-14 一种前扫声纳图像拼接方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2012100662188A CN102622732A (zh) 2012-03-14 2012-03-14 一种前扫声纳图像拼接方法

Publications (1)

Publication Number Publication Date
CN102622732A true CN102622732A (zh) 2012-08-01

Family

ID=46562637

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012100662188A Pending CN102622732A (zh) 2012-03-14 2012-03-14 一种前扫声纳图像拼接方法

Country Status (1)

Country Link
CN (1) CN102622732A (zh)

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102968784A (zh) * 2012-10-17 2013-03-13 北京航空航天大学 一种多视角拍摄进行孔径合成成像方法
CN103364787A (zh) * 2013-03-28 2013-10-23 哈尔滨工程大学 一种多波束侧扫声纳图像镶嵌缝隙消除方法
CN103544491A (zh) * 2013-11-08 2014-01-29 广州广电运通金融电子股份有限公司 一种面向复杂背景的光学字符识别方法及装置
CN103606139A (zh) * 2013-09-09 2014-02-26 上海大学 一种声纳图像拼接方法
CN103903237A (zh) * 2014-03-21 2014-07-02 上海大学 一种前扫声纳图像序列拼接方法
CN104318530A (zh) * 2014-10-23 2015-01-28 中国科学院电子学研究所 Sar图像对比度自适应调整的方法
CN104346797A (zh) * 2013-07-31 2015-02-11 北大方正集团有限公司 关键像素点匹配方法和装置、图像匹配方法和装置
CN104580933A (zh) * 2015-02-09 2015-04-29 上海安威士科技股份有限公司 基于特征点的多尺度实时监控视频拼接装置及拼接方法
CN105488852A (zh) * 2015-12-23 2016-04-13 中国船舶重工集团公司第七一五研究所 一种基于地理编码和多维校准的三维图像拼接方法
CN105869138A (zh) * 2015-02-06 2016-08-17 中国船舶重工集团公司第七二六研究所 一种基于图像匹配的吊放式声纳方位修正方法
CN106060403A (zh) * 2016-07-05 2016-10-26 董超超 一种具备图像防抖检测功能的摄像装置
CN104103051B (zh) * 2013-04-03 2017-02-22 华为技术有限公司 一种图像拼接方法和设备
CN107301661A (zh) * 2017-07-10 2017-10-27 中国科学院遥感与数字地球研究所 基于边缘点特征的高分辨率遥感图像配准方法
CN107832655A (zh) * 2017-02-21 2018-03-23 石河子大学 一种基于无人机近地面成像的航拍系统及棉花产量估测方法
CN108106577A (zh) * 2017-12-26 2018-06-01 刘大川 一种二维机械式扫描声呐图像检测铺排搭接宽度的方法
CN108230246A (zh) * 2017-12-28 2018-06-29 江苏集萃智能制造技术研究所有限公司 一种飞机蒙皮检测图像的拼接方法
CN109934787A (zh) * 2019-03-18 2019-06-25 湖南科技大学 一种基于高动态范围的图像拼接方法
CN110009563A (zh) * 2019-03-27 2019-07-12 联想(北京)有限公司 图像处理方法和装置、电子设备及存储介质
CN110113560A (zh) * 2018-02-01 2019-08-09 中兴飞流信息科技有限公司 视频智能联动的方法及服务器
CN110349174A (zh) * 2019-06-28 2019-10-18 佛山科学技术学院 一种滑轨多参数测量方法以及测量装置
CN110412584A (zh) * 2019-05-31 2019-11-05 上海大学 一种水下前视声呐移动快速拼接系统
CN110490805A (zh) * 2019-08-16 2019-11-22 上海昌岛医疗科技有限公司 一种显微镜病理切片扫描图片的拼接方法
CN111046887A (zh) * 2018-10-15 2020-04-21 华北电力大学（保定） 一种带噪图像特征提取的方法
CN111191426A (zh) * 2020-01-08 2020-05-22 山东大学 一种基于Gaussian程序输出文件的数据提取及处理方法
CN111596296A (zh) * 2019-12-19 2020-08-28 上海大学 一种基于前视声呐图像的水下目标跟踪方法
CN112017114A (zh) * 2020-06-08 2020-12-01 武汉精视遥测科技有限公司 一种隧道检测半幅图像拼接全幅图像的方法及系统
CN112529028A (zh) * 2019-09-19 2021-03-19 北京声迅电子股份有限公司 一种用于安检机图像的联网接入方法及装置
CN112884635A (zh) * 2021-01-25 2021-06-01 中交广州航道局有限公司 基于rov搭载双频前视声呐的海底环境可视化方法及装置
CN113096171A (zh) * 2021-03-01 2021-07-09 中国人民解放军海军大连舰艇学院 多波束与侧扫声纳图像的多尺度迭代自适应配准方法
CN113269817A (zh) * 2021-06-04 2021-08-17 北京中航世科电子技术有限公司 空间域和频域相结合的实时遥感地图拼接方法及装置
CN113975150A (zh) * 2021-12-28 2022-01-28 杭州大力神医疗器械有限公司 一种经皮穴位治疗仪
CN114219709A (zh) * 2021-11-25 2022-03-22 哈尔滨工程大学 一种前视声纳波束域图像拼接方法
CN115469315A (zh) * 2022-11-02 2022-12-13 广东智能无人系统研究院 一种采用倾斜侧扫模式的声纳成像方法
CN116612058A (zh) * 2023-05-31 2023-08-18 华能新能源股份有限公司山西分公司 一种风机叶片图像拼接方法
CN117221466A (zh) * 2023-11-09 2023-12-12 北京智汇云舟科技有限公司 基于网格变换的视频拼接方法及系统
CN118134758A (zh) * 2024-05-08 2024-06-04 海南热带海洋学院 基于wt和surf算法的水下超声波图像的拼接方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102012513A (zh) * 2010-06-29 2011-04-13 上海大学 前视声纳图像的实时拼接方法和系统
CN102074046A (zh) * 2010-12-17 2011-05-25 浙江大学 一种相控阵三维声纳图像离线处理系统和方法
CN102087530A (zh) * 2010-12-07 2011-06-08 东南大学 基于手绘地图和路径的移动机器人视觉导航方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102012513A (zh) * 2010-06-29 2011-04-13 上海大学 前视声纳图像的实时拼接方法和系统
CN102087530A (zh) * 2010-12-07 2011-06-08 东南大学 基于手绘地图和路径的移动机器人视觉导航方法
CN102074046A (zh) * 2010-12-17 2011-05-25 浙江大学 一种相控阵三维声纳图像离线处理系统和方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
刘奇 等: "基于SURF特征匹配的图像拼接算法", 《测控技术》, vol. 29, no. 10, 31 October 2010 (2010-10-31), pages 27 - 31 *
卜珂 等: "基于SURF的图像配准与拼接技术研究", 《中国优秀硕士学位论文全文数据库》, 20 January 2010 (2010-01-20), pages 2 - 44 *
李碧草 等: "基于SURF算法的细胞显微图像拼接方法的改进", 《天津工业大学学报》, vol. 31, no. 1, 29 February 2012 (2012-02-29), pages 65 - 68 *
杨云涛 等: "基于SURF的序列图像快速拼接方法", 《计算机技术与发展》, vol. 21, no. 3, 31 March 2011 (2011-03-31), pages 6 - 9 *
王华: "基于计算机视觉的车架纵梁在线检测关键技术研究", 《中国博士学位论文全文数据库》, 23 July 2009 (2009-07-23), pages 57 - 58 *
阮芹 等: "基于特征点的图像配准与拼接技术研究", 《计算机与数字工程》, vol. 39, no. 2, 28 February 2011 (2011-02-28), pages 141 - 144 *
陈浩: "基于SURF特征匹配算法的全景图像拼接", 《中国优秀硕士学位论文全文数据库》, 20 July 2011 (2011-07-20), pages 27 - 56 *

Cited By (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102968784A (zh) * 2012-10-17 2013-03-13 北京航空航天大学 一种多视角拍摄进行孔径合成成像方法
CN102968784B (zh) * 2012-10-17 2015-06-17 北京航空航天大学 一种多视角拍摄进行孔径合成成像方法
CN103364787A (zh) * 2013-03-28 2013-10-23 哈尔滨工程大学 一种多波束侧扫声纳图像镶嵌缝隙消除方法
CN103364787B (zh) * 2013-03-28 2017-11-28 哈尔滨工程大学 一种多波束侧扫声纳图像镶嵌缝隙消除方法
CN104103051B (zh) * 2013-04-03 2017-02-22 华为技术有限公司 一种图像拼接方法和设备
CN104346797A (zh) * 2013-07-31 2015-02-11 北大方正集团有限公司 关键像素点匹配方法和装置、图像匹配方法和装置
CN103606139A (zh) * 2013-09-09 2014-02-26 上海大学 一种声纳图像拼接方法
US9613266B2 (en) 2013-11-08 2017-04-04 Grg Banking Equipment Co., Ltd. Complex background-oriented optical character recognition method and device
CN103544491A (zh) * 2013-11-08 2014-01-29 广州广电运通金融电子股份有限公司 一种面向复杂背景的光学字符识别方法及装置
CN103903237B (zh) * 2014-03-21 2017-03-29 上海大学 一种前扫声纳图像序列拼接方法
CN103903237A (zh) * 2014-03-21 2014-07-02 上海大学 一种前扫声纳图像序列拼接方法
CN104318530A (zh) * 2014-10-23 2015-01-28 中国科学院电子学研究所 Sar图像对比度自适应调整的方法
CN105869138A (zh) * 2015-02-06 2016-08-17 中国船舶重工集团公司第七二六研究所 一种基于图像匹配的吊放式声纳方位修正方法
CN104580933A (zh) * 2015-02-09 2015-04-29 上海安威士科技股份有限公司 基于特征点的多尺度实时监控视频拼接装置及拼接方法
CN105488852B (zh) * 2015-12-23 2019-04-26 中国船舶重工集团公司第七一五研究所 一种基于地理编码和多维校准的三维图像拼接方法
CN105488852A (zh) * 2015-12-23 2016-04-13 中国船舶重工集团公司第七一五研究所 一种基于地理编码和多维校准的三维图像拼接方法
CN106060403A (zh) * 2016-07-05 2016-10-26 董超超 一种具备图像防抖检测功能的摄像装置
CN107832655A (zh) * 2017-02-21 2018-03-23 石河子大学 一种基于无人机近地面成像的航拍系统及棉花产量估测方法
CN107301661A (zh) * 2017-07-10 2017-10-27 中国科学院遥感与数字地球研究所 基于边缘点特征的高分辨率遥感图像配准方法
CN107301661B (zh) * 2017-07-10 2020-09-11 中国科学院遥感与数字地球研究所 基于边缘点特征的高分辨率遥感图像配准方法
CN108106577A (zh) * 2017-12-26 2018-06-01 刘大川 一种二维机械式扫描声呐图像检测铺排搭接宽度的方法
CN108106577B (zh) * 2017-12-26 2020-09-01 刘大川 一种二维机械式扫描声呐图像检测铺排搭接宽度的方法
CN108230246A (zh) * 2017-12-28 2018-06-29 江苏集萃智能制造技术研究所有限公司 一种飞机蒙皮检测图像的拼接方法
CN110113560A (zh) * 2018-02-01 2019-08-09 中兴飞流信息科技有限公司 视频智能联动的方法及服务器
CN110113560B (zh) * 2018-02-01 2021-06-04 中兴飞流信息科技有限公司 视频智能联动的方法及服务器
CN111046887A (zh) * 2018-10-15 2020-04-21 华北电力大学（保定） 一种带噪图像特征提取的方法
CN109934787A (zh) * 2019-03-18 2019-06-25 湖南科技大学 一种基于高动态范围的图像拼接方法
CN109934787B (zh) * 2019-03-18 2022-11-25 湖南科技大学 一种基于高动态范围的图像拼接方法
CN110009563A (zh) * 2019-03-27 2019-07-12 联想(北京)有限公司 图像处理方法和装置、电子设备及存储介质
CN110412584A (zh) * 2019-05-31 2019-11-05 上海大学 一种水下前视声呐移动快速拼接系统
CN110349174B (zh) * 2019-06-28 2023-04-25 佛山科学技术学院 一种滑轨多参数测量方法以及测量装置
CN110349174A (zh) * 2019-06-28 2019-10-18 佛山科学技术学院 一种滑轨多参数测量方法以及测量装置
CN110490805A (zh) * 2019-08-16 2019-11-22 上海昌岛医疗科技有限公司 一种显微镜病理切片扫描图片的拼接方法
CN112529028A (zh) * 2019-09-19 2021-03-19 北京声迅电子股份有限公司 一种用于安检机图像的联网接入方法及装置
CN112529028B (zh) * 2019-09-19 2022-12-02 北京声迅电子股份有限公司 一种用于安检机图像的联网接入方法及装置
CN111596296B (zh) * 2019-12-19 2023-09-15 上海大学 一种基于前视声呐图像的水下目标跟踪方法
CN111596296A (zh) * 2019-12-19 2020-08-28 上海大学 一种基于前视声呐图像的水下目标跟踪方法
CN111191426B (zh) * 2020-01-08 2023-03-14 山东大学 一种基于Gaussian程序输出文件的数据提取及处理方法
CN111191426A (zh) * 2020-01-08 2020-05-22 山东大学 一种基于Gaussian程序输出文件的数据提取及处理方法
CN112017114B (zh) * 2020-06-08 2023-08-04 武汉精视遥测科技有限公司 一种隧道检测半幅图像拼接全幅图像的方法及系统
CN112017114A (zh) * 2020-06-08 2020-12-01 武汉精视遥测科技有限公司 一种隧道检测半幅图像拼接全幅图像的方法及系统
CN112884635A (zh) * 2021-01-25 2021-06-01 中交广州航道局有限公司 基于rov搭载双频前视声呐的海底环境可视化方法及装置
CN113096171A (zh) * 2021-03-01 2021-07-09 中国人民解放军海军大连舰艇学院 多波束与侧扫声纳图像的多尺度迭代自适应配准方法
CN113269817A (zh) * 2021-06-04 2021-08-17 北京中航世科电子技术有限公司 空间域和频域相结合的实时遥感地图拼接方法及装置
CN114219709A (zh) * 2021-11-25 2022-03-22 哈尔滨工程大学 一种前视声纳波束域图像拼接方法
CN114219709B (zh) * 2021-11-25 2024-09-13 哈尔滨工程大学 一种前视声纳波束域图像拼接方法
CN113975150A (zh) * 2021-12-28 2022-01-28 杭州大力神医疗器械有限公司 一种经皮穴位治疗仪
CN115469315B (zh) * 2022-11-02 2023-03-10 广东智能无人系统研究院 一种采用倾斜侧扫模式的声纳成像方法
CN115469315A (zh) * 2022-11-02 2022-12-13 广东智能无人系统研究院 一种采用倾斜侧扫模式的声纳成像方法
CN116612058A (zh) * 2023-05-31 2023-08-18 华能新能源股份有限公司山西分公司 一种风机叶片图像拼接方法
CN117221466A (zh) * 2023-11-09 2023-12-12 北京智汇云舟科技有限公司 基于网格变换的视频拼接方法及系统
CN117221466B (zh) * 2023-11-09 2024-01-23 北京智汇云舟科技有限公司 基于网格变换的视频拼接方法及系统
CN118134758A (zh) * 2024-05-08 2024-06-04 海南热带海洋学院 基于wt和surf算法的水下超声波图像的拼接方法

Similar Documents

Publication Publication Date Title
CN102622732A (zh) 一种前扫声纳图像拼接方法
CN110264567B (zh) 一种基于标记点的实时三维建模方法
CN110223379A (zh) 基于激光雷达的三维点云重建方法
CN103411553B (zh) 多线结构光视觉传感器的快速标定方法
CN103400409B (zh) 一种基于摄像头姿态快速估计的覆盖范围3d可视化方法
US20240013505A1 (en) Method, system, medium, equipment and terminal for inland vessel identification and depth estimation for smart maritime
Zuo et al. Devo: Depth-event camera visual odometry in challenging conditions
CN103903237A (zh) 一种前扫声纳图像序列拼接方法
CN102938142A (zh) 基于Kinect的室内LiDAR缺失数据填补方法
CN103198477B (zh) 一种采用苹果套袋机器人进行视觉定位的方法
CN105157609A (zh) 基于两组相机的大型零件全局形貌测量方法
CN102289803A (zh) 图像处理设备、图像处理方法及程序
CN110246151B (zh) 一种基于深度学习和单目视觉的水下机器人目标跟踪方法
Aykin et al. On feature extraction and region matching for forward scan sonar imaging
CN105046649A (zh) 一种去除运动视频中运动物体的全景图拼接方法
CN116129037B (zh) 视触觉传感器及其三维重建方法、系统、设备及存储介质
CN104700355A (zh) 室内二维平面图的生成方法、装置和系统
CN108010075A (zh) 一种基于多特征联合的局部立体匹配方法
Papadopoulos et al. 3D-surface reconstruction for partially submerged marine structures using an autonomous surface vehicle
CN111914615A (zh) 基于立体视觉的消防区域可通过性分析系统
Jiang et al. 3-d scene flow estimation on pseudo-lidar: Bridging the gap on estimating point motion
CN104392428A (zh) 一种针对侧扫声纳图像的拼接系统
CN114677531B (zh) 一种融合多模态信息的水面无人艇目标检测与定位方法
Sheng et al. Mobile robot localization and map building based on laser ranging and PTAM
CN110223356A (zh) 一种基于能量生长的单目相机全自动标定方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20120801