CN113362228A - 基于改进畸变校正和标记拼接的环视图像拼接方法及系统 - Google Patents
基于改进畸变校正和标记拼接的环视图像拼接方法及系统 Download PDFInfo
- Publication number
- CN113362228A CN113362228A CN202110728125.6A CN202110728125A CN113362228A CN 113362228 A CN113362228 A CN 113362228A CN 202110728125 A CN202110728125 A CN 202110728125A CN 113362228 A CN113362228 A CN 113362228A
- Authority
- CN
- China
- Prior art keywords
- image
- fisheye
- distortion correction
- view
- distortion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012937 correction Methods 0.000 title claims abstract description 89
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000004927 fusion Effects 0.000 claims abstract description 11
- 230000009466 transformation Effects 0.000 claims description 32
- 239000011159 matrix material Substances 0.000 claims description 18
- 238000013507 mapping Methods 0.000 claims description 7
- 230000000007 visual effect Effects 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 5
- 238000003384 imaging method Methods 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims description 4
- 230000001105 regulatory effect Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000011160 research Methods 0.000 description 4
- 240000004050 Pentaglottis sempervirens Species 0.000 description 3
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 241000251468 Actinopterygii Species 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 241001300198 Caperonia palustris Species 0.000 description 1
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 235000005121 Sorbus torminalis Nutrition 0.000 description 1
- 244000152100 Sorbus torminalis Species 0.000 description 1
- 235000000384 Veronica chamaedrys Nutrition 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于改进畸变校正和标记拼接的环视图像拼接方法及系统,其方法包括:步骤S1:对四路车载鱼眼相机进行标定,分别获得每个相机的内外参和畸变系数;步骤S2:通过鱼眼相机获取鱼眼图像,利用内外参和畸变系数分别对鱼眼图像进行畸变校正和暗角校正处理,得到校正后的鱼眼图像;步骤S3:将校正后的鱼眼图像通过俯视变换,获得四个对齐的俯视图;步骤S4:将四个对齐的俯视图像进行拼接,并通过图像融合算法去除缝隙,获得完整的全景鸟瞰图。本发明通过改进现有基于鱼眼标定的畸变校正算法,解决畸变校正图像的有效像素丢失的情况,扩展畸变校正图像的视场范围。此外,本发明引入基于标记点的图像拼接方法,可以实现较快的图像拼接速度。
Description
技术领域
本发明涉及计算机视觉与图像处理领域,具体涉及一种基于改进畸变校正和标记拼接的环视图像拼接方法及系统。
背景技术
随着中国社会的迅速发展与国民经济水平的不断提高,我国的机动车保有量也快速增加。汽车在人们的日常生活中扮演着越来越重要角色的同时,为了给驾驶员提供更多信息避免交通事故的发生,汽车驾驶辅助系统的作用也越来越被重视,车载环视图像拼接技术便是其中核心。
传统的汽车驾驶辅助系统大致使用三种手段帮助汽车司机观察汽车周边情况,即后视镜、倒车雷达和倒车摄像头。但是这些传统手段都只能给司机提供前后方向信息,存在视野盲区,而且不够直观、可视化程度不高。
随着计算机视觉和图像处理领域的技术不断发展,如何应用相应方法改进车载辅助系统性能已成为研究热点。目前可以将四路超广角鱼眼相机分别安装在汽车前、后、左、右四个方向捕获车身周边信息,并经过车载环视图像自动拼接方法处理后在显示设备输出全景图像。这样形成的全景图像能有从高向下鸟瞰的效果,可以实现360度无死角显示车辆周边景象。车载环视图像自动拼接方法既是无人驾驶技术的基础,也是智能驾驶的重要组成部分,相应研究具有重要意义。
区别于普通相机,鱼眼镜头为了获得接近180度的超广视角故而拥有较短的焦距,而这会对鱼眼镜头拍摄的图像造成严重畸变。普通相机只需以针孔模型校正便可得到效果良好的校正图像,但是鱼眼镜头视场为整个半球区域,针孔模型的透视投影却无法在平面呈现半球区域。针对于此,众多国内外学者深入研究鱼眼镜头成像模型并提出了多种非线性畸变建模方法。Brown提出了使用奇数多项式描述相机径向畸变的算法。Tsai在此基础上给出了一般通用校正方法,许多学者在该模型基础上研究消除鱼眼相机中径向畸变,其中国内最具代表性的是张正友提出的基于棋盘格的标定算法,它不需要使用者拥有专业的3D几何或计算机视觉知识,只需相机从不同方向拍摄平面棋盘格图像,理论上至少两张,其中相机或者棋盘格都可自由移动,不需要相机姿态己知,然后通过封闭解和最大似然估计将非线性参数优化,得到精度较高的结果。张氏标定法将相机校正算法从实验室理论阶段提升到了实用阶段。
但是由于鱼眼相机中的径向畸变较为严重,奇数多项式模型并不足够适用于鱼眼相机校正。Schwarz在1980年提出了可以指数关系来描述畸变半径和非畸变半径的指数模型。Basu和Licardie在1995年将上述指数模型与奇数多项式进行比较,发现该模型有较好的校正效果。
Devernay和Faugeras在2001年提出了用三角函数模型来描述鱼眼畸变的方法,但该算法不能给出完整的校准,它可以用来校正鱼眼图像,以符合针孔模型,而当需要知道鱼眼图像上一点对应入射光线的方向时,该算法并不适用。Fitzgibbon在2001提出了一种利用反比例模型的快速鱼眼校正算法。
Shah提出了一般通用的鱼眼相机校正算法,在校正过程由世界坐标系下的点坐标与对应图像中的点坐标得到一个映射关系,通过该映射关系,并利用拉格朗日乘子法估计相机的内参,包括像平面上像素宽度、图像畸变中心、相机有效焦距和失真系数,但是该算法在校正过程中需要高精度的激光束或圆柱形校准物,实现过程比较麻烦,目前还是只停留在实验室阶段。
发明内容
为了解决上述技术问题,本发明提供一种基于改进畸变校正和标记拼接的环视图像拼接方法及系统。
本发明技术解决方案为:一种基于改进畸变校正和标记拼接的环视图像拼接方法,包括:
步骤S1:对四路车载鱼眼相机进行标定,分别获得每个所述相机的内外参和畸变系数;
步骤S2:通过所述鱼眼相机获取鱼眼图像,利用所述内外参和所述畸变系数分别对所述鱼眼图像进行畸变校正和暗角校正处理,得到校正后的鱼眼图像;
步骤S3:将所述校正后的鱼眼图像通过俯视变换,获得四个对齐的俯视图;
步骤S4:将四个所述对齐的俯视图像进行拼接,并通过图像融合算法去除缝隙,获得完整的全景鸟瞰图。
本发明与现有技术相比,具有以下优点:
本发明通过改进现有的基于鱼眼标定的畸变校正算法,解决畸变校正图像的有效像素丢失的情况,同时调整畸变校正重映射时生成的图片的视角,来扩展畸变校正图像的视场范围。此外,本发明引入基于标记点的图像拼接方法,可以实现较快的图像拼接速度。
附图说明
图1为本发明实施例中一种基于改进畸变校正和标记拼接的环视图像拼接方法的流程图;
图2为本发明实施例中一种基于改进畸变校正和标记拼接的环视图像拼接方法中步骤S2:通过四路鱼眼相机获取鱼眼图像,利用内外参和畸变系数分别对鱼眼图像进行畸变校正的流程图;
图3为本发明实施例中一种基于改进畸变校正和标记拼接的环视图像拼接方法中步骤S21:对鱼眼图像进行畸变校正的流程图;
图4为本发明实施例中一种基于改进畸变校正和标记拼接的环视图像拼接方法中步骤S22:对鱼眼图像进行暗角校正的流程图;
图5为本发明实施例中一种基于改进畸变校正和标记拼接的环视图像拼接方法中步骤S3:将校正后的鱼眼图像通过俯视变换,获得四个对齐的俯视图的流程图;
图6为本发明实施例中张正友标定模型示意图;
图7为本发明实施例中一种基于改进畸变校正和标记拼接的环视图像拼接方法中步骤S4:将四个对齐的俯视图像进行拼接,并通过图像融合算法去除缝隙,获得完整的全景鸟瞰图的流程图;
图8为本发明实施例中前视鱼眼图像示意图;
图9为本发明实施例中各俯视图旋转对齐后标记点位置示意图;
图10为本发明实施例中一种基于改进畸变校正和标记拼接的环视图像拼接系统的结构框图。
具体实施方式
本发明提供了一种基于改进畸变校正和标记拼接的环视图像拼接方法,改进现有的基于鱼眼标定的畸变校正算法,解决畸变校正图像的有效像素丢失的情况,同时调整畸变校正重映射时生成的图片的视角,来扩展畸变校正图像的视场范围;此外,引入基于标记点的图像拼接方法,可以实现较快的图像拼接速度。
为了使本发明的目的、技术方案及优点更加清楚,以下通过具体实施,并结合附图,对本发明进一步详细说明。
实施例一
如图1所示,本发明实施例提供的一种基于改进畸变校正和标记拼接的环视图像拼接方法,包括下述步骤:
步骤S1:对四路车载鱼眼相机进行标定,分别获得每个相机的内外参和畸变系数;
步骤S2:通过鱼眼相机获取鱼眼图像,利用内外参和畸变系数分别对鱼眼图像进行畸变校正和暗角校正处理,得到校正后的鱼眼图像;
步骤S3:将校正后的鱼眼图像通过俯视变换,获得四个对齐的俯视图;
步骤S4:将四个对齐的俯视图像进行拼接,并通过图像融合算法去除缝隙,获得完整的全景鸟瞰图。
在一个实施例中,上述步骤S1:对四路车载鱼眼相机进行标定,分别获得每个相机的内外参和畸变系数;
鱼眼相机的投影模型包括:等距投影模型、体视投影模型、等角立体投影模型、正交投影模型。由于等距模型计算简单,精度易控所以本发明实施例采用该模型对鱼眼相机成像系统进行分析。等距投影模型公式为:为理想像高度,f,ω则分别是物方焦距和物方半视场角。
相机参数决定了空间点与其投影在图像上对应点之间的关系,一般分为内参数、畸变系数,外参数,而相机标定主要是通过特定标定物的参考点坐标与它在图像中的坐标确定相机的参数。
而透镜畸变模型大概划分为三种:径向畸变是由透镜形状引起的畸变,切向畸变则是摄像头与感光器件不平行造成的畸变,薄棱镜畸变是因为摄像头和感光器件制造工艺不达标造成的畸变。鱼眼相机的径向和切向畸变一般可以通过展开泰勒级数进行校正。薄棱镜畸变可以通过下述步骤进行校正。
对于鱼眼相机标定可以采用张正友标定法标定鱼眼相机,以黑白相间棋盘格板作为为标定平面,相机对同一块标定板以不同的位姿拍摄多幅图片,通过提取二维图像坐标点,并计算与其三维坐标点的对应关系来获取相机的内外参数矩阵和畸变系数。本步骤基于张正友标定法分别对前、后、左、右四路CMOS车载鱼眼相机通过求解线性方程获得每个相机的旋转矩阵R和平移向量t。其次,在相机外部参数己知的前提下,采用迭代法求解有效像距f和畸变系数k。
如图2所示,在一个实施例中,上述步骤S2:通过四路鱼眼相机获取鱼眼图像,利用内外参和畸变系数分别对鱼眼图像进行畸变校正,具体包括:
步骤S21:对鱼眼图像进行畸变校正;
步骤S22:对鱼眼图像进行暗角校正。
一般基于鱼眼标定的畸变校正算法是通过相机精准标定获得相机的内参数与畸变系数,然后通过鱼眼摄像头畸变模型进行重投影映射获得鱼眼畸变校正图像,这能更加精确地恢复畸变图像且畸变校正的效果的鲁棒性较好。但是基于鱼眼标定的图像畸变校正存在以下不足:校正畸变图像之后图像的有效像素丢失;校正畸变图像视野范围减小,可能导致图像间重叠区域消失,进而无法完成车身周围环视拼接。本发明实施例使用改进的基于鱼眼标定的的畸变校正算法,引入缩放因子Sx,Sy和平移参数tx,ty解决校正畸变图像后有效像素丢失的问题。
如图3所示,在一个实施例中,上述步骤S21:对鱼眼图像进行畸变校正,具体包括:
步骤S211:将鱼眼图像中像素(u,v)分别沿x轴y轴方向位移tx,ty,并将每个像素坐标沿x轴y轴方向分别缩放Sx,Sy倍数,可以将畸变校正区域进行放大和缩小;其中,缩放因子Sx,Sy和平移参数tx,ty通过调参获得;
步骤S212:通过单应性矩阵H1调整畸变校正重映射时生成的图像视角,以扩展畸变校正图像的视场范围;
其中,θ为鱼眼相机的俯仰角,β为鱼眼相机的侧偏角。
本发明提供的基于鱼眼标定的畸变校正的改进算法,解决畸变校正图像的有效像素丢失的情况,同时调整畸变校正重映射时生成的图片的视角,来扩展畸变校正图像的视场范围。
此外,针对鱼眼相机产生的暗角,可以使用暗角因子来进行暗角校正。在暗角因子相同的前提下,相机焦距越大则越易产生暗角效应;而在焦距相同的前提下,暗角因子越大则越易产生暗角效应。
如图4所示,在一个实施例中,上述步骤S22:对鱼眼图像进行暗角校正,具体包括:
步骤S221:利用下述公式(2)~(3),计算暗角亮度误差Ev,以进行暗角校正;
Ev(M)=||I‘(r)-I||2 (2)
其中,鱼眼图像中像素的亮度为I;I’(r)为暗角模型亮度公式,原始亮度I0为光轴中心亮度,f为鱼眼相机的焦距,v为暗角因子,r为成像点到光轴中心的距离,可以通过鱼眼相机的内参获取;
步骤S222:利用下述公式(4)求解最小误差,估测得到暗角因子v;
步骤S223:对红、绿、蓝三个波段亮度值分别估计各自的暗角因子Er,Eg,Eb。
根据暗角因子Er,Eg,Eb,在红、绿、蓝三个波段对鱼眼图像进行暗角校正。
由于前、后、左、右四个鱼眼相机安装的时候均与地面呈现一定的夹角,而最终显示给用户的画面是车体四围360度鸟瞰视图,所以对校正后的鱼眼图像还需要进行俯视变换。常用俯视变换方法主要有两种:DLT(Direct Linear Transformation)变换算法和基于视角参数的逆投影变换算法。基于视角参数逆投影变换主要是基于图像坐标系与世界坐标系之间进行变换,该算法在运算过程中需要测量相机的视角和相机距离地面的高度等一系列的参数来求解俯视变换的单应性矩阵,计算过程复杂且测量过程存在误差。本发明实施例采用的DLT算法原理简单,无需外测参数,求解过程耗时短。
如图5所示,在一个实施例中,上述步骤S3:将校正后的鱼眼图像通过俯视变换,获得四个对齐的俯视图,具体包括:
步骤S31:构建校正后的鱼眼图像坐标系和对应的空间坐标系之间透视投影变换线性方程如下述公式(5)所示:
其中,(u,v)是校正后的鱼眼图像的坐标,(X,Y,Z)是鱼眼图像中对应物体的空间坐标,L1,L2,...,L11是12个未知参数;
步骤S32:假定Z=0,则公式(5)可进一步简化为8个未知数的公式(6):
步骤S33:根据下述公式(7)所示的张正友标定法,设定张正友标定法中棋盘格四个角的坐标(0,0)、(width,0)、(0,height)、(width,height),和物体空间坐标间对应关系即可组成8个方程,求解8个未知数;
其中,s为比例因子、K为鱼眼相机内参数矩阵、[r1,r2,r3]T为旋转矩阵、t为平移向量,M=(X,Y,0,1)T为标定平面上点的齐次坐标,m=(u,v,1)为对应像点的其次坐标;如图6所示,为张正友标定模型示意图;
利用DLT变换算法求出单应性矩阵H2,通过下述公式(8),得到四个对齐的俯视图;
P俯视图=H2P鱼眼校正视图 (8)
如图7所示,在一个实施例中,上述步骤S4:将四个对齐的俯视图像进行拼接,并通过图像融合算法去除缝隙,获得完整的全景鸟瞰图,具体包括:
步骤S41:在相邻的鱼眼相机的视场重叠区域设置拼接的标记点,根据对齐的俯视图的标记点坐标与全景图对应的标记点坐标之间的映射关系,将对齐的俯视图像进行拼接;
本发明提供改进的基于标记点全景图拼接关键步骤主要包括求解俯视图映射到全景图单应性矩阵Hg和视图重叠区域图像拼接。
首先,求解俯视图映射到全景图单应性矩阵Hg。通过在原始鱼眼图手动标定获得对应标记点的坐标,为求解旋转后的俯视图映射到全景图的单应性矩阵Hg,需要己知旋转后的俯视图标记点坐标和全景图中对应标记点坐标。以前视鱼眼图像为例,其标记点如图8所示。各俯视图旋转对齐后标记点位置如图9所示,由前、后、左、右俯视图分别逆时针旋转0度、180度、90度、270度对齐得到,由于在三维空间中视图中的重叠区域各方置一个黑色矩形块,所以前与左、右视图,后与左、右视图中黑色矩形区域存在重叠,同样标记点也存在重叠。
侧边标记点坐标变换过程为:假设原始鱼眼图中的一个原始标记点P,通过畸变校正映射矩阵M校正之后得到对应点P1;之后通过使用暗角校正函数f(V,P)校正后得到对应标记点P2,根据以下公式则可由点P坐标(x,y)求解得到对应点P2坐标(x2,y2):
P1=PM
全景鸟瞰图可以等价为从一个虚拟俯视视点同时采集前、后、左、右4幅俯视图进行拼接获得,所以每幅俯视图中的标记点在全景鸟瞰图中都有对应标记点。全景鸟瞰图中对应标记点坐标可以通过测量棋盘格尺寸、汽车尺寸以及棋盘格和汽车相对位置参数进行计算得到。在标记棋盘格上已知4对旋转后俯视图标记点坐标(u,v)和对应的全景图标记点坐标(x,y)后,可以求得旋转后的俯视图到全景图的单应性变换矩阵Hg。
此处由于旋转后俯视图侧边标记点所在图像边缘区域存在一定程度失真且所含有效信息较少,而图像中心区域无失真且所含有效信息较多,所以如果仅根据某一区域标记点求解所得单应性矩阵Hg对整幅图像进行统一的DLT变换则易引入二次畸变并最终影响拼接效果。故此,考虑对旋转后俯视图采取分区域DLT变换,以前视图与左视图的拼接为例来介绍图像拼接的过程。
前向鱼眼摄像头只存在有俯仰角变化,采集到原始视图畸变校正后侧边标记点所在的区域失真程度小,所以将对应的旋转后的俯视图分为3个部分,分段采取DLT变换。在图1中前视图所在区域为A1B1C1D1,以前视图中侧边标记点2,3和9,12所在的直线将前视图划分成3部分。第一个部分是标记点1-2-3-4所在的区域,这个区域采用标记点1,2,3,4来做DLT变换,第二个部分是标记点2-9-12-3所在的区域,这个区域标记点2,9,12,3来做DLT变换,第三个部分是标记点9-10-11-12所在的区域,这个区域采用标记点9,10,11,12来做DLT变换。
左侧鱼眼摄像头同时存在俯仰角和方位角变化,采集到原始的视图畸变校正后侧边标记点所在的区域失真程度相对较大,所以将对应的旋转后的俯视图分为5个部分,分段进行DLT变换。在图9中左视图所在区域为A3B3C3Da,以前视图中侧边标记点2,3,9,12和中心标记点6,7,5,8所在的直线将前视图划分成5部分。第一个部分是标记点1-2-3-4所在的区域,这个区域采用标记点1,2,3,4来做DLT变换,第二个部分是标记点2-5-8-3所在的区域,这个区域采用标记点2,5,8,3来做DLT变换,第三个部分是标记点5-6-7-8所在的区域,这个区域采用标记点5,6,7,8来做DLT变换,第四个部分是标记点6-90-12-7所在的区域,这个区域采用标记点6,9,12,7来做DLT变换,第五个部分是标记点9-10-11-12所在的区域,这个区域采用标记点9,10,11,12来做DLT变换。
根据以上分区域DLT变换便可求出旋转后的前向俯视图单应性变换矩阵H1,H2,H3和旋转后的左侧俯视图单应性变换矩阵H1,H2,H3,H4,H5,然后根据求解所得的单应性矩阵Hi;(1<=i<=_5)进行单应性变换将旋转后的俯视图映射到全景图中。
其次,重叠区域图像进行拼接。由于亮度、变换误差等问题,全景图中重叠区域的图像会存在重影或模糊。为了解决上述问题,侧边标记点所在的区域进行单应性变换之前,沿侧边对角标记点所在的直线对该区域进行裁剪,然后再单应性变换到全景图中。首先对旋转后的前向俯视图沿标记点1和标记点3以及标记点9和12所在的直线进行裁剪。然后对旋转后的左侧俯视图沿标记点10和标记点12以及标记点1和3连线所在的直线进行裁剪,对裁剪后的视图进行图像拼接。同理,对旋转后的后向俯视图和右侧俯视图也进行上述操作,最终拼接成一幅完整的360度全景鸟瞰图。
步骤S42:通过计算重叠区域像素点的权重系数,利用图像融合算法,拼接后的四个对齐的俯视图间的缝隙,得到完整全景鸟瞰图。
本发明引入改进的基于标记点的图像拼接方法,可以实现较快的图像拼接速度。
实施例二
如图10所示,本发明实施例提供了一种基于改进畸变校正和标记拼接的环视图像拼接系统,包括下述模块:
获取相机的内外参和畸变系数模块51,用于对四路车载鱼眼相机进行标定,分别获得每个相机的内外参和畸变系数;
校正鱼眼图像模块52,用于通过鱼眼相机获取鱼眼图像,利用内外参和畸变系数分别对鱼眼图像进行畸变校正和暗角校正处理,得到校正后的鱼眼图像;
获得对齐的俯视图模块53,用于将校正后的鱼眼图像通过俯视变换,获得四个对齐的俯视图;
获得全景鸟瞰图模块54,用于将四个对齐的俯视图像进行拼接,并通过图像融合算法去除缝隙,获得完整的全景鸟瞰图。
提供以上实施例仅仅是为了描述本发明的目的,而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改,均应涵盖在本发明的范围之内。
Claims (7)
1.一种基于改进畸变校正和标记拼接的环视图像拼接方法,其特征在于,包括:
步骤S1:对四路车载鱼眼相机进行标定,分别获得每个所述相机的内外参和畸变系数;
步骤S2:通过所述鱼眼相机获取鱼眼图像,利用所述内外参和所述畸变系数分别对所述鱼眼图像进行畸变校正和暗角校正处理,得到校正后的鱼眼图像;
步骤S3:将所述校正后的鱼眼图像通过俯视变换,获得四个对齐的俯视图;
步骤S4:将四个所述对齐的俯视图像进行拼接,并通过图像融合算法去除缝隙,获得完整的全景鸟瞰图。
2.根据权利要求1所述的基于改进畸变校正和标记拼接的环视图像拼接方法,其特征在于,所述步骤S2:通过所述鱼眼相机获取鱼眼图像,利用所述内外参和所述畸变系数分别对所述鱼眼图像进行畸变校正和暗角校正处理,得到校正后的鱼眼图像,具体包括:
步骤S21:对所述鱼眼图像进行畸变校正;
步骤S22:对所述鱼眼图像进行暗角校正。
4.根据权利要求2所述的基于改进畸变校正和标记拼接的环视图像拼接方法,其特征在于,所述步骤S22:对所述鱼眼图像进行暗角校正,具体包括:
步骤S221:利用下述公式(2)~(3),计算暗角亮度误差Ev,以进行暗角校正;
Ev(M)=||I‘(r)-I||2 (2)
其中,所述鱼眼图像中像素的亮度为I;I’(r)为暗角模型亮度公式,原始亮度I0为光轴中心亮度,f为所述鱼眼相机的焦距,v为暗角因子,r为成像点到光轴中心的距离,可以通过所述鱼眼相机的内参获取;
步骤S222:利用下述公式(4)求解最小误差,估测得到暗角因子v;
步骤S223:对红、绿、蓝三个波段亮度值分别估计各自的暗角因子Er,Eg,Eb。
5.根据权利要求1所述的基于改进畸变校正和标记拼接的环视图像拼接方法,其特征在于,所述步骤S3:将所述校正后的鱼眼图像通过俯视变换,获得四个对齐的俯视图,具体包括:
步骤S31:构建所述校正后的鱼眼图像坐标系和对应的空间坐标系之间透视投影变换线性方程如下述公式(5)所示:
其中,(u,v)是所述校正后的鱼眼图像的坐标,(X,Y,Z)是所述鱼眼图像中对应物体的空间坐标,L1,L2,...,L11是12个未知参数;
步骤S32:假定Z=0,则公式(5)可进一步简化为8个未知数的公式(6):
步骤S33:根据下述公式(7)所示的张正友标定法,设定所述张正友标定法中棋盘格四个角的坐标(0,0)、(width,0)、(0,height)、(width,height),和物体空间坐标间对应关系即可组成8个方程,求解所述8个未知数;
其中,s为比例因子、K为所述鱼眼相机内参数矩阵、[r1,r2,r3]T为旋转矩阵、t为平移向量,M=(X,Y,0,1)T为标定平面上点的齐次坐标,m=(u,v,1)为对应像点的其次坐标;
利用DLT变换求出单应性矩阵H2,通过下述公式(8),得到四个对齐的俯视图;
P俯视图=H2P鱼眼校正视图 (8)。
6.根据权利要求1所述的基于改进畸变校正和标记拼接的环视图像拼接方法,其特征在于,所述步骤S4:将四个所述对齐的俯视图像进行拼接,并通过图像融合算法去除缝隙,获得完整的全景鸟瞰图,具体包括:
步骤S41:在相邻的所述鱼眼相机的视场重叠区域设置拼接的标记点,根据所述对齐的俯视图的标记点坐标与全景图对应的标记点坐标之间的映射关系,将所述对齐的俯视图像进行拼接;
步骤S42:通过计算重叠区域像素点的权重系数,利用图像融合算法,拼接后的四个对齐的俯视图间的缝隙,得到完整全景鸟瞰图。
7.一种基于改进畸变校正和标记拼接的环视图像拼接系统,其特征在于,包括下述模块:
获取相机的内外参和畸变系数模块,用于对四路车载鱼眼相机进行标定,分别获得每个所述相机的内外参和畸变系数;
校正鱼眼图像模块,用于通过所述鱼眼相机获取鱼眼图像,利用所述内外参和所述畸变系数分别对所述鱼眼图像进行畸变校正和暗角校正处理,得到校正后的鱼眼图像;
获得对齐的俯视图模块,用于将所述校正后的鱼眼图像通过俯视变换,获得四个对齐的俯视图;
获得全景鸟瞰图模块,用于将四个所述对齐的俯视图像进行拼接,并通过图像融合算法去除缝隙,获得完整的全景鸟瞰图。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110728125.6A CN113362228A (zh) | 2021-06-29 | 2021-06-29 | 基于改进畸变校正和标记拼接的环视图像拼接方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110728125.6A CN113362228A (zh) | 2021-06-29 | 2021-06-29 | 基于改进畸变校正和标记拼接的环视图像拼接方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113362228A true CN113362228A (zh) | 2021-09-07 |
Family
ID=77537140
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110728125.6A Pending CN113362228A (zh) | 2021-06-29 | 2021-06-29 | 基于改进畸变校正和标记拼接的环视图像拼接方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113362228A (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113781664A (zh) * | 2021-11-09 | 2021-12-10 | 四川省交通勘察设计研究院有限公司 | 基于三维模型的vr全景图构造显示方法、系统及终端 |
CN113888645A (zh) * | 2021-09-29 | 2022-01-04 | 上海商汤临港智能科技有限公司 | 一种行驶设备、计算机视觉处理方法、装置和电子设备 |
CN114331835A (zh) * | 2021-12-15 | 2022-04-12 | 中国飞行试验研究院 | 一种基于最优映射矩阵的全景图像拼接方法及装置 |
CN114549666A (zh) * | 2022-04-26 | 2022-05-27 | 杭州蓝芯科技有限公司 | 一种基于agv的环视图像拼接标定方法 |
CN115272085A (zh) * | 2022-09-28 | 2022-11-01 | 北京闪马智建科技有限公司 | 全景图像的确定方法、装置、存储介质及电子装置 |
CN115578296A (zh) * | 2022-12-06 | 2023-01-06 | 南京诺源医疗器械有限公司 | 一种立体视频处理方法 |
CN116385564A (zh) * | 2023-02-03 | 2023-07-04 | 厦门农芯数字科技有限公司 | 一种基于鱼眼图像实现栏位尺寸的自动标定方法、装置 |
CN117011185A (zh) * | 2023-08-21 | 2023-11-07 | 自行科技(武汉)有限公司 | 一种电子后视镜cms图像矫正方法、系统及电子后视镜 |
JP7554699B2 (ja) | 2021-03-31 | 2024-09-20 | 本田技研工業株式会社 | 画像処理装置および画像処理方法、車両用制御装置、プログラム |
-
2021
- 2021-06-29 CN CN202110728125.6A patent/CN113362228A/zh active Pending
Non-Patent Citations (1)
Title |
---|
陆晓燕: ""基于全景拼接的泊车辅助系统研究"", 《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑(月刊)》, no. 01, 15 January 2019 (2019-01-15), pages 035 - 502 * |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7554699B2 (ja) | 2021-03-31 | 2024-09-20 | 本田技研工業株式会社 | 画像処理装置および画像処理方法、車両用制御装置、プログラム |
CN113888645A (zh) * | 2021-09-29 | 2022-01-04 | 上海商汤临港智能科技有限公司 | 一种行驶设备、计算机视觉处理方法、装置和电子设备 |
CN113781664A (zh) * | 2021-11-09 | 2021-12-10 | 四川省交通勘察设计研究院有限公司 | 基于三维模型的vr全景图构造显示方法、系统及终端 |
CN114331835A (zh) * | 2021-12-15 | 2022-04-12 | 中国飞行试验研究院 | 一种基于最优映射矩阵的全景图像拼接方法及装置 |
CN114549666A (zh) * | 2022-04-26 | 2022-05-27 | 杭州蓝芯科技有限公司 | 一种基于agv的环视图像拼接标定方法 |
CN115272085B (zh) * | 2022-09-28 | 2023-09-22 | 北京闪马智建科技有限公司 | 全景图像的确定方法、装置、存储介质及电子装置 |
CN115272085A (zh) * | 2022-09-28 | 2022-11-01 | 北京闪马智建科技有限公司 | 全景图像的确定方法、装置、存储介质及电子装置 |
CN115578296B (zh) * | 2022-12-06 | 2023-03-10 | 南京诺源医疗器械有限公司 | 一种立体视频处理方法 |
CN115578296A (zh) * | 2022-12-06 | 2023-01-06 | 南京诺源医疗器械有限公司 | 一种立体视频处理方法 |
CN116385564A (zh) * | 2023-02-03 | 2023-07-04 | 厦门农芯数字科技有限公司 | 一种基于鱼眼图像实现栏位尺寸的自动标定方法、装置 |
CN116385564B (zh) * | 2023-02-03 | 2023-09-19 | 厦门农芯数字科技有限公司 | 一种基于鱼眼图像实现栏位尺寸的自动标定方法、装置 |
CN117011185A (zh) * | 2023-08-21 | 2023-11-07 | 自行科技(武汉)有限公司 | 一种电子后视镜cms图像矫正方法、系统及电子后视镜 |
CN117011185B (zh) * | 2023-08-21 | 2024-04-19 | 自行科技(武汉)有限公司 | 一种电子后视镜cms图像矫正方法、系统及电子后视镜 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113362228A (zh) | 基于改进畸变校正和标记拼接的环视图像拼接方法及系统 | |
CN109741455B (zh) | 一种车载立体全景显示方法、计算机可读存储介质及系统 | |
CN109712194B (zh) | 车载环视系统及其立体标定方法和计算机可读存储介质 | |
CN108263283B (zh) | 多编组变角度车辆全景环视系统标定及拼接方法 | |
JP5739584B2 (ja) | 車両周辺視角化のための3次元映像合成装置およびその方法 | |
CN111223038B (zh) | 一种车载环视图像的自动拼接方法及显示装置 | |
CN107133988B (zh) | 车载全景环视系统中摄像头的标定方法及标定系统 | |
CN112102413B (zh) | 一种基于虚车道线的车载相机自动标定方法 | |
CN107424120A (zh) | 一种全景环视系统中的图像拼接方法 | |
CN111461963B (zh) | 一种鱼眼图像拼接方法及装置 | |
CN111768332B (zh) | 一种车载环视实时3d全景图像的拼接方法及图形采集装置 | |
CN108596982A (zh) | 一种简易的车载多目摄像机环视系统标定方法及装置 | |
CN111243034A (zh) | 一种全景辅助泊车标定方法、装置、设备及存储介质 | |
CN115239820A (zh) | 一种分体式飞行车辆鸟瞰图实时拼接及车位检测方法 | |
CN110689506A (zh) | 一种全景拼接方法、一种车用全景拼接方法及其全景系统 | |
CN102368137A (zh) | 嵌入式标定立体视觉系统 | |
CN106060427A (zh) | 基于单摄像头的全景成像方法及其装置 | |
CN113706624A (zh) | 相机外参修正方法、装置及车载环视系统 | |
CN115936995A (zh) | 一种车辆四路鱼眼摄像头全景拼接方法 | |
CN115239922A (zh) | 基于双目相机的ar-hud三维坐标重建方法 | |
CN109883433B (zh) | 基于360度全景视图的结构化环境中车辆定位方法 | |
CN114372919A (zh) | 一种双挂汽车列车全景环视图像拼接方法及系统 | |
CN111383264A (zh) | 一种定位方法、装置、终端及计算机存储介质 | |
CN112802109B (zh) | 一种汽车鸟瞰全景图生成方法 | |
CN108665501A (zh) | 汽车环视系统三维标定场景及采用该场景的标定方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210907 |
|
RJ01 | Rejection of invention patent application after publication |