[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN111862236A - 定焦双目相机自标定方法及系统 - Google Patents

定焦双目相机自标定方法及系统 Download PDF

Info

Publication number
CN111862236A
CN111862236A CN202010713282.5A CN202010713282A CN111862236A CN 111862236 A CN111862236 A CN 111862236A CN 202010713282 A CN202010713282 A CN 202010713282A CN 111862236 A CN111862236 A CN 111862236A
Authority
CN
China
Prior art keywords
binocular camera
self
deviation
focus
fixed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010713282.5A
Other languages
English (en)
Other versions
CN111862236B (zh
Inventor
王磊
李嘉茂
朱冬晨
杨冬冬
张晓林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Institute of Microsystem and Information Technology of CAS
Original Assignee
Shanghai Institute of Microsystem and Information Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Institute of Microsystem and Information Technology of CAS filed Critical Shanghai Institute of Microsystem and Information Technology of CAS
Priority to CN202010713282.5A priority Critical patent/CN111862236B/zh
Publication of CN111862236A publication Critical patent/CN111862236A/zh
Application granted granted Critical
Publication of CN111862236B publication Critical patent/CN111862236B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/005—Tree description, e.g. octree, quadtree
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供一种定焦双目相机自标定方法及系统，包括：1)获取左右原始图像；2)校正左右原始图像；3)从左右校正图像中提取特征点并匹配；4)统计左右图像纵坐标偏差的平均值，若大于第一阈值则修正估计第一参数组，校准后再次比较，反复迭代修正，直至小于第一阈值；5)找到静态物体；6)处于移动状态时，追踪静态物体的视差及车轮运动信息；7)得到车轮运动距离与静态物体的三维距离变化值的距离偏差，若大于第二阈值则修正估计第二参数组，重新计算，反复迭代校正，直至小于第二阈值，完成自标定。本发明利用实时图像追踪和车体运动信息，对外参进行优化标定，完成图像校正工作，为车体提供准确的三维识别数据。

Description

定焦双目相机自标定方法及系统
技术领域
本发明涉及图像处理领域，特别是涉及一种定焦双目相机自标定方法及系统。
背景技术
双目传感器作为可应用于室外场景的立体相机，可以为机器人提供立体障碍物检测功能，双目相机通过对机器人前进方向的图像分析识别可以计算视野内障碍物的三维位置信息，为机器人的安全行驶提供保障。然而双目相机在作为立体相机使用前，需要经过严格的标定过程。
“SLAM-Based Self-Calibration of a Binocular Stereo Vision Rig inReal-Time”文章给出了基于Slam的非线性优化求解双目外参的方法，然而过多的变量可能会导致非线性优化无法收敛。
CN 109313813 A专利提出了一种利用车体运动信息修正双目外参的方法，但是仅仅考虑了偏航角的偏差，实际情况当双目相机受到外界环境影响导致位置变化时往往是伴随着多种误差在内的。
因此，如何针对定焦双目相机提出一种基于实时数据对外参进行优化标定的方法以使得定焦双目相机能提供准确的三维识别数据，已成为本领域技术人员亟待解决的问题之一。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种定焦双目相机自标定方法及系统，用于解决现有技术中外参在使用过程中受环境影响发生变化、非线性优化无法收敛等问题。
为实现上述目的及其他相关目的，本发明提供一种定焦双目相机自标定方法，所述定焦双目相机自标定方法至少包括：
1)分别从双目相机的两个图像采集单元获取左右原始图像；
2)根据当前第一参数组及第二参数组构建双目外参矩阵，对左右原始图像进行校正，得到左右校正图像；其中，第一参数组影响垂直方向视差，第二参数组影响水平方向视差；
3)从左右校正图像中分别提取特征点，并对左右校正图像中的特征点进行匹配得到匹配的特征点对，对误匹配的特征点进行过滤；
4)统计各特征点对的左右图像纵坐标偏差，若所述纵坐标偏差的平均值大于第一阈值则对所述第一参数组中至少一个参数进行修正估计，重新校准后再次与所述第一阈值比较，反复迭代修正，直至所述纵坐标偏差的平均值小于所述第一阈值，更新所述第一参数组；
5)对场景内的物体进行分类，找到场景中的静态物体；
6)所述双目相机处于移动状态时，基于处于所述静态物体范围内的特征点对计算静态物体的视差，并追踪所述静态物体的视差及车轮运动信息；
7)基于所述车轮运动信息得到车轮运动距离，基于所述静态物体的视差得到静态物体的三维距离变化值，比较车轮运动距离与静态物体的三维距离变化值得到距离偏差，若所述距离偏差大于第二阈值则对所述第二参数组进行修正估计，并基于校准后的图像重新计算静态物体的三维距离，反复迭代校正，直至所述距离偏差小于所述第二阈值，更新所述第二参数组，完成对双目相机参数的自标定。
可选地，所述第一参数组中的参数包括双目相机的俯仰角偏差、翻滚角偏差、高度偏差及前后偏差。
更可选地，所述第二参数组中的参数包括双目相机的偏航角偏差及基线长。
更可选地，步骤4)中所述纵坐标偏差的平均值满足如下关系式：
Figure BDA0002597318100000021
Figure BDA0002597318100000022
Figure BDA0002597318100000023
Figure BDA0002597318100000024
Figure BDA0002597318100000025
Figure BDA0002597318100000026
其中，VErr为所述纵坐标偏差值的平均值，wk为第k对特征点对的权重，VLk为第k对特征点对在左图像中的纵坐标，VRk为第k对特征点对在右图像中的纵坐标，N为特征点对的数量，UCk,VCk,UDk,VDk为中间变量，ULk为第k对特征点对在左图像中的横坐标，URk为第k对特征点对在右图像中的横坐标，Δp为双目相机的俯仰角偏差，Δr为双目相机的翻滚角偏差，ΔH为双目相机的高度偏差，ΔD为双目相机的前后偏差，b为双目相机的基线长，f为双目相机的镜头焦距。
更可选地，将求解所述第一参数组中各参数的方法替换为矩阵运算或者非线性优化方式。
更可选地，第k对特征点对的权重wk为默认值或第k对特征点对的权重wk满足如下关系：
Figure BDA0002597318100000031
其中，ResU为左右图像每行的像素数，ResV为左右图像每列的像素数。
更可选地，步骤3)中对所述第一参数组中的参数进行修正时，将修正量乘以第一系数后进行修正，得到修正的参数，其中，所述第一系数大于0且小于等于1。
可选地，步骤3)中基于四叉树提取策略提取所述特征点，使得各特征点在校正后的左右图像中均匀分布。
可选地，步骤5)中采用语义识别找到所述静态物体。
可选地，步骤7)中，所述静态物体的三维距离变化值满足如下关系式：
Figure BDA0002597318100000032
Figure BDA0002597318100000033
其中，ΔZ为静态物体的三维距离变化值合集，b为双目相机的基线长，f为双目相机的镜头焦距，D1、D2分别为静态物体在t1时刻及t2时刻的视差合集，Δd为视差偏差，Δy为双目相机的偏航角偏差。
更可选地，所述距离偏差满足如下关系式：
Figure BDA0002597318100000034
其中，Δb为双目相机基线长的修正量，ΔM为所述车轮运动距离，D1i、D2i分别为第i个静态物体在t1时刻及t2时刻的视差值。
更可选地，步骤7)中对所述第二参数组中的参数进行修正时，将修正量乘以第二系数后进行修正，得到修正的参数，其中，所述第二系数大于0且小于等于1。
可选地，步骤7)中追踪的起始时刻及追踪的最终时刻，所述双目相机的朝向一致。
可选地，所述定焦双目相机自标定方法还包括8)根据修正的所述第二参数组计算视野环境内的三维信息。
为实现上述目的及其他相关目的，本发明提供一种定焦双目相机自标定系统，所述定焦双目相机自标定系统至少包括：
移动平台、双目相机、图像处理单元及移动平台控制单元；
所述双目相机设置于所述移动平台上，用于获取左右图像；
所述图像处理单元设置于所述移动平台上，且与所述双目相机及所述移动平台控制单元连接，执行上述定焦双目相机自标定方法，实现自标定；
所述移动平台控制单元设置于所述移动平台上，且与所述移动平台的车轮连接，控制所述车轮转动并获取所述车轮的运动距离。
可选地，所述双目相机的两个图像采集单元具有同步触发关系、同样的分辨率、同样焦段的定焦镜头，成像平面处于同一个平面上。
可选地，所述移动平台的车轮包括轮子、电机及编码器，所述电机驱动所述轮子转动，所述编码器用于记录所述轮子的转动角度及圈数。
如上所述，本发明的定焦双目相机自标定方法及系统，具有以下有益效果：
本发明的定焦双目相机自标定方法及系统不依靠事先准备的标定工具，利用实时图像追踪和车体运动信息，对包括外参的旋转以及平移偏差在内的参数进行优化标定，并完成相关图像校正工作，使定焦双目相机能够为车体提供准确的三维识别数据。
附图说明
图1显示为本发明的定焦双目相机自标定方法的流程示意图。
图2显示为本发明的校正图像的中坐标系的示意图。
图3显示为本发明的t1时刻及t2时刻的运动方向及坐标系示意图。
图4显示为本发明的定焦双目相机自标定系统的结构示意图。
元件标号说明
101～102 第一～第二图像采集单元
110 图像处理单元
201～204 第一～第四车轮
210 移动平台控制单元
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。
请参阅图1～图4。需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
实施例一
如图1所示，本实施例提供一种定焦双目相机自标定方法，所述定焦双目相机自标定方法包括：
1)分别从双目相机的两个图像采集单元获取左右原始图像。
具体地，双目相机包括两个图像采集单元(镜头)，两个图像采集单元具备硬件触发同步关系，采用同样分辨率的成像元件、同样焦段的定焦镜头构成，且两个图像采集单元的成像平面处于同一个平面上，图像中心位于同一水平线，图像成像中心的间距为双目相机的基线长。基于所述双目相机获取左、右两幅原始图像。
2)根据当前第一参数组及第二参数组构建双目外参矩阵，对左右原始图像进行校正，得到左右校正图像；其中，第一参数组主要影响垂直方向视差，第二参数组主要影响水平方向视差。
具体地，假定所述双目相机均已经过出厂标定，并且左右成像元件结构设计中处于同一平面上呈水平方向排列，由于结构或者环境影响导致的变形并不会导致很大的物理误差情况。所述双目相机的内参包括镜头焦距f(已知量)、左右成像元件中心位置(cx1,cy1)和(cx2,cy2)。所述双目相机的外参包括俯仰角偏差Δp(Δpitch)、偏航角偏差Δy(Δyaw)、翻滚角偏差Δr(Δroll)以及基线长b(baseline)、高度偏差ΔH和前后偏差ΔD。
在本实施例中，将参数按照是否会影响水平视差匹配运算(主要影响垂直方向视差)而分组，影响水平视差匹配运算的参数有左右成像元件中心位置的纵坐标cy、双目相机的俯仰角偏差Δp、双目相机的翻滚角偏差Δr、双目相机的高度偏差ΔH和双目相机的前后偏差ΔD，记为第一参数组A；不影响水平视差匹配运算的参数有双目相机的镜头焦距f、左右成像元件中心位置的横坐标cx、双目相机的偏航角偏差Δy(通常，当双目相机的偏航角偏差Δy的角度小于5度时可以忽略台形畸变产生的垂直视差)和双目相机的基线长b，记为第二参数组B。当双目相机的偏航角偏差Δy和俯仰角偏差Δp不大于5度时，其偏差对图像造成的影响与元件中心位置的横纵坐标cx和cy类似，在本实施例中将元件中心位置的横纵坐标cx和cy默认在图像的中心位置，双目相机的中心点偏差通过双目相机的偏航角偏差Δy和俯仰角偏差Δp进行修正；另外，双目相机的镜头焦距f为已知量，不需要进行修正；最终得到的所述第一参数组A及所述第二参数组B的参数如下：
第一参数组A＝{Δp,Δr,ΔH,ΔD}
第二参数组B＝{Δy,b}
其中，所述第一参数组A中参数的偏差将导致双目图像产生垂直方向的偏差，影响深度匹配运算过程，修正所述第一参数组A的参数，可以使左右图像匹配像素在同一水平线上，从而大幅减轻视差计算步骤的计算量；所述第二参数组B中参数的偏差将导致双目图像产生水平方向偏差，即造成视差偏差或深度偏差，修正所述第二参数组B的参数可以通过视差得到准确的三维数据结果。
需要说明的是，在实际使用中，可根据需要将相关的内参或外参加入到本发明的所述第一参数组A或所述第二参数组B中，不以本实施例为限。
具体地，在已知所述双目相机的内外参的情况下，采用标准校正算法对左右原始图像进行校正，所述标准校正算法包括但不限于opencv算法库当中的stereoRectify函数，matlab也有这种函数，在此不一一赘述。校正后所述第一参数组A中的双目相机的俯仰角偏差Δp、翻滚角偏差Δr、高度偏差ΔH、前后偏差ΔD(均为偏差参数)的值均为0(或接近0的一阈值范围内)；所述第二参数组B中的双目相机的偏航角偏差Δy(偏差参数)的值为0(或接近0的一阈值范围内)；实际应用中，双目相机的基线长b更新为b+Δb，Δb为双目相机基线长的修正量，可通过非线性优化计算得到，理论上更新后的双目相机的基线长b满足：sqrt(b*b+ΔH'*ΔH'+ΔD'*ΔD')，其中，ΔH'为高度偏差ΔH的修正量，ΔD'为前后偏差ΔD的修正量。
3)从左右校正图像中分别提取特征点，并对左右校正图像中的特征点进行匹配得到匹配的特征点对，对误匹配的特征点进行过滤。
具体地，作为示例，在本实施例中，基于四叉树提取策略提取所述特征点，使得各特征点在校正后的左右图像中均匀分布；在实际使用中任意提取特征点的方法均适用于本发明，不限于本实施例。提取特征点后基于匹配算法对左右校正图像中的特征点进行匹配，得到特征点对；并过滤误匹配的特征点。
4)统计各特征点对的左右图像纵坐标偏差，若所述纵坐标偏差的平均值大于第一阈值则对所述第一参数组中至少一个参数进行修正估计，重新校准后再次与所述第一阈值比较，反复迭代修正，直至所述纵坐标偏差的平均值小于所述第一阈值，更新所述第一参数组。
具体地，将图像分辨率记为ResU x ResV，其中ResU为每行的像素数，ResV为每列的像素数。特征点对在左右图的像素坐标设为(UL,VL)和(UR,VR)，坐标系如图2所示，原点为图像中心位置，U轴向右，V轴向下，特征对数量为N。所述纵坐标偏差的平均值满足如下关系式：
Figure BDA0002597318100000071
其中，VErr为所述纵坐标偏差值的平均值；wk为第k对特征点对的权重，在本示例中，默认为1，在实际使用中可根据需要设定权重wk的值，各特征点对的权重wk可以是相同值，也可以是不同值；VLk为第k对特征点对在左图像中的纵坐标；VRk为第k对特征点对在右图像中的纵坐标；N为特征点对的数量。
作为本发明的一种实现方式，在本实施例中，在修正所述第一参数组A之前，设置如下中间变量：
Figure BDA0002597318100000072
由几何关系可得出所述第一参数组A中各参数的解算方程如下：
Figure BDA0002597318100000073
Figure BDA0002597318100000074
Figure BDA0002597318100000075
Figure BDA0002597318100000076
其中，UCk,VCk,UDk,VDk为中间变量，ULk为第k对特征点对在左图像中的横坐标，URk为第k对特征点对在右图像中的横坐标。双目相机的基线长b及双目相机的镜头焦距f可采用默认值或出厂设置值，通过反复迭代修正可将垂直偏差修正，其值不准确并不影响修正效果。基于双目相机的俯仰角偏差Δp、翻滚角偏差Δr、高度偏差ΔH及前后偏差ΔD估计的修正量对图像整体进行平移和/或旋转操作，使得各特征点对左在右图像中的纵坐标基本一致(位于同一行)，即所述纵坐标偏差值的平均值VErr趋近于0(小于第一阈值)。
需要说明的是，在实际修正时，可以根据实际情况仅对影响比较严重的一个或多个参数进行修正，包括但不限于仅修正双目相机的俯仰角偏差Δp和翻滚角偏差Δr。所述第一阈值可基于实际需要设定具体数值，不以本实施例为限。
作为本发明的另一种实现方式，由于上述公式中存在近似关系，且实际情况中特征点对多个误差混合在一起，也可以通过矩阵运算或者非线性优化的方式对所述第一参数组A求解，在此不一一赘述。
作为本发明的另一种实现方式，实际操作中多种偏差混合在一起，公式计算偏差的结果往往不够精确，直接按照公式来修正的话会导致修正过量(超调)，本示例采用类似PID控制的方法，给所述第一参数组A的各修正量乘以第一系数后与对应的当前外参结果相加得到修正的参数，通过反复迭代修正的方式，首先将大误差修正到小误差，再将小误差逐渐缩小，最终完成修正过程，以此得到精确的所述第一参数组A的参数，其中，所述第一系数大于0且小于等于1。
作为本发明的另一种实现方式，各特征点对的权重wk根据特征点位置到图像中心的距离来设置，作为示例，满足如下关系式：
Figure BDA0002597318100000081
5)对场景内的物体进行分类，找到场景中的静态物体。
具体地，在本实施例中，利用语义识别算法对场景内的物体进行分类，找到所述场景中处于静止状态的物体，包括但不限于建筑、道路、路标，在此不一一列举。
6)所述双目相机处于移动状态时，基于处于所述静态物体范围内的特征点对计算静态物体的视差，并追踪所述静态物体的视差及车轮运动信息。
具体地，所述双目相机处于移动状态时，通过筛选获得静态物体范围内的特征点对，并基于特征点对计算静态物体的视差。双目相机的偏航角偏差Δy角度较小(一般角度小于5度)时，会对全图整体视差造成等量的视差偏差Δd，Δy和Δd的关系如下：
Figure BDA0002597318100000082
具体地，对所述静态物体的三维信息进行追踪，并记录追踪过程中的车轮运动信息用以计算车轮里程计。
7)基于所述车轮运动信息得到车轮运动距离，基于所述静态物体的视差得到静态物体的三维距离变化值，比较车轮运动距离与静态物体的三维距离变化值得到距离偏差，若所述距离偏差大于第二阈值则对所述第二参数组进行修正估计，并基于校准后的图像重新计算静态物体的三维距离，反复迭代校正，直至所述距离偏差小于所述第二阈值，更新所述第二参数组，完成对双目相机参数的自标定。
如图3所示，假设车体带动所述双目相机在t1到t2时间段内行驶，且t1时刻和t2时刻由车轮里程计计算的朝向基本一致，即t1时刻和t2时刻之间的行驶路径可以不保持绝对直线行驶，t1时刻和t2时刻的朝向一致即可，作为示例，汽车换道过程，换道前和换到后朝向一致，由所述车轮里程计得到车体在前进方向的车轮运动距离为ΔM。在本实施例中，以左图像采集单元的光学中心为原点建立坐标系，X轴指向车身右侧，Z轴指向车身正前方，则在车体向前行进ΔM距离后，静态物体在Z方向的移动距离应该接近所述车轮运动距离ΔM。此时间段对静态物体的特征点集合进行追踪，对应t1时刻和t2时刻的左图(或右图)的像素坐标分别为(U1，V1)和(U2，V2)，视差集合分别为D1和D2，静态特征集合在t1时刻和t2时刻所述静态物体的三维距离变化值合集ΔZ的解算方程如下：
Figure BDA0002597318100000091
由于所述静态物体的三维距离变化值合集ΔZ中的每一个变化值与所述车轮运动距离ΔM接近，因此可以得出如下非线性方程对所述第二参数组B求解：
Figure BDA0002597318100000092
基于上式求解右侧式子值最小时的Δb及Δd，其中，Δb为双目相机基线长的修正量，D1i、D2i分别为第i个静态物体在t1时刻及t2时刻的视差值。经过多组数据反复迭代修正所述第二参数组B，当上述非线性方程的误差小于第二阈值时结束参数修正，并用新的参数更新当前所述第二参数组B，即可完成对双目相机的自标定。所述第二阈值可基于实际需要设定具体数值，不以本实施例为限。
需要说明的是，本实施例以车体在前进方向的车轮运动距离ΔM及静态物体三维距离变化值合集ΔZ进行比较进而修正所述第二参数组。在实际使用中，可基于车体的任意移动方向进行比较，不以本实施例为限。
作为本发明的另一种实现方式，为了防止修正过量(超调)，对所述第二参数组B中的参数进行修正时，给所述第二参数组B的各修正量乘以第二系数后与对应的当前外参结果相加得到修正的参数，通过反复迭代修正的方式最终完成修正过程，其中，所述第二系数大于0且小于等于1。
作为本发明的另一种实现方式，所述定焦双目相机自标定方法还包括：8)根据修正的所述第一参数组及所述第二参数组计算视野环境内的三维信息并输出。
实施例二
如图4所示，本实施例提供一种定焦双目相机自标定系统，所述定焦双目相机自标定系统包括：
移动平台、双目相机、图像处理单元110及移动平台控制单元210。
如图4所示，所述移动平台包括但不限于移动机器人平台、车体，在此不一一列举。
具体的，所述移动平台包括承载台及车轮，在本实施例中，包括四个车轮，分别为第一车轮201、第二车轮202、第三车轮203及第四车轮204。各车轮包括轮子、电机及编码器，所述电机驱动所述轮子转动；所述编码器用于记录所述轮子的转动角度及圈数，实时读回各编码器的值，并根据各编码器的值可推算所述移动平台的位移变化。
如图4所示，所述双目相机设置于所述移动平台上，用于获取左右图像。
具体地，所述双目相机包括两个图像采集单元，第一图像采集单元101及第二图像采集单元102，所述第一图像采集单元101及所述第二图像采集单元102设置并朝向所述移动平台的前端，且所述第一图像采集单元101及所述第二图像采集单元102具有同步触发关系、同样的分辨率、同样焦段的定焦镜头，成像平面处于同一个平面上。
如图4所示，所述图像处理单元110设置于所述移动平台上，且与所述双目相机及所述移动平台控制单元210连接，执行实施例一的定焦双目相机自标定方法，实现自标定。
具体地，所述图像处理单元110从所述第一图像采集单元101及所述第二图像采集单元102获取实时图像数据，并进行数据处理；同时从所述移动平台控制单元210获取车轮里程；进而通过实时图像追踪和车体运动信息，对内外参进行优化标定，并完成相关图像校正工作，使双目相机能够为移动平台提供准确的三维识别数据。
需要说明的是，自标定的方法参见实施例一，在此不一一赘述。
如图4所示，所述移动平台控制单元210设置于所述移动平台上，且与所述移动平台的车轮连接，控制所述车轮转动并获取所述车轮的运动距离。
综上所述，本发明提供一种定焦双目相机自标定方法及系统，包括：1)分别从双目相机的两个图像采集单元获取左右原始图像；2)根据当前第一参数组及第二参数组构建双目外参矩阵，对左右原始图像进行校正，得到左右校正图像；其中，第一参数组影响垂直方向视差，第二参数组影响水平方向视差；3)从左右校正图像中分别提取特征点，并对左右校正图像中的特征点进行匹配得到匹配的特征点对，对误匹配的特征点进行过滤；4)统计各特征点对的左右图像纵坐标偏差，若所述纵坐标偏差的平均值大于第一阈值则对所述第一参数组中至少一个参数进行修正估计，重新校准后再次与所述第一阈值比较，反复迭代修正，直至所述纵坐标偏差的平均值小于所述第一阈值，更新所述第一参数组；5)对场景内的物体进行分类，找到场景中的静态物体；6)所述双目相机处于移动状态时，基于处于所述静态物体范围内的特征点对计算静态物体的视差，并追踪所述静态物体的视差及车轮运动信息；7)基于所述车轮运动信息得到车轮运动距离，基于所述静态物体的视差得到静态物体的三维距离变化值，比较车轮运动距离与静态物体的三维距离变化值得到距离偏差，若所述距离偏差大于第二阈值则对所述第二参数组进行修正估计，并基于校准后的图像重新计算静态物体的三维距离，反复迭代校正，直至所述距离偏差小于所述第二阈值，更新所述第二参数组，完成对双目相机参数的自标定。本发明的定焦双目相机自标定方法及系统不依靠事先准备的标定工具，利用实时图像追踪和车体运动信息，对包括外参的旋转以及平移偏差在内的参数进行优化标定的方法，并完成相关图像校正工作，使双目相机能够为车体提供准确的三维识别数据。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (17)

1.一种定焦双目相机自标定方法，其特征在于，所述定焦双目相机自标定方法至少包括：
1)分别从双目相机的两个图像采集单元获取左右原始图像；
2)根据当前第一参数组及第二参数组构建双目外参矩阵，对左右原始图像进行校正，得到左右校正图像；其中，第一参数组影响垂直方向视差，第二参数组影响水平方向视差；
3)从左右校正图像中分别提取特征点，并对左右校正图像中的特征点进行匹配得到匹配的特征点对，对误匹配的特征点进行过滤；
4)统计各特征点对的左右图像纵坐标偏差，若所述纵坐标偏差的平均值大于第一阈值则对所述第一参数组中至少一个参数进行修正估计，重新校准后再次与所述第一阈值比较，反复迭代修正，直至所述纵坐标偏差的平均值小于所述第一阈值，更新所述第一参数组；
5)对场景内的物体进行分类，找到场景中的静态物体；
6)所述双目相机处于移动状态时，基于处于所述静态物体范围内的特征点对计算静态物体的视差，并追踪所述静态物体的视差及车轮运动信息；
7)基于所述车轮运动信息得到车轮运动距离，基于所述静态物体的视差得到静态物体的三维距离变化值，比较车轮运动距离与静态物体的三维距离变化值得到距离偏差，若所述距离偏差大于第二阈值则对所述第二参数组进行修正估计，并基于校准后的图像重新计算静态物体的三维距离，反复迭代校正，直至所述距离偏差小于所述第二阈值，更新所述第二参数组，完成对双目相机参数的自标定。
2.根据权利要求1所述的定焦双目相机自标定方法，其特征在于：所述第一参数组中的参数包括双目相机的俯仰角偏差、翻滚角偏差、高度偏差及前后偏差。
3.根据权利要求2所述的定焦双目相机自标定方法，其特征在于：所述第二参数组中的参数包括双目相机的偏航角偏差及基线长。
4.根据权利要求3所述的定焦双目相机自标定方法，其特征在于：步骤4)中所述纵坐标偏差的平均值满足如下关系式：
Figure FDA0002597318090000011
Figure FDA0002597318090000012
Figure FDA0002597318090000021
Figure FDA0002597318090000022
Figure FDA0002597318090000023
Figure FDA0002597318090000024
其中，VErr为所述纵坐标偏差值的平均值，wk为第k对特征点对的权重，VLk为第k对特征点对在左图像中的纵坐标，VRk为第k对特征点对在右图像中的纵坐标，N为特征点对的数量，UCk,VCk,UDk,VDk为中间变量，ULk为第k对特征点对在左图像中的横坐标，URk为第k对特征点对在右图像中的横坐标，Δp为双目相机的俯仰角偏差，Δr为双目相机的翻滚角偏差，ΔH为双目相机的高度偏差，ΔD为双目相机的前后偏差，b为双目相机的基线长，f为双目相机的镜头焦距。
5.根据权利要求4所述的定焦双目相机自标定方法，其特征在于：将求解所述第一参数组中各参数的方法替换为矩阵运算或者非线性优化方式。
6.根据权利要求4所述的定焦双目相机自标定方法，其特征在于：第k对特征点对的权重wk为默认值或第k对特征点对的权重wk满足如下关系：
Figure FDA0002597318090000025
其中，ResU为左右图像每行的像素数，ResV为左右图像每列的像素数。
7.根据权利要求4～6任意一项所述的定焦双目相机自标定方法，其特征在于：步骤3)中对所述第一参数组中的参数进行修正时，将修正量乘以第一系数后进行修正，得到修正的参数，其中，所述第一系数大于0且小于等于1。
8.根据权利要求1所述的定焦双目相机自标定方法，其特征在于：步骤3)中基于四叉树提取策略提取所述特征点，使得各特征点在校正后的左右图像中均匀分布。
9.根据权利要求1所述的定焦双目相机自标定方法，其特征在于：步骤5)中采用语义识别找到所述静态物体。
10.根据权利要求1所述的定焦双目相机自标定方法，其特征在于：步骤7)中，所述静态物体的三维距离变化值满足如下关系式：
Figure FDA0002597318090000031
Figure FDA0002597318090000032
其中，ΔZ为静态物体的三维距离变化值合集，b为双目相机的基线长，f为双目相机的镜头焦距，D1、D2分别为静态物体在t1时刻及t2时刻的视差合集，Δd为视差偏差，Δy为双目相机的偏航角偏差。
11.根据权利要求10所述的定焦双目相机自标定方法，其特征在于：所述距离偏差满足如下关系式：
Figure FDA0002597318090000033
其中，Δb为双目相机基线长的修正量，ΔM为所述车轮运动距离，D1i、D2i分别为第i个静态物体在t1时刻及t2时刻的视差值。
12.根据权利要求10～11任意一项所述的定焦双目相机自标定方法，其特征在于：步骤7)中对所述第二参数组中的参数进行修正时，将修正量乘以第二系数后进行修正，得到修正的参数，其中，所述第二系数大于0且小于等于1。
13.根据权利要求1所述的定焦双目相机自标定方法，其特征在于：步骤7)中追踪的起始时刻及追踪的最终时刻，所述双目相机的朝向一致。
14.根据权利要求1所述的定焦双目相机自标定方法，其特征在于：所述定焦双目相机自标定方法还包括8)根据修正的所述第一参数组及所述第二参数组计算视野环境内的三维信息。
15.一种定焦双目相机自标定系统，其特征在于，所述定焦双目相机自标定系统至少包括：
移动平台、双目相机、图像处理单元及移动平台控制单元；
所述双目相机设置于所述移动平台上，用于获取左右图像；
所述图像处理单元设置于所述移动平台上，且与所述双目相机及所述移动平台控制单元连接，执行如权利要求1～14任意一项所述的定焦双目相机自标定方法，实现自标定；
所述移动平台控制单元设置于所述移动平台上，且与所述移动平台的车轮连接，控制所述车轮转动并获取所述车轮的运动距离。
16.根据权利要求15所述的定焦双目相机自标定系统，其特征在于：所述双目相机的两个图像采集单元具有同步触发关系、同样的分辨率、同样焦段的定焦镜头，成像平面处于同一个平面上。
17.根据权利要求15所述的定焦双目相机自标定系统，其特征在于：所述移动平台的车轮包括轮子、电机及编码器，所述电机驱动所述轮子转动，所述编码器用于记录所述轮子的转动角度及圈数。
CN202010713282.5A 2020-07-22 2020-07-22 定焦双目相机自标定方法及系统 Active CN111862236B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010713282.5A CN111862236B (zh) 2020-07-22 2020-07-22 定焦双目相机自标定方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010713282.5A CN111862236B (zh) 2020-07-22 2020-07-22 定焦双目相机自标定方法及系统

Publications (2)

Publication Number Publication Date
CN111862236A true CN111862236A (zh) 2020-10-30
CN111862236B CN111862236B (zh) 2023-10-20

Family

ID=72950645

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010713282.5A Active CN111862236B (zh) 2020-07-22 2020-07-22 定焦双目相机自标定方法及系统

Country Status (1)

Country Link
CN (1) CN111862236B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112907487A (zh) * 2021-03-23 2021-06-04 东软睿驰汽车技术（沈阳）有限公司 双目校正结果的确定方法、装置和电子设备
CN113610932A (zh) * 2021-08-20 2021-11-05 苏州智加科技有限公司 双目相机外参标定方法和装置
CN115988193A (zh) * 2022-12-09 2023-04-18 广纳四维(广东)光电科技有限公司 一种基于单镜头的双目合像方法、光学模组及头显设备

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105469386A (zh) * 2015-11-11 2016-04-06 浙江大华技术股份有限公司 一种确定立体相机高度与俯仰角的方法及装置
CN105931261A (zh) * 2016-07-08 2016-09-07 北京格灵深瞳信息技术有限公司 一种双目立体相机外参数修正方法及装置
CN107133983A (zh) * 2017-05-09 2017-09-05 河北科技大学 成捆圆钢端面双目视觉系统与空间定位及计数方法
US20180322658A1 (en) * 2017-02-27 2018-11-08 Anhui Huami Information Technology Co.,Ltd. Camera Calibration
CN108830905A (zh) * 2018-05-22 2018-11-16 苏州敏行医学信息技术有限公司 仿真医疗器械的双目标定定位方法及虚拟仿真医教系统
CN109313813A (zh) * 2016-06-01 2019-02-05 奥托立夫开发公司 用于机动车辆的视觉系统和方法
CN109598762A (zh) * 2018-11-26 2019-04-09 江苏科技大学 一种高精度双目相机标定方法
CN109859278A (zh) * 2019-01-24 2019-06-07 惠州市德赛西威汽车电子股份有限公司 车载相机系统相机外参的标定方法及标定系统
CN110197510A (zh) * 2019-06-05 2019-09-03 广州极飞科技有限公司 双目相机的标定方法、装置、无人机和存储介质
CN110260801A (zh) * 2019-05-13 2019-09-20 平安科技（深圳）有限公司 用于测量物料体积的方法和装置
DE102018108154A1 (de) * 2018-04-06 2019-10-10 pmdtechnologies ag Kalibriervorrichtung und Kalibrierverfahren für ein Kamerasystem
CN110796710A (zh) * 2019-10-29 2020-02-14 轻客智能科技（江苏）有限公司 基于流形空间的快速在线标定相机外参的方法和模块
CN111062990A (zh) * 2019-12-13 2020-04-24 哈尔滨工程大学 一种面向水下机器人目标抓取的双目视觉定位方法
CN111243033A (zh) * 2020-01-10 2020-06-05 大连理工大学 一种优化双目相机外参数的方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105469386A (zh) * 2015-11-11 2016-04-06 浙江大华技术股份有限公司 一种确定立体相机高度与俯仰角的方法及装置
CN109313813A (zh) * 2016-06-01 2019-02-05 奥托立夫开发公司 用于机动车辆的视觉系统和方法
CN105931261A (zh) * 2016-07-08 2016-09-07 北京格灵深瞳信息技术有限公司 一种双目立体相机外参数修正方法及装置
US20180322658A1 (en) * 2017-02-27 2018-11-08 Anhui Huami Information Technology Co.,Ltd. Camera Calibration
CN107133983A (zh) * 2017-05-09 2017-09-05 河北科技大学 成捆圆钢端面双目视觉系统与空间定位及计数方法
DE102018108154A1 (de) * 2018-04-06 2019-10-10 pmdtechnologies ag Kalibriervorrichtung und Kalibrierverfahren für ein Kamerasystem
CN108830905A (zh) * 2018-05-22 2018-11-16 苏州敏行医学信息技术有限公司 仿真医疗器械的双目标定定位方法及虚拟仿真医教系统
CN109598762A (zh) * 2018-11-26 2019-04-09 江苏科技大学 一种高精度双目相机标定方法
CN109859278A (zh) * 2019-01-24 2019-06-07 惠州市德赛西威汽车电子股份有限公司 车载相机系统相机外参的标定方法及标定系统
CN110260801A (zh) * 2019-05-13 2019-09-20 平安科技（深圳）有限公司 用于测量物料体积的方法和装置
CN110197510A (zh) * 2019-06-05 2019-09-03 广州极飞科技有限公司 双目相机的标定方法、装置、无人机和存储介质
CN110796710A (zh) * 2019-10-29 2020-02-14 轻客智能科技（江苏）有限公司 基于流形空间的快速在线标定相机外参的方法和模块
CN111062990A (zh) * 2019-12-13 2020-04-24 哈尔滨工程大学 一种面向水下机器人目标抓取的双目视觉定位方法
CN111243033A (zh) * 2020-01-10 2020-06-05 大连理工大学 一种优化双目相机外参数的方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
GUODONG ZHAI等: ""Coal Mine Rescue Robots Based on Binocular Vision: A Review of the State of the Art"", 《IEEE》 *
荆旭;邱世广;尹旭悦;范秀敏;何其昌;: "光轴外扩式布置的双目相机图像立体校正", 上海交通大学学报, no. 02 *
高齐竹慧, 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112907487A (zh) * 2021-03-23 2021-06-04 东软睿驰汽车技术（沈阳）有限公司 双目校正结果的确定方法、装置和电子设备
CN113610932A (zh) * 2021-08-20 2021-11-05 苏州智加科技有限公司 双目相机外参标定方法和装置
CN113610932B (zh) * 2021-08-20 2024-06-04 苏州智加科技有限公司 双目相机外参标定方法和装置
CN115988193A (zh) * 2022-12-09 2023-04-18 广纳四维(广东)光电科技有限公司 一种基于单镜头的双目合像方法、光学模组及头显设备
CN115988193B (zh) * 2022-12-09 2024-02-09 广纳四维(广东)光电科技有限公司 一种基于单镜头的双目合像方法、光学模组及头显设备

Also Published As

Publication number Publication date
CN111862236B (zh) 2023-10-20

Similar Documents

Publication Publication Date Title
CN111862234B (zh) 双目相机自标定方法及系统
CN111862235A (zh) 双目相机自标定方法及系统
CN110569704B (zh) 一种基于立体视觉的多策略自适应车道线检测方法
CN109308693B (zh) 由一台ptz相机构建的目标检测和位姿测量单双目视觉系统
CN110136208B (zh) 一种机器人视觉伺服系统的联合自动标定方法及装置
CN112396664B (zh) 一种单目摄像机与三维激光雷达联合标定及在线优化方法
CN109344882B (zh) 基于卷积神经网络的机器人控制目标位姿识别方法
CN110853075B (zh) 一种基于稠密点云与合成视图的视觉跟踪定位方法
CN114399554B (zh) 一种多相机系统的标定方法及系统
CN110146099B (zh) 一种基于深度学习的同步定位与地图构建方法
CN110842940A (zh) 一种建筑测量机器人多传感器融合三维建模方法及系统
CN102722697B (zh) 一种无人飞行器视觉自主导引着陆的目标跟踪方法
CN111862236B (zh) 定焦双目相机自标定方法及系统
CN111897349A (zh) 一种基于双目视觉的水下机器人自主避障方法
CN114693787B (zh) 停车库建图与定位方法、系统及车辆
CN102842117A (zh) 显微视觉系统中运动误差矫正方法
CN114022560A (zh) 标定方法及相关装置、设备
CN107845145B (zh) 一种电子显微场景下的三维重构系统及方法
CN104167001B (zh) 基于正交补偿的大视场摄像机标定方法
CN112419411A (zh) 一种基于卷积神经网络和光流特征视觉里程计的实现方法
CN113239072B (zh) 一种终端设备定位方法及其相关设备
CN113313659A (zh) 一种多机协同约束下高精度图像拼接方法
CN116879870B (zh) 一种适用于低线束3d激光雷达的动态障碍物去除方法
CN112258582B (zh) 一种基于道路场景识别的相机姿态标定方法及装置
CN113345032B (zh) 一种基于广角相机大畸变图的初始化建图方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant