CN113554711B - 相机在线标定方法、装置、计算机设备和存储介质 - Google Patents
相机在线标定方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN113554711B CN113554711B CN202010338913.XA CN202010338913A CN113554711B CN 113554711 B CN113554711 B CN 113554711B CN 202010338913 A CN202010338913 A CN 202010338913A CN 113554711 B CN113554711 B CN 113554711B
- Authority
- CN
- China
- Prior art keywords
- frame image
- camera
- current frame
- initial
- pose
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 238000005457 optimization Methods 0.000 claims abstract description 40
- 239000011159 matrix material Substances 0.000 claims description 121
- 230000008859 change Effects 0.000 claims description 88
- 238000004590 computer program Methods 0.000 claims description 29
- 238000004422 calculation algorithm Methods 0.000 claims description 25
- 230000003287 optical effect Effects 0.000 claims description 10
- 238000011426 transformation method Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 6
- 238000000354 decomposition reaction Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 125000004122 cyclic group Chemical group 0.000 description 4
- 238000005259 measurement Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请涉及智能汽车技术领域，尤其是一种相机在线标定方法、装置、计算机设备和存储介质。所述方法包括：获取相机所拍摄的当前帧图像、上一帧图像以及从上一帧图像到当前帧图像车辆的行驶里程；根据所述当前帧图像、上一帧图像以及所述行驶里程计算得到与所述当前帧图像对应的每个相机的初始位姿值；获取与所述当前帧图像对应的各个相机的初始高度；根据各个所述相机的初始位姿值、初始高度以及所述行驶里程进行全局优化，以使得全局重投影误差最小，得到与所述当前帧图像对应的各个相机的当前位姿值并作为标定值。采用本方法能够提高相机在线标定准确性。
Description
技术领域
本申请涉及智能车辆技术领域，特别是涉及一种相机在线标定方法、装置、计算机设备和存储介质。
背景技术
相机标定数据的准确性直接决定了全景环视系统的性能。在实际使用过程中，传统的方案通常采用离线标定的方式获得相机标定。然而此类方案需要高精度的标定工位以及繁杂的人工操作，成本高，不易推广，且无法满足实时标定需求。进而发展出在线标定方案，一般要求车辆行驶在特定道路上进行标定。然而此类方案一般依赖于一个合理的初值，同时也要求在符合要求的道路上进行标定，当初值不正确时，则会造成标定存在误差。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高相机在线标定准确性的相机在线标定方法、装置、计算机设备和存储介质。
一种相机在线标定方法，所述方法包括：
获取相机所拍摄的当前帧图像、上一帧图像以及从上一帧图像到当前帧图像车辆的行驶里程；
根据所述当前帧图像、上一帧图像以及所述行驶里程计算得到与所述当前帧图像对应的每个相机的初始位姿值；
获取与所述当前帧图像对应的各个相机的初始高度；
根据各个所述相机的初始位姿值、初始高度以及所述行驶里程进行全局优化，以使得全局重投影误差最小，得到与所述当前帧图像对应的各个相机的当前位姿值并作为标定值。
上述实施例中，无需对标定场景进行限定，仅需按照特定驾驶操作，在任意平整的纹理丰富的环境下即可完成标定，相对于传统标定方案和市场上绝大多数在线标定方案，本实施例成本低，人员操作要求最少，适用场景广泛，同时能够保证在不同操作人员操作下，标定结果的准确性。
在其中一个实施例中，所述根据所述当前帧图像、上一帧图像以及所述行驶里程计算得到与所述当前帧图像对应的每个相机的初始位姿值，包括：
根据单个相机的所述当前帧图像以及上一帧图像得到单个相机在世界坐标系下的相机位姿变化矩阵；
根据所述车辆的行驶里程得到所述当前帧图像对应的车辆在世界坐标系下的车辆位置变化矩阵；
根据手眼标定算法得到与所述当前帧图像对应的单个相机的初始位姿值。
上述实施例中，不仅根据相机的当前帧图像以及上一帧图像得到单个相机在世界坐标系下的相机位姿变化矩阵，且由于车辆仅能提供平面运动，无法获得各个相机的高度初值，因此还结合车辆的行驶里程得到了当前帧图像对应的车辆在世界坐标系下的车辆位置变化矩阵，使得单个相机的初始位姿值更加准确，进而在该合理的初值的情况下，可以保证后续相机在线标定的准确性。
在其中一个实施例中，所述根据单个相机的所述当前帧图像以及上一帧图像得到单个相机在世界坐标系下的相机位姿变化矩阵，包括：
当所述当前帧图像为所述相机拍摄的第二帧图像时，获取所述第二帧图像以及第一帧图像中的匹配点对；
根据所获取的匹配点对通过求解本质矩阵的方法计算得到相机位姿变化矩阵。
上述实施例中，由于一开始时没有关于相机位姿的初值的，本实施例中通过本质矩阵分解的方式求得一个估计的位姿，从而进行启动，进而可以得到相机位姿变化矩阵，进而根据该相机位姿变化矩阵来计算后续各个帧的图像中的相机位姿，更加准确。
在其中一个实施例中，所述根据单个相机的所述当前帧图像以及上一帧图像得到单个相机在世界坐标系下的相机位姿变化矩阵，包括：
当所述当前帧图像不为第一帧图像和第二帧图像时，根据手眼标定算法以及上一帧图像对应的相机位姿变化矩阵，获取所述上一帧图像的相机位姿矩阵；
获取所述上一帧帧图像以及当前帧图像中的匹配点对，根据所述上一帧图像的相机位姿矩阵和所述匹配点对得到对应的三维估计点；
根据所述三维估计点和所述相机位姿矩阵进行最小化重投影，得到所述当前帧图像对应的相机位姿变化矩阵。
上述实施例中，通过循环的方式来求得每一帧图像对应的单个相机的位姿，根据相机位姿变化矩阵进行循环，使得每一帧图像的相机位姿更加准确。
在其中一个实施例中，所述根据所述当前帧图像、上一帧图像以及所述行驶里程计算得到与所述当前帧图像对应的每个相机的初始位姿值，还包括：
通过消失点方法或者是利用光流跟踪方法，根据所述当前帧图像、上一帧图像以及所述行驶里程计算得到与所述当前帧图像对应的每个相机的初始位姿值。
上述实施例中，还可以通过消失点方法或者是利用光流跟踪方法来求得每个相机的初始位姿值，为后续全局优化奠定基础。
在其中一个实施例中，所述获取与所述当前帧图像对应的各个相机的初始高度，包括：
从所述当前帧图像中获取到终止特征点，以及从所述上一帧图像中获取到对应的起始特征点；
根据所述起始点和终止点的距离，以及车辆的行驶里程计算得到各个相机的初始高度。
上述实施例中，由于车辆仅能提供平面运动，无法获得各个相机的高度初值，因此还结合车辆的行驶里程得到了当前帧图像对应的车辆在世界坐标系下的车辆位置变化矩阵，使得单个相机的初始位姿值更加准确，进而在该合理的初值的情况下，可以保证后续相机在线标定的准确性。
在其中一个实施例中，所述获取与所述当前帧图像对应的各个相机的初始高度，包括：
通过安装在车辆上的传感器获取到与所述当前帧图像对应的各个相机的初始高度。
上述实施例中，由于车辆仅能提供平面运动，无法获得各个相机的高度初值，因此还结合车辆的行驶里程得到了当前帧图像对应的车辆在世界坐标系下的车辆位置变化矩阵，使得单个相机的初始位姿值更加准确，进而在该合理的初值的情况下，可以保证后续相机在线标定的准确性
在其中一个实施例中，所述获取与所述当前帧图像对应的各个相机的初始高度，包括：
根据投影变换方法或者是点云拟合地面方式获取与所述当前帧图像对应的各个相机的初始高度。
上述实施例中，由于车辆仅能提供平面运动，无法获得各个相机的高度初值，因此还结合车辆的行驶里程得到了当前帧图像对应的车辆在世界坐标系下的车辆位置变化矩阵，使得单个相机的初始位姿值更加准确，进而在该合理的初值的情况下，可以保证后续相机在线标定的准确性。
在其中一个实施例中，所述根据各个所述相机的初始位姿值、初始高度以及所述行驶里程进行全局优化，以使得全局重投影误差最小，得到与所述当前帧图像对应的各个相机的当前位姿值并作为标定值，包括：
采用光束平差法根据各个所述相机的初始位姿值、初始高度以及所述行驶里程进行全局优化，以使得全局重投影误差最小，得到与所述当前帧图像对应的各个相机的当前位姿值并作为标定值。
上述实施例中，采用光束平差法使得所有特征点重投影到世界坐标中重合的误差最小，得到所有相机的位姿的最优解，更加准确。
一种相机在线标定装置，所述装置包括：
数据获取模块，用于获取相机所拍摄的当前帧图像、上一帧图像以及从上一帧图像到当前帧图像车辆的行驶里程；
单个相机初始位姿值获取模块，用于根据所述当前帧图像、上一帧图像以及所述行驶里程计算得到与所述当前帧图像对应的每个相机的初始位姿值；
单个相机的初始高度获取模块，用于获取与所述当前帧图像对应的各个相机的初始高度；
全局优化模块，用于根据各个所述相机的初始位姿值、初始高度以及所述行驶里程进行全局优化，以使得全局重投影误差最小，得到与所述当前帧图像对应的各个相机的当前位姿值并作为标定值。
上述实施例中，无需对标定场景进行限定，仅需按照特定驾驶操作，在任意平整的纹理丰富的环境下即可完成标定，相对于传统标定方案和市场上绝大多数在线标定方案，本实施例成本低，人员操作要求最少，适用场景广泛，同时能够保证在不同操作人员操作下，标定结果的准确性。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
上述实施例中，无需对标定场景进行限定，仅需按照特定驾驶操作，在任意平整的纹理丰富的环境下即可完成标定，相对于传统标定方案和市场上绝大多数在线标定方案，本实施例成本低，人员操作要求最少，适用场景广泛，同时能够保证在不同操作人员操作下，标定结果的准确性。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
上述实施例中，无需对标定场景进行限定，仅需按照特定驾驶操作，在任意平整的纹理丰富的环境下即可完成标定，相对于传统标定方案和市场上绝大多数在线标定方案，本实施例成本低，人员操作要求最少，适用场景广泛，同时能够保证在不同操作人员操作下，标定结果的准确性。
附图说明
图1为一个实施例中相机在线标定方法的应用环境图；
图2为一个实施例中相机在线标定方法的流程示意图；
图3为一个实施例中的单个相机的初始位姿值获取步骤的流程图；
图4为一个实施例中通过手眼标定算法求解单个相机的初始位姿值的示意图；
图5为图2所示实施例中的步骤S204的示意图；
图6为一个实施例中的相机初始高度获取过程的示意图；
图7为一个实施例中相机在线标定装置的结构框图；
图8为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的相机在线标定方法，可以应用于如图1所示的应用环境中。其中，相机102可以与车辆上的控制器104进行通信。从而控制器104可以获取到相机所拍摄的图像，并根据该些图像来实时获取到对应的每个相机的初始位姿值，例如根据当前帧图像、上一帧图像以及行驶里程计算得到与当前帧图像对应的每个相机的初始位姿值，并获取与当前帧图像对应的各个相机的初始高度；从而根据各个相机的初始位姿值、初始高度以及行驶里程进行全局优化，以使得全局重投影误差最小，得到与当前帧图像对应的各个相机的当前位姿值并作为标定值，这样无需对标定场景进行限定，仅需按照特定驾驶操作，在任意平整的纹理丰富的环境下即可完成标定，相对于传统标定方案和市场上绝大多数在线标定方案，本实施例成本低，人员操作要求最少，适用场景广泛，同时能够保证在不同操作人员操作下，标定结果的准确性。
在一个实施例中，如图2所示，提供了一种相机在线标定方法，以该方法应用于图1中的控制器为例进行说明，包括以下步骤：
S202：获取相机所拍摄的当前帧图像、上一帧图像以及从上一帧图像到当前帧图像车辆的行驶里程。
具体地，一个车辆上可以安装有多个相机，每个相机所拍摄的图像可以携带有时间戳，这样控制器可以根据时间戳来确定对应的当前帧图像。当前帧图像是指本时刻相机所拍摄的图像。上一帧图像是指各个相机所采集的与当前帧图像相邻的上一帧图像。车辆的行驶里程是指从上一帧图像到当前帧图像这个采集期间车辆的行驶距离，该距离可以是通过车辆上安装的传感器采集到车辆的行驶速度，然后获取到从上一帧图像到当前帧图像之间的时间间隔，通过该行驶速度以及该时间间隔计算得到的。
可选地，控制器可以将各个相机所拍摄的图像进行划分，例如一个相机所拍摄的图像组成一个图像组，并且在图像组中按照拍摄的时间对图像帧进行排序，以方便后续的处理。
S204：根据当前帧图像、上一帧图像以及行驶里程计算得到与当前帧图像对应的每个相机的初始位姿值。
具体地，控制器可以首先根据当前帧图像以及上一帧图像来获取到相机的位姿变化矩阵，这是由于车辆行驶过程中周围的参照物，例如地面或者是树木等不会发生变化，因此可以根据该些静止参照物以及车辆的行驶里程来得到车辆的位姿变化矩阵，且还可以结合车辆的行驶里程来确定车辆的位置变化矩阵，从而可以得到单个相机的位姿估计值，即此处的初始位姿值，也就是当前帧图像所对应的相机的初始位姿值。
具体地，控制器可以通过多种方式来获取到相机的初始位姿值，例如，在其中一个实施例中，根据当前帧图像、上一帧图像以及行驶里程计算得到与当前帧图像对应的每个相机的初始位姿值，包括：通过消失点方法、PnP算法(PnP求解算法是指通过多对3D与2D匹配点，在已知或者未知相机内参的情况下，利用最小化重投影误差来求解相机外参的算法)或者是利用光流跟踪方法，根据当前帧图像、上一帧图像以及行驶里程计算得到与当前帧图像对应的每个相机的初始位姿值。该实施例中，还可以通过消失点方法或者是利用光流跟踪方法来求得每个相机的初始位姿值，为后续全局优化奠定基础。
S206：获取与当前帧图像对应的各个相机的初始高度。
具体地，因车辆仅能提供平面运动，上述的初始位姿值仅能表示平面的平移初值，无法获得各个相机的高度初值。因此需要估计各个相机的初始高度，该初始高度的估计可以采用多种方法，例如通过结合车辆的里程计信息，利用投影变换解得各个相机的高度估计，或者也可以通过其他方式，例如点云拟合地面方程，添加传感器直接获得相机高度等。
在其中一个实施例中，获取与当前帧图像对应的各个相机的初始高度，包括：通过安装在车辆上的传感器获取到与当前帧图像对应的各个相机的初始高度。在其中一个实施例中，获取与当前帧图像对应的各个相机的初始高度，包括：根据投影变换方法或者是点云拟合地面方式获取与当前帧图像对应的各个相机的初始高度。该实施例中，由于车辆仅能提供平面运动，无法获得各个相机的高度初值，因此还结合车辆的行驶里程得到了当前帧图像对应的车辆在世界坐标系下的车辆位置变化矩阵，使得单个相机的初始位姿值更加准确，进而在该合理的初值的情况下，可以保证后续相机在线标定的准确性。
S208：根据各个相机的初始位姿值、初始高度以及行驶里程进行全局优化，以使得全局重投影误差最小，得到与当前帧图像对应的各个相机的当前位姿值并作为标定值。
具体地，控制器获取各个相机全自由度的初始值后，即相机的初始位姿值以及初始高度后，控制器可以进行全局优化，使得全局重投影误差最小，解得当前所有相机位姿的最优解作为各个相机的当前位姿值并作为标定值。其中，车辆的行驶里程同时提供尺度上的约束，在全局优化步骤确保位姿优化在合理范围内。
其中全局优化的目标是使得所有特征点重投影到世界坐标中重合的误差最小，其中该误差的衡量可以使用当前的相机位姿投影特征点到世界坐标中，然后计算匹配上的特征点的世界坐标的距离作为误差，求得所有误差的数学统计量的表达式，例如所有误差的和，然后进行优化使得该误差的和最小等，得到各个相机的当前位姿值并作为标定值。
可选地，在每次全局优化后，控制器判断所得到的误差是否是最小的，如果是最小的，则标定成功，从而结束，否则，则继续上述步骤S202，重新获取到当前帧，并继续进行优化。且在判断的时候，可以重新采集新的图像帧，例如采集下一图像帧，然后将各个相机对应的下一图像帧进行拼接，并获取到拼接后的同一标志物，例如相机在线标定是在平整的纹理丰富的环境内进行的，则可以获取到对应的纹理特征作为标志物，然后判断拼接后的图片中同一标注物的错位误差，若该错误误差满足要求，则说明标定成功，则结束，否则则继续获取下一帧图像作为当前帧，并重新进行相机的标定。
上述实施例中，无需对标定场景进行限定，仅需按照特定驾驶操作，在任意平整的纹理丰富的环境下即可完成标定，相对于传统标定方案和市场上绝大多数在线标定方案，本实施例成本低，人员操作要求最少，适用场景广泛，同时能够保证在不同操作人员操作下，标定结果的准确性。
在其中一个实施例中，请参照图3所示，图3为一个实施例中的单个相机的初始位姿值获取步骤的流程图，在该实施例中，主要包括以下步骤：
S302：根据单个相机的当前帧图像以及上一帧图像得到单个相机在世界坐标系下的相机位姿变化矩阵。
具体地，控制器可以通过特征匹配的方式来计算在世界坐标系下的相机位姿变化矩阵，例如上一帧图像中对应的特征点以及当前帧图像中的对应的特征点来进行计算。例如控制器可以先假设一个含有未知数的相机位姿变化矩阵，然后根据所确定的特征点代入，这样就可以求得各个未知数，从而得到在世界坐标系下的相机位姿变化矩阵。
S304：根据车辆的行驶里程得到当前帧图像对应的车辆在世界坐标系下的车辆位置变化矩阵。
具体地，车辆位置变化矩阵也是在世界坐标系下的，例如可以通过(xt，yt，zt)来表示车辆在当前帧图像中的位置，通过(xt-1，yt-1，zt-1)来表示车辆在上一帧图像中的位置，这样在已知上一帧图像中的位置，并已知车辆的行驶里程和行驶方向后，控制器可以计算得到车辆在当前帧图像中的位置(xt，yt，zt)，这样根据两个位置可以确定车辆位置变化矩阵。
S306：根据手眼标定算法得到与当前帧图像对应的单个相机的初始位姿值。
具体地，手眼标定算法的基础是：
Hcam2veh*Hcam＝Hveh*Hcam2veh (1)
其中，Hcam为相机位姿变化矩阵，Hveh为车辆位置变化矩阵，Hcam2veh为单个相机的初始位姿值。
根据上述公式，在已知了相机位姿变化矩阵以及车辆位置变化矩阵后，则可以得到单个相机的初始位姿值。
上述实施例中，不仅根据相机的当前帧图像以及上一帧图像得到单个相机在世界坐标系下的相机位姿变化矩阵，且由于车辆仅能提供平面运动，无法获得各个相机的高度初值，因此还结合车辆的行驶里程得到了当前帧图像对应的车辆在世界坐标系下的车辆位置变化矩阵，使得单个相机的初始位姿值更加准确，进而在该合理的初值的情况下，可以保证后续相机在线标定的准确性。
在其中一个实施例中，根据单个相机的当前帧图像以及上一帧图像得到单个相机在世界坐标系下的相机位姿变化矩阵，包括：当当前帧图像为相机拍摄的第二帧图像时，获取第二帧图像以及第一帧图像中的匹配点对；根据所获取的匹配点对通过求解本质矩阵的方法计算得到相机位姿变化矩阵。
上述实施例中，由于一开始时没有关于相机位姿的初值的，本实施例中通过本质矩阵分解的方式求得一个估计的位姿，从而进行启动，进而可以得到相机位姿变化矩阵，进而根据该相机位姿变化矩阵来计算后续各个帧的图像中的相机位姿，更加准确。
在其中一个实施例中，根据单个相机的当前帧图像以及上一帧图像得到单个相机在世界坐标系下的相机位姿变化矩阵，包括：当当前帧图像不为第一帧图像和第二帧图像时，根据手眼标定算法以及上一帧图像对应的相机位姿变化矩阵，获取上一帧图像的相机位姿矩阵；获取上一帧帧图像以及当前帧图像中的匹配点对，根据上一帧图像的相机位姿矩阵和匹配点对得到对应的三维估计点；根据三维估计点和相机位姿矩阵进行最小化重投影，得到当前帧图像对应的相机位姿变化矩阵。
上述实施例中，通过循环的方式来求得每一帧图像对应的单个相机的位姿，根据相机位姿变化矩阵进行循环，使得每一帧图像的相机位姿更加准确。
具体地，请参见图4和图5所示，其中图4为一个实施例中通过手眼标定算法求解单个相机的初始位姿值的示意图，图5为图2所示实施例中的步骤S204的示意图。在该实施例中，PnP算法求解出的是两帧图像之间的相机位姿变化举证，此时相机的位姿(相对于车辆)是需要通过手眼标定求解的。PnP算法每次都需要计算3D点，但其不需要相机相对车辆的位姿，只需要两帧之间相机的位姿变化举证即可。而针对第一帧，因为没有任何初值，所以需要本质矩阵分解的方式求得一个估计的位姿，作为PnP算法的输入来启动PnP算法。
具体地，结合图4和图5，以其中一个相机为例进行说明，其中控制器首先获取到相机所采集的第一帧图像，该第一帧图像是指有效帧，并不一定是相机所采集的第一帧，而是可以用于相机在线标定的第一有效帧。
控制器还获取到相机所采集的第二帧，且由于此时没有任何初值，因此控制器通过本质矩阵分解的方法获取到相机的估计位姿，其中本质矩阵则是基本矩阵的一种特殊情况，是在归一化图像坐标系下的基本矩阵。其中控制器可以获取第二帧图像以及第一帧图像中的匹配点对，例如可以根据车辆上不变的点来获取到匹配点对，例如车门的位置、轮胎的位置等等，这样获取到若干对匹配点对，然后通过求解本质矩阵的方法计算得到相机位姿变化矩阵，即图中的Hcam(1)，然后可以通过手眼标定算法、上一帧图像对应的相机位姿变化矩阵以及这两帧之间的车辆位置变化矩阵，获取上一帧图像的相机位姿矩阵，即Hcam2veh(1)。
而对于非第一帧图像和第二帧图像，由于PnP存在初值，也就是说上一帧图像对应的相机位姿变化矩阵，这样可以获取到上一帧图像的相机位姿举证，然后根据图像确定图像的匹配点，这样可以根据上一帧图像的相机位姿矩阵和匹配点对得到对应的三维估计点，也就是重投影后的点，进而控制器根据三维估计点和相机位姿矩阵进行最小化重投影，得到当前帧图像对应的相机位姿变化矩阵，其中最小化重投影可以是根据所确定的三维估计点与实际的点(根据当前帧图像确定)之间的差值作为衡量指标，最小化该衡量指标以确定得到当前帧图像对应的相机位姿变化矩阵。
这样对于后续的帧继续循环处理即可得到对应的相机位姿变换矩阵和初始位姿值。
上述实施例中，由于一开始时没有关于相机位姿的初值的，本实施例中通过本质矩阵分解的方式求得一个估计的位姿，从而进行启动，进而可以得到相机位姿变化矩阵，进而根据该相机位姿变化矩阵来计算后续各个帧的图像中的相机位姿，更加准确，此外，通过循环的方式来求得每一帧图像对应的单个相机的位姿，根据相机位姿变化矩阵进行循环，使得每一帧图像的相机位姿更加准确。
在其中一个实施例中，获取与当前帧图像对应的各个相机的初始高度，包括：从当前帧图像中获取到终止特征点，以及从上一帧图像中获取到对应的起始特征点；根据起始点和终止点的距离，以及车辆的行驶里程计算得到各个相机的初始高度。
具体地，请参见图6，图6为一个实施例中的相机初始高度获取过程的示意图。
其中，控制器可以获取到终止特征点以及从上一帧图像中获取到对应的起始特征点，该终止特征点和起始特征点是相互匹配的特征点，且位于相机上，这样控制器可以通过相似原理根据起始点和终止点的距离，以及车辆的行驶里程计算得到各个相机的初始高度。
其中图6中，x(1)是起始特征点，X(2)是终止特征点。P(1)是起始特征点对应在地面平面上的点，P(2)是终止特征点对应在地面平面上的点，其中相机的高度可以是：
上述实施例中，由于车辆仅能提供平面运动，无法获得各个相机的高度初值，因此还结合车辆的行驶里程得到了当前帧图像对应的车辆在世界坐标系下的车辆位置变化矩阵，使得单个相机的初始位姿值更加准确，进而在该合理的初值的情况下，可以保证后续相机在线标定的准确性。
在其中一个实施例中，根据各个相机的初始位姿值、初始高度以及行驶里程进行全局优化，以使得全局重投影误差最小，得到与当前帧图像对应的各个相机的当前位姿值并作为标定值，包括：
采用光束平差法根据各个相机的初始位姿值、初始高度以及行驶里程进行全局优化，以使得全局重投影误差最小，得到与当前帧图像对应的各个相机的当前位姿值并作为标定值。
具体地，控制器获取各个相机全自由度的初始值后，即各个相机的初始位姿值、初始高度，则进行全局优化，使得全局重投影误差最小，解得当前所有相机位姿的最优解。
其中优化相机位姿使得所有特征点重投影到世界坐标中重合的误差最小。衡量指标可以使用当前的相机位姿投影特征点到世界坐标中，然后计算得到的匹配上的特征点的世界坐标的距离。通过最小化该距离得到当前所有相机位姿的最优解。
上述实施例中，采用光束平差法使得所有特征点重投影到世界坐标中重合的误差最小，得到所有相机的位姿的最优解，更加准确。
请继续参见图6所示，图6为另一个实施例中的相机在线标定方法的流程图，在该实施例中，首先计算出每个相机各个初始位姿值，具体地，控制器根据单个相机两帧之间的特征匹配求取相机在世界坐标系下的位姿变化Hcam，结合车辆里程计获得车辆的位姿变化Hveh，进而求出单个相机的位姿估计值Hcam2veh。因车辆仅能提供平面运动，上述过程仅能求出平面的平移初值，无法获得各个相机的高度初值。因此需要计算估计各个相机的初始高度，最后控制器获取各个相机全自由度的初始值后，进行全局优化，使得全局重投影误差最小，解得当前所有相机位姿的最优解。相机初始位姿值的实现的算法很多，例如PnP、利用消失点、利用光流跟踪等方法均可求得鲁棒的相机位姿初值。通过结合车辆的里程计信息，可以利用投影变换解得各个相机的高度估计，或者也可以通过其他方式，例如点云拟合地面方程，添加传感器直接获得相机高度等，方法不限。车辆的里程计信息同时提供尺度上的约束，在全局优化步骤确保位姿优化在合理范围内。
上述实施例中，无需对标定场景进行限定，仅需按照特定驾驶操作，在任意平整的纹理丰富的环境下即可完成标定，相对于传统标定方案和市场上绝大多数在线标定方案，本实施例成本低，人员操作要求最少，适用场景广泛，同时能够保证在不同操作人员操作下，标定结果的准确性。
应该理解的是，虽然图2、图3以及图5和图6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、图3以及图5和图6中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图7所示，提供了一种相机在线标定装置，包括：数据获取模块100、单个相机初始位姿值获取模块200、单个相机的初始高度获取模块300和全局优化模块400，其中：
数据获取模块100，用于获取相机所拍摄的当前帧图像、上一帧图像以及从上一帧图像到当前帧图像车辆的行驶里程；
单个相机初始位姿值获取模块200，用于根据当前帧图像、上一帧图像以及行驶里程计算得到与当前帧图像对应的每个相机的初始位姿值；
单个相机的初始高度获取模块300，用于获取与当前帧图像对应的各个相机的初始高度；
全局优化模块400，用于根据各个相机的初始位姿值、初始高度以及行驶里程进行全局优化，以使得全局重投影误差最小，得到与当前帧图像对应的各个相机的当前位姿值并作为标定值。
在其中一个实施例中，上述的单个相机初始位姿值获取模块200可以包括：
相机位姿变化矩阵获取单元，用于根据单个相机的当前帧图像以及上一帧图像得到单个相机在世界坐标系下的相机位姿变化矩阵；
车辆位置变化矩阵获取单元，用于根据车辆的行驶里程得到当前帧图像对应的车辆在世界坐标系下的车辆位置变化矩阵；
单个相机的初始位姿值获取单元，用于根据手眼标定算法得到与当前帧图像对应的单个相机的初始位姿值。
在其中一个实施例中，相机位姿变化矩阵获取单元可以包括：
匹配点对获取子单元，用于当当前帧图像为相机拍摄的第二帧图像时，获取第二帧图像以及第一帧图像中的匹配点对；
第一相机位姿变化矩阵获取子单元，用于根据所获取的匹配点对通过求解本质矩阵的方法计算得到相机位姿变化矩阵。
在其中一个实施例中，相机位姿变化矩阵获取单元还可以包括：
相机位姿矩阵获取子单元，用于当当前帧图像不为第一帧图像和第二帧图像时，根据手眼标定算法以及上一帧图像对应的相机位姿变化矩阵，获取上一帧图像的相机位姿矩阵；
三维估计点获取子单元，用于获取上一帧帧图像以及当前帧图像中的匹配点对，根据上一帧图像的相机位姿矩阵和匹配点对得到对应的三维估计点；
第二相机位姿变化矩阵获取子单元，用于根据三维估计点和相机位姿矩阵进行最小化重投影，得到当前帧图像对应的相机位姿变化矩阵。
在其中一个实施例中，上述相机的初始位姿值获取模块还可以用于通过消失点方法或者是利用光流跟踪方法，根据当前帧图像、上一帧图像以及行驶里程计算得到与当前帧图像对应的每个相机的初始位姿值。
在其中一个实施例中，单个相机的初始高度获取模块300可以包括：
特征点获取单元，用于从当前帧图像中获取到终止特征点，以及从上一帧图像中获取到对应的起始特征点；
初始高度获取单元，用于根据起始点和终止点的距离，以及车辆的行驶里程计算得到各个相机的初始高度。
在其中一个实施例中，单个相机的初始高度获取模块300还可以用于通过安装在车辆上的传感器获取到与当前帧图像对应的各个相机的初始高度。
在其中一个实施例中，单个相机的初始高度获取模块300还可以用于根据投影变换方法或者是点云拟合地面方式获取与当前帧图像对应的各个相机的初始高度。
在其中一个实施例中，上述全局优化模块400还可以用于采用光束平差法根据各个相机的初始位姿值、初始高度以及行驶里程进行全局优化，以使得全局重投影误差最小，得到与当前帧图像对应的各个相机的当前位姿值并作为标定值。
关于相机在线标定装置的具体限定可以参见上文中对于相机在线标定方法的限定，在此不再赘述。上述相机在线标定装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种相机在线标定方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：获取相机所拍摄的当前帧图像、上一帧图像以及从上一帧图像到当前帧图像车辆的行驶里程；根据当前帧图像、上一帧图像以及行驶里程计算得到与当前帧图像对应的每个相机的初始位姿值；获取与当前帧图像对应的各个相机的初始高度；根据各个相机的初始位姿值、初始高度以及行驶里程进行全局优化，以使得全局重投影误差最小，得到与当前帧图像对应的各个相机的当前位姿值并作为标定值。
在一个实施例中，处理器执行计算机程序时所实现的根据当前帧图像、上一帧图像以及行驶里程计算得到与当前帧图像对应的每个相机的初始位姿值，包括：根据单个相机的当前帧图像以及上一帧图像得到单个相机在世界坐标系下的相机位姿变化矩阵；根据车辆的行驶里程得到当前帧图像对应的车辆在世界坐标系下的车辆位置变化矩阵；根据手眼标定算法得到与当前帧图像对应的单个相机的初始位姿值。
在一个实施例中，处理器执行计算机程序时所实现的根据单个相机的当前帧图像以及上一帧图像得到单个相机在世界坐标系下的相机位姿变化矩阵，包括：当当前帧图像为相机拍摄的第二帧图像时，获取第二帧图像以及第一帧图像中的匹配点对；根据所获取的匹配点对通过求解本质矩阵的方法计算得到相机位姿变化矩阵。
在一个实施例中，处理器执行计算机程序时所实现的根据单个相机的当前帧图像以及上一帧图像得到单个相机在世界坐标系下的相机位姿变化矩阵，包括：当当前帧图像不为第一帧图像和第二帧图像时，根据手眼标定算法以及上一帧图像对应的相机位姿变化矩阵，获取上一帧图像的相机位姿矩阵；获取上一帧帧图像以及当前帧图像中的匹配点对，根据上一帧图像的相机位姿矩阵和匹配点对得到对应的三维估计点；根据三维估计点和相机位姿矩阵进行最小化重投影，得到当前帧图像对应的相机位姿变化矩阵。
在一个实施例中，处理器执行计算机程序时所实现的根据当前帧图像、上一帧图像以及行驶里程计算得到与当前帧图像对应的每个相机的初始位姿值，还包括：通过消失点方法或者是利用光流跟踪方法，根据当前帧图像、上一帧图像以及行驶里程计算得到与当前帧图像对应的每个相机的初始位姿值。
在一个实施例中，处理器执行计算机程序时所实现的获取与当前帧图像对应的各个相机的初始高度，包括：从当前帧图像中获取到终止特征点，以及从上一帧图像中获取到对应的起始特征点；根据起始点和终止点的距离，以及车辆的行驶里程计算得到各个相机的初始高度。
在一个实施例中，处理器执行计算机程序时所实现的获取与当前帧图像对应的各个相机的初始高度，包括：通过安装在车辆上的传感器获取到与当前帧图像对应的各个相机的初始高度。
在一个实施例中，处理器执行计算机程序时所实现的获取与当前帧图像对应的各个相机的初始高度，包括：根据投影变换方法或者是点云拟合地面方式获取与当前帧图像对应的各个相机的初始高度。
在一个实施例中，处理器执行计算机程序时所实现的根据各个相机的初始位姿值、初始高度以及行驶里程进行全局优化，以使得全局重投影误差最小，得到与当前帧图像对应的各个相机的当前位姿值并作为标定值，包括：采用光束平差法根据各个相机的初始位姿值、初始高度以及行驶里程进行全局优化，以使得全局重投影误差最小，得到与当前帧图像对应的各个相机的当前位姿值并作为标定值。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取相机所拍摄的当前帧图像、上一帧图像以及从上一帧图像到当前帧图像车辆的行驶里程；根据当前帧图像、上一帧图像以及行驶里程计算得到与当前帧图像对应的每个相机的初始位姿值；获取与当前帧图像对应的各个相机的初始高度；根据各个相机的初始位姿值、初始高度以及行驶里程进行全局优化，以使得全局重投影误差最小，得到与当前帧图像对应的各个相机的当前位姿值并作为标定值。
在一个实施例中，计算机程序被处理器执行时所实现的根据当前帧图像、上一帧图像以及行驶里程计算得到与当前帧图像对应的每个相机的初始位姿值，包括：根据单个相机的当前帧图像以及上一帧图像得到单个相机在世界坐标系下的相机位姿变化矩阵；根据车辆的行驶里程得到当前帧图像对应的车辆在世界坐标系下的车辆位置变化矩阵；根据手眼标定算法得到与当前帧图像对应的单个相机的初始位姿值。
在一个实施例中，计算机程序被处理器执行时所实现的根据单个相机的当前帧图像以及上一帧图像得到单个相机在世界坐标系下的相机位姿变化矩阵，包括：当当前帧图像为相机拍摄的第二帧图像时，获取第二帧图像以及第一帧图像中的匹配点对；根据所获取的匹配点对通过求解本质矩阵的方法计算得到相机位姿变化矩阵。
在一个实施例中，计算机程序被处理器执行时所实现的根据单个相机的当前帧图像以及上一帧图像得到单个相机在世界坐标系下的相机位姿变化矩阵，包括：当当前帧图像不为第一帧图像和第二帧图像时，根据手眼标定算法以及上一帧图像对应的相机位姿变化矩阵，获取上一帧图像的相机位姿矩阵；获取上一帧帧图像以及当前帧图像中的匹配点对，根据上一帧图像的相机位姿矩阵和匹配点对得到对应的三维估计点；根据三维估计点和相机位姿矩阵进行最小化重投影，得到当前帧图像对应的相机位姿变化矩阵。
在一个实施例中，计算机程序被处理器执行时所实现的根据当前帧图像、上一帧图像以及行驶里程计算得到与当前帧图像对应的每个相机的初始位姿值，还包括：通过消失点方法或者是利用光流跟踪方法，根据当前帧图像、上一帧图像以及行驶里程计算得到与当前帧图像对应的每个相机的初始位姿值。
在一个实施例中，计算机程序被处理器执行时所实现的获取与当前帧图像对应的各个相机的初始高度，包括：从当前帧图像中获取到终止特征点，以及从上一帧图像中获取到对应的起始特征点；根据起始点和终止点的距离，以及车辆的行驶里程计算得到各个相机的初始高度。
在一个实施例中，计算机程序被处理器执行时所实现的获取与当前帧图像对应的各个相机的初始高度，包括：通过安装在车辆上的传感器获取到与当前帧图像对应的各个相机的初始高度。
在一个实施例中，计算机程序被处理器执行时所实现的获取与当前帧图像对应的各个相机的初始高度，包括：根据投影变换方法或者是点云拟合地面方式获取与当前帧图像对应的各个相机的初始高度。
在一个实施例中，计算机程序被处理器执行时所实现的根据各个相机的初始位姿值、初始高度以及行驶里程进行全局优化，以使得全局重投影误差最小，得到与当前帧图像对应的各个相机的当前位姿值并作为标定值，包括：采用光束平差法根据各个相机的初始位姿值、初始高度以及行驶里程进行全局优化，以使得全局重投影误差最小，得到与当前帧图像对应的各个相机的当前位姿值并作为标定值。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (11)
1.一种相机在线标定方法，其特征在于，所述方法包括：
获取相机所拍摄的当前帧图像、上一帧图像以及从上一帧图像到当前帧图像车辆的行驶里程；
根据所述当前帧图像、上一帧图像以及所述行驶里程计算得到与所述当前帧图像对应的每个相机的初始位姿值；
获取与所述当前帧图像对应的各个相机的初始高度；
根据各个所述相机的初始位姿值、初始高度以及所述行驶里程进行全局优化，以使得全局重投影误差最小，得到与所述当前帧图像对应的各个相机的当前位姿值并作为标定值；
所述根据所述当前帧图像、上一帧图像以及所述行驶里程计算得到与所述当前帧图像对应的每个相机的初始位姿值，包括：
根据单个相机的所述当前帧图像以及上一帧图像得到单个相机在世界坐标系下的相机位姿变化矩阵；
根据所述车辆的行驶里程得到所述当前帧图像对应的车辆在世界坐标系下的车辆位置变化矩阵；
根据手眼标定算法得到与所述当前帧图像对应的单个相机的初始位姿值。
2.根据权利要求1所述的方法，其特征在于，所述根据单个相机的所述当前帧图像以及上一帧图像得到单个相机在世界坐标系下的相机位姿变化矩阵，包括：
当所述当前帧图像为所述相机拍摄的第二帧图像时，获取所述第二帧图像以及第一帧图像中的匹配点对；
根据所获取的匹配点对通过求解本质矩阵的方法计算得到相机位姿变化矩阵。
3.根据权利要求1所述的方法，其特征在于，所述根据单个相机的所述当前帧图像以及上一帧图像得到单个相机在世界坐标系下的相机位姿变化矩阵，包括：
当所述当前帧图像不为第一帧图像和第二帧图像时，根据手眼标定算法以及上一帧图像对应的相机位姿变化矩阵，获取所述上一帧图像的相机位姿矩阵；
获取所述上一帧图像以及当前帧图像中的匹配点对，根据所述上一帧的相机位姿矩阵和所述匹配点对得到对应的三维估计点；
根据所述三维估计点和所述相机位姿矩阵进行最小化重投影，得到所述当前帧图像对应的相机位姿变化矩阵。
4.根据权利要求1所述的方法，其特征在于，所述根据所述当前帧图像、上一帧图像以及所述行驶里程计算得到与所述当前帧图像对应的每个相机的初始位姿值，还包括：
通过消失点方法或者是利用光流跟踪方法，根据所述当前帧图像、上一帧图像以及所述行驶里程计算得到与所述当前帧图像对应的每个相机的初始位姿值。
5.根据权利要求1至4任意一项所述的方法，其特征在于，所述获取与所述当前帧图像对应的各个相机的初始高度，包括：
从所述当前帧图像中获取到终止特征点，以及从所述上一帧图像中获取到对应的起始特征点；
根据所述起始特征点和终止特征点的距离，以及车辆的行驶里程计算得到各个相机的初始高度。
6.根据权利要求1至4任意一项所述的方法，其特征在于，所述获取与所述当前帧图像对应的各个相机的初始高度，包括：
通过安装在车辆上的传感器获取到与所述当前帧图像对应的各个相机的初始高度。
7.根据权利要求1至4任意一项所述的方法，其特征在于，所述获取与所述当前帧图像对应的各个相机的初始高度，包括：
根据投影变换方法或者是点云拟合地面方式获取与所述当前帧图像对应的各个相机的初始高度。
8.根据权利要求1至4任意一项所述的方法，其特征在于，所述根据各个所述相机的初始位姿值、初始高度以及所述行驶里程进行全局优化，以使得全局重投影误差最小，得到与所述当前帧图像对应的各个相机的当前位姿值并作为标定值，包括：
采用光束平差法根据各个所述相机的初始位姿值、初始高度以及所述行驶里程进行全局优化，以使得全局重投影误差最小，得到与所述当前帧图像对应的各个相机的当前位姿值并作为标定值。
9.一种相机在线标定装置，其特征在于，所述装置包括：
数据获取模块，用于获取相机所拍摄的当前帧图像、上一帧图像以及从上一帧图像到当前帧图像车辆的行驶里程；
单个相机初始位姿值获取模块，用于根据所述当前帧图像、上一帧图像以及所述行驶里程计算得到与所述当前帧图像对应的每个相机的初始位姿值；
单个相机的初始高度获取模块，用于获取与所述当前帧图像对应的各个相机的初始高度；
全局优化模块，用于根据各个所述相机的初始位姿值、初始高度以及所述行驶里程进行全局优化，以使得全局重投影误差最小，得到与所述当前帧图像对应的各个相机的当前位姿值并作为标定值；
所述根据所述当前帧图像、上一帧图像以及所述行驶里程计算得到与所述当前帧图像对应的每个相机的初始位姿值，包括：
根据单个相机的所述当前帧图像以及上一帧图像得到单个相机在世界坐标系下的相机位姿变化矩阵；
根据所述车辆的行驶里程得到所述当前帧图像对应的车辆在世界坐标系下的车辆位置变化矩阵；
根据手眼标定算法得到与所述当前帧图像对应的单个相机的初始位姿值。
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述方法的步骤。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010338913.XA CN113554711B (zh) | 2020-04-26 | 2020-04-26 | 相机在线标定方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010338913.XA CN113554711B (zh) | 2020-04-26 | 2020-04-26 | 相机在线标定方法、装置、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113554711A CN113554711A (zh) | 2021-10-26 |
| CN113554711B true CN113554711B (zh) | 2024-10-15 |
Family
ID=78101516
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010338913.XA Active CN113554711B (zh) | 2020-04-26 | 2020-04-26 | 相机在线标定方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113554711B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117523010B (zh) * | 2024-01-05 | 2024-04-09 | 深圳市欧冶半导体有限公司 | 车辆的相机位姿确定方法、装置、计算机设备和存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105844624A (zh) * | 2016-03-18 | 2016-08-10 | 上海欧菲智能车联科技有限公司 | 动态标定系统、动态标定系统中的联合优化方法及装置 |
| CN109389650A (zh) * | 2018-09-30 | 2019-02-26 | 京东方科技集团股份有限公司 | 一种车载相机的标定方法、装置、车辆和存储介质 |
| CN110675455A (zh) * | 2019-08-30 | 2020-01-10 | 的卢技术有限公司 | 一种基于自然场景的车身环视相机自标定方法和系统 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3531376B1 (en) * | 2018-02-21 | 2020-09-30 | Ficosa Adas, S.L.U. | Calibrating a camera of a vehicle |
| CN110349219A (zh) * | 2018-04-04 | 2019-10-18 | 杭州海康威视数字技术股份有限公司 | 一种相机外参标定方法及装置 |
| CN108648240B (zh) * | 2018-05-11 | 2022-09-23 | 东南大学 | 基于点云特征地图配准的无重叠视场相机姿态标定方法 |
| CN108765498B (zh) * | 2018-05-30 | 2019-08-23 | 百度在线网络技术（北京）有限公司 | 单目视觉跟踪方法、装置及存储介质 |
| CN109544629B (zh) * | 2018-11-29 | 2021-03-23 | 南京人工智能高等研究院有限公司 | 摄像头位姿确定方法和装置以及电子设备 |
| CN110246193B (zh) * | 2019-06-20 | 2021-05-14 | 南京博蓝奇智能科技有限公司 | 工业机器人末端相机在线标定方法 |
-
2020
- 2020-04-26 CN CN202010338913.XA patent/CN113554711B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105844624A (zh) * | 2016-03-18 | 2016-08-10 | 上海欧菲智能车联科技有限公司 | 动态标定系统、动态标定系统中的联合优化方法及装置 |
| CN109389650A (zh) * | 2018-09-30 | 2019-02-26 | 京东方科技集团股份有限公司 | 一种车载相机的标定方法、装置、车辆和存储介质 |
| CN110675455A (zh) * | 2019-08-30 | 2020-01-10 | 的卢技术有限公司 | 一种基于自然场景的车身环视相机自标定方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113554711A (zh) | 2021-10-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3751519B1 (en) | Method, apparatus, device and medium for calibrating pose relationship between vehicle sensor and vehicle | |
| CN110146869B (zh) | 确定坐标系转换参数的方法、装置、电子设备和存储介质 | |
| EP3627109B1 (en) | Visual positioning method and apparatus, electronic device and system | |
| CN108198145B (zh) | 用于点云数据修复的方法和装置 | |
| CN107796397B (zh) | 一种机器人双目视觉定位方法、装置和存储介质 | |
| CN109683699B (zh) | 基于深度学习实现增强现实的方法、装置及移动终端 | |
| CN109472828B (zh) | 一种定位方法、装置、电子设备及计算机可读存储介质 | |
| CN109902637A (zh) | 车道线检测方法、装置、计算机设备和存储介质 | |
| WO2023016271A1 (zh) | 位姿确定方法、电子设备及可读存储介质 | |
| CN110189400B (zh) | 一种三维重建方法、三维重建系统、移动终端及存储装置 | |
| CN110648363A (zh) | 相机姿态确定方法、装置、存储介质及电子设备 | |
| CN114217665B (zh) | 一种相机和激光雷达时间同步方法、装置及存储介质 | |
| CN114898313B (zh) | 驾驶场景的鸟瞰图生成方法、装置、设备及存储介质 | |
| CN109635639B (zh) | 交通标识的位置检测方法、装置、设备和存储介质 | |
| WO2023005457A1 (zh) | 位姿计算方法和装置、电子设备、可读存储介质 | |
| CN116758146A (zh) | 基于图像的无人机集群目标定位方法、装置、设备及介质 | |
| CN113763504A (zh) | 地图更新方法、系统、车载终端、服务器及存储介质 | |
| CN113554711B (zh) | 相机在线标定方法、装置、计算机设备和存储介质 | |
| CN113487685B (zh) | 线激光扫描相机的标定方法、装置、设备和存储介质 | |
| CN114820769A (zh) | 车辆定位方法、装置、计算机设备、存储介质及车辆 | |
| CN114092564A (zh) | 无重叠视域多相机系统的外参数标定方法、系统、终端及介质 | |
| CN113034582A (zh) | 位姿优化装置及方法、电子设备及计算机可读存储介质 | |
| CN112598736A (zh) | 一种基于地图构建的视觉定位方法及装置 | |
| CN105339981A (zh) | 用于使用一组基元配准数据的方法 | |
| CN115222815A (zh) | 障碍物距离检测方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |