CN108447095A - 一种鱼眼相机标定方法和装置 - Google Patents

Abstract

本发明公开了一种鱼眼相机标定方法和装置，方法包括：以标定板所在空间构建世界坐标系并确定标定板上内角点的三维空间坐标值；获取鱼眼相机拍摄的标定板的图像；利用标定算法对图像进行角点检测，根据检测到的全部内角点或部分内角点的图像坐标值确定出对应的三维空间坐标值并保存；根据包含内角点的图像坐标值和三维空间坐标值的点对，计算出鱼眼相机的内参和外参，完成相机标定。一种鱼眼相机标定装置，包括坐标系构建单元，图像获取单元，检测对应单元，标定单元。本申请的技术方案，根据能否检测到标定板全部的内角点进行灵活标定处理，提高了标定效率，方便鱼眼相机标定校正的大规模工业化实施。

Description

一种鱼眼相机标定方法和装置

技术领域

本发明涉及相机技术领域，具体涉及一种鱼眼相机标定方法和装置。

背景技术

鱼眼相机的透镜由于制造精度、组装工艺的偏差会引入畸变，导致原始图像的失真。畸变的图像影响视觉上的效果，不能展现本来的场景，因此需要进行畸变校正，而畸变校正的前提是准确获取鱼眼镜头的内参(即,内部参数)和外参(即，外部参数)，内参和外参的获取依赖于严格准确的标定，由此可见，标定的优劣是鱼眼相机图像校正的基础，对整个图像校正起到非常重要的作用。

目前，常用的标定算法是借助棋盘格，检测棋盘格中的内角点，进行计算后获取鱼眼相机的内参和外参，按照这种标定算法的设定，对于未能检测到所有棋盘格内角点的图像都会被弃之不用。但是实际应用中受各种因素的影响，鱼眼相机拍摄的图像往往无法采集到棋盘格全部的内角点，这就导致鱼眼相机拍摄的大量图像无法使用，只有少数图像可用，图像淘汰率高，标定效率低。

发明内容

本发明提供了一种鱼眼相机标定方法和装置，以解决现有鱼眼相机标定方案只使用能检测到棋盘格全部内角点的图像，对于检测到部分内角点的图像丢弃不用来进行标定而导致的标定效率低的问题。

根据本申请的一个方面，提供了一种鱼眼相机标定方法，包括：

以标定板所在空间构建世界坐标系并确定标定板上内角点的三维空间坐标值；

获取所述鱼眼相机拍摄的所述标定板的图像；

利用标定算法对所述图像进行角点检测，根据检测到的全部内角点或部分内角点的图像坐标值确定出对应的三维空间坐标值并保存；

根据包含所述内角点的图像坐标值和内角点的三维空间坐标值的点对，计算出所述鱼眼相机的内参和外参，完成相机标定。

可选地，所述部分内角点的数目小于全部内角点的数目，所述全部内角点的数目等于各标定板上的内角点数目之和。

可选地，根据检测到的全部内角点或部分内角点的图像坐标值确定出对应的三维空间坐标值并保存包括：

根据鱼眼相机拍摄多个所述标定板的顺序，以及各标定板上内角点的排列顺序确定检测到的每个内角点的图像坐标值对应的三维空间坐标值并保存。

可选地，根据包含所述内角点的图像坐标值和内角点的三维空间坐标值的点对，计算出所述鱼眼相机的内参和外参包括：

根据线性最小二乘法以及包含所述内角点的图像坐标值和内角点的三维空间坐标值的点对，计算出鱼眼相机投影矩阵，根据鱼眼相机投影矩阵求解得到所述鱼眼相机的内参和外参。

根据本申请的另一个方面，提供了一种鱼眼相机标定装置，该装置包括：

坐标系构建单元，用于以标定板所在空间构建世界坐标系并确定标定板上内角点的三维空间坐标值；

图像获取单元，用于获取所述鱼眼相机拍摄的所述标定板的图像；

检测对应单元，用于利用标定算法对所述图像进行角点检测，根据检测到的全部内角点或部分内角点的图像坐标值确定出对应的三维空间坐标值并保存；

标定单元，用于根据包含所述内角点的图像坐标值和内角点的三维空间坐标值的点对，计算出所述鱼眼相机的内参和外参，完成相机标定。

可选地，所述部分内角点的数目小于全部内角点的数目，所述全部内角点的数目等于各标定板上的内角点数目之和。

可选地，检测对应单元具体用于，根据鱼眼相机拍摄多个所述标定板的顺序，以及各标定板上内角点的排列顺序确定检测到的每个内角点的图像坐标值对应的三维空间坐标值并保存。

可选地，标定单元具体用于，根据线性最小二乘法以及包含所述内角点的图像坐标值和内角点的三维空间坐标值的点对，计算出鱼眼相机投影矩阵，根据鱼眼相机投影矩阵求解得到所述鱼眼相机的内参和外参。

根据本申请的又一个方面，提供了一种电子设备，电子设备包括：存储器和处理器，所述存储器和所述处理器之间通过内部总线通讯连接，所述存储器存储有能够被所述处理器执行的程序指令，所述程序指令被所述处理器执行时能够实现本申请一个方面所述的鱼眼相机标定方法。

本发明的有益效果是：本发明实施例的鱼眼相机标定方法和装置，以标定板所在空间构建世界坐标系并确定标定板上内角点的三维空间坐标值，获取鱼眼相机拍摄的标定板的图像，利用标定算法对图像进行角点检测，根据检测到的全部内角点或部分内角点的图像坐标值确定出对应的三维空间坐标值并保存，再利用包含内角点的图像坐标值和三维空间坐标值的点对，计算出鱼眼相机的内参和外参，完成相机标定。从而实现了对于那些只检测到部分内角点的图像也可以用于计算鱼眼相机的内参和外参，进而完成相机标定，降低了对鱼眼相机拍摄的棋盘格标定板的图像要求，解决了只能使用包含全部内角点的图像导致的标定效率低的问题，方便进行大规模工业化实施。本申请的电子设备由于能够快速完成相机标定，提高了效率节省了资源，提高了市场竞争力。

附图说明

图1为本发明一个实施例的鱼眼相机标定方法的流程图；

图2a为一个标准棋盘格上的内角点示意图；

图2b为本发明一个实施例的未检测到全部内角点的图像的示意；

图3为本发明一个实施例的鱼眼相机标定装置的框图；

图4为本发明一个实施例的电子设备的结构示意图。

具体实施方式

本发明的设计构思是：在利用标定板(如棋盘格)进行鱼眼相机标定时，由于拍摄的角度，鱼眼镜头与标定板的距离，标定板的精度，图像场景复杂度等多种因素都可能导致标定算法检测不到鱼眼相机拍摄的图像上全部的内角点。传统的标定算法是：用鱼眼相机拍摄几十张棋盘格图像后，对这些图像进行内角点检测，如果能够检测全部内角点，则对这些检测通过的图像保存备用。比如，某个棋盘格的内角点为5*9＝45个，则只有正确检测到全部的45个内角点，才能把这些内角点在棋盘格中的坐标值保存下来用于后续参数计算。如果检测到的内角点数目小于45个，这样的图像就要被舍弃掉。而鱼眼相机的镜头是一种畸变率较大的镜头，特别是在边缘位置的图像，很多内角点都检测不到，可见，传统鱼眼相机标定的图像淘汰率过高，导致标定效率低。

为了解决鱼眼镜头标定效率低的问题，本实施例的技术方案根据能否检测棋盘格全部内角点，灵活采用不同处理方式，提高标定算法的效率，使得无论能否检测到所有的内角点，都能进行标定，弥补现有技术只有检测到所有标定板上的全部内角点时才能进行标定的不足，提高了鱼眼相机标定的效率。

图1为本发明一个实施例的鱼眼相机标定方法的流程图，参见图1，本实施例的鱼眼相机标定方法包括下列步骤：

步骤S101，以标定板所在空间构建世界坐标系并确定标定板上内角点的三维空间坐标值；

步骤S102，获取所述鱼眼相机拍摄的所述标定板的图像；

步骤S103，利用标定算法对所述图像进行角点检测，根据检测到的全部内角点或部分内角点的图像坐标值确定出对应的三维空间坐标值并保存；

步骤S104，根据包含所述内角点的图像坐标值和内角点的三维空间坐标值的点对，计算出所述鱼眼相机的内参和外参，完成相机标定。

由图1所示可知，本实施例的鱼眼相机标定方法，构建标定板上内角点的世界坐标系并确定出内角点三维空间坐标值，获取鱼眼相机拍摄的标定板的图像，根据检测到的内角点的情况，当该图像能被检测到全部内角点时则可以直接按照现有标定算法进行计算处理；而当该图像未能检测到全部内角点时，并不是如现有技术那样直接舍弃图像，而是根据检测到的部分内角点，确定这一部分内角点的图像坐标值，进而根据内角点的图像坐标值确定出对应的内角点三维空间坐标值，然后保存用于后续计算鱼眼相机的内参和外参，完成相机标定，从而降低了对鱼眼相机拍摄图像的要求，提高了标定效率。

而且，由于同一个鱼眼相机的畸变是一定的，即，内参和外参一定，那么基于检测到全部内角点和基于检测到部分内角点的图像计算出的内参和外参是相同的。也就是说，采用检测到部分内角点的图像计算出的标定准确度和精度有保证，从而确保了本实施例的技术方案的可行性。

以下结合一个具体场景对本实施列的鱼眼相机标定方法的实现步骤进行说明。

首先，利用鱼眼相机从不同方位、不同角度拍摄一组含有标定板(比如棋盘格)的图像处理备用；

然后，利用标定算法对图像进行角点检测。

利用标定算法检测含棋盘格标定板的图像上的内角点，比如利用OpenCV封装函数检测图像上的内角点。在检测之前，由于对特定的棋盘格标定板而言，其上的内角点的总数目是已知的，所以，标定算法可以根据已知的内角点总数目检测某幅图像是否包含了标定板的全部内角点，如果检测到了全部内角点，则保存内角点的坐标值并对应确定出现实中(即世界坐标系)标定板上的内角点坐标值保存，即可后续用于内参和外参的计算。

对于不能检测到棋盘格标定板上全部内角点的情况，即只检测到部分内角点的情况。本实施例提供了一种新的选择。需要说明的是，这里的部分内角点的数目小于全部内角点的数目，全部内角点的数目等于各标定板上的内角点数目之和。比如，四个标定板，每个标定板上的内角点为10，那全部内角点即为4*10＝40个。当某个图像只检测到3个或5个内角点时，即为检测到部分内角点。内角点是棋盘格内部两条线的交叉处的点。图2a为一个标准棋盘格上的内角点示意图，参见图2a，棋盘格内部打×处即为内角点。

图2b为本发明一个实施例的未检测到全部内角点的图像示意，参见图2b，在拍摄六幅棋盘格201的图像中，最下面两幅棋盘格的内角点(标记2011指示的是内角点的位置)不能检测全，按照现有技术标定算法处理的话，图2b这样的图就需要被舍弃。而按照本实施例的方法，进行角点检测时，会将图2b中检测到的坐标值记录下来，比如，图2b的图像中检测到了八个坐标值，分别为：(580.5，115)，(668.5，116)，(757，116)，(847，117.5)，(936.5，117)，(1024.5，118.5)，(764，185.5)，(939.5，188.5)。根据这八个坐标值，结合图像中的像素点来分别判断每个坐标值是第几行第几列的内角点。以坐标值(580.5，115)为例，实际操作过程可以是：在OpenCV中，以编辑模式打开鱼眼相机所拍摄的图像，滑动鼠标即可很轻松的获取每个点的横纵坐标值，判断哪个内角点的横纵坐标值与(580.5，115)最接近，即为选择出的内角点。

上述过程在实际应用中可以根据鱼眼相机拍摄多个标定板的顺序，以及各标定板上内角点的排列顺序，确定检测到的每个内角点的图像坐标值对应的三维空间坐标值并保存，后续参与内参和外参计算。这里的，鱼眼相机拍摄多个标定板的顺序，比如先按照拍摄前右后左这样的拍摄棋盘格的顺序，再在每个棋盘格上按从上到下、从左到右的顺序确定记录的内角点坐标值对应的现实空间中的棋盘格内角点位置，并确定出现实空间中的内角点的三维空间坐标值后保存。

需要说明的是，在标定算法中，内角点在图像上的位置和在现实空间中的位置要分别对应保存，才能获得正确精准的结果。

在得到内角点在图像上的位置和在现实空间中的位置之后，根据线性最小二乘法以及包含内角点的图像坐标值和内角点的三维空间坐标值的点对，计算出鱼眼相机投影矩阵，根据鱼眼相机投影矩阵求解得到鱼眼相机的内参和外参。下面对具体的计算过程进行说明。

使用线性最小二乘法估算出相机投影矩阵P，根据相机投影矩阵P求解内参矩阵K和外参矩阵R，t。

对确定出的一组2D-3D点对，mi为内角点的二维坐标(即内角点在图像上的位置坐标值)，Mi为棋盘格上内角点的三维空间坐标值(即内角点在现实中的位置坐标值)。

则有：

其中，P＝[p11,p12,…,p34]T,0＝[0,0]T。P是3×4的矩阵，将P分成两块：前三列(3×3)的矩阵B和最后一列(3×1)的矩阵b，因此矩阵P可以表示为：P≡[Bb]，又知道P＝A[Rt]，则有：

B＝AR

b＝At

令ku＝α2+γ2+u20，kc＝u0v0+γβ，kv＝β2+v20。已知P形似一个尺度系数，实际中，K矩阵的最后一个元素K33≠1，因此需要对其进行归一化，之后就可以获得内参：

u0＝K₁₃

v₀K_2.3

在得到鱼眼相机的内参和外参之后，可利用内参和外参进行鱼眼相机畸变校正。

由上可知，应用本实施例的鱼眼相机标定方法，即使在拍摄图像不理想的情况，比如按照传统标定算法某幅图像没有被检测到所有的内角点，甚至只检测到极少数的内角点，依然可以利用这些有限的内角点获得准确的鱼眼相机内参和外参，方便根据拍摄的图像的不同情况进行灵活处理，为鱼眼相机标定提供了更多的选择，比如，可以选择利用检测到全部内角点的图像，也可以选择检测到部分内角点的图像，降低了对图像的要求，提高了标定效率。

图3为本发明一个实施例的鱼眼相机标定装置的框图，参见图3，鱼眼相机标定装置300包括：

坐标系构建单元301，用于以标定板所在空间构建世界坐标系并确定标定板上内角点的三维空间坐标值；

图像获取单元302，用于获取所述鱼眼相机拍摄的所述标定板的图像；

检测对应单元303，用于利用标定算法对所述图像进行角点检测，根据检测到的全部内角点或部分内角点的图像坐标值确定出对应的三维空间坐标值并保存；

标定单元304，用于根据包含所述内角点的图像坐标值和内角点的三维空间坐标值的点对，计算出所述鱼眼相机的内参和外参，完成相机标定。

一个实施列中，部分内角点的数目小于全部内角点的数目，全部内角点的数目等于各标定板上的内角点数目之和。

在本发明的一个实施列中，检测对应单元303具体用于，根据鱼眼相机拍摄多个所述标定板的顺序，以及各标定板上内角点的排列顺序确定检测到的每个内角点的图像坐标值对应的三维空间坐标值并保存。

在本发明的一个实施列中，标定单元304具体用于，根据线性最小二乘法以及包含所述内角点的图像坐标值和三维空间坐标值的点对，计算出鱼眼相机投影矩阵，根据鱼眼相机投影矩阵求解得到所述鱼眼相机的内参和外参。

需要说明的是，本实施例的鱼眼相机标定装置的工作过程是和前述鱼眼相机标定方法的实现步骤对应的，因此本实施例中没有描述的部分可以参见前述实施例中的说明，在此不再赘述。

图4为本发明一个实施例的电子设备的结构示意图。如图4所示，该电子设备包括存储器41和处理器42，存储器41和处理器42之间通过内部总线43通讯连接，存储器41存储有能够被处理器42执行的程序指令，程序指令被处理器42执行时能够实现上述的鱼眼相机标定方法。

此外，上述的存储器41中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本发明的另一个实施例提供一种计算机可读存储介质，计算机可读存储介质存储计算机指令，计算机指令使所述计算机执行上述的鱼眼相机标定方法。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图的一个流程或多个流程和/或方框图的一个方框或多个方框中指定的功能的装置。

需要说明的是术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本发明的说明书中，说明了大量具体细节。然而能够理解的是，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。类似地，应当理解，为了精简本发明公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释呈反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

以上所述，仅为本发明的具体实施方式，在本发明的上述教导下，本领域技术人员可以在上述实施例的基础上进行其他的改进或变形。本领域技术人员应该明白，上述的具体描述只是更好的解释本发明的目的，本发明的保护范围以权利要求的保护范围为准。

Claims (9)

1.一种鱼眼相机标定方法，其特征在于，该方法包括：

以标定板所在空间构建世界坐标系并确定标定板上内角点的三维空间坐标值；

获取所述鱼眼相机拍摄的所述标定板的图像；

利用标定算法对所述图像进行角点检测，根据检测到的全部内角点或部分内角点的图像坐标值确定出对应的三维空间坐标值并保存；

根据包含所述内角点的图像坐标值和内角点的三维空间坐标值的点对，计算出所述鱼眼相机的内参和外参，完成相机标定。

2.根据权利要求1所述的鱼眼相机标定方法，其特征在于，所述部分内角点的数目小于全部内角点的数目，所述全部内角点的数目等于各标定板上的内角点数目之和。

3.根据权利要求2所述的鱼眼相机标定方法，其特征在于，根据检测到的全部内角点或部分内角点的图像坐标值确定出对应的三维空间坐标值并保存包括：

根据鱼眼相机拍摄多个所述标定板的顺序，以及各标定板上内角点的排列顺序确定检测到的每个内角点的图像坐标值对应的三维空间坐标值并保存。

4.根据权利要求1所述的鱼眼相机标定方法，其特征在于，根据包含所述内角点的图像坐标值和内角点的三维空间坐标值的点对，计算出所述鱼眼相机的内参和外参包括：

根据线性最小二乘法以及包含所述内角点的图像坐标值和内角点的三维空间坐标值的点对，计算出鱼眼相机投影矩阵，根据鱼眼相机投影矩阵求解得到所述鱼眼相机的内参和外参。

5.一种鱼眼相机标定装置，其特征在于，该装置包括：

坐标系构建单元，用于以标定板所在空间构建世界坐标系并确定标定板上内角点的三维空间坐标值；

图像获取单元，用于获取所述鱼眼相机拍摄的所述标定板的图像；

检测对应单元，用于利用标定算法对所述图像进行角点检测，根据检测到的全部内角点或部分内角点的图像坐标值确定出对应的三维空间坐标值并保存；

标定单元，用于根据包含所述内角点的图像坐标值和内角点的三维空间坐标值的点对，计算出所述鱼眼相机的内参和外参，完成相机标定。

6.根据权利要求5所述的鱼眼相机标定装置，其特征在于，所述部分内角点的数目小于全部内角点的数目，所述全部内角点的数目等于各标定板上的内角点数目之和。

7.根据权利要求6所述的鱼眼相机标定装置，其特征在于，检测对应单元具体用于，根据鱼眼相机拍摄多个所述标定板的顺序，以及各标定板上内角点的排列顺序确定检测到的每个内角点的图像坐标值对应的三维空间坐标值并保存。

8.根据权利要求5所述的鱼眼相机标定装置，其特征在于，标定单元具体用于，根据线性最小二乘法以及包含所述内角点的图像坐标值和内角点的三维空间坐标值的点对，计算出鱼眼相机投影矩阵，根据鱼眼相机投影矩阵求解得到所述鱼眼相机的内参和外参。

9.一种电子设备，其特征在于，所述电子设备包括：存储器和处理器，所述存储器和所述处理器之间通过内部总线通讯连接，所述存储器存储有能够被所述处理器执行的程序指令，所述程序指令被所述处理器执行时能够实现权利要求1-4任一项所述的鱼眼相机标定方法。