CN112802121B - 监控相机的标定方法 - Google Patents

Abstract

本发明实施例提供了一种监控相机的标定方法，应用于对同一现场场景进行监控的两个联动相机中的第一相机，获取第一相机在预设第一位置对预设场景采集的第一图像，以及两个联动相机中的第二相机在预设的多个第二位置对所述预设场景采集的多个第二图像；获取第一相机的理论焦距，并计算所述实际焦距和所述理论焦距之间的比值，得到所述第一相机的实际焦距系数；基于所述实际焦距系数和所述第一相机的原始内参矩阵，计算获得所述第一相机的实际内参矩阵；基于第一相机与第二相机之间的位置关系，以及第一相机的原始外参矩阵，确定第一相机的外参矩阵。本发明可以实现对包括可动枪机和球机的图像采集设备的两个联动相机的标定。

Description

监控相机的标定方法

技术领域

本发明涉及安防监控技术领域，特别是涉及一种监控相机的标定方法。

背景技术

随着监控技术的发展，为了对同一现场场景进行监控，出现了通过两个相机的联动进行图像采集的图像采集设备。如图1所示，图1为具有两个相机的图像采集设备的示例图。其中一个相机是枪机101，另一个是球机102。在图1所示的图像采集设备安装后，由于需要枪机101和球机102联动，因此，需要对枪机101和球机102分别进行标定。

相关技术中，对枪机101的标定可以包括：固定枪机101，将枪机101的相机坐标系看作世界坐标系，建立枪机101的相机坐标系和球机102的相机坐标系之间的转换关系。以此为基础，在进行相机的联动时，可以通过上述相机坐标系之间的转换关系，将枪机101拍摄的目标在目标图像的图像坐标系中的图像坐标，转换为球机102的PT坐标。这样，球机102按照该转换得到的PT坐标进行图像采集时，对准的目标与枪机101相同，从而实现两个相机的联动。

然而，为了提高监控效果，出现了包括可动枪机和球机的图像采集设备，可动枪机也有姿态和位置变化化，无法在标定时直接得到两个相机坐标系之间的转换关系。因此，相关技术中的标定方法不能直接适用于对该图像采集设备的两个联动相机进行标定。

发明内容

本发明实施例的目的在于提供一种监控相机的标定方法，以实现对包括可动枪机和球机的图像采集设备的两个联动相机的标定。具体技术方案如下：

第一方面，本发明实施例提供了一种监控相机的标定方法，应用于对同一现场场景进行监控的两个联动相机中的第一相机，所述方法包括：

获取第一相机在预设第一位置对预设场景采集的第一图像，以及所述两个联动相机中的第二相机在预设的多个第二位置对所述预设场景采集的多个第二图像；其中，拍摄所述第一图像和所述第二图像时，所述第一相机和所述第二相机绕同一旋转轴旋转；

基于所述第一图像、所述多个第二图像、采集所述第一图像时所述第一相机的云台的角度，以及采集每个所述第二图像时所述第二相机的云台的角度，获取所述第一相机采集所述第一图像时的实际焦距；

获取第一相机的理论焦距，并计算所述实际焦距和所述理论焦距之间的比值，得到所述第一相机的实际焦距系数；

基于所述实际焦距系数和所述第一相机的原始内参矩阵，计算获得所述第一相机的实际内参矩阵；

基于所述第一相机与第二相机之间的位置关系，以及所述第一相机的原始外参矩阵，确定所述第一相机的外参矩阵。

可选的，所述基于所述第一图像、所述多个第二图像、采集每个所述第二图像时所述第一相机的云台的角度，以及采集每个所述第二图像时所述第二相机的云台的角度，获取所述第一相机采集图像时的实际焦距，包括：

从所述第一图像中确定多个对应点；其中，每个对应点分别与一个第二图像的中心点具有相同的特征；

分别获取每个对应点与所述第一图像的中心点之间的水平偏差值；

分别获取采集每个所述第二图像时所述第二相机的云台的角度与所述第一相机的云台的角度之间差值的正切值；

将获取的水平偏差值和获取的正切值输入实际焦距公式，得到所述实际焦距；其中，所述实际焦距公式为按照所述第一相机的实际焦距，所述正切值以及所述水平偏差值之间的空间几何关系构建的公式。

可选的，所述实际焦距公式为：f＝(t^T·t)^-1·t^Td；

其中，所述f为所述实际焦距，所述t^T为正切值矩阵的转置，所述t为所述正切值矩阵，所述d为水平偏差矩阵；所述正切值矩阵中的元素为所述获取的正切值，且所述正切值矩阵中元素的排列与所述第一图像中相应对应点的排列对应；所述水平偏差矩阵中的元素为所述获取的水平偏差值，且所述水平偏差矩阵中元素的排列与所述第一图像中相应对应点的排列对应。

可选的，所述基于所述实际焦距系数和所述第一相机的原始内参矩阵，计算获得所述第一相机的实际内参矩阵，包括：

获取所述第一相机的中心偏移量和所述第一相机所采集图像的宽度；其中，所述中心偏移量为所述第一相机的光学中心相对于所述第一相机所采集图像的图像中心的偏移量；

利用所述中心偏移量、所述宽度和所述实际焦距系数，更新所述第一相机的原始内参矩阵，得到所述第一相机的实际内参矩阵。

可选的，所述利用所述中心偏移量、所述宽度和所述实际焦距系数，更新所述第一相机的原始内参矩阵，得到所述第一相机的实际内参矩阵，包括：

获取所述第一相机的理论焦距；

将所述第一相机的实际内参矩阵中所述第一相机所采集图像的中心点的坐标，更新为所述中心偏移量和所述宽度之差，并将所述第一相机的实际内参矩阵中所述第一相机的焦距，更新为所述实际焦距系数与所述第一相机的理论焦距之积，得到所述第一相机的实际内参矩阵；

其中，所述实际内参矩阵为：

所述M_int为所述第一相机的实际内参矩阵，所述K_f为所述实际焦距系数，所述f′为所述第一相机的理论焦距，所述w为所述宽度，所述x_ofs和所述y_ofs分别为所述中心偏移量中的水平偏移量和垂直偏移量。

可选的，所述基于所述第一相机与第二相机之间的位置关系，以及所述第一相机的原始外参矩阵，确定所述第一相机的外参矩阵，包括：

获取所述第一相机和所述第二相机之间的空间相对偏移量，作为所述第一相机与第二相机之间的位置关系；

利用所述位置关系和所述第一相机的初始PT坐标，分别更新所述第一相机的原始外参矩阵中的目标旋转矩阵与目标偏移矩阵，得到所述第一相机的外参矩阵；

其中，所述外参矩阵为：

所述M_ext为所述第一相机的外参矩阵，所述P₀和所述T₀分别为所述初始PT坐标中的平移坐标和倾斜坐标，所述t_x、t_y以及t_z分别为所述位置关系中，x轴方向的偏移量，y轴方向的偏移量以及z轴方向的偏移量。

可选的，在所述基于所述第一相机与第二相机之间的位置关系，以及所述第一相机的原始外参矩阵，确定所述第一相机的外参矩阵之后，所述方法还包括：

获取对目标进行图像采集时，所述第一相机的当前PT坐标，以及所述目标的物距；

基于所述当前PT坐标和所述第一相机的外参矩阵，获取所述第一相机的实际外参矩阵；

基于所述物距，所述第一相机的实际内参矩阵以及所述第一相机的实际外参矩阵，将所述目标在所述第一相机所采集目标图像中的图像坐标，转换为所述目标在世界坐标系中的世界坐标。

可选的，在所述将所述目标在所述第一相机所采集目标图像中的图像坐标，转换为所述目标在世界坐标系中的世界坐标之后，所述方法还包括：

对所述世界坐标进行归一化处理，得到所述目标在球面坐标系中的球面坐标；

利用所述第二相机的PT坐标与所述球面坐标系之间的空间几何关系，将所述球面坐标转换为所述第二相机的PT坐标。

可选的，所述利用所述第二相机的PT坐标与所述球面坐标系之间的空间几何关系，将所述球面坐标转换为所述第二相机的PT坐标，包括：

将所述球面坐标输入PT坐标转换公式，得到所述第二相机的PT坐标；

其中，所述PT坐标转换公式为：

所述∠P和所述∠T分别为所述第二相机的PT坐标中的平移坐标和倾斜坐标，(x_3Dn，y_3Dn，z_3Dn)为所述球面坐标。

可选的，在所述基于所述第一相机与第二相机之间的位置关系，以及所述第一相机的原始外参矩阵，确定所述第一相机的外参矩阵之后，所述方法还包括：

获取对目标进行图像采集时，所述第一相机的当前PT坐标，以及所述目标的物距，并基于所述当前PT坐标和所述第一相机的外参矩阵，获取所述第一相机的实际外参矩阵；

利用所述第一相机的PT坐标与球面坐标系之间的空间几何关系，将所述当前PT坐标转换为所述目标在所述球面坐标系中的球面坐标；

将所述第一相机的实际内参矩阵，所述实际外参矩阵以及所述球面坐标输入球面坐标转换公式，得到所述目标在所述第一相机所拍摄图像的图像坐标系中的图像坐标；

其中，所述球面坐标转换公式为P_uv＝M_int·M_ext·P_3Dn；所述P_uv为所述图像坐标，所述M_int为所述内参矩阵，所述M_ext为所述外参矩阵，所述P_3Dn为所述球面坐标。

可选的，所述利用所述第一相机的PT坐标与球面坐标系之间的空间几何关系，将所述当前PT坐标转换为所述目标在所述球面坐标系中的球面坐标，包括：

将所述当前PT坐标输入球面坐标转换公式，得到所述目标在所述球面坐标系中的球面坐标；其中，所述球面坐标公式为：

(P₁，T₁)为所述当前PT坐标，(x_3Dn，y_3Dn，z_3Dn)为所述球面坐标。

可选的，所述方法还包括：

当所述第一相机所采集图像的中心与所述第二相机所采集图像的中心重合时，获取所述第一相机当前的PT坐标，以及所述第二相机当前的PT坐标；

计算所述第一相机当前的PT坐标和所述第二相机当前的PT坐标之间的差值，作为所述第一相机和所述第二相机之间的光心偏差；所述光心偏差用于对所述第二相机的PT坐标进行纠偏。

本发明实施例有益效果：

本发明实施例提供的方案中，内参矩阵代表相机自身的性质，外参矩阵代表相机的位姿，二者影响世界坐标系中的目标在相机中的成像，也就影响目标在世界坐标系中的坐标和目标在图像坐标系中的坐标之间的转换关系。因此，相机的内参矩阵和外参矩阵可以用于实现目标的图像坐标在不同坐标系中的转换。在此基础上，基于实际焦距系数和第一相机的原始内参矩阵，计算获得第一相机的实际内参矩阵；并基于第一相机与第二相机之间的位置关系，以及第一相机的原始外参矩阵，确定第一相机的外参矩阵，从而实现对两个联动相机均为可动相机的场景中，第一相机的标定。与将固定枪机的相机坐标系和球机的相机坐标系之间的转换关系作为标定结果相比，本方案将不受相机位姿变动影响、且标定结果可以用于进行目标的图像坐标与世界坐标之间的转换，从而实现对包括可动枪机和球机的图像采集设备的两个联动相机的标定。

当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。

图1为具有两个相机的图像采集设备的示例图；

图2为本发明一实施例提供的一种监控相机的标定方法的流程示意图；

图3为本发明一实施例提供的一种监控相机的标定方法中，第一图像和第二图像采集场景示例图；

图4为本发明一实施例提供的一种监控相机的标定方法中，第二图像在第一图像中的对应点的示例图；

图5为本发明一实施例提供的一种监控相机的标定方法中，外参矩阵生成过程的示例图；

图6为本发明一实施例提供的一种监控相机的标定方法中，实际外参矩阵生成过程的示例图；

图7为本发明另一实施例提供的一种监控相机的标定方法中，第一相机和第二相机之间各坐标的转换关系示例图；

图8为本发明另一实施例提供的一种监控相机的标定方法中，第一相机的图像坐标到第二相机的PT坐标的转换过程示例图；

图9为本发明一实施例提供的一种监控相机的标定装置的结构示意图；

图10为本发明另一实施例提供的一种监控相机的标定装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供的一种监控相机的标定方法，可以应用于对同一现场场景进行监控的两个联动相机中的第一相机。其中，对同一现场场景进行监控的两个联动相机可以包括：第一相机和第二相机。在具体应用中，第一相机和第二相机中的一个可以为可动枪机，另一个可以为可动球机。并且，两个联动相机之间的结构关系可以是多种的。示例性的，第一相机和第二相机可以包含在一个图像采集设备中，并且，第一相机位于第二相机上方，或者，第一相机和第二相机左右水平排列。当包含在同一图像采集设备中时，第一相机左右转动的同时带动第二相机转动，且第二相机可以独立上下左右转动，第一相机可以独立上下转动。或者，示例性的，第一相机和第二相机可以分别包含于两个独立的图像采集设备中，第一相机所属图像采集设备可以位于第二相机所属图像采集设备的上方，或者与第二相机所属图像采集设备左右水平排列。任何可以对同一现场场景进行联动监控的两个可动相机均可用于本发明。

如图2所示，本发明一实施例提供的一种监控相机的标定方法，该方法可以包括如下步骤：

S201，获取第一相机在预设第一位置对预设场景采集的第一图像，以及两个联动相机中的第二相机在预设的多个第二位置对预设场景采集的多个第二图像。

其中，拍摄第一图像和第二图像时，第一相机和第二相机绕同一旋转轴旋转。

S202，基于第一图像、多个第二图像、采集第一图像时第一相机的云台的角度，以及采集每个第二图像时第二相机的云台的角度，获取第一相机采集第一图像时的实际焦距。

发明人在实现本发明的过程中发现，第一相机采集图像时的当前倍率与第一相机的理论焦距存在一定误差，因此，直接将理论焦距作为实际焦距获得的原始内参矩阵存在误差。对此，可以获取第一相机的实际焦距，以通过后续步骤S203获取第一相机的实际焦距系数，继而在步骤S204通过实际焦距系数获取第一相机的实际内参矩阵。其中，相机的实际焦距以及相机采集图像时相机云台的角度可以影响物体在相机中的成像。因此，可以基于第一图像、多个第二图像、采集第一图像时第一相机的云台的角度，以及采集每个第二图像时第二相机的云台的角度，获取第一相机采集第一图像时的实际焦距。

为了便于理解和合理布局，后续以可选实施例结合示例性说明的形式，对上述步骤S201和步骤S202进行具体说明。

S203，获取第一相机的理论焦距，并计算实际焦距和理论焦距之间的比值，得到第一相机的实际焦距系数。

其中，理论焦距是相机固有的属性，因此，获取第一相机的理论焦距可以是读取第一相机中预存的理论焦距。并且，实际焦距系数以比值形式反映实际焦距和理论焦距之间的关系，因此，可以用于获取第一相机采集任意图像时的实际焦距。

S204，基于实际焦距系数和第一相机的原始内参矩阵，计算获得第一相机的实际内参矩阵。

其中，第一相机的原始内参矩阵代表第一相机自身的性质。第一相机为可进行变倍的变焦相机，原始内参矩阵在相机变倍时会发生变化，实际焦距系数可以用于获取反映相机变倍的实际焦距。因此，可以基于实际焦距系数和第一相机的原始内参矩阵，计算获得第一相机的实际内参矩阵。

示例性的，第一相机的原始内参矩阵具体可以为

其中，M_int(0)为第一相机的原始内参矩阵；f为第一相机的实际焦距；x_ctr为第一图像的中心点在第一图像的图像坐标系中的横坐标；y_ctr为第一图像的中心点在第一图像的图像坐标系中的纵坐标。

S205，基于第一相机与第二相机之间的位置关系，以及第一相机的原始外参矩阵，确定第一相机的外参矩阵。

第一相机与第二相机之间的位置关系具体可以是第一相机与第二相机之间的相对偏移量。示例性的，第一相机与第二相机之间的位置关系可以预存在第一相机中，或者，在测量得到第一相机和第二相机之间的位置关系时，输入第一相机。第一相机的原始外参矩阵代表第一相机所采集的目标在第一相机中成像时形成的位姿：位移和姿态。

示例性的，第一相机的原始外参矩阵具体可以为

其中，M_ext(0)为第一相机的原始外参矩阵；R用于表示第一相机所采集的目标在第一相机中成像时形成的姿态，具体为旋转矩阵；T用于表示第一相机所采集的目标在第一相机中成像时形成的位移，具体为偏移矩阵。

本发明实施例提供的方案中，内参矩阵代表相机自身的性质，外参矩阵代表相机的位姿，二者影响世界坐标系中的目标在相机中的成像，也就影响目标在世界坐标系中的坐标和目标在图像坐标系中的坐标之间的转换关系。因此，相机的内参矩阵和外参矩阵可以用于实现目标的图像坐标在不同坐标系中的转换。在此基础上，基于实际焦距系数和第一相机的原始内参矩阵，计算获得第一相机的实际内参矩阵；并基于第一相机与第二相机之间的位置关系，以及第一相机的原始外参矩阵，确定第一相机的外参矩阵，从而实现对两个联动相机均为可动相机的场景中，第一相机的标定。与将固定枪机的相机坐标系和球机的相机坐标系之间的转换关系作为标定结果相比，本方案将不受相机位姿变动影响、且标定结果可以用于进行目标的图像坐标与世界坐标之间的转换，从而实现对包括可动枪机和球机的图像采集设备的两个联动相机的标定。

在一种可选的实施方式中，上述基于第一图像、多个第二图像、采集第一图像时第一相机的云台的角度，以及采集每个第二图像时所述第二相机的云台的角度，获取第一相机采集图像时的实际焦距，具体可以包括如下步骤：

从第一图像中确定多个对应点；其中，每个对应点分别与一个第二图像的中心点具有相同的特征；

分别获取每个对应点与第一图像的中心点之间的水平偏差值；

分别获取采集每个第二图像时第二相机的云台的角度与第一相机的云台的角度之间差值的正切值；

将获取的水平偏差值和获取的正切值输入实际焦距公式，得到实际焦距；其中，实际焦距公式为按照第一相机的实际焦距，正切值以及水平偏差值之间的空间几何关系构建的公式。

在一种可选的实施方式中，上述实际焦距公式为：f＝(t^T·t)^-1·t^Td；

其中，f为实际焦距，t^T为正切值矩阵的转置，t为正切值矩阵，d为水平偏差矩阵；正切值矩阵中的元素为上述获取的正切值，且正切值矩阵中元素的排列与第一图像中相应对应点的排列对应；水平偏差矩阵中的元素为上述获取的水平偏差值，且水平偏差矩阵中元素的排列与第一图像中相应对应点的排列对应。

示例性的，如图3所示。第一相机在第一预设位置，采集预设场景的第一图像，第二相机在预设的多个第二位置采集预设场景的多个第二图像。其中，第一预设位置可以为PT坐标(FOV_H，FOV_W)，多个第二预设位置可以为包括PT坐标(FOV_W*1/4，FOV_H*1/4)和PT坐标(FOV_W*3/4，FOV_H*3/4)，以及处于(FOV_W*1/4，FOV_H*1/4)和(FOV_W*3/4，FOV_H*3/4)之间的PT坐标。并且，拍摄第一图像和第二图像时，第一相机和第二相机绕同一旋转轴旋转。这样，可以保证多个第二图像的中心点可以在第一图像中找到对应点，如图3中第二相机采集的多个第二图像分别包含点A至点I，第一相采集的一个第一图像中包含点A至点I。

示例性的，如图4所示。对于第二相机采集的9个第二图，分别存在中心点A至I，且均可以在第一相机采集的一个第一图像中找到与每个中心点具有相同特征的点，也就是对应点。因此，可以分别对多个第二图像与第一图像进行图像匹配，从而从第一图像中确定多个对应点。在此基础上，第一相机的实际焦距与第一相机采集第一图像时云台的角度，以及第二相机采集每个第二图像时云台的角度存在如下几何关系：f×tan(P_n-P_ctr)＝x_n-x_ctr。其中，P_ctr为第一相机采集第一图像时云台的角度，P_n为第二相机采集第n个第二图像时云台的角度。x_n为第n个第二图像的中心点的横坐标，x_ctr为第n个第二图像的中心点在第一图像中的对应点的横坐标。

为了获取第一相机的实际焦距，可以令t_n为正切值矩阵中的元素，d_n为水平偏差矩阵中的元素。这样，针对第1个第二图像至第n个第二图像，存在如下方程组：

示例性的，存在9个第二图像，第1到9个正切值矩阵中的元素分别对应第一图像中的对应点A至I。则t₁至t_n可以按照本发明图3所示点A至I的顺序排列得到正切值矩阵。类似的，d₁至d_n可以按照本发明图3所示点A至I的顺序排列得到水平偏差矩阵。得到实际焦距后，第一项相机的实际焦距系数即为：K_f＝f/f′。其中，K_f为实际焦距系数，f′为第一相机的理论焦距。

在一种可选的实施方式中，上述基于实际焦距系数和第一相机的原始内参矩阵，计算获得第一相机的实际内参矩阵，具体可以包括如下步骤：

获取第一相机的中心偏移量和第一相机所采集图像的宽度；其中，中心偏移量为第一相机的光学中心相对于第一相机所采集图像的图像中心的偏移量；

获取第一相机的理论焦距；

将第一相机的实际内参矩阵中第一相机所采集图像的中心点的坐标，更新为中心偏移量和宽度之差，并将第一相机的实际内参矩阵中第一相机的焦距，更新为实际焦距系数与所述第一相机的理论焦距之积，得到第一相机的实际内参矩阵；

其中，实际内参矩阵为：

M_int为第一相机的实际内参矩阵，K_f为实际焦距系数，f′为所述第一相机的理论焦距，w为第一相机所采集图像的宽度，x_ofs和y_ofs分别为中心偏移量中的水平偏移量和垂直偏移量。

其中，第一相机的中心偏移量和第一相机所采集图像的宽度均为第一相机自身参数，因此，可以预存在第一相机中。

在一种可选的实施方式中，上述基于第一相机与第二相机之间的位置关系，以及第一相机的原始外参矩阵，确定第一相机的外参矩阵，具体可以包括如下步骤：

获取第一相机和第二相机之间的空间相对偏移量，作为第一相机与第二相机之间的位置关系；

利用位置关系和第一相机的初始PT坐标，分别更新第一相机的原始外参矩阵中的目标旋转矩阵与目标偏移矩阵，得到第一相机的外参矩阵；

其中，第一相机的外参矩阵为：

M_ext为第一相机的外参矩阵，P₀和T₀分别为初始PT坐标中的平移坐标和倾斜坐标，t_x、t_y以及t_z分别为位置关系中，x轴方向的偏移量，y轴方向的偏移量以及z轴方向的偏移量。

示例性的，如图5所示。第一相机的外参矩阵是将第一相机采集的图像映射到笛卡尔坐标系，也就是球面坐标系中形成的矩阵。这样，对于图像而言相当于是在只有x，y两个维度时，将图像旋转至Z＝1的平面上。例如，经过旋转-90°，图像的中心点ctr从y轴的负轴旋转到z轴的正轴，A点和B点也随之旋转。

在一种可选的实实施方式中，在上述基于第一相机与第二相机之间的位置关系，以及第一相机的原始外参矩阵，确定第一相机的外参矩阵之后，本发明实施例提供的监控相机的标定方法，还可以包括如下步骤：

获取对目标进行图像采集时，第一相机的当前PT坐标，以及目标的物距；

基于当前PT坐标和第一相机的外参矩阵，获取第一相机的实际外参矩阵；

基于物距，第一相机的实际内参矩阵以及第一相机的实际外参矩阵，将目标在第一相机所采集目标图像中的图像坐标，转换为目标在世界坐标系中的世界坐标。

其中，基于当前PT坐标和第一相机的外参矩阵，获取第一相机的实际外参矩阵，具体可以包括：将第一相机的外参矩阵中的初始PT坐标更新为当前PT坐标。示例性的，如图6所示。与外参矩阵类似的，实际外参矩阵也是对图像的旋转，例如，从图像P1旋转至图像P3，期间会经过图像P2所在的位置。并且，基于物距，第一相机的实际内参矩阵以及第一相机的实际外参矩阵，将目标在第一相机所采集目标图像中的图像坐标，转换为目标在世界坐标系中的世界坐标，具体可以包括：对物距，实际内参矩阵的逆矩阵，实际外参矩阵的逆矩阵，以及图像坐标求积，得到目标在世界坐标系中的世界坐标： 其中，P_3D为世界坐标，Zc为物距，/>为实际内参矩阵的逆矩阵，/>为实际外参矩阵的逆矩阵，P_uv为图像坐标。

在一种可选的实施方式中，在上述将目标在第一相机所采集目标图像中的图像坐标，转换为目标在世界坐标系中的世界坐标之后，本发明实施例提供的监控相机的标定方法，还可以包括如下步骤：

对世界坐标进行归一化处理，得到目标在球面坐标系中的球面坐标；

将球面坐标输入PT坐标转换公式，得到第二相机的PT坐标；

其中，PT坐标转换公式为：

∠P和∠T分别为第二相机的PT坐标中的平移坐标和倾斜坐标，(x_3Dn，y_3Dn，z_3Dn)为球面坐标。

在具体应用中，对世界坐标的归一化处理可以包括：

其中，P_3Dn＝(x_3Dn，y_3Dn，z_3Dn)为目标在球面坐标系中的球面坐标，normal(P_3D)代表对世界坐标P_3D取模，(x_3D，y_3D，z_3D)为目标在世界坐标系中的世界坐标。

在一种可选的实施方式中，在上述基于第一相机与第二相机之间的位置关系，以及第一相机的原始外参矩阵，确定第一相机的外参矩阵之后，本发明实施例提供的监控相机的标定方法，还可以包括如下步骤：

获取对目标进行图像采集时，第一相机的当前PT坐标，以及目标的物距，并基于当前PT坐标和所述第一相机的外参矩阵，获取第一相机的实际外参矩阵；

利用第一相机的PT坐标与球面坐标系之间的空间几何关系，将当前PT坐标转换为目标在所述球面坐标系中的球面坐标；

将第一相机的实际内参矩阵，实际外参矩阵以及球面坐标输入球面坐标转换公式，得到目标在第一相机所拍摄图像的图像坐标系中的图像坐标；

其中，球面坐标转换公式为P_uv＝M_int·M_ext·P_3Dn；P_uv为图像坐标，M_int为内参矩阵，M_ext为外参矩阵，P_3Dn为球面坐标。

在具体应用中，第一相机的实际外参矩阵的获取可以参见上述可选实施例中获取第一相机的实际外参矩阵的方式获取，在此不再赘述。

在一种可选的实施方式中，上述利用第一相机的PT坐标与球面坐标系之间的空间几何关系，将当前PT坐标转换为目标在球面坐标系中的球面坐标，具体可以包括如下步骤：

将当前PT坐标输入球面坐标转换公式，得到目标在球面坐标系中的球面坐标；其中，球面坐标公式为：

(P₁，T₁)为当前PT坐标，(x_3Dn，y_3Dn，z_3Dn)为球面坐标。

示例性的，如图7所示。结合上述各可选实施例中不同坐标系中坐标之间的转换，可以将世界坐标作为中间量，对第一相机对应的图像坐标，第二相机对应的图像坐标，第一相机的PT坐标以及第二相机的PT坐标，进行相互转换。这样，每一个坐标可以与其余三个坐标转换，共可实现十二种坐标转换。例如，如图8所示。第一相机的图像坐标到第二相机的PT坐标的转换过程可以包括：

第一相机对应的图像坐标转换为第一相机对应的相机坐标：将第一相机对应的相机坐标转换为世界坐标：/>将世界坐标转换为球面坐标：/>最后将球面坐标转换为第二相机的PT坐标。其中，第一相机对应的相机坐标为目标在第一相机的相机坐标系中的坐标；并且，球面坐标转换为第二相机的PT坐标具体参见上述关于获取第二相机的PT坐标的可选实施例，在此不再赘述。

在一种可选的实施方式中，本发明实施例提供的监控相机的标定方法，还可以包括如下步骤：

当第一相机所采集图像的中心与第二相机所采集图像的中心重合时，获取第一相机当前的PT坐标，以及第二相机当前的PT坐标；

计算第一相机当前的PT坐标和第二相机当前的PT坐标之间的差值，作为所述第一相机和第二相机之间的光心偏差；光心偏差用于对第二相机的PT坐标进行纠偏。

在具体应用中，可以固定第一相机，并调整第二相机的位置至第一相机和第二相机采集的图像的中心对准，对此时第一相机和第二相机的PT坐标求差，得到第一相机光心和第二相机光心的偏差(Pofs，Tofs)：

其中，第一相机所采集图像的中心与第二相机所采集图像的中心重合时，第二相机的PT坐标为(P_dome，T_dome)，第一相机的PT坐标为(P_ipc，T_ipc)。对于转换得到的第二相机的PT坐标以及从第二相机中获取的PT坐标，均可以使用光心偏差纠偏：第二相机的PT坐标减去光心偏差。

相应与上述方法实施例，本发明实施例还提供一种监控相机的标定装置。

如图9所示，本发明一实施例提供的一种监控相机的标定装置，应用于对同一现场场景进行监控的两个联动相机中的第一相机，所述装置包括：

图像获取模块901，用于获取第一相机在预设第一位置对预设场景采集的第一图像，以及所述两个联动相机中的第二相机在预设的多个第二位置对所述预设场景采集的多个第二图像；其中，拍摄所述第一图像和所述第二图像时，所述第一相机和所述第二相机绕同一旋转轴旋转；

实际焦距获取模块902，用于基于所述第一图像、所述多个第二图像、采集所述第一图像时所述第一相机的云台的角度，以及采集每个所述第二图像时所述第二相机的云台的角度，获取所述第一相机采集所述第一图像时的实际焦距；

实际焦距系数获取模块903，用于获取第一相机的理论焦距，并计算所述实际焦距和所述理论焦距之间的比值，得到所述第一相机的实际焦距系数；

实际内参矩阵获取模块904，用于基于所述实际焦距系数和所述第一相机的原始内参矩阵，计算获得所述第一相机的实际内参矩阵；

外参矩阵获取模块905，用于基于所述第一相机与第二相机之间的位置关系，以及所述第一相机的原始外参矩阵，确定所述第一相机的外参矩阵。

本发明实施例提供的方案中，内参矩阵代表相机自身的性质，外参矩阵代表相机的位姿，二者影响世界坐标系中的目标在相机中的成像，也就影响目标在世界坐标系中的坐标和目标在图像坐标系中的坐标之间的转换关系。因此，相机的内参矩阵和外参矩阵可以用于实现目标的图像坐标在不同坐标系中的转换。在此基础上，基于实际焦距系数和第一相机的原始内参矩阵，计算获得第一相机的实际内参矩阵；并基于第一相机与第二相机之间的位置关系，以及第一相机的原始外参矩阵，确定第一相机的外参矩阵，从而实现对两个联动相机均为可动相机的场景中，第一相机的标定。与将固定枪机的相机坐标系和球机的相机坐标系之间的转换关系作为标定结果相比，本方案将不受相机位姿变动影响、且标定结果可以用于进行目标的图像坐标与世界坐标之间的转换，从而实现对包括可动枪机和球机的图像采集设备的两个联动相机的标定。

可选的，所述实际焦距获取模块902，具体用于：

从所述第一图像中确定多个对应点；其中，每个对应点分别与一个第二图像的中心点具有相同的特征；

分别获取每个对应点与所述第一图像的中心点之间的水平偏差值；

分别获取采集每个所述第二图像时所述第二相机的云台的角度与所述第一相机的云台的角度之间差值的正切值；

将获取的水平偏差值和获取的正切值输入实际焦距公式，得到所述实际焦距；其中，所述实际焦距公式为按照所述第一相机的实际焦距，所述正切值以及所述水平偏差值之间的空间几何关系构建的公式。

可选的，所述实际焦距公式为：f＝(t^T·t)^-1·t^Td；

其中，所述f为所述实际焦距，所述t^T为正切值矩阵的转置，所述t为所述正切值矩阵，所述d为水平偏差矩阵；所述正切值矩阵中的元素为所述获取的正切值，且所述正切值矩阵中元素的排列与所述第一图像中相应对应点的排列对应；所述水平偏差矩阵中的元素为所述获取的水平偏差值，且所述水平偏差矩阵中元素的排列与所述第一图像中相应对应点的排列对应。

可选的，所述实际内参矩阵获取模块904，具体用于：

获取所述第一相机的中心偏移量和所述第一相机所采集图像的宽度；其中，所述中心偏移量为所述第一相机的光学中心相对于所述第一相机所采集图像的图像中心的偏移量；

获取所述第一相机的理论焦距；

将所述第一相机的实际内参矩阵中所述第一相机所采集图像的中心点的坐标，更新为所述中心偏移量和所述宽度之差，并将所述第一相机的实际内参矩阵中所述第一相机的焦距，更新为所述实际焦距系数与所述第一相机的理论焦距之积，得到所述第一相机的实际内参矩阵；

其中，所述实际内参矩阵为：

所述M_int为所述第一相机的实际内参矩阵，所述K_f为所述实际焦距系数，所述f′为所述第一相机的理论焦距，所述w为所述宽度，所述x_ofs和所述y_ofs分别为所述中心偏移量中的水平偏移量和垂直偏移量。

可选的，所述外参矩阵获取模块905，具体用于：

获取所述第一相机和所述第二相机之间的空间相对偏移量，作为所述第一相机与第二相机之间的位置关系；

利用所述位置关系和所述第一相机的初始PT坐标，分别更新所述第一相机的原始外参矩阵中的目标旋转矩阵与目标偏移矩阵，得到所述第一相机的外参矩阵；

其中，所述外参矩阵为：

所述M_ext为所述第一相机的外参矩阵，所述P₀和所述T₀分别为所述初始PT坐标中的平移坐标和倾斜坐标，所述t_x、t_y以及t_z分别为所述位置关系中，x轴方向的偏移量，y轴方向的偏移量以及z轴方向的偏移量。

可选的，所述装置还包括：坐标转换模块，用于：

在所述基于所述第一相机与第二相机之间的位置关系，以及所述第一相机的原始外参矩阵，确定所述第一相机的外参矩阵之后，获取对目标进行图像采集时，所述第一相机的当前PT坐标，以及所述目标的物距，并基于所述当前PT坐标和所述第一相机的外参矩阵，获取所述第一相机的实际外参矩阵；

利用所述第一相机的PT坐标与球面坐标系之间的空间几何关系，将所述当前PT坐标转换为所述目标在所述球面坐标系中的球面坐标；

将所述第一相机的实际内参矩阵，所述实际外参矩阵以及所述球面坐标输入球面坐标转换公式，得到所述目标在所述第一相机所拍摄图像的图像坐标系中的图像坐标；

其中，所述球面坐标转换公式为P_uv＝M_int·M_ext·P_3Dn；所述P_uv为所述图像坐标，所述M_int为所述内参矩阵，所述M_ext为所述外参矩阵，所述P_3Dn为所述球面坐标。

可选的，所述坐标转换模块，具体用于：

将所述当前PT坐标输入球面坐标转换公式，得到所述目标在所述球面坐标系中的球面坐标；其中，所述球面坐标公式为：

(P₁，T₁)为所述当前PT坐标，(x_3Dn，y_3Dn，z_3Dn)为所述球面坐标。

可选的，所述装置还包括：纠偏模块，用于：

当所述第一相机所采集图像的中心与所述第二相机所采集图像的中心重合时，获取所述第一相机当前的PT坐标，以及所述第二相机当前的PT坐标；

计算所述第一相机当前的PT坐标和所述第二相机当前的PT坐标之间的差值，作为所述第一相机和所述第二相机之间的光心偏差；所述光心偏差用于对所述第二相机的PT坐标进行纠偏。

如图10所示，本发明另一实施例提供的一种监控相机的标定装置，应用于对同一现场场景进行监控的两个联动相机中的第一相机，所述装置包括：

图像获取模块1001，用于获取第一相机在预设第一位置对预设场景采集的第一图像，以及所述两个联动相机中的第二相机在预设的多个第二位置对所述预设场景采集的多个第二图像；其中，拍摄所述第一图像和所述第二图像时，所述第一相机和所述第二相机绕同一旋转轴旋转；

实际焦距获取模块1002，用于基于所述第一图像、所述多个第二图像、采集所述第一图像时所述第一相机的云台的角度，以及采集每个所述第二图像时所述第二相机的云台的角度，获取所述第一相机采集所述第一图像时的实际焦距；

实际焦距系数获取模块1003，用于获取第一相机的理论焦距，并计算所述实际焦距和所述理论焦距之间的比值，得到所述第一相机的实际焦距系数；

实际内参矩阵获取模块1004，用于基于所述实际焦距系数和所述第一相机的原始内参矩阵，计算获得所述第一相机的实际内参矩阵；

外参矩阵获取模块1005，用于基于所述第一相机与第二相机之间的位置关系，以及所述第一相机的原始外参矩阵，确定所述第一相机的外参矩阵

坐标转换模块1006，用于在所述基于所述第一相机与第二相机之间的位置关系，以及所述第一相机的原始外参矩阵，确定所述第一相机的外参矩阵之后，获取对目标进行图像采集时，所述第一相机的当前PT坐标，以及所述目标的物距；基于所述当前PT坐标和所述第一相机的外参矩阵，获取所述第一相机的实际外参矩阵；基于所述物距，所述第一相机的实际内参矩阵以及所述第一相机的实际外参矩阵，将所述目标在所述第一相机所采集目标图像中的图像坐标，转换为所述目标在世界坐标系中的世界坐标。

可选的，所述坐标转换模块1006，还用于：

在所述将所述目标在所述第一相机所采集目标图像中的图像坐标，转换为所述目标在世界坐标系中的世界坐标之后，对所述世界坐标进行归一化处理，得到所述目标在球面坐标系中的球面坐标；

将所述球面坐标输入PT坐标转换公式，得到所述第二相机的PT坐标；

其中，所述PT坐标转换公式为：

所述∠P和所述∠T分别为所述第二相机的PT坐标中的平移坐标和倾斜坐标，(x_3Dn，y_3Dn，z_3Dn)为所述球面坐标。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置和电子设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种监控相机的标定方法，其特征在于，应用于对同一现场场景进行监控的两个联动相机中的第一相机，所述方法包括：

获取第一相机在预设第一位置对预设场景采集的第一图像，以及所述两个联动相机中的第二相机在预设的多个第二位置对所述预设场景采集的多个第二图像；其中，拍摄所述第一图像和所述第二图像时，所述第一相机和所述第二相机绕同一旋转轴旋转；

基于所述第一图像、所述多个第二图像、采集所述第一图像时所述第一相机的云台的角度，以及采集每个所述第二图像时所述第二相机的云台的角度，获取所述第一相机采集所述第一图像时的实际焦距；

获取第一相机的理论焦距，并计算所述实际焦距和所述理论焦距之间的比值，得到所述第一相机的实际焦距系数；

基于所述实际焦距系数和所述第一相机的原始内参矩阵，计算获得所述第一相机的实际内参矩阵；

基于所述第一相机与第二相机之间的位置关系，以及所述第一相机的原始外参矩阵，确定所述第一相机的外参矩阵。

2.根据权利要求1所述的方法，其特征在于，所述基于所述第一图像、所述多个第二图像、采集每个所述第二图像时所述第一相机的云台的角度，以及采集每个所述第二图像时所述第二相机的云台的角度，获取所述第一相机采集图像时的实际焦距，包括：

从所述第一图像中确定多个对应点；其中，每个对应点分别与一个第二图像的中心点具有相同的特征；

分别获取每个对应点与所述第一图像的中心点之间的水平偏差值；

分别获取采集每个所述第二图像时所述第二相机的云台的角度与所述第一相机的云台的角度之间差值的正切值；

将获取的水平偏差值和获取的正切值输入实际焦距公式，得到所述实际焦距；其中，所述实际焦距公式为按照所述第一相机的实际焦距，所述正切值以及所述水平偏差值之间的空间几何关系构建的公式。

3.根据权利要求2所述的方法，其特征在于，所述实际焦距公式为：

f＝(t^T·t)^-1·t^Td；

其中，所述f为所述实际焦距，所述t^T为正切值矩阵的转置，所述t为所述正切值矩阵，所述d为水平偏差矩阵；所述正切值矩阵中的元素为所述获取的正切值，且所述正切值矩阵中元素的排列与所述第一图像中相应对应点的排列对应；所述水平偏差矩阵中的元素为所述获取的水平偏差值，且所述水平偏差矩阵中元素的排列与所述第一图像中相应对应点的排列对应。

4.根据权利要求1所述的方法，其特征在于，所述基于所述实际焦距系数和所述第一相机的原始内参矩阵，计算获得所述第一相机的实际内参矩阵，包括：

获取所述第一相机的中心偏移量和所述第一相机所采集图像的宽度；其中，所述中心偏移量为所述第一相机的光学中心相对于所述第一相机所采集图像的图像中心的偏移量；

获取所述第一相机的理论焦距；

将所述第一相机的实际内参矩阵中所述第一相机所采集图像的中心点的坐标，更新为所述中心偏移量和所述宽度之差，并将所述第一相机的实际内参矩阵中所述第一相机的焦距，更新为所述实际焦距系数与所述第一相机的理论焦距之积，得到所述第一相机的实际内参矩阵；

其中，所述实际内参矩阵为：

所述M_int为所述第一相机的实际内参矩阵，所述K_f为所述实际焦距系数，所述f′为所述第一相机的理论焦距，所述w为所述宽度，所述x_ofs和所述y_ofs分别为所述中心偏移量中的水平偏移量和垂直偏移量。

5.根据权利要求1所述的方法，其特征在于，所述基于所述第一相机与第二相机之间的位置关系，以及所述第一相机的原始外参矩阵，确定所述第一相机的外参矩阵，包括：

获取所述第一相机和所述第二相机之间的空间相对偏移量，作为所述第一相机与第二相机之间的位置关系；

利用所述位置关系和所述第一相机的初始PT坐标，分别更新所述第一相机的原始外参矩阵中的目标旋转矩阵与目标偏移矩阵，得到所述第一相机的外参矩阵；

其中，所述外参矩阵为：

所述M_ext为所述第一相机的外参矩阵，所述P₀和所述T₀分别为所述初始PT坐标中的平移坐标和倾斜坐标，所述t_x、t_y以及t_z分别为所述位置关系中，x轴方向的偏移量，y轴方向的偏移量以及z轴方向的偏移量。

6.根据权利要求1所述的方法，其特征在于，在所述基于所述第一相机与第二相机之间的位置关系，以及所述第一相机的原始外参矩阵，确定所述第一相机的外参矩阵之后，所述方法还包括：

获取对目标进行图像采集时，所述第一相机的当前PT坐标，以及所述目标的物距；

基于所述当前PT坐标和所述第一相机的外参矩阵，获取所述第一相机的实际外参矩阵；

基于所述物距，所述第一相机的实际内参矩阵以及所述第一相机的实际外参矩阵，将所述目标在所述第一相机所采集目标图像中的图像坐标，转换为所述目标在世界坐标系中的世界坐标。

7.根据权利要求6所述的方法，其特征在于，在所述将所述目标在所述第一相机所采集目标图像中的图像坐标，转换为所述目标在世界坐标系中的世界坐标之后，所述方法还包括：

对所述世界坐标进行归一化处理，得到所述目标在球面坐标系中的球面坐标；

将所述球面坐标输入PT坐标转换公式，得到所述第二相机的PT坐标；其中，所述PT坐标转换公式为：

所述∠P和所述∠T分别为所述第二相机的PT坐标中的平移坐标和倾斜坐标，(x_3Dn，y_3Dn，z_3Dn)为所述球面坐标。

8.根据权利要求1所述的方法，其特征在于，在所述基于所述第一相机与第二相机之间的位置关系，以及所述第一相机的原始外参矩阵，确定所述第一相机的外参矩阵之后，所述方法还包括：

获取对目标进行图像采集时，所述第一相机的当前PT坐标，以及所述目标的物距，并基于所述当前PT坐标和所述第一相机的外参矩阵，获取所述第一相机的实际外参矩阵；

利用所述第一相机的PT坐标与球面坐标系之间的空间几何关系，将所述当前PT坐标转换为所述目标在所述球面坐标系中的球面坐标；

将所述第一相机的实际内参矩阵，所述实际外参矩阵以及所述球面坐标输入球面坐标转换公式，得到所述目标在所述第一相机所拍摄图像的图像坐标系中的图像坐标；

其中，所述球面坐标转换公式为P_uv＝M_int·M_ext·P_3Dn；所述P_uv为所述图像坐标，所述M_int为所述内参矩阵，所述M_ext为所述外参矩阵，所述P_3Dn为所述球面坐标。

9.根据权利要求8所述的方法，其特征在于，所述利用所述第一相机的PT坐标与球面坐标系之间的空间几何关系，将所述当前PT坐标转换为所述目标在所述球面坐标系中的球面坐标，包括：

将所述当前PT坐标输入球面坐标转换公式，得到所述目标在所述球面坐标系中的球面坐标；其中，所述球面坐标公式为：

(P₁，T₁)为所述当前PT坐标，(x_3Dn，y_3Dn，z_3Dn)为所述球面坐标。

10.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当所述第一相机所采集图像的中心与所述第二相机所采集图像的中心重合时，获取所述第一相机当前的PT坐标，以及所述第二相机当前的PT坐标；

计算所述第一相机当前的PT坐标和所述第二相机当前的PT坐标之间的差值，作为所述第一相机和所述第二相机之间的光心偏差；所述光心偏差用于对所述第二相机的PT坐标进行纠偏。