CN113642397A - 一种基于手机视频的物体长度测量方法 - Google Patents

Abstract

本发明公开了一种基于手机视频的物体长度测量方法，具体为：通过手机相机采集视频数据，并对视频数据进行预处理；求解手机相机的内参数；保存一张包含目标物体和参照物的参考图像，对采集的视频数据和参考图进行特征点提取，将视频的每一帧与参考图像进行特征点匹配得到匹配点对；计算相机到参照物表面的距离；获取到视频初始帧中的目标物体像素大小，结合相机焦距、参照物与相机间距离和物体像素大小计算出目标物体的真实长度。本发明解决了现有技术中存在的测量精度相对较低的问题。

Description

一种基于手机视频的物体长度测量方法

技术领域

本发明属于计算机视觉和图像处理方法技术领域，涉及一种基于手机视频的物体长度测量方法。

背景技术

物体的长度测量贯穿于人们的生活之中。传统的测量方式是人工采用软尺、刻度尺等标准辅助工具进行测量，不仅效率低下，而且需要大量的人工成本。在生产和生活朝着智能化发展的趋势下，传统的测量方法早已不能满足人们生产和生活的需求。随着计算机技术的不断革新，计算机辅助的物体测量方法逐渐发展起来。虽然目前有各种测量设备，但是基于相机的机器视觉测量方法由于其简易性和方便性受到人们的青睐。

基于相机的机器视觉测量方法从数据获取上可分为基于单图像的测量方法和基于多图像的测量方法。但是基于单图像的测量方法测量精度相对较低，基于多图像的测量需要不断变换相机的位置来获取不同视角的数据，实际操作相对困难。因此，实现一种操作过程简单灵活、满足多幅图像在测量精度方面优势的目标物体长度测量方法仍然是十分必要且具有挑战性的。

发明内容

本发明的目的是提供一种基于手机视频的物体长度测量方法，解决了现有技术中存在的测量精度相对较低的问题。

本发明所采用的技术方案是，一种基于手机视频的物体长度测量方法，具体按照如下步骤实施：

步骤1，通过手机相机采集视频数据，并对视频数据进行预处理；

步骤2，基于视觉坐标系统之间的转换关系来求解手机相机的内参数；

步骤3，在计算机中保存一张包含目标物体和参照物的参考图像，对步骤1中手机相机采集的视频数据进行特征点提取，之后将视频的每一帧与参考图像进行特征点匹配得到匹配点对；

步骤4，在获取到经步骤3产生的匹配点对的前提下，计算出参考图像和视频帧的单应性矩阵，根据单应性矩阵更新参照物顶点在每一帧图像中的坐标并估计参照物的边框，通过参照物的边框推导出相机位姿，根据相机位姿得到相机到参照物表面的距离；

步骤5，获取到视频初始帧中的目标物体像素大小，结合相机焦距、步骤3中参照物与相机间距离和步骤5获取的物体像素大小计算出目标物体的真实长度。

本发明的特征还在于，

步骤1中采集视频时，在手机移动过程中采集视频数据且手机在空间中水平匀速运动；

步骤1中对视频进行预处理具体为：

对采集的视频数据进行双边滤波去噪，然后采用Canny算子来获取视频各帧的边缘信息。

步骤2具体为：

步骤2.1，将6×8的棋盘格图像布满整个电脑屏幕，将电脑屏幕作为标定板，其中，每个小格的长度为37mm；

步骤2.2，使用手机相机在电脑屏幕的上、下、左、右、左上、左下、右上、右下、正前9个方位拍摄20张棋盘格图像；

步骤2.3，将步骤2.2中拍摄的20张棋盘格图像保存到指定目录下；

步骤2.4，对步骤2.3得到的20张棋盘格图像进行降采样，调用findChessboardCorners()函数进行初始化角点提取；

步骤2.5，在步骤2.4初步提取角点之上进一步使用cornerSubPix()函数提取亚像素信息，降低相机标定偏差，再调用drawChessboardCorners()函数将角点用不同颜色绘制到棋盘格图像上并保存图像；

步骤2.6，初始化标定板上的三维坐标，使用calibrateCamera函数()进行相机标定，得到相机参数；

步骤2.7，根据步骤2.6得到的相机参数对角点进行重新投影计算，得到角点在步骤2.3保存的棋盘格图像上新的投影点坐标，计算投影坐标和步骤 2.5中亚像素提取之后的角点坐标之间的偏差对获得的相机参数进行评估，并删除偏差大于设定的阈值的图像；

步骤2.8，重新按照步骤2.4-2.6计算相机参数，之后返回步骤2.7对相机参数进行重新评估，直到没有图像再被删除为止；

步骤2.9，将标定结果写入到txt文件中。

步骤3具体为：

步骤3.1，在计算机中保存一张包含目标物体和参照物的参考图像，对步骤1中手机相机采集的视频数据和保存的参考图像采用SURF算子进行特征点提取；

步骤3.2，将步骤3.1中特征点提取之后的视频的每一帧与参考图像采用 KNN算法完成初始特征匹配，得到匹配点对；

步骤3.3，根据步骤3.2得到的匹配点对连接线长度和斜率相等的几何特征构建最佳几何约束，完成初始匹配优化；

步骤3.4，用RANSAC算法对步骤3.3的优化结果进行二次优化，获得最终匹配结果。

步骤3.2具体为：

步骤3.2.1，步骤3.1得到的每个特征点利用K近邻查找法找到k个与其邻近的点，k＝2；

步骤3.2.2，设置阈值，若最近邻点和次近邻点的距离的比小于阈值，则将最近邻的点作为匹配点，最终得到步骤1中手机相机采集的视频数据和步骤3.1中保存的参考图像的匹配点对。

步骤3.3具体为：

步骤3.3.1，在计算机中初始化存储步骤3.2得到的匹配点对连接线的集合，设连接线的长度的集合为map_d，连接线的斜率集合为map_k；

步骤3.3.2，统计每对匹配点对连接线的长度d_i，斜率k_i，将长度d_i作为map_d的键key，map_d的value为匹配线是该长度的条数，map_k的键key为每条匹配线的斜率k_i，map_k的value为匹配线是该斜率的条数，其中，每对匹配点中的两个点p_1i(x_i,y_i)和p_2j(x_j,y_j)的距离d_i的计算公式如下：

两点p_1i(x_i,y_i)和p_2j(x_j,y_j)确定的直线斜率k_i的计算公式如下：

步骤3.3.3，求map_d中value最大的key作为长度的基准，设为D，求 map_k中value最大的key作为斜率的基准，设为K，当D-m≤d_i≤D+m或者K-n≤k_i≤K+n时，保留该匹配点对连接线，否则删除，其中，m为匹配线长度的误差，n为匹配线斜率的误差，m＝15，n＝0.03；

步骤3.4具体为：

步骤3.4.1，初始化投影误差的阈值λ，内点集合I，最优内点集合 I_best，迭代次数k；

步骤3.4.2，从经过步骤3.3.3得到的剩余连接线对应的匹配点对中随机抽取4个不共线的样本数据；

步骤3.4.3，根据样本数据计算变换矩阵，记作M，具体为：

根据公式：

其中，(x,y)和(x',y')是步骤3.4.2中样本数据中一对匹配点坐标，s为尺度参数，计算变换矩阵

并记作M；

步骤3.4.4，计算步骤3.3.3得到的剩余匹配点集中所有数据与M的投影误差δ_i，计算投影误差δ_i的公式如下：

如果δ_i＜λ，将该数据加入到内点集合I中；

步骤3.4.5，重复步骤3.4.2-3.4.4，找到存在最大元素个数的内点集合，并把该内点集合存入I_best，同时更新迭代次数k；

步骤3.4.6，若迭代次数k大于最大迭代次数，则最终I_best中的匹配点对即为优化后的匹配点对。

步骤4具体为：

步骤4.1，根据步骤3获得的特征匹配点对，计算出参考图像和视频帧的单应性矩阵；

步骤4.2，根据步骤4.1得到的单应性矩阵更新参照物顶点在每一帧图像中的坐标并估计参照物的边框；

步骤4.3，根据参照物的边框推导出相机位姿，根据相机位姿得到相机到参照物表面的距离。

步骤4.1具体为：

步骤4.1.1，设参考图像中的某个像点为p₁(x₁,y₁)，视频中某一帧图像的像点p₂(x₂,y₂)是p₁(x₁,y₁)的匹配点，单应性矩阵为H通过下式建立两个像点间的关系：

步骤4.1.2，将矩阵乘法展开，可得下式：

步骤4.1.3，将步骤4.1.2中公式(6)转化为两个公式，如下所示：

将上面公式(7)变换为A_x＝0的形式，如下所示：

步骤4.1.4，将步骤3.1.3中公式(8)改写为向量积的形式，由于单应性矩阵是齐次的，令h＝(H₁₁,H₁₂,H₁₃,H₂₁,H₂₂,H₂₃,H₃₁,H₃₂,1)^T，因此公式(8) 改写为：

其中，a_x＝(x₁,y₁,1,0,0,0,-x₂x₁,-x₂y₁,-x₂)^T a_y＝(0,0,0,x₁,y₁,1,-x₁y₂,-y₁y₂,-y₂)^T，设有n对匹配点对，则得到Ah＝0，

求出h，再根据h＝(H₁₁,H₁₂,H₁₃,H₂₁,H₂₂,H₂₃,H₃₁,H₃₂,1)^T得到单应性矩阵 H。

步骤4.2具体为：

步骤4.2.1，获取步骤3.4.6得到的参考图像和第i帧图像对应的匹配点对，分别保存在集合src_pts和集合dst_pts中；

步骤4.2.2，根据匹配点按照步骤4.1的方法得到其对应的单应矩阵M_i；

步骤4.2.3，计算参考图像中参照物的顶点坐标，即参照物的左上角顶点、右上角顶点、右下角顶点、左下角顶点，并保存到集合pts中；

步骤4.2.4，利用步骤4.1.1中公式(5)通过步骤3.4.3得到的单应矩阵M_i计算集合pts中参照物的顶点在视频第i帧图像中的坐标，记为a_i、b_i、c_i、 d_i，分别是视频第i帧图像中参照物的左上角顶点、右上角顶点、右下角顶点、左下角顶点，并保存在集合dst中；

步骤4.2.5，依次连接a_i、b_i、c_i、d_i得到第i帧图的边框图像，并将完成边框绘制的第i帧图像添加到集合found_list中；

步骤4.2.6，重复步骤4.2.1-4.2.5得到所有匹配点对对应的边框图像，将集合found_list中的图像合成完整的视频，保存视频，得到参照物的边框。

步骤4.3具体为：

步骤4.3.1，相机线性模型表示为：

P_c＝RP_w+t (10)

其中，P_c、P_w分别指同一空间点在相机坐标系和世界坐标系下的坐标，t为平移向量，R为旋转矩阵；

相机的内参矩阵K表示为：

其中，f为相机焦距，α为像素比例因子；

步骤4.3.2，将世界坐标系O_w-X_wY_wZ_w建立在平面上，则P_A、P_B、P_C、 P_D四个点在O_w-X_wY_wZ_w中的坐标为P_A(x_A,y_A,0)、P_B(x_B,y_B,0)、P_C(x_C,y_C,0) 和P_D(x_D,y_D,0)，则相机坐标系中的对应的点P_A'、P_B'、P_C'、P_D'表示为：

P_i'＝RP_i+t＝(r₁ r₂ r₃)P_i+t (12)

其中，P_i'为相机坐标系下的对应的点，i为A或B或C或D，P_i为世界坐标系下的点，r₁，r₂，r₃分别为旋转矩阵R的3个列向量，t为平移向量；

步骤4.3.3，用相机坐标系中的点表示图像坐标系中的点，如下：

其中s_i为常数因子，(u_i,v_i)为点P_i'在图像坐标系中的坐标，由公式(11)、公式(12)和公式(13)得下式：

其中x_i和y_i分别为P_A、P_B、P_C、P_D四个点在O_w-X_wY_wZ_w中的坐标 P_A(x_A,y_A,0)、P_B(x_B,y_B,0)、P_C(x_C,y_C,0)和P_D(x_D,y_D,0)中x_A，y_A，x_B，y_B，x_C，y_C，x_D和y_D；

步骤4.3.4，利用单应性矩阵描述两幅图像中对应像点的关系，得到：

由公式(14)、公式(15)得到：

由公式(16)得到：

由于r₁ ^Tr₂＝0，且|r₁|＝|r₂|＝1，可得到：

通过公式(18)确定f和α，将f和α代入公式(17)可以求出r₁，r₂和t，通过r₃＝r₁×r₂求出r₃，从而得到了旋转矩阵R和平移向量t；

步骤4.3.5，通过旋转矩阵R和平移向量t表示相机位姿 came_rpaosit：

camera_position＝-R^T×t (19)

从而求出了相机在世界坐标系中的坐标camera_position，其中， camera_position中的z轴坐标即为相机到参照物表面的垂直距离。

步骤5具体为：

步骤5.1，获取到视频初始帧中的目标物体像素大小，具体为：

步骤5.1.1，读取包含参照物和待测物体的视频的第一帧；

步骤5.1.2，根据MEDIANFLOW追踪器手动选择包含目标物体的矩形窗口，返回数组{x,y,w,h}，其中，x为窗口最小的x值，y为窗口最小的y 值，w为窗口的宽，h为窗口的高；

步骤5.1.3，用第一帧图像和步骤5.1.2中矩形窗口初始化跟踪器；

步骤5.1.4，读取下一帧，重复步骤5.1.2-5.1.4，更新追踪器，返回新窗口数组{x_i,y_i,w_i,h_i}直到视频没有下一帧；

步骤5.1.5，如果追踪器成功追踪到目标物体，更新新窗口的左上角坐标 p₁(x_i,y_i)和右上角坐标p₂(x_i+w_i,y_i+h_i)；

步骤5.1.6，根据p₁、p₂的坐标绘制矩形框，保存并打印第i帧图像窗口的宽w_i和高h_i；

步骤5.2，根据小孔成像模型中的相似三角形关系，结合相机焦距、步骤4中参照物与相机间距离和步骤5.1获取的物体像素大小计算出目标物体的真实长度。

步骤5.2具体为：

步骤5.2.1，据小孔成像模型中的物和像的相似三角形关系，设L为目标物体的长度，h为目标物体的像素长度，f为相机焦距，D为相机到物体的距离，则：

得到：

即得到了目标物体的长度L。

本发明的有益效果是：

本发明首先选择了双边滤波算法实现了本文视频帧的去噪效果，提高了图像质量，基于Canny算子确保了目标物体能够被准确地定位和测量，并估计了相机内参；然后选择了特征点质量较高且数量较多的SURF算法和KNN 算法实现了特征点的初始匹配，并采用最佳几何约束和RANSAC算法完成了精细化匹配，很大程度上保证了特征点匹配的质量；接着计算单应性矩阵，根据单应性矩阵更新参照物顶点在视频各帧中的二维坐标，同时估计参照物边框，计算参照物与相机间的距离，能为物体长度测量提供很好的数据支撑；最后基于小孔成像模型的相似三角形关系，通过目标跟踪计算出目标物体的真实长度，能够基本满足非精密的日常测量任务。本发明的目标物体长度测量工作，不仅基本能够满足日常的测量需求，并且在有效性，稳定性和准确性上都有了很大的提高，拥有较好的鲁棒性，丰富了计算机图形学和视觉智能的方法体系。

附图说明

图1是本发明一种基于手机视频的物体长度测量方法实施例的步骤1中某个视频数据的第一帧图像；

图2是本发明一种基于手机视频的物体长度测量方法实施例的步骤1中得到的双边滤波结果；

图3是本发明一种基于手机视频的物体长度测量方法实施例的步骤1中采用Canny算子得到的边缘检测结果；

图4是本发明一种基于手机视频的物体长度测量方法实施例的步骤2中选取的棋盘格图像；

图5是本发明一种基于手机视频的物体长度测量方法实施例的步骤3中得到的SURF特征点提取结果；

图6是本发明一种基于手机视频的物体长度测量方法实施例的步骤3中得到的KNN特征匹配结果；

图7是本发明一种基于手机视频的物体长度测量方法实施例的步骤3中得到的采用RANSAC匹配优化结果；

图8是本发明一种基于手机视频的物体长度测量方法实施例的步骤4中得到的参照物的边框估计结果；

图9是本发明一种基于手机视频的物体长度测量方法实施例的步骤5中获得的MEDIANFLOW目标跟踪算法结果；

图10是本发明一种基于手机视频的物体长度测量方法实施例的步骤5 中对目标物体长度的测量结果。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明一种基于手机视频的物体长度测量方法，具体按照如下步骤实施：

步骤1，通过手机相机采集视频数据，并对视频数据进行预处理，采集视频时，在手机移动过程中采集视频数据且手机在空间中水平匀速运动，如图1所示，对视频进行预处理具体为：对采集的视频数据进行双边滤波去噪，然后采用Canny算子来获取视频各帧的边缘信息；本发明比较了高斯滤波、均值滤波、中值滤波、双边滤波四种滤波方法，根据四种滤波方法在输入数据中的去噪效果，选择效果最好的双边滤波算法实现对图像的去噪处理，去噪效果如图2所示；用Canny算子来获取视频各帧的边缘信息如图3所示；

步骤2，基于视觉坐标系统之间的转换关系来求解手机相机的内参数；具体为：

步骤2.1，将6×8的棋盘格图像布满整个电脑屏幕，将电脑屏幕作为标定板，其中，每个小格的长度为37mm；

步骤2.2，使用手机相机在电脑屏幕的上、下、左、右、左上、左下、右上、右下、正前9个方位拍摄20张棋盘格图像；

步骤2.3，将步骤2.2中拍摄的20张棋盘格图像保存到指定目录下；

步骤2.4，对步骤2.3得到的20张棋盘格图像进行降采样，调用findChessboardCorners()函数进行初始化角点提取；

步骤2.5，在步骤2.4初步提取角点之上进一步使用cornerSubPix()函数提取亚像素信息，降低相机标定偏差，再调用drawChessboardCorners()函数将角点用不同颜色绘制到棋盘格图像上并保存图像；

步骤2.6，初始化标定板上的三维坐标，使用calibrateCamera函数()进行相机标定，得到相机参数；

步骤2.7，根据步骤2.6得到的相机参数对角点进行重新投影计算，得到角点在步骤2.3保存的棋盘格图像上新的投影点坐标，计算投影坐标和步骤 2.5中亚像素提取之后的角点坐标之间的偏差对获得的相机参数进行评估，并删除偏差大于设定的阈值的图像；

步骤2.8，重新按照步骤2.4-2.6计算相机参数，之后返回步骤2.7对相机参数进行重新评估，直到没有图像再被删除为止；

步骤2.9，将标定结果写入到txt文件中；

本发明通过实验对比了几种特征点提取算法的优缺点，然后基于步骤1 中的输入数据的特点采用SURF算法进行特征点提取，接着采用BF算法和KNN算法完成初始匹配，构建最佳几何约束粗略地完成匹配优化，接着使用RANSAC算法二次优化以获得高质量的匹配结果，具体如下：

步骤3，在计算机中保存一张包含目标物体和参照物的参考图像，对步骤1中手机相机采集的视频数据进行特征点提取，之后将视频的每一帧与参考图像进行特征点匹配得到匹配点对；具体为：

步骤3.1，在计算机中保存一张包含目标物体和参照物的参考图像，对步骤1中手机相机采集的视频数据和保存的参考图像采用SURF算子进行特征点提取，如图5所示；

步骤3.2，将步骤3.1中特征点提取之后的视频的每一帧与参考图像采用 KNN算法完成初始特征匹配，得到匹配点对，匹配结果如图6所示，具体为：

步骤3.2.1，步骤3.1得到的每个特征点利用K近邻查找法找到k个与其邻近的点，k＝2；

步骤3.2.2，设置阈值，若最近邻点和次近邻点的距离的比小于阈值，则将最近邻的点作为匹配点，最终得到步骤1中手机相机采集的视频数据和步骤3.1中保存的参考图像的匹配点对；

步骤3.3，根据步骤3.2得到的匹配点对连接线长度和斜率相等的几何特征构建最佳几何约束，完成初始匹配优化；具体为：

步骤3.3.1，在计算机中初始化存储步骤3.2得到的匹配点对连接线的集合，设连接线的长度的集合为map_d，连接线的斜率集合为map_k；

步骤3.3.2，统计每对匹配点对连接线的长度d_i，斜率k_i，将长度d_i作为map_d的键key，map_d的value为匹配线是该长度的条数，map_k的键key为每条匹配线的斜率k_i，map_k的value为匹配线是该斜率的条数，其中，每对匹配点中的两个点p_1i(x_i,y_i)和p_2j(x_j,y_j)的距离d_i的计算公式如下：

两点p_1i(x_i,y_i)和p_2j(x_j,y_j)确定的直线斜率k_i的计算公式如下：

步骤3.3.3，求map_d中value最大的key作为长度的基准，设为D，求 map_k中value最大的key作为斜率的基准，设为K，当D-m≤d_i≤D+m或者K-n≤k_i≤K+n时，保留该匹配点对连接线，否则删除，其中，m为匹配线长度的误差，n为匹配线斜率的误差，m＝15，n＝0.03；

步骤3.4，用RANSAC算法对步骤3.3的优化结果进行二次优化，获得最终匹配结果；具体为：

步骤3.4.1，初始化投影误差的阈值λ，内点集合I，最优内点集合 I_best，迭代次数k；

步骤3.4.2，从经过步骤3.3.3得到的剩余连接线对应的匹配点对中随机抽取4个不共线的样本数据；

步骤3.4.3，根据样本数据计算变换矩阵，记作M，具体为：

根据公式：

其中，(x,y)和(x',y')是步骤3.4.2中样本数据中一对匹配点坐标，s为尺度参数，计算变换矩阵

并记作M；

步骤3.4.4，计算步骤3.3.3得到的剩余匹配点集中所有数据与M的投影误差δ_i，计算投影误差δ_i的公式如下：

如果δ_i＜λ，将该数据加入到内点集合I中；

步骤3.4.5，重复步骤3.4.2-3.4.4，找到存在最大元素个数的内点集合，并把该内点集合存入I_best，同时更新迭代次数k；

步骤3.4.6，若迭代次数k大于最大迭代次数，则最终I_best中的匹配点对即为优化后的匹配点对，如图7所示；

步骤4，在获取到经步骤3产生的匹配点对的前提下，计算出参考图像和视频帧的单应性矩阵，根据单应性矩阵更新参照物顶点在每一帧图像中的坐标并估计参照物的边框，通过参照物的边框推导出相机位姿，根据相机位姿得到相机到参照物表面的距离，具体为：

步骤4.1，根据步骤3获得的特征匹配点对，计算出参考图像和视频帧的单应性矩阵；具体为：

步骤4.1.1，设参考图像中的某个像点为p₁(x₁,y₁)，视频中某一帧图像的像点p₂(x₂,y₂)是p₁(x₁,y₁)的匹配点，单应性矩阵为H通过下式建立两个像点间的关系：

步骤4.1.2，将矩阵乘法展开，可得下式：

步骤4.1.3，将步骤4.1.2中公式(6)转化为两个公式，如下所示：

将上面公式(7)变换为A_x＝0的形式，如下所示：

步骤4.1.4，将步骤3.1.3中公式(8)改写为向量积的形式，由于单应性矩阵是齐次的，令h＝(H₁₁,H₁₂,H₁₃,H₂₁,H₂₂,H₂₃,H₃₁,H₃₂,1)^T，因此公式(8) 改写为：

其中，a_x＝(x₁,y₁,1,0,0,0,-x₂x₁,-x₂y₁,-x₂)^T a_y＝(0,0,0,x₁,y₁,1,-x₁y₂,-y₁y₂,-y₂)^T，设有n对匹配点对，则得到Ah＝0，

求出h，再根据h＝(H₁₁,H₁₂,H₁₃,H₂₁,H₂₂,H₂₃,H₃₁,H₃₂,1)^T得到单应性矩阵 H。

步骤4.2，根据步骤4.1得到的单应性矩阵更新参照物顶点在每一帧图像中的坐标并估计参照物的边框；具体为：

步骤4.2.1，获取步骤3.4.6得到的参考图像和第i帧图像对应的匹配点对，分别保存在集合src_pts和集合dst_pts中；

步骤4.2.2，根据匹配点按照步骤4.1的方法得到其对应的单应矩阵M_i；

步骤4.2.3，计算参考图像中参照物的顶点坐标，即参照物的左上角顶点、右上角顶点、右下角顶点、左下角顶点，并保存到集合pts中；

步骤4.2.4，利用步骤4.1.1中公式(5)通过步骤3.4.3得到的单应矩阵M_i计算集合pts中参照物的顶点在视频第i帧图像中的坐标，记为a_i、b_i、c_i、d_i，分别是视频第i帧图像中参照物的左上角顶点、右上角顶点、右下角顶点、左下角顶点，并保存在集合dst中；

步骤4.2.5，依次连接a_i、b_i、c_i、d_i得到第i帧图的边框图像，并将完成边框绘制的第i帧图像添加到集合found_list中；

步骤4.2.6，重复步骤4.2.1-4.2.5得到所有匹配点对对应的边框图像，将集合found_list中的图像合成完整的视频，保存视频，得到参照物的边框，如图8所示。

步骤4.3，根据参照物的边框推导出相机位姿，根据相机位姿得到相机到参照物表面的距离；具体为：

步骤4.3.1，相机线性模型表示为：

P_c＝RP_w+t (10)

其中，P_c、P_w分别指同一空间点在相机坐标系和世界坐标系下的坐标， t为平移向量，R为旋转矩阵；

相机的内参矩阵K表示为：

其中，f为相机焦距，α为像素比例因子；

步骤4.3.2，将世界坐标系O_w-X_wY_wZ_w建立在平面上，则P_A、P_B、P_C、 P_D四个点在O_w-X_wY_wZ_w中的坐标为P_A(x_A,y_A,0)、P_B(x_B,y_B,0)、P_C(x_C,y_C,0) 和P_D(x_D,y_D,0)，则相机坐标系中的对应的点P_A'、P_B'、P_C'、P_D'表示为：

P_i'＝RP_i+t＝(r₁ r₂ r₃)P_i+t (12)

其中，P_i'为相机坐标系下的对应的点，i为A或B或C或D，P_i为世界坐标系下的点，r₁，r₂，r₃分别为旋转矩阵R的3个列向量，t为平移向量；

步骤4.3.3，用相机坐标系中的点表示图像坐标系中的点，如下：

其中s_i为常数因子，(u_i,v_i)为点P_i'在图像坐标系中的坐标，由公式(11)、公式(12)和公式(13)得下式：

其中x_i和y_i分别为P_A、P_B、P_C、P_D四个点在O_w-X_wY_wZ_w中的坐标 P_A(x_A,y_A,0)、P_B(x_B,y_B,0)、P_C(x_C,y_C,0)和P_D(x_D,y_D,0)中x_A，y_A，x_B，y_B， x_C，y_C，x_D和y_D；

步骤4.3.4，利用单应性矩阵描述两幅图像中对应像点的关系，得到：

由公式(14)、公式(15)得到：

由公式(16)得到：

由于r₁ ^Tr₂＝0，且|r₁|＝|r₂|＝1，可得到：

通过公式(18)确定f和α，将f和α代入公式(17)可以求出r₁，r₂和t，通过r₃＝r₁×r₂求出r₃，从而得到了旋转矩阵R和平移向量t；

步骤4.3.5，通过旋转矩阵R和平移向量t表示相机位姿 came_rpaosit：

camera_position＝-R^T×t (19)

从而求出了相机在世界坐标系中的坐标camera_position，其中， camera_position中的z轴坐标即为相机到参照物表面的垂直距离。

步骤5，获取到视频初始帧中的目标物体像素大小，结合相机焦距、步骤3中参照物与相机间距离和步骤5获取的物体像素大小计算出目标物体的真实长度，具体为：

步骤5.1，获取到视频初始帧中的目标物体像素大小，具体为：

步骤5.1.1，读取包含参照物和待测物体的视频的第一帧；

步骤5.1.2，根据MEDIANFLOW追踪器手动选择包含目标物体的矩形窗口，返回数组{x,y,w,h}，其中，x为窗口最小的x值，y为窗口最小的y 值，w为窗口的宽，h为窗口的高；

步骤5.1.3，用第一帧图像和步骤5.1.2中矩形窗口初始化跟踪器；

步骤5.1.4，读取下一帧，重复步骤5.1.2-5.1.4，更新追踪器，返回新窗口数组{x_i,y_i,w_i,h_i}，直到视频没有下一帧；

步骤5.1.5，如果追踪器成功追踪到目标物体，更新新窗口的左上角坐标 p₁(x_i,y_i)和右上角坐标p₂(x_i+w_i,y_i+h_i)；

步骤5.1.6，根据p₁、p₂的坐标绘制矩形框，保存并打印第i帧图像窗口的宽w_i和高h_i，如图9所示；

步骤5.2，根据小孔成像模型中的相似三角形关系，结合相机焦距、步骤4中参照物与相机间距离和步骤5.1获取的物体像素大小计算出目标物体的真实长度。

步骤5.2具体为：

步骤5.2.1，据小孔成像模型中的物和像的相似三角形关系，设L为目标物体的长度，h为目标物体的像素长度，f为相机焦距，D为相机到物体的距离，则：

得到：

即得到了目标物体的长度L，如图10所示。

步骤2中最终得到的相机的内参如表1所示：

表1相机内部参数

步骤3中，为了验证本发明的特征匹配算法是可靠的，将本文算法与经典算法Lowe的算法进行对比：

表2特征匹配实验结果

由表2可知，本发明的特征匹配算法在误匹配的剔除上和获取到的匹配点对数量上都优于Lowe的算法，效率方面与Lowe的算法无较大差别，从而验证了本发明的特征匹配算法在特征匹配优化上的有效性。

步骤4中得到的参照物与相机间的距离如表3所示：

表3参照物与相机间距离测量结果

由表3可知本发明估计的相机与参照物所在平面的距离存在一定的误差，但是总体误差仍旧在比较低的范围内，误差是不可避免的。

步骤5中所获得的目标物体的宽为93.1876035453mm，目标物体的高为91.5762905157mm，目标物体的长度为119.237164191mm。

为验证通过视频数据实现目标物体长度测量的有效性，还进行了三组实验。实验一是同一参照物下多个距离的长度估算实验，验证了相机与目标物体的距离不同时，不会对目标物体长度测量结果造成影响。实验二是同一距离下不同参照物的长度估算实验，验证了参照物种类的不同不会对目标物体长度测量结果造成影响。实验三是将本发明物体长度测量算法估算出的结果与其他方法测得的长度进行对比，验证本发明方法在日常长度测量应用中的价值。

表4不同距离下目标物体长度测量结果

平均误差为0.684cm,可见本发明方法基本能够达到物体测量的目标。

表5不同参照物下目标物体长度测量结果

平均误差为0.535cm，证明了本方明方法在长度测量上是行之有效的，能够满足日常的测量需求。

表6实验结果对比

表7误差对比

由表6和表7可知，本发明方法产生的误差略小于“测距仪”产生的误差，略大于“AR尺子”产生的误差。“测距仪”和“AR尺子”两种手机测距软件虽然精度很高，但是在测量时需要先识别平面后方可测量，而本发明方法在此方面并无限制。除此之外，“AR尺子”在测量时极易受到手部抖动的影响而产生非常大的误差，如测量次数过少，很难得到精确的结果。并且手机测距软件需要软件和陀螺仪、加速器等手机硬件设备的相互配合，无法扩展到其他相机，而本发明方法并不受限。因此，本发明发明更具优势，能够更好地满足日常测量需求。

Claims (10)

1.一种基于手机视频的物体长度测量方法，其特征在于，具体按照如下步骤实施：

步骤1，通过手机相机采集视频数据，并对视频数据进行预处理；

步骤2，基于视觉坐标系统之间的转换关系来求解手机相机的内参数；

步骤3，在计算机中保存一张包含目标物体和参照物的参考图像，对步骤1中手机相机采集的视频数据进行特征点提取，之后将视频的每一帧与参考图像进行特征点匹配得到匹配点对；

步骤4，在获取到经步骤3产生的匹配点对的前提下，计算出参考图像和视频帧的单应性矩阵，根据单应性矩阵更新参照物顶点在每一帧图像中的坐标并估计参照物的边框，通过参照物的边框推导出相机位姿，根据相机位姿得到相机到参照物表面的距离；

步骤5，获取到视频初始帧中的目标物体像素大小，结合相机焦距、步骤3中参照物与相机间距离和步骤5获取的物体像素大小计算出目标物体的真实长度。

2.根据权利要求1所述的一种基于手机视频的物体长度测量方法，其特征在于，所述步骤1中采集视频时，在手机移动过程中采集视频数据且手机在空间中水平匀速运动；

所述步骤1中对视频进行预处理具体为：

对采集的视频数据进行双边滤波去噪，然后采用Canny算子来获取视频各帧的边缘信息。

3.根据权利要求2所述的一种基于手机视频的物体长度测量方法，其特征在于，所述步骤2具体为：

步骤2.1，将6×8的棋盘格图像布满整个电脑屏幕，将电脑屏幕作为标定板，其中，每个小格的长度为37mm；

步骤2.2，使用手机相机在电脑屏幕的上、下、左、右、左上、左下、右上、右下、正前9个方位拍摄20张棋盘格图像；

步骤2.3，将步骤2.2中拍摄的20张棋盘格图像保存到指定目录下；

步骤2.4，对步骤2.3得到的20张棋盘格图像进行降采样，调用findChessboardCorners()函数进行初始化角点提取；

步骤2.5，在步骤2.4初步提取角点之上进一步使用cornerSubPix()函数提取亚像素信息，降低相机标定偏差，再调用drawChessboardCorners()函数将角点用不同颜色绘制到棋盘格图像上并保存图像；

步骤2.6，初始化标定板上的三维坐标，使用calibrateCamera函数()进行相机标定，得到相机参数；

步骤2.7，根据步骤2.6得到的相机参数对角点进行重新投影计算，得到角点在步骤2.3保存的棋盘格图像上新的投影点坐标，计算投影坐标和步骤2.5中亚像素提取之后的角点坐标之间的偏差对获得的相机参数进行评估，并删除偏差大于设定的阈值的图像；

步骤2.8，重新按照步骤2.4-2.6计算相机参数，之后返回步骤2.7对相机参数进行重新评估，直到没有图像再被删除为止；

步骤2.9，将标定结果写入到txt文件中。

4.根据权利要求2所述的一种基于手机视频的物体长度测量方法，其特征在于，所述步骤3具体为：

步骤3.1，在计算机中保存一张包含目标物体和参照物的参考图像，对步骤1中手机相机采集的视频数据和保存的参考图像采用SURF算子进行特征点提取；

步骤3.2，将步骤3.1中特征点提取之后的视频的每一帧与参考图像采用KNN算法完成初始特征匹配，得到匹配点对；

步骤3.3，根据步骤3.2得到的匹配点对连接线长度和斜率相等的几何特征构建最佳几何约束，完成初始匹配优化；

步骤3.4，用RANSAC算法对步骤3.3的优化结果进行二次优化，获得最终匹配结果。

5.根据权利要求4所述的一种基于手机视频的物体长度测量方法，其特征在于，所述步骤3.2具体为：

步骤3.2.1，步骤3.1得到的每个特征点利用K近邻查找法找到k个与其邻近的点，k＝2；

步骤3.2.2，设置阈值，若最近邻点和次近邻点的距离的比小于阈值，则将最近邻的点作为匹配点，最终得到步骤1中手机相机采集的视频数据和步骤3.1中保存的参考图像的匹配点对。

步骤3.3具体为：

步骤3.3.1，在计算机中初始化存储步骤3.2得到的匹配点对连接线的集合，设连接线的长度的集合为map_d，连接线的斜率集合为map_k；

步骤3.3.2，统计每对匹配点对连接线的长度d_i，斜率k_i，将长度d_i作为map_d的键key，map_d的value为匹配线是该长度的条数，map_k的键key为每条匹配线的斜率k_i，map_k的value为匹配线是该斜率的条数，其中，每对匹配点中的两个点p_1i(x_i,y_i)和p_2j(x_j,y_j)的距离d_i的计算公式如下：

两点p_1i(x_i,y_i)和p_2j(x_j,y_j)确定的直线斜率k_i的计算公式如下：

步骤3.3.3，求map_d中value最大的key作为长度的基准，设为D，求map_k中value最大的key作为斜率的基准，设为K，当D-m≤d_i≤D+m或者K-n≤k_i≤K+n时，保留该匹配点对连接线，否则删除，其中，m为匹配线长度的误差，n为匹配线斜率的误差，m＝15，n＝0.03；

步骤3.4具体为：

步骤3.4.1，初始化投影误差的阈值λ，内点集合I，最优内点集合I_best，迭代次数k；

步骤3.4.2，从经过步骤3.3.3得到的剩余连接线对应的匹配点对中随机抽取4个不共线的样本数据；

步骤3.4.3，根据样本数据计算变换矩阵，记作M，具体为：

根据公式：

其中，(x,y)和(x',y')是步骤3.4.2中样本数据中一对匹配点坐标，s为尺度参数，计算变换矩阵

并记作M；

步骤3.4.4，计算步骤3.3.3得到的剩余匹配点集中所有数据与M的投影误差δ_i，计算投影误差δ_i的公式如下：

如果δ_i＜λ，将该数据加入到内点集合I中；

步骤3.4.5，重复步骤3.4.2-3.4.4，找到存在最大元素个数的内点集合，并把该内点集合存入I_best，同时更新迭代次数k；

步骤3.4.6，若迭代次数k大于最大迭代次数，则最终I_best中的匹配点对即为优化后的匹配点对。

6.根据权利要求5所述的一种基于手机视频的物体长度测量方法，其特征在于，所述步骤4具体为：

步骤4.1，根据步骤3获得的特征匹配点对，计算出参考图像和视频帧的单应性矩阵；

步骤4.2，根据步骤4.1得到的单应性矩阵更新参照物顶点在每一帧图像中的坐标并估计参照物的边框；

步骤4.3，根据参照物的边框推导出相机位姿，根据相机位姿得到相机到参照物表面的距离。

7.根据权利要求6所述的一种基于手机视频的物体长度测量方法，其特征在于，所述步骤4.1具体为：

步骤4.1.1，设参考图像中的某个像点为p₁(x₁,y₁)，视频中某一帧图像的像点p₂(x₂,y₂)是p₁(x₁,y₁)的匹配点，单应性矩阵为H通过下式建立两个像点间的关系：

步骤4.1.2，将矩阵乘法展开，可得下式：

步骤4.1.3，将步骤4.1.2中公式(6)转化为两个公式，如下所示：

将上面公式(7)变换为A_x＝0的形式，如下所示：

步骤4.1.4，将步骤3.1.3中公式(8)改写为向量积的形式，由于单应性矩阵是齐次的，令h＝(H₁₁,H₁₂,H₁₃,H₂₁,H₂₂,H₂₃,H₃₁,H₃₂,1)^T，因此公式(8)改写为：

其中，a_x＝(x₁,y₁,1,0,0,0,-x₂x₁,-x₂y₁,-x₂)^T a_y＝(0,0,0,x₁,y₁,1,-x₁y₂,-y₁y₂,-y₂)^T，设有n对匹配点对，则得到Ah＝0，

求出h，再根据h＝(H₁₁,H₁₂,H₁₃,H₂₁,H₂₂,H₂₃,H₃₁,H₃₂,1)^T得到单应性矩阵H。

8.根据权利要求7所述的一种基于手机视频的物体长度测量方法，其特征在于，所述步骤4.2具体为：

步骤4.2.1，获取步骤3.4.6得到的参考图像和第i帧图像对应的匹配点对，分别保存在集合src_pts和集合dst_pts中；

步骤4.2.2，根据匹配点按照步骤4.1的方法得到其对应的单应矩阵M_i；

步骤4.2.3，计算参考图像中参照物的顶点坐标，即参照物的左上角顶点、右上角顶点、右下角顶点、左下角顶点，并保存到集合pts中；

步骤4.2.4，利用步骤4.1.1中公式(5)通过步骤3.4.3得到的单应矩阵M_i计算集合pts中参照物的顶点在视频第i帧图像中的坐标，记为a_i、b_i、c_i、d_i，分别是视频第i帧图像中参照物的左上角顶点、右上角顶点、右下角顶点、左下角顶点，并保存在集合dst中；

步骤4.2.5，依次连接a_i、b_i、c_i、d_i得到第i帧图的边框图像，并将完成边框绘制的第i帧图像添加到集合found_list中；

步骤4.2.6，重复步骤4.2.1-4.2.5得到所有匹配点对对应的边框图像，将集合found_list中的图像合成完整的视频，保存视频，得到参照物的边框。

9.根据权利要求8所述的一种基于手机视频的物体长度测量方法，其特征在于，所述步骤4.3具体为：

步骤4.3.1，相机线性模型表示为：

P_c＝RP_w+t (10)

其中，P_c、P_w分别指同一空间点在相机坐标系和世界坐标系下的坐标，t为平移向量，R为旋转矩阵；

相机的内参矩阵K表示为：

其中，f为相机焦距，α为像素比例因子；

步骤4.3.2，将世界坐标系O_w-X_wY_wZ_w建立在平面上，则P_A、P_B、P_C、P_D四个点在O_w-X_wY_wZ_w中的坐标为P_A(x_A,y_A,0)、P_B(x_B,y_B,0)、P_C(x_C,y_C,0)和P_D(x_D,y_D,0)，则相机坐标系中的对应的点P_A'、P_B'、P_C'、P_D'表示为：

P_i'＝RP_i+t＝(r₁ r₂ r₃)P_i+t (12)

其中，P_i'为相机坐标系下的对应的点，i为A或B或C或D，P_i为世界坐标系下的点，r₁，r₂，r₃分别为旋转矩阵R的3个列向量，t为平移向量；

步骤4.3.3，用相机坐标系中的点表示图像坐标系中的点，如下：

其中s_i为常数因子，(u_i,v_i)为点P_i'在图像坐标系中的坐标，由公式(11)、公式(12)和公式(13)得下式：

其中x_i和y_i分别为P_A、P_B、P_C、P_D四个点在O_w-X_wY_wZ_w中的坐标P_A(x_A,y_A,0)、P_B(x_B,y_B,0)、P_C(x_C,y_C,0)和P_D(x_D,y_D,0)中x_A，y_A，x_B，y_B，x_C，y_C，x_D和y_D；

步骤4.3.4，利用单应性矩阵描述两幅图像中对应像点的关系，得到：

由公式(14)、公式(15)得到：

由公式(16)得到：

由于r₁ ^Tr₂＝0，且|r₁|＝|r₂|＝1，可得到：

通过公式(18)确定f和α，将f和α代入公式(17)可以求出r₁，r₂和t，通过r₃＝r₁×r₂求出r₃，从而得到了旋转矩阵R和平移向量t；

步骤4.3.5，通过旋转矩阵R和平移向量t表示相机位姿came_rpaosit：

camera_position＝-R^T×t (19)

从而求出了相机在世界坐标系中的坐标camera_position，其中，camera_position中的z轴坐标即为相机到参照物表面的垂直距离。

10.根据权利要求9所述的一种基于手机视频的物体长度测量方法，其特征在于，所述步骤5具体为：

步骤5.1，获取到视频初始帧中的目标物体像素大小，具体为：

步骤5.1.1，读取包含参照物和待测物体的视频的第一帧；

步骤5.1.2，根据MEDIANFLOW追踪器手动选择包含目标物体的矩形窗口，返回数组{x,y,w,h}，其中，x为窗口最小的x值，y为窗口最小的y值，w为窗口的宽，h为窗口的高；

步骤5.1.3，用第一帧图像和步骤5.1.2中矩形窗口初始化跟踪器；

步骤5.1.4，读取下一帧，重复步骤5.1.2-5.1.4，更新追踪器，返回新窗口数组{x_i,y_i,w_i,h_i}，直到视频没有下一帧；

步骤5.1.5，如果追踪器成功追踪到目标物体，更新新窗口的左上角坐标p₁(x_i,y_i)和右上角坐标p₂(x_i+w_i,y_i+h_i)；

步骤5.1.6，根据p₁、p₂的坐标绘制矩形框，保存并打印第i帧图像窗口的宽w_i和高h_i；

步骤5.2，根据小孔成像模型中的相似三角形关系，结合相机焦距、步骤4中参照物与相机间距离和步骤5.1获取的物体像素大小计算出目标物体的真实长度，具体为：

步骤5.2.1，据小孔成像模型中的物和像的相似三角形关系，设L为目标物体的长度，h为目标物体的像素长度，f为相机焦距，D为相机到物体的距离，则：

得到：

即得到了目标物体的长度L。

Images