[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2021114434A1 - 多视图相机位姿和场景的纯位姿解算方法及系统 - Google Patents

多视图相机位姿和场景的纯位姿解算方法及系统 Download PDF

Info

Publication number
WO2021114434A1
WO2021114434A1 PCT/CN2019/130316 CN2019130316W WO2021114434A1 WO 2021114434 A1 WO2021114434 A1 WO 2021114434A1 CN 2019130316 W CN2019130316 W CN 2019130316W WO 2021114434 A1 WO2021114434 A1 WO 2021114434A1
Authority
WO
WIPO (PCT)
Prior art keywords
view
global
pose
displacement
views
Prior art date
Application number
PCT/CN2019/130316
Other languages
English (en)
French (fr)
Inventor
武元新
蔡奇
张礼廉
Original Assignee
上海交通大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 上海交通大学 filed Critical 上海交通大学
Priority to US17/785,015 priority Critical patent/US12094162B2/en
Publication of WO2021114434A1 publication Critical patent/WO2021114434A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Definitions

  • the present invention relates to the field of computer vision, in particular to a method and system for pure pose calculation of multi-view camera poses and scenes.
  • the recovery of camera pose and scene structure is the core part of the motion recovery structure in computer vision.
  • the restoration of camera pose and scene structure requires initialization of global parameters and Bundle Adjustment (BA).
  • BA Bundle Adjustment
  • the purpose of global parameter initialization is to provide initial values for BA cluster adjustment and optimization. It is mainly divided into the initialization of global pose, global displacement and 3D scene point coordinates. The difficulty lies in the initialization of global displacement.
  • the traditional global displacement method generally takes the relative displacement of the dual view as the input, and optimizes the global displacement by minimizing the algebraic error. Anomalies will occur in the case of pure camera rotation or collinear motion.
  • BA cluster adjustment optimization takes the minimum reprojection error as the optimization goal, and the parameter space includes three-dimensional scene point coordinates, pose parameters and camera parameters.
  • the spatial dimension of the optimized parameters is 3m+6n. Since the number of 3D scene points is usually very large, the dimension of the parameter space to be optimized is huge.
  • Patent document CN 106408653A discloses a real-time robust bundling adjustment method for large-scale 3D reconstruction.
  • the current mainstream method of bundling adjustment is a nonlinear optimization algorithm that considers the sparsity of the parameter Jacobian matrix, but in large-scale scenes Downstream still cannot meet real-time and robustness requirements.
  • the purpose of the present invention is to provide a pure pose calculation method and system for multi-view camera poses and scenes.
  • the initial value of the view pose is input, including:
  • Pure Rotation Recoginition (PRR) step Perform pure rotation abnormality recognition on all views, mark the views with pure rotation abnormalities, and obtain marked and non-marked views;
  • GTL Global Translation Linear
  • Three-dimensional scene analysis and recovery (Structure Analytical Reconstruction, SAR) step According to the correct solution of the global pose, analyze and recover the coordinates of all 3D points.
  • the PRR pure rotation abnormality recognition step includes:
  • Step 1 Consider view i, 1 ⁇ i ⁇ N.
  • V i is the total of all the view i
  • the set of views of the view, X i and X j represent the normalized image coordinates of the point X W on view i and view j, ⁇ 1 and ⁇ 2 are the set thresholds, and R i and t i represent the views, respectively i's global attitude and global displacement, And t i,j respectively represent the relative posture and relative displacement of the dual view (i,j), [X j ] ⁇ represents the antisymmetric matrix formed by the vector X j;
  • Step 3 Repeat step 1 to step 2 for all views.
  • the GTL global displacement calculation step includes:
  • Step 1 For the current 3D point, select the view Where the view Is the left reference view, ⁇ is the right reference view;
  • Step 2 For all non-marked views (excluding reference views), follow the shape as Construct GTL global displacement linear constraints.
  • the image normalized coordinates of 3D point X W on view i are Where ⁇ represents the equation in homogeneous coordinates, where The superscript T represents the transpose of a matrix or vector.
  • Step 3 For other 3D points, repeat steps 1 to 2 to construct a linear equation and solve the global displacement
  • Step 5 According to Screen the correct solution for the global displacement t.
  • an optional camera pose optimization step is added between the GTL global displacement calculation step and the SAR 3D scene analysis and restoration step:
  • the image homogeneous coordinate f i of the 3D point X W on the view i is expressed as
  • the camera pose optimization step here can be replaced with other optimization algorithms, such as the classic BA cluster adjustment algorithm.
  • the three-dimensional scene point coordinates can either use the output result of the classic BA cluster adjustment algorithm, or use the following SAR 3D scene analysis and restoration steps are obtained.
  • the step of analyzing and restoring the SAR 3D scene includes:
  • the three-dimensional scene structure in multi-views is reconstructed analytically and weighted by the camera pose.
  • the coordinates of all 3D points can be parsed and restored.
  • the 3D point coordinates can be recovered using the depth of field analysis in the right view.
  • the arithmetic average of the above two 3D point coordinates can also be taken.
  • a multi-view camera pose and scene pure pose calculation system includes:
  • Pure rotation anomaly recognition module Perform pure rotation anomaly recognition on all views, mark the views with pure rotation anomaly, and get marked view and non-marked view;
  • 3D scene recovery module According to the correct solution of the global pose, analyze and recover the coordinates of all 3D points.
  • the pure rotation abnormality recognition module includes:
  • V i is the total of all the view i
  • the set of views of the view, X i and X j represent the normalized image coordinates of the point X W on view i and view j, ⁇ 1 and ⁇ 2 are the set thresholds, and R i and t i represent the views, respectively i's global attitude and global displacement, And t i,j respectively represent the relative posture and relative displacement of the dual view (i,j), [X j ] ⁇ represents the antisymmetric matrix formed by the vector X j;
  • Module M13 Repeat the operation of module M11-module M12 for all views.
  • the global displacement recovery module includes:
  • Module M21 For the current 3D point, select the view Where the view Is the left reference view, ⁇ is the right reference view;
  • Module M23 For other 3D points, repeat the operations of Module M21-Module M22 to construct a linear equation and solve the global displacement
  • Module M25 According to Screen the correct solution for the global displacement t.
  • it also includes a camera pose optimization module:
  • the image homogeneous coordinate f i of the 3D point X W on the view i is expressed as
  • the camera pose optimization step is replaced with a classic BA bundling adjustment algorithm.
  • the 3D scene point coordinates are obtained either by using the output result of the classic BA bundling adjustment algorithm or by using the SAR 3D scene analysis and restoration step.
  • the 3D scene recovery module includes:
  • the structure of the 3D scene in multi-views is reconstructed analytically and weighted by the camera pose
  • the coordinates of all 3D points can be recovered, or the 3D point coordinates can be recovered using the depth of field analysis in the right view, or the arithmetic average of the above two 3D point coordinates.
  • the present invention has the following beneficial effects:
  • the invention breaks through the bottleneck of traditional initial value and optimization methods, and can greatly improve the robustness and calculation speed of the camera pose and scene structure restoration.
  • Figure 1 is a working flow chart of the present invention.
  • the present invention provides a multi-view camera pose and scene pure pose calculation method, which uses the initial value of the view pose as input, including:
  • Pure Rotation Recoginition (PRR) step Perform pure rotation abnormality recognition on all views, mark the views with pure rotation abnormalities, and obtain marked and non-marked views;
  • GTL Global Translation Linear
  • Three-dimensional scene analysis and recovery (Structure Analytical Reconstruction, SAR) step According to the correct solution of the global pose, analyze and recover the coordinates of all 3D points.
  • the PRR pure rotation abnormality recognition steps include:
  • Step 1 Consider view i, 1 ⁇ i ⁇ N.
  • Step 3 Repeat step 1 to step 2 for all views.
  • the GTL global displacement calculation steps include:
  • Step 1 For the current 3D point, select the view Where the view Is the left reference view, ⁇ is the right reference view;
  • Step 2 For all non-marked views (excluding reference views), follow the shape as Construct GTL global displacement linear constraints.
  • the image normalized coordinates of 3D point X W on view i are Where ⁇ represents the equation in homogeneous coordinates, where The superscript T represents the transpose of a matrix or vector.
  • Step 3 For other 3D points, repeat steps 1 to 2 to construct a linear equation and solve the global displacement
  • Step 5 According to Screen the correct solution for the global displacement t.
  • An optional camera pose optimization step is added between the GTL global displacement calculation step and the SAR 3D scene analysis and restoration step:
  • the image homogeneous coordinate f i of the 3D point X W on the view i is expressed as
  • the camera pose optimization steps here can be replaced with other optimization algorithms, such as the classic BA cluster adjustment algorithm.
  • the 3D scene point coordinates can use the output result of the classic BA cluster adjustment algorithm, or use SAR 3D The scene analysis recovery step is obtained.
  • SAR 3D scene analysis and restoration steps include:
  • the three-dimensional scene structure in multi-views is reconstructed analytically and weighted by the camera pose.
  • the coordinates of all 3D points can be parsed and restored.
  • the 3D point coordinates can be recovered using the depth of field analysis in the right view.
  • the arithmetic average of the above two 3D point coordinates can also be taken.
  • the present invention also provides a multi-view camera pose and scene pure pose solution system, including:
  • Pure rotation anomaly recognition module Perform pure rotation anomaly recognition on all views, mark the views with pure rotation anomaly, and get marked view and non-marked view;
  • 3D scene recovery module According to the correct solution of the global pose, analyze and recover the coordinates of all 3D points.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

一种多视图相机位姿和场景的纯位姿解算方法及系统，包括：纯旋转异常识别步骤：对所有视图进行纯旋转异常识别，对纯旋转异常的视图进行标记，得到标记视图和非标记视图；全局位移线性计算步骤：从非标记视图中选择一幅作为参考视图，构建约束tr＝0，构建全局位移线性约束，求解全局位移(I)，根据tr 和(I)恢复标记视图的全局位移，并筛选全局位移的正确解；三维场景解析恢复步骤：根据全局位姿的正确解，解析恢复所有3D点的坐标。能够大幅度提升多视图相机位姿与场景结构恢复的计算效率及鲁棒性。

Description

多视图相机位姿和场景的纯位姿解算方法及系统 技术领域
本发明涉及计算机视觉领域，具体地，涉及一种多视图相机位姿和场景的纯位姿解算方法及系统。
背景技术
一直以来，相机位姿与场景结构的恢复是计算机视觉中运动恢复结构的核心部分。在传统的多视图几何描述下，相机位姿和场景结构的恢复需要进行全局参数的初始化和集束调整(Bundle Adjustment，BA)。一方面，全局参数初始化的目的是为BA集束调整优化提供初值，主要分为全局姿态、全局位移和三维场景点坐标的初始化，其中难点在于全局位移的初始化方面。传统的全局位移方法一般以双视图相对位移为输入，通过代数误差最小来优化全局位移，在相机纯旋转或共线运动等情况下会出现异常。另一方面，BA集束调整优化以重投影误差最小为优化目标，参数空间包括三维场景点坐标、位姿参数及相机参数等。对于m个三维场景点和n幅图像的情形，优化参数的空间维数为3m+6n。由于三维场景点的数目通常很大，造成待优化的参数空间维数巨大。
专利文献CN 106408653A公开了一种面向大规模三维重建的实时鲁棒的集束调整方法，目前集束调整的主流方法是考虑参数雅克比(Jacobian)矩阵稀疏性的非线性优化算法，但在大尺度场景下仍然不能满足实时及鲁棒性需求。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种多视图相机位姿和场景的纯位姿解算方法及系统。
根据本发明提供的一种多视图相机位姿和场景的纯位姿解算方法，以视图姿态初值为输入，包括：
纯旋转异常识别(Pure Rotation Recoginition,PRR)步骤：对所有视图进行纯旋转异常识别，对纯旋转异常的视图进行标记，得到标记视图和非标记视图；
全局位移线性计算(Global Translation Linear，GTL)步骤：从非标记视图中选择一幅作为参考视图，构建约束t r＝0，构建全局位移线性约束，求解全局位移
Figure PCTCN2019130316-appb-000001
根据t r和
Figure PCTCN2019130316-appb-000002
恢复标记视图的全局位移，并筛选全局位移的正确解；
三维场景解析恢复(Structure Analytical Reconstruction,SAR)步骤：根据全局位姿的正确解，解析恢复所有3D点的坐标。
优选地，所述PRR纯旋转异常识别步骤包括：
步骤1：考虑视图i，1≤i≤N，对于视图j∈V i，利用双视图(i,j)上的所有图像匹配点对(X i,X j)以及相对姿态R i,j，计算θ i,j＝||[X j]×R i,jX i||，并构成集合Θ i,j和
Figure PCTCN2019130316-appb-000003
记集合Θ i中大于δ 1的比例为γ i。
步骤2：若γ i＜δ 2，标记视图i为纯旋转异常视图，记Θ i,j集合中元素的均值为
Figure PCTCN2019130316-appb-000004
取
Figure PCTCN2019130316-appb-000005
构建约束t i＝t l；
其中，若3D点X W＝(x W,y W,z W) T在n(≤N)幅视图中可视，对于i＝1,2,…,n,V i为所有与视图i共视的视图构成的集合，X i和X j分别表示点X W在视图i和视图j上的归一化图像坐标，δ 1和δ 2为设定的阈值，R i和t i分别表示视图i的全局姿态和全局位移，
Figure PCTCN2019130316-appb-000006
Figure PCTCN2019130316-appb-000007
和t i,j分别表示双视图(i,j)的相对姿态和相对位移，[X j] ×表示由向量X j构成的反对称矩阵；
步骤3：对所有视图重复步骤1-步骤2。
优选地，所述GTL全局位移计算步骤包括：
步骤1：对于当前3D点，选择视图
Figure PCTCN2019130316-appb-000008
其中视图
Figure PCTCN2019130316-appb-000009
为左基准视图，η为右基准视图；
步骤2：对于所有的非标记视图(不含参考视图)，按照形如
Figure PCTCN2019130316-appb-000010
构建GTL全局位移线性约束。
3D点X W在视图i上的图像归一化坐标有
Figure PCTCN2019130316-appb-000011
其中 ～表示齐次坐标下的等式，其中
Figure PCTCN2019130316-appb-000012
上标T表示矩阵或向量的转置。为了线性求解全局位移，可以定义不同的目标函数形式，典型如
Figure PCTCN2019130316-appb-000013
和[X i]×Y i＝0，其中I 3表示三维单位矩阵，e 3表示单位矩阵的第三列向量e 3＝(0,0,1) T。另外，由于相对位移t i,j关于全局位移具有不同形式，典型如t i,j＝R j(t i-t j)和t i,j＝t j-R i,jt i，因此矩阵B、C和D也相应 地具有不同形式：
(1)对于目标函数[X i] ×Y i＝0和相对位移t i,j＝R j(t i-t j)，
Figure PCTCN2019130316-appb-000014
D＝-(B+C)；
(2)对于目标函数
Figure PCTCN2019130316-appb-000015
和相对位移t i,j＝R j(t i-t j)，
Figure PCTCN2019130316-appb-000016
Figure PCTCN2019130316-appb-000017
D＝-(B+C)；
(3)对于目标函数[X i] ×Y i＝0和相对位移t i,j＝t j-R i,jt i，
Figure PCTCN2019130316-appb-000018
Figure PCTCN2019130316-appb-000019
(4)对于目标函数
Figure PCTCN2019130316-appb-000020
和相对位移t i,j＝t j-R i,jt i，
Figure PCTCN2019130316-appb-000021
Figure PCTCN2019130316-appb-000022
步骤3：对于其它3D点，重复步骤1-步骤2，构建线性方程，求解全局位移
Figure PCTCN2019130316-appb-000023
步骤4：利用
Figure PCTCN2019130316-appb-000024
和t r，根据t i＝t l恢复标记视图的全局位移；
步骤5：根据
Figure PCTCN2019130316-appb-000025
筛选全局位移t的正确解。
优选地，在所述GTL全局位移计算步骤与所述SAR三维场景解析恢复步骤之间还增添一个可选的相机位姿优化步骤：
3D点X W在视图i上的图像齐次坐标f i表示为
Figure PCTCN2019130316-appb-000026
其中 ～表示齐次坐标下的等式，
Figure PCTCN2019130316-appb-000027
定义重投影误差为
Figure PCTCN2019130316-appb-000028
其中
Figure PCTCN2019130316-appb-000029
为3D点在视图i上的图像坐标且第三元素为1，对于该3D点的所有视图，构成重投影误差向量ε，对于所有3D点，构成误差向量Σ，全局位姿优化的目标函数描述为arg minΣ TΣ，据此进行全局位姿的优化求解。需要指出的是，此处的相机位姿优化步骤可以替换为其他优化算法，如经典BA集束调整算法，此时三维场景点坐标既可以使用经典BA集束调整算法的输出结果，也可以利用如下的SAR三维场景解析恢复步骤得到。
优选地，所述SAR三维场景解析恢复步骤包括：
多视图下三维场景结构通过相机位姿进行解析加权重建。
对于当前3D点，在左基准视图
Figure PCTCN2019130316-appb-000030
中的景深计算为
Figure PCTCN2019130316-appb-000031
在右基准视图中的景深计算为
Figure PCTCN2019130316-appb-000032
其中
Figure PCTCN2019130316-appb-000033
和ω j,η表示加权系数。以左基准视图景深解析恢复3D点为例，可取
Figure PCTCN2019130316-appb-000034
则当前3D特征点坐标为
Figure PCTCN2019130316-appb-000035
据此可解析恢复出所有3D点的坐标。同理，可以利用右视图景深解析恢复3D点坐标。当然，也可以取以上两种3D点坐标的算数平均。
根据本发明提供的一种多视图相机位姿和场景的纯位姿解算系统，包括：
纯旋转异常识别模块：对所有视图进行纯旋转异常识别，对纯旋转异常的视图进行标记，得到标记视图和非标记视图；
全局位移恢复模块：从非标记视图中选择一幅作为参考，构建约束t r＝0，构建全局位移线性约束，求解全局位移
Figure PCTCN2019130316-appb-000036
根据t r和
Figure PCTCN2019130316-appb-000037
恢复标记视图的全局位移，并筛选全局位移的正确解；
三维场景恢复模块：根据全局位姿的正确解，解析恢复所有3D点的坐标。
优选地，所述纯旋转异常识别模块包括：
模块M11：考虑视图i，1≤i≤N，对于视图j∈V i，利用双视图(i,j)上的所有图像匹配点对(X i,X j)以及相对姿态R i,j，计算θ i,j＝||[X j]×R i,jX i||，并构成集合Θ i,j和
Figure PCTCN2019130316-appb-000038
记集合Θ i中大于δ 1的比例为γ i；
模块M12：若γ i＜δ 2，标记视图i为纯旋转异常视图，记Θ i,j集合中元素的均值为
Figure PCTCN2019130316-appb-000039
取
Figure PCTCN2019130316-appb-000040
构建约束t i＝t l；
其中，若3D点X W＝(x W,y W,z W) T在n(≤N)幅视图中可视，对于i＝1,2,…,n,V i为所有与视图i共视的视图构成的集合，X i和X j分别表示点X W在视图i和视图j上的归一化图像坐标，δ 1和δ 2为设定的阈值，R i和t i分别表示视图i的全局姿态和全局位移，
Figure PCTCN2019130316-appb-000041
Figure PCTCN2019130316-appb-000042
和t i,j分别表示双视图(i,j)的相对姿态和相对位移，[X j] ×表示由向量X j构成的反对称矩阵；
模块M13：对所有视图重复模块M11-模块M12的操作。
优选地，所述全局位移恢复模块包括：
模块M21：对于当前3D点，选择视图
Figure PCTCN2019130316-appb-000043
其中视图
Figure PCTCN2019130316-appb-000044
为左基准视图，η为右基准视图；
模块M22：对于所有的非标记视图，按照形如
Figure PCTCN2019130316-appb-000045
构建GTL全局位移线性约束；
3D点X W在视图i上的图像归一化坐标有
Figure PCTCN2019130316-appb-000046
其中 ～表示齐次坐标下的等式，其中
Figure PCTCN2019130316-appb-000047
上标T表示矩阵或向量的转置；
另外，由于相对位移t i,j关于全局位移具有不同形式，因此矩阵B、C和D也相应地具有不同形式：
(1)对于目标函数[X i] ×Y i＝0和相对位移t i,j＝R j(t i-t j)，
Figure PCTCN2019130316-appb-000048
D＝-(B+C)；
(2)对于目标函数
Figure PCTCN2019130316-appb-000049
和相对位移t i,j＝R j(t i-t j)，
Figure PCTCN2019130316-appb-000050
Figure PCTCN2019130316-appb-000051
D＝-(B+C)；
(3)对于目标函数[X i] ×Y i＝0和相对位移t i,j＝t j-R i,jt i，
Figure PCTCN2019130316-appb-000052
Figure PCTCN2019130316-appb-000053
(4)对于目标函数
Figure PCTCN2019130316-appb-000054
和相对位移t i,j＝t j-R i,jt i，
Figure PCTCN2019130316-appb-000055
Figure PCTCN2019130316-appb-000056
模块M23：对于其它3D点，重复模块M21-模块M22的操作，构建线性方程，求解全局位移
Figure PCTCN2019130316-appb-000057
模块M24：利用
Figure PCTCN2019130316-appb-000058
和t r，根据t i＝t l恢复标记视图的全局位移；
模块M25：根据
Figure PCTCN2019130316-appb-000059
筛选全局位移t的正确解。
优选地，还包括相机位姿优化模块：
3D点X W在视图i上的图像齐次坐标f i表示为
Figure PCTCN2019130316-appb-000060
其中 ～表示齐次坐标下的等式，
Figure PCTCN2019130316-appb-000061
定义重投影误差为
Figure PCTCN2019130316-appb-000062
其中
Figure PCTCN2019130316-appb-000063
为3D点在视图i上的图像坐标且第三元素为1，对于该3D点的所有视图，构成重投影误差向量ε，对于所有3D点，构成误差向量Σ，全局位姿优化的 目标函数描述为arg minΣ TΣ，据此进行全局位姿的优化求解；
或者，将所述相机位姿优化步骤替换为经典BA集束调整算法，此时三维场景点坐标既使用经典BA集束调整算法的输出结果，或利用SAR三维场景解析恢复步骤得到。
优选地，所述三维场景恢复模块包括：
多视图下三维场景结构通过相机位姿进行解析加权重建；
对于当前3D点，在左基准视图
Figure PCTCN2019130316-appb-000064
中的景深计算为
Figure PCTCN2019130316-appb-000065
在右基准视图中的景深计算为
Figure PCTCN2019130316-appb-000066
其中
Figure PCTCN2019130316-appb-000067
和ω j,η表示加权系数；
据此解析恢复出所有3D点的坐标，或利用右视图景深解析恢复3D点坐标，或取以上两种3D点坐标的算数平均。
与现有技术相比，本发明具有如下的有益效果：
本发明突破传统初值和优化方法的瓶颈，可大幅度提升相机位姿与场景结构恢复的鲁棒性及计算速度。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明的工作流程图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
如图1所示，本发明提供的一种多视图相机位姿和场景的纯位姿解算方法，以视图姿态初值为输入，包括：
纯旋转异常识别(Pure Rotation Recoginition,PRR)步骤：对所有视图进行纯旋转异常识别，对纯旋转异常的视图进行标记，得到标记视图和非标记视图；
全局位移线性计算(Global Translation Linear，GTL)步骤：从非标记视图中选择一幅作为参考视图，构建约束t r＝0，构建全局位移线性约束，求解全局位移
Figure PCTCN2019130316-appb-000068
根据t r和
Figure PCTCN2019130316-appb-000069
恢复标记视图的全局位移，并筛选全局位移的正确解；
三维场景解析恢复(Structure Analytical Reconstruction,SAR)步骤：根据全局位姿的正确解，解析恢复所有3D点的坐标。
PRR纯旋转异常识别步骤包括：
步骤1：考虑视图i，1≤i≤N，对于视图j∈V i，利用双视图(i,j)上的所有图像匹配点对(X i,X j)以及相对姿态R i,j，计算θ i,j＝||[X j]×R i,jX i||，并构成集合Θ i,j和
Figure PCTCN2019130316-appb-000070
记集合Θ i中大于δ 1的比例为γ i。
步骤2：若γ i＜δ 2，标记视图i为纯旋转异常视图，记Θ i,j集合中元素的均值为
Figure PCTCN2019130316-appb-000071
取
Figure PCTCN2019130316-appb-000072
构建约束t i＝t l；
其中，若3D点X W＝(x W,y W,z W) T在n(≤N)幅视图中可视，对于i＝1,2,…,n,V i为所有与视图i共视的视图构成的集合，X i和X j分别表示点X W在视图i和视图j上的归一化图像坐标，δ 1和δ 2为设定的阈值，R i和t i分别表示视图i的全局姿态和全局位移，
Figure PCTCN2019130316-appb-000073
Figure PCTCN2019130316-appb-000074
和t i,j分别表示双视图(i,j)的相对姿态和相对位移，[X j]×表示由向量X j构成的反对称矩阵；
步骤3：对所有视图重复步骤1-步骤2。
GTL全局位移计算步骤包括：
步骤1：对于当前3D点，选择视图
Figure PCTCN2019130316-appb-000075
其中视图
Figure PCTCN2019130316-appb-000076
为左基准视图，η为右基准视图；
步骤2：对于所有的非标记视图(不含参考视图)，按照形如
Figure PCTCN2019130316-appb-000077
构建GTL全局位移线性约束。
3D点X W在视图i上的图像归一化坐标有
Figure PCTCN2019130316-appb-000078
其中 ～表示齐次坐标下的等式，其中
Figure PCTCN2019130316-appb-000079
上标T表示矩阵或向量的转置。为了线性求解全局位移，可以定义不同的目标函数形式，典型如
Figure PCTCN2019130316-appb-000080
和[X i] ×Y i＝0，其中I 3表 示三维单位矩阵，e 3表示单位矩阵的第三列向量e 3＝(0,0,1) T。另外，由于相对位移t i,j关于全局位移具有不同形式，典型如t i,j＝R j(t i-t j)和t i,j＝t j-R i,jt i，因此矩阵B、C和D的也相应地具有不同形式：
(1)对于目标函数[X i] ×Y i＝0和相对位移t i,j＝R j(t i-t j)，
Figure PCTCN2019130316-appb-000081
D＝-(B+C)；
(2)对于目标函数
Figure PCTCN2019130316-appb-000082
和相对位移t i,j＝R j(t i-t j)，
Figure PCTCN2019130316-appb-000083
Figure PCTCN2019130316-appb-000084
D＝-(B+C)；
(3)对于目标函数[X i] ×Y i＝0和相对位移t i,j＝t j-R i,jt i，
Figure PCTCN2019130316-appb-000085
Figure PCTCN2019130316-appb-000086
(4)对于目标函数
Figure PCTCN2019130316-appb-000087
和相对位移t i,j＝t j-R i,jt i，
Figure PCTCN2019130316-appb-000088
Figure PCTCN2019130316-appb-000089
步骤3：对于其它3D点，重复步骤1-步骤2，构建线性方程，求解全局位移
Figure PCTCN2019130316-appb-000090
步骤4：利用
Figure PCTCN2019130316-appb-000091
和t r，根据t i＝t l恢复标记视图的全局位移；
步骤5：根据
Figure PCTCN2019130316-appb-000092
筛选全局位移t的正确解。
在GTL全局位移计算步骤与所述SAR三维场景解析恢复步骤之间还增添一个可选的相机位姿优化步骤：
3D点X W在视图i上的图像齐次坐标f i表示为
Figure PCTCN2019130316-appb-000093
其中 ～表示齐次坐标下的等式，
Figure PCTCN2019130316-appb-000094
定义重投影误差为
Figure PCTCN2019130316-appb-000095
其中
Figure PCTCN2019130316-appb-000096
为3D点在视图i上的图像坐标且第三元素为1，对于该3D点的所有视图，构成重投影误差向量ε，对于所有3D点，构成误差向量Σ，全局位姿优化的目标函数描述为arg minΣ TΣ，据此进行全局位姿的优化求解。需要指出的是，此处的相机位姿优化步骤可以替换为其他优化算法，如经典BA集束调整算法，此时三维场景点坐标既可以使用经典BA集束调整算法的输出结果，也可以利用SAR三维场景解析恢复步骤得到。
SAR三维场景解析恢复步骤包括：
多视图下三维场景结构通过相机位姿进行解析加权重建。
对于当前3D点，在左基准视图
Figure PCTCN2019130316-appb-000097
中的景深计算为
Figure PCTCN2019130316-appb-000098
在右基准视图中的景深计算为
Figure PCTCN2019130316-appb-000099
其中
Figure PCTCN2019130316-appb-000100
和ω j,η表示加权系数。以左基准视图景深解析恢复3D点为例，可取
Figure PCTCN2019130316-appb-000101
则当前3D特征点坐标为
Figure PCTCN2019130316-appb-000102
据此可解析恢复出所有3D点的坐标。同理，可以利用右视图景深解析恢复3D点坐标。当然，也可以取以上两种3D点坐标的算数平均。
在上述一种多视图相机位姿和场景的纯位姿解算方法的基础上，本发明还提供一种多视图相机位姿和场景的纯位姿解算系统，包括：
纯旋转异常识别模块：对所有视图进行纯旋转异常识别，对纯旋转异常的视图进行标记，得到标记视图和非标记视图；
全局位移恢复模块：从非标记视图中选择一幅作为参考，构建约束t r＝0，构建全局位移线性约束，求解全局位移
Figure PCTCN2019130316-appb-000103
根据t r和
Figure PCTCN2019130316-appb-000104
恢复标记视图的全局位移，并筛选全局位移的正确解；
三维场景恢复模块：根据全局位姿的正确解，解析恢复所有3D点的坐标。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

  1. 一种多视图相机位姿和场景的纯位姿解算方法，其特征在于，包括：
    纯旋转异常识别步骤：对所有视图进行纯旋转异常识别，对纯旋转异常的视图进行标记，得到标记视图和非标记视图；
    全局位移恢复步骤：从非标记视图中选择一幅作为参考，构建约束t r＝0，构建全局位移线性约束，求解全局位移
    Figure PCTCN2019130316-appb-100001
    根据t r和
    Figure PCTCN2019130316-appb-100002
    恢复标记视图的全局位移，并筛选全局位移的正确解；
    三维场景恢复步骤：根据全局位姿的正确解，解析恢复所有3D点的坐标。
  2. 根据权利要求1所述的多视图相机位姿和场景的纯位姿解算方法，其特征在于，所述纯旋转异常识别步骤包括：
    步骤11：考虑视图i，1≤i≤N，对于视图j∈V i，利用双视图(i,j)上的所有图像匹配点对(X i,X j)以及相对姿态R i,j，计算θ i,j＝||[X j] ×R i,jX i||，并构成集合Θ i,j和
    Figure PCTCN2019130316-appb-100003
    记集合Θ i中大于δ 1的比例为γ i；
    步骤12：若γ i＜δ 2，标记视图i为纯旋转异常视图，记Θ i,j集合中元素的均值为
    Figure PCTCN2019130316-appb-100004
    取
    Figure PCTCN2019130316-appb-100005
    构建约束t i＝t l；
    其中，若3D点X W＝(x W,y W,z W) T在n(≤N)幅视图中可视，对于i＝1,2,…,n,V i为所有与视图i共视的视图构成的集合，X i和X j分别表示点X W在视图i和视图j上的归一化图像坐标，δ 1和δ 2为设定的阈值，R i和t i分别表示视图i的全局姿态和全局位移，
    Figure PCTCN2019130316-appb-100006
    Figure PCTCN2019130316-appb-100007
    和t i,j分别表示双视图(i,j)的相对姿态和相对位移，[X j] ×表示由向量X j构成的反对称矩阵；
    步骤13：对所有视图重复步骤11-步骤12。
  3. 根据权利要求2所述的多视图相机位姿和场景的纯位姿解算方法，其特征在于，所述全局位移恢复步骤包括：
    步骤21：对于当前3D点，选择视图
    Figure PCTCN2019130316-appb-100008
    其中视图
    Figure PCTCN2019130316-appb-100009
    为左基准视图，η为右基准视图；
    步骤22：对于所有的非标记视图，按照形如
    Figure PCTCN2019130316-appb-100010
    构建GTL全局位移线性约束；
    3D点X W在视图i上的图像归一化坐标有
    Figure PCTCN2019130316-appb-100011
    其中～表示齐次坐标下的等式，其中
    Figure PCTCN2019130316-appb-100012
    上标T表示矩阵或向量的转置；为了线性求解全局位移，定义不同的目标函数形式；
    另外，由于相对位移t i,j关于全局位移具有不同形式，因此矩阵B、C和D也相应地具有不同形式：
    (1)对于目标函数[X i] ×Y i＝0和相对位移t i,j＝R j(t i-t j)，
    Figure PCTCN2019130316-appb-100013
    D＝-(B+C)；
    (2)对于目标函数
    Figure PCTCN2019130316-appb-100014
    和相对位移t i,j＝R j(t i-t j)，
    Figure PCTCN2019130316-appb-100015
    Figure PCTCN2019130316-appb-100016
    D＝-(B+C)；
    (3)对于目标函数[X i] ×Y i＝0和相对位移t i,j＝t j-R i,jt i，
    Figure PCTCN2019130316-appb-100017
    Figure PCTCN2019130316-appb-100018
    (4)对于目标函数
    Figure PCTCN2019130316-appb-100019
    和相对位移t i,j＝t j-R i,jt i，
    Figure PCTCN2019130316-appb-100020
    Figure PCTCN2019130316-appb-100021
    步骤23：对于其它3D点，重复步骤21-步骤22，构建线性方程，求解全局位移
    Figure PCTCN2019130316-appb-100022
    步骤24：利用
    Figure PCTCN2019130316-appb-100023
    和t r，根据t i＝t l恢复标记视图的全局位移；
    步骤25：根据
    Figure PCTCN2019130316-appb-100024
    筛选全局位移t的正确解。
  4. 根据权利要求3所述的多视图相机位姿和场景的纯位姿解算方法，其特征在于，所述全局位移恢复步骤与所述三维场景恢复步骤之间还包括相机位姿优化步骤：
    3D点X W在视图i上的图像齐次坐标f i表示为
    Figure PCTCN2019130316-appb-100025
    其中～表示齐次坐标下的等式，
    Figure PCTCN2019130316-appb-100026
    定义重投影误差为
    Figure PCTCN2019130316-appb-100027
    其中
    Figure PCTCN2019130316-appb-100028
    为3D点在视图i上的图像坐标且第三元素为1，对于该3D点的所有视图，构成重投影误差向量ε，对于所有3D点，构成误差向量Σ，全局位姿优化的目标函数描述为argminΣ TΣ，据此进行全局位姿的优化求解；
    或者，将所述相机位姿优化步骤替换为经典BA集束调整算法，此时三维场景点坐标既使用经典BA集束调整算法的输出结果，或利用SAR三维场景解析恢复步骤得到。
  5. 根据权利要求3所述的多视图相机位姿和场景的纯位姿解算方法，其特征在于，所述三维场景恢复步骤包括：
    多视图下三维场景结构通过相机位姿进行解析加权重建；
    对于当前3D点，在左基准视图
    Figure PCTCN2019130316-appb-100029
    中的景深计算为
    Figure PCTCN2019130316-appb-100030
    在右基准视图中的景深计算为
    Figure PCTCN2019130316-appb-100031
    其中
    Figure PCTCN2019130316-appb-100032
    和ω j,η表示加权系数；
    据此解析恢复出所有3D点的坐标，或利用右视图景深解析恢复3D点坐标，或者取以上两种3D点坐标的算数平均。
  6. 一种多视图相机位姿和场景的纯位姿解算系统，其特征在于，包括：
    纯旋转异常识别模块：对所有视图进行纯旋转异常识别，对纯旋转异常的视图进行标记，得到标记视图和非标记视图；
    全局位移恢复模块：从非标记视图中选择一幅作为参考，构建约束t r＝0，构建全局位移线性约束，求解全局位移
    Figure PCTCN2019130316-appb-100033
    根据t r和
    Figure PCTCN2019130316-appb-100034
    恢复标记视图的全局位移，并筛选全局位移的正确解；
    三维场景恢复模块：根据全局位姿的正确解，解析恢复所有3D点的坐标。
  7. 根据权利要求6所述的多视图相机位姿和场景的纯位姿解算系统，其特征在于，所述纯旋转异常识别模块包括：
    模块M11：考虑视图i，1≤i≤N，对于视图j∈V i，利用双视图(i,j)上的所有图像匹配点对(X i,X j)以及相对姿态R i,j，计算θ i,j＝||[X j] ×R i,jX i||，并构成集合Θ i,j和
    Figure PCTCN2019130316-appb-100035
    记集合Θ i中大于δ 1的比例为γ i；
    模块M12：若γ i＜δ 2，标记视图i为纯旋转异常视图，记Θ i,j集合中元素的均值为
    Figure PCTCN2019130316-appb-100036
    取
    Figure PCTCN2019130316-appb-100037
    构建约束t i＝t l；
    其中，若3D点X W＝(x W,y W,z W) T在n(≤N)幅视图中可视，对于i＝1,2,…,n,V i为所有与视图i共视的视图构成的集合，X i和X j分别表示点X W在视图i和视图j上的归一化图像坐标，δ 1和δ 2为设定的阈值，R i和t i分别表示视图i的全局姿态和全局位移，
    Figure PCTCN2019130316-appb-100038
    Figure PCTCN2019130316-appb-100039
    和t i,j分别表示双视图(i,j)的相对姿态和相对位移，[X j] ×表示由向量X j构成的反对称矩阵；
    模块M13：对所有视图重复模块M11-模块M12的操作。
  8. 根据权利要求7所述的多视图相机位姿和场景的纯位姿解算系统，其特征在于，所述全局位移恢复模块包括：
    模块M21：对于当前3D点，选择视图
    Figure PCTCN2019130316-appb-100040
    其中视图
    Figure PCTCN2019130316-appb-100041
    为左基准视图，η为右基准视图；
    模块M22：对于所有的非标记视图，按照形如
    Figure PCTCN2019130316-appb-100042
    构建GTL全局位移线性约束；
    3D点X W在视图i上的图像归一化坐标有
    Figure PCTCN2019130316-appb-100043
    其中～表示齐次坐标下的等式，其中
    Figure PCTCN2019130316-appb-100044
    上标T表示矩阵或向量的转置；
    另外，由于相对位移t i,j关于全局位移具有不同形式，因此矩阵B、C和D也相应地具有不同形式：
    (1)对于目标函数[X i] ×Y i＝0和相对位移t i,j＝R j(t i-t j)，
    Figure PCTCN2019130316-appb-100045
    D＝-(B+C)；
    (2)对于目标函数
    Figure PCTCN2019130316-appb-100046
    和相对位移
    Figure PCTCN2019130316-appb-100047
    Figure PCTCN2019130316-appb-100048
    D＝-(B+C)；
    (3)对于目标函数[X i] ×Y i＝0和相对位移t i,j＝t j-R i,jt i，
    Figure PCTCN2019130316-appb-100049
    Figure PCTCN2019130316-appb-100050
    (4)对于目标函数
    Figure PCTCN2019130316-appb-100051
    和相对位移t i,j＝t j-R i,jt i，
    Figure PCTCN2019130316-appb-100052
    Figure PCTCN2019130316-appb-100053
    模块M23：对于其它3D点，重复模块M21-模块M22的操作，构建线性方程，求解全局位移
    Figure PCTCN2019130316-appb-100054
    模块M24：利用
    Figure PCTCN2019130316-appb-100055
    和t r，根据t i＝t l恢复标记视图的全局位移；
    模块M25：根据
    Figure PCTCN2019130316-appb-100056
    筛选全局位移t的正确解。
  9. 根据权利要求8所述的多视图相机位姿和场景的纯位姿解算系统，其特征在于，还包括相机位姿优化模块：
    3D点X W在视图i上的图像齐次坐标f i表示为
    Figure PCTCN2019130316-appb-100057
    其中～表示齐次坐标下的等式，
    Figure PCTCN2019130316-appb-100058
    定义重投影误差为
    Figure PCTCN2019130316-appb-100059
    其中
    Figure PCTCN2019130316-appb-100060
    为3D点在视图i上的图像坐标且第三元素为1，对于该3D点的所有视图，构成重投影误差向量ε，对于所有3D点，构成误差向量Σ，全局位姿优化的目标函数描述为argminΣ TΣ，据此进行全局位姿的优化求解；
    或者，将所述相机位姿优化步骤替换为经典BA集束调整算法，此时三维场景点坐标既使用经典BA集束调整算法的输出结果，或利用SAR三维场景解析恢复步骤得到。
  10. 根据权利要求8所述的多视图相机位姿和场景的纯位姿解算系统，其特征在于，所述三维场景恢复模块包括：
    多视图下三维场景结构通过相机位姿进行解析加权重建；
    对于当前3D点，在左基准视图
    Figure PCTCN2019130316-appb-100061
    中的景深计算为
    Figure PCTCN2019130316-appb-100062
    在右基准视图中的景深计算为
    Figure PCTCN2019130316-appb-100063
    其中
    Figure PCTCN2019130316-appb-100064
    和ω j,η表示加权系数；
    据此解析恢复出所有3D点的坐标，或利用右视图景深解析恢复3D点坐标，或取以上两种3D点坐标的算数平均。
PCT/CN2019/130316 2019-12-11 2019-12-31 多视图相机位姿和场景的纯位姿解算方法及系统 WO2021114434A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/785,015 US12094162B2 (en) 2019-12-11 2019-12-31 Pure pose solution method and system for multi-view camera pose and scene

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201911267354.1A CN111161355B (zh) 2019-12-11 2019-12-11 多视图相机位姿和场景的纯位姿解算方法及系统
CN201911267354.1 2019-12-11

Publications (1)

Publication Number Publication Date
WO2021114434A1 true WO2021114434A1 (zh) 2021-06-17

Family

ID=70556977

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/130316 WO2021114434A1 (zh) 2019-12-11 2019-12-31 多视图相机位姿和场景的纯位姿解算方法及系统

Country Status (3)

Country Link
US (1) US12094162B2 (zh)
CN (1) CN111161355B (zh)
WO (1) WO2021114434A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113408435A (zh) * 2021-06-22 2021-09-17 华侨大学 一种安全监控方法、装置、设备和存储介质
CN113408433A (zh) * 2021-06-22 2021-09-17 华侨大学 一种智能监控的手势识别方法、装置、设备和存储介质
CN117456531A (zh) * 2023-12-25 2024-01-26 乐山职业技术学院 多视图纯旋转异常识别和自动标记训练方法、设备和介质
CN118310420A (zh) * 2024-04-12 2024-07-09 河南省科学院物理研究所 一种基于机器视觉的三维测量系统及方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113947621B (zh) * 2021-10-22 2024-12-24 上海交通大学 多视图相机位移和三维场景点坐标的估计方法及系统
CN115861434B (zh) * 2022-11-14 2024-03-22 中国人民解放军海军工程大学 用于超大场景测量多视角相机的位姿估计方法
CN117689899B (zh) * 2024-02-04 2024-05-24 南昌虚拟现实研究院股份有限公司 一种手势采集装置参数点检方法、系统、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106289188A (zh) * 2016-08-05 2017-01-04 航天恒星科技有限公司 一种基于多视角航空影像的测量方法及系统
CN106408653A (zh) * 2016-09-06 2017-02-15 合肥工业大学 一种面向大规模三维重建的实时鲁棒的集束调整方法
CN107507277A (zh) * 2017-07-31 2017-12-22 北京康邦科技有限公司 三维点云重构方法和装置、服务器及可读存储介质
CN108038902A (zh) * 2017-12-07 2018-05-15 合肥工业大学 一种面向深度相机的高精度三维重建方法和系统
US20190130590A1 (en) * 2017-10-30 2019-05-02 Samsung Electronics Co., Ltd. Method and apparatus for processing image
CN109993113A (zh) * 2019-03-29 2019-07-09 东北大学 一种基于rgb-d和imu信息融合的位姿估计方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102970517B (zh) * 2012-11-28 2015-08-19 四川长虹电器股份有限公司 基于异常情景识别的云台镜头自主控制方法
US10499996B2 (en) * 2015-03-26 2019-12-10 Universidade De Coimbra Methods and systems for computer-aided surgery using intra-operative video acquired by a free moving camera
US9633250B2 (en) * 2015-09-21 2017-04-25 Mitsubishi Electric Research Laboratories, Inc. Method for estimating locations of facial landmarks in an image of a face using globally aligned regression
JP2018036770A (ja) * 2016-08-30 2018-03-08 富士通株式会社 位置姿勢推定装置、位置姿勢推定方法、及び位置姿勢推定プログラム
CN107330934B (zh) * 2017-05-23 2021-12-07 上海交通大学 低维度的集束调整计算方法与系统
CN108225319B (zh) * 2017-11-30 2021-09-07 上海航天控制技术研究所 基于目标特征的单目视觉快速相对位姿估计系统及方法
CN108280858B (zh) * 2018-01-29 2022-02-01 重庆邮电大学 多视图重建中的一种线性全局相机运动参数估计方法
US11704787B2 (en) * 2020-11-06 2023-07-18 Wipro Limited Method and system for determining stock in an inventory
CN112697044B (zh) * 2020-12-17 2021-11-26 北京航空航天大学 一种基于无人机平台的静态刚性物体视觉测量方法
CN113962853B (zh) * 2021-12-15 2022-03-15 武汉大学 一种旋转线阵扫描图像位姿自动化精密解算方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106289188A (zh) * 2016-08-05 2017-01-04 航天恒星科技有限公司 一种基于多视角航空影像的测量方法及系统
CN106408653A (zh) * 2016-09-06 2017-02-15 合肥工业大学 一种面向大规模三维重建的实时鲁棒的集束调整方法
CN107507277A (zh) * 2017-07-31 2017-12-22 北京康邦科技有限公司 三维点云重构方法和装置、服务器及可读存储介质
US20190130590A1 (en) * 2017-10-30 2019-05-02 Samsung Electronics Co., Ltd. Method and apparatus for processing image
CN108038902A (zh) * 2017-12-07 2018-05-15 合肥工业大学 一种面向深度相机的高精度三维重建方法和系统
CN109993113A (zh) * 2019-03-29 2019-07-09 东北大学 一种基于rgb-d和imu信息融合的位姿估计方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113408435A (zh) * 2021-06-22 2021-09-17 华侨大学 一种安全监控方法、装置、设备和存储介质
CN113408433A (zh) * 2021-06-22 2021-09-17 华侨大学 一种智能监控的手势识别方法、装置、设备和存储介质
CN113408433B (zh) * 2021-06-22 2023-12-05 华侨大学 一种智能监控的手势识别方法、装置、设备和存储介质
CN113408435B (zh) * 2021-06-22 2023-12-05 华侨大学 一种安全监控方法、装置、设备和存储介质
CN117456531A (zh) * 2023-12-25 2024-01-26 乐山职业技术学院 多视图纯旋转异常识别和自动标记训练方法、设备和介质
CN117456531B (zh) * 2023-12-25 2024-03-19 乐山职业技术学院 多视图纯旋转异常识别和自动标记训练方法、设备和介质
CN118310420A (zh) * 2024-04-12 2024-07-09 河南省科学院物理研究所 一种基于机器视觉的三维测量系统及方法

Also Published As

Publication number Publication date
CN111161355B (zh) 2023-05-09
US20230041433A1 (en) 2023-02-09
CN111161355A (zh) 2020-05-15
US12094162B2 (en) 2024-09-17

Similar Documents

Publication Publication Date Title
WO2021114434A1 (zh) 多视图相机位姿和场景的纯位姿解算方法及系统
CN110120011B (zh) 一种基于卷积神经网络和混合分辨率的视频超分辨方法
CN110619676B (zh) 一种基于神经网络的端到端的三维人脸重建方法
CN111401452B (zh) 一种基于偏微分算子的等变卷积网络模型的图像分类方法
Wang et al. Vplnet: Deep single view normal estimation with vanishing points and lines
CN110728628A (zh) 一种基于条件生成对抗网络的人脸去遮挡方法
CN112132023A (zh) 基于多尺度上下文增强网络的人群计数方法
CN102708370B (zh) 一种多视角图像前景目标提取方法及装置
CN110310277B (zh) 基于深度特征和ntv-rpca的织物疵点检测方法
CN103150713A (zh) 利用图像块分类稀疏表示与自适应聚合的图像超分辨方法
CN108280858B (zh) 多视图重建中的一种线性全局相机运动参数估计方法
CN112734890A (zh) 基于三维重建的人脸替换方法及装置
CN101901472A (zh) 一种基于矩阵秩最小化的非刚性鲁棒批量图像对齐方法
CN110717936A (zh) 一种基于相机姿态估计的图像拼接方法
Hang et al. Spatial-temporal adaptive graph convolutional network for skeleton-based action recognition
Zhang et al. Multi-task convnet for blind face inpainting with application to face verification
CN106204477A (zh) 基于在线低秩背景建模的视频序列背景恢复方法
Yuan et al. Parallax-aware network for light field salient object detection
CN111539288B (zh) 一种双手姿势的实时检测方法
CN105844674B (zh) 基于三元数小波变换的彩色图像融合系统及方法
CN113240584B (zh) 一种基于图片边缘信息的多任务手势图片超分辨率方法
CN110147809A (zh) 图像处理方法及装置、存储介质及图像设备
Fan et al. LiDAR-HMR: 3D Human Mesh Recovery from LiDAR
CN114037867B (zh) 一种基于宽度学习的风机叶片表面损伤分类识别方法
CN116778072A (zh) 一种基于时序多深度平面场的平面视频光场化方法及系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19955684

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19955684

Country of ref document: EP

Kind code of ref document: A1