[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN111551920A - 基于目标检测与双目匹配的三维目标实时测量系统和方法 - Google Patents

基于目标检测与双目匹配的三维目标实时测量系统和方法 Download PDF

Info

Publication number
CN111551920A
CN111551920A CN202010301440.6A CN202010301440A CN111551920A CN 111551920 A CN111551920 A CN 111551920A CN 202010301440 A CN202010301440 A CN 202010301440A CN 111551920 A CN111551920 A CN 111551920A
Authority
CN
China
Prior art keywords
image
camera
target
binocular
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010301440.6A
Other languages
English (en)
Inventor
万里
魏林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Original Assignee
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University filed Critical Chongqing University
Priority to CN202010301440.6A priority Critical patent/CN111551920A/zh
Publication of CN111551920A publication Critical patent/CN111551920A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提出了一种基于目标检测与双目匹配的三维目标实时测量系统和方法,该系统包括用于固定安装双目摄像头的基座支架,在基座支架上安设有双目摄像头,双目摄像头包括左摄像头和右摄像头,左摄像头的图像数据输出端与控制器的图像数据第一输入端相连,右摄像头的图像数据输出端与控制器的图像数据第二输入端相连,控制器的图像输出端与显示屏的图像输入端相连;控制器根据双目摄像头拍摄的左图像和右图像得到待测目标物的距离。本发明能够利用双目摄像头实现待测目标物所处位置的测量。

Description

基于目标检测与双目匹配的三维目标实时测量系统和方法
技术领域
本发明涉及一种测量技术领域,特别是涉及一种基于目标检测与双目匹配的三维目标实时测量系统和方法。
背景技术
双目测距技术作为双目视觉系统的基石,对于促进以计算机视觉系统为基础的增强现实技术(AR技术)、虚拟现实技术(VR技术)、人工智能技术(AI技术)等当下最火热的计算机领域的前沿发展技术有着极大的作用。因此,研究、改进和完善双目测距技术,拓展双目测距的应用场景和适用环境,提高双目测距技术的测距精度,降低双目测距技术的使用门槛,对于计算机视觉研究方向的发展,以及整个计算机学科技术领域的发展都具有十分巨大的作用,且前景广阔。
发明内容
本发明旨在至少解决现有技术中存在的技术问题,特别创新地提出了一种基于目标检测与双目匹配的三维目标实时测量系统和方法。
为了实现本发明的上述目的,本发明提供了一种基于目标检测与双目匹配的三维目标实时测量系统,包括用于固定安装双目摄像头的基座支架,在基座支架上安设有双目摄像头,双目摄像头包括左摄像头和右摄像头,左摄像头的图像数据输出端与控制器的图像数据第一输入端相连,右摄像头的图像数据输出端与控制器的图像数据第二输入端相连,控制器的图像输出端与显示屏的图像输入端相连;控制器根据双目摄像头拍摄的左图像和右图像得到待测目标物的距离。
本发明还公开了一种基于目标检测与双目匹配的三维目标实时测量方法,该方法包括以下步骤:
S1,获取双目摄像头拍摄的图像,将左摄像头拍摄的图像作为左图像,将右摄像头拍摄的图像作为右图像;
S2,将步骤S1中双目摄像头拍摄的图像进行左图像和右图像标定和校准;
S3,对左图像和右图像中的待测目标物生成提取框;
S4,根据提取框内的目标物获取相同目标点,根据目标点获得待测目标物所处位置。
在本发明的一种优选实施方式中,在步骤S2中,对双目摄像头拍摄的图像进行标定的计算方法为:
Figure BDA0002454142010000021
其中,R表示旋转向量;
T表示平移向量;
Zc表示物体离光学透镜中心的距离;
dx表示每一像素列代表多少距离;
f表示相机焦距;
u0表示图像坐标系相对于像素坐标系的横坐标;
dy表示每一像素行代表多少距离;
v0表示图像坐标系相对于像素坐标系的纵坐标;
(u,v)表示像素坐标系中的坐标。
在本发明的一种优选实施方式中,在步骤S2中,对双目摄像头拍摄的图像进行校准的计算方法为:
Figure BDA0002454142010000031
其中,(X,Y,Z)表示三维坐标;
(cx,cy)为主点,作为左图像的原点;
W表示坐标变换参数;
f表示左图像焦距参数;
c′x表示主点在右图像上的x坐标;
Tx表示平移矩阵的一个分量;
(x,y)表示屏幕坐标;
d表示视差。
在本发明的一种优选实施方式中,在步骤S3中,提取框的生成方法为:
Figure BDA0002454142010000032
Sk表示提取框尺度;
Smin表示提取框的最小值;
Smax表示提取框的最大值;
m表示特征图个数;
k表示第k个特征图。
在本发明的一种优选实施方式中,在步骤S4中,获取相同目标点的方法为:
Figure BDA0002454142010000033
其中,min()表示取最小值;
||表示取绝对值;
ds(x,y)表示左图像中在点(x,y)处的像素值;
dd(x+i,y+j)表示右图像中在点(x+i,y+j)处的像素值;
I表示提取框中横向坐标个数;
J表示提取框中纵向坐标个数;
在本发明的一种优选实施方式中,待测目标物所处位置的计算方法为:
Figure BDA0002454142010000041
其中,(Xw′,Yw′,Zw′)表示待测目标物在世界坐标系的坐标;
R表示旋转向量;
T表示平移向量;
Zc表示物体离光学透镜中心的距离;
dx表示每一像素列代表多少距离;
f表示相机焦距;
u0表示图像坐标系相对于像素坐标系的横坐标;
dy表示每一像素行代表多少距离;
v0表示图像坐标系相对于像素坐标系的纵坐标;
(u′,v′)表示待测目标物在像素坐标系中的坐标。
在本发明的一种优选实施方式中,还包括待测目标物与双目摄像头间的距离为:
Figure BDA0002454142010000042
其中,(Xw′,Yw′,Zw′)表示待测目标物在世界坐标系的坐标;
(X0,Y0,Z0)表示双目摄像头在世界坐标系的坐标;
L表示待测目标物与双目摄像头间的距离。
综上所述,由于采用了上述技术方案,本发明能够利用双目摄像头实现待测目标物所处位置的测量。
本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:
图1是本发明流程示意框图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。
本发明提供了一种基于目标检测与双目匹配的三维目标实时测量系统,包括用于固定安装双目摄像头的基座支架,在基座支架上安设有双目摄像头,双目摄像头包括左摄像头和右摄像头,左摄像头的图像数据输出端与控制器的图像数据第一输入端相连,右摄像头的图像数据输出端与控制器的图像数据第二输入端相连,控制器的图像输出端与显示屏的图像输入端相连;控制器根据双目摄像头拍摄的左图像和右图像得到待测目标物的距离。
本发明还公开了一种基于目标检测与双目匹配的三维目标实时测量方法,如图1所示,该方法包括以下步骤:
S1,获取双目摄像头拍摄的图像,将左摄像头拍摄的图像作为左图像,将右摄像头拍摄的图像作为右图像;
S2,将步骤S1中双目摄像头拍摄的图像进行左图像和右图像标定和校准;
S3,对左图像和右图像中的待测目标物生成提取框;
S4,根据提取框内的目标物获取相同目标点,根据目标点获得待测目标物所处位置。
在本发明的一种优选实施方式中,在步骤S2中,对双目摄像头拍摄的图像进行标定的计算方法为:
Figure BDA0002454142010000061
其中,(Xw,Yw,Zw)表示世界坐标系的坐标;
R表示旋转向量;
T表示平移向量;
Zc表示物体离光学透镜中心的距离;
dx表示每一像素列代表多少距离;
f表示相机焦距;
u0表示图像坐标系相对于像素坐标系的横坐标;
dy表示每一像素行代表多少距离;
v0表示图像坐标系相对于像素坐标系的纵坐标;
(u,v)表示像素坐标系中的坐标。
在本发明的一种优选实施方式中,在步骤S2中,对双目摄像头拍摄的图像进行校准的计算方法为:
Figure BDA0002454142010000062
其中,(X,Y,Z)表示三维坐标;
(cx,cy)为主点,作为左图像的原点;
W表示坐标变换参数;
f表示左图像焦距参数;
c′x表示主点在右图像上的x坐标;
Tx表示平移矩阵的一个分量;
(x,y)表示屏幕坐标;
d表示视差。
在本发明的一种优选实施方式中,在步骤S3中,提取框的生成方法为:
Figure BDA0002454142010000071
Sk表示提取框尺度;
Smin表示提取框的最小值;
Smax表示提取框的最大值;
m表示特征图个数;
k表示第k个特征图。
在本发明的一种优选实施方式中,在步骤S4中,获取相同目标点的方法为:
Figure BDA0002454142010000072
其中,min()表示取最小值;
||表示取绝对值;
ds(x,y)表示左图像中在点(x,y)处的像素值;
dd(x+i,y+j)表示右图像中在点(x+i,y+j)处的像素值;
I表示提取框中横向坐标个数;
J表示提取框中纵向坐标个数;
在本发明的一种优选实施方式中,待测目标物所处位置的计算方法为:
Figure BDA0002454142010000081
其中,(Xw′,Yw′,Zw′)表示待测目标物在世界坐标系的坐标;
R表示旋转向量;
T表示平移向量;
Zc表示物体离光学透镜中心的距离;
dx表示每一像素列代表多少距离;
f表示相机焦距;
u0表示图像坐标系相对于像素坐标系的横坐标;
dy表示每一像素行代表多少距离;
v0表示图像坐标系相对于像素坐标系的纵坐标;
(u′,v′)表示待测目标物在像素坐标系中的坐标。
在本发明的一种优选实施方式中,还包括待测目标物与双目摄像头间的距离为:
Figure BDA0002454142010000082
其中,(Xw′,Yw′,Zw′)表示待测目标物在世界坐标系的坐标;
(X0,Y0,Z0)表示双目摄像头在世界坐标系的坐标;
L表示待测目标物与双目摄像头间的距离。
尽管已经示出和描述了本发明的实施例,本领域的普通技术人员可以理解:在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由权利要求及其等同物限定。

Claims (8)

1.一种基于目标检测与双目匹配的三维目标实时测量系统,其特征在于,包括用于固定安装双目摄像头的基座支架,在基座支架上安设有双目摄像头,双目摄像头包括左摄像头和右摄像头,左摄像头的图像数据输出端与控制器的图像数据第一输入端相连,右摄像头的图像数据输出端与控制器的图像数据第二输入端相连,控制器的图像输出端与显示屏的图像输入端相连;控制器根据双目摄像头拍摄的左图像和右图像得到待测目标物的距离。
2.一种基于目标检测与双目匹配的三维目标实时测量方法,其特征在于,包括以下步骤:
S1,获取双目摄像头拍摄的图像,将左摄像头拍摄的图像作为左图像,将右摄像头拍摄的图像作为右图像;
S2,将步骤S1中双目摄像头拍摄的图像进行左图像和右图像标定和校准;
S3,对左图像和右图像中的待测目标物生成提取框;
S4,根据提取框内的目标物获取相同目标点,根据目标点获得待测目标物所处位置。
3.根据权利要求2基于目标检测与双目匹配的三维目标实时测量方法,其特征在于,在步骤S2中,对双目摄像头拍摄的图像进行标定的计算方法为:
Figure FDA0002454141000000011
其中,R表示旋转向量;
T表示平移向量;
Zc表示物体离光学透镜中心的距离;
dx表示每一像素列代表多少距离;
f表示相机焦距;
u0表示图像坐标系相对于像素坐标系的横坐标;
dy表示每一像素行代表多少距离;
v0表示图像坐标系相对于像素坐标系的纵坐标;
(u,v)表示像素坐标系中的坐标。
4.根据权利要求2基于目标检测与双目匹配的三维目标实时测量方法,其特征在于,在步骤S2中,对双目摄像头拍摄的图像进行校准的计算方法为:
Figure FDA0002454141000000021
其中,(X,Y,Z)表示三维坐标;
(cx,cy)为主点,作为左图像的原点;
W表示坐标变换参数;
f表示左图像焦距参数;
c′x表示主点在右图像上的x坐标;
Tx表示平移矩阵的一个分量;
(x,y)表示屏幕坐标;
d表示视差。
5.根据权利要求2基于目标检测与双目匹配的三维目标实时测量方法,其特征在于,在步骤S3中,提取框的生成方法为:
Figure FDA0002454141000000022
Sk表示提取框尺度;
Smin表示提取框的最小值;
Smax表示提取框的最大值;
m表示特征图个数;
k表示第k个特征图。
6.根据权利要求2基于目标检测与双目匹配的三维目标实时测量方法,其特征在于,在步骤S4中,获取相同目标点的方法为:
Figure FDA0002454141000000031
其中,min()表示取最小值;
||表示取绝对值;
ds(x,y)表示左图像中在点(x,y)处的像素值;
dd(x+i,y+j)表示右图像中在点(x+i,y+j)处的像素值;
I表示提取框中横向坐标个数;
J表示提取框中纵向坐标个数。
7.根据权利要求2基于目标检测与双目匹配的三维目标实时测量方法,其特征在于,待测目标物所处位置的计算方法为:
Figure FDA0002454141000000032
其中,(Xw′,Yw′,Zw′)表示待测目标物在世界坐标系的坐标;
R表示旋转向量;
T表示平移向量;
Zc表示物体离光学透镜中心的距离;
dx表示每一像素列代表多少距离;
f表示相机焦距;
u0表示图像坐标系相对于像素坐标系的横坐标;
dy表示每一像素行代表多少距离;
v0表示图像坐标系相对于像素坐标系的纵坐标;
(u′,v′)表示待测目标物在像素坐标系中的坐标。
8.根据权利要求2基于目标检测与双目匹配的三维目标实时测量方法,其特征在于,还包括待测目标物与双目摄像头间的距离为:
Figure FDA0002454141000000041
其中,(Xw′,Yw′,Zw′)表示待测目标物在世界坐标系的坐标;
(X0,Y0,Z0)表示双目摄像头在世界坐标系的坐标;
L表示待测目标物与双目摄像头间的距离。
CN202010301440.6A 2020-04-16 2020-04-16 基于目标检测与双目匹配的三维目标实时测量系统和方法 Pending CN111551920A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010301440.6A CN111551920A (zh) 2020-04-16 2020-04-16 基于目标检测与双目匹配的三维目标实时测量系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010301440.6A CN111551920A (zh) 2020-04-16 2020-04-16 基于目标检测与双目匹配的三维目标实时测量系统和方法

Publications (1)

Publication Number Publication Date
CN111551920A true CN111551920A (zh) 2020-08-18

Family

ID=72002459

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010301440.6A Pending CN111551920A (zh) 2020-04-16 2020-04-16 基于目标检测与双目匹配的三维目标实时测量系统和方法

Country Status (1)

Country Link
CN (1) CN111551920A (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1566900A (zh) * 2003-06-11 2005-01-19 北京航空航天大学 一种空间圆几何参数的视觉测量方法
CN103793911A (zh) * 2014-01-24 2014-05-14 北京科技大学 一种基于集成图像技术的场景深度获取方法
CN107871119A (zh) * 2017-11-01 2018-04-03 西安电子科技大学 一种基于目标空间知识和两阶段预测学习的目标检测方法
CN108428255A (zh) * 2018-02-10 2018-08-21 台州智必安科技有限责任公司 一种基于无人机的实时三维重建方法
CN108470356A (zh) * 2018-03-15 2018-08-31 浙江工业大学 一种基于双目视觉的目标对象快速测距方法
CN109035322A (zh) * 2018-07-17 2018-12-18 重庆大学 一种基于双目视觉的障碍物检测与识别方法
CN109141344A (zh) * 2018-06-15 2019-01-04 北京众星智联科技有限责任公司 一种基于双目摄像头精准测距的方法及系统
CN109269478A (zh) * 2018-10-24 2019-01-25 南京大学 一种基于双目视觉的集装箱码头场桥障碍物检测方法
CN109344772A (zh) * 2018-09-30 2019-02-15 中国人民解放军战略支援部队信息工程大学 基于谱图和深度卷积网络的超短波特定信号侦察方法
CN109974659A (zh) * 2019-03-31 2019-07-05 徐州工程学院 一种基于双目机器视觉的嵌入式测距系统
WO2019178717A1 (zh) * 2018-03-19 2019-09-26 深圳配天智能技术研究院有限公司 双目匹配的方法、视觉成像装置及具有存储功能的装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1566900A (zh) * 2003-06-11 2005-01-19 北京航空航天大学 一种空间圆几何参数的视觉测量方法
CN103793911A (zh) * 2014-01-24 2014-05-14 北京科技大学 一种基于集成图像技术的场景深度获取方法
CN107871119A (zh) * 2017-11-01 2018-04-03 西安电子科技大学 一种基于目标空间知识和两阶段预测学习的目标检测方法
CN108428255A (zh) * 2018-02-10 2018-08-21 台州智必安科技有限责任公司 一种基于无人机的实时三维重建方法
CN108470356A (zh) * 2018-03-15 2018-08-31 浙江工业大学 一种基于双目视觉的目标对象快速测距方法
WO2019178717A1 (zh) * 2018-03-19 2019-09-26 深圳配天智能技术研究院有限公司 双目匹配的方法、视觉成像装置及具有存储功能的装置
CN109141344A (zh) * 2018-06-15 2019-01-04 北京众星智联科技有限责任公司 一种基于双目摄像头精准测距的方法及系统
CN109035322A (zh) * 2018-07-17 2018-12-18 重庆大学 一种基于双目视觉的障碍物检测与识别方法
CN109344772A (zh) * 2018-09-30 2019-02-15 中国人民解放军战略支援部队信息工程大学 基于谱图和深度卷积网络的超短波特定信号侦察方法
CN109269478A (zh) * 2018-10-24 2019-01-25 南京大学 一种基于双目视觉的集装箱码头场桥障碍物检测方法
CN109974659A (zh) * 2019-03-31 2019-07-05 徐州工程学院 一种基于双目机器视觉的嵌入式测距系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
冯瑾: "基于双目立体视觉的移动机器人障碍物检测技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
高峰: "基于双目立体视觉的障碍物检测技术研究与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Similar Documents

Publication Publication Date Title
CN109345588B (zh) 一种基于Tag的六自由度姿态估计方法
CN110070615B (zh) 一种基于多相机协同的全景视觉slam方法
CN110853075B (zh) 一种基于稠密点云与合成视图的视觉跟踪定位方法
CN109993793B (zh) 视觉定位方法及装置
US20030012410A1 (en) Tracking and pose estimation for augmented reality using real features
CN110956661B (zh) 基于双向单应矩阵的可见光与红外相机动态位姿计算方法
CN106875437B (zh) 一种面向rgbd三维重建的关键帧提取方法
CN114399554A (zh) 一种多相机系统的标定方法及系统
CN110889829A (zh) 一种基于鱼眼镜头的单目测距方法
CN110517284B (zh) 一种基于激光雷达和ptz摄像机的目标追踪方法
CN111080776B (zh) 人体动作三维数据采集和复现的处理方法及系统
CN112037159A (zh) 一种跨相机道路空间融合及车辆目标检测跟踪方法及系统
CN110705433A (zh) 一种基于视觉感知的桥梁变形的监测方法、装置及设备
CN109934873B (zh) 标注图像获取方法、装置及设备
CN110375765B (zh) 基于直接法的视觉里程计方法、系统及存储介质
CN112070884A (zh) 一种同步实现三维重建和ar虚实注册的方法、系统及装置
CN111899345B (zh) 一种基于2d视觉图像的三维重建方法
CN110942475B (zh) 紫外与可见光图像融合系统及快速图像配准方法
CN111047636A (zh) 基于主动红外双目视觉的避障系统和避障方法
CN112016568A (zh) 一种目标对象的图像特征点的跟踪方法及装置
CN110910457B (zh) 基于角点特征的多光谱立体相机外参计算方法
CN110068308B (zh) 一种基于多目相机的测距方法及测距系统
CN111914790A (zh) 基于双摄像头的不同场景下实时人体转动角度识别方法
CN111915741A (zh) 一种基于三维重建的vr生成器
CN111551920A (zh) 基于目标检测与双目匹配的三维目标实时测量系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200818