[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN108279677A - 基于双目视觉传感器的轨道机器人检测方法 - Google Patents

基于双目视觉传感器的轨道机器人检测方法 Download PDF

Info

Publication number
CN108279677A
CN108279677A CN201810130052.9A CN201810130052A CN108279677A CN 108279677 A CN108279677 A CN 108279677A CN 201810130052 A CN201810130052 A CN 201810130052A CN 108279677 A CN108279677 A CN 108279677A
Authority
CN
China
Prior art keywords
binocular vision
vision sensor
coordinate system
infrared
infrared binocular
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810130052.9A
Other languages
English (en)
Other versions
CN108279677B (zh
Inventor
张文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201810130052.9A priority Critical patent/CN108279677B/zh
Publication of CN108279677A publication Critical patent/CN108279677A/zh
Application granted granted Critical
Publication of CN108279677B publication Critical patent/CN108279677B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0242—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

基于双目视觉传感器的轨道机器人检测方法，本发明涉及轨道机器人检测方法。本发明的目的是为了解决现有隧道道路路程长，封闭性强，构造物多，通讯不便，一旦出现突发事故，将对巡检人员的人身安全造成极大的威胁的问题。基于双目视觉传感器的轨道机器人检测方法过程为：步骤一、将两台红外双目视觉传感器作为轨道机器人红外双目立体视觉系统；步骤二、根据红外双目立体视觉系统建立双目视觉系统的理想成像模型，根据视差和理想成像模型得到数字图像的三维空间位置坐标。本发明用于双目视觉传感器的轨道机器人检测领域。

Description

基于双目视觉传感器的轨道机器人检测方法
技术领域
本发明涉及轨道机器人检测方法。
背景技术
随着社会经济技术的发展，交通发展四通八达，越来越多的交通轨道涉及到了隧道。隧道的搭建是现代化大型城市交通发展的特色和发展方向，地铁，公路都是隧道化交通的实例。巡检是确保地下隧道安全稳定运行的主要手段。目前传统的交通隧道巡检方法主要依靠人工及少量环境监控器实现。但是由于隧道道路路程长，封闭性强，构造物多，通讯不便，一旦出现突发事故，将对巡检人员的人身安全造成极大的威胁。
发明内容
本发明的目的是为了解决现有隧道道路路程长，封闭性强，构造物多，通讯不便，一旦出现突发事故，将对巡检人员的人身安全造成极大的威胁的问题，而提出基于双目视觉传感器的轨道机器人检测方法。
基于双目视觉传感器的轨道机器人检测方法具体过程为：
步骤一、将两台红外双目视觉传感器作为轨道机器人红外双目立体视觉系统，具体过程为：
两台红外双目视觉传感器对隧道内部图像进行采样，得到同一场景下同时在两种不同角度拍摄的视频图像；
采用图像处理法对视频图像中的目标特征进行识别，得到目标特征在两幅图像中的视差；
红外双目视觉传感器焦平面阵列将图像投射到红外双目视觉传感器表面的红外辐射转换成电信号，位于红外双目视觉传感器中的信号调理单元将电信号采样，量化成数字，图像重构形成数字图像；
数字图像以m*n维矩阵的形式储存，数字图像矩阵中的每一个元素为数字图像的一个像素；
红外传感器将三维空间场景中的每一点构建成二维图像，采用数学公式对二维图像进行构建，实现不同坐标系之间的转换，构成红外双目立体视觉系统；
步骤二、根据红外双目立体视觉系统建立双目视觉系统的理想成像模型,根据视差和理想成像模型得到数字图像的三维空间位置坐标。
本发明的有益效果为：
本发明使用机器人代替人类进行隧道巡检，相对于人工巡检而言，隧道机器人具有以下优势：本发明使用机器人可以全天候运行，不会出现疲劳；对恶劣环境的适应性更强；即使在巡检过程中发生危险，也无需担心人身伤害事故，不会对巡检人员的人身安全造成威胁；此外，通常人工巡检方式所能获得的所有信息，机器人皆可以在隧道内检测，通过通信方式反馈给控制站巡检人员获得。因此隧道机器人可以代替人工方式，成为一种有效的隧道施工，检修手段。本发明机器人能够准确的识别在隧道环境下的事故位置，在恶劣环境下进行定位，提高了人工寻找故障点的效率和安全性。并且可以自主对事故点进行处理，预防事故的蔓延。增加隧道监巡检系统的智能性与安全性，本发明采用通过基于双目视觉传感器的轨道机器人检测方法预计在典型应用场景中自主避障错误率低于5％，提高识别精度。
附图说明
图1为本发明双目视觉传感器的指示模型示意图；
图2为本发明红外双目视觉传感器成像模型示意图。
具体实施方式
具体实施方式一：本实施方式的基于双目视觉传感器的轨道机器人检测方法具体过程为：
步骤一、将两台红外双目视觉传感器作为轨道机器人红外双目立体视觉系统，具体过程为：
两台红外双目视觉传感器对隧道内部图像进行采样，得到同一场景下同时在两种不同角度拍摄的视频图像；
采用图像处理法对视频图像中的目标特征进行识别，得到目标特征在两幅图像中的视差；(对比两张针对相同物体不同角度的拍摄图像可以获得视差。不同角度是指双目处于不同角度，分别对相同物体进行拍摄。视差就是两张图片中不同的地方)；
红外双目定位系统作为隧道检测定位机器人的识别系统，能够在隧道内出现异常情况时，及时发现异常情况发生位置，准确定位机器人的操作目标。利用双目立体定位算法准确获得机器人目标位置，将目标位置信息反馈给机器人，再对目标进行准确动作。
红外双目视觉传感器焦平面阵列将图像投射到红外双目视觉传感器表面的红外辐射转换成电信号，位于红外双目视觉传感器中的信号调理单元将电信号采样，量化成数字，图像重构形成数字图像；
红外双目视觉传感器焦平面为焦距点所在的平面，过第一焦点(前焦点或物方焦点)且垂直于系统主光轴的平面称第一焦平面，又称前焦面或物方焦面。
数字图像在计算机中以m*n维矩阵的形式储存，数字图像矩阵中的每一个元素为数字图像的一个像素；m、n为矩阵的维度，取值为正整数；
红外双目视觉传感器将三维空间场景中的每一点构建成二维图像，采用数学公式对二维图像进行构建，实现不同坐标系之间的转换，构成红外双目立体视觉系统；
步骤二、根据红外双目立体视觉系统建立双目视觉系统的理想成像模型,根据视差和理想成像模型得到数字图像的三维空间位置坐标。
具体实施方式二：本实施方式与具体实施方式一不同的是：所述步骤一中红外双目视觉传感器将三维空间场景中的每一点构建成二维图像，采用数学公式对二维图像进行构建，实现不同坐标系之间的转换，构成红外双目立体视觉系统；具体过程为：
1)、像素平面坐标系：
建立像素平面坐标系O-UV；
所述O表示像素平面坐标系原点，U为数字图像中像素点位置所对应的长的分辨率的值，上限等于红外双目视觉传感器分辨率的长；V为数字图像中像素点位置所对应的宽的分辨率的值，上限等于红外双目视觉传感器分辨率的宽；
将数字图像像素在像素平面坐标系中表示为(u,v)；
图中的O-UV是像素平面坐标系；像素平面坐标系是在数字图形处理中十分常见和广泛应用的坐标系。
2)、成像平面坐标系：
成像平面坐标系与像素平面坐标系截然不同，像素平面坐标系中的变化值意味着单个像素在数字化图形中所在的位置。与之不同的是，成像平面坐标系使用的是像素点在成像器件上的长度坐标。成像平面坐标系使用的是二维坐标系，横坐标与纵坐标的取值范围表示成像靶面的大小尺寸。在图1中，o1-xy被称为成像平面坐标系。
建立成像平面坐标系O1-XY；
所述X表示成像平面坐标系x轴，Y表示成像平面坐标系y轴；O1点表示数字图像的主点(摄影中心与像平面的垂线与像平面的交点,称为像主点)，由红外双目视觉传感器的光轴和数字图像平面交叉而成；
将数字图像像素在成像平面坐标系成像靶面(靶面指的是在相机镜头上的平面)中表示为(x,y)；
成像平面坐标系与像素平面坐标系之间的关系式表示如下：
其中，数字图像的主点O1在像素平面坐标系中的焦平面阵列几何中心，表示为(u0,v0)，dx,dy分别表示数字图像像素在成像平面坐标系中的x轴和y轴的位置；
3)、红外双目视觉传感器坐标系：
红外视觉传感器所在的位置设定为原点，用原点来描述投影到视觉传感器成像平面上的空间坐标点；在图1中，oc-XcYcZc是红外视觉传感器所在的坐标系；
建立红外双目视觉传感器坐标系oc-XcYcZc；
所述oc表示红外双目视觉传感器的光心；Xc表示红外双目视觉传感器坐标系的x轴，平行于成像平面坐标系的x轴；Yc表示红外双目视觉传感器坐标系的y轴，平行于成像平面坐标系的y轴；Zc表示红外视觉传感器的光轴主轴；
将图像像素在红外双目视觉传感器坐标系中表示为(xc,yc,zc)；
红外双目视觉传感器坐标系与像素平面坐标系之间的关系式表示如下：
其中，f为红外双目视觉传感器的焦距；λ为两个坐标系之间的倾斜因子，表示红外双目视觉传感器坐标系与像素平面坐标系之间不正交的角度；
4)、世界坐标系：
将数字二维图像和空间三维中的点建立对应的关系；确立视觉传感器在世界坐标系下的位姿与方向。针对视觉传感器建一个世界坐标系，该坐标系以视觉传感器为基础。图1中，
建立世界坐标系ow-XwYwZw；
所述ow为世界坐标系圆心，Xw为世界坐标系的x轴，Yw为世界坐标系的y轴，Zw为世界坐标系的z轴；
将图像像素在世界坐标系中表示为(xw,yw,zw)；
设定世界坐标系ow-XwYwZw为双目视觉系统的理想成像模型所在的坐标系；
红外双目视觉传感器在世界坐标系中的位姿和方向用世界坐标系的旋转矩阵R和平移矩阵t表示；
三维空间中任意一个点Pt在红外双目视觉传感器坐标系中表示为(xc,yc,zc)，在世界坐标系下，则表示成为(xw,yw,zw)；
世界坐标系与红外双目视觉传感器坐标系之间的转换关系式如下：
其中，R表示旋转矩阵，tab表示平移矩阵；
像素平面坐标系与世界坐标系之间的转换关系式如下：
其中K为红外双目视觉传感器的内参矩阵；
红外双目视觉传感器的内参矩阵K包含了传感器的镜头焦距，像素尺寸，主点位置等重要参数；将[R t]定义为红外双目视觉传感器的外参矩阵，外参矩阵是红外双目视觉传感器转换到世界坐标系的转换因子。
其它步骤及参数与具体实施方式一相同。
具体实施方式三：本实施方式与具体实施方式一或二不同的是：所述旋转矩阵R为3*3阶正交旋转矩阵；平移矩阵tab为1*3阶平移矩阵。
其它步骤及参数与具体实施方式一或二相同。
具体实施方式四：本实施方式与具体实施方式一至三之一不同的是：所述步骤二中根据红外双目立体视觉系统建立双目视觉系统的理想成像模型,根据视差和理想成像模型得到数字图像的三维空间位置坐标；具体过程为：
双目视觉原理：
双目视觉识别是一项从数字图像中提取三维空间坐标信息的技术。和生物视觉原理类似，计算机视觉技术通过对比在两个不同的拍摄点对于同一场景所捕获到的信息，研究目标物体在两幅图像中的相对位置，进而提取出目标在三维场景中的位置信息。双目成像模型可以看成是由两个单目成像模型组合而成。
红外双目视觉模型的空间坐标关系如图2所示。
将两个红外双目视觉传感器编号为a和b，在两个红外双目视觉传感器所放置的位置分别建立红外双目视觉传感器坐标系oca-XcaYcaZca和ocb-XcbYcbZcb；在两个红外双目视觉传感器所放置的位置分别建立成像平面坐标系O1a-XaYa和O1b-XbYb；在两个红外双目视觉传感器所放置的位置分别建立像素平面坐标系Oa-UaVa和Ob-UbVb；P和P′是三维空间中的任意两点；
空间点P(xw,yw,zw)(世界坐标系ow-XwYwZw上的点)投影到红外双目视觉传感器a像素平面坐标系中，双目视觉系统的理想成像模型表达式如下：
这个公式求出空间点P(xw,yw,zw)；公式中除xw,yw,zw都为已知；
其中，fa为红外双目视觉传感器a的焦距；(u0a,v0a)为红外双目视觉传感器a的光心；Zac是坐标计算式中的比例因子；ua表示像素点在红外双目视觉传感器a中对应的像素点长，va表示像素点在红外双目视觉传感器a中对应的像素点宽，r1a、r2a、r3a、r4a、r5a、r6a、r7a、r8a、r9a表示在红外双目视觉传感器坐标系oca-XcaYcaZca下的旋转参数，txa表示像素平面坐标系Oa-UaVa的u轴在红外双目视觉传感器坐标系oca-XcaYcaZca下的平移参数，tya表示像素平面坐标系Oa-UaVa的v轴在红外双目视觉传感器坐标系oca-XcaYcaZca下的平移参数，tza表示像素平面坐标系Oa-UaVa的i轴在红外双目视觉传感器坐标系oca-XcaYcaZca下的平移参数，Ma为红外双目视觉传感器a的投影矩阵；像素平面坐标系Ob-UbVb的i轴为垂直于像素平面坐标系Ob-UbVb的轴；
将空间点P(xw,yw,zw)投射到红外双目视觉传感器b像素平面的坐标系中，双目视觉系统的理想成像模型表达式如下：
这个公式求出空间点P(xw,yw,zw)；公式中除xw,yw,zw都为已知；
其中，fb为红外双目视觉传感器b的焦距；(u0b,v0b)为红外双目视觉传感器b的光心，Zbc是坐标计算式中的比例因子；ub表示像素点在红外双目视觉传感器b中对应的像素点长，vb表示像素点在红外双目视觉传感器b中对应的像素点宽，r1b、r2b、r3b、r4b、r5b、r6b、r7b、r8b、r9b表示在红外双目视觉传感器坐标系ocb-XcbYcbZcb下的旋转参数，txb表示像素平面坐标系Ob-UbVb的u轴在红外双目视觉传感器坐标系ocb-XcbYcbZcb下的平移参数，tyb表示像素平面坐标系Ob-UbVb的v轴在红外双目视觉传感器坐标系ocb-XcbYcbZcb下的平移参数，tzb表示像素平面坐标系Ob-UbVb的i轴在红外双目视觉传感器坐标系ocb-XcbYcbZcb下的平移参数，Mb为红外双目视觉传感器b的投影矩阵；
将以上两个公式统称为双目视觉系统的理想成像模型，Ma作为红外双目视觉传感器A的投影矩阵，Mb是红外双目视觉传感器B的投影矩阵。相机内参矩阵与外参矩阵乘积可以得到投影矩阵。假设双目视觉传感器系统内部参数矩阵，有效焦距，光心坐标恒定不变。双目视觉传感器之间的相对位置关系也保持不变。
计算两台红外双目视觉传感器之间的相对位置关系，通过a,b两台红外双目视觉传感器之间的旋转平移矩阵Mab实现两台红外双目视觉传感器之间的转换，旋转平移矩阵Mab包括旋转矩阵和平移矩阵：
Mab＝[Rab tab]
其中，Rab表示a,b两台红外双目视觉传感器之间的旋转矩阵，tab表示A,B两台红外双目视觉传感器之间的平移矩阵；
红外双目视觉传感器a和红外双目视觉传感器b之间的转换关系表达式为：
其中，Xb表示空间点P(xw,yw,zw)在红外双目视觉传感器b坐标系ocb-XcbYcbZcb下的X坐标，Yb表示空间点P(xw,yw,zw)在红外双目视觉传感器b坐标系ocb-XcbYcbZcb下的Y坐标，Zb表示空间点P(xw,yw,zw)在红外双目视觉传感器b坐标系ocb-XcbYcbZcb下的Z坐标，
Xa表示空间点P(xw,yw,zw)在红外双目视觉传感器a坐标系oca-XcaYcaZca下的X坐标，Ya表示空间点P(xw,yw,zw)在红外双目视觉传感器a坐标系oca-XcaYcaZca下的Y坐标，Za表示空间点P(xw,yw,zw)在红外双目视觉传感器a坐标系oca-XcaYcaZca下的Z坐标；
在进行实际的双目视觉测定时，指定红外双目视觉传感器a作为全局坐标系，那么空间点P(xw,yw,zw)投射到红外双目视觉传感器a坐标系中的理想成像模型表示为：
这个公式求出空间点(Xa,Ya,Za)；公式中除Xa、Ya、Za都为已知；
其中，Ka为红外双目视觉传感器a的内部参数矩阵，Xg＝(Xa Ya Za)T为空间点P(xw,yw,zw)在红外双目视觉传感器a坐标系oca-XcaYcaZca下的坐标(Xg为待测量值)；T为转置；
结合a,b矩阵之间的旋转平移矩阵Mab，将空间点P(xw,yw,zw)投射到红外双目视觉传感器b坐标系中的理想成像模型表示为：
这个公式求出空间点(Xa,Ya,Za)；公式中除Xa、Ya、Za都为已知；
其中，Kb表示红外视觉传感器B的内部参数矩阵；
根据视差和四个理想成像模型得到数字图像的三维空间位置坐标Pa和Pb；
Pa＝[ua va 1]T和Pb＝[ub vb 1]T分别是A,B两台红外双目视觉传感器坐标系对应于三维空间同一投影点的像素坐标值。Pa，Pb通过双目立体匹配确定；Zac，Zbc表示两个投影变换比例因子的数值。
完成以上所有参量的确定就可以实现红外双目视觉传感器从数字图像恢复到三维场景信息的目的，本发明所描述的红外双目视觉传感器定位系统基于此方法实现定位。
其它步骤及参数与具体实施方式一至三之一相同。
具体实施方式五：本实施方式与具体实施方式一至四之一不同的是：所述红外双目视觉传感器a的内部参数矩阵Ka为红外双目视觉传感器的焦距和红外双目视觉传感器的光心坐标。
其它步骤及参数与具体实施方式一至四之一相同。
具体实施方式六：本实施方式与具体实施方式一至五之一不同的是：所述红外双目视觉传感器a的内部参数矩阵Ka、红外视觉传感器b的内部参数矩阵Kb和旋转平移矩阵Mab的参数矩阵通过相机标定获得。
其它步骤及参数与具体实施方式一至五之一相同。

Claims (6)

1.基于双目视觉传感器的轨道机器人检测方法，其特征在于：所述方法具体过程为：
步骤一、将两台红外双目视觉传感器作为轨道机器人红外双目立体视觉系统，具体过程为：
两台红外双目视觉传感器对隧道内部图像进行采样，得到同一场景下同时在两种不同角度拍摄的视频图像；采用图像处理法对视频图像中的目标特征进行识别，得到目标特征在两幅图像中的视差；
红外双目视觉传感器焦平面阵列将图像投射到红外双目视觉传感器表面的红外辐射转换成电信号，位于红外双目视觉传感器中的信号调理单元将电信号采样，量化成数字，图像重构形成数字图像；数字图像以m*n维矩阵的形式储存，数字图像矩阵中的每一个元素为数字图像的一个像素；
红外双目视觉传感器将三维空间场景中的每一点构建成二维图像，采用数学公式对二维图像进行构建，实现不同坐标系之间的转换，构成红外双目立体视觉系统；
步骤二、根据红外双目立体视觉系统建立双目视觉系统的理想成像模型，根据视差和理想成像模型得到数字图像的三维空间位置坐标。
2.根据权利要求1所述基于双目视觉传感器的轨道机器人检测方法，其特征在于：所述步骤一中红外双目视觉传感器将三维空间场景中的每一点构建成二维图像，采用数学公式对二维图像进行构建，实现不同坐标系之间的转换，构成红外双目立体视觉系统；具体过程为：
1)、建立像素平面坐标系O-UV；
所述O表示像素平面坐标系原点，U为数字图像中像素点位置所对应的长的分辨率的值，上限等于红外双目视觉传感器分辨率的长；V为数字图像中像素点位置所对应的宽的分辨率的值，上限等于红外双目视觉传感器分辨率的宽；
将数字图像像素在像素平面坐标系中表示为(u,v)；
2)、建立成像平面坐标系O1-XY；
所述X表示成像平面坐标系x轴，Y表示成像平面坐标系y轴；O1点表示数字图像的主点，由红外双目视觉传感器的光轴和数字图像平面交叉而成；
将数字图像像素在成像平面坐标系中表示为(x,y)；
成像平面坐标系与像素平面坐标系之间的关系式表示如下：
其中，数字图像的主点O1在像素平面坐标系中的焦平面阵列几何中心，表示为(u0,v0)，dx,dy分别表示数字图像像素在成像平面坐标系中的x轴和y轴的位置；
3)、建立红外双目视觉传感器坐标系oc-XcYcZc；
所述oc表示红外双目视觉传感器的光心；Xc表示红外双目视觉传感器坐标系的x轴，平行于成像平面坐标系的x轴；Yc表示红外双目视觉传感器坐标系的y轴，平行于成像平面坐标系的y轴；Zc表示红外视觉传感器的光轴主轴；
将图像像素在红外双目视觉传感器坐标系中表示为(xc,yc,zc)；
红外双目视觉传感器坐标系与像素平面坐标系之间的关系式表示如下：
其中，f为红外双目视觉传感器的焦距；λ为两个坐标系之间的倾斜因子，表示红外双目视觉传感器坐标系与像素平面坐标系之间不正交的角度；
4)、建立世界坐标系ow-XwYwZw；
所述ow为世界坐标系圆心，Xw为世界坐标系的x轴，Yw为世界坐标系的y轴，Zw为世界坐标系的z轴；
将图像像素在世界坐标系中表示为(xw,yw,zw)；
设定世界坐标系ow-XwYwZw为双目视觉系统的理想成像模型所在的坐标系；
世界坐标系与红外双目视觉传感器坐标系之间的转换关系式如下：
其中，R表示旋转矩阵，tab表示平移矩阵；
像素平面坐标系与世界坐标系之间的转换关系式如下：
其中K为红外双目视觉传感器的内参矩阵。
3.根据权利要求2所述基于双目视觉传感器的轨道机器人检测方法，其特征在于：所述旋转矩阵R为3*3阶正交旋转矩阵；平移矩阵tab为1*3阶平移矩阵。
4.根据权利要求3所述基于双目视觉传感器的轨道机器人检测方法，其特征在于：所述步骤二中根据红外双目立体视觉系统建立双目视觉系统的理想成像模型，根据视差和理想成像模型得到数字图像的三维空间位置坐标；具体过程为：
将两个红外双目视觉传感器编号为a和b，在两个红外双目视觉传感器所放置的位置分别建立红外双目视觉传感器坐标系oca-XcaYcaZca和ocb-XcbYcbZcb；在两个红外双目视觉传感器所放置的位置分别建立成像平面坐标系O1a-XaYa和O1b-XbYb；在两个红外双目视觉传感器所放置的位置分别建立像素平面坐标系Oa-UaVa和Ob-UbVb；P和P′是三维空间中的任意两点；
空间点P(xw,yw,zw)投影到红外双目视觉传感器a像素平面坐标系中，双目视觉系统的理想成像模型表达式如下：
其中，fa为红外双目视觉传感器a的焦距；(u0a,v0a)为红外双目视觉传感器a的光心；Zac是坐标计算式中的比例因子；ua表示像素点在红外双目视觉传感器a中对应的像素点长，va表示像素点在红外双目视觉传感器a中对应的像素点宽，r1a、r2a、r3a、r4a、r5a、r6a、r7a、r8a、r9a表示在红外双目视觉传感器坐标系oca-XcaYcaZca下的旋转参数，txa表示像素平面坐标系Oa-UaVa的u轴在红外双目视觉传感器坐标系oca-XcaYcaZca下的平移参数，tya表示像素平面坐标系Oa-UaVa的v轴在红外双目视觉传感器坐标系oca-XcaYcaZca下的平移参数，tza表示像素平面坐标系Oa-UaVa的i轴在红外双目视觉传感器坐标系oca-XcaYcaZca下的平移参数，Ma为红外双目视觉传感器a的投影矩阵；
将空间点P(xw,yw,zw)投射到红外双目视觉传感器b像素平面的坐标系中，双目视觉系统的理想成像模型表达式如下：
其中，fb为红外双目视觉传感器b的焦距；(u0b,v0b)为红外双目视觉传感器b的光心，Zbc是坐标计算式中的比例因子；ub表示像素点在红外双目视觉传感器b中对应的像素点长，vb表示像素点在红外双目视觉传感器b中对应的像素点宽，r1b、r2b、r3b、r4b、r5b、r6b、r7b、r8b、r9b表示在红外双目视觉传感器坐标系ocb-XcbYcbZcb下的旋转参数，txb表示像素平面坐标系Ob-UbVb的u轴在红外双目视觉传感器坐标系ocb-XcbYcbZcb下的平移参数，tyb表示像素平面坐标系Ob-UbVb的v轴在红外双目视觉传感器坐标系ocb-XcbYcbZcb下的平移参数，tzb表示像素平面坐标系Ob-UbVb的i轴在红外双目视觉传感器坐标系ocb-XcbYcbZcb下的平移参数，Mb为红外双目视觉传感器b的投影矩阵；像素平面坐标系Ob-UbVb的i轴为垂直于像素平面坐标系Ob-UbVb的轴；
计算两台红外双目视觉传感器之间的相对位置关系，通过a,b两台红外双目视觉传感器之间的旋转平移矩阵Mab实现两台红外双目视觉传感器之间的转换，旋转平移矩阵Mab包括旋转矩阵和平移矩阵：
Mab＝[Rab tab]
其中，Rab表示a,b两台红外双目视觉传感器之间的旋转矩阵，tab表示A,B两台红外双目视觉传感器之间的平移矩阵；
红外双目视觉传感器a和红外双目视觉传感器b之间的转换关系表达式为：
其中，Xb表示空间点P(xw,yw,zw)在红外双目视觉传感器b坐标系ocb-XcbYcbZcb下的X坐标，Yb表示空间点P(xw,yw,zw)在红外双目视觉传感器b坐标系ocb-XcbYcbZcb下的Y坐标，Zb表示空间点P(xw,yw,zw)在红外双目视觉传感器b坐标系ocb-XcbYcbZcb下的Z坐标，
Xa表示空间点P(xw,yw,zw)在红外双目视觉传感器a坐标系oca-XcaYcaZca下的X坐标，Ya表示空间点P(xw,yw,zw)在红外双目视觉传感器a坐标系oca-XcaYcaZca下的Y坐标，Za表示空间点P(xw,yw,zw)在红外双目视觉传感器a坐标系oca-XcaYcaZca下的Z坐标；
指定红外双目视觉传感器a作为全局坐标系，那么空间点P(xw,yw,zw)投射到红外双目视觉传感器a坐标系中的理想成像模型表示为：
其中，Ka为红外双目视觉传感器a的内部参数矩阵，Xg＝(Xa Ya Za)T为空间点P(xw,yw,zw)在红外双目视觉传感器a坐标系oca-XcaYcaZca下的坐标；T为转置；
结合旋转平移矩阵Mab，将空间点P(xw,yw,zw)投射到红外双目视觉传感器b坐标系中的理想成像模型表示为：
其中，Kb表示红外视觉传感器b的内部参数矩阵；
根据视差和四个理想成像模型得到数字图像的三维空间位置坐标Pa和Pb；
Pa＝[ua va 1]T和Pb＝[ub vb 1]T分别是A,B两台红外双目视觉传感器坐标系对应于三维空间同一投影点的像素坐标值。
5.根据权利要求4所述基于双目视觉传感器的轨道机器人检测方法，其特征在于：所述红外双目视觉传感器a的内部参数矩阵Ka为红外双目视觉传感器的焦距和红外双目视觉传感器的光心坐标。
6.根据权利要求5所述基于双目视觉传感器的轨道机器人检测方法，其特征在于：所述红外双目视觉传感器a的内部参数矩阵Ka、红外视觉传感器b的内部参数矩阵Kb和旋转平移矩阵Mab的参数矩阵通过相机标定获得。
CN201810130052.9A 2018-02-08 2018-02-08 基于双目视觉传感器的轨道机器人检测方法 Active CN108279677B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810130052.9A CN108279677B (zh) 2018-02-08 2018-02-08 基于双目视觉传感器的轨道机器人检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810130052.9A CN108279677B (zh) 2018-02-08 2018-02-08 基于双目视觉传感器的轨道机器人检测方法

Publications (2)

Publication Number Publication Date
CN108279677A true CN108279677A (zh) 2018-07-13
CN108279677B CN108279677B (zh) 2022-05-17

Family

ID=62808151

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810130052.9A Active CN108279677B (zh) 2018-02-08 2018-02-08 基于双目视觉传感器的轨道机器人检测方法

Country Status (1)

Country Link
CN (1) CN108279677B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109344882A (zh) * 2018-09-12 2019-02-15 浙江科技学院 基于卷积神经网络的机器人控制目标位姿识别方法
CN110672212A (zh) * 2019-09-19 2020-01-10 珠海格力电器股份有限公司 一种空间三维温度场检测方法、计算机可读存储介质及智能家电
CN110820447A (zh) * 2019-11-22 2020-02-21 武汉纵横天地空间信息技术有限公司 一种基于双目视觉的轨道几何状态测量系统及其测量方法
CN110989664A (zh) * 2019-11-29 2020-04-10 北京特种机械研究所 一种基于多目视觉的无人机夜间植保方法
CN113762544A (zh) * 2021-08-26 2021-12-07 深圳证券通信有限公司 基于计算机视觉的智能化机房设备位置巡检和管理方法
CN115880687A (zh) * 2023-02-09 2023-03-31 北京东方瑞丰航空技术有限公司 目标物体的红外特征自动生成方法、装置、设备和介质
US12031922B2 (en) * 2019-10-09 2024-07-09 Shandong University Multi-arm robot used for tunnel lining inspection and defect diagnosis in operation period

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103400392A (zh) * 2013-08-19 2013-11-20 山东鲁能智能技术有限公司 基于变电站巡检机器人的双目视觉导航系统及方法
CN103926927A (zh) * 2014-05-05 2014-07-16 重庆大学 一种室内移动机器人双目视觉定位与三维建图方法
CN104122891A (zh) * 2013-04-24 2014-10-29 山东轻工业学院 一种城市地下轨道检测的智能机器人巡检系统
CN106610666A (zh) * 2015-10-22 2017-05-03 沈阳新松机器人自动化股份有限公司 一种基于双目视觉的助理机器人及其控制方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104122891A (zh) * 2013-04-24 2014-10-29 山东轻工业学院 一种城市地下轨道检测的智能机器人巡检系统
CN103400392A (zh) * 2013-08-19 2013-11-20 山东鲁能智能技术有限公司 基于变电站巡检机器人的双目视觉导航系统及方法
CN103926927A (zh) * 2014-05-05 2014-07-16 重庆大学 一种室内移动机器人双目视觉定位与三维建图方法
CN106610666A (zh) * 2015-10-22 2017-05-03 沈阳新松机器人自动化股份有限公司 一种基于双目视觉的助理机器人及其控制方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
刘建坡: "《双目立体视觉测距系统的研究》", 《万方学位论文》 *
王莹: "《双目立体视觉图像匹配与目标定位方法研究》", 《万方学位论文》 *
白爽: "《基于双目视差的测距系统研究与实现》", 《万方学位论文》 *
马林: "《基于双目视觉的图像三维重建》", 《万方学位论文》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109344882A (zh) * 2018-09-12 2019-02-15 浙江科技学院 基于卷积神经网络的机器人控制目标位姿识别方法
CN109344882B (zh) * 2018-09-12 2021-05-25 浙江科技学院 基于卷积神经网络的机器人控制目标位姿识别方法
CN110672212A (zh) * 2019-09-19 2020-01-10 珠海格力电器股份有限公司 一种空间三维温度场检测方法、计算机可读存储介质及智能家电
US12031922B2 (en) * 2019-10-09 2024-07-09 Shandong University Multi-arm robot used for tunnel lining inspection and defect diagnosis in operation period
CN110820447A (zh) * 2019-11-22 2020-02-21 武汉纵横天地空间信息技术有限公司 一种基于双目视觉的轨道几何状态测量系统及其测量方法
CN110989664A (zh) * 2019-11-29 2020-04-10 北京特种机械研究所 一种基于多目视觉的无人机夜间植保方法
CN113762544A (zh) * 2021-08-26 2021-12-07 深圳证券通信有限公司 基于计算机视觉的智能化机房设备位置巡检和管理方法
CN115880687A (zh) * 2023-02-09 2023-03-31 北京东方瑞丰航空技术有限公司 目标物体的红外特征自动生成方法、装置、设备和介质

Also Published As

Publication number Publication date
CN108279677B (zh) 2022-05-17

Similar Documents

Publication Publication Date Title
CN108279677A (zh) 基于双目视觉传感器的轨道机器人检测方法
CN110296691B (zh) 融合imu标定的双目立体视觉测量方法与系统
CN108828606B (zh) 一种基于激光雷达和双目可见光相机联合测量方法
CN109741405B (zh) 一种基于对偶结构光rgb-d相机的深度信息采集系统
CN105627926B (zh) 四像机组平面阵列特征点三维测量系统及测量方法
CN104330074B (zh) 一种智能测绘平台及其实现方法
CN110044300A (zh) 基于激光器的两栖三维视觉探测装置及探测方法
CN110307790A (zh) 应用于边坡安全监测的摄像机检测装置及方法
CN104835158B (zh) 基于格雷码结构光与极线约束的三维点云获取方法
CN105469389B (zh) 一种用于视觉传感器标定的网格球靶标及相应标定方法
CN104539928B (zh) 一种光栅立体印刷图像合成方法
CN104036542B (zh) 一种基于空间光线聚集性的像面特征点匹配方法
CN109579695B (zh) 一种基于异构立体视觉的零件测量方法
CN109859272A (zh) 一种自动对焦双目摄像头标定方法及装置
CN110044374A (zh) 一种基于图像特征的单目视觉测量里程的方法及里程计
CN102692214A (zh) 一种狭窄空间双目视觉测量定位装置及方法
CN110782498B (zh) 一种视觉传感网络的快速通用标定方法
CN109325981A (zh) 基于聚焦像点的微透镜阵列型光场相机几何参数标定方法
CN1897715A (zh) 立体视觉半实物仿真系统及方法
CN101354796B (zh) 基于泰勒级数模型的全向立体视觉三维重建方法
CN109373912A (zh) 一种基于双目视觉的非接触式六自由度位移测量方法
CN108010125A (zh) 基于线结构光和图像信息的真实尺度三维重建系统及方法
CN108362205A (zh) 基于条纹投影的空间测距方法
CN114119768A (zh) 一种基于多目视觉技术的刺参活性监测方法
Terpstra et al. Accuracies in Single Image Camera Matching Photogrammetry

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant