[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN111310651A - 一种基于偏振相机和rgb-d传感器的水面检测方法 - Google Patents

一种基于偏振相机和rgb-d传感器的水面检测方法 Download PDF

Info

Publication number
CN111310651A
CN111310651A CN202010090315.5A CN202010090315A CN111310651A CN 111310651 A CN111310651 A CN 111310651A CN 202010090315 A CN202010090315 A CN 202010090315A CN 111310651 A CN111310651 A CN 111310651A
Authority
CN
China
Prior art keywords
pixel
polarization
rgb
sensor
polarization camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010090315.5A
Other languages
English (en)
Other versions
CN111310651B (zh
Inventor
孙东明
李华兵
杨恺伦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Lingxiang Technology Co ltd
Original Assignee
Hangzhou Lingxiang Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Lingxiang Technology Co ltd filed Critical Hangzhou Lingxiang Technology Co ltd
Priority to CN202010090315.5A priority Critical patent/CN111310651B/zh
Publication of CN111310651A publication Critical patent/CN111310651A/zh
Application granted granted Critical
Publication of CN111310651B publication Critical patent/CN111310651B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30—Assessment of water resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于偏振相机和RGB‑D传感器的水面检测方法。该方法利用偏振相机采集偏振度图，RGB‑D传感器采集彩色图和深度图，融合偏振度图、彩色图、深度图的检测信息从而输出水面检测结果。将偏振相机、RGB‑D传感器和移动处理器连接，即可进行实时水面检测。本发明方法误检率低、漏检率低、实时性好、跨平台性好。可以很好地满足自动驾驶领域对水面区域检出的要求。

Description

一种基于偏振相机和RGB-D传感器的水面检测方法
技术领域
本发明属于图像处理技术、信号处理技术、计算机视觉技术领域，涉及一种基于偏振相机和RGB-D传感器的水面检测方法。
背景技术
在自动驾驶领域，水面是潜在的危险区域，当车辆高速运动时，水面会造成车辆的打滑；当轧过积水坑时，快速通过会溅起积水影响行人。因此，如何快速准确地检出水面对于自动驾驶有重要意义。
目前，水面检测的解决方案尚在少数，且现有方案多依赖于激光扫描，存在实时性较低、装置复杂的缺陷；深度学习在图像识别中的成功应用为水面检测带来了新思路，但目前针对水面进行标注的数据集存在规模小、标注精度低的特点，难以应用在深度神经网络的训练中。因此，提出一种通用性强、检测准确率高、所需硬件简单的水面检测方法是十分有应用价值的。
发明内容
本发明的目的在于针对现有技术的不足，提供一种基于偏振相机和RGB-D传感器的水面检测方法。
本发明的目的是通过以下技术方案实现的：一种基于偏振相机和RGB-D传感器的水面检测方法，包括以下步骤：
(1)对偏振相机和RGB-D传感器进行标定，得到偏振相机的内参矩阵Ip、RGB-D传感器的内参矩阵Id、RGB-D传感器相对于偏振相机的旋转矩阵R和平移向量T；
(2)使用偏振相机采集一帧偏振度图P，计算偏振度图P中每个像素(i,j)的偏振度DOP(i,j)。设定阈值σ。创建一个空集A，遍历P中的像素，若DOP(i,j)≥σ，则将像素坐标(i,j)加入到集合A中；
(3)使用RGB-D传感器同时采集一帧彩色图C和一帧深度图D，将彩色图C和深度图D的坐标系对齐。用D(i,j)表示深度图D中像素坐标(i,j)处的深度；
(4)使用一个已经训练好的语义分割网络，将彩色图C作为输入，得到它的语义分割结果S，用S(i,j)表示S中像素坐标(i,j)对应的物体类别。创建一个空集B，遍历S中的像素，若S(i,j)为地面，则将像素坐标(i,j)加入到集合B中；
(5)遍历集合B中的元素，利用坐标变换关系将它变换到偏振相机所在的像素平面，具体为：设其中任意一个元素为Bk＝(i,j)，使用Bk对应的深度值D(i,j)和RGB-D传感器内参Id，将像素(i,j)投影到RGB-D传感器坐标系得到其三维坐标p；使用旋转矩阵R和平移向量T，将p投影到偏振相机坐标系得到变换后的坐标p′；使用偏振相机内参矩阵Ip将p′投影到偏振相机像素平面，得到其像素坐标(u,v)。搜索集合A中是否包含元素(u,v)：若含有，则在集合B中保留元素Bk，将它视作水面的一个像素；若不含，则从集合B中剔除元素Bk。遍历结束后的集合B即为检测到的水面所包含的像素坐标。
进一步地，所述步骤(1)中，阈值σ的取值范围为[0,1]。
进一步地，所述步骤(2)中，偏振度DOP(i,j)通过如下方法计算获得：偏振相机的每个像素(i,j)包含90°,45°,0°,135°四个方向的偏振测量单元，它们分别测得对应偏振方向上的光强I90,I45,I0,I135，进而得到斯托克斯矢量的前三个分量：
Figure BDA0002383491010000021
S1＝I0-I90,S2＝I45-I135，最后计算每个像素(i,j)的偏振度
Figure BDA0002383491010000022
进一步地，所述步骤(4)中，训练好的语义分割网络通过如下方法训练获得：使用Cityscapes数据集对语义分割网络ERF-PSPNet进行训练，其中，损失函数为：
Figure BDA0002383491010000023
Figure BDA0002383491010000024
(i,j)是像素坐标；M是数据集中类别的总数；
Figure BDA0002383491010000025
是像素(i,j)对应的数据标签，若像素(i,j)的实际类别为c，则
Figure BDA0002383491010000026
否则
Figure BDA0002383491010000027
Figure BDA0002383491010000028
是网络输出的像素(i,j)为类别c的概率值。
进一步地，从RGB-D传感器像素平面变换到偏振相机像素平面，通过以下公式实现：
Figure BDA0002383491010000029
其中
Figure BDA00023834910100000210
是一个归一化函数，
Figure BDA00023834910100000211
代表一个长度为3的列向量。
本方法相比以往的水面检测方法的优势主要在于：
1、实时性好。本方法可使用移动处理器进行实时水面检测。
2、容易搭建。本方法所依赖传感器只有一个偏振相机和一个RGB-D传感器，容易获取和搭建。
3、检测精度高。与基于激光扫描的水面检测方案相比，本方法由于采用了偏振相机，鲁棒性更强，检测精度更高。
附图说明
图1为水面检测方法流程图。
图2为水面检测的实施效果。其中，(a)为RGB-D相机采集的一帧彩色图；(b)为RGB-D相机采集的一帧深度图；(c)为彩色图的语义分割结果，其中地面部分由1标出；(e)为偏振相机采集的一帧偏振度图；(d)为融合了(b)、(c)和(e)的水面检测结果，其中的水面部分由2所示的白色区域标出。
具体实施方式
本发明提供了一种基于偏振相机和RGB-D传感器的水面检测方法，其流程如图1所示，具体的包括以下步骤：
(1)固定偏振相机和RGB-D传感器的相对位置，用它们对棋盘格拍摄二十组不同角度的图片，输入MATLAB双目标定工具箱进行标定，得到偏振相机的内参矩阵Ip、RGB-D传感器的内参矩阵Id、RGB-D传感器相对于偏振相机的旋转矩阵R和平移向量T；
(2)使用偏振相机采集一帧偏振度图P，如图2e所示，计算偏振度图P中每个像素(i,j)的偏振度DOP(i,j)。设定阈值，创建一个空集A，遍历P中的像素，若DOP(i,j)≥σ，则将像素坐标(i,j)加入到集合A中；上述的阈值在[0,1]均可，本实施例设定σ＝0.6。
(3)使用RGB-D传感器同时采集一帧彩色图C(图2a)和一帧深度图D(图2b)，将C和D的坐标系对齐。用D(i,j)表示D中像素坐标(i,j)处的深度；
(4)使用一个已经训练好的语义分割网络，将C作为输入，得到C的语义分割结果S，用S(i,j)表示S中像素坐标(i,j)对应的物体类别。创建一个空集B，遍历S中的像素，若S(i,j)为地面，则将像素坐标(i,j)加入到集合B中；其中，语义分割网络可以采用U-Net、BiSeNet、RefineNet等，本实施例中，采用轻量语义分割网络ERF-PSPNet，(具体结构可参见论文：Yang,Kailun；Wang,Kaiwei；Bergasa,Luis M.；Romera,Eduardo；Hu,Weijian；Sun,Dongming；Sun,Junwei；Cheng,Ruiqi；Chen,Tianxue；López,Elena.2018."UnifyingTerrain Awareness for the Visually Impaired through Real-Time SemanticSegmentation."Sensors 18,no.5:1506.)，使用Cityscapes数据集进行训练。训练采用的损失函数为：
Figure BDA0002383491010000031
(i,j)是像素坐标；M是数据集中类别的总数；
Figure BDA0002383491010000032
是像素(i,j)对应的数据标签，若像素(i,j)的实际类别为c，则
Figure BDA0002383491010000033
否则
Figure BDA0002383491010000034
Figure BDA0002383491010000035
是网络输出的像素(i,j)为类别c的概率值。通过ERF-PSPNet得到的语义分割结果如图2c所示，其中1为地面部分，经过遍历后，组成集合B。
(5)遍历集合B中的元素，设其中任意一个元素为Bk＝(i,j)，利用公式
Figure BDA0002383491010000036
Figure BDA0002383491010000037
得到(i,j)在偏振相机像素平面上对应的坐标(u,v)。搜索集合A中是否包含元素(u,v)：若含有，则在集合B中保留元素Bk，将它视作水面的一个像素；若不含，则从集合B中剔除元素Bk。遍历结束后的集合B即为检测到的水面所包含的像素坐标。其结果如图2d所示，其中，2即为检测到的水面。该结果融合了RGB-D相机和偏振相机的检测结果，其鲁棒性更强，检测精度更高。
将偏振相机、RGB-D传感器与一移动处理器连接，小型处理器通过本方法处理偏振相机采集的偏振度图和RGB-D传感器采集的彩色图和深度图即可进行实时水面检测，具有较大的应用前景。

Claims (5)

1.一种基于偏振相机和RGB-D传感器的水面检测方法，其特征在于，包括以下步骤：
(1)对偏振相机和RGB-D传感器进行标定，得到偏振相机的内参矩阵Ip、RGB-D传感器的内参矩阵Id、RGB-D传感器相对于偏振相机的旋转矩阵R和平移向量T；
(2)使用偏振相机采集一帧偏振度图P，计算偏振度图P中每个像素(i,j)的偏振度DOP(i,j)。设定阈值σ。创建一个空集A，遍历P中的像素，若DOP(i,j)≥σ，则将像素坐标(i,j)加入到集合A中；
(3)使用RGB-D传感器同时采集一帧彩色图C和一帧深度图D，将彩色图C和深度图D的坐标系对齐。用D(i,j)表示深度图D中像素坐标(i,j)处的深度；
(4)使用一个已经训练好的语义分割网络，将彩色图C作为输入，得到它的语义分割结果S，用S(i,j)表示S中像素坐标(i,j)对应的物体类别。创建一个空集B，遍历S中的像素，若S(i,j)为地面，则将像素坐标(i,j)加入到集合B中；
(5)遍历集合B中的元素，利用坐标变换关系将它变换到偏振相机所在的像素平面，具体为：设其中任意一个元素为Bk＝(i,j)，使用Bk对应的深度值D(i,j)和RGB-D传感器内参Id，将像素(i,j)投影到RGB-D传感器坐标系得到其三维坐标p；使用旋转矩阵R和平移向量T，将p投影到偏振相机坐标系得到变换后的坐标p′；使用偏振相机内参矩阵Ip将p′投影到偏振相机像素平面，得到其像素坐标(u,v)。搜索集合A中是否包含元素(u,v)：若含有，则在集合B中保留元素Bk，将它视作水面的一个像素；若不含，则从集合B中剔除元素Bk。遍历结束后的集合B即为检测到的水面所包含的像素坐标。
2.根据权利要求1所述的方法，其特征在于，所述步骤(1)中，阈值σ的取值范围为[0,1]。
3.根据权利要求1所述的方法，其特征在于，所述步骤(2)中，偏振度DOP(i,j)通过如下方法计算获得：
偏振相机的每个像素(i,j)包含90°,45°,0°,135°四个方向的偏振测量单元，它们分别测得对应偏振方向上的光强I90,I45,I0,I135，进而得到斯托克斯矢量的前三个分量：
Figure FDA0002383489000000011
Figure FDA0002383489000000012
S1＝I0-I90,S2＝I45-I135，最后计算每个像素(i,j)的偏振度
Figure FDA0002383489000000013
4.根据权利要求1所述的方法，其特征在于，所述步骤(4)中，训练好的语义分割网络通过如下方法训练获得：使用Cityscapes数据集对语义分割网络ERF-PSPNet进行训练，其中，损失函数为：
Figure FDA0002383489000000014
(i,j)是像素坐标；M是数据集中类别的总数；
Figure FDA0002383489000000015
是像素(i,j)对应的数据标签，若像素(i,j)的实际类别为c，则
Figure FDA0002383489000000016
否则
Figure FDA0002383489000000017
Figure FDA0002383489000000018
是网络输出的像素(i,j)为类别c的概率值。
5.根据权利要求1所述的方法，其特征在于，所述步骤(5)中，从RGB-D传感器像素平面变换到偏振相机像素平面，通过以下公式实现：
Figure FDA0002383489000000021
其中
Figure FDA0002383489000000022
是一个归一化函数，
Figure FDA0002383489000000023
代表一个长度为3的列向量。
CN202010090315.5A 2020-02-13 2020-02-13 一种基于偏振相机和rgb-d传感器的水面检测方法 Active CN111310651B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010090315.5A CN111310651B (zh) 2020-02-13 2020-02-13 一种基于偏振相机和rgb-d传感器的水面检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010090315.5A CN111310651B (zh) 2020-02-13 2020-02-13 一种基于偏振相机和rgb-d传感器的水面检测方法

Publications (2)

Publication Number Publication Date
CN111310651A true CN111310651A (zh) 2020-06-19
CN111310651B CN111310651B (zh) 2023-05-02

Family

ID=71161672

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010090315.5A Active CN111310651B (zh) 2020-02-13 2020-02-13 一种基于偏振相机和rgb-d传感器的水面检测方法

Country Status (1)

Country Link
CN (1) CN111310651B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112750098A (zh) * 2021-04-06 2021-05-04 杭州蓝芯科技有限公司 深度图优化方法及装置、系统、电子设备、存储介质
CN113705375A (zh) * 2021-08-10 2021-11-26 武汉理工大学 一种船舶航行环境视觉感知设备及方法
CN118135389A (zh) * 2024-05-06 2024-06-04 浙江大学 一种基于有效感受野调控的水下声学目标识别方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101033961A (zh) * 2007-02-06 2007-09-12 浙江大学 基于偏振信息检测野外水体障碍物的方法
JP2009199154A (ja) * 2008-02-19 2009-09-03 Ihi Corp 水溜まり検出装置、無人走行車両及び水溜まり検出方法
DE102010020537A1 (de) * 2010-05-14 2011-11-17 H&S Robotic Solutions GbR (vertretungsberechtigter Gesellschafter: Bernd-Helge Schäfer, 67661 Kaiserslautern) Wasserdetektor
CN106682631A (zh) * 2016-12-30 2017-05-17 广东华中科技大学工业技术研究院 一种基于偏振特性的水面目标检测方法
CN107610152A (zh) * 2017-08-31 2018-01-19 杭州视氪科技有限公司 一种用于躲避水面与障碍物的通路检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101033961A (zh) * 2007-02-06 2007-09-12 浙江大学 基于偏振信息检测野外水体障碍物的方法
JP2009199154A (ja) * 2008-02-19 2009-09-03 Ihi Corp 水溜まり検出装置、無人走行車両及び水溜まり検出方法
DE102010020537A1 (de) * 2010-05-14 2011-11-17 H&S Robotic Solutions GbR (vertretungsberechtigter Gesellschafter: Bernd-Helge Schäfer, 67661 Kaiserslautern) Wasserdetektor
CN106682631A (zh) * 2016-12-30 2017-05-17 广东华中科技大学工业技术研究院 一种基于偏振特性的水面目标检测方法
CN107610152A (zh) * 2017-08-31 2018-01-19 杭州视氪科技有限公司 一种用于躲避水面与障碍物的通路检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BIN XIE; HUADONG PAN; ZHIYU XIANG; JILIN LIU: "Polarization-Based Water Hazards Detection for Autonomous Off-road Navigation" *
邵海燕: "复杂野外环境下水障碍识别技术综述" *
陈添丁;王娃;朱敬意;周正寅;: "基于图像偏振特性的野外环境积水区域检测" *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112750098A (zh) * 2021-04-06 2021-05-04 杭州蓝芯科技有限公司 深度图优化方法及装置、系统、电子设备、存储介质
CN112750098B (zh) * 2021-04-06 2021-07-06 杭州蓝芯科技有限公司 深度图优化方法及装置、系统、电子设备、存储介质
CN113705375A (zh) * 2021-08-10 2021-11-26 武汉理工大学 一种船舶航行环境视觉感知设备及方法
CN118135389A (zh) * 2024-05-06 2024-06-04 浙江大学 一种基于有效感受野调控的水下声学目标识别方法
CN118135389B (zh) * 2024-05-06 2024-09-24 浙江大学 一种基于有效感受野调控的水下声学目标识别方法

Also Published As

Publication number Publication date
CN111310651B (zh) 2023-05-02

Similar Documents

Publication Publication Date Title
CN102999759B (zh) 一种基于光流的车辆运动状态估计方法
CN106919915B (zh) 基于adas系统的地图道路标记及道路质量采集装置及方法
CN107341453B (zh) 一种车道线提取方法及装置
CN108596058A (zh) 基于计算机视觉的行车障碍物测距方法
US10909395B2 (en) Object detection apparatus
CN111340797A (zh) 一种激光雷达与双目相机数据融合检测方法及系统
CN110031829B (zh) 一种基于单目视觉的目标精准测距方法
CN110008893B (zh) 一种基于车载图像传感器的车辆行驶跑偏自动检测方法
CN110647850A (zh) 一种基于逆透视原理的车道偏移自动测量方法
CN106289159B (zh) 基于测距补偿的车辆测距方法及装置
CN105043350A (zh) 一种双目视觉测量方法
CN111310651A (zh) 一种基于偏振相机和rgb-d传感器的水面检测方法
CN102176243A (zh) 一种基于可见光和红外摄像机的目标测距方法
CN103686083B (zh) 一种基于车载传感器视频流匹配的实时测速方法
CN108645375B (zh) 一种用于车载双目系统快速车辆测距优化方法
WO2023155483A1 (zh) 一种车型识别方法、装置和系统
CN112598743B (zh) 一种单目视觉图像的位姿估算方法及相关装置
CN114964236B (zh) 一种针对地下停车场环境的建图与车辆定位系统及方法
CN113781562A (zh) 一种基于道路模型的车道线虚实配准和自车定位方法
CN116978009A (zh) 基于4d毫米波雷达的动态物体滤除方法
CN112683228A (zh) 单目相机测距方法及装置
CN117111085A (zh) 一种自动驾驶汽车车路云融合感知方法
EP2926317B1 (en) System and method for detecting pedestrians using a single normal camera
JPH09297849A (ja) 車両検出装置
CN117333406A (zh) 一种煤矿井下多源传感器数据动态加权融合slam方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant