[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN111552289B - 检测方法及虚拟雷达装置、电子设备、存储介质 - Google Patents

检测方法及虚拟雷达装置、电子设备、存储介质 Download PDF

Info

Publication number
CN111552289B
CN111552289B CN202010352986.4A CN202010352986A CN111552289B CN 111552289 B CN111552289 B CN 111552289B CN 202010352986 A CN202010352986 A CN 202010352986A CN 111552289 B CN111552289 B CN 111552289B
Authority
CN
China
Prior art keywords
coordinate system
coordinate
area
point
travelable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010352986.4A
Other languages
English (en)
Other versions
CN111552289A (zh
Inventor
侯林杰
沈孝通
秦宝星
程昊天
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Gaussian Automation Technology Development Co Ltd
Suzhou Gaozhixian Automation Technology Co Ltd
Original Assignee
Shanghai Gaussian Automation Technology Development Co Ltd
Suzhou Gaozhixian Automation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Gaussian Automation Technology Development Co Ltd, Suzhou Gaozhixian Automation Technology Co Ltd filed Critical Shanghai Gaussian Automation Technology Development Co Ltd
Priority to CN202010352986.4A priority Critical patent/CN111552289B/zh
Publication of CN111552289A publication Critical patent/CN111552289A/zh
Application granted granted Critical
Publication of CN111552289B publication Critical patent/CN111552289B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60—Intended control result
    • G05D1/617—Safety or protection, e.g. defining protection zones around obstacles or avoiding hazards
    • G05D1/622—Obstacle avoidance
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0242—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0259—Control of position or course in two dimensions specially adapted to land vehicles using magnetic or electromagnetic means
    • G05D1/0261—Control of position or course in two dimensions specially adapted to land vehicles using magnetic or electromagnetic means using magnetic plots
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/028—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/243—Means capturing signals occurring naturally from the environment, e.g. ambient optical, acoustic, gravitational or magnetic signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/247—Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/881—Radar or analogous systems specially adapted for specific applications for robotics
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2107/00—Specific environments of the controlled vehicles
    • G05D2107/10—Outdoor regulated spaces
    • G05D2107/13—Spaces reserved for vehicle traffic, e.g. roads, regulated airspace or regulated waters
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2109/00—Types of controlled vehicles
    • G05D2109/10—Land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2111/00—Details of signals used for control of position, course, altitude or attitude of land, water, air or space vehicles
    • G05D2111/10—Optical signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请提供了一种检测方法及虚拟雷达装置、电子设备、存储介质，该方法包括：获取在可行驶区域上采集的视觉数据；提取视觉数据的可行驶区域边缘点；按照标定的坐标转换规则，将第一坐标系中的可行驶区域边缘点转换为第二坐标系中的目标点；根据第二坐标系中构建的虚拟雷达的多个扇形扫描区域，针对每个扇形扫描区域，提取扇形扫描区域内与虚拟雷达原点距离最近的目标点，构成第二坐标系中的可行驶区域边界点。该方案可以不依赖硬件激光雷达探测可行驶区域，实现与硬件激光雷达相同的检测障碍物的能力从而降低成本，实现自动避障功能。

Description

检测方法及虚拟雷达装置、电子设备、存储介质
技术领域
本申请涉及图像处理技术领域，特别涉及检测方法及虚拟雷达装置、电子设备、计算机可读存储介质。
背景技术
移动机器人是自动执行工作的机器装置。它既可以接受人类指挥，又可以运行预先编排的程序，也可以根据以人工智能技术制定的原则纲领行动。无人驾驶车辆、配送机器人、清洁机器人、平衡车等是常见的移动机器人。
移动机器人为了实现自主行动，一个关键点是进行可靠避障。现有技术中一般借助长距离的激光雷达和毫米波雷达的传感融合来检测目标物体。基于数据点之间的欧几里得距离对来自雷达的点云进行分簇和分割，对每个聚点建立凸包(convex hull)并将其当作潜在的障碍物，然后融合毫米波雷达的物件检测结果确认障碍物，但是这一技术存在下述问题：硬件激光雷达的成本较高，难以在移动机器人中普及。
发明内容
本申请实施例提供了可行驶区域的检测方法，无需硬件激光雷达也可进行避障，从而降低成本。
本申请实施例提供了一种检测方法，其特征在于，包括：
获取在可行驶区域上采集的视觉数据；
提取所述视觉数据中的可行驶区域边缘点；
按照标定的坐标转换规则，将第一坐标系中的所述可行驶区域边缘点转换为第二坐标系中的目标点；
在第二坐标系中构建虚拟雷达的多个扇形扫描区域，并针对每个扇形扫描区域，提取所述扇形扫描区域内与所述虚拟雷达原点距离最近的目标点，构成所述第二坐标系中的可行驶区域边界点。
本申请上述实施例提供的检测方法，可以基于摄像头等采集的视觉数据先确定第一坐标系中的可行驶区域边缘点，进而通过坐标变换可以确定可行驶区域边缘点在第二坐标系中的位置，进而通过筛选可以得到准确的可行驶区域边界点，无需采用硬件激光雷达探测可行驶区域，降低移动机器人的生产成本。
在一实施例中，所述提取所述视觉数据中的可行驶区域边缘点，包括：
通过已构建的视觉分割模型，提取所述视觉数据的可行驶区域边缘点。
上述实施例通过视觉分割模型可以快速得到准确的可行驶区域边缘点。
在一实施例中，在所述通过已构建的视觉分割模型，提取所述视觉数据的可行驶区域边缘点之前，所述方法还包括：
获取已标注可行驶区域边缘点的样本视觉集；
对所述样本视觉集中的样本图像进行翻转和/或颜色变化，扩充所述样本视觉集；
根据扩充后的样本视觉集以及对应标注的可行驶区域边缘点，训练所述视觉分割模型。
上述实施例通过对样本图像进行翻转和/或颜色变化，可以得到更多的样本图像，从而扩充样本视觉集，减少原始样本图像采集的量，提高训练的效率和模型的准确性。
在一实施例中，在所述按照标定的坐标转换规则，将第一坐标系中的所述可行驶区域边缘点转换为第二坐标系中的目标点之前，所述方法还包括：
获取同一特征点在第一坐标系中的第一位置坐标以及第二坐标系中的第二位置坐标；
根据所述第一位置坐标和第二位置坐标，计算所述坐标转换规则。
上述实施例根据同一特征点在两个坐标系中的位置坐标，计算坐标转换规则，可以得到较为准确的坐标转换规则。
在一实施例中，所述获取同一特征点在第一坐标系中的第一位置坐标以及第二坐标系中的第二位置坐标，包括：
获取包含墙角标定点的第一图像以及扫描所述墙角标定点的雷达数据；
根据所述墙角标定点在所述雷达数据中的位置坐标得到所述第二坐标系中的第二位置坐标以及根据所述墙角标定点在所述第一图像中的位置坐标，得到同一特征点在第一坐标系中的第一位置坐标。
上述实施例将墙角作为特征点，由于雷达数据在墙角处会发生突变，故通过检测墙角标定点的雷达数据，可以得到准确的第二位置坐标，进而可以使坐标转换规则更加准确。
在一实施例中，所述按照标定的坐标转换规则，将第一坐标系中的所述可行驶区域边缘点转换为第二坐标系中的目标点，包括：
将所述可行驶区域边缘点在所述第一坐标系中的坐标数据，乘以所述坐标转换规则对应的转换矩阵或投影矩阵，得到所述可行驶区域边缘点对应的在所述第二坐标系中目标点的坐标数据。
上述实施例通过矩阵表示坐标转换规则，进而边缘点的坐标数据乘以此矩阵，可以得到目标点的坐标数据，降低计算难度，提高计算效率。
在一实施例中，在所述根据所述第二坐标系中构建的虚拟雷达的多个扇形扫描区域，针对每个扇形扫描区域，提取所述扇形扫描区域内与所述虚拟雷达原点距离最近的目标点之前，所述方法还包括：
在所述第二坐标系中构建虚拟雷达的圆形扫描区域；
按照指定角分辨率，将所述圆形扫描区域划分为多个扇形扫描区域。
上述实施例通过构建虚拟雷达的圆形扫描区域，并按照指定角分辨率将圆形扫描区域划分为多个扇形扫描区域，可以准确模拟出激光雷达的扫描方式，模拟出激光雷达的扫描范围，便于准确过滤没有意义的目标点。
在一实施例中，在所述第二坐标系中构建虚拟雷达的圆形扫描区域，包括：
以所述第二坐标系的原点为圆心，指定距离为半径，构建所述虚拟雷达的圆形扫描区域；
或者，
按照标定的坐标转换规则，将视觉传感器的中心坐标转换到第二坐标系中，得到虚拟雷达的坐标位置；
以所述虚拟雷达的坐标位置为中心，指定距离为半径，构建所述虚拟雷达的圆形扫描区域。
上述实施例中，可以采用两个不同方式构建圆形扫描区域，从而模拟出激光雷达的有效扫描范围，便于准确过滤没有意义的目标点。
在一实施例中，所述根据所述第二坐标系中构建的虚拟雷达的多个扇形扫描区域，针对每个扇形扫描区域，提取所述扇形扫描区域内与所述虚拟雷达原点距离最近的目标点，构成所述第二坐标系中的可行驶区域边界点，包括：
去除不处于所述圆形扫描区域内的目标点；
针对每个扇形扫描区域，保留离所述圆形扫描区域的中心距离最近的目标点，去除所述扇形扫描区域内其余的目标点；
每个扇形扫描区域保留的目标点，构成所述第二坐标系中的可行驶区域边界点。
上述实施例，仅保留扇形扫描区域内与中心距离最近的目标点，从而可以去除对避障没有意义的目标点，降低后续路径规划时的计算量和计算难度。
在一实施例中，所述针对每个扇形扫描区域，保留离所述圆形扫描区域的中心距离最近的目标点，去除所述扇形扫描区域内其余的目标点，包括：
针对每一扇形扫描区域，若所述扇形扫描区域内不存在目标点，将所述扇形扫描区域内与所述中心距离最远的点作为目标点进行保留；
若所述扇形扫描区域内存在至少一个目标点，将距离所述圆形扫描区域的中心距离最近的目标点进行保留，去除所述扇形扫描区域内其余的目标点。
上述实施例，对于不存在目标点的扇形区域区域取扇形扫描区域内距离最远的点作为目标点保留，从而保证每个扇形扫描区域内均有保留的目标点，可以得到完整的可行驶区域边界点。
本申请实施例提供了一种虚拟雷达装置，包括：
数据获取模块，用于获取在可行驶区域上采集的视觉数据；
边缘分割模块，用于提取所述视觉数据中的可行驶区域边缘点；
投影变换模块，用于按照标定的坐标转换规则，将第一坐标系中的所述可行驶区域边缘点转换为第二坐标系中的目标点；
边界提取模块，用于在第二坐标系中构建虚拟雷达的多个扇形扫描区域，并针对每个扇形扫描区域，提取所述扇形扫描区域内与所述虚拟雷达原点距离最近的目标点，构成所述第二坐标系中的可行驶区域边界点。
在一实施例中，所述边缘分割模块具体用于：通过已构建的视觉分割模型，提取所述视觉数据的可行驶区域边缘点。
在一实施例中，虚拟雷达装置还包括：
样本获取模块，用于获取已标注可行驶区域边缘点的样本视觉集；
样本扩充模块，用于对所述样本视觉集中的样本图像进行翻转和/或颜色变化，扩充所述样本视觉集；
模型训练模块，用于根据扩充后的样本视觉集以及对应标注的可行驶区域边缘点，训练所述视觉分割模型。
在一实施例中，虚拟雷达装置还包括：
坐标获取模块，用于获取同一特征点在第一坐标系中的第一位置坐标以及第二坐标系中的第二位置坐标；
规则计算模块，用于根据所述第一位置坐标和第二位置坐标，计算所述坐标转换规则。
在一实施例中，所述坐标获取模块包括：
数据获取单元，用于获取包含墙角标定点的第一图像以及扫描所述墙角标定点的雷达数据；
坐标获得单元，用于根据所述墙角标定点在所述雷达数据中的位置坐标得到所述第二坐标系中的第二位置坐标以及根据所述墙角标定点在所述第一图像中的位置坐标，得到同一特征点在第一坐标系中的第一位置坐标。
在一实施例中，所述投影变换模块包括：
矩阵变换单元，用于将所述可行驶区域边缘点在所述第一坐标系中的坐标数据，乘以所述坐标转换规则对应的转换矩阵或投影矩阵，得到所述可行驶区域边缘点对应的在所述第二坐标系中目标点的坐标数据。
在一实施例中，虚拟雷达装置还包括：
区域构建模块，用于在所述第二坐标系中构建虚拟雷达的圆形扫描区域；
扇形划分模块，用于按照指定角分辨率，将所述圆形扫描区域划分为多个扇形扫描区域。
在一实施例中，上述区域构建模块包括：
第一构建单元，用于以所述第二坐标系的原点为圆心，指定距离为半径，构建所述虚拟雷达的圆形扫描区域；
或者，
中心坐标确定单元，用于按照标定的坐标转换规则，将视觉传感器的中心坐标转换到第二坐标系中，得到虚拟雷达的坐标位置；
第二构建单元，用于以所述虚拟雷达的坐标位置为中心，指定距离为半径，构建所述虚拟雷达的圆形扫描区域。
在一实施例中，边界提取模块包括：
去除单元，用于去除不处于所述圆形扫描区域内的目标点；
保留单元，用于针对每个扇形扫描区域，保留离所述圆形扫描区域的中心距离最近的目标点，去除所述扇形扫描区域内其余的目标点；
构成单元，用于每个扇形扫描区域保留的目标点，构成所述第二坐标系中的可行驶区域边界点。
在一实施例中，保留单元包括：
第一保留子单元，用于针对每一扇形扫描区域，在所述扇形扫描区域内不存在目标点时，将所述扇形扫描区域内与所述中心距离最远的点作为目标点进行保留；
第二保留子单元，用于在所述扇形扫描区域内存在至少一个目标点时，将距离所述圆形扫描区域的中心距离最近的目标点进行保留，去除所述扇形扫描区域内其余的目标点。
本申请实施例还提供了一种电子设备，所述电子设备包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行上述检测方法。
本申请实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序可由处理器执行以完成上述检测方法。
本申请上述实施例提供的虚拟雷达装置、电子设备和计算机可读存储介质，可以基于摄像头等采集的视觉数据先确定第一坐标系中的可行驶区域边缘点，进而通过坐标变换可以确定可行驶区域边缘点在第二坐标系中的位置，进而通过筛选可以得到准确的可行驶区域边界点，无需采用硬件激光雷达探测可行驶区域，降低移动机器人的生产成本。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍。
图1为本申请实施例提供的检测方法的应用场景示意图；
图2为本申请实施例提供的电子设备的结构示意图；
图3是本申请实施例提供的检测方法的流程示意图；
图4是本本申请实施例提供的可行驶区域边缘点的示意图；
图5是本申请实施例提供的视觉分割模型的构建流程图；
图6是本申请实施例提供的构建虚拟雷达的扇形扫描区域的原理示意图；
图7是本申请实施例提供的步骤340的流程示意图；
图8是本申请实施例提供的过滤目标点的原理示意图；
图9是本申请实施例提供的虚拟雷达装置的框图；
图10是本申请实施例提供的计算机可读存储介质的示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
图1为本申请实施例提供的可行驶区域的检测方法的应用场景示意图。如图1所示，该应用场景包括安装有摄像头101的移动机器人100。移动机器人100内置控制终端102，控制终端102可以获取摄像头101采集的移动机器人100在行进道路上的图像数据，进而采用本申请实施例提供的方法，确定可行驶区域边界点，从而移动机器人100在规划行驶路径时可以避免越过可行驶区域边界点，始终在安全范围内行驶，达到避障的效果。
如图2所示，本申请实施例还提供了一种电子设备。该电子设备可以是图1所示应用场景中的控制终端102。如图2所示，控制终端102可以包括处理器201；用于存储处理器可执行指令的存储器202；其中，该处理器201被配置为执行本申请实施例提供的可行驶区域的检测方法。
在一实施例中，处理器201可以由一个或多个专用集成电路(ApplicationSpecific Integrated Circuit，简称ASIC)、数字信号处理器、数字信号处理设备、可编程逻辑器件、现场可编程门阵列、控制器、微控制器、微处理器或其他电子元件实现，用于执行下述方法。
存储器202可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read Only Memory，简称EPROM)，可编程只读存储器(Programmable Red-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。
根据需要，该控制终端102还可以包括与处理器201连接的电源组件203、传感器组件204、音频组件205以及通信组件206。电源组件203可以为整个控制终端102供电，传感器组件204包括一个或多个传感器，用于为控制终端102提供各个方面的状态评估。在一实施例中，传感器组件204可用于检测控制终端102的打开/关闭状态、移动机器人100的位置变化、组件的温度变化。在一实施例中，传感器组件204可以包括磁传感器，压力传感器或温度传感器。
音频组件205可以包括麦克风和扬声器。通信组件206用于实现控制终端102和其他设备(如液晶屏)之间有线或无线方式的通信。于一实施例中，无线传输方式可以为WiFi(WIreless-Fidelity，无线保真)、行动通讯(Universal Mobile TelecommunicationsSystem)、蓝牙(Bluetooth)、ZigBee等在一实施例中，通信组件206可以包括NFC(NearField Communication，简称近场通信)模块，以促进短程通信。于一实施例中，在NFC模块可基于射频识别(Radio Frequency Identification，简称RFID)技术，红外数据协会(Infrared Data Association，简称IrDA)技术，超宽带(Ultra Wideband，简称UWB)技术，蓝牙技术和其他技术来实现。
图3是本申请实施例提供的一种检测方法的流程示意图。如图3所示，该方法可以包括以下步骤S310-步骤S340。
步骤S310：获取在可行驶区域上采集的视觉数据。
此处视觉数据是指移动机器人在行进过程中，摄像头拍摄的道路图像。视觉数据中除包括路面外，还可能包括车辆、行人、路边的花草树木、告示牌等目标对象。可行驶区域可以认为是路面上，不存在上述目标对象的区域。
步骤S320：提取所述视觉数据中的可行驶区域边缘点。
可行驶区域边缘点是指图像中可行驶区域的边缘的像素点，如图4所示，401表示可行驶区域边缘点。在一实施例中，可以通过已构建的视觉分割模型，提取视觉数据的可行驶区域边缘点。在一实施例中，可以将拍摄大道路图像作为视觉分割模型的输入，视觉分割模型的输出，即为可行驶区域边缘点的位置。其中，视觉分割模型可以提前利用已知可行驶区域边缘点的大量样本图像训练得到。
在一实施例中，在上述步骤S320之前，本申请实施例提供的方法还包括构建视觉分割模型的步骤，如图5所示，构建视觉分割模型可以包括以下步骤S301-步骤S303。
步骤S301：获取已标注可行驶区域边缘点的样本视觉集。
样本图像是指已标注可行驶区域边缘点的图像数据，为进行区分，称为样本图像。样本视觉集中包括大量样本图像，且每张样本图像的可行驶区域边缘点已知。
步骤S302：对所述样本视觉集中的样本图像进行翻转和/或颜色变化，扩充所述样本视觉集。
可以对样本图像进行水平翻转，得到新的样本图像，也可以整体提高样本图像的灰阶值，或者整体降低样本图像的灰阶值，得到新的样本图像。通过这种方式可以模拟不同自然环境下采集的样本图像，新的样本图像可以加入样本视觉集中，从而丰富样本视觉集中样本图像的种类，提高视觉分割模型的鲁棒性。
步骤S303：根据扩充后的样本视觉集以及对应标注的可行驶区域边缘点，训练所述视觉分割模型。
为提高实时性和计算效率，可以使用现有通过Cityscapes数据集预训练好的FCHardNet网络的模型参数，并在此基础上，进一步将样本视觉集作为输入，调整模型参数，使输出的每张样本图像对应的可行驶区域边缘点与标注的可行驶区域边缘点之间的误差最小，训练好的FCHardNet网络可以作为本申请实施例的视觉分割模型。之后可以利用训练好的视觉分割模型，提取图像数据的可行驶区域边缘点。
步骤S330：按照标定的坐标转换规则，将第一坐标系中的所述可行驶区域边缘点转换为第二坐标系中的目标点。
其中，坐标转换规则是指将第一坐标系中的点映射到第二坐标系中的映射规则。坐标转换规则的标定方式可以参见下文详细展开，在此不再赘述。目标点是指第一坐标系中的可行驶区域边缘点映射到第二坐标系中时对应的点。第一坐标系可以以图像的其中一个顶点为原点(0,0)，长和宽方向分别作为x轴方向和y轴方向。第一坐标系也可以以图像的中心为原点，与长平行的方向为x轴，与宽平行的方向为y轴。第二坐标系是指以激光雷达所在位置为原点，在辐射平面内建立坐标系。
在一实施例中，坐标转换规则可以用转换矩阵、投影矩阵或转换参数来表示，将第一坐标系中的可行驶区域边缘点转换到第二坐标系中，可以通过将可行驶区域边缘点在第一坐标系中的坐标数据，乘以坐标转换规则对应的转换矩阵或投影矩阵，从而得到可行驶区域边缘点对应的在第二坐标系中目标点的坐标数据。
步骤S340：根据所述第二坐标系中构建的虚拟雷达的多个扇形扫描区域，针对每个扇形扫描区域，提取所述扇形扫描区域内与所述虚拟雷达原点距离最近的目标点，构成所述第二坐标系中的可行驶区域边界点。
虚拟雷达与真实的硬件激光雷达不同，是对硬件激光雷达的模拟，通过模拟硬件激光雷达的扫描方式，可以得到多个扇形扫描区域。第二坐标系中虚拟雷达的位置和扇形扫描区域可以是提前预设好的。从而，可以针对每个扇形扫描区域，从该扇形扫描区域内提取与虚拟雷达距离最近的目标点。从每个扇形扫描区域内提取的与虚拟雷达距离最近的目标点可以认为是第二坐标系中的可行驶区域边界点。为进行区分，第一坐标系中可行驶区域的边缘的像素点称为可行驶边缘点，而第二坐标系中可行驶区域的边缘点称为可行驶区域边界点。
在一实施例中，如果某个扇形扫描区域内不存在目标点，则可以将扇形扫描区域内距离虚拟雷达最远的点作为从此扇形扫描区域内提取的距离虚拟雷达最近的目标点，将此目标点与其他扇形扫描区域内提取的距离虚拟雷达最近的目标点一起构成第二坐标系中可行驶区域边界点。
本申请上述实施例提供的技术方案，可以基于摄像头采集的图像数据先确定第一坐标系中的可行驶区域边缘点，进而通过坐标变换可以确定可行驶区域边缘点在第二坐标系中的位置，进而通过筛选可以得到准确的可行驶区域边界点，无需采用硬件激光雷达探测可行驶区域，降低移动机器人的生产成本。
在一实施例中，在上述步骤S340之前，可以先在第二坐标系中构建虚拟雷达的圆形扫描区域；之后按照指定角分辨率，将圆形扫描区域划分得到多个扇形扫描区域。
在一实施例中，如图6所示，可以将第二坐标系的原点(即0,0点)作为虚拟雷达所在位置，并以第二坐标系的原点为圆心，指定距离r为半径，构建虚拟雷达的圆形扫描区域，圆形扫描区域内可以有多个扇形扫描区域。指定距离r可以根据采集图像数据的摄像头的可视距离确定，举例来说，指定距离可以是10米。
在其他实施例中，可以按照标定的坐标转换规则，将视觉传感器(例如摄像头)的中心坐标转换到第二坐标系中，得到虚拟雷达的坐标位置；之后以虚拟雷达的坐标位置为中心，指定距离为半径，构建所述虚拟雷达的圆形扫描区域。
视觉传感器的中心坐标可以是摄像头中心在相机坐标系中的位置坐标，根据相机坐标系和图像坐标系(即第一坐标系)的映射关系，可以在第一坐标系中得到摄像头中心的位置坐标，之后根据标定的坐标转换规则，可以将第一坐标系中的摄像头中心的位置坐标映射到第二坐标系中，作为虚拟雷达的坐标位置。之后，可以以该虚拟雷达所在位置为圆心，指定距离r为半径，构建虚拟雷达的圆形扫描区域。
其中，指定角分辨率是经验值，与图像数据的分辨率有关。指定角分辨率是指圆形扫描区域内扇形扫描区域的个数。图像数据的分辨率越大，则指定角分辨率也越大，即每个扇形扫描区域的圆心角越小，扇形扫描区域的个数越多。
在一实施例中，如图7所示，上述步骤S340可以包括以下步骤S341-步骤S342。
步骤S341：去除不处于所述圆形扫描区域内的目标点。
步骤S342：针对每个扇形扫描区域，保留离所述圆形扫描区域的中心距离最近的目标点，去除所述扇形扫描区域内其余的目标点。
步骤S343：每个扇形扫描区域保留的目标点，构成所述第二坐标系中的可行驶区域边界点。
如图8所示，604表示虚拟雷达所在位置，601表示最大的有效范围，有效范围601可以认为是以虚拟雷达604为圆心，指定距离r为半径，形成的圆形扫描区域。603表示目标点，有效范围601以外的目标点603与虚拟雷达604之间的距离大于指定距离，这些目标点可以认为与移动机器人的距离较远，对于避障没有帮助，故可以先过滤掉有效范围601外的目标点603。
在一实施例中，每个扇形扫描区域的圆心角602可以是11.5°。基于激光雷达的扫描原理，由于远处目标点(例如点A)会被遮挡，故针对每个扇形扫描区域，可以保留与虚拟雷达604距离最近的目标点，去除此扇形扫描区域内剩余的目标点。如果某个扇形扫描区域内没有目标点，则可以选择扇形弧上一点605(即扇形扫描区域内与圆心距离最远的点)作为此扇形扫描区域内与虚拟雷达604距离最近的目标点，进行保留，所有扇形扫描区域内保留的目标点，一起构成第二坐标系中可行驶区域边界点。
在一实施例中，第一坐标系与第二坐标系之间的坐标转换规则可以提前通过标定多个特征点，获取同一特征点在第一坐标系中的第一位置坐标以及第二坐标系中的第二位置坐标；进而根据第一位置坐标和第二位置坐标，计算坐标转换规则。
第一位置坐标是指特征点在第一坐标系(即图像坐标系)中的位置坐标，第二位置坐标是指特征点在第二坐标系(即雷达坐标系)中的位置坐标，为进行区分，分别称为第一位置坐标和第二位置坐标。
特征点可以是人为标定的点。由于激光雷达扫描到墙角时会检测到距离突变，于一实施例中，特征点可以选择墙角的位置，通过在墙角黏贴标志，得到墙角标定点。进而可以通过摄像头拍摄墙角标定点，得到包含墙角标定点的第一图像。在第一图像中建立第一坐标系，墙角标定点在此第一坐标系中的位置坐标，即可作为第一位置坐标。
通过激光雷达扫描墙角可以得到雷达数据。雷达数据用于指示不同方向上检测到遮挡物与激光雷达所在位置之间的距离。在一实施例中，可以以激光雷达所在位置为原点建立第二坐标系，可以将发生距离突变的位置作为墙角标定点在第二坐标系中的位置坐标，即可得到第二位置坐标。
在一实施例中，第一坐标系和第二坐标系之间的坐标转换规则可经由如下公式表示：
Figure BDA0002471518410000171
其中，(xl，yl)是第二坐标系中特征点的位置坐标，(xr，yr)是第一坐标系中特征点的位置坐标。H定义为单应性变换矩阵，也就是坐标转换规则。
为了计算上述单应性变化矩阵H，可以采集一组匹配点
Figure BDA0002471518410000181
(xi，yi)表示特征点i在第一坐标系中的位置坐标，即第一位置坐标，(x’i，y’i)表示特征点i在第二坐标系中的位置坐标，即第二位置坐标，满足以下公式：
Figure BDA0002471518410000182
单应性矩阵H是3x3矩阵，每个元素用h表示，一共9个。
由平面坐标与齐次坐标对应关系为
Figure BDA0002471518410000183
其中，x表示横坐标值，y表示纵坐标值，w表示缩放尺度，R2表示二维平面坐标系，P3表示齐次坐标系。
故上式可以表示为：
Figure BDA0002471518410000184
Figure BDA0002471518410000185
进一步可以变换为：
(h31xi+h32yi+h33)·x′i＝h11xi+h12yi+h13
(h31xi+h32yi+h33)·y′i＝h21xi+h22yi+h23
也就是说一组匹配点可以获得2组方程，那么只需要4组不共线的匹配点即可求解H的唯一解。
通过上述方式，可以计算出唯一的坐标转换规则H，从而第一坐标系中可行驶区域边缘点的坐标乘以坐标转换规则H，可以得到此边缘点在第二坐标系中的位置坐标，也就是目标点的坐标。之后可以通过上述步骤S340确定第二坐标系中的可行驶区域边界点进行输出。
在一实施例中，可以对样本图像每个像素点的对象类型进行标注，并利用此样本图像训练图像识别模型。之后可以利用该图像识别模型识别出步骤S310获取的图像数据中每个像素点的对象类型。像素点的对象类型用于指示此像素点是属于行人、车辆、路面或树木。故根据第二坐标系中的可行驶区域边界点，以及此边界点在第一坐标系中对应像素点的对象类型，可以确定可行驶区域边界点处的对象类型，从而在路径规划时，可以设定合适的安全距离。
下述为本申请装置实施例，可以用于执行本申请上述检测方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请检测方法实施例。
图9为本申请一实施例示出的虚拟雷达装置的框图。如图9所示，该装置包括：数据获取模块910、边缘分割模块920、投影变换模块930以及边界提取模块940。
数据获取模块910，用于获取在可行驶区域上采集的视觉数据；
边缘分割模块920，用于提取所述视觉数据中的可行驶区域边缘点；
投影变换模块930，用于按照标定的坐标转换规则，将第一坐标系中的所述可行驶区域边缘点转换为第二坐标系中的目标点；
边界提取模块940，用于根据所述第二坐标系中构建的虚拟雷达的多个扇形扫描区域，针对每个扇形扫描区域，提取所述扇形扫描区域内与所述虚拟雷达原点距离最近的目标点，构成所述第二坐标系中的可行驶区域边界点。
在一实施例中，所述边缘分割模块920具体用于：通过已构建的视觉分割模型，提取所述视觉数据的可行驶区域边缘点。
在一实施例中，虚拟雷达装置还包括：
样本获取模块901，用于获取已标注可行驶区域边缘点的样本视觉集；
样本扩充模块902，用于对所述样本视觉集中的样本图像进行翻转和/或颜色变化，扩充所述样本视觉集；
模型训练模块903，用于根据扩充后的样本视觉集以及对应标注的可行驶区域边缘点，训练所述视觉分割模型。
在一实施例中，虚拟雷达装置还包括：
坐标获取模块970，用于获取同一特征点在第一坐标系中的第一位置坐标以及第二坐标系中的第二位置坐标；
规则计算模块980，用于根据所述第一位置坐标和第二位置坐标，计算所述坐标转换规则。
在一实施例中，所述坐标获取模块970包括：
数据获取单元971，用于获取包含墙角标定点的第一图像以及扫描所述墙角标定点的雷达数据；
坐标获得单元972，用于根据所述墙角标定点在所述雷达数据中的位置坐标得到所述第二坐标系中的第二位置坐标以及根据所述墙角标定点在所述第一图像中的位置坐标，得到同一特征点在第一坐标系中的第一位置坐标。
在一实施例中，所述投影变换模块930具体用于：将所述可行驶区域边缘点在所述第一坐标系中的坐标数据，乘以所述坐标转换规则对应的转换矩阵或投影矩阵，得到所述可行驶区域边缘点对应的在所述第二坐标系中目标点的坐标数据。
在一实施例中，虚拟雷达装置还包括：
区域构建模块950，用于在所述第二坐标系中构建虚拟雷达的圆形扫描区域；
扇形划分模块960，用于按照指定角分辨率，将所述圆形扫描区域划分为多个扇形扫描区域。
在一实施例中，上述区域构建模块950包括：
第一构建单元(未画出)，用于以所述第二坐标系的原点为圆心，指定距离为半径，构建所述虚拟雷达的圆形扫描区域；
或者，
中心坐标确定单元951，用于按照标定的坐标转换规则，将视觉传感器的中心坐标转换到第二坐标系中，得到虚拟雷达的坐标位置；
第二构建单元952，用于以所述虚拟雷达的坐标位置为中心，指定距离为半径，构建所述虚拟雷达的圆形扫描区域。
在一实施例中，边界提取模块940包括：
去除单元941，用于去除不处于所述圆形扫描区域内的目标点；
保留单元942，用于针对每个扇形扫描区域，保留离所述圆形扫描区域的中心距离最近的目标点，去除所述扇形扫描区域内其余的目标点；
构成单元943，用于每个扇形扫描区域保留的目标点，构成所述第二坐标系中的可行驶区域边界点。
在一实施例中，保留单元942包括：
第一保留子单元9421，用于针对每一扇形扫描区域，在所述扇形扫描区域内不存在目标点时，将所述扇形扫描区域内与所述中心距离最远的点作为目标点进行保留；
第二保留子单元9422，用于在所述扇形扫描区域内存在至少一个目标点时，将距离所述圆形扫描区域的中心距离最近的目标点进行保留，去除所述扇形扫描区域内其余的目标点。
上述装置中各个模块的功能和作用的实现过程具体详见上述检测方法中对应步骤的实现过程，在此不再赘述。
如图10所示，本申请实施例还提供了一种计算机可读存储介质500，存储介质500存储有计算机程序(即计算机可执行指令501)，计算机程序可由处理器201执行以完成本申请实施例提供的检测方法。
在本申请所提供的几个实施例中，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (11)

1.一种检测方法，其特征在于，包括：
获取在可行驶区域上采集的视觉数据；
提取所述视觉数据中的可行驶区域边缘点；
按照标定的坐标转换规则，将第一坐标系中的所述可行驶区域边缘点转换为第二坐标系中的目标点；
在第二坐标系中构建虚拟雷达的多个扇形扫描区域，并针对每个扇形扫描区域，提取所述扇形扫描区域内与所述虚拟雷达原点距离最近的目标点，构成所述第二坐标系中的可行驶区域边界点；
所述按照标定的坐标转换规则，将第一坐标系中的所述可行驶区域边缘点转换为第二坐标系中的目标点，包括：
将所述可行驶区域边缘点在所述第一坐标系中的坐标数据，乘以所述坐标转换规则对应的转换矩阵或投影矩阵，得到所述可行驶区域边缘点对应的在所述第二坐标系中目标点的坐标数据；
所述第二坐标系中构建虚拟雷达的多个扇形扫描区域，包括：
在所述第二坐标系中构建虚拟雷达的圆形扫描区域；
按照指定角分辨率，将所述圆形扫描区域划分为多个扇形扫描区域。
2.根据权利要求1所述的方法，其特征在于，所述提取所述视觉数据中的可行驶区域边缘点，包括：
通过已构建的视觉分割模型，提取所述视觉数据的可行驶区域边缘点。
3.根据权利要求2所述的方法，其特征在于，在所述通过已构建的视觉分割模型，提取所述视觉数据的可行驶区域边缘点之前，所述方法还包括：
获取已标注可行驶区域边缘点的样本视觉集；
对所述样本视觉集中的样本图像进行翻转和/或颜色变化，扩充所述样本视觉集；
根据扩充后的样本视觉集以及对应标注的可行驶区域边缘点，训练所述视觉分割模型。
4.根据权利要求1所述的方法，其特征在于，在所述按照标定的坐标转换规则，将第一坐标系中的所述可行驶区域边缘点转换为第二坐标系中的目标点之前，所述方法还包括：
获取同一特征点在第一坐标系中的第一位置坐标以及第二坐标系中的第二位置坐标；
根据所述第一位置坐标和第二位置坐标，计算所述坐标转换规则。
5.根据权利要求4所述的方法，其特征在于，所述获取同一特征点在第一坐标系中的第一位置坐标以及第二坐标系中的第二位置坐标，包括：
获取包含墙角标定点的第一图像以及扫描所述墙角标定点的雷达数据；
根据所述墙角标定点在所述雷达数据中的位置坐标得到所述第二坐标系中的第二位置坐标以及根据所述墙角标定点在所述第一图像中的位置坐标，得到同一特征点在第一坐标系中的第一位置坐标。
6.根据权利要求1所述的方法，其特征在于，在所述第二坐标系中构建虚拟雷达的圆形扫描区域，包括：
以所述第二坐标系的原点为圆心，指定距离为半径，构建所述虚拟雷达的圆形扫描区域；
或者，
按照标定的坐标转换规则，将视觉传感器的中心坐标转换到第二坐标系中，得到虚拟雷达的坐标位置；
以所述虚拟雷达的坐标位置为中心，指定距离为半径，构建所述虚拟雷达的圆形扫描区域。
7.根据权利要求1所述的方法，其特征在于，所述根据所述第二坐标系中构建的虚拟雷达的多个扇形扫描区域，针对每个扇形扫描区域，提取所述扇形扫描区域内与所述虚拟雷达原点距离最近的目标点，构成所述第二坐标系中的可行驶区域边界点，包括：
去除不处于所述圆形扫描区域内的目标点；
针对每个扇形扫描区域，保留离所述圆形扫描区域的中心距离最近的目标点，去除所述扇形扫描区域内其余的目标点；
每个扇形扫描区域保留的目标点，构成所述第二坐标系中的可行驶区域边界点。
8.根据权利要求7所述的方法，其特征在于，所述针对每个扇形扫描区域，保留离所述圆形扫描区域的中心距离最近的目标点，去除所述扇形扫描区域内其余的目标点，包括：
针对每一扇形扫描区域，若所述扇形扫描区域内不存在目标点，将所述扇形扫描区域内与所述中心距离最远的点作为目标点进行保留；
若所述扇形扫描区域内存在至少一个目标点，将距离所述圆形扫描区域的中心距离最近的目标点进行保留，去除所述扇形扫描区域内其余的目标点。
9.一种虚拟雷达装置，其特征在于，包括：
数据获取模块，用于获取在可行驶区域上采集的视觉数据；
边缘分割模块，用于提取所述视觉数据中的可行驶区域边缘点；
投影变换模块，用于按照标定的坐标转换规则，将第一坐标系中的所述可行驶区域边缘点转换为第二坐标系中的目标点；
边界提取模块，用于在第二坐标系中构建虚拟雷达的多个扇形扫描区域，并针对每个扇形扫描区域，提取所述扇形扫描区域内与所述虚拟雷达原点距离最近的目标点，构成所述第二坐标系中的可行驶区域边界点；
其中，所述按照标定的坐标转换规则，将第一坐标系中的所述可行驶区域边缘点转换为第二坐标系中的目标点，包括：
将所述可行驶区域边缘点在所述第一坐标系中的坐标数据，乘以所述坐标转换规则对应的转换矩阵或投影矩阵，得到所述可行驶区域边缘点对应的在所述第二坐标系中目标点的坐标数据；
在所述第二坐标系中构建虚拟雷达的多个扇形扫描区域，包括：
在所述第二坐标系中构建虚拟雷达的圆形扫描区域；
按照指定角分辨率，将所述圆形扫描区域划分为多个扇形扫描区域。
10.一种电子设备，其特征在于，所述电子设备包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行权利要求1-8任意一项所述的检测方法。
11.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序可由处理器执行以完成权利要求1-8任意一项所述的检测方法。
CN202010352986.4A 2020-04-28 2020-04-28 检测方法及虚拟雷达装置、电子设备、存储介质 Active CN111552289B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010352986.4A CN111552289B (zh) 2020-04-28 2020-04-28 检测方法及虚拟雷达装置、电子设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010352986.4A CN111552289B (zh) 2020-04-28 2020-04-28 检测方法及虚拟雷达装置、电子设备、存储介质

Publications (2)

Publication Number Publication Date
CN111552289A CN111552289A (zh) 2020-08-18
CN111552289B true CN111552289B (zh) 2021-07-06

Family

ID=72003326

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010352986.4A Active CN111552289B (zh) 2020-04-28 2020-04-28 检测方法及虚拟雷达装置、电子设备、存储介质

Country Status (1)

Country Link
CN (1) CN111552289B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112348777B (zh) * 2020-10-19 2024-01-12 深圳市优必选科技股份有限公司 人体目标的检测方法、装置及终端设备
CN112835026B (zh) * 2020-12-31 2024-02-20 福瑞泰克智能系统有限公司 雷达镜像目标检测方法、装置、雷达设备和车辆
CN112987734B (zh) * 2021-02-23 2023-05-02 京东科技信息技术有限公司 机器人行驶方法、装置及电子设备、存储介质及程序产品
CN113295175A (zh) * 2021-04-30 2021-08-24 广州小鹏自动驾驶科技有限公司 一种地图数据修正的方法和装置
CN113552574B (zh) * 2021-07-13 2023-01-06 上海欧菲智能车联科技有限公司 一种区域探测方法、装置、存储介质及电子设备
CN114136194B (zh) * 2021-10-12 2024-06-14 江苏丰尚智能科技有限公司 仓内物料体积监测方法、装置、监测设备和存储介质
CN113917450B (zh) * 2021-12-07 2022-03-11 深圳佑驾创新科技有限公司 一种多扩展目标雷达量测集划分方法和装置
CN114476061B (zh) * 2021-12-24 2024-02-09 中国电信股份有限公司 一种干扰定位方法及无人机

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110928320A (zh) * 2020-02-10 2020-03-27 上海高仙自动化科技发展有限公司 路径生成方法及生成装置、智能机器人及存储介质

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3304687B2 (ja) * 1995-05-24 2002-07-22 日産自動車株式会社 車両用走行車線認識装置及び障害物検出装置・道路逸脱報知装置
JP4682809B2 (ja) * 2005-11-04 2011-05-11 株式会社デンソー 駐車支援システム
JP2008028478A (ja) * 2006-07-18 2008-02-07 Sumitomo Electric Ind Ltd 障害物検出システム、及び障害物検出方法
JP5124147B2 (ja) * 2007-02-01 2013-01-23 三洋電機株式会社 カメラ校正装置及び方法並びに車両
CN101549683B (zh) * 2009-04-23 2011-09-28 上海交通大学 自动识别道路深坑与障碍物的车辆智能方法
US8848978B2 (en) * 2011-09-16 2014-09-30 Harman International (China) Holdings Co., Ltd. Fast obstacle detection
CN102538763B (zh) * 2012-02-14 2014-03-12 清华大学 一种河工模型试验三维地形的量测方法
CN102840853A (zh) * 2012-07-25 2012-12-26 中国航空工业集团公司洛阳电光设备研究所 一种用于车载夜视系统的障碍物检测及报警方法
CN103033817B (zh) * 2012-11-25 2014-08-13 中国船舶重工集团公司第七一○研究所 大型auv避碰用障碍物自主识别系统
KR102152641B1 (ko) * 2013-10-31 2020-09-08 엘지전자 주식회사 이동 로봇
CN104036279B (zh) * 2014-06-12 2017-04-05 北京联合大学 一种智能车行进控制方法及系统
CN104390644B (zh) * 2014-11-25 2017-05-24 浙江理工大学 一种基于田间导航图像采集设备的田间障碍物检测方法
CN104570147B (zh) * 2014-12-26 2017-05-31 北京控制工程研究所 一种基于单目相机和主动结构光的障碍探测方法
AU2015404215B2 (en) * 2015-08-06 2019-01-03 Accenture Global Services Limited Vegetation management for power line corridor monitoring using computer vision
US20180025640A1 (en) * 2016-07-19 2018-01-25 Ford Global Technologies, Llc Using Virtual Data To Test And Train Parking Space Detection Systems
CN106020204A (zh) * 2016-07-21 2016-10-12 触景无限科技（北京）有限公司 一种障碍物检测装置、机器人及避障系统
CN106338989B (zh) * 2016-08-01 2019-03-26 内蒙古大学 一种田间机器人双目视觉导航方法及系统
CN106485233B (zh) * 2016-10-21 2020-01-17 深圳地平线机器人科技有限公司 可行驶区域检测方法、装置和电子设备
CN106503653B (zh) * 2016-10-21 2020-10-13 深圳地平线机器人科技有限公司 区域标注方法、装置和电子设备
CN107977995B (zh) * 2016-10-25 2022-05-06 菜鸟智能物流控股有限公司 一种目标区域的位置检测方法及相关装置
CN106679671B (zh) * 2017-01-05 2019-10-11 大连理工大学 一种基于激光数据的导航标识图识别方法
JP7018566B2 (ja) * 2017-04-28 2022-02-14 パナソニックＩｐマネジメント株式会社 撮像装置、画像処理方法及びプログラム
WO2019039733A1 (ko) * 2017-08-21 2019-02-28 (주)유진로봇 카메라와 라이다를 이용한 융합 센서 및 이동체
CN108256413B (zh) * 2017-11-27 2022-02-25 科大讯飞股份有限公司 可通行区域检测方法及装置、存储介质、电子设备
CN108734124A (zh) * 2018-05-18 2018-11-02 四川国软科技发展有限责任公司 一种激光雷达动态行人检测方法
CN108961343A (zh) * 2018-06-26 2018-12-07 深圳市未来感知科技有限公司 虚拟坐标系的构建方法、装置、终端设备及可读存储介质
CN109283538B (zh) * 2018-07-13 2023-06-13 上海大学 一种基于视觉和激光传感器数据融合的海上目标大小检测方法
CN109977845B (zh) * 2019-03-21 2021-08-17 百度在线网络技术（北京）有限公司 一种可行驶区域检测方法及车载终端
CN110728288B (zh) * 2019-10-12 2022-06-28 上海高仙自动化科技发展有限公司 一种基于三维激光点云的角点特征提取方法及其应用
CN110765922B (zh) * 2019-10-18 2023-05-02 华南理工大学 一种agv用双目视觉物体检测障碍物系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110928320A (zh) * 2020-02-10 2020-03-27 上海高仙自动化科技发展有限公司 路径生成方法及生成装置、智能机器人及存储介质

Also Published As

Publication number Publication date
CN111552289A (zh) 2020-08-18

Similar Documents

Publication Publication Date Title
CN111552289B (zh) 检测方法及虚拟雷达装置、电子设备、存储介质
US11632536B2 (en) Method and apparatus for generating three-dimensional (3D) road model
US11670087B2 (en) Training data generating method for image processing, image processing method, and devices thereof
US20180224863A1 (en) Data processing method, apparatus and terminal
US20180188733A1 (en) Multi-channel sensor simulation for autonomous control systems
CN112861653A (zh) 融合图像和点云信息的检测方法、系统、设备及存储介质
JP7440005B2 (ja) 高精細地図の作成方法、装置、デバイス及びコンピュータプログラム
KR20190134231A (ko) 차량의 위치 추정 장치, 차량의 위치 추정 방법, 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체
JP2020502654A (ja) ヒューマンマシンハイブリッド意思決定方法および装置
CN113095184B (zh) 定位方法、行驶控制方法、装置、计算机设备及存储介质
CN113673282A (zh) 目标检测方法和装置
CN114998276B (zh) 一种基于三维点云的机器人动态障碍物实时检测方法
CN114677435A (zh) 一种点云全景融合要素提取方法和系统
CN113706704B (zh) 基于高精地图规划路线的方法、设备以及自动驾驶车辆
Chetan et al. An overview of recent progress of lane detection for autonomous driving
KR102441100B1 (ko) Las 데이터를 이용한 도로 지문 데이터 구축 시스템 및 그 방법
CN110705385A (zh) 一种障碍物角度的检测方法、装置、设备及介质
CN113724387A (zh) 一种激光与相机融合的地图构建方法
CN116534052A (zh) 行驶场景感知数据处理方法、装置、控制器及存储介质
CN112686951A (zh) 用于确定机器人位置的方法、装置、终端及存储介质
KR102316818B1 (ko) 도로 네트워크를 갱신하는 방법 및 장치
CN113189610B (zh) 地图增强的自动驾驶多目标追踪方法和相关设备
CN112964263B (zh) 自动建图方法、装置、移动机器人及可读存储介质
CN112907659B (zh) 移动设备定位系统、方法及设备
US20230401748A1 (en) Apparatus and methods to calibrate a stereo camera pair

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant