CN115195746A - 地图生成装置 - Google Patents
地图生成装置 Download PDFInfo
- Publication number
- CN115195746A CN115195746A CN202210178456.1A CN202210178456A CN115195746A CN 115195746 A CN115195746 A CN 115195746A CN 202210178456 A CN202210178456 A CN 202210178456A CN 115195746 A CN115195746 A CN 115195746A
- Authority
- CN
- China
- Prior art keywords
- unit
- map
- vehicle
- feature points
- movement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3833—Creation or updating of map data characterised by the source of data
- G01C21/3837—Data obtained from a single source
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3863—Structures of map data
- G01C21/3867—Geometry of map features, e.g. shape points, polygons or for simplified maps
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/06—Road conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3807—Creation or updating of map data characterised by the type of data
- G01C21/3815—Road data
- G01C21/3822—Road feature data, e.g. slope data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3833—Creation or updating of map data characterised by the source of data
- G01C21/3848—Data obtained from both position sensors and additional sensors
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3863—Structures of map data
- G01C21/387—Organisation of map data, e.g. version management or database structures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3885—Transmission of map data to client devices; Reception of map data by client devices
- G01C21/3889—Transmission of selected map data, e.g. depending on route
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0002—Automatic control, details of type of controller or control system architecture
- B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
- B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Geometry (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Traffic Control Systems (AREA)
- Instructional Devices (AREA)
- Navigation (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种地图生成装置(50),具备:相机(1a),其检测本车辆周围的外界状况;提取部(171),其从根据由相机(1a)取得的拍摄图像数据所示的图像中提取特征点;移动量推定部(172),其基于根据拍摄图像数据所示的图像来推定伴随本车辆的移动而产生的相机(1a)移动量;确定部(173),其确定移动量推定部(172)实施移动量的推定中所使用的图像内的区域;以及生成部(174),其使用由提取部(171)提取出的特征点中的与由确定部(173)确定出的区域相对应的特征点来生成地图信息。
Description
技术领域
本发明涉及一种生成本车辆周边的地图的地图生成装置。
背景技术
作为这种装置,以往已知有如下装置:以生成高精度的地图为目的,基于由多个车辆的车载相机取得的拍摄图像生成特征点地图,将所生成的特征点地图重叠而生成广域地图(参见例如专利文献1)。
然而,如上述专利文献1记载的装置那样,当想要生成高精度的地图时,与之相伴地地图的数据量也增大,存储地图的存储装置的容量有可能被大幅占用。
现有技术文献
专利文献
专利文献1:日本特表2020-518917号公报(JP2020-518917A)。
发明内容
本发明的一技术方案的地图生成装置具备:外界检测器,其检测本车辆周围的外界状况;提取部,其从根据外界检测器的检测数据所示的图像中提取特征点;移动量推定部,其基于根据检测数据显示出的图像,推定伴随本车辆的移动而产生的外界检测器的移动量;确定部,其确定移动量推定部进行移动量的推定中所使用的图像内的区域;生成部,其使用与由提取部提取出的特征点中的由确定部确定的区域相对应的特征点来生成地图信息。
附图说明
本发明的目的、特征以及优点,通过与附图相关的以下实施方式的说明进一步阐明。
图1是概略地示出本发明的实施方式的车辆控制系统的整体结构的框图。
图2是示出本发明的实施方式的地图生成装置的主要部分结构的框图。
图3是示出由图2的控制器执行的处理的一例的流程图。
图4A是示出相机的拍摄图像的一例的图。
图4B是示意性地示出注视图的图。
图4C是示意性地示出从图4A的拍摄图像中提取出的特征点的图。
图4D是示意性的示出与注视区域相对应的特征点的图。
具体实施方式
以下参照图1~图4D对本发明的实施方式进行说明。本发明的实施方式的地图生成装置能够应用在具有自动驾驶功能的车辆,即自动驾驶车辆。需要说明的是,有时区别于其他车辆,将应用本实施方式的地图生成装置的车辆称为本车辆。本车辆可以是具有内燃机(发动机)作为行驶驱动源的发动机车辆、具有行驶马达作为行驶驱动源的电动汽车、具有发动机和行驶马达作为行驶驱动源的混合动力车辆中的任一种。本车辆不仅能够以不需要驾驶员进行驾驶操作的自动驾驶模式行驶,也能够以由驾驶员进行驾驶操作的手动驾驶模式行驶。
首先对与自动驾驶相关的概略结构进行说明。图1是概略地示出具有本发明的实施方式的地图生成装置的车辆控制系统100的整体结构的框图。如图1所示,车辆控制系统100主要具有控制器10以及分别与控制器10可通信地连接的外部传感器组1、内部传感器组2、输入输出装置3、定位单元4、地图数据库5、导航装置6、通信单元7、行驶用的执行器AC。
外部传感器组1是检测本车辆的周边信息,即外部状况的多个传感器(外部传感器)的总称。例如外部传感器组1包括:测定本车辆的与全方位的照射光相对的散射光从而测定从本车辆到周边的障碍物的距离的激光雷达、通过照射电磁波并检测反射波来检测本车辆周边的其他车辆或障碍物等的雷达、以及搭载于本车辆并具有CCD、CMOS等摄像元件来拍摄本车辆的周边(前方、后方以及侧方)的相机等。
内部传感器组2是检测本车辆的行驶状态的多个传感器(内部传感器)的总称。例如内部传感器组2包括:检测本车辆的车速的车速传感器、分别检测本车辆的前后方向的加速度和左右方向的加速度(横向加速度)的加速度传感器、检测行驶驱动源的转速的转速传感器、检测本车辆的重心绕铅垂轴旋转的旋转角速度的横摆率传感器等。检测手动驾驶模式下的驾驶员的驾驶操作,例如对加速踏板的操作、对制动踏板的操作、对方向盘的操作等的传感器也包括在内部传感器组2中。
输入输出装置3是从驾驶员输入指令、向驾驶员输出信息的装置的总称。例如输入输出装置3包括:供驾驶员通过对操作构件的操作来输入各种指令的各种开关、供驾驶员通过语音输入指令的麦克、借助显示图像向驾驶员提供信息的显示器、通过语音向驾驶员提供信息的扬声器等。
定位单元(GNSS单元)4具有接收从定位卫星发送的定位用信号的定位传感器。定位卫星是GPS卫星、准天顶卫星等人造卫星。定位单元4利用定位传感器接收到的定位信息,测定本车辆的当前位置(纬度、经度、高度)。
地图数据库5是存储在导航装置6中使用的一般性地图信息的装置,例如由硬盘、半导体元件构成。地图信息包括:道路的位置信息、道路形状(曲率等)的信息、交叉路口、岔路口的位置信息、道路上所设定的限制速度的信息。需要说明的是,存储于地图数据库5中的地图信息与存储于控制器10的存储部12中的高精度地图信息不同。
导航装置6是搜索到达由驾驶员输入的目的地的道路上的目标路径并进行沿目标路径的引导的装置。通过输入输出装置3进行目的地的输入和沿目标路径的引导。基于由定位单元4测定出的本车辆的当前位置和存储于地图数据库5中的地图信息来运算目标路径。也能够使用外部传感器组1的检测值测定本车辆的当前位置,也可以基于该当前位置和存储于存储部12中的高精度的地图信息来运算目标路径。
通信单元7利用包含以互联网、移动电话网等为代表的无线通信网的网络与未图示的各种服务器进行通信,定期或者在任意时机从服务器取得地图信息、行驶记录信息以及交通信息等。网络不仅包括公用无线通信网,还包括针对每一规定的管理区域设置的封闭式通信网,例如无线局域网、Wi-Fi(注册商标)、Bluetooth(注册商标)等。所取得的地图信息被输出到地图数据库5、存储部12,地图信息被更新。
执行器AC是用于控制本车辆的行驶的行驶用执行器。在行驶驱动源为发动机的情况下,执行器AC包括调整发动机的节气门阀的开度(节气门开度)的节气门用执行器。在行驶驱动源为行驶马达的情况下,执行器AC包括行驶马达。使本车辆的制动装置工作的制动用执行器和驱动转向装置的转向用执行器也包含在执行器AC中。
控制器10由电子控制单元(ECU)构成。更具体而言,控制器10包含具有CPU(微处理器)等运算部11、ROM(只读存储器)、RAM(随机存取存储器)等存储部12、I/O(输入/输出)接口等未图示的其他外围电路的计算机而构成。需要说明的是,能够将发动机控制用ECU、行驶马达控制用ECU、制动装置用ECU等功能不同的多个ECU分开设置,但方便起见,在图1中示出控制器10作为这些ECU的集合。
在存储部12中存储高精度的详细的地图信息(称为高精度地图信息)。高精度地图信息包括:道路的位置信息、道路形状(曲率等)的信息、道路的坡度的信息、交叉路口、岔路口的位置信息、车道数的信息、车道的宽度以及每一车道的位置信息(车道的中央位置、车道位置的边界线的信息)、作为地图上的标记的地标(信号机、标识、建筑物等)的位置信息、路面的凹凸等路面概况的信息。存储于存储部12的高精度地图信息包括:通过通信单元7从本车辆的外部取得的地图信息,例如通过云服务器取得的地图(称为云地图)的信息、和使用外部传感器组1的检测值由本车辆自己制作的地图例如由使用SLAM(SimultaneousLocalization and Mapping:同步定位与地图构建)等技术通过映射生成的点云数据构成的地图(称为环境地图)的信息。在存储部12中还存储各种控制程序、关于在程序中使用的阈值等信息的信息。
运算部11具有本车位置识别部13、外界识别部14、行动计划生成部15、行驶控制部16、地图生成部17作为功能性结构。
本车位置识别部13基于由定位单元4获取的本车辆的位置信息和地图数据库5的地图信息来识别地图上的本车辆的位置(本车位置)。还可以使用存储于存储部12的地图信息和由外部传感器组1检测出的本车辆的周边信息来识别本车位置,由此能够高精度地识别本车位置。需要说明的是,在能够用设置在道路上、道路旁边这些外部的传感器测定本车位置时,也能够通过借助通信单元7与该传感器进行通信,来识别本车位置。
外界识别部14基于来自激光雷达、雷达、相机等外部传感器组1的信号识别本车辆周围的外部状况。例如识别在本车辆的周边行驶的周边车辆(前方车辆、后方车辆)的位置、行驶速度、加速度、在本车辆的周围停车或驻车着的周边车辆的位置以及其他物体的位置、状态等。其他物体包括:标识、信号机、道路的划分线或停止线等标示(路面标示)、建筑物、护栏、电线杆、广告牌、行人、自行车等。其他物体的状态包括:信号机的颜色(红、绿、黄)、行人、自行车的移动速度、朝向等。其他物体中的静止的物体的一部分构成作为地图上的位置的标志的地标,外界识别部14还识别地标的位置和类别。
行动计划生成部15例如基于由导航装置6运算出的目标路径、由本车位置识别部13识别出的本车位置、由外界识别部14识别出的外部状况,生成从当前时间点开始经过规定时间T为止的本车辆的行驶轨迹(目标轨迹)。当目标路径上存在作为目标轨迹的候补的多个轨迹时,行动计划生成部15从其中选择遵守法律且满足高效、安全地行驶等基准的最佳轨迹,并将所选择的轨迹作为目标轨迹。然后,行动计划生成部15生成与所生成的目标轨迹相应的行动计划。行动计划生成部15生成与用于超越先行车辆的超车行驶、变更行驶车道的车道变更行驶、跟随先行车辆的跟随行驶、不偏离行驶车道而保持车道的车道保持行驶、减速行驶或加速行驶等行驶方式相对应的各种行动计划。行动计划生成部15在生成目标轨迹时首先决定行驶方式,基于行驶方式生成目标轨迹。
在自动驾驶模式下,行驶控制部16对各执行器AC进行控制,以使本车辆沿着由行动计划生成部15生成的目标轨迹行驶。更具体而言,行驶控制部16考虑在自动驾驶模式下由道路坡度等决定的行驶阻力,计算用于得到由行动计划生成部15计算出的每单位时间的目标加速度的要求驱动力。然后,例如对执行器AC进行反馈控制,以使由内部传感器组2检测出的实际加速度成为目标加速度。即,对执行器AC进行控制,以使本车辆以目标车速和目标加速度行驶。需要说明的是,在手动驾驶模式下,行驶控制部16根据由内部传感器组2取得的来自驾驶员的行驶指令(转向操作等)对各执行器AC进行控制。
地图生成部17在以手动驾驶模式行驶的同时,使用由外部传感器组1检测出的检测值生成由三维点云数据构成的环境地图。具体而言,从由相机取得的拍摄图像数据(以下有时简称为拍摄图像)中,基于每一像素的亮度、颜色的信息提取示出物体的轮廓的边缘,并且使用该边缘信息提取特征点。特征点例如是边缘的交点,与建筑物的角、道路标识的角等相对应。地图生成部17将所提取出的特征点依次绘制在环境地图上,由此生成本车辆行驶过的道路周边的环境地图。还可以代替相机,使用由雷达、激光雷达取得的数据提取本车辆周围的物体的特征点,生成环境地图。还有,地图生成部17在生成环境地图时,通过例如模板匹配的处理来判定作为地图上的标记的信号机、标识、建筑物等地标是否包含在由相机取得的拍摄图像中。然后,当判定为包含地标时,基于拍摄图像,识别环境地图上的地标的位置和类别。这些地标信息包含在环境地图中,并被存储于存储部12。
本车位置识别部13与地图生成部17的地图制作处理并行地进行本车辆的位置推定处理。即,基于特征点的位置随着时间经过的变化,取得本车辆的位置。还有,本车位置识别部13基于与本车辆周围的地标的相对位置关系推定并取得环境地图上的本车位置。地图制作处理和位置推定处理是按照例如SLAM算法同时进行的。地图生成部17不仅在以手动驾驶模式行驶时,在以自动驾驶模式行驶时也能够同样地生成环境地图。在已经生成环境地图并存储在存储部12中的情况下,地图生成部17还可以根据新得到的特征点更新环境地图。
然而,在本车的位置推定处理中,将从相机1a的拍摄图像中提取出的特征点和存储于存储部12的环境地图进行对照(匹配),推定环境地图上的本车辆的位置。此时,基于构成环境地图的特征点中的、与信号机、道路上的划分线、道路的边界等作为地图上的标记的地标相对应的特征点来推定本车辆的位置。因此,那些特征点以外的特征点成为在本车辆的位置推定处理中不必要的数据,使环境地图的数据量不必要地增大。另一方面,当为了使环境地图数据量减小而削减特征点的数量时,特征点的匹配精度有可能下降,随之本车辆的位置的推定精度也可能会下降。因此考虑到这一点,在本实施方式中如下构成地图生成装置50。
图2是示出本发明的实施方式的地图生成装置50的主要部分结构的框图。该地图生成装置50构成图1的车辆控制系统100的一部分。如图2所示,地图生成装置50具有控制器10、相机1a、雷达1b、激光雷达1c、执行器AC。
相机1a是具有CCD(电荷耦合器件)、CMOS(互补金属氧化物半导体)等摄像元件(图像传感器)的单眼相机,构成图1的外部传感器组1的一部分。相机1a也可以是立体相机。相机1a拍摄本车辆的周围。相机1a安装在例如本车辆的前部的规定位置,连续地拍摄本车辆的前方空间,取得对象物的图像数据(以下称为拍摄图像数据或简称为拍摄图像)。相机1a将拍摄图像向控制器10输出。雷达1b搭载于本车辆,通过照射电磁波并检测反射波来检测本车辆周边的其他车辆、障碍物等。雷达1b将检测值(检测数据)向控制器10输出。激光雷达1c搭载于本车辆,测定本车辆的与全方位的照射光相对的散射光从而检测从本车辆到周边障碍物的距离。激光雷达1c将检测值(检测数据)向控制器10输出。
控制器10具有位置推定部131、提取部171、移动量推定部172、确定部173、生成部174作为运算部11(图1)所承担的功能性结构。需要说明的是,位置推定部131例如由图1的本车位置识别部13构成。还有,提取部171、移动量推定部172、确定部173、生成部174例如由图1的地图生成部17构成。
提取部171从由相机1a取得的拍摄图像中提取特征点。移动量推定部172基于由相机1a取得的拍摄图像来推定随着本车辆的移动而产生的相机1a的移动量。需要说明的是,移动量推定部172使用poseCNN(poseCNN:姿态卷积神经网络)来进行该移动量的推定。更详细而言,移动量推定部172将由相机1a取得的拍摄时间点不同的多个拍摄图像输入到poseCNN,并取得poseCNN基于那些拍摄图像推定出的相机1a的移动(平移移动和旋转)的量。poseCNN是基于输入的多个图像来推定拍摄该多个图像的相机的移动量的卷积神经网络。
确定部173确定移动量推定部172在推定移动量中所使用的拍摄图像内的区域。具体而言,确定部173确定由相机1a取得的拍摄图像的区域中的、poseCNN在推定移动量时所注视的注视区域。确定部173将ABN(Attention Branch Network:注意力分支网络)应用在poseCNN来确定注视区域。ABN是基于从poseCNN的卷积层得到的图像特征量,生成示出注视区域的注视图(Attention map)并输出的方法。确定部173取得在移动量推定部172中由poseCNN进行移动量的推定时从poseCNN的卷积层输出的图像特征量,并将该图像特征量输入到ABN,取得由ABN输出的注视图。然后,确定部173基于该注视图确定注视区域。
生成部174将由提取部171提取出的特征点中的、与由确定部173确定的注视区域相对应的特征点绘制在存储于存储部12中的环境地图上。由此,依次生成本车辆行驶过的道路周边的环境地图。
位置推定部131通过从规定位置开始累计由移动量推定部172推定出的移动量来推定本车辆的位置。还有,位置推定部131基于由提取部171提取出的特征点和存储于存储部120的环境地图来推定本车辆的位置。需要说明的是,并行地进行生成部174实施的地图信息的生成处理和位置推定部131实施的本车辆的位置推定处理。
图3是示出按照预先决定的程序由图2的控制器10执行的处理的一例的流程图。该流程图所示的处理例如在本车辆以手动驾驶模式行驶中每隔规定周期反复进行。
如图3所示,首先在S11(S:处理步骤)中,当取得相机1a的拍摄图像时,在S12中将该拍摄图像和在距离当前时间点规定时间之前的时间点取得的相机1a的拍摄图像输入到poseCNN。在poseCNN中,基于所输入的拍摄图像来推定相机1a的移动量(即本车辆的移动量)。在S13中取得由poseCNN推定移动量时从poseCNN的卷积层输出的图像特征量,并将该图像特征量输入到ABN。在ABN中,基于在S11中取得的相机1a的拍摄图像和所输入的图像特征量,生成示出在poseCNN进行推定时所注视的区域(注视区域)的注视图。基于由ABN生成的注视图确定注视区域。在S14中,从在S11中由相机1a取得的拍摄图像中提取特征点,并将所提取出的特征点中的与在S13中确定出的注视区域相对应的特征点绘制在存储于存储部12中的环境地图上。由此,依次生成环境地图。在S15中,基于在S14中提取出的特征点和存储于存储部120中的环境地图来推定并取得本车辆的位置。此时,也能够基于作为poseCNN的推定结果的相机1a的移动量和上次推定出的本车辆的位置来推定当前的本车辆的位置。
更具体地说明本实施方式的地图生成装置50的地图生成动作。图4A是示出相机1a的拍摄图像的一例的图。图4A的拍摄图像IM中包括本车辆周边的建筑物BL1、BL2、BL3、信号机SG、缘石CU、在本车辆的前方行驶的其他车辆V1、V2等。图4A的拍摄图像IM和距离当前时间点规定时间之前的时间点取得的相机1a的拍摄图像被输入到poseCNN,并推定本车辆的移动量(S12)。此时,从poseCNN的卷积层输出的图像特征量被输入到ABN,由ABN生成注视图(S13)。图4B是示意性地示出注视图的图。在图4B的注视图中,包括信号机SG、建筑物BL1、BL2的一部分的区域作为注视区域AR1、AR2、AR3被强调显示。在注视图中,在注视区域内注视度越高的像素用越高的浓度显示。图4C是示意性地示出从图4A的拍摄图像中提取出的特征点的图。图4C所示的特征点中的、与图4B所示的注视区域相对应的特征点被绘制在环境地图上(S14)。图4D是示意性地示出与注视区域相对应的特征点的图。
采用本发明的实施方式能够起到如下的作用效果。
(1)地图生成装置50具备:相机1a,其检测本车辆周围的外界状况;提取部171,其从由相机1a取得的拍摄图像中提取特征点;移动量推定部172,其基于该拍摄图像推定伴随本车辆的移动而产生的相机1a的移动量;确定部173,其确定移动量推定部172进行移动量的推定中所使用的拍摄图像内的区域;以及生成部174,使用由提取部171提取出的特征点中的、与由确定部173确定出的区域相对应的特征点来生成地图信息。由此,能够在抑制环境地图的数据量增大的同时,使环境地图的精度提高。
(2)移动量推定部172使用姿态卷积神经网络,基于由相机1a取得的检测时间点(拍摄时间点)不同的多个拍摄图像来推定相机1a的移动量,确定部173基于从姿态卷积神经网络的卷积层输出的图像特征量,确定在姿态卷积神经网络推定相机1a的移动量时所注视的、拍摄图像内的区域(注视区域)。这样,通过使用神经网络,能够自动且精确地确定推定移动量所必要的区域。由此,能够抑制将推定移动量所不必要的区域,例如移动体(图4A的其他车辆V1、V2)的区域、远方的物体的区域(图4A的建筑物BL3)确定为注视区域。还有,对于尽管被识别为移动体的物体却不移动的移动体,自动地确定(计算)为是推定移动量所必要的注视区域,因此例如通过在道路上停放的车辆的侧方时,能够无需人为地实现更高精度的SLAM(环境地图)的生成。
(3)地图生成装置50还具备:存储部12,其存储由生成部174生成的地图信息;和位置推定部131,其基于由提取部171提取出的特征点和存储于存储部12的地图信息来推定并取得本车辆的位置。并行地进行生成部174实施的地图信息的生成和位置推定部131实施的本车辆的位置的推定。由此,能够一边构建高精度的环境地图,一边基于该环境地图高精度地推定本车位置。
上述实施方式能够变形成各种方式。以下对若干变形例进行说明。在上述实施方式中,由相机1a检测本车辆周围的状况,但只要是检测本车辆周围的状况,则外界检测器的构成就可以是任何形式。例如外界检测器还可以是雷达1b、激光雷达1c。还有,在上述实施方式中,提取部171从根据由相机1a取得的拍摄图像数据所示的图像中提取特征点,但提取部还可以从根据雷达1b、光雷达1c的检测数据所示的图像中提取特征点。
还有,在上述实施方式中,移动量推定部172基于根据由相机1a取得的拍摄图像数据所示的图像来推定伴随本车辆的移动而产生的相机1a的移动量,但还可以是移动量推定部基于根据雷达1b、激光雷达1c的检测数据所示的图像来推定伴随本车辆的移动而产生的雷达1b、激光雷达1c的移动量。还有,在上述实施方式中,生成部174使用由提取部171提取出的特征点中的与由确定部173确定出的区域相对应的特征点来生成地图信息。但是,生成部取得注视图中所包含的或附属于注视图的、对注视区域内的各像素的注视度(poseCNN的注视的程度),根据所取得的对各像素的注视度,对各像素进行加权,并使用与注视区域内的特征点中的、该权值为规定值以上的区域即注视度为规定程度以上的区域相对应的特征点来生成地图信息。例如,在图4B中所示的例子中,还可以使用与注视区域AR1、AR2、AR3内的浓度最高的区域(最内侧的区域)相对应的特征点来生成地图信息。
还有,在上述实施方式中,将地图生成装置50应用在了自动驾驶车辆,但地图生成装置50也能够应用在除自动驾驶车辆以外的车辆。例如也能够在具有ADAS(Advanceddriver-assistance systems:高级驾驶辅助系统)的手动驾驶车辆上应用地图生成装置50。此外,在上述实施方式中,一边以手动驾驶模式行驶一边执行图3所示的处理,但还可以在以自动驾驶模式行驶时,执行图3所示的处理。
本发明还能够作为地图生成方法来使用,包括:从根据由检测本车辆周围的外界状况的相机1a的检测数据所示的图像中提取特征点的步骤;基于根据检测数据所示的图像来推定伴随本车辆的移动而产生的相机1a的移动量的步骤;确定在移动量的推定中所使用的图像内的区域的步骤;以及使用所提取出的特征点中的与所确定出的区域相对应的特征点来生成地图信息的步骤。
既能够任意组合上述实施方式和变形例的一个或者多个,也能够将各变形例彼此进行组合。
采用本发明,能够抑制地图的数据量增大的同时,使地图的精度提高。
以上,结合本发明的优选实施方式说明了本发明,但本领域技术人员应该理解,在不脱离后述的权利要求书的公开范围的情况下能够进行各种修改和变更。
Claims (6)
1.一种地图生成装置,其特征在于,具备:
外界检测器(1a),其检测本车辆周围的外界状况;
提取部(171),其从根据所述外界检测器(1a)的检测数据所示的图像中提取特征点;
移动量推定部(172),其基于根据所述检测数据所示的图像,推定伴随所述本车辆的移动而产生的所述外界检测器(1a)的移动量;
确定部(173),其确定所述移动量推定部(172)实施移动量的推定中所使用的所述图像内的区域;以及
生成部(174),其使用由所述提取部(171)提取出的特征点中的与由所述确定部(173)所确定的区域相对应的特征点来生成地图信息。
2.根据权利要求1所述的地图生成装置,其特征在于,
所述移动量推定部(172)使用神经网络基于根据检测时间点不同的多个所述检测数据所示的多个所述图像来推定所述外界检测器(1a)的移动量,
所述确定部(173)确定所述神经网络在推定所述外界检测器(1a)的移动量时所注视的、所述图像内的区域。
3.根据权利要求2所述的地图生成装置,其特征在于,
所述神经网络是姿态卷积神经网络,
所述确定部(173)基于从所述神经网络的卷积层输出的图像特征量确定所述神经网络在推定所述外界检测器(1a)的移动量时所注视的、所述图像内的区域。
4.根据权利要求3所述的地图生成装置,其特征在于,
所述生成部(174)取得所述区域内的各像素的所述姿态卷积神经网络的注视度,并使用该区域内的特征点中的与所述注视度为规定程度以上的特征点来生成地图信息。
5.根据权利要求1至4中的任一项所述的地图生成装置,其特征在于,还具有:
存储部(12),其存储由所述生成部(174)生成的地图信息;和
位置推定部(131),其基于由所述提取部(171)提取出的特征点和存储于所述存储部(12)的地图信息,推定并取得所述本车辆的位置,
并行地进行所述生成部(174)实施的地图信息的生成和所述位置推定部(131)实施的所述本车辆的位置的推定。
6.一种地图生成方法,其特征在于,包括:
从根据检测本车辆周围的外界状况的外界检测器(1a)的检测数据所示的图像中提取特征点的步骤;
基于根据所述检测数据所示的图像来推定伴随所述本车辆的移动而产生的所述外界检测器(1a)的移动量的步骤;
确定在所述移动量的推定中所使用的所述图像内的区域的步骤;以及
使用所提取出的所述特征点中的、与所确定的所述区域相对应的所述特征点生成地图信息的步骤。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021053872A JP2022151012A (ja) | 2021-03-26 | 2021-03-26 | 地図生成装置 |
JP2021-053872 | 2021-03-26 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115195746A true CN115195746A (zh) | 2022-10-18 |
Family
ID=83364519
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210178456.1A Pending CN115195746A (zh) | 2021-03-26 | 2022-02-25 | 地图生成装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220307861A1 (zh) |
JP (1) | JP2022151012A (zh) |
CN (1) | CN115195746A (zh) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6618767B2 (ja) * | 2015-10-27 | 2019-12-11 | 株式会社デンソーテン | 画像処理装置および画像処理方法 |
KR20200071293A (ko) * | 2018-12-11 | 2020-06-19 | 삼성전자주식회사 | 3차원 컬러 맵 기반의 측위 방법 및 장치 |
JPWO2021181861A1 (zh) * | 2020-03-10 | 2021-09-16 | ||
JP7529783B2 (ja) * | 2020-07-31 | 2024-08-06 | 富士フイルム株式会社 | 情報処理装置、情報処理方法、プログラム、及び情報処理システム |
JP2022087914A (ja) * | 2020-12-02 | 2022-06-14 | 本田技研工業株式会社 | 車両位置推定装置 |
JP7062747B1 (ja) * | 2020-12-25 | 2022-05-06 | 楽天グループ株式会社 | 情報処理装置、情報処理方法およびプログラム |
-
2021
- 2021-03-26 JP JP2021053872A patent/JP2022151012A/ja active Pending
-
2022
- 2022-02-21 US US17/676,756 patent/US20220307861A1/en active Pending
- 2022-02-25 CN CN202210178456.1A patent/CN115195746A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
JP2022151012A (ja) | 2022-10-07 |
US20220307861A1 (en) | 2022-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114987529A (zh) | 地图生成装置 | |
CN115050203B (zh) | 地图生成装置以及车辆位置识别装置 | |
US12054144B2 (en) | Road information generation apparatus | |
CN114926805B (zh) | 划分线识别装置 | |
CN114944073B (zh) | 地图生成装置和车辆控制装置 | |
JP7141478B2 (ja) | 地図生成装置 | |
CN114954510A (zh) | 划分线识别装置 | |
CN115112130A (zh) | 本车位置推定装置 | |
CN115195746A (zh) | 地图生成装置 | |
CN115050205B (zh) | 地图生成装置以及位置识别装置 | |
JP7583649B2 (ja) | 地図生成装置および車両位置認識装置 | |
US11867526B2 (en) | Map generation apparatus | |
US12123739B2 (en) | Map generation apparatus | |
US20230314162A1 (en) | Map generation apparatus | |
JP7543196B2 (ja) | 走行制御装置 | |
JP7141479B2 (ja) | 地図生成装置 | |
US20230314163A1 (en) | Map generation apparatus | |
CN114987528A (zh) | 地图生成装置 | |
CN114954508A (zh) | 车辆控制装置 | |
CN114987532A (zh) | 地图生成装置 | |
CN114926804A (zh) | 划分线识别装置 | |
CN116890846A (zh) | 地图生成装置 | |
JP2024085978A (ja) | 地図評価装置 | |
JP2024078845A (ja) | 車線推定装置および地図生成装置 | |
JP2022121835A (ja) | 距離算出装置および車両位置推定装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |