[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN113748314A - 交互式三维点云匹配 - Google Patents

交互式三维点云匹配 Download PDF

Info

Publication number
CN113748314A
CN113748314A CN201880100676.4A CN201880100676A CN113748314A CN 113748314 A CN113748314 A CN 113748314A CN 201880100676 A CN201880100676 A CN 201880100676A CN 113748314 A CN113748314 A CN 113748314A
Authority
CN
China
Prior art keywords
point cloud
cloud data
user
user interface
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880100676.4A
Other languages
English (en)
Other versions
CN113748314B (zh
Inventor
张妍
侯庭波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Didi Infinity Technology and Development Co Ltd
Original Assignee
Beijing Didi Infinity Technology and Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Didi Infinity Technology and Development Co Ltd filed Critical Beijing Didi Infinity Technology and Development Co Ltd
Publication of CN113748314A publication Critical patent/CN113748314A/zh
Application granted granted Critical
Publication of CN113748314B publication Critical patent/CN113748314B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3833Creation or updating of map data characterised by the source of data
    • G01C21/3841Data obtained from two or more sources, e.g. probe vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/85Arrangements for transferring vehicle- or driver-related data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05Geographic models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/166Navigation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/592Data transfer involving external databases
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808Evaluating distance, position or velocity data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2012Colour editing, changing, or manipulating; Use of colour codes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2016Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • General Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Mechanical Engineering (AREA)
  • Software Systems (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Architecture (AREA)
  • Navigation (AREA)

Abstract

公开了涉及生成交互式用户界面的系统和方法,该交互式用户界面使用户能够在虚拟三维空间中移动、旋转或以其它方式编辑三维点云数据,以在生成高分辨率地图之前使通过光检测和测距扫描捕获的点云对准或匹配。系统可以获得两个或更多个点云的点云数据,在用户界面中渲染这些点云以供显示,然后接收对这些点云中的一个点云的用户选择以及来自用户的移动和/或旋转所选定的点云的命令。该系统可以响应于用户命令实时地调整所选定的点云相对于其它同时显示的点云的显示位置,并且存储调整后的点云位置数据以供生成新的高分辨率地图时使用。

Description

交互式三维点云匹配
通过引用并入优先权申请
在本申请的申请数据表中认定外国或国内优先权要求的任何和所有申请(如果有的话)依据37CFR1.57通过引用整体并入本文。
版权声明
本专利文件公开的部分内容包含受版权保护的材料。版权所有者不反对任何人按美国专利和商标局文件和/或记录中所示的复制该专利文件或专利公开内容,而在其它方面保留所有版权。
背景技术
车辆——例如用于共享出行目的的车辆、提供驾驶员辅助功能的车辆和/或自动或自主驾驶车辆(AV)——可以使用车载数据处理系统获取和处理传感器数据以执行多种多样的功能。例如,功能可以包括确定和/或显示导航路线、识别道路标志、检测物体和/或道路障碍物、控制车辆操作等。为自动驾驶车辆提供准确且精确的高分辨率地图是能够实现完全自动驾驶的最基本且最重要的先决条件之一。为了安全起见,自动驾驶汽车需要访问的地图包含远远比非为自动驾驶目的而设计的典型现有地图资源中所见的更详细的信息和真地表绝对精度(true-ground-absolute accuracy)。
附图说明
图1A示出了根据一个实施例的联网车辆环境的框图,其中一个或多个车辆和/或一个或多个用户设备与服务器相互交互。
图1B示出的框图显示根据一个实施例的图1A的车辆与图1A的一个或多个其它车辆和/或服务器通信。
图2示出的框图显示根据一个实施例的图1A和图1B的服务器与地图编辑器设备通信。
图3是包括三维点云渲染和二维地图投影的缩小视图的说明性用户界面,其中二维地图投影包括表示不同光检测和测距扫描区域的图形指示符。
图4是包括三维点云渲染和二维地图投影的放大视图的说明性用户界面,包括节点的叠加图形指示符和与点云数据相关联的位姿图形内的连接。
图5是包括三维点云渲染和二维地图投影的说明性用户界面,其中已移除两个用户选择的节点。
图6是包括三维点云渲染和二维地图投影的缩小视图的说明性用户界面,其中已基于与用户界面的用户交互对显示的位姿图形数据进行了更改。
图7是用于提供让用户能够查看和编辑点云和位姿图形数据以用于生成高分辨率地图的用户界面功能的说明性方法的流程图。
图8是包括三维点云渲染和二维地图投影的放大视图的说明性用户界面,包括用户选择的点之间的距离测量的显示。
图9是包括两个点云的三维点云渲染且让用户能够以可视方式重新对准或匹配相应点云中的点的说明性用户界面。
图10是用于让用户能够以可视方式编辑一个或多个点云的定位以用于生成高分辨率地图的说明性方法的流程图。
具体实施方式
构建大型高分辨率地图(high definition map,HD map),如整个城市的高分辨率地图,是一个相对较新的技术领域。挑战之一是必须通过多部分地图构建管道来处理和勘察(通常以编程方式)大量捕获的数据。尽管三维密集点云和二维地图图像的最终输出,但典型的高分辨率地图构建过程中也存在中间结果,例如光检测和测距(LIDAR)扫描和对应的位姿图形。构建高分辨率地图的现有方法通常缺乏高效工具,用于让计算系统的用户能够以可视方式勘察捕获的光检测和测距扫描数据的特定区域中的数据,将中间结果和最终结果可视化,并通过图形用户界面交互地对中间数据进行更改来提高最终高分辨率地图数据的质量。本公开的多个方面包括多种用户界面工具和关联的计算机功能,其能够针对捕获的光检测和测距数据、位姿图形、地图数据的二维和三维可视化实现集成的可视化勘察和编辑,以便构建更准确的高分辨率地图。
根据本公开的一个或多个说明性实施例的系统和方法的详细描述和示例可以参见标题为改进的高分辨率地图生成特征和关联的界面的部分以及标题为示例实施例的部分以及本文附图2-10。再者,可以将交互式用户界面和关联的高分辨率地图生成特征的部件和功能可以配置和/或并入到本文在图1A和图1B中描述的联网车辆环境100中。
本文描述的多种实施例与车辆和/或计算机技术密切相关,通过车辆和/或计算机技术能够得以实现,并且依存于车辆和/或计算机技术存在。例如,正如本文参考多种实施例描述的,生成交互式图形用户界面以用于显示和实现用于操控三维虚拟空间中的可能数百万的点的数据点的关联的计算机功能,在没有实现这些交互式用户界面所依据的车辆和/或计算机技术的情况下,无法单独由人工合理地执行。
联网车辆环境
图1A示出了根据一个实施例的联网车辆环境100的框图,其中一个或多个车辆120和/或一个或多个用户设备102经由网络110与服务器130交互。例如,车辆120可以配备以提供共享出行和/或其它基于位置的服务,以帮助驾驶员控制车辆操作(例如,通过多种驾驶员辅助特征,例如自适应和/或常规巡航控制,自适应前灯控制,防抱死制动、自动泊车、夜视、盲点监测、碰撞避免、侧风稳定、驾驶员疲劳检测、驾驶员监控系统、紧急驾驶员辅助,交叉路口辅助、陡坡缓降控制、智能速度自适应、车道居中、车道偏离警告、前方、后方和/或侧方停车传感器、行人检测、雨量传感器、环视系统、胎压监测器、交通标志识别、转向辅助、逆向驾驶警告、交通状况提示等)和/或完全控制车辆运行。因此,车辆120可以是常规的汽油、天然气、生物燃料、电动、氢气等的,被配置为提供共享出行和/或其它基于位置的服务,提供驾驶员辅助功能(例如,一个或多个本文描述的驾驶员辅助特征)的车辆或自动或自主驾驶车辆(AV)。车辆120可以是汽车、卡车、面包车、公共汽车、摩托车、踏板车、自行车和/或任何其它机动车辆。
服务器130可以与车辆120通信以获得车辆数据,例如路线数据、传感器数据、感知数据、车辆120控制数据、车辆120部件故障和/或故障数据等。服务器130可以处理和存储这些车辆数据以在由服务器130和/或另一计算系统(未示出)执行的其它操作中使用。此类操作可以包括运行用于识别车辆120运行问题(例如,车辆120导航误差的原因、异常传感器读数、未识别的物体、车辆120部件故障等)的诊断模型;运行用于给定一组变量的情况下仿真车辆120性能的模型;识别车辆120无法识别的物体,生成在被车辆120执行时使车辆120沿着指定的路径以某种方式驾驶和/或操控的控制指令;和/或类似操作。
服务器130还可以将数据传送到车辆120。例如,服务器130可以传送地图数据、固件和/或软件更新、车辆120控制指令、未能被车辆120以其它方式识别的物体的标识、乘客接取信息、交通数据和/或者类似信息。
除了与一个或多个车辆120通信之外,服务器130还能够与一个或多个用户设备102通信。具体地,服务器130可以提供网络服务以便让用户能够通过在用户设备102上运行的应用请求基于位置的服务(例如,运送服务,如共享出行服务)。例如,用户设备102可以对应于通过网络110与服务器130通信的计算设备,例如智能电话、平板电脑、笔记本电脑、智能手表或任何其它设备。在该实施例中,用户设备102执行诸如移动应用的应用,操作用户设备102的用户可以使用该应用与服务器130交互。例如,用户设备102可以与服务器130通信,以向服务器130提供位置数据和/或查询,从服务器130接收地图相关数据和/或方向,和/或类似操作。
服务器130可以处理从用户设备102接收的请求和/或其它数据,以识别服务提供方(例如,车辆120驾驶员)以向用户提供所请求的服务。此外,服务器130可以接收数据——例如用户行程接取或目的地数据、用户位置查询数据等——服务器130基于这些数据识别与各种用户关联的区域、地址和/或其它位置。然后,服务器130可以使用所识别的位置以向服务提供方和/或用户提供指向所确定的接取位置的方向。
在用户设备102上运行的应用可以由负责服务器130的同一实体创建和/或使其可用。可选地,用户设备102上运行的应用可以是包含能够与服务器130通信的特征的第三方应用(例如,应用编程接口或软件开发工具包)。
为简化和易于解释,图1A中图示单个服务器130。然而,应理解,服务器130可以是单个计算设备,或者可以包括逻辑上或物理上组合在一起以共同作为服务器系统运行的多个不同的计算设备。服务器130的部件可以在专用硬件(例如,具有一个或多个ASIC的服务器计算设备)中实现从而不需要软件,或者作为硬件和软件的组合来实现。此外,服务器130的模块和部件可以组合在一个服务器计算设备上,或各自分开或分组设置于多个服务器计算设备上。在一些实施例中,服务器130可以包括比图1A中所示的更多或更少的部件。
网络110包括任何有线网络、无线网络或其组合。例如,网络110可以是个人区域网、局域网、广域网、空中广播网络(例如,用于广播或电视)、有线网络、卫星网络、蜂窝电话网络或其组合。作为又一个示例,网络110可以是链接网络的公共可访问网络,可能由各种不同的机构运营,例如因特网。在一些实施例中,网络110可以是私有或半私有网络,例如公司或大学内联网。网络110可包括一个或多个无线网络,例如全球移动通信系统(GSM)网络、码分多址(CDMA)网络、长期演进(LTE)网络或任何其它类型的无线网络。网络110可以使用协议和组件来通过互联网或任何其它上述类型的网络进行通信。例如,网络110使用的协议可以包括超文本传输协议(HTTP)、超文本传输安全协议(HTTPS)、消息队列遥测传输(MQTT)、受限应用协议(CoAP)等。用于经由因特网或任何其它上述类型的通信网络进行通信的协议和部件是本领域技术人员公知的,因此在此不再进行更详细的描述。
服务器130可以包括导航单元140、车辆数据处理单元145和数据存储150。导航单元140可以协助基于位置的服务。例如,导航单元140可以帮助用户(在此也称为“驾驶员”)将另一用户(在此也称为“搭车者”)和/或物体(例如,食物、包裹等)从第一位置(在此也称为“接取位置”)运送到第二位置(在此也称为“目的地位置”)。导航单元140可以通过向在搭车者的用户设备102上运行的应用、向驾驶员的用户设备102上运行的应用、和/或向车辆120上运行的导航系统提供地图和/或导航指令,来帮助实现用户和/或物体运送。
作为示例,导航单元140可以包括匹配服务(未示出),该匹配服务将请求从接取位置到目的地位置的行程的搭车者,与能够完成该行程的驾驶员进行配对。该匹配服务可以与在搭车者的用户设备102上运行的应用和/或在驾驶员的用户设备102上运行的应用交互,以建立搭车者的行程和/或处理从搭车者对驾驶员的付款。
导航单元140还可以在行程期间与驾驶员的用户设备102运行上的应用通信,以从用户设备102获得行程位置信息(例如,通过耦合到和/或嵌入在用户设备102中的全球定位系统(GPS)部件),并向该应用提供导航方向,所述导航方向帮助驾驶员从当前位置行驶到目的地位置。导航单元140还可以向驾驶员指示多个不同地理位置或兴趣点,而无论驾驶员是否在搭载搭车者。
车辆数据处理单元145可以被配置为支持车辆120的驾驶员辅助特征和/或支持自动驾驶。例如,车辆数据处理单元145可以生成地图数据和/或将其传送到车辆120,运行用于识别车辆120的操作问题的诊断模型,运行用于在给定一组变量的情况下仿真车辆120的性能的模型,使用车辆120提供的车辆数据来识别物体并将物体的标识传送到车辆120,生成车辆120控制指令和/或将其传送到车辆120,和/或类型操作。
数据存储器150可以存储导航单元140、车辆数据处理单元145、用户设备102和/或车辆120所使用的多种类型的数据。例如,数据存储150可以存储用户数据152、地图数据154、搜索数据156和日志数据158。
用户数据152可以包括有关注册于基于位置的服务的一些或所有用户的信息,例如驾驶员和搭车者。该信息可以包括例如用户名、密码、姓名、地址、帐单信息、与用户所采用或获得服务的先前行程相关联的数据、用户评级信息、用户忠诚度程序信息和/或类似信息。
地图数据154可以包括从传感器(例如,光探测和测距(LiDAR)传感器、无线电探测和测距(RADAR)传感器、红外相机、可见光相机、立体相机、惯性测量单元(IMU)等)生成的高分辨率地图、卫星图像、在捕获的街道图像上执行的光学字符识别(OCR)(例如,识别街道名称、识别街道标志文字、识别兴趣点名称等)等;用于计算路线的信息;用于渲染二维和/或三维图形地图的信息;和/或类似信息。例如,地图数据154可以包括诸多元素:如街道和十字路口的布局、桥梁(例如,包括有关过街天桥的高度和/或宽度的信息)、出口匝道、建筑物、停车结构入口和出口(例如,包括有关车辆入口和/或出口的高度和/或宽度的信息)、路牌和停车灯的位置、紧急岔道、兴趣点(例如公园、餐馆、加油站、景点、地标等以及关联名称)、道路标记(例如,分隔对面车道的中心线标记、车道标记、停车线、左转引导线、右转引导线、人行横道、公交车道标记、自行车道标记、安全岛标记、路面文字、高速公路出口和入口标记等)、路缘石、铁路线、水路、左右转弯的转弯半径和/或角度、道路特征的距离和尺寸、双向交通之间隔离物的位置和/或类似元素,连同与这些元素相关联的地理位置(例如,地理坐标)。地图数据154还可以包括参考数据,例如实时和/或历史交通信息、当前和/或预测的天气状况、道路作业信息、有关法律和法规的信息(例如,速度限制、是否允许或禁止在红灯时右转、是否允许或禁止掉头、允许的行驶方向和/或类似的信息)、新闻事件,和/或类似信息。
虽然地图数据154示出为存储在服务器130的数据存储150中,但这并不意味着是限制性的。例如,服务器130可以将地图数据154传送到车辆120以存储在其中(例如,如下文描述,存储在数据存储129中)。
搜索数据156可以包括过去由多个不同用户输入的搜索。例如,搜索数据156可以包括对接取和/或目的地位置的文本搜索。搜索可以针对特定地址、地理位置、与地理位置相关联的名称(例如,公园、餐厅、加油站、景点、地标等的名称)等。
日志数据158可以包括由一个或多个车辆120提供的车辆数据。例如,车辆数据可以包括路线数据、传感器数据、感知数据、车辆120控制数据、车辆120部件故障和/或故障数据等。
图1B示出的框图显示了根据一个实施例的图1A的车辆120与图1A的一个或多个其它车辆170A-N和/或服务器130通信。如图1B所示,车辆120可以包括多种部件和/或数据存储。例如,车辆120可以包括传感器阵列121、通信阵列122、数据处理系统123、通信系统124、内部接口系统125、车辆控制系统126、操作系统127、映射引擎128和/或数据存储129。
可以在车辆120、一个或多个车辆170A-N和/或服务器130之间发送和/或接收通信180。服务器130可以传送和/或从车辆120接收数据,正如上文结合图1A所描述的。例如,服务器130可以向车辆120传送车辆控制指令或命令(例如,作为通信180)。车辆控制指令可以被通信阵列122(例如,被配置为发射和/或接收无线信号的一个或多个天线的阵列)接收,该通信阵列由通信系统124(例如,收发器)来操作。通信系统124可以将车辆控制指令传送到车辆控制系统126,该车辆控制系统可以操作车辆120的加速、转向、刹车、灯光、信号和其它操作系统127,以便驾驶和/或操控车辆120和/或协助驾驶员驾驶和/或操控车辆120通过道路交通驶向由车辆控制指令所指定的目的地位置。
作为示例,车辆控制指令可以包括路线数据163,其可以由车辆控制系统126处理以操控车辆120和/或协助驾驶员沿着给定路线操控车辆120(例如,由服务器130和/或映射引擎128计算出的优化路线)驶向指定的目的地位置。在处理路线数据163时,车辆控制系统126可以生成控制命令164以供操作系统127执行(例如,加速、转向、刹车、操控、倒车等)以使车辆120沿路线行驶到目的地位置,和/或协助驾驶员沿线路操控车辆120驶向目的地位置。
目的地位置166可以由服务器130基于在用户设备102上运行的应用所传送的用户请求(例如,接取请求、递送请求等)来指定。备选地或附加地,车辆120的搭车者和/或驾驶员可以通过内部接口系统125(例如,车辆导航系统)提供用户输入169来提供目的地位置166。在一些实施例中,车辆控制系统126可以将输入的目的地位置166和/或车辆120的当前位置(例如,作为GPS数据包)作为通信180经由通信系统124和通信阵列122传送到服务器130。服务器130(例如,导航单元140)可以使用车辆120的当前位置和/或输入的目的地位置166来执行优化操作,以确定车辆120行驶到目的地位置166的最优路线。可以将包括最优路线的路线数据163经由通信阵列122和通信系统124,从服务器130传送到车辆控制系统126。由于接收到路线数据163,车辆控制系统126能使操作系统127操控车辆120通过交通沿最优路线驶向目的地位置166,协助驾驶员操控车辆120通过交通沿最优路线驶向目的地位置166,和/或使内部接口系统125显示和/或呈现用于操控车辆120通过交通沿最优路线驶向目的地位置166的指令。
备选地或附加地,路线数据163包括最优路线,并且车辆控制系统126自动地将路线数据163输入到映射引擎128中。映射引擎128可以使用最优路线生成地图数据165(例如,生成显示最优路线的地图和/或采取最优路线的指令)并且将地图数据165提供到内部接口系统125(例如,经由车辆控制系统126)以显示。地图数据165可以包括从存储在服务器130上的数据存储150中的地图数据154中导出的信息。显示的地图数据165可以指示估计的到达时间和/或显示车辆120沿最优路线的行程进度。显示的地图数据165还可以包括指示符,例如改道命令、紧急通知、道路作业信息、实时交通数据、当前天气状况、有关法律和法规的信息(例如,限速、红灯时是否允许或禁止右转、哪里允许或禁止掉头、允许的行驶方向等)、新闻事件和/或类似信息。
用户输入169也可以是访问网络(例如,网络110)的请求。响应于此类请求,内部接口系统125可以生成访问请求168,其可以由通信系统124处理,以将通信阵列122配置为发送和/或接收对应于用户与内部接口系统125交互和/或与内部接口系统125通信的用户设备102交互(例如,通过无线连接连接到内部接口系统125的用户设备102)的数据。例如,车辆120可以包括车载Wi-Fi,乘客和/或驾驶员可以访问该Wi-Fi以发送和/或接收电子邮件和/或文本消息、音频流和/或视频内容、浏览内容页面(例如,网络页面、网站页面等)和/或访问使用网络访问的应用。基于用户交互,内部接口系统125可以经由网络110、通信阵列122和/或通信系统124接收内容167。通信系统124可以动态地管理网络访问以避免内容167传输中断或将其减到最少。
传感器阵列121可以包括任意数量的一种或多种类型的传感器,例如卫星无线电导航系统(例如,GPS)、光检测和测距传感器、景观传感器(例如,无线电探测和测距传感器)、惯性测量单元、相机(例如,红外相机、可见光相机、立体相机等)、Wi-Fi检测系统、蜂窝通信系统、车辆间通信系统、道路传感器通信系统、特征传感器、接近度传感器(例如,红外、电磁、光电等)、距离传感器、深度传感器和/或类似装置。卫星无线电导航系统可以基于对从卫星星座接收的信号的分析来计算车辆120的当前位置(例如,在1-10米的范围内)。
光检测和测距传感器、无线电探测和测距和/或任何其它类似类型的传感器可用于在车辆120处于运动中或即将开始运动时检测车辆120的周围环境。例如,光检测和测距传感器可用于从接近的物体反射多个激光束,以评估它们的距离并提供有关周围环境的准确三维信息。从光检测和测距传感器获得的数据可用于执行物体识别、运动矢量确定、碰撞预测和/或实施事故避免过程。可选地,光检测和测距传感器可以使用旋转扫描镜组件来提供360°视角。光检测和测距传感器可以可选地安装在车辆120的车顶上。
惯性测量单元可以包括X、Y、Z朝向的陀螺仪和/或加速度计。惯性测量单元提供有关车辆120的转动和直线运动的数据,其可用于计算车辆120的运动和位置。
相机可用于捕获车辆120周围环境的视觉图像。具体根据相机的配置和数量,相机可以提供车辆120周围的360°视角。来自相机的图像可用于读取道路标记(例如,车道标记)、读取街道标志、检测物体和/或类似操作。
Wi-Fi检测系统和/或蜂窝通信系统可分别用于对Wi-Fi热点或蜂窝塔进行三角测量,以确定车辆120的位置(可选地结合卫星无线电导航系统)。
车辆间通信系统(其可包括Wi-Fi检测系统、蜂窝通信系统和/或通信阵列122)可用于接收和/或向其它车辆170A-N传送数据,例如车辆120的当前速度和/或位置坐标、与规划减速时以及规划的减速率相对应的时间和/或位置坐标、规划停止操作时的时间和/或位置坐标、规划变道时以及变道方向的时间和/或位置坐标、规划转弯操作时的时间和/或位置坐标、规划停车操作时的时间和/或位置坐标和/或类似操作。
道路传感器通信系统(可包括Wi-Fi检测系统和/或蜂窝通信系统)可用于从道路传感器(例如,指示车流速度和/或交通拥堵)读取信息和/或从交通控制设备(例如,交通信号灯)读取信息。
当用户(例如,通过在用户设备102上运行的应用)请求接送时,用户可以指定具体的目的地位置。初始位置可以是车辆120的当前位置,其可以使用安装在车辆中的卫星无线电导航系统(例如,GPS、Galileo、COMPASS、DORIS、GLONASS和/或其它卫星无线电导航系统)、Wi-Fi定位系统、蜂窝塔三角测量和/或类似方式来予以确定。可选地,初始位置可由用户通过车辆120提供的用户界面(例如,内部接口系统125)或通过运行该应用的用户设备102来指定。可选地,可以根据从用户设备102获得的位置信息自动确定初始位置。除了初始位置和目的地位置之外,还可以指定一个或多个路径点,从而启用多个目的地位置。
来自传感器阵列121的原始传感器数据161可由车载数据处理系统123来处理。处理后的数据162则可以被数据处理系统123传送到车辆控制系统126,并且可选地经由通信系统124和通信阵列122传送到服务器130。
数据存储129可以存储地图数据(例如,地图数据154)和/或地图数据154的子集(例如,对应于车辆120当前所在的大致区域的地图数据154的一部分)。在一些实施例中,车辆120可以使用传感器阵列121沿行驶路线记录更新的地图数据,并经由通信系统124和通信阵列122将更新的地图数据传送到服务器130。服务器130然后可以将更新的地图数据传送到车辆170A-N中的一个或多个和/或进一步处理更新的地图数据。
数据处理系统123可以向车辆控制系统126提供连续或接近连续处理的数据162,以响应车辆120周围环境中的点对点活动。处理后的数据162可以包括原始传感器数据161——表示车辆120的运行环境并且由传感器阵列121连续收集——与存储在数据存储129中的地图数据之间的比较。在一个示例中,将数据处理系统123编程为具有机器学习或其它人工智能能力,以使车辆120能够识别和响应状况、事件和/或潜在危险。在变体中,数据处理系统123可以连续地或接近连续地将原始传感器数据161与存储的地图数据进行比较,以执行定位从而连续地或接近连续地确定车辆120的位置和/或方向。车辆120的定位可使车辆120能与存储的地图数据相比得知车辆120的即时位置和/或方向,以操控车辆120在街区道路上通过交通,和/或协助驾驶员操控车辆120在街区道路上通过交通并且识别和响应潜在危险(例如,行人)或当地状况,例如天气或交通状况。
再者,定位可使车辆120能够对通信阵列122进行调谐或波束转向,以将通信链接质量提高到最大和/或将来自其它车辆170A-N的其它通信的干扰减到最小。例如,通信系统124可以响应于从服务器130接收到的网络配置命令来对通信阵列122的辐射方向图进行波束转向控制。数据存储129可以存储标识网络基站和/或提供网络连接的其它网络源的当前网络源地图数据。网络源地图数据可以指示车辆120所在区域内的基站和/或可用网络类型(例如,3G、4G、LTE、Wi-Fi等)的位置。
虽然图1B将某些操作描述为由车辆120或服务器130执行,但这并不意味着作为限制。如本文描述的由车辆120和服务器130执行的操作可以由任一实体来执行。例如,通常由服务器130执行的某些操作(例如,向车辆170A-N传送更新地图数据)可由车辆120执行,以便达到负载平衡目的(例如,减少服务器130的处理负载,利用车辆120上的空闲处理能力等)。
再者,车辆170A-N中的任一个可以包括本文描述的车辆120的一些或全部部件。例如,车辆170A-N可以包括通信阵列122以与车辆120和/或服务器130进行通信。
改进的高分辨率地图生成特征和相关接口
本文公开的某些方法涉及生成交互式用户界面,该交互式用户界面让用户能够在生成高分辨率地图之前更改根据光检测和测距扫描生成的三维点云数据和/或关联的位姿图形数据。用户可以在具有重叠图形节点指示符的二维地图表示中进行选择,以便更改图形连接,移除节点,查看对应的三维点云,以及以其它方式编辑来自光检测和测距扫描的中间结果以便提高根据该用户操控的数据生成的高分辨率地图的质量。可以将提高质量的高分辨率地图传送到一个或多个车辆,例如车辆120,以帮助驾驶员导航、驾驶和/或操控车辆120和/或用于自动驾驶方式导航、驾驶和/或操控车辆120。
根据本公开的一些实施例,当车辆(例如,自动驾驶车辆、用于基于位置的服务的车辆、提供驾驶员辅助功能的车辆等)在道路上行驶时,从位于车顶的光检测和测距传感器收集三维点云扫描。然后,可以将来自不同区域的这些光检测和测距扫描传递到数据处理的自动化管道,所述数据处理包括多种扫描的滤波、组合和匹配。然后可以通过这些点云的投影生成高分辨率地图。除了三维点云和二维地图图像之外,有所助益的是,还具有用于将位姿图形和关联的光检测和测距扫描可视化的工具,使得辅助映射过程的监管用户可以可视方式确定在自动映射管道中的多个不同步骤之后是否仍有不一致或不准确。
本公开的多个方面包括,例如,用于在不同级别上查看高分辨率地图、勘察高分辨率地图的某个部分的三维点云、根据地图或点云测量两个点之间的距离以及调整地图多个部分以更好地对准或匹配两个或更多个点云的用户界面。本文描述的用户界面和关联的功能可用于提高现有映射方法的精确度和效率。
正如本文将进一步描述的,本公开的多个方面包括三个相关区域:地图勘察、地图编辑和地图评估。当在用户界面中勘察地图时,用户可以在二维地图视图中查看感兴趣区域(ROI),并选择一部分以便在用户界面的单独窗格或观看区域中查看相应的三维点云。当在二维和/或三维视图中评估和编辑地图时,用户可以交互地进行即时更改以减少或最小化由先前完成的自动映射过程产生的非意料的不准确性。
本文描述的地图勘察特征包括加载一个或多个地图图形(在一些实施例中,可以采用位姿图形的形式)并且在呈示二维地图数据视图的用户界面的一部分中呈现该图形中的节点和边的可视表示。用户界面内的此类视图让用户能够以可视方式检查构造的位姿图形,在图形的多个部分之间导航以勘察关联的三维点云,并基于可视检查确定是否需要对图形进行任何编辑。本文描述的用户界面让用户能够在二维地图视图或三维点云视图内进行移动和缩放。可以根据缩放级别在不同缩放级别的具有不同形式的图形指示符上渲染图形。例如,在缩小级别上,可以作为覆盖地图的大面积的矩形或多边形提取不同的子图形,同时放大可以使用户界面更新以显示相同子图形的个别节点和连接,正如本文进一步描述的。
本文描述的地图勘察特征还包括让用户能够选择一个或多个图形节点以便在三维渲染的视图中查看其点云。来自不同节点的点云可以在相同视图中以不同的颜色渲染,使用户能够以可视方式确定相邻点云的对准程度以及识别任何不准确性。当观看点云时,用户可以在三维中选择移动、旋转和/或放大。本文描述的用户界面还可以让使用户能够在单个二维地图视图中比较两个不同构造的图形,以便比较任何差异或错位。附加地,用户界面可以包括背景标尺网格,并且能够实现在二维地图视图或三维点云视图中选择的两个点之间的手动或自动实际世界距离测量。
本文描述的地图编辑特征包括让用户能够从图形中删除边,将边添加到图形以及从图形中删除节点。然后,这些更改可以影响哪个点云数据用于构建最终的高分辨率地图,以及如何在高分辨率地图中组合与不同的光检测和测距扫描关联的点云数据。附加地,本文的用户界面特征可以让用户能够调整两个点云的对准或配位。例如,如果用户识别出点云数据中由于一个或多个点云相对于另一个点云错位或不准确性而导致地图质量不理想的区域,则用户可以移动该点云数据以调整来自另一个光检测和测距扫描或捕获的相邻或冗余点的定位。
图2示出的框图显示根据地图编辑环境200的一个实施例的图1A和图1B的服务器与地图编辑器设备202通信。监管用户可以使用地图编辑器设备202以在高分辨率地图生成过程中的各个点处查看,编辑和改进中间数据。例如,如下文描述,地图编辑器设备202的用户可以访问这样的用户界面:该用户界面让用户能够在服务器130生成供一个或多个车辆120使用的最终高分辨率地图数据之前,查看和编辑可能存储在地图数据存储154中的点云数据和相关联的位姿图形数据。地图编辑器设备202可以经由网络204与服务器130通信,该网络可以是上文结合网络110描述的任何网络类型。网络204可以是与网络110相同的网络或不同的网络。例如,在一个实施例中,网络204可以是由服务器130的运营商控制的局域网。
如图2中所示,除了图1A中所示的部件之外,服务器130可以包括地图编辑单元210、用户界面单元212,地图渲染单元214和地图编辑器数据214。在所示实施例中,地图编辑单元210通常可以负责通过编程方法以及响应于来自地图编辑器设备202的用户发起的请求两者,实现对原始和中间高分辨率地图相关数据进行更改。用户界面单元212可以负责生成本文将描述的多种用户界面以供显示(例如由地图编辑器设备202来显示),例如用于使地图编辑器设备202的用户能够可视化和操控点云数据、位姿图形数据以及中间和最终高分辨率地图数据的用户界面。地图渲染单元214可以根据中间结果,例如点云数据和位姿图形数据,生成高分辨率地图。
存储的地图编辑器数据214可以包括例如由地图编辑器设备202的用户对点云数据和/或位姿图形数据所做更改的日志,以便可以回滚或撤消所述更改。地图编辑器数据214还可以包括例如对于生成高分辨率地图本身并不需要但是有助于用户进行可视化和编辑的信息。例如,此类数据可以包括指派给各个图形以在用户界面中显示的颜色、有关图形或点云操控的键盘快捷键的用户偏好、三维渲染或二维投影偏好(例如,默认缩放级别、分辨率、颜色方案,缩放或旋转灵敏度等)、供进一步的回顾的地图中由用户标记的部分或区域和/或其它数据。在一些实施例中,地图编辑器设备202可以是计算系统,例如桌面或笔记本电脑或移动计算设备(例如智能电话或平板设备)。地图编辑器设备202可以包括显示设备(例如显示监视器、触摸屏显示器或其它公知的显示设备)或与之通信。地图编辑器设备202还可以包括用户输入设备或与之通信,包括但不限于鼠标、键盘、滚动设备、触摸屏显示、运动捕获设备和/或触控笔。
在一个实施例中,地图编辑器设备202可以操作或执行接收由服务器130(例如由用户界面单元212)生成的用户界面、显示该用户界面、并基于用户界面内的地图编辑器设备的用户所做的选择向服务器130发送回响应、指令或请求的应用(例如浏览器或定制开发的应用)。然后,服务器130可以基于用户交互对数据进行更改,并且可以发送回更新的用户界面以便通过地图编辑器设备显示。在另一个实施例中,地图编辑器设备202可以包括地图编辑单元、用户界面单元和/或地图渲染单元(例如,此类单元可以在由地图编辑器设备202操作的应用的可执行指令中实施),使得地图编辑器设备202不需要与服务器130或任何其它系统通信,以生成用户界面以查看和编辑地图数据。例如,地图编辑器设备202可以从服务器130加载光检测和测距数据和/或中间数据(例如预处理的点云数据和位姿图形),然后可以不再次与服务器130通信,直到将所编辑的数据或最终高分辨率地图数据发送回服务器130以存储在数据存储150中并分发到一个或多个车辆120为止。在其它实施例中,可以通过服务器130或地图编辑器设备202来实现多种功能,具体取决于例如在给定实例中每个系统的硬件能力和网络带宽考虑。
图3是包括三维点云渲染320和二维地图投影310的缩小视图的说明性用户界面300,其中该二维地图投影310包括表示不同光检测和测距扫描的区域的图形指示符312、314和316。如上所述,将结合图3-10描述的每个用户界面(以及可以包括在其中的关联的三维渲染和/或二维投影)可以由服务器130或地图编辑器设备202生成,具体取决于实施例,并且可以被呈示以供地图编辑器设备显示。
由图形指示符312、314和316标记的每个区域可以表示例如数百或数千个单独的光检测和测距扫描,具体数量取决于当前视图的缩放级别。在一个实施例中,具有一个或多个光检测和测距传感器的车辆可以被配置为在驾驶通过在二维地图投影310中表示的街道时周期性地(例如,每毫秒、每10毫秒,每100毫秒,每秒等)捕获扫描。因此,连续扫描捕获的点云数据可能因此彼此部分地重叠,并且可以通过公知的自动化方法将其进行匹配和预处理,以创建用于生成二维地图投影310和三维点云渲染320的中间点云结果和位姿图形。此类自动化过程可以包括,例如,采用来将相邻点云之间的差异最小化并基于匹配评分在位姿图形中的节点所表示的点云之间分配连接的迭代最近点(Iterative Closest Point,ICP)算法。然而,在某些情况中,这些自动化处理方法可能无法创建最佳点云对准和/或位姿图形数据。本文描述的用户界面,包括用户界面300,可以让用户能够以可视方式识别在光检测和测距数据的自动处理之后仍存在的潜在不一致性、误差、错位、包含的低质量,冗余数据和/或其它问题。
虽然图形指示符312、314和316各自表示为具有不同虚线或实线的不同矩形以使它们的外观彼此区分,但这种格式化仅出于说明目的。不同的虚线外观可以表示不同的颜色,使得所呈示的实际用户界面可以具有例如用于指示符312的蓝实线,用于指示符314的红实线以及用于指示符316的黄实线。在一些实施例中,为给定指示符选定的颜色可以指示其中相对确定的扫描的质量,使得红色指示可能需要用户引起注意或潜在编辑的区域。在其它实施例中,除了用于以可视方式区分不同的光检测和测距扫描数据组,颜色或图案可能没有任何意义。不同的组可以是例如由同一个车辆在不同时间捕获的扫描,或者由不同车辆捕获的扫描。虽然用户界面300中的图形指示符呈示为矩形,但这无意作为限制。在其它实施例中,图形指示符可以是其它多边形、圆形或椭圆形的形状,并且可以没有直线或平滑的边缘(例如,可以紧密地追踪扫描区域,使得该形状与光检测和测距捕获车辆驶过的街道的形状大致对准)。
二维地图投影310可以是由服务器或地图编辑器设备作为地面上的车辆捕获的光检测和测距点云数据的二维高射投影生成的。在其它实施例中,二维地图数据可以至少部分地基于从地面(例如车辆上)、空中或与卫星捕获的图像相关联的相机捕获的图像。用户可以在二维地图投影310中选择点或区域,以便在包含三维点云渲染320的用户界面的左侧部分中查看相应的三维点云数据。用户可以在其它视图保持静态时单独地旋转、平移和缩放二维或三维视图。在其它实施例中,其它视图可以自动调整以匹配用户在另一个视图中执行的平移、滚动、选择、旋转或缩放(例如,在三维点云视图320中呈示的点云数据在二维表示310中的滚动可以自动更新)。用户可以使用键盘快捷键、滚轮、触摸屏手势或其它方式放大或缩小二维或三维视图。例如,在所示的之外的实施例中,用户界面300中可以呈示有按钮或其它可选择选项,以便能够任一视图中滚动、平移、旋转、选择和/或缩放。
图4是包括三维点云渲染420和二维地图投影410的放大视图的说明性用户界面400,包括节点的叠加图形指示符和与点云数据相关联的位姿图形内的连接。所呈示的二维地图视图410可以是由于用户请求对上文参考图3论述的先前呈示的二维地图视图310进行缩放之后而显示的。例如,该用户界面可以被配置为在达到阈值缩放级别时,在点云扫描的不同式样的抽象表示或分组之间切换。例如,一旦放大到满足预定阈值的比例时,二维地图表示可以将其图形叠加数据改变为呈示节点和相应的连接(在位姿图形中分别表示图形节点和边)而不是更高级别抽象或分组,如定义区域的矩形或多边形。
每个显示的节点(例如节点412-415)可以表示在(例如使用ICP)处理期间作为位姿图形中的图形节点已分组在一起的多个扫描。例如,在一个实施例中,每个图形节点可以表示顺序上彼此紧密靠近(例如,每秒一个)捕获的二十个相邻或部分重叠的光检测和测距扫描。如图所示,二维地图表示410中表示的节点可以具有不同的外观,以表示它们与不同的组(例如,在不同时间捕获的和/或由不同传感器捕获的)、不同的位姿图形或不同的相关子图形相关联。连接可以呈示在相同或不同的分组中的不同节点之间,以说明它们之间存在部分重叠的点云,以及存在足够的匹配置信度(例如,通过ICP确定另一自动化过程和/或用户输入)以在生成高分辨率地图时将它们作为相邻分组使用。虽然将交叉阴影用于说明附图中节点指示符的不同外观和分组,但是应当认识到,这些图案可以在实际用户界面中表示不同的颜色。
在所示用户界面400中,用户选择了节点414和节点412的图形指示符,这些图形指示符以不同颜色着色(在附图中以不同交叉阴影或图案示出)以说明它们是不同分组和/或子图形的一部分。响应于选择每个节点或通过选择“显示已选项”选项434,一旦选择节点,则三维点云视图420可以被更新以显示与所选节点对应的被渲染的点云数据。在“颜色模式”(可以是用户界面内的一个三维查看选项)中,三维点云视图420中的三维渲染可以被着色成匹配或对应于二维视图中的相应节点的着色,或者另行以可视方式指示哪几组点云数据来自不同的源或分组。在查看三维点云视图420中节点414和节点412的点云数据的相对匹配(例如多组云点被同时一起渲染)时,用户可以确定有足够的匹配以通过用户选择“连接节点”选项430在节点414和412之间添加新的连接。用户可以选择以保存此更新的图形数据,以便在所存储的位姿图形数据中添加图形指示符414和412表示的节点之间的新边,然后该新边将被服务器130和/或地图编辑器设备202使用来生成高分辨率地图和/或更新高分辨率地图。
图5是包括三维点云渲染和二维地图投影510的说明性用户界面500,其中已移除两个用户选择的节点。例如,如上文结合图4提到的,用户可以查看与上文论述的节点指示符414和412相关联的三维点云数据。如果不是确定这些节点彼此匹配,则用户代之以确定其点云数据不应被用于生成高分辨率地图,用户可以选择“移除节点”选项512以删除这两个节点。例如,如果用户确定相应的点云数据属于较差质量和/或相对相同位置处或附近捕获的其它点云数据是冗余的,则用户可以删除这些节点。
如果此更改是错误的,则用户可以选择“撤销”选项514,否则选择“保存图形”选项516,以从存储的图形中删除两个节点和关联的边,或者在存储的图形数据中标记节点(及其关联的点云数据)以在构造高分辨率地图时忽略。在一些实施例中,用户可以基于由二维表示和三维渲染提供的可视信息的组合来确定删除节点。例如,二维投影510可以指示来自不同图形或分组的两个节点实质性地重叠或处于相同的位置,而点云数据的三维渲染可以向用户提供有关哪个冗余节点与更好质量的点云数据相关联的信息。
图6是包括三维点云渲染和二维地图投影610的缩小视图的说明性用户界面600,其中基于与用户界面的用户交互来对所显示的位姿图形数据做出更改。用户选择在先前图4中呈示的用户界面400中未连接的图形指示符612和614表示的节点之间添加连接。用户还移除相同区域中的节点,以便移除冗余数据并优化点云数据。基于这些更改,可以由服务器130和/或地图编辑器设备202更改数据存储150中存储的位姿图形,以反映如用户通过用户界面600所选择的那样进行节点删除和添加边。由此,用户可以提高高分辨率地图的质量和准确性,该高分辨率地图将随后基于更改的位姿图形数据以及地图生成期间关联的点云的组合方式而生成。
图7是用于提供用户界面功能的说明性方法700的流程图,该用户界面功能让用户能够查看和编辑点云和位姿图形数据以供生成高分辨率地图时使用。如上文描述,地图编辑器设备202或服务器130可以执行本文描述的各种步骤,具体取决于实施例。因此,对图7和图10的流程图描述中的系统的引用可以是指服务器130或地图编辑器设备202,具体取决于实施例。上文先前已描述了图7的各个框的许多细节,并且因此为了避免重复,下面将对其进行概述。
在框702处,系统可以获得可用于生成高分辨率地图的光检测和测距扫描数据和/或其它传感器或相机数据。例如,如上所述,所获得的传感器数据可以包括无线电探测和测距、红外相机图像、惯性测量单元数据等。在框704处,系统然后可以将单独的光检测和测距扫描和/或其它捕获的数据指派给位姿图形中的节点。在框706处,系统然后可以执行点云和/或位姿图形的点云映射、滤波和/或其它自动优化。创建高分辨率地图时的这些预处理或中间步骤在本领域中是公知的,本文无需详细描述。例如,点云匹配和位姿图形构造可以部分地基于迭代最近点算法。
在框708处,系统可以生成用户界面:其包括作为用户界面的第一部分中的二维渲染的位姿图形数据(包括节点和边)的交互式图形表示。例如,上文结合图4已描述此类用户界面。接下来,在框710处,系统可以在用户界面的第二部分中显示交互式三维渲染,正如上文结合多种用户界面描述的。在框712处,系统可以经由用户界面接收三维渲染中的至少一个点云或二维渲染中的至少一个图形节点或边的用户编辑,正如上文结合示例用户界面所描述的。
最后,在框714处,系统可以基于二维图形数据和对应的三维点云数据,并入经由用户界面接收的用户编辑,生成高分辨率地图。给定位姿图形和点云的中间数据的情况下,据此生成高分辨率地图的方法在本领域中是公知的,并且不需要在本文中予以描述。然而,相较于采用现有技术方法在没有本文所述改进的中间编辑的情况下最终步骤生成地图,本文描述的通过用户界面对中间结果进行附加编辑和优化得到了改善的高分辨率地图的结果。
图8是包括三维点云渲染820和二维地图投影810的放大视图的说明性用户界面800,其包括用户选择的点之间的距离测量的显示。用户能够选择(例如,使用光标点击鼠标或触摸触控屏)二维视图810或三维视图820内的任意两点来查看点之间的距离测量。例如,用户可以在三维视图820中选择点821和822,然后选择“三维测量”选项825,以呈示这两点之间的距离为测量823。该距离可以由计算系统(地图编辑器设备202或服务器130)使用三维虚拟空间中每个点的(x,y,z)坐标来测量。该距离可以反映所捕捉的光检测和测距数据点之间的实际真实世界距离,并且可以采用用户可定制的测量单位和/或比例。类似地,用户可以在二维视图810中进行测量,例如选择点811和812,以便在选择“二维测量”选项815之后呈示为测量813。在一些实施例中,相应的测量值和点可以自动被添加到视图(二维或三维),而不是用户选择这些点所在的视图,而在其它实施例中,用户可以在每个视图中独立地设置不同的测量点。例如,用户可以在二维视图810中选择点811和812,并呈示为测量813。响应于用户选择点811和812,三维视图820可以自动被更新以显示点812和822的选择以及测量823。用户选择这些点所在的视图以外的视图中自动被选择的点可以对应于与用户选择的点相同或几乎相同的地理位置(例如,点821可以是与点811相同的地理位置和/或点822可以是与点812相同的地理位置)。
图9是包括两个点云910和912的三维点云渲染902的说明性用户界面900,其让用户能够以可视方式重新对准或匹配相应点云中的点。用户界面900可以被认为是“调整模式”界面,用户可以通过在先前呈示的用户界面中选择“进入调整模式”可选选项来进入该界面。在其它实施例中,该调整模式中提供的功能可以在先前描述的用户界面的任何三维点云渲染视图中直接访问,并且可以在二维地图表示仍存在于视图中时是可访问的,且能够在与调整视图相同的用户界面中进行交互。
在一些实施例中,点云数据910和点云数据912可以各自表示一个或多个不同的光检测和测距扫描,其中由扫描捕获的真实世界区域至少部分地彼此重叠。例如,点云910和912可以各自与由用户在二维地图视图中选择的不同相邻图形指示符相关联,以供用户进一步分析或编辑。二维视图中的可视信息,例如节点附近区域中存在的图形指示符或阴影的颜色,可以向用户指示:这些点云可能需要重新配位、重新对准或手动匹配。为了更好地促进视觉辅助的点云匹配,点云数据910可以采用一种颜色呈示,而点云数据912可以采用不同的颜色(例如对比色)呈示。用户可以选择显示的点云集合中的任一个,然后可以使用调整控件904来移动选定的点或者调整偏航角、俯仰角或翻滚角。正如所指示的,调整选项可以具有变化的标度(例如,单独的选项可用于将点云的点按照沿x轴移动0.1的标度或者沿着x轴移动1.0的标度。在一些实施例中,这些相对比例可以被用户调整或设置。
当调整选项904呈示为键盘快捷键时(例如,用户按下“1”键则沿着x轴向左移动所选的点云0.1或按下键“!”则将所选的点云沿着x轴向右移动0.1),在其它实施例中可以使用其它输入方法。例如,在其它实施例中,用户可以发声说出命令(例如,“向左1”,“翻滚0.5”)或在用户界面中选择按钮或其它可选选项。在一些实施例中,系统(例如,服务器130和/或地图编辑器设备202)可以自动生成有关应该如何更改点云以使其更好地彼此匹配的提示、技巧或建议,并且可以通过文本或语音呈示这些建议,或者可以自动以可视方式完成更改并请求用户确认。例如,系统可以识别出多个边错位小于阈值距离(例如,在x轴、y轴和/或z轴上为0.1、0.5、1等)和/或阈值角度(例如,在x轴、y轴和/或z轴上为1°、5°、10°等)的两个或更多个点云。系统可以计算一个或多个点云应该更改而使这些边不再错位的量。作为说明性示例,系统可以识别出点云910和912的两个边错位小于阈值距离和/或阈值角度。作为响应,系统可以自动生成有关如何更改点云910和912以使其更好地相互匹配的提示、技巧或建议。一旦用户完成将云点匹配或重新配位,用户可以选择“添加当前更改”选项920或“保存所有更改”选项922。选择保存选项则可以使新的点云的相对彼此的定位和方向被存储在数据存储150中,以供服务器130和/或地图编辑器设备202随后在生成高分辨率地图和/或更新高分辨率地图时使用。用户可以通过选择选项924退出调整模式并返回到先前呈示的用户界面。
图10是用于让用户能够以可视方式编辑一个或多个点云的定位以便在生成高分辨率地图时使用的说明性方法1000的流程图,其可以被视为通过交互式用户界面将两组点云数据手动或半手动匹配的过程。既然上文已描述了图10的各个框的许多细节,因此为了避免重复,下文将对其进行概述。在框1002处,系统可以基于用户通过用户界面的二维地图视图部分的相应图形选择来加载两个或更多个点云的点云数据(类似于上面的用户界面描述)。在一些实施例中,可以从数据存储150中检索点云数据,并将其加载到服务器或地图编辑器设备的随机存取存储器(RAM)中,具体取决于实施例,从而供系统用于在三维虚拟空间中渲染点云数据。
在框1004处,系统可以渲染两个或更多个点云以供在用户界面中显示,其中每个点云可以由不同的光检测和测距扫描(或不同组的光检测和测距扫描)生成。例如,这些点云可以是在不同的时间捕获的,由不同的传感器捕获的,或者是对相应的光检测和测距数据应用不同的滤波或预处理而得到的。在框1006处,系统可以接收用户要操控的两个或更多个点云之一的用户选择(例如移动或旋转以更好地匹配其它显示的点云数据)。
接下来,在框1008处,系统可以从用户接收一个或多个命令,以在三维虚拟空间中移动和/或旋转所选的点云,正如上文结合图9所描述的。在框1010处,系统然后可以响应于用户命令实时调整所选的点云相对于其它同时显示的点云的显示位置。在框1012处,可以响应于用户选择(如上所述),系统可以存储调整的点云位置数据,以供生成新的高分辨率地图时使用,例如替换数据存储150中先前存储的数据。
就本文描述的附图而言,在本发明的范围内,其它实施例是可能的,例如将上述部件、步骤、框、操作和/或消息/请求/查询/指令进行不同地排列、排序、细分、组织和/或组合。在一些实施例中,不同的部件可以发起或执行给定的操作。例如,应当认识到,在其它实施例中,描述为涉及服务器130和地图编辑器设备202之间的协作或通信的操作可以完全由单个计算设备(例如,仅与显示器和用户输入设备通信的服务器130,或者仅执行在地图编辑器设备上运行的应用的本地存储的可执行指令的地图编辑器设备202)来实现。
示例实施例
本发明的一些示例列举的实施例,在本段落部分中是以方法、系统和非暂时性计算机可读介质且非限制的形式来引述的。
在一个实施例中,上文描述的计算机实施的方法包括:获得从沿多个道路捕获的多个光检测和测距(LiDAR)扫描生成的点云数据,然后将这些点云数据分组以形成多个点云分组,该多个点云分组包括至少(a)在第一时间段期间由光检测和测距在第一地理区域捕获的第一分组点云数据和(b)在第二时间段期间由光检测和测距在第一地理区域捕获的第二分组点云数据,其中第一分组点云数据的至少第一部分在三维空间中与第二分组点云数据的至少第二部分相交。该方法还可以包括:生成用于显示的用户界面,其中该用户界面包括第一地理区域的至少一部分的二维地图表示,其中该二维地图表示被生成为这些点云数据的至少一个子集的投影。该方法然后可以包括:在该用户界面内的二维地图表示内叠加第一图形指示符和第二图形指示符,其中第一图形指示符指示第一分组点云数据在该二维地图表示内的第一位置,以及其中第二图形指示符指示第二分组点云数据在二维地图表示内的第二位置,并且通过该用户界面接收放大请求。响应于该放大请求,该方法可以包括更新该二维地图表示的显示以包括附加的图形叠加数据,其中该图形叠加数据包括多个节点指示符以及各个节点指示符之间的对应连接,其中该多个节点指示符包括:(a)表示与第一组点云数据相关联的第一位姿图形中的节点的第一组节点指示符以及(b)表示与第二组点云数据相关联的第二位姿图形中的节点的第二组节点指示符,然后通过该用户界面接收对第一组节点指示符中的至少一个节点指示符的用户选择,其中该至少一个节点指示符至少表示第一位姿图形中的第一节点。该方法还可以包括:在该用户界面中与该二维地图表示不同的部分内,生成由该至少一个节点指示符表示的点云数据的三维点云渲染以用于显示;并且在该用户界面内呈示用于操控至少该第一位姿图形的可选选项,其中所述可选选项包括(1)从所述第一位姿图形中移除所述第一节点的第一选项以及(2)对所述至少一个节点指示符的一个或多个连接进行编辑的第二选项,其中所述编辑包括删除连接、或在所述至少一个节点指示符和所述第一或第二组节点指示符中的不同节点指示符之间添加连接中的至少一项。该方法可以包括基于对第一选项或第二选项的至少其中之一的用户选择生成第一位姿图形或第二位姿图形的至少其中之一的更改的位姿图形数据,并且基于该更改的位姿图形数据和该点云数据来生成高分辨率地图。
上文描述的计算机实施的方法还可以包括:将该高分辨率地图存储在电子数据存储中,并且通过网络将该高分辨率地图发送到多个车辆,以供这些多个车辆中的一个或多个车辆导航时使用。第一图形指示符和第一组节点指示符可以采用第一种颜色来显示,其中第二图形指示符和第二组节点指示符采用第二种颜色显示,以及其中第一种颜色不同于第二种颜色。
根据另一实施例,一种计算机系统可以包括存储器和与该存储器通信并配置有处理器可执行指令以执行特定操作的硬件处理器。这些操作可以包括获得由地理区域的多个光检测和测距(LiDAR)扫描生成的点云数据,然后生成用于显示的用户界面,其中该用户界面包括该地理区域的至少一部分的二维地图表示。这些操作还可以包括在该用户界面内的该二维地图表示内叠加图形叠加数据,其中该图形叠加数据包括多个节点指示符和各个节点指示符之间的对应连接,其中所述多个节点指示符包括:(a)表示与第一组点云数据相关联的第一位姿图形中的节点的第一组节点指示符以及(b)表示与第二组点云数据相关联的第二位姿图形中的节点的第二组节点指示符,然后通过该用户界面接收对第一组节点指示符中的至少一个节点指示符的用户选择,其中该至少一个节点指示符至少表示第一位姿图形中的第一节点。这些操作还可以包括,响应于该用户选择,在该用户界面中与该二维地图表示不同的部分内,生成由该至少一个节点指示符表示的点云数据的三维点云渲染以供显示。这些操作还可以包括在该用户界面内呈示用于操控至少该第一位姿图形的可选选项,其中该可选选项包括(1)从所述第一位姿图形中移除所述第一节点的第一选项以及(2)对所述至少一个节点指示符的一个或多个连接进行编辑的第二选项,其中所述编辑包括删除连接、或在所述至少一个节点指示符和所述第一或第二组节点指示符中的不同节点指示符之间添加连接中的至少一项。该操作还可以包括基于第一选项或第二选项中的至少一个的用户选择生成第一位姿图形或第二位姿图形中的至少一个的更改的位姿图形数据,并基于更改的位姿图形数据和点云数据生成高分辨率晰度图。
上文的计算机系统的操作还可以包括在该用户界面中与该二维地图表示不同的部分内且在由该至少一个节点指示符表示的点云数据的三维点云渲染被显示时,生成由用户在该二维地图表示内选定的第二节点指示符所表示的点云数据的第二三维点云渲染以供显示,其中第二节点指示符位于第二组节点指示符中。
在一个实施例中,由该至少一个节点指示符所表示的点云数据的三维点云渲染采用与第二三维点云渲染不同的颜色来显示。在另一个实施例中,第一组节点指示符中的每个单独的节点指示符表示所捕获的彼此接近的多个光检测和测距扫描。在另一个实施例中,该用户选择属于第一选项,并且生成更改的位姿图形数据,所述位姿图形数据包括在生成高分辨率地图时,从该计算机系统的考虑中移除与该至少一个节点指示符相关联的一个或多个点云。在另一个实施例中,该用户选择属于第二选项,并且生成更改的位姿图形数据,所述位姿图形数据包括在来自第一位姿图形的该至少一个节点指示符与来自第二位姿图形的节点指示符之间添加连接。在另一个实施例中,将该二维地图表示生成为该点云数据的至少一个子集的投影。
在上文的计算机系统的另一个实施例中,该用户界面还提供测量功能,该测量功能让用户能够在二维地图表示中选择任意两个点,并且两个点的选择使用该测量功能使得该计算机系统显示这两个点之间的连线以及这两个点之间自动计算的距离测量。在另一个实施例中,这些操作还包括自动地更新用户界面中的三维点云渲染,以在三维虚拟空间中与该二维地图表示中显示的连线的位置相对应的位置处标记三维点云渲染内的第二连线。在另一个实施例中,各个节点指示符之间的初始连接至少部分地在用于显示的用户界面之前的执行的点云匹配过程期间,由该计算机系统生成的置信度评分。在另一个实施例中,该点云匹配过程包括应用迭代最接近点算法。
根据另一实施例,非暂时性计算机可读介质存储计算机可执行指令,在被一个或多个计算机系统执行时,这些计算机可执行指令将该一个或多个计算机系统配置为执行特定操作。这些操作可以包括生成用于显示的用户界面,其中该用户界面包括地理区域的至少一部分的二维地图表示,并且在该用户界面内的该二维地图表示中,呈示包括多个节点指示符和各个节点指示符之间的对应连接的图形数据,其中该多个节点指示符包括(a)第一组节点指示符,其表示与第一分组点云数据相关联的第一位姿图形中的节点以及(b)第二组节点指示符,其表示与第二分组点云数据相关联的第二位姿图形中的节点。这些操作还可以包括通过用户界面接收对第一组节点指示符中的至少一个节点指示符的用户选择,其中该至少一个节点指示符至少表示第一位姿图形中的第一节点,并且响应于该用户选择,在该用户界面内,生成由该至少一个节点指示符表示的点云数据的三维点云渲染以供显示。这些操作还可以包括在该用户界面内呈示用于操控至少该第一位姿图形的可选选项,其中该可选选项包括(1)从所述第一位姿图形中移除所述第一节点的第一选项以及(2)对所述至少一个节点指示符的一个或多个连接进行编辑的第二选项,其中所述编辑包括删除连接、或在所述至少一个节点指示符和所述第一或第二组节点指示符中的不同节点指示符之间添加连接中的至少一项,然后基于对第一选项或第二选项的至少其中之一的用户选择,生成第一姿位图形或第二姿位图形的至少其中之一的更改的姿位图形数据。这些操作还可以包括基于该更改的位姿图形数据和该点云数据生成高分辨率地图。
根据一个实施例,参考上文的非暂时性计算机可读介质,第一组节点指示符采用与第二组节点指示符不同的颜色显示,以便以可视方式指示每个单独的节点指示符相应的位姿图形。在另一个实施例中,第一组节点指示符和第二组节点指示符中的每个单独的节点指示符表示所捕获的彼此接近的多个光检测和测距扫描。在另一个实施例中,当该用户选择属于第一选项时,生成该更改的位姿图形数据,所述位姿图形数据包括在生成高分辨率地图时,从计算机系统的考虑中移除与该至少一个节点指示符相关联的一个或多个点云。在另一个实施例中,当该用户选择属于第二选项时,生成该更改的位姿图形数据,所述位姿图形数据包括在来自第一位姿图形的该至少一个节点指示符与来自第二位姿图形的节点指示符之间添加连接。在另一个实施例中,该用户界面还提供测量功能,该测量功能让用户能够在该二维地图表示或该三维点云渲染中选择任意两个点,并且两个点的选择使用该测量功能使得该计算机系统显示这两个点之间的连线以及这两个点之间自动计算的距离测量。
根据一个实施例,本文描述的计算机实施的方法包括获得至少部分地基于地理区域的多个光检测和测距(LIDAR)扫描创建的点云数据,并生成用于显示的用户界面,其中该用户界面包括该地理区域的至少一部分的二维地图表示,其中将该二维地图生成为该点云数据的至少一个子集的投影,其中该用户界面包括叠加在二维地图表示内的多个图形指示符,以及其中每个图形指示符表示不同组的一个或多个光检测和测距扫描。该方法还包括通过与用户界面的用户交互,接收对该多个图形指示符的至少第一图形指示符和第二图形指示符的用户选择,其中第一图形指示符表示第一组点云数据和第二图形指示符表示第二组点云数据,其中第一组点云数据在三维空间中部分地与第二组点云数据的至少一部分相交。该方法还包括生成第一和第二组点云数据的三维渲染,其中第一组点云数据和第二组点云数据在三维渲染中的相对显示位置,以可视方式表明第一组点云数据的第一点子集与第二组点云数据的第二点子集部分相交,其中第一点子集与第二点子集不完全对准,以及更新该用户界面以包括该三维渲染的显示,其中第一组点云数据采用第一种颜色显示以及第二组点云数据采用第二种颜色显示,其中第一种颜色与第二种颜色不同。该方法还包括在该用户界面内显示多个建议命令:用于更改三维虚拟空间中的第一组点云数据的定位以使至少第一点子集与第二点子集更好地匹配,并且接收在三维虚拟空间中编辑至少第一组点云数据的定位的一个或多个用户命令,其中该一个或多个用户命令包括移动第一组点云数据的命令或相对于第二组点云数据旋转第一组点云数据的命令的至少其中之一。该方法还包括响应于该一个或多个用户命令,实时地更新至少第一组点云数据相对于第二组点云数据的显示,并通过该用户界面,接收指示以更新存储的点云数据从而反映该一个或多个用户命令。然后,该方法可以包括基于该一个或多个用户命令,存储至少第一组点云数据的调整的点云数据,并生成该地理区域的高分辨率地图,其中该高分辨率地图是至少部分地基于该调整的点云数据和来自多个光检测和测距扫描的其它点云数据生成的。
根据另一个实施例,上文的计算机实施的方法还可以包括:将该高分辨率地图存储在电子数据存储中,并且通过网络将该高分辨率地图发送到多个车辆,以供这些多个车辆中的一个或多个车辆导航时使用。根据另一实施例,在用户界面中呈示三维渲染,而该地理区域的二维地图表示仍在用户界面中显示,其中该三维渲染是在与该用户界面中与二维地图表示不同的部分中呈示的。根据另一实施例,该方法还可以包括通过与二维地图表示的用户交互,接收对多个图形指示符的第三图形指示符的选择,并且更新该用户界面内三维渲染的显示以包括与第三图形指示符相关联的第三组点云数据的渲染。
根据另一实施例,一种计算机系统可以包括存储器和与该存储器通信并配置有处理器可执行指令以执行特定操作的硬件处理器。这些操作可以包括获得第一组点云数据和第二组点云数据,其中第一和第二组点云数据各自至少部分地基于地理区域的多个光检测和测距(LiDAR)扫描,并且生成第一组点云数据和第二组点云数据的三维渲染,其中第一组点云数据和第二组点云数据在该三维渲染中的相对显示位置,以可视方式表明第一组点云数据的第一点子集与第二组点云数据的第二点子集之间的部分相交,其中第一点子集与第二点子集不完全对准。这些操作还可以包括呈示用于显示的用户界面,其中该用户界面包括三维渲染的显示,并且在该用户界面内显示多个建议命令:用于更改第一组点云数据在三维虚拟空间中的定位,以使至少第一点子集与第二点子集更好地匹配。这些操作还可以包括接收编辑至少第一组点云数据在三维虚拟空间中的定位的一个或多个用户命令,其中该一个或多个用户命令包括移动第一组点云数据的命令或相对于第二组点云数据旋转第一组点云数据的命令的至少其中之一,并且响应于该一个或多个用户命令,在该用户界面内,实时地更新至少第一组点云数据相对于第二组点云数据的显示。这些操作还可以包括通过该用户界面,接收指示以更新存储的点云数据从而反映一个或多个用户命令,并且基于一个或多个用户命令将至少第一组点云数据的调整的点云数据存储在电子数据存储中。
在上文的计算机系统的另一个实施例中,第一组点云数据采用第一种颜色显示以及第二组点云数据采用第二种颜色显示,其中第一种颜色与第二种颜色不同。在一个实施例中,第一组点云数据是根据彼此接近捕获的多个光检测和测距扫描生成的。在一个实施例中,这些操作还包括通过该用户界面,提供选择命令和命令的关联标度的选项,其中该标度表示以下项至少其中之一的数值量:移动、偏航角、俯仰角或翻滚角。在另一个实施例中,建议命令包括沿x轴、y轴和z轴中每一个轴的移动。在另一个实施例中,每个建议命令连同关联的键盘快捷键的指示一起被呈示。
在上文的计算机系统的另一个实施例中,该一个或多个用户命令是基于用户输入的一个或多个按键被接收,并且响应于部分地基于按键到命令的预定义映射的该一个或多个用户命令更新显示。在另一个实施例中,这些操作还包括自动地确定第一组点云数据的建议空间操控,以使至少第一点子集与第二点子集更好地匹配。在另一个实施例中,这些操作还包括在该用户界面中显示的三维渲染内自动地应用建议空间操控,并提示用户同意该建议空间操控。在又一个实施例中,该建议空间操控是至少部分地基于确定第一组点云数据与第二组点云数据错位小于阈值来确定的,其中该阈值表示距离或角度的至少其中之一。
根据另一实施例,非暂时性计算机可读介质存储计算机可执行指令,在被一个或多个计算机系统执行时,这些计算机可执行指令将该一个或多个计算机系统配置为执行特定操作。这些操作可以包括获得第一组点云数据和第二组点云数据,其中第一和第二组点云数据各自至少部分地基于地理区域的多个光检测和测距(LiDAR)扫描,并且生成第一组点云数据和第二组点云数据的三维渲染,其中在该三维渲染中,一组点云数据的第一点子集至少部分地相交于第二组点云数据的第二点子集,以及第一点子集与第二点子集不完全对准。这些操作还可以包括呈示用于显示的用户界面,其中该用户界面包括三维渲染的显示,并且呈示多个选项:用于更改第一组点云数据在三维虚拟空间中的定位以使至少第一点子集与第二点子集更好地匹配。这些操作还可以包括接收编辑至少第一组点云数据在三维虚拟空间中的定位的一个或多个用户命令,其中该一个或多个用户命令包括移动第一组点云数据的命令或旋转第一组点云数据的命令的至少其中之一,并且响应于该一个或多个用户命令,在该用户界面内,实时地更新至少第一组点云数据相对于第二组点云数据的显示。这些操作还可以包括基于该一个或多个用户命令将至少该第一组点云数据的调整的点云数据存储在电子数据存储中。
根据一个实施例,参考上文的非暂时性计算机可读介质,多个选项包括命令和每个命令的关联标度,其中标度表示以下项的至少其中之一的数值量:移动、偏航角、俯仰角或翻滚角。在另一个实施例中,该一个或多个用户命令是基于用户输入的一个或多个按键被接收的,并且响应于部分地基于按键到命令的预定义映射的该一个或多个用户命令更新显示。在另一个实施例中,这些操作还包括自动地确定使至少第一点子集与第二点子集更好地匹配的第一组点云数据的建议空间操控。在另一个实施例中,这些操作包括在该用户界面中显示的三维渲染内自动地应用建议空间操控。在另一个实施例中,该建议空间操控是至少部分地基于确定第一组点云数据与第二组点云数据错位小于阈值来确定的,其中该阈值表示距离或角度的至少其中之一。
在其它实施例中,一个或多个系统可以根据前述段落中引述的方法和/或计算机可读介质中的一个或多个来操作。在又一些实施例中,一种或多种方法可以根据前述段落中引述的系统和/或计算机可读介质中的一个或多个来操作。在更一些实施例中,一种计算机可读媒体或介质,不包括瞬态传播信号,可以使具有一个或多个处理器和非暂时性计算机可读存储器的一个或多个计算设备,根据前述段落中引述的系统和/或方法的一个或多个操作。
术语
条件语言,例如“能够”、“可能”、“可以”或“可”,除非另有特别说明,或在所使用的上下文中以其它方式理解,否则通常旨在传达某些实施例包括,而其它实施例不包括某些特征、元素和/或步骤。因此,这种条件性语言通常不旨在暗示特征、元件和/或步骤以任何方式必须用于一个或多个实施例,或者一个或多个实施例必然包含用于确定以下的逻辑:在有或没有用户输入或提示的情况下,决定是否这些特征、元件和/或步骤包含在任何特定实施例中或在其中执行。
除非上下文另有明确要求,否则在说明书和权利要求书中,词语“包括”、“包含”等应被解释为包含性意义,而不是唯一或详尽意义,即“包括但不限于”。如本文所用,术语“连接”、“耦合”或其任何变体是指两个或更多个元素之间的任何直接或间接的连接或耦合;元素之间的耦合或连接可以是物理的、逻辑的或其组合。此外,在本申请中使用的词语“此处”、“以上”、“以下”和类似含义的词语,是指本申请的整体而不是本申请的任何特定部分。在上下文允许的情况下,使用单数或复数的词汇也可以分别包括复数或单数。结合两个或更多个项的列表时,词汇“或”涵盖该词汇的以下所有解释:列表中的任何一个项、列表中的所有项目以及列表中项的任意组合。同样,结合两个或更多个项的列表时,术语“和/或”,涵盖该词的所有以下解释:列表中的任何一个项、列表中的所有项以及列表中项的任何组合。
在一些实施例中,本文中描述的任何算法的某些操作、动作、事件或功能可以以不同的顺序执行,可以添加、合并或完全排除(例如,对于实施算法,并非全部都是必不可少的)。在某些实施例中,操作、动作、功能或事件可以例如通过多线程处理、中断处理或多个处理器或处理器核或在其它并行架构上同时执行,而不是顺序执行。
本文描述的系统和模块可以包括软件、固件、硬件或适合于所描述的目的的软件、固件或硬件的任何组合。软件和其它模块可以驻留在服务器、工作站、个人计算机、计算机化平板电脑、PDA和其它适于本文描述的目的的计算设备上并在其上执行。软件和其它模块可以通过本地计算机存储器、网络、浏览器或适于本文描述的目的的其它方式来访问。本文描述的数据结构可以包括适于本文描述的目的的计算机文件、变量、编程阵列、编程结构或任何电子信息存储方案或方法或者它们的任何组合。本文描述的用户接口元素可以包括来自图形用户界面、交互式语音响应、命令行界面和其它合适接口的元素。
再者,所示系统的各种部件的处理可以分布在多个机器、网络和其它计算资源上。可以将一个系统的两个或更多个部件组合成更少的部件。所示系统的各种部件可以在一个或多个虚拟机中而不是在专用计算机硬件系统和/或计算设备中实现。同样,所示的数据存储库可以表示物理和/或逻辑数据存储,包括例如存储区域网络或其它分布式存储系统。此外,在一些实施例中,所示部件之间的连接表示数据流的可能路径,而不是硬件之间的实际连接。虽然示出了可能连接的一些示例,但是在多种实现中,所示部件的任何子集都能够彼此通信。
上面还结合用于方法、装置(系统)和计算机程序产品的流程示意图和/或框图描述了实施例。流程示意图和/或框图的每个框和流程示意图和/或框图中的框的组合可以通过计算机程序指令来实现。可以将此类指令提供给通用计算机、专用计算机、特殊配置计算机(例如,包括高性能数据库服务器、图形子系统等)的处理器或其它可编程数据处理装置来生产机器,使得通过计算机的处理器或其它可编程数据处理装置执行的指令,构成用于实现在流程图和/或框图的一个或多个框中指定的动作的装置。这些计算机程序指令也可以存储在非暂时性计算机可读存储器中,这些计算机程序指令可以指导计算机或其它可编程数据处理装置以特定方式操作,使得存储在计算机可读存储器中的指令构成包括实现流程图和/或框图的一个或多个框中指定的动作的指令装置的制造品。这些计算机程序指令也可以加载到计算设备或其它可编程数据处理装置上,以在该计算设备或其它可编程装置上执行操作以产生计算机实现的处理,使得在该计算设备或其它可编程装置上执行的指令提供用于实现流程图和/或框图一个或多个框指定的动作的步骤。
上面提到的任何专利和应用和其它引用,包括可以在附属提交文件中列出的任何内容,可以通过引用并入本文。如有需要,可以修改本发明的多个方面,以采用上述多种引用的系统、功能和概念以提供本发明的又一些实现方式。根据上文的详细描述,可以对本发明进行这些和其它更改。虽然上文描述了本发明某些示例,并且描述了可设想的最佳方式,但是无论文本中呈现如何详尽,均可以以许多方式来实施本发明。该系统的细节可以在其特定实施方案中有显著不同,同时仍然被本文公开的本发明所涵盖。如上所述,不应将描述本发明的某些特征或方面时使用的特定术语解释为暗示在本文中将该术语重新定义为被限制于与该术语相关联的本发明的任何特定特性、特征或方面。一般而言,在以下权利要求中使用的术语不应解释为将本发明限制于本说明书中公开的具体示例,除非上述具体实施方式部分中显性地定义此类术语。因此,本发明的实际范围不仅包括所公开的示例,而且包括依据权利要求实施或实现本发明的所有等效方式。
为了减少权利要求的数量,本发明的某些方面在下文的某些权利要求中予以提出,但是申请人可以在任何数量的权利要求形式中设想本发明的其它方面。例如,虽然本发明的仅一个方面被引述为依据35U.S.Csec.112(f)(AIA)的手段加功能的权利要求,但是其它方面同样可以实施为手段加功能的权利要求,或者以其它形式实施,例如在计算机可读介质中实施。旨在依据35U.S.C.§112(f)处理的任何权利要求将以“用于”语句开始,但是在任何其它上下文中使用“用于”不意味着依据35U.S.C.§112(f)引用其处理。因此,申请人保留在提交本申请后在本申请或后续申请中追加附加权利要求的权利。

Claims (20)

1.一种计算机实施方法,包括:
获得至少部分地基于对地理区域的多次光检测和测距扫描创建的点云数据;
生成用于显示的用户界面,其中,所述用户界面包括所述地理区域的至少一部分的二维地图表示,其中,将所述二维地图表示生成为所述点云数据的至少一个子集的投影,其中,所述用户界面包括叠加在所述二维地图表示内的多个图形指示符,并且其中,所述图形指示符中的每一个图形指示符表示不同组的一次或多次光检测和测距扫描;
通过与所述用户界面的用户交互,接收对所述多个图形指示符中的至少第一图形指示符和第二图形指示符的用户选择,其中,所述第一图形指示符表示第一组点云数据,并且所述第二图形指示符表示第二组点云数据,其中,所述第一组点云数据在三维空间中与所述第二组点云数据的至少一部分部分地相交;
生成所述第一组点云数据和所述第二组点云数据的三维渲染,其中,所述第一组点云数据和所述第二组点云数据在所述三维渲染中的相对显示位置在视觉上传达所述第一组点云数据的第一点子集与所述第二组点云数据的第二点子集之间的部分相交,其中,所述第一点子集与所述第二个点子集合未完全对准;
更新所述用户界面以包括对所述三维渲染的显示,其中所述第一组点云数据采用第一颜色显示以及所述第二组点云数据采用第二颜色显示,其中,所述第一颜色不同于所述第二颜色;
在所述用户界面内显示用于更改所述第一组点云数据在三维虚拟空间中的定位的多个建议命令,以至少使得所述第一点子集与所述第二点子集更好地匹配;
接收编辑至少所述第一组点云数据在所述三维(3D)虚拟空间中的定位的一个或多个用户命令,其中,所述一个或多个用户命令包括移动所述第一组点云数据的命令或相对于所述第二组点云数据旋转所述第一组点云数据的命令中的至少一个;
响应于所述一个或多个用户命令,实时地更新至少所述第一组点云数据相对于所述第二组点云数据的显示;
通过所述用户界面,接收指示以更新存储的点云数据,从而反映所述一个或多个用户命令;
基于所述一个或多个用户命令,存储至少所述第一组点云数据的调整后的点云数据;以及
生成所述地理区域的高分辨率地图,其中,所述高分辨率地图是至少部分地基于所述调整后的点云数据和来自所述多次光检测和测距扫描的其它点云数据生成的。
2.根据权利要求1所述的计算机实施方法,还包括:
将所述高分辨率地图存储在电子数据存储装置中;以及
通过网络向多个车辆发送所述高分辨率地图,以供所述多个车辆中的一个或多个车辆导航时使用。
3.根据权利要求1所述的计算机实施方法,其中,在所述用户界面中呈示所述三维渲染,而所述地理区域的所述二维地图表示仍显示在所述用户界面中,其中,所述三维渲染呈示在所述用户界面中不同于所述二维地图表示的部分中。
4.根据权利要求3所述的计算机实施方法,还包括:
通过与所述二维地图表示的用户交互,接收对所述多个图形指示符中的第三图形指示符的选择;以及
更新所述用户界面内对所述三维渲染的显示以包括对与所述第三图形指示符相关联的第三组点云数据的渲染。
5.一种计算机系统,包括:
存储器;以及
硬件处理器,所述硬件处理器与所述存储器通信并且被配置有执行操作的处理器可执行指令,所述操作包括:
获得第一组点云数据和第二组点云数据,其中,所述第一组点云数据和第二组点云数据各自至少部分地基于对地理区域的多次光检测和测距扫描;
生成所述第一组点云数据和所述第二组点云数据的三维渲染,其中,所述第一组点云数据和所述第二组点云数据在所述三维渲染中的相对显示位置在视觉上传达所述第一组点云数据的第一点子集与所述第二组点云数据的第二点子集之间的部分相交,其中,所述第一点子集与所述第二个点子集合未完全对准;
呈示用于显示的用户界面,其中,所述用户界面包括对所述三维渲染的显示;
在所述用户界面内显示用于更改所述第一组点云数据在三维虚拟空间中的定位的多个建议命令,以至少使得所述第一点子集与所述第二点子集更好地匹配;
接收一个或多个用户命令以编辑至少所述第一组点云数据在所述三维虚拟空间中的定位,其中,所述一个或多个用户命令包括移动所述第一组点云数据的命令或相对于所述第二组点云数据旋转所述第一组点云数据的命令中的至少一个;
响应于所述一个或多个用户命令,在所述用户界面内,实时地更新至少所述第一组点云数据相对于所述第二组点云数据的显示;
通过所述用户界面,接收指示以更新存储的点云数据,从而反映所述一个或多个用户命令;以及
基于所述一个或多个用户命令,在电子数据存储装置中,存储至少所述第一组点云数据的调整后的点云数据。
6.根据权利要求5所述的计算机系统,其中,所述第一组点云数据采用第一颜色显示以及所述第二组点云数据采用第二颜色显示,其中,所述第一颜色与所述第二颜色不同。
7.根据权利要求5所述的计算机系统,其中,所述第一组点云数据是通过彼此接近的多次光检测和测距扫描生成的。
8.根据权利要求5所述的计算机系统,其中,所述操作还包括通过所述用户界面提供选择命令和所述命令的关联标度的选项,其中,所述标度表示以下至少一项的数值量:移动,偏航角、俯仰角或翻滚角。
9.根据权利要求5所述的计算机系统,所述建议命令包括沿x轴、y轴和z轴中每一个轴的移动。
10.根据权利要求5所述的计算机系统,其中,所述建议命令中的每个命令连同相关的键盘快捷键的指示一起被呈示。
11.根据权利要求5所述的计算机系统,其中,所述一个或多个用户命令是基于由用户输入的一个或多个按键来接收的,并且其中,响应于所述一个或多个用户命令对所述显示的更新部分地基于按键到命令的预定义映射。
12.根据权利要求5所述的计算机系统,其中,所述操作还包括自动地确定所述第一组点云数据的建议空间操控,以至少使得所述第一点子集与所述第二点子集更好地匹配。
13.根据权利要求12所述的计算机系统,其中,所述操作还包括:
在所述用户界面中显示的所述三维渲染内自动应用所述建议空间操控;以及
提示用户同意所述建议空间操控。
14.根据权利要求13所述的计算机系统,其中,所述建议空间操控是至少部分地基于确定所述第一组点云数据与所述第二组点云数据错位小于阈值而确定的,其中,所述阈值表示距离或角度中的至少一项。
15.一种存储计算机可执行指令的非暂时性计算机可读介质,所述计算机可执行指令在被一个或多个计算机系统执行时,将所述一个或多个计算机系统配置为执行操作,所述操作包括:
获得第一组点云数据和第二组点云数据,其中,所述第一组点云数据和第二组点云数据各自至少部分地基于对地理区域的多次光检测和测距扫描;
生成所述第一组点云数据和所述第二组点云数据的三维渲染,其中,所述第一组点云数据的第一点子集与所述第二组点云数据的第二点子集在所述三维渲染中至少部分地相交,其中,所述第一点子集与所述第二点子集未完全对准;
呈示用于显示的用户界面,其中,所述用户界面包括对所述三维渲染的显示;
呈示用于更改所述第一组点云数据在三维虚拟空间中的定位的多个选项,以至少使得所述第一点子集与所述第二点子集更好地匹配;
接收编辑至少所述第一组点云数据在所述三维虚拟空间中的定位,其中,所述一个或多个用户命令包括移动所述第一组点云数据的命令或旋转所述第一组点云数据的命令中的至少一个;
响应于所述一个或多个用户命令,在所述用户界面内,实时地更新至少所述第一组点云数据相对于所述第二组点云数据的显示;以及
基于所述一个或多个用户命令,在电子数据存储装置中,存储至少所述第一组点云数据的调整后的点云数据。
16.根据权利要求15所述的非暂时性计算机可读介质,其中,所述多个选项包括命令以及每个命令的关联标度,其中,所述标度表示以下至少一项的数值量:移动,偏航角、俯仰角或翻滚角。
17.根据权利要求15所述的非暂时性计算机可读介质,其中,所述一个或多个用户命令是基于由用户输入的一个或多个按键接收的,并且其中,响应于所述一个或多个用户命令对所述显示的更新部分地基于按键到命令的预定义映射。
18.根据权利要求15所述的非暂时性计算机可读介质,其中,所述操作还包括自动地确定所述第一组点云数据的建议空间操控,以至少使得所述第一点子集与所述第二点子集更好地匹配。
19.根据权利要求18所述的非暂时性计算机可读介质,其中,所述操作还包括:
在所述用户界面中显示的所述三维渲染内自动应用所述建议空间操控。
20.根据权利要求18所述的非暂时性计算机可读介质,其中,所述建议空间操控是至少部分地基于确定所述第一组点云数据与所述第二组点云数据错位小于阈值而确定的,其中,所述阈值表示距离或角度中的至少一项。
CN201880100676.4A 2018-12-28 2018-12-28 交互式三维点云匹配 Active CN113748314B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2018/067892 WO2020139373A1 (en) 2018-12-28 2018-12-28 Interactive 3d point cloud matching

Publications (2)

Publication Number Publication Date
CN113748314A true CN113748314A (zh) 2021-12-03
CN113748314B CN113748314B (zh) 2024-03-29

Family

ID=71129659

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880100676.4A Active CN113748314B (zh) 2018-12-28 2018-12-28 交互式三维点云匹配

Country Status (2)

Country Link
CN (1) CN113748314B (zh)
WO (1) WO2020139373A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114820953A (zh) * 2022-06-29 2022-07-29 深圳市镭神智能系统有限公司 一种数据处理方法、装置、设备以及存储介质
CN115097977A (zh) * 2022-07-13 2022-09-23 北京有竹居网络技术有限公司 用于点云处理的方法、装置、设备和存储介质
CN115097976A (zh) * 2022-07-13 2022-09-23 北京有竹居网络技术有限公司 用于图像处理的方法、装置、设备和存储介质
TWI810809B (zh) * 2022-02-10 2023-08-01 勤崴國際科技股份有限公司 街道路牌之大地座標處理方法
CN117841988A (zh) * 2024-03-04 2024-04-09 厦门中科星晨科技有限公司 用于无人驾驶车辆的停位控制方法、装置、介质及设备

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112021998B (zh) * 2020-07-20 2023-08-29 科沃斯机器人股份有限公司 数据处理方法、测量系统、自主移动设备及清洁机器人
CN111929694B (zh) * 2020-10-12 2021-01-26 炬星科技(深圳)有限公司 点云匹配方法、设备及存储介质
CN112578406B (zh) * 2021-02-25 2021-06-29 北京主线科技有限公司 一种车辆环境信息感知方法及装置
CN113160405A (zh) * 2021-04-26 2021-07-23 深圳市慧鲤科技有限公司 点云地图的生成方法、装置、计算机设备及存储介质
US11887271B2 (en) * 2021-08-18 2024-01-30 Hong Kong Applied Science and Technology Research Institute Company Limited Method and system for global registration between 3D scans
CN114322987B (zh) * 2021-12-27 2024-02-23 北京三快在线科技有限公司 一种构建高精地图的方法及装置
CN116188660B (zh) * 2023-04-24 2023-07-11 深圳优立全息科技有限公司 一种基于流式渲染的点云数据处理方法及相关装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100204964A1 (en) * 2009-02-09 2010-08-12 Utah State University Lidar-assisted multi-image matching for 3-d model and sensor pose refinement
CN103106680A (zh) * 2013-02-16 2013-05-15 赞奇科技发展有限公司 基于云计算架构的三维图形渲染的实现方法及云服务系统
US20150123995A1 (en) * 2013-11-07 2015-05-07 Here Global B.V. Method and apparatus for processing and aligning data point clouds
US20160196687A1 (en) * 2015-01-07 2016-07-07 Geopogo, Inc. Three-dimensional geospatial visualization
CN108765487A (zh) * 2018-06-04 2018-11-06 百度在线网络技术(北京)有限公司 重建三维场景的方法、装置、设备和计算机可读存储介质
CN109064506A (zh) * 2018-07-04 2018-12-21 百度在线网络技术(北京)有限公司 高精度地图生成方法、装置及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9024970B2 (en) * 2011-12-30 2015-05-05 Here Global B.V. Path side image on map overlay
EP2923174A2 (en) * 2012-11-22 2015-09-30 GeoSim Systems Ltd. Point-cloud fusion
US20160379366A1 (en) * 2015-06-25 2016-12-29 Microsoft Technology Licensing, Llc Aligning 3d point clouds using loop closures
CN108286976A (zh) * 2017-01-09 2018-07-17 北京四维图新科技股份有限公司 一种点云数据的融合方法和装置、以及混合导航系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100204964A1 (en) * 2009-02-09 2010-08-12 Utah State University Lidar-assisted multi-image matching for 3-d model and sensor pose refinement
CN103106680A (zh) * 2013-02-16 2013-05-15 赞奇科技发展有限公司 基于云计算架构的三维图形渲染的实现方法及云服务系统
US20150123995A1 (en) * 2013-11-07 2015-05-07 Here Global B.V. Method and apparatus for processing and aligning data point clouds
US20160196687A1 (en) * 2015-01-07 2016-07-07 Geopogo, Inc. Three-dimensional geospatial visualization
CN108765487A (zh) * 2018-06-04 2018-11-06 百度在线网络技术(北京)有限公司 重建三维场景的方法、装置、设备和计算机可读存储介质
CN109064506A (zh) * 2018-07-04 2018-12-21 百度在线网络技术(北京)有限公司 高精度地图生成方法、装置及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陶志鹏;陈志国;王英;吴冰冰;程思琪;: "海量三维地形数据的实时可视化研究", 科技创新与应用, no. 30, 28 October 2013 (2013-10-28) *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI810809B (zh) * 2022-02-10 2023-08-01 勤崴國際科技股份有限公司 街道路牌之大地座標處理方法
CN114820953A (zh) * 2022-06-29 2022-07-29 深圳市镭神智能系统有限公司 一种数据处理方法、装置、设备以及存储介质
CN115097977A (zh) * 2022-07-13 2022-09-23 北京有竹居网络技术有限公司 用于点云处理的方法、装置、设备和存储介质
CN115097976A (zh) * 2022-07-13 2022-09-23 北京有竹居网络技术有限公司 用于图像处理的方法、装置、设备和存储介质
CN115097976B (zh) * 2022-07-13 2024-03-29 北京有竹居网络技术有限公司 用于图像处理的方法、装置、设备和存储介质
CN117841988A (zh) * 2024-03-04 2024-04-09 厦门中科星晨科技有限公司 用于无人驾驶车辆的停位控制方法、装置、介质及设备
CN117841988B (zh) * 2024-03-04 2024-05-28 厦门中科星晨科技有限公司 用于无人驾驶车辆的停位控制方法、装置、介质及设备

Also Published As

Publication number Publication date
WO2020139373A1 (en) 2020-07-02
CN113748314B (zh) 2024-03-29

Similar Documents

Publication Publication Date Title
US10976421B2 (en) Interface for improved high definition map generation
US12117307B2 (en) Interactive 3D point cloud matching
CN113748314B (zh) 交互式三维点云匹配
CN112204343B (zh) 高清晰地图数据的可视化
EP3673407B1 (en) Automatic occlusion detection in road network data
US11131554B2 (en) Systems and methods for vehicle telemetry
US20210004012A1 (en) Goal-Directed Occupancy Prediction for Autonomous Driving
US20200208998A1 (en) Systems and methods for safe route planning for a vehicle
CN104574953B (zh) 交通信号预测
US11782129B2 (en) Automatic detection of overhead obstructions
WO2021003452A1 (en) Determination of lane connectivity at traffic intersections for high definition maps
US20220171394A1 (en) Systems and Methods for Automated Testing of Autonomous Vehicles
CN113874803A (zh) 用于基于远程干预更新车辆操作的系统和方法
CN110832417A (zh) 使用高清地图为自主车辆生成路线
AU2018266108A1 (en) Destination changes in autonomous vehicles
US10915112B2 (en) Autonomous vehicle system for blending sensor data
US11820397B2 (en) Localization with diverse dataset for autonomous vehicles
CN113748316A (zh) 用于车辆遥测的系统和方法
CN113728310A (zh) 用于分布式系统仿真的架构
CN116724214A (zh) 用于生成用于自主车辆的导航的感兴趣区域的车道级地图的方法和系统
CN113748448B (zh) 基于车辆的虚拟停止线和让行线检测
US11989805B2 (en) Dynamic geometry using virtual spline for making maps
WO2020139377A1 (en) Interface for improved high definition map generation
CN114072784A (zh) 用于在车辆上加载物体几何数据的系统和方法
US20240241893A1 (en) Systems and methods for providing electronic maps

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant