[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN108460791A - 用于处理点云数据的方法和装置 - Google Patents

用于处理点云数据的方法和装置 Download PDF

Info

Publication number
CN108460791A
CN108460791A CN201711477530.5A CN201711477530A CN108460791A CN 108460791 A CN108460791 A CN 108460791A CN 201711477530 A CN201711477530 A CN 201711477530A CN 108460791 A CN108460791 A CN 108460791A
Authority
CN
China
Prior art keywords
candidate target
frame
module
point cloud
cloud data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711477530.5A
Other languages
English (en)
Inventor
湛逸飞
闫淼
周旺
段雄
朗咸朋
马常杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu Online Network Technology Beijing Co Ltd
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201711477530.5A priority Critical patent/CN108460791A/zh
Publication of CN108460791A publication Critical patent/CN108460791A/zh
Priority to KR1020180130581A priority patent/KR102198724B1/ko
Priority to EP18248161.4A priority patent/EP3505962B1/en
Priority to US16/235,668 priority patent/US11037305B2/en
Priority to JP2018247315A priority patent/JP7167397B2/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G01S17/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

根据本公开内容的示例性实现方式，提供了一种用于处理点云数据的方法和装置。具体地，提供了一种用于处理点云数据的方法，包括：从点云数据中分别获取第一帧和第二帧；在第一帧和第二帧中分别提取第一候选对象和与第一候选对象相对应的第二候选对象；分别确定第一候选对象和第二候选对象在点云数据的坐标系中的第一位置和第二位置；以及响应于第一位置和第二位置之间存在偏移，将第一候选对象和第二候选对象中的任一项标识为运动对象。根据本公开内容的示例性实现方式，还提供了用于处理点云数据相应的装置、设备和计算机存储介质。

Description

用于处理点云数据的方法和装置
技术领域
本公开内容的实施方式主要涉及数据处理领域，并且更具体地，涉及用于处理点云数据的方法和装置。
背景技术
随着三维扫描技术以及数字地图技术的发展，目前已经提出了利用采集实体(例如，采集车)承载采集设备(例如，激光扫描仪)来采集城市的三维数据并构建三维模型的技术方案。对于诸如建筑、道路、树木等静止对象而言，目前已经能够基于采集到的点云数据构建相应的三维模型。然而，由于城市道路中可能存在例如运动中的车辆、自行车、和行人等的大量运动对象，此时在采集设备所采集的点云数据中将会包括与这些运动对象相关联的不期望的数据。
传统的点云数据处理方案在很大程度上依赖于建模人员的人工处理。另外，还提出了通过与点云数据相关联的图像数据进行图像识别来确定运动对象的技术方案。然而，现有的技术方案严重依赖于人工操作，需要复杂的计算，然而却并不能准确地识别运动对象。
发明内容
根据本公开内容的示例实施方式，提供了一种用于处理点云数据的方案。
在本公开内容的第一方面中，提供了一种用于处理点云数据的方法。具体地，该方法包括：从点云数据中分别获取第一帧和第二帧；在第一帧和第二帧中分别提取第一候选对象和与第一候选对象相对应的第二候选对象；分别确定第一候选对象和第二候选对象在点云数据的坐标系中的第一位置和第二位置；以及响应于第一位置和第二位置之间存在偏移，将第一候选对象和第二候选对象中的任一项标识为运动对象。
在本公开内容的第二方面中，提供了一种用于处理点云数据的装置。具体地，该装置包括：获取模块，获取模块被配置为从点云数据中分别获取第一帧和第二帧；提取模块，提取模块被配置为在第一帧和第二帧中分别提取第一候选对象和与第一候选对象相对应的第二候选对象；确定模块，确定模块被配置为分别确定第一候选对象和第二候选对象在点云数据的坐标系中的第一位置和第二位置；以及标识模块，标识模块被配置为响应于第一位置和第二位置之间存在偏移，将第一候选对象和第二候选对象中的任一项标识为运动对象。
在本公开内容的第三方面中，提供了一种设备，包括一个或多个处理器；以及存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现根据本公开内容的第一方面的方法。
在本公开内容的第四方面中，提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现根据本公开内容的第一方面的方法。
应当理解，发明内容部分中所描述的内容并非旨在限定本公开内容的实施方式的关键或重要特征，亦非用于限制本公开内容的范围。本公开内容的其它特征将通过以下的描述变得容易理解。
附图说明
结合附图并参考以下详细说明，本公开内容的各实施方式的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：
图1示意性示出了根据本公开内容的示例性实施方式的应用环境的图示；
图2示意性示出了根据一个技术方案所获得的点云数据的图示；
图3示意性示出了根据本公开内容的示例性实施方式的用于处理点云数据的方案的框图；
图4示意性示出了根据本公开内容的示例性实施方式的处理后的点云数据的结果的图示；
图5示意性示出了根据本公开内容的示例性实施方式的用于处理点云数据的方法的流程图；
图6A和6B分别示意性示出了根据本公开内容的示例性实施方式的用于确定与第一候选对象相对应的第二候选对象的方法的图示；
图7示意性示出了根据本公开内容的示例性实施方式的用于处理点云数据中的第一帧、第二帧和第三帧的方法的图示；
图8示意性示出了根据本公开内容的示例性实施方式的用于处理点云数据中的第一帧和第三帧的方法的图示；
图9示意性示出了根据本公开内容的示例性实施方式的用于基于预测位置来标识运动对象的方法的流程图；
图10示意性示出了根据本公开内容的示例性实施方式的用于确定与运动对象相关联的点的集合的方法的框图；
图11示意性示出了根据本公开内容的示例性实施方式的用于处理点云数据的装置的框图；以及
图12示出了能够实施本公开内容的多个实施方式的计算设备的框图。
具体实施方式
下面将参照附图更详细地描述本公开内容的实施方式。虽然附图中显示了本公开内容的某些实施方式，然而应当理解的是，本公开内容可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施方式，相反提供这些实施方式是为了更加透彻和完整地理解本公开内容。应当理解的是，本公开内容的附图及实施方式仅用于示例性作用，并非用于限制本公开内容的保护范围。
在本公开内容的实施方式的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施方式”或“该实施方式”应当理解为“至少一个实施方式”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
图1示意性示出了根据本公开内容的示例性实施方式的应用环境100的图示，其中示出了获取点云数据的示意性过程。具体地，城市环境中涉及的真实对象可以包括静止对象和运动对象。例如，静止对象可以包括如图1所示的城市道路130、树木140和建筑150等。另外，真实对象还可以包括例如在道路130上行驶的车辆120、自行车122等运动对象。尽管在图1中未示出，还可以涉及例如行人等其他运动对象。
如图1所示，采集设备110可以被固定在采集实体112上。当采集实体112沿着道路130在城市环境中行驶时，采集设备110可以向外发射激光束并且接收来自各个静止对象和运动对象返回的信号，进而获得各个静止对象和运动对象相关联的三维数据。在此实现中，三维数据可以是点云数据。
应当注意，采集设备110可以在预定的时间间隔采集三维数据。类似于摄像机拍摄的视频信号，在此采集设备110获得的点云数据可以包括多个帧，其中每个帧包括采集设备110在与该帧对应的时间点所采集到的点云数据。依赖于采集设备110的品牌和型号以及其他参数的不同，所获得的点云数据的采集频率可以有所不同。例如，来自一种采集设备110的点云数据的采集频率可以是10帧/秒，来自另一采集设备110的点云数据的采集频率可以是5帧/秒。
参见图2所示，如果直接将采集到的点云数据中的各个帧进行拼接以形成描述城市环境的最终点云数据，则点云数据中与运动对象相关联的部分将会形成重影。图2示意性示出了根据一个技术方案所获得的点云数据200的图示。如图所示，对于例如道路、树木和建筑的静止对象而言，在点云数据中的各个帧中，静止对象在点云数据的坐标系中的位置是相同的。因而在最终的点云数据200中，与静止对象相关联的部分230、240和250是正常的。
然而，当采集实体112沿着道路130行驶时，由于车辆120和自行车122等运动对象处于运动状态，因而在采集设备110所获得的点云数据中的各个帧中，车辆120和自行车122在点云数据的坐标系中所在的位置是不同的。这将造成在最终的点云数据200中，与诸如车辆和自行车等运动对象相关联的部分220和222出现重影。
现有的技术方案依赖于人工操作来去除点云数据中的重影。尽管目前还提出了其他的技术方案，然而这些技术方案需要复杂的计算，并且并不能准确地识别运动对象并消除重影。因而，如何以更为有效并且方便的方式处理点云数据，识别并消除点云数据中与运动对象相关联的部分成为一个研究热点。
根据本公开内容的示例性实现方式，提出了用于处理点云数据的方法和设备。在下文中将参加图3概括描述本公开内容的概要。图3示意性示出了根据本公开内容的示例性实施方式的用于处理点云数据的方案300的框图。如图3所示，点云数据310表示来自采集设备110的数据，该点云数据310中可以包括多个帧。可以从点云数据310中获取第一帧320和第二帧330。继而，可以分别从第一帧320和第二帧330中提取第一候选对象322以及与该第一候选对象322相对应的第二候选对象332。应当注意，在此的“相对应”是指两个候选对象来自真实空间中的相同真实对象(例如，同一车辆)的点云数据。例如，图3中所示的第一候选对象322和第二候选对象332分别是来自两个帧的针对车辆120的点云数据。
在图3中，第一候选对象322和第二候选对象332在点云数据的坐标系中的位置分别是第一位置(X1，Y，Z)和第二位置(X2，Y，Z)。应当注意，在此坐标系是指点云数据的坐标系，该坐标系与真实空间相对应，并且在点云数据中的各个帧中坐标系的定义是一致的。根据本公开内容的示例性实现方式，可以以不同方式定义坐标系。例如，该坐标系可以以真实空间中一个参考位置(例如，采集实体112开始采集过程的起点位置)为坐标系的原点，并且以行进方向为X轴的方向，进而按照笛卡尔坐标系的规定来定义的。备选地，还可以将其他位置定义为坐标原点，并且按照其他方向定义X轴的方向。
由于车辆120处于运动状态，因而该车辆120在点云数据310的不同帧中的位置是不同的，因而在坐标系中X1的数值并不等于X2。在此实施方式中，可以基于检测到在第一位置(X1，Y，Z)和第二位置(X2，Y，Z)之间存在偏移，将第一候选对象322标识为运动对象。由于第二候选对象332与第一候选对象322相对应，进而第二候选对象332也可以被标识为运动对象。换言之，可以将第一候选对象和第二候选对象中的任一项标识为运动对象。根据本公开内容的示例性实现方式，可以在无需额外人工劳动的情况下，自动地从点云数据中识别出运动对象。
进一步，根据本公开内容的示例性实现方式，还可以从点云数据中去除所识别的运动对象。如图4所示，示意性示出了根据本公开内容的示例性实施方式的处理后的点云数据400的结果的图示。当针对如图2所示的点云数据200执行本公开内容的方法后，可以获得如图4所示的处理后的点云数据400。在图4中，关联于车辆和自行车的重影部分220和222已经被识别和去除，因而在处理后的点云数据400中仅包括与道路、树木和建筑相关联的部分230、240和250。
在下文中将参见图5详细描述根据本公开内容的方法的具体步骤。图5示意性示出了根据本公开内容的示例性实施方式的用于处理点云数据的方法500的流程图。在框图510处，从点云数据中分别获取第一帧和第二帧。应当注意，类似于视频数据，点云数据可以逐帧存储。在此步骤中可以基于点云数据的格式定义来分别获取各个帧。
在框图520处，在第一帧和第二帧中分别提取第一候选对象和与第一候选对象相对应的第二候选对象。在此实施方式中，可以首先通过对各个帧中的点的位置进行聚类，来分别在各个帧中识别出潜在的对象。继而，可以基于对象的各方面的特征来选择与第一候选对象相对应的第二候选对象。
具体地，根据本公开内容的示例性实现方式，在点云数据的坐标系中，可以首先将第一帧和第二帧中的点进行聚类，从而分别形成第一组候选对象和第二组候选对象。在此的第一组和第二组候选对象既可以包括运动对象也可以包括静止对象。继而，可以从第一组候选对象中选择第一候选对象，以及从第二组候选对象中选择与第一候选对象相对应的第二候选对象。在此的候选对象是指潜在的运动对象。在后续的步骤中将进一步判断候选对象是运动的还是静止的。在此实施方式中，可以通过对各个帧中的点进行聚类，并且从中选择相对应的候选对象。在此过程中，无需人工处理，因而可以大大加快处理点云数据的速度。
应当注意，如果仅通过位置来对点云数据中的点进行聚类，则可能会识别出大量的对象，并造成在后续步骤中需要逐一对识别出的各个对象进行处理。为了减低后续操作的计算量，可以对识别出的对象进行过滤，以便找到有可能是运动对象的候选对象。
根据本公开内容的示例性实现方式，首先分别在第一帧和第二帧中检测地面对象，在此的地面对象是指点云数据中与真实地面相关联的部分。在第一帧和第二帧中，基于与地面对象相连接的一个或多个对象，分别形成第一组候选对象和第二组候选对象。由于点云数据来自城市环境，因而在此实施方式中仅考虑与地面相接触的对象(例如，车辆、自行车、行人等)，而并不考虑空中的诸如飞机等运动对象。通过这种简化手段，可以大大加快识别运动对象的效率。
在此实施方式中，可以以简单方式判断一个对象是否与地面相连。在已经检测到地面对象的情况下，可以获得地面对象的各个位置处的坐标(x，y，z)。因而，可以通过比较对象的z坐标与地面对象的各个位置处的坐标的关系，来确定该对象是否与地面对象相连。
具体地，假设已经在点云数据中识别出与一个对象相关联的部分，此时通过比较该部分中高度值最小的部分与地面对象相应位置处的高度值，来判断该部分是否与地面对象相接处。假设识别出的对象是树木，则通过比较树木根部的z坐标与相应位置处的地面对象的z坐标，即可确定该对象是否与地面对象相连接。以此方式，可以方便快捷地识别出各个帧中的与车辆、自行车和行人等相关联的候选对象。
进一步，可以针对在每个帧中所识别到的候选对象来逐一进行处理。例如，对于第一组候选对象中的一个候选对象，可以在第二组候选对象中找到与该候选对象相对应的候选对象。
根据本公开内容的示例性实现方式，基于候选对象的多个特征中的至少任一项来选择与第一候选对象相对应的第二候选对象。具体地，特征可以包括第一候选对象和第二候选对象的尺寸比例、光滑度、反射强度、位置以及点云密度。应当理解，各个对象在上述特征中可以具有不同的表现。例如车辆等运动对象的表面通常较为光滑，而树木等静止对象的表面通常较为粗糙。因而基于上述特征来区分与第一候选对象相对应的第二候选对象，可以更加准确地选择第二候选对象。
在此实施方式中，可以计算候选对象的各个特征，并且从第二组候选对象中选择与第一候选对象具有相似特征的对象来作为第二候选对象。在此首先介绍各个特征的具体含义。图6A示意性示出了根据本公开内容的示例性实施方式的用于确定与第一候选对象相对应的第二候选对象的方法600A的图示。
在此实施方式中，尺寸比例是指所识别出的对象的包围盒中的三维尺寸的比例。参见图6A，附图标记610A表示车辆120的包围盒。假设点云数据表示该车辆120的横向距离为4米并且高度为1.5米，则此时该车辆120的尺寸比例可以表示为4：1.5。附图标记620A表示树木140的包围盒。假设点云数据表示该树木140的横向距离为4米并且高度为6米，则此时该树木140的尺寸比例可以表示为4：6。通过数值比较可知，车辆120和树木140的尺寸比例差异较大。
假设第一候选对象的尺寸比例为4：1.5，并且第二组候选对象中包括多个候选对象，则此时应当从第二组候选对象中选择尺寸比例为4：1.5的候选对象来作为第二候选对象，而不能选择尺寸比例为4：6的候选对象。应当注意，尽管图6A中以二维方式示出了尺寸比例的示例，在实际应用环境中尺寸比例是三维形式。在三维形式中，车辆120和树木的尺寸比例可以分别表示为4：1.7：1.5(x、y和z方向)和4：4：6。
图6B示意性示出了根据本公开内容的示例性实施方式的用于确定与第一候选对象相对应的第二候选对象的方法600B的图示。在此实施方式中，反射强度是指对象表面对于采集设备110发出的激光的反射程度。例如，车辆120的金属表面在接收到来自采集设备110的激光后，可以反射很大一部分激光(如箭头610B所示)。基于采集设备110发出的数据以及采集到的“回波”数据，可以确定反射强度的大小。箭头620B示出了树木140对于采集设备110发出的激光的反射强度。由于树木140的树叶之间通常包括较多的空隙因而反射强度将远远低于车辆120的反射强度。
假设第一候选对象的反射强度较大，并且第二组候选对象中包括多个候选对象，则此时应当从第二组候选对象中选择反射强度较大的候选对象来作为第二候选对象，而不能选择反射强度较小的候选对象。应当注意，尽管图6B中以二维方式示出了反射强度的示例，在实际应用环境中的反射是在三维空间中的反射。基于采集设备110的类型，本领域技术人员可以定义各种数据结构来描述反射强度的大小。
根据本公开内容的示例性实现方式，光滑度可以表示对象表面的光滑程度。例如，可以采用高、中、低多个等级来描述光滑度，此时可以将车辆120的光滑度定义为“高”，并将树木140的光滑度定义为“低”。备选地，还可以采用连续数值的方式来描述光滑度。根据本公开内容的示例性实现方式，可以在[0，100]的连续区间定义光滑度，数值越小表示对象表面越粗糙，而数值越大表示对象表面越光滑。此时，此时可以将车辆120的光滑度定义为“90”，并将树木140的光滑度定义为“20”。
根据本公开内容的示例性实现方式，点云密度是指所采集到的点的密度。例如，从车辆120等表面光滑的对象采集到的点云密度可能较高，然而对于诸如树木140等对象，采集设备110发出的激光中的部分将会穿过树叶间的空隙并导致不能采集到回波信号。因而对于树木140等对象的点云密度将会较低。在此实施方式中还可以通过点云密度的大小，选择其点云密度与第一候选对象的点云密度相匹配的对象来作为第二候选对象。
根据本公开内容的示例性实现方式，位置是指与对象相关联的各个点的在点云数据的坐标系中的位置。例如，可以利用对象的中心的位置来作为对象的位置。应当注意，尽管根据本公开内容的示例性实现方式基于在对象在多个帧之间的位置偏移来判断该对象是否是运动对象，然而，需要选择位置偏移处于合理范围内的对象来作为第二候选对象。
假设第一帧和第二帧是两个连续帧并且采集时间间隔为0.1秒。假设在第一帧中找到的候选对象1的位置为(X1，Y，Z)，并且在第二帧中找到的候选对象2的位置为(X2，Y，Z)。假设两个候选对象的尺寸比例、光滑度、反射强度和点云密度都类似，然而位置X1和X2之间的距离达到10米。此时，如果候选对象1和候选对象2均对应于同一车辆，则该车辆的速度将达到10米/0.1秒(即，360公里/小时)。相对于城市道路而言，不可能出现车辆速度达到360公里/小时的情况，可以确定候选对象2不能对应于候选对象1。以此方式，在选择与第一候选对象相对应的第二候选对象时，可以选择位置在合理范围内的对象来作为第二候选对象。
应当注意，尽管在上文在多个不同的实施方式中描述了多个特征如尺寸比例、光滑度、反射强度、位置以及点云密度的具体含义和相关的操作细节。根据本公开内容的示例性实现方式，可以将上述特征相结合，例如，可以为各个特征设置相应的权重系数，以便更为全面地反应对象的特征。进而，在选择与第一候选对象相对应的第二候选对象时，可以选择各方面的特征都匹配的对象来作为第二候选对象。
根据本公开内容的示例性实现方式，还可以基于图像来协助选择第二候选对象。具体地，可以分别获取与第一帧和第二帧相关联的第一图像和第二图像。进一步，在选择第二候选对象时，可以选择满足如下条件的对象来作为第二候选对象：以使得所选择的对象在第二图像中的成像与第一候选对象在第一图像中的成像相匹配。在此实施方式中，通过参考与各个帧相关联的图像，可以进一步提高选择第二候选对象的准确性。
应当注意，采集设备110中还可以部署有图像采集设备，并且该图像采集设备可以与采集设备110中的激光采集设备协调工作，以便采集与点云数据中的帧相对应的图像。此时，还可以基于图像中的内容来选择第二候选对象。图像采集设备和激光采集设备的位置相近并且朝向一致。假设图像采集设备在各帧图像中都拍摄到一辆红色的汽车，则此时可以在点云数据的第一帧和第二帧中分别选择与该红色汽车相对应的对象来作为第一候选对象和第二候选对象。
根据本公开内容的示例性实现方式，第一帧和第二帧可以是点云数据中的两个连续帧。根据本公开内容的示例性实现方式，第一帧和第二帧可以是点云数据中的两个不连续的帧，只要通过各个帧的序号或者其他属性可以判断各个帧的时间顺序和时间间隔即可。
返回附图5，在框图530处，分别确定第一候选对象和第二候选对象在点云数据的坐标系中的第一位置和第二位置。根据本公开内容的示例性实现方式，可以将各个候选对象的中心的位置作为该候选对象的位置。应当注意，可以以多种方式来计算中心的位置。例如，可以获取与该对象相关联的全部或者一部分点，并且基于这些点在坐标系中的位置计算中心的位置。备选地，还可以基于点云密度等参数来对各个点的位置进行加权，或者还可以基于其他统计方法来将对象的其他位置作为对象的位置。
在附图5中的框图540处，如果第一位置和第二位置之间存在偏移，将第一候选对象标识为运动对象。在此实施方式中，可以确定两帧图像中的两个候选对象的位置之前是否存在偏移，如果存在偏移则可以将第一候选对象标识为运动对象；否则，可以将该第一候选对象标识为静止对象。应当注意，尽管在本公开内容的上下文中描述了将将第一候选对象标识为运动对象，由于第二候选对象是与该第一候选对象相对应的，并且两者是同一个真实对象在点云数据的两帧中的表现，因而此时第二候选对象也可以被标识为运动对象。
参见图7，在第一帧710A和第二帧710B中分别提取了第一候选对象714A和第二候选对象714B，并且已经确定两个候选对象的位置分别为第一位置716A和第二位置716B。如图所示，由于两个位置之间存在偏移D，因而可以将第一候选对象和第二候选对象中的任一项标识为运动对象。
可能会存在如下情况，尽管两个候选对象之间存在偏移，然而该偏移可能是由于某些噪声或者其他因素的干扰造成的。因而并不能仅仅基于在连续的或者时间间隔非常靠近的两个帧中检测到偏移，即确定第一候选对象和第二候选对象是运动对象。进一步，还可以监视多个帧的内容，以便更加准确地判断运动对象。
根据本公开内容的示例性实现方式，可以从点云数据中获取第三帧，在此第三帧可以是紧邻第二帧的后续帧或者第二帧之后的其他不连续帧。继而，可以按照上文描述的方式在第三帧中提取与第一候选对象相对应的第三候选对象。如果第三候选对象在坐标系中的第三位置与偏移相关联，将第一候选对象标识为运动对象。在此实施方式中，通过进一步参考点云数据中的更多帧，一方面可以过滤仅基于两帧数据造成的误判，另一方面，可以进一步确定运动对象在更多帧中的出现，并且有助于从点云数据消除与运动对象相关联的部分。
在下文中将参见图7详细描述该实施方式的更多细节。图7示意性示出了根据本公开内容的示例性实施方式的用于处理点云数据中的第一帧、第二帧和第三帧的方法700的图示。如图7所示，附图标记710A、710B和710C分别示出了点云数据中的三个连续帧。在此示例中，各个帧710A、710B和710C按照时间顺序排列。为了方便描述，在图7中仅示出了被提取的各个候选对象而并未示出其他数据。
如图7所示，此时在第一、第二和第三帧710A、710B和710C中已经分别提取了第一、第二和第三候选对象714A、714B和714C，并且三个候选对象在点云数据的坐标系中的位置分别为716A、716B和716C。此时，可以基于各个位置之间的偏移来确定各个候选对象是否是与运动对象相关联的点云数据。
参见图7，第一位置716A和第二位置716B之间的偏移为D，并且第二位置716B与第三位置716C之间的偏移也为D。此时，可以认为第三候选对象714C在坐标系中的第三位置716C与之前所确定的偏移D(即第二位置716B与第一位置716A之间的偏移)相关联。因而，可以确定第一、第二和第三候选对象714A、714B和714C是与同一个运动的实体对象相关联。进一步，可以将各个候选对象标识为运动对象。
应当注意，尽管在图7中仅示意性示出了沿着坐标系中的x轴方向的偏移，根据本公开内容的示例性实现方式，在坐标系中的x、y和z轴方向均可以存在偏移。
根据本公开内容的示例性实现方式，可以确定第三候选对象在第三帧中的预测位置。如果预测位置与第三位置相一致，将第一候选对象标识为运动对象。在此实施方式中，通过简单的位置判断即可确定第三候选对象是否像第一候选对象那样也对应于运动对象，进而提高识别的准确度。
继续参见图7的示例，假设采集实体112匀速运动，则可以基于第一帧710A和第二帧710B之间的偏移，来预测第三候选对象在第三帧710C中的预测位置。继而，基于预测位置与实际检测到的第三候选对象714C的第三位置716C是否一致，可以确定是否将第一候选对象714A、第二候选对象714B和第三候选对象714C标识为运动对象。在此示例中，可以在第二位置716B的基础上增加偏移D来确定预测位置。此时，预测位置与实际检测到的第三位置716相一致。因而，可以将第一候选对象714A、第二候选对象714B和第三候选对象714C标识为运动对象。
根据本公开内容的示例性实现方式，可以确定第一候选对象的对象速度，进一步，可以基于对象速度确定预测位置。在此实施方式中，由于第一帧和第二帧之间的时间间隔是已知的(例如，0.1秒)，在已经知晓偏移的情况下，可以基于偏移和时间间隔来确定对象速度。继续上文的示例，对象速度＝D/0.1＝10D。换言之，此时对象速度为10D/秒。
还应当注意，由于采集设备110被固定在采集实体112上，当采集实体112移动时，该采集设备110在采集第一帧和第二帧时的位置是不同的。因而，在确定第二候选对象在坐标系中的第二位置时，还可以考虑采集实体112的运动速度。由于采集实体112的运动速度是已知的，因而基于简单的运算即可获得确定第二候选对象在坐标系中的第二位置。类似地，还可以确定第三候选对象714C在第三帧710C中的第三位置716C。
应当注意，尽管在上文描述了第一帧和第二帧是两个连续帧的情况，根据本公开内容的示例性实现方式，两个帧还可以是不连续的帧。在下文中将参见图8描述如何基于两个不连续的帧来确定运动对象。图8示意性示出了根据本公开内容的示例性实施方式的用于处理点云数据中的第一帧和第三帧的方法800的图示。
在图8的示例中，第二帧710B被丢失或者出于某些原因被损坏，此时第一帧710A和第三帧710C是两个不连续的帧。基于帧的序号或者时间戳数据，可以确定第一帧710A和第三帧710C之间的时间间隔。例如时间间隔为0.2秒，则基于上文描述的方法可以确定第一候选对象714A的第一位置716A和第三候选对象714C的第三位置716C之间的偏移为2D。基于上述偏移，可以将第一候选对象和第二候选对象中的任一项标识为运动对象。
图9示意性示出了根据本公开内容的示例性实施方式的用于基于预测位置来标识运动对象的方法900的流程图。如图9所示，在框图910处，基于偏移确定第一候选对象的对象速度。具体地，可以按照上文描述的方法，基于偏移值和两帧之间的时间间隔来确定对象速度。在方框920处，可以基于对象速度来确定第三候选对象在坐标系中的预测位置。此时还需要考虑第三帧与第二帧之间的时间间隔。例如，假设第三帧是紧邻第二帧之后的帧，则此时时间间隔为0.1秒，并且预测位置为在第二位置的基础上增加D。又例如，假设第三帧是第二帧之后5个周期之后的帧，则此时时间间隔为0.5秒，并且预测位置为在第二位置的基础上增加5D。在方框930处，响应于预测位置与第三位置相一致，将第一候选对象标识为运动对象。
根据本公开内容的示例性实现方式，可以基于第一候选对象和第二候选对象确定点云数据中的与运动对象相关联的点的集合。进一步，为了生成仅包括静止对象的点云数据，还可以从原始点云数据中去除与运动对象相关联的点的集合。在已经识别出运动对象的情况下，可以从点云数据去除与该运动对象相关联的部分。以此方式，可以消除原始采集到的点云数据中的不期望的部分，并且生成“干净”的城市环境的点云数据用于其他目的。
在下文中将参见图10描述如何确定与运动对象相关联的点的集合。图10示意性示出了根据本公开内容的示例性实施方式的用于确定与运动对象相关联的点的集合的方法1000的框图。继续上文的示例，第一帧、第二帧和第三帧710A、710B和710C中的第一候选对象714A、第二候选对象714B、第三候选对象714C已经被标识为运动对象。此时这三个候选对象中的点都是与运动对象相关联的点，因而应当从点云数据中去除。
根据本公开内容的示例性实现方式，可以采用不同的方法来从点云数据中去除不期望的部分。例如，可以首先从点云数据的各个帧中分别去除相应的候选对象的点，再基于更新后的各个帧的数据来生成最终的点云数据。又例如，还可以基于其中出现运动对象的帧中的数据来为运动对象进行建模，继而从点云数据中去除属于该运动对象的部分。
根据本公开内容的示例性实现方式，在点云数据中的多个帧中，确定与运动对象相关联的一组帧。通常而言，在一个时间段内，运动对象都将位于采集设备110附近，因而在一组帧内都将检测到运动对象。基于运动对象在一组帧中的位置，确定运动对象的运动轨迹，之后，可以基于运动轨迹确定与运动对象相关联的点的集合。以此方式，可以更加准确地确定运动对象的出现位置，进而有助于在各个帧中确定与运动对象相关联的部分。
具体地，可以基于上文描述的原理在点云数据的各个帧中找到与运动对象相关联的一组帧。例如，继续上文参见图7描述的示例，可以在第二帧之后的每个连续帧中不断寻找是否存在与运动对象相关联的候选对象。如果存在则在下一帧中寻找，直到在下一帧中不存在与运动对象相关联的候选对象。接着，可以确定运动对象在一组帧中的每个帧中的位置，并形成运动轨迹。此时，运动轨迹描述了运动对象在采集点云数据期间的曾经经过的轨迹，因而基于该运动轨迹可以获得与运动对象相关联的点的集合。应当注意，现有技术中最终的点云数据中的重影即由该集合中的点造成的，此时从点云数据中去除该集合中的点，即可消除重影现象。
图11示意性示出了根据本公开内容的示例性实施方式的用于处理点云数据的装置1100的框图。具体地，该装置1100包括：获取模块1110，获取模块被配置为从点云数据中分别获取第一帧和第二帧；提取模块1120，提取模块被配置为在第一帧和第二帧中分别提取第一候选对象和与第一候选对象相对应的第二候选对象；确定模块1130，确定模块被配置为分别确定第一候选对象和第二候选对象在点云数据的坐标系中的第一位置和第二位置；以及标识模块1140，标识模块被配置为响应于第一位置和第二位置之间存在偏移，将第一候选对象和第二候选对象中的任一项标识为运动对象。
根据本公开内容的示例性实现方式，提取模块1120包括：聚类模块和选择模块。具体地，聚类模块被配置为在坐标系中，将第一帧和第二帧中的点进行聚类，以分别形成第一组候选对象和第二组候选对象。选择模块被配置为从第一组候选对象中选择第一候选对象，以及从第二组候选对象中选择与第一候选对象相对应的第二候选对象。
根据本公开内容的示例性实现方式，提取模块1120包括：地面检测模块和形成模块。具体地，地面检测模块被配置为分别在第一帧和第二帧中检测地面对象。形成模块被配置为在第一帧和第二帧中，基于与地面对象相连接的一个或多个对象，分别形成第一组候选对象和第二组候选对象。
根据本公开内容的示例性实现方式，提取模块1120包括：基于特征的选择模块。基于特征的选择模块被配置为基于以下特征中的至少任一项来选择与第一候选对象相对应的第二候选对象：第一候选对象和第二候选对象的尺寸比例、光滑度、反射强度、位置以及点云密度。
根据本公开内容的示例性实现方式，提取模块1120包括：图像获取模块和基于图像的选择模块。具体地，图像获取模块被配置为分别获取与第一帧和第二帧相关联的第一图像和第二图像。基于图像的选择模块被配置为选择第二候选对象，以使得第二候选对象在第二图像中的成像与第一候选对象在第一图像中的成像相匹配。
根据本公开内容的示例性实现方式，获取模块1110进一步被配置为从点云数据中获取第三帧。提取模块1120进一步被配置为在第三帧中提取与第一候选对象相对应的第三候选对象。标识模块1140进一步被配置为响应于第三候选对象在坐标系中的第三位置与偏移相关联，将第一候选对象标识为运动对象。
根据本公开内容的示例性实现方式，标识模块进一步包括：预测模块和运动对象标识模块。具体地，预测模块被配置为确定第三候选对象在坐标系的预测位置。运动对象标识模块被配置为响应于预测位置与第三位置相一致，将第一候选对象、第二候选对象和第三候选对象中的任一项标识为运动对象。
根据本公开内容的示例性实现方式，预测模块包括：速度确定模块和位置确定模块。速度确定模块被配置为基于偏移确定第一候选对象的对象速度。位置确定模块被配置为基于对象速度确定预测位置。
根据本公开内容的示例性实现方式，装置1100进一步包括：集合确定模块和去除模块。具体地，集合确定模块被配置为基于第一候选对象和第二候选对象确定点云数据中的与运动对象相关联的点的集合。去除模块被配置为从点云数据中去除点的集合。
根据本公开内容的示例性实现方式，集合确定模块包括：帧确定模块、轨迹确定模块和基于轨迹的集合确定模块。具体地，帧确定模块被配置为在点云数据中的多个帧中，确定与运动对象相关联的一组帧。轨迹确定模块被配置为基于运动对象在一组帧中的位置，确定运动对象的运动轨迹。基于轨迹的集合确定模块被配置为基于运动轨迹确定与运动对象相关联的点的集合。
图12示出了能够实施本公开内容的多个实施方式的计算设备1200的框图。设备1200可以用于实现图1的计算设备102。如图所示，设备1200包括中央处理单元(CPU)1201，其可以根据存储在只读存储器(ROM)1202中的计算机程序指令或者从存储单元1208加载到随机访问存储器(RAM)1203中的计算机程序指令，来执行各种适当的动作和处理。在RAM1203中，还可存储设备1200操作所需的各种程序和数据。CPU 1201、ROM 1202以及RAM 1203通过总线1204彼此相连。输入/输出(I/O)接口1205也连接至总线1204。
设备1200中的多个部件连接至I/O接口1205，包括：输入单元1206，例如键盘、鼠标等；输出单元1207，例如各种类型的显示器、扬声器等；存储单元1208，例如磁盘、光盘等；以及通信单元1209，例如网卡、调制解调器、无线通信收发机等。通信单元1209允许设备1200通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理单元1201执行上文所描述的各个方法和处理，例如过程800和/或过程900。例如，在一些实施方式中，过程800和/或过程900可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1208。在一些实施方式中，计算机程序的部分或者全部可以经由ROM 1202和/或通信单元1209而被载入和/或安装到设备1200上。当计算机程序加载到RAM 1203并由CPU 1201执行时，可以执行上文描述的过程800和/或过程900的一个或多个步骤。备选地，在其他实施方式中，CPU 1201可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行过程800和/或过程900。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)等等。
用于实施本公开内容的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开内容的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
此外，虽然采用特定次序描绘了各操作，但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行，或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开内容的范围的限制。在单独的实施方式的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (22)

1.一种用于处理点云数据的方法，包括：
从所述点云数据中分别获取第一帧和第二帧；
在所述第一帧和所述第二帧中分别提取第一候选对象和与所述第一候选对象相对应的第二候选对象；
分别确定所述第一候选对象和所述第二候选对象在所述点云数据的坐标系中的第一位置和第二位置；以及
响应于所述第一位置和所述第二位置之间存在偏移，将所述第一候选对象和所述第二候选对象中的任一项标识为运动对象。
2.根据权利要求1所述的方法，其中提取所述第一候选对象和所述第二候选对象包括：
在所述坐标系中，将所述第一帧和所述第二帧中的点进行聚类，以分别形成第一组候选对象和第二组候选对象；以及
从所述第一组候选对象中选择所述第一候选对象，以及从所述第二组候选对象中选择与所述第一候选对象相对应的所述第二候选对象。
3.根据权利要求2所述的方法，其中形成所述第一组候选对象和所述第二组候选对象包括：
分别在所述第一帧和所述第二帧中检测地面对象；以及
在所述第一帧和所述第二帧中，基于与所述地面对象相连接的一个或多个对象，分别形成所述第一组候选对象和所述第二组候选对象。
4.根据权利要求2所述的方法，其中从所述第二组候选对象中选择所述第二候选对象包括：
基于以下特征中的至少任一项来选择与所述第一候选对象相对应的第二候选对象：所述第一候选对象和所述第二候选对象的尺寸比例、光滑度、反射强度、位置以及点云密度。
5.根据权利要求2所述的方法，其中从所述第二组候选对象中选择所述第二候选对象包括：
分别获取与所述第一帧和所述第二帧相关联的第一图像和第二图像；以及
选择所述第二候选对象，以使得所述第二候选对象在所述第二图像中的成像与所述第一候选对象在所述第一图像中的成像相匹配。
6.根据权利要求1-5中的任一项所述的方法，其中将所述第一候选对象标识为所述运动对象包括：
从所述点云数据中获取第三帧；
在所述第三帧中提取与所述第一候选对象相对应的第三候选对象；
响应于所述第三候选对象在所述坐标系中的第三位置与所述偏移相关联，将所述第一候选对象、第二候选对象和第三候选对象中的任一项标识为所述运动对象。
7.根据权利要求6所述的方法，其中将所述第一候选对象、第二候选对象和第三候选对象中的任一项标识为所述运动对象包括：
确定所述第三候选对象在所述坐标系的预测位置；以及
响应于所述预测位置与所述第三位置相一致，将所述第一候选对象、所述第二候选对象和所述第三候选对象中的任一项标识为所述运动对象。
8.根据权利要求7所述的方法，其中确定所述第三候选对象在所述第三帧中的所述预测位置包括：
基于所述偏移确定所述第一候选对象的对象速度；以及
基于所述对象速度确定所述预测位置。
9.根据权利要求1-5中的任一项所述的方法，进一步包括：
基于所述第一候选对象和所述第二候选对象确定所述点云数据中的与所述运动对象相关联的点的集合；以及
从所述点云数据中去除所述点的集合。
10.根据权利要求9所述的方法：其中确定与所述运动对象相关联的所述点的集合进一步包括：
在所述点云数据中的多个帧中，确定与所述运动对象相关联的一组帧；
基于运动对象在所述一组帧中的位置，确定所述运动对象的运动轨迹；以及
基于所述运动轨迹确定与所述运动对象相关联的点的集合。
11.一种用于处理点云数据的装置，包括：
获取模块，所述获取模块被配置为从所述点云数据中分别获取第一帧和第二帧；
提取模块，所述提取模块被配置为在所述第一帧和所述第二帧中分别提取第一候选对象和与所述第一候选对象相对应的第二候选对象；
确定模块，所述确定模块被配置为分别确定所述第一候选对象和所述第二候选对象在所述点云数据的坐标系中的第一位置和第二位置；以及
标识模块，所述标识模块被配置为响应于所述第一位置和所述第二位置之间存在偏移，将所述第一候选对象和所述第二候选对象中的任一项标识为运动对象。
12.根据权利要求11所述的装置，其中所述提取模块包括：
聚类模块，所述聚类模块被配置为在所述坐标系中，将所述第一帧和所述第二帧中的点进行聚类，以分别形成第一组候选对象和第二组候选对象；以及
选择模块，所述选择模块被配置为从所述第一组候选对象中选择所述第一候选对象，以及从所述第二组候选对象中选择与所述第一候选对象相对应的所述第二候选对象。
13.根据权利要求12所述的装置，其中所述提取模块包括：
地面检测模块，所述地面检测模块被配置为分别在所述第一帧和所述第二帧中检测地面对象；以及
形成模块，所述形成模块被配置为在所述第一帧和所述第二帧中，基于与所述地面对象相连接的一个或多个对象，分别形成所述第一组候选对象和所述第二组候选对象。
14.根据权利要求12所述的装置，其中所述提取模块包括：
基于特征的选择模块，所述基于特征的选择模块被配置为基于以下特征中的至少任一项来选择与所述第一候选对象相对应的第二候选对象：所述第一候选对象和所述第二候选对象的尺寸比例、光滑度、反射强度、位置以及点云密度。
15.根据权利要求12所述的装置，其中所述提取模块包括：
图像获取模块，所述图像获取模块被配置为分别获取与所述第一帧和所述第二帧相关联的第一图像和第二图像；以及
基于图像的选择模块，所述基于图像的选择模块被配置为选择所述第二候选对象，以使得所述第二候选对象在所述第二图像中的成像与所述第一候选对象在所述第一图像中的成像相匹配。
16.根据权利要求11-15中的任一项所述的装置，其中：
所述获取模块进一步被配置为从所述点云数据中获取第三帧；
所述提取模块进一步被配置为在所述第三帧中提取与所述第一候选对象相对应的第三候选对象；
所述标识模块进一步被配置为响应于所述第三候选对象在所述坐标系中的第三位置与所述偏移相关联，将所述第一候选对象标识为所述运动对象。
17.根据权利要求16所述的装置，其中所述标识模块进一步包括：
预测模块，所述预测模块被配置为确定所述第三候选对象在所述坐标系的预测位置；以及
运动对象标识模块，所述运动对象标识模块被配置为响应于所述预测位置与所述第三位置相一致，将所述第一候选对象、所述第二候选对象和所述第三候选对象中的任一项标识为所述运动对象。
18.根据权利要求17所述的装置，其中所述预测模块包括：
速度确定模块，所述速度确定模块被配置为基于所述偏移确定所述第一候选对象的对象速度；以及
位置确定模块，所述位置确定模块被配置为基于所述对象速度确定所述预测位置。
19.根据权利要求11-15中的任一项所述的装置，进一步包括：
集合确定模块，所述集合确定模块被配置为基于所述第一候选对象和所述第二候选对象确定所述点云数据中的与所述运动对象相关联的点的集合；以及
去除模块，所述去除模块被配置为从所述点云数据中去除所述点的集合。
20.根据权利要求19所述的装置：其中所述集合确定模块包括：
帧确定模块，所述帧确定模块被配置为在所述点云数据中的多个帧中，确定与所述运动对象相关联的一组帧；
轨迹确定模块，所述轨迹确定模块被配置为基于运动对象在所述一组帧中的位置，确定所述运动对象的运动轨迹；以及
基于轨迹的集合确定模块，所述基于轨迹的集合确定模块被配置为基于所述运动轨迹确定与所述运动对象相关联的点的集合。
21.一种设备，所述设备包括：
一个或多个处理器；以及
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现根据权利要求1-10中任一项所述的方法。
22.一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现根据权利要求1-10中任一项所述的方法。
CN201711477530.5A 2017-12-29 2017-12-29 用于处理点云数据的方法和装置 Pending CN108460791A (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201711477530.5A CN108460791A (zh) 2017-12-29 2017-12-29 用于处理点云数据的方法和装置
KR1020180130581A KR102198724B1 (ko) 2017-12-29 2018-10-30 포인트 클라우드 데이터를 처리하기 위한 방법 및 장치
EP18248161.4A EP3505962B1 (en) 2017-12-29 2018-12-28 Method and apparatus for processing point cloud data
US16/235,668 US11037305B2 (en) 2017-12-29 2018-12-28 Method and apparatus for processing point cloud data
JP2018247315A JP7167397B2 (ja) 2017-12-29 2018-12-28 点群データを処理するための方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711477530.5A CN108460791A (zh) 2017-12-29 2017-12-29 用于处理点云数据的方法和装置

Publications (1)

Publication Number Publication Date
CN108460791A true CN108460791A (zh) 2018-08-28

Family

ID=63220514

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711477530.5A Pending CN108460791A (zh) 2017-12-29 2017-12-29 用于处理点云数据的方法和装置

Country Status (5)

Country Link
US (1) US11037305B2 (zh)
EP (1) EP3505962B1 (zh)
JP (1) JP7167397B2 (zh)
KR (1) KR102198724B1 (zh)
CN (1) CN108460791A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109285220A (zh) * 2018-08-30 2019-01-29 百度在线网络技术（北京）有限公司 一种三维场景地图的生成方法、装置、设备及存储介质
WO2020071703A1 (ko) * 2018-10-01 2020-04-09 엘지전자 주식회사 포인트 클라우드 데이터 전송 장치, 포인트 클라우드 데이터 전송 방법, 포인트 클라우드 데이터 수신 장치 및/또는 포인트 클라우드 데이터 수신 방법
CN111273314A (zh) * 2018-11-16 2020-06-12 北京四维图新科技股份有限公司 点云数据处理方法、装置和存储介质
CN111523475A (zh) * 2020-04-23 2020-08-11 江苏黑麦数据科技有限公司 3d点云中物体的识别方法、装置、存储介质和处理器
CN111514587A (zh) * 2020-04-27 2020-08-11 网易（杭州）网络有限公司 信息处理方法、装置、设备及存储介质
CN111539326A (zh) * 2020-04-23 2020-08-14 江苏黑麦数据科技有限公司 运动信息的确定方法、确定装置、存储介质和处理器
EP3712658A1 (en) * 2019-03-21 2020-09-23 Nuctech Company Limited Laser speed measuring method, control device and laser velocimeter
WO2020233436A1 (zh) * 2019-05-22 2020-11-26 阿里巴巴集团控股有限公司 车辆速度确定方法及车辆
CN112017202A (zh) * 2019-05-28 2020-12-01 杭州海康威视数字技术股份有限公司 点云标注方法、装置及系统
CN112484738A (zh) * 2020-11-24 2021-03-12 深圳市优必选科技股份有限公司 机器人建图方法、装置、计算机可读存储介质及机器人
JP2021516183A (ja) * 2019-01-30 2021-07-01 バイドゥ ドットコム タイムス テクノロジー （ベイジン） カンパニー リミテッド 自動運転車のためのポイントクラウドゴースト効果検出システム
CN114748099A (zh) * 2022-06-15 2022-07-15 深圳瀚维智能医疗科技有限公司 偏移检测方法、装置、设备以及计算机可读存储介质
CN117872389A (zh) * 2024-01-19 2024-04-12 武汉万曦智能科技有限公司 场车无线测速方法及系统

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112327308B (zh) * 2019-07-19 2024-07-16 浙江菜鸟供应链管理有限公司 物体检测方法、装置、系统及设备
KR102267277B1 (ko) * 2019-08-29 2021-06-21 (주)오토노머스에이투지 라이다 센서의 포인트 데이터를 클러스터링하는 방법 및 이를 이용한 컴퓨팅 장치
CN112652062B (zh) * 2019-10-10 2024-04-05 北京京东乾石科技有限公司 一种点云地图构建方法、装置、设备和存储介质
CN118612463A (zh) * 2020-01-07 2024-09-06 Lg电子株式会社 点云数据的编码、解码方法和装置及存储介质
KR102386712B1 (ko) * 2020-01-07 2022-04-15 엘지전자 주식회사 포인트 클라우드 데이터 전송 장치, 전송 방법, 처리 장치 및 처리 방법
JP7517675B2 (ja) 2020-01-31 2024-07-17 Ｎｅｃソリューションイノベータ株式会社 地図データ生成装置、地図データ生成方法、及びプログラム
CN115280780A (zh) * 2020-03-16 2022-11-01 Lg电子株式会社 点云数据发送装置、发送方法、处理装置和处理方法
CN115668938A (zh) * 2020-03-18 2023-01-31 Lg电子株式会社 点云数据发送装置、点云数据发送方法、点云数据接收装置和点云数据接收方法
KR102406845B1 (ko) * 2020-04-13 2022-06-10 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
WO2022005159A1 (ko) * 2020-06-29 2022-01-06 엘지전자 주식회사 포인트 클라우드 데이터 전송 장치, 전송 방법, 처리 장치 및 처리 방법
US20230328285A1 (en) * 2020-09-17 2023-10-12 Lg Electronics Inc. Point cloud data transmission method, point cloud data transmission device, point cloud data reception method, and point cloud data reception device
WO2022075786A1 (ko) * 2020-10-07 2022-04-14 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
WO2022080982A1 (ko) * 2020-10-16 2022-04-21 엘지전자 주식회사 포인트 클라우드 데이터 전송 방법, 포인트 클라우드 데이터 전송 장치, 포인트 클라우드 데이터 수신 방법 및 포인트 클라우드 데이터 수신 장치
CN113537417B (zh) * 2021-09-17 2021-11-30 南京隼眼电子科技有限公司 基于雷达的目标识别方法、装置、电子设备及存储介质
WO2023068754A1 (ko) * 2021-10-18 2023-04-27 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
CN114219909B (zh) * 2021-11-09 2024-10-22 浙江大华技术股份有限公司 三维重建方法以及相关装置
JPWO2023145043A1 (zh) * 2022-01-31 2023-08-03
KR20240130753A (ko) * 2022-02-08 2024-08-29 엘지전자 주식회사 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 수신 방법 및 포인트 클라우드 데이터 수신 장치
CN115790441B (zh) * 2022-11-10 2023-08-25 重庆数字城市科技有限公司 一种市政部件数据提取方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101615291A (zh) * 2008-06-27 2009-12-30 睿致科技股份有限公司 一种反馈式对象侦测方法
CN101621629A (zh) * 2008-06-30 2010-01-06 睿致科技股份有限公司 自动曝光的方法
CN104050712A (zh) * 2013-03-15 2014-09-17 索尼公司 三维模型的建立方法和装置
CN105260988A (zh) * 2015-09-09 2016-01-20 百度在线网络技术（北京）有限公司 一种高精地图数据的处理方法和装置
CN105793730A (zh) * 2013-06-14 2016-07-20 优步技术公司 对象运动的基于激光雷达的分类
CN106250863A (zh) * 2016-08-09 2016-12-21 北京旷视科技有限公司 对象追踪方法和装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101617197B (zh) * 2007-02-16 2011-06-22 三菱电机株式会社 测量装置、测量方法及地物识别装置
US8260539B2 (en) * 2010-05-12 2012-09-04 GM Global Technology Operations LLC Object and vehicle detection and tracking using 3-D laser rangefinder
JP6030549B2 (ja) * 2011-04-13 2016-11-24 株式会社トプコン 三次元点群位置データ処理装置、三次元点群位置データ処理システム、三次元点群位置データ処理方法およびプログラム
US9086481B1 (en) * 2013-01-18 2015-07-21 Google Inc. Methods and systems for estimating vehicle speed
US10410321B2 (en) * 2014-01-07 2019-09-10 MN Netherlands C.V. Dynamic updating of a composite image
US9767572B2 (en) * 2015-05-01 2017-09-19 Raytheon Company Systems and methods for 3D point cloud processing
JP6430907B2 (ja) * 2015-07-17 2018-11-28 株式会社Ｓｏｋｅｎ 運転支援システム
US9576185B1 (en) 2015-09-14 2017-02-21 Toyota Motor Engineering & Manufacturing North America, Inc. Classifying objects detected by 3D sensors for autonomous vehicle operation
US10527730B2 (en) * 2015-10-22 2020-01-07 Toyota Motor Engineering & Manufacturing North America, Inc. Object detection system
US10611495B2 (en) * 2016-04-08 2020-04-07 Sikorsky Aircraft Corporation Sea state estimation
JP6286474B2 (ja) * 2016-04-19 2018-02-28 東芝テリー株式会社 画像処理装置および領域追跡プログラム
US10445928B2 (en) * 2017-02-11 2019-10-15 Vayavision Ltd. Method and system for generating multidimensional maps of a scene using a plurality of sensors of various types
US10365650B2 (en) * 2017-05-25 2019-07-30 GM Global Technology Operations LLC Methods and systems for moving object velocity determination

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101615291A (zh) * 2008-06-27 2009-12-30 睿致科技股份有限公司 一种反馈式对象侦测方法
CN101621629A (zh) * 2008-06-30 2010-01-06 睿致科技股份有限公司 自动曝光的方法
CN104050712A (zh) * 2013-03-15 2014-09-17 索尼公司 三维模型的建立方法和装置
CN105793730A (zh) * 2013-06-14 2016-07-20 优步技术公司 对象运动的基于激光雷达的分类
CN105260988A (zh) * 2015-09-09 2016-01-20 百度在线网络技术（北京）有限公司 一种高精地图数据的处理方法和装置
CN106250863A (zh) * 2016-08-09 2016-12-21 北京旷视科技有限公司 对象追踪方法和装置

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
中国测绘地理信息学会: "《中国测绘学科发展蓝皮书》", 30 November 2016, 测绘出版社 *
张坤石: "《潜艇光电装备技术》", 31 December 2012, 哈尔滨工业大学出版社 *
李永强 等: "《车载激光扫描数据处理技术》", 31 October 2015, 测绘出版社 *
栾悉道 等: "《多媒体情报处理技术》", 31 May 2016, 国防工业出版社 *
熊光明 等: "《无人驾驶车辆智能行为及其测试与评价》", 30 November 2015, 北京理工大学出版社 *
贺贵明 等: "《基于内容的视频编码与传输控制技术》", 30 April 2005, 武汉大学出版社 *
陈宗海: "《系统仿真技术及其应用》", 31 August 2017, 中国科学技术大学出版社 *

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11069133B2 (en) 2018-08-30 2021-07-20 Baidu Online Network Technology (Beijing) Co., Ltd. Method and device for generating three-dimensional scene map
EP3617655A3 (en) * 2018-08-30 2020-07-29 Baidu Online Network Technology (Beijing) Co., Ltd. Method and device for generating three-dimensional scene map
CN109285220A (zh) * 2018-08-30 2019-01-29 百度在线网络技术（北京）有限公司 一种三维场景地图的生成方法、装置、设备及存储介质
WO2020071703A1 (ko) * 2018-10-01 2020-04-09 엘지전자 주식회사 포인트 클라우드 데이터 전송 장치, 포인트 클라우드 데이터 전송 방법, 포인트 클라우드 데이터 수신 장치 및/또는 포인트 클라우드 데이터 수신 방법
CN111273314A (zh) * 2018-11-16 2020-06-12 北京四维图新科技股份有限公司 点云数据处理方法、装置和存储介质
JP7029479B2 (ja) 2019-01-30 2022-03-03 バイドゥ ドットコム タイムス テクノロジー （ベイジン） カンパニー リミテッド 自動運転車のためのポイントクラウドゴースト効果検出システム
JP2021516183A (ja) * 2019-01-30 2021-07-01 バイドゥ ドットコム タイムス テクノロジー （ベイジン） カンパニー リミテッド 自動運転車のためのポイントクラウドゴースト効果検出システム
US11573322B2 (en) 2019-03-21 2023-02-07 Nuctech Company Limited Laser speed measuring method, control device and laser velocimeter
EP3712658A1 (en) * 2019-03-21 2020-09-23 Nuctech Company Limited Laser speed measuring method, control device and laser velocimeter
WO2020233436A1 (zh) * 2019-05-22 2020-11-26 阿里巴巴集团控股有限公司 车辆速度确定方法及车辆
CN112017202B (zh) * 2019-05-28 2024-06-14 杭州海康威视数字技术股份有限公司 点云标注方法、装置及系统
CN112017202A (zh) * 2019-05-28 2020-12-01 杭州海康威视数字技术股份有限公司 点云标注方法、装置及系统
CN111539326A (zh) * 2020-04-23 2020-08-14 江苏黑麦数据科技有限公司 运动信息的确定方法、确定装置、存储介质和处理器
CN111539326B (zh) * 2020-04-23 2023-10-10 江苏黑麦数据科技有限公司 运动信息的确定方法、确定装置、存储介质和处理器
CN111523475B (zh) * 2020-04-23 2023-12-19 江苏黑麦数据科技有限公司 3d点云中物体的识别方法、装置、存储介质和处理器
CN111523475A (zh) * 2020-04-23 2020-08-11 江苏黑麦数据科技有限公司 3d点云中物体的识别方法、装置、存储介质和处理器
CN111514587A (zh) * 2020-04-27 2020-08-11 网易（杭州）网络有限公司 信息处理方法、装置、设备及存储介质
US11771992B2 (en) 2020-04-27 2023-10-03 Netease (Hangzhou) Network Co., Ltd. Information processing method, apparatus, and device, and storage medium
CN112484738A (zh) * 2020-11-24 2021-03-12 深圳市优必选科技股份有限公司 机器人建图方法、装置、计算机可读存储介质及机器人
WO2022110473A1 (zh) * 2020-11-24 2022-06-02 深圳市优必选科技股份有限公司 机器人建图方法、装置、计算机可读存储介质及机器人
CN114748099A (zh) * 2022-06-15 2022-07-15 深圳瀚维智能医疗科技有限公司 偏移检测方法、装置、设备以及计算机可读存储介质
CN114748099B (zh) * 2022-06-15 2022-11-01 深圳瀚维智能医疗科技有限公司 偏移检测方法、装置、设备以及计算机可读存储介质
CN117872389A (zh) * 2024-01-19 2024-04-12 武汉万曦智能科技有限公司 场车无线测速方法及系统
CN117872389B (zh) * 2024-01-19 2024-07-02 武汉万曦智能科技有限公司 场车无线测速方法及系统

Also Published As

Publication number Publication date
US20190206063A1 (en) 2019-07-04
US11037305B2 (en) 2021-06-15
KR20190082065A (ko) 2019-07-09
JP2019149150A (ja) 2019-09-05
EP3505962B1 (en) 2022-11-09
KR102198724B1 (ko) 2021-01-05
JP7167397B2 (ja) 2022-11-09
EP3505962A1 (en) 2019-07-03

Similar Documents

Publication Publication Date Title
CN108460791A (zh) 用于处理点云数据的方法和装置
Chang et al. Argoverse: 3d tracking and forecasting with rich maps
AU2020267215B2 (en) Method and System for Use in Colourisation of a Point Cloud
Varma et al. Real time detection of speed hump/bump and distance estimation with deep learning using GPU and ZED stereo camera
CN109598794B (zh) 三维gis动态模型的构建方法
CN108225348A (zh) 地图创建以及运动实体定位的方法和装置
CN107817496A (zh) 用于自动车辆的激光雷达对象检测系统
CN107077735A (zh) 三维对象识别
CN106327558B (zh) 点云立面提取方法和装置
Czerniawski et al. Automated removal of planar clutter from 3D point clouds for improving industrial object recognition
CN115185285B (zh) 吸尘机器人的自动避障方法、装置、设备及存储介质
CN114677435A (zh) 一种点云全景融合要素提取方法和系统
JP4568845B2 (ja) 変化領域認識装置
WO2019121056A1 (fr) Methode de reconnaissance d'objets dans une scene observee en trois dimensions
CN112381947A (zh) 一种建筑物三维变化信息提取及语义识别方法和终端
CN116188417A (zh) 基于slam和图像处理的裂缝检测及其三维定位方法
JP6894395B2 (ja) 情報取得装置及び情報集計システム並びに情報集計装置
CN118463965A (zh) 定位精度评价方法、装置以及车辆
CN115546743B (zh) 基于附着系数的车路协同控制方法、装置、设备及介质
JP3966419B2 (ja) 変化領域認識装置および変化認識システム
CN115995075A (zh) 一种车辆自适应导航方法、装置、电子设备及存储介质
CN115497086A (zh) 一种自动驾驶中基于细粒度识别的3d场景流估计的方法
Dietze et al. Visualization of differences between spatial measurements and 3d planning data
Corneliu et al. Real-time pedestrian classification exploiting 2D and 3D information
KR101655204B1 (ko) 3차원 그래픽 모델을 이용한 영상처리 장치 및 그 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180828