CN108665472A - 点云分割的方法和设备 - Google Patents
点云分割的方法和设备 Download PDFInfo
- Publication number
- CN108665472A CN108665472A CN201710214706.1A CN201710214706A CN108665472A CN 108665472 A CN108665472 A CN 108665472A CN 201710214706 A CN201710214706 A CN 201710214706A CN 108665472 A CN108665472 A CN 108665472A
- Authority
- CN
- China
- Prior art keywords
- point
- point set
- visual angle
- pending
- under
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种点云分割的方法和设备，在点云分割过程中，通过交互方式确定目标视角，并在目标视角下将待处理点云分割为若干语义完整的部分，实时完成了标记和分割，大幅提升分割速度，以及减少用户标注量。该方法包括：对待处理点云中的点进行合并，得到多个点集；对该待处理点云在多个视角下进行视角采样，得到该多个视角中每个视角下的视图；对该多个视角中每个视角下的视图进行评估，以及根据评估结果从该多个视角中确定目标视角；在确定该目标视角之后，显示该目标视角下的视图指示的图像；获取用户标记的标注物的种子点集；根据该种子点集，对该多个点集中该标注物体对应的点集与其它点集进行分割。
Description
技术领域
本申请涉及图像处理领域，并且更具体地，涉及一种点云分割的方法和设备。
背景技术
随着虚拟现实技术的成熟和三维扫描设备的普及，点云的获取及处理正愈加方便。在处理的过程中，最基本的一个环节即点云分割，即将所采集到的点云分割成具有多个完整语义的部分，该过程按照是否需要人为干预分为自动分割和交互式分割两类。然而，现有的自动分割算法的结果可控性不高，往往存在过分割(Over-Segmentation)、欠分割(Under-Segmentation)、未分割(Un-segmented)和错分割，现有的交互式分割算法存在交互量大的缺点。
因此，如何在点云分割的过程中提高分割准确度和减少交互量，是一项亟待解决的问题。
发明内容
本申请提供一种点云分割的方法和设备，能够在点云分割过程中，通过交互方式确定目标视角，并在目标视角下将待处理点云分割为若干语义完整的部分，实时完成了标记和分割，大幅提升分割速度，以及减少用户的标注量。
第一方面，提供了一种点云分割的方法，包括：对待处理点云中的点进行合并，得到多个点集；对该待处理点云在多个视角下进行视角采样，得到该多个视角中每个视角下的视图，该多个视角是该待处理点云中至少两个具有代表性场景的视角；对该多个视角中每个视角下的视图进行评估，以及根据评估结果从该多个视角中确定目标视角；在确定该目标视角之后，显示该目标视角下的视图指示的图像；获取用户标记的种子点集，该种子点集是该目标视角下的视图中该多个点集中标注物体对应的部分点集；根据该种子点集，对该多个点集中该标注物体对应的点集与其它点集进行分割。
因此，在本申请实施例的点云分割的方法中，在点云分割的过程中确定目标视角，在目标视角下通过交互方式获取用户标记的种子点集，以及根据种子点集对点云进行分割，减少了用户在选择视角上的交互量，同时减少了用户在确定种子点集过程中的标注量，提升了点云分割速度。
可选地，在第一方面的一种实现方式中，该对待处理点云中的点进行合并，得到多个点集，包括：
根据该待处理点云中的每个点的曲率，以及该每个点的相邻点的法向、法向投影距离和颜色空间距离等距离测度中的至少一种，将该待处理点云的点合并为该多个点集。
可选地，在第一方面的一种实现方式中，该根据该待处理点云中的每个点的曲率，以及该每个点的相邻点的法向、法向投影距离和颜色空间距离等距离测度中的至少一种，将该待处理点云的点合并为该多个点集，包括：
选取该待处理点云中尚未合并为该多个点集、且曲率最小的点；
确定该尚未合并为该多个点集、且曲率最小的点的相邻点的法向、法向投影距离和颜色空间距离等距离测度中的至少一种，该相邻点为尚未合并为该多个点集的点和/或该多个点集中的点集的质心点；
当该相邻点的法向、法向投影距离和颜色空间距离等距离测度中的至少一种小于第一阈值时，将该尚未合并为该多个点集、且曲率最小的点与该相邻点合并为该多个点集中的一个点集。
可选地，在第一方面的一种实现方式中，该根据该待处理点云中的每个点的曲率，以及该每个点的相邻点的法向、法向投影距离和颜色空间距离等距离测度中的至少一种，将该待处理点云的点合并为该多个点集，包括：
选取该待处理点云中尚未合并为第一点集、且曲率最小的点；
确定该尚未合并为该第一点集、且曲率最小的点的相邻点的法向、法向投影距离和颜色空间距离等距离测度中的至少一种，该相邻点为尚未合并为该第一点集的点和/或该第一点集的质心点；
当该相邻点的法向、法向投影距离和颜色空间距离等距离测度中的至少一种小于第一阈值时，将该尚未合并为该第一点集、且曲率最小的点与该相邻点合并为至少两个第一点集；
选取该至少两个第一点集中尚未合并为该多个点集、且包括点数最多的第一点集；
确定该尚未合并为该多个点集、且包括点数最多的第一点集的相邻点集的拟合平面的法向、质心和颜色直方图中的至少一种，该相邻点集为尚未合并为该多个点集的第一点集和/或该多个点集中的点集；
当该相邻点集的拟合平面的法向、质心和颜色直方图中的至少一种小于第二阈值时，将该尚未合并为该多个点集、且包括点数最多的第一点集与该相邻点集合并为该多个点集中的一个点集；
当该相邻点集的拟合平面的法向、质心和颜色直方图中的至少一种大于或者等于第二阈值时，确定该尚未合并为该多个点集、且包括点数最多的第一点集为该多个点集中的一个点集。
因此，在本申请实施例的点云分割的方法中，在点云分割过程中，将点云中的点通过多次合并得到最终点集，同时在点集合并的过程中引入了相邻点集的拟合平面的法向、质心和颜色直方图等因素，提升了点集合并的准确性，降低问题规模，达到实用性要求。
可选地，在第一方面的一种实现方式中，该方法还包括：
当该至少两个第一点集中无法合并为该多个点集的第一点集的个数大于第三阈值时，至少一次调整该第二阈值，以使无法合并为该多个点集的第一点集部分或全部合并为该多个点集。
因此，在本申请实施例的点云分割的方法中，在点云分割过程中，当待处理点云的点云质量较差时，也能通过至少一次调整点集合并的阈值的方式，对点集进行合并，减少那些只包含少数点的点集的数量，实现了在点云质量差的时候也能够达到较好的点云分割效果，达到实用性要求。
可选地，在第一方面的一种实现方式中，该根据该种子点集，对该多个点集中该标注物体对应的点集与其它点集进行分割，包括：
根据该种子点集，确定该多个点集中该标注物体对应的待处理点集，该待处理点集是该标注物体对应的点集中除该种子点集外的任意点集；
根据该待处理点集，对该多个点集中该标注物体对应的点集与其它点集进行分割。
可选地，在第一方面的一种实现方式中，该根据该待处理点集，对该多个点集中该标注物体对应的点集与其它点集进行分割，包括：
根据该多个点集中水平点集对应凸包的面积，垂直点集对应凸包的面积，以及水平点集与垂直点集之间的空间相邻关系，确定该多个点集中构成点集对的两个点集之间的支撑关系，其中，该水平点集为该多个点集中与地面夹角小于45°的点集，该垂直点集为该多个点集中与地面夹角大于或者等于45°的点集，一个水平点集和一个垂直点集构成一个点集对；
根据该多个点集中构成点集对的两个点集之间的支撑关系，确定该多个点集中每个点集之间的空间相邻关系；
根据该多个点集中每个点集之间的空间相邻关系，确定该待处理点集与该种子点集之间的映射关系；
在确定该待处理点集与该种子点集之间的映射关系之后，根据该待处理点集，对该多个点集中该标注物体对应的点集与其它点集进行分割。
可选地，在第一方面的一种实现方式中，该根据该多个点集中水平点集对应凸包的面积、垂直点集对应凸包的面积，以及水平点集与垂直点集之间的空间相邻关系，确定该多个点集中构成点集对的两个点集之间的支撑关系，包括：
根据公式确定该多个点集中垂直点集pi与水平点集pj构成的点集对中垂直点集pi与水平点集pj之间的支撑关系，
其中，Q<pi,pj>指示构成点集对的垂直点集pi与水平点集pj之间的支撑关系，pi是第i个垂直点集，pj是第j个水平点集，Wi是点集pi对应凸包的面积，Wj是点集pj对应凸包的面积，α是预定义参数，U(pi,pj)是与pi相邻且同样支撑pj的垂直点集的个数，当U(pi,pj)≠0是垂直点集pi支撑水平点集pj，U(pi,pj)＝0是水平点集pj支撑垂直点集 pi。
可选地，在第一方面的一种实现方式中，该根据该多个点集中每个点集之间的空间相邻关系，确定该待处理点集与该种子点集之间的映射关系，包括：
根据该种子点集与待处理点集之间的数据代价，以及该待处理点集与该待处理点集的相邻点集之间的平滑代价，确定该待处理点集与该种子点集之间的映射关系，
其中，该数据代价是由待处理点集和种子点集之间的平面特征的差异、待处理点集的中心和最近种子点集的中心之间的空间距离、待处理点集和种子点集之间的颜色直方图的差异确定；该平滑代价是由待处理点集与待处理点集的相邻点集属于不同类别时产生的颜色特征的代价、待处理点集与待处理点集的相邻点集属于不同类别时产生的拟合平面特征的代价、待处理点集与待处理点集的相邻点集属于不同类别时产生的支撑关系特征的代价确定。
可选地，在第一方面的一种实现方式中，该根据该种子点集与待处理点集之间的数据代价，以及该待处理点集与该待处理点集的相邻点集之间的平滑代价，确定该待处理点集与该种子点集之间的映射关系，包括：
根据公式确定该待处理点集与该种子点集之间的映射关系，
其中，E指示该待处理点集与该种子点集之间的映射关系， ED(pi,vi)＝λDDD(pi,Ui)+λCDC(pi,Ui)+λPDP(pi,Ui)+λSDS(pi,Ui)，该数据代价ED是待处理点集pi归类为标签vi的代价函数，pi是待处理点集，vi是种子点集对应的标签； ES(pi,vi,pj,vj)＝λC′SC(pi,vi,pj,vj)+λP′SP(pi,vi,pj,vj)+λS′SS(pi,vi,pj,vj)，该平滑代价 ES是待处理点集和待处理点集的相邻点集组成的点集对(pi,pj)分别归类为标签(vi,vj)的代价函数，pj是待处理点集的相邻点集，vj是种子点集的相邻点集对应的标签；Ui是归类为标签vi的所有种子点集构成的集合；DD是距离特征的代价，取决于pi的中心和最近种子点集的中心间的空间距离；DC是颜色特征的代价，取决于pi和种子点集的颜色直方图的差异；DP是平面特征的代价，取决于pi和种子点集间的平面特征(法向和法向的距离)的差异；DS是支撑关系特征的代价，取决于pi和种子点集之间的支撑关系；SC是当 pi和pj属于不同类别的标签(vi≠vj)时产生的颜色特征的代价；SP是当pi和pj属于不同类别的标签(vi≠vj)时产生的拟合平面特征的代价；SS是当pi和pj属于不同类别的标签 (vi≠vj)时产生的支撑关系特征的代价；λ是常数，λD、λC、λS、λC′、λP′以及λS′常数。
因此，在本申请实施例的点云分割过程中，通过上述确定待处理点集与种子点集之间的映射关系的函数，确定待处理点集与种子点集之间的映射关系，进而，在对待处理点云中标注物对应的点集与其他点集进行分割时，提高分割的速度和准确性。
可选地，在第一方面的一种实现方式中，该对该多个视角中每个视角下的视图进行评估，以及根据评估结果从该多个视角中确定目标视角，包括：
显示该多个视角中每个视角下的视图指示的图像；
获取用户对该多个视角中每个视角下的视图的打分结果；
根据该打分结果，确定该多个视角的优先级；
确定优先级最高的视角为该目标视角。
可选地，在第一方面的一种实现方式中，该对该多个视角中每个视角下的视图进行评估，以及根据评估结果从该多个视角中确定目标视角，包括：
提取该多个视角中每个视角下的视图中的点的投影面积Apa、点的信息熵Ava和点的密度Apd；
根据该每个视角下的视图中的点的投影面积Apa、点的信息熵Ava和点的密度Apd，确定该目标视角。
可选地，在第一方面的一种实现方式中，该根据该每个视角下的视图中的点的投影面积Apa、点的信息熵Ava和点的密度Apd，确定该目标视角，包括：
显示该多个视角中每个视角下的视图指示的图像；
获取用户对该多个视角中每个视角下的视图的打分结果；
根据该打分结果，确定该多个视角中每个视角下的视图中的点的投影面积Apa、点的信息熵Ava和点的密度Apd的权重；
根据公式确定该多个视角中的目标视角；
其中，Vn+1指示该目标视角，Yi＝βT·Ai，pi是视角i下的所有点集，pn是视角n下的所有点集，视角n为视角i的上一个视角，β是视角i下点的投影面积Apa、点的信息熵Ava和点的密度Apd的权重组成的三维向量，Ai是视角i下点的投影面积Apa、点的信息熵Ava和点的密度Apd组成的三维向量。
可选地，在第一方面的一种实现方式中，该根据该每个视角下的视图中的点的投影面积Apa、点的信息熵Ava和点的密度Apd，确定该目标视角，包括：
显示该多个视角中每个视角下的视图指示的图像；
获取用户对该多个视角中每个视角下的视图的打分结果；
根据该打分结果，确定该多个视角中每个视角下的视图中的点的投影面积Apa、点的信息熵Ava和点的密度Apd的权重；
在点集分割的过程中，实时计算当前该多个视角中每个视角下的视图中的点的信息熵 Ava′，以及重新获取用户对当前多个视角中每个视角下的视图的重新打分结果；
根据实时计算的每个视角下的视图中的点的信息熵Ava′，以及该重新打分结果，确定该当前多个视角中每个视角下的视图中的点的投影面积Apa′和点的密度Apd′；
根据公式确定该当前多个视角中的目标视角；
其中，Vn+1指示该目标视角，Yi＝βT·Ai′，pi是视角i下的所有点集，pn是视角n下的所有点集，视角n为视角i的上一个视角，β是视角i下点的投影面积Apa′、点的信息熵Ava′和点的密度Apd′的权重组成的三维向量，Ai′是视角i下点的投影面积Apa′、点的信息熵Ava′和点的密度Apd′组成的三维向量。
因此，在本申请实施例的点云分割过程中，通过交互方式确定目标视角，并在目标视角下进行点云分割，减少了用户选择视角的交互量，同时提升点云分割速度。
第二方面，提供了一种点云分割的设备，可以执行第一方面或第一方面的任一可选的实现方式中的方法的模块或者单元。
第三方面，提供了一种点云分割的设备，包括存储器和处理器，该存储器上存储有可以用于指示执行上述第一方面或其任意可选的实现方式的程序代码，当该代码被执行时，该处理器可以实现第一方面的方法中设备执行的各个操作。
第四方面，提供了一种计算机存储介质，该计算机存储介质中存储有程序代码，该程序代码可以用于指示执行上述第一方面或第一方面的任意可选的实现方式中的方法。
第五方面，提供了一种包括指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。
附图说明
图1是根据本申请实施例的三维扫描设备的示意性框图。
图2是根据本申请实施例的点云分割的方法的示意性流程图。
图3是根据本申请实施例的点云分割的流程的示意图。
图4是根据本申请实施例的一个点云分割的实例。
图5是根据本申请实施例的另一个点云分割的实例。
图6是根据本申请实施例的再一个点云分割的实例。
图7是根据本申请实施例的再一个点云分割的实例。
图8是根据本申请实施例的点云分割的设备的示意性框图。
图9是根据本申请实施例的点云分割的设备的示意性框图。
具体实施方式
下面将结合附图，对本申请中的技术方案进行描述。
应理解，在本申请实施例中，点云分割的设备可以是一些具有三维扫描功能的设备，例如，激光雷达设备(Lidar Devices)、微软Kinect、主传感器(Prime Sensor)、三维结构扫描仪(Structure Sensor)等。
图1是使用本申请的一种点云分割的方法的三维扫描设备100的示意性框图。如图1 所示，该三维扫描设备100包括：摄像头110、处理器120、存储器130、输入单元140 和显示单元150。本领域技术人员可以理解，图1中示出的三维扫描设备100的结构并不构成对三维扫描设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
摄像头110可用于拍摄三维视图，和/或可以采集深度数据。
处理器120是三维扫描设备100的控制中心，利用各种接口和线路连接整个三维扫描设备100的各个部分，通过运行或执行存储在存储器130内的软件程序和/或模块，以及调用存储在存储器130内的数据，执行三维扫描设备100的各种功能和处理数据，从而对三维扫描设备100进行整体监控。可选的，处理器120可包括一个或多个处理单元；优选的，处理器120可集成应用处理器，应用处理器主要处理操作系统、用户界面和应用程序等。
存储器130可用于存储软件程序以及模块，处理器120通过运行存储在存储器130的软件程序以及模块，从而执行三维扫描设备100的各种功能应用以及数据处理。存储器130可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如拍摄功能、点云分割功能、视角推荐功能等)等；存储数据区可存储根据三维扫描设备100的使用所创建的数据(比如拍摄数据、点云分割数据、视角推荐数据等)等。此外，存储器130可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元140可用于接收输入的数字或字符信息，以及产生与三维扫描设备100的用户设置以及功能控制有关的键信号输入。具体地，该输入单元140可以包括但不限于触摸屏、物理键盘、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元150可用于显示由用户输入的信息或提供给用户的信息以及三维扫描设备 100的各种菜单。
可选地，该三维扫描设备100可以与计算机、手机等终端设备配合使用。
图2是根据本申请实施例的一种点云分割的方法200的示意性流程图。该方法200可以由具有点云分割功能的一些三维扫描设备执行，例如，可以由三维结构扫描仪执行，当然，也可以由其他三维扫描设备执行，还可以由三维扫描设备与计算机配合执行，本申请实施例并不对此进行特别限定。该方法200包括：
在210中，对待处理点云中的点进行合并，得到多个点集。
可选地，可以根据该待处理点云中的每个点的曲率，以及该每个点的相邻点的法向、法向投影距离和颜色空间距离等距离测度中的至少一种，将该待处理点云的点合并为该多个点集。
应理解，在该待处理点云中，每个点具有空间位置坐标和颜色信息。
可选地，该待处理点云可以是三维点云。
可选地，在210中，将点云分割的基本单位由点转化为点集，从而降低问题规模，达到实用性要求。
具体地，可以通过两种方式得到该多个点集。
方式一：
选取该待处理点云中尚未合并为该多个点集、且曲率最小的点；
确定该尚未合并为该多个点集、且曲率最小的点的相邻点的法向、法向投影距离和颜色空间距离等距离测度中的至少一种，该相邻点为尚未合并为该多个点集的点和/或该多个点集中的点集的质心点；
当该相邻点的法向、法向投影距离和颜色空间距离等距离测度中的至少一种小于第一阈值时，将该尚未合并为该多个点集、且曲率最小的点与该相邻点合并为该多个点集中的一个点集。
应理解，在方式一中实现了将该待处理点云中单个点合并为点集。
具体地，构建三维点云图G0＝<V0,E0>，其中，V0表示点集，V0中包括三维点云中的所有点，E0表示边集，E0中包括通过K近邻得到的所有边集，在每一轮合并过程中，首先选取V0中尚未合为该多个点集并且曲率最小的点，逐个考虑其相邻点，当相邻点的法向、法向投影距离和颜色空间距离等距离测度中的至少一种小于第一阈值时，将该尚未合并为该多个点集、且曲率最小的点与该相邻点合并为该多个点集中的一个点集，此时，合并后的点集的质心点也可以作为别的点的相邻点，在V0中的所有点都属于某一点集时，结束点合并为点集的流程。
应理解，当该尚未合并为该多个点集、且曲率最小的点与那些已经合并为点集的质心点合并时，其实质是该尚未合并为该多个点集、且曲率最小的点与那些已经合并的点集进行合并。
可选地，该第一阈值为一个可改变的阈值，可以根据实际合并需要设定。
可选地，相邻点可以是该待处理点云中未合并为点集的点，也可以是那些已经合并为点集的质心点，还可以同时存在该待处理点云中未合并为点集的点和那些已经合并为点集的质心点。
可选地，可以存在仅含有一个点的点集。
方式二：
选取该待处理点云中尚未合并为第一点集、且曲率最小的点；
确定该尚未合并为该第一点集、且曲率最小的点的相邻点的法向、法向投影距离和颜色空间距离等距离测度中的至少一种，该相邻点为尚未合并为该第一点集的点和/或该第一点集的质心点；
当该相邻点的法向、法向投影距离和颜色空间距离等距离测度中的至少一种小于第一阈值时，将该尚未合并为该第一点集、且曲率最小的点与该相邻点合并为至少两个第一点集；
选取该至少两个第一点集中尚未合并为该多个点集、且包括点数最多的第一点集；
确定该尚未合并为该多个点集、且包括点数最多的第一点集的相邻点集的拟合平面的法向、质心和颜色直方图中的至少一种，该相邻点集为尚未合并为该多个点集的第一点集和/或该多个点集中的点集；
当该相邻点集的拟合平面的法向、质心和颜色直方图中的至少一种小于第二阈值时，将该尚未合并为该多个点集、且包括点数最多的第一点集与该相邻点集合并为该多个点集中的一个点集；
当该相邻点集的拟合平面的法向、质心和颜色直方图中的至少一种大于或者等于第二阈值时，确定该尚未合并为该多个点集、且包括点数最多的第一点集为该多个点集中的一个点集。
应理解，在方式二中，第一步合并：将该待处理点云中单个点合并为至少两个第一点集，第二步合并：将至少两个第一点集中的部分或者全部合并为该多个点集。
还应理解，该第一点集为第一步合并后产生的点集，在第二步合并中第一步合并后产生的第一点集部分或全部合并为该多个点集，未合并的第一点集也可以作为该多个点集中的部分。
具体地，第一步合并：构建视图G0＝<V0,E0>，其中，V0表示点集，V0中包括三维点云中的所有点，E0表示边集，E0中包括通过K近邻得到的所有边集，在每一轮合并过程中，首先选取V0中尚未合为该第一点集并且曲率最小的点，逐个考虑其相邻点，当相邻点的法向、法向投影距离和颜色空间距离等距离测度中的至少一种小于第一阈值时，将该尚未合并为第一点集、且曲率最小的点与该相邻点合并为该第一点集中的一个点集，此时，合并后的点集的质心点也可以作为别的点的相邻点，在V0中的所有点都属于某一第一点集时，结束点合并为第一点集的流程。第二步合并：构建视图G1＝<V1,E1>，其中，V1表示第一点集，V1中包括所有第一点集，E1表示边集，E1中包括通过G0的邻接关系形成的所有边集，在每一轮合并过程中，首先选取V1中尚未合为该多个点集并且包含点数最多的第一点集，逐个考虑其相邻点集，考虑每个第一点集的拟合平面的法向、质心和颜色直方图等基本属性，当该相邻点集的拟合平面的法向、质心和颜色直方图中的至少一种小于第二阈值时，将该尚未合并为该多个点集、且包括点数最多的第一点集与该相邻点集合并为该多个点集中的一个点集，此时，合并为该多个点集的点集也可以作为别的第一点集的相邻点集，在V1中的所有第一点集都参与第二步合并后，将那些未合并的第一点集也作为该多个点集中的部分。
可选地，该第一阈值和该第二阈值为可改变的阈值，可以根据实际合并需要设定。
可选地，可以存在仅含有一个点的第一点集。
可选地，相邻点集可以是尚未合并为该多个点集的第一点集，也可以是那些已经合并为该多个点集中的点集，还也可以是同时存在尚未合并为该多个点集的第一点集和那些已经合并为该多个点集中的点集。
可选地，颜色直方图可以是HSV(Hue,Saturation,Value)颜色直方图，也可以是RGB (Red,Green,Blue)颜色直方图。
可选地，该待处理点云的点云质量越差，该至少两个第一点集中合并为该多个点集的第一点集的个数就越少。
应理解，点云质量差可以是该待处理点云中点云的密度不均匀，也可以是该待处理点云中存在空洞，还可以是一些其它因素导致的点云质量差。
可选地，当该至少两个第一点集中无法合并为该多个点集的第一点集的个数大于第三阈值时，至少一次调整该第二阈值，以使无法合并为该多个点集的第一点集部分或全部合并为该多个点集。
可选地，该第三阈值为可改变的阈值，可以根据实际合并需要设定。
可选地，该至少两个第一点集中无法合并为该多个点集的第一点集的个数大于第三阈值，可以是由点云质量差导致。
可选地，每次调整第二阈值是指降低第二阈值对该至少两个第一点集合并为该多个点集的限制，每次将阈值适当降低，以减少零碎点集的数量。
应理解，每次调整第二阈值时，所有未合并为该多个点集的第一点集都需重新进行如下操作：
确定该尚未合并为该多个点集、且包括点数最多的第一点集的相邻点集的拟合平面的法向、质心和颜色直方图中的至少一种，该相邻点集为尚未合并为该多个点集的第一点集和/或该多个点集中的点集；
当该相邻点集的拟合平面的法向、质心和颜色直方图中的至少一种小于第二阈值时，将该尚未合并为该多个点集、且包括点数最多的第一点集与该相邻点集合并为该多个点集中的一个点集。
还应理解，点集的提取有两个准则：一、尽量合并属于同一个语义对象的点到一个点集；二、不应出现包含有不同语义对象的点的点集。
在220中，对该待处理点云在多个视角下进行视角采样，得到该多个视角中每个视角下的视图，该多个视角是该待处理点云中至少两个具有代表性场景的视角。
应理解，该待处理点云的视角的数量非常庞大，如果对每个视角都进行处理，会严重影响点云分割进程，同时用户交互量也非常大，因此，选择具有代表性场景的视角进行视角采样。
还应理解，该多个视角只是该待处理点云的视角中的少数能清晰反映该待处理点云中的代表性场景的视角。
可选地，可以通过交互的方式在该待处理点云的所有视角中选取该多个视角，也可以只产生该多个视角。
可选地，视角可以通过如下流程获取：
首先将待处理点云场景置于曼哈顿坐标Manhattan Coordinate中，并使得Z轴正上方指向垂直地面向上的方向。随后，使用传统随机采样一致性算法(Random SampleConsensus， RANSAC)等方法，提取水平平面，进行楼层分割。如果场景存在天花板，则将其作为最高的一层楼。
提取楼层后，对每一层进行采样(View Sampling)。所需采样的视点分为两类：俯视视角(Top-Down Views)和常规视角(Interior Perspectives)。其中，俯视视角用(x,y,z,φ)表示，常规视角用(x,y,z,θ,φ)表示，φ为张角、θ为移动视角。俯视视角可由每层楼的2D包围盒确定，在不同高度采集可以得到不同粒度的俯视图，越高越广、约低约细；常规视点通过在场景内部进行均匀采样获取，常规视角在常规视点的基础上对θ,φ进行采样可得。
应理解，在曼哈顿坐标Manhattan Coordinate中，可以确定X轴、Y轴和Z轴。
在230中，对该多个视角中每个视角下的视图进行评估，以及根据评估结果从该多个视角中确定目标视角。
可选地，可以由用户对该多个视角中每个视角下的视图进行评估。
可选地，该目标视角可以是用户评分最高的视角，即最佳视角。
具体地，可以通过如下方式确定该目标视角。
方式一：
显示该多个视角中每个视角下的视图指示的图像；
获取用户对该多个视角中每个视角下的视图的打分结果；
根据该打分结果，确定该多个视角的优先级；
确定优先级最高的视角为该目标视角。
可选地，在显示该多个视角中每个视角下的视图指示的图像之后，用户可以直接获取该多个视角中每个视角下的视图指示的图像，并对该每个视角下的视图指示的图像进行打分。
可选地，用户可以对该多个视角中每个视角下的视图分别进行打分，打分制可以是 0-5，也可以是0-100，还可以是一些其它形式的打分，如优、良、中和差等，本申请并不限制于此。用户根据自身对该多个视角中每个视角下的视图进行判断，为该多个视角中每个视角下的视图进行打分。
可选地，打分越高，优先级就越高。
方式二：
显示该多个视角中每个视角下的视图指示的图像；
获取用户对该多个视角中每个视角下的视图的打分结果；
根据该打分结果，确定该多个视角中每个视角下的视图中的点的投影面积Apa、点的信息熵Ava和点的密度Apd的权重；
根据如下公式1确定该多个视角中的目标视角，
其中，Vn+1指示该目标视角，Yi＝βT·Ai，pi是视角i下的所有点集，pn是视角n下的所有点集，视角n为视角i的上一个视角，β是视角i下点的投影面积Apa、点的信息熵Ava和点的密度Apd的权重组成的三维向量，Ai是视角i下点的投影面积Apa、点的信息熵Ava和点的密度Apd组成的三维向量。
方式三：
显示该多个视角中每个视角下的视图指示的图像；
获取用户对该多个视角中每个视角下的视图的打分结果；
根据该打分结果，确定该多个视角中每个视角下的视图中的点的投影面积Apa、点的信息熵Ava和点的密度Apd的权重；
在点集分割的过程中，实时计算当前该多个视角中每个视角下的视图中的点的信息熵 Ava′，以及重新获取用户对当前多个视角中每个视角下的视图的重新打分结果；
根据实时计算的每个视角下的视图中的点的信息熵Ava′，以及该重新打分结果，确定该当前多个视角中每个视角下的视图中的点的投影面积Apa′和点的密度Apd′；
根据如下公式2确定该当前多个视角中的目标视角，
其中，Vn+1指示该目标视角，Yi＝βT·Ai′，pi是视角i下的所有点集，pn是视角n下的所有点集，视角n为视角i的上一个视角，β是视角i下点的投影面积Apa′、点的信息熵Ava′和点的密度Apd′的权重组成的三维向量，Ai′是视角i下点的投影面积Apa′、点的信息熵Ava′和点的密度Apd′组成的三维向量。
应理解，在方式二和方式三中，用户打分方式与方式一的方式相似，为了简洁，在此不再赘述。
可选地，在方式二和方式三中，该多个视角下点的描述符包括投影面积Apa、信息熵Ava和密度Apd，该多个视角下点的描述符还可以包括一些其它的因素，本申请并不限制于此。
可选地，在方式二和方式三中，可以根据该多个视角的打分结果，确定该多个视角中每个视角下点的投影面积Apa、点的信息熵Ava和点的密度Apd的权重。例如，将每个视角的打分成绩平均分配给点的投影面积Apa、点的信息熵Ava和点的密度Apd，进而确定点的投影面积Apa、点的信息熵Ava和点的密度Apd的权重。
可选地，用户打分越高，相应视角下的点的投影面积Apa的权重、点的信息熵Ava的权重和点的密度Apd的权重就越高。
可选地，在方式二和方式三中，该多个视角中每个视角下点的信息熵在点集分割的过程中，会实时发生变化。未标注的点集越多，信息熵就越大，即在点集分割的过程中，信息熵会变得越来越小。
在240中，在确定该目标视角之后，显示该目标视角下的视图指示的图像。
可选地，在确定该目标视角之后，用户可以获取目标视角下的视图指示的图像。
在250中，获取用户标记的种子点集，该种子点集是该目标视角下的视图中该多个点集中标注物体对应的部分点集。
可选地，在用户获取目标视角下的视图指示的图像之后，用户在该目标视角下的视图指示的图像中选取标注物对应的部分点集作为种子点集，例如，选取该标注物对应的3个点集作为种子点集，此时，该标注物可以对应20个点集。
应理解，该目标视角下的视图指示的图像中包括至少一个标注物，用户为该至少一个标注物中每个标注物都选取各自对应的种子点集。
还应理解，用户在选取该种子点集时，会为该种子点集赋予与其他点集区别的标签。
还应理解，该目标视角下的视图为一个二维视图。
可选地，用户选取该标注物体对应的部分点集作为种子点集，即种子点集可以是用户选取的少数几个点集。
在260中，根据该种子点集，对该多个点集中该标注物体对应的点集与其它点集进行分割。
应理解，对该多个点集中该标注物体对应的点集与其它点集进行分割，其实质是为该标注物对应的所有点集赋予与该标注物对应的种子点集相同的标签，即，将该标注物对应的点集与该多个点集中其它点集进行区分。
可选地，在获取该种子点集之后，可以根据图像分割Graph-Cut算法对该多个点集中该标注物体对应的点集与其它点集进行分割。
可选地，根据该种子点集，确定该多个点集中该标注物体对应的待处理点集，该待处理点集是该标注物体对应的点集中除该种子点集外的任意点集；
根据该待处理点集，对该多个点集中该标注物体对应的点集与其它点集进行分割。
可选地，在对该多个点集中该标注物体对应的点集与其它点集进行分割时，可以先确定该标注物体对应的待处理点集与种子点集之间的映射关系。
应理解，该标注物体对应的待处理点集与种子点集之间的映射关系可以是该标注物体对应的待处理点集与种子点集具有相同的标签，可以通过种子点集的标签确定待处理点集。
可选地，可以根据如下方式确定该标注物体对应的待处理点集与种子点集之间的映射关系：
根据该多个点集中水平点集对应凸包的面积，垂直点集对应凸包的面积，以及水平点集与垂直点集之间的空间相邻关系，确定该多个点集中构成点集对的两个点集之间的支撑关系，其中，该水平点集为该多个点集中与地面夹角小于45°的点集，该垂直点集为该多个点集中与地面夹角大于或者等于45°的点集，一个水平点集和一个垂直点集构成一个点集对；
根据该多个点集中构成点集对的两个点集之间的支撑关系，确定该多个点集中每个点集之间的空间相邻关系；
根据该多个点集中每个点集之间的空间相邻关系，确定该待处理点集与该种子点集之间的映射关系。
应理解，该多个点集中任意一个水平点集和任意一个垂直点集可以构成一个点集对。
还应理解，该多个点集中构成点集对的两个点集之间的支撑关系可以用支撑度进行度量，当支撑度大于一定阈值时，表示构成点集对的两个点集之间的支撑关系良好，或者，表示构成点集对的两个点集为相邻点集。
还应理解，点集之间的空间相邻关系可以用点集之间的支撑度进行度量，例如，当该多个点集中构成点集对的两个点集之间的支撑度大于一定阈值时，确定这两个点集之间的空间相邻关系良好，或者，确定这两个点集相邻。
可选地，可以根据如下公式3确定该多个点集中垂直点集pi与水平点集pj构成的点集对中垂直点集pi与水平点集pj之间的支撑关系，
其中，Q<pi,pj>指示构成点集对的垂直点集pi与水平点集pj之间的支撑关系，pi是第i个垂直点集，pj是第j个水平点集，Wi是点集pi对应凸包的面积，Wj是点集pj对应凸包的面积，α是预定义参数，U(pi,pj)是与pi相邻且同样支撑pj的垂直点集的个数，当U(pi,pj)≠0是垂直点集pi支撑水平点集pj，U(pi,pj)＝0是水平点集pj支撑垂直点集 pi。
具体地，可以根据如下方式确定该待处理点集与该种子点集之间的映射关系：
根据该种子点集与待处理点集之间的数据代价，以及该待处理点集与该待处理点集的相邻点集之间的平滑代价，确定该待处理点集与该种子点集之间的映射关系，
其中，该数据代价是由待处理点集和种子点集之间的平面特征的差异、待处理点集的中心和最近种子点集的中心之间的空间距离、待处理点集和种子点集之间的颜色直方图的差异确定；该平滑代价是由待处理点集与待处理点集的相邻点集属于不同类别时产生的颜色特征的代价、待处理点集与待处理点集的相邻点集属于不同类别时产生的拟合平面特征的代价、待处理点集与待处理点集的相邻点集属于不同类别时产生的支撑关系特征的代价确定。
可选地，可以根据公式4确定该待处理点集与该种子点集之间的映射关系，
其中，E指示该待处理点集与该种子点集之间的映射关系， ED(pi,vi)＝λDDD(pi,Ui)+λCDC(pi,Ui)+λPDP(pi,Ui)+λSDS(pi,Ui)，该数据代价ED是待处理点集pi归类为标签vi的代价函数，pi是待处理点集，vi是种子点集对应的标签； ES(pi,vi,pj,vj)＝λC′SC(pi,vi,pj,vj)+λP′SP(pi,vi,pj,vj)+λS′SS(pi,vi,pj,vj)，该平滑代价 ES是待处理点集和待处理点集的相邻点集组成的点集对(pi,pj)分别归类为标签(vi,vj)的代价函数，pj是待处理点集的相邻点集，vj是种子点集的相邻点集对应的标签；Ui是归类为标签vi的所有种子点集构成的集合；DD是距离特征的代价，取决于pi的中心和最近种子点集的中心间的空间距离；DC是颜色特征的代价，取决于pi和种子点集的颜色直方图的差异；DP是平面特征的代价，取决于pi和种子点集间的平面特征(法向和法向的距离)的差异；DS是支撑关系特征的代价，取决于pi和种子点集之间的支撑关系；SC是当 pi和pj属于不同类别的标签(vi≠vj)时产生的颜色特征的代价；SP是当pi和pj属于不同类别的标签(vi≠vj)时产生的拟合平面特征的代价；SS是当pi和pj属于不同类别的标签 (vi≠vj)时产生的支撑关系特征的代价；λ是常数，λD、λC、λS、λC′、λP′以及λS′常数。
因此，在本申请实施例的点云分割过程中，通过上述公式3和公式4确定该标注物体对应的待处理点集与种子点集之间的映射关系，同时通过交互方式确定目标视角，并在目标视角下进行点云分割，减少了用户选择视角的交互量，同时提升点云分割速度和准确性。
可选地，可以作为一个实施例，如图3所示，该方法200的点云分割流程包括：
如图3a所示，为一个待处理点云中部分具有代表性场景的视角的评分，球形代表常规视角，连向不同球面位置代表不同的视方向，在图3a中，存在8个常规视角，分别用1 至8的数字表示，球形的灰度越高代表视角评分越低，例如，4号视角的评分高于1号视角，6号视角的评分高于3号视角；锥形代表俯视视角，在图3a中，存在4个俯视视角，分别用a、b、c、d表示，锥形的亮度越高代表视角评分越高，例如，a号视角的评分高于 d号视角。
可选地，在使用Graph-Cut算法进行分割时，可以用球形的颜色区分常规视角的评分，可以用锥形的颜色区分俯视视角的评分，例如，可以用由色谱中红至紫的颜色区分代表视角评分的由低至高，当然，也可以由亮度区分评分，例如，亮度越高代表评分越高，本申请并不限制于此。
如图3b所示，为输入示意图，在该输入示意图中每个标注物对应的部分点集被特殊标记，如图3b中每个标注物上的白色曲线，每个标注物对应的白色曲线标记的点集分别为相应标注物对应的种子点集。
可选地，可以将一个待处理点云分为多个输入视图，例如，将一个待处理点云分为4 个输入视图。可选地，在每个输入视图中确定一个目标视角，并在目标视角下进行点云分割。
如图3c所示，为一次点云分割的结果示意图，每个标注物都被单独地分割出来了，例如，在200万点的场景中，完成一次Graph-Cut的时间约为100ms(Inteli7+GTX660)。
如图3所示，从图3a至3c为一次点云分割过程。
可选地，如图4至图7所示，为该方法200的4个点云分割实例，其中，每幅图的左侧为视角评估结果，中间为分割结果，右侧为视角示例。在视角评估中的4个数字(1、2、 3和4)对应4个输入图中评分较高的视角，即待处理点云中4个输入视图的目标视角，在视角实例中每个数字对应的视图分别对应左侧视角评估中目标视角下的输入视图。
图8是根据本申请实施例的点云分割的设备300的示意性框图。如图8所示，该点云分割的设备300包括：
合并单元310，用于对待处理点云中的点进行合并，得到多个点集；
采样单元320，用于对该待处理点云在多个视角下进行视角采样，得到该多个视角中每个视角下的视图，该多个视角是该待处理点云中至少两个具有代表性场景的视角；
确定单元330，用于对该多个视角中每个视角下的视图进行评估，以及根据评估结果从该多个视角中确定目标视角；
显示单元340，用于在确定该目标视角之后，显示该目标视角下的视图指示的图像；
获取单元350，用于获取用户标记的种子点集，该种子点集是该目标视角下的视图中该多个点集中标注物体对应的部分点集；
分割单元360，用于根据该种子点集，对该多个点集中该标注物体对应的点集与其它点集进行分割。
可选地，该合并单元310用于：
根据该待处理点云中的每个点的曲率，以及该每个点的相邻点的法向、法向投影距离和颜色空间距离等距离测度中的至少一种，将该待处理点云的点合并为该多个点集。
可选地，该合并单元310用于：
选取该待处理点云中尚未合并为该多个点集、且曲率最小的点；
确定该尚未合并为该多个点集、且曲率最小的点的相邻点的法向、法向投影距离和颜色空间距离等距离测度中的至少一种，该相邻点为尚未合并为该多个点集的点和/或该多个点集中的点集的质心点；
当该相邻点的法向、法向投影距离和颜色空间距离等距离测度中的至少一种小于第一阈值时，将该尚未合并为该多个点集、且曲率最小的点与该相邻点合并为该多个点集中的一个点集。
可选地，该合并单元310用于：
选取该待处理点云中尚未合并为第一点集、且曲率最小的点；
确定该尚未合并为该第一点集、且曲率最小的点的相邻点的法向、法向投影距离和颜色空间距离等距离测度中的至少一种，该相邻点为尚未合并为该第一点集的点和/或该第一点集的质心点；
当该相邻点的法向、法向投影距离和颜色空间距离等距离测度中的至少一种小于第一阈值时，将该尚未合并为该第一点集、且曲率最小的点与该相邻点合并为至少两个第一点集；
选取该至少两个第一点集中尚未合并为该多个点集、且包括点数最多的第一点集；
确定该尚未合并为该多个点集、且包括点数最多的第一点集的相邻点集的拟合平面的法向、质心和颜色直方图中的至少一种，该相邻点集为尚未合并为该多个点集的第一点集和/或该多个点集中的点集；
当该相邻点集的拟合平面的法向、质心和颜色直方图中的至少一种小于第二阈值时，将该尚未合并为该多个点集、且包括点数最多的第一点集与该相邻点集合并为该多个点集中的一个点集；
当该相邻点集的拟合平面的法向、质心和颜色直方图中的至少一种大于或者等于第二阈值时，确定该尚未合并为该多个点集、且包括点数最多的第一点集为该多个点集中的一个点集。
可选地，该设备300还包括：
调整单元370，用于当该至少两个第一点集中无法合并为该多个点集的第一点集的个数大于第三阈值时，至少一次调整该第二阈值，以使无法合并为该多个点集的第一点集部分或全部合并为该多个点集。
可选地，该分割单元360用于：
根据该种子点集，确定该多个点集中该标注物体对应的待处理点集，该待处理点集是该标注物体对应的点集中除该种子点集外的任意点集；
根据该待处理点集，对该多个点集中该标注物体对应的点集与其它点集进行分割。
可选地，该分割单元360用于：
根据该多个点集中水平点集对应凸包的面积，垂直点集对应凸包的面积，以及水平点集与垂直点集之间的空间相邻关系，确定该多个点集中构成点集对的两个点集之间的支撑关系，其中，该水平点集为该多个点集中与地面夹角小于45°的点集，该垂直点集为该多个点集中与地面夹角大于或者等于45°的点集，一个水平点集和一个垂直点集构成一个点集对；
根据该多个点集中构成点集对的两个点集之间的支撑关系，确定该多个点集中每个点集之间的空间相邻关系；
根据该多个点集中每个点集之间的空间相邻关系，确定该待处理点集与该种子点集之间的映射关系；
在确定该待处理点集与该种子点集之间的映射关系之后，根据该待处理点集，对该多个点集中该标注物体对应的点集与其它点集进行分割。
可选地，该确定单元330用于：
根据公式确定该多个点集中垂直点集pi与水平点集pj构成的点集对中垂直点集pi与水平点集pj之间的支撑关系，
其中，Q<pi,pj>指示构成点集对的垂直点集pi与水平点集pj之间的支撑关系，pi是第i个垂直点集，pj是第j个水平点集，Wi是点集pi对应凸包的面积，Wj是点集pj对应凸包的面积，α是预定义参数，U(pi,pj)是与pi相邻且同样支撑pj的垂直点集的个数，当U(pi,pj)≠0是垂直点集pi支撑水平点集pj，U(pi,pj)＝0是水平点集pj支撑垂直点集 pi。
可选地，该确定单元330用于：
根据该种子点集与待处理点集之间的数据代价，以及该待处理点集与该待处理点集的相邻点集之间的平滑代价，确定该待处理点集与该种子点集之间的映射关系，
其中，该数据代价是由待处理点集和种子点集之间的平面特征的差异、待处理点集的中心和最近种子点集的中心之间的空间距离、待处理点集和种子点集之间的颜色直方图的差异确定；该平滑代价是由待处理点集与待处理点集的相邻点集属于不同类别时产生的颜色特征的代价、待处理点集与待处理点集的相邻点集属于不同类别时产生的拟合平面特征的代价、待处理点集与待处理点集的相邻点集属于不同类别时产生的支撑关系特征的代价确定。
可选地，该确定单元330用于：
根据公式确定该待处理点集与该种子点集之间的映射关系，
其中，E指示该待处理点集与该种子点集之间的映射关系， ED(pi,vi)＝λDDD(pi,Ui)+λCDC(pi,Ui)+λPDP(pi,Ui)+λSDS(pi,Ui)，该数据代价ED是待处理点集pi归类为标签vi的代价函数，pi是待处理点集，vi是种子点集对应的标签； ES(pi,vi,pj,vj)＝λC′SC(pi,vi,pj,vj)+λP′SP(pi,vi,pj,vj)+λS′SS(pi,vi,pj,vj)，该平滑代价 ES是待处理点集和待处理点集的相邻点集组成的点集对(pi,pj)分别归类为标签(vi,vj)的代价函数，pj是待处理点集的相邻点集，vj是种子点集的相邻点集对应的标签；Ui是归类为标签vi的所有种子点集构成的集合；DD是距离特征的代价，取决于pi的中心和最近种子点集的中心间的空间距离；DC是颜色特征的代价，取决于pi和种子点集的颜色直方图的差异；DP是平面特征的代价，取决于pi和种子点集间的平面特征(法向和法向的距离)的差异；DS是支撑关系特征的代价，取决于pi和种子点集之间的支撑关系；SC是当 pi和pj属于不同类别的标签(vi≠vj)时产生的颜色特征的代价；SP是当pi和pj属于不同类别的标签(vi≠vj)时产生的拟合平面特征的代价；SS是当pi和pj属于不同类别的标签 (vi≠vj)时产生的支撑关系特征的代价；λ是常数，λD、λC、λS、λC′、λP′以及λS′常数。
可选地，该确定单元330用于：
显示该多个视角中每个视角下的视图指示的图像；
获取用户对该多个视角中每个视角下的视图的打分结果；
根据该打分结果，确定该多个视角的优先级；
确定优先级最高的视角为该目标视角。
可选地，该确定单元330用于：
提取该多个视角中每个视角下的视图中的点的投影面积Apa、点的信息熵Ava和点的密度Apd；
根据该每个视角下的视图中的点的投影面积Apa、点的信息熵Ava和点的密度Apd，确定该目标视角。
可选地，该确定单元330用于：
显示该多个视角中每个视角下的视图指示的图像；
获取用户对该多个视角中每个视角下的视图的打分结果；
根据该打分结果，确定该多个视角中每个视角下的视图中的点的投影面积Apa、点的信息熵Ava和点的密度Apd的权重；
根据公式确定该多个视角中的目标视角；
其中，Vn+1指示该目标视角，Yi＝βT·Ai，pi是视角i下的所有点集，pn是视角n下的所有点集，视角n为视角i的上一个视角，β是视角i下点的投影面积Apa、点的信息熵Ava和点的密度Apd的权重组成的三维向量，Ai是视角i下点的投影面积Apa、点的信息熵Ava和点的密度Apd组成的三维向量。
可选地，该确定单元330用于：
显示该多个视角中每个视角下的视图指示的图像；
获取用户对该多个视角中每个视角下的视图的打分结果；
根据该打分结果，确定该多个视角中每个视角下的视图中的点的投影面积Apa、点的信息熵Ava和点的密度Apd的权重；
在点集分割的过程中，实时计算当前该多个视角中每个视角下的视图中的点的信息熵 Ava′，以及重新获取用户对当前多个视角中每个视角下的视图的重新打分结果；
根据实时计算的每个视角下的视图中的点的信息熵Ava′，以及该重新打分结果，确定该当前多个视角中每个视角下的视图中的点的投影面积Apa′和点的密度Apd′；
根据公式确定该当前多个视角中的目标视角；
其中，Vn+1指示该目标视角，Yi＝βT·Ai′，pi是视角i下的所有点集，pn是视角n下的所有点集，视角n为视角i的上一个视角，β是视角i下点的投影面积Apa′、点的信息熵Ava′和点的密度Apd′的权重组成的三维向量，Ai′是视角i下点的投影面积Apa′、点的信息熵Ava′和点的密度Apd′组成的三维向量。
应理解，根据本申请实施例的点云分割的设备300中的各个模块的上述和其它操作和 /或功能分别为了实现本申请实施例的方法200的相应流程，为了简洁，在此不再赘述。
图9示出了本申请实施例提供的点云分割的设备400的示意性框图，该设备400包括：
存储器410，用于存储程序代码；
处理器420，用于执行存储器410中的程序代码，当该程序代码执行时，该处理器420 用于：对待处理点云中的点进行合并，得到多个点集；对该待处理点云在多个视角下进行视角采样，得到该多个视角中每个视角下的视图，该多个视角是该待处理点云中至少两个具有代表性场景的视角；对该多个视角中每个视角下的视图进行评估，以及根据评估结果从该多个视角中确定目标视角；在确定该目标视角之后，显示该目标视角下的视图指示的图像；获取用户标记的种子点集，该种子点集是该目标视角下的视图中该多个点集中标注物体对应的部分点集；根据该种子点集，对该多个点集中该标注物体对应的点集与其它点集进行分割。
应理解，在本申请实施例中，该处理器420可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器420还可以是其他通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
该存储器410可以包括只读存储器和随机存取存储器，并向处理器420提供指令和数据。存储器410的一部分还可以包括非易失性随机存取存储器。例如，存储器410还可以存储设备类型的信息。
可选地，该处理器420用于：
根据该待处理点云中的每个点的曲率，以及该每个点的相邻点的法向、法向投影距离和颜色空间距离等距离测度中的至少一种，将该待处理点云的点合并为该多个点集。
可选地，该处理器420用于：
选取该待处理点云中尚未合并为该多个点集、且曲率最小的点；
确定该尚未合并为该多个点集、且曲率最小的点的相邻点的法向、法向投影距离和颜色空间距离等距离测度中的至少一种，该相邻点为尚未合并为该多个点集的点和/或该多个点集中的点集的质心点；
当该相邻点的法向、法向投影距离和颜色空间距离等距离测度中的至少一种小于第一阈值时，将该尚未合并为该多个点集、且曲率最小的点与该相邻点合并为该多个点集中的一个点集。
可选地，该处理器420用于：
选取该待处理点云中尚未合并为第一点集、且曲率最小的点；
确定该尚未合并为该第一点集、且曲率最小的点的相邻点的法向、法向投影距离和颜色空间距离等距离测度中的至少一种，该相邻点为尚未合并为该第一点集的点和/或该第一点集的质心点；
当该相邻点的法向、法向投影距离和颜色空间距离等距离测度中的至少一种小于第一阈值时，将该尚未合并为该第一点集、且曲率最小的点与该相邻点合并为至少两个第一点集；
选取该至少两个第一点集中尚未合并为该多个点集、且包括点数最多的第一点集；
确定该尚未合并为该多个点集、且包括点数最多的第一点集的相邻点集的拟合平面的法向、质心和颜色直方图中的至少一种，该相邻点集为尚未合并为该多个点集的第一点集和/或该多个点集中的点集；
当该相邻点集的拟合平面的法向、质心和颜色直方图中的至少一种小于第二阈值时，将该尚未合并为该多个点集、且包括点数最多的第一点集与该相邻点集合并为该多个点集中的一个点集；
当该相邻点集的拟合平面的法向、质心和颜色直方图中的至少一种大于或者等于第二阈值时，确定该尚未合并为该多个点集、且包括点数最多的第一点集为该多个点集中的一个点集。
可选地，该处理器420用于：
当该至少两个第一点集中无法合并为该多个点集的第一点集的个数大于第三阈值时，至少一次调整该第二阈值，以使无法合并为该多个点集的第一点集部分或全部合并为该多个点集。
可选地，该处理器420用于：
根据该种子点集，确定该多个点集中该标注物体对应的待处理点集，该待处理点集是该标注物体对应的点集中除该种子点集外的任意点集；
根据该待处理点集，对该多个点集中该标注物体对应的点集与其它点集进行分割。
可选地，该处理器420用于：
根据该多个点集中水平点集对应凸包的面积，垂直点集对应凸包的面积，以及水平点集与垂直点集之间的空间相邻关系，确定该多个点集中构成点集对的两个点集之间的支撑关系，其中，该水平点集为该多个点集中与地面夹角小于45°的点集，该垂直点集为该多个点集中与地面夹角大于或者等于45°的点集，一个水平点集和一个垂直点集构成一个点集对；
根据该多个点集中构成点集对的两个点集之间的支撑关系，确定该多个点集中每个点集之间的空间相邻关系；
根据该多个点集中每个点集之间的空间相邻关系，确定该待处理点集与该种子点集之间的映射关系；
在确定该待处理点集与该种子点集之间的映射关系之后，根据该待处理点集，对该多个点集中该标注物体对应的点集与其它点集进行分割。
可选地，该处理器420用于：
根据公式确定该多个点集中垂直点集pi与水平点集pj构成的点集对中垂直点集pi与水平点集pj之间的支撑关系，
其中，Q<pi,pj>指示构成点集对的垂直点集pi与水平点集pj之间的支撑关系，pi是第i个垂直点集，pj是第j个水平点集，Wi是点集pi对应凸包的面积，Wj是点集pj对应凸包的面积，α是预定义参数，U(pi,pj)是与pi相邻且同样支撑pj的垂直点集的个数，当U(pi,pj)≠0是垂直点集pi支撑水平点集pj，U(pi,pj)＝0是水平点集pj支撑垂直点集 pi。
可选地，该处理器420用于：
根据该种子点集与待处理点集之间的数据代价，以及该待处理点集与该待处理点集的相邻点集之间的平滑代价，确定该待处理点集与该种子点集之间的映射关系，
其中，该数据代价是由待处理点集和种子点集之间的平面特征的差异、待处理点集的中心和最近种子点集的中心之间的空间距离、待处理点集和种子点集之间的颜色直方图的差异确定；该平滑代价是由待处理点集与待处理点集的相邻点集属于不同类别时产生的颜色特征的代价、待处理点集与待处理点集的相邻点集属于不同类别时产生的拟合平面特征的代价、待处理点集与待处理点集的相邻点集属于不同类别时产生的支撑关系特征的代价确定。
可选地，该处理器420用于：
根据公式确定该待处理点集与该种子点集之间的映射关系，
其中，E指示该待处理点集与该种子点集之间的映射关系， ED(pi,vi)＝λDDD(pi,Ui)+λCDC(pi,Ui)+λPDP(pi,Ui)+λSDS(pi,Ui)，该数据代价ED是待处理点集pi归类为标签vi的代价函数，pi是待处理点集，vi是种子点集对应的标签； ES(pi,vi,pj,vj)＝λC′SC(pi,vi,pj,vj)+λP′SP(pi,vi,pj,vj)+λS′SS(pi,vi,pj,vj)，该平滑代价 ES是待处理点集和待处理点集的相邻点集组成的点集对(pi,pj)分别归类为标签(vi,vj)的代价函数，pj是待处理点集的相邻点集，vj是种子点集的相邻点集对应的标签；Ui是归类为标签vi的所有种子点集构成的集合；DD是距离特征的代价，取决于pi的中心和最近种子点集的中心间的空间距离；DC是颜色特征的代价，取决于pi和种子点集的颜色直方图的差异；DP是平面特征的代价，取决于pi和种子点集间的平面特征(法向和法向的距离)的差异；DS是支撑关系特征的代价，取决于pi和种子点集之间的支撑关系；SC是当 pi和pj属于不同类别的标签(vi≠vj)时产生的颜色特征的代价；SP是当pi和pj属于不同类别的标签(vi≠vj)时产生的拟合平面特征的代价；SS是当pi和pj属于不同类别的标签 (vi≠vj)时产生的支撑关系特征的代价；λ是常数，λD、λC、λS、λC′、λP′以及λS′常数。
可选地，该处理器420用于：
显示该多个视角中每个视角下的视图指示的图像；
获取用户对该多个视角中每个视角下的视图的打分结果；
根据该打分结果，确定该多个视角的优先级；
确定优先级最高的视角为该目标视角。
可选地，该处理器420用于：
提取该多个视角中每个视角下的点的投影面积Apa、点的信息熵Ava和点的密度Apd；
根据该每个视角下的点的投影面积Apa、点的信息熵Ava和点的密度Apd，确定该目标视角。
可选地，该处理器420用于：
显示该多个视角中每个视角下的视图指示的图像；
获取用户对该多个视角中每个视角下的视图的打分结果；
根据该打分结果，确定该多个视角中每个视角下的视图中的点的投影面积Apa、点的信息熵Ava和点的密度Apd的权重；
根据公式确定该多个视角中的目标视角；
其中，Vn+1指示该目标视角，Yi＝βT·Ai，pi是视角i下的所有点集，pn是视角n下的所有点集，视角n为视角i的上一个视角，β是视角i下点的投影面积Apa、点的信息熵Ava和点的密度Apd的权重组成的三维向量，Ai是视角i下点的投影面积Apa、点的信息熵Ava和点的密度Apd组成的三维向量。
可选地，该处理器420用于：
显示该多个视角中每个视角下的视图指示的图像；
获取用户对该多个视角中每个视角下的视图的打分结果；
根据该打分结果，确定该多个视角中每个视角下的视图中的点的投影面积Apa、点的信息熵Ava和点的密度Apd的权重；
在点集分割的过程中，实时计算当前该多个视角中每个视角下的视图中的点的信息熵 Ava′，以及重新获取用户对当前多个视角中每个视角下的视图的重新打分结果；
根据实时计算的每个视角下的视图中的点的信息熵Ava′，以及该重新打分结果，确定该当前多个视角中每个视角下的视图中的点的投影面积Apa′和点的密度Apd′；
根据公式确定该当前多个视角中的目标视角；
其中，Vn+1指示该目标视角，Yi＝βT·Ai′，pi是视角i下的所有点集，pn是视角n下的所有点集，视角n为视角i的上一个视角，β是视角i下点的投影面积Apa′、点的信息熵Ava′和点的密度Apd′的权重组成的三维向量，Ai′是视角i下点的投影面积Apa′、点的信息熵Ava′和点的密度Apd′组成的三维向量。
应理解，根据本申请实施例的点云分割的设备400中的处理器420和存储器410的上述和其它操作和/或功能分别为了实现本申请实施例的方法200的相应流程，为了简洁，在此不再赘述。
本申请实施例提供了一种计算机可读存储介质，用于存储指令，当该指令在计算机上运行时，该计算机可以用于执行上述本申请实施例的点云分割的方法200。该可读介质可以是ROM或RAM，本申请实施例对此不做限制。
应理解，本文中术语“和/或”以及“A或B中的至少一种”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
应理解，在本申请的各个实施例中，上述各过程的序号大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
Claims (29)
1.一种点云分割的方法，其特征在于，包括：
对待处理点云中的点进行合并，得到多个点集；
对所述待处理点云在多个视角下进行视角采样，得到所述多个视角中每个视角下的视图，所述多个视角是所述待处理点云中至少两个具有代表性场景的视角；
对所述多个视角中每个视角下的视图进行评估，以及根据评估结果从所述多个视角中确定目标视角；
在确定所述目标视角之后，显示所述目标视角下的视图指示的图像；
获取用户标记的种子点集，所述种子点集是所述目标视角下的视图中所述多个点集中标注物体对应的部分点集；
根据所述种子点集，对所述多个点集中所述标注物体对应的点集与其它点集进行分割。
2.根据权利要求1所述的方法，其特征在于，所述对待处理点云中的点进行合并，得到多个点集，包括：
根据所述待处理点云中的每个点的曲率，以及所述每个点的相邻点的法向、法向投影距离和颜色空间距离等距离测度中的至少一种，将所述待处理点云的点合并为所述多个点集。
3.根据权利要求2所述的方法，其特征在于，所述根据所述待处理点云中的每个点的曲率，以及所述每个点的相邻点的法向、法向投影距离和颜色空间距离等距离测度中的至少一种，将所述待处理点云的点合并为所述多个点集，包括：
选取所述待处理点云中尚未合并为所述多个点集、且曲率最小的点；
确定所述尚未合并为所述多个点集、且曲率最小的点的相邻点的法向、法向投影距离和颜色空间距离等距离测度中的至少一种，所述相邻点为尚未合并为所述多个点集的点和/或所述多个点集中的点集的质心点；
当所述相邻点的法向、法向投影距离和颜色空间距离等距离测度中的至少一种小于第一阈值时，将所述尚未合并为所述多个点集、且曲率最小的点与所述相邻点合并为所述多个点集中的一个点集。
4.根据权利要求2所述的方法，其特征在于，所述根据所述待处理点云中的每个点的曲率，以及所述每个点的相邻点的法向、法向投影距离和颜色空间距离等距离测度中的至少一种，将所述待处理点云的点合并为所述多个点集，包括：
选取所述待处理点云中尚未合并为第一点集、且曲率最小的点；
确定所述尚未合并为所述第一点集、且曲率最小的点的相邻点的法向、法向投影距离和颜色空间距离等距离测度中的至少一种，所述相邻点为尚未合并为所述第一点集的点和/或所述第一点集的质心点；
当所述相邻点的法向、法向投影距离和颜色空间距离等距离测度中的至少一种小于第一阈值时，将所述尚未合并为所述第一点集、且曲率最小的点与所述相邻点合并为至少两个第一点集；
选取所述至少两个第一点集中尚未合并为所述多个点集、且包括点数最多的第一点集；
确定所述尚未合并为所述多个点集、且包括点数最多的第一点集的相邻点集的拟合平面的法向、质心和颜色直方图中的至少一种，所述相邻点集为尚未合并为所述多个点集的第一点集和/或所述多个点集中的点集；
当所述相邻点集的拟合平面的法向、质心和颜色直方图中的至少一种小于第二阈值时，将所述尚未合并为所述多个点集、且包括点数最多的第一点集与所述相邻点集合并为所述多个点集中的一个点集；
当所述相邻点集的拟合平面的法向、质心和颜色直方图中的至少一种大于或者等于第二阈值时，确定所述尚未合并为所述多个点集、且包括点数最多的第一点集为所述多个点集中的一个点集。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
当所述至少两个第一点集中无法合并为所述多个点集的第一点集的个数大于第三阈值时，至少一次调整所述第二阈值，以使无法合并为所述多个点集的第一点集部分或全部合并为所述多个点集。
6.根据权利要求1至5中任一所述的方法，其特征在于，所述根据所述种子点集，对所述多个点集中所述标注物体对应的点集与其它点集进行分割，包括：
根据所述种子点集，确定所述多个点集中所述标注物体对应的待处理点集，所述待处理点集是所述标注物体对应的点集中除所述种子点集外的任意点集；
根据所述待处理点集，对所述多个点集中所述标注物体对应的点集与其它点集进行分割。
7.根据权利要求6所述的方法，其特征在于，所述根据所述待处理点集，对所述多个点集中所述标注物体对应的点集与其它点集进行分割，包括：
根据所述多个点集中水平点集对应凸包的面积，垂直点集对应凸包的面积，以及水平点集与垂直点集之间的空间相邻关系，确定所述多个点集中构成点集对的两个点集之间的支撑关系，其中，所述水平点集为所述多个点集中与地面夹角小于45°的点集，所述垂直点集为所述多个点集中与地面夹角大于或者等于45°的点集，一个水平点集和一个垂直点集构成一个点集对；
根据所述多个点集中构成点集对的两个点集之间的支撑关系，确定所述多个点集中每个点集之间的空间相邻关系；
根据所述多个点集中每个点集之间的空间相邻关系，确定所述待处理点集与所述种子点集之间的映射关系；
在确定所述待处理点集与所述种子点集之间的映射关系之后，根据所述待处理点集，对所述多个点集中所述标注物体对应的点集与其它点集进行分割。
8.根据权利要求7所述的方法，其特征在于，所述根据所述多个点集中水平点集对应凸包的面积、垂直点集对应凸包的面积，以及水平点集与垂直点集之间的空间相邻关系，确定所述多个点集中构成点集对的两个点集之间的支撑关系，包括：
根据公式确定所述多个点集中垂直点集pi与水平点集pj构成的点集对中垂直点集pi与水平点集pj之间的支撑关系，
其中，Q<pi,pj>指示构成点集对的垂直点集pi与水平点集pj之间的支撑关系，pi是第i个垂直点集，pj是第j个水平点集，Wi是点集pi对应凸包的面积，Wj是点集pj对应凸包的面积，α是预定义参数，U(pi,pj)是与pi相邻且同样支撑pj的垂直点集的个数，当U(pi,pj)≠0是垂直点集pi支撑水平点集pj，U(pi,pj)＝0是水平点集pj支撑垂直点集pi。
9.根据权利要求7或8所述的方法，其特征在于，所述根据所述多个点集中每个点集之间的空间相邻关系，确定所述待处理点集与所述种子点集之间的映射关系，包括：
根据所述种子点集与待处理点集之间的数据代价，以及所述待处理点集与所述待处理点集的相邻点集之间的平滑代价，确定所述待处理点集与所述种子点集之间的映射关系，
其中，所述数据代价是由待处理点集和种子点集之间的平面特征的差异、待处理点集的中心和最近种子点集的中心之间的空间距离、待处理点集和种子点集之间的颜色直方图的差异确定；所述平滑代价是由待处理点集与待处理点集的相邻点集属于不同类别时产生的颜色特征的代价、待处理点集与待处理点集的相邻点集属于不同类别时产生的拟合平面特征的代价、待处理点集与待处理点集的相邻点集属于不同类别时产生的支撑关系特征的代价确定。
10.根据权利要求9所述的方法，其特征在于，所述根据所述种子点集与待处理点集之间的数据代价，以及所述待处理点集与所述待处理点集的相邻点集之间的平滑代价，确定所述待处理点集与所述种子点集之间的映射关系，包括：
根据公式确定所述待处理点集与所述种子点集之间的映射关系，
其中，E指示所述待处理点集与所述种子点集之间的映射关系，ED(pi,vi)＝λDDD(pi,Ui)+λCDC(pi,Ui)+λPDP(pi,Ui)+λSDS(pi,Ui)，所述数据代价ED是待处理点集pi归类为标签vi的代价函数，pi是待处理点集，vi是种子点集对应的标签；ES(pi,vi,pj,vj)＝λC′SC(pi,vi,pj,vj)+λP′SP(pi,vi,pj,vj)+λS′SS(pi,vi,pj,vj)，所述平滑代价ES是待处理点集和待处理点集的相邻点集组成的点集对(pi,pj)分别归类为标签(vi,vj)的代价函数，pj是待处理点集的相邻点集，vj是种子点集的相邻点集对应的标签；Ui是归类为标签vi的所有种子点集构成的集合；DD是距离特征的代价，取决于pi的中心和最近种子点集的中心间的空间距离；DC是颜色特征的代价，取决于pi和种子点集的颜色直方图的差异；DP是平面特征的代价，取决于pi和种子点集间的平面特征(法向和法向的距离)的差异；DS是支撑关系特征的代价，取决于pi和种子点集之间的支撑关系；SC是当pi和pj属于不同类别的标签(vi≠vj)时产生的颜色特征的代价；SP是当pi和pj属于不同类别的标签(vi≠vj)时产生的拟合平面特征的代价；SS是当pi和pj属于不同类别的标签(vi≠vj)时产生的支撑关系特征的代价；λ是常数，λD、λC、λS、λC′、λP′以及λS′常数。
11.根据权利要求1至10中任一所述的方法，其特征在于，所述对所述多个视角中每个视角下的视图进行评估，以及根据评估结果从所述多个视角中确定目标视角，包括：
显示所述多个视角中每个视角下的视图指示的图像；
获取用户对所述多个视角中每个视角下的视图的打分结果；
根据所述打分结果，确定所述多个视角的优先级；
确定优先级最高的视角为所述目标视角。
12.根据权利要求1至10中任一所述的方法，其特征在于，所述对所述多个视角中每个视角下的视图进行评估，以及根据评估结果从所述多个视角中确定目标视角，包括：
提取所述多个视角中每个视角下的视图中的点的投影面积Apa、点的信息熵Ava和点的密度Apd；
根据所述每个视角下的视图中的点的投影面积Apa、点的信息熵Ava和点的密度Apd，确定所述目标视角。
13.根据权利要求12所述的方法，其特征在于，所述根据所述每个视角下的视图中的点的投影面积Apa、点的信息熵Ava和点的密度Apd，确定所述目标视角，包括：
显示所述多个视角中每个视角下的视图指示的图像；
获取用户对所述多个视角中每个视角下的视图的打分结果；
根据所述打分结果，确定所述多个视角中每个视角下的视图中的点的投影面积Apa、点的信息熵Ava和点的密度Apd的权重；
根据公式确定所述多个视角中的目标视角；
其中，Vn+1指示所述目标视角，Yi＝βT·Ai，pi是视角i下的所有点集，pn是视角n下的所有点集，视角n为视角i的上一个视角，β是视角i下点的投影面积Apa、点的信息熵Ava和点的密度Apd的权重组成的三维向量，Ai是视角i下点的投影面积Apa、点的信息熵Ava和点的密度Apd组成的三维向量。
14.根据权利要求12所述的方法，其特征在于，所述根据所述每个视角下的视图中的点的投影面积Apa、点的信息熵Ava和点的密度Apd，确定所述目标视角，包括：
显示所述多个视角中每个视角下的视图指示的图像；
获取用户对所述多个视角中每个视角下的视图的打分结果；
根据所述打分结果，确定所述多个视角中每个视角下的视图中的点的投影面积Apa、点的信息熵Ava和点的密度Apd的权重；
在点集分割的过程中，实时计算当前所述多个视角中每个视角下的视图中的点的信息熵Ava′，以及重新获取用户对当前多个视角中每个视角下的视图的重新打分结果；
根据实时计算的每个视角下的视图中的点的信息熵Ava′，以及所述重新打分结果，确定所述当前多个视角中每个视角下的视图中的点的投影面积Apa′和点的密度Apd′；
根据公式确定所述当前多个视角中的目标视角；
其中，Vn+1指示所述目标视角，Yi＝βT·Ai′，pi是视角i下的所有点集，pn是视角n下的所有点集，视角n为视角i的上一个视角，β是视角i下点的投影面积Apa′、点的信息熵Ava′和点的密度Apd′的权重组成的三维向量，Ai′是视角i下点的投影面积Apa′、点的信息熵Ava′和点的密度Apd′组成的三维向量。
15.一种点云分割的设备，其特征在于，包括：
合并单元，用于对待处理点云中的点进行合并，得到多个点集；
采样单元，用于对所述待处理点云在多个视角下进行视角采样，得到所述多个视角中每个视角下的视图，所述多个视角是所述待处理点云中至少两个具有代表性场景的视角；
确定单元，用于对所述多个视角中每个视角下的视图进行评估，以及根据评估结果从所述多个视角中确定目标视角；
显示单元，用于在确定所述目标视角之后，显示所述目标视角下的视图指示的图像；
获取单元，用于获取用户标记的种子点集，所述种子点集是所述目标视角下的视图中所述多个点集中标注物体对应的部分点集；
分割单元，用于根据所述种子点集，对所述多个点集中所述标注物体对应的点集与其它点集进行分割。
16.根据权利要求15所述的设备，其特征在于，所述合并单元用于：
根据所述待处理点云中的每个点的曲率，以及所述每个点的相邻点的法向、法向投影距离和颜色空间距离等距离测度中的至少一种，将所述待处理点云的点合并为所述多个点集。
17.根据权利要求16所述的设备，其特征在于，所述合并单元用于：
选取所述待处理点云中尚未合并为所述多个点集、且曲率最小的点；
确定所述尚未合并为所述多个点集、且曲率最小的点的相邻点的法向、法向投影距离和颜色空间距离等距离测度中的至少一种，所述相邻点为尚未合并为所述多个点集的点和/或所述多个点集中的点集的质心点；
当所述相邻点的法向、法向投影距离和颜色空间距离等距离测度中的至少一种小于第一阈值时，将所述尚未合并为所述多个点集、且曲率最小的点与所述相邻点合并为所述多个点集中的一个点集。
18.根据权利要求16所述的设备，其特征在于，所述合并单元用于：
选取所述待处理点云中尚未合并为第一点集、且曲率最小的点；
确定所述尚未合并为所述第一点集、且曲率最小的点的相邻点的法向、法向投影距离和颜色空间距离等距离测度中的至少一种，所述相邻点为尚未合并为所述第一点集的点和/或所述第一点集的质心点；
当所述相邻点的法向、法向投影距离和颜色空间距离等距离测度中的至少一种小于第一阈值时，将所述尚未合并为所述第一点集、且曲率最小的点与所述相邻点合并为至少两个第一点集；
选取所述至少两个第一点集中尚未合并为所述多个点集、且包括点数最多的第一点集；
确定所述尚未合并为所述多个点集、且包括点数最多的第一点集的相邻点集的拟合平面的法向、质心和颜色直方图中的至少一种，所述相邻点集为尚未合并为所述多个点集的第一点集和/或所述多个点集中的点集；
当所述相邻点集的拟合平面的法向、质心和颜色直方图中的至少一种小于第二阈值时，将所述尚未合并为所述多个点集、且包括点数最多的第一点集与所述相邻点集合并为所述多个点集中的一个点集；
当所述相邻点集的拟合平面的法向、质心和颜色直方图中的至少一种大于或者等于第二阈值时，确定所述尚未合并为所述多个点集、且包括点数最多的第一点集为所述多个点集中的一个点集。
19.根据权利要求18所述的设备，其特征在于，所述设备还包括：
调整单元，用于当所述至少两个第一点集中无法合并为所述多个点集的第一点集的个数大于第三阈值时，至少一次调整所述第二阈值，以使无法合并为所述多个点集的第一点集部分或全部合并为所述多个点集。
20.根据权利要求15至19中任一所述的设备，其特征在于，所述分割单元用于：
根据所述种子点集，确定所述多个点集中所述标注物体对应的待处理点集，所述待处理点集是所述标注物体对应的点集中除所述种子点集外的任意点集；
根据所述待处理点集，对所述多个点集中所述标注物体对应的点集与其它点集进行分割。
21.根据权利要求20所述的设备，其特征在于，所述分割单元用于：
根据所述多个点集中水平点集对应凸包的面积，垂直点集对应凸包的面积，以及水平点集与垂直点集之间的空间相邻关系，确定所述多个点集中构成点集对的两个点集之间的支撑关系，其中，所述水平点集为所述多个点集中与地面夹角小于45°的点集，所述垂直点集为所述多个点集中与地面夹角大于或者等于45°的点集，一个水平点集和一个垂直点集构成一个点集对；
根据所述多个点集中构成点集对的两个点集之间的支撑关系，确定所述多个点集中每个点集之间的空间相邻关系；
根据所述多个点集中每个点集之间的空间相邻关系，确定所述待处理点集与所述种子点集之间的映射关系；
在确定所述待处理点集与所述种子点集之间的映射关系之后，根据所述待处理点集，对所述多个点集中所述标注物体对应的点集与其它点集进行分割。
22.根据权利要求21所述的设备，其特征在于，所述确定单元用于：
根据公式确定所述多个点集中垂直点集pi与水平点集pj构成的点集对中垂直点集pi与水平点集pj之间的支撑关系，
其中，Q<pi,pj>指示构成点集对的垂直点集pi与水平点集pj之间的支撑关系，pi是第i个垂直点集，pj是第j个水平点集，Wi是点集pi对应凸包的面积，Wj是点集pj对应凸包的面积，α是预定义参数，U(pi,pj)是与pi相邻且同样支撑pj的垂直点集的个数，当U(pi,pj)≠0是垂直点集pi支撑水平点集pj，U(pi,pj)＝0是水平点集pj支撑垂直点集pi。
23.根据权利要求21或22所述的设备，其特征在于，所述确定单元用于：
根据所述种子点集与待处理点集之间的数据代价，以及所述待处理点集与所述待处理点集的相邻点集之间的平滑代价，确定所述待处理点集与所述种子点集之间的映射关系，
其中，所述数据代价是由待处理点集和种子点集之间的平面特征的差异、待处理点集的中心和最近种子点集的中心之间的空间距离、待处理点集和种子点集之间的颜色直方图的差异确定；所述平滑代价是由待处理点集与待处理点集的相邻点集属于不同类别时产生的颜色特征的代价、待处理点集与待处理点集的相邻点集属于不同类别时产生的拟合平面特征的代价、待处理点集与待处理点集的相邻点集属于不同类别时产生的支撑关系特征的代价确定。
24.根据权利要求23所述的设备，其特征在于，所述确定单元用于：
根据公式确定所述待处理点集与所述种子点集之间的映射关系，
其中，E指示所述待处理点集与所述种子点集之间的映射关系，ED(pi,vi)＝λDDD(pi,Ui)+λCDC(pi,Ui)+λPDP(pi,Ui)+λSDS(pi,Ui)，所述数据代价ED是待处理点集pi归类为标签vi的代价函数，pi是待处理点集，vi是种子点集对应的标签；ES(pi,vi,pj,vj)＝λC′SC(pi,vi,pj,vj)+λP′SP(pi,vi,pj,vj)+λS′SS(pi,vi,pj,vj)，所述平滑代价ES是待处理点集和待处理点集的相邻点集组成的点集对(pi,pj)分别归类为标签(vi,vj)的代价函数，pj是待处理点集的相邻点集，vj是种子点集的相邻点集对应的标签；Ui是归类为标签vi的所有种子点集构成的集合；DD是距离特征的代价，取决于pi的中心和最近种子点集的中心间的空间距离；DC是颜色特征的代价，取决于pi和种子点集的颜色直方图的差异；DP是平面特征的代价，取决于pi和种子点集间的平面特征(法向和法向的距离)的差异；DS是支撑关系特征的代价，取决于pi和种子点集之间的支撑关系；SC是当pi和pj属于不同类别的标签(vi≠vj)时产生的颜色特征的代价；SP是当pi和pj属于不同类别的标签(vi≠vj)时产生的拟合平面特征的代价；SS是当pi和pj属于不同类别的标签(vi≠vj)时产生的支撑关系特征的代价；λ是常数，λD、λC、λS、λC′、λP′以及λS′常数。
25.根据权利要求15至24中任一所述的设备，其特征在于，所述确定单元用于：
显示所述多个视角中每个视角下的视图指示的图像；
获取用户对所述多个视角中每个视角下的视图的打分结果；
根据所述打分结果，确定所述多个视角的优先级；
确定优先级最高的视角为所述目标视角。
26.根据权利要求15至24中任一所述的设备，其特征在于，所述确定单元用于：
提取所述多个视角中每个视角下的视图中的点的投影面积Apa、点的信息熵Ava和点的密度Apd；
根据所述每个视角下的视图中的点的投影面积Apa、点的信息熵Ava和点的密度Apd，确定所述目标视角。
27.根据权利要求26所述的设备，其特征在于，所述确定单元用于：
显示所述多个视角中每个视角下的视图指示的图像；
获取用户对所述多个视角中每个视角下的视图的打分结果；
根据所述打分结果，确定所述多个视角中每个视角下的视图中的点的投影面积Apa、点的信息熵Ava和点的密度Apd的权重；
根据公式确定所述多个视角中的目标视角；
其中，Vn+1指示所述目标视角，Yi＝βT·Ai，pi是视角i下的所有点集，pn是视角n下的所有点集，视角n为视角i的上一个视角，β是视角i下点的投影面积Apa、点的信息熵Ava和点的密度Apd的权重组成的三维向量，Ai是视角i下点的投影面积Apa、点的信息熵Ava和点的密度Apd组成的三维向量。
28.根据权利要求26所述的设备，其特征在于，所述确定单元用于：
显示所述多个视角中每个视角下的视图指示的图像；
获取用户对所述多个视角中每个视角下的视图的打分结果；
根据所述打分结果，确定所述多个视角中每个视角下的视图中的点的投影面积Apa、点的信息熵Ava和点的密度Apd的权重；
在点集分割的过程中，实时计算当前所述多个视角中每个视角下的视图中的点的信息熵Ava′，以及重新获取用户对当前多个视角中每个视角下的视图的重新打分结果；
根据实时计算的每个视角下的视图中的点的信息熵Ava′，以及所述重新打分结果，确定所述当前多个视角中每个视角下的视图中的点的投影面积Apa′和点的密度Apd′；
根据公式确定所述当前多个视角中的目标视角；
其中，Vn+1指示所述目标视角，Yi＝βT·Ai′，pi是视角i下的所有点集，pn是视角n下的所有点集，视角n为视角i的上一个视角，β是视角i下点的投影面积Apa′、点的信息熵Ava′和点的密度Apd′的权重组成的三维向量，Ai′是视角i下点的投影面积Apa′、点的信息熵Ava′和点的密度Apd′组成的三维向量。
29.一种计算机可读存储介质，包括指令，当所述指令在计算机上运行时，所述计算机执行如权利要求1至14中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710214706.1A CN108665472A (zh) | 2017-04-01 | 2017-04-01 | 点云分割的方法和设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710214706.1A CN108665472A (zh) | 2017-04-01 | 2017-04-01 | 点云分割的方法和设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108665472A true CN108665472A (zh) | 2018-10-16 |
Family
ID=63784817
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710214706.1A Pending CN108665472A (zh) | 2017-04-01 | 2017-04-01 | 点云分割的方法和设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108665472A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109598715A (zh) * | 2018-12-05 | 2019-04-09 | 山西镭谱光电科技有限公司 | 基于机器视觉的物料粒度在线检测方法 |
| CN110009029A (zh) * | 2019-03-28 | 2019-07-12 | 北京智行者科技有限公司 | 基于点云分割的特征匹配方法 |
| CN110009751A (zh) * | 2019-04-01 | 2019-07-12 | 贝壳技术有限公司 | 一种房屋虚拟三维模型的楼层分割方法及装置 |
| CN110458805A (zh) * | 2019-03-26 | 2019-11-15 | 华为技术有限公司 | 一种平面检测方法、计算设备以及电路系统 |
| CN110490893A (zh) * | 2019-07-18 | 2019-11-22 | 广州大学 | 一种快速欧式距离点云分割方法 |
| CN114115120A (zh) * | 2022-01-25 | 2022-03-01 | 广州中望龙腾软件股份有限公司 | 一种智能排布的槽加工刀轨生成方法、系统、设备及介质 |
| CN116128886A (zh) * | 2023-04-18 | 2023-05-16 | 深圳市其域创新科技有限公司 | 一种点云数据分割方法、装置、电子设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103325142A (zh) * | 2013-05-29 | 2013-09-25 | 南京大学 | 一种基于Kinect的计算机三维模型建模方法 |
| CN103822616A (zh) * | 2014-03-18 | 2014-05-28 | 武汉大学 | 一种图分割与地形起伏约束相结合的遥感影像匹配方法 |
| CN103914837A (zh) * | 2014-03-25 | 2014-07-09 | 西安电子科技大学 | 一种适用于多视角点云处理的圆柱形邻域及其搜索方法 |
| CN105205858A (zh) * | 2015-09-18 | 2015-12-30 | 天津理工大学 | 一种基于单个深度视觉传感器的室内场景三维重建方法 |
| CN105205808A (zh) * | 2015-08-20 | 2015-12-30 | 武汉大学 | 基于多特征多约束的多视影像密集匹配融合方法及系统 |
| CN105427317A (zh) * | 2015-11-25 | 2016-03-23 | 武汉大学 | 一种适用于多视角自动化配准多站地面激光点云数据的方法 |
| CN105989604A (zh) * | 2016-02-18 | 2016-10-05 | 合肥工业大学 | 一种基于kinect的目标物体三维彩色点云生成方法 |
-
2017
- 2017-04-01 CN CN201710214706.1A patent/CN108665472A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103325142A (zh) * | 2013-05-29 | 2013-09-25 | 南京大学 | 一种基于Kinect的计算机三维模型建模方法 |
| CN103822616A (zh) * | 2014-03-18 | 2014-05-28 | 武汉大学 | 一种图分割与地形起伏约束相结合的遥感影像匹配方法 |
| CN103914837A (zh) * | 2014-03-25 | 2014-07-09 | 西安电子科技大学 | 一种适用于多视角点云处理的圆柱形邻域及其搜索方法 |
| CN105205808A (zh) * | 2015-08-20 | 2015-12-30 | 武汉大学 | 基于多特征多约束的多视影像密集匹配融合方法及系统 |
| CN105205858A (zh) * | 2015-09-18 | 2015-12-30 | 天津理工大学 | 一种基于单个深度视觉传感器的室内场景三维重建方法 |
| CN105427317A (zh) * | 2015-11-25 | 2016-03-23 | 武汉大学 | 一种适用于多视角自动化配准多站地面激光点云数据的方法 |
| CN105989604A (zh) * | 2016-02-18 | 2016-10-05 | 合肥工业大学 | 一种基于kinect的目标物体三维彩色点云生成方法 |
Non-Patent Citations (3)
| Title |
|---|
| OLIVER MATTAUSCH 等: ""Object detection and classification from large-scale cluttered indoor scans"", 《 RECONSTRUCTION AND ANALYSIS》 * |
| SHENG YANG等: ""View suggestion for interactive segmentation of indoor scenes"", 《COMPUTATIONAL VISUAL MEDIA》 * |
| YUAN, XIAORU 等: ""Sketch-based Segmentation of Scanned Outdoor Environment Models"", 《SKETCH BASED INTERFACES AND MODELING》 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109598715A (zh) * | 2018-12-05 | 2019-04-09 | 山西镭谱光电科技有限公司 | 基于机器视觉的物料粒度在线检测方法 |
| CN109598715B (zh) * | 2018-12-05 | 2023-03-24 | 山西镭谱光电科技有限公司 | 基于机器视觉的物料粒度在线检测方法 |
| CN110458805A (zh) * | 2019-03-26 | 2019-11-15 | 华为技术有限公司 | 一种平面检测方法、计算设备以及电路系统 |
| CN110458805B (zh) * | 2019-03-26 | 2022-05-13 | 华为技术有限公司 | 一种平面检测方法、计算设备以及电路系统 |
| CN110009029A (zh) * | 2019-03-28 | 2019-07-12 | 北京智行者科技有限公司 | 基于点云分割的特征匹配方法 |
| CN110009751A (zh) * | 2019-04-01 | 2019-07-12 | 贝壳技术有限公司 | 一种房屋虚拟三维模型的楼层分割方法及装置 |
| CN110490893A (zh) * | 2019-07-18 | 2019-11-22 | 广州大学 | 一种快速欧式距离点云分割方法 |
| CN110490893B (zh) * | 2019-07-18 | 2022-02-22 | 广州大学 | 一种快速欧式距离点云分割方法 |
| CN114115120A (zh) * | 2022-01-25 | 2022-03-01 | 广州中望龙腾软件股份有限公司 | 一种智能排布的槽加工刀轨生成方法、系统、设备及介质 |
| CN116128886A (zh) * | 2023-04-18 | 2023-05-16 | 深圳市其域创新科技有限公司 | 一种点云数据分割方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108665472A (zh) | 点云分割的方法和设备 | |
| CN110163198B (zh) | 一种表格识别重建方法、装置和存储介质 | |
| CN104134234B (zh) | 一种全自动的基于单幅图像的三维场景构建方法 | |
| CN102804231B (zh) | 三维场景的分段平面重建 | |
| CN105830062B (zh) | 用于编码对象阵型的系统、方法及设备 | |
| CN107430771B (zh) | 用于图像分段的系统和方法 | |
| CN105493078B (zh) | 彩色草图图像搜索 | |
| EP2272050B1 (en) | Using photo collections for three dimensional modeling | |
| EP3108449B1 (en) | View independent 3d scene texturing | |
| US9942535B2 (en) | Method for 3D scene structure modeling and camera registration from single image | |
| CN104715471B (zh) | 目标定位跟踪方法及其装置 | |
| US9454712B2 (en) | Saliency map computation | |
| CN104240277B (zh) | 基于人脸检测的增强现实交互方法和系统 | |
| CN108604379A (zh) | 用于确定图像中的区域的系统及方法 | |
| US20160027208A1 (en) | Image analysis method | |
| JP2022522279A (ja) | 優先点を識別して保持する点群の併合方法 | |
| CN110648363B (zh) | 相机姿态确定方法、装置、存储介质及电子设备 | |
| US20020085001A1 (en) | Image processing apparatus | |
| CN104751511B (zh) | 一种三维场景构建方法和装置 | |
| CN105096300B (zh) | 对象检测方法和设备 | |
| US20150138193A1 (en) | Method and device for panorama-based inter-viewpoint walkthrough, and machine readable medium | |
| CN109035330A (zh) | 箱体拟合方法、设备和计算机可读存储介质 | |
| CN106991417A (zh) | 一种基于模式识别的视觉投影交互系统及交互方法 | |
| CN109242855A (zh) | 基于多分辨率三维统计信息的屋顶分割方法、系统及设备 | |
| US20210209776A1 (en) | Method and device for depth image fusion and computer-readable storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181016 |