CN114299245A - 工程机械作业对象的测量方法、装置、电子设备及系统 - Google Patents
工程机械作业对象的测量方法、装置、电子设备及系统 Download PDFInfo
- Publication number
- CN114299245A CN114299245A CN202111549558.1A CN202111549558A CN114299245A CN 114299245 A CN114299245 A CN 114299245A CN 202111549558 A CN202111549558 A CN 202111549558A CN 114299245 A CN114299245 A CN 114299245A
- Authority
- CN
- China
- Prior art keywords
- data
- point cloud
- engineering machinery
- cloud data
- operation object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000012545 processing Methods 0.000 claims abstract description 57
- 238000005259 measurement Methods 0.000 claims abstract description 46
- 230000008447 perception Effects 0.000 claims abstract description 44
- 230000015654 memory Effects 0.000 claims description 32
- 238000010276 construction Methods 0.000 claims description 25
- 238000001914 filtration Methods 0.000 claims description 23
- 230000004927 fusion Effects 0.000 claims description 13
- 239000000126 substance Substances 0.000 claims description 12
- 238000003384 imaging method Methods 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 3
- 230000004807 localization Effects 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 7
- 238000004364 calculation method Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 8
- 238000013507 mapping Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 229910052500 inorganic mineral Inorganic materials 0.000 description 4
- 239000011707 mineral Substances 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 239000012535 impurity Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000009412 basement excavation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003245 coal Substances 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明涉及工程机械技术领域，具体涉及工程机械作业对象的测量方法、装置、电子设备及系统，该方法包括获取工程机械作业对象的多个原始观测数据，原始观测数据包括原始点云数据以及色彩纹理数据，多个原始观测数据是至少两种不同类型的感知传感器对工程机械作业对象进行采集确定的；对原始点云数据进行融合，确定目标点云数据；将目标点云数据与色彩纹理数据进行融合处理，生成工程机械作业对象的三维实景模型；对三维实景模型进行网格化处理，以确定工程机械作业对象的测量结果。通过在生成目标点云数据的基础上结合色彩纹理数据，得到准确的三维实景模型，可以保证测量结果的准确性，且整个过程自动实现无需人工参与，提高了测量效率。
Description
技术领域
本发明涉及工程机械技术领域，具体涉及工程机械作业对象的测量方法、装置、电子设备及系统。
背景技术
在工程机械领域，挖掘设备工作之前首先需要了解当前工程机械作业对象，例如，当前工程的土方量、回填量和地质分布，，才能更好的规划所需的挖掘设备数量和规划调度，以最优的规划方式开展土方工作降低成本。现有的测量方式是测量人员手持相应的仪器，在地表上顶点，获取定位点的高程和水平坐标值，以确定准确的测量值。
以土方工程量的测量为例，通常在地貌表面设置几个高程点作为基准进行测量。但是通过分散的几个高程点不能准确地反映地貌的真实形态，特征点测量的精度和分布密度较低，在计算过程中误差不断累加，最终使土方计算结果偏离准确值，且计算过程繁琐、效率低。
发明内容
有鉴于此，本发明实施例提供了一种工程机械作业对象的测量方法、装置、电子设备及系统，以解决工程机械作业对象的测量效率与准确性偏低的问题。
根据第一方面，本发明实施例提供了一种工程机械作业对象的测量方法，包括：
获取所述工程机械作业对象的多个原始观测数据，所述原始观测数据包括原始点云数据以及色彩纹理数据，所述多个原始观测数据是至少两种不同类型的感知传感器对所述工程机械作业对象进行采集确定的；
对所述原始点云数据进行融合，确定目标点云数据；
将所述目标点云数据与所述色彩纹理数据进行融合处理，生成所述工程机械作业对象的三维实景模型；
对所述三维实景模型进行网格化处理，以确定所述工程机械作业对象的测量结果。
本发明实施例提供的工程机械作业对象的测量方法，通过将至少两种类型的感知传感器采集的原始观测数据进行融合，在生成目标点云数据的基础上结合色彩纹理数据，得到准确的三维实景模型，在此基础上再确定测量结果可以保证测量结果的准确性，且整个过程自动实现无需人工参与，提高了测量效率。
结合第一方面，在第一方面第一实施方式中，所述对所述三维实景模型进行网格化处理，以确定所述工程机械作业对象的测量结果，包括：
对所述三维实景模型进行网格化处理形成初始点集；
基于所述初始点集中网格的特征，对所述初始点集进行预处理生成目标点集；
对所述目标点集中各个网格进行聚类处理，确定多个测量区域；
基于所述多个测量区域确定所述工程机械作业对象的测量结果。
本发明实施例提供的工程机械作业对象的测量方法，通过网格划分的方式进行后续的处理，即，将三维实景模型划分成若干网格进行处理，提高了测量的精度和分布密度，进而可以保证测量结果的准确性。
结合第一方面第一实施方式，在第一方面第二实施方式中，所述基于所述初始点集中网格的特征，对所述初始点集进行预处理生成目标点集，包括：
利用所述初始点集中网格的成像数据，分割出各类型物质的区域；
对所述各类型物质的区域进行植被以及动态目标的过滤处理；
对所述过滤处理的结果进行平滑滤波处理，确定所述目标点集。
本发明实施例提供的工程机械作业对象的测量方法，针对成像数据分割出各类型物质的区域，实现类型划分，且通过对各类型物质进行过滤处理，可以去除杂质影响，进一步提高了目标点集的准确性。
结合第一方面第一实施方式，在第一方面第三实施方式中，所述对所述三维实景模型进行网格化处理形成初始点集，包括：
响应于对网格处理插件的选择操作，确定目标网格处理插件；
基于所述目标网格处理插件对所述三维实景模型进行网格化处理形成所述初始点集。
本发明实施例提供的工程机械作业对象的测量方法，通过内置有多个网格处理插件，从而可以针对不同的需求，选择不同的目标网格处理插件，进行网格化处理。
结合第一方面，在第一方面第四实施方式中，所述感知传感器包括激光雷达以及定位模块，所述对所述原始点云数据进行融合，确定目标点云数据，包括：
将所述激光雷达采集的雷达数据与所述定位模块采集的其与所述工程机械作业对象的相对位置数据进行融合，确定所述目标点云数据。
本发明实施例提供的工程机械作业对象的测量方法，将雷达数据与相对位置数据进行融合，由于点云数据是由若干点数据组成，具有丰富的数据信息，可以得到较为准确的目标点云数据。
结合第一方面第四实施方式，在第一方面第五实施方式中，所述感知传感器还包括色彩纹理感知传感器，所述将所述目标点云数据与所述色彩纹理数据进行融合处理，生成所述工程机械作业对象的三维实景模型，包括：
获取所述激光雷达与所述纹理感知传感器的外参标定结果；
基于所述外采标定结果将所述色彩纹理影像投影到所述目标点云数据上并进行融合，生成所述三维实景模型。
本发明实施例提供的工程机械作业对象的测量方法，将色彩纹理影像与目标点云数据进行融合，使得融合后的目标点云数据具有纹理色彩信息，从而能够进行不同类型物质的识别划分，进一步提高了三维实景模型的检测准确性。
根据第二方面，本发明实施例还提供了一种工程机械作业对象的测量装置，包括：
第一获取模块，用于获取所述工程机械作业对象的多个原始观测数据，所述原始观测数据包括原始点云数据以及色彩纹理数据，所述多个原始观测数据是至少两种不同类型的感知传感器对所述工程机械作业对象进行采集确定的；
第一融合模块，用于对所述原始点云数据进行融合，确定目标点云数据；
第二融合模块，用于将所述目标点云数据与所述色彩纹理数据进行融合处理，生成所述工程机械作业对象的三维实景模型；
确定模块，用于对所述三维实景模型进行网格化处理，以确定所述工程机械作业对象的测量结果。
根据第三方面，本发明实施例提供了一种电子设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行第一方面或者第一方面的任意一种实施方式中所述的工程机械作业对象的测量方法。
根据第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行第一方面或者第一方面的任意一种实施方式中所述的工程机械作业对象的测量方法。
根据第五方面，本发明实施例还提供了一种工程机械作业对象的测量系统，包括：
至少两种不同类型的感知传感器，用于采集所述工程机械作业对象的多个原始观测数据，所述原始观测数据包括原始点云数据以及色彩纹理数据；
飞行器，用于搭载所述至少两种不同类型的感知传感器；
本发明第三方面所述的电子设备，所述电子设备与所述至少两种不同类型的感知传感器通信连接。
需要说明的是，本发明实施例提供的工程机械作业对象的测量装置、电子设备、计算机可读存储介质以及工程机械作业对象的测量系统的相应有益效果，请参见上文中工程机械作业对象的测量方法的对应描述，在此不再赘述。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的工程机械作业对象的测量系统的结构示意图；
图2是根据本发明实施例的电子设备的结构示意图；
图3是根据本发明实施例的工程机械作业对象的测量方法的流程图；
图4是根据本发明实施例的工程机械作业对象的测量方法的流程图；
图5是根据本发明实施例的工程机械作业对象的测量方法的流程图；
图6是根据本发明实施例的工程机械作业对象的测量装置的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供的电子设备，可以是任意具有数据处理能力的电子设备，例如，电脑、服务器、手机，或者，也可以是应用在工程机械中的控制器、计算平台等等，具体可以根据实际需求进行设置即可。
本发明实施例提供了一种工程机械作业对象的测量系统，包括至少两种不同类型的感知传感器、飞行器以及电子设备。其中，感知传感器用于采集所述工程机械作业对象的多个原始观测数据，所述原始观测数据包括原始点云数据以及色彩纹理数据；飞行器用于搭载至少两种不同类型的感知传感器；电子设备与至少两种不同类型的感知传感器连接。
作为工程机械作业对象的测量系统的一个可选应用场景，飞行器为无人机，电子设备为部署在作业现场的边缘服务器，工程机械作业对象为土方。无人机搭载有至少两种不同类型的感知传感器，具体为固态激光雷达和RGB相机，对土方进行数据采集。各个感知传感器将采集到的原始观测数据实时发送给边缘服务器，边缘服务器对原始观测数据进行融合，生成土方的三维实景模型，并基于该三维实景模型确定出土方的测量结果。如图1所示，无人机搭载有摄像机、激光扫描仪、GNSS移动站以及IMU模块，在土方布置多个测控点，通过无人机搭载感知传感器进行原始观测数据的采集，并将采集结果发送给边缘服务器。
作为工程机械作业对象的测量系统的另一个可选应用场景，与上述应用场景不同的是，各个感知传感器对采集到的原始观测数据进行存储，待采集完成之后，再将原始观测数据发送至中心云服务器，中心云服务器通过离线处理的方式确定出土方的测量结果。
作为工程机械作业对象的测量系统的另一个可选应用场景，与上述第一个应用场景不同的是，电子设备为工程机械设备中的域控制器(或者计算平台)。域控制器对各个感知传感器采集到的原始观测数据进行融合，生成土方的三维实景模型，并确定出土方的测量结果，并将土方测量结果显示在与域控制器通信连接的显示设备上，最后基于土方的测量结果，域控制器进行相应的作业规划并控制工程机械设备完成工程机械作业任务。
需要说明的是，所述的飞行器可以根据实际需求进行设置，并不限于上文所述的无人机；至少两种类型的感知传感器也是根据实际需求设置的，只需保证原始观测数据中包括有原始点云数据以及色彩纹理数据即可。
本发明实施例还提供了一种电子设备，请参阅图2，图2是本发明可选实施例提供的一种电子设备的结构示意图，如图2所示，该电子设备可以包括：至少一个处理器201，例如CPU(Central Processing Unit，中央处理器)，至少一个通信接口203，存储器204，至少一个通信总线202。其中，通信总线202用于实现这些组件之间的连接通信。其中，通信接口203可以包括显示屏(Display)、键盘(Keyboard)，可选通信接口203还可以包括标准的有线接口、无线接口。存储器204可以是高速RAM存储器(Random Access Memory，易挥发性随机存取存储器)，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器204可选的还可以是至少一个位于远离前述处理器201的存储装置。其中存储器204中存储应用程序，且处理器201调用存储器204中存储的程序代码，以用于执行下述任一的工程机械作业对象的测量方法步骤。
其中，通信总线202可以是外设部件互连标准(peripheral componentinterconnect，简称PCI)总线或扩展工业标准结构(extended industry standardarchitecture，简称EISA)总线等。通信总线202可以分为地址总线、数据总线、控制总线等。为便于表示，图2中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
其中，存储器204可以包括易失性存储器(英文：volatile memory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)，硬盘(英文：hard diskdrive，缩写：HDD)或固态硬盘(英文：solid-state drive，缩写：SSD)；存储器204还可以包括上述种类的存储器的组合。
其中，处理器201可以是中央处理器(英文：central processing unit，缩写：CPU)，网络处理器(英文：network processor，缩写：NP)或者CPU和NP的组合。
其中，处理器201还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文：application-specific integrated circuit，缩写：ASIC)，可编程逻辑器件(英文：programmable logic device，缩写：PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(英文：complex programmable logic device，缩写：CPLD)，现场可编程逻辑门阵列(英文：field-programmable gate array，缩写：FPGA)，通用阵列逻辑(英文：generic arraylogic,缩写：GAL)或其任意组合。
可选地，存储器204还用于存储程序指令。处理器201可以调用程序指令，实现如本申请任一实施例中所示的工程机械作业对象的测量方法。
根据本发明实施例，提供了一种工程机械作业对象的测量方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
在本实施例中提供了一种工程机械作业对象的测量方法，可用于上述的电子设备，图3是根据本发明实施例的工程机械作业对象的测量方法的流程图，如图3所示，该流程包括如下步骤：
S11，获取工程机械作业对象的多个原始观测数据。
其中，所述原始观测数据包括原始点云数据以及色彩纹理数据，所述多个原始观测数据是至少两种不同类型的感知传感器对工程机械作业对象进行采集确定的。
如上文所述，多个原始观测数据是利用飞行器搭载至少两种类型的感知传感器对工程机械作业对象进行数据采集后获得的。感知传感器将采集到的原始观测数据发送给电子设备，相应地，电子设备就获取到多个原始观测数据。
电子设备在获取原始观测数据时，基于原始观测数据的来源对其进行分类。例如，将感知传感器A发送的原始观测数据存储在A区域；将感知传感器B发送的原始观测数据存储在B区域；依次类推，直至所有的原始观测数据均存储至相应的位置即可。由于不同的感知传感器所采集到的原始观测数据的类型不同，有的原始观测数据为点云数据，有的原始观测数据为位置数据，有的原始观测数据为色彩纹理观测数据，等等。基于此，电子设备针对不同的感知传感器进行相应原始观测数据进行存储，可以便于后续在进行数据融合时，从不同的存储区域中进行原始观测数据的提取。
或者，电子设备也可以对不同原始观测数据的来源，采用不同的标签进行区分。
或者，也可以采用其他方式进行区分等等，在此对其并不做任何限定，具体可以根据实际需求进行即可。只需保证电子设备后续在提取相应的数据时，能够进行区分即可。
S12，对原始点云数据进行融合，确定目标点云数据。
由于不同类型的感知传感器的优势不同，其所采集到的原始点云数据的优势不同，因此，通过将原始点云数据进行融合，可以保证所得到的目标点云数据的准确性。例如，电子设备通过卡尔曼滤波融合框架将不同通道的原始点云数据融合到一起，利用不同感知传感器的互补优势来提高所得到的目标点云数据的稳定性和准确性。
以激光雷达采集的原始点云数据为例，原始点云数据是由一些离散的孤立点构成，而且原始点云数据不包含RGB等色彩信息，通过融合不同感知传感器的原始点云数据，可以将随时间变化的多帧离散数据拼接到一个整体点云中，重建出大场景下的目标点云数据。
S13，将目标点云数据与色彩纹理数据进行融合处理，生成工程机械作业对象的三维实景模型。
如上文所述，原始点云数据不包含色彩信息，那么所得到的目标点云数据也不包含色彩信息。基于此，电子设备将色彩纹理数据与目标点云数据进行融合，将色彩纹理数据对应映射至目标点云数据上，生成工程机械作业对象的三维实景模型。在进行融合时，基于位置信息进行对应映射，将相应的色彩纹理数据映射至目标点云的相应位置处。
关于该步骤具体将在下文中进行详细描述。
S14，对三维实景模型进行网格化处理，以确定工程机械作业对象的测量结果。
由于三维实景模型的范围很大，若对其进行整体计算则可能影响测量结果的精度。基于此，电子设备对三维实景模型进行网格化处理，将其划分为若干个网格，分别对各个网络进行处理后再整合，以得到测量结果。其中，划分出的网格可以是三角形网格、四边形网格或其他多边形网格，等等。
本实施例提供的工程机械作业对象的测量方法，通过将至少两种类型的感知传感器采集的原始观测数据进行融合，在生成目标点云数据的基础上结合色彩纹理数据，得到准确的三维实景模型，在此基础上再确定测量结果可以保证测量结果的准确性，且整个过程自动实现无需人工参与，提高了测量效率。
在本实施例中提供了一种工程机械作业对象的测量方法，可用于上述的电子设备，图4是根据本发明实施例的工程机械作业对象的测量方法的流程图，如图4所示，该流程包括如下步骤：
S21，获取工程机械作业对象的多个原始观测数据。
其中，所述原始观测数据包括原始点云数据以及色彩纹理数据，所述多个原始观测数据是至少两种不同类型的感知传感器对工程机械作业对象进行采集确定的。
详细请参见图3所示实施例的S11，在此不再赘述。
S22，对原始点云数据进行融合，确定目标点云数据。
详细请参见图3所示实施例的S12，在此不再赘述。
S23，将目标点云数据与色彩纹理数据进行融合处理，生成工程机械作业对象的三维实景模型。
详细请参见图3所示实施例的S13，在此不再赘述。
S24，对三维实景模型进行网格化处理，以确定工程机械作业对象的测量结果。
具体地，上述S24包括：
S241，对三维实景模型进行网格化处理形成初始点集。
如上文所述，网格化处理可以是进行三角形网格处理，也可以是进行四边形网格处理，等等。电子设备对三维实景模型进行处理，得到对应的初始点集，此处的初始点集用于表示各个网格的集合。
在本实施例的一些可选实施方式中，上述S241可以包括：
(1)响应于对网格处理插件的选择操作，确定目标网格处理插件。
(2)基于目标网格处理插件对三维实景模型进行网格化处理形成初始点集。
在电子设备中集成有多种网格处理插件，以提供用户进行选择。例如，电子设备提供有人机交互界面，用户在该人机交互界面上进行选择操作，确定目标网格处理插件。相应地，电子设备就可以利用该目标网格插件对三维实景模型进行网格化处理，得到初始点集。
网格处理插件是封装好的网格处理模型，在进行测试之前，用户对测试方法进行配置，例如，配置网格插件处理插件，或后续的计算插件等等。其中，计算插件用于基于划分后的三维实景模型进行测量，得到测量结果。
对于计算插件而言，针对不同的工程机械作业对象提供有至少一种计算插件，各个计算插件采用不同的方式对三维实景模型进行计算，得到测量结果。例如，对于土方测量，提供有3种计算插件；对于煤矿测量，提供有2种计算插件。
通过内置有多个网格处理插件，从而可以针对不同的需求选择不同的目标网格处理插件进行网格化处理。
S242，基于初始点集中网格的特征，对初始点集进行预处理生成目标点集。
对初始点集中网格的处理，包括但不限于运动目标过滤、干扰对象过滤以及平滑滤波处理，等等。具体对初始点集进行何种预处理，可以根据实际需求进行设置，在此对其并不做任何限定。
在本实施例的一些可选实施方式中，上述S242可以包括：
(1)利用初始点集中网格的成像数据，分割出各类型物质的区域。
(2)对各类型物质的区域进行植被以及动态目标的过滤处理。
(3)对过滤处理的结果进行平滑滤波处理，确定目标点集。
具体地，对于融合有色彩纹理数据的三维实景模型而言，由于各类矿物质等反射率不同，能够根据数据成像数据，分割出不同矿物质的区域，如植被、各类矿物，并三维实景模型中滤除植被；有些确定性的静态和动态目标，采用AI算法，如yolo-v3目标检测算法，识别出一些确定性的干扰物如行人、矿车等目标物；平滑滤波可以采用基于三维实景模型的中值滤波或者平滑滤波算法，对数据进行滤波，平滑数据。经过上述处理，即实现对初始点集的预处理确定目标点集。
需要说明的是，上述的目标检测算法并不限于上文所述的yolo-v3目标检测算法，也可以为其他目标检测算法，具体根据实际需求进行设置，在此对其并不做任何限制。
针对成像数据分割出各类型物质的区域，实现类型划分，且通过对各类型物质进行过滤处理，可以去除杂质影响，进一步提高了目标点集的准确性。
S243，对目标点集中各个网格进行聚类处理，确定多个测量区域。
在经过上述的预处理之后得到目标点集，而目标点集的数量较多，后续为了计算测量结果，而不需要进行细节的区分。因此，对目标点集中的各个网格进行聚类处理，以减少数据计算量，确定多个测量区域。具体地，所述的聚类处理可以是依据各个网格的距离，或者依据高度信息，等等进行处理。
S244，基于多个测量区域确定工程机械作业对象的测量结果。
电子设备依次对各个测量区域进行相应的计算，最终确定工程机械作业对象的测量结果。以土方量计算为例，在本实施例中采用积分法对土方量进行计算，具体如下：
(1)在各个测量区域分别设置土方测量的采样点形状，根据各测量区域面积，分别设定对应的采样距离和采样点形状。
(2)判断目标点集中对应于各个测量区域的各点与测量区域的位置关系，对其对应的立方体体积进行计算。
(3)基于步骤(2)的计算结果，针对挖方和填方对应的土方量进行积分求和。
在本实施例的一些可选实施方式中，电子设备确定出三维实景模型之后，可以将其导入到相应的计算软件中，利用计算软件自动计算出工程机械作业对象的测量结果。例如，Civil 3D软件可以对地块、道路、土方量土木工程建模，针对土方量进行复合体积算法或者平均断面算法计算各曲面之间的土方量。
本实施例提供的工程机械作业对象的测量方法，通过网格划分的方式进行后续的处理，即，将三维实景模型划分成若干网格进行处理，提高了测量的精度和分布密度，进而可以保证测量结果的准确性。
在本实施例中提供了一种工程机械作业对象的测量方法，可用于上述的电子设备，图5是根据本发明实施例的工程机械作业对象的测量方法的流程图，如图5所示，该流程包括如下步骤：
S31，获取工程机械作业对象的多个原始观测数据。
其中，所述原始观测数据包括原始点云数据以及色彩纹理数据，所述多个原始观测数据是至少两种不同类型的感知传感器对工程机械作业对象进行采集确定的。
感知传感器包括激光雷达、定位模块以及纹理感知传感器，其中，纹理感知传感器可以是测绘相机，或遥感相机等等。
其余详细请参见图3所示实施例的S11，在此不再赘述。
S32，对原始点云数据进行融合，确定目标点云数据。
具体地，将激光雷达采集的雷达数据与所述定位模块采集的其与工程机械作业对象的相对位置数据进行融合，确定目标点云数据。
定位模块根据土方的大致轮廓，在测区范围内布设像控点，并测量所述布设像控点的坐标值；根据布设的像控点，激光雷达获取点云数据、测绘相机获取色彩纹理数据、定位模块获取此时无人机与工程机械作业对象的相对位置信息数据，保存到计算存储器中。计算存储器对获取的雷达数据和POS惯导数据进行多传感器数据融合，得到目标点云数据。其中，定位模块可以是由GNSS和IMU组成的惯导模块，也可以是其他能够采集相对位置的定位模块，等等。在此对定位模块的具体形式并不做任何限定，具体可以根据实际需求进行设置即可。
具体地，通过卡尔曼滤波融合框架将不同通道的数据结合到一起，利用不同感知传感器的互补优势来提高稳定性和准确性。其中，POS惯导数据是由惯性导航传感器IMU和定位模块GNSS数据组成，GNSS输出位置和速度信息，LiDAR输出位置和行进方向信息。卡尔曼滤波建立在两步预测测量周期之上，惯性模块IMU用于卡尔曼滤波的预测步骤，GNSS和LiDAR定位用于卡尔曼滤波的测量结果更新步骤。
激光雷达采集的原始点云是由一些离散的孤立点构成，而且原始点云不包含RGB等色彩信息，通过融合不同感知传感器的数据，可以将随时间变化的多帧离散数据拼接到一个整体点云中，重建出大场景下的点云数据，
将雷达数据与相对位置数据进行融合，由于点云数据是由若干点数据组成，具有丰富的数据信息，可以得到较为准确的目标点云数据。
S33，将目标点云数据与色彩纹理数据进行融合处理，生成工程机械作业对象的三维实景模型。
基于此，上述S33包括：
S331，获取激光雷达与纹理感知传感器的外参标定结果。
S332，基于外采标定结果将色彩纹理影像投影到目标点云数据上并进行融合，生成三维实景模型。
测绘相机的影像数据可以提供RGBD和其它表征物体色彩信息的纹理信息，通过激光雷达和测绘相机的外参数标定矩阵，可以将色彩纹理影像纹理投影到目标点云数据上，通过融合处理生成真彩色点云数据，即生成三维实景模型。
S34，对三维实景模型进行网格化处理，以确定工程机械作业对象的测量结果。
详细请参见图4所示实施例的S24，在此不再赘述。
本实施例提供的工程机械作业对象的测量方法，将色彩纹理影像与目标点云数据进行融合，使得融合后的目标点云数据具有纹理色彩信息，从而能够进行不同类型物质的识别划分，进一步提高了三维实景模型的准确性。
本发明实施例提供的工程机械作业对象的测量方法，飞行器搭载各种类型的感知传感器来实现点云数据的采集和计算，能够达到方便快捷的点位测量的优点，效率比较高。采用基于多感知传感器融合的成像方法应用到工程机械作业对象的测量中，能够解决信号干扰、成像数据不稳定的问题，也能够用于更大范围的土方测量的精度和成像稳定性。本方法采用多感知传感器的融合技术基于点云数据融合测绘相机的色彩纹理影像，并生成土方的三维实景模型，并能够自动识别分割土方各矿物质类型。进一步地，针对成像精度不高、点云数据噪声较多的问题，采用点云数据后处理技术，综合使用点云去噪、点云数据去植被、点云数据平滑滤波等技术获得高精度的点云数据。
在本实施例中还提供了一种工程机械作业对象的测量装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
本实施例提供一种工程机械作业对象的测量装置，如图6所示，包括：
第一获取模块41，用于获取所述工程机械作业对象的多个原始观测数据，所述原始观测数据包括原始点云数据以及色彩纹理数据，所述多个原始观测数据是至少两种不同类型的感知传感器对所述工程机械作业对象进行采集确定的；
第一融合模块42，用于对所述原始点云数据进行融合，确定目标点云数据；
第二融合模块43，用于将所述目标点云数据与所述色彩纹理数据进行融合处理，生成所述工程机械作业对象的三维实景模型；
确定模块44，用于对所述三维实景模型进行网格化处理，以确定所述工程机械作业对象的测量结果。
本实施例中的工程机械作业对象的测量装置是以功能单元的形式来呈现，这里的单元是指ASIC电路，执行一个或多个软件或固定程序的处理器和存储器，和/或其他可以提供上述功能的器件。
上述各个模块的更进一步的功能描述与上述对应实施例相同，在此不再赘述。
本发明实施例还提供了一种非暂态计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的工程机械作业对象的测量方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (10)
1.一种工程机械作业对象的测量方法，其特征在于，包括：
获取所述工程机械作业对象的多个原始观测数据，所述原始观测数据包括原始点云数据以及色彩纹理数据，所述多个原始观测数据是至少两种不同类型的感知传感器对所述工程机械作业对象进行采集确定的；
对所述原始点云数据进行融合，确定目标点云数据；
将所述目标点云数据与所述色彩纹理数据进行融合处理，生成所述工程机械作业对象的三维实景模型；
对所述三维实景模型进行网格化处理，以确定所述工程机械作业对象的测量结果。
2.根据权利要求1所述的方法，其特征在于，所述对所述三维实景模型进行网格化处理，以确定所述工程机械作业对象的测量结果，包括：
对所述三维实景模型进行网格化处理形成初始点集；
基于所述初始点集中网格的特征，对所述初始点集进行预处理生成目标点集；
对所述目标点集中各个网格进行聚类处理，确定多个测量区域；
基于所述多个测量区域确定所述工程机械作业对象的测量结果。
3.根据权利要求2所述的方法，其特征在于，所述基于所述初始点集中网格的特征，对所述初始点集进行预处理生成目标点集，包括：
利用所述初始点集中网格的成像数据，分割出各类型物质的区域；
对所述各类型物质的区域进行植被以及动态目标的过滤处理；
对所述过滤处理的结果进行平滑滤波处理，确定所述目标点集。
4.根据权利要求2所述的方法，其特征在于，所述对所述三维实景模型进行网格化处理形成初始点集，包括：
响应于对网格处理插件的选择操作，确定目标网格处理插件；
基于所述目标网格处理插件对所述三维实景模型进行网格化处理形成所述初始点集。
5.根据权利要求1所述的方法，其特征在于，所述感知传感器包括激光雷达以及定位模块，所述对所述原始点云数据进行融合，确定目标点云数据，包括：
将所述激光雷达采集的雷达数据与所述定位模块采集的其与所述工程机械作业对象的相对位置数据进行融合，确定所述目标点云数据。
6.根据权利要求5所述的方法，其特征在于，所述感知传感器还包括纹理感知传感器，所述将所述目标点云数据与所述色彩纹理数据进行融合处理，生成所述工程机械作业对象的三维实景模型，包括：
获取所述激光雷达与所述纹理感知传感器的外参标定结果；
基于所述外采标定结果将所述色彩纹理影像投影到所述目标点云数据上并进行融合，生成所述三维实景模型。
7.一种工程机械作业对象的测量装置，其特征在于，包括：
第一获取模块，用于获取所述工程机械作业对象的多个原始观测数据，所述原始观测数据包括原始点云数据以及色彩纹理数据，所述多个原始观测数据是至少两种不同类型的感知传感器对所述工程机械作业对象进行采集确定的；
第一融合模块，用于对所述原始点云数据进行融合，确定目标点云数据；
第二融合模块，用于将所述目标点云数据与所述色彩纹理数据进行融合处理，生成所述工程机械作业对象的三维实景模型；
确定模块，用于对所述三维实景模型进行网格化处理，以确定所述工程机械作业对象的测量结果。
8.一种电子设备，其特征在于，包括：
存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1-6中任一项所述的工程机械作业对象的测量方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使计算机执行权利要求1-6中任一项所述的工程机械作业对象的测量方法。
10.一种工程机械作业对象的测量系统，其特征在于，包括：
至少两种不同类型的感知传感器，用于采集所述工程机械作业对象的多个原始观测数据，所述原始观测数据包括原始点云数据以及色彩纹理数据；
飞行器，用于搭载所述至少两种不同类型的感知传感器；
权利要求8所述的电子设备，所述电子设备与所述至少两种不同类型的感知传感器通信连接。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111549558.1A CN114299245A (zh) | 2021-12-17 | 2021-12-17 | 工程机械作业对象的测量方法、装置、电子设备及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111549558.1A CN114299245A (zh) | 2021-12-17 | 2021-12-17 | 工程机械作业对象的测量方法、装置、电子设备及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114299245A true CN114299245A (zh) | 2022-04-08 |
Family
ID=80967369
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111549558.1A Pending CN114299245A (zh) | 2021-12-17 | 2021-12-17 | 工程机械作业对象的测量方法、装置、电子设备及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114299245A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109389635A (zh) * | 2018-09-11 | 2019-02-26 | 常州大学 | 一种基于无人机影像序列的煤场采挖量计算方法 |
| CN110570466A (zh) * | 2019-09-09 | 2019-12-13 | 广州建通测绘地理信息技术股份有限公司 | 三维实景点云模型的生成方法和装置 |
| CN111275099A (zh) * | 2020-01-17 | 2020-06-12 | 湖北工业大学 | 一种基于网格粒度计算的聚类方法及聚类系统 |
| CN111915723A (zh) * | 2020-08-14 | 2020-11-10 | 广东申义实业投资有限公司 | 一种用于室内的三维全景构建方法和系统 |
| CN112116830A (zh) * | 2020-09-02 | 2020-12-22 | 南京航空航天大学 | 一种基于空域网格化的无人机动态地理围栏规划方法 |
-
2021
- 2021-12-17 CN CN202111549558.1A patent/CN114299245A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109389635A (zh) * | 2018-09-11 | 2019-02-26 | 常州大学 | 一种基于无人机影像序列的煤场采挖量计算方法 |
| CN110570466A (zh) * | 2019-09-09 | 2019-12-13 | 广州建通测绘地理信息技术股份有限公司 | 三维实景点云模型的生成方法和装置 |
| CN111275099A (zh) * | 2020-01-17 | 2020-06-12 | 湖北工业大学 | 一种基于网格粒度计算的聚类方法及聚类系统 |
| CN111915723A (zh) * | 2020-08-14 | 2020-11-10 | 广东申义实业投资有限公司 | 一种用于室内的三维全景构建方法和系统 |
| CN112116830A (zh) * | 2020-09-02 | 2020-12-22 | 南京航空航天大学 | 一种基于空域网格化的无人机动态地理围栏规划方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Agueera-Vega et al. | Reconstruction of extreme topography from UAV structure from motion photogrammetry | |
| Agüera-Vega et al. | Assessment of photogrammetric mapping accuracy based on variation ground control points number using unmanned aerial vehicle | |
| KR102039021B1 (ko) | 공사현장의 3차원 지형공간정보 통합을 통한 월드맵 모델링 장치 및 그의 월드맵 모델링 방법 | |
| Castillo et al. | SF3M software: 3-D photo-reconstruction for non-expert users and its application to a gully network | |
| CN111667569B (zh) | 一种基于Rhino及Grasshopper的三维实景土方可视化精准测算方法 | |
| CN113723403A (zh) | 一种滑坡监测方法、装置、电子设备及存储介质 | |
| CN107796370B (zh) | 用于获取转换参数的方法、装置及移动测图系统 | |
| Skarlatos et al. | Vegetation removal from UAV derived DSMS, using combination of RGB and NIR imagery | |
| CN114549616A (zh) | 土方工程量的计算方法、装置及电子设备 | |
| CN111256730A (zh) | 一种用于低空倾斜摄影测量技术的土方平衡修正计算方法 | |
| CN117152371B (zh) | 一种三维地形测绘方法及系统 | |
| CN110889899A (zh) | 一种数字地表模型的生成方法及装置 | |
| CN113538668A (zh) | 地质模型构建方法、系统、存储介质以及电子设备 | |
| CN117109524A (zh) | 一种地质灾害无人机机载雷达监测方法、装置及电子设备 | |
| CN105005580A (zh) | 一种用于显示水库地形的方法及其装置 | |
| Torres et al. | A hybrid measurement approach for archaeological site modelling and monitoring: the case study of Mas D'is, Penàguila | |
| CN114549615A (zh) | 土方工程量的生成方法、装置及电子设备 | |
| CN114387488A (zh) | 基于potree点云影像融合的道路提取系统及方法 | |
| CN111783192B (zh) | 基于倾斜摄影实景模型的复杂地形场地平整土方计算方法 | |
| Urban et al. | A novel approach to estimate systematic and random error of terrain derived from UAVs: a case study from a post-mining site | |
| CN114299245A (zh) | 工程机械作业对象的测量方法、装置、电子设备及系统 | |
| Singh et al. | High-resolution mapping of forested hills using real-time uav terrain following | |
| KR100709142B1 (ko) | 이미지 기반의 공간 정보 구축 방법 및 시스템 | |
| Halim et al. | Assessment of Difference in Structure from Motion for Stockpile Volume Estimation using UAV Approach | |
| Yu et al. | Mid-and Short-Term Monitoring of Sea Cliff Erosion based on Structure-from-Motion (SfM) Photogrammetry: Application of Two Differing Camera Systems for 3D Point Cloud Construction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |