CN112962709A - 工程机械设备及其作业轨迹规划方法和系统、存储介质 - Google Patents
工程机械设备及其作业轨迹规划方法和系统、存储介质 Download PDFInfo
- Publication number
- CN112962709A CN112962709A CN202110274800.2A CN202110274800A CN112962709A CN 112962709 A CN112962709 A CN 112962709A CN 202110274800 A CN202110274800 A CN 202110274800A CN 112962709 A CN112962709 A CN 112962709A
- Authority
- CN
- China
- Prior art keywords
- loading
- information
- mechanical structure
- equipment
- structure part
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 239000000463 material Substances 0.000 claims abstract description 299
- 238000013461 design Methods 0.000 claims abstract description 31
- 238000010276 construction Methods 0.000 claims description 44
- 230000007246 mechanism Effects 0.000 claims description 38
- 230000015654 memory Effects 0.000 claims description 23
- 238000006073 displacement reaction Methods 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 5
- 230000004044 response Effects 0.000 claims description 2
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 239000002689 soil Substances 0.000 description 4
- 230000003993 interaction Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000009412 basement excavation Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 239000004567 concrete Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000004575 stone Substances 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 239000004566 building material Substances 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
- E02F9/264—Sensors and their calibration for indicating the position of the work tool
- E02F9/265—Sensors and their calibration for indicating the position of the work tool with follow-up actions (e.g. control signals sent to actuate the work tool)
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/20—Drives; Control devices
- E02F9/2025—Particular purposes of control systems not otherwise provided for
- E02F9/2029—Controlling the position of implements in function of its load, e.g. modifying the attitude of implements in accordance to vehicle speed
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F3/00—Dredgers; Soil-shifting machines
- E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
- E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
- E02F3/36—Component parts
- E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
- E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
- E02F3/435—Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like
- E02F3/437—Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like providing automatic sequences of movements, e.g. linear excavation, keeping dipper angle constant
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/20—Drives; Control devices
- E02F9/2025—Particular purposes of control systems not otherwise provided for
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/20—Drives; Control devices
- E02F9/2025—Particular purposes of control systems not otherwise provided for
- E02F9/2033—Limiting the movement of frames or implements, e.g. to avoid collision between implements and the cabin
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/20—Drives; Control devices
- E02F9/2025—Particular purposes of control systems not otherwise provided for
- E02F9/2037—Coordinating the movements of the implement and of the frame
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/20—Drives; Control devices
- E02F9/2025—Particular purposes of control systems not otherwise provided for
- E02F9/2041—Automatic repositioning of implements, i.e. memorising determined positions of the implement
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/20—Drives; Control devices
- E02F9/2025—Particular purposes of control systems not otherwise provided for
- E02F9/2045—Guiding machines along a predetermined path
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/20—Drives; Control devices
- E02F9/2025—Particular purposes of control systems not otherwise provided for
- E02F9/205—Remotely operated machines, e.g. unmanned vehicles
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/20—Drives; Control devices
- E02F9/2058—Electric or electro-mechanical or mechanical control devices of vehicle sub-units
- E02F9/2079—Control of mechanical transmission
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/20—Drives; Control devices
- E02F9/22—Hydraulic or pneumatic drives
- E02F9/2264—Arrangements or adaptations of elements for hydraulic drives
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
- E02F9/261—Surveying the work-site to be treated
- E02F9/262—Surveying the work-site to be treated with follow-up actions to control the work tool, e.g. controller
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F3/00—Dredgers; Soil-shifting machines
- E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
- E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
- E02F3/30—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom
- E02F3/32—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom working downwardly and towards the machine, e.g. with backhoes
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F3/00—Dredgers; Soil-shifting machines
- E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
- E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
- E02F3/36—Component parts
- E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
- E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
- E02F3/435—Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like
- E02F3/439—Automatic repositioning of the implement, e.g. automatic dumping, auto-return
Landscapes
- Engineering & Computer Science (AREA)
- Mining & Mineral Resources (AREA)
- Civil Engineering (AREA)
- General Engineering & Computer Science (AREA)
- Structural Engineering (AREA)
- Mechanical Engineering (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Life Sciences & Earth Sciences (AREA)
- Paleontology (AREA)
- Operation Control Of Excavators (AREA)
Abstract
本申请公开了工程机械设备及其作业轨迹的规划方法和系统、存储介质，涉及人工智能、自动控制和工程机械技术领域。具体实现方案为：获取物料堆的三维传感数据，基于三维传感数据构建物料堆的三维模型；基于物料堆的三维模型、以及工程机械设备的结构设计信息，确定工程机械设备在物料堆上的装载作业位置；获取工程机械设备的机械结构部件的位置信息，基于机械结构部件的位置信息和装载作业位置进行作业轨迹规划，生成机械结构部件执行物料装载作业的作业轨迹。
Description
技术领域
本公开涉及计算机技术领域，具体涉及人工智能、自动控制和工程机械技术，尤其涉及工程机械设备及其作业轨迹规划方法和系统、存储介质。
背景技术
工程机械设备是应用在工程建设中的机械作业设备，其设计初衷是为了提高工程作业效率，节约人力成本。然而，目前的工程机械设备大多需要专业人员参与控制，例如挖掘机、起重机需驾驶员操控来执行任务。
工程机械设备的智能化，是通过算法对工程机械设备进行自动化操控，不仅可以节约人力成本，还能有效减少人员暴露在有害环境中的危险。装载物料是工程机械设备的常规工作类型之一，对于自动装载物料的规划算法，目前尚未有成熟的研究成果。
发明内容
本公开提供了工程机械设备及其作业轨迹规划方法和系统、存储介质。
根据本公开的一方面，提供了一种工程机械设备的作业轨迹规划方法，包括：获取物料堆的三维传感数据，基于三维传感数据构建物料堆的三维模型；基于物料堆的三维模型、以及工程机械设备的结构设计信息，确定工程机械设备在物料堆上的装载作业位置；获取工程机械设备的机械结构部件的位置信息，基于机械结构部件的位置信息和装载作业位置进行作业轨迹规划，生成机械结构部件执行物料装载作业的作业轨迹。
根据本公开的第二方面，提供了工程机械设备的作业轨迹规划系统，包括：至少一个处理器，以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器执行：获取物料堆的三维传感数据，基于三维传感数据构建物料堆的三维模型；基于物料堆的三维模型、以及工程机械设备的结构设计信息，确定工程机械设备在物料堆上的装载作业位置；获取工程机械设备的机械结构部件的位置信息，基于机械结构部件的位置信息和装载作业位置进行作业轨迹规划，生成机械结构部件执行物料装载作业的作业轨迹。
根据本公开的第三方面，提供了一种工程机械设备，包括：机械结构部件以及工程机械设备的作业轨迹规划系统；其中，工程机械设备的作业轨迹规划系统包括：至少一个处理器，以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器执行：获取物料堆的三维传感数据，基于三维传感数据构建物料堆的三维模型；基于物料堆的三维模型、以及工程机械设备的结构设计信息，确定工程机械设备在物料堆上的装载作业位置；获取工程机械设备的机械结构部件的位置信息，基于机械结构部件的位置信息和装载作业位置进行作业轨迹规划，生成机械结构部件执行物料装载作业的作业轨迹。
根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行：获取物料堆的三维传感数据，基于三维传感数据构建物料堆的三维模型；基于物料堆的三维模型、以及工程机械设备的结构设计信息，确定工程机械设备在物料堆上的装载作业位置；获取工程机械设备的机械结构部件的位置信息，基于机械结构部件的位置信息和装载作业位置进行作业轨迹规划，生成机械结构部件执行物料装载作业的作业轨迹。
根据本公开的第五方面，提供了一种计算机程序产品，该计算机程序产品包括计算机程序，所述计算机程序在被处理器执行时实现上述方法。
根据本申请的技术实现了自动规划工程机械设备的装载作业的作业轨迹。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是根据本申请的工程机械设备的作业轨迹规划方法的一个实施例的流程示意图；
图2是工程机械设备的运动学模型示意图；
图3是根据本申请的工程机械设备的作业轨迹规划方法的另一个实施例的流程示意图；
图4是根据本申请的工程机械设备的作业轨迹规划方法的一个实现流程的示意图；
图5是是根据本申请的工程机械设备的作业轨迹规划装置的一个实施例的框图；
图6是根据本申请的工程机械设备的作业轨迹规划系统的一个实施例的框图；
图7是根据本申请的工程机械设备的一个实施例的示意图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本申请提供的工程机械设备的工程机械设备的作业轨迹规划方法可以应用于工程机械设备上安装的数据处理模块，或者可以应用于远程服务端，由远程服务端通过与工程机械设备建立的通信连接与工程机械设备进行数据交互。
在这里，工程机械设备是工程实践中使用的重型或轻型机械设备，可以包括但不限于：凡土石方施工工程、路面建设与养护、流动式起重装卸作业和各种建筑工程中使用的机械设备，如挖掘机、推土机、起重机、压路机、打桩机、混凝土搅拌机，等等。
请参考图1，其示出了本申请的工程机械设备的作业轨迹规划方法的一个实施例的流程示意图。如图1所示，本实施例的工程机械设备的作业轨迹规划方法的流程100，包括以下步骤：
步骤101，获取物料堆的三维传感数据，基于三维传感数据构建物料堆的三维模型。
在本实施例中，工程机械设备的作业轨迹规划方法的执行主体可以通过各种方式获取物料堆的三维传感数据。三维传感数据是通过传感器对空间的三维信息进行采集获得的传感数据，可以包括以下至少一项：深度图像传感器采集的包含深度信息的图像数据、激光雷达采集的三维点云数据，等等。
上述执行主体可以通过与用于探测工作区域内的三维空间信息的三维信息传感器建立的连接来获得上述三维传感数据，或者通过向存上述用于探测工作区域内的三维空间信息的三维信息传感器的临时或永久的存储介质发出数据读取请求，来获得上述三维传感数据。
在这里，用于探测工作区域内的三维空间信息的三维信息传感器可以设置于工作区域内的固定位置，或者，可以设置于上述工程机械设备上。需要说明的是，单个传感器的探测区域有限，为了获取到能够覆盖整个工作区域的空间传感数据，可以在设置分布在不同位置的多个三维信息传感器。例如，可以在工程机械设备的四周分别设置一个深度相机，在工程机械设备的顶部或任意一个侧面设置一个激光雷达。
物料堆是挖掘机、推土机等工程机械设备的作业对象，例如土石方等建筑物料堆。通常物料堆呈不规则的形状，可以基于三维传感数据来构建物料堆的三维模型。
具体地，可以基于三维传感数据确定物料堆的边缘特征点的三维坐标，进而通过稠密的边缘特征点构建物料堆的立体表面。例如，可以基于深度图像数据，根据预先标定的相机参数，结合深度信息将图像中的物料堆的像素点的坐标转换至世界坐标系。或者，可以基于激光雷达扫描和测距获得的密集点云，通过三维建模生成物料堆的地形高度图，作为物料堆的三维模型。
步骤102，基于物料堆的三维模型、以及工程机械设备的结构设计信息，确定工程机械设备在物料堆上的装载作业位置。
工程机械设备的结构设计信息包括工程机械设备的机械结构部件的尺寸、相对位置、可活动范围(如最大倾角)等设计参数。通常，工程机械设备由多个机械结构部件组成。例如，挖掘机包括底盘(包括履带等)、可旋转车体、动臂(或称为大臂)、斗杆、铲斗等机械结构部件。
装载作业位置是指工程机械设备在单次物料堆装载作业中，在物料堆上的作业位置，例如挖掘机的挖掘位置。在本实施例中，上述执行主体可以首先基于物料堆的三维模型，例如物料堆的地形高度图，确定工程机械设备在物料堆上的装载作业位置的初步范围。例如，可以根据地形高度图，确定上由物料堆的顶端向下的预设高度范围为上述装载作业位置的初步范围。然后，可以根据工程机械设备的结构设计信息以及物料堆的形状，在上述装载作业的初步范围内选择工程机械设备的结构部件可到达且可以成功装载一定量的物料的位置，作为装载作业位置。
或者，在一些可选的实现方式中，可以基于工程机械设备的结构设计信息，以及物料堆的三维模型，采用动态规划的方法求解物料堆上的最优装载作业位置。
或者，可以采用机器学习方法模拟人类操控工程机械设备时对装载作业位置的选择。例如收集人类操控者在物料堆装载作业中的作业位置选择数据，并且关联物料堆的三维数据和工程机械设备的结构设计信息，来构建训练样本，利用训练样本对用于决策装载作业位置的机器学习模型进行训练。并使用训练完成的机器学习模型确定装载作业位置。
步骤103，获取工程机械设备的机械结构部件的位置信息，基于机械结构部件的位置信息和装载作业位置进行作业轨迹规划，生成机械结构部件执行物料装载作业的作业轨迹。
可以获取设置在工程机械设备的工作区域内的图像传感器采集的工程机械设备的图像数据，通过对图像数据进行解析，提取出各机械结构部件的图像区域，通过标定的相机参数，将图像中各机械结构部件的像素点坐标转换至三维世界坐标系，从而得到机械结构设备的三维位置坐标。
上述执行主体可以基于机械结构部件的位置信息以及步骤102得出的装载作业位置进行作业轨迹规划。在这里，作业轨迹是机械结构部件的运动轨迹，例如是机械结构部件由当前位置移动至某一指定位置以使工程机械设备到达上述装载作业位置的轨迹。更具体地，作业轨迹可以是机械结构部件的各关节点的运行轨迹，例如各可旋转连接点的运行轨迹。
以挖掘机为例，可以基于在物料堆上的挖掘位置、以及挖掘机的动臂的三维坐标，采用动态规划等规划算法规划出动臂的运行轨迹。动臂按照该运行轨迹运行至指定位置后，可以带动铲斗运行至挖掘位置。
需要说明的是，在规划装载作业的作业轨迹时，还可以考虑工程机械设备结构，以及工程机械设备的动力状态等因素，通过优化算法优化机械结构部件的作业轨迹。例如需要确保工程机械设备的各机械结构部件之间不会发生碰撞，需要考虑为工程机械设备的机械结构部件提供动力的柴油机的油压是否能够支持规划得到的作业轨迹，等等。
在本实施例中，还可以对工程机械设备的至少两个不同的机械结构部件执行物料装载作业的作业轨迹进行总体规划，在进行总体规划时可以考虑工程机械设备的作业效率、不同机械结构部件之间的连接和协同关系，等等，通过动态规划算法规划出单次物料装载作业中的不同机械结构部件的作业轨迹。
本实施例的工程机械设备的作业轨迹规划方法，通过获取物料堆的三维传感数据，基于三维传感数据构建物料堆的三维模型，基于物料堆的三维模型、以及工程机械设备的结构设计信息，确定工程机械设备在物料堆上的装载作业位置，获取工程机械设备的机械结构部件的位置信息，基于机械结构部件的位置信息和装载作业位置进行作业轨迹规划，生成机械结构部件执行物料装载作业的作业轨迹，实现了工程机械设备的装载作业的作业轨迹的自动规划。由于该方法可自动获取物料堆的三维数据并进行自主的作业轨迹规划，无需人类判断物料堆的作业位置和调整作业轨迹，有助于提升作业效率。
在一些实施例中，可以按照如下方式获取工程机械设备的机械结构部件的位置信息：获取设置于机械结构部件的倾角传感器感测到的机械结构部件的倾角；根据工程机械设备的运动学模型，以及机械结构部件的倾角，确定机械结构部件的位置信息。
具体地，通过安装在工程机械设备的机械结构部件上的角度传感器获得机械结构部件的倾角。以挖掘机为例，角度传感器可以安装在挖掘机的回转轴、动臂、斗杆以及铲斗的位置。根据工程机械设备的运动学模型，计算得出机械结构部件的三维位置坐标。在这里，机械结构部件的三维位置坐标可以由其起始端、末端、中心点、弯折点中的至少一项的三维位置坐标表示，或者，可以采用直线拟合等方式拟合出表征机械结构部件的直线方程，来表征机械结构部件的三维位置。
图2以挖掘机为例，示出了工程机械设备的运动学模型的示意图。如图2所示，在已知挖掘机的回转中心O到动臂与挖掘机的可旋转车体的连接点D的向量，动臂长度l1，斗杆长度l2，铲斗长度l3时，使用安装在可旋转车体、动臂、斗杆、铲斗上的倾角传感器测量可得挖掘机的旋转角度
动臂的倾角α、斗杆的倾角β以及铲斗的倾角γ，则动臂与挖掘机的可旋转车体的连接点D、动臂与斗杆的连接点C、斗杆与铲斗的连接点B、铲斗末端点A在图示坐标系(O为原点、x、y、z为坐标轴)下的三维坐标根据几何关系可唯一确定。
根据工程机械设备的运动学模型，可以快速且容易地通过角度传感器感测到机械结构部件的位置，以快速地辅助规划装载位置和装载作业的作业轨迹。
在一些实施例中，可以按照如下方式确定在物料堆上的装载作业位置：根据工程机械设备的结构设计信息，确定工程机械设备在单次装载作业中的最大物料装载量；基于物料堆的三维模型和工程机械设备在单次装载作业中的最大物料装载量，确定在物料堆上的装载作业位置，其中，工程机械设备在装载作业位置对物料堆执行单次装载作业时装载的物料总量不超过最大物料装载量。
具体地，工程机械设备的结构设计信息包括各机械结构部件的尺寸、旋转角、承重范围、动力设计等参数，可以根据这些设计信息计算单次装载作业中工程机械设备的最大物料装载量。在这里，最大物料装载量是可装载的物料的最大体积或最大重量。
可选地，工程机械设备的结构设计信息包括其中装载部件(例如挖掘机的铲斗)的尺寸参数，可以根据装载部件的尺寸参数计算其容积，并进一步根据装载部件的容积计算可装载的物料的最大体积，或者进一步获取物料堆的平均密度，进而计算出可装载的物料的最大重量。
在对装载作业位置进行规划时，可以将上述最大物料装载量作为约束条件，确定出单次装载作业中装载的物料总量不超过最大物料装载量的装载作业位置。例如可以根据物料堆的三维模型和工程机械设备的结构设计信息确定多个候选的作业位置，从中选择满足最大物料装载量约束条件的作业位置作为工程机械设备在物料堆上的装载作业位置。由此确定的装载作业位置考虑了工程机械设备的装载能力，可以提升工程机械设备在该装载作业位置执行装载作业的成功率。
进一步地，在确定装载作业位置时，还可以关注工程机械设备的作业效率。可以针对物料堆的整体形状和体积进行总体装载作业的规划，具体可以根据物料堆的三维模型、以及预设的作业效率约束条件规划每一次装载作业中装载的物料的总量。在这里。工程机械设备在装载作业位置对物料堆执行单次装载作业时的作业效率满足预设的作业效率约束条件。该预设的作业效率约束条件是对总体的作业时间、作业速度等的约束条件，例如在实践中，限定挖掘机需在指定的时间内完成一个物料堆的挖掘作业。可选地，还可以考虑物料堆的形状，利用模型预测装载作业时物料堆发生的形变，避免物料堆发生倒塌等不利于提升作业效率的情况。
在一些实施例中，工程机械设备的机械结构部件包括位移部件和装载部件。装载部件与位移部件连接，且装载部件随位移部件的位姿变化而移动。装载部件是用于装载物料、具有容纳物料的空间的部件。装载部件可相对于位移部件转动，例如为铲斗、铲刀等。位移部件用于控制装载部件的大范围移动，例如为动臂、吊臂等。
在进行作业轨迹规划时，可以生成由位移部件的位置信息所表征的位置将装载部件移动至装载作业位置的第一作业轨迹。也即，上述机械结构部件执行物料装载作业的作业轨迹可以包括由位移部件的第一作业轨迹。当位移部件沿该第一作业轨迹移动时，可以带动装载部件移动至上述装载作业位置。
具体地，可以获取位置部件的当前位置信息，以该当前位置信息所表征的位置为轨迹的起始点，以上述装载作业位置为终点，结合位移部件的结构设计信息，通过动态规划算法规划位移部件的第一作业轨迹。可选地，第一作业轨迹的规划还需要根据工程机械设备的其他机械结构部件的结构设计信息，避开其他机械结构部件，以避免各机械结构之间发生碰撞。
进一步地，还可以基于装载作业位置对装载部件的装载作业轨迹进行规划，生成装载部件执行物料装载作业的第二作业轨迹。装载部件随位移部件移动至装载作业位置之后，可以根据装载部件的姿态对装载部件的装载作业轨迹进行规划，装载作业轨迹可以是装载部件的中心点或末端在装载物料过程中的运行轨迹。当装载部件由上述装载作业位置按照该第二作业轨迹运行时，将物料装载至装载部件的装载空间内。
上述方法通过规划位移部件的第一作业轨迹和装载部件的第二作业轨迹，实现了工程机械设备中不同机械结构部件的作业轨迹的精细化规划，进而工程机械设备可以根据精细化的轨迹规划结果分别控制对应的机械结构部件，有助于实现更精准的控制。
进一步地，在规划机械结构部件执行物料装载作业的作业轨迹时，还可以获取物料堆的类别属性信息和密度信息。类别属性信息指示物料堆的类别，例如土方石、混凝土、泥土、建筑废料，等等。密度信息和类别属性信息被用于帮助上述执行主体规划装载部件的作业轨迹，具体可以基于装载作业位置、物料堆的类别属性信息和密度信息、以及装载部件执行装载作业的预设作用力范围，对装载部件的装载作业轨迹进行规划。
物料堆的类别属性信息和密度信息可以用于估算单位体积的物料的重量，还可以用于采用力学分析方法估算装载单位体积的物料所需要的作用力。装载部件执行装载作业的预设作用力范围是在确保安全的情况下，装载部件的动力机构(例如柴油液压系统)可提供的作用力的范围。上述执行主体可以对装载部件的运行轨迹进行调整以使装载部件的动力机构按照该轨迹向装载部件提供动力时，可以提供足以克服物料堆的重力和其他阻力的作用力，避免物料堆的阻力过大导致操作无效，以及避免动力机构的能源(如液压系统的燃料)的浪费。
在一些实施例中，上述工程机械设备的作业轨迹规划方法还可以包括：根据机械结构部件执行物料装载作业的作业轨迹，以及机械结构部件的动力机构的状态信息，向动力机构发送对应的动力控制信息。
机械结构部件的动力机构是为机械结构部件提供动力的部件，例如为液压系统，液压系统包括液压泵、控制阀、液压缸、液压马达、管路、油箱等。动力机构的状态信息是指影响动力机构输出的控制力大小的状态信息，例如液压系统的油压反馈状态，该油压反馈状态可以通过监测液压缸内的油压获得。可以根据上述机械结构部件执行物料装载作业的作业轨迹，确定机械结构部件的倾角的变化，然后结合动力机构的状态信息，生成动力控制信息。在这里，动力控制信息可以是控制动力机构提供按照对应的装载作业轨迹移动时所需作用力的控制信息，例如液压系统中控制阀的开口大小，对应开口大小的开口时间，等等。上述执行主体可以向动力机构发送动力控制信息，动力机构根据该动力控制信息调整状态，从而向对应的机械结构部件提供对应的作用力。
通过根据机械结构部件的动力机构的状态信息和确定出的装载作业的作业轨迹来控制动力机构的状态，使动力机构按照装载作业的作业轨迹向机械结构部件提供相应的作用力，实现了工程机械设备的动力机构的智能化控制，进一步实现了工程机械设备的运行轨迹控制。
继续参考图3，其示出了根据本申请的工程机械设备的作业轨迹规划方法的另一个实施例的流程示意图。如图3所示，本实施例的工程机械设备的作业轨迹规划方法的流程300，包括以下步骤：
步骤301，获取物料堆的三维传感数据，基于三维传感数据构建物料堆的三维模型。
步骤302，基于物料堆的三维模型、以及工程机械设备的结构设计信息，确定工程机械设备在物料堆上的装载作业位置。
步骤303，获取工程机械设备的机械结构部件的位置信息，基于机械结构部件的位置信息和装载作业位置进行作业轨迹规划，生成机械结构部件执行物料装载作业的作业轨迹。
本实施例的步骤301至步骤303与前述实施例的步骤101至步骤103一致，此处不再赘述。
步骤304，获取物料装载设备的位姿信息以及机械结构部件完成对物料堆的装载作业时的位置信息。
物料装载设备是独立于上述工程机械设备的、用于装载物料的设备，例如装载卡车。在本实施例中，可以根据物料装载设备上安装的位姿感测器件来获得物料装载设备的位姿信息，例如物料装载设备上安装的定位系统。或者，物料装载设备可以将自身的定位系统探测到的位置和姿态信息主动传输至用于规划工程机械设备的作业轨迹的方的执行主体。在这里，姿态信息可以包括朝向信息。
还可以通过安装在机械结构部件上的角度传感器获取机械结构部件完成对物料堆的装载作业时的倾角数据，进而根据工程机械设备的运动学模型计算得出机械结构部件的位置信息。
步骤305，根据物料装载设备的位姿信息确定工程机械设备的机械结构部件卸载物料的位置。
在完成物料装载作业后，可以根据物料装载设备的位姿信息确定物料装载设备的卸料位置，即确定工程机械设备的机械结构部件卸载物料的位置。其中，机械结构部件卸载物料的位置是物料装载设备的装载区域的位置，例如装载卡车的车厢位置。在本实施例中，可以根据物料装载设备的姿态信息(例如车厢的朝向)和位置信息，规划卸料位置。
可选地，可以采用机器学习算法，通过模仿人工操作时的卸料位置选择行为来规划工程机械设备的机械结构部件卸载物料的位置。具体可以收集卸料场景中人工操作时选择的卸料位置、物料装载设备相对于工程机械设备的位置和姿态数据，来训练用于规划卸料位置的机器学习模型。然后在卸料轨迹规划时利用训练完成的机器学习模型选择合适的卸料位置。
步骤306，根据机械结构部件完成对物料堆的装载作业时的位置信息和机械结构部件卸载物料的位置，规划机械结构部件执行物料卸载作业的作业轨迹。
可以将机械结构部件完成对物料堆的装载作业时的位置信息作为起始点的位置信息，将机械结构部件卸载物料的位置作为终点的位置信息，规划机械结构部件将物料由该起点运送至终点的运行轨迹，作为机械结构部件执行卸载作业的作业轨迹。
可以根据工程机械设备的工作区域的图像或点云信息进行障碍物检测，在规划上述作业轨迹时通过避障算法进行障碍物规避，生成机械结构部件执行卸载作业的作业轨迹，机械结构部件按照该作业轨迹运行至卸料位置后可以卸载所装载的物料，从而完成物料的移送作业。
本实施例的方法通过获取物料装载设备的位姿信息以及工程机械设备的机械结构部件在完成装载作业时的位置信息，能够进一步自动地规划物料卸载作业的作业轨迹，从而完成物料装载和卸载流程的完整轨迹的规划。
在一些实施例中，可以按照如下方式确定物料装载设备的位姿信息。获取工程机械设备的作业区域的空间传感数据，基于空间传感数据进行物体检测以确定物料装载设备的位姿信息。
空间传感器是对空间信息进行采集以生成图像、点云、三维模型等数据的传感器。可以通过空间传感器采集物料装载设备的图像数据和/或点云数据，并对图像数据和/或点云数据进行目标检测，检测出物料装载设备的位置，并转换至三维世界坐标系中，得到物料装载设备的三维位姿信息。或者，可以结合物料装载设备的深度图像数据和三维点云数据，采用深度学习检测等算法检测出物料装载设备的位置和姿态信息。这样，可以基于空间传感器采集的信息分别进行物料堆的三维模型构建和物料装载设备的位姿信息的提取，有效利用了获取的空间传感信息。
在一些实施例中，上述方法流程300还包括以下步骤：获取物料装载设备的装载状态信息。物料装载设备的装载状态信息可以包括物料装载设备的已装载物料量、已装载物料的位置，可以基于图像、点云等空间传感数据分析得出。这时，可以根据物料装载设备的位姿信息和装载状态信息确定工程机械设备的机械结构部件卸载物料的位置。
具体地，可以按照预设的规则，选择物料装载设备的装载空间内未装载物料的区域、或者已装载物料量较少的区域作为上述机械结构部件卸载物料的位置。在选择卸载物料的位置时，还需要估算工程机械设备装载的物料在该卸载物料的位置卸载至物料装载设备中时，物料是否会溢出物料装载设备的装载空间，在估算出物料可能溢出装载空间时，重新选择卸载物料的位置，以进一步提升装载作业的可靠性。
可选地，上述装载状态信息包括已装载物料在装载空间内的分布信息。可以通过对物料装载设备的装载空间采集的图像或点云等数据进行图像分析，提取出已装载物料在装载空间内的分布信息。然后，根据装载设备的位姿信息和已装载物料在装载空间内的分布信息，按照预设的卸料分布策略确定工程机械设备的机械结构部件卸载物料的位置。预设的卸料分布策略是控制卸料位置的分布或卸料后物料分布的策略，可以例如为平均卸料策略，或者预先根据物料装载设备不同区域的承重能力设置的卸料分布策略。可以根据当前已装载物料在装载空间内的分布信息，选择将工程机械设备当前装载的物料卸载后满足上述预设的卸料分布策略的卸料位置作为工程机械设备的机械结构构部件卸载物料的位置。
这样，可以按照预设的卸料分布策略合理地规划卸载物料的位置，避免物料装载设备的装载空间内物料装载不均匀、或物料装载设备的装载空间内某一区域的物料超过该区域的负荷能力，而其他区域未达到最大负荷，导致物料装载设备发生耗损的情况。
在一些实施例中，上述方法流程300还包括：根据机械结构部件执行物料卸载作业的作业轨迹，以及机械结构部件的动力机构的状态信息，向动力机构发送对应的动力控制信息。
如前述实施例中描述的，机械结构部件的动力机构是为机械结构部件提供动力的部件。在确定机械结构部件执行物料卸载作业的作业轨迹之后，可以确定该作业轨迹对应的机械结构部件的倾角的变化，然后结合动力结构的状态信息，生成相应的动力控制信息。在这里，动力控制信息可以是控制动力机构提供按照对应的卸载作业的作业轨迹移动时所需作用力的控制信息。上述执行主体可以向动力机构发送动力控制信息，动力机构根据该动力控制信息调整状态，从而向对应的机械结构部件提供对应的作用力。
通过根据机械结构部件的动力机构的状态信息和确定出的卸载作业的作业轨迹来控制动力机构的状态，使动力机构按照卸载作业的作业轨迹向机械结构部件提供相应的作用力，进一步完善了工程机械设备的动力机构在整个装载作业流程中的智能化控制。
在一些实施例中，当根据装载状态信息确定物料装载设备达到最大装载量，向机械结构部件的动力机构发送用于控制机械结构部件停止作业的控制信息。
在工程机械设备的作业过程中，上述方法流程300可以重复多次，由于工程机械设备每次装载作业后物料堆的形态会发生变化，因此每一次装载作业中可以重新感知物料堆的三维信息、重新构建物料堆的三维模型并确定装载作业的作业位置。每一次卸载作业中也可以重新感知物料装载设备的装载状态信息，并相应地重新选择卸载物料的位置。当根据物料装载设备的空间传感数据确定物料装载设备已达到最大装载量时，需要控制工程机械设备停止向物料装载设备卸载物料，即停止工程机械设备的当前作业任务。这时，可以向机械结构部件的动力机构发送用于控制工程机械设备的机械结构部件停止作业的控制信息，例如像液压系统中的控制阀发送关闭指令，以切断各机械结构部件的动力，控制各机械结构部件停止作业。由此可以在物料装载设备达到满载量时自动地停止装载作业和卸载作业。
请参考图4，其示出了根据本申请的工程机械设备的作业轨迹规划方法的实现流程的另一个示意图。在图4中以挖掘机执行挖掘任务、向装料卡车卸载物料为例。
如图4所示，首先在感知模块中，通过激光雷达获取物料堆的点云，基于点云进行三维建模得到物料堆的地形高度图；还可以利用视觉相机对装料卡车进行感测，获得彩色深度图，对彩色深度图执行物体检测得到装料卡车的位置和朝向。然后，规划模块中基于感知模块生成的物料堆的地形高度图进行挖掘点选择和挖掘轨迹生成，基于感知模块感测到的装料卡车的位置和朝向进行倒土位置选择和倒土轨迹生成。控制模块获取规划模块的规划结果，并获得动臂、铲斗等位置的角度传感器和设置于液压系统的压力传感器感知的传感数据，向挖掘机的液压系统发送相应的控制指令。其中规划模块在规划轨迹、挖掘点选择和倒土位置选择时也可以将角度传感器和压力传感器的传感数据作为辅助信息来进行动态规划。
请参考图5，作为对上述工程机械设备的作业轨迹规划方法的实现，本公开提供了一种工程机械设备的作业轨迹规划装置的一个实施例，该装置实施例与上述各方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图5所示，本实施例的工程机械设备的作业轨迹规划装置500包括：第一获取单元501、第一确定单元502和生成单元503。第一获取单元501被配置为获取物料堆的三维传感数据，基于三维传感数据构建物料堆的三维模型；第一确定单元502被配置为基于物料堆的三维模型、以及工程机械设备的结构设计信息，确定工程机械设备在物料堆上的装载作业位置；生成单元503被配置为获取工程机械设备的机械结构部件的位置信息，基于机械结构部件的位置信息和装载作业位置进行作业轨迹规划，生成机械结构部件执行物料装载作业的作业轨迹。
在一些实施例中，上述第一确定单元502被配置为按照如下方式确定在物料堆上的装载作业位置：根据工程机械设备的结构设计信息，确定工程机械设备在单次装载作业中的最大物料装载量；基于物料堆的三维模型和工程机械设备在单次装载作业中的最大物料装载量，确定在物料堆上的装载作业位置，其中，工程机械设备在装载作业位置对物料堆执行单次装载作业时装载的物料总量不超过最大物料装载量。
在一些实施例中，上述工程机械设备在装载作业位置对物料堆执行单次装载作业时的作业效率满足预设的作业效率约束条件。
在一些实施例中，上述机械结构部件包括位移部件和装载部件，装载部件与位移部件连接，且装载部件随位移部件的位姿变化而移动；上述生成单元503被配置为按照如下方式生成机械结构部件执行物料装载作业的作业轨迹：生成由位移部件的位置信息所表征的位置将装载部件移动至装载作业位置的第一作业轨迹。
在一些实施例中，上述生成单元503被配置为：基于装载作业位置对装载部件的装载作业轨迹进行规划，生成装载部件执行物料装载作业的第二作业轨迹。
在一些实施例中，上述生成单元503被配置为：获取物料堆的类别属性信息和密度信息；以及基于装载作业位置、物料堆的类别属性信息和密度信息、以及装载部件执行装载作业的预设作用力范围，对装载部件的装载作业轨迹进行规划。
在一些实施例中，上述装置还包括：第一发送单元，被配置为根据机械结构部件执行物料装载作业的作业轨迹，以及机械结构部件的动力机构的状态信息，向动力机构发送对应的动力控制信息。
在一些实施例中，上述装置还包括：定位单元，被配置为获取物料装载设备的位姿信息以及机械结构部件完成对物料堆的装载作业时的位置信息；第二确定单元，被配置为根据物料装载设备的位姿信息确定工程机械设备的机械结构部件卸载物料的位置；规划单元，被配置为根据机械结构部件完成对物料堆的装载作业时的位置信息和机械结构部件卸载物料的位置，规划机械结构部件执行物料卸载作业的作业轨迹。
在一些实施例中，上述装置还包括：第二获取单元，被配置为获取物料装载设备的装载状态信息；第二确定单元进一步被配置为：根据物料装载设备的位姿信息和装载状态信息确定工程机械设备的机械结构部件卸载物料的位置。
在一些实施例中，上述装载状态信息包括已装载物料在装载空间内的分布信息；上述第二确定单元进一步被配置为：根据装载设备的位姿信息和已装载物料在装载空间内的分布信息，按照预设的卸料分布策略确定工程机械设备的机械结构构部件卸载物料的位置。
在一些实施例中，上述定位单元被配置为按照如下方式获取物料装载设备的位姿信息：获取工程机械设备的作业区域的空间传感数据，基于空间传感数据进行物体检测以确定物料装载设备的位姿信息。
在一些实施例中，上述装置还包括：第二发送单元，被配置为根据机械结构部件执行物料卸载作业的作业轨迹，以及机械结构部件的动力机构的状态信息，向动力机构发送对应的动力控制信息。
在一些实施例中，上述装置还包括：控制单元，被配置为响应于根据装载状态信息确定物料装载设备达到最大装载量，向机械结构部件的动力机构发送用于控制机械结构部件停止作业的控制信息。
在一些实施例中，上述第一获取单元501被配置为按照如下方式获取工程机械设备的机械结构部件的位置信息：获取设置于机械结构部件的倾角传感器感测到的机械结构部件的倾角；根据工程机械设备的运动学模型，以及机械结构部件的倾角，确定机械结构部件的位置信息。
上述装置500与前述方法实施例中的步骤相对应。由此，上文针对工程机械设备的作业轨迹规划方法描述的操作、特征及所能达到的技术效果同样适用于装置500及其中包含的单元，在此不再赘述。
根据本申请的实施例，本申请还提供了工程机械设备的作业轨迹规划系统和一种可读存储介质。
如图6所示，是根据本申请实施例的工程机械设备的作业轨迹规划系统的框图。工程机械设备的作业轨迹规划系统旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图6所示，该工程机械设备的作业轨迹规划系统包括：一个或多个处理器601、存储器602，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图6中以一个处理器601为例。
存储器602即为本申请所提供的非瞬时计算机可读存储介质。其中，存储器存储有可由至少一个处理器执行的指令，以使至少一个处理器执行本申请所提供的工程机械设备的作业轨迹规划方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的工程机械设备的作业轨迹规划方法。
存储器602作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的工程机械设备的作业轨迹规划方法对应的程序指令/模块(例如，附图5所示的第一获取单元501、第一确定单元502和生成单元503)。处理器601通过运行存储在存储器602中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的工程机械设备的作业轨迹规划方法。
存储器602可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据工程机械设备的作业轨迹规划系统的使用所创建的数据等。此外，存储器602可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器602可选包括相对于处理器601远程设置的存储器，这些远程存储器可以通过网络连接至工程机械设备的作业轨迹规划系统。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
工程机械设备的作业轨迹规划系统还可以包括：输入装置603和输出装置604。处理器601、存储器602、输入装置603和输出装置604可以通过总线或者其他方式连接，图6中以通过总线605连接为例。
输入装置603可接收输入的数字或字符信息，以及产生与工程机械设备的作业轨迹规划系统的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置604可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
进一步地，上述工程机械设备的作业轨迹规划系统还可以包括空间数据传感器，空间数据传感器可以是上述输入装置603的一种，空间数据传感器采集工程机械设备的工作区域的空间传感数据，还可以将采集到的空间传感数据通过总线605传送至处理器601。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算、云服务、云数据库、云存储等基础云计算服务的云服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
此外，本申请的实施例还提供了一种工程机械设备，图7以挖掘机为例示出了工程机械设备的一个示例。该工程机械设备包括机械结构部件以及工程机械设备的作业轨迹规划系统。这里的工程机械设备的作业轨迹规划系统可以是上述结合图7说明的工程机械设备的作业轨迹规划系统。机械结构部件是组成工程机械设备的机械元部件，例如在挖掘机包括：可旋转车体、动臂、斗杆、铲斗、履带、等等。该工程机械设备的作业轨迹规划系统可以感知工程机械设备的工作环境并进行安全作业范围的控制。
根据本申请实施例的技术方案，通过对物料堆的三维建模，实现了装载作业轨迹的自动规划。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (19)
1.一种工程机械设备的作业轨迹规划方法，包括：
获取物料堆的三维传感数据，基于所述三维传感数据构建所述物料堆的三维模型；
基于所述物料堆的三维模型、以及工程机械设备的结构设计信息，确定所述工程机械设备在所述物料堆上的装载作业位置；
获取工程机械设备的机械结构部件的位置信息，基于所述机械结构部件的位置信息和所述装载作业位置进行作业轨迹规划，生成所述机械结构部件执行物料装载作业的作业轨迹。
2.根据权利要求1所述的方法，其中，所述基于所述物料堆的三维模型、以及所述工程机械设备的结构设计信息，确定所述工程机械设备在所述物料堆上的装载作业位置，包括：
根据所述工程机械设备的结构设计信息，确定所述工程机械设备在单次装载作业中的最大物料装载量；
基于所述物料堆的三维模型和所述工程机械设备在单次装载作业中的最大物料装载量，确定在所述物料堆上的装载作业位置，其中，所述工程机械设备在所述装载作业位置对物料堆执行单次装载作业时装载的物料总量不超过所述最大物料装载量。
3.根据权利要求2所述的方法，其中，所述工程机械设备在所述装载作业位置对物料堆执行单次装载作业时的作业效率满足预设的作业效率约束条件。
4.根据权利要求1所述的方法，其中，所述机械结构部件包括位移部件和装载部件，所述装载部件与所述位移部件连接，且所述装载部件随所述位移部件的位姿变化而移动；
所述基于所述机械结构部件的位置信息和所述装载作业位置进行作业轨迹规划，生成所述机械结构部件执行物料装载作业的作业轨迹，包括：
生成由所述位移部件的位置信息所表征的位置将所述装载部件移动至所述装载作业位置的第一作业轨迹。
5.根据权利要求4所述的方法，其中，所述基于所述机械结构部件的位置信息和所述装载作业位置进行作业轨迹规划，生成所述机械结构部件执行物料装载作业的作业轨迹，还包括：
基于所述装载作业位置对所述装载部件的装载作业轨迹进行规划，生成所述装载部件执行物料装载作业的第二作业轨迹。
6.根据权利要求5所述的方法，其中，所述基于所述机械结构部件的位置信息和所述装载作业位置进行作业轨迹规划，生成所述机械结构部件执行物料装载作业的作业轨迹，还包括：
获取所述物料堆的类别属性信息和密度信息；以及
所述基于所述装载作业位置对所述装载部件的装载作业轨迹进行规划，包括：
基于所述装载作业位置、所述物料堆的类别属性信息和密度信息、以及所述装载部件执行装载作业的预设作用力范围，对所述装载部件的装载作业轨迹进行规划。
7.根据权利要求1所述的方法，所述方法还包括：
根据所述机械结构部件执行物料装载作业的作业轨迹，以及所述机械结构部件的动力机构的状态信息，向所述动力机构发送对应的动力控制信息。
8.根据权利要求1所述的方法，其中，所述方法还包括：
获取物料装载设备的位姿信息以及所述机械结构部件完成对所述物料堆的装载作业时的位置信息；
根据所述物料装载设备的位姿信息确定所述工程机械设备的机械结构部件卸载物料的位置；
根据所述机械结构部件完成对所述物料堆的装载作业时的位置信息和所述机械结构部件卸载物料的位置，规划所述机械结构部件执行物料卸载作业的作业轨迹。
9.根据权利要求8所述的方法，其中，所述方法还包括：
获取所述物料装载设备的装载状态信息；
所述根据所述物料装载设备的位姿信息确定所述工程机械设备的机械结构部件卸载物料的位置，包括：
根据所述物料装载设备的位姿信息和装载状态信息确定所述工程机械设备的机械结构部件卸载物料的位置。
10.根据权利要求9所述的方法，其中，所述装载状态信息包括已装载物料在装载空间内的分布信息；
所述根据所述物料装载设备的位姿信息和装载状态信息确定所述工程机械设备的机械结构部件卸载物料的位置，包括：
根据所述装载设备的位姿信息和所述已装载物料在装载空间内的分布信息，按照预设的卸料分布策略确定所述工程机械设备的机械结构构部件卸载物料的位置。
11.根据权利要求9所述的方法，其中，所述方法还包括：
响应于根据所述装载状态信息确定所述物料装载设备达到最大装载量，向所述机械结构部件的动力机构发送用于控制所述机械结构部件停止作业的控制信息。
12.根据权利要求8所述的方法，其中，所述获取物料装载设备的位姿信息，包括：
获取所述工程机械设备的作业区域的空间传感数据，基于所述空间传感数据进行物体检测以确定所述物料装载设备的位姿信息。
13.根据权利要求8所述的方法，所述方法还包括：
根据所述机械结构部件执行物料卸载作业的作业轨迹，以及所述机械结构部件的动力机构的状态信息，向所述动力机构发送对应的动力控制信息。
14.根据权利要求1所述的方法，其中，所述获取工程机械设备的机械结构部件的位置信息，包括：
获取设置于所述机械结构部件的倾角传感器感测到的所述机械结构部件的倾角；
根据所述工程机械设备的运动学模型，以及所述机械结构部件的倾角，确定所述机械结构部件的位置信息。
15.一种工程机械设备的作业轨迹规划系统，包括：
至少一个处理器，以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行：
获取物料堆的三维传感数据，基于所述三维传感数据构建所述物料堆的三维模型；
基于所述物料堆的三维模型、以及工程机械设备的结构设计信息，确定所述工程机械设备在所述物料堆上的装载作业位置；
获取工程机械设备的机械结构部件的位置信息，基于所述机械结构部件的位置信息和所述装载作业位置进行作业轨迹规划，生成所述机械结构部件执行物料装载作业的作业轨迹。
16.根据权利要求15所述的系统，所述系统还包括：空间数据传感器，所述空间数据传感器采集所述工程机械设备的工作区域的空间传感数据。
17.一种工程机械设备，包括：机械结构部件以及工程机械设备的作业轨迹规划系统；
其中，所述工程机械设备的作业轨迹规划系统包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行：
获取物料堆的三维传感数据，基于所述三维传感数据构建所述物料堆的三维模型；
基于所述物料堆的三维模型、以及工程机械设备的结构设计信息，确定所述工程机械设备在所述物料堆上的装载作业位置；
获取工程机械设备的机械结构部件的位置信息，基于所述机械结构部件的位置信息和所述装载作业位置进行作业轨迹规划，生成所述机械结构部件执行物料装载作业的作业轨迹。
18.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行：
获取物料堆的三维传感数据，基于所述三维传感数据构建所述物料堆的三维模型；
基于所述物料堆的三维模型、以及工程机械设备的结构设计信息，确定所述工程机械设备在所述物料堆上的装载作业位置；
获取工程机械设备的机械结构部件的位置信息，基于所述机械结构部件的位置信息和所述装载作业位置进行作业轨迹规划，生成所述机械结构部件执行物料装载作业的作业轨迹。
19.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-14中任一项所述的方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/944,895 | 2020-07-31 | ||
| US16/944,895 US11624171B2 (en) | 2020-07-31 | 2020-07-31 | Engineering machinery equipment, and method, system, and storage medium for operation trajectory planning thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112962709A true CN112962709A (zh) | 2021-06-15 |
| CN112962709B CN112962709B (zh) | 2023-05-23 |
Family
ID=76278188
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110274800.2A Active CN112962709B (zh) | 2020-07-31 | 2021-03-15 | 工程机械设备及其作业轨迹规划方法和系统、存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US11624171B2 (zh) |
| CN (1) | CN112962709B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113463718A (zh) * | 2021-06-30 | 2021-10-01 | 广西柳工机械股份有限公司 | 装载机防撞控制系统与控制方法 |
| CN113684885A (zh) * | 2021-08-19 | 2021-11-23 | 上海三一重机股份有限公司 | 作业机械控制方法、装置及作业机械 |
| CN114319501A (zh) * | 2022-03-11 | 2022-04-12 | 徐州徐工挖掘机械有限公司 | 卸料方法、控制器、挖掘机、卸料系统和存储介质 |
| CN114837252A (zh) * | 2022-05-19 | 2022-08-02 | 瑞诺(济南)动力科技有限公司 | 一种船舱内的自动化清仓方法、设备及介质 |
| WO2023003965A3 (en) * | 2021-07-20 | 2023-04-20 | Clark Equipment Company | Systems and methods for control of excavators and other power machines |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11454713B2 (en) * | 2020-02-04 | 2022-09-27 | Caterpillar Inc. | Configuration of a LIDAR sensor scan area according to a cycle segment of an operation of a machine |
| CN114722586B (zh) * | 2022-03-22 | 2024-10-15 | 大连理工大学 | 一种基于堆料面预测模型的智能电铲最优自动挖掘作业方法 |
| CN115660377B (zh) * | 2022-11-29 | 2023-11-07 | 国网河南省电力公司商丘供电公司 | 一种基于北斗定位的变电站室外施工人员安全管控方法 |
| CN116224837B (zh) * | 2023-05-06 | 2023-07-28 | 湖南致同工程科技有限公司 | 可抗通信延迟的多无人压路车协同控制仿真系统及方法 |
| CN117291039B (zh) * | 2023-09-27 | 2024-06-18 | 深圳大学 | 一种三维土拱效应的立体活动门试验方法、装置及介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6363632B1 (en) * | 1998-10-09 | 2002-04-02 | Carnegie Mellon University | System for autonomous excavation and truck loading |
| CN1651666A (zh) * | 2005-03-28 | 2005-08-10 | 广西柳工机械股份有限公司 | 用于液压挖掘机工作装置的轨迹控制系统及方法 |
| CN107794967A (zh) * | 2016-09-07 | 2018-03-13 | 卡特彼勒公司 | 机器的控制系统 |
| CN109778939A (zh) * | 2019-03-04 | 2019-05-21 | 江苏徐工工程机械研究院有限公司 | 一种可自主规划轨迹的挖掘机臂智能控制系统及方法 |
| CN109814559A (zh) * | 2019-01-25 | 2019-05-28 | 北京百度网讯科技有限公司 | 用于控制挖掘机挖掘的方法和装置 |
| WO2019189260A1 (ja) * | 2018-03-27 | 2019-10-03 | 住友重機械工業株式会社 | ショベル |
| CN110318439A (zh) * | 2018-03-30 | 2019-10-11 | 迪尔公司 | 目标装载辅助系统 |
| CN110687872A (zh) * | 2018-07-06 | 2020-01-14 | 株式会社安川电机 | 控制系统、模型构建装置及数据生成方法 |
| JP2020020153A (ja) * | 2018-07-31 | 2020-02-06 | 株式会社小松製作所 | 作業機械 |
| CN111684136A (zh) * | 2018-03-30 | 2020-09-18 | 株式会社小松制作所 | 作业机械的控制装置及作业机械的控制方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5535176B2 (ja) * | 2011-11-04 | 2014-07-02 | 株式会社小松製作所 | 鉱山機械の動態管理システム |
| JP6567940B2 (ja) * | 2015-10-05 | 2019-08-28 | 株式会社小松製作所 | 施工管理システム |
| JP7330107B2 (ja) * | 2017-12-21 | 2023-08-21 | 住友建機株式会社 | ショベル及びショベルの管理システム |
| JP7365122B2 (ja) * | 2019-02-01 | 2023-10-19 | 株式会社小松製作所 | 画像処理システムおよび画像処理方法 |
| JP7290165B2 (ja) * | 2019-06-18 | 2023-06-13 | 日本電気株式会社 | 掘削システム、制御装置及び制御方法 |
| US11401684B2 (en) * | 2020-03-31 | 2022-08-02 | Caterpillar Inc. | Perception-based alignment system and method for a loading machine |
-
2020
- 2020-07-31 US US16/944,895 patent/US11624171B2/en active Active
-
2021
- 2021-03-15 CN CN202110274800.2A patent/CN112962709B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6363632B1 (en) * | 1998-10-09 | 2002-04-02 | Carnegie Mellon University | System for autonomous excavation and truck loading |
| CN1651666A (zh) * | 2005-03-28 | 2005-08-10 | 广西柳工机械股份有限公司 | 用于液压挖掘机工作装置的轨迹控制系统及方法 |
| CN107794967A (zh) * | 2016-09-07 | 2018-03-13 | 卡特彼勒公司 | 机器的控制系统 |
| WO2019189260A1 (ja) * | 2018-03-27 | 2019-10-03 | 住友重機械工業株式会社 | ショベル |
| CN110318439A (zh) * | 2018-03-30 | 2019-10-11 | 迪尔公司 | 目标装载辅助系统 |
| CN111684136A (zh) * | 2018-03-30 | 2020-09-18 | 株式会社小松制作所 | 作业机械的控制装置及作业机械的控制方法 |
| CN110687872A (zh) * | 2018-07-06 | 2020-01-14 | 株式会社安川电机 | 控制系统、模型构建装置及数据生成方法 |
| JP2020020153A (ja) * | 2018-07-31 | 2020-02-06 | 株式会社小松製作所 | 作業機械 |
| CN109814559A (zh) * | 2019-01-25 | 2019-05-28 | 北京百度网讯科技有限公司 | 用于控制挖掘机挖掘的方法和装置 |
| CN109778939A (zh) * | 2019-03-04 | 2019-05-21 | 江苏徐工工程机械研究院有限公司 | 一种可自主规划轨迹的挖掘机臂智能控制系统及方法 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113463718A (zh) * | 2021-06-30 | 2021-10-01 | 广西柳工机械股份有限公司 | 装载机防撞控制系统与控制方法 |
| WO2023003965A3 (en) * | 2021-07-20 | 2023-04-20 | Clark Equipment Company | Systems and methods for control of excavators and other power machines |
| CN113684885A (zh) * | 2021-08-19 | 2021-11-23 | 上海三一重机股份有限公司 | 作业机械控制方法、装置及作业机械 |
| CN113684885B (zh) * | 2021-08-19 | 2022-09-02 | 上海三一重机股份有限公司 | 作业机械控制方法、装置及作业机械 |
| CN114319501A (zh) * | 2022-03-11 | 2022-04-12 | 徐州徐工挖掘机械有限公司 | 卸料方法、控制器、挖掘机、卸料系统和存储介质 |
| CN114837252A (zh) * | 2022-05-19 | 2022-08-02 | 瑞诺(济南)动力科技有限公司 | 一种船舱内的自动化清仓方法、设备及介质 |
| CN114837252B (zh) * | 2022-05-19 | 2023-12-12 | 瑞诺(济南)动力科技有限公司 | 一种船舱内的自动化清仓方法、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| US11624171B2 (en) | 2023-04-11 |
| CN112962709B (zh) | 2023-05-23 |
| US20220034071A1 (en) | 2022-02-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112962709B (zh) | 工程机械设备及其作业轨迹规划方法和系统、存储介质 | |
| CN113107043B (zh) | 使用传感器融合控制机器的运动 | |
| US11378964B2 (en) | Systems and methods for autonomous movement of material | |
| US12134876B2 (en) | Autonomous operation by earth-moving vehicle based on triggering conditions | |
| JPWO2019182042A1 (ja) | ショベル、情報処理装置、情報処理方法、プログラム | |
| JP7143252B2 (ja) | 作業機械 | |
| JP7310408B2 (ja) | 建設機械の作業情報生成システム | |
| US20230053964A1 (en) | Hierarchical planning for autonomous machinery on various tasks | |
| Halbach et al. | Job planning and supervisory control for automated earthmoving using 3D graphical tools | |
| KR20210141950A (ko) | 쇼벨 | |
| JP2023174887A (ja) | 作業機械、情報処理装置 | |
| US20240093464A1 (en) | Autonomous Control Of Operations Of Earth-Moving Vehicles Using Trained Machine Learning Models | |
| WO2021106411A1 (ja) | 計測装置、操作支援システム、及び建設機械 | |
| CN116383641A (zh) | 土方机械工况识别方法、装置、存储介质及处理器 | |
| KR20210060866A (ko) | 건설기계의 제어 방법 및 시스템 | |
| KR102637524B1 (ko) | 작업 기계 | |
| US20240068202A1 (en) | Autonomous Control Of Operations Of Powered Earth-Moving Vehicles Using Data From On-Vehicle Perception Systems | |
| AU2022247649A1 (en) | Construction management system, data processing device, and construction management method | |
| CN112652012A (zh) | 挖掘机智能控制方法、装置、设备、存储介质和挖掘机 | |
| JP2022154722A (ja) | ショベル | |
| WO2024111596A1 (ja) | 作業機械、情報処理装置、プログラム | |
| CN113404101B (zh) | 一种推土机场景模型构建和更新方法和推土机 | |
| WO2024195409A1 (ja) | 作業機械 | |
| WO2024049813A1 (en) | Autonomous control of operations of powered earth-moving vehicles using data from on-vehicle perception systems | |
| CN116561237A (zh) | 土方机械作业土方量确定方法、装置、存储介质及处理器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |