CN116901079A - 一种基于扫描仪视觉引导的机器人路径规划系统和方法 - Google Patents
一种基于扫描仪视觉引导的机器人路径规划系统和方法 Download PDFInfo
- Publication number
- CN116901079A CN116901079A CN202311047256.3A CN202311047256A CN116901079A CN 116901079 A CN116901079 A CN 116901079A CN 202311047256 A CN202311047256 A CN 202311047256A CN 116901079 A CN116901079 A CN 116901079A
- Authority
- CN
- China
- Prior art keywords
- scanning
- pose
- viewpoint
- robot
- scanner
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 230000000007 visual effect Effects 0.000 claims abstract description 40
- 238000005259 measurement Methods 0.000 claims description 27
- 238000004422 calculation algorithm Methods 0.000 claims description 16
- 238000004891 communication Methods 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 230000003993 interaction Effects 0.000 claims description 6
- 238000012163 sequencing technique Methods 0.000 claims description 6
- 238000012800 visualization Methods 0.000 claims description 2
- 239000013598 vector Substances 0.000 description 15
- 230000008569 process Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 9
- 238000013507 mapping Methods 0.000 description 7
- 238000007621 cluster analysis Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 230000007547 defect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000011426 transformation method Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007430 reference method Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Numerical Control (AREA)
Abstract
本发明公开了一种基于扫描仪视觉引导的机器人路径规划系统和方法,方法包括:三维扫描仪、路径规划模块、视觉引导模块和机器人;路径规划模块用于基于预设的扫描视点确定机器人的最优运动轨迹;视觉引导模块用于确定在所述最优运动轨迹中的目标扫描视点,实时可视化显示所述三维扫描仪的位姿与所述目标扫描视点之间的位姿偏差并引导所述三维扫描仪到达指定位姿;所述机器人具有多自由度,用于根据所述位姿偏差调整所述三维扫描仪的位姿直至与所述目标视点重合。本发明提高了机器人路径规划示教的效率,同时提升了所规划路径的质量,并且不依赖于机器人离线仿真软件,且不限定具体的机器人类型,成本低,通用性强。
Description
技术领域
本发明涉及扫描仪自动测量技术领域,具体涉及一种基于扫描仪视觉引导的机器人路径规划系统和方法。
背景技术
三维扫描仪自动化测量是由多自由度机器人(一般是6自由度)携带激光三维扫描仪,沿着规划的路径移动,从多个视点对物体进行扫描测量,从而获得完整的三维数据。在测量过程中,视点直接决定了三维扫描仪的测量位置和姿态,测量得到的三维数据在很大程度上会受到视点的影响。同时,由于机器人带动扫描仪沿路径移动,测量路径也就决定了测量任务的可行性和测量效率。许多物体结构复杂,由于视觉遮挡,所需要的测量视点非常多,测量路径也非常复杂,这会增加测量时间。现阶段都是依靠有经验的人工,根据自己的经验对机器人进行示教,完成测量视点的路径规划。这一过程非常耗时,由于人工在规划过程中,缺乏示教的参考方法和依据,仅仅凭借经验示教过程无法准确地选择最合适的点位,很难获得最优的测量视点和路径。实际情况往往是,人工规划完成一次后,试运行会发现扫描效果不佳,需反复修改调试点位,这会增加不必要的视点数量和测量时间,无法发挥出自动化测量设备的最大效能。大批量、高速在线测量是未来的数字工厂检测的方向,流水生产线对每一件产品的调试、检测时间有严格的要求,仅仅凭借人工经验进行示教效率低下,难以满足工厂制造的要求。
现有技术中通过研究自动测量视点与路径规划的方式以实现大批量自动化的目的,该类技术通过分析和量化工件参照模型、测量设备和测量任务需求三者间的相互关系制定约束条件,由约束条件自动筛选或创建出最优视点,并规划测量路径,期望通过完全自动的方式来实现路点规划。但是,目前这类方法大多停留于研究阶段,离实际应用尚有一定差距,同时自动规划技术需要考虑的因素和条件众多,研究难度大,其过程也离不开人工干预,对操作者的技能要求较高;且此类方法所生成的视点要求使用机械臂离线仿真软件配套完成,一套离线仿真软件成本十分高,从能效上来讲,此类方法并没有很好地适应当前三维测量行业实际情况。
发明内容
本发明的目的在于克服上述技术不足,针对现有三维扫描仪自动化测量的路径规划技术中过于依赖专业人员示教经验这一问题,提出一种基于扫描仪视觉引导的机器人路径规划系统和方法,以解决人工经验所导致的扫描质量不一致和示教过程效率低问题,本方法相较尚处于研究阶段的全自动路径规划方法,更适合当前工业实际应用需要,具有更好的实用性。
为达到上述技术目的,本发明采取了以下技术方案:
第一方面,本发明提供了一种基于扫描仪视觉引导的机器人路径规划系统,
包括:三维扫描仪、路径规划模块、视觉引导模块和机器人;
所述三维扫描仪固定连接于所述机器人的端部,用于创建待检测工件表面的三维数据;
所述路径规划模块分别与所述三维扫描仪通信连接,用于基于预设的扫描视点确定机器人的最优运动轨迹;
所述视觉引导模块,用于确定在所述最优运动轨迹中的目标扫描视点,实时可视化显示所述三维扫描仪的位姿与所述目标扫描视点之间的位姿偏差并引导所述三维扫描仪到达指定位置;
所述机器人具有多自由度,用于根据所述位姿偏差调整所述三维扫描仪的位姿直至与所述目标视点重合。
在一些实施例中,所述路径规划模块包括坐标系转换单元、扫描视点确定单元和最优路径规划单元;
所述坐标系转换单元用于以待检测工件为参考对象定义基准坐标系,将所述三维扫描仪的位姿转换至所述基准坐标系下,确定坐标统一信号;
所述扫描视点确定单元,用于基于所述基准坐标系,根据所述待检测工件的测量特征位置处的点位信息,确定多个扫描视点信号;
所述最优路径规划单元与所述扫描视点确定单元通信连接,用于接收所述扫描视点信号,并根据预设的路径规划算法,对所述多个扫描视点进行最优化排序,获得机器人最优路径顺序。
在一些实施例中,所述视觉引导模块包括导入单元、显示单元、位姿偏差生成单元、引导式交互模块和动态提示模块;
所述导入单元与所述显示单元通信连接,用于导入将所述待检测工件模型、所述多个扫描视点和所述基准坐标系;
所述显示单元用于根据导入的所述待检测工件模型、所述多个扫描视点和所述基准坐标系,实时可视化显示所述三维扫描仪与所述多个扫描视点中的目标扫描视点之间的位姿关系,并生成位姿关系指令;
所述移动路径生成单元与所述显示单元通信连接,用于接收所述位姿关系指令,并根据所述位姿关系指令,确定所述三维扫描仪相对于所述目标扫描视点的位姿偏差,以及当前所述目标扫描视点相对于所述最优运动轨迹中的下一个扫描视点的移动方向;
所述引导式交互模块,用于基于所述位姿偏差,提供所述三维扫描仪与所述目标视点之间偏差直观度量程度;
所述动态提示模块,用于根据所述三维扫描仪与所述目标视点之间的位姿关系给出相应提示。
第二方面,本发明还提供了一种基于扫描仪视觉引导的机器人路径规划方法,应用于上述任一项所述的基于扫描仪视觉引导的机器人路径规划系统,包括:
获取多个扫描视点;
采用预设的路径规划算法,对所述多个扫描视点进行最优化排序,获得机器人最优运动轨迹;
实时可视化显示所述最优运动轨迹和所述三维扫描仪的扫描位姿,并根据所述三维扫描仪的扫描位姿与所述最优运动轨迹中的目标扫描视点之间的位姿偏差,通过所述机器人调整所述三维扫描仪的位姿直至与所述目标扫描视点重合。
在一些实施例中,在获取扫描视点之前,包括采用预设的坐标转换法,以待检测工件坐标系为基准坐标系,将所述三维扫描仪的坐标转换至所述基准坐标系下,其包括:
标定多个工件上的特征;
分别获取扫描仪坐标系下所述特征的坐标以及工件坐标系下所述特征的关键点坐标;
基于扫描仪坐标系下所述特征的坐标以及工件坐标系下所述特征的关键点坐标,根据预设的坐标系转换关系,将所述三维扫描仪的坐标转换至所述基准坐标系下。
在一些实施例中,所述获取多个扫描视点,包括:
基于所述基准坐标系,根据待检测工件的测量特征位姿处的点位信息,确定多个扫描视点。
在一些实施例中,所述扫描视点包括所述待检测工件的位姿信息和角度信息。
在一些实施例中,所述通过所述机器人调整所述三维扫描仪的位姿直至与所述目标扫描视点重合包括:
获取到达当前扫描视点后的所述三维扫描仪的实时位姿信息;
获取所述实时位姿信息与所述当前扫描视点之间的位姿偏差;
若所述位姿偏差小于预设的偏差阈值,则确定所述当前扫描视点规划成功。
在一些实施例中,当所述位姿偏差小于预设的偏差阈值,当前扫描视点规划成功之后,还包括:
根据所述当前所述扫描视点相对于所述最优路径中下一个扫描视点的移动方向,进入下一个扫描视点的点位规划。
在一些实施例中,在进入下一个扫描视点的点位规划之前通过所述视觉引导模块给下一次规划提示。
与现有技术相比,本发明提供的基于扫描仪视觉引导的机器人路径规划系统和方法,首先根据待检测工件的特征信息预先确定好三维扫描仪的扫描视点,然后采用路径规划模块基于预设的扫描视点确定机器人的最优运动轨迹,并且利用视觉引导模块实时显示最优运动轨迹、三维扫描仪的位姿与目标扫描视点之间的位姿关系,并根据实时显示的位姿关系通过机器人调整三维扫描仪移动的位姿直至与目标扫描视点重合,进行扫描。本发明帮助人工规划最优路径提供视觉参考依据,快速完成示教过程,提高现场调试效率,同时提升所规划路径的质量,克服了依赖于具体机器人型号和离线仿真软件的问题。
附图说明
图1是本发明提供的基于扫描仪视觉引导的机器人路径规划系统的一实施例的结构示意图;
图2是本发明提供的基于扫描仪视觉引导的机器人路径规划系统中,路径规划模块一实施例的示意图;
图3是本发明提供的基于扫描仪视觉引导的机器人路径规划系统中,视觉引导模块的一实施例的示意图;
图4是本发明提供的基于扫描仪视觉引导的机器人路径规划系统中,视觉引导模块实时显示一实施例的示意图;
图5是本发明提供的基于扫描仪视觉引导的机器人路径规划方法一实施例的流程图;
图6是本发明提供的基于扫描仪视觉引导的机器人路径规划方法中,聚类分析一实施的示意图;
图7是本发明提供的基于扫描仪视觉引导的机器人路径规划方法中,步骤S503的一实施例的示意图;
图8是本发明提供的基于扫描仪视觉引导的机器人路径规划方法中,扫描仪视觉引导机器人路径规划的另一实施例的流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明实施例提供一种基于扫描仪视觉引导的机器人路径规划系统1,请参阅图1-图3,包括:三维扫描仪11、路径规划模块12、视觉引导模块13和机器人14;
所述三维扫描仪固定连接于所述机器人的末端,用于创建待检测工件表面的三维数据;
所述路径规划模块分别与所述三维扫描仪通信连接,用于基于预设的扫描视点确定机器人的最优运动轨迹;
所述视觉引导模块,用于确定在所述最优运动轨迹中的目标扫描视点,实时可视化显示所述三维扫描仪的位姿与所述目标扫描视点之间的位姿偏差并引导所述三维扫描仪到达指定位姿;
所述机器人具有多自由度,用于根据所述位姿偏差调整所述三维扫描仪的位姿直至与所述目标视点重合。
在本实施例中,首先根据待检测工件的特征信息预先确定好三维扫描仪的扫描视点,然后采用路径规划模块基于预设的扫描视点确定机器人的最优运动轨迹,并且利用视觉引导模块实时显示最优运动轨迹、三维扫描仪的位姿与目标扫描视点之间的位姿关系,并根据实时显示的位姿关系通过机器人调整三维扫描仪移动的位姿直至与目标扫描视点重合,进行扫描。本发明帮助人工规划最优路径提供视觉参考依据,快速完成示教过程,提高现场调试效率,同时提升所规划路径的质量,克服了依赖于具体机器人型号和离线仿真软件的问题,
需要说明的是,三维扫描仪可包括手持式激光扫描仪、跟踪式三维扫描仪、拍照式面阵扫描仪等类型的三维扫描仪(即具备双目立体视觉功能的扫描仪)。
需要说明的是,扫描视点是以预设的方法规划出来的且以离散的形式存在的。
进一步的,根据设定的扫描视点规划最优运动路径,包括以使扫描仪沿扫描视点所形成的路径行走路径尽量短。可以理解的是,选择不同的起点对应的最优运动路径不同。
在一些实施例中,请参阅图2,所述路径规划模块12包括坐标系转换单元121、扫描视点确定单元122和最优路径规划单元123;
所述坐标系转换单元用于以待检测工件为参考对象定义基准坐标系,将所述三维扫描仪的位姿转换至所述基准坐标系下,确定坐标统一信号;
所述扫描视点确定单元,用于接收所述坐标统一信号,并基于所述基准坐标系,根据所述待检测工件的测量特征位姿处的点位信息,确定多个扫描视点信号;
所述最优路径规划单元与所述扫描视点确定单元通信连接,用于接收所述扫描视点信号,并根据预设的路径规划算法,对所述多个扫描视点进行最优化排序,获得机器人最优路径顺序。
在本实施例中,在进行视觉引导之前,按照初步规划的路径进行扫描,即可得到待检测工件的初步模型,通过对初步模型进行分析和计算,获得初步模型存在的缺失,通过缺失反馈三维扫描仪的视点优化工作,以使三维扫描仪获得的待检测工件数据更加完整,即在初步规划的扫描路径基础上调整扫描视点和扫描路径,从而克服了仅依赖人工经验反复修改和调试路径的问题,提高了三维扫描仪的路径调试效率。
在一个具体的实施例中,首先采用预设的坐标转换法,以待检测工件坐标系为基准坐标系,将所述三维扫描仪的坐标转换至所述基准坐标系下;随后基于所述基准坐标系,根据待检测工件的测量特征位置处的点位信息,确定多个扫描视点;随后采用预设的路径规划算法,对所述多个扫描视点进行最优化排序,获得机器人最优运动路径;最后基于所述机器人最优运动路径,根据所述三维扫描仪的位姿与即将到达的所述扫描视点之间的位姿关系,操作所述三维扫描仪到达所述扫描视点。
需要说明的是,基于所述基准坐标系,对所述机器人和所述三维扫描仪进行手眼标定,得到所述机器人末端与所述三维扫描仪相对所述基准坐标系的坐标变换关系;获取所述三维扫描仪坐标系下,所述机器人的多组静态位姿;根据所述坐标变换关系以及所述三维扫描仪坐标系下的所述机器人的多组静态位姿,将所述机器人的多组静态位姿转换到所述基准坐标系下。进一步的,由于扫描仪是固定在机器人末端,因此手眼标定的过程可以是机器人末端与扫描仪之间的坐标变换关系的求解,具体的,将机器人与扫描仪的坐标均转换至待检测工件的坐标体系下,通过数据矩阵的形式进行表示。机器人末端与扫描仪之间的刚性变换矩阵,通过确定机器人末端与扫描仪之间的刚性变换矩阵,从而实现机器人末端与扫描仪之间的手眼标定,得到机器人末端与扫描仪之间的变换关系。从而当扫描仪按照扫描视点的最优路径行进时,机器人跟随运动。需要说明的是,本发明不限定具体的机器人,因此针对不同的机器人,其手眼标定的结果不一致。
在一些实施例中,请参阅图3,所述视觉引导模块13包括导入单元131、显示单元132、位姿偏差生成单元133、引导式交互模块134和动态提示模块135;
所述导入单元与所述显示单元通信连接,用于导入将所述待检测工件模型、所述多个扫描视点和所述基准坐标系;
所述显示单元用于根据导入的所述待检测工件模型、所述多个扫描视点和所述基准坐标系,实时可视化显示所述三维扫描仪与所述多个扫描视点中的目标扫描视点之间的位姿关系,并生成位姿关系指令;
所述位姿偏差生成单元与所述显示单元通信连接,用于接收所述位姿关系指令,并根据所述位姿关系指令,确定所述三维扫描仪相对于所述目标扫描视点的位姿偏差,以及当前所述目标扫描视点相对于所述最优运动轨迹中的下一个扫描视点的移动方向;
所述引导式交互模块,用于基于所述位姿偏差,提供所述三维扫描仪与所述目标视点之间偏差直观度量程度;
所述动态提示模块,用于根据所述三维扫描仪与所述目标视点之间的位姿关系给出相应提示。
在本实施例中,视觉引导模块通过实时显示最优运动路径,以及三维扫描仪当前的位姿及距离下一个目标扫描视点的距离、方向和移动的轨迹,从而操作者通过操纵机器人带动三维扫描仪按照视觉引导模块提供的路径和方向运动至目标扫描视点,通过视觉引导模块引导三维扫描仪的运动,避免了盲目的移动导致的扫描效率低的问题。
进一步的,请参阅图4,图4以可视化界面引导示意图,图中通过在可视化界面的边界处提供引导条多个维度的实时显示三维扫描仪与目标视点之间的位姿关系及位姿偏差,可更加直观的指导操作者调整三维扫描仪的位姿。
基于上述的基于扫描仪视觉引导的机器人路径规划系统,本发明还提供一种基于扫描仪视觉引导的机器人路径规划方法,请参阅图5,包括:
S501、获取多个扫描视点;
S502、采用预设的路径规划算法,对所述多个扫描视点进行最优化排序,获得机器人最优运动轨迹;
S503、实时可视化显示所述最优运动轨迹和所述三维扫描仪的扫描位姿,并根据所述三维扫描仪的扫描位姿与所述最优运动轨迹中的目标扫描视点之间的位姿偏差,通过所述机器人调整所述三维扫描仪的位姿直至与所述目标扫描视点重合。
在本实施例中,通过获取扫描视点,随后根据扫描视点确定最优运动路径,最后通过实时显示最优路径、三维扫描仪的运动方向和运动距离等条件,操作三维扫描仪到达目标地点。
进一步的,在本实施例中,通过将一系列的扫描视点按照最优路径的顺序进行视觉引导,在引导软件的可视化模块界面,按顺序显示出这些视点的角度信息、位置信息以及当前扫描视点相对于最优路径中下一个扫描视点的移动方向,通过计算扫描仪与当前扫描视点之间的位姿偏差,并将位姿偏差通过可视化的图形在可视化界面上显示出来,即可根据位姿偏差调整扫描仪的位姿,直至与当前的扫描视点重合。
具体的,通过在可视化界面上将位姿偏差通过以可视化图像的形式显示出来,在一个具体的实施例,通常通过可视化界面显示三维扫描仪与基准位姿的偏差,结合顶部、左侧和右侧的指示条,只有当扫描仪对应的激光与三处的指示条位姿对准后,才表示扫描仪到达了指定位姿。通过这种方式,使得扫描仪的行进有明确的目标性和方向性,能够更加便捷地指导扫描仪定位。
在步骤S502中,所述预设的路径规划算法包括枚举法、回溯法和贪心算法中的一种。
在本实施例中,综合考虑算法的思路与时间复杂度,采用贪心算法来求取面扫描机器人系统的最短扫描路径。贪心算法是以分治策略为基础,将一个大问题分成若干个小问题,最后合并这些小问题的解求得结果。贪心算法求解该问题时,选取一个扫描视点作为起始点,查找下一扫描视点时只考虑与当前扫描视点距离最近的扫描视点作为下一点,直到所有的扫描视点都走完。由于每次做出选择时经过的都是最短距离,所以当所有扫描视点都走完回到起始位置时,走过的路径便是扫描机器人的最短路径。
具体算法思路如下:首先选取机器人的起始位置,作为扫描路径的起始扫描视点。在扫描视点数组中查找距离起始点位置最近的扫描视点作为扫描路径的第二个点,并进行标记。再在视点数组中查找与第二点扫描视点距离最近的未标记点作为扫描路径的第三个点,以此类推,直到视点数组中的所有视点均被标记。此时,视点数组中的所有点均被重新排序,将机器人初始位置的点与重新排序的视点按顺序依次连接,即生成了面扫描测量机器人的最短扫描路径。
在一些实施例中,在获取扫描视点之前,包括采用预设的坐标转换法,以待检测工件坐标系为基准坐标系,将所述三维扫描仪的坐标转换至所述基准坐标系下,其包括:
标定多个工件上的特征;
分别获取扫描仪坐标系下所述特征的坐标以及工件坐标系下所述特征的关键点坐标;
基于扫描仪坐标系下所述特征的坐标以及工件坐标系下所述特征的关键点坐标,根据预设的坐标系转换关系,将所述三维扫描仪的坐标转换至所述基准坐标系下。
在本实施例中,首先通过在工件上任意位置指定至少4个特征,一方面三维扫描仪采集这些特征位置数据后并进行扫描特征提取,最后得到扫描仪坐标系下的特征关键点坐标;另一方面对至少4个特征进行数模特征提取,并根据工件CAD数模提取出这些特征在CAD数模中的关键点坐标;最后根据扫描仪坐标系下的特征关键点坐标和CAD数模中的关键点坐标的对应点,计算扫描仪坐标系到工件坐标系的转换关系。
在一些实施例中,所述获取多个扫描视点,包括:
基于所述基准坐标系,根据待检测工件的测量特征位置处的点位信息,确定多个扫描视点。
在本实施例中,首先采用预设的聚类分析算法对待检测工件的三角网格进行分割处理,获得多个三角网格子区域;随后基于多个三角网格子区域,采用预设的最小包围盒法确定待检测工件的多个扫描视点。
需要说明的是,三角网格是计算机图形学中用来描述各种不规则物体的一种数据结构,为了适应复杂曲面的待检测工件,本实施例首先对三角网络进行分割处理,获得多个三角网格子区域。
具体的,首先根据三角网格模型的特点,首先求取模型的高斯映射,映射的过程是这样的,将物体表面每一点的法向量的起点均平移至高斯球的球心,每个法向量都会与高斯球的球面有一个交点,这些所有交点的集合就是曲面的高斯映射。请参阅图6,图6为高斯映射原理图,点P为曲面S上一点,向量为点P的法向量,将法向量/>的起点平移至球心O处,则得到它与球面的交点K。依照如此方法,将曲面上所有的点的法向量移动到单位球的球心O处,得到法向量与球面交点的集合就是该曲面S的高斯映射。
随后基于高斯映射的结果,采用预设的聚类分析算法大致对三角网格进行分割,请参阅图7,图7为聚类分析示意图,点A,B为球面上两点,矢量OA与矢量OB之间的夹角为α,则点A点B对应的两三角面片之间法矢的夹角为α,α的大小又对应于点A,B间的距离,也就是弦AB。故两三角面片的法矢夹角越大时,弦AB也就越长,点A,点B之间的距离也就越大。所以,将法矢夹角相近的三角面片划分成一类实际上就是将球面上距离相近的映射点归为一类。按照三角面片法矢夹角进行聚类的问题也就被转化成了依照最短距离对数据点集进行聚类分析的过程。
最后根据聚类分析后获得的大致类别,根据在这一类中各三角面片是否相互连接的方式,将这个大类划分为几个不相连接的独立的区域;再将这些平均法矢夹角相近的并且相邻的区域进行合并,组成新的更大的区域;反复如此进行操作,直到所有独立的区域与它们相邻的区域都不能再次合并为止,确定多个三角网格子区域。
进一步的,首先根据扫描仪的参数特点,建立符合扫描仪特点的扫描视锥体,以使处于视锥体内的区域可视。然后遍历上述所得到的三角网格子区域,按空间顺序选取其中一块子区域,将其投影到与该区域平均法向所垂直的二维平面上,得到该空间区域的二维投影面。根据扫描仪的视锥尺寸约束,选用扫描仪最佳扫描距离与二维投影面进行贴合,对该二维投影面进行全覆盖细分,获得一系列二维扫描视点。对于这些二维扫描视点,根据所在投影面所映射的三角网格区域内三维点的坐标平均值作为该扫描视点的三维位置,根据所映射三维点的法向量平均值作为扫描视点的角度朝向,如此即可确定一块子区域的序列扫描视点。依次遍历剩余子区域,则可完成对所有区域的扫描视点解算。
在一些实施例中,所述扫描视点包括位置信息和角度信息。
在本实施例中,扫描视点P(x,y,z,a,b,c),其中abc为视点与三个方向的夹角,通过位置坐标信息和角度信息即可准确定位空间中的扫描视点。
在一些实施例中,所述通过所述机器人调整所述三维扫描仪的位姿直至与所述目标扫描视点重合包括:
获取到达当前扫描视点后的所述三维扫描仪的实时位姿信息;
获取所述实时位姿信息与所述当前扫描视点之间的位姿偏差;
若所述位姿偏差小于预设的偏差阈值,则确定所述当前扫描视点规划成功。
在本实施例中,为了提高路径规划的效率及容错率,设置偏差阈值以通过位姿偏差与偏差阈值之间的大小关系判断扫描仪是否到达指定位姿且是否符合定位标准。
在一些实施例中,若所述位姿偏差小于预设的偏差阈值,则说明当前扫描视点规划成功之后,包括:
根据所述当前所述扫描视点相对于所述最优路径中下一个扫描视点的移动方向,进入下一个扫描视点点位的规划。
在本实施例中,按照最优路径的顺序,引导扫描仪沿着扫描视点行进,直至扫描完成所有最优路径中的扫描视点。
进一步的,一次规划完成后,如果进行扫描测试,发现某些位姿需要修改调整,则可对扫描视点数据进行调整,调整完成后,再次进入到规划引导模块;如果是少数的调整,再次的引导可以选择对改动的点进行规划,或者规划过程中跳过已确认的点;也可根据需要在规划过程中自主插入机器人路点,或者根据数据采集效果,删除冗余点,以达到最佳的规划效果。本发明给出的实施例只是本发明所涵盖的某种情形,其方法本身可涵盖多种实施例,包括用户的自主修改、点位的调整等操作。
在一个具体的实施例,请参阅图8,首先通过特征标定法或标志点定位法对扫描仪与工件坐标系的位置关系进行标定,随后基于测量CAD导出法、面阵规划方法或交互编辑生成法中的一种确定工件坐标系下扫描仪的测量视点,并对多个测量视点进行最优路径排序,最后通过可视化显示或交互式视觉引导方式引导扫描仪到达指定位姿。
以上所述本发明的具体实施方式,并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形,均应包含在本发明权利要求的保护范围内。
Claims (10)
1.一种基于扫描仪视觉引导的机器人路径规划系统,其特征在于,包括:三维扫描仪、路径规划模块、视觉引导模块和机器人;
所述三维扫描仪固定连接于所述机器人的端部,用于创建待检测工件表面的三维数据;
所述路径规划模块分别与所述三维扫描仪通信连接,用于基于预设的扫描视点确定机器人的最优运动轨迹;
所述视觉引导模块,用于确定在所述最优运动轨迹中的目标扫描视点,实时可视化显示所述三维扫描仪的位姿与所述目标扫描视点之间的位姿偏差并引导所述三维扫描仪到达指定位置;
所述机器人具有多自由度,用于根据所述位姿偏差调整所述三维扫描仪的位姿直至与所述目标视点重合。
2.根据权利要求1所述的基于扫描仪视觉引导的机器人路径规划系统,其特征在于,所述路径规划模块包括坐标系转换单元、扫描视点确定单元和最优路径规划单元;
所述扫描视点确定单元,用于基于所述基准坐标系,根据所述待检测工件的测量特征位置处的点位信息,确定多个扫描视点信号;
所述扫描视点确定单元,用于接收所述坐标统一信号,并基于所述基准坐标系,根据所述待检测工件的测量特征位置处的点位信息,确定多个扫描视点信号;
所述最优路径规划单元与所述扫描视点确定单元通信连接,用于接收所述扫描视点信号,并根据预设的路径规划算法,对所述多个扫描视点进行最优化排序,获得机器人最优路径顺序。
3.根据权利要求2所述的基于扫描仪视觉引导的机器人路径规划系统,其特征在于,所述视觉引导模块包括导入单元、显示单元、位姿偏差生成单元、引导式交互模块和动态提示模块;
所述导入单元与所述显示单元通信连接,用于导入将所述待检测工件模型、所述多个扫描视点和所述基准坐标系;
所述显示单元用于根据导入的所述待检测工件模型、所述多个扫描视点和所述基准坐标系,实时可视化显示所述三维扫描仪与所述多个扫描视点中的目标扫描视点之间的位姿关系,并生成位姿关系指令;
所述位姿偏差生成单元与所述显示单元通信连接,用于接收所述位姿关系指令,并根据所述位姿关系指令,确定所述三维扫描仪相对于所述目标扫描视点的位姿偏差,以及当前所述目标扫描视点相对于所述最优运动轨迹中的下一个扫描视点的移动方向;
所述引导式交互单元,用于基于所述位姿偏差,提供所述三维扫描仪与所述目标视点之间偏差直观度量程度;
所述动态提示单元,用于根据所述三维扫描仪与所述目标视点之间的位姿关系给出相应提示。
4.一种基于扫描仪视觉引导的机器人路径规划方法,应用于如权利要求1-3任一项所述的基于扫描仪视觉引导的机器人路径规划系统,其特征在于,包括:
获取多个扫描视点;
采用预设的路径规划算法,对所述多个扫描视点进行最优化排序,获得机器人最优运动轨迹;
实时可视化显示所述最优运动轨迹和所述三维扫描仪的扫描位姿,并根据所述三维扫描仪的扫描位姿与所述最优运动轨迹中的目标扫描视点之间的位姿偏差,通过所述机器人调整所述三维扫描仪的位姿直至与所述目标扫描视点重合。
5.根据权利要求4所述的基于扫描仪视觉引导的机器人路径规划方法,其特征在于,在获取扫描视点之前,包括采用预设的坐标转换法,以待检测工件坐标系为基准坐标系,将所述三维扫描仪的坐标转换至所述基准坐标系下,其包括:
标定多个工件上的特征;
分别获取扫描仪坐标系下所述特征的坐标以及工件坐标系下所述特征的关键点坐标;
基于扫描仪坐标系下所述特征的坐标以及工件坐标系下所述特征的关键点坐标,根据预设的坐标系转换关系,将所述三维扫描仪的坐标转换至所述基准坐标系下。
6.根据权利要求5所述的基于扫描仪视觉引导的机器人路径规划方法,其特征在于,所述获取多个扫描视点,包括:
基于所述基准坐标系,根据待检测工件的测量特征位置处的点位信息,确定多个扫描视点。
7.根据权利要求6所述的基于扫描仪视觉引导的机器人路径规划方法,其特征在于,所述扫描视点包括所述待检测工件的位置信息和角度信息。
8.根据权利要求4所述的基于扫描仪视觉引导的机器人路径规划方法,其特征在于,所述通过所述机器人调整所述三维扫描仪的位姿直至与所述目标扫描视点重合包括:
获取到达当前扫描视点后的所述三维扫描仪的实时位姿信息;
获取所述实时位姿信息与所述当前扫描视点之间的位姿偏差;
若所述位姿偏差小于预设的偏差阈值,则确定所述当前扫描视点规划成功。
9.根据权利要求8所述的基于扫描仪视觉引导的机器人路径规划方法,其特征在于,当所述位姿偏差小于预设的偏差阈值,当前扫描视点规划成功之后,还包括:
根据所述当前所述扫描视点相对于所述最优路径中下一个扫描视点的移动方向,进入下一个扫描视点的点位规划。
10.根据权利要求8所述的基于扫描仪视觉引导的机器人路径规划方法,其特征在于,在进入下一个扫描视点的点位规划之前通过所述视觉引导模块给下一次规划提示。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311047256.3A CN116901079A (zh) | 2023-08-17 | 2023-08-17 | 一种基于扫描仪视觉引导的机器人路径规划系统和方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311047256.3A CN116901079A (zh) | 2023-08-17 | 2023-08-17 | 一种基于扫描仪视觉引导的机器人路径规划系统和方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116901079A true CN116901079A (zh) | 2023-10-20 |
Family
ID=88366827
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311047256.3A Pending CN116901079A (zh) | 2023-08-17 | 2023-08-17 | 一种基于扫描仪视觉引导的机器人路径规划系统和方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116901079A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118123860A (zh) * | 2024-04-17 | 2024-06-04 | 深圳职业技术大学 | 一种直升机中异形曲面配件的装配机器人及装配方法 |
-
2023
- 2023-08-17 CN CN202311047256.3A patent/CN116901079A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118123860A (zh) * | 2024-04-17 | 2024-06-04 | 深圳职业技术大学 | 一种直升机中异形曲面配件的装配机器人及装配方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112122840B (zh) | 一种基于机器人焊接的视觉定位焊接系统及焊接方法 | |
CN114474041B (zh) | 一种基于协作机器人的焊接自动化智能引导方法及系统 | |
US11648683B2 (en) | Autonomous welding robots | |
CN110176078B (zh) | 一种训练集数据的标注方法及装置 | |
CN114161048B (zh) | 一种基于3d视觉的铁塔塔脚参数化焊接方法及装置 | |
CN102378943A (zh) | 控制机器人工具的方法 | |
CN112620926B (zh) | 一种焊点追踪方法、装置及存储介质 | |
Fang et al. | Robot path and end-effector orientation planning using augmented reality | |
CN104384762A (zh) | 一种焊机移动控制系统以及控制方法 | |
CN116901079A (zh) | 一种基于扫描仪视觉引导的机器人路径规划系统和方法 | |
CN117381788A (zh) | 一种复合机器人高精度定位与智能作业引导方法 | |
KR20100117931A (ko) | 이동 로봇의 스위핑 작업 경로 생성 방법 | |
JP5291482B2 (ja) | ロボット教示プログラム修正装置 | |
CN116775797B (zh) | 一种基于多源大数据融合的城市空间全息地图的构建方法 | |
CN117436255A (zh) | 一种虚实融通的机器人焊接工艺评估方法及系统 | |
CN114888794B (zh) | 一种机器人人机交互运行路径标记方法及装置 | |
CN115284297B (zh) | 工件定位方法、机器人及机器人作业方法 | |
CN114683283B (zh) | 一种焊接机器人免示教焊接方法及装置 | |
US20230280761A1 (en) | Robot Stop Position Setting Device and Mobile Robot System | |
WO2023225754A1 (en) | System, apparatus and method for providing 3d surface measurements with precision indication capabilities and use thereof | |
WO2023038942A2 (en) | System and method for teaching a robot program | |
NL2016960B1 (en) | System and method for controlling a machine, in particular a robot | |
CN115284296A (zh) | 手眼标定方法、机器人及机器人作业方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |