CN117006972A - 物体检测方法、装置、设备、三维扫描系统及存储介质 - Google Patents
物体检测方法、装置、设备、三维扫描系统及存储介质 Download PDFInfo
- Publication number
- CN117006972A CN117006972A CN202310739691.6A CN202310739691A CN117006972A CN 117006972 A CN117006972 A CN 117006972A CN 202310739691 A CN202310739691 A CN 202310739691A CN 117006972 A CN117006972 A CN 117006972A
- Authority
- CN
- China
- Prior art keywords
- detected object
- trackers
- tracker
- scanning
- dimensional scanner
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 144
- 238000003860 storage Methods 0.000 title claims abstract description 17
- 238000000034 method Methods 0.000 claims abstract description 62
- 230000008569 process Effects 0.000 claims abstract description 30
- 238000004590 computer program Methods 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 10
- 238000004519 manufacturing process Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 4
- 239000003550 marker Substances 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本公开涉及一种物体检测方法、装置、设备及存储介质。包括：在控制三维扫描仪扫描被检测物体的过程中，获取三维扫描仪采集到的扫描数据以及获取每个跟踪仪记录的跟踪信息；根据扫描数据、至少两个跟踪仪分别记录的跟踪信息、每个跟踪仪对应的位置信息以及相对位置关系，确定被检测物体的检测结果。可见，此过程无需在被检测物体的表面粘贴标记点或者制作不同的贴点框架，只需要将预先确定的位置信息以及相对位置关系作为物体检测的辅助信息，并基于该辅助信息、跟踪信息以及扫描数据，直接确定被检测物体的检测结果。因此，降低了物体检测过程成本和操作难度，同时提高了物体检测的效率。
Description
技术领域
本公开涉及三维扫描技术领域，尤其涉及一种物体检测方法、装置、设备、三维扫描系统及存储介质。
背景技术
随着三维扫描技术的发展，三维扫描技术在零部件尺寸检测、位置测量、瑕疵检测、工业设计中被广泛应用，其主要是对被检测物体的外形进行扫描，以得到被检测物体的检测结果。
相关技术中，需要在被检测物体的表面粘贴标记点或者根据被检测物体制作不同的贴点框架，然后根据粘贴标记点的标志信息以及贴点框架上的标记点的标志信息，确定被检测物体的检测结果。然而，在被检测物体表面粘贴标记点或者制作不同的贴点框架的过程所耗费的成本较高、操作难度较大、检测效率较低，导致整个物体检测过程成本高且效率低。
发明内容
为了解决上述技术问题，本公开提供了一种物体检测方法、装置、设备及存储介质。
第一方面，本公开提供了一种物体检测方法，应用于三维扫描系统中的控制设备，所述三维扫描系统还包括至少两个跟踪仪和三维扫描仪，每个跟踪仪在跟踪式扫描场景中的位置信息预先确定，每两个跟踪仪之间的相对位置关系预先标定，所述方法包括：
在控制所述三维扫描仪扫描被检测物体的过程中，获取所述三维扫描仪采集到的扫描数据以及获取每个跟踪仪记录的跟踪信息；
根据所述扫描数据、所述至少两个跟踪仪分别记录的跟踪信息、每个跟踪仪对应的位置信息以及所述相对位置关系，确定所述被检测物体的检测结果。
第二方面，本公开提供了一种物体检测装置，配置于三维扫描系统中的控制设备，所述三维扫描系统还包括至少两个跟踪仪和三维扫描仪，每个跟踪仪在跟踪式扫描场景中的位置信息预先确定，每两个跟踪仪之间的相对位置关系预先标定，所述装置包括：
信息获取模块，用于在控制所述三维扫描仪扫描被检测物体的过程中，获取所述三维扫描仪采集到的扫描数据以及获取每个跟踪仪记录的跟踪信息；
物体检测模块，用于根据所述扫描数据、所述至少两个跟踪仪分别记录的跟踪信息以及所述相对位置关系，确定所述被检测物体的检测结果。
第三方面，本公开实施例还提供了一种控制设备，该设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现第一方面所提供的方法。
第四方面，本公开实施例还提供了一种三维扫描系统，包括：至少两个跟踪仪、三维扫描仪和控制设备；
所述三维扫描仪，用于在所述控制设备的控制下，在不同的扫描状态下采集被检测物体的扫描数据，并将所述扫描数据发送至所述控制设备；
所述跟踪仪，用于记录所述三维扫描仪在不同的扫描状态下的跟踪信息，并将所述跟踪信息发送至所述控制设备，其中，每个跟踪仪在跟踪式扫描场景中的位置信息预先确定，并且，每两个跟踪仪之间的相对位置关系预先标定；
所述控制设备，用于基于所述扫描数据、所述至少两个跟踪仪分别记录的跟踪信息以及所述相对位置关系，确定所述被检测物体的检测结果。
第五方面，本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现第一方面所提供的方法。
本公开实施例提供的技术方案与现有技术相比具有如下优点：
本公开实施例的一种物体检测方法、装置、设备及存储介质，应用于三维扫描系统中的控制设备，三维扫描系统还包括至少两个跟踪仪和三维扫描仪，每个跟踪仪在跟踪式扫描场景中的位置信息预先确定，每两个跟踪仪之间的相对位置关系预先标定，所述方法包括：在控制三维扫描仪扫描被检测物体的过程中，获取三维扫描仪采集到的扫描数据以及获取每个跟踪仪记录的跟踪信息；根据扫描数据、至少两个跟踪仪分别记录的跟踪信息、每个跟踪仪对应的位置信息以及相对位置关系，确定被检测物体的检测结果。可见，此过程无需在被检测物体的表面粘贴标记点或者根据被检测物体制作不同的贴点框架，只需要将对每个跟踪仪预先确定的位置信息以及每两个跟踪仪之间的相对位置关系作为物体检测的辅助信息，并基于该辅助信息、至少两个跟踪仪分别记录的跟踪信息以及三维扫描仪采集的扫描数据，直接确定被检测物体的检测结果。因此，降低了物体检测过程成本和操作难度，同时保证了对大型物体的检测效率，以适用于在大场景下进行物体检测。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本公开实施例提供的一种三维扫描系统的结构示意图；
图2为本公开实施例提供的一种物体检测方法的流程示意图；
图3为本公开实施例提供的一种多套跟踪仪联立标定的原理示意图；
图4为本公开实施例提供的另一种物体检测方法的流程示意图；
图5为本公开实施例提供的一种物体检测方法的逻辑示意图；
图6为本公开实施例提供的一种物体检测装置的结构示意图；
图7为本公开实施例提供的一种控制设备的结构示意图。
具体实施方式
为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。
相关技术中的物体检测方法主要包括以下几种：
方法1、基于单套拍照式或者手持激光扫描系统进行物体检测。具体的，首先，在被检测物体表面粘贴大量标记点，然后，利用摄影测量方式扫描被检测物体表面粘贴的标记点，并基于标记点的标志信息构建框架，最后，将构建好的框架导入扫描工程中，并围绕被检测物体表面移动单套拍照式或者手持激光扫描系统，对被检测物体进行扫描，得到被检测物体的检测结果。
采用方法1对被检测物体进行检测的缺点是：单套拍照式或者手持激光扫描系统的扫描范围较小，需要在被检测物体表面粘贴大量标记点，以及构建框架，操作准备工作所耗费的成本较高，后续的清理工作巨大，无法适应于对批量的被检测物体进行自动化检测。
方法2、基于单套跟踪扫描系统进行物体检测。具体的，考虑到单套跟踪扫描系统中的跟踪仪具有大视场、高精度的检测优势，可以轻松应对中小型被检测物体的三维扫描任务。当面对大型、超大型被检测物体的三维扫描需求，跟踪仪需要通过转站方式对被检测物体进行全方位跟踪，也就是说，在被检测物体表面或者扫描场景中布置转站点，并利用摄影测量方法扫描转站点的标志信息，基于转站点的标志信息构建框架，最终将框架导入扫描工程中，通过不断的移动跟踪仪，利用转站点对跟踪数据进行拼接，得到被检测物体的检测结果。
采用方法2对被检测物体进行检测的缺点是：面对大型、超大型被检测物体的三维扫描需求，如果扫描场景或者被检测物体表面不允许粘贴标记点时，此方案无法实现。假设扫描场景或者被检测物体表面允许粘贴标记点，基于转站点的标志信息构建框架的过程所需的成本较高，通用性不强，此外，转站点的标志信息需要提前通过摄影测量方法获取，增加了维护成本和不稳定因素。
方法3、基于多套跟踪扫描系统进行物体检测。具体的，面对大型、超大型被检测物体的三维扫描需求，可以在扫描场景中布置多个跟踪仪，并采用全局标定框架的方式进行多个跟踪数据的坐标统一。其中，全局标定框架的方式是根据测量需求在跟踪是视野内制作全局框架，并在全局框架上粘贴标记点，然后采用摄影测量方法拍摄全局标定框架上标记点的坐标值，并将全局框架导入到扫描工程中，实现对多个跟踪数据进行统一。
采用方法3对被检测物体进行检测的缺点是：全局框架的制作成本高，通用性较差。
综上，被检测物体表面粘贴标记点或者制作不同的贴点框架的过程所耗费的成本较高、操作难度较大、检测效率较低，导致整个物体检测过程成本高且效率低。
为了降低物体检测过程的成本以及提高物体检测效率，本公开实施例提供了一种物体检测系统。图1示出了本公开实施例提供的一种物体检测系统的架构示意图。如图1所示，物体检测系统，包括：
至少两个跟踪仪200、三维扫描仪400和控制设备100；
三维扫描仪400，用于在控制设备100的控制下，在不同的扫描状态下采集被检测物体(图中未示出)的扫描数据，并将扫描数据发送至控制设备100；
跟踪仪200，用于记录三维扫描仪400在不同的扫描状态下的跟踪信息，并将跟踪信息发送至控制设备100，其中，每个跟踪仪200在跟踪式扫描场景中的位置信息预先确定，并且，每两个跟踪仪之间的相对位置关系预先标定；
控制设备100，用于基于扫描数据、至少两个跟踪仪200分别记录的跟踪信息以及相对位置关系，确定被检测物体的检测结果。
上述过程无需在被检测物体的表面粘贴标记点或者根据被检测物体制作不同的贴点框架，只需要将对每个跟踪仪预先确定的位置信息以及每两个跟踪仪之间的相对位置关系作为物体检测的辅助信息，并基于该辅助信息、至少两个跟踪仪分别记录的跟踪信息以及三维扫描仪采集的扫描数据，直接确定被检测物体的检测结果。因此，降低了物体检测过程成本和操作难度，同时提高了物体检测的效率。
基于上述物体检测系统，本公开实施例提供了一种物体检测方法、装置、设备及存储介质。
下面结合图2至图5对本公开实施例提供的物体检测方法进行说明。在本公开实施例中，该物体检测方法可以由控制设备执行。其中，控制设备可以包括电脑、可编程控制逻辑控制器(Programmable Logic Controller，PLC)以及具有触摸输入功能的人机界面(Human Machine Interface，HMI)等具有通信功能的设备，也可以包括虚拟机或者模拟器模拟的设备。
图2示出了本公开实施例提供的一种物体检测方法的流程示意图。所述物体检测方法应用于三维扫描系统中的控制设备，三维扫描系统还包括至少两个跟踪仪和三维扫描仪，每个跟踪仪在跟踪式扫描场景中的位置信息预先确定，每两个跟踪仪之间的相对位置关系预先标定。
如图2所示，该物体检测方法可以包括如下步骤。
S210、在控制三维扫描仪扫描被检测物体的过程中，获取三维扫描仪采集到的扫描数据以及获取每个跟踪仪记录的跟踪信息。
在本实施例中，在使用三维扫描系统之前，标定每个跟踪仪中相机的参数(例如焦距、像素大小、内参、外参等参数)和相机的外参(例如相机的位置、旋转方向、世界坐标系中的参数等)，从而建立每个跟踪仪的坐标系以确定每个跟踪仪的位置信息，此外，还需要标定每两个跟踪仪之间的相对位置关系。其中，每个跟踪仪中相机的内参在出厂之前标定，每个跟踪仪中相机的外参以及每两个跟踪仪之间的相对位置关系在扫描现场进行标定。
具体的，当利用三维扫描系统进行物体检测时，根据每个跟踪仪的位置信息以及两个跟踪仪之间的相对位置关系，在跟踪式扫描场景中放置跟踪仪。待放置好跟踪仪之后，控制设备控制三维扫描仪对被检测物体进行扫描，则控制设备获取三维扫描仪采集到的扫描数据，与此同时，每个跟踪仪实时记录三维扫描仪的跟踪信息，则控制设备获取每个跟踪仪记录的跟踪信息。
其中，每个跟踪仪的位置信息可以是跟踪仪固定的测量位置。每两个跟踪仪之间的相对位置关系可以基于联立标定器上标志点进行标定。
其中，相对位置关系的确定方式包括：当联立标定器放置在每两个跟踪仪分别对应的视野范围内时，基于每个跟踪仪的位置信息、联立标定器上标志点被每两个跟踪仪观测后得到的位置观测值，确定相对位置关系。
其中，跟踪信息可以理解为每个跟踪仪对三维扫描仪在不同扫描状态下记录的位姿数据，具体根据被检测物体的几何信息进行模拟确定。
具体的，首先，基于被检测物体的几何信息(例如被检测的外形)模拟每个跟踪仪的摆放位置来放置每个跟踪仪，并确定每个跟踪仪的位置信息，并且联立标定器上的标志点需要处于每两个跟踪仪分别对应的视野范围内，即标志点需要被每两个跟踪仪看到。在这种状态下，每两个跟踪仪不仅能够覆盖到被检测物体的全部扫描区域，且每两个跟踪仪的扫描范围之间存在重叠扫描区域，则每两个跟踪仪采集联立标定器上标志点的位置观测值，并将位置观测值发送至控制设备。进一步的，控制设备基于每个跟踪仪的位置信息以及联立标定器上标志点被每两个跟踪仪观测后得到的位置观测值，计算每两个跟踪仪之间的旋转平移矩阵，并将所述旋转平移矩阵作为每两个跟踪仪之间的相对位置关系。
其中，位置观测值是指利用跟踪仪对标志点进行拍摄所得到的三维坐标数据。
为了便于理解跟踪仪的标定过程，图3示出了一种多套跟踪仪联立标定的原理示意图。参见图3，在跟踪式扫描场景中并排放置三套跟踪仪，联立标定器4处于每两个跟踪仪分别对应的视野范围内。首先，将联立标定器4在跟踪仪1和跟踪仪2之间变换多个位姿，跟踪仪1和跟踪仪2分别同时获取联立标定器4在各个位姿下图像数据，然后，再将联立标定器4在跟踪仪2和跟踪仪3之间变换多个位姿，跟踪仪2和跟踪仪3分别同时获取联立标定器4在各个位姿下图像数据，接着，基于跟踪仪2和跟踪仪3中相机的内参和外参、跟踪仪2和跟踪仪3分别获取的联立标定器4在各个位姿下图像数据，确定联立标定器4上标志点被跟踪仪2和跟踪仪3观测后得到的位置观测值，最后，基于每个跟踪仪的位置信息以及联立标定器上标志点被每两个跟踪仪观测后得到的位置观测值，计算每两个跟踪仪之间的旋转平移矩阵，并将所述旋转平移矩阵作为每两个跟踪仪之间的相对位置关系。
由此，基于每个跟踪仪的位置信息、联立标定器上标志点被每两个跟踪仪观测后得到的位置观测值，对每两个跟踪仪之间的相对位置关系进行统一标定。
S220、根据扫描数据、至少两个跟踪仪分别记录的跟踪信息、每个跟踪仪对应的位置信息以及相对位置关系，确定被检测物体的检测结果。
在本实施例中，将对每个跟踪仪预先标定的位置信息以及每两个跟踪仪之间的相对位置关系作为物体检测的辅助信息，并基于该辅助信息、至少两个跟踪仪分别记录的跟踪信息以及三维扫描仪采集的扫描数据，直接确定被检测物体的检测结果。
在本实施例中，可选的，S220具体包括：基于至少两个跟踪仪分别记录的跟踪信息、每个跟踪仪对应的位置信息以及相对位置关系，对扫描数据进行拼接，得到扫描数据的拼接结果；将扫描数据的拼接结果与被检测物体对应的标准模板进行对比，将对比结果作为被检测物体的检测结果。
具体的，基于至少两个跟踪仪分别记录的跟踪信息、每个跟踪仪对应的位置信息以及相对位置关系，确定被检测物体上各特征点的位置信息，然后基于各特征点的位置信息对扫描数据进行拼接，得到拼接结果，并将拼接结果作为被检测物体的当前检测结果。为了确定被检测物体是否符合预设的检测标准，还需要获取被检测物体对应的标准模板，并将拼接结果与标准模板进行比对，得到被检测物体的检测结果。
可以理解的是，如果拼接结果与标准模板一致或者差距处于一定的检测误差范围内，则确定被检测物体符合预设的检测标准。相反的，如果拼接结果与标准模板的差距未处于一定的检测误差范围内，则确定被检测物体不符合预设的检测标准。
其中，标准模板是指符合预设的检测标准的检测模板。可选的，标准模板基于被检测物体的多个数模参数生成。例如，被检测物体是车辆模型，数模参数包括但不限于车辆模型的车门长度和宽度、门缝间隙、车窗长度和宽度、整车的长度和宽度。
本公开实施例的一种物体检测方法，该方法应用于三维扫描系统中的控制设备，三维扫描系统还包括至少两个跟踪仪和三维扫描仪，每个跟踪仪在跟踪式扫描场景中的位置信息预先确定，每两个跟踪仪之间的相对位置关系预先标定，所述方法包括：在控制三维扫描仪扫描被检测物体的过程中，获取三维扫描仪采集到的扫描数据以及获取每个跟踪仪记录的跟踪信息；根据扫描数据、至少两个跟踪仪分别记录的跟踪信息、每个跟踪仪对应的位置信息以及相对位置关系，确定被检测物体的检测结果。可见，此过程无需在被检测物体的表面粘贴标记点或者根据被检测物体制作不同的贴点框架，只需要将对每个跟踪仪预先标定的位置信息以及每两个跟踪仪之间的相对位置关系作为物体检测的辅助信息，并基于该辅助信息、至少两个跟踪仪分别记录的跟踪信息以及三维扫描仪采集的扫描数据，直接确定被检测物体的检测结果。因此，降低了物体检测过程成本和操作难度，同时提高了物体检测的效率。
在本公开另一种实施方式中，在自动化扫描场景中，在获取扫描数据和跟踪数据之前，还需要确定对被检测物体进行扫描时的目标控制参数和目标规划路径，方便基于目标控制参数和目标规划路径控制三维扫描仪对被检测物体进行扫描。
图4示出了本公开实施例提供的另一种物体检测方法的流程示意图。所述物体检测方法应用于三维扫描系统中的控制设备，三维扫描系统还包括至少两个跟踪仪和三维扫描仪，每个跟踪仪在跟踪式扫描场景中的位置信息预先确定，每两个跟踪仪之间的相对位置关系预先标定。
如图4所示，该物体检测方法可以包括如下步骤。
S410、确定对被检测物体进行扫描时的目标控制参数。
其中，目标控制参数是指能够对扫描数据产生影响的参数。可选的，目标控制参数包括但不限于三维扫描仪上相机的曝光参数、自动化系统中机械臂的运动速度等参数。
在一些实施例中，S410具体包括如下步骤：获取被检测物体对应的检测需求信息；基于检测需求信息包含的检测特征以及检测特征对应的特征值，确定目标控制参数。
其中，检测需求信息包含用户所需的检测特征以及检测特征对应的特征值。检测特征可以包括用户想要着重检测的特征。
具体的，控制设备预先基于检测特征、特征值以及控制参数建立关系表，当确定检测特征及其特征值之后，从所述关系表查找当前所需的控制参数，作为目标控制参数。
在另一些实施例中，S410具体包括如下步骤：获取被检测物体对应的标准模板；从预设的控制参数库中获取生成标准模板时所应用的多个控制参数，作为目标控制参数。
其中，多个控制参数是指生成标准模板时所需的自动化参数。为了使得被检测物体与标准模板对应相同的控制参数，直接从预设的控制参数库中获取生成标准模板时所应用的多个控制参数，作为目标控制参数，以保证被检测物体的扫描效果。
由此，在自动化扫描场景中，能够基于检测需求信息确定目标控制参数，或者直接获取生成标准模板时所应用的多个控制参数，作为目标控制参数，从而自适应的确定目标控制参数。
S420、确定对被检测物体进行扫描时的目标规划路径。
在本实施例中，三维扫描系统还包括带动三维扫描仪运动的移动设备，则S420具体包括如下步骤：获取被检测物体的几何信息以及移动设备对应的路径点；基于被检测物体的几何信息以及移动设备对应的路径点，对三维扫描仪进行路径规划，生成目标规划路径。
其中，移动设备包括但不限于机械臂等设备。
其中，移动设备对应的路径点可以是机械臂带动三维扫描仪移动时，在导轨、转台、桁架、变位机等设备上确定的位置点，所述路径点可以是预先规划的固定位置点。
S430、基于目标控制参数和目标规划路径，控制三维扫描仪对被检测物体进行扫描。
可以理解的是，控制设备确定目标控制参数和目标规划路径之后，控制机械臂带动三维扫描仪移动，使得三维扫描仪在不同状态下对被检测物体进行扫描。
为了便于理解自动化扫描场景中的扫描过程，继续参见图1，三维扫描系统还包括机械臂(即移动设备)300、导轨500等。具体的，在控制设备100确定目标控制参数和目标规划路径之后，并基于每个跟踪仪200对应的位置信息以及相对位置关系，放置好两个跟踪仪200之后，控制设备100控制机械臂300带动三维扫描仪400在导轨500上按照目标规划路径运动，使得三维扫描仪400基于目标控制参数采集被检测物体(图中未示出)的扫描数据，与此同时，两个跟踪仪200记录三维扫描仪400在不同扫描姿态下的跟踪信息，则控制设备100获取三维扫描仪400采集的扫描数据以及两个跟踪仪200记录的跟踪信息。
由此，基于目标控制参数和目标规划路径，实现在自动化扫描场景下，对被检测物体进行自动化扫描的效果。
S440、根据扫描数据、至少两个跟踪仪分别记录的跟踪信息、每个跟踪仪对应的位置信息以及相对位置关系，确定被检测物体的检测结果。
其中，S440与S220相似，在此不做赘述。
在本公开又一种实施方式中，对物体检测过程的整个流程进行详细解释。
图5示出了本公开实施例提供的一种物体检测方法的逻辑示意图。
如图5所示，该物体检测方法可以包括五个阶段，具体如下：
阶段1、环境搭建。具体的，环境搭建包括如下步骤：
S11、根据被检测物体的几何信息模拟跟踪仪的放置位置，使得多个跟踪仪能够覆盖到被检测物体的全部扫描区域，同时，需要保证联立标定器上的标志点被每两个跟踪仪看到。
S12、确定被检测物体的自动化系统，具体是确定诸如机器人、导轨、转台、桁架、变位机等移动设备，以确定三维扫描仪的目标规划路径。
具体的，根据被检测物体的外形选择对应的自动化系统，比如机器人、导轨、桁架、转台、变位机等移动设备，确定三维扫描仪的目标规划路径，以模拟仿真扫描运动轨迹(即目标规划路径)，保证在每每点位对被检测物体进行三维扫描和测量，从而确定出精确、真实、可靠的物体检测结果。
S13、配置可编程逻辑控制器(Programmable Logic Controller，PLC)，通过人机界面(Human Machine Interface，HMI)控制相关命令，具体方便后续标定每个跟踪仪在跟踪式扫描场景中的位置信息，以及标定每两个跟踪仪之间的相对位置关系。
阶段2、系统标定。具体的，系统标定包括如下步骤：
S21、对每个跟踪仪上左右两个相机的内参以及左右两个相机之间的外参进行标定，建立每个跟踪仪的坐标系，该坐标系是以每套跟踪仪的左相机为坐标原点的坐标系。
S22、利用联立标定器对每两个跟踪仪进行联立标定，标定时需要保证联立标定器上标志点被每两个跟踪仪看到，以获取联立标定器上标志点被每两个跟踪仪观测后得到的位置观测值，然后，基于每个跟踪仪的位置信息、联立标定器上标志点被每两个跟踪仪观测后得到的位置观测值并结合跟踪仪中左右相机的内参和外参，确定每两个跟踪仪之间的相对位置关系。
阶段3、制作标准模板。具体的，制作标准模板包括如下步骤：
S31、将被检测物体的几何数据导入检测软件，根据被检测物体对应的多个数模参数，制作标准模板，然后对标准模板进行验证以及对通过验证的标准模板按照指定命名存储到指定位置。
阶段4、确定目标规划路径。具体的，目标规划路径的确定方法包括如下步骤：
S41、根据被检测物体的几何信息、移动设备(例如机械臂、导轨、转台、桁架、变位机)对应的路径点，对三维扫描仪进行路径规划，生成目标规划路径。
阶段5、确定目标控制参数。具体的，目标控制参数的确定方法包括如下步骤：
S51、根据被检测物体对应的检测需求信息或者标准模板，确定对被检测物体进行扫描时的目标控制参数。
具体的，通过HMI将系统所有配置参数化，将被测零部件的型号、编号等产品信息与扫描检测参数进行关联，针对不同工件类型可以通过配方进行管理，以得到目标控制参数。
阶段6、一键控制扫描被检测物体。具体的，一键控制扫描被检测物体的方法包括如下步骤：
S61、一键控制三维扫描仪扫描被检测物体，获取扫描数据同时获取至少两个跟踪仪中每个跟踪仪记录的跟踪信息，并基于扫描数据、至少两个跟踪仪分别记录的跟踪信息、每个跟踪仪对应的位置信息以及相对位置关系，确定被检测物体的检测结果。
本公开实施例还提供了一种用于实现上述的物体检测方法的物体检测装置，下面结合图6进行说明。在本公开实施例中，该物体检测装置可以为控制设备。其中，控制设备可以包括平板电脑、台式计算机、笔记本电脑等具有通信功能的设备，也可以包括虚拟机或者模拟器模拟的设备。
图6示出了本公开实施例提供的一种物体检测装置的结构示意图。该装置配置于三维扫描系统中的控制设备，所述三维扫描系统还包括至少两个跟踪仪和三维扫描仪，每个跟踪仪在跟踪式扫描场景中的位置信息预先确定，每两个跟踪仪之间的相对位置关系预先标定。
如图6所示，物体检测装置600可以包括：
信息获取模块610，用于在控制所述三维扫描仪扫描被检测物体的过程中，获取所述三维扫描仪采集到的扫描数据以及获取每个跟踪仪记录的跟踪信息；
物体检测模块620，用于根据所述扫描数据、所述至少两个跟踪仪分别记录的跟踪信息以及所述相对位置关系，确定所述被检测物体的检测结果。
本公开实施例的一种物体检测装置，配置于三维扫描系统中的控制设备，三维扫描系统还包括至少两个跟踪仪和三维扫描仪，每个跟踪仪在跟踪式扫描场景中的位置信息预先确定，每两个跟踪仪之间的相对位置关系预先标定，所述方法包括：在控制三维扫描仪扫描被检测物体的过程中，获取三维扫描仪采集到的扫描数据以及获取每个跟踪仪记录的跟踪信息；根据扫描数据、至少两个跟踪仪分别记录的跟踪信息、每个跟踪仪对应的位置信息以及相对位置关系，确定被检测物体的检测结果。可见，此过程无需在被检测物体的表面粘贴标记点或者根据被检测物体制作不同的贴点框架，只需要将对每个跟踪仪预先确定的位置信息以及每两个跟踪仪之间的相对位置关系作为物体检测的辅助信息，并基于该辅助信息、至少两个跟踪仪分别记录的跟踪信息以及三维扫描仪采集的扫描数据，直接确定被检测物体的检测结果。因此，降低了物体检测过程成本和操作难度，同时提高了物体检测的效率。
在本公开一些实施例中，物体检测模块620，包括：
拼接单元，用于基于所述至少两个跟踪仪分别记录的跟踪信息、所述每个跟踪仪对应的位置信息以及所述相对位置关系，对所述扫描数据进行拼接，得到所述扫描数据的拼接结果；
物体检测单元，用于将所述扫描数据的拼接结果与所述被检测物体对应的标准模板进行对比，将对比结果作为所述被检测物体的检测结果。
在本公开一些实施例中，该装置还包括：
联立标定模块，用于当所述联立标定器放置在每两个跟踪仪分别对应的视野范围内时，基于所述每个跟踪仪的位置信息、所述联立标定器上标志点被所述每两个跟踪仪观测后得到的位置观测值，确定所述相对位置关系。
在本公开一些实施例中，该装置还包括：
控制参数确定模块，用于确定对所述被检测物体进行扫描时的目标控制参数；
规划路径确定模块，用于确定对所述被检测物体进行扫描时的目标规划路径；
控制扫描模块，用于基于所述目标控制参数和所述目标规划路径，控制所述三维扫描仪对所述被检测物体进行扫描。
在本公开一些实施例中，控制参数确定模块，包括：
检测需求信息获取单元，用于获取所述被检测物体对应的检测需求信息；
第一确定单元，用于基于所述检测需求信息包含的检测特征以及所述检测特征对应的特征值，确定所述目标控制参数。
在本公开一些实施例中，控制参数确定模块，包括：
标准模板获取单元，用于获取所述被检测物体对应的标准模板；
第二确定单元，用于从预设的控制参数库中获取生成所述标准模板时所应用的多个控制参数，作为所述目标控制参数。
在本公开一些实施例中，所述三维扫描系统还包括带动所述三维扫描仪运动的移动设备；规划路径确定模块，包括：
第一获取单元，用于获取所述被检测物体的几何信息以及所述移动设备对应的路径点；
路径规划单元，用于基于所述被检测物体的几何信息以及所述移动设备对应的路径点，对所述三维扫描仪进行路径规划，生成所述目标规划路径。
需要说明的是，图7所示的物体检测装置700可以执行图1至图5所示的方法实施例中的各个步骤，并且实现图1至图5所示的方法实施例中的各个过程和效果，在此不做赘述。
图7示出了本公开实施例提供的一种控制设备的结构示意图。
如图7所示，该控制设备可以包括处理器701以及存储有计算机程序指令的存储器702。
具体地，上述处理器701可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
存储器702可以包括用于信息或指令的大容量存储器。举例来说而非限制，存储器702可以包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个及其以上这些的组合。在合适的情况下，存储器702可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器702可在综合网关设备的内部或外部。在特定实施例中，存储器702是非易失性固态存储器。在特定实施例中，存储器702包括只读存储器(Read-Only Memory，ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(Programmable ROM，PROM)、可擦除PROM(Electrical Programmable ROM，EPROM)、电可擦除PROM(Electrically ErasableProgrammable ROM，EEPROM)、电可改写ROM(Electrically Alterable ROM，EAROM)或闪存，或者两个或及其以上这些的组合。
处理器701通过读取并执行存储器702中存储的计算机程序指令，以执行本公开实施例所提供的物体检测方法的步骤。
在一个示例中，该控制设备还可包括收发器703和总线704。其中，如图7所示，处理器701、存储器702和收发器703通过总线704连接并完成相互间的通信。
总线704包括硬件、软件或两者。举例来说而非限制，总线可包括加速图形端口(Accelerated Graphics Port，AGP)或其他图形总线、增强工业标准架构(ExtendedIndustry Standard Architecture，EISA)总线、前端总线(Front Side BUS，FSB)、超传输(Hyper Transport，HT)互连、工业标准架构(Industrial Standard Architecture，ISA)总线、无限带宽互连、低引脚数(Low Pin Count，LPC)总线、存储器总线、微信道架构(MicroChannel Architecture，MCA)总线、外围控件互连(Peripheral Component Interconnect，PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(Serial Advanced TechnologyAttachment，SATA)总线、视频电子标准协会局部(Video Electronics StandardsAssociation Local Bus，VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线704可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
以下是本公开实施例提供的计算机可读存储介质的实施例，该计算机可读存储介质与上述各实施例的物体检测方法属于同一个发明构思，在计算机可读存储介质的实施例中未详尽描述的细节内容，可以参考上述物体检测方法的实施例。
本实施例提供一种包含计算机可执行指令的存储介质，计算机可执行指令在由计算机处理器执行时用于执行一种物体检测方法，应用于三维扫描系统中的控制设备，所述三维扫描系统还包括至少两个跟踪仪和三维扫描仪，每个跟踪仪在跟踪式扫描场景中的位置信息预先标定，每两个跟踪仪之间的相对位置关系预先标定，所述方法包括：
在控制所述三维扫描仪扫描被检测物体的过程中，获取所述三维扫描仪采集到的扫描数据以及获取每个跟踪仪记录的跟踪信息；
根据所述扫描数据、所述至少两个跟踪仪分别记录的跟踪信息、每个跟踪仪对应的位置信息以及所述相对位置关系，确定所述被检测物体的检测结果。
当然，本公开实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上的方法操作，还可以执行本公开任意实施例所提供的物体检测方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本公开可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机云平台(可以是个人计算机，服务器，或者网络云平台等)执行本公开各个实施例所提供的物体检测方法。
注意，上述仅为本公开的较佳实施例及所运用技术原理。本领域技术人员会理解，本公开不限于这里的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本公开的保护范围。因此，虽然通过以上实施例对本公开进行了较为详细的说明，但是本公开不仅仅限于以上实施例，在不脱离本公开构思的情况下，还可以包括更多其他等效实施例，而本公开的范围由所附的权利要求范围决定。
Claims (11)
1.一种物体检测方法，其特征在于，应用于三维扫描系统中的控制设备，所述三维扫描系统还包括至少两个跟踪仪和三维扫描仪，每个跟踪仪在跟踪式扫描场景中的位置信息预先确定，每两个跟踪仪之间的相对位置关系预先标定，所述方法包括：
在控制所述三维扫描仪扫描被检测物体的过程中，获取所述三维扫描仪采集到的扫描数据以及获取每个跟踪仪记录的跟踪信息；
根据所述扫描数据、所述至少两个跟踪仪分别记录的跟踪信息、每个跟踪仪对应的位置信息以及所述相对位置关系，确定所述被检测物体的检测结果。
2.根据权利要求1所述的方法，所述根据所述扫描数据、所述至少两个跟踪仪分别记录的跟踪信息、每个跟踪仪对应的位置信息以及所述相对位置关系，确定所述被检测物体的检测结果，包括：
基于所述至少两个跟踪仪分别记录的跟踪信息、所述每个跟踪仪对应的位置信息以及所述相对位置关系，对所述扫描数据进行拼接，得到所述扫描数据的拼接结果；
将所述扫描数据的拼接结果与所述被检测物体对应的标准模板进行对比，将对比结果作为所述被检测物体的检测结果。
3.根据权利要求1所述的方法，在所述获取所述三维扫描仪采集到的扫描数据以及获取每个跟踪仪记录的跟踪信息之前，所述方法还包括：
当联立标定器放置在每两个跟踪仪分别对应的视野范围内时，基于每个跟踪仪的位置信息、所述联立标定器上标志点被所述每两个跟踪仪观测后得到的位置观测值，确定所述相对位置关系。
4.根据权利要求1所述的方法，在所述获取所述三维扫描仪采集到的扫描数据以及获取每个跟踪仪记录的跟踪信息之前，所述方法还包括：
确定对所述被检测物体进行扫描时的目标控制参数；
确定对所述被检测物体进行扫描时的目标规划路径；
基于所述目标控制参数和所述目标规划路径，控制所述三维扫描仪对所述被检测物体进行扫描。
5.根据权利要求4所述的方法，所述确定对所述被检测物体进行扫描时的目标控制参数，包括：
获取所述被检测物体对应的检测需求信息；
基于所述检测需求信息包含的检测特征以及所述检测特征对应的特征值，确定所述目标控制参数。
6.根据权利要求4所述的方法，所述确定对所述被检测物体进行扫描时的目标控制参数，包括：
获取所述被检测物体对应的标准模板；
从预设的控制参数库中获取生成所述标准模板时所应用的多个控制参数，作为所述目标控制参数。
7.根据权利要求4所述的方法，所述三维扫描系统还包括带动所述三维扫描仪运动的移动设备；所述确定对所述被检测物体进行扫描时的目标规划路径，包括：
获取所述被检测物体的几何信息以及所述移动设备对应的路径点；
基于所述被检测物体的几何信息以及所述移动设备对应的路径点，对所述三维扫描仪进行路径规划，生成所述目标规划路径。
8.一种物体检测装置，其特征在于，配置于三维扫描系统中的控制设备，所述三维扫描系统还包括至少两个跟踪仪和三维扫描仪，每个跟踪仪在跟踪式扫描场景中的位置信息预先确定，每两个跟踪仪之间的相对位置关系预先标定，所述装置包括：
信息获取模块，用于在控制所述三维扫描仪扫描被检测物体的过程中，获取所述三维扫描仪采集到的扫描数据以及获取每个跟踪仪记录的跟踪信息；
物体检测模块，用于根据所述扫描数据、所述至少两个跟踪仪分别记录的跟踪信息以及所述相对位置关系，确定所述被检测物体的检测结果。
9.一种控制设备，其特征在于，包括：
处理器；
存储器，用于存储可执行指令；
其中，所述处理器用于从所述存储器中读取所述可执行指令，并执行所述可执行指令以实现上述权利要求1-7中任一项所述的方法。
10.一种三维扫描系统，其特征在于，包括：至少两个跟踪仪、三维扫描仪和控制设备；
所述三维扫描仪，用于在所述控制设备的控制下，在不同的扫描状态下采集被检测物体的扫描数据，并将所述扫描数据发送至所述控制设备；
所述跟踪仪，用于记录所述三维扫描仪在不同的扫描状态下的跟踪信息，并将所述跟踪信息发送至所述控制设备，其中，每个跟踪仪在跟踪式扫描场景中的位置信息预先确定，并且，每两个跟踪仪之间的相对位置关系预先标定；
所述控制设备，用于基于所述扫描数据、所述至少两个跟踪仪分别记录的跟踪信息以及所述相对位置关系，确定所述被检测物体的检测结果。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述存储介质存储有计算机程序，当所述计算机程序被处理器执行时，使得处理器实现上述权利要求1-7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310739691.6A CN117006972A (zh) | 2023-06-20 | 2023-06-20 | 物体检测方法、装置、设备、三维扫描系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310739691.6A CN117006972A (zh) | 2023-06-20 | 2023-06-20 | 物体检测方法、装置、设备、三维扫描系统及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117006972A true CN117006972A (zh) | 2023-11-07 |
Family
ID=88560894
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310739691.6A Pending CN117006972A (zh) | 2023-06-20 | 2023-06-20 | 物体检测方法、装置、设备、三维扫描系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117006972A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117953063A (zh) * | 2024-03-19 | 2024-04-30 | 先临三维科技股份有限公司 | 数据处理方法、扫描方法、装置、设备、存储介质及系统 |
-
2023
- 2023-06-20 CN CN202310739691.6A patent/CN117006972A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117953063A (zh) * | 2024-03-19 | 2024-04-30 | 先临三维科技股份有限公司 | 数据处理方法、扫描方法、装置、设备、存储介质及系统 |
| CN117953063B (zh) * | 2024-03-19 | 2024-06-25 | 先临三维科技股份有限公司 | 数据处理方法、扫描方法、装置、设备、存储介质及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109977813B (zh) | 一种基于深度学习框架的巡检机器人目标定位方法 | |
| US10401844B2 (en) | Simulator, simulation method, and simulation program | |
| JP4021413B2 (ja) | 計測装置 | |
| KR20180120647A (ko) | 가이드된 어셈블리 환경에서 머신비전 좌표공간과 함께 묶기 위한 시스템 및 방법 | |
| CN110176078B (zh) | 一种训练集数据的标注方法及装置 | |
| US20130278725A1 (en) | Integrated Structured Light 3D Scanner | |
| CN111923011B (zh) | 带电作业的执行方法、装置及带电作业系统 | |
| CN114434442B (zh) | 一种基于协作机器人的自动化检测方法及系统 | |
| CN110171000B (zh) | 坡口切割方法、装置及控制设备 | |
| GB2584608A (en) | Robot motion optimization system and method | |
| CN115972093B (zh) | 工件表面的测量方法及装置、机翼壁板软模的打磨方法 | |
| CN113634958A (zh) | 一种基于三维视觉的大型结构件自动化焊接系统及方法 | |
| CN112577447B (zh) | 一种三维全自动扫描系统及方法 | |
| CN106714465A (zh) | 一种基于视觉检测的pcb板自动拼接方法 | |
| CN113776520B (zh) | 地图构建、使用方法、装置、机器人和介质 | |
| CN109448062A (zh) | 一种相机标定方法、装置、终端设备及存储介质 | |
| CN117006972A (zh) | 物体检测方法、装置、设备、三维扫描系统及存储介质 | |
| CN113334380A (zh) | 基于双目视觉的机器人视觉标定方法、控制系统及装置 | |
| CN117381788A (zh) | 一种复合机器人高精度定位与智能作业引导方法 | |
| CN115760766A (zh) | 基于图像识别技术的缺陷识别数字化验收方法及系统 | |
| CN116563491A (zh) | 一种数字孪生场景建模及标定方法 | |
| CN111993420A (zh) | 一种固定式双目视觉3d引导上件系统 | |
| CN114074321A (zh) | 机器人标定方法及装置 | |
| CN112598645B (zh) | 轮廓检测方法、装置、设备及存储介质 | |
| CN112184819A (zh) | 机器人的引导方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |