CN114373131A - 机械手移动补偿方法、装置、计算机设备及存储介质 - Google Patents
机械手移动补偿方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN114373131A CN114373131A CN202210016229.9A CN202210016229A CN114373131A CN 114373131 A CN114373131 A CN 114373131A CN 202210016229 A CN202210016229 A CN 202210016229A CN 114373131 A CN114373131 A CN 114373131A
- Authority
- CN
- China
- Prior art keywords
- manipulator
- image
- sample
- mapping
- camera module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 82
- 238000003860 storage Methods 0.000 title claims abstract description 14
- 238000013507 mapping Methods 0.000 claims abstract description 143
- 238000012360 testing method Methods 0.000 claims description 56
- 239000011159 matrix material Substances 0.000 claims description 33
- 238000004590 computer program Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000013506 data mapping Methods 0.000 claims description 7
- 238000002788 crimping Methods 0.000 abstract description 18
- 230000000007 visual effect Effects 0.000 abstract description 4
- 230000008569 process Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 3
- 239000000969 carrier Substances 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 210000001503 joint Anatomy 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Mechanical Engineering (AREA)
- Robotics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Analysis (AREA)
- Pure & Applied Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Optimization (AREA)
- Computational Mathematics (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Automation & Control Theory (AREA)
- Manipulator (AREA)
Abstract
本公开涉及视觉对位技术领域,特别涉及一种机械手移动补偿方法、装置、计算机设备及存储介质,包括获取待测样品上的目标位置在第一摄像模块的图像坐标系中的第一图像数据以及目标位置在第二摄像模块的图像坐标系中的第二图像数据;根据预先确定的第一映射关系将第一图像数据映射至机械手坐标系中,获取第一映射数据;根据预先确定的第二映射关系将第二图像数据映射至机械手坐标系中,获取第二映射数据;根据第一映射数据和第二映射数据之间的相对偏移数据对机械手的移动坐标进行补偿。通过在同一个坐标系中确定待测样品与载具之间的相对偏差,来对机械手的移动坐标进行补偿,可以提高将待测样品压接到载具型腔内时的压接准确率。
Description
技术领域
本发明涉及视觉对位技术领域,特别是涉及一种机械手移动补偿方法、装置、计算机设备及存储介质。
背景技术
在大型自动化AR(Augmented Reality,增强现实技术)屏幕检测设备中,将屏幕(DUT,Device Under Test,被测器件)准确的压接到载具(carrier)里对后续检测屏幕的各项指标至关重要。屏幕在被压接到载具中之前,载具还需要被抓取到治具(tester)内,即存在两次抓取过程。然而抓取屏幕的机械手和抓取载具的机械手在抓取时本身就会有误差,且AR屏幕较小,微小的位置偏移就可能会将屏幕压坏。同时,载具的位置不固定,不能简单地通过机械手打固定点位来将屏幕压接到载具里。因此,如何解决屏幕被抓取到与治具型腔内的载具进行对接时压接不良的情况成为了一个亟待解决的问题。
发明内容
基于此,有必要针对屏幕被抓取到与治具型腔内的载具进行对接时压接不良的问题,提供一种机械手移动补偿方法、装置、计算机设备及存储介质。
一种机械手移动补偿方法,包括获取待测样品上的目标位置在第一摄像模块的图像坐标系中的第一图像数据;获取所述待测样品上的目标位置在第二摄像模块的图像坐标系中的第二图像数据;根据预先确定的第一映射关系将所述第一图像数据映射至机械手坐标系中,获取第一映射数据,所述第一映射关系为所述第一摄像模块的图像坐标系与机械手坐标系的映射关系;根据预先确定的第二映射关系将所述第二图像数据映射至所述机械手坐标系中,获取第二映射数据,所述第二映射关系为所述第二摄像模块的图像坐标系与所述机械手坐标系的映射关系;确定所述第一映射数据和所述第二映射数据之间的相对偏移数据,并根据所述相对偏移数据对机械手的移动坐标进行补偿。
在其中一个实施例中,所述第一映射关系和所述第二映射关系的确定过程包括获取所述待测样品被所述机械手抓取至不同摄像模块的图像采集区域中不同位置时的图像坐标点集,并获取将所述待测样品抓取至不同位置时所述机械手的机械手坐标点集;根据不同摄像模块的所述图像坐标点集和所述机械手坐标点集,获取不同摄像模块的图像坐标系与所述机械手坐标系之间的映射关系。
在其中一个实施例中,所述获取待测样品被机械手抓取至不同摄像模块的图像采集区域中不同位置时的图像坐标点集,并获取所述待测样品抓取至不同位置时所述机械手的机械手坐标点集包括控制所述机械手抓取所述待测样品移动至第一摄像模块的图像采集区域中的第一位置;获取所述待测样品上的测试位置在第一摄像模块中的第一图像坐标;控制所述机械手抓取所述待测样品移动至第二摄像模块的图像采集区域中的第二位置;获取所述待测样品上的测试位置在第二摄像模块中的第二图像坐标,并获取所述机械手抓取所述待测样品移动至第二位置时的机械手坐标;控制所述机械手重复多次抓取所述待测样品并移动至所述第一摄像模块的图像采集区域中的不同位置和所述第二摄像模块的图像采集区域中的不同位置,获取多组所述第一图像坐标、多组所述第二图像坐标和多组所述机械手坐标。
在其中一个实施例中,所述根据不同摄像模块的所述图像坐标点集和所述机械手坐标点集,获取不同摄像模块的图像坐标系与机械手坐标系之间的映射关系包括根据多组所述第一图像坐标和多组所述机械手坐标,获取所述第一摄像模块与所述机械手坐标系映射的第一单应矩阵;根据多组所述第二图像坐标和多组所述机械手坐标,获取所述第二摄像模块与所述机械手坐标系映射的第二单应矩阵。
在其中一个实施例中,在确定所述第一映射数据和所述第二映射数据之间的相对偏移数据,并根据所述相对偏移数据对机械手的移动坐标进行补偿后,所述方法还包括控制所述机械手根据补偿后的移动坐标将所述待测样品压接到载具中。
一种机械手移动补偿装置,包括机械手,用于抓取待测样品移动至不同位置;机械手控制模块,与所述机械手相连接,用于控制所述机械手移动;第一摄像模块,用于获取所述待测样品上的目标位置在所述第一摄像模块的图像坐标系中的第一图像数据;第二摄像模块,用于获取所述待测样品上的目标位置在所述第二摄像模块的图像坐标系中的第二图像数据;数据映射模块,分别与所述第一摄像模块和所述第二摄像模块相连接,用于根据预先确定的第一映射关系将所述第一图像数据映射至机械手坐标系中,获取第一映射数据,还用于根据预先确定的第二映射关系将所述第二图像数据映射至所述机械手坐标系中,获取第二映射数据;其中,所述第一映射关系为所述第一摄像模块的图像坐标系与机械手坐标系的映射关系,所述第二映射关系为所述第二摄像模块的图像坐标系与所述机械手坐标系的映射关系;移动补偿模块,分别与所述数据映射模块和所述机械手控制模块相连接,用于确定所述第一映射数据和所述第二映射数据之间的相对偏移数据,并根据所述相对偏移数据对所述机械手的移动坐标进行补偿。
在其中一个实施例中,所述机械手移动补偿装置还包括测试数据获取模块,用于获取所述待测样品被所述机械手抓取至不同摄像模块的图像采集区域中不同位置时的图像坐标点集,并获取将所述待测样品抓取至不同位置时所述机械手的机械手坐标点集;映射关系计算模块,用于根据不同摄像模块的所述图像坐标点集和所述机械手坐标点集,获取不同摄像模块的图像坐标系与所述机械手坐标系之间的映射关系。
在其中一个实施例中,所述机械手控制模块还用于控制所述机械手根据补偿后的移动坐标将所述待测样品压接到载具中。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述任意一项实施例所述的机械手移动补偿方法的步骤。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任意一项实施例所述的机械手移动补偿方法的步骤。
一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现上述任意一项实施例所述的机械手移动补偿方法的步骤。
上述机械手移动补偿方法,获取待测样品上目标位置分别在两个摄像模块的图像坐标系中的图像数据集,利用预先获取的两个摄像模块的图像坐标系分别与机械手坐标系对应的映射关系,来将待测样品上目标位置分别在两个摄像模块的图像坐标系中的坐标同时映射到机械手坐标中。在同一个坐标系中计算待测样品与载具之间的相对偏差,来对机械手的移动坐标进行补偿,可以提高待测样品被抓取到与治具型腔内的载具进行对接时的压接准确率,从而可以有效地解决压接问题,防止在压接过程中因存在位置偏差而对待测样品造成损坏、影响测试结果。
附图说明
为了更清楚地说明本说明书实施方式或现有技术中的技术方案,下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书中记载的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本公开其中一个实施例中机械手移动补偿方法的方法流程示意图;
图2为本公开其中一个实施例中确定第一映射关系和第二映射关系的方法流程示意图;
图3为本公开其中一个实施例中获取不同坐标系中坐标点集的方法流程示意图;
图4为本公开其中一个实施例中根据不同坐标系中的坐标点集获取不同坐标系之间的映射关系的方法流程示意图;
图5为本公开其中一个实施例中机械手移动补偿装置的结构示意图;
图6为本公开其中一个实施例中机械手移动补偿装置或系统的示意框图;
图7为本公开其中一个实施例中计算机设备的内部结构图。
具体实施方式
为了便于理解本发明,下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的优选实施方式。但是,本发明可以以许多不同的形式来实现,并不限于本文所描述的实施方式。相反的,提供这些实施方式的目的是为了对本发明的公开内容理解得更加透彻全面。
需要说明的是,当元件被称为“固定于”另一个元件,它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件,它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”、“上”、“下”、“前”、“后”、“周向”以及类似的表述是基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
在大型自动化AR屏幕检测设备中,将屏幕(DUT)准确的压接到载具(carrier)里对后续检测屏幕的各项指标至关重要。大型自动化AR屏幕检测设备的主要工作流程为:利用载具搬运机械手从装有载具的托盘中搬运载具到治具转盘中的治具中;屏幕搬运机械手从装有屏幕的托盘中搬运被测屏幕,将其压接到已搬运到治具中的载具中;配对组件将载具上用于固定被测屏幕的盖板盖上;治具测试AR屏幕的待测性能,若AR屏幕的性能全部满足测试要求,则屏幕-载具搬运机械手将治具中装有被测屏幕的载具一起搬运到合格载具托盘中;若AR屏幕的性能中存在不满足测试要求的情况,则将屏幕-载具搬运机械手治具中的装有被测屏幕的载具一起搬运到不合格传送带中。
上述为该套设备的工作流程,用于与被测屏幕进行压接的载具是从装有载具的托盘中一次一次抓取放入治具中的,即载具的位置是不固定的,不能通过打固定点位的方式来完成屏幕与载具的压接过程,而且被测屏幕也是从装有屏幕的托盘中一次一次抓取放入载具中的,屏幕抓取机械手在抓取被测屏幕时和载具抓取机械手在抓取载具时,都或多或少地会存在一定的位置偏差。然而,对于需要高精度压接的被测屏幕,在屏幕被压接到载具的过程中存在一丁点的误差例如0.01mm,屏幕就可能会被压伤。
本公开提供的机械手移动补偿方法通过视觉方式计算屏幕和载具之间的相对偏移,并通过矫正机械手的移动坐标来对屏幕和载具之间的相对偏移进行补偿,来减少出现因在屏幕被压接到载具的过程中存在的位置偏差而将屏幕压伤的情况。
图1为本公开其中一个实施例中机械手移动补偿方法的方法流程示意图,在其中一个实施例中,机械手移动补偿方法可以包括如下步骤S100至S500。
步骤S100:获取待测样品上的目标位置在第一摄像模块的图像坐标系中的第一图像数据。
利用机械手抓取待测样品并将待测样品移动至第一摄像模块的图像采集区域中,第一摄像模块可以对待测样品进行拍摄,获取待测样品的图像或视频信息。其中,待测样品可以为待测屏幕,机械手可以为用于抓取待测屏幕并将待测屏幕移动至载具型腔中进行压接的DUT抓取机械手,DUT抓取机械手从装有待测屏幕的托盘中抓取待测屏幕。第一摄像模块可以为用于对机械手抓取待测屏幕的抓取情况进行实时监控的DUT摄像模块,第一摄像模块的图像采集区域可以涵盖装有待测屏幕的托盘的所在区域。
通过对第一摄像模块采集到的待测样品的图像或视频信息进行图像识别,可以识别出待测样品上的目标位置。在本公开的一些实施例中,目标位置可以包括待测样品上两个不同的位置,目标位置可以为标记图形、屏幕结构、屏幕上比较明显的特征等便于图像识别的位置,例如屏幕的左右两个角点。在识别出待测样品上的目标位置后,即可获取目标位置在第一摄像模块的图像坐标系中的坐标点。第一图像数据可以包括目标位置在第一摄像模块的图像坐标系中的坐标点。例如,当目标位置为屏幕的左右两个角点时,第一摄像模块获取包括了两个角点的图像或视频信息并进行识别。在识别出屏幕的左右两个角点后,获取屏幕左右两个角点在第一摄像模块坐标系中的图像坐标点p1(x,y)、p2(x,y)。
步骤S200:获取待测样品上的目标位置在第二摄像模块的图像坐标系中的第二图像数据。
在完成步骤S100后,可以令机械手将抓取的待测样品移动至第二摄像模块的图像采集区域中,第二摄像模块再次对待测样品进行拍摄,获取待测样品的图像或视频信息。其中,待测样品也可以为待测屏幕。第二摄像模块可以为用于对待测屏幕压接到载具型腔内的过程进行实时监控的carrier摄像模块,第二摄像模块的图像采集区域可以涵盖载具型腔的所在区域,便于对待测屏幕的压接过程进行监控。
通过对第二摄像模块采集到的待测样品的图像或视频信息进行图像识别,也可以识别出实时待测样品上的目标位置。在本公开的一些实施例中,步骤S200中提及的目标位置与步骤S100中提及的目标位置可以是相同的位置。在识别出待测样品上的目标位置后,即可获取目标位置在第二摄像模块的图像坐标系中的坐标点。第二图像数据可以包括目标位置在第二摄像模块的图像坐标系中的坐标点。例如,第二摄像模块获取包括了两个角点的图像或视频信息并进行识别。在识别出屏幕的左右两个角点后,获取屏幕左右两个角点在第二摄像模块坐标系中的图像坐标点p3(x,y)、p4(x,y)。
步骤S300:根据预先确定的第一映射关系将第一图像数据映射至机械手坐标系中,获取第一映射数据,第一映射关系为第一摄像模块的图像坐标系与机械手坐标系的映射关系。
步骤S400:根据预先确定的第二映射关系将第二图像数据映射至机械手坐标系中,获取第二映射数据,第二映射关系为第二摄像模块的图像坐标系与机械手坐标系的映射关系。
由于第一图像数据、第二图像数据处于不同的坐标系中,在不同的坐标系中无法确定两者之间的偏差,因此可以将第一图像数据、第二图像数据映射至同一个坐标系中,以便于在同一个坐标系中对两种图像数据进行分析。在解决压接问题时,就可以通过调整机械手的移动来对抓取过程中出现的偏差进行补偿。因此,可以根据预先获取的不同坐标系之间的映射关系将第一图像数据、第二图像数据均映射至机械手坐标系中,在机械手坐标系中分析两种图像数据之间的偏差。
根据预先获取的第一摄像模块的图像坐标系与机械手坐标系之间的第一映射关系,可以将第一图像数据映射至机械手坐标系中,获取第一映射数据,即第一图像数据在机械手坐标系中的坐标。同样地,根据预先获取的第二摄像模块的图像坐标系与机械手坐标系之间的第二映射关系,可以将第二图像数据映射至机械手坐标系中,获取第二映射数据,即第二图像数据在机械手坐标系中的坐标。
在其中一个实施例中,第一映射关系可以通过计算第一摄像模块的图像坐标系与机械手坐标系之间的单应矩阵来确定,也可以通过测试人员根据实际应用经验总结的其他转换方式来确定。同样地,第二映射关系也可以通过计算第二摄像模块的图像坐标系与机械手坐标系之间的单应矩阵来确定,也可以通过测试人员根据实际应用经验总结的其他转换方式来确定。
步骤S500:确定第一映射数据和第二映射数据之间的相对偏移数据,并根据相对偏移数据对机械手的移动坐标进行补偿。
在将第一图像数据、第二图像数据映射至机械手坐标系中,获取第一映射数据和第二映射数据后,可以在统一的坐标系中对第一映射数据和第二映射数据进行分析,确定两者之间的相对偏移数据。
在解决压接问题时,可以通过调整机械手的移动来对抓取过程中出现的偏差进行补偿。由于第一映射数据和第二映射数据是待测样品上相同的位置在不同坐标系中的坐标数据,因此在机械手坐标系中,可以通过数据分析来确定机械手抓取过程中产生的相对偏移数据,从而可以根据确定的相对偏移数据来对机械手的移动坐标进行补偿。通过对机械手的移动坐标进行补偿来调整机械手的移动,可以提高对待测样品的移动压接的精确度,从而防止在压接过程中因存在位置偏差而对待测样品造成损坏、影响测试结果。
例如,将屏幕左右两个角点在第一摄像模块坐标系中的图像坐标点p1(x,y)、p2(x,y)转换到机械手坐标系后,可以得到p1(x,y)、p2(x,y)对应的机械手坐标为k1(x,y)、k2(x,y)。同样地,将屏幕左右两个角点在第二摄像模块坐标系中的图像坐标点p3(x,y)、p4(x,y)转换到机械手坐标系后,可以得到p3(x,y)、p4(x,y)对应的机械手坐标为k3(x,y)、k4(x,y)。根据k1(x,y)和k2(x,y)可以求出产品在DUT摄像模块下的倾斜角度θ1和中心坐标k5(x,y),根据k3(x,y)和k4(x,y)则可以求出产品在carrier摄像模块下的倾斜角度θ2和中心坐标k6(x,y)。对机械手将待测样品DUT压接到载具carrier的移动坐标进行补偿时,可以通过计算倾斜角度上的偏差(θ2-θ1)来实现对角度的补偿,通过计算X轴上的距离偏差(k6.x-k5.x)来实现对X轴方向上的偏差的补偿,通过计算Y轴上的距离偏差(k6.y-k5.y)来实现对Y轴方向上的偏差的补偿。
上述机械手移动补偿方法,在获取待测样品上目标位置分别在两个摄像模块的图像坐标系中的图像数据集后,通过预先获取的两个摄像模块的图像坐标系分别与机械手坐标系对应的映射关系,来将待测样品上目标位置分别在两个摄像模块的图像坐标系中的坐标同时映射到机械手坐标中。在同一个坐标系中,对机械手在抓取待测样品过程中出现的相对偏差进行分析,从而根据分析确定的相对偏差来对机械手的移动坐标进行补偿。通过确定机械手在抓取待测样品过程中出现的相对偏差,并根据相对偏差对机械手的移动坐标进行补偿,可以提高待测样品被抓取到与治具型腔内的载具进行对接时的压接准确率,从而可以有效地解决压接问题,防止在压接过程中因存在位置偏差而对待测样品造成损坏、影响测试结果。
图2为本公开其中一个实施例中确定第一映射关系和第二映射关系的方法流程示意图,在其中一个实施例中,第一映射关系和第二映射关系的确定过程可以包括如下步骤S10至步骤S20。
步骤S10:获取待测样品被机械手抓取至不同摄像模块的图像采集区域中不同位置时的图像坐标点集,并获取将待测样品抓取至不同位置时机械手的机械手坐标点集。
由于在实际应用中,测试设备中不同摄像模块的图像坐标系和机械手坐标系通常是固定不变的,因此可以通过预先测试获取各个坐标系中的多组坐标数据,进而根据多组坐标数据来确定不同摄像模块的图像坐标系与机械手坐标系之间的映射关系。
控制机械手将待测样品移动到不同摄像模块的图像采集区域中的不同位置处,通过利用不同摄像模块对待测样品上测试位置的采集识别,可以获取待测样品上测试位置在不同摄像模块图像坐标系中的图像坐标点集。同时,机械手在工作时通常是根据机械手坐标系中的移动轨迹坐标来确定其实际的移动轨迹的,因此机械手在带动待测样品移动时,机械手显示器会将每一次的机械手坐标显示出来。根据机械手显示器即可获取机械手在抓取待测样品移动至不同位置时的机械手坐标点集。
步骤S20:根据不同摄像模块的图像坐标点集和机械手坐标点集,获取不同摄像模块的图像坐标系与机械手坐标系之间的映射关系。
通过对不同摄像模块的图像坐标点集和机械手坐标点集进行分析,可以确定不同摄像模块的图像坐标系与机械手坐标系之间的联系,从而建立起不同摄像模块的图像坐标系与机械手坐标系之间的映射关系。例如,将不同摄像模块的图像坐标点集和机械手坐标点集分别构建为对应的矩阵数据,通过矩阵变换可以确定不同摄像模块的图像坐标系与机械手坐标系之间的单应矩阵,利用单应矩阵来表现不同摄像模块的图像坐标系与机械手坐标系之间的映射关系。
通过研究不同摄像模块的图像坐标系与机械手坐标系之间的单应矩阵,可以将待测样品在不同摄像模块中的坐标同时映射到机械手坐标中。在同一个坐标系中,可以更好地通过数据分析来确定机械手抓取过程中产生的偏移,从而根据确定的偏移来对机械手的移动坐标进行补偿。通过对机械手的移动坐标进行补偿来调整机械手的移动,可以提高对待测样品的移动压接的精确度,防止在压接过程中因存在位置偏差而对待测样品造成损坏、影响测试结果。
图3为本公开其中一个实施例中获取不同坐标系中坐标点集的方法流程示意图,在其中一个实施例中,获取待测样品被机械手抓取至不同摄像模块的图像采集区域中不同位置时的图像坐标点集,并获取待测样品抓取至不同位置时机械手的机械手坐标点集可以包括如下步骤S11至步骤S19。
步骤S11:控制机械手抓取待测样品移动至第一摄像模块的图像采集区域中的第一位置。
步骤S13:获取待测样品上的测试位置在第一摄像模块中的第一图像坐标。
控制机械手抓取待测样品移动至第一摄像模块的图像采集区域内中的第一位置,并保证当待测样品处于第一位置时第一摄像模块可以拍摄到待测样品上的测试位置,从而可以对待测样品的图像或视频信息进行图像识别,获取待测样品上测试位置的图像坐标。在本公开的一些实施例中,测试位置可以为待测样品上一个或多个特征比较明显的位置,测试位置可以为标记图形、屏幕结构、等便于图像识别的位置,例如屏幕的某一个角点。其中,测试位置可以选取为与目标位置相同的位置,也可以为与目标位置不同的位置,具体的选取方式根据实际测试需求确定。
根据第一摄像模块获取的图像或视频信息识别出待测样品上的测试位置后,即可获取测试位置在第一摄像模块的图像坐标系中的第一图像坐标。例如,在识别出屏幕的某一个角点后,可以获取该角点在第一摄像模块坐标系中的图像坐标点(a1,b1)。
步骤S15:控制机械手抓取待测样品移动至第二摄像模块的图像采集区域中的第二位置。
步骤S17:获取待测样品上的测试位置在第二摄像模块中的第二图像坐标,并获取机械手抓取待测样品移动至第二位置时的机械手坐标。
在完成步骤S15后,可以控制机械手将抓取的待测样品移动至第二摄像模块的图像采集区域内中的第二位置,并保证当待测样品处于第二位置时第二摄像模块可以拍摄到待测样品上的测试位置,从而可以对待测样品的图像或视频信息进行图像识别,以获取识别待测样品上测试位置的图像坐标。在本公开的一些实施例中,步骤S17中提及的测试位置与步骤S13中提及的测试位置可以是相同的位置。
根据第二摄像模块获取的图像或视频信息识别出待测样品上的测试位置后,即可获取测试位置在第二摄像模块的图像坐标系中的第二图像坐标。例如,在识别出屏幕的某一个角点后,获取该角点在第二摄像模块坐标系中的图像坐标点(c1,d1)。
同时,机械手在工作时通常是根据机械手坐标系中的移动轨迹坐标来确定其实际的移动轨迹的,且机械手在带动待测样品移动时,机械手显示器会将每一次的机械手坐标显示出来。因此,可以根据机械手显示器获取机械手在抓取待测样品移动至不同位置时的机械手坐标。在机械手抓取待测样品从第一位置移动至第二位置时,可以通过机械手显示器获取机械手抓取待测样品移动至第二位置时的机械手坐标。
步骤S19:控制机械手重复多次抓取待测样品并移动至第一摄像模块的图像采集区域中的不同位置和第二摄像模块的图像采集区域中的不同位置,获取多组第一图像坐标、多组第二图像坐标和多组机械手坐标。
由于可能机械手每次移动的偏移量都不是固定的,因此为了确保获取的映射关系的数据精度,可以重复多次步骤S11至步骤S17的操作步骤,以获取多组第一图像坐标、多组第二图像坐标和多组机械手坐标。利用多组第一图像坐标、多组第二图像坐标和多组机械手坐标,可以获取更精确的坐标系映射关系,从而保证更好的位置补偿效果。第一摄像模块采集的图像坐标点集可以包括多组第一图像坐标,第二摄像模块采集的图像坐标点集可以包括多组第二图像坐标,机械手坐标点集可以包括多组机械手坐标。
在其中一个实施例中,至少令机械手执行四次上述步骤S11至步骤S17的操作步骤,也即将抓取待测样品并移动至第一摄像模块的图像采集区域和第二摄像模块的图像采集区域的操作重复四次,且每次机械手移动至第一摄像模块的图像采集区域中的位置和第二摄像模块的图像采集区域中的位置都不同,来保证获取不同的偏移量。
在本实施例中为了更好地说明获取不同坐标系中坐标点集的方法步骤,以待测样品为待测屏幕DUT,机械手为DUT抓取机械手,第一摄像模块为DUT摄像模块,第二摄像模块为carrier摄像模块为例来进行说明,但并不能因此而理解为对发明专利范围的限制。
在至少重复执行四次上述步骤S11至步骤S17的操作步骤后,可以获取至少4组第一图像坐标、4组第二图像坐标和4组机械手坐标。DUT摄像模块采集的图像坐标点集X1可以包括至少4组第一图像坐标,carrier摄像模块采集的图像坐标点集X2可以包括至少4组第二图像坐标,机械手坐标点集Y可以包括至少4组机械手坐标。
DUT抓取机械手抓取待测屏幕DUT,将其抓取至DUT摄像模块下,并确保测试位置在DUT摄像模块的视野范围内。DUT摄像模块拍摄获取包括待测屏幕DUT上测试位置的图像或视频信息。测试位置为待测屏幕DUT上比较明显的特征,比如待测屏幕DUT的1个角点。对DUT摄像模块拍摄的图像或视频信息进行位置识别,以获取测试位置在DUT摄像模块的图像坐标系中的第一图像坐标(a1,b1)。
在获取第一图像坐标(a1,b1)后,可以令机械手抓取待测屏幕DUT移至carrier摄像模块下,并确保测试位置在carrier摄像模块的视野范围内。carrier摄像模块拍摄获取包括待测屏幕DUT上测试位置的图像或视频信息,并对测试位置进行识别,以获取测试位置在DUT摄像模块的图像坐标系中的第二图像坐标(c1,d1)。其中,carrier摄像模块识别的测试位置与DUT摄像模块识别的测试位置是同一个位置。同时,在机械手抓取待测屏幕DUT从第一位置移动到当前的第二位置后,机械手显示器会将机械手的坐标显示出来,可以根据机械手显示器上显示的内容来获取机械手坐标(e1,f1)。
令DUT抓取机械手再次抓取待测样品DUT,将其移动到DUT摄像模块下与上一次采集中不同的第一位置,即两次操作中的第一位置存在一定的相对偏移。DUT摄像模块再次拍摄获取包括待测屏幕DUT上测试位置的图像或视频信息,并对测试位置进行识别,以获取待测样品DUT上此时测试位置的第一图像坐标(a2,b2)。在获取第一图像坐标(a2,b2)后,可以令机械手抓取待测样品DUT移至carrier摄像模块下与上一次采集中不同的第二位置,即两次操作中的第二位置同样存在一定的相对偏移。carrier摄像模块再次拍摄获取包括待测屏幕DUT上测试位置的图像或视频信息,并对测试位置进行识别,以获取待测样品DUT上此时测试位置的第二图像坐标(c2,d2),以及此时机械手从第一位置移动到当前的第二位置的机械手坐标(e2,f2)。
重复上述步骤总共4次,获取4组第一图像坐标、4组第二图像坐标和4组机械手坐标。即,DUT摄像模块采集的图像坐标点集X1可以包括第一图像坐标(a1,b1)……(a4,b4),carrier摄像模块采集的图像坐标点集X2可以包括第二图像坐标(c1,d1)……(c4,d4),机械手坐标点集Y可以包括机械手坐标(e1,f1)……(e4,f4)。
图4为本公开其中一个实施例中根据不同坐标系中的坐标点集获取不同坐标系之间的映射关系的方法流程示意图,在其中一个实施例中,根据不同摄像模块的图像坐标点集和机械手坐标点集,获取不同摄像模块的图像坐标系与机械手坐标系之间的映射关系可以包括如下步骤S21至步骤S23。
步骤S21:根据多组第一图像坐标和多组机械手坐标,获取第一摄像模块与机械手坐标系映射的第一单应矩阵。
步骤S23:根据多组第二图像坐标和多组机械手坐标,获取第二摄像模块与机械手坐标系映射的第二单应矩阵。
由于上述步骤S11至步骤S19中获取的多组第一图像坐标、多组第二图像坐标和多组机械手坐标都是相对应的,都是相同对象在相对应位置情况下在不同坐标系中的坐标数据,因此可以将第一摄像模块获取的第一图像坐标和第二摄像模块获取的第二图像坐标都映射到同一个机械手坐标下。将多组第一图像坐标、多组第二图像坐标和多组机械手坐标分别处理为矩阵数据,并通过矩阵变化即可获取对应的单应矩阵,从而可以利用单应矩阵来表现不同坐标系之间的映射关系。
将多组第一图像坐标、多组第二图像坐标和多组机械手坐标分别处理为矩阵数据,分别可以得到:
上述矩阵中的数据均为DUT摄像模块采集的图像坐标点集X1中的第一图像坐标数据。
上述矩阵中的数据均为carrier摄像模块采集的图像坐标点集X2中的第二图像坐标数据。
上述矩阵中的数据为机械手坐标点集Y中的机械手坐标数据。
DUT摄像模块获取的第一图像坐标和carrier摄像模块获取的第二图像坐标可以同时映射到同一个机械手坐标下,映射关系的获取方法可以采用如下的计算方法:
在本实施例中为了更好地说明获取不同坐标系之间的映射关系的方法步骤,以DUT摄像模块采集的图像坐标点集X1与对应的机械手坐标点集Y中(a1,b1,1)和(e1,f1,1)两个点集的对应点为例,对矩阵变换过程进行说明,但并不能因此而理解为对发明专利范围的限制。将(a1,b1,1)和(e1,f1,1)两个点对应的单应矩阵H定义为:
则有:
通过对上述矩阵进行变换可得如下等式(1):
以及等式(2):
同时,对单应矩阵H添加约束条件,将单应矩阵H的模变为1,可以得到如下等式(3):
h112+h122+h132+h212+h222+h232+h312+h322+h332=1
对等式(1)和等式(2)两个公式展开可得:
h11a1+h12b1+h13-h31a1e1-h32b1e1-h33e1=0
h21a1+h22b1+h23-h31a1f1-h32b1f1-h33f1=0
将DUT摄像模块采集到的图像坐标点集X1中的4对特征点代入,可以得到如下线性方程组(4):
通过等式(3)和线性方程组(4)可以求出DUT摄像模块采集到的图像坐标点集X1与机械手坐标点集对应的第一单应矩阵H1。
carrier摄像模块采集到的图像坐标点集X2与机械手坐标点集对应的第二单应矩阵H2的求取过程,可以与上述DUT摄像模块采集到的图像坐标点集X1与机械手坐标点集对应的第一单应矩阵H1的求取过程相同,在此不加以赘述。
第一单应矩阵H1可以用于表现第一摄像模块的图像坐标系与机械手坐标系的第一映射关系,第二单应矩阵H2可以用于表现第二摄像模块的图像坐标系与机械手坐标系的第二映射关系。利用上述计算中得到的第一单应矩阵H1和第二单应矩阵H2即可实现将待测屏幕DUT在DUT摄像模块中的坐标和在carrier摄像模块中的坐标同时映射到机械手坐标中的操作。
在其中一个实施例中,在确定第一映射数据和第二映射数据之间的相对偏移数据,并根据相对偏移数据对机械手的移动坐标进行补偿后,所述方法还可以包括利用机械手根据补偿后的移动坐标将待测样品压接到载具中。
当上述机械手移动补偿方法的其中一个应用场景即为对AR屏幕的自动化检测时,在根据相对偏移数据对机械手的移动坐标进行补偿后,机械手即可准确地将待测屏幕压接到载具型腔内。上述机械手移动补偿方法通过视觉方式,获取待测屏幕DUT在DUT摄像模块中的坐标和在carrier摄像模块中的坐标,并将待测屏幕DUT在DUT摄像模块中的坐标和在carrier摄像模块中的坐标同时映射到机械手坐标中。在机械手坐标中对两种坐标进行分析以计算机械手在抓取过程中产生的误差。在确定了DUT和carrier之间的相对偏移后,即可根据在θ轴、x轴、y轴上的相对偏移对机械手将待测样品压接至载具型腔的移动坐标进行补偿,以确保产品能够被准确地压接到载具型腔内。
应该理解的是,虽然说明书附图的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,说明书附图的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于上述机械手移动补偿方法实施例的描述,本公开还提供了一种机械手移动补偿装置。所述装置可以包括使用了本说明书实施例所述方法的系统(包括分布式系统)、软件(应用)、模块、组件、服务器、客户端等并结合必要的实施硬件的装置。基于同一创新构思,本公开实施例提供的一个或多个实施例中的装置如下面的实施例所述。由于装置解决问题的实现方案与方法相似,因此本说明书实施例具体的装置的实施可以参见前述方法的实施,重复之处不再赘述。以下所使用的,术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图5为本公开其中一个实施例中机械手移动补偿装置的结构示意图,在其中一个实施例中,机械手移动补偿装置可以包括机械手100、机械手控制模块200、第一摄像模块300、第二摄像模块400、数据映射模块500和移动补偿模块600。
机械手100,可以用于抓取待测样品移动至不同位置。
机械手控制模块200,与机械手100相连接,可以用于控制机械手100移动。
第一摄像模块300,可以用于获取待测样品上的目标位置在第一摄像模块300的图像坐标系中的第一图像数据。
第二摄像模块400,可以用于获取待测样品上的目标位置在第二摄像模块400的图像坐标系中的第二图像数据。
数据映射模块500,分别与第一摄像模块200和第二摄像模块300相连接,可以用于根据预先确定的第一映射关系将第一图像数据映射至机械手坐标系中,获取第一映射数据,还可以用于根据预先确定的第二映射关系将第二图像数据映射至机械手坐标系中,获取第二映射数据。其中,第一映射关系可以为第一摄像模块的图像坐标系与机械手坐标系的映射关系,第二映射关系可以为第二摄像模块的图像坐标系与机械手坐标系的映射关系。
移动补偿模块600,分别与数据映射模块500和机械手控制模块300相连接,可以用于确定第一映射数据和第二映射数据之间的相对偏移数据,并根据相对偏移数据对机械手100的移动坐标进行补偿。
在其中一个实施例中,机械手移动补偿装置还可以包括测试数据获取模块和映射关系计算模块。
测试数据获取模块,可以用于获取待测样品被机械手抓取至不同摄像模块的图像采集区域中不同位置时的图像坐标点集,并获取将待测样品抓取至不同位置时机械手的机械手坐标点集。
映射关系计算模块,可以用于根据不同摄像模块的图像坐标点集和机械手坐标点集,获取不同摄像模块的图像坐标系与机械手坐标系之间的映射关系。
在其中一个实施例中,机械手控制模块,还可以用于控制机械手抓取待测样品移动至第一摄像模块的图像采集区域中的第一位置,还用于可以控制机械手抓取待测样品移动至第二摄像模块的图像采集区域中的第二位置。
测试数据获取模块,可以用于接收第一摄像模块获取的待测样品上的测试位置在第一摄像模块中的第一图像坐标,还可以用于接收第二摄像模块获取的待测样品上的测试位置在第二摄像模块中的第二图像坐标,还可以用于获取机械手抓取待测样品移动至第二位置时的机械手坐标。
机械手控制模块,还可以用于控制机械手重复多次抓取待测样品并移动至第一摄像模块的图像采集区域中的不同位置和第二摄像模块的图像采集区域中的不同位置。
测试数据获取模块,还可以用于获取多组第一图像坐标、多组第二图像坐标和多组机械手坐标。
在其中一个实施例中,映射关系计算模块可以包括第一矩阵映射计算单元和第二矩阵映射计算单元。
第一矩阵映射计算单元,可以用于根据多组第一图像坐标和多组机械手坐标,获取第一摄像模块与机械手坐标系映射的第一单应矩阵。
第二矩阵映射计算单元,可以用于根据多组第二图像坐标和多组机械手坐标,获取第二摄像模块与机械手坐标系映射的第二单应矩阵。
在其中一个实施例中,机械手控制模块还可以用于控制机械手根据补偿后的移动坐标将待测样品压接到载具中。
上述机械手移动补偿装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
可以理解的是,本说明书中上述方法、装置等的各个实施例均采用递进的方式描述,各个实施例之间相同/相似的部分互相参见即可,每个实施例重点说明的都是与其它实施例的不同之处。相关之处参见其他方法实施例的描述说明即可。
图6为本公开其中一个实施例中机械手移动补偿装置或系统的示意框图。参照图6,机械手移动补偿装置或系统S00包括处理组件S20,其进一步包括一个或多个处理器,以及由存储器S22所代表的存储器资源,用于存储可由处理组件S20的执行的指令,例如应用程序。存储器S22中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理组件S20被配置为执行指令,以执行上述方法。
机械手移动补偿装置或系统S00还可以包括:电源组件S24被配置为执行机械手移动补偿装置或系统S00的电源管理,有线或无线网络接口S26被配置为将机械手移动补偿装置或系统S00连接到网络,和输入输出(I/O)接口S28。机械手移动补偿装置或系统S00可以操作基于存储在存储器S22的操作系统,例如Windows Server,Mac OS X,Unix,Linux,FreeBSD或类似。
在示例性实施例中,还提供了一种包括指令的计算机可读存储介质,例如包括指令的存储器S22,上述指令可由机械手移动补偿装置或系统S00的处理器执行以完成上述方法。存储介质可以是计算机可读存储介质,例如,所述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中,还提供一种计算机程序产品,所述计算机程序产品中包括指令,上述指令可由机械手移动补偿装置或系统S00的处理器执行以完成上述方法。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图7所示,图7为本公开其中一个实施例中计算机设备的内部结构图。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种机械手移动补偿方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图7中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其它实施例的不同之处。尤其,对于硬件+程序类实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
需要说明的,上述所述的装置、电子设备、服务器等根据方法实施例的描述还可以包括其它的实施方式,具体的实现方式可以参照相关方法实施例的描述。同时各个方法以及装置、设备、服务器实施例之间特征的相互组合组成的新的实施例仍然属于本公开所涵盖的实施范围之内,在此不作一一赘述。
在本说明书的描述中,参考术语“有些实施例”、“其他实施例”、“理想实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特征包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性描述不一定指的是相同的实施例或示例。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以作出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种机械手移动补偿方法,其特征在于,包括:
获取待测样品上的目标位置在第一摄像模块的图像坐标系中的第一图像数据;
获取所述待测样品上的目标位置在第二摄像模块的图像坐标系中的第二图像数据;
根据预先确定的第一映射关系将所述第一图像数据映射至机械手坐标系中,获取第一映射数据,所述第一映射关系为所述第一摄像模块的图像坐标系与机械手坐标系的映射关系;
根据预先确定的第二映射关系将所述第二图像数据映射至所述机械手坐标系中,获取第二映射数据,所述第二映射关系为所述第二摄像模块的图像坐标系与所述机械手坐标系的映射关系;
确定所述第一映射数据和所述第二映射数据之间的相对偏移数据,并根据所述相对偏移数据对机械手的移动坐标进行补偿。
2.根据权利要求1所述的机械手移动补偿方法,其特征在于,所述第一映射关系和所述第二映射关系的确定过程包括:
获取所述待测样品被所述机械手抓取至不同摄像模块的图像采集区域中不同位置时的图像坐标点集,并获取将所述待测样品抓取至不同位置时所述机械手的机械手坐标点集;
根据不同摄像模块的所述图像坐标点集和所述机械手坐标点集,获取不同摄像模块的图像坐标系与所述机械手坐标系之间的映射关系。
3.根据权利要求2所述的机械手移动补偿方法,其特征在于,所述获取待测样品被机械手抓取至不同摄像模块的图像采集区域中不同位置时的图像坐标点集,并获取所述待测样品抓取至不同位置时所述机械手的机械手坐标点集包括:
控制所述机械手抓取所述待测样品移动至第一摄像模块的图像采集区域中的第一位置;
获取所述待测样品上的测试位置在第一摄像模块中的第一图像坐标;
控制所述机械手抓取所述待测样品移动至第二摄像模块的图像采集区域中的第二位置;
获取所述待测样品上的测试位置在第二摄像模块中的第二图像坐标,并获取所述机械手抓取所述待测样品移动至第二位置时的机械手坐标;
控制所述机械手重复多次抓取所述待测样品并移动至所述第一摄像模块的图像采集区域中的不同位置和所述第二摄像模块的图像采集区域中的不同位置,获取多组所述第一图像坐标、多组所述第二图像坐标和多组所述机械手坐标。
4.根据权利要求3所述的机械手移动补偿方法,其特征在于,所述根据不同摄像模块的所述图像坐标点集和所述机械手坐标点集,获取不同摄像模块的图像坐标系与机械手坐标系之间的映射关系包括:
根据多组所述第一图像坐标和多组所述机械手坐标,获取所述第一摄像模块与所述机械手坐标系映射的第一单应矩阵;
根据多组所述第二图像坐标和多组所述机械手坐标,获取所述第二摄像模块与所述机械手坐标系映射的第二单应矩阵。
5.根据权利要求1-4中任意一项所述的机械手移动补偿方法,其特征在于,在确定所述第一映射数据和所述第二映射数据之间的相对偏移数据,并根据所述相对偏移数据对机械手的移动坐标进行补偿后,所述方法还包括:
控制所述机械手根据补偿后的移动坐标将所述待测样品压接到载具中。
6.一种机械手移动补偿装置,其特征在于,包括:
机械手,用于抓取待测样品移动至不同位置;
机械手控制模块,与所述机械手相连接,用于控制所述机械手移动;
第一摄像模块,用于获取所述待测样品上的目标位置在所述第一摄像模块的图像坐标系中的第一图像数据;
第二摄像模块,用于获取所述待测样品上的目标位置在所述第二摄像模块的图像坐标系中的第二图像数据;
数据映射模块,分别与所述第一摄像模块和所述第二摄像模块相连接,用于根据预先确定的第一映射关系将所述第一图像数据映射至机械手坐标系中,获取第一映射数据,还用于根据预先确定的第二映射关系将所述第二图像数据映射至所述机械手坐标系中,获取第二映射数据;其中,所述第一映射关系为所述第一摄像模块的图像坐标系与机械手坐标系的映射关系,所述第二映射关系为所述第二摄像模块的图像坐标系与所述机械手坐标系的映射关系;
移动补偿模块,分别与所述数据映射模块和所述机械手控制模块相连接,用于确定所述第一映射数据和所述第二映射数据之间的相对偏移数据,并根据所述相对偏移数据对所述机械手的移动坐标进行补偿。
7.根据权利要求6所述的机械手移动补偿装置,其特征在于,所述机械手移动补偿装置还包括:
测试数据获取模块,用于获取所述待测样品被所述机械手抓取至不同摄像模块的图像采集区域中不同位置时的图像坐标点集,并获取将所述待测样品抓取至不同位置时所述机械手的机械手坐标点集;
映射关系计算模块,用于根据不同摄像模块的所述图像坐标点集和所述机械手坐标点集,获取不同摄像模块的图像坐标系与所述机械手坐标系之间的映射关系。
8.根据权利要求6-7中任意一项所述的机械手移动补偿装置,其特征在于,所述机械手控制模块还用于控制所述机械手根据补偿后的移动坐标将所述待测样品压接到载具中。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1-5中任意一项所述的机械手移动补偿方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-5中任意一项所述的机械手移动补偿方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210016229.9A CN114373131A (zh) | 2022-01-07 | 2022-01-07 | 机械手移动补偿方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210016229.9A CN114373131A (zh) | 2022-01-07 | 2022-01-07 | 机械手移动补偿方法、装置、计算机设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114373131A true CN114373131A (zh) | 2022-04-19 |
Family
ID=81144878
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210016229.9A Pending CN114373131A (zh) | 2022-01-07 | 2022-01-07 | 机械手移动补偿方法、装置、计算机设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114373131A (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110125926A (zh) * | 2018-02-08 | 2019-08-16 | 比亚迪股份有限公司 | 自动化的工件取放方法及系统 |
CN111083376A (zh) * | 2019-12-30 | 2020-04-28 | 广东博智林机器人有限公司 | 确定目标物安装位置的方法、系统、装置以及电子设备 |
KR20210022195A (ko) * | 2019-08-19 | 2021-03-03 | 하이윈 테크놀로지스 코포레이션 | 비전 가이드 로봇 암 교정 방법 |
CN113744336A (zh) * | 2021-09-07 | 2021-12-03 | 深圳市睿达科技有限公司 | 一种辅助定位方法、装置及计算机可读存储介质 |
-
2022
- 2022-01-07 CN CN202210016229.9A patent/CN114373131A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110125926A (zh) * | 2018-02-08 | 2019-08-16 | 比亚迪股份有限公司 | 自动化的工件取放方法及系统 |
KR20210022195A (ko) * | 2019-08-19 | 2021-03-03 | 하이윈 테크놀로지스 코포레이션 | 비전 가이드 로봇 암 교정 방법 |
CN111083376A (zh) * | 2019-12-30 | 2020-04-28 | 广东博智林机器人有限公司 | 确定目标物安装位置的方法、系统、装置以及电子设备 |
CN113744336A (zh) * | 2021-09-07 | 2021-12-03 | 深圳市睿达科技有限公司 | 一种辅助定位方法、装置及计算机可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR20180120647A (ko) | 가이드된 어셈블리 환경에서 머신비전 좌표공간과 함께 묶기 위한 시스템 및 방법 | |
US9449378B2 (en) | System and method for processing stereoscopic vehicle information | |
CN105066962B (zh) | 一种多分辨率大视场角高精度摄影测量装置 | |
CN103514450A (zh) | 一种图像特征提取方法和图像校正方法以及设备 | |
US20210247320A1 (en) | Optical distortion measuring apparatus and optical distortion measuring method, image processing system, electronic apparatus and display apparatus | |
CN109949232B (zh) | 图像与rtk结合的测量方法、系统、电子设备及介质 | |
CN109859216B (zh) | 基于深度学习的测距方法、装置、设备及存储介质 | |
CN111076698A (zh) | 用于标定光电产品安装偏差的观察评估装置及解算方法 | |
CN112308930A (zh) | 相机外参标定方法、系统及装置 | |
CN115143895A (zh) | 形变视觉测量方法、装置、设备、介质和双轴测量引伸计 | |
EP2310799B1 (en) | Stereoscopic measurement system and method | |
CN105043252A (zh) | 一种基于图像处理的无参考物尺寸测量方法 | |
CN115829843A (zh) | 图像拼接方法、装置、计算机设备及存储介质 | |
CN114071008A (zh) | 一种图像采集装置和图像采集方法 | |
CN112629565B (zh) | 像机与惯性测量单元旋转关系校准方法、装置和设备 | |
CN114373131A (zh) | 机械手移动补偿方法、装置、计算机设备及存储介质 | |
CN113075231A (zh) | 应用于芯片db和金线wb的自动化智能检测方法及系统 | |
CN117359135A (zh) | 振镜校正方法、装置、计算机设备、存储介质和程序产品 | |
CN114063046A (zh) | 参数标定方法、装置、计算机设备和存储介质 | |
CN107783310B (zh) | 一种柱透镜成像系统的标定方法及装置 | |
CN111145247A (zh) | 基于视觉的位置度检测方法及机器人、计算机存储介质 | |
CN216900172U (zh) | 一种适用于扫描电镜与光学相机联用的样品定位导航装置 | |
CN115222728A (zh) | 基于视觉技术的屏幕检测方法、装置和计算机设备 | |
CN104677906A (zh) | 影像信息检测方法 | |
CN113506351A (zh) | ToF相机的标定方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |