CN113627390A - 一种基于图像识别的定位方法、装置和设备 - Google Patents

Abstract

本申请公开了一种基于图像识别的定位方法、装置和设备，包括获取针尖主体在放大设备中处于清晰状态时的针尖主体图像；对针尖主体图像进行二值化处理，并确定针尖的位置，得到针尖模板图像；将待定位探针针尖在放大设备中的二值化图像与针尖模板图像匹配，确定待定位探针针尖的位置；控制定位后探针针尖与微型块接触，并进行推动。对针尖主体处于清晰状态时的针尖主体图像进行二值化处理，在二值化处理的针尖主体图像中确定针尖的位置得到针尖模板图像，针尖模板图像中针尖的位置可以确定至几个像素点，针尖形态轮廓非常准确，再利用针尖模板图像与待定位探针针尖的二值化图像进行匹配，确定待定位探针针尖的位置，提升待定位探针针尖定位准确性。

Description

一种基于图像识别的定位方法、装置和设备

技术领域

本申请涉及结构超滑领域，特别是涉及一种基于图像识别的定位方法、装置和设备。

背景技术

目前在超滑片的制备过程中，需要先通过刻蚀形成若干个特定尺寸的超滑岛，通过探针进行推岛，岛将会出现上下分层，若出现分层且上层分离部分可以自回复，则可以判断该超滑岛分离后的上层部分为超滑片。超滑片的尺寸很小，其尺寸一般在1μm至10μm，因此在对超滑岛进行推动和转移操作时，需要结合显微镜下的图像进行自动化操作，现有技术中一般都是通过人工进行控制针尖的位置，但是人工控制效率较低，且难以实现微小的位移，因此需要一种能够实现自动转移或识别超滑片的设备。

在超滑岛的推动和转移过程中，需要保持显微镜对焦在岛上，由于针尖和超滑岛处于不同高度，显微镜采集的图像中，针尖处于模糊状态，对针尖的定位难度较大。目前在对针尖进行定位时，采用阈值分割法对图像中探针针尖进行定位，阈值分割法中的设定的阈值主要是根据经验进行设定的，阈值比较单一和固定，当环境等因素，比如光照，发生改变时，无法对阈值进行精确的调整，鲁棒性较差，从而导致定位的准确性差，影响推岛过程的稳定性。

因此，如何解决上述技术问题应是本领域技术人员重点关注的。

发明内容

本申请的目的是提供一种基于图像识别的定位方法、装置和设备，以提升探针针尖定位的准确性。

为解决上述技术问题，本申请提供一种基于图像识别的定位方法，包括：

获取针尖主体在放大设备中处于清晰状态时的针尖主体图像；

对所述针尖主体图像进行二值化处理，并确定针尖的位置，得到针尖模板图像；

将待定位探针针尖在放大设备中的二值化图像与所述针尖模板图像匹配，确定所述待定位探针针尖的位置；

控制定位后探针针尖与微型块接触，并进行推动。

可选的，所述微型块包括超滑块，尺寸为1μm至100μm。

可选的，所述控制定位后探针针尖与微型块接触包括：

确定位于图像中目标微型块的中心；所述图像与所述二值化图像对应；

移动所述定位后探针针尖，使所述定位后探针针尖与所述中心在垂直方向上重合；

控制探针接触并按压所述目标微型块的岛盖，使所述岛盖上出现凹坑；

确定所述凹坑与所述中心的距离；

根据所述距离调整所述探针与所述岛盖的接触位置为所述中心。

可选的，在所述确定位于图像中所述微型块的中心之前，还包括：

在距离所述定位后探针针尖预设范围内，确定与所述定位后探针针尖距离最近的微型块为所述目标微型块。

可选的，所述图像的获得过程包括：

获得包括所述定位后探针针尖和所述目标微型块的彩色图像；

对所述彩色图像进行灰度处理，得到所述图像。

可选的，所述确定位于图像中目标微型块的中心包括：

通过目标检测算法确定所述目标微型块的位置；

根据所述目标微型块的位置确定所述中心。

可选的，在所述确定位于图像中目标微型块的中心之后，还包括：

标记所述中心。

可选的，在所述将待定位探针针尖在放大设备中的二值化图像与所述针尖模板图像匹配之前，还包括：

判断所述微型块的岛盖颜色的深浅；

根据所述岛盖颜色的判断结果匹配对应的所述针尖模板图像。

可选的，在所述确定所述待定位探针针尖的位置之后，还包括：

标记所述位置。

本申请还提供一种基于图像识别的定位装置，包括：

获取模块，用于获取针尖主体在放大设备中处于清晰状态时的针尖主体图像；

针尖模板确定模块，用于对所述针尖主体图像进行二值化处理，并确定针尖的位置，得到针尖模板图像；

针尖确定模块，用于将待定位探针针尖在放大设备中的二值化图像与所述针尖模板图像匹配，确定所述待定位探针针尖的位置；

接触和推动模块，用于控制定位后探针针尖与微型块接触，并进行推动。

本申请还提供一种基于图像识别的定位设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现上述任一种所述基于图像识别的定位方法的步骤。

本申请所提供的一种基于图像识别的定位方法，包括：获取针尖主体在放大设备中处于清晰状态时的针尖主体图像；对所述针尖主体图像进行二值化处理，并确定针尖的位置，得到针尖模板图像；将待定位探针针尖在放大设备中的二值化图像与所述针尖模板图像匹配，确定所述待定位探针针尖的位置；控制定位后探针针尖与微型块接触，并进行推动。

可见，本申请中在推动前，对针尖主体在放大设备中处于清晰状态时的针尖主体图像进行二值化处理，针尖主体颜色为黑色，其余部分为白色，去除图像中其他部分的干扰，进而在二值化处理的针尖主体图像中确定针尖的位置，由于针尖主体图像是清晰的，二值化处理后针尖主体也是清晰的，在二值化的针尖主体图像中确定出针尖的位置得到针尖模板图像，针尖模板图像中针尖的位置可以确定至几个像素点，针尖模板图像中针尖的形态轮廓非常准确，再利用针尖模板图像与待定位探针针尖的二值化图像进行匹配，从而确定待定位探针针尖的位置，所以待定位探针针尖的位置非常准确，提升了待定位探针针尖定位的准确性，进而提升探针针尖与微型块结接触的准确性。

此外，本申请还提供一种具有上述优点的装置和设备。

附图说明

为了更清楚的说明本申请实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例所提供的一种基于图像识别的定位方法的流程图；

图2为探针与微型块的接触结构示意图；

图3为本申请实施例所提供的控制针尖与微型块接触的流程图；

图4为本申请实施例提供的一种基于图像识别的定位装置的结构框图；

图5为本申请实施例提供的一种基于图像识别的定位设备的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面结合附图和具体实施方式对本申请作进一步的详细说明。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

正如背景技术部分所述，目前在对针尖进行定位时，采用阈值分割法对探针图像中针尖进行定位，阈值分割法中的设定的阈值主要是根据经验进行设定的，阈值比较单一和固定，当环境等因素，比如光照，发生改变时，无法对阈值进行精确的调整，鲁棒性较差，从而导致定位的准确性差，影响推岛过程的稳定性。

有鉴于此，本申请提供一种基于图像识别的定位方法，请参考图1，图1为本申请实施例所提供的一种基于图像识别的定位方法的流程图，该方法包括：

步骤S101：获取针尖主体在放大设备中处于清晰状态时的针尖主体图像。

针尖主体图像由摄像元件采集得到，针尖主体图像为彩色图像，针尖主体图像中包括针尖主体和微型块；放大设备可以为显微镜。

步骤S102：对所述针尖主体图像进行二值化处理，并确定针尖的位置，得到针尖模板图像。

本申请中对二值化处理的方式不做具体限定，可自行选择。例如，二值化处理的方式可以为最大类间方差法，迭代阈值法，P分位法，基于最小误差的全局阈值法，局部阈值法等等。具体的处理过程已为本领域技术人员所熟知，此处不再详细赘述。

针尖模板图像中针尖主体部分为黑色，其余部分为白色，在确定针尖的位置时，可以将针尖的位置确定到几个像素点程度，针尖形态轮廓的准确性非常高。

步骤S103：将待定位探针针尖在放大设备中的二值化图像与所述针尖模板图像匹配，确定所述待定位探针针尖的位置。

需要指出的是，本申请中待定位探针针尖的图像和针尖模板图像均为二值化形式的图像，目的是在二值化处理后只留下黑色的探针部分，其余部分几乎全为白色，消除图像中除探针部分的影响，提升定位的准确性。

本申请中对待定位探针针尖的二值化图像与针尖模板图像的匹配的方式不做具体限定，可自行设置。例如，可以采用卷积进行匹配，当两个图像越接近，卷积结果越大，对待定位探针针尖的定位也越准确；或者采用平均绝对差算法、绝对误差和算法、误差平方和算法、平均误差平方和算法、归一化积相关算法等等。具体的匹配过程已为本领域技术人员所熟知，此处不再详细赘述。

本申请针尖定位的误差在0.5μm以内。

为了便于操作人员观察到针尖位置，在所述确定所述待定位探针针尖的位置之后，还包括：

标记所述位置。

步骤S104：控制定位后探针针尖与微型块接触，并进行推动。

推动时，可以将探针针尖与微型块的中心接触。

在推动时，为了增大探针与微型块的接触摩擦力，还可以在微型块的表面覆盖岛盖，岛盖材料的不同使得岛盖呈现不同的深浅颜色，例如岛盖材料为金或铝时，岛盖为浅色岛盖；当岛盖材料为二氧化硅或者氮化硅时，岛盖为深色岛盖。

当微型块为超滑岛，且其上具有岛盖时，针尖主体图像中的微型块上具有对应颜色的岛盖，因此得到的针尖模板图像也对应岛盖的不同而不同，即针尖模板图像包括与浅色岛盖对应的针尖模板像和与深色岛盖对应的针尖模板图像。

进一步的，在所述将待定位探针针尖在放大设备中的二值化图像与所述针尖模板图像匹配之前，还包括：

判断所述微型块的岛盖颜色的深浅；

根据所述岛盖颜色的判断结果匹配对应的所述针尖模板图像。

当微型块岛盖颜色为深色时，则选择深色岛盖对应的针尖模板图像进行匹配，当微型块岛盖颜色为浅色时，则选择浅色岛盖对应的针尖模板图像进行匹配。

本申请中在推动前，对针尖主体在放大设备中处于清晰状态时的针尖主体图像进行二值化处理，针尖主体颜色为黑色，其余部分为白色，去除图像中其他部分的干扰，进而在二值化处理的针尖主体图像中确定针尖的位置，由于针尖主体图像是清晰的，二值化处理后针尖主体也是清晰的，在二值化的针尖主体图像中确定出针尖的位置得到针尖模板图像，针尖模板图像中针尖的位置可以确定至几个像素点，针尖模板图像中针尖的形态轮廓非常准确，再利用针尖模板图像与待定位探针针尖的二值化图像进行匹配，从而确定待定位探针针尖的位置，所以待定位探针针尖的位置也非常准确，提升了待定位探针针尖定位的准确性，进而提升探针针尖与微型块结接触的准确性。

当控制探针针尖与微型块的中心重叠从而使针尖与微型块接触时，由于针尖是弧形的，探针1与微型块2的接触点实际上并不是微型块的中心，如图2所示，其中a为探针与微型块的接触点，b为微型块的中心，c为针尖，此时推动的稳定性差。为了解决这一问题，在本申请的一个实施例中，请参考图3，图3为控制针尖与微型块接触的流程图，所述控制定位后探针针尖与微型块接触包括：

步骤S201：确定位于图像中目标微型块的中心；所述图像与所述二值化图像对应。

图像与二值化图像对应，即目标微型块与定位后探针在同一视野中。

目标微型块上具有岛盖，目标微型块的中心与岛盖的中心在垂直方向上重合。

其中，所述确定位于图像中目标微型块的中心包括：

步骤S2011：通过目标检测算法确定所述目标微型块的位置；

步骤S2012：根据所述目标微型块的位置确定所述中心。

需要说明的是，本申请中对具体的目标检测算法不做限定，可自行选择。例如，目标检测算法可以为YOLO(You Only Look Once)算法，或者SSD(Single Shot MultiBoxDetector)算法，或者Faster R-CNN算法等等。在检测出目标微型块的位置后，可以根据目标微型块的位置确定目标微型块的中心位置。

为了便于操作人员观察到目标微型块的中心，在所述确定位于图像中目标微型块的中心之后，还包括：

标记所述中心。

需要指出的是，本申请中对图像的种类不做具体限定，视情况而定。图像可以为彩色图像或者灰度图像。为了提升中心确定的准确性，图像为灰度图像。

当图像为灰度图像时，所述图像的获得过程包括：

获得包括所述定位后探针针尖和所述目标微型块的彩色图像；

对所述彩色图像进行灰度处理，得到所述图像。

步骤S202：移动所述定位后探针针尖，使所述定位后探针针尖与所述中心在垂直方向上重合。

步骤S203：控制探针接触并按压所述目标微型块的岛盖，使所述岛盖上出现凹坑。

在探针上施加较大的压力，会在岛盖上压出光镜，观察到圆形的凹坑。本步骤中的探针即为定位后探针针尖所在的探针。

可以理解的是，凹坑的位置即为探针与目标微型块岛盖的接触位置，凹坑位置并不是岛盖的中心位置。

步骤S204：确定所述凹坑与所述中心的距离。

通过两点间距离公式即可得到凹坑与中心的距离。

步骤S205：根据所述距离调整所述探针与所述岛盖的接触位置为所述中心。

探针的调整距离为凹坑与中心的距离，使得接触位置与中心重合，按压位置偏差在0.5μm以内，提升探针与微型块接触位置的准确性，从而提升微型块转移的成功率。

在上述实施例的基础上，在本申请的一个实施例中，在所述确定位于图像中所述微型块的中心之前，还包括：

在距离所述定位后探针针尖预设范围内，确定与所述定位后探针针尖距离最近的微型块为所述目标微型块。

需要进行推动的微型块为多个时，微型块一般以阵列形式排布，为了提升推动的速度，在探针针尖的预设范围内，将距离探针针尖最近的微型块作为目标微型块，依次进行推动，直至完成所有的微型块移动，避免来回反复移动探针随机选取目标微型块进行移动，提升推动速度。

本申请中对预设范围不做具体限定，例如预设范围可以为针尖位置向右2×2微型块阵列，或者针尖位置向下3×3微型块阵列，等等。

下面以微型块阵列为石墨岛阵列、岛盖颜色为深色为例对本申请中的基于图像识别的定位方法进行阐述。

步骤1、调节显微镜焦距使探针针尖处于清晰状态，在针尖附近采集针尖主体图像；

步骤2、对针尖主体图像进行二值化处理，确定针尖的位置，得到针尖模板图像；

步骤3、采集待定位探针针尖和石墨岛阵列的图像并进行二值化处理，得到二值化图像，并将二值化图像与针尖模板图像做卷积，确定针尖的位置；

步骤4、以针尖向右2×2石墨岛阵列的范围内，选取距离针尖最近的石墨岛，并确定石墨岛岛盖的中心；

步骤5、控制探针针尖与石墨岛岛盖中心重叠，使探针与石墨岛岛盖接触并向探针施加压力，在石墨岛岛盖上出现凹坑；

步骤6、确定凹坑与石墨岛岛盖中心的距离；

步骤7、根据凹坑与岛盖中心的距离对探针与石墨岛岛盖的接触位置进行校准，移动探针的位置使得探针与石墨岛岛盖的中心接触，进行推岛。

下面对本申请实施例提供的基于图像识别的定位装置进行介绍，下文描述的基于图像识别的定位装置与上文描述的基于图像识别的定位方法可相互对应参照。

图4为本申请实施例提供的基于图像识别的定位装置的结构框图，参照图4基于图像识别的定位装置可以包括：

获取模块100，用于获取针尖主体在放大设备中处于清晰状态时的针尖主体图像；

针尖模板确定模块200，用于对所述针尖主体图像进行二值化处理，并确定针尖的位置，得到针尖模板图像；

针尖确定模块300，用于将待定位探针针尖在放大设备中的二值化图像与所述针尖模板图像匹配，确定所述待定位探针针尖的位置；

接触和推动模块400，用于控制定位后探针针尖与微型块接触，并进行推动。

本实施例的基于图像识别的定位装置用于实现前述的基于图像识别的定位方法，因此基于图像识别的定位装置中的具体实施方式可见前文中的基于图像识别的定位方法的实施例部分，例如，获取模块100，针尖模板确定模块200，针尖确定模块300，接触和推动模块400，分别用于实现上述基于图像识别的定位方法中步骤S101，S102，S103和S104，所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述。

可选的，接触和推动模块400包括：

第一确定单元，用于确定位于图像中目标微型块的中心；所述图像与所述二值化图像对应；

移动单元，用于移动所述定位后探针针尖，使所述定位后探针针尖与所述中心在垂直方向上重合；

接触和按压单元，用于控制探针接触并按压所述目标微型块的岛盖，在所述岛盖上出现凹坑；

第二确定单元，用于确定所述凹坑与所述中心的距离；

调整单元，用于根据所述距离调整所述探针与所述岛盖的接触位置为所述中心。

可选的，基于图像识别的定位装置还包括：

确定模块，用于在距离所述定位后探针针尖预设范围内，确定与所述定位后探针针尖距离最近的微型块为所述目标微型块。

可选的，基于图像识别的定位装置还包括：

彩色图像获得模块，用于获得包括所述定位后探针针尖和所述目标微型块的彩色图像；

灰度处理模块，用于对所述彩色图像进行灰度处理，得到所述图像。

可选的，第一确定单元包括：

第一确定子单元，用于通过目标检测算法确定所述目标微型块的位置；

第二确定子单元，用于根据所述目标微型块的位置确定所述中心。

可选的，基于图像识别的定位装置还包括：

第一标记模块，用于标记所述中心。

可选的，基于图像识别的定位装置还包括：

判断模块，用于判断所述微型块的岛盖颜色的深浅；

匹配模块，用于根据所述岛盖颜色的判断结果匹配对应的所述针尖模板图像。

可选的，基于图像识别的定位装置还包括：

第二标记模块，用于标记所述位置。

下面对本申请实施例提供的基于图像识别的定位设备进行介绍，下文描述的基于图像识别的定位设备与上文描述的基于图像识别的定位方法可相互对应参照。

图5为本申请实施例提供的基于图像识别的定位设备的结构框图，基于图像识别的定位设备包括：

存储器11，用于存储计算机程序；

处理器12，用于执行所述计算机程序时实现上述任一实施例所述基于图像识别的定位方法的步骤。

本申请还提供一种系统，包括上述实施例所述的基于图像识别的定位设备和操作器，操作器用于控制探针针尖的移动和监控针尖受力，操作器可以是机械手、位移平台等。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本申请所提供的基于图像识别的定位方法、装置和设备进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

Claims (11)

1.一种基于图像识别的定位方法，其特征在于，包括：

获取针尖主体在放大设备中处于清晰状态时的针尖主体图像；

对所述针尖主体图像进行二值化处理，并确定针尖的位置，得到针尖模板图像；

将待定位探针针尖在放大设备中的二值化图像与所述针尖模板图像匹配，确定所述待定位探针针尖的位置；

控制定位后探针针尖与微型块接触，并进行推动。

2.如权利要求1所述的基于图像识别的定位方法，其特征在于，所述微型块包括超滑块，尺寸为1μm至100μm。

3.如权利要求2所述的基于图像识别的定位方法，其特征在于，所述控制定位后探针针尖与微型块接触包括：

确定位于图像中目标微型块的中心；所述图像与所述二值化图像对应；

移动所述定位后探针针尖，使所述定位后探针针尖与所述中心在垂直方向上重合；

控制探针接触并按压所述目标微型块的岛盖，使所述岛盖上出现凹坑；

确定所述凹坑与所述中心的距离；

根据所述距离调整所述探针与所述岛盖的接触位置为所述中心。

4.如权利要求3所述的基于图像识别的定位方法，其特征在于，在所述确定位于图像中所述微型块的中心之前，还包括：

在距离所述定位后探针针尖预设范围内，确定与所述定位后探针针尖距离最近的微型块为所述目标微型块。

5.如权利要求3所述的基于图像识别的定位方法，其特征在于，所述图像的获得过程包括：

获得包括所述定位后探针针尖和所述目标微型块的彩色图像；

对所述彩色图像进行灰度处理，得到所述图像。

6.如权利要求3所述的基于图像识别的定位方法，其特征在于，所述确定位于图像中目标微型块的中心包括：

通过目标检测算法确定所述目标微型块的位置；

根据所述目标微型块的位置确定所述中心。

7.如权利要求3所述的基于图像识别的定位方法，其特征在于，在所述确定位于图像中目标微型块的中心之后，还包括：

标记所述中心。

8.如权利要求2所述的基于图像识别的定位方法，其特征在于，在所述将待定位探针针尖在放大设备中的二值化图像与所述针尖模板图像匹配之前，还包括：

判断所述微型块的岛盖颜色的深浅；

根据所述岛盖颜色的判断结果匹配对应的所述针尖模板图像。

9.如权利要求1至8任一项所述的基于图像识别的定位方法，其特征在于，在所述确定所述待定位探针针尖的位置之后，还包括：

标记所述位置。

10.一种基于图像识别的定位装置，其特征在于，包括：

获取模块，用于获取针尖主体在放大设备中处于清晰状态时的针尖主体图像；

针尖模板确定模块，用于对所述针尖主体图像进行二值化处理，并确定针尖的位置，得到针尖模板图像；

针尖确定模块，用于将待定位探针针尖在放大设备中的二值化图像与所述针尖模板图像匹配，确定所述待定位探针针尖的位置；

接触和推动模块，用于控制定位后探针针尖与微型块接触，并进行推动。

11.一种基于图像识别的定位设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至9任一项所述基于图像识别的定位方法的步骤。

Images