CN111191557B - 一种标志识别定位方法、标志识别定位装置及智能设备 - Google Patents
一种标志识别定位方法、标志识别定位装置及智能设备 Download PDFInfo
- Publication number
- CN111191557B CN111191557B CN201911354811.0A CN201911354811A CN111191557B CN 111191557 B CN111191557 B CN 111191557B CN 201911354811 A CN201911354811 A CN 201911354811A CN 111191557 B CN111191557 B CN 111191557B
- Authority
- CN
- China
- Prior art keywords
- mark
- target
- screened
- positioning
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000012216 screening Methods 0.000 claims abstract description 34
- 239000003550 marker Substances 0.000 claims description 31
- 230000009466 transformation Effects 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 230000009471 action Effects 0.000 claims description 4
- 239000003086 colorant Substances 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 abstract description 8
- 230000008569 process Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种标志识别定位方法、标志识别定位装置、智能设备及计算机可读存储介质，其中该方法包括：采集实时环境图像；在所述实时环境图像中，根据预设的边界外框与预设的锚点形状筛选得到一个以上候选标志；识别各个候选标志的标志ID；根据各个候选标志的标志ID，在候选标志中确定目标标志，并根据所述目标标志定位。通过本申请方案，可实现智能设备对特殊标志的实时视觉定位，并能够以此快速确定智能设备当前所在位置。
Description
技术领域
本申请属于视觉定位技术领域，尤其涉及一种标志识别定位方法、标志识别定位装置、智能设备及计算机可读存储介质。
背景技术
目前具有视觉定位功能的标志主要有二维码和ArUco码。然而，在机器人领域中，大部分机器人所使用的是嵌入式硬件平台上，这就要求嵌入式硬件平台需要较高的算力才能实现对二维码或ArUco码的实时监测及定位。
发明内容
有鉴于此，本申请提供了一种标志识别定位方法、标志识别定位装置、智能设备及计算机可读存储介质，可实现智能设备对特殊标志的实时视觉定位，并能够以此快速确定智能设备当前所在位置。
本申请的第一方面提供了一种标志识别定位方法，包括：
采集实时环境图像；
在所述实时环境图像中，根据预设的边界外框与预设的锚点形状筛选得到一个以上候选标志；
识别各个候选标志的标志ID；
根据各个候选标志的标志ID，在候选标志中确定目标标志；
根据所述目标标志定位。
本申请的第二方面提供了一种标志识别定位装置，包括：
采集单元，用于采集实时环境图像；
筛选单元，用于在所述实时环境图像中，根据预设的边界外框与预设的锚点形状筛选得到一个以上候选标志；
识别单元，用于识别各个候选标志的标志ID；
确定单元，用于根据各个候选标志的标志ID，在候选标志中确定目标标志；
定位单元，用于根据所述目标标志定位。
本申请的第三方面提供了一种智能设备，上述智能设备包括存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序，上述处理器执行上述计算机程序时实现如上第一方面的方法的步骤。
本申请的第四方面提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序被处理器执行时实现如上第一方面的方法的步骤。
本申请的第五方面提供了一种计算机程序产品，上述计算机程序产品包括计算机程序，上述计算机程序被一个或多个处理器执行时实现如上述第一方面的方法的步骤。
由上可见，本申请方案提出了一种新的特殊标志，为了识别这一特殊标志，首先采集实时环境图像，然后在所述实时环境图像中，根据预设的边界外框与预设的锚点形状筛选得到一个以上候选标志，接着识别各个候选标志的标志ID，最后根据各个候选标志的标志ID，在候选标志中确定目标标志，并根据该目标标志定位。上述对特殊标志的识别过程不再要求嵌入式硬件平台具备较高的算力，可在不增加成本的前提下实现智能设备对特殊标志的实时视觉定位，并能够以此快速确定智能设备当前所在位置。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的标志识别定位方法的实现流程示意图；
图2是本申请实施例提供的特殊标志的示意图；
图3是本申请实施例提供的标志识别定位方法中，步骤105的具体实现流程示意图；
图4是本申请实施例提供的标志识别定位装置的结构框图；
图5是本申请实施例提供的标志识别定位装置中，定位单元的结构框图；
图6是本申请实施例提供的智能设备的示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
本申请实施例的一种标志识别定位方法及标志识别定位装置可应用于机器人、无人车及室内无人机等能够自行控制移动的智能设备中。为了说明本申请所提出的技术方案，下面通过具体实施例来进行说明。
实施例一
以下实施例将以智能设备为机器人为例，对本申请实施例提供的标志识别定位方法进行说明。请参阅图1，本申请实施例中的标志识别定位方法包括：
步骤101，采集实时环境图像；
在本申请实施例中，机器人身上可以预先搭载有一个或多个摄像头，基于此，可以通过机器人身上所搭载的摄像头采集机器人所处环境的实时环境图像。可选地，考虑到只有在机器人移动时才可能需要对其自身所处环境进行确认，因而，可以首先检测机器人是否处于移动状态；若上述机器人处于移动状态，则可通过机器人搭载的摄像头采集实时环境图像；若上述机器人处于静止状态，则无需启动摄像头。进一步地，由于机器人的移动速度往往不会太高，机器人在短时间段的位移往往较小，基于此，可以是通过机器人搭载的摄像头周期性的采集实时环境图像，避免摄像头长时间处于工作状态下，带来机器人系统资源的浪费。
步骤102，在上述实时环境图像中，根据预设的边界外框与预设的锚点形状筛选得到一个以上候选标志；
在本申请实施例中，提出一种新型的特殊标志。为了更好的说明本申请实施例的各个步骤，下面先对该特殊标志作出说明，如图2所示：标志中共有四个圆，包括三个大圆及一个小圆，这四个圆在实际应用中被设定不同的颜色，例如，左上角的大圆可以被设定为红色，左下角的大圆可以被设定为蓝色，右上角的大圆可以被设定为绿色，以凸显该标志。这三个大圆具体为主定位圆，其作用为决定了标志的原点和坐标轴的方向；小圆为辅定位圆，其和三个大圆一起形成了四个定位锚点，共同决定了标志坐标系和相机坐标系之间的关系。具体地，在标志坐标系中，以左上角的大圆作为标志坐标系的原点，左上角大圆与右上角大圆构建了标志坐标系的X轴，左上角大圆与左下角大圆构建了标志坐标系的Y轴，Z轴则由右手坐标系确定。进一步地，标志的中间设置有标志ID，在图2中由字符A表示，当然，该标志ID也可以是其他任意字符，此处不作限定。上述标志的边界外框为圆弧形方框的样式，该边界外框可以被设定为灰色，通过上述边界外框，可以较快定位到标志；上述标志内部的四个定位锚点近似构成一矩形，考虑到机器人从不同角度观察到上述标志时，定位锚点所构成的形状会发生形变，因而，此处可以设定锚点形状为平行四边形。
为了准确识别得到环境中的标志，在获得了实时环境图像后，机器人可以根据预设的边界外框与预设的锚点形状筛选得到一个以上候选标志，也即是说，筛选后所得到的这些候选标志都有着相同或相似的结构。进一步地，上述步骤102可以表现为：
A1、对上述实时环境图像进行目标识别，得到一个以上待筛选图案；
其中，机器人在获取到实时环境图像后，可以先对该实时环境图像进行目标识别，以得到该实时环境图像中所存在的所有目标，也即待筛选图案。可选地，若无法在上述实时环境图像中通过目标识别得到任何待筛选图案，则可认为机器人当前环境中暂无任何与标志相关的内容，可以先丢弃这一帧实时环境图像，并等待采集到下一帧实时环境图像后再进行筛选及识别的操作。
A2、提取得到各个待筛选图案的轮廓；
其中，在得到一个以上待筛选图案后，可以进一步继续获取各个待筛选图案的轮廓，具体地，可以是先通过自适应阈值分别对各个待筛选图案进行分割，得到各个待筛选图案的初步轮廓，然后为了得到较为平滑的轮廓线条，可以再对各个待筛选图案的初步轮廓进行轮廓滤波处理，以去除掉噪点，得到各个待筛选图案的较为平滑的轮廓。
A3、分别将各个待筛选图案的轮廓与上述边界外框进行匹配；
其中，通过对本申请实施例所提出的特殊标志的说明可知，该特殊标志具有其特有的边界外框，表现为圆弧形方框的样式，基于此，可以将各个待筛选图案的轮廓分别与预设的边界外框进行匹配。
A4、若存在待筛选标志，则检测上述待筛选标志是否满足预设的筛选条件；
其中，若一待筛选图案的轮廓能够与上述预设的边界外框匹配，则可初步将该待筛选图案确定为待筛选标志，以便后续进一步进行筛选操作。具体地，可再获取上述待筛选标志内部所包含的定位锚点，并通过预设的筛选条件对上述待筛选标志进行检测，上述筛选条件为：上述待筛选标志内部所包含的定位锚点的数量为预设数量，且定位锚点的中心之间的连线能够构建上述锚点形状。通过附图2可知，上述预设数量为4；上述锚点形状为平行四边形；也即，当某一待筛选标志包含有四个定位锚点，且这四个定位锚点能够形成平行四边形时，才能够确定该待筛选标志为候选标志。反之，若一待筛选图案的轮廓无法与预设的边界外框匹配，则认为该待筛选图案实际并不是机器人所关注的特殊标志，此时可以筛除掉该待筛选图案，不再对其进行后续操作；或者，若一待筛选标志中不满足预设的筛选条件，则认为该待筛选标志实际并不是机器人所关注的特殊标志，此时可以筛除掉该待筛选标志，不再对其进行后续操作；
A5、将满足上述筛选条件的待筛选标志确定为候选标志。
步骤103，识别各个候选标志的标志ID；
在本申请实施例中，在筛选得到一个以上候选标志后，可继续识别各个候选标志的标志ID。不同标志的标志ID是不一样的，可以认为，在一个环境下，标志ID可以唯一的指代一个特殊标志。也即，处于同一环境下的不同特殊标志的标志ID不会出现重复的情况。可选地，上述步骤103包括：
B1、基于目标候选标志中的定位锚点，对上述目标候选标志进行定位；
其中，由于本申请方案对每一候选标志进行标志ID的识别时，其处理流程均一样，因而此处为了更清楚的说明上述步骤103的操作，将任一候选标志确定为上述目标候选标志来对步骤103的具体实现流程作出解释及说明。也即，每一候选标志均可以被确定为目标候选标志并执行步骤B1至B3的操作。具体地，上述定位锚点指的就是图2中的三个大圆及一个小圆，也即，标志中的这三个大圆及一个小圆构成了候选标志的定位锚点。
B2、根据上述目标候选标志中的定位锚点在上述实时环境图像中的位置，对上述目标候选标志进行透视变换，得到上述目标候选标志的正视图；
其中，由于目标候选标志是预先设定好的，因而，机器人实际上已经预先知道了上述目标候选标志在现实生活中的物理尺寸；也就是说，上述目标候选标志上的四个定位锚点(也即图2中的四个圆)的实际物理坐标对于机器人来说是已知的。在步骤B2中，机器人又已经进一步获得了上述目标候选标志中的定位锚点在上述实时环境图像中的位置，也即，获得了四个定位锚点在上述实时环境图像中对应的像素坐标，因而，机器人可以根据相机的透视投影模型，获得上述目标候选标志的正视图。
B3、对上述正视图进行图像识别，以确定上述目标候选标志的标志ID。
其中，在获得上述目标候选标志的正视图之后，即可直接对该正视图进行图像识别，具体为识别该正视图中所包含的字符串，以获知上述目标候选标志的标志ID。
步骤104，根据各个候选标志的标志ID，在候选标志中确定目标标志；
在本申请实施例中，可通过机器人内部所搭载的已训练好的模型依次检测各个候选标志的标志ID，以确定哪些候选标志的标志ID是合法的，哪些候选标志的标志ID是非法的，通过这一过程即可确定得到一具备合法的标志ID的候选标志，该候选标志即为目标标志。
步骤105，根据上述目标标志定位。
在本申请实施例中，由于目标标志是一种特殊标志，其内部所包含的四个定位锚点可用于定位；因而，在确定了目标标志后，即可基于该目标标志进行定位操作。可选地，请参阅图3，上述步骤105具体包括：
步骤1051，获取相机参数及畸变系数；
在本申请实施例中，可以获取机器人等智能设备上所搭载的摄像头的相机参数，其中，上述相机参数具体包括相机外参及相机内参，上述畸变系数包括径向畸变系数及切向畸变系数。
步骤1052，获取上述目标标志的图像坐标和对应的空间物理坐标；
在本申请实施例中，与上述步骤B2类似的，由于目标标志是预先设定好的，因而，机器人实际上已经预先知道了上述目标标志在现实生活中的物理尺寸；也就是说，上述目标标志上的四个定位锚点(也即图2中的四个圆)的实际物理坐标对于机器人来说是已知的，基于此，上述目标标志的图像坐标和对应的空间物理坐标也随即可以确定。
步骤1053，基于上述相机参数、上述畸变系数、上述目标标志的图像坐标和对应的空间物理坐标，得到标志坐标系和相机坐标系之间的坐标变换关系；
在本申请实施例中，可以根据相机的透视投影模型，采用Perspective N-Point(PNP)以及已知的上述相机参数、上述畸变系数、上述目标标志的图像坐标和对应的空间物理坐标，解算出标志坐标系和相机坐标系之间的位置关系，也即标志坐标系和相机坐标系之间的坐标变换关系。
步骤1054，根据上述坐标变换关系，确定待定位装置与上述目标标志的相对位置。
在本申请实施例中，上述待定位装置实际指代的即为应用本申请实施例的方案的机器人、无人车及室内机器人等智能设备。当已知标志坐标系和相机坐标系之间的坐标变换关系时，也就得到了目标标志与相机(也即摄像头)之间的位置关系，而摄像头又是搭载在智能设备身上的，因而，上述目标标志与相机之间的位置关系也就可以作为目标标志与智能设备之间的位置关系，基于此，可以确定智能设备与上述目标标志的相对位置。进一步地，在确定了上述智能设备与上述目标标志的相对位置后，由于目标标志在全局地图中的位置是已知的，因而可以再根据上述智能设备与上述目标标志的相对位置，确定上述智能设备在全局地图中的位置，并随后根据上述智能设备在上述全局地图中的位置以及本次行动的目的地，更新导航路线，智能设备由此可以实现自主导航。
由上可见，通过本申请实施例，提出了一种新型的特殊标志，机器人、无人车及室内无人机等智能设备在行走的过程中可以通过轮廓提取及标志ID识别等操作识别出目标标志，可实现对特殊标志的识别及定位，在此基础上实现智能设备的自主导航。上述对特殊标志的识别过程不再要求嵌入式硬件平台具备较高的算力，可在不增加成本的前提下实现智能设备对特殊标志的实时视觉定位。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
实施例二
本申请实施例二提供了一种标志识别定位装置，上述标志识别定位装置可集成于机器人、无人车及室内无人机等能够自行控制移动的智能设备中，如图4所示，本申请实施例中的标志识别定位装置400包括：
采集单元401，用于采集实时环境图像；
筛选单元402，用于在上述实时环境图像中，根据预设的边界外框与预设的锚点形状筛选得到一个以上候选标志；
识别单元403，用于识别各个候选标志的标志ID；
确定单元404，用于根据各个候选标志的标志ID，在候选标志中确定目标标志；
定位单元405，用于根据上述目标标志定位。
可选地，请参阅图5，上述定位单元405包括：
相机参数获取子单元4051，用于获取相机参数及畸变系数；
坐标参数获取子单元4052，用于获取上述目标标志的图像坐标和对应的空间物理坐标；
变换关系确定子单元4053，用于基于上述相机参数、上述畸变系数、上述目标标志的图像坐标和对应的空间物理坐标，得到标志坐标系和相机坐标系之间的坐标变换关系；
相对位置确定子单元4054，用于根据上述坐标变换关系，确定待定位装置与上述目标标志的相对位置。
可选地，上述标志识别定位装置400还包括：
地图位置确定单元，用于根据上述待定位装置与上述目标标志的相对位置，确定上述待定位装置在全局地图中的位置；
导航路线更新单元，用于根据上述待定位装置在上述全局地图中的位置以及本次行动的目的地，更新导航路线。
可选地，上述筛选单元402，包括：
目标识别子单元，用于对上述实时环境图像进行目标识别，得到一个以上待筛选图案；
轮廓提取子单元，用于提取得到各个待筛选图案的轮廓；
轮廓匹配子单元，用于分别将各个待筛选图案的轮廓与上述边界外框进行匹配；
锚点检测子单元，用于若存在待筛选标志，则检测上述待筛选标志是否满足预设的筛选条件，其中，上述待筛选标志为轮廓与上述边界外框匹配成功的待筛选图案，上述筛选条件为：上述待筛选标志中包含有预设数量的定位锚点，且定位锚点的中心之间的连线能够构建上述锚点形状；
候选确定子单元，用于将满足上述筛选条件的待筛选标志确定为候选标志。
可选地，上述轮廓提取子单元，包括：
分割子单元，用于通过自适应阈值分别对各个待筛选图案进行分割，得到各个待筛选图案的初步轮廓；
滤波子单元，用于对各个待筛选图案的初步轮廓进行轮廓滤波处理，得到各个待筛选图案的轮廓。
可选地，上述识别单元403，包括：
锚点定位子单元，用于定位目标候选标志中的定位锚点，其中，上述目标候选标志为任一候选标志；
透视变换子单元，用于根据上述目标候选标志中的定位锚点在上述实时环境图像中的位置，对上述目标候选标志进行透视变换，得到上述目标候选标志的正视图；
标志ID确定子单元，用于对上述正视图进行图像识别，以确定上述目标候选标志的标志ID。
由上可见，通过本申请实施例，提出了一种新型的特殊标志，机器人、无人车及室内无人机等智能设备在行走的过程中可以通过轮廓提取及标志ID识别等操作识别出目标标志，可实现对特殊标志的识别及定位，在此基础上实现智能设备的自主导航。上述对特殊标志的识别过程不再要求嵌入式硬件平台具备较高的算力，可在不增加成本的前提下实现智能设备对特殊标志的实时视觉定位。
实施例三
本申请实施例三提供了一种智能设备，上述智能设备可以是机器人、无人车及室内无人机等，此处不作限定。请参阅图6，本申请实施例中的智能设备6包括：存储器601，一个或多个处理器602(图6中仅示出一个)及存储在存储器601上并可在处理器上运行的计算机程序。其中：存储器601用于存储软件程序以及模块，处理器602通过运行存储在存储器601的软件程序以及单元，从而执行各种功能应用以及数据处理，以获取上述预设事件对应的资源。具体地，处理器602通过运行存储在存储器601的上述计算机程序时实现以下步骤：
采集实时环境图像；
在上述实时环境图像中，根据预设的边界外框与预设的锚点形状筛选得到一个以上候选标志；
识别各个候选标志的标志ID；
根据各个候选标志的标志ID，在候选标志中确定目标标志；
根据上述目标标志定位。
假设上述为第一种可能的实施方式，则在第一种可能的实施方式作为基础而提供的第二种可能的实施方式中，上述根据上述目标标志定位，包括：
获取相机参数及畸变系数；
获取上述目标标志的图像坐标和对应的空间物理坐标；
基于上述相机参数、上述畸变系数、上述目标标志的图像坐标和对应的空间物理坐标，得到标志坐标系和相机坐标系之间的坐标变换关系；
根据上述坐标变换关系，确定待定位装置与上述目标标志的相对位置。
在上述二种可能的实施方式作为基础而提供的第三种可能的实施方式中，在上述根据上述坐标变换关系，确定待定位装置与上述目标标志的相对位置之后，处理器602通过运行存储在存储器601的上述计算机程序时还实现以下步骤：
根据上述待定位装置与上述目标标志的相对位置，确定上述待定位装置在全局地图中的位置；
根据上述待定位装置在上述全局地图中的位置以及本次行动的目的地，更新导航路线。
在上述一种可能的实施方式作为基础，或者上述二种可能的实施方式作为基础，或者上述三种可能的实施方式作为基础而提供的第四种可能的实施方式中，上述在上述实时环境图像中，根据预设的边界外框与预设的锚点形状筛选得到一个以上候选标志，包括：
对上述实时环境图像进行目标识别，得到一个以上待筛选图案；
提取得到各个待筛选图案的轮廓；
分别将各个待筛选图案的轮廓与上述边界外框进行匹配；
若存在待筛选标志，则检测上述待筛选标志是否满足预设的筛选条件，其中，上述待筛选标志为轮廓与上述边界外框匹配成功的待筛选图案，上述筛选条件为：上述待筛选标志中包含有预设数量的定位锚点，且定位锚点的中心之间的连线能够构建上述锚点形状；
将满足上述筛选条件的待筛选标志确定为候选标志。
在上述第四种可能的实施方式作为基础而提供的第五种可能的实施方式中，上述提取得到各个待筛选图案的轮廓，包括：
通过自适应阈值分别对各个待筛选图案进行分割，得到各个待筛选图案的初步轮廓；
对各个待筛选图案的初步轮廓进行轮廓滤波处理，得到各个待筛选图案的轮廓。
在上述一种可能的实施方式作为基础，或者上述二种可能的实施方式作为基础，或者上述三种可能的实施方式作为基础而提供的第六种可能的实施方式中，上述识别各个候选标志的标志ID，包括：
定位目标候选标志中的定位锚点，其中，上述目标候选标志为任一候选标志；
根据上述目标候选标志中的定位锚点在上述实时环境图像中的位置，对上述目标候选标志进行透视变换，得到上述目标候选标志的正视图；
对上述正视图进行图像识别，以确定上述目标候选标志的标志ID。
应当理解，在本申请实施例中，所称处理器602可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器601可以包括只读存储器和随机存取存储器，并向处理器602提供指令和数据。存储器601的一部分或全部还可以包括非易失性随机存取存储器。例如，存储器601还可以存储设备类别的信息。
由上可见，通过本申请实施例，提出了一种新型的特殊标志，智能设备在行走的过程中可以通过轮廓提取及标志ID识别等操作识别出目标标志，可实现对特殊标志的识别及定位，在此基础上实现智能设备的自主导航。上述对特殊标志的识别过程不再要求嵌入式硬件平台具备较高的算力，可在不增加成本的前提下实现智能设备对特殊标志的实时视觉定位。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将上述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者外部设备软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，上述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关联的硬件来完成，上述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，上述计算机程序包括计算机程序代码，上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读存储介质可以包括：能够携带上述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机可读存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，上述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括是电载波信号和电信信号。
以上上述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。
Claims (9)
1.一种标志识别定位方法，其特征在于，包括：
在智能设备处于移动状态的情况下，通过所述智能设备搭载的摄像头采集实时环境图像；
在所述实时环境图像中，根据预设的边界外框与预设的锚点形状筛选得到一个以上候选标志；
识别各个候选标志的标志ID；
根据各个候选标志的标志ID，在候选标志中确定目标标志，其中，所述目标标志包括颜色不同的四个圆，所述四个圆分别为三个大圆及一个小圆；及
根据所述目标标志对自身定位，其中，所述三个大圆作为主定位圆，用于决定所述目标标志的原点及标志坐标系中坐标轴的方向，所述小圆作为辅定位圆，与所述三个大圆共同用于决定所述标志坐标系与相机坐标系之间的关系；
其中，所述在所述实时环境图像中，根据预设的边界外框与预设的锚点形状筛选得到一个以上候选标志，包括：
对所述实时环境图像进行目标识别，得到一个以上待筛选图案；
提取得到各个待筛选图案的轮廓；
分别将各个待筛选图案的轮廓与所述边界外框进行匹配；
若存在待筛选标志，则检测所述待筛选标志是否满足预设的筛选条件，其中，所述待筛选标志为轮廓与所述边界外框匹配成功的待筛选图案，所述筛选条件为：所述待筛选标志中包含有预设数量的定位锚点，且定位锚点的中心之间的连线能够构建所述锚点形状；
将满足所述筛选条件的待筛选标志确定为候选标志。
2.如权利要求1所述的标志识别定位方法，其特征在于，所述根据所述目标标志定位包括：
获取相机参数及畸变系数；
获取所述目标标志的图像坐标和对应的空间物理坐标；
基于所述相机参数、所述畸变系数、所述目标标志的图像坐标和对应的空间物理坐标，得到标志坐标系和相机坐标系之间的坐标变换关系；
根据所述坐标变换关系，确定待定位装置与所述目标标志的相对位置。
3.如权利要求2所述的标志识别定位方法，其特征在于，在所述根据所述坐标变换关系，确定待定位装置与所述目标标志的相对位置之后，所述标志识别定位方法还包括：
根据所述待定位装置与所述目标标志的相对位置，确定所述待定位装置在全局地图中的位置；
根据所述待定位装置在所述全局地图中的位置以及本次行动的目的地，更新导航路线。
4.如权利要求1所述的标志识别定位方法，其特征在于，所述提取得到各个待筛选图案的轮廓，包括：
通过自适应阈值分别对各个待筛选图案进行分割，得到各个待筛选图案的初步轮廓；
对各个待筛选图案的初步轮廓进行轮廓滤波处理，得到各个待筛选图案的轮廓。
5.如权利要求1至3任一项所述的标志识别定位方法，其特征在于，所述识别各个候选标志的标志ID，包括：
定位目标候选标志中的定位锚点，其中，所述目标候选标志为任一候选标志；
根据所述目标候选标志中的定位锚点在所述实时环境图像中的位置，对所述目标候选标志进行透视变换，得到所述目标候选标志的正视图；
对所述正视图进行图像识别，以确定所述目标候选标志的标志ID。
6.一种标志识别定位装置，其特征在于，包括：
采集单元，用于在智能设备处于移动状态的情况下，通过所述智能设备搭载的摄像头采集实时环境图像；
筛选单元，用于在所述实时环境图像中，根据预设的边界外框与预设的锚点形状筛选得到一个以上候选标志；
识别单元，用于识别各个候选标志的标志ID；
确定单元，用于根据各个候选标志的标志ID，在候选标志中确定目标标志，其中，所述目标标志包括颜色不同的四个圆，所述四个圆分别为三个大圆及一个小圆；
定位单元，用于根据所述目标标志对自身定位，其中，所述三个大圆作为主定位圆，用于决定所述目标标志的原点及标志坐标系中坐标轴的方向，所述小圆作为辅定位圆，与所述三个大圆共同用于决定所述标志坐标系与相机坐标系之间的关系；
其中，所述筛选单元，包括：
目标识别子单元，用于对所述实时环境图像进行目标识别，得到一个以上待筛选图案；
轮廓提取子单元，用于提取得到各个待筛选图案的轮廓；
轮廓匹配子单元，用于分别将各个待筛选图案的轮廓与所述边界外框进行匹配；
锚点检测子单元，用于若存在待筛选标志，则检测所述待筛选标志是否满足预设的筛选条件，其中，所述待筛选标志为轮廓与所述边界外框匹配成功的待筛选图案，所述筛选条件为：所述待筛选标志中包含有预设数量的定位锚点，且定位锚点的中心之间的连线能够构建所述锚点形状；
候选确定子单元，用于将满足所述筛选条件的待筛选标志确定为候选标志。
7.如权利要求6所述的标志识别定位装置，其特征在于，所述定位单元包括：
相机参数获取子单元，用于获取相机参数及畸变系数；
坐标参数获取子单元，用于获取所述目标标志的图像坐标和对应的空间物理坐标；
变换关系确定子单元，用于基于所述相机参数、所述畸变系数、所述目标标志的图像坐标和对应的空间物理坐标，得到标志坐标系和相机坐标系之间的坐标变换关系；
相对位置确定子单元，用于根据所述坐标变换关系，确定待定位装置与所述目标标志的相对位置。
8.一种智能设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述方法的步骤。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911354811.0A CN111191557B (zh) | 2019-12-25 | 2019-12-25 | 一种标志识别定位方法、标志识别定位装置及智能设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911354811.0A CN111191557B (zh) | 2019-12-25 | 2019-12-25 | 一种标志识别定位方法、标志识别定位装置及智能设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111191557A CN111191557A (zh) | 2020-05-22 |
| CN111191557B true CN111191557B (zh) | 2023-12-05 |
Family
ID=70709348
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911354811.0A Active CN111191557B (zh) | 2019-12-25 | 2019-12-25 | 一种标志识别定位方法、标志识别定位装置及智能设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111191557B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112686355B (zh) * | 2021-01-12 | 2024-01-05 | 树根互联股份有限公司 | 一种图像处理方法、装置、电子设备及可读存储介质 |
| CN115187769A (zh) * | 2022-07-11 | 2022-10-14 | 杭州海康机器人技术有限公司 | 一种定位方法及装置 |
| CN115457144B (zh) * | 2022-09-07 | 2023-08-15 | 梅卡曼德（北京）机器人科技有限公司 | 标定图案识别方法、标定方法、装置和电子设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009035697A1 (en) * | 2007-09-13 | 2009-03-19 | Cognex Corporation | System and method for traffic sign recognition |
| CN103020632A (zh) * | 2012-11-20 | 2013-04-03 | 北京航空航天大学 | 一种室内环境中移动机器人定位标志点的快速识别方法 |
| CN109271937A (zh) * | 2018-09-19 | 2019-01-25 | 深圳市赢世体育科技有限公司 | 基于图像处理的运动场地标志物识别方法及系统 |
| CN109977935A (zh) * | 2019-02-27 | 2019-07-05 | 平安科技（深圳）有限公司 | 一种文本识别方法及装置 |
| CN109993790A (zh) * | 2017-12-29 | 2019-07-09 | 深圳市优必选科技有限公司 | 标志物、标志物的形成方法、定位方法以及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8300928B2 (en) * | 2008-01-25 | 2012-10-30 | Intermec Ip Corp. | System and method for locating a target region in an image |
-
2019
- 2019-12-25 CN CN201911354811.0A patent/CN111191557B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009035697A1 (en) * | 2007-09-13 | 2009-03-19 | Cognex Corporation | System and method for traffic sign recognition |
| CN103020632A (zh) * | 2012-11-20 | 2013-04-03 | 北京航空航天大学 | 一种室内环境中移动机器人定位标志点的快速识别方法 |
| CN109993790A (zh) * | 2017-12-29 | 2019-07-09 | 深圳市优必选科技有限公司 | 标志物、标志物的形成方法、定位方法以及装置 |
| CN109271937A (zh) * | 2018-09-19 | 2019-01-25 | 深圳市赢世体育科技有限公司 | 基于图像处理的运动场地标志物识别方法及系统 |
| CN109977935A (zh) * | 2019-02-27 | 2019-07-05 | 平安科技（深圳）有限公司 | 一种文本识别方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111191557A (zh) | 2020-05-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6259928B2 (ja) | 車線データの処理方法、装置、記憶媒体及び機器 | |
| CN110443210B (zh) | 一种行人跟踪方法、装置以及终端 | |
| CN111191557B (zh) | 一种标志识别定位方法、标志识别定位装置及智能设备 | |
| CN110502983B (zh) | 一种检测高速公路中障碍物的方法、装置及计算机设备 | |
| CN112308913B (zh) | 一种基于视觉的车辆定位方法、装置及车载终端 | |
| CN112149649B (zh) | 一种道路抛洒物检测方法、计算机设备及存储介质 | |
| CN111295666A (zh) | 一种车道线检测方法、装置、控制设备及存储介质 | |
| CN111967396A (zh) | 障碍物检测的处理方法、装置、设备及存储介质 | |
| Chang et al. | An efficient method for lane-mark extraction in complex conditions | |
| CN114037966A (zh) | 高精地图特征提取方法、装置、介质及电子设备 | |
| CN111414826A (zh) | 一种地标箭头的识别方法、设备及存储介质 | |
| CN111213154A (zh) | 一种车道线检测方法、设备、移动平台及存储介质 | |
| CN113345015A (zh) | 一种包裹位置检测方法、装置、设备及可读存储介质 | |
| CN116343085A (zh) | 一种公路上的障碍物检测方法、系统、存储介质及终端 | |
| CN114841910A (zh) | 车载镜头遮挡识别方法及装置 | |
| CN110673607B (zh) | 动态场景下的特征点提取方法、装置、及终端设备 | |
| Chen et al. | Image segmentation based on mathematical morphological operator | |
| JP2019121356A (ja) | 干渉領域検出装置と方法及び電子機器 | |
| CN111860084A (zh) | 图像特征的匹配、定位方法及装置、定位系统 | |
| US11138447B2 (en) | Method for detecting raised pavement markers, computer program product and camera system for a vehicle | |
| CN114581890B (zh) | 确定车道线的方法、装置、电子设备和存储介质 | |
| CN111507287A (zh) | 一种航空影像中道路斑马线角点提取方法及系统 | |
| WO2016207749A1 (en) | A device and method of detecting potholes | |
| WO2018110377A1 (ja) | 映像監視装置 | |
| CN115035495A (zh) | 一种图像处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240919 Address after: No. 60, Guohe Road, Yangpu District, Shanghai 200082 Patentee after: Shanghai youbijie Education Technology Co.,Ltd. Country or region after: China Address before: 518000 16th and 22nd Floors, C1 Building, Nanshan Zhiyuan, 1001 Xueyuan Avenue, Nanshan District, Shenzhen City, Guangdong Province Patentee before: Shenzhen UBTECH Technology Co.,Ltd. Country or region before: China |
|
| TR01 | Transfer of patent right |