CN109299652B - 一种用于图像定位的模型训练方法、图像定位方法及装置 - Google Patents
一种用于图像定位的模型训练方法、图像定位方法及装置 Download PDFInfo
- Publication number
- CN109299652B CN109299652B CN201810854417.2A CN201810854417A CN109299652B CN 109299652 B CN109299652 B CN 109299652B CN 201810854417 A CN201810854417 A CN 201810854417A CN 109299652 B CN109299652 B CN 109299652B
- Authority
- CN
- China
- Prior art keywords
- feature
- matching
- points
- image
- identified
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 238000012549 training Methods 0.000 title claims abstract description 45
- 230000000007 visual effect Effects 0.000 claims abstract description 107
- 238000013507 mapping Methods 0.000 claims description 51
- 238000004364 calculation method Methods 0.000 claims description 34
- 230000015654 memory Effects 0.000 claims description 33
- 238000000605 extraction Methods 0.000 claims description 22
- 230000004807 localization Effects 0.000 claims description 22
- 239000011159 matrix material Substances 0.000 claims description 20
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000004891 communication Methods 0.000 description 8
- 238000007689 inspection Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000009432 framing Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Business, Economics & Management (AREA)
- Multimedia (AREA)
- Economics (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Public Health (AREA)
- Probability & Statistics with Applications (AREA)
- Water Supply & Treatment (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Image Analysis (AREA)
- Collating Specific Patterns (AREA)
Abstract
本发明公开了一种用于图像定位的模型训练方法、图像定位方法及装置,其中,用于图像定位的模型训练方法包括如下步骤:提取预先采集的若干幅图像中的待定位区域和非待定位区域的SURF特征点,分别形成第一视觉词典和第二视觉词典;提取一标准图像中待定位区域的SURF特征点,形成原始特征集;将原始特征集中的特征点与第一视觉词典中的特征点进行特征点匹配,并移除原始特征集中匹配错误的特征点,得到标准特征集;完成模型的训练。当把一待识别图像中待定位区域的特征集映射到标准特征集,即把待识别图像映射到该模型中时,即可通过模型中的待定位区域得到待识别图像中的待定位区域,使该模型可以用于对同一类别的不同设备进行定位,而不用反复建模。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及到一种用于图像定位的模型训练方法、图像定位方法、用于图像定位的模型训练装置、图像定位装置、图像定位系统和计算机可读存储介质。
背景技术
随着智能化配电站和配电站无人值守的要求越来越高,对智能配电站进行精准化巡检的需求也越来越高,在此背景下,国网公司推行智能巡检机器人代替人工巡检。配电站巡检机器人采用室内挂轨移动平台,搭载多种传感器采集设备,对配电站内的各种设备的运行情况参数进行采集和分析,并接入配电站管理后台系统进行数据汇总和分析,提高了变电站的无人值守技术水平。
为了使智能巡检机器人具备视觉分析能力,在智能巡检机器人上嵌入视觉识别算法,使其能够对运行设备进行读数、状态识别。在进行识别时,首先要对一个装置上待识别的设备区域进行定位,现有的识别算法均采用一个设备一个模型的方法进行设备区域的定位,当使用一个设备的模型去识别同一类别的其他设备时,由于两个设备的安装位置、安装角度等不同,识别准确性较差,因此,尽管两个设备属于同一类别,但当被安装于不同的装置上,或者被安装于同一个装置的不同位置处时,就需要建两个定位模型,定位模型的使用范围较窄,此外,当设备较多时,对同一类别设备的重复建模降低了识别效率。
发明内容
因此,本发明要解决的技术问题在于解决现有识别算法中的定位模型的使用范围较窄的问题,提供了一种可以应用于同一类别不同设备的定位模型的训练方法。
为此,根据第一方面,本发明提供了一种用于图像定位的模型训练方法,包括如下步骤:提取预先采集的若干幅图像中的待定位区域和非待定位区域的SURF特征点,分别形成第一视觉词典和第二视觉词典;提取一标准图像中待定位区域的SURF特征点,形成原始特征集;将原始特征集中的特征点与第一视觉词典中的特征点进行特征点匹配,并移除原始特征集中匹配错误的特征点,得到标准特征集;完成模型的训练。
可选地,提取预先采集的若干幅图像中的待定位区域和非待定位区域的SURF特征点,分别形成第一视觉词典和第二视觉词典,包括如下步骤:提取预先采集的若干幅图像中的待定位区域和非待定位区域的SURF特征点,分别形成第一特征集和第二特征集;对第一特征集和第二特征集进行聚类计算,分别得到第一聚类集和第二聚类集;将第一聚类集作为第一视觉词典,将第二聚类集作为第二视觉词典。
可选地,将原始特征集中的特征点与第一视觉词典中的特征点进行特征点匹配,并移除原始特征集中匹配错误的特征点,得到标准特征集,包括如下步骤:计算原始特征集中的特征点到第一视觉词典中的特征点的近邻匹配,形成第一初始匹配集;移除第一初始匹配集中的错误匹配,得到第一匹配集;将原始特征集中所有保留于第一匹配集中的特征点的集合作为标准特征集。
可选地,移除第一初始匹配集中的错误匹配,得到第一匹配集之后,还包括如下步骤:计算第一视觉词典中的特征点到原始特征集中的特征点的近邻匹配,形成第二初始匹配集;移除第二初始匹配集中的错误匹配,得到第二匹配集;移除第一匹配集和第二匹配集中的非对称匹配,得到正确匹配集;将原始特征集中所有完成了正确匹配的特征点的集合作为标准特征集。
根据第二方面,本发明提供了一种图像定位方法,包括如下步骤:使用上述第一方面所述的全部或部分方法完成模型的训练,得到标准特征集;提取待识别图像的SURF特征点,形成待识别特征集;计算待识别特征集到标准特征集的映射矩阵,并将待识别特征集映射到标准特征集;标准图像中的待定位区域即为待识别图像中的待定位区域。
可选地,提取待识别图像的SURF特征点,形成待识别特征集,包括如下步骤:提取待识别图像的SURF特征点;分别获取待识别图像中不同位置或者不同大小的若干图像区域中的SURF特征点;计算每个图像区域中的有效特征点数量相对于无效特征点数量的比值;有效特征点是指与第一视觉词典中的特征点相匹配的特征点,无效特征点是指与第二视觉词典中的特征点相匹配的特征点;获取比值最大的图像区域中的特征点,形成待识别特征集。
可选地,计算待识别特征集到标准特征集的映射矩阵,并将待识别特征集映射到标准特征集,包括如下步骤:计算待识别特征集中的特征点到标准特征集中的特征点的近邻匹配,形成第三初始匹配集;移除第三初始匹配集中的错误匹配,得到第三匹配集;计算移除后的待识别特征集到移除后的标准特征集的映射矩阵,并将移除后的待识别特征集映射到移除后的标准特征集。
可选地,移除第三初始匹配集中的错误匹配,得到第三匹配集之后,还包括如下步骤:计算标准特征集中的特征点到待识别特征集中的特征点的近邻匹配,形成第四初始匹配集;移除第四初始匹配集中的错误匹配,得到第四匹配集;移除第三匹配集和第四匹配集中的非对称匹配。
根据第三方面,本发明提供了一种用于图像定位的模型训练装置,包括:第一提取模块,用于提取预先采集的若干幅图像中的待定位区域和非待定位区域的SURF特征点,分别形成第一视觉词典和第二视觉词典;第二提取模块,用于提取一标准图像中待定位区域的SURF特征点,形成原始特征集;第一匹配模块,用于将原始特征集中的特征点与第一视觉词典中的特征点进行特征点匹配,并移除原始特征集中匹配错误的特征点,得到标准特征集。
可选地,第一提取模块包括:第一提取单元,用于提取预先采集的若干幅图像中的待定位区域和非待定位区域的SURF特征点,分别形成第一特征集和第二特征集;聚类计算单元,用于对第一特征集和第二特征集进行聚类计算,得到第一聚类集和第二聚类集;将第一聚类集作为第一视觉词典,将第二聚类集作为第二视觉词典。
可选地,第一匹配模块包括:第一匹配单元,用于计算原始特征集中的特征点到第一视觉词典中的特征点的近邻匹配,形成第一初始匹配集;第一移除单元,用于移除第一初始匹配集中的错误匹配,得到第一匹配集;将原始特征集中所有保留于第一匹配集中的特征点的集合即为作为标准特征集。
可选地,第一匹配模块还包括:第二匹配单元,用于计算第一视觉词典中的特征点到原始特征集中的特征点的近邻匹配,形成第二初始匹配集;第二移除单元,用于移除第二初始匹配集中的错误匹配,得到第二匹配集;第三移除单元,用于移除第一匹配集和第二匹配集中的非对称匹配,得到正确匹配集;将原始特征集中所有完成了正确匹配的特征点的集合作为标准特征集。
根据第四方面,本发明提供了一种图像定位装置,包括:模型训练模块,用于使用上述第一方面任一项的方法完成模型的训练,得到标准特征集;特征集形成模块,用于提取待识别图像的SURF特征点,形成待识别特征集;映射计算模块,用于计算待识别特征集到标准特征集的映射矩阵,并将待识别特征集映射到标准特征集;标准图像中的待定位区域即为待识别图像中的待定位区域。
可选地,特征集形成模块包括:特征提取单元,用于提取待识别图像的SURF特征点;特征获取单元,用于分别获取待识别图像中不同位置或者不同大小的若干图像区域中的SURF特征点;比值计算单元,用于计算每个图像区域中的有效特征点数量相对于无效特征点数量的比值;有效特征点是指与第一视觉词典中的特征点相匹配的特征点,无效特征点是指与第二视觉词典中的特征点相匹配的特征点;特征集形成单元,用于获取比值最大的图像区域中的特征点,形成待识别特征集。
可选地,映射计算模块包括:第三匹配单元,用于计算待识别特征集中的特征点到标准特征集中的特征点的近邻匹配,形成第三初始匹配集;第四移除单元,用于移除第三初始匹配集中的错误匹配,得到第三匹配集;映射计算单元,用于计算移除后的待识别特征集到移除后的标准特征集的映射矩阵,并将移除后的待识别特征集映射到移除后的标准特征集。
可选地,映射计算模块还包括:第四匹配单元,用于计算标准特征集中的特征点到待识别特征集中的特征点的近邻匹配,形成第四初始匹配集;第五移除单元,用于移除第四初始匹配集中的错误匹配,得到第四匹配集;第六移除单元,用于移除第三匹配集和第四匹配集中的非对称匹配。
根据第五方面,本发明提供了一种图像定位系统,包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器执行如第一方面中的任意一项所述的方法,或者执行如第二方面中的任意一项所述的方法。
根据第六方面,本发明提供了一种计算机可读存储介质,其上存储有计算机指令,该指令被处理器执行时实现如第一方面中任意一项所述方法的步骤,或实现如第二方面中任意一项所述方法的步骤。
本发明实施例提供的技术方案,具有如下优点:
1、本发明提供的用于图像定位的模型训练方法,包括如下步骤:提取预先采集的若干幅图像中的待定位区域和非待定位区域的SURF特征点,分别形成第一视觉词典和第二视觉词典;提取一标准图像中待定位区域的SURF特征点,形成原始特征集;将原始特征集中的特征点与第一视觉词典中的特征点进行特征点匹配,并移除原始特征集中匹配错误的特征点,得到标准特征集;完成模型的训练。
通过提取多幅图中待定位区域的SURF特征点形成第一视觉词典,并根据第一视觉词典与一幅标准图像中的待定位区域中的SURF特征点的匹配情况,移除原始特征集中与第一视觉词典匹配错误的特征点,最终得到由能正确反映待定位区域特征的特征点组成的标准特征集,完成模型训练,在实际应用中,当把一待识别图像中待定位区域的特征集映射到标准特征集,即把待识别图像映射到该模型中时,即可通过模型中的待定位区域得到待识别图像中的待定位区域,因而,只要待识别区域中的设备是能够相互映射的同一类别的设备,就可以完成定位,使该模型可以用于对同一类别的不同设备进行定位,而不用对同一类别的每一个设备进行单独建模,扩大了该模型的使用范围。
2、本发明提供的用于图像定位的模型训练方法,提取预先采集的若干幅图像中的待定位区域和非待定位区域的SURF特征点,分别形成第一视觉词典和第二视觉词典,包括如下步骤:提取预先采集的若干幅图像中的待定位区域和非待定位区域的SURF特征点,分别形成第一特征集和第二特征集;对第一特征集和第二特征集进行聚类计算,分别得到第一聚类集和第二聚类集;将第一聚类集作为第一视觉词典,将第二聚类集作为第二视觉词典。通过对第一特征集和第二特征集进行聚类计算,把分别得到的聚类中心集合(第一聚类集和第二聚类集)作为第一视觉词典和第二视觉词典,能够大量减少第一视觉词典和第二视觉词典中的特征点的数量,从而能够减少后续进行模型训练和待识别图像定位时的计算量。
3、本发明提供的用于图像定位的模型训练方法,移除第一初始匹配集中的错误匹配,得到第一匹配集之后,还包括如下步骤:计算第一视觉词典中的特征点到原始特征集中的特征点的近邻匹配,形成第二初始匹配集;移除第二初始匹配集中的错误匹配,得到第二匹配集;移除第一匹配集和第二匹配集中的非对称匹配,得到正确匹配集;将原始特征集中所有完成了正确匹配的特征点的集合作为标准特征集。通过在第一次错误匹配移除得到第一匹配集后,继续进行第二次和第三次错误匹配移除,能够更加全面地移除原始特征集中与第一视觉词典匹配错误的特征点,即能够更全面的移除原始特征集中的可能出错了的特征点,进一步优化了该模型。
4、本发明提供的图像定位方法,包括如下步骤:使用上述第一方面所述的全部或部分方法完成模型的训练,得到标准特征集;提取待识别图像的SURF特征点,形成待识别特征集;计算待识别特征集到标准特征集的映射矩阵,并将待识别特征集映射到标准特征集;标准图像中的待定位区域即为待识别图像中的待定位区域。通过使用能够用于对同一类别不同设备进行定位的模型,完成待识别图像中待定位区域的定位,使待识别图像可以为与模型中的设备属于同一类别的任一设备的图像,扩大了该图像定位方法的适用范围,提高了对同一类别不同设备的图像进行定位的定位效率。
5、本发明提供的图像定位方法,提取待识别图像的SURF特征点,形成待识别特征集,包括如下步骤:提取待识别图像的SURF特征点;分别获取待识别图像中不同位置或者不同大小的若干图像区域中的SURF特征点;计算每个图像区域中的有效特征点数量相对于无效特征点数量的比值;有效特征点是指与第一视觉词典中的特征点相匹配的特征点,无效特征点是指与第二视觉词典中的特征点相匹配的特征点;获取比值最大的图像区域中的特征点,形成待识别特征集。通过选取待识别图像中有效特征点所占比值最大的图像区域中的特征点,形成待识别特征集,能够在减少待识别特征集中的特征点数量,即减少该图像定位方法的计算量的同时,保证位于待定位区域的特征点的数量,即还能够保证该图像定位方法的定位精度。
6、本发明提供的图像定位方法,计算待识别特征集到标准特征集的映射矩阵,并将待识别特征集映射到标准特征集,包括如下步骤:计算待识别特征集中的特征点到标准特征集中的特征点的近邻匹配,形成第三初始匹配集;移除第三初始匹配集中的错误匹配,得到第三匹配集;计算移除后的待识别特征集到移除后的标准特征集的映射矩阵,并将移除后的待识别特征集映射到移除后的标准特征集。通过计算待识别特征集中的特征点到标准特征集中的特征点的近邻匹配,并移除其中的错误匹配,从而,能够移除待识别特征集中可能出错的特征点,减小由于存在出错的特征点导致映射结果出错,即导致定位出错的可能性,减小由于图像中存在噪点或者待定位区域存在遮挡等情况对定位精度的影响。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为实施例1提供的一种用于图像定位的模型训练方法的方法流程图;
图2为图1中步骤S30的具体方法流程图;
图3为实施例2提供的一种图像定位方法的方法流程图;
图4为图3中步骤S200的具体方法流程图;
图5为图3中步骤S300的具体方法流程图;
图6为实施例3提供的一种用于图像定位的模型训练装置的结构示意图;
图7为实施例4提供的一种图像定位装置的结构示意图;
图8为实施例5提供的图像定位系统的硬件结构示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明的描述中,需要说明的是,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
实施例1
本实施例提供了一种用于图像定位的模型训练方法,如图1所示。需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。该流程包括如下步骤:
步骤S10,提取预先采集的若干幅图像中的待定位区域和非待定位区域的SURF特征点,分别形成第一视觉词典和第二视觉词典。在本实施例中,SURF特征是一种尺度不变的特征,为每个检测到的特征定义了位置和尺度,尺度值可用于定义围绕特征点的窗口和大小,不论物体的尺度如何,窗口中都将包含相同的视觉信息,具体地,SURF特征点的具体提取过程为本领域成熟的现有技术,在此不再赘述。在本实施例中,待定位区域是指待定位的设备所在的区域,非待定位区域是指预先采集的若干幅图像中不包含待定位区域的任意区域,在具体实施例中,预先采集若干幅安装有待识别设备的装置的图像,并人为输入待定位区域和非待定位区域,用以进行SURF特征点的提取,具体地,可以通过鼠标框定区域、输入坐标框定区域、触摸屏幕框定区域等方式,输入待定位区域和非待定位区域。
步骤S20,提取一标准图像中待定位区域的SURF特征点,形成原始特征集。在本实施例中,标准图像是指一质量较高的图像,在该图像中,待定位区域清楚、完整、没有遮挡,优选地,待定位区域位于标准图像的正中央。在具体实施例中,人为输入待定位区域和非待定位区域,用以进行SURF特征点的提取,具体地,可以通过鼠标框定区域、输入坐标框定区域、触摸屏幕框定区域等方式,输入待定位区域。
步骤S30,将原始特征集中的特征点与第一视觉词典中的特征点进行特征点匹配,并移除原始特征集中匹配错误的特征点,得到标准特征集。在本实施例中,使用近邻算法(K-NN算法)计算原始特征集中特征点与第一视觉词典中特征点的特征点匹配,具体地,根据特征点之间的欧式距离来衡量特征点的相似度,即将原始特征集中的一个当前特征点和第一视觉词典中的所有特征点分别计算欧式距离,并从中选出最近邻特征点和次近邻特征点;如果当前特征点到最近邻特征点的欧式距离,与当前特征点到次近邻特征点的欧式距离的比值小于或等于预设阈值,则认为当前特征点与最近邻特征点匹配正确;如果当前特征点到最近邻特征点的欧式距离,与当前特征点到次近邻特征点的欧式距离的比值大于预设阈值,则认为当前特征点与最近邻特征点匹配错误;当然,也可以将第一视觉词典中的一个特征点和原始特征集中的所有特征点分别计算欧式距离,并参照上面的上述判断方法判断特征点之间是否匹配正确。
步骤S40,完成模型的训练。
本实施例提供的用于图像定位的模型训练方法,通过提取多幅图中待定位区域的SURF特征点形成第一视觉词典,并根据第一视觉词典与一幅标准图像中的待定位区域中的SURF特征点的匹配情况,移除原始特征集中与第一视觉词典匹配错误的特征点,最终得到由能正确反映待定位区域特征的特征点组成的标准特征集,完成模型训练,在实际应用中,当把一待识别图像中待定位区域的特征集映射到标准特征集,即把待识别图像映射到该模型中时,即可通过模型中的待定位区域得到待识别图像中的待定位区域,因而,只要待识别区域中的设备是能够相互映射的同一类别的设备,就可以完成定位,使该模型可以用于对同一类别的不同设备进行定位,不用对同一类别的每一个设备进行单独建模,扩大了该模型的使用范围。
在可选的实施例中,步骤S10包括如下步骤:
步骤S11,提取预先采集的若干幅图像中的待定位区域和非待定位区域的SURF特征点,分别形成第一特征集和第二特征集。
步骤S12,对第一特征集和第二特征集进行聚类计算,分别得到第一聚类集和第二聚类集。在本实施例中,将第一聚类集作为第一视觉词典,将第二聚类集作为第二视觉词典。在本实施例中,首先设定聚类中心数K,再利用k-means算法对特征集进行聚类计算,生成由K个聚类中心组成的聚类集,具体地,第一特征集的聚类中心数以及第二特征集的聚类中心数分别根据待定位区域和非待定位区域的图像块的数量进行设置,每个聚类中心对应于一个图像块,具体地,待定位区域的图像块是指待定位区域中的识别区域或者标志区域,其中,识别区域可以为读数区域,读指针区域或者读旋钮区域等,标志区域可以为调节按键区域,设备名称区域,设备商标区域或者其他与周围存在明显界限的图像区域;非待定位区域的图像块是指非待定位区域中与周围存在明显界限的图像区域。在具体实施例中,需要说明的是,一个图像块可以对应一个或多个聚类中心,聚类中心的数量K可以根据实际使用时的经验进行确定和调整。通过对第一特征集和第二特征集进行聚类计算,把分别得到的聚类中心集合(第一聚类集和第二聚类集)作为第一视觉词典和第二视觉词典,能够大量减少第一视觉词典和第二视觉词典中的特征点的数量,从而能够减少后续进行模型训练和待识别图像定位时的计算量。
在可选的实施例中,如图2所示,步骤S30包括如下步骤:
步骤S31,计算原始特征集中的特征点到第一视觉词典中的特征点的近邻匹配,形成第一初始匹配集。在本实施例中,使用近邻算法(K-NN算法)计算原始特征集中特征点到第一视觉词典中特征点的特征点匹配,具体地,根据特征点之间的欧式距离来衡量特征点的相似度,即将原始特征集中的一个当前特征点和第一视觉词典中的所有特征点分别计算欧式距离,并从中选出最近邻特征点和次近邻特征点,当前特征点与最近邻特征点相匹配。
步骤S32,移除第一初始匹配集中的错误匹配,得到第一匹配集。在本实施例中,将原始特征集中所有保留于第一匹配集中的特征点的集合作为标准特征集。在本实施例中,如果当前特征点到最近邻特征点的欧式距离,与当前特征点到次近邻特征点的欧式距离的比值小于或等于预设阈值,则认为当前特征点与最近邻特征点匹配正确;如果当前特征点到最近邻特征点的欧式距离,与当前特征点到次近邻特征点的欧式距离的比值大于预设阈值,则认为当前特征点与最近邻特征点匹配错误。
在可选的实施例中,如图2所示,步骤S32之后还包括如下步骤:
步骤S33,计算第一视觉词典中的特征点到原始特征集中的特征点的近邻匹配,形成第二初始匹配集。在本实施例中,使用近邻算法(K-NN算法)计算第一视觉词典中特征点到原始特征集中特征点的特征点匹配,具体地,根据特征点之间的欧式距离来衡量特征点的相似度,即将第一视觉词典中的一个当前特征点和原始特征集中的所有特征点分别计算欧式距离,并从中选出最近邻特征点和次近邻特征点,当前特征点与最近邻特征点相匹配。
步骤S34,移除第二初始匹配集中的错误匹配,得到第二匹配集。在本实施例中,如果当前特征点到最近邻特征点的欧式距离,与当前特征点到次近邻特征点的欧式距离的比值小于或等于预设阈值,则认为当前特征点与最近邻特征点匹配正确;如果当前特征点到最近邻特征点的欧式距离,与当前特征点到次近邻特征点的欧式距离的比值大于预设阈值,则认为当前特征点与最近邻特征点匹配错误。
步骤S35,移除第一匹配集和第二匹配集中的非对称匹配,得到正确匹配集。在本实施例中,将原始特征集中所有完成了正确匹配的特征点的集合作为标准特征集。在本实施例中,由于预先采集的若干幅图像以及标准图像中都可能存在噪点,并且进行SURF特征点提取时还会存在一定的精度误差,因此,提取出的特征点中会存在一些错误的特征点,移除了错误匹配后得到的第一匹配集和第二匹配集中的匹配也会存在一些不对称的匹配,而这些不对称匹配的特征点为错误特征点的概率较高,为了优化模型,移除所有不对称匹配,得到正确匹配集,将原始特征集中所有完成了正确匹配的特征点的集合作为标准特征集,完成模型训练,进一步优化了模型。
实施例2
本实施例提供了一种图像定位方法,如图3所示。需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。该流程包括如下步骤:
步骤S100,使用上述实施1的全部或部分方法完成模型的训练,得到标准特征集。
步骤S200,提取待识别图像的SURF特征点,形成待识别特征集。在本实施例中,该待识别特征集中包括整幅待识别图像中的所有SURF特征点。
步骤S300,计算待识别特征集到标准特征集的映射矩阵,并将待识别特征集映射到标准特征集。在本实施例中,标准图像中的待定位区域即为待识别图像中的待定位区域。在本实施例中,由于待识别图像中可能存在噪点,并且进行SURF特征点提取时还会存在一定的精度误差,因此,自动提取待识别特征集中的特征点难免存在一些无法映射到标准特征集中的错误特征点,因此,采用容错能力较强的RANSAC算法进行映射矩阵的计算。在本实施例中,由于将待识别特征集映射到标准特征集,即待识别图像被映射到了标准图像空间,因此,可以根据标准图像中设备所在的区域得到待识别图像中的设备所在区域。
在具体实施例中,将待识别特征集映射到标准特征集,即将待识别图像映射到标准图像空间后,可以再利用标准图像的建模信息对待识别图像中的识别区域进行进一步的精准定位,从而对待定位区域的输出数值进行读取,其中,识别区域可以为读数区域,读指针区域或者读旋钮区域等。
本实施例提供的图像定位方法,通过使用能够用于对同一类别不同设备进行定位的模型,完成待识别图像中待定位区域的定位,使待识别图像可以为与模型中的设备属于同一类别的任一设备的图像,扩大了该图像定位方法的适用范围,提高了对同一类别不同设备的图像进行定位的定位效率。
在可选的实施例中,如图4所示,步骤S200包括如下步骤:
步骤S210,提取待识别图像的SURF特征点。在本实施例中,对整幅待识别图像进行SURF特征点的提取。
步骤S220,分别获取待识别图像中不同位置或者不同大小的若干图像区域中的SURF特征点。在本实施例中,用多个不同尺度的滑动窗口,以一定的间隔在待识别图像上滑动,则每个滑动窗口在每个位置均形成一个图像区域,获取每个图像区域中的SURF特征点,形成相应的特征合集,具体地,假设形成有N个图像区域,则相应的形成有N个特征集合,分别为G1,G2,G3……GN。
步骤S230,计算每个图像区域中的有效特征点数量相对于无效特征点数量的比值。在本实施例中,有效特征点是指与第一视觉词典中的特征点相匹配的特征点,无效特征点是指与第二视觉词典中的特征点相匹配的特征点。
在具体实施例中,步骤S230包括如下步骤:步骤S231,计算一个当前特征集合中特征点与第一视觉词典中特征点的近邻匹配,并记录匹配成功的有效特征点的数量;其中,当前特征集合为G1,G2,G3……GN中的任一个特征集合;步骤S232,计算当前特征集合中特征点与第二视觉词典中特征点的近邻匹配,并记录匹配成功的无效特征点的数量;步骤S233,计算当前特征集合中的有效特征点数量相对于无效特征点数量的比值;重复步骤S231~S233,直至完成所有特征集合(G1,G2,G3……GN)中的有效特征点数量相对于无效特征点数量的比值的计算。
步骤S240,获取比值最大的图像区域中的特征点,形成待识别特征集。通过选取待识别图像中有效特征点所占比值最大的图像区域中的特征点,形成待识别特征集,能够在减少待识别特征集中的特征点数量,即减少本实施例中的图像定位方法的计算量的同时,保证位于待定位区域的特征点的数量,即还能够保证该图像定位方法的定位精度。
在可选的实施例中,如图5所示,步骤S300包括如下步骤:
步骤S310,计算待识别特征集中的特征点到标准特征集中的特征点的近邻匹配,形成第三初始匹配集。在本实施例中,在本实施例中,使用近邻算法(K-NN算法)计算待识别特征集中特征点到标准特征集中特征点的匹配,具体计算方法与实施例1中步骤S31和步骤S33提供的近邻匹配计算方法相同,在此不再赘述。
步骤S320,移除第三初始匹配集中的错误匹配,得到第三匹配集。在本实施例中,错误匹配的具体判断方法与实施例1中步骤S32和步骤S34提供的判断方法相同,在此不再赘述。
步骤S330,计算移除后的待识别特征集到移除后的标准特征集的映射矩阵,并将移除后的待识别特征集映射到移除后的标准特征集。通过计算待识别特征集中的特征点到标准特征集中的特征点的近邻匹配,并移除其中的错误匹配,从而,能够移除待识别特征集中可能出错的特征点,减小由于存在出错的特征点导致映射结果出错,即导致定位出错的可能性,减小由于图像中存在噪点或者待定位区域存在遮挡等情况对定位精度的影响。
在可选的实施例中,如图5所示,步骤S320之后,还包括如下步骤:
步骤S340,计算标准特征集中的特征点到待识别特征集中的特征点的近邻匹配,形成第四初始匹配集。
步骤S350,移除第四初始匹配集中的错误匹配,得到第四匹配集。
步骤S360,移除第三匹配集和第四匹配集中的非对称匹配。通过对第四初始匹配集进行错误匹配移除,以及对第三匹配集和第四匹配集进行非对称匹配移除,进一步移除待识别特征集中的错误特征点,能够减小错误特征点对定位精度的影响,进一步提高本实施例中的图像定位方法的定位精度。
实施例3
在本实施例中提供了一种用于图像定位的模型训练装置,该装置用于实现上述实施例1及其优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
本实施例提供一种用于图像定位的模型训练装置,如图6所示,包括:第一提取模块10,第二提取模块20和第一匹配模块30。其中,
第一提取模块10用于提取预先采集的若干幅图像中的待定位区域和非待定位区域的SURF特征点,分别形成第一视觉词典和第二视觉词典;第二提取模块20用于提取一标准图像中待定位区域的SURF特征点,形成原始特征集;第一匹配模块30用于将原始特征集中的特征点与第一视觉词典中的特征点进行特征点匹配,并移除原始特征集中匹配错误的特征点,得到标准特征集。
在可选的实施例中,第一提取模块10包括:第一提取单元和聚类计算单元。其中,第一提取单元用于提取预先采集的若干幅图像中的待定位区域和非待定位区域的SURF特征点,分别形成第一特征集和第二特征集;聚类计算单元用于对第一特征集和第二特征集进行聚类计算,得到第一聚类集和第二聚类集;将第一聚类集作为第一视觉词典,将第二聚类集作为第二视觉词典。
在可选的实施例中,第一匹配模块30包括:第一匹配单元和第一移除单元。其中,第一匹配单元用于计算原始特征集中的特征点到第一视觉词典中的特征点的近邻匹配,形成第一初始匹配集;第一移除单元用于移除第一初始匹配集中的错误匹配,得到第一匹配集;将原始特征集中所有保留于第一匹配集中的特征点的集合即为作为标准特征集。
在可选的实施例中,第一匹配模块30还包括:第二匹配单元,第二移除单元和第三移除单元。其中,第二匹配单元用于计算第一视觉词典中的特征点到原始特征集中的特征点的近邻匹配,形成第二初始匹配集;第二移除单元用于移除第二初始匹配集中的错误匹配,得到第二匹配集;第三移除单元用于移除第一匹配集和第二匹配集中的非对称匹配,得到正确匹配集;将原始特征集中所有完成了正确匹配的特征点的集合作为标准特征集。
实施例4
在本实施例中提供了一种图像定位装置,该装置用于实现上述实施例2及其优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
本实施例提供一种图像定位装置,如图7所示,包括:模型训练模块100,特征集形成模块200和映射计算模块300。其中,
模型训练模块100用于使用上述第一方面任一项的方法完成模型的训练,得到标准特征集;特征集形成模块200用于提取待识别图像的SURF特征点,形成待识别特征集;映射计算模块300用于计算待识别特征集到标准特征集的映射矩阵,并将待识别特征集映射到标准特征集;标准图像中的待定位区域即为待识别图像中的待定位区域。
在可选的实施例中,特征集形成模块200包括:特征提取单元,特征获取单元,比值计算单元和特征集形成单元。其中,
特征提取单元用于提取待识别图像的SURF特征点;特征获取单元用于分别获取待识别图像中不同位置或者不同大小的若干图像区域中的SURF特征点;比值计算单元用于计算每个图像区域中的有效特征点数量相对于无效特征点数量的比值;有效特征点是指与第一视觉词典中的特征点相匹配的特征点,无效特征点是指与第二视觉词典中的特征点相匹配的特征点;特征集形成单元用于获取比值最大的图像区域中的特征点,形成待识别特征集。
在可选的实施例中,映射计算模块300包括:第三匹配单元,第四移除单元和映射计算单元。其中,第三匹配单元用于计算待识别特征集中的特征点到标准特征集中的特征点的近邻匹配,形成第三初始匹配集;第四移除单元用于移除第三初始匹配集中的错误匹配,得到第三匹配集;映射计算单元用于计算移除后的待识别特征集到移除后的标准特征集的映射矩阵,并将移除后的待识别特征集映射到移除后的标准特征集。
在可选的实施例中,映射计算模块300还包括:第四匹配单元,第五移除单元和第六移除单元。其中,第四匹配单元用于计算标准特征集中的特征点到待识别特征集中的特征点的近邻匹配,形成第四初始匹配集;第五移除单元用于移除第四初始匹配集中的错误匹配,得到第四匹配集;第六移除单元用于移除第三匹配集和第四匹配集中的非对称匹配。
实施例5
本发明实施例还提供了一种图像定位系统,如图8所示,该图像定位系统可以包括:至少一个处理器801,例如CPU(Central Processing Unit,中央处理器),至少一个通信接口803,存储器804,至少一个通信总线802。其中,通信总线802用于实现这些组件之间的连接通信。其中,通信接口803可以包括显示屏(Display)、键盘(Keyboard),可选通信接口803还可以包括标准的有线接口、无线接口。存储器804可以是高速RAM存储器(RandomAccess Memory,易挥发性随机存取存储器),也可以是非不稳定的存储器(non-volatilememory),例如至少一个磁盘存储器。存储器804可选的还可以是至少一个位于远离前述处理器801的存储装置。其中存储器804中存储应用程序,且处理器801调用存储器804中存储的程序代码,以用于执行实施例1中的任一方法步骤,或者执行实施例2中的任一方法步骤,即用于执行以下操作:
提取预先采集的若干幅图像中的待定位区域和非待定位区域的SURF特征点,分别形成第一视觉词典和第二视觉词典;提取一标准图像中待定位区域的SURF特征点,形成原始特征集;将原始特征集中的特征点与第一视觉词典中的特征点进行特征点匹配,并移除原始特征集中匹配错误的特征点,得到标准特征集;完成模型的训练。
本发明实施例中,处理器801调用存储器804中的程序代码,还用于执行以下操作:提取预先采集的若干幅图像中的待定位区域和非待定位区域的SURF特征点,分别形成第一特征集和第二特征集;对第一特征集和第二特征集进行聚类计算,分别得到第一聚类集和第二聚类集;将第一聚类集作为第一视觉词典,将第二聚类集作为第二视觉词典。
本发明实施例中,处理器801调用存储器804中的程序代码,还用于执行以下操作:计算原始特征集中的特征点到第一视觉词典中的特征点的近邻匹配,形成第一初始匹配集;移除第一初始匹配集中的错误匹配,得到第一匹配集;将原始特征集中所有保留于第一匹配集中的特征点的集合作为标准特征集。
本发明实施例中,处理器801调用存储器804中的程序代码,还用于执行以下操作:计算第一视觉词典中的特征点到原始特征集中的特征点的近邻匹配,形成第二初始匹配集;移除第二初始匹配集中的错误匹配,得到第二匹配集;移除第一匹配集和第二匹配集中的非对称匹配,得到正确匹配集;将原始特征集中所有完成了正确匹配的特征点的集合作为标准特征集。
本发明实施例中,处理器801调用存储器804中的程序代码,还用于执行以下操作:使用实施例1所述的全部或部分方法完成模型的训练,得到标准特征集;提取待识别图像的SURF特征点,形成待识别特征集;计算待识别特征集到标准特征集的映射矩阵,并将待识别特征集映射到标准特征集;标准图像中的待定位区域即为待识别图像中的待定位区域。
本发明实施例中,处理器801调用存储器804中的程序代码,还用于执行以下操作:提取待识别图像的SURF特征点;分别获取待识别图像中不同位置或者不同大小的若干图像区域中的SURF特征点;计算每个图像区域中的有效特征点数量相对于无效特征点数量的比值;有效特征点是指与第一视觉词典中的特征点相匹配的特征点,无效特征点是指与第二视觉词典中的特征点相匹配的特征点;获取比值最大的图像区域中的特征点,形成待识别特征集。
本发明实施例中,处理器801调用存储器804中的程序代码,还用于执行以下操作:计算待识别特征集中的特征点到标准特征集中的特征点的近邻匹配,形成第三初始匹配集;移除第三初始匹配集中的错误匹配,得到第三匹配集;计算移除后的待识别特征集到移除后的标准特征集的映射矩阵,并将移除后的待识别特征集映射到移除后的标准特征集。
本发明实施例中,处理器801调用存储器804中的程序代码,还用于执行以下操作:计算标准特征集中的特征点到待识别特征集中的特征点的近邻匹配,形成第四初始匹配集;移除第四初始匹配集中的错误匹配,得到第四匹配集;移除第三匹配集和第四匹配集中的非对称匹配。
其中,通信总线802可以是外设部件互连标准(peripheral componentinterconnect,简称PCI)总线或扩展工业标准结构(extended industry standardarchitecture,简称EISA)总线等。通信总线802可以分为地址总线、数据总线、控制总线等。为便于表示,图8中仅用一条线表示,但并不表示仅有一根总线或一种类型的总线。
其中,存储器804可以包括易失性存储器(英文:volatile memory),例如随机存取存储器(英文:random-access memory,缩写:RAM);存储器也可以包括非易失性存储器(英文:non-volatile memory),例如快闪存储器(英文:flash memory),硬盘(英文:hard diskdrive,缩写:HDD)或固态硬盘(英文:solid-state drive,缩写:SSD);存储器804还可以包括上述种类的存储器的组合。
其中,处理器801可以是中央处理器(英文:central processing unit,缩写:CPU),网络处理器(英文:network processor,缩写:NP)或者CPU和NP的组合。
其中,处理器801还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文:application-specific integrated circuit,缩写:ASIC),可编程逻辑器件(英文:programmable logic device,缩写:PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(英文:complex programmable logic device,缩写:CPLD),现场可编程逻辑门阵列(英文:field-programmable gate array,缩写:FPGA),通用阵列逻辑(英文:generic arraylogic,缩写:GAL)或其任意组合。
实施例6
本发明实施例还提供了一种非暂态计算机存储介质,所述计算机存储介质存储有计算机可执行指令,该计算机可执行指令可执行实施例1中的任一方法步骤,或者执行实施例2中的任一方法步骤。其中,所述存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory,ROM)、随机存储记忆体(Random Access Memory,RAM)、快闪存储器(FlashMemory)、硬盘(Hard Disk Drive,缩写:HDD)或固态硬盘(Solid-State Drive,SSD)等;所述存储介质还可以包括上述种类的存储器的组合。
显然,上述实施例仅仅是为清楚地说明所作的举例,而并非对实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (10)
1.一种用于图像定位的模型训练方法,其特征在于,包括如下步骤:
提取预先采集的若干幅图像中的待定位区域和非待定位区域的SURF特征点,分别形成第一视觉词典和第二视觉词典;
提取一标准图像中待定位区域的SURF特征点,形成原始特征集;
将所述原始特征集中的特征点与所述第一视觉词典中的特征点进行特征点匹配,并移除所述原始特征集中匹配错误的特征点,得到标准特征集;
将所述原始特征集中的特征点与所述第一视觉词典中的特征点进行特征点匹配,并移除所述原始特征集中匹配错误的特征点,得到标准特征集,包括如下步骤:
计算所述原始特征集中的特征点到所述第一视觉词典中的特征点的近邻匹配,形成第一初始匹配集;
移除所述第一初始匹配集中的错误匹配,得到第一匹配集;将所述原始特征集中所有保留于所述第一匹配集中的特征点的集合作为所述标准特征集;
计算所述第一视觉词典中的特征点到所述原始特征集中的特征点的近邻匹配,形成第二初始匹配集;
移除所述第二初始匹配集中的错误匹配,得到第二匹配集;
移除所述第一匹配集和所述第二匹配集中的非对称匹配,得到正确匹配集;将所述原始特征集中所有完成了正确匹配的特征点的集合作为所述标准特征集;
完成所述模型的训练。
2.根据权利要求1所述的用于图像定位的模型训练方法,其特征在于,所述提取预先采集的若干幅图像中的待定位区域和非待定位区域的SURF特征点,分别形成第一视觉词典和第二视觉词典,包括如下步骤:
提取预先采集的所述若干幅图像中的待定位区域和非待定位区域的SURF特征点,分别形成第一特征集和第二特征集;
对所述第一特征集和所述第二特征集进行聚类计算,分别得到第一聚类集和第二聚类集;将所述第一聚类集作为所述第一视觉词典,将所述第二聚类集作为所述第二视觉词典。
3.一种图像定位方法,其特征在于,包括如下步骤:
使用权利要求1-2任一项所述的方法完成模型的训练,得到标准特征集;
提取待识别图像的SURF特征点,形成待识别特征集;
计算所述待识别特征集到所述标准特征集的映射矩阵,并将所述待识别特征集映射到所述标准特征集;所述标准图像中的待定位区域即为所述待识别图像中的待定位区域;
计算所述待识别特征集到所述标准特征集的映射矩阵,并将所述待识别特征集映射到所述标准特征集,包括如下步骤:
计算所述待识别特征集中的特征点到所述标准特征集中的特征点的近邻匹配,形成第三初始匹配集;
移除所述第三初始匹配集中的错误匹配,得到第三匹配集;
计算所述标准特征集中的特征点到所述待识别特征集中的特征点的近邻匹配,形成第四初始匹配集;
移除所述第四初始匹配集中的错误匹配,得到第四匹配集;
移除所述第三匹配集和所述第四匹配集中的非对称匹配;
计算移除后的待识别特征集到移除后的标准特征集的映射矩阵,并将所述移除后的待识别特征集映射到所述移除后的标准特征集。
4.根据权利要求3所述的图像定位方法,其特征在于,提取待识别图像的SURF特征点,形成待识别特征集,包括如下步骤:
提取待识别图像的SURF特征点;
分别获取所述待识别图像中不同位置或者不同大小的若干图像区域中的SURF特征点;
计算每个所述图像区域中的有效特征点数量相对于无效特征点数量的比值;所述有效特征点是指与所述第一视觉词典中的特征点相匹配的特征点,所述无效特征点是指与所述第二视觉词典中的特征点相匹配的特征点;
获取所述比值最大的图像区域中的特征点,形成待识别特征集。
5.一种用于图像定位的模型训练装置,其特征在于,包括:
第一提取模块,用于提取预先采集的若干幅图像中的待定位区域和非待定位区域的SURF特征点,分别形成第一视觉词典和第二视觉词典;
第二提取模块,用于提取一标准图像中待定位区域的SURF特征点,形成原始特征集;
第一匹配模块,用于将所述原始特征集中的特征点与所述第一视觉词典中的特征点进行特征点匹配,并移除所述原始特征集中匹配错误的特征点,得到标准特征集;
所述第一匹配模块包括:
第一匹配单元,用于计算所述原始特征集中的特征点到所述第一视觉词典中的特征点的近邻匹配,形成第一初始匹配集;
第一移除单元,用于移除所述第一初始匹配集中的错误匹配,得到第一匹配集;将所述原始特征集中所有保留于所述第一匹配集中的特征点的集合即为作为所述标准特征集;
第二匹配单元,用于计算所述第一视觉词典中的特征点到所述原始特征集中的特征点的近邻匹配,形成第二初始匹配集;
第二移除单元,用于移除所述第二初始匹配集中的错误匹配,得到第二匹配集;
第三移除单元,用于移除所述第一匹配集和所述第二匹配集中的非对称匹配,得到正确匹配集;将所述原始特征集中所有完成了正确匹配的特征点的集合作为所述标准特征集。
6.根据权利要求5所述的用于图像定位的模型训练装置,其特征在于,所述第一提取模块包括:
第一提取单元,用于提取预先采集的所述若干幅图像中的待定位区域和非待定位区域的SURF特征点,分别形成第一特征集和第二特征集;
聚类计算单元,用于对所述第一特征集和所述第二特征集进行聚类计算,得到第一聚类集和第二聚类集;将所述第一聚类集作为所述第一视觉词典,将所述第二聚类集作为所述第二视觉词典。
7.一种图像定位装置,其特征在于,包括:
模型训练模块,用于使用权利要求1-2任一项所述的方法完成模型的训练,得到标准特征集;
特征集形成模块,用于提取待识别图像的SURF特征点,形成待识别特征集;
映射计算模块,用于计算所述待识别特征集到所述标准特征集的映射矩阵,并将所述待识别特征集映射到所述标准特征集;所述标准图像中的待定位区域即为所述待识别图像中的待定位区域;
所述映射计算模块包括:
第三匹配单元,用于计算所述待识别特征集中的特征点到所述标准特征集中的特征点的近邻匹配,形成第三初始匹配集;
第四移除单元,用于移除所述第三初始匹配集中的错误匹配,得到第三匹配集;
映射计算单元,用于计算移除后的待识别特征集到移除后的标准特征集的映射矩阵,并将所述移除后的待识别特征集映射到所述移除后的标准特征集;
第四匹配单元,用于计算所述标准特征集中的特征点到所述待识别特征集中的特征点的近邻匹配,形成第四初始匹配集;
第五移除单元,用于移除所述第四初始匹配集中的错误匹配,得到第四匹配集;
第六移除单元,用于移除所述第三匹配集和所述第四匹配集中的非对称匹配。
8.根据权利要求7所述的图像定位装置,其特征在于,所述特征集形成模块包括:
特征提取单元,用于提取待识别图像的SURF特征点;
特征获取单元,用于分别获取所述待识别图像中不同位置或者不同大小的若干图像区域中的SURF特征点;
比值计算单元,用于计算每个所述图像区域中的有效特征点数量相对于无效特征点数量的比值;所述有效特征点是指与所述第一视觉词典中的特征点相匹配的特征点,所述无效特征点是指与所述第二视觉词典中的特征点相匹配的特征点;
特征集形成单元,用于获取所述比值最大的图像区域中的特征点,形成待识别特征集。
9.一种图像定位系统,包括控制中心和与所述控制中心相连接的若干终端,其特征在于,还包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器执行上述权利要求1-2中任一所述的方法,或者执行权利要求3-4中任一所述的方法。
10.一种计算机可读存储介质,其上存储有计算机指令,其特征在于,该指令被处理器执行时实现上述权利要求1-2中任一所述方法的步骤,或实现上述权利要求3-4中任一所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810854417.2A CN109299652B (zh) | 2018-07-30 | 2018-07-30 | 一种用于图像定位的模型训练方法、图像定位方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810854417.2A CN109299652B (zh) | 2018-07-30 | 2018-07-30 | 一种用于图像定位的模型训练方法、图像定位方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109299652A CN109299652A (zh) | 2019-02-01 |
CN109299652B true CN109299652B (zh) | 2020-11-13 |
Family
ID=65172712
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810854417.2A Active CN109299652B (zh) | 2018-07-30 | 2018-07-30 | 一种用于图像定位的模型训练方法、图像定位方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109299652B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113984072B (zh) * | 2021-10-28 | 2024-05-17 | 阿波罗智能技术(北京)有限公司 | 车辆定位方法、装置、设备、存储介质及自动驾驶车辆 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103577409A (zh) * | 2012-07-19 | 2014-02-12 | 阿里巴巴集团控股有限公司 | 一种图像搜索中建立图像索引的方法和装置 |
CN104156413A (zh) * | 2014-07-30 | 2014-11-19 | 中国科学院自动化研究所 | 一种基于商标密度的个性化商标匹配识别方法 |
CN105654122A (zh) * | 2015-12-28 | 2016-06-08 | 江南大学 | 基于核函数匹配的空间金字塔物体识别方法 |
CN105956074A (zh) * | 2016-04-28 | 2016-09-21 | 北京航空航天大学 | 邻近位姿融合引导的单幅图像场景六自由度定位方法 |
CN107180422A (zh) * | 2017-04-02 | 2017-09-19 | 南京汇川图像视觉技术有限公司 | 一种基于词袋特征的标贴破损检测方法 |
US10007863B1 (en) * | 2015-06-05 | 2018-06-26 | Gracenote, Inc. | Logo recognition in images and videos |
CN108255858A (zh) * | 2016-12-29 | 2018-07-06 | 北京优朋普乐科技有限公司 | 一种图像检索方法和系统 |
-
2018
- 2018-07-30 CN CN201810854417.2A patent/CN109299652B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103577409A (zh) * | 2012-07-19 | 2014-02-12 | 阿里巴巴集团控股有限公司 | 一种图像搜索中建立图像索引的方法和装置 |
CN104156413A (zh) * | 2014-07-30 | 2014-11-19 | 中国科学院自动化研究所 | 一种基于商标密度的个性化商标匹配识别方法 |
US10007863B1 (en) * | 2015-06-05 | 2018-06-26 | Gracenote, Inc. | Logo recognition in images and videos |
CN105654122A (zh) * | 2015-12-28 | 2016-06-08 | 江南大学 | 基于核函数匹配的空间金字塔物体识别方法 |
CN105956074A (zh) * | 2016-04-28 | 2016-09-21 | 北京航空航天大学 | 邻近位姿融合引导的单幅图像场景六自由度定位方法 |
CN108255858A (zh) * | 2016-12-29 | 2018-07-06 | 北京优朋普乐科技有限公司 | 一种图像检索方法和系统 |
CN107180422A (zh) * | 2017-04-02 | 2017-09-19 | 南京汇川图像视觉技术有限公司 | 一种基于词袋特征的标贴破损检测方法 |
Non-Patent Citations (2)
Title |
---|
图像中标志图匹配技术研究;王茁语;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160315;正文第2-5章 * |
基于词袋模型的物体识别方法研究;齐梅;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160615;正文第2-3章 * |
Also Published As
Publication number | Publication date |
---|---|
CN109299652A (zh) | 2019-02-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108229509B (zh) | 用于识别物体类别的方法及装置、电子设备 | |
US11455805B2 (en) | Method and apparatus for detecting parking space usage condition, electronic device, and storage medium | |
CN110020592B (zh) | 物体检测模型训练方法、装置、计算机设备及存储介质 | |
WO2020125057A1 (zh) | 牲畜个数的识别方法及装置 | |
CN110807491A (zh) | 车牌图像清晰度模型训练方法、清晰度检测方法及装置 | |
CN113657202B (zh) | 构件识别方法、构建训练集方法、装置、设备及存储介质 | |
CN113505261B (zh) | 数据标注方法、装置以及数据标注模型训练方法、装置 | |
CN116168351B (zh) | 电力设备巡检方法及装置 | |
CN111435446A (zh) | 一种基于LeNet车牌识别方法及装置 | |
CN117173568A (zh) | 目标检测模型训练方法和目标检测方法 | |
CN112613471B (zh) | 人脸活体检测方法、装置及计算机可读存储介质 | |
CN111444911B (zh) | 车牌识别模型的训练方法及装置、车牌识别方法及装置 | |
CN110222704B (zh) | 一种弱监督目标检测方法及装置 | |
CN109299652B (zh) | 一种用于图像定位的模型训练方法、图像定位方法及装置 | |
CN111783561A (zh) | 审图结果修正方法、电子设备及相关产品 | |
CN114820679A (zh) | 图像标注方法、装置、电子设备和存储介质 | |
CN112132892A (zh) | 目标位置标注方法、装置及设备 | |
CN112966687B (zh) | 图像分割模型训练方法、装置及通信设备 | |
CN112818946A (zh) | 年龄识别模型的训练、年龄识别方法、装置及电子设备 | |
CN116721396A (zh) | 车道线检测方法、设备及存储介质 | |
CN110837757A (zh) | 人脸比例计算方法、系统、设备及存储介质 | |
CN115311630A (zh) | 区分阈值生成、目标识别模型训练、目标识别方法及装置 | |
CN113269678A (zh) | 接触网输电线路的故障点定位方法 | |
CN114118188A (zh) | 针对待检测图像中移动对象的处理系统、方法和存储介质 | |
CN111753723A (zh) | 一种基于密度校准的指纹识别方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |