CN111126384A - 基于特征融合的商品分类系统及分类方法 - Google Patents
基于特征融合的商品分类系统及分类方法 Download PDFInfo
- Publication number
- CN111126384A CN111126384A CN201911273063.3A CN201911273063A CN111126384A CN 111126384 A CN111126384 A CN 111126384A CN 201911273063 A CN201911273063 A CN 201911273063A CN 111126384 A CN111126384 A CN 111126384A
- Authority
- CN
- China
- Prior art keywords
- image
- commodity
- sample
- matching
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000004927 fusion Effects 0.000 title claims abstract description 18
- 238000000605 extraction Methods 0.000 claims abstract description 48
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 43
- 230000009466 transformation Effects 0.000 claims abstract description 43
- 239000000284 extract Substances 0.000 claims description 15
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biomedical Technology (AREA)
- Evolutionary Biology (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于特征融合的商品分类系统、方法,其中系统包括:图像输入模块,用于输入待检测的商品图像;图像拍摄角度预估模块,用于预估商品图像的拍摄角度;图像仿射变换模块,用于根据预估的拍摄角度,对商品图像进行仿射变换;图像全局特征提取模块,用于对经仿射变换后的商品图像进行全局特征提取;第一图像匹配模块,用于将全局特征图与预存于样图库中的各样图进行图像匹配,得到一第一匹配结果;图像局部特征提取模块,用于对经仿射变换后的商品图像进行局部特征提取;第二图像匹配模块,用于将局部特征图与初步匹配与商品图像具有关联性的的各样图进行局部特征匹配,得到对商品图像的分类结果,本发明实现了对商品的精细分类。
Description
技术领域
本发明涉及商品识别检测技术领域,具体涉及一种基于特征融合的商品分类系统及分类方法。
背景技术
在无人售货领域,需要对商品进行自动识别分类。近些年,随着计算机视觉识别技术的发展,基于视觉识别技术的商品自动识别检测方法开始被大量应用。然而零售场景的商品数量繁多,商品种类多样,商品图片拍摄场景复杂,同一商品在不同场景、不同角度拍摄所得的商品图像存在很大差异,而且货架上的商品排放密集,商品单品体积通常较小,而且货架上的同类商品往往被放置在一起,导致商品和商品间的类间相似度很高,现有的商品自动识别检测方法对场景复杂的商品进行分类识别的错误率较高,无法做到对商品的精细分类。
发明内容
本发明的目的在于提供一种基于特征融合的商品分类系统、方法,以解决上述技术问题。
为达此目的,本发明采用以下技术方案:
提供一种基于特征融合的商品分类系统,包括:
图像输入模块,用于提供给用户输入待检测的商品图像;
图像拍摄角度预估模块,连接所述图像输入模块,用于根据所述商品图像中的参照物,对所述商品图像的拍摄角度进行预估;
图像仿射变换模块,分别连接所述图像输入模块和所述图像拍摄角度预估模块,用于根据预估的所述拍摄角度,对所述商品图像进行仿射变换,以纠正所述商品图像中的商品图片的角度;
图像全局特征提取模块,连接所述图像仿射变换模块,用于对经仿射变换后的所述商品图像进行图像全局特征提取,得到一关联于所述商品图像的全局特征图;
第一图像匹配模块,连接所述图像全局特征提取模块和一样图库,用于将所述全局特征图与预存于所述样图库中的各样图进行逐一的图像匹配,并根据所述全局特征图与各所述样图的相似度,初步匹配到与所述商品图像具有关联性的所述样图并存储;
图像局部特征提取模块,连接所述图像仿射变换模块,用于对经仿射变换后的所述商品图像进行图像局部特征提取,得到所述商品图像对应的局部特征图;
第二图像匹配模块,分别连接所述图像局部特征提取模块和所述第一图像匹配模块,用于将所述局部特征图与初步匹配得到的各所述样图进行进一步的图像局部特征匹配,并根据所述局部特征图与所匹配的各所述样图的局部特征的相似度,在初步匹配到的各所述样图中进一步匹配出与所述商品图像具有关联性的所述样图并存储;
商品类别判断模块,连接所述第二图像匹配模块,用于将最终匹配得到的所述样图对应的商品类别作为所述商品对应的商品类别输出。
作为本发明的一种优选方案,所述商品分类系统还包括:
第一特征差异区域提取模块,分别连接所述图像局部特征提取模块和所述第二图像匹配模块,用于识别并提取所述局部特征图上与进一步匹配得到的各所述样图的第一特征差异区域并存储;
第二特征差异区域提取模块,分别连接所述图像局部特征提取模块和所述第二图像匹配模块,用于识别并提取进一步匹配得到的各所述样图上与所述局部特征图的第二特征差异区域并存储;
第三图像匹配模块,分别连接所述第一特征差异区域提取模块和所述第二特征差异区域提取模块,用于将所述第一特征差异区域与各所述第二特征差异区域进行逐一的区域图像匹配,并根据所述第一特征差异区域和各所述第二特征差异区域的区域相似度,匹配得到与所述商品图像具有关联性的所述样图并存储;
所述商品类别判断模块,连接所述第三图像匹配模块,用于将所述第三图像匹配模块匹配得到的所述样图所对应的商品类别作为所述商品图像中的所述商品对应的商品类别输出。
作为本发明的一种优选方案,采用卷积神经网络对所述商品图像进行图像全局特征提取以及图像局部特征提取。
本发明还提供了一种基于特征融合的商品分类方法,通过应用所述商品分类系统实现,包括如下步骤:
步骤S1,所述商品分类系统获取待检测的所述商品图像;
,步骤S2,所述商品分类系统根据所述商品图像中的所述参照物,对所述商品图像的拍摄角度进行预估;
步骤S3,所述商品分类系统对所述商品图像根据所述步骤S2预估得到的所述拍摄角度进行仿射变换;
步骤S4,所述商品分类系统对经仿射变换后的所述商品图像进行图像全局特征提取,得到一关联于所述商品图像的所述全局特征图;
步骤S5,所述商品分类系统将所述全局特征图与预存于所述样图库中的各所述样图进行逐一的图像匹配,并根据所述全局特征图与各所述样图的相似度,初步匹配得到与所述商品图像具有关联性的所述样图;
步骤S6,所述商品分类系统对经仿射变换后的所述商品图像进行图像局部特征提取,提取到所述商品图像对应的局部特征图;
步骤S7,所述商品分类系统将所述步骤S6得到的所述局部特征图与所述步骤S5中匹配到的各所述样图进行进一步的图像局部特征匹配,并根据所述局部特征图与各所述样图的局部特征的相似度,在初步匹配到的各所述样图中进一步匹配出与所述商品图像具有关联性的所述样图;
步骤S8,所述商品分类系统将所述步骤S7匹配得到的所述样图所对应的商品类别作为所述商品图像中的所述商品对应的商品类别输出。
本发明还另外提供了一种基于特征融合的商品分类方法,通过应用所述商品分类系统实现,包括如下步骤:
步骤L1,所述商品分类系统获取待检测的所述商品图像;
,步骤L2,所述商品分类系统根据所述商品图像中的所述参照物,对所述商品图像的拍摄角度进行预估;
步骤L3,所述商品分类系统对所述商品图像根据所述步骤L2预估得到的所述拍摄角度进行仿射变换;
步骤L4,所述商品分类系统对经仿射变换后的所述商品图像进行图像全局特征提取,得到一关联于所述商品图像的所述全局特征图;
步骤L5,所述商品分类系统将所述全局特征图与预存于所述样图库中的各所述样图进行逐一的图像匹配,并根据所述全局特征图与各所述样图的相似度,初步匹配得到与所述商品图像具有关联性的所述样图;
步骤L6,所述商品分类系统对经仿射变换后的所述商品图像进行图像局部特征提取,提取到所述商品图像对应的局部特征图;
步骤L7,所述商品分类系统将所述局部特征图与所述步骤L5中匹配到的各所述样图进行进一步的图像局部特征匹配,并根据所述局部特征图与各所述样图的局部特征的相似度,在初步匹配到的各所述样图中进一步匹配出与所述商品图像具有关联性的所述样图;
步骤L8,所述商品分类系统识别并提取所述局部特征图上与所述步骤L7匹配得到的各所述样图的第一特征差异区域并存储以及识别并提取所述步骤L7匹配得到的各所述样图上与所述局部特征图的第二特征差异区域并存储;
步骤L9,所述商品分类系统将所述第一特征差异区域与各所述第二特征差异区域进行区域图像匹配,并根据所述第一特征差异区域和各所述第二特征差异区域的相似度,匹配得到与所述商品图像具有关联性的所述样图;
步骤L10,所述商品分类系统将所述步骤L9匹配得到的所述样图所对应的商品类别作为所述商品图像中的所述商品对应的商品类别输出。
本发明的有益效果是:
1、本发明首先通过商品图像中的固定参照物,估计出图片拍摄角度,然后对商品图像进行仿射变换,使得商品图像摆正对齐,解决了商品图像因图片拍摄质量问题对后续进行商品图像识别分类造成的影响;
2、本发明首先通过提取商品图像的全局特征,并与样图进行图像匹配,对商品图像中的商品类别进行初步判断,然后对商品图像进行局部特征提取,并将提取的局部特征与初步判断得到的与商品图像具有关联性的各样图进行进一步的图像匹配,提高了商品分别识别的准确率;
3、本发明通过提取商品图像对应的局部特征中的感兴趣区域,然后将感兴趣区域继续与匹配的样图进行图像匹配,有利于提高对商品分类的精细程度。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地,下面所描述的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例一所述的基于特征融合的商品分类系统的结构示意图;
图2是本发明实施例一所述的基于特征融合的商品分类方法的方法步骤图;
图3是本发明实施例二所述的基于特征融合的商品分类系统的结构示意图;
图4是本发明实施例二所述的基于特征融合的商品分类方法的方法步骤图。
具体实施方式
下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。
其中,附图仅用于示例性说明,表示的仅是示意图,而非实物图,不能理解为对本专利的限制;为了更好地说明本发明的实施例,附图某些部件会有省略、放大或缩小,并不代表实际产品的尺寸;对本领域技术人员来说,附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件;在本发明的描述中,需要理解的是,若出现术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此附图中描述位置关系的用语仅用于示例性说明,不能理解为对本专利的限制,对于本领域的普通技术人员而言,可以根据具体情况理解上述术语的具体含义。
在本发明的描述中,除非另有明确的规定和限定,若出现术语“连接”等指示部件之间的连接关系,该术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个部件内部的连通或两个部件的相互作用关系。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
实施例一
本发明实施例一提供的基于特征融合的商品分类系统,请参照图1,包括:
图像输入模块1,用于提供给用户输入待检测的商品图像;
图像拍摄角度预估模块2,连接图像输入模块1,用于根据商品图像中的参照物,比如货架等参照物,对商品图像的拍摄角度进行预估,预估商品图像拍摄角度的方法为现有技术,所以对于拍摄角度的预估过程在此不作阐述;
图像仿射变换模块3,分别连接图像输入模块1和图像拍摄角度预估模块2,用于根据预估的拍摄角度,对商品图像进行仿射变换,以纠正商品图像中的商品图片的角度;根据预估的拍摄角度对商品图像进行仿射变换的方法同样为现有技术,所以对商品图像进行仿射变换的具体过程在此不作阐述;
图像全局特征提取模块4,连接图像仿射变换模块3,用于对经仿射变换后的商品图像进行图像全局特征提取,得到一关联于商品图像的全局特征图;本发明优选通过现有的卷积神经网络对商品图像进行图像全局特征提取,通过卷积神经网络提取图像全局特征的方法为现有技术,所以全局特征提取过程在此不作阐述;
第一图像匹配模块5,连接图像全局特征提取模块4和一样图库100,用于将全局特征图与预存于一样图库100中的各样图进行逐一的图像匹配,并通过计算全局特征图与各样图的相似度,并根据相似度计算结果,初步匹配到与商品图像具有关联性的样图并存储;全局特征图与样图相似度的计算方法为现有技术,所以相似度计算的具体过程在此不作阐述。初步匹配的与商品图像具有相似度的样图数量可能是一张也可能是多张。一张样品图像对应一个商品类别,所以初步匹配的多张样品图像可能对应多个商品类别,所以初步匹配结果可能是商品图像中的商品可能对应多个商品类别,为了实现对商品图像中的商品的精准分类,该商品分类系统还包括:
图像局部特征提取模块6,连接图像仿射变换模块3,用于对经仿射变换后的商品图像进行图像局部特征提取,得到商品图像对应的局部特征图;
第二图像匹配模块7,分别连接图像局部特征提取模块6和第一图像匹配模块5,用于将局部特征图与初步匹配得到的各样图进行进一步的图像局部特征匹配,并根据局部特征图与所匹配的各样图的局部特征的相似度,在初步匹配的各样图中进一步匹配出与商品图像具有关联性的样图并存储;
商品类别判断模块8,连接第二匹配图像模块7,用于将最终匹配得到的样图对应的商品类别作为商品图像中对应的商品类别输出。
上述技术方案中,需要强调的是,在图像初步匹配过程中,商品图像对应的全局特征图的匹配对象为样图库中的所有样图。而商品图像对应的局部特征图的匹配对象为已初步匹配出的各样图。
请参照图3,本发明实施例还提供一种基于特征融合的商品分类方法,通过应用实施例一提供的商品分类系统实现,该方法包括如下步骤:
步骤S1,商品分类系统获取待检测的商品图像;
步骤S2,商品分类系统根据商品图像中的参照物,对商品图像的拍摄角度进行预估;
步骤S3,商品分类系统对商品图像根据步骤S2预估得到的拍摄角度进行仿射变换;
步骤S4,商品分类系统对经仿射变换后的商品图像进行图像全局特征提取,得到一关联于商品图像的全局特征图;
步骤S5,商品分类系统将全局特征图与预存于样图库中的各样图进行逐一的图像匹配,并根据全局特征图与各样图的相似度,初步匹配得到与商品图像具有关联性的样图;
步骤S6,商品分类系统对经仿射变换后的商品图像进行图像局部特征提取,提取到商品图像对应的局部特征图;
步骤S7,商品分类系统将步骤S6得到的局部特征图与步骤S5中匹配到的各样图进行进一步的图像局部特征匹配,并根据局部特征图与各样图的局部特征的相似度,在初步匹配到的各样图中进一步匹配出与商品图像具有关联性的样图;
步骤S8,商品分类系统将步骤S7匹配得到的样图所对应的商品类别作为商品图像中的商品对应的商品类别输出。
实施例二
实施例二与实施例一的区别在于,请参照图2,实施例二提供的商品分类系统还包括:
第一特征差异区域提取模块9,分别连接图像局部特征提取模块6和第二图像匹配模块7,用于识别并提取局部特征图上与进一步匹配得到的各样图的第一特征差异区域(感兴趣区域)并存储;
第二特征差异区域提取模块10,分别连接图像局部特征提取模块6和第二图像匹配模块7,用于识别并提取进一步匹配得到的各样图上与局部特征图的第二特征差异区域(感兴趣区域)并存储;
第三图像匹配模块11,分别连接第一特征差异区域9和第二特征差异区域10,用于将第一特征差异区域与各第二特征差异区域进行逐一的区域图像匹配,并根据第一特征差异区域与各第二特征差异区域的区域相似度,匹配得到与商品图像最具关联性的样图并存储;
商品类别判断模块8,连接第三图像匹配模块11,用于将第三图像匹配模块11匹配得到的样图所对应的商品类别作为商品图像中的商品对应的商品类别输出。
上述技术方案中,系统识别并提取局部特征图上的与各样图的第一特征差异区域的方法以及识别并提取各样图上的与局部特征图的第二特征差异区域的方法均为现有的特征识别提取方法,所以其具体识别提取过程在此不作阐述。
另外对第一特征差异区域和第二特征差异区域的相似度匹配同样为现有的匹配方法,具体匹配过程在此不作阐述。
另外,各样图对应的商品类别都是预先识别并确认的,也就是说只要匹配得到与商品图像最具关联性的样图,即可获知商品图像上的商品对应的商品类别,这样有利于提高商品分类的效率。
请参照图4,本发明还提供一种基于特征融合的商品分类方法,通过应用实施例二提供的商品分类系统实现,具体包括如下步骤:
步骤L1,商品分类系统获取待检测的商品图像;
步骤L2,商品分类系统根据商品图像中的参照物,对商品图像的拍摄角度进行预估;
步骤L3,商品分类系统对商品图像根据步骤L2预估得到的拍摄角度进行仿射变换;
步骤L4,商品分类系统对经仿射变换后的商品图像进行图像全局特征提取,得到一关联于商品图像的全局特征图;
步骤L5,商品分类系统将全局特征图与预存于样图库中的各样图进行逐一的图像匹配,并根据全局特征图与各样图的相似度,初步匹配得到与商品图像具有关联性的样图;
步骤L6,商品分类系统对经仿射变换后的商品图像进行图像局部特征提取,提取到商品图像对应的局部特征图;
步骤L7,商品分类系统将局部特征图与步骤L5中匹配到的各样图进行进一步的图像局部特征匹配,并根据局部特征图与各样图的局部特征的相似度,在初步匹配到的各样图中进一步匹配出与商品图像具有关联性的样图;
步骤L8,商品分类系统识别并提取局部特征图上与步骤L7匹配得到的各样图的第一特征差异区域并存储以及
识别并提取步骤L7匹配得到的各样图上与局部特征图的第二特征差异区域并存储;
步骤L9,商品分类系统将第一特征差异区域与各第二特征差异区域进行区域图像匹配,并根据第一特征差异区域和各第二特征差异区域的相似度,匹配得到与商品图像具有关联性的样图;
步骤L10,商品分类系统将步骤L9匹配得到的样图所对应的商品类别作为商品图像中的商品对应的商品类别输出。
步骤L8中,商品分类系统识别并提取第一特征差异区域和第二特征差异区域的方法为现有技术,所以其具体识别和提取过程在此不作阐述。
步骤L9中,商品分类系统匹配第一特征差异区域与第二特征差异区域的相似度的过程同样为现有技术,所以相似度具体匹配过程在此不作阐述。另外步骤L9中,系统将与商品图像最具相似度的样图,并将最具相似度的样图对应的商品类别作为商品图像中的商品对应的商品类别输出。
需要声明的是,上述具体实施方式仅仅为本发明的较佳实施例及所运用技术原理。本领域技术人员应该明白,还可以对本发明做各种修改、等同替换、变化等等。但是,这些变换只要未背离本发明的精神,都应在本发明的保护范围之内。另外,本申请说明书和权利要求书所使用的一些术语并不是限制,仅仅是为了便于描述。
Claims (5)
1.一种基于特征融合的商品分类系统,其特征在于,包括:
图像输入模块,用于提供给用户输入待检测的商品图像;
图像拍摄角度预估模块,连接所述图像输入模块,用于根据所述商品图像中的参照物,对所述商品图像的拍摄角度进行预估;
图像仿射变换模块,分别连接所述图像输入模块和所述图像拍摄角度预估模块,用于根据预估的所述拍摄角度,对所述商品图像进行仿射变换,以纠正所述商品图像中的商品图片的角度;
图像全局特征提取模块,连接所述图像仿射变换模块,用于对经仿射变换后的所述商品图像进行图像全局特征提取,得到一关联于所述商品图像的全局特征图;
第一图像匹配模块,连接所述图像全局特征提取模块和一样图库,用于将所述全局特征图与预存于所述样图库中的各样图进行逐一的图像匹配,并根据所述全局特征图与各所述样图的相似度,初步匹配到与所述商品图像具有关联性的所述样图并存储;
图像局部特征提取模块,连接所述图像仿射变换模块,用于对经仿射变换后的所述商品图像进行图像局部特征提取,得到所述商品图像对应的局部特征图;
第二图像匹配模块,分别连接所述图像局部特征提取模块和所述第一图像匹配模块,用于将所述局部特征图与初步匹配得到的各所述样图进行进一步的图像局部特征匹配,并根据所述局部特征图与所匹配的各所述样图的局部特征的相似度,在初步匹配到的各所述样图中进一步匹配出与所述商品图像具有关联性的所述样图并存储;
商品类别判断模块,连接所述第二图像匹配模块,用于将最终匹配得到的所述样图对应的商品类别作为所述商品对应的商品类别输出。
2.如权利要求1所述的商品分类系统,其特征在于,还包括:
第一特征差异区域提取模块,分别连接所述图像局部特征提取模块和所述第二图像匹配模块,用于识别并提取所述局部特征图上与进一步匹配得到的各所述样图的第一特征差异区域并存储;
第二特征差异区域提取模块,分别连接所述图像局部特征提取模块和所述第二图像匹配模块,用于识别并提取进一步匹配得到的各所述样图上与所述局部特征图的第二特征差异区域并存储;
第三图像匹配模块,分别连接所述第一特征差异区域提取模块和所述第二特征差异区域提取模块,用于将所述第一特征差异区域与各所述第二特征差异区域进行逐一的区域图像匹配,并根据所述第一特征差异区域和各所述第二特征差异区域的区域相似度,匹配得到与所述商品图像具有关联性的所述样图并存储;
所述商品类别判断模块,连接所述第三图像匹配模块,用于将所述第三图像匹配模块匹配得到的所述样图所对应的商品类别作为所述商品图像中的所述商品对应的商品类别输出。
3.如权利要求1所述的商品分类系统,其特征在于,采用卷积神经网络对所述商品图像进行图像全局特征提取以及图像局部特征提取。
4.一种基于特征融合的商品分类方法,通过应用如权1-3任意一项的所述商品分类系统实现,其特征在于,包括如下步骤:
步骤S1,所述商品分类系统获取待检测的所述商品图像;
步骤S2,所述商品分类系统根据所述商品图像中的所述参照物,对所述商品图像的拍摄角度进行预估;
步骤S3,所述商品分类系统对所述商品图像根据所述步骤S2预估得到的所述拍摄角度进行仿射变换;
步骤S4,所述商品分类系统对经仿射变换后的所述商品图像进行图像全局特征提取,得到一关联于所述商品图像的所述全局特征图;
步骤S5,所述商品分类系统将所述全局特征图与预存于所述样图库中的各所述样图进行逐一的图像匹配,并根据所述全局特征图与各所述样图的相似度,初步匹配得到与所述商品图像具有关联性的所述样图;
步骤S6,所述商品分类系统对经仿射变换后的所述商品图像进行图像局部特征提取,提取到所述商品图像对应的局部特征图;
步骤S7,所述商品分类系统将所述步骤S6得到的所述局部特征图与所述步骤S5中匹配到的各所述样图进行进一步的图像局部特征匹配,并根据所述局部特征图与各所述样图的局部特征的相似度,在初步匹配到的各所述样图中进一步匹配出与所述商品图像具有关联性的所述样图;
步骤S8,所述商品分类系统将所述步骤S7匹配得到的所述样图所对应的商品类别作为所述商品图像中的所述商品对应的商品类别输出。
5.一种基于特征融合的商品分类方法,通过应用如权利要求1或2所述的商品分类系统实现,其特征在于,包括如下步骤:
步骤L1,所述商品分类系统获取待检测的所述商品图像;
步骤L2,所述商品分类系统根据所述商品图像中的所述参照物,对所述商品图像的拍摄角度进行预估;
步骤L3,所述商品分类系统对所述商品图像根据所述步骤L2预估得到的所述拍摄角度进行仿射变换;
步骤L4,所述商品分类系统对经仿射变换后的所述商品图像进行图像全局特征提取,得到一关联于所述商品图像的所述全局特征图;
步骤L5,所述商品分类系统将所述全局特征图与预存于所述样图库中的各所述样图进行逐一的图像匹配,并根据所述全局特征图与各所述样图的相似度,初步匹配得到与所述商品图像具有关联性的所述样图;
步骤L6,所述商品分类系统对经仿射变换后的所述商品图像进行图像局部特征提取,提取到所述商品图像对应的局部特征图;
步骤L7,所述商品分类系统将所述局部特征图与所述步骤L5中匹配到的各所述样图进行进一步的图像局部特征匹配,并根据所述局部特征图与各所述样图的局部特征的相似度,在初步匹配到的各所述样图中进一步匹配出与所述商品图像具有关联性的所述样图;
步骤L8,所述商品分类系统识别并提取所述局部特征图上与所述步骤L7匹配得到的各所述样图的第一特征差异区域并存储以及识别并提取所述步骤L7匹配得到的各所述样图上与所述局部特征图的第二特征差异区域并存储;
步骤L9,所述商品分类系统将所述第一特征差异区域与各所述第二特征差异区域进行区域图像匹配,并根据所述第一特征差异区域和各所述第二特征差异区域的相似度,匹配得到与所述商品图像具有关联性的所述样图;
步骤L10,所述商品分类系统将所述步骤L9匹配得到的所述样图所对应的商品类别作为所述商品图像中的所述商品对应的商品类别输出。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911273063.3A CN111126384A (zh) | 2019-12-12 | 2019-12-12 | 基于特征融合的商品分类系统及分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911273063.3A CN111126384A (zh) | 2019-12-12 | 2019-12-12 | 基于特征融合的商品分类系统及分类方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111126384A true CN111126384A (zh) | 2020-05-08 |
Family
ID=70499892
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911273063.3A Pending CN111126384A (zh) | 2019-12-12 | 2019-12-12 | 基于特征融合的商品分类系统及分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111126384A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111767959A (zh) * | 2020-06-30 | 2020-10-13 | 创新奇智(广州)科技有限公司 | 毛绒纤维分类方法及装置 |
CN113837825A (zh) * | 2021-08-16 | 2021-12-24 | 上海漫集信息科技有限公司 | 商品分类方法及其系统 |
CN117789380A (zh) * | 2023-12-26 | 2024-03-29 | 深圳市君时达科技有限公司 | 一种购物结帐的自助结算方法、系统、电子设备及介质 |
Citations (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101276419A (zh) * | 2007-02-19 | 2008-10-01 | 精工爱普生株式会社 | 类别划分装置、类别划分方法和存储程序的存储介质 |
CN102799850A (zh) * | 2012-06-30 | 2012-11-28 | 北京百度网讯科技有限公司 | 一种条形码识别方法和装置 |
CN103617420A (zh) * | 2013-11-27 | 2014-03-05 | 上海电机学院 | 基于图像特征匹配的商品快速识别方法及系统 |
CN104281679A (zh) * | 2014-09-30 | 2015-01-14 | 东软集团股份有限公司 | 基于图像特征的商品分类方法及装置 |
CN105009170A (zh) * | 2012-12-28 | 2015-10-28 | 日本电气株式会社 | 物体识别设备、方法和存储介质 |
US20160180509A1 (en) * | 2014-12-17 | 2016-06-23 | Casio Computer Co., Ltd. | Commodity identification device and commodity recognition navigation method |
CN106021575A (zh) * | 2016-05-31 | 2016-10-12 | 北京奇艺世纪科技有限公司 | 一种视频中同款商品检索方法及装置 |
CN106169064A (zh) * | 2016-06-27 | 2016-11-30 | 张梦石 | 一种现实增强系统的图像识别方法和系统 |
CN106570510A (zh) * | 2016-11-07 | 2017-04-19 | 南京航空航天大学 | 一种超市商品识别方法 |
CN106599010A (zh) * | 2015-10-14 | 2017-04-26 | 魏立江 | 图码搜索法 |
CN106933816A (zh) * | 2015-12-29 | 2017-07-07 | 北京大唐高鸿数据网络技术有限公司 | 基于全局特征和局部特征的跨镜头目标检索系统及方法 |
CN108228761A (zh) * | 2017-12-21 | 2018-06-29 | 深圳市商汤科技有限公司 | 支持区域自定义的图像检索方法和装置、设备、介质 |
CN108319961A (zh) * | 2018-01-23 | 2018-07-24 | 西南科技大学 | 一种基于局部特征点的图像roi快速检测方法 |
US20180239989A1 (en) * | 2017-02-20 | 2018-08-23 | Alibaba Group Holding Limited | Type Prediction Method, Apparatus and Electronic Device for Recognizing an Object in an Image |
CN108734185A (zh) * | 2017-04-18 | 2018-11-02 | 北京京东尚科信息技术有限公司 | 图像校验方法和装置 |
CN108920643A (zh) * | 2018-06-26 | 2018-11-30 | 大连理工大学 | 加权多特征融合的细粒度图像检索算法 |
CN109117879A (zh) * | 2018-08-03 | 2019-01-01 | 南京旷云科技有限公司 | 图像分类方法、装置及系统 |
CN109359666A (zh) * | 2018-09-07 | 2019-02-19 | 佳都新太科技股份有限公司 | 一种基于多特征融合神经网络的车型识别方法及处理终端 |
WO2019062017A1 (zh) * | 2017-09-27 | 2019-04-04 | 缤果可为(北京)科技有限公司 | 基于神经网络的商品识别方法、装置、自助收银台 |
CN109815770A (zh) * | 2019-01-31 | 2019-05-28 | 北京旷视科技有限公司 | 二维码检测方法、装置及系统 |
CN110119455A (zh) * | 2019-04-23 | 2019-08-13 | 西安理工大学 | 一种基于卷积深度置信网络的图像分类检索方法 |
CN110414541A (zh) * | 2018-04-26 | 2019-11-05 | 京东方科技集团股份有限公司 | 用于识别物体的方法、设备和计算机可读存储介质 |
-
2019
- 2019-12-12 CN CN201911273063.3A patent/CN111126384A/zh active Pending
Patent Citations (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101276419A (zh) * | 2007-02-19 | 2008-10-01 | 精工爱普生株式会社 | 类别划分装置、类别划分方法和存储程序的存储介质 |
CN102799850A (zh) * | 2012-06-30 | 2012-11-28 | 北京百度网讯科技有限公司 | 一种条形码识别方法和装置 |
CN105009170A (zh) * | 2012-12-28 | 2015-10-28 | 日本电气株式会社 | 物体识别设备、方法和存储介质 |
CN103617420A (zh) * | 2013-11-27 | 2014-03-05 | 上海电机学院 | 基于图像特征匹配的商品快速识别方法及系统 |
CN104281679A (zh) * | 2014-09-30 | 2015-01-14 | 东软集团股份有限公司 | 基于图像特征的商品分类方法及装置 |
US20160180509A1 (en) * | 2014-12-17 | 2016-06-23 | Casio Computer Co., Ltd. | Commodity identification device and commodity recognition navigation method |
CN106599010A (zh) * | 2015-10-14 | 2017-04-26 | 魏立江 | 图码搜索法 |
CN106933816A (zh) * | 2015-12-29 | 2017-07-07 | 北京大唐高鸿数据网络技术有限公司 | 基于全局特征和局部特征的跨镜头目标检索系统及方法 |
CN106021575A (zh) * | 2016-05-31 | 2016-10-12 | 北京奇艺世纪科技有限公司 | 一种视频中同款商品检索方法及装置 |
CN106169064A (zh) * | 2016-06-27 | 2016-11-30 | 张梦石 | 一种现实增强系统的图像识别方法和系统 |
CN106570510A (zh) * | 2016-11-07 | 2017-04-19 | 南京航空航天大学 | 一种超市商品识别方法 |
US20180239989A1 (en) * | 2017-02-20 | 2018-08-23 | Alibaba Group Holding Limited | Type Prediction Method, Apparatus and Electronic Device for Recognizing an Object in an Image |
CN108734185A (zh) * | 2017-04-18 | 2018-11-02 | 北京京东尚科信息技术有限公司 | 图像校验方法和装置 |
WO2019062017A1 (zh) * | 2017-09-27 | 2019-04-04 | 缤果可为(北京)科技有限公司 | 基于神经网络的商品识别方法、装置、自助收银台 |
CN108228761A (zh) * | 2017-12-21 | 2018-06-29 | 深圳市商汤科技有限公司 | 支持区域自定义的图像检索方法和装置、设备、介质 |
CN108319961A (zh) * | 2018-01-23 | 2018-07-24 | 西南科技大学 | 一种基于局部特征点的图像roi快速检测方法 |
CN110414541A (zh) * | 2018-04-26 | 2019-11-05 | 京东方科技集团股份有限公司 | 用于识别物体的方法、设备和计算机可读存储介质 |
CN108920643A (zh) * | 2018-06-26 | 2018-11-30 | 大连理工大学 | 加权多特征融合的细粒度图像检索算法 |
CN109117879A (zh) * | 2018-08-03 | 2019-01-01 | 南京旷云科技有限公司 | 图像分类方法、装置及系统 |
CN109359666A (zh) * | 2018-09-07 | 2019-02-19 | 佳都新太科技股份有限公司 | 一种基于多特征融合神经网络的车型识别方法及处理终端 |
CN109815770A (zh) * | 2019-01-31 | 2019-05-28 | 北京旷视科技有限公司 | 二维码检测方法、装置及系统 |
CN110119455A (zh) * | 2019-04-23 | 2019-08-13 | 西安理工大学 | 一种基于卷积深度置信网络的图像分类检索方法 |
Non-Patent Citations (2)
Title |
---|
周东尧;伍岳庆;姚宇;: "基于全局特征和尺度不变特征转换特征融合的医学图像检索", no. 04 * |
段娜;王磊;: "全局及其个性化区域特征的图像检索", no. 2 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111767959A (zh) * | 2020-06-30 | 2020-10-13 | 创新奇智(广州)科技有限公司 | 毛绒纤维分类方法及装置 |
CN111767959B (zh) * | 2020-06-30 | 2023-10-31 | 创新奇智(广州)科技有限公司 | 毛绒纤维分类方法及装置 |
CN113837825A (zh) * | 2021-08-16 | 2021-12-24 | 上海漫集信息科技有限公司 | 商品分类方法及其系统 |
CN117789380A (zh) * | 2023-12-26 | 2024-03-29 | 深圳市君时达科技有限公司 | 一种购物结帐的自助结算方法、系统、电子设备及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11823429B2 (en) | Method, system and device for difference automatic calibration in cross modal target detection | |
EP3910608B1 (en) | Article identification method and system, and electronic device | |
CN108229322B (zh) | 基于视频的人脸识别方法、装置、电子设备及存储介质 | |
CN108229468B (zh) | 车辆外观特征识别及车辆检索方法、装置、存储介质、电子设备 | |
US9111348B2 (en) | Computer-based method and system of dynamic category object recognition | |
US9141886B2 (en) | Method for the automated extraction of a planogram from images of shelving | |
CN112016401A (zh) | 基于跨模态行人重识别方法及装置 | |
CN108734185B (zh) | 图像校验方法和装置 | |
JP2023015989A (ja) | 物品識別および追跡システム | |
WO2020073601A1 (zh) | 商品识别方法、商品识别装置及存储介质 | |
WO2020134102A1 (zh) | 物品识别方法、装置、售货系统和存储介质 | |
CN111061890A (zh) | 一种标注信息验证的方法、类别确定的方法及装置 | |
CN111126384A (zh) | 基于特征融合的商品分类系统及分类方法 | |
WO2023024443A1 (zh) | 数据匹配方法及装置、电子设备、存储介质和程序产品 | |
CN113962274A (zh) | 一种异常识别方法、装置、电子设备及存储介质 | |
Liu et al. | A cloud infrastructure for target detection and tracking using audio and video fusion | |
Martinel et al. | Robust painting recognition and registration for mobile augmented reality | |
CN109743497B (zh) | 一种数据集采集方法、系统及电子装置 | |
CN111008210B (zh) | 商品识别方法、装置、编解码器及存储装置 | |
Achakir et al. | An automated AI-based solution for out-of-stock detection in retail environments | |
CN114373144B (zh) | 一种用于高速视频中圆形标识点的自动识别方法 | |
CN117474924A (zh) | 基于机器视觉的标签缺陷检测方法 | |
CN111242094A (zh) | 商品识别方法、智能货柜及智能货柜系统 | |
CN113160414B (zh) | 货物余量自动识别方法、装置、电子设备以及计算机可读介质 | |
CN115953635B (zh) | 一种多类别目标物的分拣方法、ar眼镜和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |