[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN109902198A - 一种以图搜图的方法、装置及应用系统 - Google Patents

一种以图搜图的方法、装置及应用系统 Download PDF

Info

Publication number
CN109902198A
CN109902198A CN201910180747.2A CN201910180747A CN109902198A CN 109902198 A CN109902198 A CN 109902198A CN 201910180747 A CN201910180747 A CN 201910180747A CN 109902198 A CN109902198 A CN 109902198A
Authority
CN
China
Prior art keywords
picture
search
point
characteristic
scheme
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910180747.2A
Other languages
English (en)
Inventor
刘向阳
张希颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201910180747.2A priority Critical patent/CN109902198A/zh
Publication of CN109902198A publication Critical patent/CN109902198A/zh
Priority to PCT/CN2019/114962 priority patent/WO2020181793A1/en
Priority to US16/958,499 priority patent/US11481432B2/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明的实施例提供一种以图搜图的方法、装置及应用系统，涉及图像处理技术领域，可以提高搜索效率。一种以图搜图的方法，包括：接收搜索图片；提取所述搜索图片的特征点；在图片分类索引表中，找到所述搜索图片的每个特征点对应的类，所述图片分类索引表中的图片为图库中的图片；并在所有特征点对应的类中，获取具有相同特征点数量最多的目标图片，相同特征点为与所述搜索图片的特征点相同的特征点。

Description

一种以图搜图的方法、装置及应用系统
技术领域
本发明涉及图像处理技术领域，尤其涉及一种以图搜图的方法、装置及应用系统。
背景技术
随着互联网中图像的数据信息日渐庞大，用户对图像搜索的要求也在不断提高，以图搜图的搜索方式应运而生。
现有技术中，以图搜图的方式是通过输入图片来检索相同或相似的图片的一种搜索技术，存在搜索速度慢，搜索结果误差较大的问题。
发明内容
本发明的实施例提供一种以图搜图的方法、装置及应用系统，可以提高搜索效率。
为达到上述目的，本发明的实施例采用如下技术方案：
一方面，本发明的实施例提供了一种以图搜图的方法，包括：接收搜索图片；提取所述搜索图片的特征点；在图片分类索引表中，找到所述搜索图片的每个特征点对应的类，图片分类索引表中的图片为图库中的图片；并在所有特征点对应的类中，获取具有相同特征点数量最多的目标图片，相同特征点为与所述搜索图片的特征点相同的特征点。
可选地，在所有特征点对应的类中，获取具有相同特征点数量最多的目标图片，包括：在所有特征点对应的类中，获取具有相同特征点的匹配图片，并按照具有相同特征点的个数由大到小或由小到大的顺序，对匹配图片进行排序；获取具有相同特征点数量最多的目标图片。
可选地，获取具有相同特征点的匹配图片之后，按照相同特征点由大到小或由小到大的顺序，对匹配图片进行排序之前，所述以图搜图的方法还包括：将相同特征点个数小于等于阈值的匹配图片删除。
可选地，以图搜图的方法还包括：对图库中每张图片提取特征点，并对每个特征点进行分类；根据每类下的特征点，建立类与具有该特征点的图库中图片的索引表，得到图片分类索引表。
可选地，在图片分类索引表中，找到所述搜索图片的每个特征点对应的类，包括：对所述搜索图片的每个特征点进行分类；根据所述搜索图片的每个特征点对应的类，在图片分类索引表中，找到所述搜索图片的每个特征点对应的类。
可选地，提取所述搜索图片的特征点，包括：通过SIFT算法，提取所述搜索图片的特征点。
再一方面，本发明的实施例还提供另一种以图搜图的方法，包括：接收搜索图片；获取所述搜索图片的标签；根据所述搜索图片，记录每个标签出现的次数；获取与累计出现次数最多的标签对应的目标图片。
可选地，获取搜索图片的标签，包括：利用哈希模型获取搜索图片的标签。
可选地，以图搜图的方法还包括：获取与用户设定的喜好标签对应的目标图片。
另一方面，本发明的实施例还提供一种以图搜图的装置，包括：接收模块，配置为接收搜索图片；提取模块，配置为提取所述搜索图片的特征点；获取模块，配置为在图片分类索引表中，找到所述搜索图片的每个特征点对应的类，图片分类索引表中的图片为图库中的图片；并在所有特征点对应的类中，获取具有相同特征点数量最多的目标图片，相同特征点为与所述搜索图片的特征点相同的特征点。
可选地，获取模块在所有特征点对应的类中，获取具有相同特征点数量最多的目标图片，包括：所述获取模块在所有特征点对应的类中，获取具有相同特征点的匹配图片，并按照具有相同特征点的个数由大到小或由小到大的顺序，对匹配图片进行排序；获取具有相同特征点数量最多的目标图片。
可选地，以图搜图的装置还包括索引表建立模块，配置为对图库中每张图片提取特征点，并对每个特征点进行分类；根据每类下的特征点，建立类与具有该特征点的图库中图片的索引表，得到图片分类索引表。
可选地，获取模块在图片分类索引表中，找到所述搜索图片的每个特征点对应的类，包括：所述获取模块对所述搜索图片的每个特征点进行分类；根据所述搜索图片的每个特征点对应的类，在图片分类索引表中，找到所述搜索图片的每个特征点对应的类。
又一方面，本发明的实施例还提供另一种以图搜图的装置，包括：接收模块，配置为接收搜索图片；提取模块，配置为获取所述搜索图片的标签；记录模块，配置为根据所述搜索图片，记录每个标签出现的次数；获取模块，配置为获取与累计出现次数最多的标签对应的目标图片。
可选地，提取模块获取搜索图片的标签，包括：提取模块利用哈希模型获取搜索图片的标签。
可选地，获取模块，还配置为根据用户设定的喜好标签，获取目标图片。
本发明的实施例提供一种以图搜图的应用系统，包括：终端、服务器、画屏；上述任一种以图搜图的装置，集成于服务器中；终端配置为向服务器发送搜索图片，并接收服务器发送的目标图片；画屏配置为接收并显示终端发送的目标图片。
本发明的实施例提供一种以图搜图的方法，通过服务器端接收搜索图片，提取搜索图片的特征点，根据图片分类索引表，在所有特征点对应的类中进行检索，获取相同特征点最多的目标图片。由此可见，本发明的实施例能够根据图片分类索引表中类与具有相应特征点的图库中图片的关系，在检索时快速定位到特征点对应的类下再进行检索，相对于现有技术中每次查询都需要遍历查找，在保证匹配精度的基础上，提高了搜索效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种以图搜图的流程图；
图2为本发明实施例提供的再一种以图搜图的流程图；
图3为本发明实施例提供的又一种以图搜图的流程图；
图4为本发明实施例提供的又一种以图搜图的流程图；
图5为本发明实施例提供的又一种以图搜图的的流程图；
图6为本发明实施例提供的一种以图搜图的装置模块示意图；
图7为本发明实施例提供的又一种以图搜图的流程图；
图8为本发明实施例提供的一种以图搜图的装置模块示意图；
图9为本发明实施例提供的一种以图搜图的应用系统示意图。
附图标记：
1-终端；2-服务器；3-画屏；10-接收模块；20-提取模块；30-获取模块；40-索引表建立模块；50-记录模块。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的实施例提供一种以图搜图的方法，如图1所示，包括：
S11、服务器端接收搜索图片。
以图搜图的整个系统包括终端、服务器端等。用户使用终端拍摄照片上传服务器或者将终端相册中的照片上传服务器。
终端可以为手机、平板电脑、PC(Personal Computer，个人电脑)、笔记本等设备，本申请对此并不进行限定。
S12、根据上述的搜索图片，服务器端提取搜索图片的特征点。
特征点为采用固定灰度差阈值从搜索图片上提取的局部特征，服务器端提取搜索图片的特征点，利用特征点为后续搜索方法提供便利。
S13、在图片分类索引表中，服务器端找到所述搜索图片的每个特征点对应的类，图片分类索引表中的图片为图库中的图片；并在所有特征点对应的类中，获取具有相同特征点数量最多的目标图片，相同特征点为与所述搜索图片的特征点相同的特征点。
图片分类索引表存储于服务器端的数据库中。图库中的图片基于特征点进行分类，即，根据从图库中每张图片提取的特征点，得到特征点与类的关系，进一步的得到类与具有相应特征点的图库中图片的关系。
服务器端根据搜索图片的特征点所属的类，可以在上述的图片分类索引表中定位类的位置，从而在该类下，获取具有相同特征点数量最多的目标图片。
目标图片为从图库中搜索到的与搜索图片最相似或者完全相同的图片。
本发明的实施例提供一种以图搜图的方法，通过服务器端接收搜索图片，提取搜索图片的特征点，根据图片分类索引表，在所有特征点对应的类中进行检索，获取相同特征点最多的目标图片。由此可见，本发明的实施例能够根据图片分类索引表中类与具有相应特征点的图库中图片的关系，在检索时快速定位到特征点对应的类下再进行检索，相对于现有技术中每次查询都需要遍历查找，在保证匹配精度的基础上，提高了搜索效率。
可选地，上述S12服务器端提取搜索图片的特征点，包括：服务器端通过SIFT算法，提取搜索图片的特征点。
SIFT(Scale-invariant feature transform，尺度不变特征转换)算法为一种相对性能较好的局部特征算法，具有良好的尺度、旋转、光照等不变特性，甚至对视角变化、几何畸变和成像噪声也有较高的容忍性。
SIFT算法采用固定灰度差阈值来提取特征点，灰度差阈值决定了能够得到的特征点数量。灰度差阈值越大，检测到的极值点就越多，作为特征点的数量就越多；灰度差阈值越小，检测到的极值点就越少，作为特征点的数量就越少。基于此，可以根据需要选用合适的灰度差阈值，本申请对此并不进行限定。
可选地，S13中在所有特征点对应的类中，获取具有相同特征点数量最多的目标图片，如图2所示，包括：
S131、在所有特征点对应的类中，服务器端获取具有相同特征点的匹配图片。
服务器端在图片分类索引表中定位到特征点对应的类的位置后，在该类下检索，获取具有相同特征点的匹配图片，可能获取到0张(即没有图片具有相同特征点)，也可能获取到一张或者多张匹配图片。
服务器端对搜索图片的所有特征点一一定位到对应的类下进行搜索，获取出所有具有相同特征点的匹配图片。
可以理解的是，服务器端获取出的匹配图片中可能会有重复出现的图片，重复出现的匹配图片说明具有多个相同特征点，每检索一个特征点都会被检索出一次，检索出现的次数就是具有相同特征点的个数。
S132、按照具有相同特征点的个数由大到小或由小到大的顺序，对匹配图片进行排序。
服务器端通过计算匹配图片出现的次数，可知每个匹配图片中所具有的相同特征点的数量。匹配图片具有的相同特征点的数量越多说明匹配图片与搜索图片越相似，数量越少说明越不同。
S133、获取相同特征点数量最多的目标图片。
相同特征点数量最多的匹配图片与搜索图片最相似或者完全相同。
可选地，如图2所示，S131获取具有相同特征点的匹配图片之后，S132按照相同特征点由大到小或由小到大的顺序，对匹配图片进行排序之前，以图搜图的方法还包括：
S134、将相同特征点个数小于等于阈值的匹配图片删除。
其中，阈值的大小可以根据需要进行设定，本申请对其不做任何限定。
先删除相同特征点小于等于阈值的匹配图片，即先删除掉一大部分相似度较低的匹配图片，降低了后续排序的工作量，提高了搜索效率。
可选地，以图搜图的方法还包括：建立图片分类索引表。
如图3所示，建立图片分类索引表，包括：
S10、服务器端对图库中每张图片提取特征点，并对每个特征点进行分类。
图库存储于服务器端的数据库中。服务器端将图库中图片进行分类并建立图片分类索引表之前，需先建立HIKM(hierarchical version of integer K-means，聚类)模型。
HIKM模型中聚类的数量可以根据需要进行指定，本申请对此并不进行限定，示例的，可以指定为125000类。
建立HIKM模型的具体过程包括：
首先，服务器端利用SIFT算法对模型建立所用的图片提取特征点。
需要说明的是，此处，模型建立所用的图片指的是在建立HIKM模型过程中所使用的图片，模型建立所用的图片可以选取通过艺术创作、设计软件等任何方式获得的图片。
其次，任意选择K个特征点作为初始聚类中心，而对于其余特征点，则根据其余特征点其与这些上述的聚类中心的距离，按照最邻近原则，分别分配给距离最近的聚类。
最后，重新计算每个所获新聚类的聚类中心(聚类中所有特征点的均值)，不断重复这个过程，直到聚类中心的变化极少为止，则HIKM模型建立。
其中，计算特征点与聚类中心距离的方法可以采用欧几里得距离算法、曼哈顿算法等，本申请对此并不进行限定。
将每张图片的特征点根据已建立的HIKM模型进行分类，得到每个特征点所对应的类。
S20、根据每类下的特征点，建立类与具有该特征点的图库中图片的索引表，得到图片分类索引表。
图片分类索引表具有多个类，图片分类索引表的类的数量与HIKM模型的数量相同，且每个类对应HIKM模型中的每个聚类。示例的，HIKM模型包括125000聚类，则图片分类索引表包括125000类，且HIKM模型的一个聚类对应图片分类索引表中的一类。
可选地，如图4所示，S13服务器端在图片分类索引表中，找到搜索图片的每个特征点对应的类，包括：
S30、对所述搜索图片的每个特征点进行分类。
其中，可以根据SIFT算法提取搜索图片的特征点。将提取的搜索图片的特征点，根据已建立的HIKM模型进行分类，得到搜索图片中每个特征点所属的类。
S40、根据所述搜索图片的每个特征点对应的类，在图片分类索引表中，找到所述搜索图片的每个特征点对应的类。
由于HIKM模型的类与图片分析索引表的类数量相同且对应，因此，根据搜索图片中每个特征点所属的类可知其在图片分析索引表中对应的类。
基于上述描述，以下提供的一种以图搜图的方法，以清楚描述其实现过程。
如图5所示，可以分为三个阶段：
第一阶段为HIKM模型的建立阶段。首先，服务器利用SIFT算法对模型建立所用而选取的例如70000图片提取特征点，共提取出了例如60000000个特征点。其次，任意选择例如125000个特征点作为初始聚类中心，而对于其余特征点，则根据这些特征点与这125000个初始聚类中心的距离，按照最邻近原则，分别分配给距离最近的聚类。然后，采用欧几里得距离算法，重新计算每个新聚类的聚类中心，不断重复这个过程，直到聚类中心的变化极少为止，则HIKM模型建立，且该HIKM模型共有125000个类。
第二阶段为图片分类索引表的建立阶段。首先，服务器对图库中的例如10000张图片利用SIFT算法提取特征点，共提取出了例如10000000个特征点。其次，利用已建立的HIKM模型进行分类，将这10000000个特征点分入到HIKM模型的125000个类中。以100个特征点被分入HIKM模型中的第1个类中为例，根据第1个类下的100个特征点(图库中例如有90张图片，每张图片具有这100个特征点中的至少一个特征点)，建立第1个类与具有该特征点的图库中图片(该90张图片)的索引表，依次类推，得到图片分类索引表。
第三阶段中为搜索阶段。首先，服务器端根据SIFT算法提取搜索图片的特征点，例如提取了50个特征点，根据已建立的HIKM模型进行分类，得到上述50个特征点所属的类。其次，根据该50个特征点在HIKM模型对应的例如8个类，在图片分类索引表中，找到上述8个类。然后，分别在该8个类下检索，例如获取出5张具有相同特征点的匹配图片。其中，检索50个特征点对应的8个类时，例如最多有10个特征点都检索到是同一张图片，说明这张匹配图片具有10个相同特征点。
基于上述，具有10个相同特征点的匹配图片为目标图片，与搜索图片最相似。
本发明的实施例还提供一种以图搜图的装置，如图6所示，包括：接收模块10，配置为接收搜索图片；提取模块20，配置为提取所述搜索图片的特征点；获取模块30，配置为在图片分类索引表中，找到所述搜索图片的每个特征点对应的类，图片分类索引表中的图片为图库中的图片；并在所有特征点对应的类中，获取具有相同特征点数量最多的目标图片，相同特征点为与所述搜索图片的特征点相同的特征点。
例如，以图搜图的装置集成于服务器中。在本发明的实施例提供的一种以图搜图的装置中，通过接收模块10接收搜索图片，提取模块20提取搜索图片的特征点，获取模块30根据图片分类索引表，在所有特征点对应的类中进行检索，获取相同特征点最多的目标图片。由此可见，本发明的实施例能够根据图片分类索引表中包括有特征点的图库中图片与类的关系，在检索时快速定位到特征点对应的类下再进行检索，相对于现有技术中每次查询都需要遍历查找，在保证匹配精度的基础上，提高了搜索效率。
可选地，获取模块30在所有特征点对应的类中，获取具有相同特征点数量最多的目标图片，包括：
获取模块30在所有特征点对应的类中，获取具有相同特征点的匹配图片，并按照具有相同特征点的个数由大到小或由小到大的顺序，对匹配图片进行排序；获取具有相同特征点数量最多的目标图片。
获取模块30对搜索图片的所有特征点一一定位对应的类下获取出所有具有相同特征点的匹配图片，并通过计算匹配图片出现的次数，可知每个匹配图片具有的相同特征点的个数，依此排序，获取处相同特征点数量最多的匹配图片与搜索图片最相似或者完全相同。
在此基础上，可选地，获取模块30在获取具有相同特征点的匹配图片之后，按照相同特征点由大到小或由小到大的顺序，对匹配图片进行排序之前，获取模块30还配置为将相同特征点个数小于等于阈值的匹配图片删除。
获取模块30先删除相同特征点小于等于阈值的匹配图片，即先删除掉一大部分相似度较低的匹配图片，降低了后续排序的工作量，提高了搜索效率。
可选地，如图6所示，以图搜图的装置还包括索引表建立模块40。该索引表建立模块40配置为对图库中每张图片提取特征点，并对每个特征点进行分类；根据每类下的特征点，建立类与具有该特征点的图库中图片的索引表，得到图片分类索引表。
在此基础上，可选地，获取模块30在图片分类索引表中，找到搜索图片的每个特征点对应的类，包括：
获取模块30对搜索图片的每个特征点进行分类；根据搜索图片的每个特征点对应的类，在图片分类索引表中，找到搜索图片的每个特征点对应的类。
获取模块30根据已建立的HIKM模型对搜索图片的每个特征点进行分类，得到特征点与类的关系，进一步得到类与具有相应特征点的图片的关系，从而在图片分类索引表中定位类的位置。
本发明的实施例还提供一种以图搜图的方法，如图7所示，包括：
S100、服务器端接收搜索图片。
以图搜图的整个系统包括终端、服务器端等。用户使用终端拍摄照片上传服务器或者将终端相册中的照片上传服务器。
终端可以为手机、平板电脑、PC、笔记本、画屏等设备，本申请对此并不进行限定。
S200、服务器端获取所述搜索图片的标签。
可选地，S200中服务器端获取搜索图片的标签，包括：利用哈希(Hashing)模型获取搜索图片的标签。
将搜索图片输入已训练哈希模型中的深度卷积神经网络(Convolutional NeuralNetwork，CNN)，服务器端基于深度卷积神经网络，获取搜索图片的标签。
哈希模型的训练过程包括：每次将两张已知标签的图片输入深度卷积神经网络，基于深度卷积神经网络，判断两张图片是否具有相同的标签，如果具有一个相同标签，深度卷积神经网络输出判断结果为0，如果不相同，输出判断结果为1。
如果哈希模型在训练过程中，深度卷积神经网络输出的判断结果介于0到1之间，则需要计算实际结果与期望结果的误差，对深度卷积神经网络的参数进行反向调整，弥补误差，使其输出结果准确。同时可以提高哈希模型在使用过程中提取标签的准确度。
S300、服务器端根据所述搜索图片，记录每个标签出现的次数。
示例的，用户进行了一次搜索，上传的搜索图片的标签为“素描”，则“素描”标签的次数加一。
S400、服务器端获取与累计出现次数最多的标签对应的目标图片。
通过对用户搜索图片的标签的记录与分析，可以确定用户的搜索习惯和偏好。
示例的，用户使用了以图搜图功能多次后，获取用户搜索时带有“素描”标签的次数最多，则认为用户偏好“素描”风格的图片，因此，为用户优先推荐“素描”风格的相关图片。或者，示例的，用户使用了以图搜图功能多次后，获取用户搜索时，“素描”和“狗”两个标签出现的次数最多，则认为用户偏好素描的狗的图片，因此，为用户优先推荐带有“素描”和“狗”标签的图片。本发明的实施例提供一种以图搜图的方法，通过利用哈希模型获取搜索图片的标签，记录标签出现的次数，累计出现的次数最多的标签，将标签次数最多的目标图片推荐给用户，从而可以根据用户的兴趣点进行推荐，提升推荐的准确度。
可选地，以图搜图的方法还包括：获取与用户设定的喜好标签对应的目标图片。
示例的，用户可预先设定喜好标签为“油画”，则在用户使用时，可优先推荐“油画”相关的图片，提高推荐的准确度。
本发明的实施例还提供一种以图搜图的装置，如图8所示，包括：接收模块10，配置为接收搜索图片；提取模块20，配置为获取所述搜索图片的标签；记录模块50，配置为根据所述搜索图片，记录每个标签出现的次数；获取模块30，配置为获取与累计出现次数最多的标签对应的目标图片。
在本发明的实施例提供的一种以图搜图的装置中，通过提取模块20获取搜索图片的标签，记录模块50记录标签出现的次数，获取模块30获取累计标签出现次数最多的目标图片，推荐目标图片给用户，从而可以根据用户的兴趣点进行推荐，提升推荐的准确度。
可选地，提取模块20获取搜索图片的标签，包括：提取模块20利用哈希模型获取搜索图片的标签。
可选地，获取模块30，还配置为获取与用户设定的喜好标签对应的目标图片。
本发明的实施例还提供一种以图搜图的应用系统，如图9所示，包括：终端1、服务器2、画屏3；上述的以图搜图的装置集成于服务器2中。
终端1配置为向服务器2发送搜索图片，并接收服务器2发送的目标图片；
画屏3配置为接收并显示终端1发送的目标图片。
用户使用终端1上的APP拍摄照片上传服务器2或者将终端1相册中的照片作为搜索图片上传服务器2。终端1可以为手机、平板电脑、PC、笔记本等设备，本申请对此并不进行限定。
服务器2通过以图搜图的装置，实现以图搜图的方法，获取目标图片发送至终端1。此外，当用户打开终端1上的具有以图搜图功能的应用时，目标图片可以直接显示在终端1的界面上为用户进行推荐。
示例的，如图9所示，以图搜图的应用系统工作时，用户可以使用手机APP对感兴趣的画作拍照，并通过上传照片搜索这张感兴趣的画作的原图或相似图(上传的照片为搜索图片)，服务器2接收终端发送的搜索图片，检索出目标图片(即，该画作的原图或相似图)后发送至手机APP。手机APP接收目标图片后发送至画屏3，画屏3接收并放大显示目标图片。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (17)

1.一种以图搜图的方法，其特征在于，包括：
接收搜索图片；
提取所述搜索图片的特征点；
在图片分类索引表中，找到所述搜索图片的每个特征点对应的类，所述图片分类索引表中的图片为图库中的图片；并在所有特征点对应的类中，获取具有相同特征点数量最多的目标图片，相同特征点为与所述搜索图片的特征点相同的特征点。
2.根据权利要求1所述的以图搜图的方法，其特征在于，在所有特征点对应的类中，获取具有相同特征点数量最多的目标图片，包括：
在所有特征点对应的类中，获取具有相同特征点的匹配图片，并按照具有相同特征点的个数由大到小或由小到大的顺序，对匹配图片进行排序；
获取具有相同特征点数量最多的目标图片。
3.根据权利要求2所述的以图搜图的方法，其特征在于，获取具有相同特征点的匹配图片之后，按照相同特征点由大到小或由小到大的顺序，对匹配图片进行排序之前，所述以图搜图的方法还包括：
将相同特征点个数小于等于阈值的匹配图片删除。
4.根据权利要求1-3任一项所述的以图搜图的方法，其特征在于，还包括：
对图库中每张所述图片提取特征点，并对每个特征点进行分类；
根据每类下的特征点，建立类与具有该特征点的图库中所述图片的索引表，得到所述图片分类索引表。
5.根据权利要求4所述的以图搜图的方法，其特征在于，在图片分类索引表中，找到所述搜索图片的每个特征点对应的类，包括：
对所述搜索图片的每个特征点进行分类；
根据所述搜索图片的每个特征点对应的类，在所述图片分类索引表中，找到所述搜索图片的每个特征点对应的类。
6.根据权利要求1所述的以图搜图的方法，其特征在于，提取所述搜索图片的特征点，包括：
通过SIFT算法，提取所述搜索图片的特征点。
7.一种以图搜图的方法，其特征在于，包括：
接收搜索图片；
获取所述搜索图片的标签；
根据所述搜索图片，记录每个标签出现的次数；
获取与累计出现次数最多的标签对应的目标图片。
8.根据权利要求7所述的以图搜图的方法，其特征在于，获取所述搜索图片的标签，包括：
利用哈希模型获取所述搜索图片的标签。
9.根据权利要求7或8所述的以图搜图的方法，其特征在于，还包括：
获取与用户设定的喜好标签对应的目标图片。
10.一种以图搜图的装置，其特征在于，包括：
接收模块，配置为接收搜索图片；
提取模块，配置为提取所述搜索图片的特征点；
获取模块，配置为在图片分类索引表中，找到所述搜索图片的每个特征点对应的类，所述图片分类索引表中的图片为图库中的图片；并在所有特征点对应的类中，获取具有相同特征点数量最多的目标图片，相同特征点为与所述搜索图片的特征点相同的特征点。
11.根据权利要求10所述的以图搜图的装置，其特征在于，获取模块在所有特征点对应的类中，获取具有相同特征点数量最多的目标图片，包括：
所述获取模块在所有特征点对应的类中，获取具有相同特征点的匹配图片，并按照具有相同特征点的个数由大到小或由小到大的顺序，对匹配图片进行排序；获取具有相同特征点数量最多的目标图片。
12.根据权利要求10或11所述的以图搜图的装置，其特征在于，还包括索引表建立模块，配置为对图库中每张所述图片提取特征点，并对每个特征点进行分类；根据每类下的特征点，建立类与具有该特征点的图库中所述图片的索引表，得到所述图片分类索引表。
13.根据权利要求12所述的以图搜图的装置，其特征在于，获取模块在图片分类索引表中，找到所述搜索图片的每个特征点对应的类，包括：
所述获取模块对所述搜索图片的每个特征点进行分类；根据所述搜索图片的每个特征点对应的类，在图片分类索引表中，找到所述搜索图片的每个特征点对应的类。
14.一种以图搜图的装置，其特征在于，包括：
接收模块，配置为接收搜索图片；
提取模块，配置为获取所述搜索图片的标签；
记录模块，配置为根据所述搜索图片，记录每个标签出现的次数；
获取模块，配置为获取与累计出现次数最多的标签对应的目标图片。
15.根据权利要求14所述的以图搜图的装置，其特征在于，提取模块获取所述搜索图片的标签，包括：
所述提取模块利用哈希模型获取所述搜索图片的标签。
16.根据权利要求14所述的以图搜图的装置，其特征在于，所述获取模块，还配置为根据用户设定的喜好标签，获取目标图片。
17.一种以图搜图的应用系统，其特征在于，包括：终端、服务器、画屏；
权利要求10-13任一项所述的以图搜图的装置，或者，权利要求14-16任一项所述的以图搜图的装置，集成于所述服务器中；
所述终端配置为向所述服务器发送搜索图片，并接收所述服务器发送的目标图片；
所述画屏配置为接收并显示所述终端发送的所述目标图片。
CN201910180747.2A 2019-03-11 2019-03-11 一种以图搜图的方法、装置及应用系统 Pending CN109902198A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910180747.2A CN109902198A (zh) 2019-03-11 2019-03-11 一种以图搜图的方法、装置及应用系统
PCT/CN2019/114962 WO2020181793A1 (en) 2019-03-11 2019-11-01 Reverse image search method, apparatus and application system
US16/958,499 US11481432B2 (en) 2019-03-11 2019-11-01 Reverse image search method, apparatus and application system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910180747.2A CN109902198A (zh) 2019-03-11 2019-03-11 一种以图搜图的方法、装置及应用系统

Publications (1)

Publication Number Publication Date
CN109902198A true CN109902198A (zh) 2019-06-18

Family

ID=66946769

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910180747.2A Pending CN109902198A (zh) 2019-03-11 2019-03-11 一种以图搜图的方法、装置及应用系统

Country Status (3)

Country Link
US (1) US11481432B2 (zh)
CN (1) CN109902198A (zh)
WO (1) WO2020181793A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110633379A (zh) * 2019-08-29 2019-12-31 北京睿企信息科技有限公司 一种基于gpu并行运算的以图搜图系统及方法
WO2020181793A1 (en) * 2019-03-11 2020-09-17 Boe Technology Group Co., Ltd. Reverse image search method, apparatus and application system
CN112148909A (zh) * 2020-09-18 2020-12-29 微梦创科网络科技（中国）有限公司 搜索相似图片的方法及系统
CN113157962A (zh) * 2021-04-14 2021-07-23 杭州灵伴科技有限公司 图像检索方法、电子装置和存储介质
CN113407746A (zh) * 2021-07-16 2021-09-17 厦门熵基科技有限公司 一种以图搜图的方法及系统
CN114098536A (zh) * 2021-12-01 2022-03-01 湖南格兰博智能科技有限责任公司 一种扫地机器人越障被困检测方法及扫地机器人

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11500919B2 (en) * 2019-12-03 2022-11-15 Mercari, Inc. Systems and methods for image-based online marketplace posting
US11947631B2 (en) 2021-05-18 2024-04-02 Sony Group Corporation Reverse image search based on deep neural network (DNN) model and image-feature detection model
CN114283471B (zh) * 2021-12-16 2024-04-02 武汉大学 一种面向异质人脸图像重识别的多模态排序优化方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102687140A (zh) * 2009-12-30 2012-09-19 诺基亚公司 用于有助于基于内容的图像检索的方法和装置
CN103793466A (zh) * 2013-12-20 2014-05-14 深圳先进技术研究院 一种图像检索方法及装置
CN104933154A (zh) * 2015-06-25 2015-09-23 北京邮电大学 一种基于分布式网络实现图像按内容快速检索的方法
CN106126572A (zh) * 2016-06-17 2016-11-16 中国科学院自动化研究所 基于区域验证的图像检索方法
CN106156118A (zh) * 2015-04-07 2016-11-23 阿里巴巴集团控股有限公司 基于计算机系统的图片相似度计算方法及其系统
CN109376256A (zh) * 2018-09-29 2019-02-22 京东方科技集团股份有限公司 图像搜索方法及装置

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102254015B (zh) 2011-07-21 2013-11-20 上海交通大学 基于视觉词组的图像检索方法
US9098533B2 (en) * 2011-10-03 2015-08-04 Microsoft Technology Licensing, Llc Voice directed context sensitive visual search
US9607404B2 (en) * 2012-02-07 2017-03-28 Zencolor Corporation System for normalizing, codifying and categorizing color-based product and data based on a universal digital color system
CA2985048C (en) * 2012-02-24 2019-04-16 Nant Holdings Ip, Llc Content activation via interaction-based authentication, systems and method
US9158965B2 (en) * 2012-06-14 2015-10-13 The Board Of Trustees Of The Leland Stanford Junior University Method and system for optimizing accuracy-specificity trade-offs in large scale visual recognition
WO2014055874A1 (en) * 2012-10-05 2014-04-10 Raytheon BBN Technologies, Corp. Fast computation of kernel descriptors
US9529824B2 (en) * 2013-06-05 2016-12-27 Digitalglobe, Inc. System and method for multi resolution and multi temporal image search
JP6208898B2 (ja) * 2014-02-10 2017-10-04 ジーニー ゲゼルシャフト ミット ベシュレンクテル ハフツング 画像特徴式認識のためのシステムおよび方法
US9953216B2 (en) * 2015-01-13 2018-04-24 Google Llc Systems and methods for performing actions in response to user gestures in captured images
US10157192B2 (en) * 2015-03-20 2018-12-18 Oath Inc. System and method for photo scene searching
US9767381B2 (en) * 2015-09-22 2017-09-19 Xerox Corporation Similarity-based detection of prominent objects using deep CNN pooling layers as features
US20170109615A1 (en) * 2015-10-16 2017-04-20 Google Inc. Systems and Methods for Automatically Classifying Businesses from Images
EP3411828A4 (en) * 2016-02-01 2019-09-25 See-Out Pty Ltd. CLASSIFICATION AND LABELING OF IMAGES
CN105843925A (zh) * 2016-03-23 2016-08-10 中国科学技术大学 一种基于改进bow算法的相似图片搜索方法
US10740385B1 (en) * 2016-04-21 2020-08-11 Shutterstock, Inc. Identifying visual portions of visual media files responsive to search queries
CN106294577A (zh) * 2016-07-27 2017-01-04 北京小米移动软件有限公司 图片检测方法及装置
US9928448B1 (en) * 2016-09-23 2018-03-27 International Business Machines Corporation Image classification utilizing semantic relationships in a classification hierarchy
US10482336B2 (en) * 2016-10-07 2019-11-19 Noblis, Inc. Face recognition and image search system using sparse feature vectors, compact binary vectors, and sub-linear search
US10909166B1 (en) * 2017-11-03 2021-02-02 Shutterstock, Inc. Reverse search with manual composition
CN107766582A (zh) 2017-11-27 2018-03-06 深圳市唯特视科技有限公司 一种基于目标局部区域的图像检索方法
US10528816B2 (en) * 2017-11-30 2020-01-07 Salesforce.Com, Inc. System and method for retrieving and displaying supplemental information and pertinent data using augmented reality
US10878296B2 (en) * 2018-04-12 2020-12-29 Discovery Communications, Llc Feature extraction and machine learning for automated metadata analysis
US10467504B1 (en) * 2019-02-08 2019-11-05 Adhark, Inc. Systems, methods, and storage media for evaluating digital images
CN109902198A (zh) * 2019-03-11 2019-06-18 京东方科技集团股份有限公司 一种以图搜图的方法、装置及应用系统
US11609989B2 (en) * 2019-03-26 2023-03-21 Proofpoint, Inc. Uniform resource locator classifier and visual comparison platform for malicious site detection
CN110188217A (zh) * 2019-05-29 2019-08-30 京东方科技集团股份有限公司 图像查重方法、装置、设备和计算机可读储存介质
US11120071B2 (en) * 2019-11-19 2021-09-14 Lenovo (Singapore) Pte. Ltd. Reverse image search using portion of image but not entirety of image

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102687140A (zh) * 2009-12-30 2012-09-19 诺基亚公司 用于有助于基于内容的图像检索的方法和装置
CN103793466A (zh) * 2013-12-20 2014-05-14 深圳先进技术研究院 一种图像检索方法及装置
CN106156118A (zh) * 2015-04-07 2016-11-23 阿里巴巴集团控股有限公司 基于计算机系统的图片相似度计算方法及其系统
CN104933154A (zh) * 2015-06-25 2015-09-23 北京邮电大学 一种基于分布式网络实现图像按内容快速检索的方法
CN106126572A (zh) * 2016-06-17 2016-11-16 中国科学院自动化研究所 基于区域验证的图像检索方法
CN109376256A (zh) * 2018-09-29 2019-02-22 京东方科技集团股份有限公司 图像搜索方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
曹健健，唐悦，刘芮辰，等: "基于词汇树方法的图像检索", 《无线电通信技术》 *
林琳: "基于视觉单词树的图像检索", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
韩世伟: "基于视觉特征的图像快速检索算法的研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020181793A1 (en) * 2019-03-11 2020-09-17 Boe Technology Group Co., Ltd. Reverse image search method, apparatus and application system
US11481432B2 (en) 2019-03-11 2022-10-25 Beijing Boe Technology Development Co., Ltd. Reverse image search method, apparatus and application system
CN110633379A (zh) * 2019-08-29 2019-12-31 北京睿企信息科技有限公司 一种基于gpu并行运算的以图搜图系统及方法
CN110633379B (zh) * 2019-08-29 2023-04-28 北京睿企信息科技有限公司 一种基于gpu并行运算的以图搜图系统及方法
CN112148909A (zh) * 2020-09-18 2020-12-29 微梦创科网络科技（中国）有限公司 搜索相似图片的方法及系统
CN112148909B (zh) * 2020-09-18 2024-03-29 微梦创科网络科技（中国）有限公司 搜索相似图片的方法及系统
CN113157962A (zh) * 2021-04-14 2021-07-23 杭州灵伴科技有限公司 图像检索方法、电子装置和存储介质
CN113157962B (zh) * 2021-04-14 2022-09-13 杭州灵伴科技有限公司 图像检索方法、电子装置和存储介质
CN113407746A (zh) * 2021-07-16 2021-09-17 厦门熵基科技有限公司 一种以图搜图的方法及系统
CN113407746B (zh) * 2021-07-16 2023-08-29 厦门熵基科技有限公司 一种以图搜图的方法及系统
CN114098536A (zh) * 2021-12-01 2022-03-01 湖南格兰博智能科技有限责任公司 一种扫地机器人越障被困检测方法及扫地机器人

Also Published As

Publication number Publication date
US11481432B2 (en) 2022-10-25
WO2020181793A1 (en) 2020-09-17
US20210224313A1 (en) 2021-07-22

Similar Documents

Publication Publication Date Title
CN109902198A (zh) 一种以图搜图的方法、装置及应用系统
TWI506459B (zh) 基於內容之圖像搜尋
US7860317B2 (en) Generating search results based on duplicate image detection
JP5309155B2 (ja) イメージ検索における対話型概念学習
RU2533441C2 (ru) Способ и устройство для обеспечения поиска изображения по содержимому
US7478091B2 (en) System and method for measuring image similarity based on semantic meaning
US6556710B2 (en) Image searching techniques
US6522782B2 (en) Image and text searching techniques
US20030123737A1 (en) Perceptual method for browsing, searching, querying and visualizing collections of digital images
US20130326417A1 (en) Textual attribute-based image categorization and search
US20100250539A1 (en) Shape based picture search
US20080215548A1 (en) Information search method and system
JP2007206920A (ja) 画像処理装置および方法、検索装置および方法、プログラム、並びに記録媒体
CN107392238B (zh) 基于移动视觉搜索的户外植物知识拓展学习系统
US8832134B2 (en) Method, system and controller for searching a database contaning data items
JP2002288219A (ja) 情報検索システムおよび方法
JP5346756B2 (ja) 画像分類装置
JP2008282407A (ja) 情報処理装置
CN102722528B (zh) 基于移动设备的实时海量图像检索方法
JP4948607B2 (ja) 画像検索装置、画像分類装置及び方法並びにプログラム
JP2005235175A (ja) コンテンツエンジンのためのｅｘｉｆに基づく画像の特徴セット
CN102231149A (zh) 基于局部特征的手机视觉信息搜索方法
KR100512275B1 (ko) 멀티미디어 객체의 특징 기술정보 생성방법
JP2004192555A (ja) 情報管理方法、情報管理装置及び情報管理プログラム
KR101896177B1 (ko) 다중 결과 제공 기능을 구비한 이미지 검색 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination