CN101010693A - 检索系统及检索方法 - Google Patents

Abstract

本发明提供一种检索系统及检索方法，该检索系统中，当便携应用(13)和匹配处理部(21)以图像输入部(11)所输入的图像为基础，使用层级管理后的模板，从TP数据管理DB(22)检索图像时，在进行使用了上位层级的模板(例如1次层级模板2221)的模板匹配之后，接着进行使用下位层级的模板(例如2次层级模板2222)的模板匹配来缩小检索图像的范围，通过显示器(12)输出该缩小范围后的检索结果的图像。

Description

检索系统及检索方法

技术领域

本发明涉及从数据库检索图像的检索系统及检索方法。

背景技术

以往作为从数据库检索与所输入的图像对应的图像的方法，广泛知道有模板匹配。该方法是制作将数据库中蓄积的各图像降低为预定的低解像度而成的模板，将这些模板登录到数据库中，对降低为同样的解像度的输入图像和这些模板进行匹配。

但是，在这样的模板匹配中，有可能会对相似的图像进行错误匹配。因此，为了减少错误匹配，进行通过类似度表来管理模板间的类似度，防止类似图像的登录等的应对措施。但是，登录模板数越多，错误匹配的可能性就越大。

另外，还公知有根据特征点的配置来确定决定类似度的特征量的方法。而且，在这种方法中，例如如日本特开2004-362186号公报所公开的那样，考虑了在保持多个匹配用数据库进行参照的情况下，对匹配服务器进行并列化，分割多个参照数据来进行匹配，从而实现时间缩短的方法。

但是，在上述日本特开2004-362186号公报所公开的匹配的并列处理中，虽然概率上具有高速化的效果，但是却没有提高识别(成功)率的效果，这一点是通过发明人的实验所确认的。

发明内容

本发明是鉴于上述问题而完成的，其目的在于提供一种可以平衡地实现高速化和识别率提高的检索系统及检索方法。

本发明的检索系统的一个方式中，其特征在于，该检索系统具有输入图像的图像输入单元；检索单元，其作为以通过上述图像输入单元输入的图像为基础，使用层级管理的模板从数据库检索图像的单元，在进行了使用上位层级的模板的模板匹配之后，接着进行使用下位层级的模板的模板匹配来缩小检索图像的范围；以及输出由上述检索单元缩小范围后的检索结果的图像的输出单元。

另外，本发明的检索方法的一个方式中，该检索方法是从数据库检索图像的方法，其特征在于，在该检索方法中：输入图像；以所输入的图像为基础，使用层级管理的模板中的上位层级的模板进行模板匹配而从数据库检索图像，进而进行使用下位层级的模板的模板匹配来缩小检索图像的范围；以及输出上述缩小范围后的检索结果的图像。

附图说明

图1是表示本发明的一个实施例的检索系统的结构的图。

图2是表示纸面和该纸面上的对象图像的图。

图3是表示TP制作部的层级模板制作处理的流程的图。

图4是表示区域分割布局的例子的图。

图5是表示区域分割布局的另一例子的图。

图6是表示组合了切取位置和解像度的区域分割布局的例子的图。

图7是表示组合了切取位置和解像度的区域分割布局的另一例子的图。

图8是用于说明以往的模板匹配的问题点的图。

图9是用于说明使用层级模板的效果的图。

图10是表示TP数据管理DB的TP数据管理处理的流程的图。

图11是表示便携应用中的终端侧动作处理的流程的图。

图12是表示匹配处理部中的匹配处理的流程的图。

图13是用于说明第1具体例的、表示相似的对象图像、布局结构、第1层级的模板和第2层级的模板的图。

图14是表示第2具体例中的检索系统的结构的图。

图15是用于说明第3具体例中的对象图像输入图像解像度、带照相机的便携终端和TP数据管理DB的图。

图16是表示第4具体例中的检索系统的结构的图。

图17是表示识别对象图像中的个别区域和ID区域之间的固定位置关系的图。

图18是表示识别对象图像中的个别区域和ID区域之间的相对位置关系的图。

图19是用于说明第5具体例中进行多个匹配时的显示例的图。

图20是用于说明第5具体例中进行多个匹配时的另一显示例的图。

图21是用于说明第5具体例中进行多个匹配时的另一显示例的图。

图22是用于说明第5具体例中进行多个匹配时的另一显示例的图。

图23是用于说明第6具体例中进行匹配时的显示例的图。

图24是用于说明第6具体例中进行匹配时的另一显示例的图。

图25是表示在第8具体例中根据解像度来依次匹配的情形的图。

图26是表示第9具体例中的检索系统的结构的图。

图27是用于说明第9具体例的动作的流程的图。

图28是用于说明第10具体例的动作的流程的图。

图29是用于说明公共数据区域和个别用户区域的图。

图30是表示登录拒绝消息的显示例的图。

图31是表示登录确认消息的显示例的图。

具体实施方式

下面参照附图说明用于实施本发明的最佳方式。

如图1所示，本发明的一个实施例所涉及的检索系统由带照相机的便携电话和带照相机的PDA等的带照相机的便携终端10和检索单元构成。带照相机的便携终端10包含作为输入图像的图像输入单元的图像输入部(照相机)11和作为输出特定结果的输出单元的显示器12。检索单元使用层级管理的模板，以上述图像输入部11所输入的图像为基础，从数据库中检索图像。该检索单元由带照相机的便携终端10的便携应用13和可与上述带照相机的便携终端10进行通信的服务器20中构成的匹配处理部21实现。

上述服务器20还具有登录着多个模板、对它们进行层级管理的模板(TP)数据管理数据库(DB)22。登录在该TP数据管理DB22中的模板是通过TP制作部50，根据由桌面排版(Desktop Publishing，DTP)30如图2所示那样配置在纸面40上的对象图像41制作的。即，本实施例所涉及的检索系统中，首先由DTP30如图2所示在纸面40上印刷对象图像41。同时，由TP制作部50制作该对象图像41的模板。然后，将该制作出的模板登录到服务器20的TP数据管理DB22中。另外，登录的对象图像41如果有很多，则反复进行这种模板的制作和登录。

希望进行检索的用户使用带照相机的便携终端10等的图像输入部11来从纸面40取入对象图像41。于是，便携应用13根据该输入图像进行图像的特征提取，将提取出的特征数据发送给服务器20的匹配处理部21。接收到该特征数据的匹配处理部21与登录在TP数据管理DB22中的模板进行模式匹配。此时，在进行了使用上位层级的模板的模板匹配之后，接着进行使用下位层级的模板的模板匹配来缩小检索图像的范围。然后，如果取得了模式匹配结果，则匹配处理部21将该结果信息发送给带照相机的便携终端10的便携应用13。接收到该结果信息的便携应用13将该结果信息显示到显示器12上。

下面更详细地说明各部的动作。

首先参照图3说明上述TP制作部50中的层级模板制作处理。

即，在TP制作部50中，首先用户对期望的N次的层级模板的各层中使用的对象图像41的区域分割布局进行定义(步骤S11)。

如图4和图5所示，该区域分割布局221例如表示各层级的模板的图像的切取位置。或者，也可以表示各层级的模板的解像度。

进而，如图6和图7所示，也可以为切取位置和解像度的组合。即，图6所示的区域分割布局221的例子中，对于把图像的整体区域分割为8×8块而成的1次层级模板2221、把图像的1/4区域分割为8×8块而成的2次层级模板2222、把图像的1/8区域分割为8*8块而成的3次层级模板2223，把它们设定在右下一致的切取位置上。另外，图7所示的区域分割布局221的例子中，是设置在上述3个模板2221、2222、2223的中心一致的切取位置上的例子。而且，图4至图7的例子示出了N＝3的情况，但当然不限于此。

例如，在模板匹配中，有可能对图8所示那样的相似图像进行错误匹配。与此相对，如图9所示，如果仅在右下区域使用解像度较高的模板(2次层级模板2222)，则可以减少错误匹配的可能性。

而且，“定义”区域分割布局包括新“制作”的情况和对已有的进行“选择”的情况。

而且，如果定义了上述那样的区域分割布局221，则将内部计数器n设为“1”(步骤S12)。然后判断该计数器n的值是否大于N(步骤S13)。

此处，在仍然小于N的情况下，按照上述所定义的区域分割布局221，输入原图像(步骤S14)。此时，所输入的原图像为对象图像41中由上述区域分割布局221所表示的图像切取位置的图像数据。然后，按照上述定义的区域分割布局221，根据该输入的原图像来制作特征数据、即n层(n维)模板(步骤S15)。接着，输入例如当模板匹配OK时所应该输出的结果信息、例如特定的Web站点的URL等(步骤S16)。然后，将这些特征数据和结果信息登录到该TP制作部50内所构成的特征数据/结果信息表51中(步骤S17)。

之后，使计数器n的值“+1”之后，返回上述步骤S13，重复进行上述步骤。这样地，如果计数器n的值变得大于N(步骤S13)，则结束该TP制作处理。

下面参照图10说明上述服务器20的TP数据管理DB22中的TP数据管理处理的详细情况。

即，在TP数据管理DB22中，首先从TP制作部50读取上述N次的层级模板的各层中使用的对象图像41的区域分割布局221(步骤S21)。接着，读取与该读取出的区域分割布局221对应的特征数据/结果信息表51的内容(步骤S22)。然后按照上述读取出的区域分割布局221，将上述读取出的特征数据/结果信息表51的内容登录到针对每个模板布局设置的数据库中(步骤S23)。重复该处理直到TP制作部50所制作出的所有模板结束为止(步骤S24)。

下面参照图11和图12，说明上述带照相机的便携终端10的便携应用13中的终端侧动作处理和上述服务器20的匹配处理部21中的匹配处理的详细情况。而且，在图1中，只图示出了一个便携应用13，但实际上在带照相机的便携终端10中存在多个便携应用13。即，对于一个模板布局存在一个便携应用13，对应于原始的对象图像41的种类，所启动的便携应用13不同。

当与某对象图像41对应的便携应用13启动时，该便携应用13首先将由该便携应用13的模板布局所确定的模板最大层级数设定到未图示的内部计数器N中(步骤S31)。然后，通过图像输入部11输入对纸面40上的对象图像41进行拍摄而得到的图像(步骤S32)。接着，将对层级编号进行计数的未图示的内部计数器n设定为“1”(步骤S33)。

之后，按照该便携应用13的模板布局，对该图像提取第n层级区域的特征数据(n次特征量)(步骤S34)。此处，特征数据(特征量)是指例如特征点的分布或浓度等。然后，将该提取出的n次特征量与用于确定该便携应用13的模板布局的TP布局编号和当前的层级编号n一起，发送到服务器20的匹配处理部21(步骤S35)。之后，成为等待接收来自该匹配处理部21的结果信息的状态(步骤S36)。

在服务器20的匹配处理部21中，首先按照接收到的TP布局编号m将最大层级数设定到未图示的内部计数器N中(步骤S51)。另外，将匹配对象的层级编号设定到未图示的内部计数器n中(步骤S52)。然后，取得接收到的n次的特征数据(特征量)(步骤S53)。接着，进行上述TP数据管理DB22的上述所接收的TP布局编号m所表示的数据库中登录管理着的模板与该取得的特征数据之间的模式匹配(步骤S54)。

根据该模式匹配，如果具有对象数据候选(步骤S55)，则进而进行类似度检查(步骤S56)。然后，判断类似度在规定阈值以上的对象数据候选是否为一个(步骤S57)。

在该步骤S57中，如果判断为对象数据候选为一个，则把与该对象数据候选的特征数据对应地登录在特征数据/结果信息表51中的结果信息返回给上述带照相机的便携终端10(步骤S58)。

如果从上述服务器20的匹配处理部21返回了结果信息(步骤S37)，则便携应用13将其显示于显示器12上(步骤S38)。

与此相对，在上述步骤S57中，当判断为类似度在规定阈值以上的对象数据候选存在多个的情况下，判断内部计数器N的值是否大于内部计数器n的值(步骤S59)。然后，如果不大于，则向上述带照相机的便携终端10请求(n+1)次特征数据的发送(步骤S60)。

便携应用13在从上述服务器20的匹配处理部21接收到上述(n+1)次特征数据的发送请求的情况下(步骤S37)，判断内部计数器N的值是否大于内部计数器n的值(步骤S39)。然后，如果不大于，则使计数器n的值“+1”(步骤S40)，返回上述步骤S34，重复上述处理。由此，(n+1)次的特征数据被发送到服务器20的匹配处理部21。

然后，在服务器20的匹配处理部21中，对该(n+1)次的特征数据执行上述处理。其中，此时，优先对上次进行模式匹配时具有多个的对象数据候选进行模式匹配。

这样，在便携应用13和匹配处理部21之间重复上述处理，直到匹配为一个模板。

而且，在上述步骤S39中，在判断为内部计数器N的值大于内部计数器n的值的情况下，便携应用13作为匹配错误将错误消息等显示于显示器12上(步骤S41)，结束处理。

下面参照附图说明具体的具体例。

[第1具体例]

本具体例为使用带照相机的便携电话，通过邮购杂志/商品目录杂志进行顺利的邮购的情况下的例子。

在使用邮购杂志/商品目录杂志成套销售商品和可选品的情况下，如图13所示，在纸面40上，有时将主商品(照相机)的图像印刷得较大，可选品(更换镜头或胶卷)印刷得较小。在这种对象图像41的情况下，类似度会接近而难以判断。

于是，预先将对象图像41整体登录为第1层级模板(1次层级模板2221)，将关注区域登录为第2层级模板(2次层级模板2222)。其结果，由于即使在从按较低的解像度拍摄的图像中提取(特征点分布方式、模板浓度方式都可以)特征量的情况下，都只是指定第2层级的模板(匹配引擎)，所以错误识别率较低，而且由于原图像粗糙因而特征量数据容量本身也很小。

进而，登录此时的第1层级模板区域和第2层级模板区域的布局结构(区域分割布局221)。

然后，输入对象图像41，用便携应用13提取第1层级布局范围的特征数据，在服务器20的匹配处理部21中，对该提取出的第1层级的特征数据进行匹配处理。当具有多个规定阈值以上的运算结果时，提取上述登录的第2层级模板区域的特征数据，进行模式匹配。

如果使第1层级的模式匹配和在第2层级中进行的模式匹配中所用的特征数据的结构大小(特征的细微程度)相同，则可使各层级中的特征提取和模式匹配处理共通化，预先设定不同的特征提取也是有效的。另外，在第1层级的特征提取中，例如将图像分割为9份，可以只进行与其任意的块相对应的部分的特征量提取，而且若为便携电话进行指定，则用数字键等进行指定是有效的。例如，右上块为“3”，中央为“5”等。之后，在第1层级的匹配引擎(以及数据库)中指定规定的第2层级数据库，进行决定性的匹配。而且其间的通信即使高估也不需要VGA级别下的10kB以上。换言之，可知即使具有这以上的精细度或者特征点的配置组合数也不会对结果造成影响。这对于模板方式也同样，如果根据第1层级的作用来设计功能，则16*16块(特征量大小：256)下的模板设定已经足够，此时的特征量仍为2kB左右。因此，要通信的特征量大大低于以往，便携线路上的通信容量也为10kB以下的数据，从高速化的观点来看可以发挥效果。

[第2具体例]

只要知道URL则每个人都可以参照Web页面。与此相对，在仅购买了写真集等的杂志的人可以连接的Web页面(付费内容)中，作为限制参照该Web页面的手段，大多采用会员制，要求输入用户名和密码。

但是，在便携电话的Web站点等的情况下，从终端输入用户名和密码是很繁琐的。

于是，本具体例只有在用具有便携应用13的带照相机的便携终端10读取了纸面40的对象图像41的情况下，才能参照该种Web页面。

即，对于纸面40上的对象图像41，分为第1层级模板(1次层级模板2221)和第2层级模板(2次层级模板2222)，将第1层级模板与前端ID(premium ID)关联起来。然后，输入纸面40上的对象图像41，分别对于第1层级模板和第2层级模板进行模板匹配。服务器20仅在作为模板匹配结果而得到的结果信息即URL为上述那样的收费站点时，进行请求以在时间限定下动态地生成Web页面。因此，从纸面40读取对象图像41，可以仅在匹配的情况下生成Web页面，参照该所生成的Web页面。

而且，虽然是动态生成Web页面，然而当然可以如图14所示，通过由前端服务器(premium server)60进行前端ID的认证处理，来对在Web服务器70上所静态准备的Web页面71进行动态的访问控制，从而可以得到与动态地生成Web页面同等的效果。

[第3具体例]

在便携电话和PDA等的带照相机的便携终端10上进行匹配的情况下，可以在带照相机的便携终端10侧设置TP数据管理DB22，但在便携终端10侧大量地管理参照特征量数据(模板)，在存储器容量、运算速度等方面多有不利。而且，由于要频繁更新模板，所以便携终端10需要从服务器20逐次下载模板。因此，在进行图像的匹配时，在服务器20侧进行匹配在存储器容量、运算速度等方面是有利的。但是，每当在便携终端10侧输入对象图像41时，必须将特征数据发送给服务器20。在以对象图像41的特征点的配置关系来定义特征量的方式(Vipr)的情况下，用于特征量运算的对象图像41的拍摄时的解像度确定了识别精度和匹配速度。解像度越高、即拍摄时的像素数越多则识别精度越高，但由于运算次数增多而匹配速度变慢。因此，为了进行层级化匹配，对于同一对象图像41用TP数据管理DB22对其解像度阶段性地都不同的各层级的特征量进行管理的结构是有效的。

本具体例使用带照相机的便携电话来作为带照相机的便携终端10，适用于通过拍摄预先登录的图像，来识别该图像，进行规定的动作、例如语音输出和启动规定的程序或者显示规定的URL的情况。特别地，该方式在预先登录的图像数量极多(1000以上)的情况下具有效果，另外，在其中包含类似性较高的图像的情况下也很有效。

在识别图像的情况下，将图像数据作为所谓字典数据进行登录，但并非直接对图像进行比较，而是对图像的特征量进行比较，这是高效且实际的做法。在本具体例中，作为矢量的组合来计算图像的特征点的配置关系，将该多个组定义为特征量。此时，该特征量根据特征点的出现数量而其精度不同，原图像的精细度越高则可以检测出更多的特征点，因此对于相同的原图像尽量在高精度的条件下计算特征量。此时，如果对于相同的图像素材以降低了精细度的图像为基础来计算特征量，则由于特征点较少而特征量本身成为较小的容量。容量较小将会使匹配精度降低，但具有匹配速度较高、便携线路等中的通信速度较快等的优点。在本具体例中，着眼于此处，将图像作为参照数据(模板)而登录之际，即使登录了相同的图像素材也根据不同的多个精细度计算出特征量，构成被分割为各个精细度的数据库(TP数据管理DB22)。该各个数据库连接有分别对应的匹配服务器(匹配处理部21)，成为可进行并列动作的配置。

例如，如图15所示，设多个匹配处理部21和TP数据管理DB22被组群化而在网络内处于大致相同的级别。在该TP数据管理DB22中按照各层级管理着同一对象图像41的特征量。其中，在各TP数据管理DB22中，计算特征量时的原图像的解像度不同。例如分为QVGA水平、VGA水平、XGA水平、SXGA水平、......。

在准备了这种匹配处理系统的基础上，从便携电话的图像输入部(照相机)11拍摄已经登录的外观，由便携电话上的便携应用13根据特征点的配置关系计算特征量。如果此时的照相机解像度为200万像素级，如果经由通信而在匹配处理部21中进行检索时也使用来自200万像素级的解像度的TP数据管理DB22的数据来进行匹配，则错误识别率会降低。但是，因为同时工作的低解像度(例如VGA水平的解像度)的TP数据管理DB22下的匹配进行高速响应，所以先把结果送交便携电话。这样地，按照原图像的解像度来并列配置匹配处理部21在速度和识别精度上十分有利。

例如，如果按照QVGA输入一万日元纸币的图像，在该解像度水平下计算特征量，发送给匹配处理部21组群，则当然对于蓄积了QVGA水平的模板的TP数据管理DB22进行匹配的匹配处理部21最先匹配，返回规定的识别结果。然后，之后的匹配处理部21的结果虽然具有时间差但也可以期待同样的结果。

另外，如果以SXGA的解像度输入该一万日元纸币的图像，将该解像度下的特征量发送给各匹配处理部21，则此时也同样地能够预测到最先从QVGA水平的匹配处理部21返回匹配结果。但是，之后当从VGA水平、XGA水平、SXGA水平、......的各匹配处理部21以微小的时差返回匹配结果时，当初称为“一万日元纸币”的结果的图像在解像度提高的情况下有可能被返回“一万日元纸币、编号部分具有相当于XDA3248798PSP的图像”的特定结果。另外，如上所述，在高解像度匹配处理部21中，特征量本身的容量较大，XGA级别的特征量增大到40KB左右，但通过预先的低解像度匹配可以减小到大约10KB左右。另外，在从2次开始的匹配处理部21和TP数据管理DB22中，只要保持有与更低的解像度数据库之间的差分，就能实现更小的数据库结构，这可以实现识别处理的高速化。

这样地，通过同一图像计算一部分或者全面的解像度，实现实质上的层级化，相比使多个数据库集群化而对匹配引擎进行分散处理的情况，在识别速度、识别精度两方面上具有效果。

另外，该方式即使开始的识别结果返回了错误识别(错误的识别结果)，但由于之后返回的识别结果在概率上是正确结果的可能性高，所以能够进行纠正。

而且，关于向TP数据管理DB22进行的登录，是在计算了高解像度的对象图像41的特征量之后，依次降低解像度而再次计算特征量，一次次地登录到该解像度的DB中来进行。

另外，在以高解像度拍摄对象图像41而进行匹配时，与上述TP数据管理DB22登录时相反，在带照相机的便携终端10的便携应用13中对摄影图像进行尺寸调整而计算特征量。然后，发送给与该解像度对应的TP数据管理DB22和匹配处理部21。之后，进而提高解像度来再次计算特征量，发送给与该解像度对应的TP数据管理DB22和匹配处理部21。重复该处理直到达到拍摄时的解像度。

作为本方法的应用，通过在低解像度的TP数据管理DB22和匹配处理部21中进行匹配，从而对对象物进行大致分类，对于与该分类对应的TP数据管理DB22和匹配处理部21进而可以进行匹配。例如，将一万日元纸币作为对象图像41输入时，在低解像度下为{书的封面、报纸、图书券卡、票、钞票、招贴画}、依次提高解像度则为{图书券、卡、票、钞票}、{日本纸币、美元纸币、欧元纸币、人民币、韩元}、{一千日元纸币、两千日元纸币、五千日元纸币、1万日元纸币}、{新1万日元纸币、旧1万日元纸币}、......，如此使用各层级(各解像度)下的匹配结果，优先检索所关联的TP数据管理DB22，可以进行高速检索。另外，由于高解像度的检索结果的精度较高，因而即使有错误识别也能够进行纠正。

[第4具体例]

在使用便携电话和PDA等的带照相机的便携终端10进行匹配的情况下，可以在带照相机的便携终端10侧设置TP数据管理DB22，但在便携终端10侧大量地管理参照特征量数据(模板)，在存储器容量、运算速度等方面多有不利。而且，由于要频繁更新模板，所以便携终端10需要从服务器20逐次下载模板。因此，在进行图像的匹配时，在服务器20侧进行匹配在存储器容量、运算速度等方面是有利的。但是，每当在便携终端10侧输入对象图像41时，必须将特征数据发送给服务器20。

使用特征量来进行图像识别时，如果TP数据管理DB22所管理的特征量数据的数量增加，则有可能会出现特征量接近的数据增多的情况，检索时间也会增加。因此最好尽早删除不需要的特征量数据。

另外，使用特征量来识别图像而得到了结果信息，但是有时候结果信息过旧，或者所指定的先前的信息被删除。例如，在结果信息中记载有URL，对该URL进行连接，却该Web页面被删除而无法连接等。在便携电话的Web站点等的情况下，有时即使未能连接站点也产生通信费用。

于是，在本具体例中，如图16所示，将识别对象图像41的图像区域分为个别区域41A和ID区域41B。而且，使ID区域41B的特征量对应于有效期限，准备1周、1个月、3个月、6个月、1年等的有效期限。

可以减少ID区域41B的特征量的数量，也可以减小大小，所以可以在带照相机的便携终端10侧准备ID区域TP数据管理DB22A。在图像输入时经由网络等而检索个别区域TP数据管理DB22B之前，可以高速地检索该带照相机的便携终端10内部具有的ID区域TP数据管理DB22A，可以向用户提示有效期限是否过期。

而且，识别对象图像41的个别区域41A和ID区域41B之间的关系如图17所示，可以相互配置在固定位置上，也可以如图18所示，配置在相对位置上。

[第5具体例]

在使用便携电话和PDA等的带照相机的便携终端10进行匹配的情况下，可以在带照相机的便携终端10侧设置TP数据管理DB22，但在便携终端10侧大量地管理参照特征量数据(模板)，在存储器容量、运算速度等方面多有不利。而且，由于要频繁更新模板，所以便携终端10需要从服务器20逐次下载模板。因此，在进行图像的匹配时，在服务器20侧进行匹配在存储器容量、运算速度等方面是有利的。但是，每当在便携终端10侧输入对象图像41时，必须将特征数据发送给服务器20。

此时，对1张摄影图像进行特征量提取，询问服务器20。此时，有时对于1张图像包含有多个对象图像41。这种情况下，下面的方法很有效。

●当有多个匹配时，如图19所示，显示所有的对象图像41的结果信息。

●当有多个匹配时，显示由匹配的各个结果信息的AND信息关联起来的信息。例如，识别出“郁金香”和“樱花”则显示植物图鉴的信息。

●当有多个匹配时，如图20所示，让用户选择获得哪个信息。

●当有多个匹配时，如图21所示，显示TP数据管理DB22侧的参照特征量计算时所使用的原图像。此时，从在图像输入时离中心最近的位置的对象图像41起按顺序显示于显示区域的一部分(例如下部)中。

●当有多个匹配时，如图22所示，仅显示与邻近中心的对象图像41匹配的结果信息。

通过实现上述方法，可以实现贴近用户意愿(期望识别)的操作性。

[第6具体例]

在识别图像时，如果马上显示结果信息，则有可能用户无法判断识别了输入图像中的哪个对象图像41。

于是，如图23和图24所示，对于输入图像中的对象图像41在提取了特征量的区域上明示性地显示“Get”或“心形标记”等的字符串或外观标记。

由此，可以向用户告知识别对象图像41，根据用户的意愿(按下按钮等)而显示结果信息。

[第7具体例]

下面说明将本实施例的检索系统应用于卡片游戏的情况。

在本具体例中，作为带照相机的便携终端10，使用带照相机的便携电话、或者可与摄影装置组合起来使用的具有通信功能的PDA等，进行卡片游戏。

即，将排列在游戏盘上的卡作为对象图像41予以拍摄，进行识别，按照该识别结果向用户提供各种结果。

此处，当多个卡存在于画面内时，选择画面中央等预定的基准点邻近的内容。

另外，在画面内捕捉到多个卡时，可以根据这些多个卡的组合，切换显示的信息。此时，不仅作为卡种类的组合，多个卡的相对朝向，另外，即使为1个卡，也当然可以根据对于画面的朝向和位置来切换信息。

另外，通过把便携终端10朝画面上方移动，可以识别为对于卡片的指示。这通过识别卡的外观等来理解为是特定的卡片，进而利用画面内的图像信息(光流、卡片的外观本身以及作为图案的角和边缘等所表现的自然特征点等)，通过追踪画面内的卡片的相对移动来实现。

另外，通过根据画面内的信息来追踪便携终端10的动作，可以切换输出的信息、例如切换所识别的卡片的信息。例如，在捕捉到卡片后，将便携终端10向上方移动时，提示与攻击相关的信息和声音，或者在旋转便携终端10的时候，提示记载于卡片中的角色的进化信息。

成为捕捉到多个卡片时的选择基准的不限于此，例如可以优先选择接近登录时的姿态的内容，即，对于以正面的状态进行登录的内容，可以优先选择相对于画面纵横大致一致，上下也一致的状态的内容。

另外，也可以将对应于所识别的多个卡片的登录图像在画面的一部分中显示为带状的列(标签的形象)，对它们进行选择。

另外，在识别时，在识别物上/周边(实时)显示“GET”等的文本、星星标记等的外观。或者，通过用线等围绕所识别的区域，向用户提示已经识别。也可以通过变更识别了的区域的亮度，来用发光进行提示。另外，当然可以使用声音/语音。另外，在画面下部(例如右下)，在捕捉到了对象的照相机的摄影图像上重叠显示所识别的对象的登录图像和名称等的关联信息，也是对于用户的有效提示。此时，也可以暂时停止画面。即，在识别的瞬间暂停规定时间的画面更新，可以清楚地向用户提示识别了的状态。在经过了规定的时间后，画面再次成为更新后的状态。

[第8具体例]

下面说明在主题公园等某些限定的空间内使用本实施例的检索系统的情况下的例子。

此时，在入园时通过带照相机的便携终端10来拍摄门票、园内地图、园门附近的提示牌等上所安装的标记，从而可以将主题公园内的所有内容、或者一部分保存在便携终端10内的存储区域内。该存储区域可以是内置存储器，也可以是存储卡等其他介质。当然也可以发布存储了内容的状态下的存储卡。

然后，例如通过用图像输入部11拍摄地图上希望游玩的设施，可以获得与该游艺设施相关的内容作为结果信息。

通过将游艺设施附近的提示牌或者游艺设施外观、园门等作为对应于内容的特征区域而进行登录，从而使用下载了内容的带照相机的便携终端10来眺望提示牌、园门等或者拍摄，就能够享受对应的内容。例如，如果在排队的时候拍摄了设施的园门，则可以通过角色的动画等来观看作为结果信息传送来的该设施的说明。另外，可以进行与设施内的游艺节目联动的游戏，该游戏的结果、得分等也可作为使设施内的演出发生变化的参数。游戏的结果、得分等在游戏结束时通过通信发送到设置于主题公园中的服务器20等。另外，通过在游艺节目开始时再次拍摄园门，来结束登录通知。

另外，在以主题公园内的提示牌为对象的情况下，存在同类的提示牌、例如表示食品区的或表示厕所的提示牌等，但通过装备于带照相机的便携终端10中的概略位置确定装置、例如利用GPS或基站间的电波强度等的装置，可以限制从使用者的当前的大概位置所能识别的事物。例如，当位于A区域的中央部的使用者拍摄食品区的提示牌时，可以将原本的匹配候选限制为从该位置有可能看到的餐厅A和游艺设施B、C、D、礼品店E、F，可以大幅度提高匹配的效率。

另外，由于为使用者集中的环境，所以考虑到未必能够确保充足的通信带宽/速度。作为对这种状况的应对，在发送摄影图像时，首先发送粗略的图像信息P0，接着发送与用于构成更高解像度的图像P1的与P0之间的差分信息dP1。从服务器先是得到P0的检索结果，然后得到关于P1的检索结果非同步地进行通信的结果。通过非同步地进行，从而可以不损害用户的使用感而进行这种多重信息的交互。在发送从图像中提取出的特征量时，根据各特征要素的重要度来改变发送顺序。即，只要从重要度较高的特征要素开始按顺序进行发送即可。

另外，对应于多重信息的匹配服务器中，与低解像度的信息相关联的信息可以是组群化的信息。例如如图25所示，当在表示设施的种类的提示牌的一部分上写有具体的店铺信息时，在低解像度下，难以判断店铺信息。因此，对应于低解像度的服务器上的信息停留在与设施的种类相关的程度，在对应于更高解像度的信息的服务器上关联有具体的店铺信息。这样地根据基础信息的解像度/信息量使匹配服务器上的信息密度也发生变化，从而即使在向用户依次发送匹配信息的情况下，结果也能按阶段地细化，可以提供较好的使用感。

[第9具体例]

下面说明本实施例的检索系统用于邮购和实物商品的市场销售的情况。

在本具体例中，作为带照相机的便携终端10，使用了带照相机的便携电话。在带照相机的便携电话中，预先下载了包含本技术的便携应用13或者预先在销售时进行了安装。

在本具体例中，便携电话侧的便携应用13具有将所拍摄的图像发送给用户可以适当选择的预定服务器的功能，具有先显示来自服务器的回答，然后对于便携站点连接启动浏览器的功能。

如图26所示，本检索系统主要由3种软件群构成。即，安装在便携电话上的便携应用13、构成在服务器20上的匹配处理部21的软件和图像登录系统80。

如图27所示，便携应用13如上所述启动导入到便携电话中的图像输入部11即照相机，通过用户的指示来进行对象物的拍摄(步骤S71)，经由通信将图像送给服务器20的匹配处理部21(步骤S72)。此时，在带照相机的便携终端10上进行预备处理、例如图像压缩、轮廓强调和对比度调整、或者特征点提取和部分的特征量评价等，将这些连同原图像一起和/或单独地发送到服务器侧。该便携应用13也可以保有图像特征量的匹配功能。但是，发明人们通过实验已经确认，根据特征点群的结构和该各点群的特征的强弱等作为特征量来发送图像，在服务器侧进行判断的处理基本上在处理时间方面是有利的。

前面叙述了匹配处理部21，其首要意义在于将图像登录系统80所登录的参照图像群根据其精细度或者作为对精细度进行分级后的模板而存储于TP数据管理DB22中的技术和实现对照的功能。

图像登录系统80在本技术中成为使用时的导入部，具有登录希望作为提供信息的契机的图像和希望成为检索对象的图像的功能。在本具体例中，该图像登录系统80提供可在Web应用的形态下进行利用的技术。通过该形态，希望登录图像的人受到的登录时间和场所的限制极少。另外，在对于本检索系统的使用设定了关于图像登录的计费系统的情况下具有十分易于构筑计费系统的优点。

进而，将该图像登录系统80形成为便携应用13这一点会在确保登录的方便性上更为有效。以便携应用13的形式使用便携电话的照相机(图像输入部11)，此处将所拍摄的图像登录在该带照相机的便携终端10中确定或用户指定的数据库(TP数据管理DB22)中，进而可以将该图像连同应联系在一起的信息进行登录。例如，URL也将该图像与Web服务器70上的Web页面(内容站点)联系起来，也可以设定为通过用文本指定关键词来使用更一般的检索引擎进行站点检索。

从便携电话的照相机登录图像时，从便携电话向TP数据管理DB22发送登录图像(步骤S73)，将其登录为第2层级模板(2次层级模板2222)，的同时根据该发送图像再次生成降低了精细度的图像，制作第1层级模板(1次层级模板2221)进行登录(步骤S74)。这是因为从便携电话上多次发送同一图像在时间上和使用费用上都十分不利。

这样，优选使图像登录系统80和便携应用13在便携电话上构成为一体的软件。这是因为两个软件在便携电话上拍摄图像，向服务器发送图像的功能大致相同。在此将该软件称作登录兼用便携应用。该登录兼用便携应用中，如果在便携电话上打开便携应用13，则可以在图像拍摄后决定“登录”还是“检索”。另外，在刚启动之后也可以指定特定的服务器20的匹配处理部21或者特定的TP数据管理DB22。这种情况下也可以在该时机指定“登录”还是“检索”。

在进行“检索”时，如上所述在步骤S72中发送图像。接收到此的匹配处理部21中，实施基于TP数据管理DB22中登录的1次层级模板2221的1次匹配(步骤S75)，进而实施基于2次层级模板2222的2次匹配(步骤S76)。然后返回与匹配的图像相关联的信息、例如URL等的链接目标信息(步骤S77)。接收到该链接目标信息的便携应用13启动便携电话浏览器，读取作为该链接目标的Web服务器70的Web页面(步骤S78)，进行显示(步骤S79)。

下面描述将本检索系统应用于通过邮购杂志/商品目录杂志进行的所谓商品目录邮购的情况下的追加功能例。

在商品目录邮购中，具有在页面上排列记载着各个商品图片的状态下的页面布局和在1张图片内配置多种商品的情况。前者的情况下，用带照相机的便携终端10拍摄的图像内会放入多个商品图片。这种情况下，在本检索系统中，进行与各个商品图片相对应的特征量的计算，在接下来的画面上显示各个商品名和/或URL。关于该显示方法主要采用2种方式。一种是在所拍摄的商品的排列中一并列举，另一种是从摄影图像中更靠中心的商品图片开始按顺序来列举上述列表。

另外，不限于邮购等，可以在便携电话中使用基站信息或GPS信号，察看用户的存在位置，通过位置信息来自动切换匹配处理部21或者TP数据管理DB22，从而根据同一图片和招贴画等来呈现其他信息(在该位置上更有用的信息)。

[第10具体例]

在上述第9具体例中用图像登录系统80登录图像时，有时需要登录与已经登录的图像非常相似的图像。这种情况下，一般是评价类似度，如果在阈值以上则拒绝登录。

但是，在要登录本公司的商品图片或标记的相似图像等的情况下，虽然为些许不同的图片但结果信息却一样时，如果不能登录图像则很不方便。

于是，优选如果为自己登录的组的图像，则即使类似度相近也可以用自己的责任来许可登录。

如图28所示，当用户n要登录图像时，对于图像登录系统80输入希望登录的图像(步骤S81)，另外，输入作为与该图像关联的信息的结果信息(步骤S82)。接收到这种输入的图像登录系统80对于已经登录在TP数据管理DB22的公共数据区域中的所有图像进行类似度的检查(步骤S83)。

即，如图29所示，TP数据管理DB22将作为其全部区域的公共数据区域223设为对象，作为检索图形的范围和检查类似度的范围。该公共数据区域223是个别用户区域224的集合。个别用户区域224中登录着每个用户的图像和结果信息。

如果公共数据区域223中没有类似图像(步骤S84)，则向用户n的个别用户区域224登录所输入的图像和结果信息(步骤S85)，然后结束。

与此相对，公共数据区域223中有类似图像时(步骤S84)，判断该类似图像是否为登录在该用户n的个别用户区域224中的图像(步骤S86)。

例如设用户A登录图像a-1、a-2、a-3、...、a-n，用户B登录图像b-1、b-2、b-3、...、b-n。此处，当用户C要登录图像c-m时，与该图像c-m类似的图像b-i已经登录了。这时，该登录被拒绝，显示图30所示的登录拒绝消息(步骤S87)，然后结束。

与此相对，例如当用户B要登录图像b-m时，如果存在类似的图像b-i，则由于为同一用户(步骤S86)，显示图31所示的登录确认消息(步骤S88)，用户确认是否将其登录(步骤S89)。然后，如果选择了“Cancel”则结束。如果选择了“OK”则将所输入的图像和结果信息登录在该用户n的个别用户区域224中(步骤S85)，然后结束。

如上所述，当与同一用户已经登录的图形相似时，可以凭用户的责任来登录。由此，可以登录类似的多个图像。这在登录从多方面对立体物体进行拍摄得到的图像时，即用多个图像来得到一个或者多个结果信息的情况下是有效的。

如上与具体的具体例一起进行说明的那样，根据本发明的检索系统，在类似商品的商品目录图片的情况下，如果模板化则类似度接近，但通过使模板层级化而可以对各层的模板进行AND来匹配，可以减少错误匹配。

另外，以往想要参照多个(例如1万件以上)的匹配用参照数据时，曾考虑对匹配服务器进行并列化，分割多个参照数据来进行匹配，从而来实现缩短时间的做法，但对于这种匹配的并列处理虽然概率上具有高速化的效果，但是发明者们通过实验确认到没有提高识别(成功)率的效果。与此相对，在本实施例的检索系统那样的树型结构的情况下，其结果可以达到高速化和识别率的提高。

以上根据一个实施例对本发明进行了说明，但本发明不限于上述实施例，当然可以在本发明的主旨的范围内进行各种变形和应用。

Claims (4)

1.一种检索系统，其特征在于，该检索系统具有：

输入图像的图像输入单元(11)；

检索单元(13、21)，其作为以通过上述图像输入单元输入的图像为基础，使用层级管理的模板从数据库(22)检索图像的单元，在进行了使用上位层级的模板(2221)的模板匹配之后，接着进行使用下位层级的模板(2222)的模板匹配来缩小检索图像的范围；以及

输出由上述检索单元缩小范围后的检索结果的图像的输出单元(12)。

2.根据权利要求1所述的检索系统，其特征在于，在上述层级管理的模板中，上位层级的模板(2221)和下位层级的模板(2222)的图像切取位置不同。

3.根据权利要求1所述的检索系统，其特征在于，在上述层级管理的模板中，上位层级的模板(2221)和下位层级的模板(2222)的解像度不同。

4.一种从数据库检索图像的方法，其特征在于，

输入图像(41)；

以所输入的图像为基础，使用层级管理的模板中的上位层级的模板(2221)进行模板匹配而从数据库(22)检索图像，进而进行使用下位层级的模板(2222)的模板匹配来缩小检索图像的范围；以及

输出上述缩小范围后的检索结果的图像。

Images