[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN110692081A - 用于查看确认的系统、便携式终端装置、服务器、程序和方法 - Google Patents

用于查看确认的系统、便携式终端装置、服务器、程序和方法 Download PDF

Info

Publication number
CN110692081A
CN110692081A CN201880035471.2A CN201880035471A CN110692081A CN 110692081 A CN110692081 A CN 110692081A CN 201880035471 A CN201880035471 A CN 201880035471A CN 110692081 A CN110692081 A CN 110692081A
Authority
CN
China
Prior art keywords
image
portable terminal
poster
viewing
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880035471.2A
Other languages
English (en)
Other versions
CN110692081B (zh
Inventor
仓林修一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cy Game Co
Original Assignee
Cy Game Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cy Game Co filed Critical Cy Game Co
Publication of CN110692081A publication Critical patent/CN110692081A/zh
Application granted granted Critical
Publication of CN110692081B publication Critical patent/CN110692081B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0207—Discounts or incentives, e.g. coupons or rebates
    • G06Q30/0224—Discounts or incentives, e.g. coupons or rebates based on user history
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0207—Discounts or incentives, e.g. coupons or rebates
    • G06Q30/0225—Avoiding frauds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72457—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to geographic location
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Primary Health Care (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Human Computer Interaction (AREA)
  • Environmental & Geological Engineering (AREA)
  • Information Transfer Between Computers (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)
  • Telephonic Communication Services (AREA)

Abstract

提供确认张贴物的查看的系统、程序、便携式终端装置、服务器和方法。系统用于确认便携式终端装置的用户通过访问多个场所之一查看了多个场所中张贴的张贴物，系统包括便携式终端装置和服务器，便携式终端装置包括便携式终端控制单元、便携式终端通信单元、摄像单元、便携式终端存储单元和位置信息获得单元，服务器包括服务器控制单元、服务器通信单元和服务器存储单元，服务器存储单元将关于各张贴场所中的张贴物的已认证图像与张贴场所的位置信息相关联地存储，便携式控制单元通过使用便携式终端通信单元将包括查看图像、归一化信息和便携式终端位置信息的查看确认请求发送至服务器，并且服务器控制单元基于查看确认请求判断查看图像是否正当。

Description

用于查看确认的系统、便携式终端装置、服务器、程序和方法
技术领域
本发明涉及用于确认张贴物的查看的系统、程序、便携式终端装置、服务器和方法。
背景技术
已知有用于向访问了诸如商店等的预定场所的人奖励商店处或在线游戏中的特权的服务。专利文献1公开了在利用便携式终端装置拍摄商店中所投影的特定视频时授予特权的系统。专利文献2公开了如下的系统，该系统执行用于通过使用GPS来识别位置并确认对登记商店等的访问的登记处理，并且提供网络游戏所用的点数。此外，专利文献3公开了在利用便携式终端装置拍摄特定图像并且所拍摄到的图像是正确图像的情况下授予特权的系统。
现有技术文献
专利文献
专利文献1：日本特开2016-062273
专利文献2：日本特开2013-000552
专利文献3：日本特开2009-169586
发明内容
发明要解决的问题
在提供用于向访问预定场所的便携式终端装置的用户奖励商店或游戏等的特权的服务时，可以通过张贴印刷有特征图像的海报等、并且让用户通过使用便携式终端装置拍摄该海报的图像并将该图像发送至服务器，来确认用户的访问。然而，通过复制等可以容易地获得其他人所拍摄到的海报的图像，并且通过将该图像发送至服务器，可以在未实际访问张贴场所的情况下非正当获得特权。另外，在将大量印刷的相同张贴物张贴在多个场所的情况下，仅利用拍摄张贴物的图像，无法识别用户所拍摄到的张贴物张贴在哪个场所。通过将用于识别场所的二维码贴附至张贴物，可以识别所拍摄到的图像张贴的场所。然而，这使得需要针对各个张贴场所创建不同的二维码并将这些二维码贴附至各个张贴物。这导致单价显著增加，并且需要改变现有张贴物的制造和分发路线。
在采用通过使用GPS来识别用户等的位置的系统的情况下，担心尽管恶意方实际并未访问张贴场所、但该恶意方可能通过篡改位置信息仿佛该恶意方访问了张贴场所一样，来非正当地获得特权。
还可以通过使用BLE(蓝牙(Bluetooth，注册商标)低功耗)信标或近场无线电通信(NFC)来检测用户对预定场所的访问。例如，被称为BLE信标的超小型装置可以向周围广播嵌入了UUID或URL的BLE广告包，使得接收到了该包的便携式终端装置进行与其当前位置相对应的操作。利用NFC，在支持NFC的便携式终端装置和NFC读取器之间以自组织方式建立安全通信会话。这使得可以在无需诸如配对等的附加处理的情况下，仅通过使便携式终端接近NFC读取器来容易地实现用于获得供在预定位置处查看用的认证的功能。
然而，BLE信标或NFC所用的装置与印刷品相比昂贵，并且在全国范围安装数千个装置的情况下成本将高。此外，利用BLE信标系统，可以通过使用非正当应用程序来接收信标，并且通过嗅探(即，将信标传送到网络上)，单个装置可以代表多个装置起作用以获得对存在于远处的用户的认证。尽管NFC实现了安全性高的机制，但支持NFC的诸如智能电话等的便携式终端装置是有限的。这使得在采用基于NFC的系统的情况下难以向大量用户提供服务。此外，由于NFC用在结算系统中，因此存在不愿意随便将智能电话抵靠NFC读取器放置的用户。
用于解决问题的方案
本发明是有鉴于上述情形而作出的，并且具有以下特征。具体地，根据本发明的方面的系统是如下的系统，其用于确认便携式终端装置的用户通过访问多个场所其中之一而查看了所述多个场所中所张贴的张贴物，所述系统包括所述便携式终端装置和服务器，所述便携式终端装置包括便携式终端控制单元、便携式终端通信单元、摄像单元、便携式终端存储单元和位置信息获得单元，并且所述服务器包括服务器控制单元、服务器通信单元和服务器存储单元，所述服务器存储单元用于将关于各个张贴场所中的张贴物的已认证图像与所述张贴场所的位置信息相关联地存储，以及所述便携式终端控制单元进行以下操作：通过使用所述位置信息获得单元来获得便携式终端位置信息；将所述摄像单元所拍摄的空间的图像与所述便携式终端存储单元中所存储的作为张贴物的图像的基准张贴物图像进行比较，由此判断是否在所拍摄的空间的图像中的预定的区域内拍摄了所述基准张贴物图像中的张贴物；在判断为在所述区域内拍摄了张贴物的情况下，获取查看图像，所述查看图像是包括所述区域内拍摄的张贴物以及该张贴物的周边部的空间的图像；通过将所述查看图像中的张贴物的图像与该张贴物的基准张贴物图像进行比较，来生成用于参考所述基准张贴物图像对所述查看图像进行归一化的归一化信息；以及通过使用所述便携式终端通信单元将包括所述查看图像、所述归一化信息和所述便携式终端位置信息的查看确认请求发送至所述服务器，以及所述服务器控制单元进行以下操作：通过使用所述服务器通信单元来接收所述查看确认请求；判断所述查看确认请求中所包括的查看图像是否已被篡改；在判断为所述查看图像已被篡改的情况下，将用户的查看判断为非正当查看；在判断为所述查看图像未被篡改的情况下，生成通过基于所述归一化信息对所述查看图像进行归一化而获得的归一化图像；基于所述便携式终端位置信息和与所述已认证图像相关联的位置信息，从所述服务器存储单元内所存储的已认证图像中选择与所述查看图像相对应的一个或多个已认证图像；将所述归一化图像与所选择的一个或多个已认证图像进行比较，以计算所述归一化图像和所述已认证图像之间的相似度；基于所述相似度来判断所述查看图像是否正当；在判断为所述查看图像正当的情况下，将用户的查看判断为正当查看；以及在判断为所述查看图像不正当的情况下，将用户的查看判断为非正当查看。
利用所述便携式终端控制单元的所述归一化信息的生成可以包括：将所述查看图像与所述基准张贴物图像进行比较，并且生成表示所述查看图像中的张贴物的图像的位置的位置信息，所述归一化信息可以包括所述位置信息，所述服务器存储单元中所存储的已认证图像可以是张贴物的周边部的归一化图像，以及利用所述服务器控制单元的基于所述归一化信息的归一化可以包括：基于张贴物的位置信息来从所述查看图像中提取该张贴物的周边部的图像。
利用所述便携式终端控制单元的所述归一化信息的生成可以包括：计算所述基准张贴物图像和所述查看图像中的张贴物的图像之间的亮度和颜色的差，并且基于所计算出的亮度和颜色的差来生成光学校正信息，所述归一化信息可以包括所述光学校正信息，以及利用所述服务器控制单元基于所述归一化信息的归一化图像的生成可以包括：基于所述光学校正信息来校正所述查看图像的亮度和颜色。
此外，所述服务器控制单元对所述归一化图像和所述已认证图像之间的相似度的计算可以包括：将所述查看图像和所述已认证图像各自分割为两个或更多个区域，计算分割后的所述查看图像和所述已认证图像的各个相应区域之间的相似度，以及基于各个区域的相似度和分配给各个区域的权重来计算所述查看图像和所述已认证图像之间的相似度；以及所述权重可以是基于所述已认证图像中的相应区域之间的相似度的变化来确定的。
此外，在基于所述相似度而判断为所述查看图像正当的情况下，所述服务器控制单元可以将所述归一化图像作为已认证图像与所述张贴场所的位置信息相关联地存储在所述服务器存储单元中。
此外，所述便携式终端存储单元可以将两个或更多个种类的张贴物的图像与表示张贴物的种类的张贴物识别信息相关联地存储，所述查看确认请求还可以包括所述区域内所拍摄的张贴物的张贴物识别信息，所述服务器存储单元中所存储的已认证图像可以与张贴物识别信息相关联，以及从所述服务器存储单元内所存储的已认证图像中对与所述查看图像相对应的一个或多个已认证图像的选择可以包括：选择与所述查看确认请求中所包括的张贴物识别信息相关联的已认证图像。
根据本发明的方面的便携式终端装置是如下的便携式终端装置，其用于确认所述便携式终端装置的用户通过访问多个场所其中之一而查看了所述多个场所中所张贴的张贴物，所述便携式终端装置包括便携式终端控制单元、便携式终端通信单元、摄像单元、便携式终端存储单元和位置信息获得单元，以及所述便携式终端控制单元进行以下操作：通过使用所述位置信息获得单元来获得便携式终端位置信息；将所述摄像单元所拍摄的空间的图像与所述便携式终端存储单元中所存储的作为张贴物的图像的基准张贴物图像进行比较，由此判断是否在所拍摄的空间的图像中的预定的区域内拍摄了所述基准张贴物图像中的张贴物；在判断为在所述区域内拍摄了张贴物的情况下，获取查看图像，所述查看图像是包括所述区域内所拍摄的张贴物以及该张贴物的周边部的空间的图像；通过将所述查看图像中的张贴物的图像与该张贴物的基准张贴物图像进行比较，来生成用于参考所述基准张贴物图像对所述查看图像进行归一化的归一化信息；以及通过使用所述便携式终端通信单元将包括所述查看图像、所述归一化信息和所述便携式终端位置信息的查看确认请求发送至服务器。
根据本发明的方面的服务器是如下的服务器，用于确认便携式终端装置的用户通过访问多个场所其中之一而查看了所述多个场所中所张贴的张贴物，其中，所述便携式终端装置发送包括查看图像、归一化信息和便携式终端位置信息的查看确认请求，所述查看图像包括预定场所中所张贴的张贴物及其周边部的图像，所述归一化信息是用于对所述查看图像进行归一化的信息，所述便携式终端位置信息是表示所述便携式终端装置的位置的信息，所述服务器包括服务器控制单元、服务器通信单元和服务器存储单元，所述服务器存储单元用于将关于各个张贴场所中的张贴物的已认证图像与所述张贴场所的位置信息相关联地存储，以及所述服务器控制单元进行以下操作：通过使用所述服务器通信单元接收包括所述查看图像、所述归一化信息和所述便携式终端位置信息的查看确认请求；判断所述查看确认请求中所包括的查看图像是否已被篡改；在判断为所述查看图像已被篡改的情况下，将用户的查看判断为非正当查看；在判断为所述查看图像未被篡改的情况下，生成通过基于所述归一化信息对所述查看图像进行归一化而获得的归一化图像；基于所述便携式终端位置信息和与所述已认证图像相关联的位置信息，从所述服务器存储单元内所存储的已认证图像中选择与所述查看图像相对应的一个或多个已认证图像；将所述归一化图像与所选择的一个或多个已认证图像进行比较，以计算所述归一化图像和所述已认证图像之间的相似度；基于所述相似度来判断所述查看图像是否正当；在判断为所述查看图像正当的情况下，将用户的查看判断为正当查看；以及在判断为所述查看图像不正当的情况下，将用户的查看判断为非正当查看。
此外，根据本发明的方面的便携式终端装置的程序是如下的程序，其用于确认便携式终端装置的用户通过访问多个场所其中之一而查看了所述多个场所中所张贴的张贴物，所述便携式终端装置包括便携式终端通信单元、摄像单元、便携式终端存储单元和位置信息获得单元，所述程序使得所述便携式终端装置执行以下步骤：通过使用所述位置信息获得单元来获得便携式终端位置信息；将所述摄像单元所拍摄的空间的图像与所述便携式终端存储单元中所存储的作为张贴物的图像的基准张贴物图像进行比较，由此判断是否在所拍摄的空间的图像中的预定的区域内拍摄了所述基准张贴物图像中的张贴物；在判断为在所述区域内拍摄了张贴物的情况下，获取查看图像，所述查看图像是包括所述区域内所拍摄的张贴物以及该张贴物的周边部的空间的图像；通过将所述查看图像中的张贴物的图像与该张贴物的基准张贴物图像进行比较，来生成用于参考所述基准张贴物图像对所述查看图像进行归一化的归一化信息；以及通过使用所述便携式终端通信单元将包括所述查看图像、所述归一化信息和所述便携式终端位置信息的查看确认请求发送至服务器。
此外，根据本发明的方面的服务器的程序是如下的程序，其用于确认便携式终端装置的用户通过访问多个场所其中之一而查看了所述多个场所中所张贴的张贴物，其中，所述便携式终端装置发送包括查看图像、归一化信息和便携式终端位置信息的查看确认请求，所述查看图像包括预定场所中所张贴的张贴物及其周边部的图像，所述归一化信息是用于对所述查看图像进行归一化的信息，所述便携式终端位置信息是表示所述便携式终端装置的位置的信息，服务器包括服务器通信单元以及用于将关于各个张贴场所中的张贴物的已认证图像与所述张贴场所的位置信息相关联地存储的服务器存储单元，所述程序使得所述服务器执行以下步骤：通过使用所述服务器通信单元接收包括所述查看图像、所述归一化信息和所述便携式终端位置信息的查看确认请求；判断所述查看确认请求中所包括的查看图像是否已被篡改；在判断为所述查看图像已被篡改的情况下，将用户的查看判断为非正当查看；在判断为所述查看图像未被篡改的情况下，生成通过基于所述归一化信息对所述查看图像进行归一化而获得的归一化图像；基于所述便携式终端位置信息和与所述已认证图像相关联的位置信息，从所述服务器存储单元内所存储的已认证图像中选择与所述查看图像相对应的一个或多个已认证图像；将所述归一化图像与所选择的一个或多个已认证图像进行比较，以计算所述归一化图像和所述已认证图像之间的相似度；基于所述相似度来判断所述查看图像是否正当；在判断为所述查看图像正当的情况下，将用户的查看判断为正当查看；以及在判断为所述查看图像不正当的情况下，将用户的查看判断为非正当查看。
根据本发明的方面的便携式终端所执行的方法是如下的方法，其用于确认便携式终端装置的用户通过访问多个场所其中之一而查看了所述多个场所中所张贴的张贴物，所述便携式终端装置包括便携式终端通信单元、摄像单元、便携式终端存储单元和位置信息获得单元，所述方法由所述便携式终端装置执行，所述方法包括以下步骤：通过使用所述位置信息获得单元来获得便携式终端位置信息；将所述摄像单元所拍摄的空间的图像与所述便携式终端存储单元中所存储的作为张贴物的图像的基准张贴物图像进行比较，由此判断是否在所拍摄的空间的图像中的预定的区域内拍摄了所述基准张贴物图像中的张贴物；在判断为在所述区域内拍摄了张贴物的情况下，获取查看图像，所述查看图像是包括所述区域内所拍摄的张贴物以及该张贴物的周边部的空间的图像；通过将所述查看图像中的张贴物的图像与该张贴物的基准张贴物图像进行比较，来生成用于参考所述基准张贴物图像对所述查看图像进行归一化的归一化信息；以及通过使用所述便携式终端通信单元将包括所述查看图像、所述归一化信息和所述便携式终端位置信息的查看确认请求发送至服务器。
根据本发明的方面的服务器所执行的方法是如下的方法，其用于确认便携式终端装置的用户通过访问多个场所其中之一而查看了所述多个场所中所张贴的张贴物，所述方法由服务器执行，其中，所述便携式终端装置发送包括查看图像、归一化信息和所述查看图像中所包括的张贴物的位置信息的查看确认请求，所述位置信息基于便携式终端位置信息，所述查看图像包括预定场所中所张贴的张贴物及其周边部的图像，所述归一化信息是用于对所述查看图像进行归一化的信息，所述便携式终端位置信息是表示所述便携式终端装置的位置的信息，所述服务器包括服务器通信单元以及用于将关于各个张贴场所中的张贴物的已认证图像与所述张贴场所的位置信息相关联地存储的服务器存储单元，所述方法的特征在于包括以下步骤：通过使用所述服务器通信单元接收包括所述查看图像、所述归一化信息和所述便携式终端位置信息的查看确认请求；判断所述查看确认请求中所包括的查看图像是否已被篡改；在判断为所述查看图像已被篡改的情况下，将用户的查看判断为非正当查看；在判断为所述查看图像未被篡改的情况下，生成通过基于所述归一化信息对所述查看图像进行归一化而获得的归一化图像；基于所述便携式终端位置信息和与所述已认证图像相关联的位置信息，从所述服务器存储单元内所存储的已认证图像中选择与所述查看图像相对应的一个或多个已认证图像；将所述归一化图像与所选择的一个或多个已认证图像进行比较，以计算所述归一化图像和所述已认证图像之间的相似度；基于所述相似度来判断所述查看图像是否正当；在判断为所述查看图像正当的情况下，将用户的查看判断为正当查看；以及在判断为所述查看图像不正当的情况下，将用户的查看判断为非正当查看。
发明的效果
本发明使得可以廉价地实现用于防止怀有恶意的用户非正当地得到认证的查看确认系统。本发明具有用于防止欺诈的高防篡改性，并且允许使用诸如海报等的可容易复制的张贴物，这使得能够进行廉价的实现。此外，由于本发明中所使用的便携式终端装置不需要特殊功能，因此可以向大量用户提供查看确认服务。通过将曾被认证的图像作为已认证图像登记在服务器中的配置，查看确认系统自主地成长，这用于实现准确度更高的欺骗检测。
附图说明
图1示出根据本发明实施例的系统的整体结构。
图2是根据本发明实施例的便携式终端装置的硬件结构图。
图3是根据本发明实施例的服务器的硬件结构图。
图4是根据本发明实施例的便携式终端装置的功能框图。
图5是根据本发明实施例的服务器的功能框图。
图6是示出根据本发明实施例的信息处理的流程图。
图7是示出根据本发明实施例的便携式终端装置的信息处理的流程图。
图8是示出根据本发明实施例的显示画面的示例的图。
图9是示出根据本发明实施例的服务器的信息处理的流程图。
图10是示出根据本发明实施例的归一化图像的分割的图。
图11是示出根据本发明实施例的图像之间的距离的概念的图。
图12是示意性示出根据本发明实施例的各个区域的已认证图像之间的凝聚性的图。
具体实施例
以下将参考附图来说明本发明的实施例。如图1所示，根据本实施例的查看确认系统100可以通过包括经由网络110连接的一个或多个便携式终端装置120以及服务器130的系统来实现。
本实施例中的各个便携式终端装置120是拍摄张贴物的图像并将该图像经由网络110发送至服务器130的装置。便携式终端装置120可以是诸如移动电话、智能电话、平板终端、便携式游戏机或数字照相机等的便携式装置。便携式终端装置120包括处理装置201、显示装置202、输入装置203、摄像装置204、位置信息获得装置205、存储装置206、通信装置207和总线208。存储装置206存储程序209。
处理装置201基于程序209、来自输入装置203的输入数据、来自摄像装置204的摄像数据、从位置信息获得装置205或通信装置207接收到的数据等，来执行诸如web浏览器等的应用程序，并且执行诸如图像处理等的各种处理。处理装置201包括用于控制便携式终端装置120中所包括的各个装置的处理器，并且通过使用处理器或存储装置206中所包括的寄存器作为工作区域来执行各种处理。这些组件经由总线208连接；然而，可选地，这些组件可以根据需要单独连接。
显示装置(显示器)202在处理装置201的控制下显示应用程序画面或摄像装置204所拍摄到的图像。显示装置202优选是液晶显示器，但可以是基于有机EL的显示器或等离子显示器等。
输入装置203是诸如触摸屏、触摸板或输入按钮等的、具有用于接受来自用户的输入的功能的装置。在便携式终端装置120包括触摸屏作为输入装置203的情况下，触摸屏还用作显示装置202，并且显示装置202和输入装置203是以一体形式构造的。显示装置202和输入装置203可以以分开形式布置在单独位置。摄像装置204拍摄现实空间区域的静止图片或运动图片。位置信息获得装置205是获得表示便携式终端装置的当前位置的信息的装置，并且例如可以是GPS传感器或者基于WiFi SSID等来识别位置的装置。
存储装置206包括硬盘、主存储器和缓冲存储器。可选地，代替硬盘，可以使用可以是可移除型的、能够存储信息的任何类型的非易失性存储部或非易失性存储器。例如，在便携式终端装置120是智能电话的情况下，存储装置206包括ROM和RAM。存储装置206存储程序209、以及在执行这些程序时可以参考的各种数据。程序209可以包括操作系统、以及诸如视频游戏或web浏览器等的需要来自玩家的输入的任何种类的应用程序所用的程序和数据。
通信装置207执行诸如移动通信或无线LAN通信等的无线通信、或者经由以太网(Ethernet，注册商标)线缆或USB线缆等的有线通信。通信装置207使得可以从服务器130下载程序并将这些程序存储在存储装置206中。可选地，程序可以存储在诸如CD或DVD等的光盘中，并且通过将光学驱动器连接至通信装置207，可以从光盘读取程序等并将这些程序存储在存储装置206中。
图3是示出根据本实施例的服务器130的硬件结构的框图。服务器130包括处理装置301、显示装置302、输入装置303、存储装置306和通信装置307。这些组件经由总线308连接；可选地，这些组件可以根据需要单独连接。
处理装置301包括控制服务器130中所包括的各个装置的处理器，并且通过使用存储装置306作为工作区域来执行各种处理。显示装置302具有向服务器的用户显示信息的功能。输入装置303是具有接受来自用户的输入的功能的装置，诸如键盘或鼠标等。
存储装置306包括硬盘、主存储器和缓冲存储器。硬盘存储程序309。可选地，代替硬盘，可以使用可以为可移除型的、能够存储信息的任何类型的非易失性存储部或非易失性存储器。存储装置306存储程序309，并且执行可被称为程序的各种数据。
通信装置307执行经由以太网(Ethernet，注册商标)线缆等的有线通信或者诸如移动通信或无线LAN通信等的无线通信，以连接至网络110。
图4示出根据本发明的便携式终端装置120的功能框图的示例。便携式终端装置120包括便携式终端控制单元401、便携式终端显示单元402、便携式终端输入单元403、摄像单元404、位置信息获得单元405、便携式终端存储单元406和便携式终端通信单元407。
便携式终端显示单元402显示要呈现给用户的信息。便携式终端输入单元403接受来自用户的输入。摄像单元404拍摄现实空间区域的静止图片或运动图片。位置信息获得单元405获得便携式终端装置120的当前位置信息。
便携式终端存储单元406将作为张贴在预定张贴场所的张贴物的图像的基准张贴物图像与表示张贴物的种类的张贴物识别信息(ID)相关联地存储。在本实施例中，尽管假定存在多个种类的张贴物，但张贴物的种类可以是仅一种。在存在仅一种基准张贴物图像的情况下，无需将该基准张贴物图像与张贴物ID相关联地存储。例如，可以将基准张贴物图像从服务器130以包括在查看确认应用程序中的方式下载到便携式终端装置120的存储单元406。可以基于经由通信单元407从服务器130接收到的信息来在预定定时更新便携式终端存储单元406中所存储的基准张贴物图像。例如，可以在用于授予特权的游戏事件的更新的定时或者每隔一定间隔下载和更新基准张贴物图像。通过使用web浏览器作为查看确认应用程序，在访问用于拍摄查看图像的网站时，可以下载基准张贴物图像。
便携式终端控制单元401通过使用位置信息获得单元405来获取便携式终端位置信息，并且将便携式终端存储单元406中所存储的基准张贴物图像与摄像单元404所拍摄到的空间的图像进行比较，以判断是否在拍摄空间的图像中的预定区域内拍摄了基准张贴物图像中的张贴物。然后，在判断为在预定区域内拍摄了张贴物的情况下，便携式终端控制单元401获取作为包括在预定区域内拍摄的张贴物以及该张贴物的周边区域的空间的图像的查看图像，将该张贴物的基准张贴物图像与所获取的查看图像中的张贴物的图像进行比较，以生成用于参考基准张贴物图像对查看图像进行归一化的归一化信息，并且通过使用便携式终端通信部407将包括查看图像、归一化信息和便携式终端位置信息的查看确认请求经由网络110发送至服务器130。在本实施例中，识别摄像单元404所拍摄到的图像中所包括的张贴物的种类，并且将所识别的种类的张贴物ID包括在查看确认请求中。
在本实施例中，便携式终端控制单元401通过处理装置201执行图2所示的硬件结构中所包括的程序209来实现，但也可以通过准备集成电路等来实现。此外，便携式终端显示单元402、便携式终端输入单元403、摄像单元404、位置信息获得单元405、便携式终端存储单元406和便携式终端通信单元407分别由图2所示的显示装置202、输入装置203、摄像装置204、位置信息获得装置205、存储装置206和通信装置207的各个硬件实现，但也可以通过处理装置201等执行程序209以与各个硬件协作来实现。
图5示出根据本发明的服务器130的功能框图的示例。服务器130包括服务器控制单元501、服务器显示单元502、服务器输入单元503、服务器存储单元506和服务器通信单元507。
服务器显示单元502显示要呈现给服务器的用户的信息。服务器输入单元503接受来自用户的输入。服务器存储单元506将作为张贴在预定张贴场所的张贴物的图像的基准张贴物图像与张贴物ID相关联地存储。在存在仅一种基准张贴物图像的情况下，无需将该基准张贴物图像与张贴物ID相关联地存储。此外，服务器存储单元506还存储作为被判断为正当的查看图像的归一化图像的一个或多个已认证图像。各已认证图像与该已认证图像中所包括的张贴物的张贴场所的位置信息相关联地存储。作为张贴场所的位置信息，可以使用在拍摄查看图像时由便携式终端装置120获得的位置信息，或者可以使用所存储的另一已认证图像的位置信息。最初存储的已认证图像的位置信息可以是由管理员输入的。服务器通信单元507以有线或无线方式发送和接收信息。
服务器控制部501响应于来自便携式终端装置120的请求，将存储单元506中所存储的基准张贴物图像连同关联的张贴物ID一起经由通信部507发送至便携式终端装置120。另外，可以在诸如更新基准张贴物图像的定时等的预定定时，从存储单元506读取基准张贴物图像，将该基准张贴物图像发送至便携式终端装置120，并且更新便携式终端装置120中的基准张贴物图像。
服务器控制单元501通过使用服务器通信单元507接收从便携式终端装置120发送来的查看确认请求，判断所接收到的查看确认请求中所包括的查看图像是否已被篡改，并且在判断为查看图像已被篡改的情况下，将查看者的查看判断为非正当查看。在判断为查看图像未被篡改的情况下，基于归一化信息来对查看图像进行归一化以生成归一化图像，并且基于查看确认请求中所包括的位置信息和与已认证图像相关联的位置信息来从服务器存储单元506内所存储的已认证图像中选择与查看图像相对应的一个或多个已认证图像。在本实施例中，还基于查看确认请求中所包括的张贴物ID和服务器存储单元506中所存储的张贴物ID来选择已认证图像。将归一化图像与所选择的一个或多个已认证图像进行比较，以计算归一化图像和已认证图像之间的相似度，由此基于相似度来判断查看图像是否正当。在查看图像被判断为正当的情况下，用户的查看被判断为正当查看，并且在查看图像被判断为不正当的情况下，用户的查看被判断为非正当查看。
在本实施例中，服务器控制单元501通过处理装置301执行图3所示的硬件结构中所包括的程序309来实现，但也可以通过准备集成电路等来实现。此外，服务器显示单元502、服务器输入单元503、服务器存储单元506和服务器通信单元507分别通过图3所示的显示装置302、输入装置303、存储装置306和通信装置307的各个硬件来实现，但也可以通过处理装置301等执行程序309以与各个硬件协作来实现。
接着，图6示出本实施例中的便携式终端装置120和服务器130的操作的流程图。将在如下示例的情况下说明本实施例：要求用作便携式终端装置120的智能电话的用户查看作为张贴在多个场所的张贴物的海报，从而获得用户正在玩的在线游戏中的物品。用户实际访问张贴了海报的场所，通过使用查看确认应用程序拍摄海报的图像，并将该图像发送至服务器130。当在服务器130处该图像被认证为正当查看图像时，承认用户实际上访问了该场所并查看了海报，并且将该物品分发到用户的游戏账户。在本实施例中，尽管张贴物是印刷在纸张上的海报，但张贴物可以是为了呈现信息等而张贴的诸如液晶面板等的显示装置或者告示牌。
首先，在本实施例中，用户下载并安装查看确认应用程序作为程序209，并且访问张贴场所其中之一以查看海报。在用户激活了便携式终端装置120上的查看确认应用程序以拍摄海报的图像时，便携式终端装置120开始查看确认请求处理(S601)。在该看确认请求处理中，便携式终端装置120的控制单元401通过使用摄像单元404来拍摄海报及其周边区域的图像作为查看图像，并且将包括该查看图像的查看确认请求经由通信单元407发送至服务器130。
服务器130接收到查看确认请求并执行查看确认处理(S602)。在查看确认处理中，服务器130判断用户的查看是否非正当。在尽管用户实际上未访问张贴场所、但该用户发出了查看确认请求仿佛该用户访问了张贴场所一样的情况下，该查看被判断为非正当查看。在用户实际访问了张贴有张贴物的场所、查看了张贴物、然后发出了查看确认请求的情况下，该查看被判断为正当查看。服务器基于与查看是否非正当有关的判断结果来执行处理。
图7示出本实施例中的查看确认请求处理(S601)中的更具体处理。在用户激活便携式终端装置120上的查看确认应用程序时，开始查看确认请求处理。
便携式终端控制单元401通过使用位置信息获得单元405来获得便携式终端装置120的当前位置信息(S701)，并且将基准张贴物图像的计数器d设置为0(S702)。在本实施例中，存储单元406存储D个基准张贴物图像，并且顺次检查基准张贴物图像其中之一是否包括在用户所拍摄到的图像中。基准张贴物图像例如按照存储这些图像的存储器地址的顺序用作比较的对象。
用户试图在使便携式终端装置120的摄像单元404指向海报的同时拍摄海报的图像。摄像单元404拍摄朝向的方向上的现实空间(S703)。然后，将摄像单元404所拍摄到的空间的拍摄图像与存储单元406内所存储的基准张贴物图像中的第d个(0≤d<D)基准张贴物图像进行比较(S704)，并且判断是否在拍摄空间的图像中的预定区域内拍摄了基准张贴物图像其中之一内的张贴物(海报)(S705)。要拍摄海报的预定区域被定义为比摄像单元404可以拍摄的整个区域小的区域。因而，摄像单元404在预定区域内拍摄海报的图像，同时拍摄海报的周边区域的图像。
仅通过将用户所拍摄到的海报图像与已被认可为正当的海报图像进行比较，难以判断用户的图像是通过复制获得的海报图像还是通过实际访问张贴场所拍摄到的海报图像。此外，在同一张贴物张贴在多个场所的情况下，张贴在不同的张贴场所的张贴物的拍摄图像变成基本上相同的图像。因而，不能防止访问了张贴场所其中之一并拍摄了查看图像的用户使用该查看图像作为其它张贴场所的查看图像。然而，如果例如由于包括了行人或者阴影的位置改变、因而拍摄的时间改变，则包括海报的周边的图像不会变成完全相同的图像。此外，由于海报的周边区域在张贴了海报的各个场所之间改变，因此包括海报的周边区域的图像在各个张贴场所之间改变。因而，在本发明中，拍摄海报连同海报的周边区域的图像。这使得可以判断查看图像是否是通过复制获得的图像，并且可以针对各个摄像场所有区别地判断正当的查看图像。
在判断为不是在所拍摄的空间的图像中的预定区域内拍摄了第d个基准张贴物图像中的张贴物的情况下(S705)，对计数器d进行向上计数(S706)，并且判断拍摄图像是否已与进行判断的所有基准张贴物图像进行了比较(S707)。在尚未对所有基准张贴物图像进行判断的情况下，判断是否在拍摄图像中拍摄了下一基准张贴物图像中的张贴物(S704和S705)。在判断为已将拍摄图像与所有的基准张贴物图像进行了比较的情况下(S707)，将计数器d复位(S702)，拍摄新空间的图像(S703)，并且执行拍摄图像与基准张贴物图像的比较。重复执行S702～S705的处理，直到判断为在所拍摄的空间的图像中的预定区域内拍摄了基准张贴物图像其中之一中的张贴物为止。
图8示出显示单元402上所显示的查看确认应用程序的显示画面800作为示例。如图8的(a)所示，显示单元402显示表示要容纳海报802的预定区域的框801和指示整个海报应该放置在该框内的消息、以及摄像单元404所拍摄到的空间的图像。这里，显示单元402显示摄像单元404的整个摄像区域803，并且框801构成比整个区域小的区域。因而，在海报802容纳在框801内时，海报802的周边的图像805显示在框801外侧的区域中。用户根据该指示使便携式终端装置120移动以将海报容纳在框801内。这使得可以获得海报图像和周边图像之间的相对位置关系固定的拍摄图像。也就是说，可以进行几何归一化。
用于判断是否在所拍摄的空间的图像中的预定区域内拍摄了基准张贴物图像中的张贴物的处理(S704和S705)例如可以通过使用基于ORB(定向的FAST和旋转的BRIEF)特征量的关键点匹配技术来实现。具体地，预先检测各基准张贴物图像中的特征点(关键点)并作为查看确认应用程序的一部分存储在存储单元406中。然后，将预先存储的基准张贴物图像中的特征点(关键点)叠加在预定区域(框801)中，并且在摄像单元404所拍摄到的图像的特征点与叠加在预定区域中的特征点重叠的情况下，判断为在所拍摄的空间的图像中的预定区域内拍摄了基准张贴物图像中的张贴物。在基准张贴物图像的特征点和拍摄图像的特征点之间无需完全重叠。例如，在预定数量的特征点在预定偏差范围内重叠的情况下，可以判断为在预定区域内拍摄了张贴物。
在用户通过移动便携式终端装置120而成功将海报容纳在预定区域内的情况下，判断为在所拍摄的空间的图像中的预定区域内拍摄了基准张贴物图像中的海报(S705)，并且获取包括在预定区域内拍摄的海报及其周边区域的空间的图像作为查看图像以供后续处理用(S708)。在本实施例中，识别与被判断为在查看图像中拍摄的张贴物的基准张贴物图像相关联的张贴物ID。在本实施例中，由于各便携式终端装置执行用于识别张贴物的种类的处理，因此即使在同时发出大量查看确认请求的情况下，也将负荷分散到各个便携式终端装置，这有助于减轻服务器的负荷。
在本实施例中，用于将当海报容纳在预定框内时所拍摄到的图像获取为查看图像的处理由便携式终端装置120在不依赖于来自用户的输入的情况下自动执行，并且处理进入用于生成该查看图像的归一化信息的步骤(S709)。如图8的(b)所示，显示单元402可以显示用于向用户通知查看图像的成功获取的消息、以及用于询问是将查看图像发送至服务器以发送查看确认请求还是重新拍摄图像的消息，在输入单元403接收到用于重新拍摄图像的输入的情况下，处理返回到S702，以及在接收到用于将查看图像发送至服务器130的输入的情况下，处理进入下一步骤(S709)。
在S709中，将查看图像中的海报图像与海报的基准张贴物图像进行比较，以生成用于以基准张贴物图像为基准对查看图像进行归一化的归一化信息。为了生成归一化信息而比较的基准张贴物图像是在S705中被判断为在查看图像中的预定区域内拍摄的张贴物的基准张贴物图像。根据在拍摄海报的图像时的海报与摄像单元404的相对位置、便携式终端装置120的不同类型之间的摄像单元404的特性差异、光源状态的差异等，海报和海报的周边区域的拍摄图像即使在相同的海报和周边区域的图像的情况下，也变为不同的图像。因而，如果仅将查看图像与已被判断为正当的查看图像进行比较，则如下的可能性高：即使这些查看图像都是相同场所中张贴的张贴物的图像，这些图像之间的共同性也低，并且这些图像未被判断为在相同场所拍摄的图像。即使在摄像单元404的特性上存在差异并且在光源状态上存在差异的情况下，张贴物图像和周边图像之间的几何关系和光学关系也是固定的。因而，在本发明中，以基准张贴物图像为基准来对查看图像进行归一化，由此有效地排除由于摄像环境的差异而引起的共同性的下降。
在本实施例中，作为归一化，执行几何归一化和光学归一化。几何归一化所用的归一化信息包括用于识别查看图像中的海报图像部分和周边图像部分之间的几何关系的几何校正信息。如前面所述，在本实施例中，在拍摄海报的图像时引导便携式终端装置120的位置，以使得拍摄图像中的海报会被放置在预定位置，即进行几何归一化。然而，在不要求基准张贴物图像的特征点和拍摄图像的特征点之间的完全一致的情况下，查看图像中的海报的位置不是完全固定的。因而，便携式终端控制单元401将查看图像与基准张贴物图像进行比较，以识别查看图像中的海报图像的位置，由此生成几何校正信息。
具体地，通过关键点匹配来将查看图像与便携式终端存储单元406中所存储的海报的基准张贴物图像进行比较，以识别预定区域内的海报部分的位置。然后，生成用于识别查看图像中的海报部分的位置的位置信息作为几何校正信息。位置信息包括查看图像中的海报部分的左下端的坐标(x,y)、以及海报部分的宽度(w)和高度(h)。
光学归一化所用的归一化信息包括通过计算基准张贴物图像和查看图像中的海报图像之间的亮度和颜色的差所获得的光学校正信息。通过生成光学校正信息，即使在不同类型的便携式终端装置120之间在摄像单元404的特性上存在差异并且在光源状态上存在差异，也可以判断查看图像是否正当。
在本实施例中，为了生成光学校正信息，基于上述的用作几何校正信息的位置信息来生成通过从查看图像中提取海报部分所获得的海报图像Q。然后，将所生成的海报图像Q与存储单元406中所存储的海报的基准张贴物图像T之间的平均亮度差计算为在-1～1的范围内的实数值。如下定义该平均亮度差averageBrightnessDiff(T,Q)。
{公式1}
这里，Ti表示基准张贴物图像T中的第i个像素，并且Qi表示从查看图像中提取的海报图像Q中的第i个像素。brightness()是用于计算作为自变量给出的像素的亮度的函数。N表示图像中的像素总数。优选地，应该对传递到该函数的图像进行归一化，以具有相同的像素数。
此外，为了计算色差，可以使用作为具有均匀性的颜色空间中的颜色距离系统的Godlove色差公式(Godlove,I.H.:Improved Color-Difference Formula,withApplications to the Perceptibility and Acceptability of Fadings,Journal ofthe Optical Society of America,41(11),pp.760-770,(1951))或者CIE2000(Luo,M.R.,Cui,G.,&Rigg,B.,“The development of the CIE 2000colour-difference formula:CIEDE2000”,Color Research&Application,Volume 26,Issue 5,October 2001,pp.340-350,DOI:10.1002/col.1049)。例如，可以如下定义通常已知为HSV空间中的距离的Godlove色差公式Δgodlove。
{公式2}
Figure BDA0002293452070000212
通过使用该色差公式，可以如下定义基准张贴物图像T和从查看图像中提取的海报图像Q之间的平均色差averageColorDiff(T,Q)。
{公式3}
Figure BDA0002293452070000213
如前面所述，在本实施例中，归一化信息包括几何校正信息和光学校正信息。使用查看图像中的海报部分的位置信息作为几何校正信息，并且使用平均亮度差averageBrightnessDiff(T,Q)和平均色差averageColorDiff(T,Q)作为光学校正信息。可选地，可以包括几何校正信息和光学校正信息中的仅一个作为归一化信息，或者可以包括亮度校正信息和颜色校正信息中的仅一个作为光学校正信息。
接着，便携式终端装置120的控制单元401通过使用通信单元407将查看确认请求经由网络110发送至服务器130(S710)。查看确认请求包括用于识别用户的用户ID、基准张贴物图像的张贴物ID、查看图像、归一化信息、以及便携式终端位置信息。基准张贴物图像的张贴物ID是与在S705中判断为在查看图像的预定区域内拍摄的张贴物的基准张贴物图像相关联的张贴物ID。
接着，将参考图9所示的流程图来说明服务器130所执行的查看确认处理(S602)中的具体处理，在本实施例中，在两个单独阶段执行欺骗行为(即，在未实际查看海报的情况下、试图通过利用复制或篡改的图像发出查看确认请求来获得特权的行为)的检测。
在第一阶段，检测查看图像的非正当篡改。在第二阶段，通过使用服务器中所存储的一个或多个已认证图像来检测具有离群值或过度相似值的查看图像，由此检测不是在张贴场所拍摄到的图像的查看图像、以及有可能通过对其它查看图像的复制等而非正当获得的查看图像。
在S901中，服务器130经由通信单元507接收从便携式终端装置120发送来的查看确认请求。然后，服务器130验证所接收到的查看确认请求中所包括的查看图像是否未被非正当篡改(S902)。作为用于验证图像是否被非正当篡改的方法，如在A.E.Dirik和N.Memon,“Image tamper detection based on demosaicing artifacts,”2009 16th IEEEInternational Conference on Image Processing(ICIP),Cairo,2009,pp.1497-1500以及Minati Mishra,Flt.Lt.Dr.M.C.Adhikary,“Digital Image Tamper DetectionTechniques-A Comprehensive Study,”International Journal of Computer Scienceand Business Informatics,Vol.2,No.1.ISSN:1694-2108,June 2013中所述，已知有各种方法。在本发明中，可以采用用于验证图像是否被非正当篡改的任何方法。
在判断为查看图像已被非正当篡改的情况下，将查看确认请求视为基于非正当查看的非正当请求，并且执行非正当请求处理(S903)。例如，基于查看确认请求中所包括的用户ID，禁用相应用户的在线游戏账户。
在判断为查看图像未被非正当篡改的情况下，基于查看确认请求中所包括的归一化信息来对查看图像进行归一化，以生成归一化图像(S904)。通过对查看图像进行归一化，有效地排除了由于摄像环境的差异而引起的共同性的下降。在本实施例中，基于归一化信息中所包括的用作几何校正信息的位置信息来进行几何归一化。如前面所述，位置信息包括查看图像中的海报部分的左下端的坐标(x,y)、以及海报部分的宽度(w)和高度(h)。服务器控制单元501通过基于位置信息从查看图像中提取除海报以外的图像、即提取海报的周边图像，来进行几何归一化。
然后，基于归一化信息中所包括的光学校正信息来对所提取的周边图像进行光学归一化。光学归一化可以被分成亮度校正和颜色校正。在亮度校正中，基于以下的公式来校正周边图像的各个像素。
{式4}
这里，r、g和b表示要校正的周边图像的特定像素的RGB值，并且使用利用该函数brightnessCompensation(r,g,b,BC)获得的矩阵的各个元素作为r、g和b的亮度校正值。优选地，r、g和b的计算结果应该在上限值为255且下限值为0的情况下饱和。BC表示亮度校正所用的系数，其在本实施例中是利用前面所述的平均亮度差averageBrightnessDiff(T,Q)获得的值。
通过基于averageColorDiff(T,Q)计算颜色空间中的距离和移动方向(向量)并使用与该向量组合的特征向量来进行颜色校正。
然后，从服务器存储单元506选择并读取与归一化图像相对应的一个或多个已认证图像(S905)。已认证图像是基于作为张贴在预定张贴场所的张贴物的查看图像而被判断为正当的图像的图像。在本实施例中，已认证图像是通过对被判断为正当图像的查看图像进行关于S904所述的归一化处理所获得的归一化图像。已认证图像包括海报的周边图像，因此即使张贴物的种类相同，也会在各个张贴场所之间变成不同的图像。此外，即使在相同的张贴场所中，已认证图像在维持一定相似度的同时，会根据摄像时间等而变得不同。可选地，已认证图像可以是基于由系统的管理员在张贴场所预先查看和拍摄的图像的图像。此外，如后面将说明的，可以通过基于从用户发送来的查看图像中的被判断为正当的图像而登记新的已认证图像，来增加服务器存储单元506中所存储的已认证图像。将已认证图像与张贴物ID和位置信息相关联地存储在服务器存储单元506中。位置信息是表示相关的张贴场所的信息，并且在本实施例中包含纬度和经度。作为张贴场所的位置信息，可以使用在拍摄查看图像时由便携式终端装置120获得的便携式终端位置信息，或者可以使用已存储的已认证图像的位置信息。最初存储的已认证图像的位置信息可以是由管理员输入的。
服务器控制单元501基于查看确认请求中所包括的张贴物ID和位置信息来选择与查看确认请求相对应的一个或多个已认证图像。例如，在同与查看确认请求中所包括的张贴物ID相同的张贴物ID相关联的已认证图像中，选择与包括如下的纬度和经度的位置信息相关联的已认证图像，该纬度和经度与便携式终端位置信息中的纬度和经度相比差在预定值内。尽管随着所选择的已认证图像的数量增加、查看确认处理的准确度提高，但即使利用单个已认证图像也可以执行查看确认处理。
然后，计算归一化图像和所选择的已认证图像之间的相似度(S906)。在该相似度计算中，将归一化图像分割为多个区域，并且以各区域为单位分析颜色信息。针对服务器存储单元506中所存储的已认证图像，也以同样的方式执行区域分割和颜色信息分析，并且将结果预先存储在服务器存储单元506中。在归一化图像的分割中，例如，如图10所示，可以将排除海报部分1100的归一化图像分割为四个区域1001～1004。可以如下定义已经进行了颜色分析的图像I。
{公式5}
I：＝{r0，r1，r2，...，rj，...，rJ-1}…(5)
{公式6}
rj：{h0，h1，...，hb，...，hB-1}…(6)
这里，rj表示图像I的第j个分割区域的直方图，并且J表示区域的数量。hb表示直方图的第b个值，并且B表示小区间(bin)的数量。作为直方图rj的特征量，可以使用各种特征量。例如，可以采用具有0～255的值的亮度直方图，或者可以采用针对R、G和B分别具有0～255的值的颜色直方图。可选地，可以采用表示在对特定颜色集进行聚类之后的面积比的直方图，或者代替使用颜色信息，可以使用纹理特征量。
然后，计算归一化图像和所选择的已认证图像之间的相似度。在本实施例中，如下定义表示归一化图像Q和已认证图像M之间的相似度的距离distance(Q,M)。distance(Q,M)是返回0～1的范围内的实数值的函数。
{公式7}
这里，Q[0+j,b]表示归一化图像Q的第j个区域的直方图中的第b个值，并且M[0+j,b]表示已认证图像M的第j个区域的直方图中的第b个值。B表示归一化图像Q和已认证图像M的直方图的小区间的数量，并且J表示区域的数量。该函数采用在公式(8)中给出的颜色直方图之间的差值(直方图交集)来评价区域之间的匹配。
{公式8}
Figure BDA0002293452070000261
作为本实施例中的颜色直方图之间的差值，针对归一化图像Q和已认证图像M的各对相应区域来计算直方图之间的差。直方图差的L1范数是1。因而，由于最大直方图差是2，因此通过使用2作为分母来将该值归一化到0～1的范围。由于针对构成周边图像的各个区域获得该直方图差的平方，因此可以以这些值的总和的平方根的形式获得表示相似度的距离。distance(Q,M)的公式是将均方根误差(RMSE)应用于表示图像之间的色差的距离的计算，其中RMSE是通过使用各个数据值和其它数据值之间的距离来表示标准查询和搜索对象之间的差的标准大小的指数。作为其它示例方法，代替直方图差，可以通过使用诸如基于Earth Mover’s Distance([Ofir Pele and Michael Werman.2008.A Linear TimeHistogram Metric for Improved SIFT Matching.In Proceedings of the 10thEuropean Conference on Computer Vision:Part III(ECCV'08),David Forsyth,PhilipTorr,and Andrew Zisserman(Eds.).Springer-Verlag,Berlin,Heidelberg,495-508以及Ofir Pele and Michael Werman,Fast and Robust Earth Mover's Distances,InProceedings of the IEEE 12th International Conference on Computer Vision,November 2009)的匹配评价函数等的其它函数来实现将是显而易见的。
通过上述的方法，计算归一化图像到所选择的一个或多个已认证图像M中的各已认证图像M的距离distance(Q,M)。这表示：在距离为0的情况下，这两个图像最相似，并且随着距离变大，这两个图像不太相似。此外，如下定义所计算出的距离的平均距离averageDistance(Q)。
{式9}
Figure BDA0002293452070000271
这里，S表示所选择的已认证图像的数量，并且Ms表示所选择的第s个已认证图像。在平均距离大于离群值阈值的情况下，将与归一化图像相对应的查看图像判断为非正当。此外，在从已认证图像其中之一起的距离distance(Q,M)小于或等于过度相似度阈值的情况下，也将查看图像判断为非正当。也就是说，在平均距离小于或等于离群值阈值并且与所有已认证图像的距离大于过度相似度阈值的情况下，将查看图像判断为正当。
尽管在包括张贴在同一场所的海报的背景的图像之间应该存在共同性，但在相似度过大的情况下，很可能是另一查看图像的副本。离群值阈值是两个图像被视为包括张贴在同一位置的海报的背景的图像的距离的最大值。在距离大于离群值阈值的情况下，由于共同性低，因此图像未被视为包括张贴在同一位置的海报的背景的图像。过度相似度阈值是一个查看图像被视为不是另一查看图像的副本的距离的最小值。在距离小于过度相似度阈值的情况下，由于相似度过度，因此一个查看图像被视为另一查看图像的副本。
尽管在将归一化图像和已认证图像分割成四个区域的情况的上下文中说明了本实施例，但可以在不进行分割的情况下实现本发明。
作为另一示例，还可以使用到已认证图像中的一组重心图像的平均距离，而不是使用到所有已认证图像的平均距离。预先计算预定张贴场所的已认证图像之间的距离，并且将平均距离短的一组图像视为该张贴场所的一组重心图像。例如，如表1所示，创建包括表示在两个已认证图像之间定义的距离的元素的距离矩阵。在存在用作已认证图像的P个图像时，距离矩阵变为包括图像之间的距离作为其元素的P×P对称矩阵。对角元素表示相同图像之间的距离，因而全部变为0。表1附加地包括最右列的平均距离。
{表1}
图像1 图像2 … 图像L 平均距离
图像1 0 0.6 … 0.9 0.7
图像2 0.6 0 … 0.2 0.4
… … … 0 … …
图像L 0.9 0.2 … 0 0.2
提取基于该距离矩阵的平均距离最小的Z个图像，并且这Z个图像被视为一组重心图像。可以根据以下的公式来获得归一化图像Q和构成存储一组重心图像的阵列G的各个元素的已认证图像之间的平均距离。
{公式10}
Figure BDA0002293452070000281
这里，Gz表示阵列G中的第z个已认证图像。可以执行一组重心图像的提取作为S905中的已认证图像的选择。也就是说，利用该公式，获得归一化图像Q和作为重心所选择的图像之间的平均距离。利用该方法，由于仅与构成重心的一组图像进行比较运算，因此可以减少计算量，由此提高判断处理的速度。
图11示出本发明中的图像之间的距离的可视化。在该图中，各单个点对应于单个图像。部分(a)示出在服务器存储单元506中存储有仅一个已认证图像的状态，并且如部分(b)～(e)所示，随着所登记的已认证图像的数量增加，如表1所示，可以计算相互距离。尽管可以利用仅一个所登记的已认证图像来计算查看图像的距离，但随着所登记的已认证图像的数量增加，噪声的影响减轻，这使得能够以更高的准确度进行相似度判断。
作为变形例，还可以通过使用针对各个分割区域进行加权的距离weightedDistance(Q,M)来计算相似度。归一化图像Q和服务器存储单元506中所存储的已认证图像M之间的加权距离weightedDistance(Q,M)是返回0～1的范围内的实数值的函数，并且可以如下定义。
{公式11}
Figure BDA0002293452070000291
这里，dist(Qj,Mj)是用于计算第j个区域之间的相似度的函数，例如，用于计算第j个区域之间的距离的函数。Qj表示第j个区域中的归一化图像Q，Mj表示第j个区域中的已认证图像，并且wj表示第j个区域的权重。通过比较服务器存储单元506内所存储的已认证图像中的与相同位置信息相关联的已认证图像的相应区域、并计算各个图像的距离矩阵，来获得权重。具体地，通过使用诸如前面所述的颜色直方图差值等的匹配评价函数来计算各个图像的区域之间的距离以生成距离矩阵。通过获得距离矩阵中的平均距离，检测在张贴海报的场所容易改变的周边区域和不易改变的周边区域，并且根据不易改变的程度(图像之间的相似度的变化)来设置权重。平均距离长且凝聚性低的区域(图像之间的相似度存在变化的区域)是容易改变的区域，并且平均距离短且凝聚性高的区域(图像间的相似度不存在变化的区域)是不易改变的区域。将高权重分配给不易改变的区域，并且将低权重分配给容易改变的区域。
图12示意性示出各个区域中的已认证图像之间的距离。在部分(a)～(d)中，分别映射左上区域(a)、右上区域(b)、左下区域(c)和右下区域(d)中的各个已认证图像以表示相互距离关系。在左上区域(a)中，各个已认证图像彼此接近，这表示平均距离短，因而该区域是凝聚性高的区域(图像之间的相似度不存在变化的区域)。另一方面，在右下区域(d)中，已认证图像映射到的点分散，这表示平均距离长，因而该区域是凝聚性低的区域(图像之间的相似度存在变化的区域)。
各个区域中的已认证图像之间的相似度的变化取决于海报的周边区域所位于的场所的性质。例如，假定在百货商店的入口侧张贴了海报，在海报的右周边部分拍摄百货商店的入口，并且在其左周边部分仅拍摄百货商店的墙壁。由于百货商店的顾客频繁地通过百货商店的入口出入，因此每次拍摄图像时，右周边部分的图像显著改变。另一方面，由于对于百货商店的墙壁、仅亮度等随着天气和时间而改变，因此每当拍摄图像时，左周边部分的图像不会显著改变。特别是在进行光学归一化的情况下，该变化变得非常小。
此外，在该变形例中，在容易改变的区域的情况下，即使归一化图像和已认证图像之间的距离长，这也被视为可归因于区域的固有的容易变化性，例如可归因于拍摄行人，因而使该区域中的距离对作为整体的相似度判断的影响较低。另一方面，在变化小的区域中的归一化图像和已认证图像之间的距离长的情况下，这有可能可归因于对于相似度判断而言有意义的差异、例如可归因于张贴在不同场所的图像，因而使权重变高。如上所述，通过基于各个区域的容易变化程度来分配权重，可以更准确判断查看图像的正当性。
在S907中查看图像被判断为正当的情况下，在S908中，将查看图像的归一化图像作为已认证图像与张贴海报的场所的位置信息相关联地登记在服务器存储单元506中，并且用作供随后的查看确认请求用的已认证图像。这使得系统可以自主地成长。在S909中，基于用户ID来执行用于向发送了查看图像的用户授予特权的处理。例如，将用户正在玩的在线游戏中的点数奖励到用户的账户。
在S907中查看图像被判断为非正当的情况下，向服务器130的管理员通知查看图像已被判断为非正当(S910)。然后，使管理员通过肉眼判断查看图像是否是非正当的。这用于防止将实际上正当的查看图像不正确地判断为非正当。特别地，在服务器存储单元506中所存储的已认证图像的数量小的情况下，基于相似度的判断的可靠性低，因而管理员的重新判断是有效的。
然后，如果管理员将查看图像确认为非正当图像，则服务器输入单元503接受表示非正当图像的输入(S911)，并且在S903中执行非正当请求处理。另一方面，如果管理员将查看图像判断为正当图像，则服务器输入单元503接受表示正当图像的输入(S911)，在S908中将归一化图像登记为新的已认证图像，然后执行特权授予处理(S909)。
作为另一示例，在S907中判断为查看图像不是正当图像的情况下，可以在不通知管理员的情况下执行非正当请求处理(S903)。作为又一示例，可以将S904～S909作为批处理执行，其中在该批处理中，将按规则间隔累积的多个查看确认请求作为批进行处理。在这种情况下，对于判断为查看图像未被非正当篡改的查看确认请求，将查看确认视为正当，并执行特权授予处理，并且在批处理中查看图像被判断为非正当的情况下，执行诸如禁用账户等的非正当请求处理(S903)。该批处理用于提高对用户的响应性能。
尽管在本实施例中进行几何归一化和光学归一化这两者，但显而易见，也可以利用这些类型的归一化中的任一个来实施本发明。此外，对于光学归一化，可以进行基于亮度的归一化和基于颜色的归一化中的任一个。此外，归一化图像和已认证图像可以是包括张贴物的图像。
尽管已经在便携式终端存储单元和服务器存储单元中存储有两个或更多个种类的张贴物图像的情况下说明了本实施例，但在存储有仅一种张贴物图像的情况下，可以省略与张贴物ID有关的处理。此外，在存在仅一个张贴场所的情况下，也可以省略与位置信息有关的处理。通过将位置信息与基准张贴物图像相关联、并将仅便携式终端装置所拍摄到的图像与位于便携式终端的位置的附近的基准张贴物图像进行比较，也可以获得查看图像。尽管已经在使用距离或平均距离来表示图像之间的相似度的示例的情况下说明了上述实施例，但可以使用其它标准，只要可以评价图像之间的相似度即可。
只要在上述的处理或操作中未出现矛盾，可以自由地修改该处理或操作。此外，上述的实施例是用于说明本发明的示例，并且本发明不限于这些实施例。本发明可以以未背离本发明的主旨的各种形式实施。此外，在实施例的上下文中所述的优点仅仅是列举从本发明产生的最优选优点，并且本发明的优点不限于在实施例的上下文中所述的这些优点。
附图标记说明
100 查看确认系统
110 网络
120 便携式终端装置
130 服务器
201 处理装置
202 显示装置
203 输入装置
204 摄像装置
205 位置信息获得装置
206 存储装置
207 通信装置
208 总线
209 程序
301 处理装置
302 显示装置
303 输入装置
306 存储装置
307 通信装置
308 总线
309 程序
401 便携式终端控制单元
402 便携式终端显示单元
403 便携式终端输入单元
404 摄像单元
405 位置信息获得单元
406 便携式终端存储单元
407 便携式终端通信单元
501 服务器控制单元
502 服务器显示单元
503 服务器输入单元
506 服务器存储单元
506 服务器存储器
507 服务器通信单元
800 显示画面
801 框
802 海报
803 摄像区域
805 海报的周边
1000 归一化图像
1001 分割区域
1002 分割区域
1003 分割区域
1004 分割区域
1100 海报部分

Claims (12)

1.一种系统，用于确认便携式终端装置的用户通过访问多个场所其中之一而查看了所述多个场所中所张贴的张贴物，所述系统的特征在于包括所述便携式终端装置和服务器，所述便携式终端装置包括便携式终端控制单元、便携式终端通信单元、摄像单元、便携式终端存储单元和位置信息获得单元，并且所述服务器包括服务器控制单元、服务器通信单元和服务器存储单元，所述服务器存储单元用于将关于各个张贴场所中的张贴物的已认证图像与所述张贴场所的位置信息相关联地存储，并且所述系统的特征在于：
所述便携式终端控制单元进行以下操作：
通过使用所述位置信息获得单元来获得便携式终端位置信息；
将所述摄像单元所拍摄的空间的图像与所述便携式终端存储单元中所存储的作为张贴物的图像的基准张贴物图像进行比较，由此判断是否在所拍摄的空间的图像中的预定的区域内拍摄了所述基准张贴物图像中的张贴物；
在判断为在所述区域内拍摄了张贴物的情况下，获取查看图像，所述查看图像是包括所述区域内拍摄的张贴物以及该张贴物的周边部的空间的图像；
通过将所述查看图像中的张贴物的图像与该张贴物的基准张贴物图像进行比较，来生成用于参考所述基准张贴物图像对所述查看图像进行归一化的归一化信息；以及
通过使用所述便携式终端通信单元将包括所述查看图像、所述归一化信息和所述便携式终端位置信息的查看确认请求发送至所述服务器，以及
所述服务器控制单元进行以下操作：
通过使用所述服务器通信单元来接收所述查看确认请求；
判断所述查看确认请求中所包括的查看图像是否已被篡改；
在判断为所述查看图像已被篡改的情况下，将用户的查看判断为非正当查看；
在判断为所述查看图像未被篡改的情况下，生成通过基于所述归一化信息对所述查看图像进行归一化而获得的归一化图像；
基于所述便携式终端位置信息和与所述已认证图像相关联的位置信息，从所述服务器存储单元内所存储的已认证图像中选择与所述查看图像相对应的一个或多个已认证图像；
将所述归一化图像与所选择的一个或多个已认证图像进行比较，以计算所述归一化图像和所述已认证图像之间的相似度；
基于所述相似度来判断所述查看图像是否正当；
在判断为所述查看图像正当的情况下，将用户的查看判断为正当查看；以及
在判断为所述查看图像不正当的情况下，将用户的查看判断为非正当查看。
2.根据权利要求1所述的系统，其特征在于，
利用所述便携式终端控制单元的所述归一化信息的生成包括：将所述查看图像与所述基准张贴物图像进行比较，并且生成表示所述查看图像中的张贴物的图像的位置的位置信息，
所述归一化信息包括所述位置信息，
所述服务器存储单元中所存储的已认证图像是张贴物的周边部的归一化图像，以及
利用所述服务器控制单元的基于所述归一化信息的归一化包括：基于张贴物的位置信息来从所述查看图像中提取该张贴物的周边部的图像。
3.根据权利要求1或2所述的系统，其特征在于，
利用所述便携式终端控制单元的所述归一化信息的生成包括：计算所述基准张贴物图像和所述查看图像中的张贴物的图像之间的亮度和颜色的差，并且基于所计算出的亮度和颜色的差来生成光学校正信息，
所述归一化信息包括所述光学校正信息，以及
利用所述服务器控制单元基于所述归一化信息的归一化图像的生成包括：基于所述光学校正信息来校正所述查看图像的亮度和颜色。
4.根据权利要求1至3中任一项所述的系统，其特征在于，
所述服务器控制单元对所述归一化图像和所述已认证图像之间的相似度的计算包括：
将所述查看图像和所述已认证图像各自分割为两个或更多个区域，
计算分割后的所述查看图像和所述已认证图像的各个相应区域之间的相似度，以及
基于各个区域的相似度和分配给各个区域的权重来计算所述查看图像和所述已认证图像之间的相似度；以及
所述权重是基于所述已认证图像中的相应区域之间的相似度的变化来确定的。
5.根据权利要求1至4中任一项所述的系统，其特征在于，在基于所述相似度而判断为所述查看图像正当的情况下，所述服务器控制单元将所述归一化图像作为已认证图像与所述张贴场所的位置信息相关联地存储在所述服务器存储单元中。
6.根据权利要求1至5中任一项所述的系统，其特征在于，
所述便携式终端存储单元将两个或更多个种类的张贴物的图像与表示张贴物的种类的张贴物识别信息相关联地存储，
所述查看确认请求还包括所述区域内所拍摄的张贴物的张贴物识别信息，
所述服务器存储单元中所存储的已认证图像与张贴物识别信息相关联，以及
从所述服务器存储单元内所存储的已认证图像中对与所述查看图像相对应的一个或多个已认证图像的选择包括：选择与所述查看确认请求中所包括的张贴物识别信息相关联的已认证图像。
7.一种便携式终端装置，用于确认所述便携式终端装置的用户通过访问多个场所其中之一而查看了所述多个场所中所张贴的张贴物，所述便携式终端装置包括便携式终端控制单元、便携式终端通信单元、摄像单元、便携式终端存储单元和位置信息获得单元，所述便携式终端装置的特征在于，所述便携式终端控制单元进行以下操作：
通过使用所述位置信息获得单元来获得便携式终端位置信息；
将所述摄像单元所拍摄的空间的图像与所述便携式终端存储单元中所存储的作为张贴物的图像的基准张贴物图像进行比较，由此判断是否在所拍摄的空间的图像中的预定的区域内拍摄了所述基准张贴物图像中的张贴物；
在判断为在所述区域内拍摄了张贴物的情况下，获取查看图像，所述查看图像是包括所述区域内所拍摄的张贴物以及该张贴物的周边部的空间的图像；
通过将所述查看图像中的张贴物的图像与该张贴物的基准张贴物图像进行比较，来生成用于参考所述基准张贴物图像对所述查看图像进行归一化的归一化信息；以及
通过使用所述便携式终端通信单元将包括所述查看图像、所述归一化信息和所述便携式终端位置信息的查看确认请求发送至服务器。
8.一种服务器，用于确认便携式终端装置的用户通过访问多个场所其中之一而查看了所述多个场所中所张贴的张贴物，其中，所述便携式终端装置发送包括查看图像、归一化信息和便携式终端位置信息的查看确认请求，所述查看图像包括预定场所中所张贴的张贴物及其周边部的图像，所述归一化信息是用于对所述查看图像进行归一化的信息，所述便携式终端位置信息是表示所述便携式终端装置的位置的信息，所述服务器包括服务器控制单元、服务器通信单元和服务器存储单元，所述服务器存储单元用于将关于各个张贴场所中的张贴物的已认证图像与所述张贴场所的位置信息相关联地存储，所述服务器的特征在于，所述服务器控制单元进行以下操作：
通过使用所述服务器通信单元接收包括所述查看图像、所述归一化信息和所述便携式终端位置信息的查看确认请求；
判断所述查看确认请求中所包括的查看图像是否已被篡改；
在判断为所述查看图像已被篡改的情况下，将用户的查看判断为非正当查看；
在判断为所述查看图像未被篡改的情况下，生成通过基于所述归一化信息对所述查看图像进行归一化而获得的归一化图像；
基于所述便携式终端位置信息和与所述已认证图像相关联的位置信息，从所述服务器存储单元内所存储的已认证图像中选择与所述查看图像相对应的一个或多个已认证图像；
将所述归一化图像与所选择的一个或多个已认证图像进行比较，以计算所述归一化图像和所述已认证图像之间的相似度；
基于所述相似度来判断所述查看图像是否正当；
在判断为所述查看图像正当的情况下，将用户的查看判断为正当查看；以及
在判断为所述查看图像不正当的情况下，将用户的查看判断为非正当查看。
9.一种程序，用于确认便携式终端装置的用户通过访问多个场所其中之一而查看了所述多个场所中所张贴的张贴物，所述便携式终端装置包括便携式终端通信单元、摄像单元、便携式终端存储单元和位置信息获得单元，所述程序的特征在于使得所述便携式终端装置执行以下步骤：
通过使用所述位置信息获得单元来获得便携式终端位置信息；
将所述摄像单元所拍摄的空间的图像与所述便携式终端存储单元中所存储的作为张贴物的图像的基准张贴物图像进行比较，由此判断是否在所拍摄的空间的图像中的预定的区域内拍摄了所述基准张贴物图像中的张贴物；
在判断为在所述区域内拍摄了张贴物的情况下，获取查看图像，所述查看图像是包括所述区域内所拍摄的张贴物以及该张贴物的周边部的空间的图像；
通过将所述查看图像中的张贴物的图像与该张贴物的基准张贴物图像进行比较，来生成用于参考所述基准张贴物图像对所述查看图像进行归一化的归一化信息；以及
通过使用所述便携式终端通信单元将包括所述查看图像、所述归一化信息和所述便携式终端位置信息的查看确认请求发送至服务器。
10.一种程序，用于确认便携式终端装置的用户通过访问多个场所其中之一而查看了所述多个场所中所张贴的张贴物，其中，所述便携式终端装置发送包括查看图像、归一化信息和便携式终端位置信息的查看确认请求，所述查看图像包括预定场所中所张贴的张贴物及其周边部的图像，所述归一化信息是用于对所述查看图像进行归一化的信息，所述便携式终端位置信息是表示所述便携式终端装置的位置的信息，服务器包括服务器通信单元以及用于将关于各个张贴场所中的张贴物的已认证图像与所述张贴场所的位置信息相关联地存储的服务器存储单元，所述程序的特征在于使得所述服务器执行以下步骤：
通过使用所述服务器通信单元接收包括所述查看图像、所述归一化信息和所述便携式终端位置信息的查看确认请求；
判断所述查看确认请求中所包括的查看图像是否已被篡改；
在判断为所述查看图像已被篡改的情况下，将用户的查看判断为非正当查看；
在判断为所述查看图像未被篡改的情况下，生成通过基于所述归一化信息对所述查看图像进行归一化而获得的归一化图像；
基于所述便携式终端位置信息和与所述已认证图像相关联的位置信息，从所述服务器存储单元内所存储的已认证图像中选择与所述查看图像相对应的一个或多个已认证图像；
将所述归一化图像与所选择的一个或多个已认证图像进行比较，以计算所述归一化图像和所述已认证图像之间的相似度；
基于所述相似度来判断所述查看图像是否正当；
在判断为所述查看图像正当的情况下，将用户的查看判断为正当查看；以及
在判断为所述查看图像不正当的情况下，将用户的查看判断为非正当查看。
11.一种方法，用于确认便携式终端装置的用户通过访问多个场所其中之一而查看了所述多个场所中所张贴的张贴物，所述便携式终端装置包括便携式终端通信单元、摄像单元、便携式终端存储单元和位置信息获得单元，所述方法由所述便携式终端装置执行，所述方法的特征在于包括以下步骤：
通过使用所述位置信息获得单元来获得便携式终端位置信息；
将所述摄像单元所拍摄的空间的图像与所述便携式终端存储单元中所存储的作为张贴物的图像的基准张贴物图像进行比较，由此判断是否在所拍摄的空间的图像中的预定的区域内拍摄了所述基准张贴物图像中的张贴物；
在判断为在所述区域内拍摄了张贴物的情况下，获取查看图像，所述查看图像是包括所述区域内所拍摄的张贴物以及该张贴物的周边部的空间的图像；
通过将所述查看图像中的张贴物的图像与该张贴物的基准张贴物图像进行比较，来生成用于参考所述基准张贴物图像对所述查看图像进行归一化的归一化信息；以及
通过使用所述便携式终端通信单元将包括所述查看图像、所述归一化信息和所述便携式终端位置信息的查看确认请求发送至服务器。
12.一种方法，用于确认便携式终端装置的用户通过访问多个场所其中之一而查看了所述多个场所中所张贴的张贴物，所述方法由服务器执行，其中，所述便携式终端装置发送包括查看图像、归一化信息和所述查看图像中所包括的张贴物的位置信息的查看确认请求，所述位置信息基于便携式终端位置信息，所述查看图像包括预定场所中所张贴的张贴物及其周边部的图像，所述归一化信息是用于对所述查看图像进行归一化的信息，所述便携式终端位置信息是表示所述便携式终端装置的位置的信息，所述服务器包括服务器通信单元以及用于将关于各个张贴场所中的张贴物的已认证图像与所述张贴场所的位置信息相关联地存储的服务器存储单元，所述方法的特征在于包括以下步骤：
通过使用所述服务器通信单元接收包括所述查看图像、所述归一化信息和所述便携式终端位置信息的查看确认请求；
判断所述查看确认请求中所包括的查看图像是否已被篡改；
在判断为所述查看图像已被篡改的情况下，将用户的查看判断为非正当查看；
在判断为所述查看图像未被篡改的情况下，生成通过基于所述归一化信息对所述查看图像进行归一化而获得的归一化图像；
基于所述便携式终端位置信息和与所述已认证图像相关联的位置信息，从所述服务器存储单元内所存储的已认证图像中选择与所述查看图像相对应的一个或多个已认证图像；
将所述归一化图像与所选择的一个或多个已认证图像进行比较，以计算所述归一化图像和所述已认证图像之间的相似度；
基于所述相似度来判断所述查看图像是否正当；
在判断为所述查看图像正当的情况下，将用户的查看判断为正当查看；以及
在判断为所述查看图像不正当的情况下，将用户的查看判断为非正当查看。
CN201880035471.2A 2017-03-31 2018-03-26 用于查看确认的系统、便携式终端装置、服务器、程序和方法 Active CN110692081B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017071393A JP6181893B1 (ja) 2017-03-31 2017-03-31 閲覧確認のためのシステム、携帯端末装置、サーバ、プログラム及び方法
JP2017-071393 2017-03-31
PCT/JP2018/011978 WO2018181095A1 (ja) 2017-03-31 2018-03-26 閲覧確認のためのシステム、携帯端末装置、サーバ、プログラム及び方法

Publications (2)

Publication Number Publication Date
CN110692081A true CN110692081A (zh) 2020-01-14
CN110692081B CN110692081B (zh) 2022-12-20

Family

ID=59604965

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880035471.2A Active CN110692081B (zh) 2017-03-31 2018-03-26 用于查看确认的系统、便携式终端装置、服务器、程序和方法

Country Status (5)

Country Link
US (1) US11062137B2 (zh)
JP (1) JP6181893B1 (zh)
KR (1) KR102164472B1 (zh)
CN (1) CN110692081B (zh)
WO (1) WO2018181095A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6925901B2 (ja) * 2017-03-31 2021-08-25 株式会社Ｃｙｇａｍｅｓ 閲覧確認のためのシステム、携帯端末装置、サーバ、プログラム及び方法
JP6517298B2 (ja) 2017-10-10 2019-05-22 株式会社Ｃｙｇａｍｅｓ 対象物取得確認のためのシステム、サーバ、プログラム及び方法
JP6677788B1 (ja) * 2018-11-29 2020-04-08 株式会社Ｃｙｇａｍｅｓ 情報処理プログラム、情報処理方法およびゲーム装置
JP6736751B1 (ja) 2019-12-11 2020-08-05 株式会社Ｃｙｇａｍｅｓ 既知の画像を用いた画像撮影の安定化のための方法、プログラム、電子装置
JP7446107B2 (ja) * 2019-12-27 2024-03-08 キヤノンマーケティングジャパン株式会社 情報処理システム、情報処理システムの制御方法、およびコンピュータプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003006354A (ja) * 2001-06-26 2003-01-10 Canon Inc データ保存サービス装置、制御方法、及びシステム、制御プログラム
CN1499408A (zh) * 2002-11-08 2004-05-26 ������������ʽ���� 图像信息管理方法
CN101107612A (zh) * 2005-01-24 2008-01-16 科乐美数码娱乐株式会社 网络系统、服务器装置、不正当利用检测方法、记录媒体以及程序
JP2011060072A (ja) * 2009-09-11 2011-03-24 Nec Biglobe Ltd 到達確認システム、サーバ、端末、到達確認システムの制御方法、及びプログラム
CN103152538A (zh) * 2010-09-21 2013-06-12 株式会社锦宫事务 图像处理程序、便携式终端及图像处理方法
JP2014184068A (ja) * 2013-03-25 2014-10-02 Fujifilm Corp 携帯型医用画像表示端末及びその作動方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4922953B2 (ja) 2008-01-15 2012-04-25 日本写真印刷株式会社 特典付与システム
JP2010231450A (ja) * 2009-03-26 2010-10-14 Seiko Epson Corp 撮影データ認証装置、撮影データ認証システム、撮影データ認証方法及びプログラム
JP2013000552A (ja) 2011-06-10 2013-01-07 Kazuyuki Fukushima シミュレーションゲーム装置
JP6708973B2 (ja) * 2014-09-01 2020-06-10 日本電気株式会社 判定方法、判定システム、判定装置、及びそのプログラム
JP6455040B2 (ja) 2014-09-17 2019-01-23 株式会社リコー 店舗集客支援システム、サーバ装置、プログラムおよび方法
JP6059298B1 (ja) * 2015-06-22 2017-01-11 オカムラ印刷株式会社 情報処理システム、情報処理装置、情報処理プログラム、携帯端末装置およびその制御プログラム
US10771965B1 (en) * 2020-01-09 2020-09-08 Lexisnexis Risk Solutions Inc. Systems and methods for photo recognition-based identity authentication

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003006354A (ja) * 2001-06-26 2003-01-10 Canon Inc データ保存サービス装置、制御方法、及びシステム、制御プログラム
CN1499408A (zh) * 2002-11-08 2004-05-26 ������������ʽ���� 图像信息管理方法
CN101107612A (zh) * 2005-01-24 2008-01-16 科乐美数码娱乐株式会社 网络系统、服务器装置、不正当利用检测方法、记录媒体以及程序
JP2011060072A (ja) * 2009-09-11 2011-03-24 Nec Biglobe Ltd 到達確認システム、サーバ、端末、到達確認システムの制御方法、及びプログラム
CN103152538A (zh) * 2010-09-21 2013-06-12 株式会社锦宫事务 图像处理程序、便携式终端及图像处理方法
JP2014184068A (ja) * 2013-03-25 2014-10-02 Fujifilm Corp 携帯型医用画像表示端末及びその作動方法

Also Published As

Publication number Publication date
US11062137B2 (en) 2021-07-13
CN110692081B (zh) 2022-12-20
KR20190137122A (ko) 2019-12-10
US20200026921A1 (en) 2020-01-23
KR102164472B1 (ko) 2020-10-12
JP6181893B1 (ja) 2017-08-16
WO2018181095A1 (ja) 2018-10-04
JP2018173811A (ja) 2018-11-08

Similar Documents

Publication Publication Date Title
CN110692081B (zh) 用于查看确认的系统、便携式终端装置、服务器、程序和方法
US20210327151A1 (en) Visual display systems and method for manipulating images of a real scene using augmented reality
US9754183B2 (en) System and method for providing additional information using image matching
US20180261005A1 (en) Method and Apparatus for Constructing Three-Dimensional Map
JP2012520018A (ja) 公共ディスプレイからのナローキャスティングおよび関連配設
EP2003611A9 (en) Information presentation system, information presentation terminal, and server
US10014967B2 (en) System and method for authenticating a broadcast device using facial recognition
WO2022052825A1 (zh) 数据处理方法、装置、设备及存储介质
CN106817677A (zh) 一种基于多传感器的室内目标信息识别方法、装置及系统
US11281908B2 (en) System, server, program, and method for confirming acquisition of target object
US20160248784A1 (en) Authenticating apparatus, authenticating system and storage medium
US11704652B2 (en) Method and system for augmented feature purchase
CN114612531B (zh) 一种图像处理方法、装置、电子设备及存储介质
US20140019378A1 (en) Evaluation system, method, and computer-readable recording medium
US20130339271A1 (en) Evaluation system, evaluation method, and storage medium
CN115018565A (zh) 一种广告传媒图像识别方法、系统、设备及可读存储介质
JP6925901B2 (ja) 閲覧確認のためのシステム、携帯端末装置、サーバ、プログラム及び方法
KR101320247B1 (ko) 증강현실 서비스를 지원하는 시스템에서 영상 정합을 위한 장치 및 방법
US9311562B2 (en) Image retrieval system, information processing apparatus, image retrieval method, and non-transitory computer readable medium
JP6019888B2 (ja) 評価システム、情報処理装置
JP2022030135A (ja) 端末装置、情報処理方法、およびプログラム
KR20080036231A (ko) 정보 제시 시스템, 정보 제시 단말기 및 서버
JP2019125394A (ja) 対象物取得確認のためのシステム、サーバ、プログラム及び方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40011994

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant