[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP6735574B2 - 情報処理装置、情報処理システム、それらの制御方法、およびプログラム - Google Patents

情報処理装置、情報処理システム、それらの制御方法、およびプログラム Download PDF

Info

Publication number
JP6735574B2
JP6735574B2 JP2016044762A JP2016044762A JP6735574B2 JP 6735574 B2 JP6735574 B2 JP 6735574B2 JP 2016044762 A JP2016044762 A JP 2016044762A JP 2016044762 A JP2016044762 A JP 2016044762A JP 6735574 B2 JP6735574 B2 JP 6735574B2
Authority
JP
Japan
Prior art keywords
information processing
person
image data
customer
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016044762A
Other languages
English (en)
Other versions
JP2017162105A (ja
JP2017162105A5 (ja
Inventor
智大 佐藤
智大 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2016044762A priority Critical patent/JP6735574B2/ja
Priority to US15/448,994 priority patent/US20170262870A1/en
Publication of JP2017162105A publication Critical patent/JP2017162105A/ja
Publication of JP2017162105A5 publication Critical patent/JP2017162105A5/ja
Application granted granted Critical
Publication of JP6735574B2 publication Critical patent/JP6735574B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201Market modelling; Market analysis; Collecting market data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/08Payment architectures
    • G06Q20/20Point-of-sale [POS] network systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/08Payment architectures
    • G06Q20/20Point-of-sale [POS] network systems
    • G06Q20/202Interconnection or interaction of plural electronic cash registers [ECR] or to host computer, e.g. network details, transfer of information from host to ECR or from ECR to ECR
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/08Payment architectures
    • G06Q20/20Point-of-sale [POS] network systems
    • G06Q20/204Point-of-sale [POS] network systems comprising interface for record bearing medium or carrier for electronic funds transfer or payment credit
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Data Mining & Analysis (AREA)
  • Game Theory and Decision Science (AREA)
  • Marketing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Cash Registers Or Receiving Machines (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、映像データの解析技術に関するものであって、特にカメラ等により撮影された映像に映る人物の特定に関する技術である。
近年、ネットワークカメラ(以下、カメラと呼ぶ)を用いてレジに位置する人物を撮影し、撮影画像から人物情報を抽出し、当該人物情報と当該人物の購買情報とを関連付けるシステムが提案されている(例えば、特許文献1)。このようなシステムでは、まず、POS(Point of Sales)レジに搭載されたカメラ、またはPOSレジの近傍に設置されたカメラが、会計処理の際に顧客である人物の顔を撮影する。撮影画像から、当該人物の年齢や性別等の顧客データ(人物情報)が画像処理等により取得され、POSレジによ取得される購買点数や金額等の売上データと紐付けてデータベースに保管される。一定期間蓄積された顧客データと売上データは、例えば経営者等が顧客満足度や売上および利益の向上を図る経営改善策を考える上で有益な情報となる。
特開2013−045132号公報
特許文献1等における従来の顧客の撮影方法を図1を用いて説明する。図1は、従来の顧客の撮影方法を説明する図である。従来では、図1(A)のように、会計のための順番待ちをする顧客の列101、102、103のために、それぞれPOSレジ111、112、113が存在する。また、POSレジ111、112、113に対し、それぞれ1台のカメラ121、122、123が設置されている。カメラ121、122、123により撮影される画像は、図1(B)の画像131のように、画像解析に必要な十分な大きさとなり、適切な人物情報を得ることが可能となる。しかし、図1(A)の形態では、顧客の列の数だけ、カメラが必要となる。したがって、顧客の列が増えるに従い、導入するPOSレジの数が増加し、運用コストや導入コストが高くなる恐れがあった。
そのような課題を解決するため、図2に示すような撮影方法が考えられる。図2は、図1に示す従来方法から派生した撮影方法を説明する図である。この撮影方法において、図2(A)のように、会計のために順番待ちをする顧客の列201、202、203のために、それぞれPOSレジ211、212、213が存在する。また、POSレジ211、212、213に対し、1台のカメラ221が設置されている。カメラ221は、POSレジ211、212、213から遠く、1台でPOSレジ211、212、213の近傍に位置する顧客全体を撮影するため、カメラ221により撮影される画像は、図2(B)の画像231のように、画像解析に必要な十分な大きさとならず、適切な人物情報を得ることは難しくなる。カメラ221が高解像度で撮影を行った場合には、映像解析に必要な大きさで顧客の顔を撮影する事が可能になるが、導入コストが高くなるという課題を解決することはできない。
本発明は、上記課題に鑑みてなされたものであり、少ない台数のカメラで顧客の情報を精度よく取得することを目的とする。
上記課題を達成するための一手段として、本発明の情報処理装置は以下の構成を有する。すなわち、商品の売上げに係る購買情報を処理する情報処理装置であって、撮影装置によって撮影される人物の画像データであって、複数の表示部に表示される1又は複数の人物の画像データを含む選択画面を、前記情報処理装置が有する第1の表示部に表示する表示制御手段と、前記選択画面において人物の画像データが選択されると、当該選択された人物の画像データに映る人物に係る情報と、前記情報処理装置における処理対象の購買情報とを関連付けた情報を生成する生成手段と、を有し、前記表示制御手段は、他の情報処理装置が有する表示部に表示される前記選択画面における人物の画像データの選択状況に応じた前記選択画面を、前記第1の表示部に表示することを特徴とする。
本発明によれば、少ない台数のカメラで顧客の情報を精度よく取得することが可能となる。
従来の顧客の撮影方法を説明する図。 従来の方法から派生した顧客の撮影方法を説明する図。 情報処理装置421のハードウェア構成の一例を示す図。 実施形態1における情報処理システムの構成の一例を示す図。 顧客の動きとオペレータの操作を説明する図。 POSレジの表示画面の遷移を示す図。 映像処理装置401の処理のフローチャート。 情報処理装置421の処理のフローチャート。
以下、添付の図面を参照して、本発明をその実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
[実施形態1]
実施形態1として、顧客データと売上データとを紐付けてデータベースに保管する情報処理システムについて説明する。図4は、本実施形態における情報処理システム400の構成の一例を示す図である。情報処理システム400は、映像処理装置401、顧客データ保持部411、情報処理装置421、および顧客購買データ保持部431から構成される。
映像処理装置401は、撮影部402、映像解析部403、および顧客データ生成部404を有する。撮影部402は、カメラ部であり、映像を撮影し、当該映像を映像解析部403に送る。映像解析部403は、撮影部402から受け取った映像において、人物(顧客)の顔を画像処理により抽出する。また、映像解析部403は、当該人物の顔を含む顔画像(人物の画像データ)を生成して顧客データ生成部404に送る。顧客データ生成部404は、映像解析部403から受け取った顔画像から、年齢や性別等の顧客情報(人物の情報)を画像認識処理により取得する。また、顧客データ生成部404は、取得した顧客情報を映像解析部403から受け取った顔画像と関連付けて顧客データを生成し、当該顧客データを顧客データ保持部411に保存する。なお、映像処理装置401は、撮影部402を撮影装置として他の構成から分離するように構成されてもよい。
情報処理装置421は、ネットワーク412を介して、顧客データ保持部411と顧客購買データ保持部431と接続されている。情報処理システム400は、情報処理装置421を複数有することが可能である。情報処理装置421は、データ管理部422、会計部423、表示制御部424、入力制御部425、および顧客購買データ生成部426を有する。データ管理部422は、顧客データ保持部411に保持される顧客データの管理を行う。会計部423は、オペレータによる操作入力に基づいて会計処理を行い、売上データ(購買情報)を生成する。表示制御部424は、顧客データ保持部411から顧客データを取得し、当該顧客データに含まれる顔画像を、表示部304(図3を参照)を介してオペレータに提示する。入力制御部425は、オペレータが、表示部304を介して提示された1以上の顔画像の中から1以上の顔画像を選択(指定)するために入力部303(図3を参照)に対して行った操作入力に対応する制御を行う。また、入力制御部425は、オペレータにより選択された顔画像に対応する顧客データを一時的に保持する。顧客購買データ生成部426は、会計部423により生成された売上データと、入力制御部425により保持されている顧客データとを紐付けることにより顧客購買データを生成し、当該顧客購買データを顧客購買データ保持部431に保存する。
図3は、情報処理装置421のハードウェア構成の一例を示す図である。記憶部301は、ROM(Read Only Memory)やRAM(Random Access Memory)等のメモリにより構成される。記憶部301は、後述する各種動作を行うためのプログラムや、無線通信のための通信パラメータ等の各種情報を記憶する。なお、記憶部301として、ROM、RAM等のメモリの他に、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD-ROM、CD-R、磁気テープ、不揮発性のメモリカード、DVDなどの記憶媒体を用いてもよい。また、記憶部301が複数のメモリ等を備えていてもよい。
制御部302は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等のプロセッサにより構成される。制御部302は、記憶部301に記憶されたプログラムを実行することにより情報処理装置421全体を制御する。また、制御部302がマルチコア等の複数のプロセッサを備え、複数のプロセッサにより情報処理装置421全体を制御するようにしてもよい。
入力部303は、ユーザからの各種操作の受付を行う。表示部304は、画面上で各種表示を行う。なお、タッチパネルのように入力部303と表示部304の両方を1つのモジュールで実現するようにしてもよい。表示部304は、例えばLCD(Liquid Crystal Display)により構成される。表示部304は、ユーザが視覚で認知可能な情報を出力し、各種UI(User Interface)の表示制御を行う。
通信部305は、無線通信または有線通信の制御を行う。また、無線通信を行う場合は、通信部305はアンテナ306を制御して、無線通信のための無線信号の送受信を行う。情報処理装置421は、通信部305を介して、映像データ等のコンテンツを対向機102へ送信する。
<オペレータの操作>
図5は、顧客の動きとオペレータの操作を説明する図である。図5(A)において、オペレータa、b、cは、それぞれPOSレジ511、512、513を操作することが出来る。POSレジ511、512、513はそれぞれ、図4を用いて説明した情報処理装置421の機能を有する。画面531、532、533はそれぞれ、POSレジ511、512、513の表示部304に表示される画面の例である。
本実施形態では、顧客は、POSレジ511、512、513の前に、顧客の列501のように一列に並ぶものとする。POSレジ511、512、513は、オペレータの操作入力に基づいて顧客購買データを生成する。例えば、顧客A502がPOSレジ511に進んだ場合、オペレータaは、POSレジ511の表示部304に表示された画面531において、顧客Aを選択する。また、オペレータaは、POSレジ511で会計処理のための操作入力を行う。オペレータaによるこれらの操作に基づいて、POSレジ511は、顧客データと売上データを取得し、これらのデータを紐づけることにより顧客購買データを生成する。
<顧客の動き>
図5(A)の例では、顧客の列501に、顧客A502、顧客B503、顧客C504、顧客D505、および顧客E506が順に並んでいる。先行する顧客がPOSレジ511、512、513のいずれかにおいて会計が終了すると、後続の顧客は順に空いているPOSレジに進む。また、顧客の列501には、会計のために代金を支払う顧客である支払者以外に、当該支払者の同伴者である顧客も並び得る。図5(A)の例では、顧客(D)505が支払者であり、顧客C504は顧客D505の同伴者である。更に、顧客の列501に並ばない顧客も存在し得る(図5(A)の例では、顧客X541)。本実施形態では、会計を行うために、顧客は、顧客の列501に並ぶ必要があると仮定するため、このような顧客X541の存在は無視することができる。もしくは、顧客X541は、顧客B503の同伴者である場合も、会計を行わないため、同様にこのような人物の存在を無視することができる。
<カメラの設置例>
本実施形態では、顧客の列501に並ぶ顧客の先頭から順に撮影が行えるように、1台のカメラ521が設置される。カメラ521は、図4における映像処理装置401の撮影部402に相当する。顧客A502〜顧客E506は、会計を行う前に顧客の列501に並び、当該列の先頭から順にPOSレジ511、512、513のいずれかに移動するため、会計を行う顧客は必ずカメラ521に撮影されることになる。
カメラ521は、顧客の列501に並ぶ顧客A502〜顧客E506を一度に撮影する必要はなく、先頭から順に数人の人物が、画像処理を行うのに十分な大きさで撮影ができれば良い。例えば、カメラ521は、図5(B)の画面551に示すように、先頭の4人の顧客が一つの画面に映るように撮影を行ってもよい。このようにすることにより、図1のように全てのPOSレジに対して1台ずつカメラを設置する必要が無く、また、図2のように画像処理が困難な大きさとなることがない。
なお、カメラの設置位置は、図5(A)に示すようなカメラ521の位置に限定されない。例えば、顧客の列501のような列が複数存在する場合、2列以上の列に対応して少なくとも1台のカメラが設定されてもよい。また、カメラを店舗の出入口に設置することも可能である。
<POSレジの表示画面の遷移>
図5と図6を参照して、POSレジ511、512、513の表示部304における画面例について説明する。図6は、POSレジの表示部に表示される画面の遷移を示す。画面601、602、603はそれぞれ、POSレジ511、512、513の表示部304に表示される初期画面である。画面601、602、603には、それぞれ、顧客の列501の先頭から4人の顧客(顧客A502〜顧客D505)が表示されている。それぞれの画面に表示される顧客の下に示される数字は、顧客の列501の先頭から順に顧客に付与された番号であるが、この番号は付与されなくてもよい。
まず、顧客の列501に並んでいた顧客Aは、POSレジ511に移動して会計を行ったため、オペレータaは画面611に表示された顧客Aの画像を選択する(S661)。この操作を受けて、POSレジ512の画面612と、POSレジ513の画面613には、顧客Aの画像に既選択マーク(図6では星マークを付与した)が付いた状態で表示される(S662)。すなわち、顧客Aの画像が、既選択であることが識別可能に表示される。このような表示により、オペレータbとオペレータcは、顧客Aが他のレジで会計を行った顧客であると明確にわかるため、短時間でそれぞれのPOSレジで会計を行う顧客を選択することが可能となる。ただし、オペレータaが間違って顧客Aの画像を選択してしまう可能性も考慮し、POSレジ511、512、513において、オペレータa、b、cは、顧客Aの画像を、まだ選択可能とする。オペレータにより選択された顧客の画像にも、既選択マークが付される(例えば、顧客Aについては、画面621)。
次に、顧客の列501に並んでいた顧客Bは、POSレジ512に移動して会計を行ったため、オペレータbは画面622に表示された顧客Bの画像を選択する(S663)。S662と同様に、POSレジ511の画面621と、POSレジ513の画面623には、顧客Bの画像に既選択マークが付いた状態で表示される(S664)。ここで、オペレータbによって選択された顧客Bよりも先に会計を始めた顧客Aは、今後は選択される顧客の対象となり得ないため、POSレジ512において、顧客Aの画像は、画面622以降の画面632、642では非表示となる(S665)。
次に、顧客の列501に並んでいた顧客Cと顧客Dは、POSレジ513に移動し、顧客Dが会計を行ったため、オペレータcは画面633に表示された顧客Dの画像を選択する(S666)。顧客Cは顧客Dの同伴者であるので、オペレータcは正しい操作を行ったと見なされる。POSレジ511の画面631と、POSレジ512の画面632には、顧客Dの画像に既選択マークが付いた状態で表示される(S667)。同伴者の顧客Cの画像には、購買者と見なされないため、既選択マークは付かない。さらに、顧客よりも先に会計を始めた顧客Aと顧客Bに対応する顧客Aと顧客Bの画像は、POSレジ513において、画面633以降の画面643では非表示となる。
POSレジ512の画面642では、顧客Aの画像が非表示になったため、顧客の列501に並ぶ次の顧客の画像が画面に表示されるように更新される(S668)。顧客の列501に並んでいた顧客Eは、POSレジ512に移動して会計を行ったため、オペレータcは画面642に表示された顧客Eの画像を選択する(S669)。POSレジ511の画面641と、POSレジ513の画面643には、顧客Eの画像に既選択マークが付いた状態で表示される(S610、S611)。また、POSレジ513において、画面643では、顧客Eより先に会計を始めた顧客Aと顧客Bは、選択される顧客の対象となり得ないため、客Aと顧客Bの画像は非表示となる(S612)。
また、長時間画面に表示されている顧客は、他のPOSレジで会計したが間違ってオペレータにより選択されなかったか、途中でレジ待ちをやめた可能性が考えられる。そのため、表示されたまま一定時間が経過した顧客の顔画像は定期的に非表示とする。図6では、POSレジ511において、画面621から画面641への画面遷移において、顧客Bが既に他のPOSレジで選択されて一定時間が経過したため、顧客Bの画像が非表示となった例を示している(S613)。また、顧客Aが会計を終了したことを受けて、オペレータaは顧客Aの画像を消去することができる(S613)。
<顧客データ生成処理の流れ>
図7は、映像処理装置401の処理のフローチャートである。映像処理装置401は、顧客の列501に並ぶ顧客を撮影して、顧客データを生成し、当該顧客データを顧客データ保持部411に保存する。
まず、ステップS701では、撮影部402(すなわち、カメラ)は、顧客の列に並ぶ顧客の映像を撮影する。ステップS702では、映像解析部403は、撮影部402により撮影された映像に映る人物の顔を認識し、顔のみを切り抜いた顔画像を生成する。ステップS703では、顧客データ生成部404は、ステップS702で生成された顔画像それぞれについて、画像認識を行い、顧客情報(顧客の年齢と性別等)を取得し、当該顧客情報と顔画像とを関連づけて顧客データを生成する。ここで、顧客データ生成部404は、顧客データ保持部411に既に格納されている顧客データの顔画像を参照し、同一の顧客と識別される顔画像については、顧客データを生成しなくてもよい。また、顧客データを生成する前に、顧客データ生成部404は、顧客データ保持部411に既に格納されている顧客データのうち、同一の顧客と識別される顔画像を含む顧客データを削除するなどして、常に新しい顔画像を格納するようにしてもよい。また、顧客データ生成部404は、顧客データ保持部411に格納される顧客データに順に番号を付してもよい。
ステップS704では、顧客データ生成処理が継続されるのであれば(S704のYes)、処理はステップS701に戻り、そうでなければ(S704のNo)、処理は終了する。例えば、撮影部402による映像の撮影が継続されている場合や、オペレータによる指示入力が行われた場合に、顧客データ生成処理が継続されてもよい。
<購買者候補選択部の処理の流れ>
図8は、情報処理装置421の処理のフローチャートである。情報処理装置421は、オペレータの操作入力に基づいて、会計処理と顧客の顔画像の選択を行い、顧客購買データを生成し、当該顧客購買データを顧客購買データ保持部431に保存する。
まず、図8(A)を参照して、情報処理装置421の全体の処理を説明する。ステップS801では、会計部423が、オペレータの操作入力に基づいて会計処理を行い、売上データを生成する。オペレータの操作入力は、入力部303に対して行われ、入力制御部425が当該操作入力に対応する指示を、会計部423に対して行う。情報処理装置421は、会計処理と並行して、ステップS802からS804で、図6を参照して説明したように、オペレータの操作入力に基づいて会計を行っている顧客の選択を行う。具体的には、ステップS802において、表示制御部424は、顧客データ保持部411に格納されている顧客データの顔画像を取得し、表示部304に表示する。ステップS803において、入力制御部425は、入力部303に対してオペレータにより行われた操作入力により、表示部304に表示された顧客を選択する。続いて、ステップS804において、データ管理部422は、顧客データ保持部411に格納されている顧客データの更新を行う。
ステップ801とステップ804の処理が完了した後、ステップS805において、顧客購買データ生成部426は、会計部423により生成された売上データと、入力制御部425により選択された顧客の顔画像に対応する顧客データとを関連付け、顧客購買データを生成する。その後、情報処理装置421は、会計処理を継続するならば(ステップS806のYes)、処理はステップS801とS802へ戻る。そうでなければ(ステップS806のNo)、処理は終了する。会計処理を継続する場合として、情報処理装置421がオペレータによる会計処理を継続するための操作入力を受け付けた場合等が想定される。
次に、ステップS802の処理の具体例について、図8(B)を参照して説明する。図8(B)の例では、顧客データ保持部411に格納されている顧客データに、格納される順(顧客の列の先頭からの順)に番号が付され、当該顧客データに含まれる顔画像と当該顧客データに付された番号は関連付けられているものとする。
ステップS811において、表示制御部424は、顧客データ保持部411から顧客データに含まれる顔画像と当該顔画像に関連付けられている番号を取得する。ステップS812では、既にステップS803の処理が行われていた場合に、表示制御部424は、入力制御部425により選択された顧客の顔画像に対応する番号よりも小さい番号の顔画像を消去する(非表示にする)。例えば図6を参照して説明すると、POSレジ512の画面622から画面632への変化において、選択された顧客(顧客(B))の顔画像よりも時間的に前に選択された顧客(顧客(A))の顔画像は非表示となる。ステップS813では、表示制御部424は、番号順に顧客の顔画像を表示部304に表示する。ステップS814では、表示制御部424は、他の情報処理装置421で既選択とされた顧客の顔画像に既選択のマークを表示し、図8(A)のメインルーチンに戻る。なお、図8(B)の例では、各顧客の顔画像に関連付けられた番号により、顧客の時間的な順序が識別されたが、各顧客の時間的な順序が識別されれば、他の識別手段を用いてもよい。
次に、ステップS804の処理の具体例について、図8(C)を参照して説明する。ステップS821では、データ管理部422は、図8(A)のステップS803で選択された顧客の顔画像に既選択の印を付けて顧客データ保持部411に保存し直す。こうすることで、他の情報処理装置は、選択の有無が反映された顧客データを取得することが可能となる。ステップS822では、データ管理部422は、表示部304に一定時間以上表示されている顔情報に対応する顧客データを、顧客データ保持部411から削除し、図8(A)のメインルーチンに戻る。この削除処理により、表示制御部424は、表示部304に、削除された顧客データに含まれる顔画像を表示しない。なお、一定時間とは、例えば、顧客が顧客の列に並んで会計が終わるまで5分間であれば、その2倍程度に設定される。
以上に説明した実施形態では、POSレジ前の顧客の列に並び、POSレジで会計を行う人物の情報が、売上データと紐付き、当該紐付けされたデータが、顧客購買データとして保存される説明を行った。しかし、顧客の列からの離脱、顔認識の失敗、同伴者の存在、オペレータの作業ミス等によって、紐付けに成功しない場合も存在する。その場合は、オペレータはエラーであることを入力部303を介して入力してもよい。また、紐付けに成功しなかった顧客購買データに対して、オペレータが入力部303を介して必要な情報(売上データや顧客データ)を入力し、当該入力に応じて紐付けが行われてもよい。また、本実施形態では、顧客の列を1列に限定して説明したが、カメラは1台に限らない。また、POSレジの台数とカメラの台数は一致する必要はないため顧客の列は2列以上であってもよい。
このように、本実施形態によれば、複数のPOSレジで会計処理をする時の顧客の精度良く特定し、年齢や性別等の顧客データと紐付ける処理が、より少ない台数のカメラにより容易に行えるようになる。
<その他の実施形態>
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
401 映像処理装置、402 撮影部、403 映像解析部、404 顧客データ生成部、411 顧客データ保持部、412 ネットワーク、421 情報処理装置、422 データ管理部、423 会計部、424 表示制御部、425 入力制御部、426 顧客購買データ生成部、431 顧客購買データ保持部

Claims (13)

  1. 商品の売上げに係る購買情報を処理する情報処理装置であって、
    撮影装置によって撮影される人物の画像データであって、複数の表示部に表示される1又は複数の人物の画像データを含む選択画面を、前記情報処理装置が有する第1の表示部に表示する表示制御手段と、
    前記選択画面において人物の画像データが選択されると、当該選択された人物の画像データに映る人物に係る情報と、前記情報処理装置における処理対象の購買情報とを関連付けた情報を生成する生成手段と、
    を有し、
    前記表示制御手段は、他の情報処理装置が有する表示部に表示される前記選択画面における人物の画像データの選択状況に応じた前記選択画面を、前記第1の表示部に表示することを特徴とする情報処理装置。
  2. 前記表示制御手段は、前記他の情報処理装置において選択された人物の画像データを識別可能な前記選択画面を、前記第1の表示部に表示させることを特徴とする請求項1に記載の情報処理装置。
  3. 前記表示制御手段は、前記他の情報処理装置において人物の画像データが選択されたことに応じて、当該選択された人物の画像データが非表示とされた前記選択画面を、前記第1の表示部に表示することを特徴とする請求項1または2に記載の情報処理装置。
  4. 前記表示制御手段は、前記第1の表示部に表示されてから所定時間が経過した人物の画像データが非表示とされた前記選択画面を、前記第1の表示部に表示することを特徴とする請求項1乃至3のいずれか1項に記載の情報処理装置。
  5. 前記人物に係る情報は、前記人物の画像データに基づいて特定される前記人物の画像データに映る人物の年齢及び性別の内の少なくともいずれかであることを特徴とする請求項1乃至4のいずれか1項に記載の情報処理装置。
  6. 前記選択画面では、前記他の情報処理装置により選択されているか否かにかかわらず、前記選択画面に含まれる前記人物の画像データを選択することが可能であることを特徴とする請求項1乃至5のいずれか1項に記載の情報処理装置。
  7. 撮影装置によって撮影される人物の画像データを管理する管理手段をさらに備え、
    前記管理手段は、人物の画像データに対して当該管理手段で管理する順に連番となるように番号を付して管理し、
    前記表示制御手段は、前記選択画面に含まれる前記人物の画像データのうち、前記他の情報処理装置により選択されている人物の画像データが、前記選択画面において選択された人物の画像データよりも付された番号が前の番号である場合、前記表示制御手段は、前記他の情報処理装置により選択されている人物の画像データを前記選択画面から消去することを特徴とする請求項1乃至6のいずれか1項に記載の情報処理装置。
  8. 前記生成手段により生成した情報を、前記情報処理装置と通信可能な記憶装置に送信する送信手段を更に有することを特徴とする請求項1乃至7のいずれか1項に記載の情報処理装置。
  9. 前記表示制御手段は、会計のために並んでいる1または複数の人物の画像を含む前記選択画面を表示させ、
    前記情報処理装置において会計を行っている人物に対応する前記画像を、前記選択画面上でユーザからの選択を受け付けることに応じて、選択する選択手段を更に有することを特徴とする請求項1乃至8のいずれか1項に記載の情報処理装置。
  10. 第1の表示部を有する第1の情報処理装置と、第2の表示部を有する第2の情報処理装置とを含み、商品の売上げに係る購買情報を処理する情報処理システムであって、
    撮影装置によって撮影される人物の画像データであって、複数の表示部に表示される1又は複数の人物の画像データを含む選択画面を、前記第1の表示部に表示させる表示制御手段と、
    前記選択画面において人物の画像データが選択されると、当該選択された人物の画像データに映る人物に係る情報と、前記第1の情報処理装置における処理対象の購買情報とを関連付けた情報を生成する生成手段と、
    を有し、
    前記表示制御手段は、前記第2の表示部に表示される前記選択画面における人物の画像データの選択状況に応じた前記選択画面を、前記第1の表示部に表示させることを特徴とする情報処理システム。
  11. 商品の売上げに係る購買情報を処理する情報処理装置の制御方法であって、
    前記情報処理装置の表示制御手段が、撮影装置によって撮影される人物の画像データであって、複数の表示部に表示される1又は複数の人物の画像データを含む選択画面を、前記情報処理装置が有する第1の表示部に表示する表示制御工程と、
    前記情報処理装置の生成手段が、前記選択画面において人物の画像データが選択されると、当該選択された人物の画像データに映る人物に係る情報と、前記情報処理装置における処理対象の購買情報とを関連付けた情報を生成する生成工程と、
    を有し、
    前記表示制御工程では、他の情報処理装置が有する表示部に表示される前記選択画面における人物の画像データの選択状況に応じた前記選択画面を、前記第1の表示部に表示することを特徴とする情報処理装置の制御方法。
  12. 第1の表示部を有する第1の情報処理装置と、第2の表示部を有する第2の情報処理装置とを含み、商品の売上げに係る購買情報を処理する情報処理システムの制御方法であって、
    前記情報処理システムの表示制御手段が、撮影装置によって撮影される人物の画像データであって、複数の表示部に表示される1又は複数の人物の画像データを含む選択画面を、前記第1の表示部に表示させる表示制御工程と、
    前記情報処理システムの生成手段が、前記選択画面において人物の画像データが選択されると、当該選択された人物の画像データに映る人物に係る情報と、前記第1の情報処理装置における処理対象の購買情報とを関連付けた情報を生成する生成工程と、
    を有し、
    前記表示制御工程では、前記第2の表示部に表示される前記選択画面における人物の画像データの選択状況に応じた前記選択画面を、前記第1の表示部に表示させることを特徴とする情報処理システムの制御方法。
  13. コンピュータを請求項1乃至9のいずれか1項に記載の情報処理装置の各手段として機能させるためのプログラム。
JP2016044762A 2016-03-08 2016-03-08 情報処理装置、情報処理システム、それらの制御方法、およびプログラム Active JP6735574B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016044762A JP6735574B2 (ja) 2016-03-08 2016-03-08 情報処理装置、情報処理システム、それらの制御方法、およびプログラム
US15/448,994 US20170262870A1 (en) 2016-03-08 2017-03-03 Information processing apparatus, method of controlling same, and non-transitory computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016044762A JP6735574B2 (ja) 2016-03-08 2016-03-08 情報処理装置、情報処理システム、それらの制御方法、およびプログラム

Publications (3)

Publication Number Publication Date
JP2017162105A JP2017162105A (ja) 2017-09-14
JP2017162105A5 JP2017162105A5 (ja) 2019-04-18
JP6735574B2 true JP6735574B2 (ja) 2020-08-05

Family

ID=59786735

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016044762A Active JP6735574B2 (ja) 2016-03-08 2016-03-08 情報処理装置、情報処理システム、それらの制御方法、およびプログラム

Country Status (2)

Country Link
US (1) US20170262870A1 (ja)
JP (1) JP6735574B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6464414B1 (ja) * 2017-10-02 2019-02-06 株式会社リクルート 順番管理システム、順番管理装置、およびプログラム
JP7067096B2 (ja) * 2018-02-07 2022-05-16 カシオ計算機株式会社 売上データ処理装置、経営支援方法、プログラム及び売上データ処理システム
JP6947443B1 (ja) * 2020-04-10 2021-10-13 Necプラットフォームズ株式会社 入場制御システム、方法及びプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5797126A (en) * 1996-02-16 1998-08-18 Helbling; Edward Automatic theater ticket concierge
JP3347107B2 (ja) * 1999-10-20 2002-11-20 株式会社 システム エイ.ブイ Posシステム及びそれを利用したセキュリティシステム
US10127518B2 (en) * 2000-05-25 2018-11-13 Redbox Automated Retail, Llc System and kiosk for commerce of optical media through multiple locations
US20060026265A1 (en) * 2004-08-02 2006-02-02 Russell Paul G Digital media downloading system
WO2007124138A2 (en) * 2006-04-18 2007-11-01 Sorensen Associates Inc Still image queue analysis system and method
US7640503B1 (en) * 2006-10-31 2009-12-29 Hewlett-Packard Development Company, L.P. Graphic representation of computer reconfigurations
US9235816B2 (en) * 2008-04-09 2016-01-12 Geannie M. Bastian System and method for facilitating performance venue seat selection
JP5790160B2 (ja) * 2011-05-31 2015-10-07 株式会社寺岡精工 セルフ会計posシステム及び会計装置
JP5733686B2 (ja) * 2011-08-22 2015-06-10 カシオ計算機株式会社 売上データ処理装置及びプログラム
US9299168B2 (en) * 2012-03-06 2016-03-29 Apple Inc. Context aware user interface for image editing
KR20140111497A (ko) * 2013-03-11 2014-09-19 삼성전자주식회사 터치 스크린의 화면에 표시된 아이템을 삭제하는 방법, 저장 매체 및 휴대 단말
JP5780348B1 (ja) * 2014-09-26 2015-09-16 富士ゼロックス株式会社 情報提示プログラム及び情報処理装置
US10438177B2 (en) * 2015-06-15 2019-10-08 Worldpay, Llc System and method for third party payment at point of sale terminals

Also Published As

Publication number Publication date
JP2017162105A (ja) 2017-09-14
US20170262870A1 (en) 2017-09-14

Similar Documents

Publication Publication Date Title
JP6730079B2 (ja) 監視装置及びプログラム
JP6261197B2 (ja) 表示制御装置、表示制御方法、及びプログラム
JP7525223B2 (ja) 情報処理システム、情報処理方法及びプログラム
US20150269549A1 (en) Synchronizing scan activity with loss prevention cameras
JP2011170565A (ja) 顧客動向収集方法、装置及びプログラム
US9928695B2 (en) Register system that tracks a position of a customer for checkout
US9891798B2 (en) Face image tracking system
JP7545801B2 (ja) 情報処理システム、情報処理システムの制御方法及びプログラム
US12033128B2 (en) Fraud behavior recognition device, control program thereof, and fraud behavior recognition method
JP2009284167A (ja) 人物行動監視装置及び人物行動監視プログラム
US11625703B2 (en) Commodity registration apparatus and method
JP6735574B2 (ja) 情報処理装置、情報処理システム、それらの制御方法、およびプログラム
JP6266548B2 (ja) チェックアウトシステム、及び制御プログラム
JP2007087208A (ja) 顧客動向収集システム、顧客動向収集方法および顧客動向収集プログラム
JP2016024601A (ja) 情報処理装置、情報処理システム、情報処理方法、商品推薦方法、およびプログラム
JP7366099B2 (ja) 監視装置及びプログラム
JP2018025882A (ja) 情報処理装置及びその制御方法、表示装置、コンピュータプログラム
TWM560077U (zh) 連續性商品辨識收銀系統
JP6498065B2 (ja) 情報処理装置、処理方法およびプログラム
JP6587479B2 (ja) Pos連動型店舗監視システム
JP6442035B2 (ja) チェックアウトシステム、情報処理装置、及び制御プログラム
JP6266501B2 (ja) チェックアウトシステム、及び制御プログラム
US20220092573A1 (en) Portable terminal and information processing method for a portable terminal
JP6261529B2 (ja) Pos端末及びプログラム
JP6978399B2 (ja) 機会損失管理装置、機会損失管理システム、機会損失管理方法、及び、機会損失管理プログラム

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160316

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190228

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200124

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200123

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200317

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200410

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200601

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200615

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200714

R151 Written notification of patent or utility model registration

Ref document number: 6735574

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151