[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2023050597A - 通知プログラム、通知方法および情報処理装置 - Google Patents

通知プログラム、通知方法および情報処理装置 Download PDF

Info

Publication number
JP2023050597A
JP2023050597A JP2021160782A JP2021160782A JP2023050597A JP 2023050597 A JP2023050597 A JP 2023050597A JP 2021160782 A JP2021160782 A JP 2021160782A JP 2021160782 A JP2021160782 A JP 2021160782A JP 2023050597 A JP2023050597 A JP 2023050597A
Authority
JP
Japan
Prior art keywords
product
information
accounting machine
area
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021160782A
Other languages
English (en)
Inventor
悟 牛嶋
Satoru Ushijima
諒 石田
Ryo Ishida
康洋 青木
Yasuhiro Aoki
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2021160782A priority Critical patent/JP2023050597A/ja
Priority to US17/853,926 priority patent/US20230100920A1/en
Priority to KR1020220082340A priority patent/KR20230046944A/ko
Priority to EP22183034.2A priority patent/EP4160501A1/en
Publication of JP2023050597A publication Critical patent/JP2023050597A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07GREGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00Cash registers
    • G07G1/0036Checkout procedures
    • G07G1/0045Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07GREGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00Cash registers
    • G07G1/0036Checkout procedures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/08Payment architectures
    • G06Q20/18Payment architectures involving self-service terminals [SST], vending machines, kiosks or multimedia terminals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/08Payment architectures
    • G06Q20/20Point-of-sale [POS] network systems
    • G06Q20/208Input by product or record sensing, e.g. weighing or scanner processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/38Payment protocols; Details thereof
    • G06Q20/40Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401Transaction verification
    • G06Q20/4016Transaction verification involving fraud or risk level assessment in transaction processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07GREGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00Cash registers
    • G07G1/0018Constructional details, e.g. of drawer, printing means, input means
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07GREGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00Cash registers
    • G07G1/0036Checkout procedures
    • G07G1/0045Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07GREGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00Cash registers
    • G07G1/0036Checkout procedures
    • G07G1/0045Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G07G1/0063Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the geometric dimensions of the article of which the code is read, such as its size or height, for the verification of the registration
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07GREGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00Cash registers
    • G07G1/12Cash registers electronically operated
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07GREGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00Cash registers
    • G07G1/12Cash registers electronically operated
    • G07G1/14Systems including one or more distant stations co-operating with a central processing unit
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07GREGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G3/00Alarm indicators, e.g. bells
    • G07G3/003Anti-theft control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30242Counting objects in image

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Theoretical Computer Science (AREA)
  • General Business, Economics & Management (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Multimedia (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Image Analysis (AREA)
  • Cash Registers Or Receiving Machines (AREA)

Abstract

【課題】商品の会計漏れを検出すること。【解決手段】情報処理装置100は、会計機が商品のコードを読み込むことで生成された商品情報を取得する。情報処理装置100は、取得した商品情報に基づいて、商品の購入数を示す第一の回数を計数し、会計機の前のユーザを撮影した画像から、ユーザが会計機に商品を登録する動作を特定する。情報処理装置100は、動作を行った回数を示す第二の回数を計数する。情報処理装置100は、第一の回数と、第二の回数とを基にして、アラートを通知する。【選択図】図1

Description

本発明は、通知プログラム等に関する。
スーパーマーケットやコンビニエンスストア等の店舗において、セルフレジが普及している。セルフレジは、商品を購入するユーザ自身が、商品のバーコードの読み取りから精算までを行うPOS(Point Of Sale)レジシステムである。たとえば、セルフレジを導入することで、人件費の抑制、店員による精算ミスを防止することができる。
一方、セルフレジでは、バーコードの読み取りを行わない等のユーザの不正を検出することが求められる。この課題に対して、たとえば、カメラの画像データを解析して、店舗内の人物を追跡し、追跡中の人物が商品を手に取ったり、移動させたりするタイミングを特定する従来技術がある。かかる従来技術を用いることで、ユーザが、バーコードの読み取り動作を行ったか否かを自動的に判定することが可能となる。
図17は、従来技術を説明するための図である。図17に示す例では、画像データ10が入力されると、セルフレジの領域10aを検出し、セルフレジのスキャン領域10bを検出する。従来技術では、ユーザの把持した商品の領域10cを検出し、検出した商品の領域10cがスキャン領域10bに入った場合に、ユーザがバーコードの読み取り動作を行ったと判定する。
特開2020-53019号公報
しかしながら、上述した従来技術では、商品の会計漏れを検出することができないという問題がある。
図17において、購入対象の商品を、セルフレジのスキャン領域10bに移動させたものの、バーコードの読み取りの失敗に気づかないユーザや、スキャン領域10bにおいて、バーコードを読み込ませるふりをするユーザが存在する。たとえば、ユーザが、バーコードをスキャン領域10bに移動させた後、バーコードを読み込ませるふりをした場合、従来技術では、バーコードの読み取り動作を行ったと判定してしまう。
1つの側面では、本発明は、商品の会計漏れを検出することができる通知プログラム、通知方法および情報処理装置を提供することを目的とする。
第1の案では、コンピュータに次の処理を実行させる。コンピュータは、会計機が商品のコードを読み込むことで生成された商品情報を取得する。コンピュータは、取得した商品情報に基づいて、商品の購入数を示す第一の回数を計数する。コンピュータは、会計機の前のユーザを撮影した画像から、ユーザが会計機に商品を登録する動作を特定する。コンピュータは、動作を行った回数を示す第二の回数を計数する。コンピュータは、第一の回数と、第二の回数とを基にして、アラートを通知する。
商品の会計漏れを検出することができる。
図1は、本実施例に係るシステムの一例を示す図である。 図2は、本実施例に係る情報処理装置の構成を示す機能ブロック図である。 図3は、商品情報のデータ構造の一例を示す図である。 図4は、モデル情報を説明するための図である。 図5は、データテーブルのデータ構造の一例を示す図である。 図6は、判定テーブルのデータ構造の一例を示す図である。 図7は、追跡部の処理を説明するための図である。 図8は、計数部の処理を説明するための図である。 図9は、追跡処理の処理手順を示すフローチャート(1)である。 図10は、追跡処理の処理手順を示すフローチャート(2)である。 図11は、本実施例に係る情報処理装置の処理手順を示すフローチャートである。 図12は、登録動作回数計数処理の処理手順を示すフローチャートである。 図13は、その他の処理(1)を説明するための図である。 図14は、その他の処理(2)を説明するための図である。 図15は、実施例の情報処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。 図16は、セルフレジのハードウェア構成例を説明する図である。 図17は、従来技術を説明するための図である。
以下に、本願の開示する通知プログラム、通知方法および情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
図1は、本実施例に係るシステムの一例を示す図である。図1に示すように、このシステム5は、カメラ30と、セルフレジ50と、管理者端末60と、情報処理装置100とを有する。
情報処理装置100は、カメラ30およびセルフレジ50に接続される。情報処理装置100は、ネットワーク3を介して、管理者端末60に接続される。カメラ30およびセルフレジ50は、ネットワーク3を介して、情報処理装置100に接続されてもよい。
カメラ30は、セルフレジ50を含む領域の映像を撮影するカメラである。カメラ30は、映像のデータを、情報処理装置100に送信する。以下の説明では、映像のデータを「映像データ」と表記する。
映像データには、時系列の複数の画像フレームが含まれる。各画像フレームには、時系列の昇順に、フレーム番号が付与される。1つの画像フレームは、カメラ30があるタイミングで撮影した静止画像である。
セルフレジ50は、商品を購入するユーザ2が、商品のバーコードの読み取りから精算までを行うPOSレジシステムである。たとえば、ユーザ2が、購入対象の商品を、セルフレジ50のスキャン領域に移動させると、セルフレジ50は、商品のバーコードをスキャンする。
ユーザ2は、上記の動作を繰り返し実行し、商品のスキャンが完了すると、セルフレジ50のタッチパネル等を操作し、精算要求を行う。セルフレジ50は、精算要求を受け付けると、購入対象の商品の数、購入金額等を提示し、精算処理を実行する。セルフレジ50は、ユーザ2がスキャンを開始してから、精算要求を行うまでの間にスキャンした商品の情報を、記憶部に格納しておき、商品情報として、情報処理装置100に送信する。
管理者端末60は、店舗の管理者が利用する端末装置である。管理者端末60は、情報処理装置100から、アラートの通知等を受け付ける。
情報処理装置100は、カメラ30から取得した映像データから特定されるユーザ2が商品をセルフレジ50に登録する動作を行った回数と、商品情報から特定される商品の購入数とを基にして、アラートを管理者端末60に通知する装置である。以下の説明では、ユーザ2が、商品をセルフレジ50に登録する動作を行った回数を「登録動作回数」と表記する。
たとえば、登録動作回数と、購入数とが異なる場合には、商品の会計漏れが発生しているといえる。このため、情報処理装置100が、登録動作回数と、購入数とを基にして、アラートを通知することで、商品の会計漏れを検出することができる。
次に、図1に示した情報処理装置100の構成の一例について説明する。図2は、本実施例に係る情報処理装置の構成を示す機能ブロック図である。図2に示すように、情報処理装置100は、通信部110、入力部120、表示部130、記憶部140、制御部150を有する。
通信部110は、カメラ30、セルフレジ50、管理者端末60等の間で、データ通信を実行する。たとえば、通信部110は、カメラ30から映像データを受信する。通信部110は、セルフレジ50から商品情報を受信する。
入力部120は、各種の情報を、情報処理装置100に入力する入力装置である。入力部120は、キーボードやマウス、タッチパネル等に対応する。
表示部130は、制御部150から出力される情報を表示する表示装置である。表示部130は、液晶ディスプレイ、有機EL(Electro Luminescence)ディスプレイ、タッチパネル等に対応する。
記憶部140は、映像バッファ141、商品情報142、モデル情報143、データテーブル144、判定テーブル145、登録動作回数情報146を有する。記憶部140は、たとえば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。
映像バッファ141は、カメラ30に撮影された映像データを格納する。映像データには、時系列の複数の画像フレームが含まれる。
商品情報142は、セルフレジ50から取得する情報であって、ユーザ2がスキャンを開始してから、精算要求を行うまでの間にスキャンした商品の情報を有する。図3は、商品情報のデータ構造の一例を示す図である。図3に示すように、商品情報142は、日時情報と、商品識別情報とを対応付ける。
日時情報は、セルフレジ50が商品のバーコードを読み取った日時を示す。商品識別情報は、商品を一意に識別する情報である。たとえば、図3の1行目では、日時「2021年9月10日10時13分30秒」において、商品識別情報「item101」の商品のバーコードをスキャンした旨が示される。
モデル情報143は、画像フレームが入力された場合に、ユーザ(ヒト)と商品(モノ)との相互作用に関する情報を出力するNN(Neural Network)である。たとえば、モデル情報143は、HOID(Human Object Interaction Detection)に対応する。
図4は、モデル情報を説明するための図である。図4に示すように、画像フレーム31をモデル情報143に入力することで、検出情報32が出力される。検出情報32には、ユーザ領域情報32a、商品領域情報32b、相互作用情報32cが含まれる。
ユーザ領域情報32aは、画像フレーム31に含まれるユーザの領域を座標(左上のx、y座標、右下のx、y座標)によって示す。商品領域情報32bは、画像フレーム31に含まれる商品の領域を座標(左上のx、y座標、右下のx、y座標)によって示す。また、商品領域情報32bには、商品固有のクラス名が含まれる。
相互作用情報32cは、画像フレーム31から検出されたユーザと商品との相互作用の確率値と、相互作用のクラス名とが含まれる。相互作用のクラス名は「把持(ユーザが商品を把持)」等のクラス名が設定される。
本実施例に係るモデル情報143は、ユーザと商品との間に相互作用が存在する場合にのみ、検出情報32を出力する。たとえば、ユーザが商品を把持している状態の画像フレームをモデル情報143に入力すると、検出情報32が出力される。一方、ユーザが商品を把持していない状態の画像フレームをモデル情報143に入力すると、検出情報32が出力されない。
データテーブル144は、各画像フレームから検出される商品を追跡する場合に利用するデータテーブルである。図5は、データテーブルのデータ構造の一例を示す図である。図5に示すように、データテーブル144は、検出結果テーブル144a、追跡中物体テーブル144b、追跡休止物体テーブル144cを有する。
検出結果テーブル144aは、モデル情報143から出力される商品領域の座標を保持するテーブルである。以下の説明では、商品領域の座標を「商品領域座標」と表記する。商品領域座標を[第1要素、第2要素、第3要素、第4要素]によって示す。第1要素は、商品領域の左上x座標を示す。第2要素は、商品領域の左上y座標を示す。第3要素は、商品領域の右下x座標を示す。第4要素は、商品領域の右下y座標を示す。
追跡中物体テーブル144bは、追跡中の商品に関する情報を保持するテーブルである。追跡中物体テーブル144bは、ID(identification)と、商品領域座標と、ロストカウントと、ステイカウントとを有する。IDは、商品領域座標に付与される識別情報である。商品領域座標は、商品領域の座標を示す。
ロストカウントは、商品領域座標に対応する商品が検出されない状態となった場合にカウントされる画像フレームの数を示す。ステイカウントは、商品領域座標に対応する商品が動いていない状態となった場合にカウントされる画像フレームの数を示す。
追跡休止物体テーブル144cは、追跡を休止している商品に関する情報を保持するテーブルである。追跡休止物体テーブル144cは、IDと、商品領域座標と、フラグとを有する。IDは、商品領域座標に付与される識別情報である。商品領域座標は、商品領域の座標を示す。
フラグは、追跡休止物体テーブル144cのIDおよび商品領域座標を、追跡中物体テーブル144bに戻すか否かを示す情報である。フラグが「true」に設定されている場合には、該当レコードのIDおよび商品領域座標を、追跡中物体テーブル144bに戻すことを示す。フラグが「false」に設定されている場合には、該当レコードのIDおよび商品領域座標を、追跡中物体テーブル144bに戻さないこと示す。
図5の説明に戻る。判定テーブル145は、登録動作回数をカウントする場合に用いるテーブルである。本実施例では、画像フレームから特定される商品領域座標が、予め設定されるスキャン領域の外部から、スキャン領域の内部に移動した場合に、登録動作回数に1を加算する。情報処理装置100は、判定テーブル145を用いることで、同一の商品がスキャン領域に対して複数回出入りしても、登録動作回数に加算される回数が1回となるようにすることが可能となる。
図6は、判定テーブルのデータ構造の一例を示す図である。図6に示すように、この判定テーブル145は、IDと、前フレーム位置と、カウント済みフラグとを対応付ける。IDは、商品領域座標に付与される識別情報である。前フレーム位置は、前回の画像フレームから検出された商品領域座標が、スキャン領域の外部であるか内部であるのかを識別する情報である。
ここで、該当するIDの商品領域座標であって、前回の画像フレームから検出された商品領域座標が、スキャン領域の外部となる場合には、前フレーム位置に「OUT」が設定される。前回の画像フレームから検出された商品領域座標が、スキャン領域の内部となる場合には、前フレーム位置に「IN」が設定される。カウント済みフラグは、該当するIDに関して、登録動作回数に1を加算する処理を行ったか否かを識別するフラグである。
本実施例では、カウント済みフラグの初期値に「false」が設定される。該当するIDの商品領域座標の前画像フレーム位置が「OUT」に設定されている状態で、現画像フレーム位置から検出された該当するIDの商品領域座標が「IN」となった場合に、登録動作回数に1が加算される。この場合に、カウント済みフラグが「false」から「true」に更新される。
登録動作回数情報146は、登録動作回数の情報を有する。
図2の説明に戻る。制御部150は、取得部151、追跡部152、計数部153、判定部154を有する。制御部150は、たとえば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)により実現される。また、制御部150は、例えばASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実行されてもよい。
取得部151は、カメラ30から映像データを取得し、取得した映像データを映像バッファ141に格納する。取得部151は、セルフレジ50から商品情報142を取得し、取得した商品情報142を、記憶部140に格納する。
追跡部152は、映像バッファ141に格納された映像データ(時系列の画像フレーム)を基にして、商品領域座標を追跡する。たとえば、追跡部152は、画像フレームを順にモデル情報143に入力して商品領域座標を特定し、データテーブル144を更新する処理を繰り返し実行する。以下において、追跡部152の処理の一例について説明する。
追跡部152は、映像バッファ141に格納された画像フレームを、モデル情報143に入力し、検出情報に含まれる商品領域座標を取得する。追跡部152は、商品領域座標を、検出結果テーブル144aに登録する。以下の説明では、検出結果テーブル144aの商品領域座標を「第1商品領域座標」と表記する。追跡中物体テーブル144bの商品領域座標を「第2商品領域座標」と表記する。追跡休止物体テーブル144cの商品領域座標を「第3商品領域座標」と表記する。
なお、追跡部152は、比較対象となる各商品領域座標の中心間の距離を基にして、「類似度」を算出する。類似度は、比較対象となる各商品領域座標の中心間の距離が短いほど、大きな値となる。中心間の距離と、類似度との関係は予め定義されているものとする。
追跡部152は、第1商品領域座標と、追跡休止物体テーブル144cの各第3商品領域座標とを比較して、類似度が閾値Th1以上となる第1商品領域座標と、第3商品領域座標との組が存在するか否かを判定する。閾値Th1の値は予め設定される。
追跡部152は、類似度が閾値Th1以上となる第1商品領域座標と、第3商品領域座標との組が存在する場合には、追跡休止物体テーブル144cにおいて次の処理を実行する。追跡部152は、第1商品領域座標との類似度が閾値Th1以上となる第3商品領域座標を有するエントリのフラグを「true」に設定する。また、追跡部152は、第3商品領域座標との類似度が閾値Th1以上となる第1商品領域座標を有するエントリを、検出結果テーブル144aから削除する。
追跡部152は、第1商品領域座標と、追跡中物体テーブル144bの各第2商品領域座標とを比較して、第1商品領域座標と第2商品領域座標との類似度の最大値を特定する。追跡部152は、類似度の最大値が、閾値Th3以上の場合には、「該当する商品が動いていない」と判定する。追跡部152は、類似度の最大値が、閾値Th3未満、閾値Th2以上の場合には、「該当する商品を追跡可能」と判定する。追跡部152は、閾値Th2未満の場合には、「該当する商品を追跡不可」と判定する。閾値Th2、Th3の値は予め設定される。ただし、閾値Th3の値は、閾値Th2の値よりも大きいものとする。
図7は、追跡部の処理を説明するための図である。図7のケース1Aにおいて、第1商品領域座標に特定される商品の領域を、商品領域20aとし、第2商品領域座標に特定される商品の領域を、商品領域21aとする。追跡部152は、商品領域20aと、商品領域21aとの距離が距離lA未満の場合(距離に基づく類似度が、閾値Th3以上の場合)、「該当する商品が動いていない」と判定する。
追跡部152は、「該当する商品が動いていない」と判定した場合、追跡中物体テーブル144bの商品領域21a(第2商品領域座標)に対応するエントリにおいて、ステイカウントに1を加算する。
図7のケース1Bにおいて、第1商品領域座標に特定される商品の領域を、商品領域20bとし、第2商品領域座標に特定される商品の領域を、商品領域21bとする。追跡部152は、商品領域20bと、商品領域21bとの距離が距離1A以上、lB未満の場合(距離に基づく類似度が、閾値Th3未満、閾値Th2以上の場合)「該当する商品を追跡可能」と判定する。
追跡部152は、「該当する商品を追跡可能」と判定した場合、追跡中物体テーブル144bの商品領域21b(第2商品領域座標)に対応するエントリにおいて、第2商品領域座標を、第1商品領域座標に更新する。追跡部152は、追跡中物体テーブル144bの商品領域21b(第2商品領域座標)に対応するエントリにおいて、ステイカウントを0に設定する。
図7のケース1Cにおいて、第1商品領域座標に特定される商品の領域を、商品領域20cとし、第2商品領域座標に特定される商品の領域を、商品領域21cとする。追跡部152は、商品領域20cと、商品領域21cとの距離が距離lB以上の場合(距離に基づく類似度が、閾値Th2未満の場合)「該当する商品を追跡不可」と判定する。
追跡部152は、「該当する商品を追跡不可」と判定した場合、追跡中物体テーブル144bに、商品領域20cに対応する第1商品領域座標の新規のエントリを登録する。追跡部152は、新規のエントリを登録する場合、新規のIDを割り当て、ステイカウントを0、ロストカウントを0に設定する。
ここで、追跡部152は、追跡中物体テーブル144bの各エントリのうち、第1商品領域座標との類似度が閾値Th2以上とならない第2商品領域座標を有するエントリについては、ロストカウントに1を加算する。
追跡部152は、追跡中物体テーブル144bの各エントリのうち、ロストカウンタが閾値Th4を超えたエントリを抽出する。追跡部152は、抽出したエントリのうち、ステイカウンタの値が閾値Th5以上となるエントリについては、該当するエントリ(ID、第2商品領域座標)を、追跡休止物体テーブル144cに移動し、フラグを「false」に設定する。
追跡部152は、抽出したエントリのうち、ステイカウンタの値が閾値Th5未満となるエントリについては、該当するエントリを削除する。
追跡部152は、追跡休止物体テーブル144cの各エントリのうち、フラグが「true」となるエントリを、追跡中物体テーブル144bに移動させて、ステイカウンタを0に設定する。
追跡部152は、検出結果テーブル144aに新たなエントリが登録される度に、上記処理を繰り返し実行し、追跡中物体テーブル144b、追跡休止物体テーブル144cを更新する。
図2の説明に戻る。計数部153は、データテーブル144の追跡中物体テーブル144bを基にして、ユーザがセルフレジ50で商品を登録する動作を特定し、動作を行った登録動作回数を計数する。計数部153は、登録動作回数を、登録動作回数情報146として、記憶部140に登録する。以下において、計数部153の処理の一例について説明する。
図8は、計数部の処理を説明するための図である。図8のステップS1について説明する。計数部153は、予め、スキャン領域10bの座標を保持しているものとする。計数部153は、追跡中物体テーブル144bを参照し、新規のIDのエントリが追加されると、新規のIDと同一のIDを設定したエントリを、判定テーブル145に追加する。計数部153は、判定テーブル145にエントリを追加する場合に、カウント済みフラグを「false」に設定する。以下の説明では、説明の便宜上、判定テーブル145に追加したIDを、ID「1」として説明を行う。商品の領域10cに対応する第2商品領域座標に付与されたIDをID「1」とする。
計数部153は、追跡中物体テーブル144bのID「1」のエントリの第2商品領域座標と、スキャン領域10bとを比較する。計数部153は、第2商品領域座標が、スキャン領域10bに含まれない場合には、判定テーブル145に追加するID「1」のエントリの前フレーム位置を「OUT」に設定する。計数部153は、第2商品領域座標が、スキャン領域10bに含まれる場合には、判定テーブル145に追加するID「1」のエントリの前フレーム位置を「IN」に設定する。図8のステップS1に示す例では、第2商品領域座標に対応する商品の領域10cが、スキャン領域10bに含まれていないため、判定テーブル145に追加するID「1」のエントリの前フレーム位置を「OUT」に設定する。
図8のステップS2の説明に移行する。計数部153は、追跡中物体テーブル144bを監視し、追跡中物体テーブル144bが更新される度に、ID「1」に対応する第2商品領域座標と、スキャン領域10bとを比較する。計数部153は、ID「1」に対応する第2商品領域座標(商品の領域10c)が、スキャン領域10bに含まれる領域に移動した際に、判定テーブル145のID「1」のエントリを参照し、前フレーム位置と、カウント済みフラグとを参照する。
計数部153は、判定テーブル145のID「1」のエントリについて、前フレーム位置が「OUT」、カウント済みフラグが「false」の場合には、登録動作回数に1を加算する。また、計数部153は、登録動作回数に1を加算した後に、前フレーム位置を「IN」に更新し、カウント済みフラグを「true」に更新する。
一方、計数部153は、前フレーム位置が「IN」となる場合、または、カウント済みフラグが「true」となる場合には、登録動作回数に1を加算する処理をスキップする。
計数部153は、追跡中物体テーブル144bに新規のIDのエントリが追加される度に、上記処理を繰り返し実行する。計数部153は、追跡中物体テーブル144bに追加されたエントリのIDと同一のIDが、判定テーブル145に登録されたエントリのIDと同一の場合、新規のIDに対応するエントリを、判定テーブル145に登録する処理をスキップする。
判定部154は、商品情報142と、登録動作回数情報146とを基にして、アラートを管理者端末60に通知する。以下において、判定部154の処理の一例について説明する。
判定部154は、商品情報142を取得し、購入数を特定する。たとえば、判定部154は、商品情報142の日時情報の異なるレコードの数を、購入数として特定する。
判定部154は、購入数と、登録動作回数情報146の登録動作回数とが異なる場合には、アラートを管理者端末60に送信する。たとえば、判定部154は、購入数が、登録動作回数よりも少ない場合には、会計漏れの恐れがあるため、購入数が、登録動作回数よりも少ない場合には、会計漏れを検出した旨のアラートを、管理者端末60に通知する。
一方、判定部154は、購入数と、登録動作回数情報146の登録動作回数とが一致する場合には、アラートを通知する処理をスキップする。
次に、本実施例に係る情報処理装置100の追跡部152が実行する追跡処理の一例について説明する。図9および図10は、追跡処理の処理手順を示すフローチャートである。図9に示すように、情報処理装置100の追跡部152は、追跡中物体テーブル144b、追跡休止物体テーブル144cを初期化する(ステップS101)。
追跡部152は、映像バッファ141から画像フレームを取得し、モデル情報143に入力することで、検出情報を取得する(ステップS102)。追跡部152は、検出情報に含まれる第1商品領域座標を、検出結果テーブル144aに登録する(ステップS103)。
追跡部152は、第1商品領域座標と、追跡休止物体テーブル144cの第3商品領域座標との類似度が閾値Th1となるエントリが存在する否かを判定する(ステップS104)。追跡部152は、エントリが存在する場合には(ステップS105,Yes)、ステップS106に移行する。一方、追跡部152は、エントリが存在しない場合には(ステップS105,No)、ステップS108に移行する。
追跡部152は、追跡休止物体テーブル144cの該当エントリのフラグを「true」に設定する(ステップS106)。追跡部152は、検出結果テーブル144aから該当エントリを削除する(ステップS107)。
追跡部152は、第1商品領域座標と、追跡中物体テーブル144bの第2商品領域座標との類似度が、閾値Th2以上となるエントリが存在するか否かを判定する(ステップS108)。追跡部152は、エントリが存在する場合には(ステップS109,Yes)、ステップS110に移行する。一方、追跡部152は、エントリが存在しない場合には(ステップS109,No)、図10のステップS115に移行する。
追跡部152は、追跡中物体テーブル144bの該当エントリの第2商品領域座標を、第1商品領域座標に更新する(ステップS110)。追跡部152は、第1商品領域座標と、追跡中物体テーブル144bの第2商品領域座標との類似度が、閾値Th3以上となるエントリが存在するか否かを判定する(ステップS111)。
追跡部152は、エントリが存在する場合には(ステップS112,Yes)、追跡中物体テーブル144bの該当エントリのステイカウントに1を加算し(ステップS113)、図10のステップS115に移行する。
一方、追跡部152は、エントリが存在しない場合には(ステップS112,No)、追跡中物体テーブル144bの該当エントリのステイカウントを0に更新し(ステップS114)、図10のステップS115に移行する。
図10の説明に移行する。追跡部152は、第2商品領域座標との類似度が、閾値Th2未満となる第1商品領域情報に新規のIDを割り当てたエントリを、追跡中物体テーブル144bに追加する(ステップS115)。追跡部152は、追跡中物体テーブル144bに追加したエントリのステイカウントを0に設定する(ステップS116)。
追跡部152は、追跡中物体テーブル144bのエントリのうち、第1商品領域座標との類似度が閾値Th2未満となる第2商品領域座標を有するエントリのロストカウントに1を加算する(ステップS117)。
追跡部152は、追跡中物体テーブル144bのエントリのうち、ステイカウンタの値が閾値Th5以上となるエントリが存在するか否かを判定する(ステップS118)。追跡部152は、エントリが存在する場合には(ステップS119,Yes)、ステップS121に移行する。一方、追跡部152は、エントリが存在しない場合には(ステップS119,No)、ステップS121に移行する。
追跡部152は、ステイカウンタの値が閾値Th5以上となるエントリを、追跡休止物体テーブル144cに移動させ、フラグを「false」に設定する(ステップS120)。追跡部152は、追跡休止物体テーブル144cのフラグが「true」となるエントリを、追跡中物体テーブル144bへ移動させ、ステイカウントを0に設定する(ステップS122)。なお、追跡部152は、ステイカウンタの値が閾値Th5以上となるエントリを削除し(ステップS121)、ステップS122に移行する。
追跡部152は、処理を継続する場合には(ステップS123,Yes)、図9のステップS102に移行する。一方、追跡部152は、処理を継続しない場合には(ステップS123,No)、処理を終了する。
次に、本実施例に係る情報処理装置の処理手順について説明する。図11は、本実施例に係る情報処理装置の処理手順を示すフローチャートである。図11に示すように、情報処理装置100の取得部151は、セルフレジ50から商品情報142を取得し、記憶部140に格納する(ステップS201)。
情報処理装置100の計数部153は、商品情報を基にして、購入数を計数する(ステップS202)。計数部153は、登録動作回数計数処理を実行する(ステップS203)。
情報処理装置100の判定部154は、購入数と登録動作回数とが一致するか否かを判定する(ステップS204)。判定部154は、購入数と登録動作回数とが一致する場合には(ステップS205,Yes)、処理を終了する。
一方、判定部154は、購入数と登録動作回数とが一致しない場合には(ステップS205,No)、アラートを管理者端末60に通知する(ステップS206)。
次に、図11のステップS203で説明した登録動作回数計数処理の処理手順の一例について説明する。図12は、登録動作回数計数処理の処理手順を示すフローチャートである。図12に示すように、情報処理装置100の計数部153は、追跡中物体テーブル144bの監視を開始する(ステップS301)。
計数部153は、追跡中物体テーブル144bに新規IDのエントリが追加された場合には(ステップS302,Yes)、ステップS303に移行する。計数部153は、追跡中物体テーブル144bに新規IDのエントリが追加されていない場合には(ステップS302,No)、ステップS305に移行する。
計数部153は、新規IDのエントリの第2商品領域座標とスキャン領域とを基にして、前フレーム位置を特定する(ステップS303)。計数部153は、新規ID、前フレーム位置、カウント済みフラグ「false」を設定したエントリを判定テーブル145に追加する(ステップS304)。
計数部153は、判定テーブル145の各エントリのIDに対応する第2商品領域座標と、スキャン領域とを基にして、現フレーム位置を特定する(ステップS305)。計数部153は、判定テーブル145の未選択のエントリを選択する(ステップS306)。
計数部153は、選択したエントリの前フレーム位置が「OUT」、かつ、カウント済みフラグが「false」となり、IDに対応する選択したエントリのIDに対応する現フレーム位置が「IN」となる条件を満たすか否かを判定する(ステップS307)。
計数部153は、条件を満たす場合には(ステップS308,Yes)、ステップS309に移行する。計数部153は、条件を満たさない場合には(ステップS308,No)、ステップS311に移行する。
計数部153は、登録動作回数に1を加算する(ステップS309)。計数部153は、選択したエントリの前フレーム位置を「IN」、カウント済みフラグを「true」に更新する(ステップS310)。
計数部153は、判定テーブル145のエントリを全て選択していない場合には(ステップS311,No)、ステップS306に移行する。計数部153は、判定テーブル145のエントリを全て選択した場合には(ステップS311,Yes)、ステップS312に移行する。
計数部153は、処理を継続する場合には(ステップS312,Yes)、ステップS302に移行する。計数部153は、処理を継続しない場合には(ステップS312,No)、登録動作回数計数処理を終了する。
次に、本実施例に係る情報処理装置100の効果について説明する。情報処理装置100は、セルフレジ50から取得する商品情報142から特定される購入数と、商品の領域とスキャン領域とを比較して計数される登録動作回数とを基にして、アラートを通知する。たとえば、登録動作回数と、購入数とが異なる場合には、商品の会計漏れが発生しているといえ、情報処理装置100が、登録動作回数と、購入数とを基にして、アラートを通知することで、商品の会計漏れを検出することができる。
ところで、上述した実施例の処理内容は一例であり、情報処理装置100は他の処理を更に実行してもよい。以下の説明では、情報処理装置100が実行するその他の処理について説明する。
情報処理装置100が実行するその他の処理(1)について説明する。情報処理装置100の計数部153は、予め設定されたスキャン領域を用いて、処理を実行していたがこれに限定されるものではない。計数部153は、映像バッファ141に登録された画像フレームを解析し、買い物カゴが配置される第一のエリアと、スキャン領域に対応する第二のエリアとを特定し、特定した第二のエリアを用いて、登録動作回数を計数してもよい。
図13は、その他の処理(1)を説明するための図である。図13に示す例では、画像フレーム40から、第一のエリア40aと、第二のエリア40bとが特定されている。計数部153は、パターンマッチ等の従来技術を用いて、第一のエリア40a、第二のエリア40bを特定してもよいし、機械学習済みの機械学習モデルを用いて、第一のエリア40a、第二のエリア40bを特定してもよい。たとえば、かかる機械学習モデルは、画像フレームを入力とし、第一のエリア、第二のエリアの座標を正解データとする教師データを用いて機械学習を実行したモデルである。
計数部153が処理を実行している最中にセルフレジ50が移動した場合や、カメラ30の位置が変更された場合には、予め設定されたスキャン領域を用いて、処理を実行すると、登録動作回数を精度よく計数することができない。これに対して、映像バッファ141に登録された画像フレームを解析し、スキャン領域に対応する第二のエリアを特定することで、スキャン領域を正確に特定でき、登録動作回数を精度よく計数することができる。
情報処理装置100が実行するその他の処理(2)について説明する。上記の情報処理装置100では、セルフレジ50から取得する商品情報142を基にして、購入数を計数していたが、これに限定されるものではない。セルフレジ50では、精算処理を実行する場合に、表示画面に商品の購入数を表示する。このため、情報処理装置100は、カメラ30(あるいは、他のカメラ)が撮影した表示画面の画像フレームに対して画像解析を実行することで、購入数を特定してもよい。
図14は、その他の処理(2)を説明するための図である。図14の画像フレーム41は、セルフレジ50の表示画面に対応する。画像フレーム41の領域41aには、商品の購入数を示す領域41aが含まれる。計数部153は、領域41aを画像解析することで、購入数を特定する。
上記のように、計数部153が、セルフレジ50の表示画面の画像フレームを解析して商品の購入数を特定することで、情報処理装置100は、セルフレジ50に接続していなくても、登録動作回数と、購入数とを比較してアラートを通知できる。
次に、上記実施例に示した情報処理装置100と同様の機能を実現するコンピュータのハードウェア構成の一例について説明する。図15は、実施例の情報処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。なお、本実施例では、バーコードを用いて説明を行ったが、QR(Quick Response)コード等であってもよい。
図15に示すように、コンピュータ200は、各種演算処理を実行するCPU201と、ユーザからのデータの入力を受け付ける入力装置202と、ディスプレイ203とを有する。また、コンピュータ200は、有線または無線ネットワークを介して、カメラ30、外部装置等との間でデータの授受を行う通信装置204と、インタフェース装置205とを有する。また、コンピュータ200は、各種情報を一時記憶するRAM206と、ハードディスク装置207とを有する。そして、各装置201~207は、バス208に接続される。
ハードディスク装置207は、取得プログラム207a、追跡プログラム207b、計数プログラム207c、判定プログラム207dを有する。また、CPU201は、各プログラム207a~207dを読み出してRAM206に展開する。
取得プログラム207aは、取得プロセス206aとして機能する。追跡プログラム207bは、追跡プロセス206bとして機能する。計数プログラム207cは、計数プロセス206cとして機能する。判定プログラム207dは、判定プロセス206dとして機能する。
取得プロセス206aの処理は、取得部151の処理に対応する。追跡プロセス206bの処理は、追跡部152の処理に対応する。計数プロセス206cの処理は、計数部153の処理に対応する。判定プロセス206dの処理は、判定部154の処理に対応する。
なお、各プログラム207a~207dについては、必ずしも最初からハードディスク装置207に記憶させておかなくても良い。例えば、コンピュータ200に挿入されるフレキシブルディスク(FD)、CD-ROM、DVD、光磁気ディスク、ICカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ200が各プログラム207a~207dを読み出して実行するようにしてもよい。
図16は、セルフレジ50のハードウェア構成例を説明する図である。図16に示すように、セルフレジ50は、通信インタフェース400a、HDD400b、メモリ400c、プロセッサ400d、入力部400e、出力部400fを有する。また、図17に示した各部は、バスなどで相互に接続される。
通信インタフェース400aは、ネットワークインタフェースカードなどであり、他の情報処理装置との通信を行う。HDD400bは、セルフレジ50の各機能を動作させるプログラムやデータを記憶する。
プロセッサ400dは、セルフレジ50の各機能の処理を実行するプログラムをHDD400bなどから読み出してメモリ400cに展開することで、セルフレジ50の各機能を実行するプロセスを動作させるハードウェア回路である。すなわち、このプロセスは、セルフレジ50が有する各処理部と同様の機能を実行する。
このように、セルフレジ50は、セルフレジ50の各機能の処理を実行するプログラムを読み出して実行することで動作制御処理を実行する情報処理装置として動作する。また、セルフレジ50は、媒体読取装置によって記録媒体からプログラムを読み出し、読み出されたプログラムを実行することでセルフレジ50の各機能を実現することもできる。なお、この他の実施例でいうプログラムは、セルフレジ50によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本実施形態が同様に適用されてよい。
また、セルフレジ50の各機能の処理を実行するプログラムは、インターネットなどのネットワークを介して配布できる。また、このプログラムは、ハードディスク、FD、CD-ROM、MO、DVDなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行できる。
入力装置400eは、プロセッサ400dによって実行されるプログラムに対する入力操作など、ユーザによる各種入力操作を検知する。当該入力操作には、例えば、タッチ操作などが含まれる。タッチ操作の場合、セルフレジ50はさらに表示部を備え、入力装置400eによって検知される入力操作は、当該表示部に対するタッチ操作であってよい。入力装置400eは、例えば、ボタン、タッチパネル、近接センサなどであってよい。また、入力装置400eは、バーコードの読み取りをする。入力装置400eは、例えば、バーコードリーダである。バーコードリーダは、光源と光センサを持ち、バーコードをスキャンする。
出力装置400fは、プロセッサ400dによって実行されるプログラムから出力されるデータをセルフレジ50に接続された外部装置、例えば、外部ディスプレイ装置などを介して出力する。なお、セルフレジ50が表示部を備える場合、セルフレジ50は出力装置400fを備えなくてもよい。
以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。
(付記1)会計機が商品のコードを読み込むことで生成された商品情報を取得し、
取得した前記商品情報に基づいて、商品の購入数を示す第一の回数を計数し、
前記会計機の前のユーザを撮影した画像から、前記ユーザが前記会計機に商品を登録する動作を特定し、
前記動作を行った回数を示す第二の回数を計数し、
前記第一の回数と、前記第二の回数とを基にして、アラートを通知する
処理をコンピュータに実行させることを特徴とする通知プログラム。
(付記2)ユーザが前記商品の会計をするエリアが撮影された画像の中から、前記会計機に隣接するカゴが配置される第一のエリアと、ユーザの把持した前記商品のコードを前記会計機が読み込む第二のエリアとを特定し、前記動作を特定する処理は、前記第二のエリアにおいて、ユーザが前記会計機に前記商品を登録する動作を識別することを特徴とする付記1に記載の通知プログラム。
(付記3)前記通知する処理は、前記第一の回数と、前記第二の回数との差分に基づいて、ユーザが商品未払いであることをアラートで通知することを特徴とする付記1または2に記載の通知プログラム。
(付記4)前記商品情報を取得する処理は、前記会計機が前記商品のコードを読み込むことで前記会計機の記憶部に保存される前記商品情報を取得することを特徴とする付記1に記載の通知プログラム。
(付記5)前記商品情報を取得する処理は、前記会計機が前記商品のコードを読み込むことで前記会計機の表示画面に表示される画像情報を基にして、前記商品情報を取得することを特徴とする付記1に記載の通知プログラム。
(付記6)会計機が商品のコードを読み込むことで生成された商品情報を取得し、
取得した前記商品情報に基づいて、商品の購入数を示す第一の回数を計数し、
前記会計機の前のユーザを撮影した画像から、前記ユーザが前記会計機に商品を登録する動作を特定し
前記動作を行った回数を示す第二の回数を計数し、
前記第一の回数と、前記第二の回数とを基にして、アラートを通知する
処理をコンピュータが実行することを特徴とする通知方法。
(付記7)ユーザが前記商品の会計をするエリアが撮影された画像の中から、前記会計機に隣接するカゴが配置される第一のエリアと、ユーザの把持した前記商品のコードを前記会計機が読み込む第二のエリアとを特定し、
前記動作を特定する処理は、前記第二のエリアにおいて、ユーザが前記会計機に前記商品を登録する動作を識別することを特徴とする付記6に記載の通知方法。
(付記8)前記通知する処理は、前記第一の回数と、前記第二の回数との差分に基づいて、ユーザが商品未払いであることをアラートで通知することを特徴とする付記6または7に記載の通知方法。
(付記9)前記商品情報を取得する処理は、前記会計機が前記商品のコードを読み込むことで前記会計機の記憶部に保存される前記商品情報を取得することを特徴とする付記6に記載の通知方法。
(付記10)前記商品情報を取得する処理は、前記会計機が前記商品のコードを読み込むことで前記会計機の表示画面に表示される画像情報を基にして、前記商品情報を取得することを特徴とする付記6に記載の通知方法。
(付記11)会計機が商品のコードを読み込むことで生成された商品情報を取得する取得部と、
取得した前記商品情報に基づいて、商品の購入数を示す第一の回数を計数し、前記会計機の前のユーザを撮影した画像から、前記ユーザが前記会計機に商品を登録する動作を特定し前記動作を行った回数を示す第二の回数を計数する計数部と、
前記第一の回数と、前記第二の回数とを基にして、アラートを通知する判定部と
を有することを特徴とする情報処理装置。
(付記12)前記計数部は、ユーザが前記商品の会計をするエリアが撮影された画像の中から、前記会計機に隣接するカゴが配置される第一のエリアと、ユーザの把持した前記商品のコードを前記会計機が読み込む第二のエリアとを更に特定し、前記第二のエリアにおいて、ユーザが前記会計機に前記商品を登録する動作を識別することを特徴とする付記11に記載の情報処理装置。
(付記13)前記判定部は、前記第一の回数と、前記第二の回数との差分に基づいて、ユーザが商品未払いであることをアラートで通知することを特徴とする付記11または12に記載の情報処理装置。
(付記14)前記取得部は、前記会計機が前記商品のコードを読み込むことで前記会計機の記憶部に保存される前記商品情報を取得することを特徴とする付記11に記載の情報処理装置。
(付記15)前記取得部は、前記会計機が前記商品のコードを読み込むことで前記会計機の表示画面に表示される画像情報を基にして、前記商品情報を取得することを特徴とする付記11に記載の情報処理装置。
30 カメラ
50 セルフレジ
60 管理者端末
100 情報処理装置
110 通信部
120 入力部
130 表示部
140 記憶部
141 映像バッファ
142 商品情報
143 モデル情報
144 データテーブル
145 判定テーブル
146 登録動作回数情報
150 制御部
151 取得部
152 追跡部
153 計数部
154 判定部

Claims (7)

  1. 会計機が商品のコードを読み込むことで生成された商品情報を取得し、
    取得した前記商品情報に基づいて、商品の購入数を示す第一の回数を計数し、
    前記会計機の前のユーザを撮影した画像から、前記ユーザが前記会計機に商品を登録する動作を特定し、
    前記動作を行った回数を示す第二の回数を計数し、
    前記第一の回数と、前記第二の回数とを基にして、アラートを通知する
    処理をコンピュータに実行させることを特徴とする通知プログラム。
  2. ユーザが前記商品の会計をするエリアが撮影された画像の中から、前記会計機に隣接するカゴが配置される第一のエリアと、ユーザの把持した前記商品のコードを前記会計機が読み込む第二のエリアとを特定し、
    前記動作を特定する処理は、前記第二のエリアにおいて、ユーザが前記会計機に前記商品を登録する動作を識別することを特徴とする請求項1に記載の通知プログラム。
  3. 前記通知する処理は、前記第一の回数と、前記第二の回数との差分に基づいて、ユーザが商品未払いであることをアラートで通知することを特徴とする請求項1または2に記載の通知プログラム。
  4. 前記商品情報を取得する処理は、前記会計機が前記商品のコードを読み込むことで前記会計機の記憶部に保存される前記商品情報を取得することを特徴とする請求項1に記載の通知プログラム。
  5. 前記商品情報を取得する処理は、前記会計機が前記商品のコードを読み込むことで前記会計機の表示画面に表示される画像情報を基にして、前記商品情報を取得することを特徴とする請求項1に記載の通知プログラム。
  6. 会計機が商品のコードを読み込むことで生成された商品情報を取得し、
    取得した前記商品情報に基づいて、商品の購入数を示す第一の回数を計数し、
    前記会計機の前のユーザを撮影した画像から、前記ユーザが前記会計機に商品を登録する動作を特定し
    前記動作を行った回数を示す第二の回数を計数し、
    前記第一の回数と、前記第二の回数とを基にして、アラートを通知する
    処理をコンピュータが実行することを特徴とする通知方法。
  7. 会計機が商品のコードを読み込むことで生成された商品情報を取得する取得部と、
    取得した前記商品情報に基づいて、商品の購入数を示す第一の回数を計数し、前記会計機の前のユーザを撮影した画像から、前記ユーザが前記会計機に商品を登録する動作を特定し前記動作を行った回数を示す第二の回数を計数する計数部と、
    前記第一の回数と、前記第二の回数とを基にして、アラートを通知する判定部と
    を有することを特徴とする情報処理装置。
JP2021160782A 2021-09-30 2021-09-30 通知プログラム、通知方法および情報処理装置 Pending JP2023050597A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021160782A JP2023050597A (ja) 2021-09-30 2021-09-30 通知プログラム、通知方法および情報処理装置
US17/853,926 US20230100920A1 (en) 2021-09-30 2022-06-30 Non-transitory computer-readable recording medium, notification method, and information processing device
KR1020220082340A KR20230046944A (ko) 2021-09-30 2022-07-05 기록 매체, 통지 방법 및 정보 처리 장치
EP22183034.2A EP4160501A1 (en) 2021-09-30 2022-07-05 Notification program, notification method, and information processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021160782A JP2023050597A (ja) 2021-09-30 2021-09-30 通知プログラム、通知方法および情報処理装置

Publications (1)

Publication Number Publication Date
JP2023050597A true JP2023050597A (ja) 2023-04-11

Family

ID=82547161

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021160782A Pending JP2023050597A (ja) 2021-09-30 2021-09-30 通知プログラム、通知方法および情報処理装置

Country Status (4)

Country Link
US (1) US20230100920A1 (ja)
EP (1) EP4160501A1 (ja)
JP (1) JP2023050597A (ja)
KR (1) KR20230046944A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240362438A1 (en) * 2023-04-27 2024-10-31 Zebra Technologies Corporation Indicia Tracking and Decoding Systems

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7631808B2 (en) * 2004-06-21 2009-12-15 Stoplift, Inc. Method and apparatus for detecting suspicious activity using video analysis
JP5235228B2 (ja) * 2010-08-23 2013-07-10 東芝テック株式会社 ラベル発行装置およびプログラム
CN105518734A (zh) * 2013-09-06 2016-04-20 日本电气株式会社 顾客行为分析系统、顾客行为分析方法、非暂时性计算机可读介质和货架系统
WO2016043102A1 (ja) * 2014-09-18 2016-03-24 日本電気株式会社 情報処理装置、情報処理システム、情報処理方法、及びプログラム
US9886827B2 (en) * 2016-04-25 2018-02-06 Bernd Schoner Registry verification for a mechanized store
US11482082B2 (en) * 2016-09-18 2022-10-25 Ncr Corporation Non-scan loss verification at self-checkout terminal
US10192136B2 (en) * 2016-10-20 2019-01-29 Toshiba Tec Kabushiki Kaisha Image processing apparatus and image processing method
JP2018116525A (ja) * 2017-01-19 2018-07-26 東芝テック株式会社 チェックアウト装置
JP6598321B1 (ja) * 2018-05-21 2019-10-30 Necプラットフォームズ株式会社 情報処理装置、制御方法、及びプログラム
US10282720B1 (en) * 2018-07-16 2019-05-07 Accel Robotics Corporation Camera-based authorization extension system
US10535146B1 (en) * 2018-07-16 2020-01-14 Accel Robotics Corporation Projected image item tracking system
JP6601890B1 (ja) * 2018-10-16 2019-11-06 Necプラットフォームズ株式会社 商品購入支援システム、商品購入支援装置及びpos端末装置
US11941604B2 (en) * 2018-12-17 2024-03-26 Hanwha Vision Co., Ltd. Automatic payment system
WO2020156108A1 (en) * 2019-01-28 2020-08-06 Shenzhen Malong Technologies Co., Ltd. System and methods for monitoring retail transactions
US20220414632A1 (en) * 2019-02-11 2022-12-29 Everseen Limited Operation of a self-check out surface area of a retail store
WO2020181066A1 (en) * 2019-03-06 2020-09-10 Trax Technology Solutions Pte Ltd. Methods and systems for monitoring products

Also Published As

Publication number Publication date
EP4160501A1 (en) 2023-04-05
US20230100920A1 (en) 2023-03-30
KR20230046944A (ko) 2023-04-06

Similar Documents

Publication Publication Date Title
US9299229B2 (en) Detecting primitive events at checkout
JP2004171240A (ja) 不正監視システムおよびプログラム
JP2015141572A (ja) 商品情報提供方法、商品情報提供装置および商品情報提供プログラム
US10372998B2 (en) Object recognition for bottom of basket detection
US20240193995A1 (en) Non-transitory computer-readable recording medium, information processing method, and information processing apparatus
EP4174808A1 (en) Action determination program, action determination method, and action determination device
JP2004171241A (ja) 不正監視システムおよびプログラム
CN114529850A (zh) 自助收银的风险识别方法、装置及系统
EP4160550A1 (en) Information processing program, information processing method, and information processing device
JP7318753B2 (ja) 情報処理プログラム、情報処理方法、および情報処理装置
JP2023050597A (ja) 通知プログラム、通知方法および情報処理装置
EP4383167A1 (en) Information processing program, information processing method, and information processing apparatus
KR20240101455A (ko) 정보 처리 프로그램, 정보 처리 방법 및 정보 처리 장치
EP4125020A1 (en) Information processing program, information processing method, and information processing apparatus
JP2023050632A (ja) 通知プログラム、通知方法および情報処理装置
EP4125056A1 (en) Information processing program, information processing method, and information processing device
EP4113458A1 (en) Information processing program, information processing method, and information processing apparatus
EP4125019A1 (en) Information processing program, information processing method, and information processing apparatus
US20230093938A1 (en) Non-transitory computer-readable recording medium, information processing method, and information processing apparatus
EP4383171A1 (en) Information processing program, information processing method, and information processing apparatus
KR20240085840A (ko) 정보 처리 프로그램, 정보 처리 방법 및 정보 처리 장치
JP2023131310A (ja) 店舗支援システム、店舗支援方法、及び店舗支援プログラム
JP2024085336A (ja) 情報処理プログラム、情報処理方法、および情報処理装置
JP2024008708A (ja) 判定プログラム、判定方法、および判定装置
JP2024137263A (ja) 物品識別システム、登録システム及び情報処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240611