JP2023131310A - 店舗支援システム、店舗支援方法、及び店舗支援プログラム - Google Patents

Abstract

【課題】セルフスキャンシステムの信頼性を向上させることが可能な店舗支援システム、店舗支援方法、及び店舗支援プログラムを提供する。【解決手段】店舗支援システム１０は、買物客が商品を買い物かごに投入する際に、当該商品を読み取る携帯端末２から商品ＩＤを取得する商品取得処理部１１２と、前記買物客が会計する際に、前記買い物かごを撮像するカメラ４から撮像画像を取得する画像取得処理部１１３と、商品取得処理部１１２により取得される前記商品ＩＤに基づいて算出される、携帯端末２が読み取った商品の合計数と、画像取得処理部１１３により取得される前記撮像画像に基づいて推定される、前記買い物かご内に含まれる商品の合計数とに基づいて、特定情報を報知させる報知処理部１１６と、を備える。【選択図】図１

Description

本発明は、店舗支援システム、店舗支援方法、及び店舗支援プログラムに関する。

スーパーマーケットなどの店舗において、買物客が買い物かごに投入した商品の会計を支援するシステムが知られている。例えば、特許文献１には、買い物かごから取り出された商品が精算機（会計端末）においてスキャンされたか否かを判定し、当該商品がスキャンされずに収納袋に収納されたことを検知した場合に警告を報知するシステムが開示されている。

特開２０１１－０５４０３８号公報

ところで、近年、店舗の省人化及び効率化を図るために、買物客が携帯端末で商品をスキャンして買い物かごに投入し、精算機において買物客が買い物かご内の商品の会計を行うシステム（セルフスキャンシステム）が導入されている。

前記セルフスキャンシステムの導入店舗では、例えば買物客が複数の商品のうち所定の商品について意図的にスキャンせずに会計を行う不正行為が行われる可能性がある。また例えば、携帯端末の読み取りエラーにより、正しく会計が行われない事態も生じ得る。このため、前記セルフスキャンシステムの信頼性が低下する問題が生じる。今後、前記セルフスキャンシステムの導入を拡大させるためには、前記セルフスキャンシステムの信頼性及び価値を高める必要がある。

本発明の目的は、セルフスキャンシステムの信頼性を向上させることが可能な店舗支援システム、店舗支援方法、及び店舗支援プログラムを提供することにある。

本発明の一の態様に係る店舗支援システムは、買物客が商品を買い物かごに投入する際に、当該商品を読み取る読取部から商品識別情報を取得する第１取得処理部と、前記買物客が会計する際に、前記買い物かごを撮像する撮像部から撮像画像を取得する第２取得処理部と、前記第１取得処理部により取得される前記商品識別情報に基づいて算出される、前記読取部が読み取った商品の合計数である合計読取数と、前記第２取得処理部により取得される前記撮像画像に基づいて推定される、前記買い物かご内に含まれる商品の合計数である合計推定数とに基づいて、特定情報を報知させる報知処理部と、を備える。

本発明の他の態様に係る店舗支援方法は、一又は複数のプロセッサーが、買物客が商品を買い物かごに投入する際に、当該商品を読み取る読取部から商品識別情報を取得する第１取得ステップと、前記買物客が会計する際に、前記買い物かごを撮像する撮像部から撮像画像を取得する第２取得ステップと、前記第１取得ステップにおいて取得される前記商品識別情報に基づいて算出される、前記読取部が読み取った商品の合計数である合計読取数と、前記第２取得ステップにおいて取得される前記撮像画像に基づいて推定される、前記買い物かご内に含まれる商品の合計数である合計推定数とに基づいて、特定情報を報知させる報知ステップと、を実行する店舗支援方法である。

本発明の他の態様に係る店舗支援プログラムは、買物客が商品を買い物かごに投入する際に、当該商品を読み取る読取部から商品識別情報を取得する第１取得ステップと、前記買物客が会計する際に、前記買い物かごを撮像する撮像部から撮像画像を取得する第２取得ステップと、前記第１取得ステップにおいて取得される前記商品識別情報に基づいて算出される、前記読取部が読み取った商品の合計数である合計読取数と、前記第２取得ステップにおいて取得される前記撮像画像に基づいて推定される、前記買い物かご内に含まれる商品の合計数である合計推定数とに基づいて、特定情報を報知させる報知ステップと、を一又は複数のプロセッサーに実行させるための店舗支援プログラムである。

本発明によれば、セルフスキャンシステムの信頼性を向上させることが可能な店舗支援システム、店舗支援方法、及び店舗支援プログラムを提供することができる。

図１は、本発明の実施形態に係る店舗支援システムの構成を示す機能ブロック図である。 図２は、本発明の実施形態に係る商品情報の一例を示す図である。 図３は、本発明の実施形態に係る読取商品情報の一例を示す図である。 図４は、本発明の実施形態に係る携帯端末に表示される読取画面の一例を示す図である。 図５は、本発明の実施形態に係る携帯端末に表示される操作画面の一例を示す図である。 図６は、本発明の実施形態に係る携帯端末に表示される操作画面の一例を示す図である。 図７は、本発明の実施形態に係る携帯端末に表示される操作画面の一例を示す図である。 図８は、本発明の実施形態に係る店舗支援処理の一例を示す図である。 図９は、本発明の実施形態に係る店舗支援システムにおいて実行される店舗支援処理の手順の一例を説明するためのフローチャートである。

以下添付図面を参照しながら、本発明の実施形態について説明し、本発明の理解に供する。なお、以下の実施形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定するものではない。

［店舗支援システム１０］
図１に示されるように、本発明の実施形態に係る店舗支援システム１０は、管理サーバー１と携帯端末２と会計端末３（精算機）とカメラ４とを含む。管理サーバー１、携帯端末２、会計端末３、及びカメラ４は、ＬＡＮ、インターネット、ＷＡＮ、又は公衆電話回線などの通信網Ｎ１を介して通信可能である。

店舗支援システム１０は、スーパーマーケットなどの店舗に導入される。本実施形態の店舗では、買物客が携帯端末２を使用して買い物を行う。例えば、買物客は、店舗から貸し出される携帯端末２又は自身の携帯端末２（スマートフォンなど）で購入対象の商品を順次スキャンして買い物かごに投入し、最後に会計端末３において当該商品の会計を行う。会計端末３は、買物客自身が支払方法を選択して会計を行うセルフレジの機能を備えている。すなわち、本実施形態に係る店舗支援システム１０は、例えば、買物客が携帯端末２で商品をスキャンして買い物かごに投入し、会計端末３において買物客が買い物かご内の商品の会計を行うシステム（セルフスキャンシステム）を導入する店舗に適用可能である。

管理サーバー１は、携帯端末２が読み取った商品の情報を取得したり、会計端末３に会計処理を実行させたりする。また、管理サーバー１は、買物客が携帯端末２でスキャンした商品の商品点数（合計読取数）と、会計時にカメラ４が撮影した買い物かごの撮像画像から推定した商品の商品点数（合計推定数）とを比較して、商品点数の相違（乖離）を判断する。管理サーバー１は、店舗内に設置されてもよいし、店舗外に設置されてもよい。

本実施形態では、管理サーバー１単体が本発明に係る店舗支援システムに相当するが、本発明に係る店舗支援システムは、管理サーバー１、携帯端末２、会計端末３、及びカメラ４のうち一又は複数の構成要素を含むものであってもよい。例えば、管理サーバー１、携帯端末２、会計端末３、及びカメラ４の構成要素が協働して後述する各種の店舗支援処理（図９参照）を分担して実行する場合には、その処理を実行する複数の構成要素を含むシステムを本発明に係る店舗支援システムとして捉えることが可能である。例えば、管理サーバー１及び携帯端末２が本発明に係る店舗支援システムを構成してもよいし、携帯端末２単体が本発明に係る店舗支援システムを構成してもよい。

［管理サーバー１］
図１に示されるように、管理サーバー１は、制御部１１、記憶部１２、操作表示部１３、及び通信部１４などを備えるサーバーである。なお、管理サーバー１は、１台のコンピュータに限らず、複数台のコンピュータが協働して動作するコンピュータシステムであってもよい。また、管理サーバー１で実行される各種の処理は、一又は複数のプロセッサーによって分散して実行されてもよい。

通信部１４は、管理サーバー１を有線又は無線で通信網Ｎ１に接続し、通信網Ｎ１を介して携帯端末２、会計端末３などの外部機器との間で所定の通信プロトコルに従ったデータ通信を実行するための通信インターフェースである。

操作表示部１３は、各種の情報を表示する液晶ディスプレイ又は有機ＥＬディスプレイのような表示部と、操作を受け付けるマウス、キーボード、又はタッチパネルのような操作部とを備えるユーザーインターフェースである。

記憶部１２は、各種の情報を記憶するＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などの不揮発性の記憶部である。具体的に、記憶部１２には、商品情報Ｄ１、読取商品情報Ｄ２などのデータが記憶される。図２は商品情報Ｄ１の一例を示す図であり、図３は読取商品情報Ｄ２の一例を示す図である。

図２に示されるように、商品情報Ｄ１には、店舗で扱う商品ごとに、対応する「商品ＩＤ」、「商品名」、「金額」、「商品画像」などの商品に関する情報が含まれる。前記商品ＩＤは、商品の識別情報（本発明の商品識別情報）であり、例えば商品識別番号（ＪＡＮコードなど）である。各商品には、前記商品ＩＤに対応する情報コード（バーコードなど）が貼付されている。携帯端末２は、読取部２４が前記バーコードを読み取った場合に、前記バーコードに関連付けられた商品ＩＤを取得する（図４参照）。

前記商品名は、商品の名称である。前記金額は、商品の購入金額（単価）である。前記商品画像は、商品の外観を表す画像（写真）である。前記商品画像には、一つの商品に対して、当該商品を特定することが可能な一又は複数の画像（正面画像、背面画像など）が含まれる。前記商品画像は、後述する商品点数の推定処理に利用される。商品情報Ｄ１は、店舗において予め登録される。

図３に示されるように、読取商品情報Ｄ２には、携帯端末２ごとに、対応する「端末ＩＤ」、「商品ＩＤ」、「商品点数」などの情報が含まれる。前記端末ＩＤは、携帯端末２の識別情報である。前記端末ＩＤには、店舗で利用可能な全ての携帯端末２の識別情報が登録される。前記商品ＩＤは、携帯端末２が読み取った商品の商品ＩＤである。例えば、端末ＩＤ「Ｍ００１」を使用する買物客が、商品ＩＤ「００１」の商品と、商品ＩＤ「００３」の商品と、商品ＩＤ「００４」の商品と、商品ＩＤ「００５」の商品とをそれぞれ携帯端末２で読み取ると、それぞれの商品ＩＤが端末ＩＤ「Ｍ００１」に関連付けられて登録される。前記商品点数は、携帯端末２が読み取った商品の合計数（合計読取数）である。例えば、端末ＩＤ「Ｍ００１」の合計読取数として、「４」が登録される。

制御部１１は、買物客が携帯端末２で商品をスキャンするごとに商品ＩＤを読取商品情報Ｄ２に登録するとともに、前記商品点数を更新する。また、制御部１１は、携帯端末２ごとに、読取商品情報Ｄ２を登録する。また、制御部１１は、端末ＩＤに関連付けられた商品の会計が完了すると、読取商品情報Ｄ２において、当該端末ＩＤに関連付けられた情報（商品ＩＤ、商品点数）を削除（リセット）する。

なお、他の実施形態として、商品情報Ｄ１及び読取商品情報Ｄ２の一部又は全部が、管理サーバー１から通信網Ｎ１を介してアクセス可能な他のサーバーに記憶されてもよい。この場合、管理サーバー１の制御部１１は、前記他のサーバーから前記情報を取得して、後述の店舗支援処理（図９参照）などの各処理を実行してもよい。

また、記憶部１２には、携帯端末２に表示される操作画面（図４～図７参照）などの各種のウェブページを生成するためのレイアウトデータ及び画像データなども記憶される。なお、本実施形態において、管理サーバー１の制御部１１は、前記各種のウェブページを生成してそのウェブページの情報を携帯端末２及び会計端末３に送信することにより、携帯端末２及び会計端末３のそれぞれに前記各種のウェブページを表示させることが可能である。

また、他の実施形態として、管理サーバー１の制御部１１は、携帯端末２及び会計端末３のそれぞれに前記各種のウェブページを表示するために必要なデータを送信することにより、携帯端末２及び会計端末３のそれぞれに前記各種のウェブページの表示を実行させてもよい。

さらに、記憶部１２には、制御部１１に後述の店舗支援処理（図９参照）を実行させるための店舗支援プログラムなどの制御プログラムが記憶されている。例えば、前記店舗支援プログラムは、ＣＤ又はＤＶＤなどのコンピュータ読取可能な記録媒体に非一時的に記録されており、管理サーバー１が備えるＣＤドライブ又はＤＶＤドライブなどの読取装置（不図示）で読み取られて記憶部１２に記憶される。

制御部１１は、ＣＰＵ、ＲＯＭ、及びＲＡＭなどの制御機器を有する。前記ＣＰＵは、各種の演算処理を実行するプロセッサーである。前記ＲＯＭは、前記ＣＰＵに各種の演算処理を実行させるためのＢＩＯＳ及びＯＳなどの制御プログラムが予め記憶される不揮発性の記憶部である。前記ＲＡＭは、各種の情報を記憶する揮発性又は不揮発性の記憶部であり、前記ＣＰＵが実行する各種の処理の一時記憶メモリー（作業領域）として使用される。そして、制御部１１は、前記ＲＯＭ又は記憶部１２に予め記憶された各種の制御プログラムを前記ＣＰＵで実行することにより管理サーバー１を制御する。

具体的に、制御部１１は、図１に示されるように、表示処理部１１１、商品取得処理部１１２、画像取得処理部１１３、推定処理部１１４、判定処理部１１５、報知処理部１１６、会計処理部１１７などの各種の処理部を含む。なお、制御部１１は、前記ＣＰＵで前記店舗支援プログラムに従った各種の処理を実行することによって前記各種の処理部として機能する。また、一部又は全部の前記処理部が電子回路で構成されていてもよい。なお、前記店舗支援プログラムは、複数のプロセッサーを前記処理部として機能させるためのプログラムであってもよい。

表示処理部１１１は、各種情報を携帯端末２の操作表示部２３に表示させる。例えば、買物客が携帯端末２で買い物を開始すると、表示処理部１１１は、図４に示す操作画面を操作表示部２３に表示させる。例えば、表示処理部１１１は、商品のバーコード（ＪＡＮコード）を読み取る読取画面を表示させる。買物客は、購入希望の商品を手に取ると、商品のバーコードを携帯端末２によりスキャンする。買物客は、商品のバーコードをスキャンすると当該商品を買い物かごＫ１（図８参照）に投入する。なお、買い物かごＫ１は店舗で貸し出す買い物かごであってもよいし、買物客が持参した買い物バッグであってもよい。

商品取得処理部１１２は、携帯端末２にスキャンされた商品の商品ＩＤを取得する。例えば、端末ＩＤ「Ｍ００１」の携帯端末２を所持する買物客が「商品Ａ」のバーコードを当該携帯端末２によりスキャンすると、商品取得処理部１１２は、携帯端末２から「商品Ａ」の商品ＩＤ「０００１」を取得する。商品取得処理部１１２は、取得した商品ＩＤ「０００１」を、携帯端末２の端末ＩＤ「Ｍ００１」に関連付けて読取商品情報Ｄ２（図３参照）に登録する。図５には、買物客が「商品Ａ」のバーコードを携帯端末２によりスキャンしたときの操作画面を示している。買物客は、次の商品をスキャンする場合にはスキャンボタンＢ１を押下する。表示処理部１１１は、スキャンボタンＢ１が押下されると、図４に示す操作画面を再表示させる。

商品取得処理部１１２は、買物客が商品のバーコードを携帯端末２でスキャンするごとに商品ＩＤを取得して読取商品情報Ｄ２に登録していく。図６には、買物客が複数の商品をスキャンしたときの操作画面を示している。表示処理部１１１は、前記操作画面において、合計金額及び合計の商品点数（ここでは「４点」）を表示させる。商品取得処理部１１２は、合計の商品点数（合計読取数）を、携帯端末２の端末ＩＤ「Ｍ００１」に関連付けて読取商品情報Ｄ２（図３参照）に登録する。買物客は、商品のスキャンを終えると、会計ボタンＢ２を押下する。商品取得処理部１１２は、本発明の第１取得処理部の一例である。

画像取得処理部１１３は、買物客が会計する際に、買い物かごＫ１を撮像するカメラ４から撮像画像を取得する。例えば、買物客が商品のスキャンを終えて会計ボタンＢ２を押下すると、表示処理部１１１は、携帯端末２に二次元コードＱＲを表示させる（図７参照）。二次元コードＱＲには携帯端末２の識別情報（端末ＩＤ）が関連付けられている。買物客が、買い物かごＫ１をかご置き場に載置して、携帯端末２に表示された二次元コードＱＲを会計端末３に翳すと（図８参照）、カメラ４が、買い物かごＫ１を撮像する。カメラ４は、かご置き場の上方に１台設置されてもよいし、かご置き場の上方及び周囲に複数台設置されてもよい。また、カメラ４は、かご置き場に買い物かごＫ１が載置されたことを検知した場合に、撮像処理を実行してもよい。

カメラ４は撮像した買い物かごＫ１の撮像画像を管理サーバー１に送信する。これにより、画像取得処理部１１３は、カメラ４から前記撮像画像を取得する。画像取得処理部１１３は、本発明の第２取得処理部の一例である。カメラ４は、本発明の撮像部の一例である。

推定処理部１１４は、画像取得処理部１１３により取得される前記撮像画像に基づいて、買い物かごＫ１に入れられた商品の合計数（商品点数）である合計推定数を推定する。例えば、推定処理部１１４は、前記撮像画像を画像解析して抽出した商品画像と、商品情報Ｄ１に登録されている商品画像（図２参照）とを照合して、前記合計推定数を推定する。

ここで、推定処理部１１４は、過去の撮像画像及び商品画像を学習（機械学習）して得られた学習モデル（商品点数推定モデル）を利用して、買い物かごＫ１内の商品を特定して前記合計推定数を推定してもよい。例えば、店舗スタッフが商品をスキャンする従来のレジにおいて、かご置き場の上方にカメラを設置し、店舗スタッフがスキャンする前の買い物かごＫ１の中身を撮影し、その撮像画像とスキャンされた商品の買い物点数とのペアを、１つの学習データとする。一定期間、この方法により前記学習データを収集して、ディープラーニングにより撮像画像から買い物点数推定モデルの学習を行う。

また、買い物点数推定モデルの推定精度を向上させる必要がある場合には、カメラを買い物かごＫ１の上方に１台だけ設置するのでなく、側方、後方などその他の場所にも設置して、各カメラで撮影した全ての買い物かごＫ１の中身の撮像画像を買い物点数推定モデルの入力データとしてもよい。また、カメラを側方、後方などに設置する場合は、透明な買い物かごＫ１を利用することで、買い物かごＫ１の中身を把握しやすい画像を取得してもよい。また、光源（ＬＥＤ）を買い物かごＫ１の上方、側方などに設置して、カメラの撮影時に買い物かごＫ１に向けて発光することで、商品同士が重なり合って写っていなかった商品や部分的にしか写っていなかった商品について、影が写り込んだ画像、すなわち、買い物点数推定のヒントとなる画像を入力データとして取得してもよい。また、買い物かごＫ１の側方、後方に斜めに鏡を設置し、側方、後方から見た画像の一部が写り込んだ画像、すなわち、買い物点数推定のヒントとなる画像を入力データとして取得してもよい。これらの方法の少なくともいずれかの方法により買い物点数推定モデルの推定精度の向上を図ることができる。

なお、ある１箇所のレジで学習した買い物点数推定モデルは、「買い物かごに対するカメラの設置位置と買い物かごの形状と取扱商品、さらに、利用するのであれば光源の位置と鏡の位置」が類似する他のレジでも同等の推定精度を維持することが機械学習モデルの性質から期待できる。このため、類似したレジに買い物点数チェックシステムを導入する際には、既存のモデルの再利用が可能である。

判定処理部１１５は、商品取得処理部１１２により取得される商品ＩＤに基づいて算出される、携帯端末２が読み取った商品の合計数である商品点数（合計読取数）と、画像取得処理部１１３により取得される撮像画像に基づいて推定される、買い物かごＫ１内に含まれる商品の合計数である商品点数（合計推定数）との差が閾値以上であるか否かを判定する。

前記閾値は、例えば、買い物点数推定モデルの信頼度（推定精度）に応じて設定される。具体的には、制御部１１は、前記買い物点数推定モデルは予測とともに予測の信頼度を出力できる場合に、信頼度が高い場合は前記閾値を小さくし（例えば、０～３）、信頼度が低い場合は前記閾値を大きくする（例えば、４以上）。また、制御部１１は、前記信頼度（推定精度）が高い程、前記閾値が小さくなるように設定してもよい。

他の実施形態として、判定処理部１１５は、前記合計読取数と前記合計推定数とが一致するか否かを判定してもよい。前記閾値は、上述の例に限定されず、後述する例であってもよい。

報知処理部１１６は、前記合計読取数と前記合計推定数とに基づいて、特定情報を報知させる。具体的には、報知処理部１１６は、前記合計読取数と前記合計推定数との差が前記閾値以上である場合に、前記特定情報を報知させる。

例えば、報知処理部１１６は、前記合計読取数と前記合計推定数との差が前記閾値以上である場合に、買物客又は店舗スタッフに警告情報（特定情報の一例）を報知する。例えば、報知処理部１１６は、前記合計読取数と前記合計推定数とが乖離していることを示す警告情報を店舗スタッフの端末（スタッフ端末）に通知する。前記警告情報には、会計端末３の場所（レジ番号）、前記合計読取数と前記合計推定数との差を示す情報などが含まれる。店舗スタッフは、前記警告情報を把握すると、会計端末３（レジ）に赴いて商品点数に誤りがないか、スキャン漏れがないかなどを確認する。

また、報知処理部１１６は、前記合計読取数と前記合計推定数との差が閾値未満である場合に、買物客に会計処理に進む旨のメッセージ（特定情報の一例）を報知する。例えば、報知処理部１１６は、会計端末３に会計情報を表示させる。なお、報知処理部１１６は、前記合計読取数と前記合計推定数との差が閾値未満である場合に、商品点数に問題ないことを示す情報を店舗スタッフに通知してもよい。報知処理部１１６は、本発明の報知処理部の一例である。

会計処理部１１７は、商品の会計処理を実行する。例えば買物客が、買い物かごＫ１をかご置き場に載置して、携帯端末２に表示された二次元コードＱＲ（図７参照）を会計端末３に翳して、前記合計読取数と前記合計推定数との差が閾値未満である場合に、会計処理部１１７は、会計処理を実行する。

具体的には、会計処理部１１７は、前記合計読取数と前記合計推定数との差が閾値未満である場合に、会計端末３に会計処理の開始指示を出力する。会計端末３は、前記開始指示を取得すると、二次元コードＱＲに対応する端末ＩＤを管理サーバー１に送信する。会計処理部１１７は、会計端末３から前記端末ＩＤを取得すると、当該端末ＩＤに関連付けて記憶されている商品ＩＤ（図３参照）に基づいて商品情報（商品名、金額、商品点数など）を取得して会計端末３に表示させる。会計端末３は、会計画面に前記商品情報を表示させて買物客の会計操作を受け付けて会計処理を実行する。会計端末３は会計処理が完了すると、完了通知を管理サーバー１に送信する。会計処理部１１７は、前記完了通知を取得すると、前記端末ＩＤに関連付けられた商品ＩＤ及び商品点数（図３参照）を削除して会計処理を終了する。なお、前記会計処理は、上述の方法に限定されず、周知の方法を適用することもできる。

また、前記合計読取数と前記合計推定数との差が閾値以上である場合には、店舗スタッフが前記警告情報に対して確認して承認した場合に、会計処理部１１７は、前記会計処理を実行する。

このように、会計処理部１１７は、商品取得処理部１１２により取得される商品ＩＤに基づいて算出される、携帯端末２が読み取った商品の合計数（合計読取数）と、画像取得処理部１１３により取得される前記撮像画像に基づいて推定される、買い物かごＫ１内に含まれる商品の合計数（合計推定数）とに基づいて会計処理を実行する。会計処理部１１７は、本発明の会計処理部の一例である。なお、会計処理部１１７は、前記合計読取数と前記合計推定数との差が閾値未満である場合、又は、前記合計読取数と前記合計推定数とが一致する場合に、前記会計処理を自動的に実行してもよい。

［携帯端末２］
図１に示されるように、携帯端末２は、制御部２１、記憶部２２、操作表示部２３、読取部２４、及び通信部２５などを備える。携帯端末２は、例えば携帯電話、スマートフォン、タブレット端末のような情報処理装置である。

通信部２５は、携帯端末２を有線又は無線で通信網Ｎ１に接続し、通信網Ｎ１を介して管理サーバー１、会計端末３などの外部機器との間で所定の通信プロトコルに従ったデータ通信を実行するための通信インターフェースである。

読取部２４は、商品に貼付されたバーコードを読み取るカメラである。読取部２４が前記バーコードを読み取ると、制御部２１は、前記バーコードに関連付けられた商品ＩＤを取得する。制御部２１は、取得した商品ＩＤを管理サーバー１に送信する。

操作表示部２３は、各種のウェブページなどの情報を表示する液晶ディスプレイ又は有機ＥＬディスプレイのような表示部と、操作を受け付けるマウス、キーボード、又はタッチパネルのような操作部とを備えるユーザーインターフェースである。

記憶部２２は、各種の情報を記憶するＨＤＤ、ＳＳＤ又はフラッシュメモリーなどの不揮発性の記憶部である。例えば、記憶部２２には、ブラウザプログラム等の制御プログラムが記憶される。具体的に、前記ブラウザプログラムは、ＨＴＴＰ（Ｈｙｐｅｒｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）などの通信プロトコルに従って管理サーバー１などの外部装置との間で通信処理を制御部２１に実行させるための制御プログラムである。また、前記ブラウザプログラムは、管理サーバー１との間で予め定められた通信プロトコルに従って通信処理を実行するための専用アプリケーションであってもよい。

制御部２１は、ＣＰＵ、ＲＯＭ、及びＲＡＭなどの制御機器を有する。前記ＣＰＵは、各種の演算処理を実行するプロセッサーである。前記ＲＯＭは、前記ＣＰＵに各種の処理を実行させるためのＢＩＯＳ及びＯＳなどの制御プログラムが予め記憶された不揮発性の記憶部である。前記ＲＡＭは、各種の情報を記憶する揮発性又は不揮発性の記憶部であり、前記ＣＰＵが実行する各種の処理の一時記憶メモリー（作業領域）として使用される。そして、制御部２１は、前記ＲＯＭ又は記憶部２２に予め記憶された各種の制御プログラムを前記ＣＰＵで実行することにより携帯端末２を制御する。

具体的に、制御部２１は、記憶部２２に記憶されている前記ブラウザプログラムに従って各種の処理を実行する。制御部２１は、管理サーバー１から通信網Ｎ１を介して提供されるウェブページを操作表示部２３に表示させ、操作表示部２３に対する操作を管理サーバー１に入力するブラウザ処理を実行することが可能である。すなわち、携帯端末２は、制御部２１によって前記ブラウザプログラムが実行されることにより、管理サーバー１の操作用端末として機能することが可能である。なお、制御部２１に含まれる一部又は全部の処理部は電子回路で構成されていてもよい。

具体的に、制御部２１は、管理サーバー１から前記ウェブページのデータを取得して、操作表示部２３に前記ウェブページを表示させる。また、携帯端末２に管理サーバー１に対応する専用アプリケーションがインストールされている場合には、携帯端末２の利用者（買物客）が当該専用アプリケーションを起動する操作を行うことにより操作表示部２３に前記ウェブページが表示される。

買物客は、携帯端末２を操作して、操作画面（図４参照）において商品のバーコードをスキャンする。買物客のスキャン操作により、読取部２４は前記バーコードを読み取り、制御部２１は、前記バーコードに関連付けられた商品ＩＤを管理サーバー１に送信する。また、買物客は、操作画面（図５及び図６参照）において、買い物かごＫ１に投入した商品の情報を確認することができる。また、買物客は、操作画面（図７参照）の二次元コードＱＲを会計端末３に翳して会計を行うことができる。なお、各携帯端末２が、管理サーバー１の各機能を備えてもよい。

［店舗支援処理］
以下、図９を参照しつつ、店舗支援システム１０において実行される店舗支援処理について説明する。具体的に、本実施形態では、管理サーバー１の制御部１１によって前記店舗支援処理が実行される。また、制御部１１は、携帯端末２各々からのアクセスに応じて携帯端末２各々に対応して店舗支援処理を並行して実行することが可能である。

なお、本発明は、前記店舗支援処理に含まれる一又は複数のステップを実行する店舗支援方法の発明として捉えることができる。また、ここで説明する前記店舗支援処理に含まれる一又は複数のステップは適宜省略されてもよい。なお、前記店舗支援処理における各ステップは同様の作用効果を生じる範囲で実行順序が異なってもよい。さらに、ここでは制御部１１が前記店舗支援処理における各ステップを実行する場合を例に挙げて説明するが、一又は複数のプロセッサーが当該店舗支援処理における各ステップを分散して実行する店舗支援方法も他の実施形態として考えられる。

先ず、ステップＳ１において、制御部１１は、携帯端末２から商品ＩＤを取得したか否かを判定する。例えば、買物客は、携帯端末２に表示される読取画面（図４参照）において、購入希望の商品のバーコードをスキャンする。携帯端末２は、前記バーコードを読み取ると、当該バーコードに対応する商品ＩＤを管理サーバー１に送信する。制御部１１は、携帯端末２から前記商品ＩＤを取得する。制御部１１は、携帯端末２から商品ＩＤを取得すると（Ｓ１：Ｙｅｓ）、処理をステップＳ２に移行させる。制御部１１は、携帯端末２から商品ＩＤを取得するまで待機する（Ｓ１：Ｎｏ）。

次にステップＳ２において、制御部１１は、携帯端末２から商品ＩＤを取得すると、取得した商品ＩＤを、携帯端末２の端末ＩＤに関連付けて読取商品情報Ｄ２（図３参照）に登録する。

次にステップＳ３において、制御部１１は、買物客から会計指示を受け付けたか否かを判定する。例えば図５又は図６に示す操作画面において買物客が会計ボタンＢ２を押下した場合に、制御部１１は前記会計指示を受け付ける。制御部１１は、前記会計指示を受け付けると（Ｓ３：Ｙｅｓ）、処理をステップＳ４に移行させる。また、制御部１１は、前記会計指示を受け付けると、携帯端末２に二次元コードＱＲを表示させる（図７参照）。一方、制御部１１は、前記会計指示を受け付けない場合（Ｓ３：Ｎｏ）、処理をステップＳ１に移行させる。

制御部１１は、前記会計指示を受け付けるまで、ステップＳ１～Ｓ３の処理を繰り返し実行する。例えば買物客が他の商品のバーコードをスキャンすると、制御部１１は、他の商品の商品ＩＤを取得して、取得した商品ＩＤを端末ＩＤに関連付けて読取商品情報Ｄ２（図３参照）に追加登録する。

制御部１１は、前記会計指示を受け付けると（Ｓ３：Ｙｅｓ）、ステップＳ４において、制御部１１は、携帯端末２に表示された二次元コードＱＲが会計端末３において読み取られたか否かを判定する。会計端末３は、買物客が携帯端末２に表示された二次元コードＱＲを会計端末３に翳した場合に二次元コードＱＲを読み取る（図８参照）。会計端末３は、二次元コードＱＲを読み取ると二次元コードＱＲに関連付けられた端末ＩＤを取得して管理サーバー１に送信する。制御部１１は、会計端末３から端末ＩＤを取得すると（Ｓ４：Ｙｅｓ）、処理をステップＳ５に移行させる。制御部１１は、端末ＩＤを取得するまで待機する（Ｓ４：Ｎｏ）。

ステップＳ５において、制御部１１は、カメラ４に撮像指示を出力する。なお、制御部１１は、買い物かごＫ１（図８参照）がかご置き場に載置されていることを検知した場合に、カメラ４に撮像指示を出力してもよい。カメラ４は、管理サーバー１から前記撮像指示を取得すると、かご置き場を含む所定エリアを撮像し、撮像した撮像画像を管理サーバー１に送信する。

次にステップＳ６において、制御部１１は、カメラ４から前記撮像画像を取得する。前記撮像画像には、買い物かごＫ１の画像が含まれる。

次にステップＳ７において、制御部１１は、前記撮像画像に基づいて、買い物かごＫ１内に含まれる商品の合計数（商品点数）である合計推定数を推定する。具体的には、制御部１１は、前記撮像画像を画像解析して抽出した商品画像と、商品情報Ｄ１に登録されている商品画像（図２参照）とを照合して、前記合計推定数を推定する。

次にステップＳ８において、制御部１１は、ステップＳ１において取得した商品ＩＤに基づいて算出した、携帯端末２が読み取った商品の合計数である商品点数（合計読取数）と、ステップＳ７において推定した買い物かごＫ１内に含まれる商品の合計数である商品点数（合計推定数）との差が閾値以上であるか否かを判定する。制御部１１は、前記合計読取数と前記合計推定数との差が前記閾値以上である場合に（Ｓ８：Ｙｅｓ）、処理をステップＳ９に移行させる。一方、制御部１１は、前記合計読取数と前記合計推定数との差が前記閾値未満である場合に（Ｓ８：Ｎｏ）、処理をステップＳ１１に移行させる。

ステップＳ９において、制御部１１は特定情報を報知させる。例えば、制御部１１は、店舗スタッフに警告情報を報知させる。例えば、制御部１１は、店舗スタッフの端末に警告情報を表示させる。

ステップＳ１０において、制御部１１は、前記警告情報に対して店舗スタッフから承認を取得したか否かを判定する。例えば、店舗スタッフは、前記警告情報を取得すると、会計端末３に赴いて商品点数に誤りがないか、スキャン漏れがないかなどを確認し、確認作業（スキャン漏れ商品のスキャン作業など）を行う。店舗スタッフは、確定作業を終えると会計端末３において承認ボタン（確認ボタン）を押下する。制御部１１は、承認を取得すると（Ｓ１０：Ｙｅｓ）、処理をステップＳ１１に移行させる。制御部１１は、承認を取得するまで待機する（Ｓ１０：Ｎｏ）。

ステップＳ１１において、制御部１１は、会計処理を実行する。具体的には、制御部１１は、会計端末３に会計処理の開始指示を出力する。会計端末３は、前記開始指示を取得すると、二次元コードＱＲに対応する端末ＩＤを管理サーバー１に送信する。制御部１１は、会計端末３から前記端末ＩＤを取得すると、当該端末ＩＤに関連付けて記憶されている商品ＩＤ（図３参照）に基づいて商品情報（商品名、金額、商品点数など）を取得して会計端末３に表示させる。会計端末３は、会計画面に前記商品情報を表示させて買物客の会計操作を受け付けて会計処理を実行する。会計端末３は会計処理が完了すると、完了通知を管理サーバー１に送信する。制御部１１は、前記完了通知を取得すると、前記端末ＩＤに関連付けられた商品ＩＤ及び商品点数（図３参照）を削除して前記店舗支援処理を終了する。

以上のようにして、制御部１１は、前記店舗支援処理を実行する。制御部１１は、各携帯端末２から商品ＩＤを取得するごとに並行して前記店舗支援処理を実行する。

以上説明したように、本実施形態に係る管理サーバー１は、買物客が商品を買い物かごＫ１に投入する際に、当該商品を読み取る携帯端末２から商品ＩＤを取得し、買物客が会計する際に、買い物かごＫ１を撮像するカメラ４から撮像画像を取得する。また、管理サーバー１は、前記商品ＩＤに基づいて算出される、携帯端末２が読み取った商品の合計数である合計読取数と、前記撮像画像に基づいて推定される、買い物かごＫ１内に含まれる商品の合計数である合計推定数とに基づいて、特定情報を報知させる。また、管理サーバー１は、前記合計読取数と前記合計推定数との差が閾値以上である場合に、買物客又は店舗スタッフに特定情報（警告情報など）を報知させる。

上記構成によれば、買い物かごの投入された商品の数量（商品点数）をカメラ画像から容易に把握することができる。また、携帯端末２によりスキャンされた商品の商品点数と、カメラ画像から推定された商品の商品点数とが一致するか否かを把握することができる。そして、前記両商品点数が一致しない場合、又は、前記両商品点数の差が閾値以上の場合（前記両商品点数に乖離がある場合）に、警告情報を報知することにより、不正行為を抑制することができ、また読み取りエラーに対処することができる。例えば、携帯端末２により読み取られていない商品を会計せずに店舗外に持ち出す行為（意図的な万引き行為、スキャンエラーによる意図しない持ち出し行為など）を防ぐことができる。

また、買い物点数推定モデルの信頼度（推定精度）に応じて前記閾値を設定する場合において、前記信頼度が高い場合に前記閾値を小さい値に設定する構成によれば、前記両商品点数の差が小さい場合であっても、前記両商品点数が乖離していること、又は、不正行為の可能性があることなどを確実に把握することができる。また、買い物点数推定モデルの信頼度（推定精度）に応じて前記閾値を設定する場合において、前記信頼度が低い場合に前記閾値を大きい値に設定する構成によれば、推定エラーにより警告情報が報知されてしまうことを防ぐことができる。

以上より、本発明によれば、セルフスキャンシステムの信頼性及び価値を向上させることが可能となる。

本発明は上述の実施形態に限定されない。例えば、前記閾値は、以下のように設定されてもよい。

例えば、制御部１１は、買物客が携帯端末２で読み取った商品の金額（単価）に基づいて、前記閾値を設定してもよい。具体的には、制御部１１は、携帯端末２により読み取られた商品に、所定金額以上の高額商品が含まれない場合に、前記閾値を第１閾値（例えば、４以上）に設定し、携帯端末２により読み取られた商品に前記高額商品が含まれる場合に、前記閾値を前記第１閾値よりも小さい第２閾値（例えば、０～３）に設定する。前記所定金額は、店舗における全商品の金額に基づいて設定される。

これにより、購入対象の商品に高額商品が含まれる場合には、前記合計読取数と前記合計推定数との差が小さい場合でも警告することができる。すなわち、制御部１１は、購入商品の金額が高い程、判定感度が厳しくなる閾値を設定する。このように、商品の価格帯に応じて、前記合計読取数と前記合計推定数との乖離の判定感度を調整してもよい。

他の例として、制御部１１は、買物客が携帯端末２で読み取った商品の数量（合計読取数）に基づいて、前記閾値を設定してもよい。具体的には、制御部１１は、前記合計読取数が所定数以上の場合に、前記閾値を第１閾値（例えば、４以上）に設定し、前記合計読取数が前記所定数未満の場合に、前記閾値を前記第１閾値よりも小さい第２閾値（例えば、０～３）に設定する。

これにより、購入対象の商品が少ない場合には、前記合計読取数と前記合計推定数との差が小さい場合でも警告することができる。すなわち、制御部１１は、購入商品の数が少ない程、判定感度が厳しくなる閾値を設定する。このように、商品の購入数量に応じて、前記合計読取数と前記合計推定数との乖離の判定感度を調整してもよい。

他の例として、制御部１１は、買物客の過去の買物履歴の情報に基づいて前記閾値を設定してもよい。具体的には、制御部１１は、買物客の過去の会計時における前記合計読取数と前記合計推定数との差に基づいて閾値を設定する。例えば、買物客の過去の会計において、前記差が所定数未満である場合、又は、前記合計読取数と前記合計推定数とが一致しない過去の会計が所定期間以内に所定回数未満である場合に、前記閾値を第１閾値（例えば、４以上）に設定し、前記差が所定数以上である場合、又は、前記合計読取数と前記合計推定数とが一致しない過去の会計が所定期間以内に所定回数以上である場合に、前記閾値を前記第１閾値よりも小さい第２閾値（例えば、０～３）に設定する。

これにより、過去の買い物において前記合計読取数と前記合計推定数との差が生じている買物客、例えば不正行為の疑いのある買物客について、前記合計読取数と前記合計推定数との乖離の判定感度を厳しくすることができる。

他の例として、制御部１１は、店舗の混雑状況、時間帯、月日、曜日、及び季節の少なくともいずれかに基づいて、前記閾値を設定してもよい。店舗が混雑している場合には、不正行為が行われる可能性が高くなる。そこで、例えば、店舗が混雑している場合、現在時刻が店舗が混雑する時間帯の場合、現在月日が店舗が混雑する月、日にち、季節である場合に、制御部１１は、店舗が混雑していない場合の閾値よりも判定感度が厳しくなる閾値を設定する。例えば、制御部１１は、店舗の混雑度合い（混雑率）が高くなる程、前記閾値が小さくなるように設定してもよい。

本発明の他の実施形態として、カメラ４が買い物かごＫ１内の各商品のバーコードを読み取ってもよい。この場合、制御部１１は、前記バーコードに関連付けられた商品ＩＤを取得すると、当該商品ＩＤと、携帯端末２が読み取った商品の商品ＩＤとを照合して、両者が一致するか否かを判定する。制御部１１は、両商品ＩＤが一致しない場合に警告情報を報知させる。前記警告情報には、商品ＩＤに対応する商品名が含まれてもよい。これにより、店舗スタッフは、携帯端末２に読み取られていない商品であって、買い物かごＫ１に入っている商品を容易に把握することができる。

１ ：管理サーバー
２ ：携帯端末
３ ：会計端末
４ ：カメラ
１０ ：店舗支援システム
１１ ：制御部
２１ ：制御部
２４ ：読取部
１１１ ：表示処理部
１１２ ：商品取得処理部
１１３ ：画像取得処理部
１１４ ：推定処理部
１１５ ：判定処理部
１１６ ：報知処理部
１１７ ：会計処理部
Ｂ１ ：スキャンボタン
Ｂ２ ：会計ボタン
Ｄ１ ：商品情報
Ｄ２ ：読取商品情報
Ｋ１ ：買い物かご

Claims (11)

1. 買物客が商品を買い物かごに投入する際に、当該商品を読み取る読取部から商品識別情報を取得する第１取得処理部と、
   前記買物客が会計する際に、前記買い物かごを撮像する撮像部から撮像画像を取得する第２取得処理部と、
   前記第１取得処理部により取得される前記商品識別情報に基づいて算出される、前記読取部が読み取った商品の合計数である合計読取数と、前記第２取得処理部により取得される前記撮像画像に基づいて推定される、前記買い物かご内に含まれる商品の合計数である合計推定数とに基づいて、特定情報を報知させる報知処理部と、
   を備える店舗支援システム。
2. 前記報知処理部は、前記合計読取数と前記合計推定数との差が閾値以上である場合に、前記特定情報を報知させる、
   請求項１に記載の店舗支援システム。
3. 前記報知処理部は、前記合計読取数と前記合計推定数との差が前記閾値以上である場合に、前記買物客又は店舗スタッフに警告情報を報知させる、
   請求項２に記載の店舗支援システム。
4. 前記警告情報に対して承認された場合に会計処理を実行する会計処理部をさらに備える、
   請求項３に記載の店舗支援システム。
5. 前記合計読取数と前記合計推定数との差が前記閾値未満である場合に会計処理を実行する会計処理部をさらに備える、
   請求項２又は３に記載の店舗支援システム。
6. 前記読取部により読み取られた商品に、所定金額以上の高額商品が含まれない場合に、前記閾値を第１閾値に設定し、
   前記読取部により読み取られた商品に前記高額商品が含まれる場合に、前記閾値を前記第１閾値よりも小さい第２閾値に設定する、
   請求項２～５のいずれか１項に記載の店舗支援システム。
7. 前記合計読取数が所定数以上の場合に、前記閾値を第１閾値に設定し、
   前記合計読取数が前記所定数未満の場合に、前記閾値を前記第１閾値よりも小さい第２閾値に設定する、
   請求項２～５のいずれか１項に記載の店舗支援システム。
8. 前記買物客の過去の会計時における前記合計読取数と前記合計推定数との差に基づいて、前記閾値を設定する、
   請求項２～５のいずれか１項に記載の店舗支援システム。
9. 店舗の混雑状況、時間帯、月日、曜日、及び季節の少なくともいずれかに基づいて、前記閾値を設定する、
   請求項２～５のいずれか１項に記載の店舗支援システム。
10. 一又は複数のプロセッサーが、
    買物客が商品を買い物かごに投入する際に、当該商品を読み取る読取部から商品識別情報を取得する第１取得ステップと、
    前記買物客が会計する際に、前記買い物かごを撮像する撮像部から撮像画像を取得する第２取得ステップと、
    前記第１取得ステップにおいて取得される前記商品識別情報に基づいて算出される、前記読取部が読み取った商品の合計数である合計読取数と、前記第２取得ステップにおいて取得される前記撮像画像に基づいて推定される、前記買い物かご内に含まれる商品の合計数である合計推定数とに基づいて、特定情報を報知させる報知ステップと、
    を実行する店舗支援方法。
11. 買物客が商品を買い物かごに投入する際に、当該商品を読み取る読取部から商品識別情報を取得する第１取得ステップと、
    前記買物客が会計する際に、前記買い物かごを撮像する撮像部から撮像画像を取得する第２取得ステップと、
    前記第１取得ステップにおいて取得される前記商品識別情報に基づいて算出される、前記読取部が読み取った商品の合計数である合計読取数と、前記第２取得ステップにおいて取得される前記撮像画像に基づいて推定される、前記買い物かご内に含まれる商品の合計数である合計推定数とに基づいて、特定情報を報知させる報知ステップと、
    を一又は複数のプロセッサーに実行させるための店舗支援プログラム。