JP6580651B2 - 情報処理装置、情報処理装置の制御方法、情報処理装置の制御プログラム及び物品提供システム - Google Patents

Description

本発明は、物品の取扱いに関する処理を実行可能な情報処理装置、情報処理の制御方法情報処理装置の制御プログラム及び物品提供システムに関する。

近年、例えば商品の販売が無人で行われる無人店舗のような、店舗や倉庫等の物品が取り扱われる場所において、在庫場所から取り除かれた物品の追跡に、当該在庫場所での人の実働を要しないシステムが出現している。例えば、特許文献１には、材料取扱施設を有する在庫場所における物品の除去または配置の追跡が、プロセッサによって行われるコンピューティングシステムが記載されている。

特表２０１６−５３２９３２号公報

特許文献１に記載のシステムでは、ユーザが在庫場所から除去した物品を追跡するのに、画像撮影装置（例えば、カメラ）が用いられ、ユーザの手が在庫場所に入る前後における、当該手の一連の画像が撮影される。そして、それら画像の比較に基づいて、ユーザが、在庫場所から対象物を除外または在庫場所に対象物を配置したどうかが判定されている。しかしながら、在庫場所における商品の追跡に画像が用いられる特許文献１に記載のシステムでは、ユーザの手が在庫場所に入る前後における、一連の複数の画像の比較処理にかかる負荷や、カメラの設置に係るコストが高くなるという問題があった。

そこで、本発明は、上述のような問題に鑑み、コストの高騰や、情報処理装置における処理の負荷を低減できる情報処理装置、情報処理装置の制御方法、情報処理装置の制御プログラム及び物品提供システムを提供することを目的とする。

本発明の一実施形態における情報処理装置は、所定の空間に入場したユーザに関連付けられた識別情報を取得する取得部と、ユーザの、所定の空間における少なくとも歩行軌跡を検出する検出部と、所定の空間の物品が陳列された陳列場所において、所定の変化が発生したか否かを判定する物品判定部と、物品判定部によって所定の変化が発生したと判定された陳列場所と、歩行軌跡とに基づいて、所定の変化が発生したと判定された陳列場所に陳列された物品の決済に関する決済情報に対応付ける識別情報を判定するユーザ判定部と、ユーザ判定部によって判定された識別情報毎に、当該識別情報に対応付けられた少なくとも１の決済情報を記憶する決済記憶部と、決済記憶部に記憶された決済情報に基づく決済を実行する決済部とを備える。

さらに、本発明の一実施形態にかかる情報処理装置において、物品判定部は、物品が陳列された陳列場所において、変化後の重量が、変化前と比較して小さくなった場合に、所定の変化が発生したと判定してもよい。

さらに、本発明の一実施形態にかかる情報処理装置において、物品判定部は、物品が陳列された陳列場所において、陳列された物品群の変化後の形状が、変化前と比較して小さくなった場合に、所定の変化が発生したと判定してもよい。

さらに、本発明の一実施形態にかかる情報処理装置において、ユーザ判定部は、歩行軌跡のうち、所定の変化が発生した際の位置が、所定の変化が発生したと判定された陳列場所から所定範囲内にあるユーザに対応付けられた識別情報を、所定の変化が発生したと判定された陳列場所に陳列された物品の決済に関する決済情報に対応付ける識別情報として判定してもよい。

さらに、本発明の一実施形態にかかる情報処理装置は、所定の空間への入退場を制限する制限手段を制御する制限部をさらに備え、制限機能は、決済部によって決済が実行された識別情報に関連付けられたユーザの、所定の空間からの退場の制限を解除してもよい。

さらに、本発明の一実施形態にかかる情報処理装置は、ユーザに関連付けられた識別情報を、ユーザを特定する特定情報に対応付けて記憶するユーザ記憶部をさらに備え、取得部は、所定の空間に入場したユーザの端末装置から送信された特定情報に関連付けられた識別情報を、ユーザ記憶部に記憶された識別情報から取得してもよい。

さらに、本発明の一実施形態にかかる情報処理装置は、所定の空間に入場するユーザへ、一時的な識別情報を設定する設定部をさらに備え、取得部は、設定部によって設定された一時的な識別情報を取得してもよい。

さらに、本発明の一実施形態にかかる情報処理装置は、識別情報に対応付けられた決済情報を、当該決済情報が関連付けられた識別情報に対応する端末装置の表示部へ表示させるための表示情報を出力する表示出力部をさらに備えてもよい。

本発明の一実施形態にかかる情報処理装置の制御方法は、情報処理装置に、所定の空間に入場したユーザに関連付けられた識別情報を取得する取得ステップと、ユーザの、所定の空間における少なくとも歩行軌跡を検出する検出ステップと、所定の空間の物品が陳列された陳列場所において、所定の変化が発生したか否かを判定する物品判定ステップと、物品判定ステップにて所定の変化が発生したと判定された陳列場所と、歩行軌跡とに基づいて、所定の変化が発生したと判定された陳列場所に陳列された物品の決済に関する決済情報に対応付ける識別情報を判定するユーザ判定ステップと、ユーザ判定ステップによって判定された識別情報毎に、当該識別情報に対応付けられた少なくとも１の決済情報を記憶する決済記憶ステップと、決済記憶ステップにて記憶された決済情報に基づく決済を実行させる決済ステップとを実行させる。

本発明の一実施形態にかかる情報処理装置の制御プログラムは、情報処理装置に、所定の空間に入場したユーザに関連付けられた識別情報を取得する取得機能と、ユーザの、所定の空間における少なくとも歩行軌跡を検出する検出機能と、所定の空間の物品が陳列された陳列場所において、所定の変化が発生したか否かを判定する物品判定機能と、物品判定機能によって所定の変化が発生したと判定された陳列場所と、歩行軌跡とに基づいて、所定の変化が発生したと判定された陳列場所に陳列された物品の決済に関する決済情報に対応付ける識別情報を判定するユーザ判定機能と、ユーザ判定機能によって判定された識別情報毎に、当該識別情報に対応付けられた少なくとも１の決済情報を記憶する決済記憶機能と、決済記憶機能に記憶された決済情報に基づく決済を実行させる決済機能とを実現させる。

本発明の一実施形態にかかる物品提供システムは、所定の空間に入場したユーザに関連付けられた識別情報を読み取る読取部と、前記ユーザの、前記所定の空間における少なくとも歩行軌跡に関するデータを取得する第１検出部と、前記所定の空間の商品が陳列された陳列場所において発生した所定の変化に関するデータを取得する第２検出部と、前記歩行軌跡に関するデータ及び前記所定の変化に関するデータを、所定の情報処理装置へ送信する送信部と、前記ユーザの前記所定の空間からの退場を制限する制限部と、前記制限部の制限の解除を指示する情報を受信する受信部とを備える。

本発明によれば、カメラの設置にかかるコストの高騰や、情報処理装置における複数の画像処理の負荷を低減できる情報処理装置、情報処理装置の制御方法、情報処理装置の制御プログラム及び物品提供システムを提供することができる。

本発明の一実施形態による物品提供システム構成の概略図である。 本発明の一実施形態によるサーバ（情報処理装置）のブロック図の一例である。 本発明の一実施形態による端末装置のブロック図の一例である。 本発明の一実施形態による店舗内の構成例を説明する概略図である。 本発明の一実施形態による、陳列場所から商品を取得したユーザの判定を説明する概略図である。 （ａ）、（ｂ）とも、本発明の一実施形態による、陳列場所から商品を取得したユーザの判定を説明する概略図である。 ユーザが店舗へ入場する場合の、（ａ）は説明図、（ｂ）はユーザの端末装置の画面例、（ｃ）は記憶部に記憶される識別情報の一例である。 ユーザが陳列場所から商品を取得した場合の、（ａ）は説明図、（ｂ）はユーザの端末装置の画面例、（ｃ）は記憶部に記憶される決済情報の一例である。 ユーザが決済を実行する場合の、（ａ）は説明図、（ｂ）はユーザの端末装置の画面例、（ｃ）は記憶部に記憶される決済履歴の一例である。 （ａ）、（ｂ）とも、本発明の一実施形態による、記憶部に記憶される決済情報の一例である。 本発明の一実施形態による、情報処理装置の制御方法のフローチャートの一例である。

以下、諸図面を参照しながら、本発明の一実施形態を詳細に説明する。図１は、本発明の一実施形態による物品提供システム構成の概略図である。物品提供システム５００は、物品を提供する管理人がその場に存在しなくても、ユーザ４００による物品の取得・購入が可能なサービスのシステムである。これ以降、一例として、物品の提供が、図１に示すような、商品を販売する販売員や店員が存在しない無人店舗である態様について説明する。物品提供システム５００は、図１に示すように、サーバ（情報処理装置）１００、店舗２００、端末装置３００、ネットワークＮＥＴを少なくとも含む。サーバ１００は、ネットワークＮＥＴを介して店舗２００、端末装置３００と接続される。サーバ１００は、図１では２つ示してあるが、より多くの複数のサーバ群として実現されてもよいし、単独で実現されてもよい。店舗２００には、複数の商品（物品）が商品棚（陳列場所）に陳列されている。詳細は後述するが、店舗２００でユーザ４００が購入する商品の決済は、ネットワークＮＥＴを介して、サーバ１００又は所定の決済サービスによって行われる。

端末装置３００は、ユーザ４００に関連付けられており、図１ではスマートフォンを示してあるが、タブレット、ウェアラブル端末（眼鏡型、腕時計型、ヘッドセット型等）といった、ネットワークへ接続可能な端末装置であればどのようなものでもよい。また、図１において、説明を簡単にするために端末装置３００は１台のみ示してあるが、これ以上存在してもよいことは言うまでもない。すなわち、店舗２００に入場するユーザが複数いてもよい。なお、端末装置３００には、サービス側が提供し、店舗２００を利用するためのアプリケーションソフト（以降、「アプリ」とも称する）がダウンロードされてもよいが、アプリを用いずに店舗２００を利用することもできる（詳細は後述する）。また、端末装置３００と、店舗２００に備えられた所定の通信装置との間では、ブルートゥース（Bluetooth）（登録商標）、ＢＬＥ（Bluetooth Low Energy）を用いたビーコン信号、ＲＦＩＤ（Radio Frequency IDentifier）規格や超音波、赤外線通信等の、近距離無線通信が行われてもよい。

図２は、本発明の一実施形態によるサーバ（情報処理装置）１００のブロック図である。図２に示すように、サーバ１００は、制御部１１０、通信部１２０及び記憶部１３０を備える。詳細は後述するが、これら各部の機能を簡単に説明する。

制御部１１０は、サーバ１００の各部を制御する機能を有するプロセッサである。制御部１１０は、取得部１１１、検出部１１２、物品判定部１１３、ユーザ判定部１１４、決済部１１５、制限部１１６、設定部１１７及び表示出力部１１８を備える。取得部１１１は、所定の空間に入場したユーザに関連付けられた識別情報を取得する。なお、取得部１１１は、所定の空間に入場したユーザに関連付けられた識別情報を、記憶部１３０に記憶された識別情報から取得してもよい。または、設定部１１７によって、所定の空間に入場するユーザに対し、一時的な識別情報が設定され、取得部１１１は、当該一時的な識別情報を取得してもよい。

検出部１１２は、所定の空間に入場したユーザの、当該所定の空間における少なくとも歩行軌跡を検出する。物品判定部１１３は、所定の空間の商品が陳列された陳列場所において、所定の変化が発生したか否かを判定する。なお、物品判定部１１３は、商品が陳列された陳列場所において、変化後の重量が、変化前と比較して小さくなった場合に、所定の変化が発生したと判定する。または、物品判定部１１３は、商品が陳列された陳列場所において、陳列された商品群の変化後の形状が、変化前と比較して小さくなった場合に、所定の変化が発生したと判定する。ユーザ判定部１１４は、物品判定部によって所定の変化が発生したと判定された陳列場所と、歩行軌跡とに基づいて、所定の変化が発生したと判定された陳列場所に陳列された商品の決済に関する決済情報に対応付ける識別情報を判定する。なお、ユーザ判定部１１４は、歩行軌跡のうち、所定の変化が発生した際の位置が、所定の変化が発生したと判定された陳列場所から所定範囲内にあるユーザに対応付けられた識別情報を、所定の変化が発生したと判定された陳列場所に陳列された商品の決済に関する決済情報に対応付ける識別情報として判定する。決済部１１５は、識別情報に対応付けられた決済情報に基づく決済を実行する。

制限部１１６は、所定の空間への入退場を制限する制限手段を制御する。また、制限部１１６は、決済部１１５によって決済が実行された識別情報に関連付けられたユーザの、所定の空間からの退場の制限を解除するように、制限手段を制御する。表示出力部１１８は、識別情報に対応付けられた決済情報を、当該決済情報が関連付けられた識別情報に対応する端末装置の表示部へ表示させるための表示情報を出力する。

通信部１２０は、受信部１２１及び送信部１２２を備え、制御部１１０からの指示に従って、ネットワークＮＥＴを介して、店舗２００又は端末装置３００との通信（各種データの送受信）を実行する機能を有する。例えば、受信部１２１は、取得部１１１の指示に応じて、所定の空間に入場したユーザの識別情報を受信する。また、受信部１２１は、検出部１１２の指示に応じて、店舗２００に設置された検出手段から送信された歩行軌跡に関するデータを受信する。その他、受信部１２１及び送信部１２２は、決済部１１５の指示に応じて、決済を実行する所定の決済サービス側のサーバとの、決済情報のやり取りを行う。送信部１２２は、表示出力部１１８によって出力された、識別情報に対応付けられた決済情報を、当該識別情報に対応する端末装置の表示部へ表示させるための表示情報を、端末装置３００へ送信する。これらの通信は、有線、無線のいずれで実行されてもよく、互いの通信が実行できるのであれば、どのような通信プロトコルを用いてもよい。

記憶部１３０は、典型的には、ＨＤＤ（Hard Disc Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリなど各種の記録媒体により実現され、サーバ１００が動作するうえで必要とする各種プログラム及びデータを記憶する機能を有する。記憶部１３０は、ユーザ判定部１１４によって判定された識別情報毎に、当該識別情報に対応付けられた少なくとも１の決済情報を記憶（格納）する。また、記憶部１３０は、ユーザに関連付けられた識別情報を予め記憶してもよいし、識別情報毎に、決済方式や決済に利用する決済サービスを示す情報とを関連付けて記憶してもよい。また、記憶部１３０には、どの商品が商品棚のどの位置に陳列されているかを示す情報が記憶されている。

次に、端末装置３００について説明する。図３に示すように、端末装置３００は、制御部３１０、通信部３２０、記憶部３３０、入力受付部３４０、表示部３５０、音声インタフェース（Ｉ／Ｆ）３６０及びスピーカ３７０を備える。

通信部３２０は、受信部３２１及び送信部３２２を備え、ネットワークＮＥＴを介して、サーバ１００との、又は、店舗２００に設置された通信手段との通信を実行する機能を有する。当該通信は、有線、無線のいずれで実行されてもよく、また、互いの通信が実行できるのであれば、どのような通信プロトコルを用いてもよい。また、通信部３２０は、店舗２００に設置された認証機器９５とのデータのやり取りに用いられてもよい。

記憶部３３０は、端末装置３００が動作するうえで必要とする各種プログラムや各種データを記憶する機能を有する。例えば、記憶部３３０には、本実施形態に係るサービスを享受するのに必要なアプリのプログラム等の情報が含まれる。なお、記憶部３３０は、典型的には、ＨＤＤ、ＳＳＤ、フラッシュメモリなど各種の記録媒体により実現される。

入力受付部３４０は、ユーザ４００からの入力を受け付けて、当該入力に係る情報を、制御部３１０に伝達する。端末装置３００において、入力受付部３４０は、タッチパネルなどにより実現され、ユーザの指やスタイラスなどの指示具による接触とその接触位置を検出し、接触位置の座標を情報処理部３１１に伝達する。本実施形態において、入力受付部３４０は、ユーザによる購入商品の選択や、決済の要求を受け付ける。

制御部３１０は、端末装置３００の各部を制御する機能を有するプロセッサである。制御部３１０は、情報処理部３１１、表示処理部３１２及び判定部３１３を含む。情報処理部３１１は、入力受付部３４０から入力された情報にしたがって、通信部３２０からサーバ１００に情報を送信するように制御する機能を有する。また、情報処理部３１１は、通信部３２０でサーバ１００から受信した情報を、表示処理部３１２に伝達する機能も有する。表示処理部３１２は、情報処理部３１１から伝達された表示用のデータを画素情報に変換し、表示部３５０のフレームバッファに書き込む機能を有する。

表示部３５０は、表示処理部３１２によりフレームバッファに書き込まれた表示データに従って、画像を表示する機能を有するモニタであり、典型的には液晶ディスプレイで実現される。表示部３５０は、ネットワークＮＥＴを介してサーバ１００から受信する、決済情報を表示する。音声Ｉ／Ｆ３６０は、スピーカ３７０や図示しないイヤホンのインタフェースである。なお、音声Ｉ／Ｆ３６０を介して、決済情報が音声出力されてもよいし、所定の警告音が出力されてもよい。また、ユーザからの決済要求が、音声によって指示（入力）されてもよい。

次に、店舗２００について、図４及び図５を用いて説明する。図４は、本発明の一実施形態による店舗２００内の構成例を説明する概略図である。なお、これ以降、特に区別する必要がない場合、図において複数存在することを示す、符号のアルファベットＡ，Ｂ等は、省略することもある。図４に示すように、店舗２００内には、商品５０の陳列場所としての商品棚８０が設置されている。店舗２００の床には、ユーザ４００の歩行軌跡を検出可能な床センサ６０が設けられている。床センサ６０は、例えば静電容量式のシート状のセンサで実現されてもよいし、床下又は床上に埋め込まれて用いられる複数のセンサモジュールで実現されてもよい。ここで、床センサ６０は、店舗２００に入場したユーザ４００の歩行軌跡に関するデータが入力される入力手段として機能する。床センサ６０に入力された歩行軌跡に関するデータは、店舗２００に設けられた通信手段２２０から、ネットワークＮＥＴを介してサーバ１００へ送信される。サーバ１００の検出部１１２は、床センサ６０から得られたデータを解析して、ユーザ４００の歩行軌跡を検出することができる。

また、商品棚８０の各段には、重量の変化を検出する重量センサとして機能する棚圧センサ１０が設けられ、商品棚８０に陳列されている商品の重量の変化が検出される。棚圧センサ１０も、床センサ６０と同様、シート状でもよいし、複数のセンサモジュールによって実現されてもよい。棚圧センサ１０は、棚圧センサ１０自体に積載された商品の重量を逐次計測し、計測されたデータは、ネットワークＮＥＴを介してサーバ１００に送信される。サーバ１００の物品判定部１１３は、受信したデータ（すなわち、棚圧センサ１０にかかる重量）を時系列順に比較し、継続したデータに変化があるか否かを判定する。そして、変化後の重量が、変化前と比較して小さくなった場合に、所定の変化が発生したと判定する。なお、ここでの所定の変化とは、棚圧センサ１０に積載された商品が取り除かれたことを意味する。また、物品判定部１１３は、棚圧センサ１０に商品が積載された（すなわち、商品棚８０に商品が戻された）ことを判定することもできる。例えば、物品判定部１１３によって、棚圧センサ１０から受信したデータの変化に応じて、変化後の重量が変化前と比較して大きくなったと判定された場合は、棚８０に商品が戻されたことを意味する。

また、商品棚８０には、複数のＴＯＦ（Time of Flight）センサ２０を設けて、商品棚の奥行き方向を測距してもよい。このＴＯＦセンサ２０により、商品群の形状の変化を検出することができる。すなわち、ＴＯＦセンサ２０は、商品棚の奥行き方向に並べられた商品群を測距し、測距したデータは、物品判定部１１３に送信される。物品判定部１１３は、ＴＯＦセンサ２０による測距データを時系列順に比較し、継続する測距データ（すなわち、商品群の形状）に変化があるか否かを判定する。そして、変化前の商品群の形状が、変化後の商品群の形状と比較して小さくなった場合に、所定の変化が発生したと判定する。なお、ここでの所定の変化とは、商品棚に陳列された商品が取り除かれたことを意味する。さらに、所定の変化として、上述のように、商品棚に商品が戻されたことを判定することもできる。

本発明の一実施形態によれば、これら各センサを複合的に用いて、店舗２００に入場したユーザがどの商品を商品棚８０から取得して持っているかが判定される。この判定について、図５を用いて説明する。図５は、店舗２００内を上部からみた概略平面図である。検出部１１２は、ユーザ４００の店舗２００内の歩行軌跡Ｒ１を、床センサ６０によって取得されたデータを用いて検出する。また、物品判定部１１３は、商品棚８０Ａにおける所定の変化が発生したポイントＣ１を、棚圧センサ１０、又は、ＴＯＦセンサ２０によって取得されたデータを用いて判定する。棚圧センサ１０によって取得されたデータにより、所定の変化として、商品が陳列された陳列場所において、変化後の重量が、変化前と比較して小さくなった場合が検出される。また、ＴＯＦセンサ２０によって取得されたデータにより、所定の変化として、商品が陳列された陳列場所において、陳列された商品群の変化後の形状が、変化前と比較して小さくなった場合が検出される。すなわち、ＴＯＦセンサ２０によって検出された距離が長くなったことを受けて、陳列場所の商品群の形状が小さくなったことを検出する。ユーザ判定部１１４は、ポイントＣ１において所定の変化が発生した際に、当該ポイントＣ１から所定範囲内に歩行位置Ｐ１があるユーザによって、ポイントＣ１に陳列されていた商品が取得されたと判定する。なお、上記所定範囲は、固定値（例えば、ポイントＣ１を中心として半径３０ｃｍ以下）として記憶部１３０に記憶されていてもよいし、歩行軌跡Ｒ１に応じた値として、テーブルとして記憶部１３０に記憶されていてもよい。ここで、テーブルとは、歩行軌跡Ｒ１の歩幅、足のサイズ、圧力の大きさ（重さ）に基づいて推定されるユーザの性別、年齢層に応じて、商品を取得するのに要する距離を記憶しておくものである。

なお、ユーザ判定部１１４による判定の精度を向上させるために、商品棚８０には、視線センサ３０、人感センサ４０を設けてもよい。視線センサ３０は、商品棚８０の前方に位置するユーザ４００の視線に関するデータを取得する。さらに、商品棚８０と店舗２００の床との間には、棚床センサ７０が設けられ、商品棚８０全体の重量の変化に関するデータを取得する。これら各センサによって取得されたデータも、ネットワークＮＥＴを介してサーバ１００の検出部１１２へ送信されて、上記の判定に補助的に用いられてもよい。例えば、視線センサ３０から得られるユーザの視線データに基づき、商品棚８０から商品が取り除かれた際に、当該商品に着目していたユーザを抽出して、歩行軌跡と合わせて判定してもよい。また、人感センサ４０から得られるデータを用いて、商品棚８０の内部にユーザの手が入ったか否かを判定してもよい。さらに、図６（ａ）、（ｂ）に示すように、商品棚８０を上部から測距するＴＯＦセンサ２０によって、ユーザが手４００Ｈを伸ばしている棚の位置（ｘ，ｙ，ｚ）を判定し、どの商品が取り除かれたか、又は、商品が棚に戻されたかが判定されてもよい。

次に、店舗２００における商品の購入処理について、図７〜９を用いて説明する。まず、ユーザ４００がサービスの利用登録を行って、端末装置３００に店舗２００を利用するためのアプリがインストールされている態様について説明する。この場合、サーバ１００の記憶部１３０、又は、サーバ１００とは別に設けられた外部メモリ等に、サービスの利用登録を行ったユーザの識別情報が、例えば図７（ｃ）に示すユーザ情報テーブル１３３として予め記憶されている。ユーザ情報テーブル１３３には、識別情報（顧客ＩＤ）毎に、氏名、決済方法等が関連付けられて記憶されている。ここで、決済方法とは、ユーザによって予め指定された決済に用いる方式であって、例えば、電子マネー、クレジットカード、ネットバンキング、携帯キャリア決済等である。

図７（ａ）に示すように、店舗２００の入口ＥＮＴには、認証機器９５が設けられており、本実施形態では、ユーザ認証に成功したユーザのみが、店舗２００へ入場可能である。まず、ユーザ４００は、店舗２００への入場処理を行うべく、端末装置３００においてアプリを立ち上げる。図７（ｂ）は、認証機器９５に読み取らせるための特定情報であるキー（図の例では、ＱＲコード）ＤＩＳ１が表示された端末装置３００の一例である。ユーザ４００が、認証機器９５にキーＤＩＳ１を読み取らせると、店舗２００に設けられた通信手段２２０によって、キーＤＩＳ１に関する情報が、サーバ１００へ送信される。サーバ１００の制御部１１０は、キーＤＩＳ１に対応する識別情報が、ユーザ情報テーブル１３３に記憶されているか否かを判定する。ここで、キーＤＩＳ１は、ユーザの識別情報（顧客ＩＤ）そのものであってもよいし、識別情報に対応付けられた別の情報であってもよい。後者の場合、特定情報として、テキストデータ、画像、音声、指紋情報、網膜情報等が用いられ、認証機器９５によって読み取られてもよい。

制限部１１６は、識別情報がユーザ情報テーブル１３３に記憶されていた場合、店舗２００に設けられた制限手段（例えば、ドアの鍵、警報装置等）による入場制限を解除する。すなわち、制限部１１６は、店舗２００に設けられた入場制限を解除する指示を、店舗２００へ送信する。なお、制限手段としては、入場を物理的に制限するものに限らず、店舗２００への入場は可能であるものの、アプリの使用が不可とされるものでもよい。

図８（ａ）に示すように、ユーザ４００が店舗２００内に入場すると、図５を用いて説明したように、床センサ６０によって、ユーザ４００の歩行軌跡に関する情報が、店舗２００の通信手段２２０から、検出部１１２へ送信される。なお、入口ＥＮＴの近傍、または、認証機器９５の近傍に床センサを設けておき、ユーザの識別情報と、ユーザの足跡とが、店舗２００への入場時に、予め対応付けて記憶部１３０に記憶される。また、上述のように、商品棚８０に設けられた棚圧センサ１０、ＴＯＦセンサ２０、視線センサ３０、人感センサ４０から取得されるデータを用いて、物品判定部１１３が、商品棚８０から商品が取り除かれたか否かを判定する。さらに、物品判定部１１３は、記憶部１３０に記憶された、商品棚と商品との対応に関する情報に基づき、取り除かれた商品を特定する。ユーザ判定部１１４は、各センサから取得されたデータに基づき、取り除かれた商品の決済に関する決済情報を対応づけるユーザ（取り除かれた商品を持っているユーザ）を判定する。そして、図８（ｃ）に示すように、識別情報（顧客ＩＤ）に、決済情報として、取得した商品と、その金額と、合計金額とが対応付けられた決済情報テーブル１３１Ｔが、決済記憶部１３１に記憶される。また、図８（ｂ）に示すように、端末装置３００の表示部３５０には、ユーザが取得している商品の決済情報が表示される。

なお、物品判定部１１３やユーザ判定部１１４による判定は、ユーザが商品を商品棚から取り除いたり、返却したりする都度行われてもよいし、各センサによる出力データを時刻に対応付けて記憶しておき、過去の各データを時刻を基準に合わせて行われてもよい。しかしながら、前者の方が、図８（ｂ）に示すようにその都度決済情報が反映されて、端末装置３００に表示されるため、ユーザの利便性にとっては望ましい。

また、ユーザの識別情報と、ユーザの足跡との対応付けは、ユーザ間で足跡が類似する場合には精度が低くなると考えられる。この場合は、店舗２００内にカメラを設けておき、入口ＥＮＴにて、識別情報とユーザの顔画像とを、予め対応付けて記憶していてもよい。そして、カメラによって、所定の変化が生じた商品棚近傍を撮像し、得られた画像を解析して、商品を取得したユーザを判定してもよい。

次に、商品の決済処理について説明する。図９（ａ）に示すように、ユーザ４００が、店舗２００の決済エリア９０に入ると、図９（ｂ）に示すように、商品の決済の実行を選択させる画面ＤＩＳ３が、端末装置３００の表示部に表示される。これは例えば、決済記憶部１３１に記憶された決済情報に基づき、端末装置３００に決済情報を表示させるための表示情報が、表示出力部１１８によって出力されることで実現される。その後、ユーザ４００によって決済を実行するボタン（購入ボタン）ＤＩＳ４が選択された場合、決済部１１５は、決済を実行させるように制御する。例えば、決済方式がクレジットカードであった場合、決済部１１５は、図示しないクレジット会社のサーバへ、決済の要求を送信するよう送信部１２２を制御する。決済が完了すると（決済完了の応答を受信すると）、制限部１１６は、店舗２００の退場を制限する制限手段（例えば、ドアの鍵）の制限を解除させる指示を送信し、店舗２００の出口ＯＵＴが解錠される。また、記憶部１３０には、ユーザの決済履歴を記憶する決済履歴テーブル１３４が記憶される。

上述のように、本発明の一実施形態によれば、店舗２００に入場したユーザの歩行軌跡と、商品の陳列場所における所定の変化とに基づいて、商品を取得したユーザが判定される。この所定の変化は、センサによって検出されるため、複数のカメラが設けられる場合と比較して、コストの高騰や、サーバにおける処理の負荷を低減した店舗２００を提供することができる。

また、上述のように、商品が陳列された陳列場所において、重量センサによって、変化後の重量が、変化前と比較して小さくなった場合に、ユーザによって商品が取得されたと判定され、商品が商品棚に戻された際に生じる重量の変化によって、商品の決済情報が対応付けられることはない。同様に、商品が陳列された陳列場所において、陳列された商品群の変化後の形状が、変化前と比較して小さくなった場合に、ユーザによって商品が取得されたと判定され、商品が商品棚に戻された際に生じる形状の変化によって、商品の決済情報が対応付けられることはない。なお、商品が商品棚に戻された場合には、決済情報を更新して、戻された商品の識別情報への対応付けが解除される。

さらに、陳列場所において所定の変化が発生した際の歩行軌跡が、所定の変化が発生したと判定された陳列場所から所定範囲内にあるユーザによって、商品が取得されたと判定される。従って、商品を取得したユーザの判定精度を向上することができる。

さらに、本発明の一実施形態によれば、サービスへの利用登録ユーザ、すなわち、識別情報が予め記憶されたユーザのみ、店舗２００への入場が可能となり、また、決済が完了したユーザのみが、店舗２００からの退場が可能となる。サービスへの利用登録ユーザは、サービス側でユーザの情報が登録されているため、無人店舗である店舗２００の防犯上の安全性を高めることができる。

なお、店舗２００の利用にあたって、サービスへの利用登録が行われていなくても（アプリがインストールされていなくても）よい。この場合、例えば、ユーザ４００が店舗２００へ入場する際に、設定部１１７が、一時的な識別情報を設定する。これは例えば、店舗の入口ＥＮＴにカメラを設置しておき、店舗２００へ入場したユーザ４００の顔の画像に関連付けて（顔認証を行って）、図１０（ａ）のテーブル１３２Ｅに示すように、一時的な識別番号（ワンタイム顧客ＩＤ）を所定の記憶部に記憶させる。なお、入口ＥＮＴに床センサを設け、顔の画像の代わりに、または、顔の画像とともに、足跡に関連付けて一時的な識別番号を関連付けてもよい。その後に、ユーザによる店舗２００における商品の取得は、上述した態様と同様であるため説明を省略する。すなわち、サーバ１００の記憶部には、例えば図１０（ｂ）の決済情報テーブル１３１Ｅのように、一時的な識別番号に対応付けて商品の決済情報が記憶される。なお、決済は、例えば店舗２００の決済エリア９０に設置された決済機器を介して行われる。決済機器は、例えばディスプレイとカメラとを少なくとも含み、当該ディスプレイに、決済を行うユーザが取得している商品の一覧が表示される。これは例えば、サーバ１００のユーザ判定部１１４による判定に応じてユーザに関連付けられた商品の決済情報に基づいた表示情報が、表示出力部１１８から決済機器に出力されることによって実現できる。そして、決済機器を介してユーザが決済を実行する要求が、クレジットカード会社のサーバに出力されるか、電子マネーから合計金額が引き出される。決済の完了に応じて、店舗２００の出口ＯＵＴが解錠され、ユーザは、店舗２００から退場することができる。

上述のように、本発明の別の実施形態によれば、サービスの利用登録を行っていないユーザでも店舗２００を利用することができ、利便性が高い。しかしながら、不特定多数のユーザによる利用は、無人店舗にとって防犯上不安が残る。このため、顔認証によって得られた顔の画像に、過去の店舗２００の利用履歴を対応付けて記憶しておき、未払いの商品があるユーザや、商品の陳列場所を繰返し変更したユーザなど、店舗２００の利用に好ましくない行為が認められたユーザに対しては、制限部１１６による、店舗２００への入場を制限する制限手段の解除が行われないようにすることもできる。また、一時的な識別情報に対応付けるユーザ情報としては、顔の画像に限らず、ユーザの服装の一部や所持品等でもよい。しかしながら、上述のように、店舗の防犯上の観点からは、顔の画像を用いるのが好適である。

次に、上述した本発明の一実施形態による制御方法について、図を用いて説明する。図１１は、上述の制御のフローチャートである。まず、取得部１１１は、所定の空間に入場したユーザに関連付けられた識別情報を取得する（ステップＳ１１）。識別情報は、サービスの利用登録が予め行われている場合は、記憶部１３０又は外部メモリに記憶されていてもよいし、一時的な識別情報が設定された場合は、設定部１１７から取得されてもよい。そして床センサ６０から得られるデータに基づき、検出部１１２によって、所定の空間における歩行軌跡が検出される（ステップＳ１２）。物品判定部１１３は、所定の空間の商品が陳列された陳列場所において、所定の変化が発生したか否かを判定する（ステップＳ１３）。所定の変化が発生しない場合は、ステップＳ１２へ戻り、歩行軌跡の検出を継続する。ステップＳ１３にて所定の変化が発生したと判定された場合は、ユーザ判定部１１４によって、所定の変化が発生したと判定された陳列場所と、歩行軌跡とに基づいて、商品の決済に関する決済情報に対応付ける識別情報が判定される（ステップＳ１４）。そして、記憶部１３０に、識別情報毎に、識別情報に対応付け有れた少なくとも１の決済情報が記憶される（ステップＳ１５）。そして、決済部１１５によって、決済情報に基づく決済が実行される（ステップＳ１６）。

上述のように、本発明の一実施形態によれば、各種センサを複合的に用いるため、コストの高騰を抑え、また商品の販売員を必要とせず人件費も抑制可能な、物品提供システムを実現することができる。なお、購入された商品に関する情報を用いて、店舗に新たに補充すべき商品や、陳列場所を更新すべき商品の判定を、直接店舗２００に管理者が訪れることなく行うことができる。そのため、商品の保管場所からの補充すべき商品の運搬が、都市部よりも困難な過疎地において、本発明にかかる物品提供システムは有効である。

本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各手段、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段やステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。また、上記実施の形態に示す構成を適宜組み合わせることとしてもよい。例えば、サーバ１００の機能として説明した処理は、店舗２００に設けられたサーバによって行われても良い。また、サーバ１００が備えるとして説明した各構成部は、複数のサーバによって分散されて実現されてもよい。

具体的には、制御部１１０によって行われるとした処理を、店舗２００に設けたサーバによって行われてもよいし、例えば、物品判定部１１３、制限部１１６等の機能が、店舗２００に設けたサーバに備えられてもよい。

本発明に係る発明の一実施形態を説明したが、本発明はこれに限られないことは言うまでもない。例えば、上述では、決済情報、ユーザ情報等がサーバ１００の記憶部１３０に記憶される態様について説明したが、それら各種情報は、サーバ１００とは別のメモリにデータベースとして記憶されてもよい。

また、上述では、所定の空間として店舗の例を説明した。しかしながら、所定の空間としては、物品を格納する倉庫、図書館やレンタルビデオ店等のレンタル形態のサービス等にも適用可能である。また、所定の空間としては、図１のような閉じた空間ではなく、床シートを設けた空間であれば、開いた空間でもよい。例えば、ビルやマンションの空きスペースや、オフィスの一角などに、無人の販売スペースを設けてもよい。

なお、床センサを用いた歩行軌跡の代わりに、ユーザの位置情報の変化が用いられてもよい。これは例えば、所定の空間にビーコン発信器を設置し、近距離無線通信を用いて端末装置側で推定した自端末の位置に関する情報を用いることで実現できる。

また、ユーザがサービスへ利用登録する実施形態の場合、以下の構成を実現することも可能である。例えば、ユーザの決済履歴は、当該ユーザ（識別情報）へ対応づけて記憶部に蓄積することができる。この際に、商品の購入日や、購入日の天気、店舗周辺地区のイベント等の環境情報を、決済履歴とともに記憶部に記憶してもよい。これらの情報に基づいて、ユーザ毎に、商品の購入を勧める情報を提供することができる。例えば、過去に購入された商品が消耗品であれば、購入日に基づいて商品の消費日を推定し、消費日近傍で、過去に購入した商品や、関連商品の購入を勧めるメッセージが送信されてもよい。また、当該メッセージが、ユーザが店舗へ入場した際に、端末装置３００に送信されてもよいし、音声によって出力されてもよい。これは例えば、サーバの制御部１１０が、記憶部１３０に記憶された履歴に基づいて推奨する商品を判定し、表示出力部１１８が、端末装置３００で出力される情報を出力するか、店舗２００で出力される情報を出力することによって実現できる。

また、店舗周辺の環境の変化（例えば、降雨等の天候の変化や、電車の遅延等の交通状況の変化）に応じて、店舗内のユーザへ、傘、書籍、食料、飲料等の商品の購入を勧めるメッセージが送信されてもよい。

さらに、ユーザの購入履歴に応じて、所定の報酬がユーザへ設定されてもよい。例えば、所定の商品の購入時に、料金が割り引かれてもよい。これは例えば、ユーザ毎に報酬に関する情報を記憶部１３０に記憶しておき、決済を実行する際に、決済部１１５によって決済情報が再設定されることで実現できる。

また、上述した店舗２００に、例えば車輪等の移動手段が設けられ、店舗２００が自動運転によって移動可能であってもよい。そして、店舗２００が自動運転で商品の保管倉庫へ移動し、商品の補充が行われてもよい。これにより、よりコストを削減した物品提供システムを実現することができるとともに、過疎地への積極的な店舗２００の展開が可能となる。

なお、本発明に係る物品提供システムは、読取部を認証機器９５、第１検出部を床センサ６０、第２検出部を棚圧センサ１０、送信部及び受信部を店舗２００に設けた通信手段、制限部を出口ＯＵＴに設けたドアで実現した店舗２００によって実現することができる。

サーバ１００の各機能部は、集積回路（ＩＣ（Integrated Circuit）チップ、ＬＳＩ（Large Scale Integration））等に形成された論理回路（ハードウェア）や専用回路によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。また、各機能部は、１または複数の集積回路により実現されてよく、複数の機能部の機能を１つの集積回路により実現されることとしてもよい。

サーバ１００の各機能部をソフトウェアにより実現する場合、サーバ１００または端末装置３００は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラム及び各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。すなわち、本発明に係る情報処理装置１００は、ＣＰＵがＲＡＭ上にロードされたプログラムを実行することにより、取得部１１１、検出部１１２、物品判定部１１３、ユーザ判定部１１４、決済部１１５、制限部１１６、設定部１１７及び表示出力部１１８として機能する。上記記録媒体としては、「一時的でない有形の媒体」、例えば、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、当該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

なお、上記プログラムは、例えば、ActionScript、JavaScript（登録商標）、Python、Rubyなどのスクリプト言語、C言語、C＋＋、C＃、Objective-C、Swift、Java（登録商標）などのオブジェクト指向プログラミング言語、HTML5などのマークアップ言語などを用いて実装できる。

５００ 物品提供システム
４００ ユーザ
１００ サーバ（情報処理装置）
２００ 店舗
２２０ 通信手段
３００ 端末装置
１１０ 制御部
１１１ 取得部
１１２ 検出部
１１３ 物品判定部
１１４ ユーザ判定部
１１５ 決済部
１１６ 制限部
１１７ 設定部
１１８ 表示出力部
１２０ 通信部
１２１ 受信部
１２２ 送信部
１３０ 記憶部
３１０ 制御部
３１１ 情報処理部
３１２ 表示処理部
３１３ 判定部
３２０ 通信部
３３０ 記憶部
３４０ 入力受付部
３５０ 表示部
３７０ スピーカ
３２１ 受信部
３２２ 送信部
９５ 認証機器
５０ 商品
８０ 商品棚
６０ 床センサ
１０ 棚圧センサ
２０ ＴＯＦセンサ
Ｒ１ 歩行軌跡
８０Ａ 商品棚
Ｃ１ ポイント
Ｐ１ 歩行位置
３０ 視線センサ
４０ 人感センサ
７０ 棚床センサ
４００Ｈ 手
１３３ ユーザ情報テーブル
１３１Ｔ 決済情報テーブル
１３１ 決済記憶部
９０ 決済エリア
１３４ 決済履歴テーブル
１３２Ｅ テーブル
１３１Ｅ 決済情報テーブル

Claims (12)

1. 所定の空間に入場したユーザに関連付けられた識別情報を取得する取得部と、
   前記ユーザの、前記所定の空間における少なくとも歩行軌跡を検出する検出部と、
   前記所定の空間の物品が陳列された陳列場所において、所定の変化が発生したか否かを判定する物品判定部と、
   前記物品判定部によって所定の変化が発生したと判定された陳列場所と、前記歩行軌跡とに基づいて、前記所定の変化が発生したと判定された陳列場所に陳列された商品の決済に関する決済情報に対応付ける識別情報を判定するユーザ判定部と、
   前記ユーザ判定部によって判定された識別情報毎に、当該識別情報に対応付けられた少なくとも１の決済情報を記憶する決済記憶部と、
   前記決済記憶部に記憶された決済情報に基づく決済を実行する決済部と、
   を備える情報処理装置。
2. 前記物品判定部は、前記商品が陳列された陳列場所における変化後の重量が、変化前と比較して小さくなった場合に、所定の変化が発生したと判定する、
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記物品判定部は、前記商品が陳列された陳列場所において、陳列された商品群の変化後の形状が、変化前と比較して小さくなった場合に、所定の変化が発生したと判定する、
   ことを特徴とする請求項１または２に記載の情報処理装置。
4. 前記ユーザ判定部は、前記歩行軌跡のうち、前記所定の変化が発生した際の位置が、前記所定の変化が発生したと判定された陳列場所から所定範囲内にあるユーザに対応付けられた識別情報を、前記所定の変化が発生したと判定された陳列場所に陳列された商品の決済に関する決済情報に対応付ける識別情報として判定する、
   ことを特徴とする請求項１〜３のいずれか一項に記載の情報処理装置。
5. 前記所定の空間への前記ユーザの退場を制限する制限手段を制御する制限部をさらに備え、
   前記制限部は、前記決済部によって決済が実行された識別情報に関連付けられたユーザの、前記所定の空間からの退場の制限を解除する、
   ことを特徴とする請求項１〜４のいずれか一項に記載の情報処理装置。
6. 前記ユーザに関連付けられた識別情報を、前記ユーザを特定する特定情報に対応付けて記憶するユーザ記憶部をさらに備え、
   前記取得部は、前記所定の空間に入場したユーザの端末装置から送信された前記特定情報に関連付けられた識別情報を、前記ユーザ記憶部に記憶された識別情報から取得する、
   ことを特徴とする請求項１〜５のいずれか一項に記載の情報処理装置。
7. 前記所定の空間に入場するユーザへ、一時的な識別情報を設定する設定部をさらに備え、
   前記取得部は、前記設定部によって設定された一時的な識別情報を取得する、
   ことを特徴とする請求項１〜５のいずれか一項に記載の情報処理装置。
8. 前記識別情報に対応付けられた決済情報を、当該決済情報が関連付けられた識別情報に対応する端末装置の表示部へ表示させるための表示情報を出力する表示出力部をさらに備える、
   ことを特徴とする請求項１〜７のいずれか一項に記載の情報処理装置。
9. 情報処理装置に、
   所定の空間に入場したユーザに関連付けられた識別情報を取得する取得ステップと、
   前記ユーザの、前記所定の空間における少なくとも歩行軌跡を検出する検出ステップと、
   前記所定の空間の商品が陳列された陳列場所において、所定の変化が発生したか否かを判定する商品判定ステップと、
   前記商品判定ステップにて所定の変化が発生したと判定された陳列場所と、前記歩行軌跡とに基づいて、前記所定の変化が発生したと判定された陳列場所に陳列された商品の決済に関する決済情報に対応付ける識別情報を判定するユーザ判定ステップと、
   前記ユーザ判定ステップによって判定された識別情報毎に、当該識別情報に対応付けられた少なくとも１の決済情報を記憶する決済記憶ステップと、
   前記決済記憶ステップにて記憶された決済情報に基づく決済を実行させる決済ステップと、
   を実行させる、情報処理装置の制御方法。
10. 情報処理装置に、
    所定の空間に入場したユーザに関連付けられた識別情報を取得する取得機能と、
    前記ユーザの、前記所定の空間における少なくとも歩行軌跡を検出する検出機能と、
    前記所定の空間の商品が陳列された陳列場所において、所定の変化が発生したか否かを判定する商品判定機能と、
    前記商品判定機能によって所定の変化が発生したと判定された陳列場所と、前記歩行軌跡とに基づいて、前記所定の変化が発生したと判定された陳列場所に陳列された商品の決済に関する決済情報に対応付ける識別情報を判定するユーザ判定機能と、
    前記ユーザ判定機能によって判定された識別情報毎に、当該識別情報に対応付けられた少なくとも１の決済情報を記憶する決済記憶機能と、
    前記決済記憶機能に記憶された決済情報に基づく決済を実行させる決済機能と、
    を実現させる情報処理装置の制御プログラム。
11. 所定の空間に入場したユーザに関連付けられた識別情報を読み取る読取部と、
    前記ユーザの、前記所定の空間における少なくとも歩行軌跡に関するデータを取得する第１検出部と、
    前記所定の空間の商品が陳列された陳列場所において発生した所定の変化に関するデータを取得する第２検出部と、
    前記歩行軌跡に関するデータ及び前記所定の変化に関するデータを、所定の情報処理装置へ送信する送信部と、
    前記ユーザの前記所定の空間からの退場を制限する制限手段と、
    前記制限手段の制限の解除を指示する情報を受信する受信部と、
    を備える物品提供システムであって、
    前記情報処理装置は、
    前記所定の変化が発生した陳列場所と、前記歩行軌跡とに基づいて、前記所定の変化が発生した陳列場所に陳列された商品の決済に関する決済情報に対応付ける識別情報を判定するユーザ判定部と、
    前記ユーザ判定部によって判定された識別情報毎に、当該識別情報に対応付けられた少なくとも１の決済情報を記憶する決済記憶部と、
    前記決済記憶部に記憶された決済情報に基づく決済を実行する決済部と、
    前記制限手段を制御する制限部であって、前記決済部によって決済が実行された識別情報に関連付けられたユーザの、前記所定の空間からの退場の制限を解除する指示を前記受信部へ送信する制限部と、
    を備える、物品提供システム。
12. 前記所定の空間は店舗であって、
    前記店舗は、前記読取部と、前記第１検出部と、前記第２検出部と、前記送信部と、前記制限手段と、前記受信部とを備える、請求項１１に記載の物品提供システム。

Images