JP6839324B1 - 入力システム、入力プログラムおよび入力方法 - Google Patents

Abstract

【課題】各種の入力操作において、多数のユーザの接触を回避又は削減可能な、新規な入力技術を提供すること。【解決手段】事前に登録されたユーザを認識して決済を行うための入力システムであって、購入商品を特定する商品特定情報の読取を行う読取手段と、決済を行うユーザを撮影する撮影手段と、前記撮影手段により撮影されたユーザ画像から前記ユーザによる決済動作を認識すると、前記読取手段による読取を終了させる動作認識手段と、前記ユーザ画像に基づいて、登録済みのユーザの認証を行う認証手段と、前記決済動作が認識され、かつ、前記認証が成功した場合に、登録済みのユーザ情報に基づいて、前記商品の代金の決済処理を実行する決済手段と、を備える。【選択図】図１

Description

本発明は、ユーザの接触を回避又は削減するための、入力システム、入力プログラムおよび入力方法に関する。

世界的な感染症の流行により、感染症対策に改めて注目が集まっている。例えば店舗での決済を、店員が操作する有人レジから顧客自身で決済装置を操作するセルフレジに置き換えること等、ＩＴ（Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ）を利用して人と人とが接する機会を減らすことは有効な感染症対策のひとつである。

従来から、必要な人員削減や効率化の観点から、ＩＴを利用したレジや窓口業務等の自動化技術が知られている。例えば特許文献１には、顔画像による生体認証を利用した、自動決済の方法が記載されている。特許文献１には、所定のジェスチャによってユーザが明確に顔認証の実行を指示することが記載されている。

また特許文献２には、自動販売機を利用した商品購入時の顔認証において、顧客に所定の動作を要望することにより、人以外の情報によって顔認証をしてしまうことを排除することが記載されている。

特開２０１９−６７０７５号公報 特開２０２０−８７０９３号公報

一方、不特定多数の人物が触れる物を介して菌やウイルスが広がることによる、接触感染も問題視されている。上述した従来技術では、ユーザ自身で入力を行うことが前提として想定されており、入力の際に多くの人物が同じ部分に触れることになるため、接触感染の予防の観点からは不十分と言える。

そこで本発明は、各種の入力操作において、多数のユーザの接触を回避又は削減可能な、新規な入力技術を提供することを課題とする。

上記課題を解決するために、本発明は、事前に登録されたユーザを認識して決済を行うための入力システムであって、購入商品を特定する商品特定情報の読取を行う読取手段と、決済を行うユーザを撮影する撮影手段と、前記撮影手段により撮影されたユーザ画像から前記ユーザによる決済動作を認識すると、前記読取手段による読取を終了させる動作認識手段と、前記ユーザ画像に基づいて、登録済みのユーザの認証を行う認証手段と、前記決済動作が認識され、かつ、前記認証が成功した場合に、登録済みのユーザ情報に基づいて、前記商品の代金の決済処理を実行する決済手段と、を備える。

このような構成とすることで、決済に係る入力を全て、ユーザが装置自体に触れることなく完結できる。従って、ユーザは商品のみに触れれば購入が可能であり、不特定多数の接触による感染リスクの削減が可能となる上に、装置の汚れや消耗を軽減することができる。更に、スキー場や工事現場等、手袋の着用が必要な場面であっても容易に決済が可能であるだけでなく、ユーザ画像に基づいて決済を行うため、財布やスマートフォン等を携帯する必要がなくなり、ユーザの利便性が向上する。

本発明の好ましい形態では、前記動作認識手段は、前記ユーザ画像から、事前に登録されたジェスチャを前記決済動作として認識する。
このような構成とすることで、誤認識を削減する効果が期待できる。

本発明の好ましい形態では、前記ユーザ情報は、ユーザが所属するグループを特定するグループ特定情報を含み、前記決済手段は、前記グループ特定情報に基づいて前記決済処理を実行する。
このような構成とすることで、例えば、社内の売店等での買い物における決済に本発明を適用し、ユーザが所属するグループを特定して決済を行うことで、給与からの天引きや福利厚生費を利用した支払を実現することができる。

本発明の好ましい形態では、前記決済手段は、前記グループ特定情報に基づいて事前に登録されるグループ情報を特定し、前記グループ情報において指定された決済方法に従って、前記決済処理を実行する。
このような構成とすることで、グループごとに指定された決済方法により決済を行うことが可能となる。

本発明の好ましい形態では、前記読取手段が前記読取を開始した後、所定時間の間連続して前記読取が行われなかった場合に、キャンセル処理を行う手段を更に備える。
このような構成とすることで、ユーザが途中で入力をやめてそのまま去ってしまった場合等に、キャンセルとして扱って次の入力を受け付けることが可能となる。

本発明の好ましい形態では、前記読取手段が前記読取を開始した後、前記動作認識手段が前記決済動作の認識に失敗した場合に、前記読取を終了して前記決済処理を求める入力を行うための決済表示を行う表示部を更に備える。
このような構成とすることで、何らかの原因でユーザ画像からの決済動作の認識がうまく機能しない場合にも、他の方法でユーザが決済処理を求めることができる。

本発明の好ましい形態では、前記表示部は、前記読取手段が前記読取を開始した後、所定時間の間、前記動作認識手段が前記決済動作を認識しなかった場合に、前記決済動作の認識に失敗したとみなす。

本発明の好ましい形態では、前記決済表示は、前記ユーザに対して、前回表示されたときとは異なる部分に触れることを求めるものである。
このような構成とすることで、決済動作の認識が失敗する場合であっても、多くのユーザが同じ部分に触れることを避けることができる。

上記課題を解決するために、本発明は、事前に登録されたユーザを認識して決済を行うための入力プログラムであって、購入商品を特定する商品特定情報の読取を行う読取手段と、決済を行うユーザを撮影する撮影手段と、前記撮影手段により撮影されたユーザ画像から前記ユーザによる決済動作を認識すると、前記読取手段による読取を終了させる動作認識手段と、前記ユーザ画像に基づいて、登録済みのユーザの認証を行う認証手段と、前記決済動作が認識され、かつ、前記認証が成功した場合に、登録済みのユーザ情報に基づいて、前記商品の代金の決済処理を実行する決済手段と、としてコンピュータを機能させる。

上記課題を解決するために、本発明は、事前に登録されたユーザを認識して決済を行うための入力方法であって、購入商品を特定する商品特定情報の読取を行うステップと、決済を行うユーザを撮影するステップと、撮影されたユーザ画像から前記ユーザによる決済動作を認識すると、前記読取を終了させるステップと、前記ユーザ画像に基づいて、登録済みのユーザの認証を行うステップと、前記決済動作が認識され、かつ、前記認証が成功した場合に、登録済みのユーザ情報に基づいて、前記商品の代金の決済処理を実行するステップと、をコンピュータに実行させる。

本発明によれば、多数のユーザの接触を回避又は削減可能な、新規な入力技術を提供することができる。

本発明の実施形態における入力システムの機能ブロック図である。 本発明の実施形態においてデータベースＤＢに登録される情報の一例を示す図である。 本発明の実施形態において取引履歴テーブルとして記憶される情報の一例を示す図である。 本発明の実施形態における入力システムのユーザが商品を購入するための決済に係る処理フローチャートである。 本発明の実施形態における入力システムの表示画面の一例を示す図である。 本発明の実施形態における入力システムの表示画面の一例を示す図である。 本発明の実施形態における入力システムの表示画面の一例を示す図である。 本発明の実施形態における入力システムの表示画面の一例を示す図である。 本発明の実施形態における入力システムの接触位置の記録の一例と、表示部上の位置の表現に用いる座標の説明図である。 本発明の実施形態における入力システムのボタンの表示位置の決定に係るフローチャートである。 本発明の実施形態における入力システムのボタンの表示位置の決定に関する例を示す図である。

以下、図面を用いて、本発明の入力システムについて説明する。なお、以下に示す実施形態は本発明の一例であり、本発明を以下の実施形態に限定するものではなく、様々な構成を採用することもできる。

例えば、本実施形態では入力システムの構成、動作等について説明するが、同様の構成の方法、装置、コンピュータプログラム等も、同様の作用効果を奏することができる。また、プログラムは、記録媒体に記憶させてもよい。この記録媒体を用いれば、例えばコンピュータにプログラムをインストールすることができる。ここで、プログラムを記憶した記録媒体は、例えばＣＤ−ＲＯＭ等の非一過性の記録媒体であっても良い。

また本実施形態では、顔認証を利用した決済を前提として、決済処理の指示やその他の各種入力においてユーザの接触を回避又は削減するための技術を例示するが、本発明はこれに限られない。例えば、その他の任意の入力において、後述するボタンの表示位置決定を実行することにより、画像による認証を用いないシステムやユーザの接触を前提とする幅広いシステムにおいて、多くのユーザが同じ部分に触れることを防ぐことに利用されてもよい。

本実施形態では、特に社内の売店等、特定のグループに属するユーザに利用される店舗における実施の形態を想定する。従って本実施形態では、入力システムが設置された店舗ごとに、利用グループが決まっており、当該グループに属するユーザとして登録された者が、当該店舗において本発明の入力システムを利用する。

（１）ユーザ画像を用いた決済入力
まず、決済時のユーザを撮影したユーザ画像による決済を行うための入力システムについて、全体の構成を説明する。図１は、本実施形態の入力システムの機能構成を示す図である。

本実施形態の入力システムは、読取手段１１と、撮影手段１２と、動作認識手段１３と、認証手段１４と、決済手段１５と、表示部１６と、接触位置記録手段１７と、ボタン表示手段１８と、接触位置リセット手段１９と、を備え、データベースＤＢと相互に通信可能に構成される。

入力システムは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の演算装置、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の主記憶装置、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、フラッシュメモリ等の補助記憶装置、ネットワークへの接続手段や商品情報の読取を行うための読取装置、撮影装置、ディスプレイ等を含む種々の入出力装置等を備えた、一般的なコンピュータ装置により実現される。本実施形態では、データベースＤＢ等へのアクセスを行うためのネットワークに接続された任意のコンピュータ装置に、バーコードリーダー等の読取装置、カメラ、ディスプレイ（好ましくはタッチパネルディスプレイ）等を接続することで、入力システムが構成される。

読取手段１１は、購入商品を特定する商品特定情報の読取を行う。具体的には、例えばバーコードを読み取る為のバーコードリーダーや、画像認識により商品画像や文字を認識して商品を特定するためのカメラ、近距離無線通信により商品特定情報を受信するタグリーダー等が、本発明の読取手段１１として機能する。

撮影手段１２は、決済を行うユーザを撮影してユーザ画像を生成する。本実施形態では、表示部１６の周囲に設置される撮影装置が、撮影手段１２として機能する。撮影手段１２は、決済を行うユーザの顔を撮影し、ユーザ画像を動作認識手段１３、認証手段１４、表示部１６に受け渡す。

動作認識手段１３は、ユーザ画像から、事前に登録されたジェスチャを決済動作として認識すると、読取手段１１による読取を終了させる。また本実施形態の動作認識手段１３は、決済動作以外に中止動作の認識も行う。中止動作が認識された場合には、それまでに読み取られた商品特定情報がリセットされ、決済が中止される。なお本実施形態では、決済動作としてピースサインのジェスチャが、また中止動作として手のひらを正面に向けるジェスチャが、それぞれ事前に登録される。なお決済動作や中止動作としてはこれに限られず、例えば笑顔等、特定の表情を決済動作又は中止動作としてもよい。また、ジェスチャと表情の両方を条件として決済動作又は中止動作が認識されてもよい。

決済動作や中止動作の認識は、任意の画像認識手法により行われればよい。例えば、各動作を撮影した画像及びその動作の種類を示す情報の組を教師データとして複数入力して、一般的に知られる機械学習の手法を用いて各動作の分類モデルを作成し、当該分類モデルにユーザ画像を入力することにより、決済動作又は中止動作を検出する方法が挙げられる。分類する動作としては、決済動作、中止動作、及びそれ以外、等とすればよい。ここで本実施形態では、一定時間継続して決済動作や中止動作が検出された場合に、動作認識手段１３が当該動作を認識して処理を行う。

認証手段１４は、ユーザ画像に基づいて、登録済みのユーザの認証を行う。本実施形態では、事前にユーザの顔を撮影した画像がユーザに対応付けて登録され、事前に登録された画像とユーザ画像とを比較することにより、登録済みのユーザの認証が行われる。なおこの他にも、虹彩認証や静脈認証等、任意の方法で登録済みのユーザの認証が行われてよいが、ユーザが装置に触れない方法で認証が行われることが好ましい。

ユーザ画像の解析処理は入力システムにおいて行われてもよいが、本実施形態では、ユーザの認証用の登録画像を管理する外部のサーバに、認証手段１４がユーザ画像の解析を要求して解析結果を受信し、データベースＤＢに登録されたユーザと照合することによって、登録済みのユーザの認証が行われる。ユーザの認証においては、画像の特徴量抽出により一致を判断する、一般的な顔認証技術を用いることができる。

決済手段１５は、動作認識手段１３によって決済動作が認識され、かつ、認証手段１４によって登録済みのユーザの認証が成功した場合に、登録済みのユーザの情報に基づいて、商品の代金の決済処理を実行する。また本実施形態では、ユーザ情報はユーザが所属するグループを特定するグループ特定情報と紐づけられ、決済手段１５は、グループ特定情報に基づいて決済処理を実行する。更に、グループ特定情報に基づいて、事前に登録されるグループ情報において指定された決済方法に従って、決済処理が実行されてもよい。

本実施形態では、決済処理として、決済手段１５が、ユーザを特定する情報及び決済の金額を含む取引履歴をデータベースＤＢに記録する。これにより、ユーザ個人や所属するグループへの費用請求を行うことができる。この他に例えば、ユーザ情報としてクレジットカードや銀行口座の支払情報を登録しておき、カード会社や銀行から商品代金の支払を受けるための情報を、外部のサーバ等に送信する処理であってもよい。更に、グループ情報においてグループごとに支払方法を定めておき、当該支払方法に従って、外部のサーバ等に支払の要求が送信されてもよい。

表示部１６は、入力を行うための各種の情報を表示する。表示部１６は、読取手段１１が読取を開始した後、所定時間動作認識手段１３が決済動作を認識しなかった場合に、読み取りを終了して決済処理を求める入力を行うための決済表示を行う。本実施形態では、表示部１６としてタッチパネルディスプレイが用いられ、決済表示として決済ボタンが表示部１６に表示される。そして、動作認識手段１３による決済ジェスチャの認識の代わりに、決済ボタンを介した入力によりユーザによる指示が受け付けられ、読取手段１１による読取が終了される。

一方、読取手段１１が読取を開始した後、所定時間読取が行われなかった場合には、入力システムがそれまでに読み取られた商品特定情報をリセットし、決済を中止するキャンセル処理を実行する。この際のキャンセル処理は、動作認識手段１３によって中止動作が認識された場合の処理と同一である。

接触位置記録手段１７は、表示部１６上でユーザが触れた接触位置を特定して、その接触があった時刻とともにデータベースＤＢに記録する。なお接触があった時刻とは、厳密に接触が行われた時刻と完全に同一でなくてもよく、例えばその接触による入力が行われた時刻や、その接触による入力が行われた決済の実行時刻等、前後の時刻を含む。

接触位置記録手段１７は、例えば表示部１６に備えられた接触センサによって接触位置を特定してもよいし、その他、表示部１６を撮影して得られた画像等の分析によって接触位置を特定してもよい。本実施形態では、表示部１６上にユーザからの入力を受け付ける為のボタンが表示され、当該ボタンを介した入力が行われた場合に、接触位置記録手段１７が当該ボタンの表示位置の中心を接触位置とみなして記録する。この他、接触位置記録手段１７は、表示部１６上の表示内容に関わらず全ての接触位置をセンサ等によって特定し、記録してもよい。

ボタン表示手段１８は、接触位置に基づいて、基準時刻以降の接触が最も少ない位置をボタンの表示位置として決定する。ここで本実施形態では、ボタン表示手段１８は、決済表示として表示される決済ボタンの表示位置を決定する。

接触位置リセット手段１９は、リセット指示を受け付けて、接触位置の記録をリセットする。リセットが行われた場合、ボタン表示手段１８は、リセット後の接触位置に基づいて、接触が少ない位置を表示位置として決定する。なお、本実施形態においては、リセットが行われた時刻を基準時刻とすることで、リセット後の接触位置に基づく表示位置の決定が行われるが、例えばリセット指示により、それ以前の接触位置の記録にリセットフラグを立てたり、接触位置の記録自体を消去したりしてもよい。

図２、図３は、データベースＤＢに登録される情報の一例を示す図である。図２に示すように、データベースＤＢは、ユーザマスタ、グループマスタ、グループユーザマスタを有しており、これらの情報によって、各ユーザの情報と、グループの情報と、各グループに所属するユーザの情報と、が管理される。

ユーザマスタはユーザに関するユーザ情報であり、ユーザの識別子でありログイン等に用いられるユーザＩＤと、システム側でユーザを一意に特定するシステムＵＩＤと、ユーザの氏名と、顔認証のための画像解析を実行する外部のサーバにおいて顔認証情報を一意に特定するための顔認証ＩＤと、を有する。このようにユーザＩＤとは別にユーザを一意に特定可能な不変のシステムＵＩＤを用いることで、例えばメールアドレスをユーザＩＤとして用いる場合等、ユーザが自由にユーザＩＤを変更しても容易にユーザを特定できる。更に、各種管理権限等をユーザマスタとして記憶していてもよい。

また、クレジットカードや銀行口座からの引き落としにより決済を行う場合には、更にクレジットカードや銀行口座の情報が支払情報として記憶される。ここでユーザ情報において決済方法を指定する情報を記憶しておき、決済手段１５はユーザ情報における指定に基づいて決済処理を実行してもよい。また必要に応じてログインパスワード等の情報が管理され、ユーザ情報に基づいてシステムへのユーザログインが行われる。

グループマスタはグループに関するグループ情報であり、グループを一意に特定するグループＩＤと、グループの識別子であるグループコードと、グループの名称を表すグループ名と、グループがシステムの利用を開始した利用開始日と、グループがシステムの利用を終了した、又は終了する予定の利用終了日と、を有する。グループコードは、グループの管理者等が任意に変更可能であるが、グループＩＤは、グループを一意に特定する不変の文字列である。

グループユーザマスタは、グループとユーザの対応付けを保持する。グループＩＤと、グループに所属するユーザのシステムＵＩＤと、当該ユーザがグループ内で購入した回数と、当該ユーザがグループ内で購入した総額と、がグループユーザマスタとして記憶される。ここで本実施形態において「グループ内で購入した」とは、当該グループが利用グループとして指定された店舗での購入を意味する。

この他、グループマスタ又はグループユーザマスタにおいて、当該グループにおける決済方法を指定する情報が記憶されていてもよい。また、これらの情報の各レコードにおいて、更にレコードの作成者、作成日時、更新者、更新日時を記録していてもよい。

図３は、取引履歴テーブルとして記憶される情報の一例を示す図である。取引履歴テーブルのレコードは、購入商品ごとに作成される。例えば一度の取引で２種類の商品が購入された場合、２レコード作成される。取引履歴テーブルのレコードは、グループＩＤと、取引日時と、明細ナンバーと、取引が行われた装置のデバイスＩＤと、装置が設置されている売場のフロアＩＤと、取引を行ったユーザを特定するシステムＵＩＤと、商品のＪＡＮコードと、商品名と、商品名カナと、個数と、単価と、購入金額と、税率と、消費税額と、を含んでいる。このように取引履歴が記録されることで、グループごとに各ユーザの購入金額を特定でき、例えば給与からの天引きや福利厚生費としての利用など、グループごとに適した方法でユーザが代金の支払を行うことができる。購入金額及び消費税額としては、対象の購入商品の金額が記録される。即ち、図３に例示した商品と同時に別の商品を購入していた場合でも、取引履歴のレコードは図３の内容となる。

ここで本実施形態では、取引日時としてサーバ側でミリ秒単位のタイムスタンプを記録し、同一時刻の取引履歴のレコードを一度の取引とみなして扱う。これにより、本実施形態の入力システムは、領収書のような形式で一度の取引の情報をまとめて出力することができる。なおこの他、ユーザは、システムにログインすることで、自らのシステムＵＩＤが記録された取引履歴を確認することができ、この取引履歴を領収書として用いることができる。

図４は、ユーザが商品を購入するための決済に係る処理フローチャートである。商品購入のための入力が開始されると、まずステップＳ１０１において、読取手段１１が読取を開始し、撮影手段１２がユーザの撮影を開始し、商品特定情報の読取又は、決済動作又は中止動作の検出を待機する。

図５は、この時に表示部１６に表示される入力画面の一例を示す図である。入力画面Ｗ１は、読取手段１１によって特定された購入待機商品を表示する購入待機商品表示部Ｗ１１と、撮影手段１２によって撮影されたユーザ画像を表示するユーザ画像表示部Ｗ１２を備える。

ユーザ画像表示部Ｗ１２は、撮影画像をリアルタイムで表示し、ユーザが自身の画像を確認できる。ここでユーザが理解しやすいよう、ユーザ画像表示部Ｗ１２において左右反転したユーザ画像が表示されてもよい。商品特定情報の読取前には図５（ａ）のように、購入待機商品表示部Ｗ１１において商品特定情報の読取を求める表示が行われ、１以上の購入待機商品がある場合には図５（ｂ）のように、画面の上下に決済動作又は中止動作を求める表示が行われる。

ステップＳ１０１において、読取手段１１は、商品特定情報の読取を行う。本実施形態では、バーコードリーダーによって商品のコードを読み取り、商品を特定する。商品特定情報が読み取られた場合、ステップＳ１０２に進んで、読取手段１１が特定した商品を購入待機商品として追加し、合計金額に当該商品の金額を加算する。購入待機商品表示部Ｗ１１には追加後の情報が反映される。そして再びステップＳ１０１に戻り、入力システムは次の商品読取や、動作の検出を待機する。

ステップＳ１０１において動作認識手段１３が動作を検出すると、決済動作の場合（ステップＳ１０３で「決済動作」）にはステップＳ１０４に進む。ステップＳ１０４では、決済動作が一定時間連続して検出されるか否かを判断する。

ステップＳ１０４で決済動作が一定時間継続しない場合、ステップＳ１０５で、決済動作の認識がされない状態で一定時間経過したか否かを更に判断する。そして、決済動作の認識がない状態で一定時間経過していない場合にはステップＳ１０１に戻り、一定時間決済動作が認識されていない場合には、ステップＳ１０６に進んで決済ボタンを表示する。

このように本実施形態では、所定時間の間決済動作の認識が行われない場合には、決済動作の認識が何らかの要因で失敗している可能性があるため、ボタンによる入力ができるよう決済ボタンが表示される。特に本実施形態では、予め設定される継続時間に満たない短時間の決済動作が検出された場合に、決済動作が所定時間以上認識されていなければ、決済ボタンを表示する。この際、撮影手段１２によって撮影された画像において、人の顔が検出されていることを更に条件としてもよい。また同様に、所定時間の間商品特定情報の読取が行われない場合や、予め設定される継続時間に満たない短時間の中止動作が検出された場合等に、表示部１６が中止ボタンを表示してもよい。

図６は、決済動作認識時の入力画面Ｗ１の一例を示す図である。決済動作が検出されると図６（ａ）のように、入力画面Ｗ１において更に認識表示Ｗ１３が表示される。これにより、ユーザは動作が検出されていることを把握できる。ここで認識表示Ｗ１３は、決済動作が認識されるまでの時間を示すことが好ましい。本実施形態では、連続して決済動作が検出されている時間に応じて認識表示Ｗ１３が変化し、一定時間継続して決済動作が検出されたときに図６（ａ）のように画面上部まで認識表示Ｗ１３が伸びる。これにより、ユーザに決済動作の継続を求めることができる。また決済動作の検出中に、例えば「動かないでください」等のメッセージと共に決済動作が認識されるまでのカウントダウンを認識表示Ｗ１３として表示して、ユーザに決済動作の継続を求めてもよい。

決済ボタンや中止ボタンを表示する場合、ユーザが当該ボタンに触れるため、同一部分への多数のユーザの接触を避けるために、前回表示されたときとは異なる部分に触れることを求めるが好ましい。例えばボタンの表示位置の候補を複数用意しておき、表示のたびに位置を変更したり、ユーザによる接触位置を記録しておき、接触されていない位置にボタンを表示したりすることが想定される。後者の方法の詳細については、後述する。

ステップＳ１０４で、動作認識手段１３が一定時間継続して決済動作を検出した場合、決済動作を認識してステップＳ１０７に進む。このように、一定時間、例えば３秒間の決済動作の継続をユーザに求めることにより、ユーザが偶然一時的に決済動作と似たポーズを取った場合等に、誤って決済が行われてしまうことを防止できる。ステップＳ１０７では、認証手段１４が、ユーザ画像に基づく認証処理を行う。本実施形態では、認証手段１４が事前に登録されるユーザの顔認証情報を管理する外部のサーバに、ユーザ画像の解析を要求する。

外部のサーバでは事前に登録されるユーザの顔認証情報に基づいてユーザ画像の解析が行われ、ユーザ画像に対応する登録済みのユーザが特定される。そして当該ユーザの顔認証情報を一意に特定するための顔認証ＩＤが入力システムに返され、認証手段１４がこれを受信する。そして、当該顔認証ＩＤを有するユーザ情報をデータベースＤＢから特定することで、決済を行おうとするユーザが特定される。

そしてステップＳ１０８では、決済手段１５が、特定されたユーザのシステムＵＩＤ及び購入商品等の情報を含む取引履歴をデータベースＤＢに記録することで決済処理が行われ、処理が終了する。

ここで本実施形態では、ユーザ情報が団体特定情報と紐づけられており、ユーザが所属する団体が特定される。これにより、団体情報に基づいた決済を行うことが可能である。例えば、団体情報において給与からの天引きによる支払が指定されている団体のユーザに対しては、購入時点での支払処理は行われず、取引履歴に基づいて別途団体に対する請求情報が生成される。一方、団体情報においてユーザ個人のクレジットカードによる支払が指定されている団体のユーザに対しては、購入時点でクレジットカードによる支払を行わせるために、カード会社等のサーバに対する決済処理要求が行われる。

なお、ユーザ画像を解析する外部のサーバにおいて、ユーザ画像に対応する登録済みユーザが特定されない場合や、認証手段１４が受信した顔認証ＩＤを有するユーザ情報が特定されない場合には、決済処理を行わずにその旨を表示部１６に表示することが好ましい。

図７は、ステップＳ１０７及びステップＳ１０８において表示部１６に表示される画面の一例を示す図である。ステップＳ１０７で顔認証を実行する間や、認証後ステップＳ１０８の決済処理を行う間は、図７（ａ）のように決済のための処理を行っている最中であることを表示することが好ましい。また決済の完了後には図７（ｂ）のように、処理が終了した旨を表示することが好ましい。

またステップＳ１０１で動作認識手段１３が中止動作を検出した場合（ステップＳ１０３で「中止動作」）には、ステップＳ１０９に進んで、ステップＳ１０４と同様に中止動作が一定時間連続して検出されるか否かを判断する。ステップＳ１０９で中止動作が一定時間継続しない場合、ステップＳ１０１に戻って、入力システムは次の商品読取や、動作の検出を再度待機する。このとき、一定時間中止動作が認識されない場合には、表示部１６が中止ボタンを表示してもよい。

図８は、中止動作を検出した場合の画面の表示例を示す図である。中止動作が検出されると図８（ａ）のように、決済動作認識時と同様に入力画面Ｗ１において認識表示Ｗ１３が表示される。なお、決済動作の場合と中止動作の場合とで認識表示Ｗ１３の表示の態様を異ならせてもよい。

ステップＳ１０９で、動作認識手段１３が一定時間継続して中止動作を検出した場合、中止動作が認識されステップＳ１１０に進む。ステップＳ１１０では、入力システムが購入待機商品及び金額をリセットするキャンセル処理を実行し、処理を終了する。この際には、図８（ｂ）のように、取引が中止された旨を表示することが好ましい。

ここで、ユーザが商品特定情報の読取を行った後、中止動作を行わずに放置してその場を離れてしまう問題が想定される。このような場合にキャンセル扱いとすることができるよう、本実施形態の入力システムは、読取手段１１が読取を開始した後、ステップＳ１０１で商品の読取がない場合、ステップＳ１１１に進み、読取がない状態で一定時間（例えば３０秒）経過したか否かを判断する。

ここで一定時間の間連続して読取が行われなかった場合は、ステップＳ１１２に進み、キャンセル処理を行う。この際、撮影手段１２によって撮影された画像において、人の顔が検出されないことを更に条件としてもよい。一方、一定時間経過していない場合には、ステップＳ１０１に戻って引き続き商品の読取や動作の検出を待機する。

なお、図４の処理手順は一例であり、処理順序等を任意に変更してよい。例えば、動作認識手段１３による決済動作又は中止動作の認識と、認証手段１４による登録済みのユーザの認証を並行して行ったり、順序を入れ替えたりしてもよい。

以上のように、本実施形態の入力システムによれば、ユーザ画像を利用して顔認証及び決済動作の認識が行われるため、ユーザが装置に触れることなく決済を完結することができる。これにより、接触感染の予防や、接触による装置の消耗を防ぐ効果等が期待される。また本実施形態のように、ユーザ情報を団体情報と対応付け、団体情報に基づく決済処理を行うことにより、団体ごとの要求に応じた決済を行うことが可能になる。

（２）ボタンの表示位置決定
次に、例えば上述の決済ボタンや中止ボタンを表示する場合等に、多数のユーザによる同一部分への接触を減らすための、ボタンの表示位置決定に関する処理について図９〜図１１を参照して詳細に説明する。なお上述したとおり、本実施形態は一例にすぎず、タッチパネルディスプレイを利用した任意の入力装置において、本発明を利用することができる。

本実施形態では、入力システムが接触位置記録手段１７及びボタン表示手段１８を備えており、ボタン表示手段１８によって、表示部上で過去に接触が少ない位置を、ボタンの表示位置として決定し、表示部１６において当該表示位置にボタンを表示する。これにより、ユーザによるボタン操作の際に、多数のユーザが表示部１６上の同一部分に触れることを回避又は削減でき、接触感染のリスク低減等の効果が期待される。

本実施形態では、データベースＤＢが更に、接触位置を記憶している。図９において、接触位置の記録の一例と、表示部１６上の位置の表現に用いる座標の説明図を示す。本実施形態の接触位置記録手段１７は、表示部１６に備えられたセンサにより、ユーザが触れた位置を特定し、その位置をデータベースＤＢに記録する。本実施形態では、接触位置として、例えば図９下部に示すような座標によって指定される領域と、接触時刻と、が記録される。

ここで本実施形態の接触位置記録手段１７は、処理負担軽減のために、常に表示部１６全体に対する接触を特定することは行わず、ボタンを介した入力が行われた場合に、当該ボタンの表示位置に対する接触があったものとみなす。なお、表示部１６の全体に対する接触位置を常に監視し、ボタン等の表示に関わらず全ての接触位置を接触位置記録手段１７が特定して記録してもよい。

なお表示部１６上の位置の表現は任意に設定されてよい。また、複数の領域にまたがる位置に接触があった場合等には、接触位置として複数の領域を記録してもよい。

図１０は、ボタン表示手段１８による、ボタンの表示位置の決定に係るフローチャートである。まずステップＳ２１において、データベースＤＢに記録された接触位置の記録の中から、基準時刻以降の接触位置の記録を抽出する。このように基準時刻以降の接触を対象として、当該接触位置を避けて表示位置を決定することで、例えば決まった時刻に装置の消毒を行うことで、装置への接触による接触感染を防止する等の運用が可能となる。

続いてステップＳ２２〜ステップＳ２５の処理で、対象となる過去の接触位置に基づいて、接触が少ない位置をボタンの表示位置として決定する。なお処理手順は一例であり、接触の少ない位置を特定できる範囲内であれば、任意に変更してよい。

まずステップＳ２２では、ボタンの表示位置の候補の一つに対する接触位置の記録の有無を確認する。接触記録がない場合にはステップＳ２３に進んで、その位置をボタンの表示位置として決定して処理を終了する。一方、その位置に対する接触位置の記録がある場合には、ステップＳ２４に進んで他の表示位置候補の有無を更に確認する。

他の表示位置候補がなければ、ステップＳ２５で、基準時刻以降の接触位置の記録において、最後に接触された時刻が最も古い位置を表示位置として決定して処理を終了する。このように基準時刻以降に接触が記録されていない位置が存在しない場合、複数のユーザが同一部分に触れることになる為、入力システムを使用する店舗の管理者の端末装置等にその旨を通知し、装置の消毒を促してもよい。

一方他の表示位置候補がある場合にはステップＳ２６で次の候補に変更してステップＳ２２に戻り、表示位置が決定されるまで処理を繰り返す。これにより、基準時刻以降に接触がない位置がある場合には、その位置が表示位置として決定され、基準時刻以降に接触がない位置がない場合には、基準時刻以降最後に接触された時刻が最も古い位置が表示位置として決定される。

また本実施形態では入力システムが接触位置リセット手段１９を備えており、接触位置の記録をリセットすることができる。これにより、例えば装置の消毒を行ったときに店舗の従業員等がリセット指示を入力することで、消毒後の接触を対象として、接触がない位置にボタンを表示することが可能となる。

図１１において具体例を示して説明する。例えば図１１（ａ）のように、ボタンが表示され、接触位置として示した位置に、ユーザが触れたとする。すると接触位置として、ボタンの表示位置の中心であるＷ，１２の座標と、接触時刻が記録される。

すると、その次にボタンを表示する場合には、図１１（ｂ）のように、当該接触位置を避けて表示位置が決定される。ここで表示位置としてはボタンの中心座標を示せばよく、図１１（ｂ）の例ではＶ，１２が表示位置となっている。

ここで、画面に表示された丸いボタンを操作する場合、その中心付近に触れるユーザが多いことが知られている。従って、図１１（ｂ）では表示領域の端が接触位置と重複しているが、中心はＶ，１２であり、この座標は接触位置として記録されていないため、本実施形態ではこのような場合も許容する。なお、ボタンの表示領域が過去の接触位置を含まないことを条件に表示位置を決定するように変更してもよい。

なお上述の処理手順は一例であり、任意に処理順序等の設計変更が可能である。例えば本実施形態では基準時刻以降の接触位置を対象として、予め設定される基準時刻以降の接触が最も少ない位置を表示位置として決定するが、現在時刻から所定時間遡った時刻を基準時刻として扱う等の変更が可能である。また、決まった基準時刻を設けず、過去全ての接触位置に基づいて、最も接触の少ない位置をボタンの表示位置として決定する構成としてもよい。

１１ ：読取手段
１２ ：撮影手段
１３ ：動作認識手段
１４ ：認証手段
１５ ：決済手段
１６ ：表示部
１７ ：接触位置記録手段
１８ ：ボタン表示手段
１９ ：接触位置リセット手段
Ｗ１ ：入力画面
Ｗ１１ ：購入待機商品表示部
Ｗ１２ ：ユーザ画像表示部
Ｗ１３ ：認識表示
Ｗ１４ ：決済ボタン

Claims (10)

1. 事前に登録されたユーザを認識して決済を行うための入力システムであって、
   購入商品を特定する商品特定情報の読取を行う読取手段と、
   決済を行うユーザを撮影する撮影手段と、
   前記撮影手段により撮影されたユーザ画像から前記ユーザによる決済動作を認識すると、前記読取手段による読取を終了させる動作認識手段と、
   前記ユーザ画像に基づいて、登録済みのユーザの認証を行う認証手段と、
   前記決済動作が認識され、かつ、前記認証が成功した場合に、登録済みのユーザ情報に基づいて、前記購入商品の代金の決済処理を実行する決済手段と、
   を備える入力システム。
2. 前記動作認識手段は、前記ユーザ画像から、事前に登録されたジェスチャを前記決済動作として認識する請求項１に記載の入力システム。
3. 前記ユーザ情報は、ユーザが所属するグループを特定するグループ特定情報と紐づけられ、
   前記決済手段は、前記グループ特定情報に基づいて前記決済処理を実行する請求項１又は請求項２に記載の入力システム。
4. 前記決済手段は、前記グループ特定情報に基づいて、事前に登録されるグループ情報を特定し、前記グループ情報において指定された決済方法に従って、前記決済処理を実行する請求項３に記載の入力システム。
5. 前記読取手段が前記読取を開始した後、所定時間の間連続して前記読取が行われなかった場合に、キャンセル処理を行う手段を更に備える請求項１から請求項４の何れかに記載の入力システム。
6. 前記読取手段が前記読取を開始した後、前記動作認識手段が前記決済動作の認識に失敗した場合に、前記読取を終了して前記決済処理を求める入力を行うための決済表示を行う表示部を更に備える請求項１から請求項５の何れかに記載の入力システム。
7. 前記表示部は、前記読取手段が前記読取を開始した後、所定時間の間、前記動作認識手段が前記決済動作を認識しなかった場合に、前記決済動作の認識に失敗したとみなす、請求項６に記載の入力システム。
8. 前記決済表示は、前記ユーザに対して、前回表示されたときとは異なる部分に触れることを求めるものである請求項６又は請求項７に記載の入力システム。
9. 事前に登録されたユーザを認識して決済を行うための入力プログラムであって、
   購入商品を特定する商品特定情報の読取を行う読取手段と、
   決済を行うユーザを撮影する撮影手段と、
   前記撮影手段により撮影されたユーザ画像から前記ユーザによる決済動作を認識すると、前記読取手段による読取を終了させる動作認識手段と、
   前記ユーザ画像に基づいて、登録済みのユーザの認証を行う認証手段と、
   前記決済動作が認識され、かつ、前記認証が成功した場合に、登録済みのユーザ情報に基づいて、前記購入商品の代金の決済処理を実行する決済手段と、
   としてコンピュータを機能させる入力プログラム。
10. 事前に登録されたユーザを認識して決済を行うための入力方法であって、
    購入商品を特定する商品特定情報の読取を行うステップと、
    決済を行うユーザを撮影するステップと、
    撮影されたユーザ画像から前記ユーザによる決済動作を認識すると、前記読取を終了させるステップと、
    前記ユーザ画像に基づいて、登録済みのユーザの認証を行うステップと、
    前記決済動作が認識され、かつ、前記認証が成功した場合に、登録済みのユーザ情報に基づいて、前記購入商品の代金の決済処理を実行するステップと、
    をコンピュータに実行させる入力方法。