JP6134607B2 - User observation system - Google Patents
User observation system Download PDFInfo
- Publication number
- JP6134607B2 JP6134607B2 JP2013171221A JP2013171221A JP6134607B2 JP 6134607 B2 JP6134607 B2 JP 6134607B2 JP 2013171221 A JP2013171221 A JP 2013171221A JP 2013171221 A JP2013171221 A JP 2013171221A JP 6134607 B2 JP6134607 B2 JP 6134607B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- identifier
- product
- camera
- association
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000033001 locomotion Effects 0.000 claims description 116
- 238000004458 analytical method Methods 0.000 claims description 56
- 238000005259 measurement Methods 0.000 claims description 33
- 238000013459 approach Methods 0.000 claims description 25
- 238000001514 detection method Methods 0.000 claims description 15
- 230000009471 action Effects 0.000 claims description 11
- 239000000284 extract Substances 0.000 claims 1
- 238000004891 communication Methods 0.000 description 325
- 230000005540 biological transmission Effects 0.000 description 96
- 230000001133 acceleration Effects 0.000 description 57
- 238000000034 method Methods 0.000 description 41
- 230000003287 optical effect Effects 0.000 description 33
- 230000008859 change Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 11
- 230000000875 corresponding effect Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 230000004048 modification Effects 0.000 description 8
- 238000012986 modification Methods 0.000 description 8
- 230000036544 posture Effects 0.000 description 6
- 230000004044 response Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 230000004397 blinking Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000010183 spectrum analysis Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000002366 time-of-flight method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
本発明は、ユーザ観察システムに関する。 The present invention relates to a user observation system.
どのようなユーザがどのような商品を購買したのかを識別する方法として、ＩＤ−ＰＯＳが知られている。ＩＤ−ＰＯＳは、ユーザのＩＤに基づいたＰＯＳ（販売時点管理）であり、ユーザの特性、すなわちユーザの属性情報と購入した商品との関係を分析することを可能にする。ＩＤ−ＰＯＳで得られたユーザの特性はマーケティングに活用されている。例えば非特許文献１にはＩＤ−ＰＯＳシステムが開示されている。昨今では、電子マネー機能が搭載された携帯型通信デバイス（例えば腕時計タイプ、キーホルダータイプ、またはスマートフォン）が開発されており、商品購入の支払時にこの電子マネーが利用されれば携帯型通信デバイスを利用したＩＤ−ＰＯＳ分析が可能である。
ID-POS is known as a method for identifying which user has purchased what product. ID-POS is a point-of-sale (POS) based on the user's ID, and makes it possible to analyze the characteristics of the user, that is, the relationship between the user's attribute information and the purchased product. User characteristics obtained by ID-POS are used for marketing. For example, Non-Patent
一方、ユーザにとって関心ある商品とユーザとの関係を分析してマーケティングに活用する取組も行われつつある。ユーザの商品に対する関心を認識する方法としては、商品を手にした等の商品に対するユーザの所定の行動があれば、商品に対してユーザが関心を有するとみなす方法がある。そのためには、店舗内のユーザの行動（棚前行動）を商品棚の近くに設置したカメラ等の環境センサで追跡し、分析することができる。この方法により、関心のある商品とカメラで取得可能なユーザ属性情報（例えば、年齢や性別など）との関係性を得ることができる。 On the other hand, efforts are being made to analyze the relationship between products that are of interest to the user and the user and utilize it in marketing. As a method for recognizing the user's interest in the product, there is a method in which the user is considered interested in the product if there is a user's predetermined action on the product, such as holding the product. For this purpose, the behavior of the user in the store (behavior before the shelf) can be tracked and analyzed by an environmental sensor such as a camera installed near the product shelf. By this method, it is possible to obtain the relationship between the product of interest and the user attribute information (for example, age and sex) that can be acquired by the camera.
ＩＤ−ＰＯＳシステムと棚前行動の取得システムとを連携させることができれば、各ユーザについて、購入には至らなかったが関心があった商品を特定することができるので、より高度なマーケティングが可能になると考えられる。 If the ID-POS system can be linked to the system in front of the shelf, it will be possible to identify products that were not purchased but interested in each user, enabling more advanced marketing. It is considered to be.
従来のＩＤ−ＰＯＳシステムでは、購入した商品の情報およびユーザの対応付けについては、商品の購入時または決済時に取得することが可能である。しかしながら、店舗内にカメラを設置していたとしても、店舗内での個々のユーザの行動を、ユーザを特定する情報と対応付けて追跡することは困難である。例えば、店舗内で、特定のユーザについて、購入していないが関心を示した商品を認識することは困難である。特に店舗内に複数のユーザがいる場合には、個々のユーザを識別しつつ、そのユーザの行動を追跡するのは困難である。 In a conventional ID-POS system, information on purchased products and user association can be acquired at the time of purchase or settlement of the product. However, even if a camera is installed in the store, it is difficult to track each user's behavior in the store in association with information that identifies the user. For example, in a store, it is difficult to recognize a product that has not been purchased but shows interest for a specific user. In particular, when there are a plurality of users in the store, it is difficult to track each user's behavior while identifying each user.
そこで、本発明は、店舗内でのユーザの行動を、ユーザを特定する情報と対応付けて追跡することが容易なユーザ観察システムを提供する。 Therefore, the present invention provides a user observation system that can easily track a user's behavior in a store in association with information specifying the user.
本発明に係るユーザ観察システムの一例は、店舗内に設置され、前記店舗内のユーザを逐次的に撮影するカメラと、前記カメラで撮影される前記ユーザの行動を分析する行動分析装置と、前記ユーザに保持される可搬型装置に記録された当該可搬型装置を一意に識別可能な装置識別子とともに、前記ユーザの行動を記憶する装置識別子・履歴データベースとを備える。前記行動分析装置は、前記装置識別子を前記カメラで撮影される前記ユーザに対応付け、前記カメラで撮影されるユーザの行動を前記装置識別子に対応付けて前記装置識別子・履歴データベースに記録する。 An example of a user observation system according to the present invention includes a camera that is installed in a store and sequentially captures a user in the store, a behavior analysis device that analyzes the behavior of the user captured by the camera, The apparatus includes a device identifier / history database that stores the user's behavior together with a device identifier that can uniquely identify the portable device recorded in the portable device held by the user. The behavior analysis device associates the device identifier with the user photographed by the camera, and records the behavior of the user photographed by the camera in the device identifier / history database in association with the device identifier.
本発明に係るユーザ観察システムの他の一例は、店舗内に設置され、前記店舗内のユーザを逐次的に撮影するカメラと、前記カメラで撮影される前記ユーザの行動を分析する行動分析装置と、前記ユーザを一意に識別可能なユーザ識別子とともに、前記ユーザの行動を記憶するユーザ履歴データベースとを備える。前記行動分析装置は、前記店舗に所有され前記店舗内で前記ユーザに保持される可搬型装置から報告される前記ユーザ識別子を前記カメラで撮影される前記ユーザに対応付け、前記カメラで撮影されるユーザの行動を前記ユーザ識別子に対応付けて前記ユーザ履歴データベースに記録する。 Another example of the user observation system according to the present invention is a camera that is installed in a store and sequentially captures a user in the store, and a behavior analysis device that analyzes the user's behavior captured by the camera. And a user history database that stores the user's behavior together with a user identifier that can uniquely identify the user. The behavior analysis device associates the user identifier reported from a portable device owned by the store and held by the user in the store with the user photographed by the camera, and photographed by the camera User behavior is recorded in the user history database in association with the user identifier.
本発明においては、ユーザに保持される可搬型装置に記録された装置識別子または可搬型装置から報告されるユーザ識別子をカメラで撮影されるユーザに対応付け、カメラで撮影されるユーザの行動を装置識別子またはユーザ識別子に対応付けて装置識別子・履歴データベースまたはユーザ履歴データベースに記録する。したがって、店舗内でのユーザの行動を、ユーザを特定する情報と対応付けて追跡することが容易である。 In the present invention, the device identifier recorded in the portable device held by the user or the user identifier reported from the portable device is associated with the user photographed by the camera, and the user's behavior photographed by the camera is correlated with the device. It is recorded in the device identifier / history database or user history database in association with the identifier or user identifier. Therefore, it is easy to track the user's behavior in the store in association with information specifying the user.
以下、添付の図面を参照しながら本発明に係る様々な実施の形態を説明する。 Hereinafter, various embodiments according to the present invention will be described with reference to the accompanying drawings.
第１の実施の形態
図１は本発明の第１の実施の形態に係るユーザ観察システムを示す概略図である。このユーザ観察システムは、商品を販売する店舗１０内に設置された少なくとも１つのユーザ認識装置１１０と、サーバ装置１３０と、商品データベース１４０と、装置識別子・履歴データベース１５０とを備える。サーバ装置１３０、商品データベース１４０および装置識別子・履歴データベース１５０は店舗１０内に設置されていてもよいし、店舗１０の外部に設置されていてもよい。また、商品データベース１４０と装置識別子・履歴データベース１５０は１つの記憶装置に記録されていてもよいし、別個の記憶装置に記録されていてもよい。
First Embodiment FIG. 1 is a schematic view showing a user observation system according to a first embodiment of the present invention. This user observation system includes at least one
店舗１０には複数のユーザ５０，５１が訪れており、ユーザ５０，５１は、携帯型通信デバイス（可搬型装置）１２０を携行している。携帯型通信デバイス（可搬型装置）１２０は、例えば、腕時計タイプのデバイスとしてユーザ５０，５１の各々の腕に装着されてもよい。あるいは、携帯電話（例えばスマートフォン）のように、ユーザによって携行されるデバイスであってもよい。装置識別子・履歴データベース１５０には、店舗１０を訪れたユーザの行動が記録される。
A plurality of
店舗１０内には複数の商品棚１００が配置されている。商品棚１００は、複数の棚板１０１〜１０４を有し、各棚板には複数の商品１０５が配置されている。商品データベース１４０には、商品棚１００内の商品の情報が記録されている。
A plurality of
ユーザ観察システムは、店舗１０内に配置されたキャッシュレジスタ１６０をさらに備える。キャッシュレジスタ１６０は、ＰＯＳ機能を有しており、販売された商品に関する情報をサーバ装置１３０に送信する。また、キャッシュレジスタ１６０は、クレジットカードの処理機能および電子マネーの処理機能を有する。
The user observation system further includes a
図２に示すように、ユーザ認識装置１１０は、店舗１０内で移動するユーザを逐次的に撮影するカメラ１１１と、サーバ通信部１１２と、無線送信部１１３と、無線受信部１１４とを備える。カメラ１１１は、カラー画像の撮影が可能なカメラでもよいし、赤外線カメラであってもよいし、これらの組合せであってもよい。カメラ１１１は、連続的に動画像を撮影するカメラであってもよいし、一定時間おきに静止画像を撮影するカメラであってもよい。
As shown in FIG. 2, the
ユーザ認識装置１１０のサーバ通信部１１２は、サーバ装置１３０と通信するためのインターフェースである。サーバ通信部１１２は、カメラ１１１で撮影された画像データを逐次的にサーバ装置１３０に送信する。サーバ装置１３０は、カメラ１１１で撮影される店舗１０内のユーザの行動を分析する行動分析装置として機能する。
The
ユーザ認識装置１１０の無線送信部１１３は、携帯型通信デバイス１２０に無線信号を送信することが可能である。無線通信の方式は、可視光通信でもよいし、赤外線通信でもよいし、Ｗｉ−Ｆｉ（Wireless Fidelity）、Ｂｌｕｅｔｏｏｔｈ（登録商標）またはＲＦＩＤ（Radio Frequency Identification）を利用してもよい。可視光または赤外線を利用する光無線通信では、光の強度の強弱もしくは点滅パターン、波長の変化パターン、またはこれらの組合せにより信号を伝達することが可能である。光無線通信では、通常、見通し内通信（line-of-sight communication）しか達成できないが、ユーザ認識装置１１０のカメラ１１１の視界にある携帯型通信デバイス１２０とだけ通信する目的のためには、光無線通信が好ましいこともある。他方、ＷｉＦｉ、ＢｌｕｅｔｏｏｔｈまたはＲＦＩＤといった電波通信では、使用される電波が送信元から送信先まで直進しなくても届くため、通信の確実性が高められる。
The
ユーザ認識装置１１０の無線受信部１１４は、携帯型通信デバイス１２０から送信された無線信号を受信することが可能である。無線通信の方式は、可視光通信でもよいし、赤外線通信でもよいし、Ｗｉ−Ｆｉ、ＢｌｕｅｔｏｏｔｈまたはＲＦＩＤを利用してもよい。携帯型通信デバイス１２０からユーザ認識装置１１０への無線通信に光を利用する場合には、カメラ１１１が光信号を認識する光受信装置として機能するので、無線受信部１１４を設ける必要はない。
The
図３に示すように、携帯型通信デバイス１２０は、識別子記憶部１２１と、無線受信部１２２と、無線送信部１２３と、制御部１２６とを備える。識別子記憶部１２１には、携帯型通信デバイス１２０を一意に識別可能な識別子が記憶されている。識別子としては、携帯型通信デバイス１２０の製造番号またはＭＡＣ（Media Access Control）アドレスでよい。あるいは識別子は、予め携帯型通信デバイス１２０に割り当てられた番号または文字列など、携帯型通信デバイス１２０を一意に特定することが可能であれば何でもよい。制御部１２６は例えばＣＰＵ（central processing unit）である。
As illustrated in FIG. 3, the
無線受信部１２２は、ユーザ認識装置１１０の無線送信部１１３から送信された無線信号を受信する。無線送信部１２３は、無線信号を送信し、この無線信号はユーザ認識装置１１０の無線受信部１１４で受信される。具体的には、ユーザ認識装置１１０の無線送信部１１３からの要求を無線受信部１２２は受信し、この要求に応じて、制御部１２６は、無線送信部１２３により識別子記憶部１２１に記憶された識別子を示す信号を送信する。
The
好ましくは、携帯型通信デバイス１２０は、電子マネー情報記憶部１２４をさらに備える。電子マネー情報記憶部１２４は、携帯型通信デバイス１２０の所有者を識別する情報（電子決済識別子）、およびその他の電子マネーに関する情報が記録されたＩＣチップである。電子マネー情報記憶部１２４に記録された情報は、外部装置で読み取ることが可能である。店舗１０のキャッシュレジスタ１６０は電子マネー情報記憶部１２４に記録された情報を読み取ることが可能である。
Preferably, the
上記の携帯型通信デバイス１２０の識別子は、電子マネー情報記憶部１２４に記録される携帯型通信デバイス１２０の所有者を識別する電子決済識別子であってもよい。この場合には、識別子記憶部１２１と電子マネー情報記憶部１２４を別個に設ける必要はなく、電子マネー情報記憶部１２４が識別子記憶部として使用されてもよい。
The identifier of the
図４は、ユーザ認識装置１１０のカメラ１１１の視界の一例を示す。ユーザ認識装置１１０のカメラ１１１は、図４に示すように、そのカメラ１１１の観察対象の商品棚１００のすべての棚板１０１〜１０４およびその商品棚１００の前の所定の範囲がカメラ１１１の視界に入るように配置されている。したがって、カメラ１１１は、そのカメラ１１１の観察対象の商品棚１００の前でのユーザの動き、特に商品棚１００の棚板上の商品に腕を伸ばす状態を撮影することができる。例えば、カメラ１１１は、観察対象の商品棚１００のすべての棚板１０１〜１０４を斜め上方から撮影できるように、商品棚１００の上方に配置されている。
FIG. 4 shows an example of the field of view of the
サーバ装置１３０は、コンピュータプログラムに従って動作するコンピュータである。サーバ装置１３０は、カメラ１１１で撮影された画像データを逐次的に受信する。サーバ装置１３０は、画像データの各フレームと前フレームとの差分を分析する。この分析結果から、サーバ装置１３０は商品棚１００の前に人がいることを認識し、人の動き、特にその人の腕および手の動きを認識する。
The
カメラ１１１で撮影されるユーザ５０の手が商品棚１００の商品１０５に接近した場合、サーバ装置１３０は、携帯型通信デバイス１２０に携帯型通信デバイス１２０の識別子を示す信号を送信することを要求する。サーバ装置１３０は、ユーザ５０を撮影しているカメラ１１１を有するユーザ認識装置１１０にこの要求を送信し、ユーザ認識装置１１０はサーバ通信部１１２を介してその要求を受信する。要求を受信したユーザ認識装置１１０は、無線送信部１１３を介してその要求を送信する。要求の無線送信の方式は宛先を特定しないブロードキャストである。なぜなら、この段階では、要求を受信すべき装置を識別する情報は、ユーザ観察システムにとって未知だからである。無線送信部１１３から送信される電波または光が到達可能な範囲にあるユーザ５０の携帯型通信デバイス１２０は、この要求を無線受信部１２２によって受信する。
When the hand of the
あらかじめ、無線送信部１１３から送信される電波または光が到達可能な範囲がカメラ１１１で撮影可能な所定の範囲とほぼ一致するように、無線送信部１１３の送信出力またはカメラ１１１の設置場所が調整されていると好ましい。この場合には、カメラ１１１で撮影されているユーザ５０の携帯型通信デバイス１２０は、この要求を無線受信部１２２によって受信することができ、カメラ１１１で撮影されていないユーザ５１の携帯型通信デバイス１２０は、この要求を受信できない。したがって、店舗１０内に複数の人がいる場合でも、観察対象とするユーザを特定しやすい。
The transmission output of the
識別子を示す信号の要求を受信すると、携帯型通信デバイス１２０の制御部１２６は、識別子記憶部１２１に記憶されている携帯型通信デバイス１２０の識別子を読み出して、識別子を示す信号を無線送信部１２３により無線で（つまり光または電波で）送信する。この場合、悪意ある者による識別子の傍受を回避するため、携帯型通信デバイス１２０は、識別子を示す信号に暗号化処理を行って、暗号化された信号を送信してもよい。
When receiving the request for the signal indicating the identifier, the
ユーザ認識装置１１０の無線受信部１１４は、携帯型通信デバイス１２０から送信された識別子を示す信号を受信する。上記のように、携帯型通信デバイス１２０からユーザ認識装置１１０への無線通信に光を利用する場合には、ユーザ認識装置１１０のカメラ１１１が光信号を認識する光受信装置として機能するので、無線受信部１１４を設ける必要はない。
The
ユーザ認識装置１１０の無線受信部１１４（またはカメラ１１１）が識別子を示す信号を受信すると、ユーザ認識装置１１０のサーバ通信部１１２は携帯型通信デバイス１２０の識別子をサーバ装置１３０に報告する。サーバ装置１３０は、携帯型通信デバイス１２０の識別子を示す信号をカメラ１１１から受信すると、この識別子をカメラ１１１で撮影されるユーザ５０に対応付ける。
When the wireless reception unit 114 (or the camera 111) of the
カメラ１１１が携帯型通信デバイス１２０から送信される光信号を認識する場合には、サーバ装置１３０は、カメラの画像データの変化から携帯型通信デバイス１２０の識別子を認識することができる。つまり、画像データから得られる光の強度の強弱もしくは点滅パターン、波長の変化パターン、またはこれらの組合せにより、識別子が認識される。
When the
この場合、画像を構成する多数の画素のうち光の発信源の画素が特定されるので、携帯型通信デバイス１２０の位置が特定される。そして、サーバ装置１３０は、カメラ１１１で撮影されるユーザの位置に対して、光の発信源（すなわち信号の発信源）である携帯型通信デバイス１２０の位置が所定の範囲にある場合に、光の発信源である携帯型通信デバイス１２０の識別子をユーザに対応付けることができる。これにより、ユーザ認識装置１１０からの識別子の要求に応じて、複数の携帯型通信デバイス１２０が発光する場合でも、観察対象とするユーザを特定しやすい。例えば、図４に示す例において、カメラ１１１で撮影されているユーザ５０の頭部の中心から所定の距離Ｌの範囲２０１内にある携帯型通信デバイス１２０の識別子を、サーバ装置１３０はカメラ１１１で撮影されるユーザ５０に対応付ける。範囲２０１から外にある携帯型通信デバイス１２０が識別子を示す信号を送信するために発光したとしても、サーバ装置１３０はその携帯型通信デバイス１２０の識別子をカメラ１１１で撮影されるユーザ５０に対応付けない。
In this case, the pixel of the light transmission source is specified from among a large number of pixels constituting the image, and thus the position of the
ユーザと識別子の対応付けの後、サーバ装置１３０は、カメラ１１１で撮影されるユーザ５０の行動を携帯型通信デバイス１２０の識別子に対応付けて装置識別子・履歴データベース１５０に記録する。具体的には、カメラ１１１で撮影されるユーザ５０の手が店舗１０内の商品１０５に接近した場合、サーバ装置１３０は、この商品をユーザ５０が関心を有する商品として、識別子に対応付けて装置識別子・履歴データベース１５０に記録する。つまり、この実施の形態では、カメラ１１１で撮影されるユーザ５０の手が店舗１０内の商品１０５に接近した場合、ユーザと識別子が対応付けされ、さらにサーバ装置１３０は、この商品をユーザ５０が関心を有する商品として、識別子に対応付けて装置識別子・履歴データベース１５０に記録する。この時、サーバ装置１３０は、現在日付および時刻を装置識別子・履歴データベース１５０に記録してもよい。
After the association between the user and the identifier, the
図４の例の場合、ユーザ５０の腕は商品棚１００の内部に伸びている。カメラで得られた画像データの分析結果に基づいて、商品棚１００の棚板１０１〜１０４とユーザ５０の腕および手の重なり具合から、サーバ装置１３０は、ユーザ５０の手がどの棚板の上の商品に接近しているのか認識する。図４の例の場合、ユーザ５０の腕は、上から２段目の棚板１０２より下であり、上から３段目の棚板１０３より上にある。したがって、サーバ装置１３０は、ユーザ５０の手が上から３段目の棚板１０３に置いてある商品に接近したと認識する。
In the case of the example of FIG. 4, the arm of the
サーバ装置１３０は、商品データベース１４０にアクセスし、ユーザの手が接近した商品を特定する。図５は、商品データベース１４０の記録を示す。図５に示すように、商品棚の番号と棚板の番号と商品名が、商品データベース１４０内で対応付けされている。例えば、商品データベース１４０の記録の第１行目は、番号１を持つ商品棚の番号１を持つ棚板には商品ＡＡＡが配置されていることを示す。したがって、サーバ装置１３０は、カメラが観察対象とする商品棚と、ユーザ５０が手を入れた棚板を特定して、商品データベース１４０内を検索することにより、商品データベース１４０からユーザ５０の手が接近した商品名を特定することが可能である。カメラが観察対象とする商品棚は、ユーザ５０を撮影するカメラで得られた画像データの分析結果から特定される。ユーザが手を入れた棚板は上記のようにカメラで得られた画像データの分析結果に基づいて特定される。
The
図６は、装置識別子・履歴データベース１５０の記録を示す。図６に示すように、装置識別子・履歴データベース１５０には、ユーザの行動が携帯型通信デバイス１２０の識別子とともに記録されている。より具体的には、携帯型通信デバイス１２０の識別子と、商品名と、その商品に対するユーザの行動（関心を示したことまたは購入したこと）と、日付および時刻が、装置識別子・履歴データベース１５０内で対応付けされている。例えば、装置識別子・履歴データベース１５０の記録の第１行目は、識別子０００１を持つ携帯型通信デバイスの所有者であるユーザが、2012年12月14日の23時00分15秒に商品ＡＡＣに関心を有したことを示す。これは、ユーザの手が接近した商品ＡＡＣをユーザが関心を有する商品として、サーバ装置１３０が識別子に対応付けて記録した結果である。
FIG. 6 shows a record of the device identifier /
ユーザ５０は、商品１０５を購入する場合には、キャッシュレジスタ（商品購入検出装置）１６０で料金を支払う。図７に示すように、キャッシュレジスタ１６０は、電子マネー情報読み取り部１６１、電子マネー料金徴収部１６２、クレジットカード情報読み取り部１６３、クレジットカード料金徴収部１６４、商品認識部１６５、識別子認識部１６６およびサーバ通信部１６７を備える。
When the
電子マネー情報読み取り部１６１は、電子マネー情報が記録された媒体（例えばＩＣカードまたは携帯電話）から電子マネー情報を読み取る。電子マネー情報は、その媒体の所有者を示す電子決済識別子（電子マネーの発行事業者が所有者を識別するための識別子）を含む。電子マネー料金徴収部１６２は、電子マネー情報読み取り部１６１が読み取った電子マネー情報に基づいて、電子マネーで商品の料金を徴収する。
The electronic money
携帯型通信デバイス１２０が電子マネー情報記憶部１２４を有する場合には、電子マネー情報読み取り部１６１は電子マネー情報記憶部１２４に記憶された電子マネー情報を読み取る。電子マネー料金徴収部１６２が料金を徴収することで、料金の支払いは完了する。
When the
クレジットカード情報読み取り部１６３は、クレジットカードまたはクレジットカード情報が記録された媒体（例えば携帯電話）からクレジットカード情報を読み取る。クレジットカード情報は、その媒体の所有者を示す電子決済識別子（クレジットカードの事業者が所有者を識別するための識別子、すなわちクレジットカード番号）を含む。クレジットカード料金徴収部１６４は、クレジットカード情報読み取り部１６３が読み取ったクレジットカード情報に基づいて、クレジットで商品の料金を徴収する。
The credit card
商品認識部１６５は、ユーザが購入しようとする商品１０５を認識する。商品認識部１６５は、例えば商品に貼付されたバーコードを読み取るバーコードリーダでもよいし、店舗１０の店員が入力した商品情報を認識する装置でもよい。
The
識別子認識部１６６は、ユーザが所持する携帯型通信デバイス１２０の識別子記憶部１２１に記憶された携帯型通信デバイス１２０の識別子を読み取る。識別子の読み取りの方式は、例えば下記の通りである。
The
識別子認識部１６６は、ユーザ認識装置１１０の無線送信部１１３および無線受信部１１４と同様の無線送信部と無線受信部を備える。商品を持ったユーザがキャッシュレジスタ１６０の前に現れると、店員は識別子認識部１６６を起動する。すると、識別子認識部１６６の無線送信部が識別子の要求を携帯型通信デバイス１２０に送信する。この要求を無線受信部１２２で受信すると、携帯型通信デバイス１２０の制御部１２６は、識別子記憶部１２１に記憶されている携帯型通信デバイス１２０の識別子を読み出し、無線送信部１２３により識別子を示す信号を無線で（つまり光または電波で）送信する。識別子認識部１６６の無線受信部は識別子を示す情報を受信する。
The
料金の支払いが完了し、商品認識部１６５で商品が認識されると、キャッシュレジスタ１６０で商品の購入が検出されたことを意味する。キャッシュレジスタ１６０が商品の購入を検出し、識別子認識部１６６が識別子を認識すると、サーバ通信部１６７は、商品と識別子と日付および時刻を示す信号をサーバ装置１３０に送信する。
When the payment of the charge is completed and the
この信号を受信すると、サーバ装置１３０は、この信号に示される商品をユーザが購入した商品として、この信号に示される識別子に対応付けて装置識別子・履歴データベース１５０に記録する。サーバ装置１３０は、この信号に示される日付および時刻を装置識別子・履歴データベース１５０に記録してもよい。図６に示す装置識別子・履歴データベース１５０の記録の例では、第２行目は、識別子０００１を持つ携帯型通信デバイスの所有者であるユーザが、2013年1月25日の8時16分34秒に商品ＢＡＣを購入したことを示す。これは、ユーザが購入した商品ＢＡＣをサーバ装置１３０が識別子に対応付けて記録した結果である。
Upon receiving this signal, the
このようにして、各ユーザについて、購入した商品に関する情報と、関心を持ったが購入には至らなかった商品に関する情報とが装置識別子・履歴データベース１５０に蓄積される。装置識別子・履歴データベース１５０に蓄積された情報を分析することにより、より高度なマーケティングが可能になると考えられる。装置識別子・履歴データベース１５０内の各記録に日付および時刻が付与される場合には、各ユーザについて、関心ある商品の変化および購入する商品の変化を分析すること、および店舗１０への各訪問時に関心を有した商品と購入した商品を分析することが可能になる。
In this way, for each user, information related to the purchased product and information related to the product that was interested but not purchased are stored in the device identifier /
この実施の形態においては、キャッシュレジスタ１６０に携帯型通信デバイス１２０の識別子を認識する識別子認識部１６６が設けられている。しかし、携帯型通信デバイス１２０が電子マネー情報記憶部１２４を有する場合には、電子マネー情報読み取り部１６１は電子マネー情報記憶部１２４に記憶された電子マネー情報を読み取る。上記の通り、電子マネー情報に含まれる電子決済識別子が携帯型通信デバイス１２０の識別子として使用される場合には、電子マネー情報読み取り部１６１は、携帯型通信デバイス１２０の識別子を認識することができる。この場合には、電子マネー情報読み取り部１６１と識別子認識部１６６を別個に設ける必要はなく、電子マネー情報読み取り部１６１が識別子認識部として使用されてもよい。
In this embodiment, the
図８はこの実施の形態に係るサーバ装置１３０の処理を示すフローチャートである。このフローチャートを参照し、サーバ装置１３０の処理を説明する。ステップＳ１でサーバ装置１３０はカメラ１１１の現在フレームと前フレームの比較を開始する。サーバ装置１３０は、ユーザの手が商品に接近したと認識したか否か判断する（ステップＳ２）。すなわちユーザが商品棚に手を差し入れたか否か判断する。
FIG. 8 is a flowchart showing processing of the
サーバ装置１３０は、ユーザの手が商品に接近したと認識すると（ステップＳ２の判断が肯定的になると）、商品棚の番号と棚板の番号に基づいて、商品データベース１４０内の商品名を検索する（ステップＳ３）。サーバ装置１３０は、携帯型通信デバイス１２０の識別子の信号を要求する（ステップＳ４）。
When the
ステップＳ４の要求の送信の後、一定時間、識別子を示す信号が正しく受信されない場合（ステップＳ５の判断が否定的である場合）には、処理はステップＳ４に戻り、サーバ装置１３０は再度、要求を送信する。
If the signal indicating the identifier is not correctly received for a certain time after the transmission of the request in step S4 (if the determination in step S5 is negative), the process returns to step S4, and the
携帯型通信デバイス１２０の識別子の信号を受信すると（ステップＳ５の判断が肯定的になると）、サーバ装置１３０は、ステップＳ３で特定された商品名を携帯型通信デバイス１２０の識別子とともに装置識別子・履歴データベース１５０に記録する（ステップＳ６）。ここで、カメラ１１１で信号の発信源が特定可能である場合には、カメラ１１１で撮影されているユーザを中心とする範囲２０１にある発信源からの識別子の信号を受信すると、サーバ装置１３０は商品名をその識別子とともに装置識別子・履歴データベース１５０に記録してよい。上記のステップＳ３は、ステップＳ４の後、またはステップＳ５の後に実行されてもよい。
When the signal of the identifier of the
ステップＳ６の後、ユーザが商品を購入しない場合（ステップＳ７の判断が否定的である場合）には、処理は終了する。ユーザが商品を購入した場合（ステップＳ７の判断が肯定的である場合）には、キャッシュレジスタ１６０からの信号に従って、サーバ装置１３０は、購入された商品名を携帯型通信デバイス１２０の識別子とともに装置識別子・履歴データベース１５０に記録し（ステップＳ８）、処理が終了する。
After step S6, when the user does not purchase the product (when the determination in step S7 is negative), the process ends. When the user purchases a product (when the determination in step S7 is affirmative), according to the signal from the
この実施の形態では、カメラ１１１で撮影されるユーザの手が商品棚１００の商品１０５に接近した場合に、サーバ装置１３０は、携帯型通信デバイス１２０の識別子を示す信号の要求を送信する。したがって、ユーザが商品に実際に関心を有する場合に、カメラで撮影されるユーザと携帯型通信デバイス１２０の識別子を対応付けることが可能である。
In this embodiment, when the user's hand photographed by the
しかし、カメラ１１１で撮影可能な所定の範囲内にユーザが入った場合に、サーバ装置１３０は、携帯型通信デバイス１２０の識別子を示す信号の要求を送信してもよい。この場合には、ユーザの手が商品に接近する前に、要求が送信されるので、携帯型通信デバイス１２０の識別子と観察対象のユーザの対応付けを、ユーザの手が商品に接近する前に完了することが可能である。ユーザ認識装置１１０と携帯型通信デバイス１２０の通信環境が悪く、携帯型デバイス１２０の識別子を示す信号がサーバ装置１３０で正しく受信できなかった場合でも、要求の再送を繰り返すことにより、識別子をユーザに対応付ける確実性が向上する。カメラ１１１で撮影可能な所定の範囲内にユーザが入った場合に、最初の要求が送信されることにより、ユーザの手が商品に接近する時には、識別子とユーザの対応付けが完了している見込みが高められる。したがって、ユーザが商品に接近しても、そのユーザの携帯型通信デバイス１２０の識別子を認識できないといった事態を最小限化することができる。この場合、ユーザが商品に関心を有する可能性が高いときに、カメラで撮影されるユーザと携帯型通信デバイス１２０の識別子を対応付けることが可能である。
However, the
また、この実施の形態では、カメラ１１１で撮影されるユーザの手が商品棚１００の商品１０５に接近した場合に、サーバ装置１３０は、商品をユーザが関心を有する商品として、携帯型通信デバイス１２０の識別子に対応付けて装置識別子・履歴データベース１５０に記録する。したがって、ユーザが実際に関心を有する商品を装置識別子・履歴データベース１５０に記録することが可能である。
Further, in this embodiment, when the user's hand photographed by the
また、この実施の形態では、キャッシュレジスタ１６０で商品の購入が検出され携帯型通信デバイス１２０の識別子が認識されると、サーバ装置１３０は、商品をユーザが購入した商品として、装置識別子・履歴データベース１５０に記録する。したがって、装置識別子・履歴データベース１５０に蓄積された情報を分析することにより、より高度なマーケティングが可能になると考えられる。
In this embodiment, when purchase of a product is detected in the
第２の実施の形態
次に本発明の第２の実施の形態を説明する。第２の実施の形態に係るユーザ観察システムの構成は、第１の実施の形態のユーザ観察システムの構成と基本的に同じでよい。第２の実施の形態に係る携帯型通信デバイス１２０の構成も第１の実施の形態のそれと基本的に同じでよい。
Second Embodiment Next, a second embodiment of the present invention will be described. The configuration of the user observation system according to the second embodiment may be basically the same as the configuration of the user observation system according to the first embodiment. The configuration of the
但し、第２の実施の形態に係る携帯型通信デバイス１２０は、携帯型通信デバイス１２０自身の動きを測定する動き測定装置をさらに備える。図９に示すように、動き測定装置の例は、加速度センサ１２５である。この実施の形態では、動き測定装置は加速度センサ１２５であるが、動き測定装置は、例えば、ジャイロスコープ、地磁気センサ、もしくはこれらの組合せ、またはこれらと加速度センサの組合せであってもよい。
However, the
また、図１０に示すように、サーバ装置１３０は、動き情報受信部１３１と動き分析部１３２とを備える。動き情報受信部１３１は、ユーザ認識装置１１０のサーバ通信部１１２（図２参照）と通信するためのインターフェースである。携帯型通信デバイス１２０で測定される携帯型通信デバイス１２０の動きを示す情報は、携帯型通信デバイス１２０の無線送信部１２３により無線で（つまり光または電波で）送信される。ユーザ認識装置１１０は、無線受信部１１４にてその情報を受信し、サーバ通信部１１２にてサーバ装置１３０に転送する。
As illustrated in FIG. 10, the
動き分析部１３２は、サーバ装置１３０がコンピュータプログラムに従って動作することにより実行される機能ブロックである。動き分析部１３２は、ユーザ認識装置１１０のカメラ１１１で撮影されるユーザの動きを分析する。
The
この実施の形態では、サーバ装置１３０は、動き情報受信部１３１で受信された情報に示される携帯型通信デバイス１２０の動きと、カメラ１１１で撮影され動き分析部１３２で分析されたユーザの動きとを比較して、これらの動きが同一ユーザの動きに起因するか否か判断する。つまり、サーバ装置１３０は、カメラ１１１で撮影されているユーザと、携帯型通信デバイス１２０の所有者の同一性を確認する。
In this embodiment, the
第１の実施の形態と同様に、ユーザ認識装置１１０のカメラ１１１は、画像データを逐次的にサーバ装置１３０に供給する。サーバ装置１３０は、画像データの各フレームと前フレームとの差分を分析する。そして、第１の実施の形態と同様に、カメラ１１１で撮影されるユーザ５０の手が商品棚１００の商品１０５に接近したことをサーバ装置１３０は認識することができ、その商品名を商品データベース１４０によって特定することができる。
Similar to the first embodiment, the
サーバ装置１３０の動き分析部１３２は、画像データの各フレームと前フレームとの差分に基づいて、ユーザの動きの特徴を分析する。特徴としては、ユーザの頭部のゆれ具合、単位時間当たりの頭部の移動距離、腕の振れ具合、足の動き具合などがある。この実施の形態では、腕時計タイプの携帯型通信デバイス１２０が使用されているので、ユーザの動きの特徴として、携帯型通信デバイス１２０が装着されているユーザの腕の振れ具合を動き分析部１３２は分析する。画像データの各フレームと前フレームとの差分から、単位時間当たりの腕の移動距離が計算される。これは腕の速度である。動き分析部１３２は、単位時間当たりの速度の変化を腕の加速度として計算する。動き分析部１３２は、腕の加速度を計算する処理を複数フレームにわたって実行する。
The
他方、携帯型通信デバイス１２０では、腕の動きに応じて加速度センサ１２５から加速度値が逐次的に出力される。携帯型通信デバイス１２０の制御部１２６は、無線送信部１２３によって、携帯型通信デバイス１２０の動き測定結果（例えば腕の加速度値）と識別子記憶部１２１に記憶された識別子とを示す信号を逐次的に無線で（つまり光または電波で）送信する。この信号は、ユーザ認識装置１１０で中継されて、サーバ装置１３０の動き情報受信部１３１に受信される。第１の実施の形態と同様に、ユーザ認識装置１１０と携帯型通信デバイス１２０の間の無線通信の方式は、光通信もよいし、電波通信でもよいが、この実施の形態ではＷｉ−Ｆｉが好ましい。悪意ある者による識別子の傍受を回避するため、携帯型通信デバイス１２０は、識別子を示す信号に暗号化処理を行って、暗号化された信号を送信してもよい。
On the other hand, in the
サーバ装置１３０は、カメラ１１１で撮影され動き分析部１３２で分析された加速度値と、携帯型通信デバイス１２０から送信された加速度値を比較して、これらの加速度値が同一ユーザの動きに起因するか否か判断する。例えば、サーバ装置１３０は、同一の時刻においてこれらの加速度値の正負の方向が合っているか否かを判断し、単位時間あたりの合っている回数が閾値より大きければ、カメラ１１１で撮影されているユーザが携帯型通信デバイス１２０の所有者であるので、これらの加速度値が同一ユーザの動きに起因すると判断する。図１１は、カメラ１１１で撮影され動き分析部１３２で分析された加速度値と、携帯型通信デバイス１２０から送信された加速度値の変化を示すグラフである。図１１は、両方の加速度値が同一ユーザの動きに起因する場合の例を示す。
The
図１１において、期間１および期間３では、加速度の振幅が大きい。これはユーザが歩行しており、腕を大きく振っていることを意味する。期間２では、加速度の振幅が小さい。これはユーザが静止しており、腕をほとんど振っていないことを意味する。
In FIG. 11, in the
両方の加速度値が同一ユーザの動きに起因するか否か判断する手法としては、例えば以下が考えられる。サーバ装置１３０は、同一の時刻において両方の加速度値の差分が閾値より小さいか否かを判断し、単位時間あたりの合っている回数が閾値より大きければ、これらの加速度値が同一ユーザの動きに起因すると判断してもよい。サーバ装置１３０は、画像データから得られる加速度の振幅が大きい期間と小さい期間と、携帯型通信デバイス１２０から得られる加速度の振幅が大きい期間と小さい期間とを比較し、これらが一致していれば、これらの加速度値が同一ユーザの動きに起因すると判断してもよい。サーバ装置１３０は、加速度値の時間的変化の波形の周波数成分の相関を用いてもよい。サーバ装置１３０は、ケプストラムの相関を用いてもよい。サーバ装置１３０は、これらの各種の手法のいずれかの組合せを用いてもよい。
As a method for determining whether or not both acceleration values are caused by the movement of the same user, for example, the following can be considered. The
加速度値の時間的変化の波形の周波数成分の相関を用いる手法、またはケプストラムの相関を用いる手法の場合、携帯型通信デバイス１２０が、携帯型通信デバイス１２０で測定された加速度に関してスペクトル分析の処理またはケプストラム分析の処理を行い、処理で得られたデータを、ユーザ認識装置１１０を介してサーバ装置１３０に送ってもよい。この場合、サーバ装置１３０は、画像データから得られた加速度に関してスペクトル分析の処理またはケプストラム分析の処理を行い、処理で得られたデータを携帯型通信デバイス１２０から送信されたデータと比較する。この方法の場合、携帯型通信デバイス１２０での処理負荷が増加することとなるが、サーバ装置１３０に送信するデータ量を低減することが可能となる。
In the case of the method using the correlation of the frequency components of the waveform of the temporal change in the acceleration value or the method using the correlation of the cepstrum, the
カメラ１１１で撮影されているユーザと、携帯型通信デバイス１２０の所有者の同一性が確認されると、サーバ装置１３０は、動き情報受信部１３１で携帯型通信デバイス１２０の動き測定結果（加速度値）とともに受信された携帯型通信デバイス１２０の識別子をカメラ１１１で撮影されるユーザに対応付ける。ユーザと識別子の対応付けの後、第１の実施の形態と同様に、サーバ装置１３０は、カメラ１１１で撮影されるユーザの手が接近した商品をユーザ５０が関心を有する商品として、識別子に対応付けて装置識別子・履歴データベース１５０に記録する。この時、サーバ装置１３０は、現在日付および時刻を装置識別子・履歴データベース１５０に記録してもよい。また、第１の実施の形態と同様に、サーバ装置１３０は、ユーザが購入した商品を識別子に対応付けて装置識別子・履歴データベース１５０に記録する。この時、サーバ装置１３０は、現在日付および時刻を装置識別子・履歴データベース１５０に記録してもよい。
When the identity of the user photographed by the
この実施の形態では、サーバ装置１３０は、カメラ１１１で撮影されているユーザと、携帯型通信デバイス１２０の所有者の同一性を確認すると、携帯型通信デバイス１２０から送信された携帯型通信デバイス１２０の識別子をカメラ１１１で撮影されるユーザに対応付ける。したがって、店舗１０内に複数の人がいる場合でも、観察対象とするユーザを確実に特定することができる。
In this embodiment, when the
携帯型通信デバイス１２０がユーザの動きの測定を開始する時期および携帯型通信デバイス１２０の動き測定結果の送信を開始する時期は、限定されない。しかし、第１の実施の形態と同様に、サーバ装置１３０は、カメラ１１１で撮影可能な所定の範囲内にユーザが入った場合、またはカメラ１１１で撮影されるユーザの手が店舗１０内の商品に接近した場合、携帯型通信デバイス１２０に識別子を示す信号を送信することを要求してよい。この要求は、識別子の要求であり、ユーザの動きの測定開始の要求でもある。この要求を受信すると、携帯型通信デバイス１２０は、ユーザの動きの測定を開始し、ユーザの動き測定結果を識別子とともに送信してよい。この場合、ユーザが商品に関心を有する可能性が高いときに、カメラで撮影されるユーザと携帯型通信デバイス１２０の識別子を対応付けることが可能である。
The time when the
また、携帯型通信デバイス１２０の消費電力削減の観点から、必要でない場合には、動き測定装置（例えば、加速度センサ１２５）および無線送信部１２３を動作させないことが望ましい。したがって、携帯型通信デバイス１２０の制御部１２６は、店舗１０内またはカメラ１１１で撮影可能な範囲内にユーザ（携帯型通信デバイス１２０）が位置している場合に、動き測定装置（加速度センサ１２５）が携帯型通信デバイス１２０の動きを測定するように動き測定装置を制御し、店舗内またはカメラで撮影可能な範囲内にユーザが位置していない場合に、動き測定装置が携帯型通信デバイス１２０の動きを測定しないように動き測定装置を制御すると好ましい。同様に、携帯型通信デバイス１２０の制御部１２６は、店舗１０内またはカメラ１１１で撮影可能な範囲内にユーザ（携帯型通信デバイス１２０）が位置している場合に、無線送信部１２３を起動し、店舗内またはカメラで撮影可能な範囲内にユーザが位置していない場合に、無線送信部１２３の起動を停止すると好ましい。上記の携帯型通信デバイス１２０の位置による携帯型通信デバイス１２０の制御方式は、例えば下記の通りである。
In addition, from the viewpoint of reducing power consumption of the
店舗１０内に設置されたＷｉ−ＦｉのアクセスポイントのＳＳＩＤ（Service Set Identifier）を受信すると、携帯型通信デバイス１２０の制御部１２６は、動き測定装置および無線送信部１２３を起動してよい。ＳＳＩＤの受信が不能となった場合に、制御部１２６は動き測定装置および無線送信部１２３の起動を停止してよい。ユーザ認識装置１１０と携帯型通信デバイス１２０の間の無線通信の方式がＷｉ−Ｆｉである場合には、Ｗｉ−Ｆｉのアクセスポイントは、ユーザ認識装置１１０の無線送信部１１３および無線受信部１１４で構成されていてよい。
When the SSID (Service Set Identifier) of the Wi-Fi access point installed in the
Ｗｉ−Ｆｉのアクセスポイントの代わりに、店舗１０内に設置されたＢｌｕｅｔｏｏｔｈで通信可能なアクセスポイントを使用してもよい。ユーザ認識装置１１０と携帯型通信デバイス１２０の間の無線通信の方式がＢｌｕｅｔｏｏｔｈである場合には、そのアクセスポイントは、ユーザ認識装置１１０の無線送信部１１３および無線受信部１１４で構成されていてよい。また、ＧＰＳ（global positioning system）またはＩＭＥＳ（indoor messaging system）の技術を利用して、制御部１２６は携帯型通信デバイス１２０の位置を認識し、店舗１０内に携帯型通信デバイス１２０があるか否かを判断してもよい。制御部１２６は、これらの各種の手法のいずれかの組合せを用いてもよい。
Instead of a Wi-Fi access point, an access point capable of communicating via Bluetooth installed in the
第３の実施の形態
次に本発明の第３の実施の形態を説明する。第３の実施の形態は、第２の実施の形態の改良である。第３の実施の形態に係るユーザ観察システムの構成は、第２の実施の形態のユーザ観察システムの構成と基本的に同じでよい。第３の実施の形態に係る携帯型通信デバイス１２０の構成も第２の実施の形態のそれと基本的に同じでよい。
Third Embodiment Next, a third embodiment of the present invention will be described. The third embodiment is an improvement over the second embodiment. The configuration of the user observation system according to the third embodiment may be basically the same as the configuration of the user observation system according to the second embodiment. The configuration of the
第３の実施の形態では、店舗１０内にユーザへの距離を測定する距離測定装置が設置される。サーバ装置１３０の動き分析部１３２は、距離測定装置で測定される距離の変動と、カメラ１１１で撮影されたユーザの動きに基づいて、ユーザの動きを特定する。これにより、動き分析部１３２でのユーザの動きの分析精度が高められる。他の特徴は第２の実施の形態と同じでよい。
In the third embodiment, a distance measuring device that measures the distance to the user is installed in the
図１２は、第３の実施の形態に係るユーザ認識装置１１０のブロック図である。図１２に示すように、このユーザ認識装置１１０は、第１または第２の実施の形態のユーザ認識装置１１０（図２）の構成に加え、赤外線センサ１１５と赤外線プロジェクタ１１６を備える。赤外線センサ１１５と赤外線プロジェクタ１１６は距離測定装置を構成する。
FIG. 12 is a block diagram of the
赤外線プロジェクタ１１６は赤外線を放射し、赤外線センサ１１５は被写体から反射した赤外線を受信する。距離測定の方式としては、例えばＴｉｍｅ ｏｆ Ｆｌｉｇｈｔ方式が利用できる。これは、光源から出た光が対象物で反射し、センサ（この場合赤外線センサ１１５）に届くまでの時間（遅れ時間）と光の速度から、被写体までの距離を測定する方式である。これに加えてあるいはこれに代えて、赤外線センサ１１５として赤外線カメラを使用し、赤外線プロジェクタ１１６が特定のドットパターンを放射し、反射したドットパターンを赤外線カメラが撮影し、撮影されたドットパターンから被写体までの距離を測定してもよい。
The
ユーザ認識装置１１０と携帯型通信デバイス１２０の間の無線通信に赤外線が使用される場合には、赤外線プロジェクタ１１６から放射される赤外線が干渉源となりうる。この場合には、ユーザ認識装置１１０と携帯型通信デバイス１２０での通信期間と、赤外線プロジェクタ１１６からの放射期間とが交互に周期的に現れるように、時分割の調整を行って、赤外線の干渉を回避してもよい。また、Ｗｉ−Ｆｉ等で使用されるスキャン信号に同期させて、赤外線プロジェクタ１１６が赤外線を放射する時には、携帯型通信デバイス１２０は識別子報を送信せず、逆に、赤外線プロジェクタ１１６が赤外線放射を停止する時には携帯型通信デバイス１２０が識別子を送信することにより、干渉を回避してもよい。
When infrared rays are used for wireless communication between the
ユーザ認識装置１１０のカメラ１１１は、画像データを逐次的にサーバ装置１３０に供給する。サーバ装置１３０は、画像データの各フレームと前フレームとの差分を分析する。この分析結果から、サーバ装置１３０は商品棚１００の前に人がいることを認識し、人の動き、特にその人の腕および手の動きを認識する。
The
赤外線センサ１１５は、赤外線の測定結果を逐次的にサーバ装置１３０に供給する。サーバ装置１３０は、赤外線の測定結果からユーザ認識装置１１０とユーザの距離を認識する。サーバ装置１３０は、カメラ１１１の画像データおよび赤外線センサ１１５の測定結果からユーザ認識装置１１０とユーザの身体の部位（例えば、手、腕、頭部、型）との距離を認識することができる。
The
カメラ１１１で撮影されるユーザ５０の手が商品棚１００の商品１０５に接近したことを認識すると、サーバ装置１３０は、ユーザ認識装置１１０からユーザの手または腕との距離を認識し、その距離に基づいて、サーバ装置１３０は、ユーザ５０の手がどの棚板の上の商品に接近しているのか認識する。商品棚の番号と棚板の番号に基づいて、サーバ装置１３０は、商品データベース１４０にアクセスし、ユーザの手が接近した商品を特定する。
When the
サーバ装置１３０の動き分析部１３２は、第２の実施の形態に関して上述したように、カメラ１１１で得られる画像データからユーザの動きの特徴を分析する。また、動き分析部１３２は、赤外線センサ１１５で得られる測定結果もユーザの動きの特徴の分析に使用する。例えば、動き分析部１３２は、赤外線の測定結果に基づいて、ユーザの身体の部位との距離の時間変化、すなわち速度を計算してもよく、単位時間あたりの速度の変化、すなわち加速度を計算してもよい。動き分析部１３２は、赤外線センサ１１５で測定される距離の変動と、カメラ１１１で撮影されたユーザの動きに基づいて、ユーザの動きの特徴を特定する。
As described above with respect to the second embodiment, the
他方、第２の実施の形態と同様に、携帯型通信デバイス１２０の動き測定結果（加速度値）と携帯型通信デバイス１２０の識別子とを示す信号は、サーバ装置１３０の動き情報受信部１３１に供給される。サーバ装置１３０は、動き情報受信部１３１で受信された情報に基づいて、携帯型通信デバイス１２０の動きを得る。
On the other hand, as in the second embodiment, a signal indicating the motion measurement result (acceleration value) of the
サーバ装置１３０は、携帯型通信デバイス１２０の測定結果である携帯型通信デバイス１２０の動きと、赤外線センサ１１５の測定結果とカメラ１１１の画像データから特定されたユーザの動きとを比較して、これらの動きが同一ユーザの動きに起因するか否か判断する。これらの動きが同一ユーザの動きに起因すると判断される場合（カメラ１１１で撮影されているユーザと、携帯型通信デバイス１２０の所有者の同一性が確認される場合）に、サーバ装置１３０は、動き情報受信部１３１で受信された携帯型通信デバイス１２０の識別子をカメラ１１１で撮影されるユーザに対応付ける。
The
ユーザと識別子の対応付けの後、第１または第２の実施の形態と同様に、サーバ装置１３０は、カメラ１１１で撮影されるユーザの手が接近した商品をユーザ５０が関心を有する商品として、識別子に対応付けて装置識別子・履歴データベース１５０に記録する。この時、サーバ装置１３０は、現在日付および時刻を装置識別子・履歴データベース１５０に記録してもよい。また、第１または第２の実施の形態と同様に、サーバ装置１３０は、ユーザが購入した商品を識別子に対応付けて装置識別子・履歴データベース１５０に記録する。この時、サーバ装置１３０は、現在日付および時刻を装置識別子・履歴データベース１５０に記録してもよい。
After the association between the user and the identifier, as in the first or second embodiment, the
この実施の形態では、第２の実施の形態と同様の効果を達成することができる。また、カメラ１１１だけでなく距離測定装置を利用することで、ユーザ認識装置１１０からユーザの身体の部位までの距離を計測できるので、より精度良くユーザの動き（例えば加速度）を計算することが可能となる。
In this embodiment, the same effect as that of the second embodiment can be achieved. In addition, since the distance from the
第２の実施の形態に関する変形は、この実施の形態においても適用可能である。例えば、携帯型通信デバイス１２０の消費電力削減の観点から、必要でない場合には、動き測定装置（例えば、加速度センサ１２５）および無線送信部１２３を動作させないことが可能である。
The modification relating to the second embodiment can also be applied to this embodiment. For example, from the viewpoint of reducing the power consumption of the
この実施の形態では、距離測定装置は、赤外線センサ１１５と赤外線プロジェクタ１１６の組合せである。但し、他の距離測定装置を使用してもよい。例えば、単一のユーザ認識装置１１０の内部に空間的に離れた複数のカメラ１１１を配置して、それぞれのカメラで撮影された画像の視差からユーザ認識装置１１０とユーザの距離を計算することができる。
In this embodiment, the distance measuring device is a combination of an
第４の実施の形態
次に本発明の第４の実施の形態を説明する。第４の実施の形態は、第２または第３の実施の形態の改良である。図１３は本発明の第４の実施の形態に係るユーザ観察システムを示す概略図である。
Fourth Embodiment Next, a fourth embodiment of the present invention will be described. The fourth embodiment is an improvement over the second or third embodiment. FIG. 13 is a schematic diagram showing a user observation system according to the fourth embodiment of the present invention.
この実施の形態においては、携帯型通信デバイス１２０は、腕時計タイプであってもよいが、特に携帯電話（例えばスマートフォン）であると好ましい。携帯型通信デバイス１２０が携帯電話である場合には、携帯型通信デバイス１２０が露出しているとは限らないので、ユーザ認識装置１１０と携帯型通信デバイス１２０の無線通信の方式は電波通信が好ましい。
In this embodiment, the
図１４は、携帯電話で主に使用される三軸加速度センサの出力の変化の例を示すグラフである。三軸加速度センサは、Ｘ軸方向（センサの移動方向）、Ｙ軸方向（移動方向に対する横方向）、およびＺ軸方向（地球に対する垂直方向）のそれぞれの加速度を出力する。Ｚ軸方向の加速度は、重力の影響を受けるため、平均値が高くユーザの足の着地時の影響を大きく受ける。Ｙ軸方向の加速度はユーザの歩行時の左右の揺れの影響を受ける。Ｘ軸方向の加速度はユーザの前後の揺れの影響を受ける。 FIG. 14 is a graph showing an example of a change in output of a triaxial acceleration sensor mainly used in a mobile phone. The triaxial acceleration sensor outputs respective accelerations in the X-axis direction (the movement direction of the sensor), the Y-axis direction (the lateral direction with respect to the movement direction), and the Z-axis direction (the vertical direction with respect to the earth). Since the acceleration in the Z-axis direction is affected by gravity, it has a high average value and is greatly affected by the landing of the user's foot. The acceleration in the Y-axis direction is affected by left and right shaking when the user walks. The acceleration in the X-axis direction is affected by the user's back and forth shaking.
携帯電話の姿勢すなわち向きはユーザの持ち方（例えば、手で持たれた状態、衣服のポケットに入れられた状態、またはかばんに入れられた状態）に依存する。上記のＸ軸、Ｙ軸、およびＺ軸は、携帯電話の姿勢に応じて、互いに変わってしまいうる。 The posture or orientation of the mobile phone depends on how the user holds the device (for example, a state of being held by a hand, a state of being put in a pocket of clothes, or a state of being put in a bag). The above-mentioned X axis, Y axis, and Z axis may change from each other depending on the attitude of the mobile phone.
そこで、このユーザ観察システムは、事前測定結果データベース１７０を備える。事前測定結果データベース１７０には、様々な姿勢で動き測定機が保持されて動かされた場合に、動き測定機が測定するその動き測定機の動きに関する情報が記録されている。具体的には、各姿勢でのＸ軸方向の加速度測定結果、Ｙ軸方向の加速度測定結果、およびＺ軸方向の加速度測定結果を示す情報が記録されている。事前測定結果データベース１７０は、店舗１０内に設置されていてもよいし、店舗１０の外部に設置されていてもよい。また、事前測定結果データベース１７０は、商品データベース１４０または装置識別子・履歴データベース１５０が記録された記憶装置に記録されていてもよいし、別個の記憶装置に記録されていてもよい。
Therefore, this user observation system includes a prior
サーバ装置１３０は、携帯型通信デバイス１２０で測定されて報告される携帯型通信デバイス１２０の動きを示す情報を事前測定結果データベース１７０に記憶された情報と比較し、携帯型通信デバイス１２０の姿勢を逐次的に推定する。サーバ装置１３０は、推定された携帯型通信デバイス１２０の姿勢に基づいて、携帯型通信デバイス１２０の動きとユーザの動きとを比較する。サーバ装置１３０は、携帯型通信デバイス１２０で測定される三軸の加速度値の各々を姿勢に基づいて補正してもよい（例えば、加速度値の各々に姿勢に基づく係数を乗算してもよい）。ユーザが駆けたり、跳ねたり、前屈みになったり、振り向いたりするような歩行以外の状態でも、動き分析部１３２で分析された加速度値と、携帯型通信デバイス１２０の姿勢に基づいて補正された加速度値とを比較することにより、ユーザの同一性の確認の精度が向上する。
The
サーバ装置１３０は、動き分析部１３２で分析された加速度値と、携帯型通信デバイス１２０の姿勢に基づいて補正された加速度値が同一ユーザの動きに起因するか否か判断する。つまり、サーバ装置１３０は、カメラ１１１で撮影されているユーザと、携帯型通信デバイス１２０の所有者の同一性を確認する。
The
他の特徴は第２または第３の実施の形態と同じである。この実施の形態では、第２または第３の実施の形態と同様の効果を達成することができる。また、携帯型通信デバイス１２０の姿勢を推定することにより、ユーザの同一性の確認の精度が向上する。
Other features are the same as those of the second or third embodiment. In this embodiment, the same effect as that of the second or third embodiment can be achieved. Further, by estimating the attitude of the
第２または第３の実施の形態に関する変形は、この実施の形態においても適用可能である。例えば、携帯型通信デバイス１２０の消費電力削減の観点から、必要でない場合には、動き測定装置（例えば、加速度センサ１２５）および無線送信部１２３を動作させないことが可能である。
Variations relating to the second or third embodiment can also be applied to this embodiment. For example, from the viewpoint of reducing the power consumption of the
第５の実施の形態
次に本発明の第５の実施の形態を説明する。第５の実施の形態は、第１〜第４の実施の形態のいずれにも適用可能な変形である。この実施の形態では、カメラ１１１の近傍に位置する携帯型通信デバイス１２０のみがユーザに対応付けられ、カメラ１１１の近傍に位置しない携帯型通信デバイス１２０がユーザに対応付けられることを防止することができる。
Fifth Embodiment Next, a fifth embodiment of the present invention will be described. The fifth embodiment is a modification applicable to any of the first to fourth embodiments. In this embodiment, only the
図１５は、第５の実施の形態に係るユーザ認識装置１１０を示す。このユーザ認識装置１１０は、上記の無線受信部１１４とは別の無線受信部（情報受信装置）１１７を備える。図１６は、第５の実施の形態に係る携帯型通信デバイス１２０を示す。この携帯型通信デバイス１２０は、上記の無線送信部１２３とは別の無線送信部１２７を備える。
FIG. 15 shows a
携帯型通信デバイス１２０の無線送信部１２７は、携帯型通信デバイス１２０の識別子を示す情報を送信する。ユーザ認識装置１１０の無線受信部１１７が無線送信部１２７から送信された情報を受信できる場合に、サーバ装置１３０は、その情報に示された識別子に基づいて、カメラ１１１で撮影可能な範囲内に位置しているユーザに保持される携帯型通信デバイス１２０の識別子を特定し、特定された識別子をカメラ１１で撮影されるユーザに対応付ける。すなわち、ユーザ認識装置１１０の無線受信部１１４が、複数の携帯型通信デバイス１２０の無線送信部１２３から送信された識別子を示す信号を受信した場合であっても、サーバ装置１３０は、無線受信部１１７が受信した識別子に対応する携帯型通信デバイス１２０のみを特定し、その識別子をユーザに対応付ける。無線受信部１１７で受信されなかった情報を送信した携帯型通信デバイス１２０の識別子はユーザに対応付けられない。
The
したがって、サーバ装置１３０は携帯型通信デバイス１２０の識別子をユーザに容易に対応付けることができる。特に、第２〜第４の実施の形態にこの実施の形態を適用する場合には、カメラ１１１の画像データに基づいてユーザの動きと比較される携帯型通信デバイス１２０を特定することが容易になり、サーバ装置１３０での処理の負荷を軽減することができる。
Therefore, the
この目的のため、無線送信部１２７の無線通信の方式は、無線送信部１２３の無線通信の方式と異なることが好ましい。例えば、無線送信部１２３の無線通信の方式が光通信であれば、無線送信部１２７の無線通信の方式は電波通信であるとよい。あるいは、無線送信部１２３の無線通信の方式がＷｉ−Ｆｉであれば、無線送信部１２７の無線通信の方式はＲＦＩＤであるとよい。
For this purpose, the wireless communication method of the
但し、無線送信部１２７の無線通信の方式は、無線送信部１２３の無線通信の方式と同じでもよい。この場合、無線送信部１２７の送信電力または送信強度は、無線送信部１２３のそれよりも小さく設定され、電磁波が届く距離が小さくされる。無線送信部１２３からの信号が無線受信部１１７での干渉とならないように、無線送信部１２３と無線送信部１２７は異なる周波数または時間で送信することが好ましい。
However, the wireless communication method of the
あるいは、携帯型通信デバイス１２０は、屋内測位技術を使用して携帯型通信デバイス１２０の位置を測定してもよく、サーバ装置１３０はその測定結果を使用してもよい。屋内測位技術としては、例えば、携帯型通信デバイス１２０の加速度センサなどを用いた歩行者デッドレコニングまたはＩＭＥＳ（Ｉｎｄｏｏｒ Ｍｅｓｓａｇｉｎｇ Ｓｙｓｔｅｍ）がある。この場合には、携帯型通信デバイス１２０は、屋内測位技術で測定された携帯型通信デバイス１２０の位置と識別子とを示す情報を送信する。ユーザ認識装置１１０の無線受信部（位置情報受信装置）１１４は、この情報を受信する。ユーザ認識装置１１０はサーバ通信部１１２によりこの情報をサーバ装置１３０に転送する。
Alternatively, the
サーバ装置１３０は、この情報に基づいて、カメラ１１１で撮影可能な範囲内に位置しているユーザに保持される携帯型通信デバイス１２０の識別子を特定し、特定された識別子をカメラ１１で撮影されるユーザに対応付ける。すなわち、ユーザ認識装置１１０の無線受信部１１４が、複数の携帯型通信デバイス１２０の無線送信部１２３から送信された識別子を示す信号を受信した場合であっても、サーバ装置１３０は、カメラの近傍にある携帯型通信デバイス１２０のみを特定し、その識別子をユーザに対応付ける。カメラの近傍にない携帯型通信デバイス１２０の識別子はユーザに対応付けられない。
Based on this information, the
第６の実施の形態
次に本発明の第６の実施の形態を説明する。第６の実施の形態は、第１〜第４の実施の形態のいずれにも適用可能な変形である。この実施の形態では、カメラで撮影されるユーザの外観と異なる外観のユーザの携帯型通信デバイス１２０がユーザに対応付けられることを防止することができる。
Sixth Embodiment Next, a sixth embodiment of the present invention will be described. The sixth embodiment is a modification applicable to any of the first to fourth embodiments. In this embodiment, it is possible to prevent the user's
図１７は、本発明の第６の実施の形態に係るユーザ観察システムを示す概略図である。図１７に示すように、このユーザ観察システムは、図１のユーザ観察システムに加えて、ユーザ外観データベース１７５を備える。ユーザ外観データベース１７５は店舗１０内に設置されていてもよいし、店舗１０の外部に設置されていてもよい。ユーザ外観データベース１７５は他のデータベースが記録された記憶装置に記録されていてもよいし、別個の記憶装置に記録されていてもよい。ユーザ外観データベース１７５には、複数のユーザにそれぞれ保持される複数の携帯型通信デバイス１２０の複数の識別子と、これらのユーザの外観に関する情報が対応付けられて記録されている。各ユーザの外観に関する情報は、例えば、ユーザの顔、上半身、もしくは全身の画像データ、または身長、体重などの体型に関する数値データであってよい。
FIG. 17 is a schematic diagram showing a user observation system according to the sixth embodiment of the present invention. As shown in FIG. 17, this user observation system includes a
サーバ装置１３０は、携帯型通信デバイス１２０の識別子が報告されると、その識別子に対応する外観に関する情報をユーザ外観データベース１７５から読み出し、読み出された情報と、実際にカメラ１１１で撮影されるユーザの外観とを比較する。そして、類似性が高いユーザに対応する携帯型通信デバイス１２０の識別子を特定し、特定された識別子をカメラで撮影されるユーザに対応付ける。すなわち、ユーザ認識装置１１０の無線受信部１１４が、複数の携帯型通信デバイス１２０の無線送信部１２３から送信された識別子を示す信号を受信した場合であっても、サーバ装置１３０は、カメラ１１１で撮影されているユーザと似ているユーザが保持する携帯型通信デバイス１２０のみを特定し、その識別子をカメラで撮影されているユーザに対応付ける。カメラで撮影されているユーザと外観上似ていないユーザの携帯型通信デバイス１２０の識別子はカメラで撮影されているユーザに対応付けられない。
When the identifier of the
したがって、サーバ装置１３０は携帯型通信デバイス１２０の識別子をユーザに容易に対応付けることができる。特に、第２〜第４の実施の形態にこの実施の形態を適用する場合には、カメラ１１１の画像データに基づいてユーザの動きと比較される携帯型通信デバイス１２０を特定することが容易になり、サーバ装置１３０での処理の負荷を軽減することができる。この実施の形態を第５の実施の形態と組み合わせてもよい。
Therefore, the
第７の実施の形態
次に本発明の第７の実施の形態を説明する。第７の実施の形態は、上述の実施の形態のいずれにも適用可能な変形である。この実施の形態では、キャッシュレジスタ１６０に識別子認識部１６６がなくても、ユーザが購入した商品を、携帯型通信デバイス１２０の識別子に対応付けて装置識別子・履歴データベース１５０に記録することが可能である。
Seventh Embodiment Next, a seventh embodiment of the present invention will be described. The seventh embodiment is a modification applicable to any of the above-described embodiments. In this embodiment, even if the
図１８は本発明の第７の実施の形態に係るユーザ観察システムを示す概略図である。図１８に示すように、このユーザ観察システムは、図１のユーザ観察システムに加えて、ユーザ・装置対応付けデータベース１８０を備える。
FIG. 18 is a schematic diagram showing a user observation system according to the seventh embodiment of the present invention. As shown in FIG. 18, this user observation system includes a user /
図１９に示すように、ユーザ・装置対応付けデータベース１８０には、ユーザを識別するユーザ識別子と、携帯型通信デバイス１２０の識別子とが対応付けられて記憶されている。ユーザ識別子としては、クレジットカード番号（電子決済識別子）、電子マネーの発行事業者が所有者を識別するための識別子（電子決済識別子）、店舗１０で有効なユーザの会員番号のいずれでもよい。以下、ユーザの会員番号を例にとる。
As shown in FIG. 19, the user /
図２０に示すように、この実施の形態のキャッシュレジスタ１６０は、サーバ通信部１６７に接続された会員カード読み取り部１６８を備える。会員カード読み取り部１６８は、ユーザが所有する会員カードに記録された会員番号（ユーザ識別子）を読み取る。会員カードは、例えば、磁気カード、接触式ＩＣカード、非接触式ＩＣカードである。商品を持ったユーザがキャッシュレジスタ１６０の前に現れると、店員は会員カード読み取り部１６８に会員カードの会員番号を読み取らせる。
As shown in FIG. 20, the
第１の実施の形態と同様に、料金の支払いが完了し、商品認識部１６５で商品が認識されると、キャッシュレジスタ１６０で商品の購入が検出されたことを意味する。キャッシュレジスタ１６０が商品の購入を検出し、会員カード読み取り部１６８が会員番号を読み取ると、サーバ通信部１６７は、商品と会員番号と日付および時刻を示す信号をサーバ装置１３０に送信する。
As in the first embodiment, when the payment of the fee is completed and the product is recognized by the
この信号を受信すると、サーバ装置１３０は、この信号に示される会員番号に対応する携帯型通信デバイス１２０の識別子をユーザ・装置対応付けデータベース１８０から読み出し、この信号に示される商品をユーザが購入した商品として、携帯型通信デバイス１２０の識別子に対応付けて装置識別子・履歴データベース１５０に記録する。サーバ装置１３０は、この信号に示される日付および時刻を装置識別子・履歴データベース１５０に記録してもよい。
Upon receiving this signal, the
ユーザ識別子がクレジットカード番号または電子マネーの電子決済識別子である場合、サーバ通信部１６７は、会員番号に代えてクレジットカード番号または電子マネーの電子決済識別子を示す信号をサーバ装置１３０に送信する。サーバ装置１３０は、この信号に示されるクレジットカード番号または電子マネーの電子決済識別子に対応する携帯型通信デバイス１２０の識別子をユーザ・装置対応付けデータベース１８０から読み出す。この変形は後述する第８の実施の形態にも適用可能である。
When the user identifier is a credit card number or an electronic payment identifier of electronic money, the
第８の実施の形態
次に本発明の第８の実施の形態を説明する。第８の実施の形態は、第７の実施の形態の変形である。図２１は本発明の第８の実施の形態に係るユーザ観察システムを示す概略図である。図２１に示すように、このユーザ観察システムは、図１８のユーザ観察システムに加えて、ユーザ履歴データベース１５１を備える。ユーザ履歴データベース１５１は店舗１０内に設置されていてもよいし、店舗１０の外部に設置されていてもよい。ユーザ履歴データベース１５１は、他のデータベースが記録された記憶装置に記録されていてもよいし、別個の記憶装置に記録されていてもよい。この実施の形態では、ユーザの行動は、装置識別子・履歴データベース１５０ではなく、ユーザ履歴データベース１５１に総合的に記録される。装置識別子・履歴データベース１５０は、ユーザの行動を一時的に記録する。
Eighth Embodiment Next, an eighth embodiment of the present invention will be described. The eighth embodiment is a modification of the seventh embodiment. FIG. 21 is a schematic view showing a user observation system according to the eighth embodiment of the present invention. As shown in FIG. 21, this user observation system includes a
図２２は、ユーザ履歴データベース１５１の記録を示す。図２２に示すように、ユーザ履歴データベース１５１には、ユーザの行動がユーザ識別子（例えば、店舗１０で有効なユーザの会員番号）とともに記録されている。より具体的には、ユーザの会員番号と、商品名と、その商品に対するユーザの行動（関心を示したことまたは購入したこと）と、日付および時刻が、ユーザ履歴データベース１５１内で対応付けされている。
FIG. 22 shows a record of the
第１の実施の形態と同様に、料金の支払いが完了し、商品認識部１６５で商品が認識されると、キャッシュレジスタ１６０で商品の購入が検出されたことを意味する。キャッシュレジスタ１６０が商品の購入を検出し、会員カード読み取り部１６８が会員番号を読み取ると、サーバ通信部１６７は、商品と会員番号と日付および時刻を示す信号をサーバ装置１３０に送信する。
As in the first embodiment, when the payment of the fee is completed and the product is recognized by the
この信号を受信すると、サーバ装置１３０は、この信号に示される商品をユーザが購入した商品として、この信号に示される会員番号に対応付けてユーザ履歴データベース１５１に記録する。また、サーバ装置１３０は、この信号に示される会員番号に対応する携帯型通信デバイス１２０の識別子をユーザ・装置対応付けデータベース１８０から読み出し、読み出された識別子に装置識別子・履歴データベース１５０で対応付けられて記録されているユーザの行動を会員番号に対応付けてユーザ履歴データベース１５１に記録する。具体的には、装置識別子・履歴データベース１５０に携帯型通信デバイス１２０の識別子とともに記録されたユーザが関心を有した商品に関する項目をサーバ装置１３０はユーザ履歴データベース１５１に記録する。サーバ装置１３０は、ユーザ履歴データベース１５１に記録した項目を装置識別子・履歴データベース１５０から削除してよい。
Upon receiving this signal, the
この実施の形態では、ユーザの行動全体（商品に関心を有したことおよび商品を購入したこと）を携帯型通信デバイス１２０の識別子ではなく、ユーザ識別子に対応付けてユーザ履歴データベース１５１で記録する。装置識別子・履歴データベース１５０は、ユーザが商品に関心を有した場合に一時的に利用される。この実施の形態では、ユーザ識別子に基づいて、ユーザの行動全体を調査することが可能である。ユーザの行動を分析する者にとってはこの実施の形態が便利な場合がある。例えば、ユーザが複数の携帯型通信デバイス１２０を有する場合でも、ユーザ・装置対応付けデータベース１８０において単一のユーザ識別子と、複数の携帯型通信デバイス１２０の識別子を対応付けておけば、ユーザ履歴データベース１５１には、同一ユーザに関する行動履歴が蓄積される。ユーザが携帯型通信デバイス１２０を買い換えた場合も同様である。
In this embodiment, the entire user behavior (interest in the product and purchase of the product) is recorded in the
第９の実施の形態
次に本発明の第９の実施の形態を説明する。図２３は本発明の第９の実施の形態に係るユーザ観察システムを示す概略図である。この実施の形態では、可搬型通信デバイス２２０が、店舗１０が所有する買い物かごまたはショッピングカート２１０の各々に取り付けられている。買い物かごまたはショッピングカート２１０自体が可搬型デバイスであると考えることもできる。したがって、この実施の形態では、可搬型通信デバイス２２０はユーザの所有物ではなく、店舗１０をユーザが訪問するたびに、異なる可搬型通信デバイス２２０をユーザが運搬する。以下、ショッピングカート２１０に可搬型通信デバイス２２０が取り付けられた例を説明する。
Ninth Embodiment Next, a ninth embodiment of the present invention will be described. FIG. 23 is a schematic diagram showing a user observation system according to the ninth embodiment of the present invention. In this embodiment, a
図２３に示すように、このユーザ観察システムは、図１のユーザ観察システムに加えて、ユーザ・装置対応付けデータベース１９０および電波通信装置６７０を備える。また、このユーザ観察システムは、装置識別子・履歴データベース１５０ではなく、第８の実施の形態に関連して上記したものと同様のユーザ履歴データベース１５１を備える。電波通信装置６７０は、例えばＷｉ−Ｆｉのアクセスポイントであって、店舗１０内に設置されており、サーバ装置１３０と通信する。ユーザ・装置対応付けデータベース１９０およびユーザ履歴データベース１５１は、店舗１０内に設置されていてもよいし、店舗１０の外部に設置されていてもよい。商品データベース１４０、ユーザ・装置対応付けデータベース１９０およびユーザ履歴データベース１５１は、１つの記憶装置に記録されていてもよいし、別個の記憶装置に記録されていてもよい。
As shown in FIG. 23, this user observation system includes a user /
この実施の形態では、可搬型通信デバイス２２０の識別子は、例えば、ショッピングカート２１０の番号であってよい。但し、個々のユーザの行動を分析するマーケティングの目的から、サーバ装置１３０には、可搬型通信デバイス２２０の識別子にユーザを一意に特定するユーザ識別子が対応付けられて報告される。ユーザ識別子としては、例えば、店舗１０で有効なユーザの会員番号、ユーザが保持するスマートフォンにインストールしたアプリケーションに登録した一意の番号がある。
In this embodiment, the identifier of the
図２４に示すように、可搬型通信デバイス２２０は、識別子記憶部２２１と、電波受信部２２２と、電波送信部２２３と、制御部２２６と、光受信部２２８と、光送信部２２９と、会員カード読み取り部２３０とを備える。好ましくは、可搬型通信デバイス２２０は、上記の電子マネー情報記憶部１２４と同様の電子マネー情報記憶部２２４をさらに備える。
As shown in FIG. 24, the
識別子記憶部２２１には、可搬型通信デバイス２２０の識別子（例えばショッピングカート２１０の番号）が記憶されている。会員カード読み取り部２３０は、店舗１０の事業者が発行しユーザが所有する会員カード（図示せず）に記録された会員番号（ユーザ識別子）を読み取る。会員カードは、例えば、磁気カード、接触式ＩＣカード、非接触式ＩＣカードである。ショッピングカート２１０を用いるユーザは、会員カード読み取り部２３０に会員カードの会員番号を読み取らせる。
The
制御部２２６は例えばＣＰＵである。制御部２２６はペアリング部２３１を備える。ペアリング部２３１は、制御部２２６がコンピュータプログラムに従って動作することにより実行される機能ブロックである。会員カード読み取り部２３０が会員番号を読み取ると、ペアリング部２３１は、識別子記憶部２２１に記憶された可搬型通信デバイス２２０の識別子と会員番号をペアリング（対応付け）する。
The
ユーザ識別子がスマートフォンにインストールしたアプリケーションに登録した一意の番号である場合には、会員カード読み取り部２３０の代わりに、可搬型通信デバイス２２０は、その番号をユーザが入力する装置を備える。ペアリング部２３１はその番号と可搬型通信デバイス２２０の識別子をペアリングする。
When the user identifier is a unique number registered in the application installed on the smartphone, the
電波受信部２２２は、店舗１０内の電波通信装置６７０から送信された無線信号を受信する。電波送信部２２３は、無線信号を送信し、この無線信号は電波通信装置６７０で受信される。具体的には、制御部２２６のペアリング部２３１は、電波送信部２２３により、可搬型通信デバイス２２０の識別子とユーザ識別子（例えば会員番号）のペア（セット）を示す信号を送信する。電波通信の方式は、Ｗｉ−Ｆｉ、ＢｌｕｅｔｏｏｔｈまたはＲＦＩＤのいずれでもよい。
The
光受信部２２８は、ユーザ認識装置１１０の無線送信部１１３（図２）から送信された光信号を受信する。光送信部２２９は、光信号を送信し、この光信号はユーザ認識装置１１０の無線受信部１１４で受信される。具体的には、ユーザ認識装置１１０の無線送信部１１３からの要求を光受信部２２８は受信し、この要求に応じて、制御部２２６は、光送信部２２９により識別子記憶部２２１に記憶された識別子を示す信号を送信する。光通信の方式は、可視光通信でもよいし、赤外線通信でもよい。
The
ユーザが店舗１０を訪問し、ショッピングカート２１０を選択した後、ユーザは、会員カード読み取り部２３０にて会員カードをスライドする。会員カード読み取り部２３０は会員カードの会員番号を読み取る。すると、制御部２２６のペアリング部２３１は、識別子記憶部２２１に記録された可搬型通信デバイス２２０の識別子と会員番号とを示す信号を生成する。電波送信部２２３はこの信号を送信する。
After the user visits the
可搬型通信デバイス２２０の電波受信部２２２は必ずしも必要ではない。但し、電波通信装置６７０は、ユーザに会員番号の読み取りを促すための信号を各可搬型通信デバイス２２０に送信してもよい。電波受信部２２２がその信号を受信して、可搬型通信デバイス２２０の移動検知部（図示せず）が可搬型通信デバイス２２０の移動開始を検出すると、制御部２２６は、スピーカまたはディスプレイ（図示せず）でユーザに会員番号の読み取りを促してもよい。
The
電波通信装置６７０は電波送信部２２３から送信された信号を受信し、この信号をサーバ装置１３０に転送する。したがって、サーバ装置１３０は、新規にペアリングされた可搬型通信デバイス２２０の識別子とユーザの会員番号を認識する。すると、サーバ装置１３０は、ユーザ・装置対応付けデータベース１９０に、ペアリングされた可搬型通信デバイス２２０の識別子とユーザの会員番号を記録する。
The
図２５は、ユーザ・装置対応付けデータベース１９０の記録を示す。図２５に示すように、ユーザ・装置対応付けデータベース１９０には、可搬型通信デバイス２２０の識別子とユーザの会員番号とが対応付けられて記録されている。図２５において会員番号が空欄の記録は、その可搬型通信デバイス２２０（ひいてはショッピングカート２１０）がどのユーザにも使用されていないことを示す。
FIG. 25 shows a record in the user /
第１の実施の形態と同様に、ユーザ認識装置１１０のカメラ１１１は、画像データを逐次的にサーバ装置１３０に供給する。サーバ装置１３０は、画像データの各フレームと前フレームとの差分を分析する。そして、第１の実施の形態と同様に、カメラ１１１で撮影されるユーザ５０の手が商品棚１００の商品１０５に接近したことをサーバ装置１３０は認識することができる。
Similar to the first embodiment, the
カメラ１１１で撮影されるユーザ５０の手が商品棚１００の商品１０５に接近した場合、サーバ装置１３０は、可搬型通信デバイス２２０に可搬型通信デバイス２２０の識別子を示す信号を送信することを要求する。サーバ装置１３０は、ユーザ５０を撮影しているカメラ１１１を有するユーザ認識装置１１０にこの要求を送信し、ユーザ認識装置１１０はサーバ通信部１１２を介してその要求を受信する。要求を受信したユーザ認識装置１１０は、無線送信部１１３を介してその要求を送信する。無線送信部１１３から送信される光が到達可能な範囲にあるユーザ５０の可搬型通信デバイス２２０は、この要求を光受信部２２８によって受信する。
When the hand of the
あらかじめ、無線送信部１１３から送信される光が到達可能な範囲がカメラ１１１で撮影可能な所定の範囲とほぼ一致するように、無線送信部１１３の送信出力またはカメラ１１１の設置場所が調整されていると好ましい。この場合には、カメラ１１１で撮影されているユーザ５０の可搬型通信デバイス２２０は、この要求を光受信部２２８によって受信することができ、カメラ１１１で撮影されていないユーザ５０の可搬型通信デバイス２２０は、この要求を受信できない。したがって、店舗１０内に複数の人がいる場合でも、観察対象とするユーザを特定しやすい。
In advance, the transmission output of the
識別子を示す信号の要求を受信すると、可搬型通信デバイス２２０の制御部２２６は、識別子記憶部２２１に記憶されている可搬型通信デバイス２２０の識別子を読み出して、識別子を示す信号を光送信部２２９により無線で（つまり光で）送信する。
When receiving the request for the signal indicating the identifier, the
ユーザ認識装置１１０の無線受信部１１４は、可搬型通信デバイス２２０から送信された識別子を示す信号を受信する。可搬型通信デバイス２２０からユーザ認識装置１１０への無線通信に光を利用する場合には、ユーザ認識装置１１０のカメラ１１１が光信号を認識する光受信装置として機能するので、無線受信部１１４を設ける必要はない。
The
ユーザ認識装置１１０の無線受信部１１４（またはカメラ１１１）が識別子を示す信号を受信すると、ユーザ認識装置１１０のサーバ通信部１１２は可搬型通信デバイス２２０の識別子をサーバ装置１３０に報告する。サーバ装置１３０は、可搬型通信デバイス２２０の識別子を示す信号をカメラ１１１から受信すると、この識別子をカメラ１１１で撮影されるユーザ５０に対応付ける。
When the wireless reception unit 114 (or the camera 111) of the
カメラ１１１が可搬型通信デバイス２２０から送信される光信号を認識する場合には、サーバ装置１３０は、カメラの画像データの変化から可搬型通信デバイス２２０の識別子を認識することができる。つまり、画像データから得られる光の強度の強弱もしくは点滅パターン、波長の変化パターン、またはこれらの組合せにより、識別子が認識される。
When the
この場合、画像を構成する多数の画素のうち光の発信源の画素が特定されるので、可搬型通信デバイス２２０の光送信部２２９の位置が特定される。そして、サーバ装置１３０は、カメラ１１１で撮影されるユーザの位置に対して、光の発信源（すなわち信号の発信源）である可搬型通信デバイス２２０の光送信部２２９の位置が所定の範囲にある場合に、光の発信源である可搬型通信デバイス２２０の識別子をユーザに対応付けることができる。これにより、ユーザ認識装置１１０からの識別子の要求に応じて、複数の可搬型通信デバイス２２０が発光する場合でも、観察対象とするユーザを特定しやすい。例えば、図２６に示す例において、カメラ１１１で撮影されているユーザ５０の頭部の中心から所定の距離Ｌの範囲２０１内に光送信部２２９がある可搬型通信デバイス２２０の識別子を、サーバ装置１３０はカメラ１１１で撮影されるユーザ５０に対応付ける。範囲２０１から外にある光送信部２２９が識別子を示す信号を送信するために発光したとしても、サーバ装置１３０はその可搬型通信デバイス２２０の識別子をカメラ１１１で撮影されるユーザ５０に対応付けない。
In this case, since the light source pixel is specified from among a large number of pixels constituting the image, the position of the
あるいは、サーバ装置１３０は、光の発信源である光送信部２２９とユーザの頭部の移動方向が同じである場合に、光の発信源である光送信部２２９を有する可搬型通信デバイス２２０の識別子をユーザに対応付けてもよい。あるいは、サーバ装置１３０は、その他の画像分析の手法により、光の発信源である光送信部２２９を有する可搬型通信デバイス２２０の識別子をユーザに対応付けてもよい。例えば、光の発信源である光送信部２２９と、ショッピングカート２１０と、これを運搬しているユーザの腕と頭部との位置に基づいて、光の発信源である光送信部２２９を有する可搬型通信デバイス２２０の識別子をユーザに対応付けてもよい。
Alternatively, the
ユーザと識別子の対応付けの後、サーバ装置１３０は、カメラ１１１で撮影されるユーザ５０の行動を可搬型通信デバイス２２０の識別子に対応付けてユーザ履歴データベース１５１に記録する。具体的には、カメラ１１１で撮影されるユーザ５０の手が店舗１０内の商品１０５に接近した場合、サーバ装置１３０は、この商品をユーザ５０が関心を有する商品として、ユーザの会員番号に対応付けてユーザ履歴データベース１５１に記録する。つまり、この実施の形態では、カメラ１１１で撮影されるユーザ５０の手が店舗１０内の商品１０５に接近した場合、ユーザと識別子が対応付けされ、さらにサーバ装置１３０は、この商品をユーザ５０が関心を有する商品として、ユーザの会員番号に対応付けてユーザ履歴データベース１５１に記録する。第１の実施の形態と同様に、サーバ装置１３０は、商品棚の番号と棚板の番号に基づいて、サーバ装置１３０は、商品データベース１４０にアクセスし、ユーザの手が接近した商品を特定することができる。サーバ装置１３０は、現在日付および時刻をユーザ履歴データベース１５１に記録してもよい。
After the association between the user and the identifier, the
ユーザ履歴データベース１５１の記録は、第８の実施の形態に関連して示した図２２と同様である。図２２に示すように、ユーザ履歴データベース１５１には、ユーザの行動がユーザ識別子（例えば、店舗１０で有効なユーザの会員番号）とともに記録されている。より具体的には、ユーザの会員番号と、商品名と、その商品に対するユーザの行動（関心を示したことまたは購入したこと）と、日付および時刻が、ユーザ履歴データベース１５１内で対応付けされている。例えば、ユーザ履歴データベース１５１の記録の第１行目は、会員番号０００１を持つ携帯型通信デバイスの所有者であるユーザが、2012年12月14日の23時00分15秒に商品ＡＡＣに関心を有したことを示す。これは、ユーザの手が接近した商品ＡＡＣをユーザが関心を有する商品として、サーバ装置１３０が会員番号に対応付けて記録した結果である。
The record of the
ユーザ履歴データベース１５１にユーザ５０が関心を有する商品を記録する前に、サーバ装置１３０は、ユーザ・装置対応付けデータベース１９０にアクセスし、商品に接近したユーザに対応する可搬型通信デバイス２２０の識別子に基づいて、ユーザ・装置対応付けデータベース１９０内で、その識別子に対応する会員番号を検索する。これによりユーザ識別子である会員番号が特定される。サーバ装置１３０は、この会員番号を商品名とともにユーザ履歴データベース１５１に記録する。
Before recording the product that the
ユーザ５０は、商品１０５を購入する場合には、キャッシュレジスタ（商品購入検出装置）１６０で料金を支払う。図２７に示すように、この実施の形態のキャッシュレジスタ１６０は、サーバ通信部１６７に接続された会員カード読み取り部１６８を備える。会員カード読み取り部１６８は、会員カード読み取り部２３０と同様に、ユーザが所有する会員カードに記録された会員番号（ユーザ識別子）を読み取る。商品を持ったユーザがキャッシュレジスタ１６０の前に現れると、店員は会員カード読み取り部１６８に会員カードの会員番号を読み取らせる。
When the
第１の実施の形態と同様に、料金の支払いが完了し、商品認識部１６５で商品が認識されると、キャッシュレジスタ１６０で商品の購入が検出されたことを意味する。キャッシュレジスタ１６０が商品の購入を検出し、識別子認識部１６６が可搬型通信デバイス２２０の識別子を認識し、会員カード読み取り部１６８が会員番号を読み取ると、サーバ通信部１６７は、商品と可搬型通信デバイス２２０の識別子と会員番号と日付および時刻を示す信号をサーバ装置１３０に送信する。
As in the first embodiment, when the payment of the fee is completed and the product is recognized by the
この信号を受信すると、サーバ装置１３０は、この信号に示される商品をユーザが購入した商品として、この信号に示される会員番号に対応付けてユーザ履歴データベース１５１に記録する。サーバ装置１３０は、この信号に示される日付および時刻をユーザ履歴データベース１５１に記録してもよい。図２２に示すユーザ履歴データベース１５１の記録の例では、第２行目は、会員番号０００１を持つ携帯型通信デバイスの所有者であるユーザが、2013年1月25日の8時16分34秒に商品ＢＡＣを購入したことを示す。これは、ユーザが購入した商品ＢＡＣをサーバ装置１３０が会員番号に対応付けて記録した結果である。
Upon receiving this signal, the
また、サーバ装置１３０は、ユーザ・装置対応付けデータベース１９０にアクセスし、キャッシュレジスタ１６０から送信された信号に示される識別子と会員番号のペアリングを解消する。具体的には、ユーザ・装置対応付けデータベース１９０の記録の可搬型通信デバイス２２０の識別子を残し、会員番号を削除する。
Further, the
この実施の形態では、キャッシュレジスタ１６０は、識別子認識部１６６と会員カード読み取り部１６８を備える。しかし、識別子認識部１６６と会員カード読み取り部１６８のいずれか一方を排除してもよい。識別子認識部１６６がなく会員カード読み取り部１６８がキャッシュレジスタ１６０に設けられる場合には、サーバ通信部１６７は、商品と会員番号と日付および時刻を示す信号をサーバ装置１３０に送信する。サーバ装置１３０は、この信号に示される商品をユーザが購入した商品として、この信号に示される会員番号に対応付けてユーザ履歴データベース１５１に記録する。会員カード読み取り部１６８がなく識別子認識部１６６がキャッシュレジスタ１６０に設けられる場合には、サーバ通信部１６７は、商品と可搬型通信デバイス２２０の識別子と日付および時刻を示す信号をサーバ装置１３０に送信する。サーバ装置１３０は、この信号に示される識別子に基づいて、ユーザ・装置対応付けデータベース１９０から会員番号を読み出し、この信号に示される商品をユーザが購入した商品として、会員番号に対応付けてユーザ履歴データベース１５１に記録する。また、サーバ装置１３０は、識別子と会員番号のいずれか一方を認識すれば、ユーザ・装置対応付けデータベース１９０での識別子と会員番号のペアリングを解消することができる。
In this embodiment, the
このようにして、各ユーザについて、購入した商品に関する情報と、関心を持ったが購入には至らなかった商品に関する情報とがユーザ履歴データベース１５１に蓄積される。ユーザ履歴データベース１５１に蓄積された情報を分析することにより、より高度なマーケティングが可能になると考えられる。ユーザ履歴データベース１５１内の各記録に日付および時刻が付与される場合には、各ユーザについて、関心ある商品の変化および購入する商品の変化を分析すること、および店舗１０への各訪問時に関心を有した商品と購入した商品を分析することが可能になる。
In this way, for each user, information related to the purchased product and information related to the product that was interested but not purchased are accumulated in the
この実施の形態では、カメラ１１１で撮影されるユーザ５０の手が商品棚１００の商品１０５に接近した場合に、サーバ装置１３０は、携帯型通信デバイス１２０の識別子を示す信号の要求を送信する。したがって、ユーザが商品に実際に関心を有する場合に、カメラで撮影されるユーザと携帯型通信デバイス１２０の識別子を対応付けることが可能である。
In this embodiment, when the hand of the
しかし、カメラ１１１で撮影可能な所定の範囲内にユーザが入った場合に、サーバ装置１３０は、携帯型通信デバイス１２０の識別子を示す信号の要求を送信してもよい。この場合、ユーザが商品に関心を有する可能性が高いときに、カメラで撮影されるユーザと携帯型通信デバイス１２０の識別子を対応付けることが可能である。
However, the
また、買い物かごまたはショッピングカート２１０には、大型のバッテリを取り付けることができる。可搬型通信デバイス２２０の消費電力が大きくても許容されると考えられる。そこで、サーバ装置１３０からの要求に応じて、可搬型通信デバイス２２０が識別子を示す信号を送信するのではなく、常時、識別子を示す信号を送信してもよい。
A large battery can be attached to the shopping cart or
この実施の形態では、電波通信装置６７０は、ユーザ認識装置１１０と別個に設けられているが、各ユーザ認識装置１１０に設けられていてもよい。また、電波通信装置６７０の役割をユーザ認識装置１１０の無線送信部１１３および無線受信部１１４が実行し、可搬型通信デバイス２２０は１種類の無線通信のみを実行するようにしてもよい。
In this embodiment, the radio
この実施の形態では、可搬型通信デバイス２２０の識別子を示す信号を光送信部２２９が無線で（つまり光で）送信し、ユーザ認識装置１１０の無線受信部１１４がこの信号を受信して、サーバ装置１３０に転送する。しかし、図２８に示すように、可搬型通信デバイス２２０の表面にその装置識別子を表す装置識別子表示２４０を印刷またはその他の手法により設けてもよい。装置識別子表示としては、例えばバーコードまたはＱＲコード（登録商標）であってよい。サーバ装置１３０は、カメラ１１１で撮影可能な所定の範囲内にユーザが入った場合、またはカメラ１１１で撮影されるユーザの手が店舗１０内の商品に接近した場合、可搬型通信デバイス２２０に示された装置識別子表示２４０をカメラ１１１に撮影することを要求してよい。カメラ１１１が装置識別子表示２４０を撮影すると、サーバ装置１３０は、装置識別子表示２４０で表される装置識別子に対応するユーザ識別子をユーザ・装置対応付けデータベース１９０から読み出し、ユーザが関心を有する商品をユーザ識別子に対応付けてユーザ履歴データベース１５１に記録してよい。この場合には、ユーザ認識装置１１０では、無線送信部１１３および無線受信部１１４が不要であり、可搬型通信デバイス２２０では光受信部２２８および光送信部２２９が不要である。サーバ装置１３０には、装置識別子表示２４０から装置識別子を解読する機能が必要である。
In this embodiment, the
この実施の形態では、可搬型通信デバイス２２０において、識別子記憶部２２１に記録された可搬型通信デバイス２２０の識別子を会員カード読み取り部２３０で読み取られた会員番号がペアリングされ、制御部２２６のペアリング部２３１は、電波送信部２２３により、可搬型通信デバイス２２０の識別子とユーザ識別子（会員番号）とを示す信号を送信する。しかし、可搬型通信デバイス２２０は、ユーザ識別子（会員番号）のみを電波送信部２２３により送信してもよい。この場合には、可搬型通信デバイス２２０の識別子記憶部２２１は不要であり、ペアリング部２３１も不要であり、ユーザ・装置対応付けデータベース１９０も不要であり、キャッシュレジスタ１６０の識別子認識部１６６も不要である。
In this embodiment, in the
他の変形
上記のユーザ観察システムの各構成要素において、ＣＰＵが実行する各機能は、ＣＰＵの代わりに、ハードウェアで実行してもよいし、例えばFPGA（Field Programmable Gate Array）、DSP（Digital Signal Processor）等のプログラマブルロジックデバイスで実行してもよい。
Other Modifications In each component of the above-described user observation system, each function executed by the CPU may be executed by hardware instead of the CPU, for example, an FPGA (Field Programmable Gate Array), a DSP (Digital Signal) It may be executed by a programmable logic device such as a processor.
上記の各実施の形態においては、サーバ装置１３０は、ユーザの手が接近した商品をユーザが関心を有する商品として装置識別子またはユーザ識別子に対応付けてデータベースに記録する。これに加えて、サーバ装置１３０は、ユーザが少し関心を有する商品をデータベースに記録してもよい。つまり、サーバ装置１３０は、ユーザの手が接近したユーザが高い関心を有する商品と、ユーザが低い関心を有する商品を記録することで、複数段階の関心度を記録してもよい。例えば、サーバ装置１３０は、カメラ１１１の画像データに基づいて、ユーザが特定の商品棚１００の前に滞在する時間を計算し、滞在時間が所定の閾値を超えた場合に、その商品棚１００に陳列された商品を、ユーザが少し関心を有する商品として装置識別子またはユーザ識別子に対応付けてデータベースに記録してよい。この場合、サーバ装置１３０は、カメラ１１１の画像データに基づいて、商品棚１００に陳列された商品にユーザが注目しているか否かを判断してもよく、ユーザが商品に注目する時間が所定の閾値を超えた場合に、その商品棚１００に陳列された商品を、ユーザが少し関心を有する商品として装置識別子またはユーザ識別子に対応付けてデータベースに記録してよい。この結果、データベースには、ユーザが高い関心を示したことと、ユーザが低い関心を示したことを示す記録が蓄積される。
In each of the above-described embodiments, the
前記の実施の形態および変形は、矛盾しない限り、組み合わせてもよい。 The above embodiments and modifications may be combined as long as no contradiction arises.
１０ 店舗、５０，５１ ユーザ、１００ 商品棚、１０１〜１０４ 棚板、１０５ 商品、１１０ ユーザ認識装置、１１１ カメラ、１１２ サーバ通信部、１１３ 無線送信部、１１４ 無線受信部（位置情報受信装置）、１１５ 赤外線センサ（距離測定装置）、１１６ 赤外線プロジェクタ（距離測定装置）、１１７ 無線受信部（情報受信装置）、１２０ 携帯型通信デバイス（可搬型装置）、１２１ 識別子記憶部、１２２ 無線受信部、１２３ 無線送信部、１２４ 電子マネー情報記憶部、１２５ 加速度センサ（動き測定装置）、１２６ 制御部、１２７ 無線送信部、１３０ サーバ装置（行動分析装置）、１３１ 動き情報受信部、１３２ 動き分析部、１４０ 商品データベース、１５０ 装置識別子・履歴データベース、１５１ ユーザ履歴データベース、１６０ キャッシュレジスタ（商品購入検出装置）、１６１ 電子マネー情報読み取り部、１６２ 電子マネー料金徴収部、１６３ クレジットカード情報読み取り部、１６４ クレジットカード料金徴収部、１６６ 識別子認識部、１６５ 商品認識部、１６７ サーバ通信部、１６８ 会員カード読み取り部、１７０ 事前測定結果データベース、１７５ ユーザ外観データベース、１８０ ユーザ・装置対応付けデータベース、１９０ ユーザ・装置対応付けデータベース、２１０ ショッピングカート、２２０ 可搬型通信デバイス（可搬型装置）、２２１ 識別子記憶部、２２２ 電波受信部、２２３ 電波送信部、２２６ 制御部、２２８ 光受信部、２２９ 光送信部、２３０ 会員カード読み取り部、２３１ ペアリング部、２４０ 装置識別子表示、６７０ 電波通信装置。
10 stores, 50, 51 users, 100 product shelves, 101-104 shelves, 105 products, 110 user recognition devices, 111 cameras, 112 server communication units, 113 wireless transmission units, 114 wireless reception units (position information reception devices), 115 Infrared sensor (distance measuring device), 116 Infrared projector (distance measuring device), 117 Wireless receiving unit (information receiving device), 120 Portable communication device (portable device), 121 Identifier storage unit, 122 Wireless receiving unit, 123 Wireless transmission unit, 124 Electronic money information storage unit, 125 Acceleration sensor (motion measurement device), 126 Control unit, 127 Wireless transmission unit, 130 Server device (behavior analysis device), 131 Motion information reception unit, 132 Motion analysis unit, 140 Product database, 150 Device identifier / history database, 151 User history database 160 cash register (product purchase detection device), 161 electronic money information reading unit, 162 electronic money fee collection unit, 163 credit card information reading unit, 164 credit card fee collection unit, 166 identifier recognition unit, 165 product recognition unit, 167 server communication unit, 168 member card reading unit, 170 prior measurement result database, 175 user appearance database, 180 user / device association database, 190 user / device association database, 210 shopping cart, 220 portable communication device (portable) Device), 221 identifier storage unit, 222 radio wave reception unit, 223 radio wave transmission unit, 226 control unit, 228 optical reception unit, 229 optical transmission unit, 230 member card reading unit, 231 pairing unit, 240 device identifier display, 70 radio communication device.
Claims (12)
前記カメラで撮影される前記ユーザの行動を分析する行動分析装置と、
前記ユーザに保持される可搬型装置に記録された当該可搬型装置を一意に識別可能な装置識別子とともに、前記ユーザの行動を記憶する装置識別子・履歴データベースとを備え、
前記行動分析装置は、前記カメラで撮影される前記ユーザの手が前記店舗内の商品に接近した場合、前記ユーザに保持される前記可搬型装置の前記装置識別子を前記カメラで撮影される前記ユーザの行動に対応付けて、前記装置識別子・履歴データベースに記録することを特徴とするユーザ観察システム。 A camera installed in the store and sequentially shooting the users in the store;
A behavior analysis device that analyzes the behavior of the user photographed by the camera;
A device identifier / history database that stores the behavior of the user, together with a device identifier that can uniquely identify the portable device recorded in the portable device held by the user,
When the user's hand photographed with the camera approaches a product in the store, the behavior analysis device captures the device identifier of the portable device held by the user with the camera. user observation system, characterized in that in association to the behavior, and records before Symbol device identifier-history database.
前記行動分析装置は、前記距離測定装置が測定した、前記距離測定装置と前記ユーザとの間の距離に基づいて、前記ユーザの手が接近した商品を特定することを特徴とする請求項１に記載のユーザ観察システム。 A distance measuring device for measuring the distance to the user;
2. The behavior analysis device identifies a product that the user's hand approaches based on a distance between the distance measurement device and the user measured by the distance measurement device. The described user observation system.
前記行動分析装置は、前記動き情報受信部で受信された前記情報に示される前記可搬型装置の動きと、前記カメラで撮影される前記ユーザの動きとを比較して、これらの動きが同一ユーザの動きに起因するか否か判断し、これらの動きが同一ユーザの動きに起因すると判断される場合に、前記動き情報受信部で受信された前記装置識別子を前記カメラで撮影される前記ユーザの行動に対応付けることを特徴とする請求項１または請求項２に記載のユーザ観察システム。 The behavior analysis device includes a motion information receiving unit that sequentially receives information indicating the motion of the portable device measured by the portable device and the device identifier,
The behavior analysis device compares the movement of the portable device indicated by the information received by the movement information receiving unit with the movement of the user photographed by the camera, and these movements are the same user. If it is determined whether or not these movements are caused by the movement of the same user, the apparatus identifier received by the movement information reception unit is used for the user photographed by the camera . The user observation system according to claim 1, wherein the user observation system is associated with an action .
前記行動分析装置は、前記情報受信装置で受信された前記情報に示された前記装置識別子に基づいて、前記カメラで撮影可能な範囲内に位置しているユーザに保持される可搬型装置の装置識別子を特定し、特定された前記装置識別子を前記カメラで撮影される前記ユーザの行動に対応付けることを特徴とする請求項１から請求項３のいずれか１項に記載のユーザ観察システム。 An information receiving device that is installed near the camera in the store and wirelessly receives information indicating the device identifier transmitted from the portable device;
The behavior analysis device is a portable device device held by a user who is located within a range that can be photographed by the camera, based on the device identifier indicated in the information received by the information reception device. The user observation system according to any one of claims 1 to 3, wherein an identifier is specified, and the specified device identifier is associated with the action of the user photographed by the camera.
前記行動分析装置は、前記カメラで撮影される前記ユーザの外観を前記ユーザ外観データベースに記録された情報と比較することにより、前記カメラで撮影された前記ユーザに保持される可搬型装置の装置識別子を特定し、特定された前記装置識別子を、前記カメラで撮影される前記ユーザの行動に対応付けることを特徴とする請求項１から請求項４のいずれか１項に記載のユーザ観察システム。 A plurality of device identifiers of a plurality of portable devices respectively held by a plurality of users, and a user appearance database in which information related to the appearance of these users is recorded in association with each other.
The behavior analysis device compares the appearance of the user photographed by the camera with information recorded in the user appearance database, thereby identifying a device identifier of a portable device held by the user photographed by the camera The user observation system according to any one of claims 1 to 4, wherein the device identifier is identified and the identified device identifier is associated with an action of the user photographed by the camera.
前記商品購入検出装置で商品の購入が検出され前記装置識別子が認識されると、前記行動分析装置は、前記商品を前記ユーザが購入した商品として、前記商品購入検出装置で認識された前記装置識別子に対応付けて前記装置識別子・履歴データベースに記録することを特徴とする請求項１から請求項５のいずれか１項に記載のユーザ観察システム。 A product purchase detection device capable of detecting the purchase of the product and recognizing the device identifier;
When purchase of a product is detected by the product purchase detection device and the device identifier is recognized, the behavior analysis device recognizes the device identifier recognized by the product purchase detection device as a product purchased by the user. 6. The user observation system according to claim 1, wherein the user observation system is recorded in the device identifier / history database in association with each other.
商品の購入を検出するとともに、前記ユーザ識別子を読み取り可能な商品購入検出装置とをさらに備え、
前記商品購入検出装置で商品の購入が検出され前記ユーザ識別子が読み取られると、前記行動分析装置は、前記ユーザ識別子に対応する前記可搬型装置の前記装置識別子を前記ユーザ・装置対応付けデータベースから読み出し、前記商品を前記ユーザが購入した商品として、前記ユーザ・装置対応付けデータベースから読み出された前記装置識別子に対応付けて前記装置識別子・履歴データベースに記録することを特徴とする請求項１から請求項６のいずれか１項に記載のユーザ観察システム。 A user / device association database in which a user identifier for identifying the user and the device identifier of the portable device are stored in association with each other;
A product purchase detection device capable of detecting purchase of a product and reading the user identifier;
When purchase of a product is detected by the product purchase detection device and the user identifier is read, the behavior analysis device reads the device identifier of the portable device corresponding to the user identifier from the user / device association database. The product is recorded as the product purchased by the user in the device identifier / history database in association with the device identifier read from the user / device association database. Item 7. The user observation system according to any one of Item 6.
前記ユーザ識別子とともに、前記ユーザの行動を記憶するユーザ履歴データベースと、
商品の購入を検出するとともに、前記ユーザ識別子を読み取り可能な商品購入検出装置とをさらに備え、
前記商品購入検出装置で商品の購入が検出され前記ユーザ識別子が読み取られると、前記行動分析装置は、前記商品を前記ユーザが購入した商品として、前記ユーザ識別子に対応付けて前記ユーザ履歴データベースに記録するとともに、
前記ユーザ識別子に対応する前記可搬型装置の前記装置識別子を前記ユーザ・装置対応付けデータベースから読み出し、前記ユーザ・装置対応付けデータベースから読み出された前記装置識別子に前記装置識別子・履歴データベースで対応付けられて記録されている前記ユーザの行動を、前記ユーザ識別子に対応付けて前記ユーザ履歴データベースに記録することを特徴とする請求項１から請求項６のいずれか１項に記載のユーザ観察システム。 A user / device association database in which a user identifier for identifying the user and the device identifier of the portable device are stored in association with each other;
A user history database that stores the user behavior along with the user identifier;
A product purchase detection device capable of detecting purchase of a product and reading the user identifier;
When purchase of a product is detected by the product purchase detection device and the user identifier is read, the behavior analysis device records the product as a product purchased by the user in the user history database in association with the user identifier. And
The device identifier of the portable device corresponding to the user identifier is read from the user / device association database, and is associated with the device identifier read from the user / device association database in the device identifier / history database. The user observation system according to any one of claims 1 to 6, wherein the user's behavior recorded and recorded is recorded in the user history database in association with the user identifier.
前記カメラで撮影される前記ユーザの行動を分析する行動分析装置と、
前記ユーザを一意に識別可能なユーザ識別子とともに、前記ユーザの行動を記憶するユーザ履歴データベースとを備え、
前記行動分析装置は、前記カメラで撮影される前記ユーザの手が前記店舗内の商品に接近した場合、前記店舗に所有され前記店舗内で前記ユーザに保持される可搬型装置から報告される前記ユーザ識別子を前記カメラで撮影される前記ユーザに対応付け、前記カメラで撮影されるユーザの行動を前記ユーザ識別子に対応付けて前記ユーザ履歴データベースに記録することを特徴とするユーザ観察システム。 A camera installed in the store and sequentially shooting the users in the store;
A behavior analysis device that analyzes the behavior of the user photographed by the camera;
A user history database that stores the user's behavior together with a user identifier that can uniquely identify the user,
When the user's hand photographed by the camera approaches a product in the store, the behavior analysis device is reported from a portable device that is owned by the store and held by the user in the store. A user observation system, wherein a user identifier is associated with the user photographed by the camera, and a user's action photographed by the camera is recorded in the user history database in association with the user identifier.
前記行動分析装置は、前記ユーザ識別子と前記装置識別子とが前記可搬型装置から報告されると、前記ユーザ識別子と前記装置識別子とを対応付けて前記ユーザ・装置対応付けデータベースに記録し、
前記行動分析装置は、前記ユーザ識別子を示さずに前記可搬型装置の前記装置識別子を示す信号を受信し、
前記カメラで撮影される前記ユーザの手が前記店舗内の商品に接近した場合、前記行動分析装置は、前記信号に示される前記装置識別子に対応する前記ユーザ識別子を前記ユーザ・装置対応付けデータベースから読み出し、前記商品を前記ユーザが関心を有する商品として、前記ユーザ識別子に対応付けて前記ユーザ履歴データベースに記録することを特徴とする請求項９に記載のユーザ観察システム。 A user / device correspondence database in which the user identifier and a device identifier that can be uniquely identified for the portable device recorded in the portable device are stored in association with each other;
When the user identifier and the device identifier are reported from the portable device, the behavior analysis device records the user identifier and the device identifier in association with each other in the user / device association database,
The behavior analysis device receives a signal indicating the device identifier of the portable device without indicating the user identifier,
When the user's hand photographed by the camera approaches a product in the store, the behavior analysis device extracts the user identifier corresponding to the device identifier indicated in the signal from the user / device association database. The user observation system according to claim 9, wherein the user observation system records the product as a product that the user is interested in, and records the product in the user history database in association with the user identifier.
前記行動分析装置は、前記ユーザ識別子と前記装置識別子とが前記可搬型装置から報告されると、前記ユーザ識別子と前記装置識別子とを対応付けて前記ユーザ・装置対応付けデータベースに記録し、
前記行動分析装置は、前記カメラで撮影される前記ユーザの手が前記店舗内の商品に接近した場合、前記可搬型装置に示された前記装置識別子を表す装置識別子表示を前記カメラに撮影することを要求し、
前記カメラが前記装置識別子表示を撮影すると、前記行動分析装置は、前記装置識別子表示で表される前記装置識別子に対応する前記ユーザ識別子を前記ユーザ・装置対応付けデータベースから読み出し、前記商品を前記ユーザが関心を有する商品として、前記ユーザ識別子に対応付けて前記ユーザ履歴データベースに記録することを特徴とする請求項９に記載のユーザ観察システム。 A user / device correspondence database in which the user identifier and a device identifier that can be uniquely identified for the portable device recorded in the portable device are stored in association with each other;
When the user identifier and the device identifier are reported from the portable device, the behavior analysis device records the user identifier and the device identifier in association with each other in the user / device association database,
The behavior analysis apparatus, when the hand of the user to be photographed in front Symbol camera approaches the products in the store, taking a device identifier display representing the device identifiers shown in the portable device to the camera Request that
When the camera shoots the device identifier display, the behavior analysis apparatus reads the user identifier corresponding to the prior Symbol device identifier represented by the device identifier displayed from the user-device association database, the said products 10. The user observation system according to claim 9, wherein a product that the user is interested in is recorded in the user history database in association with the user identifier.
前記商品購入検出装置で商品の購入が検出され前記装置識別子が認識されると、前記行動分析装置は、前記装置識別子に対応する前記ユーザ識別子を前記ユーザ・装置対応付けデータベースから読み出し、前記商品を前記ユーザが購入した商品として、読み出された前記ユーザ識別子に対応付けて前記ユーザ履歴データベースに記録することを特徴とする請求項１０または請求項１１に記載のユーザ観察システム。 A product purchase detection device capable of detecting the purchase of the product and recognizing the device identifier;
If the device identifier purchase products detected by the product purchase detecting device is recognized, the behavior analysis apparatus reads the user identifier corresponding to the prior Symbol device identifier from the user device association database, said product The user observation system according to claim 10 or 11, wherein the product is recorded in the user history database in association with the read user identifier as a product purchased by the user.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013171221A JP6134607B2 (en) | 2013-08-21 | 2013-08-21 | User observation system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013171221A JP6134607B2 (en) | 2013-08-21 | 2013-08-21 | User observation system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015041194A JP2015041194A (en) | 2015-03-02 |
| JP6134607B2 true JP6134607B2 (en) | 2017-05-24 |
Family
ID=52695332
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013171221A Expired - Fee Related JP6134607B2 (en) | 2013-08-21 | 2013-08-21 | User observation system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6134607B2 (en) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6605822B2 (en) * | 2015-03-17 | 2019-11-13 | 株式会社日本総合研究所 | Customer information system and program |
| JP2016201105A (en) * | 2015-04-07 | 2016-12-01 | 三菱電機株式会社 | Information processor and information processing method |
| US11461733B2 (en) | 2016-03-23 | 2022-10-04 | Nec Corporation | Behavior analysis device, behavior analysis system, behavior analysis method, and program |
| EP4410155A1 (en) * | 2016-05-09 | 2024-08-07 | Grabango Co. | System and method for computer vision driven applications within an environment |
| JP7114215B2 (en) * | 2016-06-30 | 2022-08-08 | 株式会社東芝 | Life data integrated analysis system, life data integrated analysis method, and life data integrated analysis program |
| CN110291516A (en) * | 2017-02-22 | 2019-09-27 | 索尼公司 | Information processing equipment, information processing method and program |
| WO2018235198A1 (en) * | 2017-06-21 | 2018-12-27 | 日本電気株式会社 | Information processing device, control method, and program |
| JP2020004226A (en) * | 2018-06-29 | 2020-01-09 | 株式会社Ｃａ Ａｂｅｊａ | Estimation system, estimation method, estimation device and computer program |
| JP2020042644A (en) * | 2018-09-12 | 2020-03-19 | Ｓｍｎ株式会社 | Information processing device, information management method and computer program |
| JP7197333B2 (en) * | 2018-11-07 | 2022-12-27 | 東芝テック株式会社 | Information providing device and its control program |
| JP7401129B1 (en) | 2022-11-15 | 2023-12-19 | 株式会社SEtech | Product display shelf |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004030168A (en) * | 2002-06-25 | 2004-01-29 | Aruze Corp | Method and system for member registration |
| JP2004274101A (en) * | 2003-03-05 | 2004-09-30 | Shigeo Kaneda | Mobile object identification system |
| JP2006309280A (en) * | 2005-04-26 | 2006-11-09 | Hitachi Software Eng Co Ltd | System for analyzing purchase behavior of customer in store using noncontact ic tag |
| JP2007323199A (en) * | 2006-05-30 | 2007-12-13 | Omron Corp | Production management apparatus, production management method, production management program and recording medium with the same recorded thereon, and production system |
| JP2009126660A (en) * | 2007-11-27 | 2009-06-11 | Toshiba Tec Corp | Article management system and information processing apparatus |
| RU2565012C2 (en) * | 2008-03-21 | 2015-10-10 | Санрайз Р Энд Д Холдингз, Ллс | Reception of actual data relating buyers behaviour during goods selection in real time |
| KR101710509B1 (en) * | 2008-10-31 | 2017-02-27 | 선라이즈 알앤디 홀딩스, 엘엘씨 | Systems of influencing shoppers at the first moment of truth in a retail establishment |
| JP2010140287A (en) * | 2008-12-12 | 2010-06-24 | Nomura Research Institute Ltd | Purchase action analysis device, method and computer program |
| US8983124B2 (en) * | 2009-12-03 | 2015-03-17 | National Institute Of Advanced Industrial Science And Technology | Moving body positioning device |
| JP5422859B2 (en) * | 2010-03-31 | 2014-02-19 | 株式会社日立製作所 | Monitoring device and suspicious behavior detection method |
-
2013
- 2013-08-21 JP JP2013171221A patent/JP6134607B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015041194A (en) | 2015-03-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6134607B2 (en) | User observation system | |
| US20230017398A1 (en) | Contextually aware customer item entry for autonomous shopping applications | |
| US11074637B2 (en) | Self-checkout arrangements | |
| US11599932B2 (en) | System and methods for shopping in a physical store | |
| US11226395B2 (en) | Tracking system with mobile reader | |
| US10290031B2 (en) | Method and system for automated retail checkout using context recognition | |
| WO2018036075A1 (en) | Intelligent shopping cart, intelligent shopping system and implement method therefor | |
| TWI686777B (en) | Shopping settlement method, smart shopping equipment and smart supermarket system | |
| US20160350811A1 (en) | Measurements of earth's magnetic field indoors | |
| KR100754548B1 (en) | Mobile communication terminal capable of pinpointing a tag's location and information providing system and service method utilizing both of them | |
| US20150242863A1 (en) | Electronic apparatus and method | |
| US20100217672A1 (en) | Positional Information Analysis Apparatus, Positional Information Analysis Method, and Positional Information Analysis System | |
| US10653359B2 (en) | System and method for providing walking path guidance service based on measurement of motion of user | |
| JP6580651B2 (en) | Information processing apparatus, information processing apparatus control method, information processing apparatus control program, and article providing system | |
| US20190220844A1 (en) | Systems and methods for self-checkout using rfid motion triggered tags | |
| CN109993520A (en) | A kind of system and method based on position payment | |
| US10499754B2 (en) | Sensing device for shopping cart | |
| CN110678771A (en) | Terminal device for position measurement, computer program, and system | |
| JP2019024974A (en) | Pursuit game system | |
| US20190122231A1 (en) | Container, non-transitory computer-readable storage medium for storing program, and customer management method | |
| US20230252442A1 (en) | Smart contact lens for point of sale ("pos") transaction validation using object detection and image classification | |
| CN105719153A (en) | Indoor geomagnetic field measurement | |
| JP7091382B2 (en) | Information processing device, terminal device, information processing system, information processing method, terminal control method, information processing program, and terminal control program | |
| KR101488821B1 (en) | Receptionist robot and the system thereof | |
| US20220318837A1 (en) | Information processing apparatus and information processing system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20150413 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160303 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170118 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170131 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170330 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170418 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170424 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6134607 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |