JP6905965B2 - 端末の装着位置によって人物を同定するシステム及び方法 - Google Patents
端末の装着位置によって人物を同定するシステム及び方法 Download PDFInfo
- Publication number
- JP6905965B2 JP6905965B2 JP2018185617A JP2018185617A JP6905965B2 JP 6905965 B2 JP6905965 B2 JP 6905965B2 JP 2018185617 A JP2018185617 A JP 2018185617A JP 2018185617 A JP2018185617 A JP 2018185617A JP 6905965 B2 JP6905965 B2 JP 6905965B2
- Authority
- JP
- Japan
- Prior art keywords
- person
- terminal
- transmitter
- mounting position
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 18
- 238000001514 detection method Methods 0.000 claims description 40
- 230000001133 acceleration Effects 0.000 claims description 12
- 230000006870 function Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Landscapes
- Telephonic Communication Services (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
室内空間の至る所に、広報パケットを発信するタグデバイスを配置する。その室内を、端末(例えばスマートフォン)を所持した人物が移動する。端末は、BLEのスキャナ機能によって、各タグデバイスに接近する度に、その広報パケットを受信する。このとき、端末は、受信した広報パケットに含まれるビーコンIDやその受信強度(RSSI:Received Signal Strength Indication)を取得し、アクセスネットワークを介して、位置推定装置へ送信する。
1つの原因として、端末を装着する人物自身が、タグデバイスから受信する電波に対する遮蔽物となる場合がある。例えば、人物が端末を左側に装着している場合、見通しの良い左側のタグデバイスからの電波強度は高くても、人物自身が遮蔽物となった右側のタグデバイスからの電波強度は低くなる。
結果的に、タグデバイスからのビーコンIDやその受信強度を用いて人物を同定しようとした場合、人物が装着する端末の位置によっては受信強度が弱くなり、誤判定するという問題点がある。
人物に装着された状態で、広報パケットを受信する端末と、
撮影装置を用いて、各エリアに人物が存在する時間帯を検知する人物検知装置と、
端末から端末IDと広報パケットの発信機ID及び受信強度とを取得し、人物検知装置によって検知された人物が当該端末を装着した人物か否かを同定する人物同定装置と
を有するシステムであって、
人物同定装置は、
端末ID毎に、人物が当該端末を装着した位置に基づく装着位置フラグを記憶した装着位置テーブルと、
エリア毎に、各装着位置側における発信機の発信機IDを登録したマップテーブルと、
当該エリアに人物が存在する時間帯に、マップテーブルを用いて当該エリアにおける発信機IDの広報パケットを受信した端末毎に、装着位置テーブルを用いて当該端末の端末IDにおける装着位置フラグの装着位置側の発信機IDを検索する発信機ID検索手段と、
1つ以上の端末の中で、装着位置側の発信機IDの広報パケットの受信強度が相対的に高い端末、又は、装着位置側の発信機IDの広報パケットの受信回数が相対的に多い端末を、人物検知装置によって当該エリアに存在すると検知された人物に装着された端末であると同定する人物同定手段と
を有することを特徴とする。
人物検知装置は、当該エリアで検知された人物の人数が、所定数以下である場合にのみ、時間帯を検知することも好ましい。
撮影装置は、各エリアを撮影するカメラ、又は、各エリアに光波を照射するLIDER(light detection and ranging)であることも好ましい。
人物検知装置は、当該エリアにおける人物が前向きで存在する時間帯を検知し、
人物同定装置の装着位置テーブルは、当該対象端末の装着位置として、人物の前向きに対して複数の側とすることも好ましい。
人物同定装置の装着位置テーブルについて、複数の側は、人物を中心に等角度に位置する2つ以上の側であることも好ましい。
端末は、角速度センサを搭載し又は接続し、
人物検知装置は、検知した人物の前向きを、端末から受信した角速度に基づいて補正することも好ましい。
端末は、角速度センサ又は加速度センサを搭載し又は接続し、
人物検知装置は、端末から受信した角速度又は加速度が所定閾値以上変化した場合、機能を停止することも好ましい。
発信機及び端末は、BLE(Bluetooth Low Energy)若しくはiBeacon(登録商標)又は無線LANの同一の近距離無線規格に基づくデバイスであり、
広報パケットに含まれる発信機IDは、Advertising Packetに含まれるビーコンIDであることも好ましい。
人物に装着された状態で、広報パケットを受信する端末と、
各エリアに人物が存在する時間帯を検知する人物検知装置と、
端末から端末IDと広報パケットの発信機ID及び受信強度とを取得し、人物検知装置によって検知された人物が当該端末を装着した人物か否かを同定する人物同定装置と
を有するシステムの人物同定方法であって、
人物同定装置は、
端末ID毎に、人物が当該端末を装着した位置に基づく装着位置フラグを記憶した装着位置テーブルと、
エリア毎に、装着位置側における発信機の発信機IDを登録したマップテーブルと
を有し、
当該エリアに人物が存在する時間帯に、マップテーブルを用いて当該エリアにおける発信機IDの広報パケットを受信した端末毎に、装着位置テーブルを用いて当該端末の端末IDにおける装着位置フラグの装着位置側の発信機IDを検索する第1のステップと、
1つ以上の端末の中で、装着位置側の発信機IDの広報パケットの受信強度が相対的に高い端末、又は、装着位置側の発信機IDの広報パケットの受信回数が相対的に多い端末を、人物検知装置によって当該エリアに存在すると検知された人物に装着された端末であると同定する第2のステップと
を実行することを特徴とする。
図1によれば、店舗の室内で、店員が、カウンタを介して顧客に商品説明をしている状況が表されている。各店員は、端末3を装着しており、室内を自由に移動する。
発信機2は、複数のエリアそれぞれに設置され、エリア毎に異なる発信機ID(IDentifier)を含む広報パケットを発信する。
発信機2は、近距離無線通信方式のタグデバイスであって、広報パケット(Advertising Packet)を常時発信している。近距離無線通信方式としては、例えばBluetooth(登録商標)やZigbee(登録商標)、又は、無線LANが用いられる。その中でも、特に電波の到達範囲が狭いBLE(Bluetooth Low Energy)」が適する。低消費電力版Bluetoothとして、1/3程度の電力で動作するために、ボタン電池であっても数年稼働する。また、広報パケットは、例えば100ms(規格として20ms〜10.24s)の間隔で、周期的に送信される。尚、Apple社のiOS7以降のOSに基づくiBeacon(登録商標)も、BLEに基づくものである。
BLE規格によれば、発信機2は「advertiser」として機能し、広報パケットには、発信機IDとして「ビーコンID」が含められる。ビーコンIDは、タグモジュールを識別するUUID(Universally Unique Identifier)を含む。
端末3は、人物に装着された状態で、広報パケットを受信する。端末3は、行動認識対象の人物である店員に所持された、例えばスマートフォンのようなものである。店員が、端末3を装着した状態で室内を移動することによって、端末3は、近接した発信機2から発信された広報パケットを受信する。即ち、端末3は、例えばBLE規格におけるスキャナとして機能する。
端末3は、その広報パケットに含まれるビーコンID(発信機ID)及び受信強度を取得する。そして、端末3は、自らの「端末ID」と、広報パケットの「受信時刻」「ビーコンID(発信機ID)」「受信強度」とを、人物同定装置1へ送信する。
端末3を所持した人物にとって、急に向きを変えた場合、大きい値の角速度が検知される。角速度とは、単位時間あたりの回転角である。人物が端末3を装着した状態で、人物が向きを変えたということは、端末3によって検知される各発信機からの広報パケットの受信強度も変化することとなる。
また、端末3を所持した人物が、着席しているときには加速度の変化が小さいのに対して、急に立ち上がった場合、大きい値の加速度が検知される。人物が端末3を装着した状態で、人物が急に立ち上がったということは、端末3によって検知される各発信機からの広報パケットの受信強度も変化することとなる。
端末3は、更に、角速度センサ又は加速度センサの計測値を、広報パケットを受信した際に送信するデータに含めて、人物検知装置4へ送信するものであってもよい。
撮影装置5は、エリア周辺の映像を撮影する。撮影装置5としては、例えば、一般的なカメラであってもよいし、レーザによる画像を検出するLIDAR(light detection and ranging)であってもよい。
例えば全方位カメラの場合、天井などに設置され、室内を撮影し、その全方位画像を人物検知装置4へ送信する。
人物検知装置4は、撮影装置5によって検知された映像に基づいて、人物の存在を解析する。映像内に映り込む人物を検知し、映像上の人物検出座標と撮影領域の物理空間上の座標系とから、人物の位置を検出する。
そして、人物検知装置4は、エリア毎に、人物が存在する時間帯を検知する。その人物が存在する「エリアID」及び「時間帯」を、人物同定装置1へ送信する。
例えば図2によれば、エリアS4にはその時間帯に人物が存在しているために「人が存在」と検知され、エリアS5にはその時間帯に人物が存在していないために「人が不在」と検知される。
(1)角速度を受信した場合、人物検知装置4は、検知された人物の前向きを、端末3から受信した角速度に基づいて補正する。
(2)角速度又は加速度を受信した場合、人物検知装置4は、端末3から受信した角速度又は加速度が所定閾値以上変化した場合、機能を停止する。これによって、人物が前向きとなっている時間帯のみを抽出することができる。
人物同定装置1は、映像に映り込む人物が所持する端末3を同定する。
図1によれば、人物同定装置1は、マップテーブル101と、装着位置テーブル102と、発信機ID検索部11と、人物同定部12とを有する。これら機能構成部は、装置に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。また、これら機能構成部の処理の流れは、人物同定方法としても理解できる。
マップテーブル101は、エリアID毎に、少なくとも2つの発信機から発信されるビーコンIDを対応付けたものである。以下では、人物が自身の左側又は右側に、端末3を装着している場合を例として説明する。
・当該エリアに存在する人物の左側となる発信機のビーコンID
・当該エリアに存在する人物の右側となる発信機のビーコンID
尚、マップテーブル101には、エリアID毎に、最適なビーコンIDが登録されていればよい。即ち、当該エリアに対して必ずしも隣接するエリアに配置された発信機のビーコンIDに限られない。
装着位置テーブル102は、端末3の端末ID毎に、人物が当該端末を装着した位置に基づく装着位置フラグを記憶したものである。装着位置フラグとしては、例えば「右側」「左側」が対応付けられている。
尚、装着位置は、左右の2つの側に限られることなく、前後左右の4つの側や、人物の前向きに対して複数の側(例えば、人物を中心に等角度に位置する側)としてもよい。
エリアS3に配置された発信機の発信機ID:b3
エリアS4に配置された発信機の発信機ID:b4
エリアS5に配置された発信機の発信機ID:b5
マップテーブル101には、例えばエリアS4について、当該エリアS4に存在する人物から見て、左側となる発信機のビーコンID:b4と、右側となる発信機のビーコンID:b5とが対応付けられている。
端末3が左側に装着されていることが装着位置テーブル102に既定されている場合、左側の発信機のビーコンID:b4の受信強度は、右側の発信機のビーコンID:b5の受信強度よりも高くなっている。
一方で、端末3が右側に装着されていることが装着位置テーブル102に既定されている場合、右側の発信機のビーコンID:b5の受信強度は、左側の発信機のビーコンID:b4の受信強度よりも高くなっている。
このような広報パケットの受信強度の違いは、人物自身が電波遮蔽となっていることに基づくものである。
図5は、エリアS4に人物が存在していることを表す外観図である。
発信機ID検索部11は、当該エリアに人物が存在する時間帯に、マップテーブル101を用いて当該エリアにおける発信機IDの広報パケットを受信した端末毎に、装着位置テーブル102を用いて当該端末の端末IDにおける装着位置フラグの装着位置側の発信機IDを検索する。
<受信時刻><端末ID><ビーコンID><受信強度>
10:00 e2 b0 -65dBm
10:01 e1 b3 -70dBm
・・・ ・・・ ・・・ ・・・
<エリアID><時間帯>
・・・ ・・・
S2 9:45−9:49
S4 10:00−10:10
・・・ ・・・
図5によれば、エリアS4に人物の存在が検知された時間帯10:00−10:10に、端末e1及びe2が、マップテーブル101に登録されたエリアS4のビーコンID:b4及びビーコンID:b5を受信している。
<端末ID><ビーコンID><平均受信強度><時間帯>
e1 b4 -65dBm 10:00−10:10
e1 b5 -70dBm 10:00−10:10
e2 b4 -75dBm 10:00−10:10
e2 b5 -70dBm 10:00−10:10
・・・ ・・・ ・・・ ・・・・・・
人物同定部12は、1つ以上の端末の中で、装着位置側の発信機IDの広報パケットの受信強度が相対的に高い端末、又は、装着位置側の発信機IDの広報パケットの受信回数が相対的に多い端末を、人物検知装置によって当該エリアに存在すると検知された人物に装着された端末であると同定する。
図5によれば、受信強度が相対的に高い端末e1が、人物検知装置4によって当該エリアS4に存在すると検知された人物に装着された端末であると同定される。
本発明によれば、人物がエリア内で歩行していない状態であっても、その人物が所持する端末を同定することができる。特に、接客等のためにカウンタで静止する時間帯の多い店員に適する。
101 マップテーブル
102 装着位置テーブル
11 発信機ID検索部
12 人物同定部
2 発信機
3 端末
4 人物検知装置
5 撮影装置
Claims (9)
- 複数のエリアそれぞれに対応した異なる発信機ID(IDentifier)を含む広報パケットを発信する発信機と、
人物に装着された状態で、前記広報パケットを受信する端末と、
撮影装置を用いて、各エリアに人物が存在する時間帯を検知する人物検知装置と、
前記端末から端末IDと前記広報パケットの発信機ID及び受信強度とを取得し、前記人物検知装置によって検知された人物が当該端末を装着した人物か否かを同定する人物同定装置と
を有するシステムであって、
前記人物同定装置は、
端末ID毎に、人物が当該端末を装着した位置に基づく装着位置フラグを記憶した装着位置テーブルと、
エリア毎に、各装着位置側における発信機の発信機IDを登録したマップテーブルと、
当該エリアに人物が存在する時間帯に、前記マップテーブルを用いて当該エリアにおける発信機IDの広報パケットを受信した端末毎に、前記装着位置テーブルを用いて当該端末の端末IDにおける装着位置フラグの装着位置側の発信機IDを検索する発信機ID検索手段と、
1つ以上の前記端末の中で、装着位置側の発信機IDの広報パケットの受信強度が相対的に高い端末、又は、装着位置側の発信機IDの広報パケットの受信回数が相対的に多い端末を、前記人物検知装置によって当該エリアに存在すると検知された人物に装着された端末であると同定する人物同定手段と
を有することを特徴とするシステム。 - 前記人物検知装置は、当該エリアで検知された人物の人数が、所定数以下である場合にのみ、前記時間帯を検知する
ことを特徴とする請求項1に記載のシステム。 - 前記撮影装置は、各エリアを撮影するカメラ、又は、各エリアに光波を照射するLIDER(light detection and ranging)である
ことを特徴とする請求項1又は2に記載のシステム。 - 前記人物検知装置は、当該エリアにおける人物が前向きで存在する時間帯を検知し、
前記人物同定装置の前記装着位置テーブルは、当該対象端末の装着位置として、人物の前向きに対して複数の側とする
ことを特徴とする請求項1から3のいずれか1項に記載のシステム。 - 前記人物同定装置の前記装着位置テーブルについて、前記複数の側は、人物を中心に等角度に位置する2つ以上の側である
ことを特徴とする請求項4に記載のシステム。 - 前記端末は、角速度センサを搭載し又は接続し、
前記人物検知装置は、検知した人物の前向きを、前記端末から受信した角速度に基づいて補正する
ことを特徴とする請求項4又は5に記載のシステム。 - 前記端末は、角速度センサ又は加速度センサを搭載し又は接続し、
前記人物検知装置は、前記端末から受信した前記角速度又は前記加速度が所定閾値以上変化した場合、機能を停止する
ことを特徴とする請求項1から5のいずれか1項に記載のシステム。 - 発信機及び端末は、BLE(Bluetooth Low Energy)若しくはiBeacon(登録商標)又は無線LANの同一の近距離無線規格に基づくデバイスであり、
広報パケットに含まれる発信機IDは、Advertising Packetに含まれるビーコンIDである
ことを特徴とする請求項1から7のいずれか1項に記載のシステム。 - 複数のエリアそれぞれに対応した異なる発信機IDを含む広報パケットを発信する発信機と、
人物に装着された状態で、前記広報パケットを受信する端末と、
各エリアに人物が存在する時間帯を検知する人物検知装置と、
前記端末から端末IDと前記広報パケットの発信機ID及び受信強度とを取得し、前記人物検知装置によって検知された人物が当該端末を装着した人物か否かを同定する人物同定装置と
を有するシステムの人物同定方法であって、
前記人物同定装置は、
端末ID毎に、人物が当該端末を装着した位置に基づく装着位置フラグを記憶した装着位置テーブルと、
エリア毎に、装着位置側における発信機の発信機IDを登録したマップテーブルと
を有し、
当該エリアに人物が存在する時間帯に、前記マップテーブルを用いて当該エリアにおける発信機IDの広報パケットを受信した端末毎に、前記装着位置テーブルを用いて当該端末の端末IDにおける装着位置フラグの装着位置側の発信機IDを検索する第1のステップと、
1つ以上の前記端末の中で、装着位置側の発信機IDの広報パケットの受信強度が相対的に高い端末、又は、装着位置側の発信機IDの広報パケットの受信回数が相対的に多い端末を、前記人物検知装置によって当該エリアに存在すると検知された人物に装着された端末であると同定する第2のステップと
を実行することを特徴とするシステムの人物同定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018185617A JP6905965B2 (ja) | 2018-09-28 | 2018-09-28 | 端末の装着位置によって人物を同定するシステム及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018185617A JP6905965B2 (ja) | 2018-09-28 | 2018-09-28 | 端末の装着位置によって人物を同定するシステム及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020057070A JP2020057070A (ja) | 2020-04-09 |
JP6905965B2 true JP6905965B2 (ja) | 2021-07-21 |
Family
ID=70107286
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018185617A Active JP6905965B2 (ja) | 2018-09-28 | 2018-09-28 | 端末の装着位置によって人物を同定するシステム及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6905965B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102376407B1 (ko) * | 2021-04-26 | 2022-03-21 | 주식회사 화컴 | 근거리 통신망을 활용한 근접 사용자 네트워킹 서비스 제공 방법 및 이를 위한 시스템 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120001728A1 (en) * | 2010-06-30 | 2012-01-05 | Janiszewski Tom J | Method and system for determining location information |
EP3240355A4 (en) * | 2014-12-26 | 2018-07-11 | Nomura Research Institute, Ltd. | Location determination system and location determination program |
JP2017201240A (ja) * | 2016-05-02 | 2017-11-09 | 日本電信電話株式会社 | 位置特定装置及び位置特定方法 |
JP6300130B1 (ja) * | 2017-01-24 | 2018-03-28 | パナソニックIpマネジメント株式会社 | 接客状況分析装置および接客状況分析システム |
-
2018
- 2018-09-28 JP JP2018185617A patent/JP6905965B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2020057070A (ja) | 2020-04-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10037475B2 (en) | Hybrid multi-camera based positioning | |
US10354145B2 (en) | Associating a user identity with a mobile device identity | |
WO2003092291A1 (fr) | Dispositif de detection d'objet, serveur de detection d'objet et procede de detection d'objet | |
Pirzada et al. | Device-free localization technique for indoor detection and tracking of human body: A survey | |
Jang et al. | Survey of landmark-based indoor positioning technologies | |
US11930476B2 (en) | Sensor information integration system, sensor information integration method, program, and recording medium | |
Fang et al. | Eyefi: Fast human identification through vision and wifi-based trajectory matching | |
US11132880B2 (en) | System for tracking the location of people | |
US10997474B2 (en) | Apparatus and method for person detection, tracking, and identification utilizing wireless signals and images | |
Choi et al. | Smartphone based indoor path estimation and localization without human intervention | |
US10375667B2 (en) | Enhancing indoor positioning using RF multilateration and optical sensing | |
JP2018061114A (ja) | 監視装置および監視方法 | |
US10685103B2 (en) | Challenge and response system for identifying non-credentialed occupants and method | |
Chen et al. | Rfcam: Uncertainty-aware fusion of camera and wi-fi for real-time human identification with mobile devices | |
Liu et al. | Vi-Fi: Associating moving subjects across vision and wireless sensors | |
JP6905965B2 (ja) | 端末の装着位置によって人物を同定するシステム及び方法 | |
JP6927936B2 (ja) | 人物における端末の装着位置を推定するシステム及び方法 | |
Schindhelm et al. | Overview of indoor positioning technologies for context aware AAL applications | |
KR20160124543A (ko) | 안테나 구비 휴대단말기에 의한 대상체 이격위치 모니터링 시스템 및 안테나 구비 휴대단말기에 의한 대상체 이격위치 모니터링 방법 | |
Ikeda et al. | Person identification by integrating wearable sensors and tracking results from environmental sensors | |
Ashok et al. | What am i looking at? low-power radio-optical beacons for in-view recognition on smart-glass | |
Saputra et al. | Advanced sensing and automation technologies | |
JP2021077951A (ja) | 運動状態についての対象との対応度に基づき端末を同定する装置、プログラム及び方法 | |
Chen et al. | Centimeter-Level Indoor Positioning With Facing Direction Detection for Microlocation-Aware Services | |
KR20180038869A (ko) | 공항용 로봇 및 그의 동작 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200718 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210528 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210624 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210628 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6905965 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |