JP6445118B2 - ウェアラブル端末、方法及びシステム - Google Patents

Description

本発明の実施形態はウェアラブル端末、方法及びシステムに関する。

近年、メガネ型ウェアラブル端末が盛んに利用されている。例えば、作業現場では、作業者がメガネ型ウェアラブル端末を装着し、作業手順等がレンズ面に表示される。これにより、作業者が作業中に紙のマニュアルを参照する必要が無く、作業の手を休めることなく、不慣れ又は複雑な作業でも効率よく行うことができる。

メガネ型ウェアラブル端末は多数の作業者に共有され、作業の記録を残す等のために、端末のＩＤと装着した作業者のＩＤとを対応付ける必要がある。この一例として、頭部装着型表示装置の使用者を認証する技術がある。使用者が虚像と外景を同時に視認可能な頭部装着型表示装置であって、頭部装着型表示装置を装着した状態における使用者の視界方向の少なくとも一部を撮影し、使用者の動作を取得する撮影部と、撮影部により撮影された動作から、使用者の動作の軌跡を取得する軌跡取得部と、軌跡取得部により取得された軌跡を用いて、使用者が正当な使用者であるか否かを認証する認証処理部と、を備える頭部装着型表示装置が提案されている。

この装置によれば、認証処理部は、使用者の動作の軌跡を用いて使用者が正当な使用者であるか否かを認証するため、文字列や画像を用いた認証と比較して、認証の鍵とされる情報を複製しづらい。この結果、頭部装着型表示装置において、なりすましの危険性を低減し、セキュリティをより向上する認証を実現可能である。

特開２０１４−５２９４２号公報

従来の頭部装着型表示装置の認証技術は、使用者の視界を撮影する撮影部を別途設ける必要があるという課題があった。

本発明の目的は、簡単な構成で、装着者を特定するウェアラブル端末、方法及びシステムを提供することである。

実施形態によれば、頭部に装着され得るウェアラブル端末は、ウェアラブル端末の動きに関する第１情報を出力する第１検出手段と、ウェアラブル端末の位置に関する第２情報を出力する第２検出手段と、第１検出手段から出力された第１情報と第２検出手段から出力された第２情報に基づいて、ウェアラブル端末の装着者を特定する特定手段と、前記装着者の視線上に位置する表示画面と、を具備し、特定手段は、装着者の候補に関する情報を表示画面に表示し、ユーザ操作に基づいて装着者を特定する。

実施形態のウェアラブル端末の一例を示す斜視図である。 ウェアラブル端末の一例を示す正面図と断面構成を示す図である。 ウェアラブル端末の位置検出の一例を示す図である。 ウェアラブル端末の位置検出の原理を示す図である。 ウェアラブル端末の位置検出の際の信号波形を示す図である。 ウェアラブル端末とコミュニケーションサーバとを含むシステムの一例を示す図である。 ウェアラブル端末の電気的構成を示すブロック図である。 装着者決定の際のウェアラブル端末の処理の流れを示すフローチャートである。 装着者決定の際のコミュニケーションサーバの処理の流れを示すフローチャートである。 ウェアラブル端末とコミュニケーションサーバとを含むシステムの他の例を示す図である。 図１０のシステムにおける通話処理の流れを示すフローチャートである。

以下、図面を参照して、実施の形態について説明する。

ウェアラブル端末は、頭部装着型（これにはメガネ型、ゴーグル型、ヘルメット型等が含まれるが、これらを総称してメガネ型と称する場合もある）、リストバンド型、ペンダント型等があるが、ここでは、メガネ型ウェアラブル端末の実施形態を説明する。メガネ型ウェアラブル端末には、透明なレンズを介して視線の先の風景が見えるタイプと、視界が遮られ、風景が見えないヘッドマウントディスプレイと称されるタイプがあるが、ここでは、一例として風景が見えるタイプを説明する。

図１はメガネ型ウェアラブル端末（以下、単にウェアラブル端末と称する）１０の斜視図、図２（ａ）は正面図、図２（ｂ）は上から見た断面構造を示す図である。

ウェアラブル端末１０は通常のメガネとほぼ同じ形状であるが、一方、ここでは右眼側のテンプルの外側に投影装置１２が取り付けられている。フレームにはガラス１４、１６が嵌め込まれている。左眼側のガラス１４はユーザが景色を見ることができるように通常の透明ガラスである。右眼側のガラス１６は、少なくとも一部がスクリーン１６となっている。スクリーン１６は、投影装置１２が投影している画像をユーザが見ることができるようにするものである。スクリーン１６は投影装置１２が画像を投影しない時は透明であり、ユーザが右眼側のガラス（スクリーン）１６を介して景色を見ることができる。

投影装置１２は、電子部品として電源部２２、制御部２４を含む。電源部２２はボタン型の電池、充電可能な電池、非接触給電可能な二次電池等を含むことができる。あるいは、電源は内蔵せず、外部電源から電源ラインを介して投影装置１２に給電してもよい。制御部２４は、後述するネットワークを介してサーバや他の電子機器との間で通信を行い、情報を送受信する。この通信は、有線又は無線のいずれであってもよい。無線の場合、使用環境に応じてBluetooth（登録商標）、ZigBee（登録商標）、UWB等の近距離無線通信、WiFi（登録商標）等の中距離無線通信、3G/4G、WiMAX（登録商標）等の遠距離無線通信のいずれを利用してもよい。

投影装置１２は、さらに、光学部品として光源２８、表示部３０、プリズム３２、レンズ群３４等を含む。光源２８は、互いに発光色が異なり、それぞれの出力光量を独立して変更可能な複数、例えば３個のＬＥＤ（Light Emitting Diode）を含む調光型白色ＬＥＤ光源であってもよい。調光型白色ＬＥＤ光源によれば、ウェアラブル端末１０の使用環境が、例えばオレンジ色が主体の照明が用いられることの多いクリーンルーム内、等である場合においても、使用環境に応じて発光色を変更することができ、鮮明な投影像が得られる。さらに、調光型白色ＬＥＤ光源によれば、ユーザが見易い表示色を出力することができ、ユーザが見辛い表示色を出力する場合に比較して、目の疲れや、それに伴う偏頭痛、等のユーザにとって支障となる要因の発生を避けることが可能である。

表示部３０は、例えば反射型のＬＣＤ（Liquid Crystal Display）モジュールであり、制御部２４による表示制御に基づいて、所定のテキスト、画像等（以下、表示部３０が表示されるものを表示像と総称することもある）を表示する。光源２８から出射される非平行光（発散性の光、以下発散光と称することもある）は、プリズム３２のハーフミラー面３２ａで反射され、表示部３０の表示像を照明する。表示部３０の反射光は、表示像に対応した光（画像光と称する場合もある）としてハーフミラー面３２ａを透過して、出射面３２ｃから出射され、レンズ群３４を介して所定サイズの投影像としてスクリーン１６に投影される。

スクリーン１６は、手前側透明屈折体４２、フレネルレンズ形ハーフミラー面４４及び奥側透明屈折体４６を有する。フレネルレンズ形ハーフミラー面４４に到達した画像光の一部は、フレネルレンズ形ハーフミラー面４４で反射され、表示部３０の表示像に対応する虚像（投影像）を数メートル先に形成する。なお、スクリーン１６は、ウェアラブル端末１０を装着したユーザの視線の先の風景も一部透過することができ、スクリーン１６には投影像とともにユーザが視認可能な風景が表示されるように構成してもよい。

光源２８から出射され、ハーフミラー面３２ａを通過した画像光（発散光）の一部は、全反射面３２ｂで全反射し、出射面３２ｃで屈折して光源２８からの発散光である漏れ光５０となる。漏れ光５０は、投影装置１２の正面に形成された開口又は隙間（誘導部）５２を通ってスクリーン１６とは異なる方向へ出射される。

ウェアラブル端末１０は、投影装置１２の所定の位置、たとえば底面部に、スピーカ５４Ａ、イヤホンジャック５４Ｂ、マイクジャック５６、スライド式スイッチ５７及び回転式スイッチ５８等を有する。マイクジャック５６には、図示しないハンズフリーマイクが接続され、ユーザの音声が収集される。スライド式スイッチ５７は、例えば投影装置１２の投影像の輝度や色調等を調整可能である。回転式スイッチ５８は、例えば投影像の投影角度等を調整可能である。スライド式スイッチ５７及び回転式スイッチ５８のように異なる動作により異なる調整量を設定可能とすることで、投影像を目視しながら、ユーザが、ブラインドタッチで、投影像を調整可能である。例えば、スライド式スイッチ５７を操作することにより、ユーザの好みに合わった表示輝度や色調の投影像を提供できる。回転式スイッチ５８を操作することにより、ユーザの頭部の形状やサイズに合わせて、最適な位置に画像を表示するように投影角度を調整できる。なお、スライド式スイッチ５７と回転式スイッチ５８による調整対象が逆であってもよいことはもちろんであるし、スライド式スイッチ５７と回転式スイッチ５８の位置が逆であってもよいし、両者を１つの操作部材の２種類の操作に割り当ててもよい。

これらのスイッチ５７、５８による選択は投影像のみを見ながら施行錯誤的に行ってもよいが、調整の効率を上げるために、メニュー画面を投影して、その画面内で項目を選択することにより調整してもよい。表示部３０がメニュー画面を表示することにより、メニュー画面がスクリーン１６に投影される。

さらに、メニュー項目の選択は、スイッチ５７、５８の操作によらず、タッチ操作によってもよい。このため、投影装置１２の外側には、タッチパッド５５も設けられる。表示部３０がメニュー等を表示し、メニュー内の項目の表示位置に応じたタッチパッド５５内の位置をタッチすることにより、簡単かつ効率よくユーザ操作を入力できる。

正面中央部の外側にはカメラ５９が設けられ、ユーザの視線の先の画像（静止画、動画のいずれも可）を撮影可能である。なお、図示していないが、正面中央部の内側（カメラ５９の配置位置と対応する位置）にユーザの顔に対向してカメラを設け、ユーザの眼球を撮影し、ユーザの虹彩を検出可能としてもよい。虹彩はユーザ認証に使うことができる。

ウェアラブル端末１０からの漏れ光５０を利用することで、ウェアラブル端末１０の状態、すなわちユーザの状態を検出できる。図３、図４、図５を参照して、ウェアラブル端末の状態の検出原理を説明する。ここで、状態は位置と、位置の移動等を含む。

ウェアラブル端末の使用例の一例を図３に示す。例えば、工場の部品ヤード、通販会社の商品倉庫、小売業の配送部署等のワークエリア６０内に任意数の作業スペース又は商品棚Ａ０１〜Ａｘｙ（ｘ，ｙはともに正の整数）、Ｂ０１〜Ｂｘｙ、Ｃ０１〜Ｃｘｙが配置される。作業スペース又は商品棚は、例えば工場の作業テーブルや生産ライン内の製造装置又は学校の机や会議室の着席位置、等であってもよい。

ワークエリア６０には少なくとも１つの光センサ６２−１〜６２−ｎ（ｎは正の整数）が配置される。光センサ６２−１〜６２−ｎは、ウェアラブル端末１０−１〜１０−ｍ（ｍは正の整数）の位置（ｘ，ｙ，ｚ）、個数、位置の変化（移動）及び向きの変化等を、図４、図５に示す検出方法により、個々に検出できる。ウェアラブル端末１０−１〜１０−ｍの位置、個数、移動及び向きの変化等を検出することにより。ウェアラブル端末１０−１〜１０−ｍを装着した任意数のユーザの位置、移動等の状態を認識できる。

ユーザは、ワークエリア６０内を自在に移動できる。ユーザは、予め定められた作業を、予め定められた位置、例えばステーション（カート）、それに準じた収容器又は可動式のテーブル等である作業スペース６４において実行する。なお、作業スペース６４は、移動可能ではなく、固定された机やその着席位置等であってもよい。

図３、図４に示すように、検出システムは、１以上のウェアラブル端末１０、１以上の光センサ６２を含む。光センサ６２は、漏れ光５０を検出する機能と、検出結果をサーバ等に送信する通信機能を有する。この通信機能も、ウェアラブル端末１０の通信機能と同じく、有線又は無線のいずれであってもよい。無線の場合、使用環境に応じてBluetooth（登録商標）、ZigBee（登録商標）、UWB等の近距離無線通信、WiFi（登録商標）等の中距離無線通信、3G/4G、WiMAX（登録商標）等の遠距離無線通信のいずれを利用してもよい。以下に説明する実施形態は通信機能を有する種々のユニット、モジュールを有するが、これらのユニット、モジュールの通信機能も、同様に、有線又は無線のいずれであってもよい。無線の場合、使用環境に応じてBluetooth（登録商標）、ZigBee（登録商標）、UWB等の近距離無線通信、WiFi（登録商標）等の中距離無線通信、3G/4G、WiMAX（登録商標）等の遠距離無線通信のいずれを利用してもよい。

光センサ６２が受信した漏れ光５０からウェアラブル端末１０を特定できるように、ウェアラブル端末１０は、端末の識別情報（Identification、以下端末ＩＤと称する場合もある）を含む情報を用いて漏れ光５０を間欠的に変調する。変調方式の典型的な一例は、発光量をゼロまで落とすチョッパー形変調方式があるが、ここでは、発光量が低い状態でも所定量以上の発光量を確保できる変調方式が採用される。これにより、ユーザの目に対する負担を軽減できる。変調方式として、例えばＤＳＶ（Digital Sum Value）フリーの変調方式（すなわち常に変調信号のＤＳＶを計算し、適宜ビット反転コードを挿入可能にして直流成分をゼロとする変調方式）が採用されると、比較的ロングレンジでの発光量変化が抑えられ、巨視的に常に発光量変化がゼロにでき、ユーザの目への負担が一層軽減される。人間の目は、０．０２秒程度の変化まで認識できるので、上記変調の基準周波数を１０Ｈｚ以上、例えば２０Ｈｚ以上、より好ましくは６０Ｈｚ以上に設定することで、ユーザの目に対する負担を軽減する効果も生まれる。一方、光源２８に使用されるＬＥＤは、内部インピーダンスと接続容量を持つため、精度良い変調周波数は、１００ＭＨｚ未満、望ましくは１０ＭＨｚ以下が望ましい。従って、実施形態の検出システムにて用いる光源２８の変調周波数は、１０Ｈｚ〜１００ＭＨｚ、望ましくは１０Ｈｚ〜１０ＭＨｚの範囲が好ましい。

光源２８からの発散光の漏れ光５０を利用しているので、光センサ６２が検出する光量がウェアラブル端末１０と光センサ６２との間の距離に応じて変化する。この現象を利用すると、ウェアラブル端末１０と光センサ６２との間の距離又は光センサ６２に対するウェアラブル端末１０の向きを求めることができる。光センサ６２の位置（高さも含む）は固定であるので、光センサ６２とウェアラブル端末１０との距離が分かると、ウェアラブル端末１０の位置（ｘ，ｙ，ｚ）が検出できる。

さらに、光源２８からの発散光の漏れ光５０を利用しているので、漏れ光５０を比較的広い範囲で検出できる。その結果、比較的少数の光センサ６２−１〜６２−ｎを設置するだけで、ワークエリア６０内のウェアラブル端末１０−１〜１０−ｍの位置、ウェアラブル端末１０と光センサ６２との距離、ウェアラブル端末１０−１〜１０−ｍの向き、又は光センサ６２に対するウェアラブル端末１０の方位が検出できる。これにより、検出システムを設置するために必要となる設備費用を低減できる。

光センサ６２が検出した漏れ光５０の光量情報は、所定のタイミングで、光センサ６２から後述するサーバへ送信される。サーバは、収集した光センサ６２からの情報を解析する。これにより、任意のウェアラブル端末１０−１〜１０−ｍすなわちユーザの位置及び状態が検出できる。

図４は、実施形態に係るウェアラブル端末を認識するシステムの具体的な利用例を説明する概略図である。４個の光センサ６２−１〜６０−４の周囲にウェアラブル端末１０−１〜１０−３を装着した３人のユーザがいる状況を想定する。ウェアラブル端末１０−１、１０−２からの漏れ光５０は、光センサ６２−１〜６０−４にて検出される。光センサ６２−１〜６０−４は、それぞれにおいて検出した漏れ光５０の光量をＡ−Ｄ（Analog - Digital）変換し、光量に対応する光量情報として、所定のタイミングで、例えば近距離無線通信によりサーバへ送信する。

ユーザの移動に応じてウェアラブル端末１０−１が光センサ６２−１へ移動する一方、ユーザの任意の動作、例えば首振り（頭部の旋回）に応じてウェアラブル端末１０−２の向きが一時的に変化したとする。この時の検出情報の変化を図５に示す。

図５では、ウェアラブル端末１０−１〜１０−３のそれぞれの漏れ光５０の変調方式として、間欠的な時間変化方式を用いた例を示している。すなわち、ウェアラブル端末１０−１〜１０−３のそれぞれにおいて、ＩＤ変調期間がずれている。

図５（ａ）、（ｂ）、（ｃ）に示すように、１番目〜３番目のウェアラブル端末１０−１〜１０−３について、間欠的にウェアラブル端末のＩＤ変調期間が設定され、それ以外の期間は無変調期間である。各ＩＤ変調期間内では、同期信号ＳＹＮＣとウェアラブル端末１０−１〜１０−３の端末ＩＤが一つの組を構成し（１対１で対応し）、その組が複数回（図５に示すようにセンサが４個の場合、４の倍数回）、繰り返される。

１番目のウェアラブル端末１０−１が無変調期間に入ると同時に、２番目のウェアラブル端末１０−２のＩＤ変調期間が開始する。同様に２番目のウェアラブル端末１０−２が無変調期間に入ると同時に、３番目のウェアラブル端末１０−３のＩＤ変調期間が開始する。

２番目のウェアラブル端末１０−２のＩＤ変調期間内と３番目のウェアラブル端末１０−３のＩＤ変調期間内とにおいては、同期信号ＳＹＮＣとウェアラブル端末１０−２、１０−３の端末ＩＤが繰り返し変調される。このように、ウェアラブル端末１０の端末ＩＤを変調信号内に乗せることで、端末ＩＤが検出可能である。

上記の例では、ウェアラブル端末１０−１〜１０−３のそれぞれの変調タイミングは、時分割（間欠化）されている。しかし、例えば全てのウェアラブル端末１０−１〜１０−３について、連続的に変調されるものとし、ウェアラブル端末１０−１〜１０−３のそれぞれの変調基準周波数が変化されてもよい。また、スペクトル拡散時のそれぞれの周波数スペクトル特性が変化されてもよい。

図５（ｄ）、（ｅ）、（ｆ）、（ｇ）が示すように、光センサ６２−１〜６２−４からの情報通信期間は、各ＩＤ変調期間において細かく分割されている。

図４に示すように、初期の時点では、ウェアラブル端末１０−１からの漏れ光の一部が、光センサ６２−４に到達する。そのため、初期の時点では、図５（ｋ）に示すように、光センサ６２−４がウェアラブル端末１０−１からの漏れ光を検出する。しかし、ウェアラブル端末１０−１が光センサ６２−１へ向かって移動するにつれて、光センサ６２−４が検出するウェアラブル端末１０−１からの漏れ光の変調信号振幅が減少して行く。一方、図５（ｈ）に示すように、光センサ６２−１が検出するウェアラブル端末１０−１からの漏れ光の変調信号振幅は、時間の経過と共に増加する。このように、光センサ６２−１〜６２−ｎが検出する変調信号振幅の時間変化を比較することで、検出対象であるウェアラブル端末１０−１〜１０−ｍの位置の時間変化（移動状態）が検出できる。

一方、初期の時点で、ウェアラブル端末１０−２が光センサ６２−３に向いているので、漏れ光から得られる変調信号振幅に関して、光センサ６２−２での検出値より光センサ６２−３での検出値の方が大きい。この後、例えば２番目のユーザが首を振り、一時的に光センサ６２−２を向いたとする。すると、光センサ６２−２が出力するウェアラブル端末１０−２の検出出力は、図５（ｉ）に示すように、一時的に増加した後、減少する。他方、光センサ６２−３が出力するウェアラブル端末１０−２の検出出力は、図５（ｊ）に示すように、一時的に減少した後、増加する。

このように、光センサ６２が検出する変調信号振幅の時間変化を比較することで、検出対象であるウェアラブル端末１０−１〜１０−ｍの向きの時間変化も推定できる。

上記の検出例は、ユーザの動きとして、移動や首振りである場合の例である。しかしそれに限らず、ユーザのさまざまな別の行動を利用してもよい。例えば、ユーザの手の移動や上体（身体）のひねり、等により漏れ光を一時的に遮光してもよい。この場合、全ての光センサ６２−１〜６０−４において、共通に、同一の時間帯に、変調信号振幅の一時的な減少が生じる。このように、全ての光センサ６２−１〜６０−４の変調信号振幅の変化の関連性を比較することで、ユーザの異なる行動パターンが識別可能である。

以上の方法を利用することにより、単なるユーザの行動を検出するだけでなく、ユーザの意思も認識することが可能である。

なお、ウェアラブル端末１０の位置（ｘ，ｙ，ｚ）を検出する方法として、ビーコンを用いてもよい。上述の例では、多数のウェアラブル端末１０から端末識別情報が変調された光が多数の光センサ６０に出射され、多数の光センサ６０が受信した情報を比較処理して、ウェアラブル端末１０の位置、状態を検出したが、多数の位置情報発信器をワークエリア６０内に配置し、発信器から配置位置に応じたビーコンを、例えば数メートルの到達距離のＲＦ−ＩＤ等の近距離無線通信により送信すれば、それを受信したウェアラブル端末１０は発信器の位置とほぼ同じ位置であると見なすことができる。さらに、ＧＰＳを利用してウェアラブル端末の位置を検出することもできる。位置検出は、一種類の方法のみに基づく必要は無く、複数の方法を併用すると、検出精度を向上できる。

図６は、ウェアラブル端末を使用するシステム全体の一例を示す。システムは、１又は複数のＬＡＮ１０２と、１つの広域ネットワーク１０４からなる。広域ネットワーク１０４は工場、ビル、企業毎のネットワークでもよいし、インターネットでもよい。ＬＡＮ１０２は、例えば、工場の建屋、部署、ビルのフロア、企業の営業所等の単位であってもよい。各ＬＡＮ１０２は複数のウェアラブル端末１０、管理者端末２０２、複数の光センサ６２、アクセスポイント１１２、複数の位置情報発信器１１３、複数のカメラ１１４等からなる。ウェアラブル端末１０、管理者端末２０２、光センサ６２、位置情報発信器１１３、カメラ１１４等は無線によりアクセスポイント１１２に接続される。ＬＡＮ１０２は広域ネットワーク１０４を介してコミュニケーションサーバ１０６に接続される。位置情報発信器１１３は、位置に応じたビーコンを、例えば数メートルの到達距離のＲＦ−ＩＤ等の近距離無線通信により送信する。カメラ１１４は、ＬＡＮ１０２のエリア内を撮影するものであり、その画像を解析することによっても、ユーザの行動を知ることができる。例えば、ユーザ毎の標準画像を記憶しておいて、ユーザがウェアラブル端末１０を取り付ける際の画像又は取り外す際の画像と比較することにより、装着ユーザを特定できる。多数のカメラを配置できない場合は、撮影方向が可変で、一台で広範囲のユーザを撮影できるカメラ１１４を配置してもよい。

コミュニケーションサーバ１０６は情報検索部１２０、位置・情報管理部１２２、装着者推定部１２４、スケジュール管理部１２６等を含む。

位置・状態管理部１２２は、ウェアラブル端末１０や管理者端末２０２の位置及び状態に関する情報を収集し、管理する。また、情報検索部１２０からそれらの情報を抽出する。スケジュール管理部１２６は、端末を装着する従業員の予定情報・出退勤記録を管理・提供するための機能を持つ。予定情報は、従業員の作業予定（何時から何時までは何処エリアにいて○○作業に従事する予定等）と、出／退勤時刻、作業記録（何時から何時までは何処エリアにいて○○作業に従事した等）を含む。また、情報検索部１２０からそれらの情報を抽出する。情報検索部１２０は、位置・状態管理部１２２やスケジュール管理部１２６の持つ情報を検索・処理するための機能を持つ。装着者推定部１２４は、管理している従業員の既存の特徴量データと与えられたユーザの特徴量データとの相関をとることにより、装着者が誰であるかを決定してもよい。

図７は、ウェアラブル端末１０の電気的な構成の一例を示す。ウェアラブル端末１０は、ＣＰＵ１４０、システムコントローラ１４２、メインメモリ１４４、ストレージデバイス１４６、マイク１４８、スピーカ５４、投影処理部１５０（光源２８、表示部３０を制御する）、カメラ５９、無線通信デバイス１５２、モーションセンサ１５４、視線検出センサ１５６、ジェスチャセンサ１５８、タッチパッド５５、バイブレータ６８、位置情報受信器１５９、ＧＰＳモジュール１５５等を備える。

ＣＰＵ１４０は、ウェアラブル端末１０内の各種モジュールの動作を制御するプロセッサであり、ＳＳＤ又はフラッシュアレイ等の不揮発性の半導体メモリからなるストレージデバイス１４６からメインメモリ１４４にロードされるコンピュータプログラムを実行する。これらプログラムには、オペレーティングシステム（ＯＳ）、および各種アプリケーションプログラムが含まれている。ＣＰＵ１４０は、各種アプリケーションプログラムを実行し、無線通信デバイス１５２を使ってネットワーク経由でコミュニケーションサーバ１０６と通信することにより、例えば以下のような処理を行う。例えば、ＣＰＵ１４０は、マイク１４８を使って音声入力を行い、音声データをコミュニケーションサーバ１０６へ送ったり、イヤホンジャック５４Ｂに接続される図示しないステレオイヤホン又はスピーカ５４から音を鳴らす等、様々の制御を行う。ステレオスピーカが必要である場合、図１、図２には図示しないが、左眼側のテンプルにもスピーカを設けてよい。

システムコントローラ１４２は、ＣＰＵ１４０のローカルバスと各種コンポーネントとの間を接続するデバイスである。マイク１４８はマイクジャック５６に接続され、ユーザが発する音声又は環境音を収集する。ユーザの発する音声を音声認識すること又は環境音を分析することにより、ユーザの行動の推定ができ、ユーザを特定できる。例えば、ユーザ毎の標準音声を記憶しておいて、装着者が発生する音声と比較することにより、装着ユーザを特定できる。また、環境音を分析することにより、装着者が位置する作業場所を特定することができ、ユーザの行動予定表から当該場所にいる筈のユーザを絞り込むことができる。スピーカ５４はユーザの注意を喚起するアラーム等を出力する。投影処理部１５０は、表示部３０に画像信号を出力し、光源２８を点灯することにより、スクリーン１６に表示部３０の画像を投影する。この画像は静止画のみならず、動画も含むことができる。無線通信デバイス１５２は、例えば無線ＬＡＮ機能を有し、ウェアラブル端末１０とアクセスポイント１１２とを無線で接続する。

モーションセンサ１５４は、３軸加速度、３軸ジャイロ、３軸地磁気センサを統合したセンサであり、ウェアラブル端末１０を使用するユーザの頭の動きを検出でき、その結果、顔が向いている方角を判別する。視線検出センサ１５６は、メガネのフレーム中心の内側にユーザの顔に向けて設けられ、ユーザの眼球を撮影し、視線の動きを検出する。さらに、視線検出センサ１５６は、ユーザの虹彩を検出可能としてもよい。ジェスチャセンサ１５８は、指の動きによるジェスチャを判別するセンサである。具体的には、投影装置１２に設けられたタッチパッド５５上の指の動きや、カメラ５９の画像を解析すること等により、ユーザのジェスチャを判別するセンサの総称である。バイブレータ６８は、投影装置１２を振動させることによりウェアラブル端末１０のテンプルを振動させ、ユーザに何かの情報を伝える。位置情報受信器１５９は、ＬＡＮ１０２のエリア内に複数配置された位置情報発信器１１３からＲＦ−ＩＤ等の近距離無線通信を利用して発信される位置情報を含むビーコンを受信する。近距離無線通信なので、発信器と受信器（ウェアラブル端末）との位置はほぼ同じと見做すことができる。ＧＰＳモジュール１５５は、ウェアラブル端末１０の位置（ｘ，ｙ，ｚ）を検出する。この検出結果と、位置情報受信器１５９の検出結果と、図３の光センサ６２の検出結果を総合することにより、より正確にユーザの位置、その変化を検出できる。

次に、このように構成されたウェアラブル端末１０、コミュニケーションサーバ１０６によるウェアラブル端末のユーザが誰であるかの決定を説明する。ここでは、ウェアラブル端末１０の使用環境は、多数の作業対象があり、多数の作業工程からなり、多数の作業者が関与する作業現場を想定する。作業者を監督する管理者が所定のエリア、例えばＬＡＮ１０２のエリア毎に配置され、管理者は管理者端末２０２を使用するとする。管理者端末２０２は、ウェアラブル端末１０と同じ構成でもよいが、管理者は移動する必要が無いので、通常のパソコンやタブレットと同じ構成で良く、管理者端末２０２の詳細な説明は省略する。作業現場に居る作業者全員がウェアラブル端末１０を装着する必要は無い。そのため、ウェアラブル端末１０は作業者全員分用意しておく必要は無く、所定個数のみ用意しておき、必要な作業者が空いている共有ウェアラブル端末を装着する。システムは、装着の際、ユーザを特定する必要がある。この理由は、特定のユーザに対して、スクリーン１６の投影像、スピーカ５４からの音、バイブレータ６８の振動等により、何かを通知するため、又はウェアラブル端末１０の装着状況に基づき作業者の作業行動を管理するため等である。

図８はウェアラブル端末１０の処理、図９はコミュニケーションサーバ１０６の処理の流れを示すフローチャートである。

ウェアラブル端末１０では、ＣＰＵ１４０は、ブロックＢ１２で、電源オンしているか否かを判定する。オンしている場合、ＣＰＵ１４０は、ブロックＢ１４で、モーションセンサ１５４、視線検出センサ１５６、ジェスチャセンサ１５８のうちのいずれか１又は複数の出力を収集する。ＣＰＵ１４０は、ブロックＢ１６で、内蔵のカメラ５９及び／又はマイク１４８の出力も収集する。

ＣＰＵ１４０は、ブロックＢ２０で、これらの出力を演算処理して、ウェアラブル端末１０の動き、言い換えるとウェアラブル端末１０を所持しているユーザの行動を示す特徴量を計算する。特徴量は、例えば、モーションセンサ１５４から得られる加速度や角速度のある時間内の時系列データから計算した周波数成分である。得られた周波数成分において、推定したい処理に重要な成分が強調等の様々な信号処理を施されてもよい。推定処理では、ある時間分の特徴量を纏めた時系列データが解析に用いられる。モーションセンサ１５４の出力に基づき、ユーザの手の動きを表す特徴量が計算できる。視線検出センサ１５６の出力に基づき、ユーザの視線の動きを表す特徴量が計算できる。ジェスチャセンサ１５８の出力に基づき、ユーザの手の動きを表す特徴量が計算できる。内蔵カメラ５９が撮影した画像を分析することにより、ユーザの顔を含む体の動きを表す特徴量が計算できる。同様に、マイク１４８が集音した環境音を認識することによっても、ユーザの動きを表す特徴量が計算できる。例えば、ウェアラブル端末１０を顔にかける際又は顔から取り外す際のテンプルと皮膚又は頭髪との摩擦音に基づき、ウェアラブル端末の装着状況を知ることができる。さらに、マイク１４８が集音したユーザが発する音声を認識することによって、ユーザを特定することもできる。なお、特徴量の計算のためには、必ずしもこれらの全ての出力が必要であるという訳ではなく、計算に使用する信号は適宜選択可能である。

このように、ウェアラブル端末１０は電源がオンしている限り、ウェアラブル端末１０の動き、言い換えるとウェアラブル端末１０を所持しているユーザの行動を示す特徴量を常時計算している。ウェアラブル端末１０を顔にかける際又は顔から取り外す際、すなわち着脱の際は、ユーザの行動に個人個人の癖が出やすい。従って、着脱開始が検出されてから一定期間又は一定個数の特徴量に基づいて、ユーザを特定する。

ＣＰＵ１４０は、ブロックＢ２２で、計算した特徴量が、予め求められて記憶している着脱時の特徴量と相関が高いか否かを判定する。否の場合、ブロックＢ１２の判定処理が再び実行される。相関が高いと判定されると、ユーザを特定するための一定時間のウィンドウ処理が開始される。ここでは、一定時間内に複数回、特徴量が計算され、複数の特徴量に基づいてユーザが特定されるようになっているが、一定時間のウィンドウ処理ではなく、所定個数の特徴量が計算されるまでの可変時間のウィンドウ処理でもよい。

ＣＰＵ１４０は、ブロックＢ２４で、ブロックＢ１４、Ｂ１６、Ｂ２０と同様に、モーションセンサ１５４、視線検出センサ１５６、ジェスチャセンサ１５８、内蔵のカメラ５９、マイク１４８のうちのいずれか1又は複数の出力を収集し、予め定められた演算によりユーザの行動を表す特徴量を１つ計算する。ＣＰＵ１４０は、ブロックＢ２６で、この１つの特徴量を蓄積する。ＣＰＵ１４０は、ブロックＢ２８で、ブロックＢ２４の開始から一定時間が経過したか否かを判定する。否の場合、ブロックＢ２４のデータ収集・特徴量計算処理が再び実行され、特徴量が次々と蓄積される。

一定時間が経過すると、ＣＰＵ１４０は、ブロックＢ３２で、ブロックＢ２２で判断された着脱時の特徴量及びブロックＢ２６で蓄積された複数の特徴量とをコミュニケーションサーバ１０２へ送信する。

コミュニケーションサーバ１０６では、図９に示すように、位置・状態管理部１２２が、ブロックＢ４４で多数の光センサ６２の出力を受信して、多数のウェアラブル端末１０の位置、状態を検出し、表１に示すような位置・状態管理表に書き込む。位置・状態管理表は端末ＩＤ、日時、位置、状態、特徴量、ユーザＩＤの項目を有する。ブロックＢ４４では、端末ＩＤ、日時、位置のみが書き込まれる。ブロックＢ４４が繰り返される毎に、時刻が更新され、それに応じて位置・状態管理表が更新される。

情報検索部１２０は、ブロックＢ３２でいずれかのウェアラブル端末１０から送信された特徴量を受信することをブロックＢ４６で待つ。ウェアラブル端末１０からの特徴量を受信するまで、ブロックＢ４４の処理が再び実行される。受信した場合、情報検索部１２０は、受信した特徴量を位置・状態管理表に書き込む。ここでは、端末ＩＤ＝０２のウェアラブル端末から特徴量が送信されたとする。端末ＩＤ＝０２のウェアラブル端末の特徴量が書き込まれた段階の位置・状態管理表を表２に示す。

位置・状態管理部１２２は、ブロックＢ４８で、エリア内のいくつかのカメラ１１４のなかの端末ＩＤ＝０２のウェアラブル端末の位置（Ｘ１，Ｙ１）を撮影対象に含むカメラ１１４の出力画像を入力し、画像を解析する。この解析により、位置（Ｘ１，Ｙ１）付近のユーザの有無が分かる。光センサ６２の出力からユーザの位置（Ｘ１，Ｙ１）が検出されたにも関わらず画像からはユーザが居ないと判断された場合、光センサ６２による検出結果はエラーであると判定できる。このようなエラーが発見された場合、位置・状態管理部１２２は、対応する位置情報を不定に変更する。このように複数のセンサの出力を総合してウェアラブル端末の位置を検出するので、精度が向上する。

情報検索部１２０は、ブロックＢ５２で、位置・状態管理部１２２内の位置・状態管理表から、表３に示すような、未装着の状態を持つユーザの一覧である未装着者リストを生成し、そのリストとブロックＢ４６で受信した特徴量とを装着者推定部１２４へ送る。どのウェアラブル端末の状態も未確定の初期状態では全てのユーザが未装着とされる。

情報検索部１２０は、ブロックＢ５４で、スケジュール管理部１２６から表４に示すようなユーザ別スケジュール表を読み出して、これを参照して、出勤していない作業者又は他の場所の作業に従事する筈でありこの場所に居る筈のない作業者等を特定し、表４に示すように、そのような作業者の状態を不在に変更する。

これにより、未装着者リストを絞り込むことができるので、後段の相関演算の演算量が減るとともに、演算時間が短縮される。さらに、装着・未装着の判定の精度も向上する。

装着者推定部１２４は、ブロックＢ４６で受信した特徴量と未装着者リストに基づき、受信した特徴量が未装着のユーザの中でどのユーザの着脱時の標準特徴量に最も相関が高いかを調べ、装着者候補を抽出する。抽出する候補者の数は、一人に限らず、複数人でもよい。全作業者のウェアラブル端末の着脱時の標準特徴量が予め調べられ、表５に示すようなユーザ別標準特徴量表が装着者推定部１２４に記憶されている。標準特徴量は、全作業者にウェアラブル端末を付けたり、外したりしてもらい、モーションセンサ１５４、視線検出センサ１５６、ジェスチャセンサ１５８、内蔵のカメラ５９、マイク１４８のうちのいずれか１又は複数の出力に対して、ウェアラブル端末のＣＰＵ１４０がブロックＢ２４で実行する演算と同じ演算を施して求める。

相関演算は全てのユーザが対象ではなく、装着していないと判断されているユーザに限定されているので、短時間に、しかも精度良くユーザを特定できる。装着者推定部１２４は、ブロックＢ５８で、特徴量を送信した端末ＩＤ＝０２のウェアラブル端末１０へ特定結果を候補として送信する。

端末ＩＤ＝０２のウェアラブル端末１０では、図８に示すように、ＣＰＵ１４０は、ブロックＢ３４でコミュニケーションンサーバ１０６から候補を受信したか否か判定する。候補を受信した場合、ＣＰＵ１４０は、ブロックＢ３６で、候補を表示部３０で表示し、光源２８を発光し、候補をスクリーン１６に表示する。例えば、表示例は「貴方は○○さんですね？」のようにユーザに確認を求めるような表示でもよい。これに対して、ブロックＢ３８に示すように、ユーザは
ハイ／イイエの決定をする。決定操作の具体例は、顔を「縦／横」に振る、「はい／いいえ」をマイク１４８から入力する、タッチパッド５５を１回（ハイ）／２回（イイエ）タッチ／タップする、１本指（ハイ）／２本指（イイエ）でタッチする、指のジェスチャ操作等がある。ジェスチャ操作はカメラ５９で撮影された画像の解析により認識することもできる。候補が複数の場合、「貴方は（１）ＡＡさんですか、（２）ＢＢさんですか、（３）ＣＣさんですか？」のような表示が行われ、選択操作が行われる。選択操作は、顔を選択肢に応じた回数だけ振る、選択肢の数字をマイク１４８から入力する、タッチパッド５５を選択肢に応じた回数だけタッチ／タップする、タッチパッド５５を選択肢に応じた本数の指でタッチする、指のジェスチャ操作等がある。決定操作の処理結果は、ウェアラブル端末１０からコミュニケーションサーバ１０６へ送信される。

ウェアラブル端末１０では、決定操作がなされた後、終了でなければ、ブロックＢ１２の処理が繰り返される。

図９に示すように、コミュニケーションサーバ１０６では、装着者推定部１２４は、ブロックＢ６２で、ウェアラブル端末１０から決定操作の処理結果が送信されたか否かを判定する。処理結果を受信すると、ブロックＢ６４で、状態管理部１２２は、表６に示すように、位置・状態管理表に端末ＩＤ＝０２のウェアラブル端末の装着者のユーザＩＤを書き込み、位置・状態管理表を更新する。

コミュニケーションサーバ１０６は、上述の処理を繰り返し実行する。

このように実施形態は、ウェアラブル端末１０の動作を表す特徴量と各ユーザの装着時の標準特徴量との相関を計算してウェアラブル端末を使用するユーザを特定する際、既に装着されていると判定されたユーザは除いて未装着ユーザの特徴量との相関のみを計算する。このため、相関を求める計算量が少なくなり、計算時間が短くなるとともに、ユーザ特定の精度が向上する。

実施形態では、多数種類のセンサ、カメラ、マイクの出力に基づいて特徴量を求めているが、これら全てを使用する必要は無く、状況に応じていずれか１又は複数を適宜選択可能である。取り付けの際のみならず取り外しの際もユーザ特定処理を行っているが、取り付けの際だけでもよい。ユーザ特定のためのウィンドウ処理は一定時間でも一定数の特徴量が得られるまでのいずれでもよい。

推定のための特徴量はウェアラブル端末で求め、その相関演算はサーバ側で行ったが、ウェアラブル端末で相関演算まで行い、サーバを不要としてもよい。

図１０は他の実施形態のシステム全体の一例を示す。ＬＡＮ１０２は図６の構成に加えて、作業者が作業する装置１１５もアクセスポイント１１２を経由してネットワーク１０４に接続されている。装置１１５は、何でもよいが、ここでは、定期的に点検、保守が必要であり、時々故障する可能性があり作業者が復旧対応する製造設備とする。

コミュニケーションサーバ１０６は図６の構成に加えて、音声コマンド処理部１２８、通話処理部１３０等を含む。

音声コマンド処理部１２８は、ユーザが発した音声をコミュニケーションサーバ１０６上で対応するサービスを実行するための命令に変換する。音声コマンド処理部１２８に対する入力データとしては、マイクから収集された音声データそのものである場合や、入力音声の音声認識後のテキストデータである場合等があり、この点については特に限定しない。通話処理部１３０は、端末間のインスタントメッセージング機能や音声による通話機能を実現するためのホスト機能を持つ。

ウェアラブル端末１０の電気的な構成は図７と同じであるので、図示は省略するが、ＣＰＵ１４０は、図７で説明した処理に加えて、マイク１４８を使って音声入力を行い、音声データをコミュニケーションサーバ１０６の音声コマンド処理部１２８へ送ったり、イヤホンジャック５４Ｂに接続される図示しないステレオイヤホン又はスピーカ５４から音を鳴らしたり、コミュニケーションサーバ１０６の音声コマンド処理部１２８の処理結果に基づき電子マニュアルをストレージデバイス１４６にダウンロードし、メインメモリ１４４上にその一部を展開しながら、表示部３０上に表示され、スクリーン１６に投影される画像イメージを生成する等、様々の制御を行うことも可能である。

図１０のシステムの使用例を説明する。このシステムはコミュニケーションサーバ１０６を有し、ウェアラブル端末のユーザ間、あるいはウェアラブル端末のユーザと管理者間等のコミュニケーション機能、例えばインスタントメッセージング機能を備えている。通常のインスタントメッセージング機能では、通話を開始したい人が通話開始要求を発すると、通話したい相手の端末の画面に通話開始画面が表示される。しかし、故障した装置１１５の復旧作業を行っている作業者のウェアラブル端末のスクリーン１６に通話開始画面が突然表示されると、作業者の視界を奪う可能性があり、作業者が危険に晒される可能性がある。さらに、作業者が通話している間、復旧作業の中断が余儀なくされ、装置１１５の復旧に時間が係り、装置１１５の稼働率が低下する等の好ましくない事態も生じる。そこで、この実施形態では、作業を行っている作業者のウェアラブル端末の画面に情報を突然表示することを避けて作業者の視界を遮ることなく、効率的な通知を行う。具体的には、通知をしたい作業者のウェアラブル端末で通話開始の通知音が発生され、作業者がそれに対して肯定的に応答した場合に初めて通話開始画面が作業者のウェアラブル端末のスクリーンに表示される。通知音はイヤホンジャック５４Ｂに接続される図示しないステレオイヤホンから発生される。通知音は単なる音であるが、例えば、右上、左横等の３次元空間上の発生位置を制御可能であり、通知する状況に応じて発生位置が決められている。このため、作業者は単なる音の発生位置に基づいて通知の内容を認識することができるので、作業中でも集中が途切れることなく、通知を受けることができる。もしも、通知音ではなく、メッセージ音声を作業者に聞かせると、作業者はメッセージに気を取られ、作業が中断又は装置１１５に手を挟まれる等の危険な状態になるおそれがある。

図１１は、管理者が作業者に対して通話をしたい場合の管理者端末２０２、コミュニケーションサーバ１０６、ウェアラブル端末１０の各処理の流れを示すフローチャートである。

管理者は、管理者端末２０２において、ブロックＢ１０２で、インスタントメッセージングアプリケーションを起動し、ブロックＢ１０４で、作業者Ｘとの通話を要求する。

コミュニケーションサーバ１０６では、通話処理部１３０が、ブロックＢ１１２で、通話要求を受信する。ここでも、コミュニケーションサーバ１０６は、図９に示すように、光センサ６２の出力を常時受信して、ウェアラブル端末１０の位置・状態をリアルタイムで管理している。さらに、コミュニケーションサーバ１０６は、管理者端末２０２の位置も管理している。このため、管理者端末２０２はＧＰＳ機能を有し、緯度、経度、高度を検出可能に構成されてもよい。通話処理部１３０は、ブロックＢ１１４で、位置・状態管理部１２２から管理者端末２０２とユーザＸのウェアラブル端末の位置・状態を検出する。通話処理部１３０は、ブロックＢ１１６で、ユーザＸのウェアラブル端末へ通話要求を送信するともに、管理者端末の位置情報も送信する。

ユーザＸのウェアラブル端末では、ブロックＢ１２２で、通話要求が着信されると、ブロックＢ１２４で、ＣＰＵ１４０は、モーションセンサ１５４等の出力に基づいて作業者の顔の向きを検出する。ＣＰＵ１４０は、ブロックＢ１２６で、管理者の位置（緯度、経度、高度）、ユーザＸの顔の向きに基づいて、ステレオイヤホンを用いて発生させる通知音の立体音響として再現する空間上の位置を計算する。ここでは、着信者（ユーザＸ）から発信者（管理者）の実際の方角に対する位置に対して通知音が発生するように空間上の位置を計算する。ブロックＢ１２８で、ＣＰＵ１４０は、通知音の音量を決定する。音量は、発信者と着信者との距離によって決めてもよいし、着信者にとっての発信者がどのような相手かを判別するインスタントメッセージングアプリケーション上の設定によって決めてもよい。

これ以降の処理は、発信者が通話処理をキャンセルするか通話処理を行うまで繰り返される。ＣＰＵ１４０は、ブロックＢ１３２で、管理者が通話処理をキャンセルするか否か判定する。否の場合、ＣＰＵ１４０は、ブロックＢ１３４で、通知音をステレオイヤホンから発生させる。スピーカ５４がステレオスピーカである場合は、スピーカ５４から発生させてもよい。

作業者は管理者の位置を知っているので、その方角から通知音が聞こえた場合、管理者が自分に通知を出したいことを知る。作業者は、作業を中断できる状況又は通知に応答しても危険ではない状況等を勘案して、通知に応答するか否か判断する。応答できる場合、作業者は管理者の方に顔を向ける又は視線を合わせることが定められている。このように、顔の動きだけで応答できるので、手を休めることなく作業を継続したまま、通知に対して容易に対応することができる。

ＣＰＵ１４０は、ブロックＢ１３６で、モーションセンサ１５４の出力に基づいて作業者の顔の向きを検出し、ブロックＢ１３８で、作業者の顔が管理者に向いているか否かを判定する。向いている場合、ブロックＢ１４６で、通話開始のためのユーザインターフェースをスクリーン１６に投影する。

ブロックＢ１３８で、作業者の顔が管理者の位置に向いていないと判定された場合、ＣＰＵ１４０は、ブロックＢ１４２で、視線検出センサ１５６の出力に基づいて作業者の視線の向きを検出し、ブロックＢ１４４で、作業者の視線が管理者に向いているか否かを判定する。向いている場合、ブロックＢ１４６で、通話開始のためのユーザインターフェースをスクリーン１６に投影する。

このように、作業を行っている作業者のウェアラブル端末のスクリーン１６に通話開始画面が突然表示されるのではなく、その前に、作業者に通話要求があったことを音により知らせ、作業者が通話を開始できると判断し、何らかの応答操作を行った場合のみ、スクリーン１６に通話開始画面が表示される。このため、作業者の視界が突然奪われることがなく、作業者が危険に晒されることや作業が中断されることがない。なお、通知音に対する作業者の応答操作は、図１１に示す顔又は視線の向きによらず、顔及び視線の向きによってもよいし、第１実施形態の装着者候補の問い合わせに対する応答と同じように、顔を「縦／横」に振る、「はい／いいえ」をマイク１４８から入力する、タッチパッド５５を１回（ハイ）／２回（イイエ）タッチ／タップする、１本指（ハイ）／２本指（イイエ）でタッチする、指のジェスチャ操作等でもよい。

ＣＰＵ１４０は、ブロックＢ１４８で、スクリーン１６に投影されているユーザインターフェース上で作業者が通話を開始する操作を行ったか否か判定する。通話開始の操作を行ったと判定すると、通話を開始する。なお、ブロックＢ１４８の判定を省略し、ユーザインターフェースが表示されると、即座に通話を開始してもよい。

なお、フローチャート上では示していないが、通知音が発生してから応答するまで間の繰り返し処理では、逐次ウェアラブル端末の向きを検出し、通知音を立体音響として再現する空間上の位置を定期的に再計算し、通知音を繰り返し発生させてもよい。

音場の位置計算として、発着者間の位置関係で直接計算することを説明したが、これ以外にも、発信者の位置情報をエリア単位で音場の位置に対応づける方法や、発信者毎の設定情報に基づいて音場の位置を決め、どのエリアもしくは誰からの通知かを判別できるようにしてもよい。

通話以外にも、一定の条件に該当する人や装置を検索するために、コミュニケーションサーバ１０６の情報検索部１２０に問い合わせ、その検索結果の候補を音の位置として作業者に提示することもできる。

また、情報検索部１２０への問い合わせ方法については、装着者が行う方法以外にも、装置１１５が異常状態となった際に、そのステータスをコミュニケーションサーバ１０６の位置・状態管理部１２２が検出し、伝えるべき作業者、伝えるべき作業者の位置情報を収集し、異常状態となった装置１１４の位置情報、それらの位置情報及び異常ステータスの内容から、スケジュール管理部１２６及び位置・状態管理部１２２に対して一定条件を満たす作業者候補を検索した結果を、作業者に音の位置として提示することもできる。

更に、一定条件を満たす候補者にコミュニケーションサーバから作業状況を問い合わせ、その結果を収集して、その情報を伝えるべき人に提示できるようにしてもよい。

第２実施形態によれば、発信者がウェラブル端末をかけて、両手を使い、危険な作業を行っている作業者とのコミュニケーションをとる場合、ウェラブル端末上のディスプレイへ唐突に情報を表示せずに、発信者との位置関係や設定情報に基づいた音場を決定して立体音響による通知をする。このように危険な作業を行っている可能性のある作業者の視界を突然奪うことがないため、ウェアラブル端末のディスプレイ機能を安全に利用できる。

なお、事前通知の方法として音を説明したが、これに限らず、視界を遮らない程度であれば、スクリーンの画像によって通知してもよい。例えば、表示する投影像の一部の色を変える、部分的に色を変化させる、点滅させる等が可能である。バイブレータ６８によりメガネを振動させてもよい。さらに、事前通知は一種類のみではなく、緊急度に応じて音の種類、音色、メロディーなど変えてもよい。

実施形態としてメガネ型ウェアラブル端末を説明したが、ゴーグル型、ヘルメット型等の他の頭部装着型でもよいし、リストバンド型、ペンダント型等にも本発明は適用可能である。例えば、ヘルメット型又はゴーグル型にすると、投影装置１２、カメラ５９をヘルメット又はゴーグルに取り付けることができ、通常のメガネユーザも使用できる。さらに、ヘルメット型にすると、スピーカ５４をヘルメットの内側に取り付けることができるので、よりクリアな音を聴くことができるとともに、マイクをヘルメットに取り付け、しかも位置を調整できるので、マイクの集音能力が向上する。

また、頭部装着型以外のウェアラブル端末にも本発明は適用可能である。

さらに、ウェアラブルでなくても携帯可能な小型軽量で、常にユーザとともにある電子機器、例えば、ノートブック型パソコン、タブレット型パソコン、スマートフォンにも本発明は適用可能である。

ウェアラブル端末とコミュニケーションサーバとの機能分担は上述した説明の通りに限定されず、ウェアラブル端末の機能として説明したものの一部をコミュニケーションサーバの機能として実現してもよいし、コミュニケーションサーバの機能として説明したものの一部をウェアラブル端末の機能として実現してもよい。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

１０…ウェアラブル端末、１２…投影装置、１６…スクリーン、５４…スピーカ、５５…パッチパッド、５９…カメラ、６２…光センサ、１０６…コミュニケーションサーバ、１１４…カメラ、１４８…マイク、１５２…無線通信デバイス、２０２…管理者端末。

Claims (16)

1. 頭部に装着され得るウェアラブル端末であって、
   前記ウェアラブル端末の動きに関する第１情報を出力する第１検出手段と、
   前記ウェアラブル端末の位置に関する第２情報を出力する第２検出手段と、
   前記第１検出手段から出力された前記第１情報と前記第２検出手段から出力された前記第２情報に基づいて、前記ウェアラブル端末の装着者を特定する特定手段と、
   前記装着者の視線上に位置する表示画面と、
   を具備し、
   前記特定手段は、前記装着者の候補に関する情報を前記表示画面に表示し、ユーザ操作に基づいて前記装着者を特定するウェアラブル端末。
2. 前記ユーザ操作は、前記第１検出手段により検出される動きの判定と、前記ウェアラブル端末に設けられたタッチセンサ又はスイッチの操作と、前記ウェアラブル端末に設けられたマイクの入力の認識の少なくともいずれかを具備する請求項１記載のウェアラブル端末。
3. 前記特定手段は、前記第１検出手段から出力された前記第１情報、前記第２検出手段から出力された前記第２情報及び前記ウェアラブル端末の未装着者の行動スケジュールに基づいて前記装着者を特定する請求項１又は請求項２記載のウェアラブル端末。
4. 前記特定手段は、複数の人の前記ウェアラブル端末を取り付ける時の動きに関する情報又は取り外す時の動きに関する情報と、前記第１検出手段から出力された前記第１情報との相関を求める請求項１、請求項２又は請求項３記載のウェアラブル端末。
5. 前記第１検出手段と前記第２検出手段は、３軸加速度センサ、３軸ジャイロ、３軸地磁気センサ、マイク、カメラの少なくともいずれかを具備する請求項１、請求項２、請求項３又は請求項４記載のウェアラブル端末。
6. 頭部に装着され得るウェアラブル端末の動きを検出することと、
   前記ウェアラブル端末の位置を検出することと、
   検出された前記動きと前記位置に基づいて、前記ウェアラブル端末の装着者を特定することと、
   を具備し、
   前記装着者を特定することは、
   前記装着者の候補に関する情報を前記ウェアラブル端末において前記装着者の視線上に設けられた表示画面に表示することと、
   ユーザ操作に基づいて前記装着者を特定することと、
   を具備する方法。
7. 前記ユーザ操作は、前記ウェアラブル端末の動きの判定と、前記ウェアラブル端末に設けられたタッチセンサ又はスイッチの操作と、前記ウェアラブル端末に設けられたマイクの入力の認識の少なくともいずれかを具備する請求項６記載の方法。
8. 前記装着者を特定することは、検出された前記動きと、検出された前記位置と、前記ウェアラブル端末の未装着者の行動スケジュールに基づいて前記装着者を特定することを具備する請求項６又は請求項７記載の方法。
9. 前記装着者を特定することは、複数の人の前記ウェアラブル端末を取り付ける時の動きに関する情報又は取り外す時の動きに関する情報と、検出された前記動きに関する情報との相関を求める請求項６、請求項７又は請求項８記載の方法。
10. 前記ウェアラブル端末の動きを検出することと前記ウェアラブル端末の位置を検出することは、
    前記ウェアラブル端末に設けられた３軸加速度センサ、３軸ジャイロ、３軸地磁気センサ、マイク、カメラの少なくともいずれかを用いる請求項６、請求項７、請求項８又は請求項９記載の方法。
11. ウェアラブル端末と、
    前記ウェアラブル端末の動きに関する第１情報を出力する第１検出手段と、
    前記ウェアラブル端末の位置に関する第２情報を出力する第２検出手段と、
    前記第１検出手段から出力される前記第１情報と前記第２検出手段から出力された前記第２情報に基づいて、前記ウェアラブル端末の装着者を特定する特定手段と、を具備し、
    前記特定手段は、前記装着者の候補に関する情報を前記ウェアラブル端末に表示し、ユーザ操作に基づいて前記装着者を特定するシステム。
12. 前記ユーザ操作は、前記第１検出手段により検出された前記動きの判定と、前記ウェアラブル端末に設けられたタッチセンサ又はスイッチの操作と、前記ウェアラブル端末に設けられたマイクの入力の認識の少なくともいずれかを具備する請求項１１記載のシステム。
13. 前記特定手段は、前記第１検出手段から出力された前記第１情報、前記第２検出手段から出力された前記第２情報及び前記ウェアラブル端末の未装着者の行動スケジュールに基づいて前記装着者を特定する請求項１１又は請求項１２記載のシステム。
14. 前記特定手段は、
    前記第１検出手段から出力される前記第１情報が前記ウェアラブル端末を取り付ける時の動きに関する情報又は取り外す時の動きに関する情報と相関があるか否かを判定し、
    相関があると判定した場合、前記第１検出手段から出力される前記第１情報を複数の未装着者についてのウェアラブル端末を取り付ける時の動きに関する情報又は取り外す時の動きに関する情報との相関を求める請求項１１、請求項１２又は請求項１３記載のシステム。
15. 前記ウェアラブル端末は３軸加速度センサ、３軸ジャイロ、３軸地磁気センサ、マイク、カメラの少なくともいずれかを具備し、
    前記第１検出手段は、前記３軸加速度センサ、前記３軸ジャイロ、前記３軸地磁気センサ、前記マイク、前記カメラの少なくともいずれかの出力に基づいて前記ウェアラブル端末の動きを検出し、
    前記第２検出手段は、前記３軸加速度センサ、前記３軸ジャイロ、前記３軸地磁気センサ、前記マイク、前記カメラの少なくともいずれかの出力に基づいて前記ウェアラブル端末の位置を検出する請求項１１、請求項１２、請求項１３又は請求項１４記載のシステム。
16. 前記ウェアラブル端末は、頭部に装着され得て、装着者の視線上に位置する表示画面を具備する請求項１１、請求項１２、請求項１３、請求項１４又は請求項１５記載のシステム。

Images