JP6334484B2 - メガネ型ウェアラブル装置及びその制御方法及び情報管理サーバー - Google Patents

Description

本発明の実施形態は、メガネ型ウェアラブル装置のデータ処理装置及びその制御方法及び情報管理サーバーに関する。

従来、使用者の視線の延長線上に種々の映像やメッセージ等の情報提供が可能なウェアラブル装置を用いて、作業効率を向上させる技術が知られている。特許文献１には、ウェアラブル装置を使用して作業をする複数の使用者の作業状況を、ウェアラブル装置のディスプレイに表示することで、他の使用者の作業状況を容易に把握させ、作業全体の効率を向上させる技術が開示されている。

また、ウェアラブル装置を用いた視線を検出する技術も知られている。視線検出の方法のうち、電気的な方法としてＥＯＧ（Ｅｌｅｃｔｒｏ−ｏｃｕｌｏｇｒａｐｈｙ）と呼ばれる方法が存在している。この方法は、眼球の角膜側が正電位に、網膜側が負電位に帯電している性質を利用して、眼球の周辺に複数の電極を配置し眼球の動きによって生じる電位の変化を測定することでウェアラブル装置の利用者の視線を検出するものである。

眼電位を測定する技術として、特許文献２に開示されているように眼鏡のノーズパッド部分に電極を配置することで、電極の皮膚に接することによる不快感を低減する方法が開示されている。この結果、使用者は、電極付眼鏡を不快感なく使用することが可能となっている。

特開２０１２−２１２９９１号公報 特開２０１３−２４４３７０号公報

人間のまばたきの頻度は、精神状態によって大きく変動すると言われている。例えば、ストレスが多い場合や集中力が低下している場合は、その頻度が増す傾向にある。また、使用者がテレビを視聴しているとき、テレビで放映されている内容の文脈と文脈の間で使用者の集中力は低下する傾向にあり、そのタイミングでまばたきの頻度が増す傾向にある。このように、まばたきをする頻度を観察することで、使用者の精神状態を推定することが可能である。

上記した眼電位が測定可能な眼鏡を使用して、使用者が作業を行っている際のまばたきの頻度を測定することで、使用者の精神状態を推定する技術が開発されている。この技術を利用すれば、眼電位が測定可能な眼鏡の使用者の精神状態の推定することができ、その結果を利用して使用者に指示を出すことで、行っている作業の危険回避、作業効率の改善などを行うことが可能となる。

そこで本実施形態では、眼電位が測定可能なメガネ型ウェアラブル装置を装着して作業を実施している使用者の精神状態を推定し、その推定結果をもとに次の指示を判断することができるメガネ型ウェアラブル装置及びその制御方法及び情報管理サーバーを提供することを目的とする。

本実施形態によれば、
使用者の眼球周辺の電位を検出する複数の電位検出センサから複数の検出信号を取得する検出信号取得部と、
使用者の視線の延長線上に位置し、表示用データを表示する表示部と、
重要表示位置と非重要表示位置を含む第１の表示用データが前記表示部に表示されているとき、前記検出信号取得部により取得された前記複数の検出信号の変化から、少なくとも前記使用者がまばたきをした時間位置を判定する特性判定部と、
前記検出信号取得部により取得された前記複数の検出信号に基づいて前記使用者の眼球の動きを検出する検出部と、
前記表示部で表示されている前記第１の表示用データの前記重要表示位置を前記使用者が看過したか否かを前記特性判定部により判定された前記まばたきをした時間位置と前記検出部により検出された前記眼球の動きに基づいて判定する看過判定部と、
を備える。

実施形態に係るメガネ型ウェアラブル装置およびメガネ型ウェアラブル装置を認識するシステムの一例を示す概略図である。 実施形態に係るメガネ型ウェアラブル装置を認識するシステムにおける監督者用端末のシステム構成の一例を示す図である。 実施形態に係るメガネ型ウェアラブル装置のシステム構成の一例を示す図である。 実施形態に係るメガネ型ウェアラブル装置の斜視図の一例を示す図である。 実施形態に係るメガネ型ウェアラブル装置に備えられている眼電位検出部の検出電極の配置の一例を示す図である。 実施形態に係るメガネ型ウェアラブル装置の使用者が目を動かすことにより、眼電位の検出信号が変化する様子の一例を示した図である。 実施形態に係るメガネ型ウェアラブル装置の主として機能構成の一例を示すブロック図である。 実施形態に係るメガネ型ウェアラブル装置の看過判定の処理の流れの一例を示す図である。 実施形態に係るメガネ型ウェアラブル装置の看過判定の処理において、使用するまばたきのパターンの一例を示す図である。 実施形態に係るメガネ型ウェアラブル装置の看過判定の処理において、まばたきのパターンを考慮に加えた場合の処理の流れの一例を示す図である。 実施形態に係るメガネ型ウェアラブル装置の看過判定の処理において、まばたきのパターンを考慮に加えた場合の処理の流れの一例を示す図である。 実施形態に係るメガネ型ウェアラブル装置の看過判定の処理の結果に応じて表示部に表示する表示用データの内容の一例を示す図である。 実施形態に係るメガネ型ウェアラブル装置の看過判定の処理の結果に応じて表示部に表示する表示用データの内容の一例を示す図である。 実施形態に係るメガネ型ウェアラブル装置の看過判定の処理の結果に応じて表示部に表示する表示用データの内容の一例を示す図である。 実施形態に係るメガネ型ウェアラブル装置の表示部の表示内容を、ネットワークを経由して他のメガネ型ウェアラブル装置の使用者と共有する場合の一例を示す図である。

以下、図面を参照して、実施形態について説明する。

図１は、本発明の実施形態に係るメガネ型ウェアラブル装置およびメガネ型ウェアラブル装置を認識するシステムの一例を示す概略図である。

監督者用端末１０３および個々の作業員用端末であるメガネ型ウェアラブル装置１１０−１〜１１０−ｍならびに情報管理サーバー１０１およびシステムコントローラ１０２は、ネットワークＮＴＷを通じて、相互に信号の受け渡しが可能である。

システムコントローラ１０２（または情報管理サーバー１０１）と監督者用端末１０４および個々のメガネ型ウェアラブル装置１１０−１〜１１０−ｍとの間の通信は、有線あるいは無線のいずれであっても良い。システムコントローラ１０２（情報管理サーバー１０１）と監督者用端末１０３および個々のメガネ型ウェアラブル装置１１０−１〜１１０−ｍとの間の通信は、例えば近距離無線通信であって、ＩＥＥＥ８０２．１１（ｂ／ｇ）等に準拠する、例えばＢｌｕｅｔｏｏｔｈ（登録商標）／（ブルートゥース（登録商標））であることが好ましい。

図２は、監督者用端末１０３のシステムの一例を示す概略図である。図２に示すように監督者用端末１０３は、例えばプロセッサ２１１、不揮発メモリ２１２、主メモリ２１３、表示部２０１、ボタン２０２、無線モジュール２０３等を備える。表示部２０１は、監督者に情報を提示する表示部である。ボタン２０２は、監督者が端末を操作するためのボタンである。プロセッサ２１１は、監督者用端末１０３を制御するプロセッサであり、不揮発メモリ２１２から主メモリ２１３にロードされた各種ソフトウェアを実行する。

図３は、メガネ型ウェアラブル装置（作業員用端末）１１０−１〜１１０−ｍのシステムの一例を示す概略図である。各メガネ型ウェアラブル装置は同じ構成であるので、ここではメガネ型ウェアラブル装置１１０−１を代表して説明する。表示部３０１は、メガネ型ウェアラブル装置１１０−１の使用者の視線の延長線上に位置するものであり、例えばメガネ型ウェアラブル装置１１０のレンズ部分に液晶フィルムを貼り付けることで構成できる。表示部３０１は、この液晶を用いて種々の情報を表示することができる。ボタン３０２は、作業者が端末を操作するためのボタンである。プロセッサ３１１は、メガネ型ウェアラブル装置（作業員用端末）１１０−１を制御するプロセッサであり、不揮発メモリ３１２から主メモリ３１３にロードされた各種ソフトウェアを実行する。

眼電位センサ３２４は、眼電位を測定するためのセンサである。眼電位センサ３２４は、使用者の眼電位を検知するための複数の検出電極を持つ。これらの検出電極は、絶縁体（誘電体）上に設けられる。各検出電極には、メガネ型ウェアラブル装置１１０−１を装着した使用者の鼻に接触する金属、導電プラスチックなどを利用することができる。

検出電極からの検出信号波形（例えば検出電極間の電位差に対応した信号波形）は、メガネ型ウェアラブル装置１１０−１を装着した使用者の眼の動き（眼球の上下左右の動き、まばたき、眼つぶり、ウィンクなど）に対応して変化する。この変化の状況を観測することで、使用者の目の動きを推定することが出来る。

なお眼球の動きを特定する方法として、カメラあるいは赤外線センサを用いる方法もあるが、本実施形態では眼電位センサ３２４を用いて特定する方法を用いるものとする。

図４は、本発明の実施形態に係るメガネ型ウェアラブル装置１１０−１の斜視図の一例を示す図である。図４に示すメガネ型ウェアラブル装置４００は、左右両眼の位置に配置される左右アイフレーム部分４０１と鼻の位置に配置されるノーズパッド部分４０２を持ち、アイフレーム部分４０１に備えられた電子機器本体４０３と、表示部４０４と、無線モジュール４０５と、ノーズパッド部分４０２に眼電位センサ４０６を備えている。なお、メガネ型ウェアラブル装置４００は、表示部４０４として右眼用のレンズ部分に液晶フィルムを貼り付けた例を示している。プロセッサ３１１、不揮発メモリ３１２、主メモリ３１３は、電子機器本体４０３に含まれる。

図５は、メガネ型ウェアラブル装置４００に備えられている眼電位センサ４０６の検出電極（５０１ａ、５０１ｂ、５０２ａ、５０２ｂ）の配置の一例を示したものである。使用者に直接接触する複数の眼電位の検出電極の設置場所をノーズパッド部分のみにしている。ノーズパッドは、通常の眼鏡においてもユーザーに接触する部分として存在するものである。したがって、このように使用者に直接接触する必要がある眼電位の検出電極をノーズパッド部分にのみに配置したメガネ型ウェアラブル装置４００を使用者が装着した場合は、通常の眼鏡を装着した場合と比べてほとんど違和感がない。そのため使用者が作業をする際に、このようなノーズパッド部分のみに眼電位の検出電極を配置したメガネ型ウェアラブル装置１００を装着した場合には、使用者の作業効率の低下を招くことはほとんどない。

図６は、メガネ型ウェアラブル装置４００の使用者が目の動かすことにより、眼電位センサ４０６により測定された眼電位信号が変化する様子の一例を示した例である。

図６（Ａ）は、使用者が、視線を正面に向いた状態でまばたきを５回繰り返した際の眼電位の検出信号の変化の様子を示した図である。使用者が目を閉じた場合、視線は上方向に移動する。よって、使用者がまばたきをした場合は、視線は一瞬上方向に移動する。このタイミングで、視線の縦方向の移動を検出する上下に配置された電極のペア（５０１ａと５０１ｂ）における、電極５０１ｂの電位を基準にした５０１ａの電位は、一瞬正となる。したがって、眼電位の検出信号は、使用者がまばたきをしたタイミングで図６（Ａ）の矢印（６０１ａ、６０１ｂ、６０１ｃ、６０１ｄ、６０１ｅ）で示したような上向き三角形の波形となる。視線の縦方向に移動を検出する上下に配置された電極のペア（５０２ａと５０２ｂ）における、電極５０２ｂの電位を基準にした５０２ａの電位も、電極のペア（５０１ａと５０１ｂ）の場合の電位の動きと同様の動きをする。

図６（Ｂ）は、使用者が、視線を正面に向いた状態で目を瞑った状態（１秒間）を５回繰り返した際の眼電位の検出信号の変化の様子を示した図である。目を瞑っている間は、視線は上方向に移動したままとなる。よって、眼電位の検出信号もその間は基準値よりも高い値が続き、信号波形は凸型の波形となる。

図６（Ｃ）は、使用者が、視線を正面に向いた状態でまばたきを５回繰り返した後に、左眼ウィンクを５回繰り返した際の眼電位の検出信号の変化の様子を示した図である。同様に図６（Ｄ）は、使用者が、視線を正面に向いた状態でまばたきを５回繰り返した後に、右眼ウィンクを５回行った際の眼電位の検出信号の変化の様子を示した図である。図６Ｃ−（１）と図６Ｄ−（１）は、横方向の電極のペア（５０１a、５０２a）による眼電位の検出信号の変化の様子を示している。また図６Ｃ−（２）と図６Ｄ−（２）は、縦方向の電極のペア（５０１a、５０１ｂ）による眼電位の検出信号の変化の様子を示している。

ウィンクの左右の検出は、横方向の電極のペア（５０１a、５０２a）による検出信号の変化の様子から検出することが出来る。ウィンクをしている部分は、図６（Ｃ）／（Ｄ）の点線で囲まれた部分である。この部分において、縦方向の電極のペア（５０１a、５０１ｂ）による検出信号の変化の様子は、図６Ｃ−（２）と図６Ｄ−（２）に示すように、まばたきの場合同様に上向き三角形の波形となる。左眼ウィンクの場合は、電極のペア（５０１ａ、５０２ａ）による検出信号の変化の様子は、図６Ｃ−（１）に示すように小さな凹型の波形となる。右眼ウィンクの場合は、電極のペア（５０１a、５０２a）による検出信号の変化の様子は、電極のペア（５０１ａ、５０２ａ）による検出信号の変化の様子は図６Ｄ−（１）に示すように小さな凸型の波形となる。このように、検出信号の変化の様子を観測することで、眼球の上下左右の動き、まばたき、目瞑り、ウィンクなどの動きを推定することが出来る。また、これらの推定を元に、メガネ型ウェアラブル装置４００の使用者の視線位置も推定することが出来る。

図７は、メガネ型ウェアラブル装置４００の主として機能構成を示すブロック図であり、７００は検出信号応答処理部である。本実施形態に係るメガネ型ウェアラブル装置４００は、眼電位センサ３２４を介して検出された眼電位の変化に基づき、メガネ型ウェアラブル装置４００の使用者のまばたきの頻度を推定し、その結果をもとに表示部３０１に表示用データを表示することで、作業をしている使用者に指示を出す機能を有する。図７に示すように、メガネ型ウェアラブル装置４００は、検出信号取得部７０１、特性判定部７０２、表示用データ出力部７０３、看過判定部７０４、表示用データＤＢ７０５を含む。

検出信号取得部７０１、特性判定部７０２、表示用データ出力部７０３、看過判定部７０４、の一部または全ては、上記したプロセッサ３１１にプログラムを実行させることによって実現されてもよい。またＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等のハードウェアによって実現されてもよい。更にソフトウェア及びハードウェアの組み合わせ構成として実現されてもよい。

検出信号取得部７０１は、眼電位センサ３２４によって検出された眼電位の検出信号を取得する。検出信号取得部７０１は、予め決められた間隔で眼電位センサ３２４から眼電位の検出信号の取得を繰り返し実行し、取得した眼電位の検出信号を都度特性判定部７０２に送出する。

特性判定部７０２は、検出信号取得部７０１から送られてきた眼電位の検出信号を時間軸上に保存し、その変化の状況を観測することで、まばたきをした時間位置を特定する。

表示用データ出力部７０３は、メガネ型ウェアラブル装置４００を装着して作業をしている使用者に、作業に関する情報として認識させる内容を表示部３０１に出力する。この作業に関する情報は、例えばマニュアル画像データである。また、例えば看過判定部７０４の判断結果に基づいた指示内容である。これらの表示用データは、表示用データＤＢ７０５に保存されている。なお、表示用データＤＢ７０５の内容は、システムコントローラ１０２の指示に従い無線モジュール４０５によりネットワーク経由で更新することができる。

看過判定部７０４は、特性判定部７０２によって判定された使用者がまばたきをした時間位置をもとに、その時間位置における表示用データ出力部７０３が出力した表示用データの内容を判定し、使用者が表示用データの重要表示位置を看過したかどうかを判定する。なお後述するように、看過判定部７０４は、特性判定部７０２より通知されたまばたきをした時間位置からまばたきのパターンを考慮して、表示用データの重要表示位置を看過したかどうかの判定に、このまばたきのパターンを考慮に加えることもできる。

なお、上記した検出信号応答処理部７００は、メガネ型ウェアラブル装置４００が備えるものとして説明したが、図１に示したシステムコントローラ１０２が備えてもよい。この場合、眼電位センサ３２４からの検出信号、表示部３０１に表示する表示用データは、システムコントローラ１０２とメガネ型ウェアラブル装置４００の間で無線モジュール４０５により送受される
図８は、本実施形態に係るメガネ型ウェアラブル装置４００の看過判定の処理の流れの一例を示す図である。表示用データ出力部７０３により、表示部３０１に表示する表示用データの出力が開始されると、看過判定処理が開始（Ｓ８０１）される。検出信号取得部５０１は、眼電位センサ３２４より眼電位の検出信号の取得を行う（Ｓ８０２）。

取得された眼電位の検出信号は、都度特性判定部７０２に送られる。特性判定部７０２は、送られてきた眼電位の検出信号を時間軸で蓄積し、時間的な変化の状況を判定する（Ｓ８０３）。判定の結果（Ｓ８０４）、眼電位の検出信号が変化したと判定されると、特性判定部７０２は、眼電位の検出信号が変化した時間位置を看過判定部７０４に通知する。眼電位の検出信号が変化した時間位置を取得（Ｓ８０５）した看過判定部７０４は、その時間位置における、表示用データ出力部７０３が表示部３０１に出力した表示用データの内容を取得（Ｓ８０６）し、その表示内容の重要度を判定する（Ｓ８０７）。

判定の結果（Ｓ８０８）、重要と判定されると、看過判定部７０４は、メガネ型ウェアラブル装置４００の使用者が、Ｓ８０６で取得した時間位置の表示用データの内容を看過したと判断（Ｓ８０９）する。看過判定部７０４は、看過したとの判断結果に基づく処理を実施する（Ｓ８１０）。

看過したとの判断結果に基づく処理として、例えば、看過判定部７０４は、表示用データ出力部７０３により表示部３０１に表示している表示用データとは別の内容の第２の表示用データを表示するように、表示用データ出力部７０３に指示を出す。指示を受けた表示用データ出力部７０３は、表示部３０１に表示用データを表示するために、第２の表示用データを出力する。

このように、メガネ型ウェアラブル装置４００の使用者のまばたきの時間位置から、リアルタイムに使用者の精神状態や表示用データの看過した状況を推定することができ、その結果に基づき使用者に示す表示内容をリアルタイムに追加したり変更したりすることができる。

上記図８の処理の流れでは、看過判定部７０４は、特性判定部７０２からまばたきをした時間位置が通知されるごとに、看過判定処理を実施している。しかし、看過判定部７０４は、特性判定部７０２から通知されるまばたきの時間位置をある一定時間観測し、その観測した一定時間のおけるまばたきの時間位置から検出したまばたきのパターンを利用して、看過判定処理を行ってもよい。

図９は、看過判定部７０４が、看過判定処理に利用するまばたきのパターンの例を示している。

まばたきのパターンとして以下の３つの例を挙げる
（１） まばたきパターン１：
まばたきを検出してから、観測時間=ｔ内のまばたき回数がｍ回未満（ｍ＞０）
（２） まばたきパターン２：
まばたきを検出してから、観測時間=ｔ内のまばたき回数がｍ回未満（ｍ＞０）、かつ観測時間２=ｓ内にその状態がｎ回以上連続
（３） まばたきパターン３：
まばたきを検出してから、観測時間ｔ内のまばたき回数がｍ回以上（ｍ＞０）
それぞれのまばたきパターンの様子を、まばたきパターン１を図９（Ａ）に、まばたきパターン２を図９（Ｂ）に、まばたきパターン３を図９（Ｃ）に示す。

それぞれのまばたきパターンに対して、看過判定部７０４は、以下の判定をするものとする。

（１） まばたきパターン１に対する判定（判定パターン１）：
まばたきをしたとは判定しない（集中力は途切れていない、と見なす）
（２） まばたきパターン２に対する判定（判定パターン２）：
まばたきをしたと判定（集中力がやや途切れてきている、と見なす）
（３） まばたきパターン３に対する判定（判定パターン３）：
まばたきをしたと判定（集中力が途切れた、と見なす）
例えば看過判定部７０４が、特性判定部７０２より通知されたまばたきをした時間位置からまばたきパターン１と認識した場合、看過判定部７０４は、メガネ型ウェアラブル装置４００の使用者は表示部３０１に表示されている表示用データを看過していない、と判断する（判定パターン１）。

また看過判定部７０４は、まばたきパターン２とまばたきパターン３のようにメガネ型ウェアラブル装置４００の使用者が表示部３０１に表示されている表示用データを看過した度合いを区別することも出来る。

例えば、看過判定部７０４が、特性判定部７０２から通知されたまばたきの時間位置からまばたきパターン２であると認識した場合、メガネ型ウェアラブル装置４００の使用者は集中力がやや途切れてきていると判断し（判定パターン２）、表示部３０１に第１の表示用データを表示に加え、第２の表示用データとして警告内容のデータを表示部３０１に表示するように、表示用データ出力部７０３に指示を出してもよい。あるいは、音声による警告であってもよい。

また、看過判定部７０４が、特性判定部７０２から通知されたまばたきの時間位置からをまばたきパターン３であると認識した場合、メガネ型ウェアラブル装置４００の使用者は集中力が途切れたと判断し（判定パターン３）、表示部３０１に第１の表示用データの表示を停止して、停止位置から一定時間戻った地点から第１の表示用データの表示を再開するように、表示用データ出力部７０３に指示を出してもよい。

このように看過判定部７０４は、メガネ型ウェアラブル装置４００の使用者が表示部３０１に表示されている表示用データの重要表示位置を看過した度合いを判定し、その判定した看過の度合いを加味して、リアルタイムに使用者の精神状態や表示用データの看過した状況を推定することができ、その結果に応じて使用者に示す表示内容をリアルタイムに追加したり変更したりすることができる。

図１０Ａ及び図１０Ｂは、看過判定部７０４が、メガネ型ウェアラブル装置４００の使用者が表示用データの重要表示位置を看過したかどうかの判定に、まばたきのパターンを加味する場合の、看過判定の処理の流れの一例を示す図である。図８の処理との相違点は、まばたきのパターンの判定を追加している点である。

眼電位が変化した時間位置を取得（Ｓ１００５）した看過判定部７０４は、まばたきパターンを判定するための観測時間が満了したかどうかの判定を行う（Ｓ１００６）。観測時間が満了していない場合、看過判定部７０４は、観測時間が満了するまで眼電位が変化した時間を取得し続ける。観測時間が満了した場合、看過判定部７０４は、観測時間内に取得した眼電位が変化した時間から、まばたきパターンの判定を行う（Ｓ１００７）。看過判定部７０４は、眼電位が変化した時間から特定されたまばたきが、例えばまばたきパターン１からまばたきパターン３に一致するかどうかの判定を行う。

判定の結果、一致していることが判明した場合、看過判定部７０４は、観測時間の開始の時間位置を取得し（Ｓ１００８）、その時間位置における、表示用データ出力部７０３が表示部３０１に出力した表示用データの内容を取得（Ｓ１００９）して、その表示内容の重要度を判定する（Ｓ１０１０）。判定の結果（Ｓ１０１１）、重要と判定されると、看過判定部７０４は、メガネ型ウェアラブル装置４００の使用者が、Ｓ１００９で取得した時間位置の表示用データを看過したと判断（Ｓ１０１２）する。看過判定部７０４は、看過したとの判断結果に基づく処理を実施する（Ｓ１０１３）。

看過したとの判断結果に基づく処理（Ｓ１０１３）は、Ｓ１００７で判定されたまばたきパターンによって変えることが望ましい。例えば先に述べたように、看過判定部７０４が、パターン２であると認識した場合、表示部３０１に第１の表示用データを表示している最中に、第２の表示用データとして警告内容のデータを表示部３０１に表示するように、表示用データ出力部７０３に指示を出してもよい。また、看過判定部７０４が、まばたきパターン３であると認識した場合、メガネ型ウェアラブル装置４００の使用者は集中力が途切れたと判断し、表示部３０１に第１の表示用データの表示を停止して、停止位置から一定時間戻った地点から、再度第１の表示用データの表示を再開するように、表示用データ出力部７０３に指示を出してもよい。

看過したとの判断結果に基づく処理（Ｓ１０１３）を実施したのち、看過判定部７０４は、観測時間中に保存していた眼電位が変化した時間位置の情報をクリアする（Ｓ１０１４）。以降第１の表示用データが存在している間（Ｓ１０１５）、上記の処理を繰り返す。第１の表示用データの表示が終了した場合、その時点まで取得した眼電位の変化した時間から、まばたきパターンの判定（Ｓ１０１６）及び重要な表示用データを看過したかの判定（Ｓ１０２０）を行い、判定に基づいてＳ１０１３同様に処理を行う（Ｓ１０２２）
図１１から図１３は、看過判定部７０４によって看過したとの判断結果に基づいて、表示部３０１に表示する表示用データの内容の一例を示したものである。

図１１（Ａ）は、メガネ型ウェアラブル装置４００の使用者がまばたきをした時間位置が、表示用データの重要表示位置でない（文節の切れ目）部分を読んでいる時であることを示している例である。したがって看過判定部７０４は、メガネ型ウェアラブル装置４００の使用者が表示用データ「○○○を△△△した後で、×××をする」を看過してないと判断する。したがって、表示用データ出力部７０３は、例えば次の表示内容として図１１（Ｂ）に示したように、「作業を開始してください」の表示用データを表示部３０１に表示する。

図１２（Ａ）は、メガネ型ウェアラブル装置４００の使用者がまばたきをした時間位置が、表示用データの重要表示位置である（文節の中）ことを示している例である。したがって看過判定部７０４は、メガネ型ウェアラブル装置４００の使用者が表示用データ「○○○を△△△した後で、×××をする」を看過したと判断する。このような場合、看過判定部７０４は、例えば図１２（Ｂ）に示すように表示するデータを動画マニュアルに変更して表示するように、表示用データ出力部７０３に指示する。指示を受けた表示用データ出力部７０３は、表示用データＤＢ７０５に保存されている動画マニュアルを読み出し、表示部３０１に表示する。

図１３（Ａ）は、表示用データが表示されている間、メガネ型ウェアラブル装置４００の使用者がまばたきを続けている（あるいは、目を閉じ続けている）場合の例である。したがって看過判定部７０４は、メガネ型ウェアラブル装置４００の使用者が表示用データ「○○○を△△△した後で、×××をする」をまったく見ていないと判断する。このような場合、看過判定部７０４は、例えば図１３（Ｂ）に示すように表示部３０１に表示しているデータを一旦停止させる。看過判定部７０４は、メガネ型ウェアラブル装置４００の使用者のまばたきが終了（あるいは、目をあけている）と判定したら、図１３（Ｃ）に示すように、表示部３０１に表示されている内容から一定時間戻った位置から表示用データの表示を再開するよう表示用データ出力部７０３に指示を出す。表示用データ出力部７０３は、看過判定部７０４の指示に従って、一定時間戻った位置から表示用データの出力を再開する。

このように、看過判定部７０４によって看過したと判定されると、表示用データ出力部７０３は、表示部３０１に表示する内容を、次の作業に進むように促す表示をするように指示したり、使用者のまばたきの状況から推定される理解度に合わせて表示用データを変えるように指示したりすることが可能である。これにより、メガネ型ウェアラブル装置４００の使用者の看過の状況に合わせて、表示用データを表示部３０１に表示することが可能となる。

メガネ型ウェアラブル装置４００の使用者がまばたきをした時間位置において、表示部３０１に表示されている表示用データを読み取っている位置は、使用者の視線位置を用いて判定することもできる。上記したように特性判定部７０２は、取得した検出信号の変化の状況を観測することで、視線位置も推定することができる。この視線位置の情報を用いて、看過判定部は、表示部３０１に表示されている表示用データのうち、使用者が読み込んでいる場所を判定することができる。

図１１から図１３に示したように、使用者がまばたきした時間位置において表示用データを読み取っている位置は、この視線位置の情報を元に推定してもよい。

また例えば、表示用データが動画（ビデオ）の場合はその表示内容の時間経過位置を用い、表示用データがテキスト（画像）の場合は視線位置を用いて、使用者がまばたきをした時間位置において、表示部３０１に表示されている表示用データのうち使用者が読み取っている位置を推定してもよい。勿論その逆でもよいし、両方の情報を併用して表示用データを読み取っている位置を推定してもよい。

図１４は、メガネ型ウェアラブル装置４００にある無線モジュール４０５を使って、表示部３０１に表示している内容を、ネットワークを経由して他のメガネ型ウェアラブル装置の使用者と共有する場合の一例を示す図である。グラス型ウェアラブル装置１１０−１の使用者は、表示部３０１に表示されている第１の表示用データを見ながら作業をしているとする。グラス型ウェアラブル装置１１０−２の使用者は、表示部３０１に表示されている第２の表示用データを見ながら作業をしているとする。この時に、グラス型ウェアラブル装置１１０−２の看過判定処理によりグラス型ウェアラブル装置１１０−２の使用者が、第２の表示用データを看過したと判定され、表示部３０１に警告を示す第３の表示用データが表示されとする。この第３の表示用データが表示されると、グラス型ウェアラブル装置１１０−２の無線モジュール３０３は、ネットワークを経由して監督者用端末１０３の表示部２０１にも第３の表示用データを同時に表示できるように、第３の表示用データの送信を行う。このように無線モジュール３０３により、特定の表示用データを特定の人とリアルタイムで共有することも可能である。

また、特定の表示用データを特定の人とリアルタイムで共有する際に、メガネ型ウェアラブル装置４００にある他のセンサ３２５、センサ３２６の情報も併せて共有してもよい。例えば、メガネ型ウェアラブル装置４００は、センサ３２５として加速度センサを備えているとする。表示用データを共有するタイミングで、この加速度センサにより収集した体動情報も共有することで、共有する表示用データの内容を補完することができ、共有する情報の精度を高めることができる。例えば共有する表示用データの内容が、警告を示すものである場合、加速度センサで収集した動体情報が一定周期での動作を示している場合、メガネ型ウェアラブル装置４００の使用者が寝ている、という確度を高めることができる。

今までの例は、看過判定部７０４により第１の表示用データを看過したことが判定された場合、リアルタイムで表示部３０１に表示している第１の表示用データに第２の表示用データを追加したり、他の表示用データの内容を表示したりするものであるが、表示部３０１に表示する内容を変えるタイミングは、リアルタイムの場合だけに限らない。

例えば、看過判定部７０４が、メガネ型ウェアラブル装置４００の使用者が表示部３０１に表示されている第１の表示用データの重要表示位置を看過した、と判定したとする。この場合看過判定部７０４は、メガネ型ウェアラブル装置４００の使用者が第１の表示用データの重要表示位置を看過したと判断した時間位置の表示内容に、第２の表示用データとして警告内容のデータを編集した、第３の表示用データを作成することも可能である。

新たに作成された第３の表示用データは、表示用ＤＢ７０５に保存することができる。したがって、メガネ型ウェアラブル装置４００の使用者は、必要なタイミングであらたに作成された第３の表示用データを表示部３０１に表示して見ることが可能である。

また例えば、看過判定部７０４がメガネ型ウェアラブル装置４００の使用者が重要表示位置を看過したと判定した場合、看過判定部７０４は、表示部３０１に表示している表示用データの内容と看過したと判断した時間位置の組み合わせの情報を表示用データＤＢ７０５に保存してもよい。更に、同様のデータをメガネ型ウェアラブル装置４００を使用している多くの使用者から集めて表示用データＤＢ７０５に蓄積し、表示用データの今後の更新の際の参考情報として活用してもよい。また、メガネ型ウェアラブル装置４００が備える他のセンサ３２５、センサ３２６の情報も併せて表示用データＤＢ７０５に蓄積してもよい。

例えば第１の表示用データが、メガネ型ウェアラブル装置４００の使用者にとってトレーニング用の表示用データである場合、使用者がこのトレーニング用データを見ている際の眼電位の検出信号の変化を検出することで、トレーニング時の集中力の度合いやストレスの有無、トレーニング用データの理解度等をリアルタイムに推定することが出来る。これらのデータは、無線モジュール３０３によりネットワーク経由で情報管理サーバー１０１に保存してもよい。またトレーニング用データを見た他の多くの使用者のデータも併せて情報管理サーバー１０１に保存してもよい。

このトレーニング用データを見た後に、実際の作業を行った際の作業の状況から作業の理解度を採点し、この実際の作業の理解度の情報も情報管理サーバー１０１に保存することで、トレーニング用データを視聴した際の理解度等のデータと、実際に作業を行った際の作業内容の理解度等のデータをまとめて解析し、今後の改善に生かすことが可能となる。

例えば、トレーニング用データを見て実際の作業を行ったメガネ型ウェアラブル装置４００の使用者の作業の理解度を推定する場合、その推定方法を、情報管理サーバー１０１に保存されているトレーニング用データを視聴した際の理解度等のデータと、実際に作業を行った際の作業内容の理解度等のデータをまとめて解析することで、より適切なものに修正することができる。また解析の結果、どの使用者においても同じように理解度や集中度が低い作業箇所が発見できた場合は、トレーニング用データや実際の作業において表示する表示用データに問題があったと推定され、トレーニング用データや実際の作業において表示する表示用データの内容を改善することができる。

トレーニング用データや実際の作業において表示する表示用データの内容の改善は、
個人ごとに適した作業指示を含む表示用データを作成することも可能である。また、個人ごとの作業指示を含む表示用データを集合し、共通部分を抽出することで、一般的な作業指示の表示用データとして作成することも可能である。

第１の表示用データをベースにして新たに作成された第３の表示用データは、今まで第１の表示用データを見ながら作業をしていた作業者が、以降の作業においても必要となる表示用データである。このように作業を行うために必要となる表示用データにおいて、過去の作業時の様子が追加された内容の表示用データを見ることで、今後の作業における危険回避や効率改善を行うことが可能となる。

上記した実施形態では、メガネ型ウェアラブル装置４００の使用者のまばたきを調べることにより、リアルタイムでメガネ型ウェアラブル装置４００の使用者の精神状態や表示用データの看過した状況を推定することができる。

これにより、推定した精神状態や表示用データの看過した状況を元に、使用者に表示する表示用データをリアルタイムで変更することで作業効率の促進を図ることができる。また、これらの表示用データは、必要な内容に関してネットワークを通じて他の関係者とリアルタイムに共有することができるため、例えば監督者がメガネ型ウェアラブル装置４００を使用した作業者の作業状況の問題点をリアルタイムに容易に把握することができ、遠隔からの状況把握が容易になる。また、推定した精神状態や表示用データの看過した状況を蓄積して、表示用データを今後更新する際に活用したり、推定した精神状況を元に作業者の今後の予定を決める、というよう、今後の作業を行う際の基礎データとして活用することも可能である。

上記したように実施例によると、いわゆる眼電位検出機能にて「まばたきを検出」してメガネ型ウェアラブル装置を用いたトレーニング装置を得ることができる。例えば、教育ビデオの閲覧であれば、内容と時間軸が事前に判っており、表示がテキストベースであれば眼電位検出機能を応用した視線移動検出により読んでいる箇所をリアルタイムに推定することができる。これにより、メガネ型ウェアラブル装置を用いたトレーニング装置によるトレーニング受講者の「まばたき発生タイミング」から理解度をリアルタイムで推定することができる。また、これらのデータを収集して記録し第１のビッグデータとして利用することができる。

一方では、受講者の実務データから推定される理解度を採点することができる。また、これらのデータを記録して第２のビッグデータとして利用することができる。

例えば、具体的な応用として、複数の受講者の推定／採点のデータを機械学習等のビッグデータとして記録保存し、このビッグデータを解析して理解度を推定する推定エンジンを改善することができる。そして、誰が受講しても理解度／集中度が低い箇所は、教育ビデオ／テキスト側に問題があると推定することができる。これにより、教育ビデオ／テキスト側の問題がみつかり、教育ビデオ／テキスト側を改善することもできる。更に、理解度のリアルタイムの推定の精度が向上した際には、受講者の理解度／集中度に合わせてメガネ型ウェアラブル装置上に注意や警告の表示をおこなうこともできる。

したがって、本実施形態によると、トレーニングにおいて、或いは実務において、特性判定部は、少なくともメガネ型ウェアラブル装置の使用者がまばたきをした時間位置を判定する、看過判定部は、前記まばたきをした時間位置と、表示用データの時間経過位置とを比較し、使用者が重要表示位置を看過したか否かを判定する。そしてこれらのトレーニングによる推定データを第１のビッグデータとし、実務における採点データを第２のビッグデータとして情報管理サーバーに格納することができる。これらの第１、第２のビッグデータの量が多くなれば、例えばシステムコントローラ、或いは別途設けた解析装置によるデータ解析により、先に説明したように、推定エンジンを改善、作業の教育ビデオ／テキスト側の改善が可能となる。

上記した受講者が、先の実施形態で述べた作業者であることで、作業の危険回避、作業効率の改善などを行うことが可能となる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

４００・・・メガネ型ウェアラブル装置、４０２・・・ノーズパッド、４０４・・・表示部、４０６・・・眼電位検出電極、５０１ａ・・・眼電位検出電極、５０１ｂ・・・眼電位検出電極、５０２ａ・・・眼電位検出電極、５０１ｂ・・・眼電位検出電極、７０１・・・検出信号取得部、７０２・・・特定判定部、７０３・・・表示用データ出力部、７０４・・・看過判定部、７０５・・・表示用データＤＢ。

Claims (20)

1. 使用者の眼球周辺の電位を検出する複数の電位検出センサから複数の検出信号を取得する検出信号取得部と、
   使用者の視線の延長線上に位置し、表示用データを表示する表示部と、
   重要表示位置と非重要表示位置を含む第１の表示用データが前記表示部に表示されているとき、前記検出信号取得部により取得された前記複数の検出信号の変化から、少なくとも前記使用者がまばたきをした時間位置を判定する特性判定部と、
   前記検出信号取得部により取得された前記複数の検出信号に基づいて前記使用者の眼球の動きを検出する検出部と、
   前記表示部で表示されている前記第１の表示用データの前記重要表示位置を前記使用者が看過したか否かを前記特性判定部により判定された前記まばたきをした時間位置と前記検出部により検出された前記眼球の動きに基づいて判定する看過判定部と、
   を備えるメガネ型ウェアラブル装置。
2. 前記看過判定部が、前記使用者が前記第１の表示用データの前記重要表示位置を看過したと判定した場合、前記表示部は、前記第１の表示用データと異なる第２の表示用データを表示することを特徴とする
   請求項１記載のメガネ型ウェアラブル装置。
3. 前記第１の表示用データは、前記使用者に見せるためのマニュアル画像データである請求項１記載のメガネ型ウェアラブル装置。
4. 前記看過判定部が、前記使用者が前記第１の表示用データの前記重要表示位置を看過したと判定した場合、前記表示部は、前記第１の表示用データの繰り返しのデータである前記第２の表示用データを表示することを特徴とする請求項２記載のメガネ型ウェアラブル装置。
5. 前記第１の表示用データは、前記使用者に仮想作業として、トレーニングを行わせるためのデータである
   請求項１記載のメガネ型ウェアラブル装置。
6. 前記第２の表示用データは、警告表示用のデータ又は許可表示用のデータである
   請求項２記載のメガネ型ウェアラブル装置。
7. 前記看過判定部は、一定時間内に存在する前記まばたきをした時間位置から、前記まばたきをした時間位置のパターンを判定し、判定した前記まばたきをした時間位置のパターンから、前記第２の表示用データの内容を変えることを特徴とする、
   請求項２記載のメガネ型ウェアラブル装置。
8. 前記看過判定部は、前記使用者が前記第１の表示用データの前記重要表示位置を看過したと判定した場合、前記第１の表示用データに対して第２の表示用データを書き込んで、第３の表示用データを作成することを特徴とする、
   請求項１記載のメガネ型ウェアラブル装置。
9. 前記特性判定部は、前記検出信号取得部により取得された検出信号の変化から、前記使用者の視線位置を判定し、
   前記看過判定部は、判定された前記視線位置を用いて、前記表示部に表示されている表示用データを前記使用者が読み取っている位置を判定し、前記まばたきをした時間位置と前記読み取っている位置とを比較し、前記使用者が第１の表示用データの前記重要表示位置を看過したか否かを判定する
   請求項１記載のメガネ型ウェアラブル装置。
10. 前記第１の表示用データを、前記表示部で表示する際に、前記第１の表示用データを、ネットワークを通じて他の使用者と共有するための送受信部をさらに具備する、
    請求項１記載のメガネ型ウェアラブル装置。
11. 前記第１の表示用データがテキストデータを具備する場合、前記重要表示位置は文節の中であり、前記非重要表示位置は前記文節の切れ目である請求項１記載のメガネ型ウェアラブル装置。
12. 使用者の眼球周辺の電位を検出する複数の電位検出センサから複数の検出信号を取得する検出信号取得部と、
    使用者の視線の延長線上に位置し、表示用データを表示する表示部と、
    重要表示位置と非重要表示位置を含む第１の表示用データが前記表示部に表示されているとき、前記検出信号取得部により取得された前記複数の検出信号の変化から、少なくとも前記使用者がまばたきをした時間位置を判定する特性判定部と、
    前記検出信号取得部により取得された前記複数の検出信号に基づいて前記使用者の眼球の動きを検出する検出部と、を備えるメガネ型ウェアラブル端末の制御方法であって、
    前記表示部で表示されている前記第１の表示用データの前記重要表示位置を前記使用者が看過したか否かを前記特性判定部により判定された前記まばたきをした時間位置と前記検出部により検出された前記眼球の動きに基づいて判定するメガネ型ウェアラブル端末の制御方法。
13. 使用者の眼球周辺の電位を検出する複数の電位検出センサから複数の検出信号を取得する検出信号取得部と、
    使用者の視線の延長線上の所定の位置に位置し、表示用データを表示する表示部と、
    時間経過とともに変化する第１の表示用データを前記表示部に送信する表示用データ出力部と、
    前記第１の表示用データが前記表示部に表示されているとき、前記検出信号取得部により取得された検出信号の変化から、少なくとも前記使用者がまばたきをした時間位置を判定する特性判定部と、
    前記まばたきをした時間位置と、前記第１の表示用データの時間経過位置とを比較し、前記使用者が重要表示位置を看過したか否かを判定する看過判定部と、
    前記看過判定部の判定結果から前記使用者の理解度をリアルタイムで推定し、推定した結果を収集して記録し第１のビッグデータとし保存し、前記使用者の実務データから推定した理解度のデータを記録して第２のビッグデータとして保存するデータサーバーとを備えた、
    情報管理サーバー。
14. 前記第１の表示用データがトレーニング用の表示データを含む場合、前記データサーバーは、前記トレーニング用の表示データにおける看過位置の集計結果に応じて前記トレーニング用の表示データの看過位置に関する情報を前記表示部で表示させる請求項１３記載の情報管理サーバー。
15. 前記第１の表示用データがトレーニング用の表示データを含む場合、前記データサーバーは、前記第１のビッグデータと前記第２のビッグデータに応じて前記トレーニング用の表示データの内容を変更する請求項１３記載の情報管理サーバー。
16. 使用者の眼球周辺の電位を検出する複数の電位検出センサから複数の検出信号を取得する検出信号取得部と、
    使用者の視線の延長線上の所定の位置に位置し、表示用データを表示する表示部と、
    時間経過とともに変化する第１の表示用データを前記表示部に送信する表示用データ出力部と、
    前記第１の表示用データが前記表示部に表示されているとき、前記検出信号取得部により取得された検出信号の変化から、少なくとも前記使用者がまばたきをした時間位置を判定する特性判定部と、
    前記まばたきをした時間位置と、前記第１の表示用データの時間経過位置とを比較し、前記使用者が重要表示位置を看過したか否かを判定する看過判定部と、
    を備え、
    前記看過判定部が、前記使用者が前記重要表示位置を看過したと判定した場合、前記表示用データ出力部は、前記第１の表示用データと異なる警告表示用のデータ又は許可表示用のデータである第２の表示用データを、前記表示部に対して出力するメガネ型ウェアラブル装置。
17. 使用者の眼球周辺の電位を検出する複数の電位検出センサから複数の検出信号を取得する検出信号取得部と、
    使用者の視線の延長線上の所定の位置に位置し、表示用データを表示する表示部と、
    時間経過とともに変化する第１の表示用データを前記表示部に送信する表示用データ出力部と、
    前記第１の表示用データが前記表示部に表示されているとき、前記検出信号取得部により取得された検出信号の変化から、少なくとも前記使用者がまばたきをした時間位置を判定する特性判定部と、
    前記まばたきをした時間位置と、前記第１の表示用データの時間経過位置とを比較し、前記使用者が重要表示位置を看過したか否かを判定する看過判定部と、
    を備え、
    前記看過判定部が、前記使用者が前記重要表示位置を看過したと判定した場合、前記表示用データ出力部は、第２の表示用データとして前記第１の表示用データと異なる表示用データを、前記表示部に対して、出力し、
    前記看過判定部は、一定時間内に存在する前記まばたきをした時間位置から、まばたきをした時間位置のパターンを判定し、判定した前記まばたきをした時間位置のパターンから、前記第２の表示用データの内容を変えるメガネ型ウェアラブル装置。
18. 使用者の眼球周辺の電位を検出する複数の電位検出センサから複数の検出信号を取得する検出信号取得部と、
    使用者の視線の延長線上の所定の位置に位置し、表示用データを表示する表示部と、
    時間経過とともに変化する第１の表示用データを前記表示部に送信する表示用データ出力部と、
    前記第１の表示用データが前記表示部に表示されているとき、前記検出信号取得部により取得された検出信号の変化から、少なくとも前記使用者がまばたきをした時間位置を判定する特性判定部と、
    前記まばたきをした時間位置と、前記第１の表示用データの時間経過位置とを比較し、前記使用者が重要表示位置を看過したか否かを判定する看過判定部と、
    を備え、
    前記看過判定部は、前記使用者が前記重要表示位置を看過したと判定した場合、前記第１の表示用データに対して第２の表示用データを書き込んで、第３の表示用データを作成するメガネ型ウェアラブル装置。
19. 使用者の眼球周辺の電位を検出する複数の電位検出センサから複数の検出信号を取得する検出信号取得部と、
    使用者の視線の延長線上の所定の位置に位置し、表示用データを表示する表示部と、
    時間経過とともに変化する第１の表示用データを前記表示部に送信する表示用データ出力部と、
    前記第１の表示用データが前記表示部に表示されているとき、前記検出信号取得部により取得された検出信号の変化から、少なくとも前記使用者がまばたきをした時間位置を判定する特性判定部と、
    前記まばたきをした時間位置と、前記第１の表示用データの時間経過位置とを比較し、前記使用者が重要表示位置を看過したか否かを判定する看過判定部と、
    を備え、
    前記特性判定部は、前記検出信号取得部により取得された検出信号の変化から、前記使用者の視線位置を判定し、
    前記看過判定部は、判定された前記視線位置を用いて、前記表示部に表示されている表示用データを前記使用者が読み取っている位置を判定し、まばたきをした時間位置と前記読み取っている位置とを比較し、前記使用者が重要表示位置を看過したか否かを判定するメガネ型ウェアラブル装置。
20. 使用者の眼球周辺の電位を検出する複数の電位検出センサから複数の検出信号を取得する検出信号取得部と、
    使用者の視線の延長線上の所定の位置に位置し、表示用データを表示する表示部と、
    時間経過とともに変化する第１の表示用データを前記表示部に送信する表示用データ出力部と、
    前記第１の表示用データが前記表示部に表示されているとき、前記検出信号取得部により取得された検出信号の変化から、少なくとも前記使用者がまばたきをした時間位置を判定する特性判定部と、
    前記まばたきをした時間位置と、前記第１の表示用データの時間経過位置とを比較し、前記使用者が重要表示位置を看過したか否かを判定する看過判定部と、
    表示用データを、前記表示部に対して出力する際に、前記表示用データを、ネットワークを通じて他の使用者と共有するための送受信部と、を具備するメガネ型ウェアラブル装置。

Images