JP2018195321A - ウェアラブル端末及び方法 - Google Patents

Abstract

【課題】予め定められた範囲内で作業を行う作業員の状態を推定することが可能なウェアラブル端末及び方法を提供することにある。【解決手段】実施形態によれば、ユーザによって装着されるウェアラブル端末が提供される。ウェアラブル端末は、ユーザの周辺の画像を撮影するためのカメラと、カメラによって撮影された画像に基づくユーザの状況に対応してユーザに通知する付加画像を表示する付加画像表示部と、前記付加画像の虚像を形成する手段とを具備する。【選択図】図１

Description

本発明の実施形態は、ウェアラブル端末及び方法に関する。

近年では、例えばユーザによって装着されて使用されるウェアラブル端末が実用化されている。ウェアラブル端末としては、例えばメガネ型ウェアラブル端末及びリストバンド型ウェアラブル端末等が知られている。

このようなウェアラブル端末はハンズフリーの状態で使用可能であるため、例えば工場のような予め定められた範囲内において作業を行うユーザ（以下、作業員と表記）に対して装着させることが検討されている。

特開平０５−２１１６５０号公報

ところで、上記した作業員が作業を行う工場においては、当該作業員を管理する管理者が配置されている。管理者は、作業の割り当て、作業内容の確認及び変更等の指示を作業員に対して行うが、例えば工場の敷地面積が広く、作業員の数が多い場合、当該指示は電話（音声通話）で行われることが多い。

しかしながら、例えば作業員が危険な状態にある（例えば、高い位置で作業をしている）ときに管理者からの着呼（着信）があった場合には、当該着呼に応答しようとして作業員が不意にバランスを崩してしまうことがあり、思わぬ事故が生じる可能性がある。更に、このような場合には、管理者からの着呼に対して応答することができない場合が多いため非効率である。したがって、作業員の状態を把握するための仕組みが望まれている。

そこで、本発明が解決しようとする課題は、予め定められた範囲内において作業を行うユーザの状態を推定することが可能なウェアラブル端末及び方法を提供することにある。

実施形態によれば、ユーザによって装着されるウェアラブル端末が提供される。前記ウェアラブル端末は、前記ユーザの周辺の画像を撮影するためのカメラと、前記カメラによって撮影された画像に基づく前記ユーザの状況に対応して前記ユーザに通知する付加画像を表示する付加画像表示部と、前記付加画像の虚像を形成する手段とを具備する。

第１の実施形態における管理システムが使用される環境の一例について説明するための図。 作業員が装着して使用する作業員端末の一例を示す概略図。 作業員が装着して使用する作業員端末の一例を示す概略図。 管理システムのネットワーク構成の一例を示す図。 作業員端末のシステム構成の一例を示す図。 管理者端末のシステム構成の一例を示す図。 管理サーバ装置の機能構成の一例を示すブロック図。 作業員情報格納部に格納されている作業員情報のデータ構造の一例を示す図。 装置情報格納部に格納されている装置情報のデータ構造の一例を示す図。 工程情報格納部に格納されている工程情報のデータ構造の一例を示す図。 状態推定処理の概要について説明するための図。 状態推定処理の概要について説明するための図。 状態推定処理の処理手順を示すフローチャート。 作業員端末及び管理者端末に対して通知を出力する際の管理サーバ装置の処理手順を示すフローチャート。 作業員端末の表示領域の一例について説明するための図。 第２の実施形態における装置情報格納部に格納されてる装置情報のデータ構造の一例を示す図。 状態推定処理の処理手順を示すフローチャート。 第３の実施形態における作業員端末のシステム構成の一例を示す図。 状態推定処理の処理手順を示すフローチャート。

以下、図面を参照して、各実施形態について説明する。

（第１の実施形態）
まず、第１の実施形態について説明する。図１は、本実施形態に係る管理サーバ装置を備える管理システムが使用される環境の一例について説明するための図である。

本実施形態における管理システムは、例えば予め定められた範囲内（例えば、工場の敷地内等）で作業を行う作業員及び当該範囲内に設置されている装置（例えば、製品を製造する製造装置等）を管理するために用いられる。

図１に示すように、管理システムは、作業員端末１０、製造装置２０、管理者端末３０及び管理サーバ装置４０を備える。

作業員端末１０は、例えば工場の敷地内等のワークエリア１００において作業を行う作業員（ユーザ）によって使用される端末装置（ユーザ端末）である。作業員端末１０は、作業員が装着して使用することができる例えばメガネ型ウェアラブル端末を含む。以下においては、作業員端末１０がメガネ型ウェアラブル端末であるものとして説明する。

なお、図１に示すように、管理システムにおいては１人の作業員が１つの作業員端末１０を装着して使用する。このため、管理システムは、作業員の数に応じた数の作業員端末１０を備えている。

製造装置２０は、例えば作業員の操作に応じて製品を製造することが可能な装置である。なお、製造装置２０は、例えば作業員が製造に必要な部材をセットして準備を完了させることによって自動的に製品を製造するような装置であるものとする。本実施形態においては管理システムが製造装置２０を備えるものとして説明するが、例えばワークエリア１００に設置される装置であれば管理システムは他の装置を備えていてもよい。

なお、図１においては便宜的に１つの製造装置２０が示されているが、ワークエリア１００には複数の製造装置２０が設置されているものとする。

管理者端末３０は、ワークエリア１００内の作業員及び製造装置２０を管理する管理者によって使用される端末装置である。管理者端末３０は、例えばワークエリア１００外の監視室等に設置されているパーソナルコンピュータ等を含む。なお、例えば作業員が作業を行っている状況及び製造装置２０の稼働状況等を監視するために管理者がワークエリア１００の見回りを行うような場合には、上記した作業員端末１０と同様のメガネ型ウェアラブル端末が管理者端末３０として使用されてもよい。

管理サーバ装置４０は、ワークエリア１００に設置されている製造装置２０による製品の製造工程等を管理するサーバ装置（電子機器）である。なお、詳細については後述するが、管理サーバ装置４０は、ワークエリア１００において作業を行う作業員の状態を推定する機能を有する。

図１においては省略されているが、ワークエリア１００には、作業員端末１０が無線通信を実行するための複数のアクセスポイントが設けられているものとする。

図２及び図３は、作業員が装着して使用する作業員端末（メガネ型ウェアラブル端末）１０の一例を示す概略図である。

作業員端末１０は、投光ユニット１００１及びレンズ一体型スクリーン（ディスプレイ）１００２等を含む。

投光ユニット１００１は、光源部１００１ａ、付加画像表示部１００１ｂ、ハーフミラー部１００１ｃ、レンズ群１００１ｄ、駆動部１００１ｅ及び内蔵電源１００１ｆ等を含む。投光ユニット１００１においては、光源部１００１ａが出射する光２０００により付加画像表示部１００１ｂによって表示される画像及び情報が照明され、その反射光（投影画像）が出力（出射）される。なお、光源部１００１ａが出射する光２０００は、非平行な発散性の光（発散光）である。

光源部１００１ａは、それぞれの出力光量を独立して変更可能な複数（例えば、３つ）のＬＥＤ（Light Emitting Diode）を含む調光型白色ＬＥＤ光源であることが好ましい。この場合における３つのＬＥＤは、互いに発光色が異なるものとする。このような調光型白色ＬＥＤ光源を用いた場合には、例えばオレンジ色が主体の照明が用いられることの多いクリーンルーム内で作業員端末１０が使用される等の使用環境に応じて発光色を変更することによって、作業員の見やすい表示色を提供（出力）することができる。

付加画像表示部１００１ｂは、例えば反射型のＬＣＤ（Liquid Crystal Display）モジュールであり、所定の付加画像を表示する。なお、所定の付加画像には、例えば各種メッセージやマーク等が含まれる。

光源部１００１ａが出射する光２０００は、ハーフミラー部１００１ｃで反射されることにより付加画像表示部１００１ｂが表示する付加画像を照明し、当該付加画像に対応した画像光として再び反射される。

付加画像表示部１００１ｂで反射した光（付加画像光）２０００は、ハーフミラー部１００１ｃを通過し、レンズ群１００１ｄにより所定の画像サイズが与えられ、レンズ一体型スクリーン１００２に到達する。

駆動部１００１ｅは、付加画像表示部１００１ｂが表示する付加画像に対応して光源部１００１ａの発光を制御する。

内蔵電源１００１ｆは、例えばボタン電池等によって実現される。作業員端末１０は、内蔵電源１００１ｆから供給される電力で動作する。

レンズ一体型スクリーン１００２は、フレネルレンズ形ハーフミラー部１００２ａを有する。

上記したようにレンズ一体型スクリーン１００２に到達した光２０００の一部は、当該フレネルレンズ形ハーフミラー部１００２ａで反射し、付加画像表示部１００１ｂ上で表示される付加画像に対する虚像を形成する。

また、図３に示すように、作業員端末１０は、投光ユニット１００１の所定の位置（例えば、底面部）に、スピーカー１００１ｇ、（スライド式）スイッチ１００１ｈ及び（回転式）つまみ１００１ｉ等を有する。スイッチ１００１ｈは、例えば投光ユニット１００１が出射する光２０００の輝度を調整するために設けられている。つまみ１００１ｉは、例えば投光ユニット１００１が出射する光２０００の投射角度を調整するために設けられている。このようなスイッチ１００１ｈ及びつまみ１００１ｉの各々を操作することによって、作業員（メガネ型ウェアラブル端末のユーザ）は、レンズ一体型スクリーン１００２が投影する付加画像を目視しながら、輝度及び投射角度を調整することができる。すなわち、スイッチ１００１ｈが設けられていることにより、作業員の好みに合わせた付加画像の表示輝度及び色調を提供することができる。また、つまみ１００１ｉが設けられていることにより、作業員の頭部の形状及びサイズに応じた最適な位置に付加画像を表示することができる。

更に、作業員端末１０には、例えば作業員端末１０の周辺の画像を撮影するためのカメラ１００３が設けられている。カメラ１００３は、例えば図３に示す位置に設けられていることによって、作業員端末１０を装着した作業員の視線方向の画像を撮影する。

図４は、管理システムのネットワーク構成を示す。なお、図４においては、管理システムが複数の作業員端末１０を備える例が示されている。図４において、複数の作業員端末１０は、作業員端末１０−１、１０−２、…、１０−ｎ（ｎは例えば３以上の整数）を含む。

図４に示すように、本実施形態における管理システムでは、複数の作業員端末１０は、ネットワークＮＴＷを介して管理サーバ装置４０と通信可能に接続される。これにより、管理サーバ装置４０は、複数の作業員端末１０から後述する各種情報を受信（取得）することができる。

なお、図４においては省略されているが、管理サーバ装置４０と複数の製造装置２０の各々とがネットワークＮＴＷを介して通信可能に接続されていても構わない。このような構成の場合、管理サーバ装置４０は、製造装置２０の各々の状態を示す情報（以下、製造装置２０のステータス情報と表記）を当該製造装置２０から受信（収集）することができる。なお、ステータス情報によって示される状態には、例えば製品を製造中の状態、製品を製造する準備が完了している状態及び製品を製造する準備が完了していない状態等が含まれる。また、ステータス情報には、製造装置２０が操作されているか否かを示す情報等が含まれていてもよい。

図５は、作業員端末１０のシステム構成の一例を示す。図５に示すように、作業員端末１０は、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、ＧＰＳ（Global Positioning System）センサ１４、加速度センサ１５、気圧センサ１６及び通信モジュール１７等を備える。なお、図５においては、上記した図２及び図３等で説明した構成要素については省略されている。

ＣＰＵ１１は、作業員端末１０内の各構成要素の動作を制御するプロセッサ（処理回路）である。ＣＰＵ１１は、不揮発性メモリであるＲＯＭ１２からＲＡＭ（主メモリ）１３にロードされる各種ソフトウェア（作業員端末１０用プログラム）を実行する。

ＧＰＳセンサ１４は、ＧＰＳ衛星との通信を実行することによって作業員端末１０（を装着した作業員）の位置を検知することが可能なセンサである。

加速度センサ１５は、作業員端末１０（を装着した作業員）に対して生じる加速度を計測することが可能なセンサである。

気圧センサ１６は、作業員端末１０の周辺の気圧を計測することが可能なセンサである。なお、作業員端末１０は、このような気圧センサ１６によって計測される気圧（の変化）に基づいて、作業員端末１０を装着する作業員の高さ方向の位置を推定し、当該推定された作業員の高さ方向の位置を示す情報を得ることができる。

通信モジュール１７は、ネットワークＮＴＷを介して管理サーバ装置４０等と無線通信を実行するように構成されたモジュールである。通信モジュール１７は、例えばワークエリア１００に設けられているアクセスポイントを介して無線ＬＡＮ等の無線通信を実行する。

これにより、通信モジュール１７は、ＧＰＳセンサ１４によって検知された位置を示す情報（以下、作業員の位置情報と表記）、加速度センサ１５によって計測された加速度を示す情報（以下、作業員の加速度情報と表記）及び上記したように気圧センサ１６によって計測される気圧に基づいて得られる情報（以下、作業員の高さ情報と表記）を管理サーバ装置４０に送信することができる。

なお、通信モジュール１７は、例えばＷｉ−Ｆｉ（登録商標）、ＷｉＭＡＸ（登録商標）、３Ｇ移動通信、４Ｇ移動通信及びＢｌｕｅｔｏｏｔｈ（登録商標）等の規格による無線通信を実行するように構成されていてもよい。

図５には示されていないが、作業員端末１０は、マイク等を更に備え、例えばＶｏＩＰ（Voice over Internet Protocol）と称される技術等によって実現される音声通話機能を有しているものとする。この音声通話機能によれば、作業員は、作業員端末１０を介して例えば管理者と音声通話を行うことができる。

なお、作業員端末１０は、例えば各種アラートを作業員に対して通知するためのＬＥＤランプ（図示せず）等を更に備えていてもよい。

図６は、管理者端末３０のシステム構成の一例を示す。図６に示すように、管理者端末３０は、ＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３、通信モジュール３４及びディスプレイ３５等を備える。

ＣＰＵ３１は、管理者端末３０内の各構成要素の動作を制御するプロセッサ（処理回路）である。ＣＰＵ３１は、不揮発性メモリであるＲＯＭ３２からＲＡＭ（主メモリ）３３にロードされる各種ソフトウェア（管理者端末３０用プログラム）を実行する。

通信モジュール３４は、例えば管理サーバ装置４０等と無線通信を実行するように構成されたモジュールである。

ディスプレイ３５は、各種情報を表示するための表示装置である。ディスプレイ３５は、例えば液晶表示装置（ＬＣＤ）を含む。

また、図６には示されていないが、管理者端末３０は、作業員端末１０と同様に、例えば管理者が作業員と音声通話を行うことが可能な音声通話機能を有しているものとする。

なお、上記したように管理者端末３０がメガネ型ウェアラブル端末等である場合には、当該管理者端末３０は、ＧＰＳセンサ、加速度センサ及び気圧センサ等の各種センサを更に備えていてもよい。

図７は、管理サーバ装置４０の機能構成を示すブロック図である。図７に示すように、管理サーバ装置４０は、制御部４１、通信処理部４２、情報管理部４３、作業員情報格納部４４、装置情報格納部４５及び工程情報格納部４６を含む。

本実施形態において、制御部４１、通信処理部４２及び情報管理部４３の一部または全ては、例えば管理サーバ装置４０に備えられるＣＰＵ（図示せず）等のコンピュータにプログラム（管理サーバ装置４０用プログラム）を実行させること、すなわち、ソフトウェアによって実現されるものとする。なお、これらの各部４１〜４３の一部または全ては、ＩＣ（Integrated Circuit）等のハードウェアによって実現されてもよいし、ソフトウェア及びハードウェアの組み合わせ構成として実現されてもよい。なお、コンピュータに実行させるプログラムは、例えば管理サーバ装置４０に備えられる任意の記憶装置に格納されていればよい。

制御部４１は、管理サーバ装置４０の動作を制御する。制御部４１による制御のもと、管理サーバ装置４０は、作業員端末１０を装着した作業員及び製造装置２０による製品の製造工程等を管理することができる。

通信処理部４２は、作業員端末１０等との無線通信を実行する。通信処理部４２は、例えば上述した作業員の位置情報、加速度情報及び高さ情報等を作業員端末１０から受信する。

情報管理部４３は、作業員情報格納部４４、装置情報格納部４５及び工程情報格納部４６に格納されている各種情報を管理する。

作業員情報格納部４４には、ワークエリア１００において作業を行う作業員に関する情報（以下、作業員情報と表記）が格納されている。

装置情報格納部４５には、ワークエリア１００に設置されている製造装置２０に関する情報（以下、装置情報と表記）が格納されている。

工程情報格納部４６には、製造装置２０による製品の製造工程に関する情報（以下、工程情報と表記）が格納されている。

なお、本実施形態において、管理サーバ装置４０（に含まれる制御部４１）は、作業員端末１０から受信される各情報と、作業員情報格納部４４、装置情報格納部４５及び工程情報格納部４６に格納されている各情報とを用いて、ワークエリア１００において作業を行う作業員の状態を推定する。制御部４１によって推定された作業員の状態は、例えば通信処理部４２を介して例えば管理者端末３０等に通知（送信）される。

以下、図７に示す作業員情報格納部４４に格納されている作業員情報、装置情報格納部４５に格納されている装置情報及び工程情報格納部４６に格納されている工程情報について説明する。

図８は、作業員情報格納部４４に格納されている作業員情報のデータ構造の一例を示す。図８に示すように、作業員情報格納部４４に格納されている作業員情報には、作業員を識別するための作業員ＩＤに対応づけて当該作業員の位置を示す位置情報及び当該作業員のステータス（状態）が含まれている。

図８に示す例では、作業員情報格納部４４には、作業員情報４４１〜４４３が格納されている。

作業員情報４４１には、作業員ＩＤ「ＨＯ＿０００１」に対応づけて位置情報「Ｘｕ１，Ｙｕ１」及びステータス「作業中」が含まれている。この作業員情報４４１によれば、作業員ＩＤ「ＨＯ＿０００１」によって識別される作業員の位置が位置情報「Ｘｕ１，Ｙｕ１」によって示される位置であり、当該作業員が作業を行っている（つまり、作業中である）ことが示されている。なお、作業員が製造装置２０を操作するような作業をしているような場合、ステータスには、当該製造装置２０を識別するための識別子が含まれていてもよい。

なお、位置情報「Ｘｕ１，Ｙｕ１」は、ワークエリア１００内の所定の位置を原点とし、例えば東西方向の軸をＸ軸、南北方向の軸をＹ軸とした場合における、当該Ｘ軸及びＹ軸を含む平面（ＸＹ平面）上の位置を示すものとする。原点は、例えばワークエリア１００に設置されている主要な製造装置２０の位置または当該ワークエリア１００の隅等であってもよい。他の位置情報についても同様である。

作業員情報４４２には、作業員ＩＤ「ＨＯ＿０００２」に対応づけて位置情報「Ｘｕ２，Ｙｕ２」及びステータス「移動中」が含まれている。この作業員情報４４２によれば、作業員ＩＤ「ＨＯ＿０００２」によって識別される作業員の位置が位置情報「Ｘｕ２，Ｙｕ２」によって示される位置であり、当該作業員が移動している（つまり、移動中である）ことが示されている。

作業員情報４４３には、作業員ＩＤ「ＨＯ＿０００３」に対応づけて位置情報「Ｘｕ３，Ｙｕ３」及びステータス「待機中」が含まれている。この作業員情報４４３によれば、作業員ＩＤ「ＨＯ＿０００３」によって識別される作業員の位置が位置情報「Ｘｕ３，Ｙｕ３」によって示される位置であり、当該作業員が待機中であることが示されている。

なお、作業員情報４４１〜４４３に含まれる位置情報は、上述した作業員の位置情報を作業員端末１０から受信することによって、定期的に更新することができる。作業員情報４４１〜４４３に含まれるステータスは、作業員の位置情報及び上記した製造装置２０のステータス情報に基づいて定期的に更新することができる。具体的には、例えば位置情報によって示される作業員の位置の近傍にある製造装置２０が製品を製造中の状態である場合、ステータスを「作業中（例えば、当該製造装置２０を操作するような作業を行っている）」に更新することができる。作業員の位置の近傍にある製造装置２０は、後述する装置情報に含まれる位置情報を用いて特定（検索）することができる。また、定期的に更新される位置情報によって示される作業員の位置が順次移動している場合には、ステータスを「移動中」に更新することができる。更に、位置情報によって示される作業員の位置が所定の位置（例えば、待機場所）等であれば、ステータスを「待機中」に更新することができる。

なお、作業員情報に含まれるステータスは、例えば作業員端末１０において作業員によって指定された当該作業員の状態に応じて更新されても構わない。

図８においては、作業員情報４４１〜４４３についてのみ説明したが、作業員情報格納部４４には、ワークエリア１００において作業を行う全ての作業員に関する作業員情報が格納されている。また、ここでは作業員に関する作業員情報について説明したが、例えば管理者がワークエリア１００の見回りを行うような場合には、管理者の位置を示す位置情報（管理者に関する管理者情報）が管理サーバ装置４０において管理されてもよい。

図９は、装置情報格納部４５に格納されている装置情報のデータ構造の一例を示す。図９に示すように、装置情報格納部４５に格納されている装置情報には、製造装置２０を識別するための装置ＩＤに対応づけて当該製造装置２０の位置を示す位置情報及び当該製造装置２０に関する危険度（以下、装置危険度と表記）が含まれている。

図９に示す例では、装置情報格納部４５には、装置情報４５１〜４５３が格納されている。

装置情報４５１には、装置ＩＤ「Ｍ＿０００１」に対応づけて位置情報「Ｘｄ１，Ｙｄ１」及び装置危険度「５」が含まれている。この装置情報４５１によれば、装置ＩＤ「Ｍ＿０００１」によって識別される製造装置２０が位置情報「Ｘｄ１，Ｙｄ１」によって示される位置に設置されており、当該製造装置２０の装置危険度が５であることが示されている。

装置情報４５２には、装置ＩＤ「Ｍ＿０００２」に対応づけて位置情報「Ｘｄ２，Ｙｄ２」及び装置危険度「４」が含まれている。この装置情報４５２によれば、装置ＩＤ「Ｍ＿０００２」によって識別される製造装置２０が位置情報「Ｘｄ２，Ｙｄ２」によって示される位置に設置されており、当該製造装置２０の装置危険度が４であることが示されている。

装置情報４５３には、装置ＩＤ「Ｍ＿０００３」に対応づけて位置情報「Ｘｄ３，Ｙｄ３」及び装置危険度「１」が含まれている。この装置情報４５３によれば、装置ＩＤ「Ｍ＿０００３」によって識別される製造装置２０が位置情報「Ｘｄ３，Ｙｄ３」によって示される位置に設置されており、当該製造装置２０の装置危険度が１であることが示されている。

なお、装置情報に含まれる装置危険度は、例えば１〜５の数値によって表されるものとする。この場合、例えば装置危険度「１」が最も危険性が低い（つまり、最も安全である）ことを表し、装置危険度「５」が最も危険性が高い（つまり、最も危険である）ことを表す。装置危険度は、製造装置２０の動作等における危険度に加えて、当該製造装置２０の設置位置（例えば、高い位置に設置されている等）をも考慮して定められているものとする。

図９においては、装置情報４５１〜４５３についてのみ説明したが、装置情報格納部４５には、ワークエリア１００に設置されている全ての製造装置２０に関する装置情報が格納されている。

図１０は、工程情報格納部４６に格納されている工程情報のデータ構造の一例を示す。図１０に示すように、工程情報格納部４６に格納されている工程情報には、製造装置２０を識別するための装置ＩＤに対応づけて製造開始時刻、作業名及びステータスが含まれている。

製造開始時刻は、当該製造開始時刻に対応づけられている装置ＩＤによって識別される製造装置２０による製品の製造工程（以下、製造装置２０の製造工程と表記）の開始時刻を示す。作業名は、当該作業名に対応づけられている製造装置ＩＤによって識別される製造装置２０の製造工程において作業員が行う作業を示す。ステータスは、当該ステータスに対応づけられている装置ＩＤによって識別される製造装置２０の現在の状態を示す。なお、このステータスは、上述した各製品装置２０から受信される当該製造装置２０のステータス情報に基づいて定期的に更新されるものとする。

図１０に示す例では、工程情報格納部４６には、工程情報４６１〜４６４が格納されている。

工程情報４６１には、装置ＩＤ「Ｍ＿０００１」に対応づけて製造開始時刻「１０：００」、作業名「作業Ａ」及びステータス「製造中」が含まれている。この工程情報４６１によれば、製造装置ＩＤ「Ｍ＿０００１」によって識別される製造装置２０の製造工程の開始時刻が１０：００であり、当該製造工程において作業員が行う作業が作業Ａであり、当該製造装置２０が製品を製造中の状態であることが示されている。

工程情報４６２には、装置ＩＤ「Ｍ＿０００２」に対応づけて製造開始時刻「１０：３０」、作業名「作業Ｂ」及びステータス「準備完了」が含まれている。この工程情報４６２によれば、装置ＩＤ「Ｍ＿０００２」によって識別される製造装置２０の製造工程の開始時刻が１０：３０であり、当該製造工程において作業員が行う作業が作業Ｂであり、当該製造装置２０が製品を製造する準備が完了している状態である（つまり、当該製造の開始待ちである）ことが示されている。

工程情報４６３には、装置ＩＤ「Ｍ＿０００３」に対応づけて製造開始時刻「１１：３０」、作業名「作業Ｃ」及びステータス「準備未完了」が含まれている。この工程情報４６３によれば、装置ＩＤ「Ｍ＿０００３」によって識別される製造装置２０の製造工程の開始時刻が１１：３０であり、当該製造工程において作業員が行う作業が作業Ｃであり、当該製造装置２０が製品を製造する準備が完了していない状態であることが示されている。

工程情報４６４には、装置ＩＤ「Ｍ＿０００４」に対応づけて製造開始時刻「１２：３０」、作業名「作業Ｄ」及びステータス「準備未完了」が含まれている。この工程情報４６４によれば、装置ＩＤ「Ｍ＿０００４」によって識別される製造装置２０の製造工程の開始時刻が１２：３０であり、当該製造工程において作業員が行う作業が作業Ｄであり、当該製造装置２０が製品を製造する準備が完了していない状態であることが示されている。

図１０においては、工程情報４６１〜４６４についてのみ説明したが、工程情報格納部４６には、ワークエリア１００に設置されている全ての製造装置２０の製造工程に関する工程情報が格納されている。

以下、本実施形態に係る管理サーバ装置４０がワークエリア１００において作業を行う作業員の状態を推定する際の動作について説明する。

まず、作業員の状態を推定する処理（以下、状態推定処理と表記）の概要について説明する。

なお、本実施形態において、状態推定処理によって推定される作業員の状態には、例えば「危険」及び「安全」が含まれるものとする。「危険」は、作業員が危険な状態にあることを示す。「安全」は、作業員が安全な状態にあることを示す。

状態推定処理においては、図１１に示すように、作業員の位置情報（Ｘｕ，Ｙｕ）と、ワークエリア１００に設置されている各製造装置２０の位置情報（Ｘｄ，Ｙｄ）及び装置危険度（Ｒｄ）とに基づいて作業員の状態が推定される。

具体的には、例えば作業員の近傍に危険度の高い製造装置２０が設置されている場合には、作業員の状態が「危険」であると推定する。一方、作業員の近傍に製造装置２０が設置されていない場合、または当該作業員の近傍に設置されている製造装置２０の危険度が低い場合には、作業員の状態が「安全」であると推定する。

更に、状態推定処理においては、図１２に示すように作業員の高さ情報（Ｚｕ）を利用してもよい。なお、作業員の高さ情報（Ｚｕ）は、例えば図１に示すようにワークエリア１００の床面（作業フロア）を基準とした場合における作業員の高さ方向の位置を示す。この場合、上記したように作業員の近傍に危険度の高い製造装置２０が設置されており、かつ、当該作業員が高い場所にいる場合には、作業員の状態が「危険」であると推定する。一方、作業員の近傍に危険度の高い製造装置２０が設置されている場合であっても、当該作業員が高い場所にいない場合には、作業員の状態が「安全」であると推定する。

図１１及び図１２においては状態推定処理の概要について説明したが、以下、図１３に示すフローチャートを参照して、当該状態推定処理の処理手順の詳細について説明する。なお、図１３では、作業員の位置情報、各製造装置２０の位置情報及び装置危険度に加えて、作業員の高さ情報を利用して作業員の状態を推定する場合について説明する。図１３に示す処理は、管理サーバ装置４０によって実行される。

図１３に示す処理はワークエリア１００において作業を行う作業員の各々によって装着されている作業員端末１０毎に実行されるが、以下の説明においては、当該処理の対象となる作業員端末１０を便宜的に対象作業員端末１０と称する。同様に、対象作業員端末１０を装着する作業員を便宜的に対象作業員と称する。

まず、ワークエリア１００において作業を行う対象作業員によって装着されている対象作業員端末１０は、例えばＧＰＳセンサ１４、加速度センサ１５及び気圧センサ１６を継続的に駆動させることによって、対象作業員を識別するための作業員ＩＤとともに、対象作業員の位置情報、加速度情報及び高さ情報を定期的に管理サーバ装置４０に対して送信する。

これにより、管理サーバ装置４０に含まれる通信処理部４２は、対象作業員の位置情報、加速度情報及び高さ情報を対象作業員端末１０から受信する（ブロックＢ１）。

なお、ワークエリア１００に設置されている製造装置２０の各々は、当該製造装置２０の状態を示すステータス情報（製造装置２０のステータス情報）を定期的に管理サーバ装置４０に対して送信する。このように製造装置２０から定期的に送信される製造装置２０のステータス情報についても同様に通信処理部４２によって受信される。

通信処理部４２によって各種情報が受信された場合、情報管理部４３は、対象作業員の位置情報及び製造装置２０のステータス情報等に基づいて上記した作業員情報（に含まれる位置情報及びステータス）及び工程情報（に含まれるステータス）を更新する。

ブロックＢ１の処理が実行されると、制御部４１は、装置情報格納部４５に格納されている装置情報の各々に含まれる位置情報に基づいて、対象作業員の近傍に設置されている製造装置２０を特定する（ブロックＢ２）。

具体的には、制御部４１は、装置情報の各々に含まれる位置情報（第１の位置情報）によって示される位置と対象作業員の位置情報（第２の位置情報）によって示される位置との距離（対象作業員との距離）が予め定められた値（以下、第１の閾値と表記）以下であるか否かを判定し、当該距離が第１の閾値以下であると判定された製造装置２０を、対象作業員の近傍に設置されている製造装置２０として特定する。なお、対象作業員の近傍に設置されている製造装置２０が存在しない（つまり、対象作業員との距離が第１の閾値以下である製造装置２０が存在しない）場合には、対象作業員は安全な状態にあると推定されて、以降の処理は実行されないものとする。

以下の説明では、ブロックＢ２において特定された製造装置（つまり、対象作業員の近傍に設置されている製造装置）２０を便宜的に対象製造装置２０と称する。

制御部４１は、装置情報格納部４５に格納されている対象製造装置２０に関する装置情報に含まれる装置危険度（対象製造装置２０の装置危険度）を取得する（ブロックＢ３）。この場合、制御部４１は、対象製造装置２０を識別するための装置ＩＤに対応づけて装置情報に含まれている装置危険度を取得する。

次に、制御部４１は、ブロックＢ３において取得された対象製造装置２０の装置危険度が高いか否かを判定する（ブロックＢ４）。この場合、制御部４１は、対象製造装置２０の装置危険度が予め定められた値（以下、第２の閾値と表記）以上であるか否かを判定する。対象製造装置２０の装置危険度が第２の閾値以上であると判定される場合、対象製造装置２０の装置危険度が高いと判定される。一方、対象製造装置２０の装置危険度が第２の閾値以上でないと判定される場合、対象製造装置２０の装置危険度が高くないと判定される。

対象製造装置２０の装置危険度が高いと判定された場合（ブロックＢ４のＹＥＳ）、制御部４１は、対象作業員の高さ情報に基づいて、当該対象作業員が高い位置にいるか否かを判定する（ブロックＢ５）。この場合、制御部４１は、対象作業員の高さ情報によって示される対象作業員の高さ方向の位置（高さ）が予め定められた位置（高さ）よりも高いか否かを判定する。対象作業員の高さ方向の位置が予め定められた位置よりも高いと判定される場合、対象作業員が高い位置にいると判定される。一方、対象作業員の高さ方向の位置が予め定められた位置よりも高くないと判定された場合、対象作業員が高い位置にいないと判定される。

ここで、ブロックＢ１において受信された対象作業員の加速度情報によって示される加速度（の変化）に基づいて、例えば対象作業員が作業を行っている（つまり、作業中である）か否かを推定することができるものとする。

このため、対象作業員が高い位置にいると判定された場合（ブロックＢ５のＹＥＳ）、制御部４１は、ブロックＢ１において受信された対象作業員の加速度情報によって示される加速度に基づいて、当該対象作業員が作業中であるか否かを判定する（ブロックＢ６）。

対象作業員が作業中であると判定された場合（ブロックＢ６のＹＥＳ）、制御部４１は、対象作業員が危険な状態にある（つまり、対象作業員が危険な状態で作業を行っている）と推定する（ブロックＢ７）。この場合、対象作業員の状態として「危険」が管理サーバ装置４０内で保持される。

一方、ブロックＢ４において対象製造装置２０の装置危険度が高くないと判定された場合（ブロックＢ４のＮＯ）、対象作業員は危険な状態にない（つまり、安全な状態にある）と推定されて処理は終了される。この場合、対象作業員の状態として「安全」が管理サーバ装置４０内で保持される。ブロックＢ５において対象作業員が高い位置にいないと判定された場合（ブロックＢ５のＮＯ）及びブロックＢ６において対象作業員が作業中でないと判定された場合（ブロックＢ６のＮＯ）についても同様である。

このような図１３に示す処理が作業員端末１０毎に実行されることによって、管理サーバ装置４０内では、ワークエリア１００において作業を行う作業員の各々の状態（「危険」または「安全」）を管理することができる。図１３に示す処理は、上記したように各作業員の位置情報、加速度情報及び高さ情報が管理サーバ装置４０において受信される度に定期的に実行される。これにより、各作業員の状態は当該状態の変化に応じて更新される。

なお、図１３に示す処理においては、対象製造装置２０の装置危険度が高く、対象作業員が高い位置におり、かつ、対象作業員が作業中である場合に、対象作業員が危険な状態にあると推定されるものとして説明したが、例えばブロックＢ４〜Ｂ６の処理のうちの１つまたは２つの処理が省略されてもよいものとする。すなわち、例えばブロックＢ４の処理が省略される場合には、対象作業員が高い位置におり、かつ、対象作業員が作業中であれば、対象作業員が危険な状態にあると推定されてもよい。また、例えばブロックＢ５の処理が省略される場合には、対象製造装置２０の装置危険度が高く、かつ、対象作業員が作業中であれば、対象作業員が危険な状態にあると推定されてもよい。更に、例えばブロックＢ５及びＢ６の処理が省略される場合には、対象製造装置（つまり、対象作業員の近傍に設置されている製造装置）２０の装置危険度が高ければ、対象作業員が危険な状態にあると推定されてもよい。

また、ブロックＢ６の処理は作業員端末１０側で実行されても構わない。この場合、作業員端末１０において対象作業員の加速度情報によって示される加速度に基づいて対象作業員が作業中であるか否かを判定し、当該加速度情報の代わりに当該判定結果が作業員端末１０から管理サーバ装置４０に送信されればよい。

更に、例えば作業員端末１０が装置情報等を取得可能であれば、図１３に示す処理の全てが作業員端末１０側で実行され、作業員の状態の推定結果が管理サーバ装置４０等に出力される構成としてもよい。

また、対象作業員の加速度情報によって示される加速度に基づいて対象作業員が作業中であるか否かが判定されるものとして説明したが、作業（内容）によっては作業員端末１０（メガネ型ウェアラブル端末）に加速度が生じない場合があり、対象作業員が作業中であることを検知できない場合がある。このため、ブロックＢ６においては、例えば作業員情報格納部４４または工程情報格納部４６に格納されている情報（作業員情報及び工程情報）を利用して、対象作業員が作業中であるか否かを判定してもよい。具体的には、例えば対象作業員を識別するための作業員ＩＤに対応づけて作業員情報に含まれるステータスが作業中であることを示している場合に、対象作業員が作業中であると判定してもよい。また、例えば対象製造装置２０を識別するための装置ＩＤに対応づけて工程情報に含まれているステータスが製造中である（つまり、対象製造装置２０が操作されている）こと示している場合に、対象作業員が作業中であると判定してもよい。また、対象作業員の加速度情報、作業員情報及び工程情報に基づいて、対象作業員が作業中であるか否かを判定する構成としてもよい。

ここで、本実施形態においては、例えば「危険」と推定された作業員（つまり、危険な状態にある作業員）によって装着される作業員端末１０及び管理者端末３０に対して、当該状態に応じた通知が出力されるものとする。

以下、図１４のフローチャートを参照して、作業員端末１０及び管理者端末３０に対して通知を出力する際の管理サーバ装置４０の処理手順について説明する。

まず、管理者は、作業員端末１０及び管理者端末３０（が有する音声通話機能）を利用して、例えば作業の割り当て、作業内容の確認及び変更等の各作業員に対する指示を音声通話（電話）によって行うことができる。この場合、管理者は、この指示の対象となる作業員（が装着する作業員端末１０）に対して発呼するための操作（以下、発呼操作と表記）を、管理者端末３０に対して行う。なお、発呼操作には、例えば管理者端末３０において作業員に対して発呼するための画面を表示する操作、または当該画面上で作業員に対して発呼するためのボタンを押下する操作等が含まれる。以下、図１４の説明においては、発呼操作によって管理者が発呼しようとする作業員を対象作業員と称する。

管理者端末３０に対して発呼操作が行われた場合、当該管理者端末３０は、管理サーバ装置４０に対して問い合わせを送信する。この問い合わせには、対象作業員を識別するための作業員ＩＤが含まれる。

管理サーバ装置４０に含まれる通信処理部４２は、管理者端末３０によって送信された問い合わせを受信する（ブロックＢ１１）。

次に、制御部４１は、上記した図１３に示す処理が実行されることによって管理サーバ装置４０内で管理されている作業員の各々の状態に基づいて、ブロックＢ１１において受信された問い合わせに含まれる作業員ＩＤによって識別される対象作業員の状態が「危険」であるか否かを判定する（ブロックＢ１２）。

対象作業員の状態が「危険」であると判定された場合（ブロックＢ１２のＹＥＳ）、制御部４１は、ブロックＢ１１において受信された問い合わせに対する応答として、対象作業員の状態が「危険」であることを含む通知を管理者端末３０に出力する（ブロックＢ１３）。

この場合、管理者端末３０のディスプレイ３５には、制御部４１によって出力された通知が表示される。具体的には、管理者端末３０のディスプレイ３５には、例えば対象作業員の状態が「危険」であることにより、対象作業員に発呼すべきではない（または対象作業員が着呼に対して応答することができない）ことを表すメッセージ等が表示される。

このようなメッセージが管理者端末３０のディスプレイ３５に表示された場合には、管理者は対象作業員に対して発呼することを中止し、例えば所定の時間が経過した後に再度発呼操作を行うことが好ましい。

上記したようにブロックＢ１３の処理が実行された場合には管理者による発呼は中止されるが、制御部４１は、発呼は中止されたものの発呼操作が管理者によって行われた（発呼操作が管理者端末３０に対して行われた）ことを含む通知を作業員端末１０に出力する（ブロックＢ１４）。

この場合、作業員端末１０のディスプレイ（レンズ一体型スクリーン１００２）には、制御部４１によって出力された通知が表示される。具体的には、作業員端末１０のディスプレイには、管理者によって発呼操作が行われたこと（つまり、管理者が対象作業員に対して発呼しようとしていたこと）を表すメッセージやマーク等が表示される。このメッセージやマーク等は、作業員端末１０を装着する対象作業員の視界を確保するために、図１５に示すようにレンズ一体型スクリーン１００２の一部の領域１１００等に表示されるものとする。図１５に示す領域１１００はレンズ一体型スクリーン１００２の上部に配置されているが、対象作業員の視界を確保することができるのであれば、領域１１００は当該レンズ一体型スクリーン１００２の他の位置（例えば、下部等）に設けられていてもよい。

管理者によって発呼操作が行われたことは、作業員端末１０に備えられるＬＥＤランプを点灯させる等によって作業員に通知されてもよい。

なお、本実施形態においては、対象作業員の状態が「危険」であるときに管理者からの着呼があった場合には、例えば当該着呼に応答しようとして思わぬ事故が生じる可能性があるという観点に基づいて、対象作業員の状態が「危険」である場合には管理者による発呼を中止するように促す。一方、対象作業員の状態が「危険」である場合に作業員端末１０のディスプレイにメッセージ等を表示した場合であっても、当該メッセージを確認しようとして思わぬ事故が生じる可能性がある。このため、このようなメッセージ等は、例えば対象作業員の状態が「危険」から「安全」に更新された（つまり、対象作業員が危険であるという状態が解消された）後に表示されるようにしてもよい。

また、本実施形態においては上記したように対象作業員の状態が「危険」である場合に管理者による発呼を中止するように促すが、これに反して管理者が対象作業員に対して発呼する場合もあり得る。この場合には、対象作業員の危険防止（安全確保）のために管理者によって発呼された際の作業員端末１０における呼出音（着信音）が出力されない（つまり、音が鳴らない）ようにしてもよい。このような構成では、対象作業員は着呼に気づかない場合が多いため、例えば対象作業員の状態が「危険」から「安全」に更新された際に、作業員端末１０における着呼履歴が当該作業員端末１０のディスプレイに表示されるようにしてもよい。

更に、対象作業員の状態が「危険」である場合には、例えば管理サーバ装置４０による制御のもと、対象作業員が装着する作業員端末１０における着呼が強制的に拒否されるようにしてもよい。

なお、図１４に示す処理においては、管理者によって発呼操作が行われたことを含む通知が作業員端末１０に出力される（つまり、管理者によって発呼操作が行われたことが作業員に通知される）ものとして主に説明したが、例えば作業員が危険な状態にあることが作業員に通知されても構わない。この場合、例えば作業員の近傍に設置されている製造装置２０の装置危険度が高いこと等を作業員に通知することができる。

また、例えば作業員端末１０から定期的に送信される作業員の位置情報に基づいて当該作業員が移動していると判定され、かつ、当該作業員の近傍に危険な通路または場所等がある場合には、当該危険な通路または場所の存在等を作業員に通知するようにしてもよい。更に、作業用の車両等がワークエリア１００内を走行している場合には、当該車両に備えられたＧＰＳセンサによって検知された当該車両の位置に基づいて、当該車両が作業員に接近していること等を作業員に通知してもよい。この場合、作業員と車両との距離等が併せて通知されてもよい。

更に、作業員が危険な状態にあること以外にも、例えば作業員の近傍に設置されている製造装置の状態（例えば、試運転中であることや休止中であること等）が作業員に通知されても構わない。

上記したように本実施形態においては、作業員端末（メガネ型ウェアラブル端末）１０を装着してワークエリア１００において作業を行う作業員（ユーザ）の位置を示す位置情報（第２の位置情報）を当該作業員端末１０から受信し、装置情報格納部４５に格納されている装置情報に含まれる位置情報（第１の位置情報）及び危険度と、当該受信された位置情報とに基づいて、作業員の状態を推定する。

具体的には、例えば作業員端末１０（を装着する作業員）の近傍に設置されている製造装置２０の装置危険度が予め定められた値（第２の閾値）以上であると判定された場合には、作業員が危険な状態にあると推定することができる。

この場合における作業員端末１０から受信される位置情報は、当該作業員端末１０に備えられるＧＰＳセンサ１４によって検知された位置を示すものとする。なお、作業員（によって装着される作業員端末１０）の位置は、例えばワークエリア１００に設けられている複数のアクセスポイントのうち作業員端末１０と通信可能なアクセスポイントの位置等に基づいて推定されても構わない。

本実施形態においては、このような構成により、例えば各作業員の状態を管理者が確認する必要がないため、当該管理者の負担を軽減することができる。

また、本実施形態においては、作業員が高い位置にいる（作業員の高さ方向の位置が予め定められた位置よりも高い）と更に判定された場合に作業員が危険な状態にあると推定する構成とすることも可能である。また、作業員が作業中であると更に判定された場合に作業員が危険な状態にあると推定する構成とすることも可能である。このような構成によれば、より正確に作業員の状態（作業員が危険な状態にあること）を推定することができる。

なお、作業員の高さ方向の位置は、作業員端末１０に備えられる気圧センサ１６によって計測された気圧（の変化）に基づいて推定されるが、例えばワークエリア１００に設けられたカメラによって撮影された作業員を含む画像または作業員端末１０に備えられるカメラ１００３によって撮影された作業員の周辺の画像に基づいて推定されてもよい。また、作業員が作業中であるか否かは、作業員端末１０に備えられる加速度センサ１５によって計測された加速度を用いて判定されてもよいし、装置情報に含まれる製造装置２０の位置情報、作業員端末１０から受信された作業員の位置情報及び製造装置２０から受信されたステータス情報等を用いて判定されてもよい。

更に、本実施形態においては、作業員に対して発呼するための操作（発呼操作）が管理者端末３０に対して行われた場合、作業員が危険な状態にあることを含む通知が当該管理者端末３０に出力される。本実施形態においては、このような構成により、管理者は危険な状態にある作業員に対する発呼を中止することができるため、作業員は管理者からの発呼に対応する着呼等に気をとられることなく作業（危険な作業）に専念することができる。これによれば、作業員の安全を確保することができると共に、当該作業員の作業効率及び製造装置２０の稼働率等を向上させることができる。なお、作業員が危険な状態にあることを含む通知は、例えば作業員が危険な状態にあることが推定された時点で管理者端末３０に出力されても構わない。

また、本実施形態においては、発呼操作が管理者端末３０に対して行われたこと（つまり、管理者が発呼しようとしていたこと）が作業員（によって装着される作業員端末１０）に通知される。本実施形態においては、このような構成により、例えば危険な作業が終了した後に作業員から管理者に対して発呼する（電話を掛ける）ことができるため、管理者から作業員への指示（連絡）等を効率的に行うことが可能となる。

なお、本実施形態においては、作業員端末１０としてメガネ型ウェアラブル端末を使用することにより、作業員は、ハンズフリーで作業を行うことが可能である。一方、本実施形態における作業員端末１０は、作業員の位置情報、加速度情報及び高さ情報を管理サーバ装置４０に対して提供（送信）することができるものであればよいため、例えばリストバンド型等の他の形状のウェアラブルデバイスであっても構わない。更に、作業員端末１０は、作業員によって所持されるスマートフォンのようなモバイルデバイスであってもよい。

更に、作業員端末（メガネ型ウェアラブル端末）１０を装着する作業員がスマートフォン等のモバイルデバイスを所持している場合には、例えば作業員端末１０とスマートフォンとを連携させるような構成とすることも可能である。具体的には、作業員端末１０とスマートフォンとを例えばＢｌｕｅｔｏｏｔｈ等により通信可能に接続し、スマートフォンに備えられるＧＰＳセンサによって検知された位置を示す位置情報を作業員端末１０がスマートフォンから受信して利用するようにしてもよい。

また、スマートフォンに備えられるカメラによって撮影された画像を作業員端末１０に送信することによって、当該画像が作業員端末１０のディスプレイに表示されるようにしてもよい。

更に、スマートフォンに備えられている作業員の歩数を計測する機能等により作業員が移動している等の状態を検知して、当該検知された状態を管理サーバ装置４０に送信するような構成としてもよい。

また、作業員端末１０が音声通話機能を有していない構成である場合には、スマートフォンが有する音声通話機能を利用して、作業員と管理者との音声通話が行われても構わない。

このように作業員端末１０とスマートフォンとを連携させた場合には、当該スマートフォンが有する各種機能を利用することが可能となる。

（第２の実施形態）
次に、第２の実施形態について説明する。本実施形態における管理システムが使用される環境、当該管理システムのネットワーク構成、作業員端末、管理者端末及び管理サーバ装置の各構成等については、前述した第１の実施形態と同様であるため、ここではその詳しい説明を省略する。なお、以下においては、適宜、図１〜図７を用いて説明する。本実施形態においては、前述した第１の実施形態と異なる部分について主に説明する。

本実施形態においては、管理サーバ装置４０に含まれる装置情報格納部４５に格納されている装置情報のデータ構造が前述した第１の実施形態とは異なる。

図１６は、本実施形態における装置情報格納部４５に格納されている装置情報のデータ構造の一例を示す。図１６に示すように、装置情報格納部４５に格納されている装置情報には、装置ＩＤに対応づけて位置情報、装置危険度、作業名及び作業危険度が含まれている。装置ＩＤ、位置情報及び装置危険度については、前述した図９において説明した通りであるため、その詳しい説明を省略する。

作業名は、当該作業名に対応づけられている装置ＩＤによって識別される製造装置２０の製造工程において作業員が行う作業を示す。この装置情報に含まれる作業名は、前述した図１０に示す工程情報に含まれる作業名によって示される作業を更に細分化した作業を示す。このため、図１６に示す装置情報においては、１つの装置ＩＤに対応づけて複数の作業名が対応づけられている。

作業危険度は、当該作業危険度に対応づけられている作業名によって示される作業（内容）に関する危険度を示す。

図１６に示す例では、装置情報格納部４５には、装置情報４５１ａ、４５２ａ及び４５３ａが格納されている。なお、装置情報４５１ａは、装置ＩＤ「Ｍ＿０００１」によって識別される製造装置２０に関する情報である。装置情報４５２ａは、装置ＩＤ「Ｍ＿０００２」によって識別される製造装置２０に関する情報である。装置情報４５３ａは、装置ＩＤ「Ｍ＿０００３」によって識別される製造装置２０に関する情報である。

装置情報４５１ａには、装置ＩＤ「Ｍ＿０００１」に対応づけて作業名「作業Ａ１」、「作業Ａ２」及び「作業Ａ３」が含まれている。この作業名「作業Ａ１」〜「作業Ａ３」の各々によって示される作業は、上述した図１０において説明した装置ＩＤ「Ｍ＿０００１」によって識別される製造装置２０の製造工程において作業員が行う作業Ａを細分化したときの各作業に相当する。また、装置情報４５１ａには、作業名「作業Ａ１」、「作業Ａ２」及び「作業Ａ３」に対応づけて作業危険度「１」、「３」及び「５」がそれぞれ含まれている。この装置情報４５１ａによれば、作業名「作業Ａ１」によって示される作業に関する危険度が１であり、作業名「作業Ａ２」によって示される作業に関する危険度が３であり、作業名「作業Ａ３」によって示される作業に関する危険度が５であることが示されている。

装置情報４５２ａには、装置ＩＤ「Ｍ＿０００２」に対応づけて作業名「作業Ｂ１」及び「作業Ｂ２」が含まれている。この作業名「作業Ｂ１」及び「作業Ｂ２」の各々によって示される作業は、上述した図１０において説明した装置ＩＤ「Ｍ＿０００２」によって識別される製造装置２０の製造工程において作業員が行う作業Ｂを細分化したときの各作業に相当する。また、装置情報４５２ａには、作業名「作業Ｂ１」及び「作業Ｂ２」に対応づけて作業危険度「２」及び「４」がそれぞれ含まれている。この装置情報４５２ａによれば、作業名「作業Ｂ１」によって示される作業に関する危険度が２であり、作業名「作業Ｂ２」によって示される作業に関する危険度が４であることが示されている。

装置情報４５３ａには、装置ＩＤ「Ｍ＿０００３」に対応づけて作業名「作業Ｃ１」が含まれている。なお、上述した図１０において説明した装置ＩＤ「Ｍ＿０００３」によって識別される製造装置２０の製造工程において作業員が行う作業Ｃは細分化することができない作業であるものとする。このため、装置情報４５３ａにおいて、装置ＩＤ「Ｍ＿０００３」には１つの作業名のみが対応づけられている。この場合、図１０に示す工程情報４６３に含まれる作業名「作業Ｃ」と装置情報４５３ａに含まれる作業名「作業Ｃ１」とは同一の作業を示す。この装置情報４５３ａには、作業名「作業Ｃ１」に対応づけて作業危険度「１」が含まれている。この装置情報４５３ａによれば、作業名「作業Ｃ１」によって示される作業に関する危険度が１であることが示されている。

本実施形態においては、上記した作業危険度を用いて作業員の状態（「危険」または「安全」）が推定される。

以下、図１７に示すフローチャートを参照して、本実施形態における状態推定処理の処理手順について説明する。

まず、前述した図１３に示すブロックＢ１〜Ｂ６の処理に相当するブロックＢ２１〜Ｂ２６の処理が実行される。

ここで、ブロックＢ２６においてはブロックＢ２１において受信された対象作業員の加速度情報によって示される加速度（の変化）に基づいて対象作業員が作業中であるか否かが判定されるが、特定の作業時には特定の振動（加速度）が対象作業員に生じる場合があり、当該加速度に基づいて対象作業員が作業中である作業（内容）を特定（推定）することができる場合がある。なお、各作業において生じる加速度（のパターン）については予め管理サーバ装置４０内で保持されているものとする。

このため、ブロックＢ２６において対象作業員が作業中であると判定された場合（ブロックＢ２６のＹＥＳ）、制御部４１は、上記したように特定された作業を示す作業名に対応づけて装置情報に含まれる作業危険度（対象製造装置２０の作業危険度）を取得する（ブロックＢ２７）。

次に、制御部４１は、ブロックＢ２７において取得された対象製造装置２０の作業危険度が高いか否かを判定する（ブロックＢ２８）。この場合、制御部４１は、対象製造装置２０の作業危険度が予め定められた値（以下、第３の閾値と表記）以上であるか否かを判定する。対象製造装置２０の作業危険度が第３の閾値以上であると判定される場合、対象製造装置２０の作業危険度が高いと判定される。一方、対象製造装置２０の作業危険度が第３の閾値以上でないと判定される場合、対象製造装置２０の作業危険度が高くないと判定される。

対象製造装置２０の作業危険度が高いと判定された場合（ブロックＢ２８のＹＥＳ）、前述した図１３に示すブロックＢ７の処理に相当するブロックＢ２９の処理が実行される。

一方、ブロックＢ２８において対象製造装置２０の作業危険度が高くないと判定された場合（ブロックＢ２８のＮＯ）、対象作業員は危険な状態にない（つまり、安全な状態にある）と推定されて処理は終了される。

このように図１７に示す処理においては、対象作業員の近傍に危険度の高い製造装置２０が設置されており、かつ、対象作業員が高い位置で危険な作業を行っている場合に、当該対象作業員が危険な状態にあると推定される。なお、ブロックＢ２４〜Ｂ２６及びＢ２８の処理のうちの少なくとも１つが省略されるような構成であってもよい。ブロックＢ２８の処理が省略される場合には、ブロックＢ２７の処理も省略されるものとする。

また、ブロックＢ２７の処理時においては、例えば作業員情報格納部４４または工程情報格納部４６に格納されている情報（作業員情報または工程情報）を利用して、対象作業員が作業中である作業（内容）が推定されても構わない。具体的には、対象作業員に関する作業員情報に含まれるステータスが「作業中」である場合であって、例えば対象製造装置２０を識別するための装置ＩＤに対応づけて工程情報に含まれるステータスが「製造中」である場合には、当該工程情報に含まれる作業名によって示される作業が対象作業員が作業中の作業であると特定（推定）することができる。

また、対象製造装置２０から受信されるステータス情報が当該対象製造装置２０に対して行われている操作（内容）を含むものであれば、当該操作等から対象作業員の作業内容を特定することが可能な場合がある。このため、各製造装置２０が、当該製造装置２０に対して行われている操作を含むステータス情報を管理サーバ装置４０に送信するような構成としてもよい。また、各製造装置２０が、当該製造装置２０に対して行われている操作や当該製造装置２０の稼働状態等に応じて現在行われていると推察される作業名等を含むステータス情報を管理サーバ装置４０に送信するような構成としてもよい。

なお、本実施形態においては詳細な説明を省略するが、上記した図１７に示す処理が実行されることによって各作業員の状態が推定された後に、管理者が作業員に対する発呼操作を管理者端末３０において行う場合には、前述した図１４において説明した処理が実行される。

上記したように本実施形態においては、前述した第１の実施形態と比較して、作業員が行っている作業に関する危険度が予め定められた値（第３の閾値）以上であると更に判定された場合に、作業員が危険な状態にあると推定される。

ここで、例えば作業員が装置危険度が高い製造装置２０の近傍で作業を行っている（当該製造装置２０に対して作業を行っている）場合であっても、当該製造装置２０の製造工程の進捗状況によっては、現在の作業に関する危険度は高くない場合がある。

本実施形態においては、上記したように作業危険度を用いるにより、作業員が行っている作業に関する危険度が高くない（つまり、着呼に応答することができる状態である）にもかかわらず管理者に発呼を中止させてしまう（管理者が電話しないようにする）ことを回避することができる。これにより、第１の実施形態と比較して、管理者から作業員への指示（連絡）をより円滑に行うことができる。

（第３の実施形態）
次に、第３の実施形態について説明する。本実施形態においては、メガネ型ウェアラブル端末である作業員端末１０が図１８に示すように視線検出センサ１８を備える点が前述した第２の実施形態とは異なる。

視線検出センサ１８は、例えば眼電位センシング技術を用いたセンサであり、作業員端末１０（眼の周囲）に付けられた複数の電極により、眼球の動きによって変化する、眼球の角膜側と網膜側との間に生じている電位差（電圧の変化）を計測する。

作業員端末１０は、このような視線検出センサ１８を利用することによって、当該視線検出センサ１８によって計測された電位差に基づいて作業員のまばたきの回数及び視線の角度（方向）等を得ることができる。

作業員端末１０によって得られたまばたきの回数及び視線の角度等を含む情報（以下、視線情報と表記）は、他の情報（位置情報、加速度情報及び高さ情報）とともに通信モジュール１７を介して管理サーバ装置４０に送信される。

本実施形態においては、この視線情報を用いて作業員の状態（「危険」または「安全」）が推定される。

以下、図１９に示すフローチャートを参照して、本実施形態における状態推定処理の処理手順について説明する。

まず、管理サーバ装置４０に含まれる通信処理部４２は、対象作業員の位置情報、加速度情報、高さ情報及び視線情報を対象作業員端末１０から受信する（ブロックＢ３１）。通信処理部４２によって受信された視線情報には、上記したように対象作業員のまばたきの回数及び視線の角度が含まれる。

次に、前述した図１７に示すブロックＢ２２〜ブロックＢ２８の処理に相当するブロックＢ３２〜Ｂ３８の処理が実行される。

ここで、対象作業員が危険な状態にある（と感じている）場合には、当該対象作業員は緊張状態にある場合が多い。また、緊張状態にある人間は、一般的にまばたきの回数が増加する傾向にある。このため、本実施形態においては、ブロックＢ３１において受信された視線情報を対象作業員が緊張状態にあるか否かを判定するために用いる。

ブロックＢ３８において対象製造装置２０の作業危険度が高いと判定された場合（ブロックＢ３８）、制御部４１は、ブロックＢ３１において受信された視線情報に基づいて対象作業員が緊張状態にあるか否かを判定する（ブロックＢ３９）。この場合、制御部４１は、視線情報に含まれる対象作業員のまばたきの回数が予め定められた値（以下、第４の閾値と表記）以上であるか否かを判定する。対象作業員のまばたき回数が第４の閾値以上であると判定される場合、対象作業員が緊張状態にあると判定される。一方、対象作業員のまばたきの回数が第４の閾値以上でないと判定される場合、対象作業員が緊張状態にないと判定される。

なお、第４の閾値は、例えば通常時における対象作業員のまばたきの回数等から定められた値であり、予め管理サーバ装置４０内に保持されているものとする。

また、緊張状態にある人間は、視線の動き（角度の変化）にも特徴がある場合がある。このため、上記したブロックＢ３９においては、ブロックＢ３１において受信された視線情報に含まれる視線の角度を考慮した処理が実行されても構わない。

対象作業員が緊張状態にあると判定された場合（ブロックＢ３９のＹＥＳ）、前述した図１７に示すブロックＢ２９の処理に相当するブロックＢ４０の処理が実行される。

一方、対象作業員が緊張状態にないと判定された場合（ブロックＢ３９のＮＯ）、対象作業員は危険な状態にない（つまり、安全な状態にある）と推定されて処理は終了される。

このように図１９に示す処理においては、対象作業員の近傍に危険度の高い製造装置２０が設置されており、かつ、対象作業員が高い位置で危険な作業を行っており、かつ、対象作業員が緊張状態にある場合に、当該対象作業員が危険な状態にあると推定される。なお、ブロックＢ３４〜Ｂ３６、Ｂ３８及びＢ３９の処理のうちの少なくとも１つが省略されるような構成であってもよい。

なお、本実施形態においては詳細な説明を省略するが、上記した図１９に示す処理が実行されることによって各作業員の状態が推定された後に、管理者が作業員に対する発呼操作を管理者端末３０において行う場合には、前述した図１４において説明した処理が実行される。

上記したように本実施形態においては、前述した第２の実施形態と比較して、作業員のまばたきの回数が予め定められた値（第４の閾値）以上であると更に判定された場合に、作業員が危険な状態にあると推定される。

本実施形態においては、このような構成により、例えば作業員が緊張状態にある等の管理者による発呼に対応する着呼に応答することができないまたは着呼に応答することによって事故等が生じる可能性が高い（と推測される）場合にのみ作業員が危険な状態にあると推定するため、不必要に管理者から作業員への発呼を中止させることを抑制することが可能となる。

なお、本実施形態における視線検出センサ１８は眼電位センシング技術を用いたセンサ（眼電位センサ）であるものとして説明したが、視線検出センサ１８は、上記した作業員のまばたきの回数及び視線の角度等を得ることができるセンサであれば他のセンサであっても構わない。具体的には、例えば作業員の眼球運動を撮影することが可能なカメラ（赤外線カメラ及び可視光カメラ等）が視線検出センサ１８として用いられても構わない。

また、本実施形態において視線検出センサ１８を用いて得られる視線情報（まばたきの回数及び視線の角度等）は、作業員端末１０を操作するために利用されても構わない。すなわち、作業員端末１０は、作業員のまばたきの回数及び視線の角度（方向）等によって操作可能なように構成されていても構わない。

以上説明した少なくとも１つの実施形態によれば、予め定められた範囲内において作業を行う作業員（ユーザ）の状態を推定することが可能な電子機器及び方法を提供することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１０…作業員端末（ユーザ端末）、１１…ＣＰＵ、１２…ＲＯＭ、１３…ＲＡＭ、１４…ＧＰＳセンサ、１５…加速度センサ、１６…気圧センサ、１７…通信モジュール、１８…視線検出センサ、２０…製造装置、３０…管理者端末、３１…ＣＰＵ、３２…ＲＯＭ、３３…ＲＡＭ、３４…通信モジュール、３５…ディスプレイ、４０…管理サーバ装置、４１…制御部、４２…通信処理部、４３…情報管理部、４４…作業員情報格納部、４５…装置情報格納部、４６…工程情報格納部。

Claims (4)

1. ユーザによって装着されるウェアラブル端末において、
   前記ユーザの周辺の画像を撮影するためのカメラと、
   前記カメラによって撮影された画像に基づく前記ユーザの状況に対応して前記ユーザに通知する付加画像を表示する付加画像表示部と、
   前記付加画像の虚像を形成する手段と
   を具備するウェアラブル端末。
2. ユーザによって装着される、当該ユーザの周辺の画像を撮影するためのカメラと付加画像表示部とを備えるウェアラブル端末が実行する方法であって、
   前記カメラによって撮影された画像に基づく前記ユーザの状況に対応して前記ユーザに通知する付加画像を前記付加画像表示部に表示するステップと、
   前記付加画像の虚像を形成するステップと
   を具備する方法。
3. ユーザによって装着されるウェアラブル端末において、
   前記ユーザの周辺の画像を撮影するためのカメラと、
   前記カメラによって撮影された画像に基づいて前記ユーザの状況を推定する推定手段と、
   前記推定された結果に対する虚像を、前記ウェアラブル端末を装着したユーザによって視認される位置に形成するスクリーンと
   を具備するウェアラブル端末。
4. ユーザによって装着される、当該ユーザの周辺の画像を撮影するためのカメラとスクリーンとを備えるウェアラブル端末が実行する方法であって、
   前記カメラによって撮影された画像に基づいて前記ユーザの状況を推定するステップと、
   前記推定された結果に対する虚像を、前記スクリーン上の前記ウェアラブル端末を装着したユーザによって視認される位置に形成するステップと
   を具備する方法。

Images