JP7412265B2 - 動作評価システム、動作評価装置、および動作評価方法 - Google Patents

Description

本発明は、動作評価システム、動作評価装置、および動作評価方法に関する。

行動中の者に対し、必要な情報を適宜に提供するための各種技術が提案されている。例えば、情報の種類、ユーザの行動、周囲の状況等に基づいて情報を調整し、調整された情報をユーザに提示することを目的とした以下の技術が提案されている。
すなわち、様々な情報源から情報を獲得する情報獲得モジュールと、情報の量を単位期間取得情報量になるように調整する情報量調整モジュールを備え、情報提示タイミング調整モジュールは、行動監視モジュールから通知されるユーザの行動に合わせてタイミングを調整し、情報出力モジュールは、調整された情報を調整されたタイミングでユーザに提示する技術（特許文献１参照）である。

また、情報源から情報を収集しあるいはユーザに送られてくる情報を受け取りユーザに提示することを目的として、情報保持部に保持された情報の先頭から、情報の重要度と情報の提示期限とを、それぞれ重要度判定部と提示期限判定部とで判定し、ユーザが入力した多忙度と時計から各時間での多忙度を多忙度推定部で推定し、判定結果と多忙度より、前記情報を情報提示判定部で情報提示部に提示すべき時間か否か判断し、提示すべき情報を情報提示部で提示する技術（特許文献２参照）も提案されている。

特開２０００－９９４４１号公報 特開平８－２４１２５６号公報

ところで、上述のような情報提供を行うケースとして、作業中やトレーニング中の者に関して、好ましくない動作や姿勢（以下、まとめて“動作”）を認識し、その改善を促すための情報提供を行う場合がある。
こうしたケースに従来技術を適用する場合、一連の作業やトレーニングの終了後に情報提示がなされることになる。しかしながら、作業やトレーニングを行う者からすれば、当該情報で改善を示唆された動作が、どの時点の動作であったか直感的に認識することは難しい。したがって、情報提示を行っても、その対象者に十分理解されず、動作改善の効果が十分に得られないという課題がある。

そこで本発明の目的は、動作中の者に対し、動作改善の適宜な情報を効率良く伝達可能とする技術を提供することにある。

上記課題を解決する本発明の動作評価システムは、ユーザの動作を観測するセンサと通信を行う通信装置と、前記動作の各種状態を規定した基準情報と、前記動作の改善示唆の各種情報を格納する記憶装置と、前記センサによる前記ユーザの観測で得られた動作データを、前記通信装置を介して取得し、当該動作データを、前記基準情報のうち動作の適正性に関する情報に照合して、前記ユーザの動作の状態を判定し、前記動作のうち改善すべき状態の動作を改善点として特定する処理、前記改善点の動作以降における前記動作データを、前記基準情報のうちユーザの多忙度に関する情報に照合して、前記ユーザの多忙度
を特定する処理、および、前記改善点および前記多忙度の各状況に応じて予め定めたルールに基づき、前記改善点に関する改善示唆の情報として、複数回それぞれに異なる内容の情報を前記記憶装置から抽出し、当該情報を前記ユーザ向けの情報提示装置に出力する処理、を実行する演算装置と、を備える情報処理装置を含むことを特徴とする。
また、本発明の動作評価装置は、ユーザの動作を観測するセンサと通信を行う通信装置と、前記動作の各種状態を規定した基準情報と、前記動作の改善示唆の各種情報を格納する記憶装置と、前記センサによる前記ユーザの観測で得られた動作データを、前記通信装置を介して取得し、当該動作データを、前記基準情報のうち動作の適正性に関する情報に照合して、前記ユーザの動作の状態を判定し、前記動作のうち改善すべき状態の動作を改善点として特定する処理、前記改善点の動作以降における前記動作データを、前記基準情報のうちユーザの多忙度に関する情報に照合して、前記ユーザの多忙度を特定する処理、および、前記改善点および前記多忙度の各状況に応じて予め定めたルールに基づき、前記改善点に関する改善示唆の情報として、複数回それぞれに異なる内容の情報を前記記憶装置から抽出し、当該情報を前記ユーザ向けの情報提示装置に出力する処理、を実行する演算装置と、を備えることを特徴とする。

また、本発明の動作評価方法は、情報処理装置が、ユーザの動作を観測するセンサと通信を行う通信装置と、前記動作の各種状態を規定した基準情報と、前記動作の改善示唆の各種情報を格納する記憶装置を備えて、前記センサによる前記ユーザの観測で得られた動作データを、前記通信装置を介して取得し、当該動作データを、前記基準情報のうち動作の適正性に関する情報に照合して、前記ユーザの動作の状態を判定し、前記動作のうち改善すべき状態の動作を改善点として特定する処理、前記改善点の動作以降における前記動作データを、前記基準情報のうちユーザの多忙度に関する情報に照合して、前記ユーザの多忙度を特定する処理、および、前記改善点および前記多忙度の各状況に応じて予め定めたルールに基づき、前記改善点に関する改善示唆の情報として、複数回それぞれに異なる内容の情報を前記記憶装置から抽出し、当該情報を前記ユーザ向けの情報提示装置に出力する処理、を実行することを特徴とする。

本発明によれば、動作中の者に対し、動作改善の適宜な情報を効率良く伝達可能となる。

本実施形態の動作評価システムの全体ブロック例を示す図である。 本実施形態におけるセンサ装着形態の例を示す図である。 本実施形態における計算機のハードウェア構成例を示す図である。 本実施形態における肘状態推定部の動作概念例を示す図である。 本実施形態における負荷評価テーブルの構成例を示す図である。 本実施形態における負荷評価テーブルの構成例を示す図である。図である。 本実施形態における正しい作業姿勢の作業負荷スコアのグラフ例を示す図である。 本実施形態における誤った作業姿勢の作業負荷スコアのグラフ例を示す図である。 本実施形態における作業負荷と特徴量のグラフ例を示す図である。 本実施形態における多忙度評価の概念例を示す図である。 本実施形態における動作評価方法のフロー例を示す図である 本実施形態における提示情報テーブルの構成例を示す図である。 本実施形態における出力例を示す図である。 本実施形態における動作評価方法のフロー例を示す図である。 本実施形態における動作評価方法のフロー例を示す図である。 本実施形態における動作評価方法のフロー例を示す図である。 本実施形態における動作評価方法のフロー例を示す図である。 本実施形態における個人属性テーブルの構成例を示す図である。

本実施形態について、図面を用いて詳細に説明する。ただし、本発明は以下に示す実施の形態の記載内容に限定して解釈されるものではない。本発明の思想ないし趣旨から逸脱しない範囲で、その具体的構成を変更し得ることは当業者であれば容易に理解される。
以下に説明する発明の構成において、同一部分又は同様な機能を有する部分には同一の符号を異なる図面間で共通して用い、重複する説明は省略することがある。

同一あるいは同様な機能を有する要素が複数ある場合には、同一の符号に異なる添字を付して説明する場合がある。ただし、複数の要素を区別する必要がない場合には、添字を省略して説明する場合がある。

本明細書等における「第１」、「第２」、「第３」などの表記は、構成要素を識別するために付するものであり、必ずしも、数、順序、もしくはその内容を限定するものではない。

また、構成要素の識別のための番号は文脈毎に用いられ、一つの文脈で用いた番号が、他の文脈で必ずしも同一の構成を示すとは限らない。

また、ある番号で識別された構成要素が、他の番号で識別された構成要素の機能を兼ねることを妨げるものではない。

図面等において示す各構成の位置、大きさ、形状、範囲などは、発明の理解を容易にするため、実際の位置、大きさ、形状、範囲などを表していない場合がある。このため、本発明は、必ずしも、図面等に開示された位置、大きさ、形状、範囲などに限定されない。

本明細書において単数形で表される構成要素は、特段文脈で明らかに示されない限り、複数形を含むものとする。
＜＜以降の説明における前提等＞
動作評価対象となる者、すなわち動作を行っている者（以下ユーザという）に対し、その者における動作のどこを改善すればよいか知らせるためには、まず、当該ユーザの動作の質を推定（動作推定）し、動作のどこに課題があるか特定する必要がある（改善点の抽出）。

また、当該ユーザの動作状況からユーザの多忙度を推定（多忙度の推定）し、多忙度に応じて情報提示のタイミング（提示情報時刻の判定）、及びその内容を判定する（提示情報内容の判定）必要がある。

最後に、上述のように判定された情報提示時刻および内容に従って、当該ユーザに情報を提示する（改善点の提示）。なお、こうした情報提示のタイミングは、複数回に渡るものであり、それぞれのタイミングに応じて提示内容も調整されうる。

ここで、「動作」とは、工業、農業等における作業一般、あるいは、舞踊、体操、楽器演奏等、所定目的のために人が体を動かして行なう動作一般を指すものとする。

また、そうした動作のどこに課題があるか具体的に特定するためには、当該ユーザの体の特定の部分の特定のタイミングにおける動きを評価することが望ましい。

このような技術は、例えば作業支援システムまたは教育システムとして利用することができる。作業支援システムは、例えば、設備や機器の保守作業の研修用に利用することができる。また、教育システムは、例えば、ダンス、ヨガのポーズの練習に利用することができる。
＜＜実施例１＞＞
＜システム全体構成＞
図１は、本実施例の動作評価システム１の全体ブロック例を示す図である。動作評価システム１は、センサユニット１０と、情報処理装置１００と、情報提示装置２００から構成される。また、これらセンサユニット１０、情報処理装置１００、および情報提示装置２００は、有線または無線のネットワーク５によって、互いに通信可能に接続されている。

このうちセンサユニット１０は、センサ１１と通信部１２を備えている。センサ１１は、例えば、ユーザの体に装着できるウェアラブルなセンサである。センサ１１は、当該ユーザの動き（加速度等）を観測するモーションセンサーを一例として想定しうる（勿論、これに限定しない。図２において、ユーザ２１０がセンサ１１を装着した例を示す。

こうしたセンサ１１は、上述の観測で得た加速度等の動作データを、例えばセンサハブ１３に直接あるいは他のセンサを経由して通知する。センサ１１とセンサハブ１３の接続は有線でも無線でもよい。また、センサハブ１３は、センサユニット１０の１つであるか、或いは少なくとも通信部を備える。

センサハブ１３は、それぞれのセンサ１１から送られてきた動作データ４０を、通信部を介して例えば無線で情報処理装置１００に送信する。センサ１１およびセンサハブ１３は、バッテリー等（図示せず）で給電が行われるものとする。なお、図２のセンサ１１の配置は一例であり、図２のように全身の各部にセンサを装着してもよいし、評価しようとする動作に応じて、上半身のみ、下半身のみなど体の一部のみとしても良い。

また、センサ１１の種類や装着箇所は、評価しようとする動作に応じて、公知のセンサから１または複数種類を選択すればよい。

ユーザ２１０の体の動きを直接評価しようとする場合には、ユーザ２１０の身体の各部の位置や動きを測定できるものが望ましい。例えば、加速度センサや位置センサが該当する。その他、ジャイロ、地磁気、映像、音声、筋電、角速度などのセンサであっても良い。

また、ユーザ２１０に反射マーカを装着し、ビデオカメラ等で撮影して身体の各部の位置や動きを測定してもよい。以降の説明では、センサ１１の一例として、加速度センサを採用した状況を想定し説明するものとする。
＜ハードウェア構成例＞
続いて、上述の情報処理装置１００のハードウェア構成について、図３に基づき説明する。情報処理装置１００は、記憶装置１０１、メモリ１０３、演算装置１０４、および通信装置１０５を備えている。

このうち記憶装置１０１は、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）やハードディスクドライブなど適宜な不揮発性記憶素子で構成される。

また、メモリ１０３は、ＲＡＭなど揮発性記憶素子で構成される。

また、演算装置１０４は、記憶装置１０１に保持されるプログラム１０２をメモリ１０３に読み出すなどして実行し装置自体の統括制御を行なうとともに各種判定、演算及び制御処理を行なうＣＰＵである。

また、通信装置１０５は、適宜なネットワーク５と接続して他装置との通信処理を担うネットワークインターフェイスカードである。

なお、記憶装置１０１内には、本実施形態の情報処理装置１００として必要な機能を実装する為のプログラム１０２に加えて、負荷評価テーブル１２５、多忙度評価テーブル１２６、提示情報テーブル１２７、および個人属性テーブル１２８が少なくとも記憶されている。これら各種テーブルの詳細は後述する。

なお、情報処理装置１００は、図示する構成の他にも、ユーザからのキー入力や音声入力を受け付ける、キーボードやマウス、マイクなどの入力装置を備えるとしてもよい。同様に、演算装置１０４での処理データの表示を行うディスプレイ、スピーカー等の出力装置を備えるとしてもよい。

また、以降に種々記載する、本実施形態の動作評価方法に対応する各種動作は、動作評価装置たる情報処理装置１００がメモリ等に読み出して実行するプログラムによって実現されるものとする（以下同様）。

また、本実施例では、計算や制御等の機能は、記憶装置１０１に格納されたプログラム１０２が演算装置１０４によって実行されることで、定められた処理を他のハードウェアと協働して実現されることとし、図１で示した機能ブロックが該当している。

以上の構成は、単体の情報処理装置で構成するケースの他、入力装置、出力装置、処理装置、記憶装置の任意の部分が、ネットワークで接続された他のコンピュータで構成されるとしてもよい。また本実施例中、ソフトウエアで構成した機能と同等の機能は、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などのハードウェアでも実現できる。後述のニューラルネットワークの実装は、ＦＰＧＡ等で行なわれることもある。
＜各機能ブロックについて＞
続いて、情報処理装置１００が備える、通信部１１０、特徴量抽出部１１１、作業負荷推定部１１２、作業負荷推定部１１３、多忙度推定部１１４、情報生成部１１５、および制御部１１６の各機能ブロックについて説明する。

上述のうち通信部１１０は、センサユニット１０の通信部１２から送信される動作データ４０を受信する。また、通信部１１０は、情報提示装置２００に対して、改善示唆の情報たる作業改善提案情報５０を送信する。

また、特徴量抽出部１１１は、動作データ４０から所望の特徴量を抽出する。作業負荷推定部１１２は、動作データ４０あるいは特徴量抽出部１１１で抽出された特徴量を入力として、ユーザの作業姿勢に応じた作業負荷を推定する。本実施例では、動作データ４０を元に姿勢を推定するものとする。特徴量抽出部１１１や作業負荷推定部１１２は、例えばニューラルネットワークを用いて構成することができる。

作業負荷推定部１１３は、特徴量抽出部１１１からの特徴量と作業負荷推定部１１２からの作業負荷を用いて、改善点を抽出する。

多忙度推定部１１４は、動作データ４０あるいは特徴量抽出部１１１で抽出された特徴量を入力として、ユーザ作業の多忙度を推定する。

情報生成部１１５は、作業負荷推定部１１３で抽出した改善点および多忙度推定部１１４で抽出した多忙度をもとに、ユーザ２１０に指摘するための、作業改善提案情報５０を生成する。

なお、一度に生成される作業改善提案情報５０は、必ずしも一つではなく、内容の異なる情報が複数作成されることがある。作業改善提案情報５０は、通信部１１０から情報提示装置２００に送信される。制御部１２６は情報処理装置１００の動作全体のシーケンスを制御する。

情報提示装置２００も情報処理装置の一種である。例えば、ユーザ２１０が携帯できる携帯情報端末を利用することができるが、これに限らない。一般的なハードウェア構成として、入力装置、出力装置、処理装置、および記憶装置を含むが、ユーザ２１０に情報を知らせるだけであれば、情報処理装置１００から情報を受け取るための通信部２０１と、全体の制御部２０２、および情報を表示する出力部２０３を備えればよい。あるいは情報を紙媒体で印刷できる装置でもよい。出力部２０３は例えば、液晶ディスプレイ、スピーカー、あるいはバイブレータである。
＜特徴量抽出部＞
図４は特徴量抽出部１１１の機能を説明するための概念図である。特徴量抽出部１１１は、ユーザ２１０における作業姿勢の負荷を評価するための特徴量を抽出する。この場合、特徴量は、動作の評価の目的に応じて一つあるいは複数をシステムの設計者等が定義する。

また、特徴量としては、例えば、肘の曲げ角度、腰の高さ、頭の向き、足の開き角度など、任意に一つまたは複数のものを定義することができる。これらの特徴量は、ユーザの身体の可動部の状態、例えば各関節の動きの特徴に対応付けられる。

まず前提として、所定の担当者等が、所望の特徴量を抽出するために、必要な物理量を持つ動作データを取得するセンサ１１を、ユーザ２１０に装着する。一方、特徴量抽出部１１１は、ユーザ２１０に装着されたセンサ１１の任意の一つまたは複数から動作データ４０を取得し、利用する。以下では、加速度センサを用いて肘の曲げ角度を推定する例を説明する。

図４では、センサ１１で観測した動作データから、ユーザ２１０における肘の曲げ角度を抽出する、特徴量抽出部１１１が含む肘状態推定部１１１１を例示している。図４に示すように、肘状態推定部１１１１は、ユーザ２１０の左腕に装着された３つのセンサ１１から動作データを取得し、これに基づいて左肘の曲げ角度を判定する。動作データは単位時間毎に観測され、肘状態推定部１１１１に提供される。そのため、左肘の曲げ角度の判定結果も、時系列データとして取得される。

一方、肘の曲げ角度以外の特徴量を抽出したい場合、肘状態推定部１１１１と同様、対象部位の動作を判定する、腰の高さ抽出部、頭の向き抽出部等を、特徴量抽出部１１１に追加すればよい。

なお、肘状態推定部１１１１は、例えばディープニューラルネットワーク（ＤＮＮ）で構成し、公知の教師有り学習で学習させておけばよい。ここで学習する事象は、センサ１１から得る動作データ（加速度データ等）と、それを入力として得た肘の曲げ角度のうち正しいもの（担当者等が判断した教師データ）との対応関係を示すモデルとなる。

また、肘状態推定部１１１１は、上述のＤＮＮではなく、センサ１１の加速度データから通常の計算によって肘の曲げ角度を推定することもできる。

肘の曲げ角度を加速度から推定する場合、肘状態推定部１１１１は、ユーザ２１０の初期状態における観測値をセンサ１１から取得し利用する。このために、予めユーザ２１０に所定の姿勢（例えば直立姿勢）を取らせたり、別途センサ１１の位置を検出するなどを行なう。あるいは、センサ１１として、加速度センサの代わりに位置センサを用いても良い。以上のように、センサの種類は、推定したい特徴量に応じて自由に選択することができる。

システムの運用時には、抽出した特徴量は、その種類ごとに時系列データとして記憶装置に格納されることになる。
＜作業負荷推定部＞
作業負荷推定部１１２は、センサ１１からの動作データ４０、および特徴量抽出部１１１で抽出された特徴量を入力として、作業姿勢による作業負荷を推定する。

図５および図６は、作業負荷推定部１１２における作業負荷推定に際して利用する負荷評価テーブル１２５の一例を示すものである。

このうち図５の負荷評価テーブル１２５は、特徴量抽出部１１１で抽出された肘の曲げ角度に基づき、肘にかかる負荷を計算するためのテーブルとなる。図５に示すように、肘の曲げ角度が増加するほどに肘への負荷が高まり、対応する負荷スコアが増加するよう規定されている。

ただし、ここで示す構成はあくまで一例であり、肘の曲げ角度と対応する負荷スコアは図５に示される形態と異なるものでもよい。例えばＲＵＬＡ（Ｒａｐｉｄ Ｕｐｐｅｒ Ｌｉｍｂ Ａｓｓｅｓｓｍｅｎｔ）と呼ばれる評価方法に定義されている負荷スコアを用いても良い。

また、複数の身体部位について負荷スコアを定義し、それらの組み合わせとしてより大きな身体部位の負荷スコアを定義しても良い。例えば、図６に示すように、肘と肩それぞれの負荷スコアを組み合わせて判定することで、腕にかかる負荷のスコアを推定する負荷評価テーブル１２５を想定することもできる。

図５と同様に、図６の構成も、あくまで一例であり、身体部位の組み合わせ方や、それらの組み合わせによって定義されるスコアは図６に示さす形態と異なるものでも良い。例えばＲＵＬＡに定義されるような組み合わせとスコアであっても良い。

なお、作業負荷を推定する方法は上記のような対応表を用いる方法に限るものではなく、機械学習を用いて自動的に作業負荷を推定するなど、同様の効果が得られる方法であっても良い。
＜改善点抽出部＞
図７Ａに、正しい姿勢で作業した際の作業負荷スコアのグラフを、図７Ｂに、誤った姿勢を含む作業姿勢で作業した際の作業負荷スコアのグラフを、それぞれ示す。こうした作業負荷スコアスコアは、時系列データのため、横軸に時間、縦軸に作業負荷スコアを示している。

これらの例では、誤った姿勢を含む作業姿勢の作業負荷スコアでは、ある時間帯において作業負荷が上昇する領域６０２が存在する。作業負荷推定部１１２では、例えば作業負
荷スコアがある一定の閾値６０１を一定時間以上上回った場合、誤った作業姿勢があったと判定する。誤った作業姿勢の検出方法は、同等の効果を得る他の手法でも採用可能である。

例えば、閾値を用いず、作業負荷スコアの相対的な変動を元に誤った作業姿勢を判定してもよい。また、閾値６０１は固定でなく変動するものであってもよい。

作業負荷推定部１１２は、誤った作業姿勢があったと認識すると、誤った作業姿勢に該当する時間帯６０３の情報を、作業負荷推定部１１３に通知する。

また、作業負荷推定部１１３は、特徴量抽出部１１１から該当する時間帯を含む特徴量データを取得する。そして、作業負荷推定部１１３は、上述の特徴量抽出部１１１から取得した特徴量データを、予め記憶装置にて保持する正しい姿勢で作業した際の特徴量データの推移と比較し、両者の間で差異が規定以上に大きい特徴量を特定する。システムの運用時において、推定した作業負荷スコアは、時系列データとして記憶装置に格納しておく。

図８に基づき、作業負荷推定部１１３の動作例について説明する。なお、図８において、（Ａ１）はリファレンスとなる正しい姿勢での作業負荷スコアである。（Ｂ１）は正しい姿勢での特徴量の一つである肘の曲げ角度のスコアである。また、（Ｃ１）は正しい姿勢での特徴量の一つである肩の関節角のスコアである。

また、（Ａ２）はユーザの作業負荷スコアである。（Ｂ２）は誤った作業姿勢を含むユーザの特徴量の一つである肘の曲げ角度に関するスコアである。（Ｃ２）はユーザの特徴量の一つである肩の関節角のスコアである。

ここで、特徴量「肘の曲げ角度」において、正しい姿勢とユーザ（誤った姿勢）とで、時間帯８０１において特徴量の大きさに差異が存在していることが確認できる。このことは、作業負荷スコアに関して差異が大きいことに基づいて判定を行なうことができる。

一方、特徴量「肩の関節角」においては、両者に差異が見られない。従って、動作評価システム１がユーザに改善点として提示するべきは、誤った作業姿勢に該当する時間帯８０１における「肘の曲げ角度」であることが分かる。

このようにして作業負荷推定部１１３は、ユーザの体の動き全体の中の一部の動作を、改善対象となる動作として抽出する。以上の分析を行った作業負荷推定部１１３は、改善すべき特徴量、正しい姿勢との差異等を情報生成部１１５に送信する。
＜多忙度推定部＞
多忙度推定部１１４は、センサ１１からの動作データ４０および特徴量抽出部１１１で抽出された特徴量を入力として、ユーザの多忙度を推定する。

図９は多忙度推定部１１４の機能を説明するための概念図である。多忙度推定部１１４は、ユーザの行動を認識し、その行動を元に多忙度を推定する。

こうした多忙度は、教育システムの目的に応じて一つあるいは複数をシステムの設計者等が定義する。多忙度としては、例えば、動作データ４０もしくは特徴量抽出部１２４で抽出された特徴量を用いて、ユーザの行動を認識し、行動に応じて多忙度を定義することができる。以下では、加速度センサを用いて作業を認識するケースでの例を説明する。

図９では、センサ１１から得た動作データにより、当該ユーザの作業を認識するため、
多忙度推定部１１４が備える作業認識部１１４１が示されている。

図９に示すように、作業認識部１１４１は、ユーザ２１０の全身に装着されたセンサ１１から当該ユーザ２１０に関する動作データ４０を得て、この動作データ４０に基づいて現在実行中の作業を判定する。こうした作業に関する情報は、時系列データとして取得される。また、この作業の判定に伴い、当該作業の多忙度を多忙度評価テーブル１２６で特定することができる。

図９の例では、作業認識部１１４１が、センサ１１から得た動作データ４０を、多忙度評価テーブル１２６に適用し、該当作業を「荷物運搬」と判定している。また、その「荷物運搬の作業は、多忙度が「２」と規定されており、当該「２」を多忙度と特定する。

なお、この図９で例示した多忙度評価テーブル１２６では、各作業と、動作データ４０との対応関係を「パターン」として規定している。そのため、多忙度推定部１１４は、各作業のパターンに、動作データ４０を照合することで、当該動作データ４０の示す動作の時系列変化が「パターン」と一致する「作業」を当該ユーザが実行中の作業と判定する。

なお、作業認識部１１４１は、例えばディープニューラルネットワーク（ＤＮＮ）で構成し、公知の教師有り学習で学習させておけばよい。また、作業認識部１１４１の入力は、センサ１１からの動作データ４０のみでなく、特徴量抽出部１２４で抽出された特徴量を同時に入力として用いても良い。あるいは、特徴量のみを入力として用いてもよい。

また、作業認識部１１４１は必ずしもＤＮＮである必要はなく、同様の効果が得られる他の手法を用いても良い。

システムの運用時には、推定した作業および多忙度は、その種類ごとに時系列データとして記憶装置に格納しておく。

なお、多忙度を推定する方法は上記のような行動認識手法を用いる方法に限るものではなく、たとえばユーザの自己申告による多忙度の推定など、同様の効果が得られる方法であっても良い。
＜情報生成部＞
情報生成部１１５は、作業負荷推定部１１３から受信した改善点に関する情報、および多忙度推定部１１４から受信した多忙度の情報に基づき、いつ、どのような内容の情報を、何回通知するかということを決定し、予め提示情報テーブル１２７で記憶しておいたグラフィックデータや音声データ等を利用し、ユーザに提示する作業改善提案情報５０を生成する。

図１０は、作業改善提案情報５０を生成する一つの手法をフロー図にしたものである。まず、処理Ｓ９０１で、作業負荷推定部１１３は、通信部１１０でセンサ１１から受信した動作データ４０、および特徴量抽出部１２３で抽出された特徴量から、ユーザが改善すべき作業姿勢情報を抽出する。

また、処理Ｓ９０２で、多忙度推定部１１４は、上述の動作データ４０および特徴量から、当該ユーザにおける多忙度を推定する。作業姿勢情報や多忙度は時系列データである。

また、処理Ｓ９０３で、情報生成部１１５は、現時刻の作業姿勢情報および多忙度を、上述の作業負荷推定部１１３および多忙度推定部１１４から受信する。

続いて、処理Ｓ９０４で、情報生成部１１５は、Ｓ９０３で得た多忙度が一定値を上回っているか判定する。

上述の判定の結果、多忙度が一定値を超えていた場合（Ｓ９０４：ＹＥＳ）、処理Ｓ９０５で、情報生成部１１５は、例えば、提示情報テーブル１２７（図１１参照）において例えば対象部位が「肘」の即時通知用情報で、作業姿勢情報が示す特徴量に対応する内容を即時通知用情報として特定し、同様に事後通知用情報も特定し、これら即時通知用情報、および事後通知用情報を特定する。

また、処理Ｓ９０６で、情報生成部１１５は、上述の即時通知用情報を情報提示装置２００に送信する。加えて、処理Ｓ９０７では、情報生成部１１５は、上述の多忙度が一定値を下回るまで事後通知用情報を保持する。多忙度が一定値を下回ったら（Ｓ９０４：ＮＯ）、情報生成部１１５は、事後通知用情報を情報提示装置２００に送信する。

なお、即時通知用情報は、ユーザの多忙度が高い時に通知される情報である。一方、事後通知用情報は、ユーザの多忙度が低くなった後に通知される情報である。そのため、これら２つの情報は、異なる内容の情報であっても良い。

具体的には、即時通知用情報はユーザの作業を邪魔せずに、現時刻に何かしらの改善すべき点があることを伝えることだけを目的としたものとなる。具体的には、数秒の警告音や振動など極めて簡便な情報を想定しても良い。

また、事後通知用情報は、ユーザの多忙度が低くなった後に提示される情報である。そのため、ユーザの注意を引き、かつより改善すべき内容がわかるように、グラフィックデータや音声での指示などよりも、詳細で複雑な情報としても良い。

一方、多忙度が一定値を超えていなかった場合（Ｓ９０４：ＮＯ）、情報生成部１１５は、処理Ｓ９０８で即時通知用情報を生成する。なお、処理Ｓ９０５で生成される即時通知用情報と処理Ｓ９０８で生成される即時通知用情報は、同様の内容である必要はなく、処理Ｓ９０５で生成される即時通知用情報と事後通知用情報を統合したもの、あるいはそれらを要約した情報であっても良い。作業改善提案情報５０は、通信部１１０から情報提示装置２００に送信される。

本実施例では、ユーザの動作データ４０を取得し、予め作業姿勢に関するデータを用意することで、改善すべきユーザの作業姿勢を抽出する。また、ディープラーニングなどの技術を用いることにより、ユーザが実行している作業を認識し、その多忙度を推定する。

これらを組み合わせ用いることで、多忙度の高い作業中には警告音や振動など簡便な方法で作業姿勢の改善について通知し、多忙度が低くなったタイミングで、より詳細な正しい動作の提案を行うことができる。よって、ユーザに、いつ改善できるポイントがあったかということと、具体的にどう改善すべきかという両方の情報をよりわかりやすく提示することが可能になる。
＜情報提示装置＞
図１２は、情報提示装置２００の出力部２０３の一例である画面例である。この画面１２００においては、ユーザの理解を助けるために、人型のモデルを用いて改善すべき特徴量を表示する。

画面１２００において、情報提示装置２００は、正しい作業姿勢１２１０とユーザのモデル１２２０を並べる、あるいは重ねるなどして、比較表示しても良い。

図１２の例では、情報提示装置２００において、作業負荷推定部１１３からの情報に基づいて、コンピュータグラフィックス（ＣＧ）により、右腕の位置と、足の開き角度について改善を提示している。

また、ユーザの理解を助けるために、テキストや音声を出力したり、振動を用いたりしても良い。テキストや音声、振動のパターンの生成方法は、機械学習を用いたキャプショニングや音声合成技術、あるいは予め用意したパターンを用いた表示により可能である。また、主に事後通知用情報において、動画ＣＧを用いると効果的である。
＜＜実施例１における効果＞＞
以上説明した実施例１によれば、動作をする者の作業姿勢を推定し、作業姿勢のどの部位の動作に課題があるかを抽出し、同時にユーザの多忙度を推定することで、ユーザの多忙度に応じて複数回、改善を提案することが可能になる。

これにより、ユーザはいつ改善すべき姿勢をしていたかという情報と、具体的にどのように改善すべきかという情報の両方を、よりわかりやすい方法で理解することが可能になる。

例えば、スクワットによるトレーニングを行う際には、腰や膝の動かし方が誤っていると適切なトレーニングの効果が得られず、場合によっては腰や膝を痛めてしまう可能性もある。

このような場合に、公知の手段では、トレーニング中の情報提示はユーザの注意を十分に惹くことが出来ないため、一連のトレーニングが終了した後に情報を提示する。

しかし、実際にはトレーニング中に何度もスクワット動作を繰り返すため、トレーニング終了後に情報を提示されても、どの動作、どのタイミングで動作が良くなかったのかといったことを理解することが困難である。

それに対し、本提案によれば、動作が良くなかったタイミングで警告音など簡便な情報を一度提示し、一連のトレーニング終了後に改めて詳細な情報を提示することにより、自分の悪かった動作に関してより意識することが可能になり、学習効果を高めることが出来るようになる。
＜＜実施例２＞＞
実施例１では、ユーザに提示する情報として、姿勢を改善するための情報のみを提示していた。他の例として、作業負荷推定部１１３は、改善点が見つからなかった際に、動作が正しく行われているという情報を情報生成部１１５に送信し、情報生成部１１５でユーザの動作が正しいことを称賛するような情報を、提示情報テーブル１２７から抽出し、ユーザに提示することもできる。

なお、ユーザを称賛する情報も、作業中など多忙なときには簡便な手法で提示し、多忙度が下がった時に詳細な情報を提示するなどして良い。これにより、ユーザが正しい姿勢で作業を実行するやる気を促進することが可能になる。
＜＜実施例３＞＞
実施例１、２では、作業負荷推定部１１３で同様の改善点が繰り返し抽出された場合でも、情報生成部１１５で生成される情報に変更はなかった。

他の例として、作業負荷推定部１１３で繰り返し同じ改善点が見つかった際に、情報生成部１１５でその繰り返しの回数をカウントし、その回数が一定の回数を超えた場合、通知の内容をより強調することもできる。

図１３は、繰返し発生した同様の改善点の回数に応じて、生成する作業改善提案情報５０の内容を変更する一つの手法を示すフロー図である。

なお、本フローにおけるＳ９０６までは図１０のフローと同様であるため、Ｓ１１０１以降に関して説明する。

Ｓ１１０１において、情報生成部１１５は、当該ユーザの多忙度が低下するまでの間、姿勢改善情報の種類ごとに発生回数を合計する。

Ｓ１１０２において、情報生成部１１５は、各姿勢改善情報の発生回数の多さに応じて、提示情報テーブル１２７から抽出される事後通知用情報の内容を変更し、情報表示装置１５０に送信する。

なお、事後通知用情報の内容の変更については、例えば発生回数が多い情報についてはＣＧにおける表記をより強調した色使いにする、テキストの文字を太字にし、色を変更するなどの形態を採用して良い。これにより、ユーザがより間違えることの多い作業姿勢を重点的に学ぶことが可能になる。
＜＜実施例４＞＞
実施例１、２、３では、即時通知用情報のみを生成するか、事後通知用情報も生成して複数回通知するかについては、作業者の多忙度のみを基準として判定した。

他の例として、作業負荷推定部１１３で抽出された改善点の緊急度が高い場合に、多忙度が一定値を上回っていたとしても即時に情報の提示を行うこともできる。

図１４は、作業負荷推定部１１３で改善点と同時に緊急度を抽出し、緊急度に応じて緊急通知用情報を送信する一つの手法を示すフロー図である。

この場合、Ｓ１２０１では、改善点抽出部１２４において、姿勢改善情報および緊急度を抽出する。なお緊急度については、例えば推定された身体負荷が一定値を超えているか、（特に、著しく身体負荷が高いか）という基準を用いることが出来る。

Ｓ１２０２において、情報生成部１１５は、多忙度が一定値を上回っている状況において、緊急度が高いかどうかを判定する。もし緊急度が高い場合（Ｓ１２０２：ＹＥＳ）、情報生成部１１５は、Ｓ１２０３において緊急通知用情報を提示情報テーブル１２７から抽出して生成し、Ｓ１２０４で情報表示装置２００に送信する。

なお、緊急通知用情報は、即時通知用情報と比較してよりユーザの注意を惹くよう、所定の強調処理を施されたものであってもよい。

具体的には、即時通知用情報での設定よりも大きい音声での警告音や、音色やメロディーのパターンが即時通知用情報のものと大きく相違し、特徴的な警告音、強い振動や派手な色彩や明滅パターンなど目を惹く映像情報、などを想定してよい。これにより。ユーザの身体負荷が異常に高く、負傷の危険性などがある場合に、多忙度が一定値を上回っていても情報を提示することで、未然に負傷等を防ぐことが可能になる。
＜＜実施例５＞＞
実施例１、２では、作業負荷推定部１１３で同様の改善点が繰り返し抽出された場合でも、情報生成部１１５で生成される情報に変更はなかった。そこで他の例として、作業負荷推定部１１３で繰り返し同じ改善点が見つかった際に、情報生成部１１５で前回の通知時刻と比較し、一定時間以内であれば即時通知用情報の提示をキャンセルする形態について説明する。

図１５は、繰返し発生した同様の改善点の回数に応じて、生成する作業改善提案情報５０の内容を変更する一つの手法を示すフロー図である。

本フローにおけるＳ９０４までは図１０のフローと同様であるため、Ｓ１３０１以降の処理について説明する。

この場合、まずＳ１３０１において、情報生成部１１５は、一定時間内に同内容の姿勢改善情報について、所定のユーザ向けに通知しているかどうかを判定する。

一定時間以内に通知していた場合（Ｓ１３０１：ＹＥＳ）、情報生成部１１５は、同内容の情報提示をキャンセルする。これにより、ユーザが同様の誤った姿勢を繰り返した場合にも、同内容の即時通知用情報が繰り返しユーザに提示され、ユーザの注意を必要以上に惹いてしまうことなく、姿勢改善に役立つ情報提示を行うことが出来る。
＜＜実施例６＞＞
実施例１では、ユーザに提示する情報は、どのユーザであっても、同じ姿勢改善情報、同じ多忙度であれば、提示される情報は同様であった。他の例として、ユーザの年齢、性別、スキル、熟練度等の個人属性に基づき、ユーザに提示する情報を変える形態について説明する。

図１５は、ユーザの熟練度に応じて通知用情報を生成する一つの手法を示すフロー図である。ここでは、個人属性の一例として、或る作業に関する「熟練度」をあげて説明するが、他の個人属性を採用してもよい。

情報生成部１１５は、Ｓ９０５で通知用情報を生成する際、ユーザの熟練度を個人属性テーブル１２８（図１７参照）で参照し、当該熟練度が基準より低いユーザであれば、例えば作業の基本概念から丁寧に説明する通知用情報（例えば、熟練度欄の値がＣ以下）を提示情報テーブル１２７から抽出する。同様に、情報生成部１１５は、上述のユーザにおける熟練度が基準より高ければ、基本概念等の説明は省略して簡便な通知用情報（例えば、熟練度欄の値がＡ＋以上）を提示情報テーブル１２７から抽出し生成しても良い。

なお、ユーザの熟練度は、過去の作業における姿勢改善情報提示の履歴から作成されたものを利用する、あるいは作業実施前に簡単なテスト等を行って把握する、などの方法を用いて判定する。これらはあくまで一例であり、熟練度を把握するための手段はこれらに限るものではない。

これにより、ユーザの熟練度など個人属性に応じて、当該ユーザに提示する情報の内容を変え、熟練度の低いユーザに対してより丁寧で詳細な情報を提示することにより、学習効果を高めることが可能になる。
＜＜実施例７＞＞
実施例１では、ユーザの多忙度を推定する方法として、ユーザの作業内容を基準とした。他の例として、ユーザの作業工程や作業対象機器、ユーザが作業を行っている環境に設置されたカメラやマイク、温度計などのセンサからの情報を用いて多忙度を推定することもできる。

この場合、多忙度推定部１１４は、ユーザの作業工程、作業対象機器の稼働状況、および作業環境の各事象の少なくともいずれかに関する情報（例：機器の稼働状況を観測したデータや、作業環境における騒音レベル）を、当該事象の監視手段たる上述のセンサから取得し、当該事象に関する情報と動作データ４０を、ユーザの多忙度に関する情報に照合して、ユーザの多忙度を特定する。

この場合、多忙度推定部１１４は、例えば、稼働中の機器の回転数、作業環境の騒音レベルの各値を、例えば、多忙度評価テーブル１２６で当該事象について規定した基準値に照合し、対応する基準値に紐付く多忙度を、当該ユーザの多忙度として特定するといった形態を想定できる。

この場合、多忙度評価テーブル１２６は、図９で例示したものとは異なり、環境に関する各種事象（機器の稼働値、音、温度など）をキーに、当該事象の値の範囲別（例：騒音が○○レベル、稼働値が○○から○○の範囲）に、多忙度を規定したものを情報処理装置１００が予め保持しているものとする。

なお、ユーザの所持する携帯端末などからユーザ自身によって入力された情報を、上述の環境に関する事象の情報として用いても良い。

これによれば、例えば、作業対象機器の稼働速度や、それに伴う周囲環境での騒音レベル、といった情報をも踏まえて、当該ユーザの多忙度を精度良く判定できる。このことは、より精度よく改善示唆の情報を特定し、当該ユーザに向けて出力可能となることにつながる。ひいては、動作中の者に対し、動作改善の適宜な情報をより効率良く伝達可能となる。

また、情報生成部１１５は、上述の環境に関する事象の情報に基づき、情報提示装置２００に送信する改善示唆の情報の形態を制御するとしてもよい。

この場合、情報生成部１１５は、上述の環境に関する事象の情報に基づき、当該作業環境に応じて予め定めた形態の改善示唆の情報を、提示情報テーブル１２７から抽出するか、又は当該改善示唆の情報を所定の形態に加工して、情報提示装置２００に出力する。

例えば、情報生成部１１５は、作業環境に設置されたセンサであるマイクから、作業環境での騒音レベルの値を取得し、この値が予め定めた基準より大きい場合、情報提示の際に音声以外の通知用情報を提示情報テーブル１２７から抽出し、情報提示装置２００に送信する、といった運用が可能となる。

これによれば、騒音レベルが基準オーバーである環境では、バイブレータによる振動や照明ランプでの明滅といった形態で改善示唆の情報を出力し、一方、騒音レベルは基準以下だが照度が基準以下である環境では、特定音の出力や、バイブレータによる振動といった形態で改善示唆の情報を出力するなど、環境に応じた、柔軟で的確な形態での情報伝達が可能となる。ひいては、動作中の者に対し、動作改善の適宜な情報をより効率良く伝達可能となる。つまり、ユーザの状態をより多角的に把握することが可能になり、ユーザの状態に合わせた情報提示を行うことが可能になる。

以上、本発明を実施するための最良の形態などについて具体的に説明したが、本発明はこれに限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能である。

こうした本実施形態によれば、動作中の者に対し、動作改善の適宜な情報を効率良く伝達可能となる。

本明細書の記載により、少なくとも次のことが明らかにされる。すなわち、本実施形態の動作評価システムにおいて、前記演算装置は、前記多忙度が所定基準以上である場合、前記複数回のうち初回の前記改善示唆の情報として、前記改善点の動作発生から所定時間内に、予め定めた即時通知用情報の前記出力を行い、当該提示の以後、前記多忙度が所定
基準を下回った場合に、予め定めた事後通知用情報の前記出力を行うものである、としてもよい。

これによれば、作業中など多忙状態にある者に、短く明確な改善示唆の情報、ないし改善示唆の対象となったことのみ示す情報などを提示する一方、当該多忙状態が解消された時点では、詳細で具体的な改善示唆の情報を提示するといった制御が可能となる。ひいては、動作中の者に対し、動作改善の適宜な情報をより効率良く伝達可能となる。

また、本実施形態の動作評価システムにおいて、前記演算装置は、前記ユーザに関して、一定時間内に同じ改善点が繰り返し特定された場合、前記改善示唆の情報に予め定めた強調処理を実行し、当該強調処理を経た前記改善示唆の情報について、前記出力を行うものである、としてもよい。

これによれば、改善が必要な動作について、当該ユーザに強く認識してもらうことが可能となる。ひいては、動作中の者に対し、動作改善の適宜な情報をより効率良く伝達可能となる。

また、本実施形態の動作評価システムにおいて、前記演算装置は、前記動作の状態の判定に際し、前記改善点の動作についての改善の緊急度が所定基準を上回る場合、前記多忙度の高低に係わらず、前記改善点の動作発生から所定時間内に、所定の強調処理を適用した前記改善示唆の情報について、前記出力を行うものである、としてもよい。

これによれば、動作の不適切さが、重大な事案の発生につながりうるようなレベルに達している場合に、当該状況をユーザに明確に認識させ、改善へと仕向けることが可能となる。ひいては、動作中の者に対し、動作改善の適宜な情報をより効率良く伝達可能となる。

また、本実施形態の動作評価システムにおいて、前記演算装置は、前記ユーザに関して、一定時間内に同じ改善点が繰り返し特定され、かつ、一定時間以内に同内容の改善示唆の出力を行っていた場合、当該出力の頻度を低減するものである、としてもよい。

これによれば、特段の緊急度は無い改善点に関して、同じ内容の改善示唆の情報を繰り返し出力した場合に、当該情報を認識したユーザに、無用な困惑等を生じさせるといった事態を回避することができる。ひいては、動作中の者に対し、動作改善の適宜な情報をより効率良く伝達可能となる。

また、本実施形態の動作評価システムにおいて、前記記憶装置は、前記ユーザの個人属性に関する情報をさらに保持し、前記演算装置は、前記改善示唆の情報の抽出に際し、前記ユーザの前記個人属性の情報を記憶装置にて参照し、前記個人属性に応じた前記改善示唆の情報を前記記憶装置から抽出し、当該改善示唆の情報を、前記情報提示装置に出力するものである、としてもよい。

これによれば、ユーザの年齢、性別、スキル、熟練度といった属性に応じて、改善示唆の情報を柔軟に制御し、当該ユーザにとって無理なく認識しやすい情報として改善示唆の情報を伝達可能となる。ひいては、動作中の者に対し、動作改善の適宜な情報をより効率良く伝達可能となる。

また、本実施形態の動作評価システムにおいて、前記演算装置は、前記個人属性の情報として、当該ユーザにおける前記動作の熟練度の情報を参照し、当該熟練度に応じた前記改善示唆の情報を前記記憶装置から抽出し、当該改善示唆の情報を、前記情報提示装置に
出力するものである、としてもよい。

これによれば、当該ユーザにとって、その熟練度に応じた知識背景を踏まえた適宜な情報（無駄を省いた情報であったり、初心者向けの基礎知識も含めた情報）を、改善示唆の情報として提示可能となる。ひいては、動作中の者に対し、動作改善の適宜な情報をより効率良く伝達可能となる。

また、本実施形態の動作評価システムにおいて、前記演算装置は、前記多忙度の特定に際し、前記動作データに加えて、前記ユーザの作業工程、作業対象機器の稼働状況、および作業環境の各事象の少なくともいずれかに関する情報を、当該事象の監視手段たる前記センサから取得し、前記事象に関する情報と前記動作データを、前記基準情報のうちユーザの多忙度に関する情報に照合して、前記ユーザの多忙度を特定するものである、としてもよい。

これによれば、例えば、作業対象機器の稼働速度や、それに伴う周囲環境での騒音レベル、といった情報をも踏まえて、当該ユーザの多忙度を精度良く判定できる。このことは、より精度よく改善示唆の情報を特定し、当該ユーザに向けて出力可能となることにつながる。ひいては、動作中の者に対し、動作改善の適宜な情報をより効率良く伝達可能となる。

また、本実施形態の動作評価システムにおいて、前記演算装置は、前記改善示唆の情報を前記情報提示装置に出力する際、前記作業環境に関する情報に基づき、当該作業環境に応じて予め定めた形態の改善示唆の情報を、前記記憶装置から抽出するか、又は前記改善示唆の情報を当該形態に加工して、前記情報提示装置に出力するものであるとしてもよい。

これによれば、騒音レベルが基準オーバーである環境では、バイブレータによる振動や照明ランプでの明滅といった形態で改善示唆の情報を出力し、一方、騒音レベルは基準以下だが照度が基準以下である環境では、特定音の出力や、バイブレータによる振動といった形態で改善示唆の情報を出力するなど、環境に応じた、柔軟で的確な形態での情報伝達が可能となる。ひいては、動作中の者に対し、動作改善の適宜な情報をより効率良く伝達可能となる。

また、本実施形態の動作評価システムにおいて、前記演算装置は、前記改善点の特定に際し、改善点が特定されなかった場合、当該ユーザの動作の適正性を称賛する情報を前記情報提示装置に出力するものである、としてもよい。

これによれば、当該ユーザにおける作業等のモチベーションをアップすることが可能となる。このことは、当該ユーザにおける、作業等への意欲を適宜に維持しつつ、改善示唆の情報出力への注目を保つことにもつながりうる。ひいては、動作中の者に対し、動作改善の適宜な情報をより効率良く伝達可能となる。

１ 動作評価システム
５ ネットワーク
１０ センサユニット
１１ センサ
１２ 通信部
４０ 動作データ
５０ 作業改善提案情報
１００ 情報処理装置
１０１ 記憶装置
１０２ プログラム
１０３ メモリ
１０４ 演算装置
１０５ 通信装置
１１０ 通信部
１１１ 特徴量抽出部
１１２ 作業負荷推定部
１１３ 改善点抽出部
１１４ 多忙度推定部
１１５ 情報生成部
１１６ 制御部
１２５ 負荷評価テーブル
１２６ 多忙度評価テーブル
１２７ 提示情報テーブル
１２８ 個人属性テーブル
２００ 情報提示装置
２０１ 通信部
２０２ 制御部
２０３ 出力部

Claims (12)

1. ユーザの動作を観測するセンサと通信を行う通信装置と、
   前記動作の各種状態を規定した基準情報と、前記動作の改善示唆の各種情報を格納する記憶装置と、
   前記センサによる前記ユーザの観測で得られた動作データを、前記通信装置を介して取得し、当該動作データを、前記基準情報のうち動作の適正性に関する情報に照合して、前記ユーザの動作の状態を判定し、前記動作のうち改善すべき状態の動作を改善点として特定する処理、前記改善点の動作以降における前記動作データを、前記基準情報のうちユーザの多忙度に関する情報に照合して、前記ユーザの多忙度を特定する処理、および、前記改善点および前記多忙度の各状況に応じて予め定めたルールに基づき、前記改善点に関する改善示唆の情報として、複数回それぞれに異なる内容の情報を前記記憶装置から抽出し、当該情報を前記ユーザ向けの情報提示装置に出力する処理、を実行する演算装置と、
   を備える情報処理装置を含むことを特徴とする動作評価システム。
2. 前記演算装置は、
   前記多忙度が所定基準以上である場合、前記複数回のうち初回の前記改善示唆の情報として、前記改善点の動作発生から所定時間内に、予め定めた即時通知用情報の前記出力を行い、当該提示の以後、前記多忙度が所定基準を下回った場合に、予め定めた事後通知用情報の前記出力を行うものである、
   ことを特徴とする請求項１に記載の動作評価システム。
3. 前記演算装置は、
   前記ユーザに関して、一定時間内に同じ改善点が繰り返し特定された場合、前記改善示唆の情報に予め定めた強調処理を実行し、当該強調処理を経た前記改善示唆の情報について、前記出力を行うものである、
   ことを特徴とする請求項１に記載の動作評価システム。
4. 前記演算装置は、
   前記動作の状態の判定に際し、前記改善点の動作についての改善の緊急度が所定基準を上回る場合、前記多忙度の高低に係わらず、前記改善点の動作発生から所定時間内に、所定の強調処理を適用した前記改善示唆の情報について、前記出力を行うものである、
   ことを特徴とする請求項１に記載の動作評価システム。
5. 前記演算装置は、
   前記ユーザに関して、一定時間内に同じ改善点が繰り返し特定され、かつ、一定時間以内に同内容の改善示唆の出力を行っていた場合、当該出力の頻度を低減するものである、
   ことを特徴とする請求項１に記載の動作評価システム。
6. 前記記憶装置は、
   前記ユーザの個人属性に関する情報をさらに保持し、
   前記演算装置は、
   前記改善示唆の情報の抽出に際し、前記ユーザの前記個人属性の情報を記憶装置にて参照し、前記個人属性に応じた前記改善示唆の情報を前記記憶装置から抽出し、当該改善示唆の情報を、前記情報提示装置に出力するものである、
   ことを特徴とする請求項１に記載の動作評価システム。
7. 前記演算装置は、
   前記個人属性の情報として、当該ユーザにおける前記動作の熟練度の情報を参照し、当該熟練度に応じた前記改善示唆の情報を前記記憶装置から抽出し、当該改善示唆の情報を
   、前記情報提示装置に出力するものである、
   ことを特徴とする請求項６に記載の動作評価システム。
8. 前記演算装置は、
   前記多忙度の特定に際し、前記動作データに加えて、前記ユーザの作業工程、作業対象機器の稼働状況、および作業環境の各事象の少なくともいずれかに関する情報を、当該事象の監視手段たる前記センサから取得し、前記事象に関する情報と前記動作データを、前記基準情報のうちユーザの多忙度に関する情報に照合して、前記ユーザの多忙度を特定するものである、
   ことを特徴とする請求項１に記載の動作評価システム。
9. 前記演算装置は、
   前記改善示唆の情報を前記情報提示装置に出力する際、前記作業環境に関する情報に基づき、当該作業環境に応じて予め定めた形態の改善示唆の情報を、前記記憶装置から抽出するか、又は前記改善示唆の情報を当該形態に加工して、前記情報提示装置に出力するものであることを特徴とする請求項８に記載の動作評価システム。
10. 前記演算装置は、
    前記改善点の特定に際し、改善点が特定されなかった場合、当該ユーザの動作の適正性を称賛する情報を前記情報提示装置に出力するものである、
    ことを特徴とする請求項１に記載の動作評価システム。
11. ユーザの動作を観測するセンサと通信を行う通信装置と、
    前記動作の各種状態を規定した基準情報と、前記動作の改善示唆の各種情報を格納する記憶装置と、
    前記センサによる前記ユーザの観測で得られた動作データを、前記通信装置を介して取得し、当該動作データを、前記基準情報のうち動作の適正性に関する情報に照合して、前記ユーザの動作の状態を判定し、前記動作のうち改善すべき状態の動作を改善点として特定する処理、前記改善点の動作以降における前記動作データを、前記基準情報のうちユーザの多忙度に関する情報に照合して、前記ユーザの多忙度を特定する処理、および、前記改善点および前記多忙度の各状況に応じて予め定めたルールに基づき、前記改善点に関する改善示唆の情報として、複数回それぞれに異なる内容の情報を前記記憶装置から抽出し、当該情報を前記ユーザ向けの情報提示装置に出力する処理、を実行する演算装置と、
    を備えることを特徴とする動作評価装置。
12. 情報処理装置が、
    ユーザの動作を観測するセンサと通信を行う通信装置と、前記動作の各種状態を規定した基準情報と、前記動作の改善示唆の各種情報を格納する記憶装置を備えて、
    前記センサによる前記ユーザの観測で得られた動作データを、前記通信装置を介して取得し、当該動作データを、前記基準情報のうち動作の適正性に関する情報に照合して、前記ユーザの動作の状態を判定し、前記動作のうち改善すべき状態の動作を改善点として特定する処理、前記改善点の動作以降における前記動作データを、前記基準情報のうちユーザの多忙度に関する情報に照合して、前記ユーザの多忙度を特定する処理、および、前記改善点および前記多忙度の各状況に応じて予め定めたルールに基づき、前記改善点に関する改善示唆の情報として、複数回それぞれに異なる内容の情報を前記記憶装置から抽出し、当該情報を前記ユーザ向けの情報提示装置に出力する処理、
    を実行することを特徴とする動作評価方法。

Images