JP2018147144A - 作業支援システムおよび作業支援方法 - Google Patents

Abstract

【課題】作業者に対し適時に的確な作業支援情報を提示でき、作業ミスの発生等を有効に抑止できる作業支援システムおよび方法を提供する。【解決手段】作業現場側に配置される現場側情報提示装置と、そこからカメラ撮影画像を受信する一方、同装置に対し作業支援情報を送信出力する遠隔作業支援装置とを備えた作業支援システムであって、現場側情報提示装置が、複数のカメラ１１ａ、１１ｂを有するビデオ透過方式の情報提示装置で構成されるとともに、作業を行う操作手部３１、３２および操作対象部位３３ａ〜３３ｃのうち少なくとも操作手部３１、３２の表面にマーカ面３５、３６が設けられ、遠隔作業支援装置は、現場側情報提示装置から受信入力する画像情報中の操作対象部位３３ａ〜３３ｃおよびマーカ面３５、３６の動き情報を基に、操作手部３１、３２の動きもしくは注視点位置の移動に関する作業支援情報を現場側情報提示装置に重畳表示可能に出力する。【選択図】図１

Description

本発明は、作業支援システムおよび作業支援方法に関し、特に保守管理作業等の現場で使用される現場側情報端末およびその現場から離れた遠隔作業支援装置を含む作業支援システムとそのようなシステムを用いる作業支援方法とに関する。

各種の制御システムやサーバ装置等の保守管理を行う場合、その保守点検や障害対応時に多工程にわたる煩雑な作業が要求されることが多く、その一部工程中の作業ミスが保守対象に対する障害を引き起こす可能性もあるため、各現場の作業者に対して遠隔で作業支援を可能ならしめる作業支援システムおよび作業支援方法が従前より提案されている。

この種の作業支援システムおよび作業支援方法としては、例えば光学透過型のヘッドマウントディスプレイの片目側にカメラ画像表示領域を設定した作業者側情報端末と、その作業者側情報端末に作業部位を指示するための支援情報を送信する遠隔支援装置とを備え、遠隔支援装置からの支援情報を基に作業者側情報端末のカメラ画像表示領域に作業部位を示すマーカを重ねて表示するものがある（例えば、特許文献１参照）。

特開２００８−１２４７９５号公報

しかしながら、前述の従来の作業支援システムおよび作業支援方法では、作業者に作業対象部位を指示する画像を提示できても、作業の適否に関する的確な作業支援情報を適時に提示できない場合があり、作業ミスの発生や作業効率の低下が懸念されていた。

例えば、遠隔作業支援者側で作業を監視しているにもかかわらず、作業者の作業時の手元の動きが十分に監視できず、作業者がマーカにより指示された作業対象部位を見誤って異なる部位（例えば、視線方向の奥行きの異なる部位）に誤操作を加えようとしている等、作業ミスの蓋然性が高い操作を的確に把握できず、作業ミスの発生等が懸念されていた。

また、同時に作業を行っている複数の作業者のそれぞれに対して作業支援を行いたい場合に、各作業者の動き、特にその作業時の手元の動きを必要な監視タイミングで確実に監視することが容易でないため、監視中の複数の作業者のうちいずれかが誤った作業対象部位や触れてはいけない部位に触れてしまうことを事前に確実に認識できないことからも、作業ミスの発生や作業効率の低下が懸念されていた。

本発明は、このような従来の課題を解決すべくなされたものであり、作業者に対し適時に的確な作業支援情報を提示でき、作業ミスの発生や作業効率の低下を有効に抑止できる作業支援システムおよび作業支援方法を提供することを目的とする。

本発明に係る作業支援システムは、上記目的達成のため、作業がなされる現場側に配置される現場側情報提示装置と、前記現場側情報提示装置からカメラ撮影された画像情報を受信入力する一方、前記現場側情報提示装置に対し作業支援情報を送信出力する遠隔作業支援装置と、を備えた作業支援システムであって、前記現場側情報提示装置が、互いに離間する複数の視点位置に複数のカメラを有するビデオ透過方式の情報提示装置で構成されるとともに、前記現場で作業を行う操作手部および該操作手部による操作対象のうち少なくとも前記操作手部の表面にマーカ面が設けられ、前記遠隔作業支援装置は、前記現場側情報提示装置から受信入力する画像情報中の前記操作対象部位および前記マーカ面の動き情報を基に、前記操作手部の動きもしくは注視点位置の移動に関する作業支援情報を前記現場側情報提示装置に重畳表示可能に出力することを特徴とするものである。

この構成により、本発明では、現場側情報提示装置から遠隔作業支援装置に受信入力される画像において、少なくともマーカ面が装着された操作手部を容易に視認でき、操作対象部位に対する操作手部の動き、例えば奥行き方向の移動や、操作手部の姿勢の変化が容易に視認可能となる。また、現場側情報提示装置での注視点方向への視線に対して、カメラによる撮影の視野範囲を十分に確保することで、操作手部が操作対象部位に正常に接近しているか否かを容易に認識できる。したがって、作業者に対し適時に的確な作業支援情報を提示でき、操作手部の動きの結果が被操作部である操作対象部位に現れる前に適切な指示を発して作業ミスの発生や作業効率の低下を未然に防止したり、誤った作業が開始されたとしても即座に正常方向に誘導したりする作業支援ができることになる。

本発明に係る作業支援システムにおいては、各作業工程中における所定時間毎にマーカ面の動きを基に操作手部の動きの適否を判定して、操作手部の誤った方向への動きをその開始直後に即座に修正可能にするのがよい。前記操作手部は、例えば作業者の手に装着される手袋であってもよいし、作業者が持つ工具類等であってもよい。前記マーカ面は、前記現場の撮影画像とは異なる色に着色されているとよい。また、複数の操作対象部位に色や模様の異なる複数種のマーカ面を設ける構成とすることもできる。

また、前記遠隔作業支援装置にて、前記現場側情報提示装置から受信入力する画像情報中に前記マーカ面が含まれているか否かを判定し、前記マーカ面が視野に入ったときに、遠隔作業支援装置側で作業支援情報が必要なことを遠隔作業支援者に報知したり、撮影画像から特定される作業対象部位とマーカ面の動きに対して現工程での作業手順に応じた最適な支援情報を蓄積情報から抽出したりするようにしてもよい。

本発明に係る作業支援方法は、上記目的達成のため、作業がなされる現場側で現場側情報提示装置によりカメラ撮影された画像情報を遠隔作業支援装置側に受信入力する一方、遠隔作業支援装置から現場側情報提示装置に対し作業支援情報を送信出力して、前記作業を支援する作業支援方法であって、前記現場側情報提示装置にて、互いに離間する複数の視点位置からそれぞれカメラ撮影した画像を基にビデオ透過方式の画像情報提示を行うとともに、前記現場で作業を行う操作手部および該操作手部による操作対象のうち少なくとも前記操作手部の表面にマーカ面を配置しておき、前記遠隔作業支援装置側では、前記現場側情報提示装置から受信入力する画像情報中の前記操作対象部位および前記マーカ面の動き情報を基に、前記操作手部の動きもしくは注視点位置の移動に関する作業支援情報を前記現場側情報提示装置に重畳表示可能に出力することを特徴とするものである。

この構成により、本発明では、現場側情報提示装置から遠隔作業支援装置に受信入力される画像を基に、少なくともマーカ面が装着された操作手部を容易に視認でき、操作対象部位に対する操作手部の動き、例えば奥行き方向の移動や、操作手部の姿勢の変化を容易に視認できる。したがって、作業者に対し適時に的確な作業支援情報を提示でき、操作手部の動きの結果が被操作部である操作対象部位に現れる前に適切な指示を発して作業ミスの発生や作業効率の低下を未然に防止したり、誤った作業が開始されたとしても即座に正常方向に誘導したりする作業支援が可能となる。

また、本発明の作業支援方法においては、遠隔作業支援装置側で、現場側情報提示装置から受信入力する画像情報中にマーカ面が出現したときに、遠隔作業支援者に注意を喚起する報知を行ったり、作業対象部位に対するマーカ面の動きや現工程での作業手順に応じた最適な支援情報を送信出力したりしてもよい。

本発明によれば、作業者に対し適時に的確な作業支援情報を提示でき、作業ミスの発生や作業効率の低下を有効に抑止できる作業支援システムおよび作業支援方法を提供することができる。

本発明の一実施の形態に係る作業支援システムの概略システム構成図である。 本発明の一実施の形態に係る作業支援システムにおける現場側情報提示装置のカメラおよびスクリーンの配置説明図である。 本発明の一実施の形態に係る作業支援システムにおける支援情報作成の概略の手順を示すフローチャートである。 本発明の一実施の形態に係る作業支援システムにおける作業支援装置側で受信入力されたカメラ画像から作業支援情報を生成する手順の一例を示すフローチャートである。

以下、本発明を実施するための形態について、図面を参照しつつ説明する。

図１ないし図４は、本発明の一実施形態に係る作業支援システムおよび同システムを用いる一実施形態の作業支援方法を示している。

まず、構成について説明する。

図１および図２に示すように、本実施形態の作業支援システムは、作業がなされる現場側に配置される現場側情報提示装置１０と、この現場側情報提示装置１０がネットワーク５０を介して通信接続可能な遠隔作業支援装置２０とを備えている。

現場側情報提示装置１０は、例えば所定の保守管理対象のシステムや設備、機器に対して定期検査や修理等の保守作業を行う作業者の眼前に画像情報を提示可能な装置、例えば作業者の頭部に着脱可能に装着されるものである。この現場側情報提示装置１０は、少なくとも互いに離間する左右の視点に対応する複数のカメラ１１ａ、１１ｂを有するビデオシースルー方式のヘッドマウントディスプレイとして構成されており、保守作業の現場を両カメラ１１ａ、１１ｂにより撮影し映像化する機能と、カメラ撮影したその映像（観測画像）を左右のスクリーン１２ａ、１２ｂに表示する機能と、その表示中の映像の信号を所定の伝送方式で外部に送信出力する機能とを有している。

遠隔作業支援装置２０は、サーバ装置として構成されており、現場側情報提示装置１０からカメラ撮影された画像情報を受信入力する一方、その現場側情報提示装置１０に対し作業ミスの防止に有効な作業支援情報を送信出力する機能を有している。

ここにいう作業支援情報は、少なくとも不慣れな作業者や難易度の高い作業であっても作業ミスを防止することができるように、予めマニュアル化された作業項目ごとの作業手順や確認事項その他の作業条件、ならびにその作業条件に基づく各工程の作業およびその作業途中の動きの適否の判定基準等である。

現場側情報提示装置１０は、作業者の左右両眼に対応する２台のカメラ１１ａ、１１ｂにより作業現場を撮影することで、作業者に立体的な映像（３次元の映像）を提供可能にしたものであり、作業者が作業をしている手元、例えば手袋等の操作手部の３次元の映像をネットワーク５０を介して遠隔作業支援装置２０に送信出力できるようになっている。

また、現場側情報提示装置１０は、遠隔作業支援装置２０から送信出力された作業支援情報を受信入力し、スクリーン１２ａ、１２ｂに作業支援情報を重畳表示する機能を併有している。

具体的には、現場側情報提示装置１０は、作業者の頭部に着脱可能な所定形状をなし、左右のカメラ１１ａ、１１ｂおよび左右のスクリーン１２ａ、１２ｂを支持する筐体１３と、筐体１３内に収納された映像系制御部１４と、送信側および受信側の通信制御部１５ａ、１５ｂと、筐体１３を作業者の頭部に固定するバンド１６を有している。また、現場側情報提示装置１０は、図示しない音声入出デバイス、操作入力デバイス、バッテリ、アンテナ等を有している。さらに、現場側情報提示装置１０は、図示しない位置および姿勢角検知用センサを併有しているものであってもよい。

左右のカメラ１１ａ、１１ｂは、現場側情報提示装置１０の筐体１３に固定されているとともに、現場側情報提示装置１０の同一頭部姿勢内における作業者の注視点の変化に関係なくその全視野領域を撮影するものとして構成されており、左右のスクリーン１２ａ、１２ｂおよび映像系制御部１４は、その全視野領域の範囲に及ぶ画像を映し出すことができるものとなっている。

映像系制御部１４は、左右のカメラ１１ａ、１１ｂからの映像を、筐体１３を透過して作業者の両眼に見えるべき現場作業空間内の観測画像として、左右のスクリーン１２ａ、１２ｂ（表示素子）に表示させ、作業者に奥行きが明確な３次元の観測画像を提供するための画像処理と、その画像の入出力制御とを行うもので、左右のスクリーン１２ａ、１２ｂへの表示処理に際して遠隔作業支援装置２０からの作業支援情報を重畳表示する処理も実行可能になっている。

送信側の通信制御部１５ａは、少なくとも左右のスクリーン１２ａ、１２ｂに表示される映像と同様な映像のデータを映像系制御部１４から受け取り、高速データ通信が可能なネットワーク５０を介して遠隔作業支援装置２０に送信可能な画像信号として生成し、所定の伝送方式で送信出力するようになっている。

受信側の通信制御部１５ｂは、遠隔作業支援装置２０からの作業支援情報をネットワーク５０を介して受信し、左右のカメラ１１ａ、１１ｂによる観測画像に重畳表示可能な情報として映像系制御部１４に受け渡すことができるようになっている。

遠隔作業支援装置２０には、分析処理部２１、条件抽出部２２、判定処理部２３および支援情報出力部２４が設けられるとともに、受信側および送信側の通信制御部２５ａ、２５ｂが設けられている。

分析処理部２１は、現場側情報提示装置１０からのカメラ映像と後述する作業環境情報を基に、更には予め入力された作業予定情報を基に、所定時間毎に、作業者が置かれている作業環境を特定する分析処理、その作業環境下における作業項目に応じた作業対象部位やその作業対象部位の状態を特定する分析処理、作業対象部位に対する作業者の移動方向や距離の分析処理、作業者の手袋等の１つまたは複数の操作手部３１、３２の動き（移動および姿勢）の分析処理、それらの分析処理に基づく作業内容の分析処理といった処理のいずれかを実行するようになっている。

この分析処理部２１は、例えば保守対象の外観上の特徴的な形状、模様、色彩のいずれか又はそれらの組合せ（以下、特徴形状等という）を予め蓄積記憶させておき、現場側情報提示装置１０のカメラ映像から抽出される特徴形状等を蓄積された特徴形状等と比較することで、作業対象部位を特定することができる。例えば、保守対象機器の製品仕様書から明らかな保守対象の外形、操作対象部位の形状、色もしくは輝度、ケーブル類の被覆の色や模様、粘着性のマーカ面の色や形状ならびにそのマーカ面が貼り付けられた保守対象機器や操作対象部位に貼り付けられている。

また、本実施形態では、現場で作業を行う作業者の手袋等の操作手部３１、３２とそれら操作手部３１、３２による操作される操作対象部位３３ａ、３３ｂ、３３ｃとのうち少なくとも操作手部３１、３２の表面、例えば操作手部３１、３２および特定の操作対象部位３３ａのそれぞれの表面の一部（全部でもよい）には、それぞれの色付き表面を形成する複数のマーカ面３５、３６が設けられており、操作手部３１、３２や特定の操作対象部位３３ａの動きを明確に認識できるようになっている。

そして、分析処理部２１は、現場側情報提示装置１０からのカメラ映像を基に、前述の分析処理を実行し、少なくともマーカ面３５、３６が装着された操作手部３１、３２や操作対象部位３３ａの動き、例えば視線奥行き方向への移動や、操作手部３１、３２の姿勢の変化を特定することができ、作業者の作業内容や作業対象の状態を特定することができる。また、現場側情報提示装置１０のカメラ１１ａ、１１ｂによる撮影の視野範囲が、作業者の視野Ａ以上に十分に確保されることで、現場側情報提示装置１０の姿勢や視線方向が保守対象方向に向かっているか、あるいは、操作手部３１、３２が操作対象部位に正常に接近しているか誤って離隔しているか等を早期に容易に分析することができる。

条件抽出部２２は、分析処理部２１で分析された作業者の作業内容や作業対象の状態の把握情報を基に、予め蓄積記憶された作業条件を抽出するようになっている。

具体的には、条件抽出部２２では、現場側情報提示装置１０から受信入力する画像情報中の操作対象部位３３ａ〜３３ｃおよびマーカ面３５、３６等の動き情報を基にした分析処理部２１での分析結果に応じて、予め蓄積記憶された作業手順や確認事項等の作業条件を特定する情報から、その分析結果に対応する位置や動きの適否の判定条件と、それに対応する他の作業支援情報を所定時間毎に抽出するようになっている。

判定処理部２３は、条件抽出部２２で抽出された作業条件およびその作業の適否判定基準に従って、現作業工程における作業者の動きや作業内容の適否（ＯＫ、ＮＧ）を判定し、不慣れな作業者や難易度の高い作業であっても作業ミスを防止し得るようになっている。

具体的には、判定処理部２３は、制御周期に対応する所定時間中に条件抽出部２２で抽出された判定条件に従って、操作手部３１が操作対象部位３３ａに接近する動きの適否を判定し、例えば図２に示すような状態から操作手部３１が特定の電源スイッチ等の操作対象部位３３ａに接近する動きが手順通りであればＯＫと判定し、その操作手部３１が操作対象部位３３ａに接近する動きが手順通りでなければＮＧと判定するようになっている。同図中の保守対象は、例えばラック４１に収納された複数のサーバ４２、４３、４４であり、それらの背面側に操作対象部位３３ａ〜３３ｃが設けられている。

支援情報出力部２４では、判定処理部２３での判定結果に応じて、操作手部３１、３２の動きもしくは現場側情報提示装置１０における注視点位置の移動等に関する支援情報、例えば作業指示を、現場側情報提示装置１０に提示する重畳表示可能な画像情報として出力するようになっている。より具体的には、例えば操作手部３１が操作対象部位３３ａに接近する動きが手順通りであればＯＫ表示の出力画像を生成し、操作手部３１が操作対象部位３３ａに接近する動きが手順通りでなければＮＧ表示の出力画像を生成して、現場側情報提示装置１０で受信可能な伝送形式で送信出力するようになっている。

したがって、現場側情報提示装置１０では、例えば操作手部３１が操作対象部位３３ａに接近する動きが手順通りであれば、スクリーン１２ａ、１２ｂに表示される透過画像にＯＫ表示の出力画像が重畳表示される一方、操作手部３１が操作対象部位３３ａに接近する動きが手順通りでなければ、スクリーン１２ａ、１２ｂに表示される透過画像にＮＧ表示の出力画像が重畳表示される。

受信側の通信制御部２５ａは、現場側情報提示装置１０のスクリーン１２ａ、１２ｂに表示される映像と同様な映像のデータを、現場側情報提示装置１０から高速データ通信が可能なネットワーク５０を介して受信入力し、分析処理部２１に受け渡すことができる。

また、送信側の通信制御部２５ｂは、支援情報出力部２４で生成された出力画像、例えばＯＫ表示またはＮＧ表示の出力画像を、現場側情報提示装置１０に対し作業ミスの防止に有効な作業支援情報として、所定の伝送方式で送信出力できるようになっている。

遠隔作業支援装置２０には、また、データ蓄積部２６およびヒューマンインターフェースデバイス部２７（以下、ＨＩＤ２７という）が付設されている。

データ蓄積部２６には、各保守対象の特徴形状等、保守管理項目（作業項目）ごとの作業工程、作業項目ごとの作業内容、各工程での作業手順や確認事項等の作業条件、各工程での作業の適否の判定基準、各工程での操作手部の位置や動きの適否の判定条件、それらの判定結果に応じて選択されるべき作業支援情報の選択肢等が抽出可能に蓄積されており、ヒューマンインターフェースデバイス部２７は、重要監視項目の作業支援情報の選択肢を選択する操作入力や遠隔作業支援者からの指示等が可能になっている。

具体的には、データ蓄積部２６は、分析処理部２１での分析処理に必要な情報、例えば保守対象が置かれた作業環境を特定するための特徴情報、その作業環境下における作業項目に応じた作業対象部位やその作業対象部位の状態を特定するための特徴情報、予定される作業項目、作業項目ごとの各作業工程、複数のマーカ面３５、３６の特徴情報、および、作業工程中の各操作段階について設定されたマーカ面３５の所定時間毎にとり得る位置や許容誤差等が蓄積されるようになっている。

ＨＩＤ２７においては、遠隔作業支援者が判定処理部２３での判定条件や適当な指示情報を画像として入力したり、作業支援画像もしくはそれに付随する音声情報等を入力したりすることができる。また、ＨＩＤ２７は、分析処理部２１、条件抽出部２２および判定処理部２３での処理条件についてチェックや変更を行うのに利用することができるディスプレイと、キーボード、マウスその他のポインティングデバイス、音声入出力デバイス等を含んで構成されている。

次に、本実施形態の作用について説明するとともに、本発明に係る作業支援方法の一実施形態について説明する。

上述のように構成された本実施形態の作業支援システムにおいては、現場側情報提示装置１０および遠隔作業支援装置２０により、図３にフローチャートで示すような概略の手順で所定の処理が実行される。

まず、作業者が現場側情報提示装置１０を装着して現場に入ると、カメラ１１ａ、１１ｂで撮影された映像からビデオ透過画像が作成され、スクリーン１２ａ、１２ｂにより作業者に対し３次元の観測画像として提示される（ステップＳ１１）。

また、現場側情報提示装置１０から送信出力される映像信号が遠隔作業支援装置２０に受信入力され、現場側情報提示装置１０により作業者に提示される３次元の観測映像がＨＩＤ２７により遠隔作業支援者に対しても提示される。

このとき、遠隔作業支援装置２０では、分析処理部２１により、作業工程や作業内容、作業対象の状態等を認識するための観測画像の分析処理がなされ、条件抽出部２２では、その分析結果を基に、データ蓄積部２６に予め蓄積記憶された作業条件のうち分析結果に対応する作業条件やそれに関連する指示の選択肢の情報等が抽出され、ＨＩＤ２７により遠隔作業支援者に必要な情報が表示される（ステップＳ１２）。

具体的には、分析処理部２１での分析により観測画像から得られた作業対象物や周辺の工具類の特徴、操作対象部位３３ａ〜３３ｃの特徴、マーカ面３５、３６の動きの情報等を基に、条件抽出部２２では、予めデータ蓄積部２６に蓄積記憶されたある作業工程における作業手順や確認事項等の作業条件を特定する情報、その情報に関連する操作手部３１、３２の位置や動きの適否の判定条件等が抽出されるとともに、それらに関連する指示その他の作業支援情報の選択肢が所定時間毎に抽出される。そして、指示その他の作業支援情報の選択肢がＨＩＤ２７にて遠隔作業支援者により選択可能な形態で表示される。

また、判定処理部２３では、条件抽出部２２で抽出された情報、例えば現在の作業工程、操作対象部位３３ａ〜３３ｃの特徴の検出位置および姿勢、マーカ面３５、３６の位置、姿勢および動き、作業工程ごとの作業手順や確認事項等の作業条件、マーカ面３５、３６の動きに対応する操作手部３１、３２の位置や動きの適否の判定条件等といった情報のいずれかを基に、観測画像中の操作手部３１、３２による作業の開始時や作業途中の動きの適否が判定され、作業ミスの有無（ＯＫ、ＮＧ）が判定される（ステップＳ１３）。

そして、作業ミスが無いと判定された場合には、作業ミスの無い手順通りの作業がなされていることを示すＯＫ表示の画像が生成され（ステップＳ１４）、作業ミスが有るか作業ミスにつながる操作手部３１、３２の動きであると判定された場合には、作業ミスとなる作業がなされていることを示すＮＧ表示の画像が生成されて（ステップＳ１５）、これらのうちいずれかの判定結果の表示画像が観測画像に重畳可能に出力されることで、その判定結果を付与した立体表示画像が、現場側情報提示装置１０のスクリーン１２ａ、１２ｂおよび遠隔作業支援装置２０のＨＩＤ２７にて、それぞれ提示されることになる（ステップＳ１６）。

より具体的な例で説明すると、いま、図２に示すように、例えば現場側情報提示装置１０を通した視野の範囲Ａ内に作業者の両手に装着された手袋等の操作手部３１、３２および操作対象部位３３ａ〜３３ｃが表示されているものとする。

このとき、遠隔作業支援装置２０に受信入力される３次元の観測画像においては、少なくとも背景色と明確に異なる色付きのマーカ面３５、３６が装着された操作手部３１、３２および操作対象部位３３ａを容易に認識でき、例えばＨＩＤ２７を使用して遠隔から作業指示を出す遠隔作業支援者は、操作対象部位３３ａに対する操作手部３１、３２の位置、姿勢および動き、例えば視線の奥行き方向の移動や、操作手部３１、３２の姿勢の変化が容易に視認できることになる。

また、現場側情報提示装置１０での注視点（例えば、視野Ａの中心）方向への視線に対して、カメラ１１ａ、１１ｂによる撮影の視野範囲（視野Ａより広い範囲）を十分に確保することで、例えば電源スイッチやケーブル類の着脱部等といった操作対象部位３３ａに対して操作手部３１、３２が正常に接近しているか、あるいは誤って他の操作対象部位３３ｂまたは操作対象部位３３ｃに接近しているかを容易にかつ早期に認識することができ、特に、遠隔作業支援者は、作業者の視野Ａに入る直前の範囲に及んでその作業状況をモニタすることができ、より的確な指示等を出すことができる。

したがって、作業者に対し適時に的確な作業支援情報を提示でき、例えば操作手部３１の動きが誤っているときに、その動きによる操作の結果が誤った操作対象部位３３ｂまたは３３ｃ等に現れる前に、適切な指示を発して作業ミスの発生を未然に防止でき、あるいは、操作手部３１の動きが誤っていないか迷っている不慣れな作業者に対しては正しい作業であることを知らせて、作業効率の低下を有効に抑止することができる。また、万一、操作手部３１の動きが誤った操作となってしまったとしても、即座に正常な方向に誘導したり、トラブルシュートの手順を指示したりする作業支援を行うことができる。

本実施形態では、各作業工程中における所定時間毎に、マーカ面３５、３６の動きを基に、操作手部３１、３２の動きの適否を判定し、それらの操作手部３１、３２の誤った方向への動きをその開始直後に修正できるので、作業ミスの発生を有効に抑止できる。

もっとも、図４に示すように、分析処理部２１および条件抽出部２２においては、作業対象物のみならずその周辺の工具類その他の物の特徴を検出し、データ蓄積部２６に予め蓄積記憶された情報を基に作業対象や作業環境を把握する作業対象の特定段階（ステップＳ２１）と、操作対象部位３３ａ〜３３ｃ等の特徴やそこに設けられたマーカ面３５、３６の特徴およびその動きの検出によって、マーカ面３５、３６を装着した操作手部３１、３２の動作パターンおよび作業状態を把握する段階（ステップＳ２２）と、その動作パターンおよび作業状態の変化から、作業項目、工程ごとの作業動作、確認事項等を推定する段階（ステップＳ２３）とを含む画像解析処理を実行し、その結果を、マーカ面３５、３６を装着した操作手部３１、３２の動きが手順通りの作業に沿った動作パターンおよび作業状態か否かの適否判定に用いるようにしてもよい。

ここでのマーカ面３５、３６の動きの検出には、左右の操作手部３１、３２に装着された複数のマーカ面３５の相対変位の検出が含まれ得るし、片側の操作手部３１または３２の指部等に装着された複数のマーカ面３５同士の相対変位の検出が含まれ得る。また、マーカ面３５、３６の動きの検出には、制御周期に対応する所定時間内の始期の位置から最後の位置へのマーカ面３５、３６の変位のみならず、前周期におけるマーカ面３５、３６の変位方向から今回のマーカ面３５、３６の変位方向への方向変化の検出が含まれ、その検出結果は、操作手部３１、３２の動きが特定の作業工程でなされるべき操作手部３１、３２の動作パターンに沿った動きか否かの判定に用いることができる。

このように、本実施形態においては、作業がなされる現場側で現場側情報提示装置１０によりカメラ撮影された画像情報を遠隔作業支援装置２０側に受信入力する一方、遠隔作業支援装置２０から現場側情報提示装置１０に対し作業支援情報を送信出力して、作業を支援する作業支援方法を採用し、現場側情報提示装置２０にて、互いに離間する複数の視点位置からそれぞれカメラ撮影した画像を基にビデオ透過方式の画像情報提示を行うとともに、現場で作業を行う操作手部３１、３２およびそれらによる操作対象部位３３ａ〜３３ｃ等のうち少なくとも操作手部３１、３２の表面にマーカ面３５、３６を配置しておき、遠隔作業支援装置２０側では、現場側情報提示装置１０から受信入力する画像情報中の操作対象部位３３ａ〜３３ｃおよびマーカ面３５、３６の動き情報を基に、操作手部３１、３２の動きもしくは注視点位置の移動に関する作業支援情報を現場側情報提示装置１０に重畳表示可能に出力する。

したがって、本実施形態では、現場側情報提示装置１０から遠隔作業支援装置２０に受信入力される画像を基に、少なくともマーカ面３５、３６が装着された操作手部３１、３２を容易に視認でき、操作対象部位３３ａ〜３３ｃ等に対する操作手部３１、３２の動き、例えば奥行き方向の移動や、操作手部３１、３２の姿勢の変化を容易に視認可能となる。その結果、作業者に対して適時に的確な作業支援情報を提示でき、操作手部３１、３２の動きの結果が被操作部である操作対象部位３３ａ〜３３ｃに現れる前に適切な指示を発して作業ミスの発生を未然に防止したり、誤った作業が開始されても即座に正常方向に誘導したりでき、作業ミスの発生や作業効率の低下を有効に抑止することができる。

なお、本実施形態では、マーカ面３５、３６は、背景色とは異なる色付きのものとしたが、現場の観測画像とは色相、明度または彩度のいずれかが顕著に異なる着色がされていればよい。また、複数の操作対象部位３３ａ〜３３ｃ等に色や模様の異なる複数種のマーカ面を設ける構成とすれば、現場側情報提示装置１０での注視点への視線方向あるいは操作手部３１、３２の動きの方向が適切か否かがより容易に把握可能となる。

操作手部３１、３２は、作業者の手に装着される手袋としたが、作業者が持つ工具類等であってもよい。また、遠隔作業支援装置２０の分析処理部２１にて、現場側情報提示装置１０から受信入力する観測画像中にマーカ面３５、３６のいずれか含まれているか否かを判定し、観測画像中にマーカ面３５、３６のいずれかが出現したときに、遠隔作業支援者に注意を喚起する表示や音声による報知をＨＩＤ２７で行って、複数の作業者に対する遠隔作業支援者の負担を軽減するようにしてもよい。

また、観測画像中の作業対象部位３３ａ〜３３ｃ等に対するマーカ面３５、３６の動きについて、現工程での作業手順に応じた最適な支援情報を、遠隔作業支援者の選択操作無しで送信出力するようにすることも考えられる。さらに、現場側情報提示装置１０が作業者に代わるロボットや自動機に装着され、操作手部３１、３２がそのロボットや自動機の一部に装着される工具等で構成されることも考えられる。いずれの場合も、観測画像から作業対象部位の輪郭その他の特徴を認識したりマーカ面の特徴（色、複数のカーマの相対位置や形状等）を認識したりすることが可能である。

以上説明したように、本発明の作業支援システムおよび作業支援方法は、作業者に対し適時に的確な作業支援情報を提示でき、作業ミスの発生や作業効率の低下を未然に防止したり誤った作業を即座に修正したりでき、作業ミスの発生等を有効に抑止することができる。かかる本発明は、現場側情報端末および遠隔作業支援装置を含む作業支援システムならびにそのようなシステムを用いる作業支援方法全般に有用である。

１０ 現場側情報提示装置（ヘッドマウントディスプレイ）
１１ａ、１１ｂ カメラ
１２ａ、１２ｂ スクリーン
１３ 筐体
１４ 映像系制御部
１５ａ 送信側の通信制御部
１５ｂ 受信側の通信制御部
１６ バンド
２０ 遠隔作業支援装置
２１ 分析処理部
２２ 条件抽出部
２３ 判定処理部
２４ 支援情報出力部
２５ａ 受信側の通信制御部
２５ｂ 送信側の通信制御部
２６ データ蓄積部
２７ ＨＩＤ（ヒューマンインターフェースデバイス部）
３１、３２ 操作手部
３３ａ、３３ｂ、３３ｃ 操作対象部位
３５、３６ マーカ面
５０ ネットワーク

Claims (2)

1. 作業がなされる現場側に配置される現場側情報提示装置と、前記現場側情報提示装置からカメラ撮影された画像情報を受信入力する一方、前記現場側情報提示装置に対し作業支援情報を送信出力する遠隔作業支援装置と、を備えた作業支援システムであって、
   前記現場側情報提示装置が、互いに離間する複数の視点位置に複数のカメラを有するビデオ透過方式の情報提示装置で構成されるとともに、
   前記現場で作業を行う操作手部および該操作手部による操作対象のうち少なくとも前記操作手部の表面にマーカ面が設けられ、
   前記遠隔作業支援装置は、前記現場側情報提示装置から受信入力する画像情報中の前記操作対象部位および前記マーカ面の動き情報を基に、前記操作手部の動きもしくは注視点位置の移動に関する作業支援情報を前記現場側情報提示装置に重畳表示可能に出力することを特徴とする作業支援システム。
2. 作業がなされる現場側で現場側情報提示装置によりカメラ撮影された画像情報を遠隔作業支援装置側に受信入力する一方、遠隔作業支援装置から現場側情報提示装置に対し作業支援情報を送信出力して、前記作業を支援する作業支援方法であって、
   前記現場側情報提示装置にて、互いに離間する複数の視点位置からそれぞれカメラ撮影した画像を基にビデオ透過方式の画像情報提示を行うとともに、
   前記現場で作業を行う操作手部および該操作手部による操作対象のうち少なくとも前記操作手部の表面にマーカ面を配置しておき、
   前記遠隔作業支援装置側では、前記現場側情報提示装置から受信入力する画像情報中の前記操作対象部位および前記マーカ面の動き情報を基に、前記操作手部の動きもしくは注視点位置の移動に関する作業支援情報を前記現場側情報提示装置に重畳表示可能に出力することを特徴とする作業支援方法。

Images