JP2014079824A - 作業画面表示方法および作業画面表示装置 - Google Patents

Abstract

【課題】１台の監視カメラで周辺の状況を俯瞰し、作業性を向上することができる作業画面表示方法及び作業画面表示装置。
【解決手段】作業手段移動部を有する作業装置１０１と、作業装置及び作業箇所１００を撮影する監視カメラ１０２と、監視カメラの撮影画像を画像処理及び記録する画像処理手段１０３と、画像を表示する出力装置１０５が配置された操作系領域１１５を有し、操作系領域にて操作する際に出力装置に表示される画像を生成して表示する作業画面表示方法において、画像処理手段は、撮影した作業前の作業箇所を初期画像として記録する初期画像記録ステップと、撮影した作業中の作業装置を作業画像として記録する作業画像記録ステップと、作業画像中の作業手段移動部が表示されている領域を特定領域として設定する領域設定ステップと、特定領域には初期画像を、それ以外の領域には作業画像を表示する表示ステップを有する。
【選択図】図１

Description

本発明は、例えば原子力施設内や宇宙空間あるいは水中などにおける作業装置の作業箇所を撮影して表示する作業画面表示方法および作業画面表示装置に関する。

従来、原子力施設内や宇宙空間あるいは水中などにおける機材、装置の組立て、加工、保守、点検などの作業は、操作者がマニピュレータ等の作業装置を遠隔で操作し、作業箇所や作業装置の位置・姿勢などの様子を、作業場所から隔絶された場所に設置された監視カメラの画像をスクリーンやモニタなどの表示装置で確認しながら行っている。

このような遠隔作業において、監視カメラの設置台数や位置は、特殊な作業環境の制約を受けることが多く、作業箇所や作業姿勢によっては作業装置が監視カメラの視界を遮ることになり、視認したい作業箇所などが死角となり作業が困難になる場合がある。

このような遠隔作業における監視カメラ画像の死角を低減する方法として、作業装置を構成する作業工具にカメラを内蔵すると共に、別のカメラを併用することで、監視画像に遠隔作業装置自身が映りこまないようにして遠隔作業を行うもの（特許文献１）や、複数の監視カメラを設置することにより、一つの監視カメラで撮影した画像から死角を形成している作業工具などの領域を取り除き、この画像に、他のカメラで撮影した死角のない作業工具などの画像を合成することで作業箇所が視認できるようにしたものが提案されている。

特開平９―２３４６８５号公報

作業工具内にカメラを内蔵する上記特許文献１の方法では、遠隔作業装置の手先効果器（ロボットハンド）近傍にカメラを配置することになるため、広域の画像を撮影することはできない。そのため、例えばボルトのナット部など作業対象物の局所的な箇所の視認確認には有効であるが、周辺の状況を俯瞰したい場合には利用できないという課題がある。

また、１台のカメラ画像だけでは作業対象物の位置や姿勢を３次元的に把握することはできないため、別の視点からのカメラを併用する必要があり、この併用カメラの画像では遠隔作業装置によって死角が発生する場合がある。

複数台のカメラの画像を合成する上記特許文献２の方法では、視点の異なる画像を合成するため、作業対象物の画像上の姿勢が実際と異なることになり、遠隔での作業に支障をきたすという課題がある。これは、死角をカバーするためにカメラ同士の距離が大きくなるほど顕著になる。

また、原子力施設内や宇宙空間あるいは水中といった場所では、使用できるカメラも特殊仕様の高価なものとなるため、１つの画像を提示するために複数台のカメラを使用することはコストの上昇、設備の複雑化を招くこととなる。

本発明は上記課題を解決するためになされたものであり、１台の監視カメラを用いて、周辺の状況を俯瞰できるとともに、作業箇所を常に視認しながら作業を行うことができる作業画面表示方法及び作業画面表示装置を提供することを目的とする。

上記課題を解決するために、本発明に係る作業画面表示方法は、作業手段を取付けられ、前記作業手段を移動させる作業手段移動部を有する作業装置と、前記作業装置及び作業箇所を撮影する監視カメラが配置された作業領域と、前記監視カメラの撮影画像を画像処理及び記録するための画像処理手段と、前記画像処理手段に記録された画像を表示するための出力装置が配置された操作系領域を有し、前記作業装置を前記操作系領域にて操作する際に前記出力装置に表示される画像を生成して表示する作業画面表示方法において、前記画像処理手段は、前記監視カメラで撮影した作業前の作業箇所を初期画像として記録する初期画像記録ステップと、前記監視カメラで撮影した作業中の作業装置を作業画像として記録する作業画像記録ステップと、前記作業画像中の前記作業手段移動部が表示されている領域を特定領域として設定する領域設定ステップと、前記出力装置において、前記特定領域には前記初期画像を、それ以外の領域には前記作業画像を表示する表示ステップを有することを特徴とする。

本発明の実施形態による作業画面表示方法および作業画面表示装置によれば、１台の監視カメラで周辺の状況を俯瞰しつつ作業箇所を常に視認しながら作業を行うことが可能となり、作業性を向上することができる。

本発明の第１実施形態に係る遠隔作業システムの全体構成図。 本発明の第１実施形態に係る監視カメラ画像例（初期画像例）。 本発明の第１実施形態に係る監視カメラ画像例（作業画像例）。 本発明の第１実施形態に係る画像合成処理のフロー図。 本発明の第１実施形態に係る合成画像例。 本発明の第２実施形態に係る遠隔作業システムの全体構成図。 本発明の第２実施形態に係る合成画像例。 本発明の第３実施形態に係る合成画像例。

以下、本発明に係る実施形態について図面を参照して説明する。
[第１実施形態]
本発明の作業画面表示方法を遠隔作業システムに適用した第１実施形態について、図１〜図５を参照して説明する。

（構成）
図１は本実施形態に係る遠隔作業システムの全体構成図を示す。遠隔作業システムは、作業領域１００と、操作者１０４の近傍に配置される操作系領域１１５とからなり、作業装置１０１を操作系領域１１５にて操作者１０４がモニタ１０５の画面を見ながら操作盤１０６を操作して遠隔操作を行う。

本実施形態では、作業例として作業装置１０１がコネクタプラグ１１０を把持し作業基台１１４上のコネクタソケット１１１に着脱する作業について説明するが、これに限定されず、様々な作業に適用できることはもちろんである。

作業領域１００には、作業手段移動部としてのアーム１０７、作業手段としてのロボットハンド（手先効果器）１０９などからなる作業装置１０１、監視カメラ１０２、コネクタソケット１１１が設置された作業基台１１４、作業装置１０１を移動させる移動手段１１２などが設けられている。なお、台車１１２は作業領域の広さに応じて適宜設けられるもので、省略可能である。

アーム１０７は、複数のリンク部１０８及びリンク部１０８を回動自在に接続するアーム関節部１１３を有する。リンク部１０８は単一の棒状部材としてもよいが、入れ子式のテレスコピック部材を用いて伸縮自在に構成してもよい。

ロボットハンド１０９は、リンク部１０８の先端に取付けられ、直接コネクタプラグ１１０を把持すると共に、ユニバーサル継ぎ手などにより３６０度の全方向に回動自在とされている。
監視カメラ１０２は、作業領域１００全体を俯瞰できる位置に設置され、作業装置１０１、着脱作業が行われる作業箇所などを含む作業領域全体を撮影する。

作業装置１０１が取付けられた台車１１２は、図示しない駆動手段により走行制御されて直線移動、あるいは２次元移動させることができる。なお、必要に応じて３次元移動が可能な移動手段も採用することができる。

一方、操作系領域１１５は、操作者１０４によって操作される機器が配置された領域であり、監視カメラ１０２の撮影画像を処理し記録する画像処理装置１０３、画像処理装置１０３に記録された画像を表示するためのモニタ１０５、操作盤１０６などが配備されている。

上記作業領域１００と操作系領域１１５とは、作業領域１００の監視カメラ１０２で撮影した画像を操作系領域１１５の画像処理装置１０３に送信するため、また、操作盤１０６により操作者が必要な遠隔操作を遠隔作業装置に指示するため、無線あるいは有線で結ばれており、図示しない送受信部を備えている。

このように構成された遠隔作業システムにおいて、例えば、コネクタプラグ１１０とコネクタソケット１１１の着脱作業では、操作者１０４は、コネクタソケット１１１の位置をモニタ１０５で確認しながらロボットハンド１０９でコネクタソケット１１０を把持し、アーム１０７を操作して作業箇所でコネクタプラグ１１０との着脱作業を実施する。

しかし、作業時の監視カメラ画像では、アーム１０７で隠れた範囲が死角になって着脱などの作業状況を視認できない場合がある。
その際、ロボットハンド１０９はコネクタソケット１１１などの作業対象物との位置関係を的確に把握するために、作業画像上に映っている必要があるが、アーム１０７はロボットハンド１０９を位置決めするための機構であるので、必ずしも作業画像上に見えている必要は無い。

そこで、本実施形態においては、アーム１０７により作業箇所が死角となった場合でも作業状況を視認することができるような監視カメラ画像を画像処理装置１０３で生成してモニタ１０５に表示する。

（作用）
以下、画像処理装置１０３で実施する具体的な処理手順について、図２〜図４を参照しながら説明する。

図４に示すステップ１において、アーム１０７が作業箇所近傍に無いときに監視カメラによって撮影された作業箇所の画像を初期画像として画像処理装置１０３に記録する。図２の２０１はこのようにして記録された初期画像例である。

ステップ２では遠隔作業が開始され、アーム１０７を作業箇所近傍に移動させ、監視カメラ１０２はその状況を撮影し作業画像として画像処理装置１０３に記録する。図３の作業画像例では、作業装置１０１のアーム１０７に隠れた範囲が死角となって、作業箇所に置かれたコネクタソケット１１１の全体を視認することができない状況となっている。

ステップ３では、作業画像において死角を形成しているアーム１０７の画像領域を特定領域として設定する。特定領域を抽出する方法としては、例えば、公知のクロマキー合成技術を利用することができる。具体的にはロボットハンド１０９以外のアーム１０７を周辺環境に無い系統の色（例えば緑色）に塗装しておき、画像上で緑色の領域を抽出することでアーム１０７の領域を特定することができる。
クロマキー合成技術以外にも、例えば特定の幾何学パターンの模様をアーム１０７に貼り付け、このパターン領域を認識する画像処理によって領域抽出を行っても良い。

ステップ４では、ステップ３で抽出したアーム１０７の画像領域を除去処理する。
ステップ５では、アーム１０７を除去処理した後の画像を除去後画像として記録する。
ステップ６、７では、ステップ５で記録された除去後画像に、ステップ１で記録された初期画像を合成してモニタに出力する。出力された合成画像４０１の例を図５に示す。

（効果）
以上から明らかなように、監視カメラ１０２で撮影した作業画像ではアーム１０７によって死角となっていたコネクタソケット１１１の全体が、合成画像では視認することができるため、コネクタプラグ１１０とコネクタソケット１１１を視認しながらロボットアーム１０７を正確に移動操作することが可能となるとともに、着脱操作も確実に実施することができる。

以上説明したように、本実施形態によれば、遠隔作業を行う際、監視カメラ画像にアーム等により死角が生じたとしても、上述した画像処理を行うことにより、作業状況を視認しながら遠隔操作が実施することが可能となるため作業性を大幅に向上することができる。
また、監視カメラを複数台用いる必要がないため、機材、設備費等のコストを低く抑えることができる。

[第２実施形態]
図６は本第２実施形態に係る作業画面表示方法を遠隔作業システムに適用した全体構成図を示している。
本実施形態では、アーム１０７の画像領域を抽出する方法として、３次元モデル処理装置５０１を用いている。

図６において、操作盤１０６はアーム１０７の各アーム関節部１１３の角度情報を保有しており、当該角度情報に基づいて、３次元モデル処理装置５０１は、３次元の構造モデルを用いてアーム１０７の位置と姿勢を算出する。この３次元モデル処理装置５０１では、仮想空間状に３次元の作業空間を構成しており、監視カメラ１０２の位置を実環境と同じ位置に定義することで、監視カメラ１０２から見たアーム１０７などの画像を擬似的に算出、作成することができ、これをアーム１０７の画像領域として抽出する。上記のようにして抽出されたアーム１０７の画像領域を第１実施形態と同様に除去し、アームの画像領域が除去された除去後画像と、作業前に記録した初期画像と合成する。

また、３次元モデル処理装置５０１では、仮想空間上に３次元の作業空間を構成しており、監視カメラ１０２の位置を実環境と同じ位置に定義することで、公知の３次元ＣＧ技術を利用して、監視カメラ１０２から見たアーム１０７などの擬似画像を算出、作成することができる。

これにより、リンク部１０８が監視カメラ１０２の画像のどの領域に映るかを算出できるため、現時刻における監視カメラ画像のアーム１０７の当該領域を、作業前に記録した初期画像である実環境画像と合成し、アーム１０７を透過した合成画像を作成することができる。

また、上記の第１実施形態及び本実施形態において、作業画像上のアーム画像の領域が半透明化されて合成画像上に表示されるようにしてもよい。また、図７に示すように、作業画像上のアーム画像の領域の輪郭６０２（特定領域）が合成画像上に表示されるようにしてもよい。
これにより、作業箇所の視認性を確保しつつ、アームの動作状況を把握することができるので、作業性がさらに向上する。

以上説明したように、本実施形態によれば、遠隔作業を行う際、監視カメラ画像にアーム等により死角が生じたとしても、上述した画像処理を行うことにより、作業状況を視認しながら遠隔操作を実施することが可能となるため、作業性を大幅に向上することができる。また、第１実施形態に示したようなアーム本体部への塗装やパターン模様の貼り付けが不要となり、より簡単に透過画像を作成することができる。

さらに、合成画像においてアームの画像領域を輪郭のみ、または半透明で表示することにより、作業箇所の視認性を確保しつつ、アームの動作状況を的確に把握することができるので、作業性をさらに向上することができる。

[第３実施形態]
上記第１、第２実施形態では、監視カメラ１０２による画像は２次元情報であるため、監視カメラ１０２の画像だけではロボットハンド１０９とコネクタソケット１１１との３次元的な位置関係を把握するのは難しい。

また、合成する初期画像は作業前に記録した静止画であり、作業時にアーム１０７が接近してもその影が投影されない。
そこで、作業箇所に投影されるアーム１０７の影７０２を表示することにより、立体的な作業画像を作成するようにした点が本実施形態の特徴である。

本実施形態の３次元構造モデルを用いて影の擬似画像が表示された合成画像を得る方法について説明する。
まず、第２実施形態と同様に、３次元モデル処理装置５０１によって仮想空間上でアーム１０７の位置、姿勢を計算する。このとき、作業対象物であるコネクタソケット１１１やその周辺構造物についても３次元モデルを準備し、実環境と同じ位置の仮想空間上に配置する。

また、仮想空間上の照明位置も実環境と同じ位置に設定することで、公知の３次元ＣＧ技術を用いて、アーム１０７の影が作業対象物や周辺構造物に投影された擬似画像を作成することができる。

次に、第１及び第２実施形態によって作成した合成画像に影７０２の擬似画像を合成する。図８に合成画像例７０１を示す。なお、影の領域は半透明にしてもよい。

以上説明したように、本実施形態によれば、合成画像にアーム１０７等の影をさらに合成することで、操作者はアーム１０７の影の形状変化を見ることでアーム１０７の３次元位置を把握しやすくなるため、作業性をより向上することができる。

[第４実施形態]
本実施形態は、アーム１０７の作業範囲が広い場合、アーム１０７を移動手段１１２に取り付けて移動可能とすると共に、監視カメラ１０２もアーム１０７と共に移動手段１１２で移動させる点に特徴がある（図示せず）。

監視カメラ１０２が移動する場合、作業開始前と作業中で撮影された画像の視点位置が変化するので、画像合成する際、初期画像と作業画像の視点位置が異なるため、第１、第２実施形態で示した方法では対応することができない。
そこで、本第４実施形態では、監視カメラ１０２が移動を伴う場合においても対応できるようにしたものである。

まず、監視カメラ１０２の位置を移動手段１１２の移動位置情報に基づいて算出する。
次に、作業開始前に、予め監視カメラ１０２を移動させながら複数の場所の作業箇所を撮影しておき、前記移動位置情報とその位置での記録画像（初期画像）とを対応させて画像処理装置１０３に記録しておく。

次に、作業時には現時刻の監視カメラ１０２の位置に対応する予め記録された記録画像（初期画像）と、現時刻の監視カメラ１０２の作業画像に基づいて記録された除去後画像とを第１、第２実施形態と同様に合成する。

以上説明したように、本実施形態によれば、監視カメラ１０２が移動を伴う場合において、監視カメラ画像にアーム等により死角が生じたとしても、上述した画像処理を行うことにより、作業状況を視認しながら遠隔操作を実施することが可能となるため作業性を大幅に向上することができる。

[第５実施形態]
上記第１〜第４実施形態では、監視カメラ１０２がズーム機能、水平旋回動作であるパン機能、鉛直回転動作であるチルト機能を備えていないものであったが、より詳細な画像や撮影角度を変更した画像が必要になる場合がある。

しかし、このような場合は画像の縮尺や、初期画像と作業画像とで画像の視点位置が異なるなど、適切な合成画像が得ることができない。
そこで、本実施形態では、監視カメラ１０２がパン・チルト・ズーム動作を伴う際にも対応できるようにしたものである。

パン・チルト動作は、カメラの姿勢を変える動作であり視点位置は変わらない。この場合、パン・チルト動作で得られる画像と、広角で撮影した固定画像から対象画像を切り出して引き伸ばした拡大画像とは等価である。同様に、ズーム画像と、広角で撮影した固定画像から対象画像を切り出して引き伸ばした拡大画像とは等価である。

したがって、作業開始前の監視カメラ１０２では広角状態で撮影し初期画像として記録し、作業時には現時刻のパン・チルト動作位置および／またはズーム倍率に応じた等価画像を作業画像として作成し、上記各実施形態と同様にして、作業画像から除去後画像を作成しこれと初期画像とを合成する。

以上説明したように、本実施形態によれば、より詳細な画像や撮影角度を変更した画像を撮影できるように、監視カメラ１０２がパン・チルト・ズーム動作を伴う場合においてもアームを透過した画像を作成することができる。

以上、本発明の各実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、例えば、各実施形態の組合わせを含めて様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

例えば、各実施形態では、コネクタプラグとコネクタソケットの着脱作業について説明したが、本発明はこのような作業に限定されるものではなく、監視カメラによって視認確認したい箇所がロボットアームなどによって死角となる作業においては共通して適用可能である。

また、上記の各実施形態では、作業画像の特定領域を除去して初期画像の特定領域に対応する部分を合成するものとして説明したが、具体的な画像処理プロセスはこれに限定されず、最終的に特定領域には初期画像が、特定領域以外の領域には作業画像が表示されるような処理であればよい。例えば、初期画像を作業画像の上に重ねるレイヤとして、初期画像の特定領域以外に透過処理を施せば同様の画像が表示される（第２実施形態の場合は、初期画像の特定領域に半透明化処理や輪郭表示処理を施す）。あるいは、作業画像を初期画像の上に重ねるレイヤとして、作業画像の特定領域に透過処理を施しても同様の画像が表示される。

また、各実施形態で示した画像処理装置や３次元モデル処理装置は、個々の独立した装置である必要はなく、両者および他の装置と統合されたシステムで実現しても良い。
さらに、死角を発生させる装置、部品としてロボットアームを例に説明したが、これに限定されるものではなく、クレーンや移動台車など、操作者が監視カメラ画像を見ながら遠隔で操作する装置に共通して適用可能である。例えば、クレーンの場合は先端のフックが作業手段、フックを昇降させるウィンチや、走行・横行移動させるクレーン台車等が作業手段移動部となる。

１００…作業領域、１０１…遠隔作業装置、１０２…監視カメラ、１０３…画像処理装置、１０４…操作者、１０５…モニタ、１０６…操作盤、１０７…アーム、１０８…リンク部、１０９…ロボットハンド（手先効果器）、１１０…コネクタプラグ、１１１…コネクタソケット、１１２…台車、１１３…アーム関節、１１４…作業基台、１１５…操作系領域、２０１…作業前の監視カメラ画像（初期画像例）、３０１…作業時の監視カメラ画像（作業画像例）、４０１…作業時の合成画像例、５０１…３次元モデル処理装置、６０１…作業時のアームのワイヤーフレームを合成した合成画像、６０２…アームの輪郭を示すワイヤーフレーム（特定領域例）、７０１…作業時のアームの影を合成した合成画像、７０２…アームの影。

Claims (10)

1. 作業手段を取付けられ、前記作業手段を移動させる作業手段移動部を有する作業装置と、
   前記作業装置及び作業箇所を撮影する監視カメラが配置された作業領域と、
   前記監視カメラの撮影画像を画像処理及び記録するための画像処理手段と、
   前記画像処理手段に記録された画像を表示するための出力装置が配置された操作系領域を有し、前記作業装置を前記操作系領域にて操作する際に前記出力装置に表示される画像を生成して表示する作業画面表示方法において、
   前記画像処理手段は、前記監視カメラで撮影した作業前の作業箇所を初期画像として記録する初期画像記録ステップと、
   前記監視カメラで撮影した作業中の作業装置を作業画像として記録する作業画像記録ステップと、
   前記作業画像中の前記作業手段移動部が表示されている領域を特定領域として設定する領域設定ステップと、
   前記出力装置において、前記特定領域には前記初期画像を、それ以外の領域には前記作業画像を表示する表示ステップを有することを特徴とする作業画面表示方法。
2. 前記表示ステップにおいて、前記特定領域には前記初期画像と前記作業画像の何れかを半透明化して重ねて表示することを特徴とする請求項１記載の作業画面表示方法。
3. 前記表示ステップにおいて、前記特定領域の輪郭を表示することを特徴とする請求項１または２記載の作業画面表示方法。
4. 前記領域設定ステップは、クロマキー合成法により前記作業手段移動部が表示されている領域を特定領域として特定することを特徴とする請求項１乃至３の何れか１項に記載の画像処理方法。
5. 前記作業手段移動部の外表面に幾何形状のパターン模様を付され、前記領域設定ステップは前記作業画像から当該パターンの領域を抽出することにより前記作業手段移動部が表示されて入る領域を特定領域とすることを特徴とする請求項１乃至３の何れか１項に記載の作業画面表示方法。
6. 前記領域設定ステップにおいて、前記特定領域は、前記可動部の３次元の構造モデルに基づいて抽出することを特徴とする請求項１乃至３の何れか１項に記載の作業画面表示方法。
7. 前記画像処理手段は、前記作業手段移動部の３次元構造モデルに基づいて前記作業手段移動部によって形成される影の画像を作成し、前記表示ステップで表示される画像に前記影の画像を表示する影表示ステップを有することを特徴とする請求項１乃至６のいずれかに記載の作業画面表示方法。
8. 前記監視カメラは前記作業装置に伴って移動するよう取り付けられており、
   前記初期画像記録ステップにおいて、前記画像処理手段は前記監視カメラにより複数位置で撮影した作業前の作業箇所を初期画像として記録することを特徴とする請求項１乃至７のいずれかに記載の作業画面表示方法。
9. 前記画像処理手段は、監視カメラのパン・チルト・ズーム動作に合わせて、前記初期画像から対象画像を切り出し移動・回転・拡大させた画像を作成するステップを有し、当該作成された画像とアームの画像領域が除去された作業中の作業画像を合成することを特徴とする請求項１乃至８のいずれかに記載の作業画面表示方法。
10. 請求項１乃至９のいずれかに記載の作業画面表示方法を実施することを特徴とする作業画面表示装置。

Images