JP6970774B2 - 携帯端末、方法及びプログラム - Google Patents

Description

本発明は、携帯端末、方法及びプログラムに関する。

特開２０１４−１６４４８２号公報（特許文献１）は、ヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）を開示する。このヘッドマウントディスプレイは、半導体ウエハ等の基板を処理する基板処理装置のメンテナンス時に用いられる。このヘッドマウントディスプレイにおいては、メンテナンスに関わる支援情報が表示される。なお、支援情報は、拡張現実（ＡＲ：Augmented Reality）として現実空間に重畳して表示される。作業者は、ヘッドマウントディスプレイに表示される支援情報を参照しながらメンテナンス作業を行なうことができる（特許文献１参照）。

特開２０１４−１６４４８２号公報

しかしながら、ユーザ（作業者）の作業内容によっては、ヘッドマウントディスプレイ等の携帯端末に表示される支援情報等のＡＲ画像が却って邪魔になる場合がある。

本発明は、このような問題を解決するためになされたものであって、その目的は、ユーザの作業内容に拘わらず使い勝手の良い携帯端末、方法及びプログラムを提供することである。

本発明のある局面に従う携帯端末は、表示部と、制御部と、受付部とを備える。表示部は、産業用機器の所定部分の内部を示す第１ＡＲ画像を表示するように構成されている。制御部は、表示部を制御するように構成されている。受付部は、第１モード及び第２モードのいずれかの選択を受け付けるように構成されている。制御部は、第１モードが選択された場合に第１ＡＲ画像を表示するように表示部を制御する一方、第２モードが選択された場合に第１ＡＲ画像を非表示とするように表示部を制御する。第１モードが選択された場合に、第１ＡＲ画像の少なくとも一部は、表示部において上記所定部分と重なる位置に表示される。

この携帯端末においては、第１ＡＲ画像の少なくとも一部が、表示部において産業用機器の所定部分と重なる位置に表示される。ユーザの作業内容によっては、第１ＡＲ画像が表示されない方が好都合な場面もある。この携帯端末においては、第１ＡＲ画像を表示する第１モードと、第１ＡＲ画像を非表示とする第２モードとが切り替え可能となっている。したがって、この携帯端末によれば、ユーザは、自身の現在の作業内容に合わせて、第１ＡＲ画像を表示部に表示させるか否かを適宜切り替えることができる。

また、上記携帯端末は、携帯端末のユーザの動作に関する値を検出するように構成された検出部をさらに備え、制御部は、検出部の検出結果に基づいてユーザが動作しているか否かを判定するように構成されており、制御部は、第１モードが選択された場合に、ユーザが動作していないと判定されたときは、第１ＡＲ画像を表示するように表示部を制御する一方、ユーザが動作していると判定されたときは、第１ＡＲ画像を非表示とするように表示部を制御してもよい。

第１ＡＲ画像が表示部に表示されると、第１ＡＲ画像によって産業用機器の所定部分が覆われる。その結果、第１ＡＲ画像によって覆われている領域がユーザにとって見づらくなる。仮にユーザの動作中にも第１ＡＲ画像が継続的に表示部に表示されとすると、ユーザが意図せず周囲の物体に接触するといった事態が生じ得る。この携帯端末においては、ユーザが動作していると判定された場合に、第１ＡＲ画像が表示部に表示されない。したがって、この携帯端末によれば、ユーザが意図せず周囲の物体に接触するといった事態の発生を抑制することができる。

また、上記携帯端末は、産業用機器と通信するように構成された通信部をさらに備え、制御部は、通信部を介して産業用機器の現在の動作状態を示す動作状態情報を取得するように構成されていてもよい。

この携帯端末によれば、産業用機器の現在の動作状態を携帯端末が正確に把握することができる。

また、上記携帯端末において、制御部は、動作状態情報に基づいて第１ＡＲ画像を生成するように構成されていてもよい。

この携帯端末によれば、産業用機器の内部の動作状態を示す第１ＡＲ画像を表示部に表示することができる。その結果、ユーザは、第１ＡＲ画像を視認することによって、産業用機器の内部の状態を正確に把握することができる。

また、上記携帯端末において、表示部は、産業用機器の正しい動作状態を示す第２ＡＲ画像をさらに表示するように構成されており、制御部は、第１ＡＲ画像が表示部に表示される場合に、第２ＡＲ画像を第１ＡＲ画像に並べて表示するように表示部を制御するように構成されていてもよい。

この携帯端末においては、第１ＡＲ画像と第２ＡＲ画像とが並んだ状態で表示される。したがって、ユーザは、第１ＡＲ画像と第２ＡＲ画像とを比較することによって、産業用機器の現在の動作が正しいか否かを判断することができる。

また、上記携帯端末は、ヘッドマウントディスプレイであってもよい。

この携帯端末によれば、ユーザは、両手を塞ぐことなく、種々の作業を行なうことができる。

また、本発明の他の局面に従う方法は、産業用機器の所定部分の内部を示すＡＲ画像を携帯端末の表示部に表示させる方法である。この方法は、第１モード及び第２モードのいずれかの選択を受け付けるステップと、第１モードが選択された場合にＡＲ画像を表示部に表示させるステップと、第２モードが選択された場合にＡＲ画像を非表示とするステップとを含む。第１モードが選択された場合に、ＡＲ画像の少なくとも一部は、表示部において所定部分と重なる位置に表示される。

この方法によれば、ユーザの現在の作業内容に合わせて、第１ＡＲ画像を表示部に表示させるか否かを適宜切り替えることができる。

また、本発明の他の局面に従うプログラムは、産業用機器の所定部分の内部を示すＡＲ画像を携帯端末の表示部に表示させる処理をコンピュータに実行させるプログラムである。このプログラムは、第１モード及び第２モードのいずれかの選択を受け付けるステップと、第１モードが選択された場合にＡＲ画像を表示部に表示させるステップと、第２モードが選択された場合にＡＲ画像を非表示とするステップとをコンピュータに実行させる。第１モードが選択された場合に、ＡＲ画像の少なくとも一部は、表示部において所定部分と重なる位置に表示される。

このプログラムによれば、ユーザの現在の作業内容に合わせて、第１ＡＲ画像を表示部に表示させるか否かを適宜切り替えることができる。

本発明によれば、ユーザの作業内容に拘わらず使い勝手の良い携帯端末、方法及びプログラムを提供することができる。

産業用機器を上から見た時の平面を模式的に示す図、及び、産業用機器の一部の側面を模式的に示す図を含む図である。 ＨＭＤにおいて表示される３ＤのＡＲ画像の一例を示す図である。 ＨＭＤを含むシステムを模式的に示す図である。 ＨＭＤのハードウェア構成を模式的に示す図である。 サーバのハードウェア構成を模式的に示す図である。 ＨＭＤが産業用機器から動作状態情報を取得する動作を示すシーケンス図である。 ＨＭＤ及び産業用機器間の通信が確立している状態における表示部の第１表示例を模式的に示す図である。 ＨＭＤにおける第１ＡＲ画像の表示に関するモード設定処理手順を示すフローチャートである。 設定モードが表示モードに変更された後に最初に実行される処理手順を示すフローチャートである。 表示モード中に実行される処理手順を示すフローチャートである。 ＨＭＤ及び産業用機器間の通信が確立している状態における表示部の第２表示例を模式的に示す図である。 第１ＡＲ画像に対応する部品の正規の動作状態を示す第２ＡＲ画像の表示状態の切替処理手順を示すフローチャートである。 図１２のＳ５２で実行される第２ＡＲ画像の表示処理手順を示すフローチャートである。

以下、本発明の一側面に係る実施の形態（以下、「本実施の形態」とも称する。）について、図面を用いて詳細に説明する。なお、図中同一又は相当部分には同一符号を付してその説明は繰り返さない。また、以下で説明する本実施の形態は、あらゆる点において本発明の例示にすぎない。本実施の形態は、本発明の範囲内において、種々の改良や変更が可能である。すなわち、本発明の実施にあたっては、実施の形態に応じて具体的構成を適宜採用することができる。

［１．概要］
図１は、産業用機器３０を上から見た時の平面を模式的に示す図、及び、産業用機器３０の一部の側面を模式的に示す図を含む図である。本実施の形態において、産業用機器３０は、半導体製造装置である。なお、産業用機器３０は、必ずしも半導体製造装置である必要はない。産業用機器３０は、例えば、ＭＥＭＳ（Micro Electro Mechanical Systems）製造装置又は液晶パネル製造装置等の他の基板処理装置であってもよい。また、産業用機器３０は、例えば、化学プラントの反応槽、蒸留塔、熱交換機若しくはそれらの配管又は射出成型装置の金型であってもよい。また、産業用機器３０は、動力機構部を有する機器であって、該動力機構部の少なくとも一部がカバーされており、該動力機構部の動作が機器外部から視認できない機器であってもよい。

産業用機器３０は、平面視略六角形状の真空搬送室５と、複数の基板を収納可能な基板収納部４を各々が備える２つのロードロック３と、２つの真空チャンバ３１とを備える。各ロードロック３と、各真空チャンバ３１とは、開閉自在なゲートバルブ７を介して真空搬送室５に連結されている。真空搬送室５は、基板の位置調整を行うアライメント部２と、真空ロボット６とを備えている。真空ロボット６は、回転及び伸縮することによって、基板収納部４と真空チャンバ３１との間で基板を搬送する。

真空チャンバ３１内においては、半導体ウエハ（基板）Ｗ１にエッチング等の処理が施される。真空チャンバ３１内にはステージ３４が設けられている。また、真空チャンバ３１には、覗き窓３２が形成されている。搬送機構３３は、真空ロボット６の一部である。半導体ウエハＷ１は、搬送機構３３によってステージ３４上に搬送される。

ステージ３４は、ステージ本体３４Ａと、３本のリフトピン３４Ｂとを含む。３本のリフトピン３４Ｂは、平面視において同一円周上に配置されている。搬送機構３３は、搬送アーム３３Ａと、フォーク３３Ｂとを含む。例えば、搬送アーム３３Ａは、フォーク３３Ｂ上の半導体ウエハＷ１をリフトピン３４Ｂ上に配置する。リフトピン３４Ｂは、搬送機構３３が退避した後に、ステージ本体３４Ａ内に収納される。これにより、半導体ウエハＷ１がステージ３４上に載置される。

覗き窓３２は、例えば、真空チャンバ３１内を確認するための窓であり、例えば、石英又はサファイアガラスで構成されている。産業用機器３０のメンテナンス作業者（以下、単に「作業者」とも称する。）は、例えば、覗き窓３２を介して真空チャンバ３１内の状態を確認する。しかしながら、覗き窓３２に必要な強度、及び、真空チャンバ３１内の各部品の配置等の観点から、覗き窓３２を大きくすることは難しい。したがって、作業者は、覗き窓３２を介して真空チャンバ３１内の状態を十分に把握できない。なお、図１において、覗き窓３２は、半導体ウエハＷ１の僅かに上に位置しているが、覗き窓３２の位置はこれに限定されない。

本実施の形態において、作業者（ユーザの一例）は、後述のシステム１に含まれるＨＭＤ１０を装着した状態で産業用機器３０のメンテナンス作業を行なう。産業用機器３０の内部には、前述の他の産業用機器と同様に、一定の空間が存在する。該空間内においては、例えば搬送機構３３及びステージ３４が動作する。該空間内は、メンテナンス作業などで作業者が目視したい部分である。ＨＭＤ１０においては、例えば、産業用機器３０の所定部分Ｐ１の内部を示すＡＲ画像が産業用機器３０に重畳表示される。なお、図１において所定部分Ｐ１の内部を示すＡＲ画像は、理解の容易のために平面的（２Ｄ）に表現されているが、実際には立体的（３Ｄ）である。これは、後述の図７及び図１１においても同様である。但し、ＨＭＤ１０に表示されるＡＲ画像は、必ずしも３Ｄ画像である必要はなく、２Ｄ画像であってもよい。

作業者は、ＨＭＤ１０に表示されるＡＲ画像を参照することによって、産業用機器３０内の状態を十分に把握することができる。なお、ＡＲ画像によって示される産業用機器３０の内部としては、例えば、真空チャンバ３１内に含まれる各種部品、真空チャンバ３１の内壁が挙げられる。

図２は、ＨＭＤ１０において表示される３ＤのＡＲ画像の一例を示す図である。図２に示されるＡＲ画像は、真空チャンバ３１の内部のある状態を示す。このＡＲ画像は、真空チャンバ３１内に存在するステージ３４、真空チャンバ３１の内壁Ｉ１等を示している。部分Ｔ１は真空チャンバ３１の壁の厚みを示し、稜線Ｌ１は真空チャンバ３１の内壁Ｉ１の各面（側面と上面）によって形成される作業者側の稜線を示す。稜線Ｌ１は、真空チャンバ３１内の表示時には見えない部分なので、例えば点線で表示される。図２においては、理解の容易のためにゲートバルブ７等の一部の構成が省略されている。なお、例えば真空チャンバ３１内を示すＡＲ画像は、真空チャンバ３１内に実際に存在するすべての部品を完全にＡＲ画像として表現している必要はない。

図２に示されるように、ＡＲ画像が３Ｄ画像である場合には、例えば、作業者が実際の真空チャンバ３１を斜め上から見た場合に、作業者は、真空チャンバ３１内に存在するステージ３４等を示すＡＲ画像を斜め上から見ることができる。すなわち、作業者は、ＨＭＤ１０に表示されたＡＲ画像を見ることで、例えば、ステージ３４を示すＡＲ画像が真空チャンバ３１内の本来存在する位置にあたかも存在するかのように錯覚する。ステージ３４等を示すＡＲ画像を斜め上方から見た場合に、作業者はステージ３４等の立体的構造を認識することができる。また、例えば、ステージ３４等の部品に加えて真空チャンバ３１の内壁Ｉ１の３Ｄ画像が表示されることで、作業者は、ステージ３４等の部品の立体的構造に加えて、ステージ３４等の部品と内壁Ｉ１との位置関係も認識することができる。例えば、ステージ３４等の部品と奥側の内壁Ｉ１との距離は、ＡＲメジャー等のＡＲ像の寸法を算出する手段を用いることによって調べることができる。

しかしながら、作業者の作業内容によっては、ＨＭＤ１０に表示されるＡＲ画像が却って邪魔になる場合がある。すなわち、ユーザの作業内容によっては、ＡＲ画像が表示されない方が好都合な場面もある。ＨＭＤ１０においては、産業用機器３０内の状態を示すＡＲ画像を表示する表示モードと、産業用機器３０内の状態を示すＡＲ画像を非表示とする非表示モードとが切り替え可能となっている。したがって、ＨＭＤ１０によれば、ユーザは、自身の現在の作業内容に合わせて、ＡＲ画像を表示部に表示させるか否かを適宜切り替えることができる。以下、本実施の形態に従うＨＭＤ１０を含むシステム１について詳細に説明する。

［２．構成］
＜２−１．システム全体の構成＞
図３は、本実施の形態に従うＨＭＤ１０を含むシステム１を模式的に示す図である。図３に示されるように、システム１は、ＨＭＤ１０と、サーバ２０と、産業用機器３０とを含んでいる。システム１において、ＨＭＤ１０、サーバ２０及び産業用機器３０は、ネットワークＮ１を介して通信可能である。

ＨＭＤ１０は、例えば、マイクロソフト社製のＨｏｌｏＬｅｎｓ（登録商標）であり、拡張現実機能を有する。ＨＭＤ１０は、作業者がＨＭＤ１０を介して視認している産業用機器３０に関する情報をサーバ２０に要求し、該情報をサーバ２０から受信する。また、ＨＭＤ１０は、産業用機器３０から産業用機器３０の現在の動作状態を示す動作状態情報を継続的に受信する。ＨＭＤ１０においては、サーバ２０及び産業用機器３０から受信された情報に基づいて、産業用機器３０内の状態を示すＡＲ画像が表示される。

＜２−２．ＨＭＤのハードウェア構成＞
図４は、ＨＭＤ１０のハードウェア構成を模式的に示す図である。図４に示されるように、ＨＭＤ１０は、制御部１１と、カメラ１３と、表示部１４と、各種センサ１５と、通信部（通信Ｉ／Ｆ）１６と、記憶部１２とを含み、各構成は、バスを介して電気的に接続されている。

制御部１１は、ＣＰＵ（Central Processing Unit）１１Ａ、ＲＡＭ（Random Access Memory）１１Ｂ及びＲＯＭ（Read Only Memory）１１Ｃ等を含み、情報処理に応じて各構成要素の制御を行なうように構成されている。

カメラ１３は、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサ又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等のイメージセンサを含むカメラモジュールで構成されている。カメラ１３は、例えば、作業者の視線に対応する動画像を撮影する。

表示部１４は、例えば、液晶ディスプレイ又は有機ＥＬ（Electro Luminescence）ディスプレイ等のディスプレイを含む。ＨＭＤ１０がいわゆる光学シースルー型であれば、表示部１４は、さらにハーフミラー等の光学系を含む。一方、ＨＭＤ１０がビデオシースルー型であれば、表示部１４は、ディスプレイで構成される。表示部１４の形状はメガネのレンズ形状である。表示部１４は、例えば、各種ＡＲ画像を表示する。現実世界の情報に関して、表示部１４は、カメラ１３によって撮影された動画像を表示してもよいし（ビデオシースルー型）、現実世界の情報を透過してもよい（光学シースルー型）。

各種センサ１５は、例えば、距離画像センサと、速度センサと、加速度センサと、ジャイロセンサとを含む。他にも、各種センサ１５は、例えば、地磁気センサ（方位センサ）を含んでもよい。距離画像センサは、ＨＭＤ１０と産業用機器３０との間の距離を検出するように構成されている。速度センサは、ＨＭＤ１０の速度を検出するように構成されている。加速度センサは、ＨＭＤ１０の加速度を検出するように構成されている。ジャイロセンサは、ＨＭＤ１０の角速度を検出するように構成されている。例えば、各種センサ１５に含まれる速度センサ、加速度センサ及びジャイロセンサの各々は、ＨＭＤ１０のユーザの動作に関する値を検出するともいえる。

通信部１６は、ネットワークＮ１を介して、ＨＭＤ１０の外部に設けられた外部装置（例えば、サーバ２０及び産業用機器３０）と通信するように構成されている。通信部１６は、例えば、有線ＬＡＮ（Local Area Network）モジュール又は無線ＬＡＮモジュールで構成される。

記憶部１２は、例えば、ハードディスクドライブ、ソリッドステートドライブ等の補助記憶装置である。記憶部１２は、例えば、制御プログラム１２１を記憶するように構成されている。制御部１１が制御プログラム１２Ａを実行することによって、ＨＭＤ１０の各種制御が行なわれる。

制御部１１は、例えば、ＳＬＡＭ（Simultaneous Localization And Mapping）を行なうように構成されている。すなわち、制御部１１は、カメラ１３による撮影画像及び各種センサ１５の検出結果を利用することによって、空間認識及び自己位置推定を行なうことができる。

例えば、ユーザがＨＭＤ１０を装着した状態で、距離画像センサが周辺環境の複数の特徴点までの距離を測定し、該測定結果に基づいて制御部１１が空間認識する。その後、ユーザがＨＭＤ１０を装着した状態で視点を移動すると、加速度センサ及びジャイロセンサ等が移動量及び移動方向を検出し、該検出結果に基づいて制御部１１がＨＭＤ１０の位置推定（自己位置推定）を行なう。制御部１１は、さらに周辺環境の空間認識を行う。制御部１１は、これらの空間認識および自己位置推定を繰り返すことで、常に３次元空間を把握することができる。

また、制御部１１は、例えば、ジェスチャーを通じて作業者からの入力を受け付けるように構成されている。例えば、表示部１４に複数の選択肢を含む選択パレットが表示された状態で、いずれかの選択肢を選択するジェスチャーがカメラ１３や各種センサ１５（例えば距離画像センサ）によって認識された場合に、制御部１１は、選択された選択肢に対応する制御を実行する。すなわち、本実施の形態においては、ジェスチャーを認識するカメラ１３や各種センサ１５が本発明における「受付部」として機能する。制御部１１によって実現される他の機能については、後程詳しく説明する。

＜２−３．サーバのハードウェア構成＞
図５は、サーバ２０のハードウェア構成を模式的に示す図である。なお、本実施の形態において、サーバ２０は、例えば、汎用コンピュータによって実現される。

図５に示されるように、サーバ２０は、制御部２１と、通信部（通信Ｉ／Ｆ）２３と、記憶部２２とを含み、各構成は、バスを介して電気的に接続されている。

制御部２１は、ＣＰＵ２１Ａ、ＲＡＭ２１Ｂ及びＲＯＭ２１Ｃ等を含み、情報処理に応じて各構成要素の制御を行なうように構成されている。

通信部２３は、ネットワークＮ１を介して、サーバ２０の外部に設けられた外部装置（例えば、ＨＭＤ１０）と通信するように構成されている。通信部２３は、例えば、有線ＬＡＮモジュール又は無線ＬＡＮモジュールで構成される。

記憶部２２は、例えば、ハードディスクドライブ、ソリッドステートドライブ等の補助記憶装置である。記憶部２２は、例えば、制御プログラム２２Ａと、データベースＤ１、Ｄ２とを記憶するように構成されている。

データベースＤ１は、例えば、複数の産業用機器３０の各々に関して、各部品（例えば、搬送機構３３及びステージ３４）の三次元形状、及び、各部品の位置情報を管理する。より具体的には、データベースＤ１は、各産業用機器３０の基準点と、産業用機器３０に含まれる各部品の該基準点に対する三次元形状及び位置情報を管理する。なお、本実施の形態において、基準点は、現実空間上にＡＲ画像を重畳するための３次元空間における基準点であり、３次元空間を把握した後に認識される。

各産業用機器３０には、個別のＡＲマーカが付されており、該ＡＲマーカが産業用機器３０の基準点を示す。データベースＤ１は、例えば、ａ）産業用機器３０毎のＡＲマーカの形状データ、ｂ）基準点を基準とした座標情報を含む各産業用機器３０の３Ｄ図面データ、ｃ）産業用機器３０に含まれる各駆動部の原点の基準点に対する座標情報を管理する。

データベースＤ２は、例えば、複数の産業用機器３０の各々に関して、各部品の正規動作に関する情報を管理する。

［３．動作］
＜３−１．産業用機器からの動作状態情報の取得動作＞
図６は、ＨＭＤ１０が産業用機器３０から動作状態情報を取得する動作を示すシーケンス図である。制御部１１は、カメラ１３による撮影画像及び各種センサ１５の検出結果を利用することによって、空間認識及び自己位置推定を行ない、以後継続的に３次元空間を把握する（Ｓ１）。この場合に、例えば、産業用機器３０の定位置に付されたＡＲマーカ（不図示）がカメラ１３によって撮影される。制御部１１は、カメラ１３によって撮影されたＡＲマーカに基づいて作業者の前方に存在する産業用機器３０を特定する（Ｓ２）。

制御部１１が産業用機器３０とその基準点に対しての位置関係を認識すると、制御部１１は、ＨＭＤ１０と産業用機器３０との間での通信を確立するための処理を実行する（Ｓ３）。ＨＭＤ１０及び産業用機器３０間の通信が確立されると、産業用機器３０からＨＭＤ１０への動作状態情報の送信が開始される（Ｓ４）。動作状態情報の送信は、所定時間間隔で継続的に行なわれる。動作状態情報には、産業用機器３０内の各部品の位置情報が含まれる。制御部１１は、取得された動作状態情報を参照することによって、産業用機器３０内の各部品の現在位置を認識することができる。すなわち、制御部１１は、所定時間間隔で取得された動作状態情報を参照することによって、産業用機器３０内の各部品の動作を認識することができる。

＜３−２．産業用機器内部を示すＡＲ画像の表示に関する動作＞
図７は、ＨＭＤ１０及び産業用機器３０間の通信が確立している状態における表示部１４の第１表示例を模式的に示す図である。図７に示されるように、表示部１４には、選択肢１７Ａ、１７Ｂが表示される。

選択肢１７Ａは、ＨＭＤ１０における第１ＡＲ画像Ａ１の表示に関するモードを切り替えるためのＵＩ（User Interface）である。第１ＡＲ画像Ａ１は、産業用機器３０の所定部分の内部を示すＡＲ画像である。ＨＭＤ１０においては、作業者の視線の先に存在する所定部分に対応する第１ＡＲ画像Ａ１が表示される。なお、図７においては、産業用機器３０が省略されている。作業者は、ＨＭＤ１０に表示された第１ＡＲ画像Ａ１を見ることで、例えば、産業用機器３０内の各部品を示すＡＲ画像が産業用機器３０内の本来存在する位置にあたかも存在するかのように錯覚する。なお、第１ＡＲ画像Ａ１の表示領域は、真空チャンバ３１内部の本来存在すべき領域に第１ＡＲ画像Ａ１が存在すると作業者が錯覚する領域（以下、「所定領域」とも称する。）から多少ずれる場合がある。例えば、第１ＡＲ画像Ａ１の少なくとも一部分の表示領域が、所定領域に重なっていればよい。また、例えば、第１ＡＲ画像Ａ１は、本来よりも拡大して表示されていてもよい。すなわち、所定領域の中心部分を中心にして、第１ＡＲ画像Ａ１が拡大表示されてもよい。なお、第１ＡＲ画像Ａ１の拡大の中心は、所定領域の中心部分から多少ずれてもよい。この場合であっても、拡大された第１ＡＲ画像Ａ１の少なくとも一部分の表示領域が、所定領域に重なっていればよい。なお、「所定領域」は、表示部１４における平面的な位置としては、産業用機器３０の所定部分が見える位置と重なる。ＨＭＤ１０においては、第１ＡＲ画像Ａ１を表示する「表示モード」と、第１ＡＲ画像Ａ１を非表示とする「非表示モード」とが設けられている。

選択肢１７Ｂは、第１ＡＲ画像Ａ１に対応する部品の正規の動作状態を示す第２ＡＲ画像Ａ２（後述）の表示状態を切り替えるためのＵＩである。第２ＡＲ画像Ａ２の表示状態の切替えに関しては、後程詳しく説明する。

図８は、ＨＭＤ１０における第１ＡＲ画像Ａ１の表示に関するモード設定処理手順を示すフローチャートである。このフローチャートに示される処理は、ＨＭＤ１０と産業用機器３０との通信が確立している状態で、制御部１１によって繰り返し実行される。

制御部１１は、第１ＡＲ画像Ａ１の表示に関するモードの切替指示が作業者からあったか否かを判定する（Ｓ１０）。具体的には、制御部１１は、作業者のジェスチャーを介して選択肢１７Ａ（図７）が選択されたか否かを判定する。モードの切替指示がないと判定されると（Ｓ１０においてＮＯ）、制御部１１は、モードの切替指示を受け付けるまで待機する。

一方、モードの切替指示があったと判定されると（Ｓ１０においてＹＥＳ）、制御部１１は、現在設定されているモード（以下、「設定モード」とも称する。）が表示モードであるか否かを判定する（Ｓ１１）。設定モードが表示モードであると判定されると（Ｓ１１においてＹＥＳ）、制御部１１は、設定モードを非表示モードに変更する処理を実行する（Ｓ１２）。設定モードが非表示モードに変更されると、表示部１４において第１ＡＲ画像Ａ１が非表示となる。

一方、設定モードが表示モードでないと判定されると（Ｓ１１においてＮＯ）、制御部１１は、設定モードを表示モードに変更する処理を実行する（Ｓ１３）。

図９は、設定モードが表示モードに変更された後に最初に実行される処理手順を示すフローチャートである。図９において、左列はＨＭＤ１０において実行される処理手順を示し、右列はサーバ２０において実行される処理手順を示す。左列に示される処理は、例えば、設定モードが表示モードに変更された場合に制御部１１によって実行される。右列に示される処理は、例えば、制御部２１によって常時実行されている。

制御部１１は、特定された産業用機器３０に関する情報を要求する信号をサーバ２０に送信するように通信部１６を制御する（Ｓ２０）。具体的には、制御部１１は、特定された産業用機器３０に関して、データベースＤ１において管理されている情報を要求する信号をサーバ２０に送信するように通信部１６を制御する。

制御部１１は、サーバ２０から情報を受信したか否かを判定する（Ｓ２１）。制御部１１は、サーバ２０から情報を受信していないと判定されると（Ｓ２１においてＮＯ）、サーバ２０から情報を受信するまで待機する。一方、サーバ２０から情報を受信したと判定されると（Ｓ２１においてＹＥＳ）、制御部１１は、データベースＤ１に示される情報、及び、産業用機器３０から取得される動作状態情報に基づいて第１ＡＲ画像Ａ１の表示を開始するように表示部１４を制御する（Ｓ２２）。この場合に、第１ＡＲ画像Ａ１は、産業用機器３０において実際に存在する位置に重畳して表示される。

一方、サーバ２０において、制御部２１は、産業用機器３０に関する情報の要求があるか否かを判定する（Ｓ３０）。情報の要求がないと判定されると（Ｓ３０においてＮＯ）、制御部２１は、情報を要求する信号を通信部２３を介してＨＭＤ１０から受信するまで待機する。

一方、情報の要求があったと判定されると（Ｓ３０においてＹＥＳ）、制御部２１は、要求された情報（データベースＤ１に示される情報）をＨＭＤ１０に送信するように通信部２３を制御する（Ｓ３１）。

図１０は、表示モード中に実行される処理手順を示すフローチャートである。このフローチャートに示される処理は、例えば、表示モード中に制御部１１によって常時実行されている。

制御部１１は、各種センサ１５（例えば、速度センサ、加速度センサ及びジャイロセンサのうちの少なくとも１つ以上）の出力に基づいて、作業者が動作中であるか否かを判定する（Ｓ４０）。ここで、「動作中」とは、作業者が歩行中である、又は、作業者が所定よりも速い加速度で動いている等、表示部１４に第１ＡＲ画像Ａ１が表示された場合に事故につながる可能性が高い状況のことをいう。例えば、作業者が所定よりも速い加速度で頭を動かした場合には、「動作中」と判定される。Ｓ４０の判定は、例えば各種センサ１５の出力値と閾値との比較結果に基づいて行なわれるが、該閾値は、機械学習を用いることによって設定されてもよい。

動作中でないと判定されると（Ｓ４０においてＮＯ）、制御部１１は、表示部１４に第１ＡＲ画像Ａ１が表示されている場合には第１ＡＲ画像Ａ１の表示を継続するように表示部１４を制御し、表示部１４に第１ＡＲ画像Ａ１が表示されていない場合には第１ＡＲ画像Ａ１の表示を再開するように表示部１４を制御する（Ｓ４１)。

一方、作業者が動作中であると判定されると（Ｓ４０においてＹＥＳ）、制御部１１は、表示部１４に第１ＡＲ画像Ａ１が表示されている場合には第１ＡＲ画像Ａ１を非表示にするように表示部１４を制御し、表示部１４に第１ＡＲ画像Ａ１が表示されていない場合には第１ＡＲ画像Ａ１が非表示の状態を継続するように表示部１４を制御する（Ｓ４２）。

このように、ＨＭＤ１０においては、第１ＡＲ画像Ａ１を表示する表示モードと、第１ＡＲ画像Ａ１を非表示とする非表示モードとが切り替え可能となっている。したがって、ＨＭＤ１０によれば、作業者は、自身の現在の作業内容に合わせて、第１ＡＲ画像Ａ１を表示部に表示させるか否かを適宜切り替えることができる。

また、第１ＡＲ画像Ａ１が表示部１４に表示されると、第１ＡＲ画像Ａ１によって産業用機器３０の所定部分が覆われる。その結果、第１ＡＲ画像Ａ１によって覆われている領域がユーザにとって見づらくなる。仮に作業者の動作中（例えば、歩行中）にも第１ＡＲ画像Ａ１が継続的に表示部１４に表示されとすると、作業者が意図せず周囲の物体に接触するといった事態が生じ得る。ＨＭＤ１０においては、作業者が動作していると判定された場合に、第１ＡＲ画像Ａ１が表示部１４に表示されない。したがって、ＨＭＤ１０によれば、作業者が意図せず周囲の物体に接触するといった事態の発生を抑制することができる。

＜３−３．正規の動作状態を示すＡＲ画像の表示に関する動作＞
図１１は、ＨＭＤ１０及び産業用機器３０間の通信が確立している状態における表示部１４の第２表示例を模式的に示す図である。図１１に示されるように、表示部１４には、図７に示される情報の他に第２ＡＲ画像Ａ２が表示されている。

第２ＡＲ画像Ａ２は、第１ＡＲ画像Ａ１に対応する部品の正規の動作状態を示す。第２ＡＲ画像Ａ２は、サーバ２０のデータベースＤ２において管理されている情報に基づいて生成される。例えば、搬送機構３３がステージ３４上に半導体ウエハＷ１を載置する手順が、第１ＡＲ画像Ａ１と第２ＡＲ画像Ａ２とで異なる場合、作業者は、産業用機器３０が正常に動作していないことを認識することができる。

図１２は、第１ＡＲ画像Ａ１に対応する部品の正規の動作状態を示す第２ＡＲ画像Ａ２の表示状態の切替処理手順を示すフローチャートである。このフローチャートに示される処理は、例えば、表示モード中に制御部１１によって繰り返し実行される。

制御部１１は、第２ＡＲ画像Ａ２の表示切替指示が作業者からあったか否かを判定する（Ｓ５０）。具体的には、制御部１１は、作業者のジェスチャーを介して選択肢１７Ｂ（図１１）が選択されたか否かを判定する。表示切替指示がないと判定されると（Ｓ５０においてＮＯ）、制御部１１は、表示切替指示を受け付けるまで待機する。

一方、表示切替指示があったと判定されると（Ｓ５０においてＹＥＳ）、制御部１１は、現在、第２ＡＲ画像Ａ２が表示されているか否かを判定する（Ｓ５１）。第２ＡＲ画像Ａ２が表示されていないと判定されると（Ｓ５１においてＮＯ）、制御部１１は、第２ＡＲ画像Ａ２の表示処理を実行する（Ｓ５２）。一方、第２ＡＲ画像Ａ２が表示されていると判定されると（Ｓ５１においてＹＥＳ）、制御部１１は、第２ＡＲ画像Ａ２を非表示とするように表示部１４を制御する（Ｓ５３）。

図１３は、図１２のＳ５２で実行される第２ＡＲ画像Ａ２の表示処理手順を示すフローチャートである。図１３において、左列はＨＭＤ１０において実行される処理手順を示し、右列はサーバ２０において実行される処理手順を示す。左列に示される処理は、例えば、作業者によって第２ＡＲ画像Ａ２の表示指示を受け付けた場合に制御部１１によって実行される。右列に示される処理は、例えば、制御部２１によって常時実行されている。

制御部１１は、例えば、カメラ１３によって撮影された画像に基づいて作業者の視線の先に存在する産業用機器３０の部分を特定する（Ｓ６０）。

制御部１１は、特定された部分の正規動作に関する情報を要求する信号をサーバ２０に送信するように通信部１６を制御する（Ｓ６１）。具体的には、制御部１１は、特定された部分に関して、データベースＤ２において管理されている情報を要求する信号をサーバ２０に送信するように通信部１６を制御する。

制御部１１は、サーバ２０から情報を受信したか否かを判定する（Ｓ６２）。サーバ２０から情報を受信していないと判定されると（Ｓ６２においてＮＯ）、制御部１１は、サーバ２０から情報を受信するまで待機する。一方、サーバ２０から情報を受信したと判定されると（Ｓ６２においてＹＥＳ）、制御部１１は、受信された情報に基づいて第２ＡＲ画像Ａ２の表示を開始するように表示部１４を制御する（Ｓ６３）。この場合に、第２ＡＲ画像Ａ２は、例えば、第１ＡＲ画像Ａ１と並んだ状態で表示部１４に表示される。なお、第１ＡＲ画像Ａ１及び第２ＡＲ画像Ａ２が同時に表示部１４に表示されていれば、第１ＡＲ画像Ａ１及び第２ＡＲ画像Ａ２が「並んだ状態で表示部１４に表示され」ているといえる。

一方、サーバ２０において、制御部２１は、産業用機器３０の特定の部分の正規動作に関する情報の要求があるか否かを判定する（Ｓ７０）。情報の要求がないと判定されると（Ｓ７０においてＮＯ）、制御部２１は、情報を要求する信号を通信部２３を介してＨＭＤ１０から受信するまで待機する。

一方、情報の要求があったと判定されると（Ｓ７０においてＹＥＳ）、制御部２１は、要求された情報（データベースＤ２において管理されている情報）をＨＭＤ１０に送信するように通信部２３を制御する（Ｓ７１）。

このように、ＨＭＤ１０においては、第１ＡＲ画像Ａ１と第２ＡＲ画像Ａ２とが並んだ状態で表示部１４に表示される。したがって、ユーザは、第１ＡＲ画像Ａ１と第２ＡＲ画像Ａ２とを比較することによって、産業用機器３０の該当部分の現在の動作が正しいか否かを判断することができる。

なお、第２ＡＲ画像Ａ２は、第１ＡＲ画像Ａ１と同様に、作業者が動作中であると制御部１１によって判定されると非表示とされる。

［４．特徴］
以上のように、本実施の形態に従うＨＭＤ１０においては、第１ＡＲ画像Ａ１を表示する表示モード（第１モード）と、第１ＡＲ画像Ａ１を非表示とする非表示モード（第２モード）とが切り替え可能となっている。したがって、ＨＭＤ１０によれば、作業者（ＨＭＤ１０のユーザ）は、自身の現在の作業内容に合わせて、第１ＡＲ画像Ａ１を表示部１４に表示させるか否かを適宜切り替えることができる。

［５．変形例］
以上、実施の形態について説明したが、本発明は、上記実施の形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて、種々の変更が可能である。以下、変形例について説明する。

＜５−１＞
上記実施の形態においては、データベースＤ１、Ｄ２がサーバ２０で管理されていた。しかしながら、データベースＤ１、Ｄ２は、必ずしもサーバ２０で管理されている必要はない。データベースＤ１、Ｄ２は、例えば、ＨＭＤ１０の記憶部１２に記憶されていてもよい。この場合に、ＨＭＤ１０は、データベースＤ１、Ｄ２において管理される情報をサーバ２０から取得しない。

＜５−２＞
また、上記実施の形態においては、表示装置の一例としてＨＭＤ１０が挙げられたが、表示装置は必ずしもヘッドマウントディスプレイである必要はない。表示装置は、いわゆるタブレット、スマートフォン又はラップトップパソコン等の電子機器であってもよい。

＜５−３＞
また、上記実施の形態においては、作業者からＨＭＤ１０への指示がジェスチャーを介して行なわれた。しかしながら、作業者による指示の方法はこれに限定されない。例えば、ＨＭＤ１０がマイクロフォンを備え、作業者が声を介してＨＭＤ１０に指示を行なってもよい。例えば、作業者が選択肢１７Ａ（図７）上の文字を読み上げることによって、選択肢１７Ａが選択されるような構成であってもよい。また、例えば、ＨＭＤ１０がアイトラッキング機能を有し、作業者が視線カーソルを活用することによってＨＭＤ１０に指示を行なってもよい。例えば、作業者が視線カーソルを選択肢１７Ａ上に所定時間以上配置すると、選択肢１７Ａが選択されるような構成であってもよい。

＜５−４＞
また、作業者の視線の先において、産業用機器３０の複数の部品が重複している場合には、いずれの部品に関する第１ＡＲ画像Ａ１を表示部１４に表示させるかについて、作業者が選択可能としてもよい。これにより、作業者は、最も動作を確認したい部品の動作状態を確認することができる。また、作業者の視線の先において、複数台の産業用機器３０が重複している場合には、いずれの産業用機器３０に関する第１ＡＲ画像Ａ１を表示部１４に表示させるかについて、作業者が選択可能としてもよい。これにより、最も動作を確認したい産業用機器３０の動作状態を確認することができる。

＜５−５＞
また、上記実施の形態においては、各種センサ１５が距離画像センサを含むとした。しかしながら、距離画像センサは必ずしも必要ではない。例えば、ＨＭＤ１０が複数のカメラ１３を備え、複数のカメラ１３がステレオカメラとして機能する場合には、ＨＭＤ１０と産業用機器３０との間の距離が複数のカメラ１３によって検出されてもよい。

＜５−６＞
また、上記実施の形態に従うＨＭＤ１０において表示部１４に表示される画像は、例えば、ＨＭＤ１０のユーザ（作業者）とは離れた場所にいる支援者に共有されてもよい。すなわち、ＨＭＤ１０は、いわゆるリモートサポートに用いられてもよい。この場合に、支援者に共有される画像においては、支援者に共有すべきでない領域が含まれなくてもよい。

＜５−７＞
また、ＨＭＤ１０においては、産業用機器３０の内部の動作状態を示す第１ＡＲ画像Ａ１の他、産業用機器３０の内部の他の状態を示すＡＲ画像が表示されてもよい。例えば、真空チャンバ３１内の圧力及び温度、並びに、各種配管を流れるガス種等を示すＡＲ画像が表示部１４に表示されてもよい。真空チャンバ３１内の温度を示すＡＲ画像が表示される場合には、例えば、真空チャンバ３１の内壁の複数箇所に温度センサが取り付けられてもよい。温度センサの検知結果に基づいて生成されたサーモグラフがＡＲ画像として表示部１４に表示されてもよい。また、半導体ウエハＷ１の温度、真空チャンバ３１内において発生したプラズマの状態、及び、各種配管におけるガス流れ状態等を示すＡＲ画像が表示部１４に表示されてもよい。ＨＭＤ１０においては、例えば、上記産業用機器３０の他の状態のうち、いずれの状態に関するＡＲ画像を表示させるかが選択可能であってもよい。また、ＨＭＤ１０においては、産業用機器３０のうち第１ＡＲ画像Ａ１を表示させたい範囲の選択を受け付け可能であってもよい。例えば、これらの選択のための選択肢が表示部１４に表示され、作業者がいずれかの選択肢を選択することによって、上記選択が行なわれてもよい。

＜５−８＞
また、上記実施の形態に従うＨＭＤ１０においては、作業者が動作中であると判定された場合に、第１ＡＲ画像Ａ１及び第２ＡＲ画像Ａ２が非表示となることとした。しかしながら、作業者が動作中であると判定された場合に、第１ＡＲ画像Ａ１及び第２ＡＲ画像Ａ２は、必ずしも非表示とならなくてもよい。例えば、作業者が動作中であると判定された場合に、第１ＡＲ画像Ａ１及び第２ＡＲ画像Ａ２の表示が継続されてもよい。

＜５−９＞
また、第１ＡＲ画像Ａ１及び第２ＡＲ画像Ａ２の両方が表示部１４に表示された場合に、制御部１１によって、産業用機器３０の動作状態が正常であるか否かが自動的に判定されてもよい。例えば、制御部１１は、第１ＡＲ画像Ａ１と第２ＡＲ画像Ａ２とを比較することによって、産業用機器３０の動作状態が正常であるか否かを判定してもよい。

＜５−１０＞
また、上記実施の形態においては、産業用機器３０の定位置に付されるＡＲマーカが基準点であるとされた。しかしながら、各産業用機器３０の基準点は、ＡＲマーカに限定されない。例えば、バーコードやＱＲコード（登録商標）が基準点として用いられてもよい。すなわち、基準点は、マーカの形状から基準点の位置や産業用機器３０の種類が特定できるものであれば特に限定されない。

＜５−１１＞
また、上記実施の形態においては、ＳＬＡＭを用いることによって空間把握が行なわれた。しかしながら、空間把握は、必ずしもＳＬＡＭによって行なわれなくてもよい。例えば、ＡＲマーカに基づいて空間把握が行なわれてもよい。

＜５−１２＞
また、上記実施の形態に従うＨＭＤ１０においては、産業用機器３０との間で通信が確立され、産業用機器３０の動作状態情報が産業用機器３０から定期的に取得された。しかしながら、ＨＭＤ１０は、必ずしも産業用機器３０から動作状態情報を取得しなくてもよい。この場合に、ＨＭＤ１０は、産業用機器３０の内部に関して、静止状態における各部品のＡＲ画像を表示する。作業者は、静止状態の各部品のＡＲ画像を参照することによって、産業用機器３０のメンテナンスやトラブルシューティングに役立てることができる。

１ システム、２ アライメント部、３ ロードロック、４ 基板収納部、５ 真空搬送室、６ 真空ロボット、７ ゲートバルブ、１０ ＨＭＤ、１１，２１ 制御部、１１Ａ，２１Ａ ＣＰＵ、１１Ｂ，２１Ｂ ＲＡＭ、１１Ｃ，２１Ｃ ＲＯＭ、１２，２２ 記憶部、１２Ａ，２２Ａ 制御プログラム、１３ カメラ、１４ 表示部、１５ 各種センサ、１６ 通信部、１７Ａ，１７Ｂ 選択肢、２０ サーバ、３０ 産業用機器、３１ 真空チャンバ、３２ 覗き窓、３３ 搬送機構、３３Ａ 搬送アーム、３３Ｂ フォーク、３４ ステージ、３４Ａ ステージ本体、３４Ｂ リフトピン、Ａ１ 第１ＡＲ画像、Ａ２ 第２ＡＲ画像、Ｄ１，Ｄ２ データベース、Ｉ１ 内壁、Ｌ１ 稜線、Ｔ１ 部分、Ｎ１ ネットワーク、Ｗ１ 半導体ウエハ。

Claims (5)

1. 産業用機器の所定部分の内部を示す第１ＡＲ（Augmented Reality）画像、及び、前記産業用機器の正しい動作状態を示す第２ＡＲ画像を表示するように構成された表示部と、
   前記表示部を制御するように構成された制御部と、
   前記制御部により切り替え可能に構成される、第１モード又は第２モードの、ユーザによる選択を受け付けるように構成された受付部とを備え、
   前記制御部は、前記第１モードが選択された場合に前記第１ＡＲ画像を表示するように前記表示部を制御する一方、前記第２モードが選択された場合に前記第１ＡＲ画像を非表示とするように前記表示部を制御し、
   前記第１モードが選択された場合に、前記第１ＡＲ画像の少なくとも一部は、前記表示部において前記所定部分と重なる位置に表示され、
   前記制御部は、前記第１ＡＲ画像が前記表示部に表示される場合に、前記第２ＡＲ画像を前記第１ＡＲ画像に並べて表示するように前記表示部を制御するように構成されている、携帯端末。
2. 前記携帯端末のユーザの動作に関する値を検出するように構成された検出部をさらに備え、
   前記制御部は、前記検出部の検出結果に基づいて前記ユーザが動作しているか否かを判定するように構成されており、
   前記制御部は、前記第１モードが選択された場合に、
   前記ユーザが動作していないと判定されたときは、前記第１ＡＲ画像を表示するように前記表示部を制御する一方、
   前記ユーザが動作していると判定されたときは、前記第１ＡＲ画像を非表示とするように前記表示部を制御する、請求項１に記載の携帯端末。
3. 前記産業用機器と通信するように構成された通信部をさらに備え、
   前記制御部は、前記通信部を介して前記産業用機器の現在の動作状態を示す動作状態情報を取得するように構成され、
   前記制御部は、前記動作状態情報に基づいて前記第１ＡＲ画像を生成するように構成されている、請求項１又は２に記載の携帯端末。
4. 産業用機器の所定部分の内部を示す第１ＡＲ画像、及び、前記産業用機器の正しい動作状態を示す第２ＡＲ画像を携帯端末の表示部に表示させる方法であって、
   ユーザによる第１モード又は第２モードの選択を受け付けるステップと、
   前記第１モードが選択された場合に前記第１ＡＲ画像を前記表示部に表示させるステップと、
   前記第２モードが選択された場合に前記第１ＡＲ画像を非表示とするステップとを前記コンピュータに実行させ、
   前記第１モードが選択された場合に、前記第１ＡＲ画像の少なくとも一部は、前記表示部において前記所定部分と重なる位置に表示され、
   前記第１ＡＲ画像が前記表示部に表示される場合に、前記産業用機器の正しい動作状態を示す第２ＡＲ画像を前記第１ＡＲ画像に並べて表示する、方法。
5. 産業用機器の所定部分の内部を示す第１ＡＲ画像、及び、前記産業用機器の正しい動作状態を示す第２ＡＲ画像を携帯端末の表示部に表示させる処理をコンピュータに実行させるプログラムであって、
   ユーザによる第１モード又は第２モードの選択を受け付けるステップと、
   前記第１モードが選択された場合に前記第１ＡＲ画像を前記表示部に表示させるステップと、
   前記第２モードが選択された場合に前記第１ＡＲ画像を非表示とするステップとを前記コンピュータに実行させ、
   前記第１モードが選択された場合に、前記第１ＡＲ画像の少なくとも一部は、前記表示部において前記所定部分と重なる位置に表示され、
   前記第１ＡＲ画像が前記表示部に表示される場合に、前記産業用機器の正しい動作状態を示す第２ＡＲ画像を前記第１ＡＲ画像に並べて表示させる、プログラム。
   

Images