JP7492904B2 - 表示装置、表示システムおよび表示方法 - Google Patents

Description

本発明は、作業を支援するための情報を表示する表示装置、表示システムおよび表示方法に関する。

工場（プラント）などにおける製品の製造や、工場設備の点検、修理などの作業において、手順書や図面などの作業書を見ながら作業を行う場合があるが、作業対象の近くに作業書を表示するディスプレイなどの装置を配置することが難しいときがある。このようなときに利用可能な表示装置として、作業者の頭部に装着して、現実空間に仮想空間の画像を重畳して表示するシースルー型頭部装着型表示装置（ヘッドマウントディスプレイ、Head-Mounted Display、以下ではＨＭＤとも記す）やスマートグラスが注目されている。シースルー型ＨＭＤなどを使用すれば、作業者は表示装置を手に持ったり、遠くの表示装置を見に行ったりする必要がなく、作業効率を改善することができる。

ＨＭＤにおける表示制御については、ＨＭＤや作業者の状態、あるいは表示内容に応じて表示画面を変更・構成することにより使いやすいものとなる。例えば、特許文献１に記載のＨＭＤでは、ＨＭＤが計測した視線の角度に応じて、仮想空間を撮影した仮想カメラの画像を生成し、角度に応じて変化しない画像と共に表示している。

特開２０１９－１０１３３０号公報

特許文献１に記載の発明では、例えば、非透過型のＨＭＤに仮想空間の画像を表示しており、作業者（ＨＭＤの装着者）に仮想空間に入り込んだような感覚を与える画像を生成している。一方、工場などの現場での作業を支援するＨＭＤでは、実空間で実物の作業対象や工具、現場周辺を見ながら作業する必要があるため、特許文献１に記載の技術は、現場での作業用の表示装置として適しているとは言えない。
本発明は、このような背景を鑑みてなされたものであり、実空間で作業する作業者に適し、作業に係る情報を表示することを可能とする表示装置、表示システムおよび表示方法を提供することを課題とする。

上記した課題を解決するため、本発明に係る表示装置は、表示器と、前記表示器の向きを検出する検出器と、前記表示器の画面における所定の第１表示領域に第１画像を表示し、前記表示器の画面における第２表示領域に第１画像に関連する第２画像を表示する画像表示処理部を備え、前記画像表示処理部は、前記表示器の向きに応じて前記表示器の画面における前記第２表示領域の存否と、存在する場合の表示位置および表示サイズとを決定し、前記第１表示領域は、前記表示器の向きとは無関係の所定の表示位置および表示サイズの領域であり、前記第１画像は、所定の１つの画像であって、継続して表示され、前記第２画像は、前記第２表示領域が存在する場合には、前記第１画像とは異なる画像の、前記表示器の向きに応じた何れかの部分画像が継続して表示されることを特徴とする。

本発明によれば、実空間で作業する作業者に適し、作業に係る情報を表示することを可能とする表示装置、表示システムおよび表示方法を提供することができる。上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。

第１の実施形態に係る表示システムの構成を示す図である。 第１の実施形態に係るＨＭＤの機能ブロック図である。 第１の実施形態に係るスマートフォンの機能ブロック図である。 第１の実施形態に係る作業書データベースのデータ構成図である。 第１の実施形態に係る表示元画像の構成を示す図である。 第１の実施形態に係るディスプレイに表示される視野画像の構成を示す図である。 第１の実施形態に係る配置定義処理のシーケンス図である。 第１の実施形態における表示元画像生成処理のフローチャートである。 第１の実施形態における視野画像表示処理のフローチャートである。 第２の実施形態に係るＨＭＤの機能ブロック図である。 第２の実施形態に係るスマートフォンの機能ブロック図である。 第２の実施形態に係る視野内手順書座標テーブルのデータ構成図である。 第２の実施形態に係る配置定義処理のシーケンス図（１）である。 第２の実施形態に係る配置定義処理のシーケンス図（２）である。 第２の実施形態における表示元画像生成処理のフローチャートである。 第２の実施形態における視野画像表示処理のフローチャートである。 第３の実施形態に係る作業書データベースのデータ構成図である。 第３の実施形態における表示元画像生成処理のフローチャートである。 第３の実施形態における視野画像表示処理のフローチャートである。 第４の実施形態に係る表示システムの構成を示す図である。 第４の実施形態に係るＨＭＤの機能ブロック図である。 第４の実施形態に係るスマートフォンの機能ブロック図である。 第４の実施形態に係る表示元画像の構成を示す図である。 第４の実施形態に係るディスプレイに表示される視野画像の構成を示す図である。 第４の実施形態に係る配置定義処理のシーケンス図である。 第４の実施形態における表示元画像生成処理のフローチャートである。 第４の実施形態における視野画像表示処理のフローチャートである。 第５の実施形態に係るＨＭＤの機能ブロック図である。 第５の実施形態に係る分割表示元画像領域を説明するための図である。 第５の実施形態に係るＨＭＤに記憶される配置領域テーブルのデータ構成である。 第５の実施形態に係るスマートフォンの機能ブロック図である。 第５の実施形態に係るスマートフォンに記憶される配置領域テーブルを説明するための図である。 第５の実施形態に係るスマートフォンに記憶される配置領域テーブルのデータ構成図である。 第５の実施形態に係る配置定義処理のシーケンス図である。 第５の実施形態に係る手順書配置領域設定画面の画面構成図である。 第５の実施形態に係る手順書配置領域および図面配置領域の位置の変更を説明するための図である。 第５の実施形態に係る手順書配置領域および図面配置領域のサイズの変更を説明するための図である。 第５の実施形態における表示元画像生成処理のフローチャートである。 第５の実施形態に係るタッチパネルディスプレイに表示される変更モードの表示元画像を説明するための図である。 第５の実施形態に係るタッチパネルディスプレイに表示される変更不可モードの表示元画像を説明するための図である。 第５の実施形態における視野画像表示処理のフローチャートである。 第５の実施形態に係るＨＭＤを装着した作業者にとって、ディスプレイに表示された画面がどのように見えるかを示す図である。 第５の実施形態に係るＨＭＤを装着した作業者が右を向いたときに、ディスプレイに表示された画面がどのように見えるかを示す図である。

以下に、本発明を実施するための形態（実施形態）における表示システムを説明する。表示システムは、スマートフォン、および透過型のＨＭＤを含んで構成される。スマートフォンには、作業の手順書、および図面が記憶され、作業者が行っている作業ステップの手順書と図面とをそれぞれの所定の領域に含む画像（表示元画像とも記す）を生成して、ＨＭＤに送信する。ＨＭＤは、表示元画像に含まれる手順書の領域から画像を切り出して、ＨＭＤの画面における所定の位置（例えば中央下）に表示する。

また、ＨＭＤは、本体の向きに応じて図面を表示する。例えば、図面の領域が表示元画像の右側にあるとする（後記する図５の表示元画像２３０内の図面配置領域２３２参照）。すると、ＨＭＤは、作業者が正面を向いているときには図面を表示しない。ＨＭＤは、作業者が小さく右を向いたことを検知すると図面の左側を画面の右側に表示し、作業者が大きく右を向いたことを検知すると図面全体を画面の右側に表示する。

このように、ＨＭＤが手順書と図面とを表示することにより、作業者は手順書を常時参照しながら作業することができる。また、右を向くことで作業者は、図面を参照することができる。正面を向いているときには図面は表示されず、作業者が作業対象や作業現場を見る視界が遮られることはない。結果として作業者は、手でスマートフォンやＨＭＤを操作することなく両手で作業しながら、手順書や図面を参照しつつ作業することができるようになる。

≪第１の実施形態：表示システムの全体構成≫
図１は、第１の実施形態に係る表示システム１０の構成を示す図である。表示システム１０は、ＨＭＤ（ヘッドマウントディスプレイ）１００（表示装置）とスマートフォン２００（携帯装置）とを含んで構成される。ＨＭＤ１００は、例えば、視界を覆うようにして頭部に装着するゴーグル型の表示装置である。ＨＭＤ１００とスマートフォン２００とは、例えばＵＳＢ（Universal Serial Bus）ケーブルで接続されるが、他の規格のケーブルまたは無線で接続されてもよい。また、スマートフォン２００にＵＳＢを接続し、変換アダプタを介してＨＤＭＩ（High-Definition Multimedia Interface）やDisplayPortなどの画像出力コネクタに変換し、ＨＭＤ１００に接続する形態でもよい。なお、ＨＭＤ１００には、メガネのようにかけて使用するスマートグラスも含めるものとする。同様に、スマートフォン２００（携帯装置）には、タブレットやノートＰＣといった携帯可能な端末も含めるものとする。

≪第１の実施形態：ＨＭＤ（ヘッドマウントディスプレイ）の構成≫
図２は、第１の実施形態に係るＨＭＤ１００の機能ブロック図である。ＨＭＤ１００は、ＣＰＵ（Central Processing Unit）を含んで構成される制御部１１０、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）、フラッシュメモリなどから構成される記憶部１２０、ディスプレイ１８１、センサ１８２、および不図示の通信部を含んで構成される。通信部は、ＵＳＢやWi-Fi（登録商標）など１つ以上の通信インターフェースを備え、スマートフォン２００との間でデータを送受信する。

ディスプレイ１８１は、ＨＭＤ１００の前部に備えられる高い透過率を有する透過型の表示装置である（図１参照）。図１のような両眼型の他、左右の何れかの眼で使用する片眼型でも良い。作業者は、ＨＭＤ１００を装着してディスプレイ１８１に表示される情報を参照しながら作業することができる。
センサ１８２は、例えばＭＥＭＳ（Micro Electro Mechanical Systems）式のジャイロスコープを含むセンサであって、ＨＭＤ１００の角度または角速度を検出して制御部１１０に出力する。周囲の照度を測定する照度センサ、および周囲や作業者を撮影するカメラを含んでもよい。

記憶部１２０には、プログラム１２１、表示元画像１２２、手順書座標１２３、関連図面座標１２４、および視野内手順書座標１２５が記憶される。プログラム１２１は、制御部１１０を構成するＣＰＵが実行するプログラムであって、ＨＭＤ１００を制御する。プログラム１２１は、視野画像表示処理（後記する図９参照）他の処理手順を含む。
表示元画像１２２は、スマートフォン２００から受信した表示元画像２３０（後記する図３、図５参照）であって、ディスプレイ１８１に表示される視野画像の元となる画像データである。手順書座標１２３、関連図面座標１２４、および視野内手順書座標１２５は、スマートフォン２００から受信した表示元画像１２２中の領域を示す座標データであって、後記するスマートフォン２００（図３参照）が記憶する手順書座標２２２、関連図面座標２２３、および視野内手順書座標２２４とそれぞれ同等である。

制御部１１０は、データ受信部１１１、および視野画像表示部１１２を備える。データ受信部１１１は、スマートフォン２００から受信したデータを表示元画像１２２、手順書座標１２３、関連図面座標１２４、および視野内手順書座標１２５に格納する。視野画像表示部１１２は、手順書座標１２３、関連図面座標１２４、および視野内手順書座標１２５を参照して、表示元画像１２２（後記する図５に記載の表示元画像２３０）から画像を切り出してディスプレイ１８１に表示する。

≪第１の実施形態：スマートフォンの構成≫
図３は、第１の実施形態に係るスマートフォン２００の機能ブロック図である。スマートフォン２００は、ＣＰＵを含んで構成される制御部２１０、ＲＯＭやＲＡＭ、フラッシュメモリなどから構成される記憶部２２０、タッチパネルディスプレイ２８１、マイク２８２、および不図示の通信部を含んで構成される。通信部は、ＵＳＢやWi-Fiなど１つ以上の通信インターフェースを備え、ＨＭＤ１００との間でデータを送受信する。

記憶部２２０には、プログラム２２１、表示元画像２３０、手順書座標２２２、関連図面座標２２３、視野内手順書座標２２４、作業書データベース２４０（図３では作業書ＤＢ（database）と記載、後記する図４参照）、および図面データベース２５０（図３では図面ＤＢと記載）が記憶される。
プログラム２２１は、制御部２１０を構成するＣＰＵが実行するプログラムであって、スマートフォン２００を制御する。プログラム２２１は、表示元画像生成処理（後記する図８参照）他の処理手順を含む。

図４は、第１の実施形態に係る作業書データベース２４０のデータ構成図である。作業書データベース２４０は、例えば表形式のデータである。作業書データベース２４０の１つの行は、表示システム１０の利用者である作業者が実行する１つの作業ステップを示し、ステップ番号２４１（図４では＃と記載）、作業対象部位２４２、作業内容２４３、関連図面２４４、完了フラグ２４５（図４では完了Ｆと記載）、および完了日時２４６を含んで構成される。

ステップ番号２４１は、作業ステップに付与された番号であって、作業ステップの順番を示す。作業対象部位２４２は、修理や点検などの作業の対象となる部位を示し、例えば「機種Ａの１号機」という作業対象の名称である。作業内容２４３は、ディスプレイ１８１（図１および図２参照）に表示される作業ステップの説明文であって、例えば、「スイッチＢをオフにする」という作業内容の説明文である。関連図面２４４は、作業ステップに関連する図面であって、ディスプレイ１８１に表示される図面の識別情報である。完了フラグ２４５は、作業ステップが完了したか（「ＹＥＳ」）、未了であるか（「ＮＯ」）を示す。完了日時２４６は、作業ステップが完了した日時である。

図３に戻って、図面データベース２５０は、作業ステップに関連する図面を格納する。図面には関連図面２４４（図４参照）に対応する識別情報が付与されており、制御部２１０は、識別情報を指定することで、図面にアクセスすることができる。表示元画像２３０、手順書座標２２２、関連図面座標２２３、および視野内手順書座標２２４については、後記する図５および図６を参照しながら説明する。

≪第１の実施形態：表示元画像と視野画像≫
図５は、第１の実施形態に係る表示元画像２３０の構成を示す図である。表示元画像２３０は、ディスプレイ１８１（図１および図２参照）に表示される画像の元となる画像データである。手順書配置領域２３１は、表示元画像２３０のなかで手順書の内容（図４のステップ番号２４１、作業対象部位２４２、作業内容２４３、関連図面２４４、完了フラグ２４５）が表示される領域である。図面配置領域２３２は、表示元画像２３０のなかで手順書に関連する図面（図４の関連図面２４４で識別され、図面データベース２５０に記憶されている図面）が表示される領域である。

視野領域２３３は、表示元画像２３０の部分領域であって、ディスプレイ１８１（図１、図２参照）に表示される領域であり、領域の大きさはディスプレイ１８１の表示サイズである。視野領域２３３は、ＨＭＤ１００の向きに応じて表示元画像２３０内を移動する。例えば、作業者が左を向くとともに、センサ１８２（図２参照）がＨＭＤ１００の左回転を検知すると、ディスプレイ１８１には、表示元画像２３０の左側にある視野領域２３３Ａが表示される。

手順書座標２２２（図３参照）は、表示元画像２３０における手順書配置領域２３１の配置座標である。配置座標とは、例えば領域の左上頂点および右下頂点の表示元画像２３０内での座標である。配置座標は、領域の左上頂点の座標、および領域のサイズであってもよい。関連図面座標２２３は、表示元画像２３０における図面配置領域２３２の配置座標である。

図６は、第１の実施形態に係るディスプレイ１８１に表示される視野画像４２０の構成を示す図である。視野画像４２０は、視野領域２３３（図５参照）に対応する画像であり、表示元画像２３０から後記する視野内図面領域４２２を切り出した画像に、視野内手順書領域４２１が付加された画像である。ディスプレイ１８１において、視野内図面領域４２２および視野内手順書領域４２１以外の部分には画素が表示されないため、ＨＭＤ１００を装着した作業者には視野のその部分を通して作業場所の風景が見える。

視野内手順書領域４２１は、視野画像４２０の部分領域であって、手順書が表示される領域である。第１の実施形態では、視野内手順書領域４２１は、視野画像４２０の中央下側に配置されるが、別の位置に配置されてもよい。視野内手順書座標２２４（図３参照）は、視野画像４２０における視野内手順書領域４２１の配置座標である。

視野内図面領域４２２は、視野領域２３３（図５参照）と図面配置領域２３２とが重なった領域であって、図面の一部が含まれる領域である。視野領域２３３は、ＨＭＤ１００の向きに応じて表示元画像２３０内を移動するため、視野領域２３３と図面配置領域２３２とが重なった領域である視野内図面領域４２２もＨＭＤ１００の向きに応じて変化する。例えば、作業者が左を向くと、視野領域２３３から視野領域２３３Ａに移動する。すると、視野領域２３３Ａと図面配置領域２３２とは重ならないため、視野内図面領域４２２は存在せず、ディスプレイ１８１に図面は表示されないことになる。

≪第１の実施形態：スマートフォンの構成：制御部≫
図３に戻って、制御部２１０は、配置定義部２１１、および表示元画像生成部２１２を備える。配置定義部２１１は、表示システム１０の利用者である作業者の指示を受け付けて、表示元画像２３０（図５参照）における手順書配置領域２３１や図面配置領域２３２の配置（配置座標）、および視野画像４２０（図６参照）における視野内手順書領域４２１の配置を定義（設定）する。配置定義部２１１は、定義された配置座標をＨＭＤ１００に送信する。表示元画像生成部２１２は、作業者が作業している作業ステップに係る手順書および関連図面を含んだ表示元画像２３０を生成して、ＨＭＤ１００に送信する。

≪第１の実施形態：配置定義処理≫
図７は、第１の実施形態に係る配置定義処理のシーケンス図である。図７を参照しながら、表示元画像２３０（図５参照）、および視野画像４２０（図６参照）に係る設定を行うスマートフォン２００、およびＨＭＤ１００の処理を説明する。
ステップＳ１１１においてスマートフォン２００の配置定義部２１１は、表示システム１０の利用者である作業者が指示した表示元画像２３０（図５参照）における手順書配置領域２３１の配置座標を取得して、手順書座標２２２（図３参照）に格納する。配置座標は、例えば領域の左上頂点および右下頂点の表示元画像２３０内での座標である。

ステップＳ１１２において配置定義部２１１は、作業者が指示した表示元画像２３０における図面配置領域２３２の配置座標を取得して、関連図面座標２２３に格納する。
ステップＳ１１３において配置定義部２１１は、作業者が指示した視野画像４２０（図６参照）における視野内手順書領域４２１の配置座標を取得して、視野内手順書座標２２４に格納する。
ステップＳ１１４において配置定義部２１１は、手順書座標２２２、関連図面座標２２３、および視野内手順書座標２２４をＨＭＤ１００に送信する。

ステップＳ１１５においてＨＭＤ１００のデータ受信部１１１は、受信した手順書座標２２２、関連図面座標２２３、および視野内手順書座標２２４を、それぞれ手順書座標１２３、関連図面座標１２４、および視野内手順書座標１２５に格納する。
配置定義処理に続いて、作業者が表示システム１０を利用して作業するときの表示システム１０の処理を説明する。

≪第１の実施形態：表示元画像生成処理≫
図８は、第１の実施形態における表示元画像生成処理のフローチャートである。図８を参照しながら、スマートフォン２００が表示元画像２３０を生成して、ＨＭＤ１００に送信する処理を説明する。
ステップＳ１３１においてスマートフォン２００の表示元画像生成部２１２は、作業ステップの完了指示があれば（ステップＳ１３１→ＹＥＳ）ステップＳ１３２に進み、なければ（ステップＳ１３１→ＮＯ）ステップＳ１３３に進む。作業ステップの完了指示とは、作業者が１つの作業ステップが完了したことを記録することを表示システム１０に指示することである。表示元画像生成部２１２は、マイク２８２（図３参照）で取得した音から、作業者の「作業ステップ完了」の発声を検出することで、作業ステップの完了指示の有無を判断してもよい。または、表示元画像生成部２１２は、作業者のタッチパネルディスプレイ２８１に表示された作業ステップ完了ボタンのタップを検出して、作業ステップの完了指示があったと判断してもよい。

ステップＳ１３２において表示元画像生成部２１２は、作業ステップの完了を記録する。詳しくは、表示元画像生成部２１２は、現在の作業ステップの完了フラグ２４５（図４参照）を「ＹＥＳ」に、完了日時２４６を現在時刻に更新する。現在の作業ステップは、完了フラグ２４５が「ＮＯ」であってステップ番号２４１が最小の作業ステップである。
ステップＳ１３３において表示元画像生成部２１２は、空白の画像を生成して、表示元画像２３０に格納する。

ステップＳ１３４において表示元画像生成部２１２は、手順書を表示元画像２３０の手順書配置領域２３１（図５参照）に描画する。詳しくは、表示元画像生成部２１２は、現在の作業ステップのステップ番号２４１、作業対象部位２４２、作業内容２４３、関連図面２４４、完了フラグ２４５（図４参照）を手順書配置領域２３１に描画する。
ステップＳ１３５において表示元画像生成部２１２は、関連図面を表示元画像２３０の図面配置領域２３２に描画する。詳しくは、表示元画像生成部２１２は、現在の作業ステップの関連図面２４４にある識別情報に対応する図面を図面データベース２５０から取得して図面配置領域２３２に描画する。
ステップＳ１３６において表示元画像生成部２１２は、表示元画像２３０をＨＭＤ１００に送信して、ステップＳ１３１に戻る。

≪第１の実施形態：視野画像表示処理≫
図９は、第１の実施形態における視野画像表示処理のフローチャートである。図９を参照しながら、ＨＭＤ１００がスマートフォン２００から受信した表示元画像２３０（図８のステップＳ１３６参照）を基に視野画像をディスプレイ１８１に表示する処理を説明する。
ステップＳ１５１においてＨＭＤ１００のデータ受信部１１１は、スマートフォン２００が送信した表示元画像２３０を受信して表示元画像１２２に格納する。
ステップＳ１５２においてＨＭＤ１００の視野画像表示部１１２は、手順書配置領域２３１（図５参照、手順書座標１２３で示される表示元画像１２２の部分領域）の画像を視野内手順書座標１２５で示されるディスプレイ１８１の領域（図６の視野内手順書領域４２１参照）に表示する。

ステップＳ１５３において視野画像表示部１１２は、センサ１８２で取得したＨＭＤ１００の向き（角度）から視野領域２３３（図５参照）を算出する。
ステップＳ１５４において視野画像表示部１１２は、視野領域２３３（図５参照）と図面配置領域２３２の重複領域を、ディスプレイ１８１の対応する領域に表示して、ステップＳ１５１に戻る。ディスプレイ１８１の対応する領域とは、ディスプレイ１８１の表示画像を視野画像４２０（図６参照）と見なすときに、視野画像４２０内の視野内図面領域４２２に対応する領域である。

≪第１の実施形態：表示システムの特徴≫
ＨＭＤ１００のディスプレイ１８１には、作業者が作業している作業ステップの手順書と関連図面とが表示される。手順書はディスプレイ１８１の設定された位置（図６の視野内手順書領域４２１参照）に常時表示される。このため、作業者は手順書を常時参照しながら作業することができる。
関連図面は、作業者の頭部（ＨＭＤ１００）の向きに応じて表示される。仮に図面の位置が表示元画像２３０の右側に設定されたとする。すると、作業者が正面を向いているときには図面は表示されず、作業者は図面に邪魔されることなく作業できる。作業者は、右を向くことで図面を参照することができる。結果として作業者は、手でスマートフォン２００やＨＭＤ１００を操作することなく両手で作業しながら、手順書や図面を参照することができるようになる。

≪第２の実施形態≫
第１の実施形態では、視野画像４２０（図６参照）内の視野内手順書領域４２１には、手順書が常時表示されるが、作業者の指示より表示／非表示を切り替えられるようにしてもよい。また、手順書の表示領域は中央下側に固定されている（図６の視野内手順書領域４２１参照）が、作業者の指示により表示／非表示や表示位置を切り替えられるようにしてもよい。図面については、表示元画像２３０内の図面が、座標で指定される図面配置領域２３２を用いて図面を指定されるのではなく、背景色を指定して当該背景色以外の画素を図面として扱うようにしてもよい。以下、手順書の表示／非表示や表示位置の切り替え、背景色の指定を可能とする第２の実施形態を説明する。なお、手順書と同様に、作業者の指示より図面の表示／非表示を切り替えるようにしてもよい。

≪第２の実施形態：ＨＭＤの構成≫
図１０は、第２の実施形態に係るＨＭＤ１００Ａの機能ブロック図である。第１の実施形態のＨＭＤ１００（図２参照）と比較して、記憶部１２０において関連図面座標１２４がなくなり、背景色１２６、および手順書表示フラグ１２７が追加される。背景色１２６は、図面の背景となる色であって、表示元画像１２２において背景色１２６以外の色の画素が図面となる。手順書表示フラグ１２７は、ディスプレイ１８１に手順書を表示するか否かを示すフラグである。データ受信部１１１Ａは、スマートフォン２００から表示元画像や手順書座標の他に、背景色や手順書表示フラグを受信して記憶部１２０に格納する。視野画像表示部１１２Ａは、背景色１２６、手順書表示フラグ１２７を参照して、手順書と図面とをディスプレイ１８１に表示する。

≪第２の実施形態：スマートフォンの構成≫
図１１は、第２の実施形態に係るスマートフォン２００Ａの機能ブロック図である。第１の実施形態のスマートフォン２００と比較して、記憶部２２０において視野内手順書座標２２４に替わり、視野内手順書座標テーブル２６０（後記する図１２参照）および視野内手順書座標識別番号２６９が記憶される。また、背景色１２６、および手順書表示フラグ１２７に対応する背景色２２５、および手順書表示フラグ２２６が追加される。

図１２は、第２の実施形態に係る視野内手順書座標テーブル２６０のデータ構成図である。視野内手順書座標テーブル２６０は、１つ以上の視野内手順書領域４２１（図６参照）の配置座標を記憶する。視野内手順書座標テーブル２６０は、例えば表形式のデータであって、１つの行（レコード）は、１つの視野内手順書座標を示し、視野内手順書座標識別番号２６１（図１２では＃と記載）および視野内手順書座標２６２の列（属性）を含む。視野内手順書座標識別番号２６１は、視野内手順書座標の識別情報である。視野内手順書座標２６２は、視野内手順書領域４２１の配置座標を示す。視野内手順書座標識別番号２６９（図１１参照）は、作業者が指定した視野内手順書領域４２１（図６参照）の視野内手順書座標識別番号２６１である。

図１１に戻って、配置定義部２１１Ａは、作業者の指示を受け付けて手順書配置領域２３１の配置や背景色２２５を定義する。表示元画像生成部２１２Ａは、手順書および関連図面を含んだ表示元画像２３０を生成して、ＨＭＤ１００Ａに送信する。

≪第２の実施形態：配置定義処理≫
図１３は、第２の実施形態に係る配置定義処理のシーケンス図（１）である。図１４は、第２の実施形態に係る配置定義処理のシーケンス図（２）である。第２の実施形態においては、配置定義処理は、図１３の処理に続いて、作業中に図１４の処理が繰り返し実行される。

ステップＳ２１１においてスマートフォン２００Ａの配置定義部２１１Ａは、表示システム１０の利用者である作業者が指示した表示元画像２３０（図５参照）における手順書配置領域２３１の配置座標を取得して、手順書座標２２２に格納する。
ステップＳ２１２において配置定義部２１１Ａは、作業者が指示した表示元画像２３０における図面配置領域２３２の配置座標を取得して、関連図面座標２２３に格納する。

ステップＳ２１３において配置定義部２１１Ａは、作業者が指示した視野画像４２０（図６参照）における視野内手順書領域４２１の配置座標を取得して、視野内手順書座標テーブル２６０（図１２参照）に格納する。視野内手順書領域４２１は、１つとは限らず、複数の場合もある。第２の実施形態では、作業者は３つの手順書配置領域を指示した（図１２参照）として説明する。配置定義部２１１Ａは、既定の視野内手順書座標識別番号として「１」を視野内手順書座標識別番号２６９に、既定の手順書表示フラグとして「ＯＮ」を手順書表示フラグ２２６に格納する。配置定義部２１１Ａは、作業者に既定の視野内手順書座標識別番号や手順書表示フラグを問い合わせて、視野内手順書座標識別番号２６９や手順書表示フラグ２２６に格納してもよい。

ステップＳ２１４において配置定義部２１１Ａは、作業者が指示した図面の背景色を取得して、背景色２２５に格納する。
ステップＳ２１５において配置定義部２１１Ａは、手順書座標２２２、視野内手順書座標識別番号２６９に対応する視野内手順書座標２６２（図１２参照）、背景色２２５、および手順書表示フラグ２２６をＨＭＤ１００Ａに送信する。
ステップＳ２１６においてＨＭＤ１００Ａのデータ受信部１１１Ａは、受信した手順書座標２２２、視野内手順書座標識別番号２６９に対応する視野内手順書座標２６２、背景色２２５、および手順書表示フラグ２２６を、それぞれ手順書座標１２３、視野内手順書座標１２５、背景色１２６、および手順書表示フラグ１２７に格納する。

図１４に移って、ステップＳ２２１において配置定義部２１１Ａは、手順書表示に係る指示があれば（ステップＳ２２１→ＹＥＳ）ステップＳ２２２に進み、なければ（ステップＳ２２１→ＮＯ）ステップＳ２２１に戻る。手順書表示に係る指示とは、手順書の表示の当否、および表示位置の指示である。例えば、作業者は「手順書表示」や「手順書表示ＯＮ」と発声して、手順書の表示を指示する。また、作業者は「手順書表示位置２番」や「２番に手順書表示」と発声して、手順書の表示位置を指示する。配置定義部２１１Ａは、マイク２８２で取得した音から、指示の有無を判断してもよい。または、配置定義部２１１Ａは、作業者のタッチパネルディスプレイ２８１に表示された手順書の表示ＯＮ／ＯＦＦボタンや手順書表示位置ボタンのタップを検出して、指示の有無を判断してもよい。

ステップＳ２２２において配置定義部２１１Ａは、ステップＳ２２１における指示が手順書の表示の指示であれば（ステップＳ２２２→ＹＥＳ）ステップＳ２２３に進み、表示の指示でなければ（ステップＳ２２２→ＮＯ）ステップＳ２２４に進む。
ステップＳ２２３において配置定義部２１１Ａは、手順書表示フラグ２２６（図１１参照）を「ＯＮ」に設定する。

ステップＳ２２４において配置定義部２１１Ａは、ステップＳ２２１における指示が手順書の非表示の指示であれば（ステップＳ２２４→ＹＥＳ）ステップＳ２２５に進み、非表示の指示でなければ（ステップＳ２２４→ＮＯ）ステップＳ２２６に進む。
ステップＳ２２５において配置定義部２１１Ａは、手順書表示フラグ２２６を「ＯＦＦ」に設定する。

ステップＳ２２６において配置定義部２１１Ａは、ステップＳ２２１における指示が手順書の表示位置を１番にする指示であれば（ステップＳ２２６→ＹＥＳ）ステップＳ２２７に進み、１番にする指示でなければ（ステップＳ２２６→ＮＯ）ステップＳ２２８に進む。
ステップＳ２２７において配置定義部２１１Ａは、視野内手順書座標識別番号２６９を「１」に設定する。

ステップＳ２２８において配置定義部２１１Ａは、ステップＳ２２１における指示が手順書の表示位置を２番にする指示であれば（ステップＳ２２８→ＹＥＳ）ステップＳ２２９に進み、２番にする指示でなければ（ステップＳ２２８→ＮＯ）ステップＳ２３０に進む。
ステップＳ２２９において配置定義部２１１Ａは、視野内手順書座標識別番号２６９を「２」に設定する。

ステップＳ２３０において配置定義部２１１Ａは、ステップＳ２２１における指示が手順書の表示位置を３番にする指示であれば（ステップＳ２３０→ＹＥＳ）ステップＳ２３１に進み、３番にする指示でなければ（ステップＳ２３０→ＮＯ）ステップＳ２３２に進む。
ステップＳ２３１において配置定義部２１１Ａは、視野内手順書座標識別番号２６９を「３」に設定する。

ステップＳ２３２において配置定義部２１１Ａは、視野内手順書座標識別番号２６９に対応する視野内手順書座標２６２、および手順書表示フラグ２２６をＨＭＤ１００Ａに送信して、ステップＳ２２１に戻る。
ステップＳ２３３においてＨＭＤ１００Ａのデータ受信部１１１Ａは、受信した視野内手順書座標識別番号２６９に対応する視野内手順書座標２６２、および手順書表示フラグ２２６を、それぞれ視野内手順書座標１２５、および手順書表示フラグ１２７に格納する。
なお、作業者が作業している間、配置定義部２１１Ａ、およびデータ受信部１１１Ａは、図１４の処理を繰り返す。

≪第２の実施形態：表示元画像生成処理≫
図１５は、第２の実施形態における表示元画像生成処理のフローチャートである。図１５を参照しながら、スマートフォン２００Ａが表示元画像２３０を生成して、ＨＭＤ１００Ａに送信する処理を説明する。
ステップＳ２４１～Ｓ２４２は、ステップＳ１３１～Ｓ１３２（図８参照）と同様の処理である。

ステップＳ２４３において表示元画像生成部２１２Ａは、背景色２２５と同色である空白の画像を生成して、表示元画像２３０に格納する。
ステップＳ２４４において表示元画像生成部２１２Ａは、手順書表示フラグ２２６が「ＯＮ」であれば（ステップＳ２４４→ＹＥＳ）ステップＳ２４５に進み、「ＯＮ」でなければ（ステップＳ２４４→ＮＯ）ステップＳ２４６に進む。
ステップＳ２４５～Ｓ２４７は、ステップＳ１３４～Ｓ１３６と同様である。

≪第２の実施形態：視野画像表示処理≫
図１６は、第２の実施形態における視野画像表示処理のフローチャートである。図１６を参照しながら、ＨＭＤ１００Ａが表示元画像２３０から視野画像を生成してディスプレイ１８１に表示する処理を説明する。
ステップＳ２６１は、ステップＳ１５１（図９参照）と同様の処理である。
ステップＳ２６２において視野画像表示部１１２Ａは、手順書表示フラグ１２７が「ＯＮ」であれば（ステップＳ２６２→ＹＥＳ）ステップＳ２６３に進み、「ＯＮ」でなければ（ステップＳ２６２→ＮＯ）ステップＳ２６５に進む。

ステップＳ２６３は、ステップＳ１５２と同様の処理である。
ステップＳ２６４において視野画像表示部１１２Ａは、手順書配置領域２３１（図５参照）以外の表示元画像１２２から背景色１２６以外の画素を関連図面として抽出する。
ステップＳ２６５において視野画像表示部１１２Ａは、表示元画像１２２全体から背景色１２６以外の画素を関連図面として抽出する。
ステップＳ２６６は、ステップＳ１５３（図９参照）と同様の処理である。
ステップＳ２６７においてＨＭＤ１００Ａの視野画像表示部１１２Ａは、視野領域２３３と、ステップＳ２６４またはステップＳ２６５で関連図面として抽出した画素との重複領域を、ディスプレイ１８１の対応する領域に表示して、ステップＳ２６１に戻る。換言すれば、視野画像表示部１１２Ａは、視野領域２３３内にあって、ステップＳ２６４またはステップＳ２６５で関連図面として抽出された画素をディスプレイ１８１の対応する領域に表示して、ステップＳ２６１に戻る。

≪第２の実施形態：表示システムの特徴≫
第１の実施形態と比較して、ＨＭＤ１００Ａは、ディスプレイ１８１に表示する手順書について、作業者に指示に従って表示／非表示を切り替えたり、表示位置を切り替えたりすることができる。このため、作業者は、より広い視野を確保したい場合には非表示を選択したり、作業に応じて手順書を表示する位置を切り替えたりすることができるようになる。作業者は、作業ステップや作業者の姿勢などに応じて視野が確保しやすくなり、作業効率が向上する。また、図面の表示部分が座標ではなく色で指定されるため、矩形のような単純な形状に限らず、複雑な形状の図形が表示できるようになる。

≪第３の実施形態≫
第２の実施形態では、作業者はディスプレイ１８１に表示される手順書の位置を変えることができる。以下では、作業ステップに応じて図面の位置を変えることができる第３の実施形態を説明する。

図１７は、第３の実施形態に係る作業書データベース２４０Ｂのデータ構成図である。第１の実施形態の作業書データベース２４０（図４参照）と比較して、関連図面座標２４７の列（属性）が追加される。関連図面座標２４７は、表示元画像２３０（図５参照）における図面配置領域２３２の配置座標を示す。第２の実施形態では作業ステップ（図面）によらず全ての図面配置領域２３２は、同一であったが、第３の実施形態では作業ステップごとに図面配置領域２３２を設定することができる。また、第２の実施形態では作業ステップ（図面）によらず背景色２２５は、同一であったが、第３の実施形態では図面ごとに背景色を選定するようにする。
なお、図示はしていないが、第３の実施形態においては、表示システム１０Ｂ、ＨＭＤ１００Ｂ、表示元画像生成部２１２Ｂ、視野画像表示部１１２Ｂのように符号を付与する。

≪第３の実施形態：表示元画像生成処理≫
図１８は、第３の実施形態における表示元画像生成処理のフローチャートである。ステップＳ３４３，Ｓ３４６，Ｓ３４７を除くステップＳ３４１～Ｓ３４７は、ステップＳ２４３，Ｓ２４６，Ｓ２４７を除くステップＳ２４１～Ｓ２４７（図１５参照）とそれぞれ同様である。

ステップＳ３４３において表示元画像生成部２１２Ｂは、現在の作業ステップの関連図面で最も使われていない色を背景色として選択して、この色の空白の画像を生成し、表示元画像２３０に格納する。また、表示元画像生成部２１２Ｂは、この色を背景色２２５に格納する。
ステップＳ３４６において表示元画像生成部２１２Ｂは、作業書データベース２４０Ｂを参照し、表示元画像２３０における現在の作業ステップの関連図面座標２４７（図１７参照）に関連図面を描画する。
ステップＳ３４７において表示元画像生成部２１２Ｂは、表示元画像２３０、および背景色２２５をＨＭＤ１００Ｂに送信する。

≪第３の実施形態：視野画像表示処理≫
図１９は、第３の実施形態における視野画像表示処理のフローチャートである。ステップＳ３６１を除くステップＳ３６１～Ｓ３６７は、ステップＳ２６１を除くステップＳ２６１～Ｓ２６７（図１６参照）と同様である。
ステップＳ３６１において視野画像表示部１１２Ｂは、表示元画像２３０と背景色２２５とを受信し、それぞれ表示元画像１２２と背景色１２６（図１０参照）とに格納する。

≪第３の実施形態：表示システムの特徴≫
第２の実施形態と比較して、作業者は、作業ステップ（図面）ごとに図面の表示位置をあらかじめ設定しておくことができるようになる。これにより、作業部位に応じて図面が表示されるＨＭＤ１００Ｂ（作業者の顔）の向きを決めることができ、表示システム１０Ｂの使い勝手が向上する。
また、スマートフォン２００Ｂは、それぞれの図面において最も使われていない色を背景色として選択しており、第２の実施形態と比較して作業者が背景色を設定する手間がなくなる。

≪第４の実施形態≫
上記した実施形態ではディスプレイ１８１には、手順書や図面が表示される。手順書や図面以外の情報が、ディスプレイ１８１に表示されるようにしてもよい。以下では、スマートフォンのバッテリ状態や時刻、後記するメッセージが表示される第４の実施形態を説明する。

図２０は、第４の実施形態に係る表示システム１０Ｃの構成を示す図である。表示システム１０Ｃは、ＨＭＤ１００Ｃとスマートフォン２００Ｃと管理者端末５００とを含んで構成される。ＨＭＤ１００Ｃは、作業の様子を撮影するカメラ１８３を前部に備える。スマートフォン２００Ｃと管理者端末５００とは、無線通信、例えば第５世代移動通信システムを用いて接続される。管理者端末５００を利用する管理者は、作業者の作業をモニタして、必要に応じてテキスト情報であるメッセージを送信して、作業者に作業を指示したり、注意を促したりする。

図２１は、第４の実施形態に係るＨＭＤ１００Ｃの機能ブロック図である。センサ１８２Ｃは、ジャイロスコープに加え、カメラ１８３を備える。手順書・バッテリ状態座標１２３Ｃ、時計座標１２８、および視野内手順書・バッテリ状態座標１２５Ｃについては、図２３～図２４を参照しながら後記する。データ受信部１１１Ｃは、表示元画像の他に、手順書・バッテリ状態座標や時計座標を受信して記憶部１２０に格納する。視野画像表示部１１２Ｃは、手順書や図面の他に、時刻やバッテリ状態、メッセージを表示したり、カメラ１８３の画像をスマートフォン２００Ｃに送信したりする。

図２２は、第４の実施形態に係るスマートフォン２００Ｃの機能ブロック図である。表示元画像２３０Ｃ、時計座標２２７、バッテリ状態座標２２８、手順書・バッテリ状態座標２２９、視野内手順書・バッテリ状態座標２２４Ｃ、および視野内時計座標２７０については、図２３～図２４を参照しながら後記する。メッセージバッファ２７１は、管理者端末５００から送信されたメッセージを保持する。配置定義部２１１Ｃは、手順書や図面の他に、バッテリ状態や時計の配置を設定して、配置座標をＨＭＤ１００Ｃに送信する。表示元画像生成部２１２Ｃは、時計（時刻）やメッセージを含む表示元画像を生成してＨＭＤ１００Ｃに送信するとともに、ＨＭＤ１００Ｃからカメラ１８３の画像を受信して管理者端末５００に送信する。

図２３は、第４の実施形態に係る表示元画像２３０Ｃの構成を示す図である。以下、表示元画像２３０（図５参照）との違いを説明する。時計配置領域２３４（図２３ではＣと記載）は、表示元画像２３０Ｃのなかで時計（時刻）が表示される領域である。バッテリ状態配置領域２３５（図２３ではＢと記載）は、表示元画像２３０Ｃのなかでスマートフォン２００Ｃのバッテリ状態（バッテリの残量）が表示される領域である。手順書・バッテリ状態配置領域２３６は、手順書配置領域２３１とバッテリ状態配置領域２３５とを合わせた領域である。

時計座標２２７（図２２参照）は、表示元画像２３０Ｃにおける時計配置領域２３４の配置座標である。バッテリ状態座標２２８は、表示元画像２３０Ｃにおけるバッテリ状態配置領域２３５の配置座標である。手順書・バッテリ状態座標２２９は、表示元画像２３０Ｃにおける手順書・バッテリ状態配置領域２３６の配置座標である。

図２４は、第４の実施形態に係るディスプレイ１８１に表示される視野画像４２０Ｃの構成を示す図である。視野内手順書・バッテリ状態領域４２１Ｃは、視野画像４２０Ｃの部分領域であって、手順書とバッテリ状態とが並んで表示される領域である。管理者端末５００からのメッセージがあれば、手順書とバッテリ状態とに替わってメッセージが視野内手順書・バッテリ状態領域４２１Ｃに表示される。視野内時計領域４２４は、視野画像４２０Ｃの部分領域であって、時計が表示される領域である。
視野内手順書・バッテリ状態座標２２４Ｃ（図２２参照）は、視野画像４２０Ｃにおける視野内手順書・バッテリ状態領域４２１Ｃの配置座標である。視野内時計座標２７０は、視野画像４２０Ｃにおける視野内時計領域４２４の配置座標である。

≪第４の実施形態：配置定義処理≫
図２５は、第４の実施形態に係る配置定義処理のシーケンス図である。
ステップＳ４１１において配置定義部２１１Ｃは、表示システム１０Ｃの利用者である作業者が指示した表示元画像２３０Ｃ（図２３参照）における手順書配置領域２３１の配置座標を取得して、手順書座標２２２に格納する。
ステップＳ４１２において配置定義部２１１Ｃは、作業者が指示した表示元画像２３０Ｃにおける図面配置領域２３２の配置座標を取得して、関連図面座標２２３に格納する。

ステップＳ４１３において配置定義部２１１Ｃは、作業者が指示した表示元画像２３０Ｃにおけるバッテリ状態配置領域２３５の配置座標を取得して、バッテリ状態座標２２８に格納する。
ステップＳ４１４において配置定義部２１１Ｃは、手順書・バッテリ状態配置領域２３６の配置座標を手順書・バッテリ状態座標を２２９に格納する。なお、手順書・バッテリ状態配置領域２３６は、手順書配置領域２３１とバッテリ状態配置領域２３５とを合わせた領域である。

ステップＳ４１５において配置定義部２１１Ｃは、作業者が指示した視野画像４２０Ｃ（図２４参照）における視野内手順書・バッテリ状態領域４２１Ｃの配置座標を取得して、視野内手順書・バッテリ状態座標２２４Ｃに格納する。
ステップＳ４１６において配置定義部２１１Ｃは、作業者が指示した表示元画像２３０Ｃにおける時計配置領域２３４の配置座標を取得して、時計座標２２７に格納する。
ステップＳ４１７において配置定義部２１１Ｃは、作業者が指示した図面の背景色を取得して、背景色２２５に格納する。

ステップＳ４１８において配置定義部２１１Ｃは、手順書・バッテリ状態座標２２９、関連図面座標２２３、時計座標２２７、視野内手順書・バッテリ状態座標２２４Ｃ、および背景色２２５をＨＭＤ１００Ｃに送信する。
ステップＳ４１９においてデータ受信部１１１Ｃは、受信した手順書・バッテリ状態座標２２９、関連図面座標２２３、時計座標２２７、視野内手順書・バッテリ状態座標２２４Ｃ、および背景色２２５を、それぞれ手順書・バッテリ状態座標１２３Ｃ、関連図面座標１２４、時計座標１２８、視野内手順書・バッテリ状態座標１２５Ｃ、および背景色１２６に格納する。

≪第４の実施形態：表示元画像生成処理≫
図２６は、第４の実施形態における表示元画像生成処理のフローチャートである。第１の実施形態や第２の実施形態と比較して大きく異なる点は、管理者端末５００からメッセージが届いた場合の処理である。
ステップＳ４３１～Ｓ４３３は、ステップＳ２４１～Ｓ２４３（図１５参照）と同様の処理である。

ステップＳ４３４において表示元画像生成部２１２Ｃは、管理者端末５００からメッセージを受信していれば（ステップＳ４３４→ＹＥＳ）ステップＳ４３５に進み、受信していなければ（ステップＳ４３４→ＮＯ）ステップＳ４３７に進む。
ステップＳ４３５において表示元画像生成部２１２Ｃは、受信したメッセージをメッセージバッファ２７１に保存する。
ステップＳ４３６において表示元画像生成部２１２Ｃは、メッセージバッファ２７１内のメッセージを表示元画像２３０Ｃの手順書・バッテリ状態配置領域２３６（図２３参照）に描画して、ステップＳ４４１に進む。

ステップＳ４３７において表示元画像生成部２１２Ｃは、管理者端末５００からメッセージの削除指示を受信していれば（ステップＳ４３７→ＹＥＳ）ステップＳ４３８に進み、受信していなければ（ステップＳ４３７→ＮＯ）ステップＳ４３９に進む。
ステップＳ４３８において表示元画像生成部２１２Ｃは、メッセージバッファ２７１に保存されたメッセージを削除する。
ステップＳ４３９において表示元画像生成部２１２Ｃは、メッセージバッファ２７１にメッセージがあれば（ステップＳ４３９→ＹＥＳ）ステップＳ４３６に進み、なければ（ステップＳ４３９→ＮＯ）ステップＳ４４０に進む。

ステップＳ４４０において表示元画像生成部２１２Ｃは、現在の作業ステップの作業内容２４３（図４参照）である手順書、およびバッテリ状態を表示元画像２３０Ｃの手順書配置領域２３１、およびバッテリ状態配置領域２３５（図２３参照）にそれぞれ描画して、ステップＳ４４１に進む。
ステップＳ４４１は、ステップＳ１３５（図８参照）と同様である。
ステップＳ４４２において表示元画像生成部２１２Ｃは、時計（時刻）を表示元画像２３０Ｃの時計配置領域２３４に描画する。

ステップＳ４４３において表示元画像生成部２１２Ｃは、表示元画像２３０ＣをＨＭＤ１００Ｃに送信する。
ステップＳ４４４において表示元画像生成部２１２Ｃは、ＨＭＤ１００Ｃからカメラ１８３が取得した画像を受信して、管理者端末５００に送信して、ステップＳ４３１に戻る。なお、ＨＭＤ１００Ｃがカメラ１８３の画像を送信する処理は、後記する図２７のステップＳ４５６に対応する。

≪第４の実施形態：視野画像表示処理≫
図２７は、第４の実施形態における視野画像表示処理のフローチャートである。第２の実施形態の視野画像表示処理（図１６参照）と比較して大きく異なる点は、カメラ１８３の画像を送信する処理（ステップＳ４５６参照）である。
ステップＳ４５１は、ステップＳ１５１（図９参照）と同様の処理である。
ステップＳ４５２において視野画像表示部１１２Ｃは、手順書・バッテリ状態配置領域２３６（図２３参照、手順書・バッテリ状態座標１２３Ｃで示される表示元画像１２２の部分領域）を視野内手順書・バッテリ状態座標１２５Ｃで指定されるディスプレイ１８１の領域に表示する。

ステップＳ４５３において視野画像表示部１１２Ｃは、手順書・バッテリ状態配置領域２３６以外の表示元画像１２２から背景色１２６以外の画素を関連図面として抽出する。
ステップＳ４５４は、ステップＳ１５３と同様の処理である。
ステップＳ４５５において視野画像表示部１１２Ｃは、視野領域２３３と、ステップＳ４５３で関連図面として抽出した画素との重複領域を、ディスプレイ１８１の対応する領域に表示する。換言すれば、視野画像表示部１１２Ｃは、視野領域２３３内にある、ステップＳ４５３で関連図面として抽出した画素をディスプレイ１８１の対応する領域に表示する。
ステップＳ４５６において視野画像表示部１１２Ｃは、カメラ１８３が撮像した画像をスマートフォン２００Ｃに送信して、ステップＳ４５１に戻る。

≪第４の実施形態：表示システムの特徴≫
第４の実施形態においては、手順書や図面の他に、スマートフォン２００Ｃのバッテリ状態や時刻がディスプレイ１８１に表示される。これにより、作業を中断することなく、作業者はスマートフォン２００Ｃのバッテリ状態や時刻を確認することができる。
管理者端末５００を利用する管理者は、現場にはいないが、カメラ１８３の画像により作業の状態を知ることができる。また、管理者はメッセージを送信して作業者に指示したり、注意点を知らせて作業を支援したりすることができ、作業者は効率よく作業を進めることができるようになる。

≪第５の実施形態≫
上記した実施形態において作業者は、ＨＭＤ１００～１００Ｃのディスプレイ１８１に表示される手順書や図面などのコンテンツの位置を変えることができる。第１の実施形態における配置定義部２１１（図３参照）は、スマートフォン２００がＨＭＤ１００に対して、あらかじめ手順書配置領域２３１や図面配置領域２３２、視野内手順書領域４２１の配置座標を送信する（図７記載のステップＳ１１４参照）。

第２の実施形態における配置定義部２１１Ａは、配置座標に加え、手順書の表示／非表示を示す手順書表示フラグ２２６（図１１参照）もＨＭＤ１００Ａに送信する（図１３記載のステップＳ２１５参照）。第４の実施形態における配置定義部２１１Ｃは、時計配置領域２３４（図２３参照）や手順書・バッテリ状態配置領域２３６の配置座標もＨＭＤ１００Ｃに送信する（図２５記載のステップＳ４１８参照）。

第５の実施形態では、表示元画像２３０（図５、図２３参照）は、複数の領域（以下、分割表示元画像領域とも記す）に分割され、作業者は、この分割表示元画像領域のなかから手順書配置領域２３１を選択する。これにより、作業者は簡単に手順書を配置する領域を指定することが可能となる。また、ＨＭＤ１００Ｄ（後記する図２８参照）とスマートフォン２００Ｄ（後記する図３１参照）との間の通信手順を単純化することにより、実装が容易となる。

また、スマートフォン２００Ｄが生成する表示元画像２３０において、手順書および図面以外の背景色を、ＨＭＤ１００Ｄが透過する色（例えば、Ｒ値＝Ｇ値＝Ｂ値＝０）に設定する。これにより、ＨＭＤ１００Ｄは、手順書や図面などの配置座標を考慮する必要がなくなり、実装が容易となる。

第５の実施形態では、以下の（１）～（４）を前提とする。
（１）ＨＭＤ１００Ｄのディスプレイ１８１のアスペクト比は、１６：９である。
（２）スマートフォン２００Ｄのタッチパネルディスプレイ２８１のアスペクト比は、１８：９である。
（３）表示元画像２３０（図５参照）のサイズ（大きさ、画素数）は、ディスプレイ１８１の３×３倍（縦横ともに３倍）とする。表示元画像２３０のアスペクト比は、ディスプレイ１８１と同じであって、１６：９となる。
（４）表示元画像２３０とタッチパネルディスプレイ２８１の横の長さ（画素数）は同じである。
なお、上記した前提は一例であって、この限りではない。例えば、アスペクト比は１６：９や１８：９と異なるアスペクト比であってもよい。また、表示元画像２３０と、ディスプレイ１８１やタッチパネルディスプレイ２８１との大きさの比率が、上記と異なってもよい。

≪第５の実施形態：ＨＭＤの構成≫
図２８は、第５の実施形態に係るＨＭＤ１００Ｄの機能ブロック図である。第１の実施形態のＨＭＤ１００（図２参照）と比較して、手順書座標１２３の替わりに、手順書が配置される分割表示元画像領域の識別番号が格納される手順書領域番号１２３Ｄが記憶される。また、関連図面座標１２４、および視野内手順書座標１２５がなくなり、配置領域テーブル１３０（後記する図３０参照）と背景色１２６が追加される。背景色１２６は、第２の実施形態（図１０参照）と同様であって、手順書や図面の背景となる色であって、表示元画像２３０において背景色１２６以外の色の画素が手順書や図面となる。

データ受信部１１１Ｄは、スマートフォン２００Ｄから表示元画像２３０、および手順書が配置される分割表示元画像領域の識別番号を受信して、それぞれ表示元画像１２２Ｄ、および手順書領域番号１２３Ｄに格納する。視野画像表示部１１２Ｄは、配置領域テーブル１３０、手順書領域番号１２３Ｄを参照して、手順書と図面とをディスプレイ１８１に表示する。

図２９は、第５の実施形態に係る分割表示元画像領域を説明するための図である。分割表示元画像領域は、表示元画像２３０を３×３に分割された領域である。１～９の番号は、分割表示元画像領域に割り振られて識別番号である。各分割表示元画像領域の大きさ（サイズ、縦横の画素数）は、ＨＭＤ１００Ｄのディスプレイ１８１（図１参照）の大きさと同じであって（上記した第５の実施形態の前提（３）参照）、横がａ画素、縦がｂ画素である。

図３０は、第５の実施形態に係るＨＭＤ１００Ｄに記憶される配置領域テーブル１３０のデータ構成である。配置領域テーブル１３０は、表形式のデータであって、１つの行（レコード）は、１つの分割表示元画像領域を示し、番号１３１、座標１３２、およびサイズ１３３の列（属性）を含む。
番号１３１は、分割表示元画像領域の識別番号である。座標１３２は、分割表示元画像領域の座標であって、表示元画像２３０における分割表示元画像領域の左上頂点の座標である。なお、表示元画像２３０の左上が原点（０，０）である。サイズ１３３は、分割表示元画像領域のサイズである。

≪第５の実施形態：スマートフォンの構成≫
図３１は、第５の実施形態に係るスマートフォン２００Ｄの機能ブロック図である。第２の実施形態のスマートフォン２００Ａ（図１１参照）と比較して、記憶部２２０においては、視野内手順書座標テーブル２６０、および視野内手順書座標識別番号２６９がなくなり、替わりに配置領域テーブル２９０（後記する図３２参照）、図面表示フラグ２２６Ａが追加される。

手順書表示フラグ２２６、および図面表示フラグ２２６Ａは、それぞれ手順書および図面をＨＭＤ１００Ｄのディスプレイ１８１に表示する／表示しないを設定するフラグである。第２の実施形態では、手順書表示フラグ２２６は、ＨＭＤ１００Ａに送信されている（図１３記載のステップＳ２１５、図１４記載のステップＳ２３２参照）が、第５の実施形態では、手順書表示フラグ２２６、および図面表示フラグ２２６Ａは送信されない（後記する図３４のステップＳ５１５参照）。

図３２は、第５の実施形態に係るスマートフォン２００Ｄに記憶される配置領域テーブル２９０（後記する図３３参照）を説明するための図である。１～９の番号を振った各領域は、分割表示元画像領域であって、大きさは横がａ画素、縦がｂ画素である。９つの分割表示元画像領域からハッチングした２つの領域（パディング）を除いた横がＤｘ画素、縦がＤｙ画素の領域は、スマートフォン２００Ｄのタッチパネルディスプレイ２８１（図３１参照）に対応し、Ｄｘ：Ｄｙ＝１８：９である。なお、上下のパディングの高さは、それぞれＰ／２である。Ｐの値は、Ｄｘ：Ｄｙ＋Ｐ＝１６：９＝ａ：ｂであって表示元画像２３０のアスペクト比となるように設定される。
なお、上記したパディングの位置やサイズは、一例である。例えば、パディングを左右、上のみ、または、上下左右に配置してもよい。パティングは、なくてもよい。例えば、表示元画像２３０やディスプレイ１８１、タッチパネルディスプレイ２８１のアスペクト比が同じ場合には、なくてもよい。

図３３は、第５の実施形態に係るスマートフォン２００Ｄに記憶される配置領域テーブル２９０のデータ構成図である。配置領域テーブル２９０は、表形式のデータであって、１つの行（レコード）は、１つのタッチパネルディスプレイ２８１上の分割表示元画像領域を示し、番号２９１、座標２９２、およびサイズ２９３の列（属性）を含む。

番号２９１は、分割表示元画像領域の識別番号である。座標２９２は、タッチパネルディスプレイ２８１上の分割表示元画像領域の座標であって、表示元画像２３０におけるタッチパネルディスプレイ２８１上の分割表示元画像領域の左上頂点の座標である。なお、表示元画像２３０の左上頂点が原点（０，０）である。サイズ２９３は、タッチパネルディスプレイ２８１上の分割表示元画像領域のサイズである。
識別番号が１～３、および７～９の分割表示元画像領域の高さは、（ｂ－Ｐ／２）画素である。また、識別番号が１となるタッチパネルディスプレイ２８１上の分割表示元画像領域の座標２９２は、（０，Ｐ／２）となる。

図３１に戻って、配置定義部２１１Ｄは、作業者の指示を受け付けて手順書配置領域２３１（図５参照）として配置領域テーブル２９０のなかから手順書を配置する領域を設定する。表示元画像生成部２１２Ｄは、手順書および関連図面を含んだ表示元画像２３０を生成して、ＨＭＤ１００Ｄに送信する。

≪第５の実施形態：配置定義処理≫
図３４は、第５の実施形態に係る配置定義処理のシーケンス図である。
ステップＳ５１１においてスマートフォン２００Ｄの配置定義部２１１Ｄは、作業者に対してタッチパネルディスプレイ２８１に手順書配置領域設定画面６００（後記する図３５参照）を表示し、手順書を配置する分割表示元画像領域を選択するように促す。

図３５は、第５の実施形態に係る手順書配置領域設定画面６００の画面構成図である。手順書配置領域設定画面６００は、９つの分割表示元画像領域に分割された表示元画像２３０を示すマップ６０１を含む。作業者は、何れかの分割表示元画像領域をタップすることで手順書を配置する領域を選択する。図３５では、識別番号が４の分割表示元画像領域がタップされ、ハイライト表示されて選択されたことを示している。以下の説明では、識別番号４の分割表示元画像領域が選択されたとして説明する。

図３４に戻って、ステップＳ５１２において配置定義部２１１Ｄは、作業者が指示した背景色を取得して背景色２２５Ｄ（図３１参照）に格納する。以下では、Ｒ値＝Ｇ値＝Ｂ値＝０が指示されたとして説明する。
ステップＳ５１３において配置定義部２１１Ｄは、作業者が指示した手順書の表示の当否、および関連図面の表示の当否を取得して、手順書表示フラグ２２６、および図面表示フラグ２２６Ａに格納する。

ステップＳ５１４において配置定義部２１１Ｄは、タッチパネルディスプレイ２８１に表示元画像２３０（後記する図３６参照）を表示し、手順書配置領域２３１および図面配置領域２３２の位置やサイズの変更を受け付ける（後記する図３６、図３７参照）。変更を受け付けると、配置定義部２１１Ｄは、手順書配置領域２３１の配置座標を手順書座標２２２Ｄに格納し、図面配置領域２３２の配置座標の関連図面座標２２３Ｄに格納する。

図３６は、第５の実施形態に係る手順書配置領域２３１および図面配置領域２３２の位置の変更を説明するための図である。表示元画像２３０上の破線は分割表示元画像領域の境界を示す。ステップＳ５１１において手順書を配置する領域として識別番号４の分割表示元画像領域２３９が選択された。このため、ステップＳ５１４の開始時点においては、手順書配置領域２３１は、分割表示元画像領域２３９（薄いハッチングの領域）に配置される。図面配置領域２３２は、その他の分割表示元画像領域（濃いハッチングの領域）に配置される。

配置定義部２１１Ｄは、手順書配置領域２３１のスワイプ操作を検出して、手順書配置領域２３１の移動の指示を受け付ける。なお、手順書配置領域２３１が移動できるのは、識別番号４の分割表示元画像領域２３９内である。
配置定義部２１１Ｄは、図面配置領域２３２のスワイプ操作を検出して、図面配置領域２３２の移動の指示を受け付ける。なお、図面配置領域２３２が移動できるのは、その他の分割表示元画像領域（濃いハッチングの領域）内である。

図３７は、第５の実施形態に係る手順書配置領域２３１および図面配置領域２３２のサイズの変更を説明するための図である。配置定義部２１１Ｄは、手順書配置領域２３１の頂点または辺のスワイプ操作を検出して、手順書配置領域２３１のサイズ変更の指示を受け付ける。なお、手順書配置領域２３１が拡大できるのは、識別番号４の分割表示元画像領域２３９内である。図３７では、手順書配置領域２３１の右下の頂点がスワイプされて領域２３１Ａに拡大される操作が示されている。

配置定義部２１１Ｄは、図面配置領域２３２の頂点または辺のスワイプ操作を検出して、図面配置領域２３２のサイズ変更の指示を受け付ける。なお、図面配置領域２３２が拡大できるのは、その他の分割表示元画像領域（濃いハッチングの領域）内である。図３７では、図面配置領域２３２の下辺がスワイプされて領域２３２Ａに拡大される操作が示されている。
なお、配置定義部２１１Ｄは、手順書配置領域２３１、および図面配置領域２３２のサイズ変更操作として、ピンチインとピンチアウトの操作を受け付ける。

図３４に戻って、ステップＳ５１５において配置定義部２１１Ｄは、手順書が配置される分割表示元画像領域の識別番号（現説明では４）と背景色とをＨＭＤ１００Ｄに送信する。
ステップＳ５１６においてＨＭＤ１００Ｄのデータ受信部１１１Ｄは、受信した識別番号および背景色をそれぞれ手順書領域番号１２３Ｄおよび背景色１２６に格納する。

≪第５の実施形態：表示元画像生成処理≫
図３８は、第５の実施形態における表示元画像生成処理のフローチャートである。図３８を参照しながら、スマートフォン２００Ｄが表示元画像２３０を生成して、ＨＭＤ１００Ｄに送信する処理を説明する。
ステップＳ５２１～Ｓ５２２は、ステップＳ１３１～Ｓ１３２と同様の処理である。

ステップＳ５２３において表示元画像生成部２１２Ｄは、タッチパネルディスプレイ２８１の表示状態が変更モード（後記する図３９参照）ならば（ステップＳ５２３→ＹＥＳ）ステップＳ５２４に進み、変更不可モード（後記する図４０参照）ならば（ステップＳ５２３→ＮＯ）ステップＳ５２５に進む。

図３９は、第５の実施形態に係るタッチパネルディスプレイ２８１に表示される変更モードの表示元画像２３０Ａを説明するための図である。図４０は、第５の実施形態に係るタッチパネルディスプレイ２８１に表示される変更不可モードの表示元画像２３０Ｂを説明するための図である。表示元画像２３０Ｂと比較して表示元画像２３０Ａには、分割表示元画像領域の境界が破線として描画される。この境界が表示されているか否かで作業者は、変更モードか変更不可モードかが区別できる。配置定義部２１１Ｄは、変更モード時に手順書配置領域２３１および図面配置領域２３２の位置やサイズの変更を受け付ける。

変更モード時においてタッチパネルディスプレイ２８１に対する操作が、所定時間内にない場合には、変更不可モードに遷移する。変更不可モードにおいてタッチパネルディスプレイ２８１に対する操作が検知されると変更モードに遷移する。音声やボタン操作など、スマートフォン２００Ｄに対する別の操作によって、変更不可モードから変更モードに遷移してもよい。

図３８に戻って、ステップＳ５２４において配置定義部２１１Ｄは、配置定義処理（図３４参照）を行う。
ステップＳ５２５において表示元画像生成部２１２Ｄは、背景色２２５Ｄと同色である空白の画像を生成して、表示元画像２３０に格納する。
ステップＳ５２６において表示元画像生成部２１２Ｄは、手順書表示フラグ２２６がＯＮならば（ステップＳ５２６→ＯＮ）ステップＳ５２７に進み、ＯＦＦならばステップＳ５２８に進む。
ステップＳ５２７において表示元画像生成部２１２Ｄは、手順書座標２２２Ｄに記憶した手順書配置領域２３１の配置座標を参照して、手順書を手順書配置領域２３１に描画する。

ステップＳ５２８において表示元画像生成部２１２Ｄは、図面表示フラグ２２６ＡがＯＮならば（ステップＳ５２８→ＯＮ）ステップＳ５２９に進み、ＯＦＦならばステップＳ５３０に進む。
ステップＳ５２９において表示元画像生成部２１２Ｄは、関連図面座標２２３Ｄに記憶した図面配置領域２３２の配置座標を参照して、関連図面を図面配置領域２３２に描画する。
ステップＳ５３０において表示元画像生成部２１２Ｄは、表示元画像２３０をＨＭＤ１００Ｄに送信して、ステップＳ５２１に戻る。

≪第５の実施形態：視野画像表示処理≫
図４１は、第５の実施形態における視野画像表示処理のフローチャートである。図４１を参照しながら、ＨＭＤ１００Ｄが表示元画像１２２Ｄから視野画像を生成してディスプレイ１８１に表示する処理を説明する。
ステップＳ５４１においてＨＭＤ１００Ｄのデータ受信部１１１Ｄは、スマートフォン２００Ｄが送信した表示元画像２３０を受信して表示元画像１２２Ｄ（図２８参照）に格納する。
ステップＳ５４２においてＨＭＤ１００Ｄの視野画像表示部１１２Ｄは、センサ１８２で取得したＨＭＤ１００の向き（角度）から視野領域２３３（図５参照）を算出する。

ステップＳ５４３において視野画像表示部１１２Ｄは、表示元画像２３０から視野領域２３３のなかで背景色１２６以外の画素をディスプレイ１８１に表示する。
ステップＳ５４４において視野画像表示部１１２Ｄは、手順書領域番号１２３Ｄと配置領域テーブル１３０（図３０参照）とを参照して、表示元画像１２２Ｄに記憶される表示元画像２３０における手順書が配置される分割表示元画像領域を特定する。今の説明では、手順書領域番号１２３Ｄは４なので、当該分割表示元画像領域の座標は（０，ｂ）で、サイズは（ａ，ｂ）である。

ステップＳ５４５において視野画像表示部１１２Ｄは、ステップＳ５４４で特定した分割表示元画像領域のなかで背景色１２６以外の画素をディスプレイ１８１に表示する。ディスプレイ１８１内で画素が表示される位置は、分割表示元画像領域における画素の位置と同じである。換言すれば、視野画像表示部１１２Ｄは、ステップＳ５４４で特定した分割表示元画像領域を視野領域と見なして、背景色１２６以外の画素をディスプレイ１８１に表示する。なお、視野画像表示部１１２Ｄは、アルファブレンディングの手法を用いて、分割表示元画像領域と、ステップＳ５４２で算出した視野領域とを重ねて表示してもよい。

≪第５の実施形態：表示システムの特徴≫
第１の実施形態、第２の実施形態、第４の実施形態と比較すると、第５の実施形態では手順書を配置する分割表示元画像領域を指定することができるため、表示システムの使い勝手が向上する。また、ＨＭＤ１００Ｄはスマートフォン２００Ｄから手順書が配置される分割表示元画像領域の識別番号と背景色のみを受け取る（図３４のステップＳ５１５参照）ことで手順書の領域を特定することができる。このため、スマートフォン２００Ｄとやり取りするデータを減らすことができ、ＨＭＤ１００Ｄの構成がシンプルになり、延いては開発コストを削減することができる。
なお、背景色が固定されているならば、背景色の設定（図３４のステップＳ５１２参照）が不要となる。すると、ステップＳ５１５における背景色の送信が不要となり、さらにデータ量を減らしたり、開発コストを削減したりできる。

図４２は、第５の実施形態に係るＨＭＤ１００Ｄを装着した作業者にとって、ディスプレイ１８１に表示された画面がどのように見えるかを示す図である。ディスプレイ１８１に表示される画面は、表示元画像２３０内の視野領域２３３（図５参照）であり、そのアスペクト比は、表示元画像２３０と同じアスペクト比である。
手順書表示フラグ２２６がＯＮならば、ディスプレイ１８１には手順書が常に表示される（図４１のステップＳ５４５参照）。一方、関連図面は、作業者（ＨＭＤ１００Ｄ）の向きに応じて表示される部分が異なる。図４２では、ディスプレイ１８１には関連図面の左下の一部が表示される（視野領域２３３には図面配置領域２３２の左下の一部が含まれる）。

図４３は、第５の実施形態に係るＨＭＤ１００Ｄを装着した作業者が右を向いたときに、ディスプレイ１８１に表示された画面がどのように見えるかを示す図である。作業者が右を向いたことにより、表示元画像２３０内で視野領域２３３が右に移動する。これにより、図面配置領域２３２にある図面の下半分が視野領域２３３に含まれ、作業者は図面の下半分を見ることができる。なお、手順は常に表示されており、図面より手前（図面の上）に表示される。

以上に説明したように、参照頻度の高い手順書は常に表示され、参照頻度の低い関連図面は作業者の頭部の動きで見える範囲を制御することができる。このため、表示システムの使い勝手が向上し、作業者の作業効率が向上する。また、手順書と関連図面とが重なる場合、作業者は手順書表示フラグあるいは図面表示フラグのＯＮ／ＯＦＦを指定する（図３４のステップＳ５１３参照）ことで、どちらか一方を優先して表示する（図３８のステップＳ５２６～Ｓ５２９参照）ことができる。このため、手順書や図面、作業現場の視認性が向上する。

≪変形例：作業ステップの指定≫
上記した実施形態では、ステップ番号２４１（図４参照）の順番に作業ステップを進める前提であり、作業完了の指示を受けて次の作業ステップに進んでいる（図８のステップＳ１３１参照）。作業者がステップ番号を指示して、スマートフォン２００は指示されたステップ番号の作業の手順書や図面を含む表示元画像を生成、ＨＭＤに送信するようにしてもよい。

≪変形例：ＨＭＤのバッテリ状態≫
第４の実施形態では、スマートフォン２００Ｃのバッテリ状態がディスプレイ１８１に表示される。視野画像表示部１１２Ｃは、スマートフォン２００Ｃのバッテリ状態の替わりに、ＨＭＤ１００Ｃのバッテリ状態を取得して表示してもよい。

≪変形例：背景色≫
第２の実施形態において関連図面は、表示元画像のなかで背景色以外の画素が構成する画像である。これとは逆に、関連図面を構成する画素の色を指定し、当該色の画素からなる画像を関連図面としてもよい。色は複数設定できるようにしてもよい。

≪変形例：完了記録≫
上記した実施形態の表示システムは、作業ステップの完了記録として完了日時２４６（図４参照）を記録している。完了日時と共に、ＨＭＤのカメラ１８３（図２０参照）が撮像した画像や映像を記録するようにしてもよい。または、作業者の指示により、スマートフォンは、ＨＭＤに指示してカメラ１８３の撮像画像を取得して、現在の作業ステップに関連付けて記憶してもよい。こうすることにより、日時に加えて、作業後の写真が簡単に記録され、作業の証跡を残すことができる。

≪変形例：分割表示元画像領域と手順書配置領域≫
上記した第５の実施形態では、手順書配置領域は、１つの分割表示元画像領域に含まれている。手順書配置領域が、複数の分割表示元画像領域に含まれるようにしてもよい。例えば、例えば、表示元画像が１０×１０の分割表示元画像領域に分割され、そのうちの２×２の分割表示元画像領域を手順書配置領域としてもよい。

≪その他変形例≫
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。例えば、上記した表示システムは、ＨＭＤとスマートフォンから構成されているが、ＨＭＤとスマートフォンが一体となってもよい。また、作業完了指示は、音声で行っているが、ＨＭＤに備わるボタンで指示し、ＨＭＤはボタンが操作されたことをスマートフォンに通知するようにしてもよい。スマートフォンは、手順書や図面を記憶しているが、スマートフォンとは異なる装置から通信回線を介して取得するようにしてもよい。

本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０，１０Ｂ，１０Ｃ 表示システム
１００，１００Ａ，１００Ｂ，１００Ｃ，１００Ｄ ＨＭＤ（表示装置）
１１１，１１１Ａ，１１１Ｂ，１１１Ｃ，１１１Ｄ データ受信部
１１２，１１２Ａ，１１２Ｂ，１１２Ｃ，１１２Ｄ 視野画像表示部（画像表示処理部）
１８１ ディスプレイ（表示器）
１８２ センサ（検出器）
１８３ カメラ（撮像デバイス）
２００，２００Ａ，２００Ｂ，２００Ｃ，２００Ｄ スマートフォン（携帯装置）
２１１，２１１Ａ，２１１Ａ，２１１Ｃ，２１１Ｄ 配置定義部
２１２，２１２Ａ，２１２Ｂ，２１２Ｃ，２１２Ｄ 表示元画像生成部
２３０，２３０Ｃ 表示元画像
２３１ 手順書配置領域
２３２ 図面配置領域（第２元画像）
２３３，２３３Ａ 視野領域
２３９ 分割表示元画像領域
２４０ 作業書データベース
２５０ 図面データベース
４２０，４２０Ｃ 視野画像
４２１ 視野内手順書領域（第１表示領域）
４２１Ｃ 視野内手順書・バッテリ状態領域（第１表示領域）
４２２ 視野内図面領域（第２表示領域）
５００ 管理者端末（遠隔端末）

Claims (14)

1. 表示器と、
   前記表示器の向きを検出する検出器と、
   前記表示器の画面における所定の第１表示領域に第１画像を表示し、前記表示器の画面における第２表示領域に第１画像に関連する第２画像を表示する画像表示処理部を備え、
   前記画像表示処理部は、前記表示器の向きに応じて前記表示器の画面における前記第２表示領域の存否と、存在する場合の表示位置および表示サイズとを決定し、
   前記第１表示領域は、前記表示器の向きとは無関係の所定の表示位置および表示サイズの領域であり、
   前記第１画像は、所定の１つの画像であって、継続して表示され、
   前記第２画像は、前記第２表示領域が存在する場合には、前記第１画像とは異なる画像の、前記表示器の向きに応じた何れかの部分画像が継続して表示される
   ことを特徴とする表示装置。
2. 携帯装置から画像である表示元画像を受信するデータ受信部をさらに備え、
   前記第１画像は、前記表示元画像の部分画像である第１元画像であり、
   前記第２画像は、前記表示元画像の部分画像である第２元画像の一部である
   ことを特徴とする請求項１に記載の表示装置。
3. 前記第１元画像および前記第２元画像は、前記表示元画像の所定位置の領域にある画像である
   ことを特徴とする請求項２に記載の表示装置。
4. 前記第１元画像および前記第２元画像は、前記表示元画像に含まれる所定の色の画素からなる画像、または、前記表示元画像に含まれる所定の色と異なる画素からなる画像である
   ことを特徴とする請求項２に記載の表示装置。
5. 前記第２画像は、
   前記表示器の向きに応じて前記表示元画像内を移動する領域であり、かつ、前記表示器の画面に表示される領域である視野領域と、前記第２元画像とが重なった部分である
   ことを特徴とする請求項２に記載の表示装置。
6. 前記表示装置は、頭部に装着する表示装置であり、
   前記第１画像は、前記表示装置の装着者が行う作業の手順書であり、
   前記第２画像は、当該手順書に関連する図面である
   ことを特徴とする請求項１に記載の表示装置。
7. 表示装置と携帯装置とを含んで構成される表示システムであって、
   前記携帯装置は、
   第１元画像と、前記第１元画像に関連する第２元画像とを含む表示元画像を生成して、前記表示装置に送信する表示元画像生成部を備え、
   前記表示装置は、
   表示器と、
   前記表示器の向きを検出する検出器と、
   前記表示器の画面における所定の第１表示領域に前記第１元画像を表示し、前記表示器の画面における第２表示領域に前記第２元画像の部分画像または前記第２元画像を表示する画像表示処理部を備え、
   前記画像表示処理部は、前記表示器の向きに応じて前記表示器の画面における前記第２表示領域の存否と、存在する場合の表示位置および表示サイズとを決定し、
   前記第１表示領域は、前記表示器の向きとは無関係の所定の表示位置および表示サイズの領域であり、
   前記第１元画像は、所定の１つの画像であって、継続して表示され、
   前記第２表示領域に表示される画像は、前記第２表示領域が存在する場合には、前記第１元画像とは異なる画像の、前記表示器の向きに応じた何れかの部分画像が継続して表示される
   ことを特徴とする表示システム。
8. 前記携帯装置は、前記表示システムの利用者の指示を検出すると、前記第１元画像および前記第２元画像の少なくとも一方を別の画像に替える
   ことを特徴とする請求項７に記載の表示システム。
9. 前記表示装置は、撮像デバイスを備え、
   前記携帯装置は、前記指示を検出すると、前記撮像デバイスが撮像した画像を取得して、前記第１元画像および前記第２元画像に関連付けて記憶する
   ことを特徴とする請求項８に記載の表示システム。
10. 遠隔端末をさらに備え、
    前記携帯装置が、前記遠隔端末からメッセージを受信すると、前記表示元画像生成部は、当該メッセージの画像を前記第１元画像とする
    ことを特徴とする請求項７に記載の表示システム。
11. 前記表示装置は、撮像デバイスを備え、
    前記画像表示処理部は、前記撮像デバイスが撮像した画像を前記携帯装置に送信し、
    前記携帯装置は、受信した画像を前記遠隔端末に送信する
    ことを特徴とする請求項１０に記載の表示システム。
12. 表示器と、前記表示器の向きを検出する検出器と、を備える表示装置の表示方法であって、
    前記表示器の画面における所定の第１表示領域に第１画像を表示し、前記表示器の画面における第２表示領域に第１画像に関連する第２画像を表示するステップと、
    前記表示器の向きに応じて前記表示器の画面における前記第２表示領域の存否と、存在する場合の表示位置および表示サイズとを決定するステップと、を実行し、
    前記第１表示領域は、前記表示器の向きとは無関係の所定の表示位置および表示サイズの領域であり、
    前記第１画像は、所定の１つの画像であって、継続して表示され、
    前記第２画像は、前記第２表示領域が存在する場合には、前記第１画像とは異なる画像の、前記表示器の向きに応じた何れかの部分画像が継続して表示される
    ことを特徴とする表示方法。
13. 前記表示元画像は、複数の領域に分割され、
    前記第１元画像は、少なくとも１つの当該領域に含まれる
    ことを特徴とする請求項２に記載の表示装置。
14. 前記表示元画像は、複数の領域に分割され、
    前記第１元画像は、少なくとも１つの当該領域に含まれる
    ことを特徴とする請求項７に記載の表示システム。

Images