JP6222440B2 - Ａｒ表示システム、およびａｒ表示装置、情報処理装置、プログラム - Google Patents

Description

本発明は、ＡＲ技術を用いて資材や部品に係る情報をユーザに提供するＡＲ表示システム、ＡＲ表示装置、情報処理装置、プログラムに関する。

いわゆるＡＲ(Augmented Reality）技術を使用するＡＲメガネや、ヘッドマウントディスプレイ等の装置によって、ユーザの見ている視界に画像を重ねて表示し、ガイダンスなどを実現する方法がある。

たとえば、特許文献１には、車両の走行情報に基づいて車両内の消耗品の点検及び交換時期情報を管理し、拡張現実（ＡＲ）技術を用いて車両内の消耗品の点検及び交換時期に係る情報を提供する方法が開示されている（特許文献１参照）。

また、特許文献２には、複数工程の組み立て作業を行う際に、ヘッドマウントディスプレイによって、適切な行程や、作業者の選んだ部品が行程に対して適切な部品か否かを表示する技術が開示されている（特許文献２参照）。

特開２０１２−０４３３９６号公報 特開２０１０−２１１６２３号公報

ところで、プリンタやスキャナ、ファクシミリ等の機能を備える画像形成装置などの複合機（ＭＦＰ（Multi Function Peripheral））にて、資材の補充や、部品の交換が必要になった場合、一般的に、ユーザが資材置き場などに、その資材や部品を取りに向かう。

しかし、資材置き場にて、どの資材や部品が目的のものなのかをユーザが判断できない場合がある。たとえば、ユーザが、Ａ４用紙をＭＦＰに補充する目的で資材置き場に向かっても、資材置き場に到着するまでに補充する用紙のサイズを忘れてしまう場合や、資材置き場に多種多様な用紙があって、どの用紙がＡ４用紙かわからない場合などが考えられる。

特許文献１に記載の技術では、ユーザが装置を見た場合に、いずれの箇所で資材が不足しているかは分かるが、その不足している資材の詳細な種類までは把握することができない。たとえば、エンジンオイルの減少している車両をユーザが見たとき、ＡＲ技術によりエンジンオイルが不足していることが表示される。しかし、資材置き場に複数のエンジンオイルが用意されている場合に、どのエンジンオイルが自分の車両に適しているかは、ユーザが判断しなければならない。

特許文献２に記載の技術では、ユーザが注視している部品が組み立て作業の現行程において適切な部品か否かを表示する。したがって、この技術を、資材置き場にある多数の資材の中から目的の資材を探す場面に適用すると、ユーザが資材を１つ１つ手にとって注視してみなければ、その資材が該当の資材か否かがわからないので、多数の資材の中から目的の資材を探すために多大な手間を要してしまう。

本発明は、上記の問題を解決しようとするものであり、ユーザがＡＲ技術を使用して、保管場所に置かれている多数の品物の中から目的の資材や部品を容易に見つけ出すことができるＡＲ表示システムおよびＡＲ表示装置、情報処理装置、プログラムを提供することを目的としている。

かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。

［１］ユーザの見ている現実空間に画像を合成した拡張現実空間を表示するＡＲ表示部と前記ユーザの見ている現実空間を撮影する撮影部とを備えたＡＲ表示装置と、該ＡＲ表示装置と通信可能な情報処理装置とを備えたＡＲ表示システムであって、
前記ＡＲ表示装置は、前記撮影部が撮影して得た撮影データを前記情報処理装置に送信し、
前記情報処理装置は、所定の装置で補充が必要な資材と交換が必要な部品のうちの少なくとも一方の品物を示す管理情報を取得し、前記ＡＲ表示装置から受信した前記撮影データの中に前記管理情報の示す品物が存在する場合は、該存在する品物の位置を特定し、該存在する品物に所定のマークの画像を重ねて合成した拡張現実空間を、前記ＡＲ表示装置に表示させるためのデータを生成して前記ＡＲ表示装置に送信し、
前記ＡＲ表示装置は、前記データに基づいて、前記存在する品物に前記マークの画像を重ねて合成した拡張現実空間を表示し、
前記情報処理装置は、複数の装置から前記管理情報を取得可能であって、前記管理情報と共に該管理情報に係る装置の識別情報を取得し、前記データとして、前記存在する品物に前記マークの画像を重ねて合成した拡張現実空間に、前記存在する品物を示す前記管理情報に対応する装置の識別情報がさらに合成された拡張現実空間を前記ＡＲ表示装置に表示させるためのデータを生成する
ことを特徴とするＡＲ表示システム。

上記［１］および下記［１０］に記載の発明では、所定の装置に補充する資材や交換する部品などの品物の保管場所である資材置き場をユーザが見た場合に、ＡＲ表示装置が、その所定の装置で不足している品物（資材もしくは部品）に、所定のマークの画像を重ねて合成した拡張現実空間を表示する。これにより、ユーザは、多数の品物の中から、所定の装置で不足する品物を容易に見つけ出すことができる。

撮影データの中に管理情報の示す品物が存在するか否かを判断し、該品物が存在する場合にその位置を特定する方法としては、たとえば、撮影データの示す画像に対して画像解析を行う方法や、所定の装置で補充や交換を行う品物の位置を予め登録しておき、撮影データの示す位置を方位センサーやＧＰＳ（Global Positioning System）機能などによって特定し、両者の位置を比べる方法がある。

また、所定の装置で不足している品物（資材もしくは部品）を示す管理情報を複数の装置から取得する。そして、ＡＲ表示装置が、所定のマークとともに、該所定のマークの画像が重ねられた品物が不足している装置の識別情報を合成した拡張現実空間を表示する。これにより、ユーザは、所定のマークの画像が重ねられた品物が、いずれの装置で不足している品物なのかを把握することできる。

［２］前記情報処理装置は、前記データとして、前記マークを装置毎に相違させると共に、一の装置に対応するマークと該装置を示す識別情報とが関連付けされた拡張現実空間を前記ＡＲ表示装置に表示させるためのデータを生成する
ことを特徴とする［１］に記載のＡＲ表示システム。

上記［２］および下記［１１］に記載の発明では、所定のマークの表示形態を装置毎に変えるとともに、該マークと該マークが重ねられた品物が不足している装置の識別情報を関連付けて表示する。たとえば、装置ごとにマークの色を変えて表示し、各装置の識別情報を示す色を、該装置に対応するマークと同色にする。これにより、所定のマークが重ねられた各品物が、いずれの装置で不足しているのかを把握することができる。

［３］ユーザの見ている現実空間に画像を合成した拡張現実空間を表示するＡＲ表示部と前記ユーザの見ている現実空間を撮影する撮影部とを備えたＡＲ表示装置と、該ＡＲ表示装置と通信可能な情報処理装置とを備えたＡＲ表示システムであって、
前記ＡＲ表示装置は、前記撮影部が撮影して得た撮影データを前記情報処理装置に送信し、
前記情報処理装置は、所定の装置で補充が必要な資材と交換が必要な部品のうちの少なくとも一方の品物を示す管理情報を取得し、前記ＡＲ表示装置から受信した前記撮影データの中に前記管理情報の示す品物が存在する場合は、該存在する品物の位置を特定し、該存在する品物に所定のマークの画像を重ねて合成した拡張現実空間を、前記ＡＲ表示装置に表示させるためのデータを生成して前記ＡＲ表示装置に送信し、
前記ＡＲ表示装置は、前記データに基づいて、前記存在する品物に前記マークの画像を重ねて合成した拡張現実空間を表示し、
前記管理情報は、前記品物が必要になる時期の緊急性を示す緊急性情報を含み、
前記情報処理装置は、前記マークの表示形態を該マークに対応する品物の前記緊急性に応じて相違させる
ことを特徴とするＡＲ表示システム。

上記［３］および下記［１２］に記載の発明では、所定の装置で資材や部品などの品物が必要になる時期の緊急性に応じて、該品物に重ねるように合成する所定のマークの表示形態を相違させる。これにより、ユーザは、所定のマークの画像が重ねられた品物が、所定の装置で必要になる時期の緊急性を把握することができる。たとえば、該品物が既に不足している状態であるか、もしくは、まもなく不足する状態であるか等を把握することができる。

［４］前記情報処理装置は、前記ＡＲ表示装置から受信した前記撮影データに対応する現実空間の範囲外に前記管理情報の示す品物が存在する場合は、該品物の存在する位置を案内する案内情報を現実空間に合成した拡張現実空間を前記ＡＲ表示装置に表示させる
ことを特徴とする［１］乃至［３］のいずれか１つに記載のＡＲ表示システム。

上記［４］および下記［１３］に記載の発明では、ＡＲ表示装置を装着するユーザが見ている現実空間の範囲外に、所定の装置で不足する品物が存在する場合は、ＡＲ表示装置が、その品物の存在する位置を案内する案内情報を現実空間に合成した拡張現実空間を表示する。これにより、ユーザが見ている範囲外に所定の装置で不足する品物がある場合でも、その品物を容易に見つけ出すことができる。

具体的な手段としては、たとえば、予め各品物が置かれている位置を登録しておき、所定の装置にて不足している品物の位置を認識する。もしくは、ユーザが所定の装置にて不足している品物を見た際に撮影データから、その品物の位置を特定しておく。そして、撮影データの示す範囲の位置と、該品物の位置との相対位置を認識する。そして、該品物の存在する位置を案内する案内情報をＡＲ表示装置が表示する。

［５］ユーザの見ている現実空間に画像を合成した拡張現実空間を表示するＡＲ表示部と前記ユーザの見ている現実空間を撮影する撮影部とを備えたＡＲ表示装置と、該ＡＲ表示装置と通信可能な情報処理装置とを備えたＡＲ表示システムであって、
前記ＡＲ表示装置は、前記撮影部が撮影して得た撮影データを前記情報処理装置に送信し、
前記情報処理装置は、所定の装置で補充が必要な資材と交換が必要な部品のうちの少なくとも一方の品物を示す管理情報を取得し、前記ＡＲ表示装置から受信した前記撮影データの中に前記管理情報の示す品物が存在する場合は、該存在する品物の位置を特定し、該存在する品物に所定のマークの画像を重ねて合成した拡張現実空間を、前記ＡＲ表示装置に表示させるためのデータを生成して前記ＡＲ表示装置に送信し、
前記ＡＲ表示装置は、前記データに基づいて、前記存在する品物に前記マークの画像を重ねて合成した拡張現実空間を表示し、
前記情報処理装置は、前記存在する品物のそれぞれに前記マークを重ねて表示した場合にサイズが所定値以下になるマークが存在する場合は、少なくともサイズが所定値以下のマークに代えて、該マークに対応する品物とその周囲の所定範囲に重なる拡張マークを現実空間に合成した拡張現実空間を前記ＡＲ表示装置に表示させる
ことを特徴とするＡＲ表示システム。

上記［５］および下記［１４］に記載の発明では、撮影データの中の品物に所定のマークの画像を重ねた際に、そのマークのサイズが所定値以下になる場合は、サイズが所定値以下のマークに代えて、該マークに対応する品物とその周囲の所定範囲に重なる拡張マークの画像を現実空間に合成した拡張現実空間をＡＲ表示装置が表示する。これにより、たとえば、ＡＲ表示装置を装着したユーザと、品物との距離が離れている場合や、品物自体が小さい場合であっても、所定の装置で不足している品物を示すマークがユーザにとって分かりやすく表示される。なお、複数のマークを表示する場合、複数のマークのうちサイズが所定値以下のマークのみを、拡張マークに代えてもよいし、全てのマークを拡張マークに変更してもよい。

［６］ユーザの見ている現実空間に画像を合成した拡張現実空間を表示するＡＲ表示部と前記ユーザの見ている現実空間を撮影する撮影部とを備えたＡＲ表示装置と、該ＡＲ表示装置と通信可能な情報処理装置とを備えたＡＲ表示システムであって、
前記ＡＲ表示装置は、前記撮影部が撮影して得た撮影データを前記情報処理装置に送信し、
前記情報処理装置は、所定の装置で補充が必要な資材と交換が必要な部品のうちの少なくとも一方の品物を示す管理情報を取得し、前記ＡＲ表示装置から受信した前記撮影データの中に前記管理情報の示す品物が存在する場合は、該存在する品物の位置を特定し、該存在する品物に所定のマークの画像を重ねて合成した拡張現実空間を、前記ＡＲ表示装置に表示させるためのデータを生成して前記ＡＲ表示装置に送信し、
前記ＡＲ表示装置は、前記データに基づいて、前記存在する品物に前記マークの画像を重ねて合成した拡張現実空間を表示し、
前記情報処理装置は、前記ＡＲ表示装置の位置情報を取得し、前記ＡＲ表示装置のユーザが該位置情報の示す位置から前記管理情報の示す品物の保管場所を経由して前記所定の装置の設置場所へ移動するために要する時間に所定の余裕時間を加えた移動所要時間を推定し、前記管理情報の示す品物の不足に起因して前記所定の装置の稼動が停止するタイミングから少なくとも前記移動所要時間だけ手前の時点で、前記ユーザに前記品物の不足を警告する
ことを特徴とするＡＲ表示システム。

上記［６］および下記［１５］に記載の発明では、ＡＲ表示装置の位置情報を取得し、その位置から、管理情報の示す品物の保管場所を経由して所定の装置に到着するまでの時間に、所定の余裕時間を加えた移動所要時間を推定する。そして、管理情報の示す品物の不足に起因して所定の装置の稼動が停止するタイミングから少なくとも該移動所要時間だけ手前の時点で、ユーザに該品物の不足を警告する。これにより、当該警告を確認したユーザが、該確認の直後に、該保管場所に行って品物を調達し所定の装置に向かうことで、所定の装置の稼動が停止する前に該品物の不足を解消することができる。

［７］ユーザの見ている現実空間に画像を合成した拡張現実空間を表示するＡＲ表示部と前記ユーザの見ている現実空間を撮影する撮影部とを備えたＡＲ表示装置と、該ＡＲ表示装置と通信可能な情報処理装置とを備えたＡＲ表示システムであって、
前記ＡＲ表示装置は、前記撮影部が撮影して得た撮影データを前記情報処理装置に送信し、
前記情報処理装置は、所定の装置で補充が必要な資材と交換が必要な部品のうちの少なくとも一方の品物を示す管理情報を取得し、前記ＡＲ表示装置から受信した前記撮影データの中に前記管理情報の示す品物が存在する場合は、該存在する品物の位置を特定し、該存在する品物に所定のマークの画像を重ねて合成した拡張現実空間を、前記ＡＲ表示装置に表示させるためのデータを生成して前記ＡＲ表示装置に送信し、
前記ＡＲ表示装置は、前記データに基づいて、前記存在する品物に前記マークの画像を重ねて合成した拡張現実空間を表示し、
前記情報処理装置は、前記ＡＲ表示装置を使用中のユーザを特定して示すユーザ情報を取得し、前記管理情報に対応する装置に前記ユーザに関連付けされたジョブが未完了の状態で存在する場合にのみ、前記マークの画像を重ねて合成した拡張現実空間を前記ＡＲ表示装置に表示させる
ことを特徴とするＡＲ表示システム。

上記［７］および下記［１６］に記載の発明では、所定の装置にて未完了の状態で存在するジョブを投入したユーザと、ＡＲ表示装置を使用中のユーザが一致した場合にのみ、所定のマークを重ねて合成した拡張現実空間をＡＲ表示装置が表示する。これにより、ＡＲ表示装置を装着中のユーザにとって不要な情報は表示しない。
［８］前記情報処理装置は、
（１）常時、
（２）前記ＡＲ表示装置から受信した前記撮影データの中に前記所定の装置が存在するとき、
（３）前記ＡＲ表示装置が前記品物の保管場所およびその周辺に位置するとき、
（４）前記ＡＲ表示装置から受信した前記撮影データの中に所定の品物が存在するとき、
（５）前記所定の装置から前記管理情報の送信要求を受けたとき、
（６）ジョブが投入された前記所定の装置からジョブ投入の通知を受けたとき
の中のいずれかのタイミングで前記装置と通信して前記管理情報を取得する
ことを特徴とする［１］乃至［７］のいずれか１つに記載のＡＲ表示システム。
上記［８］および下記［１７］に記載の発明では、（１）の場合、一定期間ごとに周期的に繰り返し管理情報を取得する。また、（４）の所定の品物とは、予め指定しておいた資材や部品などを指す。（５）の場合は、画像形成装置１０から管理情報が送信されたら受信するような構成であってもよい。

［９］前記情報処理装置は、前記撮影データの示す画像を画像解析することで、前記管理情報の示す品物が存在するか否かの判定、および該存在する品物の位置を特定する
ことを特徴とする［１］乃至［８］のいずれか１つに記載のＡＲ表示システム。

上記［９］および下記［１８］に記載の発明では、撮影データの示す画像を画像解析することで、管理情報の示す品物が存在するか否かの判定、および該存在する品物の位置を特定する。

［１０］ユーザの見ている現実空間に画像を合成した拡張現実空間を表示するＡＲ表示部と、
前記ユーザの見ている現実空間を撮影する撮影部と、
所定の装置で補充が必要な資材と交換が必要な部品のうちの少なくとも一方の品物を示す管理情報を取得する取得部と、
前記撮影部で撮影して得た撮影データの中に前記管理情報の示す品物が存在する場合は、該存在する品物の位置を特定し、該存在する品物に所定のマークの画像を重ねて合成した拡張現実空間を前記ＡＲ表示部に表示させる制御部と、
を備え、
前記取得部は、複数の装置から前記管理情報を取得可能であって、前記管理情報と共に該管理情報に係る装置の識別情報を取得し、
前記制御部は、前記存在する品物に前記マークの画像を重ねて合成した拡張現実空間に、前記存在する品物を示す前記管理情報に対応する装置の識別情報がさらに合成された拡張現実空間を前記ＡＲ表示部に表示させる
ことを特徴とするＡＲ表示装置。

［１１］前記制御部は、前記マークを装置毎に相違させると共に、一の装置に対応するマークと該装置を示す識別情報とを関連付けた前記拡張現実空間を前記ＡＲ表示部に表示させる
ことを特徴とする［１０］に記載のＡＲ表示装置。

［１２］ユーザの見ている現実空間に画像を合成した拡張現実空間を表示するＡＲ表示部と、
前記ユーザの見ている現実空間を撮影する撮影部と、
所定の装置で補充が必要な資材と交換が必要な部品のうちの少なくとも一方の品物を示す管理情報を取得する取得部と、
前記撮影部で撮影して得た撮影データの中に前記管理情報の示す品物が存在する場合は、該存在する品物の位置を特定し、該存在する品物に所定のマークの画像を重ねて合成した拡張現実空間を前記ＡＲ表示部に表示させる制御部と、
を備え、
前記管理情報は、前記品物が必要になる時期の緊急性を示す緊急性情報を含み、
前記制御部は、前記マークの表示形態を該マークに対応する品物の前記緊急性に応じて相違させる
ことを特徴とするＡＲ表示装置。

［１３］前記制御部は、前記撮影データに対応する現実空間の範囲外に前記管理情報の示す品物が存在する場合は、該品物の存在する位置を案内する案内情報を現実空間に合成した拡張現実空間を前記ＡＲ表示部に表示させる
ことを特徴とする［１０］乃至［１２］のいずれか１つに記載のＡＲ表示装置。

［１４］ユーザの見ている現実空間に画像を合成した拡張現実空間を表示するＡＲ表示部と、
前記ユーザの見ている現実空間を撮影する撮影部と、
所定の装置で補充が必要な資材と交換が必要な部品のうちの少なくとも一方の品物を示す管理情報を取得する取得部と、
前記撮影部で撮影して得た撮影データの中に前記管理情報の示す品物が存在する場合は、該存在する品物の位置を特定し、該存在する品物に所定のマークの画像を重ねて合成した拡張現実空間を前記ＡＲ表示部に表示させる制御部と、
を備え、
前記制御部は、前記存在する品物のそれぞれに前記マークを重ねて表示した場合にサイズが所定値以下になるマークが存在する場合は、少なくともサイズが所定値以下のマークに代えて、該マークに対応する品物とその周囲の所定範囲に重なる拡張マークを表示する
ことを特徴とするＡＲ表示装置。

［１５］ユーザの見ている現実空間に画像を合成した拡張現実空間を表示するＡＲ表示部と、
前記ユーザの見ている現実空間を撮影する撮影部と、
所定の装置で補充が必要な資材と交換が必要な部品のうちの少なくとも一方の品物を示す管理情報を取得する取得部と、
前記撮影部で撮影して得た撮影データの中に前記管理情報の示す品物が存在する場合は、該存在する品物の位置を特定し、該存在する品物に所定のマークの画像を重ねて合成した拡張現実空間を前記ＡＲ表示部に表示させる制御部と、
を備え、
自装置の位置を検出する位置検出部を備え、
前記制御部は、自装置のユーザが前記位置検出部によって検出された自装置の位置から前記管理情報の示す品物の保管場所を経由して前記所定の装置の設置場所へ移動するために要する時間に所定の余裕時間を加えた移動所要時間を推定し、前記管理情報の示す品物の不足に起因して前記所定の装置の稼動が停止するタイミングから少なくとも前記移動所要時間だけ手前の時点で、自装置のユーザに前記品物の不足を警告する
ことを特徴とするＡＲ表示装置。

［１６］ユーザの見ている現実空間に画像を合成した拡張現実空間を表示するＡＲ表示部と、
前記ユーザの見ている現実空間を撮影する撮影部と、
所定の装置で補充が必要な資材と交換が必要な部品のうちの少なくとも一方の品物を示す管理情報を取得する取得部と、
前記撮影部で撮影して得た撮影データの中に前記管理情報の示す品物が存在する場合は、該存在する品物の位置を特定し、該存在する品物に所定のマークの画像を重ねて合成した拡張現実空間を前記ＡＲ表示部に表示させる制御部と、
を備え、
前記制御部は、自装置を使用中のユーザを特定し、前記管理情報に対応する装置に前記ユーザに関連付けされたジョブが未完了の状態で存在する場合にのみ、前記マークの画像を重ねて合成した拡張現実空間を前記ＡＲ表示部に表示させる
ことを特徴とするＡＲ表示装置。
［１７］前記取得部は、
（１）常時、
（２）前記撮影データの中に前記所定の装置が存在するとき、
（３）自装置が前記品物の保管場所およびその周辺に位置するとき、
（４）前記撮影データの中に所定の品物が存在するとき、
（５）前記所定の装置から前記管理情報の送信要求を受けたとき、
（６）ジョブが投入された前記所定の装置からジョブ投入の通知を受けたとき
の中のいずれかのタイミングで前記装置と通信して前記管理情報を取得する
ことを特徴とする［１０］乃至［１６］のいずれか１つに記載のＡＲ表示装置。

［１８］前記制御部は、前記撮影データの示す画像を画像解析することで、前記管理情報の示す品物が存在するか否かの判定、および該存在する品物の位置を特定する
ことを特徴とする［１０］乃至［１７］のいずれか１つに記載のＡＲ表示装置。

［１９］［１］乃至［９］のいずれか１つに記載のＡＲ表示システムにおける情報処理装置。

［２０］情報処理装置を、［１９］に記載の情報処理装置として動作させるためのプログラム。

本発明に係るＡＲ表示システムおよびＡＲ表示装置、情報処理装置、プログラムによれば、ユーザがＡＲ技術を使用して、保管場所に置かれている多数の品物の中から目的の資材や部品を容易に見つけ出すことができる。

本発明の実施の形態に係るＡＲメガネが使用されるＡＲ表示システムの構成例を示す図である。 ＡＲメガネを装着したユーザが資材置き場を見たときの表示例を示す図である。 ＡＲメガネの電気的な概略構成を示すブロック図である。 画像形成装置の電気的な概略構成を示すブロック図である。 サーバの電気的な概略構成を示すブロック図である。 ＡＲメガネを装着したユーザが資材置き場を見たときの表示例を示す図２とは異なる図である。 ＡＲメガネを装着したユーザが資材置き場を見たときの表示例を示す図２、図６とは異なる図である。 ＡＲメガネを装着したユーザが資材置き場を見たときの表示例を示す図２、図６、図７とは異なる図である。 管理情報の示す情報の例を示す図である。 ＡＲメガネを装着したユーザが資材置き場を見たときの表示例を示す図２、図６、図７、図８とは異なる図である。 ＡＲメガネを装着したユーザが資材置き場を見たときの表示例を示す図２、図６、図７、図８、図１０とは異なる図である。 サーバにて行われる処理を示す流れ図である。 合成データの生成処理を示す流れ図である。

以下、図面に基づき本発明の実施の形態を説明する。

図１は、本発明の実施の形態に係るＡＲ表示装置としての役割を果たすＡＲメガネ４０が使用されるＡＲ表示システム２の構成を示している。ＡＲ表示システム２は、ＡＲメガネ４０と、本発明の実施の形態に係る情報処理装置としての役割を果たすサーバ７０、オフィスなどに設置された１または複数台の画像形成装置１０、無線ルータ５、などをＬＡＮ（Local Area Network）などのネットワーク３に接続して構成される。ＡＲメガネ４０は無線ルータ５と無線通信で接続され、無線ルータ５を介してネットワーク３に接続されている。

画像形成装置１０は、原稿を光学的に読み取ってその複製画像を記録紙に印刷するコピー機能、読み取った原稿の画像データをファイルにして保存したり外部端末へネットワーク３を通じて送信したりするスキャン機能、外部装置からネットワーク３を通じて受信した印刷データに係る画像を記録紙上に画像形成して印刷出力するプリンタ機能などを備えた、所謂、複合機（ＭＦＰ）である。本発明の実施の形態では、ＡＲ表示システム２に２台の画像形成装置１０が接続されており、ＭＦＰ１、ＭＦＰ２と区別する。ＭＦＰ１、ＭＦＰ２のうち、任意のいずれか一台を指す場合は画像形成装置１０と示す。

ＡＲメガネ４０は、所謂、ヘッドマウントディスプレイ（ＨＭＤ）方式で拡張現実空間を表示するウェアラブルコンピュータである。ＡＲメガネ４０は、ユーザの見ている光景（現実空間）を撮影するカメラ部５２（図３参照）を備えており、このカメラ部５２で撮影して得た撮影データをサーバ７０に送信する。

サーバ７０は、画像形成装置１０で補充が必要な資材と交換が必要な部品のうちの少なくとも一方の品物（資材と部品を総称して品物と呼ぶ
）を示す管理情報を取得する。また、ＡＲメガネ４０から受信した撮影データの中に、該管理情報の示す品物が存在する場合は、該存在する品物の位置を特定する。そして、該存在する品物に所定のマークの画像を重ねて合成した拡張現実空間をＡＲメガネ４０に表示させるためのデータ（合成データと呼ぶ）を生成してＡＲメガネ４０に送信する。

ＡＲメガネ４０は、サーバ７０から受信した合成データに基づいて、ユーザの見ている光景（現実空間）内において、管理情報の示す品物に所定のマークの画像を重ねて合成した拡張現実空間を表示する。

具体的には、画像形成装置１０に補充する資材や交換する部品などの保管場所である資材置き場をユーザが見た場合に、ＡＲメガネ４０は、画像形成装置１０で補充が必要な資材、または交換が必要な部品（画像形成装置１０で不足する品物）に、所定のマークの画像を重ねて合成した拡張現実空間を表示する。これにより、ユーザは、資材置き場に置かれている多数の品物の中から、画像形成装置１０で不足する品物を容易に見つけ出すことができる。所定のマークの表示形態は特に限定せず、ユーザが認識しやすいものであればよいが、本発明の実施の形態では、重ねる対象となる品物の外周に沿う枠線等を所定のマークとする（図２参照）。

図２は、ＡＲメガネ４０を装着したユーザが資材置き場を見たときの表示状態（拡張現実空間）の一例を示している。ＡＲメガネ４０はメガネのようにユーザの目の周辺に装着されて使用される。ＡＲメガネ４０は、装着時に装着者の左右の目の前にそれぞれ配置されるメガネのレンズ部分に対応した透過部４１と、左右の透過部４１の間を繋ぐブリッジ４２と、左右の透過部４１の両脇から同一方向に延びて装着者の耳に引っ掛けられるツル部４３を備えて構成される。

ＡＲメガネ４０は、ユーザの見ている実際の光景に、仮想的に表示すべき部分の画像だけを重ね合わせる方式（所謂、光透過型）を採用している。透過部４１を通してユーザは現実世界を見る。透過部４１には画像を表示可能な半透明な表示スクリーン部４４が設けてあり、任意の画像を現実世界の光景に重ね合わせることで拡張現実空間をユーザに見せる。

図２では、ＡＲメガネ４０の透過部４１上の表示スクリーン部４４に、現実世界の品物に重ね合わさるように、該品物の外周に沿う枠線を表示した状態の一例を示している。図２では、該枠線が所定のマークに該当し、該枠線が重ねられた品物が画像形成装置１０で不足している品物である。

図３は、ＡＲメガネ４０の電気的な概略構成を示している。ＡＲメガネ４０は、制御部としてのＣＰＵ(Central Processing Unit)４６にバスを介してＲＯＭ(Read Only Memory)４７、ＲＡＭ(Random Access Memory)４８、不揮発メモリ４９、方位センサー部５１、カメラ部５２、操作部５３、前述の表示スクリーン部４４、無線通信部５４、画像処理部５５、位置情報取得部５６、認証部５７などを接続して構成される。

ＣＰＵ４６はＲＯＭ４７に格納されているプログラムに従ってＡＲメガネ４０の動作を制御する。ＲＯＭ４７にはプログラムや固定データが記憶されている。ＲＡＭ４８はＣＰＵ４６がプログラムを実行する際に各種のデータを一時的に格納するワークメモリなどとして使用される。不揮発メモリ４９には、各種の設定情報や、ユーザ情報等が記憶される。

方位センサー部５１は、ＡＲメガネ４０の向きや姿勢およびその変化を検出する。方位センサー部５１は、複数の地磁気センサと、複数の加速度センサを組み合わせて構成される。方位センサー部５１は、ＡＲメガネ４０を装着しているユーザの姿勢やユーザが向いている方向や角度（これらは、カメラ部５２が撮影している方向や向きと一致）を検出したり、ＡＲメガネ４０が傾けられたりした場合の動作の向きや速さを検出したりして、その検出結果をＣＰＵ４６へ通知する。ＣＰＵ４６は、方位センサー部５１からの通知に基づいて、ＡＲメガネ４０を装着しているユーザの姿勢、角度、傾けられたりした動作の向きや速さを認識する。

カメラ部５２は、ＡＲメガネ４０の前方（装着者が見ている光景）を撮影する。より詳細には、装着者が前方を見たときの視野とほぼ同じ範囲を撮影する。カメラ部５２は動画を撮影し、たとえば、毎秒３０フレームの画像を取り込む。

操作部５３は少数のスイッチ等であり、表示スクリーン部４４に表示する画像の明るさなどの調整に使用される。

無線通信部５４は、無線ルータ５と無線通信し、該無線ルータ５およびネットワーク３を介してサーバ７０と各種の情報を授受する機能を果たす。

画像処理部５５は、表示スクリーン部４４に表示する画像の拡大・縮小、変形などを行う。

位置情報取得部５６は、ＧＰＳ機能によって自装置の位置を検出する。位置検出の方法は他の方法を用いてもよい。

認証部５７は、ユーザ認証を行う機能を果たす。具体的には、自装置を装着したユーザに対してログイン時にユーザ認証を行い、ログインユーザを特定する。本実施の形態では、ＡＲメガネ４０を利用するにはログインを必要とし、利用前にユーザ認証が必ず行われるものとする。なお、ユーザ認証の方法は、ユーザＩＤ（Identification）とパスワードによる認証等、任意の方法でよい。

図４は、画像形成装置１０の概略構成を示すブロック図である。画像形成装置１０は、当該画像形成装置１０の動作を統括的に制御するＣＰＵ１１を有している。ＣＰＵ１１にはバスを通じてＲＯＭ１２、ＲＡＭ１３、不揮発メモリ１４、ハードディスク装置１５、自動原稿搬送部（ＡＤＦ：Auto Document Feeder）１６、画像読取部１７、操作部１８、表示部１９、ネットワーク通信部２０、画像処理部２１、プリンタ部２２などが接続されている。

ＣＰＵ１１は、ＯＳ（Operating System）プログラムをベースとし、その上で、ミドルウェアやアプリケーションプログラムなどを実行する。ＲＯＭ１２には、各種のプログラムが格納されており、これらのプログラムに従ってＣＰＵ１１が各種処理を実行することで画像形成装置１０の各機能が実現される。

ＲＡＭ１３は、ＣＰＵ１１がプログラムに基づいて処理を実行する際に各種のデータを一時的に格納するワークメモリや画像データを格納する画像メモリなどとして使用される。

不揮発メモリ１４は、電源をオフにしても記憶内容が破壊されないメモリ（フラッシュメモリ）であり、各種設定情報の保存などに使用される。ハードディスク装置１５は大容量不揮発の記憶装置であり、印刷データ、画像データなどのほか各種のプログラムやデータが記憶される。

画像読取部１７は、原稿を光学的に読み取って画像データを取得する機能を果たす。画像読取部１７は、例えば、原稿に光を照射する光源と、その反射光を受けて原稿を幅方向に１ライン分読み取るラインイメージセンサと、ライン単位の読取位置を原稿の長さ方向に順次移動させる移動ユニットと、原稿からの反射光をラインイメージセンサに導いて結像させるレンズやミラーなどからなる光学経路と、ラインイメージセンサの出力するアナログ画像信号をデジタルの画像データに変換する変換部などを備えて構成される。

自動原稿搬送部１６は、原稿台にセットされた原稿をその最上のものから１枚ずつ順に繰り出して搬送し、画像読取部１７の読み取り位置を通過させて所定の排紙位置へ排紙する機能を果たす。

操作部１８と表示部１９はユーザからジョブの投入などの操作を受ける操作パネルを構成する。表示部１９は、液晶ディスプレイ（ＬＣＤ…Liquid Crystal Display）などで構成され、各種の操作画面、設定画面などを表示する機能を果たす。操作部１８は、スタートボタンなどの各種操作スイッチと、表示部１９の物理的画面上に設けられたタッチパネルとを備えている。タッチパネルは、表示部１９の物理的画面がタッチペンや指などで接触操作された座標位置を検出する。

ネットワーク通信部２０は、ＬＡＮなどのネットワーク３を通じてサーバ７０などの外部装置と通信する機能を果たす。ネットワーク通信部２０は、無線ＬＡＮの機能も有する。

画像処理部２１は、画像の拡大縮小、回転などの処理のほか、印刷データをイメージデータに変換するラスタライズ処理、画像データの圧縮、伸張処理などを行う。

プリンタ部２２は、画像データに応じた画像を記録紙上に画像形成する機能を果たす。ここでは、記録紙の搬送装置と、感光体ドラムと、帯電装置と、レーザーユニットと、現像装置と、転写分離装置と、クリーニング装置と、定着装置とを有し、電子写真プロセスによって画像形成を行う、所謂、レーザープリンタとして構成されている。画像形成は他の方式でもかまわない。

画像形成装置１０は、自装置内における資材の残量や部品の交換時期などを監視する。たとえば、給紙トレイにセットされた用紙やトナーなどの残量、および感光体ドラムや定着器などの部品の交換時期を監視する。画像形成装置１０は、前述の監視によって得た、補充が必要な資材および交換が必要な部品のうち少なくともいずれか１つの品物を示す管理情報をサーバ７０に送信する。サーバ７０はこの管理情報によって、送信元の画像形成装置１０にて補充が必要な資材や、交換が必要な部品（不足している品物）を把握する。

図５は、サーバ７０の概略構成を示すブロック図である。サーバ７０は、制御部としてのＣＰＵ７１にバスを介してＲＯＭ７２、ＲＡＭ７３、不揮発メモリ７４、ハードディスク装置７５、ネットワーク通信部７６などを接続して構成される。

ＣＰＵ７１はＲＯＭ７２に格納されているプログラムに従ってサーバ７０の動作を制御する。ＲＯＭ７２にはプログラムや固定データが記憶されている。ＲＡＭ７３はＣＰＵ７１がプログラムを実行する際に各種のデータを一時的に格納するワークメモリなどとして使用される。

不揮発メモリ７４は、電源をオフにしても記憶内容が破壊されないメモリ（フラッシュメモリ）であり、各種設定情報の保存などに使用される。ハードディスク装置７５は大容量不揮発の記憶装置であり、画像形成装置１０から受信した管理情報や、ＡＲメガネ４０から受信した撮影データなどが記憶される。

ネットワーク通信部７６は、ＬＡＮなどのネットワーク３を通じてＡＲメガネ４０やサーバ７０などの外部装置と通信する機能を果たす。ネットワーク通信部７６は、無線ＬＡＮの機能も有する。

サーバ７０は、ＡＲメガネ４０から受信した撮影データに対して画像解析を行い、その撮影データの示す画像の中に、画像形成装置１０から受信した管理情報の示す品物がある場合、その位置を特定する。そして、その位置を特定した品物に所定のマークの画像を重ねて合成した拡張現実空間をＡＲメガネ４０に表示させるためのデータ（合成データ）を生成してＡＲメガネ４０に送信する。

次に、ＡＲメガネ４０を装着したユーザが資材置き場を見たときの表示状態（拡張現実空間）について複数の例を挙げて説明する。

図６は、ＭＦＰ１にて不足している品物（補充が必要な資材、および交換が必要な部品）がある場合に、ＡＲメガネ４０を装着したユーザが資材置き場を見たときの表示状態（拡張現実空間）の一例を示す。図６では、特定の品物に対して枠線が重ね合わさるように表示されるとともに、その特定の品物が不足しているＭＦＰの識別情報（図中ではＭＦＰ１にて該品物が不足している旨）が表示されている。これにより、ユーザは、資材置き場に置かれた多数の品物の中から、ＭＦＰ１にて不足している品物を容易に見つけることができる。

図７は、ＭＦＰ１とＭＦＰ２にて不足している品物がある場合に、ＡＲメガネ４０を装着したユーザが資材置き場を見たときの表示状態（拡張現実空間）の一例を示す。図７では、ＭＦＰ２にて不足している品物（品物Ｂとする）には、内部が斜線で塗りつぶされた枠線が重ね合わさるように表示されている。ＭＦＰ１にて不足している品物（品物Ａとする）には、内部が塗りつぶされていない枠線が重ね合わさるように表示されている。

また、図７では、枠線が重ねられている品物が不足しているＭＦＰ、すなわちＭＦＰ１とＭＦＰ２の識別情報が表示されている。ＭＦＰ１の識別情報は、品物Ａに重ねられたマーク（枠線）と同様に内部が塗りつぶされることなく表示されている。ＭＦＰ２の識別情報は品物Ｂに重ねられたマーク（枠線）と同様に内部が斜線で塗りつぶされた状態で表示されている。

このように、図７では、ＭＦＰ１で不足する品物（品物Ａ）に重ねるマークとＭＦＰ１の識別情報の内部の表示形態、およびＭＦＰ２で不足する品物（品物Ｂ）に重ねるマークとＭＦＰ２の識別情報の内部の表示形態を揃えている。よって、ユーザは、品物ＢがＭＦＰ２にて不足している品物であること、および品物ＡがＭＦＰ１にて不足している品物であることを把握することができる。

このように、ＡＲ表示システム２では、ＭＦＰ１で不足する品物に重ねるマークと、ＭＦＰ２で不足する品物に重ねるマークの表示形態を、相違させる。また、ＭＦＰ１で不足する品物に重ねるマークとＭＦＰ１の識別情報の表示形態、およびＭＦＰ２で不足する品物に重ねるマークとＭＦＰ２の識別情報の表示形態を関連付けて表示する。これにより、ＭＦＰ１、ＭＦＰ２にて不足している品物が区別して表示されるので、ユーザは、マークが重ねられた品物がＭＦＰ１とＭＦＰ２のいずれにて不足している品物なのかを把握することできる。

図８では、ＭＦＰ１にて不足している品物、および、まもなく不足する品物がある場合に、ＡＲメガネ４０を装着したユーザが資材置き場を見たときの表示状態（拡張現実空間）の一例を示す。図８では、まもなく不足する品物には、内部が網かけで塗りつぶされた枠線が重ね合わさるように表示されている。ＭＦＰ１にて不足している品物には、内部が塗りつぶされていない枠線が重ね合わさるように表示されている。

このように、ＡＲ表示システム２では、画像形成装置１０にて必要になる時期の緊急性に応じて、品物に重ねるように合成する所定のマーク（図中では枠線）の表示形態を相違させる。図８では、このようにＭＦＰ１で既に不足している品物に重ねるマークと、まもなく不足する品物に重ねるマークが区別して表示されるので、所定のマークの画像を重ねられた品物が、ＭＦＰ１で既に不足している状態であるか、もしくは、まもなく不足する状態であるのか等を把握することができる。

次に、サーバ７０が取得する管理情報について説明する。本発明の実施の形態では、サーバ７０は、画像形成装置１０にて未完了のジョブ（待機中のジョブ）に係る情報とともに、資材の残量や、交換が必要になった部品の情報などを管理情報として取得する。図９は、ＭＦＰ１からサーバ７０が受信した管理情報の一例である管理情報表８１を示す。

管理情報表８１には、ＭＦＰ１にて待機中のジョブ（Ｎｏ１〜Ｎｏ４のジョブ）ごとに、該ジョブを投入したユーザの識別情報、該ジョブによって出力される用紙枚数（用紙サイズの情報を含む）、該ジョブを実行する直前の用紙残量が表示されている。４つのジョブ（Ｎｏ１〜Ｎｏ４のジョブ）は、Ｎｏ１、Ｎｏ２、Ｎｏ３、Ｎｏ４の順番で実行される。

Ｎｏ１のジョブは、ユーザＡによって投入された印刷ジョブであり、Ａ４用紙を４枚出力予定であって、ジョブの実行直前におけるＡ４用紙の残量は２０枚となっている。

Ｎｏ２のジョブは、ユーザＢによって投入された印刷ジョブであり、Ａ４用紙を５枚出力予定であって、ジョブの実行直前におけるＡ４用紙の残量は１６枚となっている。

Ｎｏ３のジョブは、ユーザＣによって投入された印刷ジョブであり、Ａ４用紙を１０枚出力予定であって、ジョブの実行直前におけるＡ４用紙の残量は１１枚となっている。

Ｎｏ４のジョブは、ユーザＤによって投入された印刷ジョブであり、Ａ４用紙を５枚出力予定であって、ジョブの実行直前におけるＡ４用紙の残量は１枚となっている。すなわち、Ａ４用紙が補充されないまま、ＭＦＰ１がＮｏ４のジョブを実行した場合、用紙切れが発生し、ジョブが中断される。

サーバ７０は、管理情報表８１とＡＲメガネ４０から受信した撮影データに基づいて、図６や図８に示すような拡張現実空間をＡＲメガネ４０に表示させるためのデータ（合成データ）を生成し、ＡＲメガネ４０に送信する。たとえば、ジョブを実行したら用紙切れが発生する場合は、用紙が不足している旨をＡＲメガネ４０に表示させる合成データを生成する。また、予め設けられた用紙残量の閾値（たとえば１０枚など）を下回った場合は、その用紙がまもなく不足する旨をＡＲメガネ４０に表示させる合成データを生成する。

本発明の実施の形態では、サーバ７０は、ＡＲメガネ４０から認証部５７によって特定されたユーザを示す識別情報を取得し、管理情報に対応する画像形成装置１０に、該ユーザによって投入されたジョブが未完了（実行中、もしくは待機中）の状態で存在する場合にのみ、当該ＡＲメガネ４０に対して、所定のマークの画像を重ねて合成した拡張現実空間をＡＲメガネ４０に表示させるためのデータ（合成データ）を生成し、ＡＲメガネ４０に送信する。画像形成装置１０にジョブを投入していないユーザ、もしくは、投入したジョブが既に完了しているユーザがＡＲメガネ４０を使用中は、画像形成装置１０にて不足する品物の情報が表示されないので、ＡＲメガネ４０を装着するユーザにとって必要な情報のみが表示される。

また、サーバ７０はＡＲメガネ４０から位置情報を常時受信し、ＡＲメガネ４０の位置から資材置き場を経由して画像形成装置１０の設置場所へ移動するために要する時間に、所定の余裕時間を加えた移動所要時間を推定する。そして、管理情報の示す品物の不足に起因して画像形成装置１０の稼動が停止する（ジョブが中断される）タイミングから少なくとも移動所要時間だけ手前の時点で、ＡＲメガネ４０に品物が不足する旨の警告を表示させる。当該警告を確認したユーザが、該確認の直後に、資材置き場に行って資材または部品を調達し、画像形成装置１０に戻ってくることで、画像形成装置１０の稼動が停止する（ジョブが中断される）前に、資材の補充や部品の交換を行うことができる。

なお、サーバ７０は、
（１）常時、
（２）ＡＲメガネ４０から受信した撮影データの中に画像形成装置１０が存在するとき、
（３）ＡＲメガネ４０が資材置き場およびその周辺に位置するとき、（ＡＲメガネ４０から常時、位置情報を受信しておく）
（４）ＡＲメガネ４０から受信した撮影データの中に、所定の品物が存在するとき、
（５）画像形成装置１０から管理情報の送信要求を受けたとき、
（６）ジョブが投入された画像形成装置１０からジョブ投入の通知を受けたとき、
の中のいずれかのタイミングで画像形成装置１０と通信して管理情報を取得する。

（１）では、たとえば、一定期間毎に周期的に管理情報を取得する。（４）では、所定の品物は、予め指定された資材や部品を指す。（５）は、画像形成装置１０から管理情報が送信されたら、該管理情報を受信するような構成であってもよい。

次に、ＡＲメガネ４０を装着したユーザが資材置き場を見たときの表示状態（拡張現実空間）の変形例について説明する。

（変形例１）
図１０は、ＭＦＰ１にて不足している品物がユーザの見ている現実空間の範囲外にある場合に、該品物の存在する位置を案内する案内情報（図中では該位置の存在する方向を示す矢印）を表示する様子の例を示す。

サーバ７０は、予め資材置き場にて各品物が置かれている位置を登録しておき、ＭＦＰ１にて不足している品物の位置を認識する。もしくは、ユーザが資材置き場全体を見渡すことで得た撮影データから、ＭＦＰ１にて不足している品物の位置を特定しておく。

そして、サーバ７０は、撮影データの示す範囲の位置に対して、該品物の位置がある方向や距離を認識する。たとえば、ユーザの見ている位置に対して右側にあるのか、左側にあるのか、どのくらい離れているのかなどを認識する。その後、該方向を示す案内情報を送信し、ＡＲメガネ４０にこの方向を矢印で表示させる。これにより、ユーザの見ている現実空間の範囲外に、画像形成装置１０で不足している品物がある場合であっても、該品物を容易に発見することができる。

なお、本発明の実施の形態では、サーバ７０は、撮影データの示す範囲の位置と、該品物の位置との距離が一定以下の場合、もしくはＡＲメガネ４０が所定の範囲内に存在する場合のみ該案内情報を送信する。たとえば、サーバ７０は、ＡＲメガネ４０を装着したユーザが資材置き場にいる場合のみ、案内情報を送信し、ＡＲメガネ４０に該品物のある方向を示す矢印を表示させる。

（変形例２）
図１１は、ＡＲメガネ４０を装着したユーザと資材置き場との距離が離れている場合に、該ユーザが資材置き場を見たときの表示状態（拡張現実空間）の一例を示す。

図１１では、ＭＦＰ１にて不足している品物の周囲の所定範囲に四角形の枠線（マーク）が重ねられて表示されている。ユーザと資材置き場の距離が離れているので、ユーザの視界、および撮影データには各品物が小さく映っている。小さく映っている品物に外接するように枠線（マーク）を重ねて表示した場合、当該枠線（マーク）がどこに表示されているのかユーザにとって認識し難い。

そこで、サーバ７０は、撮影データの中の品物の存在範囲のみに所定のマーク（図中では枠線）の画像を重ねた際に、そのマークのサイズが所定値以下になる場合は、サイズが所定値以下のマークに代えて、該品物の周囲の所定範囲に重なる拡張マークの画像を現実空間に合成した拡張現実空間をＡＲメガネ４０に表示させるデータ（合成データ）を生成し、ＡＲメガネ４０に送信する。これにより、たとえば、ＡＲメガネ４０を装着したユーザと、品物との距離が離れている場合や、品物自体が小さい場合であっても、画像形成装置１０で不足している品物を示すマークが、ユーザとって分かりやすく表示される。図１１では、離れている場所から資材置き場を見た場合に、画像形成装置１０で不足する品物がどの辺りにあるのかがわかる。そして、ユーザが資材置き場に近づいたら、その品物だけにマークが重なり、その品物を特定することができる。

なお、複数箇所に所定のマークを表示する場合、複数のマークのうちサイズが所定値以下のマークのみを、拡張マークに代えてもよいし、全てのマークを拡張マークに変更してもよい。

図１２は、ＡＲ表示システム２において、ＡＲメガネ４０が拡張現実空間を表示するまでにサーバ７０が行う処理を示す。なお、図１２では、サーバ７０は予めＡＲメガネ４０を使用中のユーザの識別情報を取得している。

まず、サーバ７０は、画像形成装置１０から管理情報を取得するタイミングまで待って（ステップＳ００１；Ｎｏ）、該タイミングになったら（ステップＳ００１；Ｙｅｓ）、画像形成装置１０の識別情報とともに管理情報を取得する（ステップＳ００２）。

管理情報の示す、画像形成装置１０にて未完了のジョブの中に、ＡＲメガネ４０を使用中のユーザが投入したジョブがなければ（ステップＳ００３；Ｎｏ）、本処理を終了する。ＡＲメガネ４０を使用中のユーザが投入したジョブがある場合は（ステップＳ００３；Ｙｅｓ）、管理情報から、画像形成装置１０にて不足している品物を特定する（ステップＳ００４）。

その後、ステップＳ００４にて特定した品物が画像形成装置１０にて不足している旨をＡＲメガネ４０に通知する（ステップＳ００５）。この通知を受けたＡＲメガネ４０は、画像形成装置１０にて不足している資材があることや、不足している資材の名称などを表示する。

次に、ＡＲメガネ４０から撮影データを受信する。サーバ７０は受信した撮影データの映像について画像解析を行い、予め登録された種類の品物があるか否かを調べる。たとえば、印刷用紙とトナーを登録しておいた場合、撮影データの中に印刷用紙とトナーが存在するか否かを調べる。

撮影データの中に、登録されている品物がない場合は（ステップＳ００６；Ｎｏ）、ステップＳ００６に戻って処理を継続する。撮影データの中に登録されている品物がある場合は（ステップＳ００６；Ｙｅｓ）、該品物の位置を特定する（ステップＳ００７）。複数の品物がある場合は、その複数の品物の位置を特定する。

次に、位置を特定した品物が、画像形成装置１０にて不足する品物か否かを判定する。位置を特定した品物の中に、画像形成装置１０にて不足する品物がなければ（ステップＳ００８；Ｎｏ）、本処理を終了する。たとえば、画像形成装置１０にてＡ３の印刷用紙が不足しており、撮影データの中にある印刷用紙がＡ４サイズである場合は、処理を終了する。

位置を特定した品物の中に、画像形成装置１０にて不足する品物がある場合は（ステップＳ００８；Ｙｅｓ）、所定のマークの画像をその品物に重ね、かつ、その品物が不足している画像形成装置１０の識別情報を合成した拡張現実空間をＡＲメガネ４０に表示させるためのデータ（合成データ）を生成する（ステップＳ００９）。そして、その合成データをＡＲメガネ４０に送信し（ステップＳ０１０）、本処理を終了する。

なお、本処理のステップＳ００６〜ステップＳ０１０は、ＡＲメガネ４０から撮影データを受信する度に繰り返し行われる。サーバ７０は、受信してから一定期間が経過した撮影データは削除する。

図１３は、図１２のステップＳ００９にて行われた合成データの生成処理を示す。

まず、図１２のステップＳ００７にて位置を特定した品物において、画像形成装置１０にて不足する品物に、所定のマークの画像を重ねた際に、サイズが所定値以下になるマークがある場合は（ステップＳ１０１；Ｙｅｓ）、サイズが所定値以下のマークに代えて、該マークに対応する品物の周囲の所定範囲に重なる拡張マークの画像を現実空間に合成した拡張現実空間をＡＲメガネ４０に表示させるデータ（合成データ）を生成し（ステップＳ１０２）、本処理を終了する。

サイズが所定値以下になるマークがない場合は（ステップＳ１０１；Ｎｏ）、画像形成装置１０にて不足する品物に所定のマークの画像を重ね、かつ、該画像形成装置１０の識別情報を合成した拡張現実空間をＡＲメガネ４０に表示させるデータ（合成データ）を生成し（ステップＳ１０３）、本処理を終了する。

なお、変形例１のように、ユーザの見ている現実空間の範囲外にある品物の位置を案内する案内情報をＡＲメガネ４０に表示させてもよい。案内情報を表示する場合は前述した方法を採用する。

このように、本実施の形態に係るＡＲ表示装置としての役割を果たすＡＲメガネ４０を使用することにより、ユーザは、資材置き場に置かれている多数の品物の中から目的の資材や部品（画像形成装置１０で不足する品物）を容易に見つけ出すことができる。

たとえば、オフィス内に複数台の画像形成装置１０が併置されているような場合に、ＡＲメガネ４０を装着したユーザが資材置き場を眺めると、画像形成装置１０で不足する品物に所定のマークの画像が重ねられて表示される。また、その品物がいずれの画像形成装置１０にて不足しているかなども合わせて表示される。これにより、資材置き場を眺めれば、該資材置き場に置かれているどの品物が、どの画像形成装置１０で不足しているのかを一目で把握することができる。

以上、本発明の実施の形態を図面によって説明してきたが、具体的な構成は実施の形態に示したものに限られるものではなく、本発明の要旨を逸脱しない範囲における変更や追加があっても本発明に含まれる。

実施の形態では、サーバ７０が、画像解析により撮影データの中に予め登録された品物の有無、および該品物の位置を特定していたが、該品物の位置の特定方法はこれに限らない。他の方法でもよい。たとえば、各品物の位置を予め登録しておき、ＧＰＳなどによって撮影データの示す範囲の位置を特定し、その特定した範囲内に、管理情報の示す品物が存在するか否かを判断する方法であってもよい。

本発明の実施の形態では、ＡＲ表示システム２において、ＡＲメガネ４０が、サーバ７０から受信した合成データに基づいて拡張現実空間を表示する例を示したが、たとえば、サーバ７０の役割をＡＲメガネ４０が果たしてもよい。すなわち、ＡＲメガネ４０が、画像形成装置１０から管理情報を取得し、該管理情報とカメラ部５２が撮影して得た撮影データに基づいて合成データを生成するように構成されてもよい。また、本発明は、実施の形態におけるサーバ７０単体、およびサーバ７０を実施の形態で説明したように動作させるプログラムであってもよい。

実施の形態ではＡＲ表示装置は、ヘッドマウント形式のＡＲメガネ４０であったが、ＡＲ表示装置はこれに限らない。たとえば、スマートフォンなどのようなカメラ付きの携帯端末などでもかまわない。カメラの撮影した撮影データをサーバ７０に送信し、サーバ７０から受信した合成データに従って拡張現実空間を表示するようにすればよい。

２…ＡＲ表示システム
３…ネットワーク（ＬＡＮ）
５…無線ルータ
１０…画像形成装置（ＭＦＰ１、ＭＦＰ２）
１１…ＣＰＵ
１２…ＲＯＭ
１３…ＲＡＭ
１４…不揮発メモリ
１５…ハードディスク装置
１６…自動原稿搬送部
１７…画像読取部
１８…操作部
１９…表示部
２０…ネットワーク通信部
２１…画像処理部
２２…プリンタ部
４０…ＡＲメガネ
４１…透過部
４２…ブリッジ
４３…ツル部
４４…表示スクリーン部
４６…ＣＰＵ
４７…ＲＯＭ
４８…ＲＡＭ
４９…不揮発メモリ
５１…方位センサー部
５２…カメラ部
５３…操作部
５４…無線通信部
５５…画像処理部
５６…位置情報取得部
５７…認証部
７０…サーバ
７１…ＣＰＵ
７２…ＲＯＭ
７３…ＲＡＭ
７４…不揮発メモリ
７５…ハードディスク装置
７６…ネットワーク通信部
８１…管理情報表

Claims (20)

1. ユーザの見ている現実空間に画像を合成した拡張現実空間を表示するＡＲ表示部と前記ユーザの見ている現実空間を撮影する撮影部とを備えたＡＲ表示装置と、該ＡＲ表示装置と通信可能な情報処理装置とを備えたＡＲ表示システムであって、
   前記ＡＲ表示装置は、前記撮影部が撮影して得た撮影データを前記情報処理装置に送信し、
   前記情報処理装置は、所定の装置で補充が必要な資材と交換が必要な部品のうちの少なくとも一方の品物を示す管理情報を取得し、前記ＡＲ表示装置から受信した前記撮影データの中に前記管理情報の示す品物が存在する場合は、該存在する品物の位置を特定し、該存在する品物に所定のマークの画像を重ねて合成した拡張現実空間を、前記ＡＲ表示装置に表示させるためのデータを生成して前記ＡＲ表示装置に送信し、
   前記ＡＲ表示装置は、前記データに基づいて、前記存在する品物に前記マークの画像を重ねて合成した拡張現実空間を表示し、
   前記情報処理装置は、複数の装置から前記管理情報を取得可能であって、前記管理情報と共に該管理情報に係る装置の識別情報を取得し、前記データとして、前記存在する品物に前記マークの画像を重ねて合成した拡張現実空間に、前記存在する品物を示す前記管理情報に対応する装置の識別情報がさらに合成された拡張現実空間を前記ＡＲ表示装置に表示させるためのデータを生成する
   ことを特徴とするＡＲ表示システム。
2. 前記情報処理装置は、前記データとして、前記マークを装置毎に相違させると共に、一の装置に対応するマークと該装置を示す識別情報とが関連付けされた前記拡張現実空間を前記ＡＲ表示装置に表示させるためのデータを生成する
   ことを特徴とする請求項１に記載のＡＲ表示システム。
3. ユーザの見ている現実空間に画像を合成した拡張現実空間を表示するＡＲ表示部と前記ユーザの見ている現実空間を撮影する撮影部とを備えたＡＲ表示装置と、該ＡＲ表示装置と通信可能な情報処理装置とを備えたＡＲ表示システムであって、
   前記ＡＲ表示装置は、前記撮影部が撮影して得た撮影データを前記情報処理装置に送信し、
   前記情報処理装置は、所定の装置で補充が必要な資材と交換が必要な部品のうちの少なくとも一方の品物を示す管理情報を取得し、前記ＡＲ表示装置から受信した前記撮影データの中に前記管理情報の示す品物が存在する場合は、該存在する品物の位置を特定し、該存在する品物に所定のマークの画像を重ねて合成した拡張現実空間を、前記ＡＲ表示装置に表示させるためのデータを生成して前記ＡＲ表示装置に送信し、
   前記ＡＲ表示装置は、前記データに基づいて、前記存在する品物に前記マークの画像を重ねて合成した拡張現実空間を表示し、
   前記管理情報は、前記品物が必要になる時期の緊急性を示す緊急性情報を含み、
   前記情報処理装置は、前記マークの表示形態を該マークに対応する品物の前記緊急性に応じて相違させる
   ことを特徴とするＡＲ表示システム。
4. 前記情報処理装置は、前記ＡＲ表示装置から受信した前記撮影データに対応する現実空間の範囲外に前記管理情報の示す品物が存在する場合は、該品物の存在する位置を案内する案内情報を現実空間に合成した拡張現実空間を前記ＡＲ表示装置に表示させる
   ことを特徴とする請求項１乃至３のいずれか１つに記載のＡＲ表示システム。
5. ユーザの見ている現実空間に画像を合成した拡張現実空間を表示するＡＲ表示部と前記ユーザの見ている現実空間を撮影する撮影部とを備えたＡＲ表示装置と、該ＡＲ表示装置と通信可能な情報処理装置とを備えたＡＲ表示システムであって、
   前記ＡＲ表示装置は、前記撮影部が撮影して得た撮影データを前記情報処理装置に送信し、
   前記情報処理装置は、所定の装置で補充が必要な資材と交換が必要な部品のうちの少なくとも一方の品物を示す管理情報を取得し、前記ＡＲ表示装置から受信した前記撮影データの中に前記管理情報の示す品物が存在する場合は、該存在する品物の位置を特定し、該存在する品物に所定のマークの画像を重ねて合成した拡張現実空間を、前記ＡＲ表示装置に表示させるためのデータを生成して前記ＡＲ表示装置に送信し、
   前記ＡＲ表示装置は、前記データに基づいて、前記存在する品物に前記マークの画像を重ねて合成した拡張現実空間を表示し、
   前記情報処理装置は、前記存在する品物のそれぞれに前記マークを重ねて表示した場合にサイズが所定値以下になるマークが存在する場合は、少なくともサイズが所定値以下のマークに代えて、該マークに対応する品物とその周囲の所定範囲に重なる拡張マークを現実空間に合成した拡張現実空間を前記ＡＲ表示装置に表示させる
   ことを特徴とするＡＲ表示システム。
6. ユーザの見ている現実空間に画像を合成した拡張現実空間を表示するＡＲ表示部と前記ユーザの見ている現実空間を撮影する撮影部とを備えたＡＲ表示装置と、該ＡＲ表示装置と通信可能な情報処理装置とを備えたＡＲ表示システムであって、
   前記ＡＲ表示装置は、前記撮影部が撮影して得た撮影データを前記情報処理装置に送信し、
   前記情報処理装置は、所定の装置で補充が必要な資材と交換が必要な部品のうちの少なくとも一方の品物を示す管理情報を取得し、前記ＡＲ表示装置から受信した前記撮影データの中に前記管理情報の示す品物が存在する場合は、該存在する品物の位置を特定し、該存在する品物に所定のマークの画像を重ねて合成した拡張現実空間を、前記ＡＲ表示装置に表示させるためのデータを生成して前記ＡＲ表示装置に送信し、
   前記ＡＲ表示装置は、前記データに基づいて、前記存在する品物に前記マークの画像を重ねて合成した拡張現実空間を表示し、
   前記情報処理装置は、前記ＡＲ表示装置の位置情報を取得し、前記ＡＲ表示装置のユーザが該位置情報の示す位置から前記管理情報の示す品物の保管場所を経由して前記所定の装置の設置場所へ移動するために要する時間に所定の余裕時間を加えた移動所要時間を推定し、前記管理情報の示す品物の不足に起因して前記所定の装置の稼動が停止するタイミングから少なくとも前記移動所要時間だけ手前の時点で、前記ユーザに前記品物の不足を警告する
   ことを特徴とするＡＲ表示システム。
7. ユーザの見ている現実空間に画像を合成した拡張現実空間を表示するＡＲ表示部と前記ユーザの見ている現実空間を撮影する撮影部とを備えたＡＲ表示装置と、該ＡＲ表示装置と通信可能な情報処理装置とを備えたＡＲ表示システムであって、
   前記ＡＲ表示装置は、前記撮影部が撮影して得た撮影データを前記情報処理装置に送信し、
   前記情報処理装置は、所定の装置で補充が必要な資材と交換が必要な部品のうちの少なくとも一方の品物を示す管理情報を取得し、前記ＡＲ表示装置から受信した前記撮影データの中に前記管理情報の示す品物が存在する場合は、該存在する品物の位置を特定し、該存在する品物に所定のマークの画像を重ねて合成した拡張現実空間を、前記ＡＲ表示装置に表示させるためのデータを生成して前記ＡＲ表示装置に送信し、
   前記ＡＲ表示装置は、前記データに基づいて、前記存在する品物に前記マークの画像を重ねて合成した拡張現実空間を表示し、
   前記情報処理装置は、前記ＡＲ表示装置を使用中のユーザを特定して示すユーザ情報を取得し、前記管理情報に対応する装置に前記ユーザに関連付けされたジョブが未完了の状態で存在する場合にのみ、前記マークの画像を重ねて合成した拡張現実空間を前記ＡＲ表示装置に表示させる
   ことを特徴とするＡＲ表示システム。
8. 前記情報処理装置は、
   （１）常時、
   （２）前記ＡＲ表示装置から受信した前記撮影データの中に前記所定の装置が存在するとき、
   （３）前記ＡＲ表示装置が前記品物の保管場所およびその周辺に位置するとき、
   （４）前記ＡＲ表示装置から受信した前記撮影データの中に所定の品物が存在するとき、
   （５）前記所定の装置から前記管理情報の送信要求を受けたとき、
   （６）ジョブが投入された前記所定の装置からジョブ投入の通知を受けたとき
   の中のいずれかのタイミングで前記装置と通信して前記管理情報を取得する
   ことを特徴とする請求項１乃至７のいずれか１つに記載のＡＲ表示システム。
9. 前記情報処理装置は、前記撮影データの示す画像を画像解析することで、前記管理情報の示す品物が存在するか否かの判定、および該存在する品物の位置を特定する
   ことを特徴とする請求項１乃至８のいずれか１つに記載のＡＲ表示システム。
10. ユーザの見ている現実空間に画像を合成した拡張現実空間を表示するＡＲ表示部と、
    前記ユーザの見ている現実空間を撮影する撮影部と、
    所定の装置で補充が必要な資材と交換が必要な部品のうちの少なくとも一方の品物を示す管理情報を取得する取得部と、
    前記撮影部で撮影して得た撮影データの中に前記管理情報の示す品物が存在する場合は、該存在する品物の位置を特定し、該存在する品物に所定のマークの画像を重ねて合成した拡張現実空間を前記ＡＲ表示部に表示させる制御部と、
    を備え、
    前記取得部は、複数の装置から前記管理情報を取得可能であって、前記管理情報と共に該管理情報に係る装置の識別情報を取得し、
    前記制御部は、前記存在する品物に前記マークの画像を重ねて合成した拡張現実空間に、前記存在する品物を示す前記管理情報に対応する装置の識別情報がさらに合成された拡張現実空間を前記ＡＲ表示部に表示させる
    ことを特徴とするＡＲ表示装置。
11. 前記制御部は、前記マークを装置毎に相違させると共に、一の装置に対応するマークと該装置を示す識別情報とを関連付けた前記拡張現実空間を前記ＡＲ表示部に表示させる
    ことを特徴とする請求項１０に記載のＡＲ表示装置。
12. ユーザの見ている現実空間に画像を合成した拡張現実空間を表示するＡＲ表示部と、
    前記ユーザの見ている現実空間を撮影する撮影部と、
    所定の装置で補充が必要な資材と交換が必要な部品のうちの少なくとも一方の品物を示す管理情報を取得する取得部と、
    前記撮影部で撮影して得た撮影データの中に前記管理情報の示す品物が存在する場合は、該存在する品物の位置を特定し、該存在する品物に所定のマークの画像を重ねて合成した拡張現実空間を前記ＡＲ表示部に表示させる制御部と、
    を備え、
    前記管理情報は、前記品物が必要になる時期の緊急性を示す緊急性情報を含み、
    前記制御部は、前記マークの表示形態を該マークに対応する品物の前記緊急性に応じて相違させる
    ことを特徴とするＡＲ表示装置。
13. 前記制御部は、前記撮影データに対応する現実空間の範囲外に前記管理情報の示す品物が存在する場合は、該品物の存在する位置を案内する案内情報を現実空間に合成した拡張現実空間を前記ＡＲ表示部に表示させる
    ことを特徴とする請求項１０乃至１２のいずれか１つに記載のＡＲ表示装置。
14. ユーザの見ている現実空間に画像を合成した拡張現実空間を表示するＡＲ表示部と、
    前記ユーザの見ている現実空間を撮影する撮影部と、
    所定の装置で補充が必要な資材と交換が必要な部品のうちの少なくとも一方の品物を示す管理情報を取得する取得部と、
    前記撮影部で撮影して得た撮影データの中に前記管理情報の示す品物が存在する場合は、該存在する品物の位置を特定し、該存在する品物に所定のマークの画像を重ねて合成した拡張現実空間を前記ＡＲ表示部に表示させる制御部と、
    を備え、
    前記制御部は、前記存在する品物のそれぞれに前記マークを重ねて表示した場合にサイズが所定値以下になるマークが存在する場合は、少なくともサイズが所定値以下のマークに代えて、該マークに対応する品物とその周囲の所定範囲に重なる拡張マークを表示する
    ことを特徴とするＡＲ表示装置。
15. ユーザの見ている現実空間に画像を合成した拡張現実空間を表示するＡＲ表示部と、
    前記ユーザの見ている現実空間を撮影する撮影部と、
    所定の装置で補充が必要な資材と交換が必要な部品のうちの少なくとも一方の品物を示す管理情報を取得する取得部と、
    前記撮影部で撮影して得た撮影データの中に前記管理情報の示す品物が存在する場合は、該存在する品物の位置を特定し、該存在する品物に所定のマークの画像を重ねて合成した拡張現実空間を前記ＡＲ表示部に表示させる制御部と、
    を備え、
    自装置の位置を検出する位置検出部を備え、
    前記制御部は、自装置のユーザが前記位置検出部によって検出された自装置の位置から前記管理情報の示す品物の保管場所を経由して前記所定の装置の設置場所へ移動するために要する時間に所定の余裕時間を加えた移動所要時間を推定し、前記管理情報の示す品物の不足に起因して前記所定の装置の稼動が停止するタイミングから少なくとも前記移動所要時間だけ手前の時点で、自装置のユーザに前記品物の不足を警告する
    ことを特徴とするＡＲ表示装置。
16. ユーザの見ている現実空間に画像を合成した拡張現実空間を表示するＡＲ表示部と、
    前記ユーザの見ている現実空間を撮影する撮影部と、
    所定の装置で補充が必要な資材と交換が必要な部品のうちの少なくとも一方の品物を示す管理情報を取得する取得部と、
    前記撮影部で撮影して得た撮影データの中に前記管理情報の示す品物が存在する場合は、該存在する品物の位置を特定し、該存在する品物に所定のマークの画像を重ねて合成した拡張現実空間を前記ＡＲ表示部に表示させる制御部と、
    を備え、
    前記制御部は、自装置を使用中のユーザを特定し、前記管理情報に対応する装置に前記ユーザに関連付けされたジョブが未完了の状態で存在する場合にのみ、前記マークの画像を重ねて合成した拡張現実空間を前記ＡＲ表示部に表示させる
    ことを特徴とするＡＲ表示装置。
17. 前記取得部は、
    （１）常時、
    （２）前記撮影データの中に前記所定の装置が存在するとき、
    （３）自装置が前記品物の保管場所およびその周辺に位置するとき、
    （４）前記撮影データの中に所定の品物が存在するとき、
    （５）前記所定の装置から前記管理情報の送信要求を受けたとき、
    （６）ジョブが投入された前記所定の装置からジョブ投入の通知を受けたとき
    の中のいずれかのタイミングで前記装置と通信して前記管理情報を取得する
    ことを特徴とする請求項１０乃至１６のいずれか１つに記載のＡＲ表示装置。
18. 前記制御部は、前記撮影データの示す画像を画像解析することで、前記管理情報の示す品物が存在するか否かの判定、および該存在する品物の位置を特定する
    ことを特徴とする請求項１０乃至１７のいずれか１つに記載のＡＲ表示装置。
19. 請求項１乃至９のいずれか１つに記載のＡＲ表示システムにおける情報処理装置。
20. 情報処理装置を、請求項１９に記載の情報処理装置として動作させるためのプログラム。