JP6710555B2 - 画像表示システム、情報処理装置、画像表示方法及びコンピュータプログラム - Google Patents
画像表示システム、情報処理装置、画像表示方法及びコンピュータプログラム Download PDFInfo
- Publication number
- JP6710555B2 JP6710555B2 JP2016054502A JP2016054502A JP6710555B2 JP 6710555 B2 JP6710555 B2 JP 6710555B2 JP 2016054502 A JP2016054502 A JP 2016054502A JP 2016054502 A JP2016054502 A JP 2016054502A JP 6710555 B2 JP6710555 B2 JP 6710555B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- identification information
- display
- head mount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Description
(5)本発明の一態様は、情報処理装置と、表示部と撮像部と通信部と制御部とを備えるヘッドマウント装置と、装置識別情報に関連付けて前記装置識別情報で識別される対象装置に関連付けられた画像を記憶する記憶装置と、を備え、前記通信部は、前記撮像部が撮像した画像を前記情報処理装置へ送信し、前記情報処理装置から画像を受信し、前記表示部は、前記通信部が前記情報処理装置から受信した画像を表示し、前記制御部は、前記表示部と前記撮像部とを制御し、前記情報処理装置は、前記ヘッドマウント装置の通信部と通信を行う通信部と、前記撮像部が撮像した画像に基づいて対象装置の装置識別情報を取得する装置識別情報取得部と、前記装置識別情報取得部が取得した装置識別情報に関連付けられている画像を前記記憶装置から取得し、取得した画像を前記情報処理装置の通信部によって前記ヘッドマウント装置の通信部へ送信する画像提供部と、を備える画像表示システムであって、前記情報処理装置の通信部によって受信した前記撮像部による撮像画像を表示する表示装置をさらに備え、前記情報処理装置は、画像の表示終了の承認の入力を受け付ける承認入力部をさらに備え、前記画像提供部は、前記表示部に表示させる画像を、前記装置識別情報取得部が取得した前記装置識別情報で識別される対象装置に適用される次の画像に更新することの所要の条件に、前記承認入力部によって画像の表示終了の承認の入力を受け付けることを含め、前記承認入力部は、前記装置識別情報取得部が取得した前記装置識別情報で識別される対象装置についての難易度情報と、前記ヘッドマウント装置を装着する作業者の識別情報に関連付けられている作業者レベル情報とに基づいて、承認者のレベルと識別情報とが関連付けられている承認者リストから前記画像の表示終了の承認の入力を行う承認者の識別情報を選択し、選択した承認者の識別情報によって前記画像の表示終了の承認の入力を受け付ける、画像表示システムである。
(6)本発明の一態様は、情報処理装置と、表示部と撮像部と通信部と制御部とを備えるヘッドマウント装置と、前記撮像部が撮像した画像を前記情報処理装置へ送信し、前記情報処理装置から受信した画像を前記ヘッドマウント装置へ出力する通信装置と、装置識別情報に関連付けて前記装置識別情報で識別される対象装置に関連付けられた画像を記憶する記憶装置と、を備え、前記通信部は、前記撮像部が撮像した画像を前記通信装置へ送信し、前記通信装置から画像を受信し、前記表示部は、前記通信部が前記通信装置から受信した画像を表示し、前記制御部は、前記表示部と前記撮像部とを制御し、前記情報処理装置は、前記通信装置と通信を行う通信部と、前記撮像部が撮像した画像に基づいて対象装置の装置識別情報を取得する装置識別情報取得部と、前記装置識別情報取得部が取得した装置識別情報に関連付けられている画像を前記記憶装置から取得し、取得した画像を前記情報処理装置の通信部によって前記通信装置へ送信する画像提供部と、を備える画像表示システムであって、前記情報処理装置の通信部によって受信した前記撮像部による撮像画像を表示する表示装置をさらに備え、前記情報処理装置は、画像の表示終了の承認の入力を受け付ける承認入力部をさらに備え、前記画像提供部は、前記表示部に表示させる画像を、前記装置識別情報取得部が取得した前記装置識別情報で識別される対象装置に適用される次の画像に更新することの所要の条件に、前記承認入力部によって画像の表示終了の承認の入力を受け付けることを含め、前記承認入力部は、前記ヘッドマウント装置を装着する作業者の識別情報に応じて、画像の表示終了の承認の入力を受け付ける承認入力画面を前記表示装置に表示させるか否かを判断し、前記画像提供部は、前記承認入力画面が前記表示装置に表示される場合には、前記所要の条件に、前記承認入力画面によって画像の表示終了の承認が入力されることを含め、
前記承認入力画面が前記表示装置に表示されない場合には、前記所要の条件に、前記承認入力画面によって画像の表示終了の承認が入力されることを含めない、画像表示システムである。
(7)本発明の一態様は、情報処理装置と、表示部と撮像部と通信部と制御部とを備えるヘッドマウント装置と、前記撮像部が撮像した画像を前記情報処理装置へ送信し、前記情報処理装置から受信した画像を前記ヘッドマウント装置へ出力する通信装置と、装置識別情報に関連付けて前記装置識別情報で識別される対象装置に関連付けられた画像を記憶する記憶装置と、を備え、前記通信部は、前記撮像部が撮像した画像を前記通信装置へ送信し、前記通信装置から画像を受信し、前記表示部は、前記通信部が前記通信装置から受信した画像を表示し、前記制御部は、前記表示部と前記撮像部とを制御し、前記情報処理装置は、前記通信装置と通信を行う通信部と、前記撮像部が撮像した画像に基づいて対象装置の装置識別情報を取得する装置識別情報取得部と、前記装置識別情報取得部が取得した装置識別情報に関連付けられている画像を前記記憶装置から取得し、取得した画像を前記情報処理装置の通信部によって前記通信装置へ送信する画像提供部と、を備える画像表示システムであって、前記情報処理装置の通信部によって受信した前記撮像部による撮像画像を表示する表示装置をさらに備え、前記情報処理装置は、画像の表示終了の承認の入力を受け付ける承認入力部をさらに備え、前記画像提供部は、前記表示部に表示させる画像を、前記装置識別情報取得部が取得した前記装置識別情報で識別される対象装置に適用される次の画像に更新することの所要の条件に、前記承認入力部によって画像の表示終了の承認の入力を受け付けることを含め、前記承認入力部は、前記装置識別情報取得部が取得した前記装置識別情報で識別される対象装置についての難易度情報と、前記ヘッドマウント装置を装着する作業者の識別情報に関連付けられている作業者レベル情報とに基づいて、承認者のレベルと識別情報とが関連付けられている承認者リストから前記画像の表示終了の承認の入力を行う承認者の識別情報を選択し、選択した承認者の識別情報によって前記画像の表示終了の承認の入力を受け付ける、画像表示システムである。
(9)本発明の一態様は、上記(1)から(7)のいずれかの画像表示システムにおいて、前記ヘッドマウント装置を装着する作業者の視線を検出する視線検出部をさらに備え、前記記憶装置は、作業者の視線によって特定される情報を画像に関連付けて記憶し、前記制御部は、前記視線検出部が検出した視線を示す視線情報と前記表示部に表示されている画像を識別する画像識別情報とを前記情報処理装置へ提供し、前記情報処理装置は、前記視線情報と、前記画像識別情報で識別される画像に関連付けて前記記憶装置に記憶されている情報とに基づいて、前記画像識別情報で識別される画像の表示終了を判断する判断部をさらに備え、前記画像提供部は、前記装置識別情報取得部が取得した前記装置識別情報で識別される対象装置に適用される次の画像を前記記憶装置から取得し、取得した画像を前記ヘッドマウント装置へ提供する、画像表示システムである。
図1は、本実施形態に係る画像表示システム1の構成例を示す図である。図1において、画像表示システム1は、ヘッドマウント装置2と、情報処理装置4と、記憶装置6とを備える。ヘッドマウント装置2と情報処理装置4とは、通信回線8を介して、データを送受する。通信回線8として、例えば携帯電話ネットワークやインターネット等の通信ネットワークを適用できる。
測位部27は、ヘッドマウント装置2の位置を測定し、測定結果の測位値を制御部21へ出力する。測位部27として、例えば、GPS(Global Positioning System)を利用してもよく、又は、準天頂衛星(quasi-zenith satellites: QZS)などの全地球航法衛星システム(Global Navigation Satellite System(s): GNSS)を利用してもよい。
図6を参照して、本実施形態に係るヘッドマウント装置2の動作を説明する。図6は、本実施形態に係る画像表示方法の一例を示すフローチャートである。図6に示される処理は、例えば、ヘッドマウント装置2の電源がオンになると開始される。
ヘッドマウント装置2の動作開始の判断方法の例1では、センサー部26は加速度センサーを備える。センサー部26は、加速度センサーが検出した結果の加速度検出信号を制御部21へ出力する。制御部21は、センサー部26から出力された加速度検出信号を使用して、ヘッドマウント装置2の移動の変化を測定する。制御部21は、ヘッドマウント装置2の移動の変化の測定の結果に基づいて、ヘッドマウント装置2が所定時間継続して静止していると判断した場合に、ヘッドマウント装置2の動作を開始すると判断する。また、制御部21は、ヘッドマウント装置2の動作を開始すると判断した後に、ヘッドマウント装置2の移動の変化の測定の結果に基づいて、ヘッドマウント装置2が所定時間継続して移動していると判断した場合に、ヘッドマウント装置2の動作の一時停止を判断してもよい。制御部21は、ヘッドマウント装置2の動作を一時停止すると判断した後に、ヘッドマウント装置2の移動の変化の測定の結果に基づいて、ヘッドマウント装置2が所定時間継続して静止していると判断した場合に、ヘッドマウント装置2の動作の再開を判断する。
ヘッドマウント装置2の動作開始の判断方法の例2では、センサー部26は加速度センサーと地磁気センサーとを備える。センサー部26は、加速度センサーが検出した結果の加速度検出信号を制御部21へ出力する。センサー部26は、地磁気センサーが検出した結果の地磁気検出信号を制御部21へ出力する。制御部21は、センサー部26から出力された加速度検出信号を使用して、ヘッドマウント装置2の移動の変化を測定する。制御部21は、ヘッドマウント装置2の移動の変化の測定の結果に基づいて、ヘッドマウント装置2が継続して静止している時間(静止時間)を測定する。制御部21は、センサー部26から出力された地磁気検出信号を使用して、ヘッドマウント装置2の傾きを測定する。制御部21は、該測定の結果である静止時間とヘッドマウント装置2の傾きとに基づいて、ヘッドマウント装置の動作の開始と一時停止と再開とを判断する。
ヘッドマウント装置2の動作開始の判断方法の例3では、センサー部26は、ヘッドマウント装置2としての眼鏡型のヘッドマウントディスプレイのつる(テンプル)が眼鏡をかけることができるように開かれた開状態になったことを検出するつる開状態センサーを備える。センサー部26は、つる開状態センサーが検出した結果のつる開状態検出信号を制御部21へ出力する。制御部21は、センサー部26から出力されたつる開状態検出信号に基づいて、つるが開状態になったことを判断する。制御部21は、つるが開状態になったと判断した場合に、ヘッドマウント装置2の動作を開始すると判断する。
ヘッドマウント装置2の動作開始の判断方法の例4では、情報処理装置4からヘッドマウント装置2の動作を制御する。情報処理装置4は、承認者Yが行うヘッドマウント装置2を制御する操作に応じて、動作制御情報をヘッドマウント装置2へ送信する。ヘッドマウント装置2において、通信部24は、情報処理装置4から受信した動作制御情報を制御部21へ出力する。制御部21は、通信部24から出力された動作制御情報に従って、ヘッドマウント装置の動作の開始と一時停止と再開とを判断する。
ヘッドマウント装置2の動作開始の判断方法の例5では、測位部27は、ヘッドマウント装置2の位置を測定し、測定結果の測位値を制御部21へ出力する。制御部21は、測位部27から出力された測位値と、予め設定された作業位置情報とに基づいて、ヘッドマウント装置の動作の開始を判断する。例えば、作業位置情報は、作業対象の拠点又は装置から一定の範囲内の作業区域を示す情報である。制御部21は、測位値と作業位置情報が示す作業区域とに基づいて、ヘッドマウント装置2が作業区域内に存在すると判断した場合に、ヘッドマウント装置2の動作を開始すると判断する。又は、制御部21は、測位値と作業位置情報が示す作業区域とに基づいて、ヘッドマウント装置2が作業区域内に移動したと判断した場合に、ヘッドマウント装置2の動作を開始すると判断する。
ステップS101の判断の結果、ヘッドマウント装置2の動作を開始すると判断した場合にはステップS102へ進み、そうではない場合にはステップS101の処理を継続する。
図7及び図8を参照して、本実施形態に係る情報処理装置4の動作を説明する。図7及び図8は、本実施形態に係る画像表示方法の一例を示すフローチャートである。図7及び図8に示される処理は、例えば、情報処理装置4においてプログラム47が起動されると開始される。
対象装置10には、対象装置10の装置IDを含む情報を表すバーコードが貼付されてある。ヘッドマウント装置2を頭部に装着している作業者Xが対象装置10に貼付されているバーコードの方を見ることによって該バーコードが撮像部23によって撮像され、該撮像画像が通信部24によって情報処理装置4へ送信される。装置識別情報取得部401は、該撮像画像に写っているバーコードに基づいて装置IDを取得する。
なお、対象装置10には、対象装置10の装置IDが文字列で表示されていてもよい。この場合、ヘッドマウント装置2を頭部に装着している作業者Xが対象装置10に表示されている装置IDの文字列の方を見ることによって該装置IDの文字列が撮像部23によって撮像され、該撮像画像が通信部24によって情報処理装置4へ送信される。装置識別情報取得部401は、該撮像画像に写っている装置IDの文字列に基づいて装置IDを取得する。
表示制御部405は、通信部46によってヘッドマウント装置2から受信した撮像画像を表示部45に表示させる。これにより、承認者Yは、情報処理装置4の表示部45に表示された撮像画像によって、作業者Xが作業を実施しようとしている対象装置10を確認することができる。また、表示制御部405は、装置識別情報取得部401が取得した装置ID又は該装置IDに対応する対象装置10の装置名等の装置情報を表示部45に表示させてもよい。これにより、承認者Yは、情報処理装置4の表示部45に表示された装置ID又は装置情報によって、作業者Xが作業を実施しようとしている対象装置10を確認することができる。
画像取得方法の例1では、記憶装置6に格納されている図5に例示される画像情報から、装置IDに関連付けられている画像を取得する。画像提供部402は、記憶装置6に格納されている画像情報に含まれる画像関連情報であって装置識別情報取得部401が取得した装置IDに関連付けられている画像関連情報から、画像を取得する。画像提供部402は、該画像関連情報に含まれる画像のうち、全ての画像を取得してもよく、又は、一部の画像を取得してもよい。例えば、所定の順番で一枚ずつ画像を取得してもよい。具体例として、複数の作業手順から構成される作業について、各作業手順を示す画像を1枚ずつ取得してヘッドマウント装置2へ送信することが挙げられる。
画像取得方法の例2では、記憶装置6に格納されている図5に例示される画像情報から、装置IDに関連付けられている画像を取得する。但し、ヘッドマウント装置2のヘッドマウント装置IDに基づいて、装置識別情報取得部401が取得した装置IDに関連付けられている画像を選択するか否かを判定し、該画像を選択すると判定した場合には該画像をヘッドマウント装置2へ送信し、該画像を選択しないと判定した場合には該画像をヘッドマウント装置2へ送信しない。
画像取得方法の例3では、記憶装置6に格納されている図5に例示される画像情報から、装置IDに関連付けられている画像を取得する。但し、ヘッドマウント装置2のヘッドマウント装置ID又はユーザ識別情報(ユーザID)と、時刻情報又はヘッドマウント装置2の位置情報とに基づいて、装置識別情報取得部401が取得した装置IDに関連付けられている画像を選択するか否かを判定し、該画像を選択すると判定した場合には該画像をヘッドマウント装置2へ送信し、該画像を選択しないと判定した場合には該画像をヘッドマウント装置2へ送信しない。
以上が画像取得方法の例の説明である。説明を図7に戻す。
記憶装置6は、作業者の視線によって特定される情報を画像に関連付けて記憶している。記憶装置6に格納されている図5に例示される画像情報において、付加情報は、作業者の視線によって特定される情報を有する。作業者の視線によって特定される情報のことを視線特定情報と称する場合がある。
ヘッドマウント装置2において、収音部30は、ヘッドマウント装置2を装着する作業者Xの音声を収音する。制御部21は、収音部30が収音した音声に基づいて表示部22に表示されている画像の表示終了を判断した場合に、情報処理装置4へ画像の表示終了を通知する。情報処理装置4において、画像提供部402は、ヘッドマウント装置2から画像の表示終了を通知されると、装置識別情報取得部401が取得した装置IDで識別される対象装置に適用される次の画像を記憶装置6から取得し、取得した画像をヘッドマウント装置2へ提供する。
承認入力部404は、表示制御部405によって、ヘッドマウント装置2の表示部22に表示されている画像の表示終了を承認するか否かの入力操作を行う表示終了承認入力画面を表示部45に表示させる。この時、情報処理装置4の表示部45には表示制御部405によって撮像画像が表示されている。承認者Yは、該表示部45に表示されている撮像画像等を確認し、表示終了承認入力画面に対する入力操作を行う。承認者Yが、表示終了承認入力画面に対して承認する入力操作を行った場合には、ヘッドマウント装置2の表示部22に表示されている画像の表示終了の承認の入力を受け付け済みの状態になる。
画像の表示終了の承認の入力受付方法の例2では、上記の画像の表示終了の承認の入力受付方法の例1において、承認入力部404は、作業者に応じて表示終了承認入力画面を表示部45に表示させるか否かを判断する。この表示終了承認入力画面の表示の要否の判断方法の例を以下に説明する。
表示終了承認入力画面の表示の要否の判断方法の例1では、作業者毎に、表示終了承認入力画面の表示の要否を予め設定しておく。具体的には、作業者のユーザIDと、表示終了承認入力画面の表示の要否を示す表示終了承認入力画面要否情報とを関連付けた作業者リストを、予め記憶装置6に格納しておく。情報処理装置4には、ヘッドマウント装置2を頭部に装着している作業者XのユーザID(装着ユーザID)が入力される。例えば、承認者Yが、装着ユーザIDを情報処理装置4に入力する。承認入力部404は、記憶装置6に格納されている作業者リストから、該装着ユーザIDに関連付けられている表示終了承認入力画面要否情報を取得する。承認入力部404は、該作業者リストから取得した表示終了承認入力画面要否情報が「表示要」を示す場合には、表示制御部405によって表示終了承認入力画面を表示部45に表示させる。
表示終了承認入力画面の表示の要否の判断方法の例2では、作業者のレベルに応じて、表示終了承認入力画面の表示の要否を判断する。図11は、本実施形態に係る記憶装置6に格納される作業者レベル情報の構成例を示す図である。図11において、作業者レベル情報は、作業者毎に、作業者のユーザIDと作業者レベルとの組を有する。作業者レベルは、作業者の熟練度を表す情報である。図11の例では、作業者レベルは、「高」と「中」と「低」との3段階がある。作業者レベル「高」は、3段階のうち熟練度が最も高い段階を表す。作業者レベル「低」は、3段階のうち熟練度が最も低い段階を表す。作業者レベル「中」は、作業者レベル「高」又は「低」のいずれにも属さない中くらいの熟練度の段階を表す。
画像の表示終了の承認の入力受付方法の例3では、画像の表示終了の承認の入力を行う承認者の選択を行う。この画像の表示終了の承認の入力受付方法の例3は、上記の画像の表示終了の承認の入力受付方法の例1又は例2に適用できる。記憶装置6は、上記した図11に例示される作業者レベル情報と、図12に例示される装置難易度情報と、図13に例示される承認者リストと、を格納する。
画像の表示終了の承認の入力を受け付ける承認者IDの選択方法の例を説明する。作業者レベルと難易度レベルの組合せ毎に承認者レベルを関連付けたレベル対応表を、予め記憶装置6に格納しておく。レベル対応表における関連付けの一例として、作業者レベル「低」と難易度レベル「難」の組合せに対して承認者レベル「高」を関連付ける。該レベル対応表によって、作業者レベルと難易度レベルの組合せに対応する承認者レベルが示される。
以上が承認者IDの選択方法の例の説明である。
なお、情報処理装置4が特定の画像をヘッドマウント装置2へ送信した際には、その旨を情報処理装置4の表示部45に表示又は承認者Yへ通知し、作業者Xが装着しているヘッドマウント装置2に表示されている画像と同一の画像を情報処理装置4の表示部45に表示させてもよい。
図17は、本実施形態に係る画像表示システム1aの構成例を示す図である。図17において図1の各部に対応する部分には同一の符号を付け、その説明を省略する。図17に示す画像表示システム1aでは、図1に示す画像表示システム1に対して通信装置12を設ける。これ以外は図1に示す画像表示システム1と同じである。但し、ヘッドマウント装置2の通信部24は、通信装置12と通信を行う。通信装置12は、通信回線8を介して、情報処理装置4とデータを送受する。ヘッドマウント装置2は、通信装置12を介して、情報処理装置4とデータを送受する。
図18は、本実施形態に係る画像表示システム1bの構成例を示す図である。図19は、本実施形態に係る情報処理装置4bの機能構成例を示す図である。図18において図1の各部に対応する部分には同一の符号を付け、その説明を省略する。また、図19において図4の各部に対応する部分には同一の符号を付け、その説明を省略する。図18に示す画像表示システム1bでは、図1に示す画像表示システム1に対して通知情報記憶装置14を設ける。また、図18に示す画像表示システム1bでは、図1に示す画像表示システム1の情報処理装置4の代わりに情報処理装置4bを備える。これら以外は図1に示す画像表示システム1と同じである。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリ等の書き込み可能な不揮発性メモリ、DVD(Digital Versatile Disc)等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
Claims (12)
- 情報処理装置と、
表示部と撮像部と通信部と制御部とを備えるヘッドマウント装置と、
装置識別情報に関連付けて前記装置識別情報で識別される対象装置に関連付けられた画像を記憶する記憶装置と、を備え、
前記通信部は、前記撮像部が撮像した画像を前記情報処理装置へ送信し、前記情報処理装置から画像を受信し、
前記表示部は、前記通信部が前記情報処理装置から受信した画像を表示し、
前記制御部は、前記表示部と前記撮像部とを制御し、
前記情報処理装置は、
前記ヘッドマウント装置の通信部と通信を行う通信部と、
前記撮像部が撮像した画像に基づいて対象装置の装置識別情報を取得する装置識別情報取得部と、
前記装置識別情報取得部が取得した装置識別情報に関連付けられている画像を前記記憶装置から取得し、取得した画像を前記情報処理装置の通信部によって前記ヘッドマウント装置の通信部へ送信する画像提供部と、を備える画像表示システムであって、
前記記憶装置は、前記ヘッドマウント装置の識別情報又は予定ユーザ識別情報と、予定時刻情報と、装置識別情報と、当該装置識別情報で識別される対象装置に関連付けられた画像の画像識別情報とが関連付けられた画像選択情報を記憶し、
前記画像提供部は、前記ヘッドマウント装置の識別情報又は装着ユーザ識別情報と、時刻情報と、前記画像選択情報とに基づいて、前記装置識別情報取得部が取得した装置識別情報に関連付けられている画像を選択するか否かを判定し、該画像を選択すると判定した場合には該画像を前記ヘッドマウント装置へ送信し、該画像を選択しないと判定した場合には該画像を前記ヘッドマウント装置へ送信しない、画像表示システムであり、
前記画像提供部は、前記判定の結果、前記装置識別情報取得部が取得した装置識別情報に関連付けられている画像を選択しない場合には、作業者に対して作業内容を再確認するように警告する内容の警告画像を、前記情報処理装置の通信部によって前記ヘッドマウント装置の通信部へ送信する、
画像表示システム。 - 情報処理装置と、
表示部と撮像部と通信部と制御部とを備えるヘッドマウント装置と、
前記撮像部が撮像した画像を前記情報処理装置へ送信し、前記情報処理装置から受信した画像を前記ヘッドマウント装置へ出力する通信装置と、
装置識別情報に関連付けて前記装置識別情報で識別される対象装置に関連付けられた画像を記憶する記憶装置と、を備え、
前記通信部は、前記撮像部が撮像した画像を前記通信装置へ送信し、前記通信装置から画像を受信し、
前記表示部は、前記通信部が前記通信装置から受信した画像を表示し、
前記制御部は、前記表示部と前記撮像部とを制御し、
前記情報処理装置は、
前記通信装置と通信を行う通信部と、
前記撮像部が撮像した画像に基づいて対象装置の装置識別情報を取得する装置識別情報取得部と、
前記装置識別情報取得部が取得した装置識別情報に関連付けられている画像を前記記憶装置から取得し、取得した画像を前記情報処理装置の通信部によって前記通信装置へ送信する画像提供部と、を備える画像表示システムであって、
前記ヘッドマウント装置の識別情報又は予定ユーザ識別情報と、予定時刻情報と、装置識別情報と、当該装置識別情報で識別される対象装置に関連付けられた画像の画像識別情報とが関連付けられた画像選択情報を備え、
前記画像提供部は、前記ヘッドマウント装置の識別情報又は装着ユーザ識別情報と、時刻情報と、前記画像選択情報とに基づいて、前記装置識別情報取得部が取得した装置識別情報に関連付けられている画像を選択するか否かを判定し、該画像を選択すると判定した場合には該画像を前記通信装置へ送信し、該画像を選択しないと判定した場合には該画像を前記通信装置へ送信しない、画像表示システムであり、
前記画像提供部は、前記判定の結果、前記装置識別情報取得部が取得した装置識別情報に関連付けられている画像を選択しない場合には、作業者に対して作業内容を再確認するように警告する内容の警告画像を、前記情報処理装置の通信部によって前記通信装置へ送信する、
画像表示システム。 - 前記画像選択情報は、作業計画に基づいた情報であり、
前記対象装置に関連付けられた画像は、前記作業計画に関連付いた画像である、
請求項1又は2のいずれか1項に記載の画像表示システム。 - 情報処理装置と、
表示部と撮像部と通信部と制御部とを備えるヘッドマウント装置と、
装置識別情報に関連付けて前記装置識別情報で識別される対象装置に関連付けられた画像を記憶する記憶装置と、を備え、
前記通信部は、前記撮像部が撮像した画像を前記情報処理装置へ送信し、前記情報処理装置から画像を受信し、
前記表示部は、前記通信部が前記情報処理装置から受信した画像を表示し、
前記制御部は、前記表示部と前記撮像部とを制御し、
前記情報処理装置は、
前記ヘッドマウント装置の通信部と通信を行う通信部と、
前記撮像部が撮像した画像に基づいて対象装置の装置識別情報を取得する装置識別情報取得部と、
前記装置識別情報取得部が取得した装置識別情報に関連付けられている画像を前記記憶装置から取得し、取得した画像を前記情報処理装置の通信部によって前記ヘッドマウント装置の通信部へ送信する画像提供部と、を備える画像表示システムであって、
前記情報処理装置の通信部によって受信した前記撮像部による撮像画像を表示する表示装置をさらに備え、
前記情報処理装置は、画像の表示終了の承認の入力を受け付ける承認入力部をさらに備え、
前記画像提供部は、前記表示部に表示させる画像を、前記装置識別情報取得部が取得した前記装置識別情報で識別される対象装置に適用される次の画像に更新することの所要の条件に、前記承認入力部によって画像の表示終了の承認の入力を受け付けることを含め、
前記承認入力部は、前記ヘッドマウント装置を装着する作業者の識別情報に応じて、画像の表示終了の承認の入力を受け付ける承認入力画面を前記表示装置に表示させるか否かを判断し、
前記画像提供部は、
前記承認入力画面が前記表示装置に表示される場合には、前記所要の条件に、前記承認入力画面によって画像の表示終了の承認が入力されることを含め、
前記承認入力画面が前記表示装置に表示されない場合には、前記所要の条件に、前記承認入力画面によって画像の表示終了の承認が入力されることを含めない、
画像表示システム。 - 情報処理装置と、
表示部と撮像部と通信部と制御部とを備えるヘッドマウント装置と、
装置識別情報に関連付けて前記装置識別情報で識別される対象装置に関連付けられた画像を記憶する記憶装置と、を備え、
前記通信部は、前記撮像部が撮像した画像を前記情報処理装置へ送信し、前記情報処理装置から画像を受信し、
前記表示部は、前記通信部が前記情報処理装置から受信した画像を表示し、
前記制御部は、前記表示部と前記撮像部とを制御し、
前記情報処理装置は、
前記ヘッドマウント装置の通信部と通信を行う通信部と、
前記撮像部が撮像した画像に基づいて対象装置の装置識別情報を取得する装置識別情報取得部と、
前記装置識別情報取得部が取得した装置識別情報に関連付けられている画像を前記記憶装置から取得し、取得した画像を前記情報処理装置の通信部によって前記ヘッドマウント装置の通信部へ送信する画像提供部と、を備える画像表示システムであって、
前記情報処理装置の通信部によって受信した前記撮像部による撮像画像を表示する表示装置をさらに備え、
前記情報処理装置は、画像の表示終了の承認の入力を受け付ける承認入力部をさらに備え、
前記画像提供部は、前記表示部に表示させる画像を、前記装置識別情報取得部が取得した前記装置識別情報で識別される対象装置に適用される次の画像に更新することの所要の条件に、前記承認入力部によって画像の表示終了の承認の入力を受け付けることを含め、
前記承認入力部は、前記装置識別情報取得部が取得した前記装置識別情報で識別される対象装置についての難易度情報と、前記ヘッドマウント装置を装着する作業者の識別情報に関連付けられている作業者レベル情報とに基づいて、承認者のレベルと識別情報とが関連付けられている承認者リストから前記画像の表示終了の承認の入力を行う承認者の識別情報を選択し、選択した承認者の識別情報によって前記画像の表示終了の承認の入力を受け付ける、
画像表示システム。 - 情報処理装置と、
表示部と撮像部と通信部と制御部とを備えるヘッドマウント装置と、
前記撮像部が撮像した画像を前記情報処理装置へ送信し、前記情報処理装置から受信した画像を前記ヘッドマウント装置へ出力する通信装置と、
装置識別情報に関連付けて前記装置識別情報で識別される対象装置に関連付けられた画像を記憶する記憶装置と、を備え、
前記通信部は、前記撮像部が撮像した画像を前記通信装置へ送信し、前記通信装置から画像を受信し、
前記表示部は、前記通信部が前記通信装置から受信した画像を表示し、
前記制御部は、前記表示部と前記撮像部とを制御し、
前記情報処理装置は、
前記通信装置と通信を行う通信部と、
前記撮像部が撮像した画像に基づいて対象装置の装置識別情報を取得する装置識別情報取得部と、
前記装置識別情報取得部が取得した装置識別情報に関連付けられている画像を前記記憶装置から取得し、取得した画像を前記情報処理装置の通信部によって前記通信装置へ送信する画像提供部と、を備える画像表示システムであって、
前記情報処理装置の通信部によって受信した前記撮像部による撮像画像を表示する表示装置をさらに備え、
前記情報処理装置は、画像の表示終了の承認の入力を受け付ける承認入力部をさらに備え、
前記画像提供部は、前記表示部に表示させる画像を、前記装置識別情報取得部が取得した前記装置識別情報で識別される対象装置に適用される次の画像に更新することの所要の条件に、前記承認入力部によって画像の表示終了の承認の入力を受け付けることを含め、
前記承認入力部は、前記ヘッドマウント装置を装着する作業者の識別情報に応じて、画像の表示終了の承認の入力を受け付ける承認入力画面を前記表示装置に表示させるか否かを判断し、
前記画像提供部は、
前記承認入力画面が前記表示装置に表示される場合には、前記所要の条件に、前記承認入力画面によって画像の表示終了の承認が入力されることを含め、
前記承認入力画面が前記表示装置に表示されない場合には、前記所要の条件に、前記承認入力画面によって画像の表示終了の承認が入力されることを含めない、
画像表示システム。 - 情報処理装置と、
表示部と撮像部と通信部と制御部とを備えるヘッドマウント装置と、
前記撮像部が撮像した画像を前記情報処理装置へ送信し、前記情報処理装置から受信した画像を前記ヘッドマウント装置へ出力する通信装置と、
装置識別情報に関連付けて前記装置識別情報で識別される対象装置に関連付けられた画像を記憶する記憶装置と、を備え、
前記通信部は、前記撮像部が撮像した画像を前記通信装置へ送信し、前記通信装置から画像を受信し、
前記表示部は、前記通信部が前記通信装置から受信した画像を表示し、
前記制御部は、前記表示部と前記撮像部とを制御し、
前記情報処理装置は、
前記通信装置と通信を行う通信部と、
前記撮像部が撮像した画像に基づいて対象装置の装置識別情報を取得する装置識別情報取得部と、
前記装置識別情報取得部が取得した装置識別情報に関連付けられている画像を前記記憶装置から取得し、取得した画像を前記情報処理装置の通信部によって前記通信装置へ送信する画像提供部と、を備える画像表示システムであって、
前記情報処理装置の通信部によって受信した前記撮像部による撮像画像を表示する表示装置をさらに備え、
前記情報処理装置は、画像の表示終了の承認の入力を受け付ける承認入力部をさらに備え、
前記画像提供部は、前記表示部に表示させる画像を、前記装置識別情報取得部が取得した前記装置識別情報で識別される対象装置に適用される次の画像に更新することの所要の条件に、前記承認入力部によって画像の表示終了の承認の入力を受け付けることを含め、
前記承認入力部は、前記装置識別情報取得部が取得した前記装置識別情報で識別される対象装置についての難易度情報と、前記ヘッドマウント装置を装着する作業者の識別情報に関連付けられている作業者レベル情報とに基づいて、承認者のレベルと識別情報とが関連付けられている承認者リストから前記画像の表示終了の承認の入力を行う承認者の識別情報を選択し、選択した承認者の識別情報によって前記画像の表示終了の承認の入力を受け付ける、
画像表示システム。 - 前記ヘッドマウント装置は、前記ヘッドマウント装置を装着する人の音声を収音する収音部をさらに備え、
前記制御部は、前記収音部が収音した音声に基づいて前記ヘッドマウント装置に表示されている画像の表示終了を判断した場合に、前記情報処理装置へ画像の表示終了を通知し、
前記画像提供部は、前記ヘッドマウント装置から画像の表示終了を通知されると、前記装置識別情報取得部が取得した前記装置識別情報で識別される対象装置に適用される次の画像を前記記憶装置から取得し、取得した画像を前記ヘッドマウント装置へ提供する、
請求項1から7のいずれか1項に記載の画像表示システム。 - 前記ヘッドマウント装置を装着する作業者の視線を検出する視線検出部をさらに備え、
前記記憶装置は、作業者の視線によって特定される情報を画像に関連付けて記憶し、
前記制御部は、前記視線検出部が検出した視線を示す視線情報と前記表示部に表示されている画像を識別する画像識別情報とを前記情報処理装置へ提供し、
前記情報処理装置は、
前記視線情報と、前記画像識別情報で識別される画像に関連付けて前記記憶装置に記憶されている情報とに基づいて、前記画像識別情報で識別される画像の表示終了を判断する判断部をさらに備え、
前記画像提供部は、前記装置識別情報取得部が取得した前記装置識別情報で識別される対象装置に適用される次の画像を前記記憶装置から取得し、取得した画像を前記ヘッドマウント装置へ提供する、
請求項1から7のいずれか1項に記載の画像表示システム。 - ヘッドマウント装置に備わる撮像部が撮像した画像を受信し、前記ヘッドマウント装置に備わる表示部によって表示される画像を送信する通信部と、
前記撮像部が撮像した画像に基づいて対象装置の装置識別情報を取得する装置識別情報取得部と、
装置識別情報に関連付けて前記装置識別情報で識別される対象装置に適用される画像を記憶する記憶装置から、前記装置識別情報取得部が取得した装置識別情報に関連付けられている画像を取得し、取得した画像を前記通信部によって前記ヘッドマウント装置へ提供する画像提供部と、を備える情報処理装置であって、
前記記憶装置は、前記ヘッドマウント装置の識別情報又は予定ユーザ識別情報と、予定時刻情報と、装置識別情報と、当該装置識別情報で識別される対象装置に関連付けられた画像の画像識別情報とが関連付けられた画像選択情報を記憶し、
前記画像提供部は、前記ヘッドマウント装置の識別情報又は装着ユーザ識別情報と、時刻情報と、前記画像選択情報とに基づいて、前記装置識別情報取得部が取得した装置識別情報に関連付けられている画像を選択するか否かを判定し、該画像を選択すると判定した場合には該画像を前記ヘッドマウント装置へ送信し、該画像を選択しないと判定した場合には該画像を前記ヘッドマウント装置へ送信しない、情報処理装置であり、
前記画像提供部は、前記判定の結果、前記装置識別情報取得部が取得した装置識別情報に関連付けられている画像を選択しない場合には、作業者に対して作業内容を再確認するように警告する内容の警告画像を、前記通信部によって前記ヘッドマウント装置へ送信する、
情報処理装置。 - 情報処理装置が、ヘッドマウント装置に備わる撮像部が撮像した画像を受信し、前記ヘッドマウント装置に備わる表示部によって表示される画像を送信する通信ステップと、
前記情報処理装置が、前記撮像部が撮像した画像に基づいて対象装置の装置識別情報を取得する装置識別情報取得ステップと、
前記情報処理装置が、装置識別情報に関連付けて前記装置識別情報で識別される対象装置に適用される画像を記憶する記憶装置から、前記装置識別情報取得ステップにより取得した装置識別情報に関連付けられている画像を取得し、取得した画像を前記通信ステップによって前記ヘッドマウント装置へ提供する画像提供ステップと、を含む画像表示方法であって、
前記記憶装置は、前記ヘッドマウント装置の識別情報又は予定ユーザ識別情報と、予定時刻情報と、装置識別情報と、当該装置識別情報で識別される対象装置に関連付けられた画像の画像識別情報とが関連付けられた画像選択情報を記憶し、
前記情報処理装置は、前記ヘッドマウント装置の識別情報又は装着ユーザ識別情報と、時刻情報と、前記画像選択情報とに基づいて、前記装置識別情報取得ステップにより取得した装置識別情報に関連付けられている画像を選択するか否かを判定し、該画像を選択すると判定した場合には該画像を前記ヘッドマウント装置へ送信し、該画像を選択しないと判定した場合には該画像を前記ヘッドマウント装置へ送信しない、画像表示方法であり、
前記情報処理装置は、前記判定の結果、前記装置識別情報取得部が取得した装置識別情報に関連付けられている画像を選択しない場合には、作業者に対して作業内容を再確認するように警告する内容の警告画像を、前記通信ステップによって前記ヘッドマウント装置へ送信する、
画像表示方法。 - コンピュータに、
ヘッドマウント装置に備わる撮像部が撮像した画像を受信し、前記ヘッドマウント装置に備わる表示部によって表示される画像を送信する通信機能と、
前記撮像部が撮像した画像に基づいて対象装置の装置識別情報を取得する装置識別情報取得機能と、
装置識別情報に関連付けて前記装置識別情報で識別される対象装置に適用される画像を記憶する記憶装置から、前記装置識別情報取得機能が取得した装置識別情報に関連付けられている画像を取得し、取得した画像を前記通信機能によって前記ヘッドマウント装置へ提供する画像提供機能と、を実現させるためのコンピュータプログラムであって、
前記記憶装置は、前記ヘッドマウント装置の識別情報又は予定ユーザ識別情報と、予定時刻情報と、装置識別情報と、当該装置識別情報で識別される対象装置に関連付けられた画像の画像識別情報とが関連付けられた画像選択情報を記憶し、
前記画像提供機能は、前記ヘッドマウント装置の識別情報又は装着ユーザ識別情報と、時刻情報と、前記画像選択情報とに基づいて、前記装置識別情報取得機能が取得した装置識別情報に関連付けられている画像を選択するか否かを判定し、該画像を選択すると判定した場合には該画像を前記ヘッドマウント装置へ送信し、該画像を選択しないと判定した場合には該画像を前記ヘッドマウント装置へ送信しない、コンピュータプログラムであり、
前記画像提供機能は、前記判定の結果、前記装置識別情報取得部が取得した装置識別情報に関連付けられている画像を選択しない場合には、作業者に対して作業内容を再確認するように警告する内容の警告画像を、前記通信機能によって前記ヘッドマウント装置へ送信する、
コンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016054502A JP6710555B2 (ja) | 2016-03-17 | 2016-03-17 | 画像表示システム、情報処理装置、画像表示方法及びコンピュータプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016054502A JP6710555B2 (ja) | 2016-03-17 | 2016-03-17 | 画像表示システム、情報処理装置、画像表示方法及びコンピュータプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017167978A JP2017167978A (ja) | 2017-09-21 |
JP6710555B2 true JP6710555B2 (ja) | 2020-06-17 |
Family
ID=59913862
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016054502A Active JP6710555B2 (ja) | 2016-03-17 | 2016-03-17 | 画像表示システム、情報処理装置、画像表示方法及びコンピュータプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6710555B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6617217B1 (ja) * | 2019-03-01 | 2019-12-11 | 株式会社ネイン | 眼鏡型ウェアラブル装置および充電装置 |
JP6973860B2 (ja) * | 2019-04-01 | 2021-12-01 | Necプラットフォームズ株式会社 | 保守支援システム、保守支援方法及び保守支援用コンピュータプログラム |
JP2020140196A (ja) * | 2019-11-11 | 2020-09-03 | 株式会社ネイン | 眼鏡型ウェアラブル装置および充電装置 |
JP7347409B2 (ja) * | 2020-12-28 | 2023-09-20 | 横河電機株式会社 | 装置、方法及びプログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008123366A (ja) * | 2006-11-14 | 2008-05-29 | Nec Corp | 遠隔作業支援システム、遠隔作業支援プログラム、及びサーバ |
JP4895875B2 (ja) * | 2007-03-15 | 2012-03-14 | 株式会社京三製作所 | 作業管理システム |
MY173983A (en) * | 2010-03-30 | 2020-03-02 | Ns Solutions Corp | Information providing apparatus, information providing method and program |
JP5099182B2 (ja) * | 2010-06-24 | 2012-12-12 | 日本電気株式会社 | 確認業務支援システム、サーバ装置、ヘッドマウントディスプレイ装置、ウェアラブル端末、確認業務支援方法およびプログラム |
JP6119228B2 (ja) * | 2012-12-13 | 2017-04-26 | セイコーエプソン株式会社 | 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、作業支援システム |
JP6082272B2 (ja) * | 2013-02-25 | 2017-02-15 | 東京エレクトロン株式会社 | 支援情報表示方法、基板処理装置の保守支援方法、支援情報表示制御装置、基板処理システム及びプログラム |
JP6364952B2 (ja) * | 2014-05-23 | 2018-08-01 | 富士通株式会社 | 情報処理装置、情報処理システムおよび情報処理方法 |
-
2016
- 2016-03-17 JP JP2016054502A patent/JP6710555B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017167978A (ja) | 2017-09-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US12002340B2 (en) | Safety service system and method thereof | |
JP6710555B2 (ja) | 画像表示システム、情報処理装置、画像表示方法及びコンピュータプログラム | |
US20200099780A1 (en) | Mobile terminal and method of operating the same | |
EP3489943A1 (en) | Image display system, head-mounted-display control device, and method and program for actuating same | |
JP5839553B2 (ja) | 作業支援システム、作業支援方法、および、作業用端末 | |
RU2543950C2 (ru) | Устройство формирования изображения и способ управления указанным устройством | |
JP6105180B1 (ja) | 作業支援装置、作業支援方法及びプログラム | |
EP4009187A1 (en) | Block processing method and apparatus, and data query method and apparatus based on blockchain | |
EP3680807B1 (en) | Password verification method, password setting method, and mobile terminal | |
KR20150004501A (ko) | 기능 제어 방법 및 그 전자 장치 | |
KR20110087637A (ko) | 정보 제공 장치 및 그 방법 | |
CN112261218B (zh) | 视频控制方法、视频控制装置、电子设备和可读存储介质 | |
JP2017162103A (ja) | 点検作業支援システム、点検作業支援方法、点検作業支援プログラム | |
CN109068055B (zh) | 一种构图方法、终端和存储介质 | |
CN108833262B (zh) | 会话处理方法、装置、终端及存储介质 | |
JP2017167992A (ja) | ヘッドマウント装置、プログラム、作業支援システム及び情報処理装置 | |
US20170124338A1 (en) | Work Recording Apparatus, Work Recording System, Work Recording Program, and Work Recording Method | |
JP2015103020A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2017167991A (ja) | ヘッドマウント装置、プログラム及び作業支援システム | |
JP2008160879A (ja) | 電子カメラおよび画像表示装置および画像表示方法 | |
KR102018556B1 (ko) | 하자 보수 관리를 위한 관리 시스템 및 방법 | |
JP2020086980A (ja) | 設備点検支援端末、設備点検支援システム及びプログラム | |
JP2019009562A (ja) | 監視映像表示システム、監視映像表示装置、監視情報管理サーバ、および、監視映像表示方法 | |
JP2021190082A (ja) | コンピュータプログラム、情報処理装置、情報処理システム、拡張現実画像表示方法及び情報処理方法 | |
JP2011199800A (ja) | 情報提供装置、携帯端末、情報提供システム、情報提供方法、及び情報提供プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20160318 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180313 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20180314 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181121 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190108 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190306 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190910 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191108 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200428 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200527 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6710555 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |