JP2013083731A - 画像表示システム - Google Patents
画像表示システム Download PDFInfo
- Publication number
- JP2013083731A JP2013083731A JP2011222362A JP2011222362A JP2013083731A JP 2013083731 A JP2013083731 A JP 2013083731A JP 2011222362 A JP2011222362 A JP 2011222362A JP 2011222362 A JP2011222362 A JP 2011222362A JP 2013083731 A JP2013083731 A JP 2013083731A
- Authority
- JP
- Japan
- Prior art keywords
- image display
- user
- image
- unit
- head
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Digital Computer Display Output (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】 ヘッドマウントディスプレイを含む画像表示システムにおいて、スイッチ操作を行うことなく画像表示を開始することができるとともに、ユーザの意に反して画像表示が開始されるのを抑制することを目的とする。
【解決手段】 ユーザの頭部及び胴体に装着され、頭部及び胴体の回転動作をそれぞれ検出する頭部センサ11及び胴体センサ12と、ユーザの視線方向を検出するカメラ13と、ユーザの視野内に画像表示を行う画像表示部14と、頭部センサ11及び胴体センサ12の検出結果に基づいて、ユーザの首振り角θV,θHを求める首振り角判別部21とを備え、画像表示部14は、視線方向及び首振り角θV,θHに基づいて、画像表示を開始する。
【選択図】 図3
【解決手段】 ユーザの頭部及び胴体に装着され、頭部及び胴体の回転動作をそれぞれ検出する頭部センサ11及び胴体センサ12と、ユーザの視線方向を検出するカメラ13と、ユーザの視野内に画像表示を行う画像表示部14と、頭部センサ11及び胴体センサ12の検出結果に基づいて、ユーザの首振り角θV,θHを求める首振り角判別部21とを備え、画像表示部14は、視線方向及び首振り角θV,θHに基づいて、画像表示を開始する。
【選択図】 図3
Description
本発明は、画像表示システムに係り、更に詳しくは、ユーザの視野内に画像を表示する画像表示部がユーザの頭部に装着された画像表示システム、例えばヘッドマウントディスプレイ(HMD:Head Mounted Display)の改良に関する。
いわゆるヘッドマウントディスプレイ(以下、HMDという)は、ユーザの頭部に装着され、至近距離から画像を視認させる画像表示端末である。例えば、ユーザの眼の近傍にハーフミラーを配置し、液晶パネル上に表示された画像を上記ハーフミラーで反射させることにより、上記ハーフミラーを透過する外光に重畳させ、ユーザの視野内に上記画像を表示する透過型HMDが知られている。
HMDを用いることにより、ユーザは、移動しながら表示画像を閲覧することができる。また、一般的な携帯表示端末のように手で端末を保持し、また、閲覧時に顔を端末に向ける必要がないため、何らかの作業中であれば、その作業を中断することなく画像を閲覧することができる。このため、作業の関連情報をHMDを用いて表示すれば、その作業効率を向上させることができる。例えば、倉庫内でピッキング作業を行う場合、作業者がHMDを装着し、当該HMDにピッキング作業に必要な情報を表示させることにより、作業効率を向上させることができる。
特許文献1には、ヘリコプターのパイロットが装着するHMDについて記載されている。このHMDは、パイロットの頭部の向きを検出し、頭部の向きの応じた画像を表示している。このため、スイッチ操作などを必要としないハンズフリーによって表示画像を切り替えることができ、パイロットは操縦に集中することができる。また、パイロットのヘルメットだけでなく、搭乗機にもジャイロセンサを配置し、その差分を求めることにより、パイロットの頭部の向きを正確に検出している。
一般に、HMDによる画像表示中は、表示画像にユーザの注意が引きつけられ、作業ミスが生じやすい。また、HMDは、画像を表示することにより周辺環境の視認性が低下するため、安全性確保の観点からユーザの移動中に画像表示を行うことは好ましくない。そこで、画像表示の有無を作業中のユーザが制御するように構成することが考えられる。この場合も、スイッチ操作などを行うことなく、ハンズフリーで制御できれば、作業効率を向上させることができる。
しかしながら、従来のHMDを改良し、頭部の向きにより画像表示の有無を制御するように構成した場合、ユーザの意に反して画像表示が開始され、作業ミスを誘発し、あるいは、安全性が損なわれるおそれがある。例えば、ユーザが周辺環境を確認するために振り向いた場合に、その頭部の動きに応じてHMDが画像表示を開始すれば、周辺環境の視認性が低下するとともに、表示画像にユーザの注意が引きつけられることから、HMDの利便性を著しく低下させると考えられる。
本発明は、上記の事情に鑑みてなされたものであり、HMDを含む画像表示システムにおいて、ユーザの意に反して、画像表示が開始されるのを抑制することを目的とする。特に、スイッチ操作などを必要とせず、ユーザの意思に基づいて画像表示を開始することができるとともに、ユーザの意に反して画像表示が開始されるのを抑制することを目的とする。
また、本発明は、HMDを装着して作業を行うユーザの作業効率を向上させることを目的とする。さらに、HMDを装着して移動するユーザの安全性を向上させることを目的とする。
第1の本発明による画像表示システムは、ユーザの頭部に装着され、当該ユーザの視野内の情報表示エリアに画像表示を行う画像表示部と、上記頭部に装着され、上記頭部の回転動作を検出する頭部センサと、上記ユーザの視線方向を検出する視線検出部と、上記頭部センサの検出結果に基づいて、上記ユーザの首振り角を求める首振り角判別部とを備え、上記画像表示部は、上記視線方向及び上記首振り角に基づいて、上記情報表示エリアにおける画像表示を開始するように構成される。
この様な構成によれば、情報表示エリアにおける画像表示を開始するために、ユーザは、作業を中断してスイッチ操作等を行う必要がなく、作業効率を向上させることができる。また、画像表示を開始するか否かを視線方向及び首振り角に基づいて判断することにより、ユーザの意に反して画像表示が開始され、作業効率が低下するのを防止することができる。また、不要な画像表示を抑制することにより、作業中のユーザの安全性を向上させることができる。
なお、頭部センサが検出するユーザの頭部の回転動作は、上下方向の回転動作であってもよいし、左右方向の回転動作であってもよい。また、情報表示エリアは、画像表示部が画像を表示する表示エリアの全体であってもよいし、上記表示エリアの一部であってもよい。
第2の本発明による画像表示システムは、上記構成に加えて、画像表示部が、上記首振り角が画像表示角より大きく、かつ、上記視線方向が正面方向を含まない表示開始領域内にある場合に、上記情報表示エリアにおける画像表示を開始するように構成される。
この様な構成により、ユーザが正面方向を向いている場合に、画像表示が開始されるのを防止することができる。また、ユーザの首振り角が画像表示角を越えた場合であっても、視線方向が表示開始領域内になければ、画像表示が開始されることはない。このため、ユーザの意に反して画像表示が開始されるのを防止することができる。
第3の本発明による画像表示システムは、上記構成に加えて、上記頭部センサの検出結果に基づいて、上記ユーザの首振り方向を求める首振り方向判別部を備え、上記画像表示部は、上記首振り角が画像表示角より大きく、かつ、上記視線方向が上記首振り方向とは反対方向である場合に、上記情報表示エリアにおける画像表示を開始するように構成される。
この様な構成により、ユーザが正面方向を向いている場合に、画像表示が開始されるのを防止することができる。また、ユーザの首振り角が画像表示角を越えた場合であっても、視線方向が首振り方向とは反対方向でなければ、画像表示が開始されることはない。一般に、視線方向と首振り方向が互いに反対方向になるという動作は、意識的に行わなければ生じない不自然な動作であるため、この様な条件に基づいて画像表示を開始することにより、ユーザの意に反して画像表示が開始されるのを防止することができる。
第4の本発明による画像表示システムは、上記構成に加えて、上記ユーザの胴体に装着され、上記胴体の回転動作を検出する胴体センサを備え、上記首振り角判別部は、上記頭部センサ及び上記胴体センサの検出結果に基づいて左右方向に関する上記首振り角を求める。
この様な構成により、頭部センサによって検出された頭部の左右方向の回転動作から、胴体の左右方向の回転動作を除去することにより、左右方向の首振り動作を正確に検出することができる。このため、頭部センサの検出結果のみを用いる場合に比べて、ユーザの左右方向の首振り角を精度よく求めることができ、ユーザの意に反して画像表示が開始されるのを防止することができる。
第5の本発明による画像表示システムは、上記構成に加えて、上記首振り角判別部が、上記頭部センサの検出結果に基づいて上下方向に関する上記首振り角を求めるように構成される。
この様な構成により、首振り角が画像表示角よりも大きくなるように、ユーザが頭部を上下方向に回転させることにより、情報表示エリアにおける画面表示を開始させることができる。
第6の本発明による画像表示システムは、上記構成に加えて、上記頭部センサの検出結果に基づいて、上記ユーザの首振り方向を求める首振り方向判別部を備え、上記画像表示部が、上記首振り方向に応じた画像を表示するように構成される。
この様な構成により、ユーザは首振り方向を選択することにより、情報表示エリアに表示される画像を選択することができる。
第7の本発明による画像表示システムは、上記構成に加えて、上記視線検出部が、上記ユーザの眼を撮影する撮影部と、撮影された画像内における瞳の位置を判別する瞳位置判別部とを有し、上記瞳の位置により視線方向を求めるように構成される。この様な構成により、ユーザの視線方向を検出することができる。
第8の本発明による画像表示システムは、上記構成に加えて、上記画像表示部が、上記画像を出力する画像出力部と、上記ユーザの眼の近傍に配置されたハーフミラーとを備え、上記ハーフミラーを透過した外光に対し、上記ハーフミラーで反射した上記画像出力部からの出射光が重畳され、上記眼に入射されるように構成される。
このような構成により、普通に視認できる周辺環境に対し、画像表示を重畳させて表示することにより、画像表示中も周辺環境をある程度視認することができる。これに加えて、不要な画像表示を抑制することにより、ユーザは、周辺環境に注意を向けることができるとともに、周辺環境がより視認しやすくなる。このため、作業効率を向上させるとともに、作業中のユーザの安全性を向上させることができる。
第9の本発明による画像表示システムは、上記構成に加えて、上記ユーザの音声が入力されるマイクロホンと、上記情報表示エリアにおける画像表示中に入力された上記音声から音声コマンドを識別し、入力信号を生成する音声コマンド識別部とを備え、上記情報表示エリアにおける画像非表示中に入力された上記音声から上記入力信号を生成しないように構成される。
この様な構成により、情報表示エリア内に画像が表示されていれば、音声コマンドを受け付け、画像が表示されていない場合には、音声コマンドを受け付けないようにすることができる。通常、ユーザは画像表示を見て音声コマンドを入力することから、画像表示されていない場合に、音声コマンドを受け付けないようにすれば、作業中の雑音などが音声コマンドとして誤認識されるのを防止できる。
第10の本発明による画像表示システムは、互いに無線通信可能な携帯表示端末及び表示制御装置からなる画像表示システムであって、上記携帯表示端末は、ユーザの頭部に装着され、当該ユーザの視野内の情報表示エリアに画像表示を行う画像表示部と、上記頭部の回転動作を検出する頭部センサと、上記ユーザの視線方向を検出する視線検出部とを備え、上記表示制御装置は、上記頭部センサの検出結果に基づいて、上記ユーザの首振り角を求める首振り角判別部と、上記視線方向及び上記首振り角に基づいて、上記情報表示エリアにおける画像表示を制御するための表示制御信号を生成する表示制御部とを備え、上記画像表示部は、上記表示制御信号に基づいて、上記情報表示エリアにおける画像表示を開始するように構成される。
本発明による画像表示システムによれば、視線方向及び上記首振り角に基づいて、ユーザの視野内の情報表示エリアにおける画像表示が開始される。このため、情報表示エリアに画像を表示させたい場合に、ユーザが作業を中断してスイッチ操作等を行う必要がなく、作業効率を向上させることができる。また、画像表示を開始するか否かを首振り角のみに基づいて判断する場合に比べて、ユーザの意に反して画像表示が開始され、作業効率が低下するのを防止することができる。また、不要な画像表示を抑制することにより、作業中のユーザの安全性を向上させることができる。
また、本発明による画像表示システムによれば、首振り角が画像表示角より大きく、かつ、視線方向が正面方向を含まない表示開始領域内にある場合に、情報表示エリアにおける画像表示部が開始される。このため、ユーザの頭部が正面方向を向いている場合に、画像表示が開始されるのを防止することができる。また、視線方向が表示開始領域内になければ、画像表示が開始されることはなく、ユーザの意に反して画像表示が開始されるのを防止することができる。
また、本発明による画像表示システムによれば、首振り角が画像表示角より大きく、かつ、視線方向が首振り方向とは反対方向である場合に、情報表示エリアにおける画像表示が開始される。このため、ユーザの頭部が正面方向を向いている場合に、画像表示が開始されるのを防止することができる。また、不自然な動作に基づいて画像表示を開始することにより、ユーザの意に反して画像表示が開始されるのを防止することができる。
また、本発明による画像表示システムによれば、情報表示エリア内に画像が表示されていれば、音声コマンドを受け付け、画像が表示されていない場合には、音声コマンドを受け付けない。このため、作業中の雑音などが音声コマンドとして誤認識されるのを防止できる。
実施の形態1.
図1は、本実施の形態による画像表示システム100の一構成例を示した図であり、図2は、図1の頭部ユニット1Aを後方から見た様子を示した外観図である。この画像表示システム100は、ユーザが装着するHMD1と、無線通信を介してHMD1に接続された管理サーバ2とからなる。
図1は、本実施の形態による画像表示システム100の一構成例を示した図であり、図2は、図1の頭部ユニット1Aを後方から見た様子を示した外観図である。この画像表示システム100は、ユーザが装着するHMD1と、無線通信を介してHMD1に接続された管理サーバ2とからなる。
HMD1は、ユーザの身体に装着され、管理サーバ2から受信した画像を至近距離からユーザの視野内に表示する携帯表示端末である。また、ユーザの視線方向や首振り動作を検出し、検出信号を管理サーバ2へ送信する。管理サーバ2は、これらの検出信号を受信し、HMD1の表示制御を行っている。つまり、管理サーバ2は、HMD1からの検出信号に基づいて、画像表示を行うか否かを判別し、画像表示を行う場合には、画像データを含む表示制御信号をHMD1へ送信し、HMD1が当該画像データに基づく画像表示を行う。
この画像表示は、ユーザの視線方向及び首振り角が一定条件を満たしたときに開始される。このため、作業を中断してスイッチ操作などを行わなくても、必要なときに画像表示を開始させることができる。しかも、視線方向の条件と首振り角の条件をともに満たしたときに画像表示が開始されるため、ユーザの意に反して画像表示が開始されるのを抑制することができる。
本実施の形態では、ユーザの視線方向が表示開始領域内にあり、かつ、ユーザの首振り角が画像表示角を越えた場合に、HMD1による画像表示が開始される。このため、ユーザの首振り動作のみに基づいて画像表示を開始する場合に比べて、ユーザの意に反して画像表示が開始されるのをより効果的に抑制することができる。
HMD1は、ユーザの頭部に装着される頭部ユニット1Aと、ユーザの胴体に装着される胴体ユニット1Bとによって構成される。ここでは、頭部ユニット1A及び胴体ユニット1Bが、通信ケーブル32を介して互いに接続されている場合について説明するが、Bluetoothなどの無線通信回線を介して互いに接続されていてもよい。
頭部ユニット1Aは、眼鏡型フレーム30、メインモジュール31、ハーフミラー142及びマイクロホン15からなる。眼鏡型フレーム30は、一般的な眼鏡と同様の形状からなり、頭部ユニット1Aをユーザの頭部に装着する装着手段である。この眼鏡型フレーム30には、カメラ13、マイクロホン15、メインモジュール31及びハーフミラー142が取り付けられている。
カメラ13は、ユーザの視線方向を検出するためにユーザの眼を撮影する視線検出部であり、眼鏡型フレーム30のレンズフレームのユーザ側に配置されている。例えば、CCDカメラやCMOSイメージセンサをカメラ13として用いることができる。このカメラ13が出力する撮影画像内における瞳の位置を識別することにより、ユーザの視線方向を判別することができる。
マイクロホン15は、ユーザの音声を入力するための音声入力部である。マイクロホン15に音声が入力されると、当該音声に含まれる音声コマンドが識別される。このため、ユーザは、スイッチ操作などを行うことなく、入力を行うことができる。
メインモジュール31は、ユーザの左眼の近傍に配置されている。このメインモジュール31には、画像出力部141及び頭部センサ11が内蔵されている。画像出力部141は、管理サーバ2から受信した画像データに基づいて画像を出力する画像出力部であり、例えば、液晶パネルが用いられる。頭部センサ11は、ユーザの頭部の上下方向及び左右方向の回転動作を検出するためのセンサであり、例えば、周知のジャイロセンサが用いられる。
ハーフミラー142は、メインモジュール31に取り付けられ、ユーザの左眼の視野内に配置されている。ユーザの周辺環境から入射する外光は、その一部がハーフミラー142を透過し、ユーザの左眼に入射する。また、画像出力部141からの出力光は、ハーフミラー142で反射され、ユーザの左眼に入射する。つまり、外光及び出力光がともにユーザの眼に入射され、画像出力部141の画像は、外光に重畳されてユーザの視野内に表示される。ただし、一般に、HMD1による画像表示中は、周辺環境の視認性は著しく低下する。
胴体ユニット1Bは、通信ケーブル32を介して頭部ユニット1Aと接続され、頭部ユニット1Aを制御するコントローラであり、例えば、ユーザのウエストに装着される。この胴体ユニット1Bは、管理サーバ2と通信するためのアンテナが設けられているとともに、胴体センサ12が内蔵されている。
胴体センサ12は、ユーザの胴体の左右方向の回転動作を検出するためのセンサであり、例えば、周知のジャイロセンサが用いられる。頭部センサ11が検出した左右方向の回転動作と、胴体センサ12が検出した左右方向の回転動作とを用いることにより、左右方向に関するユーザの首振り角を正確に判別することができる。
図3は、図1の画像表示システム100の機能構成の一例を示したブロック図であり、HMD1及び管理サーバ2の詳細構成例が示されている。HMD1は、通信部10、頭部センサ11、胴体センサ12、カメラ13、画像表示部14及びマイクロホン15からなる。また、管理サーバ2は、通信部20、首振り角判別部21、首振り方向判別部22、視線方向判別部23、音声コマンド識別部25及び表示制御部26からなる。
通信部10,20は、無線通信を行うための通信手段であり、HMD1及び管理サーバ2は、無線通信回線を介して接続されている。例えば、管理サーバ2が無線LANのアクセスポイントに接続され、HMD1が当該アクセスポイントとの間で無線通信を行うことにより、HMD1及び管理サーバ2が、無線LANを介して互いに接続されるように構成される。ここでは、通信部10,20を介して、検出信号S1〜S4が、HMD1から管理サーバ2へ送信され、表示制御信号C1が、管理サーバ2からHMD1へ送信されるものとする。
頭部センサ11は、ユーザの頭部の回転動作を検出し、検出信号S1を出力する。ここでは、2個のジャイロセンサを用いて、上下方向の回転動作の角速度ωVと、左右方向の回転動作の角速度ωH1とを求め、これらの角速度ωV,ωH1を含む検出信号S1を生成している。
胴体センサ12は、ユーザの胴体の回転動作を検出し、検出信号S2を出力する。ここでは、1個のジャイロセンサを用いて、左右方向の回転運動の角速度ωH2を求め、この角速度ωH2を含む検出信号S2を生成している。
カメラ13は、ユーザの眼を撮影し、撮影画像を含む検出信号S3を出力する。画像表示部14は、画像出力部141及びハーフミラー142からなり、表示制御部26からの表示制御信号C1に基づいて、画像出力部141が画像を生成し、ハーフミラー142が、当該画像をユーザの視野内に表示する。マイクロホン15は、ユーザの音声を電気信号に変換し、音声信号を含む検出信号S4を生成する。
首振り角判別部21は、検出信号S1,S2に基づいてユーザの首振り角を求め、これらの首振り角を予め定められた画像表示角と比較する。この画像表示システム100では、首振り角が画像表示角よりも大きな首振り動作が行われたことが画像表示の条件となっている。このため、首振り角判別部21は、この開始条件が成立しているか否かを判別し、判別結果を表示制御部26へ出力する。
首振り角は、ユーザの顔の正面方向が基準方向に対してなす角度であり、首振り角判別部21は、上下方向及び左右方向の首振り角θV,θHをそれぞれ求めている。
上下方向の首振り角θVは、鉛直面内において顔の正面方向が基準方向に対してなす角度として定義される。ここでは、水平方向を基準方向とし、顔の正面方向が水平方向に対してなす角度が、上下方向の首振り角θVとして求められるものとする。このような上下方向の首振り角θVは、頭部センサ11が検出した上下方向の角速度ωVを積分することによって求められる。なお、頭部センサ11が角度センサであれば、上下方向の首振り角θVが、頭部センサ11によって直接求められる。
また、左右方向の首振り角θHは、水平面内において顔の正面方向が基準方向に対してなす角度として定義される。ここでは、ユーザの胴体の正面方向を基準方向とし、顔の正面方向が胴体の正面方向に対してなす角度が、左右方向の首振り角θHとして求められるものとする。このような左右方向の首振り角θHは、頭部センサ11が検出した左右方向の角速度ωV1と、胴体センサ12が検出した左右方向の角速度ωV2との差を積分することによって求められる。
首振り方向判別部22は、検出信号S1,S2に基づいてユーザの首振り方向を判別する。この画像表示システム100では、首振り方向に応じた画像が表示される。このため、首振り方向判別部22は、首振り方向を判別し、この判別結果を表示制御部26へ出力する。ここでは、上下左右の4方向のうち、いずれの方向へ首が振られているのかが、首振り方向判別部22によって判別される。このような判別は、首振り角判別部21が求めた上下方向の首振り角θVと、左右方向の首振り角θHとの絶対値を比較することにより行うことができる。
視線方向判別部23は、カメラ13からの検出信号S3に基づいて、ユーザの視線方向が、画像表示の開示条件を満足しているか否かを判別する。この画像表示システム100では、視線方向が予め定められた表示開始領域内であることが画像表示の開始条件となっている。このため、視線方向判別部23は、ユーザの視線方向を求め、当該視線方向が表示開始領域内であるか否かを判別し、この判別結果を表示制御部26へ出力する。ここでは、カメラ13の撮影画像からユーザの瞳の画像を識別し、撮影画像内における瞳の位置に基づいて、ユーザの視線方向が求められるものとする。
音声コマンド識別部25は、マイクロホン15からの検出信号S4に基づいて入力信号を生成している。この画像表示システム100では、画像表示中に音声が入力された場合、当該音声から音声コマンドを抽出し、音声コマンドに対応する入力処理が行われる。このため、音声コマンド識別部25は、検出信号S4が入力されると、マイクロホン15からの音声信号に含まれる音声コマンドを識別し、当該音声コマンドに対応する入力信号を生成する。例えば、音声コマンドの特徴データが予め与えられており、音声信号について当該特徴データとのマッチングを行うことにより、音声信号から音声コマンドを抽出し、当該音声コマンドに対応する入力信号を生成する。
ただし、このような音声コマンドの識別処理は、画像表示中に入力された音声について行われ、画像の非表示中に入力された音声については行われない。一般に、音声入力が行われるのは画像表示中であるため、画像非表示中に音声入力を受け付けないことにより、ユーザの音声以外のノイズが音声コマンドとして誤認識されるのを防止することができる。ここでは、音声コマンド識別部25が、表示状態信号C2に基づいて、音声コマンドの識別処理を行っているものとする。表示状態信号C2は、画像表示中であるか否かを示す信号であり、表示制御部26によって生成される。
表示制御部26は、表示制御信号C1を出力し、画像表示部14による画像表示を制御する。この表示制御部26は、首振り方向判別部22の判別結果に基づいて、ユーザの首振り方向に予め対応づけられた画像を表示画像として選択する。このため、ユーザの首振り方向に対応する画像が、画像表示部14によって表示される。また、音声コマンド識別部25からの入力信号に基づいて、画像表示が行われる。例えば、ユーザが表示画像を指定する音声コマンドを入力した場合、表示制御部26は、指定された画像をHMD1の表示画像として選択する。
さらに、画像が表示されていないが画像非表示中であれば、表示制御部26は、首振り角判別部21及び視線方向判別部23の判別結果に基づいて画像表示を開始する。このため、画像の非表示状態では、ユーザの首振り角及び視線方向が所定条件を満たすことにより、画像表示部14による画像表示が開始される。
一方、画像が表示されている画像表示中であれば、表示制御部26が、首振り角判別部21の判別結果に基づいて画像表示を終了する。つまり、ユーザの首振り角が画像表示角よりも小さくなれば、直ちに画像表示を終了し、あるいは、一定時間の経過後に画像表示を終了する。
図4は、図3の首振り角判別部21における判別処理についての説明図であり、図中の(a)には、HMD1を装着したユーザを上から見た場合の様子が示され、図中の(b)には、ユーザを右から見た場合の様子が示されている。図中のハッチングを付した領域は、ユーザの首振り角θH,θVが、画像表示角θH1,θV1,θV2を越える領域であり、HMD1による画像表示が行われる領域である。
首振り角判別部21は、左右方向の首振り角θHの絶対値を画像表示角θH1と比較し、左方向又は右方向に画像表示角θH1よりも大きな首振りが行われた否かを判別する。例えば、画像表示角θH1が40°である場合、胴体正面の基準方向を挟んで80°の角度範囲内では画像表示が行われず、左右いずれかに40°以上の首振りが行われていれば画像表示が行われる。一般に、左右方向の首振りの限界角度は約60°であるため、画像表示角θH1が40°であれば、限界角度までに約20°のマージンがあり、ユーザは、左方向又は右方向のいずれかに40〜60°の角度範囲で首振りを行えば、画像を表示させることができる。
また、首振り角判別部21は、上下方向の首振り角θVを画像表示角θV1,θV2と比較し、上方向の画像表示角θV1又は下方向の画像表示角θV2よりも大きな首振りが行われた否かを判別する。例えば、上方向の画像表示角θV1が30°、下方向の画像表示角θV2が40°である場合、水平方向を挟んで70°の角度範囲内では画像表示が行われず、上方向に30°以上あるいは下方向に40°以上の首振りが行われていれば画像表示が行われる。一般に、上下方向の首振りの限界角度は上方向が下方向よりも狭い。このため、ここでは、上方向の画像表示角θV1と下方向の画像表示角θV2とを異ならせている。
なお、本実施の形態では、左方向及び右方向の画像表示角θH1を一致させる場合の例について説明するが、作業中のユーザの動作等を考慮し、これらの画像表示角θH1を互いに異ならせることもできる。また、ここでは、上方向及び下方向の画像表示角θV1,θV2を互いに異ならせる場合の例について説明するが、必要に応じて一致させることもできる。
図5は、画像表示が行われる首振り角の範囲をユーザから見た仮想的な領域として示した説明図であり、図4の(a)及び(b)を組み合わせて3次元的に示した図に相当する。
図中の基準方向40は、首振りを行っていないときのユーザの正面方向、つまり、左右方向が胴体の正面方向であって、上下方向が水平方向となる方向である。非表示ゾーン41は、ユーザが顔を向けた場合に、HMD1による画像表示を終了させる仮想領域であり、表示ゾーン42は、ユーザが顔を向けた場合に、HMD1による画像表示を継続させ、あるいは、視線方向の条件を満たせば、HMD1による画像表示を開始させる仮想領域であり、ハッチングを付して示されている。
非表示ゾーン41は、基準方向40を含む矩形領域からなる。この矩形領域の高さは、上下方向の画像表示角の和(θV1+θV2)に相当し、幅は左右方向の画像表示角の和2θH1に相当する。
一方、表示ゾーン42は、非表示ゾーン41の周囲に形成された矩形枠領域である。また、表示ゾーン42は、首振り方向が異なる4つの表示ゾーン42a〜42dからなる。すなわち、首振り方向が、42aは左方向、42bは右方向、42cは上方向、42dは下方向である場合の表示ゾーンであり、ユーザの首振り方向に応じた画像が表示される。
図6は、視線方向の判別処理に用いられる表示開始領域5の一例を示した図である。この図では、表示開始領域5が、左レンズ内の左下の領域として示されている。視線方向判別部23は、ユーザの視線方向が、表示開始領域5内にあるか否かを判別している。視線方向が表示開始領域5内になければ、画像表示の開始条件が成立せず、視線方向が表示開始領域5内にあれば、画像表示の開始条件が成立する。なお、ここでは、表示開始領域5が、左レンズ内の左下の領域である場合の例を示したが、表示開始領域5は、少なくとも正面方向を含まない予め定められた領域であればよく、任意に定めることができる。
図7のステップS101〜S108は、図3の画像表示システム100における表示制御処理の一例を示したフローチャートである。この表示制御処理は、ユーザの頭部の回転動作が検出された場合に開始される処理であり、頭部センサ11又は胴体センサ12からの検出信号S1,S2に基づいて実行される。
まず、首振り角判別部21が、検出信号S1,S2に基づいて、左右方向の首振り角θHと、上下方向の首振り角θVを求める(ステップS101)。次に、首振り角判別部21は、求められた首振り角θH,θVに基づいて、ユーザの顔が非表示ゾーン41又は表示ゾーン42のいずれを向いているのかを判別する(ステップS102)。すなわち、左右方向の首振り角θHの絶対値を左右方向の画像表示角θH1と比較するとともに、上下方向の首振り角θVを左右方向の画像表示角θV1,θV2と比較する。その結果、首振り角θH,θVのいずれかが画像表示角よりも大きければ、ユーザの顔は表示ゾーン42内を向いていると判断する。一方、首振り角θH,θVがいずれも画像表示角以下であれば、ユーザの顔が非表示ゾーン41内を向いていると判断する。
その結果、ユーザの顔が非表示ゾーン41内を向いていると判断すれば、画像を非表示にして当該表示制御処理を終了する(ステップS103)。つまり、ユーザの首振り角が、画像表示角よりも小さければ、画像表示を終了する。
一方、ステップS102において、ユーザの顔が表示ゾーン42内を向いていると判断した場合、HMD1の表示状態に基づいて動作が異なる(ステップS104)。すなわち、既に画像が表示されている画像表示中であれば、ステップS107へ進む。一方、画像が表示されていない画像非表示中であれば、ステップS105へ進み、画像表示の開始条件として視線方向の判別処理が行われる。
HMD1が画像非表示中であった場合、視線方向判別部23が、カメラ13からの検出信号S3に基づいて、ユーザの視線方向が求められる(ステップS105)。次に、視線方向判別部23は、求められた視線方向が、表示開始領域5内であるか否かを判別する(ステップS106)。
その結果、ユーザの視線方向が表示開始領域5外であると判別すれば、当該表示制御処理を終了する。つまり、画像表示は開始されず、HMD1は非表示状態を維持する。一方、ユーザの視線方向が表示開始領域5内であると判別すれば、この判別結果に基づいて、表示制御部26が、画像表示を開始するための表示制御信号を生成し、HMD1は、画像非表示状態から画像表示状態へ移行する。
ステップS104において画像表示中であった場合、あるいは、ステップS106において視線方向が表示開始領域5内であった場合、首振り方向判別部22により、ユーザの首振り方向が判別される(ステップS107)。例えば、ユーザが首を振った方向が、上下左右の4方向のうち、いずれの方向であるのかが判別される。この判別結果に基づいて、表示制御部26は、首振り方向に対応する画像データを選択し、当該画像データを含む表示制御信号C1を生成し、この表示制御信号C1に基づいて、画像表示部14が、首振り方向に対応する画像表示を行う(ステップS108)。
図8のステップS201〜S204は、図1の画像表示システム100における音声入力処理の一例を示したフローチャートである。この音声入力処理は、ユーザが音声入力を行った場合に開始される処理であり、マイクロホン15からの検出信号S4に基づいて実行される。
マイクロホン15に音声が入力された場合、HMD1の表示状態に基づいて動作が異なる(ステップS201)。すなわち、画像非表示中であれば、何も行わずに当該音声入力処理を終了する。つまり、画像非表示中における音声入力は受け付けられない。
一方、画像表示中であった場合、音声コマンド識別部25が、音声信号に含まれる音声コマンドを識別する。すなわち、音声信号に予め定められた音声コマンドが含まれているか否かを判別する(ステップS202)。その結果、音声コマンドが識別できなかった場合には、処理を終了する(ステップS203)。
ステップS203において、音声信号から音声コマンドを抽出することができた場合、音声コマンド識別部25は、当該音声コマンドに対応する入力信号を生成し、当該音声入力処理を終了する(ステップS204)。例えば、識別された音声コマンドが表示制御のための入力であれば、当該入力信号は表示制御部26へ出力される。また、識別された音声コマンドが表示制御以外の入力であれば、図示しないその他の制御部へ出力される。
本実施の形態による画像表示システム100では、ユーザの頭部に装着された頭部センサ11がユーザの頭部の回転動作を検出し、首振り角判別部21が、この検出結果に基づいて、ユーザの首振り角を求めている。また、ユーザの頭部に装着されたカメラ13の撮影画像を用いて、視線方向判別部23が、ユーザの視線方向を検出している。そして、これらの検出結果に基づいて、HMD1による画像表示が開始される。
このため、画像表示を開始するために、ユーザは、作業を中断してスイッチ操作等を行う必要がなく、作業効率を向上させることができる。また、画像表示を開始するか否かを視線方向及び首振り角に基づいて判断することにより、ユーザの意に反して画像表示が開始され、作業効率が低下するのを防止することができる。また、不要な画像表示を抑制することにより、作業中のユーザの安全性を向上させることができる。
また、本実施の形態による画像表示システム100では、首振り角判別部21が、ユーザの首振り角を画像表示角と比較し、首振り角が画像表示角よりも大きいか否かを判別している。また、視線方向判別部23により、視線方向がユーザの顔の正面方向を含まない表示開始領域5内であるか否かが判別される。そして、これらの検出結果に基づいて画像表示が開始される。
このため、ユーザが正面方向を向いている場合に、画像表示が開始されるのを防止することができる。また、ユーザの首振り角が画像表示角よりも大きい場合であっても、視線方向が表示開始領域内になければ、画像表示が開始されることはなく、ユーザの意に反して画像表示が開始されるのを抑制することができる。
また、本実施の形態による画像表示システム100では、ユーザの胴体に装着された胴体センサ12がユーザの胴体の回転動作を検出し、首振り角判別部21が、頭部センサ11及び胴体センサ12の検出結果に基づいて、左右方向の首振り角を求めている。
このため、頭部センサ11の検出結果のみを用いる場合に比べて、左右方向の首振り角を正確に検出することができ、ユーザの意に反して画像表示が開始されるのを抑制することができる。
また、本実施の形態による画像表示システム100では、マイクロホン15が、ユーザの音声を音声信号に変換し、音声コマンド識別部25が、画像表示中に入力された音声信号に含まれる音声コマンドを識別し、この識別結果に基づいて入力信号を生成している。しかも、画像非表示中に音声入力が行われても入力信号は生成されず、画像非表示中における音声入力は受け付けていない。
このため、入力を行うために、ユーザは、作業を中断してスイッチ操作等を行う必要がなく、作業効率を向上させることができる。また、画像非表示中における音声入力を受け付けないため、ノイズなどを音声コマンドとして誤認識するのを抑制することができる。
実施の形態2.
実施の形態1では、首振り角が画像表示角よりも大きく、かつ、視線方向が表示開始領域5内にある場合に、画像表示を開始する画像表示システム100について説明した。これに対し、本実施の形態では、首振り角が画像表示角よりも大きく、かつ、視線方向が首振り方向とは反対方向である場合に、画像表示を開始する画像表示システム101について説明する。なお、実施の形態2による画像表示システム101の基本的構成は、実施の形態1による画像表示システム100の場合と同様であるため、ここでは、両者の相違点について説明する。
実施の形態1では、首振り角が画像表示角よりも大きく、かつ、視線方向が表示開始領域5内にある場合に、画像表示を開始する画像表示システム100について説明した。これに対し、本実施の形態では、首振り角が画像表示角よりも大きく、かつ、視線方向が首振り方向とは反対方向である場合に、画像表示を開始する画像表示システム101について説明する。なお、実施の形態2による画像表示システム101の基本的構成は、実施の形態1による画像表示システム100の場合と同様であるため、ここでは、両者の相違点について説明する。
図9は、本発明の実施の形態2による画像表示システム101の機能構成の一例を示したブロックである。実施の形態1による画像表示システムの構成(図3)と比較すれば、首振り方向判別部22による首振り方向の判別結果が視線方向判別部23へ入力されている点で異なる。
視線方向判別部23は、ユーザの視線方向が首振り方向と反対方向であるか否かを判別している。ここでは、首振り方向判別部22が、首振り方向が上下左右の4方向のいずれであるのかを判別しているため、視線方向判別部23も、視線方向が上下左右の4方向のうち、いずれの方向であるのかを判別する。そして、判別された視線方向を首振り方向と比較することにより、互いに反対方向であるのか否かを判別している。
図10は、本発明の実施の形態2による視線方向判別処理についての説明図である。図中には、4つの視線方向判別領域5a〜5dが、左レンズ内の一部の領域として示されている。視線方向判別部23は、ユーザの視線方向が視線方向判別領域5a内にあれば、視線方向が左方向であると判別する。同様にして、視線方向判別領域5b,5c,5d内にあれば、それぞれ右方向、上方向、下方向であると判別する。この様にして視線方向が上下左右のいずれであるのかが判別できれば、この判別結果を首振り方向と比較することにより、互いに反対方向であるか否かを判別することができる。なお、方向判別部5a〜5dのいずれにも属していない場合には、正面方向であると判別され、首振り方向と反対方向ではないと判断される。
図11のステップS301〜S308は、図9の画像表示システム101における表示制御処理の一例を示したフローチャートである。このフローチャートは、ステップS304,S306及びS307を除き、図7のフローチャートと同様である。
ステップS302において、ユーザの顔が表示ゾーン42内を向いていると判断された場合、首振り方向判別部22が、ユーザの首振り方向を判別する(ステップS304)。例えば、ユーザが首を振った方向が、上下左右の4方向のうち、いずれの方向であるのかを判別する。
次に、HMD1が画像表示中である場合には、HMD1の表示画像が、首振り方向に対応する画像に切り替えられ、当該表示制御処理を終了する(ステップS305,S308)。
一方、HMD1が画像非表示中である場合には、視線方向判別部23が、ユーザの視線方向が上下左右の4方向のうち、いずれの方向であるのかを判別する(ステップS306)。そして、判別された視線方向が首振り方向と反対方向であるのかを判別する(ステップS307)。
その結果、視線方向が首振り方向と反対方向でないと判別すれば、当該表示制御処理を終了する。つまり、画像表示は開始されず、HMD1は非表示状態を維持する。一方、ユーザの視線方向が首振り方向と反対方向であると判別すれば、この判別結果に基づいて、表示制御部26が、画像表示を開始するための表示制御信号C1を生成し、HMD1は、画像非表示状態から画像表示状態へ移行する。
本実施の形態による画像表示システムでは、首振り角が画像表示角より大きく、かつ、視線方向が首振り方向とは反対方向である場合に、画像表示が開始される。一般に、視線方向と首振り方向が互いに反対方向になるという動作は、意識的に行わなければ生じない不自然な動作であるため、この様な条件に基づいて画像表示を開始することにより、ユーザの意に反して画像表示が開始されるのを防止することができる。
実施の形態3.
上記実施の形態1,2では、首振り角及び視線方向に基づいて、HMD1による画像表示の有無をユーザが制御する画像表示システム100,101について説明した。これに対し、実施の形態3では、HMD1による表示領域の全体ではなく、その一部について、同様の制御を行う場合について説明する。
上記実施の形態1,2では、首振り角及び視線方向に基づいて、HMD1による画像表示の有無をユーザが制御する画像表示システム100,101について説明した。これに対し、実施の形態3では、HMD1による表示領域の全体ではなく、その一部について、同様の制御を行う場合について説明する。
図12は、本発明の実施の形態3による画像表示の一例を示した図であり、HMD1を装着してピッキング作業を行っているユーザが視認するHMD1の表示画像の一例が示されている。また、図中の(a)には、画像非表示中の様子が示され、(b)には、画像表示中の様子が示されている。
このHMD1は、ユーザが視認可能な矩形の画像表示エリア60を有している。この画像表示エリア60は、上部の常時表示エリア61と、下部の情報表示エリア62とに分割されている。
常時表示エリア61は、無線通信の電波状態、電池残量、ユーザ名、作業名などの基本的情報を表示するための表示領域であり、HMD1への電源投入中は常時表示され、その表示の有無をユーザが制御することはできない。ただし、常時表示エリア61は、画像表示エリア60の周縁部に設けられた比較的狭い領域であることから、常時表示されていても、ユーザの作業効率を低下させず、また、安全性にもほとんど影響を与えない。
一方、情報表示エリア62は、作業に必要な詳細情報が表示される表示エリアであり、ユーザの首振り動作及び視線方向により、その表示の有無を制御することができる。この情報表示エリア62は、画像表示エリア60の大部分を占めるとともに、画像表示エリア60の中央を含んでいるため、ユーザは、必要なときには画像を表示させ、不要なときには画像を表示させないことが望ましい。
本実施の形態による画像表示システムは、ユーザの視線方向及び首振り角に基づいて、情報表示エリア62における画像表示の有無が制御される。つまり、情報表示エリアがHMD1の画像表示エリア60の一部の領域であれば、その一部の領域について、ユーザが表示又は非表示の制御を行うことができる。なお、HMD1の画像表示エリアの全体が情報表示エリア62であってもよいことは言うまでもない。
なお、上記実施の形態1〜3では、画像表示システム100,101が管理サーバ2を備えている場合について説明したが、本発明は、このような構成のみに限定されない。例えば、管理サーバ2の機能を胴体ユニット1B内に取り込むことにより、管理サーバ2を必要としない画像表示システムとして実現することもできる。
また、胴体センサ12を除き、胴体センサ12の機能を頭部ユニット1A内に取り込むことにより、胴体ユニット1Bを必要としないHMD1を実現することができる。この場合、管理サーバ2の機能も頭部ユニット1A内に取り込めば、頭部ユニット1Aのみで構成される画像表示システムを実現することができる。
また、上記実施の形態では、上下左右の首振り角を検出し、ユーザの顔について、上下左右の2次元の向きを判別し、画像の表示又は非表示を制御する場合について説明したが、本発明は、このような場合のみに限定されない。例えば、左右方向の首振り角のみを検出し、ユーザの顔の左右方向の向きに基づいて、画像の表示又は非表示を制御することもできる。同様にして、上下方向の首振り角のみを検出し、ユーザの顔の上下方向の向きに基づいて、画像の表示又は非表示を制御することもできる。
また、上記実施の形態では、頭部センサ11及び胴体センサ12が、頭部及び胴体の角速度をそれぞれ検出する場合について説明したが、本発明は、このような場合のみに限定されない。例えば、頭部及び胴体の回転角をそれぞれ検出するものであってよい。
また、上記実施の形態では、ハーフミラー142を備えた画像表示システムについて説明したが、本発明は、この様な場合のみに限定されない。例えば、ビーム光を網膜上でスキャンさせることにより、画像を視認させるようが画像表示システムであっても、本発明を適用することができる。
42a〜42d 表示ゾーン
1 HMD(ヘッドマウントディスプレイ)
1A 頭部ユニット
1B 胴体ユニット
10,20 通信部
11 頭部センサ
12 胴体センサ
13 カメラ
14 画像表示部
141 画像出力部
142 ハーフミラー
15 マイクロホン
2 管理サーバ
21 首振り角判別部
22 首振り方向判別部
23 視線方向判別部
25 音声コマンド識別部
26 表示制御部
30 眼鏡型フレーム
31 メインモジュール
32 通信ケーブル
40 基準方向
41 非表示ゾーン
42 表示ゾーン
5 表示開始領域
5a〜5d 視線方向判別領域
60 画像表示エリア
61 常時表示エリア
62 情報表示エリア
100,101 画像表示システム
C1 表示制御信号
C2 表示状態信号
S1〜S4 検出信号
θH,θV 首振り角
θH1,θV1,θV2 画像表示角
ωV,ωH1,ωH2 角速度
1 HMD(ヘッドマウントディスプレイ)
1A 頭部ユニット
1B 胴体ユニット
10,20 通信部
11 頭部センサ
12 胴体センサ
13 カメラ
14 画像表示部
141 画像出力部
142 ハーフミラー
15 マイクロホン
2 管理サーバ
21 首振り角判別部
22 首振り方向判別部
23 視線方向判別部
25 音声コマンド識別部
26 表示制御部
30 眼鏡型フレーム
31 メインモジュール
32 通信ケーブル
40 基準方向
41 非表示ゾーン
42 表示ゾーン
5 表示開始領域
5a〜5d 視線方向判別領域
60 画像表示エリア
61 常時表示エリア
62 情報表示エリア
100,101 画像表示システム
C1 表示制御信号
C2 表示状態信号
S1〜S4 検出信号
θH,θV 首振り角
θH1,θV1,θV2 画像表示角
ωV,ωH1,ωH2 角速度
Claims (10)
- ユーザの頭部に装着され、当該ユーザの視野内の情報表示エリアに画像表示を行う画像表示部と、
上記頭部に装着され、上記頭部の回転動作を検出する頭部センサと、
上記ユーザの視線方向を検出する視線検出部と、
上記頭部センサの検出結果に基づいて、上記ユーザの首振り角を求める首振り角判別部とを備え、
上記画像表示部は、上記視線方向及び上記首振り角に基づいて、上記情報表示エリアにおける画像表示を開始することを特徴とする画像表示システム。 - 上記画像表示部は、上記首振り角が画像表示角より大きく、かつ、上記視線方向が正面方向を含まない表示開始領域内にある場合に、上記情報表示エリアにおける画像表示を開始することを特徴とする請求項1に記載の画像表示システム。
- 上記頭部センサの検出結果に基づいて、上記ユーザの首振り方向を求める首振り方向判別部を備え、
上記画像表示部は、上記首振り角が画像表示角より大きく、かつ、上記視線方向が上記首振り方向とは反対方向である場合に、上記情報表示エリアにおける画像表示を開始することを特徴とする請求項1に記載の画像表示システム。 - 上記ユーザの胴体に装着され、上記胴体の回転動作を検出する胴体センサを備え、
上記首振り角判別部は、上記頭部センサ及び上記胴体センサの検出結果に基づいて左右方向に関する上記首振り角を求めることを特徴とする請求項1〜3のいずれかに記載の画像表示システム。 - 上記首振り角判別部は、上記頭部センサの検出結果に基づいて上下方向に関する上記首振り角を求めることを特徴とする請求項1〜3に記載の画像表示システム。
- 上記頭部センサの検出結果に基づいて、上記ユーザの首振り方向を求める首振り方向判別部を備え、
上記画像表示部は、上記首振り方向に応じた画像を表示することを特徴とする請求項1に記載の画像表示システム。 - 上記視線検出部は、上記ユーザの眼を撮影する撮影部と、撮影された画像内における瞳の位置を判別する瞳位置判別部とを有し、上記瞳の位置により視線方向を求めることを特徴とする請求項1に記載の画像表示システム。
- 上記画像表示部は、上記画像を出力する画像出力部と、上記ユーザの眼の近傍に配置されたハーフミラーとを備え、
上記ハーフミラーを透過した外光に対し、上記ハーフミラーで反射した上記画像出力部からの出射光が重畳され、上記眼に入射されることを特徴とする請求項1に記載の画像表示システム。 - 上記ユーザの音声が入力されるマイクロホンと、
上記情報表示エリアにおける画像表示中に入力された上記音声から音声コマンドを識別し、入力信号を生成する音声コマンド識別部とを備え、
上記情報表示エリアにおける画像非表示中に入力された上記音声から上記入力信号を生成しないことを特徴とする請求項1に記載の画像表示システム。 - 互いに無線通信可能な携帯表示端末及び表示制御装置からなる画像表示システムにおいて、
上記携帯表示端末は、
ユーザの頭部に装着され、当該ユーザの視野内の情報表示エリアに画像表示を行う画像表示部と、
上記頭部の回転動作を検出する頭部センサと、
上記ユーザの視線方向を検出する視線検出部とを備え、
上記表示制御装置は、上記頭部センサの検出結果に基づいて、上記ユーザの首振り角を求める首振り角判別部と、
上記視線方向及び上記首振り角に基づいて、上記情報表示エリアにおける画像表示を制御するための表示制御信号を生成する表示制御部とを備え、
上記画像表示部は、上記表示制御信号に基づいて、上記情報表示エリアにおける画像表示を開始することを特徴とする画像表示システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011222362A JP2013083731A (ja) | 2011-10-06 | 2011-10-06 | 画像表示システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011222362A JP2013083731A (ja) | 2011-10-06 | 2011-10-06 | 画像表示システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013083731A true JP2013083731A (ja) | 2013-05-09 |
Family
ID=48528996
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011222362A Pending JP2013083731A (ja) | 2011-10-06 | 2011-10-06 | 画像表示システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013083731A (ja) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016002318A1 (ja) * | 2014-06-30 | 2016-01-07 | ソニー株式会社 | 情報処理装置及び情報処理方法、コンピューター・プログラム、並びに画像処理システム |
JP2016115329A (ja) * | 2015-05-22 | 2016-06-23 | 株式会社コロプラ | ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイへ表示するための方法、及びプログラム |
JP2016527536A (ja) * | 2013-06-07 | 2016-09-08 | 株式会社ソニー・インタラクティブエンタテインメント | ヘッドマウントディスプレイでユーザーの動きに応答する画像レンダリング |
JP2017502570A (ja) * | 2013-12-03 | 2017-01-19 | ノキア テクノロジーズ オーユー | ヘッドマウントディスプレイへの情報の表示 |
JP2017058969A (ja) * | 2015-09-16 | 2017-03-23 | グリー株式会社 | 仮想画像表示プログラム、仮想画像表示装置及び仮想画像表示方法 |
WO2017138278A1 (ja) * | 2016-02-12 | 2017-08-17 | 本田技研工業株式会社 | 画像表示装置および画像表示方法 |
JP2017151672A (ja) * | 2016-02-24 | 2017-08-31 | 株式会社ミツトヨ | 眼で操作するポインティングデバイス、および、それを利用した測定システム |
JP2019012551A (ja) * | 2018-09-10 | 2019-01-24 | グリー株式会社 | 仮想画像表示プログラム、仮想画像表示装置及び仮想画像表示方法 |
JP2019159335A (ja) * | 2019-05-29 | 2019-09-19 | 株式会社東芝 | ウェアラブル機器及び表示方法 |
US10778893B2 (en) | 2017-12-22 | 2020-09-15 | Seiko Epson Corporation | Detection device, display device and detection method |
JP2021089744A (ja) * | 2021-01-25 | 2021-06-10 | 株式会社東芝 | ウェアラブル機器及び表示方法 |
JP2022038495A (ja) * | 2020-08-26 | 2022-03-10 | ソフトバンク株式会社 | 表示制御装置、プログラム、及びシステム |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000266546A (ja) * | 1999-03-18 | 2000-09-29 | Shimadzu Corp | 姿勢検出方法 |
JP2001103395A (ja) * | 1999-09-30 | 2001-04-13 | Kawasaki Heavy Ind Ltd | ヘッド・マウント・ディスプレイ装置 |
JP2004233909A (ja) * | 2003-01-31 | 2004-08-19 | Nikon Corp | ヘッドマウントディスプレイ |
JP2007094619A (ja) * | 2005-09-28 | 2007-04-12 | Omron Corp | 認識装置および方法、記録媒体、並びに、プログラム。 |
JP2007094935A (ja) * | 2005-09-30 | 2007-04-12 | Omron Corp | 情報処理装置および情報処理方法、情報処理システム、プログラム、並びに、記録媒体 |
WO2007105792A1 (ja) * | 2006-03-15 | 2007-09-20 | Omron Corporation | 監視装置および監視方法、制御装置および制御方法、並びにプログラム |
JP2008065169A (ja) * | 2006-09-08 | 2008-03-21 | Sony Corp | 表示装置、表示方法 |
-
2011
- 2011-10-06 JP JP2011222362A patent/JP2013083731A/ja active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000266546A (ja) * | 1999-03-18 | 2000-09-29 | Shimadzu Corp | 姿勢検出方法 |
JP2001103395A (ja) * | 1999-09-30 | 2001-04-13 | Kawasaki Heavy Ind Ltd | ヘッド・マウント・ディスプレイ装置 |
JP2004233909A (ja) * | 2003-01-31 | 2004-08-19 | Nikon Corp | ヘッドマウントディスプレイ |
JP2007094619A (ja) * | 2005-09-28 | 2007-04-12 | Omron Corp | 認識装置および方法、記録媒体、並びに、プログラム。 |
JP2007094935A (ja) * | 2005-09-30 | 2007-04-12 | Omron Corp | 情報処理装置および情報処理方法、情報処理システム、プログラム、並びに、記録媒体 |
WO2007105792A1 (ja) * | 2006-03-15 | 2007-09-20 | Omron Corporation | 監視装置および監視方法、制御装置および制御方法、並びにプログラム |
JP2008065169A (ja) * | 2006-09-08 | 2008-03-21 | Sony Corp | 表示装置、表示方法 |
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016527536A (ja) * | 2013-06-07 | 2016-09-08 | 株式会社ソニー・インタラクティブエンタテインメント | ヘッドマウントディスプレイでユーザーの動きに応答する画像レンダリング |
JP2017502570A (ja) * | 2013-12-03 | 2017-01-19 | ノキア テクノロジーズ オーユー | ヘッドマウントディスプレイへの情報の表示 |
US10310595B2 (en) | 2014-06-30 | 2019-06-04 | Sony Corporation | Information processing apparatus, information processing method, computer program, and image processing system |
JPWO2016002318A1 (ja) * | 2014-06-30 | 2017-04-27 | ソニー株式会社 | 情報処理装置及び情報処理方法、コンピューター・プログラム、並びに画像処理システム |
WO2016002318A1 (ja) * | 2014-06-30 | 2016-01-07 | ソニー株式会社 | 情報処理装置及び情報処理方法、コンピューター・プログラム、並びに画像処理システム |
JP2016115329A (ja) * | 2015-05-22 | 2016-06-23 | 株式会社コロプラ | ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイへ表示するための方法、及びプログラム |
JP2017058969A (ja) * | 2015-09-16 | 2017-03-23 | グリー株式会社 | 仮想画像表示プログラム、仮想画像表示装置及び仮想画像表示方法 |
US11896897B2 (en) | 2015-09-16 | 2024-02-13 | Gree, Inc. | Virtual image display program, virtual image display apparatus, and virtual image display method |
US11311798B2 (en) | 2015-09-16 | 2022-04-26 | Gree, Inc. | Virtual image display program, virtual image display apparatus, and virtual image display method |
US10406432B2 (en) | 2015-09-16 | 2019-09-10 | Gree, Inc. | Virtual image display program, virtual image display apparatus, and virtual image display method |
US10642033B2 (en) | 2016-02-12 | 2020-05-05 | Honda Motor Co., Ltd. | Image display device and image display method |
EP3416159A4 (en) * | 2016-02-12 | 2019-07-24 | Honda Motor Co., Ltd. | IMAGE DISPLAY DEVICE AND IMAGE DISPLAY METHOD |
JPWO2017138278A1 (ja) * | 2016-02-12 | 2018-10-11 | 本田技研工業株式会社 | 画像表示装置および画像表示方法 |
CN108475495A (zh) * | 2016-02-12 | 2018-08-31 | 本田技研工业株式会社 | 图像显示装置及图像显示方法 |
WO2017138278A1 (ja) * | 2016-02-12 | 2017-08-17 | 本田技研工業株式会社 | 画像表示装置および画像表示方法 |
JP2017151672A (ja) * | 2016-02-24 | 2017-08-31 | 株式会社ミツトヨ | 眼で操作するポインティングデバイス、および、それを利用した測定システム |
US10778893B2 (en) | 2017-12-22 | 2020-09-15 | Seiko Epson Corporation | Detection device, display device and detection method |
JP2019012551A (ja) * | 2018-09-10 | 2019-01-24 | グリー株式会社 | 仮想画像表示プログラム、仮想画像表示装置及び仮想画像表示方法 |
JP2019159335A (ja) * | 2019-05-29 | 2019-09-19 | 株式会社東芝 | ウェアラブル機器及び表示方法 |
JP2022038495A (ja) * | 2020-08-26 | 2022-03-10 | ソフトバンク株式会社 | 表示制御装置、プログラム、及びシステム |
JP2021089744A (ja) * | 2021-01-25 | 2021-06-10 | 株式会社東芝 | ウェアラブル機器及び表示方法 |
JP7119145B2 (ja) | 2021-01-25 | 2022-08-16 | 株式会社東芝 | ウェアラブル機器及び表示方法 |
JP2022140629A (ja) * | 2021-01-25 | 2022-09-26 | 株式会社東芝 | ウェアラブル機器及び表示方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2013083731A (ja) | 画像表示システム | |
US20220153412A1 (en) | Control method, control system, and smart glasses for first person view unmanned aerial vehicle flight | |
US20230209030A1 (en) | Scope of coverage indication in immersive displays | |
KR102391860B1 (ko) | 정보 처리 시스템 및 정보 처리 방법 | |
US9377869B2 (en) | Unlocking a head mountable device | |
US9164588B1 (en) | Wearable computing device with gesture recognition | |
US10061992B2 (en) | Image display system | |
EP3301545B1 (en) | Computer program, object tracking method, and display device | |
US9823735B2 (en) | Method for selecting an information source from a plurality of information sources for display on a display of smart glasses | |
US11487354B2 (en) | Information processing apparatus, information processing method, and program | |
JP6201024B1 (ja) | ヘッドマウントデバイスを用いてコンテンツを提供するアプリケーションへの入力を支援するための方法、当該方法をコンピュータに実行させるためのプログラム、およびコンテンツ表示装置 | |
JP6023568B2 (ja) | 頭部装着型装置 | |
KR20150096948A (ko) | 증강 현실 사진 촬영 가이드를 디스플레이 하는 헤드 마운티드 디스플레이 디바이스 및 그 제어 방법 | |
JP5622431B2 (ja) | 頭部装着型瞳孔検出装置 | |
JP2019109850A (ja) | 透過型表示装置、表示制御方法、およびコンピュータープログラム | |
US11137600B2 (en) | Display device, display control method, and display system | |
WO2018198499A1 (ja) | 情報処理装置、情報処理方法、及び記録媒体 | |
JP2011197736A (ja) | 視界支援装置 | |
JP2022100134A (ja) | 情報処理装置、情報処理システムおよびプログラム | |
US20240111332A1 (en) | Head mounted display with flip-up display device | |
US20240027765A1 (en) | Control device, control method for head-mounted display device, and program | |
KR101782476B1 (ko) | 사용자 시선 기반 디스플레이 출력 자동 회전 방법 | |
WO2017122508A1 (ja) | 情報表示システムおよび情報表示方法 | |
CN114556187B (zh) | 头部佩戴型显示装置和显示内容控制方法 | |
WO2024201656A1 (ja) | 携帯情報端末及び携帯情報端末の表示制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140825 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150611 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150616 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20151020 |