JP2018004756A - 情報表示システム - Google Patents

Abstract

【課題】補助情報が適切な位置に自動的に設置されることで、補助情報の視認性が向上する情報表示システムの提供。【解決手段】使用者Ａが注視する主情報１３０と同一の視野１１０内に補助情報１２０を表示する表示装置１００における視野１１０内において補助情報１２０が移動可能な領域３１を決定する領域決定手段３０と、表示装置１００の回転を検出して旋回情報Ｂ、θを取得するための旋回情報取得手段と、視野１１０内における補助情報１２０の位置を取得するための位置検出手段と、旋回情報Ｂ、θを用いて領域３１内に入るように前記位置を補正するための位置制御手段と、を有する情報表示システム５００。【選択図】図３

Description

本発明は、情報表示システムに関する。

使用者の眼前に透過型あるいは非透過型のディスプレイを配置して、使用者の視野内に存在する各種情報に関連した映像を表示する眼鏡型の画像表示装置が知られている（例えば特許文献１等参照）。

このような画像表示装置において、使用者が最も注目したい主情報の他に、かかる主情報に関連した補助情報を表示することがある。
しかしながら、使用者が主情報に注目するあまり、主情報を視野から外さないように首の回転運動によって主情報を追いかけるような状態で、補助情報の表示される位置が主情報に被ってしまう、あるいは視野から外れてしまうなどの問題が生じる懸念があった。

本発明は、以上のような問題点に鑑みてなされたものであり、補助情報が適切な位置に自動的に設置されることで、補助情報の視認性が向上する情報表示システムの提供を目的とする。

上述した課題を解決するため、本発明の情報表示システムは、使用者が注視する主情報と同一の視野内に補助情報を表示する表示装置における前記視野内において前記補助情報が移動可能な領域を決定する領域決定手段と、前記表示装置の回転を検出して旋回情報を取得するための旋回情報取得手段と、前記視野内における前記補助情報の位置を取得するための位置検出手段と、前記旋回情報を用いて前記領域内に入るように前記位置を補正するための位置制御手段と、を有する。

本発明の情報表示システムによれば、補助情報が適切な位置に自動的に設置されることで、補助情報の視認性が向上する。

本発明の実施形態にかかる情報表示システムの全体構成の一例を示す図である。 図１に示した表示装置の構成の一例を示す図である。 図１に示した表示装置の装着例を示す図である。 領域決定手段が定める表示領域及び表示限界領域の一例を示す図である。 図１に示した使用者の視界から見たときの見え方の一例を示す図である。 使用者が物体を追従するように首を回動させる動作を模式的に示す図である。 図６で示した動作時の視野の変化を示す図である。 情報表示システムの動作の一例を示すフロー図である。 情報表示システムの他の一例を示す図である。

本発明の第１の実施形態の一例として図１に透過型の画像表示装置たる頭部装着ディスプレイとしての表示装置１００を備える情報表示システム５００の概略構成を示す。
なお、以降の説明では、使用者Ａの前方方向をＺ方向とし、Ｚ方向に垂直な方向のうち、鉛直上方をＹ方向、Ｚ方向とＹ方向とに垂直な方向である水平方向をＸ方向とする。

情報表示システム５００は、使用者Ａの頭部に装着され、使用者Ａに情報を表示する表示装置１００と、表示装置１００の回転を検出する旋回情報取得手段たるジャイロセンサー２０と、表示装置１００の制御を行う制御部９と、を有している。

表示装置１００は、本実施形態では使用者Ａの頭部に装着される視認装置であり、使用者Ａが視認する現実の視覚情報に情報を付加する所謂拡張現実（Ａｕｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）を体験させるためのヘッドマウントディスプレイである。
表示装置１００は、図２に示すように、使用者Ａの頭部に装着される眼鏡形状の筐体たる筐体部１０１と、使用者Ａの眼前に画像を表示するための透過型ディスプレイである画像表示部３と、画像を出力する投影手段たる画像出力部１と、を有している。

筐体部１０１は、使用者Ａの左右の眼前に形成された透明な前面部１０１ａと、前面部１０１ａに取り付けられ、使用者Ａの頭部に少なくとも一部が当接して前面部１０１ａを支持する側面部１０１ｂと、を有している。

画像出力部１は、筐体部１０１に取り付けられて、画像１２０を投射するための投射型光学系を備えた画像投射装置である。

画像表示部３は、図３に示すように、画像出力部１から出射された画像１２０を使用者Ａの眼に向けて反射する反射板５０を有している。
使用者Ａは、反射板５０によって反射された画像１２０を、図２に示した視野１１０の範囲内に存在する虚像として認識する。したがって、画像表示部３は、虚像形成部としての機能を有している。
なお、反射板５０は本実施形態では透過型のハーフミラーを用いたが、その他の構成であっても良い。

画像表示部３に表示される画像１２０は、図１に示すように、文字情報を含んだ画像データであっても良い。

ジャイロセンサー２０は、表示装置１００の筐体部１０１内部に取り付けられ、表示装置１００の回転を検知する。具体的には、ジャイロセンサー２０は、表示装置１００の回転によって生じる慣性力を検知して、表示装置１００本体の旋回方向Ｂと図６で後述する旋回角度θとを旋回情報として検出する。
なお、ジャイロセンサー２０は、Ｙ軸に平行な回転軸を中心とする上下軸たる「ヨー軸」、Ｘ軸に平行な左右軸たる「ピッチ（ピッチング）軸」、Ｚ軸に平行な前後軸たる「ロール軸」の３つの軸それぞれの旋回情報を取得可能である。
また、以降の説明で特に必要な場合には、「ヨー軸」「ピッチ軸」「ロール軸」の３軸について、各軸を中心として回転する方向を「ヨー方向」「ピッチ方向」「ロール方向」との呼称で示す。

制御部９は、図３に示すように、使用者Ａの注視する主情報たる物体１３０と同一の視野１１０内において、後述する補助情報たる画像１２０の表示領域３１を決定するための領域決定手段３０を有している。
制御部９は、視野１１０内における画像１２０の位置を取得する位置検出手段たる画像位置認識部４０と、ジャイロセンサー２０から出力される旋回情報を用いて画像１２０の位置を調整する位置制御手段たる補正部４１と、を有している。

領域決定手段３０は、図４に示すように、視野１１０における画像１２０の表示可能な位置を決定する。本実施形態では、領域決定手段３０は、画像１２０がその内部で移動可能な領域である表示領域３１と、表示領域３１の視野中心から外側にあって、後述するように画像１２０が当該領域に触れると画像を移動させる表示限界領域３２と、を決定する。
なお、以降の説明で、特に必要のあるときには、視野１１０の右側に位置する表示領域３１の左端部すなわち視野１１０の中央側の端部の座標をφ_ｓ１、表示領域３１の右端側であって表示限界領域３２との境界部分の座標をφ_ｓ２、視野１１０の外側端部であって、表示限界領域３２の視野１１０外側の端部をφ_ｓ３として記載する。

表示限界領域３２は、使用者Ａが物体１３０を注視したときに視認可能な視野範囲において、水平方向の外縁部に配置されることが最も望ましい。ただし、かかる構成に限定されるものではなく、表示限界領域３２は、視野１１０における自由な位置に配置して良い。

画像位置認識部４０は、画像１２０の位置と、物体１３０の位置と、を表示装置１００を中心とする極座標表示で認識及び記憶するための記録手段である。
画像位置認識部４０は、画像１２０の位置を左上部１２０ａの位置（ｒ，φ_ｘ１）と右上部１２０ｂの位置（ｒ，φ_ｘ２）とを基準として認識する。このとき、ｒは使用者Ａあるいは表示装置１００から画像１２０までの距離を表している。
なお、かかる位置の認識は、４隅の何れかの位置で行うことが望ましいが、かかる構成に限定されるものではなく、例えば画像１２０が矩形の場合には、４辺のうちの１辺の位置を基準としても良い。

補正部４１は、ジャイロセンサー２０が検出した旋回方向Ｂと、旋回角度θと、を用いて、使用者Ａが水平方向に首を旋回したときの視野１１０の変化に基づいて画像１２０の位置を補正するための位置制御手段としての補正手段である。

かかる表示装置１００を用いて、使用者Ａが外部の注視情報である物体１３０の様子を確認しながら表示装置１００に表示される補助情報である画像１２０を読み取る方法について述べる。
なお、本実施形態に示すような表示装置１００においては、使用者Ａの首の左右の動きによる旋回が最も顕著な旋回であると考えられる。したがって、本実施形態では特に旋回方向が図６にθとして示したＹ軸を中心として回転する方向であるヨー方向、すなわちＺＸ平面上における旋回であって、図１、図６に示す方向へ回動する場合について説明する。

図５は、使用者Ａの視野１１０の上に領域決定手段３０の設定した表示領域３１と、表示限界領域３２と、を投影した図である。
このように、表示領域３１よりも視野１１０の内側の領域は、物体１３０を注視したときに主情報たる物体１３０が表示される、主情報表示部１３３としての機能を有している。
使用者Ａが静止した物体１３０をまっすぐに注視している初期状態において、画像１２０は、領域決定手段３０によって定められた表示領域３１及び／または表示限界領域３２に表示される。

画像位置認識部４０は、かかる初期状態における画像１２０の表示位置を、左上部１２０ａ及び右上部１２０ｂの初期位置（ｒ，φ_ｘ１）、（ｒ，φ_ｘ２）としてそれぞれ記憶する。
かかる表示装置１００においては、画像１２０は、物体１３０の位置に合わせて距離ｒが調整されるように表示することが望ましいため、現実空間における直交座標系に変換されて位置を定められている。
そのため、使用者Ａの視野１１０と画像１２０との間の位置関係は可変であって、視野１１０の変化に対して画像１２０の位置は追従する必要がある。

さて、かかる初期状態から、物体１３０が突然左右に動くなどして、使用者Ａが物体１３０を注視するために首を左右に旋回させるような場合が考えられる。
なお、使用者Aが図６に示すようなB方向への首の旋回動作を行った際の、視野の変化を模式的に示したものが図７である。
単に画像１２０を表示させる位置を決めるのみでは、かかる急な移動に対して、図６、図７に示すように、画像１２０が追従しきれずに、視野１１０の外側に一部がはみ出してしまったり、あるいは注視したい物体１３０の上に被ってしまったりする。
このような画像１２０の位置に関する問題は、従来のように、視野１１０の中央付近に画像を表示するような場合には、単に画像１２０の表示位置を定めるだけであっても、さほど大きな問題とはならなかった。
しかしながら、本実施形態のように、主情報となる注目情報に対して、それを補足するような補助情報を表示するような場合には、補助情報は視野１１０の周縁部分に表示されることが望ましいため、画像１２０の視認性の確保が問題となっていた。

以上のような問題を鑑みて、本実施形態においては、図８に示すようなフローに従って処理を行うことで、画像１２０の視認性を損なうことなく、常に画像１２０を視野１１０の周縁部に表示する。
まず、初期状態から使用者Ａが首を旋回したことをジャイロセンサー２０が検知すると、ジャイロセンサー２０は、かかる首の回転角θを記憶する（ステップＳ５４９）。
このとき、領域決定手段３０は、表示領域３１と表示限界領域３２とのそれぞれの座標φ_ｓ１、φ_ｓ２、φ_ｓ３をそれぞれ回転角θを加えて再定義する（ステップＳ５５０）。
画像位置認識部４０は、かかる再定義された座標φ_ｓ２と画像１２０の初期位置（ｒ，φ_ｘ１）とを比較して、φ_ｓ２＜φ_ｘ１かどうかを確認する（ステップＳ５５１）。
かかるステップＳ５５１は、画像１２０が首の旋回後に表示限界領域３２に含まれていないかどうかを確認する表示位置確認ステップである。

ステップＳ５５１において、画像１２０がφ_ｓ２＜φ_ｘ１であると確認されたときには、補正部４１は、φ_ｘ１とφ_ｓ２とを用いて、画像１２０を補正させるために必要な偏角の差ｄφ＝φ_ｘ１−φ_ｓ２を算出する（ステップＳ５５２）。
かかるステップＳ５５２は、画像１２０の補正に用いる偏角を算出するための偏角算出ステップである。

補正部４１は、ステップＳ５５２で算出された偏角の差ｄφを用いて、φ_ｘ１’＝φ_ｘ１−ｄφ、φ_ｘ２’＝φ_ｘ２−ｄφとして新たに得られたφ_ｘ１’、φ_ｘ２’をφ_ｘ１、φ_ｘ２として画像１２０の位置を新たに更新する（ステップＳ５５３）。

このように、偏角の差ｄφを用いて画像１２０の位置を更新することにより、画像１２０は、表示限界領域３２に隣接して表示領域３１の中に収まるように位置が補正される。
そのため、画像１２０が視野１１０の外側に行ってしまったり、注視している物体１３０に被ったりすることが抑制され、その結果、かかる原因で生じる視認性の悪化を抑制することができる。

次に、物体１３０が停止して、使用者Ａが左旋回を止め、物体１３０を視野１１０の中心に持ってくるために右へ旋回するような場合を考える。
このときまず画像位置認識部４０は、表示すべき画像１２０の幅ｘ_１２０が表示領域３１の幅ｘ_３１よりも長いか短いかを判別する（ステップＳ５５４）。
ステップＳ５５４において、ｘ_３１＜（φ_ｘ２−φ_ｘ１）を満たす場合には、補正部４１は、画像１２０の位置を、表示領域３１の範囲内の任意の位置になるように、画像１２０の左上部１２０ａの位置座標が、φ_ｘ１＜φ_ｓ１を満たすかどうかを判別する（ステップＳ５５５）。
φ_ｘ１＜φ_ｓ１を満たすときには、ステップＳ５５２と同様に、偏角の差ｄφ＝φ_ｓ１−φ_ｘ１を算出する（ステップＳ５５６）。
ステップＳ５５６で求められた偏角の差ｄφは、表示領域３１の視野１１０における中心側の境界から、画像１２０までの間の偏角の差を表しているから、かかる偏角の差の分だけ画像１２０を左方向にずらせば、画像１２０と物体１３０の間の距離を縮められる。
すなわち、補正部４１がφ_ｘ１’＝φ_ｘ１＋ｄφを新たなφ_ｘ１として更新することで、画像１２０は常にφ_Ｓ１の位置と画像１２０の左辺側とが一致するように移動する（ステップＳ５５７）。
かかる構成により、画像１２０の幅ｘ_１２０が表示領域３１の幅ｘ_３１よりも短い場合には、補正部４１は、画像１２０が常に主情報表示部１３３と表示領域３１との境界に当接して表示されるように補正する。
かかる構成により、注視したい物体１３０と、補助情報である画像１２０との間の距離が不必要に離れることがなくなるため、使用者Ａは物体１３０と画像１２０とを同時に視認しやすくなるから、視認性が向上する。

一方、画像１２０の幅ｘ_１２０が表示領域３１の幅ｘ_３１よりも長い場合には、補正部４１は、画像１２０の位置を、表示領域３１の外周縁側の位置になるように、画像１２０の右上部１２０ｂの位置座標が、φ_ｘ２＜φ_ｓ３を満たすかどうかを判別する（ステップＳ５５８）。
ステップＳ５５８において、φ_ｘ２＜φ_ｓ３を満たすときには、画像１２０は表示限界領域３２にはみ出した状態であるから、補正部４１は偏角の差ｄφ＝φ_ｓ３−φ_ｘ２を算出する（ステップＳ５５９）。
補正部４１は、ステップＳ５５９で算出された偏角の差ｄφを用いて、φ_ｘ１’＝φ_ｘ１＋ｄφ、φ_ｘ２’＝φ_ｘ２＋ｄφとして新たに得られたφ_ｘ１’、φ_ｘ２’をφ_ｘ１、φ_ｘ２として画像１２０の位置を新たに更新する（ステップＳ５６０）。
かかる構成により、画像１２０の位置は、常に画像１２０の＋Ｘ側端部が視野１１０の＋Ｘ側端部と一致するように表示される。
かかる構成により、幅の広い画像１２０を表示するときには、画像１２０が視野１１０の外側の視認できない位置に行くことを防ぎながらも、主情報表示部１３３と画像１２０との重複する部分を最小に抑えることが出来るので、画像１２０の視認性が向上する。

以下、ジャイロセンサー２０が回転を検知するたびに、上述のような更新処理を行う。

本実施形態では、使用者Ａが注視する物体１３０と同一の視野１１０内に画像１２０を表示する表示装置１００において、視野１１０内において画像１２０が移動可能な領域を決定する領域決定手段３０を有している。
また、本実施形態では、表示装置１００の回転を検出して旋回情報を取得するためのジャイロセンサー２０と、視野１１０内における画像１２０の位置を取得するための画像位置認識部４０と、を有している。
また、本実施形態では、旋回情報を用いて視野１１０内に入るように位置φ_ｘ１、φ_ｘ２を補正するための補正部４１と、を有している。
かかる構成により、使用者Ａが首を旋回させて物体１３０の移動を追いかけるような場合にも、画像１２０が視野外へと移動してしまうことを防ぐとともに、視認性の向上に寄与する。
すなわち、情報表示システム５００は、補助情報が適切な位置に自動的に設置されることで、補助情報の視認性が向上する。

また、本実施形態では、ジャイロセンサー２０は、３次元座標空間における回転の旋回方向と、回転の旋回角度θと、を旋回情報として取得する。
かかる構成により、補正部４１が使用者Ａの首の回転角θに合わせて画像１２０の表示位置φ_ｘ１、φ_ｘ２を補正するから、物体１３０と画像１２０との視認性が向上する。

また、本実施形態では、ジャイロセンサー２０は、旋回情報を、３次元座標空間におけるロール、ピッチ、ヨーのそれぞれの方向について取得する。
かかる構成により、水平方向以外の回転についても画像１２０の表示位置を追従できるから、物体１３０と画像１２０との視認性が向上する。

また、本実施形態では、表示装置１００は、透過型のヘッドマウントディスプレイである。
かかる構成により、補助情報が適切な位置に自動的に設置されることで、使用者Ａは現実世界の物体１３０を見ながら画像１２０の情報を同時に視認できるから、補助情報の視認性が向上する。

また、本実施形態の情報表示システム５００の変形例として、図９に示すように、表示装置として非透過型のヘッドマウントディスプレイである表示装置２００を用いた例を説明する。
表示装置２００は、装着する使用者Ａに現実の世界とは異なる世界、仮想現実（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ：ＶＲ）を体験させることを主目的とする没入型のヘッドマウントディスプレイである。

本実施形態では、表示装置２００は、主情報たる主画像１４０と補助情報たる補助画像１５０と、を表示する。
本実施形態においても、表示装置２００は、図８に示したフロー図と同様の処理を行うことで、使用者Ａが注目したい主画像１４０と同一視野内に、補助画像１５０を表示することができる。

以上本発明の好ましい実施の形態について説明したが、本発明はかかる特定の実施形態に限定されるものではなく、上述の説明で特に限定していない限り、特許請求の範囲に記載された本発明の趣旨の範囲内において、種々の変形・変更が可能である。

例えば、上記実施形態においては、表示装置を備える情報表示システムとしたが、任意の表示装置に対して、表示する画像の位置のみを指示するような情報表示ソフトウェアの構成であっても良い。あるいは、表示装置が領域決定手段と、旋回情報取得手段と、位置検出手段と、位置制御手段と、を有する形態であっても良い。
また、領域決定手段と、旋回情報取得手段と、位置検出手段と、位置制御手段と、が外部の情報処理装置や外部の記憶媒体に記憶されたプログラムの形式で提供されていても構わない。

また、上記実施形態においては、眼鏡型の表示装置について述べたが、その他の構成であっても良い。
また、補助情報は、画像であっても、記号や文字などの情報であってもよく、その形態は特に限定されるものではない。

本発明の実施の形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施の形態に記載されたものに限定されるものではない。

３ 画像表示部
２０ 旋回情報取得手段（ジャイロセンサー）
３０ 領域決定手段
３１ 移動可能な領域（表示領域）
４０ 位置検出手段（画像位置認識部）
４１ 位置制御手段（補正部）
１００ 表示装置
１０１ 筐体部
１１０ 視野
１２０ 補助情報（画像）
１３０ 主情報（物体）
１４０ 主情報（主画像）
１５０ 補助情報（補助画像）
５００ 情報表示システム
Ａ 使用者
Ｂ 旋回方向（旋回情報）
θ 旋回角度（旋回情報）

特開２０１５−１５００６３号公報

Claims (6)

1. 使用者が注視する主情報と同一の視野内に補助情報を表示する表示装置における前記視野内において前記補助情報が移動可能な領域を決定する領域決定手段と、
   前記表示装置の回転を検出して旋回情報を取得するための旋回情報取得手段と、
   前記視野内における前記補助情報の位置を取得するための位置検出手段と、
   前記旋回情報を用いて前記領域内に入るように前記位置を補正するための位置制御手段と、
   を有する情報表示システム。
2. 請求項１に記載の情報表示システムであって、
   前記旋回情報取得手段は、３次元座標空間における前記回転の旋回方向と、前記回転の旋回角度と、を前記旋回情報として取得することを特徴とする情報表示システム。
3. 請求項２に記載の情報表示システムであって、
   前記旋回情報取得手段は、前記旋回情報を、３次元座標空間におけるロール、ピッチ、ヨーのそれぞれの方向について取得することを特徴とする情報表示システム。
4. 請求項１乃至３の何れか１つに記載の情報表示システムであって、
   前記表示装置は、前記主情報と前記補助情報とを表示することを特徴とする情報表示システム。
5. 請求項４に記載の情報表示システムであって、
   前記表示装置は非透過型のヘッドマウントディスプレイであることを特徴とする情報表示システム。
6. 請求項１乃至３の何れか１つに記載の情報表示システムであって、
   前記表示装置は、透過型のヘッドマウントディスプレイであることを特徴とする情報表示システム。

Images