JP6039525B2 - ヘッドマウントディスプレイ及びその制御方法、並びにヘッドマウントディスプレイを制御するためのコンピュータプログラム及びコンピュータプログラムを記録した記録媒体 - Google Patents

Description

本発明は、ユーザの頭部に装着され、該ユーザの視界と併せて様々な情報を表示するヘッドマウントディスプレイ及びその制御方法に関する。

近年、ユーザの視界を通した現実の映像に、コンピュータで作成された付加情報（以下、アノテーションともいう）を重畳して表示させる技術として、拡張現実技術（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：ＡＲ技術）が知られている。
上記に関連する技術として、特許文献１には、拡張現実技術を用いて携帯端末で撮像される画像上にアノテーションを重畳表示させる技術が開示されている。詳しくは、拡張現実サービスに用いられるマップを予め移動速度に適したグリッドサイズで区切り、該グリッドで囲まれるセル内のアノテーションを調整することにより、携帯端末の移動速度に応じて該携帯端末にアノテーションの情報量を可変可能な技術が開示されている。
一方、携帯端末ユーザの移動手段を判定する装置が特許文献２に開示されている。
本発明に関連する従来技術を開示する特許文献３又は４も参照されたい。

特開２０１１−１２３８０７号公報 特開２０１０−０１４５９２号公報 特開２００５−３０３８４２号公報 特表２０１３−００８２３２号公報

上記ＡＲ技術を用いれば、ユーザの視界に映るオブジェクトに対してはアノテーションを重畳表示させることができるものの、ユーザの視界が手元にある場合等オブジェクトが視界にない場合には勿論該オブジェクトに対応するアノテーションは表示されない。しかしながら、車内でユーザが本を読んでいたり、おしゃべり中である場合に、駅名や景勝地等を見逃してしまうことがある。
このような状況に鑑み、本発明者は、ユーザが外景を見ている場合だけでなく、手元を見ている場合等にもオブジェクトに関するアノテーションを表示して、ユーザの気づきのきっかけを作ることによりユーザの利便を図るべく鋭意検討を重ねてきた。その結果、ヘッドマウントディスプレイ（以下、ＨＭＤともいう）を装着したユーザが移動中である場合に、該ＨＭＤに備えられた撮像部により得られた画像を処理してユーザの視界に関するモードを選択し、該選択されたモードに応じて、上記アノテーションをＨＭＤの表示画面へ表示するよう制御することにより、上記課題を解決できることに想到した。

この発明は上述の課題に鑑みてなされたものであり、その第１の局面は次のように規定される。即ち、
ヘッドマウントディスプレイであって、
前記ヘッドマウントディスプレイのユーザが移動中であるか否かを判定する移動判定部と、
前記ユーザの視線方向の領域を撮像する撮像部と、
前記移動判定部において前記ユーザが移動中であると判定されたとき、前記撮像部で撮像された画像を処理することにより、前記ユーザの視界が車窓風景にあることを示す車窓モード、あるいは、前記ユーザの視界が車内にあることを示す車内モードのいずれかのユーザモードを選択するユーザモード選択部と、
前記選択されたユーザモードに応じて、前記ヘッドマウントディスプレイの表示画面への表示を制御する表示制御部と、
を備える、ヘッドマウントディスプレイ。

このように規定される第１の局面のヘッドマウントディスプレイによれば、ＨＭＤ装着ユーザが移動中であると判定された場合に、該ＨＭＤに備えられた撮像部により得られた画像を処理して視界に関するユーザモードが車窓モードであるか車内モードであるかを選択し、該選択されたモードに応じて、上記アノテーションをＨＭＤの表示画面へ表示するよう制御する。
ここで、前記表示制御部は、前記ユーザモードとして前記車窓モードが選択されたとき、前記表示画面にアノテーションをノーマル表示で表示し、前記車内モードが選択されたとき、前記ユーザの位置を基に所定のルールに従って選択されるアノテーションを一覧表示で表示するよう制御することとできる（第２の局面）。
このように規定される第２の局面のヘッドマウントディスプレイによれば、ユーザの視界にオブジェクトがない場合でも、所定のルールに従って選択されるアノテーションを適宜一覧表示するため、ユーザの気づきのきっかけとなり便宜である。
上記アノテーションとは、施設や建造物、景勝地等のオブジェクトに対する注釈であって、例えば、オブジェクトの名称、広告、特徴、ユーザ投稿等を挙げることができる。
上記一覧表示は、前記アノテーションを前記表示画面の外縁部に表示することにより行うこととできる（第７の局面）。このように一覧表示すれば、ユーザの視界の邪魔となりにくい。

この発明の第３の局面は次のように規定される。即ち、
第２の局面に規定のヘッドマウントディスプレイにおいて、前記ユーザの移動速度を特定する移動速度特定部と、
前記特定された移動速度に基づいて、表示すべき第１のアノテーションを選択する第１の選択部と、を備え、
前記表示制御部は、前記第１のアノテーションを表示するよう制御する。
このように規定される第３の局面のヘッドマウントディスプレイによれば、ＨＭＤユーザの移動速度に基づいて表示すべきアノテーションを選択することができる。当該移動速度に適したアノテーションの種類、アノテーションの数を考慮すれば、よりユーザの便宜となる。例えば、一定範囲内のアノテーションの数が同じであれば、移動速度が速いほどより多くのアノテーションが表示されることとなり、ユーザにとって煩わしい場合がある。また、移動速度の違いは、ユーザの移動目的の指標となる。例えば、移動速度が遅い場合には通勤や買物、移動速度が速い場合には観光等その目的を推認することができる。この移動目的の違いにより、例えば、表示するアノテーションの種類を選別することができる。移動目的が観光であるのに、周辺スーパーの広告を表示するのは、ユーザにとって煩雑だからである。

この発明の第４の局面は次のように規定される、即ち、
第２の局面に規定のヘッドマウントディスプレイにおいて、前記ユーザの移動手段を特定する移動手段特定部と、
前記特定された移動手段に基づいて、表示すべき第２のアノテーションを選択する第２の選択部と、を備え、
前記表示制御部は、前記第２のアノテーションを表示するよう制御する。
このように規定される第４の局面のヘッドマウントディスプレイによれば、ＨＭＤユーザの移動手段に基づいて表示すべきアノテーションを選択することができる。当該移動手段に適したアノテーションの種類、アノテーションの数を考慮することで、よりユーザの便宜となる。上記移動速度の場合と同様に、移動手段が異なれば、移動目的も異なることが推認される。また、移動速度が同じであっても、電車内のユーザと自動車内のユーザとでは得たい情報が異なる場合がある。例えば、電車内のユーザにとって、通過駅に関するアノテーションを表示することは便宜である。

前記第２の選択部は、前記特定された移動手段が線路上を走行する車両であるとき、前記ユーザの位置、進行方向及び線路の位置に関する情報を考慮して、前記第２のアノテーションを選択することとできる（第５の局面）。
線路上を走行する車両であれば、ユーザの位置、進行方向、線路の位置情報に基づいて走行軌跡が規定され、また予測されるため、駅名や景勝地等、該車両で移動するユーザにより適したアノテーションを選択することが可能となる。
前記第２の選択部は、前記特定された移動手段が道路上を走行する車両であるとき、前記ユーザの位置、進行方向及びアノテーションの位置に関する情報を考慮して、前記第２のアノテーションを選択することとできる（第６の局面）。
道路上を走行する車両の場合には、ユーザの位置、進行方向、アノテーションの位置情報に基づいて、該車両で移動するユーザに適したアノテーションを選択することが可能となる。

また、この発明の第８の局面は次のように規定される。即ち、
ヘッドマウントディスプレイの制御方法であって、
移動判定部が、前記ヘッドマウントディスプレイのユーザが移動中であるか否かを判定する移動判定ステップと、
撮像部が、前記ユーザの視線方向の領域を撮像する撮像ステップと、
ユーザモード選択部が、前記移動判定ステップで前記ユーザが移動中であると判定されたとき、前記撮像ステップで撮像された画像を処理することにより、前記ユーザの視界が車窓風景にあることを示す車窓モード、あるいは、前記ユーザの視界が車内にあることを示す車内モードのいずれかのユーザモードを選択するユーザモード選択ステップと、
表示制御部が、前記選択されたユーザモードに応じて、前記ヘッドマウントディスプレイの表示画面への表示を制御する表示制御ステップと、
を備える、制御方法。
このように規定される第８の局面の発明によれば、第１の局面と同等の効果を奏する。

この発明の第９の局面は次のように規定される。即ち、
第８の局面に規定の方法において、前記表示制御ステップでは、前記ユーザモードとして前記車窓モードが選択されたとき、前記表示画面にアノテーションをノーマル表示で表示し、前記車内モードが選択されたとき、前記ユーザの位置を基に所定のルールに従って選択されるアノテーションを一覧表示で表示するよう制御する。
このように規定される第９の局面の発明によれば、第２の局面と同等の効果を奏する。

この発明の第１０の局面は次のように規定される。即ち、
第９の局面に規定の方法において、移動速度特定部が、前記ユーザの移動速度を特定する移動速度特定ステップと、
第１の選択部が、前記特定された移動速度に基づいて、表示すべき第１のアノテーションを選択する第１の選択ステップと、を備え、
前記表示制御ステップでは、前記第１のアノテーションを表示するよう制御する。
このように規定される第１０の局面の発明によれば、第３の局面と同等の効果を奏する。

この発明の第１１の局面は次のように規定される。即ち、
第９の局面に規定の方法において、移動手段特定部が、前記ユーザの移動手段を特定する移動手段特定ステップと、
第２の選択部が、前記特定された移動手段に基づいて、表示すべき第２のアノテーションを選択する第２の選択ステップと、を備え、
前記表示制御ステップは、前記第２のアノテーションを表示するよう制御する。
このように規定される第１１の局面の発明によれば、第４の局面と同等の効果を奏する。

この発明の第１２の局面は次のように規定される。即ち、
第１１の局面に規定の方法において、前記第２の選択ステップでは、前記特定された移動手段が線路上を走行する車両であるとき、前記ユーザの位置、進行方向及び線路の位置に関する情報を考慮して、前記第２のアノテーションを選択する。
このように規定される第１２の局面の発明によれば、第５の局面と同等の効果を奏する。

この発明の第１３の局面は次のように規定される。即ち、
第１１の局面に規定の方法において、前記第２の選択ステップでは、前記特定された移動手段が道路上を走行する車両であるとき、前記ユーザの位置、進行方向及びアノテーションの位置に関する情報を考慮して、前記第２のアノテーションを選択する。
このように規定される第１３の局面の発明によれば、第６の局面と同等の効果を奏する。

この発明の第１４の局面は次のように規定される。即ち、
第９の局面に規定の方法において、前記一覧表示は、前記アノテーションを前記表示画面の外縁部に表示することにより行う。
このように規定される第１４の局面の発明によれば、第７の局面と同等の効果を奏する。

更に、この発明の第１５の局面は次のように規定される。即ち、
ヘッドマウントディスプレイを制御するためのコンピュータプログラムにおいて、コンピュータを、
前記ヘッドマウントディスプレイのユーザが移動中であるか否かを判定する移動判定手段と、
前記ユーザの視線方向の領域を撮像する撮像手段と、
前記移動判定手段において前記ユーザが移動中であると判定されたとき、前記撮像手段で撮像された画像を処理することにより、前記ユーザの視界が車窓風景にあることを示す車窓モード、あるいは、前記ユーザの視界が車内にあることを示す車内モードのいずれかのユーザモードを選択するユーザモード選択手段と、
前記選択されたユーザモードに応じて、前記ヘッドマウントディスプレイの表示画面への表示を制御する表示制御手段、
として機能させる、コンピュータプログラム。
このように規定される第１５の局面の発明によれば、第１の局面と同等の効果を奏する。

この発明の第１６の局面は次のように規定される。即ち、
第１５の局面に規定のコンピュータプログラムにおいて、前記表示制御手段は、前記ユーザモードとして前記車窓モードが選択されたとき、前記表示画面にアノテーションをノーマル表示で表示し、前記車内モードが選択されたとき、前記ユーザの位置を基に所定のルールに従って選択されるアノテーションを一覧表示で表示するよう制御する。
このように規定される第１６の局面の発明によれば、第２の局面と同等の効果を奏する。

この発明の第１７の局面は次のように規定される。即ち、
第１６の局面に規定のコンピュータプログラムにおいて、前記コンピュータを、更に、
前記ユーザの移動速度を特定する移動速度特定手段と、
前記特定された移動速度に基づいて、表示すべき第１のアノテーションを選択する第１の選択手段、として機能させ、
前記表示制御手段は、前記第１のアノテーションを表示するよう制御する。
このように規定される第１７の局面の発明によれば、第３の局面と同等の効果を奏する。

この発明の第１８の局面は次のように規定される。即ち、
第１６の局面に規定のコンピュータプログラムにおいて、前記コンピュータを、更に、
前記ユーザの移動手段を特定する移動手段特定手段と、
前記特定された移動手段に基づいて、表示すべき第２のアノテーションを選択する第２の選択手段、として機能させ、
前記表示制御手段は、前記第２のアノテーションを表示するよう制御する。
このように規定される第１８の局面の発明によれば、第４の局面と同等の効果を奏する。

この発明の第１９の局面は次のように規定される。即ち、
第１８の局面に規定のコンピュータプログラムにおいて、前記第２の選択手段は、前記特定された移動手段が線路上を走行する車両であるとき、前記ユーザの位置、進行方向及び線路の位置に関する情報を考慮して、前記第２のアノテーションを選択する。
このように規定される第１９の局面の発明によれば、第５の局面と同等の効果を奏する。

この発明の第２０の局面は次のように規定される。即ち、
第１８の局面に規定のコンピュータプログラムにおいて、前記第２の選択手段は、前記特定された移動手段が道路上を走行する車両であるとき、前記ユーザの位置、進行方向及びアノテーションの位置に関する情報を考慮して、前記第２のアノテーションを選択する。
このように規定される第２０の局面の発明によれば、第６の局面と同等の効果を奏する。

この発明の第２１の局面は次のように規定される。即ち、
第１６の局面に規定のコンピュータプログラムにおいて、前記一覧表示は、前記アノテーションを前記表示画面の外縁部に表示することにより行う。
このように規定される第２１の局面の発明によれば、第７の局面と同等の効果を奏する。

第１５〜第２１のいずれかの局面に規定されるコンピュータプログラムを記録する記録媒体が第２２の局面として規定される。

図１は、本発明の実施の形態のＨＭＤ１の構成を示すブロック図である。 図２は、（Ａ）車内モード時の表示画面への一覧表示の一例、（Ｂ）車内モード時の表示画面への一覧表示の別例、（Ｃ）車窓モード時の表示画面へのノーマル表示の一例、を示す模式図である。 図３は、本発明の実施の形態のＨＭＤ１の動作の一例を示すフローチャートである。 図４は、本発明の他の実施の形態のＨＭＤ２１の構成を示すブロック図である。 図５は、本発明の他の実施の形態のＨＭＤ３１の構成を示すブロック図である。 図６は、本発明の実施例のＨＭＤ４１の構成を示すブロック図である。

この発明の実施の形態のヘッドマウントディスプレイを説明する。
図１に、ＨＭＤ１の概略構成を示す。
図１に示すように、このＨＭＤ１は、地図データベース３、移動判定部５、撮像部７、ユーザモード選択部９、ユーザ位置特定部１１及び表示制御部１３を備えている。

地図データベース３には、ＨＭＤ１の表示画面に描画等するためのオブジェクトに関する種々の地図データが保存される。当該オブジェクトとしては、施設、店舗、公園、駅等の他、お城やタワー等の建造物、山等の景勝地、花火大会等のイベント等が挙げられる。また、地図データベース３に保存される地図データとしては、当該オブジェクトの名称、位置情報が挙げられる。他にも、当該オブジェクトに関するジャンルその他諸情報が該オブジェクトに関連付けて保存されていても良い。上記オブジェクトに関するジャンルとしては、飲食店、駅、景勝地等が挙げられる。また、上記オブジェクトに関する諸情報としては、該オブジェクトが店舗「ＡＢＣスーパー」である場合に広告やクーポン等、該オブジェクトが山「富士山」である場合に標高や世界文化遺産である旨等が挙げられる。地図データベース３に保存されるこれらの情報に基づいて、ＨＭＤ１の表示画面にアノテーションが表示される。

移動判定部５は、ＨＭＤ１を装着したユーザが交通機関により移動中であるか否かを判定する。当該判定の方法は、特に限定されないが、後述のユーザ位置特定部が特定した位置情報に基づき、ユーザが移動中であるか否かを判定することとできる。例えば、移動判定部５は、所定時間周期でユーザ位置特定部が特定したユーザ位置と、前回特定したユーザ位置とを比較し、両位置の間隔が所定閾値以上であるとき、該ユーザが移動中であると判定する。また、後述の移動速度特定部が特定した移動速度を参照して、該移動速度が所定閾値以上であるとき、該ユーザが移動中であると判定することとしても良い。上記交通機関としては、電車、バス、自動車等が挙げられる。

撮像部７は、ＨＭＤ１に、該ＨＭＤ１装着ユーザの視線方向を撮像可能なように備えられる。このように備えられた撮像部７は、該ユーザの視線方向に広がる外景を撮像し、該撮像された外景画像を取得する。当該撮像部７は、例えば、１０枚／秒以上の間隔で撮像可能であることが好ましい。後述のユーザモード選択部においてユーザの視界が車窓風景にあるか車内にあるかを選択する際の精度を向上させることができるからである。該撮像部７としてはＨＭＤ１搭載のカメラが挙げられる。

ユーザモード選択部９は、上記移動判定部５の判定に基づき該ユーザが移動中であると判定されたとき、上記撮像部７で撮像された画像を処理することにより、該ユーザの視界が車窓風景にあることを示す車窓モード、あるいは、該ユーザの視界が車内にあることを示す車内モードのいずれかのユーザモードを選択する。当該画像処理を利用したユーザモードの選択方法の一例として、次の方法を挙げることができる。まず、上記撮像部７で撮像されたフレーム画像のうち第１のフレーム画像と第２のフレーム画像とを抽出する。両フレーム画像は時間的に連続していても良いし、両フレーム画像間に時間間隔があっても良い。また、３以上のフレーム画像を抽出しても良い。次いで、第１のフレーム画像において任意の特徴点を特定し、第１のフレーム画像における該特定された特徴点の位置と、第２のフレーム画像における該特定された特徴点の位置とを比較する。比較の結果、該特徴点の位置が一定方向へ所定距離移動したとき、上記ユーザの視界は車窓風景にあると判定して車窓モードを選択する。一方、該特徴点の位置の移動が所定距離未満であるとき、上記ユーザの視界は車内にあると判定して車内モードを選択する。上記特定される特徴点の数が多いほど、上記ユーザモードを精度良く選択することができる。
ユーザ位置特定部１１はＨＭＤ１の現在位置を特定する。当該ユーザ位置特定部１１は、例えば、ＧＰＳ装置を利用することにより現在の位置情報を特定することとできる。当該ユーザ位置特定部１１は、併せて現在時刻を特定しても良い。

表示制御部１３は、上記ユーザモード選択部９で選択されたユーザモードに基づいて、ＨＭＤ１表示画面へ上記地図データベース３内の地図データをアノテーションとして表示する際の表示を制御する。上記ユーザモード選択部９において車内モードが選択されたときにおいて、当該表示制御部１３は、例えば、ユーザ位置特定部１１で特定されたユーザ位置に基づき、上記地図データベース３から所定の表示対象領域内に位置情報を有するオブジェクトを選択し、該オブジェクトの名称等地図データをアノテーションとして上記表示画面に一覧表示することとできる。上記表示対象領域は、例えば、ユーザ位置を含む５ｋｍ圏内等一定領域とすることとできる。上記表示画面に表示するアノテーションの種類を予めユーザが指定しても良い。例えば、オブジェクトに関連付けられた特定のジャンルに関するアノテーションを表示することとできる。具体例として、ユーザが予めジャンル「景勝地」に関するアノテーションを表示するよう指定したとき、表示制御部１３は、上記表示対象領域内の景勝地に関するアノテーションを表示する。この場合において、表示対象領域は、一定領域に限られず、その領域を順次大きくして、ジャンル「景勝地」のアノテーションを表示可能なよう制御することとできる。これらのアノテーションは、上記ユーザの視界の邪魔とならないよう効果的に注意喚起すべく表示画面の外縁部に表示することとできる（図２（Ａ）参照）。また、表示画面の外縁部にアノテーションを一覧表示する際、上記オブジェクトの位置に対応する位置に該アノテーションを表示することとできる。例えば、オブジェクトがユーザの左側に位置するとき表示画面の左側外縁部に、該オブジェクトがユーザの右側に位置するときには右側外縁部に、該オブジェクトに対応するアノテーションを表示することとできる（図２（Ｂ）参照）。一方、上記ユーザモードとして車窓モードが選択されたとき、当該表示制御部１３は、定法により該アノテーションをノーマル表示することとできる。当該ノーマル表示の方法として、例えば、ＨＭＤ１に備えられた透過（透明）表示画面を通して見える現実の視界に、該表示画面内に映るオブジェクトに対応するアノテーションを吹き出し等のフォーマットで重畳表示することとできる（図２（Ｃ）参照）。

図３を用いて、図１に示すＨＭＤ１の動作の一例を説明する。
ステップ１では、ユーザ位置特定部１１は、ＨＭＤ１を装着したユーザの現在位置を、該ＨＭＤ１に備えられたＧＰＳ装置等に基づき特定する。
ステップ２では、移動判定部５は、ステップ１のＨＭＤユーザが移動中であるか否かを判定する。当該判定は、ステップ１において所定時間周期で特定される現在位置を逐次比較し、両位置の間隔が所定閾値以上であるか否かに基づき行われる。すなわち、当該両位置の間隔が所定閾値以上であるとき移動中と判定し（ステップ３：Ｙｅｓ）、ステップ５へ進む。
ステップ５では、撮像部７は、ＨＭＤユーザの視線方向を撮像する。

ステップ７では、ユーザモード選択部９は、ステップ５で撮像された撮像画像を上述の方法により画像処理して、該ＨＭＤユーザの視界が車窓風景にあることを示す車窓モード、あるいは、車内にあることを示す車内モードのいずれかを選択する。車内モードが選択されたとき（ステップ９：Ｙｅｓ）、ステップ１１へ進む。
ステップ１１では、表示制御部１３は、ステップ１で特定された現在位置に基づいて、所定の表示対象領域を形成する。例えば、該現在位置を中心に半径１ｋｍの円で形成される領域を表示対象領域として形成することとできる。
ステップ１３では、表示制御部１３は、地図データベース３から、ステップ１１で形成された表示対象領域内に位置情報を有するアノテーションを選択する。
ステップ１５では、表示制御部１３は、ステップ１３で選択されたアノテーションをＨＭＤ１の表示画面の外縁部に一覧表示する。

一方、ステップ９においてＮｏのとき、ステップ１７へ進む。
ステップ１７では、図示しないユーザ方位特定部は、ステップ１のＨＭＤユーザの視線が向いている方位を特定する。
ステップ１９では、表示制御部１３は、ステップ１で特定された現在位置とステップ１７で特定された方位とに基づいて、ＨＭＤユーザの視界に映るオブジェクトに関するアノテーションを地図データベース３から選択する。
ステップ２０では、表示制御部１３は、ステップ１９で選択されたアノテーションを、該ＨＭＤユーザの現実の視界に映るオブジェクトに重畳して表示する。

図４に、他の実施の形態のＨＭＤ２１を示す。図４において、図１と同一の要素には同一の符号を付して、その説明を部分的に省略する。
図４に示すのは、上記ユーザの移動速度を考慮して、当該移動速度に適したアノテーションを表示制御可能なＨＭＤ２１である。すなわち、当該ＨＭＤ２１は、図１に示すＨＭＤ１において、移動速度特定部２３及び第１の選択部２５を更に備え、表示制御部１３に代えて表示制御部２７を備える。
移動速度特定部２３は、上記ユーザの移動速度を特定する。当該移動速度の特定は、例えば、上記ＨＭＤ１に備えられる加速度センサからの加速度情報に基づいて行うこととできる。当該移動速度特定部２３は、該ユーザの移動速度の値を特定しても良いし、該移動速度の値に応じて割り振られる５段階等の速度段階を特定することとしても良い。

第１の選択部２５は、上記特定されたユーザの位置及び移動速度に基づいて、上記地図データベース３から上記表示画面に表示すべき第１のアノテーションを選択する。当該選択の方法として、例えば、予め移動速度に対応してユーザ位置に基づく上記表示対象領域を定めておき、上記特定されたユーザの移動速度に応じて、当該定められた表示対象領域に位置情報を有するアノテーションを選択することとできる。他の例としては、予め移動速度に対応して表示対象となるオブジェクトのジャンルを定めておき、上記特定されたユーザの移動速度に応じて当該定められたジャンルに関するアノテーションを選択することとしても良い。
前者の例として、予め移動速度と表示対象領域との関係を「５０ｋｍ／時未満−ユーザ位置を中心に半径２００ｍ領域」、「５０〜１００ｋｍ／時−半径２００ｍ〜１ｋｍ領域」、「１００〜２００ｋｍ／時−半径１ｋｍ〜２ｋｍ領域」、「２００ｋｍ／時以上−半径２ｋｍ以上領域」と定めたときにおいて、上記特定された移動速度が２２０ｋｍ／時である場合には、上記関係に基づいて、ユーザ位置から半径２ｋｍ未満の領域を除く領域に位置情報を有するアノテーションを第１のアノテーションとして選択する。
後者の例として、予め移動速度と表示対象オブジェクトのジャンルとの関係を「５０ｋｍ／時未満−施設、店舗、公園」、「５０〜２００ｋｍ／時−駅、建造物、景勝地」、「２００ｋｍ／時以上−駅、景勝地」と定めたときにおいて、上記特定された移動速度が１５０ｋｍ／時である場合には、所定の表示対象領域に位置情報を有するオブジェクトであって、該オブジェクトのジャンルが「駅、建造物、景勝地」であるアノテーションを第１のアノテーションとして選択する。当該第１の選択部２５は、上述の２例を組み合わせて第１のアノテーションを選択することとしても良い。

上述のほか、予め移動速度に対応して、「５０ｋｍ／時未満−第１のレイヤ」、「５０〜２００ｋｍ／時−第２のレイヤ」、「２００ｋｍ／時以上−第３のレイヤ」等速度別レイヤを備えておくこともできる。この場合、遅い移動速度に対応するレイヤには施設、店舗等に関するアノテーションが、速い移動速度に対応するレイヤには駅、建造物、景勝地等に関するアノテーションが紐付けられる。そして、第１の選択部２５は、上記特定された移動速度に対応するレイヤに紐付けられているアノテーションから、ユーザ位置に基づく表示対象領域内に位置するアノテーションを第１のアノテーションとして選択することとできる。
表示制御部２７は、上記ユーザモード選択部９及び第１の選択部２５を参照して、上記表示画面へのアノテーションの表示を制御する。具体的に、表示制御部２７は、上記ユーザモードとして車内モードが選択されたとき、上記第１の選択部２５で選択された第１のアノテーションを上記表示画面に一覧表示する。

図５に、他の実施の形態のＨＭＤ３１を示す。図５において、図１及び図４と同一の要素には同一の符号を付して、その説明を部分的に省略する。
図５に示すのは、上記ユーザの移動手段を考慮して、当該移動手段に適したアノテーションを表示制御可能なＨＭＤ３１である。すなわち、当該ＨＭＤ３１は、図１に示すＨＭＤ１において、進行方向特定部３５、移動手段特定部３７及び第２の選択部３９を更に備え、地図データベース３及び表示制御部１３に代えて、夫々地図データベース３３及び表示制御部４０を備える。

地図データベース３３には、上記地図データベース３に格納された地図データのほか、道路や線路に関する情報が格納される。当該道路に関する情報としては、例えば、道路や交差点の位置、高速道路、一般道路等の道路種別等が挙げられる。当該線路に関する情報としては、例えば、線路の位置や駅の名称及び位置等が挙げられる。また、当該線路上の位置や駅の位置に関連付けて、観覧し易い景勝地についての情報が保存されていても良い。
進行方向特定部３５は、ＨＭＤ３１を装着したユーザの進行方向を特定する。当該特定の方法は、特に限定されないが、上記ユーザ位置特定部１１が特定した位置情報に基づき、該ユーザの進行方向を特定することとできる。例えば、進行方向特定部３５は、所定時間周期でユーザ位置特定部１１が特定したユーザ位置と、前回特定したユーザ位置とを比較することにより、上記進行方向を特定することができる。

移動手段特定部３７は、上記ユーザの移動手段を特定する。当該特定の方法としては、特に限定されないが、移動速度、道路の位置、線路の位置、その他の情報の少なくとも一に基づいて特定することとできる。例えば、ユーザ位置が道路の位置に対応するとき、その移動手段はバスや自動車等道路上を走行する車両であると特定され、また、該ユーザ位置が線路の位置に対応するときには、電車等線路上を走行する車両であると特定される。また、上記移動速度に基づき、移動時の定常状態における平均速度に応じて、高速道路を走行するバス等であるか、一般道路を走行するバス等であるかを特定することとできる。上記電車についても、新幹線であるか在来線であるかと特定することとできる。その他の情報として、移動と静止のパターン、静止時の位置等が挙げられる。

第２の選択部３９は、上記特定されたユーザの位置、進行方向及び移動手段に基づいて、上記地図データベース３３から上記表示画面に表示すべき第２のアノテーションを選択する。当該特定されたユーザの位置及び移動手段に基づいたアノテーションの選択方法として、上記第１の選択部２５の選択の方法を参照することができる。具体的に、予め移動手段に対応してユーザ位置に基づく上記表示対象領域を定めておき、上記特定されたユーザの移動手段に応じて、当該定められた表示対象領域に位置情報を有するアノテーションを選択することとできる。他の例としては、予め移動手段に対応して表示対象となるオブジェクトのジャンルを定めておき、上記特定されたユーザの移動手段に応じて当該定められたジャンルに関するアノテーションを選択することとしても良い。また、予め移動手段に対応して各種レイヤを備えておき、上記特定されたユーザの移動手段に対応するレイヤに紐付けられているアノテーションから、ユーザ位置に基づく表示対象領域内に位置するアノテーションを選択することとできる。第２の選択部３９では、さらに上記特定された進行方向に基づいて、上記選択されたアノテーションのうちユーザ位置より進行方向側に位置するアノテーションを第２のアノテーションとして選択する。また、上記移動手段特定部３７において、移動手段が線路上を走行する車両であると特定された場合には、地図データベース３３内の線路の位置を参照することで、通過する駅の名称や、該線路の位置、駅名に関連付けられた景勝地等、該車両で移動するユーザにより適したアノテーションを選択することが可能となる。
表示制御部４０は、上記ユーザモード選択部９及び第２の選択部３９を参照して、上記表示画面へのアノテーションの表示を制御する。具体的に、表示制御部４０は、上記ユーザモードとして車内モードが選択されたとき、上記第２の選択部３９で選択された第２のアノテーションを上記表示画面に一覧表示する。

図６に、実施例のＨＭＤ４１を示す。図６において、図１、図４及び図５と同一の要素には同一の符号を付して、その説明を部分的に省略する。
図６に示すのは、予め移動速度に応じて上記レイヤを備えることにより、アノテーション表示にかかる処理の負荷を軽減可能なＨＭＤ４１である。すなわち、当該ＨＭＤ４１は、図４に示すＨＭＤ２１において、制御部１４１、メモリ部１４２、入力部１４３、出力部１４４、インターフェース部１４５、ユーザ方位特定部１４６及び速度別レイヤ保存部１４８を更に備える。

制御部１４１はＣＰＵ、バッファメモリその他の装置を備えたコンピュータ装置であり、ＨＭＤ４１を構成する他の要素を制御する。この制御部１４１は、表示制御部２７を備えている。
表示制御部２７は、地図データベース３に格納される地図データのうち、上記第１の選択部２５で選択された第１のアノテーションを表示画面に表示するよう制御する。
メモリ部１４２にはコンピュータプログラムが保存され、このコンピュータプログラムはコンピュータ装置である制御部１４１に読み込まれて、これを機能させる。このコンピュータプログラムは、ＨＭＤの記憶装置としての内蔵ハードディスク又は内蔵メモリ、ＨＭＤに差し替え可能な記憶媒体等の汎用的な媒体へ保存できる。
入力部１４３は、例えば、ユーザの指令の入力に用いられる。具体的には、表示画面への表示を希望するアノテーションのジャンル等の入力に用いられる。入力部１４３として、ＨＭＤ本体に備えられたボタン、タッチセンサ又はマイクロホン等の音声入力装置を用いることとできる。

出力部１４４は表示画面を含み、入力画面や、上記表示制御部２７の制御に基づくアノテーション、その他の情報を表示する。この出力部１４４は音声発信部を含むこともできる。
インターフェース部１４５はＨＭＤ４１を無線ネットワーク等へ連結させる。
ユーザ方位特定部１４６は、ＨＭＤ４１に備えられ、地磁気を検出することによりユーザの視線が向いている方位の情報（方位情報）を特定する。
速度別レイヤ保存部１４８には、上述の第１の選択部２５で用いた速度別レイヤが保存される。すなわち、予め移動速度に対応して、「５０ｋｍ／時未満−第１のレイヤ」、「５０〜２００ｋｍ／時−第２のレイヤ」、「２００ｋｍ／時以上−第３のレイヤ」等が備えられ、夫々のレイヤにアノテーションが任意に紐付けられている。例えば、遅い移動速度に対応する第１のレイヤには施設、店舗等、第２のレイヤには駅、建造物、景勝地等、速い移動速度に対応する第３のレイヤには駅、景勝地等に関するアノテーションが位置情報とともに紐付けられている。
上記ＨＭＤ４１の構成要素の一部をサーバ装置で実行可能とする表示制御システムとしても良い。当該サーバ装置で実行可能な構成は、特に限定されないが、例えば、地図データベース３、速度別レイヤ保存部１４８及び第１の選択部２５とすることとできる。

以上、本発明の実施の形態及び実施例について説明してきたが、これらのうち、２つ以上の実施の形態（実施例）を組み合わせて実施しても構わない。あるいは、これらのうち、１つの実施の形態（実施例）を部分的に実施しても構わない。さらには、これらのうち、２つ以上の実施の形態（実施例）を部分的に組み合わせて実施しても構わない。

この発明は、上記発明の実施の形態及び実施例の説明に何ら限定されるものではない。特許請求の範囲の記載を逸脱せず、当業者が容易に想到できる範囲で種々の変形態様もこの発明に含まれる。

１ ２１ ３１ ４１ ヘッドマウントディスプレイ（ＨＭＤ）
３ ３３ 地図データベース（地図ＤＢ）
５ 移動判定部
７ 撮像部
９ ユーザモード選択部
１１ ユーザ位置特定部
１３ ２７ ４０ 表示制御部
２３ 移動速度特定部
２５ 第１の選択部
３５ 進行方向特定部
３７ 移動手段特定部
３９ 第２の選択部

Claims (22)

1. ヘッドマウントディスプレイであって、
   前記ヘッドマウントディスプレイのユーザが移動中であるか否かを判定する移動判定部と、
   前記ユーザの視線方向の領域を撮像する撮像部と、
   前記移動判定部において前記ユーザが移動中であると判定されたとき、前記撮像部で撮像された画像を処理することにより、前記ユーザの視界が車窓風景にあることを示す車窓モード、あるいは、前記ユーザの視界が車内にあることを示す車内モードのいずれかのユーザモードを選択するユーザモード選択部と、
   前記選択されたユーザモードに応じて、前記ヘッドマウントディスプレイの表示画面への表示を制御する表示制御部と、
   を備える、ヘッドマウントディスプレイ。
2. 前記表示制御部は、前記ユーザモードとして前記車窓モードが選択されたとき、前記表示画面にアノテーションをノーマル表示で表示し、前記車内モードが選択されたとき、前記ユーザの位置を基に所定のルールに従って選択されるアノテーションを一覧表示で表示するよう制御する、
   請求項１に記載のヘッドマウントディスプレイ。
3. 前記ユーザの移動速度を特定する移動速度特定部と、
   前記特定された移動速度に基づいて、表示すべき第１のアノテーションを選択する第１の選択部と、を備え、
   前記表示制御部は、前記第１のアノテーションを表示するよう制御する、
   請求項２に記載のヘッドマウントディスプレイ。
4. 前記ユーザの移動手段を特定する移動手段特定部と、
   前記特定された移動手段に基づいて、表示すべき第２のアノテーションを選択する第２の選択部と、を備え、
   前記表示制御部は、前記第２のアノテーションを表示するよう制御する、
   請求項２に記載のヘッドマウントディスプレイ。
5. 前記第２の選択部は、前記特定された移動手段が線路上を走行する車両であるとき、前記ユーザの位置、進行方向及び線路の位置に関する情報を考慮して、前記第２のアノテーションを選択する、
   請求項４に記載のヘッドマウントディスプレイ。
6. 前記第２の選択部は、前記特定された移動手段が道路上を走行する車両であるとき、前記ユーザの位置、進行方向及びアノテーションの位置に関する情報を考慮して、前記第２のアノテーションを選択する、
   請求項４に記載のヘッドマウントディスプレイ。
7. 前記一覧表示は、前記アノテーションを前記表示画面の外縁部に表示することにより行う、
   請求項２に記載のヘッドマウントディスプレイ。
8. ヘッドマウントディスプレイの制御方法であって、
   移動判定部が、前記ヘッドマウントディスプレイのユーザが移動中であるか否かを判定する移動判定ステップと、
   撮像部が、前記ユーザの視線方向の領域を撮像する撮像ステップと、
   ユーザモード選択部が、前記移動判定ステップで前記ユーザが移動中であると判定されたとき、前記撮像ステップで撮像された画像を処理することにより、前記ユーザの視界が車窓風景にあることを示す車窓モード、あるいは、前記ユーザの視界が車内にあることを示す車内モードのいずれかのユーザモードを選択するユーザモード選択ステップと、
   表示制御部が、前記選択されたユーザモードに応じて、前記ヘッドマウントディスプレイの表示画面への表示を制御する表示制御ステップと、
   を備える、制御方法。
9. 前記表示制御ステップでは、前記ユーザモードとして前記車窓モードが選択されたとき、前記表示画面にアノテーションをノーマル表示で表示し、前記車内モードが選択されたとき、前記ユーザの位置を基に所定のルールに従って選択されるアノテーションを一覧表示で表示するよう制御する、
   請求項８に記載の制御方法。
10. 移動速度特定部が、前記ユーザの移動速度を特定する移動速度特定ステップと、
    第１の選択部が、前記特定された移動速度に基づいて、表示すべき第１のアノテーションを選択する第１の選択ステップと、を備え、
    前記表示制御ステップでは、前記第１のアノテーションを表示するよう制御する、
    請求項９に記載の制御方法。
11. 移動手段特定部が、前記ユーザの移動手段を特定する移動手段特定ステップと、
    第２の選択部が、前記特定された移動手段に基づいて、表示すべき第２のアノテーションを選択する第２の選択ステップと、を備え、
    前記表示制御ステップは、前記第２のアノテーションを表示するよう制御する、
    請求項９に記載の制御方法。
12. 前記第２の選択ステップでは、前記特定された移動手段が線路上を走行する車両であるとき、前記ユーザの位置、進行方向及び線路の位置に関する情報を考慮して、前記第２のアノテーションを選択する、
    請求項１１に記載の制御方法。
13. 前記第２の選択ステップでは、前記特定された移動手段が道路上を走行する車両であるとき、前記ユーザの位置、進行方向及びアノテーションの位置に関する情報を考慮して、前記第２のアノテーションを選択する、
    請求項１１に記載の制御方法。
14. 前記一覧表示は、前記アノテーションを前記表示画面の外縁部に表示することにより行う、
    請求項９に記載の制御方法。
15. ヘッドマウントディスプレイを制御するためのコンピュータプログラムにおいて、コンピュータを、
    前記ヘッドマウントディスプレイのユーザが移動中であるか否かを判定する移動判定手段と、
    前記ユーザの視線方向の領域を撮像する撮像手段と、
    前記移動判定手段において前記ユーザが移動中であると判定されたとき、前記撮像手段で撮像された画像を処理することにより、前記ユーザの視界が車窓風景にあることを示す車窓モード、あるいは、前記ユーザの視界が車内にあることを示す車内モードのいずれかのユーザモードを選択するユーザモード選択手段と、
    前記選択されたユーザモードに応じて、前記ヘッドマウントディスプレイの表示画面への表示を制御する表示制御手段、
    として機能させる、コンピュータプログラム。
16. 前記表示制御手段は、前記ユーザモードとして前記車窓モードが選択されたとき、前記表示画面にアノテーションをノーマル表示で表示し、前記車内モードが選択されたとき、前記ユーザの位置を基に所定のルールに従って選択されるアノテーションを一覧表示で表示するよう制御する、
    請求項１５に記載のコンピュータプログラム。
17. 前記コンピュータを、更に、
    前記ユーザの移動速度を特定する移動速度特定手段と、
    前記特定された移動速度に基づいて、表示すべき第１のアノテーションを選択する第１の選択手段、として機能させ、
    前記表示制御手段は、前記第１のアノテーションを表示するよう制御する、
    請求項１６に記載のコンピュータプログラム。
18. 前記コンピュータを、更に、
    前記ユーザの移動手段を特定する移動手段特定手段と、
    前記特定された移動手段に基づいて、表示すべき第２のアノテーションを選択する第２の選択手段、として機能させ、
    前記表示制御手段は、前記第２のアノテーションを表示するよう制御する、
    請求項１６に記載のコンピュータプログラム。
19. 前記第２の選択手段は、前記特定された移動手段が線路上を走行する車両であるとき、前記ユーザの位置、進行方向及び線路の位置に関する情報を考慮して、前記第２のアノテーションを選択する、
    請求項１８に記載のコンピュータプログラム。
20. 前記第２の選択手段は、前記特定された移動手段が道路上を走行する車両であるとき、前記ユーザの位置、進行方向及びアノテーションの位置に関する情報を考慮して、前記第２のアノテーションを選択する、
    請求項１８に記載のコンピュータプログラム。
21. 前記一覧表示は、前記アノテーションを前記表示画面の外縁部に表示することにより行う、
    請求項１６に記載のコンピュータプログラム。
22. 請求項１５〜２１のいずれか一項に記載のコンピュータプログラムを記録する記録媒体。

Images