JP2017187757A - 画像表示装置 - Google Patents

Abstract

【課題】新たなコンテンツ画像に表示を切り替えた後に、利用者の所望の姿勢における視野領域の中心位置と、新たなコンテンツ画像の初期方向の位置と関係の初期化を簡易に行うことができる画像表示装置を提供する。【解決手段】アジャストボタン（表示方向調整ボタン）が選択されると、表示制御部１２１が、視野領域内の画像に関する方向調整を行う。かかる方向調整に際して、表示制御部１２１は、所定時間の経過時点における視野領域の中心位置と、表示中の画像について予め定義されている初期方向の位置との関係を初期化し、初期化された関係を有する位置の画像を、視野領域内画像として表示部１２５に表示させる。この結果、利用者が表示中の画像について予め定義されている初期方向の位置との関係が初期化された画像が、視野領域内画像として利用者に提供される。【選択図】 図３

Description

本発明は、画像表示装置に係り、特に、仮想現実感を実現できる画像を表示する画像表示装置に関する。

近年、ヘッドマウントディスプレイによる画像表示により仮想現実感を提供する技術が注目されている。かかる技術として、いわゆる３６０°画像によりマンション室内の様子を表示することにより、実際のマンションのモデルルームへ足を運ぶことなく、マンション室内の様子を提示する技術が実用化されている（非特許文献１参照：以下、「従来例」と呼ぶ）。

この従来例の技術では、姿勢変化量の検出機能、画像表示機能、表示画像制御機能等を有するスマートフォン等の情報処理装置を、取り外し可能な態様でゴーグル筐体に取り付けることにより、仮想現実感を提供する画像表示装置を構成するようになっている。そして、姿勢変化量の検出結果に応じて、３６０°画像内における利用者の視野範囲を変化させることにより、姿勢変化に応じて、利用者が視認する画像を変化させる。

また、従来例の技術では、マンションの一室内の様子を表示するための３６０°画像内に別室内の様子を表示するための画像の選択用のソフトボタン（以下、「個別メニュー選択ボタン」とも呼ぶ）をちりばめて配置している。そして、一の個別メニュー選択ボタンの表示領域に視点を合わせた状態が、一定時間以上にわたって継続すると、当該一の個別メニュー選択ボタンが押された（選択された）と判断し、当該一の個別メニュー選択ボタンに対応する画像が表示されるようになっている。このため、マウス、キーボード等のハードウエア資源を用いずに、表示すべき画像の選択を行うことができるようになっている。

チームラボ、"ハコマンションＶＲ"、［online］、2015/04/02、［平成２８年３月１日検索］、インターネット＜URL : http://www.team-lab.com/hakomanshonvr2015-2＞

上述したように、従来例の技術では、３６０°画像内に複数の個別メニュー選択ボタンをちりばめて配置している。このため、選択した一の個別メニュー選択ボタンの３６０°画像内の位置によっては、首や体全体を大きく動かした姿勢で選択された新たなコンテンツ画像に切り替わることになる。

ところで、切り替え直後の新たなコンテンツ画像は、当該新たなコンテンツ画像について予め定義された初期方向（通常は、正面方向）が視野領域の中心となる画像となっている。首や体全体を大きく動かした姿勢で新たな画像への切り替えが行われると、視野領域内における新たなコンテンツ画像の本来の方向と、利用者が実際に向いている方向とには大きな齟齬が生じることになる。そして、当該齟齬を解消する手段が、従来例の技術には用意されていない。

本発明は、上記の事情を鑑みてなされたものであり、新たな画像に表示を切り替えた後に、利用者の所望の姿勢における視野領域の中心位置と、新たな画像の初期方向の位置との関係の初期化を簡易に行うことができる画像表示装置を提供することを目的とする。

本発明の画像表示装置は、利用者の頭部に装着される筐体部材と；前記筐体部材に固定される表示部と；第１領域内において定義される第１画像のデータと、前記第１領域に含まれる第２領域内で定義され、前記第２領域における前記第１画像のデータに対応する画像に重ねて表示される第２画像のデータとを含む表示用データが記憶された記憶部と；前記筐体部材の姿勢の相対変化量を検出する姿勢変化量検出部と；前記姿勢変化量検出部による検出結果に応じて、前記表示部における表示画像を変化させる表示制御部と；を備え、前記第２画像には、表示方向調整ボタンの画像が含まれ、前記表示制御部は、前記表示方向調整ボタンが選択されると、所定時間の経過時点における視野領域の中心位置と、前記第１画像について予め定義されている初期方向の位置との関係を初期化し、前記初期化の関係に対応して定まる画像を、視野領域内画像として前記表示部に表示させ、前記第１画像が、横方向が現実の水平方向に対応しているコンテンツ画像である場合には、前記初期化後の関係が、（Ａ）利用者が直立時の正面方向と直交する水平方向をピッチ軸方向とし、鉛直方向をヨー軸方向とした場合に、前記所定時間の経過時点における前記姿勢での視線方向のヨー角成分値にかかわらず、前記視野領域における横方向に関する中心位置が、前記第１画像について予め定義されている初期方向の位置の横方向座標位置となるとともに、前記視野領域における上下方向に関する中心位置が、前記視線方向のピッチ角成分値に対応する前記第１画像における上下方向座標位置となる第１関係、及び、（Ｂ）前記所定時間の経過時点における視野領域の中心位置が前記初期方向の位置となる第２関係のいずれかから選択される、ことを特徴とする画像表示装置である。

この画像表示装置では、表示方向調整ボタンが選択され、その選択状態が所定時間にわたって継続すると、表示制御部が、視野領域内の画像に関する方向調整を行う。かかる方向調整に際して、表示制御部は、当該所定時間の経過時点における視野領域の中心位置と、第１画像について予め定義されている初期方向の位置との関係を初期化し、当該初期化の関係に対応して定まる画像を、視野領域内画像として表示部に表示させる。この結果、利用者が第１画像について予め定義されている初期方向を所望の姿勢方向とする視野領域内画像が利用者に提供される。

したがって、本発明の画像表示装置によれば、新たな画像に表示を切り替えた後に、利用者の所望の姿勢における視野領域の中心位置と、新たな画像の初期方向の位置との関係の初期化を簡易に行うことができる。

なお、本発明の画像表示装置では、第１画像が、横方向が現実の水平方向に対応しているコンテンツ画像である場合には、利用者の所望の姿勢における視野領域の中心位置と、新たな画像の初期方向の位置との初期化関係として、上記の（Ａ）及び（Ｂ）のいずれかが選択される。

上述の（Ａ）の第１関係を初期化関係として選択した場合には、現実の姿勢において利用者が感じる水平感覚が反映された関係を維持しつつ、所望の姿勢における視野領域の横方向に関する中心位置が、コンテンツ画像について予め定義されている初期方向の位置（以下、「初期方向位置」ともいう）の横方向座標位置となる第１画像の部分が、視野領域内画像として、表示部に表示される。このため、例えば、仰向けに寝転がった状態で、天空方向を向いている感覚を維持しつつ、頭部の姿勢を変化させて所望の天空領域の星空画像を鑑賞しようとする場合等に適切に対応することができる。

また、上述の（Ｂ）の第２関係を初期化関係として選択した場合には、現実の姿勢において利用者が感じる水平感覚が反映された関係は維持されない。しかしながら、利用者にとって楽な姿勢（例えば、仰向けに寝転がった状態）で、コンテンツ画像の初期方向位置を中心とする画像を、頭部の姿勢を変化させて鑑賞しようとする場合等に適切に対応することができる。

本発明の画像表示装置では、前記コンテンツ画像を、３６０°コンテンツ画像とするができる。

また、本発明の画像表示装置では、前記第１画像がメニュー用画像である場合には、前記初期化後の関係を前記第２関係とすることができる。この場合には、第１画像としてメニュー用画像が表示されているときに、表示方向調整ボタンが選択され、その選択状態が所定時間にわたって継続すると、視野領域における表示画像の中心位置がメニュー用画像の中心位置となり、メニュー選択がしやすい画像を、視野領域内画像として表示することができる。

また、本発明の画像表示装置では、前記表示制御部が、前記表示方向調整ボタンの領域を、前記視野領域の中心位置の上方及び下方のいずれか一方側に設定するようにすることができる。この場合には、表示方向調整ボタンの選択の際には、上方又は下方を向くという簡単な姿勢変更により、表示方向調整ボタンを選択することができる。

以上説明したように、本発明の画像表示装置によれば、新たなコンテンツ画像に表示を切り替えた後に、利用者の所望の姿勢における視野領域の中心位置を、新たなコンテンツ画像の初期方向の位置とする設定を簡易に行うことができる、という効果を奏することができる。

本発明の一実施形態に係る画像表示装置の外観及び一部展開状態を示す斜視図である。 図１の表示面における表示領域の分割態様及び視野領域内画像を説明するための図である。 図１の表示処理装置の概略的な構成を示すブロック図である。 図３の表示用データの一例を示す図である。 メニュー画像データ基づく画像の領域構成を説明するための図である。 個別コンテンツ画像データ基づく画像の領域構成を説明するための図である。 画像表示装置の姿勢変化による視野領域及び表示制御ボタン領域の変化を説明するための図（その１）である。 画像表示装置の姿勢変化による視野領域及び表示制御ボタン領域の変化を説明するための図（その２）である。 アジャストボタンの選択に関連する視野領域内画像の変化を説明するための図（その１）である。 アジャストボタンの選択に関連する視野領域内画像の変化を説明するための図（その２）である。 アジャストボタンの選択による初期化後の第１画像領域の初期方向位置と、視野領域の中心位置との関係を説明するための図である。 バックボタンの選択に関連する視野領域内画像の変化を説明するための図（その１）である。 バックボタンの選択に関連する視野領域内画像の変化を説明するための図（その２）である。

以下、本発明の一実施形態を、図１〜図１３を参照して説明する。なお、以下の説明及び図面においては、同一又は同等な要素には同一の符号を付し、重複する説明を省略する。

［構成］
図１（Ａ）に示されるように、一実施形態に係る画像表示装置１００は、ゴーグル型の装置となっている。この画像表示装置１００は、筐体部材１１０と、表示処理装置１２０とを備えている。利用者は、画像表示装置１００を手に保持して、画像表示装置１００の後方側を顔の両眼部に押し当てつつ、頭部の姿勢を変化させることにより、仮想現実画像による仮想現実感を味わえるようになっている。

上記の筐体部材１１０は、例えば、プラスチック製の部材となっている。筐体部材１１０は、この図１（Ｂ）に示されるように、枠部材１１１と、遮眼部材１１２と、蓋部材１１３とを備えている。

上記の枠部材１１１は、筒状部材となっている。この枠部材１１１には、遮眼部材１１２が固定されるとともに、蓋部材１１３が連結されている。

上記の遮眼部材１１２は、前後方向及び上下方向に延びる平板状部材であり、枠部材１１１の中央部に固定されている。遮眼部材１１２により、利用者の左眼にとっては表示処理装置１２０における表示面ＤＳＰの左眼用領域が可視となるとともに、利用者の右眼にとっては表示処理装置１２０における表示面ＤＳＰの右眼用領域が可視となる。

上記の蓋部材１１３は、枠部材１１１の前方の下縁部に、開閉可能に連結されている。この蓋部材１１３には、表示処理装置１２０が着脱可能に取り付けられる。そして、表示処理装置１２０が取り付けられた状態で、蓋部材１１３を枠部材１１１に対して閉じることにより、上述した図１（Ａ）に示される状態となる。

なお、図２（Ａ）に示されるように、表示処理装置１２０における表示面ＤＳＰの左眼用領域ＬＶＰには、左眼用画像が表示される。また、表示処理装置１２０における表示面ＤＳＰの右眼用領域ＲＶＰには、右眼用画像が表示される。かかる左眼用画像を左眼で視るとともに、右眼用画像を右眼で視ることにより、図２（Ｂ）に示されるように、視野領域ＶＳＰ内画像として立体感のある両眼視画像を視ることができるようになっている。

＜表示処理装置１２０の構成＞
次に、上記の表示処理装置１２０の構成について説明する。

この表示処理装置１２０は、図３に示されるように、表示制御部１２１と、記憶部１２２とを備えている。また、表示処理装置１２０は、姿勢変化量検出部１２３と、無線通信部１２４と、表示部１２５とを備えている。

上記の表示制御部１２１は、表示処理装置１２０の全体を統括制御する。なお、表示制御部１２１については、後述する。

上記の記憶部１２２は、不揮発性の記憶素子を備えて構成されている。この記憶部１２２には、表示制御部１２１が利用する様々な情報データが記憶される。かかる情報データには、表示制御部１２１が実行するプログラム、表示用データＩＭＤ等が含まれている。この記憶部１２２には、表示制御部１２１がアクセス可能となっている。

なお、表示用データＩＭＤの内容については、後述する。

上記の姿勢変化量検出部１２３は、３次元ジャイロセンサ等を備えて構成されている。この姿勢変化量検出部１２３は、各時点の３次元角速度を検出する。姿勢変化量検出部１２３による検出結果は、表示制御部１２１へ送られる。

上記の無線通信部１２４は、ネットワークを介して、外部のサーバ装置との間で通信を行う。本実施形態では、無線通信部１２４を利用することにより、表示制御部１２１が、外部のコンテンツサーバと通信し、表示用データをダウンロードするようになっている。

上記の表示部１２５は、液晶ディスプレイ等の表示デバイスを備えて構成されている。この表示デバイスの表示面が、上述した表示面ＤＳＰとなっている。

この表示部１２５は、表示制御部１２１から送られた画像データを受ける。そして、表示部１２５は、当該画像データに従って、画像を表示する。

ここで、記憶部１２２に記憶される表示用データＩＭＤについて説明する。この表示用データＩＭＤは、図４に示されるように、メニュー画像データＭＮＤと、コンテンツ画像データＣＴＤとを含んでいる。

上記のメニュー画像データＭＮＤは、第１領域データＦＭＤと第２領域データＳＭＤとを含んでいる。ここで、第１領域データＦＭＤは、本実施形態では、後述する個別コンテンツ画像データＣＴＤ_j（ｊ＝１，…，Ｎ）に対応する個別コンテンツ画像を選択するためソフトボタン画像、及び、後述する個別コンテンツ画像が表示されているときに、個別コンテンツ画像の表示について予め定義された初期方向の位置と、視野内画像の中心位置との関係の初期化するモードを選択するためソフトボタン画像を含むメニュー選択画像を表示するためデータである。

また、第２領域データＳＭＤは、メニュー選択画像の表示中における視野内画像の表示制御ボタンの画像を、メニュー選択画像に重ねて表示するための画像である。ここで、表示制御ボタンとしては、本実施形態では、アジャストボタン及びバックボタンの２種類としている。メニュー選択画像におけるアジャストボタンは、視野内画像の中心位置を、メニュー選択画像について予め定義された初期方向の位置に設定するためのボタンである。また、メニュー選択画像におけるバックボタンは、表示中のメニュー画像よりも１段階前に表示対象となっていた画像の表示に戻るためのボタンである。

上記のコンテンツ画像データＣＴＤは、個別コンテンツ画像データＣＴＤ_j（ｊ＝１，…）を含んでいる。

個別コンテンツ画像データＣＴＤ_jは、第１領域データＦＣＤ_jと第２領域データＳＣＤ_jとを備えている。ここで、第１領域データＦＣＤ_jは、横方向が現実の水平方向に対応している３６０°画像のデータとなっている。

また、第２領域データＳＣＤ_jは、個別コンテンツ画像データＣＴＤ_jに基づく３６０°画像の表示中における視野内画像の表示制御ボタンの画像を、当該３６０°画像に重ねて表示するための画像である。ここで、表示制御ボタンとしては、本実施形態では、上述した第２領域データＳＭＤの場合と同様に、アジャストボタン及びバックボタンの２種類としている。なお、以下においては、当該３６０°画像と、表示制御ボタンの画像とを併せた画像を、「個別コンテンツ画像」と呼ぶ。

個別コンテンツ画像におけるアジャストボタンは、視野内画像の中心位置と、表示中の個別コンテンツ画像について予め定義された初期方向の位置との関係を初期化するためのボタンである。また、個別コンテンツ画像におけるバックボタンは、表示中の個別コンテンツ画像よりも１段階前に表示対象となっていた画像の表示に戻るためのボタンである。

ここで、表示中の個別コンテンツ画像について予め定義された初期方向の位置と、視野内画像の中心位置との関係を初期化するモードとして、次の（ａ）及び（ｂ）のいずれかを選択できるようになっている。
（ａ）利用者が直立時の正面方向と直交する水平方向をピッチ軸方向とし、鉛直方向をヨー軸方向とした場合に、初期化後の姿勢での視線方向のヨー角成分値にかかわらず、視野領域における横方向に関する中心位置が、個別コンテンツ画像の初期方向位置の横方向座標位置となるとともに、視野領域における上下方向に関する中心位置が、視線方向のピッチ角成分値に対応する個別コンテンツ画像における上下方向座標位置となる第１関係とする初期化を行う「通常モード」
（ｂ）初期化後の視野領域の中心位置が個別コンテンツ画像について予め定義されている初期方向の位置となる第２関係とする初期化を行う「寝転びモード」

本実施形態では、第１領域データＦＭＤに基づいて表示されるメニュー選択画像を利用して、利用者が表示を希望する個別コンテンツ画像データに対応する個別コンテンツ画像を選択する。ここで、メニュー選択画像は、個別コンテンツ画像とは異なる階層の画像となっている。このため、頭部や体の姿勢に応じた画像表示装置１００の姿勢がどのような姿勢であっても、視野領域ＶＳＰ内にメニュー選択画像を表示できるようになっている。

ここで、メニュー画像データＭＮＤに基づくメニュー選択画像の領域構成、及び、個別コンテンツ画像データＣＴＤ_jに基づく３６０°画像の領域構成について説明する。なお、以下の説明においては、予め定義されている初期方向を、横方向０°及び上下方向０°として説明する。

図５には、メニュー画像データＭＮＤに基づくメニュー選択画像の領域構成が示されている。この図５に示されるように、本実施形態では、メニュー選択画像の全体領域である第１領域ＦＭＡには、メイン領域ＭＭＡ及び２個の第２領域ＳＭＡ₁，ＳＭＡ₂が含まれている。

ここで、第１領域ＦＭＡは、横方向範囲が（−θ）〜θ（θ＜１８０°）の範囲であるとともに、上下方向範囲が（−φ）〜φ（φ＜１８０°）の範囲となっている。また、メイン領域ＭＭＡは、横方向範囲が（−θ）〜θの範囲であるとともに、上下方向範囲が（−ψ_M）〜ψ_M（ψ_M＜φ）の範囲となっている。

さらに、第２領域ＳＭＡ₁は、メイン領域ＭＭＡの上方向に配置された領域であり、横方向範囲が（−θ）〜θの範囲であるとともに、上下方向範囲がψ_M〜φの範囲となっている。また、第２領域ＳＭＡ₂は、メイン領域ＭＭＡの下方向に配置された領域であり、横方向範囲が（−θ）〜θの範囲であるとともに、上下方向範囲が（−ψ_M）〜（−φ）の範囲となっている。

なお、メイン領域ＭＭＡの上下方向幅は、視野領域ＶＳＰの上下方向幅よりも広くなっている。また、メイン領域ＭＭＡ及び第２領域ＳＭＡ₁，ＳＭＡ₂の横方向幅は、視野領域ＶＳＰの横方向幅よりも広くなっている。

また、図６には、個別コンテンツ画像データに基づく個別コンテンツ画像の領域構成が示されている。この図６に示されるように、本実施形態では、個別コンテンツ画像の全体領域である第１領域ＦＣＡには、メイン領域ＭＣＡ及び２個の第２領域ＳＣＡ₁，ＳＣＡ₂が含まれている。

ここで、第１領域ＦＣＡは、横方向範囲が（−１８０°）〜１８０°の範囲であるとともに、上下方向範囲も（−１８０°）〜１８０°の範囲となっている。また、メイン領域ＭＣＡは、横方向範囲が（−１８０°）〜１８０°の範囲であるとともに、上下方向範囲が（−ψ_C）〜ψ_C（ψ_C＜１８０°）の範囲となっている。

さらに、第２領域ＳＣＡ₁は、メイン領域ＭＣＡの上方向に配置された領域であり、横方向範囲が（−１８０°）〜１８０°の範囲であるとともに、上下方向範囲がψ_C〜１８０°の範囲となっている。また、第２領域ＳＣＡ₂は、メイン領域ＭＣＡの下方向に配置された領域であり、横方向範囲が（−１８０°）〜１８０°の範囲であるとともに、上下方向範囲が（−ψ_C）〜（−１８０°）の範囲となっている。

なお、メイン領域ＭＣＡの上下方向幅は、視野領域ＶＳＰの上下方向幅よりも広くなっている。また、メイン領域ＭＣＡ及び第２領域ＳＣＡ₁，ＳＣＡ₂の横方向幅は、視野領域ＶＳＰの横方向幅よりも広くなっている。

図３に戻り、表示制御部１２１について説明する。この表示制御部１２１は、中央処理装置（ＣＰＵ：Central Processing Unit）を備えて構成されている。表示制御部１２１は、様々なプログラムを実行することにより、以下の処理を実行するようになっている。

［表示制御部１２１による表示制御処理］
表示制御部１２１は、無線通信部１２４を利用して、外部のサーバ装置との間で通信を行って、表示用データをダウンロードする。そして、表示制御部１２１は、ダウンロードした表示用データを、表示用データＩＭＤとして、記憶部１２２に格納する。

また、表示制御部１２１は、メニュー選択画像の表示が指定されると、メニュー画像データＭＮＤに基づいて、メニュー選択画像の表示用の画像データを生成する。そして、表示制御部１２１は、生成された当該画像データを表示部１２５へ送る。この結果、表示部１２５の表示画面ＤＳＰには、メニュー選択画像が表示される。

なお、個別コンテンツ画像の表示中にもメニュー選択画像の表示が可能となっている。個別コンテンツ画像の表示中にメニュー選択画像の表示が指定されると、視野領域ＶＳＰ内に表示中の個別コンテンツ画像に重ねて、メニュー選択画像が視野領域ＶＳＰ内に表示されるようになっている。

また、表示されたメニュー選択画像を利用して、後述するようにして個別コンテンツ画像の１つが選択されると、表示制御部１２１は、選択された個別コンテンツ画像について定義された初期方向の位置が、視野領域ＶＳＰの中心位置となる態様の画像データを生成する。そして、表示制御部１２１は、生成された当該画像データを表示部１２５へ送る。この結果、選択された個別コンテンツ画像について定義された初期方向の位置が視野領域ＶＳＰの中心位置となっている態様の画像が、表示部１２５の表示画面ＤＳＰに表示される。

選択された個別コンテンツ画像の表示開始後、頭部や体の姿勢が変化して画像表示装置１００の姿勢が変化すると、当該変化に対応する３次元角速度が、姿勢変化量検出部１２３により検出され、検出結果が表示制御部１２１へ逐次送られる。かかる姿勢変化量検出部１２３による検出結果を受けると、表示制御部１２１は、画像表示装置１００の姿勢の変化を算出する。そして、表示制御部１２１は、算出された姿勢に対応する視野領域ＶＳＰを特定し、特定された視野領域ＶＳＰ内画像の画像データを生成する。そして、表示制御部１２１は、生成された当該画像データを表示部１２５へ送る。この結果、画像表示装置１００の姿勢に対応する視野領域ＶＳＰ内の画像が、表示部１２５の表示画面ＤＳＰに表示される。

＜視野領域ＶＳＰと表示制御ボタン領域との位置関係＞
次に、個別コンテンツ画像の表示中において、画像表示装置１００の姿勢が変化した場合の視野領域と、第２領域ＳＣＡ₁におけるアジャスト（ＡＤＪ）ボタン領域及び第２領域ＳＣＡ₂におけるバック（ＢＡＣＫ）ボタン領域との関係について説明する。

個別コンテンツ画像の表示の当初には、図７（Ａ）に示されるように、表示制御部１２１は、視野領域ＶＳＰを、視野領域ＶＳＰの中心が個別コンテンツ画像の初期方向の位置となるメイン領域ＭＣＡ内の位置に設定する。また、表示制御部１２１は、視野領域ＶＳＰの中心位置の上方の第２領域ＳＣＡ₁内の位置にアジャストボタン領域ＡＢＡを設定する。さらに、表示制御部１２１は、視野領域ＶＳＰの中心位置の下方の第２領域ＳＣＡ₂内の位置にバックボタン領域ＢＢＡを設定する。

図７（Ａ）に示される状態から、例えば、画像表示装置１００の姿勢が右方向に変化すると、表示制御部１２１は、図７（Ｂ）に示されるように、視野領域ＶＳＰを、メイン領域ＭＣＡ内で右側へ移動させる。また、表示制御部１２１は、視野領域ＶＳＰの中心位置の上方の第２領域ＳＣＡ₁内の位置であることが維持されるように、アジャストボタン領域ＡＢＡを、第２領域ＳＣＡ₁内で右側へ移動させる。さらに、表示制御部１２１は、視野領域ＶＳＰの中心位置の下方の第２領域ＳＣＡ₂内の位置であることが維持されるように、バックボタン領域ＢＢＡを、第２領域ＳＣＡ₂内で右側へ移動させる。

なお、図示を省略しているが、図７（Ａ）に示される状態から画像表示装置１００の姿勢が左方向に変化すると、表示制御部１２１は、視野領域ＶＳＰを、第１領域ＦＣＡ内で左側へ移動させる。また、表示制御部１２１は、視野領域ＶＳＰの中心位置の上方の第２領域ＳＣＡ₁内の位置であることが維持されるように、アジャストボタン領域ＡＢＡを、第２領域ＳＣＡ₁内で左側へ移動させる。さらに、表示制御部１２１は、視野領域ＶＳＰの中心位置の下方の第２領域ＳＣＡ₂内の位置であることが維持されるように、バックボタン領域ＢＢＡを、第２領域ＳＣＡ₂内で左側へ移動させる。

すなわち、画像表示装置１００の姿勢が横方向に変化すると、表示制御部１２１は、視野領域ＶＳＰ、アジャストボタン領域ＡＢＡ及びバックボタン領域ＢＢＡを連動させて、姿勢変化量に対応した移動量だけ横方向へ移動させる。

一方、図７（Ａ）を再掲する図８（Ａ）に示される状態から、例えば、画像表示装置１００の姿勢が上方向に変化すると、表示制御部１２１は、図８（Ｂ）に示されるように、視野領域ＶＳＰを上方へ移動させる。この場合、表示制御部１２１は、アジャストボタン領域ＡＢＡの設定位置及びバックボタン領域ＢＢＡの設定位置を変化させずに、維持する。

なお、図示を省略しているが、図８（Ａ）に示される状態から画像表示装置１００の姿勢が下方向に変化すると、表示制御部１２１は、視野領域ＶＳＰを下方へ移動させる。この場合にも、表示制御部１２１は、アジャストボタン領域ＡＢＡの設定位置及びバックボタン領域ＢＢＡの設定位置を変化させない。

すなわち、画像表示装置１００の姿勢が上下方向に変化すると、表示制御部１２１は、視野領域ＶＳＰを、姿勢変化量に対応した移動量だけ上下方向へ移動させる。一方、画像表示装置１００の姿勢が上下方向に変化しても、アジャストボタン領域ＡＢＡの設定位置及びバックボタン領域ＢＢＡの設定位置を変化させない。

なお、メニュー選択画像の表示中において、画像表示装置１００の姿勢が変化した場合の視野領域と、第２領域ＳＣＡ₁におけるアジャスト（ＡＤＪ）ボタン領域及び第２領域ＳＣＡ₂におけるバック（ＢＡＣＫ）ボタン領域との関係は、上述した個別コンテンツ画像の表示中の場合と同様である。

＜アジャストボタン選択処理＞
次いで、表示制御部１２１によるアジャストボタン選択処理について説明する。

例えば、図９（Ａ）に示されるように視野領域ＶＳＰ内の全領域にメイン領域内画像が表示されている状態で、アジャストボタンを選択するために、画像表示装置１００の姿勢を上方に変化させていくと、表示制御部１２１は、視野領域ＶＳＰが上方に変化する画像データを生成し、生成された画像データを表示部１２５へ送る。この結果、表示部１２５には、視野領域ＶＳＰが上方に変化する態様の画像が表示される。そして、図９（Ｂ）に示されるように、視野領域ＶＳＰ内の上方部分にアジャストボタン画像が薄く画像として登場する。

図９（Ｂ）の状態から、画像表示装置１００の姿勢を更に上方に変化し、視野領域ＶＳＰの中心位置がメイン領域画像よりも上方となると、表示制御部１２１は、アジャストボタン画像を通常表示するとともに、視野領域ＶＳＰの中心位置にカーソル像（図における黒塗り十字像）を表示する画像データを生成し、生成された画像データを表示部１２５へ送る。この結果、視野領域ＶＳＰ内に、図１０（Ａ）に示される画像が表示される。

図１０（Ａ）の状態から、画像表示装置１００の姿勢を更に上方に変化し、視野領域ＶＳＰの中心位置（すなわち、カーソル位置）が、アジャストボタン領域内に達すると、表示制御部１２１は、アジャストボタン画像を強調表示する画像データを生成し、生成された画像データを表示部１２５へ送る。この結果、視野領域ＶＳＰ内に、アジャストボタン画像が強調表示された画像が、視野領域ＶＳＰ内に表示される。

この後、カーソル位置がアジャストボタン領域内にある状態が、第１所定時間（例えば、３秒）にわたって継続すると、表示制御部１２１は、アジャストボタンが選択されたと判断して、所望の姿勢への変更を促すメッセージを表示する画像データを生成し、生成された画像データを表示部１２５へ送る。この結果、視野領域ＶＳＰ内に、図１０（Ｂ）に示される画像が表示される。

なお、第１所定時間は、アジャストボタンの誤選択の防止観点から、実験、シミュレーション、経験等に基づいて、予め定められる。

この後、第２所定時間（例えば、３秒）が経過すると、表示中の個別コンテンツ画像の視野領域ＶＳＰへの表示開始前に選択された初期化モードに応じて、表示制御部１２１は、表示中の第１領域画像の初期方向の位置と、視野領域ＶＳＰの中心位置との関係が初期化される。そして、表示制御部１２１は、当該初期化された関係に従って画像データを生成し、生成された画像データを表示部１２５へ送る。この結果、視野領域ＶＳＰ内に、図１０（Ｃ）に示される画像が表示される。

なお、第２所定時間は、所望の姿勢への変更時間を確保するとの観点から、実験、シミュレーション、経験等に基づいて、予め定められる。

図１１（Ａ）には、第１領域画像が個別コンテンツ画像であり、初期化モードが「通常モード」であるときに初期化が行われた場合における、表示中の第１領域画像の初期方向の位置と、視野領域ＶＳＰの中心位置との関係が示されている。また、図１１（Ｂ）には、第１領域画像が個別コンテンツ画像であり、初期化モードが「寝転びモード」であるときに初期化が行われた場合における、表示中の第１領域画像の初期方向の位置と、視野領域ＶＳＰの中心位置との関係が示されている。

図１１（Ａ）に示されるように、「通常モード」の初期化が行われると、利用者にとっての直立時の正面方向をロール軸方向とし、水平方向をピッチ軸方向とし、鉛直方向をヨー軸方向とした場合に、初期化後の姿勢での視線方向のヨー角成分値にかかわらず、視野領域ＶＳＰにおける横方向に関する中心位置（中心点ＶＳＣの横方向位置）が、表示中の第１領域画像における横方向座標に関する中心位置（θ＝０°に対応する横方向座標位置）となる。また、初期化後の姿勢での視野領域における上下方向座標に関する中心位置（中心点ＶＳＣの上下方向位置）が、視線方向のピッチ角成分値（ψ＝ψ_I）に対応する第１領域画像における上下方向座標位置となる。

また、図１１（Ｂ）に示されるように、「寝転びモード」の初期化が行われると、初期化後の視野領域ＶＳＰの中心位置ＶＳＣが、表示中の第１領域画像の中心位置（（θ＝０°，ψ＝０°）に対応する位置）である初期方向の位置となる。なお、第１領域画像がメニュー用画像である場合に、アジャストボタンの選択による初期化が行われた場合には、図１１（Ｂ）の場合と同様に、初期化後の視野領域ＶＳＰの中心位置ＶＳＣが、表示中の第１領域画像の中心位置（（θ＝０°，ψ＝０°）に対応する位置）である初期方向の位置となる。

＜バックボタン選択処理＞
次いで、表示制御部１２１によるバックボタン選択処理について説明する。

例えば、図１２（Ａ）に示されるように視野領域ＶＳＰ内の全領域にメイン領域内画像が表示されている状態で、バックボタンを選択するために、画像表示装置１００の姿勢を下方に変化させていくと、表示制御部１２１は、視野領域ＶＳＰが下方に変化する画像データを生成し、生成された画像データを表示部１２５へ送る。この結果、表示部１２５には、視野領域ＶＳＰが下方に変化する態様の画像が表示される。そして、図１２（Ｂ）に示されるように、視野領域ＶＳＰ内の下方部分にバックボタン画像が薄く画像として登場する。

図１２（Ｂ）の状態から、画像表示装置１００の姿勢を更に下方に変化し、視野領域ＶＳＰの中心位置がメイン領域内画像よりも下方となると、表示制御部１２１は、バックボタン画像を通常表示するとともに、視野領域ＶＳＰの中心位置にカーソル像を表示する画像データを生成し、生成された画像データを表示部１２５へ送る。この結果、視野領域ＶＳＰ内に、図１３（Ａ）に示される画像が表示される。

図１３（Ａ）の状態から、画像表示装置１００の姿勢を更に下方に変化し、視野領域ＶＳＰの中心位置（すなわち、カーソル位置）が、バックボタン領域内に達すると、表示制御部１２１は、バックボタン画像を強調表示するとともに、バックボタンの選択と判断し、前段階画像へ戻る旨のメッセージを表示する画像データを生成し、生成された画像データを表示部１２５へ送る。この結果、視野領域ＶＳＰ内に、図１３（Ｂ）に示される画像が表示される。

この後、第３所定時間（例えば、３秒）が経過すると、表示制御部１２１は、前段階画像の初期方向の位置が視野領域ＶＳＰの中心位置となる画像データを生成し、生成された画像データを表示部１２５へ送る。この結果、視野領域ＶＳＰ内に、図１３（Ｃ）に示される画像が表示される。

なお、第３所定時間は、バックボタンの誤選択の防止観点から、実験、シミュレーション、経験等に基づいて、予め定められる。

表示中の画像がメニュー選択画像である場合も、上述した表示中の画像が個別コンテンツ画像の場合と同様に、アジャストボタン選択処理及びバックボタン選択処理が実行される。

以上説明したように、本実施形態では、アジャストボタン（表示方向調整ボタン）が選択されると、表示制御部１２１が、視野領域内の画像に関する方向調整を行う。かかる方向調整に際して、表示制御部１２１は、所定時間の経過時点における視野領域の中心位置と、表示中の画像について予め定義されている初期方向の位置との関係を初期化し、当該初期化の関係に対応して定まる画像を、視野領域内画像として表示部１２５に表示させる。

ここで、本実施形態では、第１画像が、横方向が現実の水平方向に対応している個別コンテンツ画像である場合には、利用者の所望の姿勢における視野領域の中心位置と、個別コンテンツの初期方向の位置との初期化関係として、下記の（Ａ）及び（Ｂ）のいずれかを選択できるようになっている。

（Ａ）利用者が直立時の正面方向と直交する水平方向をピッチ軸方向とし、鉛直方向をヨー軸方向とした場合に、所定時間の経過時点における姿勢での視線方向のヨー角成分値にかかわらず、視野領域における横方向に関する中心位置が、個別コンテンツ画像について予め定義されている初期方向の位置の横方向座標位置となるとともに、視野領域における上下方向に関する中心位置が、視線方向のピッチ角成分値に対応する個別コンテンツ画像における上下方向座標位置となる第１関係、
（Ｂ）所定時間の経過時点における視野領域の中心位置が、個別コンテンツ画像について予め定義されている初期方向の位置となる第２関係

上述の（Ａ）の関係が選択されている場合には、現実の姿勢において利用者が感じる水平感覚が反映された対応する関係を維持しつつ、所望の姿勢における視野領域の横方向に関する中心位置が、個別コンテンツ画像における横方向に関する中心位置となる個別コンテンツ画像の部分が、視野領域内画像として、表示部に表示される。このため、例えば、仰向けに寝転がった状態で、天空方向を向いている感覚を維持しつつ、頭部の姿勢を変化させて所望の天空領域の星空の画像を鑑賞しようとする場合等にも好適に利用することができる。

また、上述の（Ｂ）の関係が選択されている場合には、現実の姿勢において利用者が感じる水平感覚が反映された対応する関係は維持されない。しかしながら、利用者にとって楽な姿勢（例えば、仰向けに寝転がった状態）で、個別コンテンツ画像の初期方向位置を中心とする領域の画像を、頭部の姿勢を変化させて鑑賞しようとする場合等に好適に利用することができる。

したがって、本実施形態によれば、新たな画像に表示を切り替えた後に、利用者の所望の姿勢における視野領域の中心位置と、新たな画像の初期方向の位置との関係の初期化を簡易に行うことができる。

また、本実施形態では、メニュー用画像が表示されている場合には、初期化後の関係を上述した第２関係としている。このため、メニュー用画像の表示中にアジャストボタンが選択されると、視野領域における表示画像の中心位置がメニュー用画像の中心位置となる。この結果、メニュー選択がしやすい画像を、視野領域内画像として表示することができる。

また、本実施形態では、表示制御部１２１は、アジャストボタンの領域を、視野領域ＶＳＰの中心位置の上方側に設定する。このため、アジャストボタンの選択の際には、上方を向くという簡単な姿勢変更により、アジャストボタンを選択することができる。

［実施形態の変形］
本発明は、上記の実施形態に限定されるものではなく、様々な変形が可能である。

例えば、上記の実施形態では、アジャストボタン領域を視野領域の上方とし、バックボタン領域を視野領域の下方とした。これに対し、アジャストボタン領域を視野領域の下方とし、バックボタン領域を視野領域の上方としてもよい。

また、上記の実施形態では、表示制御ボタンを、アジャストボタン及びバックボタンの２種類としたが、他の種類の表示制御ボタンを追加してもよい。

また、上記の実施形態における個別コンテンツ画像を３６０°画像としたが、他の種類の画像としてもよい。さらに、個別コンテンツ画像は、動画であってもよいし、静止画であってもよい。

また、上記の実施形態では、個別コンテンツ画像について予め定められている初期方向を、横方向０°及び上下方向０°としたが、他の任意の方向を初期方向とするようにしてもよい。

また、上記の実施形態では、利用者の左眼にとっては表示処理装置１２０における表示面ＤＳＰの左眼用領域を可視とするとともに、利用者の右眼にとっては表示処理装置１２０における表示面ＤＳＰの右眼用領域を可視とするために、遮眼部材１１２のみを用いるようにした。これに対し、レンズ系を含む光学系を更に用いるようにしてもよい。

また、上記の実施形態では、表示用データを外部のサーバ装置からダウンロードするようにしたが、ＵＳＢメモリ等の可搬形の記憶装置を利用して、画像表示装置に提供するようにしてもよい。

また、上記の実施形態では、表示用データを外部のサーバ装置からダウンロードするようにした。これに対し、ＵＳＢメモリ等の可搬形の記憶装置を利用して、表示用データを画像表示装置に提供するようにしてもよい。また、連続した画像の形式であるストリーミング形式で、表示用データを画像表示装置に提供するようにしてもよい。

また、上記の実施形態では、画像表示装置の内部に保持される表示用データの種類の数を１個としたが、複数個としてもよい。この場合には、表示用データを選択するためのメニュー選択画像が必要となるが、かかる場合も上記の実施形態と同様の表示及び選択の制御を行うようにすればよい。

また、上記の実施形態の表示処理装置としては、スマートフォン等の汎用的な装置を採用することができる。なお、表示処理装置は、スマートフォンに限定されない。

また、上記の実施形態では、表示処理装置を筐体部材に着脱自在に取り付けるようにしたが、表示処理装置を筐体部材に固定的に取り付けるようにしてもよい。

なお、本発明をヘッドマウントディスプレイとして機能する任意の画像表示装置に適用することができるのは、勿論である。

以上説明したように、本発明は、仮想現実感を実現できる画像を利用者に提供する画像表示装置に適用することができる。

１００…画像表示装置、１１０…筐体部材、１１１…枠部材、１１２…遮眼部材、１１３…蓋部材、１２０…表示処理装置、１２１…表示制御部、１２２…記憶部、１２３…姿勢変化量検出部、１２４…無線通信部、１２５…表示部。

Claims (4)

1. 利用者の頭部に装着される筐体部材と；
   前記筐体部材に固定される表示部と；
   第１領域内において定義される第１画像のデータと、前記第１領域に含まれる第２領域内で定義され、前記第２領域における前記第１画像のデータに対応する画像に重ねて表示される第２画像のデータとを含む表示用データが記憶された記憶部と；
   前記筐体部材の姿勢の相対変化量を検出する姿勢変化量検出部と；
   前記姿勢変化量検出部による検出結果に応じて、前記表示部における表示画像を変化させる表示制御部と；を備え、
   前記第２画像には、表示方向調整ボタンの画像が含まれ、
   前記表示制御部は、前記表示方向調整ボタンが選択されると、所定時間の経過時点における視野領域の中心位置と、前記第１画像について予め定義されている初期方向の位置との関係を初期化し、前記初期化の関係に対応して定まる画像を、視野領域内画像として前記表示部に表示させ、
   前記第１画像が、横方向が現実の水平方向に対応しているコンテンツ画像である場合には、前記初期化後の関係が、
   （Ａ）利用者が直立時の正面方向と直交する水平方向をピッチ軸方向とし、鉛直方向をヨー軸方向とした場合に、前記所定時間の経過時点における前記姿勢での視線方向のヨー角成分値にかかわらず、前記視野領域における横方向に関する中心位置が、前記第１画像について予め定義されている初期方向の位置の横方向座標位置となるとともに、前記視野領域における上下方向に関する中心位置が、前記視線方向のピッチ角成分値に対応する前記第１画像における上下方向座標位置となる第１関係、及び、
   （Ｂ）前記所定時間の経過時点における視野領域の中心位置が前記初期方向の位置となる第２関係
   のいずれかから選択される、ことを特徴とする画像表示装置。
2. 前記コンテンツ画像は、３６０°コンテンツ画像である、ことを特徴とする請求項１に記載の画像表示装置。
3. 前記第１画像がメニュー用画像である場合には、前記初期化後の関係は前記第２関係である、ことを特徴とする請求項１又は２に記載の画像表示装置。
4. 前記表示制御部は、前記表示方向調整ボタンの領域を、前記視野領域の中心位置の上方及び下方のいずれか一方側に設定する、ことを特徴とする請求項１〜３のいずれか一項に記載の画像表示装置。

Images