WO2020115815A1 - ヘッドマウントディスプレイ装置 - Google Patents

Abstract

ヘッドマウントディスプレイ装置などによるＡＲ表示において両眼視であっても忠実にオクルージョンを表現する。ヘッドアップディスプレイ装置１０は、レンズ１２、レンズ１３、カメラ１４、カメラ１５、および情報処理部１６を有する。レンズ１２は、右目用のＣＧ画像を表示する。レンズ１３は、左目用のＣＧ画像を表示する。カメラ１４は、右目用の画像を撮影する。カメラ１５は、左目用の画像を撮影する。情報処理部１６は、カメラ１４，１５が撮影した画像から右目で見た際のオクルージョンを表現した右目用のＣＧ画像および左目で見た際のオクルージョンを表現した左目用のＣＧ画像をそれぞれ生成して、生成した右目用の前記ＣＧ画像および左目用のＣＧ画像をレンズ１２，１３にそれぞれ投射する。カメラ１４のレンズの中心は、レンズ１２の中心と同じ位置に設けらる。カメラ１５のレンズの中心は、レンズ１３の中心と同じ位置に設けられる。

Description

ヘッドマウントディスプレイ装置

　本発明は、ヘッドマウントディスプレイ装置に関し、特に、ＡＲ（Augmented Reality：拡張現実）表示における忠実なオクルージョンの表現に有効な技術に関する。

　近年、ＡＲを利用した様々なサービスの提案がされている。ＡＲは、コンピュータ、または携帯型計算機などが作成する画像を画面の全体あるいは実写画像の一部に重ねて表示させる技術である。

　３次元空間では、上下や左右の他に前後関係がある。よって、手前にある物体が背後にある物体を隠して見えないようにする状態、すなわちオクルージョンが発生する。

　ＡＲによる表示において、ユーザに違和感のないＡＲ画像を提供するためには、３次元映像の処理などによって上述したオクルージョンを忠実に表現することが重要となる。

　この種のオクルージョンを考慮したＡＲの画像処理技術としては、例えばオクルージョンを表現する際に現実物体に隠れるＣＧ（Computer Graphics）画像領域を楕円状に切り取ることによって、オクルージョン処理を行うものが知られている（例えば特許文献１参照）。

米国特許出願公開第２０１２／２０６４５２号明細書

　上述したオクルージョン処理は、例えばスマートフォンやタブレットなどにＡＲ表示を行う単一視（Single Vison）の場合、単純に現実物体とＣＧ画像との距離関係に応じてオクルージョンを表現すればよい。

　しかし、ＡＲグラスなどの両眼視（Binocular Vision）によるヘッドマウントディスプレイ装置の場合、ＡＲ表示において忠実にオクルージョンを表現するには、両眼の視差や輻輳角などを考慮する必要があり、単一視のオクルージョン処理を適用するだけでは、不自然なＡＲ画像になってしまうという問題がある。

　また、上述した特許文献１のオクルージョンの処理技術では、ユーザの両眼視差や輻輳角などによる見え方の違いなどを考慮した処理が行われていない、また、現実物体の輪郭に沿って現実物体に隠れるＣＧ画像領域を切り取るのではなく、該ＣＧ画像領域を楕円状に切り取るために、現実物体とＣＧ画像との隙間の表示が不自然になってしまうという問題がある。

　本発明の目的は、ヘッドマウントディスプレイ装置などによるＡＲ表示において両眼視であっても忠実にオクルージョンを表現することのできる技術を提供することにある。

　本発明の前記ならびにその他の目的と新規な特徴については、本明細書の記述および添付図面から明らかになるであろう。

　本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次のとおりである。

　すなわち、代表的なヘッドマウントディスプレイ装置は、第１のレンズ、第２のレンズ、第１のカメラ、第２のカメラ、および情報処理部を有する。第１のレンズは、右目用のＣＧ画像を表示する。第２のレンズは、左目用のＣＧ画像を表示する。第１のカメラは、右目用の画像を撮影する。第２のカメラは、左目用の画像を撮影する。

　情報処理は、第１のカメラおよび第２のカメラが撮影した画像から右目で見た際のオクルージョンを表現した右目用のＣＧ画像および左目で見た際のオクルージョンを表現した左目用のＣＧ画像をそれぞれ生成して、生成した右目用のＣＧ画像を第１のレンズに投射し、生成した左目用のＣＧ画像を第２のレンズに投射する。

　そして、第１のカメラのレンズの中心は、第１のレンズの中心(装着者の瞳の中心)と同じ位置に設けられている。第２のカメラのレンズの中心は、第２のレンズの中心(装着者の瞳の中心)と同じ位置に設けられている。

　特に、情報処理部は、第１の情報生成部、第２の情報生成部、第１の遮蔽領域計算部、第２の遮蔽領域計算部、画像生成部、および表示部を有する。

　第１の情報生成部は、第１のカメラおよび第２のカメラが撮影した画像から第１のレンズに表示するＣＧ画像と現実環境との遮蔽関係を示すオクルージョン情報を生成する。第２の情報生成部は、第１のカメラおよび第２のカメラが撮影した画像から第２のレンズに表示するＣＧ画像と現実環境との遮蔽関係を示すオクルージョン情報を生成する。

　第１の遮蔽領域計算部は、第１の情報生成部が生成したオクルージョン情報に基づいて、第１のレンズに表示されるＣＧ画像を右目で見た際にＣＧ画像が物体に遮蔽される遮蔽領域を計算する。
第２の遮蔽領域計算部は、第２の情報生成部が生成したオクルージョン情報に基づいて、第２のレンズに表示されるＣＧ画像を左目で見た際にＣＧ画像が物体に遮蔽される遮蔽領域を計算する。

　画像生成部は、ＣＧ画像を生成するＣＧ画像生成データに基づいて、第１の遮蔽領域計算部が算出した遮蔽領を表示しない右目用のＣＧ画像および第２の遮蔽領域計算部が算出した遮蔽領を表示しない左目用のＣＧ画像をそれぞれ生成する。表示部は、画像生成部が生成した右目用のＣＧ画像および左目用のＣＧ画像を第１のレンズおよび第２のレンズに投射する。

　本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。

　両眼視のＡＲ表示において、忠実なオクルージョンを再現することができる。

一実施の形態によるヘッドマウントディスプレイ装置における構成の一例を示す説明図である。 図１のヘッドマウントディスプレイ装置が有する制御処理部における構成の一例を示す説明図である。 図２の制御処理部が有する情報処理部における構成の一例を示す説明図である。 図１のヘッドマウントディスプレイ装置によるＡＲ表示の一例を示した説明図である。 両眼視を考慮した画像処理の一例を示した説明図である。 輻輳角の一例を示す説明図である。 右目および左目の見え方の違いの一例を示す説明図である。

　実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。

　以下、実施の形態を詳細に説明する。

　〈ヘッドマウントディスプレイ装置の構成例〉
　図１は、一実施の形態によるヘッドマウントディスプレイ装置１０における構成の一例を示す説明図である。

　ヘッドマウントディスプレイ装置１０は、図１に示すように、筐体１１、レンズ１２，１３、カメラ１４，１５、および情報処理部１６を有する。筐体１１は、眼鏡フレームを構成する。

　第１のレンズであるレンズ１２および第２のレンズであるレンズ１３は、筐体１１のリムにそれぞれ固定されている。リムに固定される各々のレンズ１２，１３は、ヘッドマウントディスプレイ装置１０を使用するユーザの左右の目にそれぞれ対応するように設けられている。

　レンズ１２を固定するリムの上部には、第１のカメラであるカメラ１４が設けられており、レンズ１３を固定するリムの上部には、第２のカメラであるカメラ１５が設けられている。これらカメラ１４，１５は、例えばステレオカメラである。ステレオカメラは、２つのカメラの視差を利用して、被写体を撮影する。

　カメラ１４は、ユーザの右目に対応するカメラであり、カメラ１５は、ユーザの左目に対応するカメラである。これらカメラ１４，１５は、画像をそれぞれ撮影する。

　また、カメラ１４のレンズの中心は、レンズ１２の中心とほぼ同じとなる位置に設けられている。言い換えれば、カメラ１４のレンズの中心は、ユーザの右目の瞳の中心とほぼ同じとなる。

　同様に、カメラ１５のレンズの中心は、レンズ１３の中心とほぼ同じとなる位置に設けられている。言い換えれば、カメラ１５のレンズの中心は、ユーザの右目の瞳の中心とほぼ同じとなる。

　図２は、図１のヘッドマウントディスプレイ装置１０が有する制御処理部１６における構成の一例を示す説明図である。

　制御処理部１６は、図２に示すように、操作入力部１７、制御部１８、情報処理部１９、および通信部３０から構成されている。これら操作入力部１７、制御部１８、情報処理部１９、通信部３０、および図１のカメラ１４，１５は、バス３１によって相互に接続されている。

　操作入力部１７は、例えばタッチセンサなどからなるユーザインタフェースである。タッチセンサは、該タッチセンサに接触するユーザの指などの位置を静電的に検出する静電容量方式のタッチパネルなどからなる。

　制御部１８は、ヘッドマウントディスプレイ装置１０における制御を司る。情報処理部１９は、ＣＧ画像を生成してレンズ１２，１３に表示させる。この情報処理部１９は、例えば筐体１１のブリッジ部分などに設けられている。情報処理部１６の配置は、特に制限なく、例えば筐体１１のテンプル部分などに情報処理部１６を設けるようにしてもよい。

　情報処理部１６が生成したＣＧ画像は、レンズ１２，１３に投射される。投射されたＣＧ画像は、レンズ１２，１３によってそれぞれ拡大されて表示される。そして、レンズ１２，１３に表示されたＣＧ画像が実画像に重ね合わされてＡＲ画像となる。

　通信部３０は、例えばBluetooth（登録商標）、またはインターネット回線などによ情報のり無線通信などを行う。

　〈情報処理部の構成例〉
　図３は、図２の制御処理部１６が有する情報処理部１９における構成の一例を示す説明図である。

　情報処理部１９は、図３に示すように、奥行き情報生成部２０、遮蔽領域計算部２１、ＡＲ画像生成部２２、およびＡＲ表示部２３から構成されている。

　第１の情報生成部および第２の情報生成部を構成する奥行き情報生成部２０は、物体までの距離および輻輳角などを算出して格納する。この奥行き情報生成部２０は、視差マッチング部２５およびデプス情報格納部２６を有する。

　視差マッチング部２５は、図１のカメラ１４，１５が撮影した画像のすべての物体における物体距離および輻輳角をそれぞれ算出する。カメラ１４，１５が撮影した画像は、バス３１を介して入力される。

　物体距離とは、カメラ１４，１５から物体までの距離であり、言い換えれば、物体の深度情報である。輻輳角は、両目から放たれた視線が注視する物体にて織りなす角度である。この輻輳角は、例えば物体距離と該物体の画像上の位置情報とから算出することができる。

　デプス情報格納部２６は、例えばフラッシュメモリなどに例示される半導体メモリからなり、右目用デプス情報および左目用デプス情報を格納する。右目用デプス情報は、カメラ１４が撮影した画像に視差マッチング部２５が算出した物体距離および輻輳角をそれぞれ付加した情報である。左目用デプス情報は、カメラ１５が撮影した画像に視差マッチング部２５が算出した物体距離および輻輳角をそれぞれ付加した情報である。

　第１の遮蔽領域計算部および第２の遮蔽領域計算部を構成する遮蔽領域計算部２１には、デプス情報格納部２６に格納される右目用デプス情報、左目用デプス情報、および表示するＣＧ画像の距離情報に基づいて、右目用のＣＧ画像の遮蔽領域と左目用のＣＧ画像の遮蔽領域とをそれぞれ計算する。遮蔽領域とは、オクルージョンを表現するために表示するＣＧ画像の一部を表示させない領域である。

　画像生成部であるＡＲ画像生成部２２は、遮蔽領域計算部２１が計算した右目用のＣＧ画像の遮蔽領域、左目用のＣＧ画像の遮蔽領域、および画像生成データに基づいて、右目用のＣＧ画像と左目用のＣＧ画像とをそれぞれ生成する。

　上述したＣＧ画像の距離情報は、表示するＣＧ画像の距離や位置などを示す情報である。画像生成データは、表示するＣＧ画像を生成する際に必要なデータであり、例えばＣＧ画像の形状や配色などのデータである。

　これら距離情報および画像生成データは、例えば外部から入力されるアプリケーションによって提供される。アプリケーションは、例えば制御処理部１９が有する通信部３０を通じて取得する。あるいは、情報処理部１９に図示しないメモリを設け、該メモリに予め外部から入力されるアプリケーションを格納するようにしてもよい。

　表示部であるＡＲ表示部２３は、ＡＲ画像生成部２２が生成した右目用のＣＧ画像および左目用のＣＧ画像をレンズ１２，１３にそれぞれ照射して描画する光学系である。

　〈ヘッドマウントディスプレイ装置の動作例〉
　次に、ヘッドマウントディスプレイ装置１０の動作について説明する。

　まず、カメラ１４，１５が画像を撮影する。カメラ１４，１５によって撮影された画像は、奥行き情報生成部２０が有する視差マッチング部２５に入力される。視差マッチング部２５は、物体距離および輻輳角をカメラ１４，１５が撮影した画像からそれぞれ算出する。

　物体距離は、視差マッチング部２５がカメラ１４，１５が撮影したそれぞれの画像の位置の差を三角測量などによって計算することによって算出する。あるいは、ステレオカメラを構成するカメラ１４，１５の画像から物体までの距離を算出するのではなく、例えば情報処理部１９に図示しない距離センサなどを新たに設けて、該距離センサによって物体までの距離をそれぞれ測距するようにしてもよい。

　輻輳角は、算出した物体距離とその物体の位置に基づいて、視差マッチング部２５が算出する。これらの算出は、カメラ１４，１５が撮影した画像に写っている物体毎に行う。

　その後、視差マッチング部２５は、カメラ１４の画像から算出した物体距離および輻輳角をカメラ１４が撮影した画像にそれぞれ付加する。同様に、カメラ１５の画像から算出した物体距離および輻輳角をカメラ１５が撮影した画像にそれぞれ付加する。

　そして、視差マッチング部２５は、距離および輻輳角が付加されたカメラ１４の画像を上述した右目用デプス情報としてデプス情報格納部２６に格納し、距離および輻輳角が付加されたカメラ１５の画像を上述した左目用デプス情報としてデプス情報格納部２６に格納する。

　遮蔽領域計算部２１は、デプス情報格納部２６に格納された右目用デプス情報および左目用デプス情報から物体まで距離と輻輳角とをそれぞれ取得する。その後、取得した物体まで距離、輻輳角、およびアプリケーションから提供されるＣＧ画像の距離情報に基づいて、右目に表示されるＣＧ画像が現実物体に遮蔽される領域および左目に表示されるＣＧ画像が現実物体に遮蔽される領域をそれぞれ算出する。

　遮蔽領域計算部２１が算出した遮蔽領域の情報は、ＡＲ画像生成部２２にそれぞれ出力される。ＡＲ画像生成部２２は、アプリケーションから提供された画像生成データに基づいて、現実の光景に重畳するＣＧ画像を生成する。

　その際、ＡＲ画像生成部２２は、遮蔽領域計算部２１が算出した遮蔽領域の情報に基づいて、オクルージョンを表現する領域が表示されないＣＧ画像をそれぞれ生成する。

　ＡＲ画像生成部２２が生成した右目用および左目用のＣＧ画像は、ＡＲ表示部２３にそれぞれ出力される。ＡＲ表示部２３は、入力された右目用のＣＧ画像をレンズ１２に、左目用のＣＧ画像をレンズ１３にそれぞれ投射する。

　これによって、右目の視野に最適なオクルージョンが表現される右目用のＣＧ画像および左目の視野に最適なオクルージョンが表現される左目用のＣＧ画像をそれぞれレンズ１２，１３にそれぞれ表示される。その結果、忠実なオクルージョンが表現されたＡＲ画像を提供することができる。

　〈両眼視を考慮したＣＧ画像の表示について〉
　図４は、図１のヘッドマウントディスプレイ装置１０によるＡＲ表示の一例を示した説明図である。図５は、両眼視を考慮した画像処理の一例を示した説明図である。図６は、輻輳角の一例を示す説明図である。図７は、右目および左目の見え方の違いの一例を示す説明図である。

　図４は、現実物体２００の後方に現実物体２０１があり、現実物体２０１にＣＧ画像５０が載置されている状態のＡＲ表示がなされている例を示している。

　人間は、右目と左目とが６ｃｍ程度離れているため、左右の目が捉える景色はわずかにずれいている。このとき、ずれ量は、物体の距離に応じて異なる。よって、両眼視を考慮したＡＲ表示を行う場合には、ユーザの左右の目が捉える現実物体の見え方を把握する必要がある。

　また、図６に示すように、輻輳角は、遠くにある物体２０３を見るときの輻輳角θ１よりもより近くにある物体２０４を見るときの輻輳角θ２の方が大きくなる。輻輳角が変化することによって、図７に示すように、右目および左目の見える物体２０３の領域についても変化するため、輻輳角によって生じる見える領域の違いから発生するＣＧ画像の遮蔽領域の変化についても考慮する必要がある。

　そこで、上述したようにレンズの中心がユーザの右目の中心とほぼ同じとなるように設けられたカメラ１４およびレンズの中心がユーザの左目の中心とほぼ同じとなるように設けられたカメラ１５によって画像をそれぞれ撮影する。これにより、ユーザの左右の目による現実物体の見え方とほぼ同様の画像を捉えることができる。

　上述したように、ユーザが図４の現実物体２００，２０１を見た場合、左右の目によって現実物体２００の隠れ方が異なる。よって、図４の現実物体２００，２０１をカメラ１４，１５が撮影する場合も、左右の目によって捉えられる画像とほぼ同様の画像が取得されるようにする。

　例えば　図４の現実物体２００，２０１を人間の右目が捉えた場合には、主に現実物体２０１の左側が現実物体２００によって隠されるように見える。左目が捉えた場合には、主に現実物体２０１の右側が現実物体２００によって隠れるように見える。

　カメラ１４，１５が撮影した画像についても、人間の左右の目によって捉えられる画像と同様であり、図５の上方に示すように、右目用のカメラ１４が捉えた画像は、主に現実物体２０１の左側が現実物体２００によって隠され、左目用のカメラ１５が捉えた画像は、主に現実物体２０１の右側が現実物体２００によって隠される。

　そして、図５の下方に示すように、カメラ１４が取得した画像から重畳するＣＧ画像５０の遮蔽領域およびカメラ１５が撮影した画像から重畳するＣＧ画像５０の遮蔽領域をそれぞれ算出して、右目用のＣＧ画像と左目用のＣＧ画像とをそれぞれ個別に生成して表示する。

　このように、左右の視野の遮蔽関係を考慮した右目用のＣＧ画像および左目用のＣＧ画像をそれぞれ生成して表示することにより、ユーザは、忠実なオクルージョンが表現されるＡＲ画像を閲覧することができる。

　以上により、ユーザにとって違和感のない、自然なＡＲ画像を提供することができる。

　〈ＣＧ画像生成の他の例〉
　また、ＣＧ画像は、アプリケーションから提供されるＣＧ画像の距離情報に応じて、解像度、言い換えれば該ＣＧ画像のぼけ量を調節してレンズ１２，１３に表示するようにしてもよい。これによって、より自然なＣＧ画像を表示することができる。

　この場合、デプス情報格納部２６には、ＣＧ画像の距離と、該距離に紐付けられたぼけ量とを有するぼけ量情報が格納されている。ＡＲ画像生成部２２は、アプリケーションから提供されるＣＧ画像の距離情報からＣＧ画像の距離を取得する。そして、デプス情報格納部２６に格納されるぼけ量情報を検索して、取得した距離に該当するぼけ量に一致、または近いぼけ量を抽出する。

　そして、抽出したぼけ量に基づいて、ＣＧ画像をぼけ処理を行う。ぼけ情報は、例えばＣＧ画像の輪郭線をにじませる量を示しており、そのぼけ情報に基づいて、ＣＧ画像の輪郭線をにじませる処理を行う。

　これによって、遠景と同様にＣＧ画像をぼかすことができるので、遠くに表示されるＣＧ画像であるのに該ＣＧ画像がはっきりと表示されるなどの違和感がなくなり、より自然なＡＲ画像をユーザに提供することができる。

　また、ＣＧ画像の距離情報のみを用いてぼけ量を決定するのではなく、ＣＧ画像の大きさなども考慮したぼけ量情報を用いてＣＧ画像を生成することにより、距離情報だけの場合に比べて、より遠景に馴染む自然なぼけとなるＡＲ画像を提供することができる。

　この場合、ぼけ量情報は、ＣＧ画像の表示距離および大きさと、それらＣＧ画像の距離および大きさに紐付けられたぼけ量とを有する情報となる。ＡＲ画像生成部２２は、アプリケーションから提供されるＣＧ画像の距離情報からＣＧ画像の距離を取得し、同じくアプリケーションから提供されるＣＧ画像の画像生成データからＣＧ画像の大きさの情報を取得する。

　そして、デプス情報格納部２６に格納されるぼけ量情報を検索して、取得した距離および大きさに該当するぼけ量に一致、または近いぼけ量を抽出する。抽出したそのぼけ情報に基づいて、ＣＧ画像の輪郭線を馴染ませる処理を行う。

　以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。

１０　ヘッドマウントディスプレイ装置
１１　筐体
１２　レンズ
１３　レンズ
１４　カメラ
１５　カメラ
１６　制御処理部
１７　操作入力部
１８　制御部
１９　情報処理部
１９　情報処理部
２０　情報生成部
２１　遮蔽領域計算部
２２　ＡＲ画像生成部
２３　ＡＲ表示部
２５　視差マッチング部
２６　デプス情報格納部
３０　通信部
５０　ＣＧ画像

Claims (6)

1. 　右目用のＣＧ画像を表示する第１のレンズと、
   　左目用のＣＧ画像を表示する第２のレンズと、
   　右目用の画像を撮影する第１のカメラと、
   　左目用の画像を撮影する第２のカメラと、
   　前記第１のカメラおよび前記第２のカメラが撮影した画像から右目で見た際のオクルージョンを表現した右目用のＣＧ画像および左目で見た際のオクルージョンを表現した左目用のＣＧ画像をそれぞれ生成して、生成した右目用の前記ＣＧ画像を前記第１のレンズに投射し、生成した左目用の前記ＣＧ画像を前記第２のレンズに投射する情報処理部と、
   　を有し、
   　前記第１のカメラのレンズの中心は、前記第１のレンズの中心と同じ位置に設けられ、
   　前記第２のカメラのレンズの中心は、前記第２のレンズの中心と同じ位置に設けられる、ヘッドマウントディスプレイ装置。
2. 　請求項１記載のヘッドマウントディスプレイ装置において、
   　前記情報処理部は、
   　前記第１のカメラおよび前記第２のカメラが撮影した画像から前記第１のレンズに表示する前記ＣＧ画像と現実環境との遮蔽関係を示すオクルージョン情報を生成する第１の情報生成部と、
   　前記第１のカメラおよび前記第２のカメラが撮影した画像から前記第２のレンズに表示する前記ＣＧ画像と現実環境との遮蔽関係を示すオクルージョン情報を生成する第２の情報生成部と、
   　前記第１の情報生成部が生成した前記オクルージョン情報に基づいて、前記第１のレンズに表示されるＣＧ画像を右目で見た際に前記ＣＧ画像が物体に遮蔽される遮蔽領域を計算する第１の遮蔽領域計算部と、
   　前記第２の情報生成部が生成した前記オクルージョン情報に基づいて、前記第２のレンズに表示されるＣＧ画像を左目で見た際に前記ＣＧ画像が物体に遮蔽される遮蔽領域を計算する第２の遮蔽領域計算部と、
   　前記ＣＧ画像を生成するＣＧ画像生成データに基づいて、前記第１の遮蔽領域計算部が算出した前記遮蔽領域を表示しない右目用のＣＧ画像および前記第２の遮蔽領域計算部が算出した前記遮蔽領域を表示しない左目用のＣＧ画像をそれぞれ生成する画像生成部と、
   　前記画像生成部が生成した右目用の前記ＣＧ画像および左目用の前記ＣＧ画像を前記第１のレンズおよび前記第２のレンズに投射する表示部と、
   　を有する、ヘッドマウントディスプレイ装置。
3. 　請求項２記載のヘッドマウントディスプレイ装置において、
   　前記第１の情報生成部および前記第２の情報生成部が生成する前記オクルージョン情報は、前記第１のカメラおよび前記第２のカメラから物体までの距離を示す物体距離と、両目にて物体を注視した際に前記物体にて両眼の視線が交差する角度である輻輳角とを含む、ヘッドマウントディスプレイ装置。
4. 　請求項３記載のヘッドマウントディスプレイ装置において、
   　前記画像生成部は、前記オクルージョン情報に含まれる前記物体距離および前記輻輳角に基づいて、右目用のＣＧ画像および左目用のＣＧ画像の前記遮蔽領域をそれぞれ算出する、ヘッドマウントディスプレイ装置。
5. 　請求項４記載のヘッドマウントディスプレイ装置において、
   　前記第１の情報生成部および前記第２の情報生成部が生成する前記オクルージョン情報は、表示する前記ＣＧ画像の距離情報に応じて設定されるぼけ量を含み、
   　前記画像生成部は、ＣＧ画像の表示距離に見合ったぼけ量を前記オクルージョン情報から取得して、取得した前記ぼけ量に応じて、前記遮蔽領域を表示しない右目用のＣＧ画像および前記遮蔽領域を表示しない左目用のＣＧ画像の輪郭をぼかす処理を行い、
   　前記ＣＧ画像の表示距離は、前記ＣＧ画像生成データに含まれる情報である、ヘッドマウントディスプレイ装置。
6. 　請求項４記載のヘッドマウントディスプレイ装置において、
   　前記第１の情報生成部および前記第２の情報生成部が生成する前記オクルージョン情報は、表示する前記ＣＧ画像の距離情報および大きさに応じて設定されるぼけ量を含み、
   　前記画像生成部は、ＣＧ画像の表示距離および大きさに見合ったぼけ量を前記オクルージョン情報から取得して、取得した前記ぼけ量に応じて、前記遮蔽領域を表示しない右目用のＣＧ画像および前記遮蔽領域を表示しない左目用のＣＧ画像の輪郭をぼかす処理を行い、
   　前記ＣＧ画像の表示距離および大きさは、前記ＣＧ画像生成データに含まれる距離情報に応じて生成される、ヘッドマウントディスプレイ装置。

Images