JP5867186B2 - Virtual image display device - Google Patents
Virtual image display device Download PDFInfo
- Publication number
- JP5867186B2 JP5867186B2 JP2012052626A JP2012052626A JP5867186B2 JP 5867186 B2 JP5867186 B2 JP 5867186B2 JP 2012052626 A JP2012052626 A JP 2012052626A JP 2012052626 A JP2012052626 A JP 2012052626A JP 5867186 B2 JP5867186 B2 JP 5867186B2
- Authority
- JP
- Japan
- Prior art keywords
- light
- image
- virtual image
- detection device
- observer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Optical Elements Other Than Lenses (AREA)
- Lenses (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
Description
本発明は、頭部に装着して使用するヘッドマウントディスプレイ等の虚像表示装置に関する。 The present invention relates to a virtual image display device such as a head mounted display that is used by being mounted on a head.
近年、ヘッドマウントディスプレイのように虚像の形成及び観察を可能にする虚像表示装置として、表示素子からの画像光を装着者である観察者の瞳に導くタイプのものが種々提案されており、特に、虚像を形成する画像光と外界からの光である外界光とを重畳させるために、シースルーにしたものが提案されている(特許文献1参照)。 In recent years, various types of virtual image display devices capable of forming and observing virtual images, such as a head-mounted display, have been proposed that guide image light from a display element to the eyes of an observer who is a wearer. In order to superimpose image light that forms a virtual image and external light that is light from the outside world, a see-through type is proposed (see Patent Document 1).
なお、ヘッドマウントディスプレイに関する技術ではないが、視線の方向を検出し、検出結果をコンピューターの入力操作に適用するものが知られている(特許文献2参照)。 In addition, although it is not the technique regarding a head mounted display, what detects the direction of a gaze and applies a detection result to input operation of a computer is known (refer patent document 2).
特許文献1等のようなシースルータイプの虚像表示装置の使用では、背景の外界光の影響で画像が見づらくなる場合がある。このような場合の対策として、画像光の明るさを可変にすることで、観察者の眼に入る外界光と画像光とのバランスを取ることが考えられる。しかしながら、使用環境については、種々の態様があり、例えば、室内が局所的に明るくなっており、観察者がその局所的に明るい箇所に向いた状態で画像光による虚像を観察する、といった状況も考えられる。このような場合、観察者の眼が外界光に反応して、知覚される画像光が相対的に十分な明るさでなくなり、結果として画像光による虚像が認識しづらいものになる、という事態が生じ得る。逆に、知覚される画像光が相対的に明るくなりすぎて外界光の観察が不能になりシースルーの効果を得られなくなる場合も生じ得る。なお、特許文献2のような技術により、視線の方向を検出できるとしても、これをもって直ちに上記のような状況を改善できるとは限らない。
In the use of a see-through type virtual image display device such as
本発明は、画像光と外界光とを重畳させるシースルータイプであって、外界光の状態に応じて画像光を適切な明るさに調整できる虚像表示装置を提供することを目的とする。 An object of the present invention is to provide a virtual image display device that is a see-through type that superimposes image light and external light, and can adjust the image light to an appropriate brightness in accordance with the state of external light.
上記目的を達成するため、本発明の虚像表示装置は、(a)外界光を透過させるとともに画像光による虚像を形成する虚像形成部と、(b)虚像形成部の向きに応じて外界光の明るさを方位に関連づけて検出する光検出装置と、(c)光検出装置によって検出された明るさに関する情報に基づいて画像光を制御する画像光制御部と、を備える。 In order to achieve the above object, a virtual image display device of the present invention includes (a) a virtual image forming unit that transmits external light and forms a virtual image by image light, and (b) external light according to the orientation of the virtual image forming unit. A light detection device that detects the brightness in association with the azimuth; and (c) an image light control unit that controls the image light based on information on the brightness detected by the light detection device.
上記虚像表示装置では、虚像形成部が画像光と外界光とを重畳させるシースルータイプとなっており、画像光制御部は、光検出装置によって当該外界光の明るさを方位に関連づけて検出し、検出された明るさに関する情報に基づいて、画像光を制御するものとなっている。これにより、観察者が向いている方位からの外界光の明るさに対応して、画像光を制御し、画像光による像(虚像)の明るさと外界光による像の明るさとのバランスを適度なものにできる。つまり、外界光の状態に応じて画像光を知覚しやすい適切な明るさに調整できる。 In the virtual image display device, the virtual image forming unit is a see-through type that superimposes the image light and the external light, and the image light control unit detects the brightness of the external light in association with the direction by the light detection device, The image light is controlled based on information on the detected brightness. As a result, the image light is controlled in accordance with the brightness of the external light from the direction in which the observer is facing, and an appropriate balance is achieved between the brightness of the image (virtual image) by the image light and the brightness of the image by the external light. Can be a thing. That is, the brightness can be adjusted to an appropriate brightness that makes it easy to perceive image light according to the state of external light.
本発明の具体的な側面では、画像光制御部が、虚像形成部上の被照射領域に対応する画像光の光量を分割された領域ごとに部分的に変化させる。この場合、外界光の局所的な明暗の状態に対して、画像光の光量を部分的に変えることで、明るさのバランスを取ることができる。 In a specific aspect of the present invention, the image light control unit partially changes the amount of image light corresponding to the irradiated region on the virtual image forming unit for each divided region. In this case, the brightness can be balanced by partially changing the light amount of the image light with respect to the local light and dark state of the external light.
本発明の別の側面では、画像光制御部が、画像光となるべき照明光を発生させるバックライト光源を制御するバックライト制御部である。この場合、バックライト光源を制御することで、画像光の明るさを制御することができる。 In another aspect of the present invention, the image light control unit is a backlight control unit that controls a backlight light source that generates illumination light to be image light. In this case, the brightness of the image light can be controlled by controlling the backlight light source.
本発明のさらに別の側面では、観察者の視線の方向を検知する視線検知装置をさらに備え、画像光制御部が、視線検知装置の検知結果として得られる観察者の視線の方向における外界光の明るさに関する情報に基づいて画像光を制御する。この場合、観察者の視線の方向における外界光の明るさに応じて、画像光の状態を制御することができるので、虚像の観察がより容易になる。 According to still another aspect of the present invention, the image processing apparatus further includes a line-of-sight detection device that detects the direction of the line of sight of the observer, and the image light control unit The image light is controlled based on the information regarding brightness. In this case, since the state of the image light can be controlled according to the brightness of the external light in the direction of the line of sight of the observer, the virtual image can be observed more easily.
本発明のさらに別の側面では、視線検知装置が、画像光に重畳されて射出される近赤外光線のうち観察者の眼において反射されて画像光の光路を逆行する成分を当該光路上から分岐するビームスプリッターと、ビームスプリッターで分岐された当該近赤外光線を検出する近赤外光線検知センサーとを有する。この場合、可視光領域外の波長である近赤外光線を用い、これをビームスプリッターで分岐することで、画像光に影響を与えることなく、かつ、確実に観察者の眼球の動きを捉えて視線の方向を検知することができる。 In still another aspect of the present invention, the line-of-sight detection device includes a component that is reflected by an observer's eye and that reverses the optical path of the image light out of the near-infrared ray that is emitted while being superimposed on the image light. It has a beam splitter that branches and a near-infrared ray detection sensor that detects the near-infrared ray branched by the beam splitter. In this case, a near-infrared ray having a wavelength outside the visible light region is used, and this is split by a beam splitter, so that the movement of the eyeball of the observer can be reliably captured without affecting the image light. The direction of the line of sight can be detected.
本発明のさらに別の側面では、光検出装置が、視線検知装置で検知された観察者の視線に関する情報に基づいて明るさを検出する範囲を変化させる。ここで、視線に関する情報とは、視線の方向やその方向の変化といった視線に関する種々の情報を意味する。この場合、観察者の視線の先の外界の明るさについてより優先した画像光の制御を行うことができる。 In still another aspect of the present invention, the light detection device changes a range in which the brightness is detected based on information on the observer's line of sight detected by the line-of-sight detection device. Here, the information regarding the line of sight means various types of information regarding the line of sight such as the direction of the line of sight and a change in the direction. In this case, it is possible to control the image light with higher priority on the brightness of the external environment beyond the line of sight of the observer.
本発明のさらに別の側面では、光検出装置が、外界光の光量を検出するフォトダイオード部と、外界光による像をフォトダイオード部に向けて投影するレンズとを有する。この場合、簡易な構造でより確実に外界光の状況を捉えることができる。 In still another aspect of the present invention, the light detection device includes a photodiode unit that detects the amount of external light and a lens that projects an image of the external light toward the photodiode unit. In this case, the situation of external light can be captured more reliably with a simple structure.
本発明のさらに別の側面では、光検出装置において、フォトダイオード部が、2次元状に配置される複数のフォトダイオード素子を有して構成され、外界光の検出領域をフォトダイオード素子の配置に対応して複数に分割する。この場合、外界光によって形成される外界像の明るさを、分割領域ごとに判断することができる。 In still another aspect of the present invention, in the photodetection device, the photodiode portion is configured to include a plurality of photodiode elements arranged in a two-dimensional manner, and an external light detection region is arranged as the photodiode element. Correspondingly, it is divided into multiple parts. In this case, the brightness of the external image formed by external light can be determined for each divided region.
〔第1実施形態〕
以下、図面を参照しつつ、本発明の第1実施形態に係る虚像表示装置について詳細に説明する。
[First Embodiment]
Hereinafter, a virtual image display device according to a first embodiment of the present invention will be described in detail with reference to the drawings.
〔A.虚像表示装置の外観〕
図1に示す本実施形態の虚像表示装置100は、眼鏡のような外観を有するヘッドマウントディスプレイであり、この虚像表示装置100を装着した装着者である観察者に対して虚像による画像光を認識させることができるとともに、観察者に外界像をシースルーで観察させることができる。虚像表示装置100は、観察者の眼前を覆う光学パネル110と、光学パネル110等を支持するフレーム121と、フレーム121の前方のカバー部分191,192からテンプル141,142にかけての部分に付加された第1及び第2駆動部131,132と、光学パネル110等の上方側の中央部に固定的に取り付けられる光検出装置180とを備える。光学パネル110は、第1パネル部分111と第2パネル部分112とを有し、両パネル部分111,112は、中央で一体的に連結された板状の部品となっている。図面上で左側の第1パネル部分111と第1駆動部131とを組み合わせた第1表示装置100Aは、左眼用の虚像を形成する部分であり、単独でも虚像表示装置として機能する。また、図面上で右側の第2パネル部分112と第2駆動部132とを組み合わせた第2表示装置100Bは、右眼用の虚像を形成する部分であり、単独でも虚像表示装置として機能する。
[A. Appearance of virtual image display device)
A virtual
〔B.光検出装置の構造〕
虚像表示装置100の光検出装置180について説明する。光検出装置180は、虚像表示を行うための画像形成において付随的な装置であるが、シースルーによる外界像の観察と画像光による虚像の観察とを両立させるための画像光の制御に際しては、重要な役割を担う部分である。光検出装置180は、光学パネル110等に対して固定的に取り付けられている。つまり、観察者が姿勢を変えることで、光学パネル110等の向きが変化すると、これに伴って光検出装置180の向きも変化するものとなっている。このため、光検出装置180は、装着時において、常に観察者の眼前の方向についての外界光の状況を検出可能なものとなっている。虚像表示装置100は、光検出装置180を有することにより、観察者の眼前側の外界光の明るさを方位に関連づけて検出でき、この検出結果に基づいて外界光の明るさに応じた画像光の光量制御ができる。なお、画像光の制御の詳細については、後述する。また、虚像表示装置100における画像形成の動作制御は、観察者からの各種指令を受付可能なコントロール装置(不図示)によってなされるものとする。
[B. Photodetector structure
The
〔C.表示装置の本体の構造〕
以下、図2(A)等を参照して、画像形成において本質的な役割を担う装置である第1表示装置100Aすなわち表示装置の本体についての構造について説明する。
[C. Display device body structure]
Hereinafter, the structure of the
図2(A)及び2(B)に示すように、第1表示装置100Aは、画像形成装置10と、導光装置20とを備える。ここで、画像形成装置10は、図1における第1駆動部131に相当し、導光装置20は、図1における第1パネル部分111に相当する。なお、図1に示す第2表示装置100Bは、第1表示装置100Aと同様の構造を有し左右を反転させただけであるので、第2表示装置100Bの詳細な説明は省略する。
As illustrated in FIGS. 2A and 2B, the
図示の状態において、観察者にとって真正面の方向が、虚像表示装置100を構成する光学系の射出側の光軸である第2光軸AX2に沿った方向であり、第2光軸AX2が虚像表示装置100側から観察者側に向かう方向を+X方向とし、観察者にとって眼が並ばない上下方向を±Y方向とし、眼が並ぶ左右方向を±Z方向とする。
In the state shown in the figure, the direction directly in front of the observer is the direction along the second optical axis AX2 that is the optical axis on the exit side of the optical system constituting the virtual
画像形成装置10は、画像表示装置11と、投射光学系12とを有する。このうち、画像表示装置11は、2次元的な照明光SLを射出する照明装置31と、透過型の空間光変調装置である液晶表示デバイス32と、照明装置31及び液晶表示デバイス32の動作を制御する駆動制御部34とを有する。
The
照明装置31は、赤、緑、青の3色を含む光を発生する光源31aと、光源31aからの光を拡散させて矩形断面の光束にするバックライト導光部31bとを有する。液晶表示デバイス32は、照明装置31からの照明光SLを空間的に変調して動画像等の表示対象となるべき画像光を形成する。駆動制御部34は、光源駆動回路34aと、液晶駆動回路34bとを備える。光源駆動回路34aは、照明装置31の光源31aに電力を供給して安定した輝度の照明光SLを射出させる。また、光源駆動回路34aは、供給する電力を調整することで、照明装置31の照明光SLの光量を調整でき、延いては画像光GLの光量を調整できる。例えば、矩形形状のバックライト導光部31bからの射出領域を分割し分割された領域ごとに光量を変化させるといった制御が可能である。液晶駆動回路34bは、液晶表示デバイス32に対して画像信号又は駆動信号を出力することにより、透過率パターンとして動画や静止画の元になるカラーの画像光を形成する。
The illuminating
投射光学系12は、液晶表示デバイス32上の各点から射出された画像光を平行状態の光束にするコリメートレンズである。
The projection
導光装置20は、導光部材21と光透過部材23とを接合したものであり、全体としてXY面に平行に延びる平板状の光学部材を構成している。導光装置20は、導光部材21と光透過部材23とにより、外界光を透過させるとともに画像光による虚像を形成するシースルータイプの虚像形成部として機能する。
The
導光装置20のうち、導光部材21は、平面視において台形のプリズム状部材であり、側面として、第1反射面21aと、第2反射面21bと、第3反射面21cと、第4反射面21dとを有する。第1及び第2反射面21a,21bは、XY面に沿って延びている。また、第3反射面21cは、XY面に対して45°以下の鋭角αで傾斜しており、第4反射面21dは、XY面に対して例えば45°以下の鋭角βで傾斜している。第3反射面21cを通る光軸すなわち光学系の入射側の光軸である第1光軸AX1と、第4反射面21dを通る光軸すなわち光学系の射出側の光軸である第2光軸AX2とは、平行に配置されている。
In the
導光部材21は、可視域で高い光透過性を示す樹脂材料で形成されている。導光部材21は、射出成型によって一体的に成型されたブロック状部材を本体部分20aとしている。このように導光部材21は、基材としての本体部分20aを一体形成品とするが、機能的に、光入射部B1と導光部B2と光射出部B3とに分けて考えることができる。
The
光入射部B1は、三角プリズム状の部分であり、第1反射面21aの一部である光入射面ISと、光入射面ISに対向する第3反射面21cとを有する。光入射面ISは、画像形成装置10からの画像光GLを取り込むための裏側又は観察者側の平面であり、投射光学系12に対向してその第1光軸AX1に垂直に延びている。第3反射面21cは、矩形の輪郭を有し、その矩形領域全体に、光入射面ISを通過した画像光GLを反射して導光部B2内に導くための全反射ミラーであるミラー層25を有する。このミラー層25は、導光部材21の本体部分20aの斜面RS上にアルミ等の蒸着によって成膜を施すことにより形成される。第3反射面21cは、投射光学系12の第1光軸AX1又はXY面に対して例えば鋭角α=25°〜27°で傾斜しており、光入射面ISから入射し全体として+Z方向に向かう画像光GLを、全体として−Z方向寄りの−X方向に向かわせるように折り曲げることで、画像光GLを導光部B2内に確実に結合させる。
The light incident part B1 is a triangular prism-shaped part, and includes a light incident surface IS that is a part of the first
導光部B2は、互いに対向しXY面に平行に延びる2平面として、光入射部B1で折り曲げられた画像光をそれぞれ全反射させる第1反射面21aと第2反射面21bとを有している。ここでは、第1反射面21aが画像形成装置10に近い裏側又は観察者側にあるものとし、第2反射面21bが画像形成装置10から遠い表側又は外界側にあるものとする。この場合、第1反射面21aは、上記の光入射面ISや後述する光射出面OSと共通の面部分となっている。第1及び第2反射面21a,21bは、屈折率差を利用する全反射面である。
The light guide B2 has first and second reflecting
光入射部B1の第3反射面21cで反射された画像光GLは、まず、第1反射面21aに入射し、全反射される。次に、当該画像光GLは、第2反射面21bに入射し、全反射される。以下この動作が繰り返されることで、画像光は、全体として導光装置20の奥側の主導光方向すなわち光射出部B3を設けた−X側に導かれる。なお、第1及び第2反射面21a,21bには反射コートが施されていないため、外界側から第2反射面21bに入射する外界光又は外光は、高い透過率で導光部B2を通過する。つまり、導光部B2は、外界像の透視が可能なシースルータイプになっている。
The image light GL reflected by the third reflecting
光射出部B3は、三角プリズム状の部分であり、第1反射面21aの一部である光射出面OSと、光射出面OSに対向する第4反射面21dとを有する。光射出面OSは、画像光GLを観察者の眼EYに向けて射出するための裏側の平面であり、光入射面ISと同様に第1反射面21aの一部となっており、第2光軸AX2に垂直に延びている。第4反射面21dは、矩形の平坦面であり、第1及び第2反射面21a,21bを経て入射してきた画像光GLを反射して光射出部B3外に射出させるとともに外界光OLを透過させるためのハーフミラー層28を、第4反射面21dの中央に配置された矩形の部分領域に有する。このハーフミラー層28は、光透過性を有する半透過反射膜である。ハーフミラー層28は、導光部材21のうち第4反射面21dを構成する斜面RR上に例えば銀等による金属反射膜や誘電体多層膜を成膜することにより形成される。ハーフミラー層28の画像光GLに対する反射率は、シースルーによる外界光OLの観察を容易にする観点で、想定される画像光GLの入射角範囲において10%以上50%以下とする。
The light emission part B3 is a triangular prism-shaped part, and has a light emission surface OS that is a part of the
第4反射面21dは、第1反射面21aに垂直な第2光軸AX2又はXY面に対して例えば鋭角α=25°〜27°で傾斜しており、上記ハーフミラー層28により、導光部B2の第1及び第2反射面21a,21bを経て入射してきた画像光GLを部分的に反射して全体として−Z方向に向かわせるように折り曲げることで、光射出面OSを通過させる。
The fourth reflecting
光透過部材23は、導光部材21の本体部分20aと同一の屈折率を有する本体部分23sで構成され、第1面23aと、第2面23bと、第3面23cとを有する。第1及び第2面23a,23bは、第1及び第2反射面21a,21bと同様、XY面に沿って延びている。また、第3面23cは、XY面に対して傾斜しており、導光部材21の第4反射面21dに対向して平行に配置されている。つまり、光透過部材23は、第2面23bと第3面23cとに挟まれた楔状の部材を有するものとなっている。光透過部材23は、導光部材21と同様に、可視域で高い光透過性を示す樹脂材料で形成されている。光透過部材23は、射出成型によって一体的に成型されたブロック状部材を本体部分23sとしている。
The
光透過部材23において、第1面23aは、導光部材21に設けた第1反射面21aの延長平面上に配置され、観察者の眼EYに近い裏側にあり、第2面23bは、導光部材21に設けた第2反射面21bの延長平面上に配置され、観察者の眼EYから遠い表側にある。第3面23cは、接着剤によって導光部材21の第4反射面21dに接合される矩形の光透過面である。以上の第1面23aと第3面23cとなす角度は、導光部材21の第2反射面21bと第4反射面21dとのなす角度εと等しくなっており、第2面23bと第3面23cとのなす角度は、導光部材21の第1反射面21aと第3反射面21cとのなす角度βと等しくなっている。
In the
光透過部材23と導光部材21とは、両者の接合部分及びその近傍において、透視部B4を構成している。すなわち、第1及び第2面23a,23bには、ミラー層等の反射コートが施されていないため、導光部材21の導光部B2と同様に外界光OLを高い透過率で透過させる。第3面23cも、外界光OLを高い透過率で透過可能であるが、導光部材21の第4反射面21dがハーフミラー層28を有していることから、第3面23cの中央領域を通過する外界光OLは減光される。つまり、観察者は、減光された画像光GLと外界光OLとを重畳させたものを観察することになり、導光装置20は、虚像形成部として機能する。
The
以下、図3を参照して、第1表示装置100Aにおける画像光の具体的な光路の一例を説明する。なお、図3では、画像光の光路決定に関係する光学系のみ示している。また、投射光学系12は、3つのレンズL1,L2,L3を有しているものとする。
Hereinafter, an example of a specific optical path of image light in the
図示のように、液晶表示デバイス32の右側の第1表示点P1からの画像光GL11,GL12は、第1及び第2反射面21a,21bにおいて等しい第1反射角γ1で計3回全反射され、第4反射面21dに入射する。画像光GL11,GL12は、この第4反射面21dで第3反射面21cと同一の角度で反射され、光射出面OSからこの光射出面OSに垂直な第2光軸AX2方向に対して角度θ1の傾きで平行光束として射出される。
As shown in the figure, the image lights GL11 and GL12 from the first display point P1 on the right side of the liquid
液晶表示デバイス32の左側の第2表示点P2からの画像光GL21,GL22は、第1及び第2反射面21a,21bにおいて等しい第2反射角γ2で計5回全反射され、第4反射面21dに入射する。画像光GL21,GL22は、この第4反射面21dで第3反射面21cと同一の角度で反射され、光射出面OSからこの光射出面OSに垂直な第2光軸AX2方向に対して角度θ2の傾きで平行光束として射出される。
The image lights GL21 and GL22 from the second display point P2 on the left side of the liquid
また、図3において、導光部材21を展開した場合で見ると、観察者は、光入射面ISに対応する2つの位置の異なる入射等価面IS',IS"の近傍に存在する投射光学系12のレンズL3を重ねて観察していることになる。
Further, in FIG. 3, when the
以上のようにして画像光GLから形成される虚像の観察と、シースルーによる外界光OLの観察とが両立するためには、両光束の光量について、ある程度の範囲内でバランスがとられていることが必要となる。外界光OLの影響により、観察者の瞳孔の大きさは、変化する。このため、仮に画像光GLの光量を一定に確保していても、観察者が知覚しにくいものとなる可能性がある。従って、外界光OLの状態が変化しても、画像光GLと外界光OLとが程良くバランスされた状態を維持するためには、画像光GLの状態を、外界光OLの変化に対応して制御する必要がある。本実施形態では、光検出装置180(図1参照)が、光学パネル110すなわち導光装置20に固定的に取り付けられて導光装置20と向きを一致させた状態を保つことで、常に視界の前方すなわち+Z側に関して外界光OLの光量検出を行うものとなっており、この検出結果に基づいて、照明装置31(図2(A)参照)の制御を行うことで、外界光OLの状態に応じた画像光GLの光量制御ができるものとなっている。
As described above, in order to achieve both the observation of the virtual image formed from the image light GL and the observation of the external light OL by see-through, the light amounts of both light fluxes must be balanced within a certain range. Is required. The size of the pupil of the observer changes due to the influence of the external light OL. For this reason, even if the light quantity of the image light GL is ensured to be constant, it may be difficult for the observer to perceive. Therefore, in order to maintain a state where the image light GL and the external light OL are well balanced even if the state of the external light OL changes, the state of the image light GL corresponds to the change of the external light OL. Need to be controlled. In the present embodiment, the light detection device 180 (see FIG. 1) is fixedly attached to the
〔D.光検出装置による外界光の検出〕
以下、図4を参照して、外界光OLの明るさに対応させた画像光GLの明るさの制御の前提として必要となる光検出装置180による外界光OLの検出について説明する。
[D. (Detection of external light by photodetection device)
Hereinafter, with reference to FIG. 4, detection of the external light OL by the
光検出装置180は、フォトダイオード部181と、レンズ182とを有する。図示の例では、フォトダイオード部181は、XY面に平行な面についてマトリクス状に3×3で配置される9つのフォトダイオード素子181aで構成されている。つまり、フォトダイオード部181は、9つに分割された領域で略−Z側から虚像表示装置100に向かう外界光OLの状態を検出するものとなっている。各フォトダイオード素子181aは、矩形形状であり、レンズ182によって投影されて矩形形状の領域内に入射する光の光量を測定する。なお、レンズ182は、外界像をフォトダイオード部181上に投影するものであり、フォトダイオード部181の前方(+Z側)に配置され無限遠を焦点とするレンズであり、遠方から光検出装置180に向かう外界光OLの成分をその方位に応じて複数のフォトダイオード素子181aのうちいずれかに向けて入射させる。なお、ここで、レンズ182による投影については、無限遠を焦点とすることで一定以上の距離からの外界像のピントを合わせられる投影とすることができるが、各フォトダイオード素子181a上において必ずしも外界像のピントを合わせる必要はなく、各フォトダイオード素子181aにおいて対象となる方位からの外界光成分の光量測定が可能となっていればよい。
The
9つのフォトダイオード素子181aには、説明のために1〜9の番号をそれぞれ付与してあり、5番が付され中央に位置するフォトダイオード素子181aが、レンズ182の光軸と一致した中心の位置に配置されているものとする。ここで、レンズ182の光軸方向は、Z方向であり、観察者にとっての正面方向に一致している。
The nine
外界光OLの成分のうち、例えばレンズ182の光軸方向にある中央側のエリアAからの外界光成分OLaは、レンズ182を経て5番のフォトダイオード素子181aに入射する。従って、外界光成分OLaの明るさは、5番のフォトダイオード素子181aの出力となる。一方、外界光OLの成分のうち、例えばエリアAよりも上方側である周辺側のエリアBからの外界光成分OLbは、レンズ182を経て8番のフォトダイオード素子181aに入射する。従って、外界光成分OLbの明るさは、8番のフォトダイオード素子181aの出力となる。以上のようにして、光検出装置180において、対象となるエリアの方位ごとに対応する外界光OLの平均化された明るさが検出され、外界光に関する情報を得ることができる。光検出装置180は、9つのフォトダイオード素子181aにおいて測定された外界光成分の光量についての情報を信号化して虚像表示装置100の動作制御を司るコントロール装置300に送信する。
Among the components of the external light OL, for example, the external light component OLa from the area A on the center side in the optical axis direction of the
〔E.光検出装置の検出結果に基づく画像光の制御〕
以下、図4等を参照して、光検出装置の検出結果に基づく画像光の制御について説明する。本実施形態では、上述の光検出装置180において検出された外界光に関する情報に基づいて、虚像表示装置100のコントロール装置300に内蔵される制御部311が駆動制御部34を介して光源を制御する(図2(A)参照)ことにより、画像光GLの光量が制御されるものとなっている。
[E. Control of image light based on detection result of photodetection device)
Hereinafter, the control of the image light based on the detection result of the light detection device will be described with reference to FIG. In the present embodiment, the
図4に示すように、虚像表示装置100は、コントロール装置300として、制御部311と、記憶部312と、キー入力処理部313と、キー入力部314と、画像処理部315と、外界光情報検出部319とを備えている。
As illustrated in FIG. 4, the virtual
制御部311は、虚像表示装置100の全体的な動作を制御している。つまり、制御部311は、記憶部312、キー入力処理部313、画像処理部315、外界光情報検出部319等と通信可能に接続されており、これらの部分から情報を取り込み、或いはこれらの部分に制御信号等を送って動作状態を制御している。特に、本実施形態では、制御部311は、外界光情報検出部319を介して光検出装置180からの情報を取得してこの情報に基づいて光源を制御することにより、画像光の状態を調整している。このための機能として、制御部311は、明るさ読取部311a、調整量決定部311b等を含み、光検出装置の検出結果に基づく画像光調整のための光源制御部すなわち画像光制御部として機能する。
The
外界光情報検出部319は、光検出装置180において検出され、信号として送信された外界光の明るさに関する情報を受け取り、制御部311の明るさ読取部311aに送信する。
The external light
記憶部312は、ROM、RAM、不揮発性メモリー等で構成され、虚像表示装置100を動作させるために必要なプログラム、データ等を保持する。ここでは、特に、記憶部312は、明るさ読取部311aで読み取られた外界光OLに関する情報についての信号データに基づいて最適な光源制御を選択するためのプログラム及び制御用テーブルデータを保持している。
The
キー入力処理部313は、キー入力部314から入力された観察者の指示を処理する手段である。
The key
画像処理部315は、入力選択部や通信部(不図示)を介して外部から入力された画像信号又は画像データに対して必要に応じて、諧調補正等を含む各種補正処理を行い、画像処理後の画像信号を、液晶パネルを駆動する液晶パネル駆動部である液晶駆動回路34bに出力する。
The
以下、図5(A)等により、光検出装置の検出結果に基づく画像光の制御動作の一例について概要を説明する。図5(A)は、観察者の観察領域を模式的に示す図であり、図5(B)は、バックライト光源である矩形形状のバックライト導光部31bを模式的に示す図である。図5(A)において、2点鎖線の領域IM0は、観察者が導光装置20を経た外界光OLによって認識する外界像の範囲を示し、点線の領域IM1は、観察者が画像光GLによって認識する虚像の範囲を示すものとする。さらに、領域IM0のうち、領域IM1に対応する領域を1点鎖線の領域IM2とする。つまり、領域IM1又は領域IM2は、外界光OLと画像光GLとが重畳する領域である。ここでは、図4に示す9つのフォトダイオード素子181aを有する光検出装置180によって、外界像の範囲である領域IM0のうち領域IM1に相当する領域における外界像の明るさが検出されるものとする。
Hereinafter, an example of an image light control operation based on the detection result of the light detection apparatus will be described with reference to FIG. FIG. 5A is a diagram schematically showing an observation region of an observer, and FIG. 5B is a diagram schematically showing a rectangular backlight
ここで、領域IM1及び領域IM2において、9つに分割された分割領域1c〜9cは、図4の9つのフォトダイオード素子181aが対象とする測定領域に対応しているものとする。つまり、例えば図5(A)の領域IM1のうち中央に位置する分割領域5cは、図4のエリアAからの外界光OLによって観察される外界像の領域であり、このエリアの明るさは、5番のフォトダイオード素子181aによって検出される。同様に、図5(A)の分割領域8cは、図4のエリアBに対応し、8番のフォトダイオード素子181aによって検出される。つまり、分割領域1c〜9cは、図4においてフォトダイオード素子181aに付した1〜9の番号にそれぞれ対応したものとなっている。
Here, in the region IM1 and the region IM2, the divided
さらに、本実施形態では、図5(B)に示すように、矩形断面の光束を形成するバックライト導光部31bが、虚像の領域IM2の各分割領域1c〜9cに対応する9つの分割された発光領域1a〜9aを有し、発光領域1a〜9aごとに光量の調整が可能になっているものとする。つまり、バックライト導光部31bを制御することで、画像光GLの光量が部分的(局所的)に変化し、領域IM2に形成される虚像は、分割領域1c〜9cごとに明るさを変化させることができるものとなっている。この場合、制御部311は、液晶駆動回路34bを介してバックライト光源であるバックライト導光部31bを制御するバックライト制御部として機能することになる。上記の場合、例えば8番のフォトダイオード素子181aでの測定された外界光OLの成分光量が大きいすなわち明るいと測定されれば、これに応じて、画像光GLのうち分割領域8cの虚像を形成する成分の光量を大きくし、明るい画像とすればよい。つまり、制御部311は、分割領域8cに対応する発光領域8aに供給する電力を、8番のフォトダイオード素子181aからの検出結果に応じて大きくすることで、分割領域8cで形成される虚像を適度に明るくすることができる。
Further, in the present embodiment, as shown in FIG. 5B, the backlight
以上のような構成から、光検出装置180での検出結果に応じてバックライト導光部31bすなわちバックライト光源を含む照明装置31を制御することで、画像光GLの状態を、外界光OLの方位ごとの変化に対応して制御することができる。
From the configuration described above, the state of the image light GL is changed to that of the external light OL by controlling the
以下、図6のフローチャートを参照して、光検出装置の検出結果に基づく画像光の制御動作の一例について説明する。 Hereinafter, an example of the image light control operation based on the detection result of the light detection device will be described with reference to the flowchart of FIG.
まず、虚像表示装置100を起動させると、制御部311は、記憶部312に格納された外界光に関する情報を初期化する処理を行う(ステップS101)。次に、制御部311は、外界光情報検出部319に、光検出装置180から送信された外界光の明るさに関する情報を受け取らせるとともに(ステップS102)、明るさ読取部311aとして、外界光情報検出部319で受け取った情報を読み取って外界光OLの方位ごとの状況を確認する(ステップS103)。また、この際、制御部311は、読み取った情報を記憶部312に格納する。次に、制御部311は、ステップS103において取得した情報が、これまでの情報から変更されているかを判断する(ステップS104)。つまり、記憶部312に既に格納されている情報とステップS103において取得した情報とを比較する。なお、ステップS101において初期化された直後に情報を取得した場合については、ステップS104において、情報が変更されたものと判断する。ステップS104において、情報変更がなかったと制御部311が判断すると(ステップS104:No)、制御部311は、光源の調整量を定めた制御パターンの動作が最適であると判断し、これを変更することなく維持してステップS102〜ステップS104に示す外界光の明るさに関する情報を受け取って状況を判断する一連の動作を繰り返す。一方、ステップS104において、情報変更があったと制御部311が判断すると(ステップS104:Yes)、制御部311は、外界光OLの状態が変更され、画像光GLをこれに対応させるべく光源の調整量を定めた制御パターンの動作を再設定する必要があると判断し、調整量決定部311bとして、記憶部312から変更後の外界光に関する情報に対応する光源の調整量を定めた複数の制御パターンを示すテーブルデータから一のパターンを選択して読み出す(ステップS105)。次に、制御部311は、ステップS105において選択され読み出された新たな制御パターンに従った制御をさせるべく光源駆動回路34aに制御信号を送信する。この制御信号に従って、光源駆動回路34aが照明装置31を駆動させることで、例えば図5(A)及び5(B)によって説明したような光源制御がなされる(ステップS106)。制御部311は、上記光源制御の動作を虚像表示装置100による画像形成動作が終了するまで繰り返す(ステップS107)。つまり、観察者がキー入力部314によって、画像形成動作を終了する旨の指令を出すまで光検出装置180からの測定結果を確認し、対応する画像光の制御を行う(ステップS101〜S106)。
First, when the virtual
以上のように、本実施形態では、虚像形成部である導光装置20が画像光GLと外界光OLとを重畳させるシースルータイプとなっており、画像光制御部である制御部311が、光検出装置180によって外界光OLの明るさを方位に関連づけて検出し、検出された明るさに関する情報に基づいて、画像光GLを制御するものとなっている。これにより、観察者が向いている方位からの外界光GLの明るさに対応して、画像光GLを制御し、画像光GLによる画像の明るさと外界光OLによる外界像の明るさとのバランスを適度なものにできる。つまり、外界光OLの状態に応じて画像光GLを適切な明るさに調整できる。
As described above, in this embodiment, the
なお、上記において、画像光制御部である制御部311は、外界光OLに対する画像光GLの制御として照明光SLの光量のみを制御するものとしているが、外界光OLに対する画像光GLの制御において、さらに、空間光変調装置である液晶表示デバイス32を制御するものとしてもよい。つまり、液晶表示デバイス32での階調度を調整することで画像光GLの局所的な調整を行うことも可能である。この場合、画素単位で明暗の調整が可能となる。
In the above description, the
光検出装置180は、フォトダイオード部181と、レンズ182とで構成されているが、これに限らず、例えばフォトダイオード部181の部分に、フォトレジスターやフォトトランジスター等フォトダイオード以外の種々の光検出器を適用することも可能である。
The
また、上記では、分割数を3×3の9つとしているが、この分割パターンは一例であり、これ以外にも種々のものとすることができる。例えば、もっと多くのフォトダイオード素子を配置し、各フォトダイオードが検出する領域をさらに細かくしてもよい。また、上記では、外界光OLと画像光GLとが重畳する領域と、光検出装置180によって検出を行う範囲とを一致させるものとしているが、光検出装置180による検出範囲は、種々考えられ、例えば外界光として観察者に認識される範囲全体を検出するものであってもよい。
In the above description, the number of divisions is 9 (3 × 3). However, this division pattern is an example, and various other patterns can be used. For example, more photodiode elements may be arranged, and the area detected by each photodiode may be further refined. In the above description, the region in which the external light OL and the image light GL are overlapped with the range in which the
以下、図7(A)により具体的な一変形例について説明する。図7(A)に示すように、領域IM0全体を5×5の25の領域に分割し、各領域について検出を行うものとしている。この場合、光検出装置180のフォトダイオード部181は、5×5の合計25個のフォトダイオード素子181aで構成されることになる。なお、領域IM0の25の分割領域のうち、中央の3×3の9つの分割領域は、虚像の領域IM2を構成する9つの分割領域1c〜9cに対応しているものとする。この場合、虚像の領域IM2のみならず、その周辺の外界像の明るさまで加味して虚像の明るさを調整することができる。また、図7(B)に示す他の一変形例のように、外界像側の分割と虚像側の分割とが正確には一致しないものであってもよい。図示の場合、外界像の領域IM0も虚像の領域IM2も3×3の9つに領域を分割しているが、この場合、範囲の違いから各分割領域は一致しない。このような場合であっても、例えば、領域IM0の分割領域のうち中央に位置する領域AAを、領域IM2の分割領域5cに対応させ、領域IM0の分割領域のうち中央上方側に位置する領域BBを、領域IM2の分割領域8cに対応させるというように、各領域を対応付けた上で制御することで、明るさを調整することができる。
Hereinafter, a specific modification will be described with reference to FIG. As shown in FIG. 7A, the entire area IM0 is divided into 25 areas of 5 × 5, and each area is detected. In this case, the
また、上記では、光検出装置180側と光源側であるバックライト導光部31bとでの分割パターンを一致させているが、分割パターンは一致していなくてもよい。また、バックライト導光部31bを分割させず、一様なものとし制御部311は、全体光量を調整するものとしてもよい。この場合、例えば画像光の光量を、光検出装置180で検出された結果のうち最も明るい外界光に対応させるものとすることが考えられる。また、領域IM2の分割領域の境界が目立ったり、分割領域での光量さに起因するムラが生じたりしないように、例えば画像処理等を適宜施すものとしてもよい。
In the above description, the division patterns on the
また、上記では、ステップS105における調整量の決定を、あらかじめ用意されたテーブルデータから一のパターンを選択して読み出すものとしているが、これ以外の方法で調整量を決定するものとしてもよい。例えば、9つの領域について調整量の大きさを重みづけし、重みづけされたデータとステップS103で読み取ったデータを照合し、その都度制御パターンを算出するものとしてもよい。 In the above description, the adjustment amount in step S105 is determined by selecting one pattern from the table data prepared in advance, but the adjustment amount may be determined by other methods. For example, the adjustment amount may be weighted for nine areas, the weighted data may be collated with the data read in step S103, and the control pattern may be calculated each time.
また、以上では、制御パターンを制御部311により自動的に行っているが、観察者がキー入力部314から適宜指令を出して、制御部311による制御とは異なる制御パターンで調整を行うものとしてもよい。
In the above, the control pattern is automatically performed by the
〔第2実施形態〕
以下、第2実施形態に係る虚像表示装置について説明する。なお、本実施形態に係る虚像表示装置は、第1実施形態に係る虚像表示装置100の変形例であり、観察者の視線の方向を検知するための視線検知装置をさらに有して構成されることを除いて、外部の構造は虚像表示装置100と同様であるため、全体の図示及び説明を省略する。
[Second Embodiment]
The virtual image display device according to the second embodiment will be described below. The virtual image display device according to the present embodiment is a modification of the virtual
図8は、第1実施形態の図3に対応する図であり、本実施形態に係る虚像表示装置において視線検知装置400を備えた状態について説明するためのものである。図示のように、視線検知装置400は、ビームスプリッター410と、近赤外光線検知センサー411とを有する。本実施形態では、照明装置側において画像光GLに重畳された状態で近赤外光線GLrが射出されるものとし、観察者の眼EYの眼球において反射された近赤外光線GLrを視線検知装置400によって検知することで、観察者の視線の方向を検知するものとなっている。本実施形態では、画像光制御部が、視線検知装置400の検知結果として得られる観察者の視線の方向における外界光の明るさに関する情報に基づいて画像光を制御するものとなっている。これにより、観察者の視線の方向における外界光の明るさに応じて、画像光の状態を制御することができるものとなっている。
FIG. 8 is a diagram corresponding to FIG. 3 of the first embodiment, and is for explaining a state where the visual
以下、虚像表示装置100を構成する視線検知装置400の構造について説明する。まず、視線検知装置400のうち、ビームスプリッター410は、可視光領域の光及び特定の偏光状態(例えばP偏光とする)にある近赤外光成分を透過させ、かつ、特定の偏光状態(例えばS偏光とする)にある近赤外光成分を反射させる特性を有する。近赤外光線検知センサー411は、近赤外光線を検出する検知センサーであり、図示のように、画像光GLの光路外においてビームスプリッター410に対向するように配置され、ビームスプリッター410での反射によって分岐された近赤外光成分を検知するものとなっている。
Hereinafter, the structure of the line-of-
以下、視線検知装置400を用いた視線検知の動作について説明する。ここでは、液晶表示デバイス32は、可視光領域の各色光及びP偏光の近赤外光線GLrがから射出されるものとする。つまり、ビームスプリッター410は、近赤外光線GLrを含め液晶表示デバイス32から射出される成分のいずれも透過させる。
Hereinafter, the gaze detection operation using the
ビームスプリッター410を透過した近赤外光線GLrは、導光装置20等を経て眼EYに示す眼球に入射する。この際、近赤外光線GLrのうち、眼EYの眼球表面にある角膜で反射される角膜反射光成分と眼EYの眼底部の網膜で反射される網膜反射光成分とが存在する。これらの反射光成分を捉えることができれば、視線の方向を検知できる。具体的には、まず、角膜反射光成分は高輝度でスポットの径は小さく、網膜反射光成分は低輝度でスポットの径は大きいので、両者を判別することは可能である。さらに、角膜反射光成分のスポットが視線の動きとともに素早く動きまわるのに対して、網膜は眼底部にあり殆ど動かない。従って、このほとんど静止した網膜の反射像の中を動く角膜の反射像を重ねることで、観察者の眼EYの動きすなわち視線の方向を検知することができる。
The near-infrared ray GLr that has passed through the
液晶表示デバイス32から射出された近赤外光線GLrは、P偏光であるため、ビームスプリッター410を透過するのに対し、近赤外光線GLrのうち眼EYにおいて反射され光路を逆行する成分である反射光線RLrについては、S偏光の成分を含むものとなっている。従って、反射光線RLrの一部の反射光成分は、ビームスプリッター410において反射される。従って、当該反射光成分を近赤外光線検知センサー411において検知することで、視線検知装置400は、観察者の視線の方向を検知する。
Since the near-infrared ray GLr emitted from the liquid
以下、図9等を参照して、光検出装置及び視線検知装置の検出結果に基づく画像光の制御について説明する。本実施形態では、光検出装置180において検出された外界光に関する情報に加え、視線検知装置400において検知された観察者の視線の方向に関する情報に基づいて、制御部311による画像光GLの光量が制御される。このため、制御部311は、明るさ読取部311a及び調整量決定部311bに加え、視線検知装置400で検知された視線の方向に関する情報を読み取る視線情報読取部311cを含んでいる。なお、視線検知装置400で検知された視線の方向に関する情報は、視線センサー410からコントロール装置300の視線情報検知部330に送信されて制御部311に伝達される。
Hereinafter, the control of the image light based on the detection results of the light detection device and the line-of-sight detection device will be described with reference to FIG. 9 and the like. In the present embodiment, the light amount of the image light GL by the
以下、図10のフローチャートを参照して、光検出装置及び視線検知装置の検出結果に基づく画像光の制御動作の一例について説明する。 Hereinafter, an example of the image light control operation based on the detection results of the light detection device and the line-of-sight detection device will be described with reference to the flowchart of FIG.
まず、虚像表示装置100を起動させると、制御部311は、外界光の明るさ及び視線の方向に関する情報を初期化する処理を行い(ステップS201)、外界光の明るさに関する情報を読み取って外界光OLの方位ごとの状況を確認する(ステップS102,S103)。さらに、制御部311は、視線情報検知部330を介して視線センサー410から送信される視線の方向に関する情報すなわち視線検知装置400の測定結果を受け付け(ステップS202)、当該情報から観察者の視線に関する状況を確認する(ステップS203)。なお、制御部311は、読み取ったこれらの情報を記憶部312にそれぞれ格納する。次に、制御部311は、ステップS103及びステップS203において取得した情報が、これまでの情報から変更されているかを判断する(ステップS204)。つまり、記憶部312に既に格納されている情報とステップS103及びステップS203において取得した情報とを比較し、双方とも情報変更がなかったと制御部311が判断すると(ステップS204:No)、光源の調整量を定めた制御パターンを変更することなく維持してステップS102〜ステップS204に示す一連の動作を繰り返す。一方、ステップS204において、ステップS103及びステップS203において取得した情報のうち少なくともいずれか一方に情報変更があったと制御部311が判断すると(ステップS204:Yes)、調整量決定部311bとして、複数の制御パターンから一の制御パターンを選択して読み出し(ステップS105)、この制御パターンに従った制御をさせるべく光源駆動回路34aに制御信号を送信し、これに応じた光源制御がなされる(ステップS106)。制御部311は、上記光源制御の動作を虚像表示装置100による画像形成動作が終了するまで繰り返す(ステップS107)。
First, when the virtual
上記の場合、調整量決定部311bによる制御パターンの選択によって、視線検知装置400の検知結果として得られる観察者の眼EYの視線の方向における外界光OLの明るさに関する情報に基づいて画像光GLを制御することができる。例えば、視線検知装置400における検知結果から、図5(A)等に示す9つの分割領域のうち、中央の分割領域5cに対応する方向に観察者の視線が向いている場合には、画像光GLによる虚像の範囲IM2のうち分割領域5cの明るさの調整を他の領域よりも優先して調整するものとしてもよい。この場合、例えば分割領域5cの明るさを5番のフォトダイオード素子181aで検出された明るさに合わせて調整するのみならず、分割領域5cの左右に隣接する分割領域も分割領域5cで設定した明るさとなるように調整してもよい。
In the above case, the image light GL based on the information regarding the brightness of the external light OL in the direction of the line of sight of the observer's eye EY obtained as a detection result of the line-of-
以上のように、本実施形態では、外界光に関する情報に加え、観察者の視線の方向やその方向の変化といった視線に関する情報に基づいて画像光の光量が制御される。これにより、より観察者に対する影響度合いの大きい外界光の状態に対応して画像光の調整を図ることができる。 As described above, in the present embodiment, the amount of image light is controlled based on information on the line of sight, such as the direction of the observer's line of sight and changes in the direction, in addition to information on external light. As a result, the image light can be adjusted in accordance with the state of the external light having a greater influence on the observer.
〔第3実施形態〕
以下、第3実施形態に係る虚像表示装置について説明する。なお、本実施形態に係る虚像表示装置は、第2実施形態に係る虚像表示装置の変形例であり、光検出装置180の構成を除いて、第2実施形態に係る虚像表示装置と同様であるため、全体の図示及び説明を省略する。
[Third Embodiment]
The virtual image display device according to the third embodiment will be described below. The virtual image display device according to the present embodiment is a modification of the virtual image display device according to the second embodiment, and is the same as the virtual image display device according to the second embodiment except for the configuration of the
図11は、第2実施形態の図9に対応する図であり、本実施形態に係る虚像表示装置100のうち、光検出装置180について説明するための図である。図示のように、光検出装置180のうち、外界光OLによる外界像を投影するレンズ182は、制御部311に接続されたレンズ駆動回路182aにより、正面方向であるZ方向に対して垂直な面内すなわちXY面に平行な面内について並進移動可能となっている。これにより、光検出装置180は、視線検知装置400で検知された観察者の視線の方向やその方向の変化といった視線に関する情報に基づいて、光検出装置180によって明るさを検出する範囲を変化させるものとなっている。具体的には、まず、制御部311が、視線検知装置400の視線センサー410からの情報を視線情報検知部330を介して取得すると、その視線の方向に対応するようにレンズ182を移動させるべく、レンズ駆動回路182aに駆動信号を送信する。つまり、観察者の視線の方向に対応する外界光OLの成分が、光検出装置180を構成する9つのフォトダイオード素子181aの内真ん中に位置する5番のフォトダイオード素子181aにおいて検出されるようにレンズ182をシフトさせる。これにより、9つのフォトダイオード素子181aによって観察者の視線の方向及びその周辺に関する外界光OLの状態を捉えることができる。
FIG. 11 is a diagram corresponding to FIG. 9 of the second embodiment, and is a diagram for explaining the
以上のように、本実施形態では、観察者の視線に関する情報に基づいて、光検出装置180によって明るさを検出する範囲を変化させた上で、外界光の光量検出を行っている。これにより、観察者の視線をより優先して画像光の制御を行うことができる。
As described above, in the present embodiment, the light amount of the external light is detected after changing the range in which the
〔第4実施形態〕
以下、第4実施形態に係る虚像表示装置について説明する。なお、本実施形態に係る虚像表示装置は、第1実施形態に係る虚像表示装置100の変形例であるため、全体の図示及び説明を省略する。
[Fourth Embodiment]
The virtual image display device according to the fourth embodiment will be described below. Note that the virtual image display device according to the present embodiment is a modification of the virtual
図12(A)は、正面から見た光検出装置180の状態を模式的に示す図である。第1実施形態等では、各フォトダイオード素子181aが矩形形状であるものとしているが、フォトダイオード素子181aの形状や検知する領域については、様々な態様が考えられ、例えば図示のように円形状となっていてもよい。また、図12(B)に示すように、領域については、均等な大きさにせず、例えば中央の領域を他の領域よりも大きくし、画像光の光量調整においても、真ん中の領域の影響を優先的に取り扱うものとしてもよい。なお、図12(A)及び12(B)は、例示であり、このほかにも、種々の分割パターンの態様が考えられ、例えば中央から同心円状に区分される分割領域で構成してもよい。
FIG. 12A is a diagram schematically illustrating the state of the
〔第5実施形態〕
以下、図13により、第5実施形態に係る虚像表示装置について説明する。ここでは、本実施形態に係る虚像表示装置200のうち、第1表示装置200Aの構造の一例について説明することで、虚像表示装置200の構造の一例を説明する。第1表示装置200Aは、信号光を形成するとともに当該信号光を走査光TLとして射出するための光射出装置210と、光射出装置210からの走査光TLを受けて画像光GLを形成する被照射部材220とを備える。光射出装置210は、観察者の鼻NS周辺に配置され、信号光形成部211と、走査光学系212とを有し、被照射部材220は、光射出装置210の前方側(+Z側)において観察者の眼EYの前方を覆うように配置されている。
[Fifth Embodiment]
Hereinafter, the virtual image display apparatus according to the fifth embodiment will be described with reference to FIG. Here, an example of the structure of the virtual
被照射部材220は、走査光の照射を受ける被照射膜(半透過膜)である半透過反射膜と、半透過反射膜を支持固定する支持部材とを有している。つまり、被照射部材220は、ハーフミラーである。これにより、観察者の眼EYには、虚像のみならず、外界からの光も入ることになり、虚像表示装置200は、双方を重畳して観察可能にするシースルーの構成となっている。つまり、被照射部材220は、虚像形成部である。
The
被照射部材220は、図示のように、観察者の眼EYの前方であって光射出装置210よりも観察者に対して遠方側(+Z側)に位置するように配置されている。つまり、観察者の眼EYと被照射部材220との間に光射出装置210が配置されている。
As shown in the figure, the
被照射部材220は、観察者の眼EYを前方から覆うのに十分な大きさを有しており、光射出装置210の走査光学系212から+Z方向に傾いて照射された走査光TLを受け、これを反射することで虚像を形成し、観察者に認識させるものとなっている。なお、被照射部材220の形状は、虚像表示装置100の外観すなわちフレームFLの形状に沿った形状を有している。
The
以下、画像形成の動作について説明する。まず、光射出装置210のうち、信号光形成部211は、信号光を形成し、射出する。射出された信号光は、スキャン部である走査光学系212に入射する。走査光学系212は、信号光を、走査光として被照射部材220に向けて射出する。被照射部材220において、信号光を走査光として走査させて入射させることで、画像光GLによって虚像が形成され、この虚像を観察者が眼EYで捉えることで、画像が認識される。
Hereinafter, an image forming operation will be described. First, in the
本実施形態のような構成を有する虚像表示装置200においても、光検出装置180を備えることで、第1実施形態等の場合と同様に、観察者が向いている方位からの外界光GLの明るさに対応して、画像光GLを制御し、画像光GLによる画像の明るさと外界光OLによる外界像の明るさとのバランスを適度なものにできる。つまり、外界光OLの状態に応じて画像光GLを適切な明るさに調整できる。
Also in the virtual
なお、上記では、光源として、ダイオードレーザ光源又はLED光源を用いるものとしているが、光源は、例えば有機EL等の上記以外のものであってもよい。 In the above description, a diode laser light source or an LED light source is used as the light source. However, the light source may be other than the above, such as an organic EL.
〔その他〕
以上実施形態に即して本発明を説明したが、本発明は、上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
[Others]
Although the present invention has been described based on the above embodiments, the present invention is not limited to the above embodiments, and can be implemented in various modes without departing from the gist thereof. Such modifications are also possible.
上記の説明では、光検出装置180を光学パネル110等すなわち導光装置20の上方側の中央部に固定的に取り付けられるものとしているが、必要な範囲の光検出が可能であれば、光検出装置180の固定位置は、これ以外の箇所であっても構わない。また、導光装置20の向きを把握でき、対象となる方向についての明るさを検出できるのであれば、光検出装置180は、光学パネル110等に固定的に取り付けられていなくてもよい。
In the above description, it is assumed that the
また、上記第3実施形態等において、視線に関する情報として、両眼の視線についてそれぞれ取得するものとしてもよく、少なくとも一方の視線について取得するものとしてもよい。 In the third embodiment and the like, the information regarding the line of sight may be acquired for each line of sight, or may be acquired for at least one line of sight.
また、上記第2実施形態等において、視線検知装置400の一部又は全部が、画像表示装置11と一体的に構成されるものとしてもよい。
In the second embodiment and the like, a part or all of the line-of-
上記の説明では、虚像表示装置100がヘッドマウントディスプレイであるとして具体的な説明を行ったが、虚像表示装置100は、ヘッドアップディスプレイに改変することもできる。
In the above description, the virtual
上記実施形態の虚像表示装置100では、右眼及び左眼の双方に対応して、一組ずつ表示装置を設ける構成としているが、右眼又は左眼のいずれか一方に対してのみ例えば画像形成装置10と導光装置20とを設け画像を片眼視する構成にしてもよい。
In the virtual
また、右眼及び左眼の双方に表示装置を設ける構成とする場合、3D画像の観察において、双方の眼の位置について輻輳角や両眼視差を考慮して適した状態に位置調整できる。 In addition, when the display device is provided for both the right eye and the left eye, the position of both eyes can be adjusted to a suitable state in consideration of the convergence angle and binocular parallax in the observation of the 3D image.
上記実施形態では、光入射面ISを通る第1光軸AX1と光入射面ISを通る第2光軸AX2とが平行であるとしたが、これらの光軸AX1,AX2を非平行とすることもできる。 In the above embodiment, the first optical axis AX1 passing through the light incident surface IS and the second optical axis AX2 passing through the light incident surface IS are parallel, but these optical axes AX1 and AX2 are made non-parallel. You can also.
上記実施形態では、導光部材21の第4反射面21dに設けたハーフミラー層28の反射率を50%以下としてシースルーを優先しているが、ハーフミラー層28の反射率を50%以上として画像光を優先することもできる。
In the above embodiment, the see-through is given priority by setting the reflectance of the
10…画像形成装置、 11…画像表示装置、 12…投射光学系、 20…導光装置(虚像形成部)、 20a…本体部分、 21…導光部材、 21a,21b,21c,21d…第1−第4反射面、 23…光透過部材、 23s…本体部分、 23a…第1面、 23b…第2面、 25…ミラー層、 28…ハーフミラー層(半透過反射膜)、 180…光検出装置、 181…フォトダイオード部、 182…レンズ、 181a…フォトダイオード素子、 100,200…虚像表示装置、 100A…表示装置(虚像形成部)、 300…コントロール装置、 311…制御部(画像光制御部、バックライト制御部)、 311a…読取部、 311b…調整量決定部、 311c…視線情報読取部、 400…視線検知装置、 410…ビームスプリッター、 411…近赤外光線検知センサー、 312…記憶部、 315…画像処理部、 319…外界光情報検出部、 210…光射出装置、 211…信号光形成部、 212…走査光学系、 AX,AX1,AX2…光軸、 B1…光入射部、 B2…導光部、 B3…光射出部、 B4…透視部、 EY…眼、 GL,GL1,GL2…画像光、 OL…外界光、 IS…光入射面、 OS…光射出面、 SL…照明光
DESCRIPTION OF
Claims (10)
前記虚像形成部の向きに応じて前記外界光の明るさを方向に関連づけて検出する光検出装置と、
前記光検出装置によって検出された明るさに関する情報に基づいて前記画像光を制御する画像光制御部と、
を備え、
前記画像光制御部は、前記虚像形成部上の被照射領域に対応する前記画像光の光量を分割された領域ごとに部分的に変化させる、虚像表示装置。 A virtual image forming unit that transmits external light and forms a virtual image by image light;
A light detection device that detects the brightness of the external light in association with the direction according to the orientation of the virtual image forming unit;
An image light control unit that controls the image light based on information on brightness detected by the light detection device;
Equipped with a,
The image light control unit, Ru partially changed for each area of the divided light amount of the image light corresponding to the irradiated region on the virtual image formation unit, the virtual image display device.
前記画像光制御部は、前記視線検知装置の検知結果として得られる観察者の視線の方向における前記外界光の明るさに関する情報に基づいて前記画像光を制御する、請求項1及び請求項2のいずれか一項に記載の虚像表示装置。 It further comprises a gaze detection device that detects the direction of the gaze of the observer,
The image light control unit controls the image light based on the information about the brightness of the external light in the direction of the visual axis detection resulting observer of the visual line detection device, of claims 1 and 2 The virtual image display device according to any one of the above.
前記虚像形成部の向きに応じて前記外界光の明るさを方向に関連づけて検出する光検出装置と、A light detection device that detects the brightness of the external light in association with the direction according to the orientation of the virtual image forming unit;
前記光検出装置によって検出された明るさに関する情報に基づいて前記画像光を制御する画像光制御部と、An image light control unit that controls the image light based on information on brightness detected by the light detection device;
を備え、With
観察者の視線の方向を検知する視線検知装置をさらに備え、It further comprises a gaze detection device that detects the direction of the gaze of the observer,
前記画像光制御部は、前記視線検知装置の検知結果として得られる観察者の視線の方向における前記外界光の明るさに関する情報に基づいて前記画像光を制御する、虚像表示装置。The said image light control part is a virtual image display apparatus which controls the said image light based on the information regarding the brightness of the said external light in the direction of an observer's gaze obtained as a detection result of the said gaze detection apparatus.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012052626A JP5867186B2 (en) | 2012-03-09 | 2012-03-09 | Virtual image display device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012052626A JP5867186B2 (en) | 2012-03-09 | 2012-03-09 | Virtual image display device |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015253147A Division JP6187578B2 (en) | 2015-12-25 | 2015-12-25 | Virtual image display device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013187794A JP2013187794A (en) | 2013-09-19 |
JP5867186B2 true JP5867186B2 (en) | 2016-02-24 |
Family
ID=49388850
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012052626A Active JP5867186B2 (en) | 2012-03-09 | 2012-03-09 | Virtual image display device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5867186B2 (en) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015103984A (en) * | 2013-11-26 | 2015-06-04 | Zimakuプラス株式会社 | Additional information display system |
JP6561606B2 (en) * | 2015-06-12 | 2019-08-21 | セイコーエプソン株式会社 | Display device and control method of display device |
JP2016177198A (en) * | 2015-03-20 | 2016-10-06 | アルプス電気株式会社 | Image display device |
WO2016152499A1 (en) * | 2015-03-20 | 2016-09-29 | アルプス電気株式会社 | Image display device |
US10460165B2 (en) | 2015-04-01 | 2019-10-29 | Fove, Inc. | Head mounted display |
JP6231541B2 (en) | 2015-06-25 | 2017-11-15 | 株式会社Qdレーザ | Image projection device |
JP6552338B2 (en) * | 2015-08-26 | 2019-07-31 | 株式会社東芝 | Display device |
NZ784100A (en) * | 2016-01-12 | 2023-01-27 | Magic Leap Inc | Beam angle sensor in virtual/augmented reality system |
CN106445164A (en) * | 2016-10-18 | 2017-02-22 | 北京小米移动软件有限公司 | Adjusting method and device of intelligent glasses |
KR102347128B1 (en) * | 2017-06-29 | 2022-01-05 | 한국전자기술연구원 | High visibility microdisplay device and HMD comprising the same |
JP6966075B2 (en) * | 2018-02-13 | 2021-11-10 | 国立大学法人福井大学 | Image projection device |
JP7163230B2 (en) * | 2019-03-25 | 2022-10-31 | 株式会社日立製作所 | Line-of-sight detection device, line-of-sight detection method, and display device |
WO2021140711A1 (en) * | 2020-01-09 | 2021-07-15 | 株式会社ソニー・インタラクティブエンタテインメント | Display control device, head-mounted display, and image display method |
JP7567762B2 (en) * | 2021-12-13 | 2024-10-16 | トヨタ自動車株式会社 | AR Glasses |
KR20240106658A (en) * | 2022-12-29 | 2024-07-08 | 삼성전자주식회사 | Head mounted display apparatus comprising eye-tracking sensor and operating method for the same |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2884658B2 (en) * | 1990-01-31 | 1999-04-19 | 株式会社島津製作所 | Head-up display |
JPH05183515A (en) * | 1991-12-27 | 1993-07-23 | Mitsubishi Electric Corp | Optical space transmitter |
JPH06121254A (en) * | 1992-10-06 | 1994-04-28 | Olympus Optical Co Ltd | Head mount type display device |
JP4202555B2 (en) * | 1999-10-04 | 2008-12-24 | 富士フイルム株式会社 | Display device with light quantity evaluation function and light supply control method |
JP3828328B2 (en) * | 1999-12-28 | 2006-10-04 | ローム株式会社 | Head mounted display |
JP4924393B2 (en) * | 2007-12-05 | 2012-04-25 | ソニー株式会社 | Display device |
JP2010169743A (en) * | 2009-01-20 | 2010-08-05 | Olympus Corp | Head-mounted image display apparatus |
JP2011175035A (en) * | 2010-02-23 | 2011-09-08 | Shimadzu Corp | Head mounted display device |
JP2010217905A (en) * | 2010-04-20 | 2010-09-30 | Panasonic Corp | Liquid crystal display |
-
2012
- 2012-03-09 JP JP2012052626A patent/JP5867186B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2013187794A (en) | 2013-09-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5867186B2 (en) | Virtual image display device | |
JP6229260B2 (en) | Virtual image display device | |
US8360583B2 (en) | Image display device with exit pupil moving for tracking viewer's pupil | |
JP5919899B2 (en) | Virtual image display device and method for adjusting position of virtual image display device | |
JP5990998B2 (en) | Virtual image display device | |
US7599012B2 (en) | Luminous display device | |
US9269192B2 (en) | Head-mounted display device | |
US9274338B2 (en) | Increasing field of view of reflective waveguide | |
JP5732808B2 (en) | Virtual image display device | |
US8736963B2 (en) | Two-dimensional exit-pupil expansion | |
US10481398B2 (en) | Virtual image display apparatus | |
US20140139927A1 (en) | Virtual image display apparatus | |
WO2015012138A1 (en) | Scanning-type projection device | |
JPWO2015012280A1 (en) | Gaze detection device | |
JPWO2012042744A1 (en) | Display device, moving body and control device | |
JP4874593B2 (en) | Video display device and head mounted display | |
JP2016161797A (en) | Transmission type display device | |
JP2015194550A (en) | Optical device, image projection apparatus, and electronic apparatus | |
JP2010271554A (en) | Image display device using hologram optical element | |
JP6187578B2 (en) | Virtual image display device | |
WO2009101960A1 (en) | Image display device | |
JP2012163663A (en) | Virtual image display device | |
JP6963738B2 (en) | Light guide member, light guide and virtual image display device | |
US20250067981A1 (en) | Binocular display system for an eyewear display | |
JP6778405B2 (en) | Light guide member, light guide and virtual image display device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141219 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20150107 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150703 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150714 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150909 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151208 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151221 |
|
R150 | Certificate of patent (=grant) or registration of utility model |
Ref document number: 5867186 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |