JP3898816B2 - 位置検出機能付きヘッドマウントディスプレイ - Google Patents
位置検出機能付きヘッドマウントディスプレイ Download PDFInfo
- Publication number
- JP3898816B2 JP3898816B2 JP31909797A JP31909797A JP3898816B2 JP 3898816 B2 JP3898816 B2 JP 3898816B2 JP 31909797 A JP31909797 A JP 31909797A JP 31909797 A JP31909797 A JP 31909797A JP 3898816 B2 JP3898816 B2 JP 3898816B2
- Authority
- JP
- Japan
- Prior art keywords
- infrared light
- wearer
- mounted display
- head mounted
- hmd
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Devices For Indicating Variable Information By Combining Individual Elements (AREA)
Description
【発明の属する技術分野】
本発明は、航空機や自動車等の操縦訓練・教育機、バーチャルリアリティ(仮想現実)体験機等に用いられるヘッドマウントディスプレイ(HMD)に関する。
【0002】
【従来の技術】
HMDには、仮想の映像のみを装着者に提供するクローズド型HMDと、装着者による外部の景色の視認を可能とし、外部景色の映像(現実映像)に仮想映像を重畳表示して提供するシースルー型HMDとがある。後者の場合に、現実映像と仮想映像との間に位置的な関連付けを行なって重畳表示しようとすると、外部環境の中におけるHMDの向きを正確に検出しなければならない。従来、このための方法として磁気方式や超音波方式が用いられていた。これらはいずれも、HMDに磁気発生器又は超音波発生器を固定し、HMDの外部に固定された磁気検出器又は超音波検出器との相互作用によりHMDの位置(向き)を検出するというものである。なお、発生器と検出器は逆に取り付けられる場合もある。
【0003】
【発明が解決しようとする課題】
上記従来の方法ではいずれも位置検出精度が必ずしも十分でなかった。例えば、磁気方式では近傍に金属物が存在すると検出精度が低下する場合があった。
【0004】
本発明はこのような課題を解決するために成されたものであり、その目的とするところは、赤外光を用いて物体の位置を検出し、それにより、より正確な現実映像及び仮想映像の重畳表示を行なうことができるHMDを提供することにある。これにより、例えば近傍に金属物が存在する場合でも検出精度が低下しないようにするものである。
【0005】
上記課題を解決するために成された本発明は、装着者の眼前に配置された半透過スクリーン及びホットミラーを備えたシースルー型ヘッドマウントディスプレイにおいて、
d)装着者の眼前に配置されたホットミラーによって反射された赤外光を撮影する外部映像撮影手段と、
e)撮影された外部映像に基づき物体からの赤外光の位置を検出するとともに該赤外光の時間的パターン又は空間的パターンに基づき該物体を特定する検出手段と、
f)検出された位置を用いて、上記半透過スクリーン上に前記特定された物体に関する情報を投影する投影手段と、
を備えることを特徴としている。
【0006】
装着者がHMDを装着すると、眼前には半透過スクリーン及びホットミラーが位置する。装着者は半透過スクリーンを通して外部の映像を視認できる。一方、HMDの外部映像撮影手段はホットミラーによって反射された赤外光による装着者の眼前の外部の映像を撮影し、その映像情報を検出手段に送る。検出手段は、周知の画像処理方法を用いて、物体からの赤外光の位置を検出するとともに該赤外光の時間的パターン又は空間的パターンに基づき該物体を特定する。検出された位置の情報は投影手段に送られ、投影手段は検出された位置を用いて、半透過スクリーン上に、前記特定された物体に関する情報を投影する。物体に関する情報の投影位置を適切に設定することにより、外部の影像とその物体に関する情報とが装着者に分かりやすく重畳表示され、訓練、教育、バーチャルリアリティ等において従来よりも大きな効果を挙げることができるようになる。
【0007】
本発明に係るHMDでは、撮影した映像から画像処理により物体の位置を検出するとともに赤外光の時間的パターン又は空間的パターンに基づき該物体を特定するため、装着者に物体に関する情報を正確に、且つ、分かりやすく与えることができる。また、従来の磁気又は超音波による検出よりもより正確な位置検出を行なうことができ、ずれの少ない重畳表示を行なうことができる。
【0008】
【実施例】
本発明の一実施例であるシースルー型HMDを図1〜図5により説明する。図1及び図2に示す通り、本実施例のHMD10は、従来のシースルー型HMDに外部映像撮影手段が付加されたものとなっている。すなわち、従来のHMDと同様、装着者の頭部に装着される本体部11、本体部11を装着したときに装着者の眼前に配置される半透過型のスクリーン12、スクリーン12に映像を出力する映像出力部13等を備え、更に、外部映像撮影手段として、装着者の左右眼前に1対の赤外撮像部14が設けられている。各赤外撮像部14は、装着者の眼前に配置されるホットミラー15と、ホットミラー15の外側に設けられたカメラレンズ16及びCCDカメラ17から成る。ホットミラー15は、可視光を透過し、赤外光を反射する光学素子であり、装着者の眼前の景色から装着者の目の方に来る光のうち赤外光のみを反射してCCDカメラ17の方に送る。
【0009】
本実施例のHMD10の機能的構成を図3に示す。映像出力部13は、半透過スクリーン12に表示すべき映像を生成する映像生成部21と、生成された映像をスクリーン12に投映する投映部22とから成る。映像生成部21はコンピュータから成り、予め用意されたプログラムを実行することにより映像生成部21として機能する。本実施例のHMD10ではコンピュータに、この映像生成部21としての機能に加え、赤外映像処理部23としての機能をも持たせている。
【0010】
以上の構成を有する本実施例のHMD10の使用方法を次に説明する。まず、予め、これから視認しようとする外部の物体25に赤外光源26を取り付ける。赤外光源26としては、赤外LED(発光ダイオード)が簡便で使用しやすい。なお、視認しようとする外部物体25は1個でもよいし複数個でもよいが、複数個の場合は各赤外光源26を識別できるようにしておく。例えば、発光の時間的パターンを変えるとか、空間的パターンをバーコード形式としておく等の方策をとることができる。
【0011】
次に、HMD10の本体部11を装着者の頭部に装着し、エアバッグ等により本体部11を頭部に固定する。頭部に対する本体部11の位置が固定された後、半透過スクリーン12に適当な調整用パターンを投映し、装着者がその調整用パターンを所定の位置で視認するように、映像出力部13の調整を行なう。なお、必要があれば出力映像の焦点調整も行なう。
【0012】
以上の準備が整った後、使用を開始する。装着者が外部物体25の方に向くと、外部物体25に取り付けられた赤外光源26から発した赤外光は左右のホットミラー15で反射され、カメラレンズ16を介してそれぞれの対応CCDカメラ17に送られる。CCDカメラ17は撮影した映像を表わす映像信号を生成し、赤外映像処理部23に送る。なお、赤外映像処理部23における物体認識をより容易にするため、CCDカメラ17の前に赤外光フィルタを設け、撮影画像から予め不要な可視光を除去しておいてもよい。
【0013】
赤外映像処理部23では、まず、赤外光源26の像が抜き出せるように、所定の赤外域波長を閾値として映像信号から2値映像を生成する。この2値映像に基づき、周知の画像処理技術により、各赤外光源26の位置を検出するとともに、時間的パターン又は空間的パターンに基づいて各赤外光源26の特定を行なう。赤外映像処理部23は、特定した赤外光源26に対応して予め記憶されている情報(物体情報)をメモリ(図示せず)から取り出し、赤外光源26の位置の情報とともに映像生成部21に送る。映像生成部21では、物体情報を映像化し、その物体情報映像を赤外光源26の箇所又はその近傍に配置した投映映像を生成する。投映映像は投映部22によりスクリーン12に投映される。
【0014】
これにより装着者は、スクリーン12を通過してくる外部の物体25の映像と、スクリーン12に投映される映像とを重畳して視認することになる。この重畳映像の一例を図4に示す。この例では、赤外光源26を付けた物体25の近傍にその物体25に関する情報(例えば、その物体25の名称、属性等)が表示されている。図5は、物体27の内部構造又は物体27の内部に含まれる物の映像28を物体27と同じ箇所に重畳して表示する例を示したものである。このような重畳表示により、装着者は各物体25、27に関する情報をその場で認識することができ、飛行機や自動車の操縦訓練、安全教育等においてより有効な訓練、教育を行なうことができる。また、仮想現実体験等においては、外部に種々の物体を配置すると共に、それに関する情報を予め準備しておくことにより、装着者により多様な仮想現実体験を与えることができるようになる。
【0015】
なお、上記実施例では装着者の眼前にホットミラー15を設けることにより、装着者が視認する外部映像に最も近い映像を撮影するようにしていたが、HMDの左右側部からCCDカメラで直接前方の外部映像を撮影するようにし、赤外映像処理部23における画像処理の段階で視差を補正するようにしてもよい。
【0016】
また、上記実施例では、外部物体に赤外光源を取り付ける構成としたが、HMDに赤外光の発光源を取り付けるようにしてもよい。すなわち、HMDの前面に赤外光を投射して、その反射光をCCDカメラで撮影することにより赤外光映像を撮影し、それに対して画像処理を施すことにより物体を特定することができる。この方法は、特に物体の外形が特徴を有する場合に有効となる。
【図面の簡単な説明】
【図1】 本発明の一実施例であるHMDの平面図。
【図2】 実施例のHMDの側面図。
【図3】 実施例のHMDの機能ブロック図。
【図4】 実施例のHMDの表示の一例を示す説明図。
【図5】 別の表示の例を示す説明図。
【符号の説明】
10…ヘッドマウントディスプレイ(HMD)
11…本体部
12…半透過スクリーン
13…映像出力部
14…赤外撮像部
15…ホットミラー
16…カメラレンズ
17…CCDカメラ
21…映像生成部
22…投映部
23…赤外映像処理部
25、27…外部物体
26…赤外光源
Claims (3)
- 装着者の眼前に配置された半透過スクリーン及びホットミラーを備えたシースルー型ヘッドマウントディスプレイにおいて、
a)装着者の眼前に配置されたホットミラーによって反射された赤外光を撮影する外部映像撮影手段と、
b)撮影された外部映像に基づき物体からの赤外光の位置を検出するとともに前記赤外光の時間的パターン又は空間的パターンに基づき該物体を特定する検出手段と、
c)前記検出された位置を用いて、上記半透過スクリーン上に前記特定された物体に関する情報を投影する投影手段と、
を備えることを特徴とするヘッドマウントディスプレイ。 - 前記半透過スクリーン、前記ホットミラー、前記外部映像撮影手段及び前記投影手段は装着者の左右眼のそれぞれに設けられていることを特徴とする請求項1記載のヘッドマウントディスプレイ。
- さらに、
d) 前記ヘッドマウントディスプレイの前面に赤外光を投射する赤外光発光源を有し、
前記外部映像撮影手段によって撮影される前記ホットミラーによって反射された赤外光は、前記赤外発光源から投射された赤外光に対する前記物体からの反射光であることを特徴とする請求項1記載のヘッドマウントディスプレイ。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP31909797A JP3898816B2 (ja) | 1997-11-04 | 1997-11-04 | 位置検出機能付きヘッドマウントディスプレイ |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP31909797A JP3898816B2 (ja) | 1997-11-04 | 1997-11-04 | 位置検出機能付きヘッドマウントディスプレイ |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11142784A JPH11142784A (ja) | 1999-05-28 |
JP3898816B2 true JP3898816B2 (ja) | 2007-03-28 |
Family
ID=18106450
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP31909797A Expired - Fee Related JP3898816B2 (ja) | 1997-11-04 | 1997-11-04 | 位置検出機能付きヘッドマウントディスプレイ |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3898816B2 (ja) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001117046A (ja) * | 1999-10-22 | 2001-04-27 | Shimadzu Corp | 視線検出機能付ヘッドマウントディスプレイシステム |
US8355610B2 (en) | 2007-10-18 | 2013-01-15 | Bae Systems Plc | Display systems |
JP5104679B2 (ja) * | 2008-09-11 | 2012-12-19 | ブラザー工業株式会社 | ヘッドマウントディスプレイ |
JP5293025B2 (ja) * | 2008-09-11 | 2013-09-18 | ブラザー工業株式会社 | ヘッドマウントディスプレイ |
EP2391918A2 (en) * | 2009-01-27 | 2011-12-07 | Chip E. Thomson | User-wearable video displays, systems, and methods |
JP2010200209A (ja) * | 2009-02-27 | 2010-09-09 | Brother Ind Ltd | ヘッドマウントディスプレイ |
JP5402293B2 (ja) * | 2009-06-22 | 2014-01-29 | ソニー株式会社 | 頭部装着型ディスプレイ、及び、頭部装着型ディスプレイにおける画像表示方法 |
JP2011192048A (ja) * | 2010-03-15 | 2011-09-29 | Nec Corp | 発言内容出力システム、発言内容出力装置及び発言内容出力方法 |
JP2011138141A (ja) * | 2011-01-20 | 2011-07-14 | Olympus Corp | 画像再生装置 |
JP5762892B2 (ja) * | 2011-09-06 | 2015-08-12 | ビッグローブ株式会社 | 情報表示システム、情報表示方法、及び情報表示用プログラム |
WO2013146385A1 (ja) * | 2012-03-27 | 2013-10-03 | 株式会社ニコン | 表示装置及びプログラム |
US9339726B2 (en) * | 2012-06-29 | 2016-05-17 | Nokia Technologies Oy | Method and apparatus for modifying the presentation of information based on the visual complexity of environment information |
JP6023883B2 (ja) | 2012-07-10 | 2016-11-09 | アイマゴ ソシエテ アノニムAimago S.A. | 灌流評価マルチモダリティ光学医用デバイス |
JP6505354B2 (ja) * | 2013-03-21 | 2019-04-24 | 株式会社Nttドコモ | 表示装置 |
JP2014203153A (ja) * | 2013-04-02 | 2014-10-27 | パイオニア株式会社 | 表示制御装置 |
KR20150101612A (ko) * | 2014-02-27 | 2015-09-04 | 엘지전자 주식회사 | 폐쇄형 시야(Closed-view)를 제공하는 헤드 마운티드 디스플레이 및 그 제어 방법 |
KR102212030B1 (ko) * | 2014-05-26 | 2021-02-04 | 엘지전자 주식회사 | 글래스 타입 단말기 및 이의 제어방법 |
JP2015228009A (ja) | 2014-06-03 | 2015-12-17 | セイコーエプソン株式会社 | 頭部装着型表示装置、頭部装着型表示装置の制御方法、情報送受信システム、および、コンピュータープログラム |
JP6511388B2 (ja) * | 2015-12-02 | 2019-05-15 | 日本電信電話株式会社 | 分光装置 |
-
1997
- 1997-11-04 JP JP31909797A patent/JP3898816B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH11142784A (ja) | 1999-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3898816B2 (ja) | 位置検出機能付きヘッドマウントディスプレイ | |
US11693242B2 (en) | Head-mounted display for virtual and mixed reality with inside-out positional, user body and environment tracking | |
US10747314B1 (en) | Tracking system with infrared camera | |
JP6095763B2 (ja) | ジェスチャ登録装置、ジェスチャ登録プログラムおよびジェスチャ登録方法 | |
US6299306B1 (en) | Method and apparatus for positioning subjects using a holographic optical element | |
US7646896B2 (en) | Apparatus and method for performing enrollment of user biometric information | |
JP2008502992A (ja) | イメージの情報を与える交信方法 | |
KR20180033222A (ko) | 프리즘-기반 눈 추적 | |
US20020060648A1 (en) | Image-display control apparatus | |
WO2017044204A1 (en) | Mixed-mode depth detection | |
JP2011254411A (ja) | 映像投影システムおよび映像投影プログラム | |
WO2004113991A2 (en) | Calibrating real and virtual views | |
JP2001008235A (ja) | 3次元データの再構成のための画像入力方法及び多眼式データ入力装置 | |
JPH0782539B2 (ja) | 瞳孔画像撮影装置 | |
JP2018163481A (ja) | 顔認識装置 | |
EP4158447A1 (en) | Systems and methods for providing mixed-reality experiences under low light conditions | |
JP2003284096A (ja) | ステレオ撮影装置、ファインダ、目印提示部材、及び、ステレオ撮影装置の撮影方法 | |
CN116137902A (zh) | 用于红外光检测的计算机视觉相机 | |
JP2022133133A (ja) | 生成装置、生成方法、システム、およびプログラム | |
CA2848879A1 (en) | Device for determining the location of mechanical elements | |
US8218135B2 (en) | System and method for stereo photography | |
JPH05205030A (ja) | 撮影人物の視線一致表示装置 | |
CN212012916U (zh) | 一种增强现实的显示设备 | |
JP2648198B2 (ja) | 注視方向検出方法 | |
JP3201037B2 (ja) | 運転者撮影装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040607 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060120 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060905 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061106 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061205 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061222 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100105 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110105 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120105 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130105 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140105 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |