[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP3898816B2 - 位置検出機能付きヘッドマウントディスプレイ - Google Patents

位置検出機能付きヘッドマウントディスプレイ Download PDF

Info

Publication number
JP3898816B2
JP3898816B2 JP31909797A JP31909797A JP3898816B2 JP 3898816 B2 JP3898816 B2 JP 3898816B2 JP 31909797 A JP31909797 A JP 31909797A JP 31909797 A JP31909797 A JP 31909797A JP 3898816 B2 JP3898816 B2 JP 3898816B2
Authority
JP
Japan
Prior art keywords
infrared light
wearer
mounted display
head mounted
hmd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP31909797A
Other languages
English (en)
Other versions
JPH11142784A (ja
Inventor
克明 深井
久 天藤
健二 間瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shimadzu Corp
Canon Inc
Original Assignee
Shimadzu Corp
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shimadzu Corp, Canon Inc filed Critical Shimadzu Corp
Priority to JP31909797A priority Critical patent/JP3898816B2/ja
Publication of JPH11142784A publication Critical patent/JPH11142784A/ja
Application granted granted Critical
Publication of JP3898816B2 publication Critical patent/JP3898816B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、航空機や自動車等の操縦訓練・教育機、バーチャルリアリティ(仮想現実)体験機等に用いられるヘッドマウントディスプレイ(HMD)に関する。
【0002】
【従来の技術】
HMDには、仮想の映像のみを装着者に提供するクローズド型HMDと、装着者による外部の景色の視認を可能とし、外部景色の映像(現実映像)に仮想映像を重畳表示して提供するシースルー型HMDとがある。後者の場合に、現実映像と仮想映像との間に位置的な関連付けを行なって重畳表示しようとすると、外部環境の中におけるHMDの向きを正確に検出しなければならない。従来、このための方法として磁気方式や超音波方式が用いられていた。これらはいずれも、HMDに磁気発生器又は超音波発生器を固定し、HMDの外部に固定された磁気検出器又は超音波検出器との相互作用によりHMDの位置(向き)を検出するというものである。なお、発生器と検出器は逆に取り付けられる場合もある。
【0003】
【発明が解決しようとする課題】
上記従来の方法ではいずれも位置検出精度が必ずしも十分でなかった。例えば、磁気方式では近傍に金属物が存在すると検出精度が低下する場合があった。
【0004】
本発明はこのような課題を解決するために成されたものであり、その目的とするところは、赤外光を用いて物体の位置を検出し、それにより、より正確な現実映像及び仮想映像の重畳表示を行なうことができるHMDを提供することにある。これにより、例えば近傍に金属物が存在する場合でも検出精度が低下しないようにするものである。
【0005】
上記課題を解決するために成された本発明は、装着者の眼前に配置され半透過スクリーン及びホットミラーを備えたシースルー型ヘッドマウントディスプレイにおいて、
d)装着者の眼前に配置されたホットミラーによって反射された赤外光を撮影する外部映像撮影手段と、
e)撮影された外部映像に基づき物からの赤外光の位置を検出するとともに該赤外光の時間的パターン又は空間的パターンに基づき該物体を特定する検出手段と、
f)検出された位置を用いて、上記半透過スクリーン上に前記特定された物体に関する情報を投する投影手段と、
を備えることを特徴としている。
【0006】
装着者がHMDを装着すると、眼前には半透過スクリーン及びホットミラーが位置する。装着者は半透過スクリーンを通して外部の映像を視認できる。一方、HMDの外部映像撮影手段はホットミラーによって反射された赤外光による装着者の眼前の外部の映像を撮影し、その映像情報を検出手段に送る。検出手段は、周知の画像処理方法を用いて、物体からの赤外光の位置を検出するとともに該赤外光の時間的パターン又は空間的パターンに基づき該物体を特定する。検出された位置の情報は投影手段に送られ、投影手段は検出された位置を用いて、半透過スクリーンに、前記特定された物体に関する情報を投する。物体に関する情報の投位置を適切に設定することにより、外部の像とその物体に関する情報とが装着者に分かりやすく重畳表示され、訓練、教育、バーチャルリアリティ等において従来よりも大きな効果を挙げることができるようになる。
【0007】
本発明に係るHMDでは、撮影した映像から画像処理により物体の位置を検出するとともに赤外光の時間的パターン又は空間的パターンに基づき該物体を特定するため、装着者に物体に関する情報を正確に、且つ、分かりやすく与えることができる。また、従来の磁気又は超音波による検出よりもより正確な位置検出を行なうことができ、ずれの少ない重畳表示を行なうことができる。
【0008】
【実施例】
本発明の一実施例であるシースルー型HMDを図1〜図5により説明する。図1及び図2に示す通り、本実施例のHMD10は、従来のシースルー型HMDに外部映像撮影手段が付加されたものとなっている。すなわち、従来のHMDと同様、装着者の頭部に装着される本体部11、本体部11を装着したときに装着者の眼前に配置される半透過型のスクリーン12、スクリーン12に映像を出力する映像出力部13等を備え、更に、外部映像撮影手段として、装着者の左右眼前に1対の赤外撮像部14が設けられている。各赤外撮像部14は、装着者の眼前に配置されるホットミラー15と、ホットミラー15の外側に設けられたカメラレンズ16及びCCDカメラ17から成る。ホットミラー15は、可視光を透過し、赤外光を反射する光学素子であり、装着者の眼前の景色から装着者の目の方に来る光のうち赤外光のみを反射してCCDカメラ17の方に送る。
【0009】
本実施例のHMD10の機能的構成を図3に示す。映像出力部13は、半透過スクリーン12に表示すべき映像を生成する映像生成部21と、生成された映像をスクリーン12に投映する投映部22とから成る。映像生成部21はコンピュータから成り、予め用意されたプログラムを実行することにより映像生成部21として機能する。本実施例のHMD10ではコンピュータに、この映像生成部21としての機能に加え、赤外映像処理部23としての機能をも持たせている。
【0010】
以上の構成を有する本実施例のHMD10の使用方法を次に説明する。まず、予め、これから視認しようとする外部の物体25に赤外光源26を取り付ける。赤外光源26としては、赤外LED(発光ダイオード)が簡便で使用しやすい。なお、視認しようとする外部物体25は1個でもよいし複数個でもよいが、複数個の場合は各赤外光源26を識別できるようにしておく。例えば、発光の時間的パターンを変えるとか、空間的パターンをバーコード形式としておく等の方策をとることができる。
【0011】
次に、HMD10の本体部11を装着者の頭部に装着し、エアバッグ等により本体部11を頭部に固定する。頭部に対する本体部11の位置が固定された後、半透過スクリーン12に適当な調整用パターンを投映し、装着者がその調整用パターンを所定の位置で視認するように、映像出力部13の調整を行なう。なお、必要があれば出力映像の焦点調整も行なう。
【0012】
以上の準備が整った後、使用を開始する。装着者が外部物体25の方に向くと、外部物体25に取り付けられた赤外光源26から発した赤外光は左右のホットミラー15で反射され、カメラレンズ16を介してそれぞれの対応CCDカメラ17に送られる。CCDカメラ17は撮影した映像を表わす映像信号を生成し、赤外映像処理部23に送る。なお、赤外映像処理部23における物体認識をより容易にするため、CCDカメラ17の前に赤外光フィルタを設け、撮影画像から予め不要な可視光を除去しておいてもよい。
【0013】
赤外映像処理部23では、まず、赤外光源26の像が抜き出せるように、所定の赤外域波長を閾値として映像信号から2値映像を生成する。この2値映像に基づき、周知の画像処理技術により、各赤外光源26の位置を検出するとともに、時間的パターン又は空間的パターンに基づいて各赤外光源26の特定を行なう。赤外映像処理部23は、特定した赤外光源26に対応して予め記憶されている情報(物体情報)をメモリ(図示せず)から取り出し、赤外光源26の位置の情報とともに映像生成部21に送る。映像生成部21では、物体情報を映像化し、その物体情報映像を赤外光源26の箇所又はその近傍に配置した投映映像を生成する。投映映像は投映部22によりスクリーン12に投映される。
【0014】
これにより装着者は、スクリーン12を通過してくる外部の物体25の映像と、スクリーン12に投映される映像とを重畳して視認することになる。この重畳映像の一例を図4に示す。この例では、赤外光源26を付けた物体25の近傍にその物体25に関する情報(例えば、その物体25の名称、属性等)が表示されている。図5は、物体27の内部構造又は物体27の内部に含まれる物の映像28を物体27と同じ箇所に重畳して表示する例を示したものである。このような重畳表示により、装着者は各物体25、27に関する情報をその場で認識することができ、飛行機や自動車の操縦訓練、安全教育等においてより有効な訓練、教育を行なうことができる。また、仮想現実体験等においては、外部に種々の物体を配置すると共に、それに関する情報を予め準備しておくことにより、装着者により多様な仮想現実体験を与えることができるようになる。
【0015】
なお、上記実施例では装着者の眼前にホットミラー15を設けることにより、装着者が視認する外部映像に最も近い映像を撮影するようにしていたが、HMDの左右側部からCCDカメラで直接前方の外部映像を撮影するようにし、赤外映像処理部23における画像処理の段階で視差を補正するようにしてもよい。
【0016】
また、上記実施例では、外部物体に赤外光源を取り付ける構成としたが、HMDに赤外光の発光源を取り付けるようにしてもよい。すなわち、HMDの前面に赤外光を投射して、その反射光をCCDカメラで撮影することにより赤外光映像を撮影し、それに対して画像処理を施すことにより物体を特定することができる。この方法は、特に物体の外形が特徴を有する場合に有効となる。
【図面の簡単な説明】
【図1】 本発明の一実施例であるHMDの平面図。
【図2】 実施例のHMDの側面図。
【図3】 実施例のHMDの機能ブロック図。
【図4】 実施例のHMDの表示の一例を示す説明図。
【図5】 別の表示の例を示す説明図。
【符号の説明】
10…ヘッドマウントディスプレイ(HMD)
11…本体部
12…半透過スクリーン
13…映像出力部
14…赤外撮像部
15…ホットミラー
16…カメラレンズ
17…CCDカメラ
21…映像生成部
22…投映部
23…赤外映像処理部
25、27…外部物体
26…赤外光源

Claims (3)

  1. 装着者の眼前に配置され半透過スクリーン及びホットミラーを備えたシースルー型ヘッドマウントディスプレイにおいて、
    a)装着者の眼前に配置されたホットミラーによって反射された赤外光を撮影する外部映像撮影手段と、
    b)撮影された外部映像に基づき物からの赤外光の位置を検出するとともに前記赤外光の時間的パターン又は空間的パターンに基づき該物体を特定する検出手段と、
    c)前記検出された位置を用いて、上記半透過スクリーン上に前記特定された物体に関する情報を投する投影手段と、
    を備えることを特徴とするヘッドマウントディスプレイ。
  2. 前記半透過スクリーン、前記ホットミラー、前記外部映像撮影手段及び前記投影手段は装着者の左右眼のそれぞれに設けられていることを特徴とする請求項1記載のヘッドマウントディスプレイ。
  3. さらに、
    d) 前記ヘッドマウントディスプレイの前面に赤外光を投射する赤外光発光源を有し、
    前記外部映像撮影手段によって撮影される前記ホットミラーによって反射された赤外光は、前記赤外発光源から投射された赤外光に対する前記物体からの反射光であることを特徴とする請求項1記載のヘッドマウントディスプレイ。
JP31909797A 1997-11-04 1997-11-04 位置検出機能付きヘッドマウントディスプレイ Expired - Fee Related JP3898816B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP31909797A JP3898816B2 (ja) 1997-11-04 1997-11-04 位置検出機能付きヘッドマウントディスプレイ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP31909797A JP3898816B2 (ja) 1997-11-04 1997-11-04 位置検出機能付きヘッドマウントディスプレイ

Publications (2)

Publication Number Publication Date
JPH11142784A JPH11142784A (ja) 1999-05-28
JP3898816B2 true JP3898816B2 (ja) 2007-03-28

Family

ID=18106450

Family Applications (1)

Application Number Title Priority Date Filing Date
JP31909797A Expired - Fee Related JP3898816B2 (ja) 1997-11-04 1997-11-04 位置検出機能付きヘッドマウントディスプレイ

Country Status (1)

Country Link
JP (1) JP3898816B2 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001117046A (ja) * 1999-10-22 2001-04-27 Shimadzu Corp 視線検出機能付ヘッドマウントディスプレイシステム
US8355610B2 (en) 2007-10-18 2013-01-15 Bae Systems Plc Display systems
JP5104679B2 (ja) * 2008-09-11 2012-12-19 ブラザー工業株式会社 ヘッドマウントディスプレイ
JP5293025B2 (ja) * 2008-09-11 2013-09-18 ブラザー工業株式会社 ヘッドマウントディスプレイ
EP2391918A2 (en) * 2009-01-27 2011-12-07 Chip E. Thomson User-wearable video displays, systems, and methods
JP2010200209A (ja) * 2009-02-27 2010-09-09 Brother Ind Ltd ヘッドマウントディスプレイ
JP5402293B2 (ja) * 2009-06-22 2014-01-29 ソニー株式会社 頭部装着型ディスプレイ、及び、頭部装着型ディスプレイにおける画像表示方法
JP2011192048A (ja) * 2010-03-15 2011-09-29 Nec Corp 発言内容出力システム、発言内容出力装置及び発言内容出力方法
JP2011138141A (ja) * 2011-01-20 2011-07-14 Olympus Corp 画像再生装置
JP5762892B2 (ja) * 2011-09-06 2015-08-12 ビッグローブ株式会社 情報表示システム、情報表示方法、及び情報表示用プログラム
WO2013146385A1 (ja) * 2012-03-27 2013-10-03 株式会社ニコン 表示装置及びプログラム
US9339726B2 (en) * 2012-06-29 2016-05-17 Nokia Technologies Oy Method and apparatus for modifying the presentation of information based on the visual complexity of environment information
JP6023883B2 (ja) 2012-07-10 2016-11-09 アイマゴ ソシエテ アノニムAimago S.A. 灌流評価マルチモダリティ光学医用デバイス
JP6505354B2 (ja) * 2013-03-21 2019-04-24 株式会社Nttドコモ 表示装置
JP2014203153A (ja) * 2013-04-02 2014-10-27 パイオニア株式会社 表示制御装置
KR20150101612A (ko) * 2014-02-27 2015-09-04 엘지전자 주식회사 폐쇄형 시야(Closed-view)를 제공하는 헤드 마운티드 디스플레이 및 그 제어 방법
KR102212030B1 (ko) * 2014-05-26 2021-02-04 엘지전자 주식회사 글래스 타입 단말기 및 이의 제어방법
JP2015228009A (ja) 2014-06-03 2015-12-17 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、情報送受信システム、および、コンピュータープログラム
JP6511388B2 (ja) * 2015-12-02 2019-05-15 日本電信電話株式会社 分光装置

Also Published As

Publication number Publication date
JPH11142784A (ja) 1999-05-28

Similar Documents

Publication Publication Date Title
JP3898816B2 (ja) 位置検出機能付きヘッドマウントディスプレイ
US11693242B2 (en) Head-mounted display for virtual and mixed reality with inside-out positional, user body and environment tracking
US10747314B1 (en) Tracking system with infrared camera
JP6095763B2 (ja) ジェスチャ登録装置、ジェスチャ登録プログラムおよびジェスチャ登録方法
US6299306B1 (en) Method and apparatus for positioning subjects using a holographic optical element
US7646896B2 (en) Apparatus and method for performing enrollment of user biometric information
JP2008502992A (ja) イメージの情報を与える交信方法
KR20180033222A (ko) 프리즘-기반 눈 추적
US20020060648A1 (en) Image-display control apparatus
WO2017044204A1 (en) Mixed-mode depth detection
JP2011254411A (ja) 映像投影システムおよび映像投影プログラム
WO2004113991A2 (en) Calibrating real and virtual views
JP2001008235A (ja) 3次元データの再構成のための画像入力方法及び多眼式データ入力装置
JPH0782539B2 (ja) 瞳孔画像撮影装置
JP2018163481A (ja) 顔認識装置
EP4158447A1 (en) Systems and methods for providing mixed-reality experiences under low light conditions
JP2003284096A (ja) ステレオ撮影装置、ファインダ、目印提示部材、及び、ステレオ撮影装置の撮影方法
CN116137902A (zh) 用于红外光检测的计算机视觉相机
JP2022133133A (ja) 生成装置、生成方法、システム、およびプログラム
CA2848879A1 (en) Device for determining the location of mechanical elements
US8218135B2 (en) System and method for stereo photography
JPH05205030A (ja) 撮影人物の視線一致表示装置
CN212012916U (zh) 一种增强现实的显示设备
JP2648198B2 (ja) 注視方向検出方法
JP3201037B2 (ja) 運転者撮影装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040607

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060905

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061222

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100105

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110105

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120105

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130105

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140105

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees