JPH10334274A - 仮想現実方法及び装置並びに記憶媒体 - Google Patents

Abstract

(57)【要約】 【課題】 体験者の意思を忠実に反映したより臨場感の
ある仮想世界の疑似体験が可能な安価な仮想現実方法及
び装置を提供する。 【解決手段】 位置方向検出装置１１０からの位置デー
タと方向データとを用いて設定した３次元仮想空間内の
視点の位置と方向とを、視線入力スカウタ１１１内の視
線検出部１１１ａからの視線データを用いて適切に補正
するようにした。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、視線検出手段によ
り仮想世界シュミレーションを実現する仮想現実方法及
び装置並びにこれら仮想現実方法及び装置に使用する記
憶媒体に関する。

【０００２】

【従来の技術】従来より、バーチャルリアリティー（仮
想現実：電子計算機によって作り出された情報を人間の
感覚器官に提示することによって、実在しない世界や遠
隔にある空間での行動を可能にして疑似体験を行う技
術）による仮想世界のシュミレーションを実現するに
は、次のような方法がとられる場合があった。

【０００３】例えば、仮想現実状態を体験する体験者の
頭部に取り付けた３次元位置方向検出装置（例えば、３
ＳＰＡＣＥ社のＦＡＳＴＲＡＫは磁気変換技術により実
空間での３次元位置とオイラー角を計測する）からのデ
ータを基に、予め入力したモデル（物体の３次元形状デ
ータ）の空間的・幾何学的位置を考慮した映像をコンピ
ュータに計算させ、この映像を体験者が被ったＨＭＤ
（ヘッドマウントディスプレイ、例えばｉ−ｇｌａｓｓ
ｅｓ「Ｖｉｒｔｕａｌ−ｉｏ社」）に表示することで、
体験者は仮想世界の疑似体験（仮想世界シュミレーショ
ン）を行うことができる。

【０００４】このようなバーチャルリアリティーを実現
するシステムにおいて体験者が見る映像は、一般的に、
次に説明する３次元コンピュータグラフイックス（Ｃ
Ｇ）によって形成される。

【０００５】３次元物体を表現した画像を形成する３次
元ＣＧにおいては、通常画像を得るためには、大きく分
けて「モデリング」と「レンダリング」という２つの作
業が必要となる。

【０００６】◇「モデリング」モデリングは、画像の中
で表現したい対象物の形、色、表面の性質等のデータを
コンピュータの中に作成する作業である。例えば、人間
の画像を作るのであれば、その表面の形がどうなってい
るのか、顔のどの部分がどのような色をしているのか、
光の反射率はどうか、といったデータを作成し、後のレ
ンダリングで使えるような形式でコンピュータ内に格納
する。この様なデータの集まりを物体のモデルという。

【０００７】例えば、図１１に示すような立方体の形状
モデリングを行う場合、まず、図１１のように立方体の
ある１つの頂点を原点としたモデリング座標系を考え
る。そして、この座標系における立方体の８個の頂点の
座標データ及び面ループデータを、例えば図１２
（ａ），（ｂ）に示すように決定する。この様にして得
られた１組の座標データと面ループデータが対象物のモ
デリングデータ（またはモデルデータ）となる。

【０００８】◇「レンダリング」レンダリングは、モデ
ルが出来上がった後で、その物体をある位置から見たと
きにどの様に見えるかを考え、その見え方に従った画像
を作成する作業である。従って、レンダリングを行うに
は、モデルの他に、見る位置（視点）や照明に関する条
件を考える必要がある。レンダリング作業を細分化する
と、「投影変換」、「隠面消去」、「シェーディング」
及び「リアルさを出すための工夫」の４つの作業とな
る。

【０００９】まず、「投影変換」は、モデルを表わして
いる種々の座標値に対して、視点の位置から見たとき
に、画面上のどの位置に見えるかを計算して、画面上の
座標に変換することである。図１３は、投影変換のため
の４つの座標系を示した図である。まず、モデリング座
標系において定義された物体の形状データは、ワールド
座標系（物体の形を表わすときにモデル内の座標に用い
る座標系）におけるデータに変換される。そして、対象
となる物体を見ることができるように、選定したカメラ
をいろいろな方向に向けることで、ビューイング変換
（視野変換）を行う。この際、ワールド座標系で表わさ
れた物体のデータが視点座標系のデータに変換されるこ
とになる。また、この変換のためにワールド座標系の中
にスクリーン（視野窓）を指定し、このスクリーンが物
体の最終的な投影面となる。そして、このスクリーンを
定義するための座標系がＵＶＮ座標系（スクリーン座標
系）と呼ばれる。但し、視点前方の全ての物を描くと、
不必要な計算時間をとる場合があるので、作画領域を決
めることも必要である（この作画領域はビューイングボ
リューム「視野空間」と呼ばれ、また、この作業はクリ
ッピングと呼ばれる。また、ビューイングボリュームの
境界の中でカメラから最も近い面をリニアクリッピング
面、最も遠い面をファークリッピング面という）。そし
て、このスクリーンをいろいろな方向に動かすことで視
野変換を行う。そして、視野変換が決定した後、空間に
存在する物体の３次元形状の各点に対して、視点と投影
面の交点を求める操作を行うことで、図１４に示すよう
にスクリーン上に投影図を得る（但し、この場合は視点
と投影面との間の距離が有限である透視投影を示してい
る）。従って、投影変換が行われると前述の視点座標系
で表わされたデータは、ＵＶＮ座標系におけるデータに
変換されることになる。

【００１０】次に、「隠面消去」によって、モデルの中
で現在の視点の位置から考えて、どの部分が見えて、ど
の部分が見えないかを判断する。隠面消去の代表的な手
法としては、Ｚバッファ法やスキャンライン法といった
アルゴリズムが挙げられる。そして、隠面消去が済ん
で、物体のどの部分が見えるかが確定したら、次に照明
を考えて各部分がどの様な色で、どの様な明るさに見え
るかを判断し、その色を画面、即ち、ピクセルに塗る
「シェーディング」の処理を行う。

【００１１】そして、通常レンダリングの最後に実行さ
れるのが、「リアルさを出すための工夫」である。これ
は、「投影変換」、「隠面消去」、「シェーディング」
を行って画像を形成しても、得られる絵は実在の物体と
はほど遠い面白みのないものとなってしまうためであ
る。その理由としては、このような手法が、物体の表面
は理想的な平面或いは数式で表わせる完全に滑らかな曲
面であったり、表面の色が面ごとに一定であるといった
仮定に基づいているためである。こうした状況を避け、
得られる画像をより現実に近いものとするために行われ
る代表的手法の１つにテクスチャーマッピングがある。
このテクスチャーマッピングは、予め用意した２次元パ
ターンを３次元空間内の物体モデルの表面に貼り付ける
（数学的にいえば、写像する）手法で、単調な表面で構
成された物体を複雑な表面を持つ物体に疑似的に見せか
けることを目的としている。これにより、例えば単純な
直方体のモデルを金属や石材のように見せることが可能
となる。

【００１２】上述した「投影変換」、「隠面消去」、
「シェーディング」及び「リアルさを出すための工夫」
が終了し、ＵＶＮ座標系によって示された図形は、最終
的なデバイス座標系に変換されて表示装置に表示される
と、１回のレンダリング処理が完了する。図１５に、図
１４のスクリーンに投影された物体がデバイス座標系に
変換されて表示装置に表示された画像を示す（但し、物
体の背景は塗りつぶされている）。ここで、デバイス座
標系とは、画像の中でピクセルやドットの位置を表わす
ときに用いる座標系のことで、表示画像における座標系
と同一であるものとする（図１５におけるａとｂは、表
示画像の横と縦の画素数を示す）。

【００１３】◇「ＣＧアニメーションの作成方法」上述
したような方法により得られる絵（ＣＧ画像）に動きを
付けてコンピュータグラフィックス（ＣＧ）アニメーシ
ョンを作成する場合、大別して２つの方法がある。

【００１４】まず、第１の手法としては、３次元空間に
置き、照明条件、視点条件（視点の位置・方向・画角）
及び物体のモデルの形状や色等を少しずつ変化させ、そ
の都度レンダリングを行うことで、一連のアニメーショ
ン用の画像群を得た後（または、１つの画像をレンダリ
ングするごとに）、それらをビデオレコーダ等の録画装
置を用いて１コマ１コマ録画（コマ録画）し、全ての録
画が終わった後で再生装置で再生する方法である。この
方法においては、画像のレンダリングの際にかかる時間
は許容される範囲で長くしてよいので（１つの画像のレ
ンダリングに要する時間と作成するアニメーションの全
体の時間に依存する）、画面上に複雑な形状の物体を多
数配置したり、レイトレーシング（光線追跡法）に代表
されるような長い計算時間を必要とするレンダリング手
法を用いて高品質な画像を作成することも可能である。
例えば、現在のテレビコマーシャルやＳＦ映画等で用い
られているＣＧ映像は、ほとんどこの方法によって作成
されたものである。

【００１５】次に、第２の手法としては、前述の照明条
件、視点条件及び物体モデルの形状や色を変更しながら
のレンダリング及びそのレンダリング処理によって得ら
れた画像の表示という２つの処理を高速に繰り返すこと
で、ＣＧアニメーションを実行する手法である。この手
法は、一般的にリアルタイムＣＧレンダリングと呼ばれ
るもので、ユーザからの指示を直接レンダリングに反映
させることで、ＣＧアニメーションの動きをリアルタイ
ムにコントロールするインタラクティブ（対話的）処理
が可能なことが最大の特徴である。その反面、実現に関
しては実行するコンピュータのパフォーマンスにかなり
依存し、画面上に表示できる物体のデータ量に制限があ
ったり、レンダリング手法として単純で高速なものに限
定されてしまうといった制約があるため、前者と比較し
て形成される画像は一般的に低品質なものとなる。な
お、この手法は、各種バーチャルリアリテイーシステム
をはじめ、科学技術シミュレーション、航空機操縦練習
用のフライトシミュレータやゲームセンター用のレーシ
ングゲーム・ファイティングゲーム等に用いられている
ものである。

【００１６】次に、視線検出装置について説明する。

【００１７】先に本出願人は、パソコン（パーソナルコ
ンピュータ）／テレビのディスプレイ画面、ビデオカメ
ラ／スチルカメラのファインダー画面等を使用者が観察
する際、画面のどこを見ているかを検出する、いわゆる
視線入力装置を提案している。その原理を以下に説明す
る。

【００１８】図１６は、視線検出方法の原理を示す平面
図、図１７は、視線検出方法の原理を示す側面図であ
る。両図において、９０６ａ，９０６ｂは観察者に対し
て不感の赤外光を放射する発光ダイオード（ＩＲＥＤ）
等の光源で、各光源９０６ａ，９０６ｂは、結像レンズ
９１１の光軸に対してｘ方向（水平方向）に略対称に、
また、ｙ方向（垂直方向）にはやや下側に（図１７参
照）配置され、観察者の眼球９０８を発散照明してい
る。観察者の眼球９０８で反射した照明光の一部は、結
像レンズ９１１によってイメージセンサー９１２に結像
する。

【００１９】図１８は、イメージセンサー９１２に投影
される眼球像の概略図、図１９は、イメージセンサー９
１２の出力強度図である。

【００２０】以下、図１６〜図１９を用いて視線の検出
方法について説明する。

【００２１】まず、水平面で考えると、図１６において
一方の光源９０６ｂより放射されたは、観察者の眼球９
０８の角膜９１０（図１６及び図１７参照）を照明す
る。このとき角膜９１０の表面で反射した赤外光により
形成される角膜反射像（虚像）ｄ（図１６及び図１８参
照）は、結像レンズ９１１によって集光され、イメージ
センサー９１２上の位置ｄ′（図１６参照）に結像す
る。同様に、他方の光源９０６ａより放射されたは、観
察者の眼球９０８の角膜９１０（図１６及び図１７参
照）を照明する。このとき角膜９１０の表面で反射した
赤外光により形成される角膜反射像（虚像）ｅ（図１６
及び図１８参照）は、結像レンズ９１１によって集光さ
れ、イメージセンサー９１２上の位置ｅ′（図１６参
照）に結像する。また、虹彩９０４の端部ａ，ｂ（図１
６〜図１８参照）からの光束は、結像レンズ９１１を介
してイメージセンサー９１２上の位置ａ′，ｂ′（図１
６及び図１７参照）に該端部ａ，ｂの像を結像する。結
像レンズ９１１の光軸に対する眼球９０８の光軸の回転
角θが小さい場合、虹彩９０４の端部ａ，ｂのｘ座標を
ｘａ，ｘｂとすると、ｘａ，ｘｂはイメージセンサー９
１２上で多数点求めることができる（図１８中、×
印）。そこで、まず、円の最小自乗法にて瞳孔中心ｘｃ
を算出する。一方、角膜９１０の曲率中心ｏのｘ座標を
ｘｏとすると、眼球９０８の光軸に対する回転角θｘ
は、 ｏｃ×ｓｉｎθｘ＝ｘｃ−ｘｏ … （１） となる。

【００２２】また、角膜反射像ｄとｅの中点ｋに所定の
補正値δｘを考慮して求めると、 ｘｋ＝（ｘｄ＋ｘｅ）／２ ｘｏ＝（ｘｄ＋ｘｅ）／２＋δｘ … （２） となる。

【００２３】ここで、δｘは装置の設置方法／眼球距離
等から幾何学的に求められる数値であり、その算出方法
は省略する。

【００２４】よって、上記（１）式を（２）式に代入し
てθｘを求めると、 θｘ＝arcsin［［xc｛（xd＋xe／2＋δx｝］／oc］…（３） となる。

【００２５】更に、イメージセンサー９１２上に投影さ
れた各々の特徴点の座標を、′（ダッシュ）を付けて下
記（４）式に書き換えると、 θｘ＝arcsin［［xc′｛（xd′＋xe′／2＋δx′｝］／oc／β］…（４） となる。ここで、βは結像レンズ９１１に対する眼球９
０８の距離ｓｚｅにより決まる倍率で、実際は角膜反射
像ｄ，ｅの間隔｜ｘｄ′−ｘｅ′｜の関数として求めら
れる。

【００２６】垂直面で考えると、図１７に示すような構
成となる。ここで、２個の光源９０６ａ，９０６ｂによ
り生じる角膜反射像ｄ，ｅは同位置に発生し、これをｉ
とする。眼球９０８の垂直方向の回転角θｙの算出方法
は上述した水平面の場合とほぼ同一であるが、（２）式
のみ異なり、角膜曲率中心ｏのｙ座標をｙｏとすると、 ｙｏ＝ｙｉ＋δｙ … （５） となる。ここで、δｙは装置の設置方法／眼球距離等か
ら幾何学的に求められる数値であり、その算出方法は省
略する。

【００２７】よって、眼球９０８の垂直方向の回転角θ
ｙは、 θｙ＝arcsin［［yc′−（yi′＋δy′）］／oc／β］…（６） となる。

【００２８】更に、ファインダー等の画面上の位置座標
（ｘｎ，ｙｎ）は、ファインダー光学系で決まる定数ｍ
を用いると、水平面上、垂直面上それぞれ、 xn＝ma×arcsin［［xc′−｛（xd′＋xe′）／２＋δx′｝］／oc／β］… （７） yn＝ma×arcsin［［yc′−（yi′＋δy′）］／oc／β］…（８） となる。

【００２９】図１８及び図１９で明らかなように、瞳孔
エッジの検出は、イメージセンサー９１２の出力波形の
立ち上がり部（xb′）、立ち下がり部（xa′）を利用す
る。また、角膜反射像ｄ，ｅの座標は鋭い立ち上がり部
（xe′）、立ち下がり（xd′）を利用する。

【００３０】次に、視線検出機能を持つパソコン（パー
ソナルコンピュータ）システムの一例を説明する。

【００３１】図２０は、視線検出機能を持つパソコンシ
ステムの一例を示す概略構成図である。同図に示すパソ
コンシステムは、パソコンの本体部であるパソコンユニ
ット１００８、操作者がパソコンの画面を観察するため
のヘッドマウントディスプレイ１００６、操作者または
操作者以外の人がパソコンの画面を観察するための外部
モニター１００９により構成されている。ここで、ヘッ
ドマウントディスプレイ１００６は、ゴーグル、メガネ
フレーム等の部材により操作者の目に近い位置に固定さ
れている。

【００３２】ヘッドマウントディスプレイ１００６は、
ＬＣＤ（液晶表示器）等を有する表示素子１００２と、
拡大観察系を実現するための特殊プリズム１００３、撮
影者の目１００５の視線を検出する視線検出回路１０６
４と、パソコン画面を表示素子１００２に表示する表示
回路１００７と、撮影者の目１００５に赤外光を照射す
る赤外発光ダイオード１０６０，１０６１と、赤外光を
結像する結像レンズ１０６２ａ，１０６２ｂと、これら
結像レンズ１０６２ａ，１０６２ｂにより結像された赤
外光を電気信号に変換する光電変換素子（イメージセン
サー）１０６３と、この光電変換素子１０６３上の撮影
者の目１００５の像を基に撮影者の表示素子１００２上
の注視点を求める注視点検出回路１０６４とを具備して
いる。

【００３３】次に、ヘッドマウントディスプレイ１００
６における観察系の光学作用について説明する。表示素
子１００２からの光は、第３の光学作用面ｃで屈折透過
し、第１の光学作用面ａで全反射し、第２の光学作用面
ｂの反射層で反射し、再び第１の光学作用面ａで屈折透
過し、観察者の視度に適合した拡がり角（収束角、平
行）の光束となり、観察者の目１００５側に射出する。
ここで、観察者の目１００５と表示素子１００２の中心
を結ぶ線を基本光軸として示している。観察者の視度に
対する調整は、表示素子１００２をプリズム１００３の
光軸に沿って平行移動することにより可能となる。ここ
で、プリズム１００３は、像性能と歪みを補正し、テレ
セントリックな系とするために、３つの光学作用面をそ
れぞれ回転対称軸を有しない３次元曲面で構成するのが
望ましく、ここでは、基本光軸を含み、紙面に平行な平
面にのみ対称な曲面構造をなしている。

【００３４】更に、ヘッドマウントディスプレイ１００
６における視線検出系の光学作用について説明する。裸
眼用赤外発光ダイオード１０６０（奥行き方向に２
個）、眼鏡用赤外発光ダイオード１０６１（奥行き方向
に２個）から発した光は、第２の光学作用面ｂに設けら
れた開口部１０１２，１０１３，１０１４，１０１５を
通して、視線検出系の光軸とは異なる方向から観察者の
目１００５を照明する。その照明光は、観察者の角膜９
１０、瞳孔で反射散乱され、角膜９１０で反射した光は
角膜反射像ｄ，ｅを形成し、瞳孔で散乱した光は瞳孔像
を形成する。これらの光は、第２の光学作用面ｂに設け
られた開口部１０１０を通して、結像レンズ１０６２
ａ，１０６２ｂによりイメージセンサー１０６３上に結
像される。イメージセンサー１０６３から得られる観察
者の目１００５の画像は、前述した視線検出原理によっ
て構成された注視点検出回路１０６４によって注視点デ
ータを出力することができる。

【００３５】ここで、結像レンズ系は２枚の結像レンズ
１０６２ａ，１０６２ｂにより構成されている。特に、
結像レンズ１０６２ｂは楔形状をしたレンズで、これに
より結像レンズ系を少ないレンズで構成することがで
き、小型化に適している。この結像レンズ１０６２ｂの
斜めの面に曲率をつけることで、第２の光学作用面ｂで
発生する偏心収差を有効に補正することができる。更
に、前記結像レンズ系には少なくとも非球面を１面設け
ると、軸外の結像性能を補正する上で有効である。前記
結像レンズ系の絞りは、第２の光学作用面ｂに設けた開
口部に近い方が、開口部１０１０を小さくすることがで
き、観察系に対する中抜けを防ぐのに有効であり、でき
れば開口部と絞りが一致しているのが望ましい。開口部
は、２ｍｍより小さく設定した方が、観察者の目１００
５の瞳孔より小さくなり、更に観察系に対する中抜けを
防ぐのに有効である。観察者の目１００５を照明する光
は、視感度の低い光が良いので赤外光を使用している。
このとき、前記結像レンズ系に可視光をカットする部材
のレンズを少なくとも１個設けると、視線の検出精度を
向上することができる。

【００３６】図２１は、プリズム１００３を側面から見
た図である。ここで、第２の光学作用面ｂは、反射用の
ミラーコーティングが施されているが、結像レンズ１０
６２ａ，１０６２ｂ及び赤外発光ダイオード１０６０，
１０６１用の開口部、即ち、ミラーコーティング未処理
部（１０１０は結像用、１０１２，１０１３は裸眼用赤
外発光ダイオード用、１０１４，１０１５は眼鏡用赤外
発光ダイオード用）が設けられている。なお、前述した
ように、これら開口部１０１０，１０１２〜１０１５は
ファインダー観察系に影響のない程度に小さなものであ
り、２ｍｍ以下ぐらいが望ましい。

【００３７】このようにミラーコーティング部に開口部
１０１０，１０１２〜１０１５を設け、照明光源である
赤外発光ダイオード１０６０，１０６１をプリズム１０
０３を挟んで観察者の目１００５と反対側に配置したた
め、プリズム１００３の屈折力を強くし高視野化した場
合でも、観察者の目１００５の高さに近い位置から適切
に照明することができる。

【００３８】ここで、赤外発光ダイオード１０６０，１
０６１は、異なる配置で裸眼用と眼鏡用とを使い分けて
いる。２個の裸眼用赤外発光ダイオード１０６０は、光
軸からやや離れた下部から同一高さで、光軸対称に狭い
幅で左右１個ずつ、眼鏡用赤外発光ダイオード１０６１
は、光軸からかなり離れた下部から同一高さで、光軸対
称に広い幅で左右１個ずつ配置されている。その理由は
３つであり、１つ目の理由は、眼球距離によってより良
い照明条件を得るためで、できるだけ目の検出エリアを
均等に照明するような位置になっている。２つ目の理由
は、角膜反射像ｄ，ｅが瞼でケラレないような高さにす
る必要があるため、裸眼用赤外発光ダイオード１０６０
は、眼鏡用赤外発光ダイオード１０６１に比べて高い位
置にある。３つ目の理由は、赤外光が眼鏡に反射してで
きるゴーストが、検出に影響の少ない周辺部に現れるよ
うにするため、眼鏡用赤外発光ダイオード１０６１は、
裸眼用赤外発光ダイオード１０６０より左右方向及び下
方向に離れた位置にある。なお、眼球と眼鏡の判別は、
角膜反射像ｄ，ｅの間隔｜ｘｄ′−ｘｅ′｜から、眼球
とプリズム１００３との間の距離算出することにより行
う。

【００３９】視線検出回路１０６４は、イメージセンサ
ー１０６３上の撮影者の目１００５の像を基に、前述し
た原理に従い撮影者の表示素子１００２の画面上の注視
点を求めるものである。

【００４０】次に、パソコンユニットについて説明す
る。

【００４１】図２０において、１００８はパソコンユニ
ットである。ここで、１８１４はＣＰＵ（中央演算処理
装置）で、プログラムやデータの演算を行う。１８１３
は各デバイスを結ぶシステムバス、１８１８はＲＯＭ
（リードオンリーメモリ）１８１６やＲＡＭ（ランダム
アクセスメモリ）１８１７の制御を行うメモリコントロ
ーラ、１８１２はビデオＲＡＭ１８１１に書き込まれた
内容がディスプレイに表示されるように制御するビデオ
グラフィックコントローラである。１８１５はポインテ
イングデバイス或いはキーボードを制御するアクセサリ
ーデバイスコントローラであり、本例においては、ヘッ
ドマウントディスプレイ１００６の視線検出回路１０６
４に接続される。１８１９は周辺装置制御用のＩ／Ｏチ
ャネルであり、本例においては、ヘッドマウントディス
プレイ１００６の表示回路１００７に接続される。

【００４２】以上のような構成において、ヘッドマウン
トディスプレイ１００６の視線検出回路１０６４により
検出された操作者の視線位置情報をパコンユニット１０
０８のポインティングデバイスとして適用することがで
き、画面のスクロールやメニュー選択に応用することが
できる。また、同時に外部モニター１００９にパソコン
画面を表示することができるため、操作者以外の人がパ
ソコン画面を見ることができる。また、片目用のヘッド
マウントディスプレイを用いれば、操作者自身も外部モ
ニター１００９を見ることができる。

【００４３】

【発明が解決しようとする課題】しかしながら、上述し
た従来例にあっては、体験者が装着するＨＭＤ（ヘッド
マウントディスプレイ）内の映像フレーム（ディスプレ
イ）は限られた矩形であり、そこに写し出される３次元
仮想空間内の範囲も制限されるため、体験者にとって違
和感があるという問題点があった。

【００４４】この違和感の具体例としては、以下のよう
なものがある。 （１）体験者が映像枠内左寄りに見える物体を注目しな
がら頭を約３０度右方向に回転させたとき、物体が映像
枠より外へ外れるため、視界から外れてしまう（図２２
（ａ）：この場合、体験者は頭を逆の左方向に回転しな
い限り物体は再度見えてこない）。 （２）体験者が映像枠の右外側にあるだろうと予想され
る物体を見ようとして、頭を約５度右方向に回転させた
とき、映像変化が少なく物体が視界（映像フレーム）に
入ってこない（図２２（ｂ）：このような場合、体験者
は意識的に頭を右方向に速く動かす必要があった）。 （３）もはや体験者が頭を固定した状態では、映像が全
く変化しなかった。

【００４５】また、従来の限られた映像フレームを用い
た仮想現実装置では、体験者の頭部の回転の具合（回転
方向、回転速度、回転加速度等）に応じて映像変化を微
調整する方法がせいぜいであり、もはや上述したような
違和感を根本的に改善し、臨場感を増すことや、体験者
の意思を反映した映像提示を行うことはできなかった。

【００４６】また、体験者の目を覆い囲むような画角の
広いディスプレイを備えたＨＭＤを用いて適切な映像を
提示すれば、上述した問題はある程度解消されるが、こ
の場合のＨＭＤは高価なものになってしまうという欠点
があった。

【００４７】更に、これまでに体験者が見る仮想空間の
映像を視線情報を用いて補正する仮想現実装置は存在し
なかった。

【００４８】本発明は上述した従来の技術の有するこの
ような問題点に鑑みてなされたものであり、その第１の
目的とするところは、体験者の意思を忠実に反映したよ
り臨場感のある仮想世界の疑似体験（仮想世界シミュレ
ーション）を安価に実現することができる仮想現実方法
及び装置を提供しようとするものである。

【００４９】また、本発明の第２の目的とするところ
は、上述したような仮想現実装置を円滑に制御すること
ができる記憶媒体を提供しようとするものである。

【００５０】

【課題を解決するための手段】上記第１の目的を達成す
るために請求項１記載の仮想現実方法は、物体の３次元
形状データを構築するモデリング工程と、仮想現実状態
を体験する体験者の頭部の空間位置及び方向を検出する
位置方向検出工程と、前記体験者の視線位置を検出する
視線位置検出工程と、３次元仮想空間に視点を設定する
視点設定工程と、前記視点設定工程により設定した視点
の方向を補正する視点方向補正工程と、前記視点方向補
正工程により補正後の視点から前記物体のモデルデータ
を空間的・幾何学的配置を考慮して見たときの２次元画
像を形成する２次元画像生成工程と、前記２次元画像生
成工程により生成した２次元画像を映像信号に変換する
映像変換工程と、前記映像変換工程により変換後の映像
を表示する映像表示工程とを有することを特徴とする。

【００５１】また、上記第１の目的を達成するために請
求項２記載の仮想現実方法は、請求項１記載の仮想現実
方法において、前記視点設定工程は、前記位置方向検出
工程により検出された位置データ及び方向データに基づ
いて視点を設定することを特徴とする。

【００５２】また、上記第１の目的を達成するために請
求項３記載の仮想現実方法は、請求項１記載の仮想現実
方法において、前記視点方向補正工程は、前記視点設定
工程により設定された視点を、前記視線位置検出工程に
より検出された視線位置データを用いて補正することを
特徴とする。

【００５３】また、上記第１の目的を達成するために請
求項４記載の仮想現実方法は、請求項１記載の仮想現実
方法において、前記映像表示工程は、前記体験者の目の
直前に置かれ且つ前記体験者の頭部に対して固定の状態
で設定された表示器に映像を表示することを特徴とす
る。

【００５４】また、上記第１の目的を達成するために請
求項５記載の仮想現実装置は、物体の３次元形状データ
を構築するモデリング手段と、仮想現実状態を体験する
体験者の頭部の空間位置及び方向を検出する位置方向検
出手段と、前記体験者の視線位置を検出する視線位置検
出手段と、３次元仮想空間に視点を設定する視点設定手
段と、前記視点設定手段により設定した視点の方向を補
正する視点方向補正手段と、前記視点方向補正手段によ
り補正後の視点から前記物体のモデルデータを空間的・
幾何学的配置を考慮して見たときの２次元画像を形成す
る２次元画像生成手段と、前記２次元画像生成手段によ
り生成した２次元画像を映像信号に変換する映像変換手
段と、前記映像変換手段により変換後の映像を表示する
映像表示手段とを有することを特徴とする。

【００５５】また、上記第１の目的を達成するために請
求項６記載の仮想現実装置は、請求項５記載の仮想現実
装置において、前記視点設定手段は、前記位置方向検出
手段により検出された位置データ及び方向データに基づ
いて視点を設定することを特徴とする。

【００５６】また、上記第１の目的を達成するために請
求項７記載の仮想現実装置は、請求項５記載の仮想現実
装置において、前記視点方向補正手段は、前記視点設定
手段により設定された視点を、前記視線位置検出手段に
より検出された視線位置データを用いて補正することを
特徴とする。

【００５７】また、上記第１の目的を達成するために請
求項８記載の仮想現実装置は、請求項５記載の仮想現実
装置において、前記映像表示手段は、前記体験者の目の
直前に置かれ且つ前記体験者の頭部に対して固定の状態
で設定されることを特徴とする。

【００５８】また、上記第２の目的を達成するために本
発明の請求項９記載の記憶媒体は、仮想現実状態を実現
する仮想現実装置を制御するプログラムを格納する記憶
媒体であって、物体の３次元形状データを構築するモデ
リングモジュールと、仮想現実状態を体験する体験者の
頭部の空間位置及び方向を検出する位置方向検出モジュ
ールと、前記体験者の視線位置を検出する視線位置検出
モジュールと、３次元仮想空間に視点を設定する視点設
定モジュールと、前記視点設定モジュールにより設定し
た視点の方向を補正する視点方向補正モジュールと、前
記視点方向補正モジュールにより補正後の視点から前記
物体のモデルデータを空間的・幾何学的配置を考慮して
見たときの２次元画像を形成する２次元画像生成モジュ
ールと、前記２次元画像生成モジュールにより生成した
２次元画像を映像信号に変換する映像変換モジュール
と、前記映像変換モジュールにより変換後の映像を表示
する映像表示モジュールとを有するプログラムを格納し
たことを特徴とする。

【００５９】また、上記第２の目的を達成するために本
発明の請求項１０記載の記憶媒体は、請求項９記載の記
憶媒体において、前記視点設定モジュールは、前記位置
方向検出モジュールにより検出された位置データ及び方
向データに基づいて視点を設定することを特徴とする。

【００６０】また、上記第２の目的を達成するために本
発明の請求項１１記載の記憶媒体は、請求項９記載の記
憶媒体において、前記視点方向補正モジュールは、前記
視点設定モジュールにより設定された視点を、前記視線
位置検出モジュールにより検出された視線位置データを
用いて補正することを特徴とする。

【００６１】また、上記第２の目的を達成するために本
発明の請求項１２記載の記憶媒体は、請求項９記載の記
憶媒体において、前記映像表示モジュールは、前記体験
者の目の直前に置かれ且つ前記体験者の頭部に対して固
定の状態で設定された表示器に映像を表示することを特
徴とする。

【００６２】

【発明の実施の形態】以下、本発明の各実施の形態を図
１〜図１０に基づき説明する。

【００６３】（第１の実施の形態）まず、本発明の第１
の実施の形態を図１〜図７に基づき説明する。図１は、
本発明の第１の実施の形態に係る仮想現実装置の概念を
示す図であり、同図において、３は視線入力スカウタ
（ヘッドマウントディスプレイの一種）で、眼鏡のよう
な形状をなしている。本装置による仮想現実状態の体験
者１が、この視線入力スカウタ３を眼鏡と同様に装着す
ることによって、該視線入力スカウタ３内のモニタ３ａ
を見ることで映像を観察することができ、また、付属の
イヤホーンにより音声を聞くことができる。また、この
装置に組み込まれた視線検出装置３ｂは、体験者１の視
線位置を検出し、その検出データをコンピュータ５に送
信する。

【００６４】２は磁気による３Ｄセンサー（位置方向検
出装置）で、トランスミッタ２ａ（体験者１の近辺に固
定される）及びレシーバ２ｂ（体験者１の頭部に取り付
けられている）が接続されている。この３Ｄセンサー２
は、トランスミッタ２ａが発生した磁界中におけるレシ
ーバ２ｂの誘起電流の大きさを処理することで、体験者
（頭部）１の空間的位置（ｘ，ｙ，ｚ）と方向（ピッ
チ：Pitch、ヨー：Yaw、ロール：Roll）とを検出し、そ
の検出データをコンピュータ５に送信する。

【００６５】コンピュータ５は、視線入力スカウタ３か
ら収集した体験者１の視線位置データ及び３Ｄセンサー
２から収集した体験者１の３次元位置と方向のデータを
用い、予め入力されたモデル（物体）の３次元仮想空間
での情景を示す映像（２次元画像）６を計算する。この
映像６は、スキャンコンバータ４を介して視線入力スカ
ウタ３内のモニタ３ａへ送信され、体験者１は目の前の
この映像６を観察することにより、仮想空間の疑似体験
をする。

【００６６】図２は、本実施の形態に係る仮想現実装置
のシステム構成を示すブロック図である。同図におい
て、１０１は制御装置で、本装置の構成要素全体の制御
を司るものである。１０２はデータ入力装置で、例えば
キーボード等からなり、物体のモデリングデータ、シミ
ュレーションデータ、視点条件等の初期値の入力を行う
ものである。１０３はコマンド入力装置で、例えばマウ
ス等からなり、シミュレーションの開始・終了等を指示
するものである。１０４はファイル装置で、不揮発性メ
モリ等からなり、モデルデータ等を格納する。１０５は
演算装置で、各種変数の更新及びモデルを用いた３次元
画像の生成等を行うものである。１０６はメモリ装置
で、本装置の起動中に物体のモデリングデータ及び視点
条件等の各種データを格納するものである。１０７はビ
デオメモリ装置で、レンダリング後の画像のピクセル値
を格納するものである。１０８はデータ表示装置で、Ｃ
ＲＴ（陰極線管）モニタ等からなり、制御装置１０１か
らの指示情報やビデオメモリ装置１０７内の画像を表示
したり、ユーザへの指示や入力したデータ等を表示する
ものであり、主にシステムのオペレータのデータ確認の
ために用いられる。１０９は映像変換装置で、例えばス
キャンコンバータ等からなり、ビデオメモリ装置１０７
内の画像データを映像信号として出力するものである。
１１０は位置方向検出装置で、例えば磁気センサー等か
らなり、仮想世界シミュレーションの体験者の実空間に
おける位置（ｘ，ｙ，ｚ）及び方向（ピッチ：Pitch、
ヨー：Yaw、ロール：Roll）を検出・出力するものであ
る。この位置方向検出装置１１０には、トランスミッタ
部１１０ａ（体験者の近辺に固定）及びレシーバ部１１
０ｂ（体験者の頭部に固定）が接続される。１１１は視
線入力スカウタで、仮想世界シミュレーションの体験者
が装着するものであり、視線検出部１１１ａ（体験者の
視線データの検出）と映像表示部１１１ｂ（映像変換装
置１０９からの映像信号を表示）とで構成されている。

【００６７】次に、本実施の形態に係る仮想現実装置の
ＶＲ（バーチャルリアリティー）シミュレーション処理
動作について、図３に基づき説明する。図３は、本実施
の形態に係る仮想現実装置のＶＲシミュレーション処理
動作を示すフローチャートである。

【００６８】仮想現実装置のオペレータがコマンド入力
装置１０３であるマウスを用い、プログラム開始の指示
を与えると、ＶＲシミュレーション処理動作が開始す
る。

【００６９】まず、ステップＳ３０１で制御装置１０１
は、予め作成されたファイル装置１０４に格納されてい
る２個のモデル（モデル１、モデル２）ファイルからモ
デルデータをメモリ装置１０６にロードする。なお、こ
れらのモデルデータは、いずれも従来の技術で説明した
座標値と面ループデータで記述されていて（また、ファ
イルの最後に仮想空間におけるモデルの初期位置も追加
されている）、以下のようなものであるとする。

【００７０】▽モデル１ 「座標値データ」 8 1:(-0.5,0.5,0.5)、2:(0.5,0.5,0.5)、3:(0.5,0.5,-0.
5)、4:(-0.5,0.5,-0.5)、5:(-0.5,-0.5,0.5)、6:(0.5,-0.
5,-0.5)、7:(0.5,-0.5,0.5)、8:(-0.5,-0.5,0.5) ※左端の“8”はモデル１の図形が、1( )〜8( )の８
個の３次元空間における座標によって定義されているこ
とを示しており、（ ）内が３次元（ｘ，ｙ，ｚ）座標
値である。 「面ループデータ」 6 (41234)、(45876)、(41562)、(44378)、(41485)、(4267
3)、 (0.0,1.0,-2.0) → 初期値 ※左端の“6”はモデル１の図形が( )で示す６個の面
で構成されていることを示し、（ ）内の数字は上記の
３次元空間における座標の番号を示している。

【００７１】例えば、(41234)は、上記の座標 4:(-0.
5,0.5,-0.5)、1:(-0.5,0.5,0.5)、2:(0.5,0.5,0.5)、3:(0.
5,0.5,-0.5)、4:(-0.5,0.5,-0.5)を結んで形成される閉
曲面を意味している。

【００７２】ここで閉曲面には表、裏があるため、例え
ば座標 4,1,2,3,4を順次左回りに結んで閉曲面を形成
したとき、手前側を表面とする。

【００７３】また、２行目の(0.0,1.0,-2.0)はモデル１
を形成する初期値座標である。 ▽モデル２ 4 1:(-5.0,0.0,0.0)、2:(5.0,0.0,0.0)、3:(5.0,0.0,-10.
0)、4:(-5.0,0.0,-10.0)、1 (42341) (0.0,0.0,-5.0) → 初期値 なお、本実施の形態では、説明の簡素化のためにモデル
の色や表面のテクスチャーは考慮にいれないものとす
る。

【００７４】次に、ステップＳ３０２で位置方向検出装
置１１０の初期化を行う。即ち、ＶＲシステムのオペレ
ータは、視線入力スカウタ１１１と位置方向検出装置１
１０とを装着した体験者１を適当な位置で直立して真正
面を見ている状態で静止させる。そして、この状態でオ
ペレータがコマンド入力装置１０３であるマウスにより
指示を与えると、位置方向検出装置１１０はこの状態の
位置と方向とを、原点（0.0,0.0,0.0）及び原回転角
（0.0,0.0,0.0：即ち、回転がない状態）として初期化
する。

【００７５】次に、ステップＳ３０３で制御装置１０１
の命令により演算装置１０５は、３次元仮想空間に設定
する視点（カメラ）を、例えば「位置：0.0,1.0,0.0、
方向：0.0,0.0,-1.0「方向ベクトル」、視角「縦・
横」：0.8,0.6）で初期化した後、ＶＲシミュレーショ
ンループが開始する。

【００７６】次に、ステップＳ３０４で制御装置１０１
の命令によりコマンド入力装置１０３であるマウスは、
ユーザからＣＧシミュレーション処理終了の指示がある
か否かを判断し、指示がある場合はＶＲシミュレーショ
ンを終了し、指示がない場合はステップＳ３０５へ進
む。

【００７７】ステップＳ３０５では、制御装置１０１の
命令により位置方向検出装置１１０は、体験者１の頭部
の位置（ｘ，ｙ，ｚ）及び回転角（ピッチ：Pitch、ヨ
ー：Yaw、ロール：Roll）を検出し、その検出データを
メモリ装置１０６へ格納する。

【００７８】次に、ステップＳ３０６で制御装置１０１
の命令により視線入力スカウタ１１１内の視線検出部１
１１ａは、体験者１の視線位置データＳ（ｓ、ｔ）を検
出し、その検出データをメモリ装置１０６へ格納する。
なお、この視線位置データＳは、図４に示すように視線
入力スカウタ１１１内の映像表示部１１１ｂにおける視
野フレーム（縦と横の長さをそれぞれａ，ｂとする）の
左上頂点を基準とした位置を示すものとする。

【００７９】次に、ステップＳ３０７で体験者１の頭部
の方向に対する視線方向のずれ角度を計算する。即ち、
制御装置１０１の命令により演算装置１０５は、図４に
示す視線入力スカウタ１１１の視野フレームと、図５に
示す仮想空間における視点のニアクリッピング面を対応
させることで、縦横方向のずれ角度（α、β）を下記
（９）式及び（１０）式によりそれぞれ計算し、その算
出データをメモリ装置１０６に格納する。

【００８０】 α＝ａｒｃｔａｎ（ｌｘ／ｈ） … （９） β＝ａｒｃｔａｎ（ｌｙ／ｈ） … （１０） 但し、ｌｘ、ｌｙは下記（１１）式及び（１２）式によ
りそれぞれ表わされ、また、ｈは視点から前記ニアクリ
ッピング面までの距離を示すものとする。

【００８１】 ｌｘ＝（ｍ／ａ）・（ｓ−ａ／ｓ） … （１１） ｌｙ＝（ｎ／ｂ）・（ｔ−ｂ／ｔ） … （１２） 次に、ステップＳ３０８で仮想空間内の視点（カメラ）
の移動処理を行う。なお、この処理の中で視点（カメ
ラ）方向の補正が実行される。

【００８２】即ち、制御装置１０１の命令により演算装
置１０５は、まず、メモリ装置１０６内に格納されてい
るデータである体験者１の頭部の回転角（ピッチ：Pitc
h、ヨー：Yaw、ロール：Roll）＝（β，α，γ）を用い
て、下記（１３）式により方向ベクトルｖ’＝（ｐ，
ｑ，ｒ）（ワールド座標）に変換する。

【００８３】 ｖ’＝Ａｘ・Ａｙ・Ａｚ・ｖ … （１３） 但し、ｖはｚ軸方向の単位ベクトル（0.0,-1）、また、
Ａｘ・Ａｙ・Ａｚは、それぞれｘ軸、ｙ軸、ｚ軸の周り
の回転を示す行列（３×３）で、 １ ０ ０ cosβ ０ sinβ cosγ -sinγ ０ ０ cosα -sinα ０ １ ０ sinγ cosγ ０ ０ sinα cosα sinβ ０ cosβ ０ ０ １ であるとする。

【００８４】次に、演算装置１０５は、この方向ベクト
ルを視点座標系におけるｙ軸とｘ軸とに、それぞれ「ｒ
×β」と「ｒ×α」だけ回転させることによって補正し
た方向ベクトルｖ‘＝（ｐ’、ｑ’、ｒ’）を計算す
る。但し、ここでｒは視点補正の重み係数（０＜ｒ＜
１）であるとする。

【００８５】最後に、演算装置１０５は、仮想空間にお
いて視点（カメラ）の位置を（ｘ、ｙ、ｚ）に、また、
方向を（ｐ’、ｑ’、ｒ’）にそれぞれ設定する。

【００８６】次に、ステップＳ３０９で最終的な画像の
レンダリング処理を行う。即ち、制御装置１０１の命令
により演算装置１０５は、仮想空間における視点（カメ
ラ）から見たモデル１とモデル２の情景を示す画像を前
述の方法により計算し、ビデオメモリ装置１０７に設定
する。

【００８７】次に、ステップＳ３１０で体験者１への映
像の表示を行う。即ち、制御装置１０１の命令によりビ
デオメモリ装置１０７内の画像を映像変換装置１０９を
介して、視線入力スカウタ１１１内の映像表示部１１１
ｂへ送信する。この結果、視線入力スカウタ１１１を装
着した体験者１は、図６に示すような情景（モデル１と
モデル２）を見ることになる。

【００８８】前記ステップＳ３１０の処理を終了後は、
前記ステップＳ３０４へ戻る。

【００８９】上述したフローの実行により、図７に示す
ような効果をそうすることが可能となる。即ち、図７
（ａ）は、映像フレーム左端寄りに物体があり、ユーザ
がこの物体を注目していた場合の例であるが、この場
合、たとえユーザがその頭部を右方向に３０度回転した
場合も、物体は映像フレームの外側へ外れにくくなる。
また、図７（ｂ）は、映像フレーム右外側に物体がある
例であるが、この場合ユーザがその頭部を右方向に余り
回転しなくても、ユーザが映像フレームの右側を注目す
ることで、この方向にある物体が映像フレーム内に入っ
てくるようになる。

【００９０】以上詳述したように、本実施の形態に係る
仮想現実装置によれば、位置方向検出装置１１０からの
位置データと方向データとを用いて設定した３次元仮想
空間内の視点の位置と方向とを、視線入力スカウタ１１
１内の視線検出部１１１ａからの視線データを用いて適
切に補正するようにしたので、体験者１が見る映像フレ
ーム（ディスプレイ）領域が小さくても、また、この映
像フレームに写し出されている仮想空間内の範囲が狭く
ても、体験者１の目１００５の動きで仮想空間内のより
広い領域を見渡すことが可能となり、従って、体験者１
の意思を忠実に反映したより臨場感のある仮想世界の疑
似体験（仮想世界シミュレーション）が可能となるとい
う効果を奏する。

【００９１】また、この結果、体験者１の目１００５を
覆うようなディスプレイを備えた高価なＨＭＤを使用し
なくても済むので、システム構築の際のコスト削減を図
ることができるという効果を奏する。

【００９２】（第２の実施の形態）次に、本発明の第２
の実施の形態を図８及び図９に基づき説明する。

【００９３】上述した第１の実施の形態では、体験者の
視線情報に基づき仮想空間に設定する視点（カメラ）の
方向を補正したが、これとは別に、同じく体験者の視線
位置情報を用いて視点（カメラ）の縦横の視角を補正す
る方法も考えられる。

【００９４】即ち、本実施の形態は、体験者の視線位置
情報を用いて視点（カメラ）の縦横の視角を補正するよ
うにしたもので、図８に示すように、体験者の視線方向
が視点（カメラ）の方向（視軸）と重なっているとき
（即ち、体験者が視野フレームの中央を見ている場合）
には、ある一定の縦横の視角であるものを、視線方向が
視軸から離れた場合（例えば、体験者がＳ’方向を見て
いる場合）には、その離れ具合に応じて（例えば、縦横
方向のずれ角度α、βに比例させて）、視点（カメラ）
の縦横の視角を広げることにより、体験者が見る仮想空
間の領域を拡大することによって、上述した第１の実施
の形態と同様の効果を奏することができる。

【００９５】例えば、図９（ａ）のように映像フレーム
の左端に物体が半分見えているような状況において、ユ
ーザがこの物体を注目することによって、映像が図９
（ｂ）のように変化するので、この物体の全体の観察が
可能となる。

【００９６】（第３の実施の形態）次に、本発明の記憶
媒体について、図１０に基づき説明する。

【００９７】仮想現実状態を実現する仮想現実装置を制
御するプログラムを格納する記憶媒体には、少なくとも
図１０に示すように、「モデリングモジュール」、「位
置方向検出モジュール」、「視線位置検出モジュー
ル」、「視点設定モジュール」、「視点方向補正モジュ
ール」、「２次元画像生成モジュール」、「映像変換モ
ジュール」、「映像表示モジュール」の各モジュールを
有するプログラムを格納すればよい。

【００９８】ここで、「モデリングモジュール」は物体
の３次元形状（モデル）データを構築するプログラムモ
ジュールである。また、「位置方向検出モジュール」は
仮想現実状態を体験する体験者の頭部の空間位置及び方
向を検出するプロラムモジュールである。また、「視線
位置検出モジュール」は前記体験者の視線位置を検出す
るプログラムモジュールである。また、「視点設定モジ
ュール」は３次元仮想空間に視点（カメラ）を設定する
プログラムモジュールである。また、「視点方向補正モ
ジュール」は前記視点設定モジュールにより設定した視
点の方向を補正するプログラムモジュールである。ま
た、「２次元画像生成モジュール」は前記視点方向補正
モジュールにより補正後の視点から前記物体のモデルデ
ータを空間的・幾何学的配置を考慮して見たときの２次
元画像を形成するプログラムモジュールである。また、
「映像変換モジュール」は前記２次元画像生成モジュー
ルにより生成した２次元画像を映像信号に変換するプロ
グラムモジュールである。また、「映像表示モジュー
ル」は前記映像変換モジュールにより変換後の映像を表
示するプログラムモジュールである。

【００９９】また、前記視点設定モジュールは、前記位
置方向検出モジュールにより検出された位置データ及び
方向データに基づいて視点を設定する。また、前記視点
方向補正モジュールは、前記視点設定モジュールにより
設定された視点（カメラ）を、前記視線位置検出モジュ
ールにより検出された視線位置データを用いて補正す
る。また、前記映像表示モジュールは、前記体験者の目
の直前に置かれ且つ前記体験者の頭部に対して固定の状
態で設定された表示器に映像を表示する。

【０１００】

【発明の効果】以上詳述したように本発明の仮想現実方
法及び装置によれば、位置方向検出手段からの位置デー
タと方向データとを用いて設定した３次元仮想空間内の
視点の位置と方向とを、視線検出手段からの視線データ
を用いて適切に補正するようにしたので、体験者が見る
映像フレーム（ディスプレイ）領域が小さくても、ま
た、この映像フレームに写し出されている仮想空間内の
範囲が狭くても、体験者の目の動きで仮想空間内のより
広い領域を見渡すことが可能となり、従って、体験者の
意思を忠実に反映したより臨場感のある仮想世界の疑似
体験（仮想世界シミュレーション）が可能となるという
効果を奏する。

【０１０１】また、この結果、体験者の目を覆うような
ディスプレイを備えた高価なＨＭＤを使用しなくても済
むので、システム構築の際のコスト削減を図ることがで
きるという効果を奏する。

【０１０２】また、本発明の記憶媒体によれば、上述し
たような仮想現実装置を円滑に制御することができると
いう効果を奏する。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態に係る仮想現実装置
の概念を示す図である。

【図２】本発明の第１の実施の形態に係る仮想現実装置
のシステム構成を示すブロック図である。

【図３】本発明の第１の実施の形態に係る仮想現実装置
のＶＲシミュレーション処理動作を示すフローチャート
である。

【図４】本発明の第１の実施の形態に係る仮想現実装置
の視線入力スカウタ内の映像表示部における視野フレー
ムを示す図である。

【図５】本発明の第１の実施の形態に係る仮想現実装置
の視点とニアクリッピング面を説明する図である。

【図６】本発明の第１の実施の形態に係る仮想現実装置
の体験者が見る情景を示す図である。

【図７】本発明の第１の実施の形態に係る仮想現実装置
の効果を示す図である。

【図８】本発明の第２の実施の形態に係る仮想現実装置
の視点とニアクリッピング面を説明する図である。

【図９】本発明の第２の実施の形態に係る仮想現実装置
の効果を示す図である。

【図１０】本発明の記憶媒体に格納されるプログラムの
各プログラムモジュールを示す図である。

【図１１】一般的なモデリング座標系における３次元物
体を示す図である。

【図１２】一般的なモデルデータの一例を示す図であ
る。

【図１３】一般的な投影変換のための４つの座標を示す
図である。

【図１４】一般的な投影変換を示す図である。

【図１５】一般的なスクリーンから投影された表示画像
の一例を示す図である。

【図１６】一般的な視線検出方法の原理を示す平面図で
ある。

【図１７】一般的な視線検出方法の原理を示す側面図で
ある。

【図１８】一般的な仮想現実装置のイメージセンサに投
影される眼球像の概略図である。

【図１９】一般的な仮想現実装置のイメージセンサの出
力強度図である。

【図２０】一般的な視線検出機能を持つパソコンシステ
ムの一例を示す概略構成図である。

【図２１】一般的な視線検出機能を持つパソコンシステ
ムのプリズムの構成図である。

【図２２】一般的なＶＲシステムの問題点を説明するた
めの図である。

【符号の説明】

１ 体験者 ２ ３Ｄセンサ ２ａ トランスミッタ ２ｂ レシーバ ３ 視線入力スカウタ（ＨＭＤ） ３ａ モニタ ３ｂ 視線検出装置 ４ スキャンコンバータ ５ コンピュータ ６ 体験者が見る３次元仮想空間 １０１ 制御装置 １０２ データ入力装置 １０３ コマンド入力装置 １０４ ファイル装置 １０５ 演算装置 １０６ メモリ装置 １０７ ビデオメモリ装置 １０８ データ表示装置 １０９ 映像変換装置 １１０ 位置方向検出装置 １１０ａ トランスミッタ部 １１０ｂ レシーバ部 １１１ 視線入力スカウタ １１１ａ 視線検出部 １１１ｂ 映像表示部

Claims (12)

【特許請求の範囲】
1. 【請求項１】 物体の３次元形状データを構築するモデ
   リング工程と、仮想現実状態を体験する体験者の頭部の
   空間位置及び方向を検出する位置方向検出工程と、前記
   体験者の視線位置を検出する視線位置検出工程と、３次
   元仮想空間に視点を設定する視点設定工程と、前記視点
   設定工程により設定した視点の方向を補正する視点方向
   補正工程と、前記視点方向補正工程により補正後の視点
   から前記物体のモデルデータを空間的・幾何学的配置を
   考慮して見たときの２次元画像を形成する２次元画像生
   成工程と、前記２次元画像生成工程により生成した２次
   元画像を映像信号に変換する映像変換工程と、前記映像
   変換工程により変換後の映像を表示する映像表示工程と
   を有することを特徴とする仮想現実方法。
2. 【請求項２】 前記視点設定工程は、前記位置方向検出
   工程により検出された位置データ及び方向データに基づ
   いて視点を設定することを特徴とする請求項１記載の仮
   想現実方法。
3. 【請求項３】 前記視点方向補正工程は、前記視点設定
   工程により設定された視点を、前記視線位置検出工程に
   より検出された視線位置データを用いて補正することを
   特徴とする請求項１記載の仮想現実方法。
4. 【請求項４】 前記映像表示工程は、前記体験者の目の
   直前に置かれ且つ前記体験者の頭部に対して固定の状態
   で設定された表示器に映像を表示することを特徴とする
   請求項１記載の仮想現実方法。
5. 【請求項５】 物体の３次元形状データを構築するモデ
   リング手段と、仮想現実状態を体験する体験者の頭部の
   空間位置及び方向を検出する位置方向検出手段と、前記
   体験者の視線位置を検出する視線位置検出手段と、３次
   元仮想空間に視点を設定する視点設定手段と、前記視点
   設定手段により設定した視点の方向を補正する視点方向
   補正手段と、前記視点方向補正手段により補正後の視点
   から前記物体のモデルデータを空間的・幾何学的配置を
   考慮して見たときの２次元画像を形成する２次元画像生
   成手段と、前記２次元画像生成手段により生成した２次
   元画像を映像信号に変換する映像変換手段と、前記映像
   変換手段により変換後の映像を表示する映像表示手段と
   を有することを特徴とする仮想現実装置。
6. 【請求項６】 前記視点設定手段は、前記位置方向検出
   手段により検出された位置データ及び方向データに基づ
   いて視点を設定することを特徴とする請求項５記載の仮
   想現実装置。
7. 【請求項７】 前記視点方向補正手段は、前記視点設定
   手段により設定された視点を、前記視線位置検出手段に
   より検出された視線位置データを用いて補正することを
   特徴とする請求項５記載の仮想現実装置。
8. 【請求項８】 前記映像表示手段は、前記体験者の目の
   直前に置かれ且つ前記体験者の頭部に対して固定の状態
   で設定されることを特徴とする請求項５記載の仮想現実
   装置。
9. 【請求項９】 仮想現実状態を実現する仮想現実装置を
   制御するプログラムを格納する記憶媒体であって、物体
   の３次元形状データを構築するモデリングモジュール
   と、仮想現実状態を体験する体験者の頭部の空間位置及
   び方向を検出する位置方向検出モジュールと、前記体験
   者の視線位置を検出する視線位置検出モジュールと、３
   次元仮想空間に視点を設定する視点設定モジュールと、
   前記視点設定モジュールにより設定した視点の方向を補
   正する視点方向補正モジュールと、前記視点方向補正モ
   ジュールにより補正後の視点から前記物体のモデルデー
   タを空間的・幾何学的配置を考慮して見たときの２次元
   画像を形成する２次元画像生成モジュールと、前記２次
   元画像生成モジュールにより生成した２次元画像を映像
   信号に変換する映像変換モジュールと、前記映像変換モ
   ジュールにより変換後の映像を表示する映像表示モジュ
   ールとを有するプログラムを格納したことを特徴とする
   記憶媒体。
10. 【請求項１０】 前記視点設定モジュールは、前記位置
    方向検出モジュールにより検出された位置データ及び方
    向データに基づいて視点を設定することを特徴とする請
    求項９記載の記憶媒体。
11. 【請求項１１】 前記視点方向補正モジュールは、前記
    視点設定モジュールにより設定された視点を、前記視線
    位置検出モジュールにより検出された視線位置データを
    用いて補正することを特徴とする請求項９記載の記憶媒
    体。
12. 【請求項１２】 前記映像表示モジュールは、前記体験
    者の目の直前に置かれ且つ前記体験者の頭部に対して固
    定の状態で設定された表示器に映像を表示することを特
    徴とする請求項９記載の記憶媒体。