[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JPH11155152A - 三次元形状情報入力方法及び装置及び画像入力装置 - Google Patents

三次元形状情報入力方法及び装置及び画像入力装置

Info

Publication number
JPH11155152A
JPH11155152A JP9336624A JP33662497A JPH11155152A JP H11155152 A JPH11155152 A JP H11155152A JP 9336624 A JP9336624 A JP 9336624A JP 33662497 A JP33662497 A JP 33662497A JP H11155152 A JPH11155152 A JP H11155152A
Authority
JP
Japan
Prior art keywords
image
dimensional
shape information
display device
observer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP9336624A
Other languages
English (en)
Inventor
Tomoyuki Isonuma
伴幸 磯沼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP9336624A priority Critical patent/JPH11155152A/ja
Priority to US09/195,381 priority patent/US6611283B1/en
Publication of JPH11155152A publication Critical patent/JPH11155152A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
    • H04N13/289—Switching between monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/341—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Position Input By Displaying (AREA)

Abstract

(57)【要約】 【課題】 対応点の指定作業を自動的に効率よく行うこ
とができる三次元形状情報入力方法及び装置及び画像入
力装置を提供する。 【解決手段】 立体画像撮影装置１００により物体１０
３を撮影して得た実写画像中の物体１０３の抽出点をコ
ンピュータ１０４により複数選択して前記抽出点の三次
元座標を決定することにより物体の形状情報を構成し、
右目用画像と左目用画像とをそれぞれ観測者１０６の右
目と左目に分離入力することにより立体画像表示装置１
０５に表示された左右画像を観測者１０６に立体視さ
せ、該立体視状態にある観測者１０６の左右眼球の視線
方向を視線方向検知装置１０７により検出し、該検出さ
れた視線方向情報から前記抽出点の三次元座標をコンピ
ュータ１０４により算出する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、実在する物体の三
次元形状情報を抽出する場合の三次元形状情報入力方法
及び装置及び画像入力装置に関する。
【０００２】
【従来の技術】従来、建築、設計等の分野では、実在す
る物体の三次元形状情報をデジタル情報としてコンピュ
ータに取り込む必要性があり、三次元形状情報入力技術
がよく利用されていた。近年、インターネットの普及と
パーナルコンピュータの三次元ＣＧ（コンピュータグラ
フィックス）描画性能の向上により、実在する商品や建
物物件の情報を三次元形状情報としてユーザに提供する
ことが可能となってきている。この場合も、実在する商
品や建物物件の三次元形状情報をコンピュータに入力す
る必要がある。このような背景から、物体の三次元形状
情報の入力技術は、近年、より一般的なものとなり、益
々重要性が高まってきている。
【０００３】上述の三次元形状情報入力の代表的な従来
方法として、接触型の位置センサを利用した方法が知ら
れている。この方法は、探針を物体の各点に接触させ、
前記探針の三次元位置座標を前記位置センサにより検出
し、前記物体の各点の三次元位置情報を入力する方法で
ある。ところが、この接触型の位置センサを用いる方法
では、探針を物体の各点に接触させる必要があるため、
対象となる物体としては、卓上で扱えるサイズ、ある程
度の強度を持つ物体、静止した物体等の制限があった。
【０００４】このような制限に縛られない、より柔軟な
従来方法として、立体画像撮影装置による撮影画像を用
いる方法が知られている。
【０００５】この方法は、図１３に示すように、２台の
デジタルカメラ１３０１，１３０２からなる立体画像撮
影装置１３００、或いは２回の撮影により、２つの視点
から撮影された物体１３０３の視差のある図１４に示す
左右２つの画像１４０１，１４０２を情報源に用いる。
この視差を持つ左右２つの画像１４０１，１４０２を用
い、着目点の左右２つの画像１４０１，１４０２中での
対応点をそれぞれ指定することによって、三角測量の原
理により着目点の三次元座標が得られる。このようにし
て、物体中の幾つかの代表点、即ち形状の抽出点に対し
て三次元座標が生成され、三次元形状情報が入力され
る。通常は、更に、これらの代表点の幾つかを頂点とし
て多角形を構成し、表面を持つ物体形状を定義する。任
意の頂点群から多角形を張る方法は、ドロネー法等がよ
く知られている。
【０００６】
【発明が解決しようとする課題】しかしながら、上述し
た従来例にあっては、以下のような問題点があった。
【０００７】即ち、従来の立体画像撮影装置１３００、
或いは２回の撮影による撮影画像を用いる三次元形状情
報入力方法では、左右画像１４０１，１４０２から三次
元形状情報を導き出すために左右２つの画像１４０１，
１４０２中の対応する点の指定を行わなければならなか
った。これは特定の着目点に対し、左右２つの画像１４
０１，１４０２上の各対応点をマウス等により手動で指
定する作業を必要とした。
【０００８】この作業は、図１４に示すように、左（或
いは右）画像１４０１に着目し、マウスで適当な代表点
１４０３を選択し、次に右（或いは左）画像１４０２に
着目し、先に選択した代表点１４０３に対応する代表点
１４０４をマウスで選択するという単純な作業である。
【０００９】しかし、この作業は、全ての点について行
う必要があり、操作者に対して肉体的にも精神的にも大
きな負担をかけていた。このような対応点の指定作業を
軽減させる方法として、左右画像１４０１，１４０２の
相関計算を行い自動的に対応点を算出する方法が知られ
ている。これは左右画像１４０１，１４０２の２つの点
に対して相関度を定義し、左（或いは右）画像１４０１
上に与えられた１つの点に対して相関度が最大になる右
（或いは左）画像１４０２上の点を対応点とするもので
ある。
【００１０】相関度の計算は、左右画像１４０１，１４
０２の２つの点に対し、それらの点を囲む大きさの等し
い矩形領域を左右画像１４０１，１４０２上でそれぞれ
定義し、この矩形領域内において、左画素値データＬ
（ｘ，ｙ）と右画素値データＲ（ｘ，ｙ）の二次元相関
をとることによって行われる。
【００１１】しかしながら、この相関計算による自動的
な対応点検出にも、以下のような問題点があった。
【００１２】即ち、計算時間を短縮するため、相関計算
を行う領域をある程度絞る必要があり、このとき、操作
者による補助的な入力、即ち、概略的な対応点指定が必
要であった。また、領域をある程度絞った場合でも、計
算機の処理能力により対応点算出までに時間を要し、こ
の間、操作者の作業が中断されていた。更に、相関計算
を行う領域を制限しない場合は、画像サイズにより非実
用的な計算時間を要していた。
【００１３】また、左右画像１４０１，１４０２の少な
くとも一方の画像において代表点を選択し、マウス等を
利用し、手動で代表点の位置を入力する必要性がある。
【００１４】また、相関計算の計算精度の限界により、
間違った対応点が与えられる場合があり、操作者はコン
ピュータが計算した対応点を常に確認し、もし間違って
いれば再度手動で指定する必要がある。
【００１５】以上述べたように、立体画像撮影装置１３
００、或いは２回の撮影による撮影画像１４０１，１４
０２を用いる三次元形状情報入力方法では、対応点の指
定という地味な作業を必要とした。相関計算による自動
対応点検出の導入により操作者の負担はある程度軽減さ
れるものの、依然としてマウスによる入力の必要性が残
り、操作者の作業負担が大きかった。
【００１６】本発明は上述した従来の技術の有するこの
ような問題点に鑑みてなされたものであり、その目的と
するところは、対応点の指定作業を自動的に効率よく行
うことができる三次元形状情報入力方法及び装置を提供
しようとするものである。
【００１７】
【課題を解決するための手段】上記目的を達成するため
に請求項１記載の三次元形状情報入力方法は、実在物体
の三次元形状情報を入力する三次元形状情報入力方法に
おいて、三次元形状情報の情報源として立体撮影を行っ
た左右２枚、またはそれ以上の実写画像を用い、該実写
画像中の物体の抽出点を複数選択し、その物体の抽出点
の三次元座標を決定することにより物体の形状情報を構
成し、右目用画像と左目用画像とをそれぞれ観測者の右
目と左目に分離入力することにより、該観測者に立体感
を与える立体画像表示装置を用い、該立体画像表示装置
に表示された左右画像を観測者に立体視させ、該立体視
状態にある観測者の左右眼球の視線方向を検知し、この
検知された視線方向情報から前記抽出点の三次元座標を
算出することを特徴とする。
【００１８】また、上記目的を達成するために請求項２
記載の三次元形状情報入力方法は、請求項１記載の三次
元形状情報入力方法において、非可視光光源による眼球
の照明手段と、前記眼球からの非可視光を結像させる光
学系と撮像装置により、眼球瞳孔中心位置と角膜反射面
による前記非可視光光源の虚像位置との相対関係から眼
球の回転角度を求めることによって、前記立体視状態に
ある観測者の左右眼球の視線方向を検知することを特徴
とする。
【００１９】また、上記目的を達成するために請求項３
記載の三次元形状情報入力方法は、請求項１記載の三次
元形状情報入力方法において、立体画像観測中の観測者
の眼球視線角度変化が特定のしきい値以内に一定時間溜
まったことを検知し、この状態を眼球運動停止期間と
し、この眼球運動停止期間中の任意の視線角度値、また
は眼球運動停止期間中の視線角度平均値から観測者の注
目点を決定し、この注目点を物体形状決定のための抽出
点として自動的に選択することにより、実写画像中の物
体の抽出点を複数選択することを特徴とする。
【００２０】また、上記目的を達成するために請求項４
記載の三次元形状情報入力方法は、請求項１記載の三次
元形状情報入力方法において、前記立体画像表示装置
は、頭部と表示面との相対的な位置関係が固定された頭
部装着型であることを特徴とする。
【００２１】また、上記目的を達成するために請求項５
記載の三次元形状情報入力方法は、請求項１記載の三次
元形状情報入力方法において、前記立体画像表示装置と
して卓上に固定された立体画像表示装置を用い、更に前
記立体画像表示装置に対する観測者頭部の相対的な位置
を検知する検知機構により、前記立体画像表示装置に対
する観測者頭部の相対的な位置変化を検出し、この検出
結果に基づいて視線方向情報から注目点三次元座標の算
出値を補正することを特徴とする。
【００２２】また、上記目的を達成するために請求項６
記載の三次元形状情報入力装置は、実在物体の三次元形
状情報を入力する三次元形状情報入力装置において、三
次元形状情報の情報源として立体撮影を行った左右２
枚、またはそれ以上の実写画像を用い、該実写画像中の
物体の抽出点を複数選択し、その物体の抽出点の三次元
座標を決定することにより物体の形状情報を構成する形
状情報構成手段と、右目用画像と左目用画像とをそれぞ
れ観測者の右目と左目に分離入力することにより、該観
測者に立体感を与える立体画像表示装置と、該立体画像
表示装置に表示された左右画像を観測者に立体視させ、
該立体視状態にある観測者の左右眼球の視線方向を検知
する視線方向検知手段と、この視線方向検知手段により
検知された視線方向情報から前記抽出点の三次元座標を
算出する三次元座標算出手段とを具備したことを特徴と
する。
【００２３】また、上記目的を達成するために請求項７
記載の三次元形状情報入力装置は、請求項６記載の三次
元形状情報入力装置において、非可視光光源による眼球
の照明手段と、前記眼球からの非可視光を結像させる光
学系と撮像装置により、眼球瞳孔中心位置と角膜反射面
による前記非可視光光源の虚像位置との相対関係から眼
球の回転角度を求めることによって、前記立体視状態に
ある観測者の左右眼球の視線方向を検知することを特徴
とする。
【００２４】また、上記目的を達成するために請求項８
記載の三次元形状情報入力装置は、請求項６記載の三次
元形状情報入力装置において、立体画像観測中の観測者
の眼球視線角度変化が特定のしきい値以内に一定時間溜
まったことを検知する眼球視線角度検知手段と、立体画
像観測中の観測者の眼球視線角度変化が特定のしきい値
以内に一定時間溜まった状態を眼球運動停止期間とし、
この眼球運動停止期間中の任意の視線角度値、または眼
球運動停止期間中の視線角度平均値から観測者の注目点
を決定する注目点決定手段とを具備し、この注目点を物
体形状決定のための抽出点として自動的に選択すること
により、実写画像中の物体の抽出点を複数選択すること
を特徴とする。
【００２５】また、上記目的を達成するために請求項９
記載の三次元形状情報入力装置は、請求項６記載の三次
元形状情報入力装置において、前記立体画像表示装置
は、頭部と表示面との相対的な位置関係が固定された頭
部装着型であることを特徴とする。
【００２６】また、上記目的を達成するために請求項１
０記載の三次元形状情報入力装置は、請求項６記載の三
次元形状情報入力装置において、前記立体画像表示装置
として卓上に固定された立体画像表示装置を用い、更に
前記立体画像表示装置に対する観測者頭部の相対的な位
置を検知する頭部位置検知手段と、該頭部位置検知手段
の検出結果に基づいて視線方向情報から注目点三次元座
標の算出値を補正する補正手段とを具備したことを特徴
とする。
【００２７】また、上記目的を達成するために請求項１
１記載の画像入力装置は、複数の撮像位置において、互
いに重複する範囲を撮像する撮像手段と、前記撮像手段
より出力された複数の画像情報から立体画像を生成する
立体画像合成手段と、操作者の両眼の視線方向を検出す
る視線検出手段と、前記視線検出手段によって検出され
た両眼の視線方向に基づいて注視点の三次元座標を演算
するとともに、該演算結果に基づいて前記立体画像合成
手段を制御し、前記三次元空間位置座標における立体画
像を生成させる制御手段とを備えたことを特徴とする。
【００２８】また、上記目的を達成するために請求項１
２記載の画像入力装置は、請求項１１記載の画像入力装
置において、前記撮像手段は、同一方向を撮像する複数
の撮像装置からなることを特徴とする。
【００２９】また、上記目的を達成するために請求項１
３記載の画像入力装置は、請求項１１記載の画像入力装
置において、さらに前記立体画像生成手段によって生成
された画像を立体表示する頭部装着型の表示装置を備
え、前記視線検出手段は、前記表示装置に組み込まれ、
前記表示装置の画面を注視する操作者の視線方向を検出
するように構成されていることを特徴とする。
【００３０】また、上記目的を達成するために請求項１
４記載の画像入力装置は、複数の撮像位置において、互
いに重複する範囲を撮像した複数の画像情報から立体画
像を生成する立体画像合成手段と、操作者の両眼の視線
方向を検出する視線検出手段と、前記視線検出手段によ
って検出された両眼の視線方向に基づいて注視点の三次
元座標を演算するとともに、該演算結果に基づいて前記
立体画像合成手段を制御し、前記三次元空間位置座標に
おける立体画像を生成させる制御手段とを備えたことを
特徴とする画像入力装置。
【００３１】さらに、上記目的を達成するために請求項
１５記載の画像入力装置は、請求項１４記載の画像入力
装置において、さらに前記立体画像生成手段によって生
成された画像を立体表示するための左右の表示部を備え
た頭部装着型の表示装置を備え、前記視線検出手段は、
前記表示装置に組み込まれ、前記表示装置の画面を注視
する操作者の視線方向を検出するように構成されている
ことを特徴とする。
【００３２】
【発明の実施の形態】以下、本発明の実施の形態を図１
〜図１２に基づき説明する。
【００３３】（第１の実施の形態）まず、本発明の第１
の実施の形態を図１〜図１０に基づき説明する。図１
は、本発明の第１の実施の形態に係る三次元形状情報入
力装置の全体構成の概念図であり、同図において、１０
０は立体画像撮影装置で、撮像手段としての左右２台の
デジタルカメラ１０１，１０２からなり、左目用デジタ
ルカメラ１０１と右目用デジタルカメラ１０２とは一定
距離離間し、それぞれの光軸が互いに平行になるように
配置される。本実施の形態では、立体画像を得るために
左右２台のデジタルカメラ１０１，１０２を使用する
が、１台のカメラを用いて一定距離平行移動させた２点
視点から撮影してもよい。また、デジタルカメラに限る
ものではなく、銀塩写真カメラでもよい。この場合はフ
ィルムを現像し、これをフィルムスキャナー等でコンピ
ュータに取り込めばよい。更に、実写映像を任意の記録
媒体に記録する任意の撮影装置が本発明に適用できるこ
とは明らかである。
【００３４】１０３は立体画像撮影装置１０１，１０２
により撮影される物体、１０４はコンピュータ、１０５
は立体画像表示装置で、観察者１０６の頭部に装着でき
る頭部装着型であり且つ観察者１０６の両眼の視線を検
出する視線検出装置１０７が設けられている。１０８は
立体画像表示装置１０５に表示される仮想物体、１０９
は三次元形状情報である。
【００３５】図１において、立体画像撮影装置１０１，
１０２により撮影された物体１０３の立体画像はコンピ
ュータ１０４に入力され、立体画像表示装置１０５に表
示される。形状入力作業中、観測者１０６は立体画像表
示装置１０５に表示される仮想物体１０８を注視する。
このとき、観測者１０６の視線を視線検出装置１０７に
より検出する。この検出された視線情報はコンピュータ
１０４に入力され、このコンピュータ１０４は前記視線
情報を解析し、三次元形状情報１０９を抽出する。
【００３６】図２は、本実施の形態に係る三次元形状情
報入力装置に使用される立体画像合成手段及び制御手段
を構成するコンピュータ１０４の構成を示すブロック図
であり、同図において、コンピュータ１０４は、映像信
号入力回路２０１、記憶装置２０２、画像メモリ２０
３、映像信号出力回路２０４、視線データ入力回路２０
５、マウス２０６、キーボード２０７、記録媒体２０８
を入力する記録媒体入力装置２０９及びＣＰＵ（中央演
算処理装置）２１０を有している。そして、各構成要素
２０１〜２０９は、バス２１１を介してＣＰＵ２１０に
接続されている。
【００３７】立体画像撮影装置１００は映像信号入力回
路２０１と記録媒体に、立体画像表示装置１０５は映像
信号出力回路２０４に、視線検出装置１０７は視線デー
タ入力回路２０５にそれぞれ接続される。
【００３８】図２において、記憶装置２０２には視線情
報から三次元形状情報を抽出するためのプログラム（三
次元形状情報抽出プログラム）が格納され、このプログ
ラムはＣＰＵ２１０により実行される。立体画像撮影装
置１００により撮影された立体画像は、映像信号入力回
路２０１若しくは記録媒体入力装置２０９を通じて入力
され、コンピュータ１０４内に取り込まれる。入力され
た立体画像は、画像メモリ２０３に格納され、映像信号
出力回路２０４を通じて立体画像表示装置１０５に出力
される。視線検出装置１０７から送出される視線データ
は、視線データ入力回路２０５を通じて入力され、コン
ピュータ１０４内に取り込まれる。操作者とコンピュー
タ１０４との対話には、マウス２０６及びキーボード２
０７等の入力装置を用いる。
【００３９】「視線検出の原理」立体画像表示装置１０
５と視線検出装置１０７の説明を行う前に、まず、立体
視の原理と、視線情報から注目点の三次元形状情報を抽
出する原理について簡単に説明する。
【００４０】立体画像を利用した立体画像表示装置１０
５によって、人間が立体感を得られる原理についてはよ
く知られているが、ここで、この原理について簡単に触
れておく。
【００４１】図３の（ａ）は、実在する物体（実在物
体）を観測する観測者を上から見た図、（ｂ）は、観測
者と立体画像表示装置を上から見た図である。人間は図
３の（ａ）のように、三次元空間中にある実在物体３０
１の注目点３０２を注視した場合、観察者の左右の眼球
３０３，３０４の光軸３０５，３０６を注目点３０２で
交差するように調節する。この動作は、左右の眼球３０
３，３０４の網膜上での左右画像の位置、即ち、注目点
３０２の位置を一致させることに相当し、「融像」と呼
ばれている。立体視を利用した立体画像表示装置は、こ
の融像動作を観測者に人工的に誘起させることによって
立体感を与えている。即ち、図３の（ｂ）に示すよう
に、視差のある左右の画像３０７，３０８を何等かの方
法で左右の目に分離して入力されるように工夫する。こ
のとき、立体画像表示装置を注視する観測者は視差のあ
る注目点の左右の画像３０７，３０８を融像すべく、左
右の眼球３０３，３０４の光軸３０５，３０６を制御す
る。この結果、光軸３０５，３０６の交差する点、即
ち、図３の（ｂ）における点３０９に物体の注目点が存
在するように感じられ、仮想物体３１０を観察すること
ができる。
【００４２】なお、図３の（ｂ）では、左右の画像３０
７，３０８は、説明の都合上、前後にずれた位置に表示
されているが、実際には同一位置に表示される。
【００４３】本実施の形態では、図４及び図５に示すよ
うに立体画像表示装置１０５は、２つのＬＣＤ（液晶表
示素子）４０１に表示された別々の左右画像を、左右異
なる光学系であるプリズム型接眼レンズ４０２（または
４０３，４０４）を通して観察する。このため、同じ表
示位置４０５（または４０６）に虚像が表示される。異
なるＬＣＤ４０１の表示面に表示された虚像が左右眼球
３０３，３０４に分離入力されるように工夫されてい
る。
【００４４】以上説明した融像動作は、人間の脳で行わ
れる左右画像の自然なパターンマッチングにより、全く
無意識に行われるものと考えられる。
【００４５】本発明では、人間が持つ、この自然な融像
現象を利用して左右画像を抽出する。即ち、注目点を融
像している観測者の視線は、左右画像上での注目点の対
応点をそれぞれ指している。よって、観測者の視線を検
出することにより、左右画像上での注目点の対応点座標
を知ることができる。左右画像上での注目点の対応点座
標が求まれば、後は三角測量の原理によって注目点の三
次元座標が導き出される。
【００４６】以上が、視線情報から注目点の三次元形状
情報を導出する原理である。
【００４７】次に立体画像表示装置と視線検出装置の詳
細について図６を用いて説明する。
【００４８】図６は、本実施の形態に係る三次元形状情
報入力装置に使用される立体画像表示装置１０５と視線
検出装置１０７の構成を示すブロック図である。同図に
おいて、立体画像表示装置１０５は、観察者の頭部に装
着される筐体に立体画像表示機能と視線検出機能とを組
み込んで構成されているもので、通常、ＨＭＤ（Ｈｅａ
ｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）と呼ばれてい
る。
【００４９】まず、立体画像表示系について説明する。
【００５０】立体画像表示系は、映像入力回路６０１、
ＬＣＤ表示回路６０２、左右２個のＬＣＤ（表示素子）
６０３（図４では４０１）及び左右２個のプリズム型接
眼レンズ６０４（図４では４０２及び図５では４０３，
４０４）により構成されている。
【００５１】そして、映像入力回路６０１は、コンピュ
ータ１０４からの立体画像信号を入力し、ＬＣＤ表示回
路６０２は立体画像を左右２個のＬＣＤ６０３にそれぞ
れ表示する。ＬＣＤ６０３にそれぞれ表示された立体画
像は、左右２個のプリズム型接眼レンズ６０４により、
観察者の前面の適度な位置に虚像として導かれて、眼球
３０３，３０４の網膜上に結像される（図４及び図５参
照）。
【００５２】次に視線検出系について説明する。
【００５３】視線検出系である視線検出装置１０７は、
４個の眼球照明用赤外線発光ダイオード（ＩＲＥＤ）６
０４、各２個の眼球撮像用光学系６０５，６０６、２個
の眼球撮像素子６０７、視線検出回路６０８及び視線デ
ータ送信回路６０９により構成されている。
【００５４】本実施の形態に係る三次元形状情報入力装
置が採用する上記構成による視線検出装置１０７は既に
実施されており、その原理はよく知られているところで
ある。ここでは、図６及び図７を用いて視線検出の原理
について簡単に説明する。
【００５５】図７の（ａ）は観測者が中央を見ていると
きの眼球各部の関係を、同図の（ｂ）は観測者が左を見
ているときの眼球各部の関係をそれぞれ示す模式図であ
る。図７の（ａ）、（ｂ）において、７０１は瞳孔、７
０２は虹彩、７０３は角膜、Ｃは瞳孔中心、Ｏは角膜曲
率中心、Ｆは眼球光軸であり、図７の（ｂ）において、
ａは眼球光軸Ｆの水平方向の傾斜角、Ｄは瞳孔中心Ｃと
角膜曲率中心Ｏとの差である。
【００５６】また、図８の（ａ）は観測者が中央を見て
いるときの眼球画像を、同図の（ｂ）は観測者が左を見
ているときの眼球画像をそれぞれ示す模式図である。図
８の（ａ）、（ｂ）において、８０１は瞳孔像、８０２
は虹彩像、８０３，８０４は角膜７０３によって反射さ
れた２つの赤外線発光ダイオード６０４の虚像である。
【００５７】観察者の眼球３０３，３０４は、これら眼
球３０３，３０４に対して左右対称に配置された各２個
の赤外線発光ダイオード（ＩＲＥＤ）６０４によって照
明され、各２個の眼球撮像用光学系６０５，６０６と２
個の眼球撮像素子６０７によって撮影される。
【００５８】図７の（ａ）、（ｂ）に示すように、眼球
光軸Ｆの水平方向の傾斜角ａは、瞳孔中心Ｃと角膜曲率
中心Ｏとの差Ｄ及び瞳孔中心Ｃと角膜曲率中心Ｏとの間
の距離ＣＯによって決定される。
【００５９】瞳孔中心Ｃは、眼球撮影の画像解析によ
り、瞳孔７０１の画像領域の中心点を求めることによっ
て決定される。また、角膜曲率中心Ｏは、赤外線発光ダ
イオード６０４の角膜反射による虚像の位置から決定さ
れる。よって、眼球撮影画像の解析から、瞳孔中心Ｃと
角膜曲率中心Ｏとの差Ｄが求められる。
【００６０】一方、瞳孔中心Ｃと角膜曲率中心Ｏとの間
の距離ＣＯは、個人に依存する未知の因子である。ま
た、中央注視時の眼球の光軸Ｆは、通常、眼球中心と前
方正面中央点とを結ぶ軸（直視軸）とは一致せず、該直
視軸に対してある程度の角度を持っている。この角度も
個人に依存する未知の因子である。これら個人依存の未
知因子は、眼球撮影画像から視線角度を算出する上での
２つの補正因子として扱われる。結局、片眼の水平方向
の視線角度ａは、瞳孔中心Ｃと角膜曲率中心Ｏとの間の
水平方向距離ｄｘ及び補正項Ｃ１，Ｃ２の関数として下
記式１のように表せる。
【００６１】 ａ＝ａｒｃｓｉｎ（ｄｘ×Ｃ１）−Ｃ２ … （１） 同様に、片眼の垂直方向の視線角度ｂは、瞳孔中心Ｃと
角膜曲率中心Ｏとの間の垂直方向距離ｄｙ及び補正項Ｃ
３，Ｃ４の関数として下記式２のように表せる。
【００６２】 ｂ＝ａｒｃｓｉｎ（ｄｙ×Ｃ３）−Ｃ４ … （２） Ｃ１，２，Ｃ３，Ｃ４の補正項は、各個人の視線検出行
為毎に一度行われる補正処理によって決定される。この
補正処理は、特定の補正点を画面に表示し、その点を観
測者に注視させ、そのときの眼球撮影画像を分析するこ
とによって行われる。一度補正項が決定されれば、眼球
撮影画像情報から視線角度が随時算出できる。
【００６３】以上の処理を左右の眼球について行うこと
により、左右眼球の視線方向を求めることができる。
【００６４】本実施の形態では、図６の視線検出回路６
０８でｄｘ，ｄｙの算出のみを行う。ｄｘ，ｄｙは、視
線データ送信回路６０９によりコンピュータ１０４に送
られ、該コンピュータ１０４側のプログラムで上記式１
及び式２の計算が行われる。しかし、コンピュータ１０
４側のプログラムで上記式１及び式２の計算を行わず
に、視線検出回路６０８側で上記式１及び式２の計算を
行ってもよい。
【００６５】なお、以下の説明において、視線検出装置
１０７から出力されるデータを視線データと呼ぶ。即
ち、左眼球３０３についての瞳孔中心Ｃと角膜曲率中心
Ｏとの間の水平方向距離及び垂直方向距離（ｄｘ＿ｌ，
ｄｙ＿ｌ）、そして、右眼球３０４についての瞳孔中心
Ｃと角膜曲率中心Ｏとの間の水平方向距離及び垂直方向
距離（ｄｘ＿ｒ，ｄｙ＿ｒ）を視線データと呼ぶことに
する。
【００６６】本実施の形態では、立体画像表示装置１０
５と視線検出装置１０７とが一体化された頭部装着型の
立体画像表示装置１０５を用いるが、これは立体画像表
示装置１０５と観測者の頭部位置の相対位置が固定さ
れ、精度よく着目点座標の検出が行えるからである。し
かし、観測者の頭部位置が立体画像表示装置１０５に対
して変動しない場合や、たとえ変動したとしても、この
変化量を検出する機構と、変化量に基づく着目点座標の
補正手段を装備すれば、立体画像表示装置１０５と視線
検出装置１０７とを互いに分離してもよい。即ち、立体
画像表示装置として通常よく利用される卓上型のインタ
ーレース表示ディスプレイと液晶シャッター眼鏡、或い
は眼鏡なしレンチキュラ型立体ディスプレイ等を使用し
てもよく、視線検出装置は単に眼鏡に装着するという構
成によっても、本発明は容易に実施可能である。
【００６７】次に本実施の形態に係る三次元形状情報入
力装置により三次元形状情報を入力する手順について、
図９のフローチャートに基づき説明する。
【００６８】前記視線検出の原理の項で説明したよう
に、視線検出には個人依存の補正項を決定する必要があ
るので、三次元形状情報入力作業に先立って、まず、ス
テップＳ９０１で視線検出に関わる補正処理を行う。コ
ンピュータ１０４は補正用の標識を立体画像表示装置１
０５に表示し、観測者にその標識を注視させる。このと
き、視線検出装置１０７から送出された視線データｄ
ｘ，ｄｙを取得する。
【００６９】標識の表示位置、即ち、観測者がそれを注
視した場合の視線角度ａ，ｂは、正確に知れており、こ
の視線角度ａ，ｂと対応する視線データｄｘ，ｄｙを前
記式１及び式２に代入することによって補正項が決ま
る。この補正項は片眼に付き２点の測定で決定できる
が、２点以上の測定を行い、最小二乗法で決めてもよ
い。
【００７０】次にステップＳ９０２で立体画像撮影装置
１００、または立体画像が記録された記録媒体２０８か
ら立体画像データを読み込む。立体画像撮影装置１００
から立体画像データを直接読み込む場合は、映像信号入
力回路２０１を通してコンピュータ１０４の画像メモリ
２０３上に立体画像データが読み込まれる。立体画像撮
影装置１００に使用されるデジタルカメラ１０１，１０
２は、通常、撮影した立体画像データをシリアルインタ
ーフェース、またはテレビ用アナログビデオ信号として
出力できる。
【００７１】シリアルインターフェースを使用する場
合、映像信号入力回路２０１はシリアル回線制御装置で
あり、テレビ用アナログビデオ信号を使用する場合、映
像信号入力回路２０１はアナログ／デジタル変換制御装
置である。光磁気ディスク等の記録媒体２０８から立体
画像データを読み込む場合、立体画像データはコンピュ
ータ１０４の周辺機器として接続された記録媒体入力装
置２０９を通じて読み込まれる。なお、立体画像データ
は、予めコンピュータ１０４に読み込まれ、ハードディ
スク等に保存されていたものであってもよい。この場合
は、ハードディスクから画像メモリ２０３上に立体画像
データを読み込めばよい。
【００７２】画像メモリ２０３上に立体画像データが読
み込まれると、左右２枚の画像データは、映像信号出力
回路２０４により映像信号に変換され、立体画像表示装
置１０５に出力される。この映像信号は、左右画像をイ
ンターレース合成し、ＮＴＳＣインターレース信号とし
て立体画像表示装置１０５に出力する。
【００７３】立体画像表示装置１０５では、このＮＴＳ
Ｃインターレース信号を受信し、左右画像を分離し、右
目用のＬＣＤ６０３と左目用のＬＣＤ６０３に、それぞ
れ右目用画像、左目用画像を表示する。ＮＴＳＣインタ
ーレース信号を使用しなくとも、本装置専用の映像信号
を用い、左右画像用にそれぞれ独立した信号線を使用し
てもよい。
【００７４】以上により、立体画像表示装置１０５に立
体画像が表示され、該立体画像表示装置１０５を注視す
る観測者は立体視状態に入り、前述した融像動作が始ま
る。
【００７５】次にステップＳ９０３でコンピュータ１０
４の入力装置であるマウス２０６或いはキーボード２０
７等による操作者からの入力があるか否かを入力がある
まで判断する。そして、操作者からの入力がある場合
は、ステップＳ９０４で操作者からの入力データを取得
し、その内容から次のステップＳ９０５で三次元形状情
報入力の終了を指示したか否かを判断する。そして、三
次元形状情報入力の終了を指示した場合は、本処理動作
を終了する。ここで、単純に本処理動作を終了してもよ
いが、三次元形状情報入力が既にある程度行われていた
場合は、操作者に対して現在の三次元形状情報の保存を
促し、後述の現在の三次元形状情報の保存処理を実行し
た後で本処理動作を終了するようにしてもよい。
【００７６】一方、前記ステップＳ９０５において形状
入力の終了を指示しない場合は、次のステップＳ９０６
で現在の三次元形状情報の保存を指示したか否かを判断
する。三次元形状情報を任意の時点で保存できるように
この機能を用意する。三次元形状情報入力作業は時とし
て多くの時間を費やす場合があり、このような場合に
は、操作者が操作を中断したい任意の時点で、現在まで
の作業状態を保存し、後で再開できるようにする必要が
ある。そして、現在の三次元形状情報の保存を指示した
場合は、次のステップＳ９０７で現在作成中の三次元形
状情報の内容と、情報源となった立体画像を特定するた
めの情報、例えば、ファイル名等の情報をハードディス
ク等の記憶媒体に保存した後、前記ステップＳ９０３へ
戻る。
【００７７】一方、前記ステップＳ９０６において現在
の三次元形状情報の保存を指示しない場合は、ステップ
Ｓ９０８へ進んで、座標抽出点確定、即ち、操作者が現
在注目している点を三次元形状の抽出点、即ち、三次元
形状を特徴付ける頂点として採用することを指示してい
るか否かを判断する。そして、座標抽出点確定を指示し
ていない場合は前記ステップＳ９０３へ戻り、また、座
標抽出点確定を指示した場合は、次のステップＳ９０９
で視線データ取得と視線角度計算とを行う。視線検出装
置１０７からは視線データが定期的に送信され、コンピ
ュータ１０４の視線データ入力回路２０５によって受信
されている。よって、視線データを取得するには、視線
データ入力回路２０５に受信された最新の視線データを
読み出せばよい。視線データが取得されると、左右それ
ぞれにつき、前記式１及び式２に従って視線角度が算出
される。ここで、前記式１及び式２の補正項は前記ステ
ップＳ９０１において決定されている。
【００７８】このようにして座標抽出点が確定し、その
点に対する左右視線角度が用意されると、ステップＳ９
１０で抽出点三次元座標の算出を行う。前記ステップＳ
９０９において得られた左右の視線角度は、下記式３〜
式６により抽出点の左右画像上での二次元座標にそれぞ
れ変換される。
【００７９】Ｘｌ＝Ｌ×ｔａｎ（ａｌ） … （３） Ｙｌ＝Ｌ×ｔａｎ（ｂｌ） … （４） Ｘｒ＝Ｌ×ｔａｎ（ａｒ） … （５） Ｙｒ＝Ｌ×ｔａｎ（ｂｒ） … （６） ここで、ａｌ、ｂｌ、ａｒ、ｂｒ、Ｘｌ、Ｙｌ、Ｘｒ、
Ｙｒ、Ｌの定義は以下の通りである。
【００８０】ａｌ：左眼球光軸のＹ軸に対する回転角度 ｂｌ：左眼球光軸のＸ軸に対する回転角度 ａｒ：右眼球光軸のＹ軸に対する回転角度 ｂｒ：右眼球光軸のＸ軸に対する回転角度 Ｘｌ：左目用画像上での抽出点のＸ座標 Ｙｌ：左目用画像上での抽出点のＹ座標 Ｘｒ：右目用画像上での抽出点のＸ座標 Ｙｒ：右目用画像上での抽出点のＹ座標 Ｌ ：眼球から表示面までの距離 左右画像上の二次元座標の組（Ｘｌ、Ｙｌ）、（Ｘｒ、
Ｙｒ）から、三次元空間中での抽出点の三次元座標（Ｘ
ｃ、Ｙｃ、Ｚｃ）が、下記式７〜式９によって得られ
る。
【００８１】Ｘｃ＝Ｘｌ×ｔ … （７） Ｙｃ＝Ｙｌ×ｔ … （８） Ｚｃ＝Ｌ×ｔ … （９） ここで、ｔはｔ＝Ｄ／（Ｘｌ−Ｘｒ）と定義され、Ｄは
左右眼球間の距離を表す。
【００８２】次にステップＳ９１１へ進んで、前記ステ
ップＳ９１０において生成された抽出点の三次元座標
（Ｘｃ、Ｙｃ、Ｚｃ）は、物体形状を定義する新たな頂
点として三次元形状データへ追加された後、前記ステッ
プＳ９０３へ戻る。前記三次元形状データは、図１０に
示すように１頂点の三次元座標を格納する構造を要素と
し、この要素を頂点の数分だけ用意した構造となってい
る。通常、ソフトウェアの分野では、このような構造は
テーブルと呼ばれ、以降、頂点データテーブルと呼ぶこ
とにする。三次元形状情報として新たな頂点が生成、追
加される度に、頂点データテーブルの要素数は拡大され
ていく。この頂点データテーブルは、三次元形状情報入
力実行中は、コンピュータ１０４の画像メモリ２０３上
に置かれ、三次元形状情報入力が終了すると、ハードデ
ィスク等の記憶媒体に保存される。
【００８３】以上によって、視線入力を利用した三次元
形状情報入力が行われ、物体形状情報が生成される。
【００８４】（第２の実施の形態）次に、本発明の第２
の実施の形態を図１１及び図１２に基づき説明する。
【００８５】上述した第１の実施の形態における三次元
形状情報入力の処理手順は、操作者が座標抽出点をマウ
ス２０６やキーボード２０７等の入力装置を使用して確
定する方法であるが、この確定の判断を自動化すること
も可能である。その方法としては、観測者の視線が一定
時間注視点に止まったことを、操作者がその点を座標抽
出点に選んだと判断すればよい。
【００８６】本実施の形態は、このように確定の判断を
自動化するようにしたもので、その方法を図１１及び図
１２のフローチャートに基づき説明する。
【００８７】なお、図１１におけるステップＳ１１０
１、ステップＳ１１０２、ステップＳ１１０４〜ステッ
プＳ１１０７及びステップＳ１１１３は、第１の実施の
形態における図９におけるステップＳ９０１、ステップ
Ｓ９０２、ステップＳ９０４〜ステップＳ９０７及びス
テップＳ９１１と同一であるから、その説明は省略し、
本実施の形態特有の処理ステップについてのみ説明す
る。
【００８８】図１１において図９と異なる点は、座標抽
出点確定の入力判断を省略し、一定時間毎に視線データ
取得を行うようにしたことである。即ち、ステップＳ１
１０３で操作者からの入力が無い場合は、ステップＳ１
１０８で前回の視線データの取得から一定時間経過した
か否かを判断する。そして、前回の視線データの取得か
ら一定時間経過した場合は、ステップＳ１１０９で視線
データの取得を行った後、次のステップＳ１１１０で図
１２に示す座標抽出点確定判断サブルーチンを実行す
る。
【００８９】以下、前記ステップＳ１１１０において実
行される座標抽出点確定判断サブルーチンを図１２に基
づき説明する。
【００９０】予め、Ｎｓａｍｐｌｅ個の視線データを格
納するための視線データ配列とカウンタ変数ｎとを用意
し、該カウンタ変数ｎを「０」に初期化しておく。
【００９１】まず、ステップＳ１２０１でカウンタ変数
ｎが「０」より大きいか否かを判断する。ここで、前記
ステップＳ１１１０における座標抽出点確定判断サブル
ーチンの最初の実行時、即ち、カウンタ変数ｎが「０」
の場合は、ステップＳ１２０９へ進んで、コンピュータ
１０４の視線データ入力回路２０５から取得した左目視
線データ（ｄｘ＿ｌ，ｄｙ＿ｌ）と右目視線データ（ｄ
ｘ＿ｒ，ｄｙ＿ｒ）とを、前回視線データとして視線デ
ータ配列の先頭に格納し、カウンタ変数ｎに「１」を代
入し、次のステップＳ１２１０で抽出点確定フラグを
「偽」に設定した後、本処理動作（サブルーチン）を終
了する。
【００９２】次回の座標抽出点確定判断サブルーチン実
行時には、カウンタ変数ｎが「０」より大きいからステ
ップＳ１２０２へ進んで、前回格納した視線データ、即
ち、視線データ配列中、ｎ番目の視線データ（ｄｘ＿ｏ
ｌｄ，ｄｙ＿ｏｌｄ）と現在の視線データ（ｄｘ＿ｎｅ
ｗ，ｄｙ＿ｎｅｗ）とを比較し、２点間の距離を下記式
１０により求める。距離計算とそれに基づく判断は、左
右どちらかの眼球に対してのみ行えばよい。なぜなら
ば、左右の眼球は同期して運動するからである。
【００９３】
【数１】 次にステップＳ１２０３で前記式１０により求められた
距離がしきい値以下か否かを判断する。そして、前記式
１０により求められた距離がしきい値以下の場合は視線
運動は一点注視状態に入っていると判断し、ステップＳ
１２０４で現在の視線データを、視線データ配列中、前
回格納位置の次の位置に格納し、同時にカウンタ変数ｎ
を「１」増やして、次のステップＳ１２０５へ進む。
【００９４】ステップＳ１２０５では、カウンタ変数ｎ
がＮｓａｍｐｌｅ以上か否かを判断する。そして、カウ
ンタ変数ｎがＮｓａｍｐｌｅ以上の場合は、次のステッ
プＳ１２０６で視線データ配列に格納されたＮｓａｍｐ
ｌｅ個の左右視線データ（ｄｘ＿ｌ，ｄｙ＿ｌ）、（ｄ
ｘ＿ｒ，ｄｙ＿ｒ）の平均値をそれぞれ計算し、抽出点
に対する視線データ（ｄｘ＿ｌ＿ｍ，ｄｙ＿ｌ＿ｍ）、
（ｄｘ＿ｒ＿ｍ，ｄｙ＿ｒ＿ｍ）として記憶する。
【００９５】次にステップＳ１２０７で抽出点確定フラ
グを「真」に設定し、次のステップＳ１２０８で次の抽
出点に備えるべくカウンタ変数ｎを初期値「１」に戻
し、現在の視線データを、前回視線データとして視線デ
ータ配列の先頭に格納した後、本処理動作を終了する。
【００９６】一方、前記ステップＳ１２０３において前
記式１０により求められた距離がしきい値より大きい場
合は操作者の視線は注視点を求めて運動中であると判断
し、ステップＳ１２０９へ進んでカウンタ変数ｎを初期
値「１」に戻し、現在の視線データを、前回視線データ
として視線データ配列の先頭に格納する。
【００９７】また、前記ステップＳ１２０５においてカ
ウンタ変数ｎがＮｓａｍｐｌｅに達していない場合は、
抽出点は、まだ確定していないものとして、前記ステッ
プＳ１２１０へ進んで、抽出点確定フラグを「偽」に設
定した後、本処理動作（サブルーチン）を終了する。
【００９８】上述したようにして抽出点確定判断サブル
ーチンを終了すると、再び図１１に示すメインフローに
戻って、ステップＳ１１１１で抽出点確定フラグが
「真」か否かを判断する。そして、抽出点確定フラグが
「真」である場合は、抽出点は確定したものと判断し、
次のステップＳ１１１２へ進んで前記抽出点確定判断サ
ブルーチンにて記憶された平均化された視線データ（ｄ
ｘ＿ｌ＿ｍ，ｄｙ＿ｌ＿ｍ）、（ｄｘ＿ｒ＿ｍ，ｄｙ＿
ｒ＿ｍ）を用いて、視線角度計算と抽出点三次元座標の
算出を行った後、次のステップＳ１１１３へ進んで、抽
出点の三次元座標を三次元形状データへ追加する。前記
ステップＳ１１１２における視線角度計算と抽出点三次
元座標の算出は、上述した第１の実施の形態と全く同じ
方法で行われる。
【００９９】また、前記ステップＳ１１１１において抽
出点確定フラグが「真」ではなく「偽」であった場合
は、抽出点の三次元座標算出は行わずに、前記ステップ
Ｓ１１０３へ戻る。
【０１００】以上のように本実施の形態に係る三次元形
状情報入力装置によれば、三次元形状抽出点の選択を操
作者の視線の動きにより自動化することができる。
【０１０１】（その他の実施の形態）なお、上述した第
２の実施の形態においては、一点を長時間見つめた場
合、同じ点が何度も抽出点として確定される可能性があ
る。そこで、一点を長時間見つめた場合、同じ点が何度
も抽出点として確定されるのを排除したい場合は、次の
ようにすればよい。即ち、過去に確定した抽出点に対応
する視線データを記憶しておき、前記図１２のステップ
Ｓ１２０６において配列中の視線データの平均値を計算
した後、次のステップＳ１２０７へ進む前の段階におい
て、過去に確定した抽出点の視線データより、十分異な
る視線データであるか否かを判断するステップを設け、
十分異なる視線データである場合に初めてステップＳ１
２０７において抽出点確定フラグを「真」に設定して、
抽出点として確定すればよい。
【０１０２】また、一点を長時間見つめた場合、同じ点
が何度も抽出点として確定されるのを排除するための別
の方法としては、図１１に示すメインフローのステップ
Ｓ１１１３における三次元形状データへの追加の段階
で、過去に得られた形状抽出点群と比較し、新しい点と
見なされた場合に限り三次元形状データへ追加するとい
う方法をとってもよい。
【０１０３】このような方法によれば、上述した第２の
実施の形態と同様に、三次元形状抽出点の選択を操作者
の視線の動きにより自動化することができる。
【０１０４】
【発明の効果】以上詳述したように本発明の三次元形状
情報入力方法及び装置によれば、観測者が形状の特徴抽
出点を順次注目していくだけで三次元形状情報の入力作
業が完了するので、従来、左右画像を見比べて、１つ１
つ対応点をマウス等で指定していた作業に比べると、作
業時間及び肉体的負担の両面において、それらが大幅に
軽減され、効率的な三次元形状情報入力が可能になると
いう効果を奏する。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る三次元形状情
報入力装置の構成を示すブロック図である。
【図２】本発明の第１の実施の形態に係る三次元形状情
報入力装置におけるコンピュータの構成を示すブロック
図である。
【図３】本発明の第１の実施の形態に係る三次元形状情
報入力装置における立体視の原理を説明するための図で
ある。
【図４】本発明の第１の実施の形態に係る三次元形状情
報入力装置における左右画像の分離入力を説明するため
の図であって、側面から見た図である。
【図５】本発明の第１の実施の形態に係る三次元形状情
報入力装置における左右画像の分離入力を説明するため
の図であって、上面から見た図である。
【図６】本発明の第１の実施の形態に係る三次元形状情
報入力装置における視線検出装置付き立体画像表示装置
の構成を示すブロック図である。
【図７】本発明の第１の実施の形態に係る三次元形状情
報入力装置における視線検出の原理を説明するための図
である。
【図８】本発明の第１の実施の形態に係る三次元形状情
報入力装置における視線検出の原理を説明するための図
である。
【図９】本発明の第１の実施の形態に係る三次元形状情
報入力装置における三次元形状情報入力の処理手順を示
すフローチャートである。
【図１０】本発明の第１の実施の形態に係る三次元形状
情報入力装置における三次元形状情報のデータ構造を説
明するための図である。
【図１１】本発明の第２の実施の形態に係る三次元形状
情報入力装置における三次元形状情報入力の処理手順を
示すフローチャートである。
【図１２】本発明の第２の実施の形態に係る三次元形状
情報入力装置における三次元形状情報入力の処理手順を
示すフローチャートである。
【図１３】従来の立体画像撮影装置の構成を示す図であ
る。
【図１４】同じく従来の立体画像を利用した形状入力を
説明する図である。
【符号の説明】
１００ 立体画像撮影装置 １０１ デジタルカメラ １０２ デジタルカメラ １０３ 物体（被撮影物体） １０４ コンピュータ １０５ 立体画像表示装置 １０６ 観測者 １０７ 視線検出装置 １０８ 仮想物体 １０９ 三次元形状情報 ２０１ 映像信号入力回路 ２０２ 記憶装置 ２０３ 画像メモリ ２０４ 映像信号出力回路 ２０５ 視線データ入力回路 ２０６ マウス ２０７ キーボード ２０８ 記録媒体 ２０９ 記録媒体入力装置 ２１０ ＣＰＵ（中央演算処理装置） ３０１ 物体（被撮影物体） ３０２ 注目点 ３０３ 眼球 ３０４ 眼球 ３０５ 左目光軸 ３０６ 右目光軸 ３０７ 右目用表示画像 ３０８ 左目用表示画像 ３０９ 注目点 ３１０ 仮想物体 ４０１ ＬＣＤ（液晶表示素子） ４０２ プリズム型接眼レンズ ４０３ 左目用プリズム型接眼レンズ ４０４ 右目用プリズム型接眼レンズ ４０５ ＬＣＤ表示面虚像位置 ４０６ ＬＣＤ表示面虚像位置 ６０１ 映像入力回路 ６０２ ＬＣＤ表示回路 ６０３ ＬＣＤ（液晶表示素子） ６０４ 赤外線発光ダイオード（ＩＲＥＤ） ６０５ 眼球撮像用レンズ ６０６ 眼球撮像用レンズ ６０７ 眼球撮像素子 ６０８ 視線検出回路 ６０９ 視線データ送信回路 ７０１ 瞳孔 ７０２ 虹彩 ７０３ 角膜 ８０１ 瞳孔画像 ８０２ 虹彩画像 ８０３ ＩＲＥＤ虚像 ８０４ ＩＲＥＤ虚像

Claims (15)

    【特許請求の範囲】
  1. 【請求項１】 実在物体の三次元形状情報を入力する三
    次元形状情報入力方法において、三次元形状情報の情報
    源として立体撮影を行った左右２枚、またはそれ以上の
    実写画像を用い、該実写画像中の物体の抽出点を複数選
    択し、その物体の抽出点の三次元座標を決定することに
    より物体の形状情報を構成し、右目用画像と左目用画像
    とをそれぞれ観測者の右目と左目に分離入力することに
    より、該観測者に立体感を与える立体画像表示装置を用
    い、該立体画像表示装置に表示された左右画像を観測者
    に立体視させ、該立体視状態にある観測者の左右眼球の
    視線方向を検知し、この検知された視線方向情報から前
    記抽出点の三次元座標を算出することを特徴とする三次
    元形状情報入力方法。
  2. 【請求項２】 非可視光光源による眼球の照明手段と、
    前記眼球からの非可視光を結像させる光学系と撮像装置
    により、眼球瞳孔中心位置と角膜反射面による前記非可
    視光光源の虚像位置との相対関係から眼球の回転角度を
    求めることによって、前記立体視状態にある観測者の左
    右眼球の視線方向を検知することを特徴とする請求項１
    記載の三次元形状情報入力方法。
  3. 【請求項３】 立体画像観測中の観測者の眼球視線角度
    変化が特定のしきい値以内に一定時間溜まったことを検
    知し、この状態を眼球運動停止期間とし、この眼球運動
    停止期間中の任意の視線角度値、または眼球運動停止期
    間中の視線角度平均値から観測者の注目点を決定し、こ
    の注目点を物体形状決定のための抽出点として自動的に
    選択することにより、実写画像中の物体の抽出点を複数
    選択することを特徴とする請求項１記載の三次元形状情
    報入力方法。
  4. 【請求項４】 前記立体画像表示装置は、頭部と表示面
    との相対的な位置関係が固定された頭部装着型であるこ
    とを特徴とする請求項１記載の三次元形状情報入力方
    法。
  5. 【請求項５】 前記立体画像表示装置として卓上に固定
    された立体画像表示装置を用い、更に前記立体画像表示
    装置に対する観測者頭部の相対的な位置を検知する検知
    機構により、前記立体画像表示装置に対する観測者頭部
    の相対的な位置変化を検出し、この検出結果に基づいて
    視線方向情報から注目点三次元座標の算出値を補正する
    ことを特徴とする請求項１記載の三次元形状情報入力方
    法。
  6. 【請求項６】 実在物体の三次元形状情報を入力する三
    次元形状情報入力装置において、三次元形状情報の情報
    源として立体撮影を行った左右２枚、またはそれ以上の
    実写画像を用い、該実写画像中の物体の抽出点を複数選
    択し、その物体の抽出点の三次元座標を決定することに
    より物体の形状情報を構成する形状情報構成手段と、右
    目用画像と左目用画像とをそれぞれ観測者の右目と左目
    に分離入力することにより、該観測者に立体感を与える
    立体画像表示装置と、該立体画像表示装置に表示された
    左右画像を観測者に立体視させ、該立体視状態にある観
    測者の左右眼球の視線方向を検知する視線方向検知手段
    と、この視線方向検知手段により検知された視線方向情
    報から前記抽出点の三次元座標を算出する三次元座標算
    出手段とを具備したことを特徴とする三次元形状情報入
    力装置。
  7. 【請求項７】 非可視光光源による眼球の照明手段と、
    前記眼球からの非可視光を結像させる光学系と撮像装置
    により、眼球瞳孔中心位置と角膜反射面による前記非可
    視光光源の虚像位置との相対関係から眼球の回転角度を
    求めることによって、前記立体視状態にある観測者の左
    右眼球の視線方向を検知することを特徴とする請求項６
    記載の三次元形状情報入力装置。
  8. 【請求項８】 立体画像観測中の観測者の眼球視線角度
    変化が特定のしきい値以内に一定時間溜まったことを検
    知する眼球視線角度検知手段と、立体画像観測中の観測
    者の眼球視線角度変化が特定のしきい値以内に一定時間
    溜まった状態を眼球運動停止期間とし、この眼球運動停
    止期間中の任意の視線角度値、または眼球運動停止期間
    中の視線角度平均値から観測者の注目点を決定する注目
    点決定手段とを具備し、この注目点を物体形状決定のた
    めの抽出点として自動的に選択することにより、実写画
    像中の物体の抽出点を複数選択することを特徴とする請
    求項６記載の三次元形状情報入力装置。
  9. 【請求項９】 前記立体画像表示装置は、頭部と表示面
    との相対的な位置関係が固定された頭部装着型であるこ
    とを特徴とする請求項６記載の三次元形状情報入力装
    置。
  10. 【請求項１０】 前記立体画像表示装置として卓上に固
    定された立体画像表示装置を用い、更に前記立体画像表
    示装置に対する観測者頭部の相対的な位置を検知する頭
    部位置検知手段と、該頭部位置検知手段の検出結果に基
    づいて視線方向情報から注目点三次元座標の算出値を補
    正する補正手段とを具備したことを特徴とする請求項６
    記載の三次元形状情報入力装置。
  11. 【請求項１１】 複数の撮像位置において、互いに重複
    する範囲を撮像する撮像手段と、 前記撮像手段より出力された複数の画像情報から立体画
    像を生成する立体画像合成手段と、 操作者の両眼の視線方向を検出する視線検出手段と、 前記視線検出手段によって検出された両眼の視線方向に
    基づいて注視点の三次元座標を演算するとともに、該演
    算結果に基づいて前記立体画像合成手段を制御し、前記
    三次元空間位置座標における立体画像を生成させる制御
    手段と、を備えたことを特徴とする画像入力装置。
  12. 【請求項１２】 前記撮像手段は、同一方向を撮像する
    複数の撮像装置からなることを特徴とする請求項１１記
    載の画像入力装置。
  13. 【請求項１３】 さらに前記立体画像生成手段によって
    生成された画像を立体表示する頭部装着型の表示装置を
    備え、前記視線検出手段は、前記表示装置に組み込ま
    れ、前記表示装置の画面を注視する操作者の視線方向を
    検出するように構成されていることを特徴とする請求項
    １１記載の画像入力装置。
  14. 【請求項１４】 複数の撮像位置において、互いに重複
    する範囲を撮像した複数の画像情報から立体画像を生成
    する立体画像合成手段と、 操作者の両眼の視線方向を検出する視線検出手段と、 前記視線検出手段によって検出された両眼の視線方向に
    基づいて注視点の三次元座標を演算するとともに、該演
    算結果に基づいて前記立体画像合成手段を制御し、前記
    三次元空間位置座標における立体画像を生成させる制御
    手段と、を備えたことを特徴とする画像入力装置。
  15. 【請求項１５】 さらに前記立体画像生成手段によって
    生成された画像を立体表示するための左右の表示部を備
    えた頭部装着型の表示装置を備え、前記視線検出手段
    は、前記表示装置に組み込まれ、前記表示装置の画面を
    注視する操作者の視線方向を検出するように構成されて
    いることを特徴とする請求項１４記載の画像入力装置。
JP9336624A 1997-11-21 1997-11-21 三次元形状情報入力方法及び装置及び画像入力装置 Pending JPH11155152A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP9336624A JPH11155152A (ja) 1997-11-21 1997-11-21 三次元形状情報入力方法及び装置及び画像入力装置
US09/195,381 US6611283B1 (en) 1997-11-21 1998-11-18 Method and apparatus for inputting three-dimensional shape information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP9336624A JPH11155152A (ja) 1997-11-21 1997-11-21 三次元形状情報入力方法及び装置及び画像入力装置

Publications (1)

Publication Number Publication Date
JPH11155152A true JPH11155152A (ja) 1999-06-08

Family

ID=18301085

Family Applications (1)

Application Number Title Priority Date Filing Date
JP9336624A Pending JPH11155152A (ja) 1997-11-21 1997-11-21 三次元形状情報入力方法及び装置及び画像入力装置

Country Status (2)

Country Link
US (1) US6611283B1 (ja)
JP (1) JPH11155152A (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004029786A1 (en) * 2002-09-25 2004-04-08 Imperial College Innovations Limited Control of robotic manipulation
JP2010518666A (ja) * 2007-02-02 2010-05-27 バイノクル 随意的な眼球信号に基づく特に撮影のための制御方法
WO2015198477A1 (ja) * 2014-06-27 2015-12-30 株式会社Ｆｏｖｅ 視線検知装置
JPWO2013179427A1 (ja) * 2012-05-30 2016-01-14 パイオニア株式会社 表示装置、ヘッドマウントディスプレイ、校正方法及び校正プログラム、並びに記録媒体
JP2021511723A (ja) * 2018-01-17 2021-05-06 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 眼の回転中心決定、深度平面選択、およびディスプレイシステム内のレンダリングカメラ位置付け
US11880033B2 (en) 2018-01-17 2024-01-23 Magic Leap, Inc. Display systems and methods for determining registration between a display and a user's eyes
US12008723B2 (en) 2018-08-03 2024-06-11 Magic Leap, Inc. Depth plane selection for multi-depth plane display systems by user categorization

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7076118B1 (en) * 1997-12-05 2006-07-11 Sharp Laboratories Of America, Inc. Document classification system
DE10108797A1 (de) * 2001-02-21 2002-09-05 Zeiss Carl Jena Gmbh Verfahren zur Ermittlung von Abständen am vorderen Augenabschnitt
JP2006122086A (ja) * 2004-10-26 2006-05-18 Hitachi Ltd 生体光計測装置
JP4246691B2 (ja) * 2004-11-30 2009-04-02 本田技研工業株式会社 画像情報処理システム、画像情報処理方法、画像情報処理プログラム、及び自動車
JP2006163547A (ja) * 2004-12-03 2006-06-22 Canon Inc 立体画像生成プログラム、立体画像生成システム及び立体画像生成装置。
JP2008288767A (ja) * 2007-05-16 2008-11-27 Sony Corp 情報処理装置および方法、並びにプログラム
EP2150170B1 (en) 2007-05-23 2016-05-11 Mirametrix Inc. Methods and apparatus for estimating point-of-gaze in three dimensions
TWI408948B (zh) * 2010-08-16 2013-09-11 Wistron Corp 根據不同視角播放相對應之立體影像之方法及其相關影像處理系統
JP5633259B2 (ja) * 2010-09-06 2014-12-03 ソニー株式会社 立体画像データ送信装置、立体画像データ送信方法および立体画像データ受信装置
KR101292513B1 (ko) * 2010-11-22 2013-08-01 가부시끼가이샤 도시바 입체 화상 표시 장치, 입체 화상 표시 방법 및 입체 화상 결정 장치
US10157495B2 (en) * 2011-03-04 2018-12-18 General Electric Company Method and device for displaying a two-dimensional image of a viewed object simultaneously with an image depicting the three-dimensional geometry of the viewed object
US8953242B2 (en) 2011-03-31 2015-02-10 Honeywell International Inc. Varible focus stereoscopic display system and method
DE102011112619A1 (de) * 2011-09-08 2013-03-14 Eads Deutschland Gmbh Auswahl von Objekten in einem dreidimensionalen virtuellen Szenario
US9142019B2 (en) * 2013-02-28 2015-09-22 Google Technology Holdings LLC System for 2D/3D spatial feature processing
US9646384B2 (en) 2013-09-11 2017-05-09 Google Technology Holdings LLC 3D feature descriptors with camera pose information
JP6590609B2 (ja) * 2015-09-15 2019-10-16 キヤノン株式会社 画像解析装置及び画像解析方法
US10108260B2 (en) * 2016-04-01 2018-10-23 Lg Electronics Inc. Vehicle control apparatus and method thereof
CN112689869A (zh) 2018-07-24 2021-04-20 奇跃公司 用于确定显示器与用户的眼睛之间的配准的显示系统和方法
KR102149732B1 (ko) * 2019-04-17 2020-08-31 라쿠텐 인코포레이티드 표시 제어 장치, 표시 제어 방법, 프로그램, 및 비일시적인 컴퓨터 판독 가능한 정보 기록 매체
CN114356482B (zh) * 2021-12-30 2023-12-12 业成科技（成都）有限公司 利用视线落点与人机界面互动的方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62229380A (ja) * 1986-03-29 1987-10-08 Toshiba Corp ３次元物体表示装置
US5003300A (en) * 1987-07-27 1991-03-26 Reflection Technology, Inc. Head mounted display for miniature video display system
US5175616A (en) * 1989-08-04 1992-12-29 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of National Defence Of Canada Stereoscopic video-graphic coordinate specification system
JP3318680B2 (ja) * 1992-04-28 2002-08-26 サン・マイクロシステムズ・インコーポレーテッド 画像生成方法及び画像生成装置
EP0637815B1 (en) * 1993-08-04 2006-04-05 Canon Kabushiki Kaisha Image processing method and image processing apparatus
EP0888017A2 (en) * 1993-08-26 1998-12-30 Matsushita Electric Industrial Co., Ltd. Stereoscopic image display apparatus and related system
JP3486461B2 (ja) * 1994-06-24 2004-01-13 キヤノン株式会社 画像処理装置及び方法
DE69622900T2 (de) * 1995-03-17 2003-04-10 Canon K.K., Tokio/Tokyo Verfahren und Gerät zur dreidimensionalen Bildverarbeitung
JPH08255266A (ja) * 1995-03-17 1996-10-01 Canon Inc ３次元物体の位置合わせ方法およびその装置
US5852672A (en) * 1995-07-10 1998-12-22 The Regents Of The University Of California Image system for three dimensional, 360 DEGREE, time sequence surface mapping of moving objects
US5912721A (en) * 1996-03-13 1999-06-15 Kabushiki Kaisha Toshiba Gaze detection apparatus and its method as well as information display apparatus
US6198484B1 (en) * 1996-06-27 2001-03-06 Kabushiki Kaisha Toshiba Stereoscopic display system
US6157382A (en) * 1996-11-29 2000-12-05 Canon Kabushiki Kaisha Image display method and apparatus therefor

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004029786A1 (en) * 2002-09-25 2004-04-08 Imperial College Innovations Limited Control of robotic manipulation
JP2010518666A (ja) * 2007-02-02 2010-05-27 バイノクル 随意的な眼球信号に基づく特に撮影のための制御方法
JPWO2013179427A1 (ja) * 2012-05-30 2016-01-14 パイオニア株式会社 表示装置、ヘッドマウントディスプレイ、校正方法及び校正プログラム、並びに記録媒体
US10445573B2 (en) 2014-06-27 2019-10-15 Fove, Inc. Gaze detection device
JPWO2015198477A1 (ja) * 2014-06-27 2017-04-20 フォーブ インコーポレーテッド 視線検知装置
CN106797423A (zh) * 2014-06-27 2017-05-31 Fove股份有限公司 视线检测装置
WO2015198477A1 (ja) * 2014-06-27 2015-12-30 株式会社Ｆｏｖｅ 視線検知装置
CN106797423B (zh) * 2014-06-27 2019-12-06 Fove股份有限公司 视线检测装置
US10817721B2 (en) 2014-06-27 2020-10-27 Fove, Inc. Gaze detection device
JP2021511723A (ja) * 2018-01-17 2021-05-06 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 眼の回転中心決定、深度平面選択、およびディスプレイシステム内のレンダリングカメラ位置付け
US11880033B2 (en) 2018-01-17 2024-01-23 Magic Leap, Inc. Display systems and methods for determining registration between a display and a user's eyes
US12102388B2 (en) 2018-01-17 2024-10-01 Magic Leap, Inc. Eye center of rotation determination, depth plane selection, and render camera positioning in display systems
US12008723B2 (en) 2018-08-03 2024-06-11 Magic Leap, Inc. Depth plane selection for multi-depth plane display systems by user categorization

Also Published As

Publication number Publication date
US6611283B1 (en) 2003-08-26

Similar Documents

Publication Publication Date Title
JPH11155152A (ja) 三次元形状情報入力方法及び装置及び画像入力装置
US6389153B1 (en) Distance information generator and display device using generated distance information
US8094927B2 (en) Stereoscopic display system with flexible rendering of disparity map according to the stereoscopic fusing capability of the observer
JP4725595B2 (ja) 映像処理装置、映像処理方法、プログラム及び記録媒体
JP3728160B2 (ja) 奥行き画像計測装置及び方法、並びに複合現実感提示システム
JP5923603B2 (ja) 表示装置、ヘッドマウントディスプレイ、校正方法及び校正プログラム、並びに記録媒体
JP2000354257A (ja) 画像処理装置、画像処理方法、およびプログラム提供媒体
Pastoor et al. An experimental multimedia system allowing 3-D visualization and eye-controlled interaction without user-worn devices
JP2000013818A (ja) 立体表示装置及び立体表示方法
JPH10112831A (ja) 実空間画像と仮想空間画像の表示方法及び表示装置
TW201234838A (en) Stereoscopic display device and control method of stereoscopic display device
US9918066B2 (en) Methods and systems for producing a magnified 3D image
JP3372926B2 (ja) ヘッドマウントディスプレイ装置およびヘッドマウントディスプレイシステム
Ware Dynamic stereo displays
JPH09238369A (ja) ３次元像表示装置
CN109901290B (zh) 注视区域的确定方法、装置及可穿戴设备
CN109799899B (zh) 交互控制方法、装置、存储介质和计算机设备
JPH07129792A (ja) 画像処理方法および画像処理装置
JP4492597B2 (ja) 立体表示処理装置および立体表示処理方法
JP2849313B2 (ja) 画像記録再生装置
US20190281280A1 (en) Parallax Display using Head-Tracking and Light-Field Display
US20230244307A1 (en) Visual assistance
EP3679453A1 (en) A method of modifying an image on a computational device
JP3425402B2 (ja) 立体画像を表示する装置および方法
JP2000182058A (ja) 三次元運動入力方法及び三次元運動入力システム