JP3338618B2 - 実空間画像と仮想空間画像の表示方法及び表示装置 - Google Patents
実空間画像と仮想空間画像の表示方法及び表示装置Info
- Publication number
- JP3338618B2 JP3338618B2 JP26593596A JP26593596A JP3338618B2 JP 3338618 B2 JP3338618 B2 JP 3338618B2 JP 26593596 A JP26593596 A JP 26593596A JP 26593596 A JP26593596 A JP 26593596A JP 3338618 B2 JP3338618 B2 JP 3338618B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- distance
- real space
- information
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は、実空間画像と仮想
空間画像の表示方法及び表示装置に関し、特に、ＡＲ
（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）において視点
距離情報を用いて実空間画像と仮想空間画像とを融合さ
せた表示方法及び表示装置に関する。
空間画像の表示方法及び表示装置に関し、特に、ＡＲ
（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）において視点
距離情報を用いて実空間画像と仮想空間画像とを融合さ
せた表示方法及び表示装置に関する。
【０００２】
【従来の技術】従来より、コンピュータによってつくら
れた情報を人間に提示することによって、人間があたか
も現実の世界であるかのような認識を与える技術が、Ｖ
Ｒ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）技術として知ら
れている。ＶＲ技術によって、人間が仮想環境内に入り
込んで現実と同じような体験をすることができる。ＶＲ
はまた、Ａｒｔｉｆｉｃｉａｌ Ｒｅａｌｉｔｙと呼称
されることがある。
れた情報を人間に提示することによって、人間があたか
も現実の世界であるかのような認識を与える技術が、Ｖ
Ｒ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）技術として知ら
れている。ＶＲ技術によって、人間が仮想環境内に入り
込んで現実と同じような体験をすることができる。ＶＲ
はまた、Ａｒｔｉｆｉｃｉａｌ Ｒｅａｌｉｔｙと呼称
されることがある。
【０００３】ＶＲ技術の一分野に、Ａｕｇｍｅｎｔｅｄ
Ｒｅａｌｉｔｙ（以下「ＡＲ」という）技術と呼称さ
れる分野がある。ＡＲでは、実空間とコンピュータのつ
くった仮想空間とが混ぜて人間に提示される。つまり、
ＡＲでは実空間が仮想空間により増強される。
Ｒｅａｌｉｔｙ（以下「ＡＲ」という）技術と呼称さ
れる分野がある。ＡＲでは、実空間とコンピュータのつ
くった仮想空間とが混ぜて人間に提示される。つまり、
ＡＲでは実空間が仮想空間により増強される。
【０００４】ＶＲ技術では人間が完全に仮想環境に没入
するのに対して、ＡＲ技術では、実環境に対して仮想環
境を適切に配置することにより、実環境の質を高めるこ
とを目的としている。仮想環境として画像を提示するも
のが視覚的ＡＲである。以下における「ＡＲ」は「視覚
的ＡＲ」を指す。
するのに対して、ＡＲ技術では、実環境に対して仮想環
境を適切に配置することにより、実環境の質を高めるこ
とを目的としている。仮想環境として画像を提示するも
のが視覚的ＡＲである。以下における「ＡＲ」は「視覚
的ＡＲ」を指す。
【０００５】ＡＲ技術の利用例として、患者の脳のＣＴ
スキャン画像を現実の患者の脳に重畳させながら手術を
行うシステム、現実の機械装置の各部品に対しＣＧ（コ
ンピュータグラフィックス）によって注釈を付けて組立
て又は修理などの作業を支援するシステム、現実の部屋
に付加物を置いた場合にどのような感じに見えるかを評
価するシステム、都市の再開発で新しい建物を建てた場
合の景観を実物大で実際の場所で評価するシステムなど
が考えられる。
スキャン画像を現実の患者の脳に重畳させながら手術を
行うシステム、現実の機械装置の各部品に対しＣＧ（コ
ンピュータグラフィックス）によって注釈を付けて組立
て又は修理などの作業を支援するシステム、現実の部屋
に付加物を置いた場合にどのような感じに見えるかを評
価するシステム、都市の再開発で新しい建物を建てた場
合の景観を実物大で実際の場所で評価するシステムなど
が考えられる。
【０００６】ＡＲ技術では、実空間と仮想空間とを同時
に人間に提示するために、通常、ＳＴＨＭＤ（Ｓｅｅ−
Ｔｈｒｏｕｇｈ Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐ
ｌａｙ）が用いられる。ＳＴＨＭＤには、光学式による
ものとビデオ信号によるものとがある。
に人間に提示するために、通常、ＳＴＨＭＤ（Ｓｅｅ−
Ｔｈｒｏｕｇｈ Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐ
ｌａｙ）が用いられる。ＳＴＨＭＤには、光学式による
ものとビデオ信号によるものとがある。
【０００７】図７は従来の光学式のＳＴＨＭＤによるＡ
Ｒシステム８０の原理を示す図、図８は従来のビデオ方
式のＳＴＨＭＤによるＡＲシステム９０の原理を示す図
である。
Ｒシステム８０の原理を示す図、図８は従来のビデオ方
式のＳＴＨＭＤによるＡＲシステム９０の原理を示す図
である。
【０００８】図７に示すＡＲシステム８０では、観察者
の眼の前の視線上に配置されたハーフミラー８１を透し
て実空間画像を見ることができ、投影機８２が投影する
仮想空間画像をハーフミラー８１を介して見ることがで
きる。これによって、仮想空間画像が実空間画像とオー
バーラップして提示される。なお、観察者の頭部には視
点を検出するための位置検出器８３が設けられ、位置検
出器８３の出力に基づいて、ワークステーション８４か
ら投影機８２に対して仮想空間画像の信号が送出され
る。
の眼の前の視線上に配置されたハーフミラー８１を透し
て実空間画像を見ることができ、投影機８２が投影する
仮想空間画像をハーフミラー８１を介して見ることがで
きる。これによって、仮想空間画像が実空間画像とオー
バーラップして提示される。なお、観察者の頭部には視
点を検出するための位置検出器８３が設けられ、位置検
出器８３の出力に基づいて、ワークステーション８４か
ら投影機８２に対して仮想空間画像の信号が送出され
る。
【０００９】図８に示すＡＲシステム９０では、左右の
眼と共役な位置に配置された２つのカメラ９３によっ
て、両面ミラー９１に写った実空間画像が撮影される。
撮影された実空間画像と仮想空間画像とがワークステー
ション９５によって合成され、合成された画像が投影機
８２から投影される。その結果、実空間画像と仮想空間
画像との合成画像が両面ミラー９１を介して観察者に提
示される。
眼と共役な位置に配置された２つのカメラ９３によっ
て、両面ミラー９１に写った実空間画像が撮影される。
撮影された実空間画像と仮想空間画像とがワークステー
ション９５によって合成され、合成された画像が投影機
８２から投影される。その結果、実空間画像と仮想空間
画像との合成画像が両面ミラー９１を介して観察者に提
示される。
【００１０】
【発明が解決しようとする課題】ＡＲの実現のために
は、従来から指摘されている位置合わせの問題の他に、
遮蔽関係を正しく表現することが必要である。しかし、
上述したいずれのＡＲシステム８０，９０においても、
観察者に近い空間又は物体によって遠い空間又は物体が
遮蔽されるという遮蔽関係を正しく表現することができ
ない。
は、従来から指摘されている位置合わせの問題の他に、
遮蔽関係を正しく表現することが必要である。しかし、
上述したいずれのＡＲシステム８０，９０においても、
観察者に近い空間又は物体によって遠い空間又は物体が
遮蔽されるという遮蔽関係を正しく表現することができ
ない。
【００１１】すなわち、前者のＡＲシステム８０におい
ては、仮想空間の物体の後ろに実空間が透けていると決
まっており、観察者には仮想空間及び実空間の両方の画
像が単に重なって見える。したがって、このシステムで
は遮蔽関係を表現することは全くできない。
ては、仮想空間の物体の後ろに実空間が透けていると決
まっており、観察者には仮想空間及び実空間の両方の画
像が単に重なって見える。したがって、このシステムで
は遮蔽関係を表現することは全くできない。
【００１２】後者のＡＲシステム９０においては、遠近
に関係なく仮想空間の物体が常に実空間の物体を覆い隠
すようになっており、遮蔽関係を正しく表現できない。
つまり、仮想空間の物体が実空間の物体よりも近い場合
には遮蔽関係は正しいが、その反対に実空間の物体が近
い位置にある場合であっても、実空間の物体が遠い位置
にあるはずの仮想空間の物体によって遮蔽されてしま
い、遮蔽関係が逆になってしまう。
に関係なく仮想空間の物体が常に実空間の物体を覆い隠
すようになっており、遮蔽関係を正しく表現できない。
つまり、仮想空間の物体が実空間の物体よりも近い場合
には遮蔽関係は正しいが、その反対に実空間の物体が近
い位置にある場合であっても、実空間の物体が遠い位置
にあるはずの仮想空間の物体によって遮蔽されてしま
い、遮蔽関係が逆になってしまう。
【００１３】視覚心理学の知見によると、遮蔽関係が正
しく表現されていない状態では、輻輳・視差情報と遮蔽
関係との矛盾のために、立体視が阻害されたり予想外の
立体視をしてしまうことが報告されている。つまり、遮
蔽関係を正しく表現することはＡＲ技術にとって極めて
重要である。
しく表現されていない状態では、輻輳・視差情報と遮蔽
関係との矛盾のために、立体視が阻害されたり予想外の
立体視をしてしまうことが報告されている。つまり、遮
蔽関係を正しく表現することはＡＲ技術にとって極めて
重要である。
【００１４】本発明は、上述の問題に鑑みてなされたも
ので、ビデオ方式のＡＲにおいて、遮蔽関係を正しく表
現することを目的とする。
ので、ビデオ方式のＡＲにおいて、遮蔽関係を正しく表
現することを目的とする。
【００１５】
【課題を解決するための手段】請求項１の発明に係る方
法は、実空間画像と仮想空間画像とを観察者に同時に提
示するために、前記観察者の眼と共役な位置に撮影手段
を配置し、前記撮影手段によって撮影した実空間画像と
仮想空間情報に基づく仮想空間画像とを表示する方法で
あって、前記仮想空間画像の画素と同じ位置にある実空
間画像の画素に対して、前記撮影手段により撮影される
実空間画像に基づいて前記観察者からの距離を求め、そ
れによって得られる前記実空間画像の距離と前記仮想空
間情報に基づく前記仮想空間画像の距離とを比較し、前
記観察者に近い方の画素を選択して表示する方法であ
る。
法は、実空間画像と仮想空間画像とを観察者に同時に提
示するために、前記観察者の眼と共役な位置に撮影手段
を配置し、前記撮影手段によって撮影した実空間画像と
仮想空間情報に基づく仮想空間画像とを表示する方法で
あって、前記仮想空間画像の画素と同じ位置にある実空
間画像の画素に対して、前記撮影手段により撮影される
実空間画像に基づいて前記観察者からの距離を求め、そ
れによって得られる前記実空間画像の距離と前記仮想空
間情報に基づく前記仮想空間画像の距離とを比較し、前
記観察者に近い方の画素を選択して表示する方法であ
る。
【００１６】請求項２の発明に係る装置は、実空間画像
と仮想空間画像とを観察者に同時に提示するための表示
装置であって、前記観察者の眼と共役な位置に配置され
る撮影手段と、前記観察者の視点を検出する位置検出手
段と、前記撮影手段により撮影される実空間画像に基づ
いて実空間画像の各画素に対応する距離情報である実空
間距離画像を生成する実空間距離画像生成手段と、前記
位置検出手段により検出される前記視点の位置と予め記
憶された仮想空間情報とに基づいて仮想空間画像の各画
素に対応する距離情報である仮想空間距離画像を生成す
る仮想空間距離画像生成手段と、前記実空間距離画像と
前記仮想空間距離画像とを画素毎に比較する比較手段
と、前記比較手段による比較結果に基づいて、前記実空
間画像と前記仮想空間画像とのうち前記視点に近い方の
画素の画像情報を選択する選択手段と、選択された画像
情報に基づく合成画像を表示する表示手段と、を有して
構成される。
と仮想空間画像とを観察者に同時に提示するための表示
装置であって、前記観察者の眼と共役な位置に配置され
る撮影手段と、前記観察者の視点を検出する位置検出手
段と、前記撮影手段により撮影される実空間画像に基づ
いて実空間画像の各画素に対応する距離情報である実空
間距離画像を生成する実空間距離画像生成手段と、前記
位置検出手段により検出される前記視点の位置と予め記
憶された仮想空間情報とに基づいて仮想空間画像の各画
素に対応する距離情報である仮想空間距離画像を生成す
る仮想空間距離画像生成手段と、前記実空間距離画像と
前記仮想空間距離画像とを画素毎に比較する比較手段
と、前記比較手段による比較結果に基づいて、前記実空
間画像と前記仮想空間画像とのうち前記視点に近い方の
画素の画像情報を選択する選択手段と、選択された画像
情報に基づく合成画像を表示する表示手段と、を有して
構成される。
【００１７】請求項３の発明に係る装置において、前記
実空間距離画像生成手段は、同一の前記撮影手段により
撮影される複数の実空間画像に基づいて前記実空間距離
画像を生成するものである。
実空間距離画像生成手段は、同一の前記撮影手段により
撮影される複数の実空間画像に基づいて前記実空間距離
画像を生成するものである。
【００１８】請求項４の発明に係る装置は、第１の２次
元画像を撮影する撮影手段と、前記第１の２次元画像の
各画素に対応する第１の距離情報を測定する距離測定手
段と、観察者の視点を検出する位置検出手段と、前記位
置検出手段の出力と予め記憶された情報とに基づいて、
第２の２次元画像と前記第２の２次元画像の各画素に対
応する第２の距離情報とを出力する第２情報出力手段
と、前記第１の距離情報と前記第２の距離情報とを画素
毎に比較する比較手段と、前記比較手段の出力に基づい
て、前記第１の２次元画像と前記第２の２次元画像のう
ち前記視点に近い方の画素の画像情報を選択する選択手
段と、選択された画像情報を前記第１の２次元画像と前
記第２の２次元画像との合成画像として表示する表示手
段と、を有し、前記撮影手段、前記距離測定手段、及び
前記表示手段が、前記観察者の視線と実質的に同一視線
上に配置されて構成される。
元画像を撮影する撮影手段と、前記第１の２次元画像の
各画素に対応する第１の距離情報を測定する距離測定手
段と、観察者の視点を検出する位置検出手段と、前記位
置検出手段の出力と予め記憶された情報とに基づいて、
第２の２次元画像と前記第２の２次元画像の各画素に対
応する第２の距離情報とを出力する第２情報出力手段
と、前記第１の距離情報と前記第２の距離情報とを画素
毎に比較する比較手段と、前記比較手段の出力に基づい
て、前記第１の２次元画像と前記第２の２次元画像のう
ち前記視点に近い方の画素の画像情報を選択する選択手
段と、選択された画像情報を前記第１の２次元画像と前
記第２の２次元画像との合成画像として表示する表示手
段と、を有し、前記撮影手段、前記距離測定手段、及び
前記表示手段が、前記観察者の視線と実質的に同一視線
上に配置されて構成される。
【００１９】請求項５の発明に係る装置は、第１の２次
元画像を撮影する撮影手段と、前記第１の２次元画像の
各画素に対応する第１の距離情報を測定する距離測定手
段と、観察者の視点を検出する位置検出手段と、前記位
置検出手段の出力と予め記憶された情報とに基づいて、
第２の２次元画像と前記第２の２次元画像の各画素に対
応する第２の距離情報とを出力する第２情報出力手段
と、前記第１の距離情報と前記第２の距離情報とを画素
毎に比較する比較手段と、前記比較手段の出力に基づい
て、前記第１の２次元画像と前記第２の２次元画像のう
ち前記視点に近い方の画素の画像情報を選択する選択手
段と、選択された画像情報を前記第１の２次元画像と前
記第２の２次元画像との合成画像として表示する表示手
段と、を有し、前記距離測定手段は、異なる位置から撮
影した複数の前記第１の２次元画像とそれぞれの位置に
おける前記位置検出手段の出力とに基づいて前記第１の
距離情報を測定するように構成される。
元画像を撮影する撮影手段と、前記第１の２次元画像の
各画素に対応する第１の距離情報を測定する距離測定手
段と、観察者の視点を検出する位置検出手段と、前記位
置検出手段の出力と予め記憶された情報とに基づいて、
第２の２次元画像と前記第２の２次元画像の各画素に対
応する第２の距離情報とを出力する第２情報出力手段
と、前記第１の距離情報と前記第２の距離情報とを画素
毎に比較する比較手段と、前記比較手段の出力に基づい
て、前記第１の２次元画像と前記第２の２次元画像のう
ち前記視点に近い方の画素の画像情報を選択する選択手
段と、選択された画像情報を前記第１の２次元画像と前
記第２の２次元画像との合成画像として表示する表示手
段と、を有し、前記距離測定手段は、異なる位置から撮
影した複数の前記第１の２次元画像とそれぞれの位置に
おける前記位置検出手段の出力とに基づいて前記第１の
距離情報を測定するように構成される。
【００２０】本発明においては、観察者の眼と共役な位
置に撮影手段を配置し、撮影手段によって実空間画像を
撮影する。その実空間画像の動きに基づいて観察者の視
点から物体までの距離を求め、それによって得られた実
空間画像の距離と仮想空間画像の距離とを画素毎に比較
し、近い方の画素を選択する。これによって、実空間画
像と仮想空間画像とが合成され、合成された画像が表示
手段によって観察者に提示される。
置に撮影手段を配置し、撮影手段によって実空間画像を
撮影する。その実空間画像の動きに基づいて観察者の視
点から物体までの距離を求め、それによって得られた実
空間画像の距離と仮想空間画像の距離とを画素毎に比較
し、近い方の画素を選択する。これによって、実空間画
像と仮想空間画像とが合成され、合成された画像が表示
手段によって観察者に提示される。
【００２１】撮影手段により撮影される実空間画像にお
ける動きの要因として、頭及び物体のそれぞれの並進運
動及び回転運動の４つがある。頭の動きは位置検出手段
によって検出される。頭と視点との位置関係は予め設定
され又は適当な手段で検出される。物体が静止している
場合に、撮影された実空間画像の動きに基づいて視点か
ら物体までの距離が一意に計算される。計算に当たっ
て、例えば視点の回転運動をキャンセルし、並進運動の
みに基づいて距離が計算される。
ける動きの要因として、頭及び物体のそれぞれの並進運
動及び回転運動の４つがある。頭の動きは位置検出手段
によって検出される。頭と視点との位置関係は予め設定
され又は適当な手段で検出される。物体が静止している
場合に、撮影された実空間画像の動きに基づいて視点か
ら物体までの距離が一意に計算される。計算に当たっ
て、例えば視点の回転運動をキャンセルし、並進運動の
みに基づいて距離が計算される。
【００２２】
【発明の実施の形態】図１は本発明に係る表示装置１の
全体的な構成の概略を示すブロック図、図２は表示装置
１の遮蔽画素切替え部１４の構成を示すブロック図であ
る。
全体的な構成の概略を示すブロック図、図２は表示装置
１の遮蔽画素切替え部１４の構成を示すブロック図であ
る。
【００２３】図１において、表示装置１は、ミラー１
１、カメラ１２、表示部１３、遮蔽画素切替え部１４、
位置検出センサ１５、及び仮想空間画像出力部１６など
から構成されている。なお、ミラー１１、カメラ１２、
及び表示部１３は、左右の眼ＥＹにそれぞれ対応して設
けられている。
１、カメラ１２、表示部１３、遮蔽画素切替え部１４、
位置検出センサ１５、及び仮想空間画像出力部１６など
から構成されている。なお、ミラー１１、カメラ１２、
及び表示部１３は、左右の眼ＥＹにそれぞれ対応して設
けられている。
【００２４】ミラー１１は、両面に反射面を有するもの
であり、観察者ＢＳの左右の眼ＥＹの前方において、そ
の視線方向に対してほぼ４５度の角度を有するように配
置されている。
であり、観察者ＢＳの左右の眼ＥＹの前方において、そ
の視線方向に対してほぼ４５度の角度を有するように配
置されている。
【００２５】カメラ１２は、観察者ＢＳの左右の眼ＥＹ
と光学的に共役な位置に配置されており、ミラー１１に
写る実空間画像ＦＲを撮影するものである。表示部１３
は、遮蔽画素切替え部１４から出力される合成画像ＦＭ
を表示する。観察者ＢＳは、ミラー１１を介して表示部
１３に表示された合成画像ＦＭを観察する。カメラ１２
と表示部１３とは、観察者ＢＳの視線と実質的に同一視
線上に配置されている。表示部１３として、液晶パネル
又はＣＲＴなど、従来から公知の種々の表示デバイスが
用いられる。各種のレンズ又はミラーも必要に応じて用
いられる。
と光学的に共役な位置に配置されており、ミラー１１に
写る実空間画像ＦＲを撮影するものである。表示部１３
は、遮蔽画素切替え部１４から出力される合成画像ＦＭ
を表示する。観察者ＢＳは、ミラー１１を介して表示部
１３に表示された合成画像ＦＭを観察する。カメラ１２
と表示部１３とは、観察者ＢＳの視線と実質的に同一視
線上に配置されている。表示部１３として、液晶パネル
又はＣＲＴなど、従来から公知の種々の表示デバイスが
用いられる。各種のレンズ又はミラーも必要に応じて用
いられる。
【００２６】遮蔽画素切替え部１４は、実空間画像ＦＲ
と仮想空間画像ＦＶとを、観察者ＢＳの視点からの距離
（奥行き）に応じて画素毎に切り替えて出力する。詳細
は後述する。
と仮想空間画像ＦＶとを、観察者ＢＳの視点からの距離
（奥行き）に応じて画素毎に切り替えて出力する。詳細
は後述する。
【００２７】位置検出センサ１５は、その出力信号Ｓ１
に基づいて観察者ＢＳの視点を検出するためのものであ
る。位置検出センサ１５及び信号Ｓ１に基づく視点の検
出方法は従来より公知である。
に基づいて観察者ＢＳの視点を検出するためのものであ
る。位置検出センサ１５及び信号Ｓ１に基づく視点の検
出方法は従来より公知である。
【００２８】仮想空間画像出力部１６は、位置検出セン
サ１５の出力する信号Ｓ１と予め記憶された仮想空間情
報ＤＶとに基づいて、仮想空間画像ＦＶとその各画素に
対応する距離情報である仮想空間距離画像ＦＶｄとを出
力する。仮想空間情報ＤＶとして、種々の方法により撮
影した画像データ、ＣＧにより作成した画像データ、又
はそれらの画像データを生成するためのプログラムな
ど、種々のものが用いられる。
サ１５の出力する信号Ｓ１と予め記憶された仮想空間情
報ＤＶとに基づいて、仮想空間画像ＦＶとその各画素に
対応する距離情報である仮想空間距離画像ＦＶｄとを出
力する。仮想空間情報ＤＶとして、種々の方法により撮
影した画像データ、ＣＧにより作成した画像データ、又
はそれらの画像データを生成するためのプログラムな
ど、種々のものが用いられる。
【００２９】遮蔽画素切替え部１４及び仮想空間画像出
力部１６は、適当なハードウエアにより、ワークステー
ション又はパーソナルコンピュータなどの適当な処理装
置にインストールされたプログラムを実行することによ
り、又はそれらの併用により実現することができる。そ
のようなプログラムは、ＲＡＭ、ＲＯＭ、ハードディス
ク装置などに格納され、又はＣＤ−ＲＯＭ装置、光磁気
ディスク装置、フロッピィディスク装置などによってそ
れぞれ対応する記録媒体から読み出され、又は通信回線
を介してホストからダウンロードされる。プログラム
は、種々のＯＳ、システム環境、又はプラットホームの
下で動作するように供給可能である。
力部１６は、適当なハードウエアにより、ワークステー
ション又はパーソナルコンピュータなどの適当な処理装
置にインストールされたプログラムを実行することによ
り、又はそれらの併用により実現することができる。そ
のようなプログラムは、ＲＡＭ、ＲＯＭ、ハードディス
ク装置などに格納され、又はＣＤ−ＲＯＭ装置、光磁気
ディスク装置、フロッピィディスク装置などによってそ
れぞれ対応する記録媒体から読み出され、又は通信回線
を介してホストからダウンロードされる。プログラム
は、種々のＯＳ、システム環境、又はプラットホームの
下で動作するように供給可能である。
【００３０】表示装置１においては、観察者ＢＳの眼Ｅ
Ｙと光学的に共役な位置にあるカメラ１１からの実空間
画像ＦＲを基にして、後述する手法により視点距離座標
を計算し、視点からの距離に応じて実空間画像ＦＲと仮
想空間画像ＦＶとを画素毎に切り替えて合成画像ＦＭを
生成し、これを観察者ＢＳに提示する点が１つの特徴で
ある。
Ｙと光学的に共役な位置にあるカメラ１１からの実空間
画像ＦＲを基にして、後述する手法により視点距離座標
を計算し、視点からの距離に応じて実空間画像ＦＲと仮
想空間画像ＦＶとを画素毎に切り替えて合成画像ＦＭを
生成し、これを観察者ＢＳに提示する点が１つの特徴で
ある。
【００３１】一般に、ＣＧにおいては、遮蔽関係を正し
く表現するためにＺバッファ法が用いられている。実空
間と仮想空間との間においても同様な手法で遮蔽関係を
表現するために、金出らによってＺ−ｋｅｙという考え
方が提案された。これはカメラ座標系におけるｚ座標値
によって実空間と仮想空間とを切り替えて表示する方法
である。遮蔽画素切替え部１４はこのＺ−ｋｅｙの考え
方を利用してそれをさらに押し進めたものである。
く表現するためにＺバッファ法が用いられている。実空
間と仮想空間との間においても同様な手法で遮蔽関係を
表現するために、金出らによってＺ−ｋｅｙという考え
方が提案された。これはカメラ座標系におけるｚ座標値
によって実空間と仮想空間とを切り替えて表示する方法
である。遮蔽画素切替え部１４はこのＺ−ｋｅｙの考え
方を利用してそれをさらに押し進めたものである。
【００３２】図２において、遮蔽画素切替え部１４は、
実空間画像出力部２１、比較部２２、及び選択部２３を
備えている。実空間画像出力部２１は、色情報生成部２
１１及び奥行き情報生成部２１２を備える。色情報生成
部２１１は、カメラ１２で撮影された実空間画像ＦＲに
基づいて色情報ＦＲｃを生成する。奥行き情報生成部２
１２は、実空間画像ＦＲに基づいて、実空間画像ＦＲの
各画素に対応する奥行き情報（距離情報）ＦＲｄを生成
する。その際に、位置検出センサ１５の信号Ｓ１も用い
られる。奥行き情報ＦＲｄは実空間距離画像に相当する
ので、奥行き情報ＦＲｄを実空間距離画像ＦＲｄと記載
することがある。また、色情報ＦＲｃは実空間画像ＦＲ
と同一であることもある。
実空間画像出力部２１、比較部２２、及び選択部２３を
備えている。実空間画像出力部２１は、色情報生成部２
１１及び奥行き情報生成部２１２を備える。色情報生成
部２１１は、カメラ１２で撮影された実空間画像ＦＲに
基づいて色情報ＦＲｃを生成する。奥行き情報生成部２
１２は、実空間画像ＦＲに基づいて、実空間画像ＦＲの
各画素に対応する奥行き情報（距離情報）ＦＲｄを生成
する。その際に、位置検出センサ１５の信号Ｓ１も用い
られる。奥行き情報ＦＲｄは実空間距離画像に相当する
ので、奥行き情報ＦＲｄを実空間距離画像ＦＲｄと記載
することがある。また、色情報ＦＲｃは実空間画像ＦＲ
と同一であることもある。
【００３３】なお、図２において、仮想空間画像出力部
１６は、仮想空間情報記憶部１６０、色情報生成部１６
１、及び奥行き情報生成部１６２を備える。仮想空間情
報記憶部１６０には仮想空間情報ＤＶが記憶されてい
る。色情報生成部１６１は、信号Ｓ１及び仮想空間情報
ＤＶに基づいて色情報ＦＶｃを生成する。奥行き情報生
成部１６２は、信号Ｓ１及び仮想空間情報ＤＶに基づい
て、色情報ＦＶｃの各画素に対応する奥行き情報（距離
情報）ＦＶｄを生成する。奥行き情報ＦＶｄは仮想空間
距離画像に相当するので、奥行き情報ＦＶｄを仮想空間
距離画像ＦＶｄと記載することがある。また、色情報Ｆ
Ｖｃは仮想空間画像ＦＶと同一であることもある。
１６は、仮想空間情報記憶部１６０、色情報生成部１６
１、及び奥行き情報生成部１６２を備える。仮想空間情
報記憶部１６０には仮想空間情報ＤＶが記憶されてい
る。色情報生成部１６１は、信号Ｓ１及び仮想空間情報
ＤＶに基づいて色情報ＦＶｃを生成する。奥行き情報生
成部１６２は、信号Ｓ１及び仮想空間情報ＤＶに基づい
て、色情報ＦＶｃの各画素に対応する奥行き情報（距離
情報）ＦＶｄを生成する。奥行き情報ＦＶｄは仮想空間
距離画像に相当するので、奥行き情報ＦＶｄを仮想空間
距離画像ＦＶｄと記載することがある。また、色情報Ｆ
Ｖｃは仮想空間画像ＦＶと同一であることもある。
【００３４】比較部２２は、実空間距離画像ＦＲｄと仮
想空間距離画像ＦＶｄとを画素毎に比較し、比較結果を
示す信号Ｓ２を出力する。選択部２３は、比較部２１か
らの信号Ｓ２に基づいて、実空間画像ＦＲと仮想空間画
像ＦＶとのうち視点に近い方の画素の画像データを選択
する。したがって、選択部２３からは、実空間画像ＦＲ
と仮想空間画像ＦＶとのうち視点に近い方の画素の画像
データの集合である合成画像ＦＭが出力される。
想空間距離画像ＦＶｄとを画素毎に比較し、比較結果を
示す信号Ｓ２を出力する。選択部２３は、比較部２１か
らの信号Ｓ２に基づいて、実空間画像ＦＲと仮想空間画
像ＦＶとのうち視点に近い方の画素の画像データを選択
する。したがって、選択部２３からは、実空間画像ＦＲ
と仮想空間画像ＦＶとのうち視点に近い方の画素の画像
データの集合である合成画像ＦＭが出力される。
【００３５】このように、表示装置１においては、遮蔽
画素切替え部１４を用いることにより、実空間と仮想空
間との融合の際に実空間の立体構造を推定する必要がな
くなる。すなわち、実空間及び仮想空間の各画像ＦＲ，
ＦＶを各画素の色情報ＦＲｃ，ＦＶｃと奥行き情報ＦＲ
ｄ，ＦＶｄで表現することにより、上述のような単純な
回路を用いて電気信号レベルで両者を正しく融合できる
ようになる。ＡＲのようなリアルタイム処理が求められ
るアプリケーションにとって、こうした特徴は非常に役
立つものである。
画素切替え部１４を用いることにより、実空間と仮想空
間との融合の際に実空間の立体構造を推定する必要がな
くなる。すなわち、実空間及び仮想空間の各画像ＦＲ，
ＦＶを各画素の色情報ＦＲｃ，ＦＶｃと奥行き情報ＦＲ
ｄ，ＦＶｄで表現することにより、上述のような単純な
回路を用いて電気信号レベルで両者を正しく融合できる
ようになる。ＡＲのようなリアルタイム処理が求められ
るアプリケーションにとって、こうした特徴は非常に役
立つものである。
【００３６】さて、ＡＲにＺ−ｋｅｙを適用するために
は、リアルタイムに視点座標系からの距離画像を計測す
る必要がある。こうした高速な距離画像の計測手法とし
て、Ｖｉｄｅｏ−Ｒａｔｅ Ｓｔｅｒｅｏ Ｍａｃｈｉ
ｎｅやシリコンレンジファインダといったシステムが提
案されている。しかしこれらのいずれの手法において
も、解像度が低過ぎたり規模が大き過ぎたりするため、
各眼の位置からの距離画像を得るのには向いていない。
は、リアルタイムに視点座標系からの距離画像を計測す
る必要がある。こうした高速な距離画像の計測手法とし
て、Ｖｉｄｅｏ−Ｒａｔｅ Ｓｔｅｒｅｏ Ｍａｃｈｉ
ｎｅやシリコンレンジファインダといったシステムが提
案されている。しかしこれらのいずれの手法において
も、解像度が低過ぎたり規模が大き過ぎたりするため、
各眼の位置からの距離画像を得るのには向いていない。
【００３７】そこで、本実施形態における表示装置１で
は、左右の眼と共役な位置にあるカメラ１２で撮影され
た画像から、左右の眼からの距離画像を求める。つま
り、左右それぞれについて、１つのカメラ１２で撮影さ
れた２枚の実空間画像ＦＲを用いて実空間距離画像ＦＲ
ｄを求める。
は、左右の眼と共役な位置にあるカメラ１２で撮影され
た画像から、左右の眼からの距離画像を求める。つま
り、左右それぞれについて、１つのカメラ１２で撮影さ
れた２枚の実空間画像ＦＲを用いて実空間距離画像ＦＲ
ｄを求める。
【００３８】眼の位置にあるカメラ１２により撮影され
る画像の動きの要因として、頭及び物体のそれぞれの並
進運動及び回転運動の４つがある。一般に、ＨＭＤの実
現に際して頭部の位置をリアルタイムに計測する必要が
あり、本実施形態の表示装置１においても従来から用い
られている方法により頭の動きに関する情報を得る。そ
のため、物体が静止している場合には、カメラ１２で撮
影された画像の動きから物体の距離を一意に計算するこ
とが可能である。
る画像の動きの要因として、頭及び物体のそれぞれの並
進運動及び回転運動の４つがある。一般に、ＨＭＤの実
現に際して頭部の位置をリアルタイムに計測する必要が
あり、本実施形態の表示装置１においても従来から用い
られている方法により頭の動きに関する情報を得る。そ
のため、物体が静止している場合には、カメラ１２で撮
影された画像の動きから物体の距離を一意に計算するこ
とが可能である。
【００３９】次に、画像の動きから頭の回転運動の効果
を差し引き、頭の並進運動から距離画像を計算する手法
を説明する。図３は頭の回転運動のキャンセルを説明す
るための図である。
を差し引き、頭の並進運動から距離画像を計算する手法
を説明する。図３は頭の回転運動のキャンセルを説明す
るための図である。
【００４０】図３において、観察者ＢＳが座標系Ｏ1 か
ら座標系Ｏ2 へ移動した際に、観察者ＢＳの視線方向が
ｙ軸を中心として角度αだけ回転したとする。このと
き、観察者ＢＳが移動前にｚ1 方向と逆の方向を見てい
たとした場合には、物体Ｐは画面Π上で横に角度（θ−
α）だけずれて見えるはずである。このずれの長さＬｈ
は、画面Π上で次の（１）式のように表される。
ら座標系Ｏ2 へ移動した際に、観察者ＢＳの視線方向が
ｙ軸を中心として角度αだけ回転したとする。このと
き、観察者ＢＳが移動前にｚ1 方向と逆の方向を見てい
たとした場合には、物体Ｐは画面Π上で横に角度（θ−
α）だけずれて見えるはずである。このずれの長さＬｈ
は、画面Π上で次の（１）式のように表される。
【００４１】 Ｌｈ＝−Ｒｔａｎ（θ−α）＋Ｒｔａｎθ ＝−（Ｒ2 ＋Ｘ2 ）／Ｒｔａｎα＋Ｘ1 ……（１） したがって、（１）式で決まる長さＬｈだけ各画素を平
行移動することにより、頭（視点）の回転運動をキャン
セルすることができる。
行移動することにより、頭（視点）の回転運動をキャン
セルすることができる。
【００４２】同様にして、ｘ軸を中心とした回転もキャ
ンセルすることができる。このような演算処理は奥行き
情報生成部２１２によって行われる。その結果、観察者
ＢＳの移動前後において視線方向が不変となるので、観
察者ＢＳの移動量と移動にともなう画素の動きとに基づ
いて、物体Ｐの視点からの奥行きが算出できる。
ンセルすることができる。このような演算処理は奥行き
情報生成部２１２によって行われる。その結果、観察者
ＢＳの移動前後において視線方向が不変となるので、観
察者ＢＳの移動量と移動にともなう画素の動きとに基づ
いて、物体Ｐの視点からの奥行きが算出できる。
【００４３】図４は頭の移動にともなう奥行きの算出方
法を説明するための図である。図４において、観察者Ｂ
Ｓが（△ｘ，△ｙ，△ｚ）だけ移動したとき、画素（Ｘ
1 ，Ｙ1 ）が（Ｘ2 ，Ｙ2 ）へ移動したとすると、座標
系Ｏ2 から見た物体Ｐの奥行きｚは次のように計算でき
る。
法を説明するための図である。図４において、観察者Ｂ
Ｓが（△ｘ，△ｙ，△ｚ）だけ移動したとき、画素（Ｘ
1 ，Ｙ1 ）が（Ｘ2 ，Ｙ2 ）へ移動したとすると、座標
系Ｏ2 から見た物体Ｐの奥行きｚは次のように計算でき
る。
【００４４】すなわち、 ｘ／Ｘ2 ＝ｚ／Ｒ、 （ｘ＋Δｘ）／Ｘ1 ＝（ｚ＋Δｚ）／Ｒ、 ｙ／Ｙ2 ＝ｚ／Ｒ、及び、 （ｙ＋Δｙ）／Ｙ1 ＝（ｚ＋Δｚ）／Ｒ ……（２） であるから、 ｚ＝（Ｘ1 Δｚ−ＲΔｘ）／（Ｘ2 −Ｘ1 ） ……（３） ＝（Ｙ1 Δｚ−ＲΔｙ）／（Ｙ2 −Ｙ1 ） ……（４） となる。
【００４５】上述の（２）式には、移動の前後で物体Ｐ
とその像がＥｐｉｐｏｌａｒ面上に乗っているという条
件が暗黙のうちに入っているので、（３）式の値と
（４）式の値とが異なっていれば、その物体Ｐは静止し
ていないことがわかる。
とその像がＥｐｉｐｏｌａｒ面上に乗っているという条
件が暗黙のうちに入っているので、（３）式の値と
（４）式の値とが異なっていれば、その物体Ｐは静止し
ていないことがわかる。
【００４６】ここでは観察者ＢＳが移動した場合につい
て説明したが、観察者ＢＳが頭を回転させただけの場合
でも視点は移動するので、奥行きを計算することが可能
である。頭を回転させることによって、眼ＥＹすなわち
視点は回転と並進の両方の運動を行うこととなるからで
ある。
て説明したが、観察者ＢＳが頭を回転させただけの場合
でも視点は移動するので、奥行きを計算することが可能
である。頭を回転させることによって、眼ＥＹすなわち
視点は回転と並進の両方の運動を行うこととなるからで
ある。
【００４７】なお、頭及び視点又は視線の位置又は方向
の変化量は、位置検出センサ１５の出力する信号Ｓ１に
基づいて求められる。頭と眼ＥＹとの位置関係は既知で
あり、予め設定されている。
の変化量は、位置検出センサ１５の出力する信号Ｓ１に
基づいて求められる。頭と眼ＥＹとの位置関係は既知で
あり、予め設定されている。
【００４８】上述したアルゴリズムでは、オプティカル
フローさえ計算できれば単純な四則演算だけで距離画像
を計算できる。また、奥行きの計算には他の画素での計
算結果が不要であるので、奥行き計算の不要な画素につ
いては計算を省略することが可能である。したがって、
奥行き計算を高速に行うことができ、この特徴は実空間
画像ＦＲと仮想空間画像ＦＶとを高速で融合するのに大
きく寄与する。
フローさえ計算できれば単純な四則演算だけで距離画像
を計算できる。また、奥行きの計算には他の画素での計
算結果が不要であるので、奥行き計算の不要な画素につ
いては計算を省略することが可能である。したがって、
奥行き計算を高速に行うことができ、この特徴は実空間
画像ＦＲと仮想空間画像ＦＶとを高速で融合するのに大
きく寄与する。
【００４９】上述のように、物体Ｐの視点座標系での座
標値とその像の位置との間には常に一定の関係が成立す
る。表示装置１においては、頭の位置を常時検出してお
り且つ頭と眼ＥＹとの位置関係も既知であるから、移動
の前後での視点座標系の関係も容易に算出される。した
がって、移動の前後での像の位置の対応関係が分かれ
ば、この２つの条件によって移動後の視点からのある画
素の奥行きを一意に定めることができるのである。
標値とその像の位置との間には常に一定の関係が成立す
る。表示装置１においては、頭の位置を常時検出してお
り且つ頭と眼ＥＹとの位置関係も既知であるから、移動
の前後での視点座標系の関係も容易に算出される。した
がって、移動の前後での像の位置の対応関係が分かれ
ば、この２つの条件によって移動後の視点からのある画
素の奥行きを一意に定めることができるのである。
【００５０】参考のために上述した式を一般化して示し
た場合について説明する。〔運動視差による距離計測〕
図５には、視点０1 から視点Ｏ2 へ移動したとき、視点
０1 ，Ｏ2 での画像と各々の視点座標系間の変換行列Ｔ
2 1を元にして、視点０2 から見た物体の奥行きを算出す
る場合が示されている。
た場合について説明する。〔運動視差による距離計測〕
図５には、視点０1 から視点Ｏ2 へ移動したとき、視点
０1 ，Ｏ2 での画像と各々の視点座標系間の変換行列Ｔ
2 1を元にして、視点０2 から見た物体の奥行きを算出す
る場合が示されている。
【００５１】図６には、カメラの焦点距離をｆとした場
合に、物体の像Ｉをその視点座標系での座標値ｘを用い
て算出する場合が示されている。〔回転キャンセル〕座
標軸を視点座標系Ｏ2 と同じ方向とし、原点を視点座標
系０1 と同じとした視点座標系０1 ’における像Ｉ1 ’
を計算すればよい。
合に、物体の像Ｉをその視点座標系での座標値ｘを用い
て算出する場合が示されている。〔回転キャンセル〕座
標軸を視点座標系Ｏ2 と同じ方向とし、原点を視点座標
系０1 と同じとした視点座標系０1 ’における像Ｉ1 ’
を計算すればよい。
【００５２】Ｉ1 ＝−（ｘ1 ／ｘ z 1 ）ｆ Ｉ1 ’＝−（ｘ1 ’／ｘ z 1 ’）ｆ ｘ1 ’＝Ｒｘ1 であるから、 Ｉ1 ’＝−〔ＲＩ1 ／（ＲＩ1 ）z 〕ｆ となる。画素Ｉ1 を上述の式のように変換すれば、回転
による画像の変化はキャンセルされる。 〔並進運動からの奥行き算出〕 Ｉ2 ＝−（ｘ2 ／ｘ z 2 ）ｆ Ｉ1 ’（Ｉ2 ）＝−（ｘ1 ’／ｘ z 1 ’）ｆ ｘ2 ＝ｔ＋ｘ1 ’ であるから、 ｘ z 2 （Ｉ1 ’−Ｉ2 ）＝ｆｔ＋ｔz Ｉ1 ’ となる。Ｉ2 に対応する画素Ｉ1 ’分かれば、上述の式
によって奥行きが計算される。
による画像の変化はキャンセルされる。 〔並進運動からの奥行き算出〕 Ｉ2 ＝−（ｘ2 ／ｘ z 2 ）ｆ Ｉ1 ’（Ｉ2 ）＝−（ｘ1 ’／ｘ z 1 ’）ｆ ｘ2 ＝ｔ＋ｘ1 ’ であるから、 ｘ z 2 （Ｉ1 ’−Ｉ2 ）＝ｆｔ＋ｔz Ｉ1 ’ となる。Ｉ2 に対応する画素Ｉ1 ’分かれば、上述の式
によって奥行きが計算される。
【００５３】上述したように、本実施形態の表示装置１
によると、電気信号レベルでの実空間画像ＦＲと仮想空
間画像ＦＶとの融合が可能である。実空間画像ＦＲに基
づいて実空間距離画像ＦＲｄを計算するので、実世界の
３次元構造の推定を行ったりモデルフィッティングを行
ったりする場合と比較して計算コストが小さい。したが
って、処理時間が短くなって処理が高速に行え、リアル
タイム性において有利である。
によると、電気信号レベルでの実空間画像ＦＲと仮想空
間画像ＦＶとの融合が可能である。実空間画像ＦＲに基
づいて実空間距離画像ＦＲｄを計算するので、実世界の
３次元構造の推定を行ったりモデルフィッティングを行
ったりする場合と比較して計算コストが小さい。したが
って、処理時間が短くなって処理が高速に行え、リアル
タイム性において有利である。
【００５４】また、実空間画像ＦＲの各画素データを元
にして各画素の奥行き情報ＦＲｄを求めるので、実空間
画像ＦＲと実空間距離画像ＦＲｄとの位置合わせが不要
である。観察者ＢＳの視点からの距離を求めて実空間距
離画像ＦＲｄ及び仮想空間距離画像ＦＶｄを得るので、
実空間距離画像ＦＲｄと仮想空間距離画像ＦＶｄとの位
置合わせが不要である。１つのカメラ１２で撮影された
２枚の実空間画像ＦＲに基づいて実空間距離画像ＦＲｄ
を求めるので、２つのカメラで撮影された２枚の実空間
画像に基づく場合と比較すると、２つの画像間の対応位
置関係を検索する必要がなく検索スピードの点で有利で
ある。また、カメラ１２によって実空間画像ＦＲを撮影
する周期は３０分の１秒程度であるから、その間におけ
る観察者ＢＳの移動量は通常小さく、したがって２つの
画像間隔が小さくなり、画像上の移動ベクトルが小さ
い。点のトラッキングによる奥行き計測を行っているの
で、対応点検索の際に空間近傍の対応点検索結果だけで
なく、過去の計測結果をも利用し易い。
にして各画素の奥行き情報ＦＲｄを求めるので、実空間
画像ＦＲと実空間距離画像ＦＲｄとの位置合わせが不要
である。観察者ＢＳの視点からの距離を求めて実空間距
離画像ＦＲｄ及び仮想空間距離画像ＦＶｄを得るので、
実空間距離画像ＦＲｄと仮想空間距離画像ＦＶｄとの位
置合わせが不要である。１つのカメラ１２で撮影された
２枚の実空間画像ＦＲに基づいて実空間距離画像ＦＲｄ
を求めるので、２つのカメラで撮影された２枚の実空間
画像に基づく場合と比較すると、２つの画像間の対応位
置関係を検索する必要がなく検索スピードの点で有利で
ある。また、カメラ１２によって実空間画像ＦＲを撮影
する周期は３０分の１秒程度であるから、その間におけ
る観察者ＢＳの移動量は通常小さく、したがって２つの
画像間隔が小さくなり、画像上の移動ベクトルが小さ
い。点のトラッキングによる奥行き計測を行っているの
で、対応点検索の際に空間近傍の対応点検索結果だけで
なく、過去の計測結果をも利用し易い。
【００５５】また、実空間画像ＦＲ及び実空間距離画像
ＦＲｄを得るためのカメラ１２と表示部１３とが、すな
わち撮影手段としてのカメラ１２と距離測定手段として
のカメラ１２と表示手段としての表示部１３との合計３
つの手段が、観察者ＢＳの視線と実質的に同一視線上に
配置されているので、観察者ＢＳは画像を違和感なく観
察することができる。
ＦＲｄを得るためのカメラ１２と表示部１３とが、すな
わち撮影手段としてのカメラ１２と距離測定手段として
のカメラ１２と表示手段としての表示部１３との合計３
つの手段が、観察者ＢＳの視線と実質的に同一視線上に
配置されているので、観察者ＢＳは画像を違和感なく観
察することができる。
【００５６】また、位置検出センサ１５が、実空間距離
画像ＦＲｄの算出と、仮想空間画像ＦＶ及び仮想空間距
離画像ＦＶｄの供給とに兼用されているので、装置を安
価に且つ軽量に構成することができる。
画像ＦＲｄの算出と、仮想空間画像ＦＶ及び仮想空間距
離画像ＦＶｄの供給とに兼用されているので、装置を安
価に且つ軽量に構成することができる。
【００５７】上述の実施形態において、カメラ１２が本
発明の撮影手段に、位置検出センサ１５が本発明の位置
検出手段に、奥行き情報生成部２１２が本発明の実空間
距離画像生成手段及び距離測定手段に、仮想空間画像出
力部１６が本発明の第２情報出力手段に、奥行き情報生
成部１６２が本発明の仮想空間距離画像生成手段に、比
較部２２が本発明の比較手段に、選択部２３が本発明の
選択手段に、表示部１３が本発明の表示手段に、それぞ
れ対応する。
発明の撮影手段に、位置検出センサ１５が本発明の位置
検出手段に、奥行き情報生成部２１２が本発明の実空間
距離画像生成手段及び距離測定手段に、仮想空間画像出
力部１６が本発明の第２情報出力手段に、奥行き情報生
成部１６２が本発明の仮想空間距離画像生成手段に、比
較部２２が本発明の比較手段に、選択部２３が本発明の
選択手段に、表示部１３が本発明の表示手段に、それぞ
れ対応する。
【００５８】また、実空間画像ＦＲが本発明の第１の２
次元画像に、実空間距離画像ＦＲｄが本発明の第１の距
離情報に、仮想空間画像ＦＶが本発明の第２の２次元画
像に、仮想空間距離画像ＦＶｄが本発明の第２の距離情
報に、それぞれ対応する。
次元画像に、実空間距離画像ＦＲｄが本発明の第１の距
離情報に、仮想空間画像ＦＶが本発明の第２の２次元画
像に、仮想空間距離画像ＦＶｄが本発明の第２の距離情
報に、それぞれ対応する。
【００５９】上述の実施形態において、表示装置１の各
部又は全体の構成、処理内容、処理順序、処理タイミン
グなどは、本発明の主旨に沿って適宜変更することがで
きる。
部又は全体の構成、処理内容、処理順序、処理タイミン
グなどは、本発明の主旨に沿って適宜変更することがで
きる。
【００６０】
【発明の効果】請求項１乃至請求項５の発明によると、
ビデオ方式のＡＲにおいて、遮蔽関係を正しく表現する
ことができる。
ビデオ方式のＡＲにおいて、遮蔽関係を正しく表現する
ことができる。
【００６１】また、実空間画像に基づいて実空間画像の
画素の距離を求めるので計算コストが小さい。したがっ
て、処理時間が短くなって処理が高速に行え、リアルタ
イム性において有利である。
画素の距離を求めるので計算コストが小さい。したがっ
て、処理時間が短くなって処理が高速に行え、リアルタ
イム性において有利である。
【００６２】請求項２乃至請求項５の発明によると、実
空間画像の各画素データを元にして各画素の奥行きを求
めるので、実空間画像と実空間距離画像との位置合わせ
が不要である。観察者からの距離を求めて実空間距離画
像及び仮想空間距離画像を得るので、実空間距離画像と
仮想空間距離画像との位置合わせが不要である。
空間画像の各画素データを元にして各画素の奥行きを求
めるので、実空間画像と実空間距離画像との位置合わせ
が不要である。観察者からの距離を求めて実空間距離画
像及び仮想空間距離画像を得るので、実空間距離画像と
仮想空間距離画像との位置合わせが不要である。
【００６３】請求項３乃至請求項５の発明によると、１
つの撮影手段で撮影された複数の実空間画像に基づいて
実空間距離画像を求めるので、２つの画像間の対応位置
関係を検索する必要がなく検索スピードの点で有利であ
る。２つの画像間隔が小さくなり、画像上の移動ベクト
ルが小さい。
つの撮影手段で撮影された複数の実空間画像に基づいて
実空間距離画像を求めるので、２つの画像間の対応位置
関係を検索する必要がなく検索スピードの点で有利であ
る。２つの画像間隔が小さくなり、画像上の移動ベクト
ルが小さい。
【００６４】請求項４の発明によると、撮影手段、距離
測定手段、及び表示手段が、観察者の視線と実質的に同
一視線上に配置されているので、観察者は画像を違和感
なく観察することができる。
測定手段、及び表示手段が、観察者の視線と実質的に同
一視線上に配置されているので、観察者は画像を違和感
なく観察することができる。
【００６５】請求項５の発明によると、位置検出手段が
実空間距離画像の算出と仮想空間画像及び仮想空間距離
画像の供給とに兼用されているので、装置を安価に且つ
軽量に構成することができる。
実空間距離画像の算出と仮想空間画像及び仮想空間距離
画像の供給とに兼用されているので、装置を安価に且つ
軽量に構成することができる。
【図１】本発明に係る表示装置の全体的な構成の概略を
示すブロック図である。
示すブロック図である。
【図２】表示装置の遮蔽画素切替え部の構成を示すブロ
ック図である。
ック図である。
【図３】頭の回転運動のキャンセルを説明するための図
である。
である。
【図４】頭の移動にともなう奥行きの算出方法を説明す
るための図である。
るための図である。
【図５】運動視差による距離計測の算出方法を説明する
図である。
図である。
【図６】運動視差による距離計測の算出方法を説明する
図である。
図である。
【図７】従来の光学式のＳＴＨＭＤによるＡＲシステム
の原理を示す図である。
の原理を示す図である。
【図８】従来のビデオ方式のＳＴＨＭＤによるＡＲシス
テムの原理を示す図である。
テムの原理を示す図である。
１ 表示装置 １２ カメラ（撮影手段） １３ 表示部（表示手段） １５ 位置検出センサ（位置検出手段） １６ 仮想空間画像出力部（第２情報出力手段） ２２ 比較部（比較手段） ２３ 選択部（選択手段） １６２ 奥行き情報生成部（仮想空間距離画像生成手
段） ２１２ 奥行き情報生成部（実空間距離画像生成手段、
距離測定手段） ＦＲ 実空間画像（第１の２次元画像） ＲＲｄ 実空間距離画像（第１の距離情報） ＦＶ 仮想空間画像（第２の２次元画像） ＦＶｄ 仮想空間距離画像（第２の距離情報）
段） ２１２ 奥行き情報生成部（実空間距離画像生成手段、
距離測定手段） ＦＲ 実空間画像（第１の２次元画像） ＲＲｄ 実空間距離画像（第１の距離情報） ＦＶ 仮想空間画像（第２の２次元画像） ＦＶｄ 仮想空間距離画像（第２の距離情報）
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平８−322064（ＪＰ，Ａ) 特開 平８−212379（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) H04N 5/64 511 G06T 15/40
Claims (5)
- 【請求項１】実空間画像と仮想空間画像とを観察者に同
時に提示するために、前記観察者の眼と共役な位置に撮
影手段を配置し、前記撮影手段によって撮影した実空間
画像と仮想空間情報に基づく仮想空間画像とを表示する
方法であって、 前記仮想空間画像の画素と同じ位置にある実空間画像の
画素に対して、前記撮影手段により撮影される実空間画
像に基づいて前記観察者からの距離を求め、それによっ
て得られる前記実空間画像の距離と前記仮想空間情報に
基づく前記仮想空間画像の距離とを比較し、前記観察者
に近い方の画素を選択して表示する、 ことを特徴とする実空間画像と仮想空間画像の表示方
法。 - 【請求項２】実空間画像と仮想空間画像とを観察者に同
時に提示するための表示装置であって、 前記観察者の眼と共役な位置に配置される撮影手段と、 前記観察者の視点を検出する位置検出手段と、 前記撮影手段により撮影される実空間画像に基づいて実
空間画像の各画素に対応する距離情報である実空間距離
画像を生成する実空間距離画像生成手段と、 前記位置検出手段により検出される前記視点の位置と予
め記憶された仮想空間情報とに基づいて仮想空間画像の
各画素に対応する距離情報である仮想空間距離画像を生
成する仮想空間距離画像生成手段と、 前記実空間距離画像と前記仮想空間距離画像とを画素毎
に比較する比較手段と、 前記比較手段による比較結果に基づいて、前記実空間画
像と前記仮想空間画像とのうち前記視点に近い方の画素
の画像情報を選択する選択手段と、 選択された画像情報に基づく合成画像を表示する表示手
段と、 を有してなることを特徴とする表示装置。 - 【請求項３】前記実空間距離画像生成手段は、同一の前
記撮影手段により撮影される複数の実空間画像に基づい
て前記実空間距離画像を生成するものである、 請求項２記載の表示装置。 - 【請求項４】第１の２次元画像を撮影する撮影手段と、 前記第１の２次元画像の各画素に対応する第１の距離情
報を測定する距離測定手段と、 観察者の視点を検出する位置検出手段と、 前記位置検出手段の出力と予め記憶された情報とに基づ
いて、第２の２次元画像と前記第２の２次元画像の各画
素に対応する第２の距離情報とを出力する第２情報出力
手段と、 前記第１の距離情報と前記第２の距離情報とを画素毎に
比較する比較手段と、 前記比較手段の出力に基づいて、前記第１の２次元画像
と前記第２の２次元画像のうち前記視点に近い方の画素
の画像情報を選択する選択手段と、 選択された画像情報を前記第１の２次元画像と前記第２
の２次元画像との合成画像として表示する表示手段と、 を有し、 前記撮影手段、前記距離測定手段、及び前記表示手段
が、前記観察者の視線と実質的に同一視線上に配置され
ていることを特徴とする表示装置。 - 【請求項５】第１の２次元画像を撮影する撮影手段と、 前記第１の２次元画像の各画素に対応する第１の距離情
報を測定する距離測定手段と、 観察者の視点を検出する位置検出手段と、 前記位置検出手段の出力と予め記憶された情報とに基づ
いて、第２の２次元画像と前記第２の２次元画像の各画
素に対応する第２の距離情報とを出力する第２情報出力
手段と、 前記第１の距離情報と前記第２の距離情報とを画素毎に
比較する比較手段と、 前記比較手段の出力に基づいて、前記第１の２次元画像
と前記第２の２次元画像のうち前記視点に近い方の画素
の画像情報を選択する選択手段と、 選択された画像情報を前記第１の２次元画像と前記第２
の２次元画像との合成画像として表示する表示手段と、 を有し、 前記距離測定手段は、異なる位置から撮影した複数の前
記第１の２次元画像とそれぞれの位置における前記位置
検出手段の出力とに基づいて前記第１の距離情報を測定
することを特徴とする表示装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26593596A JP3338618B2 (ja) | 1996-10-07 | 1996-10-07 | 実空間画像と仮想空間画像の表示方法及び表示装置 |
| US08/896,973 US6045229A (en) | 1996-10-07 | 1997-07-18 | Method and apparatus for displaying real space and virtual space images |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26593596A JP3338618B2 (ja) | 1996-10-07 | 1996-10-07 | 実空間画像と仮想空間画像の表示方法及び表示装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10112831A JPH10112831A (ja) | 1998-04-28 |
| JP3338618B2 true JP3338618B2 (ja) | 2002-10-28 |
Family
ID=17424132
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP26593596A Expired - Fee Related JP3338618B2 (ja) | 1996-10-07 | 1996-10-07 | 実空間画像と仮想空間画像の表示方法及び表示装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6045229A (ja) |
| JP (1) | JP3338618B2 (ja) |
Families Citing this family (47)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6379009B1 (en) * | 1996-04-24 | 2002-04-30 | James L. Fergason | Conjugate optics projection display with image enhancement |
| JPH10232626A (ja) * | 1997-02-20 | 1998-09-02 | Canon Inc | 立体画像表示装置 |
| CA2233047C (en) * | 1998-02-02 | 2000-09-26 | Steve Mann | Wearable camera system with viewfinder means |
| US6614408B1 (en) | 1998-03-25 | 2003-09-02 | W. Stephen G. Mann | Eye-tap for electronic newsgathering, documentary video, photojournalism, and personal safety |
| JP4100531B2 (ja) * | 1998-08-11 | 2008-06-11 | 株式会社東京大学Ｔｌｏ | 情報提示方法及び装置 |
| DE50007901D1 (de) * | 1999-03-02 | 2004-10-28 | Siemens Ag | Nutzung von augmented reality-basistechnologien zur situationsgerechten unterstützung des facharbeiters durch entfernte experten |
| EP1325460A4 (en) * | 2000-08-11 | 2009-03-25 | Fraunhofer Ges Forschung | VIRTUAL COSTS |
| CN1463374A (zh) * | 2001-03-30 | 2003-12-24 | 皇家菲利浦电子有限公司 | 用于实景增补的方法、系统和装置 |
| US7079139B2 (en) * | 2001-07-02 | 2006-07-18 | Kaon Interactive, Inc. | Method and system for measuring an item depicted in an image |
| JP3594915B2 (ja) * | 2001-08-03 | 2004-12-02 | 株式会社ナムコ | プログラム、情報記憶媒体及びゲーム装置 |
| US20040135744A1 (en) * | 2001-08-10 | 2004-07-15 | Oliver Bimber | Virtual showcases |
| US7427996B2 (en) * | 2002-10-16 | 2008-09-23 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
| JP4503945B2 (ja) * | 2003-07-04 | 2010-07-14 | 独立行政法人科学技術振興機構 | リモート観測装置 |
| JP4522129B2 (ja) * | 2004-03-31 | 2010-08-11 | キヤノン株式会社 | 画像処理方法および画像処理装置 |
| US20060050070A1 (en) * | 2004-09-07 | 2006-03-09 | Canon Kabushiki Kaisha | Information processing apparatus and method for presenting image combined with virtual image |
| US7479967B2 (en) * | 2005-04-11 | 2009-01-20 | Systems Technology Inc. | System for combining virtual and real-time environments |
| JP5119636B2 (ja) * | 2006-09-27 | 2013-01-16 | ソニー株式会社 | 表示装置、表示方法 |
| JP4607208B2 (ja) * | 2007-05-23 | 2011-01-05 | コワングウーン ユニバーシティー リサーチ インスティテュート フォー インダストリー コーオペレーション | 立体映像ディスプレイ方法 |
| US8396248B2 (en) * | 2008-09-16 | 2013-03-12 | Varian Medical Systems, Inc. | Sequential stereo imaging for estimating trajectory and monitoring target position |
| JP5210102B2 (ja) * | 2008-09-22 | 2013-06-12 | セーレン株式会社 | 仮想試着装置 |
| JP4679661B1 (ja) | 2009-12-15 | 2011-04-27 | 株式会社東芝 | 情報提示装置、情報提示方法及びプログラム |
| US9097891B2 (en) | 2010-02-28 | 2015-08-04 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment |
| US9341843B2 (en) | 2010-02-28 | 2016-05-17 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses with a small scale image source |
| US9229227B2 (en) | 2010-02-28 | 2016-01-05 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses with a light transmissive wedge shaped illumination system |
| US9091851B2 (en) | 2010-02-28 | 2015-07-28 | Microsoft Technology Licensing, Llc | Light control in head mounted displays |
| US10180572B2 (en) | 2010-02-28 | 2019-01-15 | Microsoft Technology Licensing, Llc | AR glasses with event and user action control of external applications |
| US9134534B2 (en) | 2010-02-28 | 2015-09-15 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses including a modular image source |
| US9759917B2 (en) | 2010-02-28 | 2017-09-12 | Microsoft Technology Licensing, Llc | AR glasses with event and sensor triggered AR eyepiece interface to external devices |
| US20130278631A1 (en) * | 2010-02-28 | 2013-10-24 | Osterhout Group, Inc. | 3d positioning of augmented reality information |
| US9129295B2 (en) | 2010-02-28 | 2015-09-08 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear |
| US9366862B2 (en) | 2010-02-28 | 2016-06-14 | Microsoft Technology Licensing, Llc | System and method for delivering content to a group of see-through near eye display eyepieces |
| US20120194550A1 (en) * | 2010-02-28 | 2012-08-02 | Osterhout Group, Inc. | Sensor-based command and control of external devices with feedback from the external device to the ar glasses |
| US20120249797A1 (en) | 2010-02-28 | 2012-10-04 | Osterhout Group, Inc. | Head-worn adaptive display |
| US9182596B2 (en) | 2010-02-28 | 2015-11-10 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light |
| US9128281B2 (en) | 2010-09-14 | 2015-09-08 | Microsoft Technology Licensing, Llc | Eyepiece with uniformly illuminated reflective display |
| US9223134B2 (en) | 2010-02-28 | 2015-12-29 | Microsoft Technology Licensing, Llc | Optical imperfections in a light transmissive illumination system for see-through near-eye display glasses |
| US20150309316A1 (en) | 2011-04-06 | 2015-10-29 | Microsoft Technology Licensing, Llc | Ar glasses with predictive control of external device based on event input |
| US9097890B2 (en) | 2010-02-28 | 2015-08-04 | Microsoft Technology Licensing, Llc | Grating in a light transmissive illumination system for see-through near-eye display glasses |
| US9285589B2 (en) | 2010-02-28 | 2016-03-15 | Microsoft Technology Licensing, Llc | AR glasses with event and sensor triggered control of AR eyepiece applications |
| WO2011106798A1 (en) | 2010-02-28 | 2011-09-01 | Osterhout Group, Inc. | Local advertising content on an interactive head-mounted eyepiece |
| US9557812B2 (en) * | 2010-07-23 | 2017-01-31 | Gregory A. Maltz | Eye gaze user interface and calibration method |
| TWI531495B (zh) * | 2012-12-11 | 2016-05-01 | Automatic Calibration Method and System for Vehicle Display System | |
| US11109015B2 (en) * | 2014-09-08 | 2021-08-31 | Sony Corporation | Display apparatus, display apparatus driving method, and electronic instrument |
| US9934573B2 (en) | 2014-09-17 | 2018-04-03 | Intel Corporation | Technologies for adjusting a perspective of a captured image for display |
| US11118930B2 (en) * | 2017-07-14 | 2021-09-14 | Lyft, Inc. | Providing information to users of a transportation system using augmented reality elements |
| WO2020115815A1 (ja) * | 2018-12-04 | 2020-06-11 | マクセル株式会社 | ヘッドマウントディスプレイ装置 |
| JP7349793B2 (ja) * | 2019-02-15 | 2023-09-25 | キヤノン株式会社 | 画像処理装置および画像処理方法、プログラム |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2060406C (en) * | 1991-04-22 | 1998-12-01 | Bruce Edward Hamilton | Helicopter virtual image display system incorporating structural outlines |
| US5712732A (en) * | 1993-03-03 | 1998-01-27 | Street; Graham Stewart Brandon | Autostereoscopic image display adjustable for observer location and distance |
| US5815411A (en) * | 1993-09-10 | 1998-09-29 | Criticom Corporation | Electro-optic vision system which exploits position and attitude |
| US5515122A (en) * | 1993-06-30 | 1996-05-07 | Canon Kabushiki Kaisha | Image displaying apparatus |
| US5491510A (en) * | 1993-12-03 | 1996-02-13 | Texas Instruments Incorporated | System and method for simultaneously viewing a scene and an obscured object |
| US5483307A (en) * | 1994-09-29 | 1996-01-09 | Texas Instruments, Inc. | Wide field of view head-mounted display |
-
1996
- 1996-10-07 JP JP26593596A patent/JP3338618B2/ja not_active Expired - Fee Related
-
1997
- 1997-07-18 US US08/896,973 patent/US6045229A/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US6045229A (en) | 2000-04-04 |
| JPH10112831A (ja) | 1998-04-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3338618B2 (ja) | 実空間画像と仮想空間画像の表示方法及び表示装置 | |
| US6389153B1 (en) | Distance information generator and display device using generated distance information | |
| JP3745117B2 (ja) | 画像処理装置及び画像処理方法 | |
| Bajura et al. | Dynamic registration correction in video-based augmented reality systems | |
| JP3728160B2 (ja) | 奥行き画像計測装置及び方法、並びに複合現実感提示システム | |
| JPH10327433A (ja) | 合成画像の表示装置 | |
| Bajura et al. | Dynamic registration correction in augmented-reality systems | |
| JP3593466B2 (ja) | 仮想視点画像生成方法およびその装置 | |
| KR0153214B1 (ko) | 입체화상촬상 및 표시장치 | |
| JP2998791B2 (ja) | 三次元構造推定装置 | |
| US6151009A (en) | Method and apparatus for merging real and synthetic images | |
| US6891518B2 (en) | Augmented reality visualization device | |
| Takagi et al. | Development of a stereo video see-through HMD for AR systems | |
| JP3089306B2 (ja) | 立体画像撮像及び表示装置 | |
| Sauer et al. | Augmented workspace: Designing an AR testbed | |
| JPH11155152A (ja) | 三次元形状情報入力方法及び装置及び画像入力装置 | |
| JP3450792B2 (ja) | 奥行き画像計測装置及び方法、並びに複合現実感提示システム | |
| JPH09238369A (ja) | ３次元像表示装置 | |
| JP2004510271A (ja) | スクリーンに表示される画像を提供する方法及び装置 | |
| JPH07129792A (ja) | 画像処理方法および画像処理装置 | |
| JPH09245195A (ja) | 画像処理方法およびその装置 | |
| JP2849313B2 (ja) | 画像記録再生装置 | |
| Ohta et al. | Share-Z: Client/server depth sensing for see-through head-mounted displays | |
| JPH06235885A (ja) | 立体映像表示装置 | |
| JPH1097642A (ja) | 画像処理方法及び装置及び記憶媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313115 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070809 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080809 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080809 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090809 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090809 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100809 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110809 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110809 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120809 Year of fee payment: 10 |
|
| LAPS | Cancellation because of no payment of annual fees |