JP4298407B2 - 映像合成装置及び映像合成方法 - Google Patents
映像合成装置及び映像合成方法 Download PDFInfo
- Publication number
- JP4298407B2 JP4298407B2 JP2003204813A JP2003204813A JP4298407B2 JP 4298407 B2 JP4298407 B2 JP 4298407B2 JP 2003204813 A JP2003204813 A JP 2003204813A JP 2003204813 A JP2003204813 A JP 2003204813A JP 4298407 B2 JP4298407 B2 JP 4298407B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- removal
- unit
- area
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
- H04N5/44504—Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/4104—Peripherals receiving signals from specially adapted client devices
- H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
- H04N21/4143—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a Personal Computer [PC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/4223—Cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/426—Internal components of the client ; Characteristics thereof
- H04N21/42653—Internal components of the client ; Characteristics thereof for processing graphics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
- H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
- H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Databases & Information Systems (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
- Studio Circuits (AREA)
- Controls And Circuits For Display Device (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、現実世界の映像にコンピュータにより生成された映像や情報（ＣＧ: Computer Graphics）を重畳する映像合成装置及び映像合成方法に関し、特に体験者が注目したい現実空間の領域上へのＣＧ表示制御に関する。
【０００２】
【従来の技術】
現実世界の映像にＣＧを重畳した映像を用いて、様々な行動を支援する技術は拡張現実感（ＡＲ: Augmented Reality）や複合現実感（ＭＲ: Mixed Reality）に関する技術として、活発に研究されている。例えば、患者の体内の様子を透視しているように医師に提示する医療補助の用途や、工場において製品の組み立て手順を実物に重ねて表示する作業補助の用途、また、現実風景に地名や名称などを案内表示する用途などがある。
【０００３】
【非特許文献１】
G. Reitmayr and D. Schmalstieg. "Mobile Collaborative Augmented Reality" In Proc. IEEE Virtual Reality 2001, pages 114-123
【特許文献１】
特開２０００−２７６６１０号公報
【０００４】
【発明が解決しようとする課題】
ところで、ＣＧが重畳表示されることにより、ＣＧで隠されて見えなくなってしまう現実空間領域が出てくる。隠されてしまう領域が体験者の興味のない領域であれば問題はないが、従来はそのような考慮は何らなされていないため、たとえ体験者が注目したい現実空間領域であっても、予め設定された内容に従い、ＣＧが重畳されてしまっていた。
【０００５】
非特許文献１では、ＡＲシステムにおけるＣＧ表示位置に関する分類（Head-stabilized:ユーザの視点に応じて情報を固定、Body-stabilized:ユーザの身体の位置に応じて情報を固定、World-stabilized:現実世界の位置にあわせて情報をあわせる）から、特にモバイルＡＲシステムにおける、適切なＣＧ表示位置の考察がなされている。また、特許文献１ではエージェント表示などに関して、ユーザに不快感を与えることなく使いやすいエージェントキャラを表示するシステムが考案されている。しかし両者とも、ＣＧ表示場所についてはなんらかのヒューリスティックス（経験則）を利用しており、注目現実空間がＣＧに覆い隠されてしまった場合については考慮していない。
【０００６】
また、特定の現実物体（例えば体験者の手など）を常に見えるように表示する技術（マスク処理技術）も、例えばクロマキー技術などを用いて実現されている。しかし、現実世界は刻々と変化しており、体験者は常に同じ現実物体に注目しているわけではない。
【０００７】
このような状況から、体験者が観察したい現実空間領域がＣＧで隠された場合、体験者は（１）ＨＭＤを取り外したり、可能であれば、（２）ＣＧと実写とを切り替えて表示したり、さらに可能であれば、（３）（邪魔なＣＧを構成している）仮想物体を選択して、他の場所へ移動することが一般的である。（２）では全てのＣＧを一斉に表示／非表示するため、一部のＣＧのみを選択的に表示することができず、また（３）では、仮想物体を「選択して移動する」というわずらわしい操作が必要である。
【０００８】
本発明はこのような従来技術の問題点に鑑みなされたものであり、その目的は、体験者の観察する現実世界に、コンピュータにより生成された画像を重畳する映像合成装置において、簡便な設定により、体験者が注目したい現実空間領域にＣＧ表示を行わないように制御可能な映像合成装置を実現することにある。
【０００９】
【課題を解決するための手段】
すなわち、本発明の要旨は、体験者の観察する現実世界の撮像画像に仮想画像を重畳した合成画像を生成する映像合成方法であって、画像入力手段が、撮像画像を入力する画像入力工程と、位置姿勢情報入力手段が、体験者の視点の位置・姿勢情報を入力する位置姿勢情報入力工程と、仮想画像生成手段が、位置・姿勢情報に基づいて仮想画像を生成する仮想画像生成工程と、除去領域抽出手段が、体験者の除去領域指定指示を、撮像画像から検出し、当検出した指示に基づき、仮想画像の除去領域の位置を設定する除去領域抽出工程と、合成手段が、撮像画像の領域のうち、除去領域を除く領域に対して仮想画像を重畳し、合成画像を生成する合成工程とを有することを特徴とする映像合成方法に存する。
【００１０】
また、本発明の別の要旨は、体験者の観察する現実世界の撮像画像に仮想画像を重畳した合成画像を生成する映像合成装置であって、撮像画像を入力する画像入力手段と、体験者の視点の位置・姿勢情報を入力する位置姿勢情報入力手段と、位置・姿勢情報に基づいて仮想画像を生成する仮想画像生成手段と、体験者の除去領域指定指示を、撮像画像から検出し、当検出した指示に基づき、仮想画像の除去領域の位置を設定する除去領域抽出手段と、撮像画像の領域のうち、除去領域を除く領域に対して仮想画像を重畳し、合成画像を生成する合成手段とを有することを特徴とする映像合成装置に存する。
【００１２】
また、本発明の別の要旨は、コンピュータを、体験者の観察する現実世界の撮像画像に仮想画像を重畳した合成画像を生成する映像合成装置であって、撮像画像を入力する画像入力手段と、体験者の視点の位置および姿勢情報の少なくとも一方を入力する位置姿勢情報入力手段と、位置および姿勢情報の少なくとも一方に基づいて仮想画像を生成する仮想画像生成手段と、体験者の除去領域指定指示を、撮像画像から検出し、当検出した指示に基づき、仮想画像の除去領域の位置を設定する除去領域抽出手段と、撮像画像の領域のうち、除去領域を除く領域に対して仮想画像を重畳し、合成画像を生成する合成手段とを有することを特徴とする映像合成装置として機能させるためのプログラムに存する。
【００１３】
また、本発明の別の要旨は、コンピュータを、体験者の観察する現実世界の撮像画像に仮想画像を重畳した合成画像を生成する映像合成装置であって、撮像画像を入力する画像入力手段と、体験者の視点の位置および姿勢情報の少なくとも一方を入力する位置姿勢情報入力手段と、位置および姿勢情報の少なくとも一方に基づいて仮想画像を生成する仮想画像生成手段と、体験者の除去領域指定指示を、撮像画像から検出し、当検出した指示に基づき、仮想画像の除去領域の位置を設定する除去領域抽出手段と、撮像画像の領域のうち、除去領域を除く領域に対して仮想画像を重畳し、合成画像を生成する合成手段とを有することを特徴とする映像合成装置として機能させるためのプログラムを格納したコンピュータ読み取り可能な記録媒体に存する。
【００１４】
【発明の実施の形態】
以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。
（第１の実施形態）
本発明の第１の実施形態に係る映像合成装置の一例は、体験者が表示装置を装着して風景を眺めると、それに対応した位置情報や名称が補助表示されるＭＲシステムである。
【００１５】
本実施形態において、表示装置には、位置・姿勢計測可能なビデオシースルーＨＭＤを用いる。つまり、ＨＭＤには位置・姿勢計測センサおよびカメラが内蔵されており、体験者の略視点位置からの映像が体験者頭部の位置・姿勢情報（厳密にはカメラの位置・姿勢）とともに取得可能である。
【００１６】
また、本実施形態において、体験者がＣＧを重畳表示させたくない領域（ＣＧ除去領域）を指定することを可能とするために、マーカーとＣＧ除去領域とを対応付けたユーザインタフェース（以下ＣＧ除去フレームと呼ぶ。）を用いる。体験者の視点位置からの映像から、ＣＧ除去フレームに付加されたマーカーを抽出することにより、ＣＧ除去領域が抽出できる。
【００１７】
図２に、ＣＧ除去フレーム（マーカーとＣＧ除去領域との対応付け）の例を示す（ここでは簡単のため、ＣＧ除去フレームはＨＭＤに設けられたカメラ（撮像部）の撮像面と平行となるように用いるという拘束を加える）。小さい円がマーカーであり、斜線部がＣＧ除去領域である。斜線部は切り抜かれていても、存在していても良い。ＣＧ除去フレームは体験者が手に持つ柄の部分２１と、フレーム部分２２とから構成され、体験者は図１（ａ）に示す様な重畳画像を観察している際、例えば「教会」という吹き出し上の重畳画像を除去したい場合には、このフレームを眼前にかざし、カメラで撮影された現実空間画像を見ながらフレームを所望の位置（ＣＧを表示させたくない領域）に合わせる。
【００１８】
後述するように、フレームに設けられたマーカーからフレームで指定される領域が求まり、当該領域にはＣＧを重畳しないようにすることで、図１（ｂ）に示すように、重畳画像で隠されていた現実世界の画像を見ることができる。後述する第２の実施形態では表示装置が光学シースルータイプであるが、現実世界が表示装置を透かして直接観察されるか、撮影された画像であるかを除けば、同様である。
【００１９】
図２（ａ）では、四角形のフレームの４角それぞれに３つのマーカーが１セットとして付加されている。どれか１セットのマーカーが抽出されれば、ＣＧ除去領域が算出できる。また、（ｂ）ではマーカーが円型フレームを囲むように付加されている。３点が決まれば１つの円が決まることから、任意の３つのマーカーが抽出できれば、その内部をＣＧ除去領域として算出できる。（ｃ）は（ｂ）のマーカーを３点に絞ったものである。ＣＧ除去フレームにマーカーがたくさん付加するのがわずらわしいときに有効である。（ｄ）では、方向性のあるマーカーの先の領域（例えば円）をＣＧ除去領域として定義している。ＣＧ描画部とＣＧ除去領域との境目にマーカーを置きたくない場合に有効である。
【００２０】
フレームの色は任意であるが、マーカーは検出を容易にするため一般に現実物体で使われないような蛍光色等が使われることを考慮すると、マーカーと対照的な色であることが好ましい。また、フレームの大きさ（ＣＧ除去領域の大きさ）は任意であるが、あまり大きいとＣＧ除去領域が大きくなりすぎ、視野に含まれるＣＧの大半が表示されなくなってしまい、逆に小さすぎると位置の調整が難しくなるため、一般的な手の長さを考慮（カメラからフレームまでの距離によって撮影画像中に占めるフレームの割合が変化するため、変化しうる範囲を考慮）して、適切な大きさを設定する。
【００２１】
図３は本発明の第１の実施形態に係る映像合成装置の一例としてのＭＲシステムの概略構成例を示すブロック図である。
撮像部１は、ここではＨＭＤに内蔵されたカメラである。撮像部１は体験者の右目及び左目が観察する現実空間の映像をそれぞれ撮影し、撮影映像を映像信号として撮影映像取込部２に出力する。なお、本明細書においては説明を簡単にするため、特に左目用画像と右目用画像の処理を分けて説明しないが、ＨＭＤに表示するための左目用合成画像と右目用合成画像を生成するため、実際には左目、右目用の２系統の処理が行われることは言うまでもない。
【００２２】
撮影映像取込部２は、撮像部１より入力された映像信号を映像合成部６およびＣＧ除去領域抽出部３に適した形式に変換して、映像合成部６およびＣＧ除去領域抽出部３に送出する。
【００２３】
ＣＧ除去領域抽出部３では、撮影映像取込部２より入力された映像から、上述したＣＧ除去フレームに付加されたマーカーを抽出し、ＣＧ除去領域を抽出する。映像上の除去領域をそのままＣＧ除去領域とすればよい。そして除去領域抽出部３は、抽出したＣＧ除去領域を映像合成部６に出力する。
【００２４】
撮影位置・姿勢計測部４は、ここではＨＭＤに内蔵されており、撮像部１の位置・姿勢情報をＣＧ生成部５からの要求に応じて、又はＣＧ生成部５からの要求なしにＣＧ生成部５に送出する。撮影位置・姿勢計測部４は、例えば地磁気センサやジャイロ、光学式のセンサを利用することが考えられる。
【００２５】
ＣＧ生成部５は、撮影位置・姿勢計測部４から撮像部１の位置・姿勢情報を取り出して撮像部１の位置・撮影方向を推定する。撮像部１の位置・撮影方向が推定できれば撮像部１のレンズパラメータから視野が求まるため、ＣＧ生成部５はデータ部７から撮像部１の視野に入る部分のデータを取り出し、撮像部１で撮影した映像に表示すべきＣＧを生成し、映像合成部６に出力する。
【００２６】
映像合成部６は、撮影映像取込部２から撮影映像を、ＣＧ生成部５からＣＧを、ＣＧ除去領域抽出部３からＣＧ除去領域をそれぞれ読み込む。そして、撮影映像取込部２からの撮影映像にＣＧ生成部５からのＣＧを合成する。この際、ＣＧ除去領域抽出部３から得たＣＧ除去領域に重なる部分にはＣＧを描画しない。これにより、ＣＧ除去領域のみのＣＧが除去された合成映像が生成される。
【００２７】
ＣＧ除去フレームの形状（デザイン）を、虫眼鏡等とすれば、見かけと機能が一致し、ユーザインタフェースとしてより好ましい。また、ＣＧ除去領域にＣＧは描画しないのではなく、例えばＣＧ除去フレームの種類に応じて、透明度の高いＣＧを描画（透明度を示すα成分値を操作）したり、ＣＧを点滅させて描画したりといったことも可能である。映像合成部６で生成されたＣＧは表示部８（本実施形態においてはＨＭＤ）に送出する。
【００２８】
データ部７は、たとえばハードディスクから構成され、ＣＧ生成部５に引き渡すデータを所持する。データ部７に格納されるデータとしては、たとえばテキスト情報やパノラマ映像、三次元ＣＧ（コンピュータグラフィックス）データ等といったものが考えられる。データ部７はＣＧ生成部５からの要求に応じて適切なデータをＣＧ生成部５に送出する。たとえばＣＧ生成部５が撮像部１の視野に合成する三次元ＣＧデータを要求してきた時に、データ部７は格納されている三次元ＣＧデータの中から撮像部１の視野に含まれる三次元ＣＧデータを取り出して送出する。なお、データ部７はハードディスクに限らず、データを保持することができる媒体であれば何でもよく、たとえばテープやメモリなどで構成してもよい。
【００２９】
表示部８は本実施形態においてはＨＭＤである。映像合成部６から送出された合成映像信号を表示する。なお、本実施形態に係るＭＲシステムにおいても、従来知られるＭＲシステムのように、ＨＭＤは右目用画像表示部と左目用画像表示部とを有し、映像合成部６においては右目用の表示画像と左目用の表示画像を生成してＨＭＤへ供給することにより、体験者は３次元ＣＧ表示を体験することが可能である。
【００３０】
以上の様な構成を備えた、本発明の第１の実施形態に係る映像合成装置の一例としてのＭＲシステムの動作について、図４に示すフローチャートを用いて以下説明する。なお、データ部７には予め必要なデータが格納されているものとする。
【００３１】
まず、ステップＳ１でシステムが起動される。
ステップＳ２で撮像部１から映像が取得され、取得された撮影映像は撮影映像取込部２で適切なフォーマットに変換され、映像合成部６およびＣＧ除去領域抽出部３に送られる。
ステップＳ３で、ＣＧ除去領域抽出部３に読み込まれた撮影映像からマーカーが抽出され、ＣＧ除去領域が算出される。そして算出されたＣＧ除去領域が映像合成部６に送られる。
【００３２】
ステップＳ４では撮影位置・姿勢計測部４が撮像部１の位置・姿勢を計測し、計測された位置・姿勢情報はＣＧ生成部５に送られる。
ステップＳ５ではＣＧ生成部５が、撮影位置・姿勢計測部４から送出された位置・姿勢情報から撮像部１の視野を推定し、データ部７から撮像部１の視野に含まれる範囲のデータを取得する。
【００３３】
ステップＳ６ではデータ部７から取得したデータを用いてＣＧ生成部５がＣＧを生成する。生成した映像は映像合成部６に送られる。
ステップＳ７では、映像合成部６において撮影映像取込部２から送出された撮影映像と、ＣＧ生成部５から送出されたコンピュータ映像が合成される。この際、ＣＧ除去領域抽出部３からの送出されたＣＧ除去領域の部分にはＣＧを合成しない。これにより、ＣＧ除去領域のＣＧが除去された合成映像が生成される。合成された合成映像は表示部８に送られる。
【００３４】
ステップＳ８では映像合成部６から送出されてきた映像情報を表示部８が表示する。
その後ステップＳ９でシステムを終了するかどうかがチェックされ、システムを終了させる場合はステップＳ１０でシステムを終了させ、終了させない場合にはステップＳ２に戻り、上述の処理を繰り返す。
【００３５】
以上のように、第１の実施形態によれば、たとえば体験者がＨＭＤを装着して風景を眺めると、それに対応した位置情報や名称が補助表示されるＭＲシステムにおいて、注目現実物体がＣＧで隠されてしまった場合においても、ＣＧ除去フレームを対応する位置にかざすだけで、注目現実物体が観察可能となる。
【００３６】
（第２の実施形態）
本発明の第２の実施形態に係る映像合成装置の一例は、患者の体内の様子を透視しているように医師に提示する医療補助システムである。ここでは表示装置として、光学シースルーＨＭＤを用いる。ビデオシースルーＨＭＤでは現実世界の表示解像度に限界があるためである。
【００３７】
また、ＣＧ除去領域を指定するＵＩとして、本実施形態においては位置・姿勢の入力装置、ここではスタイラスを用いる。図５は、スタイラスの例を示す図である。スタイラス５１は例えばペン形状を有し、内部に位置・姿勢センサが設けられている。位置・姿勢センサが検出する位置とスタイラス先端との距離ｄとから、スタイラス先端位置が推定され、この先端位置と、検出されるスタイラスの傾きθから、スタイラスの先端で指定される領域が求められる。本実施形態においては、スタイラスの先端に接する仮想円５２に対応する領域をＣＧ除去指定領域とする。実際には、スタイラスの傾きθに応じてこの仮想円５２から求まる楕円領域がＣＧ除去領域とする。なお、スタイラスの傾き（姿勢情報）が得られない場合は、仮想円５２をそのまま用いてよい。スタイラスの位置、姿勢情報及び図示しないＯＮ−ＯＦＦスイッチの情報は、スタイラスに接続された信号線や、発信機を通じて外部から取得することが可能である。
【００３８】
本実施形態において、位置・姿勢入力装置をＵＩとして用いた理由は、
（１）光学シースルーＨＭＤには、ビデオシースルーＨＭＤとは異なり、一般にカメラが内蔵されていないため、（第１の実施形態に挙げた）画像処理によるＣＧ除去領域指定の実現には、新たにカメラが必要となってしまう。
（２）手術補助システムでは、医師が患部周囲の状態や患部と手術器具との位置関係等を常に把握できるよう、これらの位置関係をリアルタイムにセンサ等で計測して医師に提示することが重要である。よって位置・姿勢計測がある程度正確に行える環境が提供されていると想定される。
（３）手術支援システムを利用して手術する場合、患部周辺はＣＧの補助を必要とするとしても、
−手元のごく近くまでＣＧを表示したい場合と、
−手元のごく近くはＣＧを表示したくない場合
が混在すると考えられるからである。
【００３９】
このような場合を考慮して、スタイラスのＯＮ−ＯＦＦボタンをＣＧ除去領域定義のＯＮ−ＯＦＦに割り当てることができる。
また、手術器具に位置・姿勢センサを設ければ、ただ単に「センサ付きの手術道具」と「センサなしの手術道具」とを持ち換えることで、簡単にＣＧ表示方法の切り替えを行うことができる。
【００４０】
図６は本発明の第２の実施形態に係るＭＲシステムの概略構成例を示すブロック図である。
頭部位置・姿勢計測部１４は、後述する表示部１８としてのＨＭＤに内蔵されており、体験者頭部の位置・姿勢情報をＣＧ除去領域抽出部１３およびＣＧ生成部１５からの要求に応じて、又はＣＧ除去領域抽出部１３およびＣＧ生成部１５からの要求なしに、頭部位置・姿勢情報をＣＧ除去領域抽出部１３およびＣＧ生成部１５に送出する。頭部位置・姿勢計測部１４は、例えば地磁気センサやジャイロや光学式のセンサを利用することが考えられる。
【００４１】
スタイラス状態検出部１９は、スタイラス情報（位置・姿勢・ボタンのオンオフなど）をスタイラス２０から取得し、ＣＧ除去領域抽出部１３からの要求に応じて、又はＣＧ除去領域抽出部１３からの要求なしにＣＧ除去領域抽出部１３に送出する。
【００４２】
ＣＧ除去領域抽出部１３では、頭部位置・姿勢計測部１４より入力された位置・姿勢データおよびスタイラス状態検出部１９より入力されたスタイラス情報から、ＣＧ除去領域を算出する。上述のように、本実施形態においては、頭部の位置・姿勢とスタイラスの位置・姿勢から、画像面上でのスタイラス先端位置および、画像面に対するスタイラスの姿勢が算出できる。そこで、スタイラスの先端から画像面上に広がる楕円（画像面に対するスタイラスの姿勢情報から楕円率を決定）領域をＣＧ除去領域と定義する。ＣＧ除去領域抽出部１３は、抽出したＣＧ除去領域を映像合成部１６に出力する。
【００４３】
ＣＧ生成部１５は、頭部位置・姿勢計測部１４から頭部位置・姿勢情報を取り出して頭部位置・方向を推定する。位置・姿勢が推定できれば体験者の視野が求まるため、ＣＧ生成部１５はデータ部１７から体験者の視野に入る部分のデータを取り出し、体験者の視野に重なるＣＧを生成し、映像合成部１６に出力する。
【００４４】
映像合成部１６は、ＣＧ生成部１５からＣＧを、ＣＧ除去領域抽出部１３からはＣＧ除去領域をそれぞれ読み込む。そしてＣＧ生成部１５からのＣＧからＣＧ除去領域抽出部１３からのＣＧ除去領域データに基づいて、ＣＧを合成する。映像合成部１６で生成されたＣＧは表示部１８に送出する。
【００４５】
データ部１７は、たとえばハードディスクから構成され、ＣＧ生成部１５に引き渡すデータを所持する。データ部１７に格納されるデータとしては、たとえばテキスト情報やパノラマ映像、三次元ＣＧデータ等といったものが考えられる。データ部１７はＣＧ生成部１５からの要求に応じて適切なデータをＣＧ生成部１５に送出する。たとえばＣＧ生成部１５が体験者視野に合成する三次元ＣＧデータを要求してきた時に、データ部１７は格納されている三次元ＣＧデータの中から体験者の視野に含まれる三次元ＣＧデータを取り出して送出する。なお、データ部１７はハードディスクに限らず、データを保持することができる媒体であれば何でもよく、たとえばテープやメモリなどで構成してもよい。
【００４６】
表示部１８はここでは光学シースルーＨＭＤである。映像合成部１６から送出された合成映像信号を、例えばハーフミラー上に投影することにより、ハーフミラーを透かして見える現実世界に重畳して表示する。
【００４７】
以上の様な構成を備えた、本発明の第２の実施形態に係る映像合成装置の一例としてのＭＲシステムの動作について、図７に示すフローチャートを用いて以下説明する。なお、データ部１７には予め必要なデータが格納されているものとする。
【００４８】
まず、ステップＳ１１でシステムが起動される。
ステップＳ１２ではスタイラス状態検出部１９がスタイラスの状態を検知し、検知された情報はＣＧ除去領域抽出部１３に送られる。
ステップＳ１３では頭部位置・姿勢計測部１４が体験者の位置・姿勢を計測し、計測された位置・姿勢情報はＣＧ除去領域抽出部１３およびＣＧ生成部１５に送られる。
【００４９】
ステップＳ１４では、スタイラス状態検出部１９より入力されたスタイラス位置・姿勢情報および、頭部位置・姿勢計測部１４から入力された頭部位置・姿勢情報に基づいて、ＣＧ除去領域抽出部１３がＣＧ除去領域を算出する。このＣＧ除去領域は映像合成部１６に送られる。
ステップＳ１５ではＣＧ生成部１５が、頭部位置・姿勢計測部１４から送出された頭部位置・姿勢情報から体験者の視野を推定し、データ部１７から体験者の視野に含まれる範囲のデータを取得する。
【００５０】
ステップＳ１６ではデータ部１７から取得したデータを用いてＣＧ生成部１５がＣＧを生成する。生成した映像は映像合成部１６に送られる。
ステップＳ１７では、映像合成部１６においてＣＧ生成部１７から送出されたコンピュータ映像が、ＣＧ除去領域抽出部１３からのＣＧ除去領域データに基づいて合成される（ＣＧ除去領域抽出部１３から送出されたＣＧ除去領域の部分にはＣＧを描画しない）。合成された合成映像は表示部１８に送られる。
【００５１】
ステップＳ１８では映像合成部１６から送出されてきた映像情報を光学シースルーＨＭＤである表示部１８に表示することにより、体験者には現実空間に重畳されたＣＧが視認される。
その後ステップＳ１９でシステムを終了するかどうかがチェックされ、システムを終了させる場合はシステムを終了させ、終了させない場合にはステップＳ１２に戻り、上述の処理を繰り返す。
【００５２】
以上のように、第２の実施形態によれば、たとえば手術支援システムを利用して手術する場合、手元のごく近くまでＣＧを表示したい場合や、手元のごく近くにはＣＧを表示したくない場合の切り替えが容易におこなえる。
【００５３】
（第３の実施形態）
本発明の第１の実施形態に係る映像合成装置では、図２に示すようなフレームを用いてＣＧ除去領域を指定していた。
本実施形態に係る映像合成装置は、第１の実施形態に係る映像合成装置において、フレームではなく、体験者の手を用いてＣＧ除去領域を指定可能としたことを特徴とするものである。
【００５４】
具体的には、本実施形態においては、図９に示すように体験者の手で囲まれた領域（斜線で示す領域）をＣＧ除去領域として認識する。つまり体験者は両手又は片手でのぞき穴をつくることで、所望の領域をＣＧ除去領域に指定できる。図９（ａ）は両手で、（ｂ）は片手でＣＧ除去領域を指定している例である。このように、手でＣＧ除去領域を指定可能となることで、フレームを用意する必要がない上、体験者は自然な動作でＣＧ除去領域を指定できる。
【００５５】
体験者は図１（ａ）に示す様な重畳画像を観察している際、例えば「教会」という吹き出し上の重畳画像を除去したい場合には、手でのぞき穴を作って所望の位置（ＣＧを表示させたくない領域）にかざす（図８参照）。
【００５６】
本実施形態に係る映像合成装置は、体験者が目の前にかざした手がＣＧに隠れてしまわないで常に見えるように、体験者の視点位置からの映像から体験者の手領域を抽出し、その領域にはＣＧを描画しないマスク処理（体験者の目の前の物体がＣＧに隠れずに見えるようにする処理）を行う構成を有している。このようなマスク処理を行う構成は、例えば特願２００２−９５５３５で提案されているように、例えばクロマキー技術を利用して実現可能である。
【００５７】
一般に、手のマスク処理の工程には、体験者の視点からの映像における、体験者の手の領域を抽出する工程が含まれているため、観測者の視点からの映像における手の内部領域を抽出することでは容易である。
【００５８】
つまり本実施形態に係る映像合成装置は、手のマスク処理が可能なＭＲシステムに、観測者の視点からの映像における手の内部領域（図９の斜線領域）を抽出する処理を加えるだけで実現可能である。
【００５９】
後述するように、体験者の視点位置からの映像から、体験者の手領域を抽出し、さらにその内部領域（のぞき穴領域）を抽出することで指定される領域が求まる。
【００６０】
観測者の視点からの映像における体験者の手領域、および手の内部領域にＣＧを重畳しないことで、目前にかざした手までもがＣＧで隠れてしまうといった問題が解決され、さらに現実空間の所定領域をＣＧで隠すことなく見ることが可能となる。このことから、本実施形態では、手領域と手の内部領域とをＣＧ除去領域として同様に扱うことで処理を簡略化する。
【００６１】
もちろん、手領域をＣＧ除去領域（手の内部領域）と区別して扱うことも可能である。この場合、肌色部分を手領域として抽出し、その内部領域をＣＧ除去領域として検出することになるが、その際、手領域を抽出しやすくために体験者にはブルーの手袋を装着させ、ブルー領域を手領域として抽出し、手領域には肌色のＣＧを合成し、ＣＧ除去領域にはＣＧを表示しないといった処理を行っても良い。
【００６２】
図１０は本発明の第３の実施形態に係る映像合成装置の一例としてのＭＲシステムの概略構成例を示すブロック図である。図１０において、図３と同じ構成要素には同じ参照数字を付して重複する説明を省略する。図３と図１０とを比較すると明らかなように、本実施形態におけるＭＲシステムはＣＧ除去領域抽出部３’がデータ部７に記憶されたデータ及び撮影位置・姿勢計測部４からの情報を利用可能となっている点である。
【００６３】
すなわち、ＣＧ除去領域抽出部３’は、撮影映像取込部２より入力された映像、必要であればデータ部７からの手領域抽出に関するデータ（例えば上述の特定色を規定するデータ）、さらに必要であれば撮影位置・姿勢計測部４’からの撮像部１の位置・姿勢情報とから、手領域および手領域で囲まれた領域（手の内部領域）を抽出し、少なくとも手の内部領域をＣＧ除去領域とする。そして、除去領域抽出部３は、抽出したＣＧ除去領域を映像合成部６に出力する。
【００６４】
撮影位置・姿勢計測部４’は、ここではＨＭＤに内蔵されており、撮像部１の位置・姿勢情報をＣＧ生成部５からの要求に応じて、又はＣＧ生成部５からの要求なしにＣＧ生成部５に送出する。また、撮影位置・姿勢計測部４’は、撮像部１の位置・姿勢情報をＣＧ除去領域抽出部３からの要求に応じて、又はＣＧ除去領域抽出部３’からの要求なしにＣＧ除去領域抽出部３’に送出する。撮影位置・姿勢計測部４’は、例えば地磁気センサやジャイロ、光学式のセンサを利用することが考えられる。
【００６５】
ＣＧ生成部５は、撮影位置・姿勢計測部４’から撮像部１の位置・姿勢情報を取り出して撮像部１の位置・撮影方向を推定する。撮像部１の位置・撮影方向が推定できれば撮像部１のレンズパラメータから視野が求まるため、ＣＧ生成部５はデータ部７から撮像部１の視野に入る部分のデータを取り出し、撮像部１で撮影した映像に表示すべきＣＧを生成し、映像合成部６に出力する。
【００６６】
映像合成部６は、撮影映像取込部２から撮影映像を、ＣＧ生成部５からＣＧを、ＣＧ除去領域抽出部３’からＣＧ除去領域をそれぞれ読み込む。そして、撮影映像取込部２からの撮影映像にＣＧ生成部５からのＣＧを合成する。この際、ＣＧ除去領域抽出部３’から得たＣＧ除去領域に重なる部分にはＣＧを描画しない。これにより、ＣＧ除去領域のみのＣＧが除去された合成映像が生成される。
【００６７】
また、ＣＧ除去領域にＣＧを描画しないのではなく、例えば透明度の高いＣＧを描画（透明度を示すα成分値を操作）したり、ＣＧを点滅させて描画したりといったことも可能である。映像合成部６で生成されたＣＧは表示部８（本実施形態においてはＨＭＤ）に送出する。
【００６８】
７はデータ部であり、たとえばハードディスクから構成され、ＣＧ生成部５やＣＧ除去領域抽出部３’に引き渡すデータを所持する。データ部７に格納されるデータとしては、たとえばテキスト情報やパノラマ映像、三次元ＣＧ（コンピュータグラフィックス）データ等といったもの，さらに手領域や手の内部領域といった特定領域を抽出するのに必要なデータ（特定色を規定するデータ等）などが考えられる。
【００６９】
データ部７はＣＧ生成部５からの要求に応じて適切なデータをＣＧ生成部５に送出する。たとえばＣＧ生成部５が撮像部１の視野に合成する三次元ＣＧデータを要求してきた時に、データ部７は格納されている三次元ＣＧデータの中から撮像部１の視野に含まれる三次元ＣＧデータを取り出して送出する。
【００７０】
さらにデータ部７はＣＧ除去領域抽出部３’からの要求に応じて適切なデータをＣＧ除去領域抽出部３’に送出する。
【００７１】
８は表示部であり、本実施形態においてはＨＭＤである。映像合成部６から送出された合成映像信号を表示する。なお、本実施形態に係るＭＲシステムにおいても、従来知られるＭＲシステムのように、ＨＭＤは右目用画像表示部と左目用画像表示部とを有し、映像合成部６においては右目用の表示画像と左目用の表示画像を生成してＨＭＤへ供給することにより、体験者は３次元ＣＧ表示を体験することが可能である。
【００７２】
以上の様な構成を備えた、本発明の第３の実施形態に係る映像合成装置の一例としてのＭＲシステムの全体の動作を、図１１のフローチャートを用いて説明する。図１１と第１の実施形態における動作を示す図４のフローチャートとの比較からわかるように、本実施形態に係る映像合成装置の動作は、撮影位置・姿勢情報取得ステップ及びＣＧ除去領域抽出ステップの順序が逆転している点、またＣＧ除去領域抽出処理の内容が異なる点を除いて同様である。なお、データ部７には予め必要なデータが格納されているものとする。
【００７３】
まず、ステップＳ１でシステムが起動される。
ステップＳ２で撮像部１から映像が取得され、取得された撮影映像は撮影映像取込部２で適切なフォーマットに変換され、映像合成部６およびＣＧ除去領域抽出部３に送られる。
【００７４】
ステップＳ３’では撮影位置・姿勢計測部４が撮像部１の位置・姿勢を計測し、計測された位置・姿勢情報はＣＧ生成部５および必要であればＣＧ除去領域抽出部３に送られる。
ステップＳ４’で、ＣＧ除去領域抽出部３に読み込まれた撮影映像からＣＧ除去領域が算出される。
【００７５】
このステップＳ４’は、本実施形態の特徴的なステップであるため、フローチャートを用いてさらに詳細に説明する。
まず図１２のフローチャートを用いて、手領域を抽出するのに、特定色を抽出するという画像処理を用いて行う場合の、ステップＳ４’の処理の一例を説明する。
【００７６】
ステップＳ４ａ−１で、ＣＧ除去領域抽出部３’は、必要であれば手領域に関するデータをデータ部７から読み込む。手領域に関するデータとしては、手の肌色に関する情報などである。一般には、これら手領域に関するデータは一度読み込めば十分であると考えられるが、例えばリアルタイムに変化する光源の位置を計測し、それに応じた肌色データがその都度必要となる場合は、このステップが必要となる。
【００７７】
ステップＳ４ａ−２で、ＣＧ除去領域抽出部３’に読み込まれた撮影映像から、手領域に関するデータを基に、手領域を抽出する。
ステップＳ４ａ−３で、映像上の手領域の内部領域を抽出する。
ステップＳ４ａ−４で、映像上の手領域および手領域の内部領域をそのまま、ＣＧ除去領域として抽出する。
【００７８】
もちろん、上記方法以外の、手のマスク処理における手領域抽出方法を用いて、ステップＳ４を実装しても良い。
そして算出されたＣＧ除去領域が映像合成部６に送られる。
【００７９】
ステップＳ５ではＣＧ生成部５が、撮影位置・姿勢計測部４から送出された位置・姿勢情報から撮像部１の視野を推定し、データ部７から撮像部１の視野に含まれる範囲のデータを取得する。
ステップＳ６ではデータ部７から取得したデータを用いてＣＧ生成部５がＣＧを生成する。生成した映像は映像合成部６に送られる。
【００８０】
ステップＳ７では、映像合成部６において撮影映像取込部２から送出された撮影映像と、ＣＧ生成部５から送出されたコンピュータ映像が合成される。この際、ＣＧ除去領域抽出部３からの送出されたＣＧ除去領域の部分にはＣＧを合成しない。これにより、ＣＧ除去領域のＣＧが除去された合成映像が生成される。合成された合成映像は表示部８に送られる。
【００８１】
ステップＳ８では映像合成部６から送出されてきた映像情報を表示部８が表示する。
その後ステップＳ９でシステムを終了するかどうかがチェックされ、システムを終了させる場合はステップＳ１０でシステムを終了させ、終了させない場合にはステップＳ２に戻り、上述の処理を繰り返す。
【００８２】
以上のように、第３の実施形態によれば、たとえば体験者がＨＭＤを装着して風景を眺めると、それに対応した位置情報や名称が補助表示されるＭＲシステムにおいて、注目現実物体がＣＧで隠されてしまった場合においても、手でのぞき穴をつくり、対応する位置にかざすだけで、注目現実物体が観察可能となる。
【００８３】
（第４の実施形態）
上述の第１の実施形態および第２の実施形態では、表示部としてＨＭＤを用いたが、ＨＭＤではなく、例えば特開平１０−０５１７１１号公報に開示されるような、表示装置および視点の位置に合わせて重畳画像を生成するヘッドアップディスプレイ（ＨＵＤ）光学シースルーＡＲシステムなどに応用することも可能である。
【００８４】
（他の実施形態）
また、第２の実施形態は光学シースルーＨＭＤを対象として説明したが、第１の実施形態で説明したようなビデオシースルーＨＭＤを用いる実施形態に適用することも可能である。
【００８５】
また、第３の実施形態では、マスク処理を利用してフレーム等の道具を用いずにＣＧ除去領域を指定する例を示したが、図２に示したようなフレーム等を用いてＣＧ除去領域を指定する場合であっても、マスク処理を利用することが可能である。その場合には、図２（ａ）、（ｂ）に示す様な枠を有するフレームにおいて、枠をある特定色とし、部分ＣＧ除去領域を「ある特定色の内部領域」と定義することで、第３の実施形態と同様の処理によってＣＧ除去処理が可能になる。
【００８６】
この場合、フレームの枠にはマーカーを設けなくても良くなる。また、フレーム枠に用いる特定色は肌色に限定されることはなく、例えばブルーや赤など何でも良いが、背景色に含まれない色に設定することが望ましい。
【００８７】
また、第３の実施形態においては、手領域を抽出するのに、マスク処理を利用した場合を説明したが、マスク処理以外の方法によって手領域を抽出しても良い。例えば、複数の位置センサを設けたグローブを体験者の手に装着させ、グローブのセンサ出力から手領域を抽出することが可能である。
【００８８】
図１３に示すフローチャートを用いて、この方法で手領域を抽出する場合のＣＧ除去領域抽出ステップＳ４’の処理を説明する。
ステップＳ４ｂ−１で、手の位置情報を計測する。
ステップＳ４ｂ−２で、計測した手の位置情報および、体験者の視点位置情報から、体験者の視点位置からの映像上における手領域を算出する。
ステップＳ４ｂ−３で、体験者の視点位置からの映像上における手領域の内部領域を抽出する。
ステップＳ４ｂ−４で、体験者の視点位置からの映像上における手領域および手領域の内部領域から、ＣＧ除去領域を算出する。
以後はステップＳ５以降の処理を同様に行えばよい。
【００８９】
なお、上述した実施形態のみならず、前述した実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いて当該プログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムを実行することによって同等の機能が達成される場合も本発明に含む。
【００９０】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。
【００９１】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。
【００９２】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記録媒体、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。
【００９３】
有線／無線通信を用いたプログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイル等、クライアントコンピュータ上で本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムデータファイル）を記憶し、接続のあったクライアントコンピュータにプログラムデータファイルをダウンロードする方法などが挙げられる。この場合、プログラムデータファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに配置することも可能である。
【００９４】
つまり、本発明の機能処理をコンピュータで実現するためのプログラムデータファイルを複数のユーザに対してダウンロードさせるサーバ装置も本発明に含む。
【００９５】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件を満たしたユーザに対して暗号化を解く鍵情報を、例えばインターネットを介してホームページからダウンロードさせることによって供給し、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【００９６】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【００９７】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【００９８】
【発明の効果】
本発明によれば、現実空間にＣＧを重畳するＭＲシステムに関し、見たい現実空間がＣＧで隠れている場合に、ＣＧを表示したくない領域を簡単に指定して、その領域のＣＧを部分的に表示しない（消去する）ことで、注目現実空間を見ることができる。
【図面の簡単な説明】
【図１】フレームを用いてＣＧ除去領域を指定する本発明の概念を説明する図である。
【図２】ＣＧ除去フレームの構成例を示す図である。
【図３】本発明の第１の実施形態に係る映像合成装置の概略構成例を示すブロック図である。
【図４】本発明の第１の実施形態に係る映像合成装置の動作を説明するフローチャートである。
【図５】本発明の第２の実施形態に係る映像合成装置で用いるスタイラスの例を示す図である。
【図６】本発明の第１の実施形態に係る映像合成装置の概略構成例を示すブロック図である。
【図７】本発明の第１の実施形態に係る映像合成装置の動作を説明するフローチャートである。
【図８】本発明の第３の実施形態に係る映像合成装置におけるＣＧ除去領域の指定方法を模式的に説明する図である。
【図９】本発明の第３の実施形態に係る映像合成装置において、体験者が手を使ってＣＧ除去領域を指定する方法の例を示す図である。
【図１０】本発明の第３の実施形態に係る映像合成装置の概略構成例を示すブロック図である。
【図１１】本発明の第３の実施形態に係る映像合成装置の動作を説明するフローチャートである。
【図１２】本発明の第３の実施形態に係るＣＧ除去領域抽出の動作を説明するフローチャートである。
【図１３】本発明の第３の実施形態に係るＣＧ除去領域抽出の動作を説明するフローチャートである。
【発明の属する技術分野】
本発明は、現実世界の映像にコンピュータにより生成された映像や情報（ＣＧ: Computer Graphics）を重畳する映像合成装置及び映像合成方法に関し、特に体験者が注目したい現実空間の領域上へのＣＧ表示制御に関する。
【０００２】
【従来の技術】
現実世界の映像にＣＧを重畳した映像を用いて、様々な行動を支援する技術は拡張現実感（ＡＲ: Augmented Reality）や複合現実感（ＭＲ: Mixed Reality）に関する技術として、活発に研究されている。例えば、患者の体内の様子を透視しているように医師に提示する医療補助の用途や、工場において製品の組み立て手順を実物に重ねて表示する作業補助の用途、また、現実風景に地名や名称などを案内表示する用途などがある。
【０００３】
【非特許文献１】
G. Reitmayr and D. Schmalstieg. "Mobile Collaborative Augmented Reality" In Proc. IEEE Virtual Reality 2001, pages 114-123
【特許文献１】
特開２０００−２７６６１０号公報
【０００４】
【発明が解決しようとする課題】
ところで、ＣＧが重畳表示されることにより、ＣＧで隠されて見えなくなってしまう現実空間領域が出てくる。隠されてしまう領域が体験者の興味のない領域であれば問題はないが、従来はそのような考慮は何らなされていないため、たとえ体験者が注目したい現実空間領域であっても、予め設定された内容に従い、ＣＧが重畳されてしまっていた。
【０００５】
非特許文献１では、ＡＲシステムにおけるＣＧ表示位置に関する分類（Head-stabilized:ユーザの視点に応じて情報を固定、Body-stabilized:ユーザの身体の位置に応じて情報を固定、World-stabilized:現実世界の位置にあわせて情報をあわせる）から、特にモバイルＡＲシステムにおける、適切なＣＧ表示位置の考察がなされている。また、特許文献１ではエージェント表示などに関して、ユーザに不快感を与えることなく使いやすいエージェントキャラを表示するシステムが考案されている。しかし両者とも、ＣＧ表示場所についてはなんらかのヒューリスティックス（経験則）を利用しており、注目現実空間がＣＧに覆い隠されてしまった場合については考慮していない。
【０００６】
また、特定の現実物体（例えば体験者の手など）を常に見えるように表示する技術（マスク処理技術）も、例えばクロマキー技術などを用いて実現されている。しかし、現実世界は刻々と変化しており、体験者は常に同じ現実物体に注目しているわけではない。
【０００７】
このような状況から、体験者が観察したい現実空間領域がＣＧで隠された場合、体験者は（１）ＨＭＤを取り外したり、可能であれば、（２）ＣＧと実写とを切り替えて表示したり、さらに可能であれば、（３）（邪魔なＣＧを構成している）仮想物体を選択して、他の場所へ移動することが一般的である。（２）では全てのＣＧを一斉に表示／非表示するため、一部のＣＧのみを選択的に表示することができず、また（３）では、仮想物体を「選択して移動する」というわずらわしい操作が必要である。
【０００８】
本発明はこのような従来技術の問題点に鑑みなされたものであり、その目的は、体験者の観察する現実世界に、コンピュータにより生成された画像を重畳する映像合成装置において、簡便な設定により、体験者が注目したい現実空間領域にＣＧ表示を行わないように制御可能な映像合成装置を実現することにある。
【０００９】
【課題を解決するための手段】
すなわち、本発明の要旨は、体験者の観察する現実世界の撮像画像に仮想画像を重畳した合成画像を生成する映像合成方法であって、画像入力手段が、撮像画像を入力する画像入力工程と、位置姿勢情報入力手段が、体験者の視点の位置・姿勢情報を入力する位置姿勢情報入力工程と、仮想画像生成手段が、位置・姿勢情報に基づいて仮想画像を生成する仮想画像生成工程と、除去領域抽出手段が、体験者の除去領域指定指示を、撮像画像から検出し、当検出した指示に基づき、仮想画像の除去領域の位置を設定する除去領域抽出工程と、合成手段が、撮像画像の領域のうち、除去領域を除く領域に対して仮想画像を重畳し、合成画像を生成する合成工程とを有することを特徴とする映像合成方法に存する。
【００１０】
また、本発明の別の要旨は、体験者の観察する現実世界の撮像画像に仮想画像を重畳した合成画像を生成する映像合成装置であって、撮像画像を入力する画像入力手段と、体験者の視点の位置・姿勢情報を入力する位置姿勢情報入力手段と、位置・姿勢情報に基づいて仮想画像を生成する仮想画像生成手段と、体験者の除去領域指定指示を、撮像画像から検出し、当検出した指示に基づき、仮想画像の除去領域の位置を設定する除去領域抽出手段と、撮像画像の領域のうち、除去領域を除く領域に対して仮想画像を重畳し、合成画像を生成する合成手段とを有することを特徴とする映像合成装置に存する。
【００１２】
また、本発明の別の要旨は、コンピュータを、体験者の観察する現実世界の撮像画像に仮想画像を重畳した合成画像を生成する映像合成装置であって、撮像画像を入力する画像入力手段と、体験者の視点の位置および姿勢情報の少なくとも一方を入力する位置姿勢情報入力手段と、位置および姿勢情報の少なくとも一方に基づいて仮想画像を生成する仮想画像生成手段と、体験者の除去領域指定指示を、撮像画像から検出し、当検出した指示に基づき、仮想画像の除去領域の位置を設定する除去領域抽出手段と、撮像画像の領域のうち、除去領域を除く領域に対して仮想画像を重畳し、合成画像を生成する合成手段とを有することを特徴とする映像合成装置として機能させるためのプログラムに存する。
【００１３】
また、本発明の別の要旨は、コンピュータを、体験者の観察する現実世界の撮像画像に仮想画像を重畳した合成画像を生成する映像合成装置であって、撮像画像を入力する画像入力手段と、体験者の視点の位置および姿勢情報の少なくとも一方を入力する位置姿勢情報入力手段と、位置および姿勢情報の少なくとも一方に基づいて仮想画像を生成する仮想画像生成手段と、体験者の除去領域指定指示を、撮像画像から検出し、当検出した指示に基づき、仮想画像の除去領域の位置を設定する除去領域抽出手段と、撮像画像の領域のうち、除去領域を除く領域に対して仮想画像を重畳し、合成画像を生成する合成手段とを有することを特徴とする映像合成装置として機能させるためのプログラムを格納したコンピュータ読み取り可能な記録媒体に存する。
【００１４】
【発明の実施の形態】
以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。
（第１の実施形態）
本発明の第１の実施形態に係る映像合成装置の一例は、体験者が表示装置を装着して風景を眺めると、それに対応した位置情報や名称が補助表示されるＭＲシステムである。
【００１５】
本実施形態において、表示装置には、位置・姿勢計測可能なビデオシースルーＨＭＤを用いる。つまり、ＨＭＤには位置・姿勢計測センサおよびカメラが内蔵されており、体験者の略視点位置からの映像が体験者頭部の位置・姿勢情報（厳密にはカメラの位置・姿勢）とともに取得可能である。
【００１６】
また、本実施形態において、体験者がＣＧを重畳表示させたくない領域（ＣＧ除去領域）を指定することを可能とするために、マーカーとＣＧ除去領域とを対応付けたユーザインタフェース（以下ＣＧ除去フレームと呼ぶ。）を用いる。体験者の視点位置からの映像から、ＣＧ除去フレームに付加されたマーカーを抽出することにより、ＣＧ除去領域が抽出できる。
【００１７】
図２に、ＣＧ除去フレーム（マーカーとＣＧ除去領域との対応付け）の例を示す（ここでは簡単のため、ＣＧ除去フレームはＨＭＤに設けられたカメラ（撮像部）の撮像面と平行となるように用いるという拘束を加える）。小さい円がマーカーであり、斜線部がＣＧ除去領域である。斜線部は切り抜かれていても、存在していても良い。ＣＧ除去フレームは体験者が手に持つ柄の部分２１と、フレーム部分２２とから構成され、体験者は図１（ａ）に示す様な重畳画像を観察している際、例えば「教会」という吹き出し上の重畳画像を除去したい場合には、このフレームを眼前にかざし、カメラで撮影された現実空間画像を見ながらフレームを所望の位置（ＣＧを表示させたくない領域）に合わせる。
【００１８】
後述するように、フレームに設けられたマーカーからフレームで指定される領域が求まり、当該領域にはＣＧを重畳しないようにすることで、図１（ｂ）に示すように、重畳画像で隠されていた現実世界の画像を見ることができる。後述する第２の実施形態では表示装置が光学シースルータイプであるが、現実世界が表示装置を透かして直接観察されるか、撮影された画像であるかを除けば、同様である。
【００１９】
図２（ａ）では、四角形のフレームの４角それぞれに３つのマーカーが１セットとして付加されている。どれか１セットのマーカーが抽出されれば、ＣＧ除去領域が算出できる。また、（ｂ）ではマーカーが円型フレームを囲むように付加されている。３点が決まれば１つの円が決まることから、任意の３つのマーカーが抽出できれば、その内部をＣＧ除去領域として算出できる。（ｃ）は（ｂ）のマーカーを３点に絞ったものである。ＣＧ除去フレームにマーカーがたくさん付加するのがわずらわしいときに有効である。（ｄ）では、方向性のあるマーカーの先の領域（例えば円）をＣＧ除去領域として定義している。ＣＧ描画部とＣＧ除去領域との境目にマーカーを置きたくない場合に有効である。
【００２０】
フレームの色は任意であるが、マーカーは検出を容易にするため一般に現実物体で使われないような蛍光色等が使われることを考慮すると、マーカーと対照的な色であることが好ましい。また、フレームの大きさ（ＣＧ除去領域の大きさ）は任意であるが、あまり大きいとＣＧ除去領域が大きくなりすぎ、視野に含まれるＣＧの大半が表示されなくなってしまい、逆に小さすぎると位置の調整が難しくなるため、一般的な手の長さを考慮（カメラからフレームまでの距離によって撮影画像中に占めるフレームの割合が変化するため、変化しうる範囲を考慮）して、適切な大きさを設定する。
【００２１】
図３は本発明の第１の実施形態に係る映像合成装置の一例としてのＭＲシステムの概略構成例を示すブロック図である。
撮像部１は、ここではＨＭＤに内蔵されたカメラである。撮像部１は体験者の右目及び左目が観察する現実空間の映像をそれぞれ撮影し、撮影映像を映像信号として撮影映像取込部２に出力する。なお、本明細書においては説明を簡単にするため、特に左目用画像と右目用画像の処理を分けて説明しないが、ＨＭＤに表示するための左目用合成画像と右目用合成画像を生成するため、実際には左目、右目用の２系統の処理が行われることは言うまでもない。
【００２２】
撮影映像取込部２は、撮像部１より入力された映像信号を映像合成部６およびＣＧ除去領域抽出部３に適した形式に変換して、映像合成部６およびＣＧ除去領域抽出部３に送出する。
【００２３】
ＣＧ除去領域抽出部３では、撮影映像取込部２より入力された映像から、上述したＣＧ除去フレームに付加されたマーカーを抽出し、ＣＧ除去領域を抽出する。映像上の除去領域をそのままＣＧ除去領域とすればよい。そして除去領域抽出部３は、抽出したＣＧ除去領域を映像合成部６に出力する。
【００２４】
撮影位置・姿勢計測部４は、ここではＨＭＤに内蔵されており、撮像部１の位置・姿勢情報をＣＧ生成部５からの要求に応じて、又はＣＧ生成部５からの要求なしにＣＧ生成部５に送出する。撮影位置・姿勢計測部４は、例えば地磁気センサやジャイロ、光学式のセンサを利用することが考えられる。
【００２５】
ＣＧ生成部５は、撮影位置・姿勢計測部４から撮像部１の位置・姿勢情報を取り出して撮像部１の位置・撮影方向を推定する。撮像部１の位置・撮影方向が推定できれば撮像部１のレンズパラメータから視野が求まるため、ＣＧ生成部５はデータ部７から撮像部１の視野に入る部分のデータを取り出し、撮像部１で撮影した映像に表示すべきＣＧを生成し、映像合成部６に出力する。
【００２６】
映像合成部６は、撮影映像取込部２から撮影映像を、ＣＧ生成部５からＣＧを、ＣＧ除去領域抽出部３からＣＧ除去領域をそれぞれ読み込む。そして、撮影映像取込部２からの撮影映像にＣＧ生成部５からのＣＧを合成する。この際、ＣＧ除去領域抽出部３から得たＣＧ除去領域に重なる部分にはＣＧを描画しない。これにより、ＣＧ除去領域のみのＣＧが除去された合成映像が生成される。
【００２７】
ＣＧ除去フレームの形状（デザイン）を、虫眼鏡等とすれば、見かけと機能が一致し、ユーザインタフェースとしてより好ましい。また、ＣＧ除去領域にＣＧは描画しないのではなく、例えばＣＧ除去フレームの種類に応じて、透明度の高いＣＧを描画（透明度を示すα成分値を操作）したり、ＣＧを点滅させて描画したりといったことも可能である。映像合成部６で生成されたＣＧは表示部８（本実施形態においてはＨＭＤ）に送出する。
【００２８】
データ部７は、たとえばハードディスクから構成され、ＣＧ生成部５に引き渡すデータを所持する。データ部７に格納されるデータとしては、たとえばテキスト情報やパノラマ映像、三次元ＣＧ（コンピュータグラフィックス）データ等といったものが考えられる。データ部７はＣＧ生成部５からの要求に応じて適切なデータをＣＧ生成部５に送出する。たとえばＣＧ生成部５が撮像部１の視野に合成する三次元ＣＧデータを要求してきた時に、データ部７は格納されている三次元ＣＧデータの中から撮像部１の視野に含まれる三次元ＣＧデータを取り出して送出する。なお、データ部７はハードディスクに限らず、データを保持することができる媒体であれば何でもよく、たとえばテープやメモリなどで構成してもよい。
【００２９】
表示部８は本実施形態においてはＨＭＤである。映像合成部６から送出された合成映像信号を表示する。なお、本実施形態に係るＭＲシステムにおいても、従来知られるＭＲシステムのように、ＨＭＤは右目用画像表示部と左目用画像表示部とを有し、映像合成部６においては右目用の表示画像と左目用の表示画像を生成してＨＭＤへ供給することにより、体験者は３次元ＣＧ表示を体験することが可能である。
【００３０】
以上の様な構成を備えた、本発明の第１の実施形態に係る映像合成装置の一例としてのＭＲシステムの動作について、図４に示すフローチャートを用いて以下説明する。なお、データ部７には予め必要なデータが格納されているものとする。
【００３１】
まず、ステップＳ１でシステムが起動される。
ステップＳ２で撮像部１から映像が取得され、取得された撮影映像は撮影映像取込部２で適切なフォーマットに変換され、映像合成部６およびＣＧ除去領域抽出部３に送られる。
ステップＳ３で、ＣＧ除去領域抽出部３に読み込まれた撮影映像からマーカーが抽出され、ＣＧ除去領域が算出される。そして算出されたＣＧ除去領域が映像合成部６に送られる。
【００３２】
ステップＳ４では撮影位置・姿勢計測部４が撮像部１の位置・姿勢を計測し、計測された位置・姿勢情報はＣＧ生成部５に送られる。
ステップＳ５ではＣＧ生成部５が、撮影位置・姿勢計測部４から送出された位置・姿勢情報から撮像部１の視野を推定し、データ部７から撮像部１の視野に含まれる範囲のデータを取得する。
【００３３】
ステップＳ６ではデータ部７から取得したデータを用いてＣＧ生成部５がＣＧを生成する。生成した映像は映像合成部６に送られる。
ステップＳ７では、映像合成部６において撮影映像取込部２から送出された撮影映像と、ＣＧ生成部５から送出されたコンピュータ映像が合成される。この際、ＣＧ除去領域抽出部３からの送出されたＣＧ除去領域の部分にはＣＧを合成しない。これにより、ＣＧ除去領域のＣＧが除去された合成映像が生成される。合成された合成映像は表示部８に送られる。
【００３４】
ステップＳ８では映像合成部６から送出されてきた映像情報を表示部８が表示する。
その後ステップＳ９でシステムを終了するかどうかがチェックされ、システムを終了させる場合はステップＳ１０でシステムを終了させ、終了させない場合にはステップＳ２に戻り、上述の処理を繰り返す。
【００３５】
以上のように、第１の実施形態によれば、たとえば体験者がＨＭＤを装着して風景を眺めると、それに対応した位置情報や名称が補助表示されるＭＲシステムにおいて、注目現実物体がＣＧで隠されてしまった場合においても、ＣＧ除去フレームを対応する位置にかざすだけで、注目現実物体が観察可能となる。
【００３６】
（第２の実施形態）
本発明の第２の実施形態に係る映像合成装置の一例は、患者の体内の様子を透視しているように医師に提示する医療補助システムである。ここでは表示装置として、光学シースルーＨＭＤを用いる。ビデオシースルーＨＭＤでは現実世界の表示解像度に限界があるためである。
【００３７】
また、ＣＧ除去領域を指定するＵＩとして、本実施形態においては位置・姿勢の入力装置、ここではスタイラスを用いる。図５は、スタイラスの例を示す図である。スタイラス５１は例えばペン形状を有し、内部に位置・姿勢センサが設けられている。位置・姿勢センサが検出する位置とスタイラス先端との距離ｄとから、スタイラス先端位置が推定され、この先端位置と、検出されるスタイラスの傾きθから、スタイラスの先端で指定される領域が求められる。本実施形態においては、スタイラスの先端に接する仮想円５２に対応する領域をＣＧ除去指定領域とする。実際には、スタイラスの傾きθに応じてこの仮想円５２から求まる楕円領域がＣＧ除去領域とする。なお、スタイラスの傾き（姿勢情報）が得られない場合は、仮想円５２をそのまま用いてよい。スタイラスの位置、姿勢情報及び図示しないＯＮ−ＯＦＦスイッチの情報は、スタイラスに接続された信号線や、発信機を通じて外部から取得することが可能である。
【００３８】
本実施形態において、位置・姿勢入力装置をＵＩとして用いた理由は、
（１）光学シースルーＨＭＤには、ビデオシースルーＨＭＤとは異なり、一般にカメラが内蔵されていないため、（第１の実施形態に挙げた）画像処理によるＣＧ除去領域指定の実現には、新たにカメラが必要となってしまう。
（２）手術補助システムでは、医師が患部周囲の状態や患部と手術器具との位置関係等を常に把握できるよう、これらの位置関係をリアルタイムにセンサ等で計測して医師に提示することが重要である。よって位置・姿勢計測がある程度正確に行える環境が提供されていると想定される。
（３）手術支援システムを利用して手術する場合、患部周辺はＣＧの補助を必要とするとしても、
−手元のごく近くまでＣＧを表示したい場合と、
−手元のごく近くはＣＧを表示したくない場合
が混在すると考えられるからである。
【００３９】
このような場合を考慮して、スタイラスのＯＮ−ＯＦＦボタンをＣＧ除去領域定義のＯＮ−ＯＦＦに割り当てることができる。
また、手術器具に位置・姿勢センサを設ければ、ただ単に「センサ付きの手術道具」と「センサなしの手術道具」とを持ち換えることで、簡単にＣＧ表示方法の切り替えを行うことができる。
【００４０】
図６は本発明の第２の実施形態に係るＭＲシステムの概略構成例を示すブロック図である。
頭部位置・姿勢計測部１４は、後述する表示部１８としてのＨＭＤに内蔵されており、体験者頭部の位置・姿勢情報をＣＧ除去領域抽出部１３およびＣＧ生成部１５からの要求に応じて、又はＣＧ除去領域抽出部１３およびＣＧ生成部１５からの要求なしに、頭部位置・姿勢情報をＣＧ除去領域抽出部１３およびＣＧ生成部１５に送出する。頭部位置・姿勢計測部１４は、例えば地磁気センサやジャイロや光学式のセンサを利用することが考えられる。
【００４１】
スタイラス状態検出部１９は、スタイラス情報（位置・姿勢・ボタンのオンオフなど）をスタイラス２０から取得し、ＣＧ除去領域抽出部１３からの要求に応じて、又はＣＧ除去領域抽出部１３からの要求なしにＣＧ除去領域抽出部１３に送出する。
【００４２】
ＣＧ除去領域抽出部１３では、頭部位置・姿勢計測部１４より入力された位置・姿勢データおよびスタイラス状態検出部１９より入力されたスタイラス情報から、ＣＧ除去領域を算出する。上述のように、本実施形態においては、頭部の位置・姿勢とスタイラスの位置・姿勢から、画像面上でのスタイラス先端位置および、画像面に対するスタイラスの姿勢が算出できる。そこで、スタイラスの先端から画像面上に広がる楕円（画像面に対するスタイラスの姿勢情報から楕円率を決定）領域をＣＧ除去領域と定義する。ＣＧ除去領域抽出部１３は、抽出したＣＧ除去領域を映像合成部１６に出力する。
【００４３】
ＣＧ生成部１５は、頭部位置・姿勢計測部１４から頭部位置・姿勢情報を取り出して頭部位置・方向を推定する。位置・姿勢が推定できれば体験者の視野が求まるため、ＣＧ生成部１５はデータ部１７から体験者の視野に入る部分のデータを取り出し、体験者の視野に重なるＣＧを生成し、映像合成部１６に出力する。
【００４４】
映像合成部１６は、ＣＧ生成部１５からＣＧを、ＣＧ除去領域抽出部１３からはＣＧ除去領域をそれぞれ読み込む。そしてＣＧ生成部１５からのＣＧからＣＧ除去領域抽出部１３からのＣＧ除去領域データに基づいて、ＣＧを合成する。映像合成部１６で生成されたＣＧは表示部１８に送出する。
【００４５】
データ部１７は、たとえばハードディスクから構成され、ＣＧ生成部１５に引き渡すデータを所持する。データ部１７に格納されるデータとしては、たとえばテキスト情報やパノラマ映像、三次元ＣＧデータ等といったものが考えられる。データ部１７はＣＧ生成部１５からの要求に応じて適切なデータをＣＧ生成部１５に送出する。たとえばＣＧ生成部１５が体験者視野に合成する三次元ＣＧデータを要求してきた時に、データ部１７は格納されている三次元ＣＧデータの中から体験者の視野に含まれる三次元ＣＧデータを取り出して送出する。なお、データ部１７はハードディスクに限らず、データを保持することができる媒体であれば何でもよく、たとえばテープやメモリなどで構成してもよい。
【００４６】
表示部１８はここでは光学シースルーＨＭＤである。映像合成部１６から送出された合成映像信号を、例えばハーフミラー上に投影することにより、ハーフミラーを透かして見える現実世界に重畳して表示する。
【００４７】
以上の様な構成を備えた、本発明の第２の実施形態に係る映像合成装置の一例としてのＭＲシステムの動作について、図７に示すフローチャートを用いて以下説明する。なお、データ部１７には予め必要なデータが格納されているものとする。
【００４８】
まず、ステップＳ１１でシステムが起動される。
ステップＳ１２ではスタイラス状態検出部１９がスタイラスの状態を検知し、検知された情報はＣＧ除去領域抽出部１３に送られる。
ステップＳ１３では頭部位置・姿勢計測部１４が体験者の位置・姿勢を計測し、計測された位置・姿勢情報はＣＧ除去領域抽出部１３およびＣＧ生成部１５に送られる。
【００４９】
ステップＳ１４では、スタイラス状態検出部１９より入力されたスタイラス位置・姿勢情報および、頭部位置・姿勢計測部１４から入力された頭部位置・姿勢情報に基づいて、ＣＧ除去領域抽出部１３がＣＧ除去領域を算出する。このＣＧ除去領域は映像合成部１６に送られる。
ステップＳ１５ではＣＧ生成部１５が、頭部位置・姿勢計測部１４から送出された頭部位置・姿勢情報から体験者の視野を推定し、データ部１７から体験者の視野に含まれる範囲のデータを取得する。
【００５０】
ステップＳ１６ではデータ部１７から取得したデータを用いてＣＧ生成部１５がＣＧを生成する。生成した映像は映像合成部１６に送られる。
ステップＳ１７では、映像合成部１６においてＣＧ生成部１７から送出されたコンピュータ映像が、ＣＧ除去領域抽出部１３からのＣＧ除去領域データに基づいて合成される（ＣＧ除去領域抽出部１３から送出されたＣＧ除去領域の部分にはＣＧを描画しない）。合成された合成映像は表示部１８に送られる。
【００５１】
ステップＳ１８では映像合成部１６から送出されてきた映像情報を光学シースルーＨＭＤである表示部１８に表示することにより、体験者には現実空間に重畳されたＣＧが視認される。
その後ステップＳ１９でシステムを終了するかどうかがチェックされ、システムを終了させる場合はシステムを終了させ、終了させない場合にはステップＳ１２に戻り、上述の処理を繰り返す。
【００５２】
以上のように、第２の実施形態によれば、たとえば手術支援システムを利用して手術する場合、手元のごく近くまでＣＧを表示したい場合や、手元のごく近くにはＣＧを表示したくない場合の切り替えが容易におこなえる。
【００５３】
（第３の実施形態）
本発明の第１の実施形態に係る映像合成装置では、図２に示すようなフレームを用いてＣＧ除去領域を指定していた。
本実施形態に係る映像合成装置は、第１の実施形態に係る映像合成装置において、フレームではなく、体験者の手を用いてＣＧ除去領域を指定可能としたことを特徴とするものである。
【００５４】
具体的には、本実施形態においては、図９に示すように体験者の手で囲まれた領域（斜線で示す領域）をＣＧ除去領域として認識する。つまり体験者は両手又は片手でのぞき穴をつくることで、所望の領域をＣＧ除去領域に指定できる。図９（ａ）は両手で、（ｂ）は片手でＣＧ除去領域を指定している例である。このように、手でＣＧ除去領域を指定可能となることで、フレームを用意する必要がない上、体験者は自然な動作でＣＧ除去領域を指定できる。
【００５５】
体験者は図１（ａ）に示す様な重畳画像を観察している際、例えば「教会」という吹き出し上の重畳画像を除去したい場合には、手でのぞき穴を作って所望の位置（ＣＧを表示させたくない領域）にかざす（図８参照）。
【００５６】
本実施形態に係る映像合成装置は、体験者が目の前にかざした手がＣＧに隠れてしまわないで常に見えるように、体験者の視点位置からの映像から体験者の手領域を抽出し、その領域にはＣＧを描画しないマスク処理（体験者の目の前の物体がＣＧに隠れずに見えるようにする処理）を行う構成を有している。このようなマスク処理を行う構成は、例えば特願２００２−９５５３５で提案されているように、例えばクロマキー技術を利用して実現可能である。
【００５７】
一般に、手のマスク処理の工程には、体験者の視点からの映像における、体験者の手の領域を抽出する工程が含まれているため、観測者の視点からの映像における手の内部領域を抽出することでは容易である。
【００５８】
つまり本実施形態に係る映像合成装置は、手のマスク処理が可能なＭＲシステムに、観測者の視点からの映像における手の内部領域（図９の斜線領域）を抽出する処理を加えるだけで実現可能である。
【００５９】
後述するように、体験者の視点位置からの映像から、体験者の手領域を抽出し、さらにその内部領域（のぞき穴領域）を抽出することで指定される領域が求まる。
【００６０】
観測者の視点からの映像における体験者の手領域、および手の内部領域にＣＧを重畳しないことで、目前にかざした手までもがＣＧで隠れてしまうといった問題が解決され、さらに現実空間の所定領域をＣＧで隠すことなく見ることが可能となる。このことから、本実施形態では、手領域と手の内部領域とをＣＧ除去領域として同様に扱うことで処理を簡略化する。
【００６１】
もちろん、手領域をＣＧ除去領域（手の内部領域）と区別して扱うことも可能である。この場合、肌色部分を手領域として抽出し、その内部領域をＣＧ除去領域として検出することになるが、その際、手領域を抽出しやすくために体験者にはブルーの手袋を装着させ、ブルー領域を手領域として抽出し、手領域には肌色のＣＧを合成し、ＣＧ除去領域にはＣＧを表示しないといった処理を行っても良い。
【００６２】
図１０は本発明の第３の実施形態に係る映像合成装置の一例としてのＭＲシステムの概略構成例を示すブロック図である。図１０において、図３と同じ構成要素には同じ参照数字を付して重複する説明を省略する。図３と図１０とを比較すると明らかなように、本実施形態におけるＭＲシステムはＣＧ除去領域抽出部３’がデータ部７に記憶されたデータ及び撮影位置・姿勢計測部４からの情報を利用可能となっている点である。
【００６３】
すなわち、ＣＧ除去領域抽出部３’は、撮影映像取込部２より入力された映像、必要であればデータ部７からの手領域抽出に関するデータ（例えば上述の特定色を規定するデータ）、さらに必要であれば撮影位置・姿勢計測部４’からの撮像部１の位置・姿勢情報とから、手領域および手領域で囲まれた領域（手の内部領域）を抽出し、少なくとも手の内部領域をＣＧ除去領域とする。そして、除去領域抽出部３は、抽出したＣＧ除去領域を映像合成部６に出力する。
【００６４】
撮影位置・姿勢計測部４’は、ここではＨＭＤに内蔵されており、撮像部１の位置・姿勢情報をＣＧ生成部５からの要求に応じて、又はＣＧ生成部５からの要求なしにＣＧ生成部５に送出する。また、撮影位置・姿勢計測部４’は、撮像部１の位置・姿勢情報をＣＧ除去領域抽出部３からの要求に応じて、又はＣＧ除去領域抽出部３’からの要求なしにＣＧ除去領域抽出部３’に送出する。撮影位置・姿勢計測部４’は、例えば地磁気センサやジャイロ、光学式のセンサを利用することが考えられる。
【００６５】
ＣＧ生成部５は、撮影位置・姿勢計測部４’から撮像部１の位置・姿勢情報を取り出して撮像部１の位置・撮影方向を推定する。撮像部１の位置・撮影方向が推定できれば撮像部１のレンズパラメータから視野が求まるため、ＣＧ生成部５はデータ部７から撮像部１の視野に入る部分のデータを取り出し、撮像部１で撮影した映像に表示すべきＣＧを生成し、映像合成部６に出力する。
【００６６】
映像合成部６は、撮影映像取込部２から撮影映像を、ＣＧ生成部５からＣＧを、ＣＧ除去領域抽出部３’からＣＧ除去領域をそれぞれ読み込む。そして、撮影映像取込部２からの撮影映像にＣＧ生成部５からのＣＧを合成する。この際、ＣＧ除去領域抽出部３’から得たＣＧ除去領域に重なる部分にはＣＧを描画しない。これにより、ＣＧ除去領域のみのＣＧが除去された合成映像が生成される。
【００６７】
また、ＣＧ除去領域にＣＧを描画しないのではなく、例えば透明度の高いＣＧを描画（透明度を示すα成分値を操作）したり、ＣＧを点滅させて描画したりといったことも可能である。映像合成部６で生成されたＣＧは表示部８（本実施形態においてはＨＭＤ）に送出する。
【００６８】
７はデータ部であり、たとえばハードディスクから構成され、ＣＧ生成部５やＣＧ除去領域抽出部３’に引き渡すデータを所持する。データ部７に格納されるデータとしては、たとえばテキスト情報やパノラマ映像、三次元ＣＧ（コンピュータグラフィックス）データ等といったもの，さらに手領域や手の内部領域といった特定領域を抽出するのに必要なデータ（特定色を規定するデータ等）などが考えられる。
【００６９】
データ部７はＣＧ生成部５からの要求に応じて適切なデータをＣＧ生成部５に送出する。たとえばＣＧ生成部５が撮像部１の視野に合成する三次元ＣＧデータを要求してきた時に、データ部７は格納されている三次元ＣＧデータの中から撮像部１の視野に含まれる三次元ＣＧデータを取り出して送出する。
【００７０】
さらにデータ部７はＣＧ除去領域抽出部３’からの要求に応じて適切なデータをＣＧ除去領域抽出部３’に送出する。
【００７１】
８は表示部であり、本実施形態においてはＨＭＤである。映像合成部６から送出された合成映像信号を表示する。なお、本実施形態に係るＭＲシステムにおいても、従来知られるＭＲシステムのように、ＨＭＤは右目用画像表示部と左目用画像表示部とを有し、映像合成部６においては右目用の表示画像と左目用の表示画像を生成してＨＭＤへ供給することにより、体験者は３次元ＣＧ表示を体験することが可能である。
【００７２】
以上の様な構成を備えた、本発明の第３の実施形態に係る映像合成装置の一例としてのＭＲシステムの全体の動作を、図１１のフローチャートを用いて説明する。図１１と第１の実施形態における動作を示す図４のフローチャートとの比較からわかるように、本実施形態に係る映像合成装置の動作は、撮影位置・姿勢情報取得ステップ及びＣＧ除去領域抽出ステップの順序が逆転している点、またＣＧ除去領域抽出処理の内容が異なる点を除いて同様である。なお、データ部７には予め必要なデータが格納されているものとする。
【００７３】
まず、ステップＳ１でシステムが起動される。
ステップＳ２で撮像部１から映像が取得され、取得された撮影映像は撮影映像取込部２で適切なフォーマットに変換され、映像合成部６およびＣＧ除去領域抽出部３に送られる。
【００７４】
ステップＳ３’では撮影位置・姿勢計測部４が撮像部１の位置・姿勢を計測し、計測された位置・姿勢情報はＣＧ生成部５および必要であればＣＧ除去領域抽出部３に送られる。
ステップＳ４’で、ＣＧ除去領域抽出部３に読み込まれた撮影映像からＣＧ除去領域が算出される。
【００７５】
このステップＳ４’は、本実施形態の特徴的なステップであるため、フローチャートを用いてさらに詳細に説明する。
まず図１２のフローチャートを用いて、手領域を抽出するのに、特定色を抽出するという画像処理を用いて行う場合の、ステップＳ４’の処理の一例を説明する。
【００７６】
ステップＳ４ａ−１で、ＣＧ除去領域抽出部３’は、必要であれば手領域に関するデータをデータ部７から読み込む。手領域に関するデータとしては、手の肌色に関する情報などである。一般には、これら手領域に関するデータは一度読み込めば十分であると考えられるが、例えばリアルタイムに変化する光源の位置を計測し、それに応じた肌色データがその都度必要となる場合は、このステップが必要となる。
【００７７】
ステップＳ４ａ−２で、ＣＧ除去領域抽出部３’に読み込まれた撮影映像から、手領域に関するデータを基に、手領域を抽出する。
ステップＳ４ａ−３で、映像上の手領域の内部領域を抽出する。
ステップＳ４ａ−４で、映像上の手領域および手領域の内部領域をそのまま、ＣＧ除去領域として抽出する。
【００７８】
もちろん、上記方法以外の、手のマスク処理における手領域抽出方法を用いて、ステップＳ４を実装しても良い。
そして算出されたＣＧ除去領域が映像合成部６に送られる。
【００７９】
ステップＳ５ではＣＧ生成部５が、撮影位置・姿勢計測部４から送出された位置・姿勢情報から撮像部１の視野を推定し、データ部７から撮像部１の視野に含まれる範囲のデータを取得する。
ステップＳ６ではデータ部７から取得したデータを用いてＣＧ生成部５がＣＧを生成する。生成した映像は映像合成部６に送られる。
【００８０】
ステップＳ７では、映像合成部６において撮影映像取込部２から送出された撮影映像と、ＣＧ生成部５から送出されたコンピュータ映像が合成される。この際、ＣＧ除去領域抽出部３からの送出されたＣＧ除去領域の部分にはＣＧを合成しない。これにより、ＣＧ除去領域のＣＧが除去された合成映像が生成される。合成された合成映像は表示部８に送られる。
【００８１】
ステップＳ８では映像合成部６から送出されてきた映像情報を表示部８が表示する。
その後ステップＳ９でシステムを終了するかどうかがチェックされ、システムを終了させる場合はステップＳ１０でシステムを終了させ、終了させない場合にはステップＳ２に戻り、上述の処理を繰り返す。
【００８２】
以上のように、第３の実施形態によれば、たとえば体験者がＨＭＤを装着して風景を眺めると、それに対応した位置情報や名称が補助表示されるＭＲシステムにおいて、注目現実物体がＣＧで隠されてしまった場合においても、手でのぞき穴をつくり、対応する位置にかざすだけで、注目現実物体が観察可能となる。
【００８３】
（第４の実施形態）
上述の第１の実施形態および第２の実施形態では、表示部としてＨＭＤを用いたが、ＨＭＤではなく、例えば特開平１０−０５１７１１号公報に開示されるような、表示装置および視点の位置に合わせて重畳画像を生成するヘッドアップディスプレイ（ＨＵＤ）光学シースルーＡＲシステムなどに応用することも可能である。
【００８４】
（他の実施形態）
また、第２の実施形態は光学シースルーＨＭＤを対象として説明したが、第１の実施形態で説明したようなビデオシースルーＨＭＤを用いる実施形態に適用することも可能である。
【００８５】
また、第３の実施形態では、マスク処理を利用してフレーム等の道具を用いずにＣＧ除去領域を指定する例を示したが、図２に示したようなフレーム等を用いてＣＧ除去領域を指定する場合であっても、マスク処理を利用することが可能である。その場合には、図２（ａ）、（ｂ）に示す様な枠を有するフレームにおいて、枠をある特定色とし、部分ＣＧ除去領域を「ある特定色の内部領域」と定義することで、第３の実施形態と同様の処理によってＣＧ除去処理が可能になる。
【００８６】
この場合、フレームの枠にはマーカーを設けなくても良くなる。また、フレーム枠に用いる特定色は肌色に限定されることはなく、例えばブルーや赤など何でも良いが、背景色に含まれない色に設定することが望ましい。
【００８７】
また、第３の実施形態においては、手領域を抽出するのに、マスク処理を利用した場合を説明したが、マスク処理以外の方法によって手領域を抽出しても良い。例えば、複数の位置センサを設けたグローブを体験者の手に装着させ、グローブのセンサ出力から手領域を抽出することが可能である。
【００８８】
図１３に示すフローチャートを用いて、この方法で手領域を抽出する場合のＣＧ除去領域抽出ステップＳ４’の処理を説明する。
ステップＳ４ｂ−１で、手の位置情報を計測する。
ステップＳ４ｂ−２で、計測した手の位置情報および、体験者の視点位置情報から、体験者の視点位置からの映像上における手領域を算出する。
ステップＳ４ｂ−３で、体験者の視点位置からの映像上における手領域の内部領域を抽出する。
ステップＳ４ｂ−４で、体験者の視点位置からの映像上における手領域および手領域の内部領域から、ＣＧ除去領域を算出する。
以後はステップＳ５以降の処理を同様に行えばよい。
【００８９】
なお、上述した実施形態のみならず、前述した実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いて当該プログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムを実行することによって同等の機能が達成される場合も本発明に含む。
【００９０】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。
【００９１】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。
【００９２】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記録媒体、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。
【００９３】
有線／無線通信を用いたプログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイル等、クライアントコンピュータ上で本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムデータファイル）を記憶し、接続のあったクライアントコンピュータにプログラムデータファイルをダウンロードする方法などが挙げられる。この場合、プログラムデータファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに配置することも可能である。
【００９４】
つまり、本発明の機能処理をコンピュータで実現するためのプログラムデータファイルを複数のユーザに対してダウンロードさせるサーバ装置も本発明に含む。
【００９５】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件を満たしたユーザに対して暗号化を解く鍵情報を、例えばインターネットを介してホームページからダウンロードさせることによって供給し、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【００９６】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【００９７】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【００９８】
【発明の効果】
本発明によれば、現実空間にＣＧを重畳するＭＲシステムに関し、見たい現実空間がＣＧで隠れている場合に、ＣＧを表示したくない領域を簡単に指定して、その領域のＣＧを部分的に表示しない（消去する）ことで、注目現実空間を見ることができる。
【図面の簡単な説明】
【図１】フレームを用いてＣＧ除去領域を指定する本発明の概念を説明する図である。
【図２】ＣＧ除去フレームの構成例を示す図である。
【図３】本発明の第１の実施形態に係る映像合成装置の概略構成例を示すブロック図である。
【図４】本発明の第１の実施形態に係る映像合成装置の動作を説明するフローチャートである。
【図５】本発明の第２の実施形態に係る映像合成装置で用いるスタイラスの例を示す図である。
【図６】本発明の第１の実施形態に係る映像合成装置の概略構成例を示すブロック図である。
【図７】本発明の第１の実施形態に係る映像合成装置の動作を説明するフローチャートである。
【図８】本発明の第３の実施形態に係る映像合成装置におけるＣＧ除去領域の指定方法を模式的に説明する図である。
【図９】本発明の第３の実施形態に係る映像合成装置において、体験者が手を使ってＣＧ除去領域を指定する方法の例を示す図である。
【図１０】本発明の第３の実施形態に係る映像合成装置の概略構成例を示すブロック図である。
【図１１】本発明の第３の実施形態に係る映像合成装置の動作を説明するフローチャートである。
【図１２】本発明の第３の実施形態に係るＣＧ除去領域抽出の動作を説明するフローチャートである。
【図１３】本発明の第３の実施形態に係るＣＧ除去領域抽出の動作を説明するフローチャートである。
Claims (7)
- 体験者の観察する現実世界の撮像画像に仮想画像を重畳した合成画像を生成する映像合成方法であって、
画像入力手段が、前記撮像画像を入力する画像入力工程と、
位置姿勢情報入力手段が、前記体験者の視点の位置・姿勢情報を入力する位置姿勢情報入力工程と、
仮想画像生成手段が、前記位置・姿勢情報に基づいて前記仮想画像を生成する仮想画像生成工程と、
除去領域抽出手段が、前記体験者の除去領域指定指示を、前記撮像画像から検出し、当該検出した指示に基づき、前記仮想画像の除去領域の位置を設定する除去領域抽出工程と、
合成手段が、前記撮像画像の領域のうち、前記除去領域を除く領域に対して前記仮想画像を重畳し、前記合成画像を生成する合成工程とを有することを特徴とする映像合成方法。 - 体験者の観察する現実世界の撮像画像に仮想画像を重畳した合成画像を生成する映像合成装置であって、
前記撮像画像を入力する画像入力手段と、
前記体験者の視点の位置・姿勢情報を入力する位置姿勢情報入力手段と、
前記位置・姿勢情報に基づいて前記仮想画像を生成する仮想画像生成手段と、
前記体験者の除去領域指定指示を、前記撮像画像から検出し、当該検出した指示に基づき、前記仮想画像の除去領域の位置を設定する除去領域抽出手段と、
前記撮像画像の領域のうち、前記除去領域を除く領域に対して前記仮想画像を重畳し、前記合成画像を生成する合成手段とを有することを特徴とする映像合成装置。 - 前記除去領域抽出工程では、前記除去領域抽出手段が、前記撮像画像内から前記体験者が操作する領域指定手段に設けられたマーカーを検出し、当該検出されたマーカーの位置に基づいて前記除去領域を設定することを特徴とする請求項１に記載の映像合成方法。
- 前記除去領域抽出工程では、前記除去領域抽出手段が、前記体験者が操作する領域指定手段の位置姿勢情報に基づいて前記除去領域を設定することを特徴とする請求項１に記載の映像合成方法。
- 前記除去領域抽出工程では、前記除去領域抽出手段が、前記撮像画像から前記体験者の手で形成される閉領域を検出し、当該検出された閉領域に基づいて前記除去領域を設定することを特徴とする請求項１に記載の映像合成方法。
- コンピュータを、
体験者の観察する現実世界の撮像画像に仮想画像を重畳した合成画像を生成する映像合成装置であって、
前記撮像画像を入力する画像入力手段と、
前記体験者の視点の位置および姿勢情報の少なくとも一方を入力する位置姿勢情報入力手段と、
前記位置および姿勢情報の少なくとも一方に基づいて仮想画像を生成する仮想画像生成手段と、
前記体験者の除去領域指定指示を、前記撮像画像から検出し、当該検出した指示に基づき、前記仮想画像の除去領域の位置を設定する除去領域抽出手段と、
前記撮像画像の領域のうち、前記除去領域を除く領域に対して前記仮想画像を重畳し、前記合成画像を生成する合成手段とを有することを特徴とする映像合成装置として機能させるためのプログラム。 - コンピュータを、
体験者の観察する現実世界の撮像画像に仮想画像を重畳した合成画像を生成する映像合成装置であって、
前記撮像画像を入力する画像入力手段と、
前記体験者の視点の位置および姿勢情報の少なくとも一方を入力する位置姿勢情報入力手段と、
前記位置および姿勢情報の少なくとも一方に基づいて仮想画像を生成する仮想画像生成手段と、
前記体験者の除去領域指定指示を、前記撮像画像から検出し、当該検出した指示に基づき、前記仮想画像の除去領域の位置を設定する除去領域抽出手段と、
前記撮像画像の領域のうち、前記除去領域を除く領域に対して前記仮想画像を重畳し、前記合成画像を生成する合成手段とを有することを特徴とする映像合成装置として機能させるためのプログラムを格納したコンピュータ読み取り可能な記録媒体。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003204813A JP4298407B2 (ja) | 2002-09-30 | 2003-07-31 | 映像合成装置及び映像合成方法 |
| US10/671,611 US7487468B2 (en) | 2002-09-30 | 2003-09-29 | Video combining apparatus and method |
| DE60313412T DE60313412T2 (de) | 2002-09-30 | 2003-09-29 | Video-Überlagerungsvorrichtung und -verfahren |
| CNB031347479A CN1324534C (zh) | 2002-09-30 | 2003-09-29 | 视频图像合成设备及视频图像合成方法 |
| EP03256119A EP1404126B1 (en) | 2002-09-30 | 2003-09-29 | Video combining apparatus and method |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002287054 | 2002-09-30 | ||
| JP2003204813A JP4298407B2 (ja) | 2002-09-30 | 2003-07-31 | 映像合成装置及び映像合成方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2004178554A JP2004178554A (ja) | 2004-06-24 |
| JP2004178554A5 JP2004178554A5 (ja) | 2006-08-17 |
| JP4298407B2 true JP4298407B2 (ja) | 2009-07-22 |
Family
ID=31980657
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003204813A Expired - Fee Related JP4298407B2 (ja) | 2002-09-30 | 2003-07-31 | 映像合成装置及び映像合成方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US7487468B2 (ja) |
| EP (1) | EP1404126B1 (ja) |
| JP (1) | JP4298407B2 (ja) |
| CN (1) | CN1324534C (ja) |
| DE (1) | DE60313412T2 (ja) |
Families Citing this family (98)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4298407B2 (ja) * | 2002-09-30 | 2009-07-22 | キヤノン株式会社 | 映像合成装置及び映像合成方法 |
| KR100611182B1 (ko) * | 2004-02-27 | 2006-08-10 | 삼성전자주식회사 | 회전상태에 따라 메뉴표시상태를 변경하는 휴대형전자기기 및 그 방법 |
| JP4367926B2 (ja) * | 2004-05-17 | 2009-11-18 | キヤノン株式会社 | 画像合成システムおよび画像合成方法、および画像合成装置 |
| US9155373B2 (en) * | 2004-08-02 | 2015-10-13 | Invention Science Fund I, Llc | Medical overlay mirror |
| US7657125B2 (en) * | 2004-08-02 | 2010-02-02 | Searete Llc | Time-lapsing data methods and systems |
| US20060044399A1 (en) * | 2004-09-01 | 2006-03-02 | Eastman Kodak Company | Control system for an image capture device |
| US20060050070A1 (en) * | 2004-09-07 | 2006-03-09 | Canon Kabushiki Kaisha | Information processing apparatus and method for presenting image combined with virtual image |
| JP4500632B2 (ja) * | 2004-09-07 | 2010-07-14 | キヤノン株式会社 | 仮想現実感提示装置および情報処理方法 |
| DE102004046430A1 (de) * | 2004-09-24 | 2006-04-06 | Siemens Ag | System zur visuellen Situations-bedingten Echtzeit-basierten Unterstützung eines Chirurgen und Echtzeit-basierter Dokumentation und Archivierung der vom Chirurgen während der Operation visuell wahrgenommenen Unterstützungs-basierten Eindrücke |
| KR100663515B1 (ko) * | 2004-11-08 | 2007-01-02 | 삼성전자주식회사 | 휴대 단말 장치 및 이를 위한 데이터 입력 방법 |
| JP4137078B2 (ja) | 2005-04-01 | 2008-08-20 | キヤノン株式会社 | 複合現実感情報生成装置および方法 |
| EP1720131B1 (en) * | 2005-05-03 | 2009-04-08 | Seac02 S.r.l. | An augmented reality system with real marker object identification |
| US20070064125A1 (en) * | 2005-09-16 | 2007-03-22 | Richard Didow | Chroma-key event photography |
| US20070065143A1 (en) * | 2005-09-16 | 2007-03-22 | Richard Didow | Chroma-key event photography messaging |
| US8086971B2 (en) * | 2006-06-28 | 2011-12-27 | Nokia Corporation | Apparatus, methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applications |
| JP4804256B2 (ja) * | 2006-07-27 | 2011-11-02 | キヤノン株式会社 | 情報処理方法 |
| JP4789745B2 (ja) * | 2006-08-11 | 2011-10-12 | キヤノン株式会社 | 画像処理装置および方法 |
| EP1887526A1 (en) * | 2006-08-11 | 2008-02-13 | Seac02 S.r.l. | A digitally-augmented reality video system |
| US20080266323A1 (en) * | 2007-04-25 | 2008-10-30 | Board Of Trustees Of Michigan State University | Augmented reality user interaction system |
| JP2008278103A (ja) * | 2007-04-27 | 2008-11-13 | Nippon Hoso Kyokai <Nhk> | 映像合成装置及び映像合成プログラム |
| JP4909176B2 (ja) * | 2007-05-23 | 2012-04-04 | キヤノン株式会社 | 複合現実感提示装置及びその制御方法、コンピュータプログラム |
| US7724322B2 (en) * | 2007-09-20 | 2010-05-25 | Sharp Laboratories Of America, Inc. | Virtual solar liquid crystal window |
| US9703369B1 (en) * | 2007-10-11 | 2017-07-11 | Jeffrey David Mullen | Augmented reality video game systems |
| US8189035B2 (en) * | 2008-03-28 | 2012-05-29 | Sharp Laboratories Of America, Inc. | Method and apparatus for rendering virtual see-through scenes on single or tiled displays |
| JP4725595B2 (ja) * | 2008-04-24 | 2011-07-13 | ソニー株式会社 | 映像処理装置、映像処理方法、プログラム及び記録媒体 |
| JP5372157B2 (ja) | 2008-09-17 | 2013-12-18 | ノキア コーポレイション | 拡張現実のためのユーザインターフェース |
| JP5328810B2 (ja) | 2008-12-25 | 2013-10-30 | パナソニック株式会社 | 情報表示装置および情報表示方法 |
| JP5168161B2 (ja) * | 2009-01-16 | 2013-03-21 | ブラザー工業株式会社 | ヘッドマウントディスプレイ |
| JP5136442B2 (ja) * | 2009-01-27 | 2013-02-06 | ブラザー工業株式会社 | ヘッドマウントディスプレイ |
| JP5201015B2 (ja) * | 2009-03-09 | 2013-06-05 | ブラザー工業株式会社 | ヘッドマウントディスプレイ |
| KR20110006022A (ko) * | 2009-07-13 | 2011-01-20 | 삼성전자주식회사 | 가상 오브젝트 기반의 이미지 처리 방법 및 장치 |
| KR100957575B1 (ko) * | 2009-10-01 | 2010-05-11 | (주)올라웍스 | 단말기의 움직임 또는 자세에 기초하여 비주얼 서치를 수행하기 위한 방법, 단말기 및 컴퓨터 판독 가능한 기록 매체 |
| JP2011118842A (ja) * | 2009-12-07 | 2011-06-16 | Canon Inc | 情報処理装置、表示制御方法及びプログラム |
| US20110202603A1 (en) * | 2010-02-12 | 2011-08-18 | Nokia Corporation | Method and apparatus for providing object based media mixing |
| US9759917B2 (en) | 2010-02-28 | 2017-09-12 | Microsoft Technology Licensing, Llc | AR glasses with event and sensor triggered AR eyepiece interface to external devices |
| US8488246B2 (en) | 2010-02-28 | 2013-07-16 | Osterhout Group, Inc. | See-through near-eye display glasses including a curved polarizing film in the image source, a partially reflective, partially transmitting optical element and an optically flat film |
| US8482859B2 (en) | 2010-02-28 | 2013-07-09 | Osterhout Group, Inc. | See-through near-eye display glasses wherein image light is transmitted to and reflected from an optically flat film |
| US10180572B2 (en) | 2010-02-28 | 2019-01-15 | Microsoft Technology Licensing, Llc | AR glasses with event and user action control of external applications |
| US9129295B2 (en) | 2010-02-28 | 2015-09-08 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear |
| US9341843B2 (en) | 2010-02-28 | 2016-05-17 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses with a small scale image source |
| US9223134B2 (en) | 2010-02-28 | 2015-12-29 | Microsoft Technology Licensing, Llc | Optical imperfections in a light transmissive illumination system for see-through near-eye display glasses |
| US9134534B2 (en) | 2010-02-28 | 2015-09-15 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses including a modular image source |
| US9182596B2 (en) | 2010-02-28 | 2015-11-10 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light |
| US9229227B2 (en) | 2010-02-28 | 2016-01-05 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses with a light transmissive wedge shaped illumination system |
| US9285589B2 (en) | 2010-02-28 | 2016-03-15 | Microsoft Technology Licensing, Llc | AR glasses with event and sensor triggered control of AR eyepiece applications |
| US20150309316A1 (en) | 2011-04-06 | 2015-10-29 | Microsoft Technology Licensing, Llc | Ar glasses with predictive control of external device based on event input |
| US8467133B2 (en) | 2010-02-28 | 2013-06-18 | Osterhout Group, Inc. | See-through display with an optical assembly including a wedge-shaped illumination system |
| US9097891B2 (en) | 2010-02-28 | 2015-08-04 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment |
| AU2011220382A1 (en) * | 2010-02-28 | 2012-10-18 | Microsoft Corporation | Local advertising content on an interactive head-mounted eyepiece |
| US20120249797A1 (en) | 2010-02-28 | 2012-10-04 | Osterhout Group, Inc. | Head-worn adaptive display |
| US8477425B2 (en) | 2010-02-28 | 2013-07-02 | Osterhout Group, Inc. | See-through near-eye display glasses including a partially reflective, partially transmitting optical element |
| US9091851B2 (en) | 2010-02-28 | 2015-07-28 | Microsoft Technology Licensing, Llc | Light control in head mounted displays |
| US9366862B2 (en) | 2010-02-28 | 2016-06-14 | Microsoft Technology Licensing, Llc | System and method for delivering content to a group of see-through near eye display eyepieces |
| US9128281B2 (en) | 2010-09-14 | 2015-09-08 | Microsoft Technology Licensing, Llc | Eyepiece with uniformly illuminated reflective display |
| US8472120B2 (en) | 2010-02-28 | 2013-06-25 | Osterhout Group, Inc. | See-through near-eye display glasses with a small scale image source |
| US9097890B2 (en) | 2010-02-28 | 2015-08-04 | Microsoft Technology Licensing, Llc | Grating in a light transmissive illumination system for see-through near-eye display glasses |
| JP5564300B2 (ja) * | 2010-03-19 | 2014-07-30 | 富士フイルム株式会社 | ヘッドマウント型拡張現実映像提示装置及びその仮想表示物操作方法 |
| US9158777B2 (en) * | 2010-03-30 | 2015-10-13 | Gravity Jack, Inc. | Augmented reality methods and apparatus |
| US20110310227A1 (en) * | 2010-06-17 | 2011-12-22 | Qualcomm Incorporated | Mobile device based content mapping for augmented reality environment |
| JP5211120B2 (ja) | 2010-07-30 | 2013-06-12 | 株式会社東芝 | 情報表示装置及び情報表示方法 |
| KR101357262B1 (ko) * | 2010-08-13 | 2014-01-29 | 주식회사 팬택 | 필터 정보를 이용한 객체 인식 장치 및 방법 |
| KR101690955B1 (ko) * | 2010-10-04 | 2016-12-29 | 삼성전자주식회사 | 증강 현실을 이용한 영상 데이터 생성 방법 및 재생 방법, 그리고 이를 이용한 촬영 장치 |
| US8861797B2 (en) | 2010-11-12 | 2014-10-14 | At&T Intellectual Property I, L.P. | Calibrating vision systems |
| JP5691632B2 (ja) * | 2011-02-24 | 2015-04-01 | 株式会社大林組 | 画像合成方法 |
| JP5776218B2 (ja) * | 2011-02-24 | 2015-09-09 | 株式会社大林組 | 画像合成方法 |
| US8601380B2 (en) * | 2011-03-16 | 2013-12-03 | Nokia Corporation | Method and apparatus for displaying interactive preview information in a location-based user interface |
| US8558759B1 (en) * | 2011-07-08 | 2013-10-15 | Google Inc. | Hand gestures to signify what is important |
| JP5683402B2 (ja) * | 2011-07-29 | 2015-03-11 | 三菱電機株式会社 | 画像合成装置及び画像合成方法 |
| US9497501B2 (en) | 2011-12-06 | 2016-11-15 | Microsoft Technology Licensing, Llc | Augmented reality virtual monitor |
| US9052804B1 (en) * | 2012-01-06 | 2015-06-09 | Google Inc. | Object occlusion to initiate a visual search |
| US9230171B2 (en) | 2012-01-06 | 2016-01-05 | Google Inc. | Object outlining to initiate a visual search |
| US20130201178A1 (en) * | 2012-02-06 | 2013-08-08 | Honeywell International Inc. | System and method providing a viewable three dimensional display cursor |
| JP5970872B2 (ja) * | 2012-03-07 | 2016-08-17 | セイコーエプソン株式会社 | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
| JP2013235080A (ja) * | 2012-05-08 | 2013-11-21 | Sony Corp | 画像表示装置、画像表示プログラム及び画像表示方法 |
| JP5687670B2 (ja) * | 2012-08-31 | 2015-03-18 | 株式会社コナミデジタルエンタテインメント | 表示制御システム、ゲームシステム、表示制御装置、及びプログラム |
| JP6007079B2 (ja) * | 2012-11-22 | 2016-10-12 | 株式会社日立システムズ | 仮想のぞき穴画像生成システム |
| US20140179369A1 (en) * | 2012-12-20 | 2014-06-26 | Nokia Corporation | Apparatus and method for providing proximity-based zooming |
| TWI649675B (zh) | 2013-03-28 | 2019-02-01 | 新力股份有限公司 | Display device |
| WO2014185920A1 (en) * | 2013-05-16 | 2014-11-20 | Empire Technology Development, Llc | Three dimensional user interface in augmented reality |
| KR20150096948A (ko) * | 2014-02-17 | 2015-08-26 | 엘지전자 주식회사 | 증강 현실 사진 촬영 가이드를 디스플레이 하는 헤드 마운티드 디스플레이 디바이스 및 그 제어 방법 |
| KR20150110032A (ko) * | 2014-03-24 | 2015-10-02 | 삼성전자주식회사 | 영상데이터 처리 전자장치 및 방법 |
| WO2015189973A1 (ja) | 2014-06-13 | 2015-12-17 | 三菱電機株式会社 | 情報処理装置、情報重畳画像表示装置、マーカー表示プログラムおよび情報重畳画像表示プログラム |
| JP6335696B2 (ja) * | 2014-07-11 | 2018-05-30 | 三菱電機株式会社 | 入力装置 |
| US9696551B2 (en) * | 2014-08-13 | 2017-07-04 | Beijing Lenovo Software Ltd. | Information processing method and electronic device |
| JP6186457B2 (ja) * | 2016-01-19 | 2017-08-23 | ヤフー株式会社 | 情報表示プログラム、情報表示装置、情報表示方法および配信装置 |
| JP6217772B2 (ja) * | 2016-02-12 | 2017-10-25 | セイコーエプソン株式会社 | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
| JP6717423B2 (ja) * | 2017-03-23 | 2020-07-01 | 東芝三菱電機産業システム株式会社 | 鉄鋼プラントの分析支援装置 |
| US9892564B1 (en) | 2017-03-30 | 2018-02-13 | Novarad Corporation | Augmenting real-time views of a patient with three-dimensional data |
| JP6419278B1 (ja) * | 2017-09-19 | 2018-11-07 | キヤノン株式会社 | 制御装置、制御方法、及びプログラム |
| TWI692968B (zh) * | 2018-04-26 | 2020-05-01 | 財團法人工業技術研究院 | 三維建模裝置及應用於其之校準方法 |
| JP6559870B1 (ja) * | 2018-11-30 | 2019-08-14 | 株式会社ドワンゴ | 動画合成装置、動画合成方法及び動画合成プログラム |
| US20200296462A1 (en) | 2019-03-11 | 2020-09-17 | Wci One, Llc | Media content presentation |
| US20200296316A1 (en) | 2019-03-11 | 2020-09-17 | Quibi Holdings, LLC | Media content presentation |
| US11194438B2 (en) * | 2019-05-09 | 2021-12-07 | Microsoft Technology Licensing, Llc | Capture indicator for a virtual world |
| JP7330507B2 (ja) * | 2019-12-13 | 2023-08-22 | 株式会社Agama-X | 情報処理装置、プログラム、及び、方法 |
| EP4131923A4 (en) * | 2020-03-30 | 2023-08-23 | Sony Group Corporation | IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND PROGRAM |
| CN114885090A (zh) * | 2021-04-27 | 2022-08-09 | 青岛海尔电冰箱有限公司 | 冰箱内图像获取方法、冰箱及计算机存储介质 |
| CN114979487B (zh) * | 2022-05-27 | 2024-06-18 | 联想(北京)有限公司 | 图像处理方法、装置及电子设备和存储介质 |
Family Cites Families (45)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2332547A1 (fr) * | 1975-11-21 | 1977-06-17 | Angenieux Pierre | Variateur optique de grandissement d'image |
| EP0450196B1 (en) * | 1990-04-02 | 1998-09-09 | Koninklijke Philips Electronics N.V. | Data processing system using gesture-based input data |
| US6850252B1 (en) * | 1999-10-05 | 2005-02-01 | Steven M. Hoffberg | Intelligent electronic appliance system and method |
| JPH086708A (ja) * | 1994-04-22 | 1996-01-12 | Canon Inc | 表示装置 |
| US5765561A (en) * | 1994-10-07 | 1998-06-16 | Medical Media Systems | Video-based surgical targeting system |
| DE69533870T2 (de) * | 1994-10-19 | 2005-05-25 | Matsushita Electric Industrial Co., Ltd., Kadoma | Vorrichtung zur Bilddekodierung |
| JPH08265619A (ja) | 1995-03-27 | 1996-10-11 | Canon Inc | ビデオカメラおよびレンズシステムのズーム方法 |
| US6034740A (en) | 1995-10-30 | 2000-03-07 | Kabushiki Kaisha Photron | Keying system and composite image producing method |
| US6317128B1 (en) * | 1996-04-18 | 2001-11-13 | Silicon Graphics, Inc. | Graphical user interface with anti-interference outlines for enhanced variably-transparent applications |
| US6181302B1 (en) * | 1996-04-24 | 2001-01-30 | C. Macgill Lynde | Marine navigation binoculars with virtual display superimposing real world image |
| US5790104A (en) * | 1996-06-25 | 1998-08-04 | International Business Machines Corporation | Multiple, moveable, customizable virtual pointing devices |
| US6002808A (en) | 1996-07-26 | 1999-12-14 | Mitsubishi Electric Information Technology Center America, Inc. | Hand gesture control system |
| JP3558104B2 (ja) | 1996-08-05 | 2004-08-25 | ソニー株式会社 | ３次元仮想物体表示装置および方法 |
| JPH10327433A (ja) * | 1997-05-23 | 1998-12-08 | Minolta Co Ltd | 合成画像の表示装置 |
| JP4251673B2 (ja) * | 1997-06-24 | 2009-04-08 | 富士通株式会社 | 画像呈示装置 |
| US6064354A (en) * | 1998-07-01 | 2000-05-16 | Deluca; Michael Joseph | Stereoscopic user interface method and apparatus |
| JP4453936B2 (ja) | 1998-07-15 | 2010-04-21 | 信越石英株式会社 | エキシマレーザー用光学部材の製造方法 |
| US6266100B1 (en) * | 1998-09-04 | 2001-07-24 | Sportvision, Inc. | System for enhancing a video presentation of a live event |
| JP4013100B2 (ja) | 1998-09-21 | 2007-11-28 | 富士フイルム株式会社 | 電子カメラ |
| US7055101B2 (en) * | 1998-12-18 | 2006-05-30 | Tangis Corporation | Thematic response to a computer user's context, such as by a wearable personal computer |
| US7046263B1 (en) * | 1998-12-18 | 2006-05-16 | Tangis Corporation | Requesting computer user's context data |
| US6513046B1 (en) * | 1999-12-15 | 2003-01-28 | Tangis Corporation | Storing and recalling information to augment human memories |
| US7225229B1 (en) * | 1998-12-18 | 2007-05-29 | Tangis Corporation | Automated pushing of computer user's context data to clients |
| US7076737B2 (en) * | 1998-12-18 | 2006-07-11 | Tangis Corporation | Thematic response to a computer user's context, such as by a wearable personal computer |
| US6791580B1 (en) * | 1998-12-18 | 2004-09-14 | Tangis Corporation | Supplying notifications related to supply and consumption of user context data |
| US7107539B2 (en) * | 1998-12-18 | 2006-09-12 | Tangis Corporation | Thematic response to a computer user's context, such as by a wearable personal computer |
| US6801223B1 (en) * | 1998-12-18 | 2004-10-05 | Tangis Corporation | Managing interactions between computer users' context models |
| US7073129B1 (en) * | 1998-12-18 | 2006-07-04 | Tangis Corporation | Automated selection of appropriate information based on a computer user's context |
| US7137069B2 (en) * | 1998-12-18 | 2006-11-14 | Tangis Corporation | Thematic response to a computer user's context, such as by a wearable personal computer |
| JP3368226B2 (ja) | 1999-03-26 | 2003-01-20 | キヤノン株式会社 | 情報処理方法及び情報処理装置 |
| WO2002015110A1 (en) * | 1999-12-07 | 2002-02-21 | Fraunhofer Crcg, Inc. | Virtual showcases |
| WO2001095061A2 (en) * | 1999-12-07 | 2001-12-13 | Frauenhofer Institut Fuer Graphische Datenverarbeitung | The extended virtual table: an optical extension for table-like projection systems |
| US6771294B1 (en) * | 1999-12-29 | 2004-08-03 | Petri Pulli | User interface |
| US20020044152A1 (en) * | 2000-10-16 | 2002-04-18 | Abbott Kenneth H. | Dynamic integration of computer generated and real world images |
| US6690960B2 (en) * | 2000-12-21 | 2004-02-10 | David T. Chen | Video-based surgical targeting system |
| JP3848092B2 (ja) | 2001-03-13 | 2006-11-22 | キヤノン株式会社 | 画像処理装置及び方法、並びにプログラム |
| JP2002362184A (ja) * | 2001-06-11 | 2002-12-18 | Honda Motor Co Ltd | 車両用表示装置 |
| US7206434B2 (en) * | 2001-07-10 | 2007-04-17 | Vistas Unlimited, Inc. | Method and system for measurement of the duration an area is included in an image stream |
| JP3848130B2 (ja) | 2001-10-31 | 2006-11-22 | キヤノン株式会社 | 撮像装置、撮像装置と記録装置とを有するシステム及びその制御方法 |
| JP3884942B2 (ja) | 2001-10-31 | 2007-02-21 | キヤノン株式会社 | 撮像装置、撮像装置と記録装置とを有するシステム及びその制御方法 |
| JP3840091B2 (ja) | 2001-10-31 | 2006-11-01 | キヤノン株式会社 | 撮像装置、撮像装置と記録装置とを有するシステム及びその制御方法 |
| US20040139156A1 (en) * | 2001-12-21 | 2004-07-15 | Matthews W. Donald | Methods of providing direct technical support over networks |
| JP4298407B2 (ja) * | 2002-09-30 | 2009-07-22 | キヤノン株式会社 | 映像合成装置及び映像合成方法 |
| US20040068758A1 (en) * | 2002-10-02 | 2004-04-08 | Mike Daily | Dynamic video annotation |
| JP4134785B2 (ja) * | 2003-03-28 | 2008-08-20 | 株式会社デンソー | 表示装置 |
-
2003
- 2003-07-31 JP JP2003204813A patent/JP4298407B2/ja not_active Expired - Fee Related
- 2003-09-29 DE DE60313412T patent/DE60313412T2/de not_active Expired - Lifetime
- 2003-09-29 US US10/671,611 patent/US7487468B2/en not_active Expired - Fee Related
- 2003-09-29 CN CNB031347479A patent/CN1324534C/zh not_active Expired - Fee Related
- 2003-09-29 EP EP03256119A patent/EP1404126B1/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| EP1404126A3 (en) | 2004-12-15 |
| DE60313412T2 (de) | 2008-01-17 |
| CN1324534C (zh) | 2007-07-04 |
| US20040070611A1 (en) | 2004-04-15 |
| DE60313412D1 (de) | 2007-06-06 |
| US7487468B2 (en) | 2009-02-03 |
| JP2004178554A (ja) | 2004-06-24 |
| EP1404126A2 (en) | 2004-03-31 |
| CN1497504A (zh) | 2004-05-19 |
| EP1404126B1 (en) | 2007-04-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4298407B2 (ja) | 映像合成装置及び映像合成方法 | |
| JP4933164B2 (ja) | 情報処理装置、情報処理方法、プログラムおよび記憶媒体 | |
| JP4883774B2 (ja) | 情報処理装置及びその制御方法、プログラム | |
| JP4810295B2 (ja) | 情報処理装置及びその制御方法、画像処理装置、プログラム、記憶媒体 | |
| US7774044B2 (en) | System and method for augmented reality navigation in a medical intervention procedure | |
| JP4401727B2 (ja) | 画像表示装置及び方法 | |
| JP6336929B2 (ja) | 仮想オブジェクト表示装置、方法、プログラムおよびシステム | |
| TW572748B (en) | A guide system and a probe therefor | |
| JP4739002B2 (ja) | 画像処理方法、画像処理装置 | |
| WO2016132817A1 (ja) | 仮想オブジェクト表示装置、方法、プログラムおよびシステム | |
| JP2005107971A (ja) | 複合現実空間画像生成方法及び複合現実感システム | |
| JP4834424B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| US11094283B2 (en) | Head-wearable presentation apparatus, method for operating the same, and medical-optical observation system | |
| JP2006012042A (ja) | 画像生成方法及び装置 | |
| JP2023526716A (ja) | 外科手術ナビゲーションシステムおよびそのアプリケーション | |
| JP2006285609A (ja) | 画像処理方法、画像処理装置 | |
| JP2005339377A (ja) | 画像処理方法、画像処理装置 | |
| JP2007034628A (ja) | 画像処理方法及び装置 | |
| JP4366165B2 (ja) | 画像表示装置及び方法並びに記憶媒体 | |
| JP2023065528A (ja) | ヘッドマウント情報処理装置およびヘッドマウントディスプレイシステム | |
| JP7163498B2 (ja) | 表示制御装置、表示制御方法、及びプログラム | |
| JP4217661B2 (ja) | 画像処理方法、画像処理装置 | |
| US11771506B2 (en) | Method and system for controlling dental machines | |
| KR102460821B1 (ko) | 증강 현실 장치 및 증강 현실 장치의 동작 방법 | |
| JP2019040357A (ja) | 画像処理装置、画像処理方法、コンピュータプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060704 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060704 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081010 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081209 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090109 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090310 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090403 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090415 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4298407 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120424 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130424 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130424 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140424 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |