JP2011060195A - 仮想物体影作成装置および合成画像作成装置並びに仮想物体影作成方法、プログラム - Google Patents

Abstract

【課題】仮想物体の影をより適正に作成する。
【解決手段】明るさパラメータＳ［ｋ，ｉ］，Ｓ［ｑ，ｉ］を設定した複数の位置（取得位置ｋおよび補間位置ｑ）のうち仮想物体の配置予定位置から所定範囲内の少なくとも一つの位置を処理用位置として設定し（Ｓ４１０）、設定した処理用位置における明るさパラメータＳ［ｉ］を用いて仮想物体のシェーディングを行なうと共に仮想物体の影を表現するための影平面Ｆ［ｊ］を作成する（Ｓ４２０〜Ｓ４６０）。
【選択図】図２０

Description

本発明は、仮想物体影作成装置および合成画像作成装置並びに仮想物体影作成方法、プログラムに関する。

従来、この種の仮想物体影作成装置としては、１台のカメラにより計測された実世界の光源環境を用いて仮想物体の影を作成するものが提案されている（例えば、非特許文献１参照）。この装置では、一つの光源環境を用いて作成した一つの仮想物体の影と一つの仮想物体と現実空間の画像とを合成することにより、現実空間とコンピュータグラフィックス（CG：Computer Graphics）によって表現された仮想空間との融合による複合現実感（MR：Mixed Reality）を表現している。

角田哲也, 大石岳史, 池内克史, "影付け平面を用いた複合現実感における高速陰影表現手法", 映像情報メディア学会誌, Vol. 62, No. 5, pp.788-795, 2008年5月

こうした仮想物体影作成装置では、複合現実感をより適正に表現するために、仮想物体の影の作成において現実空間の光源環境をより適正に反映させることが重要な課題の一つとされている。上述の仮想物体影作成装置では、一つの光源環境を用いて仮想物体の影を作成するため、仮想物体の形状や位置，数によっては、仮想物体の影を作成する際に、現実空間の建造物や樹木，地形などが仮想物体に与える影響を適正に反映することができない場合が生じる。

本発明の仮想物体影作成装置および合成画像作成装置並びに仮想物体影作成方法、プログラムは、仮想物体の影をより適正に作成することを主目的とする。

本発明の仮想物体影作成装置および合成画像作成装置並びに仮想物体影作成方法、プログラムは、上述の主目的を達成するために以下の手段を採った。

本発明の仮想物体影作成装置は、
現実空間の光の強度および方向を反映するパラメータである明るさパラメータを用いて少なくとも一つの仮想的な物体である仮想物体の影を作成する仮想物体影作成装置であって、
現実空間の複数の位置における前記明るさパラメータを設定する明るさパラメータ設定手段と、
前記少なくとも一つの仮想物体のうちの任意の仮想物体の影を作成する際、前記明るさパラメータが設定される位置である複数のパラメータ設定位置のうち前記任意の仮想物体の現実空間での配置予定位置から所定範囲内の少なくとも一つの位置における前記明るさパラメータを用いて前記任意の仮想物体の影を作成する影作成手段と、
を備えることを要旨とする。

この本発明の仮想物体影作成装置では、複数の位置における現実空間の光の強度および方向を反映するパラメータである明るさパラメータを設定し、少なくとも一つの仮想物体のうちの任意の仮想物体の影を作成する際には、明るさパラメータが設定される位置である複数のパラメータ設定位置のうち任意の仮想物体の現実空間での配置予定位置から所定範囲内の少なくとも一つの位置における明るさパラメータを用いて任意の仮想物体の影を作成する。即ち、仮想物体の影を作成する際に、任意の仮想物体の現実空間での配置予定位置から所定範囲内の少なくとも一つの位置における明るさパラメータを用いて任意の仮想物体の影を作成するのである。これにより、現実空間で位置によって光源環境（明るさの環境）が異なる可能性がある場合でも、現実空間の光源環境をより適正に反映した明るさパラメータを用いて仮想物体の影を作成することができるから、仮想物体の影をより適正に作成することができる。ここで、「仮想物体の現実空間での配置予定位置から所定範囲内」は、任意の仮想物体の現実空間での配置予定位置に対して光源環境が略等しいと想定可能な範囲内である、ものとすることもできる。

こうした本発明の仮想物体影作成装置において、前記明るさパラメータ設定手段は、光の強度を含む明るさ情報を取得する位置である複数の取得位置を含む前記複数のパラメータ設定位置における前記明るさパラメータを設定する手段である、ものとすることもできる。この態様の本発明の仮想物体影作成装置において、前記明るさパラメータ設定手段は、前記複数のパラメータ設定位置のうち前記明るさ情報を取得しない未取得位置については、前記複数の取得位置の少なくとも一部の位置における前記明るさ情報または前記明るさパラメータを用いて前記未取得位置における前記明るさパラメータを設定する手段である、ものとすることもできる。こうすれば、未取得位置における明るさパラメータを設定することができる。この場合、前記明るさパラメータ設定手段は、前記複数の取得位置の少なくとも一部の位置における前記明るさ情報または前記明るさパラメータに加えて、前記未取得位置における光の強度および／または方向に影響を与える障害物と前記未取得位置との距離を用いて前記未取得位置における前記明るさパラメータを設定する手段である、ものとすることもできる。こうすれば、未取得位置における明るさパラメータをより適正に設定することができる。この場合、前記明るさパラメータ設定手段は、Ｎｋ（Ｎｋ≧２）個の前記取得位置ｋ（ｋは１〜Ｎｋ）から選択したＮｋｓｅｌ個の選択取得位置ｋｓｅｌ（ｋｓｅｌは１〜Ｎｋｓｅｌ、但し２≦Ｎｋｓｅｌ≦Ｎｋ）の各々と前記未取得位置ｑとの距離ａ［ｑ，ｋｓｅｌ］と、前記選択取得位置ｋｓｅｌにおける前記明るさパラメータＳ［ｋｓｅｌ］と、前記未取得位置ｑと前記障害物との距離ｔ［ｑ］（ｔ［ｑ］≧０）と、を用いて前記未取得位置ｑにおける前記明るさパラメータＳ［ｑ］を次式（Ａ）により計算する手段である、ものとすることもできる。

また、本発明の仮想物体影作成装置において、前記明るさパラメータ設定手段は、前記少なくとも一つの仮想物体の全ての現実空間での配置予定位置を含む複数の位置における前記明るさパラメータを設定する手段である、ものとすることもできる。

さらに、本発明の仮想物体影作成装置において、前記影作成手段は、前記任意の仮想物体の影を作成する際、各々が該任意の仮想物体の一部に相当する複数の部分の各々について、該部分の現実空間での配置予定位置から所定範囲内の一つの位置における前記明るさパラメータを用いて該部分の影を作成することにより、前記任意の仮想物体の全体の影を作成する手段である、ものとすることもできる。こうすれば、現実空間の光源環境をより適正に反映して仮想物体の影を作成することができる。ここで、「部分の現実空間での配置予定位置から所定範囲内」は、その部分の現実空間での配置予定位置に対して光源環境が略等しいと想定可能な範囲内である、ものとすることもできる。

あるいは、本発明の仮想物体影作成装置において、前記影作成手段は、前記任意の仮想物体の影を作成する際、該任意の仮想物体の各部分についての光源環境が一定でないと想定される一部影響想定状態でないときには前記任意の仮想物体の現実空間での配置予定位置から所定範囲内の一つの位置における前記明るさパラメータを用いて前記任意の仮想物体の全体の影を作成し、前記一部影響想定状態であるときには各々が前記任意の仮想物体の一部に相当する複数の部分の各々について該部分の現実空間での配置予定位置から所定範囲内の一つの位置における前記明るさパラメータを用いて該部分の影を作成することにより前記任意の仮想物体の全体の影を作成する手段である、ものとすることもできる。こうすれば、前者の場合には簡易に仮想物体の影を作成することができ、後者の場合には現実空間の光源環境をより適正に反映して仮想物体全体の影を作成することができる。

加えて、本発明の仮想物体影作成装置において、前記影作成手段は、前記任意の仮想物体の影を作成する際、該任意の仮想物体について予め定められた複数の基礎影画像および基礎拡散画像と、前記任意の仮想物体の現実空間での配置予定位置から所定範囲内の少なくとも一つの位置における前記明るさパラメータと、を用いて前記任意の仮想物体の影を作成する手段である、ものとすることもできる。

また、本発明の仮想物体影作成装置において、前記明るさパラメータ設定手段は、前記設定した複数のパラメータ設定位置における明るさパラメータをネットワークに出力する手段であり、前記影作成手段は、前記ネットワークから前記複数のパラメータ設定位置における前記明るさパラメータを取得する手段である、ものとすることもできる。こうすれば、明るさパラメータ設定手段が処理中であるか否かに拘わらず即ち明るさパラメータ設定手段とは独立して影作成手段の数を１以上の範囲で増減することができる。

本発明の第１の合成画像作成装置は、上述のいずれかの態様の本発明の仮想物体影作成装置、即ち、基本的には、現実空間の光の強度および方向を反映するパラメータである明るさパラメータを用いて少なくとも一つの仮想的な物体である仮想物体の影を作成する仮想物体影作成装置であって、現実空間の複数の位置における前記明るさパラメータを設定する明るさパラメータ設定手段と、前記少なくとも一つの仮想物体のうちの任意の仮想物体の影を作成する際、前記明るさパラメータが設定される位置である複数のパラメータ設定位置のうち前記任意の仮想物体の現実空間での配置予定位置から所定範囲内の少なくとも一つの位置における前記明るさパラメータを用いて前記任意の仮想物体の影を作成する影作成手段と、を備える仮想物体影作成装置と、前記少なくとも一つの仮想物体と前記作成された少なくとも一つの仮想物体の影とを合成した仮想合成画像を作成する仮想合成画像作成手段と、を備えることを要旨とする。

この本発明の第１の合成画像作成装置では、上述のいずれかの態様の本発明の仮想物体影作成装置を備えるから、上述の仮想物体影作成装置が奏する効果、例えば、仮想物体の影をより適正に作成することができる効果などを奏することができる。そして、より適正な仮想物体の影を用いて仮想合成画像を作成することにより、仮想合成画像をより適正に作成することができる。

本発明の第２の合成画像作成装置は、上述のいずれかの態様の本発明の仮想物体影作成装置、即ち、基本的には、現実空間の光の強度および方向を反映するパラメータである明るさパラメータを用いて少なくとも一つの仮想的な物体である仮想物体の影を作成する仮想物体影作成装置であって、現実空間の複数の位置における前記明るさパラメータを設定する明るさパラメータ設定手段と、前記少なくとも一つの仮想物体のうちの任意の仮想物体の影を作成する際、前記明るさパラメータが設定される位置である複数のパラメータ設定位置のうち前記任意の仮想物体の現実空間での配置予定位置から所定範囲内の少なくとも一つの位置における前記明るさパラメータを用いて前記任意の仮想物体の影を作成する影作成手段と、を備える仮想物体影作成装置と、現実空間の画像である現実画像を取得する現実画像取得手段と、前記少なくとも一つの仮想物体と前記作成された少なくとも一つの仮想物体の影と前記取得された現実画像とを合成した現実仮想合成画像を作成する現実仮想合成画像作成手段と、を備えることを要旨とする。

この本発明の第２の合成画像作成装置では、上述のいずれかの態様の本発明の仮想物体影作成装置を備えるから、上述の仮想物体影作成装置が奏する効果、例えば、仮想物体の影をより適正に作成することができる効果などを奏することができる。そして、より適正な仮想物体の影を用いて現実仮想合成画像を作成することにより、現実仮想合成画像をより適正に作成することができる。

本発明の仮想物体影作成方法は、
現実空間の光の強度および方向を反映するパラメータである明るさパラメータを用いて少なくとも一つの仮想的な物体である仮想物体の影を作成する仮想物体影作成方法であって、
（ａ）現実空間の複数の位置における前記明るさパラメータを設定し、
（ｂ）前記少なくとも一つの仮想物体のうちの任意の仮想物体の影を作成する際、前記明るさパラメータが設定される位置である複数のパラメータ設定位置のうち前記任意の仮想物体の現実空間での配置予定位置から所定範囲内の少なくとも一つの位置における前記明るさパラメータを用いて前記任意の仮想物体の影を作成する、
ことを特徴とする。

この本発明の仮想物体影作成方法では、複数の位置における現実空間の光の強度および方向を反映するパラメータである明るさパラメータを設定し、少なくとも一つの仮想物体のうちの任意の仮想物体の影を作成する際には、明るさパラメータが設定される位置である複数のパラメータ設定位置のうち任意の仮想物体の現実空間での配置予定位置から所定範囲内の少なくとも一つの位置における明るさパラメータを用いて任意の仮想物体の影を作成する。即ち、仮想物体の影を作成する際に、任意の仮想物体の現実空間での配置予定位置から所定範囲内の少なくとも一つの位置における明るさパラメータを用いて任意の仮想物体の影を作成するのである。これにより、現実空間で位置によって光源環境（明るさの環境）が異なる可能性がある場合でも、現実空間の光源環境をより適正に反映した明るさパラメータを用いて仮想物体の影を作成することができるから、仮想物体の影をより適正に作成することができる。ここで、「仮想物体の現実空間での配置予定位置から所定範囲内」は、任意の仮想物体の現実空間での配置予定位置に対して光源環境が略等しいと想定可能な範囲内である、ものとすることもできる。

本発明のプログラムは、上述のいずれかの態様の本発明の仮想物体影作成方法のステップを１以上のコンピューターに実現させるためのものである。このプログラムは、コンピューターが読み取り可能な記録媒体（例えばハードディスク、ＲＯＭ、ＦＤ、ＣＤ、ＤＶＤなど）に記録されていてもよいし、伝送媒体（インターネットやＬＡＮなどの通信網）を介してあるコンピューターから別のコンピューターに配信されてもよいし、その他どのような形で授受されてもよい。このプログラムを一つのコンピューターに実行させるか又は複数のコンピューターにステップを分担して実行させれば、上述の本発明の仮想物体影作成方法のステップが実行されるため、本発明の仮想物体影作成方法と同様の作用効果が得られる。

本発明の一実施例としての複合現実感表現システム２０の構成の概略を示す構成図である。 本発明の一実施例としての複合現実感表現システム２０の構成の概略を示す構成図である。 本発明の一実施例としての複合現実感表現システム２０の構成の概略を示す構成図である。 半球状の面光源の一例を示す説明図である。 取得位置における全方位画像の一例を示す説明図である。 明るさ情報取得装置２２の一例を示す説明図である。 頭部装着型映像表示装置（ＨＭＤ）５０の一例を示す説明図である。 ビデオシースルー方式の一例を示す説明図である。 図示しないコンピュータにより実行される基礎画像作成処理ルーチンの一例を示すフローチャートである。 影付け平面Ｐｓｈａｄｏｗ［ｊ］を作成する様子の一例を示す説明図である。 基礎光源Ｌ［ｉ］の一例を示す説明図である。 基礎影画像Ｉｂａｓｉｓ［ｊ，ｉ］および基礎拡散画像Ｄｂａｓｉｓ［ｊ，ｉ］を設定する様子の一例を示す説明図である。 図１０（ａ）の仮想物体に対して作成した基礎影画像Ｉｂａｓｉｓ［ｊ，ｉ］の一部の一例を示す説明図である。 取得位置明るさパラメータ設定装置３４により実行される取得位置明るさパラメータ設定処理ルーチンの一例を示すフローチャートである。 取得位置ｋにおける明るさパラメータＳ［ｋ，ｉ］を設定する様子の一例を示す説明図である。 補間位置明るさパラメータ設定装置３６により実行される補間位置明るさパラメータ設定処理ルーチンの一例を示すフローチャートである。 補間位置ｑにおける明るさパラメータＳ［ｑ，ｉ］を設定する方法の考え方を示す説明図である。 補間位置ｑにおける明るさパラメータＳ［ｑ，ｉ］を設定する方法の考え方を示す説明図である。 明るさパラメータＳ［ｑ，ｉ］が設定される補間位置ｑの一例を示す説明図である。 現実仮想合成画像作成ルーチンの一例を示すフローチャートである。 Ｇｅｏｄｅｓｉｃ Ｄｏｍｅに配置される仮想光源Ｌｖ［ｎ］の一例を示す説明図である。 線形和画像Ｉｓｕｍ［ｊ］，Ｄｓｕｍ［ｊ］を演算する様子の一例を図２１に示す説明図である。 明るさ比画像Ｉｓｈａｄｏｗ［ｊ］の一例を示す説明図である。 影平面Ｆ［ｊ］の一例を示す説明図である。 表示装置５６に表示される現実仮想合成画像の一例を示す説明図である。 仮想物体の配置予定位置の光源環境の様子の一例を示す説明図である。 変形例の明るさ情報取得装置１２２を示す説明図である。

次に、本発明を実施するための形態を実施例を用いて説明する。

図１〜図３は、本発明の一実施例としての複合現実感表現システム２０の構成の概略を示す構成図である。図１は、屋外で複合現実感表現システム２０を用いる場合の一例を示し、図２は、屋内で複合現実感表現システム２０を用いる場合の一例を示す。実施例の複合現実感表現システム２０は、現実空間とコンピュータグラフィックス（CG：Computer Graphics）によって描かれた仮想空間との融合による複合現実感（MR：Mixed Reality）を表現するためのシステムとして構成されている。この複合現実感表現システム２０は、図１〜図３に示すように、現実空間の複数の位置に配置されてそれぞれの配置位置（取得位置）における光の強度を含む情報（光源環境（明るさの環境）を反映する情報、以下、明るさ情報という）を取得する複数の明るさ情報取得装置２２と、現実空間の画像である現実画像を撮影する撮影装置５２（図３参照）と、ユーザの位置や姿勢を取得する位置姿勢取得装置５４（図３参照）と、複数の明るさ情報，現実画像，ユーザの位置や姿勢などを用いて複合現実感（ＭＲ）を表現するための演算を行なう（具体的には、仮想的な物体である仮想物体の影を作成したり現実画像と仮想物体とその影とを合成した現実仮想合成画像を作成したりする）複合現実感演算装置３０と、複合現実感（ＭＲ）を表現する（具体的には、現実仮想合成画像を表示する）表示装置５６（図３参照）と、を備える。

複数の明るさ情報取得装置２２は、それぞれ、取得位置における明るさ情報として、現実空間の光源環境（明るさの環境）を地表面よりも天頂側の半球状の面光源としてモデル化したときにその半球状の面光源の全ての領域の光の強度を反映した画像（以下、全方位画像という）を取得する装置として構成されている。半球状の面光源の一例を図４に示し、取得位置における全方位画像の一例を図５に示す。この明るさ情報取得装置２２は、実施例では、図６に例示するように、魚眼レンズ２２ｂを装着したカメラ２２ａを天頂方向に向けて配置する、ことにより構成するものとした。

複合現実感演算装置３０は、複数の明るさ情報取得装置２２とネットワーク３２とに接続され取得位置の各々における光の強度や方向を反映するパラメータ（以下、明るさパラメータという）を設定する取得位置明るさパラメータ設定装置３４と、ネットワーク３２に接続され取得位置とは異なる位置（以下、補間位置という）における明るさパラメータを設定する補間位置明るさパラメータ設定装置３６と、ネットワーク３２に接続され仮想物体のデータなどを記憶するデータベースサーバ３８と、ネットワーク３２に接続され現実仮想合成画像を作成する合成画像作成装置４０と、を備える。ここで、取得位置明るさパラメータ設定装置３４や補間位置明るさパラメータ設定装置３６，合成画像作成装置４０は、それぞれ図示しないＣＰＵやＲＯＭ，ＲＡＭ，ハードディスクなどを備える周知のコンピュータとして構成されている。また、データベースサーバ３８には、仮想物体のデータの他に、仮想物体の影の作成に用いる基礎データ（後述の影付け平面や基礎影画像，基礎拡散画像など）なども記憶されている。なお、取得位置明るさパラメータ設定装置３４や合成画像作成装置４０は、それぞれ、一つであるものとしてもよいし、複数であるものとしてもよい（図１〜図３では複数の場合を図示した）。また、データベースサーバ３８に記憶される基礎データは、実施例では、図示しないコンピュータによる後述の準備処理により作成されるものとした。

撮影装置５２，位置姿勢取得装置５４，表示装置５６は、実施例では、頭部装着型映像表示装置（HMD: Head Mounted Display）５０として一体に形成されるものとした。ＨＭＤ５０の一例を図７に示す。また、位置姿勢取得装置５４は、実施例では、磁気センサやＧＰＳ（Global Positioning System），ジャイロセンサ，加速度センサなどの一つまたはこれらの組み合わせにより構成されるものとした。

こうして構成された実施例の複合現実感表現システム２０では、図８に例示するように、撮影装置５２により撮影された現実画像を用いて複合現実感演算装置３０により現実画像と仮想物体とその影とを合成した現実仮想合成画像を作成して表示装置５６に表示するいわゆるビデオシースルー方式を用いるものとした。

また、この複合現実感表現システム２０では、複合現実感（ＭＲ）を表現するための準備処理として、基礎データを作成してデータベースサーバ３８に記憶させる。そして、複合現実感を表現する逐次処理として、明るさ情報取得装置２２により明るさ情報としての全方位画像を取得し、取得した全方位画像を用いて取得位置明るさパラメータ設定装置３４や補間位置明るさパラメータ設定装置３６により取得位置や補間位置における明るさパラメータを設定し、設定した取得位置や補間位置における明るさパラメータを用いて合成画像作成装置４０により現実仮想合成画像を作成して表示装置５６に表示する。以下、準備処理，逐次処理の順に説明する。

図９は、準備処理として、図示しないコンピュータにより実行される基礎画像作成処理ルーチンの一例を示すフローチャートである。この基礎画像作成処理ルーチンでは、まず、仮想物体の影の作成に用いる仮想的な平面上の物体（以下、影付け平面という）Ｐｓｈａｄｏｗ［ｊ］（ｊは影付け平面の各々に対応する番号で１〜Ｎｊ、但しＮｊは影付け平面の数）を作成する（ステップＳ１００）。ここで、影付け平面Ｐｓｈａｄｏｗ［ｊ］は、実施例では、仮想物体の幾何モデルから作成するものとした。影付け平面Ｐｓｈａｄｏｗ［ｊ］を作成する様子の一例を図１０に示す。図１０の例では、（ａ）に示す仮想物体の３次元（３Ｄ）モデルに対して、（ｂ）仮想物体の３次元モデルを任意の部分に分割し、（ｃ）分割後の各部分から凸包を作成し、（ｄ）作成した凸包から主要な面を抽出する、ことによりＮｊ枚の影付け平面Ｐｓｈａｄｏｗ［ｊ］を作成している。ここで、凸包とは、２次元空間では点集合の任意の２要素を結ぶ閉線分を内部に含む最小の凸多角形を意味し、３次元空間では任意の３次元形状を囲む最小の凸ポリゴン形状（凸図形）を意味する。このように影付け平面Ｐｓｈａｄｏｗ［ｊ］を作成することにより、仮想物体の３次元モデルの形状に沿った影付け平面Ｐｓｈａｄｏｗ［ｊ］を作成することができる。なお、この影付け平面Ｐｓｈａｄｏｗ［ｊ］の作成処理の一部（例えば、仮想物体の３次元モデルの作成や、作成した３次元モデルの分割）については、手作業によって行なうものとしてもよい。

続いて、現実の光源環境（明るさの環境）を近似した基礎光源Ｌ［ｉ］（ｉは基礎光源の各々に対応する番号で１〜Ｎｉ、但しＮｉは基礎光源の数）を作成する（ステップＳ１１０）。基礎光源Ｌ［ｉ］は、実施例では、現実空間の光源環境を地表面よりも天頂側の半球状の面光源としてモデル化したときに（図４参照）その半球状の面光源をＧｅｏｄｅｓｉｃ Ｄｏｍｅを用いて分割して得られる離散的な複数の光源をそれぞれ設定するものとした。ここで、Ｇｅｏｄｅｓｉｃ Ｄｏｍｅは、正多面体の各面を分割した辺を正多面体に外接する球の表面上に球の中心から投影したものであり、球面をほぼ等しい面積に分割する性質を有するものである（文献Ａ，Ｂ参照）。このようにして作成した基礎光源Ｌ［ｉ］の一例を図１１に示す。実施例では、図示するように、半球状の面光源に内接する正多面体（例えば正２０面体）をＡｌｔｅｒｎａｔｉｖｅ法（Ｃｌａｓｓ−Ｉ）（文献Ａ参照）によって分割数ｆ（例えば２）で分割し、分割した多面体の各辺を半球面に投影することによりＧｅｏｄｅｓｉｃ Ｄｏｍｅを作成し、作成したＧｅｏｄｅｓｉｃ Ｄｏｍｅの各面を基礎光源Ｌ［ｉ］として設定するものとした。なお、Ｇｅｏｄｅｓｉｃ Ｄｏｍｅの面数（基礎光源Ｌ［ｉ］の数）ｎは、正２０面体で分割数ｆが値２の場合、４０になる。
文献Ａ：A. Pugh, “Polyhedra: a visual approach”, University of California Press, September, 1976.
文献Ｂ：K. Ikeuchi, “Recognition of 3D object using the extended Gaussian image”, Proc. 7th International Joint Conference on Artificial Intelligence, pp. 595-600, August,
1981.

次に、作成した基礎光源Ｌ［ｉ］（ｉは１〜Ｎｉ）と影付け平面Ｐｓｈａｄｏｗ［ｊ］とを用いて、仮想物体の影の作成に用いる基礎の影画像（以下、基礎影画像という）Ｉｂａｓｉｓ［ｊ，ｉ］（ｊは１〜Ｎｊ）および基礎の拡散反射の画像（以下、基礎拡散画像という）Ｄｂａｓｉｓ［ｊ，ｉ］を設定し（ステップＳ１２０）、設定した基礎影画像Ｉｂａｓｉｓ［ｊ，ｉ］および基礎拡散画像Ｄｂａｓｉｓ［ｊ，ｉ］をデータベースサーバ３８に記憶させて（ステップＳ１３０）、本ルーチンを終了する。基礎影画像Ｉｂａｓｉｓ［ｊ，ｉ］および基礎拡散画像Ｄｂａｓｉｓ［ｊ，ｉ］を設定する様子の一例を図１２に示す。基礎影画像Ｉｂａｓｉｓ［ｊ，ｉ］および基礎拡散画像Ｄｂａｓｉｓ［ｊ，ｉ］は、実施例では、図示するように、Ｇｅｏｄｅｓｉｃ Ｄｏｍｅ内に配置した影付け平面Ｐｓｈａｄｏｗ［ｊ］上に仮想物体を配置した状態で基礎光源Ｌ［ｉ］から影付け平面Ｐｓｈａｄｏｗ［ｊ］に照射したときの仮想物体の影画像を基礎影画像Ｉｂａｓｉｓ［ｊ，ｉ］として設定し、影付け平面Ｐｓｈａｄｏｗ［ｊ］上の仮想物体を除いた状態で基礎光源Ｌ［ｉ］から影付け平面Ｐｓｈａｄｏｗ［ｊ］に照射したときの画像を基礎拡散画像Ｄｂａｓｉｓ［ｊ，ｉ］として設定するものとした。このようにしてＮｊ×Ｎｉ枚の基礎影画像Ｉｂａｓｉｓ［ｊ，ｉ］および基礎拡散画像Ｄｂａｓｉｓ［ｊ，ｉ］を設定する。なお、影付け平面Ｐｓｈａｄｏｗ［ｊ］のうち法線方向が同じものについては、基礎光源Ｌ［ｉ］に対して同じ拡散反射を行なうため、基礎拡散画像を共有するものとしてもよい。また、実施例では、影付け平面Ｐｓｈａｄｏｗ［ｊ］は、Ｌａｍｂｅｒｔ反射すると仮定した。図１０（ａ）の仮想物体に対して作成した基礎影画像Ｉｂａｓｉｓ［ｊ，ｉ］の一部の一例を図１３に示す。

以上、準備処理について説明した。次に、準備処理により設定した基礎影画像Ｉｂａｓｉｓ［ｊ，ｉ］および基礎拡散画像Ｄｂａｓｉｓ［ｊ，ｉ］を用いて行なわれる逐次処理について説明する。逐次処理では、前述したように、複数の明るさ情報取得装置２２の各々によりその明るさ情報取得装置２２が配置された位置（取得位置）における明るさ情報として複数の取得位置の各々における全方位画像を取得し、取得した全方位画像を用いて取得位置明るさパラメータ設定装置３４や補間位置明るさパラメータ設定装置３６により取得位置や補間位置における明るさパラメータを設定し、設定した取得位置や補間位置における明るさパラメータを用いて合成画像作成装置４０により現実仮想合成画像を作成して表示装置５６に表示する。以下、取得位置明るさパラメータ設定装置３４による処理、補間位置明るさパラメータ設定装置３６による処理、合成画像作成装置４０による処理の順に説明する。なお、実施例では、取得位置ｋ（ｋは取得位置の各々に対応する番号で１〜Ｎｋ、但しＮｋは取得位置の数即ち明るさ情報取得装置２２の数）や補間位置ｑ（ｑは補間位置の各々に対応する番号でＮｋ＋１〜Ｎｑ、但し、Ｎｑは取得位置の数と補間位置の数との和）における明るさパラメータとして、基礎光源Ｌ［ｉ］の各々に対応する領域ｉの明るさを反映するパラメータである明るさパラメータＳ［ｋ，ｉ］，Ｓ［ｑ，ｉ］を用いるものとした。

図１４は、取得位置明るさパラメータ設定装置３４により実行される取得位置明るさパラメータ設定処理ルーチンの一例を示すフローチャートである。このルーチンは、所定時間（例えば、数ｍｓｅｃや数十ｍｓｅｃなど）毎に繰り返し実行される。取得位置明るさパラメータ設定処理ルーチンでは、取得位置明るさパラメータ設定装置３４は、明るさ情報取得装置２２から取得位置ｋにおける全方位画像Ｇ［ｋ］（図５参照）を入力し（ステップＳ２００）、入力した取得位置ｋにおける全方位画像Ｇ［ｋ］を用いて取得位置ｋにおける明るさパラメータＳ［ｋ，ｉ］を設定し（ステップＳ２１０）、設定した取得位置ｋにおける明るさパラメータＳ［ｋ，ｉ］をネットワーク３２に出力して（ステップＳ２２０）、本ルーチンを終了する。取得位置ｋにおける明るさパラメータＳ［ｋ，ｉ］を設定する様子の一例を図１５に示す。取得位置ｋにおける明るさパラメータＳ［ｋ，ｉ］は、実施例では、全方位画像Ｇ［ｋ］にＧｅｏｄｅｓｉｃ Ｄｏｍｅを投影して全方位画像Ｇ［ｋ］を各々の基礎光源Ｌ［ｉ］に対応するＮｉ個の三角形領域に分割し、分割した三角形領域ｉ（ｉは基礎光源Ｌ［ｉ］に対応する番号）のそれぞれについて、次式（１）により、各画素ｐ（ｐは三角形領域ｉ内の各画素に対応する番号で１〜Ｎｐ、但し、Ｎｐは画素数）の画素値（暗いほど小さく明るいほど大きい値）Ｖ［ｋ，ｉ，ｐ］（例えば、０〜２５５）の和を各画素ｐの画素値Ｖ［ｋ，ｉ，ｐ］の最大値Ｖｍａｘ［ｋ，ｉ，ｐ］（例えば、２５５）の和で除して０．０〜１．０の範囲内に正規化する、ことにより設定するものとした。このように複数の取得位置ｋにおける明るさパラメータＳ［ｋ，ｉ］を設定することにより、現実空間の建造物や樹木，地形などが仮想物体の一部の光源環境（明るさの環境）や複数の仮想物体のそれぞれの位置の光源環境に影響を与えると考えられるときでも、より現実の光源環境を反映して取得位置ｋにおける明るさパラメータＳ［ｋ，ｉ］を設定することができる。

次に、補間位置明るさパラメータ設定装置３６による処理について説明する。図１６は、補間位置明るさパラメータ設定装置３６により実行される補間位置明るさパラメータ設定処理ルーチンの一例を示すフローチャートである。このルーチンは、所定時間（例えば、数ｍｓｅｃや数十ｍｓｅｃなど）毎に繰り返し実行される。補間位置明るさパラメータ設定処理ルーチンでは、補間位置明るさパラメータ設定装置３６は、取得位置ｋにおける明るさパラメータＳ［ｋ，ｉ］（ｋは１〜Ｎｋ、ｉは１〜Ｎｉ）をネットワーク３２から入力し（ステップＳ３００）、入力した取得位置ｋにおける明るさパラメータＳ［ｋ，ｉ］を用いて補間位置ｑ（ｑはＮｋ＋１〜Ｎｑ）における明るさパラメータＳ［ｑ，ｉ］を設定し（ステップＳ３１０）、設定した補間位置ｑにおける明るさパラメータＳ［ｑ，ｉ］をネットワーク３２に出力して（ステップＳ３２０）、本ルーチンを終了する。ここで、補間位置ｑにおける明るさパラメータＳ［ｑ，ｉ］は、実施例では、Ｎｋ個（Ｎｋ≧２）の取得位置ｋ（１〜Ｎｋ）からＮｋｓｅｌ個の取得位置（以下、選択取得位置という）ｋｓｅｌ（１〜Ｎｋｓｅｌ、但し２≦Ｎｋｓｅｌ≦Ｎｋ）を任意に選択し、選択した選択取得位置ｋｓｅｌにおける明るさパラメータＳ［ｋｓｅｌ，ｉ］と、選択取得位置ｋｓｅｌと補間位置ｑとの距離ａ［ｑ，ｋｓｅｌ］と、距離ｔ［ｑ，ｉ］（ｔ［ｑ，ｉ］≧０）と、を用いて次式（２）により計算するものとした。３つの選択取得位置１〜３における明るさパラメータＳ［ｋｓｅｌ，ｉ］（ｋｓｅｌは１〜３）を用いて補間位置ｑにおける明るさパラメータＳ［ｑ，ｉ］を設定する方法の考え方を図１７および図１８に示す。式（２）は、取得位置ｋと補間位置ｑとの距離ａ［ｑ，ｋ］に反比例する傾向で補間位置ｑにおける明るさパラメータＳ［ｑ，ｉ］が取得位置ｋにおける明るさパラメータＳ［ｋ，ｉ］から影響を受けると考えられるという理由と（図１７参照）、補間位置ｑが山影や建物の陰，これらの近傍にある場合などに補間位置ｑから見て基礎光源Ｌ［ｉ］に対応する方向の障害物（例えば、建物や樹木，地形など）と補間位置ｑとの距離ｔ［ｑ，ｉ］に反比例する傾向で補間位置ｑにおける明るさパラメータＳ［ｑ，ｉ］が障害物から影響を受けると考えられるという理由と（図１８参照）、から定めたものである。このようにして明るさパラメータＳ［ｑ，ｉ］が設定される補間位置ｑの一例を図１９に示す。図中、実線丸印は取得位置ｋを示し、点線三角印は補間位置ｑを示す。仮想物体とその影とを合成した仮想合成画像を表示するためには、表示する位置における明るさパラメータを設定する必要がある。しかしながら、広い現実空間で複合現実感表現システム２０を用いる場合にその現実空間全体に明るさ情報取得装置２２を配置することや、仮想物体を移動させる場合に仮想物体の移動に応じて明るさ情報取得装置２２を移動させることは困難である。これに対して、実施例では、この補間位置明るさパラメータ設定処理ルーチンを実行することにより、明るさ情報取得装置２２の配置位置（取得位置）以外の位置（補間位置）における明るさパラメータＳ［ｑ，ｉ］を設定することができる。しかも、建物や樹木，地形などの障害物による影響を考慮して補間位置ｑにおける明るさパラメータＳ［ｑ，ｉ］を設定することにより、より現実の光源環境を反映して補間位置ｑにおける明るさパラメータＳ［ｑ，ｉ］を設定することができる。なお、補間位置ｑは、例えば、仮想物体の位置や大きさ，形状などに基づいて定めるものとしたり、現実空間の地形や建物の構造，配置などに基づいて定めるものとしたり、これらに拘わらず予め定められた補間位置ｑ間の間隔や取得位置ｋに対する距離などに基づいて定めるものとしたりすることができる。実施例では、仮想物体の配置予定位置が取得位置ｋ以外のときには、補間位置ｑに、その仮想物体の配置予定位置またはその近傍を含めるものとした。

次に、合成画像作成装置４０による処理について説明する。図２０は、現実仮想合成画像作成ルーチンの一例を示すフローチャートである。このルーチンは、所定時間（例えば、数ｍｓｅｃや数十ｍｓｅｃなど）毎に繰り返し実行される。現実仮想合成画像作成ルーチンでは、合成画像作成装置４０は、まず、ネットワーク３２から取得位置ｋや補間位置ｑにおける明るさパラメータＳ［ｋ，ｉ］，Ｓ［ｑ，ｉ］を入力すると共にデータベースサーバ３８からネットワーク３２を介して影付け平面Ｐｓｈａｄｏｗ［ｊ］や基礎影画像Ｉｂａｓｉｓ［ｊ，ｉ］（ｊは１〜Ｎｊ、ｉは１〜Ｎｉ），基礎拡散画像Ｄｂａｓｉｓ［ｊ，ｉ］を入力する（ステップＳ４００）。

続いて、仮想物体のシェーディング（仮想物体表面の法線，反射特性，光源分布による仮想物体表面の明るさの濃淡を表現する処理）や影の作成に用いる位置を取得位置ｋ（ｋは１〜Ｎｋ）や補間位置ｑ（ｑはＮｋ＋１〜Ｎｑ）から選択して処理用位置として設定する（ステップＳ４１０）。この処理用位置は、実施例では、取得位置ｋや補間位置ｑのうち仮想物体の配置予定位置から所定範囲内の一つの位置を設定するものとした。ここで、取得位置ｋや補間位置ｑのうち所定範囲内に複数の位置があるときには、例えば、取得位置ｋや補間位置ｑのうち仮想物体の配置予定位置のうちの基準点（例えば、仮想物体の中心）に最も近い位置を処理用位置として設定するものとすることができる。また、所定範囲は、例えば、仮想物体の配置予定位置に対して光源環境（明るさの環境）が略等しいと想定可能な範囲であるものとすることができる。なお、前述の図１や図２に例示したように、仮想物体が複数ある場合には、一つの仮想物体に対して一つの処理用位置を設定すればよい。以下、説明の都合上、取得位置ｋや補間位置ｑにおける明るさパラメータＳ［ｋ，ｉ］，Ｓ［ｑ，ｉ］のうち処理用位置における明るさパラメータをＳｓ［ｉ］と表わす。

こうして処理用位置を設定すると、その処理用位置における明るさパラメータＳｓ［ｉ］を用いて、処理用位置における仮想的な光源である仮想光源Ｌｖ［ｎ］（ｎは仮想光源の各々に対応する番号で１〜Ｎｎ、但しＮｎは仮想光源の数）の強度ＬＩ［ｎ］を設定する（ステップＳ４２０）。ここで、処理用位置における仮想光源Ｌｖ［ｎ］は、処理用位置におけるＧｅｏｄｅｓｉｃ Ｄｏｍｅ上の基礎光源Ｌ［ｉ］を基礎光源Ｌ［ｉ］の数Ｎｉより少ない数（例えば、８や１６など）に集約したものである。Ｇｅｏｄｅｓｉｃ Ｄｏｍｅに配置される仮想光源Ｌｖ［ｎ］の一例を図２１に示す。また、仮想光源Ｌｖ［ｎ］の強度ＬＩ［ｎ］は、処理用位置における明るさパラメータＳｓ［ｉ］を仮想光源Ｌｖ［ｎ］に対して反映させることにより設定することができ、実施例では、仮想光源Ｌｖ［ｎ］の数Ｎｎが明るさパラメータＳｓ［ｉ］の数Ｎｉに比して少ないため、仮想光源Ｌｖ［ｎ］近傍の明るさパラメータＳｓ［ｉ］の平均として仮想光源Ｌｖ［ｎ］の強度ＬＩ［ｎ］を設定するものとした。こうした処理により、現実空間の光源環境（明るさの環境、実施例では、処理用位置における明るさパラメータＳｓ［ｉ］）を処理用位置における仮想光源Ｌｖ［ｎ］によって近似的に表現することができる。

続いて、設定した処理用位置における仮想光源Ｌｖ［ｎ］の強度ＬＩ［ｎ］を用いて仮想物体のシェーディングを行なう（ステップＳ４３０）。ここで、仮想物体のシェーディングは、例えば、仮想光源Ｌｖ［ｎ］を平行光源（無限遠の光源）として、仮想物体を直接照射する直接光や他の物体（現実世界の物体である現実物体および仮想物体）表面から反射する間接光を計算して写実的な陰影を作成する、ことにより行なうことができる。なお、このシェーディングの方法としては、例えば、鏡面反射を表現する「フォンのモデル」や、金属の表現に適した「ブリンのモデル」，「クック・トランスのモデル」，磨いた金属や布を表面する「異方性反射モデル」などが考えられている（引用文献Ｃ参照）。
文献Ｃ：技術編CG標準テキストブック編集委員会, “技術編CG標準テキストブック”, 財団法人画像情報教育振興協会（CG-ARTS協会）, 第一版六刷, March, 2003.

次に、処理用位置における明るさパラメータＳｓ［ｉ］と影付け平面Ｐｓｈａｄｏｗ［ｊ］における基礎影画像Ｉｂａｓｉｓ［ｊ，ｉ］および基礎拡散画像Ｄｂａｓｉｓ［ｊ，ｉ］とを用いて、影付け平面Ｐｓｈａｄｏｗ［ｊ］についての線形和の画像（以下、線形和画像という）Ｉｓｕｍ［ｊ］，Ｄｓｕｍ［ｊ］を作成する（ステップＳ４４０）。ここで、線形和画像Ｉｓｕｍ［ｊ］，Ｄｓｕｍ［ｊ］の作成は、実施例では、処理用位置における明るさパラメータＳｓ［ｉ］と基礎影画像Ｉｂａｓｉｓ［ｊ，ｉ］とを用いて次式（３）により影付け平面Ｐｓｈａｄｏｗ［ｊ］についての線形和画像Ｉｓｕｍ［ｊ］を演算し、処理用位置における明るさパラメータＳｓ［ｉ］と基礎拡散画像Ｄｂａｓｉｓ［ｊ，ｉ］とを用いて次式（４）により影付け平面Ｐｓｈａｄｏｗ［ｊ］についての線形和画像Ｄｓｕｍ［ｊ］を演算する、ことにより行なうものとした。線形和画像Ｉｓｕｍ［ｊ］，Ｄｓｕｍ［ｊ］を演算する様子の一例を図２２に示す。

こうして影付け平面Ｐｓｈａｄｏｗ［ｊ］についての線形和画像Ｉｓｕｍ［ｊ］，Ｄｓｕｍ［ｊ］を設定すると、設定した線形和画像Ｉｓｕｍ［ｊ］と線形和画像Ｄｓｕｍ［ｊ］とを用いて、影付け平面Ｐｓｈａｄｏｗ［ｊ］についての仮想物体の影の強度である明るさ比画像Ｉｓｈａｄｏｗ［ｊ］を作成する（ステップＳ４５０）。ここで、現実物体および仮想物体の表面上のある点における放射照度Ｅとこのある点が影付け平面Ｐｓｈａｄｏｗ［ｊ］によって影付けされた後の放射照度Ｅ’との関係は、次式（５）により表わされることが解っている（文献Ｄ参照）。実施例では、このことを考慮して、線形和画像Ｉｓｕｍ［ｊ］と線形和画像Ｄｓｕｍ［ｊ］とを用いて式（６）により明るさ比画像Ｉｓｈａｄｏｗ［ｊ］を作成するものとした。こうして計算される明るさ比画像Ｉｓｈａｄｏｗ［ｊ］のうち値１となる画素は本影（仮想物体により完全に遮られた影）となる部分を示し、値０となる画素は全く影の落ちない部分を示す。明るさ比画像Ｉｓｈａｄｏｗ［ｊ］の一例を図２３に示す。
文献Ｄ：I. Sato, Y. Sato, and K. Ikeuchi：“Acquiring a radiance distribution to superimpose virtual objects onto a real scene”, IEEE Trans. on Visualization and Computer Graphics, 5, 1, pp.1-12, January-March, 1999.

続いて、作成した明るさ比画像Ｉｓｈａｄｏｗ［ｊ］を対応する影付け平面Ｐｓｈａｄｏｗ［ｊ］にマッピングすることにより、現実物体および仮想物体の表面上における影を表現するための影平面Ｆ［ｊ］を作成する（ステップＳ４６０）。影平面Ｆ［ｊ］を作成する様子の一例を図２４に示す。影平面Ｆ［ｊ］の作成は、例えば、影付け平面Ｐｓｈａｄｏｗ［ｊ］を反射率が値０の物体として、画像の色情報RGB（赤緑青）と透過度（透明度）の情報（いわゆるアルファ値、透明（値０）〜不透明（値１）を示す情報）とを用いて明るさ比画像Ｉｓｈａｄｏｗ［ｊ］を対応する影付け平面Ｐｓｈａｄｏｗ［ｊ］にマッピングする、ことにより行なうことができる（文献Ｅ参照）。実施例では、この透過度の情報として明るさ比画像Ｉｓｈａｄｏｗ［ｊ］を用いて影平面Ｆ［ｊ］を作成するものとした。これにより、影平面Ｆ［ｊ］は、不透明に近い部分では濃くなり、透明に近い部分では薄くなる。
文献Ｅ：OpenGL Architecture Review Board, M. Woo, J. Neider, and T. Davis,
“OpenGLプログラミングガイド 第2版”, ピアソン・エデュケーション, July, 2003.

次に、撮影装置５２から現実画像を入力すると共に位置姿勢取得装置５４からユーザの位置や姿勢を入力し（ステップＳ４７０）、入力した現実画像と仮想物体と影平面Ｆ［ｊ］とを合成した現実仮想合成画像を作成し（ステップＳ４８０）、表示装置５６に表示させて（ステップＳ４９０）、本ルーチンを終了する。ここで、現実仮想合成画像の作成は、現実画像を背景に設置した状態で、ユーザの位置や姿勢に応じた位置に仮想物体および影平面Ｆ［ｊ］とを描画する、ことにより行なうものとした。仮想物体および影平面Ｆ［ｊ］の描画は、具体的には、明るさ比画像Ｉｓｈａｄｏｗ［ｊ］によって透過度（透明度）が定められた影平面Ｆ［ｊ］により現実画像を減衰させて現実空間の地面などに落ちる仮想物体の影（キャストシャドウ）を表現すると共に、影平面Ｆ［ｊ］を用いて仮想物体自体の影（セルフシャドウ）を表現する、ことにより行なうことができる。このようにして表示装置５６に表示される現実仮想合成画像の一例を図２５に示す。

以上説明した実施例の複合現実感表現システム２０によれば、明るさパラメータＳ［ｋ，ｉ］，Ｓ［ｑ，ｉ］を設定した複数の位置（取得位置ｋおよび補間位置ｑ）のうち仮想物体の配置予定位置から所定範囲内の一つの位置を処理用位置としてその処理用位置における明るさパラメータＳ［ｉ］を用いて仮想物体の影を作成するから、現実空間の光源環境をより適正に反映した明るさパラメータを用いて仮想物体の影を作成することができるから、仮想物体の影をより適正に作成することができる。しかも、実施例の複合現実感表現システム２０によれば、取得位置ｋにおける明るさパラメータＳ［ｋ，ｉ］に加えて、補間位置ｑにおける明るさパラメータＳ［ｑ，ｉ］も考慮して仮想物体の影を作成するから、仮想物体の影をより適正に設定することができる。さらに、こうして作成した仮想物体の影と仮想物体と現実画像とを合成して現実仮想合成画像を作成するから、現実仮想合成画像をより適正に作成することができる。

また、実施例の複合現実感表現システム２０によれば、取得位置明るさパラメータ設定装置３４や補間位置明るさパラメータ設定装置３６が取得位置ｋや補間位置ｑにおける明るさパラメータＳ［ｋ，ｉ］，Ｓ［ｑ，ｉ］をネットワーク３２に出力すると共に合成画像作成装置４０がネットワーク３２から取得位置ｋや補間位置ｑにおける明るさパラメータＳ［ｋ，ｉ］，Ｓ［ｑ，ｉ］を取得して現実仮想合成画像を作成する、即ち、取得位置明るさパラメータ設定装置３４や補間位置明るさパラメータ設定装置３６から合成画像作成装置４０に明るさパラメータＳ［ｋ，ｉ］，Ｓ［ｑ，ｉ］をネットワーク配信するから、前述の逐次処理の段階でも、合成画像作成装置４０やＨＭＤ５０（撮影装置５２，位置姿勢取得装置５４，表示装置５６）の増減を行なうことができる。

実施例の複合現実感表現システム２０では、取得位置ｋや補間位置ｑのうち仮想物体の配置予定位置から所定範囲内の一つの位置を処理用位置として設定する、即ち、一つの仮想物体に対して一つの処理用位置を設定するものとしたが、一つの仮想物体に対して複数の処理用位置を設定するものとしてもよい。図２６は、仮想物体の配置予定位置の光源環境の様子の一例を示す説明図である。図示するように、仮想物体の配置予定位置の周囲に建造物や樹木，山などの障害物（現実物体）が局所的に存在する場合には、仮想物体のうちその障害物に近い部分にだけ障害物の影が落ちることが想定される。このような場合、仮想物体の中心位置に最も近い位置など一つの位置における明るさパラメータだけを用いて仮想物体のシェーディングや影の作成を行なうと、障害物の局所的な影響を適正に反映することができない。したがって、このことを考慮して、建造物や樹木，地形などが仮想物体の一部にだけ影響を与える（仮想物体の各部分についての光源環境が一定でない）と想定される一部影響想定状態であるか否かを判定し、一部影響想定状態でないときには実施例と同様に取得位置ｋや補間位置ｑのうち仮想物体の配置予定位置から所定範囲内の一つの位置を処理用位置として設定し、一部影響想定状態であるときには仮想物体を分割して得られる各部分についてそれぞれ取得位置ｋや補間位置ｑのうち各部分の配置予定位置を含む部分範囲内の一つの位置を処理用位置として設定するものとしてもよい。ここで、一部影響想定状態であるか否かの判定は、例えば、現実空間の状況（建物や樹木の位置，地形など）や仮想物体の状況（配置予定位置や大きさ，形状）などに基づいて判定することができる。また、部分範囲は、例えば、仮想物体のうち対応する部分の配置予定位置に対して光源環境（明るさの環境）が略等しいと想定可能な範囲であるものとすることができる。このように一部影響想定状態であるか否かに応じて処理用位置を設定することにより、仮想物体のシェーディングや影の作成を行なう際に、前者の場合即ち一部影響想定状態でないときには簡易に処理を行なうことができ、後者の場合即ち一部影響想定状態であるときには局所的な障害物の影響をより適正に反映して処理を行なうことができる。なお、仮想物体が複数あるときには、一部影響想定状態でない仮想物体についてはその仮想物体に対する処理用位置として取得位置ｋや補間位置ｑのうちの一つを設定し、一部影響想定状態である仮想物体についてはその仮想物体の各部分に対する処理用位置として取得位置ｋや補間位置ｑのうちの一つを設定すればよい。そして、こうして設定した処理用位置を用いて仮想物体のシェーディングや影の作成を行なう場合、一部影響想定状態でないとき（一つの仮想物体に対して一つの処理用位置を設定するとき）には実施例と同様に行ない、一部影響想定状態であるときには、仮想物体の各部分についてのそれぞれの処理用位置における仮想光源Ｌｖ［ｎ］の強度ＬＩ［ｎ］を用いたシェーディングによって仮想物体全体のシェーディングを行なうと共に仮想物体の各部分についてのそれぞれの処理用位置における明るさパラメータＳｓ［ｉ］を用いた線形和画像の作成によって仮想物体全体に対応する線形和画像Ｉｓｕｍ［ｊ］，Ｄｓｕｍ［ｊ］を作成して影平面Ｆ［ｊ］を作成するものとしてもよい。この変形例では、任意の一つの仮想物体に対して、一部影響想定状態でないときにはその一つの仮想物体に対して一つの処理用位置を設定し、一部影響想定状態であるときにはその一つの仮想物体に対して複数の処理用位置を設定するものとして説明したが、一部想定状態であるか否かに拘わらず、その一つの仮想物体に対して複数の処理用位置を設定するものとしてもよい。

実施例の複合現実感表現システム２０では、補間位置ｑにおける明るさパラメータＳ［ｑ，ｉ］を設定する際に、補間位置ｑから基礎光源Ｌ［ｉ］に対応する領域方向の障害物と補間位置ｑとの距離ｔ［ｑ，ｉ］を考慮して前述の式（２）により補間位置ｑにおける明るさパラメータＳ［ｑ，ｉ］を設定するものとしたが、距離ｔ［ｑ，ｉ］を考慮せずに、次式（７）により補間位置ｑにおける明るさパラメータＳ［ｑ，ｉ］を設定するものとしてもよい。

実施例の複合現実感表現システム２０では、補間位置ｑにおける明るさパラメータＳ［ｑ，ｉ］を設定する際に、Ｎｋ個の取得位置ｋ（１〜Ｎｋ）から選択したＮｋｓｅｌ個の選択取得位置ｋｓｅｌ（１〜Ｎｋｓｅｌ、但し２≦Ｎｋｓｅｌ≦Ｎｋ）における明るさパラメータＳ［ｋｓｅｌ，ｉ］を用いて設定するものとしたが、Ｎｋｓｅｌ個の選択取得位置ｋｓｅｌにおける全方位画像Ｇ［ｋｓｅｌ］を用いて次式（８）により補間位置ｑにおける全方位画像Ｇ［ｑ］を設定し、設定した補間位置ｑにおける全方位画像Ｇ［ｑ］を用いて、実施例の取得位置ｋにおける明るさパラメータＳ［ｋ，ｉ］の設定と同様に、補間位置ｑにおける明るさパラメータＳ［ｑ，ｉ］を設定するものとしてもよい。なお、この場合、補間位置ｑにおける全方位画像Ｇ［ｑ］の各位置の中心に対する座標に応じて、前述の式（２）と同様に補間位置ｑと障害物との距離を考慮して、補間位置ｑにおける全方位画像Ｇ［ｑ］を設定するものとしてもよい。

実施例の複合現実感表現システム２０では、補間位置明るさパラメータ設定装置３６によって補間位置ｑにおける明るさパラメータＳ［ｑ，ｉ］を設定するものとしたが、補間位置明るさパラメータ設定装置３６を備えず、補間位置ｑにおける明るさパラメータＳ［ｑ，ｉ］を設定しないものとしてもよい。

実施例の複合現実感表現システム２０では、仮想物体と影平面Ｆ［ｊ］とを合成した仮想合成画像を作成せずに、現実画像と仮想物体と影平面Ｆ［ｊ］とを合成した現実仮想合成画像を作成するものとしたが、仮想物体と影平面Ｆ［ｊ］とを合成した仮想合成画像を作成してからその仮想合成画像と現実画像とを合成した現実仮想合成画像を作成するものとしてもよいし、仮想物体と影平面Ｆ［ｊ］とを合成した仮想合成画像を作成するだけで、現実仮想合成画像を作成しないものとしてもよい。

実施例の複合現実感表現システム２０では、取得位置明るさパラメータ設定装置３４や補間位置明るさパラメータ設定装置３６から合成画像作成装置４０に明るさパラメータＳ［ｋ，ｉ］，Ｓ［ｑ，ｉ］をネットワーク配信するものとしたが、取得位置明るさパラメータ設定装置３４や補間位置明るさパラメータ設定装置３６，合成画像作成装置４０の間で明るさパラメータＳ［ｋ，ｉ］，Ｓ［ｑ，ｉ］などのデータを双方向通信するものとしてもよい。

実施例の複合現実感表現システム２０では、明るさ情報取得装置２２は、図６に例示したように、魚眼レンズ２２ｂを装着したカメラ２２ａを天頂方向に向けて配置して構成するものとしたが、これに限られず、例えば、図２７の変形例の明るさ情報取得装置１２２に例示するように、地表面よりも天頂側の半球上に設けられた複数の領域（例えば、半球をＧｅｏｄｅｓｉｃ Ｄｏｍｅを用いて分割した複数の三角形領域など）のそれぞれの内部や頂点に光センサ（例えば、フォトダイオードやフォトトランジスタなど）１２２ａを配置して構成するものとしてもよい。この場合、全方位画像Ｇ［ｋ］を取得せず、光センサ１２２ａにより検出された値を用いて取得位置ｋにおける明るさパラメータＳ［ｋ，ｉ］を設定するものとしてもよい。

実施例の複合現実感表現システム２０では、取得位置明るさパラメータ設定装置３４と補間位置明るさパラメータ設定装置３６とデータベースサーバ３８と合成画像作成装置４０とがそれぞれネットワーク３２に接続されているものとしたが、これらの一部または全部が一体（一つのコンピュータ）に構成されるものとしてもよい。

実施例の複合現実感表現システム２０では、撮影装置５２，位置姿勢取得装置５４，表示装置５６がＨＭＤ５０として一体に形成されるものとしたが、撮影装置５２，位置姿勢取得装置５４，表示装置５６の一部が一体に形成されるものとしてもよいし、それぞれが独立して形成されるものとしてもよい。

実施例の複合現実感表現システム２０では、ＨＭＤ５０を用いるものとしたが、ＨＭＤ５０に代えて、ハンドヘルド型や投影型のディスプレイなどを用いるものとしてもよい。ここで、ハンドヘルド型のディスプレイ（例えば、タブレットＰＣや液晶ディスプレイなど）を用いる場合、例えば、撮影装置５２が装着されたハンドヘルド型ディスプレイをユーザが移動させたり回転させたりすることにより、ディスプレイに現実仮想合成画像を表示させることができる。また、投影型のディスプレイを用いる場合、例えば、現実空間の壁面などの投影可能な物体に、室内設置用や手持ち用，頭部装着用のプロジェクタによって仮想物体およびその影を投影することにより、現実仮想合成画像を表示させることができる。

実施例の複合現実感表現システム２０では、撮影装置５２により撮影された現実画像と仮想物体とその影とを合成した現実仮想合成画像を作成するいわゆるビデオシースルー方式を用いるものとしたが、透過型ディスプレイを用いて現実空間に仮想物体を重畳して表示する光学シースルー方式を用いるものとしてもよい。なお、光学シースルー方式の場合には、ユーザが見ている現実空間に仮想物体およびその影を合成するため、撮影装置５２が必要なく、より簡易な構成にすることができる。

実施例では、複合現実感表現システム２０として説明したが、複合現実感を表現する方法の形態としたり、現実画像と仮想物体とその影とを合成した現実仮想合成画像を作成する方法の形態としたり、仮想物体とその影とを合成した仮想合成画像を作成する方法の形態としたり、仮想物体の影を作成する方法の形態としたり、これらの方法を１以上のコンピュータに実行させるためのプログラムの形態としたりするものとしてもよい。

以上、本発明を実施するための形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において、種々なる形態で実施し得ることは勿論である。

本発明は、仮想物体影作成装置や合成画像作成装置の製造産業に利用可能である。

２０ 複合現実感表現システム、２２ 明るさ情報取得装置、２２ａ カメラ、２２ｂ 魚眼レンズ、３０ 複合現実感演算装置、３２ ネットワーク、３４ 取得位置明るさパラメータ設定装置、３６ 補間位置明るさパラメータ設定装置、３８ データベースサーバ、４０ 合成画像作成装置、５０ 頭部装着型映像装置（ＨＭＤ）、５２ 撮影装置、５４ 位置姿勢取得装置、５６ 表示装置。

Claims (14)

1. 現実空間の光の強度および方向を反映するパラメータである明るさパラメータを用いて少なくとも一つの仮想的な物体である仮想物体の影を作成する仮想物体影作成装置であって、
   現実空間の複数の位置における前記明るさパラメータを設定する明るさパラメータ設定手段と、
   前記少なくとも一つの仮想物体のうちの任意の仮想物体の影を作成する際、前記明るさパラメータが設定される位置である複数のパラメータ設定位置のうち前記任意の仮想物体の現実空間での配置予定位置から所定範囲内の少なくとも一つの位置における前記明るさパラメータを用いて前記任意の仮想物体の影を作成する影作成手段と、
   を備える仮想物体影作成装置。
2. 請求項１記載の仮想物体影作成装置であって、
   前記明るさパラメータ設定手段は、光の強度を含む明るさ情報を取得する位置である複数の取得位置を含む前記複数のパラメータ設定位置における前記明るさパラメータを設定する手段である、
   仮想物体影作成装置。
3. 請求項２記載の仮想物体影作成装置であって、
   前記明るさパラメータ設定手段は、前記複数のパラメータ設定位置のうち前記明るさ情報を取得しない未取得位置については、前記複数の取得位置の少なくとも一部の位置における前記明るさ情報または前記明るさパラメータを用いて前記未取得位置における前記明るさパラメータを設定する手段である、
   仮想物体影作成装置。
4. 請求項３記載の仮想物体影作成装置であって、
   前記明るさパラメータ設定手段は、前記複数の取得位置の少なくとも一部の位置における前記明るさ情報または前記明るさパラメータに加えて、前記未取得位置における光の強度および／または方向に影響を与える障害物と前記未取得位置との距離を用いて前記未取得位置における前記明るさパラメータを設定する手段である、
   仮想物体影作成装置。
5. 請求項４記載の仮想物体影作成装置であって、
   前記明るさパラメータ設定手段は、Ｎｋ（Ｎｋ≧２）個の前記取得位置ｋ（ｋは１〜Ｎｋ）から選択したＮｋｓｅｌ個の選択取得位置ｋｓｅｌ（ｋｓｅｌは１〜Ｎｋｓｅｌ、但し２≦Ｎｋｓｅｌ≦Ｎｋ）の各々と前記未取得位置ｑとの距離ａ［ｑ，ｋｓｅｌ］と、前記選択取得位置ｋｓｅｌにおける前記明るさパラメータＳ［ｋｓｅｌ］と、前記未取得位置ｑと前記障害物との距離ｔ［ｑ］（ｔ［ｑ］≧０）と、を用いて前記未取得位置ｑにおける前記明るさパラメータＳ［ｑ］を次式（Ａ）により計算する手段である、
   仮想物体影作成装置。
   
6. 請求項１ないし５のいずれか１つの請求項に記載の仮想物体影作成装置であって、
   前記明るさパラメータ設定手段は、前記少なくとも一つの仮想物体の全ての現実空間での配置予定位置を含む複数の位置における前記明るさパラメータを設定する手段である、
   仮想物体影作成装置。
7. 請求項１ないし６のいずれか一つの請求項に記載の仮想物体影作成装置であって、
   前記影作成手段は、前記任意の仮想物体の影を作成する際、各々が該任意の仮想物体の一部に相当する複数の部分の各々について、該部分の現実空間での配置予定位置から所定範囲内の一つの位置における前記明るさパラメータを用いて該部分の影を作成することにより、前記任意の仮想物体の全体の影を作成する手段である、
   仮想物体影作成装置。
8. 請求項１ないし６のいずれか１つの請求項に記載の仮想物体影作成装置であって、
   前記影作成手段は、前記任意の仮想物体の影を作成する際、該任意の仮想物体の各部分についての光源環境が一定でないと想定される一部影響想定状態でないときには前記任意の仮想物体の現実空間での配置予定位置から所定範囲内の一つの位置における前記明るさパラメータを用いて前記任意の仮想物体の全体の影を作成し、前記一部影響想定状態であるときには各々が前記任意の仮想物体の一部に相当する複数の部分の各々について該部分の現実空間での配置予定位置から所定範囲内の一つの位置における前記明るさパラメータを用いて該部分の影を作成することにより前記任意の仮想物体の全体の影を作成する手段である、
   仮想物体影作成装置。
9. 請求項１ないし８のいずれか一つの請求項に記載の仮想物体影作成装置であって、
   前記影作成手段は、前記任意の仮想物体の影を作成する際、該任意の仮想物体について予め定められた複数の基礎影画像および基礎拡散画像と、前記任意の仮想物体の現実空間での配置予定位置から所定範囲内の少なくとも一つの位置における前記明るさパラメータと、を用いて前記任意の仮想物体の影を作成する手段である、
   仮想物体影作成装置。
10. 請求項１ないし９のいずれか一つの請求項に記載の仮想物体影作成装置であって、
    前記明るさパラメータ設定手段は、前記設定した複数のパラメータ設定位置における明るさパラメータをネットワークに出力する手段であり、
    前記影作成手段は、前記ネットワークから前記複数のパラメータ設定位置における前記明るさパラメータを取得する手段である、
    仮想物体影作成装置。
11. 請求項１ないし１０のいずれか一つの請求項に記載の仮想物体影作成装置と、
    前記少なくとも一つの仮想物体と前記作成された少なくとも一つの仮想物体の影とを合成した仮想合成画像を作成する仮想合成画像作成手段と、
    を備える合成画像作成装置。
12. 請求項１ないし１０のいずれか一つの請求項に記載の仮想物体影作成装置と、
    現実空間の画像である現実画像を取得する現実画像取得手段と、
    前記少なくとも一つの仮想物体と前記作成された少なくとも一つの仮想物体の影と前記取得された現実画像とを合成した現実仮想合成画像を作成する現実仮想合成画像作成手段と、
    を備える合成画像作成装置。
13. 現実空間の光の強度および方向を反映するパラメータである明るさパラメータを用いて少なくとも一つの仮想的な物体である仮想物体の影を作成する仮想物体影作成方法であって、
    （ａ）現実空間の複数の位置における前記明るさパラメータを設定し、
    （ｂ）前記少なくとも一つの仮想物体のうちの任意の仮想物体の影を作成する際、前記明るさパラメータが設定される位置である複数のパラメータ設定位置のうち前記任意の仮想物体の現実空間での配置予定位置から所定範囲内の少なくとも一つの位置における前記明るさパラメータを用いて前記任意の仮想物体の影を作成する、
    ことを特徴とする仮想物体影作成方法。
14. 請求項１３記載の仮想物体影作成方法のステップを１以上のコンピューターに実現させるためのプログラム。