JP6402850B2 - 画像呈示装置及びこれに用いるマスク生成装置 - Google Patents

Description

本発明は、ユーザに呈示される画像を生成するための技術に関するものである。特に、本発明は、実空間の画像を切り取って別空間の画像に組み合わせるためのマスクに関するものである。

従来、ゲームやシミュレーションの分野において、ユーザがバーチャル空間へ没入するために、ヘッドマウントディスプレイ（HMD）が用いられてきた（下記非特許文献１及び２）。特に最近では、安価なHMDが登場し、普及に拍車がかかっている。なお本明細書では、以後「バーチャル」という用語を用いるが、これは「実際には存在しないが、機能や効果において、存在すると同等の」という意味である。

HMDを装着したユーザには、ユーザが存在する実空間とは別のバーチャル空間を投影した画像が、HMDに備えられたディスプレイによって呈示される。一方で、ユーザの実際の視界は遮蔽されて、実空間を見ることはできない。これにより、ユーザは、実空間に居ながら、バーチャル空間内へ没入することができる。

このような従来のHMDでは、バーチャル空間への没入感を向上させるために、前記したように、ユーザの視界が遮蔽される。すると、本来であれば自分の身体（例えば手足）を見ることができるような状況でも、自分の身体を見ることはできない。

一方、コンピュータグラフィックスによって、見かけは異なるが本質的に自分自身の身体と呼ぶことができる、いわゆるアバターをバーチャル空間内で出現させる手法も提案されている（下記非特許文献３）。しかしながら、例えば、バーチャル空間内で何かを持っている自分の手元を見たときでも、見えるのは自分の手ではなく、アバターの手の画像である。この状況は、ユーザの現実感と相違するために、バーチャル空間への没入感を減殺してしまうという問題がある。

そこで、最近では、HMD前面に外界カメラを取り付けたビデオシースルー型のHMDを用いて、ユーザから見えるはずの実空間画像を取得し、その実空間画像から自身の身体を切り出して、バーチャル空間へ重畳する手法が提案されている（下記非特許文献４）。画像から身体を切り取る方法として、クロマキー方式と、映像からの輪郭抽出方式との二つが考えられる。

クロマキー方式は、特定の色を持つ領域のみを消去あるいは抜き出すことで、身体領域のみを取り出すものである。しかしながら、この方式では、使える色に制約を生じてしまう。このため、ユーザの身体を計測するためのコックピット側に一様な色を持たせた布を張り巡らせるなど、特殊な設備が必要となる。

映像から輪郭を抽出する方式では、画像処理によって画像から身体領域を切り出す必要がある。この方式では、用いる画像の状況（例えば解像度）や、用いる画像処理アルゴリズムによって、得られる精度が大幅に変動してしまう恐れがある。また、画素単位での画像処理を行うので、高い解像度の画像を用いた場合には、リアルタイムでの処理が難しくなるという問題もある。

さらに、バーチャル空間中の物体（いわゆるオブジェクト）とユーザ身体との間に遮蔽関係がある場合、物体の手前に存在する身体は見える一方で、物体の背後に存在する身体は隠れる必要がある。前記した二つの方式は、このような遮蔽関係を成立させることが難しいという問題がある。

遮蔽関係を成立させる技術として、深度計測方式が考えられている。深度計測方式は、デプスキー方式とも呼ばれている。この方式は、実際の身体についての、三次元空間内での位置情報を正確に測定し、その位置情報をバーチャル空間中での身体の位置にマッピングすることによって、遮蔽関係を推定するものである。

しかしながら、現在通常に使用される距離センサでは、ごく短い距離（例えば手の平や指の形状の相違）を正確に測定することは難しい。このため、深度計測方式では、特に身体の輪郭部分における形状が不正確となりがちであり、その結果、精度の高い遮蔽関係を作り出すことが難しいという問題がある。また、高精度の距離センサを、身体各部の位置を計測できるように配置するためには、かなりのコストを要するという問題もある。さらに、画素ごとに深度情報を取得し、演算を行う手法では、画像が高画質化（高画素化）した場合に計算コストが指数関数的に上昇するという問題もある。

S. Tachi, H. Arai and T. Maeda. Tele-existence master-slave system for remote manipulation. II. Proceedings of the 29th IEEE Conference on Decision and Control, pages 85-90 vol.1, 5-7, 1990. K. Suzuki, S. Wakisaka, and N. Fujii. Substitutional reality system: a novel experimental platform for experiencing alternative reality. Scientific reports, 2, 2012. S. Beck, A. Kunert, A. Kulik, and B. Froehlich. Immersive Group-to-Group Telepresence. IEEE Transactions on Visualization and Computer Graphics, 19(4), pages 616-625, 2013. F. Steinicke, G. Bruder, K. Rothaus, and K. Hinrichs. Poster: A virtual body for augmented virtuality by chroma-keying of egocentric videos. In IEEE Symposium on 3D User Interfaces. 3DUI 2009, pages 125-126. IEEE, 2009.

本発明は、前記の状況に鑑みてなされたものである。本発明の主な目的は、バーチャル空間での画像をユーザに呈示するために用いる投影画像に、当該ユーザの身体が映り込んでいる場合において、投影画像を見ているユーザの没入感を向上させるための技術を提供することである。

前記した課題を解決する手段は、以下の項目のように記載できる。

（項目１）
実空間におけるユーザの身体画像の少なくとも一部を抽出することによって挿入画像を生成し、前記ユーザの視点から見た別空間での視点画像に前記挿入画像を重畳させるために用いるマスクを生成するための装置であって、
ユーザ姿勢取得部と、身体形状算出部と、マスク生成部とを備えており、
前記ユーザ姿勢取得部は、前記実空間内における前記ユーザの姿勢を取得する構成となっており、
前記身体形状算出部は、取得された前記ユーザの姿勢を用いて、前記ユーザの身体形状を算出する構成となっており、
前記マスク生成部は、前記別空間での前記ユーザの視点から見えるべき前記身体形状に基づいて、前記実空間における前記ユーザの身体画像から前記挿入画像を抽出するためのマスクを生成する構成となっている
ことを特徴とするマスク生成装置。

別空間とは、例えばＶＲ空間であるが、ユーザが存在する地点から空間的あるいは時間的に離れた位置での実空間であってもよい。ユーザの身体とは、例えばユーザの手、腕、脚などであるが、他の部位や、ユーザが身に着ける物品であってもよい。身体形状算出部とマスク生成部とは、一つのコンピュータプログラムによってコンピュータ上でその機能を実現してもよいし、複数のプログラムあるいはモジュールの組み合わせにより、一台又は複数台のコンピュータによって機能を実現してもよい。

（項目２）
さらに視点画像生成部を備えており、
前記視点画像生成部は、前記別空間における前記ユーザの視点から見たときの前記視点画像を生成する構成となっており、
前記マスク生成部は、前記視点画像中に存在する前記ユーザの身体部分の少なくとも一部を、前記ユーザの視点から見えるべき身体形状として用いて、前記マスクを生成する構成となっている
項目１に記載のマスク生成装置。

（項目３）
さらにＶＲ空間モデルデータ格納部を備えており、
前記視点画像生成部は、前記視点画像を、前記ＶＲ空間モデルデータ格納部に格納されたＶＲ空間モデルデータに基づいて生成する構成となっている
項目２に記載のマスク生成装置。

（項目４）
さらにユーザ視点カメラを備えており、
前記ユーザ視点カメラは、前記実空間における前記ユーザの身体画像を取得する構成となっており、
前記ユーザ視点カメラの視点の姿勢は、前記別空間における前記ユーザの視点の姿勢と一致しているか、又は、どちらかの視点から見た画像を補正することにより実質的に一致させられるものとなっている
項目１〜３のいずれか１項に記載のマスク生成装置。

（項目５）
さらに照明条件算出部を備えており、
前記照明条件算出部は、前記別空間での照明条件に基づいて、前記挿入画像における輝度又は色の条件を設定する構成となっている
項目１〜４のいずれか１項に記載のマスク生成装置。

ユーザに呈示される投影画像は、一般に、別空間での照明条件を用いて生成される。この照明条件を用いて、挿入画像（別空間内では、ユーザのためのアバター又はその一部としてユーザに視認されるべきものである）に対する輝度又は色の条件を設定することにより、ユーザが感じる現実感を向上させることができる。

（項目６）
前記別空間での前記ユーザの視点から見えるべき前記身体形状の少なくとも一部と、前記別空間における何らかの物体との間には、前記別空間における前記ユーザの視点から見た場合に、一方が他方により遮蔽される関係となっている
項目１〜５のいずれか１項に記載のマスク生成装置。

（項目７）
項目１〜６のいずれか１項に記載のマスク生成装置と、挿入画像生成部とを備えており、
前記挿入画像生成部は、前記身体画像に前記マスクを適用することにより、前記挿入画像を生成する構成となっている
挿入画像生成装置。

（項目８）
項目７に記載の挿入画像生成装置と、投影画像生成部と、画像呈示部とを備えており、
前記投影画像生成部は、前記挿入画像を、前記ユーザの視点から見た別空間での視点画像に組み合わせることにより、前記ユーザに投影すべき投影画像を生成する構成となっており、
前記画像呈示部は、前記投影画像を、前記実空間内でのユーザの視点位置と光学的に共役な視点位置から投影する構成となっている
画像呈示装置。

（項目９）
実空間におけるユーザの身体画像の少なくとも一部を抽出することによって挿入画像を生成し、前記ユーザの視点から見た別空間での視点画像に前記挿入画像を重畳させるために用いるマスクを生成するための装置を用いた方法であって、
前記実空間内における前記ユーザの姿勢を取得するステップと、
取得された前記ユーザの姿勢を用いて、前記ユーザの身体形状を算出するステップと、
前記別空間での前記ユーザの視点から見えるべき前記身体形状に基づいて、前記実空間における前記ユーザの身体画像から前記挿入画像を抽出するためのマスクを生成するステップと
を備えることを特徴とするマスク生成方法。

（項目１０）
項目９に記載の各ステップをコンピュータに実行させるためのコンピュータプログラム。

このコンピュータプログラムは、適宜な記録媒体（例えばＣＤ−ＲＯＭやＤＶＤディスクのような光学的な記録媒体、ハードディスクやフレキシブルディスクのような磁気的記録媒体、あるいはＭＯディスクのような光磁気記録媒体）に格納することができる。このコンピュータプログラムは、インターネットなどの通信回線を介して伝送されることができる。

本発明によれば、バーチャル空間を投影した画像を見ているユーザの没入感を向上させるように、ユーザの身体画像を抽出して、投影画像に組み込むことが可能になる。

さらに、本発明によれば、ユーザの身体画像を抽出するためのマスクを、高精度かつ低コストで生成することが可能になる。

しかも、本発明によれば、マスクを用いるので、投影画像の画素数が大きい場合であっても、計算コストを低く抑えることができる。その結果、本発明では、動画像の提供時におけるフレーム遅延を小さく抑えることが可能になり、また、高画質での画像提供が容易になるという効果もある。

本発明の一実施形態に係る画像呈示装置の概略的構成を示すブロック図である。 本発明の一実施形態に係る画像呈示方法の概略的手順を示すフローチャートである。 身体モデルデータとしてのボーンデータについての概念的な説明図である。 身体モデルデータとしての外形モデルについての概念的な説明図である。 マスク生成用の、ＶＲ空間でのユーザ視点画像を概念的に示す説明図である。 実空間におけるユーザ視点からのユーザ身体画像を概念的に示す説明図である。 マスク適用によってユーザ身体画像から切り出された挿入画像を概念的に示す説明図である。 挿入画像を組み合わされる、ＶＲ空間でのユーザ視点画像を概念的に示す説明図である。 ＶＲ空間でのユーザ視点画像に挿入画像を重畳させて得た投影画像を概念的に示す説明図である。 変形例に係る画像呈示方法の概略的手順を示すフローチャートである。 実施例１に係るＨＭＤの概略的構成を示す平面図である。 図１１に示すＨＭＤにおいて使用されるミラーの反射面形状を模式的に示す説明図である。 実施例２に係るＨＭＤの概略的構成を示す平面図である。 実施例２におけるカメラ視点のオフセットに対応した画像処理のための各パラメータの取り方の一例を示す説明図である。

（画像呈示装置の一実施形態）
図１を参照して、本発明の一実施形態に係る画像呈示装置について説明する。

本実施形態の画像呈示装置は、ユーザ姿勢取得部１と、身体形状算出部２と、視点画像生成部３と、マスク生成部４とを備えている。さらに、本実施形態の装置は、挿入画像生成部５と、投影画像生成部６と、ユーザ視点カメラ７と、画像呈示部８とを備えている。さらに、本実施形態の装置は、身体モデルデータ格納部９とＶＲ空間モデルデータ格納部１０と、照明条件算出部１１とを備えている。

ユーザ姿勢取得部１は、実空間内におけるユーザの姿勢を取得する構成となっている。ユーザ姿勢取得部１としては、市販の身体運動計測装置を用いることができ、これにより、比較的に高精度の測定を低コストで行うことができる。

身体形状算出部２は、ユーザ姿勢取得部１で取得されたユーザの姿勢を用いて、ユーザの身体形状を算出する構成となっている。より具体的には、本実施形態では、身体モデルデータ格納部９に格納された身体モデルデータ（後述）を用いて、ユーザの身体形状を算出するようになっている。

視点画像生成部３は、別空間（本実施形態ではＶＲ空間）におけるユーザの視点から見たときの視点画像を生成する構成となっている。すなわち、本実施形態では、ユーザ姿勢取得部１により、ユーザ視点の姿勢（方向及び位置）を知ることができる。これにより、視点画像生成部３は、ユーザ視点の位置をＶＲ空間にマッピングし、ＶＲ空間中に存在するバーチャルなユーザの視点から得られる画像（すなわち視点画像）を生成することができる。ここで、本実施形態では、マスク生成用の視点画像と、後述の投影画像生成用の視点画像とを別々に生成することができる。そして、マスク生成用の視点画像においては、視点画像上での身体形状に相当する部分（これはＶＲ空間中なので三次元的な位置を正確に決定できる）を、後の処理が容易なように、例えば特別な色空間情報で表すことができる。なお、具体的な処理手順については、追って説明する。

マスク生成部４は、別空間でのユーザの視点から見えるべき身体形状に基づいて、実空間におけるユーザの身体画像から挿入画像を切り出すためのマスクを生成する構成となっている。ここで、「切り出す」とは、「取り出す」あるいは「抽出する」という程度の意味である。

より具体的には、本実施形態のマスク生成部４は、視点画像中に存在するユーザの身体部分の少なくとも一部を、ユーザの視点から見えるべき身体形状として用いて、マスクを生成する構成となっている。ここで、視点画像は、視点画像生成部３で生成されたものであり、その視点画像には、ＶＲ空間中でのユーザの身体が映り込んでいる。

挿入画像生成部５は、身体画像にマスクを適用することにより、挿入画像を生成する構成となっている。挿入画像を生成する処理の具体例も後述する。

投影画像生成部６は、挿入画像を、ユーザの視点から見た別空間での視点画像に組み合わせることにより、ユーザに投影すべき投影画像を生成する構成となっている。

ユーザ視点カメラ７は、実空間におけるユーザの身体画像を取得する構成となっている。ここで、ユーザ視点カメラ７の視点の姿勢は、別空間における（つまり別空間座標上での）ユーザの視点の姿勢と一致している。ただし、どちらかの視点から見た画像を補正することにより実質的にこれらの視点位置を一致させることも可能である。

画像呈示部８は、投影画像を、実空間内でのユーザの視点位置と光学的に共役な位置からユーザに向けて呈示する構成となっている。

ここで、本実施形態では、ユーザ視点カメラ７と画像呈示部８とは、いわゆるビデオシースルー型のＨＭＤとして実装することができる。また、ユーザ視点カメラ７と画像呈示部８とは、立体視に対応して、左右両眼のためにそれぞれ設けることができる。なお、以下の説明では、基本的に、一方の眼に呈示する画像について説明するが、特に断らない限り、他方の眼に呈示される画像についても同様の処理が行われる。もちろん、立体視のための視差を考慮した画像が通常は提示される。また、モノラル視に対応した画像を呈示することも可能である。

身体モデルデータ格納部９は、前記した身体形状算出部２における身体形状の算出に必要なデータを格納するための機能要素である。身体モデルデータとは、例えば、骨格の姿勢を表すためのボーンデータと、身体の外形形状を表すための外形モデルデータである。ボーンデータは、主要な骨の向きと長さとを表している。外形モデルデータは、ボーンデータに適用されて、身体の外形を表すことができるものである。これらのデータの具体例についても後述する。

ＶＲ空間モデルデータ格納部１０は、バーチャル空間（ＶＲ空間）を規定するためのデータであり、通常は、バーチャルな三次元空間を構成するためのデータを備えている。本実施形態の視点画像生成部３は、ユーザ視点からの視点画像を、ＶＲ空間モデルデータ格納部１０に格納されたＶＲ空間モデルデータに基づいて生成する構成となっている。

照明条件算出部１１は、別空間でのユーザのためのアバターに対する照明条件に基づいて、挿入画像における輝度又は色の条件を設定する構成となっている。ＶＲ空間では、アバターに対する照明条件は既知として扱うことができる。もちろん、一般的には、ＶＲ空間での照明条件は、アバターだけについて決定されるものではなく、ＶＲ空間全体について決定される。「アバターに対する照明条件」とは、照明条件のうちで、アバターに関係するもの（例えばアバター表面の輝度や色を変化させたり、あるいは、アバターによる影を生成させたりするもの）という程度の意味である。

本実施形態におけるマスクの生成及び投影画像の生成のさらに詳しい手順については後述する。

また、前記したユーザ視点カメラ７と画像呈示部８とを実装するためのビデオシースルー型ＨＭＤの実施例についても後述する。

なお、本実施形態のユーザ姿勢取得部１と、身体形状算出部２と、マスク生成部４とが、本発明のマスク生成装置の一実施形態に相当する。また、このマスク生成装置に挿入画像生成部５を加えたものが、本発明の挿入画像生成装置の一実施形態に相当する。さらに、この挿入画像生成装置に投影画像生成部６と画像呈示部８とを加えたものが、本発明の画像呈示装置の一実施形態に相当する。

（投影画像の生成方法）
ついで、前記した装置を用いてマスクを生成し、このマスクを用いて投影画像を生成する手順の一例を、図２をさらに参照しながら説明する。

（図２のステップＳＡ−１）
まず、ユーザ姿勢取得部１は、ユーザの姿勢を取得する。この取得は、リアルタイムでの利用を考慮すると、画像の呈示と並行して行われる。つまり、ユーザの姿勢を測定しつつ、その姿勢を利用した画像呈示が行われ、逐次、姿勢データと投影画像とが更新されることになる。また、投影画像を順次更新することにより、動画をユーザに提供することができる。

（図２のステップＳＡ−２）
ついで、身体形状算出部２は、得られたユーザ姿勢と、身体モデルデータ格納部９に格納された身体モデルデータとを用いて、ユーザの身体形状を算出する。したがって、通常は、本装置の利用前に、利用ユーザの基本的な身体寸法（関節間の距離や手の形状など）を測定しておき、身体モデルデータ格納部９に格納しておくことが好ましい。しかしながら、人間の身体寸法は、基本的には（例えば大人であれば）同様なので、個人に特有でない、一般的な寸法データを用いることも可能である。なお、算出される身体形状の特定は、ＶＲ空間の座標上でも、実空間の座標上でもよい。これらの座標系を変換するためのマッピングは通常既知だからである。

図３に、いわゆるボーンデータとしての身体寸法モデルの一例を示す。また、図４に、身体の外形モデル（この例では手）の一例を示す。

（図２のステップＳＡ−３）
ついで、視点画像生成部３は、ＶＲ空間モデルデータ格納部１０に格納されたＶＲ空間モデルデータを用いて、ＶＲ空間でのユーザ視点から見た視点画像を生成する。ここで、ＶＲ空間でのユーザ視点の姿勢（この明細書において姿勢とは、位置及び／又は向きをいうものとする）は、ユーザ姿勢取得部１により実空間中で取得された姿勢と一致（マッピングによる一致）させられている。したがって、この視点画像（ＶＲ空間での画像）には、別空間（ＶＲ空間）でのユーザの視点から見えるべきアバターの身体形状が映り込んでいることになる。そして、この視点画像は、投影画像として使用される視点画像と同じ視点姿勢から取得されている。なお、マスク生成用に使用される視点画像は、後述するように、身体を含む画像として生成されるが、投影画像として使用される視点画像では、身体を含まないことが好ましい。これにより、挿入画像を視点画像に組み込む作業を容易化することができる。なお、いずれの視点画像についても、同じ画角で取得されることが好ましい。

マスク作成用の視点画像の一例を図５に示す。この例では、ユーザの身体に相当する画像部分を白色、それ以外を黒色にしてある。より詳しくは、図５は、マスクをアルファチャンネルとして定義し，残存させるべき部分が白色、それ以外を黒色として表現したものである。これにより従来のカラーキーを用いた場合に生じる、被写体自体の色にカラーキーの色を用いることができないという色干渉の問題を回避することができ、被写体の色に制約のないマスクを作成することができる。

ＶＲ空間内では、ユーザの身体の位置も、それ以外の物体（バーチャル物体）の位置も、全て既知となる。このため、前記した視点画像では、両者の遮蔽関係を正確に表すことができる。図５の例では、手に持っている棒（バーチャル物体の一例）によって手のひらの一部が隠されており、しかも、棒の手前にある右手親指が画像に現れている。ここで物体とは、例えば他者の身体などの生体を含む意味である。

なお、投影画像として使用される視点画像の生成においては、照明条件算出部１１で得られた照明条件と、ＶＲ空間中での各物体（自己の身体を含む）の位置関係とを用いて、身体によって形成されるはずの「影」も形成しておくことが好ましい。このようにすれば、視点画像に挿入画像（身体画像）を挿入して投影画像を生成した場合において、投影画像における現実感を一層向上させることができる。

（図２のステップＳＡ−４）
ついで、マスク生成部４は、視点画像を用いて、マスクを生成する。マスクは、図５に示した視点画像から、ユーザの身体に相当する部分（これはシステム側において既知となっている）を抜き出すことにより形成可能である。例えば、身体部分の色を視点画像上で適宜に設定しておき、その部分を除去することで、マスクを容易に形成することができる。もちろん、このようなアルファキー的な手法に限るものではなく、適宜な手法で身体部分とそれ以外の部分とを区別して、マスクを形成できる。

本実施形態では、画素位置ごとの深度計測を行わなくとも、正確な遮蔽関係を、視点画像上において表現することができる。身体位置の深度計測を行う場合には、装置構成が複雑になって高コスト化するだけでなく、計算処理に時間がかかるのでリアルタイム性が劣化するという問題がある。さらに、正確な深度計測は一般には難しいので、得られるマスクの精度が不足しがちであるという問題もある。これに対して、本実施形態では、画素ごとの身体位置を決定するための深度計測を省略できるので、
・装置構成を簡略化できる；
・低コスト化を実現できる；
・計算処理が単純になるので、リアルタイム性が向上する；
・ＶＲ空間データに基づくので、高いマスク精度を実現できる
という利点がある。

また、本実施形態では、ユーザ姿勢の取得精度を向上させることにより、マスク精度を向上させることができる。本実施形態では、画像ベースではなく、実空間での計測によりユーザ姿勢を取得するので、ユーザ姿勢の取得精度向上が容易であり、したがって、マスク精度向上が容易になるという利点もある。

（図２のステップＳＡ−５）
一方、照明条件算出部１１は、ＶＲ空間中でのアバターの身体に対する照明条件を算出する。ＶＲ空間中では、いずれかの位置にあるアバター身体に対する照明条件を容易に算出できるので、この算出手法の詳細についての説明は省略する。この照明条件をマスクに適用することにより、切り出される挿入画像（後述）を、ＶＲ空間において自然なもの（違和感を感じにくいもの）とすることができる。照明条件は、切り出された挿入画像に対して適用することもできる。

（図２のステップＳＡ−６）
一方、ユーザ視点カメラ７は、ユーザ視点（これは実空間での視点であるが、ＶＲ空間でのユーザ視点と整合している）からの実画像を取得する。実画像の模式的な説明図を図６に示す。ここで、実画像には、ユーザの身体が映り込まない場合もあるが、ユーザの身体が実画像中にあるかどうかは、ＶＲ空間モデルデータから知ることができる。よって、そのような場合はマスク生成以降の処理自体を省略できる。以降では、実画像中にユーザの身体が含まれていることを前提とするので、実画像を身体画像と呼ぶことがある。なお、ユーザ視点カメラ７の姿勢だけでなく、画角についても、ＶＲ空間からの視点と一致することが好ましい。ただし、ユーザ視点カメラ７の画角のほうがＶＲ空間での視点よりも広い場合は、両者間での画像空間上のマッピングが可能であれば、特段の問題はない。逆の場合は、ユーザに違和感を感じさせない配慮を行うことが好ましい。

（図２のステップＳＡ−７）
ついで、挿入画像生成部５は、ステップＳＡ−４で得られたマスクを、前記した実画像（身体画像）に適用し、挿入画像を生成する。得られた挿入画像の一例を図７に示す。

本実施形態では、単にマスクを画像に適用するだけで、挿入画像を生成できるので、計算処理が簡便であるという利点がある。このため、高画素数の画像を用いた場合でも、計算コストを低く押さえることができ、リアルタイムでの処理が容易になるという利点がある。

（図２のステップＳＡ−８）
ついで、投影画像生成部６は、ステップＳＡ−３において視点画像生成部３で得られた視点画像（図８参照）に、ステップＳＡ−７で得られた投影画像を組み合わせる（例えば重畳させる）。ここで用いる視点画像は、マスク生成用の視点画像とは異なり、アバターの身体が存在しないとして生成されたものとなっている。このような処理は、ＶＲ空間中なので、容易に行うことができる。また、これにより、単に画像を重畳させるだけで、ユーザに投影されるべき投影画像を生成することができる。得られる投影画像の一例を図９に示す。

（図２のステップＳＡ−９）
ついで、画像呈示部８は、得られた投影画像をユーザに呈示する。この投影画像は、ユーザ視点カメラ７と光学的に等価な（いわゆる光学共役な）位置から等価な画角で観察できることが好ましい。これにより、ユーザに違和感なく投影画像を呈示することができる。

本実施形態では、実際のユーザの身体画像の一部を切り出して、それを、ＶＲ空間から得られた投影画像に矛盾なく組み込んで、投影画像としてユーザに呈示することができる。このため、本実施形態によれば、自身の身体が投影画像に現れる場合において、ユーザに高い没入感を与えることができるという利点がある。

さらに、ＶＲ空間において自然な照明条件を挿入画像に付与することにより、投影画像の違和感をさらに減らすことができ、ユーザが感じる没入感をさらに向上させることができる。

（変形例）
次に、図１０に基づいて、前記した実施形態を変形した例を説明する。この変形例の説明においては、前記した実施形態と実質的の同様な処理を行うステップについては、同じ参照符号を付することで、説明の煩雑を避ける。

前記した実施形態では、ステップＳＡ−２で取得したユーザの身体形状を用いて、ステップＳＡ−３において、ユーザの身体形状を含む、ＶＲ空間でのユーザ視点画像（前記の例ではマスク生成用のもの）を生成した。そして、このユーザ視点画像を用いて、ステップＳＡ−４においてマスクを生成していた。

これに対して、この変形例では、ステップＳＡ−２で算出されたユーザの身体形状を用いて、ステップＳＡ−４において、マスクを生成する。この処理は、ユーザ視点に対するユーザの身体位置姿勢が既知であるため、高速に行うことができる。また、この処理の実装は、例えば、身体形状算出部２及びマスク生成部４のいずれか一方において、あるいは他の機能要素において行うことができる。

この変形例では、ＶＲ空間モデルデータを用いてユーザ視点画像を生成する処理を省略できるので、計算処理をさらに高速化することができる。ただし、この変形例では、ＶＲ空間モデルデータを使わないため、ＶＲ空間中の物体とユーザ身体との遮蔽関係を前記のように算出することは難しくなる。

なお、この変形例においても、ステップＳＡ−８で使用するユーザ視点画像は、ステップＳＡ−３において、前記の実施形態と同様に（例えば図８のように）生成される。

変形例における他の構成及び利点は、前記した実施形態と基本的に同様なので、これ以上の説明は省略する。

（ＨＭＤの実施例１…視点位置補正なし）
次に、図１１を参照しながら、ユーザ視点カメラ７と画像呈示部８とが実装されるヘッドマウントディスプレイ（ＨＭＤ）の一例として、実施例１を説明する。

実施例１では、左眼１２１と右眼１２２とに、それぞれ別の画像（つまり立体視用に視差を与えられた画像）を呈示できるようになっている。

具体的には、本実施例１では、ユーザ視点カメラ７は、左眼用カメラ７１と、右眼用カメラ７２とを備えている。さらに、本実施例１では、画像呈示部８は、左眼用呈示部８１と、右眼用呈示部８２とを備えている。

左眼用カメラ７１は、左眼１２１と光学的に共役となる位置に配置されており、左眼用ミラー１３１を介して、実空間での画像（例えばユーザの身体を含んだ身体画像）を撮影できるようになっている。同様に、右眼用カメラ７２は、右眼１２２と光学的に共役となる位置に配置されており、右眼用ミラー１３２を介して、実空間画像を撮影できるようになっている。

左眼用呈示部８１は、左眼用ミラー１３１を介して、ユーザの左眼１２１に、左眼用の画像を呈示できる構成となっている。また、左眼用呈示部８１と左眼１２１との間の光路上には、焦点距離を調整するための左眼用レンズ１４１が配置されており、これによって、呈示部８１は、左眼用カメラ７１と光学的に共役な位置に配置されている。同様に、右眼用呈示部８２は、右眼用ミラー１３２を介して、ユーザの右眼１２２に、右眼用の画像を呈示できる構成となっている。また、右眼用呈示部８２と右眼１２２との間の光路上には、焦点距離を調整するための右眼用レンズ１４２が配置されており、これによって、呈示部８２は、右眼用カメラ７２と光学的に共役な位置に配置されている。

また、実施例１では、左眼用ミラー１３１及び右眼用ミラー１３２として、図１２に概略を示した台形状ミラーを用いることが好ましい。この形状を用いることにより、矩形状のＶＲ空間画像をユーザに呈示し、さらに、矩形状の実空間画像をカメラで取得することができる。

実施例１では、ユーザは、実空間を現実には見ておらず、ＶＲ空間で生成された投影画像のみを見る。ここで、ユーザの身体の画像は、ユーザの眼と共役な位置にあるカメラで取得されており、この画像が投影画像に組み合わされているので、ユーザは、ＶＲ空間への高い埋没感を得ることができる。

（ＨＭＤの実施例２…視点位置補正あり）
次に、図１３を参照しながら、ユーザ視点カメラ７と画像呈示部８とが実装されるヘッドマウントディスプレイ（ＨＭＤ）の別の例として、実施例２を説明する。実施例２の説明においては、前記した実施例１と基本的に共通する構成要素については、同じ符号を用いることにより、説明の煩雑を避ける。

前記した実施例１では、左右のカメラ７１・７２が、左右の眼１２１・１２２と光学的に共役な位置に配置されていた。これに対して、実施例２では、左右のカメラ７１・７２が、左右の眼１２１・１２２よりも前方にオフセットして配置されており、このため、これらの眼と光学的に共役な位置から外れている。

このため、実施例２では、左右のカメラ７１・７２が、ミラーを介さず、直接に実空間画像を取得することができる（図１３参照）。一方、左右の呈示部８１・８２は、左右のミラー１３１・１３２を介して左右の眼１２１・１２２に画像を呈示する。

したがって、実施例２では、ＨＭＤとしての機械的構成を簡素化することができるという利点がある。

一方で、実施例２では、前記したように、カメラ視点とユーザ視点との間にオフセットを有している。このオフセット関係を図１４に模式的に示す。この例では、ユーザ視点の画角をθ１、カメラ画角をθ２、ユーザ視点から見た投影面の幅をＷ１、カメラから見た投影面の幅をＷ２としている。また、ユーザ視点とカメラ視点とのオフセット量をＤ、ユーザ視点から見た投影面までの距離（焦点距離）をＦとしている。

実施例２のように、ユーザ視点とカメラ視点との間にオフセットがある場合は、カメラ画像とユーザ視点画像（つまりＶＲ空間画像）との間のマッピングを行い、両者間の整合を保つことが好ましい。例えば、カメラ画像（実空間画像）の座標変換を行うことで、ＶＲ空間における視点画像との整合性を保つことができる。もちろん、逆に、ＶＲ空間画像を座標変換することもできる。このようにすれば、視点間にオフセットがある場合でも、ユーザに違和感のない画像呈示が可能となる。なお、画像間のマッピングの計算は、図１４に示すようなパラメータが既知であれば、幾何学的に算出できるので、この点についての詳しい説明は省略する。

実施例２における他の構成及び利点は、実施例１と基本的に共通するので、これ以上詳しい説明は省略する。

前記した実施形態における計算処理は、コンピュータに適宜のコンピュータソフトウエアを組み込むことにより実施することができる。

なお、本発明の内容は、前記実施形態に限定されるものではない。本発明は、特許請求の範囲に記載された範囲内において、具体的な構成に対して種々の変更を加えうるものである。

例えば、前記した各構成要素は、機能ブロックとして存在していればよく、独立したハードウエアとして存在しなくても良い。また、実装方法としては、ハードウエアを用いてもコンピュータソフトウエアを用いても良い。さらに、本発明における一つの機能要素が複数の機能要素の集合によって実現されても良く、本発明における複数の機能要素が一つの機能要素により実現されても良い。

また、機能要素は、物理的に離間した位置に配置されていてもよい。この場合、機能要素どうしがネットワークにより接続されていても良い。グリッドコンピューティング又はクラウドコンピューティングにより機能を実現し、あるいは機能要素を構成することも可能である。

さらに、本実施形態では、別空間として、ＶＲ空間を想定したが、ユーザが存在する場所から離間した実空間を別空間として、本発明を適用することができる。この場合、別空間（つまりリモート空間）でのカメラ視点は、前記実施形態と同様、ユーザ視点と整合させられる。また、別空間でのカメラパラメータは、ユーザ側のカメラパラメータと一致しているか、補正により整合可能なものとされる。

１ ユーザ姿勢取得部
２ 身体形状算出部
３ 視点画像生成部
４ マスク生成部
５ 挿入画像生成部
６ 投影画像生成部
７ ユーザ視点カメラ
７１ 左眼用カメラ
７２ 右眼用カメラ
８ 画像呈示部
８１ 左眼用呈示部
８２ 右眼用呈示部
９ 身体モデルデータ格納部
１０ ＶＲ空間モデルデータ格納部
１１ 照明条件算出部
１２１ 左眼
１２２ 右眼
１３１ 左眼用ミラー
１３２ 右眼用ミラー
１４１ 左眼用レンズ
１４２ 右眼用レンズ

Claims (10)

1. 実空間におけるユーザの身体画像の少なくとも一部を抽出することによって、前記身体画像の少なくとも一部である挿入画像を生成し、前記ユーザの視点から見た別空間での視点画像に前記挿入画像を重畳させるために用いるマスクを生成するための装置であって、
   ユーザ姿勢取得部と、身体形状算出部と、マスク生成部とを備えており、
   前記ユーザ姿勢取得部は、前記実空間内における前記ユーザの姿勢を取得する構成となっており、
   前記身体形状算出部は、取得された前記ユーザの姿勢を用いて、前記ユーザの身体形状を算出する構成となっており、
   前記マスク生成部は、前記別空間での前記ユーザの視点から見えるべき前記身体形状に基づいて、前記実空間における前記ユーザの身体画像から、前記別空間での前記視点画像に重畳させるための前記挿入画像を抽出するためのマスクを生成する構成となっている
   ことを特徴とするマスク生成装置。
2. さらに視点画像生成部を備えており、
   前記視点画像生成部は、前記別空間における前記ユーザの視点から見たときの前記視点画像を生成する構成となっており、
   前記マスク生成部は、前記視点画像中に存在する前記ユーザの身体部分の少なくとも一部を、前記ユーザの視点から見えるべき身体形状として用いて、前記マスクを生成する構成となっている
   請求項１に記載のマスク生成装置。
3. さらにＶＲ空間モデルデータ格納部を備えており、
   前記視点画像生成部は、前記視点画像を、前記ＶＲ空間モデルデータ格納部に格納されたＶＲ空間モデルデータに基づいて生成する構成となっている
   請求項２に記載のマスク生成装置。
4. さらにユーザ視点カメラを備えており、
   前記ユーザ視点カメラは、前記実空間における前記ユーザの身体画像を取得する構成となっており、
   前記ユーザ視点カメラの視点の姿勢は、前記別空間における前記ユーザの視点の姿勢と一致しているか、又は、どちらかの視点から見た画像を補正することにより実質的に一致させられるものとなっている
   請求項１〜３のいずれか１項に記載のマスク生成装置。
5. さらに照明条件算出部を備えており、
   前記照明条件算出部は、前記別空間での照明条件に基づいて、前記挿入画像における輝度又は色の条件を設定する構成となっている
   請求項１〜４のいずれか１項に記載のマスク生成装置。
6. 前記別空間での前記ユーザの視点から見えるべき前記身体形状の少なくとも一部と、前記別空間における何らかの物体との間には、前記別空間における前記ユーザの視点から見た場合に、一方が他方により遮蔽される関係となっている
   請求項１〜５のいずれか１項に記載のマスク生成装置。
7. 請求項１〜６のいずれか１項に記載のマスク生成装置と、挿入画像生成部とを備えており、
   前記挿入画像生成部は、前記身体画像に前記マスクを適用することにより、前記挿入画像を生成する構成となっている
   挿入画像生成装置。
8. 請求項７に記載の挿入画像生成装置と、投影画像生成部と、画像呈示部とを備えており、
   前記投影画像生成部は、前記挿入画像を、前記ユーザの視点から見た別空間での視点画像に組み合わせることにより、前記ユーザに投影すべき投影画像を生成する構成となっており、
   前記画像呈示部は、前記投影画像を、前記実空間内でのユーザの視点位置と光学的に共役な視点位置から投影する構成となっている
   画像呈示装置。
9. 実空間におけるユーザの身体画像の少なくとも一部を抽出することによって、前記身体画像の少なくとも一部である挿入画像を生成し、前記ユーザの視点から見た別空間での視点画像に前記挿入画像を重畳させるために用いるマスクを生成するための装置を用いた方法であって、
   前記実空間内における前記ユーザの姿勢を取得するステップと、
   取得された前記ユーザの姿勢を用いて、前記ユーザの身体形状を算出するステップと、
   前記別空間での前記ユーザの視点から見えるべき前記身体形状に基づいて、前記実空間における前記ユーザの身体画像から、前記別空間での前記視点画像に重畳させるための前記挿入画像を抽出するためのマスクを生成するステップと
   を備えることを特徴とするマスク生成方法。
10. 請求項９に記載の各ステップをコンピュータに実行させるためのコンピュータプログラム。

Images