JP2020014075A - 画像投影システム、画像投影方法、及びプログラム - Google Patents

Abstract

【課題】 簡易な構成で、背景の手前に存在する物体の領域又は物体の領域外に、物体の動きに対応したリアルタイムな画像投影を行う。【解決手段】 画像投影システムに、画像が投影される背景の手前に存在する物体の領域を３次元で認識する深度カメラと、認識した領域又は領域外に所定のデータを出力するプロジェクターと、を備える。【選択図】 図１

Description

本発明は、深度カメラで背景の手前に存在する物体の領域を認識することで、該当の領域又は該当の領域外に、所定の画像を投影することが可能な、画像投影システム、画像投影方法、及びプログラムに関するものである。

立体的な対象物の造形に合わせた映像を投影する技術として、従来、プロジェクションマッピング（Ｐｒｏｊｅｃｔｉｏｎ Ｍａｐｐｉｎｇ）の方法が知られている。また、プロジェクションマッピングの応用として、背景のＴシャツが動いても、追尾して投影する技術がある（非特許文献１）。

高速プロジェクタを用いた変形する非剛体曲面へのダイナミックプロジェクションマッピング[平成３０年７月５日検索]、インターネット＜http://www.k2.t.u-tokyo.ac.jp/vision/DPM/index-j.html＞

上記の非特許文献１には、提案するマーカーを対象に印字することで、大きな変形や遮蔽が生じても高速かつロバストに変形を継続的に捉え、対象と投影画像との間の幾何学的不整合を人間が知覚することのないよう、高フレームレートかつ低遅延で投影を行う高速プロジェクタを用いて投影を行う技術が開示されている。しかしながら、実現するためには高機能高価格な高速プロジェクタが必要であり、更に、投影されている背景に対して、手前に人物等の物体が存在する場合に、背景と物体とを融合させた映像は提供できていないという課題がある。非特許文献１だけではなく、通常のプロジェクションマッピングでは、手前に物体等が存在すると、背景と物体等の両方に共通した画像が投影されてしまうという課題がある。また、手前の物体等が動く場合には、投影の際にその動きも考慮しなければならない。さらに、通常のプロジェクションマッピングでは、建物等の静止した立体物に映像を投影することを前提としているため、対象となる立体物にあわせたマッピング設計を行うことが必要であり、設計された対象物以外にはプロジェクションマッピングを行うことはできない。

そこで本発明は、これらの課題に鑑み、深度カメラで背景の手前に存在する物体の領域を認識し、該当の領域又は該当の領域外に所定の画像を投影することで、簡易な構成で三次元空間に動きを与え、新しい映像体験を提供することが可能な、画像投影システム、画像投影方法、及びプログラムを提供することを目的とする。

本発明では、以下のような解決手段を提供する。

第１の特徴に係る発明は、
物体に画像を投影する画像投影システムであって、
画像が投影される背景の手前に存在する物体の領域を３次元で認識する深度カメラと、
認識した前記領域又は前記領域外に所定のデータを出力するプロジェクターと、
を備える画像投影システムを提供する。

第１の特徴に係る発明によれば、物体に画像を投影する画像投影システムにおいて、画像が投影される背景の手前に存在する物体の領域を３次元で認識する深度カメラと、認識した前記領域又は前記領域外に所定のデータを出力するプロジェクターと、を備える。

第１の特徴に係る発明は、画像投影システムのカテゴリであるが、画像投影方法、およびプログラムであっても同様の作用、効果を奏する。

第２の特徴に係る発明は、第１の特徴に係る発明である画像投影システムであって、
前記プロジェクターは、前記領域には白塗りのデータ、前記領域外には背景画像のデータを前記所定のデータとして出力する画像投影システムを提供する。

第２の特徴に係る発明によれば、第１の特徴に係る発明である画像投影システムにおいて、前記プロジェクターは、前記領域には白塗りのデータ、前記領域外には背景画像のデータを前記所定のデータとして出力する。

第３の特徴に係る発明は、第１の特徴に係る発明である画像投影システムであって、
前記プロジェクターは、前記領域には背景画像のデータ、前記領域外には黒塗りのデータを前記所定のデータとして出力する画像投影システムを提供する。

第３の特徴に係る発明によれば、第１の特徴に係る発明である画像投影システムにおいて、 前記プロジェクターは、前記領域には背景画像のデータ、前記領域外には黒塗りのデータを前記所定のデータとして出力する。

第４の特徴に係る発明は、第１の特徴から第３の特徴のいずれかに係る発明である画像投影システムであって、
前記物体の変形又は移動により前記領域が変化する場合においても、前記深度カメラが変化した領域をリアルタイムに認識し、前記プロジェクターが対応する所定のデータを出力する画像投影システムを提供する。

第４の特徴に係る発明によれば、第１の特徴から第３の特徴のいずれかに係る発明である画像投影システムにおいて、前記物体の変形又は移動により前記領域が変化する場合においても、前記深度カメラが変化した領域をリアルタイムに認識し、前記プロジェクターが対応する所定のデータを出力する。

第５の特徴に係る発明は、第１の特徴から第４の特徴のいずれかに係る発明である画像投影システムであって、
前記プロジェクターが描画する前記所定のデータが動画データである画像投影システムを提供する。

第５の特徴に係る発明によれば、第１の特徴から第４の特徴のいずれかに係る発明である画像投影システムにおいて、前記プロジェクターが描画する前記所定のデータが動画データである。

第６の特徴に係る発明は、
物体に画像を投影する画像投影システムに、
画像が投影される背景の手前に存在する物体の領域を３次元で認識するステップと、
認識した前記領域又は前記領域外に所定のデータを出力するステップと、
を備える画像投影方法を提供する。

第７の特徴に係る発明は、
物体に画像を投影する画像投影システムに、
画像が投影される背景の手前に存在する物体の領域を３次元で認識するステップ、
認識した前記領域又は前記領域外に所定のデータを出力するステップ、
を実行させるためのプログラムを提供する。

本発明によれば、深度カメラで背景の手前に存在する物体の領域を認識し、該当の領域又は該当の領域外に所定の画像を投影することで、簡易な構成で三次元空間に動きを与え、新しい映像体験を提供することが可能な、画像投影システム、画像投影方法、及びプログラムを提供することが可能となる。本発明によれば、コンパクトで低価格な画像投影システムを実現することができ、結婚式やスモールイベント等での演出効果をより高めることが可能となる。

図１は、本発明の好適な実施形態の概要図である。 図２は、画像投影処理のフローチャート図である。 図３は、キャリブレーション処理のフローチャート図である。 図４は、従来例の概要図である。 図５は、キャリブレーション処理における、ディスプレイ表示開始時の画面の一例である。 図６は、キャリブレーション処理における、キャリブレーション用画像投影時の画面の一例である。 図７は、キャリブレーション処理における、原点の座標取得時の画面の一例である。 図８は、キャリブレーション処理における、指定の４点の座標取得時の画面の一例である。 図９は、キャリブレーション処理完了後の画面の一例である。 図１０は、人物領域には白塗りのデータ、それ以外には背景画像のデータを画像投影した場合の一例である。 図１１は、人物領域には背景画像のデータ、それ以外には黒塗りのデータを画像投影した場合の一例である。 図１２は、人物領域に背景画像のデータ、それ以外には黒塗りのデータを画像投影した場合の別の一例である。

以下、好適な実施の形態を用いて本発明をさらに具体的に説明する。但し、下記の実施の形態は本発明を具現化した例に過ぎず、本発明はこれに限定されるものではない。

［画像投影システムの概要］
図１は、本発明の好適な実施の形態の概要図である。この図１に基づいて、本発明の概要を説明する。物体に画像を投影する画像投影システムは、深度カメラ１００、プロジェクター２００、コンピュータ３００、ディスプレイ４００から構成される。また、図１で６００は画像を投影する際に背景となる背景領域、５００は背景領域６００の手前に存在する人物等の物体を示す。

深度カメラ１００は、ＲＧＢカメラ、深度センサを備える。ＲＧＢカメラ機能により、カラー画像を撮影することが可能であるとともに、深度センサにより物体５００の領域と物体５００までの距離を測定可能なデバイスである。深度カメラ１００は、コンピュータ３００と通信可能に接続されているものとする。

プロジェクター２００は、画像や映像を背景領域６００にあわせて投影可能なデバイスである。投影を行うだけでなく、映像にあわせた音声を出力可能としてもよい。プロジェクター２００はコンピュータ３００と通信可能に接続されているものとする。また、ディスプレイ４００で表示している画像を背景領域６００に投影可能であるものとする。

コンピュータ３００は、制御部、通信部、記憶部、入力部等を備え、深度カメラ１００、プロジェクター２００、ディスプレイ４００との通信や制御を行うものとする。ディスプレイ４００が、コンピュータ３００の出力部の一部であってもよい。また、ここでは、例としてデスクトップ型のコンピュータを図示しているが、携帯電話、携帯情報端末、タブレット端末、パーソナルコンピュータであってもよいし、電化製品やウェアラブル端末等であってもよい。

ディスプレイ４００は、液晶画面等の表示部を備え、背景領域６００に投影を行う画像を表示する。また、コンピュータ３００の入力部を介してユーザが操作を行うことで、ディスプレイ４００上の表示を利用して、キャリブレーション等の補正処理を可能とする。キャリブレーション処理については、後述する。ディスプレイ４００は、コンピュータ３００と一体のデバイスであってもよい。

画像投影システムの深度カメラ１００は、物体５００の領域を３次元で認識する。そして、コンピュータ３００は、物体５００に背景画像が投影されないよう、物体５００の領域には白塗りのデータ、物体５００の領域外には、背景として投影したいデータをイメージ生成して、プロジェクター２００で投影する。イメージ生成の際には、深度カメラ１００で認識した物体３００の３次元領域にあわせて、透視変換で画像のマッピングを行うものとする。これにより、図１に示すように、物体５００以外の背景領域６００に、背景データを投影可能となる。深度カメラ１００の深度センサによって、リアルタイムで物体５００の領域を認識することで、物体５００が動く場合にも対応して背景領域６００のみに、画像の投影を行うことができる。ここでは、物体５００以外の領域に背景画像を投影しているが、物体５００の形状を認識して、認識した領域内に画像を投影してもよい。この場合、認識した物体にあわせた画像や、人物にあわせた洋服の柄などを投影しても良い。

図４は、深度カメラ１００を使用せずに、背景画像の投影を行う従来例の概要図である。従来のシステムでは、プロジェクター２００で背景領域６００に対して画像の投影を行う際、背景の手前に存在する物体５００の領域を認識することができないため、物体５００にも画像が投影されてしまう。その場合、人物などの物体５００が、背景に溶け込んでしまい、非常に認識しづらくなるという問題がある。

これに対して、本発明によれば、従来の構成に深度カメラ１００を加えるという簡易な構成で、背景領域６００のみに所定の画像を投影し、物体５００の視認性を保ちながら、物体５００が動く場合にもリアルタイムに対応して３次元空間に画像を投影することが可能となるという、効果を得ることが可能となる。

［画像投影処理］
図２は、画像投影処理のフローチャート図である。本発明の画像投影システムの詳細な処理について、本図を用いて説明する。

まず、画像投影システムのコンピュータ３００は、深度カメラ１００、プロジェクター２００、ディスプレイ４００を利用してキャリブレーションを行い、背景領域６００に投影する平面画像の頂点を補正する（ステップＳ２０１）。このキャリブレーション処理を行うことにより、はじめは台形などの不適切な形状に画像が投影された場合にも、適切な長方形に補正して、画像を投影することが可能となる。キャリブレーション処理の詳細は後述する。

次に、コンピュータ３００は、画像の投影を開始するかどうかの確認を行う（ステップＳ２０２）。ここで、画像の投影を開始する場合には、次のステップＳ２０３へと進み、未だ画像の投影を開始しない場合には、待機する。ステップＳ２０１でキャリブレーション済みであるので、投影開始のタイミングによらず、適切な長方形の画像を投影可能である。投影開始のタイミングは、ユーザが手動で指定してもよいし、タイマー等で投影開始の時間指定を行ってもよい。また、ステップＳ２０２では、あわせて投影する画像の選択を行ってもよい。投影する画像の種類は、静止画像に限らず、動画像であってもよい。

画像の投影を開始する場合、コンピュータ３００の制御部から、深度カメラ１００に対して指示を行い、深度センサによって背景領域６００の手前に存在する物体５００の領域を３次元で認識する（ステップＳ２０３）。

次に、コンピュータ３００の制御部は、背景画像を投影する範囲が、認識した物体５００の領域内であるのか、領域外であるのかを確認する（ステップＳ２０４）。背景画像を投影する範囲の指示は、投影する画像の選択時にあわせて行ってもよいし、物体５００の認識後に行ってもよい。また、画像の投影を行っている間は、随時切り替え可能としてもよい。

背景画像を投影する範囲として、物体５００の領域外が指定されている場合、物体５００の領域には白塗りとなる透過のデータを割り当て、物体５００の領域外には背景画像データを割り当て、イメージ生成して投影する（ステップＳ２０５）。この、イメージ生成の際に、透視変換でマッピングを行う。透視変換を行う際に使用する透視変換前の４点の座標と透視変換後の４点の座標には、ステップＳ２０１のキャリブレーション処理で算出した、背景領域６００の４隅のキャリブレーション前の座標とキャリブレーション後の座標を使用する。

図１０は、人物領域には白塗りのデータ、それ以外には背景画像のデータを画像投影した場合の一例である。物体５００として認識された人物の部分は白塗りの透過データを利用することで、人物以外の背景領域６００に、画像を投影することができるため、人物の衣装を邪魔せず、背景のみを適切に投影することが可能である。

図２に戻り、背景画像を投影する範囲として、物体５００の領域内が指定されている場合、物体５００の領域には背景画像のデータを割り当て、物体５００の領域外には黒塗りのデータを割り当て、イメージ生成して投影する（ステップＳ２０６）。透視変換を行う際に使用する透視変換前の４点の座標と透視変換後の４点の座標には、ステップＳ２０１のキャリブレーション処理で算出した、背景領域６００の４隅のキャリブレーション前の座標とキャリブレーション後の座標を使用する。

図１１は、人物領域には背景画像のデータ、それ以外には黒塗りのデータを画像投影した場合の一例である。物体５００として認識された人物の部分に背景画像のデータを利用することで、背景画像をまるで人物の衣装のように投影することが可能である。

また、図１２は、人物領域に背景画像のデータ、それ以外には黒塗りのデータを画像投影した場合の別の一例である。図１２のように、物体５００として認識された人物の顔以外の部分に画像を投影することで、人物の顔の表情等は確認しやすいまま、より衣装らしい画像を投影することが可能となる。認識した物体５００の領域に対して、上部の何パーセントには背景画像を投影しない、又は、上部何ｃｍには画像を投影しない、又は、上部に向かって背景画像の透過度をあげていく、等の処理を行うことによって、実現可能である。物体５００が人物である場合に限らず、認識した領域の一部分にのみ投影処理を行ってもよい。

図２に戻り、最後に、画像投影処理を終了するかどうかの確認を行う（ステップＳ２０７）。画像投影を終了する場合には処理を終了し、終了しない場合には、ステップＳ２０３に戻って、再度物体５００の領域の３次元認識を行う。これにより、物体５００が動く場合にも、リアルタイムに対応可能な画像投影システムが実現可能となる。

以上のように、本発明によれば、深度カメラで背景の手前に存在する物体の領域を認識し、該当の領域又は該当の領域外に所定の画像を投影することで、簡易な構成で三次元空間に動きを与え、新しい映像体験を提供することが可能な、画像投影システム、画像投影方法、及びプログラムを提供することが可能となる。

［キャリブレーション処理］
図３は、キャリブレーション処理のフローチャート図である。画像投影システムのコンピュータ３００は、深度カメラ１００、プロジェクター２００、ディスプレイ４００を利用してキャリブレーションを行い、背景領域６００に投影された平面画像の頂点を補正するキャリブレーション処理を行う。キャリブレーション処理により、はじめは台形などの不適切な形状に画像が投影された場合にも、適切な長方形に補正して、画像を投影することが可能となる。本処理は、図２のステップＳ２０１の処理に該当する。

まず、コンピュータ３００は、ディスプレイ４００の表示部に、キャリブレーションを行うための画面を表示する（ステップＳ３０１）。

図５は、キャリブレーション処理における、ディスプレイ表示開始時の画面の一例である。ディスプレイ４００の表示部に、画像を表示するイメージボックス４１０と、文字を表示するテキストボックス４２０を表示する。ここで、テキストボックス４２０は、イメージボックス４１０に重畳表示してもよい。また、イメージボックス４１０は、ディスプレイ４００の表示部全域であってもよい。ここで、ディスプレイ４００の左上の地点４１１を、ディスプレイ４００における原点（０，０）とする。

図３に戻り、コンピュータ３００は、キャリブレーション用の画像を、プロジェクター２００で背景領域６００に投影する（ステップＳ３０２）。キャリブレーション用の画像は、長方形の画像を投影した場合に、背景領域６００がどのような形になるかがはっきりわかるものが望ましい。通常、背景として投影する画像と同じものであってもよいが、格子柄であったり、領域の４隅が分かりやすいマーク等が入っていたりしてもよい。

図６は、キャリブレーション処理における、キャリブレーション用画像投影時の画面の一例である。ディスプレイ４００のイメージボックス４１０内に、物体５００と背景領域６００とを、深度カメラ１００のＲＧＢカメラ機能で撮影した画像を表示する。図６に示すように、プロジェクター２００で投影した背景領域６００が歪んで台形等になっている場合には、背景が正しい長方形に投影されるよう投影する画像を補正することが必要であり、本発明では、この補正処理をキャリブレーションと呼ぶ。また、プロジェクター２００で投影を行うために、プロジェクター２００の解像度や縦横比にあわせて表示を行う必要がある。そのため、ディスプレイ４００とプロジェクター２００の縦横比が合わない場合、イメージボックス４１０の両側に黒領域４１２を表示することで、縦横比を調整するものとする。ディスプレイ４００の解像度をもとに、黒領域を除いた部分の出力解像度を求める。Ｘ方向の解像度、つまりＸ方向の幅４３０はディスプレイ４００の横幅から両端の黒領域４１２の幅をひいたものである。Ｙ方向の解像度、つまりＹ方向の幅４４０はディスプレイ４００の縦幅である。

図３に戻り、コンピュータ３００は、プロジェクター２００が出力する画像の原点の座標を取得する（ステップＳ３０３）。原点の座標を取得するために、ユーザにディスプレイ４００の表示部を見ながら、コンピュータ３００の入力部を介して操作させることで、原点を指定させてよいものとする。また、ここでは、原点の相対座標と絶対座標との両方を取得してよい。

図７は、キャリブレーション処理における、原点の座標取得時の画面の一例である。ディスプレイ４００における原点であるディスプレイ４００の最も左上の点４１１に対して、プロジェクター２００が出力する画像の原点となる黒領域４１２を除いた左上の点４１３を、ユーザがカーソル４４０で指定することで、点４１３を原点として取得する。この点４１３の座標を、テキストボックス４２０に原点として表示してもよい。

図３に戻り、コンピュータ３００は、指定地点の座標を取得する（ステップＳ３０４）。ここで、指定地点とは、ディスプレイ４００のイメージボックス４１０に表示した、背景領域６００の４隅の４点である。指定地点について詳しくは、以下で図８を用いて説明する。指定地点の座標を取得するために、ユーザにディスプレイ４００の表示部を見ながら、コンピュータ３００の入力部を介して操作させることで、指定地点を入力させてよいものとする。

図８は、キャリブレーション処理における、指定の４点の座標取得時の画面の一例である。ここでは、背景領域６００の左上の点６０１、右上の点６０２、右下の地点６０３、左下の点６０４、をユーザがカーソル４４０で指定することで、指定地点とする例を示している。システムは、指定地点である点６０１、点６０２、点６０３、点６０４について、ディスプレイ４００の原点４１１を基準とする絶対座標と相対座標とを取得する。ここでは、左上の点６０１、右上の点６０２、右下の点６０３、左下の点６０４の順で指定を行うものとし、まずはステップＳ３０４で左上の点６０１が指定され、その座標を取得したものとする。

図３に戻り、コンピュータ３００は、点６０１について、原点からの補正演算を行う（ステップＳ３０５）。補正後のＸ座標は、点６０１の絶対Ｘ座標から原点の絶対Ｘ座標をひいたものに、ＲＧＢカメラ機能のＸ方向の入力解像度をディスプレイ４００の横幅で割ったものから原点の絶対Ｘ座標に２をかけたものをひいたものを掛け合わせたものに、最も近い整数値とする。また、補正後のＹ座標は、点６０１の絶対Ｙ座標にＲＧＢカメラ機能のＹ方向の入力解像度をディスプレイ４００の縦幅で割ったものを掛け合わせたものに、最も近い整数値とする。

次に、コンピュータ３００は、点６０１の補正後のＸ座標とＹ座標を取得する（ステップＳ３０６）。ここで、取得した点６０１の補正後の座標値を、図８のテキストボックス４２０に表示してもよい。

次に、コンピュータ３００は、背景領域６００の４隅の４点の指定地点の補正座標の取得が完了したかどうかを確認する（ステップＳ３０７）。この段階では、取得したのは点６０１の補正座標のみであるので、ステップＳ３０４に戻り、点６０２について同じようにステップ３０６までの処理を行う。次にステップＳ３０７からステップＳ３０４に戻って点６０３についての処理を、さらに次にステップＳ３０７からステップＳ３０４に戻って点６０４についての処理を行う。ステップＳ３０７で、点６０１、点６０２、点６０３、点６０４の補正座標の取得がすべて完了していることを確認した場合、次のステップＳ３０８へと進む。図８では、テキストボックス４２０に、点６０１、点６０２、点６０３、点６０４の補正後の座標値を表示している。

コンピュータ３００は、記憶部に点６０１、点６０２、点６０３、点６０４の補正座標を記憶する（ステップＳ３０８）。この補正座標を基にして、深度カメラ１００のＲＧＢカメラ機能にあわせた画像を生成することで、台形に投影された背景領域６００を、長方形に補正して投影するキャリブレーションが可能となる。

図９は、キャリブレーション処理完了後の画面の一例である。背景領域６００は、深度カメラ１００のＲＧＢカメラ機能の解像度にあわせた長方形の領域として投影が可能となる。

以上のように、本発明のキャリブレーション処理によれば、深度カメラ１００のＲＧＢカメラ機能で入力される画像と、プロジェクター２００で出力される画像とのギャップを調整して、美しい長方形で画像を投影することが可能となる。また、本発明のキャリブレーション処理は、あらゆるカメラとプロジェクターで使用することが可能な、汎用性の高い処理であるという利点がある。

以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。

１００ 深度カメラ、２００ プロジェクター、３００ コンピュータ、４００ ディスプレイ、５００ 物体、６００ 背景領域

第１の特徴に係る発明は、
物体に画像を投影する画像投影システムであって、
画像が投影される背景の手前に存在する物体の領域を３次元で認識する深度カメラと、
背景画像を投影する範囲が、認識した前記領域外である場合、当該領域には白塗りデータを、当該領域外には透過描画された背景画像のデータを其々割り当てて生成したイメージを出力し、背景画像を投影する範囲が、認識した当該領域内である場合、当該領域には透過描画された背景画像のデータを、当該領域外には黒塗りデータを其々割り当てて生成したイメージを出力するプロジェクターと、
を備える画像投影システムを提供する。

第１の特徴に係る発明によれば、物体に画像を投影する画像投影システムにおいて、画像が投影される背景の手前に存在する物体の領域を３次元で認識する深度カメラと、背景画像を投影する範囲が、認識した前記領域外である場合、当該領域には白塗りデータを、当該領域外には透過描画された背景画像のデータを其々割り当てて生成したイメージを出力し、背景画像を投影する範囲が、認識した当該領域内である場合、当該領域には透過描画された背景画像のデータを、当該領域外には黒塗りデータを其々割り当てて生成したイメージを出力するプロジェクターと、を備える。

第２の特徴に係る発明は、第１の特徴に係る発明である画像投影システムであって、
前記物体の変形又は移動により前記領域が変化する場合においても、前記深度カメラが変化した領域をリアルタイムに認識し、前記プロジェクターが対応する所定のデータを出力する画像投影システムを提供する。

第２の特徴に係る発明によれば、第１の特徴に係る発明である画像投影システムにおいて、前記物体の変形又は移動により前記領域が変化する場合に
おいても、前記深度カメラが変化した領域をリアルタイムに認識し、前記プロジェクターが対応する所定のデータを出力する。

第３の特徴に係る発明は、第１の特徴から第２の特徴のいずれかに係る発明である画像投影システムであって、
前記プロジェクターが描画する前記所定のデータが動画データである画像投影システムを提供する。

第３の特徴に係る発明によれば、第１の特徴から第２の特徴のいずれかに係る発明である画像投影システムにおいて、前記プロジェクターが描画する前記所定のデータが動画データである。

第４の特徴に係る発明は、
物体に画像を投影する画像投影システムが実行する画像投影方法であって、
画像が投影される背景の手前に存在する物体の領域を３次元で認識するステップと、
背景画像を投影する範囲が、認識した前記領域外である場合、当該領域には白塗りデータを、当該領域外には透過描画された背景画像のデータを其々割り当てて生成したイメージを出力し、背景画像を投影する範囲が、認識した当該領域内である場合、当該領域には透過描画された背景画像のデータを、当該領域外には黒塗りデータを其々割り当てて生成したイメージを出力するステップと、
を備える画像投影方法を提供する。

第５の特徴に係る発明は、
物体に画像を投影する画像投影システムに、
画像が投影される背景の手前に存在する物体の領域を３次元で認識するステップ、
背景画像を投影する範囲が、認識した前記領域外である場合、当該領域には白塗りデータを、当該領域外には透過描画された背景画像のデータを其々割り当てて生成したイメージを出力し、背景画像を投影する範囲が、認識した当該領域内である場合、当該領域には透過描画された背景画像のデータを、当該領域外には黒塗りデータを其々割り当てて生成したイメージを出力するステップ、
を実行させるためのプログラムを提供する。

物体に画像を投影する画像投影システムであって、
画像が投影される背景の手前に存在する物体の領域を３次元で認識する深度カメラと、
背景画像を投影する範囲の指示に合わせて、前記背景画像を投影する範囲が認識した前記物体の領域外である場合、当該領域には白塗りデータを、当該領域外には背景画像のデータを所定のデータとして其々割り当てて生成したイメージを出力し、前記背景画像を投影する範囲が認識した前記物体の領域内である場合、当該領域には背景画像のデータを、当該領域外には黒塗りデータを所定のデータとして其々割り当てて生成したイメージを出力するプロジェクターと、
を備える画像投影システムを提供する。

第１の特徴に係る発明によれば、物体に画像を投影する画像投影システムにおいて、画像が投影される背景の手前に存在する物体の領域を３次元で認識する深度カメラと、背景画像を投影する範囲の指示に合わせて、前記背景画像を投影する範囲が認識した前記物体の領域外である場合、当該領域には白塗りデータを、当該領域外には背景画像のデータを所定のデータとして其々割り当てて生成したイメージを出力し、前記背景画像を投影する範囲が認識した前記物体の領域内である場合、当該領域には背景画像のデータを、当該領域外には黒塗りデータを所定のデータとして其々割り当てて生成したイメージを出力するプロジェクターと、を備える。

第２の特徴に係る発明は、第１の特徴に係る発明である画像投影システムであって、
前記物体の変形又は移動により前記領域が変化する場合においても、前記深度カメラが変化した領域をリアルタイムに認識し、前記プロジェクターが対応する前記所定のデータを出力する画像投影システムを提供する。

第２の特徴に係る発明によれば、第１の特徴に係る発明である画像投影システムにおいて、前記物体の変形又は移動により前記領域が変化する場合に
おいても、前記深度カメラが変化した領域をリアルタイムに認識し、前記プロジェクターが対応する前記所定のデータを出力する。

第４の特徴に係る発明は、
物体に画像を投影する画像投影システムが実行する画像投影方法であって、
画像が投影される背景の手前に存在する物体の領域を３次元で認識するステップと、
背景画像を投影する範囲の指示に合わせて、前記背景画像を投影する範囲が認識した前記物体の領域外である場合、当該領域には白塗りデータを、当該領域外には背景画像のデータを所定のデータとして其々割り当てて生成したイメージを出力し、前記背景画像を投影する範囲が認識した前記物体の領域内である場合、当該領域には背景画像のデータを、当該領域外には黒塗りデータを所定のデータとして其々割り当てて生成したイメージを出力するステップと、
を備える画像投影方法を提供する。

第５の特徴に係る発明は、
物体に画像を投影する画像投影システムに、
画像が投影される背景の手前に存在する物体の領域を３次元で認識するステップ、
背景画像を投影する範囲の指示に合わせて、前記背景画像を投影する範囲が認識した前記物体の領域外である場合、当該領域には白塗りデータを、当該領域外には背景画像のデータを所定のデータとして其々割り当てて生成したイメージを出力し、前記背景画像を投影する範囲が認識した前記物体の領域内である場合、当該領域には背景画像のデータを、当該領域外には黒塗りデータを所定のデータとして其々割り当てて生成したイメージを出力するステップ、
を実行させるためのコンピュータ読み取り可能なプログラムを提供する。

第５の特徴に係る発明は、
物体に画像を投影する画像投影システムにおいて用いられるコンピュータに、
画像が投影される背景の手前に存在する物体の領域を３次元で認識するステップ、
背景画像を投影する範囲の指示に合わせて、前記背景画像を投影する範囲が認識した前記物体の領域外である場合、当該領域には白塗りデータを、当該領域外には背景画像のデータを所定のデータとして其々割り当てて生成したイメージを出力し、前記背景画像を投影する範囲が認識した前記物体の領域内である場合、当該領域には背景画像のデータを、当該領域外には黒塗りデータを所定のデータとして其々割り当てて生成したイメージを出力するステップ、
を実行させるためのプログラムを提供する。

Claims (7)

1. 物体に画像を投影する画像投影システムであって、
   画像が投影される背景の手前に存在する物体の領域を３次元で認識する深度カメラと、
   認識した前記領域又は前記領域外に所定のデータを出力するプロジェクターと、
   を備える画像投影システム。
2. 前記プロジェクターは、前記領域には白塗りのデータ、前記領域外には背景画像のデータを前記所定のデータとして出力する請求項１に記載の画像投影システム。
3. 前記プロジェクターは、前記領域には背景画像のデータ、前記領域外には黒塗りのデータを前記所定のデータとして出力する請求項１に記載の画像投影システム。
4. 前記物体の変形又は移動により前記領域が変化する場合においても、前記深度カメラが変化した領域をリアルタイムに認識し、前記プロジェクターが対応する所定のデータを出力する請求項１から請求項３のいずれか一項に記載の画像投影システム。
5. 前記プロジェクターが描画する前記所定のデータが動画データである請求項１から請求項４のいずれか一項に記載の画像投影システム。
6. 物体に画像を投影する画像投影システムに、
   画像が投影される背景の手前に存在する物体の領域を３次元で認識するステップと、
   認識した前記領域又は前記領域外に所定のデータを出力するステップと、
   を備える画像投影方法。
7. 物体に画像を投影する画像投影システムに、
   画像が投影される背景の手前に存在する物体の領域を３次元で認識するステップ、
   認識した前記領域又は前記領域外に所定のデータを出力するステップ、
   を実行させるためのプログラム。