JP6636252B2 - 投影システム、プロジェクター装置、撮像装置、および、プログラム - Google Patents

Description

本発明は、投影型プロジェクター装置で投影される画像（映像）を適切に表示するための技術に関する。

投影型プロジェクター装置で投影される画像（映像）を、ユーザー視点から見たときに生ずる幾何学的な歪みを補正する多様な技術が開発されている。

例えば、特許文献１には、スクリーン自体の歪みによる映像の歪みを補正することが可能な映像投影装置の開示がある。この映像投影装置では、プロジェクターからスクリーンにテスト画像を投影し、投影されたテスト画像をカメラ付き携帯電話によって撮像し、カメラ付き携帯電話によって撮像された画像に基づいて、幾何補正を実行する。これにより、この映像投影装置では、スクリーン自体の歪みによる映像の歪み（幾何学的な歪み）を補正することができる。

特開２００６−３３３５７号公報

しかしながら、上記の従来技術では、投影対象としてスクリーンを想定しているため、複雑な形状を投影対象とする場合、上記技術により、適切に映像の歪み（幾何学的な歪み）を補正することは困難である。つまり、上記従来技術では、投影対象として略平面を想定しているため、複雑な３次元形状を投影対象とした場合、ユーザーの視点から見たときに幾何学的な歪みが低減された画像（映像）となるように、適切に画像（映像）の幾何学的な歪みを補正することは困難である。

また、画像を投影する対象の３次元形状を計測することで、投影対象の３次元形状データを取得し、取得した３次元形状データを用いて、ユーザーの視点から見たときに、投影画像が幾何学的な歪みが低減された画像となるように補正することが考えられる。

この場合、ユーザーの視点位置を正確に特定する必要があるので、ユーザーの視点位置の特定精度が低いと、投影画像の幾何学的な歪みを適切に補正することができない。したがって、ユーザーの視点位置が固定されていない場合、ユーザーの視点位置を常に正確に特定することが困難であるため、上記技術を適用して、適切に、投影画像の幾何学的な歪みを補正することは困難である。

そこで、本発明は、上記問題点に鑑み、任意の３次元形状を投影対象とし、ユーザーの視点が固定されていない場合であっても、適切に投影画像の幾何学的な歪みを補正することができるプロジェクター装置を実現することを目的とする。

上記課題を解決するために、第１の発明は、任意の形状を投影対象とし、ユーザーの視点から見たときに幾何学的な画像歪みが低減された状態となるように画像を投影する投影システムであって、投影部と、３次元形状測定部と、撮像部と、投影画像調整部と、を備える。

投影部は、第１の位置に設置され、投影対象に画像を投影する投影部であって、第１調整用テスト画像を投影する。

３次元形状測定部は、投影対象の３次元形状を測定する。

撮像部は、投影部により投影される第１調整用テスト画像を撮像することで、第１調整用撮像画像を取得する。

投影画像調整部は、（１）３次元形状測定部により計測された３次元形状データと撮像部により取得された第１調整用撮像画像とに基づいて、第１調整用撮像画像が撮像された撮像点において、幾何学的な画像歪みが低減されるように画像を補正する第１調整処理を実行する。

これにより、この投影システムでは、任意の３次元形状を投影対象とし、第１調整処理により、適切に投影画像の幾何学的な歪みを補正することができる。つまり、この投影システムでは、従来のように、ユーザーの視点を正確に特定するための高性能な装置を用いて、複雑な演算処理を行う必要がない。

特に、第１調整用撮像画像が撮像された撮像点が、ユーザー視点と一致（あるいは略一致）している場合、非常に簡単な処理により、適切に投影画像の幾何学的な歪みを補正することができる。

第２の発明は、第１の発明であって、投影画像調整部は、第１調整処理により調整された画像が前記投影部により投影されたときの状態に基づいて、幾何学的な画像歪みが低減されるように画像を補正する第２調整処理を実行する。

これにより、この投影システムでは、任意の３次元形状を投影対象とし、２段階の調整、すなわち、（１）第１調整処理（例えば、粗調整処理）、および、（２）第２調整処理（例えば、精密調整処理）により、適切に投影画像の幾何学的な歪みを補正することができる。

また、この投影システムでは、ユーザーの視点が移動した場合であっても、第１調整処理により調整した画像（テスト画像）を投影し、投影されたテスト画像の幾何学的な歪みがなくなるように、第２調整処理を実行するので、従来のように、ユーザーの視点を正確に特定するための高性能な装置を用いて、複雑な演算処理を行う必要がない。

第３の発明は、第２の発明であって、入力インターフェースをさらに備える。

投影画像調整部は、第２調整用テスト画像に対して、第１調整処理を実行することで取得した第２調整用投影テスト画像を生成する。

投影部は、第２調整用投影テスト画像を、投影対象に投影する。

投影画像調整部は、入力インターフェースからの入力に基づいて、第２調整信号を生成し、生成した第２調整信号に基づいて、第２調整処理を実行する。

この投影システムでは、ユーザーの視点が移動した場合であっても、第１調整処理により調整した第２調整用投影テスト画像を投影し、投影された当該画像の幾何学的な歪みがなくなるように、例えば、コントローラーにより、第２調整処理を、感覚的に分かりやすい処理で容易に実行することができる。したがって、この投影システムでは、従来のように、ユーザーの視点を正確に特定するための高性能な装置を用いて、複雑な演算処理を行う必要がない。

第４の発明は、第３の発明であって、第２調整用テスト画像は、第１調整用テスト画像と同じ画像である。

これにより、この投影システムでは、１種類のテスト画像を用いて処理を実行することができる。

第５の発明は、第２から第４のいずれかの発明であって、撮像部は、投影対象を撮像する第１カメラと、第１カメラにより投影対象を撮像するときに撮影者を撮像することが可能な位置に光学系を有する第２カメラとを備える。

撮像部は、第２カメラにより撮像した画像であって、撮影者の両眼を含む画像から、撮影者の両眼の中心点をユーザー視点として特定する。

投影画像調整部は、撮像部により特定されたユーザー視点に基づいて、第２調整信号を生成し、生成した第２調整信号に基づいて、第２調整処理を実行する。

この投影システム１０００では、撮像部の第１カメラにより、第１調整用のテスト画像を撮像したときに、撮像部の第２カメラにより顔画像（撮影者の両眼を含む画像）を撮像し、撮像した顔画像から、例えば、第１カメラの撮像点と撮影者（ユーザー）の視点との位置関係を示す情報を取得する。そして、この投影システムでは、撮像部により取得された第１カメラの撮像点と撮影者（ユーザー）の視点との位置関係を示す情報を用いて、第２調整処理を実行することができる。したがって、この投影システムでは、さらに、容易に、投影画像の幾何学的な歪みを補正することができる。

第６の発明は、第２から第４のいずれかの発明であって、投影画像調整部は、第２調整用テスト画像に対して、第１調整処理を実行することで取得した第２調整用投影テスト画像を生成する画像生成処理を実行する。

投影部は、第２調整用投影テスト画像を、前記投影対象に投影する画像投影処理を実行する。

撮像部は、投影部により投影された第２調整用投影テスト画像を撮像することで、第２調整用撮像画像を取得する撮像画像取得処理を実行する。

投影画像調整部は、撮像部により取得された第２調整用撮像画像と、第２調整用投影テスト画像とから画像歪み量を算出し、算出した画像歪み量に基づいて、第２調整信号を生成し、生成した第２調整信号に基づいて、第２調整処理を実行する。

この投影システムでは、撮像部により撮像された第２調整用撮像画像の画像歪み量に基づいて生成された第２調整信号により、第２調整処理を実行することができる。

第７の発明は、第６の発明であって、投影画像調整部は、画像歪み量が所定の条件を満たすか否かを判定する。そして、画像歪み量が所定の条件を満たすまで、投影画像調整部による画像生成処理、投影部による画像投影処理、撮像部による撮像画像取得処理、および、投影画像調整部による第２調整処理が、繰り返し実行される。

これにより、この投影システムでは、精密調整処理を自動調整により実現することができる。

第８の発明は、第７の発明であって、投影画像調整部は、画像歪み量が所定の値以下になった場合、第２調整処理を終了させる。

この投影システムでは、撮像部により撮像された第２調整用撮像画像の画像歪み量に基づいて生成された第２調整信号により、第２調整処理を実行することができる。そして、この投影システムでは、第２調整用撮像画像の画像歪み量が所定の値よりも大きい場合、第２調整用撮像画像の画像歪み量が所定の値以下になるまで、第２調整処理を繰り返す。これにより、この投影システムでは、精密調整処理を自動調整により実現することができる。

第９の発明は、第６から第８のいずれかの発明であって、第２調整用テスト画像は、第１調整用テスト画像と同じ画像である。

これにより、この投影システムでは、１種類のテスト画像を用いて処理を実行することができる。

第１０の発明は、第３、第４、第６から第９のいずれかの発明であって、第２調整用テスト画像は、複数の正方形の格子パターンからなる格子状パターンを有する画像である。

この投影システムでは、ユーザーの視点が移動した場合であっても、第１調整処理により調整した第２調整用テスト画像（正方形の格子からなる格子状画像）を投影し、投影されたテスト画像の幾何学的な歪みがなくなるように（第２調整用テスト画像の正方形の格子の歪み（幾何学的な歪み）がなくなるように）、例えば、コントローラーにより、第２調整処理を、感覚的に分かりやすい処理で容易に実行することができる。したがって、この投影システムでは、従来のように、ユーザーの視点を正確に特定するための高性能な装置を用いて、複雑な演算処理を行う必要がない。

第１１の発明は、第１０の発明であって、第２調整用テスト画像は、第１の模様を有する第１格子パターンと、第２の模様を有する第２格子パターンとが、幾何学的な歪みがない状態において、第２調整用テスト画像上の第１方向、および、第２調整用テスト画像上において第１方向と直交する第２方向において、交互に配置されることで形成される格子状パターンを有する画像である。

この投影システムでは、ユーザーの視点が移動した場合であっても、第１調整処理により調整した第２調整用テスト画像（正方形の格子からなる格子状画像）を投影し、投影されたテスト画像の幾何学的な歪みがなくなるように（第２調整用テスト画像の正方形の格子の歪み（幾何学的な歪み）がなくなるように）、例えば、コントローラーにより、第２調整処理を、感覚的に分かりやすい処理で容易に実行することができる。したがって、この投影システムでは、従来のように、ユーザーの視点を正確に特定するための高性能な装置を用いて、複雑な演算処理を行う必要がない。

第１２の発明は、第１から第１１のいずれかの発明であって、３次元形状測定部は、投影対象の３次元形状を測定するために用いられるとともに、投影部により投影される第１調整用テスト画像を、第１の位置とは異なる第３の位置である第２撮像点から、撮像するカメラを備える。

投影画像調整部は、３次元形状測定部により計測された３次元形状データと３次元形状測定部のカメラにより取得された第１調整用撮像画像とに基づいて、第１調整用撮像画像が撮像された第２撮像点において、幾何学的な画像歪みが低減されるように画像を補正する初期調整処理を実行する。

この投影システムでは、初期調整処理を実行するので、例えば、第１撮像点の位置と、第２撮像点との位置が近い場合に、第１調整処理を初期調整処理に代替させることができる。

第１３の発明は、第１から第１２のいずれかの発明であって、撮像部は、ユーザーの視点位置を含む所定の大きさの空間内に含まれる位置を、第１撮像点として、投影部により投影される第１調整用テスト画像を撮像する。

これにより、ユーザーの視点位置、あるいは、その近傍を、第１撮像点とすることができる。

なお、「ユーザーの視点位置を含む所定の大きさの空間内」とは、例えば、ユーザー視点位置からの距離が１ｍ以下の範囲の空間であり、好ましくは、ユーザー視点位置からの距離が５０ｃｍ以下の範囲の空間であり、さらに好ましくは、ユーザー視点位置からの距離が１０ｃｍ以下の範囲の空間である。

第１４の発明は、第１から第１３のいずれかの発明である投影システムに用いられるプロジェクター装置であって、投影部と、投影画像調整部とを備える。

これにより、第１から第１０のいずれかの発明である投影システムに用いられるプロジェクター装置を実現することができる。

第１５の発明は、第１から第１３のいずれかの発明である投影システムに用いられる撮像装置であって、撮像部を備える。

これにより、第１から第５のいずれかの発明である投影システムに用いられる撮像装置を実現することができる。

第１６の発明は、任意の形状を投影対象とし、ユーザーの視点から見たときに幾何学的な画像歪みが低減された状態となるように画像を投影する投影方法をコンピュータに実行させるためのプログラムである。投影方法は、投影ステップと、３次元形状測定ステップと、撮像ステップと、投影画像調整ステップと、を備える。

投影ステップは、第１の位置から、第１調整用テスト画像を投影する。

３次元形状測定ステップは、投影対象の３次元形状を測定する。

撮像ステップは、投影ステップにより投影される第１調整用テスト画像を、第１の位置とは異なる第２の位置である第１撮像点から、撮像することで、第１調整用撮像画像を取得する。

投影画像調整ステップは、３次元形状測定ステップにより計測された３次元形状データと撮像ステップにより取得された第１調整用撮像画像とに基づいて、第１調整用撮像画像が撮像された第１撮像点において、幾何学的な画像歪みが低減されるように画像を補正する第１調整処理を実行する。

これにより、第１の発明と同様の効果を奏する投影方法をコンピュータに実行させるためのプログラムを実現することができる。

第１７の発明は、第１６の発明であって、投影画像調整ステップは、第１調整処理により調整された画像が投影ステップにより投影されたときの状態に基づいて、幾何学的な画像歪みが低減されるように画像を補正する第２調整処理を実行する。

これにより、第２の発明と同様の効果を奏する投影方法をコンピュータに実行させるためのプログラムを実現することができる。

本発明によれば、任意の３次元形状を投影対象とし、ユーザーの視点が固定されていない場合であっても、適切に投影画像の幾何学的な歪みを補正することができるプロジェクター装置を実現することができる。

第１実施形態に係る投影システム１０００の概略構成図。 第１実施形態に係る投影システム１０００のプロジェクター装置１００の投影画像調整部１の概略構成図。 ３次元空間において、投影対象と、プロジェクター装置１００と、撮像装置２００（カメラ付きスマートフォン）とを模式的に示した図。 図３に示した３次元空間を上方から見た図。 図３、図４で模式的に示した投影対象の実際の画像。 図５の投影対象に投影された粗調整用のテスト画像Ｉｍｇ＿ｔ（１）。 精密調整用のテスト画像の一例。 図５の投影対象に投影された精密調整用のテスト画像Ｉｍｇ＿ｔ（２）を、視点Ｖｐから見たときの画像。 図５の投影対象に投影された精密調整用のテスト画像Ｉｍｇ＿ｔ（３）（精密補正処理後の画像）を、視点Ｖｐから見たときの画像。 精密調整処理が完了した後に投影された一般画像を、ユーザーの視点Ｖｐから見たときの画像。 第１実施形態の第１変形例に係る投影システム１０００Ａの概略構成図。 第１実施形態の第１変形例に係る投影システム１０００Ａのプロジェクター装置１００Ａの投影画像調整部１Ａの概略構成図。 第１実施形態の第２変形例に係る投影システム１０００Ｂの概略構成図。 第１実施形態の第２変形例に係る投影システム１０００Ｂのプロジェクター装置１００Ｂの投影画像調整部１Ｂの概略構成図。 第１実施形態の第３変形例に係る投影システム１０００Ｃの概略構成図。 第１実施形態の第３変形例に係る投影システム１０００Ｃのプロジェクター装置１００Ｃの投影画像調整部１Ｃの概略構成図。 第１実施形態の第３変形例に係る精密調整信号生成部１２１Ｂの概略構成図。 第１実施形態の第３変形例の投影システム１０００Ｃで実行される精密調整処理のフローチャート。

［第１実施形態］
第１実施形態について、図面を参照しながら、以下、説明する。

＜１．１：投影システムの構成＞
図１は、第１実施形態に係る投影システム１０００の概略構成図である。

図２は、第１実施形態に係る投影システム１０００のプロジェクター装置１００の投影画像調整部１の概略構成図である。

投影システム１０００は、図１に示すように、プロジェクター装置１００と、撮像装置２００と、コントローラー３００とを備える。

プロジェクター装置１００は、図１に示すように、投影画像調整部１と、テスト用画像記憶部２と、投影部３と、３次元形状測定部４と、３次元形状データ記憶部５と、第１インターフェース６と、第２インターフェース７とを備える。

投影画像調整部１は、図２に示すように、第１セレクター１１と、精密調整部１２と、粗調整部１３と、第２セレクター１４とを備える。

第１セレクター１１は、テスト用画像記憶部２から出力されるテスト用画像（精密調整用のテスト画像）Ｉｍｇ＿ｔ（３）と、入力画像Ｄｉｎと、モード信号ｍｏｄｅとを入力とする。第１セレクター１１は、モード信号ｍｏｄｅに基づいて、テスト用画像記憶部２から出力されるテスト用画像（精密調整用のテスト画像）Ｉｍｇ＿ｔ（３）、および、入力画像Ｄｉｎのいずれか一方を選択し、選択した画像を画像Ｄ１（画像信号Ｄ１）として精密調整部１２に出力する。

なお、テスト用画像記憶部２から投影画像調整部１に出力されるテスト用画像Ｉｍｇ＿ｔは、第２セレクター１４に出力される場合、画像Ｉｍｇ＿ｔ（１）と表記し、粗調整部１３に出力される場合、画像Ｉｍｇ＿ｔ（２）と表記し、第１セレクター１１に出力される場合、画像Ｉｍｇ＿ｔ（３）と表記するものとする（以下、同様）。

精密調整部１２は、図２に示すように、精密調整信号生成部１２１と、精密調整用視点取得部１２２と、精密補正部１２３と備える。

精密調整信号生成部１２１は、第２インターフェース７から出力される信号Ｓｉｇ２を入力とし、入力された信号Ｓｉｇ２に基づいて、精密調整信号Ａｄｊを生成する。そして、精密調整信号生成部１２１は、生成した精密調整信号Ａｄｊを精密調整用視点取得部１２２に出力する。

精密調整用視点取得部１２２は、精密調整信号生成部１２１から出力される精密調整信号Ａｄｊと、粗調整部１３の粗調整用視点取得部１３１から出力される粗調整用視点についての情報を含む信号ＶＰ＿ｔｍｐとを入力する。精密調整用視点取得部１２２は、信号ＶＰ＿ｔｍｐと、精密調整信号Ａｄｊとに基づいて、視点情報を含む信号ＶＰを取得する。そして、精密調整用視点取得部１２２は、取得した信号ＶＰを精密補正部１２３に出力する。

精密補正部１２３は、第１セレクター１１から出力される画像信号Ｄ１と、精密調整用視点取得部１２２から出力される視点情報を含む信号ＶＰと、モード信号ｍｏｄｅと、投影部３の投影点についての情報Ｐ＿ｐｒｊとを入力する。精密補正部１２３は、モード信号ｍｏｄｅと、投影部３の投影点についての情報Ｐ＿ｐｒｊと、視点情報を含む信号ＶＰと、に基づいて、画像信号Ｄ１に対して、精密補正処理を行い、処理後の画像信号Ｄ２を取得する（詳細については、後述）。そして、精密補正部１２３は、取得した画像信号Ｄ２を第２セレクター１４に出力する。なお、投影部３の投影点についての情報Ｐ＿ｐｒｊは、例えば、投影部３の投影点の３次元空間（例えば、ｘ軸、ｙ軸、ｚ軸により規定される３次元空間）の位置座標（例えば、座標（ｘ１，ｙ１，ｚ１））を示す情報である。投影部３の投影点についての情報Ｐ＿ｐｒｊは、プロジェクター装置１００を所定の位置に設置することで、特定される。また、３次元計測機器としてのキャリブレーションを事前に実施し、投影部３の投影点を原点として設定することで、投影部３の投影点についての情報Ｐ＿ｐｒｊを特定するようにしてもよい。

粗調整部１３は、図２に示すように、粗調整用視点取得部１３１と、粗補正部１３２とを備える。

粗調整用視点取得部１３１は、３次元形状データ記憶部５にアクセスし、３次元形状データ記憶部５から３次元形状データ３Ｄ＿ｄａｔａを入力する。また、粗調整用視点取得部１３１は、第１インターフェース６から出力される信号Ｓｉｇ１（＝画像信号Ｉｍｇ＿ｃ）を入力する。粗調整用視点取得部１３１は、信号Ｓｉｇ１（＝画像信号Ｉｍｇ＿ｃ）と、３次元形状データ３Ｄ＿ｄａｔａとに基づいて、粗調整用視点を算出し、算出した粗調整用視点の情報を含む信号ＶＰ＿ｔｍｐを生成する。そして、粗調整用視点取得部１３１は、生成した信号ＶＰ＿ｔｍｐを粗補正部１３２と、精密調整用視点取得部１２２とに出力する。

粗補正部１３２は、粗調整用視点取得部１３１から出力される信号ＶＰ＿ｔｍｐと、テスト用画像記憶部２から出力されるテスト画像Ｉｍｇ＿ｔ（２）と、投影部３の投影点についての情報Ｐ＿ｐｒｊと、を入力する。粗補正部１３２は、投影点についての情報Ｐ＿ｐｒｊと、粗調整用視点の情報を含む信号ＶＰ＿ｔｍｐと、に基づいて、テスト画像Ｉｍｇ＿ｔ（２）に対して粗補正処理を行い、画像信号Ｉｍｇ＿ｔ＿ａｄｊを取得する。そして、粗補正部１３２は、取得した画像信号Ｉｍｇ＿ｔ＿ａｄｊを第２セレクター１４に出力する。

第２セレクター１４は、テスト用画像記憶部２から出力されるテスト画像Ｉｍｇ＿ｔ（１）（画像信号Ｉｍｇ＿ｔ（１））と、精密補正部１２３から出力される画像信号Ｄ２と、粗補正部１３２から出力される画像信号Ｉｍｇ＿ｔ＿ａｄｊと、選択信号ｓｅｌ１とを入力する。第２セレクター１４は、選択信号ｓｅｌ１に従い、画像信号Ｉｍｇ＿ｔ（１）、画像信号Ｄ２、および、画像信号Ｉｍｇ＿ｔ＿ａｄｊのうちのいずれか１つを選択して、画像信号Ｄｏｕｔとして、投影部３に出力する。

テスト用画像記憶部２は、テスト画像を記憶しており、投影画像調整部１から要求に従い、所定のタイミングで、テスト画像を、投影画像調整部１に出力する。

投影部３は、画像を投影するための光学系を有している。投影部３は、投影画像調整部１の第２セレクター１４から出力される画像信号Ｄｏｕｔを入力し、入力した画像信号Ｄｏｕｔを、３次元空間の投影対象に投影する。

３次元形状測定部４は、３次元空間の投影対象の３次元計測データを取得し、取得した投影対象の３次元計測データを３次元形状データ記憶部５に出力する。３次元形状測定部４は、例えば、カメラを有しており、投影部３から投影される３次元形状測定用のテスト画像を撮像し、３次元形状測定用のテスト画像の撮像画像に基づいて、投影対象の３次元計測データを取得する。

また、３次元形状測定部４は、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）方式（例えば、ＴＯＦ方式の位相差法）により距離画像を取得することで、投影対象の３次元計測データを取得するものであってもよい。この場合、３次元形状測定部４は、例えば、赤外線を照射する光源と、赤外線用のイメージセンサーとを有しており、光源から照射した赤外線の反射光を、イメージセンサーで受光し、照射した赤外線が投影対象から反射されて戻ってくるまでの時間を測定することで、距離画像を取得する。そして、３次元形状測定部４は、取得した距離画像により、投影対象の３次元計測データを取得する。

また、３次元形状測定部４は、レーザー光源とレーザー用のセンサーを有し、レーザー光の飛行時間から、投影対象の距離を測定することで、投影対象の３次元計測データを取得するものであってもよい。この場合、３次元形状測定部４は、レーザー光を投影対象に照射方向を順次変更しながら（投影対象をレーザー光でスキャンしながら）照射し、レーザー光が投影対象に反射し、戻ってくるまでの時間を測定することで、投影対象の距離を測定し、投影対象の３次元計測データを取得する。

３次元形状データ記憶部５は、３次元形状測定部４により取得された投影対象の３次元計測データを入力とし、入力された投影対象の３次元計測データを記憶する。３次元形状データ記憶部５は、粗調整部１３の粗調整用視点取得部１３１からの要求に従い、３次元計測データを、粗調整用視点取得部１３１に出力する。

第１インターフェース６は、プロジェクター装置１００と、撮像装置２００とのインターフェースである。第１インターフェース６を介して、例えば、撮像装置２００により撮像され、撮像装置２００から取得される画像（画像信号）を、プロジェクター装置１００に入力することができる。

第２インターフェース７は、プロジェクター装置１００と、コントローラー３００とのインターフェースである。第２インターフェース７を介して、例えば、コントローラー３００からの信号を、プロジェクター装置１００に入力することができる。

撮像装置２００は、図１に示すように、第３インターフェース２１と、制御部２２と、撮像部２３とを備える。撮像装置２００は、例えば、カメラ付き携帯電話やカメラ付きスマートフォンにより実現される。また、撮像装置２００は、撮像機能を有する可搬型情報端末であってよい。

第３インターフェース２１は、撮像装置２００と、プロジェクター装置１００とのインターフェースである。

制御部２２は、撮像装置２００の各機能部を制御する制御部である。

撮像部２３は、光学系と撮像素子を有する。撮像部２３により、例えば、プロジェクター装置１００から投影対象に投影された画像を撮影することができる。

コントローラー３００は、ユーザーが、プロジェクター装置１００から投影対象に投影された画像の幾何学的な歪みを調整するための装置である。コントローラー３００は、ユーザーの操作に基づく指示信号を生成し、プロジェクター装置１００の第２インターフェース７を介して、当該指示信号を、プロジェクター装置１００に入力する。

＜１．２：投影システムの動作＞
以上のように構成された投影システム１０００の動作について、以下、説明する。

以下では、投影システム１０００で実行される処理として、（１）３次元形状測定処理、（２）粗調整処理（第１調整処理）、および、（３）精密調整処理（第２調整処理）に分けて説明する。

なお、説明便宜のため、投影対象を図３、図４に示す３次元空間として、投影システム１０００の動作について説明する。

図３は、３次元空間を模式的に示した図であり、投影対象と、プロジェクター装置１００と、撮像装置２００（カメラ付きスマートフォン）とを示している。図３に示す３次元空間において、床Ｆｌｏｏｒ１と、壁Ｗａｌｌ１と、板Ｂｒｄ１と、箱Ｂｏｘ１とが、図３に示すように、配置されている。また、図３において、プロジェクター装置１００の投影部３の投影点を点Ｐ＿ｐｒｊとして示しており、プロジェクター装置１００の３次元形状測定部４の測定点を点Ｐ＿ｍｓｒとして示している。また、図３において、撮像装置２００の撮像部２３の撮影点を点Ｖｐ＿ｔｍｐとして示しており、ユーザーの視点位置（ユーザーの両眼の中心点）を点Ｖｐとして示している。

なお、図３において、図３中に示すように、Ｘ軸、Ｙ軸、Ｚ軸をとるものとする。

図４は、図３に示した３次元空間を上方から見た図である。

（１．２．１：３次元形状測定処理）
まず、３次元形状測定処理について、説明する。

以下では、投影システム１０００において、３次元形状測定部４は、カメラを有しており、投影部３から投影される３次元形状測定用のテスト画像を撮像し、３次元形状測定用のテスト画像の撮像画像に基づいて、投影対象の３次元計測データを取得する場合について、説明する。

テスト用画像記憶部２から、３次元形状測定用のテスト画像Ｉｍｇ＿ｔ（１）が、投影画像調整部１の第２セレクター１４に出力される。そして、投影画像調整部１は、第２セレクター１４の、図２に示す端子０を選択する選択信号ｓｅｌ１を生成し、第２セレクター１４に出力する。これにより、第２セレクター１４から、３次元形状測定用のテスト画像Ｉｍｇ＿ｔ（１）が、画像信号Ｄｏｕｔとして、投影部３に出力される。

投影部３は、３次元形状測定用のテスト画像Ｉｍｇ＿ｔ（１）を、（Ａ）投影軸（投影部３の光学系の光軸）を、図３、図４に示す方向Ｄｉｒ１とし、（Ｂ）画角を図４に示す角度θ１とし、（Ｃ）投影点を、図３、図４に示す点Ｐ＿ｐｒｊとして、投影対象に対して、投影する。

３次元形状測定部４は、撮像点が点Ｐ＿ｍｓｒである、３次元形状測定用のカメラにより、投影部３により投影されている３次元形状測定用のテスト画像Ｉｍｇ＿ｔ（１）を撮像する。そして、３次元形状測定部４は、撮像した画像を、３次元形状測定用のテスト画像Ｉｍｇ＿ｔ（１）と比較することで、投影対象の３次元計測データを取得する。

投影システム１０００において、投影点Ｐ＿ｐｒｊの３次元空間の座標が既知であり、３次元形状測定部４の撮像点Ｐ＿ｍｓｒの３次元空間の座標が既知であり、投影する３次元形状測定用のテスト画像Ｉｍｇ＿ｔ（１）が既知であるので、撮像点Ｐ＿ｍｓｒで撮像した画像から、投影対象の３次元空間の座標を算出することができる。つまり、３次元形状測定用のテスト画像Ｉｍｇ＿ｔ（１）の各画素が、撮像点Ｐ＿ｍｓｒで撮像した画像のどの画素に対応するか調べることで、各画素に相当する３次元空間位置（各画素に相当する光が反射した３次元空間位置）を特定することができる。したがって、各画素に対応する３次元空間位置を特定することで、投影対象の３次元空間の座標を算出することができる。

なお、３次元形状測定用のテスト画像Ｉｍｇ＿ｔ（１）を、例えば、所定の周期の正弦波信号により形成される画像としてもよい。この場合、例えば、正弦波信号の周期や位相を所定のタイミングで変更した複数の画像を、投影部３から投影対象に投影し、投影された複数の画像により、３次元形状測定部４が、投影対象の３次元形状データを取得するようにしてもよい。

上記処理により、３次元形状測定部４が取得した投影対象の３次元形状データは、３次元形状測定部４から、３次元形状データ記憶部５に出力され、３次元形状データ記憶部５に記憶される。

（１．２．２：粗調整処理）
次に、粗調整処理について、説明する。

テスト用画像記憶部２から、粗調整用のテスト画像Ｉｍｇ＿ｔ（１）が、投影画像調整部１の第２セレクター１４に出力される。そして、投影画像調整部１は、第２セレクター１４の、図２に示す端子０を選択する選択信号ｓｅｌ１を生成し、第２セレクター１４に出力する。これにより、第２セレクター１４から、粗調整用のテスト画像Ｉｍｇ＿ｔ（１）が、画像信号Ｄｏｕｔとして、投影部３に出力される。

投影部３は、粗調整用のテスト画像Ｉｍｇ＿ｔ（１）を、（Ａ）投影軸（投影部３の光学系の光軸）を、図３、図４に示す方向Ｄｉｒ１とし、（Ｂ）画角を図４に示す角度θ１とし、（Ｃ）投影点を、図３、図４に示す点Ｐ＿ｐｒｊとして、投影対象に対して、投影する。

ここで、粗調整用のテスト画像Ｉｍｇ＿ｔ（１）を、４隅にマーカーを有する画像として、以下、説明する。

図５に、図３、図４で模式的に示した投影対象の実際の画像を示す。また、図６に、図５の投影対象に投影された粗調整用のテスト画像Ｉｍｇ＿ｔ（１）を示す。なお、図６は、投影点Ｐ＿ｐｒｊから投影された粗調整用のテスト画像Ｉｍｇ＿ｔ（１）を、撮像装置２００の撮像点Ｖｐ＿ｔｍｐで撮像した画像を示している。

撮像装置２００により、投影部３から投影されている粗調整用のテスト画像Ｉｍｇ＿ｔ（１）を撮像することで、撮像装置２００において、撮像画像Ｉｍｇ＿ｃ（図６に相当する画像）が取得される。

撮像装置２００により取得された撮像画像Ｉｍｇ＿ｃは、撮像装置２００の第３インターフェース２１を介して、プロジェクター装置１００に出力される。

プロジェクター装置１００では、第１インターフェース６を介して、撮像装置２００から出力された撮像画像Ｉｍｇ＿ｃが、撮影画像調整部１の粗調整部１３の粗調整用視点取得部１３１に入力される。

粗調整用視点取得部１３１では、投影点Ｐ＿ｐｒｊと、３次元形状データ記憶部５から取得した３次元形状データ３Ｄ＿ｄａｔａと、に基づいて、投影部３から投影されたテスト画像Ｉｍｇ＿ｔ（１）（マーカー画像）と、撮像装置２００により撮像された撮像画像Ｉｍｇ＿ｃとを比較することで、撮像点Ｖｐ＿ｔｍｐを算出する。このとき、粗調整用視点取得部１３１は、テスト画像Ｉｍｇ＿ｔ（１）（マーカー画像）と、撮像装置２００により撮像された撮像画像Ｉｍｇ＿ｃとにおいて、４隅のマーカー（黒のマーカー）の画像上の位置を特定することで、撮像点Ｖｐ＿ｔｍｐを算出（概算）することができる。

なお、粗調整用視点取得部１３１において、撮像点Ｖｐ＿ｔｍｐは、概略位置が分かればよいので、上記のように、４隅のマーカー（黒のマーカー）の画像上の位置を特定する処理を行うことで、高速に、撮像点Ｖｐ＿ｔｍｐを算出（概算）することができる。

粗調整用視点取得部１３１により算出された撮像点Ｖｐ＿ｔｍｐ（粗調整用視点Ｖｐ＿ｔｍｐ）についての情報を含む信号ＶＰ＿ｔｍｐが、粗調整用視点取得部１３１から粗補正部１３２に出力される。

粗補正部１３２は、テスト用画像記憶部２から、精密調整用のテスト画像Ｉｍｇ＿ｔ（２）を読み込む。

図７に、精密調整用のテスト画像の一例を示す。図７に示すように、精密調整用のテスト画像は、白地の正方形のパターンである第１格子パターンと、黒地の正方形のパターンである第２格子パターンとが、画像上の水平方向、および、画像上の垂直方向において、交互に配置されることで形成される格子状パターンを有する画像である、このようなパターン画像を精密調整用のテスト画像として用いることで、投影画像の幾何学的な画像歪みを検知することが容易となる。

以下では、精密調整用のテスト画像Ｉｍｇ＿ｔ（２）として、図７のテスト画像を用いる場合について、説明する。

粗補正部１３２は、投影点についての情報Ｐ＿ｐｒｊと、撮像点Ｖｐ＿ｔｍｐ（粗調整用視点Ｖｐ＿ｔｍｐ）の情報を含む信号ＶＰ＿ｔｍｐと、に基づいて、精密調整用のテスト画像Ｉｍｇ＿ｔ（２）に対して粗補正処理を行い、画像信号Ｉｍｇ＿ｔ＿ａｄｊを取得する。具体的には、粗補正部１３２は、撮像点Ｖｐ＿ｔｍｐ（粗調整用視点Ｖｐ＿ｔｍｐ）から見たときに、画像の幾何学的な歪みがない状態となるように、テスト画像Ｉｍｇ＿ｔ（２）に対して粗補正処理を行い、画像信号Ｉｍｇ＿ｔ＿ａｄｊを取得する。

粗補正部１３２により取得された画像信号Ｉｍｇ＿ｔ＿ａｄｊは、第２セレクター１４に出力される。

そして、第２セレクター１４では、選択信号ｓｅｌ１により、端子１が選択され、画像信号Ｉｍｇ＿ｔ＿ａｄｊが、画像信号Ｄｏｕｔとして、第２セレクター１４から投影部３に出力される。

そして、投影部３は、画像信号Ｉｍｇ＿ｔ＿ａｄｊを、投影対象に投影する。

図８は、図５の投影対象に投影された精密調整用のテスト画像Ｉｍｇ＿ｔ（２）を粗補正処理した後の画像Ｉｍｇ＿ｔ＿ａｄｊを、視点Ｖｐから見たときの画像である。

図８から分かるように、図８の画像（粗調整処理後の画像）には、歪んでいる格子パターンが多く存在しており、視点Ｖｐから見たときに、画像に幾何学的な歪みが発生していることが分かる。

（１．２．３：精密調整処理）
次に、精密調整処理について、説明する。

精密調整処理では、粗調整処理後の画像に発生している幾何学的な画像歪みを補正する。

図８に示す粗調整処理後の画像が投影されている状態において、ユーザーは、コントローラー３００により、現時点で投影システムに設定されている視点、すなわち、粗調整用視点Ｖｐ＿ｔｍｐ（撮像点Ｖｐ＿ｔｍｐ）を、ユーザーの本当の視点にずらす処理を行う。

コントローラー３００は、ユーザーが操作できるボタン等（タッチパネル上のボタン等であってもよい。）を有している。ユーザーが当該ボタン等を操作することにより、投影システム１０００に設定されている視点をずらすための指示信号を、コントローラー３００から、第２インターフェース７を介して、プロジェクター装置１００の投影画像調整部１に入力することができる。

コントローラー３００からの指示信号は、第２インターフェース７から、指示信号Ｓｉｇ２として、精密調整信号生成部１２１に入力される。

精密調整信号生成部１２１は、指示信号Ｓｉｇ２に基づいて、粗調整用視点Ｖｐ＿ｔｍｐを、ユーザーの指示通りにずらすための精密調整信号Ａｄｊを生成する。そして、精密調整信号生成部１２１は、生成した精密調整信号Ａｄｊを精密調整用視点取得部１２２に出力する。

精密調整用視点取得部１２２は、粗調整用視点Ｖｐ＿ｔｍｐの情報を含む信号ＶＰ＿ｔｍｐと、精密調整信号Ａｄｊとに基づいて、粗調整用視点Ｖｐ＿ｔｍｐから、精密調整信号Ａｄｊに相当する距離だけずれた点を新たな視点とし、当該視点情報を含む信号ＶＰを生成し、精密補正部１２３に出力する。

第１セレクター１１は、モード信号ｍｏｄｅに従い、テスト用画像記憶部２から出力されている精密調整用のテスト画像Ｉｍｇ＿ｔ（３）（テスト画像Ｉｍｇ＿ｔ（２）と同じ画像）を選択し、精密補正部１２３に出力する。なお、モード信号ｍｏｄｅは、ユーザーが投影画像の幾何学的な画像歪みの補正を行う調整をしているときは、第１セレクター１１において、端子０が選択されるように、その信号値が設定されている。

精密補正部１２３は、モード信号ｍｏｄｅと、投影部３の投影点についての情報Ｐ＿ｐｒｊと、視点情報を含む信号ＶＰと、に基づいて、画像信号Ｄ１（精密調整用のテスト画像Ｉｍｇ＿ｔ（３））に対して、精密補正処理を行い、処理後の画像信号Ｄ２を取得する。そして、精密補正部１２３は、取得した画像信号Ｄ２を第２セレクター１４に出力し、第２セレクター１４は、端子１を選択して、精密補正処理後の画像信号Ｄ２を投影部３に出力する。

投影部３は、精密補正処理後の画像信号Ｄ２を、投影対象に投影する。

ユーザーは、上記のようにして、精密補正処理が実行された画像信号Ｄ２の投影されている状態を見て、さらに、精密補正処理を行うかを判断する。

つまり、ユーザーの視点Ｖｐから見たときに、テスト画像の格子パターンの歪み（幾何学的な歪み）がなくなる（あるいは、ユーザーの所望のレベル以下の歪み（幾何学的な歪み）となる）まで、コントローラー３００による操作（視点をずらす処理に相当する操作）を行う。

ユーザーが、コントローラー３００による操作が実行される度に、上記と同様の処理（精密補正処理）が、投影システム１０００にて、実行される。

このようにして、精密補正処理が実行された後の精密調整用のテスト画像Ｉｍｇ＿ｔ（３）の投影状態を、図９に示す。

図９は、図５の投影対象に投影された精密調整用のテスト画像Ｉｍｇ＿ｔ（３）（精密補正処理後の画像）を、視点Ｖｐから見たときの画像である。

図９から分かるように、精密調整用のテスト画像Ｉｍｇ＿ｔ（３）の格子パターンの歪み（幾何学的な歪み）がほぼ存在せず、良好な状態（幾何学的な画像歪みがほぼ存在しない状態）である。

なお、ユーザーは、精密調整用のテスト画像の格子パターンの形が正方形に近い状態となっているか否かを見て、コントローラー３００を操作すれば、投影システム１０００において、精密調整処理を実行することができる。つまり、ユーザーは、格子パターンが正方形に近づくように、コントローラー３００で操作を行えば良いので、投影システム１０００において、現在設定されている視点の３次元座標や、ＸＹＺ軸がどのような方向に設定されているか、等を考慮して、複雑なデータを把握して視点をずらすといった複雑な処理を行う必要がない。

以上のようにして、精密調整処理が完了したら、ユーザーは、プロジェクター装置１００に入力される画像Ｄｉｎが表示されるように、モードを切り替える操作を、例えば、コントローラー３００により行う。これにより、プロジェクター装置１００では、プロジェクター装置１００に入力される画像Ｄｉｎが表示されるようになる。

この場合、第１セレクター１１は、モード信号ｍｏｄｅにより、端子１を選択し、画像信号Ｄｉｎを画像Ｄ１として、精密補正部１２３に出力する。精密補正部１２３は、精密調整処理が完了したときと同じ補正処理を行い、補正処理後の画像信号Ｄ２を取得し、第２セレクター１４に出力する。第２セレクターでは、端子１を選択し、補正処理後の画像信号Ｄ２が投影部３に出力される。投影部３は、補正処理後の画像信号Ｄ２（＝Ｄｏｕｔ）を、投影対象に投影する。このようにして投影部３から投影される画像は、精密調整処理が完了したときと同じ状態で投影されているため、ユーザーの視点Ｖｐから見たときに、幾何学的な画像歪みがほぼない状態の画像となる。

図１０は、精密調整処理が完了した後に投影された一般画像を、ユーザーの視点Ｖｐから見たときの画像である。

図１０から分かるように、幾何学的な画像歪みがほぼなく、良好な状態である。

以上のように、投影システム１０００では、任意の３次元形状を投影対象とし、２段階の調整、すなわち、（１）粗調整処理、および、（２）精密調整処理により、適切に投影画像の幾何学的な歪みを補正することができる。

また、投影システム１０００では、ユーザーの視点が移動した場合であっても、粗調整処理により調整したテスト画像（正方形の格子からなる格子状画像）を投影し、投影されたテスト画像の幾何学的な歪みがなくなるように（テスト画像の正方形の格子の歪み（幾何学的な歪み）がなくなるように）、コントローラー３００により、精密調整処理を、感覚的に分かりやすい処理で容易に実行することができる。したがって、投影システム１０００では、従来のように、ユーザーの視点を正確に特定するための高性能な装置を用いて、複雑な演算処理を行う必要もない。

≪第１変形例≫
次に、第１実施形態の第１変形例について、説明する。

本変形例において、第１実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。

図１１は、第１実施形態の第１変形例に係る投影システム１０００Ａの概略構成図である。

図１２は、第１実施形態の第１変形例に係る投影システム１０００Ａのプロジェクター装置１００Ａの投影画像調整部１Ａの概略構成図である。

第１変形例の投影システム１０００Ａでは、第１実施形態の投影システム１０００において、プロジェクター装置１００をプロジェクター装置１００Ａに置換し、撮像装置２００を撮像装置２００Ａに置換した構成を有している。

プロジェクター装置１００Ａは、プロジェクター装置１００において、精密調整部１２を精密調整部１２Ａに置換し、第１インターフェース６を第１インターフェース６Ａに置換した構成を有している。それ以外については、プロジェクター装置１００Ａは、プロジェクター装置１００と同様である。

精密調整部１２Ａは、精密調整部１２において、精密調整信号生成部１２１を精密調整信号生成部１２１Ａに置換した構成を有している。それ以外については、精密調整部１２Ａは、精密調整部１２と同様である。

撮像装置２００Ａは、撮像装置２００において、撮像部２３を、第１撮像部２３Ａに置換し、さらに、第２撮像部２３Ｂを追加した構成を有している。

第１撮像部２３Ａは、第１実施形態の撮像部２３と同様のものである。

第２撮像部２３Ｂは、第１撮像部２３Ａにより、投影対象を撮像するときに、ユーザーの顔の画像を撮影するための撮像部である。

以上のように構成された本変形例の投影システム１０００Ａの動作について、説明する。

本変形例の投影システム１０００Ａでは、撮像装置２００Ａの第１撮像部２３Ａにより、粗調整用のテスト画像Ｉｍｇ＿ｔ（１）を撮像したときのユーザーの顔を第２撮像部２３Ｂにより撮像する。

そして、第２撮像部２３Ｂにより、撮像されたユーザーの顔を含む画像（以下、「顔画像」という。）から、ユーザーの両眼を検出し、ユーザーの両目の中心点（視点位置）の座標を、撮像装置２００Ａの制御部２２が算出する。具体的には、制御部２２は、第２撮像部２３Ｂが撮像した顔画像から、ユーザーの両目の距離が約６ｃｍ程度とし、第２撮像部２３Ｂの光学系の光軸の方向、画角等から、第２撮像部２３Ｂの撮像点とユーザーの視点との位置関係を示す情報を取得する。

また、撮像装置２００Ａにおいて、第１撮像部２３Ａの撮像点Ｖｐ＿ｔｍｐと、第２撮像部２３Ｂの撮像点との位置関係は、既知であるので、制御部２２は、第１撮像部２３Ａの撮像点Ｖｐ＿ｔｍｐとユーザーの視点Ｖｐとの位置関係を示す情報（例えば、始点を点Ｖｐ＿ｔｍｐとし、終点をＶｐとするベクトル情報）を取得する。

そして、制御部２２は、取得した第１撮像部２３Ａの撮像点Ｖｐ＿ｔｍｐとユーザーの視点Ｖｐとの位置関係を示す情報を、第３インターフェース２１を介して、プロジェクター装置１００Ａの第１インターフェース６Ａに出力する。

プロジェクター装置１００Ａの第１インターフェース６Ａは、撮像装置２００Ａにより取得された撮像点Ｖｐ＿ｔｍｐとユーザーの視点Ｖｐとの位置関係を示す情報を含む信号Ｓｉｇ３を精密調整部１２Ａの精密調整信号生成部１２１Ａに出力する。

精密調整部１２Ａの精密調整信号生成部１２１Ａは、第１インターフェース６Ａから出力される信号Ｓｉｇ３に基づいて、第１実施形態と同様に、精密調整信号Ａｄｊを生成し、生成した精密調整信号Ａｄｊを精密調整用視点取得部１２２に出力する。

上記以外の処理は、第１実施形態と同様である。

このように、本変形例の投影システム１０００Ａでは、撮像装置２００Ａの第１撮像部２３Ａにより、粗調整用のテスト画像Ｉｍｇ＿ｔ（１）を撮像したときに、第２撮像部２３Ｂにより顔画像を撮像し、撮像した顔画像から、第１撮像部２３Ａの撮像点Ｖｐ＿ｔｍｐとユーザーの視点Ｖｐとの位置関係を示す情報を取得する。そして、本変形例の投影システム１０００Ａでは、撮像装置２００Ａにより取得された第１撮像部２３Ａの撮像点Ｖｐ＿ｔｍｐとユーザーの視点Ｖｐとの位置関係を示す情報を用いて、精密調整処理を実行する。したがって、本変形例の投影システム１０００Ａでは、さらに、容易に、投影画像の幾何学的な歪みを補正することができる。

≪第２変形例≫
次に、第１実施形態の第２変形例について、説明する。

本変形例において、上記実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。

図１３は、第１実施形態の第２変形例に係る投影システム１０００Ｂの概略構成図である。

図１４は、第１実施形態の第２変形例に係る投影システム１０００Ｂのプロジェクター装置１００Ｂの投影画像調整部１Ｂの概略構成図である。

第２変形例の投影システム１０００Ｂでは、第１実施形態の投影システム１０００において、プロジェクター装置１００をプロジェクター装置１００Ｂに置換した構成を有している。

プロジェクター装置１００Ｂは、プロジェクター装置１００において、投影画像調整部１を投影画像調整部１Ｂに置換し、３次元形状測定部４を３次元形状測定部４Ａに置換した構成を有している。それ以外については、プロジェクター装置１００Ｂは、プロジェクター装置１００と同様である。

投影画像調整部１Ｂは、図１４に示すように、投影画像調整部１において、粗調整部１３を粗調整部１３Ａに置換した構成を有している。

粗調整部１３Ａは、粗調整部１３において、粗調整用視点取得部１３１を粗調整用視点取得部１３１Ａに置換した構成を有している。

粗調整用視点取得部１３１Ａは、３次元形状測定部４Ａから出力される信号Ｓｉｇ０と、３次元形状データ記憶部５から出力される３次元形状データ３Ｄ＿ｄａｔａとを入力する。また、粗調整部１３Ａは、第１インターフェース６から出力される信号Ｓｉｇ１（＝画像信号Ｉｍｇ＿ｃ）を入力する。

３次元形状測定部４Ａは、カメラ（撮像部）を有しており、投影部３が投影した画像を当該カメラにより撮像することができる。３次元形状測定部４Ａは、撮像した画像（画像信号）を信号Ｓｉｇ０として、粗調整用視点取得部１３１Ａに出力する。

以上のように構成された本変形例の投影システム１０００Ｂの動作について、以下、説明する。なお、上記実施形態と同様の部分については、説明を省略する。

本変形例の投影システム１０００Ｂでは、粗調整処理を実行する前に、投影部３により、粗調整用のテスト画像Ｉｍｇ＿ｔ（１）を投影し、投影された粗調整用のテスト画像Ｉｍｇ＿ｔ（１）を、３次元形状測定部４Ａのカメラにより撮像し、撮像画像Ｉｍｇ＿ｍｓｒを取得する。

そして、粗調整用視点取得部１３１Ａは、投影点Ｐ＿ｐｒｊと、３次元形状データ記憶部５から取得した３次元形状データ３Ｄ＿ｄａｔａと、に基づいて、投影部３から投影されたテスト画像Ｉｍｇ＿ｔ（１）（マーカー画像）と、３次元形状測定部４Ａのカメラにより撮像された撮像画像Ｉｍｇ＿ｍｓｒとを比較することで、３次元形状測定部４Ａのカメラの撮像点Ｖｐ＿ｔｍｐを算出する。このとき、粗調整用視点取得部１３１Ａは、テスト画像Ｉｍｇ＿ｔ（１）（マーカー画像）と、３次元形状測定部４Ａのカメラにより撮像された撮像画像Ｉｍｇ＿ｍｓｒとにおいて、４隅のマーカー（黒のマーカー）の画像上の位置を特定することで、撮像点Ｖｐ＿ｔｍｐを算出（概算）することができる。

本変形例の投影システム１０００Ｂでは、上記処理を、粗調整処理を実行する前に行う。

そして、本変形例の投影システム１０００Ｂは、上記処理を実行した後、第１実施形態と同様に粗調整処理、精密調整処理を実行する。

３次元形状測定部４Ａのカメラの撮像点と、撮像画像Ｉｍｇ＿ｃを撮像したときの撮像装置２００の撮像点が近い場合、上記処理を実行することで、粗調整処理を省略することができる。つまり、この場合、上記処理を粗調整処理に代替させることができる。

≪第３変形例≫
次に、第１実施形態の第３変形例について、説明する。

本変形例において、上記実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。

図１５は、第１実施形態の第３変形例に係る投影システム１０００Ｃの概略構成図である。

図１６は、第１実施形態の第３変形例に係る投影システム１０００Ｃのプロジェクター装置１００Ｃの投影画像調整部１Ｃの概略構成図である。

図１７は、第１実施形態の第３変形例に係る精密調整信号生成部１２１Ｂの概略構成図である。

第３変形例の投影システム１０００Ｃでは、第１実施形態の投影システム１０００において、プロジェクター装置１００をプロジェクター装置１００Ｃに置換し、撮像装置２００を撮像装置２００Ｃに置換し、コントローラー３００を削除した構成を有している。

プロジェクター装置１００Ｃは、プロジェクター装置１００において、投影画像調整部１を投影画像調整部１Ｃに置換し、第１インターフェース６を第１インターフェース６Ｃに置換し、第２インターフェース７を削除した構成を有している。それ以外については、プロジェクター装置１００Ｃは、プロジェクター装置１００と同様である。

投影画像調整部１Ｃは、図１６に示すように、精密調整部１２を精密調整部１２Ｂに置換した構成を有している。精密調整部１２Ｂは、精密調整部１２において、精密調整信号生成部１２１を精密調整信号生成部１２１Ｂに置換した構成を有している。

精密調整信号生成部１２１Ｂは、図１７に示すように、画像歪み量算出部１２１１と、比較器１２１２と、更新部１２１３とを備える。

画像歪み量算出部１２１１は、第１セレクター１１から出力される画像信号Ｄ１（精密調整用のテスト画像Ｉｍｇ＿ｔ（３））と、第１インターフェース６Ｃから出力される信号Ｓｉｇ３（撮像装置２００Ｃにより撮像された画像Ｉｍｇ＿ｃｓ）とを入力する。画像歪み量算出部１２１１は、画像Ｄ１（精密調整用のテスト画像Ｉｍｇ＿ｔ（３））と画像Ｉｍｇ＿ｃｓ（信号Ｓｉｇ３）とを比較し、画像歪み量を算出し、算出した画像歪み量を示す信号Ｄｉｓｔを比較器１２１２に出力する。

比較器１２１２は、画像歪み量算出部１２１１から出力される信号Ｄｉｓｔを入力する。比較器１２１２は、信号Ｄｉｓｔから取得した画像歪み量Ｄｉｓｔと、所定のしきい値Ｔｈ１とを比較し、比較結果を示す信号を信号Ｄｅｔとして、更新部１２１３に出力する。

なお、比較器１２１２は、（１）Ｄｉｓｔ＞Ｔｈ１の場合、信号Ｄｅｔの信号値を「１」とし、（２）Ｄｉｓｔ≦Ｔｈ１の場合、信号Ｄｅｔの信号値を「０」として出力するものとする。

更新部１２１３は、比較器１２１２から出力される信号Ｄｅｔを入力する。更新部１２１３は、（１）信号Ｄｅｔの信号値が「１」である場合、精密調整信号Ａｄｊを更新して精密調整用視点取得部１２２に出力し、（１）信号Ｄｅｔの信号値が「０」である場合、精密調整信号Ａｄｊを更新せずに、精密調整用視点取得部１２２に出力する（あるいは、精密調整信号Ａｄｊを出力しない）。

第１インターフェース６Ｃは、プロジェクター装置１００Ｃと、撮像装置２００Ｃとのインターフェースである。第１インターフェース６を介して、例えば、撮像装置２００Ｃにより撮像され、撮像装置２００Ｃから取得される画像（画像信号）を、プロジェクター装置１００Ｃに入力することができる。

撮像装置２００Ｃは、撮像装置２００において、撮像部２３を撮像部２３Ｃに置換した構成を有している。

撮像部２３Ｃは、連写機能（一定期間に複数枚の撮像画像を撮像する機能）、あるいは、映像（動画）を撮影する機能を有している。

以上のように構成された本変形例の投影システム１０００Ｃの動作について、以下、説明する。

本変形例の投影システム１０００Ｃにおいて、３次元形状測定処理、粗調整処理は、第１実施形態と同様であるので、説明を省略する。

本変形例の投影システム１０００Ｃでは、精密調整処理を自動調整により実現する。

投影システム１０００Ｃでは、撮像装置２００Ｃをユーザーの視点（あるいはユーザーの視点近傍）に固定し、投影部３から投影されている粗調整処理後の画像を連続的に撮像する（連写、あるいは、動画像として取得する）。そして、撮像装置２００Ｃにより取得された画像Ｉｍｇ＿ｃｓの画像歪み量を、画像Ｉｍｇ＿ｃｓと、元の画像（テスト画像Ｉｍｇ＿ｔ（２））とを比較することで算出する。そして、算出した画像歪み量が一定の値Ｔｈ１以下になるまで、精密調整処理を繰り返す。

具体的な処理内容について、図１８を参照しながら、以下、説明する。

図１８は、第３変形例の投影システム１０００Ｃで実行される、自動調整による精密調整処理のフローチャートである。

撮像装置２００Ｃをユーザーの視点（あるいはユーザーの視点近傍）に固定する（ステップＳ１）。投影部３は、粗調整処理後の画像を投影する（ステップＳ２）。投影部３から投影されている粗調整処理後の画像が、撮像装置２００Ｃにより撮像され、撮像画像Ｉｍｇ＿ｃｓが取得される（ステップＳ３）。そして、撮像装置２００Ｃは、撮像画像Ｉｍｇ＿ｃｓを、プロジェクター装置１００に送信する（ステップＳ４）。具体的には、撮像装置２００Ｃは、取得した撮像画像Ｉｍｇ＿ｃｓを、第３インターフェース２１を介して、プロジェクター装置１００Ｃの第１インターフェース６Ｃに出力する。

第１インターフェース６Ｃは、撮像装置２００Ｃから受信した撮像画像Ｉｍｇ＿ｃｓを、信号Ｓｉｇ３として、精密調整信号生成部１２１Ｂの画像歪み量算出部１２１１に出力する。

画像歪み量算出部１２１１は、第１セレクター１１から出力される画像信号Ｄ１（精密調整用のテスト画像Ｉｍｇ＿ｔ（３））と、第１インターフェース６Ｃから出力される信号Ｓｉｇ３（撮像装置２００Ｃにより撮像された画像Ｉｍｇ＿ｃｓ）とを比較し、画像歪み量を算出する（ステップＳ５）。そして、画像歪み量算出部１２１１は、算出した画像歪み量を示す信号Ｄｉｓｔを比較器１２１２に出力する。なお、画像歪み量の算出方法としては、例えば、エッジ検出やパターン認識処理を実行し、所定の画像パターンの原画像と撮像画像との間における、画像上の位置（対応する画素位置）のずれ量の絶対値（あるいは２乗値）を合計することで求める方法を採用してもよい。

比較器１２１２は、信号Ｄｉｓｔから取得した画像歪み量Ｄｉｓｔと、所定のしきい値Ｔｈ１とを比較し（ステップＳ６）、（１）Ｄｉｓｔ＞Ｔｈ１の場合、信号Ｄｅｔの信号値を「１」とし、（２）Ｄｉｓｔ≦Ｔｈ１の場合、信号Ｄｅｔの信号値を「０」として、信号Ｄｅｔを更新部１２１３に出力する。
（１）更新部１２１３は、信号Ｄｅｔの信号値が「１」である場合、精密調整信号Ａｄｊを更新する。この場合、更新部１２１３は、精密調整信号Ａｄｊの信号値を、現在、精密調整用視点取得部１２２により、設定されている視点ＶＰを、所定の方向に、所定の距離だけずらす値に設定し、精密調整用視点取得部１２２に出力する（ステップＳ７）。
（２）更新部１２１３は、信号Ｄｅｔの信号値が「０」である場合、精密調整信号Ａｄｊを更新しない。この場合、更新部１２１３は、精密調整信号Ａｄｊの信号値を、現在、精密調整用視点取得部１２２により、設定されている視点ＶＰが維持される値に設定し、精密調整用視点取得部１２２に出力する（あるいは、精密調整信号Ａｄｊを出力しないようにしてもよい）。

精密調整用視点取得部１２２は、粗調整用視点Ｖｐ＿ｔｍｐの情報を含む信号ＶＰ＿ｔｍｐと、精密調整信号Ａｄｊとに基づいて、粗調整用視点Ｖｐ＿ｔｍｐから、精密調整信号Ａｄｊに相当する距離だけずれた点を新たな視点とし、当該視点情報を含む信号ＶＰを生成し、精密補正部１２３に出力する。

なお、精密調整用視点取得部１２２は、更新部１２１３から出力された精密調整信号Ａｄｊの信号値が、現在、精密調整用視点取得部１２２により、設定されている視点ＶＰを維持するための値であるときは、精密調整処理が終了されるように指示する制御信号を精密補正部１２３に出力する。そして、精密補正部１２３は、精密調整処理が終了されるように指示する制御信号を受信した場合、精密調整処理を終了させる。

本変形例の投影システム１０００Ｃでは、撮像装置２００Ｃにより撮像された画像Ｉｍｇ＿ｃｓの画像歪み量が所定の値よりも大きい場合、画像Ｉｍｇ＿ｃｓの画像歪み量が所定の値以下になるまで、上記処理を繰り返す。つまり、図１８のステップＳ２〜ステップＳ８の処理が繰り返し実行される。これにより、本変形例の投影システム１０００Ｃでは、精密調整処理を自動調整により実現することができる。

なお、上記の自動調整による精密調整処理では、撮像装置２００からプロジェクター装置１００へ、撮像画像Ｉｍｇ＿ｃｓをリアルタイムに送信するために、近距離無線通信(例えば、Ｂｌｕｅｔｏｏｔｈ等)により、データ通信が実行される。

また、自動調整による精密調整処理において、ユーザーが撮像装置２００Ｃの位置（カメラ位置）を動かす場合、図１８のステップ１〜ステップ８の処理を繰り返し実行するようにしてもよい。

［他の実施形態］
上記実施形態において、第１インターフェース、第２インターフェース、および、第３インターフェースは、無線通信用のインターフェースであってもよいし、有線通信用のインターフェースであってもよい。

上記実施形態で説明した投影システム、プロジェクター装置、撮像装置、コントローラーにおいて、各ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されても良い。

なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。

また、上記各実施形態の各機能ブロックの処理の一部または全部は、プログラムにより実現されるものであってもよい。そして、上記各実施形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置（ＣＰＵ）により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ＲＯＭなどの記憶装置に格納されており、ＲＯＭにおいて、あるいはＲＡＭに読み出されて実行される。

また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェア（ＯＳ（オペレーティングシステム）、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。）により実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。

また、上記実施形態における処理方法の実行順序は、必ずしも、上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。

前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、大容量ＤＶＤ、次世代ＤＶＤ、半導体メモリを挙げることができる。

上記コンピュータプログラムは、上記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。

なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。

１０００、１０００Ａ、１０００Ｂ、１０００Ｃ 投影システム
１００、１００Ａ プロジェクター装置
１、１Ａ、１Ｂ、１Ｃ 投影画像調整部
２ テスト用画像記憶部
３ 投影部
４、４Ａ ３次元形状測定部
５ ３次元形状データ記憶部
６ 第１インターフェース
７ 第２インターフェース
１２、１２Ａ、１２Ｂ 精密調整部
１３、１３Ａ 粗調整部
２００、２００Ａ、２００Ｃ 撮像装置
２３ 撮像部
２３Ａ 第１撮像部（第１カメラ）
２３Ｂ 第１撮像部（第２カメラ）

Claims (13)

1. 任意の形状を投影対象とし、ユーザーの視点から見たときに幾何学的な画像歪みが低減された状態となるように画像を投影する投影システムであって、
   第１の位置に設置され、前記投影対象に画像を投影する投影部であって、第１調整用テスト画像を投影する前記投影部と、
   前記投影対象の３次元形状を測定する３次元形状測定部と、
   前記投影部により投影される前記第１調整用テスト画像を、前記第１の位置とは異なる第２の位置である第１撮像点から撮像することで、第１調整用撮像画像を取得する撮像部と、
   前記３次元形状測定部により計測された３次元形状データと前記撮像部により取得された前記第１調整用撮像画像とに基づいて、前記第１調整用撮像画像が撮像された前記第１撮像点において、幾何学的な画像歪みが低減されるように画像を補正する第１調整処理を実行する投影画像調整部と、
   入力インターフェースと、
   備え、
   前記投影画像調整部は、
   前記第１調整処理により調整された画像が前記投影部により投影されたときの状態に基づいて、幾何学的な画像歪みが低減されるように画像を補正する第２調整処理を実行し、
   前記投影画像調整部は、第２調整用テスト画像に対して、前記第１調整処理を実行することで取得した第２調整用投影テスト画像を生成し、
   前記投影部は、前記第２調整用投影テスト画像を、前記投影対象に投影し、
   前記投影画像調整部は、
   前記入力インターフェースからの入力に基づいて、第２調整信号を生成し、生成した前記第２調整信号に基づいて、前記第２調整処理を実行する、
   を備える投影システム。
2. 前記第２調整用テスト画像は、前記第１調整用テスト画像と同じ画像である、
   請求項１に記載の投影システム。
3. 前記撮像部は、前記投影対象を撮像する第１カメラと、前記第１カメラにより前記投影対象を撮像するときに撮影者を撮像することが可能な位置に光学系を有する第２カメラとを備え、
   前記撮像部は、前記第２カメラにより撮像した画像であって、前記撮影者の両眼を含む画像から、前記撮影者の両眼の中心点をユーザー視点として特定し、
   前記投影画像調整部は、
   前記撮像部により特定された前記ユーザー視点に基づいて、第２調整信号を生成し、生成した前記第２調整信号に基づいて、前記第２調整処理を実行する、
   請求項１または２に記載の投影システム。
4. 前記投影画像調整部は、第２調整用テスト画像に対して、前記第１調整処理を実行することで取得した第２調整用投影テスト画像を生成する画像生成処理を実行し、
   前記投影部は、前記第２調整用投影テスト画像を、前記投影対象に投影する画像投影処理を実行し、
   前記撮像部は、
   前記投影部により投影された前記第２調整用投影テスト画像を撮像することで、第２調整用撮像画像を取得する撮像画像取得処理を実行し、
   前記投影画像調整部は、
   前記撮像部により取得された前記第２調整用撮像画像と、前記第２調整用投影テスト画像とから画像歪み量を算出し、算出した前記画像歪み量に基づいて、第２調整信号を生成し、生成した前記第２調整信号に基づいて、前記第２調整処理を実行する、
   請求項１または２に記載の投影システム。
5. 前記投影画像調整部は、
   前記画像歪み量が所定の条件を満たすか否かを判定し、
   前記画像歪み量が所定の条件を満たすまで、
   前記投影画像調整部による前記画像生成処理、前記投影部による前記画像投影処理、前記撮像部による前記撮像画像取得処理、および、前記投影画像調整部による前記第２調整処理が、繰り返し実行される、
   請求項４に記載の投影システム。
6. 前記投影画像調整部は、
   前記画像歪み量が所定の値以下になった場合、前記第２調整処理を終了させる、
   請求項５に記載の投影システム。
7. 前記第２調整用テスト画像は、前記第１調整用テスト画像と同じ画像である、
   請求項４から６のいずれかに記載の投影システム。
8. 前記第２調整用テスト画像は、
   複数の正方形の格子パターンからなる格子状パターンを有する画像である、
   請求項１、２、４〜７のいずれかに記載の投影システム。
9. 前記第２調整用テスト画像は、
   第１の模様を有する第１格子パターンと、第２の模様を有する第２格子パターンとが、幾何学的な歪みがない状態において、前記第２調整用テスト画像上の第１方向、および、前記第２調整用テスト画像上において前記第１方向と直交する第２方向において、交互に配置されることで形成される格子状パターンを有する画像である、
   請求項８に記載の投影システム。
10. 前記３次元形状測定部は、
    前記投影対象の３次元形状を測定するために用いられるとともに、前記投影部により投影される前記第１調整用テスト画像を、前記第１の位置とは異なる第３の位置である第２撮像点から、撮像するカメラを備え、
    前記投影画像調整部は、
    前記３次元形状測定部により計測された３次元形状データと前記３次元形状測定部の前記カメラにより取得された前記第１調整用撮像画像とに基づいて、前記第１調整用撮像画像が撮像された前記第２撮像点において、幾何学的な画像歪みが低減されるように画像を補正する初期調整処理を実行する、
    請求項１から９のいずれかに記載の投影システム。
11. 前記撮像部は、
    ユーザーの視点位置を含む所定の大きさの空間内に含まれる位置を、前記第１撮像点として、前記投影部により投影される前記第１調整用テスト画像を撮像する、
    請求項１から１０のいずれかに記載の投影システム。
12. 請求項１から１１のいずれかに記載の投影システムに用いられるプロジェクター装置であって、
    前記投影部と、前記投影画像調整部とを備える、
    プロジェクター装置。
13. 任意の形状を投影対象とし、ユーザーの視点から見たときに幾何学的な画像歪みが低減された状態となるように画像を投影する投影方法であって、入力インターフェースを備える投影システムを用いて実行される前記投影方法をコンピュータに実行させるためのプログラムであって、
    第１の位置から、第１調整用テスト画像を投影する投影ステップと、
    前記投影対象の３次元形状を測定する３次元形状測定ステップと、
    前記投影ステップにより投影される前記第１調整用テスト画像を、前記第１の位置とは異なる第２の位置である第１撮像点から、撮像することで、第１調整用撮像画像を取得する撮像ステップと、
    前記３次元形状測定ステップにより計測された３次元形状データと前記撮像ステップにより取得された前記第１調整用撮像画像とに基づいて、前記第１調整用撮像画像が撮像された前記第１撮像点において、幾何学的な画像歪みが低減されるように画像を補正する第１調整処理を実行する投影画像調整ステップと、
    を備え、
    前記投影画像調整ステップは、
    前記第１調整処理により調整された画像が前記投影ステップにより投影されたときの状態に基づいて、幾何学的な画像歪みが低減されるように画像を補正する第２調整処理を実行し、
    前記投影画像調整ステップは、第２調整用テスト画像に対して、前記第１調整処理を実行することで取得した第２調整用投影テスト画像を生成し、
    前記投影ステップでは、前記第２調整用投影テスト画像を、前記投影対象に投影し、
    前記投影画像調整ステップは、
    前記入力インターフェースからの入力に基づいて、第２調整信号を生成し、生成した前記第２調整信号に基づいて、前記第２調整処理を実行する、
    投影方法をコンピュータに実行させるためのプログラム。