JP2015128242A - 画像投影装置及びそのキャリブレーション方法 - Google Patents

Abstract

【課題】カメラ・キャリブレーション部による結果を利用しないで、プロジェクターのパラメーターを高精度に推定する。【解決手段】投影部１０１がチェッカーボード１２０１に構造光１２０２を投影した画像を、カメラ部１０４で撮影する。これにより、チェッカーボード１２０１上の格子点を、どの光線が照射しているのかを追跡して、チェッカーの格子点とプロジェクター座標の対応関係が分かる。次いで、歪み推定、歪み補正、パラメーター推定という手順により、カメラのキャリブレーション結果を利用しないで、画素単位でのプロジェクターのキャリブレーション処理を行なう。【選択図】 図１２

Description

本明細書で開示する技術は、投影画像をカメラで撮影して３次元計測を行なうことができる画像投影装置及びそのキャリブレーション方法に関する。

プロジェクターとカメラを組み合わせた３次元計測装置が知られている。この種の装置は、プロジェクターが既知のパターン画像を対象物に投影し、パターン画像を投影した状態の対象物をカメラで撮影し、その撮影画像を画像処理して対象物の３次元情報を取得することができる。

プロジェクターとカメラを組み合わせた装置は、プロジェクターとカメラ双方についてパラメーターのキャリブレーションを行なう必要がある。高精度にパラメーターを推定するには調整工数が多いという問題がある。

例えば、平面鏡に貼付されたキャリブレーション用マーカー、スクリーン並びに投影装置によってキャリブレーション用パターンを投影する手段は、キャリブレーション用の基準物体をシステム内部に埋め込み、不変量である平面鏡の長さなどを利用して自動的に世界座標を算出することにより、キャリブレーション時に特別なマーカーを配置する必要なく、３次元計測装置の内部構造のみを利用してプロジェクター・パラメーターとカメラ・パラメーターのキャリブレーションを行なう３次元形状計測装置について提案がなされている（例えば、特許文献１を参照のこと）。

また、プロジェクター・キャリブレーションにおいては、プロジェクター・キャリブレーションに用いる画像座標として、水平スリット・パターンと垂直スリット・パターンとの交点座標群を用い、その中にカメラ・キャリブレーション時に使用した画像座標範囲外のものが含まれないようにして、プロジェクター・パラメーターが不正確になることを防止する３次元形状測定装置について提案がなされている（例えば、特許文献２を参照のこと）。

本明細書で開示する技術の目的は、投影画像をカメラで撮影して３次元計測を行なうとともに、少ない調整工数で高精度にパラメーターのキャリブレーションを行なうことができる、優れた画像投影装置及びそのキャリブレーション方法を提供することにある。

本願は、上記課題を参酌してなされたものであり、請求項１に記載の技術は、
カメラと、
画像を投影するプロジェクターと、
前記カメラのキャリブレーションを行なうカメラ・キャリブレーション部と、
前記プロジェクターのキャリブレーションを行なうプロジェクター・キャリブレーション部と、
前記キャリブレーションの結果に基づいて前記プロジェクターから投影する画像を補正する画像補正部と、
を具備し、
前記プロジェクター・キャリブレーション部は、前記プロジェクターで構造光を投影した既知のチェッカーパターンを光線追跡して、前記チェッカーパターンの格子点とプロジェクター座標の対応関係を取得して、パラメーターを推定する、
画像投影装置である。

本願の請求項２に記載の技術によれば、請求項１に記載の画像投影装置の前記プロジェクター・キャリブレーション部は、前記カメラ・キャリブレーション部によるキャリブレーション結果を利用せず、又は、前記プロジェクターのレンズ歪みを考慮して、キャリブレーションを行なうように構成されている。

本願の請求項３に記載の技術によれば、請求項２に記載の画像投影装置の前記プロジェクター・キャリブレーション部は、前記プロジェクター座標上で直線に並ぶべき格子点群に基づいて歪み量を評価して歪みパラメーターを推定し、歪み補正した後の画像上の格子点とワールド座標との対応関係に基づいて、前記プロジェクターのパラメーターを推定するように構成されている。

本願の請求項４に記載の技術によれば、請求項３に記載の画像投影装置の前記プロジェクター・キャリブレーション部は、直線に並ぶべき格子点群の直線の２候補間の傾き差を歪み評価量として、ＬＭ（Ｌｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔ）法により前記プロジェクターの歪みパラメーターを推定するように構成されている。

本願の請求項５に記載の技術によれば、請求項３に記載の画像投影装置の前記プロジェクター・キャリブレーション部は、歪み補正した後の画像上の格子点とワールド座標との対応関係に基づいて、前記プロジェクターの内部パラメーターと外部パラメーターを含む透視投影行列を非線形最適化により推定するように構成されている。

本願の請求項６に記載の技術によれば、請求項５に記載の画像投影装置の前記プロジェクター・キャリブレーション部は、前記カメラの検出画像座標と再投影画像座標との再投影誤差をＬＭ法で非線形最適化して、前記透視投影行列を推定するように構成されている。

本願の請求項７に記載の技術によれば、請求項３に記載の画像投影装置の前記プロジェクター・キャリブレーション部は、前記チェッカーパターンの格子点とプロジェクター座標の対応関係をサブピクセル精度で求めるように構成されている。

本願の請求項８に記載の技術によれば、請求項３に記載の画像投影装置の前記プロジェクター・キャリブレーション部は、前記格子点の周辺に限定したプロジェクター画素のキャリブレーションのＬｏｃａｌＨｏｍｏｇｒａｐｈｙを求めるように構成されている。

本願の請求項９に記載の技術によれば、請求項８に記載の画像投影装置の前記プロジェクター・キャリブレーション部は、前記プロジェクターのレンズ歪みの影響を無視できる程度の格子点の周辺領域に限定して、プロジェクター画素のＬｏｃａｌＨｏｍｏｇｒａｐｈｙを求めるように構成されている。

本願の請求項１０に記載の技術によれば、請求項９に記載の画像投影装置の前記プロジェクター・キャリブレーション部は、構造光の復号エラーを考慮してロバスト推定を行なって、プロジェクター画素のＬｏｃａｌＨｏｍｏｇｒａｐｈｙを求めように構成されている。

本願の請求項１１に記載の技術によれば、請求項１に記載の画像投影装置の前記カメラ・キャリブレーション部は、前記カメラで既知のチェッカーパターンを撮影した画像から格子点を検出し、直線に並ぶべき格子点群に基づいて歪み量を評価して歪みパラメーターを推定し、歪み補正した後の画像上の格子点とワールド座標との対応関係に基づいて、前記カメラのパラメーターを推定するように構成されている。

本願の請求項１２に記載の技術によれば、請求項１１に記載の画像投影装置の前記カメラ・キャリブレーション部は、直線に並ぶべき格子点群の直線の２候補間の傾き差を歪み評価量として、ＬＭ法により前記カメラの歪みパラメーターを推定するように構成されている。

本願の請求項１３に記載の技術によれば、請求項１１に記載の画像投影装置の前記カメラ・キャリブレーション部は、歪み補正した後の画像上の格子点とワールド座標との対応関係に基づいて、前記カメラの内部パラメーターと外部パラメーターを含む透視投影行列を非線形最適化により推定するように構成されている。

本願の請求項１４に記載の技術によれば、請求項１３に記載の画像投影装置の前記カメラ・キャリブレーション部は、前記カメラの検出画像座標と再投影画像座標との再投影誤差をＬＭ法で非線形最適化して、前記透視投影行列を推定するように構成されている。

本願の請求項１５に記載の技術によれば、請求項１に記載の画像投影装置は、プロジェクター座標上の画素がレンズ歪みを受けた光線により投影されるワールド座標を追跡する光線追跡を定式化する光線追跡定式化部をさらに備えている。

本願の請求項１６に記載の技術によれば、請求項１に記載の画像投影装置は、ワールド座標を投影するための光線を照射するプロジェクター座標上の画素をレンズ歪みの影響を考慮して追跡する逆光線追跡を定式化する逆光線追跡定式化部をさらに備えている。

本願の請求項１７に記載の技術によれば、請求項１６に記載の画像投影装置の前記逆光線追跡定式化部は、ワールド座標が既知なチェッカーパターンに前記プロジェクターから投影したグレイコードを光線追跡して、プロジェクター歪みのある状態でワールド座標とプロジェクター座標の対応点を計算し、さらに歪み補正関数を推定して、ワールド座標と歪みのないプロジェクター座標の対応関係を得て、逆光線追跡を定式化するように構成されている。

本願の請求項１８に記載の技術によれば、請求項１７に記載の画像投影装置の前記光線歪み定式化部は、歪みのないプロジェクター座標を歪みのあるプロジェクター座標に補正する逆歪み補正関数Ｄ´を推定して、プロジェクター画素が投影するワールド座標を追跡する光線追跡を定式化するように構成されている。

本願の請求項１９に記載の技術によれば、請求項１に記載の画像投影装置は、前記カメラからチェッカーボードまでの既知の奥行き情報を使うことで、前記カメラ・キャリブレーション部又は前記プロジェクター・キャリブレーション部の少なくとも一方は、少ない撮影画像で高精度にパラメーターを推定するように構成されている。

また、本願の請求項２０に記載の技術は、
プロジェクターで構造光を投影した既知のチェッカーパターンを光線追跡する光線追跡ステップと、
前記チェッカーパターンの格子点とプロジェクター座標の対応関係を取得して、パラメーターを推定するパラメーター推定ステップと、
を有する、カメラとプロジェクターを備えた画像投影装置のキャリブレーション方法である。

本明細書で開示する技術によれば、投影画像をカメラで撮影して３次元計測を行なうとともに、少ない調整工数で高精度にパラメーターのキャリブレーションを行なうことができる、優れた画像投影装置及びそのキャリブレーション方法を提供することができる。

本明細書で開示する技術を適用した画像投影装置は、カメラ・キャリブレーション部による結果を利用しないでプロジェクターのキャリブレーションを実行して、プロジェクターのパラメーターを高精度に推定することができる。

また、本明細書で開示する技術を適用した画像投影装置は、プロジェクターのレンズ歪みを考慮して高精度にパラメーターを推定することができ、また、ワールド座標とプロジェクター画素との対応関係をサブピクセル精度で求めることができる。

また、本明細書で開示する技術を適用した画像投影装置は、プロジェクター歪みを考慮して光線追跡及び逆光線追跡を定式化することができる。

また、本明細書で開示する技術を適用した画像投影装置は、既知の奥行き情報を使って、少ない撮影画像で高精度にパラメーターを推定することができる。

なお、本明細書に記載された効果は、あくまでも例示であり、本発明の効果はこれに限定されるものではない。また、本発明が、上記の効果以外に、さらに付加的な効果を奏する場合もある。

本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。

図１は、本明細書で開示する技術の一実施形態に係る投影型画像表示装置１００の構成を模式的に示した図である。 図２は、投影部１０１の内部構成例を示した図である。 図３は、画像処理部１０２の内部構成例を示した図である。 図４は、キャリブレーションの基本的な考え方を説明するための図である。 図５は、キャリブレーションの基本的な考え方を説明するための図である。 図６は、キャリブレーションの基本的な考え方を説明するための図である。 図７は、カメラのキャリブレーション処理フローを示した図である 図８は、プロジェクターのキャリブレーション処理フローを示した図である。 図９は、グレイコードを用いたプロジェクター座標の計算方法を説明するための図である。 図１０は、グレイコードを用いたプロジェクター座標の計算方法を説明するための図である。 図１１は、グレイコードを用いたプロジェクター座標の計算方法を説明するための図である。 図１２は、投影部１０１が構造光１２０２を投影したチェッカーボード１２０１をカメラ部１０４で撮影する様子を示した図である。 図１３は、投影部１０１の投影した構造光１２０２を光線追跡してチェッカーパターンの格子点とプロジェクター座標との対応関係を得る様子を示した図である。 図１４は、チェッカーパターンの格子点（カメラのサブピクセル精度）におけるプロジェクター座標をサブピクセル精度で求める方法を説明するための図である。 図１５は、プロジェクター歪みを考慮した光線追跡の方法を模式的に示した図である。 図１６は、プロジェクター歪みを考慮した逆光線追跡の方法を模式的に示した図である。 図１７は、投影部１０１のプロジェクター歪みを考慮した光線追跡及び逆光線追跡を行なう方法を説明するための図である。 図１８は、既知の奥行き情報を使ってチェッカーボードを撮影する様子を示した図である。

以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。

図１には、本明細書で開示する技術の一実施形態に係る投影型画像表示装置１００の構成を模式的に示している。投影型画像表示装置１００の１つの用途は画面の拡大投影であり、他の用途は３次元計測である。図示の投影型画像表示装置１００は、投影部１０１と、画像処理部１０２と、画像入力部１０３と、カメラ部１０４と、補正量検出部１０５を備えている。以下、各部について説明する。

画像入力部１０３は、パーソナル・コンピューターやＴＶ受像機、ブルーレイ・ディスク再生装置、ゲーム機（いずれも図示しない）などの投影画像の供給源から画像信号を入力する。

画像処理部１０２は、投影部１０１から投影出力する画像の処理を行なう。画像処理部１０２から出力される画像は、画像入力部１０３から供給される外部画像と、画像処理部１０２内で生成するテスト・パターンである。画像処理部１０２内では、パラメーター計算部１０５から供給されるパラメーターに基づいて、画像入力部１０３からの入力画像の補正も行なう。

投影部１０１は、画像処理部１０２から出力される画像を、投影レンズ１０１Ａを介して、被投射体に投影する。被投射体は、例えばスクリーンなどの拡大画像を表示する対象物や、３次元計測の対象物である。

カメラ部１０４は、投影部１０１の照射位置と異なる位置に配設され、撮像範囲が投影部１０１の照射範囲を極力包含するように光軸が設定され、集光レンズ１０４Ａで集光した像を撮影する。本実施形態では、カメラ部１０４は、スクリーンや測定対象物を、テスト・パターンなどの画像が投影部１０１で投影された状態で撮影する。カメラ部１０４の撮像素子は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などであり、以下では、画素を「カメラ画素」とも呼ぶ。また、カメラ画素の座標系を「カメラ座標」とも呼ぶ。

パラメーター計算部１０５は、カメラ１０４で撮影した投影画像を用いて、パラメーターを計算して、画像処理部１０２に出力する。パラメーター計算部１０５が計算するパラメーターには、レンズ歪みを補正する歪み補正関数に含まれるパラメーターやの投影部１０１並びにカメラ部１０４の内部パラメーター、投影部１０１並びにカメラ部１０４の外部パラメーターが挙げられる。本明細書で開示する技術は、パラメーター計算部１０５が少ない調整工数で高精度にパラメーターを計算する点に特徴があるが、その詳細は後述に譲る。

図２には、投影部１０１の内部構成例を示している。図示の投影部１０１は、液晶パネル２０１と、照明光学部２０２と、液晶パネル駆動部２０４と、投影光学部２０３を備えている。

液晶パネル駆動部２０４は、画像処理部１０２から入力される画像信号に基づいて液晶パネル２０１を駆動して、その表示画面に提示画像やテスト・パターンを描画する。液晶パネル２０１の画素を、以下では、「プロジェクター画素」とも呼ぶ。また、液晶パネル２０１の座標系を「プロジェクター座標」とも呼ぶ。

照明光学部２０２は、液晶パネル２０１を背面から照射する。投影型画像表示装置１００がピコ・プロジェクターの場合、照明光学部２０２の光源には例えばＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）やレーザーが用いられる。投影レンズ１０１Ａは、１枚又は２枚以上の光学レンズからなり、液晶パネル２０１を透過した光を被投射体（図示しない）に拡大投影する。

投影部１０１からは、画像入力部１０３への入力画像、又は、投影型画像表示装置１００内で発生したテスト・パターンが投影される。本実施形態では、テスト・パターンとして垂直パターンや水平パターンからなるグレイコードが投影部１０１から投影し、カメラ部１０４で撮影するが、その詳細については後述に譲る。

図３には、画像処理部１０２の内部構成例を示している。図示の画像処理部１０２は、画像書き込み読み出し制御部３０１と、フレーム・メモリー３０２と、画像補正部３０３と、画質調整部３０４と、テスト・パターン発生部３０５と、出力画像切り替え部３０５を備えている。

フレーム・メモリー３０２には、画像入力部１０３から供給される画像を記憶する。画像書き込み読み出し制御部３０１は、フレーム・メモリー３０２への画像フレームの書き込み及び読み出しを制御する。

画像補正部３０３は、パラメーター計算部１０５から受け取ったパラメーターに基づいて、フレーム・メモリー３０２から読み出した画像を、投影部１０１からスクリーンに投影した際に生じる歪みが解消するよう、補正を行なう。

画質調整部３０４は、歪み補正を行なった後の投影画像が所望の表示状態となるよう輝度、コントラスト、同期、トラッキング、色の濃さ、色合いなどの画質調整を行なう。

テスト・パターン発生部３０５は、補正量検出部１０５で射影変換パラメーターを計算する際に用いるテスト・パターンを発生する。本実施形態では、テスト・パターンとして垂直パターンと水平パターンからなるグレイコードをテスト・パターンに用いる。

出力画像切り替え部３０６は、投影部１０１に出力する画像の切り替えを行なう。例えば、パーソナル・コンピューターやＴＶ受像機、メディア再生装置、ゲーム機（いずれも図示しない）などの画像供給源からの入力画像をスクリーンに投影してプレゼンテーションなどを行なうときには、出力画像切り替え部３０６は、画質補正部３０４からの出力画像を投影部１０１に出力する。また、投影部１０１やカメラ部１０４のパラメーターを計算するときには、出力画像切り替え部３０６は、テスト・パターン発生部３０５で発生したテスト・パターンを投影部１０１に出力する。

図１に示した投影型画像表示装置１００のようにプロジェクター（投影部１０１）とカメラ（カメラ部１０４）を利用して３次元計測を行なう場合、プロジェクターとカメラの内部パラメーター、プロジェクターとカメラの外部パラメーターのキャリブレーションを行なう必要がある。本明細書で開示する技術は、少ない調整工数で、高精度にパラメーターを計算することを目的とする。

ここで、カメラの内部パラメーターは、画像中心（主点）（ｏ_x，ｏ_y）、焦点距離ｆ、画素の有効サイズ（画素当たりのサイズ）（ｋ_x，ｋ_y）からなる。また、カメラの外部パラメーターは、ワールド座標系内のカメラ座標系の位置Ｔと姿勢Ｒによって決定される。位置Ｔは平行移動であり、３×１ベクトルで表される。姿勢Ｒは回転であり、３×３行列で表される。

キャリブレーションの基本的な考え方について、図４〜図６を参照しながら説明する。

まず、図４に示すように、ワールド座標（Ｘ，Ｙ，Ｚ）が既知なオブジェクト４０１を投影型画像表示装置１００のカメラ部１０４で撮影する。図５に示すように、カメラ部１０４による撮影画像５０１の画像座標（ｘ´，ｙ´）には歪みがある。歪みのある画像座標（ｘ´，ｙ´）に歪み補正を行なうと、図６に示すように、歪みのない画像座標（ｘ，ｙ）となる。

また、ワールド座標（Ｘ，Ｙ，Ｚ）が既知なオブジェクト４０１を投影型画像表示装置１００の投影部１０１で投影する。図５に示すように、投影部１０１による投影画像５０１の撮像面観測座標（ｘ´，ｙ´）には歪みがある。歪みのある画像座標（ｘ´，ｙ´）に歪み補正を行なうと、図６に示すように、歪みのない画像座標（ｘ，ｙ）の画像６０１が提示される。

カメラ、プロジェクターのモデル式は、歪みのない画像座標（ｘ，ｙ）と撮影面画像座標（ｘ´，ｙ´）とワールド座標（Ｘ，Ｙ，Ｚ）との関係式として、下式（１）に示す通りとなる。

上式（１）中、Ｄは歪み補正関数である。

歪み中心座標を（ｄ_cx，ｄ_cy）とおくと、歪み中心からの距離ｒは下式（２）のように表わされる。また、歪み係数をｋ₁〜ｋ₃とおくと、半径歪みΔｒは下式（３）のように表わされる。また、接線歪み係数をｐ₁、ｐ₂とおくと、接線歪みΔｔ_x、Δｔ_yはそれぞれ下式（４）、（５）のように表わされる。歪み中心からの距離ｒ、半径歪みΔｒ、接線歪みΔｔ_x、Δｔ_yを用いて、撮像面観測座標（ｘ´，ｙ´）を下式（６）のように表わすことができる。

また、上式（１）中、Ｋは内部パラメーター、［Ｒ｜Ｔ］は外部パラメーターである。Ｋ［Ｒ｜Ｔ］は透視投影行列であり、下式（７）のように表わされる。

但し、内部パラメーター中のｆ＝（ｆｘ，ｆｙ）は焦点距離、ｃ＝（ｃｘ，ｃｙ）は主点である。また、外部パラメーター中のＲは回転成分、Ｔは並進成分である。

上式（１）において、ワールド座標（Ｘ，Ｙ，Ｚ）と画像座標（ｘ´，ｙ´）の対応点から透視投影行列を推定することは最適化問題である。この最適化問題を解くことで、上記の内部パラメーター及び外部パラメーターを推定することができる。

カメラ部１０４で撮影して検出した画像座標を（ｘ，ｙ）とし、投影部１０１で再投影した画像座標を（ｘ´，ｙ´）とすると、再投影誤差は下式（８）のように表わされる。幾何学的に意味のある再投影誤差をＬＭ（Ｌｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔ）法で非線形最適化すると、透視投影行列を推定することができる。

図７を参照しながら、カメラのキャリブレーション処理フローについて説明する。

ワールド座標が既知なオブジェクトとして、格子状のパターンが形成されたチェッカーボード７０１を、複数の距離Ｚ１及びＺ２からカメラ部１０４で撮影する（Ｆ７０１）。距離Ｚ１及びＺ２の奥行き情報は既知とする。

パラメーター計算部１０５内では、まず、チェッカーボード７０１の撮影画像からチェッカーパターンの格子点を検出する（Ｆ７０２）。

次いで、直線に並ぶべき格子点群を抽出し、格子点群が並ぶべき２直線７０２、７０３の傾きの差を歪み評価量として、例えばＬＭ法などの非線形最適化により、歪みパラメーターを推定する（Ｆ７０３）。上述したように、歪みパラメーターには、歪み中心座標（ｄ_cx，ｄ_cy）、歪み係数ｋ₁〜ｋ₃、接線歪み係数をｐ₁、ｐ₂が含まれる（前述）。

次いで、推定した歪みパラメーターを用いて、撮影画像座標（ｘ´，ｙ´）を、歪みのない画像座標（ｘ，ｙ）に補正する（Ｆ７０４）。

ワールド座標（Ｘ，Ｙ，Ｚ）と画像座標（ｘ，ｙ）の対応点の関係は、透視投影行列Ｋ［Ｒ｜Ｔ］を用いて下式（９）のように表わされる。ワールド座標（Ｘ，Ｙ，Ｚ）と画像座標（ｘ，ｙ）の対応点から、ＬＭ法などの非線形最適化により、透視投影行列を推定する（Ｆ７０５）。Ｋは内部パラメーター、Ｒ、Ｔはそれぞれ外部パラメーターのうちチェッカー７０１に対する回転成分、並進成分である。

続いて、図８を参照しながら、プロジェクターのキャリブレーション処理フローについて説明する。

まず、ワールド座標が既知なオブジェクトとして、格子状のパターンが形成されたチェッカーボード８０１を、キャリブレーション用カメラで距離Ｚ１から撮影する（Ｆ８０１）。キャリブレーション用カメラはカメラ部１０４でもよい。距離Ｚ１の奥行き情報は既知とする。

次いで、投影部１０１は、垂直な直線の組み合わせの２４パターン８０２並びに水平な直線の組み合わせの２０パターン８０３からなるグレイコードをチェッカーボード８０１上に交互に投影し、その都度キャリブレーション用カメラで撮影する（Ｆ８０２）。

また、チェッカーボード８０１からキャリブレーション用カメラまでの距離をＺ２に変えて、キャリブレーション用カメラによるチェッカーボード８０１の撮影並びにグレイコードの投影並びに撮影を繰り返し実行する（Ｆ８０３）。距離Ｚ１の奥行き情報は既知とする。

ここで、投影部１０１でグレイコードの投影とキャリブレーション用カメラによる撮影を行なうのは、投影部１０１のどの光線（どの画素からの光線）が格子点上に投影されているか、すなわちプロジェクター座標を求めるためである。投影部１０１は、カメラのように画像（自分が投影した画像）を撮影することができない。そこで、本実施形態では、グレイコード・パターン投影法を使ってプロジェクター座標を取得するようにしている。

グレイコードを用いたプロジェクター座標の計算方法について、図９〜図１１を参照しながら説明しておく。まず、図９に示すように、キャリブレーション用カメラでチェッカーボード９０１を撮影して、チェッカー撮影画像９０２を得る。次いで、図１０に示すように、垂直な直線の２４通りの２進パターン並びに水平な直線の２４通りの２進パターンからなるグレイコードを、時系列にパターンを切り替えて投影部１０１から投影しながら、キャリブレーション用カメラでその都度撮影を行なう。グレイコードの２進パターンを順に投影することで、空間をグレイコードで表現された領域に分割することができる。そして、図１１に示すように、チェッカー撮影画像９０２内の注目点毎に、時系列のコードを取得してグレイコード復号して、プロジェクター座標すなわち対応する画素位置を取得する。注目点は、例えばチェッカーの格子点である。時系列にグレイコードの投影及び撮影を行なった結果、注目する格子点で例えば「…０ ０ ０ １ １ ０ ０ ０…」（但し、１は明、０は暗）という符号が得られたならば、該当する画素位置を取得することができる。

再び８を参照しながら、プロジェクターのキャリブレーション処理フローについて説明を続ける。グレイコード投影法により、投影部１０１のどの光線（どの画素からの光線）が格子点上に投影されているか、すなわちプロジェクター座標（ｘ´，ｙ´）を計算する（Ｆ８０４）。

次いで、格子点群が並ぶべき２直線８０４、８０５の傾きの差を歪み評価量として、例えばＬＭ法などの非線形最適化により、歪みパラメーターを推定する（Ｆ８０５）。上述したように、歪みパラメーターには、歪み中心座標（ｄ_cx，ｄ_cy）、歪み係数ｋ₁〜ｋ₃、接線歪み係数をｐ₁、ｐ₂が含まれる（前述）。

次いで、推定した歪みパラメーターを用いて、プロジェクター座標（ｘ´，ｙ´）を、歪みのないプロジェクター座標（ｘ，ｙ）に補正する（Ｆ８０６）。

ワールド座標（Ｘ，Ｙ，Ｚ）とプロジェクター座標（ｘ，ｙ）の対応点の関係は、透視投影行列Ｋ［Ｒ｜Ｔ］を用いて上式（９）のように表わされる。ワールド座標（Ｘ，Ｙ，Ｚ）と画像座標（ｘ，ｙ）の対応点から、ＬＭ法などの非線形最適化により、透視投影行列を推定する（Ｆ８０７）。Ｋは内部パラメーター、Ｒ、Ｔはそれぞれ外部パラメーターのうちチェッカー７０１に対する回転成分、並進成分である。

従来、プロジェクターとカメラを備えたシステムでは、カメラのキャリブレーション結果を利用してプロジェクターのキャリブレーションを行なうのが一般的である。例えば、大きさ及び形状が既知のチェッカーパターンをカメラで撮影してカメラのキャリブレーションを行なった後、プロジェクターでチェッカーパターンを投影し、これをカメラで撮影してチェッカーパターンの大きさや位置関係を求めて、プロジェクターのキャリブレーションを行なう。しかしながら、カメラのキャリブレーション結果を利用してプロジェクターのキャリブレーションを行なうと、プロジェクターのキャリブレーションがカメラ誤差の影響を受けるという問題がある。

これに対し、本実施形態に係る投影型画像表示装置１００は、構造光を投影部１０１から投影して、光線を追跡するようにしている。

構造光の一例は、グレイコードである。グレイコードの２進パターンを順に投影することで、空間がグレイコードで表現された領域に分割される。

投影部１０１がチェッカーボード１２０１に構造光１２０２を投影した画像を、カメラ部１０４で撮影する（図１２を参照のこと）。これにより、チェッカーボード１２０１上の格子点を、どの光線（どの画素からの光線）が照射しているのかを追跡して（図１３を参照のこと）、チェッカーの格子点とプロジェクター座標の対応関係が分かる。構造光の光線追跡によりチェッカーの格子点とプロジェクター座標の対応関係を得ることは、チェッカーパターンをプロジェクターで撮影した関係が得られるのと同義であり、対応関係を得る際にカメラ部１０４のキャリブレーションの結果を利用しない。

チェッカーパターンの各格子点とプロジェクター座標の対応関係が分かると、歪み推定（Ｆ８０５）、歪み補正（Ｆ８０６）、パラメーター推定（Ｆ８０７）というカメラのキャリブレーション処理と同様の手順により（図８を参照のこと）、カメラのキャリブレーション結果を利用しないで、画素単位でのプロジェクターのキャリブレーション処理を行なうことができる。

また、カメラのキャリブレーションは、大きさや形状が既知のチェッカーパターンをカメラで撮影した画像と元のチェッカーパターンとのＨｏｍｏｇｒａｐｈｙすなわち射影変換行列を求めることにより行なわれる。プロジェクターが投影するチェッカーパターンをカメラで撮影して、カメラのキャリブレーションのＨｏｍｏｇｒａｐｈｙでチェッカーパターンの大きさや位置関係を求めて、プロジェクターのキャリブレーション処理を行なう従来の方法では（例えば、特許文献１を参照のこと）、プロジェクターのレンズ歪みを考慮していないので、プロジェクターのパラメーターを高精度に推定することができないという問題がある。

これに対し、本実施形態に係る投影型画像表示装置１００は、投影部１０１からチェッカーボード１２０１に構造光１２０２を投影して、光線を追跡して（図１２を参照のこと）、チェッカーの格子点とプロジェクター座標の対応関係を取得するので、カメラのキャリブレーション処理においてレンズ歪みを考慮するのと同様に、投影部１０１のレンズ１０１Ａの歪みを考慮したキャリブレーション処理を行なうようにしている（図１３を参照のこと）。

また、本実施形態では、投影部１０１からチェッカーボード１２０１に投影した構造光１２０２を光線追跡して、チェッカーパターンの格子点とプロジェクター座標の対応関係を、投影部１０１の画素のサブピクセル精度で求め、サブピクセル単位でのプロジェクターのキャリブレーション処理を行なうようにしている。

まず、レンズ歪みを考慮してプロジェクターのキャリブレーション処理を行なう方法について説明する。

投影部１０１がチェッカーボード１２０１に構造光１２０２を投影した画像を、カメラ部１０４で撮影する（図１２を参照のこと）。これにより、チェッカーボード１２０１上の格子点を、どの光線（どの画素からの光線）が照射しているのかを追跡して（図１３を参照のこと）、チェッカーパターンの格子点とプロジェクター座標の対応関係が分かる。チェッカーパターンをプロジェクターで撮影した関係が得られるのと同義である。また、カメラのキャリブレーション処理時と同様に、投影部１０１のレンズ１０１Ａの歪みを考慮することになり、高精度にプロジェクターのパラメーターを推定することができる。

さらに、チェッカーパターンの格子点（カメラのサブピクセル精度）におけるプロジェクター座標をサブピクセル精度で求める方法について説明する。

図１４には、投影部１０１から構造光１４０２を投影したチェッカーパターン１４０１をカメラ部１０４で撮影した画像１４０３、並びに、撮影画像１４０３の中で着目した格子点１４０４の周辺の様子を示している。図１４中の格子点１４０４周辺の図には、投影部１０１のプロジェクター画素１４０５と、カメラ部１０４のカメラ画素１４０６を併せて図示している。光線追跡によりピクセル精度で得たプロジェクター画素１４０３を示している。カメラ部１０４のカメラ画素１４０４と投影部１０１のプロジェクター画素１４０３との対応関係は既知である。また、カメラ部１０４のカメラ画素１４０６の画素サイズは、投影部１０１のプロジェクター画素１４０５の画素サイズよりも小さい。

まず、カメラ部１０４のカメラ画素１４０６と投影部１０１のプロジェクター画素１４０５との対応関係が既知であることを利用して、格子点１４０４の周辺のカメラ部１０４のキャリブレーション結果の情報から、格子点１４０４の周辺に限定したプロジェクター画素１４０５のキャリブレーションのＬｏｃａｌＨｏｍｏｇｒａｐｈｙを求める。

ここでは、投影部１０１のレンズ１０１Ａの歪みの影響を無視できる程度の格子点１４０４の周辺領域に限定して、プロジェクター画素１４０５のＬｏｃａｌＨｏｍｏｇｒａｐｈｙを求める。また、構造光１４０２の復号エラーを考慮してロバスト推定を行なって、プロジェクター画素１４０５のＬｏｃａｌＨｏｍｏｇｒａｐｈｙを求める。したがって、投影部１０１のプロジェクター画素１４０３のサブピクセル精度で、プロジェクター座標を求めることができる。

また、本実施形態に係る投影型画像表示装置１００は、投影部１０１のプロジェクター歪みを考慮した光線追跡及び逆光線追跡をともに定式化している。

図１５には、プロジェクター歪みを考慮した光線追跡の方法を模式的に示している。プロジェクター歪みを考慮した光線追跡とは、プロジェクター座標上の画素（ｕ，ｖ）［ｐｉｘ］がレンズ１０１Ａの歪みを受けた光線１５０１により投影されるワールド座標上の位置（Ｘ，Ｙ，Ｚ）［ｍｍ］を追跡することである。プロジェクター画素（ｕ，ｖ）からワールド座標（Ｘ，Ｙ，Ｚ）を追跡する光線追跡の定式は、投影型画像表示装置１００で３次元計測を行なう際に利用することができる。

図１６には、プロジェクター歪みを考慮した逆光線追跡の方法を模式的に示している。プロジェクター歪みを考慮した逆光線追跡とは、ワールド座標上の位置（Ｘ，Ｙ，Ｚ）［ｍｍ］を投影するための光線１６０１を照射するプロジェクター座標上の画素（ｕ，ｖ）［ｐｉｘ］をレンズ１０１Ａの歪みの影響を考慮して追跡することである。ワールド座標（Ｘ，Ｙ，Ｚ）からプロジェクター画素（ｕ，ｖ）を追跡する逆光線追跡の定式は、投影型画像表示装置１００で投影画像制御を行なう際に利用することができる。

投影部１０１のプロジェクター歪みを考慮した光線追跡及び逆光線追跡を行なう方法を、図１７を参照しながら説明する。

まず、ワールド座標が既知なオブジェクトとして、格子状のパターンが形成されたチェッカーボード１７０１を、投影部１０１からグレイコードを投影し、これをカメラ部１０４で撮影して光線追跡して（Ｆ１７０７）、投影部１０１のどの光線（どの画素からの光線）が格子点上に投影されているか、すなわち、プロジェクター歪みのある状態で、ワールド座標上の格子点（Ｘ，Ｙ，Ｘ）とプロジェクター座標（ｘ´，ｙ´）の対応点１７０１を計算する。

次いで、格子点群が並ぶべき直線をレンズ・モデルでフィッティングして、例えばＬＭ法などの非線形最適化により、歪みパラメーターを推定する（Ｆ１７０２）。上述したように、歪みパラメーターには、歪み中心座標（ｄ_cx，ｄ_cy）、歪み係数ｋ₁〜ｋ₃、接線歪み係数をｐ₁、ｐ₂が含まれる（前述）。歪み推定（Ｆ１７０２）を実行した結果、下式（１０）に示す、歪みのあるプロジェクター座標（ｘ´，ｙ´）と、歪みのないプロジェクター座標（ｘ，ｙ）の対応関係を得ることができる。

また、歪み推定（Ｆ１７０２）を実行した結果により、ワールド座標上の格子点（Ｘ，Ｙ，Ｚ）と歪みのないプロジェクター座標（ｘ，ｙ）の対応点１７０２を計算することができる。したがって、歪み推定（Ｆ１７０２）により、ワールド座標（Ｘ，Ｙ，Ｚ）を投影するプロジェクター画素（ｕ，ｖ）を追跡する逆光線追跡が可能になる。すなわち、歪みのあるプロジェクター座標（ｘ´，ｙ´）を歪みのないプロジェクター座標（ｘ，ｙ）に補正する歪み補正関数Ｄを推定することは、歪みを考慮した逆光線追跡１７０３を定式化することと同義である。

ワールド座標（Ｘ，Ｙ，Ｚ）とプロジェクター座標（ｘ，ｙ）の対応点の関係は、透視投影行列Ｋ［Ｒ｜Ｔ］を用いて上式（９）のように表わされる。ワールド座標（Ｘ，Ｙ，Ｚ）と画像座標（ｘ，ｙ）の対応点から、ＬＭ法などの非線形最適化により、透視投影行列を推定する（Ｆ１７０３）。Ｋは内部パラメーター、Ｒ、Ｔはそれぞれ外部パラメーターのうちチェッカーパターンに対する回転成分、並進成分である。

一方、下式（１１）に示すような、歪みのないプロジェクター座標（ｘ，ｙ）を歪みのあるプロジェクター座標（ｘ´，ｙ´）に補正する逆歪み補正関数Ｄ´を推定すると、プロジェクター画素（ｕ，ｖ）が投影するワールド座標（Ｘ，Ｙ，Ｚ）を、プロジェクター歪みを考慮して追跡する光線追跡が可能になる。すなわち、歪みのないプロジェクター座標（ｘ，ｙ）を歪みのあるプロジェクター座標（ｘ´，ｙ´）に補正する逆歪み補正関数Ｄ´を推定することは、歪みを考慮した光線追跡１７０４を定式化することと同義である。

なお、既知の特徴点が形成されたチェッカーボードをカメラ部１０４で撮影した画像を用いてキャリブレーションを行なう場合（例えば、図７を参照のこと）、高精度なキャリブレーションを行なうには、視点を変えながらチェッカーボードを複数枚撮影する必要がある。視点数が少ない場合や視点位置に偏りがあると、高精度にパラメーターを推定することができないという問題がある。

そこで、本実施形態では、カメラ部１０４からチェッカーボードまでの既知の奥行き情報を使うことで、少ない撮影画像で高精度にパラメーターを推定するようにしている。図１８に示すように、まず、カメラ部１０４からチェッカーボード１８０１までの距離をＺ１に設定して、チェッカーボード１８０１を撮影する。次いで、チェッカーボード１８０１に対するカメラ部１０４の姿勢角は同じままにして、距離をＺ２（但し、Ｚ１＞Ｚ２とする）に変えて、チェッカーボード１８０１を撮影する。

このような２つの異なる奥行き情報でカメラ部１０４を拘束して、高精度且つ少ない調整工数でパラメーターを推定することができる。勿論、カメラ部１０４の姿勢角を同じにしながら、３以上の距離でチェッカーボード１８０１を撮影しても、高精度でパラメーターを推定することができる。

特開２０１３−２１４２０６号公報 特開２００７−３０９６６０号公報

以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。

本明細書では、カメラ一体型の投影型画像表示装置に関する実施形態について説明してきたが、カメラが投影型画像表示装置本体と分離可能若しくは本体に外付け接続されるように構成される場合、あるいは、カメラの代わりに投影部とスクリーンとの３次元的な位置関係などに基づいて投影画像の位置や大きさを測定できる方法を用いる場合であっても、同様に本明細書で開示する技術を適用することができる。

要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。

なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
（１）カメラと、
画像を投影するプロジェクターと、
前記カメラのキャリブレーションを行なうカメラ・キャリブレーション部と、
前記プロジェクターのキャリブレーションを行なうプロジェクター・キャリブレーション部と、
前記キャリブレーションの結果に基づいて前記プロジェクターから投影する画像を補正する画像補正部と、
を具備し、
前記プロジェクター・キャリブレーション部は、前記プロジェクターで構造光を投影した既知のチェッカーパターンを光線追跡して、前記チェッカーパターンの格子点とプロジェクター座標の対応関係を取得して、パラメーターを推定する、
画像投影装置。
（２）前記プロジェクター・キャリブレーション部は、前記カメラ・キャリブレーション部によるキャリブレーション結果を利用せず、又は、前記プロジェクターのレンズ歪みを考慮して、キャリブレーションを行なう、
上記（１）に記載の画像投影装置。
（３）前記プロジェクター・キャリブレーション部は、前記プロジェクター座標上で直線に並ぶべき格子点群に基づいて歪み量を評価して歪みパラメーターを推定し、歪み補正した後の画像上の格子点とワールド座標との対応関係に基づいて、前記プロジェクターのパラメーターを推定する、
上記（２）に記載の画像投影装置。
（４）前記プロジェクター・キャリブレーション部は、直線に並ぶべき格子点群の直線の２候補間の傾き差を歪み評価量として、ＬＭ（Ｌｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔ）法により前記プロジェクターの歪みパラメーターを推定する、
上記（３）に記載の画像投影装置。
（５）前記プロジェクター・キャリブレーション部は、歪み補正した後の画像上の格子点とワールド座標との対応関係に基づいて、前記プロジェクターの内部パラメーターと外部パラメーターを含む透視投影行列を非線形最適化により推定する、
上記（３）又は（４）のいずれかに記載の画像投影装置。
（６）前記プロジェクター・キャリブレーション部は、前記カメラの検出画像座標と再投影画像座標との再投影誤差をＬＭ法で非線形最適化して、前記透視投影行列を推定する、
上記（５）に記載の画像投影装置。
（７）前記プロジェクター・キャリブレーション部は、前記チェッカーパターンの格子点とプロジェクター座標の対応関係をサブピクセル精度で求める、
上記（３）に記載の画像投影装置。
（８）前記プロジェクター・キャリブレーション部は、前記格子点の周辺に限定したプロジェクター画素のキャリブレーションのＬｏｃａｌＨｏｍｏｇｒａｐｈｙを求める、
上記（３）に記載の画像投影装置。
（９）前記プロジェクター・キャリブレーション部は、前記プロジェクターのレンズ歪みの影響を無視できる程度の格子点の周辺領域に限定して、プロジェクター画素のＬｏｃａｌＨｏｍｏｇｒａｐｈｙを求める、
上記（８）に記載の画像投影装置。
（１０）前記プロジェクター・キャリブレーション部は、構造光の復号エラーを考慮してロバスト推定を行なって、プロジェクター画素のＬｏｃａｌＨｏｍｏｇｒａｐｈｙを求める、
上記（９）に記載の画像投影装置。
（１１）前記カメラ・キャリブレーション部は、前記カメラで既知のチェッカーパターンを撮影した画像から格子点を検出し、直線に並ぶべき格子点群に基づいて歪み量を評価して歪みパラメーターを推定し、歪み補正した後の画像上の格子点とワールド座標との対応関係に基づいて、前記カメラのパラメーターを推定する、
上記（１）乃至（１０）のいずれかに記載の画像投影装置。
（１２）前記カメラ・キャリブレーション部は、直線に並ぶべき格子点群の直線の２候補間の傾き差を歪み評価量として、ＬＭ法により前記カメラの歪みパラメーターを推定する、
上記（１１）に記載の画像投影装置。
（１３）前記カメラ・キャリブレーション部は、歪み補正した後の画像上の格子点とワールド座標との対応関係に基づいて、前記カメラの内部パラメーターと外部パラメーターを含む透視投影行列を非線形最適化により推定する、
上記（１１）に記載の画像投影装置。
（１４）前記カメラ・キャリブレーション部は、前記カメラの検出画像座標と再投影画像座標との再投影誤差をＬＭ法で非線形最適化して、前記透視投影行列を推定する、
上記（１３）に記載の画像投影装置。
（１５）プロジェクター座標上の画素がレンズ歪みを受けた光線により投影されるワールド座標を追跡する光線追跡を定式化する光線追跡定式化部をさらに備える、
上記（１）乃至（１４）のいずれかに記載の画像投影装置。
（１６）ワールド座標を投影するための光線を照射するプロジェクター座標上の画素をレンズ歪みの影響を考慮して追跡する逆光線追跡を定式化する逆光線追跡定式化部をさらに備える、
上記（１）乃至（１５）のいずれかに記載の画像投影装置。
（１７）前記逆光線追跡定式化部は、ワールド座標が既知なチェッカーパターンに前記プロジェクターから投影したグレイコードを光線追跡して、プロジェクター歪みのある状態でワールド座標とプロジェクター座標の対応点を計算し、さらに歪み補正関数を推定して、ワールド座標と歪みのないプロジェクター座標の対応関係を得て、逆光線追跡を定式化する、
上記（１６）に記載の画像投影装置。
（１８）前記光線歪み定式化部は、歪みのないプロジェクター座標を歪みのあるプロジェクター座標に補正する逆歪み補正関数Ｄ´を推定して、プロジェクター画素が投影するワールド座標を追跡する光線追跡を定式化する、
上記（１７）に記載の画像投影装置。
（１９）前記カメラからチェッカーボードまでの既知の奥行き情報を使うことで、前記カメラ・キャリブレーション部又は前記プロジェクター・キャリブレーション部の少なくとも一方は、少ない撮影画像で高精度にパラメーターを推定する、
上記（１）乃至（１８）のいずれかに記載の画像投影装置。
（２０）プロジェクターで構造光を投影した既知のチェッカーパターンを光線追跡する光線追跡ステップと、
前記チェッカーパターンの格子点とプロジェクター座標の対応関係を取得して、パラメーターを推定するパラメーター推定ステップと、
を有する、カメラとプロジェクターを備えた画像投影装置のキャリブレーション方法。

１００…投影型画像表示装置
１０１…投影部
１０２…画像処理部
１０３…画像入力部
１０４…カメラ部
１０５…パラメーター計算部
２０１…照明光学部、２０２…液晶パネル、２０３…投影光学部
３０１…画像書き込み読み出し制御部、３０２…フレーム・メモリー
３０３…画像補正部、３０４…画質調整部
３０５…テスト・パターン発生部、３０５…出力画像切り替え部

Claims (20)

1. カメラと、
   画像を投影するプロジェクターと、
   前記カメラのキャリブレーションを行なうカメラ・キャリブレーション部と、
   前記プロジェクターのキャリブレーションを行なうプロジェクター・キャリブレーション部と、
   前記キャリブレーションの結果に基づいて前記プロジェクターから投影する画像を補正する画像補正部と、
   を具備し、
   前記プロジェクター・キャリブレーション部は、前記プロジェクターで構造光を投影した既知のチェッカーパターンを光線追跡して、前記チェッカーパターンの格子点とプロジェクター座標の対応関係を取得して、パラメーターを推定する、
   画像投影装置。
2. 前記プロジェクター・キャリブレーション部は、前記カメラ・キャリブレーション部によるキャリブレーション結果を利用せず、又は、前記プロジェクターのレンズ歪みを考慮して、キャリブレーションを行なう、
   請求項１に記載の画像投影装置。
3. 前記プロジェクター・キャリブレーション部は、前記プロジェクター座標上で直線に並ぶべき格子点群に基づいて歪み量を評価して歪みパラメーターを推定し、歪み補正した後の画像上の格子点とワールド座標との対応関係に基づいて、前記プロジェクターのパラメーターを推定する、
   請求項２に記載の画像投影装置。
4. 前記プロジェクター・キャリブレーション部は、直線に並ぶべき格子点群の直線の２候補間の傾き差を歪み評価量として、ＬＭ（Ｌｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔ）法により前記プロジェクターの歪みパラメーターを推定する、
   請求項３に記載の画像投影装置。
5. 前記プロジェクター・キャリブレーション部は、歪み補正した後の画像上の格子点とワールド座標との対応関係に基づいて、前記プロジェクターの内部パラメーターと外部パラメーターを含む透視投影行列を非線形最適化により推定する、
   請求項３に記載の画像投影装置。
6. 前記プロジェクター・キャリブレーション部は、前記カメラの検出画像座標と再投影画像座標との再投影誤差をＬＭ法で非線形最適化して、前記透視投影行列を推定する、
   請求項５に記載の画像投影装置。
7. 前記プロジェクター・キャリブレーション部は、前記チェッカーパターンの格子点とプロジェクター座標の対応関係をサブピクセル精度で求める、
   請求項３に記載の画像投影装置。
8. 前記プロジェクター・キャリブレーション部は、前記格子点の周辺に限定したプロジェクター画素のキャリブレーションのＬｏｃａｌＨｏｍｏｇｒａｐｈｙを求める、
   請求項３に記載の画像投影装置。
9. 前記プロジェクター・キャリブレーション部は、前記プロジェクターのレンズ歪みの影響を無視できる程度の格子点の周辺領域に限定して、プロジェクター画素のＬｏｃａｌＨｏｍｏｇｒａｐｈｙを求める、
   請求項８に記載の画像投影装置。
10. 前記プロジェクター・キャリブレーション部は、構造光の復号エラーを考慮してロバスト推定を行なって、プロジェクター画素のＬｏｃａｌＨｏｍｏｇｒａｐｈｙを求める、
    請求項９に記載の画像投影装置。
11. 前記カメラ・キャリブレーション部は、前記カメラで既知のチェッカーパターンを撮影した画像から格子点を検出し、直線に並ぶべき格子点群に基づいて歪み量を評価して歪みパラメーターを推定し、歪み補正した後の画像上の格子点とワールド座標との対応関係に基づいて、前記カメラのパラメーターを推定する、
    請求項１に記載の画像投影装置。
12. 前記カメラ・キャリブレーション部は、直線に並ぶべき格子点群の直線の２候補間の傾き差を歪み評価量として、ＬＭ法により前記カメラの歪みパラメーターを推定する、
    請求項１１に記載の画像投影装置。
13. 前記カメラ・キャリブレーション部は、歪み補正した後の画像上の格子点とワールド座標との対応関係に基づいて、前記カメラの内部パラメーターと外部パラメーターを含む透視投影行列を非線形最適化により推定する、
    請求項１１に記載の画像投影装置。
14. 前記カメラ・キャリブレーション部は、前記カメラの検出画像座標と再投影画像座標との再投影誤差をＬＭ法で非線形最適化して、前記透視投影行列を推定する、
    請求項１３に記載の画像投影装置。
15. プロジェクター座標上の画素がレンズ歪みを受けた光線により投影されるワールド座標を追跡する光線追跡を定式化する光線追跡定式化部をさらに備える、
    請求項１乃至１４のいずれかに記載の画像投影装置。
16. ワールド座標を投影するための光線を照射するプロジェクター座標上の画素をレンズ歪みの影響を考慮して追跡する逆光線追跡を定式化する逆光線追跡定式化部をさらに備える、
    請求項１に記載の画像投影装置。
17. 前記逆光線追跡定式化部は、ワールド座標が既知なチェッカーパターンに前記プロジェクターから投影したグレイコードを光線追跡して、プロジェクター歪みのある状態でワールド座標とプロジェクター座標の対応点を計算し、さらに歪み補正関数を推定して、ワールド座標と歪みのないプロジェクター座標の対応関係を得て、逆光線追跡を定式化する、
    請求項１６に記載の画像投影装置。
18. 前記光線歪み定式化部は、歪みのないプロジェクター座標を歪みのあるプロジェクター座標に補正する逆歪み補正関数Ｄ´を推定して、プロジェクター画素が投影するワールド座標を追跡する光線追跡を定式化する、
    請求項１７に記載の画像投影装置。
19. 前記カメラからチェッカーボードまでの既知の奥行き情報を使うことで、前記カメラ・キャリブレーション部又は前記プロジェクター・キャリブレーション部の少なくとも一方は、少ない撮影画像で高精度にパラメーターを推定する、
    請求項１に記載の画像投影装置。
20. プロジェクターで構造光を投影した既知のチェッカーパターンを光線追跡する光線追跡ステップと、
    前記チェッカーパターンの格子点とプロジェクター座標の対応関係を取得して、パラメーターを推定するパラメーター推定ステップと、
    を有する、カメラとプロジェクターを備えた画像投影装置のキャリブレーション方法。