JP2015126340A - 画像処理方法並びに画像投影装置 - Google Patents

Abstract

【課題】提示画像が最大面積となるように投影画像の幾何歪みを補正する。
【解決手段】境界条件計算部は、矩形の対角線と歪み四角形の辺ｎとの交点のうち中心位置（ｘ，ｙ）までの距離が短くなるものをｚとしたときに、（ｘ，ｙ，ｚ）が満たす関係式に基づいて、辺ｎについての境界条件（ｎ）を計算する。解候補計算部は、歪み四角形の各辺について、辺ｎ以外のすべての辺についての境界条件を満たす最大のｚと、そのときの（ｘ，ｙ，）で辺ｎについての境界条件を満たすｚとの小さい方を、解候補ｎとして計算する。最適解選択部は、最も大きいｚを与える解候補を最適解として選択する。
【選択図】 図１

Description

本明細書で開示する技術は、メディアの再生画像やコンピューターの画面などをスクリーンに投影する画像を処理する画像処理方法並びに画像投影装置に係り、特に、スクリーンに投影された画像の幾何学歪みを補正する画像処理方法並びに画像投影装置に関する。

最近、テレビの受信画像やブルーレイなどメディアから再生した画像、パーソナル・コンピューター（ＰＣ）画面などを、投影型画像表示装置を用いて大画面スクリーンに投影して、複数人で観賞したりプレゼンテーションを行なったりする機会が増えてきている。また、手のひらに乗せて使用したり携帯機器経に搭載したりすることを意図した、小型の投影型画像表示装置（ピコ・プロジェクター）も出現している。

画像をスクリーンに投影する際、被投射体（スクリーン壁面など）に対し斜めから投影したために画像が台形に歪んでしまうなど、元の画像とは異なる形状に投影されるという幾何歪みの問題がある。投影画像の幾何歪みの自動補正機能は、スクリーンへテスト・パターンを投影し、スクリーン上に投影されたテスト・パターンの画像を内蔵カメラで撮像し、得られたスクリーンの４隅の位置とテスト・パターンの４隅の位置に基づいてスクリーンの３次元情報を得て、投影画像の幾何歪みを補正するものが一般的である（例えば、特許文献１を参照のこと）。投影画像が垂直方向に台形に歪んでいる場合には、表示画像を、スクリーン上の投影画像の幾何歪みと逆方向に故意に歪ませるように射影変換することによって、スクリーン上に投影される提示画像が本来の元画像の形状（例えば、四角形）と同じになるようにすることができる。

投影型画像表示装置がスクリーンに投影する補正前の歪み画像は、投影できる最大範囲に相当する。したがって、補正後にスクリーンに投影される提示画像を、補正前の歪み画像の内側に形成する必要がある。

例えば、投写画像の台形歪を補正したときの画像の輪郭に相当する補正枠画像信号を生成し、入力画像信号による投写画像上に補正枠画像信号による補正枠画像を表示することで、台形歪みを補正後の投写画像の大きさと補正前の投写画像の大きさを比較することができるようにしたプロジェクタについて提案がなされている（例えば、特許文献２を参照のこと）。

本明細書で開示する技術の目的は、スクリーンに投影された画像の幾何学歪みを好適に補正することができる、優れた画像処理方法並びに画像投影装置を提供することにある。

本願は、上記課題を参酌してなされたものであり、請求項１に記載の技術は、
投影型画像表示装置からスクリーンに投影される補正前の歪み画像を検出する検出ステップと、
前記歪み画像の内側で最大面積となる入力画像と同じ形状を探索する探索ステップと、
前記歪み画像が前記探索された最大面積の形状となるように前記入力画像を補正する補正ステップと、
を有する画像処理方法である。

本願の請求項２に記載の技術によれば、請求項１に記載の画像処理方法は、前記検出ステップでは、前記スクリーンに投影される補正前の歪み画像をカメラで撮影した画像、又は、前記投影型画像表示装置と前記スクリーンの３次元的な位置関係に基づいて、前記歪み画像を検出するように構成されている。

本願の請求項３に記載の技術によれば、請求項１に記載の画像処理方法は、前記検出ステップでは、前記スクリーンに投影される歪み四角形の位置及び大きさを検出し、前記探索ステップでは、入力画像と同じアスペクト比で最大面積となる矩形を前記歪み四角形の内側で探索するように構成されている。

本願の請求項４に記載の技術によれば、請求項３に記載の画像処理方法は、前記探索ステップでは、前記歪み四角形の辺までの対角線の方向の距離の最小値が最大となる中心位置を探索し、その中心位置で前記歪み四角形に内接する最大の前記アスペクト比の矩形を最大面積の矩形に決定するように構成されている。

本願の請求項５に記載の技術によれば、請求項４に記載の画像処理方法は、前記探索ステップでは、前記中心位置を探索するための境界条件を前記歪み四角形の各辺について計算し、すべての境界条件を満たし、前記歪み四角形の各辺までの対角線の方向の距離の最小値が最大となる中心位置を探索し、その中心位置で前記歪み四角形に内接する最大の前記アスペクト比の矩形を決定するように構成されている。

本願の請求項６に記載の技術によれば、請求項５に記載の画像処理方法は、前記探索ステップでは、歪み四角形の内側に任意に中心位置（ｘ，ｙ，０）が設定された前記矩形の対角線と辺ｎとの交点から中心位置（ｘ，ｙ，０）までの距離をｚ軸とした点（ｘ，ｙ，ｚ）と辺ｎをともに含む３次元空間中の境界平面を表す方程式の形式で、辺ｎについての境界条件を計算するように構成されている。

本願の請求項７に記載の技術によれば、請求項６に記載の画像処理方法は、前記探索ステップでは、着目する辺以外の辺についてのすべての境界条件を満たす解候補を辺毎に計算し、各辺の解候補の中から最適解を選択するように構成されている。

本願の請求項８に記載の技術によれば、請求項７に記載の画像処理方法は、前記探索ステップでは、着目する辺以外のすべての辺についての境界条件を満たす最大のｚと、そのときの（ｘ，ｙ）で着目する辺についての境界条件を満たすｚのうち小さい方を、着目する辺についての解候補とするように構成されている。

本願の請求項９に記載の技術によれば、請求項８に記載の画像処理方法は、前記探索ステップでは、着目する辺以外のすべての辺についての境界条件をそれぞれ表す３境界平面の交点のｚを、着目する辺以外のすべての辺についての境界条件を満たす最大のｚとして計算するように構成されている。

本願の請求項１０に記載の技術によれば、請求項８又は９のいずれかに記載の画像処理方法は、前記探索ステップでは、辺毎に計算したすべての解候補の中で最も大きいｚを与えるものを最適解として選択し、最適解に対応する（ｘ，ｙ）を中心位置とする前記歪み四角形に内接する最大の矩形を最大面積の矩形として求めるように構成されている。

また、本願の請求項１１に記載の技術は、
入力画像を投影部と、
前記投影部表示装置からスクリーンに投影される補正前の歪み画像を検出する検出部と、
前記歪み画像の内側で最大面積となる前記入力画像と同じ形状を探索する探索部と、
前記歪み画像が前記探索された最大面積の形状となるように前記入力画像を補正する補正部と、
を具備する画像投影装置である。

本願の請求項１２に記載の技術によれば、請求項１１に記載の画像投影装置の前記検出部は、前記スクリーンに投影される歪み四角形の位置及び大きさを検出するように構成されている。また、前記探索部は、前記歪み四角形の４辺について境界条件を計算する境界条件計算部と、前記歪み四角形の各辺について、着目する辺以外のすべての辺の境界条件を満たす解候補を計算する解候補計算部と、前記歪み四角形の辺毎に算出された解候補の中から最適解を選択する最適解選択部を備えている。

本願の請求項１３に記載の技術によれば、請求項１２に記載の画像投影装置の前記境界条件計算部は、歪み四角形の内側に任意に中心位置（ｘ，ｙ，０）が設定された前記矩形の対角線と辺ｎとの交点から中心位置（ｘ，ｙ，０）までの距離をｚ軸とした点（ｘ，ｙ，ｚ）と辺ｎをともに含む３次元空間中の境界平面を表す方程式の形式で、辺ｎについての境界条件を計算するように構成されている。

本願の請求項１４に記載の技術によれば、請求項１３に記載の画像投影装置の前記解候補計算部は、着目する辺以外のすべての辺についての境界条件を満たす最大のｚと、そのときの（ｘ，ｙ）で着目する辺についての境界条件を満たすｚとの小さい方を、着目する辺についての解候補とするように構成されている。

本願の請求項１５に記載の技術によれば、請求項１４に記載の画像投影装置の前記最適解選択部は、辺毎に計算したすべての解候補の中で最も大きいｚを与えるものを最適解として選択し、最適解に対応する（ｘ，ｙ）を中心位置とする前記歪み四角形に内接する最大の矩形を最大面積の矩形として求めるように構成されている。

本明細書で開示する技術によれば、スクリーンに投影された画像の幾何学歪みを好適に補正することができる、優れた画像処理方法並びに画像投影装置を提供することができる。

本明細書で開示する技術によれば、補正後にスクリーンに投影される提示画像が最大面積となるように投影画像の幾何歪みを補正することができる、優れた画像処理方法並びに画像投影装置を提供することができる。したがって、本明細書で開示する技術によれば、画像投影装置が投影できる面積を有効に活用することができる。

なお、本明細書に記載された効果は、あくまでも例示であり、本発明の効果はこれに限定されるものではない。また、本発明が、上記の効果以外に、さらに付加的な効果を奏する場合もある。

本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。

図１は、本明細書で開示する技術の一実施形態に係る投影型画像表示装置１００の構成を模式的に示した図である。 図２は、投影部１０１の内部構成例を示した図である。 図３は、画像処理部１０２の内部構成例を示した図である。 図４は、補正量検出部１０５の内部構成例を示した図である。 図５は、歪み四角形５０１の内側で１６：９矩形５０２を探索する方法を説明するための図である。 図６は、歪み四角形６０１の内側で１６：９矩形６０２を探索する方法を説明するための図である。 図７は、歪み四角形７０１の内側で１６：９矩形７０２を探索する方法を説明するための図である 図８は、歪み四角形の内側の最大の１６：９矩形８０２が補正後投影画像となるように幾何学歪みを補正した様子を示した図である。 図９は、歪み四角形９０１の内側で決めた中心位置（ｘ，ｙ）で最大面積となる１６：９矩形９０３を示した図である。 図１０は、歪み四角形に内接する最大の１６：９矩形を探索するための境界条件を計算する方法を説明するための図である。 図１１は、歪み四角形に内接する最大の１６：９矩形を探索するための境界条件を計算する方法を説明するための図である。 図１２は、歪み四角形に内接する最大の１６：９矩形を探索するための境界条件を計算する方法を説明するための図である。 図１３は、歪み四角形１３０１の辺毎に計算された４つの解候補を例示した図である。 図１４は、歪み四角形に内接する最大面積の１６：９矩形を例示した図である。 図１５は、歪み四角形に内接する最大面積の所定アスペクト比の矩形を探索するための処理手順を示したフローチャートである。 図１６は、歪み四角形に内接する最大面積の所定アスペクト比の矩形を探索するための機能的構成を模式的に示した図である。

以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。

図１には、本明細書で開示する技術の一実施形態に係る投影型画像表示装置１００の構成を模式的に示している。図示の投影型画像表示装置１００は、投影部１０１と、画像処理部１０２と、画像入力部１０３と、カメラ部１０４と、補正量検出部１０５を備えている。以下、各部について説明する。

画像入力部１０３は、パーソナル・コンピューターやＴＶ受像機、ブルーレイ・ディスク再生装置、ゲーム機（いずれも図示しない）などの投影画像の供給源から画像信号を入力する。

画像処理部１０２は、投影部１０１から投影出力する画像の処理を行なう。画像処理部１０２から出力される画像は、画像入力部１０３から供給される外部画像と、画像処理部１０２内で生成するテスト・パターンである。画像処理部１０２内では、補正量検出部１０５から供給される補正パラメーターに基づいて、投射画像の歪み補正も行なう。投影画像の歪みには、投影部１０１と被投射体との３次元的な位置関係に基づく台形歪みなどの幾何歪みの他、投影部１０１やカメラ部１０４の光学系に起因する光学歪みが含まれる。但し、以下では、補正の対象となる歪みは、幾何歪みに限定して説明する。

投影部１０１は、画像処理部１０２から出力される画像を、スクリーン（図示しない）などの被投射体に投影する。投影部１０１からスクリーンに対し斜め方向から投影すると、補正前の投影画像には台形歪みなどの幾何歪みが発生する。

カメラ部１０４は、投影部１０１からスクリーンに補正なしで投影されたテスト・パターンを撮影する。補正量検出部１０５は、カメラ１０４で撮影したテスト・パターン像を用いて、投影部１０１からの投影画像に含まれる幾何歪みを補正するための補正量を計算して、画像処理部１０２に出力する。出力画像に対して射影変換を行なうことにより幾何歪みを補正することができる。補正量検出部１０５は、補正量として、歪み画像を所望の提示画像に射影変換するための射影変換パラメーターを算出する。

カメラ部１０４は、投影部１０１の照射位置と異なる位置に配設され、撮像範囲が投影部１０１の照射範囲を極力包含するように光軸が設定されている。投影部１０１から特定のテスト・パターンを照射すると、カメラ部１０４で撮影する。そして、補正量検出部１０５は、撮影画像から、被投射体までの距離と方向を求め、射影変換パラメーターを計算して、画像処理部１０２に出力する。以降、画像処理部１０２では画像入力部１０３から入力されるすべてに画像を射影変換パラメーターで射影変換し、投影部１０１からは幾何歪みが補正された画像が照射される。

なお、補正の対象を幾何歪みに限定する場合、投影画像を撮影するカメラ部１０４は必須ではなく、投影部１０１による投影画像の位置や大きさを投影部１０１とスクリーンとの３次元的な位置関係などに基づいて測定できるその他の方法に置き換えることもできる。

図２には、投影部１０１の内部構成例を示している。図示の投影部１０１は、液晶パネル２０１と、照明光学部２０２と、液晶パネル駆動部２０４と、投影光学部２０３を備えている。

液晶パネル駆動部２０４は、画像処理部１０２から入力される画像信号に基づいて液晶パネル２０１を駆動して、その表示画面に投影画像やテスト・パターンを描画する。但し、テスト・パターンは歪み補正なしで描画され、入力画像は歪み補正した後に描画される。

照明光学部２０２は、液晶パネル２０１を背面から照射する。投影型画像表示装置１００がピコ・プロジェクターの場合、照明光学部２０２の光源には例えばＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）やレーザーが用いられる。
投影光学部２０３は、液晶パネル２０１を透過した光を、スクリーン（図示しない）に拡大投影する。投影光学部２０３は、１枚又は２枚以上の光学レンズからなる。投影光学部２０３がレンズ歪みを持ち、投影画像には幾何歪みの他に光学歪みも生じることが想定されるが、以下では光学歪みを考慮せずに説明する。

投影部１０１からは、画像入力部１０３への入力画像、又は、投影型画像表示装置１００内で発生したテスト・パターンが投影される。テスト・パターンは、歪み補正が施されない歪み画像としてスクリーンに投影され、入力画像は、歪み補正が施され、入力画像と同じ形状の提示画像としてスクリーンに投影される。

図３には、画像処理部１０２の内部構成例を示している。図示の画像処理部１０２は、画像書き込み読み出し制御部３０１と、フレーム・メモリー３０２と、画像補正部３０３と、画質調整部３０４と、テスト・パターン発生部３０５と、出力画像切り替え部３０５を備えている。

フレーム・メモリー３０２には、画像入力部１０３から供給される画像を記憶する。画像書き込み読み出し制御部３０１は、フレーム・メモリー３０２への画像フレームの書き込み及び読み出しを制御する。

画像補正部３０３は、補正量検出部１０５から受け取った射影変換パラメーターに基づいて、フレーム・メモリー３０２から読み出した画像に射影変換して、投影部１０１から被写体に投影した際に幾何歪みが解消するよう、補正を行なう。

画質調整部３０４は、歪み補正を行なった後の投影画像が所望の表示状態となるよう、輝度、コントラスト、同期、トラッキング、色の濃さ、色合いなどの画質調整を行なう。

テスト・パターン発生部３０５は、補正量検出部１０５で射影変換パラメーターを計算する際に用いるテスト・パターンを発生する。テスト・パターンは、一般に、被投射体であるスクリーン（図示しない）の３次元情報を得易い幾何学形状を持つ。

出力画像切り替え部３０６は、投影部１０１に出力する画像の切り替えを行なう。例えば、パーソナル・コンピューターやＴＶ受像機、メディア再生装置、ゲーム機（いずれも図示しない）などの画像供給源からの入力画像をスクリーンに投影してプレゼンテーションなどを行なうときには、出力画像切り替え部３０６は、画質補正部３０４からの出力画像を投影部１０１に出力する。また、投影画像の幾何歪みを補正するための射影変換パラメーターを計算するときには、出力画像切り替え部３０６は、テスト・パターン発生部３０５で発生したテスト・パターンを投影部１０１に出力する。

図４には、補正量検出部１０５の内部構成例を示している。図示の補正量検出部１０５は、撮影画像書き込み読み出し制御部４０１と、撮影画像メモリー４０２と、特徴点計算部４０３と、射影変換パラメーター計算部４０４を備えている。

撮影画像メモリー４０２は、カメラ部１０４がスクリーン（図示しない）を撮影した撮影画像を記憶する。カメラ部１０４は、スクリーンに投影されたテスト・パターンの投影像を撮影する。

撮影画像書き込み読み出し制御部４０１は、撮影画像メモリー４０２への撮影画像の書き込み及び読み出しを制御する。

特徴点計算部４０３は、撮影画像メモリー４０２から読み出した撮影画像を使って、撮影画像に含まれるテスト・パターンの４隅などの特徴点の座標を求める。そして、射影変換パラメーター計算部４０４は、算出された特徴点の座標に基づいて、投影部１０１からスクリーンまでの距離と方向を求め、スクリーンに投影される画像の幾何歪みを補正するための射影変換パラメーターを計算する。後述する幾何歪みの補正を行なう場合には、特徴点計算部４０３は、スクリーンに投影された補正前の歪み四角形の４頂点を計算できればよい。

投影部１０１がスクリーンに投影する補正前の歪み画像は、通常は台形など歪んだ四角形（以下、「歪み四角形」とする）投影できる最大範囲に相当する。したがって、入力画像をスクリーンに投影する提示画像は、補正前の歪み画像の内側に形成する必要がある。例えば、入力画像がアスペクト比１６：９の矩形（以下、「１６：９矩形」とする）である場合、歪み四角形の内側で１６：９矩形を探索して、歪み四角形がこの１６：９矩形の提示画像となるように、入力画像を射影変換して幾何歪み補正する。

図５〜図７には、歪み四角形５０１、６０１、７０１の内側で１６：９矩形５０２、６０２、７０２を探索する方法をそれぞれ例示している。

図５に示す例では、歪み四角形５０１の４辺の最も内側を制限として、最大の１６：９矩形５０２を設定している。歪み四角形５０１の４辺の最も内側は、頂点を水平並びに垂直方向に横切る各２本の平行な線５１１と５１２、５２１と５２２で規定される、歪み四角形５０１に内接する最大面積の矩形である。

また、図６に示す例では、提示画像の中心を歪み四角形６０１の中心として、最大の１６：９矩形６０２を設定している。歪み四角形６０１の中心は、対角線６１１、６１２の交点である。１６：９矩形６０２はこの交点を中心として、歪み四角形６０１に内接する。

また、図７に示す例では、歪み四角形７０１の重心を中心として、最大の１６：９矩形７０２を設定している。図示の例では、歪み四角形７０１の重心は、対向する各２辺の中点を結んだ線分７１１、７１２の交点としている。

しかしながら、いずれの方法で探索した１６：９矩形５０２、６０２、７０２も歪み四角形５０１、６０１、７０１の内側で最大面積となる１６：９矩形ではない。

図８に示すように、歪み四角形８０１の内側で最大面積となる１６：９矩形８０２が提示画像となるように入力画像に幾何学歪み補正を行なうようにすれば、投影型画像表示装置１００がスクリーン上に投影できる面積を有効に活用することができる。

歪み四角形の内側でアスペクト比１６：９の最大面積の矩形を探索する方法の一例について、以下で説明する。

歪み四角形の内側で１６：９矩形の中心位置を決めると、その中心位置で歪み四角形に内接する最大の１６：９矩形は一意に決定することができる。図９には、歪み四角形９０１の内側で決めた中心位置（ｘ，ｙ）で最大面積となる１６：９矩形９０３を探索する方法を図解している。但し、ｘｙ平面は投影部１０１が投影するスクリーン平面とする。

歪み四角形９０１の各辺をなす直線をｌ₀〜ｌ₃とし、１６：９矩形の中心位置（ｘ，ｙ）の一方の対角線９０２と各直線ｌ₀〜ｌ₃との交点をｚ₀〜ｚ₃とする。中心位置（ｘ，ｙ）から最も短い交点z₁を対角線とする１６：９矩形９０３がその中心位置（ｘ，ｙ）での最大面積の１６：９矩形である。歪み四角形９０１の各辺ｌ₀〜ｌ₃までの距離の最小値が最大となる位置（ｘ_max，ｙ_max）が歪み多角形９０１の内側で最大面積となる１６：９矩形を与える。

したがって、歪み四角形９０１の各辺ｌ₀〜ｌ₃までの距離の最小値が最大となる中心位置（ｘ_max，ｙ_max）を歪み四角形９０１の中で探索し、この中心位置（ｘ_max，ｙ_max）で歪み四角形９０１に内接する最大の１６：９矩形を決定すれば、それが歪み四角形９０１の内側で最大面積となる１６：９矩形となる。

まず、歪み四角形の内側で最大面積となる１６：９矩形の中心位置を探索するための境界条件を、歪み四角形の各辺について計算する。歪み四角形の１辺ｎについて境界条件を計算する方法を、図１０〜図１２を参照しながら説明する。

ここで、図１０に示すように、歪み四角形１００１の内側の任意の点（ｘ，ｙ）を１６：９矩形１００２の中心位置に設定する。以下では、説明の便宜上、歪み四角形１００１の重心位置（ｘ_v，ｙ_v）を中心位置（ｘ，ｙ）とする１６：９矩形１００２を設定することにする。ここで言う重心位置（ｘ_v，ｙ_v）は、例えば歪み四角形１００１の４頂点の平均位置でよい。

そして、１６：９矩形１００２の中心位置（ｘ，ｙ）からの対角線１００３、１００４と歪み四角形１００１の辺ｎとの各交点１００５、１００６のうち中心位置（ｘ，ｙ）までの距離が短くなるものをｚとしたときに、（ｘ，ｙ，ｚ）が満たす以下の関係式（１）を求める。但し、ｘｙ平面は投影部１０１が投影するスクリーン平面とする。このとき、点（ｘ，ｙ，０）が以下の不等式（２）を満たすようにパラメーターを求める。

上記の関係式（１）は、図１１に示すように、スクリーン平面ｘｙと垂直に、１６：９矩形１００２の中心位置（ｘ，ｙ，０）から交点１００５までの距離をｚ軸にした、３次元空間中の平面１１０１すなわち境界平面を表す方程式である。図示のように、平面１１０１は辺ｎと点（ｘ，ｙ，ｚ）をともに含んでいる。

上記の関係式（１）で表される平面１１０１よりも上側は、１６：９矩形の対角線が歪み四角形１００１の外側にはみ出すことになる。したがって、平面１１０１より下側すなわち上記の不等式（２）が、辺ｎについて１６：９矩形の中心位置を求める境界条件の１つとなる。

上記では、図１０、図１１を参照しながら、歪み四角形１００１の辺ｎに着目して、不等式（２）で表される境界条件を求めた。歪み四角形９０１の各辺ｌ₀〜ｌ₃の各辺についての境界条件は、下式（３）〜（６）のように表わされる。

上記の各式（３）〜（６）で表される境界条件は、歪み四角形の内側に中心位置（ｘ，ｙ，０）が設定された１６：９矩形の対角線と対応する辺ｌ₀〜ｌ₃との交点から中心位置（ｘ，ｙ，０）までの距離をｚ軸とした点（ｘ，ｙ，ｚ）と、対応する辺ｌ₀〜ｌ₃をともに含む３次元空間中の境界平面を表す方程式の形式で記述される。また、上記の各式（３）〜（６）は、歪み四角形の重心位置（ｘ_v，ｙ_v）を中心位置（ｘ，ｙ）とする１６：９矩形の対角線が、歪み四角形の各辺ｌ₀〜ｌ₃までの距離の最小値が最大となるための境界条件である。

上式（３）〜（６）で表される境界条件をすべて満たして、ｚを最大にする（ｘ，ｙ）を１６：９矩形の中心位置として探索すればよい。１６：９矩形の中心位置（ｘ，ｙ）を決めると、その位置で歪み四角形に内接する最大の１６：９矩形は一意に決定することができ、それが最大面積の１６：９矩形となる。１６：９矩形の中心位置（ｘ，ｙ）の探索は、線形計画問題である。

続いて、上式（３）〜（６）で表される境界条件から１６：９矩形の中心を計算する方法の一例を説明する。

上記の各式（３）〜（６）で表される各境界条件は、着目している１点（ｘ，ｙ，ｚ）と着目している歪み四角形の１辺をそれぞれ通る４つの平面である。

平行でない３つの平面が１点で交わることは幾何学的に明らかである。例えば、３つの平面のうち２つの平面の交線を求め、この交線と残りの１つの平面との交点を計算すればよい。

例えば、境界条件（３）以外の３つの境界条件（０）〜（２）でそれぞれ表される３つの境界平面の交点（ｘ₃，ｙ₃，ｚ₃）を計算して、ｚ₃をｚの最大値の候補とする。また、そのときの（ｘ₃，ｙ₃）を残りの境界条件（３）の式に代入して、点（ｘ₃，ｙ₃，０）を通過するｚ軸に平行な直線と式（３）で表される境界平面との交点（ｘ₃，ｙ₃，ｚ₃´）を求め、ｚ₃とｚ₃´を大小比較する。言い換えれば、３つの境界平面の交点（ｘ₃，ｙ₃，ｚ₃）が残りの境界条件（３）を満たしているかどうかをチェックする。ｚ₃がｚ₃´より小さく、交点（ｘ₃，ｙ₃，ｚ₃）が残りの境界条件（３）を満たしていれば、ｚ₃をｚの最大値の候補とする。また、満たしていなければ、ｚ₃にｚ₃´を代入して、ｚの最大値の候補とする。図１２には、３つの境界平面の交点（ｘ₃，ｙ₃，ｚ₃）が残りの境界条件（３）を満たしている様子を例示している。

同様に、境界条件（０）以外の３つの境界条件（１）〜（３）でそれぞれ表される３つの境界平面の交点（ｘ₀，ｙ₀，ｚ₀）を計算し、そのときの（ｘ₀，ｙ₀）でｚ₀が残りの境界条件（０）を満たすかどうかをチェックして、ｚの最大値の候補ｚ₀を得る。

また、境界条件（１）以外の３つの境界条件（２）、（３）、（０）でそれぞれ表される３つの境界平面の交点（ｘ₁，ｙ₁，ｚ₁）を計算し、そのときの（ｘ₁，ｙ₁）でｚ₁が残りの境界条件（１）を満たすかどうかをチェックして、ｚの最大値の候補ｚ₁を得る。

また、境界条件（２）以外の３つの境界条件（３）、（０）、（１）でそれぞれ表される３つの境界平面の交点（ｘ₂，ｙ₂，ｚ₂）を計算し、そのときの（ｘ₂，ｙ₂）でｚ₂が残りの境界条件（２）を満たすかどうかをチェックして、ｚの最大値の候補ｚ₂を得る。

このようにして、４つのｚの最大値の候補ｚ₀、ｚ₁、ｚ₂、ｚ₃が求まる。図１３には、歪み四角形１３０１の辺毎に計算された４つの解候補を表す４点（ｘ₀，ｙ₀，ｚ₀）、（ｘ₁，ｙ₁，ｚ₁）、（ｘ₂，ｙ₂，ｚ₂）、（ｘ₃，ｙ₃，ｚ₃）を例示している。図示の例では、点（ｘ₀，ｙ₀，ｚ₀）のｚ₀が最大となるので、この点を最適解（ｘ_max，ｙ_max，ｚ_max）として選択する。

そして、最適解に対応する（ｘ_max，ｙ_max）が歪み四角形に内接する最大面積の１６：９矩形の中心位置である。中心位置（ｘ_max，ｙ_max）を持つ歪み四角形に内接する最大の１６：９矩形は一意に決定される。図１４には、歪み四角形１４０１に内接する最大面積の１６：９矩形１４０２を例示している。

なお、図１０〜図１４に示した例では、歪み四角形の重心位置（ｘ_v，ｙ_v）に着目し、その点に１６：９矩形の中心位置（ｘ，ｙ）を設定して最大内接矩形の探索を行なうが、歪み四角形の内側の重心位置（ｘ_v，ｙ_v）以外の任意の点に着目しても、同様に最大内接矩形を探索することができる。

図４に示したような補正量検出部１０５の構成によれば、例えば射影変換パラメーター計算部４０４が、特徴点計算部４０３が算出した歪み四角形の４頂点の位置情報を入力して、図１０〜図１４を参照しながら説明したような手順に従って、歪み四角形に内接する最大面積の１６：９矩形を算出すると、歪み四角形を１６：９矩形に射影変換するための射影変換行列を求め、画像補正部３０３に出力する。

図１５には、歪み四角形に内接する最大の所定アスペクト比の矩形を探索するための処理手順をフローチャートの形式で示している。図示の処理手順は、例えば射影変換パラメーター計算部４０４で実行される。

まず、ｎに初期値０を代入するとともに（ステップＳ１５０１）、歪み四角形の内側の任意の位置（例えば、歪み四角形の重心位置）に、矩形の中心位置（ｘ，ｙ）を設定する。

そして、歪み四角形の辺ｎについての境界条件（ｎ）を計算する（ステップＳ１５０２）。具体的には、矩形の対角線と歪み四角形の辺ｎとの交点のうち中心位置（ｘ，ｙ）までの距離が短くなるものをｚとしたときに、（ｘ，ｙ，ｚ）が満たす関係式に基づいて、辺ｎについての境界条件（ｎ）を計算する。

そして、ｎに１を加算して（ステップＳ１５０３）、ｎが４に到達するまで（ステップＳ１５０４のＮｏ）、ステップＳ１５０２に戻り、歪み四角形のすべての辺について境界条件を計算する。

本実施形態では、歪み四角形の内側に任意に中心位置（ｘ，ｙ，０）が設定された１６：９矩形の対角線と辺ｎとの交点から中心位置（ｘ，ｙ，０）までの距離をｚ軸とした点（ｘ，ｙ，ｚ）と、辺ｎをともに含む３次元空間中の平面を表す方程式の形式で、辺ｎについての境界条件を計算する。

続いて、ｎに再び初期値０を代入して（ステップＳ１５０５）、辺ｎ以外のすべての辺の境界条件を満たす解候補ｎを計算する（ステップＳ１５０６）。

本実施形態では、辺ｎ以外のすべての辺についての境界条件を満たす最大のｚと、そのときの（ｘ，ｙ，）で辺ｎについての境界条件を満たすｚとの小さい方を、解候補ｎとする（例えば、図１２を参照のこと）。

また、本実施形態では、辺ｎ以外のすべての辺についての境界条件を表す境界平面の交点のｚを、辺ｎ以外のすべての辺についての境界条件を満たす最大のｚとして、幾何学計算により求める（例えば、図１２を参照のこと）。

そして、ｎに１を加算して（ステップＳ１５０７）、ｎが４に到達するまで（ステップＳ１５０８のＮｏ）、ステップＳ１５０６に戻り、歪み四角形のすべての辺について解候補を計算する。

次いで、歪み四角形の辺毎に算出された解候補の中から、最適解を選択し（ステップＳ１５０９）、最適解に基づいて、歪み四角形の内側で最大面積の１６：９矩形を決定する（ステップＳ１５１０）。解候補の中で、最も大きいｚを与えるものが、歪み四角形の辺までの対角線の方向の距離の最小値が最大となるので、そのときの（ｘ_max，ｙ_max）を中心位置として歪み四角形に内接する最大の１６：９矩形を探索すれば、これが歪み四角形の内側で最大面積を持つ１６：９矩形となる。

そして、最大矩形情報を出力する（ステップＳ１５１１）。歪み四角形を最大面積の１６：９矩形に射影変換するための射影変換行列が補正パラメーターとなる。入力画像に対して射影変換を行なうことで、スクリーンには最大面積の１６：９矩形となる提示画像を投影することができる。

図１６には、歪み四角形に内接する最大面積の所定アスペクト比の矩形を探索するための機能的構成を模式的に示している。

境界条件計算部１６０１は、歪み四角形の情報１６１１を入力する。歪み四角形の情報１６１１は、スクリーンに投影された歪み四角形の４頂点の位置情報などからなる。例えば、投影部１０１がスクリーンにテスト・パターンを投影したときに、カメラ部１０４がその投影画像を撮影し、特徴点計算部４０３が特徴点として４頂点の位置情報を計算することで歪み四角形の情報１６１１が得られる。

そして、境界条件計算部１６０１は、歪み四角形の４辺について境界条件１６１２を計算する。境界条件計算部１６０１は、矩形の対角線と歪み四角形の辺ｎとの交点のうち中心位置（ｘ，ｙ）までの距離が短くなるものをｚとしたときに、（ｘ，ｙ，ｚ）が満たす関係式に基づいて、辺ｎについての境界条件（ｎ）を計算する。本実施形態では、境界条件計算部１６０１は、歪み四角形の内側に任意に中心位置（ｘ，ｙ，０）が設定された１６：９矩形の対角線と辺ｎとの交点から中心位置（ｘ，ｙ，０）までの距離をｚ軸とした点（ｘ，ｙ，ｚ）と、辺ｎをともに含む３次元空間中の平面を表す方程式の形式で、辺ｎについての境界条件を計算する。

解候補計算部１６０２は、歪み四角形の各辺について、着目する辺以外のすべての辺の境界条件を満たす解候補１６１３を計算する。本実施形態では、辺ｎ以外のすべての辺についての境界条件を満たす最大のｚと、そのときの（ｘ，ｙ，）で辺ｎについての境界条件を満たすｚとの小さい方を、解候補ｎとする（例えば、図１２を参照のこと）。また、本実施形態では、辺ｎ以外のすべての辺についての境界条件を表す境界平面の交点のｚを、辺ｎ以外のすべての辺についての境界条件を満たす最大のｚとして、幾何学計算により求める（例えば、図１２を参照のこと）。

最適解選択部１６０３は、歪み四角形の辺毎に算出された解候補の中から、最適解を選択する。解候補１６１３の中で、最も大きいｚを与えるものが、歪み四角形の辺までの対角線の方向の距離の最小値が最大となるので、そのときの（ｘ_max，ｙ_max）を中心位置として歪み四角形に内接する最大の１６：９矩形を探索すれば、これが歪み四角形の内側で最大面積を持つ１６：９矩形となる。

そして、最適解選択部１６０３は、最適解に基づいて、歪み四角形の内側で最大面積の１６：９矩形を決定して、最大矩形情報１６１４として出力する。歪み四角形を最大面積の１６：９矩形に射影変換するための射影変換行列が補正パラメーターとなる。入力画像に対して射影変換を行なうことで、スクリーンには最大面積の１６：９矩形となる提示画像を投影することができる。

以上説明してきたように、本実施形態に係る投影型画像表示装置１００は、投影部１０１の投影画像の面積が最大となるように幾何歪み補正を行なうので、投影型画像表示装置１００がスクリーンに投影できる面積を有効に活用することができる。また、本実施形態に係る投影型画像表示装置１００は、投影部１０１がスクリーンに投影できる面積（歪み四角形）に内接する所望アスペクト比の矩形を、簡単な探索処理で計算することができる。

特開２０１１−１９３３３２号公報 特開２００９−２５１５４２号公報

以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。

本明細書では、カメラ一体型の投影型画像表示装置に関する実施形態について説明してきたが、カメラが投影型画像表示装置本体と分離可能若しくは本体に外付け接続されるように構成される場合、あるいは、カメラの代わりに投影部とスクリーンとの３次元的な位置関係などに基づいて投影画像の位置や大きさを測定できる方法を用いる場合であっても、同様に本明細書で開示する技術を適用することができる。

要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。

なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
（１）投影型画像表示装置からスクリーンに投影される補正前の歪み画像を検出する検出ステップと、
前記歪み画像の内側で最大面積となる入力画像と同じ形状を探索する探索ステップと、
前記歪み画像が前記探索された最大面積の形状となるように前記入力画像を補正する補正ステップと、
を有する画像処理方法。
（２）前記検出ステップでは、前記スクリーンに投影される補正前の歪み画像をカメラで撮影した画像、又は、前記投影型画像表示装置と前記スクリーンの３次元的な位置関係に基づいて、前記歪み画像を検出する、
上記（１）に記載の画像処理方法。
（３）前記検出ステップでは、前記スクリーンに投影される歪み四角形の位置及び大きさを検出し、
前記探索ステップでは、入力画像と同じアスペクト比で最大面積となる矩形を前記歪み四角形の内側で探索する、
上記（１）に記載の画像処理方法。
（４）前記探索ステップでは、前記歪み四角形の辺までの対角線の方向の距離の最小値が最大となる中心位置を探索し、その中心位置で前記歪み四角形に内接する最大の前記アスペクト比の矩形を最大面積の矩形に決定する、
上記（３）に記載の画像処理方法。
（５）前記探索ステップでは、前記中心位置を探索するための境界条件を前記歪み四角形の各辺について計算し、すべての境界条件を満たし、前記歪み四角形の各辺までの対角線の方向の距離の最小値が最大となる中心位置を探索し、その中心位置で前記歪み四角形に内接する最大の前記アスペクト比の矩形を決定する、
上記（４）に記載の画像処理方法。
（６）前記探索ステップでは、歪み四角形の内側に任意に中心位置（ｘ，ｙ，０）が設定された前記矩形の対角線と辺ｎとの交点から中心位置（ｘ，ｙ，０）までの距離をｚ軸とした点（ｘ，ｙ，ｚ）と辺ｎをともに含む３次元空間中の境界平面を表す方程式の形式で、辺ｎについての境界条件を計算する、
上記（５）に記載の画像処理方法。
（７）前記探索ステップでは、着目する辺以外の辺についてのすべての境界条件を満たす解候補を辺毎に計算し、各辺の解候補の中から最適解を選択する、
上記（６）に記載の画像処理方法。
（８）前記探索ステップでは、着目する辺以外のすべての辺についての境界条件を満たす最大のｚと、そのときの（ｘ，ｙ）で着目する辺についての境界条件を満たすｚのうち小さい方を、着目する辺についての解候補とする、
上記（７）に記載の画像処理方法。
（９）前記探索ステップでは、着目する辺以外のすべての辺についての境界条件をそれぞれ表す３境界平面の交点のｚを、着目する辺以外のすべての辺についての境界条件を満たす最大のｚとして計算する、
上記（８）に記載の画像処理方法。
（１０）前記探索ステップでは、辺毎に計算したすべての解候補の中で最も大きいｚを与えるものを最適解として選択し、最適解に対応する（ｘ，ｙ）を中心位置とする前記歪み四角形に内接する最大の矩形を最大面積の矩形として求める、
上記（８）又は（９）のいずれかに記載の画像処理方法。
（１１）入力画像を投影部と、
前記投影部表示装置からスクリーンに投影される補正前の歪み画像を検出する検出部と、
前記歪み画像の内側で最大面積となる前記入力画像と同じ形状を探索する探索部と、
前記歪み画像が前記探索された最大面積の形状となるように前記入力画像を補正する補正部と、
を具備する画像投影装置。
（１２）前記検出部は、前記スクリーンに投影される歪み四角形の位置及び大きさを検出し、
前記探索部は、前記歪み四角形の４辺について境界条件を計算する境界条件計算部と、前記歪み四角形の各辺について、着目する辺以外のすべての辺の境界条件を満たす解候補を計算する解候補計算部と、前記歪み四角形の辺毎に算出された解候補の中から最適解を選択する最適解選択部を備える、
上記（１１）に記載の画像投影装置。
（１３）前記境界条件計算部は、歪み四角形の内側に任意に中心位置（ｘ，ｙ，０）が設定された前記矩形の対角線と辺ｎとの交点から中心位置（ｘ，ｙ，０）までの距離をｚ軸とした点（ｘ，ｙ，ｚ）と辺ｎをともに含む３次元空間中の境界平面を表す方程式の形式で、辺ｎについての境界条件を計算する、
上記（１２）に記載の画像投影装置。
（１４）前記解候補計算部は、着目する辺以外のすべての辺についての境界条件を満たす最大のｚと、そのときの（ｘ，ｙ）で着目する辺についての境界条件を満たすｚとの小さい方を、着目する辺についての解候補とする、
上記（１３）に記載の画像投影装置。
（１５）前記最適解選択部は、辺毎に計算したすべての解候補の中で最も大きいｚを与えるものを最適解として選択し、最適解に対応する（ｘ，ｙ）を中心位置とする前記歪み四角形に内接する最大の矩形を最大面積の矩形として求める、
上記（１４）に記載の画像投影装置。

１００…投影型画像表示装置
１０１…投影部
１０２…画像処理部
１０３…画像入力部
１０４…カメラ部
１０５…補正量検出部
２０１…照明光学部、２０２…液晶パネル、２０３…投影光学部
３０１…画像書き込み読み出し制御部、３０２…フレーム・メモリー
３０３…画像補正部、３０４…画質調整部
３０５…テスト・パターン発生部、３０５…出力画像切り替え部
４０１…撮影画像書き込み読み出し制御部、４０２…撮影画像メモリー
４０３…特徴点計算部、４０４…射影変換パラメーター計算部
１６０１…境界条件計算部、１６０２…解候補計算部
１６０３…最適解選択部

Claims (15)

1. 投影型画像表示装置からスクリーンに投影される補正前の歪み画像を検出する検出ステップと、
   前記歪み画像の内側で最大面積となる入力画像と同じ形状を探索する探索ステップと、
   前記歪み画像が前記探索された最大面積の形状となるように前記入力画像を補正する補正ステップと、
   を有する画像処理方法。
2. 前記検出ステップでは、前記スクリーンに投影される補正前の歪み画像をカメラで撮影した画像、又は、前記投影型画像表示装置と前記スクリーンの３次元的な位置関係に基づいて、前記歪み画像を検出する、
   請求項１に記載の画像処理方法。
3. 前記検出ステップでは、前記スクリーンに投影される歪み四角形の位置及び大きさを検出し、
   前記探索ステップでは、入力画像と同じアスペクト比で最大面積となる矩形を前記歪み四角形の内側で探索する、
   請求項１に記載の画像処理方法。
4. 前記探索ステップでは、前記歪み四角形の辺までの対角線の方向の距離の最小値が最大となる中心位置を探索し、その中心位置で前記歪み四角形に内接する最大の前記アスペクト比の矩形を最大面積の矩形に決定する、
   請求項３に記載の画像処理方法。
5. 前記探索ステップでは、前記中心位置を探索するための境界条件を前記歪み四角形の各辺について計算し、すべての境界条件を満たし、前記歪み四角形の各辺までの対角線の方向の距離の最小値が最大となる中心位置を探索し、その中心位置で前記歪み四角形に内接する最大の前記アスペクト比の矩形を決定する、
   請求項４に記載の画像処理方法。
6. 前記探索ステップでは、歪み四角形の内側に任意に中心位置（ｘ，ｙ，０）が設定された前記矩形の対角線と辺ｎとの交点から中心位置（ｘ，ｙ，０）までの距離をｚ軸とした点（ｘ，ｙ，ｚ）と辺ｎをともに含む３次元空間中の境界平面を表す方程式の形式で、辺ｎについての境界条件を計算する、
   請求項５に記載の画像処理方法。
7. 前記探索ステップでは、着目する辺以外の辺についてのすべての境界条件を満たす解候補を辺毎に計算し、各辺の解候補の中から最適解を選択する、
   請求項６に記載の画像処理方法。
8. 前記探索ステップでは、着目する辺以外のすべての辺についての境界条件を満たす最大のｚと、そのときの（ｘ，ｙ）で着目する辺についての境界条件を満たすｚのうち小さい方を、着目する辺についての解候補とする、
   請求項７に記載の画像処理方法。
9. 前記探索ステップでは、着目する辺以外のすべての辺についての境界条件をそれぞれ表す３境界平面の交点のｚを、着目する辺以外のすべての辺についての境界条件を満たす最大のｚとして計算する、
   請求項８に記載の画像処理方法。
10. 前記探索ステップでは、辺毎に計算したすべての解候補の中で最も大きいｚを与えるものを最適解として選択し、最適解に対応する（ｘ，ｙ）を中心位置とする前記歪み四角形に内接する最大の矩形を最大面積の矩形として求める、
    請求項８又は９のいずれかに記載の画像処理方法。
11. 入力画像を投影部と、
    前記投影部表示装置からスクリーンに投影される補正前の歪み画像を検出する検出部と、
    前記歪み画像の内側で最大面積となる前記入力画像と同じ形状を探索する探索部と、
    前記歪み画像が前記探索された最大面積の形状となるように前記入力画像を補正する補正部と、
    を具備する画像投影装置。
12. 前記検出部は、前記スクリーンに投影される歪み四角形の位置及び大きさを検出し、
    前記探索部は、前記歪み四角形の４辺について境界条件を計算する境界条件計算部と、前記歪み四角形の各辺について、着目する辺以外のすべての辺の境界条件を満たす解候補を計算する解候補計算部と、前記歪み四角形の辺毎に算出された解候補の中から最適解を選択する最適解選択部を備える、
    請求項１１に記載の画像投影装置。
13. 前記境界条件計算部は、歪み四角形の内側に任意に中心位置（ｘ，ｙ，０）が設定された前記矩形の対角線と辺ｎとの交点から中心位置（ｘ，ｙ，０）までの距離をｚ軸とした点（ｘ，ｙ，ｚ）と辺ｎをともに含む３次元空間中の境界平面を表す方程式の形式で、辺ｎについての境界条件を計算する、
    請求項１２に記載の画像投影装置。
14. 前記解候補計算部は、着目する辺以外のすべての辺についての境界条件を満たす最大のｚと、そのときの（ｘ，ｙ）で着目する辺についての境界条件を満たすｚとの小さい方を、着目する辺についての解候補とする、
    請求項１３に記載の画像投影装置。
15. 前記最適解選択部は、辺毎に計算したすべての解候補の中で最も大きいｚを与えるものを最適解として選択し、最適解に対応する（ｘ，ｙ）を中心位置とする前記歪み四角形に内接する最大の矩形を最大面積の矩形として求める、
    請求項１４に記載の画像投影装置。