JP2012151670A - 画像投影システム及び半導体集積回路 - Google Patents

Abstract

【課題】光学的あるいは電気的に発生した解像度の不均一化の発生を抑制することで、人間の視感度上の画質劣化を防止すること。
【解決手段】本発明にかかる画像投影システムは、レンズから画像を出力して投影面に投影すると共に、投影面に投影された画像の各領域の解像度がそれぞれの領域の間で均一ではない場合、レンズの光学特性の逆特性に基づいて画像の各領域の解像度のそれぞれを補正して、画像を前記投影面に投影する。また、投影面に画像の形状が歪まないように、当該画像を投影することによって、投影された前記画像の一の領域の解像度が別の領域の解像度よりも低下する場合には、前記別の領域の解像度が前記一の領域の解像度と略同一となるように劣化させた画像を投影する。
【選択図】図１

Description

本発明は、画像投影システム及び半導体集積回路に関し、特に、投影面に投影された画像を補正して再投影するための画像投影システム及び半導体集積回路に関する。

近年、高画素（ＸＧＡ〜ＦＨＤ解像度）かつ小型のフロントプロジェクタが安価で入手できるようになった。さらに、当該フロントプロジェクタには、３Ｄ機能を搭載した機種も登場している。そして、当該フロントプロジェクタは、これまでのシアター用途やオフィスでのプレゼンテーション用途に限定されず、様々な用途及び場面で活用されるようになっている。例えば、モバイル製品において、当該フロントプロジェクタは、携帯電話に付属機能として搭載されることもある。また、当該フロントプロジェクタは、インテリアもしくは玩具向け商品又はデジタルサイネージ等の業務用途に活用される場合がある。さらに、当該フロントプロジェクタは、インスタレーション又は照明等のアート用途などに活用される場合もある。

このように、高画素かつ小型のフロントプロジェクタは、利用できる用途及び場面が多様であり、利便性が高い。しかし、投影面に映像を適切に表示させるために必要となる調整は、依然として難易度が高い。特に、近年では、凹凸面や曲面などを有する投影面に対する投影が行われるようになっている。しかし、凹凸面や曲面への投影を実現する手法は、提案されているが、その表示画像の品質は低い。そして、当該手法を用いる場合、実際には、平面かつ白色のスクリーンが必要である。このように、フロントプロジェクタの活用範囲には、多くの制限や障害が存在している。

ここで、プロジェクタにより表示された映像を調整する方法としては、一般的に、赤外線センサなどを使用し、プロジェクタとスクリーン間の距離を検出することにより、光学的にサイズ及びフォーカス・パラメータ（絞り）を調整する方法がある。そして、特許文献１には、イメージセンサにより専用スクリーンに対するスクリーン投影画像を取得することにより、投影エリアを認識し、投射エリアのサイズ及び表示位置をスクリーンへ合わせて調整することが開示されている。

また、形状的な歪みに関しては、一般的に、加速度（傾き）センサなどを使用し、プロジェクタ機器の傾き量を検出することにより、機構的なレンズ・シフトもしくは電気的な画像処理変形により歪みを補正することが行われている。そして、特許文献２には、イメージセンサにより、スクリーン上に投射されたテスト画像と元のテスト画像の差分を解析することにより、形状歪みを補正することが開示されている。

ここで、特許文献３には、投影方向や投影面の凹凸に関わらず、任意の投影面に適した画像を投影できる携帯型画像投影装置に関する技術が開示されている。特許文献３にかかる技術は、投影面に画像を投影し、投影面に表れている投影画像を撮影し、投影画像を所定の分割領域ごとに形状の歪みを補正するものである。また、特許文献４には、投影面の形状に関わらず美しい像を投影する校正装置等に関する技術が開示されている。さらに、特許文献５には、スクリーン自体の歪みによる映像の歪みを補正する画像変換装置等に関する技術が開示されている。

尚、特許文献６には、投射面が有彩色であるか模様が付いているような場合においても、正しい色相に補正すると共に模様の影響を受けない画像投射装置及び画像投射方法に関する技術が開示されている。また、特許文献７には、カラー画像の色を被投射体上で再現性よく表示でき、被投射体の色合いの補正効果を使用者に容易に認識させることができる投射画像色調整方法及びプロジェクタに関する技術が開示されている。また、特許文献８には、投影面の色特性を能動的に補償する投影システムに関する技術が開示されている。また、特許文献９には、投影面に投射された投影画像を、投影面の模様や汚れに影響されることなく見やすくするプロジェクタ装置等に関する技術が開示されている。

特開２００７−３０６６１３号公報 特開２００１−０８３９４９号公報 特開２０１０−１７１７７４号公報 特開２００５−３２６２４７号公報 特開２００６−０３３３５７号公報 特開２００６−２０１５４８号公報 特開２００６−１０９３８０号公報 特開２００４−２２９２９０号公報 特開２０１０−２１２９１７号公報

本願発明者は、上記特許文献１〜９に対して次の課題を見出した。すなわち、上記特許文献１〜９に係る画像投影システム等は、光学的な要因あるいは電気的な要因により、投影する画像の解像度がその画像内で不均一になるという問題を全く解決できておらず、人間の視感度上で投影画像の画質劣化を生じさせてしまうという課題があった。本願発明は、光学的あるいは電気的に発生した解像度の不均一化の発生を抑制することで、人間の視感度上の画質劣化を防止するものである。以下、上記した本発明が解決しようとする課題について、具体的に説明していく。

ここで、画像を投影面に投影するための画像投影システムには、光学的なレンズが搭載されている。しかし、レンズには、光学的にＭＴＦ（Modulation Transfer Function）曲線で知られるように、レンズの中心から離れた箇所を用いて投影する画像はレンズの中心を用いて投影する画像に比べて解像度が落ちるという特性がある。ここで、解像度とは、物理的な像のサイズが定義できるような対象物（投影画像等）が有する細部の表現能力を示す指標である。例えば、プロジェクタから投影されて表示された投影画像において、単位面積あたりに１画素の幅で描かれた線を何本表現できるか、といった割合で決まるものである。すなわち、仮に画像投影システムが画像を投影する投影面が平らであったとしても、光学的にフォーカスをどこかに合わせて画像を投影するだけでは、投影された画像の解像度はレンズ特性の観点からしても均一とならない。この場合、ある部分は鮮明に表示されている模様が他の部分では不鮮明なぼやけた画像として表示され、画質の劣化が生じる可能性がある。また、画像を投影する投影面が広大な場合や、投影面が少なくとも部分的に平らではない箇所を持つ場合、プロジェクタ等の画像投影システムのレンズ部分と画像の投影面との距離が投影面内において大きくばらついて異なる。この場合、光学的にフォーカスを一意に決定することができない。そのため、画像の少なくとも一部分は確実にフォーカスが合っていないぼけた状態で表示されるため、この一部分の解像度は劣化していることになる。そうすると、画像内で解像度が均一化されず、やはり画質が劣化することになる。例えば、投影面が映画のスクリーンのように巨大な場合、画像投影システムのレンズ部分とスクリーンの中心部の距離と、画像投影システムのレンズ部分とスクリーンの末端部の距離とは、明らかに異なる。少なくとも部分的に平らではない投影面に画像を投影する場合も、投影面内で画像投影システムのレンズ部分と投影面との距離は箇所によって大きく異なってくる。そのような場合、プロジェクタとスクリーン間の距離が一定とならないため、光学的にいくら画像のフォーカスを調整しても適切なフォーカスを一意に決めることができない。そのため、投影画像のある部分では、フォーカスが合わずに解像度が劣化する。以上は光学的な要因で発生する投影画像の解像度の不均一である。しかし、この要因は、上述した赤外線センサなどを使用してプロジェクタとスクリーン間の距離を検出することにより、光学的にサイズ及びフォーカス・パラメータ（絞り）を調整する技術を用いても、結局は鮮明な画像を投影することはできないこととなる。

以上は光学的な要因による解像度の不均一化の説明であるが、解像度の不均一化は上記した光学的な要因だけでなく、電気的な要因においても発生する。上述した特許文献３に開示された技術は、投影面の凹凸面に関わらず、表示された画像における形状の歪み（以下、形状歪み）を補正する技術である。しかしながら、形状歪みの補正が行われて表示された画像は、以下で説明するように、補正前に表示された画像に比べて解像度が低下し、画質が劣化してしまう。

形状歪みの補正を実行した後の画像は、解像度が不均一になる。形状歪みの補正とは、投影対象の画像に対する画素数を変更することにより実現される。通常、投影時には、プロジェクタで発光させる画素数は最大となっている。そこで、投影後の画像における形状歪みが検出される投影対象の画素数を、元の画像に比べて少なくすることで、形状を補正する。より具体的方法としては例えば、投影対象において、画素数を変えたい部分の画像サイズの縮小を行うことで、投影対象における当該部分の画素数を減らすことになる。この縮小は、実際に投影したときに映る画像の形状の歪みが除去されるように行われる。そして、画像の縮小を行えば、縮小された部分を表現するために用いる画素数も減少することになる。つまり、形状歪みの補正とは、結果的には、ある部分を表現する画素数を減らすことを意味する。そしてこのことから、形状歪みの補正が行われた投影対象の所定の部分は解像度が劣化することになるが、この解像度の劣化について、以下、説明する。

ここで、解像度とは、上述したように、物理的な像のサイズが定義できるような対象物（投影画像等）が有する細部の表現能力を示す指標である。例えばプロジェクタから投影されて表示された投影画像において、単位面積あたりに１画素の幅で描かれた線を何本表現できるか、といった割合で決まるものである。例として、投影する前においては図１６に示された画像を、プロジェクタからスクリーンに投影する場合を考える。図１６における１マスは１画素を表している。したがって図１６の画像は、２０画素×２０画素の領域に１画素の幅で、同じ長さの線分を平行に、始点と終点を同じ位置にそろえて、１画素間隔で、画面の垂直方向に１０本引いたものである。この場合、これらの線の水平方向の１ラインには１０個の画素が用いられていることになる。今、水平方向の１ラインにおける２０画素を単位領域とするならば、水平方向の２０画素のうち、１０画素を用いて１０個のドットがその単位領域に描けることになる。これ以上、水平方向にドットの個数を増やすとドット同士が隣接してしまい、ドットとして区別することができなくなる。今、画像の縮小は行っていないので、１０本の線の終点部分に対応する水平方向１ラインにおいても、それ以外の水平方向１ラインの部分でも、同様に、水平方向の２０画素を使って１０個のドットを描くことができる。これらのドットは水平方向に対しては重なることがなく、垂直方向に対しては隣接し、図１６に示された別々の１０本の線分を形成する。この画像をスクリーンに投影してスクリーン上での焦点で結像させれば、正しく１０本の線が認識できる形で表示されるので、この表示画像が有する解像度は１０ということになる。

ここで、前述した形状歪み補正を実施するため、画像の縮小を行うことを考える。例えば前述の図１６の画像をプロジェクタから投影した場合に、線分の終点に向かうに従って徐々に線分の幅が太くなり、ぼけて見える場合を考える。これは、例えばスクリーンが、プロジェクタを配置している平面に対して垂直な平面よりも傾いている場合に発生する。具体的には、画像の焦点であるフォーカスセンターを線分の始点又はその近傍に設定したとすると、線分の終点に向かうに従ってフォーカスセンターとのずれが大きくなり、画像が焦点で正しく結像しなくなっていく。そのため、線分の終点に向かうに従って徐々に線分の幅が太くなり、ぼけて見えることになる。この表示画像の広がりによるぼけを解消するために投影前の図１６の画像に対して形状歪み補正を実施することになる。その場合、例えば線分の終点に向かうに従って、画像のサイズをより大きな比率で縮小していく方法が考えられる。

投影前の画像が必要に応じて縮小されているので、スクリーンの傾きに起因して発生していた表示対象の広がり、すなわち上述の線分の太りが解消することになる。しかし、縮小の度合いによっては上述した解像度の劣化により、画像がスクリーンに正しい本来の形状で投影されない場合がある。

すなわち、上述した方法での画像の縮小を考えると、図１６で２０画素×２０画素の方形だった投影前の画像は、投影前において下底が上底よりも短い台形の形状の画像に変更、つまり形状歪みの補正がされる。このとき、台形の下底に近づくに従って、線分を表現するために用いることができる画素数が減少する。これを説明するために図１７を参照する。図１７において斜線で塗られた画素は、画像の縮小によって使用することができなくなった画素である。斜線で塗られた画素は線分の表現に用いられなくなるので、プロジェクタの光源によっても、もはや発光させることができない画素となる。斜線で塗られていない残りの画素が近似的な台形を形成していることがわかる。そして、上底では縮小が行われていないため、１０画素が線分の表現に使用可能である。一方、下底では最も大きい比率で縮小が行われた結果、５画素しか線分の表現に用いることができない。この状態で１ドット幅の１０本の線分を描こうとする場合、線分の始点から出発した１０本の線が、５画素しか存在しない線分の終点に集まることになる。そうすると、台形の下底に近づくにつれ、線分と線分が重なるようになってしまい、下底における線分の終点の近傍では、黒く塗りつぶされた領域が多く存在する状態となる。この状態の画像をプロジェクタによってスクリーンへ投影しても、図１６のように正しく１０本の線分は表示されず、図１６における線分の終点に近づくにつれて線分の幅が膨らみ黒く塗りつぶされてしまった画像がスクリーンへ表示されることになる。

これは、台形の上底部分に比べ、下底部分では単位領域あたりに描くことができる線分の本数が少なくなった結果、表示する画像の解像度が低下していることを意味する。今、水平１ライン方向における２０画素分の範囲を単位領域と考えるとする。そうすると、下底部分では５画素しかないため、水平方向の１ライン中の２０画素の単位領域に対して描ける線分の数は５本にまで低下している。したがって、上底から下底に至る線分を５本以上描こうとすると、必ず下底部分の近傍で線分の重なりが発生してしまうことになる。そのような状態の投影前の画像をプロジェクタで表示した場合には、別々の線分として認識できない、幅が太った線分が投影面に表示される。その結果、投影画像が単位面積あたりで表現できる線分の本数が減少するか、あるいは黒く塗りつぶされることで線分が全く認識できない状態で投影面に表示されることになる。すなわちこれは、解像度が低下していることを意味している。

形状歪みの補正は、このように、解像度の低下を引き起こすことがある。以上を前提に、さらに特許文献３について分析する。

ここで、図１８〜図２２を用いて、形状歪みの補正の一例であり、上述の具体例でも述べた台形補正について説明する。図１８及び図１９は、関連技術にかかる画像投影システムとスクリーンとの関係を説明するための図である。図１８及び図１９に記載された画像投影装置５００は、外部から入力された原画像Ｇ０をスクリーンＳ１に対して投影Ｐ１を行い、スクリーンＳ１に表示された画像の撮影Ｐ２を行うことができるものとする。そして、画像投影装置５００は、撮影された画像を台形補正して、再投影するものとする。尚、原画像Ｇ０は、長方形の形状を有する画像であるものとする。

ここで、図１８は、スクリーンＳ１を幅方向であるｘ軸及び高さ方向であるｙ軸により表現したものである。スクリーンＳ１は、幅Ｘｓ及び高さＹｓの長方形であることを示す。また、図１９は、スクリーンＳ１をｙ軸及び奥行き方向であるｚ軸により表現したものである。つまり、スクリーンＳ１は、画像投影装置５００からの投影距離がｙ軸方向で異なることを示す。ここでは、投影距離の差の最大値を奥行きＺｓであるものとする。

次に、図２０は、画像投影装置５００が原画像Ｇ０をスクリーンＳ１に対して投影Ｐ１を行い、撮影Ｐ２を行った際の撮影画像Ｇ１の例を示す図である。図２０において、撮影画像Ｇ１は、奥行きＺｓの影響により形状が歪んでいることを示す。すなわち、撮影画像Ｇ１は、上底が幅Ｘｓ１、下底が幅Ｘｓ２である台形である。ｙ軸の正方向に進むにつれて、スクリーンの奥行きが増し、投影された画像Ｇ１は広がっていくため、Ｘｓ２はＸｓ１よりも幅が大きくなっている。

ここで、図２１は、画像投影装置５００が撮影画像Ｇ１に基づき、原画像Ｇ０に対して台形補正を行った際の台形補正画像Ｇ２の例を示す図である。尚、台形補正画像Ｇ２は、画像投影装置５００が台形補正後かつ再投影前に内部のメモリ等に保持された状態を示す。図２１において、台形補正画像Ｇ２は、撮影画像Ｇ１の逆の台形の形状であることを示す。すなわち、台形補正画像Ｇ２は、上底が幅Ｘｓ２、下底が幅Ｘｓ１である台形である。

図２２は、画像投影装置５００が台形補正画像Ｇ２をスクリーンＳ１に対して再度、投影Ｐ１を行い、再度、撮影Ｐ２を行った際の台形補正後撮影画像Ｇ３の例を示す図である。図２２において、台形補正後撮影画像Ｇ３は、原画像Ｇ０を例えば凹凸がない平坦な面に表示した場合の投影画像、すなわち本来表示したかった形状の画像に比べてｘ軸方向で両端が幅Ｘｓ３ずつ短くなった長方形の形状であることを示す。すなわち、台形補正後撮影画像Ｇ３は、上底及び下底が幅Ｘｓ１である長方形である。尚、台形補正後撮影画像Ｇ３は、画像投影装置５００が再度、投影Ｐ１を行う際に、ｘ軸方向に光学的に拡大するなどにより、原画像Ｇ０の本来表示したかった表示サイズとほぼ同じサイズの画像とすることもできる。なお、上記説明のように下底が上底よりも投影距離が長く、投影サイズが大きくなるのであれば、その補正対象は、ｘ方向のみに留まらず、実際にはｙ方向にも補正する必要が生じる。それは、下底に行くに従い、ｙ方向にも投影する画像のサイズが大きくなるからである。ｙ方向にも補正しないと真円率やアスペクト比（画面の幅と高さの比率、１６:９や４:３など）が補償されずに誤った形状補正と認識されることとなる。

つまり、画像投影装置５００は、撮影画像Ｇ１において表示された台形と逆の形状の台形を台形補正画像Ｇ２として投影Ｐ１する。これにより、スクリーンＳ１に表示された際に、台形に歪むことにより、結果的に上底と下底の差が相殺され、長さが概ね均一、つまり長方形に近付いた形で表示される。以上が、台形補正の説明である。

続いて、図２３〜図２６を用いて、凹凸面を有するスクリーンに対して特許文献３の技術である形状補正を適用した際に発生する課題について説明する。図２３は、特許文献３にかかる（携帯型）画像投影装置５０１と凹凸面を有するスクリーンＳ２との関係を説明するための図である。画像投影装置５０１は、外部から入力された原画像Ｇ０をスクリーンＳ２に対して投影Ｐ１を行い、スクリーンＳ２に表示された画像の撮影Ｐ２を行い、撮影された画像を複数の領域に分割し、領域ごとに形状補正を行い、再投影するものである。

ここで、スクリーンＳ２は、ｘ軸方向及びｙ軸方向については、スクリーンＳ１と同じであるが、投影面に凹凸面を有するものとする。図２３では、スクリーンＳ２は、画像投影装置５０１からの投影距離の差の最大値が奥行きＺｓであるものとする。具体的には、スクリーンＳ２は、それぞれ投影距離が異なる投影点Ｓｐ２１〜Ｓｐ２５を有する。

図２４は、凹凸面を有するスクリーンＳ２と分割領域の例を示す図である。図２４では、スクリーンＳ２において、画像投影装置５０１からの投影距離が最も短い投影点Ｓｐ２３と、投影点Ｓｐ２１との奥行きの差が奥行きＺｓ１であることを示す。同様に、投影点Ｓｐ２３と投影点Ｓｐ２５との奥行きの差が奥行きＺｓ２、投影点Ｓｐ２３と投影点Ｓｐ２２との奥行きの差が奥行きＺｓ３及び投影点Ｓｐ２３と投影点Ｓｐ２４との奥行きの差が奥行きＺｓ４であることを示す。

また、図２４では、画像投影装置５０１が撮影Ｐ２を行った際に、ｘ軸方向に、５つの領域に分割していることを示す。具体的には、投影点Ｓｐ２１を中心とした領域Ｒ１、投影点Ｓｐ２２を中心とした領域Ｒ２、投影点Ｓｐ２３を中心とした領域Ｒ３、投影点Ｓｐ２４を中心とした領域Ｒ４及び投影点Ｓｐ２５を中心とした領域Ｒ５であることを示す。そして、領域Ｒ１〜Ｒ５は、それぞれ幅Ｘｓｏ１〜幅Ｘｓｏ５であることを示す。尚、ここでは、説明の便宜上、幅Ｘｓｏ１〜幅Ｘｓｏ５のサイズが等間隔であるものとする。

図２５は、上述した例を特許文献３に適用した場合の原画像Ｇ２０と撮影画像Ｇ２１との関係を説明するための図である。撮影画像Ｇ２１は、画像投影装置５０１がスクリーンＳ２に対して原画像Ｇ０を投影Ｐ１し、撮影Ｐ２した際に取得された画像である。図２５では、撮影画像Ｇ２１における領域Ｒ１〜Ｒ５の幅は、幅Ｘｓｐ１〜Ｘｓｐ５となっていることを示す。ここでは、スクリーンＳ２がｘ軸方向に凹凸面を有するため、幅Ｘｓｐ１、Ｘｓｐ２、Ｘｓｐ４及びＸｓｐ５は、幅Ｘｓｏ１、Ｘｓｏ２、Ｘｓｏ４及びＸｓｏ５と異なった幅となったことを示す。つまり、撮影画像Ｇ２１は、形状歪みが生じていることを示す。

図２６は、特許文献３にかかる原画像の補正画像Ｇ２２と補正画像の撮影画像Ｇ２３との関係を説明するための図である。画像投影装置５０１は、撮影画像Ｇ２１に基づき、原画像Ｇ２０に対して領域単位に形状歪みの補正Ｐ３を行い、原画像の補正画像Ｇ２２を生成する。図２６において、原画像の補正画像Ｇ２２は、領域Ｒ１〜Ｒ５をそれぞれ幅Ｘｓｃ１〜Ｘｓｃ５にスケーリングが変更されたことを示す。

ここでは、画像投影装置５０１は、領域Ｒ１〜Ｒ５について、幅Ｘｓｏ１〜Ｘｓｏ５のそれぞれと、幅Ｘｓｐ１〜Ｘｓｐ５のそれぞれとの比率の逆数に基づいてスケーリング、つまり形状歪みの補正を行うものとする。ここでの形状歪みの補正は、ｘ軸方向の画素数を原画像Ｇ２０に比べて減少させることとなる。つまり、原画像の補正画像Ｇ２２の領域当たりの解像度が原画像Ｇ２０に比べて減少する。例えば、領域Ｒ１〜Ｒ５の解像度は、"９０％"、"７０％"、"１００％"、"６０％"及び"８０％"となったものとする。

そして、画像投影装置５０１は、スクリーンＳ２に対して原画像の補正画像Ｇ２２の投影Ｐ４を行い、撮影Ｐ５を行い、補正画像の撮影画像Ｇ２３を取得する。その結果、補正画像の撮影画像Ｇ２３は、領域Ｒ１〜Ｒ５がそれぞれ幅Ｘｓｏ１〜Ｘｓｏ５に補正して表示されたことを示す。すなわち、補正画像の撮影画像Ｇ２３は、撮影画像Ｇ２１と比べて、形状の歪みが補正され、より原画像Ｇ２０に近い画像として認識されることを示す。

以上のことから、特許文献３における形状歪みの補正は、単に局所的に発生した歪みを局所的に補正しているに過ぎない。より具体的には、歪み発生箇所の表示のスケーリングを変更しているに過ぎない。そして、領域ごとの形状に応じて、異なるスケーリング率（縮小率）によりスケーリングが行われる。その結果、隣接する領域ごとで異なるスケーリング率となり得る。このため、形状の歪み自体は補正されたとしても、各領域の解像度が異なってしまう。さらに言えば、局所的なサイズ縮小が行われた各領域で上述した解像度が低下し、さらにはその低下の度合いが領域ごとに異なる。そのため、例えば静止画を投影した場合、投影された静止画は領域ごとに解像度のバラツキが生じ、人間にとっての見え方が不自然になる。また、例えば微細な模様をもつ物体が動く動画を投影した場合、スクリーン上のある部分では鮮明に映っていた当該微細な模様が、スクリーン上の別の部分において、ぼけて映ってしまい、明らかに不自然な動画の表示となってしまう。つまり投影された画像（静止画や動画を含む）の画質が劣化してしまうのである。

また、上述した特許文献４及び５に開示された技術についても同様の問題が発生する。

そして、特許文献１に開示された技術は、イメージセンサによりスクリーン投影画像を取得することにより、投影エリアを認識し、投影エリアをスクリーンへ合わせて調整するものである。しかし、特許文献１は、投影面が平面であることを前提にしているため、投影面が凹凸や曲面の場合には、サイズ、表示位置又はフォーカスが合わない領域が存在してしまう。つまり、光学的な要因による解像度の不均一化は発生してしまう。

そして、特許文献２に開示された技術は、イメージセンサを使用したものであり、形状的な歪み補正にのみに目的を置いている。そのため、形状補正とそれに付随するサイズ及び表示位置については補正が可能となる。しかし、特許文献２では、画面全体のフォーカス特性が不均一なままであり、画質品位としては不満足なものとなる。

尚、その他、上述した特許文献６〜９の開示された技術を用いても、上述した問題点を解決することはできない。

本発明の第１の態様にかかる画像投影システムは、レンズから画像を出力して投影面に投影すると共に、投影面に投影された画像の各領域の解像度がそれぞれの領域の間で均一ではない場合、レンズの光学特性の逆特性に基づいて画像の各領域の解像度のそれぞれを補正して、画像を前記投影面に投影する。これにより、光学的な要因によって発生する投影画像解像度の不均一が解消される。

本発明の第２の態様にかかる画像投影システムは、投影面に画像の形状が歪まないようにその画像を投影することによって、投影された画像の一の領域の解像度が別の領域の解像度よりも低下する場合には、別の領域の解像度が一の領域の解像度と略同一となるように劣化させた画像を投影する。これにより電気的な要因によって発生する解像度の不均一が解消される。

本発明の第３の態様にかかる半導体集積回路は、投影面に画像の形状が歪まないようにその画像を投影することによって、投影された画像の一の領域の解像度が別の領域の解像度よりも低下する場合には、別の領域の解像度が前記一の領域の解像度と略同一となるように劣化させた画像を出力する。

本発明の第４の態様にかかる画像投影システムは、投影面に対して対象画像を投影する投影部と、前記対象画像が投影された前記投影面を撮影する撮影部と、前記投影面が撮影された画像である撮影画像を解析する解析部と、前記解析された結果に基づいて前記対象画像を補正する補正部と、を備え、前記解析部は、前記対象画像と前記撮影画像との形状の差分が所定の範囲内である場合に、当該撮影画像を複数の領域に分割し、当該領域毎に解像度を算出し、前記補正部は、前記領域間の解像度が均一となるように前記対象画像から第１の補正画像を生成し、前記投影部は、前記第１の補正画像を前記投影面に対して投影する。

本発明の第５の態様にかかる半導体集積回路は、対象画像が投影された投影面を撮影した画像である撮影画像を解析する解析部と、前記解析された結果に基づいて前記対象画像を補正する補正部と、を備え、前記解析部は、前記対象画像と前記撮影画像との形状の差分が所定の範囲内である場合に、前記撮影画像を複数の領域に分割し、当該領域毎に解像度を算出し、前記補正部は、前記領域間の解像度が均一となるように前記対象画像から第１の補正画像を生成し、前記第１の補正画像を前記投影面に対して投影させる。

人間の目は、ある画像の一の領域と別の領域の解像度が異なっていると、その画像の映り方の差に敏感に反応し、当該画像はぼやけた不鮮明な画像だと認識する。ところがその一方で人間の目は、画像の解像度が一の領域で低下していても、他の領域も略同一に低下していると、解像度の劣化を認識できず、良好な画質でその画像が表示されているものと錯覚する。上述した解決手段は、まさにこの人間の目の特性を巧みに利用しているのである。

本発明により、光学的あるいは電気的に発生した解像度の不均一化の発生を抑制することで、人間の視感度上の画質劣化を防止することができる。

本発明の実施の形態１にかかる画像投影システムの構成を示すブロック図である。 本発明の実施の形態１にかかるＬＳＩの構成を示すブロック図である。 本発明の実施の形態１にかかる画像調整処理の流れを示すフローチャートである。 本発明の実施の形態１にかかる目標画像設定処理の流れを示すフローチャートである。 本発明の実施の形態１にかかる光学的補正処理の流れを示すフローチャートである。 本発明の実施の形態１にかかる形状歪み補正処理の流れを示すフローチャートである。 本発明の実施の形態１にかかる解像度補正処理の流れを示すフローチャートである。 本発明の実施の形態１にかかる輝度補正処理の流れを示すフローチャートである。 本発明の実施の形態１にかかる目標画像の例を示す図である。 本発明の実施の形態１にかかる投影面に投影された目標画像が撮影された撮影画像の例を示す図である。 本発明の実施の形態１にかかる目標画像から形状歪みの補正をした補正画像の例を示す図である。 本発明の実施の形態１にかかる補正画像にテストパターンを挿入した画像の例を示す図である。 本発明の実施の形態１にかかる画像全体の解像度のバラツキの例を示す図である。 本発明の実施の形態１にかかる領域内の解像度のバラツキの例を示す図である。 本発明の実施の形態１にかかる領域内の解像度の補正がされた補正画像の例を示す図である。 関連技術にかかるプロジェクタからスクリーンへ投影する対象となる画像の例を示す図である。 関連技術にかかる画像の台形補正の例を示す図である。 関連技術にかかる画像投影システムとスクリーンとの関係を説明するための図である。 関連技術にかかる画像投影システムとスクリーンとの関係を説明するための図である。 関連技術にかかる原画像が投影された画像の例を示す図である。 関連技術にかかる原画像を台形補正した補正画像の例を示す図である。 関連技術にかかる補正画像が投影された画像の例を示す図である。 関連技術にかかる画像投影システムと凹凸面を有するスクリーンとの関係を説明するための図である。 関連技術にかかる凹凸面を有するスクリーンと分割領域の例を示す図である。 関連技術にかかる原画像と投影画像との関係を説明するための図である。 関連技術にかかる補正画像と投影画像との関係を説明するための図である。

以下では、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。各図面において、同一要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略する。

＜発明の実施の形態１＞
図１は、本発明の実施の形態１にかかる画像投影システム１００の構成を示すブロック図である。画像投影システム１００は、予め登録された後述するテストパターンに基づき生成された目標画像を投影面２００に対して投影し、投影面２００から撮影された撮影画像に基づき、適宜、目標画像を調整することにより、投影面２００に表示される画像の画質を一定の品質に維持するものである。これにより、投影面２００の形状に応じて適切な画像を表示することができる。または、画像投影システム１００は、信号発生器３００から受け付けた映像又は画像の入力信号を投影面２００に対して投影し、投影面２００から撮影された画像に基づき、適宜、入力信号を調整するようにしてもよい。この画像投影システムの具体的な例の一つとしては、画像をスクリーンなどの投影面に投影する機能を有するプロジェクタが考えられる。また近年では、機器の規模が縮小されたポータブルプロジェクタも登場してきているが、そのような軽量で規模の小さいプロジェクタと考えることもできる。そのほか、パーソナルコンピュータ等の電子機器から画像を照射して投影する機能を実現するシステムに対応していると言うこともできる。

信号発生器３００は、映像コンテンツや画像ファイル等のデータを読み出して、画像投影システム１００へ信号として出力する機器である。信号発生器３００は、例えば、パーソナルコンピュータ等の汎用的なコンピュータ又はＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）再生装置等である。

投影面２００は、表面の形状が概ね平らであることが保証されない所定の領域である。すなわち、少なくとも部分的に平らではない形状を含む投影面である。具体的な例を挙げると、投影面２００は、凹凸面又は曲面形状を有するものである。凹凸面とは、例えば、屋内の壁面又は天井であり、壁紙等による表面上の奥行きの差が顕著であるものである。また、投影面２００は、建物の外壁又は円柱状の柱等であってもよい。尚、投影面２００が表面の形状が概ね平らであることが保証される専用のスクリーン等であっても、本発明の実施の形態１が適用可能なことは勿論である。但し、上述した投影面２００に対して投影する際に本発明の実施の形態１の効果がより発揮される。

ここで、画像投影システム１００は、イメージセンサ１０と、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）２０と、光学制御部３０と、ドライバ４０と、投射光学系モジュール５０とを備える。ここで、投射光学系モジュール５０は、例えばＤＭＤ／ＬＣＤなどのパネル・レンズ群、光源(Ｌｉｇｈｔ Ｓｏｕｒｃｅ)などを含んでいる。

イメージセンサ１０は、投影面２００を撮影する撮影部である。そのため、投影面２００に画像が投影されている場合、イメージセンサ１０は、投影面２００に表示された内容を画像として撮影することができる。イメージセンサ１０は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）センサなどである。

ＬＳＩ２０は、映像又は画像の入力信号を処理する半導体集積回路である。ＬＳＩ２０は、信号発生器３００から受け付けた入力信号を、ドライバ４０を介して投射光学系モジュール５０により投影させる。また、ＬＳＩ２０は、イメージセンサ１０により撮影された撮影画像を解析及び補正を行い、投射光学系モジュール５０により再投影させる。尚、ＬＳＩ２０は、信号発生器３００から受け付けた入力信号だけでなく、予め内部に登録されたテストパターンを用いて、撮影画像を補正することもできる。

ＬＳＩ２０は、画像解析部２１と、画像表示部２２と、記憶部２３とを備える。記憶部２３は、対象画像を調整するための各種の画像データであるテストパターン２３１を予め記憶した記憶装置である。テストパターン２３１は、例えば、クロスハッチ、解像度チャート、Ｗラスター等であってもよい。クロスハッチは、サイズ、位置又は形状歪みの補正をするために用いられるテストパターンである。クロスハッチは、例えば、縦横に均等間隔で格子状に並べられた複数の直線であってもよい。また、解像度チャートは、例えば、所定の太さの複数の直線であるとよい。つまり、テストパターン２３１は、複数の同一形状の部分画像であってもよい。

画像解析部２１は、イメージセンサ１０が撮影した、投影面２００の画像である撮影画像を解析する解析部である。画像表示部２２は、画像解析部２１により解析された結果に基づいて対象画像を補正する補正部である。ここで、画像解析部２１は、撮影画像と対象画像との形状の差分を算出する。これは、撮影画像に対して焦点を合わせた部分であるフォーカスセンターを決定するためや、フォーカスセンターからの投影距離の差分によって発生した撮影画像の解像度の劣化を補正するため、さらには上述した形状歪み補正のために行われる処理である。画像解析部２１がフォーカスセンターを決定する処理は後述する。また、画像解析部２１は、撮影画像に対してレンズが有する光学特性の逆特性に基づいて、撮影画像の各領域の解像度を補正するための処理を行う。そして、画像解析部２１は、撮影画像と対象画像との形状の差分が所定の範囲内である場合、すなわち形状歪み補正を最初から行う必要がない場合か、またはこれ以上形状歪補正を行う必要がない場合に、当該撮影画像を複数の領域に分割し、当該領域毎に解像度を算出する。画像表示部２２は、この撮影画像の一の領域の解像度が、別の一の領域の解像度よりも低下している場合、当該別の一の領域の解像度が当該一の領域の解像度と略同一となるように劣化させる。これを繰り返し、撮影画像が有する領域のそれぞれで、解像度が略同一となるように、各領域の解像度を調整する。解像度の劣化の具体的な手法についてはいくつか例があるため、この点は後述する。なお、本明細書では、解像度を劣化させる処理を行った結果、それぞれの領域の解像度が略同一となった画像を第１の補正画像ということにする。これに伴い、投射光学系モジュール５０は、第１の補正画像を投影面２００に対して投影する。これにより、投影面に投影された画像についての解像度を均一化することができる。人間の目は、解像度が劣化していても、画像のそれぞれの領域で略同一に解像度が劣化しているため、解像度の劣化に気付かず良好な画質で投影面２００に画像が投影されていると錯覚する。すなわち、人間の視覚上における画質の劣化を防止することができる。

さらに、画像解析部２１は、撮影画像における前記領域間の解像度の差分が所定の範囲内である場合に、当該領域毎に輝度を算出する。これは、解像度の調整を最初から行う必要がないか、調整した結果、解像度の調整をこれ以上行う必要がない場合に行われる処理である。そして、画像表示部２２は、領域間の輝度が均一となるように第１の補正画像から第２の補正画像を生成する。すなわち、撮影画像の一の領域の輝度値が別の一の領域の輝度値よりも低下している場合、別の一の領域の輝度値が当該一の領域の輝度値と略同一となるように低下させる。人間の目は、一の領域の輝度値と別の領域の輝度値が違う場合、画面の明るさが部分的に異なるため、画像の映り具合に違和感を持つ。しかし、別の領域の輝度値が一の領域の輝度値と略同一に低下している場合、錯覚を起こし、違和感を持たなくなる。したがって、上記の輝度値の調整を画面全体に行うことで画面全体の輝度値が略同一に低下し、人間の目に不自然に映ることはなくなる。これに伴い、投射光学系モジュール５０は、第２の補正画像を投影面２００に対して投影する。これにより、投影面に投影された画像についての輝度を調整し、人間の視覚上の画質の劣化をさらに抑えることができる。

また、画像表示部２２は、形状の差分が所定の範囲外である場合に、当該形状の差分に基づき対象画像の形状の歪みを補正して第３の補正画像を生成する。これに伴い、投射光学系モジュール５０は、第３の補正画像を投影面２００に対して投影する。続いて、画像解析部２１は、撮影画像と対象画像との形状の差分が所定の範囲内である場合に、当該撮影画像における領域毎に解像度を算出する。そして、画像表示部２２は、第３の補正画像に基づいて上記の第１の補正画像を生成する。これにより、形状歪みの補正に伴い解像度が不均一になった場合でも、画質を向上させることができる。

特に、画像表示部２２は、凹凸面に応じてそれぞれの領域の解像度が均一となるように第１の補正画像を生成する。これにより、様々な形状を有する投影面であっても所定のレベルの画質に、人間の目の視覚的に、調整することができる。

光学制御部３０は、投射光学系モジュール５０におけるレンズの調整等の光学的な制御を行う。投射光学系モジュール５０は複数枚のレンズを含んでおり、これらのレンズの相対的な位置関係が変更されることで、フォーカスセンターの位置を調整することができる。すなわち、光学制御部３０は、投射光学系モジュール５０が含むレンズの相対的な位置関係を制御する制御部である。ドライバ４０は、投射光学系モジュール５０を電気的に制御し、駆動させるものである。投射光学系モジュール５０は、投影面２００に対してドライバ４０を介して受け付ける入力信号に基づく画像を投影する。

画像投影システム１００は、投射光学系モジュール５０により投影面２００に投影された画像をイメージセンサ１０により撮影して撮影画像を取得する。そして、画像投影システム１００は、撮影画像と予め設定された理想的な対象画像との差分を検出し、差分に基づき対象画像を補正する。このとき、画像投影システム１００は、形状、解像度及び輝度の差分がユーザによって設定された任意の許容範囲内に収まるまで、補正後の対象画像の投影及び撮影、光学的及び電気的補正を繰り返すフィードバック処理を行う。

図２は、本発明の実施の形態１にかかるＬＳＩ２０の構成を示すブロック図である。画像解析部２１は、撮影画像取り込み部２１１と、投影エリア設定部２１２と、目標画像生成部２１３と、差分解析部２１４と、光学的補正パラメータ算出部２１５と、電気的補正パラメータ算出部２１６とを備える。撮影画像取り込み部２１１は、イメージセンサ１０により投影面２００から撮影された撮影画像を取り込む。例えば、撮影画像取り込み部２１１は、撮影画像としてＲＧＢのデータを取得する。投影エリア設定部２１２は、対象画像の投影前の投影面２００における撮影画像について、対象画像を投影するための領域である投影エリアを設定する。

具体的には、投影エリア設定部２１２は、ユーザから投影エリアの領域を定義する座標の指定を受け付け、撮影画像上に当該座標を設定し、設定された座標内の領域を投影エリアとする。尚、投影エリアの座標を予め記憶部２３に格納していても構わない。その場合、投影エリア設定部２１２は、記憶部２３から投影エリアの座標を読み出し、投影エリアを設定する。

また、投影エリアの座標は、例えば、矩形を定義するための４隅の座標であるか、投影エリアの中心座標等の基準座標とそのサイズ又は投影エリアの形状等を定義するものであればよい。そのため、投影エリアは、矩形である必要はなく、多角形、曲線又は円等であってもよい。尚、投影エリア設定部２１２は、対象画像の投影前の投影面２００における撮影画像に対して、都度、設定を行うことで、投影面２００を含む周辺環境と投射光学系モジュール５０の能力を考慮して最適な領域を設定することができる。

目標画像生成部２１３は、投影面２００に投影される対象画像である目標画像を生成する。具体的には、目標画像生成部２１３は、記憶部２３からテストパターン２３１を読み出して、投影エリア設定部２１２により設定された投影エリア内に収まるようにテストパターン２３１を加工して目標画像を生成する。尚、目標画像生成部２１３は、テストパターン２３１を用いず、信号発生器３００から受け付けた入力信号に基づく画像を目標画像としてもよい。なお、目標画像の例を図９に示す。ここで、目標画像は、例として、格子状のクロスハッチのパターンによって格子毎の領域に分割されている。この格子の大きさは、領域の面積が形状歪みの補正を行うことができるものである必要がある。格子の大きさが小さければ小さいほど、きめ細かな形状歪み補正を実行することができるが、演算量が増加する。図２４のように投影面をｘ軸に沿った曲線とした場合において、格子内に二つ以上の変極点を含まないような格子サイズであれば、最低限、適切に形状歪み補正を実行できる。また、目標画像生成部２１３は、画像投影システム１００における画像の調整する際の許容範囲を設定する。許容範囲は、例えば光学的補正に関しては表示位置や表示サイズ、フォーカスセンターの調整の幅を定義するものであり、電気的補正に関しては形状、解像度、輝度又は色等に対する調整の幅を定義したものである。例えば、上限と下限の割合等で調整の幅を表現する。

差分解析部２１４は、目標画像と実際に投影した画像、例えばテストパターンの撮影画像との差分を算出し、投影面２００と投射光学系モジュール５０との間の距離（以下、投影距離）や投影面２００の反射率を算出する。例えば差分解析部２１４は、目標画像のそれぞれの領域と比べて撮影した画像の対応するそれぞれの領域がどの程度ぼやけて表示されているかに基づいて、投影される画像のそれぞれの領域の相対的な投影距離を求める。そして、差分解析部２１４は、この相対的な投影距離から、どの領域をフォーカスセンターとするかを決定する。より具体的には、差分解析部２１４は、撮影した画像の各領域のぼけの程度を見て、最もぼけていない領域を現在のフォーカスセンターと認識する。ここで、本来フォーカスセンターとしたい領域は、画像投影システムのレンズ部分からの投影距離がそれぞれの投影距離の中で中間となる領域である。これは、投影距離が中間となる領域にフォーカスセンターを設定することで、フォーカスセンターからの距離に応じたフォーカス性能の劣化を最小限に抑制・管理するためである。よって、差分解析部２１４は、各領域の投影距離の内、中間となる領域を検出し、その領域をフォーカスセンターと決定する。また、差分解析部２１４は、撮影した画像のそれぞれの領域の反射率から、それぞれの領域の輝度を求める。また、差分解析部２１４は、目標画像が後述する図９のテストパターンのように、表示しようとする画像がパターンにより複数の領域に分割されている場合、当該領域に応じて、撮影画像の分割を行う。そして、差分解析部２１４は、分割された領域ごとに、目標画像と撮影画像との形状等の差分を算出する。さらに、差分解析部２１４は、撮影画像の各領域の解像度及び輝度を算出し、撮影画像内の領域間の解像度及び輝度の差分を算出する。

光学的補正パラメータ算出部２１５は、光学制御部３０が投射光学系モジュール５０のレンズ等を制御するための光学的な補正量を算出する。上述したように、差分解析部２１４は、投影面２００に投影された画像が有するそれぞれの領域に対して、どの領域をフォーカスセンターとするか決定している。差分解析部２１４によって決定されたフォーカスセンターの位置に基づいて、光学的補正パラメータ算出部２１５は、差分解析部２１４によって指定された領域がフォーカスセンターとなるように投射光学系モジュール５０のレンズのそれぞれの相対的な位置関係を調整するための制御情報を算出する。この制御情報が上記した補正量である。そして、光学的補正パラメータ算出部２１５は、算出した補正量を光学制御部３０へ出力する。電気的補正パラメータ算出部２１６は、ドライバ４０が投射光学系モジュール５０を制御するための電気的な補正量を算出する。そして、電気的補正パラメータ算出部２１６は、算出した補正量を画像表示部２２へ出力する。ここで、電気的な補正量は、例えば、レンズの有する光学特性の逆特性に基づく画素値の補正量、あるいは上述した形状、解像度及び輝度に関する補正量等である。

画像表示部２２は、画像解析部２１からの電気的補正パラメ−タに従って目標画像を処理、すなわち補正して、ドライバ４０へ出力する。画像表示部２２は、画像変形部２２１と、解像度変換部２２２と、ゲイン調整部２２３とを備える。画像変形部２２１は、電気的補正パラメータ算出部２１６が算出した補正量に基づいて目標画像のサイズ、表示位置及び形状歪みを補正する。また、画像変形部２２１は、適宜、記憶部２３からテストパターン２３１を読み出し、補正に用いる。解像度変換部２２２は、投影エリア全体の解像度を均一化するために、投射光学系モジュール５０で使用されているレンズの光学特性の逆特性に基づいて投影する画像の画素値を電気的に補正するため、投影する前の画像に対して２次元フィルタ処理や超解像又はシャープネス処理などを行う。これは、光学制御部３０がフォーカスセンターを決定した段階では、投影面とレンズ部分の距離のばらつきによるぼけやレンズの光学特性の要因によって投影する一の画像の解像度が画像内で均一化されていない場合に解像度を均一化するための処理である。また、さらに解像度変換部２２２は、上記した画像変形部２２１が形状歪みの補正を行った結果、投影する一の画像の解像度が画像内で均一化されていない場合に解像度を均一化するための処理も行う。具体的には、解像度変換部２２２は、イメージセンサ１０を解してＬＳＩ２０に入力される撮影画像の一の領域の解像度と別の領域の解像度の調整を行う。その際、解像度変換部２２２は、当該一の領域の解像度が劣化している場合に当該別の領域の解像度が当該一の領域の解像度と略同一となるように劣化させる。例えばこの一の領域とは、撮影され、入力された画像の中で最も解像度が低くなってしまった領域とすることができる。その場合には、解像度変換部２２２が上記の処理を行うことで、撮影された画像の解像度を、最も低下した解像度で均一化することができる。このように解像度を均一化した画像を再度、投射光学系モジュール５０から投影面２００に投影することで、人間の目には解像度の劣化が認識できない良好な画像として映る。

ゲイン調整部２２３は、投影エリア全体の輝度を均一化するためのＲＧＢ別の調整を行う。具体的にはこのゲイン調整部２２３が、イメージセンサ１０を解してＬＳＩ２０に入力される撮影画像の一の領域の輝度と別の領域の輝度の調整を行う。その際、ゲイン調整部２２３は、当該一の領域の輝度が低下している場合に当該別の領域の輝度が当該一の領域の輝度と略同一となるように劣化させる。例えばこの一の領域とは、撮影され、入力された画像の中で、投影面２００の設置環境や形状によって最も輝度が低く投影面２００に映ってしまった領域とすることができる。その場合、ゲイン調整部２２３が上記の処理を行うことで、撮影された画像の輝度を、最も低下した輝度で均一化することができる。このように輝度を均一化した画像を再度、投射光学系モジュール５０から投影面２００に投影することで、人間の目には良好な輝度の画像として映る。

また、画像変形部２２１は、本発明の実施の形態１にかかる画像調整処理において、適宜、目標画像を更新しても構わない。例えば、形状歪みを補正するための目標画像と、解像度及び輝度を補正するための目標画像とについて、異なるテストパターン２３１を用いても構わない。その場合、画像変形部２２１は、解像度又は輝度チェック用のテストパターンにより目標画像を更新し、更新後の目標画像から形状歪み補正を行っても構わない。尚、目標画像の更新を目標画像生成部２１３により実現しても構わない。

図３は、本発明の実施の形態１にかかる画像調整処理の流れを示すフローチャートである。まず、画像投影システム１００は、目標画像設定処理を行う（Ｓ１０）。次に、画像投影システム１００は、光学的補正処理を行う（Ｓ２０）。そして、画像投影システム１００は、形状歪み補正処理を行う（Ｓ３０）。続いて、画像投影システム１００は、解像度補正処理を行う（Ｓ４０）。その後、画像投影システム１００は、輝度補正処理を行う（Ｓ５０）。以下、ステップＳ１０〜Ｓ５０の各処理について詳細に説明する。尚、以下の図９〜図１５に示す各画像は、本発明の実施の形態１を説明するために模式的に図示したものであるため、厳密な画像ではないものである。

図４は、本発明の実施の形態１にかかる目標画像設定処理の流れを示すフローチャートである。まず、イメージセンサ１０は、画像投影前の投影面２００を撮影する（Ｓ１１）。そして、撮影画像取り込み部２１１は、イメージセンサ１０から撮影画像を取得し、投影エリア設定部２１２へ出力する。

次に、投影エリア設定部２１２は、受け付けた撮影画像に基づき、投影エリア及び許容範囲を設定する（Ｓ１２）。投影エリア設定部２１２は、許容範囲として、光学的補正のための投影距離の差分の許容値、例えば差分の上限及び下限値又は上限と下限の比率を設定する。その他にも、投影エリア設定部２１２は、形状歪み補正のための領域面積の差分の許容値、具体的には差分の上限及び下限値又は上限と下限の比率、解像度の差分の許容値、具体的には差分の上限及び下限値又は上限と下限の比率及び輝度の差分の許容値、具体的には差分の上限及び下限値又は上限と下限の比率を設定する。そして、目標画像生成部２１３は、目標画像を生成する（Ｓ１３）。このとき、目標画像生成部２１３は、例えば、記憶部２３から形状歪みチェック用として格子状のテストパターン２３１を取得し、投影エリア内に収まるように目標画像を生成する。図９は、本発明の実施の形態１にかかる目標画像Ｇ３０の例を示す図である。尚、形状歪みチェック用のテストパターンの格子数や間隔は、図９の例に限定されない。

その後、投射光学系モジュール５０は、目標画像を投影する（Ｓ１４）。ここでは、目標画像生成部２１３で生成された目標画像が、差分解析部２１４、電気的補正パラメータ算出部２１６、画像表示部２２及びドライバ４０を経由して投射光学系モジュール５０により投影されるものとする。または、目標画像が画像表示部２２を経由せず、ドライバ４０へ出力されても構わない。

そして、イメージセンサ１０は、投影面２００を撮影する（Ｓ１５）。このとき、撮影画像取り込み部２１１は、イメージセンサ１０から撮影画像を取得し、差分解析部２１４へ出力する。

そして、差分解析部２１４は、目標画像と撮影画像との差分解析を行う（Ｓ１６）。具体的には、まず、差分解析部２１４は、目標画像における各格子点に基づき、撮影画像において対応する格子点を認識する。すなわち、差分解析部２１４は、目標画像における各領域に対応するように、撮影画像を複数の領域に分割する。そして、差分解析部２１４は、撮影画像の領域ごとに投影距離を算出する。例えば、差分解析部２１４は、目標画像と撮影画像との対応する領域ごとに面積を比較することにより、各領域の相対的な投影距離を算出する。その後、差分解析部２１４は、複数の領域のうち最も焦点を合わせる領域をフォーカスセンターとして決定する。フォーカスセンターには、例えば、各領域の投影距離のうち中央値である領域を定める。差分解析部２１４は、定めた領域の情報を光学的補正パラメータ算出部２１５に出力する。そして光学的補正パラメータ算出部２１５は、定められた領域がフォーカスセンターとなるように、投射系光学モジュール５０が含むレンズが制御される制御情報を光学制御部４０に出力する。

図１０は、投影面２００に投影された目標画像Ｇ３０がイメージセンサ１０により撮影された撮影画像Ｇ３１の例を示す図である。撮影画像Ｇ３１は、目標画像Ｇ３０と比べて形状歪みが発生していることを示す。例えば、領域Ｒ６は、目標画像Ｇ３０との領域サイズの比率が１００％であるため、差分がないことを示す。また、領域Ｒ７は、目標画像Ｇ３０との領域サイズの比率が１５６％であるため、領域Ｒ６に比べて投影距離が長いことを示す。逆に、領域Ｒ８は、目標画像Ｇ３０との領域サイズの比率が５６％であるため、領域Ｒ６に比べて投影距離が短いことを示す。そのため、領域Ｒ６、Ｒ７、Ｒ８の中では、フォーカスセンターが領域Ｒ６となる。

図４に戻って説明する。続いて、差分解析部２１４は、投影距離の差分が許容範囲であるか否かを判定する（Ｓ１７）。つまり、光学制御部４０は、光学的補正パラメータ算出部２１５から受け取った制御情報に従って、投射系光学モジュール５０のレンズの位置を制御し、フォーカスセンターを決定する。投射系光学モジュール５０は、フォーカスセンターが決定された画像を投影面２００に再度投影する。そしてイメージセンサ１０が再度、フォーカスセンターが決定された画像を撮影して取り込む。さらに、画像解析部２１がその画像を取り込み、差分解析部２１４が、当該画像を取得する。そして差分解析部２１４は、フォーカスセンターが決定された画像のそれぞれの領域同士の相対的な投影距離を、目標画像のそれぞれの領域の面積に基づいて算出する。また、差分解析部２１４は、取得した画像の表示位置や表示サイズを把握する。このとき、投影された画像のそれぞれの領域同士の投影距離の差分、表示位置、表示サイズがそれぞれ許容範囲である場合、当該画像調整処理を終了する。この場合は、投影した画像は、フォーカスセンターや表示位置、表示サイズを決定したことにより、その画像内において解像度が均一化されているからである。フォーカスセンターから見た相対的な投影距離が許容範囲内であるということは、画像全体で焦点が定まっており、解像度は一様に均一化されているとみなせるからである。その一方で、投影された画像のそれぞれの領域同士の投影距離の差分の少なくとも一つが許容範囲を超えている場合、光学的補正処理へ進む。この場合、投影された画像内において解像度が均一化されていないからである。

図５は、本発明の実施の形態１にかかる光学的補正処理の流れを示すフローチャートである。投影された画像のそれぞれの領域同士の投影距離の差分の少なくとも一つが許容範囲を超えている場合や、表示位置や表示サイズが許容範囲を超えている場合には、光学的補正パラメータ算出部２１５は、投射光学系モジュール５０のレンズのシフト量を光学的補正パラメータとして算出する（Ｓ２１）。そして光学制御部３０は、算出されたレンズシフト量に基づいて、投射光学系モジュール５０のレンズのシフトを行って純粋に光学的に表示位置や表示サイズを調整するか、あるいはフォーカスセンターとする領域を再度決定し直す、光学的な補正を行う（Ｓ２２）。次に、本実施の形態では、ステップＳ２２−２において、以下に記述するＭＴＦ曲線に基づく２次元フィルタのように、電気的に画像の画素値を補正する処理も行う（Ｓ２２−２）。例えば、投影面の形状は平面であっても巨大であり、投影に用いられているレンズの光学的な特性の限界によって画像がぼけて表示されているケースを考える。レンズの焦点を合わせることが可能である範囲はレンズごとに異なり、レンズの能力が異なっている。そこで電気的補正パラメータ算出部２１６は、記憶部２３から、投射光学系モジュール５０で使用されているレンズの光学特性を読み出す。尚、記憶部２３には、投射光学系モジュール５０で使用されているレンズの光学特性も予め記憶されているものとする。係るレンズの光学特性とは、例えばレンズのＭＴＦ曲線が考えられる。ＭＴＦ曲線は、レンズの中心から離れたレンズ部分を用いて投影した画像が、どの程度、解像度が劣化するかを示している。そこで、電気的補正パラメータ算出部２１６は、ＭＴＦ曲線に従って投影する画像の解像度が劣化しても投影後の画像の解像度が均一化されるように、投影する画像の画素値を補正するためのパラメータを算出する。つまり、レンズの光学特性の逆特性に基づいて、画像を補正するためのパラメータを算出することになる。ここでいうパラメータとは、例えば画像に対して適用する２次元フィルタのフィルタ係数である。係る２次元フィルタは、レンズの光学特性の逆特性を近似した２次元フィルタとなる。この２次元フィルタを用いることで、例えばＭＴＦ曲線に基づけば解像度が劣化して線幅が太って表示されると想定される線分を、あらかじめ投影前により細い線幅の線分に変更しておき、投影後には線幅が太ったように見えなくするといった処理が可能となる。その後、投射光学系モジュール５０は、目標画像を投影する（Ｓ２３）。そして、イメージセンサ１０は、投影面２００を撮影する（Ｓ２４）。ここで、差分解析部２１４は、図４のステップＳ１６と同様に、目標画像と撮影画像との差分解析を行う（Ｓ２５）。

続いて、差分解析部２１４は、投影した画像のそれぞれの領域同士の解像度の差分が許容範囲であるか否かを判定する（Ｓ２６）。すなわち、差分解析部２１４は、投影した画像のそれぞれの領域同士の解像度の差分が許容範囲である場合、形状歪み補正処理へ進む。これは、投影面が少なくとも部分的に平らではない箇所を含む場合には、投影画像の形状が歪むからである。また、投影した画像のそれぞれの領域同士の解像度の差分が許容範囲を超えている場合、ステップＳ２１へ戻り、上記した補正を２次元フィルタの係数を変更するなどして、再度行う。

図６は、本発明の実施の形態１にかかる形状歪み補正処理の流れを示すフローチャートである。まず、電気的補正パラメータ算出部２１６は、スケーリング率等を算出する（Ｓ３１）。具体的には、電気的補正パラメータ算出部２１６は、図５のステップＳ２６により解析された目標画像と撮影画像との領域の差分に基づいて、形状歪み補正をするための電気的補正パラメータを算出する。形状歪み補正をするための電気的補正パラメータの一例としては、スケーリング率が挙げられる。この場合、電気的補正パラメータ算出部２１６は、撮影画像の各領域のうち最も投影距離が短い領域を基準領域とする。そして、電気的補正パラメータ算出部２１６は、基準領域に対する他の領域のサイズの比率の逆数をスケーリング率として算出する。すなわち、電気的補正パラメータ算出部２１６は、各領域における線分の長さが最も投影距離が短い領域における対応する線分の長さより長い場合、目標画像の線分の長さを短くするようなスケーリング率を算出する。例えば、図１０の撮影画像Ｇ３１の場合、基準領域は、最も投影距離が短い領域Ｒ８となる。そして、撮影画像Ｇ３１における領域Ｒ８に対する領域Ｒ７の線分の長さの比率が１５６％／５６％＝２７９％であるため、その逆数である３６％がスケーリング率となる。また、電気的補正パラメータ算出部２１６は、撮影画像により生じた形状歪みが台形である場合、当該領域を逆台形とする場合の比率を算出する。

次に、画像変形部２２１は、目標画像の形状歪みを補正する（Ｓ３２）。つまり、画像変形部２２１は、算出された電気的補正パラメータに基づいて、投影画像と目標画像のサイズ、表示位置及び形状が同等になるようにデジタル信号処理補正を行う。例えば、画像変形部２２１は、ステップＳ３１により算出されたスケーリング率に基づいて目標画像の形状を補正する。

図１１は、本発明の実施の形態１にかかる目標画像Ｇ３０から形状歪みの補正をした補正画像Ｇ３２の例を示す図である。ここで、スケーリングは画像サイズを縮小する方向に行うことを前提とする。そうすると、最も投影距離が短く画像サイズが小さくなっている領域Ｒ８は縮小なし（１００％のサイズ）となる。投影距離が中間となる補正画像Ｇ３２の領域Ｒ６は、形状歪みが発生していないが、領域Ｒ８を縮小なしとしたため、所定のスケーリング率（５６％）で縮小する。また、領域Ｒ７は、撮影画像Ｇ３１において形状歪みが発生していたため、領域Ｒ６よりさらに大きな縮小率（３６％）で縮小する。

図６に戻って説明する。そして、投射光学系モジュール５０は、補正後の目標画像を投影する（Ｓ３３）。その後、イメージセンサ１０は、投影面を撮影する（Ｓ３４）。そして、差分解析部２１４は、目標画像と撮影画像との差分解析を行う（Ｓ３５）。このとき、差分解析部２１４は、目標画像と撮影画像との領域ごとにサイズ、表示位置及び形状（以下、形状等）における差分を算出する。

続いて、差分解析部２１４は、形状等の差分が許容範囲であるか否かを判定する（Ｓ３６）。形状等の差分が許容範囲である場合、解像度補正処理へ進む。また、形状等の差分が許容範囲を超えている場合、ステップＳ３１へ戻る。尚、形状等の差分が許容範囲である場合とは、概ね、目標画像Ｇ３０と同等の画像となるため、ステップＳ３４により撮影された撮影画像の例示は、省略する。

図７は、本発明の実施の形態１にかかる解像度補正処理の流れを示すフローチャートである。まず、画像変形部２２１は、解像度チェック用のテストパターンを目標画像に挿入して補正する（Ｓ４１）。例えば、画像変形部２２１は、ステップＳ１３で生成した目標画像に、解像度チェック用のテストパターンを挿入する。その後、画像変形部２２１は、ステップＳ３２と同等の形状歪み補正を行うことで、目標画像を更新してもよい。これにより、領域内の解像度の不均一さを検出することができる。ここで、解像度チェック用のテストパターンは、領域当たりに少なくとも２本以上の線を含むものとする。周波数特性を考慮するためである。なお、ここではわかりやすさのために図１２のようなテストパターンを例にとって解像度の調整を説明している。しかし、テストパターンを用いず、信号発生器３００から入力される画像、例えば静止画や動画を投影面２００に投影し、投影されたその画像を撮影して上述の形状歪み補正を行い、形状歪補正を行った当該画像に対して解像度の調整を行ってもよく、以下の処理を適用できる。

図１２は、本発明の実施の形態１にかかる目標画像Ｇ３０に解像度チェック用のテストパターンＴ１を挿入した更新後の目標画像Ｇ３３の例を示す図である。テストパターンＴ１は、各領域に同一の太さの３本の直線により表現したものである。ここで、より具体的な例を通しての説明を行えるようにするために、それぞれの線は、例えば１画素よりも大きい画素数、例えば３画素の幅を持って垂直方向に描かれているとする。つまり、図１２は、３画素の幅を持つ線分がそれぞれの格子内に３本描かれているというパターンを示していることになる。尚、解像度チェック用のテストパターンの例はこれに限定されない。また、この場合、画像変形部２２１補正画像Ｇ３３に対してさらに、ステップＳ３２と同等の形状歪み補正を行うこととなる。

図７に戻って説明する。次に、投射光学系モジュール５０は、目標画像Ｇ３３から形状歪み補正を行った後の目標画像を投影する（Ｓ４２）。そして、イメージセンサ１０は、投影面２００を撮影する（Ｓ４３）。図１３は、本発明の実施の形態１にかかる画像全体の解像度のバラツキの例を示す図である。図１３の撮影画像Ｇ３４及びテストパターンＴ２は、テストパターンＴ１を形状歪み補正した後に、投影されたことによる投影面２００における表示結果の例である。テストパターンＴ２は、各線が概ね上下方向に補正されているが、領域ごと及び領域内で線の太さが異なっていることを示す。

図１３には、形状歪み補正を行っている格子に対しては線分の幅が太くなっており、かつ、線分同士は重なっていない部分がある（例えば、領域Ｒ６）。これは形状歪み補正によって格子の形状が台形形状のように少なくとも部分的に縮小された結果、本来は投影距離最小（リサイズなし）エリアから見た差分の関係で最小の線幅である１画素の幅よりも小さい幅まで縮小される必要があるにも関わらず、最小単位の１画素の幅までしか縮小できず、なおかつ、その格子が縮小された場合においても、線分同士が重ならなかった場合である。例えば、当該格子を台形状に縮小する場合を考える。そして、上底の長さは縮小前の線分の長さと変わらずに下底の長さが縮小される場合を具体的に考える。下底では線分の表現に使用可能な画素数が減少するため、一つの線分を表現するために３画素もの画素を使用できなくなる。したがって、上底では３画素を用いて１本の線分の幅を表現していたものが、下底では１画素で１本の線分の幅を表現しなければならない状況となる。ここでこの例では、台形状の格子の上底における３画素を始点とする３本の線分は、下底における別々の１画素を終点としているとする。つまり、この格子の中で最も縮小されている下底においても線分は重なっていないものとする。しかし、投影距離最小（リサイズなし）エリアから見た差分に基づけば、格子のサイズを縮小する中で１画素の幅よりもさらに線幅が細くならなければならなかったとする。その場合、下底では３本の線分同士の間隔は、上底での３本の線分の間隔よりも相対的に狭くなるが、この例では線分同士は下底においても重なっていない。この状況において投射光学モジュール５０が再度、投影面２００に形状歪み補正後の画像を投影したとしても、図１３に例示されるように線幅が図１２の線幅よりも太ってしまうのである。つまり線幅を適切な幅まで縮小し切れなかったことに起因して、本来表示されるべき幅よりも大きく、太った幅を有する線分として表示されてしまう。この例では、３本の線分は幅が太りながらも明確に区別された状態で投影面２００に表示されることになるので、格子が縮小されたことによって劣化した解像度によっても、線分は表現できているということになる。

その一方、図１３では、線幅が太り、かつ、線分同士が重なってしまい、部分的に黒く塗りつぶされてしまっている格子も存在する（例えば、領域Ｒ７）。これは図１２に示された一つの格子内の３画素の幅をもつ３本の線分を表示するために必要となる解像度よりも、投影画像の当該格子の部分の解像度が低くなってしまったことによるものである。この結果が投影画像に表れるパターンは２通りあり、投影前の画像において格子を縮小した時点では線分同士は重なっていなかったものの、投影した際に上述の内容と同様に本来の線幅よりも太ってしまい線分同士が重なってしまったケースと、投影前の画像においてすでに線分同士が重なっている場合である。どちらのケースも投影面２００に投影された画像では、線分同士が重なって黒く、あるいはグレーに塗りつぶされてしまっている。つまり、図１３は、形状歪み補正を行った結果、投影画像のそれぞれのつまり、領域ごとに解像度が異なっていることを示している。

図７に戻って説明する。その後、差分解析部２１４は、撮影画像の解像度の解析を行う（Ｓ４４）。このとき、差分解析部２１４は、撮影画像の領域ごとに投影距離、領域サイズ、画素数等に基づき解像度及び輝度を算出する。また、差分解析部２１４は、撮影画像が有するそれぞれの領域ごとの解像度の差分を算出する。具体的には、差分解析部２１４は、それぞれの領域ごとに単位面積当たりの線分の数を増やしていき、どれだけ多くの本数の線分を表示できるのかを投影と撮影を繰り返して検出することで、それぞれの領域の解像度を算出することになる。この処理により、撮影した画像の中で最も解像度が低くなってしまった領域が特定され、さらに最も解像度が低下した領域から見て他の領域がどの程度解像度が良いのかを算出することができる。併せて、差分解析部２１４は、撮影画像の領域間の輝度の差分を算出する。ここでも、撮影した画像の中で最も輝度が低くなってしまった領域が特定され、さらに最も輝度が低下した領域から見て他の領域がどの程度輝度が良いのかを算出することができる。

続いて、差分解析部２１４は、撮影した画像の中の最も解像度が低くなってしまった領域の解像度と、他のそれぞれの領域の解像度との差分のそれぞれが許容範囲であるか否かを判定する（Ｓ４５）。最も解像度が低くなった領域と他のそれぞれの領域との解像度の差分が全て許容範囲である場合、その画像において、解像度が均一化されていることになる。したがって、この状況で再度、投影面２００に画像を投影すれば、解像度は均一化されていることから、人間の視覚上、良好な画質で画像が投影されていることになる。したがって、この場合は、次に輝度補正処理（図８）へ進む。一方、最も解像度が低くなった領域と他のそれぞれの領域との解像度の差分の少なくとも一部が許容範囲を超えている場合、その画像内で解像度は均一化されていないことになる。このまま投影面２００へ画像の投影を行っても、投影された画像のそれぞれの領域ごとに解像度はばらついており、人間の視覚上、画質劣化が顕著となってしまう。そこで、この場合は、次のステップＳ４６へ進む。

ステップＳ４６では、電気的補正パラメータ算出部２１６が解像度の補正値を算出する（Ｓ４６）。ここでの補正値は、投影面２００に投影された画像の解像度の不均一を解消するために、係る投影画像に行う補正に必要となる値である。例えばこの補正値は、余白を表現している画素をどの程度削り、どの程度線幅を太くするための画素に変更するかの割合である。ここで、画像が自然画ではなく、テキストや記号などのデータ表示画像であり、削除しても問題がないような余白が画像に存在している場合、解像度変換部２２２は余白活用処理を行う。ここでいうデータ表示画像とは、文字、数値、記号などのテキストデータや時刻表等が表示された画像をいうものとする。そのため、データ表示画像は、余白を削除しても表示内容に問題がない画像といえる。一方、ここでいう自然画とは、風景や人物等の画像に限らず、上記データ表示画像以外のすべての画像を含むものとする。そこで、余白活用処理において、解像度変換部２２２は、どの程度余白を削り、どの程度倍率で線幅を太くするかを決定し、その倍率を画像全体に一律に適用する。ここで、投影した画像の線幅を一律に３倍にするとする。この場合、投影画像内の線分すべてについて余白を削って一律に３倍の太さに変換する。例えば３画素の線幅のパターンは９画素の線幅で描かれることとなる。このようにすることで、仮に良好な解像度を有する領域であったため線分が重ならず表現できていたパターンが、場合によっては線が太くなって表現され、あるいは場合によっては線分同士が重なって表現される。すなわち、画像全体の解像度を一律に、同じ割合で、劣化させているのである。上記の倍率で変換しても画像の解像度の均一具合が許容範囲内に収まらない場合、上記の倍率を変更し、許容範囲に収まるまでフィードバック処理を実行することになる。

しかし、上記の余白活用処理は、画像が自然画ではなく、データ表示画像であり、削除しても問題がないような余白が画像に存在している場合でなくては実行できない。そこで図７のステップＳ４７−１で、解像度変換部２２２は画像がデータ表示画像であるか否かを確認する（Ｓ４７−１）。画像がデータ表示画像であれば、解像度変換部２２２は、線幅を所望の倍率で、一律に画像内で太らせるために必要な余白が存在するかを確認する（Ｓ４７−２）。余白があれば、解像度変換部２２２は余白活用処理を実行する（Ｓ４７−３）。一方、Ｓ４７−１でデータ表示画像でない、すなわち自然画であると判定される場合、またはＳ４７−２で必要な余白が存在しないと判定される場合は、余白活用処理を実行できないため、下記に説明するフィルタ処理を実行する。解像度変換部２２２が当該別の領域の線幅を増大させる処理は、具体的には、線幅を表現するのに用いられず、余白を表現している画素の画素値を線幅の表現に必要な画素値に置き換える。例えば、輝度レベルを白から黒へ変更することで実現する。

上記したように、余白活用処理を実行できなかった場合、別の補正値としてフィルタ係数を求める。例えば、形状歪み補正をする段階で、ある一の格子に対してはサイズ比率を１００％（例えば、単位領域中に１００画素）から８０％（単位領域中に８０画素）へ縮小するような圧縮処理が発生する。このような縮小処理では、画像に対してスケーリングフィルタ処理を施して解像度を劣化させている。上記した３画素の幅の線分が１画素の幅の線分になる場合のように、ある対象を表現する画素数を減らす場合、それぞれの画素の画素値をフィルタ係数で重み付けして加算し、平均を取る演算を行う。例えば、３画素のそれぞれの画素値をフィルタ係数で重み付け加算して平均し、新たな画素値を得る。そして、得られた新たな画素値を縮小後の線分を表現するための１画素に適用し、残りの２画素は発光させない画素とし、使用しない。この処理により、例えば３画素が１画素に変更される。圧縮処理も結局はこのようなフィルタ処理であり、スケーリングフィルタ係数が用いられている。そこで、電気的補正パラメータ２１６は、いずれかひとつの格子に対して施された縮小処理で使用されたフィルタ係数を特定する。その後、解像度変換部２２２は、目標画像の解像度を補正する（Ｓ４７―４）。具体的には、解像度変換部２２２は、この特定したフィルタ係数を用いたフィルタ処理を他の領域にも適用する。ただし、ここでは画像の縮小を行うわけではないので、画素数を減らすわけではない。しかし、ある一の画素の画素値を、周りの画素と合わせてスケーリングフィルタ係数で重み付け加算して平均し、補正する。解像度が補正されるべき領域の画素は、このようなフィルタ処理を施され、画素値が補正される。また、一度特定のフィルタ係数を使用して解像度を劣化させても解像度の均一度合いが許容範囲に収まらなかった場合には、より解像度を劣化させるフィルタ係数に変更し、再度、画像の解像度を劣化させることを繰り返す。画像の解像度の均一具合が許容範囲に収まった段階で、このフィードバック処理を終了する。その結果、それぞれの領域の画像は、投影した際にぼやける方向に補正される。

上記のフィルタ処理によって補正された画像を投射光学系モジュール５０が再度、投影面２００に投影し、イメージセンサ１０が再度、撮影する（ステップＳ４２及びＳ４３へ戻る）。そして、上述のステップＳ４４と同様に、差分解析部２１４は、撮影された画像のそれぞれの領域の解像度を算出する。形状歪み補正によって最も解像度が低くなってしまった領域と、他の領域の解像度との差分が許容範囲内か否かを再度判定する（Ｓ４４）。

ここで、当該差分が許容範囲内であれば、上述のフィルタ処理によって投影画像のそれぞれの領域の解像度は均一化されたことになる。当該差分が許容範囲内ではない場合、ステップＳ４６以降を再度繰り返す。その際、スケーリングフィルタの係数を変更し、差分が許容範囲となるようにする。

ここで、上述した余白活用処理について、より具体的に理解するために図１４及び図１５を用いて説明する。図１４及び図１５では任意の領域において、同一形状の３つの部分画像をテストパターンとし、これらに形状歪み補正を行った場合に生じる解像度のバラツキについての補正の仕方を説明するものである。

図１４は、本発明の実施の形態１にかかる領域内の解像度のバラツキの例を示す図である。領域Ｒ１０は、目標画像内の任意の領域を示す。そして、領域Ｒ１０は、テストパターンＴ１１〜Ｔ１３を含む。テストパターンＴ１１〜Ｔ１３は、同一形状の３つの部分画像をテストパターンである。領域Ｒ１１は、目標画像が形状歪み補正、投影及び撮影された撮影画像における領域Ｒ１０に対応する領域である。領域Ｒ１１は、テストパターンＴ２１〜Ｔ２３を含む。テストパターンＴ２１〜Ｔ２３は、テストパターンＴ１１〜Ｔ１３がそれぞれ形状歪み補正されたが、解像度のバラツキが発生していることを示す。ここでは、テストパターンＴ２１は、部分的な膨らみを有しており、上下方向に解像度が異なることを示す。テストパターンＴ２２は、上下方向で概ね解像度が均一であるが、テストパターンＴ１２と比べて線が太くなっていることを示す。テストパターンＴ２３は、テストパターンＴ１３と概ね同等の線の太さであり、概ね解像度も均一であることを示す。ここで、例えば領域Ｒ１１は、投影面２００に投影された画像内において、最も解像度が低くなってしまったテストパターンＴ２２を含むとする。

ここで、形状歪みの補正により補正前に比べて線が太くなった場合とは、形状歪み補正により画素を減らして補正前に比べて解像度が落ちていることを意味する。この場合、例えば、人間の目には、線が太い部分がぼやけて見えることとなる。つまり、テストパターンＴ２３に比べてテストパターンＴ２２は、不鮮明であり、テストパターンＴ２１は、部分的に不鮮明に見えてしまう。

そこで、本発明の実施の形態１にかかる解像度補正処理として、画像表示部２２は、形状歪み補正がされた画像が投影された後の撮影画像において、補正前の部分画像に比べて部分画像のサイズが大きくなった領域が存在する場合に、当該領域の解像度に近付くように他の領域の解像度を補正することが望ましい。これにより、画像全体の解像度は低くなるが、画像全体の解像度が均一化される。人間の目における不自然さは、解像度の不均一さが与える影響が大きいため、目標画像の解像度より低くなったとしてもその影響は無視できる。そのため、結果的に、妥当な画質を提供できる。

図１５は、本発明の実施の形態１にかかる領域内の解像度の補正がされた補正画像の例を示す図である。領域Ｒ１２は、領域Ｒ１１の解像度を補正する箇所を示したものである。すなわち、テストパターンＴ２１には、解像度の補正によりテストパターンＴ２１ｃが追加されることを示す。また、テストパターンＴ２３は、解像度の補正によりテストパターンＴ２３ｃが追加されることを示す。このような補正を行うことにより、領域Ｒ１３のように、テストパターンＴ３１〜Ｔ３３の線の太さが概ね同等となり、解像度が均一化されることを示す。そして、投影面２００に投影された画像の他の領域に、図１４の領域Ｒ１０と同じ幅の線分が描かれている場合、他の領域の当該線分のそれぞれもテストパターンＴ２２の太さとなるように線幅が補正される。このようにして投影面２００に投影されている画像の解像度が均一化される。また、この領域Ｒ１１の解像度に基づいて、他の領域に描かれた他のパターンも、領域Ｒ１１の解像度に基づくパターンとなるように補正される。

尚、上述した課題の画質の劣化の別の原因としては、形状歪みの補正後の画像の輝度が不均一になることが挙げられる。輝度が不均一になる原因は二つある。第１の原因は、少なくとも部分的に平らではない形状を有する投影面、例えば凹凸面を有する投影面２００では、凹凸面の奥行きに応じて投影点ごとに反射率が異なってしまうからである。第２の原因は、レンズのフォーカス特性に依存して、フォーカスセンターからの距離が離れるほど輝度が劣化するからである。そのため、上述した形状の歪み補正のみでは、各領域の明るさが異なったままであり、例えば、人間の目には、斑模様のように見える場合もある。そのため、明るさの面でも人間にとっての見え方が不自然になり得る。そこで、本発明の実施の形態１では、以下の輝度補正処理により、画質の劣化をさらに抑えることができる。

図８は、本発明の実施の形態１にかかる輝度補正処理の流れを示すフローチャートである。まず、電気的補正パラメータ算出部２１６は、輝度の補正値を算出する（Ｓ５１）。具体的には、電気的補正パラメータ算出部２１６は、図７のステップＳ４４により解析された撮影画像の領域間の輝度の差分に基づいて、輝度を補正するための電気的補正パラメータを算出する。次に、ゲイン調整部２２３は、目標画像の輝度を補正する（Ｓ５２）。具体的には、ゲイン調整部２２３は、第１の原因に関して、投影領域ごとの反射率の逆数のゲインを用いて画像の各領域の輝度を補正する。そしてゲイン調整部２２３は、第２の原因に関して、最も暗くなる輝度を基準に、目標画像の各画素の輝度レベルを調整する。すなわち、フォーカスセンターでは、輝度が最も高くなり、フォーカスセンターの投影距離から最も離れた投影距離で、輝度が最も暗くなるためである。これにより、フォーカスセンターの投影距離から離れるほどフィルタの補正強度が大きくなり、投影エリア全体の輝度をより均一に近づけることができる。つまり、画質を高めることができる。

そして、投射光学系モジュール５０は、補正後の目標画像を投影する（Ｓ５３）。その後、イメージセンサ１０は、投影面２００を撮影する（Ｓ５４）。そして、差分解析部２１４は、撮影画像の輝度の解析を行う（Ｓ５５）。このとき、差分解析部２１４は、上述した手法と同様にして、撮影画像の領域ごとに投影距離、領域サイズ、画素数等に基づき輝度を算出する。また、差分解析部２１４は、撮影画像の領域間の輝度の差分を算出する。

続いて、差分解析部２１４は、当該輝度の差分が許容範囲であるか否かを判定する（Ｓ５６）。当該輝度の差分が許容範囲である場合、当該画像調整処理を終了する。また、輝度の差分が許容範囲を超えている場合、ステップＳ５１へ進む。

このように、本発明の実施の形態１では、実際に投影及び撮影された画像の解像度及び輝度を取得及び解析することにより、撮影画像内の各領域における投影情報を算出し、投影レンズの光学特性どおりのフィルタ補正を施すものである。そのため、投影面がどのような形状（曲面、凹凸など）でも解像度（フォーカス特性）の均一化が可能である。

また、投影面の凹凸が細かい場合にも、イメージセンサの高画素化、補正の画素精度の微細化又はプロジェクタの高画素化等を行うことにより、同じ処理で解像度（フォーカス特性）均一化が可能となる。

さらに、実際の撮影画像と補正後の目標画像との差分を検出してフィードバック処理を行うため、補正精度の管理も可能となる。

以上から、本発明では、投影面の形状に依存せず、投影された画像の解像度を均一化することができる。さらには付随する手段として、投影面の形状に依存せず、投影された画像の輝度を均一化することもできる。それにより、例えば静止画を投影した場合、投影された静止画が領域ごとに解像度のバラツキが生じ、人間にとっての見え方が不自然になることを防止できる。具体的には、ある写真の中に同様の細かさで描かれた模様が、ある部分は鮮明に映り、別の部分ではぼやけて映るといった状態を防止することができる。また、例えば微細な模様をもつ物体が動く動画を投影した場合、ある時刻においてスクリーン上のある部分では鮮明に映っていた当該微細な模様が、別の後の時刻においてスクリーン上の別の部分においてはぼけて映ってしまい、明らかに不自然な動画の表示となってしまうことも防止することができる。つまり、投影面に投影された画像は、画像内で解像度や輝度が均一化され、結果として人間の視覚上、画質が良好に表示されることになる。

＜その他の発明の実施の形態＞
尚、目標画像生成部２１３は、テストパターン２３１を用いずに、上述したように信号発生器３００からの入力信号を形状歪みチェック用及び解像度チェック用の目標画像としても構わない。

また、本発明の実施の形態１を次のように改良を加えることができる。例えば、テストパターンを非可視光にし、イメージセンサを非可視光領域の波長に対応したフォトセンサにする。これにより、通常の画像投影時にも経時変化や温度変化又は物理的なプロジェクタ及び投影面の移動などによるサイズ、フォーカス又は形状歪みのズレを定常的に補正することが可能となる。

また、本発明の実施の形態１の適用対象としては、フロントプロジェクタなどスクリーンへの投影を前提にした表示システムが挙げられる。つまり、フロントプロジェクタ向け設置フリー機能ともいえる。

また、本発明の実施の形態１にかかる画像投影システム１００を用いることで、これまで設置が不可能であった場所を投影エリアとして映像又は画像の投影を行うことができる。例えば、壁柄を有する投影面として、家庭のリビングもしくは個人の部屋、凹凸もしくは曲面を有する投影面として博物館、美術館、小売店もしくはビル内のフロアの壁等が挙げられる。そのため、以前からの使用用途であるホームシアター、オフィスでの会議もしくはプレゼンテーション等以外にも、インテリア、ＴＯＹ、サイネージ又はアート等の様々の用途での活用と新規性及び創造性のある活用方法が生まれるものと期待される。

また、通常、不連続かつ大画面の投影面に対して焦点を合わせるには、高価なレンズを必要とし、また、投影面からの距離も相当程度必要とされる。しかし、本発明の実施の形態１用いることにより、安価なレンズを用いて、不連続かつ大画面の投影面に対して短焦点のプロジェクタを生産することも可能となる。さらには、凹凸面や曲面など特殊な投射面でなくとも、短焦点距離かつ大サイズで画像の投射を行う場合、表示エリア内で投射距離や投射方向に大きなずれが発生する。このような投射距離や投射方向に大きなずれが発生するケースすべてに本発明を適用できる。

尚、本発明の実施の形態１にかかる画像投影システム１００の各構成要素は、物理的に一体とした機器である必要はなく、個別に独立した機器であっても良い。

さらに、本発明は上述した実施の形態のみに限定されるものではなく、既に述べた本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。

１００ 画像投影システム
１０ イメージセンサ
２０ ＬＳＩ
２１ 画像解析部
２１１ 撮影画像取り込み部
２１２ 投影エリア設定部
２１３ 目標画像生成部
２１４ 差分解析部
２１５ 光学的補正パラメータ算出部
２１６ 電気的補正パラメータ算出部
２２ 画像表示部
２２１ 画像変形部
２２２ 解像度変換部
２２３ ゲイン調整部
２３ 記憶部
２３１ テストパターン
３０ 光学制御部
４０ ドライバ
５０ 投射光学系モジュール
２００ 投影面
３００ 信号発生器
Ｓ１ スクリーン
Ｓ２ スクリーン
Ｓｐ２１ 投影点
Ｓｐ２２ 投影点
Ｓｐ２３ 投影点
Ｓｐ２４ 投影点
Ｓｐ２５ 投影点
５００ 画像投影装置
５０１ 画像投影装置
Ｐ１ 投影
Ｐ２ 撮影
Ｐ３ 補正
Ｐ４ 投影
Ｐ５ 撮影
Ｇ０ 原画像
Ｇ１ 撮影画像
Ｇ２ 台形補正画像
Ｇ３ 台形補正後撮影画像
Ｇ２０ 原画像
Ｇ２１ 撮影画像
Ｇ２２ 原画像の補正画像
Ｇ２３ 補正画像の撮影画像
Ｇ３０ 目標画像
Ｇ３１ 撮影画像
Ｇ３２ 補正画像
Ｇ３３ 補正画像
Ｇ３４ 撮影画像
Ｘｓ 幅
Ｘｓ１ 幅
Ｘｓ２ 幅
Ｘｓ３ 幅
Ｘｓｏ１ 幅
Ｘｓｏ２ 幅
Ｘｓｏ３ 幅
Ｘｓｏ４ 幅
Ｘｓｏ５ 幅
Ｘｓｐ１ 幅
Ｘｓｐ２ 幅
Ｘｓｐ３ 幅
Ｘｓｐ４ 幅
Ｘｓｐ５ 幅
Ｘｓｃ１ 幅
Ｘｓｃ２ 幅
Ｘｓｃ３ 幅
Ｘｓｃ４ 幅
Ｘｓｃ５ 幅
Ｙｓ 高さ
Ｚｓ 奥行き
Ｚｓ１ 奥行き
Ｚｓ２ 奥行き
Ｚｓ３ 奥行き
Ｚｓ４ 奥行き
Ｒ１ 領域
Ｒ２ 領域
Ｒ３ 領域
Ｒ４ 領域
Ｒ５ 領域
Ｒ６ 領域
Ｒ７ 領域
Ｒ８ 領域
Ｒ１０ 領域
Ｒ１１ 領域
Ｒ１２ 領域
Ｒ１３ 領域
Ｔ１ テストパターン
Ｔ２ テストパターン
Ｔ１１ テストパターン
Ｔ１２ テストパターン
Ｔ１３ テストパターン
Ｔ２１ テストパターン
Ｔ２１ｃ テストパターン
Ｔ２２ テストパターン
Ｔ２３ テストパターン
Ｔ２３ｃ テストパターン
Ｔ３１ テストパターン
Ｔ３２ テストパターン
Ｔ３３ テストパターン

Claims (15)

1. レンズから画像を出力して投影面に投影すると共に、前記投影面に投影された前記画像の各領域の解像度がそれぞれの領域の間で均一ではない場合、前記レンズの光学特性の逆特性に基づいて前記画像の各領域の解像度のそれぞれを補正して、前記画像を前記投影面に投影する画像投影システム。
2. 投影面に画像の形状が歪まないように当該画像を投影することによって、投影された前記画像の一の領域の解像度が別の領域の解像度よりも低下する場合には、前記別の領域の解像度が前記一の領域の解像度と略同一となるように劣化させた画像を投影する画像投影システム。
3. 前記一の領域は、前記投影面に投影された前記画像の中で最も解像度が低下した領域であることを特徴とする請求項２に記載の画像投影システム。
4. 前記画像の形状が歪まないように前記画像が投影されるために用いたフィルタ係数を用いて前記別の領域が含む画素の画素値を補正することで、前記別の領域の解像度を劣化させることを特徴とする請求項２に記載の画像投影システム。
5. 投影面に画像の形状が歪まないようにその画像を投影することによって、投影された画像の一の領域の解像度が別の領域の解像度よりも低下する場合には、別の領域の解像度が前記一の領域の解像度と略同一となるように劣化させた画像を出力する半導体集積回路。
6. 投影面に対して対象画像を投影する投影部と、
   前記対象画像が投影された前記投影面を撮影する撮影部と、
   前記投影面が撮影された画像である撮影画像を解析する解析部と、
   前記解析された結果に基づいて前記対象画像を補正する補正部と、
   を備え、
   前記解析部は、前記対象画像と前記撮影画像との形状の差分が所定の範囲内である場合に、当該撮影画像を複数の領域に分割し、当該領域毎に解像度を算出し、
   前記補正部は、前記領域間の解像度が均一となるように前記対象画像から第１の補正画像を生成し、
   前記投影部は、前記第１の補正画像を前記投影面に対して投影する
   ことを特徴とする画像投影システム。
7. 前記解析部は、前記撮影画像における前記領域間の解像度の差分が所定の範囲内である場合に、当該領域毎に輝度を算出し、
   前記補正部は、前記領域間の輝度が均一となるように前記第１の補正画像から第２の補正画像を生成し、
   前記投影部は、前記第２の補正画像を前記投影面に対して投影する
   ことを特徴とする請求項６に記載の画像投影システム。
8. 前記解析部は、前記撮影画像と前記対象画像との形状の差分を算出し、
   前記補正部は、前記形状の差分が所定の範囲外である場合に、当該形状の差分に基づき前記対象画像の形状の歪みを補正して第３の補正画像を生成し、
   前記投影部は、前記第３の補正画像を前記投影面に対して投影し、
   前記解析部は、前記撮影画像と前記対象画像との形状の差分が所定の範囲内である場合に、当該撮影画像における前記領域毎に解像度を算出し、
   前記補正部は、前記第３の補正画像に基づいて前記第１の補正画像を生成する
   ことを特徴とする請求項６又は７に記載の画像投影システム。
9. 前記対象画像は、複数の同一形状の部分画像を含み、
   前記補正部は、前記撮影画像が前記形状の歪みの補正後に投影された投影面から撮影されたものであり、前記撮影画像における複数の領域のうち、補正前の部分画像に比べてサイズが大きくなった部分画像を含む領域が存在する場合に、当該領域の解像度に近付くように他の領域の解像度を補正して前記第１の補正画像を生成する
   ことを特徴とする請求項８に記載の画像投影システム。
10. 前記投影面は、凹凸面を有し、
    前記補正部は、前記凹凸面に応じて前記領域間の解像度が均一となるように前記第１の補正画像を生成する
    ことを特徴とする請求項６乃至９のいずれか１項に記載の画像投影システム。
11. 対象画像が投影された投影面を撮影した画像である撮影画像を解析する解析部と、
    前記解析された結果に基づいて前記対象画像を補正する補正部と、
    を備え、
    前記解析部は、前記対象画像と前記撮影画像との形状の差分が所定の範囲内である場合に、前記撮影画像を複数の領域に分割し、当該領域毎に解像度を算出し、
    前記補正部は、
    前記領域間の解像度が均一となるように前記対象画像から第１の補正画像を生成し、
    前記第１の補正画像を前記投影面に対して投影させる
    ことを特徴とする半導体集積回路。
12. 前記解析部は、前記撮影画像における前記領域間の解像度の差分が所定の範囲内である場合に、当該領域毎に輝度を算出し、
    前記補正部は、
    前記領域間の輝度が均一となるように前記第１の補正画像から第２の補正画像を生成し、
    前記第２の補正画像を前記投影面に対して投影させる
    ことを特徴とする請求項１１に記載の半導体集積回路。
13. 前記解析部は、前記撮影画像と前記対象画像との形状の差分を算出し、
    前記補正部は、
    前記形状の差分が所定の範囲外である場合に、当該形状の差分に基づき前記対象画像の形状の歪みを補正して第３の補正画像を生成し、
    前記第３の補正画像を前記投影面に対して投影させ、
    前記解析部は、前記撮影画像と前記対象画像との形状の差分が所定の範囲内である場合に、当該撮影画像における前記領域毎に解像度を算出し、
    前記補正部は、前記第３の補正画像に基づいて前記第１の補正画像を生成する
    ことを特徴とする請求項１１又は１２に記載の半導体集積回路。
14. 前記対象画像は、複数の同一形状の部分画像を含み、
    前記補正部は、前記撮影画像が前記形状の歪みの補正後に投影された投影面から撮影されたものであり、前記撮影画像における複数の領域のうち、補正前の部分画像に比べてサイズが大きくなった部分画像を含む領域が存在する場合に、当該領域の解像度に近付くように他の領域の解像度を補正して前記第１の補正画像を生成する
    ことを特徴とする請求項１３に記載の半導体集積回路。
15. 前記投影面は、凹凸面を有し、
    前記補正部は、前記凹凸面に応じて前記領域間の解像度が均一となるように前記第１の補正画像を生成する
    ことを特徴とする請求項１１乃至１４のいずれか１項に記載の半導体集積回路。

Images