JP2009212756A - 画像処理装置、画像表示装置及び画像処理方法 - Google Patents

Abstract

【課題】レンズに起因した「フレア」が発生しても画質を向上させることができる画像処理装置、画像表示装置及び画像処理方法を提供する。
【解決手段】レンズの通過光の変調量を定める画像信号を補正する画像処理装置は、前記通過光が通過する前記レンズ上の位置に対応したフレアモデルを算出するフレアモデル算出部と、前記フレアモデル算出部によって求められた前記フレアモデルに基づいて、前記画像信号を補正する画像信号補正部とを含む。
【選択図】図１

Description

本発明は、画像処理装置、画像表示装置及び画像処理方法に関する。

画像投影装置のように投射レンズ（広義にはレンズ）を用いて画像を投影した場合、投影画像を映し出すスクリーン上の画素の周囲に「フレア」と呼ばれる像のにじみが生ずることがある。「フレア」は、画像の解像感や色再現性を低下させ、画質を劣化させる要因の１つとなっている。このような「フレア」に関しては、例えば特許文献１に開示されているように、一定方向に隣接する画素を点灯するテストパターンを使用することで、隣接する画素の影響を加味したフレア測定を行う方法が開示されている。

また、例えば特許文献２には、「フレア」の影響を低減して意図通りの色再現を行うようにした技術が開示されている。この場合、表示画像の画像データと該表示画像の表示色の空間分布とから表示特性を求め、該表示特性に基づいて画像データを補正する。

特開２００７−１９８８４９号公報 特開２００５−１８９５４２号公報

しかしながら、上記の「フレア」は、投射レンズ系（投射光学系）に起因するものであるため、特許文献１や特許文献２に開示されているように「フレア」を測定しても、現実に即しておらず、測定結果の誤差が大きくなるという問題がある。

本発明は、以上のような技術的課題に鑑みてなされたものであり、その目的の１つは、レンズに起因した「フレア」が発生しても画質を向上させることができる画像処理装置、画像表示装置及び画像処理方法を提供することにある。

上記課題を解決するために本発明は、レンズの通過光の変調量を定める画像信号を補正する画像処理装置であって、前記通過光が通過する前記レンズ上の位置に対応したフレアモデルを算出するフレアモデル算出部と、前記フレアモデル算出部によって求められた前記フレアモデルに基づいて、前記画像信号を補正する画像信号補正部とを含む画像処理装置に関係する。

本発明によれば、レンズを用いて画像を表示する場合に、通過光が通過するレンズ上の位置に対応したフレアモデルを算出し、該フレアモデルに基づいて、該通過光の変調量を定める画像信号を補正するようにしたので、レンズに起因して「フレア」が発生した場合であっても、「フレア」を測定することなく画質を向上させることができるようになる。

また、本発明に係る画像処理装置では、前記画像信号補正部は、前記フレアモデルに基づいて、前記レンズ上の当該画素の周辺画素の画素値を用いて前記当該画素に対応した前記画像信号を補正することができる。

本発明によれば、レンズ上の位置で定義される当該画素の周辺画素の画素値を用いて、当該画素に対応した画像信号を補正するようにしたので、「フレア」の形状に応じた画質の向上を図ることができるようになる。

また、本発明に係る画像処理装置では、前記レンズ上の位置は、前記レンズの中心位置を原点とする極座標を用いて特定されてもよい。

本発明によれば、レンズの中心位置を基準にレンズ上の位置を特定するようにしたので、レンズの中心位置が等しい画素同士については同様に補正することができ、画像信号の補正処理を簡素化できるようになる。

また、本発明に係る画像処理装置では、前記フレアモデルは、前記レンズの中心位置を基準とするサジタル方向の長さ、及び前記レンズの中心位置を基準とするメリジオナル方向の長さを用いて特定されてもよい。

本発明によれば、フレアモデルの形状をより少ないパラメータ数で特定できるので、フレアモデルの容量を削減できるようになる。

また、本発明に係る画像処理装置では、前記レンズのズーム位置を取得するズーム位置取得部を含み、前記フレアモデル算出部は、前記ズーム位置取得部によって取得された前記ズーム位置に応じたフレアモデルを算出することができる。

本発明によれば、レンズのズーム位置に応じてその形状が変化する「フレア」が発生しても、画質を向上させることができるようになる。

また、本発明に係る画像処理装置では、前記レンズのズーム量に対応した複数のフレアモデルデータを記憶するフレアモデルデータ記憶部を含み、前記フレアモデル算出部は、前記ズーム位置取得部によって取得された前記ズーム位置に基づいて、前記レンズのズーム量に対応したフレアモデルデータを読み出し、前記画像信号補正部は、前記フレアモデルデータに基づいて前記画像信号を補正することができる。

本発明によれば、ズーム位置に応じてその形状が変化する「フレア」が発生しても、「フレア」の出方に応じたフレアモデルを算出でき、「フレア」の形状に応じて画質を向上させることができるようになる。

また本発明は、前記画像信号に基づいて前記通過光を変調する光変調素子と、前記通過光が通過するレンズと、前記画像信号を出力する上記のいずれか記載の画像処理装置とを含む画像表示装置に関係する。

本発明によれば、レンズに起因した「フレア」が発生しても画質を向上させることができる画像表示装置を提供できるようになる。

また本発明は、レンズの通過光の変調量を定める画像信号を補正する画像処理方法であって、前記通過光が通過する前記レンズ上の位置に対応したフレアモデルを算出するフレアモデル算出ステップと、前記フレアモデル算出ステップにおいて求められた前記フレアモデルに基づいて、前記画像信号を補正する画像信号補正ステップとを含む画像処理方法に関係する。

本発明によれば、レンズを用いて画像を表示する場合に、通過光が通過するレンズ上の位置に対応したフレアモデルを算出し、該フレアモデルに基づいて、該通過光の変調量を定める画像信号を補正するようにしたので、レンズに起因して「フレア」が発生した場合であっても、「フレア」を測定することなく画質を向上させることができるようになる。

以下、本発明の実施の形態について図面を用いて詳細に説明する。なお、以下に説明する実施の形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また以下で説明される構成のすべてが本発明の必須構成要件であるとは限らない。

以下では、画像表示装置としてプロジェクタを例に説明するが、本発明がプロジェクタに限定されるものではなく、種々の画像表示装置に適用できることは言うまでもない。また、今日の多くのプロジェクタは、設置自由度を上げるために、プロジェクタとスクリーンとの距離を変えることなく投射画像の大きさを変える光学ズーム機能を備える。そこで、以下のプロジェクタは、投射レンズを搭載し、この投射レンズを用いた光学ズーム機能を実現するものとして説明する。

図１に、本発明に係る実施形態におけるプロジェクタが適用された表示システムの構成例のブロック図を示す。

表示システム２は、プロジェクタ（広義には画像表示装置）１０と、スクリーンＳＣＲとを含む。この表示システム２では、プロジェクタ１０には入力画像信号が入力され、プロジェクタ１０が有する投射レンズ（レンズ）を用いて投射された画像がスクリーンＳＣＲ上に表示される。このプロジェクタ１０は、投射レンズのズーム位置を調節でき、スクリーンＳＣＲに投影される画像を拡大したり縮小したりできるようになっている。

プロジェクタ１０は、画像処理部（広義には画像処理装置）２０と、投射制御部５０と、投射部１００とを含む。画像処理部２０は、プロジェクタ１０の投射レンズの通過光の変調量を定める画像信号を補正する。より具体的には、画像処理部２０は、フレアモデルを作成し、該フレアモデルに応じて入力画像信号を補正することで、「フレア」が発生しても画質が劣化しない画像を表示させることができる。

ここで、本実施形態における画像処理部２０の補正処理の原理を簡単に説明する。まず、入力画像の画像信号の配列をＰ、入力画素がその周辺にどのように「にじむ」かを示すフレア特性行列をＭ、「漏れ光」のレベルの配列をＯ、スクリーンＳＣＲの表示画像の画素値の配列をＧとすると、Ｇは、次式のように表される。

ここで、１画面分の画素数をＮとすると、（１）式は次のように表すことができる。

（２）式において、行列Ｇは表示画像のＮ個の画素の画素値を１次元に配列した（ｇ_１，ｇ_２，・・・，ｇ_Ｎ）で表され、行列Ｐは入力画像のＮ個の画素の画素値を１次元に配列した（ｐ_１，ｐ_２，・・・，ｐ_Ｎ）で表され、行列Ｏは全画素で「黒」を表示したときの各画素の「漏れ光」のレベルを１次元に配列した（ｏ_１，ｏ_２，・・・，ｏ_Ｎ）で表される。行列Ｍは、画像のＮ個の画素の各画素について、「フレア」に寄与する度合いを示す係数値を２次元に配列した（ｍ_１１，ｍ_１２，・・・，ｍ_ＮＮ）で表されるフレア特性行列である。

従って、スクリーンＳＣＲ上に行列Ｐで表される画像を表示したい場合には、（１）式を変形すれば、次の式の行列Ｐ´で表される画像を入力させることで、原理的に「フレア」の影響がない画像を表示させることができる。

しかしながら、プロジェクタ１０の投影画像の画素数が例えばＸＧＡサイズ（１０２４画素×７６８画素）であると仮定すると、Ｎが約８０万となり、行列Ｍは、８０万×８０万という規模の行列となってしまう。ただ、実際には、「フレア」の影響は当該画素の周辺画素に及ぶため、行列Ｍのほとんどの係数値（要素値）が「０」となる。そこで、特許文献１では、１画面をいくつかの領域に分割して、領域毎に測定された結果に基づいてフレアモデルを推定している。

ところが、上述のように、「フレア」はプロジェクタ１０の投射レンズに起因するものであり、たとえ領域毎に測定された結果に基づいてフレアモデルを推定したとしても、誤差が大きくなり、画質を十分に改善させることができない。そこで、本実施形態では、画像処理部２０が、投射部１００が有する投射レンズの特性に基づいてフレアモデルを生成し、該フレアモデルに基づいて画像信号を補正するようにしている。

このような画像処理部２０は、入力信号処理部２２、画像信号補正部２４、出力信号処理部２６、ズーム位置取得部２８、フレアモデル算出部３０を含む。

入力信号処理部２２は、入力画像信号に対してＡ／Ｄ変換処理や、例えばインターレース形式の画像信号をプログレッシブ形式の画像信号に変換する処理などを行う。フレアモデル算出部３０は、投射部１００が有する投射レンズ（レンズ）の通過光が通過する投射レンズ上の位置に対応したフレアモデルを算出する。このようなフレアモデル算出部３０は、フレアモデルデータ記憶部３２と制御部３４とを含む。フレアモデルデータ記憶部３２は、後述するフレアモデルを規定するパラメータに対応したフレアモデルデータをテーブルとして記憶しており、制御部３４に対してフレアモデルデータを出力して、フレアモデル算出部３０はフレアモデルとして出力する。

画像信号補正部２４は、フレアモデル算出部３０によって求められたフレアモデルに基づいて、画像信号を補正する。より具体的には、画像信号補正部２４は、フレアモデル算出部３０によって求められたフレアモデルに基づいて、投射レンズ上の当該画素の周辺画素の画素値を用いて当該画素に対応した画像信号を補正する。出力信号処理部２６は、画像信号補正部２４によって補正された画像信号を例えばラスタ変換する。出力信号処理部２６による処理後の画像信号は、投射制御部５０に入力される。

また、ズーム位置取得部２８は、投射レンズのズーム位置を取得する。フレアモデル算出部３０（より具体的には制御部３４）は、ズーム位置取得部２８によって取得された投射レンズのズーム位置に対応したフレアモデルデータを算出結果としてフレアモデルデータ記憶部３２から読み出すことができる。画像信号補正部２４は、このフレアモデルデータに基づいて画像信号を補正する。

投射制御部５０は、光変調素子駆動部５２と、ズーム調節部５４とを含む。光変調素子駆動部５２は、画像処理部２０の出力信号処理部２６の処理後の画像信号に基づいて、投射部１００が有する光変調素子（ライトバルブ）を駆動する駆動信号を生成し、該光変調素子を駆動する。ズーム調節部５４は、投射部１００が有する投射レンズのズーム位置を調節する制御を行う。このようなズーム調節部５４の機能は、プロジェクタ１０のユーザが手動で投射レンズのズーム位置を調節したり、該ユーザの指示による電気的な制御でズーム位置を調節したりすることで実現される。ズーム調節部５４によって調節された投射レンズのズーム位置は、ズーム位置取得部２８によって取得される。

投射部１００は、光源１１０と、光変調素子（ライトバルブ）１３０と、投射レンズ（レンズ）１７０とを含む。光源１１０は、投射する光を発生する。光変調素子１３０は、光変調素子駆動部５２からの駆動信号に基づいて、光源１１０からの光を変調し、変調後の光を投射レンズ１７０に照射する。投射レンズ１７０は、光変調素子１３０による変調後の光を用いて、スクリーンＳＣＲに投射する。このように、投射部１００は、光変調素子駆動部５２からの駆動信号が入力画像信号に基づいて生成されるため、画像信号に対応した画像をスクリーンＳＣＲに投射表示することができる。

図２に、図１の投射部の構成例を示す。図２において、図１と同一部分には同一符号を付し、適宜説明を省略する。

投射部１００は、光源１１０、インテグレータレンズ１１２、１１４、偏光変換素子１１６、重畳レンズ１１８、Ｒ用ダイクロイックミラー１２０Ｒ、Ｇ用ダイクロイックミラー１２０Ｇ、反射ミラー１２２、Ｒ用フィールドレンズ１２４Ｒ、Ｇ用フィールドレンズ１２４Ｇ、Ｒ用液晶パネル１３０Ｒ（第１の光変調素子）、Ｇ用液晶パネル１３０Ｇ（第２の光変調素子）、Ｂ用液晶パネル１３０Ｂ（第３の光変調素子）、リレー光学系１４０、クロスダイクロイックプリズム１６０、投射レンズ１７０を含む。図２では、光変調素子１３０が、Ｒ用液晶パネル１３０Ｒ、Ｇ用液晶パネル１３０Ｇ、Ｂ用液晶パネル１３０Ｂにより構成される。Ｒ用液晶パネル１３０Ｒ、Ｇ用液晶パネル１３０Ｇ及びＢ用液晶パネル１３０Ｂとして用いられる液晶パネルは、透過型の液晶表示装置である。リレー光学系１４０は、リレーレンズ１４２、１４４、１４６、反射ミラー１４８、１５０を含む。

光源１１０は、例えば超高圧水銀ランプにより構成され、少なくともＲ成分の光、Ｇ成分の光、Ｂ成分の光を含む光を射出する。インテグレータレンズ１１２は、光源１１０からの光を複数の部分光に分割するための複数の小レンズを有する。インテグレータレンズ１１４は、インテグレータレンズ１１２の複数の小レンズに対応する複数の小レンズを有する。重畳レンズ１１８は、インテグレータレンズ１１２の複数の小レンズから射出される部分光を重畳する。

また偏光変換素子１１６は、偏光分離膜とλ／２板とを有し、ｐ偏光を透過させると共にｓ偏光を反射させ、ｐ偏光をｓ偏光に変換する。この偏光変換素子１１６からのｓ偏光が、重畳レンズ１１８に照射される。

重畳レンズ１１８によって重畳された光は、Ｒ用ダイクロイックミラー１２０Ｒに入射される。Ｒ用ダイクロイックミラー１２０Ｒは、Ｒ成分の光を反射して、Ｇ成分及びＢ成分の光を透過させる機能を有する。Ｒ用ダイクロイックミラー１２０Ｒを透過した光は、Ｇ用ダイクロイックミラー１２０Ｇに照射され、Ｒ用ダイクロイックミラー１２０Ｒにより反射した光は反射ミラー１２２により反射されてＲ用フィールドレンズ１２４Ｒに導かれる。

Ｇ用ダイクロイックミラー１２０Ｇは、Ｇ成分の光を反射して、Ｂ成分の光を透過させる機能を有する。Ｇ用ダイクロイックミラー１２０Ｇを透過した光は、リレー光学系１４０に入射され、Ｇ用ダイクロイックミラー１２０Ｇにより反射した光はＧ用フィールドレンズ１２４Ｇに導かれる。

リレー光学系１４０では、Ｇ用ダイクロイックミラー１２０Ｇを透過したＢ成分の光の光路長と他のＲ成分及びＧ成分の光の光路長との違いをできるだけ小さくするために、リレーレンズ１４２、１４４、１４６を用いて光路長の違いを補正する。リレーレンズ１４２を透過した光は、反射ミラー１４８によりリレーレンズ１４４に導かれる。リレーレンズ１４４を透過した光は、反射ミラー１５０によりリレーレンズ１４６に導かれる。リレーレンズ１４６を透過した光は、Ｂ用液晶パネル１３０Ｂに照射される。

Ｒ用フィールドレンズ１２４Ｒに照射された光は、平行光に変換されてＲ用液晶パネル１３０Ｒに入射される。Ｒ用液晶パネル１３０Ｒは、光変調素子（光変調部）として機能し、Ｒ用画像信号に基づいて透過率（通過率、変調率）が変化するようになっている。従って、Ｒ用液晶パネル１３０Ｒに入射された光（第１の色成分の光）は、Ｒ用画像信号に基づいて変調され、変調後の光がクロスダイクロイックプリズム１６０に入射される。

Ｇ用フィールドレンズ１２４Ｇに照射された光は、平行光に変換されてＧ用液晶パネル１３０Ｇに入射される。Ｇ用液晶パネル１３０Ｇは、光変調素子（光変調部）として機能し、Ｇ用画像信号に基づいて透過率（通過率、変調率）が変化するようになっている。従って、Ｇ用液晶パネル１３０Ｇに入射された光（第２の色成分の光）は、Ｇ用画像信号に基づいて変調され、変調後の光がクロスダイクロイックプリズム１６０に入射される。

リレーレンズ１４２、１４４、１４６で平行光に変換された光が照射されるＢ用液晶パネル１３０Ｂは、光変調素子（光変調部）として機能し、Ｂ用画像信号に基づいて透過率（通過率、変調率）が変化するようになっている。従って、Ｂ用液晶パネル１３０Ｂに入射された光（第３の色成分の光）は、Ｂ用画像信号に基づいて変調され、変調後の光がクロスダイクロイックプリズム１６０に入射される。

Ｒ用液晶パネル１３０Ｒ、Ｇ用液晶パネル１３０Ｇ、Ｂ用液晶パネル１３０Ｂは、それぞれ同様の構成を有している。各液晶パネルは、電気光学物質である液晶を一対の透明なガラス基板に密閉封入したものであり、例えばポリシリコン薄膜トランジスタをスイッチング素子として、各画素の画像信号に対応して各色光の通過率を変調する。

本実施形態では、投射制御部５０の光変調素子駆動部５２によって生成された駆動信号が、それぞれＲ用液晶パネル１３０Ｒ、Ｇ用液晶パネル１３０Ｇ、Ｂ用液晶パネル１３０Ｂの透過率（通過率、変調率）の制御に用いられる。

クロスダイクロイックプリズム１６０は、Ｒ用液晶パネル１３０Ｒ、Ｇ用液晶パネル１３０Ｇ及びＢ用液晶パネル１３０Ｂからの入射光を合成した合成光を出射光として出力する機能を有する。投射レンズ１７０は、出力画像をスクリーンＳＣＲ上に拡大して結像させるレンズであり、ズーム倍率に応じて画像を拡大又は縮小させる機能を有する。

以下では、上記の構成を有するプロジェクタ１０において、「フレア」が発生しても画質を向上させる画像処理部２０の処理について詳細に説明する。

図３（Ａ）、図３（Ｂ）に、本実施形態におけるフレアの説明図を示す。図３（Ａ）は、投射レンズ１７０と光変調素子との位置関係を表す。図３（Ｂ）は、スクリーンＳＣＲ上の画素に注目したときのフレアを模式的に表す。
図４に、本実施形態におけるフレアの模式的な形状を示す。

図３（Ａ）に示すように、光源１１０からの光が照射される液晶パネルを通過する光の領域３００の中心位置は、投射レンズ１７０の中心位置ＯＣに対してずれる。従って、図３（Ｂ）に示すように、投射レンズ１７０を通過した光は、スクリーンＳＣＲ上の投射領域３１０内の投射画像ＩＭＧとして映し出されたとき、スクリーンＳＣＲ上では、図３（Ａ）の領域３００内の画素Ｐ１のフレアは、スクリーンＳＣＲ上で図３（Ｂ）に示す形状となる。即ち、光源１１０からの光が変調される液晶パネルの画素Ｐ１の形状に対し、投射レンズ１７０等の投射光学系の影響で、フレアＦ１の形状が図４のようになる。

図５（Ａ）、図５（Ｂ）に、フレアに起因する画質劣化の説明図を示す。図５（Ａ）は、液晶パネルの画素の配置例を模式的に表す。図５（Ｂ）は、フレアによって画像がにじむ様子を表す。

図５（Ａ）に示すように、光変調素子としての液晶パネルの画素が、水平方向及び垂直方向に２次元配列されているため、理想的には、スクリーンＳＣＲ上にも、各画素の光が、その隣接する画素の光と干渉しない状態で画像として表示されることが望ましい。ところが、図４に示すように各画素にフレアが発生するため、図５（Ｂ）に示すように隣接する画素の光が干渉してスクリーンＳＣＲ上の画像がにじみ、画質の劣化を招く。

そこで、本実施形態では、画素毎に、フレアが発生しても所望の画素値が得られるように、入力画像信号を補正することで画質の劣化を抑える。即ち、本実施形態では、画素位置毎に、その周辺の画素の影響を考慮した補正を行う。本実施形態によれば、レンズを用いて画像を表示する場合に、通過光が通過するレンズ上の位置に対応したフレアモデルを算出し、該フレアモデルに基づいて、該通過光の変調量を定める画像信号を補正するようにしたので、レンズに起因して「フレア」が発生した場合であっても、「フレア」を測定することなく画質を向上させることができるようになる。更に、本実施形態によれば、レンズ上の位置で定義される当該画素の周辺画素の画素値を用いて、当該画素に対応した画像信号を補正するようにしたので、「フレア」の形状に応じた画質の向上を図ることができるようになる。

ここで、フレアの影響は、投射レンズの位置に起因するため、以下のように、投射レンズの中心位置を基準に特定される画素位置を用いることが望ましい。

図６（Ａ）、図６（Ｂ）に、本実施形態における表示システム２の模式図を示す。図６（Ａ）は、表示システム２を横から見た図を表す。図６（Ｂ）は、表示システム２をスクリーンＳＣＲに対して正面から見た図を表す。図６（Ａ）、図６（Ｂ）において、図１と同一部分には同一符号を付し、適宜説明を省略する。

図６（Ａ）に示すように、一般的に、プロジェクタ１０の投射レンズ１７０の中心位置ＯＣに対して、上側に投影画像が広がるようにプロジェクタ１０は画像を投射する。こうすることで、スクリーンＳＣＲからの位置が近くても、プロジェクタ１０はスクリーンＳＣＲ上に大きな画像を表示させることができる。

従って、図６（Ｂ）に示すように、スクリーンＳＣＲ上の投射画像の中心位置ＯＣＣと、プロジェクタ１０の投射レンズ１７０の中心位置ＯＣから投射される画素位置ＯＣＰとは異なる。そこで、本実施形態では、投射レンズ１７０上で定義されるレンズ座標系の画素に対し、その画素位置に対応した補正処理を行う。そのため、本実施形態では、レンズ座標系の画素に対してフレアモデルを算出するため、次に示すような用語を用いる。

図７に、本実施形態におけるフレアモデルを定義するための用語の説明図を示す。図７は、投射レンズ１７０の中心位置ＯＣを中心とする同心円を表す。

本実施形態におけるフレアモデルは、投射レンズ１７０の中心位置ＯＣを基準に、次の３要素を用いて表現される。第１の要素は、投射レンズ１７０の中心位置ＯＣからの距離である像高ｈである。第２の要素は、投射レンズ１７０の中心位置ＯＣを中心とした同心円方向であるサジタル（sagittal）方向Ｓである。第３の要素は、投射レンズ１７０の中心位置ＯＣを基準として放射線方向であるメリジオナル（meridional）方向Ｍである。より具体的には、投射レンズ１７０の中心位置ＯＣを中心とした同心円上に当該画素が位置する場合、像高ｈは、当該画素を通る同心円の半径となり、サジタル方向Ｓは、当該画素位置における同心円の接線方向であり、メリジオナル方向Ｍは、当該画素位置から中心位置ＯＣに向かう方向又はその逆方向である。こうすることで、フレアモデルの形状をより少ないパラメータ数で特定（算出）できるので、フレアモデルを規定するフレアモデルデータの容量を削減できるようになる。

本実施形態におけるフレアモデルは、以上のような３要素を用いて、次のようなフレアモデルのパラメータ（フレアモデルデータ）により特定される。

図８に、本実施形態におけるフレアモデルの説明図を示す。

図８では、投射レンズ１７０上において、画像の水平方向にｉ番目、垂直方向にｊ番目の画素（ｉ，ｊ）のフレアを表現するフレアモデルを表している。ここでは、投射レンズ１７０の中心位置ＯＣから投影画像の水平方向の第１の向きと、画素（ｉ，ｊ）と中心位置ＯＣを結ぶ直線とのなす角度をθとし、画素（ｉ，ｊ）と中心位置ＯＣとの距離（像高）をｈとすると、投射レンズ１７０上の位置（当該画素の通過光が通る位置）は、投射レンズ１７０の中心位置ＯＣを中心とする極座標を用いて画素（ｉ，ｊ）を特定することができる。こうすることで、投射レンズの中心位置を基準に投射レンズ上の位置を特定するようにしたので、レンズの中心位置が等しい画素同士については同様に補正することができ、画像信号の補正処理を簡素化できるようになる。

そして、本実施形態では、このように特定される投射レンズ上の画素（ｉ，ｊ）におけるフレアモデルを、パラメータＭｏ（θ，ｈ）、Ｍｉ（θ，ｈ）、Ｓ（θ，ｈ）で表す。

パラメータＭｏ（θ，ｈ）は、角度θ、像高ｈにおけるメリジオナル方向外側のフレアの長さを表す。即ち、パラメータＭｏ（θ，ｈ）は、当該画素（ｉ，ｊ）の位置を基準に、投射レンズ１７０の中心位置ＯＣを中心とする同心円の外側に向かう放射線方向のフレアの長さを表す。

パラメータＭｉ（θ，ｈ）は、角度θ、像高ｈにおけるメリジオナル方向内側のフレアの長さを表す。即ち、パラメータＭｉ（θ，ｈ）は、当該画素（ｉ，ｊ）の位置を基準に、投射レンズ１７０の中心位置ＯＣを中心とする同心円の内側に向かう放射線方向のフレアの長さを表す。

パラメータＳ（θ，ｈ）は、角度θ、像高ｈにおけるサジタル方向のフレアの幅を表す。即ち、パラメータＳ（θ，ｈ）は、当該画素（ｉ，ｊ）の位置を基準とする同心円方向のフレアの幅を表す。

即ち、本実施形態では、フレアモデルが、投射レンズの中心位置ＯＣを基準とするサジタル方向の長さ、及び投射レンズの中心位置を基準とするメリジオナル方向の長さを用いて特定される。そして、本実施形態では、図１のフレアモデルデータ記憶部３２が記憶するフレアモデルデータは、上記のパラメータＭｏ（θ，ｈ）、Ｍｉ（θ，ｈ）、Ｓ（θ，ｈ）である。

ところで、このような「フレア」の形状を特定するためのフレアモデルデータは、一般に、投射レンズ１７０の特性上、角度θに依存しないことが多い。しかしながら、投射レンズ１７０のズーム位置に応じて「フレア」の出方が異なる。そのため、フレアモデルデータ記憶部３２は、投射レンズ１７０のズーム位置（ズーム量）に対応したフレアモデルデータを記憶することが望ましい。

図９（Ａ）、図９（Ｂ）に、本実施形態におけるプロジェクタ１０の投射レンズ１７０のズーム位置の説明図を示す。図９（Ａ）は、ズーム倍率が小さい場合の投射レンズ１７０のズーム位置を表し、図９（Ｂ）は、ズーム倍率が大きい場合の投射レンズ１７０のズーム位置を表す。

このように、スクリーンＳＣＲまでの距離を一定にした状態で、プロジェクタ１０の投射レンズ１７０のズーム位置を変更したとき、投影画像の各画素において「フレア」の出方が異なる。

そこで、本実施形態では、フレアモデルデータ記憶部３２は、投射レンズのズーム量に対応した複数のフレアモデルデータを記憶することができる。そして、フレアモデル算出部３０は、ズーム位置取得部２８によって取得された投射レンズのズーム位置に基づいて、投射レンズのズーム量に対応したフレアモデルデータを読み出し、画像信号が該フレアモデルデータに基づいて補正されることが望ましい。こうすることで、投射レンズ１７０のズーム位置が変化した場合であっても、正確に画像信号を補正することができ、ズーム量にかかわらず画質を向上させることができるようになる。

次に、本実施形態における画像処理部２０の処理例の詳細について説明する。

図１０に、本実施形態における画像処理部２０のハードウェア構成例のブロック図を示す。

画像処理部２０は、ＣＰＵ４００、Ｉ／Ｆ回路４１０、読み出し専用メモリ（Read Only Memory：ＲＯＭ）４２０、ランダムアクセスメモリ（Random Access Memory:ＲＡＭ）４３０、バス４４０を有し、バス４４０を介して、ＣＰＵ４００、Ｉ／Ｆ回路４１０、ＲＯＭ４２０、ＲＡＭ４３０は電気的に接続されている。

例えばＲＯＭ４２０には、画像処理部２０の機能を実現するプログラムが記憶される。ＣＰＵ４００は、ＲＯＭ４２０に記憶されたプログラムを読み出し、該プログラムに対応した処理を実行することで、上述の画像処理部２０の機能をソフトウェア処理で実現できる。なお、ＲＡＭ４３０は、フレアモデルデータ記憶部３２の機能を実現すると共に、ＣＰＵ４００による処理の作業エリアとして用いられたり、Ｉ／Ｆ回路４１０やＲＯＭ４２０のバッファエリアとして用いられたりする。Ｉ／Ｆ回路４１０は、図示しない画像信号生成装置からの画像信号の入力インタフェース処理や、ズーム調節部５４からのズーム量の受信処理を行う。

図１１に、本実施形態における画像処理部２０の処理例のフロー図を示す。

図１０のＲＯＭ４２０において、予め図１１に示す処理を実現するためのプログラムが格納されており、ＣＰＵ４００がＲＯＭ４２０に格納されたプログラムを読み出して該プログラムに対応した処理を実行することで、図１１に示す処理をソフトウェア処理により実現できる。

画像処理部２０は、まず、ズーム位置取得部２８の機能により、ズーム調節部５４の調節結果であるズーム位置を取得する（ステップＳ１０）。そして、画像処理部２０は、投射レンズ１７０の中心位置ＯＣに対応する光変調素子１３０としての液晶パネル１３０Ｒ、１３０Ｇ、１３０Ｂの位置を特定し、パネル座標系における投射レンズの中心位置として算出する（ステップＳ１２）。

その後、画像処理部２０は、例えば１画面分の画像信号をバッファリングし（ステップＳ１４）、図示しないフレームバッファ（図１０のＲＡＭ４３０）に格納する。

これ以降、画像処理部２０は、１画素を構成する色成分毎に処理を行う。

即ち、画像処理部２０は、画素（ｉ，ｊ）の色成分毎に、当該画素位置におけるフレアモデルデータを取得する（ステップＳ１４）。より具体的には、ステップＳ１２でパネル座標系における投射レンズの中心位置を算出すると、画素（ｉ，ｊ）における像高ｈ、角度θがわかるので、フレアモデルデータ記憶部３２に記憶されたフレアモデルデータの中からフレアパラメータＭｏ（θ，ｈ）、Ｍｉ（θ，ｈ）、Ｓ（θ，ｈ）の各値を取得する。

図１２（Ａ）、図１２（Ｂ）に、フレアモデルデータ記憶部３２に記憶されるフレアモデルデータの説明図を示す。

図１２（Ａ）に示すように、フレアモデルデータ記憶部３２は、例えば像高ｈに対応して、フレアモデルデータとしてのフレアパラメータＭｏ（ｈ）、Ｍｉ（ｈ）、Ｓ（ｈ）の値を記憶する。これにより、投射レンズ１７０の特性上、角度θにかかわらずフレアパラメータＭｏ（ｈ）、Ｍｉ（ｈ）、Ｓ（ｈ）が同じであるため、フレアモデルデータ記憶部３２が記憶すべきデータ容量を削減することができる。

また、フレアモデルデータ記憶部３２は、図１２（Ｂ）に示すように、ズーム位置取得部２８によって取得されるズーム位置に応じたフレアモデルデータを記憶する。これは、投射レンズ１７０のズーム位置に応じて「フレア」の出方が異なるため、ズーム位置毎にフレアモデルデータを格納することで、より正確に画質を向上させることができるようになる。

以上のように、フレアモデルデータ記憶部３２及び制御部３４はフレアモデル算出部３０の機能を実現し、フレアモデル算出ステップとして、予めフレアモデルデータを記憶しておき、そのフレアモデルデータの中から、ズーム位置取得部２８からのズーム位置に応じて、各画素位置のフレアモデルデータが出力される。こうして、図１１のステップＳ１６において、ズーム位置に応じたフレアモデルデータを取得すると、画像処理部２０は、当該画素の「フレア」による周辺画素のカバー率を算出する（ステップＳ１８）。そして、画像処理部２０は、画像信号補正ステップとして、画像信号補正部２４において、ステップＳ１８で求められたカバー率を用いて当該画素の画像信号を補正する（ステップＳ２０）。

図１３（Ａ）、図１３（Ｂ）は、本実施形態における画像処理部２０による当該画素の画像信号補正処理の説明図を示す。図１３（Ａ）は、パネル座標系における当該画素（ｉ，ｊ）を模式的に表し、図１３（Ｂ）は、当該画素の周辺画素のカバー率を模式的表す。

図１１のステップＳ１６においてフレアモデルデータが取得されると、当該画素（ｉ，ｊ）のフレアの形状が判別する。例えば図１３（Ａ）の画素（ｉ，ｊ）に注目したとき、当該画素の周辺画素のうち、当該画素（ｉ，ｊ）を含む例えば４画素のフレアのカバー率を算出する。フレアの面積をＳ、画素ａ（画素値ａ）のフレアのカバー率をＳａ、画素ｂ（画素値ｂ）のフレアのカバー率をＳｂ、画素ｃ（画素値ｃ）のフレアのカバー率をＳｃ、画素ｄ（画素値ｄ）のフレアのカバー率をＳｄとすると、画像信号補正部２４は、当該画素（ｉ，ｊ）（画素ｄ）の画素値（画像信号）ｓｉｇを次式のように補正した補正後の画素値（画像信号）ｓｉｇｄを出力する。

その後、図１１において、次の色成分の画像信号の補正を行うとき（ステップＳ２２：Ｙ）、画像処理部２０は、ステップＳ１６に戻って処理を継続する。また、ステップＳ２２において、次の色成分の画像信号の補正を行わないとき（ステップＳ２２：Ｎ）、次の画素について画像信号を補正するとき（ステップＳ２４：Ｙ）、画素位置を更新して（ステップＳ２６）、ステップＳ１６に戻って処理を継続し、次の画素について画像信号を補正しないとき（ステップＳ２４：Ｎ）、一連の処理を終了する（エンド）。

図１４に、図１１のステップＳ１８の詳細の処理例のフロー図を示す。
図１５及び図１６に、図１４のステップＳ３０の説明図を示す。
図１７に、図１４のステップＳ３４、ステップＳ３６の説明図を示す。
図１８（Ａ）、図１８（Ｂ）に、図１４のステップＳ３６、ステップＳ３８の説明図を示す。

当該画素の周辺画素のカバー率を算出するにあたって、画像処理部２０は、まず、図１１のステップＳ１２以降で求められる角度θと、ステップＳ１６で取得されるフレアモデルデータとに基づいて、画素（ｉ，ｊ）のフレアの外周４点の座標を算出する（ステップＳ３０）。即ち、図１５に示すように一辺が画素ピッチ分の長さを有する正方形の領域を画素領域とすると、画素（ｉ，ｊ）の中心位置を基準に、フレアのパラメータ（フレアモデルデータ）Ｍｏ（θ，ｈ）、Ｍｉ（θ，ｈ）、Ｓ（θ，ｈ）を用いて、外周４点の座標を求める。なお、正方形の領域は、後述するように面積の算出に用いるため、図１６に示すように例えば１０×１０の分解能で各座標位置を定める。

次に、画像処理部２０は、ステップＳ３０で求めた４点の外周を結線する処理を行う（ステップＳ３２）。なお、ステップＳ３２では、直線で結線する必要はなく、例えばスプライン曲線等の所与の線で結線してもよい。続いて、画像処理部２０は、ステップＳ３２の結線で囲まれた内部の面積を算出する（ステップＳ３４）。ステップＳ３４では、例えば結線で囲まれた領域を塗りつぶした個数を面積として算出することができる。

そして、画像処理部２０は、ステップＳ３２で結線された領域のうち当該画素の周辺画素の領域の面積を算出し（ステップＳ３６）、上式のようにカバー率を算出する（ステップＳ３８）。例えば、図１８（Ａ）に示すように、当該画素の左上の周辺画素（画素値ｓｉｇ１１）の面積は「３８」、真上の周辺画素（画素値ｓｉｇ１２）の面積は「２３」、左の周辺画素（画素値ｓｉｇ２１）の面積は「２７」、当該画素（画素値ｓｉｇ）の面積は「９６」となるため、結線内部の面積は「１８４」（＝３８＋２３＋２７＋９６）となり、当該画素を含む周辺画素のカバー率は図１８（Ｂ）のようになる。

従って、この場合、当該画素の画素値（画像信号）ｓｉｇを、下の式のように重み付け計算して求める。

以上のように、本実施形態では、投射レンズのレンズ座標系で定義される画素毎にフレアモデルを算出し、該フレアモデルに基づいて、パネル座標系で定義される当該画素の周辺画素の画素値（画像信号）を用いて当該画素の画素値を補正する。こうすることで、投射レンズに起因した「フレア」が発生しても画質を向上させることができるようになる。

以上、本発明に係る画像処理装置、画像表示装置及び画像処理方法を上記の実施形態に基づいて説明したが、本発明は上記の実施形態に限定されるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。

（１）上記の実施形態では、画像表示装置としてプロジェクタを例に説明したが、本発明はこれに限定されるものではない。本発明は、レンズを用いて画像を表示する画像表示装置に適用できることは言うまでもない。

（２）上記の実施形態では、１画素を３つの色成分のサブ画素で構成されるものとして説明したが、本発明はこれに限定されるものではない。１画素を構成する色成分数が２、又は４以上であってもよい。

（３）上記の実施形態では、光変調素子としてライトバルブを用いるものとして説明したが、本発明はこれに限定されるものではない。光変調部として、例えばＤＬＰ（Digital Light Processing)（登録商標）、ＬＣＯＳ（Liquid Crystal On Silicon)等を採用してもよい。

（４）上記の実施形態では、光変調素子として、いわゆる３板式の透過型の液晶パネルを用いたライトバルブを例に説明したが、４板式以上の透過型の液晶パネルを用いたライトバルブを採用してもよい。

（５）上記の実施形態において、本発明を、画像処理装置、画像表示装置及び画像処理方法として説明したが、本発明はこれに限定されるものではない。例えば、本発明を実現するための画像処理方法の処理手順が記述されたプログラムや、該プログラムが記録された記録媒体であってもよい。

本発明に係る実施形態におけるプロジェクタが適用された表示システムの構成例のブロック図。 図１の投射部の構成例を示す図。 図３（Ａ）、図３（Ｂ）は本実施形態におけるフレアの説明図。 本実施形態におけるフレアの模式的な形状を示す図。 図５（Ａ）、図５（Ｂ）はフレアに起因する画質劣化の説明図。 図６（Ａ）、図６（Ｂ）本実施形態における表示システムの模式図。 本実施形態におけるフレアモデルを定義するための用語の説明図。 本実施形態におけるフレアモデルの説明図。 図９（Ａ）、図９（Ｂ）は本実施形態におけるプロジェクタの投射レンズのズーム位置の説明図。 本実施形態における画像処理部のハードウェア構成例のブロック図。 本実施形態における画像処理部の処理例のフロー図。 図１２（Ａ）、図１２（Ｂ）はフレアモデルデータ記憶部に記憶されるフレアモデルデータの説明図。 図１３（Ａ）、図１３（Ｂ）は本実施形態における画像処理部による当該画素の画像信号補正処理の説明図。 図１１のステップＳ１８の詳細の処理例のフロー図。 図１４のステップＳ３０の説明図。 図１４のステップＳ３０の説明図。 図１４のステップＳ３４、ステップＳ３６の説明図。 図１８（Ａ）、図１８（Ｂ）は図１４のステップＳ３６、ステップＳ３８の説明図。

符号の説明

２…表示システム、 １０…プロジェクタ、 ２０…画像処理部、
２２…入力信号処理部、 ２４…画像信号補正部、 ２６…出力信号処理部、
２８…ズーム位置取得部、 ３０…フレアモデル算出部、
３２…フレアモデルデータ記憶部、 ３４…制御部、 ５０…投射制御部、
５２…光変調素子駆動部、 ５４…ズーム調節部、 １００…投射部、 １１０…光源、
１１２，１１４…インテグレータレンズ、 １１６…偏光変換素子、
１１８…重畳レンズ、 １２０Ｒ…Ｒ用ダイクロイックミラー、
１２０Ｇ…Ｇ用ダイクロイックミラー、 １２２，１４８，１５０…反射ミラー、
１２４Ｒ…Ｒ用フィールドレンズ、 １２４Ｇ…Ｇ用フィールドレンズ、
１３０…光変調素子 １３０Ｒ…Ｒ用液晶パネル、 １３０Ｇ…Ｇ用液晶パネル、
１３０Ｂ…Ｂ用液晶パネル、 １４０…リレー光学系、
１４２，１４４，１４６…リレーレンズ、 １６０…クロスダイクロイックプリズム、
１７０…投射レンズ、 ＳＣＲ…スクリーン

Claims (8)

1. レンズの通過光の変調量を定める画像信号を補正する画像処理装置であって、
   前記通過光が通過する前記レンズ上の位置に対応したフレアモデルを算出するフレアモデル算出部と、
   前記フレアモデル算出部によって求められた前記フレアモデルに基づいて、前記画像信号を補正する画像信号補正部とを含むことを特徴とする画像処理装置。
2. 請求項１において、
   前記画像信号補正部は、
   前記フレアモデルに基づいて、前記レンズ上の当該画素の周辺画素の画素値を用いて前記当該画素に対応した前記画像信号を補正することを特徴とする画像処理装置。
3. 請求項１又は２において、
   前記レンズ上の位置は、
   前記レンズの中心位置を原点とする極座標を用いて特定されることを特徴とする画像処理装置。
4. 請求項１乃至３のいずれかにおいて、
   前記フレアモデルは、
   前記レンズの中心位置を基準とするサジタル方向の長さ、及び前記レンズの中心位置を基準とするメリジオナル方向の長さを用いて特定されることを特徴とする画像処理装置。
5. 請求項１乃至４のいずれかにおいて、
   前記レンズのズーム位置を取得するズーム位置取得部を含み、
   前記フレアモデル算出部は、
   前記ズーム位置取得部によって取得された前記ズーム位置に応じたフレアモデルを算出することを特徴とする画像処理装置。
6. 請求項５において、
   前記レンズのズーム量に対応した複数のフレアモデルデータを記憶するフレアモデルデータ記憶部を含み、
   前記フレアモデル算出部は、
   前記ズーム位置取得部によって取得された前記ズーム位置に基づいて、前記レンズのズーム量に対応したフレアモデルデータを読み出し、
   前記画像信号補正部は、
   前記フレアモデルデータに基づいて前記画像信号を補正することを特徴とする画像処理装置。
7. 前記画像信号に基づいて前記通過光を変調する光変調素子と、
   前記通過光が通過するレンズと、
   前記画像信号を出力する請求項１乃至６のいずれか記載の画像処理装置とを含むことを特徴とする画像表示装置。
8. レンズの通過光の変調量を定める画像信号を補正する画像処理方法であって、
   前記通過光が通過する前記レンズ上の位置に対応したフレアモデルを算出するフレアモデル算出ステップと、
   前記フレアモデル算出ステップにおいて求められた前記フレアモデルに基づいて、前記画像信号を補正する画像信号補正ステップとを含むことを特徴とする画像処理方法。