JP2013192193A - 表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラム - Google Patents

Abstract

【課題】色成分毎の独立した信号処理による副作用を抑制して、レンズの持つ歪みに起因する画像の歪みを信号処理によって好適に補正する。
【解決手段】ＲＧＢ毎の歪み補正ブロックでは、入力画像信号をデガンマー処理して一旦リニア―画像に変換してから歪み補正を行ない、その後再びガンマー処理して出力する。表示パネルとレンズを組み合わせて表示する際に、補正による画質劣化を軽減することができる。特に、色むらの発生や、精細感の劣化を防ぐことができ、より高画質な画像を表示することが可能となる。
【選択図】 図１５

Description

本明細書で開示する技術は、例えばヘッド・マウント・ディスプレイのように、表示パネルとレンズを組み合わせた表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラムに係り、特に、レンズの持つ歪みに起因する画像の歪みを信号処理によって補正する表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラムに関する。

頭部に装着して画像を視聴する表示装置、すなわちヘッド・マウント・ディスプレイ（ＨＭＤ）が広く知られている。ヘッド・マウント・ディスプレイは、左右の眼毎に光学ユニットを持ち、また、ヘッドフォンと併用し、視覚及び聴覚を制御できるように構成されている。頭部に装着した際に外界を完全に遮るように構成すれば、視聴時の仮想現実感が増す。また、ヘッド・マウント・ディスプレイは、左右の眼に違う画像を映し出すことも可能であり、左右の眼に視差のある画像を表示すれば３Ｄ画像を提示することができる。

ヘッド・マウント・ディスプレイの左右の眼の表示部には、例えば液晶や有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）素子などからなる高解像度の表示パネルを用いることができる。また、接眼光学系で画像表示素子を拡大投影して広画角を設定するとともに、ヘッドフォンで多チャンネルを再現すれば、映画館で視聴するような臨場感を再現することができるであろう。

光学レンズには歪みがあることが知られている。例えば、ヘッド・マウント・ディスプレイで画角を大きくとると、接眼光学系で用いられるレンズの歪みに起因して、表示画像を観察するときに複雑や歪曲や色ずれが発生して、品質を劣化することが懸念される。

また、広画角を確保するために接眼光学系を構成するレンズの枚数を増やすと、ヘッド・マウント・ディスプレイの重量が増すため、これを装着するユーザーの負担が大きくなる。ここで、重量削減のためにレンズの枚数を少なくすると、各レンズで発生する歪みが大きくなるとともに、歪みを補正するレンズ系がなくなってしまう。その結果として、画角を大きくとることが困難になる。

接眼光学系で発生する歪みを信号処理によって補正する方法が知られている。すなわち、接眼光学系が図２１に示すような歪みを持つ場合には、表示パネルに表示する画像を、図２２に示すように接眼光学系の歪み特性と逆方向となるように、あらかじめ補正しておく。表示画像を接眼光学系越しに見たときには、歪みを含まない正常な画像として観察される。図２１に示すように、接眼光学系が表示画像を糸巻き型に歪ませる特性を持つ場合には、図２２に示すように、元画像に対して樽型に歪ませる画像補正を行なってから表示パネルに表示する。すると、接眼光学系越しの表示画像は、元画像と同じ画像として観察される。

また、レンズの持つ歪みは、光の波長に依存して若干変化するという特性を持つ。すなわち、接眼光学系が持つ歪みは、厳密には図２３に示すようにものとなる。このため、ＲＧＢすべての色成分について図２２に示したような歪み補正を一様に適用すると、図２４に示すように色成分毎の像面での位置がずれてしまい、画像の鮮明度が劣化する。歪みの補正をより精度良く行なうには、図２５に示すように、ＲＧＢの色成分毎に独立して補正処理を行なう必要がある。

例えば、ＲＧＢ各色の画像信号に対して個別に歪み補正を行なうことで、光学系の色収差による画像の劣化も補正する方法について提案がなされている（例えば、特許文献１〜６を参照のこと）。

しかしながら、ＲＧＢの色成分毎に独立して補正処理を行なう際の副作用として、ＲＧＢのバランスが崩れることが懸念される。ＲＧＢのバランスの崩れは、例えば画像中の細い白線や白輝点などにおいて、色味が付いた偽色として観察される。

特開平９−６１７５０号公報 特開平９−１１３８２３号公報 特開２００１−１８６４４２号公報 特開２００４−２３３８６９号公報 特開２００８−２５８８０２号公報 特開２００４−２３３８６９号公報

本明細書で開示する技術の目的は、表示パネルとレンズの組合せで画像を表示する際に、レンズの持つ歪みに起因する画像の歪みを信号処理によって好適に補正することができる、優れた表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラムを提供することにある。

本明細書で開示する技術のさらなる目的は、レンズの持つ歪みに起因する画像の歪みを、色成分毎の信号処理によって好適に補正することができる、優れた表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラムを提供することにある。

本明細書で開示する技術のさらなる目的は、色成分毎の独立した信号処理による副作用を抑制して、レンズの持つ歪みに起因する画像の歪みを信号処理によって好適に補正することができる、優れた表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラムを提供することにある。

本願は、上記課題を参酌してなされたものであり、請求項１に記載の技術は、
入力画像を色成分毎に独立して補正処理する画像補正部と、
前記画像補正部の出力画像を表示する表示部と、
前記表示部の表示画像を所定の画角となるように投影する接眼光学部と、
を具備し、
前記画像補正部は、各色成分について、ガンマ処理されている入力画像をデガンマ処理してから、前記接眼光学部により発生する歪みの補正処理を行ない、再ガンマ処理して出力する、
表示装置である。

本願の請求項２に記載の技術によれば、請求項１に記載の表示装置の画像補正部は、出力画像の画素を、ガンマ処理されたリニア入力画像上の対応する複数の画素で補間するように構成されている。

また、本願の請求項３に記載の技術は、
ガンマ処理されている入力画像信号をデガンマ処理するデガンマ処理部と、
デガンマ処理した後のリニア入力画像に対して、所定の接眼光学部で投影したときに発生する歪みの補正処理する画像補正部と、
補正した後のリニア画像を再ガンマ処理して出力するガンマ処理部と、
を色成分毎に具備する画像処理装置である。

また、本願の請求項４に記載の技術は、
ガンマ処理されている入力画像信号をデガンマ処理するデガンマ処理ステップと、
デガンマ処理した後のリニア入力画像に対して、所定の接眼光学部で投影したときに発生する歪みの補正処理する画像補正ステップと、
補正した後のリニア画像を再ガンマ処理して出力するガンマ処理ステップと、
を色成分毎に有する画像処理方法である。

また、本願の請求項５に記載の技術は、
入力画像の色成分毎に、ガンマ処理されている入力画像信号をデガンマ処理するデガンマ処理部、デガンマ処理した後のリニア入力画像に対して、所定の接眼光学部で投影したときに発生する歪みの補正処理する画像補正部、及び補正した後のリニア画像を再ガンマ処理して出力するガンマ処理部としてコンピューターが機能するようにコンピューター可読形式で記述されたコンピューター・プログラムである。

本願の請求項５に係るコンピューター・プログラムは、コンピューター上で所定の処理を実現するようにコンピューター可読形式で記述されたコンピューター・プログラムを定義したものである。換言すれば、本願の請求項５に係るコンピューター・プログラムをコンピューターにインストールすることによって、コンピューター上では協働的作用が発揮され、本願の請求項３に係る画像処理装置と同様の作用効果を得ることができる。

本明細書で開示する技術によれば、色成分毎の独立した信号処理による副作用を抑制して、レンズの持つ歪みに起因する画像の歪みを信号処理によって好適に補正することができる、優れた表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラムを提供することができる。

本明細書で開示する技術によれば、表示パネルとレンズを組み合わせた表示装置において、特に、色成分毎の独立した信号処理による副作用として色むらの発生や精細感の劣化を防止することかでき、より高画質な画像を表示することが可能になる。

本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。

図１は、ヘッド・マウント・ディスプレイを含む画像表示システムの構成を模式的に示した図である。 図２は、ヘッド・マウント・ディスプレイにおいて、接眼光学系の投影像に発生する歪みを信号処理によって補正する機能ブロック図である。 図３は、入力画像をＲＧＢの色成分毎に独立して補正処理を行なう画像補正部２０２の構成例を示した図である。 図４は、歪み補正ブロック３０１の内部構成例を示した図である。 図５は、入力画像信号の値ｄｉｎ（ｍ_k）、ｄｉｎ（ｍ_k＋１）を参照信号ｒｅｆ（ｋ）の小数部ｓ_kでリニア補間して、出力画像信号ｄｏｕｔ（ｋ）を得る様子を示した図である。 図６は、１画素の１００％輝点を含む入力画像信号ｄｉｎをリニア補間した場合の出力画像信号ｄｏｕｔ（ｋ）の値を示した図である（但し、ｓ_k＝０．２）。 図７は、１画素の１００％輝点を含む入力画像信号ｄｉｎをリニア補間した場合の出力画像信号ｄｏｕｔ（ｋ）の値を示した図である（但し、ｓ_k＝０．５）。 図８は、１画素の１００％輝点を含む入力画像信号ｄｉｎをリニア補間した場合の出力画像信号ｄｏｕｔ（ｋ）の値を示した図である（但し、ｓ_k＝０．８）。 図９は、ガンマ曲線を例示した図である。 図１０は、１画素の１００％輝点を含む入力画像信号ｄｉｎをリニア補間した場合の出力画像の輝度を示した図である（但し、ｓ_k＝０．２）。 図１１は、１画素の１００％輝点を含む入力画像信号ｄｉｎをリニア補間した場合の出力画像の輝度を示した図である（但し、ｓ_k＝０．５）。 図１２は、１画素の１００％輝点を含む入力画像信号ｄｉｎをリニア補間した場合の出力画像の輝度を示した図である（但し、ｓ_k＝０．８）。 図１３は、１画素の１００％白輝点を含む入力画像信号ｄｉｎをリニア補間した場合の出力画像の色成分毎の輝度を示した図である。 図１４は、画像補正によりＲＧＢの色成分毎の輝度の総計が１００％に揃わない１画素の白輝点を接眼光学系２０４越しに観察する様子を示した図である。 図１５は、歪み補正ブロック３０１の内部構成例を示した図である。 図１６は、１画素の１００％輝点を含む入力画像信号ｄｉｎをデガンマ処理してからリニア補間し、再ガンマ処理した場合の出力画像の輝度を示した図である（但し、ｓ_k＝０．２）。 図１７は、１画素の１００％輝点を含む入力画像信号ｄｉｎをデガンマ処理してからリニア補間し、再ガンマ処理した場合の出力画像の輝度を示した図である（但し、ｓ_k＝０．５）。 図１８は、１画素の１００％輝点を含む入力画像信号ｄｉｎをデガンマ処理してからリニア補間し、再ガンマ処理した場合の出力画像の輝度を示した図である（但し、ｓ_k＝０．８）。 図１９は、１画素の１００％白輝点を含む入力画像信号ｄｉｎをデガンマ処理してからリニア補間し、再ガンマ処理した場合の出力画像の色成分毎の輝度を示した図である。 図２０は、画像補正によりＲＧＢの色成分毎の輝度の総計が１００％に揃った１画素の白輝点を接眼光学系２０４越しに観察する様子を示した図である。 図２１は、レンズによって生じる画像歪みの一例を示した図である。 図２２は、レンズによって生じる画像歪みを画像処理により補正する一例を示した図である。 図２３は、レンズによって生じる画像歪みの色成分による相違を示した図である。 図２４は、各色成分について同一の歪み補正を行なった結果を示した図である。 図２５は、色成分毎に独立して画像補正を行なった結果を示した図である。

以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。

図１には、ヘッド・マウント・ディスプレイを含む画像表示システムの構成を模式的に示している。図示のシステムは、視聴コンテンツのソースとなるブルーレイ・ディスク再生装置２０と、ブルーレイ・ディスク再生装置２０から出力されるＡＶ信号の処理を行なうフロント・エンド・ボックス４０と、ブルーレイ・ディスク再生装置２０の再生コンテンツの出力先となる頭部装着型の表示装置（ヘッド・マウント・ユニット）１０と、ブルーレイ・ディスク再生装置２０の再生コンテンツの他の出力先となるハイビジョン・ディスプレイ（例えば、ＨＤＭＩ対応テレビ）３０で構成される。ヘッド・マウント・ユニット１０とフロント・エンド・ボックス４０で、１つのヘッド・マウント・ディスプレイが構成される。

フロント・エンド・ボックス４０は、ブルーレイ・ディスク再生装置２０から出力されるＡＶ信号をＨＤＭＩ入力すると、例えば信号処理して、ＨＤＭＩ出力するＨＤＭＩリピーターに相当する。また、フロント・エンド・ボックス４０は、ブルーレイ・ディスク再生装置２０の出力先をヘッド・マウント・ユニット１０又はハイビジョン・ディスプレイ３０のいずれかに切り替える２出力スイッチャーでもある。図示の例では、フロント・エンド・ボックス４０は２出力であるが、３以上の出力を有していてもよい。但し、フロント・エンド・ボックス４０は、ＡＶ信号の出力先を排他的とし、且つ、ヘッド・マウント・ユニット１０への出力を最優先とする。

なお、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｔｌｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）は、ＤＶＩ（Ｄｉｇｉｔａｌ Ｖｉｓｕａｌ Ｉｎｔｅｒｆａｃｅ）を基にし、物理層にＴＭＤＳ（Ｔｒａｎｓｉｔｉｏｎ Ｍｉｎｉｍｉｚｅｄ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｓｉｇｎａｌｉｎｇ）を用いた、主に音声と映像の伝送を用途としたディジタル家電向けのインターフェース規格である。本システムは、例えばＨＤＭＩ１．４に準拠する。

ブルーレイ・ディスク再生装置２０とフロント・エンド・ボックス４０間、並びに、フロント・エンド・ボックス４０とハイビジョン・ディスプレイ３０間は、それぞれＨＤＭＩケーブルで接続されている。フロント・エンド・ボックス４０とヘッド・マウント・ユニット１０間も、ＨＤＭＩケーブルで接続するように構成することも可能であるが、その他の仕様のケーブルを用いてＡＶ信号をシリアル転送するようにしてもよい。但し、フロント・エンド・ボックス４０とヘッド・マウント・ユニット１０間を接続するケーブル１本で、ＡＶ信号と電力を供給するものとし、ヘッド・マウント・ユニット１０はこのケーブルを介して駆動電力も得ることができる。

ヘッド・マウント・ユニット１０は、左眼用及び右眼用の独立した表示部を備えている。各表示部は、例えば有機ＥＬ素子からなる表示パネルを用いている。また、左右の各表示部は、低歪みで且つ高解像度の広視野角の接眼光学系を装備している。接眼光学系で画像表示素子を拡大投影して広画角を設定するとともに、ヘッドフォンで多チャンネルを再現すれば、映画館で視聴するような臨場感を再現することができる。

接眼光学系で用いられるレンズの歪みに起因して、表示パネルの観察画像に歪みが生じることが懸念される。観察画像の歪みを光学系で補正することが可能である。但し、この方法によると、歪み補正用のレンズが追加されるため、ヘッド・マウント・ユニット１０の重量が増し、装着するユーザーへの負担が懸念される。そこで、本実施形態では、接眼光学系で発生する歪みを信号処理によって補正する方法を採用する。

ここで言う信号処理とは、接眼光学系の投影像に発生する歪みとは逆方向の歪みを提示画像に与える処理に相当する。図２には、ヘッド・マウント・ディスプレイにおいて、接眼光学系の投影像に発生する歪みを信号処理によって補正する機能ブロック図を示している。

ＨＤＭＩ受信部２０１は、ブルーレイ・ディスク再生装置２０のような画像ソースから画像を入力する。この入力画像の各画素に、接眼光学系２０４を通過することによって歪みが生じる。画像補正部２０２は、逆方向の歪みを提示画像の各画素に与えることによって、Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ（ＭＣ）、すなわち、歪みによって生じる各画素の変位を補償して、事前逆歪みをかけた表示画像を生成する。画素に与える逆方向の歪みのことを、以下では、変位ベクトル（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ：ＭＶ）と呼ぶ。変位ベクトルは、入力画像上の画素位置を始点とし、この始点に対応する表示画像上の画素位置を終点とする。

表示部２０３は、画像補正部２０２で逆方向の歪みで補正された後の入力画像を表示パネル上に表示する。この表示画像は、接眼光学系２０４を介して観察者の目の網膜に投影される。表示画像が接眼光学系２０４を通過する際に歪みが生じるが、表示画像にはこの歪みとは逆方向の歪みが与えられているので、網膜上には、歪みを含まない正常な虚像が結像される。

なお、画像補正部２０２は、ヘッド・マウント・ユニット１０又はフロント・エンド・ボックス４０のいずれに配設してもよい。ヘッド・マウント・ユニット１０内の接眼光学系２０４を構成するレンズが持つ歪みパラメーターに基づく画像歪みを補正することを考慮すると、画像補正部２０２をヘッド・マウント・ユニット１０内に配設すれば、フロント・エンド・ボックス４０側では、どのヘッド・マウント・ユニット１０に出力するかを意識せずに画像信号を出力することができる。

接眼光学系２０４を構成するレンズが持つ歪みは、光の波長に依存して若干変化するという特性を持つ。このため、画像補正部２０２では、ＲＧＢの色成分毎に独立して入力画像について補正処理を行なう必要がある。ところが、ＲＧＢの色成分毎に独立して補正処理を行なう際の副作用として、ＲＧＢのバランスが崩れることが懸念される。

以下では、入力画像をＲＧＢの色成分毎に独立して補正処理を行なう際の副作用について考察してみる。

図３には、入力画像をＲＧＢの色成分毎に独立して補正処理を行なう画像補正部２０２の構成例を示している。画像補正部２０２には、ＲＧＢの色成分毎に独立して、入力画像信号ｄｉｎ_R、ｄｉｎ_G、ｄｉｎ_Bと参照信号ｒｅｆ_R、ｒｅｆ_き、ｒｅｆ_こが入力される。色成分毎に設けられた各歪み補正ブロック３０１、３０２、３０３は、それぞれ参照信号ｒｅｆ_R、ｒｅｆ_き、ｒｅｆ_こに基づいて、入力画像信号ｄｉｎ_R、ｄｉｎ_G、ｄｉｎ_Bから出力画像信号ｄｏｕｔ_R、ｄｏｕｔ_G、ｄｏｕｔ_Bを補間生成する。

以下では、説明の簡素化のため、各歪み補正ブロック３０１、３０２、３０３は水平方向のみの補正を行なうとする。また、その補正時の補間方法をリニア補間として説明する。勿論、各歪み補正ブロック３０１、３０２、３０３が水平と垂直の２次元補間処理や、キュービック補間などのマルチタップ補間処理を行なうとしても、以下の説明は同様に成り立つ。

図４には、歪み補正ブロック３０１の内部構成例を示している。以下では、１つの色成分に限定して説明するが、すべての色成分についての歪み補正ブロック３０２、３０３の構成並びに処理内容は同様である。

歪み補正ブロック３０１には、入力画像信号ｄｉｎと参照信号ｒｅｆ（ｋ）が入力される。入力画像信号ｄｉｎは、画像メモリー４０１内に書き込まれる。参照信号ｒｅｆ（ｋ）は、ｋ番目の画素位置の出力画像信号ｄｏｕｔ（ｋ）が参照する入力画像信号ｄｉｎの画素位置ｍ_kを表すものである。但し、出力画像信号ｄｏｕｔ（ｋ）が参照する入力画像信号ｄｉｎの画素位置ｍ_kは整数とは限らないので、参照信号（ｋ）の整数部をｍ_k、小数部をｓ_kと表す。出力画像信号ｄｏｕｔ（ｋ）は変位ベクトルＭＶの終点に相当し、ｒｅｆ（ｋ）は変位ベクトルの始点に相当する。すなわち、画素位置ｍ_kは、出力画像のｋ番目の画素において、接眼光学系２０４で発生する歪みに対して逆方向に歪んだ位置である。

画像メモリー４０１からは、参照信号ｒｅｆ（ｋ）の整数部ｍ_kの値に応じて、隣接するｍ_k番目及びｍ_k＋１番目の画素位置の入力画像信号の値ｄｉｎ（ｍ_k）、ｄｉｎ（ｍ_k＋１）が出力される。

補間部４０２は、画像メモリー４０１から読み出された隣接する２画素の入力画像信号の値ｄｉｎ（ｍ_k）、ｄｉｎ（ｍ_k＋１）を、参照信号ｒｅｆ（ｋ）の小数部ｓ_kの値に基づいて下式（１）のようにリニア補間して、ｋ番目の画素位置の出力画像信号ｄｏｕｔ（ｋ）を得る。図５には、入力画像信号の値ｄｉｎ（ｍ_k）、ｄｉｎ（ｍ_k＋１）を参照信号ｒｅｆ（ｋ）の小数部ｓ_kでリニア補間して、出力画像信号ｄｏｕｔ（ｋ）を得る様子を図解している。

この歪み補正ブロック３０１において、入力画像ｄｉｎに１画素の輝点が存在したときの振る舞いについて、さらに詳細に考察する。

一般に、レンズで画像に発生する歪みは画面内で緩やかに変化する。したがって、ｋ番目の出力画像ｄｏｕｔ（ｋ）の近辺では、参照番号ｒｅｆ（ｋ）は、下式（２）のように近似することができる。

図６〜図８には、１画素の１００％輝点を含む入力画像信号ｄｉｎを上式（１）に従ってリニア補間する場合において、参照信号ｒｅｆ（ｋ）の小数部ｓ_kをそれぞれ０．２、０．５、０．８と変化させたときの補正後の出力画像信号ｄｏｕｔ（ｋ）の値を示している。各図を比較すると、出力画像の信号値ｄｏｕｔ（ｋ）は、参照信号ｒｅｆ（ｋ）の小数部ｓ_kの値に応じて変化するものの、信号値の総計はいずれも２０＋８０＝５０＋５０＝８０＋２０＝１００％になっており、１００％輝点が複数の画素に分散されていることが分かる。

ここで留意すべきことは、入力画像信号ｄｉｎがガンマ処理されているという点である。一般的に画像信号は、図９に示すようなガンマ曲線を用いたガンマ処理によりビット縮退されており、リニアすなわち信号値と画素の輝度値との関係が比例関係にはなっていない。図１に示したシステム構成では、最終出力段のヘッド・マウント・ユニット１０でデガンマ処理した後に、表示パネルに表示される。

図６〜図８に示した例は、縦軸が信号値であるが、これを図９に示したガンマ曲線に従って輝度に換算すると、図１０〜図１２に示す通りとなる。各図を比較すると、出力画像の輝度が参照信号ｒｅｆ（ｋ）の小数部ｓ_kの値に応じて変化するとともに、輝度の総計も変化し、ｓ_k＝０．２、０．４、０．８でそれぞれ３＋６１＝６４％、２２＋２２＝４４％、６１＋３＝６４％と変化していることが分かる。つまり、画像補正部２０２で補正を行なうことにより、輝度が変化していることになる。

以上を踏まえて、入力画像に１画素の１００％の白輝点があった場合を考える。接眼光学系２０４が持つ色収差のため、ＲＧＢの参照信号はそれぞれ異なる。例えば、ある出力画素位置ｋにおける参照信号ｒｅｆ（ｋ）の小数点が、Ｒ：ｓ_k＝０．２、Ｇ：ｓ_k＝０．５、Ｂ：ｓ_k＝０．８とまちまちの値であったとすると、図１３に示すように、ＲＧＢの色成分毎の輝度の総計はｓ_k＝０．２、０．４、０．８それぞれの場合で、３＋６１＝６４％、２２＋２２＝４４％、６１＋３＝６４％となる。上記は、表示部２０３の表示パネル上で表示された結果であるが、接眼光学系２０４越しには、図１４に示すように、位置が一致して画像として観察されることになる。しかしながら、ＲＧＢの輝度の総計が違うため、本来白色であるはずのものが、赤又は青に偏り、紫がかった色として観測されることになる。

１画素の輝点のような急峻な変化を持った画像信号が画像補正部２０２に入力されないように、低域通過フィルターを用いて入力画像信号を鈍らせることが考えられる。しかしながら、本来の映像が持つ精細感が失われてしまう、という問題がある。

そこで、本実施形態では、入力画像信号をデガンマ処理して一旦リニア―画像に変換してから歪み補正を行ない、その後再びガンマ処理して出力するようにしている。図１５には、この場合の歪み補正ブロック３０１の内部構成例を示している。以下では、１つの色成分に限定して説明するが、すべての色成分についての歪み補正ブロック３０２、３０３の構成並びに処理内容は同様である。

歪み補正ブロック３０１には、入力画像信号ｄｉｎと参照信号ｒｅｆ（ｋ）が入力される。

入力画像信号ｄｉｎは、入力段に配設されたデガンマ処理部１５０１でデガンマ処理され、その出力であるリニア入力画像信号ｄｉｎ´が画像メモリー１５０２内に書き込まれる。

また、参照信号ｒｅｆ（ｋ）は、ｋ番目の画素位置の出力画像信号ｄｏｕｔ（ｋ）が参照する入力画像信号ｄｉｎの画素位置を表すが、ｒｅｆ（ｋ）の整数部ｍ_kは画像メモリー１５０２に入力され、小数部をｓ_kは補間部１５０３に入力される。

画像メモリー４０１からは、参照信号ｒｅｆ（ｋ）の整数部ｍ_kの値に応じて、隣接するｍ_k番目及びｍ_k＋１番目の画素位置のリニア入力画像信号の値ｄｉｎ´（ｍ_k）、ｄｉｎ´（ｍ_k＋１）が出力される。

補間部１５０３は、画像メモリー４０１から読み出された隣接する２画素のリニア入力画像信号の値ｄｉｎ´（ｍ_k）、ｄｉｎ´（ｍ_k＋１）を、参照信号ｒｅｆ（ｋ）の小数部ｓ_kの値に基づいて下式（３）のようにリニア補間して、ｋ番目の画素位置の補正画像信号ｄｏｕｔ´（ｋ）を得る。

出力段に配設されたガンマ処理部１５０４は、リニアな補正画像信号ｄｏｕｔ´（ｋ）を再ガンマ処理して、出力画像信号ｄｏｕｔ（ｋ）を出力する。

図１５に示した歪み補正ブロック３０１において、入力画像ｄｉｎに１画素の輝点が存在したときの振る舞いについて、さらに詳細に考察する。図１６〜図１８には、デガンマ処理後のリニア入力画像信号ｄｉｎ´を上式（４）に従ってリニア本化する場合において、前述と同様に参照信号ｒｅｆ（ｋ）の小数部ｓ_kを０．２、０．５、０．８と変化させたときの、補正画像信号ｄｏｕｔ´（ｋ）、再ガンマ処理した後の出力画像信号ｄｏｕｔ（ｋ）の各値、さらに出力画像信号ｄｏｕｔ（ｋ）を輝度に換算した値を示している。

図１６〜図１８の各図を比較すると、リニアな補正画像の信号値ｄｏｕｔ´（ｋ）は、参照信号ｒｅｆ（ｋ）の小数部ｓ_kの値に応じて変化するものの、信号値の総計はいずれも２０＋８０＝５０＋５０＝８０＋２０＝１００％になっており、１００％輝点が複数の画素に分散されていることが分かる。

また、補正画像信号ｄｏｕｔ´（ｋ）を再ガンマ処理した後の出力画像信号ｄｏｕｔ（ｋ）の信号値も、参照信号ｒｅｆ（ｋ）の小数部ｓ_kの値に応じて変化する。ｓ_k＝０．２、０．４、０．８それぞれの場合で、信号値の総計をみると、４９＋９０＝１３９％、７０＋７０＝１５０％、９０＋４９＝１３９％となる。さらに各々の出力画像信号ｄｏｕｔ（ｋ）を輝度に換算すると、輝度の総計はいずれも２０＋８０＝５０＋５０＝８０＋２０＝１００％になっており、１００％輝点が複数の画素に分散されていることが分かる。

以上を踏まえて、入力画像に１画素の１００％の白輝点があった場合を考える。接眼光学系２０４の色収差のため、ＲＧＢの参照信号はそれぞれ異なる。例えば、ある出力画素位置ｋにおける参照信号ｒｅｆ（ｋ）の小数点が、Ｒ：ｓ_k＝０．２、Ｇ：ｓ_k＝０．５、Ｂ：ｓ_k＝０．８とまちまちの値であったとすると、図１９に示すように、ＲＧＢの色成分毎の輝度の総計はｓ_k＝０．２、０．４、０．８それぞれの場合で、２０＋８０＝５０＋５０＝８０＋２０＝１００％になっており、１００％輝点が複数の画素に分散されていることが分かる。上記は、表示部２０３の表示パネル上で表示された結果であるが、接眼光学系２０４越しには、図２０に示すように、位置が一致して画像として観察されることになる。そして、ＲＧＢの輝度の総計が１００％で一致するので、本来白色であるものが、正しく白色として観測されるようになる。

このように、図１５に示した歪み補正ブロックを用いて画像補正を行なうことで、表示パネルとレンズを組み合わせて表示する際に、補正による画質劣化を軽減することができる。特に、色むらの発生や、精細感の劣化を防ぐことができ、より高画質な画像を表示することが可能となる。

なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
（１）入力画像を色成分毎に独立して補正処理する画像補正部と、前記画像補正部の出力画像を表示する表示部と、前記表示部の表示画像を所定の画角となるように投影する接眼光学部を具備し、前記画像補正部は、各色成分について、ガンマ処理されている入力画像をデガンマ処理してから、前記接眼光学部により発生する歪みの補正処理を行ない、再ガンマ処理して出力する、表示装置。
（２）前記画像補正部は、出力画像の画素を、ガンマ処理されたリニア入力画像上の対応する複数の画素で補間する、上記（１）に記載の表示装置。
（３）ガンマ処理されている入力画像信号をデガンマ処理するデガンマ処理部と、デガンマ処理した後のリニア入力画像に対して、所定の接眼光学部で投影したときに発生する歪みの補正処理する画像補正部と、補正した後のリニア画像を再ガンマ処理して出力するガンマ処理部を色成分毎に具備する画像処理装置。
（４）ガンマ処理されている入力画像信号をデガンマ処理するデガンマ処理ステップと、デガンマ処理した後のリニア入力画像に対して、所定の接眼光学部で投影したときに発生する歪みの補正処理する画像補正ステップと、補正した後のリニア画像を再ガンマ処理して出力するガンマ処理ステップを色成分毎に有する画像処理方法。
（５）入力画像の色成分毎に、ガンマ処理されている入力画像信号をデガンマ処理するデガンマ処理部、デガンマ処理した後のリニア入力画像に対して、所定の接眼光学部で投影したときに発生する歪みの補正処理する画像補正部、及び補正した後のリニア画像を再ガンマ処理して出力するガンマ処理部としてコンピューターが機能するようにコンピューター可読形式で記述されたコンピューター・プログラム。

以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。

本明細書では、本明細書で開示する技術をヘッド・マウント・ディスプレイに適用した実施形態を中心に説明してきたが、本明細書で開示する技術の要旨は特定のヘッド・マウント・ディスプレイの構成に限定されるものではない。表示パネルとレンズの組合せで画像をユーザーに提示するさまざまなタイプの表示システムにも、同様に本明細書で開示する技術を適用することができる。

要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。

１０…ヘッド・マウント・ユニット
２０…ブルーレイ・ディスク再生装置
３０…ハイビジョン・ディスプレイ
４０…フロント・エンド・ボックス
２０１…ＨＤＭＩ受信部
２０２…画像補正部
２０３…表示部
２０４…接眼光学系
３０１…歪み補正ブロック（Ｒｅｄ用）
３０２…歪み補正ブロック（Ｇｒｅｅｎ用）
３０３…歪み補正ブロック（Ｂｌｕｅ用）
４０１…画像メモリー
４０２…補間部
１５０１…デガンマ処理部
１５０２…画像メモリー
１５０３…補間部
１５０４…ガンマ処理部

Claims (5)

1. 入力画像を色成分毎に独立して補正処理する画像補正部と、
   前記画像補正部の出力画像を表示する表示部と、
   前記表示部の表示画像を所定の画角となるように投影する接眼光学部と、
   を具備し、
   前記画像補正部は、各色成分について、ガンマ処理されている入力画像をデガンマ処理してから、前記接眼光学部により発生する歪みの補正処理を行ない、再ガンマ処理して出力する、
   表示装置。
2. 前記画像補正部は、出力画像の画素を、ガンマ処理されたリニア入力画像上の対応する複数の画素で補間する、
   請求項１に記載の表示装置。
3. ガンマ処理されている入力画像信号をデガンマ処理するデガンマ処理部と、
   デガンマ処理した後のリニア入力画像に対して、所定の接眼光学部で投影したときに発生する歪みの補正処理する画像補正部と、
   補正した後のリニア画像を再ガンマ処理して出力するガンマ処理部と、
   を色成分毎に具備する画像処理装置。
4. ガンマ処理されている入力画像信号をデガンマ処理するデガンマ処理ステップと、
   デガンマ処理した後のリニア入力画像に対して、所定の接眼光学部で投影したときに発生する歪みの補正処理する画像補正ステップと、
   補正した後のリニア画像を再ガンマ処理して出力するガンマ処理ステップと、
   を色成分毎に有する画像処理方法。
5. 入力画像の色成分毎に、ガンマ処理されている入力画像信号をデガンマ処理するデガンマ処理部、デガンマ処理した後のリニア入力画像に対して、所定の接眼光学部で投影したときに発生する歪みの補正処理する画像補正部、及び補正した後のリニア画像を再ガンマ処理して出力するガンマ処理部としてコンピューターが機能するようにコンピューター可読形式で記述されたコンピューター・プログラム。