JP4924009B2

JP4924009B2 - 画像処理装置

Info

Publication number: JP4924009B2
Application number: JP2006345115A
Authority: JP
Inventors: 裕治内山
Original assignee: JVCKenwood Corp
Current assignee: JVCKenwood Corp
Priority date: 2006-12-22
Filing date: 2006-12-22
Publication date: 2012-04-25
Anticipated expiration: 2026-12-22
Also published as: JP2008158117A

Description

本発明は画像処理装置に係り、特に画像機器が扱う画像の色補正を行う画像処理装置に関する。

カラー表示器等の画像機器においては、その設定状態や使用環境の変化に依存して、再現色（表示した色）に変化がある場合には、その変化を補償して正しい色を表示することが重要であり、また、種類の異なる複数の画像機器の間においても、同一のカラーデータであるならば、忠実に同一の色再現を行うことが必要とされる。

そこで、表示デバイスや印刷デバイスの如き画像入出力デバイスを含み、画像信号処理手段からの所与の画像信号を取り込んで前記画像入出力デバイスへ出力し、或いは前記画像入出力デバイスにより取り込んだ画像信号を前記画像信号処理手段へ向けて出力する画像機器において、前記画像信号処理手段からの所与の画像信号を、当該画像機器の持つカラー表示特性のずれに依存して起きる色変化を補正することのできる変換器（色変換器）を介して、画像入出力デバイスへ出力し、或いは画像入出力デバイスにより取り込んだ画像信号を、前記変換器を介して、画像信号処理手段へ出力する構成の画像機器が従来開示されている（例えば、特許文献１参照）。

特開平７−５６５４９号公報

しかしながら、上記の従来の画像機器では機器間の色ずれを補正することは可能だが、人間の視覚特性に合わせた画像生成を得るには不十分である。つまり、プルキンエ現象と呼ばれる知覚する画像の明るさに対する色知覚特性を補正することは不可能である。ここで、「プルキンエ現象」とは、明所視に比べ暗所視では赤色の明るさ（比視感度）が青色の明るさ（比視感度）よりも低く知覚される現象である。すなわち、表示画像の明るさに応じて色知覚が変化することを意味する。

このため、画像表示装置では明るい画像から暗い画像に切り替わった場合に、表示画像を観察する観察者は時間とともに青みを感じるようになる。逆に暗い画像から明るい画像に切り替わった場合は、時間とともに赤みを感じるようになる。また、例えば明るい画像でホワイトバランスを合わせた画像表示装置では、表示画像が明るい画像から暗い画像に変化した場合に、観察者は時間とともにホワイトバランスのずれた青い画像として知覚する。逆に暗い画像から明るい画像に変化した場合に、観察者は表示画像を時間とともに本来のホワイトバランスを合わせた画像として知覚する。

図４はプルキンエ現象をわかりやすく図示したものである。同図において、縦軸は人間の比視感度、横軸は光の波長を示し、明所視では比視感度対波長特性はIで示され、暗所視では比視感度対波長特性はIIで示される。従って、明所視から暗所視へ徐々に移行すると、長波長の赤い光の感度が低く、短波長の青い光の感度が高くなり、逆に暗所視から明所視へ徐々に移行すると、短波長の青い光の感度が低く、長波長の赤い光の感度が高くなる。なお、前記青み及び赤みの感じ方は暗所視標準比視感度と明所視標準比視感度として表せる。

図５は暗順応と明順応をわかりやすく図示したものである。前記青みを感じる時間および赤みを感じる時間は各々人間の視覚特性である暗順応時間と明順応時間として表せる。同図に示すように、明所視の状態から暗所視の状態に切り替わると、人間が認識できる輝度は低下するが、人間の目の網膜中心で認識できる最小の輝度は３〜４分程度以降時間が経過しても認識できる最小の輝度の低下は殆ど見られないのに対し、人間の目の網膜周辺５°で認識できる輝度は時間の経過と共に低下していき、約３０分間で認識できる輝度が一定となる（暗順応時間が約３０分である。）。

そして、約３０分間経過した時点で暗所視から明所視に切り替わると、人間の網膜中心及び網膜周辺５°のいずれの部分でも、切り替わり時点から約０.５秒で認識できる輝度が略一定となる（明順応時間が約０.５秒である。）。なお、一般的に表示画像の明るさが暗所視では約０.００１〜０.０１ルクス、明所視は約１０〜１０万ルクスである。

ここで、網膜中心には色を知覚できる錐体細胞が網膜周辺と比較して多くあることが知られており、図５から分かるように、明所視の状態から暗所視の状態に移る暗順応の場合は、網膜中心では知覚できる明るさが１０分ほどで飽和するので、色を識別できる知覚（色知覚）も１０分ほど要する。一方、暗所視の状態から明所視の状態に移る明順応の場合は、図５から分かるように、網膜中心、網膜周辺にかかわらず、０.５秒ほどで飽和するため、色知覚は一瞬で順応する。なお、網膜周辺の色の識別は困難で、明るさの識別のみ可能である。

上記の従来の画像機器では機器間の色ずれを補正することは可能だが、図４、図５に示した人間の視覚特性に合わせた画像生成を得るには不十分である。

本発明は以上の点に鑑みなされたもので、人間の視覚特性に合わせた正確な色補正を行う画像処理を行うことで、正確な色表示画像はもとより真の知覚画像を得ることが可能な画像処理装置を提供することを目的とする。

上記の目的を達成するため、本発明は、表示デバイスに画像信号を表示するための信号処理を施す画像処理装置において、入力された画像信号の所定の期間毎の平均輝度を算出する平均輝度算出手段と、入力された画像信号の平均輝度の変化量を計算する変化量計算手段と、複数の原色光のそれぞれに対する（明所視標準比視感度）／（暗所視標準比視感度）で表される複数の比率を、複数の原色光のそれぞれに対応した複数の色の暗所視の画像信号の輝度に対する第１の値とし、明所視標準比視感度と暗所視標準比視感度とが等しいときの比率を複数の色の明所視の画像信号の輝度に対する所定の第２の値としたとき、複数の色のそれぞれについて暗所視から明所視までの輝度の変化に対応してホワイトバランス調整値が第１の値から第２の値まで変化する特性であるホワイトバランス調整値の特性に基づいて、平均輝度算出手段で算出された入力された画像信号の平均輝度に対応したホワイトバランス調整値を求めた後、そのホワイトバランス調整値となるまでの変化時間を、変化量計算手段で計算された平均輝度の変化量と明順応時間と暗順応時間とに基づいて補正したホワイトバランス調整値を算出するホワイトバランス調整値算出手段と、入力された画像信号に対して、ホワイトバランス調整値算出手段で算出されたホワイトバランス調整値に基づいて、各原色光に対応した色毎にホワイトバランス調整を行うホワイトバランス調整手段と、を有することを特徴とする。

この発明では、表示すべき入力画像信号の平均輝度と、（明所視標準比視感度）／（暗所視標準比視感度）で表される比率とに基づいて、ホワイトバランス調整値を求めた後、そのホワイトバランス調整値となるまでの変化時間を、平均輝度の変化量と明順応時間と暗順応時間とに基づいて可変し、得られたホワイトバランス調整値に基づいて入力画像信号の各原色光に対応した色毎にホワイトバランス調整を行うようにしたため、画像機器の設定状態や使用環境の変化に依存することなく、入力画像信号の色の変化を補償してプルキンエ現象に基づく知覚特性に合わせた正確な色を再現することができる。

本発明によれば、画像機器の設定状態や使用環境の変化に依存することなく、入力画像信号の色の変化を補償してプルキンエ現象に基づく知覚特性に合わせた正確な色を再現するようにしたため、種類の異なる画像機器でも同一の輝度の画像信号であれば同一の色再現を行うことができると共に、明順応時間や暗順応時間に対応した真の知覚画像を表示させることができる。

次に、本発明の一実施の形態について図面と共に説明する。図１は本発明になる画像信号処理装置の一実施の形態のブロック図を示す。表示されるべき入力画像信号は１フレーム表示画像の平均輝度算出部１１に供給されて、１フレーム内画像信号の平均輝度算出が実施される一方、フレームメモリ１２に供給されてその１フレーム分以上のフレームが記憶される。入力画像信号は、水平方向をｘ、垂直方向をｙとし、１画面を１フィールドｆ番目のフィールドデータとした一般的なＲ（赤），Ｇ（緑），Ｂ（青）の三原色の画像信号であり、これを各々ｒ（ｘ，ｙ，ｆ），ｇ（ｘ，ｙ，ｆ），ｂ（ｘ，ｙ，ｆ）と表す。

１フレーム表示画像の平均輝度算出部１１では、上記の入力画像信号に対して１フレーム内画像信号の平均輝度を算出し、実施結果Ｙ（ｆ）を出力する。この１フレーム表示画像の平均輝度算出部１１における算出の処理方法としては、例えば１フレームの入力画像信号（三原色画像信号）を所定のマトリクス演算式で演算して得られた輝度信号の１フレームの各画素の信号レベルを全て加算すると共に、その加算結果を１フレームの画素数で割る処理方法がある。

なお、１フレーム表示画像の平均輝度算出部１１における算出の処理方法としては、１フレーム内画像信号のヒストグラム、つまり算出した輝度信号レベルの分布に対して、画像信号レベル或いは分布に応じて重み付けを行う処理であってもよい。いずれも表示画像の輝度が得られる処理であればこれに限らない。また、１フレーム或いは所定の時間内の全画面あるいはそれよりも小さい所定のブロックに分割した面内の単位で輝度レベルの発生率を求めるものであってもよく、表示画像の明るさ情報が得られる処理であればこれに限らない。更に、上記の説明では入力三原色信号を公知のマトリクス演算式により演算して得られた輝度信号から平均輝度を算出するように説明したが、簡易的には緑色信号を輝度信号と見做して、この緑色信号から平均輝度を算出するようにしてもよい。

上記の平均輝度Ｙ（ｆ）は時間変化量計算部１３に供給され、ここでＹ（ｆ）のフレーム間の時間変化量が算出される。この時間変化量をΔＹ（ｆ）とする。時間変化量はフレーム間に限らず、複数フレームもしくは時間のＹ（ｆ）の変化量を算出する処理であってもよい。いずれにしても明順応時間、暗順応時間に対する信号変化量を知り得る時間とする。

上記の平均輝度の時間変化量ΔＹ（ｆ）は、平均輝度Ｙ（ｆ）と共にホワイトバランス調整値算出部１４に供給され、ここで平均輝度の時間変化量ΔＹ（ｆ）と明順応時間、暗順応時間を比較し、観察者が知覚し得る色を基に、所定のホワイトバランスを得るためのホワイトバランス調整値Ｋｒ（ｆ），Ｋｇ（ｆ），Ｋｂ（ｆ）を算出する。

すなわち、ホワイトバランス調整値算出部１４では、図４に示した公知の標準比視感度曲線において、表示画像のＲｃｈ／Ｇｃｈ／Ｂｃｈの波長を６００／５５８／４８０ｎｍとすると、これら三原色光の波長のそれぞれにおける十分に明るい（１００ｌｘ）表示画像（明所視）に対する比視感度Ｖ（λ）は、「０.６」、「１.０」、「０.１５」であり、十分に暗い（０.０１ｌｘ）表示画像（暗所視）に対する比視感度Ｖ’（λ）は、「０.１」、「０.４」、「０.８」であるので、明所視／暗所視の比を求めると、表１が得られる。

表示画像のホワイトバランスは明所視で紫外線を含む太陽光であるＤ６５で行うものとすると、この表１は、明所視でＤ６５の表示画像の明度を下げて暗所視となる観察環境にした場合、Ｒｃｈ／Ｇｃｈ／Ｂｃｈで６／２.５／０.１８７５の比率、つまりゲインを掛けることでＤ６５のホワイトバランスを知覚することができることを示している。

このようにして得られるＲｃｈ／Ｇｃｈ／Ｂｃｈでのホワイトバランス調整値Ｋｒ（ｆ），Ｋｇ（ｆ），Ｋｂ（ｆ）と表示画像輝度との関係を図２に示す。ここで、表示画像輝度はＧ信号の輝度とし、ΔＹ（ｆ）はフレーム間のＧ信号のレベル差としている。なお、実際には標準比視感度曲線からは図２に示すように表示画像輝度に対してホワイトバランス調整値（ゲイン）は線形とはならないが、ここでは説明を簡単にするために敢えて線形としている。

本実施の形態では、ホワイトバランス調整値算出部１４は、更に平均輝度の時間変化量ΔＹ（ｆ）が明所視から暗所視に変化、あるいは暗所視から明所視に変化した場合として所定値以上の変化があることを示しているときは、図５に示した暗順応時間、明順応時間に応じて上記のホワイトバランス調整値Ｋｒ（ｆ），Ｋｇ（ｆ），Ｋｂ（ｆ）の変化時間を設定している。

すなわち、ホワイトバランス調整値算出部１４は、平均輝度の時間変化量ΔＹ（ｆ）が所定値以上明るくなったことを示すときは、図２で示されるその変化後の平均輝度Ｙ（ｆ）に応じたホワイトバランス調整値Ｋｒ（ｆ），Ｋｇ（ｆ），Ｋｂ（ｆ）に瞬時に変更し、平均輝度の時間変化量ΔＹ（ｆ）が所定値以上暗くなったことを示すときは、現時点の平均輝度Ｙ（ｆ）に応じたホワイトバランス調整値Ｋｒ（ｆ），Ｋｇ（ｆ），Ｋｂ（ｆ）から変化後の平均輝度に応じたホワイトバランス調整値Ｋｒ（ｆ），Ｋｇ（ｆ），Ｋｂ（ｆ）へ暗順応時間（これは色識別が可能な網膜中心の暗順応時間で例えば数分）かけて徐々に変化するようにする。

また、平均輝度の時間変化量ΔＹ（ｆ）が上記の所定値未満の時には、予め定めた比較的短い時間、あるいは瞬時にその時点の平均輝度Ｙ（ｆ）に応じて、図２に示すホワイトバランス調整値Ｋｒ（ｆ），Ｋｇ（ｆ），Ｋｂ（ｆ）に変更する。なお、平均輝度の時間変化量ΔＹ（ｆ）の値に応じて上記のホワイトバランス調整値の変更時間を可変するようにしてもよい。

このようにして得られたホワイトバランス調整値Ｋｒ（ｆ），Ｋｇ（ｆ），Ｋｂ（ｆ）は、図１のホワイトバランス調整部１５に供給され、ここでフレームメモリ１２からの入力画像信号ｒ（ｘ，ｙ，ｆ），ｇ（ｘ，ｙ，ｆ），ｂ（ｘ，ｙ，ｆ）に対して、対応するフレームの原色同士で乗算が行われてホワイトバランス調整された変換処理画像信号Ｒ（ｘ，ｙ，ｆ），Ｇ（ｘ，ｙ，ｆ），Ｂ（ｘ，ｙ，ｆ）を出力させる。

このように、本実施の形態によれば、表示されるべき入力画像信号の１フレームの平均輝度の時間変化量ΔＹ（ｆ）が明所視から暗所視に変化、あるいは暗所視から明所視に変化したことを示しているかに応じて異なる遅延時間で、表示されるべき入力画像信号の１フレームの平均輝度に応じた値のホワイトバランス調整値Ｋｒ（ｆ），Ｋｇ（ｆ），Ｋｂ（ｆ）に変化するように調整するようにしたため、観察者の知覚色の順応時間に応じたホワイトバランス調整ができる。

これにより、例えば、観察者の知覚色が所定のホワイトバランスに対して青にシフトした場合、表示色中の青を弱くすることができる。すなわち、入力画像信号の青色信号ｂ（ｘ，ｙ，ｆ）に対してホワイトバランス調整後の青色信号Ｂ（ｘ，ｙ，ｆ）の信号レベルを小さくする処理が行われる。なお、所定のホワイトバランスを知覚し得る処理であればこれに限らない。

次に、本発明になる画像処理装置を備えた画像表示装置について説明する。図３は画像表示装置の一例のブロック図を示す。同図中、画像表示装置２０は、画像処理装置２１とその画像処理装置２１により画像表示処理された画像信号を表示する表示デバイス２２とからなる。画像処理装置２１としては、例えば図１に示した本発明の画像処理装置の一実施の形態が用いられる。

信号発生器３０は表示デバイス２２で表示すべき画像信号を発生して画像処理装置２１に供給する。画像処理装置２１は前述したように、表示されるべき入力画像信号の１フレームの平均輝度の時間変化量ΔＹ（ｆ）が明所視から暗所視に変化、あるいは暗所視から明所視に変化したことを示しているかに応じて異なる遅延時間で、表示されるべき入力画像信号の１フレームの平均輝度に応じた値に変化するホワイトバランス調整値Ｋｒ（ｆ），Ｋｇ（ｆ），Ｋｂ（ｆ）により観察者の知覚色の順応時間に応じたホワイトバランス調整を行って得られた変換処理画像信号を出力する。表示デバイス２２はこの変換処理画像信号を表示する。この画像表示装置２０は、画像処理装置２１を備えているので、表示デバイス２２に入力画像信号の正確な色表示画像はもとより、真の知覚画像を表示できる。

なお、画像表示装置２０には、所定のホワイトバランスを含む表示画像の時間変化明所視標準比視感度と暗所視標準比視感度と明順応時間と暗順応時間から得られるパラメータを以って画像信号を変換することが可能なパラメータを予め保持可能な図示しないレジスタを有する。また、表示デバイス２２としては透過型、反射型液晶表示デバイス、陰極線管（ＣＲＴ）、プラズマディスプレイ、表面電解ディスプレイ（ＳＥＤ）など公知の表示デバイスを使用し得る。

なお、本発明は以上の実施の形態に限定されるものではなく、例えばプルキンエ現象に基づく知覚特性に合わせた正確な色補正を行う信号変換器を備えることで、正確な色表示画像はもとより真の知覚画像を得ることが可能な画像信号処理を実現する構成であれば、図１の構成に限らない。また、ホワイトバランス調整部１５はゲイン、セットアップなどの乗算、加算処理以外の演算処理によりホワイトバランスを調整することも可能である。さらに、画像処理装置の各部又は一部を中央処理装置（ＣＰＵ）によるソフトウェア処理で実現してもよく、ルックアップテーブル（ＬＵＴ）で構成してもよい。

本発明の一実施の形態のブロック図である。本発明における表示画像輝度とホワイトバランス調整値の一例の関係を示す図である。本発明の画像処理装置を用いた画像表示装置の一例のブロック図である。プルキンエ現象を示す図である。明順応、暗順応を説明する図である。

符号の説明

１１１フレーム表示画像の平均輝度算出部
１２フレームメモリ
１３時間変化量計算部
１４ホワイトバランス調整値算出部
１５ホワイトバランス調整部
２０画像表示装置
２１画像処理装置
２２表示デバイス
３０信号発生器

Claims

表示デバイスに画像信号を表示するための信号処理を施す画像処理装置において、
入力された画像信号の所定の期間毎の平均輝度を算出する平均輝度算出手段と、
前記入力された画像信号の前記平均輝度の変化量を計算する変化量計算手段と、
複数の原色光のそれぞれに対する（明所視標準比視感度）／（暗所視標準比視感度）で表される複数の比率を、前記複数の原色光のそれぞれに対応した複数の色の暗所視の画像信号の輝度に対する第１の値とし、前記明所視標準比視感度と前記暗所視標準比視感度とが等しいときの前記比率を前記複数の色の明所視の画像信号の輝度に対する所定の第２の値としたとき、前記複数の色のそれぞれについて前記暗所視から前記明所視までの輝度の変化に対応してホワイトバランス調整値が前記第１の値から前記第２の値まで変化する特性であるホワイトバランス調整値の特性に基づいて、前記平均輝度算出手段で算出された前記入力された画像信号の平均輝度に対応したホワイトバランス調整値を求めた後、そのホワイトバランス調整値となるまでの変化時間を、前記変化量計算手段で計算された前記平均輝度の変化量と明順応時間と暗順応時間とに基づいて補正したホワイトバランス調整値を算出するホワイトバランス調整値算出手段と、
前記入力された画像信号に対して、前記ホワイトバランス調整値算出手段で算出された前記ホワイトバランス調整値に基づいて、各原色光に対応した色毎にホワイトバランス調整を行うホワイトバランス調整手段と、
を有することを特徴とする画像処理装置。