図1は、本発明を適用したモニタシステム(システムとは、複数の装置が論理的に集合した物をいい、各構成の装置が同一筐体中にあるか否かは、問わない)の一実施の形態の構成例を示すブロック図である。
モニタシステムは、表示制御装置1、表示装置2、及びリモートコマンダ3から構成され、例えば、テレビジョン放送を行う放送局等で、画質等のチェックに使用される。
モニタシステムには、画像を撮像するカメラが出力する画像データや、いわゆる素材を編集する編集装置が出力する画像データ、MPEG(Moving Picture Expert Group)方式等でエンコードされたエンコードデータをデコードするデコーダが出力する画像データ、その他の放送局等で放送を行う前の番組の動画の画像データが、モニタシステムへの入力となる入力画像データとして供給される。
そして、モニタシステムでは、入力画像データとしての、放送前の番組の画像データに対応する画像の、家庭等の受信側の表示装置(表示装置2の他の表示装置)での表示のシミュレーション(エミュレーション)が行われ、つまり、入力画像データを受信する受信側の各種の表示装置において、その入力画像データに対応する画像が表示されたならば表示されるであろう画像が表示され、これにより、画質等のチェック(評価)を行う評価者等が、その表示を見て、入力画像データに対応する画像が、受信側の表示装置で、どのような画質等で表示されるかのチェックを行うことができるようになっている。
表示制御装置1は、画像変換部11、信号処理部12、表示制御部13、及び制御部14から構成され、入力画像データを対象として、所定の信号処理を行い、表示装置2の画面の一部の表示領域に、入力画像データに対応する画像を表示させるとともに、その画面の他の一部の表示領域に、所定の信号処理によって得られる処理後画像データに対応する画像を表示させる。
すなわち、画像変換部11には、入力画像データが供給される。画像変換部11は、入力画像データを、受信側の表示装置でどのような画像が表示されるかのチェックの対象であるチェック画像データとして、そのチェック画像データに対して、画素数を変換する画像変換処理を、必要に応じて施し、信号処理部12と表示制御部13とに供給する。
信号処理部12は、図1の実施の形態では、3つの第1信号処理部121、第2信号処理部122、及び第3信号処理部123から構成され、画像変換部11からのチェック画像データに対して、受信側の表示装置において入力画像データ(チェック画像データ)に対応する画像が表示されたならば表示されるであろう画像が表示装置2で表示されるようにするための信号処理を施し、その信号処理によって得られる処理後画像データを、表示制御部13に供給する。
すなわち、第1信号処理部121は、画像変換部11からのチェック画像データに対して、制御部14からの制御にしたがった信号処理を施し、その信号処理によって得られる処理後画像データを、表示制御部13に供給する。
第2信号処理部122と第3信号処理部123も、第1信号処理部121と同様に、画像変換部11からのチェック画像データに対して、制御部14からの制御にしたがった信号処理をそれぞれ施し、その信号処理によって得られる処理後画像データを、表示制御部13に供給する。
表示制御部13は、制御部14の制御にしたがい、画像変換部11から供給されるチェック画像データに対応する画像を、表示装置2の画面の一部の表示領域に表示させる。さらに、表示制御部13は、制御部14の制御にしたがい、第1信号処理部121、第2信号処理部122、又は第3信号処理部123からそれぞれ供給される処理後画像データに対応する画像を、表示装置2の画面の他の一部の表示領域に表示させる。
なお、表示制御部13は、制御部14から供給されるパラメータにしたがい、表示装置2に画像を表示する位置や大きさを制御する。
ここで、以下、適宜、表示制御部13に対して、第1信号処理部121、第2信号処理部122、又は第3信号処理部123からそれぞれ供給される処理後画像データを、第1処理後画像データ、第2処理後画像データ、又は第3処理後画像データともいう。
制御部14は、リモートコマンダ3や、表示制御装置1に設けられた図示せぬ操作部から送信されてくる操作信号を受信し、その操作信号に対応して、第1信号処理部121、第2信号処理部122、及び第3信号処理部123、並びに表示制御部13を制御する。また、制御部14は、第1信号処理部121、第2信号処理部122、及び第3信号処理部123、並びに表示制御部13の各ブロックに対して、処理に必要なパラメータその他の情報を供給する。
表示装置2は、例えば、LCD(Liquid Crystal Display)で画像を表示する装置であり、画像変換部11が信号処理部12及び表示制御部13に供給するチェック画像データの画素数より多い画素数の画面を有する。そして、表示装置2は、表示制御部13の制御にしたがい、チェック画像データに対応する画像を、画面の一部の表示領域に表示するとともに、第1処理後画像データ、第2処理後画像データ、及び第3処理後画像データに対応する画像それぞれを、画面の他の一部の表示領域に表示する。
リモートコマンダ3は、例えば、チェック画像データ、ひいては、入力画像データに対応する画像が、受信側の表示装置で、どのような画質等で表示されるかのチェックを行う評価者等によって操作され、その操作に対応する操作信号を、赤外線等の無線で、制御部14に送信する。
図2は、表示装置2の画面の構成例を示している。
表示装置2では、その画面を、横と縦にそれぞれ等分する4つの表示領域#0,#1,#2,#3のそれぞれに画像が表示される。
すなわち、表示装置2では、4つの表示領域#0ないし#3のうちの、左上の表示領域#0に、チェック画像データに対応する画像が表示され、右上の表示領域#1に、第1処理後画像データに対応する画像が表示され、左下の表示領域#2に、第2処理後画像データに対応する画像が表示され、右下の表示領域#3に、第3処理後画像データに対応する画像が表示される。
ここで、表示装置2の画面を構成する画素を、画像データの画素と区別するために、以下、適宜、モニタ画素ということとすると、表示装置2の画面は、横×縦が、2H×2Vモニタ画素(2H×2V個のモニタ画素)で構成されている。
したがって、表示領域#0ないし#3は、いずれも、H×Vモニタ画素で構成される。
なお、例えば、表示領域#i(i=0,1,2,3)の横のモニタ画素の画素数Hを、1920画素とするとともに、縦のモニタ画素の画素数Vを、1080画素とすると、表示領域#iには、アスペクト比が16:9のHDTV(High-Definition Television)用の画像を表示することができる。
また、本実施の形態では、表示装置2の画面を、4つの表示領域#0ないし#3に区分し、その4つの表示領域#0ないし#3のそれぞれを、いわば仮想的な1画面として、表示領域#0ないし#3のそれぞれに、(1つの)画像を表示するが、表示装置2では、4つの表示領域#0ないし#3の全体、つまり、表示装置2の画面全体に、(1つの)画像を表示することができる。
上述したように、表示領域#iが、1920×1080モニタ画素で構成されることとすると、表示装置2の画面全体に、画像を表示する場合には、表示装置2では、[2×1920]×[2×1080]画素からなる、HDTV用の画像よりも高精細な画像を表示することができる。
次に、図3のフローチャートを参照して、図1のモニタシステムの処理について説明する。
表示制御装置1の画像変換部11に対して、外部から入力画像データが供給されると、ステップS11において、画像変換部11は、入力画像データを、チェック画像データとして、そのチェック画像データが、例えば、表示領域#0を構成するモニタ画素と同一の画素数で構成されるかどうか、すなわち、チェック画像データが、H×V画素で構成されるかどうかを判定する。
ステップS11において、チェック画像データが、表示領域#0を構成するモニタ画素と同一のH×V画素で構成されると判定された場合、処理は、ステップS12をスキップして、ステップS13に進む。
また、ステップS11において、チェック画像データが、表示領域#0を構成するモニタ画素と同一のH×V画素以外の画素数で構成されると判定された場合、処理は、ステップS12に進み、画像変換部11は、チェック画像データを対象として、そのチェック画像データの画素数を、表示領域#0を構成するモニタ画素の画素数と同一のH×V画素に変換する画像変換処理を行い、その画像変換処理後のチェック画像データを、信号処理部12と表示制御部13とに供給して、処理は、ステップS13に進む。
ステップS13では、信号処理部12を構成する第1信号処理部121、第2信号処理部122、及び第3信号処理部123のそれぞれが、画像変換部11からのチェック画像データに対して、制御部14からの制御にしたがった信号処理を施し、その信号処理によって得られる第1処理後画像データ、第2処理後画像データ、及び第3処理後画像データを、表示制御部13に供給して、処理は、ステップS14に進む。
ステップS14では、表示制御部13が、制御部14の制御にしたがい、画像変換部11からのチェック画像データに対応する画像を、表示装置2の表示領域#0に表示させる。さらに、ステップS14では、表示制御部13が、制御部14の制御にしたがい、第1信号処理部121からの第1処理後画像データに対応する画像を表示領域#1に、第2信号処理部122からの第2処理後画像データに対応する画像を表示領域#2に、第3信号処理部123からの第3処理後画像データを表示領域#3に、それぞれ表示させる。
以上のようにして、表示領域#0には、チェック画像データに対応する画像が表示され、表示領域#1には、チェック画像データに所定の信号処理を施すことによって得られた第1処理後画像データに対応する画像、すなわち、受信側のある種類の表示装置においてチェック画像データに対応する画像が表示されたならば表示されるであろう画像が表示される。
また、表示領域#2には、チェック画像データに所定の信号処理を施すことによって得られた第2処理後画像データに対応する画像、すなわち、受信側の他の種類の表示装置においてチェック画像データに対応する画像が表示されたならば表示されるであろう画像が表示され、表示領域#3には、チェック画像データに所定の信号処理を施すことによって得られた第3処理後画像データに対応する画像、すなわち、受信側のさらに他の種類の表示装置においてチェック画像データに対応する画像が表示されたならば表示されるであろう画像が表示される。
したがって、表示領域#0に表示される画像によって、番組の画像データの、例えば、S/N(Signal to Noise Ratio)等の画質をチェックすることができる。さらに、表示領域#1ないし#3に表示される画像によって、表示領域#0に表示される画像が、受信側の各種の表示装置において、どのように表示されるかのチェックを行うことができる。
さらに、表示装置2は、H×V画素のチェック画像データの画素数より多いモニタ画素の画面を有するので、図2に示したように、画面の一部の表示領域である、例えば、表示領域#0に、チェック画像データに対応する画像を表示するのと同時に、画面の他の一部の表示領域である、表示領域#1や、#2、#3に、チェック画像データに所定の信号処理を施すことによって得られる処理後画像データに対応する画像、すなわち、受信側の表示装置においてチェック画像データに対応する画像が表示されたならば表示されるであろう画像を表示することができる。
したがって、チェック画像データに対応する画像と、その画像の、受信側の表示装置での表示の状態、つまり、チェック画像データが番組として放送され、受信側の表示装置で受信されて表示されるまでに生じる画質等の劣化がある劣化画像とを比較しながら、受信側の表示装置で表示される画像(劣化画像)の劣化の状態をチェックすることができる。そして、受信側の表示装置で表示される画像の劣化の状態を定性的に考慮して、番組の編集(編集のし直し)等を行うことができる。
また、チェック画像データに対応する画像と、処理後画像データに対応する画像とが、表示装置2の、物理的に1つの画面に表示されるので、チェック画像データに対応する画像と、処理後画像データに対応する画像とを、別々の表示装置に表示した場合に問題となる表示装置の各種の特性の違いを考慮する必要がない。
次に、図4は、図1の信号処理部12の第1の構成例を示している。
図4では、信号処理部12の第1信号処理部121が、画像変換部311から構成され、第2信号処理部122が、画像変換部312から構成され、第3信号処理部123が、画像変換部313から構成されている。
画像変換部31i(i=1,2,3)には、画像変換部11(図1)からチェック画像データが供給されるとともに、制御部14(図1)から、画像を拡大する拡大率m,m',m''(>1)を表す拡大率情報が供給される。
そして、画像変換部31iは、制御部14から供給される拡大率情報にしたがい、画像変換部11からのチェック画像データを対象として、受信側の表示装置が行う、画像を拡大する処理に相当する信号処理を行う。
すなわち、受信側の表示装置の中には、放送局からの番組としての画像を拡大する処理を行う拡大機能を有するものがあり、画像変換部31iは、そのような、受信側の表示装置が行う、画像を拡大する処理に相当する信号処理を行う。
具体的には、画像変換部311は、制御部14から供給される拡大率情報にしたがい、画像変換部11からのチェック画像データを、そのチェック画像データをm倍にしたm倍拡大画像データに変換する画像変換処理を行い、その画像変換処理によって得られるm倍拡大画像データを、処理後画像データとして、表示制御部13(図1)に供給する。
画像変換部312は、制御部14から供給される拡大率情報にしたがい、画像変換部11からのチェック画像データを、そのチェック画像データをm'倍にしたm'倍拡大画像データに変換する画像変換処理を行い、その画像変換処理によって得られるm'倍拡大画像データを、処理後画像データとして、表示制御部13に供給する。同様に、画像変換部313も、制御部14から供給される拡大率情報にしたがい、画像変換部11からのチェック画像データを、そのチェック画像データをm''倍にしたm''倍拡大画像データに変換する画像変換処理を行い、その画像変換処理によって得られるm''倍拡大画像データを、処理後画像データとして、表示制御部13に供給する。
図5は、信号処理部12が図4に示したように構成される場合の、表示装置2の表示例を示している。
表示装置2においては、表示領域#0に、チェック画像データに対応する画像(以下、適宜、チェック画像ともいう)が表示される。また、表示領域#1には、m倍拡大画像データに対応する画像が、表示領域#2には、m'倍拡大画像データに対応する画像が、表示領域#3には、m''倍拡大画像データに対応する画像が、それぞれ表示される。
したがって、受信側の表示装置のうちの、拡大機能を有する表示装置において、放送局からの番組としての画像が、拡大機能によって拡大されて表示される場合の、その表示の状態(拡大された画像の画質等)のチェックを行うことができる。
なお、拡大率m,m',m''は、例えば、リモートコマンダ3(図1)を操作することにより指定することができる。
ところで、図4の画像変換部311では(他の画像変換部312及び313でも同様)、画像変換処理によって、チェック画像データが、横と縦それぞれの画素数がm倍のm倍拡大画像データに変換される。
本実施の形態では、上述したように、チェック画像データは、H×Vモニタ画素で構成される表示領域#iと同一の画素数のH×V画素で構成されるため、m倍拡大画像データは、mH×mV画素で構成される。
したがって、mH×mV画素で構成されるm倍拡大画像データに対応する画像の全体を、表示領域#1に表示することはできないため、表示領域#1では、図6に示すように、m倍拡大画像データに対応するmH×mV画素の画像のうちの一部が表示される。
すなわち、図6は、m倍拡大画像データに対応するmH×mV画素の画像の表示例を示している。
H×Vモニタ画素で構成される表示領域#1では、m倍拡大画像データに対応するmH×mV画素の画像のうちの、H×V画素の領域の部分が表示される。
いま、m倍拡大画像データに対応するmH×mV画素の画像のうちの、表示領域#1に表示されるH×V画素の領域に対応する、チェック画像の領域(図6において斜線を付してある部分)を、表示範囲領域ということとすると、表示範囲領域は、例えば、リモートコマンダ3を操作することにより指定することができ、表示制御部13は、その指定にしたがって、m倍拡大画像データに対応するmH×mV画素の画像の一部を、表示領域#1に表示させる。
また、チェック画像における表示範囲領域は、例えば、チェック画像が表示される表示領域#0において、チェック画像に重畳して表示することができる。
次に、図7は、図1の信号処理部12の第2の構成例を示している。
図7では、信号処理部12の第1信号処理部121が、シミュレート処理部411から構成され、第2信号処理部122が、シミュレート処理部412から構成され、第3信号処理部123が、シミュレート処理部413から構成されている。
シミュレート処理部41i(i=1,2,3)には、画像変換部11(図1)からチェック画像データが供給されるとともに、制御部14(図1)から、画像を表示する表示デバイスの種類を表す種類情報が供給される。
そして、シミュレート処理部41iは、制御部14から供給される種類情報にしたがい、画像変換部11からのチェック画像データを対象として、表示装置2と異なる表示特性を有する他の表示装置でチェック画像が表示されるときに他の表示装置に表示される画像に相当する画像を、表示装置2の表示領域#iに表示させる画像データを、処理後画像データとして生成する信号処理を行う。
すなわち、上述したように、表示装置2は、LCDから構成されるが、受信側の表示装置としては、LCDとは異なる表示特性を有する表示デバイスである、例えば、CRT(Cathode Ray Tube)や、PDP(Plasma Display Panel)、有機EL(Electro Luminescence)ディスプレイ、FED(Field Emission Display)、その他を有する表示装置があり得る。また、今後、新たな表示デバイスを有する表示装置が開発されることがあり得る。
そこで、シミュレート処理部41iは、そのような、表示装置2と異なる表示特性を有する受信側の表示装置で表示されるチェック画像に相当する画像を表示装置2の表示領域#iに表示させる画像データを、処理後画像データとして生成する信号処理を行う。
ここで、有機ELディスプレイを有する受信側の表示装置で表示されるチェック画像に相当する画像をLCDの表示装置2に表示させる画像データを、擬似有機EL画像データというとともに、チェック画像データから、擬似有機EL画像データを生成する信号処理を、有機ELシミュレート処理という。
また、PDPを有する受信側の表示装置で表示されるチェック画像に相当する画像をLCDの表示装置2に表示させる画像データを、擬似PDP画像データというとともに、チェック画像データから、擬似PDP画像データを生成する信号処理を、PDPシミュレート処理という。
さらに、CRTを有する受信側の表示装置で表示されるチェック画像に相当する画像をLCDの表示装置2に表示させる画像データを、擬似CRT画像データというとともに、チェック画像データから、擬似CRT画像データを生成する信号処理を、CRTシミュレート処理という。
この場合、シミュレート処理部411は、制御部14から供給される種類情報にしたがい、画像変換部11からのチェック画像データから、例えば、擬似有機EL画像データを生成する有機ELシミュレート処理を行い、その有機ELシミュレート処理によって得られる擬似有機EL画像データを、処理後画像データとして、表示制御部13(図1)に供給する。
シミュレート処理部412は、制御部14から供給される種類情報にしたがい、制御部14から供給される種類情報にしたがい、画像変換部11からのチェック画像データから、例えば、擬似PDP画像データを生成するPDPシミュレート処理を行い、そのPDPシミュレート処理によって得られる擬似PDP画像データを、処理後画像データとして、表示制御部13に供給する。
同様に、シミュレート処理部413も、制御部14から供給される種類情報にしたがい、画像変換部11からのチェック画像データから、例えば、擬似CRT画像データを生成するCRTシミュレート処理を行い、そのCRTシミュレート処理によって得られる擬似CRT画像データを、処理後画像データとして、表示制御部13に供給する。
図8は、信号処理部12が図7に示したように構成される場合の、表示装置2の表示例を示している。
LCDを有する表示装置2においては、表示領域#0に、チェック画像が表示される。また、表示領域#1には、擬似有機EL画像データに対応する画像が、表示領域#2には、擬似PDP画像データに対応する画像が、表示領域#3には、擬似CRT画像データに対応する画像が、それぞれ表示される。
したがって、受信側の表示装置のうちの、LCDを有する表示装置、有機ELディスプレイパネルを有する表示装置、PDPを有する表示装置、及び、CRTを有する表示装置のそれぞれにおいて、放送局からの番組としての画像が、どのような画質等で表示されるかのチェックを行うことができる。
なお、図7のシミュレート処理部41iにおいて、どのような表示特性の表示デバイスを有する表示装置で表示されるチェック画像に相当する画像をLCDの表示装置2に表示させる画像データを生成する信号処理を行うかは、制御部14からシミュレート処理部41iに供給される種類情報によって決定される。制御部14からシミュレート処理部41iに対して、どのような種類情報を供給するかは、例えば、リモートコマンダ3(図1)を操作することにより指定することができる。
また、制御部14からシミュレート処理部41iに対しては、その他、信号処理を行うのに必要なパラメータが供給される。
次に、図9は、図1の信号処理部12の第3の構成例を示している。
なお、図中、図4又は図7の場合と対応する部分については、同一の符号を付してある。
図9では、信号処理部12の第1信号処理部121が、画像変換部311及びシミュレート処理部411から構成され、第2信号処理部122が、画像変換部312及びシミュレート処理部412から構成され、第3信号処理部123が、画像変換部313及びシミュレート処理部413から構成されている。
画像変換部311には、画像変換部11(図1)からチェック画像データが供給されるとともに、制御部14(図1)から、拡大率情報が供給される。
画像変換部311は、制御部14から供給される拡大率情報にしたがって画像変換処理を行うことにより、画像変換部11からのチェック画像データを、m倍拡大画像データに変換し、シミュレート処理部411に供給する。
シミュレート処理部411は、制御部14から供給される種類情報にしたがって、例えば、有機ELシミュレート処理を行うことにより、画像変換部311からのm倍拡大画像データから、擬似有機EL画像データを生成し、処理後画像データとして、表示制御部13(図1)に供給する。
画像変換部312には、画像変換部11からチェック画像データが供給されるとともに、制御部14から、拡大率情報が供給される。
画像変換部312は、制御部14から供給される拡大率情報にしたがって画像変換処理を行うことにより、画像変換部11からのチェック画像データを、m'倍拡大画像データに変換し、シミュレート処理部412に供給する。
シミュレート処理部412は、制御部14から供給される種類情報にしたがって、例えば、PDPシミュレート処理を行うことにより、画像変換部312からのm'倍拡大画像データから、擬似PDP画像データを生成し、処理後画像データとして、表示制御部13に供給する。
画像変換部313には、画像変換部11からチェック画像データが供給されるとともに、制御部14から、拡大率情報が供給される。
画像変換部313は、制御部14から供給される拡大率情報にしたがって画像変換処理を行うことにより、画像変換部11からのチェック画像データを、m''倍拡大画像データに変換し、シミュレート処理部413に供給する。
シミュレート処理部413は、制御部14から供給される種類情報にしたがって、例えば、CRTシミュレート処理を行うことにより、画像変換部313からのm''倍拡大画像データから、擬似CRT画像データを生成し、処理後画像データとして、表示制御部13に供給する。
図10は、信号処理部12が図9に示したように構成される場合の、表示装置2の表示例を示している。
表示装置2においては、表示領域#0に、チェック画像が表示される。また、表示領域#1には、m倍拡大画像データから生成された擬似有機EL画像データに対応する画像が、表示領域#2には、m'倍拡大画像データから生成された擬似PDP画像データに対応する画像が、表示領域#3には、m''倍拡大画像データから生成された擬似CRT画像データに対応する画像が、それぞれ表示される。
したがって、受信側の表示装置のうちの、有機ELディスプレイパネルを有する表示装置、PDPを有する表示装置、及び、CRTを有する表示装置のそれぞれにおいて、放送局からの番組としての画像が拡大されて表示される場合の、その表示の状態(拡大された画像の画質等)のチェックを行うことができる。
次に、図11は、図1の信号処理部12の第4の構成例を示している。
なお、図中、図4の場合と対応する部分については、同一の符号を付してある。
図11では、信号処理部12の第1信号処理部121が、画像変換部311から構成され、第2信号処理部122が、画像変換部51から構成され、第3信号処理部123が、画像変換部313及び画像変換部52から構成されている。
画像変換部311は、図4で説明したように、制御部14から供給される拡大率情報にしたがって画像変換処理を行うことにより、画像変換部11からのチェック画像データを、m倍拡大画像データに変換し、処理後画像データとして、表示制御部13(図1)に供給する。
画像変換部51には、画像変換部11からチェック画像データが供給されるとともに、制御部14から、スロー再生の再生速度を表す再生速度情報が供給される。
画像変換部51は、制御部14から供給される再生速度情報にしたがい、画像変換部11からのチェック画像データを、チェック画像の表示を1倍速未満のq(<1)倍速の再生速度で行うq倍速スロー再生画像データに変換する画像変換処理を行い、その画像変換処理によって得られるq倍速スロー再生画像データを、処理後画像データとして、表示制御部13(図1)に供給する。
すなわち、例えば、いま、表示装置2の表示レート(表示を更新するレート)と、チェック画像のフレームレートとが、30Hzであるとするとともに、再生速度情報が表す再生速度が、例えば、1/2倍速であるとすると、画像変換部51は、フレームレートが30Hzのチェック画像データを、フレームレートが2倍の60Hzの画像データであるq倍速スロー再生画像データに変換する画像変換処理を行う。
フレームレートが60Hzの画像データを、30Hzの表示レートで表示することにより、1/2倍速でのスロー再生をしたかのような画像が表示される。
画像変換部313は、図4で説明したように、制御部14から供給される拡大率情報にしたがって画像変換処理を行うことにより、画像変換部11からのチェック画像データを、m''倍拡大画像データに変換し、画像変換部52に供給する。
画像変換部52には、画像変換部313からm''倍拡大画像データが供給される他、制御部14から、再生速度情報が供給される。
画像変換部52は、制御部14から供給される再生速度情報にしたがい、画像変換部313からのm''倍拡大画像データを、チェック画像の表示を1倍速未満のq''(<1)倍速の再生速度で行うq''倍速スロー再生画像データに変換する画像変換処理を行い、その画像変換処理によって得られるq''倍速スロー再生画像データを、処理後画像データとして、表示制御部13に供給する。
図12は、信号処理部12が図11に示したように構成される場合の、表示装置2の表示例を示している。
表示装置2においては、表示領域#0に、チェック画像が表示され、表示領域#1には、m倍拡大画像データに対応する画像が表示される。
また、表示領域#2には、q倍速スロー再生画像データに対応する画像が表示され、表示領域#3には、m''倍拡大画像データに対応する画像を、q''倍速スロー再生したかのような画像が表示される。
表示領域#1に表示される、m倍拡大画像データに対応する画像は、表示領域#0に表示されるチェック画像よりも空間的な解像度が高いので、表示領域#0に表示されるチェック画像では目立たなかった、いわば空間的な画像の劣化がある場合に、その空間的な画像の劣化をチェックすることができる。
また、表示領域#2に表示される、q倍速スロー再生画像データに対応する画像は、表示領域#0に表示されるチェック画像よりも時間的な解像度が高いので、表示領域#0に表示されるチェック画像では目立たなかった、いわば時間的な画像の劣化(例えば、動きのぎこちなさ等)がある場合に、その時間的な画像の劣化をチェックすることができる。
さらに、表示領域#3に表示される、m''倍拡大画像データに対応する画像を、q''倍速スロー再生したかのような画像は、表示領域#0に表示されるチェック画像よりも空間的及び時間的な解像度が高いので、表示領域#0に表示されるチェック画像では目立たなかった、空間的な画像の劣化や、時間的な画像の劣化がある場合に、そのような画像の劣化をチェックすることができる。
なお、画像変換部51と52のそれぞれにおいて、チェック画像データを、何倍速のスロー再生をしたかのような画像データに変換するかは、制御部14から画像変換部51と52のそれぞれに供給される再生速度情報によって決定される。制御部14から画像変換部51と52のそれぞれに対して、どのような再生速度情報を供給するかは、例えば、リモートコマンダ3(図1)を操作することにより指定することができる。
次に、図13は、図1の信号処理部12の第5の構成例を示している。
図13では、信号処理部12の第1信号処理部121が、エンハンス処理部61から構成され、第2信号処理部122が、適応ガンマ処理部62から構成され、第3信号処理部123が、高フレームレート処理部63から構成されている。
エンハンス処理部61には、画像変換部11(図1)からチェック画像データが供給されるとともに、制御部14(図1)から信号処理用パラメータが供給される。
そして、エンハンス処理部61は、画像変換部11からのチェック画像データを対象として、受信側の表示装置が画像データに対応する画像を表示するときに、その画像データに施す処理に相当する信号処理を施す。
すなわち、受信側の表示装置の中には、放送局からの番組としての画像にエンハンス処理を施して表示する機能を有するものがあり、エンハンス処理部61は、そのような、受信側の表示装置が行うのと同様の信号処理としてのエンハンス処理を行う。
具体的には、エンハンス処理部61は、制御部14から供給される信号処理用パラメータにしたがい、画像変換部11からのチェック画像データをフィルタリング等することにより、そのチェック画像データのエッジ部分等の一部を強調するエンハンス処理を行い、そのエンハンス処理後のチェック画像データを、処理後画像データとして、表示制御部13(図1)に供給する。
ここで、エンハンス処理部61において、エンハンス処理によって、チェック画像データを強調する程度は、制御部14から供給される信号処理用パラメータに含まれるエンハンス処理用のパラメータにしたがって決定される。エンハンス処理用のパラメータは、例えば、リモートコマンダ3(図1)を操作することにより指定することができる。
適応ガンマ処理部62には、画像変換部11からチェック画像データが供給されるとともに、制御部14から信号処理用パラメータが供給される。
そして、適応ガンマ処理部62は、画像変換部11からのチェック画像データを対象として、受信側の表示装置が画像データに対応する画像を表示するときに、その画像データに施す処理に相当する信号処理を施す。
すなわち、現在、表示装置では、表示装置を製造する各メーカが採用する表示デバイスの特性を吸収して、画像の見え方が、メーカによって異ならないようにするガンマ(γ)補正処理が施されるが、将来的には、各メーカが、表示対象の画像や表示デバイスの特性に応じて、そのメーカに特有の画像の見え方がするような固有のガンマ補正処理が施されることが予想され、この場合、表示装置のメーカによって、画像の見え方が異なることになる。
そこで、適応ガンマ処理部62は、各メーカの表示装置で表示される画像に相当する画像を、LCDの表示装置2に表示する(再現する)ことができるように、適応的なガンマ補正処理である適応ガンマ補正処理を行う。
つまり、適応ガンマ処理部62は、メーカ固有のガンマ補正処理が施される受信側の表示装置で表示されるチェック画像に相当する画像をLCDの表示装置2に表示させる画像データを得ることができるように、画像変換部11からのチェック画像データに対して、適応ガンマ補正処理を施し、その適応ガンマ補正処理後のチェック画像データを、処理後画像データとして、表示制御部13に供給する。
ここで、適応ガンマ処理部62において、どのような特性の適応ガンマ補正処理を行うかは、制御部14から供給される信号処理用パラメータに含まれる適応ガンマ補正処理用のパラメータにしたがって決定される。適応ガンマ補正処理用のパラメータは、例えば、リモートコマンダ3を操作することにより指定することができる。
また、適応ガンマ補正処理としては、例えば、特開平08-023460号公報や、特開2002-354290号公報、特開2005-229245号公報等に記載のガンマ補正処理を採用することができる。
特開平08-023460号公報には、LCDやPDPのように、輝度コントラストの取りにくいデバイスに、APL(Average Picture Level)の変動の大きい画像信号を表示するときに、画像信号の絵柄に応じた最適なガンマ補正を行うガンマ補正処理として、画像信号の輝度レベルを、複数個の区分に分けその各々の区分での度数を取り、各輝度レベルの区分毎に複数個の度数レベルを設けその度数レベルで度数分布を区分けし、この結果をガンマ補正特性の選択信号としてガンマ補正特性を選択し、画像信号に適応したダイナミックなガンマ補正を行うことが記載されている。
特開2002-354290号公報には、ガンマ補正の動作点を変えることで、常にガンマ補正がかかるようにして階調再現性の改善を図るガンマ補正処理として、APLと、動作点の初期値とから、APLに適応した動作点を求め、動作点より白側の輝度信号に対して、ガンマ補正をかけることが記載されている。
特開2005-229245号公報には、色の飽和を低減し、かつ画像信号に適応した階調拡大制御を行う方法として、画像信号のRGB各色の最大値を検出し、RGB各色の最大値それぞれに重み付けの係数をかけたもののうちの最大値を検出し、その最大値と、画像信号の輝度レベルの最大値と比較し、大きい方を画像信号の輝度レベルの最大値とすることによって画像信号の信号制御を行う方法が記載されている。
高フレームレート処理部63には、画像変換部11からチェック画像データが供給されるとともに、制御部14から信号処理用パラメータが供給される。
そして、高フレームレート処理部63は、画像変換部11からのチェック画像データを対象として、受信側の表示装置が画像データに対応する画像を表示するときに、その画像データに施す処理に相当する信号処理を施す。
すなわち、受信側の表示装置の中には、放送局からの番組としての画像のフレームレートを2倍等の高フレームレートの画像に変換し、その高フレームレートに相当する表示レートで表示をする高レート表示機能を有するものがあり、高フレームレート処理部63は、そのような、受信側の表示装置が行うのと同様の信号処理としての高フレームレート処理を行う。
具体的には、高フレームレート処理部63は、制御部14から供給される信号処理用パラメータにしたがい、画像変換部11からのチェック画像データのフレーム間にフレームを補間して、フレームレートが、元のチェック画像データの2倍の画像データを生成する倍速処理等の高フレームレート処理を行い、その高フレームレート処理後のチェック画像データを、処理後画像データとして、表示制御部13に供給する。
ここで、高フレームレート処理部63において、高フレームレート処理によって、チェック画像データのフレームレートを何倍にするかは、制御部14から供給される信号処理用パラメータに含まれる高フレームレート処理用のパラメータにしたがって決定される。高フレームレート処理用のパラメータは、例えば、リモートコマンダ3(図1)を操作することにより指定することができる。
なお、例えば、いま、表示装置2の表示レートと、チェック画像のフレームレートとが、30Hzであるとするとともに、高フレームレート処理部63の高フレームレート処理によって得られる画像データのフレームレートが、チェック画像のフレームレートの2倍の60Hzである場合には、表示装置2において、フレームレートが60Hzの画像が、30Hzの表示レートで表示されることになり、この場合、1/2倍速でのスロー再生をしたかのような画像が表示されることになる。
そこで、ここでは、表示装置2は、30Hzの他に、30Hzよりも高い、例えば、60Hzや、120Hz、240Hz等の高表示レートでの画像の表示を行うことができるようになっており、表示制御部13(図1)は、30Hzの他、高表示レートで、画像の表示を行うように、表示装置2を制御することができるようになっていることとする。
表示制御部13は、高フレームレート処理部63の高フレームレート処理によって得られる画像データ(以下、適宜、高フレームレート画像データという)のフレームレートが、例えば、チェック画像のフレームレートの2倍の60Hzである場合には、その高フレームレート画像データのフレームレートと同一の60Hzの表示レートで、高フレームレート画像データに対応する画像を表示するように、表示装置2を制御する。
これにより、高フレームレート画像データに対応する画像は、その高フレームレート画像データのフレームレートに相当する(同一の)表示レートで表示される。
なお、表示装置2において、第3信号処理部123を構成する高フレームレート処理部63による高フレームレート処理によって得られる、例えば、フレームレートが60Hzの高フレームレート画像データに対応する画像は、表示領域#3に表示されるが、その表示領域#3以外の、例えば、表示領域#0に表示されるチェック画像のフレームレートが30Hzである場合に、表示装置2の表示レートを、高フレームレート画像データのフレームレートと同一の60Hzとすると、表示領域#0に表示されるチェック画像は、2倍速で再生したかのような画像となる。
このため、例えば、フレームレートが60Hzの高フレームレート画像データに対応する画像を、表示装置2の表示レートを60Hzにして、表示領域#3に表示する場合には、フレームレートが30Hzのチェック画像が表示される表示領域#0の表示の更新は、実質的に、2フレームの表示が行われる期間に、1回だけ行われる。
すなわち、例えば、いま、表示領域#0に、あるフレーム#fのチェック画像が表示されているとすると、表示領域#0の次の表示の更新時には、再度、フレーム#fのチェック画像が表示され、その次の表示の更新時に、次のフレーム#f+1のチェック画像が表示される。フレームレートが30Hzの画像が表示される表示領域#1及び#2の表示の更新も、同様である。
ここで、表示制御部13において、表示装置2の表示レートをどのようにするかは、高フレームレート処理部63の高フレームレート処理によって、チェック画像データのフレームレートを何倍にするかに連動して、制御部14により制御される。
図14は、信号処理部12が図13に示したように構成される場合の、表示装置2の表示例を示している。
表示装置2においては、表示領域#0に、チェック画像が表示され、表示領域#1には、エンハンス処理後のチェック画像データに対応する画像が表示される。さらに、表示領域#1には、適応ガンマ補正処理後のチェック画像データに対応する画像が表示され、表示領域#2には、高フレームレート処理後のチェック画像データに対応する画像が表示される。
したがって、受信側の表示装置のうちの、画像にエンハンス処理を施して表示する機能を有する表示装置において、エンハンス処理後の画像データに対応する画像が表示される場合の、その画像の画質等のチェックを行うことができる。
さらに、受信側の表示装置のうちの、画像にメーカに固有のガンマ補正処理を施して表示する表示装置において、その固有のガンマ補正処理後の画像データに対応する画像が表示される場合の、その画像の画質等のチェックを行うことができる。
また、受信側の表示装置のうちの、高レート表示機能を有する表示装置において、高フレームレート処理後の画像データに対応する画像が表示される場合の、その画像の画質等のチェックを行うことができる。
次に、図15は、図1の信号処理部12の第6の構成例を示している。
図15では、信号処理部12の第1信号処理部121が、擬似インチ画像生成部711から構成され、第2信号処理部122が、擬似インチ画像生成部712から構成され、第3信号処理部123が、擬似インチ画像生成部713から構成されている。
擬似インチ画像生成部71i(i=1,2,3)には、画像変換部11(図1)からチェック画像データが供給されるとともに、制御部14(図1)から、画像を表示する画面のサイズであるインチ数n,n',n''(>1)を表すインチ数情報が供給される。
そして、擬似インチ画像生成部71iは、制御部14から供給されるインチ数情報にしたがい、画像変換部11からのチェック画像データを対象として、あるインチ数の受信側の表示装置でチェック画像が表示されるときに、その表示装置に表示される画像に相当する画像を表示装置2の表示領域#iに表示させる画像データを、処理後画像データとして生成する信号処理を行う。
すなわち、受信側の表示装置としては、様々なインチ数の表示装置が存在する。そこで、擬似インチ画像生成部711は、あるnインチの受信側の表示装置で表示されるチェック画像に相当する画像を表示装置2の表示領域#1に表示させる画像データを、処理後画像データとして生成する信号処理を行う。擬似インチ画像生成部712と713も同様に、それぞれ、n'インチの受信側の表示装置で表示されるチェック画像に相当する画像を、表示装置2の表示領域#1に表示させる画像データと、n''インチの受信側の表示装置で表示されるチェック画像に相当する画像を、表示装置2の表示領域#1に表示させる画像データを、処理後画像データとして生成する信号処理を行う。
ここで、あるインチ数の受信側の表示装置で表示されるチェック画像に相当する画像を表示装置2の表示領域#iに表示させる画像データを、擬似インチ画像データともいう。また、チェック画像データから擬似インチ画像データを生成する信号処理を、擬似インチ画像生成処理ともいう。
擬似インチ画像生成部711では、制御部14から供給されるインチ数情報にしたがって、画像変換部11からのチェック画像データから、nインチの擬似インチ画像データを生成する擬似インチ画像生成処理が行われ、その結果得られるnインチの擬似インチ画像データが、処理後画像データとして、表示制御部13(図1)に供給される。
擬似インチ画像生成部712と713でも同様に、制御部14から供給されるインチ数情報にしたがって、画像変換部11からのチェック画像データから、n'インチの擬似インチ画像データを生成する擬似インチ画像生成処理と、n''インチの擬似インチ画像データを生成する擬似インチ画像生成処理が行われ、その結果得られるn'インチの擬似インチ画像データとn''インチの擬似インチ画像データが、処理後画像データとして、表示制御部13に供給される。
なお、擬似インチ画像生成処理では、チェック画像データの画素数を増加又は減少させる処理を行うことにより、擬似インチ画像データが生成される。画像データの画素数を増加させる処理としては、例えば、画素を補間する処理や、画像データを、その画像データより画素数が多い画像データに変換する画像変換処理等を採用することができる。また、画像データの画素数を減少させる処理としては、例えば、画素を間引く処理や、複数の画素の平均値等を1の画素の画素値とする平均化の処理等を採用することができる。
図16は、信号処理部12が図15に示したように構成される場合の、表示装置2の表示例を示している。
表示装置2においては、表示領域#0に、チェック画像が表示される。また、表示領域#1には、nインチの擬似インチ画像データに対応する画像が、表示領域#2には、n'インチの擬似インチ画像データに対応する画像が、表示領域#3には、n''インチの擬似インチ画像データに対応する画像が、それぞれ表示される。
したがって、各種のインチ数の受信側の表示装置において、放送局からの番組としての画像が表示される場合の、その表示の状態のチェックを行うことができる。
なお、インチ数n,n',n''は、例えば、リモートコマンダ3(図1)を操作することにより指定することができる。
次に、図17ないし図19を参照して、図15の擬似インチ画像生成部71iで行われる擬似インチ画像生成処理について、さらに説明する。
上述したように、表示領域#iは、H×Vモニタ画素で構成され、チェック画像データも、表示領域#iと同一の画素数であるH×V画素で構成される。
図17は、H×V画素のチェック画像データが、H×Vモニタ画素の表示領域#iに表示される様子を示している。
H×V画素のチェック画像データが、そのまま、H×Vモニタ画素の表示領域#iに表示される場合、チェック画像データの1画素(の画素値)が、表示領域#iの1モニタ画素に表示される。
したがって、H×Vモニタ画素の表示領域#iが、例えば、30インチなどのNインチに相当する場合には、H×V画素のチェック画像データを、そのまま、H×Vモニタ画素の表示領域#iに表示することにより、Nインチの表示装置で表示されるチェック画像に相当する画像が表示される。
表示装置2の表示領域#0ないし#3のうちの、表示領域#0では、H×V画素のチェック画像がそのまま表示されるので、Nインチの表示装置で表示されるチェック画像に相当する画像が表示されることになる。ここで、このNインチを、基準インチともいう。
次に、図18は、擬似インチ画像生成処理によりチェック画像データの画素数を増加して得られる擬似インチ画像データが、H×Vモニタ画素の表示領域#iに表示される様子を示している。
図18においては、H×V画素のチェック画像データの1画素を、3×3画素に増加する補間を行う擬似インチ画像生成処理により、3H×3V画素の擬似インチ画像データが生成され、その擬似インチ画像データのうちのH×V画素が、H×Vモニタ画素の表示領域#iに表示されている。
この場合、等価的に、元のH×V画素のチェック画像データの1画素が、表示領域#iの3×3モニタ画素に表示されることになり、その結果、表示領域#iには、3×Nインチの擬似インチ画像データに対応する画像、つまり、3×Nインチの表示装置で表示されるチェック画像に相当する画像が表示される。
なお、H×Vモニタ画素の表示領域#iには、その画素数よりも多い3H×3V画素の擬似インチ画像データに対応する画像の全体を表示することはできないため、図6で説明した、m倍拡大画像データに対応する画像を、表示領域#1に表示する場合と同様に、表示領域#iには、3H×3V画素の擬似インチ画像データに対応する画像の一部が表示される。3H×3V画素の擬似インチ画像データに対応する画像のうちの、どの部分を表示領域#iに表示するかは、例えば、リモートコマンダ3を操作することにより指定することができ、表示制御部13は、その指定にしたがって、3H×3V画素の擬似インチ画像データに対応する画像の一部を、表示領域#iに表示させる。
次に、図19は、擬似インチ画像生成処理によりチェック画像データの画素数を減少して得られる擬似インチ画像データが、H×Vモニタ画素の表示領域#iに表示される様子を示している。
図19においては、H×V画素のチェック画像データの2×2画素を、1画素に減少する間引きを行う擬似インチ画像生成処理により、H/2×V/2画素の擬似インチ画像データが生成され、その擬似インチ画像データが、H×Vモニタ画素の表示領域#iに表示されている。
この場合、等価的に、元のH×V画素のチェック画像データの2×2画素が、表示領域#iの1モニタ画素に表示されることになり、その結果、表示領域#iには、N/2インチの擬似インチ画像データに対応する画像、つまり、N/2インチの表示装置で表示されるチェック画像に相当する画像が表示される。
なお、H/2×V/2画素の擬似インチ画像データに対応する画像は、H×Vモニタ画素の表示領域#iのうちの、H/2×V/2モニタ画素の領域に表示される。H×Vモニタ画素の表示領域#iにおいて、H/2×V/2画素の擬似インチ画像データに対応する画像を表示するH/2×V/2モニタ画素の領域は、例えば、リモートコマンダ3を操作することにより指定することができ、表示制御部13は、その指定にしたがって、H/2×V/2画素の擬似インチ画像データに対応する画像を、表示領域#iに表示させる。
次に、図20のフローチャートを参照して、表示領域#1に、nインチの擬似インチ画像データに対応する画像を表示する場合の、図1の表示制御装置1の処理について説明する。
なお、表示領域#2に、n'インチの擬似インチ画像データに対応する画像を表示する場合、及び、表示領域#3に、n''インチの擬似インチ画像データに対応する画像を表示する場合も、表示領域#1に、nインチの擬似インチ画像データに対応する画像を表示する場合と同様の処理が行われる。
制御部14は、ステップS31において、インチ数nを変更(指定)するように、リモートコマンダ3が操作されたかどうかを判定する。
ステップS31において、インチ数nを変更するように、リモートコマンダ3が操作されていないと判定された場合、処理は、ステップS31に戻る。
また、ステップS31において、インチ数nを変更するように、リモートコマンダ3が操作されたと判定された場合、すなわち、リモートコマンダ3が、インチ数nを変更するように操作され、その操作に対応する操作信号が、制御部14によって受信された場合、処理は、ステップS32に進み、制御部14は、リモートコマンダ3からの操作信号から変更後のインチ数nを認識し、そのインチ数nと、基準インチNとに基づいて、擬似インチ画像生成部711(図15)において、チェック画像データの画素数を変更する割合を表す画素数変更率n/Nを求める。さらに、制御部14は、画素数変更率n/Nを含むインチ数情報を、擬似インチ画像生成部711に供給して、処理は、ステップS32からステップS33に進む。
ステップS33では、擬似インチ画像生成部711は、制御部14からのインチ数情報にしたがい、画像変換部11からのチェック画像データの横と縦の画素数それぞれを、画素数変更率n/N倍の画素数に変更(増加又は減少)する擬似インチ画像生成処理を行い、これにより、nインチの受信側の表示装置で表示されるチェック画像に相当する画像を表示領域#1に表示させるnインチの擬似インチ画像データを生成して、表示制御部13に供給する。
その後、処理は、ステップS33からステップS34に進み、制御部14は、インチ数nが、基準インチN以下であるかどうかを判定する。
ステップS34において、インチ数nが、基準インチN以下であると判定された場合、すなわち、nインチの擬似インチ画像データに対応する画像の全体を、表示領域#1に表示することができる場合、処理は、ステップS35に進み、表示制御部13は、擬似インチ画像生成部711からのnインチの擬似インチ画像データから、その全体を、表示領域#1に表示する表示用画像データとして抽出し、処理は、ステップS37に進む。
ステップS37では、表示制御部13が、表示用画像データに対応する画像を、表示領域#1に表示させ、ステップS31に戻る。この場合、nインチの擬似インチ画像データに対応する画像の全体が、表示領域#1に表示される。
一方、ステップS34において、インチ数nが、基準インチN以下でないと判定された場合、すなわち、nインチの擬似インチ画像データに対応する画像の全体を、表示領域#1に表示することができない場合、処理は、ステップS36に進み、表示制御部13は、擬似インチ画像生成部711からのnインチの擬似インチ画像データから、表示領域#1に表示することができるH×V画素を、表示用画像データとして抽出し、処理は、ステップS37に進む。
ステップS37では、上述したように、表示制御部13が、表示用画像データに対応する画像を、表示領域#1に表示させ、ステップS31に戻る。この場合、nインチの擬似インチ画像データに対応する画像のうちの、ステップS36で抽出されたH×V画素に対応する画像が、表示領域#1に表示される。
次に、図21は、図1の信号処理部12の第7の構成例を示している。
なお、図中、図4又は図15と対応する部分については、同一の符号を付してある。
図21では、信号処理部12の第1信号処理部121が、画像変換部311及び擬似インチ画像生成部711から構成され、第2信号処理部122が、画像変換部312及び擬似インチ画像生成部712から構成され、第3信号処理部123が、画像変換部313及び擬似インチ画像生成部713から構成されている。
画像変換部311には、画像変換部11(図1)からチェック画像データが供給されるとともに、制御部14(図1)から、拡大率情報が供給される。
画像変換部311は、制御部14から供給される拡大率情報にしたがって画像変換処理を行うことにより、画像変換部11からのチェック画像データを、m倍拡大画像データに変換し、擬似インチ画像生成部711に供給する。
擬似インチ画像生成部711は、制御部14から供給されるインチ数情報にしたがって、擬似インチ画像生成処理を行うことにより、画像変換部311からのm倍拡大画像データから、nインチの擬似インチ画像データを生成し、処理後画像データとして、表示制御部13(図1)に供給する。
画像変換部312には、画像変換部11からチェック画像データが供給されるとともに、制御部14から、拡大率情報が供給される。
画像変換部312は、制御部14から供給される拡大率情報にしたがって画像変換処理を行うことにより、画像変換部11からのチェック画像データを、m'倍拡大画像データに変換し、擬似インチ画像生成部712に供給する。
擬似インチ画像生成部712は、制御部14から供給されるインチ数情報にしたがって、擬似インチ画像生成処理を行うことにより、画像変換部312からのm'倍拡大画像データから、n'インチの擬似インチ画像データを生成し、処理後画像データとして、表示制御部13に供給する。
画像変換部313には、画像変換部11からチェック画像データが供給されるとともに、制御部14から、拡大率情報が供給される。
画像変換部313は、制御部14から供給される拡大率情報にしたがって画像変換処理を行うことにより、画像変換部11からのチェック画像データを、m''倍拡大画像データに変換し、擬似インチ画像生成部713に供給する。
擬似インチ画像生成部713は、制御部14から供給されるインチ数情報にしたがって、擬似インチ画像生成処理を行うことにより、画像変換部313からのm''倍拡大画像データから、n''インチの擬似インチ画像データを生成し、処理後画像データとして、表示制御部13に供給する。
図22は、信号処理部12が図21に示したように構成される場合の、表示装置2の表示例を示している。
表示装置2においては、表示領域#0に、基準インチNのチェック画像が表示される。また、表示領域#1には、nインチの擬似インチ画像データに対応する画像をm倍に拡大した画像が、表示領域#2には、n'インチの擬似インチ画像データに対応する画像をm'倍に拡大した画像が、表示領域#3には、n''インチの擬似インチ画像データに対応する画像をm''倍に拡大した画像が、それぞれ表示される。
したがって、各種のインチ数の受信側の表示装置が拡大機能を有する場合において、放送局からの番組としての画像が拡大して表示される場合の、その表示の状態のチェックを行うことができる。
次に、図23は、図1の信号処理部12の第8の構成例を示している。
なお、図中、図4、図7、又は図15と対応する部分については、同一の符号を付してある。
図23では、信号処理部12の第1信号処理部121が、画像変換部311及び擬似インチ画像生成部711から構成され、第2信号処理部122が、画像変換部312、シミュレート処理部412、及び擬似インチ画像生成部712から構成され、第3信号処理部123が、画像変換部313、シミュレート処理部413、及び擬似インチ画像生成部713から構成されている。
画像変換部311は、制御部14(図1)から供給される拡大率情報にしたがって画像変換処理を行うことにより、画像変換部11(図1)からのチェック画像データを、m倍拡大画像データに変換し、擬似インチ画像生成部711に供給する。
擬似インチ画像生成部711は、制御部14から供給されるインチ数情報にしたがって、擬似インチ画像生成処理を行うことにより、画像変換部311からのm倍拡大画像データから、例えば、20ないし103インチの範囲内のいずれかの値であるnインチの擬似インチ画像データを生成し、処理後画像データとして、表示制御部13(図1)に供給する。
画像変換部312は、制御部14から供給される拡大率情報にしたがって画像変換処理を行うことにより、画像変換部11からのチェック画像データを、m'倍拡大画像データに変換し、シミュレート処理部412に供給する。
シミュレート処理部412は、制御部14から供給される種類情報にしたがって、例えば、PDPシミュレート処理を行うことにより、画像変換部312からのm'倍拡大画像データから、擬似PDP画像データを生成し、擬似インチ画像生成部712に供給する。
擬似インチ画像生成部712は、制御部14から供給されるインチ数情報にしたがって、擬似インチ画像生成処理を行うことにより、シミュレート処理部412からの擬似PDP画像データから、例えば、20ないし103インチの範囲内のいずれかの値であるn'インチの擬似インチ画像データを生成し、処理後画像データとして、表示制御部13に供給する。
画像変換部313は、制御部14から供給される拡大率情報にしたがって画像変換処理を行うことにより、画像変換部11からのチェック画像データを、m''倍拡大画像データに変換し、シミュレート処理部413に供給する。
シミュレート処理部413は、制御部14から供給される種類情報にしたがって、例えば、CRTシミュレート処理を行うことにより、画像変換部313からのm''倍拡大画像データから、擬似CRT画像データを生成し、擬似インチ画像生成部713に供給する。
擬似インチ画像生成部713は、制御部14から供給されるインチ数情報にしたがって、擬似インチ画像生成処理を行うことにより、シミュレート処理部413からの擬似CRT画像データから、例えば、20ないし40インチの範囲内のいずれかの値であるn''インチの擬似インチ画像データを生成し、処理後画像データとして、表示制御部13に供給する。
図24は、信号処理部12が図23に示したように構成される場合の、表示装置2の表示例を示している。
LCDの表示装置2においては、表示領域#0に、基準インチNのチェック画像が表示される。また、表示領域#1には、nインチの擬似インチ画像データに対応する画像をm倍に拡大した画像が、表示領域#2には、n'インチの擬似インチ画像データに対応する画像をm'倍に拡大した画像をPDPで表示した画像に相当する画像が、表示領域#3には、n''インチの擬似インチ画像データに対応する画像をm''倍に拡大した画像をCRTで表示した画像に相当する画像が、それぞれ表示される。
したがって、受信側の表示装置のうちの、各種のインチ数の、LCDを有する表示装置、PDPを有する表示装置、及び、CRTを有する表示装置のそれぞれにおいて、放送局からの番組としての画像が拡大されて表示される場合の、その表示の状態のチェックを行うことができる。
以上のように、図1のモニタシステムによれば、受信側の各種の表示装置での画像の表示のシミュレーションを行うことができ、受信側の各種の表示装置において、画像がどのように表示されるかのチェックを行うことができる。
ところで、上述した画像変換処理は、例えば、画像データを、その画像データよりも画素数の多い画像データや、フレームレートの高い画像データ等に変換する処理、つまり、第1の画像データを第2の画像データに変換する処理であり、第1の画像データを第2の画像データに変換する画像変換処理は、例えば、クラス分類適応処理を利用して行うことができる。
ここで、第1の画像データを第2の画像データに変換する画像変換処理は、その第1と第2の画像データの定義によって様々な処理となる。
すなわち、例えば、第1の画像データを低空間解像度の画像データとするとともに、第2の画像データを高空間解像度の画像データとすれば、画像変換処理は、空間解像度を向上させる空間解像度創造(向上)処理ということができる。
また、例えば、第1の画像データを低S/N(Siginal/Noise)の画像データとするとともに、第2の画像データを高S/Nの画像データとすれば、画像変換処理は、ノイズを除去するノイズ除去処理ということができる。
さらに、例えば、第1の画像データを所定の画素数(サイズ)の画像データとするとともに、第2の画像データを、第1の画像データの画素数を多く又は少なくした画像データとすれば、画像変換処理は、画像の画素数を変更する(画像のリサイズ(拡大又は縮小)を行う)リサイズ処理ということができる。
また、例えば、第1の画像データを低時間解像度の画像データとするとともに、第2の画像データを高時間解像度の画像データとすれば、画像変換処理は、時間解像度(フレームレート)を向上させる時間解像度創造(向上)処理ということができる。
なお、空間解像度創造処理において、低空間解像度の画像データである第1の画像データを、高空間解像度の画像データである第2の画像データに変換するにあたっては、第2の画像データを、第1の画像データと同一の画素数の画像データとすることもできるし、第1の画像データよりも画素数が多い画像データとすることもできる。第2の画像データを、第1の画像データよりも画素数が多い画像データとする場合、空間解像度創造処理は、空間解像度を向上させる処理であるとともに、画像サイズ(画素数)を拡大するリサイズ処理でもある。
以上のように、画像変換処理によれば、第1および第2の画像データをどのように定義するかによって、様々な処理を実現することができる。
以上のような画像変換処理をクラス分類適応処理を利用して行う場合には、第2の画像データのうちの注目している注目画素(の画素値)を複数のクラスのうちのいずれかのクラスにクラス分類することにより得られるクラスのタップ係数と、注目画素に対して選択される第1の画像データの画素(の画素値)とを用いた演算により、注目画素(の画素値)が求められる。
すなわち、図25は、クラス分類適応処理を利用した画像変換処理を行う画像変換装置101の構成例を示している。
画像変換装置101では、そこに供給される画像データが、第1の画像データとして、タップ選択部112及び113に供給される。
注目画素選択部111は、第2の画像データを構成する画素を、順次、注目画素とし、その注目画素を表す情報を、必要なブロックに供給する。
タップ選択部112は、注目画素(の画素値)を予測するのに用いる第1の画像データを構成する画素(の画素値)の幾つかを、予測タップとして選択する。
具体的には、タップ選択部112は、注目画素の時空間の位置から空間的又は時間的に近い位置にある第1の画像データの複数の画素を、予測タップとして選択する。
タップ選択部113は、注目画素を、幾つかのクラスのうちのいずれかにクラス分けするクラス分類を行うのに用いる第1の画像データを構成する画素の幾つかを、クラスタップとして選択する。すなわち、タップ選択部113は、タップ選択部112が予測タップを選択するのと同様にして、クラスタップを選択する。
なお、予測タップとクラスタップは、同一のタップ構造を有するものであっても良いし、異なるタップ構造を有するものであっても良い。
タップ選択部112で得られた予測タップは、予測演算部116に供給され、タップ選択部113で得られたクラスタップは、クラス分類部114に供給される。
クラス分類部114は、タップ選択部113からのクラスタップに基づき、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、係数出力部115に供給する。
ここで、クラス分類を行う方法としては、例えば、ADRC(Adaptive Dynamic Range Coding)等を採用することができる。
ADRCを用いる方法では、クラスタップを構成する画素(の画素値)が、ADRC処理され、その結果得られるADRCコードにしたがって、注目画素のクラスが決定される。
なお、KビットADRCにおいては、例えば、クラスタップを構成する画素の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成する各画素の画素値がKビットに再量子化される。すなわち、クラスタップを構成する各画素の画素値から、最小値MINが減算され、その減算値がDR/2Kで除算(再量子化)される。そして、以上のようにして得られる、クラスタップを構成するKビットの各画素の画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。従って、クラスタップが、例えば、1ビットADRC処理された場合には、そのクラスタップを構成する各画素の画素値は、最大値MAXと最小値MINとの平均値で除算され(小数点以下切り捨て)、これにより、各画素の画素値が1ビットとされる(2値化される)。そして、その1ビットの画素値を所定の順番で並べたビット列が、ADRCコードとして出力される。
なお、クラス分類部114には、例えば、クラスタップを構成する画素の画素値のレベル分布のパターンを、そのままクラスコードとして出力させることも可能である。しかしながら、この場合、クラスタップが、N個の画素の画素値で構成され、各画素の画素値に、Kビットが割り当てられているとすると、クラス分類部114が出力するクラスコードの場合の数は、(2N)K通りとなり、画素の画素値のビット数Kに指数的に比例した膨大な数となる。
従って、クラス分類部114においては、クラスタップの情報量を、上述のADRC処理や、あるいはベクトル量子化等によって圧縮することにより、クラス分類を行うのが好ましい。
係数出力部115は、後述する学習によって求められたクラスごとのタップ係数を記憶し、さらに、その記憶したタップ係数のうちの、クラス分類部114から供給されるクラスコードに対応するアドレスに記憶されているタップ係数(クラス分類部114から供給されるクラスコードが表すクラスのタップ係数)を出力する。このタップ係数は、予測演算部116に供給される。
ここで、タップ係数とは、ディジタルフィルタにおける、いわゆるタップにおいて入力データと乗算される係数に相当するものである。
予測演算部116は、タップ選択部112が出力する予測タップと、係数出力部115が出力するタップ係数とを取得し、その予測タップとタップ係数とを用いて、注目画素の真値の予測値を求める所定の予測演算を行う。これにより、予測演算部116は、注目画素の画素値(の予測値)、すなわち、第2の画像データを構成する画素の画素値を求めて出力する。
次に、図26のフローチャートを参照して、図25の画像変換装置101による画像変換処理について説明する。
ステップS111において、注目画素選択部111は、画像変換装置101に入力される第1の画像データに対する第2の画像データを構成する画素のうち、まだ、注目画素とされていないものの1つを、注目画素として選択し、ステップS112に進む。すなわち、注目画素選択部111は、例えば、第2の画像データを構成する画素のうち、ラスタスキャン順で、まだ、注目画素とされていないものが、注目画素として選択される。
ステップS112において、タップ選択部112と113が、そこに供給される第1の画像データから、注目画素についての予測タップとクラスタップとするものを、それぞれ選択する。そして、予測タップは、タップ選択部112から予測演算部116に供給され、クラスタップは、タップ選択部113からクラス分類部114に供給される。
クラス分類部114は、タップ選択部113から、注目画素についてのクラスタップを受信し、ステップS113において、そのクラスタップに基づき、注目画素をクラス分類する。さらに、クラス分類部114は、そのクラス分類の結果得られる注目画素のクラスを表すクラスコードを、係数出力部115に出力し、ステップS114に進む。
ステップS114では、係数出力部115が、クラス分類部114から供給されるクラスコードに対応するアドレスに記憶されているタップ係数を取得して出力する。さらに、ステップS114では、予測演算部116が、係数出力部115が出力するタップ係数を取得し、ステップS115に進む。
ステップS115では、予測演算部116が、タップ選択部112が出力する予測タップと、係数出力部115から取得したタップ係数とを用いて、所定の予測演算を行う。これにより、予測演算部116は、注目画素の画素値を求めて出力し、ステップS116に進む。
ステップS116では、注目画素選択部111が、まだ、注目画素としていない第2の画像データがあるかどうかを判定する。ステップS116において、まだ、注目画素としていない第2の画像データがあると判定された場合、ステップS111に戻り、以下、同様の処理が繰り返される。
また、ステップS116において、まだ、注目画素とされていない第2の画像データがないと判定された場合、処理を終了する。
次に、図25の予測演算部116における予測演算と、係数出力部115に記憶されたタップ係数の学習について説明する。
いま、例えば、高画質の画像データ(高画質画像データ)を第2の画像データとするとともに、その高画質画像データをLPF(Low Pass Filter)によってフィルタリングする等してその画質(解像度)を低下させた低画質の画像データ(低画質画像データ)を第1の画像データとして、低画質画像データから予測タップを選択し、その予測タップとタップ係数を用いて、高画質画像データの画素(高画質画素)の画素値を、所定の予測演算によって求める(予測する)ことを考える。
所定の予測演算として、例えば、線形1次予測演算を採用することとすると、高画質画素の画素値yは、次の線形1次式によって求められることになる。
但し、式(1)において、xnは、高画質画素yについての予測タップを構成する、n番目の低画質画像データの画素(以下、適宜、低画質画素という)の画素値を表し、wnは、n番目の低画質画素(の画素値)と乗算されるn番目のタップ係数を表す。なお、式(1)では、予測タップが、N個の低画質画素x1,x2,・・・,xNで構成されるものとしてある。
ここで、高画質画素の画素値yは、式(1)に示した線形1次式ではなく、2次以上の高次の式によって求めるようにすることも可能である。
いま、第kサンプルの高画質画素の画素値の真値をykと表すとともに、式(1)によって得られるその真値ykの予測値をyk’と表すと、その予測誤差ekは、次式で表される。
いま、式(2)の予測値yk’は、式(1)にしたがって求められるため、式(2)のyk’を、式(1)にしたがって置き換えると、次式が得られる。
但し、式(3)において、xn,kは、第kサンプルの高画質画素についての予測タップを構成するn番目の低画質画素を表す。
式(3)(又は式(2))の予測誤差ekを0とするタップ係数wnが、高画質画素を予測するのに最適なものとなるが、すべての高画質画素について、そのようなタップ係数wnを求めることは、一般には困難である。
そこで、タップ係数wnが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適なタップ係数wnは、次式で表される自乗誤差の総和Eを最小にすることで求めることができる。
但し、式(4)において、Kは、高画質画素ykと、その高画質画素ykについての予測タップを構成する低画質画素x1,k,x2,k,・・・,xN,kとのセットのサンプル数(学習用のサンプルの数)を表す。
式(4)の自乗誤差の総和Eの最小値(極小値)は、式(5)に示すように、総和Eをタップ係数wnで偏微分したものを0とするwnによって与えられる。
そこで、上述の式(3)をタップ係数wnで偏微分すると、次式が得られる。
式(5)と(6)から、次式が得られる。
式(7)のekに、式(3)を代入することにより、式(7)は、式(8)に示す正規方程式で表すことができる。
式(8)の正規方程式は、例えば、掃き出し法(Gauss-Jordanの消去法)などを用いることにより、タップ係数wnについて解くことができる。
式(8)の正規方程式を、クラスごとにたてて解くことにより、最適なタップ係数(ここでは、自乗誤差の総和Eを最小にするタップ係数)wnを、クラスごとに求めることができる。
次に、図27は、式(8)の正規方程式をたてて解くことによりタップ係数wnを求める学習を行う学習装置121の構成例を示している。
学習用画像記憶部131は、タップ係数wnの学習に用いられる学習用画像データを記憶している。ここで、学習用画像データとしては、例えば、解像度の高い高画質画像データを用いることができる。
教師データ生成部132は、学習用画像記憶部131から学習用画像データを読み出す。さらに、教師データ生成部132は、学習用画像データから、タップ係数の学習の教師(真値)、すなわち、式(1)による予測演算としての写像の写像先の画素値となる教師データを生成し、教師データ記憶部133に供給する。ここでは、教師データ生成部132は、例えば、学習用画像データとしての高画質画像データを、そのまま教師データとして、教師データ記憶部133に供給する。
教師データ記憶部133は、教師データ生成部132から供給される教師データとしての高画質画像データを記憶する。
生徒データ生成部134は、学習用画像記憶部131から学習用画像データを読み出す。さらに、生徒データ生成部134は、学習用画像データから、タップ係数の学習の生徒、すなわち、式(1)による予測演算としての写像による変換対象の画素値となる生徒データを生成し、生徒データ記憶部135に供給する。ここでは、生徒データ生成部134は、例えば、学習用画像データとしての高画質画像データをフィルタリングすることにより、その解像度を低下させることで、低画質画像データを生成し、この低画質画像データを、生徒データとして、生徒データ記憶部135に供給する。
生徒データ記憶部135は、生徒データ生成部134から供給される生徒データを記憶する。
学習部136は、教師データ記憶部133に記憶された教師データとしての高画質画像データを構成する画素を、順次、注目画素とし、その注目画素について、生徒データ記憶部135に記憶された生徒データとしての低画質画像データを構成する低画質画素のうちの、図25のタップ選択部112が選択するのと同一のタップ構造の低画質画素を、予測タップとして選択する。さらに、学習部136は、教師データを構成する各画素と、その画素が注目画素とされたときに選択された予測タップとを用い、クラスごとに、式(8)の正規方程式をたてて解くことにより、クラスごとのタップ係数を求める。
すなわち、図28は、図27の学習部136の構成例を示している。
注目画素選択部141は、教師データ記憶部133に記憶されている教師データを構成する画素を、順次、注目画素として選択し、その注目画素を表す情報を、必要なブロックに供給する。
タップ選択部142は、注目画素について、生徒データ記憶部135に記憶された生徒データとしての低画質画像データを構成する低画質画素から、図25のタップ選択部112が選択するの同一の画素を選択し、これにより、タップ選択部112で得られるのと同一のタップ構造の予測タップを得て、足し込み部145に供給する。
タップ選択部143は、注目画素について、生徒データ記憶部135に記憶された生徒データとしての低画質画像データを構成する低画質画素から、図25のタップ選択部113が選択するのと同一の画素を選択し、これにより、タップ選択部113で得られるのと同一のタップ構造のクラスタップを得て、クラス分類部144に供給する。
クラス分類部144は、タップ選択部143が出力するクラスタップに基づき、図25のクラス分類部114と同一のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部145に出力する。
足し込み部145は、教師データ記憶部133から、注目画素となっている教師データ(画素)を読み出し、その注目画素と、タップ選択部142から供給される注目画素についての予測タップを構成する生徒データ(画素)とを対象とした足し込みを、クラス分類部144から供給されるクラスコードごとに行う。
すなわち、足し込み部145には、教師データ記憶部133に記憶された教師データyk、タップ選択部142が出力する予測タップxn,k、クラス分類部144が出力するクラスコードが供給される。
そして、足し込み部145は、クラス分類部144から供給されるクラスコードに対応するクラスごとに、予測タップ(生徒データ)xn,kを用い、式(8)の左辺の行列における生徒データどうしの乗算(xn,kxn',k)と、サメーション(Σ)に相当する演算を行う。
さらに、足し込み部145は、やはり、クラス分類部144から供給されるクラスコードに対応するクラスごとに、予測タップ(生徒データ)xn,kと教師データykを用い、式(8)の右辺のベクトルにおける生徒データxn,k及び教師データykの乗算(xn,kyk)と、サメーション(Σ)に相当する演算を行う。
すなわち、足し込み部145は、前回、注目画素とされた教師データについて求められた式(8)における左辺の行列のコンポーネント(Σxn,kxn',k)と、右辺のベクトルのコンポーネント(Σxn,kyk)を、その内蔵するメモリ(図示せず)に記憶しており、その行列のコンポーネント(Σxn,kxn',k)又はベクトルのコンポーネント(Σxn,kyk)に対して、新たに注目画素とされた教師データについて、その教師データyk+1及び生徒データxn,k+1を用いて計算される、対応するコンポーネントxn,k+1xn',k+1又はxn,k+1yk+1を足し込む(式(8)のサメーションで表される加算を行う)。
そして、足し込み部145は、教師データ記憶部133(図27)に記憶された教師データすべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、式(8)に示した正規方程式をたてると、その正規方程式を、タップ係数算出部146に供給する。
タップ係数算出部146は、足し込み部145から供給される各クラスについての正規方程式を解くことにより、各クラスについて、最適なタップ係数wnを求めて出力する。
図25の画像変換装置101における係数出力部115には、以上のようにして求められたクラスごとのタップ係数wnが記憶されている。
ここで、第1の画像データに対応する生徒データとする画像データと、第2の画像データに対応する教師データとする画像データの選択の仕方によって、タップ係数としては、上述したように、各種の画像変換処理を行うものを得ることができる。
すなわち、上述のように、高画質画像データを、第2の画像データに対応する教師データとするとともに、その高画質画像データの空間解像度を劣化させた低画質画像データを、第1の画像データに対応する生徒データとして、タップ係数の学習を行うことにより、タップ係数としては、図29上から1番目に示すように、低画質画像データ(SD(Standard Definition)画像)である第1の画像データを、その空間解像度を向上させた高画質画像データ(HD(High Definition)画像データ)である第2の画像データに変換する空間解像度創造処理としての画像変換処理を行うものを得ることができる。
なお、この場合、第1の画像データ(生徒データ)は、第2の画像データ(教師データ)と画素数が同一であっても良いし、少なくても良い。
また、例えば、高画質画像データを教師データとするとともに、その教師データとしての高画質画像データに対して、ノイズを重畳した画像データを生徒データとして、タップ係数の学習を行うことにより、タップ係数としては、図29上から2番目に示すように、低S/Nの画像データである第1の画像データを、そこに含まれるノイズを除去(低減)した高S/Nの画像データである第2の画像データに変換するノイズ除去処理としての画像変換処理を行うものを得ることができる。
さらに、例えば、ある画像データを教師データとするとともに、その教師データとしての画像データの画素数を間引いた画像データを生徒データとして、タップ係数の学習を行うことにより、タップ係数としては、図29上から3番目に示すように、ある画像データの一部又は全部である第1の画像データを、その第1の画像データを拡大した拡大画像データである第2の画像データに変換するリサイズ処理(画素数を変更する処理)としての画像変換処理を行うものを得ることができる。
なお、リサイズ処理を行うタップ係数は、高画質画像データを教師データとするとともに、その高画質画像データの空間解像度を、画素数を間引くことにより劣化させた低画質画像データを生徒データとして、タップ係数の学習を行うことによっても得ることができる。
また、例えば、高フレームレートの画像データを教師データとするとともに、その教師データとしての高フレームレートの画像データのフレームを間引いた画像データを生徒データとして、タップ係数の学習を行うことにより、タップ係数としては、図29上から4番目(1番下)に示すように、所定のフレームレートの第1の画像データを、高フレームレートの第2の画像データに変換する時間解像度創造処理としての画像変換処理を行うものを得ることができる。
次に、図30のフローチャートを参照して、図27の学習装置121の処理(学習処理)について、説明する。
まず最初に、ステップS121において、教師データ生成部132と生徒データ生成部134が、学習用画像記憶部131に記憶された学習用画像データから、画像変換処理で得る第2の画像データに対応(相当)する教師データと、画像変換処理の対象となる第1の画像データに対応する生徒データを生成し、教師データ記憶部133と生徒データ生成部134にそれぞれ供給して記憶させる。
なお、教師データ生成部132と生徒データ生成部134において、それぞれ、どのような生徒データと教師データを生成するかは、上述したような種類の画像変換処理のうちのいずれの処理用のタップ係数の学習を行うかによって異なる。
その後、ステップS122に進み、学習部136(図28)において、注目画素選択部141は、教師データ記憶部133に記憶された教師データのうち、まだ、注目画素としていないものを、注目画素として選択し、ステップS123に進む。ステップS123では、タップ選択部142が、注目画素について、生徒データ記憶部135に記憶された生徒データから予測タップとする生徒データとしての画素を選択し、足し込み部145に供給するとともに、タップ選択部143が、やはり、注目画素について、生徒データ記憶部135に記憶された生徒データからクラスタップとする生徒データを選択し、クラス分類部144に供給する。
そして、ステップS124に進み、クラス分類部144は、注目画素についてのクラスタップに基づき、注目画素のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部145に出力して、ステップS125に進む。
ステップS125では、足し込み部145は、教師データ記憶部133から、注目画素を読み出し、その注目画素と、タップ選択部142から供給される注目画素について選択された予測タップを構成する生徒データとを対象とした式(8)の足し込みを、クラス分類部144から供給されるクラスコードごとに行い、ステップS126に進む。
ステップS126では、注目画素選択部141が、教師データ記憶部133に、まだ、注目画素としていない教師データが記憶されているかどうかを判定する。ステップS126において、注目画素としていない教師データが、まだ、教師データ記憶部133に記憶されていると判定された場合、ステップS122に戻り、以下、同様の処理が繰り返される。
また、ステップS126において、注目画素としていない教師データが、教師データ記憶部133に記憶されていないと判定された場合、足し込み部145は、いままでのステップS122乃至S126の処理によって得られたクラスごとの式(8)における左辺の行列と、右辺のベクトルを、タップ係数算出部146に供給し、ステップS127に進む。
ステップS127では、タップ係数算出部146は、足し込み部145から供給されるクラスごとの式(8)における左辺の行列と右辺のベクトルによって構成されるクラスごとの正規方程式を解くことにより、各クラスごとに、タップ係数wnを求めて出力し、処理を終了する。
なお、学習用画像データの数が十分でないこと等に起因して、タップ係数を求めるのに必要な数の正規方程式が得られないクラスが生じることがあり得るが、そのようなクラスについては、タップ係数算出部146は、例えば、デフォルトのタップ係数を出力するようになっている。
次に、図31は、クラス分類適応処理を利用した画像変換処理を行う他の画像変換装置である画像変換装置151の構成例を示している。
なお、図中、図25における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。すなわち、画像変換装置151は、係数出力部115に代えて、係数出力部155が設けられている他は、図25の画像変換装置101と同様に構成されている。
係数出力部155には、クラス分類部114からクラス(クラスコード)が供給される他、例えば、ユーザの操作に応じて外部から入力されるパラメータzが供給されるようになっている。係数出力部155は、後述するようにして、パラメータzに対応するクラスごとのタップ係数を生成し、そのクラスごとのタップ係数のうちの、クラス分類部114からのクラスのタップ係数を、予測演算部116に出力する。
図32は、図31の係数出力部155の構成例を示している。
係数生成部161は、係数種メモリ162に記憶されている係数種データと、パラメータメモリ163に記憶されたパラメータzとに基づいて、クラスごとのタップ係数を生成し、係数メモリ164に供給して上書きする形で記憶させる。
係数種メモリ162は、後述する係数種データの学習によって得られるクラスごとの係数種データを記憶している。ここで、係数種データは、タップ係数を生成する、いわば種になるデータである。
パラメータメモリ163は、ユーザの操作等に応じて外部から入力されるパラメータzを上書きする形で記憶する。
係数メモリ164は、係数生成部161から供給されるクラスごとのタップ係数(パラメータzに対応するクラスごとのタップ係数)を記憶する。そして、係数メモリ164は、クラス分類部114(図31)から供給されるクラスのタップ係数を読み出し、予測演算部116(図31)に出力する。
図31の画像変換装置151では、外部から係数出力部155に対して、パラメータzが入力されると、係数出力部155(図32)のパラメータメモリ163において、そのパラメータzが、上書きする形で記憶される。
パラメータメモリ163にパラメータzが記憶されると(パラメータメモリ163の記憶内容が更新されると)、係数生成部161は、係数種メモリ162からクラスごとの係数種データを読み出すとともに、パラメータメモリ163からパラメータzを読み出し、その係数種データとパラメータzに基づいて、クラスごとのタップ係数を求める。そして、係数生成部161は、そのクラスごとのタップ係数を、係数メモリ164に供給し、上書きする形で記憶させる。
画像変換装置151では、タップ係数を記憶しており、そのタップ係数を出力する係数出力部115に代えて設けられている係数出力部155において、パラメータzに対応するタップ係数を生成して出力することを除いて、図25の画像変換装置101が行う図26のフローチャートにしたがった処理と同様の処理が行われる。
次に、図31の予測演算部116における予測演算、並びに図32の係数生成部161におけるタップ係数の生成及び係数種メモリ162に記憶させる係数種データの学習について説明する。
図25の実施の形態における場合のように、高画質の画像データ(高画質画像データ)を第2の画像データとするとともに、その高画質画像データの空間解像度を低下させた低画質の画像データ(低画質画像データ)を第1の画像データとして、低画質画像データから予測タップを選択し、その予測タップとタップ係数を用いて、高画質画像データの画素である高画質画素の画素値を、例えば、式(1)の線形1次予測演算によって求める(予測する)ことを考える。
ここで、高画質画素の画素値yは、式(1)に示した線形1次式ではなく、2次以上の高次の式によって求めるようにすることも可能である。
図32の実施の形態では、係数生成部161において、タップ係数wnが、係数種メモリ162に記憶された係数種データと、パラメータメモリ163に記憶されたパラメータzとから生成されるが、この係数生成部161におけるタップ係数wnの生成が、例えば、係数種データとパラメータzを用いた次式によって行われることとする。
但し、式(9)において、βm,nは、n番目のタップ係数wnを求めるのに用いられるm番目の係数種データを表す。なお、式(9)では、タップ係数wnが、M個の係数種データβ1,n,β2,n,・・・,βM,nを用いて求められるようになっている。
ここで、係数種データβm,nとパラメータzから、タップ係数wnを求める式は、式(9)に限定されるものではない。
いま、式(9)におけるパラメータzによって決まる値zm-1を、新たな変数tmを導入して、次式で定義する。
式(10)を、式(9)に代入することにより、次式が得られる。
式(11)によれば、タップ係数wnは、係数種データβm,nと変数tmとの線形1次式によって求められることになる。
ところで、いま、第kサンプルの高画質画素の画素値の真値をykと表すとともに、式(1)によって得られるその真値ykの予測値をyk’と表すと、その予測誤差ekは、次式で表される。
いま、式(12)の予測値yk’は、式(1)にしたがって求められるため、式(12)のyk’を、式(1)にしたがって置き換えると、次式が得られる。
但し、式(13)において、xn,kは、第kサンプルの高画質画素についての予測タップを構成するn番目の低画質画素を表す。
式(13)のwnに、式(11)を代入することにより、次式が得られる。
式(14)の予測誤差ekを0とする係数種データβm,nが、高画質画素を予測するのに最適なものとなるが、すべての高画質画素について、そのような係数種データβm,nを求めることは、一般には困難である。
そこで、係数種データβm,nが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適な係数種データβm,nは、次式で表される自乗誤差の総和Eを最小にすることで求めることができる。
但し、式(15)において、Kは、高画質画素ykと、その高画質画素ykについての予測タップを構成する低画質画素x1,k,x2,k,・・・,xN,kとのセットのサンプル数(学習用のサンプルの数)を表す。
式(15)の自乗誤差の総和Eの最小値(極小値)は、式(16)に示すように、総和Eを係数種データβm,nで偏微分したものを0とするβm,nによって与えられる。
式(13)を、式(16)に代入することにより、次式が得られる。
いま、Xi,p,j,qとYi,pを、式(18)と(19)に示すように定義する。
この場合、式(17)は、Xi,p,j,qとYi,pを用いた式(20)に示す正規方程式で表すことができる。
式(20)の正規方程式は、例えば、掃き出し法(Gauss-Jordanの消去法)などを用いることにより、係数種データβm,nについて解くことができる。
図31の画像変換装置151においては、多数の高画質画素y1,y2,・・・,yKを学習の教師となる教師データとするとともに、各高画質画素ykについての予測タップを構成する低画質画素x1,k,x2,k,・・・,xN,kを学習の生徒となる生徒データとして、クラスごとに式(20)の正規方程式をたてて解く学習を行うことにより求められたクラスごとの係数種データβm,nが、係数出力部155(図32)の係数種メモリ162に記憶されており、係数生成部161では、その係数種データβm,nと、パラメータメモリ163に記憶されたパラメータzから、式(9)にしたがって、クラスごとのタップ係数wnが生成される。そして、予測演算部116において、そのタップ係数wnと、高画質画素としての注目画素についての予測タップを構成する低画質画素(第1の画像データの画素)xnを用いて、式(1)が計算されることにより、高画質画素としての注目画素の画素値(に近い予測値)が求められる。
次に、図33は、式(20)の正規方程式をクラスごとにたてて解くことにより、クラスごとの係数種データβm,nを求める学習を行う学習装置171の構成例を示している。
なお、図中、図27の学習装置121における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。すなわち、学習装置171は、生徒データ生成部134と学習部136に代えて、生徒データ生成部174と学習部176がそれぞれ設けられているとともに、パラメータ生成部181が新たに設けられている他は、図27の学習装置121と同様に構成されている。
生徒データ生成部174は、図27の生徒データ生成部134と同様に、学習用画像データから生徒データを生成し、生徒データ記憶部135に供給して記憶させる。
但し、生徒データ生成部174には、学習用画像データの他、図32のパラメータメモリ163に供給されるパラメータzが取り得る範囲の幾つかの値が、パラメータ生成部181から供給されるようになっている。すなわち、いま、パラメータzが取り得る値が0乃至Zの範囲の実数であるとすると、生徒データ生成部174には、例えば、z=0,1,2,・・・,Zが、パラメータ生成部181から供給されるようになっている。
生徒データ生成部174は、学習用画像データとしての高画質画像データを、例えば、そこに供給されるパラメータzに対応するカットオフ周波数のLPFによってフィルタリングすることにより、生徒データとしての低画質画像データを生成する。
従って、生徒データ生成部174では、学習用画像データとしての高画質画像データについて、Z+1種類の、空間解像度の異なる生徒データとしての低画質画像データが生成される。
なお、ここでは、例えば、パラメータzの値が大きくなるほど、カットオフ周波数の高いLPFを用いて、高画質画像データをフィルタリングし、生徒データとしての低画質画像データを生成するものとする。従って、ここでは、値の大きいパラメータzに対応する低画質画像データほど、空間解像度が高い。
また、本実施の形態では、説明を簡単にするために、生徒データ生成部174において、高画質画像データの水平方向及び垂直方向の両方向の空間解像度を、パラメータzに対応する分だけ低下させた低画質画像データを生成するものとする。
学習部176は、教師データ記憶部133に記憶された教師データ、生徒データ記憶部135に記憶された生徒データ、及びパラメータ生成部181から供給されるパラメータzを用いて、クラスごとの係数種データを求めて出力する。
パラメータ生成部181は、パラメータzが取り得る範囲の幾つかの値としての、例えば、上述したようなz=0,1,2,・・・,Zを生成し、生徒データ生成部174と学習部176に供給する。
次に、図34は、図33の学習部176の構成例を示している。なお、図中、図28の学習部136における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
タップ選択部192は、図28のタップ選択部142と同様に、注目画素について、生徒データ記憶部135に記憶された生徒データとしての低画質画像データを構成する低画質画素から、図31のタップ選択部112が選択するのと同一のタップ構造の予測タップを選択し、足し込み部195に供給する。
タップ選択部193も、図28のタップ選択部143と同様に、注目画素について、生徒データ記憶部135に記憶された生徒データとしての低画質画像データを構成する低画質画素から、図31のタップ選択部113が選択するのと同一のタップ構造のクラスタップを選択し、クラス分類部144に供給する。
但し、図34では、タップ選択部192と193に、図33のパラメータ生成部181が生成するパラメータzが供給されるようになっており、タップ選択部192と193は、パラメータ生成部181から供給されるパラメータzに対応して生成された生徒データ(ここでは、パラメータzに対応するカットオフ周波数のLPFを用いて生成された生徒データとしての低画質画像データ)から、予測タップとクラスタップをそれぞれ選択する。
足し込み部195は、図33の教師データ記憶部133から、注目画素を読み出し、その注目画素、タップ選択部192から供給される注目画素について構成された予測タップを構成する生徒データ、及びその生徒データを生成したときのパラメータzを対象とした足し込みを、クラス分類部144から供給されるクラスごとに行う。
すなわち、足し込み部195には、教師データ記憶部133に記憶された注目画素としての教師データyk、タップ選択部192が出力する注目画素についての予測タップxi,k(xj,k)、及びクラス分類部144が出力する注目画素のクラスが供給されるとともに、注目画素についての予測タップを構成する生徒データを生成したときのパラメータzが、パラメータ生成部181から供給される。
そして、足し込み部195は、クラス分類部144から供給されるクラスごとに、予測タップ(生徒データ)xi,k(xj,k)とパラメータzを用い、式(20)の左辺の行列における、式(18)で定義されるコンポーネントXi,p,j,qを求めるための生徒データ及びパラメータzの乗算(xi,ktpxj,ktq)と、サメーション(Σ)に相当する演算を行う。なお、式(18)のtpは、式(10)にしたがって、パラメータzから計算される。式(18)のtqも同様である。
さらに、足し込み部195は、やはり、クラス分類部144から供給されるクラスコードに対応するクラスごとに、予測タップ(生徒データ)xi,k、教師データyk、及びパラメータzを用い、式(20)の右辺のベクトルにおける、式(19)で定義されるコンポーネントYi,pを求めるための生徒データxi,k、教師データyk、及びパラメータzの乗算(xi,ktpyk)と、サメーション(Σ)に相当する演算を行う。なお、式(19)のtpは、式(10)にしたがって、パラメータzから計算される。
すなわち、足し込み部195は、前回、注目画素とされた教師データについて求められた式(20)における左辺の行列のコンポーネントXi,p,j,qと、右辺のベクトルのコンポーネントYi,pを、その内蔵するメモリ(図示せず)に記憶しており、その行列のコンポーネントXi,p,j,q又はベクトルのコンポーネントYi,pに対して、新たに注目画素とされた教師データについて、その教師データyk、生徒データxi,k(xj,k)、及びパラメータzを用いて計算される、対応するコンポーネントxi,ktpxj,ktq又はxi,ktpykを足し込む(式(18)のコンポーネントXi,p,j,q又は式(19)のコンポーネントYi,pにおけるサメーションで表される加算を行う)。
そして、足し込み部195は、0,1,・・・,Zのすべての値のパラメータzにつき、教師データ記憶部133に記憶された教師データすべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、式(20)に示した正規方程式をたてると、その正規方程式を、係数種算出部196に供給する。
係数種算出部196は、足し込み部195から供給されるクラスごとの正規方程式を解くことにより、各クラスごとの係数種データβm,nを求めて出力する。
次に、図35のフローチャートを参照して、図33の学習装置171の処理(学習処理)について、説明する。
まず最初に、ステップS131において、教師データ生成部132と生徒データ生成部174が、学習用画像記憶部131に記憶された学習用画像データから、教師データと生徒データを、それぞれ生成して出力する。すなわち、教師データ生成部132は、学習用画像データを、例えば、そのまま、教師データとして出力する。また、生徒データ生成部174には、パラメータ生成部181が生成するZ+1個の値のパラメータzが供給される。生徒データ生成部174は、例えば、学習用画像データを、パラメータ生成部181からのZ+1個の値(0,1,・・・,Z)のパラメータzに対応するカットオフ周波数のLPFによってフィルタリングすることにより、各フレームの教師データ(学習用画像データ)について、Z+1フレームの生徒データを生成して出力する。
教師データ生成部132が出力する教師データは、教師データ記憶部133に供給されて記憶され、生徒データ生成部174が出力する生徒データは、生徒データ記憶部135に供給されて記憶される。
その後、ステップS132に進み、パラメータ生成部181は、パラメータzを、初期値としての、例えば0にセットし、学習部176(図34)のタップ選択部192及び193、並びに足し込み部195に供給して、ステップS133に進む。ステップS133では、注目画素選択部141は、教師データ記憶部133に記憶された教師データのうち、まだ、注目画素としていないものを、注目画素として、ステップS134に進む。
ステップS134では、タップ選択部192が、注目画素について、生徒データ記憶部135に記憶された、パラメータ生成部181が出力するパラメータzに対する生徒データ(注目画素となっている教師データに対応する学習用画像データを、パラメータzに対応するカットオフ周波数のLPFによってフィルタリングすることにより生成された生徒データ)から予測タップを選択し、足し込み部195に供給する。さらに、ステップS134では、タップ選択部193が、やはり、注目画素について、生徒データ記憶部135に記憶された、パラメータ生成部181が出力するパラメータzに対する生徒データからクラスタップを選択し、クラス分類部144に供給する。
そして、ステップS135に進み、クラス分類部144は、注目画素についてのクラスタップに基づき、注目画素のクラス分類を行い、その結果得られる注目画素のクラスを、足し込み部195に出力して、ステップS136に進む。
ステップS135では、足し込み部195は、教師データ記憶部133から注目画素を読み出し、その注目画素、タップ選択部192から供給される予測タップ、パラメータ生成部181が出力するパラメータzを用い、式(20)における左辺の行列のコンポーネントxi,Ktpxj,Ktqと、右辺のベクトルのコンポーネントxi,KtpyKを計算する。さらに、足し込み部195は、既に得られている行列のコンポーネントとベクトルのコンポーネントのうち、クラス分類部144からの注目画素のクラスに対応するものに対して、注目画素、予測タップ、及びパラメータzから求められた行列のコンポーネントxi,Ktpxj,Ktqとベクトルのコンポーネントxi,KtpyKを足し込み、ステップS137に進む。
ステップS137では、パラメータ生成部181が、自身が出力しているパラメータzが、その取り得る値の最大値であるZに等しいかどうかを判定する。ステップS136において、パラメータ生成部181が出力しているパラメータzが最大値Zに等しくない(最大値Z未満である)と判定された場合、ステップS138に進み、パラメータ生成部181は、パラメータzに1を加算し、その加算値を新たなパラメータzとして、学習部176(図34)のタップ選択部192及び193、並びに足し込み部195に出力する。そして、ステップS134に戻り、以下、同様の処理が繰り返される。
また、ステップS137において、パラメータzが最大値Zに等しいと判定された場合、ステップS139に進み、注目画素選択部141が、教師データ記憶部133に、まだ、注目画素としていない教師データが記憶されているかどうかを判定する。ステップS138において、注目画素としていない教師データが、まだ、教師データ記憶部133に記憶されていると判定された場合、ステップS132に戻り、以下、同様の処理が繰り返される。
また、ステップS139において、注目画素としていない教師データが、教師データ記憶部133に記憶されていないと判定された場合、足し込み部195は、いままでの処理によって得られたクラスごとの式(20)における左辺の行列と、右辺のベクトルを、係数種算出部196に供給し、ステップS140に進む。
ステップS140では、係数種算出部196は、足し込み部195から供給されるクラスごとの式(20)における左辺の行列と右辺のベクトルによって構成されるクラスごとの正規方程式を解くことにより、各クラスごとに、係数種データβm,nを求めて出力し、処理を終了する。
なお、学習用画像データの数が十分でないこと等に起因して、係数種データを求めるのに必要な数の正規方程式が得られないクラスが生じることがあり得るが、そのようなクラスについては、係数種算出部196は、例えば、デフォルトの係数種データを出力するようになっている。
なお、係数種データの学習においても、図29で説明したタップ係数の学習における場合と同様に、第1の画像データに対応する生徒データと、第2の画像データに対応する教師データとする画像データの選択の仕方によって、係数種データとしては、各種の画像変換処理を行うものを得ることができる。
すなわち、上述の場合には、学習用画像データを、そのまま第2の画像データに対応する教師データとするとともに、その学習用画像データの空間解像度を劣化させた低画質画像データを、第1の画像データに対応する生徒データとして、係数種データの学習を行うようにしたことから、係数種データとしては、第1の画像データを、その空間解像度を向上させた第2の画像データに変換する空間解像度創造処理としての画像変換処理を行うものを得ることができる。
この場合、図31の画像変換装置151では、画像データの水平解像度及び垂直解像度を、パラメータzに対応する解像度に向上させることができる。
また、例えば、高画質画像データを教師データとするとともに、その教師データとしての高画質画像データに対して、パラメータzに対応するレベルのノイズを重畳した画像データを生徒データとして、係数種データの学習を行うことにより、係数種データとしては、第1の画像データを、そこに含まれるノイズを除去(低減)した第2の画像データに変換するノイズ除去処理としての画像変換処理を行うものを得ることができる。この場合、図31の画像変換装置151では、パラメータzに対応するS/Nの画像データを得ることができる。
また、例えば、ある画像データを教師データとするとともに、その教師データとしての画像データの画素数を、パラメータzに対応して間引いた画像データを生徒データとして、又は、所定のサイズの画像データを生徒データとするとともに、その生徒データとしての画像データの画素をパラメータzに対応する間引き率で間引いた画像データを教師データとして、係数種データの学習を行うことにより、係数種データとしては、第1の画像データを、そのサイズを拡大又は縮小した第2の画像データに変換するリサイズ処理としての画像変換処理を行うものを得ることができる。この場合、図31の画像変換装置151では、パラメータzに対応するサイズ(画素数)に変更した画像データを得ることができる。
なお、上述の場合には、タップ係数wnを、式(9)に示したように、β1,nz0+β2,nz1+・・・+βM,nzM-1で定義し、この式(9)によって、水平及び垂直方向の空間解像度を、いずれも、パラメータzに対応して向上させるためのタップ係数wnを求めるようにしたが、タップ係数wnとしては、水平解像度と垂直解像度を、独立のパラメータzxとzyに対応して、それぞれ独立に向上させるものを求めるようにすることも可能である。
すなわち、タップ係数wnを、式(9)に代えて、例えば、3次式β1,nzx 0zy 0+β2,nzx 1zy 0+β3,nzx 2zy 0+β4,nzx 3zy 0+β5,nzx 0zy 1+β6,nzx 0zy 2+β7,nzx 0zy 3+β8,nzx 1zy 1+β9,nzx 2zy 1+β10,nzx 1zy 2で定義するとともに、式(10)で定義した変数tmを、式(10)に代えて、例えば、t1=zx 0zy 0,t2=zx 1zy 0,t3=zx 2zy 0,t4=zx 3zy 0,t5=zx 0zy 1,t6=zx 0zy 2,t7=zx 0zy 3,t8=zx 1zy 1,t9=zx 2zy 1,t10=zx 1zy 2で定義する。この場合も、タップ係数wnは、最終的には、式(11)で表すことができ、従って、図33の学習装置171や、パラメータzxとzyに対応して、教師データの水平解像度と垂直解像度をそれぞれ劣化させた画像データを、生徒データとして用いて学習を行って、係数種データβm,nを求めることにより、水平解像度と垂直解像度を、独立のパラメータzxとzyに対応して、それぞれ独立に向上させるタップ係数wnを求めることができる。
その他、例えば、水平解像度と垂直解像度それぞれに対応するパラメータzxとzyに加えて、さらに、時間方向の解像度に対応するパラメータztを導入することにより、水平解像度、垂直解像度、時間解像度を、独立のパラメータzx,zy,ztに対応して、それぞれ独立に向上させるタップ係数wnを求めることが可能となる。
また、リサイズ処理についても、空間解像度創造処理における場合と同様に、水平及び垂直方向を、いずれもパラメータzに対応する拡大率(又は縮小率)でリサイズするタップ係数wnの他、水平と垂直方向を、それぞれパラメータzxとzyに対応する拡大率で、独立にリサイズするタップ係数wnを求めることが可能である。
さらに、図33の学習装置171において、パラメータzxに対応して教師データの水平解像度及び垂直解像度を劣化させるとともに、パラメータzyに対応して教師データにノイズを付加した画像データを、生徒データとして用いて学習を行って、係数種データβm,nを求めることにより、パラメータzxに対応して水平解像度及び垂直解像度を向上させるとともに、パラメータzyに対応してノイズ除去を行うタップ係数wnを求めることができる。
上述した画像変換処理は、以上のようなクラス分類適応処理を利用して行うことができる。
すなわち、例えば、図4の画像変換部311において、チェック画像データを、サイズ(画素数)がm倍のm倍拡大画像データに変換する画像変換処理を、クラス分類適応処理を利用して行う場合には、図33の学習装置171において、横と縦の画素数それぞれが、チェック画像データのm1倍、m2倍、・・・の画像データを、m倍拡大画像データに対応する教師データとするとともに、その教師データとしての画像データの画素数を、パラメータzに対応して1/m1,1/m2,・・・に間引いた、チェック画像データと同一の画素数の画像データを、チェック画像データに対応する生徒データとして、係数種データの学習を行う。
そして、画像変換部311を、図31の画像変換装置151によって構成し、学習によって求めた係数種データを、画像変換部311としての画像変換装置151(図31)の係数出力部155を構成する係数種メモリ162(図32)に記憶させておく。
この場合、画像変換部311としての画像変換装置151に対し、パラメータzとして、拡大率mに対応する値を与えることによって、画像変換部311としての画像変換装置151において、チェック画像データを、画素数がm倍のm倍拡大画像データに変換する画像変換処理を、クラス分類適応処理によって行うことができる。
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
そこで、図36は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク205やROM203に予め記録しておくことができる。
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory),MO(Magneto Optical)ディスク,DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体211に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体211は、いわゆるパッケージソフトウエアとして提供することができる。
なお、プログラムは、上述したようなリムーバブル記録媒体211からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部208で受信し、内蔵するハードディスク205にインストールすることができる。
コンピュータは、CPU(Central Processing Unit)202を内蔵している。CPU202には、バス201を介して、入出力インタフェース210が接続されており、CPU202は、入出力インタフェース210を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部207が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)203に格納されているプログラムを実行する。あるいは、また、CPU202は、ハードディスク205に格納されているプログラム、衛星若しくはネットワークから転送され、通信部208で受信されてハードディスク205にインストールされたプログラム、またはドライブ209に装着されたリムーバブル記録媒体211から読み出されてハードディスク205にインストールされたプログラムを、RAM(Random Access Memory)204にロードして実行する。これにより、CPU202は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU202は、その処理結果を、必要に応じて、例えば、入出力インタフェース210を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部206から出力、あるいは、通信部208から送信、さらには、ハードディスク205に記録等させる。
なお、例えば、本実施の形態では、表示装置2において、チェック画像の他に、3つの画像を同時に表示するようにしたが、チェック画像と同時に表示する画像は、1,2、又は4以上であっても良い。
すなわち、図2では、表示装置2の画面を、横と縦にそれぞれ等分する4つの表示領域#0ないし#3に分割し、その表示領域#0ないし#3のそれぞれに、画像を表示するようにしたが、表示装置2の画面は、その他、例えば、2,8,16その他の数の複数の表示領域に分割して、各表示領域に、画像を表示することができる。
さらに、表示領域の配置は、図2に示したように、マトリクス状の配置に限定されるものではなく、表示領域は、表示装置2の画面上の任意の位置に配置することができる。
また、図1では、表示装置2を、LCDとしたが、表示装置としては、その他、例えば、CRTや、PDP、有機EL、プロジェクタ(スクリーンの正面から光を照射するフロントプロジェクタ、及び、スクリーンの背面から光を照射するリアプロジェクタの両方を含む)、FED等を採用することができる。
さらに、図7及び図8では、信号処理部12が、有機EL,PDP、及びCRTに表示される画像に相当する画像を、LCDである表示装置2で表示するための処理後画像データそれぞれを生成する信号処理を行い、表示装置2で表示するようにしたが、信号処理部12では、その他、例えば、FEDや、フロントプロジェクタ、リアプロジェクタ等に表示される画像に相当する画像を、LCDである表示装置2で表示するための処理後画像データを生成する信号処理を行い、表示装置2で表示することが可能である。
[ABL(Automatic Beam current Limiter)処理、VM(Velocity Modulation)処理、及びCRT(Cathode Ray Tube)用γ処理を含むFPD(Flat Panel Display)用信号処理を行うことにより、FPDの表示装置であるFPD表示装置において、CRTの表示装置であるCRT表示装置と同等の自然な表示を行う実施の形態]
次に、FPD表示装置において、CRT表示装置と同等の自然な表示を行う実施の形態について説明する。
図37は、従来の、例えば、LCD(Liquid Crystal Display)等のFPDの表示装置(FPD表示装置)の一例の構成を示している。
明るさ調整コントラスト調整部10011は、入力された画像信号にオフセットを掛けることで、画像信号の明るさ調整をし、ゲインを調整することで、画像信号のコントラスト調整をして、高画質化処理部10012に供給する。
高画質化処理部10012は、DRC(Digital Reality Creation)を代表とする高画質化処理を行う。すなわち、高画質化処理部10012は、高画質画像を得るための処理ブロックで、明るさ調整コントラスト調整部10011からの画像信号に対して、画素数変換などを含む画像信号処理を行って、γ補正部10013に供給する。
ここで、DRCについては、例えば、特開2005-236634号公報や特開2002-223167号公報等に、クラス分類適応処理として記載されている。
γ補正部10013は、CRT表示装置において暗部が見えにくいなどの理由で本来の蛍光体(CRTの発光部)が持つγ特性に加えて信号処理により暗部の信号レベルを調整するガンマ補正処理を行う処理ブロックである。
ここで、LCDにおいてもLCDパネル内部に液晶の光電変換特性(透過特性)をCRTのγ特性に合わせる処理回路が入っているため、従来のFPD表示装置では、CRT表示装置と同様にγ補正処理を行っている。
γ補正部10013は、高画質化処理部10012からの画像信号に対してガンマ補正処理を施し、その結果得られる画像信号を、図示せぬFPDとしての、例えば、LCDに供給する。これにより、LCDでは、画像が表示される。
以上のように、従来のFPD表示装置では、画像信号はコントラストや明るさ調整の処理が行われた後、高画質化処理、ガンマ補正処理を経てFPDに直接入力されている。
このため、FPD表示装置では、入力と表示画像の明るさはガンマに従った比例関係になるが、表示画像は、CRT表示装置と比べ、明るすぎたりやギラツキが感じられる画像になってしまう。
そこで、暗い部分の階調表現能力がCRTに比べてパネルの特性が落ちるディスプレイ装置において、別のABL回路を使用せずに、適応的に階調表現力を改善する方法が、例えば、特開2005-39817号公報に記載されている。
ところで、上述のように、FPD表示装置で表示される画像が、CRT表示装置と比べ、明るすぎたりやギラツキが感じられる画像になってしまうのは、従来のCRT表示装置に搭載していた画像信号だけを対象とした処理を行う画像信号処理系のみをFPD向けに修正して、FPD表示装置に搭載したためで、CRT表示装置が画像信号処理系だけでなく、駆動系そのものの持つ特有の応答特性と駆動系を含めた総合的な信号処理による表示装置というシステム構造が考慮されていないことに原因がある。
そこで、以下では、CRT表示装置以外の表示方式の、例えば、FPD表示装置で画像信号を表示したときに、CRT表示装置で表示された画像に見えるような、CRT表示装置と同等の自然な表示を行うことができるようにする実施の形態について説明する。
図38は、CRT表示装置と同等の自然な表示を行うことができるFPD表示装置が有する画像信号処理装置の一実施の形態の構成例を示している。
図38の画像信号処理装置は、CRT以外の表示方式の表示装置、すなわち、ここでは、例えば、LCD等のFPDを有するFPD表示装置で画像信号を表示したときに、CRT表示装置で表示された画像に見えるように画像信号を処理する。
ここで、図38の画像信号処理装置について説明する前に、図38の画像信号処理装置で表示しようとしている画像を表示するCRT表示装置、すなわち、図38の画像信号処理装置がエミュレート(シミュレート)するCRT表示装置について説明する。
図39は、CRT表示装置の構成例を示している。
CRT表示装置では、明るさ調整コントラスト調整部10051と、高画質化処理部10052において、画像信号に対して、図37の明るさ調整コントラスト調整部10011と、高画質化処理部10012のそれぞれと同様の処理が施され、その処理後の画像信号が、ゲイン調整部10053、及び画像信号微分回路10060に供給される。
ゲイン調整部(リミッタ)10053は、後述するABL制御部10059からのABL制御信号により、高画質化処理部10052からの画像信号の信号レベルを制限し、γ補正部10054に供給する。すなわち、ゲイン調整部10053は、後述するCRT10056の電子ビームの電流量を直接制限する代わりに、高画質化処理部10052から画像信号のゲインを調整する。
γ補正部10054は、ゲイン調整部10053からの画像信号に対して、図37のγ補正部10013と同様のγ補正処理を施し、その結果得られる画像信号を、ビデオ(Video)増幅器10055に供給する。
ビデオ増幅器10055は、γ補正部10054からの画像信号を増幅し、CRT駆動画像信号として、CRT10056に供給する。
一方、FBT(Flyback Transformer)10057は、CRT表示装置において、電子ビームの水平走査を行うための水平偏向駆動電流、及びCRT(ブラウン管)10056のアノード電圧を発生するためのトランスで、その出力は、ビーム電流検出部10058に供給される。
ビーム電流検出部10058は、FBT10057の出力から、ABL制御に必要な電子ビームの電流量を検出し、CRT10056、及びABL制御部10059に供給する。
ABL制御部10059は、ビーム電流検出部10058からの電子ビームの電流値を計測し、画像信号の信号レベルを制御するABL制御のためのABL制御信号を、ゲイン調整部10053に出力する。
一方、画像信号微分回路10060は、高画質化処理部10052からの画像信号を微分し、その結果得られる画像信号の微分値を、VM駆動回路10061に供給する。
VM(Velocity Modulation)(速度変調)駆動回路10061は、CRT表示装置において、電子ビームの偏向(水平偏向)速度を部分的に変えることで同一画像信号でも表示輝度を変えるVM処理を行う。CRT表示装置において、VM処理は、主たる水平偏向回路(偏向ヨークDY、FBT10057、水平駆動回路(図示せず)等により構成される)とは別に、専用のVMコイル(図示せず)とVM駆動回路10061を用いて実現される。
すなわち、VM駆動回路10061は、画像信号微分回路10060からの画像信号の微分値に基づき、VMコイルを駆動するVMコイル駆動信号を生成し、CRT10056に供給する。
CRT10056は、電子銃EGや、偏向ヨークDY等で構成される。CRT10056では、電子銃EGが、ビーム電流検出部10058の出力や、ビデオ増幅器10055からのCRT駆動画像信号にしたがって電子ビームを放射し、その電子ビームが、コイルである偏向ヨークDYが発生する磁界に応じて水平と垂直の方向を変えて(走査され)、CRT10056の蛍光面に衝突することにより、画像が表示される。
また、CRT10056では、VM駆動回路10061からのVMコイル駆動信号に応じて、VMコイルが駆動され、これにより、電子ビームの偏向速度が部分的に変更され、これにより、例えば、CRT10056に表示される画像のエッジの強調等がされる。
図39からわかるように、CRT表示装置では、偏向速度を部分的に変えるVM処理、及び電子ビームの電流量を制限するABL処理(ABL制御)が画像信号が処理されるパス以外で行われ、CRT10056に表示される画像の画質に影響を与える制御信号を作っている。
これらのVM処理、及びABL処理による影響が現れた画像をFPDで表示するには、FPDは、CRTと駆動方法が全く異なるため、画像信号が処理されるパス上で、VM処理、及びABL処理に相当する処理を行う形をとる必要がある。
そこで、図38の画像信号処理装置においては、図38に示すような処理順で画像信号を変換することにより、FPDの駆動方法に適応し、かつ、CRT表示装置と同様の自然な表示を行うことを可能とする。
すなわち、図38の画像信号処理装置において、明るさ調整コントラスト調整部10031と、高画質化処理部10032では、画像信号に対して、図37の明るさ調整コントラスト調整部10011と、高画質化処理部10012のそれぞれと同様の処理が施され、ABL処理部10033、全画面明るさ平均レベル検出部10036、及びピーク検出微分制御値検出部10037に供給される。
ABL処理部10033は、LCDにおいてCRTと同様の明るさ特性を得るために、画像が一定以上の明るさ(輝度とその面積)になる場合に、高画質化処理部10032からの画像信号のレベルを、ABL制御部10038からの制御に従って制限するABLエミュレート処理を行う。
ここで、図38におけるABLエミュレート処理は、図39におけるABL処理をエミュレーションする処理である。
すなわち、CRT表示装置で行われるABL処理は、CRTにおいて、電子ビーム(電流)が過大とならないよう一定以上の明るさ(輝度とその面積)になった場合に電流を制限する処理であるが、ABL処理部10033は、図39におけるABL処理のエミュレーションを行う。
図38では、ABL処理部10033は、CRTにおいて電子ビームの電流を制限することにより、大面積で明るい画像を表示させようとした場合に実際の表示輝度を低く抑える処理(ABLエミュレート処理)を、画像信号の信号レベルを制限する処理として非線形演算処理により行う。
すなわち、図38において、全画面明るさ平均レベル検出部10036は、高画質化処理部10032からの画像信号に基づき、画面の明るさや平均レベルを検出し、ピーク検出微分制御値検出部10037、及びABL制御部10038に供給する。ABL制御部10038は、全画面明るさ平均レベル検出部10036からの画面の明るさや平均レベルの検出結果より画面の明るさとその面積を検出し、それによって画面上の明るさを制限するための制御信号を生成して、ABL処理部10033に供給する。ABL処理部10033は、ABL制御部10038からの制御信号を元に高画質化処理部10032からの画像信号に対し上記非線形演算を行うことでABL処理を実現(エミュレート)する。
ABL処理部10033でABL処理が施された画像信号は、VM処理部10034に供給される。
VM処理部10034は、図39のCRT表示装置におけるVM処理と同等の処理を画像信号に対して行うための処理ブロックで、図39のCRT表示装置で行われるVM処理のエミュレーションを行う。
すなわち、図38において、ピーク検出微分制御値検出部10037は、高画質化処理部10032からの画像信号から、画像信号の部分的なピーク信号や、画像信号の微分により得られるエッジ信号を求めて、全画面明るさ平均レベル検出部10036からの画面の明るさや平均レベルとともに、VM制御部10039に供給する。VM制御部10039は、ピーク検出微分制御値検出部10037からの、画像信号の部分的なピーク信号や画像信号の微分により得られるエッジ信号、画面の明るさなどを元に、部分的に画像信号のレベルを変化させる、CRT表示装置におけるVMコイル駆動信号に相当するVM制御信号を生成し、VM処理部10034に供給する。
VM処理部10034は、VM制御部10039により生成されたVM制御信号により、部分的に、ABL処理部10033からの画像信号のレベルを変化させる処理、すなわち、画像信号の部分的な補正、画像信号のエッジ部やピークの強調などの処理を行う。
ここで、図39のCRT表示装置では、CRT10056において信号の立ち上がり時に輝度変化が不足するのを補うために、VM処理が行われるが、画像信号そのものに補正を掛けるのではなく、偏向ヨークDYにあるVMコイルを用い、CRT10056特有の水平偏向の偏向速度(時間)を変化させることで結果として輝度を変化させている。
VM処理部10034は、CRT表示装置で行われるVM処理によって生じる輝度変化分に相当する補正値を演算して、その補正値によって画像信号を補正する演算処理を行うことで、CRT表示装置で行われるVM処理のエミュレーションをする。
CRTγ処理部10035は、LCDにおいて、従来のLCDパネルがパネル内部に持っていたCRTと同等のγ特性を得るための処理回路(変換回路)で行われていた処理を含むγ補正処理、及び色温度補償処理を行うため、各色信号(コンポーネント信号)のレベルを調整する処理を行う。
ここで、図38におけるCRTγ処理部10035は、同一LCD画面上でCRTの特性だけでなくPDPやLEDディスプレイなど複数の表示特性を表現する際に必要となる電気光変換特性の補正を行う部分で、本実施の形態ではLCDの入力電圧−透過率特性をCRTの電気−輝度特性に合わせるために必要な処理を行う。
すなわち、図38において、表示色温度補償制御部10040は、LCDの表示画面を複数の表示エリア(例えば、図2の表示領域#0ないし#3)に区分して、各表示エリアに、複数の異なる表示特性を持った表示デバイスで表示されるであろう画像と同様の画質の画像を提示するシステム(例えば、図1のモニタシステム)において、CRTで表示されるであろう画像と同様の画質の画像を表示させる表示エリアの表示色温度をCRT用の色温度として表示させるための制御信号を、各色信号(コンポーネント信号)のバランスを調整する制御を行うために生成し、CRTγ処理部10035に供給する。そして、CRTγ処理部10035では、表示色温度補償制御部10040からの制御信号に従い、VM処理部10034からの画像信号の各色信号のバランスを調整する処理も行う。
CRT、LCD、PDPではホワイトバランスや色温度、およびその対輝度変化がそれぞれ異なるため、図38の表示色温度補償制御部10040が必要になる。
CRTγ処理部10035が表示色温度補償制御部10040からの制御信号に従って行う処理には従来LCDなどフラットパネルの内部で処理されていた、各パネルの階調特性をCRTと同等になるように変換していた処理回路が行う処理を含み、表示パネルによる特性の違いを吸収する処理を行う。
そして、CRTγ処理部10035は、VM処理部10034からの画像信号に対して、以上の処理を施した後、その処理後の画像信号を、図示せぬFPDとしてのLCDに供給して表示させる。
以上のように、図38の画像信号処理装置では、CRT表示装置において行われていた処理を画像信号処理に置き換えるだけではなく、処理手順(ABL処理部10033の処理後に、VM処理部10034の処理を行い、VM処理部10034の処理後に、CRTγ処理部10035の処理を行うという処理手順)も考慮することで、より正しくLCDの表示を、CRT表示装置で表示される画像の画質に近づけることを可能にする。したがって、図38の画像信号処理装置によれば、LCDにCRTと同等な表示特性にて画像を出力することが可能になる。
さらに、図38の画像信号処理装置によれば、CRTそのものの特性違いによる表示特性をエミュレートすることが可能になり、色合いや質感の違いを同一LCDにて切り替えることが可能になる。例えば、EBU蛍光体と一般蛍光体の発色の違いを同一画面上で比べることで送出時の色調整や画質調整を正確に行う、などを容易に行うことが可能になる。
また、図38の画像信号処理装置によれば、同様に、LCDとCRTの表示特性による違いを容易に確認することが可能である。
さらに、図38の画像信号処理装置によれば、本来の意味での「好みの画質」で画像を表示することが可能になる。
また、図38の画像信号処理装置によれば、処理の範囲を表示画面内で変える事により特性の異なる表示デバイス(例えば、蛍光体の異なるCRT、LCDとCRT、など)で表示される画像を同時に見ることが可能になるため、比較や調整といった用途での利用を容易にすることができる。
次に、図40のフローチャートを参照して、図38の画像信号処理装置による画像信号に対する処理の流れについて説明する。
明るさ調整コントラスト調整部10031に、画像信号が供給されると、ステップS10011において、明るさ調整コントラスト調整部10031は、そこに供給される画像信号の明るさ調整をし、さらに、コントラスト調整をして、高画質化処理部10032に供給して、処理は、ステップS10012に進む。
ステップS10012では、高画質化処理部10032が、明るさ調整コントラスト調整部10011からの画像信号に対して、画素数変換などを含む画像信号処理を行って、その画像信号処理後の画像信号を、ABL処理部10033、全画面明るさ平均レベル検出部10036、及びピーク検出微分制御値検出部10037に供給して、処理は、ステップS10013に進む。
ここで、全画面明るさ平均レベル検出部10036は、高画質化処理部10032からの画像信号に基づき、画面の明るさや平均レベルを検出し、ピーク検出微分制御値検出部10037、及びABL制御部10038に供給する。ABL制御部10038は、全画面明るさ平均レベル検出部10036からの画面の明るさや平均レベルの検出結果に基づき、画面上の明るさを制限するための制御信号を生成して、ABL処理部10033に供給する。
また、ピーク検出微分制御値検出部10037は、高画質化処理部10032からの画像信号から、画像信号の部分的なピーク信号や、画像信号の微分により得られるエッジ信号を求めて、全画面明るさ平均レベル検出部10036からの画面の明るさや平均レベルとともに、VM制御部10039に供給する。VM制御部10039は、ピーク検出微分制御値検出部10037からの、画像信号の部分的なピーク信号や画像信号の微分により得られるエッジ信号、画面の明るさなどを元に、CRT表示装置におけるVMコイル駆動信号に相当するVM制御信号を生成し、VM処理部10034に供給する。
ステップS10033では、ABL処理部10033が、高画質化処理部10032からの画像信号に対してABL処理をエミュレートする処理を適用する。
すなわち、ABL処理部10033は、ABL制御部10038からの制御に従って、高画質化処理部10032からの画像信号のレベルを制限する等のABL処理をエミュレートする処理(ABLエミュレート処理)を行い、その結果得られる画像信号を、VM処理部10034に供給する。
そして、処理は、ステップS10013からステップS10014に進み、VM処理部10034は、ABL処理部10033からの画像信号に対してVM処理をエミュレートする処理を適用する。
すなわち、VM処理部10034は、ステップS10014において、VM制御部10039から供給されるVM制御信号に従って、ABL処理部10033からの画像信号の輝度を補正する等のVM処理をエミュレートする処理(VMエミュレート処理)を行い、その結果得られる画像信号を、CRTγ処理部10035に供給して、処理は、ステップS10015に進む。
ステップS10015では、CRTγ処理部10035は、VM処理部10034からの画像信号に対してγ補正処理を施し、さらに、表示色温度補償制御部10040からの制御信号に従い、VM処理部10034からの画像信号の各色信号のバランスを調整する色温度補償処理を行う。そして、CRTγ処理部10035は、色温度補償処理の結果得られる画像信号を、図示せぬFPDとしてのLCDに供給して表示させる。
次に、図41は、図38のVM処理部10034の構成例を示すブロック図である。
図41において、VM処理部10034は、輝度補正部10210及びEB処理部10220から構成される。
輝度補正部10210は、ABL処理部10033(図38)から供給される画像信号を対象として、CRT表示装置の電子ビームの水平偏向の偏向速度の変化が輝度に影響する影響分の補正を行う輝度補正処理を行い、その結果得られる画像信号を、EB処理部10220に供給する。
すなわち、輝度補正部10210は、VM係数発生部10211及び演算部10212から構成される。
VM係数発生部10211には、VM制御部10039(図38)から、VM制御信号が供給される。VM係数発生部10211は、VM制御部10039からのVM制御信号に従い、VM係数を発生し、演算部10212に供給する。
演算部10212には、VM係数発生部10211からのVM係数が供給される他、ABL処理部10033(図38)からの画像信号が供給される。
演算部10212は、ABL処理部10033(図38)からの画像信号に、VM係数発生部10211からのVM係数を乗算することで、その画像信号について、CRT表示装置の電子ビームの水平偏向の偏向速度の変化が輝度に影響する影響分の補正を行い、その補正後の画像信号を、EB処理部10220に供給する。
EB処理部10220は、輝度補正部10210からの画像信号(ABL処理部10033で処理され、さらに、輝度補正部10210で処理された画像信号)を対象として、CRT表示装置の電子ビームが広がってCRT表示装置の蛍光体に衝突することをエミュレートする処理(EB(Erectron Beam)エミュレート処理)を施し、CRTγ処理部10035(図38)に供給する。
以上のように、VM処理部10034で行われるVMエミュレート処理は、輝度補正部10210で行われる輝度補正処理と、EB処理部10220で行われるEBエミュレート処理とからなる。
図42は、図41のVM係数発生部10211で発生するVM係数の例を示している。
VM係数は、CRT表示装置において、水平偏向(水平方向の偏向)の偏向速度を、VMコイル駆動信号により、注目画素(ここでは、VM処理により輝度を強調する補正をする画素)の位置で遅くすることによって、等価的に、注目画素の輝度を増すVM処理をエミュレーションするために、注目画素を中心として水平方向に並ぶ複数の画素を、輝度の補正対象として、その輝度の補正対象の画素の画素値(輝度)に乗算される係数である。
VM係数発生部10211では、図42に示すように、輝度の補正対象の画素のうちの、注目画素の画素値に乗算されるVM係数は、1以上の値とされ、他の画素に乗算されるVM係数は、演算部10212でのゲインが1となるように、1以下の値とされる。
図43は、図41のVM係数発生部10211で発生されるVM係数を求める方法を示している。
すなわち、図43Aは、CRT表示装置の偏向ヨークDY(図39)に印加される電圧(偏向電圧)の波形を示している。
偏向ヨークDY(図39)に対しては、図43Aに示すように、時間tの経過に対して、一定の傾きで変化する偏向電圧が、水平走査の周期で繰り返し印加される。
図43Bは、CRT表示装置のVM駆動回路10061(図39)で生成されるVMコイル駆動信号を示している。
CRT表示装置では、偏向ヨークDY(図39)にあるVMコイルが、図43BのVMコイル駆動信号によって駆動され、そのVMコイルが発生する磁界によって、電子ビームの偏向速度が、図43Cに示すように、部分的に変更される。
すなわち、図43Cは、図43BのVMコイル駆動信号によってVMコイルが磁界を発生する場合の、電子ビームの水平方向の位置の時間変化を示している。
電子ビームの水平方向の位置の時間変化(図43Cのグラフの傾き)、つまり、電子ビームの水平偏向の偏向速度は、VMコイルが磁界を発生することによって、その磁界が発生している区間等において一定ではなくなる(変化する)。
図43Dは、図43Aの偏向電圧による電子ビームの水平方向の位置の時間変化から、図43Cの電子ビームの水平方向の位置の時間変化を減算した減算値の微分値を示している。
図43Aの偏向電圧のみによって、電子ビームの水平偏向が行われる場合を基準とすると、VMコイル駆動信号によってVMコイルが磁界を発生する場合には、CRT表示装置のCRT10056(図39)の蛍光体に衝突する電子ビームの強度(量)、つまり、CRT10056に表示される画像の輝度(明るさ)は、図43Dに示すように変化する。
VM係数発生部10211(図41)は、図43Dの微分値に相当する値を、VM係数として発生する。
なお、VM係数の具体的な値や、VM係数との乗算をする画素の範囲(注目画素を中心として水平方向に並ぶ幾つの画素の画素値を、VM係数と乗算するか)、注目画素とする画素の画素値(レベル)等は、図38の画像信号処理装置が表示をエミュレートするCRT表示装置の仕様等に応じて決定される。
次に、図41のEB処理部10220で行われるEBエミュレート処理について説明する。
EBエミュレート処理では、上述したように、CRT表示装置の電子ビームが広がってCRT表示装置のCRT10056(図39)の蛍光体に衝突することをエミュレートする処理が行われる。
すなわち、いま、電子ビームを照射しようとする蛍光体に対応する画素(サブピクセル)を、注目画素とすると、電子ビームの強度が大である場合に、その電子ビームのスポットの形状が大となって、注目画素に対応する蛍光体だけでなく、その周辺の画素に対応する蛍光体にも衝突し、その周辺の画素の画素値に影響を与える。EBエミュレート処理では、その影響をエミュレートする処理が行われる。
図44は、電子ビームを照射する電子銃に与えられる電流(ビーム電流)と、そのビーム電流に対応して照射される電子ビームが、CRTの表示画面上に形成するスポットの径(スポットサイズ)との関係を示している。
なお、図44では、2種類のCRTについての、ビーム電流とスポットサイズとの関係が示されている。
ビーム電流とスポットサイズとの関係は、CRTの種類や最大輝度の設定などによって差があるものの、スポットサイズは、ビーム電流が大であるほど大となる。つまり、輝度が大であると、スポットサイズも大になる。
このようなビーム電流とスポットサイズとの関係は、例えば、特開2004- 39300号公報等に記載されている。
CRTの表示画面には、赤、緑、及び青の3色の蛍光体(蛍光物質)が塗布されており、その赤、緑、及び青の蛍光体に、赤、緑、及び青(用)の電子ビームが衝突することで、赤、緑、及び青の光が、それぞれ放出され、これにより、画像が表示される。
また、CRTには、赤、緑、及び青の3色の蛍光体に、赤、緑、及び青の電子ビームが照射されるように、電子ビームが通過する開口部が設けられた色選別機構が、表示画面に設けられている。
図45は、色選別機構を示している。
すなわち、図45Aは、色選別機構の1つであるシャドウマスクを示している。
シャドウマスクには、円形状の開口部としてのホールが設けられており、このホールを通過した電子ビームが蛍光体に照射される。
なお、図45Aにおいて、模様を付していない丸印は、赤の蛍光体に電子ビームを照射するためのホールを、斜線を付した丸印は、緑の蛍光体に電子ビームを照射するためのホールを、黒塗りの丸印は、青の蛍光体に電子ビームを照射するためのホールを、それぞれ示している。
図45Bは、色選別機構の他の1つであるアパーチャーグリルを示している。
アパーチャーグリルには、垂直方向に延びる開口部としてのスリットが設けられており、このスリットを通過した電子ビームが蛍光体に照射される。
なお、図45Bにおいて、模様を付していない方形は、赤の蛍光体に電子ビームを照射するためのスリットを、斜線を付した方形は、緑の蛍光体に電子ビームを照射するためのスリットを、黒塗りの方形は、青の蛍光体に電子ビームを照射するためのスリットを、それぞれ示している。
図44で説明したように、電子ビームのスポットサイズは、輝度が大であるほど大になる。
図46は、輝度が中程度である場合に、色選別機構上に形成される電子ビームのスポットを、図47は、輝度が大である場合に、色選別機構上に形成される電子ビームのスポットを、それぞれ模式的に示している。
なお、図46A及び図47Aは、色選別機構がシャドウマスクである場合に、そのシャドウマスク上に形成される電子ビームのスポットを示しており、図46B及び図47Bは、色選別機構がアパーチャーグリルである場合に、そのアパーチャーグリル上に形成される電子ビームのスポットを示している。
輝度が大であるほど、電子ビーム(のスポット)の中心部分の強度が大となり、それに引きずられる形で、電子ビームの周辺部分の強度も大となって、色選別機構上に形成される電子ビームのスポットのスポットサイズが大となる。その結果、電子ビームが、注目画素(電子ビームを照射しようとする蛍光体に対応する画素)に対応する蛍光体だけでなく、注目画素の周囲の画素に対応する蛍光体にも照射される。
図48は、色選別機構としてアパーチャーグリルが採用されている場合の、電子ビームが照射される様子を示す断面図である。
すなわち、図48Aは、ビーム電流が第1の電流値である場合の電子ビームが照射される様子を示しており、図48Bは、ビーム電流が第1の電流値より大の第2の電流値である場合の電子ビームが照射される様子を示している。
図48では、緑の蛍光体に対応する画素が注目画素となっており、ビーム電流が第1の電流値である場合の電子ビームは、図48Aに示すように、そのスポットサイズが、隣接するスリットどうしの間の範囲に収まっており、注目画素に対応する蛍光体にのみ照射され、かつ、それ以外の蛍光体に照射されないように遮断される。
一方、ビーム電流が第2の電流値である場合の電子ビームは、図48Bに示すように、そのスポットサイズが、隣接するスリットどうしの間の範囲に収まらず、注目画素に対応する蛍光体だけでなく、他の蛍光体にも照射される。
すなわち、ビーム電流が第2の電流値である場合の電子ビームのスポットサイズは、注目画素に対応する蛍光体のスリットの他、他のスリットをも含む大きさとなり、その結果、電子ビームが、他のスリットを通過し、注目画素に対応する蛍光体以外の蛍光体にも照射される。
なお、図48Bに示したように、電子ビームが、注目画素に対応する蛍光体のスリット以外のスリットをも通過する場合のビーム電流は、電子ビームのスポットサイズと、アパーチャーグリルのスリットのスリット幅との関係で決まる。
EBエミュレート処理では、以上のように、電子ビームが、注目画素に対応する蛍光体だけでなく、他の蛍光体にも照射されることで、画像が受ける影響が、画像信号に反映される。
ここで、図49は、2次元正規分布(ガウス分布)で近似した電子ビームの強度の分布を示している。
図50は、図49の電子ビームのうちの、アパーチャーグリルのスリットを通過する電子ビームの強度の分布を示している。
すなわち、図50Aは、注目画素に対応する蛍光体のスリットを通過する電子ビームと、そのスリットの左右に隣接するスリットを通過する電子ビームとの強度の分布を示している。
電子ビームの大部分は、注目画素に対応する蛍光体のスリットを通過するが、電子ビームの残りの一部が、注目画素に対応する蛍光体のスリットの左に隣接する左スリットと、右に隣接する右スリットとを通過し、その通過した電子ビームによって、左スリットの蛍光体に対応する画素と、右スリットの蛍光体に対応する画素との表示が影響を受ける。
なお、図50Bは、図50Aに示した電子ビームの強度の分布のうちの、注目画素に対応する蛍光体のスリットを通過する電子ビームの強度の分布を示しており、図50Cは、左スリット及び右スリットを通過する電子ビームの強度の分布を示している。
図51は、図49の場合よりも強度が大の電子ビームの強度の分布と、その電子ビームのうちの、アパーチャーグリルのスリットを通過する電子ビームの強度の分布とを示している。
すなわち、図51Aは、図49の場合よりも強度が大の電子ビームの強度の分布を示している。
図51Aの電子ビームは、図49の電子ビームよりもスポットサイズ(強度が所定値以上の範囲)が大となっている。
図51Bは、図51Aの電子ビームのうちの、アパーチャーグリルのスリットを通過する電子ビームの強度の分布を示している。
図51Bでは、図50の場合に比較して、左スリット及び右スリットを通過する電子ビームの強度が大になっており、したがって、左スリットの蛍光体に対応する画素と、右スリットの蛍光体に対応する画素との表示には、より大きな影響がでる。
なお、図51Cは、図51Bに示した電子ビームの強度の分布のうちの、注目画素に対応する蛍光体のスリットを通過する電子ビームの強度の分布を示しており、図51Dは、左スリット及び右スリットを通過する電子ビームの強度の分布を示している。
図52は、図49に示した電子ビームの強度の分布と、その電子ビームのうちの、シャドウマスクのスリットを通過する電子ビームの強度の分布とを示している。
すなわち、図52Aは、図49と同一の電子ビームの強度の分布を示している。
図52Bは、図52Aの電子ビームのうちの、シャドウマスクのホールを通過する電子ビームの強度の分布を示している。
すなわち、図52Bは、注目画素に対応する蛍光体のホールを通過する電子ビームと、そのホールの周辺のホール(周辺ホール)を通過する電子ビームとの強度の分布を示している。
図52Cは、図52Bに示した電子ビームの強度の分布のうちの、注目画素に対応する蛍光体のホールを通過する電子ビームの強度の分布を示しており、図52Dは、周辺ホールを通過する電子ビームの強度の分布を示している。
図53は、図52の場合よりも強度が大の電子ビームの強度の分布と、その電子ビームのうちの、シャドウマスクのホールを通過する電子ビームの強度の分布とを示している。
すなわち、図53Aは、図52の場合よりも強度が大の電子ビームの強度の分布を示している。
図53Aの電子ビームは、図52Aの電子ビームよりもスポットサイズ(強度が所定値以上の範囲)が大となっている。
図53Bは、図53Aの電子ビームのうちの、シャドウマスクのホールを通過する電子ビームの強度の分布を示している。
図53Bでは、図52Bの場合に比較して、周辺ホールを通過する電子ビームの強度が大になっており、したがって、周辺ホールの蛍光体に対応する画素の表示には、図52Bの場合より大きな影響がでる。
図53Cは、図53Bに示した電子ビームの強度の分布のうちの、注目画素に対応する蛍光体のホールを通過する電子ビームの強度の分布を示しており、図53Dは、周辺ホールを通過する電子ビームの強度の分布を示している。
なお、図49ないし図53では、電子ビームのスポットの拡がりを分かりやすくするため、電子ビームの強度を表す高さ方向のスケールを、位置を表すx方向及びy方向のスケールよりも圧縮してある。
ところで、1次元正規分布(1次元の正規分布)のある区間の面積は、1次元正規分布を表す式(21)の確率密度関数f(x)を、面積を求めようとする区間に亘って積分することで求めることができる。
ここで、式(21)において、μは、平均値を表し、σ2は、分散を表す。
上述したように、電子ビームの強度の分布を、2次元正規分布(2次元の正規分布)で近似する場合、ある範囲の電子ビームの強度は、2次元正規分布を表す式(22)の確率密度関数f(x,y)を、強度を求めようとする範囲に亘って積分することで求めることができる。
ここで、式(22)において、μxは、x方向の平均値を表し、μyは、y方向の平均値を表す。また、σx 2は、x方向の分散を表し、σy 2は、x方向の分散を表す。ρxyは、x方向とy方向の相関係数(x方向とy方向の共分散を、x方向の標準偏差σxとy方向の標準偏差σyとの積で除算した値)を表す。
平均値(平均ベクトル)(μx,μy)は、理想的には、電子ビームの中心の位置(x,y)を表す。いま、説明を簡単にするために、電子ビームの中心の位置(x,y)を、(0,0)(原点)とすると、平均値μx及びμyは0となる。
また、CRT表示装置において、電子銃やカソード等の設計は、電子ビームのスポットが円形となるように行われることから、相関係数ρxyを0とする。
いま、色選別機構が、アパーチャーグリルであるとすると、平均値μx及びμy、並びに、相関係数ρxyを0とした式(22)の確率密度関数f(x,y)を、スリットの範囲で積分することにより、スリットを通過する電子ビームの強度(量)を求めることができる。
すなわち、図54は、スリットを通過する電子ビームの強度を求める積分を説明する図である。
図54Aは、水平方向であるx方向の積分の区間を示している。
注目画素に対応する蛍光体のスリット(注目スリット)を通過する電子ビームの強度は、x方向については、アパーチャーグリルのスリットのスリット幅をSとすると、-S/2から+S/2の範囲に亘って、確率密度関数f(x,y)を積分することにより求めることができる。
また、左スリットを通過する電子ビームの強度は、x方向については、その左スリットのスリット幅に亘って、確率密度関数f(x,y)を積分することにより求めることができ、右スリットを通過する電子ビームの強度は、x方向については、その右スリットのスリット幅に亘って、確率密度関数f(x,y)を積分することにより求めることができる。
図54B及び図54Cは、垂直方向であるy方向の積分の区間を示している。
注目スリットを通過する電子ビームの強度は、y方向については、図54Bに示すように、-∞から+∞の範囲に亘って、確率密度関数f(x,y)を積分することにより求めることができる。
左スリット及び右スリットを通過する電子ビームの強度それぞれも、y方向については、図54Cに示すように、-∞から+∞の範囲に亘って、確率密度関数f(x,y)を積分することにより求めることができる。
一方、電子ビーム全体の強度は、x方向及びy方向のいずれにも、-∞から+∞の範囲に亘って、確率密度関数f(x,y)を積分することにより求めることができ、いま、その値をP0とする。
また、注目スリットを通過する電子ビームの強度をP1と表すとともに、左スリット及び右スリットを通過する電子ビームの強度それぞれを、PL及びPRと表すこととする。
この場合、注目画素の表示には、電子ビーム全体の強度P0のうちの、強度P1だけが影響し、この注目画素の表示によって、電子ビーム全体の強度P0のうちの、強度PLが、左スリットの蛍光体に対応する画素(左画素)の表示に影響し、強度PRが、左スリットの蛍光体に対応する画素(右画素)の表示に影響する。
すなわち、電子ビーム全体の強度P0を基準とすると、注目画素の表示には、電子ビームの強度のP1/P0が影響し、さらに、電子ビームの強度のPL/P0が左画素の表示に影響を与えるとともに、電子ビームの強度のPR/P0が右画素の表示に影響を与える。
したがって、注目画素の表示を基準とすると、注目画素の表示は、左画素の表示に、PL/P0/(P1/P0)だけ影響を与え、右画素の表示に、PR/P0/(P1/P0)だけ影響を与える。
EBエミュレート処理では、左画素については、注目画素の表示の影響を反映するために、注目画素の表示の影響分PL/P0/(P1/P0)を、EBエミュレート処理に用いるEB係数として、左画素の画素値に乗算し、その結果得られる乗算値が、左画素の(元の)画素値に加算される。さらに、EBエミュレート処理では、左画素の表示に影響を与える、左画素の周囲の画素の表示の影響分をEB係数として、同様の処理が行われ、これにより、左画素の周囲の画素の表示時に電子ビームが広がって、左画素の蛍光体に衝突することによる影響を考慮した左画素の画素値が求められる。
右画素についても、同様に、右素の周囲の画素の表示時に電子ビームが広がって、右画素の蛍光体に衝突することによる影響を考慮した右画素の画素値が求められる。
なお、色選別機構が、シャドウマスクである場合も、アパーチャーグリルの場合と同様にして、EBエミュレート処理に用いるEB係数を求めることができる。但し、シャドウマスクについては、アパーチャーグリルの場合に比較して、積分が複雑になる。シャドウマスクについては、上述の積分を用いるのではなく、シャドウマスクのホールの位置とホールの半径からモンテカルロ法などで、EB係数を求める方が容易である。
以上のように、EB係数は、理論上は、計算によって求めることが可能であるが、図44に示したように、電子ビームのスポットサイズは、ビーム電流によって変化する。したがって、EB係数を求めるには、電子ビームの強度の分布を近似する式(22)の確率密度関数f(x,y)の分散σx 2及びσy 2を、ビーム電流の電流値ごとに変える必要がある。
また、上述の場合には、電子ビームが、色選別機構(アパーチャーグリル、及びシャドウマスク)に入射する角度が直角であることを、当然の前提としたが、実際には、電子ビームが色選別機構に入射する角度は、表示画面の中央から離れるほど浅くなる。
すなわち、図55は、電子ビームが色選別機構としてのアパーチャーグリルに入射する様子を示している。
図55Aは、表示画面の中央付近での、電子ビームがアパーチャーグリルに入射する様子を示している。
図55Aに示すように、表示画面の中央付近では、電子ビームは、アパーチャーグリルに対して、垂直に入射する。
図55Bは、表示画面の中央から離れた位置での、電子ビームがアパーチャーグリルに入射する様子を示している
図55Bに示すように、表示画面の中央から離れた位置では、電子ビームは、垂直から傾いた角度で、アパーチャーグリルに入射する。
電子ビームが、図55Bに示したように、垂直から傾いた角度で、アパーチャーグリルに入射する場合、電子ビームの強度の分布は、式(22)の確率密度関数f(x,y)の形状から乖離するため、電子ビームがアパーチャーグリルに垂直に入射することを前提として、EB係数を求めたのでは、EB係数の精度が劣化する。
以上から、EB係数は、計算のみによって求めるのではなく、実験も併用して求めることが望ましい。
次に、図56、及び図57を参照して、図41のEB処理部10220で行われるEBエミュレート処理についてさらに説明する。
図56は、画素と、電子ビームの強度の分布とを示している。
すなわち、図56Aは、画素Eを中心とする横×縦が3×3の9画素A,B,C,D,F,G,H、及びIを示している。
いま、図56Aにおいて、画素Eを注目画素として注目する。また、横方向をx方向とし、縦方向をy方向とするとともに、注目画素Eの位置(x,y)を基準として、他の画素AないしD及びFないしIの位置を表すこととする。
この場合、画素どうしの間隔を1とすると、画素Aの位置は(x-1,y-1)に、画素Bの位置は(x,y-1)に、画素Cの位置は(x+1,y-1)に、画素Dの位置は(x-1,y)に、画素Fの位置は(x+1,y)に、画素Gの位置は(x-1,y+1)に、画素Hの位置は(x,y+1)に、画素Iの位置は(x+1,y+1)に、それぞれなる。
ここで、画素Aを、その位置(x-1,y-1)をも用いて、画素A(x-1,y-1)ともいい、画素A(x-1,y-1)の画素値を、画素値Aともいう。他の画素BないしIについても同様とする。
図56B及び図56Cは、CRT表示装置において、注目画素E(x,y)を表示するときの電子ビームの強度の分布を模式的に示している。
すなわち、図56Bは、注目画素E(x,y)を表示するときの電子ビームの強度のx方向の分布を表し、図56Cは、注目画素E(x,y)を表示するときの電子ビームの強度のy方向の分布を表している。
注目画素E(x,y)の画素値Eが大であるほど、電子ビームは、図56B及び図56Cに示すように広がり、他の画素A(x-1,y-1)ないしD(x-1,y)及びF(x+1,y)ないしI(x+1,y+1)の表示に影響を与える。
このため、図41のEB処理部10220は、注目画素E(x,y)を表示するときの電子ビームが、他の画素A(x-1,y-1)ないしD(x-1,y)及びF(x+1,y)ないしI(x+1,y+1)の表示に影響を与える程度を表すEB係数を、他の画素A(x-1,y-1)ないしD(x-1,y)及びF(x+1,y)ないしI(x+1,y+1)の画素値AないしD及びFないしIに乗算することにより、注目画素E(x,y)を表示するときの電子ビームが、他の画素A(x-1,y-1)ないしD(x-1,y)及びF(x+1,y)ないしI(x+1,y+1)の表示に影響を与える影響分を求め、その影響分を考慮して、他の画素A(x-1,y-1)ないしD(x-1,y)及びF(x+1,y)ないしI(x+1,y+1)の、EBエミュレート処理後の画素値を決定する。
図57は、注目画素E(x,y)を表示するときの電子ビームが、他の画素A(x-1,y-1)ないしD(x-1,y)及びF(x+1,y)ないしI(x+1,y+1)の表示に影響を与える影響分(以下、適宜、EB影響分という)を求める回路の構成例を示している。
画素値Aは演算部10242Aに、画素値Bは演算部10242Bに、画素値Cは演算部10242Cに、画素値Dは演算部10242Dに、画素値EはEB係数発生部10241に、画素値Fは演算部10242Fに、画素値Gは演算部10242Gに、画素値Hは演算部10242Hに、画素値Iは演算部10242Iに、それぞれ供給される。
EB係数発生部10241は、画素値Eに基づいて、注目画素E(x,y)を表示するときの電子ビームが、他の画素A(x-1,y-1)ないしD(x-1,y)及びF(x+1,y)ないしI(x+1,y+1)の表示に影響を与える程度を表すEB係数AEB,BEB,CEB,DEB,FEB,GEB,HEB、及びIEBを発生し、演算部10242A,10242B,10242C,10242D,10242F,10242G,10242H、及び10242Iに、それぞれ供給する。
演算部10242Aないし10242D、及び10242Fないし10242Iは、そこに供給される画素値AないしD、及びFないしIと、EB係数発生部10241からのEB係数AEBないしDEB、及びFEBないしIEBとを、それぞれ乗算し、その結果得られる値A'ないしD'、及びF'ないしI'を、EB影響分として出力する。
画素値Eは、そのまま出力され、他の画素A(x-1,y-1)ないしD(x-1,y)及びF(x+1,y)ないしI(x+1,y+1)を表示するときの電子ビームそれぞれが、注目画素E(x,y)の表示に影響を与えるEB影響分と加算され、その加算値が、注目画素E(x,y)の、EBエミュレート処理後の画素値とされる。
図58は、図41のEB処理部10220の構成例を示すブロック図である。
図58において、EB処理部10220は、EB機能部10250から構成され、EB機能部10250は、遅延部10251ないし10259、EB係数発生部10260、及び積和演算部10261から構成される。
EB機能部10250は、例えば、図56に示したように、画素E(x,y)を表示するときの電子ビームが、その画素E(x,y)に隣接する画素A(x-1,y-1)ないしD(x-1,y)及びF(x+1,y)ないしI(x+1,y+1)の表示に影響を与えることとして、つまり、画素E(x,y)については、その画素E(x,y)に隣接する画素A(x-1,y-1)ないしD(x-1,y)及びF(x+1,y)ないしI(x+1,y+1)それぞれからのEB影響分があるとして、画素E(x,y)の、EBエミュレート処理後の画素値を求める。
すなわち、EB機能部10250には、輝度補正部10210(図41)から画像信号が供給される。
EB機能部10250では、輝度補正部10210からの画像信号を構成する画素の画素値が、ラスタスキャン順に、遅延部10251,10253、及び10258、EB係数発生部10260、並びに積和演算部10261に供給される。
遅延部10251は、輝度補正部10210からの画素値を1ライン(水平ライン)分だけ遅延して、遅延部10252に供給する。遅延部10252は、遅延部10251からの画素値を1ライン分だけ遅延して、遅延部10254、及び積和演算部10261に供給する。
遅延部10254は、遅延部10252からの画素値を1画素分だけ遅延して、遅延部10255、及び積和演算部10261に供給する。遅延部10255は、遅延部10254からの画素値を1画素分だけ遅延して、積和演算部10261に供給する。
遅延部10253は、輝度補正部10210からの画素値を1ライン分だけ遅延して、遅延部10256、及び積和演算部10261に供給する。遅延部10256は、遅延部10253からの画素値を1画素分だけ遅延して、遅延部10257、及び積和演算部10261に供給する。遅延部10257は、遅延部10256からの画素値を1画素分だけ遅延して、積和演算部10261に供給する。
遅延部10258は、輝度補正部10210からの画素値を1画素分だけ遅延して、遅延部10259、及び積和演算部10261に供給する。遅延部10259は、遅延部10258からの画素値を1画素分だけ遅延して、積和演算部10261に供給する。
EB係数発生部10260は、輝度補正部10210からの画素値に基づき、その画素値が、隣接する画素値に与えるEB影響分を求めるための、上述したようなEB係数を発生し、積和演算部10261に供給する。
積和演算部10261は、輝度補正部10210からの画素値と、遅延部10252ないし10255、及び10257ないし10259それぞれからの画素値との、合計で8つの画素値それぞれと、EB係数発生部10260からのEB係数とを乗算することにより、その8つの画素値から、遅延部10256で遅延された画素値が受けるEB影響分を求め、そのEB影響分を、遅延部10256からの画素値に加算することで、遅延部10256からの画素値について、EBエミュレート処理後の画素値を求めて出力する。
したがって、例えば、図56に示した画素値AないしIがラスタスキャン順で、EB機能部10250に供給され、いま、画素値Iが、EB機能部10250に供給されたとすると、遅延部10255の出力は画素値Aに、遅延部10254の出力は画素値Bに、遅延部10252の出力は画素値Cに、遅延部10257の出力は画素値Dに、遅延部10256の出力は画素値Eに、遅延部10253の出力は画素値Fに、遅延部10259の出力は画素値Gに、遅延部10258の出力は画素値Hに、それぞれなって、積和演算部10261に供給される。
また、EB係数発生部10260及び積和演算部10261には、EB機能部10250に供給された画素値Iが供給される。
EB係数発生部10260には、画素値Iが供給される前に、画素値AないしHが供給されているので、EB係数発生部10260では、画素値AないしIのそれぞれが、隣接する画素値に影響するEB影響分を求めるためのEB係数が発生され、積和演算部10261に供給されている。
積和演算部10261は、遅延部10256からの画素値Eと、EB係数発生部10260からの、画素値AないしD、及びFないしIのそれぞれが、画素値Eに影響するEB影響分を求めるためのEB係数それぞれとを乗算することにより、画素値AないしD、及びFないしIのそれぞれが、画素値Eに影響するEB影響分を求め、遅延部10256からの画素値Eと加算して、その加算値を、遅延部10256からの画素値Eについての、EBエミュレート処理後の画素値として出力する。
次に、図59は、図41のEB処理部10220の他の構成例を示している。
なお、図中、図58の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
すなわち、図59のEB処理部10220は、EB機能部10250を有する点で、図58の場合と共通し、セレクタ10271及び10272をさらに有する点で、図58の場合と相違している。
図59のEB処理部10220では、輝度補正部10210(図41)からの画像信号が、セレクタ10271に供給される。
また、セレクタ10271には、セレクタ10272からの画像信号も供給される。
セレクタ10271は、輝度補正部10210からの画像信号、又は、セレクタ10272からの画像信号のうちの一方を選択し、EB機能部10250に供給する。
セレクタ10272には、EB機能部10250からの、EBエミュレート処理後の画像信号が供給される。
セレクタ10272は、EB機能部10250からの画像信号を、最終的なEBエミュレート処理後の画像信号として出力するか、又は、セレクタ10271に供給する。
以上のように構成されるEB処理部10220では、セレクタ10271は、まず、輝度補正部10210からの画像信号を選択し、EB機能部10250に供給する。
EB機能部10250は、セレクタ10271からの画像信号に対して、EBエミュレート処理を施し、セレクタ10272に供給する。
セレクタ10272は、EB機能部10250からの画像信号を、セレクタ10271に供給する。
セレクタ10271は、セレクタ10272からの画像信号を選択し、EB機能部10250に供給する。
以上のようにして、EB機能部10250において、輝度補正部10210からの画像信号に対して、所定の回数だけ、EBエミュレート処理が繰り返し施されると、セレクタ10272は、EB機能部10250からの画像信号を、最終的なEBエミュレート処理後の画像信号として出力する。
以上のように、EBエミュレート処理は、再帰的に行うことができる。
なお、図58では、説明を簡単にするために、画素E(x,y)を表示するときの電子ビームが、その画素E(x,y)に隣接する画素A(x-1,y-1)ないしD(x-1,y)及びF(x+1,y)ないしI(x+1,y+1)の表示にしか影響を与えないこととしたが、画素E(x,y)を表示するときの電子ビームが表示に影響を与える画素の範囲は、電子ビームの強度の分布が異なるごとに異なる。
次に、図60は、図38のCRTγ処理部10035の色温度補償処理を行う部分の構成例を示している。
図60において、制御部10281には、表示色温度補償制御部10040(図38)からの制御信号が供給され、レベルシフト部10282には、VM処理部10034(図38)からの画像信号としての色信号R(Red),G(Green),B(Blue)が供給される。
制御部10281は、表示色温度補償制御部10040からの制御信号が表す色温度の設定値に基づき、レベルシフト部10282とゲイン調整部10283を制御する。
レベルシフト部10282は、VM処理部10034からの色信号R,G,Bについて、制御部10281からの制御に従ったレベルのシフト(加算)を行い(CRT表示装置においてはDCバイアス)、その結果得られる色信号R,G,Bを、ゲイン調整部10283に供給する。
ゲイン調整部10283は、レベルシフト部10282からの色信号R,G,Bのゲインの調整を、制御部10281からの制御に従って行い、その結果得られる色信号R,G,Bを、色温度補償処理後の色信号R,G,Bとして出力する。
なお、色温度補償処理の方法としては、その他、例えば、特開平08-163582号公報や、特開2002-232905号公報に記載されている方法を採用することができる。
図61は、図38のVM処理部10034の他の構成例を示している。
なお、図中、図41のVM処理部10034と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
すなわち、図61のVM処理部10034は、輝度補正部10210(図41)に代えて、輝度補正部10310が設けられていることを除き、図41のVM処理部10034と同様に構成されている。
図62は、図61の輝度補正部10310の構成例を示している。
図62において、輝度補正部10310は、遅延タイミング調整部10311、微分回路10312、スレッショルド処理部10313、波形整形処理部10314、及び乗算回路10315から構成され、例えば、特開昭61-167280号公報(特公平05-84706号公報)や、国際公開第WO00/010324号パンフレット等に記載されている、CRT表示装置におけるVM処理(電子ビームの速度変調)のエミュレーションとしての輝度補正を行う。
すなわち、輝度補正部10310には、ABL処理部10033(図38)からの画像信号が供給され、その画像信号は、遅延タイミング調整部10311、及び微分回路10312に供給される。
遅延タイミング調整部10311は、ABL処理部10033からの画像信号を、微分回路10312、スレッショルド処理部10313、及び波形整形処理部10314での処理に要する時間に対応する時間だけ遅延し、乗算回路10315に供給する。
一方、微分回路10312は、ABL処理部10033からの画像信号を1次微分することにより、その画像信号のエッジの部分を検出し、そのエッジの部分の微分値(1次微分の微分値)を、スレッショルド処理部10313に供給する。
スレッショルド処理部10313は、微分回路10312からの微分値の絶対値を、所定の閾値と比較し、絶対値が所定の閾値より大の微分値だけを、波形整形処理部10314に供給することで、微分値の絶対値が所定の閾値以下のエッジの部分に対して、輝度補正が行われることを制限する。
波形整形処理部10314は、スレッショルド処理部10313からの微分値に基づき、エッジの部分の画素値に乗算することにより輝度補正を行うVM係数として、平均値が1.0となるVM係数を算出し、乗算回路10315に供給する。
乗算回路10315は、遅延タイミング調整部10311から供給される画像信号におけるエッジの部分の画素値と、波形整形処理部10314から供給されるVM係数とを乗算することにより、そのエッジの部分の輝度補正を行って、EB処理部10220(図61)に供給する。
なお、波形整形処理部10314で算出するVM係数は、エッジの部分の輝度補正の程度をユーザの好みに合致するように、例えば、ユーザの操作に応じて調整することが可能である。
また、スレッショルド処理部10313、及び波形整形処理部10314は、それぞれ、VM制御部10039(図38)から供給されるVM制御信号に従い、動作条件を設定する。
図63は、波形整形処理部10314で算出されるVM係数と、そのVM係数を用いて輝度補正が行われる前後の画像信号との例を示している。
すなわち、図63Aは、VM係数の第1の例を示している。
図63Aでは、エッジ画素値(エッジを構成する、大の画素値と小の画素値とのうちの、大の画素値)に乗算されるVM係数が、1.1となっており、エッジ画素値の左と右に隣接する画素値それぞれに乗算されるVM係数が、いずれも、0.95になっている。
図63Bは、VM係数の第2の例を示している。
図63Bでは、エッジ画素値に乗算されるVM係数が、1.2になっており、エッジ画素値の左と、そのさらに左に隣接する画素値それぞれに乗算されるVM係数、及び、エッジ画素値の右と、そのさらに右に隣接する画素値それぞれに乗算されるVM係数が、いずれも、0.95になっている。
図63Cは、輝度補正がされる前の画像信号を示している。
図63Cでは、左から3番目の画素値と、4番目の画素値との間がエッジとなっており、したがって、左から4番目の画素値が、エッジ画素値になっている。
図63Dは、図63Cの画像信号に対して、図63AのVM係数を用いて輝度補正を行って得られる画像信号を示している。
図63Dの画像信号では、図63Cの元の画像信号と比較して、エッジ画素値である4番目の画素値が大になっているとともに、左から3番目の画素値と5番目の画素値が小になっており、その結果、エッジが強調されている。
図63Eは、図63Cの画像信号に対して、図63BのVM係数を用いて輝度補正を行って得られる画像信号を示している。
図63Eの画像信号では、図63Cの元の画像信号と比較して、エッジ画素値である4番目の画素値が大になっているとともに、左から2番目、3番目、5番目、及び6番目の画素値が小になっており、その結果、エッジが、図63Dの場合より強調されている。
なお、図63のVM係数は、一例にすぎない。また、図63では、左から右方向に見て、暗い画像から明るい画像に変化するエッジの部分を示したが、明るい画像から暗い画像に変化するエッジの部分についても、同様に、輝度補正が行われる。
次に、図64は、図61の輝度補正部10310の他の構成例を示している。
図64において、輝度補正部10310は、タップ選択部10321、クラス分類部10322、タップ係数記憶部10326、及び予測部10327から構成され、例えば、特開平07-95591号公報(特許第3271101号)等に記載のDRC(クラス分類適応処理)を利用して、輝度補正を行う。
ここで、DRCについて説明する。
DRCは、第1の画像信号を第2の画像信号に変換(マッピング)する処理であり、第1と第2の画像データの定義によって様々な信号処理を行うことができる。
即ち、例えば、第1の画像信号を低空間解像度の画像信号とするとともに、第2の画像信号を高空間解像度の画像信号とすれば、DRCは、空間解像度を向上させる空間解像度創造(向上)処理ということができる。
また、例えば、第1の画像信号を低S/N(Siginal/Noise)の画像信号とするとともに、第2の画像信号を高S/Nの画像信号とすれば、DRCは、ノイズを除去するノイズ除去処理ということができる。
さらに、例えば、第1の画像信号を所定の画素数(サイズ)の画像信号とするとともに、第2の画像信号を、第1の画像信号の画素数を多くまたは少なくした画像信号とすれば、DRCは、画像のリサイズ(拡大または縮小)を行うリサイズ処理ということができる。
また、例えば、第1の画像信号を低時間解像度の画像信号とするとともに、第2の画像信号を高時間解像度の画像信号とすれば、DRCは、時間解像度を向上させる時間解像度創造(向上)処理ということができる。
さらに、例えば、第1の画像信号を、MPEG(Moving Picture Experts Group)符号化などのブロック単位で符号化された画像信号を復号することによって得られる復号画像信号とするとともに、第2の画像信号を、符号化前の画像信号とすれば、DRCは、MPEG符号化および復号によって生じるブロック歪み等の各種の歪みを除去する歪み除去処理ということができる。
なお、空間解像度創造処理において、低空間解像度の画像信号である第1の画像信号を、高空間解像度の画像信号である第2の画像信号に変換するにあたっては、第2の画像信号を、第1の画像信号と同一の画素数の画像信号とすることもできるし、第1の画像信号よりも画素数が多い画像信号とすることもできる。第2の画像信号を、第1の画像信号よりも画素数が多い画像信号とする場合、空間解像度創造処理は、空間解像度を向上させる処理であるとともに、画像サイズ(画素数)を拡大するリサイズ処理でもある。
以上のように、DRCによれば、第1および第2の画像信号をどのように定義するかによって、様々な信号処理を実現することができる。
DRCでは、第2の画像信号のうちの注目している注目画素を複数のクラスのうちのいずれかのクラスにクラス分類することにより得られるクラスのタップ係数と、注目画素に対して選択される第1の画像信号の複数の画素(の画素値)とを用いた予測演算により、注目画素の画素値(の予測値)が求められる。
図64において、ABL処理部10033(図38)からVM処理部10034の輝度補正部10310に供給される画像信号は、第1の画像信号として、タップ選択部10321に供給される。
タップ選択部10321は、ABL処理部10033からの第1の画像信号の輝度補正を行って得られる画像信号を、第2の画像信号として、その第2の画像信号を構成する画素を、順次、注目画素とし、注目画素(の画素値)を予測するのに用いる第1の画像信号を構成する画素(の画素値)の幾つかを、予測タップとして選択する。
具体的には、タップ選択部10321は、注目画素の時空間の位置から空間的または時間的に近い位置にある第1の画像信号の複数の画素を、予測タップとして選択する。
さらに、タップ選択部10321は、注目画素を、複数のクラスのうちのいずれかにクラス分けするクラス分類を行うのに用いる第1の画像信号を構成する画素の幾つかを、クラスタップとして選択する。すなわち、タップ選択部10321は、タップ選択部10321が予測タップを選択するのと同様にして、クラスタップを選択する。
なお、予測タップとクラスタップは、同一のタップ構造(注目画素に対する位置関係)を有するものであっても良いし、異なるタップ構造を有するものであっても良い。
タップ選択部10321で得られた予測タップは、予測部10327に供給され、タップ選択部10321で得られたクラスタップは、クラス分類部10322に供給される。
クラス分類部10322は、クラス予測係数記憶部10323、予測部10324、及びクラス決定部10325から構成され、タップ選択部10321からのクラスタップに基づき、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、タップ係数記憶部10326に供給する。
ここで、クラス分類部10322によるクラス分類の詳細については、後述する。
タップ係数記憶部10326は、後述する学習によって求められたクラスごとのタップ係数を、VM係数として記憶し、さらに、その記憶したタップ係数のうちの、クラス分類部10322から供給されるクラスコードに対応するアドレスに記憶されているタップ係数(クラス分類部10322から供給されるクラスコードが表すクラスのタップ係数)を出力する。このタップ係数は、予測部10327に供給される。
ここで、タップ係数とは、ディジタルフィルタにおける、いわゆるタップにおいて入力データと乗算される係数に相当するものである。
予測部10327は、タップ選択部10321が出力する予測タップと、タップ係数記憶部10326が出力するタップ係数とを取得し、その予測タップとタップ係数とを用いて、注目画素の真値の予測値を求める所定の予測演算を行う。これにより、予測部10327は、注目画素の画素値(の予測値)、すなわち、第2の画像信号を構成する画素の画素値、つまり、輝度補正後の画素値を求めて出力する。
なお、クラス分類部10322を構成するクラス予測係数記憶部10323、及び予測部10324、並びに、タップ係数記憶部10326は、それぞれ、VM制御部10039(図38)から供給されるVM制御信号に従い、動作条件の設定や必要な選択を行う。
次に、図64のタップ係数記憶部10326に、VM係数として記憶されるクラスごとのタップ係数の学習について説明する。
DRCの所定の予測演算に用いられるタップ係数は、多数の画像信号を、学習用の画像信号として用いた学習によって求められる。
すなわち、例えば、いま、輝度補正前の画像信号を、第1の画像信号とするとともに、その第1の画像信号について輝度補正を行って得られる、輝度補正後の画像信号を、第2の画像信号として、DRCにおいて、第1の画像信号から予測タップを選択し、その予測タップとタップ係数を用いて、第2の画像信号の注目画素の画素値を、所定の予測演算によって求める(予測する)こととする。
所定の予測演算として、例えば、線形1次予測演算を採用することとすると、第2の画像信号の画素値yは、次の線形1次式によって求められることになる。
但し、式(23)において、xnは、第2の画像信号の注目画素yについての予測タップを構成する、第1の画像信号のn番目の画素(以下、適宜、補正前画素という)の画素値を表し、wnは、n番目の補正前画素(の画素値)と乗算されるn番目のタップ係数を表す。なお、式(23)では、予測タップが、N個の補正前画素x1,x2,・・・,xNで構成されるものとしてある。
ここで、第2の画像信号の注目画素の画素値yは、式(23)に示した線形1次式ではなく、2次以上の高次の式によって求めるようにすることも可能である。
いま、第2の画像信号の第kサンプルの画素値の真値をykと表すとともに、式(23)によって得られるその真値ykの予測値をyk’と表すと、その予測誤差ekは、次式で表される。
いま、式(24)の予測値yk’は、式(23)にしたがって求められるため、式(24)のyk’を、式(23)にしたがって置き換えると、次式が得られる。
但し、式(25)において、xn,kは、第2の画像信号の第kサンプルの画素についての予測タップを構成するn番目の補正前画素を表す。
式(25)(または式(24))の予測誤差ekを0とするタップ係数wnが、第2の画像信号の画素を予測するのに最適なものとなるが、すべての第2の画像信号の画素について、そのようなタップ係数wnを求めることは、一般には困難である。
そこで、タップ係数wnが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適なタップ係数wnは、次式で表される自乗誤差の総和Eを最小にすることで求めることができる。
但し、式(26)において、Kは、第2の画像信号の画素ykと、その第2の画像信号の画素ykについての予測タップを構成する補正前画素x1,k,x2,k,・・・,xN,kとのセットのサンプル数(学習用のサンプルの総数)を表す。
式(26)の自乗誤差の総和Eの最小値(極小値)は、式(27)に示すように、総和Eをタップ係数wnで偏微分したものを0とするwnによって与えられる。
そこで、上述の式(25)をタップ係数wnで偏微分すると、次式が得られる。
式(27)と(28)から、次式が得られる。
式(29)のekに、式(25)を代入することにより、式(29)は、式(30)に示す正規方程式で表すことができる。
式(30)の正規方程式は、例えば、掃き出し法(Gauss-Jordanの消去法)などを用いることにより、タップ係数wnについて解くことができる。
式(30)の正規方程式を、クラスごとにたてて解くことにより、最適なタップ係数(ここでは、自乗誤差の総和Eを最小にするタップ係数)wnを、クラスごとに求めることができる。
以上のようにして、タップ係数wnを求める学習は、例えば、後述するコンピュータ(図67)によって行うことができる。
次に、図65のフローチャートを参照して、コンピュータが行う、タップ係数wnを求める学習の処理(学習処理)について、説明する。
まず最初に、ステップS10021において、コンピュータは、あらかじめ学習用に用意された学習用画像信号から、第2の画像信号に相当する教師データと、第1の画像信号に相当する生徒データを生成して、処理は、ステップS10022に進む。
すなわち、コンピュータは、学習用画像信号から、タップ係数の学習の教師(真値)となる、第2の画像信号に相当する教師データとして、式(23)による予測演算としての写像の写像先の画素値、つまり、輝度補正後の画素値を生成する。
さらに、コンピュータは、学習用画像信号から、タップ係数の学習の生徒となる、第1の画像信号に相当する生徒データとして、式(23)による予測演算としての写像による変換対象の画素値を生成する。ここでは、コンピュータは、例えば、学習用画像信号を、そのまま、第1の画像信号に相当する生徒データとする。
ステップS10022では、コンピュータは、教師データのうち、まだ、注目画素としていないものを、注目画素として選択し、処理は、ステップS10023に進む。ステップS10023では、コンピュータは、図64のタップ選択部10321と同様に、注目画素について、生徒データから予測タップとする複数の画素を選択するとともに、クラスタップとする複数の画素を選択して、処理は、ステップS10024に進む。
ステップS10024では、コンピュータは、注目画素についてのクラスタップに基づき、注目画素のクラス分類を、図64のクラス分類部10322と同様にして行い、注目画素のクラスに対応するクラスコードを得て、処理は、ステップS10025に進む。
ステップS10025では、コンピュータは、注目画素と、注目画素について選択された予測タップを構成する生徒データとを対象とした式(30)の足し込みを、注目画素のクラスについて行い、処理は、ステップS10026に進む。
すなわち、コンピュータは、注目画素のクラスについて、予測タップ(生徒データ)xn,kを用い、式(30)の左辺の行列における生徒データどうしの乗算(xn,kxn',k)と、サメーション(Σ)に相当する演算を行う。
さらに、コンピュータは、注目画素のクラスについて、予測タップ(生徒データ)xn,kと教師データykを用い、式(30)の右辺のベクトルにおける生徒データxn,kおよび教師データykの乗算(xn,kyk)と、サメーション(Σ)に相当する演算を行う。
すなわち、コンピュータは、注目画素のクラスにおいて、前回、注目画素とされた教師データについて求められた式(30)における左辺の行列のコンポーネント(Σxn,kxn',k)と、右辺のベクトルのコンポーネント(Σxn,kyk)を、その内蔵するメモリ(例えば、図67のRAM10104)に記憶しており、その行列のコンポーネント(Σxn,kxn',k)またはベクトルのコンポーネント(Σxn,kyk)に対して、新たに注目画素とされた教師データについて、その教師データyk+1および生徒データxn,k+1を用いて計算される、対応するコンポーネントxn,k+1xn',k+1またはxn,k+1yk+1を足し込む(式(30)のサメーションで表される加算を行う)。
ステップS10026では、コンピュータが、まだ、注目画素としていない教師データがあるかどうかを判定する。ステップS10026において、注目画素としていない教師データが、まだあると判定された場合、ステップS10022に戻り、以下、同様の処理が繰り返される。
また、ステップS10026において、注目画素としていない教師データがないと判定された場合、処理は、ステップS10027に進み、コンピュータは、いままでのステップS10022乃至S10026の処理によって得られたクラスごとの式(30)における左辺の行列と、右辺のベクトルによって構成されるクラスごとの正規方程式を解くことにより、クラスごとに、タップ係数wnを求めて出力し、処理を終了する。
図64のタップ係数記憶部10326には、以上のようにして求められたクラスごとのタップ係数wnが、VM係数として記憶されている。
次に、図64のクラス分類部10322によるクラス分類について説明する。
クラス分類部10322において、タップ選択部10321からの、注目画素についてのクラスタップは、予測部10324、及びクラス決定部10325に供給される。
予測部10324は、タップ選択部10321からのクラスタップを構成する複数の画素のうちの1つの画素の画素値を、他の画素の画素値と、クラス予測係数記憶部10323に記憶されたクラス予測係数とを用いて予測し、その予測値を、クラス決定部10325に供給する。
すなわち、クラス予測係数記憶部10323は、クラスごとに、クラスタップを構成する複数の画素のうちの1つの画素の画素値を予測するのに用いられるクラス予測係数を記憶している。
具体的には、注目画素についてのクラスタップが、M+1個の画素の画素値から構成され、予測部10324が、例えば、クラスタップを構成するM+1個の画素の画素値x1,x2,・・・,xM,xM+1のうちの、M+1番目の画素値xM+1を、予測対象として、他のM個の画素x1,x2,・・・,xMを用いて、予測対象であるM+1番目の画素値xM+1を予測することとすると、クラス予測係数記憶部10323は、例えば、クラス#jについて、M個の画素x1,x2,・・・,xMそれぞれと乗算されるM個のクラス予測係数cj,1,cj,2,・・・,cj,Mを記憶している。
この場合、予測部10324は、例えば、式x'j,M+1=x1cj,1+x2cj,2+・・・+,xMcj,Mに従って、クラス#jについての、予測対象の画素値xM+1の予測値x'j,M+1を求める。
例えば、いま、クラス分類によって、注目画素がJ個のクラス#1ないし#Jのうちのいずれかのクラスに分類されるとすると、予測部10324は、クラス#1ないし#Jのそれぞれについて、予測値x'1,M+1ないしx'J,M+1を求め、クラス決定部10325に供給する。
クラス決定部10325は、予測部10324からの予測値x'1,M+1ないしx'J,M+1それぞれを、タップ選択部10321からの、注目画素についてのクラスタップの予測対象のM+1番目の画素値(真値)xM+1と比較し、予測値x'1,M+1ないしx'J,M+1のうちの、予測対象のM+1番目の画素値xM+1との予測誤差が最も小さい予測値x'j,M+1を求めるのに用いられたクラス予測係数cj,1,cj,2,・・・,cj,Mのクラス#jを、注目画素のクラスに決定し、そのクラス#jを表すクラスコードを、タップ係数記憶部10326(図64)に供給する。
ここで、クラス予測係数記憶部10323に記憶されるクラス予測係数cj,mは、学習によって求められる。
クラス予測係数cj,mを求める学習は、例えば、後述するコンピュータ(図67)によって行うことができる。
図66のフローチャートを参照して、コンピュータが行う、クラス予測係数cj,mを求める学習の処理(学習処理)について説明する。
コンピュータは、ステップS10031において、例えば、図65のステップS10021と同様に、学習用画像信号から、第2の画像信号に相当する教師データと、第1の画像信号に相当する生徒データを生成する。さらに、コンピュータは、ステップS10031において、教師データを、順次、注目画素として選択し、各注目画素について、図65のステップS10023と同様に、生徒データからクラスタップとする複数の画素を選択して、処理は、ステップS10032に進む。
ステップS10032では、コンピュータは、クラスを表す変数jを、1に初期化して、処理は、ステップS10033に進む。
ステップS10033では、コンピュータは、ステップS10031で得たクラスタップのすべてを、学習用のクラスタップ(学習用クラスタップ)として選択して、処理は、ステップS10034に進む。
ステップS10034では、コンピュータは、図65のタップ係数の学習の場合と同様に、式x'j,M+1=x1cj,1+x2cj,2+・・・+,xMcj,Mに従って求められる、クラス#jについての、予測対象の画素値xM+1の予測値x'j,M+1の、真値xM+1に対する予測誤差を最小にする正規方程式(式(30)に相当する正規方程式)を、学習用クラスタップを対象として生成し、処理は、ステップS10035に進む。
ステップS10035では、コンピュータは、ステップS10034で得た正規方程式を解くことで、クラス#jについてのクラス予測係数cj,mを求め(m=1,2,・・・,M)、処理は、ステップS10036に進む。
ステップS10036では、コンピュータは、変数jがクラスの総数Jに等しいかどうかを判定し、等しくないと判定した場合、処理は、ステップS10037に進む。
コンピュータは、ステップS10037において、変数jを1だけインクリメントして、処理は、ステップS10038に進み、ステップS10035で得たクラス予測係数cj,mを用い、学習用クラスタップを対象として、予測対象の画素xM+1を予測したときの予測誤差を求めて、処理は、ステップS10039に進む。
ステップS10039では、コンピュータは、学習用クラスタップの中から、ステップS10038で求めた予測誤差が所定の閾値以上となるものを、新たな学習用クラスタップとして選択する。
そして、処理は、ステップS10039からステップS10034に戻り、以下、上述した場合と同様にして、新たな学習用クラスタップを用いて、クラス#jについてのクラス予測係数cj,mが求められる。
一方、ステップS10036において、変数jがクラスの総数Jに等しいと判定された場合、すなわち、J個のクラス#1ないし#Jすべてについて、クラス予測係数c1,mないしcJ,mが求められた場合、処理は、終了する。
以上のように、図38の画像信号処理装置では、CRT表示装置が、電子ビームにより蛍光体を光らせることで表示をしていることに鑑み、電子ビームを偏向する際に行う処理、及び、電子ビームの物理的な形状とその変化による表示への影響を考慮した信号処理を行うので、LCD等を用いたFPD表示装置において、CRT表示装置で表示したのと同等の画質の画像を表示することが可能となる。
さらに、図38の画像信号処理装置によれば、CRTそのものの特性違いによる表示特性をエミュレートすることが可能になり、輝度特性や質感の違いを同一LCDにて切り替えることが可能になる。例えば、業務用のCRTと一般用(一般向け)のCRTの発色特性の違いを同一画面上で比べることで送出時の色調整や画質調整を正確に行う、などを容易に行うことが可能になる。
また、図38の画像信号処理装置によれば、同様に、LCDとCRTの表示特性による違いを容易に確認することが可能である。
さらに、図38の画像信号処理装置によれば、本来の意味での「好みの画質」で画像を表示することが可能になる。
また、図38の画像信号処理装置によれば、処理の範囲を表示画面内で変える事により特性の異なる表示デバイス(例えば、業務用と一般用のCRT、LCDとCRT、など)を同時に見ることが可能になるため、比較や調整といった用途での利用を容易にすることができる。
次に、上述した一連の処理のうちの少なくとも一部は、専用のハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
そこで、図67は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク10105やROM10103に予め記録しておくことができる。
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory),MO(Magneto Optical)ディスク,DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体10111に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体10111は、いわゆるパッケージソフトウエアとして提供することができる。
なお、プログラムは、上述したようなリムーバブル記録媒体10111からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部10108で受信し、内蔵するハードディスク10105にインストールすることができる。
コンピュータは、CPU(Central Processing Unit)10102を内蔵している。CPU10102には、バス10101を介して、入出力インタフェース10110が接続されており、CPU10102は、入出力インタフェース10110を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部10107が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)10103に格納されているプログラムを実行する。あるいは、また、CPU10102は、ハードディスク10105に格納されているプログラム、衛星若しくはネットワークから転送され、通信部10108で受信されてハードディスク10105にインストールされたプログラム、またはドライブ10109に装着されたリムーバブル記録媒体10111から読み出されてハードディスク10105にインストールされたプログラムを、RAM(Random Access Memory)10104にロードして実行する。これにより、CPU10102は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU10102は、その処理結果を、必要に応じて、例えば、入出力インタフェース10110を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部10106から出力、あるいは、通信部10108から送信、さらには、ハードディスク10105に記録等させる。
[画像を表示するLCD(Liquid Crystal Display)等の第1の表示デバイスを用いて、第1の表示デバイスと異なる特性を有するPDP(Plasma Display Panel)等の第2の表示デバイスにおいて画像を表示した状態を再現する実施の形態]
次に、第1の表示デバイスを用いて、第1の表示デバイスと異なる特性を有する第2の表示デバイスにおいて画像を表示した状態を再現する実施の形態について説明する。
画像信号を表示する表示デバイスとして、例えば、CRT(Cathode Ray Tube)、LCD、PDP、有機EL(Electroluminescence)、プロジェクタ等、様々な表示デバイスが存在する。
そして、例えば、PDPについては、表示画面上で移動画素に対し視線が追従したときに、各網膜位置に入る光量の計算を行い、その出力データから新しいサブフィールドデータを生成することで、偽輪郭の発生を抑制する方法が、例えば、特開2000-39864号公報において提案されている。
ところで、表示特性は表示デバイスによって異なるため、画像信号が適切な視聴状態(表示状態)にあるかを確認するモニタリングにおいては、表示デバイスの特性(表示特性)の違いが大きな問題となる。すなわち、ある画像信号をLCDに表示してモニタリングを行ったとしても、その画像信号をPDPに表示した際に、どのように見えるかを確認することは困難であった。
そのため、複数の表示デバイスの特性を考慮してモニタリングを行うには、表示デバイスを必要な分だけ用意する必要があり、モニタリングシステムの規模の増大につながっていた。
またPDPは、入力画像信号の1フィールドを複数のサブフィールドで構成し、各サブフィールドを発光、非発光のどちらかの状態にするように制御することで、多階調表示を実現する表示デバイスである。
そのため、動画像を表示した際に、画像内の動き物体等に人の視線が追従すると、サブフィールドの発光パターンによっては、表示している画像と人の目に見える画像が異なるといった特徴がある。しかしながらPDPにおいて、実際に動画像がどのように見えるかを確認するには、PDPに動画像を表示し、人が目で見て確認するしかなく、確認作業が大変な上、客観的な評価が困難であった。
そこで、以下では、例えば、LCD等の第1の表示デバイスを用いて、第1の表示デバイスと異なる特性を有するPDP等の第2の表示デバイスにおいて画像を表示した状態を再現することができるようにする実施の形態について説明する。
図68は、第1の表示デバイスを用いて、第1の表示デバイスと異なる特性を有する第2の表示デバイスにおいて画像を表示した状態を再現することができるようにする画像処理装置の第1実施の形態の構成例を示している。
入力画像信号Vinは、動き検出部20100と、サブフィールド展開部20200へ供給される。
図69は、図68の動き検出部20100の構成を示している。動き検出部20100では、入力画像信号Vinから、各画素の動きベクトルを、入力画像信号Vinを人が見た際の画素毎の視線として検出する。
入力画像信号Vinは、相関演算回路20101と遅延回路20102へ供給される。相関演算回路20101では、現フィールドの入力画像信号Vinと、遅延回路20102で1フィールド遅延された前フィールドの入力画像信号との間で、相関演算を行う。
図70に相関演算の動作を示す。
相関演算回路20101は、現フィールドの注目画素において、注目画素を中心としたブロックBLを設定する。ブロックBLは例えば5×5画素のブロックである。そして、相関演算回路20101は、遅延回路20102で遅延された前フィールドにおいて、現フィールドでのブロックBLと同じ位置を中心としたサーチ範囲を設定する。サーチ範囲は例えば、現フィールドでのブロックBLと同じ位置を基準とし、水平、垂直方向に−8〜+7画素分の領域である。そして、相関演算回路20101は、ブロックBLとサーチ範囲内の、ブロックBLと同一サイズの各候補ブロックとの間で、例えば、画素値どうしの差分絶対値の総和を、ブロックBLと候補ブロックとの相関を評価するための評価値として求める演算を、相関演算として行い、各候補ブロックでの演算結果を、視線決定回路20103へ供給する。
図69に戻り、視線決定回路20103では、相関演算回路20101から供給された演算結果の中から、最小の値の演算結果が得られた候補ブロックの位置を、注目画素の動きベクトルとして検出する。ここで、候補ブロックの位置は、図71に示すように、ブロックBLからの相対位置である。視線決定回路20103は、注目画素の動きベクトルの方向を、人が注目画素を見たときの視線の方向、すなわち、現フィールドを見た人の視線が追っていく方向(視線方向)mvに決定する。
相関演算回路20101では、注目画素毎にブロックBLを設定するが、現フィールドを最初に5×5画素のブロックに分割し、ブロック毎に視線方向(動きベクトル)を求め、ブロック内の画素では、全て同じ視線方向を適用してもよい。またサーチ範囲内の各候補ブロックとの相関演算には、注目画素の近傍の画素における差分絶対値に一定の重みをつけて評価値を求めてもよい。この場合、注目画素の近傍の画素の相関を重く評価することになる。
図72は、図68のサブフィールド展開部20200の構成例を示している。
サブフィールド展開部20200では、入力画像信号VinをPDPに表示する際の各サブフィールドの発光パターンを生成する。
サブフィールド展開部20200の動作を説明する前に、PDPにおける多階調表示の方法について説明する。PDPは、1フィールドを複数のサブフィールドに分割し、各サブフィールドの発光の輝度の重みを変えることで多階調表示を行う。
図73にPDPにおけるサブフィールドの構成例を示す。図73では1フィールドは8つのサブフィールドSF1、SF2、SF3、SF4、SF5、SF6、SF7、SF8に分割され、各サブフィールドSF1ないしSF8は異なる輝度の重み(光量)を持っている。各サブフィールドSF1ないしSF8は、それぞれの画素を発光、非発光のどちらかに設定するアドレス期間と、アドレス期間において発光と設定された画素を発光させる発光期間から構成されている。
各サブフィールドSF1ないしSF8の輝度の重みを例えば1、2、4、8、16、32、64、128とすると、これらのサブフィールドSF1ないしSF8を組み合わせることで、0〜255までの256階調を実現することができる。
実際のPDPは2次元平面において構成されるため、PDPによる画像の表示は、図74に示すように、PDPにおける画素位置X,Yと時間方向Tのサブフィールドからなる3次元的なモデル図で表現される。
図72に戻り、入力画像信号Vinは、サブフィールド割当回路20201へ供給される。サブフィールド割当回路20201は、入力画像信号Vinの1フィールドの画素値を、以下の式(31)を用いて表す。ただしNiは、サブフィールドSF#iの非発光または発光を表す発光情報であり、0または1である。
なおここでは、表示対象とするPDPのサブフィールド構造を図73に示す場合と同様に、8つのサブフィールドSF1ないしSF8で構成し、各サブフィールドSF1ないしSF8の輝度の重みをそれぞれ1、2、4、8、16、32、64、128としている。また以下の説明でもこの構造を元にするものとする。
そして、サブフィールド割当回路20201は、各画素についての発光情報Niの値を発光決定回路20202へ供給する。発光決定回路20202では、Niが1の場合を発光、0の場合を非発光として、サブフィールドの発光パターンを表す発光制御情報SFを生成する。
例えば入力画像信号Vinのある画素値が「7」である場合、サブフィールドSF1、SF2、SF3を発光、それ以外を非発光と割り当てる発光制御情報SFを生成する。また例えば、入力画像信号Vinのある画素値が「22」である場合、サブフィールドSF2、SF3、SF5を発光、それ以外を非発光と割り当てる発光制御情報SFを生成する。
図75は、図68の光量積算部20300の構成を示している。光量積算部20300では、入力画像信号VinをPDPに表示した際に、人の網膜で積分される光量を画素値とする画像を、PDPにおいて入力画像信号を表示したときに人の目に見える、いわば擬似的な画像として生成して出力する。
光量積算部20300の動作を説明する前に、PDP特有の、視線方向と発光パターンによる画像の見え方について説明する。
図76は、横軸を画素位置X(Y)とするとともに、縦軸を時間Tとしたサブフィールドの、画素値127と128の境界を示しており、影を付してあるサブフィールドが発光するサブフィールドを示している。
画像が動いていない場合には、人の視線方向は、縦軸の時間方向Tと平行な方向A−A’となり、サブフィールドの発光が正しく人の網膜で積分されるため、画素値127と128が正しく認識される。
しかし画像が左方向に1フィールドで1画素分動くとすると、動きに人の目(視線)が追従するため、視線方向が、縦軸の時間方向Tと平行でない方向B−B’となり、サブフィールドの発光が人の網膜で積分されず、画素値127と128の間に黒い線を認識してしまう。また逆に画像が右方向に1フィールドで1画素分動くとすると、動きに人の目が追従するため、視線方向が、縦軸の時間方向Tと平行でない方向C−C’となり、サブフィールドの発光が人の網膜に積分されすぎて、画素値127と128の間に白い線を認識してしまう。
以上のようにPDPにおいては、サブフィールドを用いる駆動方式のため、視線方向とサブフィールドの発光パターンによって、表示している画像と人の目に見えている画像とが異なる現象が発生する場合があり、一般に動画擬似輪郭として知られている。
図75に戻り、動き検出部20100で検出された各画素の視線方向mvと、サブフィールド展開部20200で生成された発光制御情報SFが光量積算領域決定回路20301へ供給される。
光量積算領域決定回路20301は、動き検出部20100で検出された視線方向mvとサブフィールド展開部20200で生成されたサブフィールドの発光パターンを表す発光制御情報SFとから、入力画像信号VinをPDPに表示した際に、人の網膜で積分される光量を擬似的に再現するための、光量積算領域を、画素ごとに決定する。すなわち図77に示すように、注目画素に対し、検出された視線方向に1画素分の断面積の光量積算領域を設定する。
さらに、光量積算領域決定回路20301は、光量積算領域内の各サブフィールドの発光、非発光の領域の比率に応じて各サブフィールドSF#iでの光量を積算する。例えば図77の場合、サブフィールドSF8において発光、非発光の領域の比率が7:1であるとき、サブフィールドSF8において積算される光量は、128×1÷(7+1)=16となる。光量積算領域決定回路20301は、同様に全てのサブフィールドSF1ないしSF8において積分される光量を算出し、光量積算回路20302に供給する。
光量積算回路20302は、光量積算領域決定回路20301からのサブフィールドSF1ないしSF8それぞれの光量の総和を求め、注目画素における画素値とする。そして、光量積算回路20302は、全ての画素に対し、同様の処理を行うことで出力画像Voutを生成する。
また、光量積算領域決定回路20301、及び光量積算回路20302の処理は、以下のように簡便に行うこともできる。
すなわち、図77において、各サブフィールドの発光、非発光の領域の比率において、大きい方を採用する。この場合、サブフィールドSF8は非発光となり光量0、サブフィールドSF7は発光となり光量64、以下同様に全てのサブフィールドでの結果の総和を注目画素における画素値とする。
実際のPDPは2次元平面において構成されるため、PDPによる画像の表示は、図78に示すように、PDPにおける画素位置X,Yと時間方向Tのサブフィールドからなる3次元的なモデル図で表現される。
以上のように、図68に示す画像処理装置は、入力画像信号Vinから、画素毎の視線方向と、PDPに表示した際のサブフィールドの発光パターンから、PDPに表示された画像を見る人の網膜に積分される光量を画素値とする画像を、PDPに表示された画像を見る人の目に見える画像として生成するので、入力画像信号VinをPDPに表示し、人が見た場合の画像を擬似的に再現することができる。
図79は、第1の表示デバイスを用いて、第1の表示デバイスと異なる特性を有する第2の表示デバイスにおいて画像を表示した状態を再現することができるようにする画像処理装置の第2実施の形態の構成例を示している。
一般にPDPにおいて、動画擬似輪郭を抑制するために、使用する階調に制限を設け、さらに見た目に階調を出すために、入力画像と表示する画像の画素値の差分を、時空間の周辺の画素に割り振る誤差拡散処理、そして複数の画素値の時空間パターンによって、見た目の階調を表現するディザ処理などが行われている。図79に示す画像処理装置は、入力画像信号Vinを表示するPDPにおいて、前記の誤差拡散処理やディザ処理が行われる場合に人の目に見える画像を擬似的に再現する。
図79において、入力画像信号Vinは動き検出部20100と階調変換部20400へ供給される。動き検出部20100の構成は図68のものと同様であるため説明を省略する。
図80は、図79の階調変換部20400の構成例を示している。
入力画像信号Vinは、演算器405において、後述する表示階調誤差Vpdと加算され、画素値(階調)Vpとなり、階調変換回路20402へ供給される
階調変換回路20402では、階調変換テーブル20403に応じて、入力された画素の階調(画素値)Vpを別の階調Vpoへと変換する。すなわち動画擬似輪郭の発生しにくい階調として0、1、3、7、15、31、63、127、255を使用するとした場合、階調変換テーブル20403では、前記の使用する階調と、前記の使用する階調の時空間の分布で表現する見た目の階調(ディザ階調)を設定する。
階調変換回路20402では、階調変換テーブル20403で設定された階調のみを用いるものとして、入力された階調Vpを、階調変換テーブル20403の階調のうちの、階調Vpとの差分がもっとも小さい階調Vpoに置き換えて出力する。階調変換回路20402の出力である階調Vpoはディザ変換回路20404に供給されるとともに、演算器406において、階調変換回路20402の入力である階調Vpとの差分が求められることにより、表示階調誤差Vpdとされ、遅延回路20401で水平方向で1画素分遅延され、演算器405で次の入力画像信号Vinの画素値と加算される。このように変換された階調の差分を周辺の画素の階調で表現することを誤差拡散処理と呼ぶ。
ディザ変換回路20404では、使用する階調の時空間の分布によって、見た目の階調を表現するディザ処理(ディザ変換)を行う。ディザ変換回路20404の動作例を図81に示す。ディザ変換回路20404では、例えば階調を4として表示する領域があったとすると、使用する階調である3と7を用いて、例えば図81に示すように階調を分布させる。このようにすると、人の目には、階調の値が平均されて、階調の値が4として見えることになる。
図79に戻り、以上のように、階調変換部20400では、入力画像信号Vinを実際に表示に用いる画像信号Vdに変換し、サブフィールド展開部20200へ供給する。サブフィールド展開部20200、および光量積算部20300の構成は、図68のものと同様であるため説明を省略する。
すなわち、図79の画像処理装置では、階調変換部20400によって、実際に表示される階調を元に、人の目に見える画像を擬似的に画像として出力する。この場合、動き検出部20100では入力画像信号Vinから視線を検出(決定)しているが、階調変換部20400で変換される階調の見た目が入力画像信号Vinと大きく異ならない場合、視線方向も大きく異ならないため、このような構成にしても問題がなくなる。また階調変換部20400は、入力画像信号Vinを表示に用いる画像信号Vdに変換するものであれば何でもよく、例えば特開2004−138783号公報などに記載の手法を用いてもよい。
図82は、第1の表示デバイスを用いて、第1の表示デバイスと異なる特性を有する第2の表示デバイスにおいて画像を表示した状態を再現することができるようにする画像処理装置の第3実施の形態の構成例を示している。
この画像処理装置では、階調変換部20400の出力である画素(画像信号の)Vdを動き検出部20100へ供給する。この場合、動き検出部20100では、実際に表示する画像信号を元に視線(視線方向)を検出することになる。そのため制限された階調や拡散誤差やディザそのものが視覚的に検知される場合の視線を検出するとともに、階調変換部20400によって、実際に表示される階調を元に、人の目に見える画像を擬似的に画像として出力することができる。
なお、図82において、動き検出部20100、サブフィールド展開部20200、光量積算部20300、および階調変換部20400の構成は、図79のものと同様であるため説明を省略する。
図83は、第1の表示デバイスを用いて、第1の表示デバイスと異なる特性を有する第2の表示デバイスにおいて画像を表示した状態を再現することができるようにする画像処理装置の第4実施の形態の構成例を示している。
入力画像信号Vinは階調変換部20400へ供給され、表示に用いる画像信号Vdへ変換される。表示に用いる画像信号Vdは視覚補正部20500へ供給される。
図84は視覚補正部20500の構成例を示している。視覚補正部20500では、表示に用いる画像信号Vdを人の見た目の画像(画像信号)へと擬似的に補正する。表示に用いる画像信号Vdはディザ補正回路20501へ供給される。ディザ補正回路20501では、ディザで表示する階調を見た目の階調へと擬似的に補正する。すなわち図81に示したようにディザ階調が用いられていた場合、人の見た目には、階調の値が平均されるものとして、図85に示すように階調を補正する。そしてディザ補正された画像Vmbは、拡散誤差補正回路20502へ供給される。
拡散誤差補正回路20502では、注目画素の周辺の画素に拡散した誤差を見た目の階調へと擬似的に補正する。すなわち、拡散誤差補正回路20502では、ディザ補正された画像信号Vmbにおいて、入力画像信号Vinとの差分(誤差)が拡散されているものとし、拡散された誤差を補正する。例えば図86に示すように、画像信号Vmbが90である画素の誤差は、右隣の画像信号Vmbが110である画素における入力画像信号Vinとの差分であるとし、110−105=5を拡散された誤差として画像信号Vmbに加算し、視覚補正された画像信号Vmを出力する。同様に全ての画素についても同じ処理を行う。
以上のように、視覚補正部20500では、階調変換部20400によって変換された階調を、人の目に見える際の階調として擬似的に補正を行い、補正した画像信号を動き検出部20100へ供給する。そのため制限された階調や拡散誤差やディザが人の目に見える際の擬似的な画像を元に視線を検出するとともに、階調変換部20400によって、実際に表示される階調を元に、人の目に見える画像を擬似的に得ることができる。なお、図83の動き検出部20100、サブフィールド展開部20200、光量積算部20300、および階調変換部20400の構成は、図79のものと同様であるため説明を省略する。
以上のように、図68、図79、図82、及び図83の画像処理装置では、PDPに画像を表示した際に、サブフィールドの発光パターンと視線方向から、人の目に見える画像を擬似的に得ることができる。このためPDPと異なる表示デバイスにおいて、任意の画像信号をPDPに表示した際に、人の目に見える画像を擬似的に表示することが可能となる。すなわち、例えば、LCDや、CRT、有機EL、プロジェクタ等の第1の表示デバイスを用いて、第1の表示デバイスと異なる特性を有するPDP等の第2の表示デバイスにおいて画像を表示した状態を再現することができ、第2の表示デバイスの表示のエミュレーションを、第2の表示デバイスとは異なる特性の第1の表示デバイスを用いて行うことができる。
なお、PDPのサブフィールドの構造として図73を例に用いたが、サブフィールドの枚数、および各サブフィールドの輝度の重みは任意のものでよい。
図87は、図68の画像処理装置の処理を説明するフローチャートを示している。
ステップST20100において、入力画像信号Vinが、画像処理装置に入力される。次にステップST20200において、動き検出部20100が、入力画像信号Vinのフィールド(又はフレーム)を、順次、注目フィールドとして、その注目フィールドについて、画素毎に動きベクトルを検出し、その動きベクトルの方向を、視線方向として決定する。
図88は、ステップST20200における動き(ベクトル)の検出の処理を説明するフローチャートである。
ステップST20201において注目フィールドの入力画像信号Vinが動き検出部20100に入力される。次にステップST20202において、動き検出部20100は、注目フィールドを構成する画素を、順次、注目画素として選択し、注目画素を中心とする所定のサイズのブロックを注目ブロックとする。そして、動き検出部20100は、注目フィールドの注目ブロックと1フィールド前の所定のサーチ範囲内の候補ブロックとの間で、相関演算を行う。次にステップST20203において、動き検出部20100は、全ての候補ブロックと演算が終了したかを判定する。終了した場合、処理はステップST20204へ進み、終了してない場合、処理は、ステップST20202へ戻り処理を継続する。ステップST20204では、動き検出部20100は、候補ブロックの中で最も相関の高い候補ブロック(差分絶対値の総和の最も小さい候補ブロック)の位置を、動きベクトルとして検出し、その動きベクトルを、注目画素における視線方向mvと決定する。そしてステップST20205において、動き検出部20100は、視線方向mvを出力する。
図87に戻り、次のステップST20300において、サブフィールド展開部20200は、入力画像信号Vinの注目フィールドをPDPに表示する際のサブフィールドの発光パターンを表す発光制御情報SFを生成する。
図89は、ステップST20300におけるサブフィールドの発光パターンを表す発光制御情報SFを生成するフローチャートである。
ステップST20301において入力画像信号Vinの注目フィールドがサブフィールド展開部20200に入力される。次にステップST20302において、サブフィールド展開部20200は、入力画像信号Vinの注目フィールドを、式(31)の各サブフィールドの輝度の重みの総和で表現し、発光情報Niを求める。次にステップST20303において、サブフィールド展開部20200は、発光情報Niに基づき、注目フィールドの各サブフィールドの発光、非発光の発光パターンを表す発光制御情報SFを生成する。そしてステップST20304で、サブフィールド展開部20200は、サブフィールドの発光パターンを表す発光制御情報SFを出力する。
図87に戻り、次のステップST20400において、光量積算部20300は、入力画像信号Vinの注目フィールドをPDPに表示した際に、人の網膜で積分される光量(人の目に見える画像)に相当する画像信号Voutを、擬似的に生成する。
図90は、ステップST20400における光量の積算を示すフローチャートである。
ステップST20401において、ステップST20200で検出された注目フィールドの各画素における視線方向mvと、ステップST20300で生成された注目フィールドのサブフィールドの発光制御情報SFが光量積算部20300に入力される。次にステップST20402では、光量積算部20300において、注目フィールドの各画素が、順次、注目画素として選択され、注目画素における視線方向mvに応じて、光量を積算する光量積算領域が決定される。そしてステップST20403で、光量積算部20300は、ステップST20402で決定された光量積算領域内で発光するサブフィールドの光量を、発行制御情報SFが表す発光パターンに基づいて積算し、注目画素の画素値を求めることにより、その画素値で構成される出力画像(信号)Voutを生成する。そしてステップST20404で、光量積算部20300は、出力画像Voutを出力する。
図87に戻り、次のステップST20500において、図示せぬ第2の表示デバイスとしての、例えば、LCDは、生成された出力画像Voutを表示する。
図91は、図79の画像処理装置の処理を説明するフローチャートを示している。
ステップST20110において、図87のステップST20100と同様に、入力画像信号Vinが入力される。次にステップST20210において画素毎に動きベクトル、ひいては視線方向mvを検出する。ステップST20210の動作は図87のステップST20200と同様である。次にステップST20310において、階調変換部20400は、PDPで表示する際に行われる階調変換を行う。
図92は、ステップST20310における階調変換の動作を示すフローチャートである。
ステップST20311において、入力画像信号Vinが階調変換部20400に入力される。次にステップST20312において、階調変換部20400では、入力画像信号Vinが、周辺の画像から拡散された誤差を加算することにより、画像信号Vpとされる。次にステップST20313において、階調変換部20400は、階調変換テーブル20403(図80)に従って、画像信号Vpの階調を変換する。次にステップST20314において、階調変換部20400は、階調の変換前の画像信号Vpと変換後の画像信号Vpoとの誤差(表示階調誤差)Vpdを算出する。次にステップST20315で、階調変換部20400は、画像信号Vpoのディザ変換を行う。そしてステップST20316で、階調変換部20400は、ディザ変換によって得られた画像信号を、階調変換された画像信号Vdとして出力する。
図91に戻り、次のステップST20410で、ステップST20310で変換された画像信号Vdに対し、図87のステップST20300と同様の処理を行う。また以下のステップST20510とST20610は、図87のステップST20400とST20500とそれぞれ同様であるため説明を省略する。
図93は、図82の画像処理装置の処理を説明するフローチャートを示している。
なお図93では、ステップST20220で変換された画像信号Vdに対し、次のステップST20320で視線方向(動きベクトル)の検出が実行される以外は、ステップST20120,ST20220,ST20320,ST20420,ST20520,ST20620において、それぞれ、図91のステップST20110,ST20310,ST20210,ST20410,ST20510,ST20610と同様の処理が行われる。
図94は、図83の画像処理装置の処理を説明するフローチャートを示している。
ステップST20130において、図93のステップST20120と同様に、入力画像信号Vinが入力される。次にステップST20230で、図93の場合と同様に階調が変換された画像信号Vdが生成される。次にステップST20330で、ステップST20320で変換された画像信号Vdに対し、視覚補正が行われる。以下、ステップST20430,ST20530,ST20630,ST20730において、それぞれ図93のステップST20320,ST20420,ST20520,ST20620と同様の処理が行われる。
図95は、ステップST20330における、視覚補正の動作を示すフローチャートである。ステップST20331で画像信号Vdが視覚補正部20500に入力される。次にステップST20332において、視覚補正部20500は、ディザの視覚的な効果に応じて、画像信号Vdを補正する。次にステップST20333で、視覚補正部20500は、周辺の画素に拡散した誤差の影響を擬似的に補正し、画像信号Vmを生成する。そしてステップST20334で、視覚補正部20500は、画像信号Vmを出力する。
以上のように、図68、図79、図82、及び図83の画像処理装置では、PDPに画像を表示した際に、サブフィールドの発光パターンと視線方向から、人の目に見える画像を擬似的に生成する。このためPDPと異なる表示デバイスにおいて、任意の画像信号をPDPに表示した際に、人の目に見える画像を擬似的に表示することが可能となる。
次に、図68の光量積算部20300の処理の詳細を説明するが、その前に、PDPによる画像の表示について、再度説明する。
PDPによる画像の表示は、図74や図78に示したように、PDPにおける画素位置X,Yと時間方向Tのサブフィールドからなる3次元的なモデル図で表現される。
図96は、PDPによる画像の表示をモデル化したモデル(以下、適宜、表示モデルという)を示している。
ここで、図96は、上述の図74や図78と同様の図である。
表示モデルでは、PDPにおいて入力画像信号Vinを表示する表示面としてのXY平面に垂直な方向を時間Tの方向として、8つのサブフィールドSF1ないしSF8が時間Tの方向に並べられている。
なお、表示面としてのXY平面は、例えば、表示面の左上の点を原点とするとともに、左から右方向をX方向とし、上から下方向をY方向とする。
光量積算部20300(図68)では、PDPに表示される入力画像信号Vinの画素(入力画像信号Vinに従ってPDPに表示される、入力画像信号Vinに対応する画像の画素)を、順次、注目画素として選択し、表示モデルにおいて、注目画素の領域を断面とし、かつ、注目画素における視線方向mv(注目画素について検出された動きベクトルの方向)に延びる領域を、光量の積算を行う光量積算領域として、その光量積算領域内の光量を、発光制御情報SFが表すサブフィールドの発光パターンに従って積算することにより、注目画素の画素値を算出する。
すなわち、光量積算部20300は、図96に示すように、表示モデルの表示面の画素の領域を断面とし、かつ、時間Tの方向に、サブフィールドSF#iの発光の光量に対応する長さだけ延びる直方体形状の領域(空間)を、画素サブフィールド領域として、画素サブフィールド領域内を光量積算領域が占める比率である占有比率に、画素サブフィールド領域に対応するサブフィールドSF#iの発光パターン(サブフィールドSF#iの画素サブフィールド領域が発光であるのか、又は非発光であるのか)に従った発光の光量Lを乗算することにより、画素サブフィールド領域が注目画素の画素値に影響する分の影響光量を、光量積算領域が通る画素サブフィールド領域すべてについて求める。
そして、光量積算部20300は、光量積算領域が通る画素サブフィールド領域すべてについて求められた影響光量を積算することにより、その積算値を、注目画素の画素値として算出する。
以下、光量積算部20300による、表示モデルを用いた、注目画素の画素値の算出の方法の詳細について説明する。
図97は、表示モデルの画素の例を示している。
表示モデルでは、画素は、例えば、横と縦の長さがいずれも1の方形状の領域になっていることとする。この場合、画素の領域の面積は、1(=1×1)である。
また、表示モデルでは、画素の位置(画素位置)を、画素の左上の座標で表すこととする。この場合、例えば、画素位置(X,Y)が(300,200)の画素(としての方形状の領域)については、図97に示すように、その左上の点の座標は(300,200)となり、右上の点の座標は(301,200)となる。また、左下の点の座標は(300,201)となり、右下の点の座標は(301,201)となる。
なお、表示モデルにおける画素の、例えば、左上の点を、以下、適宜、基準点という。
図98は、表示モデルにおける光量積算領域を示している。
例えば、いま、画素位置(x,y)にある画素を注目画素として、時刻T=αにおいて、注目画素(に映る被写体)が、時間Tfの間に、動きベクトル(vx,vy)で表される動き量だけ動き、時刻T=β(=α+Tf)において、位置(x+vx,y+vy)に移動したとする。
この場合、注目画素の領域としての方形状の領域が、位置(x,y)から位置(x+vx,y+vy)に移動するのに描く軌跡が、光量積算領域(空間)となる。
いま、光量積算領域の断面、つまり、位置(x,y)から位置(x+vx,y+vy)に移動する注目画素の領域を、断面領域(平面)ということとすると、断面領域は、画素の領域と同一の形状の領域であるので、4つの頂点を有する。
時刻αからβまでの間の任意の時刻T=t(α≦t≦β)における断面領域の4つの頂点のうちの、左上、右上、左下、及び右下の点(頂点)を、それぞれ、A,B,C、及びDと表すこととすると、左上の点Aは、時間Tfの間に、位置(x,y)から位置(x+vx,y+vy)に移動するので、時刻tにおける点Aの座標(X,Y)は、(x+vx(t-α)/Tf,y+vy(t-α)/Tf)となる。
また、右上の点Bは、点AからX方向に+1だけ離れた点であるから、時刻tにおける点Bの座標(X,Y)は、(x+vx(t-α)/Tf+1,y+vy(t-α)/Tf)となる。同様に、左下の点Cは、点AからY方向に+1だけ離れた点であるから、時刻tにおける点Cの座標(X,Y)は、(x+vx(t-α)/Tf,y+vy(t-α)/Tf+1)となり、右下の点Dは、点AからX方向に+1だけ離れ、Y方向に+1だけ離れた点であるから、時刻tにおける点Dの座標(X,Y)は、(x+vx(t-α)/Tf+1,y+vy(t-α)/Tf+1)となる。
図99は、時刻T=tの断面領域を示している。
点AないしDを頂点とする断面領域は、変形しないので、任意の時刻T=tにおいて、(XY平面上に射影したときに)基準点を1以上の数だけ含む。図99では、断面領域に、1つの基準点(a,b)が含まれている。
ここで、断面領域に、複数の基準点がある場合があるが、その場合については、後述する。
また、断面領域は、時刻Tの経過とともに移動し、これにより、断面領域内の基準点の位置が変化するが、これは、断面領域を基準とすれば、相対的に、基準点が、時刻Tの経過とともに移動していると捉えることができる。そして、時刻Tの経過とともに基準点が移動することによって、断面領域内の基準点が(他の基準点)に変更される場合があるが、この場合についても、後述する。
断面領域では、基準点(a,b)を通り、X軸に平行な直線LXと、Y軸に平行な直線LYとが、表示モデルを構成する画素の境界になるため、光量の積算は、断面領域を、直線LXとLYとで分割して得られる領域(以下、適宜、分割領域という)ごとに行う必要がある。
図99では、基準点(a,b)が、断面領域の内部(境界以外の部分)にあり、このため、断面領域は、4つの分割領域S1,S2,S3、及びS4に分割される。なお、図99では、基準点(a,b)の右上の領域が分割領域S1と、基準点(a,b)の左上の領域が分割領域S2と、基準点(a,b)の左下の領域が分割領域S3と、基準点(a,b)の右上の領域が分割領域S4と、それぞれされている。
時刻T=tにおける分割領域Si(i=1,2,3,4)の面積(Si)は、以下の式(32)ないし(35)で表される。
いま、表示モデル(図96)の8つのサブフィールドSF1ないしSF8のうちの、ある1つのサブフィールドSF#jを、注目サブフィールドSF#jとして、断面領域が、注目サブフィールドSF#jを、時刻T=sfaから時刻T=sfbの間に通過することとする。
断面領域が、注目サブフィールドSF#jを通過するときに描く軌跡としての光量積算領域は、その通過時に、分割領域S1ないしS4のそれぞれが描く軌跡の結合に等しい。
いま、光量積算領域のうちの、分割領域Siが描く軌跡としての領域(分割領域Siを断面とする立体)の部分を、分割立体Viということとすると、分割立体Viの体積(Vi)は、以下の式(36)ないし(39)に従って、分割領域Siを、時刻tsfaからtsfbにわたって積分することで求めることができる。
なお、ここでは、断面領域が、注目サブフィールドSF#jを通過するときに、基準点(a,b)は変更されない(断面領域が注目サブフィールドSF#jの通過を開始するときに、断面領域内に存在した基準点(a,b)が、断面領域が注目サブフィールドSF#jを通過するまで、断面領域内に存在し続ける)こととする。
一方、表示モデルにおいて、注目サブフィールドSF#jの、画素の領域を断面として時間Tの方向に延びる直方体形状の立体である画素フィールド領域(図96)の体積をVとすると、その画素フィールド領域の体積Vと、分割立体V1,V2,V3、及びV4の体積(Vi)との間には、式(40)の関係がある。
光量積算領域の一部である分割立体Viは、注目サブフィールドSF#jの、ある画素フィールド領域の一部を占めるが、その占める比率を、占有比率ということとすると、占有比率は、Vi/Vで表され、式(36)ないし式(40)から求めることができる。
いま、分割立体Viが一部を占める、注目サブフィールドSF#jの画素フィールド領域を、占有画素フィールド領域ということとすると、その占有画素フィールド領域(の光量)が、注目画素の画素値に影響する分の光量(以下、適宜、影響光量という)は、占有比率Vi/Vに、占有画素フィールド領域の光量SFViを乗算することで求めることができる。
ここで、占有画素フィールド領域の光量SFViは、注目サブフィールドSF#jの占有画素フィールド領域が発光している場合には、その注目サブフィールドSF#jの輝度の重みLとされ、注目サブフィールドSF#jの占有画素フィールド領域が発光していない(非発光である)場合には、0とされる。なお、注目サブフィールドSF#jの占有画素フィールド領域の発光/非発光は、サブフィールド展開部20200(図68)から光量積算部20300に供給される発光制御情報SFが表す発光パターンから認識することができる。
注目サブフィールドSF#j(の光量)が、注目画素の画素値に影響する分の光量(注目サブフィールドSF#jによる光量)PSFL,jは、分割立体V1,V2,V3、及びV4それぞれが一部を占有する占有画素フィールド領域の影響光量SFV1×V1/V,SFV2×V2/V,SFV3×V3/V、及びSFV4×V4/Vの総和であるから、式(41)により求めることができる。
光量積算部20300(図68)では、式(41)に従い、注目画素について、8つのサブフィールドSF1ないしSF8それぞれによるPSFL,1ないしPSFL,8が求められる。そして、光量積算部20300では、8つのサブフィールドSF1ないしSF8それぞれによるPSFL,1ないしPSFL,8が積算され、その積算値PSFL,1+PSFL,2+・・・+PSFL,8が、注目画素の画素値とされる。なお、積算値PSFL,1+PSFL,2+・・・+PSFL,8を求めることは、光量積算領域が通る画素サブフィールド領域すべての影響光量を求め、その影響光量を積算することと等価である。
ところで、時刻Tの経過とともに移動する断面領域については、上述したように、断面領域内に、複数の基準点が存在する場合や、断面領域内の基準点が(他の基準点)に変更される場合がある。図100及び図101を参照して、そのような場合について説明する。
図100及び図101は、表示モデルの位置(x,y)にある画素を注目画素として、時刻Tの経過とともに表示モデル内を移動する断面領域を示している。
なお、図101は、図100に続く図である。
図100及び図101では、画素位置(x,y)にある画素を注目画素として、注目画素(に映る被写体)が、時刻T=tsfaから時刻T=tsfbにかけて、動きベクトル(+2,-1)で表される動き量だけ動き、位置(x+2,y-1)に移動している。
以上のように、位置(x,y)から位置(x+2,y-1)に移動する注目画素の領域である断面領域においては、その断面領域と、表示モデルの画素の領域との(XY平面から見た)位置が完全に一致するとき、その画素の領域の4つの頂点が、基準点として、断面領域内に存在する。
すなわち、例えば、移動を開始するときの位置(x,y)にある断面領域(左上の頂点の位置が位置(x,y)の断面領域)内には、点(x,y)、点(x+1,y)、点(x,y+1)、及び点(x+1,y+1)の4つの基準点が存在する。
以上のように、断面領域内に複数の基準点が存在する場合、例えば、注目画素における視線方向mv(注目画素について検出された動きベクトルの方向)にある1つの基準点が、注目画素の画素値を求めるのに用いる基準点(以下、適宜、注目基準点という)として選択される。
すなわち、例えば、注目画素における視線方向mvを表す動きベクトルのX成分が0より大(符号が正)で、Y成分が0以下(Y成分が0か、又はその符号が負)である場合には、4つの基準点(x,y),(x+1,y),(x,y+1)、及び(x+1,y+1)のうちの、右上の基準点(x+1,y)が、注目基準点として選択される。
また、例えば、注目画素における視線方向mvを表す動きベクトルのX成分が0以下で、Y成分が0以下である場合には、4つの基準点(x,y),(x+1,y),(x,y+1)、及び(x+1,y+1)のうちの、左上の基準点(x,y)が、注目基準点として選択される。
さらに、例えば、注目画素における視線方向mvを表す動きベクトルのX成分が0以下で、Y成分が0より大である場合には、4つの基準点(x,y),(x+1,y),(x,y+1)、及び(x+1,y+1)のうちの、左下の基準点(x,y+1)が、注目基準点として選択される。
また、例えば、注目画素における視線方向mvを表す動きベクトルのX成分及びY成分がいずれも0より大である場合には、4つの基準点(x,y),(x+1,y),(x,y+1)、及び(x+1,y+1)のうちの、右下の基準点(x+1,y+1)が、注目基準点として選択される。
図100では、注目画素における視線方向mvを表す動きベクトルは、ベクトル(+2,-1)であるため、右上の基準点(x+1,y)が、注目基準点として選択される。
以上のようにして、注目基準点(x+1,y)が選択された後は、断面領域は、注目基準点(x+1,y)によって、図99で説明した4つの分割領域S1,S2,S3、及びS4に分割することができ、したがって、断面領域が視線方向mvに移動することにより、その断面領域内に、新たな基準点が含まれる状態とならない限り、式(32)ないし式(41)に従って、注目画素の画素値を求めることができる。
一方、断面領域が視線方向mvに移動することにより、その断面領域内に、新たな基準点が含まれる状態となった場合、その新たな基準点を対象として、上述した場合と同様にして、新たな注目基準点が選択し直され、これにより、注目基準点が変更される。
すなわち、例えば、図100では、時刻T=γにおいて、断面領域の位置のX座標x+1が、表示モデルの画素の位置のX座標x+1と一致し、これにより、断面領域内に、新たな基準点(x+2,y)が含まれる状態となっている。
この場合、新たな基準点(x+2,y)を対象として、新たな注目基準点が選択し直されるが、いまの場合、新たな基準点は、基準点(x+2,y)だけなので、その基準点(x+2,y)が、新たな注目基準点として選択され、これにより、注目基準点が、基準点(x+1,y)から基準点(x+2,y)に変更される。
なお、断面領域の位置のY座標が、表示モデルの画素の位置のY座標と一致し、これにより、断面領域内に、新たな基準点が含まれる状態となった場合も、上述したように、注目基準点が変更される。
図101は、注目基準点が変更された後、すなわち、新たな注目基準点(x+2,y)が選択された後の断面領域を示している。
新たな注目基準点が選択された後は、断面領域は、その新たな注目基準点によって、図99で説明した場合と同様に、4つの分割領域に分割することができる。図101では、断面領域は、4つの分割領域S1',S2',S3'、及びS4'に分割されている。
新たな注目基準点の選択後、断面領域が視線方向mvに移動することにより、その断面領域内に、新たな基準点が含まれる状態となった場合、その新たな基準点を対象として、上述した場合と同様にして、新たな注目基準点が選択し直され、これにより、注目基準点が変更される。
図101では、時刻T=tsfbにおいて、断面領域の位置のX座標x+2が、表示モデルの画素の位置(x+2,y-1)のX座標x+2と一致するとももに、断面領域の位置のY座標y-1が、表示モデルの画素の位置(x+2,y-1)のY座標y-1と一致し、これにより、断面領域内に、3つの新たな基準点(x+2,y-1),(x+3,y-1)、及び(x+3,y)が含まれる状態となっている。
断面領域が、それ以降も移動する場合には、3つの新たな基準点(x+2,y-1),(x+3,y-1)、及び(x+3,y)の中から、上述したようにして、新たな注目基準点が選択し直される。
以上のように、注目基準点を選択し直す(変更する)ことで、光量積算領域が占有画素フィールド領域(図96)を占める占有比率、つまり、占有画素フィールド領域のうちの、光量積算領域が占める部分(この部分は、上述の分割立体に相当するので、この部分を、以下、適宜、分割立体の部分という)Vεの体積(Vε)と、占有画素フィールド領域Vの体積(V)との比Vε/Vを求めることができる。
すなわち、例えば、図100及び図101に示したように、断面領域が、時刻T=tsfaから時刻T=tsfbにかけて、位置(x,y)から位置(X+2,y-1)に移動して、注目サブフィールドSF#jを通過する場合において、注目基準点の変更が、時刻T=γにおいて1回だけ行われるときには、注目サブフィールドSF#jの、例えば、位置(x+1,y-1)の画素の領域を断面とする占有画素フィールド領域のうちの光量積算領域が占める分割立体の部分Vεの体積(Vε)は、式(42)で求めることができる。
ここで、式(42)において、S1は、図100に示すように、基準点(x+1,y)が注目基準点となっている時刻T=tsfaから時刻T=γまでの間の、占有画素フィールド領域の断面となっている位置(x+1,y-1)の画素の領域上の分割領域の面積を表す。また、S2'は、図101に示すように、基準点(x+2,y)が注目基準点となっている時刻T=γから時刻T=tsfbまでの間の、占有画素フィールド領域の断面となっている位置(x+1,y-1)の画素の領域上の分割領域の面積を表す。
式(42)に示したように、注目サブフィールドSF#jの、ある位置(X,Y)の画素の領域を断面とする占有画素フィールド領域のうちの光量積算領域が占める分割立体の部分Vεの体積(Vε)は、積分の区間を、注目基準点が変更される区間(式(42)では、時刻T=tsfaから時刻T=γまでの間と、時刻T=γから時刻T=tsfbまでの間)に分けて、占有画素フィールド領域の断面となっている画素の領域上の分割領域の面積(式(42)では、面積S1とS2')を積分することで求めることができる。
そして、光量積算領域が占有画素フィールド領域を占める占有比率Vε/Vは、占有画素フィールド領域のうちの光量積算領域が占める分割立体の部分Vεの体積(Vε)を、占有画素フィールド領域Vの体積(V)で除算することにより求めることができる。
占有比率Vε/Vを求めた後は、図98及び図99で説明したように、占有比率Vi/Vに、占有画素フィールド領域の光量を乗算することで、占有画素フィールド領域(の光量)が注目画素の画素値に影響する分の光量(影響光量)を求めることができる。そして、光量積算領域が通る画素サブフィールド領域すべての影響光量を求め、その影響光量を積算することで、注目画素の画素値を求めることができる。
次に、式(42)に示したように、占有画素フィールド領域のうちの光量積算領域が占める分割立体の部分Vεの体積(Vε)を求めるには、注目基準点が変更される時刻(式(42)では、時刻γ)(以下、適宜、変更時刻という)が必要となる。
注目基準点の変更は、断面領域の位置のX座標が、表示モデルの画素の位置のX座標と一致するか、又は、断面領域の位置のY座標が、表示モデルの画素の位置のY座標y-1と一致するときに生じる。したがって、変更時刻は、次のようにして求めることができる。
すなわち、例えば、いま、上述の図98に示したように、画素位置(x,y)にある画素を注目画素として、時刻T=αにおいて、位置(x,y)にある断面領域が、時間Tfの間に、動きベクトル(vx,vy)で表される動き量だけ動き、時刻T=β(=α+Tf)において、位置(x+vx,y+vy)に移動したとする。
この場合、断面領域の位置のX座標が、表示モデルの画素の位置のX座標と一致する時刻としての変更時刻Tcxは、式(43)で表される。
ここで、動きベクトルのX成分vxは、整数値をとることとする。
また、断面領域の位置のY座標が、表示モデルの画素の位置のY座標と一致する時刻としての変更時刻Tcyは、式(44)で表される。
ここで、動きベクトルのY成分vyは、整数値をとることとする。
なお、動きベクトルのX成分vxが0以外の値である場合には、時刻Tが、式(43)に従って求められる変更時刻Tcxになるごとに、直前に注目基準点であった基準点のX座標に+1又は-1を加算した点が、新たな注目基準点(変更後の基準点)となる。すなわち、動きベクトルのX成分vxが正である場合には、直前に注目基準点であった基準点のX座標を+1した点が、新たな注目基準点となり、動きベクトルのX成分vxが負である場合には、直前に注目基準点であった基準点のX座標を-1した点が、新たな注目基準点となる。
同様に、動きベクトルのY成分vyが0以外の値である場合には、時刻Tが、式(44)に従って求められる変更時刻Tcyになるごとに、直前に注目基準点であった基準点のY座標に+1又は-1を加算した点が、新たな注目基準点となる。すなわち、動きベクトルのY成分vyが正である場合には、直前に注目基準点であった基準点のY座標を+1した点が、新たな注目基準点となり、動きベクトルのY成分vyが負である場合には、直前に注目基準点であった基準点のY座標を-1した点が、新たな注目基準点となる。
なお、変更時刻TcxとTcyとが等しい場合には、直前に注目基準点であった基準点のX座標及びY座標の両方を、上述したように、+1又は-1した点が、新たな注目基準点となる。
ここで、図100及び図101では、時刻T=tsfaにおいて、位置(x,y)にある断面領域が、時間Tfの間に、動きベクトル(vx,vy)=(+2,-1)で表される動き量だけ動き、時刻T=tsfb(=tsfa+Tf)において、位置(x+2,y-1)に移動している。
図100及び図101において、時刻T=γは、式(43)の変数Nが1であるときの変更時刻Tcxであり、式(43)において、Tf=tsfb-tsfa,N=1、及びvx=+2とすることにより、変更時刻Tcx=γは、式(tsfb-tsfa)×1/|+2|に従って求めることができる。
次に、図102のフローチャートを参照して、図90で説明した、図87のステップST20400における光量の積算の処理の詳細について、さらに説明する。
ステップST21001において、図87のステップST20200で検出された注目フィールドの各画素における視線方向mvが、動き検出部20100(図68)から光量積算部20300に供給されるとともに、図87のステップST20300で生成された注目フィールドのサブフィールドの発光パターンを表す発光制御情報SFが、サブフィールド展開部20200(図68)から光量積算部20300に供給される。
ここで、ステップST21001は、図90のステップST20401に対応する。
その後、処理は、ステップST21001からステップST21002に進み、光量積算部20300(図75)において、光量積算領域決定回路20301は、注目フィールドを構成する画素のうちの、まだ注目画素として選択していない画素の1つを、注目画素に選択して、処理は、ステップST21003に進む。
ステップST21003では、光量積算領域決定回路20301は、注目画素について、その注目画素における視線方向mvに基づき、表示モデルの基準点の中から、初期(最初)の注目基準点となる基準点を設定(選択)し、処理は、ステップST21004に進む。
ステップST21004では、光量積算領域決定回路20301は、式(43)及び式(44)で説明したように、注目画素について、注目基準点が変更する変更時刻を求めるとともに、各変更時刻において、新たな注目基準点となる基準点を求めて、処理は、ステップST21005に進む。
ステップST21005では、光量積算領域決定回路20301は、注目画素における視線方向mvと、ステップST21004で求めた変更時刻、及び、各変更時刻において新たな注目基準点となる基準点とを用いて、光量積算領域を求める。
すなわち、ステップST21005では、光量積算領域決定回路20301は、注目画素における視線方向mvと、変更時刻、及び、各変更時刻において新たな注目基準点となる基準点とを用いることにより、8つのサブフィールドSF1ないしSF8それぞれについて、占有画素フィールド領域のうちの、注目画素の光量積算領域が占める分割立体の部分Vi(式(41))の体積(Vi)を求める。ここで、8つのサブフィールドSF1ないしSF8それぞれについて得られる分割立体の部分Viをすべて合わせた領域が、光量積算領域となる。
ステップST21005では、さらに、光量積算領域決定回路20301は、8つのサブフィールドSF1ないしSF8それぞれについて、注目画素の光量積算領域が占有画素フィールド領域を占める占有比率Vi/Vを求め、処理は、ステップST21006に進む。
ステップST21006では、光量積算領域決定回路20301は、8つのサブフィールドSF1ないしSF8それぞれについて、注目画素の光量積算領域が占有画素フィールド領域を占める占有比率Vi/Vに、その占有画素フィールド領域の光量SFViを乗算することで、式(41)で説明したように、占有画素フィールド領域(の光量)が注目画素の画素値に影響する分の光量(影響光量)PSFL,1ないしPSFL,8を求め、光量積算回路20302に供給する。
なお、サブフィールドSF#jの占有画素フィールド領域の光量SFViは、サブフィールドSF#jが発光している場合には、そのサブフィールドSF#jの輝度の重みLとされ、サブフィールドSF#jが発光していない(非発光である)場合には、0とされる。光量積算領域決定回路20301は、サブフィールドSF#jの発光/非発光を、サブフィールド展開部20200(図68)から供給される発光制御情報SFが表す発光パターンから認識する。
ここで、以上のステップST21002ないしステップST21006が、図90のステップST20402に対応する。
その後、処理は、ステップST21006からステップST21007に進み、光量積算回路20302は、光量積算領域決定回路20301からの影響光量PSFL,1ないしPSFL,8を積算することで、注目画素の画素値を求め、処理は、ステップST21008に進む。
ここで、ステップST21007は、図90のステップST20403に対応する。
ステップST21008では、光量積算領域決定回路20301が、注目フィールドを構成する画素のすべてを、注目画素としたかどうかを判定する。
ステップST21008において、注目フィールドを構成する画素のすべてを、まだ、注目画素としていないと判定された場合、処理は、ステップST21002に戻り、光量積算領域決定回路20301は、注目フィールドを構成する画素のうちの、まだ注目画素として選択していない画素の1つを、注目画素に新たに選択し、以下、同様の処理が繰り返される。
また、ステップST21008において、注目フィールドを構成する画素のすべてを、注目画素としたと判定された場合、処理は、ステップST21009に進み、光量積算回路20302は、注目フィールドを構成する画素のすべてを注目画素として求めた画素値からなる出力画像Voutを出力する。
ここで、ステップST21009は、図90のステップST20404に対応する。
次に、図103は、図68の光量積算部20300の他の構成例を示している。
なお、図中、図75の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
すなわち、図103の光量積算部20300は、光量積算回路20302が設けられている点で、図75の場合と共通するが、図75の光量積算領域決定回路20301に代えて、光量積算値テーブル記憶部20303、及び光量積算領域選択回路20304が設けられている点で、図75の場合と相違する。
図103の光量積算部20300では、視線方向mvと、占有比率とを対応付けたテーブル(以下、適宜、光量積算値テーブルという)を用い、注目画素における視線方向mvに基づき、注目画素について、占有比率が求められる。
すなわち、図103において、光量積算値テーブル記憶部20303は、光量積算値テーブルを記憶している。
光量積算値テーブル記憶部20303には、動き検出部20100(図68)から、注目フィールドの各画素における視線方向mvが供給される。光量積算値テーブル記憶部20303は、注目フィールドを構成する画素を、順次、注目画素として、そこに供給される注目画素における視線方向mvに対付けられている占有比率を、注目画素の光量積算領域が占有画素フィールド領域を占める占有比率Vi/Vとして、光量積算値テーブルから読み出し、光量積算領域選択回路20304に供給する。
光量積算領域選択回路20304には、上述したように、光量積算値テーブル記憶部20303から占有比率が供給される他、サブフィールド展開部20200(図68)から、注目フィールドのサブフィールドの発光パターンを表す発光制御情報SFが供給される。
光量積算領域選択回路20304は、サブフィールドSF#jの占有画素フィールド領域の発光/非発光を、サブフィールド展開部20200からの発光制御情報SFが表す発光パターンから認識する。さらに、光量積算領域選択回路20304は、サブフィールドSF#jの占有画素フィールド領域が発光している場合には、その占有画素フィールド領域の光量SFViを、そのサブフィールドSF#jの輝度の重みLに設定し、サブフィールドSF#jの占有画素フィールド領域が発光していない(非発光である)場合には、その占有画素フィールド領域の光量SFViを、0に設定する。
そして、光量積算領域選択回路20304は、8つのサブフィールドSF1ないしSF8それぞれについて、光量積算値テーブル記憶部20303からの、注目画素の光量積算領域が占有画素フィールド領域を占める占有比率Vi/Vに、その占有画素フィールド領域の光量SFViを乗算することで、式(41)で説明したように、占有画素フィールド領域(の光量)が注目画素の画素値に影響する分の光量(影響光量)PSFL,1ないしPSFL,8を求め、光量積算回路20302に供給する。
図104は、図103の光量積算値テーブル記憶部20303に記憶された光量積算値テーブルを、模式的に示している。
光量積算値テーブルには、動き検出部20100が検出し得る動きベクトルとしての視線方向mvと、その視線方向mvに対して計算によりあらかじめ求められた、8つのサブフィールドSF1ないしSF8それぞれについての、画素の領域を断面とする光量積算領域が占有画素フィールド領域を占める占有比率Vi/Vとが対応付けられて記憶されている。
すなわち、光量積算値テーブルは、視線方向mvごとに用意されている。したがって、視線方向mvとしての動きベクトルのサーチ範囲が、例えば、後述するように、16×16画素の範囲であり、視線方向mvが256通りをとり得ると、光量積算値テーブルは、256個だけ存在する。
1つの視線方向mvに対する光量積算値テーブルには、8つのサブフィールドSF1ないしSF8それぞれについての占有比率Vi/Vが登録されており、これにより、視線方向mvと、その視線方向mvに対する、8つのサブフィールドSF1ないしSF8それぞれについての占有比率Vi/Vとが対応付けられている。
図104は、ある1つの視線方向mvに対する光量積算値テーブルを示している。
1つの視線方向mvに対する光量積算値テーブルは、例えば、横軸をサブフィールドSF#jとし、縦軸を注目画素からの相対位置[x,y]とするテーブルになっている。
ここで、本実施の形態では、8つのサブフィールドSF1ないしSF8があるので、光量積算値テーブルの横軸には、その8つのサブフィールドSF1ないしSF8それぞれに対応する欄が設けられる。
また、光量積算値テーブルの縦軸の相対位置[x,y]のx座標とy座標は、注目画素の位置を基準(原点)とするX方向の位置とY方向の位置を、それぞれ表す。例えば、相対位置[1,0]は、注目画素の右に隣接する画素の位置を表し、例えば、相対位置[0,-1]は、注目画素の上に隣接する画素の位置を表す。
いま、視線方向mvとしての動きベクトルのサーチ範囲が、例えば、注目画素を中心として、X方向及びY方向のいずれにも、−8画素ないし+7画素の、16×16画素の範囲であるとすると、注目画素が1フィールドの間に動く動き量は、注目画素を基準として、[-8,-8]ないし[7,7]の256通りがあるので、光量積算値テーブルの縦軸には、その256通りの相対位置[x,y]それぞれに対応する欄が設けられる。
視線方向mvが、ある動きベクトルMVで表される場合の、その視線方向MVに対する光量積算値テーブルでは、ある相対位置[x,y]の行の、あるサブフィールドSF#jの列の欄には、注目画素の視線方向mvが、動きベクトルMVで表される場合において、注目画素からの相対位置が[x,y]で表される画素の領域を断面とする、サブフィールドSF#jの占有画素フィールド領域BSF#j[x,y]を、注目画素の光量積算領域が占める占有比率RSF#j[x,y](式(41)のVi/V)、又は、式(42)のVεを占有画素フィールド領域Vの体積(V)で除算したVε/V)が、計算によりあらかじめ求められて登録されている。
なお、注目画素からの相対位置が[x,y]で表される画素の領域を断面とする、サブフィールドSF#jの占有画素フィールド領域BSF#j[x,y]を、注目画素の光量積算領域が通らない場合(占有画素フィールド領域BSF#j[x,y]と、注目画素の光量積算領域とが重複しない場合)、その占有画素フィールド領域BSF#j[x,y]を、注目画素の光量積算領域が占める占有比率RSF#j[x,y]は、0とされる。
ここで、注目画素における視線方向mvが、例えば、動きベクトル(1,-1)で表される場合には、注目画素の光量積算領域は、注目画素を中心とする16×16画素のサーチ範囲にある256画素それぞれの領域を断面とする、サブフィールドSF1ないしSF8それぞれの占有画素フィールド領域(256×8個の占有画素フィールド領域)のうちの、注目画素の領域を断面とする、サブフィールドSF1ないしSF8それぞれの8個の占有画素フィールド領域BSF1[0,0]ないしBSF8[0,0]、注目画素の右に隣接する画素を断面とする、サブフィールドSF1ないしSF8それぞれの8個の占有画素フィールド領域BSF1[1,0]ないしBSF8[1,0]、注目画素の上に隣接する画素を断面とする、サブフィールドSF1ないしSF8それぞれの8個の占有画素フィールド領域BSF1[0,-1]ないしBSF8[0,-1]、及び、注目画素の右上に隣接する画素を断面とする、サブフィールドSF1ないしSF8それぞれの8個の占有画素フィールド領域BSF1[1,-1]ないしBSF8[1,-1]だけを通り、他の占有画素フィールド領域を通らない。
したがって、注目画素の領域を断面とする、サブフィールドSF1ないしSF8それぞれの8個の占有画素フィールド領域BSF1[0,0]ないしBSF8[0,0]のうちの、注目画素の光量積算領域が通る部分(分割立体の部分)の体積(式(36)ないし式(40)のVi)を、VSF1[0,0]ないしVSF8[0,0]と、注目画素の右に隣接する画素を断面とする、サブフィールドSF1ないしSF8それぞれの8個の占有画素フィールド領域BSF1[1,0]ないしBSF8[1,0]のうちの、注目画素の光量積算領域が通る部分の体積を、VSF1[1,0]ないしVSF8[1,0]と、注目画素の上に隣接する画素を断面とする、サブフィールドSF1ないしSF8それぞれの8個の占有画素フィールド領域BSF1[0,-1]ないしBSF8[0,-1]のうちの、注目画素の光量積算領域が通る部分の体積を、VSF1[0,-1]ないしVSF8[0,-1]と、注目画素の右上に隣接する画素を断面とする、サブフィールドSF1ないしSF8それぞれの8個の占有画素フィールド領域BSF1[1,-1]ないしBSF8[1,-1]のうちの、注目画素の光量積算領域が通る部分の体積を、VSF1[1,-1]ないしVSF8[1,-1]と、それぞれ表すこととすると、視線方向mvが、動きベクトル(1,-1)で表される、その視線方向mvに対する光量積算値テーブルでは、占有比率RSF1[0,0]ないしRSF8[0,0]が、値VSF1[0,0]/VないしVSF8[0,0]/Vに、占有比率RSF1[1,0]ないしRSF8[1,0]が、値VSF1[1,0]/VないしVSF8[1,0]/Vに、占有比率RSF1[0,-1]ないしRSF8[0,-1]が、値VSF1[0,-1]/VないしVSF8[0,-1]/Vに、占有比率RSF1[1,-1]ないしRSF8[1,-1]が、値VSF1[1,-1]/VないしVSF8[1,-1]/Vに、それぞれなっており、他の占有比率は、すべて0になっている。
光量積算値テーブル記憶部20303(図103)は、注目画素における視線方向mvに対する光量積算値テーブルに登録されている、8つのサブフィールドSF1ないしSF8それぞれと、256通りの相対位置[-8,-8]ないし[7,7]それぞれとの、合計で、8×256通りの占有比率を読み出し、光量積算領域選択回路20304に供給する。
光量積算領域選択回路20304は、光量積算値テーブル記憶部20303からの占有比率の中から、値が0以外の占有比率を選択し、その値が0以外の占有比率に、対応する光量SFViを乗算することで、影響光量を求める。
なお、ここでは、光量積算領域選択回路20304が、光量積算値テーブル記憶部20303からの占有比率の中から、値が0以外の占有比率を選択し、その値が0以外の占有比率に、対応する光量SFViを乗算することで、影響光量を求めることとしたが、値が0の占有比率に対しては、どのような光量SFViを乗算を乗算しても、影響光量は0となるので、光量積算領域選択回路20304では、光量積算値テーブル記憶部20303からの占有比率の中から、値が0以外の占有比率を特に選択することなく、光量積算値テーブル記憶部20303からの占有比率のそれぞれに、対応する光量SFViを乗算することで、影響光量を求めることが可能である。
次に、図105のフローチャートを参照して、図103の光量積算部20300による光量の積算の処理の詳細について説明する。
ステップST21011において、注目フィールドの各画素における視線方向mvが、動き検出部20100(図68)から光量積算部20300の光量積算値テーブル記憶部20303に供給されるとともに、注目フィールドのサブフィールドの発光パターンを表す発光制御情報SFが、サブフィールド展開部20200(図68)から光量積算部20300の光量積算領域選択回路20304に供給される。
その後、処理は、ステップST21011からステップST21012に進み、光量積算値テーブル記憶部20303は、注目フィールドを構成する画素のうちの、まだ注目画素として選択していない画素の1つを、注目画素に選択して、処理は、ステップST21013に進む。
ステップST21013では、光量積算値テーブル記憶部20303は、動き検出部20100からの視線方向mvのうちの、注目画素における視線方向mvに対する光量積算値テーブルから、そこに登録されているすべての占有比率RSF#j[x,y]を読み出して、光量積算領域選択回路20304に供給し、処理は、ステップST21014に進む。
ステップST21014では、光量積算領域選択回路20304は、光量積算値テーブル記憶部20303からの占有比率RSF#j[x,y]に、対応する占有画素フィールド領域BSF#j[x,y]の光量SFjを乗算することで、占有画素フィールド領域BSF#j[x,y](の光量)が注目画素の画素値に影響する分の光量(影響光量)を求め、光量積算回路20302に供給する。
なお、サブフィールドSF#jの占有画素フィールド領域の光量SFjは、サブフィールドSF#jが発光している場合には、そのサブフィールドSF#jの輝度の重みLとされ、サブフィールドSF#jが発光していない(非発光である)場合には、0とされる。光量積算領域選択回路20304は、サブフィールドSF#jの発光/非発光を、サブフィールド展開部20200(図68)から供給される発光制御情報SFが表す発光パターンから認識する。
その後、処理は、ステップST21014からステップST21015に進み、光量積算回路20302は、光量積算領域選択回路20304からの影響光量すべてを積算することで、注目画素の画素値を求め、処理は、ステップST21016に進む。
ステップST21016では、光量積算領域選択回路20304が、注目フィールドを構成する画素のすべてを、注目画素としたかどうかを判定する。
ステップST21016において、注目フィールドを構成する画素のすべてを、まだ、注目画素としていないと判定された場合、処理は、ステップST21012に戻り、光量積算値テーブル記憶部20303は、注目フィールドを構成する画素のうちの、まだ注目画素として選択していない画素の1つを、注目画素に新たに選択し、以下、同様の処理が繰り返される。
また、ステップST21016において、注目フィールドを構成する画素のすべてを、注目画素としたと判定された場合、処理は、ステップST21017に進み、光量積算回路20302は、注目フィールドを構成する画素のすべてを注目画素として求めた画素値からなる出力画像Voutを出力する。
次に、上述した一連の処理は、専用のハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
そこで、図106は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク21105やROM21103に予め記録しておくことができる。
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory),MO(Magneto Optical)ディスク,DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体21111に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体21111は、いわゆるパッケージソフトウエアとして提供することができる。
なお、プログラムは、上述したようなリムーバブル記録媒体21111からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部21108で受信し、内蔵するハードディスク21105にインストールすることができる。
コンピュータは、CPU(Central Processing Unit)21102を内蔵している。CPU21102には、バス21101を介して、入出力インタフェース21110が接続されており、CPU21102は、入出力インタフェース21110を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部21107が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)21103に格納されているプログラムを実行する。あるいは、また、CPU21102は、ハードディスク21105に格納されているプログラム、衛星若しくはネットワークから転送され、通信部21108で受信されてハードディスク21105にインストールされたプログラム、またはドライブ21109に装着されたリムーバブル記録媒体21111から読み出されてハードディスク21105にインストールされたプログラムを、RAM(Random Access Memory)21104にロードして実行する。これにより、CPU21102は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU21102は、その処理結果を、必要に応じて、例えば、入出力インタフェース21110を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部21106から出力、あるいは、通信部21108から送信、さらには、ハードディスク21105に記録等させる。
[CRT(Cathode Ray Tube)やLCD(Liquid Crystal Display)等の他のデバイスのディスプレイでプラズマディスプレイ(PDP(Plasma Display Panel))の見た目を再現する事を信号処理により可能とする画像信号処理装置の実施の形態]
次に、PDPに画像を表示したときの見た目を、他のデバイスのディスプレイで再現する画像信号処理装置の実施の形態について説明する。
PDPでは、例えば、河村正行著、「よくわかるプラズマテレビ」、電波新聞社に記載されているように、ストライプリブ構造等が採用され、各画素は、R(Red),G(Green),B(Blue)を発光する部分がストライプに配列されて構成される。
ところで、PDPに画像がどのように表示されるかを評価する場合に、CRTやLCDなどのモニタを評価用モニタとして使用すると、PDPとLCD等とでは、表示特性が異なるため、LCDに表示された画像によっては、PDPに表示される(であろう)画像の見た目や画質を評価することが困難であった。
すなわち、評価時にLCDに表示される画像の画質と、実際のPDPでの観賞時にPDPに表示される画像の画質とが必ずしも一致してはいなかった。
そこで、以下では、PDP以外の、例えば、LCD等のディスプレイで、PDP(に画像を表示したとき)の見た目を再現する事を信号処理により可能とする実施の形態について説明する。
図107は、PDP以外のディスプレイでPDPの見た目を再現する画像信号処理装置の一実施の形態の構成例を示している。
図107において、画像信号処理装置は、画像処理部30001と、モニタ30002とから構成され、PDP以外の表示方式の表示装置であるモニタ30002で画像信号を表示したときに、PDP表示装置で表示された画像に見えるように、画像処理部30001に供給される画像信号を処理して、モニタ30002に表示させる。
すなわち、画像処理部30001は、そこに供給される画像信号に対して、RGB(Red,Green,Bule)の順で点灯しているために生ずる動画による色ズレを再現する色ズレ付加処理、空間方向に適用するディザパターンを再現する空間ディザ付加処理、時間方向に適用するディザパターンを再現する時間ディザ付加処理、画素ピッチ間の空白を再現する画素間ピッチ再現処理、又は、ストライプ配列を再現するストライプ配列再現処理のうちの少なくともひとつを施し、モニタ30002に供給する。
モニタ30002は、PDP以外の表示方式の表示装置、すなわち、例えば、LCDやCRTの表示装置であり、画像処理部30001から供給される画像信号に応じて、画像を表示する。モニタ30002が、画像処理部30001からの画像信号に応じて、画像を表示することにより、モニタ30002では、PDP表示装置で表示されたならば表示されるであろう画像が表示される。
上述したように、画像処理部30001では、色ズレ付加処理、空間ディザ付加処理、時間ディザ付加処理、画素間ピッチ再現処理、又はストライプ配列再現処理のうちの少なくともひとつが行われる。
まず、画像処理部30001で行われる、色ズレ付加処理、空間ディザ付加処理、時間ディザ付加処理、画素間ピッチ再現処理、又はストライプ配列再現処理のうちの、ストライプ配列再現処理について説明する。
図108は、ストライプ配列再現処理を説明する図である。
ストライプ配列再現処理では、PDP特有のストライプ配列を再現する。PDPの1画素の表示に出力モニタでは2画素以上を使用する。
ストライプ配列再現処理では、画素値をRGBに分解し、それぞれ縦に並べて表示をする。
2画素など3の等倍でない場合、見かけ上混ざった色を表示する事で同様の再現が可能となる。
これにより、PDP特有のストライプの見た目が液晶モニタなどでも可能となる。
また対象となるパネルによってはRGBの幅が等間隔でないものもあり、それに合わせてRGBの幅を変えることで、より再現度が高まる。
図109は、ストライプ配列再現処理を行う画像処理部30001の構成例を示している。
拡大ストライプ化回路30011は、画像処理部30001に供給される画像信号をN倍化し、すなわち、例えば、3倍化し、ストライプ配列に分解して、ストライプ化された画像信号を出力する。
リサイズリサンプル回路30012は、拡大ストライプ化回路30011が出力する画像信号を、出力画像サイズ(モニタ30002が表示する画像のサイズ)に合わせて、リサンプルを行い出力する。
なお、リサイズリサンプル回路30012が出力する画像信号が、モニタ30002に供給されて表示される。
図110は、図109の画像処理部30001で行われるストライプ配列再現処理を説明するフローチャートである。
ステップS30011において、拡大ストライプ化回路30011は、画像信号の1画素を3倍に拡大し、横にRGBを並べた形状に変形し、リサイズリサンプル回路30012に供給して、処理は、ステップS30012に進む。
ステップS30012では、リサイズリサンプル回路30012が、拡大ストライプ化回路30011からの画像信号を、出力画像サイズに合わせてリサイズし、再サンプリングする処理を行って、処理は、ステップS30013に進む。ステップS30013では、リサイズリサンプル回路30012が、ステップS30012の処理で得られた画像信号を、モニタ30002に出力する。
次に、画像処理部30001で行われる、色ズレ付加処理、空間ディザ付加処理、時間ディザ付加処理、画素間ピッチ再現処理、又はストライプ配列再現処理のうちの、色ズレ付加処理(動画による色ズレ再現を行う処理)について説明する。
図111は、PDPに表示される画像に生じる色ズレを説明する図である。
PDPにおいて、RGBの点灯時間の違いによって、白色物体が横に移動する場合に特に顕著であるが、その物体を人間が目で追って見ると仮定すると、色がずれて見えるという特性がある。
色ズレ付加処理では、これを液晶パネルなどのモニタ30002でも再現する。以下の手順により再現をする。
1.物体境界検出
画像より、エッジ検出などにより物体境界を検出する。特に白色物体などを対象とする。
2.動き量抽出
上記1での手順で求めた物体において、次フレームとの動き量を求める。手法はブロックマッチング法などを用いる。
3.色ズレの付加
再現対象とするPDPのRGB発光特性と、物体の動き量に応じて最適な色ズレを付加してゆく。
色ズレの付加量は、移動量と合わせようとするPDPの発光特性によって決定される。
例えば青(B)の点灯が緑(G)よりも1/3frの時間だけ早く消灯する特性の場合(frはフレーム周期)、エッジ際の画素値は、青色成分を2/3とする。
同様にその横の画素値は、移動量幅分の色ズレを起こすように青成分の減算を減らすことで生成が可能となる。
図112は、青が緑よりも1/3frの時間だけ早く消灯する特性のPDPにおいて、画像に映っている物体の移動量が3画素の場合に生じる色ズレを付加するために、元の画素値に掛ける係数を表す。
図113は、色ズレ付加処理を行う画像処理部30001の構成例を示している。
現フレームメモリ30021は、画像処理部30001に供給される画像信号を記憶し、現フレームの画像信号として、前フレームメモリ30022、エッジ部切り出し回路30023、及び動き検出回路30024に供給する。
前フレームメモリ30022は、現フレームメモリ30021から供給される現フレームの画像信号を記憶し、1フレーム分の時間だけ遅延して、動き検出回路30024に供給する。したがって、現フレームメモリ30021から動き検出回路30024に対して、現フレームの画像信号が供給されるとき、前フレームメモリ30022から動き検出回路30024に対して、現フレームの1フレーム前の前フレームの画像信号が供給される。
エッジ部切り出し回路30023は、現フレームメモリ30021からの現フレームの画像信号のエッジ部分を検出し、そのエッジ部のエッジ位置を、動き検出回路30024、及び色係数乗算回路30025に供給する。さらに、エッジ部切り出し回路30023は、現フレームメモリ30021からの現フレームの画像信号も、色係数乗算回路30025に供給する。
動き検出回路30024は、エッジ部切り出し回路30023からの指定位置のフレーム間の動き量を算出し、色係数乗算回路30025に出力する。
すなわち、動き検出回路30024は、エッジ部切り出し回路30023からのエッジ位置のエッジ部の動き量を、現フレームメモリ30021からの現フレームの画像信号と、前フレームメモリ30022からの画像信号とを用いて検出し、色係数乗算回路30025に供給する。
色係数乗算回路30025は、指定された(PDPの)発光特性にあわせ、指定位置の動き量に応じた色ズレを付加する係数を生成し、画像に乗算して出力する。
すなわち、色係数乗算回路30025には、PDPの発光特性(表示特性)を表す発光特性パラメータが供給されるようになっている。
色係数乗算回路30025は、発光特性パラメータが表す発光特性、エッジ部切り出し回路30023からのエッジ位置からの位置(画素の位置)、及び、動き検出回路30024からのエッジ部の動き量に応じて、色ズレを生じさせる係数を求め、その係数を、エッジ部切り出し回路30023からの画像信号(の画素値)に乗算して得られる色の画像信号を出力する。そして、色係数乗算回路30025が出力する画像信号が、モニタ30002に供給されて表示される。
図114は、図113の画像処理部30001で行われる色ズレ付加処理を説明するフローチャートである。
ステップS30021において、エッジ部切り出し回路30023は、現フレームメモリ30021からの現フレームの画像信号から、色ズレの起こるエッジ部を検出し、そのエッジ部のエッジ位置を、動き検出回路30024と色係数乗算回路30025に供給するとともに、現フレームの画像信号を、色係数乗算回路30025に供給して、処理は、ステップS30022に進む。
ステップS30022では、動き検出回路30024が、エッジ部切り出し回路30023からのエッジ位置のエッジ部の動き量を、現フレームメモリ30021からの現フレームの画像信号と、前フレームメモリ30022の画像信号とを用いて検出し、色係数乗算回路30025に供給して、処理は、ステップS30023に進む。
ステップS30023では、色係数乗算回路30025が、発光特性パラメータが表す発光特性、動き検出回路30024からのエッジ部の動き量、及び、エッジ部切り出し回路30023からのエッジ位置のエッジ部からの位置に応じて、色ズレを生じさせる係数を求め、エッジ部切り出し回路30023からの現フレームの画像信号の各画素の色(画素値)にかけて、その結果得られる色の画像信号を、モニタ30002に出力する。
次に、画像処理部30001で行われる、色ズレ付加処理、空間ディザ付加処理、時間ディザ付加処理、画素間ピッチ再現処理、又はストライプ配列再現処理のうちの、画素間ピッチ再現処理(同一サイズ再現時の画素ピッチ再現の処理)について説明する。
対象となるPDPのサイズも再現することを狙う場合、DRC(Digital Reality Creation)等の電子ズーム機能でサイズは同等のものを得ることが出来るが、画素ピッチ間の空白も再現することでより見た目を合わせることが可能となる。
ここで、DRCについては、例えば、特開2005-236634号公報や特開2002-223167号公報等に、クラス分類適応処理として記載されている。
例えば、合わせようとするPDPのサイズが2倍であるとする。この場合、2倍電子ズームを用いる事で同サイズに見せることが出来るが、大画面PDP特有の画素間の溝の視覚的効果も付加する事でより再現性が高まる。
2倍の場合、図115に示すような効果を付加すればよい。
図116は、画素間ピッチ再現処理を行う画像処理部30001の構成例を示している。
拡大処理回路30031は、画像処理部30001に供給される画像信号を出力画像サイズに拡大し、すなわち、画像の一部を、そこに供給される拡大率に応じて拡大する処理をして、その結果得られる拡大画像を、画素間輝度減回路30032に出力する。
画素間輝度減回路30032は、そこに供給される拡大率に応じて、画素間の溝の存在する位置に対して輝度値を下げる処理をし、すなわち、画素間の空白が存在する部分の輝度を下げるように、拡大処理回路30031からの画像信号を処理し、その処理の結果得られる画像信号を、モニタ30002に出力する。
図117は、図116の画像処理部30001で行われる画素間ピッチ再現処理を説明するフローチャートである。
ステップS30031において、拡大処理回路30031は、出力画像サイズに画像を拡大し、画素間輝度減回路30032に供給して、処理は、ステップS30032に進む。ステップS30032では、画素間輝度減回路30032は、拡大処理回路30031からの画像に対して、想定画素間のある部分の輝度を下げる処理をする。そして、処理は、ステップS30032からステップS30033に進み、画素間輝度減回路30032は、ステップS30032で得られた画像を、モニタ30002に出力する。
次に、画像処理部30001で行われる、色ズレ付加処理、空間ディザ付加処理、時間ディザ付加処理、画素間ピッチ再現処理、又はストライプ配列再現処理のうちの、空間ディザ付加処理(空間ディザパターン再現の処理)について説明する。
PDPパネルにおいては、色階調を稼ぐためにディザ(編み目状に色を配置し擬似的に階調を増やす)を用いることが多い。
このディザパターンを再現する事でより見た目を合わせることが可能となる。
対象となるPDPパネルによって、ディザが見える色というものが存在する。画面内の色変化の少ない部分において、もしそのディザの見える色にマッチするものであれば、図118に示すように、ディザを付加する処理を行うことで再現することが可能となる。
図119は、空間ディザ付加処理を行う画像処理部30001の構成例を示している。
平坦部抽出回路30041は、画像処理部30001に供給される画像信号の平坦な部分(平坦部)を抽出し、画像信号とともに、色比較回路30042に供給する。
色比較回路30042は、平坦部抽出回路30041からの平坦部の色は、ディザが見える色かどうかを判定する。
すなわち、色比較回路30042は、平坦部抽出回路30041で抽出された平坦部の色と、空間ディザパターンROMに記憶されたルックアップテーブルに登録されている(RGBの値が表す)色と比較し、平坦部の色が、ルックアップテーブルに登録されている色のうちの、後述する空間ディザパターン「なし」に対応付けられている色以外の色である場合には、平坦部の色は、ディザが見える色であると判定する。そして、色比較回路30042は、その判定結果とともに、平坦部抽出回路30041からの画像信号を、ディザ付加回路30044に供給する。
空間ディザパターンROM30043はルックアップテーブルを記憶している。
ここで、図120は、空間ディザパターンROM30043が記憶しているルックアップテーブルを示している。
ルックアップテーブルでは、各色のRGBの値と、そのRGBの値で表される色がPDPに表示されたときに見えやすい空間的なディザのパターンである空間ディザパターンとが対応付けられている。
なお、ルックアップテーブルにおいて、ディザが見えない色のRGBの値については、空間ディザパターンとして、「なし」(ディザが見えない旨)が登録されている。
また、色比較回路30042(図119)では、空間ディザパターン「なし」と対応付けられているRGBの値で表される色が、ディザが見える色でないと判定され、それ以外の色が、ディザが見える色であると判定される。
図119に戻り、空間ディザパターンROM30043は、その記憶しているルックアップテーブルにおいて、色比較回路30042が判定の対象とした、平坦部抽出回路30041からの平坦部の色を表すRGBの値に対応付けられている空間ディザパターンを、ディザ付加回路30044に供給する。
ディザ付加回路30044は、空間ディザパターンROM30043から指定された空間ディザパターンが表す空間的なディザを、色比較回路30042からの画像信号に付加する。
すなわち、ディザ付加回路30044は、色比較回路30042から、平坦部の色はディザが見える色である旨の判定結果が供給された場合に、色比較回路30042からの画像信号の、その平坦部の画像信号に、空間ディザパターンROM30043から供給される空間ディザパターンが表すディザを付加して、モニタ30002に出力する。
図121は、図119の画像処理部30001が行う空間ディザ付加処理を説明するフローチャートである。
ステップS30041において、平坦部抽出回路30041は、画像信号から、空間方向で色変化の少ない部分である平坦部を抽出し、画像信号とともに、色比較回路30042に供給して、処理は、ステップS30042に進む。
ステップS30042では、色比較回路30042が、空間ディザパターンROM30043に記憶されたルックアップテーブルを参照し、平坦部抽出回路30041からの平坦部の色がPDPでディザの見える色かどうかを判定する。
ステップS30042において、平坦部抽出回路30041からの平坦部の色がPDPでディザの見える色であると判定された場合、色比較回路30042は、その旨の判定結果と、平坦部抽出回路30041からの画像信号を、ディザ付加回路30044に供給するとともに、空間ディザパターンROM30043が、ルックアップテーブルにおいて、色比較回路30042の判定の対象になった平坦部の色のRGB値と対応付けられている空間ディザパターンを、ディザ付加回路30044に供給して、処理は、ステップS30043に進む。
ステップS30043では、ディザ付加回路30044は、色比較回路30042からの画像信号の平坦部に対して、指定パターン、すなわち、空間ディザパターンROM30043からの空間ディザパターンが表す空間的なディザを付加して、処理は、ステップS30044に進む。ステップS30044では、ディザ付加回路30044は、ディザが付加された画像信号を、モニタ30002に出力する。
一方、ステップS30042において、平坦部抽出回路30041からの平坦部の色がPDPでディザの見える色でないと判定された場合、色比較回路30042は、その旨の判定結果と、平坦部抽出回路30041からの画像信号を、ディザ付加回路30044に供給して、処理は、ステップS30045に進む。
ステップS30045では、ディザ付加回路30044は、色比較回路30042からの画像信号を、ディザを付加せずに、そのまま、モニタ30002に出力する。
次に、画像処理部30001で行われる、色ズレ付加処理、空間ディザ付加処理、時間ディザ付加処理、画素間ピッチ再現処理、又はストライプ配列再現処理のうちの、時間ディザ付加処理(時間方向ディザ再現の処理)について説明する。
PDPパネルにおいては、色階調を稼ぐために時間方向にもディザを用いている。これも同様の処理をすることで再現性が高まる。
入力画像1フレームを、色に応じて使用するモニタの応答速度で出力可能な枚数に分割し表示する。分割の仕方は近づけようとするPDPの時間方向を積分して得られるディザパターンを出力する。
図122は、時間ディザ付加処理を行う画像処理部30001の構成例を示している。
色比較回路30051は、画像処理部30001に供給される1フレームの画像信号の各画素の色と、時間ディザパターンROM30052に記憶されたルックアップテーブルに登録されている色(を表すRGBの値)と比較することにより、画像信号の画素の色は、ディザが見える色かどうかを判定する。
そして、色比較回路30051は、画像信号の色が、ルックアップテーブルに登録されている色である場合には、その色は、ディザが見える色であると判定する。そして、色比較回路30051は、その判定結果とともに、1フレームの画像信号を、ディザ付加回路30044に供給する。
時間ディザパターンROM30052は、ルックアップテーブルを記憶している。時間ディザパターンROM30052が記憶しているルックアップテーブルには、PDPで表示されたときにディザが見える色(を表すRGBの値)と、その色を、複数のサブフレームで表示するときの各サブフレームの画素値のパターンである時間ディザパターンとが対応付けられて登録されている。
ここで、サブフレームとは、PDPの表示で使用されるサブフィールドに相当する。
また、ここでは、上述の複数のサブフレームとは、例えば、3枚のサブフレームとし、モニタ30002は、少なくとも、1フレームの間に、3枚のサブフレームを表示することができる性能を有することとする。
時間ディザパターンROM30052は、その記憶しているルックアップテーブルにおいて、色比較回路30051でディザが見えると判定された色に対応付けられている時間ディザパターン、すなわち、3枚のサブフレームそれぞれの画素値のセットを表す情報を、ディザ付加回路30053に供給する。
ディザ付加回路30053は、色比較回路30051からのディザが見える旨の判定がされた色について、色比較回路30051からの1フレームの画像信号を、時間ディザパターンROM30052から供給される時間ディザパターンが表す画素値の3枚のサブフレームに分割(時分割)することにより、色比較回路30051からの1フレームの画像信号に時間ディザパターンを付加する。
すなわち、1フレームの画像信号に時間ディザパターンを付加するとは、1フレームの画像信号を、画素ごとに、時間ディザパターンが表す画素値の複数のサブフレーム(ここでは、3枚のサブフレーム)に分割することを意味する。
ディザ付加回路30053で時間ディザパターンの付加が行われることにより得られる3枚のサブフレームの画像信号のうちの1つの画像信号は、出力メモリ30054に、他の1つの画像信号は、出力メモリ30055に、残りの1つの画像信号は、出力メモリ30056に、それぞれ供給される。
出力メモリ30054ないし30056は、それぞれ、ディザ付加回路30053から供給されるサブフレームの画像信号を記憶し、そのサブフレームを表示すべきタイミングで、モニタ30002に供給する。
なお、モニタ30002では、サブフレームが、フレーム周期の1/3の周期等の、1フレームの間に3枚のサブフレームを表示することができる周期で表示される。
ここで、図122では、サブフレームの画像信号を記憶するメモリとして、3つの出力メモリ30054ないし30056が設けられているが、サブフレームの画像信号を記憶するメモリは、ディザ付加回路30053で時間ディザパターンの付加が行われることにより得られるサブフレームの枚数と同一の個数だけ必要となる。
例えば、ディザ付加回路30053で時間ディザパターンの付加が行われることにより得られるサブフレームの枚数が、モニタ30002で1フレームの間に表示することができる最大の枚数(モニタ30002の応答速度)に等しい場合、その枚数に等しい個数のメモリが、サブフレームの画像信号を記憶するメモリとして必要となる。
図123は、図122の画像処理部30001が行う時間ディザ付加処理を説明するフローチャートである。
色比較回路30051は、時間ディザパターンROM30052に記憶されたルックアップテーブルを参照し、画像処理部30001に供給される1フレームの画像信号の各画素の色が、ディザが見える色かどうかを判定し、その画素ごとの判定結果とともに、その1フレームの画像信号を、ディザ付加回路30053に供給する。
一方、時間ディザパターンROM30052では、ルックアップテーブルにおいて、色比較回路30051でディザが見えると判定された色に対応付けられている時間ディザパターンを、画素ごとに、ディザ付加回路30053に供給する。
ディザ付加回路30053は、ステップS30051において、色比較回路30051からのディザが見える旨の判定がされた色について、色比較回路30051からの1フレームの画像信号に、時間ディザパターンを付加して、処理は、ステップS30052に進む。
すなわち、ディザ付加回路30053は、色比較回路30051からの1フレームの画像信号の各画素の画素値を、時間ディザパターンROM30052から供給される時間ディザパターンが表す3つの画素値に分割し、その3つの画素値を、3枚のサブフレームの対応する画素それぞれの画素値とすることにより、1フレームの画像信号を3つのサブフレームの画像信号に分割する。そして、ディザ付加回路30053は、その3枚のサブフレームの画像信号のうちの1つの画像信号を、出力メモリ30054に、他の1つの画像信号を、出力メモリ30055に、残りの1つの画像信号を、出力メモリ30056に、それぞれ供給して記憶させる。なお、ディザが見えない色の画素については、例えば、その画素値の1/3を、サブフレームの画素値とすることができる。
ステップS30052では、出力メモリ30054ないし30056は、ステップS30051で記憶したサブフレームの画像信号を、そのサブフレームを表示すべきタイミングで、モニタ30002に出力する。
次に、図124は、色ズレ付加処理、空間ディザ付加処理、時間ディザ付加処理、画素間ピッチ再現処理、及びストライプ配列再現処理のすべてを行う画像処理部30001の構成例を示している。
図124において、画像処理部30001は、画像処理部30060,30070、及び30080から構成されている。
画像処理部30060は、現フレームメモリ30061、前フレームメモリ30062、エッジ部切り出し回路30063、動き検出回路30064、及び色係数乗算回路30065から構成される。
現フレームメモリ30061ないし色係数乗算回路30065は、図113の現フレームメモリ30021ないし色係数乗算回路30025とそれぞれ同様に構成され、したがって、画像処理部30060は、画像処理部30001に供給される画像信号に対して、図113の場合と同様の色ズレ付加処理を施し、画像処理部30070に供給する。
画像処理部30070は、色比較回路30071、時間/空間ディザパターンROM30072、ディザ付加回路30073、及び出力メモリ30074ないし30076から構成される。
色比較回路30071は、画像処理部30060から供給される画像信号を対象として、図119の色比較回路30042と、図122の色比較回路30051それぞれと同様の処理を行う。
時間/空間ディザパターンROM30072は、図119の空間ディザパターンROM30043が記憶しているルックアップテーブルと、図122の時間ディザパターンROM30052が記憶しているルックアップテーブルとそれぞれ同様のルックアップテーブルを記憶しており、そのルックアップテーブルに基づき、図119の空間ディザパターンROM30043と、図122の時間ディザパターンROM30052それぞれと同様の処理を行う。
ディザ付加回路30073は、図119のディザ付加回路30044と同様に、画像信号に、空間ディザパターンが表す空間的なディザを付加し、また、画像信号に時間ディザパターンを付加することにより、その画像信号を、3枚のサブフレームに分割し、それぞれを、出力メモリ30074ないし30076に供給する。
出力メモリ30074ないし30076は、図122の出力メモリ30054ないし30056と同様に、ディザ付加回路30073からのサブフレームの画像信号を記憶する。出力メモリ30074ないし30076に記憶されたサブフレームの画像信号は、画像処理部30080に供給される。
以上のように構成される画像処理部30070では、画像処理部30060が出力する画像信号を対象として、図119の場合と同様の空間ディザ付加処理と、図122の場合と同様の時間ディザ付加処理が行われる。
画像処理部30080は、拡大処理回路30081、ストライプ化回路30082、及び画素間輝度減回路30083から構成される。
拡大処理回路30081は、画像処理部30070からの画像信号を対象として、図116の拡大処理回路30031と同様の処理を行い、ストライプ化回路30082に供給する。
ストライプ化回路30082は、拡大処理回路30081からの画像信号を対象として、図109の拡大ストライプ化回路30011が行う処理のうちの、ストライプ配列に分解する処理だけを行い、画素間輝度減回路30083に供給する。
したがって、拡大処理回路30081及びストライプ化回路30082の両方で、図109の拡大ストライプ化回路30011が行うのと同様の処理が行われる。
画素間輝度減回路30083は、ストライプ化回路30082からの画像信号を対象として、図116の画素間輝度減回路30032が行うのと同様の処理を行い、その結果得られる画像信号を、モニタ30002に出力する。
したがって、画像処理部30080では、図116の場合と同様のストライプ配列再現処理と、図119の場合と同様の画素間ピッチ再現処理とが行われる。
なお、画像処理部30080において、ストライプ配列再現処理、及び画素間ピッチ再現処理は、画像処理部30070から供給される3つのサブフレームの画像信号それぞれを対象として行われる。
図125は、図124の画像処理部30001の処理を説明するフローチャートである。
ステップS30061において、時間方向を伴う処理が行われる。すなわち、ステップS30061では、画像処理部30060において、色ズレ付加処理が行われ、画像処理部30070において、空間ディザ付加処理、及び時間ディザ付加処理が行われる。
そして、処理は、ステップS30061からステップS30062に進み、サイズ拡大を伴う処理が行われる。すなわち、ステップS30062では、画像処理部30080において、画素間ピッチ再現処理、及びストライプ配列再現処理が行われる。
以上のように、画像処理部30001では、色ズレ付加処理、空間ディザ付加処理、時間ディザ付加処理、画素間ピッチ再現処理、又はストライプ配列再現処理のうちの少なくとも1つを行うので、PDP以外の、例えば、LCD等のディスプレイで、PDPの見た目を再現する事が信号処理により可能となる。
また、信号処理で行う事で、同一モニタの同一画面上でプラズマディスプレイの画質評価などを同時に行う事を可能とする。
次に、上述した一連の処理は、専用のハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
そこで、図126は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク30105やROM30103に予め記録しておくことができる。
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory),MO(Magneto Optical)ディスク,DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体30111に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体30111は、いわゆるパッケージソフトウエアとして提供することができる。
なお、プログラムは、上述したようなリムーバブル記録媒体30111からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部30108で受信し、内蔵するハードディスク30105にインストールすることができる。
コンピュータは、CPU(Central Processing Unit)30102を内蔵している。CPU30102には、バス30101を介して、入出力インタフェース30110が接続されており、CPU30102は、入出力インタフェース30110を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部30107が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)30103に格納されているプログラムを実行する。あるいは、また、CPU30102は、ハードディスク30105に格納されているプログラム、衛星若しくはネットワークから転送され、通信部30108で受信されてハードディスク30105にインストールされたプログラム、またはドライブ30109に装着されたリムーバブル記録媒体30111から読み出されてハードディスク30105にインストールされたプログラムを、RAM(Random Access Memory)30104にロードして実行する。これにより、CPU30102は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU30102は、その処理結果を、必要に応じて、例えば、入出力インタフェース30110を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部30106から出力、あるいは、通信部30108から送信、さらには、ハードディスク30105に記録等させる。
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理(例えば、並列処理あるいはオブジェクトによる処理)も含むものである。
また、プログラムは、1のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。