JP3653287B2 - 画像情報変換装置及び画像情報変換方法 - Google Patents
画像情報変換装置及び画像情報変換方法 Download PDFInfo
- Publication number
- JP3653287B2 JP3653287B2 JP34760893A JP34760893A JP3653287B2 JP 3653287 B2 JP3653287 B2 JP 3653287B2 JP 34760893 A JP34760893 A JP 34760893A JP 34760893 A JP34760893 A JP 34760893A JP 3653287 B2 JP3653287 B2 JP 3653287B2
- Authority
- JP
- Japan
- Prior art keywords
- image information
- class
- image
- converting
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Television Systems (AREA)
Description
【０００１】
【目次】
以下の順序で本発明を説明する。
産業上の利用分野
従来の技術（図６及び図７）
発明が解決しようとする課題（図６〜図８）
課題を解決するための手段（図１）
作用（図１）
実施例（図１〜図５）
（１）実施例の画像情報変換装置（図１〜図４）
（２）ＲＯＭテーブルの作成方法（図１〜図５）
（３）他の実施例
発明の効果
【０００２】
【産業上の利用分野】
本発明は画像情報変換装置及び画像情報変換方法に関し、特に通常の解像度の画像情報を高解像度の画像情報に変換して出力するものに適用して好適なものである。
【０００３】
【従来の技術】
従来、オーデイオビジユアル指向の高まりから、より高解像度の画像を得ることができるようなテレビジヨン受像器が望まれ、これに応えて、いわゆるハイビジヨン方式のテレビジヨン受像器が開発された。このハイビジヨン方式では走査線数が、いわゆるＮＴＳＣ方式の映像信号で規定される走査線数が 525本なのに対して、２倍以上の1125本となつているうえ、表示画面の縦横比もＮＴＳＣ方式が３：４に対して９：16と広角画面になつている。これにより高解像度で劇場のような臨場感のある画面を得ることができる。
【０００４】
ここでこのような優れた特性を有するハイビジヨン方式ではあるが、ＮＴＳＣ方式の映像信号をそのまま供給しても画像表示を行うことはできない。これは上述したようにＮＴＳＣ方式とハイビジヨン方式とでは規格が異なるためである。このため、ＮＴＳＣ方式の映像信号に応じた画像をハンビジヨン方式で表示しようとする場合には、従来画像情報変換装置を用いて映像信号のレートを変換していた。
【０００５】
すなわちこの画像情報変換装置は、図６に示すように、入力端子１００を介して供給されるＮＴＳＣ方式の映像信号の水平方向の補間処理を行う水平補間フイルタ１０１と、水平方向の補間処理の行われた映像信号の垂直方向の補間処理を行う垂直補間フイルタ１０２とから構成されている。実際上水平補間フイルタ１０１は、図７に示すようなデイジタルフイルタで構成されており、ＮＴＳＣ方式の映像信号が入力端子１１０を介して、第１〜第ｍの乗算器１１１〜１１１ｍにそれぞれ供給される。各乗算器１１１はそれぞれ入力される映像信号に係数α０〜αｍを乗算して出力する。
【０００６】
この結果係数α０〜αｍが乗算された映像信号は、それぞれ第１〜第ｍの加算器１１２〜１１２ｍ−１に供給される。各加算器１１２〜１１２ｍ−１の間には、それぞれ時間Ｔの遅延レジスタ１１３〜１１３ｍが設けられている。そして第ｍの乗算器１１１ｍから出力された映像信号は、第ｍの遅延レジスタ１１３ｍで時間Ｔだけ遅延され、第ｍ−１の加算器１１２ｍ−１に供給される。第ｍ−１の加算器１１２ｍ−１は、第ｍの遅延レジスタ１１３ｍで時間Ｔだけ遅延された映像信号と、第ｍ−１の乗算器１１１ｍ−１からの映像信号とを加算して出力する。
【０００７】
このように加算された映像信号は、第ｍ−１の遅延レジスタ１１３ｍ−１で再度時間Ｔだけ遅延され、第ｍ−２の加算器１１２ｍ−２（図示せず）において第ｍ−２の乗算器１１２ｍ−２（図示せず）からの映像信号と加算される。水平補間フイルタ１０１は、このようにしてＮＴＳＣ方式の映像信号の水平方向について補間して、出力端子１２０を介して垂直補間フイルタ１０２に供給する。
【０００８】
垂直補間フイルタ１０２は、水平補間フイルタ１０１と同様にデイジタルフイルタで構成されており、水平補間された映像信号に対して、垂直方向の画素の補間を行う。このようにしてＮＴＳＣ方式の映像信号よりハイビジヨン方式の映像信号に応じたレートの映像信号を得るようになされ、この映像信号がハイビジヨン方式の受像器に供給される。これによりＮＴＳＣ方式の映像信号に応じた画像をハイビジヨン方式の受像器で表示し得るようになされている。
【０００９】
【発明が解決しようとする課題】
ところが上述した画像情報変換装置においては、ＮＴＳＣ方式の映像信号を基にして、単に水平方向及び垂直方向を補間しているに過ぎないため、解像度は基となるＮＴＳＣ方式の映像信号と何ら変わらなかつた。特に通常の動画を変換対象とした場合、垂直方向の補間をフイールド内処理で行うのが一般的であるが、この場合には、画像のフイールド間相関を使用していないため、画像静止部においてはＮＴＳＣ方式の映像信号よりも解像度が劣化する欠点があつた。
【００１０】
これに対して、画像情報変換装置として、入力信号である画像信号レベルを３次元すなわち時空間分布に応じてクラス分割し、クラス毎に予め学習によつて獲得された予測係数値を格納した記憶手段を持ち、予測式に基づいた演算により最適な推定値を出力する方法を用いたものがある（特願平5-172617号）。
【００１１】
この方法では、ハイビジヨン方式（以下、高解像度を示すＨＤ（high difinition ）と呼ぶ）の画素を創造する場合、時間的及び空間的な意味でその周辺に存在する複数のＮＴＳＣ方式（以下、標準解像度を示すＳＤ（standerd difinition ）と呼ぶ）の画素データをクラス分割し、それぞれのクラス毎に予測係数値を学習により獲得することで、画像静止部においてはフイールド間、フレーム間等の時間方向の相関を利用し、また画像動き部においては、フイールド内相関のみを利用することにより、真値に近いＨＤ画素値を得るものである。
【００１２】
実際上、図８にＳＤ画素を大きい「○」で示し、ＨＤ画素を小さい「○」で示す。この図においてＳＤ画素ｘ1 とＳＤ画素ｘ2 の差分値が小さい場合は、創造すべきＨＤ画素ｙの周辺の画像は静止している可能性が高い。そこで画像情報変換装置では、空間位置の近いＳＤ画素ｘ1 とＳＤ画素ｘ2 に重きをおいてＨＤ画素ｙを創造する。一方ＳＤ画素ｘ1 とＳＤ画素ｘ2 の差分値が大きい場合は、創造すべきＨＤ画素ｙの周辺の画像は動いている可能性が高い。そこで画像情報変換装置では、時間的に近いＳＤ画素ｘ3 とＳＤ画素ｘ4 に重きをおいてＨＤ画素ｙを創造する。
【００１３】
この方法によれば、静止／動きの切り替わりも実際の画像を用いて学習することにより滑らかに表現できるので、従来の動き適応方式のように静止／動きの切り替わりによる不自然さの発生を大幅に減少させることができる。ところがこの方法では、有限個のクラス分割により、動き情報と空間内の波形の２つを表現する必要があり、クラスによつては本来なら分離すべきパターンが１つのクラス内に混在してしまう場合があつた。
【００１４】
例えば、図８において、ＳＤ画素ｘ1 とＳＤ画素ｘ2 の差分値が小さい場合は、上述のようにその周辺の画像は静止している可能性が非常に高いが、わずかな可能性ではあるが実際には画像が動いている場合がある。例えば（ｋ＋１）フイールドにのみ動き物体が侵入している場合、またｋフイールドから（ｋ＋２）フイールドの間で画像中の物体が動いているが、たまたまＳＤ画素ｘ1 とＳＤ画素ｘ2 のデータが近い値をとつた場合などである。
【００１５】
このような場合も、ＳＤ画素ｘ1 とＳＤ画素ｘ2 の差分値が小さいことにより、画像情報変換装置では空間位置の近いＳＤ画素ｘ1 とＳＤ画素ｘ2 に重きをおいてＨＤ画素ｙが創造される。従つてこの場合創造されたＨＤ画素と真のＨＤ画素の誤差が大きいものとなり、変換画像に画質の劣化が目立つことになる。この対策として、クラス分割に用いる画素数を増やしてクラス数を増加させることにより、変換画像の画質の劣化を低減することが考えられる。
【００１６】
ところがこのようにすると、クラス数が非常に大きくなり、その分ハードウエア規模が増加して実現が困難になる。また上述した方法では３フイールド分のデータを使用するためにハードウエア規模が大きくなる欠点がある。また必ずしも動きと静止が完全に分離できていない現状では、シーンチエンジの発生した場合に、変換画像の画質がさらに著しく劣化する場合があり、全体として変換画像の画質の点で実用上未だ不十分であつた。
【００１７】
本発明は以上の点を考慮してなされたもので、通常の解像度の画像情報を高解像度の画像情報に変換する際に簡易な構成で変換画像の画質の劣化を未然に防止し得る画像情報変換装置及び画像情報変換方法を提案しようとするものである。
【００１８】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、デイジタル画像信号でなる第１の画像情報を、より解像度の高いデイジタル画像信号でなる第２の画像情報に変換する画像情報変換装置において、第１の画像情報を、連続する２フイールドの双方から抽出した垂直方向に連続する一列の複数画素でなる複数のブロツクに分割する画像情報分割手段２と、その画像情報分割手段２により分割されたブロツク毎に、第１の画像情報のレベル分布のパターンを検出し、当該検出したパターンに基づいてブロツクの第１の画像情報が属するクラスを決定してクラス検出情報を出力するクラス検出手段３、４と、第１の画像情報を、その第１の画像情報より解像度の高い第２の画像情報に変換するための情報である推定式の係数データがクラス毎に記憶され、クラス検出手段３、４からのクラス検出情報に応じて係数データを出力する係数データ記憶手段５と、係数データ記憶手段５から供給された係数データに応じて、第１の画像情報を第２の画像情報に変換して出力する画像変換手段７とを設けるようにする。
また本発明においては、デイジタル画像信号でなる第１の画像情報を、より解像度の高いデイジタル画像信号でなる第２の画像情報に変換する画像情報変換方法において、第１の画像情報を、連続する２フイールドの双方から抽出した垂直方向に連続する一列の複数画素でなる複数のブロツクに分割する第１のステツプと、当該分割されたブロツク毎に、第１の画像情報のレベル分布のパターンを検出し、当該検出したパターンに基づいてブロツクの第１の画像情報が属するクラスを決定してクラス検出情報を出力する第２のステツプと、第１の画像情報を当該第１の画像情報より解像度の高い第２の画像情報に変換するための情報である推定式の係数データがクラス毎に記憶された係数データ記憶手段から、第２のステツプで出力されたクラス検出情報に応じて係数データを出力する第３のステツプと、当該出力された係数データに応じて、第１の画像情報を第２の画像情報に変換して出力する第４のステツプとを設けるようにする。
【００１９】
また本発明においては、デイジタル画像信号でなる第１の画像情報を、より解像度の高いデイジタル画像信号でなる第２の画像情報に変換する画像情報変換装置において、第１の画像情報を、連続する２フイールドの双方から抽出した垂直方向に連続する一列の複数画素でなる複数のブロツクに分割する画像情報分割手段と、その画像情報分割手段２により分割されたブロツク毎に、第１の画像情報のレベル分布のパターンを検出し、当該検出したパターンに基づいてブロツクの第１の画像情報が属するクラスを決定してクラス検出情報を出力するクラス検出手段と、第１の画像情報を、その第１の画像情報より解像度の高い第２の画像情報に変換するための情報である代表値がクラス毎に記憶され、クラス検出手段からのクラス検出情報に応じて代表値を出力する代表値記憶手段と、代表値記憶手段から供給された代表値に応じて、第１の画像情報を第２の画像情報に変換して出力する画像変換手段とを設けるようにする。
また本発明においては、デイジタル画像信号でなる第１の画像情報を、より解像度の高いデイジタル画像信号でなる第２の画像情報に変換する画像情報変換方法において、第１の画像情報を、連続する２フイールドの双方から抽出した垂直方向に連続する一列の複数画素でなる複数のブロツクに分割する第１のステツプと、当該分割されたブロツク毎に、第１の画像情報のレベル分布のパターンを検出し、当該検出したパターンに基づいてブロツクの第１の画像情報が属するクラスを決定してクラス検出情報を出力する第２のステツプと、第１の画像情報を当該第１の画像情報より解像度の高い第２の画像情報に変換するための情報である代表値がクラス毎に記憶された代表値記憶手段から、第２のステツプで出力されたクラス検出情報に応じて代表値を出力する第３のステツプと、当該出力された代表値に応じて、第１の画像情報を第２の画像情報に変換して出力する第４のステツプとを設けるようにする。
【００２０】
【作用】
入力される第１の画像情報が、連続する２フイールドの双方から抽出した垂直方向に連続する一列の複数画素でなる複数のブロツクに分割され、それぞれのブロツク毎に画像情報のレベル分布のパターンが検出され、このレベル分布のパターンに基づいてクラスが決定されてクラス検出情報が出力される。このクラス検出情報に応じて、第１の画像情報をより解像度の高い第２の画像情報に変換するための情報である線形推定式の係数データ又は代表値が記憶された記憶手段を読み出し、この結果得られる係数データ又は代表値に応じて、第１の画像情報が第２の画像情報に変換される。かくして第１の画像情報を連続２フイールド内で分割してクラス分けしたことにより、簡易な構成で変換画像の画質の劣化を未然に防止し得る。
【００２１】
【実施例】
以下図面について、本発明の一実施例を詳述する。
【００２２】
（１）実施例の画像情報変換装置
図１においては全体として、本発明による画像情報変換装置を示し、入力端子１を通じて外部から供給される画像情報として、ＮＴＳＣ方式の映像信号がデイジタル化されＳＤデータとして入力される。この画像情報変換装置におけるＳＤ画素と創造すべきＨＤ画素の位置関係を図２に示す。すなわち創造すべきＨＤ画素には、同一フイールド内で見たとき、ＳＤ画素から近い位置に存在するＨＤ画素ｙ1 とＳＤ画素から遠い位置に存在するＨＤ画素ｙ2 の２種類がある。この実施例では、ＳＤ画素から近い位置に存在するＨＤ画素を推定するモードをモード１とし、ＳＤ画素から遠い位置に存在するＨＤ画素を推定するモードをモード２とする。
【００２３】
領域分割化回路２は、入力端子１より供給されたＳＤデータを複数の領域に分割する。この実施例では創造すべきＨＤ画素の同一フレーム内の例えば上下各３画素ずつのＳＤ画素を、１画素×６ラインの計６画素からなる領域に分割する。モード１に関しては、図３に示すように、ＨＤ画素ｙ1 に対するＳＤ画素ｘ1 、ｘ2 、ｘ3 、ｘ4 、ｘ5 、ｘ6 がその領域にあたり、この領域をブロツク１とする。またモード２に関しては、図４に示すように、ＨＤ画素ｙ2 に対するＳＤ画素ｘ1 、ｘ2 、ｘ3 、ｘ4 、ｘ5 、ｘ6 がその領域にあたり、この領域をブロツク２する。なお図２〜図４では、ＳＤ画素を大きい「○」で示し、ＨＤ画素を小さい「○」で示す。
【００２４】
このようにして領域分割化回路２によりブロツク化されたＳＤデータは、ＡＤＲＣ（adaptive dyanamic range coding）回路３及び遅延回路（ＤＬ）６に供給される。遅延回路６は、ＡＤＲＣ回路３、クラスコード発生回路４及びリードオンリメモリ（ＲＯＭ）テーブル５の処理に必要な時間だけＳＤデータを遅延させて推定演算回路７に出力する。ＡＤＲＣ回路３は、領域毎に供給されるＳＤデータの１次元的又は２次元的なレベル分布のパターンを検出すると共に、上述のように各領域のデータを、例えば８ビツトのＳＤデータから２ビツトのＳＤデータに圧縮するように演算してパターン圧縮データを形成し、このパターン圧縮データをクラスコード発生回路４に供給する。
【００２５】
ここでＡＤＲＣは、本来ビデオテープレコーダ（ＶＴＲ）向けの高能率符号化用に開発された適応的再量子化法だが、信号レベルの局所的なパターンを短い語長で効率的に表現できるため、この実施例ではＡＤＲＣの手法を用いて信号パターンをクラス分類するためのコードを発生している。ＡＤＲＣ回路３は、領域内のダイナミツクレンジをＤＲ、ビツト割当をｎ、領域内画素のデータレベルをＬ、再量子化コードをＱとして、次式
【数１】
によつて、領域内の最大値ＭＡＸと最小値ＭＩＮとの間を指定されたビツト長で均等に分割して再量子化を行う。なお（１）式において、[ ]は切り捨て処理を意味する。この実施例では、領域分離化回路２により分離されたそれぞれの６画素のＳＤデータを各２ビツトに圧縮する。このように圧縮されたＳＤデータを、それぞれｑ1 〜ｑ6 とする。
【００２６】
クラスコード発生回路４は、ＡＤＲＣ回路３から供給されるパターン圧縮データに基づいて、次式
【数２】
の演算を行うことにより、そのブロツクが属するクラスを検出し、そのクラスを示すクラスコードclass をＲＯＭテーブル５に供給する。このクラスコードclass は、ＲＯＭテーブル５からの読み出しアドレスを示すものとなつている。
【００２７】
実際上ＲＯＭテーブル５には、ＳＤデータのパターンとＨＤデータの関係を学習することにより、線形推定式を用いてそのＳＤデータに対応するＨＤデータを算出するための係数データが、各クラス毎に記憶されている。これは線形推定式によりＳＤデータを、この画像情報よりも高い解像度の画像情報である、いわゆるハイビジヨン方式の規格に合致したＨＤデータに変換するための情報である。この実施例において係数データは、モード１とモード２で独立に用意される。なおＲＯＭテーブル５に記憶されている係数データの作成方法については後述する。ＲＯＭテーブル５からは、クラスコードclass で示されるアドレスから、そのクラスの係数データであるｗi(class)が読み出される。この係数データは推定演算回路７に供給される。
【００２８】
推定演算回路７は、遅延回路６を介して領域分割化回路２から供給されるＳＤデータ及びＲＯＭテーブル５から供給される係数データであるｗi(class)に基づいて、入力されたＳＤデータに対応するＨＤデータを算出する。実際上推定演算回路７は、遅延回路６より供給されたＳＤデータとＲＯＭテーブル５より供給された係数データにより、モード１に関してはブロツク１用の係数を用い、モード２に関してはブロツク２用の係数を用いて、係数データであるｗi(class)に基づいて、それぞれ次式
【数３】
の演算を行うことにより、入力されたＳＤデータに対応するＨＤデータを算出する。作成されたＨＤデータは水平補間フイルタ８に供給される。
【００２９】
水平補間フイルタ８は、従来について上述した図６の水平補間フイルタ１０２と同様に構成されており、補間処理により水平方向の画素数を２倍にするものである。水平補間フイルタ８の出力は、出力端子９を介して出力される。この出力端子９を介して出力されるＨＤデータは、例えばＨＤテレビジヨン受像器やＨＤビデオテープレコーダ装置等に供給される。
【００３０】
以上の構成によれば、ＳＤデータに対応するＨＤデータを推定するための係数データを、各クラス毎に予め学習により求めた上でＲＯＭテーブル５に記憶し、入力されるＳＤデータ及びＲＯＭテーブル５から読み出した係数データに基づいて演算を行い、入力されたＳＤデータに対応するＨＤデータを形成して出力することにより、入力されるＳＤデータを単に補間処理した場合に比較して、実際のデータにより近いＨＤデータに変換することができる。
【００３１】
さらに上述の構成によれば、従来について上述した画像情報をクラス分けする方法が、１フレーム間データの差分を用いて動きを表現していたのに対して、１フレーム内の垂直方向に連続する２フイールドの複数の画素のみを領域分割してクラス分類するようにしたことにより、連続する複数の画素を使用して動きを表現することができる。例えば図３におけるＨＤ画素ｙ1 を推定するためのブロツク１のＳＤ画素ｘ1 〜ｘ6 を、２ビツトＡＤＲＣした結果の量子化データｑ1 〜ｑ6 が順に、２、０、２、０、２、０、であつた場合、動き画像である可能性が非常に高いが、このように連続する複数の画素を使用して動きを表現するため、従来よりも高い精度で動きを表現できる。
【００３２】
さらに上述の構成によれば、推定に同一フレームに属するデータ以外の画素を用いないため、合計３フイールドのデータを使用する従来の画像情報変換装置に比較してハードウエア的な負担が軽減され、またシーンチエンジが発生した場合でも変換画像の画質が劣化するおそれを未然に防止し得る。
【００３３】
（２）ＲＯＭテーブルの作成方法
ここでＲＯＭテーブル５に格納される係数データの作成方法について、図５を用いて説明する。この係数データを学習によつて得るためには、まず既に知られているＨＤ画像に対応して、このＨＤ画像の１／４の画素数のＳＤ画像を形成する。実際上、図５に示す理想フイルタ回路により、入力端子２１を介して供給されるＨＤデータの垂直方向の画素を垂直間引きフイルタ２２によりフイールド内の垂直方向の周波数が１／２になるように間引きし、さらに水平間引きフイルタ２３により、このＨＤデータの水平方向の画素を間引きしてＳＤデータを得る。
【００３４】
この結果得られるＳＤデータは、領域分割化回路２４に供給され、複数の領域に分割される。この領域分割化回路２４は、図１の画像情報変換装置の領域分割化回路２と同じ構成のものであり、ＳＤデータを各６画素からなる領域に分割する。すなわちモード１に対してはブロツク１の領域の領域分割を行い、モード２に関してはブロツク２の領域分割を行う。この領域毎のＳＤデータをＡＤＲＣ回路２５及び正規方程式加算回路２７に供給する。
【００３５】
ＡＤＲＣ回路２５は領域毎に供給されるＳＤデータの１次元的又は２次元的なレベル分布のパターンを検出するとともに、上述のように各領域のすべてのデータ又は一部のデータを、例えば８ビツトのＳＤデータから２ビツトのＳＤデータに圧縮するように演算してパターン圧縮データを形成し、このパターン圧縮データをクラスコード発生回路２６に供給する。ＡＤＲＣ回路２５は、図１のＡＤＲＣ回路３と同じ構成のものである。この領域分割化回路２４により分離された、６画素からなる各領域のＳＤデータ（図３、図４におけるＳＤ画素ｘ1 〜ｘ6 ）を、ＡＤＲＣにより各２ビツトに圧縮する。
【００３６】
クラスコード発生回路２６も、図１のクラスコード発生回路４と同じ構成のものであり、ＡＤＲＣ回路２５から供給されるパターン圧縮データに基づいて（２）式の演算を行うことにより、そのブロツクが属するクラスを検出し、そのクラスclass を示すクラスコードを出力する。クラスコード発生回路２６は、クラスコードを正規方程式加算回路２７に出力する。
【００３７】
ここで正規方程式加算回路２７の説明として、複数個のＳＤ画素からＨＤ画素への変換式の学習とその予測式を用いた信号変換について述べる。以下では説明のために画素をより一般化してｎ画素による予測を行う場合について述べる。ＳＤ画素レベルをそれぞれｘ1 、……ｘn として、それぞれにｐビツトＡＤＲＣを行つた結果の再量子化データをｑ1 、……ｑn とする。このときこの領域のクラスclass を、上述した（２）式で定義する。
【００３８】
上述のようにＳＤ画素レベルをそれぞれｘ1 、……ｘn とし、ＨＤ画素レベルをｙとしたとき、クラス毎に係数ｗ1 、……ｗn によるｎタツプの線形推定式を設定する。これを次式
【数４】
に示す。学習前はｗi が未定係数であり、学習はクラス毎に複数の信号データに対して行う。データ数がｍの場合（４）式にしたがつて、次式
【数５】
が設定される。なおｍ＞ｎの場合は、ｗ1 、……ｗn は一意に決まらないので、誤差ベクトルｅの要素を次式
【数６】
で定義して、次式
【数７】
を最小にする係数を求める。いわゆる最小二乗法による解法である。
【００３９】
ここで（７）式のｗi による偏微分係数を求める。それは次式
【数８】
を０にするように、各ｗi を求めればよい。以下次式
【数９】
及び次式
【数１０】
ように、Ｘji及びＹi を定義すると、上述した（８）式は行列を用いて、次式
【数１１】
に書き換えられる。
【００４０】
この方程式は一般に正規方程式と呼ばれている。正規方程式加算回路２７は、クラスコード発生回路２６から供給されたクラスコード、領域分割化回路２４より供給されたＳＤデータｘ1 、……ｘn 、入力端子２１より供給されたＳＤデータに対応するＨＤ画素レベルｙを用いて、この正規方程式の加算を行う。
【００４１】
すべてのトレーニングデータの入力が終了した後、正規方程式加算回路２７は、予測係数決定回路２８に正規方程式データを出力する。予測係数決定回路２８は、正規方程式を掃き出し法などの一般的な行列解法を用いて、ｗi について解き予測係数を算出する。予測係数決定回路２８は、算出された予測係数をメモリ２９に書き込む。
【００４２】
以上のようにトレーニングを行つた結果、メモリ２９には、量子化データｑ1 、……ｑ6 で規定されるパターン毎に、注目ＨＤデータｙを推定するための、統計的にもつとも真値に近い推定ができる予測係数が格納される。このメモリ２９に格納されたテーブルが、図１について上述した画像情報変換装置において使用されるＲＯＭテーブル５である。以上の処理によつて、線形推定式によりＳＤデータからＨＤデータを作成するための係数データの学習が終了する。
【００４３】
（３）他の実施例
なお上述の実施例においては、ＡＤＲＣによる圧縮符号化の方法を用いて画像データの情報を圧縮してクラス分類した場合について述べたが、圧縮の方法はこれに限らず、画像データの情報を信号波形のパターンの少ないクラスで表現できるような圧縮符号化であればどのような方法を用いるようにしたも良く、例えば差分量子化（ＤＰＣＭ）、ベクトル量子化（ＶＱ）や離散コサイン変換（ＤＣＴ）等の種々の方法が考えられる。
【００４４】
また上述の実施例においては、説明の簡略化のため、水平方向についての画像情報の変換を水平補間フイルタを用いるようにしたが、これに代え、水平方向の画像情報の変換用のＲＯＭテーブルを用意し、水平方向についても推定式を用いて画像情報を変換するようにしても良い。
【００４５】
また上述の実施例においては、領域分割化回路により、信号波形のパターンを１次元的に分割して表現したが、これに代え、信号波形のパターンを２次元的に分割して表現するようにしても上述の実施例と同様の効果を実現できる。
【００４６】
また上述の実施例においては、クラス分類に使用するＳＤ画素と、線形推定式で用いるＳＤ画素を同一のものとしたが、これらは必ずしも同一なものである必要はない。因に、異なる画素を使用する場合、クラス分類に使用するＳＤ画素を線形推定式で用いるＳＤ画素が包含するような形にするのが望ましく、また追加して使用する線形推定式で用いるＳＤ画素は、推定するＨＤ画素と同一フイールドに属するもののみとすることが望ましい。
【００４７】
また上述の実施例においては、画像情報を変換する際に、ＲＯＭテーブルに記憶されている係数データを用いた場合について述べたが、これに代え、ＲＯＭテーブルにクラス分類に応じた重心法による代表値を記憶することにより、推定演算を施すことなくＨＤデータを補間するようにしても良い。
【００４８】
また上述の実施例においては、本発明をＮＴＳＣ方式の映像信号をハイビジヨン方式の映像信号に変換する場合について述べたが、本発明はこれに限らず、第１の画像情報の解像度を、この第１の画像情報の解像度より高解像度の第２の画像情報に変換する場合に広く適用し得る。
【００４９】
また上述の実施例においては、本発明を画像情報変換装置として単独で機能するものとして説明したが、本発明による画像情報変換装置はこれに限らず、例えばテレビジヨン受像器、ビデオテープレコーダ装置、コンピユータ装置等に内蔵されたり周辺装置として付加されるようにしても良い。
【００５０】
【発明の効果】
上述のように本発明によれば、入力される第１の画像情報が、連続する２フイールドの双方から抽出した垂直方向に連続する一列の複数画素でなる複数のブロツクに分割され、それぞれのブロツク毎に画像情報のレベル分布のパターンが検出され、このレベル分布のパターンに基づいてクラスが決定されてクラス検出情報が出力される。このクラス検出情報に応じて、第１の画像情報をより解像度の高い第２の画像情報に変換するための情報である線形推定式の係数データ又は代表値が記憶された記憶手段を読み出し、この結果得られる係数データ又は代表値に応じて、第１の画像情報が第２の画像情報に変換される。かくして第１の画像情報を連続２フイールド内で分割してクラス分けしたことにより、簡易な構成で変換画像の画質の劣化を未然に防止し得る画像情報変換装置を実現できる。
【図面の簡単な説明】
【図１】本発明による画像情報変換装置の一実施例の構成を示すブロツク図である。
【図２】本発明による画像情報変換の前提としてＳＤデータとＨＤデータの位置関係を示す略線図である。
【図３】クラス分割に使用するデータの説明としてＳＤデータとＨＤデータの位置関係を示す略線図である。
【図４】クラス分割に使用するデータの説明としてＳＤデータとＨＤデータの位置関係を示す略線図である。
【図５】ＲＯＭテーブルの作成方法の説明に供するブロツク図である。
【図６】従来の画像情報変換装置のブロツク図である。
【図７】図６の画像情報変換装置の水平補間フイルタの構成を示す接続図である。
【図８】従来の時空間クラス分割による画像情報変換の説明としてＳＤデータとＨＤデータの位置関係を示す略線図である。
【符号の説明】
１、２１、１００、１１０……入力端子、２、２４……領域分割化回路、３、２５……ＡＤＲＣ回路、４、２６……クラスコード発生回路、５……ＲＯＭテーブル、６……遅延回路、７……推定演算回路、８、１０１……水平補間フイルタ、９、１０３、１２０……出力端子、２２……垂直間引きフイルタ、２３……水平間引きフイルタ、２７……正規方程式加算回路、２８……予測係数決定回路、２９……メモリ、１０２……垂直補間フイルタ、１１１……乗算器、１１２……加算器、１１３……遅延レジスタ。
【目次】
以下の順序で本発明を説明する。
産業上の利用分野
従来の技術（図６及び図７）
発明が解決しようとする課題（図６〜図８）
課題を解決するための手段（図１）
作用（図１）
実施例（図１〜図５）
（１）実施例の画像情報変換装置（図１〜図４）
（２）ＲＯＭテーブルの作成方法（図１〜図５）
（３）他の実施例
発明の効果
【０００２】
【産業上の利用分野】
本発明は画像情報変換装置及び画像情報変換方法に関し、特に通常の解像度の画像情報を高解像度の画像情報に変換して出力するものに適用して好適なものである。
【０００３】
【従来の技術】
従来、オーデイオビジユアル指向の高まりから、より高解像度の画像を得ることができるようなテレビジヨン受像器が望まれ、これに応えて、いわゆるハイビジヨン方式のテレビジヨン受像器が開発された。このハイビジヨン方式では走査線数が、いわゆるＮＴＳＣ方式の映像信号で規定される走査線数が 525本なのに対して、２倍以上の1125本となつているうえ、表示画面の縦横比もＮＴＳＣ方式が３：４に対して９：16と広角画面になつている。これにより高解像度で劇場のような臨場感のある画面を得ることができる。
【０００４】
ここでこのような優れた特性を有するハイビジヨン方式ではあるが、ＮＴＳＣ方式の映像信号をそのまま供給しても画像表示を行うことはできない。これは上述したようにＮＴＳＣ方式とハイビジヨン方式とでは規格が異なるためである。このため、ＮＴＳＣ方式の映像信号に応じた画像をハンビジヨン方式で表示しようとする場合には、従来画像情報変換装置を用いて映像信号のレートを変換していた。
【０００５】
すなわちこの画像情報変換装置は、図６に示すように、入力端子１００を介して供給されるＮＴＳＣ方式の映像信号の水平方向の補間処理を行う水平補間フイルタ１０１と、水平方向の補間処理の行われた映像信号の垂直方向の補間処理を行う垂直補間フイルタ１０２とから構成されている。実際上水平補間フイルタ１０１は、図７に示すようなデイジタルフイルタで構成されており、ＮＴＳＣ方式の映像信号が入力端子１１０を介して、第１〜第ｍの乗算器１１１〜１１１ｍにそれぞれ供給される。各乗算器１１１はそれぞれ入力される映像信号に係数α０〜αｍを乗算して出力する。
【０００６】
この結果係数α０〜αｍが乗算された映像信号は、それぞれ第１〜第ｍの加算器１１２〜１１２ｍ−１に供給される。各加算器１１２〜１１２ｍ−１の間には、それぞれ時間Ｔの遅延レジスタ１１３〜１１３ｍが設けられている。そして第ｍの乗算器１１１ｍから出力された映像信号は、第ｍの遅延レジスタ１１３ｍで時間Ｔだけ遅延され、第ｍ−１の加算器１１２ｍ−１に供給される。第ｍ−１の加算器１１２ｍ−１は、第ｍの遅延レジスタ１１３ｍで時間Ｔだけ遅延された映像信号と、第ｍ−１の乗算器１１１ｍ−１からの映像信号とを加算して出力する。
【０００７】
このように加算された映像信号は、第ｍ−１の遅延レジスタ１１３ｍ−１で再度時間Ｔだけ遅延され、第ｍ−２の加算器１１２ｍ−２（図示せず）において第ｍ−２の乗算器１１２ｍ−２（図示せず）からの映像信号と加算される。水平補間フイルタ１０１は、このようにしてＮＴＳＣ方式の映像信号の水平方向について補間して、出力端子１２０を介して垂直補間フイルタ１０２に供給する。
【０００８】
垂直補間フイルタ１０２は、水平補間フイルタ１０１と同様にデイジタルフイルタで構成されており、水平補間された映像信号に対して、垂直方向の画素の補間を行う。このようにしてＮＴＳＣ方式の映像信号よりハイビジヨン方式の映像信号に応じたレートの映像信号を得るようになされ、この映像信号がハイビジヨン方式の受像器に供給される。これによりＮＴＳＣ方式の映像信号に応じた画像をハイビジヨン方式の受像器で表示し得るようになされている。
【０００９】
【発明が解決しようとする課題】
ところが上述した画像情報変換装置においては、ＮＴＳＣ方式の映像信号を基にして、単に水平方向及び垂直方向を補間しているに過ぎないため、解像度は基となるＮＴＳＣ方式の映像信号と何ら変わらなかつた。特に通常の動画を変換対象とした場合、垂直方向の補間をフイールド内処理で行うのが一般的であるが、この場合には、画像のフイールド間相関を使用していないため、画像静止部においてはＮＴＳＣ方式の映像信号よりも解像度が劣化する欠点があつた。
【００１０】
これに対して、画像情報変換装置として、入力信号である画像信号レベルを３次元すなわち時空間分布に応じてクラス分割し、クラス毎に予め学習によつて獲得された予測係数値を格納した記憶手段を持ち、予測式に基づいた演算により最適な推定値を出力する方法を用いたものがある（特願平5-172617号）。
【００１１】
この方法では、ハイビジヨン方式（以下、高解像度を示すＨＤ（high difinition ）と呼ぶ）の画素を創造する場合、時間的及び空間的な意味でその周辺に存在する複数のＮＴＳＣ方式（以下、標準解像度を示すＳＤ（standerd difinition ）と呼ぶ）の画素データをクラス分割し、それぞれのクラス毎に予測係数値を学習により獲得することで、画像静止部においてはフイールド間、フレーム間等の時間方向の相関を利用し、また画像動き部においては、フイールド内相関のみを利用することにより、真値に近いＨＤ画素値を得るものである。
【００１２】
実際上、図８にＳＤ画素を大きい「○」で示し、ＨＤ画素を小さい「○」で示す。この図においてＳＤ画素ｘ1 とＳＤ画素ｘ2 の差分値が小さい場合は、創造すべきＨＤ画素ｙの周辺の画像は静止している可能性が高い。そこで画像情報変換装置では、空間位置の近いＳＤ画素ｘ1 とＳＤ画素ｘ2 に重きをおいてＨＤ画素ｙを創造する。一方ＳＤ画素ｘ1 とＳＤ画素ｘ2 の差分値が大きい場合は、創造すべきＨＤ画素ｙの周辺の画像は動いている可能性が高い。そこで画像情報変換装置では、時間的に近いＳＤ画素ｘ3 とＳＤ画素ｘ4 に重きをおいてＨＤ画素ｙを創造する。
【００１３】
この方法によれば、静止／動きの切り替わりも実際の画像を用いて学習することにより滑らかに表現できるので、従来の動き適応方式のように静止／動きの切り替わりによる不自然さの発生を大幅に減少させることができる。ところがこの方法では、有限個のクラス分割により、動き情報と空間内の波形の２つを表現する必要があり、クラスによつては本来なら分離すべきパターンが１つのクラス内に混在してしまう場合があつた。
【００１４】
例えば、図８において、ＳＤ画素ｘ1 とＳＤ画素ｘ2 の差分値が小さい場合は、上述のようにその周辺の画像は静止している可能性が非常に高いが、わずかな可能性ではあるが実際には画像が動いている場合がある。例えば（ｋ＋１）フイールドにのみ動き物体が侵入している場合、またｋフイールドから（ｋ＋２）フイールドの間で画像中の物体が動いているが、たまたまＳＤ画素ｘ1 とＳＤ画素ｘ2 のデータが近い値をとつた場合などである。
【００１５】
このような場合も、ＳＤ画素ｘ1 とＳＤ画素ｘ2 の差分値が小さいことにより、画像情報変換装置では空間位置の近いＳＤ画素ｘ1 とＳＤ画素ｘ2 に重きをおいてＨＤ画素ｙが創造される。従つてこの場合創造されたＨＤ画素と真のＨＤ画素の誤差が大きいものとなり、変換画像に画質の劣化が目立つことになる。この対策として、クラス分割に用いる画素数を増やしてクラス数を増加させることにより、変換画像の画質の劣化を低減することが考えられる。
【００１６】
ところがこのようにすると、クラス数が非常に大きくなり、その分ハードウエア規模が増加して実現が困難になる。また上述した方法では３フイールド分のデータを使用するためにハードウエア規模が大きくなる欠点がある。また必ずしも動きと静止が完全に分離できていない現状では、シーンチエンジの発生した場合に、変換画像の画質がさらに著しく劣化する場合があり、全体として変換画像の画質の点で実用上未だ不十分であつた。
【００１７】
本発明は以上の点を考慮してなされたもので、通常の解像度の画像情報を高解像度の画像情報に変換する際に簡易な構成で変換画像の画質の劣化を未然に防止し得る画像情報変換装置及び画像情報変換方法を提案しようとするものである。
【００１８】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、デイジタル画像信号でなる第１の画像情報を、より解像度の高いデイジタル画像信号でなる第２の画像情報に変換する画像情報変換装置において、第１の画像情報を、連続する２フイールドの双方から抽出した垂直方向に連続する一列の複数画素でなる複数のブロツクに分割する画像情報分割手段２と、その画像情報分割手段２により分割されたブロツク毎に、第１の画像情報のレベル分布のパターンを検出し、当該検出したパターンに基づいてブロツクの第１の画像情報が属するクラスを決定してクラス検出情報を出力するクラス検出手段３、４と、第１の画像情報を、その第１の画像情報より解像度の高い第２の画像情報に変換するための情報である推定式の係数データがクラス毎に記憶され、クラス検出手段３、４からのクラス検出情報に応じて係数データを出力する係数データ記憶手段５と、係数データ記憶手段５から供給された係数データに応じて、第１の画像情報を第２の画像情報に変換して出力する画像変換手段７とを設けるようにする。
また本発明においては、デイジタル画像信号でなる第１の画像情報を、より解像度の高いデイジタル画像信号でなる第２の画像情報に変換する画像情報変換方法において、第１の画像情報を、連続する２フイールドの双方から抽出した垂直方向に連続する一列の複数画素でなる複数のブロツクに分割する第１のステツプと、当該分割されたブロツク毎に、第１の画像情報のレベル分布のパターンを検出し、当該検出したパターンに基づいてブロツクの第１の画像情報が属するクラスを決定してクラス検出情報を出力する第２のステツプと、第１の画像情報を当該第１の画像情報より解像度の高い第２の画像情報に変換するための情報である推定式の係数データがクラス毎に記憶された係数データ記憶手段から、第２のステツプで出力されたクラス検出情報に応じて係数データを出力する第３のステツプと、当該出力された係数データに応じて、第１の画像情報を第２の画像情報に変換して出力する第４のステツプとを設けるようにする。
【００１９】
また本発明においては、デイジタル画像信号でなる第１の画像情報を、より解像度の高いデイジタル画像信号でなる第２の画像情報に変換する画像情報変換装置において、第１の画像情報を、連続する２フイールドの双方から抽出した垂直方向に連続する一列の複数画素でなる複数のブロツクに分割する画像情報分割手段と、その画像情報分割手段２により分割されたブロツク毎に、第１の画像情報のレベル分布のパターンを検出し、当該検出したパターンに基づいてブロツクの第１の画像情報が属するクラスを決定してクラス検出情報を出力するクラス検出手段と、第１の画像情報を、その第１の画像情報より解像度の高い第２の画像情報に変換するための情報である代表値がクラス毎に記憶され、クラス検出手段からのクラス検出情報に応じて代表値を出力する代表値記憶手段と、代表値記憶手段から供給された代表値に応じて、第１の画像情報を第２の画像情報に変換して出力する画像変換手段とを設けるようにする。
また本発明においては、デイジタル画像信号でなる第１の画像情報を、より解像度の高いデイジタル画像信号でなる第２の画像情報に変換する画像情報変換方法において、第１の画像情報を、連続する２フイールドの双方から抽出した垂直方向に連続する一列の複数画素でなる複数のブロツクに分割する第１のステツプと、当該分割されたブロツク毎に、第１の画像情報のレベル分布のパターンを検出し、当該検出したパターンに基づいてブロツクの第１の画像情報が属するクラスを決定してクラス検出情報を出力する第２のステツプと、第１の画像情報を当該第１の画像情報より解像度の高い第２の画像情報に変換するための情報である代表値がクラス毎に記憶された代表値記憶手段から、第２のステツプで出力されたクラス検出情報に応じて代表値を出力する第３のステツプと、当該出力された代表値に応じて、第１の画像情報を第２の画像情報に変換して出力する第４のステツプとを設けるようにする。
【００２０】
【作用】
入力される第１の画像情報が、連続する２フイールドの双方から抽出した垂直方向に連続する一列の複数画素でなる複数のブロツクに分割され、それぞれのブロツク毎に画像情報のレベル分布のパターンが検出され、このレベル分布のパターンに基づいてクラスが決定されてクラス検出情報が出力される。このクラス検出情報に応じて、第１の画像情報をより解像度の高い第２の画像情報に変換するための情報である線形推定式の係数データ又は代表値が記憶された記憶手段を読み出し、この結果得られる係数データ又は代表値に応じて、第１の画像情報が第２の画像情報に変換される。かくして第１の画像情報を連続２フイールド内で分割してクラス分けしたことにより、簡易な構成で変換画像の画質の劣化を未然に防止し得る。
【００２１】
【実施例】
以下図面について、本発明の一実施例を詳述する。
【００２２】
（１）実施例の画像情報変換装置
図１においては全体として、本発明による画像情報変換装置を示し、入力端子１を通じて外部から供給される画像情報として、ＮＴＳＣ方式の映像信号がデイジタル化されＳＤデータとして入力される。この画像情報変換装置におけるＳＤ画素と創造すべきＨＤ画素の位置関係を図２に示す。すなわち創造すべきＨＤ画素には、同一フイールド内で見たとき、ＳＤ画素から近い位置に存在するＨＤ画素ｙ1 とＳＤ画素から遠い位置に存在するＨＤ画素ｙ2 の２種類がある。この実施例では、ＳＤ画素から近い位置に存在するＨＤ画素を推定するモードをモード１とし、ＳＤ画素から遠い位置に存在するＨＤ画素を推定するモードをモード２とする。
【００２３】
領域分割化回路２は、入力端子１より供給されたＳＤデータを複数の領域に分割する。この実施例では創造すべきＨＤ画素の同一フレーム内の例えば上下各３画素ずつのＳＤ画素を、１画素×６ラインの計６画素からなる領域に分割する。モード１に関しては、図３に示すように、ＨＤ画素ｙ1 に対するＳＤ画素ｘ1 、ｘ2 、ｘ3 、ｘ4 、ｘ5 、ｘ6 がその領域にあたり、この領域をブロツク１とする。またモード２に関しては、図４に示すように、ＨＤ画素ｙ2 に対するＳＤ画素ｘ1 、ｘ2 、ｘ3 、ｘ4 、ｘ5 、ｘ6 がその領域にあたり、この領域をブロツク２する。なお図２〜図４では、ＳＤ画素を大きい「○」で示し、ＨＤ画素を小さい「○」で示す。
【００２４】
このようにして領域分割化回路２によりブロツク化されたＳＤデータは、ＡＤＲＣ（adaptive dyanamic range coding）回路３及び遅延回路（ＤＬ）６に供給される。遅延回路６は、ＡＤＲＣ回路３、クラスコード発生回路４及びリードオンリメモリ（ＲＯＭ）テーブル５の処理に必要な時間だけＳＤデータを遅延させて推定演算回路７に出力する。ＡＤＲＣ回路３は、領域毎に供給されるＳＤデータの１次元的又は２次元的なレベル分布のパターンを検出すると共に、上述のように各領域のデータを、例えば８ビツトのＳＤデータから２ビツトのＳＤデータに圧縮するように演算してパターン圧縮データを形成し、このパターン圧縮データをクラスコード発生回路４に供給する。
【００２５】
ここでＡＤＲＣは、本来ビデオテープレコーダ（ＶＴＲ）向けの高能率符号化用に開発された適応的再量子化法だが、信号レベルの局所的なパターンを短い語長で効率的に表現できるため、この実施例ではＡＤＲＣの手法を用いて信号パターンをクラス分類するためのコードを発生している。ＡＤＲＣ回路３は、領域内のダイナミツクレンジをＤＲ、ビツト割当をｎ、領域内画素のデータレベルをＬ、再量子化コードをＱとして、次式
【数１】
【００２６】
クラスコード発生回路４は、ＡＤＲＣ回路３から供給されるパターン圧縮データに基づいて、次式
【数２】
【００２７】
実際上ＲＯＭテーブル５には、ＳＤデータのパターンとＨＤデータの関係を学習することにより、線形推定式を用いてそのＳＤデータに対応するＨＤデータを算出するための係数データが、各クラス毎に記憶されている。これは線形推定式によりＳＤデータを、この画像情報よりも高い解像度の画像情報である、いわゆるハイビジヨン方式の規格に合致したＨＤデータに変換するための情報である。この実施例において係数データは、モード１とモード２で独立に用意される。なおＲＯＭテーブル５に記憶されている係数データの作成方法については後述する。ＲＯＭテーブル５からは、クラスコードclass で示されるアドレスから、そのクラスの係数データであるｗi(class)が読み出される。この係数データは推定演算回路７に供給される。
【００２８】
推定演算回路７は、遅延回路６を介して領域分割化回路２から供給されるＳＤデータ及びＲＯＭテーブル５から供給される係数データであるｗi(class)に基づいて、入力されたＳＤデータに対応するＨＤデータを算出する。実際上推定演算回路７は、遅延回路６より供給されたＳＤデータとＲＯＭテーブル５より供給された係数データにより、モード１に関してはブロツク１用の係数を用い、モード２に関してはブロツク２用の係数を用いて、係数データであるｗi(class)に基づいて、それぞれ次式
【数３】
【００２９】
水平補間フイルタ８は、従来について上述した図６の水平補間フイルタ１０２と同様に構成されており、補間処理により水平方向の画素数を２倍にするものである。水平補間フイルタ８の出力は、出力端子９を介して出力される。この出力端子９を介して出力されるＨＤデータは、例えばＨＤテレビジヨン受像器やＨＤビデオテープレコーダ装置等に供給される。
【００３０】
以上の構成によれば、ＳＤデータに対応するＨＤデータを推定するための係数データを、各クラス毎に予め学習により求めた上でＲＯＭテーブル５に記憶し、入力されるＳＤデータ及びＲＯＭテーブル５から読み出した係数データに基づいて演算を行い、入力されたＳＤデータに対応するＨＤデータを形成して出力することにより、入力されるＳＤデータを単に補間処理した場合に比較して、実際のデータにより近いＨＤデータに変換することができる。
【００３１】
さらに上述の構成によれば、従来について上述した画像情報をクラス分けする方法が、１フレーム間データの差分を用いて動きを表現していたのに対して、１フレーム内の垂直方向に連続する２フイールドの複数の画素のみを領域分割してクラス分類するようにしたことにより、連続する複数の画素を使用して動きを表現することができる。例えば図３におけるＨＤ画素ｙ1 を推定するためのブロツク１のＳＤ画素ｘ1 〜ｘ6 を、２ビツトＡＤＲＣした結果の量子化データｑ1 〜ｑ6 が順に、２、０、２、０、２、０、であつた場合、動き画像である可能性が非常に高いが、このように連続する複数の画素を使用して動きを表現するため、従来よりも高い精度で動きを表現できる。
【００３２】
さらに上述の構成によれば、推定に同一フレームに属するデータ以外の画素を用いないため、合計３フイールドのデータを使用する従来の画像情報変換装置に比較してハードウエア的な負担が軽減され、またシーンチエンジが発生した場合でも変換画像の画質が劣化するおそれを未然に防止し得る。
【００３３】
（２）ＲＯＭテーブルの作成方法
ここでＲＯＭテーブル５に格納される係数データの作成方法について、図５を用いて説明する。この係数データを学習によつて得るためには、まず既に知られているＨＤ画像に対応して、このＨＤ画像の１／４の画素数のＳＤ画像を形成する。実際上、図５に示す理想フイルタ回路により、入力端子２１を介して供給されるＨＤデータの垂直方向の画素を垂直間引きフイルタ２２によりフイールド内の垂直方向の周波数が１／２になるように間引きし、さらに水平間引きフイルタ２３により、このＨＤデータの水平方向の画素を間引きしてＳＤデータを得る。
【００３４】
この結果得られるＳＤデータは、領域分割化回路２４に供給され、複数の領域に分割される。この領域分割化回路２４は、図１の画像情報変換装置の領域分割化回路２と同じ構成のものであり、ＳＤデータを各６画素からなる領域に分割する。すなわちモード１に対してはブロツク１の領域の領域分割を行い、モード２に関してはブロツク２の領域分割を行う。この領域毎のＳＤデータをＡＤＲＣ回路２５及び正規方程式加算回路２７に供給する。
【００３５】
ＡＤＲＣ回路２５は領域毎に供給されるＳＤデータの１次元的又は２次元的なレベル分布のパターンを検出するとともに、上述のように各領域のすべてのデータ又は一部のデータを、例えば８ビツトのＳＤデータから２ビツトのＳＤデータに圧縮するように演算してパターン圧縮データを形成し、このパターン圧縮データをクラスコード発生回路２６に供給する。ＡＤＲＣ回路２５は、図１のＡＤＲＣ回路３と同じ構成のものである。この領域分割化回路２４により分離された、６画素からなる各領域のＳＤデータ（図３、図４におけるＳＤ画素ｘ1 〜ｘ6 ）を、ＡＤＲＣにより各２ビツトに圧縮する。
【００３６】
クラスコード発生回路２６も、図１のクラスコード発生回路４と同じ構成のものであり、ＡＤＲＣ回路２５から供給されるパターン圧縮データに基づいて（２）式の演算を行うことにより、そのブロツクが属するクラスを検出し、そのクラスclass を示すクラスコードを出力する。クラスコード発生回路２６は、クラスコードを正規方程式加算回路２７に出力する。
【００３７】
ここで正規方程式加算回路２７の説明として、複数個のＳＤ画素からＨＤ画素への変換式の学習とその予測式を用いた信号変換について述べる。以下では説明のために画素をより一般化してｎ画素による予測を行う場合について述べる。ＳＤ画素レベルをそれぞれｘ1 、……ｘn として、それぞれにｐビツトＡＤＲＣを行つた結果の再量子化データをｑ1 、……ｑn とする。このときこの領域のクラスclass を、上述した（２）式で定義する。
【００３８】
上述のようにＳＤ画素レベルをそれぞれｘ1 、……ｘn とし、ＨＤ画素レベルをｙとしたとき、クラス毎に係数ｗ1 、……ｗn によるｎタツプの線形推定式を設定する。これを次式
【数４】
【数５】
【数６】
【数７】
【００３９】
ここで（７）式のｗi による偏微分係数を求める。それは次式
【数８】
【数９】
【数１０】
【数１１】
【００４０】
この方程式は一般に正規方程式と呼ばれている。正規方程式加算回路２７は、クラスコード発生回路２６から供給されたクラスコード、領域分割化回路２４より供給されたＳＤデータｘ1 、……ｘn 、入力端子２１より供給されたＳＤデータに対応するＨＤ画素レベルｙを用いて、この正規方程式の加算を行う。
【００４１】
すべてのトレーニングデータの入力が終了した後、正規方程式加算回路２７は、予測係数決定回路２８に正規方程式データを出力する。予測係数決定回路２８は、正規方程式を掃き出し法などの一般的な行列解法を用いて、ｗi について解き予測係数を算出する。予測係数決定回路２８は、算出された予測係数をメモリ２９に書き込む。
【００４２】
以上のようにトレーニングを行つた結果、メモリ２９には、量子化データｑ1 、……ｑ6 で規定されるパターン毎に、注目ＨＤデータｙを推定するための、統計的にもつとも真値に近い推定ができる予測係数が格納される。このメモリ２９に格納されたテーブルが、図１について上述した画像情報変換装置において使用されるＲＯＭテーブル５である。以上の処理によつて、線形推定式によりＳＤデータからＨＤデータを作成するための係数データの学習が終了する。
【００４３】
（３）他の実施例
なお上述の実施例においては、ＡＤＲＣによる圧縮符号化の方法を用いて画像データの情報を圧縮してクラス分類した場合について述べたが、圧縮の方法はこれに限らず、画像データの情報を信号波形のパターンの少ないクラスで表現できるような圧縮符号化であればどのような方法を用いるようにしたも良く、例えば差分量子化（ＤＰＣＭ）、ベクトル量子化（ＶＱ）や離散コサイン変換（ＤＣＴ）等の種々の方法が考えられる。
【００４４】
また上述の実施例においては、説明の簡略化のため、水平方向についての画像情報の変換を水平補間フイルタを用いるようにしたが、これに代え、水平方向の画像情報の変換用のＲＯＭテーブルを用意し、水平方向についても推定式を用いて画像情報を変換するようにしても良い。
【００４５】
また上述の実施例においては、領域分割化回路により、信号波形のパターンを１次元的に分割して表現したが、これに代え、信号波形のパターンを２次元的に分割して表現するようにしても上述の実施例と同様の効果を実現できる。
【００４６】
また上述の実施例においては、クラス分類に使用するＳＤ画素と、線形推定式で用いるＳＤ画素を同一のものとしたが、これらは必ずしも同一なものである必要はない。因に、異なる画素を使用する場合、クラス分類に使用するＳＤ画素を線形推定式で用いるＳＤ画素が包含するような形にするのが望ましく、また追加して使用する線形推定式で用いるＳＤ画素は、推定するＨＤ画素と同一フイールドに属するもののみとすることが望ましい。
【００４７】
また上述の実施例においては、画像情報を変換する際に、ＲＯＭテーブルに記憶されている係数データを用いた場合について述べたが、これに代え、ＲＯＭテーブルにクラス分類に応じた重心法による代表値を記憶することにより、推定演算を施すことなくＨＤデータを補間するようにしても良い。
【００４８】
また上述の実施例においては、本発明をＮＴＳＣ方式の映像信号をハイビジヨン方式の映像信号に変換する場合について述べたが、本発明はこれに限らず、第１の画像情報の解像度を、この第１の画像情報の解像度より高解像度の第２の画像情報に変換する場合に広く適用し得る。
【００４９】
また上述の実施例においては、本発明を画像情報変換装置として単独で機能するものとして説明したが、本発明による画像情報変換装置はこれに限らず、例えばテレビジヨン受像器、ビデオテープレコーダ装置、コンピユータ装置等に内蔵されたり周辺装置として付加されるようにしても良い。
【００５０】
【発明の効果】
上述のように本発明によれば、入力される第１の画像情報が、連続する２フイールドの双方から抽出した垂直方向に連続する一列の複数画素でなる複数のブロツクに分割され、それぞれのブロツク毎に画像情報のレベル分布のパターンが検出され、このレベル分布のパターンに基づいてクラスが決定されてクラス検出情報が出力される。このクラス検出情報に応じて、第１の画像情報をより解像度の高い第２の画像情報に変換するための情報である線形推定式の係数データ又は代表値が記憶された記憶手段を読み出し、この結果得られる係数データ又は代表値に応じて、第１の画像情報が第２の画像情報に変換される。かくして第１の画像情報を連続２フイールド内で分割してクラス分けしたことにより、簡易な構成で変換画像の画質の劣化を未然に防止し得る画像情報変換装置を実現できる。
【図面の簡単な説明】
【図１】本発明による画像情報変換装置の一実施例の構成を示すブロツク図である。
【図２】本発明による画像情報変換の前提としてＳＤデータとＨＤデータの位置関係を示す略線図である。
【図３】クラス分割に使用するデータの説明としてＳＤデータとＨＤデータの位置関係を示す略線図である。
【図４】クラス分割に使用するデータの説明としてＳＤデータとＨＤデータの位置関係を示す略線図である。
【図５】ＲＯＭテーブルの作成方法の説明に供するブロツク図である。
【図６】従来の画像情報変換装置のブロツク図である。
【図７】図６の画像情報変換装置の水平補間フイルタの構成を示す接続図である。
【図８】従来の時空間クラス分割による画像情報変換の説明としてＳＤデータとＨＤデータの位置関係を示す略線図である。
【符号の説明】
１、２１、１００、１１０……入力端子、２、２４……領域分割化回路、３、２５……ＡＤＲＣ回路、４、２６……クラスコード発生回路、５……ＲＯＭテーブル、６……遅延回路、７……推定演算回路、８、１０１……水平補間フイルタ、９、１０３、１２０……出力端子、２２……垂直間引きフイルタ、２３……水平間引きフイルタ、２７……正規方程式加算回路、２８……予測係数決定回路、２９……メモリ、１０２……垂直補間フイルタ、１１１……乗算器、１１２……加算器、１１３……遅延レジスタ。
Claims (12)
- デイジタル画像信号でなる第１の画像情報を、より解像度の高いデイジタル画像信号でなる第２の画像情報に変換する画像情報変換装置において、
上記第１の画像情報を、連続する２フイールドの双方から抽出した垂直方向に連続する一列の複数画素でなる複数のブロツクに分割する画像情報分割手段と、
当該画像情報分割手段により分割された上記ブロツク毎に、上記第１の画像情報のレベル分布のパターンを検出し、当該検出したパターンに基づいて上記ブロツクの上記第１の画像情報が属するクラスを決定してクラス検出情報を出力するクラス検出手段と、
上記第１の画像情報を、当該第１の画像情報より解像度の高い上記第２の画像情報に変換するための情報である推定式の係数データが上記クラス毎に記憶され、上記クラス検出手段からの上記クラス検出情報に応じて上記係数データを出力する係数データ記憶手段と、
上記係数データ記憶手段から供給された上記係数データに応じて、上記第１の画像情報を上記第２の画像情報に変換して出力する画像変換手段と
を具えることを特徴とする画像情報変換装置。 - 上記連続する２フイールドは同一フレーム内のフイールドである
ことを特徴とする請求項１に記載の画像情報変換装置。 - 上記クラス検出手段は、上記画像情報分割手段により分割された上記第１の画像情報の上記ブロツク毎に、圧縮符号化に応じた手法を用いて上記レベル分布のパターンを検出して上記クラスを決定するようにした
ことを特徴とする請求項１に記載の画像情報変換装置。 - デイジタル画像信号でなる第１の画像情報を、より解像度の高いデイジタル画像信号でなる第２の画像情報に変換する画像情報変換装置において、
上記第１の画像情報を、連続する２フイールドの双方から抽出した垂直方向に連続する一列の複数画素でなる複数のブロツクに分割する画像情報分割手段と、
当該画像情報分割手段により分割された上記ブロツク毎に、上記第１の画像情報のレベル分布のパターンを検出し、当該検出したパターンに基づいて上記ブロツクの上記第１の画像情報が属するクラスを決定してクラス検出情報を出力するクラス検出手段と、
上記第１の画像情報を、当該第１の画像情報より解像度の高い上記第２の画像情報に変換するための情報である代表値が上記クラス毎に記憶され、上記クラス検出手段からの上記クラス検出情報に応じて上記代表値を出力する代表値記憶手段と、
上記代表値記憶手段から供給された上記代表値に応じて、上記第１の画像情報を上記第２の画像情報に変換して出力する画像変換手段と
を具えることを特徴とする画像情報変換装置。 - 上記連続する２フイールドは同一フレーム内のフイールドである
ことを特徴とする請求項４に記載の画像情報変換装置。 - 上記クラス検出手段は、上記画像情報分割手段により分割された上記第１の画像情報の上記ブロツク毎に、圧縮符号化に応じた手法を用いて上記レベル分布のパターンを検出して上記クラスを決定するようにした
ことを特徴とする請求項４に記載の画像情報変換装置。 - デイジタル画像信号でなる第１の画像情報を、より解像度の高いデイジタル画像信号でなる第２の画像情報に変換する画像情報変換方法において、
上記第１の画像情報を、連続する２フイールドの双方から抽出した垂直方向に連続する 一列の複数画素でなる複数のブロツクに分割する第１のステツプと、
当該分割された上記ブロツク毎に、上記第１の画像情報のレベル分布のパターンを検出し、当該検出したパターンに基づいて上記ブロツクの上記第１の画像情報が属するクラスを決定してクラス検出情報を出力する第２のステツプと、
上記第１の画像情報を当該第１の画像情報より解像度の高い上記第２の画像情報に変換するための情報である推定式の係数データが上記クラス毎に記憶された係数データ記憶手段から、上記第２のステツプで出力された上記クラス検出情報に応じて上記係数データを出力する第３のステツプと、
当該出力された上記係数データに応じて、上記第１の画像情報を上記第２の画像情報に変換して出力する第４のステツプと
を具えることを特徴とする画像情報変換方法。 - 上記連続する２フイールドは同一フレーム内のフイールドである
ことを特徴とする請求項７に記載の画像情報変換方法。 - 上記第２のステツプでは、上記第１のステツプにおいて分割された上記第１の画像情報の上記ブロツク毎に、圧縮符号化に応じた手法を用いて上記レベル分布のパターンを検出して上記クラスを決定するようにした
ことを特徴とする請求項７に記載の画像情報変換方法。 - デイジタル画像信号でなる第１の画像情報を、より解像度の高いデイジタル画像信号でなる第２の画像情報に変換する画像情報変換方法において、
上記第１の画像情報を、連続する２フイールドの双方から抽出した垂直方向に連続する一列の複数画素でなる複数のブロツクに分割する第１のステツプと、
当該分割された上記ブロツク毎に、上記第１の画像情報のレベル分布のパターンを検出し、当該検出したパターンに基づいて上記ブロツクの上記第１の画像情報が属するクラスを決定してクラス検出情報を出力する第２のステツプと、
上記第１の画像情報を当該第１の画像情報より解像度の高い上記第２の画像情報に変換するための情報である代表値が上記クラス毎に記憶された代表値記憶手段から、上記第２のステツプで出力された上記クラス検出情報に応じて上記代表値を出力する第３のステツプと、
当該出力された上記代表値に応じて、上記第１の画像情報を上記第２の画像情報に変換して出力する第４のステツプと
を具えることを特徴とする画像情報変換方法。 - 上記連続する２フイールドは同一フレーム内のフイールドである
ことを特徴とする請求項１０に記載の画像情報変換方法。 - 上記第２のステツプでは、上記第１のステツプにおいて分割された上記第１の画像情報の上記ブロツク毎に、圧縮符号化に応じた手法を用いて上記レベル分布のパターンを検出して上記クラスを決定するようにした
ことを特徴とする請求項１０に記載の画像情報変換方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP34760893A JP3653287B2 (ja) | 1993-12-25 | 1993-12-25 | 画像情報変換装置及び画像情報変換方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP34760893A JP3653287B2 (ja) | 1993-12-25 | 1993-12-25 | 画像情報変換装置及び画像情報変換方法 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005015806A Division JP4042121B2 (ja) | 2005-01-24 | 2005-01-24 | 画像情報処理装置及び画像情報処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07193790A JPH07193790A (ja) | 1995-07-28 |
| JP3653287B2 true JP3653287B2 (ja) | 2005-05-25 |
Family
ID=18391374
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP34760893A Expired - Lifetime JP3653287B2 (ja) | 1993-12-25 | 1993-12-25 | 画像情報変換装置及び画像情報変換方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3653287B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030020094A (ko) * | 2001-09-01 | 2003-03-08 | 엘지전자 주식회사 | 디스플레이 시스템의 해상도 변환 장치 및 방법 |
| KR102011938B1 (ko) | 2016-03-14 | 2019-08-19 | 리어롭 가부시키가이샤 | 화상 처리 장치, 화상 처리 방법, 기록 매체, 프로그램 및 촬상 장치 |
-
1993
- 1993-12-25 JP JP34760893A patent/JP3653287B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH07193790A (ja) | 1995-07-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO1994014278A1 (en) | Image signal converter | |
| US6057885A (en) | Picture information converting apparatus and method thereof and sum-of-product calculating circuit and method thereof | |
| JP3271101B2 (ja) | ディジタル画像信号処理装置および処理方法 | |
| JP3348318B2 (ja) | ディジタル画像信号処理装置および処理方法 | |
| JP3946781B2 (ja) | 画像情報変換装置及び方法 | |
| JP3400055B2 (ja) | 画像情報変換装置及び画像情報変換方法並びに画像処理装置及び画像処理方法 | |
| JP3723995B2 (ja) | 画像情報変換装置および方法 | |
| JP4140091B2 (ja) | 画像情報変換装置および画像情報変換方法 | |
| JP3653287B2 (ja) | 画像情報変換装置及び画像情報変換方法 | |
| JP3362463B2 (ja) | フレーム補間装置 | |
| JP3243861B2 (ja) | 画像情報変換装置 | |
| JP3271096B2 (ja) | ディジタル画像信号処理装置 | |
| JP4042121B2 (ja) | 画像情報処理装置及び画像情報処理方法 | |
| JP3800638B2 (ja) | 画像情報変換装置および方法 | |
| JP3480015B2 (ja) | 画像データの生成装置および生成方法 | |
| JP3480011B2 (ja) | 画像情報変換装置 | |
| JP4062326B2 (ja) | 係数生成装置および方法 | |
| JPH08317347A (ja) | 画像情報変換装置 | |
| JP3587188B2 (ja) | ディジタル画像信号処理装置および処理方法 | |
| JP3826434B2 (ja) | 信号変換装置および方法 | |
| JPH0746548A (ja) | ディジタル画像信号処理装置 | |
| JPH07193791A (ja) | 画像情報変換装置 | |
| JP4001143B2 (ja) | 係数生成装置および方法 | |
| JP4310847B2 (ja) | 画像情報変換装置および変換方法 | |
| JPH0785287A (ja) | 予測符号化装置およびその復号装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050124 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050228 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080304 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090304 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100304 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100304 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110304 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120304 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120304 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130304 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130304 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140304 Year of fee payment: 9 |
|
| EXPY | Cancellation because of completion of term |