JP2005151599A - Image information processing apparatus and image information processing method - Google Patents
Image information processing apparatus and image information processing method Download PDFInfo
- Publication number
- JP2005151599A JP2005151599A JP2005015806A JP2005015806A JP2005151599A JP 2005151599 A JP2005151599 A JP 2005151599A JP 2005015806 A JP2005015806 A JP 2005015806A JP 2005015806 A JP2005015806 A JP 2005015806A JP 2005151599 A JP2005151599 A JP 2005151599A
- Authority
- JP
- Japan
- Prior art keywords
- image signal
- pixel
- image
- class
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Television Systems (AREA)
Abstract
Description
本発明は画像情報処理装置及び画像情報処理方法に関し、特に通常の解像度の画像情報を高解像度の画像情報に変換して出力するものに適用して好適なものである。 The present invention relates to an image information processing apparatus and an image information processing method, and is particularly suitable for being applied to an apparatus that converts normal-resolution image information into high-resolution image information and outputs it.
従来、オーデイオビジユアル指向の高まりから、より高解像度の画像を得ることができるようなテレビジヨン受像器が望まれ、これに応えて、いわゆるハイビジヨン方式のテレビジヨン受像器が開発された。このハイビジヨン方式では走査線数が、いわゆるNTSC方式の映像信号で規定される走査線数が 525本なのに対して、2倍以上の1125本となつているうえ、表示画面の縦横比もNTSC方式が3:4に対して9:16と広角画面になつている。これにより高解像度で劇場のような臨場感のある画面を得ることができる。 2. Description of the Related Art Conventionally, a television receiver capable of obtaining a higher resolution image has been desired due to an increase in audio visual orientation, and in response to this, a so-called high vision television receiver has been developed. In this high vision system, the number of scanning lines is 525, which is more than twice the number of scanning lines defined by the so-called NTSC video signal, and the aspect ratio of the display screen is also NTSC. The wide-angle screen is 9:16 compared to 3: 4. As a result, it is possible to obtain a high-resolution, realistic screen like a theater.
ここでこのような優れた特性を有するハイビジヨン方式ではあるが、NTSC方式の映像信号をそのまま供給しても画像表示を行うことはできない。これは上述したようにNTSC方式とハイビジヨン方式とでは規格が異なるためである。このため、NTSC方式の映像信号に応じた画像をハイビジヨン方式で表示しようとする場合には、従来画像情報変換装置を用いて映像信号のレートを変換していた。 Here, although it is a high vision system having such excellent characteristics, even if an NTSC video signal is supplied as it is, an image cannot be displayed. This is because the standards differ between the NTSC system and the high vision system as described above. For this reason, when an image corresponding to the NTSC video signal is to be displayed by the high vision system, the video signal rate has been converted using a conventional image information converter.
すなわちこの画像情報変換装置は、図6に示すように、入力端子100を介して供給されるNTSC方式の映像信号の水平方向の補間処理を行う水平補間フイルタ101と、水平方向の補間処理の行われた映像信号の垂直方向の補間処理を行う垂直補間フイルタ102とから構成されている。実際上水平補間フイルタ101は、図7に示すようなデイジタルフイルタで構成されており、NTSC方式の映像信号が入力端子110を介して、第1〜第mの乗算器111〜111mにそれぞれ供給される。各乗算器111はそれぞれ入力される映像信号に係数α0〜αmを乗算して出力する。
That is, as shown in FIG. 6, the image information conversion apparatus includes a
この結果係数α0〜αmが乗算された映像信号は、それぞれ第1〜第mの加算器112〜112m−1に供給される。各加算器112〜112m−1の間には、それぞれ時間Tの遅延レジスタ113〜113mが設けられている。そして第mの乗算器111mから出力された映像信号は、第mの遅延レジスタ113mで時間Tだけ遅延され、第m−1の加算器112m−1に供給される。第m−1の加算器112m−1は、第mの遅延レジスタ113mで時間Tだけ遅延された映像信号と、第m−1の乗算器111m−1からの映像信号とを加算して出力する。
As a result, the video signals multiplied by the coefficients α0 to αm are supplied to the first to
このように加算された映像信号は、第m−1の遅延レジスタ113m−1で再度時間Tだけ遅延され、第m−2の加算器112m−2(図示せず)において第m−2の乗算器112m−2(図示せず)からの映像信号と加算される。水平補間フイルタ101は、このようにしてNTSC方式の映像信号の水平方向について補間して、出力端子120を介して垂直補間フイルタ102に供給する。
The added video signals are delayed again by time T in the (m-1)
垂直補間フイルタ102は、水平補間フイルタ101と同様にデイジタルフイルタで構成されており、水平補間された映像信号に対して、垂直方向の画素の補間を行う。このようにしてNTSC方式の映像信号よりハイビジヨン方式の映像信号に応じたレートの映像信号を得るようになされ、この映像信号がハイビジヨン方式の受像器に供給される。これによりNTSC方式の映像信号に応じた画像をハイビジヨン方式の受像器で表示し得るようになされている。
Similar to the
ところが上述した画像情報変換装置においては、NTSC方式の映像信号を基にして、単に水平方向及び垂直方向を補間しているに過ぎないため、解像度は基となるNTSC方式の映像信号と何ら変わらなかつた。特に通常の動画を変換対象とした場合、垂直方向の補間をフイールド内処理で行うのが一般的であるが、この場合には、画像のフイールド間相関を使用していないため、画像静止部においてはNTSC方式の映像信号よりも解像度が劣化する欠点があつた。 However, in the above-described image information conversion apparatus, the horizontal direction and the vertical direction are merely interpolated based on the NTSC video signal, so that the resolution is not different from that of the base NTSC video signal. It was. In particular, when normal video is to be converted, vertical interpolation is generally performed by in-field processing. In this case, however, the correlation between images is not used. Has a defect that the resolution is deteriorated as compared with the NTSC video signal.
これに対して、画像情報変換装置として、入力信号である画像信号レベルを3次元すなわち時空間分布に応じてクラス分割し、クラス毎に予め学習によつて獲得された予測係数値を格納した記憶手段を持ち、予測式に基づいた演算により最適な推定値を出力する方法を用いたものがある(特願平5-172617号)。 On the other hand, as an image information conversion device, the image signal level, which is an input signal, is divided into classes according to three dimensions, that is, a spatio-temporal distribution, and a memory storing a prediction coefficient value obtained by learning in advance for each class There is a method using a method of outputting an optimum estimated value by means of a calculation based on a prediction formula (Japanese Patent Application No. 5-127617).
この方法では、ハイビジヨン方式(以下、高解像度を示すHD(high definition )と呼ぶ)の画素を創造する場合、時間的及び空間的な意味でその周辺に存在する複数のNTSC方式(以下、標準解像度を示すSD(standard definition )と呼ぶ)の画素データをクラス分割し、それぞれのクラス毎に予測係数値を学習により獲得することで、画像静止部においてはフイールド間、フレーム間等の時間方向の相関を利用し、また画像動き部においては、フイールド内相関のみを利用することにより、真値に近いHD画素値を得るものである。 In this method, when creating a pixel of a high vision system (hereinafter referred to as HD (high definition) indicating high resolution), a plurality of NTSC systems (hereinafter referred to as standard resolution) existing in the vicinity thereof in terms of time and space. By dividing the pixel data of SD (standard definition) indicating the class into classes and acquiring the prediction coefficient value for each class by learning, the correlation in the time direction such as between fields and between frames in the still image portion In the image motion part, only the intra-field correlation is used to obtain an HD pixel value close to the true value.
実際上、図8にSD画素を大きい「○」で示し、HD画素を小さい「○」で示す。この図においてSD画素x1 とSD画素x2 の差分値が小さい場合は、創造すべきHD画素yの周辺の画像は静止している可能性が高い。そこで画像情報変換装置では、空間位置の近いSD画素x1 とSD画素x2 に重きをおいてHD画素yを創造する。一方SD画素x1 とSD画素x2 の差分値が大きい場合は、創造すべきHD画素yの周辺の画像は動いている可能性が高い。そこで画像情報変換装置では、時間的に近いSD画素x3 とSD画素x4 に重きをおいてHD画素yを創造する。 In practice, in FIG. 8, the SD pixel is indicated by a large “◯” and the HD pixel is indicated by a small “O”. In this figure, when the difference value between the SD pixel x1 and the SD pixel x2 is small, there is a high possibility that the image around the HD pixel y to be created is still. Therefore, in the image information conversion apparatus, the HD pixel y is created with emphasis on the SD pixel x1 and the SD pixel x2 that are close to each other in space. On the other hand, when the difference value between the SD pixel x1 and the SD pixel x2 is large, there is a high possibility that the image around the HD pixel y to be created is moving. Therefore, in the image information conversion apparatus, the HD pixel y is created by placing emphasis on the SD pixel x3 and the SD pixel x4 that are close in time.
この方法によれば、静止/動きの切り替わりも実際の画像を用いて学習することにより滑らかに表現できるので、従来の動き適応方式のように静止/動きの切り替わりによる不自然さの発生を大幅に減少させることができる。ところがこの方法では、有限個のクラス分割により、動き情報と空間内の波形の2つを表現する必要があり、クラスによつては本来なら分離すべきパターンが1つのクラス内に混在してしまう場合があつた。 According to this method, since still / motion switching can be expressed smoothly by learning using an actual image, the occurrence of unnaturalness due to switching of still / motion is greatly increased as in the conventional motion adaptation method. Can be reduced. However, in this method, it is necessary to express motion information and a waveform in the space by dividing a finite number of classes, and depending on the class, patterns that should be separated normally are mixed in one class. There was a case.
例えば、図8において、SD画素x1 とSD画素x2 の差分値が小さい場合は、上述のようにその周辺の画像は静止している可能性が非常に高いが、わずかな可能性ではあるが実際には画像が動いている場合がある。例えば(k+1)フイールドにのみ動き物体が侵入している場合、またkフイールドから(k+2)フイールドの間で画像中の物体が動いているが、たまたまSD画素x1 とSD画素x2 のデータが近い値をとつた場合などである。 For example, in FIG. 8, when the difference value between the SD pixel x1 and the SD pixel x2 is small, it is highly possible that the surrounding image is still as described above, but it is actually a slight possibility. May have moving images. For example, when a moving object has entered only the (k + 1) field, and the object in the image is moving between the k field and the (k + 2) field, the data of the SD pixel x1 and the SD pixel x2 happen to be close to each other. For example, if
このような場合も、SD画素x1 とSD画素x2 の差分値が小さいことにより、画像情報変換装置では空間位置の近いSD画素x1 とSD画素x2 に重きをおいてHD画素yが創造される。従つてこの場合創造されたHD画素と真のHD画素の誤差が大きいものとなり、変換画像に画質の劣化が目立つことになる。この対策として、クラス分割に用いる画素数を増やしてクラス数を増加させることにより、変換画像の画質の劣化を低減することが考えられる。 Even in such a case, since the difference value between the SD pixel x1 and the SD pixel x2 is small, in the image information conversion apparatus, the HD pixel y is created with emphasis on the SD pixel x1 and SD pixel x2 that are close to each other in spatial position. Therefore, in this case, the error between the created HD pixel and the true HD pixel becomes large, and deterioration of the image quality is conspicuous in the converted image. As a countermeasure, it is conceivable to reduce the degradation of the image quality of the converted image by increasing the number of classes by increasing the number of pixels used for class division.
ところがこのようにすると、クラス数が非常に大きくなり、その分ハードウエア規模が増加して実現が困難になる。また上述した方法では3フイールド分のデータを使用するためにハードウエア規模が大きくなる欠点がある。また必ずしも動きと静止が完全に分離できていない現状では、シーンチエンジの発生した場合に、変換画像の画質がさらに著しく劣化する場合があり、全体として変換画像の画質の点で実用上未だ不十分であつた。 However, if it does in this way, the number of classes will become very large, the hardware scale will increase correspondingly, and realization will become difficult. Further, the above-described method has a drawback that the hardware scale becomes large because data for three fields is used. In addition, in the current situation where motion and stillness are not completely separated, when a scene change occurs, the image quality of the converted image may be further significantly deteriorated, and the image quality of the converted image as a whole is still insufficient for practical use. It was hot.
本発明は以上の点を考慮してなされたもので、通常の解像度の画像情報を高解像度の画像情報に変換する際に簡易な構成で変換画像の画質の劣化を未然に防止し得る画像情報変換装置を提案しようとするものである。 The present invention has been made in consideration of the above points, and image information that can prevent deterioration of the image quality of a converted image with a simple configuration when converting normal-resolution image information into high-resolution image information. A conversion device is to be proposed.
かかる課題を解決するため本発明においては、第1の画像信号をより高画質な第2の画像信号に変換する画像情報処理装置において、第2の画像信号中の注目画素について、注目画素の周辺に位置する周辺画素を第1の画像信号から所定数選択する周辺画素選択手段と、選択された複数の画素と所定数の係数との積和演算により注目画素を生成する予測演算手段とを設け、周辺画素選択手段は、注目画素と第1の画像信号との位置関係に応じて異なる周辺画素を選択するようにする。 In order to solve such a problem, in the present invention, in an image information processing apparatus that converts a first image signal into a second image signal with higher image quality, for the pixel of interest in the second image signal, the periphery of the pixel of interest Peripheral pixel selection means for selecting a predetermined number of peripheral pixels located in the first image signal from the first image signal, and prediction calculation means for generating a pixel of interest by product-sum operation of a plurality of selected pixels and a predetermined number of coefficients The peripheral pixel selecting means selects different peripheral pixels according to the positional relationship between the target pixel and the first image signal.
また本発明においては、第1の画像信号をより高画質な第2の画像信号に変換する画像情報処理装置において、第2の画像信号中の注目画素について、注目画素の周辺に位置する周辺画素を第1の画像信号から所定数選択する周辺画素選択手段と、周辺画素に基づく第1の画像信号のレベル分布のパターンを検出し、パターンに基づいて注目画素が属するクラスを決定してクラス検出情報を出力するクラス検出手段と、注目画素周辺の第1の画像信号の所定数の画素とクラス検出手段に応じて決まる所定数の係数との積和演算により上記注目画素を生成する予測演算手段とを設け、周辺画素選択手段は、注目画素と第1の画像信号との位置関係に応じて異なる周辺画素を選択するようにする。 According to the present invention, in the image information processing apparatus that converts the first image signal into the second image signal with higher image quality, the peripheral pixel located around the target pixel in the second image signal. A peripheral pixel selecting means for selecting a predetermined number of the first image signal from the first image signal, and detecting a level distribution pattern of the first image signal based on the peripheral pixel, and determining a class to which the target pixel belongs based on the pattern Class detection means for outputting information, and prediction calculation means for generating the target pixel by product-sum operation of a predetermined number of pixels in the first image signal around the target pixel and a predetermined number of coefficients determined according to the class detection means And the peripheral pixel selecting means selects different peripheral pixels according to the positional relationship between the target pixel and the first image signal.
本発明によれば、第2の画像信号中の注目画素について、注目画素と第1の画像信号との位置関係に応じて異なる周辺画素を第1の画像信号から所定数選択し、選択された複数の画素と所定数の係数との積和演算により注目画素を生成することにより、簡易な構成で、変換後の画像の画質の劣化を未然に防止し得る画像情報処理装置を実現できる。 According to the present invention, for a target pixel in the second image signal, a predetermined number of different peripheral pixels are selected from the first image signal according to the positional relationship between the target pixel and the first image signal, and selected. By generating a pixel of interest by multiplying and calculating a plurality of pixels and a predetermined number of coefficients, it is possible to realize an image information processing apparatus that can prevent deterioration in image quality of a converted image with a simple configuration.
以下図面について、本発明の一実施例を詳述する。 Hereinafter, an embodiment of the present invention will be described in detail with reference to the drawings.
(1)実施例の画像情報変換装置
図1は全体として、本発明による画像情報処理装置としての画像情報変換装置を示し、入力端子1を通じて外部から供給される画像情報として、NTSC方式の映像信号がデイジタル化されSDデータとして入力される。この画像情報変換装置におけるSD画素と創造すべきHD画素の位置関係を図2に示す。すなわち創造すべきHD画素には、同一フイールド内で見たとき、SD画素から近い位置に存在するHD画素y1 とSD画素から遠い位置に存在するHD画素y2 の2種類がある。この実施例では、SD画素から近い位置に存在するHD画素を推定するモードをモード1とし、SD画素から遠い位置に存在するHD画素を推定するモードをモード2とする。
(1) Image Information Conversion Apparatus of Embodiment FIG. 1 shows an image information conversion apparatus as an image information processing apparatus according to the present invention as a whole. As image information supplied from the outside through an
領域分割化回路2は、入力端子1より供給されたSDデータを複数の領域に分割する。この実施例では創造すべきHD画素の同一フレーム内の例えば上下各3画素ずつのSD画素を、1画素×6ラインの計6画素からなる領域に分割する。モード1に関しては、図3に示すように、HD画素y1 に対するSD画素x1 、x2 、x3 、x4 、x5 、x6 がその領域にあたり、この領域をブロツク1とする。またモード2に関しては、図4に示すように、HD画素y2 に対するSD画素x1 、x2 、x3 、x4 、x5 、x6 がその領域にあたり、この領域をブロツク2とする。なお図2〜図4では、SD画素を大きい「○」で示し、HD画素を小さい「○」で示す。
The
このようにして領域分割化回路2によりブロツク化されたSDデータは、ADRC(adaptive dynamic range coding)回路3及び遅延回路(DL)6に供給される。遅延回路6は、ADRC回路3、クラスコード発生回路4及びリードオンリメモリ(ROM)テーブル5の処理に必要な時間だけSDデータを遅延させて推定演算回路7に出力する。ADRC回路3は、領域毎に供給されるSDデータの1次元的又は2次元的なレベル分布のパターンを検出すると共に、上述のように各領域のデータを、例えば8ビツトのSDデータから2ビツトのSDデータに圧縮するように演算してパターン圧縮データを形成し、このパターン圧縮データをクラスコード発生回路4に供給する。
The SD data blocked by the
ここでADRCは、本来ビデオテープレコーダ(VTR)向けの高能率符号化用に開発された適応的再量子化法だが、信号レベルの局所的なパターンを短い語長で効率的に表現できるため、この実施例ではADRCの手法を用いて信号パターンをクラス分類するためのコードを発生している。ADRC回路3は、領域内のダイナミツクレンジをDR、ビツト割当をn、領域内画素のデータレベルをL、再量子化コードをQとして、次式
Here, ADRC is an adaptive requantization method originally developed for high-efficiency coding for video tape recorders (VTRs). However, since a local pattern of a signal level can be efficiently expressed with a short word length, In this embodiment, a code for classifying a signal pattern is generated using the ADRC method. The
によつて、領域内の最大値MAXと最小値MINとの間を指定されたビツト長で均等に分割して再量子化を行う。なお(1)式において、[ ]は切り捨て処理を意味する。この実施例では、領域分離化回路2により分離されたそれぞれの6画素のSDデータを各2ビツトに圧縮する。このように圧縮されたSDデータを、それぞれq1 〜q6 とする。
Thus, the re-quantization is performed by equally dividing the maximum value MAX and the minimum value MIN in the region with the specified bit length. In equation (1), [] means truncation processing. In this embodiment, each 6-pixel SD data separated by the
クラスコード発生回路4は、ADRC回路3から供給されるパターン圧縮データに基づいて、次式
The class code generation circuit 4 is based on the pattern compression data supplied from the
の演算を行うことにより、そのブロツクが属するクラスを検出し、そのクラスを示すクラスコードclass をROMテーブル5に供給する。このクラスコードclass は、ROMテーブル5からの読み出しアドレスを示すものとなつている。 By performing the above operation, the class to which the block belongs is detected, and a class code class indicating the class is supplied to the ROM table 5. This class code class indicates a read address from the ROM table 5.
実際上ROMテーブル5には、SDデータのパターンとHDデータの関係を学習することにより、線形推定式を用いてそのSDデータに対応するHDデータを算出するための係数データが、各クラス毎に記憶されている。これは線形推定式によりSDデータを、この画像情報よりも高い解像度の画像情報である、いわゆるハイビジヨン方式の規格に合致したHDデータに変換するための情報である。この実施例において係数データは、モード1とモード2で独立に用意される。なおROMテーブル5に記憶されている係数データの作成方法については後述する。ROMテーブル5からは、クラスコードclass で示されるアドレスから、そのクラスの係数データであるwi(class)が読み出される。この係数データは推定演算回路7に供給される。
In practice, in the ROM table 5, by learning the relationship between the SD data pattern and the HD data, coefficient data for calculating the HD data corresponding to the SD data using the linear estimation formula is stored for each class. It is remembered. This is information for converting SD data into HD data conforming to a so-called high vision standard, which is image information with a resolution higher than that of the image information, using a linear estimation formula. In this embodiment, the coefficient data is prepared independently for
推定演算回路7は、遅延回路6を介して領域分割化回路2から供給されるSDデータ及びROMテーブル5から供給される係数データであるwi(class)に基づいて、入力されたSDデータに対応するHDデータを算出する。実際上推定演算回路7は、遅延回路6より供給されたSDデータとROMテーブル5より供給された係数データにより、モード1に関してはブロツク1用の係数を用い、モード2に関してはブロツク2用の係数を用いて、係数データであるwi(class)に基づいて、それぞれ次式
The estimation operation circuit 7 corresponds to the input SD data based on the SD data supplied from the
の演算を行うことにより、入力されたSDデータに対応するHDデータを算出する。作成されたHDデータは水平補間フイルタ8に供給される。
By calculating the above, the HD data corresponding to the input SD data is calculated. The created HD data is supplied to the
水平補間フイルタ8は、従来について上述した図6の水平補間フイルタ102と同様に構成されており、補間処理により水平方向の画素数を2倍にするものである。水平補間フイルタ8の出力は、出力端子9を介して出力される。この出力端子9を介して出力されるHDデータは、例えばHDテレビジヨン受像器やHDビデオテープレコーダ装置等に供給される。
The
以上の構成によれば、SDデータに対応するHDデータを推定するための係数データを、各クラス毎に予め学習により求めた上でROMテーブル5に記憶し、入力されるSDデータ及びROMテーブル5から読み出した係数データに基づいて演算を行い、入力されたSDデータに対応するHDデータを形成して出力することにより、入力されるSDデータを単に補間処理した場合に比較して、実際のデータにより近いHDデータに変換することができる。 According to the above configuration, coefficient data for estimating HD data corresponding to SD data is obtained by learning in advance for each class, stored in the ROM table 5, and input SD data and ROM table 5 Compared with the case where the input SD data is simply subjected to the interpolation processing by performing calculation based on the coefficient data read out from, and forming and outputting HD data corresponding to the input SD data, the actual data It is possible to convert to HD data closer.
さらに上述の構成によれば、従来について上述した画像情報をクラス分けする方法が、1フレーム間データの差分を用いて動きを表現していたのに対して、1フレーム内の垂直方向に連続する2フイールドの複数の画素のみを領域分割してクラス分類するようにしたことにより、連続する複数の画素を使用して動きを表現することができる。例えば図3におけるHD画素y1 を推定するためのブロツク1のSD画素x1 〜x6 を、2ビツトADRCした結果の量子化データq1 〜q6 が順に、2、0、2、0、2、0、であつた場合、動き画像である可能性が非常に高いが、このように連続する複数の画素を使用して動きを表現するため、従来よりも高い精度で動きを表現できる。
Furthermore, according to the above-described configuration, the conventional method for classifying the image information described above represents motion using the difference between the data of one frame, but is continuous in the vertical direction within one frame. By classifying only a plurality of two-field pixels by dividing the region, it is possible to express a motion using a plurality of continuous pixels. For example, the quantized data q1 to q6 as a result of 2-bit ADRC of the SD pixels x1 to x6 of the
さらに上述の構成によれば、推定に同一フレームに属するデータ以外の画素を用いないため、合計3フイールドのデータを使用する従来の画像情報変換装置に比較してハードウエア的な負担が軽減され、またシーンチエンジが発生した場合でも変換画像の画質が劣化するおそれを未然に防止し得る。 Furthermore, according to the above-described configuration, since pixels other than data belonging to the same frame are not used for estimation, the hardware burden is reduced as compared with the conventional image information conversion apparatus using a total of three fields of data, Further, even when a scene change occurs, it is possible to prevent the possibility that the quality of the converted image will deteriorate.
(2)ROMテーブルの作成方法
ここでROMテーブル5に格納される係数データの作成方法について、図5を用いて説明する。この係数データを学習によつて得るためには、まず既に知られているHD画像に対応して、このHD画像の1/4の画素数のSD画像を形成する。実際上、図5に示す理想フイルタ回路により、入力端子21を介して供給されるHDデータの垂直方向の画素を垂直間引きフイルタ22によりフイールド内の垂直方向の周波数が1/2になるように間引きし、さらに水平間引きフイルタ23により、このHDデータの水平方向の画素を間引きしてSDデータを得る。
(2) Method for Creating ROM Table Here, a method for creating coefficient data stored in the ROM table 5 will be described with reference to FIG. In order to obtain the coefficient data by learning, first, an SD image having a number of pixels of 1/4 of the HD image is formed corresponding to the already known HD image. In practice, the ideal filter circuit shown in FIG. 5 thins out the vertical pixels of the HD data supplied via the
この結果得られるSDデータは、領域分割化回路24に供給され、複数の領域に分割される。この領域分割化回路24は、図1の画像情報変換装置の領域分割化回路2と同じ構成のものであり、SDデータを各6画素からなる領域に分割する。すなわちモード1に対してはブロツク1の領域の領域分割を行い、モード2に関してはブロツク2の領域分割を行う。この領域毎のSDデータをADRC回路25及び正規方程式加算回路27に供給する。
The SD data obtained as a result is supplied to the
ADRC回路25は領域毎に供給されるSDデータの1次元的又は2次元的なレベル分布のパターンを検出するとともに、上述のように各領域のすべてのデータ又は一部のデータを、例えば8ビツトのSDデータから2ビツトのSDデータに圧縮するように演算してパターン圧縮データを形成し、このパターン圧縮データをクラスコード発生回路26に供給する。ADRC回路25は、図1のADRC回路3と同じ構成のものである。この領域分割化回路24により分離された、6画素からなる各領域のSDデータ(図3、図4におけるSD画素x1 〜x6 )を、ADRCにより各2ビツトに圧縮する。
The
クラスコード発生回路26も、図1のクラスコード発生回路4と同じ構成のものであり、ADRC回路25から供給されるパターン圧縮データに基づいて(2)式の演算を行うことにより、そのブロツクが属するクラスを検出し、そのクラスclass を示すクラスコードを出力する。クラスコード発生回路26は、クラスコードを正規方程式加算回路27に出力する。
The class
ここで正規方程式加算回路27の説明として、複数個のSD画素からHD画素への変換式の学習とその予測式を用いた信号変換について述べる。以下では説明のために画素をより一般化してn画素による予測を行う場合について述べる。SD画素レベルをそれぞれx1 、……xn として、それぞれにpビツトADRCを行つた結果の再量子化データをq1 、……qn とする。このときこの領域のクラスclass を、上述した(2)式で定義する。
Here, as an explanation of the normal
上述のようにSD画素レベルをそれぞれx1 、……xn とし、HD画素レベルをyとしたとき、クラス毎に係数w1 、……wn によるnタツプの線形推定式を設定する。これを次式 As described above, when the SD pixel level is set to x1,..., Xn and the HD pixel level is set to y, an n-tap linear estimation formula using coefficients w1,. This is expressed as
に示す。学習前はwi が未定係数であり、学習はクラス毎に複数の信号データに対して行う。データ数がmの場合(4)式にしたがつて、次式 Shown in Before learning, wi is an undetermined coefficient, and learning is performed on a plurality of signal data for each class. When the number of data is m, following equation (4),
が設定される。なおm>nの場合は、w1 、……wn は一意に決まらないので、誤差ベクトルeの要素を次式 Is set. If m> n, w1,... Wn are not uniquely determined.
で定義して、次式 Defined by
を最小にする係数を求める。いわゆる最小二乗法による解法である。 Find the coefficient that minimizes. This is a so-called least square method.
ここで(7)式のwi による偏微分係数を求める。それは次式 Here, the partial differential coefficient by wi in the equation (7) is obtained. It is the following formula
を0にするように、各wi を求めればよい。以下次式 Each wi should be obtained so that 0 becomes zero. The following formula
及び次式 And the following formula
のように、Xji及びYi を定義すると、上述した(8)式は行列を用いて、次式 If Xji and Yi are defined as follows, the above equation (8) uses the matrix and
に書き換えられる。 To be rewritten.
この方程式は一般に正規方程式と呼ばれている。正規方程式加算回路27は、クラスコード発生回路26から供給されたクラスコード、領域分割化回路24より供給されたSDデータx1 、……xn 、入力端子21より供給されたSDデータに対応するHD画素レベルyを用いて、この正規方程式の加算を行う。
This equation is generally called a normal equation. The normal
すべてのトレーニングデータの入力が終了した後、正規方程式加算回路27は、予測係数決定回路28に正規方程式データを出力する。予測係数決定回路28は、正規方程式を掃き出し法などの一般的な行列解法を用いて、wi について解き予測係数を算出する。予測係数決定回路28は、算出された予測係数をメモリ29に書き込む。
After all the training data has been input, the normal
以上のようにトレーニングを行つた結果、メモリ29には、量子化データq1、……q6 で規定されるパターン毎に、注目HDデータyを推定するための、統計的にもつとも真値に近い推定ができる予測係数が格納される。このメモリ29に格納されたテーブルが、図1について上述した画像情報変換装置において使用されるROMテーブル5である。以上の処理によつて、線形推定式によりSDデータからHDデータを作成するための係数データの学習が終了する。 As a result of performing the training as described above, the memory 29 is estimated to be close to a true value in terms of statistics for estimating the target HD data y for each pattern defined by the quantized data q1,. The prediction coefficient that can be stored is stored. The table stored in the memory 29 is the ROM table 5 used in the image information conversion apparatus described above with reference to FIG. With the above processing, the learning of coefficient data for creating HD data from SD data using the linear estimation formula is completed.
(3)他の実施例
なお上述の実施例においては、ADRCによる圧縮符号化の方法を用いて画像データの情報を圧縮してクラス分類した場合について述べたが、圧縮の方法はこれに限らず、画像データの情報を信号波形のパターンの少ないクラスで表現できるような圧縮符号化であればどのような方法を用いるようにしたも良く、例えば差分量子化(DPCM)、ベクトル量子化(VQ)や離散コサイン変換(DCT)等の種々の方法が考えられる。
(3) Other Embodiments In the above-described embodiments, the case where image data information is compressed and classified using the compression encoding method by ADRC has been described. However, the compression method is not limited to this. Any method may be used as long as it is a compression coding that can represent information of image data in a class having a few signal waveform patterns. For example, differential quantization (DPCM), vector quantization (VQ) may be used. And various methods such as discrete cosine transform (DCT) are conceivable.
また上述の実施例においては、説明の簡略化のため、水平方向についての画像情報の変換を水平補間フイルタを用いるようにしたが、これに代え、水平方向の画像情報の変換用のROMテーブルを用意し、水平方向についても推定式を用いて画像情報を変換するようにしても良い。 In the above-described embodiment, for the sake of simplification of explanation, the horizontal interpolation filter is used to convert the image information in the horizontal direction. Instead, a ROM table for converting the image information in the horizontal direction is used. It is also possible to prepare and convert the image information using the estimation formula also in the horizontal direction.
また上述の実施例においては、領域分割化回路により、信号波形のパターンを1次元的に分割して表現したが、これに代え、信号波形のパターンを2次元的に分割して表現するようにしても上述の実施例と同様の効果を実現できる。 In the above embodiment, the signal waveform pattern is divided and expressed one-dimensionally by the area dividing circuit. Instead, the signal waveform pattern is divided and expressed two-dimensionally. However, the same effect as the above-described embodiment can be realized.
また上述の実施例においては、クラス分類に使用するSD画素と、線形推定式で用いるSD画素を同一のものとしたが、これらは必ずしも同一なものである必要はない。因に、異なる画素を使用する場合、クラス分類に使用するSD画素を線形推定式で用いるSD画素が包含するような形にするのが望ましく、また追加して使用する線形推定式で用いるSD画素は、推定するHD画素と同一フイールドに属するもののみとすることが望ましい。 In the above-described embodiment, the SD pixels used for class classification and the SD pixels used in the linear estimation formula are the same, but they are not necessarily the same. Incidentally, when different pixels are used, it is desirable that the SD pixels used for classification are included in the SD pixels used in the linear estimation formula, and the SD pixels used in the linear estimation formula used additionally. Are preferably only those belonging to the same field as the HD pixel to be estimated.
また上述の実施例においては、画像情報を変換する際に、ROMテーブルに記憶されている係数データを用いた場合について述べたが、これに代え、ROMテーブルにクラス分類に応じた重心法による代表値を記憶することにより、推定演算を施すことなくHDデータを補間するようにしても良い。 In the above-described embodiment, the case where the coefficient data stored in the ROM table is used when converting the image information has been described. Instead of this, the ROM table is represented by the center of gravity method according to the class classification. By storing the value, the HD data may be interpolated without performing the estimation calculation.
また上述の実施例においては、本発明をNTSC方式の映像信号をハイビジヨン方式の映像信号に変換する場合について述べたが、本発明はこれに限らず、第1の画像情報の解像度を、この第1の画像情報の解像度より高解像度の第2の画像情報に変換する場合に広く適用し得る。 In the above-described embodiments, the present invention has been described with respect to the case where the NTSC video signal is converted into the high vision video signal. However, the present invention is not limited to this, and the resolution of the first image information can be set to The present invention can be widely applied to the case of converting to second image information having a higher resolution than the resolution of one image information.
また上述の実施例においては、本発明を画像情報変換装置として単独で機能するものとして説明したが、本発明による画像情報変換装置はこれに限らず、例えばテレビジヨン受像器、ビデオテープレコーダ装置、コンピユータ装置等に内蔵されたり周辺装置として付加されるようにしても良い。 In the above-described embodiments, the present invention has been described as functioning alone as an image information conversion apparatus. However, the image information conversion apparatus according to the present invention is not limited to this, for example, a television receiver, a video tape recorder apparatus, It may be built in a computer device or the like or added as a peripheral device.
本発明の画像情報処理装置及び画像情報処理方法は、通常の解像度の画像情報を高解像度の画像情報に変換して出力するものに適用することができる。 The image information processing apparatus and the image information processing method of the present invention can be applied to an apparatus that converts normal resolution image information into high resolution image information and outputs the converted information.
1、21、100、110……入力端子、2、24……領域分割化回路、3、25……ADRC回路、4、26……クラスコード発生回路、5……ROMテーブル、6……遅延回路、7……推定演算回路、8、101……水平補間フイルタ、9、103、120……出力端子、22……垂直間引きフイルタ、23……水平間引きフイルタ、27……正規方程式加算回路、28……予測係数決定回路、29……メモリ、102……垂直補間フイルタ、111……乗算器、112……加算器、113……遅延レジスタ。 1, 21, 100, 110: Input terminal, 2, 24: Area division circuit, 3, 25: ADRC circuit, 4, 26: Class code generation circuit, 5: ROM table, 6: Delay Circuit, 7... Estimation operation circuit, 8, 101... Horizontal interpolation filter, 9, 103, 120... Output terminal, 22. 28... Prediction coefficient determination circuit, 29... Memory, 102... Vertical interpolation filter, 111... Multiplier, 112.
Claims (12)
上記第2の画像信号中の注目画素について、上記注目画素の周辺に位置する周辺画素を上記第1の画像信号から所定数選択する周辺画素選択手段と、
上記選択された複数の画素と所定数の係数との積和演算により上記注目画素を生成する予測演算手段と
を具え、
上記周辺画素選択手段は、上記注目画素と上記第1の画像信号との位置関係に応じて異なる周辺画素を選択する
ことを特徴とする画像情報処理装置。 In an image information processing apparatus that converts a first image signal into a second image signal having higher image quality,
With respect to the target pixel in the second image signal, peripheral pixel selection means for selecting a predetermined number of peripheral pixels located around the target pixel from the first image signal;
Prediction calculation means for generating the pixel of interest by multiplying and multiplying the selected plurality of pixels and a predetermined number of coefficients,
The image processing apparatus according to claim 1, wherein the peripheral pixel selection unit selects different peripheral pixels according to a positional relationship between the pixel of interest and the first image signal.
上記第2の周辺画素に基づく上記第1の画像信号のレベル分布のパターンを検出し、上記パターンに基づいて上記注目画素が属するクラスを決定してクラス検出情報を出力するクラス検出手段と、
上記第1の画像信号を上記第2の画像信号に変換するための情報である推定式の係数データが上記クラス毎に記憶され、上記クラス検出手段からの上記クラス検出情報に応じて上記係数データを出力する係数データ記憶手段と
を更に具え、
上記所定数の係数は、上記注目画素の上記クラスに応じて上記係数データ記憶手段から出力される
ことを特徴とする請求項1に記載の画像情報処理装置。 Second peripheral pixel selection means for selecting a predetermined number of second peripheral pixels located around the target pixel from the first image signal;
Class detection means for detecting a level distribution pattern of the first image signal based on the second peripheral pixels, determining a class to which the pixel of interest belongs based on the pattern, and outputting class detection information;
Coefficient data of an estimation formula, which is information for converting the first image signal into the second image signal, is stored for each class, and the coefficient data according to the class detection information from the class detection means. And coefficient data storage means for outputting
The image information processing apparatus according to claim 1, wherein the predetermined number of coefficients are output from the coefficient data storage unit according to the class of the pixel of interest.
ことを特徴とする請求項2に記載の画像情報処理装置。 The image information processing apparatus according to claim 2, wherein the second peripheral pixel selection unit selects different peripheral pixels according to a positional relationship between the target pixel and the first image signal.
ことを特徴とする請求項1に記載の画像情報処理装置。 The image information processing apparatus according to claim 1, wherein the positional relationship is determined according to a distance between the target pixel and the peripheral pixels.
ことを特徴とする請求項1に記載の画像情報処理装置。 The image information processing apparatus according to claim 1, wherein the high image quality is at least high resolution.
ことを特徴とする請求項1に記載の画像情報処理装置。 The image information processing apparatus according to claim 1, wherein the peripheral pixels are selected from pixels in a continuous field of the first image signal.
第2の画像信号中の注目画素について、上記注目画素の周辺に位置する周辺画素を上記第1の画像信号から所定数選択する周辺画素選択手段と、
上記周辺画素に基づく上記第1の画像信号のレベル分布のパターンを検出し、上記パターンに基づいて上記注目画素が属するクラスを決定してクラス検出情報を出力するクラス検出手段と、
上記注目画素周辺の上記第1の画像信号の所定数の画素と上記クラス検出手段に応じて決まる所定数の係数との積和演算により上記注目画素を生成する予測演算手段と
を具え、
上記周辺画素選択手段は、上記注目画素と上記第1の画像信号との位置関係に応じて異なる周辺画素を選択する
ことを特徴とする画像情報処理装置。 In an image information processing apparatus that converts a first image signal into a second image signal having higher image quality,
Peripheral pixel selection means for selecting a predetermined number of peripheral pixels located around the target pixel from the first image signal for the target pixel in the second image signal;
Class detection means for detecting a level distribution pattern of the first image signal based on the peripheral pixels, determining a class to which the pixel of interest belongs based on the pattern, and outputting class detection information;
Prediction calculating means for generating the pixel of interest by a product-sum operation of a predetermined number of pixels of the first image signal around the pixel of interest and a predetermined number of coefficients determined according to the class detecting means,
The image processing apparatus according to claim 1, wherein the peripheral pixel selection unit selects different peripheral pixels according to a positional relationship between the pixel of interest and the first image signal.
を更に具え、
上記所定数の係数は、上記注目画素の上記クラスに応じて上記係数データ記憶手段から出力される
ことを特徴とする請求項7に記載の画像情報処理装置。 Coefficient data of an estimation formula, which is information for converting the first image signal into the second image signal, is stored for each class, and the coefficient data according to the class detection information from the class detection means. Is further provided with coefficient data storage means for outputting
The image information processing apparatus according to claim 7, wherein the predetermined number of coefficients are output from the coefficient data storage unit according to the class of the target pixel.
ことを特徴とする請求項7に記載の画像情報処理装置。 The image information processing apparatus according to claim 7, wherein the positional relationship is determined according to a distance between the target pixel and the peripheral pixel.
ことを特徴とする請求項7に記載の画像情報処理装置。 The image information processing apparatus according to claim 7, wherein the peripheral pixels are selected from pixels in a continuous field of the first image signal.
上記第2の画像信号中の注目画素について、上記注目画素の周辺に位置する周辺画素を上記第1の画像信号から所定数選択する第1のステップと、
上記選択された複数の画素と所定数の係数との積和演算により上記注目画素を生成する第2のステップと
を具え、
上記第1のステップでは、上記注目画素と上記第1の画像信号との位置関係に応じて異なる周辺画素を選択する
ことを特徴とする画像情報処理方法。 In an image information processing method for converting a first image signal into a higher-quality second image signal,
A first step of selecting a predetermined number of peripheral pixels located around the target pixel from the first image signal for the target pixel in the second image signal;
A second step of generating the pixel of interest by a product-sum operation of the selected plurality of pixels and a predetermined number of coefficients,
In the first step, different peripheral pixels are selected according to a positional relationship between the pixel of interest and the first image signal.
第2の画像信号中の注目画素について、上記注目画素の周辺に位置する周辺画素を上記第1の画像信号から所定数選択する第1のステップと、
上記周辺画素に基づく上記第1の画像信号のレベル分布のパターンを検出し、上記パターンに基づいて上記注目画素が属するクラスを決定してクラス検出情報を出力する第2のステップと、
上記注目画素周辺の上記第1の画像信号の所定数の画素と上記クラス検出手段に応じて決まる所定数の係数との積和演算により上記注目画素を生成する第3のステップと
を具え、
上記第1のステップでは、上記注目画素と上記第1の画像信号との位置関係に応じて異なる周辺画素を選択する
ことを特徴とする画像情報処理方法。
In an image information processing method for converting a first image signal into a higher-quality second image signal,
A first step of selecting a predetermined number of peripheral pixels located around the target pixel from the first image signal for the target pixel in the second image signal;
A second step of detecting a level distribution pattern of the first image signal based on the peripheral pixels, determining a class to which the pixel of interest belongs based on the pattern, and outputting class detection information;
A third step of generating the pixel of interest by a product-sum operation of a predetermined number of pixels of the first image signal around the pixel of interest and a predetermined number of coefficients determined according to the class detection means,
In the first step, different peripheral pixels are selected according to a positional relationship between the pixel of interest and the first image signal.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005015806A JP4042121B2 (en) | 2005-01-24 | 2005-01-24 | Image information processing apparatus and image information processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005015806A JP4042121B2 (en) | 2005-01-24 | 2005-01-24 | Image information processing apparatus and image information processing method |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP34760893A Division JP3653287B2 (en) | 1993-12-25 | 1993-12-25 | Image information conversion apparatus and image information conversion method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005151599A true JP2005151599A (en) | 2005-06-09 |
JP4042121B2 JP4042121B2 (en) | 2008-02-06 |
Family
ID=34698210
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005015806A Expired - Lifetime JP4042121B2 (en) | 2005-01-24 | 2005-01-24 | Image information processing apparatus and image information processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4042121B2 (en) |
-
2005
- 2005-01-24 JP JP2005015806A patent/JP4042121B2/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP4042121B2 (en) | 2008-02-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO1994014278A1 (en) | Image signal converter | |
EP1445949A1 (en) | Sum-of-product calculating circuit and method thereof | |
JP3271101B2 (en) | Digital image signal processing apparatus and processing method | |
JP3946781B2 (en) | Image information conversion apparatus and method | |
JP3400055B2 (en) | Image information conversion device, image information conversion method, image processing device, and image processing method | |
JP3723995B2 (en) | Image information conversion apparatus and method | |
JP4140091B2 (en) | Image information conversion apparatus and image information conversion method | |
JP3653287B2 (en) | Image information conversion apparatus and image information conversion method | |
JP3243861B2 (en) | Image information conversion device | |
JP4042121B2 (en) | Image information processing apparatus and image information processing method | |
JP3724008B2 (en) | Image information conversion device and coefficient data creation device | |
JP3271096B2 (en) | Digital image signal processing device | |
JP4470324B2 (en) | Image signal conversion apparatus and method | |
JP3480015B2 (en) | Apparatus and method for generating image data | |
JP3480011B2 (en) | Image information conversion device | |
JP3800638B2 (en) | Image information conversion apparatus and method | |
JP4062326B2 (en) | Coefficient generation apparatus and method | |
JP3587188B2 (en) | Digital image signal processing apparatus and processing method | |
JP4001143B2 (en) | Coefficient generation apparatus and method | |
JPH08130744A (en) | Television receiver | |
JP4310847B2 (en) | Image information conversion apparatus and conversion method | |
JP3826434B2 (en) | Signal conversion apparatus and method | |
JP4250807B2 (en) | Field frequency conversion device and conversion method | |
JP3918759B2 (en) | Image data generation apparatus and generation method | |
JPH07193791A (en) | Picture information converter |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050216 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070727 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070921 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071019 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071101 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101122 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101122 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111122 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111122 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121122 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121122 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131122 Year of fee payment: 6 |
|
EXPY | Cancellation because of completion of term |