WO2011065761A2 - 움직임 추정/보상을 위한 적응적 필터 생성 장치, 방법 및 기록 매체 - Google Patents
움직임 추정/보상을 위한 적응적 필터 생성 장치, 방법 및 기록 매체 Download PDFInfo
- Publication number
- WO2011065761A2 WO2011065761A2 PCT/KR2010/008385 KR2010008385W WO2011065761A2 WO 2011065761 A2 WO2011065761 A2 WO 2011065761A2 KR 2010008385 W KR2010008385 W KR 2010008385W WO 2011065761 A2 WO2011065761 A2 WO 2011065761A2
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- filter
- representative
- optimal
- coefficients
- compensation
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
Definitions
- Embodiments of the present invention relate to image data compression techniques, and particularly in block-based motion estimation / compensation techniques that have the greatest impact on the compression efficiency of video data, the rate of use of optimal adaptive interpolation filters for sub-pixel generation.
- the present invention relates to a distortion-based optimization technique, and more particularly, to an adaptive filter generating apparatus, method, and a recording medium for motion estimation / compensation, which improve performance of video data compression to obtain better reconstructed picture quality at the same bit rate.
- a technique of using a sub-pixel unit of motion vector for motion compensation is a technique that can improve performance of motion estimation by mitigating aliasing distortion that may occur during an image acquisition process. Since a simple bi-linear interpolation technique for generating pixel brightness values at half-pixel locations has been used in the 263 or MPEG-4 part2 video coding standards, the ITU-T H.264 video code recommendation has been proposed to use six-tap one-dimensional separable. The combination of filter and bi-linear interpolation method has been further developed to generate pixel brightness value of 1/4 pixel unit. Recently, ITU-T's Video Coding Expert Group has been further developed to achieve higher performance improvement in motion estimation and compensation. It became.
- Kemal Ugur and Jani Lainema are techniques for effectively addressing the disadvantages of filter performance degradation due to these symmetry limits.
- the symmetry of the video signal is divided into horizontal, vertical, horizontal + vertical, horizontal + vertical + diagonal, and no symmetry, and the optimal filter for each case is selectively used in terms of rate-distortion.
- the performance of the conventional method is further improved.
- An embodiment of the present invention is to solve the above-described problem, and an object of the present invention is to use a conventional sub-pixel unit motion estimation / compensation using neighboring pixels according to the pre-pixel unit motion estimation / compensation.
- SUMMARY OF THE INVENTION It is to provide an adaptive filter generating apparatus, method and recording medium for motion estimation / compensation that generalizes to the problem of optimal block data estimation and enables optimal block pixel compensation in terms of rate-distortion.
- an adaptive filter generating apparatus for motion estimation / compensation includes a minimum error and pre-when using a filter coefficient for minimizing an error in pixel estimation of a current block.
- An optimal filter generation unit generating an optimal filter in units of blocks based on the number of bits required to encode the pixel motion vector;
- a number selector of the representative filter that selects the number of the representative filters based on the total number of bits generated in a specific coding unit and the encoding error of the decoded image corresponding thereto.
- Is the optimum filter Is a filter coefficient that minimizes the error in pixel estimation of the current block, silver Minimum error when using, Is the Lagrange coefficient, Denotes the number of bits required to encode the pre-pixel motion vector.
- the representative filter generator may include: i) a set of M optimal filter coefficients Select any set of N filter coefficients from When constructing, the equation N initial filter coefficient sets, depending on And ii) , , Iii) a set of optimal filter coefficients for each block With respect to Of filter coefficients that satisfy To assign Iv) conditional expression If you meet the current Each element of Set of coefficients of the representative filter If you do not satisfy the condition above , , Set the filter coefficients A set of filter coefficients for each block that has been allocated Set with the median of the elements as an element Reconstructing and returning to the process of iii), wherein Is Kth element of, Is Set from the kth element of Distance to, silver Represents the mth element of.
- a filter coefficient for minimizing an error in pixel estimation of a current block is obtained, and the filter coefficient is used.
- the optimal filter generating step To generate the optimal filter, where Is the optimum filter, Is a filter coefficient that minimizes the error in pixel estimation of the current block, silver Minimum error when using, Is the Lagrange coefficient, Denotes the number of bits required to encode the pre-pixel motion vector.
- the representative filter generating step includes a set of M optimal filter coefficients Select any set of N filter coefficients from When constructing, the equation N initial filter coefficient sets, depending on A first step of obtaining; , , Setting to a second step; Set of optimal filter coefficients for each block With respect to Of filter coefficients that satisfy To assign Calculating a third step; And conditional expressions If you meet the current Each element of Set of coefficients of the representative filter After setting to and ends, if the conditional expression is not satisfied in the second step , Set the filter coefficients A set of filter coefficients for each block that has been allocated Set with the median of the elements as an element After reconstructing may include a fourth step of returning to the process of the third step, Is Kth element of, Is Set from the kth element of Distance to, silver Represents the mth element of.
- a computer-readable recording medium in which the above-described adaptive filter generation method for motion estimation / compensation is recorded by a program can be provided.
- the optimum of each block unit is performed by optimally predicting pixels of a block to be currently encoded by using previous frame pixels around each corresponding pixel given as a result of pre-pixel block motion estimation.
- a higher quality encoder in terms of rate-distortion by calculating filter coefficients, aggregating these block-wise optimal filters to generate N representative filters, and searching / determining the number N of representative filters that are optimal from the rate-distortion position. Can provide performance.
- adaptively varying the number of interpolation filters for optimal sub-pixel generation will achieve better encoding / decoding performance in terms of rate-distortion. Can be.
- the number N of optimal representative filters, the filter coefficients of each filter, and the index of the optimal filter applied in units of blocks for each image or some unit of the image are pre-pixel units.
- the additional information may be stored / transmitted along with the motion vector, and the decoding stage may access and interpret the additional information, and perform motion restoration by applying adaptive filtering according to its contextual meaning.
- the number of filters for sub-pixel generation and the respective filter coefficients can be optimized in a rate-distortion position for each image to be encoded or some unit of each image.
- the performance of motion estimation can be greatly improved by adding very little additional information, thereby greatly improving the compression performance of the video compression apparatus or the image quality of the reconstructed video.
- FIG. 1 is a block diagram of an apparatus for adaptive filter generation for motion estimation / compensation according to an embodiment of the present invention
- FIG. 2 is a flowchart of an adaptive filter generation method for motion estimation / compensation according to an embodiment of the present invention
- FIG. 3 is a detailed flowchart of a representative filter generation step of FIG. 2;
- FIG. 4 is a detailed flowchart of the number selection step of the representative filter of FIG.
- FIG. 5 is an exemplary diagram showing an image interpolation position according to pre-pixel motion estimation.
- FIG. 1 is a block diagram of an adaptive filter generation device for motion estimation / compensation according to an embodiment of the present invention. As shown in the figure, an optimum filter generation unit 110 and a representative filter generation unit 130 are shown. , And the number selector 150 of the representative filter.
- the optimal filter generation unit 110 uses a minimum error when using a filter coefficient that minimizes an error in pixel estimation of a current block. And the number of bits required to encode a pre-pixel motion vector Block based filter Create
- the representative filter generator 130 may generate the optimal filter based on the location of the optimal filter coefficients that generated the filter coefficient space. To aggregate,
- the number selector 150 of the representative filter may include the total number of bits generated in a specific coding unit. And encoding error of the decoded image corresponding thereto.
- the number N of the representative filters is selected based on.
- FIG. 2 is a flowchart of a method for generating an adaptive filter for motion estimation / compensation according to an embodiment of the present invention. Since the present invention is applied as an example to the apparatus of FIG. 1, it will be described in parallel with the operation of the apparatus.
- the minimum error when using the filter coefficient that minimizes the error in pixel estimation of the current block through the optimum filter generation unit 110.
- Finding and its minimum error And the number of bits required to encode a pre-pixel motion vector Block based filter Create That is, the equation Create the optimal filter according to Is the optimum filter, Is a filter coefficient that minimizes the error in pixel estimation of the current block, silver Minimum error when using, Is the Lagrange coefficient, Denotes the number of bits required to encode the pre-pixel motion vector.
- the generated optimal filter is generated based on the positions of the optimal filter coefficients that generate the filter coefficient space through the representative filter generator 130. Aggregate and represent a representative filter for each aggregated filter coefficient space. To be described in more detail with reference to FIG. 3.
- FIG. 3 is a detailed flowchart of the representative filter generation step S230 of FIG. 2.
- the set of M optimal filter coefficients Select any set of N filter coefficients from When constructing, the equation N initial filter coefficient sets, depending on To obtain (S231), , , Set to (S233).
- conditional expression It is determined whether to satisfy (S237).
- step S237 present Each element of Set of coefficients of the representative filter After setting to (S239), if the conditional expression is not satisfied in step S233 , , Set the filter coefficients A set of filter coefficients for each block that has been allocated Set with the median of the elements as an element After reconstructing the process returns to the process of step S235 (S239).
- the step S250 of selecting the representative filter may be based on the generated optimal filter based on the position of the optimal filter coefficients having generated the filter coefficient space through the representative filter generator 130. Aggregate and represent a representative filter for each aggregated filter coefficient space. To be described in more detail with reference to FIG. 4.
- FIG. 4 is a detailed flowchart of the number selection step S250 of the representative filter of FIG. 2. Is the total number of bits occurring in a particular coding unit, Is the encoding error of the decoded image, Is a Lagrange coefficient, and T is a set threshold.
- the motion vector obtained through the motion estimation It is called.
- the interpolation value for estimating can be calculated as in Equations (1) to (4).
- the number of interpolation values is four because the four possible positions of the interpolation pixels are all around the corresponding pixels given as a result of the pre-pixel unit motion estimation as shown in FIG. 5. .
- the optimal filter (or called optimal filter coefficient) for the current block B
- the minimum mean square error is used as a measure to find, but is not limited thereto.
- Filter coefficients by minimizing equations (5) to (8), respectively , , , And minimum error when using this filter coefficient , , , Finding, pre-pixel movement vector , , ,
- the filter coefficient space is appropriately aggregated in consideration of the positions of the optimal filter coefficients generated.
- K-means method is basically used for aggregation, and one optimal representative filter is created in the aggregated filter coefficient space and interpolation of all aggregated blocks is performed using the coefficients of the optimal representative filter.
- the introduction of this optimal filter aggregation technique enables the interpolation accuracy selection in rate-distortion based video compression coding by providing a trade-off in the accuracy of the optimal interpolation filtering and the additional information for the filter coefficient coding.
- step S231 the set of initial N filter coefficients Create M optimal filter coefficient sets Of random N filter coefficients
- Is Means the kth element of, Is Set from the kth element of Meaning the distance to is defined as in the following equation (11).
- step S239 Each element of Representative filter End with. If in step S237 If the condition is not satisfied in step S233 , , Set the filter coefficients A set of filter coefficients for each block that has been allocated Set with the median of the element After reconstructing the process returns to the process of step S235.
- the present invention in addition to improving the performance of such global optimization, it is possible to provide adaptive interpolation accuracy selection in rate-distortion based video compression coding by providing trade-off in the accuracy of optimal interpolation filtering and filter coefficient coding.
- Can be That is, as the number of sets of representative filter coefficients that can be used decreases the distortion through motion compensation, while the encoding bit rate for encoding the representative filter coefficients increases, the optimal number of representative filter coefficient sets for the rate-distortion position is determined.
- step S253 Calculate
- An adaptive filter generation method for motion estimation / compensation according to an embodiment of the present invention described with reference to FIGS. 2-4 is implemented with a computer readable recording medium including program instructions for performing various computer-implemented operations.
- the computer readable recording medium may include program instructions, local data files, local data structures, etc. alone or in combination.
- the recording medium may be those specially designed and constructed for the embodiments of the present invention, or may be known and available to those skilled in computer software.
- Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical recording media such as CD-ROMs, DVDs, magnetic-optical media such as floppy disks, and ROM, RAM, flash memory, and the like.
- Hardware devices specifically configured to store and execute the same program instructions are included.
- the recording medium may be a transmission medium such as an optical or metal wire, a waveguide, or the like including a carrier wave for transmitting a signal specifying a program command, a local data structure, or the like.
- Examples of program instructions may include high-level language code that can be executed by a computer using an interpreter as well as machine code such as produced by a compiler.
- the present invention is applied to a block-based motion estimation / compensation technology field which has the greatest influence on the compression efficiency of video data, and is adaptively applied to each image or some unit of each image to be encoded.
- the performance of motion estimation is greatly improved by adding very little additional information, thereby improving the compression performance of the video compression apparatus or the quality of the reconstructed image. It is a very useful invention which produces the effect of greatly improving.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
본 발명은 비디오 데이터 압축의 성능을 향상시켜 같은 비트율에서 보다 우수한 복원 화질을 얻는, 움직임 추정/보상을 위한 적응적 필터 생성 장치, 방법 및 기록 매체에 관한 것으로, 본 발명의 일 측면에 따른 움직임 추정/보상을 위한 적응적 필터 생성 방법은, 현재 블록의 화소 추정시의 오차를 최소화하는 필터 계수를 구하고, 그 필터 계수를 사용하는 경우의 최소 오차 및 전-화소 움직임 벡터를 부호화하는데 소요되는 비트 수를 근거로 블록 단위의 최적 필터를 생성하는 최적 필터 생성 단계; 필터 계수 공간을 발생한 최적필터 계수들의 공간내 위치에 근거하여 상기 생성된 최적 필터를 결집하고, 결집된 필터 계수 공간마다 대표 필터를 생성하는 대표 필터 생성 단계; 및 특정 부호화 단위에서 발생하는 총 비트의 수 및 이에 대응하는 복호 영상이 가지는 부호화 오차에 근거하여 상기 대표 필터의 수를 선택하는 대표 필터의 수 선택 단계를 포함한다.
Description
본 발명의 실시예는 영상데이터 압축 기술에 관한 것으로서, 특히 비디오 데이터의 압축 능률에 가장 큰 영향을 주는 블록 기반 움직임 추정/보상 기술에 있어, 부-화소 생성을 위한 최적 적응 보간 필터 사용의 율-왜곡 기반 최적화 기법에 대한 것으로, 비디오 데이터 압축의 성능을 향상시켜 같은 비트율에서 보다 우수한 복원 화질을 얻는, 움직임 추정/보상을 위한 적응적 필터 생성 장치, 방법 및 기록 매체에 관한 것이다.
일반적으로, 움직임 보상에 부-화소 단위의 움직임 벡터를 사용하는 기술은, 영상의 획득 과정에서 발생할 수 있는 엘리어싱(aliasing) 왜곡을 완화함으로써 움직임 추정의 성능을 개선할 수 있는 기법으로, H.263이나 MPEG-4 part2 비디오 부호화 표준에 반-화소 위치의 화소 밝기 값 생성을 위한 간단한 형태의 bi-linear 보간 기법이 사용된 이 후, ITU-T H.264 비디오 부호 권고안에서는 6탭 1차원 separable 필터와 bi-linear 보간 방식을 혼용하여 1/4 화소 단위 화소 밝기 값 생성 기법으로 더욱 발전하였고, 최근 ITU-T의 Video Coding Expert Group에서는 이를 더욱 발전시켜 움직임 추정 및 보상에 더욱 높은 성능 개선을 이루게 되었다.
Yuri Vatis, Bernd Edler, Dieu T. Nguyen, and Jorn Ostermann("Two- dimensional non-separable Adaptive Wiener Interpolation Filter for H.264/AVC", ITU-T SGI16/Q.6 Doc. VCEG-Z17, Apr. 2005)은 기존의 H.264에서 부-화소 생성에 사용하던 1차원 separable 보간 필터를 2차원 non-separable 6x6 필터로 일반화하고, 각 필터의 탭 계수 결정을 움직임 추정 오차를 최소화 시킬 수 있는 Wiener 필터 방식을 도입하여, 매 프레임 단위로 적응 추정함으로써 움직임 보상의 성능을 크게 향상시켰다. 하지만non-separable 2차원 필터의 사용으로 발생하는 계산 복잡도 증가가 크다는 단점과15개의 2차원 6x6 보간 필터를 프레임 단위로 적응하기 위해 필요한 부가 정보의 양이 매우 크다는 단점이 있고, 영상 신호의 통계적 대칭성을 가정하여 이러한 부가 정보 부담을 크게 개선하였지만 대칭성의 한계로 인한 필터의 성능 열화라는 문제가 여전히 남아 있다.
Kemal Ugur and Jani Lainema("Interpolation Filters with Different Symmetry Properties", ITU-T SGI16/Q.6 Doc. VCEG-AE21, Jan. 2007)는 이러한 대칭성 한계로 인한 필터 성능 열화의 단점을 효과적으로 해결하기 위한 기법을 제안했는데, 이 방식에서는 영상 신호의 대칭성을 가로, 세로, 가로+세로, 가로+세로+대각선, 대칭없음의 경우로 구분하고, 각 경우에 따른 최적 필터를 율-왜곡 관점에서 선택적으로 사용함으로써 기존 방식의 성능을 더욱 개선하였다.
2차원 필터 성능 개선 대비 계산 복잡도 증가의 문제를 해결하기 위한 방식으로, Dmytro Rusanovskyy and Kemal Ugur("Spatio-Temporal Adaptation of Interpolation Filter for Low Complexity Decoding", ITU-T SGI16/Q.6 Doc. VCEG-AE22, Jan. 2007)는 2차원 6x6, 4x4 최적 필터를 대상으로 매 프레임 단위로 율-왜곡-복잡도 관점에서 둘 중 더 좋은 필터 집합을 선택하여 움직임 보상을 수행하고, 매 프레임 내에서 2차원 필터를 사용하는 경우와 4-탭 1차원 필터를 사용하는 경우 그 성능 차이가 크게 나지 않는 특정 블록들을 골라 이 블록들에 대해서는 4-탭 1차원 필터를 사용하는 시-공간 적응 필터 방식을 제안하였고, S. Wittman and Thomas Wedi("Separable Adaptive Interpolation Filter", ITU-T SG16/Q.6, doc. C-2019, July 2007)는 2차원non-separable 필터를 사용하는 대신 1차원separable 필터를 프레임 마다 적응적으로 사용하는 기법을 제안함으로써, 부호화 성능에는 차이가 거의 없이 효과적으로 복호기의 복잡도 감소를 이룰 수 있도록 하였다. 또한, Dmytro Rusanovskyy. Kemal Ugur and Jani Lainema("Adaptive Interpolation with Directional Filters", ITU-T SG16/Q.6, doc. VCEG-AG21, Oct. 2007)는 전-화소와 연결선 상에 존재하는 부-화소의 보간에는 연결선 상에 존재하는 전-화소만을 사용하는 보간 기법이 주변 화소를 모두 사용하는 보간 방식에 비해 성능적으로 거의 열하가 되지 않는다는 기존 연구 결과를 이용하여, 1/4 화소 단위의 부-화소 보간에 방향성을 가지는 1차원 필터를 사용하는 기법을 개발함으로써 2차원 필터를 사용하는 경우에 거의 근접하는 부호화 성능을 유지하면서도 separable 1차원 적응 필터를 사용하는 경우보다도 49% 더 낮은 복잡도로 움직임 보상을 수행할 수 있도록 하였다.
움직임 추정/보상을 위한 기존의 부-화소 생성 보간 필터들은 기본적으로 화소 보간을 위한 필터의 정확도를 향상시키는 목적으로 설계되었다. 따라서 1/2 혹은 1/4과 같이 임의의 보간 정확도가 기 설정된 상태에서 각 부-화소 위치의 화소값을 움직임 보상 입장에서 최소 오차를 가질 수 있도록 최적 성능을 제공한다. 하지만, 어떤 보간 정확도에서 현재 부호화 할 프레임이 율-왜곡 기반의 최적 움직임 보상 성능을 제공할 수 있는지를 판단할 수 없고, 1/2.5 혹은 1/3.02 등과 같은 임의의 보간 정확도를 가지는 경우로 그 개념을 확장할 수 없는 단점을 가진다.
본 발명의 실시예는 상술된 종래의 문제점을 해결하기 위한 것으로, 그 목적은 본 발명에서는 기존의 부-화소 단위 움직임 추정/보상의 방식을 전-화소 단위 움직임 추정/보상에 따른 주변 화소들을 이용한 최적 블록 데이터 추정의 문제로 일반화하고, 율-왜곡 관점에서 최적의 블록 화소 보상이 가능하도록 하는, 움직임 추정/보상을 위한 적응적 필터 생성 장치, 방법 및 기록 매체를 제공하는 것이다.
전술한 목적을 달성하기 위하여 본 발명의 일 측면에 따른 움직임 추정/보상을 위한 적응적 필터 생성 장치는, 현재 블록의 화소 추정시의 오차를 최소화하는 필터 계수를 사용하는 경우의 최소 오차 및 전-화소 움직임 벡터를 부호화하는데 소요되는 비트 수를 근거로 블록 단위의 최적 필터를 생성하는 최적 필터 생성부; 필터 계수 공간을 발생한 최적필터 계수들의 공간내 위치에 근거하여 상기 생성된 최적 필터를 결집하고, 결집된 필터 계수 공간마다 대표 필터를 생성하는 대표 필터 생성부; 및 특정 부호화 단위에서 발생하는 총 비트의 수 및 이에 대응하는 복호 영상이 가지는 부호화 오차에 근거하여 상기 대표 필터의 수를 선택하는 대표 필터의 수 선택부를 포함할 수 있다.
상기 최적 필터 생성부는,
수학식
에 따라 상기 최적 필터를 생성할 수 있고, 여기서 
은 상기 최적 필터, 
은 현재 블록의 화소 추정시의 오차를 최소화하는 필터 계수, 
은 
의 사용시의 최소 오차, 
는 라그랑주(Lagrange) 계수, 
는 전-화소 움직임 벡터를 부호화하는데 소요되는 비트 수를 나타낸다.
상기 대표 필터 생성부는, i) M개의 최적 필터 계수 집합 
중에서 임의의 N 필터 계수 집합을 선택하여 
를 구성할 경우, 수학식 
에 따라 N개의 초기 필터 계수 집합 
을 구하고, ii) 
, 
, 
로 두고, iii) 각 블록의 최적 필터 계수 집합 
에 대하여, 수학식 
을 만족하는 필터 계수 집합 
을 할당하고 
를 계산한 후, iv) 조건식 
를 만족하면 현재 
의 각 원소 
을 상기 대표 필터의 계수 집합 
로 삼고 종료하고, 상기 조건식을 만족하지 못하면 
, 
, 
로 두고, 필터 계수 집합 
이 할당되었던 각 블록의 필터 계수 집합 
들의 중앙값(median)을 원소로 하여 집합 
을 재구성한 후 상기 iii)의 과정으로 되돌아가는 것을 특징하며, 여기서 
는 
의 k번째 원소, 
는 
의 k번째 원소에서 집합 
까지의 거리, 
은 
의 m번째 원소를 나타낸다.
상기 대표 필터의 수 선택부는, i) 
를 계산하고, i=1로 두고, ii) 
를 계산하며, iii) 조건식 
를 만족하면 i=i+1, 
로 두고 ii)의 과정으로 돌아가고, 상기 조건식을 만족하지 않으면 상기 대표 필터의 수 N을 N=i-1로 선택하는 것을 특징으로 하고, 여기서 
는 특정 부호화 단위에서 발생하는 총 비트의 수, 
는 복호 영상이 가지게 되는 부호화 오차, 
는 라그랑주(Lagrange) 계수, T는 설정된 문턱값을 나타낸다.
전술한 목적을 달성하기 위하여 본 발명의 다른 측면에 따른 움직임 추정/보상을 위한 적응적 필터 생성 방법은, 현재 블록의 화소 추정시의 오차를 최소화하는 필터 계수를 구하고, 그 필터 계수를 사용하는 경우의 최소 오차 및 전-화소 움직임 벡터를 부호화하는데 소요되는 비트 수를 근거로 블록 단위의 최적 필터를 생성하는 최적 필터 생성 단계; 필터 계수 공간을 발생한 최적필터 계수들의 공간내 위치에 근거하여 상기 생성된 최적 필터를 결집하고, 결집된 필터 계수 공간마다 대표 필터를 생성하는 대표 필터 생성 단계; 및 특정 부호화 단위에서 발생하는 총 비트의 수 및 이에 대응하는 복호 영상이 가지는 부호화 오차에 근거하여 상기 대표 필터의 수를 선택하는 대표 필터의 수 선택 단계를 포함할 수 있다.
상기 최적 필터 생성 단계는, 수학식 
에 따라 상기 최적 필터를 생성할 수 있고, 여기서 
은 상기 최적 필터, 
은 현재 블록의 화소 추정시의 오차를 최소화하는 필터 계수, 
은 
의 사용시의 최소 오차, 
는 라그랑주(Lagrange) 계수, 
는 전-화소 움직임 벡터를 부호화하는데 소요되는 비트 수를 나타낸다.
상기 대표 필터 생성 단계는, M개의 최적 필터 계수 집합 
중에서 임의의 N 필터 계수 집합을 선택하여 
를 구성할 경우, 수학식 
에 따라 N개의 초기 필터 계수 집합 
을 구하는 제 1 단계; 
, 
, 
로 설정하는 제 2 단계; 각 블록의 최적 필터 계수 집합 
에 대하여, 수학식 
을 만족하는 필터 계수 집합 
을 할당하고 
를 계산하는 제 3 단계; 및 조건식 
를 만족하면 현재 
의 각 원소 
을 상기 대표 필터의 계수 집합 
로 설정한 후 종료하고, 상기 조건식을 만족하지 못하면 상기 제 2 단계에서 
, 
, 
로 설정하고, 필터 계수 집합 
이 할당되었던 각 블록의 필터 계수 집합 
들의 중앙값(median)을 원소로 하여 집합 
을 재구성한 후 상기 제 3 단계의 과정으로 되돌아가는 제 4 단계를 포함할 수 있고, 
는 
의 k번째 원소, 
는 
의 k번째 원소에서 집합 
까지의 거리, 
은 
의 m번째 원소를 나타낸다.
상기 대표 필터의 수 선택 단계는, 
를 계산하고, i=1로 설정하는 제 1 단계; 
를 계산하는 제 2 단계; 및 조건식 
를 만족하면 i=i+1, 
로 설정한 후 상기 제 2 단계의 과정으로 돌아가고, 상기 조건식을 만족하지 않으면 상기 대표 필터의 수 N을 N=i-1로 선택하는 제 3 단계를 포함할 수 있고, 
는 특정 부호화 단위에서 발생하는 총 비트의 수, 
는 복호 영상이 가지게 되는 부호화 오차, 
는 라그랑주(Lagrange) 계수, T는 설정된 문턱값을 나타낸다.
전술한 목적을 달성하기 위하여 본 발명의 또 다른 측면에 따르면, 상술된 움직임 추정/보상을 위한 적응적 필터 생성 방법이 프로그램으로 기록된 컴퓨터로 읽을 수 있는 기록 매체가 제공될 수 있다.
본 발명의 실시예에 따르면, 전-화소 단위 블록 움직임 추정(Block Motion Estimation)의 결과로 주어지는 각 대응 화소 주변의 이전 프레임 화소들을 이용하여 현재 부호화 할 블록의 화소들을 최적 예측함으로써 각 블록 단위의 최적 필터 계수들을 산출하고, 이러한 블록 단위 최적 필터들을 결집하여 N개의 대표 필터들을 생성하며, 율-왜곡 입장에서 최적이 되는 대표 필터의 개수 N을 탐색/결정함으로써 율-왜곡 관점에서 보다 우수한 품질의 부호기 성능을 제공할 수 있다.
특히 본 발명의 실시예에 따르면, 부호화 하는 영상 혹은 영상의 일부에 대해, 적응적으로 최적의 부-화소 생성을 위한 보간 필터의 개수를 가변함으로써 율-왜곡 입장에서 보다 우수한 부/복호 성능을 이룩할 수 있다.
따라서 본 발명의 실시예에 따르면, 부호화 단에서는 각 영상 혹은 영상의 일부 단위에 대해 최적 대표 필터의 개수 N과 각 필터의 필터 계수 및 각 블록 단위로 적용된 최적 필터에 대한 색인이 전-화소 단위의 움직임 벡터와 함께 부가 정보로 저장/전송될 수 있고, 복호화 단에서는 이러한 부가 정보에 접근하여 이를 해석하고 그 문맥적 의미에 따라 적응 필터링을 적용한 움직임 복원을 수행할 수 있다.
이상에서 설명한 바와 같이 본 발명에 의하면, 부호화를 수행하는 각 영상 혹은 각 영상의 일부 단위에 대해 적응적으로 부-화소 생성을 위한 필터의 개수 및 각 필터 계수를 율-왜곡 입장에서 최적화할 수 있도록 함으로써, 매우 적은 부가 정보의 추가만으로 움직임 추정의 성능을 크게 향상시켜 비디오 압축 장치의 압축 성능 혹은 복원 영상의 화질을 크게 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 움직임 추정/보상을 위한 적응적 필터 생성 장치의 블록도,
도 2는 본 발명의 일 실시예에 따른 움직임 추정/보상을 위한 적응적 필터 생성 방법의 흐름도,
도 3은 도 2의 대표 필터 생성 단계의 세부 흐름도,
도 4는 도 2의 대표 필터의 수 선택 단계의 세부 흐름도,
도 5는 전-화소 움직임 추정에 따른 화고 보간 위치를 나타내는 예시도.
도 1은 본 발명의 일 실시예에 따른 움직임 추정/보상을 위한 적응적 필터 생성 장치의 블록도로서, 동 도면에 도시된 바와 같이, 최적 필터 생성부(110), 대표 필터 생성부(130), 및 대표 필터의 수 선택부(150)를 포함한다.
상기 최적 필터 생성부(110)는 현재 블록의 화소 추정시의 오차를 최소화하는 필터 계수를 사용하는 경우의 최소 오차 
및 전-화소 움직임 벡터를 부호화하는데 소요되는 비트 수 
를 근거로 블록 단위의 최적 필터 
를 생성한다.
상기 대표 필터 생성부(130)는 필터 계수 공간을 발생한 최적필터 계수들의 공간내 위치에 근거하여 상기 생성된 최적 필터 
를 결집하고,
결집된 필터 계수 공간마다 대표 필터 
를 생성한다.
상기 대표 필터의 수 선택부(150)는 특정 부호화 단위에서 발생하는 총 비트의 수 
및 이에 대응하는 복호 영상이 가지는 부호화 오차 
에 근거하여 상기 대표 필터의 수 N을 선택한다.
도 2는 본 발명의 일 실시예에 따른 움직임 추정/보상을 위한 적응적 필터 생성 방법의 흐름도로서, 도 1의 장치에 일 예로 적용되므로 그 장치의 동작과 병행하여 설명한다.
먼저, 최적 필터 생성 단계(S210)에서는 최적 필터 생성부(110)를 통해 현재 블록의 화소 추정시의 오차를 최소화하는 필터 계수를 사용하는 경우의 최소 오차 
를 구하고, 그 최소 오차 
및 전-화소 움직임 벡터를 부호화하는데 소요되는 비트 수 
를 근거로 블록 단위의 최적 필터 
를 생성한다. 즉, 수학식 
에 따라 상기 최적 필터를 생성하고, 여기서 
은 상기 최적 필터, 
은 현재 블록의 화소 추정시의 오차를 최소화하는 필터 계수, 
은 
의 사용시의 최소 오차, 
는 라그랑주(Lagrange) 계수, 
는 전-화소 움직임 벡터를 부호화하는데 소요되는 비트 수를 나타낸다.
다음, 대표 필터 생성 단계(S230)에서는 대표 필터 생성부(130)를 통해 필터 계수 공간을 발생한 최적필터 계수들의 공간내 위치에 근거하여 상기 생성된 최적 필터 
를 결집하고, 결집된 필터 계수 공간마다 대표 필터 
를 생성하는데, 도 3을 참조하여 보다 상세히 설명한다.
도 3은 도 2의 대표 필터 생성 단계(S230)의 세부 흐름도로서,
본 흐름도의 설명에서 
는 
의 k번째 원소,
도 3에서, 먼저 M개의 최적 필터 계수 집합 
중에서 임의의 N 필터 계수 집합을 선택하여 
를 구성할 경우, 수학식 
에 따라 N개의 초기 필터 계수 집합 
을 구하고(S231), 
, 
, 
로 설정한다(S233).
다음, 각 블록의 최적 필터 계수 집합 
에 대하여, 수학식 
을 만족하는 필터 계수 집합 
을 할당하고 
를 계산한 후(S235), 조건식 
를 만족하는지를 판단한다(S237).
마지막으로, 단계 S237에서 상기 조건식을 만족하면 현재 
의 각 원소 
을 상기 대표 필터의 계수 집합 
로 설정한 후 종료하고(S239), 상기 조건식을 만족하지 못하면 단계 S233에서 
, 
, 
로 설정하고, 필터 계수 집합 
이 할당되었던 각 블록의 필터 계수 집합 
들의 중앙값(median)을 원소로 하여 집합 
을 재구성한 후 단계 S235의 과정으로 되돌아간다(S239).
다시 도 2에서, 대표 필터의 수 선택 단계(S250)는 대표 필터 생성부(130)를 통해 필터 계수 공간을 발생한 최적필터 계수들의 공간내 위치에 근거하여 상기 생성된 최적 필터 
를 결집하고, 결집된 필터 계수 공간마다 대표 필터 
를 생성하는데, 도 4를 참조하여 보다 상세히 설명한다.
도 4는 도 2의 대표 필터의 수 선택 단계(S250)의 세부 흐름도로서, 본 흐름도의 설명에서 
는 특정 부호화 단위에서 발생하는 총 비트의 수, 
는 복호 영상이 가지게 되는 부호화 오차, 
는 라그랑주(Lagrange) 계수, T는 설정된 문턱값을 나타낸다.
도 4에서, 먼저 
를 계산하고, i=1로 설정하며(S251), 
를 계산한 후(S253), 조건식 
를 만족하는지를 판단한다(S255). 단계 S255에서 상기 조건식을 만족하면 i=i+1, 
로 설정한 후 단계 S253의 과정으로 돌아가고, 상기 조건식을 만족하지 않으면 상기 대표 필터의 수 N을 N=i-1로 선택하고 종료한다(S257).
이어, 도 1의 장치의 각 구성에 대한 일 실시예적인 동작 및 이에 대응하는 도 2의 방법의 각 단계에 대한 일 실시예적인 과정에 대하여 구체적으로 설명한다.
최적 필터 생성부(110) 및 대응하는 최적 필터 생성 단계(S210)
이하, 최적 필터 생성부(110) 및 최적 필터 생성 단계(S210)에서의 블록 단위의 최적 필터 생성 과정의 일예에 대해 설명한다.
최적 필터 생성부(110) 및 최적 필터 생성 단계(S210)에서의 블록 단위 최적 필터의 생성을 설명하기 위해 
와 
를 각각 시간 t에 생성된 원본 영상 및 부호화 후 복호된 영상의 (i,j) 번째 화소 값이라 한다. 또한, 현재 프레임의 영상에서 현재 부호화 하고자 하는 블록을 
라 하고,
전 화소 단위 움직임 추정을 통해 얻어진 움직임 벡터를 라 한다.
현재 블록 B를 위해 2차원 LxL 보간 필터를 사용한다고 가정하면, 화소 
를 추정하기 위한 보간 값 는 다음의 식(1) 내지 식(4)와 같이 계산할 수 있다. 여기서 
은 보간 필터의 계
수를 의미하며, 보간 값이 4가지 존재하는 것은 도 5에 보이는 바와 같이 전-화소 단위 움직임 추정의 결과로 주어지는 각 대응 화소를 중심으로 가능한 보간 화소의 위치는 모두 4가지 가능성이 존재하기 때문이다.
식(1)
식(2)
식(3)
식(4)
본 실시예에 따르면 현재 블록 B를 위한 최적 필터(또는 최적 필터 계수라 칭함) 
를 구하기 위해 최소 평균 제곱 오차를 측도로 사용하지만, 이에 한정되지 않는다.
식(1) 내지 식(4)로 부터, 현재 블록 B의 NxM개 화소 추정에 발생하는 오차를 제곱하여 모두 합하면 다음의 식(5) 내지 식(8)과 같다.
식(5)
식(6)
식(7)
식(8)
식(5) 내지 식(8)을 각각 최소화시킴으로써 필터 계수 
, 
, 
, 
및 이 필터 계수를 사용하는 경우의 최소 오차 
, 
, 
, 
를 구하고, 전-화소 움직임 벡터 
, 
, 
, 
을 부호화 하는데 소요되는 각 비트 수 
와 구해진 해당 최소 오차를 결합하여 율-왜곡 입장에서 최적인 필터 계수 
를 생성한다. 즉, 다음의 식(9)에 따라 최적 필터 
은 현재 블록의 화소 추정시의 오차를 최소화하는 필터 계수 
의 사용시의 최소 오차 
와 전-화소 움직임 벡터를 부호화하는데 소요되는 비트 수 
및 라그랑주(Lagrange) 계수 
에 근거하여 생성된다.
식(9)
대표 필터 생성부(130) 및 대응하는 대표 필터 생성 단계(S230)
이하, 대표 필터 생성부(130) 및 대표 필터 생성 단계(S230)에서의 최적 필터 결집을 통한 대표 필터의 생성 과정의 일예에 대해 설명한다.
식(9)로 주어지는 최적 (보간) 필터는 부호화 할 영상의 매 블록 단위로 생성되므로 이 정보를 그대로 부호화하는 것은 그 발생 정보량이 많다. 매 블록 단위로 생성되는 최적 필터의 계수를 비디오 신호 압축 부호화 입장에서 효과적으로 처리하기 위해 필터 계수 공간을 발생한 최적 필터 계수들의 공간 내 위치를 고려하여 적절히 결집(aggregation)한다. 결집을 위해서는 기본적으로 K-means 기법을 사용하는데, 이렇게 결집된 필터 계수 공간에 각기 하나씩의 최적 대표 필터를 생성하고, 생성된 최적 대표 필터의 계수를 이용하여 결집된 모든 블록의 보간을 수행한다. 이러한 최적 필터 결집 기법의 도입은 최적 보간 필터링의 정확도와 필터 계수 부호화를 위한 부가 정보에 트레이드-오프(trade-off)를 제공함으로써 율-왜곡 기반 비디오 압축 부호화에 보간 정확도 선택을 가능하게 한다.
최적 필터 결집을 통한 대표 필터 생성에 실시 예를 설명하기 위해, k번째 블록의 보간을 위해 발생한 최적 필터의 계수 집합을 
라 하자 (k=1, 2, ..., M). 이러한 필터 계수의 집합은 영상 내 블록의 수 M과 같게 되고, 결집을 통해 생성되는 N개의 (M>N) 대표 필터 계수 집합을 
라 하자 (k=1, 2, ..., N). 결집을 통해 N개의 대표 필터를 생성하는 방식은 도 3을 참조하여 설명하면 다음과 같다.
< 필터 계수 공간 파티션을 위한 K-means 알고리즘>
먼저 단계 S231에서, 초기 N개의 필터 계수 집합 
를 생성한다. M개의 최적 필터 계수 집합 
중에서 임의의 N 필터 계수 집합을
선택하여 
를 구성한다고 하자. 초기 필터 계수 집합 
는 가능한 
중의 한가지로 선택되는데, 이는 다음의 식(10)과 같이 결정된다.
식(10)
여기서 
는 
의 k번째 원소를 의미하고, 
는 
의 k번째 원소에서 집합 
까지의 거리를 의미하는 것으로 다음의 식(11)과 같이 정의된다. 식(11)에서 
는 
norm을 의미한다.
식(11)
다음 단계 S233에서 R, Dc, Dp를 설정하는데, 초기에는 
, 
, 
로 둔다.
다음 단계 S235에서 
를 산출한다. 각 블록의 최적 필터 계수 집합 
에 대하여, 다음의 식(12)를 만족하는 필터 계수 집합 
을 할당하고, 
를 계산한다. 식(12)에서 
은 
의 m번째 원소를 의미한다.
식(12)
다음 단계 S237에서 
의 조건을 만족하는지 판단하여,
대표 필터의 수 선택부(150) 및 대응하는 대표 필터의 수 선택 단계(S250)
이하, 대표 필터의 수 선택부(150) 및 대표 필터의 수 선택 단계(S250)에서의 최적의 대표 필터 개수 N의 선택 과정의 일예에 대해 설명한다.
앞서 설명한 블록 단위 최적 필터의 생성과, 1/4화소 단위 보간을 위해 N=16으로 최적 필터 결집을 통한 대표 필터 생성을 수행하게 되면, Yuri Vatis, Bernd Edler, Dieu T. Nguyen, and Jorn Ostermann("Two- dimensional non-separable Adaptive Wiener Interpolation Filter for H.264/AVC", ITU-T SGI16/Q.6 Doc. VCEG-Z17, Apr. 2005)의 2차원 적응 Wiener 필터 생성에서 H.264 보간 필터링 방식에 의한 같은 보간 필터를 사용할 블록의 그룹화 수행에 따른 전역 최적화의 문제점을 해결할 수 있는 방식이 된다. 본 발명의 실시예에 따르면, 이러한 전역 최적화의 성능 개선 뿐 아니라, 최적 보간 필터링의 정확도와 필터 계수 부호화에 trade-off를 제공함으로써 율-왜곡 기반 비디오 압축 부호화에 적응적 보간 정확도 선택을 가능하게 할 수 있다. 즉, 사용할 수 있는 대표 필터 계수 집합의 수가 커질수록 움직임 보상을 통한 왜곡이 감소하는 반면 대표 필터 계수를 부호화하기 위한 부호화 비트율이 증가하게 되므로, 율-왜곡 입장에서 최적의 대표 필터 계수 집합의 수를 부호화하는 비디오 정보의 특정 단위마다 부호기가 선택할 수 있도록 선택권을 부여함으로써 보다 우수한 율-왜곡 성능을 제공할 수 있다.
이와 같은 율-왜곡 최적화에 대한 실시 예를 설명하기 위해 N개의 대표 필터 계수 집합을 사용하여 부호화를 수행하는 경우, 특정 부호화 단위에서 발생하는 총 비트의 수를 
이라 하고, 이 때 복호 영상이 가지게 되는 부호화 오차를 
이라 한다. 이제 고려할 대표 필터의 개수를 라 한다. 도 4를 참조하여 본 발명의 실시예에 따른 최적 율-왜곡 기반 대표 필터 개수 N의 선택 기법에 대해 설명한다.
먼저, 단계 S251에서 
를 계산하고, i=1로 둔다. 여기서 
는 Lagrange 계수를 의미하며, 부호화 특정 단위에서 발생한 비트율과 왜곡을 동시에 고려할 수 있도록 해준다.
다음, 단계 S253에서 
를 계산한다.
다음 단계 S255에서 
의 조건을 만족하는지 판단하여, 만족하면 i=i+1, 
로 두고 단계 S253으로 돌아가고, 만족하지 않으면 단계 S257에서 대표 필터 개수 N을 N=i-1로 두고 종료한다.
도 2-4를 참조하여 설명된 본 발명의 실시예에 따른 움직임 추정/보상을 위한 적응적 필터 생성 방법은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독가능 기록 매체로 구현될 수 있다. 상기 컴퓨터 판독 가능 기록 매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 기록 매체는 본 발명의 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크와 같은 자기-광 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 기록 매체는 프로그램 명령, 로컬 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술사상의 범위가 한정되는 것은 아니다. 본 발명의 보호범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
이상에서 설명한 바와 같이 본 발명은 비디오 데이터의 압축 능률에 가장 큰 영향을 주는 블록 기반 움직임 추정/보상 기술 분야에 적용되어, 부호화를 수행하는 각 영상 혹은 각 영상의 일부 단위에 대해 적응적으로 부-화소 생성을 위한 필터의 개수 및 각 필터 계수를 율-왜곡 입장에서 최적화할 수 있도록 함으로써, 매우 적은 부가 정보의 추가만으로 움직임 추정의 성능을 크게 향상시켜 비디오 압축 장치의 압축 성능 혹은 복원 영상의 화질을 크게 향상하는 효과를 발생하는 매우 유용한 발명이다.
CROSS-REFERENCE TO RELATED APPLICATION
본 특허출원은 2009년 11월 25일 한국에 출원한 특허출원번호 제 10-2009-0114539 호 및 2010년 11월 25일 한국에 출원한 특허출원번호 제 10-2010-0117852 호에 대해 미국 특허법 119(a)조(35 U.S.C § 119(a))에 따라 우선권을 주장하면, 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다. 아울러, 본 특허출원은 미국 이외에 국가에 대해서도 위와 동일한 동일한 이유로 우선권을 주장하면 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다.
Claims (9)
- 현재 블록의 화소 추정시의 오차를 최소화하는 필터 계수를 사용하는 경우의 최소 오차 및 전-화소 움직임 벡터를 부호화하는데 소요되는 비트 수를 근거로 블록 단위의 최적 필터를 생성하는 최적 필터 생성부;필터 계수 공간을 발생한 최적필터 계수들의 공간내 위치에 근거하여 상기 생성된 최적 필터를 결집하고, 결집된 필터 계수 공간마다 대표 필터를 생성하는 대표 필터 생성부; 및특정 부호화 단위에서 발생하는 총 비트의 수 및 이에 대응하는 복호 영상이 가지는 부호화 오차에 근거하여 상기 대표 필터의 수를 선택하는 대표 필터의 수 선택부;를 포함하는 것을 특징으로 하는 움직임 추정/보상을 위한 적응적 필터 생성 장치.
- 제 1 항에 있어서,상기 최적 필터 생성부는,수학식에 따라 상기 최적 필터를 생성하고, 여기서은 상기 최적 필터,은 현재 블록의 화소 추정시의 오차를 최소화하는 필터 계수,은의 사용시의 최소 오차,는 라그랑주(Lagrange) 계수,는 전-화소 움직임 벡터를 부호화하는데 소요되는 비트 수를 나타내는 것을 특징으로 하는 움직임 추정/보상을 위한 적응적 필터 생성 장치.
- 제 1 항에 있어서,상기 대표 필터 생성부는, i) M개의 최적 필터 계수 집합중에서 임의의 N 필터 계수 집합을 선택하여를 구성할 경우, 수학식에 따라 N개의 초기 필터 계수 집합을 구하고, ii),,로 두고, iii) 각 블록의 최적 필터 계수 집합에 대하여, 수학식을 만족하는 필터 계수 집합을 할당하고를 계산한 후, iv) 조건식를 만족하면 현재의 각 원소을 상기 대표 필터의 계수 집합로 삼고 종료하고, 상기 조건식을 만족하지 못하면,,로 두고, 필터 계수 집합이 할당되었던 각 블록의 필터 계수 집합들의 중앙값(median)을 원소로 하여 집합을 재구성한 후 상기 iii)의 과정으로 되돌아가되, 여기서는의 k번째 원소,는의 k번째 원소에서 집합까지의 거리,은의 m번째 원소를 나타내는 것을 특징으로 하는 움직임 추정/보상을 위한 적응적 필터 생성 장치.
- 제 1 항에 있어서,상기 대표 필터의 수 선택부는, i)를 계산하고, i=1로 두고, ii)를 계산하며, iii) 조건식를 만족하면 i=i+1,로 두고 ii)의 과정으로 돌아가고, 상기 조건식을 만족하지 않으면 상기 대표 필터의 수 N을 N=i-1로 선택하되, 여기서는 특정 부호화 단위에서 발생하는 총 비트의 수,는 복호 영상이 가지게 되는 부호화 오차,는 라그랑주(Lagrange) 계수, T는 설정된 문턱값인 것을 특징으로 하는 움직임 추정/보상을 위한 적응적 필터 생성 장치.
- 현재 블록의 화소 추정시의 오차를 최소화하는 필터 계수를 구하고, 그 필터 계수를 사용하는 경우의 최소 오차 및 전-화소 움직임 벡터를 부호화하는데 소요되는 비트 수를 근거로 블록 단위의 최적 필터를 생성하는 최적 필터 생성 단계;필터 계수 공간을 발생한 최적필터 계수들의 공간내 위치에 근거하여 상기 생성된 최적 필터를 결집하고, 결집된 필터 계수 공간마다 대표 필터를 생성하는 대표 필터 생성 단계; 및특정 부호화 단위에서 발생하는 총 비트의 수 및 이에 대응하는 복호 영상이 가지는 부호화 오차에 근거하여 상기 대표 필터의 수를 선택하는 대표 필터의 수 선택 단계;를 포함하는 것을 특징으로 하는 움직임 추정/보상을 위한 적응적 필터 생성 방법.
- 제 5 항에 있어서,상기 최적 필터 생성 단계는,수학식에 따라 상기 최적 필터를 생성하고, 여기서은 상기 최적 필터,은 현재 블록의 화소 추정시의 오차를 최소화하는 필터 계수,은의 사용시의 최소 오차,는 라그랑주(Lagrange) 계수,는 전-화소 움직임 벡터를 부호화하는데 소요되는 비트 수를 나타내는 것을 특징으로 하는 움직임 추정/보상을 위한 적응적 필터 생성 방법.
- 제 5 항에 있어서,상기 대표 필터 생성 단계는,M개의 최적 필터 계수 집합중에서 임의의 N 필터 계수 집합을 선택하여를 구성할 경우, 수학식에 따라 N개의 초기 필터 계수 집합을 구하는 제 1 단계;,,로 설정하는 제 2 단계;각 블록의 최적 필터 계수 집합에 대하여, 수학식을 만족하는 필터 계수 집합을 할당하고를 계산하는 제 3 단계; 및조건식를 만족하면 현재의 각 원소을 상기 대표 필터의 계수 집합로 설정한 후 종료하고, 상기 조건식을 만족하지 못하면 상기 제 2 단계에서,,로 설정하고, 필터 계수 집합이 할당되었던 각 블록의 필터 계수 집합들의 중앙값(median)을 원소로 하여 집합을 재구성한 후 상기 제 3 단계의 과정으로 되돌아가는 제 4 단계를 포함하되,는의 k번째 원소,는의 k번째 원소에서 집합까지의 거리,은의 m번째 원소를 나타내는 것을 특징으로 하는 움직임 추정/보상을 위한 적응적 필터 생성 방법.
- 제 5 항에 있어서,상기 대표 필터의 수 선택 단계는,를 계산하고, i=1로 설정하는 제 1 단계;를 계산하는 제 2 단계; 및조건식를 만족하면 i=i+1,로 설정한 후 상기 제 2 단계의 과정으로 돌아가고, 상기 조건식을 만족하지 않으면 상기 대표 필터의 수 N을 N=i-1로 선택하는 제 3 단계를 포함하되,는 특정 부호화 단위에서 발생하는 총 비트의 수,는 복호 영상이 가지게 되는 부호화 오차,는 라그랑주(Lagrange) 계수, T는 설정된 문턱값인 것을 특징으로 하는 움직임 추정/보상을 위한 적응적 필터 생성 방법.
- 제 5 항 내지 제 8 항 중 어느 한 항의 상기 움직임 추정/보상을 위한 적응적 필터 생성 방법이 프로그램으로 기록된 컴퓨터로 읽을 수 있는 기록 매체.
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2009-0114539 | 2009-11-25 | ||
| KR20090114539 | 2009-11-25 | ||
| KR10-2010-0117852 | 2010-11-25 | ||
| KR1020100117852A KR101441863B1 (ko) | 2009-11-25 | 2010-11-25 | 움직임 추정/보상을 위한 적응적 필터 생성 장치, 방법 및 기록 매체 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| WO2011065761A2 true WO2011065761A2 (ko) | 2011-06-03 |
| WO2011065761A3 WO2011065761A3 (ko) | 2011-09-29 |
Family
ID=44067107
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/KR2010/008385 WO2011065761A2 (ko) | 2009-11-25 | 2010-11-25 | 움직임 추정/보상을 위한 적응적 필터 생성 장치, 방법 및 기록 매체 |
Country Status (1)
| Country | Link |
|---|---|
| WO (1) | WO2011065761A2 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8891892B2 (en) | 2012-03-26 | 2014-11-18 | Electronics and Teleommunications Research Institute | Image encoding method using adaptive preprocessing scheme |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR970073134A (ko) * | 1996-04-30 | 1997-11-07 | 배순훈 | 비트 발생량 조절기능을 갖는 영상 부호화 시스템(improved image coding system having functions for controlling generated amount of coded bit streem) |
| KR20070021882A (ko) * | 2005-08-19 | 2007-02-23 | 한국전자통신연구원 | 부화소의 볼록 성질을 사용한 움직임 벡터 추정 방법 및연속영상 생성 방법 |
| KR100835662B1 (ko) * | 2006-12-04 | 2008-06-09 | 부산대학교 산학협력단 | 필터 예측 기능을 가지는 움직임 보상 예측 장치 및 이를이용한 동영상 압축 장치 및 방법 |
-
2010
- 2010-11-25 WO PCT/KR2010/008385 patent/WO2011065761A2/ko active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR970073134A (ko) * | 1996-04-30 | 1997-11-07 | 배순훈 | 비트 발생량 조절기능을 갖는 영상 부호화 시스템(improved image coding system having functions for controlling generated amount of coded bit streem) |
| KR20070021882A (ko) * | 2005-08-19 | 2007-02-23 | 한국전자통신연구원 | 부화소의 볼록 성질을 사용한 움직임 벡터 추정 방법 및연속영상 생성 방법 |
| KR100835662B1 (ko) * | 2006-12-04 | 2008-06-09 | 부산대학교 산학협력단 | 필터 예측 기능을 가지는 움직임 보상 예측 장치 및 이를이용한 동영상 압축 장치 및 방법 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8891892B2 (en) | 2012-03-26 | 2014-11-18 | Electronics and Teleommunications Research Institute | Image encoding method using adaptive preprocessing scheme |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2011065761A3 (ko) | 2011-09-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2012033373A2 (en) | Low complexity transform coding using adaptive dct/dst for intra-prediction | |
| US6134271A (en) | Video coding/decoding system and video coder and video decoder used for the same system | |
| JP3183155B2 (ja) | 画像復号化装置、及び、画像復号化方法 | |
| WO2013042936A1 (en) | Method and apparatus for soft buffer processing | |
| Wang et al. | A fast algorithm and its VLSI architecture for fractional motion estimation for H. 264/MPEG-4 AVC video coding | |
| CN102291581B (zh) | 支持帧场自适应运动估计的实现方法 | |
| JP2897761B2 (ja) | ブロック・マッチング演算装置及びプログラムを記録した機械読み取り可能な記録媒体 | |
| CN100555330C (zh) | 图像处理设备和方法、记录介质和程序 | |
| WO2011065761A2 (ko) | 움직임 추정/보상을 위한 적응적 필터 생성 장치, 방법 및 기록 매체 | |
| WO2022164095A1 (en) | Method and apparatus for signal processing | |
| WO2023128083A1 (ko) | 그레디언트 독립적인 업데이트를 추가하여 그레디언트-기반 학습의 한계점을 보완하는 신경망의 양자화 인식 학습 방법 | |
| KR100919886B1 (ko) | 영상 복호기에서 움직임 벡터 특성을 이용한 움직임 보상스킵 제어 장치 및 그 방법 | |
| CN100469146C (zh) | 视频图像运动补偿装置 | |
| WO2021125369A1 (ko) | 데이터 변형을 통한 고해상도 동영상 프레임 율 고속 변환 방법 및 장치 | |
| WO2024147664A1 (ko) | 전력 손실을 추정하기 위한 방법 | |
| JP3453145B2 (ja) | 画素ブロックの比較のためのプロセッサ（ブロックマッチングプロセッサ） | |
| JP2963269B2 (ja) | 動き補償予測装置 | |
| WO2012047049A2 (ko) | 모순 검증을 이용한 부호화 및 복호화 방법과 장치 | |
| WO2023090502A1 (ko) | 프레임 양자화에 기반한 분산 행렬 곱 연산 방법 및 장치 | |
| WO2022131433A1 (ko) | 샘플 효율적인 탐색을 위한 샘플-인지 엔트로피 정규화 기법 | |
| WO2012047046A2 (ko) | 움직임 정보 부호화 및 복호화 방법과 이를 이용한 장치 | |
| JP3520800B2 (ja) | 画像復号化装置及び画像復号化方法 | |
| JP3509610B2 (ja) | 画像符号化方法及び画像符号化装置 | |
| JP3520846B2 (ja) | 画像復号化装置および画像復号化方法 | |
| Zhou et al. | The Optimization of Extended Hypothesis Set for Compressive Video Sensing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 10833573 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase in: |
Ref country code: DE |
|
| 32PN | Ep: public notification in the ep bulletin as address of the adressee cannot be established |
Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 30/08/2012) |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 10833573 Country of ref document: EP Kind code of ref document: A2 |