KR101035455B1 - Apparatus for making thumbnail-image based on H.264 - Google Patents
Apparatus for making thumbnail-image based on H.264 Download PDFInfo
- Publication number
- KR101035455B1 KR101035455B1 KR1020080059908A KR20080059908A KR101035455B1 KR 101035455 B1 KR101035455 B1 KR 101035455B1 KR 1020080059908 A KR1020080059908 A KR 1020080059908A KR 20080059908 A KR20080059908 A KR 20080059908A KR 101035455 B1 KR101035455 B1 KR 101035455B1
- Authority
- KR
- South Korea
- Prior art keywords
- block
- image
- transform region
- prediction
- transform
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
- H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Discrete Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
본 발명은 H.264 표준의 영상 이미지로부터 섬네일 이미지를 생성하는 장치에 관한 것으로, 보다 구체적으로 공간영역에서 수행하는 인트라 모드에 따른 인트라 예측 블록의 생성을 변환영역에서 수행하여 H.264 표준의 영상 이미지의 섬네일 이미지를 변환영역에서 직접 생성할 수 있는 장치에 관한 것이다.
본 발명에 따른 섬네일 이미지의 생성 장치는 변환영역에서 예측 블록을 생성함으로써, 영상 이미지를 구성하는 공간영역의 영상 블록을 모두 복원할 필요없이 직접 변환영역의 예측 블록과 변환영역의 잔여 영상의 합하여 H.264 기반의 영상 이미지에 대한 섬네일 이미지를 생성할 수 있다. 또한 본 발명에 따른 섬네일 이미지의 생성 장치는 변환영역의 예측 블록과 변환영역의 잔여 영상 블록으로부터 생성된 복원 블록의 DC 계수를 추출하여 직접 H.264 기반의 영상 이미지에 섬네일 이미지를 생성함으로써, 다수의 영상 이미지들이 저장되어 있는 멀티미디어 단말기에서 특정 영상 이미지를 빠르게 검색할 수 있다.
H.264, 섬네일 이미지, DCT, 인트라 예측 모드, 예측 블록, 잔여 영상
The present invention relates to an apparatus for generating a thumbnail image from a video image of the H.264 standard, and more particularly, to generate an intra prediction block according to an intra mode performed in a spatial domain in the transform domain, thereby generating an image of the H.264 standard. An apparatus for generating a thumbnail image of an image directly in a conversion area.
The thumbnail image generating apparatus according to the present invention generates a prediction block in the transform region, and thus, the sum of the prediction block of the transform region and the residual image of the transform region does not need to reconstruct all the image blocks of the spatial region constituting the image image. Thumbnail images for .264 based video images can be generated. In addition, the apparatus for generating a thumbnail image according to the present invention extracts the DC coefficients of the reconstructed block generated from the prediction block of the transform region and the residual image block of the transform region, and generates thumbnail images directly on the H.264 based image image. It is possible to quickly search for a specific video image from the multimedia terminal in which the video images of the.
H.264, thumbnail image, DCT, intra prediction mode, prediction block, residual image
Description
본 발명은 H.264 표준의 영상 이미지로부터 섬네일 이미지를 생성하는 장치에 관한 것으로, 보다 구체적으로 공간영역에서 수행하는 인트라 모드에 따른 인트라 예측 블록의 생성을 변환영역에서 수행하여 H.264 표준의 영상 이미지의 섬네일 이미지를 변환영역에서 직접 생성할 수 있는 장치에 관한 것이다.The present invention relates to an apparatus for generating a thumbnail image from a video image of the H.264 standard, and more particularly, to generate an intra prediction block according to an intra mode performed in a spatial domain in the transform domain, thereby generating an image of the H.264 standard. An apparatus for generating a thumbnail image of an image directly in a conversion area.
영상을 중심으로 여러 형태의 정보를 결합하여 저장하거나 전송하는 소위 멀티미디어가 널리 사용되고 있다. 예를 들어, 고속의 광케이블이 일반 가정까지 도달하여 안방에서도 대형 스크린과 하이파이브 입체 음향을 갖는 고선명 TV를 통해 영화관에서 보는 고화질의 디지털 방송을 시청할 수 있으며 화상전화를 통해 멀리 떨어져 있는 사람과 얼굴을 마주보며 통화를 하기도 한다.So-called multimedia, which combines and stores or transmits various types of information around an image, is widely used. For example, high-speed optical cables can reach homes, allowing high-definition televisions with large screens and high-fidelity stereos to be viewed in high-definition televisions in movie theaters. You may talk face to face.
이러한 다양한 멀티미디어 단말기에서 송수신되는 영상 데이터를 저장하고 전송하기 위해 다양한 압축 방식이 개발되어 사용되고 있다. MPEG, H.26x는 ISO, ITU 등과 같은 국제 표준화 관련 기구에서 개발되어 발표된 동영상 압축 표준안의 일 예이다.Various compression schemes have been developed and used to store and transmit image data transmitted and received in the various multimedia terminals. MPEG and H.26x are examples of video compression standards developed and published by international standards organizations such as ISO and ITU.
H.264 표준안은 1997년 이후 ITU-T(전기통신 표준화부분) 주관 하에 차세대 동영상 압축 방식으로 개발되어 온 동영상 표준 부호화 방식으로, 기존의 MPEG2보다는 2~3배의 높은 압축율, MPEG4보다는 1.5~2배의 높은 압축율을 보이는 것으로 입증되고 있다. H.264 표준안에서 지원하는 데이터의 전송률과 픽쳐 사이즈의 범위는 매우 넓어 모바일 장치와 다이얼업 장치를 위한 낮은 전송률과 낮은 프레임율부터 HDTV 이상의 해상도를 포함하는 영상 이미지를 압축할 수 있는 장점을 가진다. 따라서 H.264 표준안은 앞으로 다양한 멀티미디어 단말기에 널리 응용되어 사용될 것으로 예상하고 있으며, H.264 표준에 대한 많은 개선안이 개발되어 제안되고 있다. The H.264 standard is a video standard coding method that has been developed as the next generation video compression method under ITU-T (Telecommunication Standardization) since 1997. It is 2 ~ 3 times higher compression rate than conventional MPEG2 and 1.5 ~ 2 than MPEG4. It is proved to show a high compressibility of the ship. The range of data rates and picture sizes supported by the H.264 standard is very wide, which has the advantage of compressing video images from HDX and higher resolutions, from low data rates and low frame rates for mobile devices and dial-up devices. Therefore, the H.264 standard is expected to be widely used in various multimedia terminals in the future, and many improvements to the H.264 standard have been developed and proposed.
도 1과 도 2는 H.264 표준에 따른 영상 이미지의 부호화 장치와 복호화 장치의 일 예를 설명하기 위한 기능 블록도이다.1 and 2 are functional block diagrams illustrating an example of an apparatus for encoding and decoding a video image according to the H.264 standard.
먼저, 도 1을 참고로 H.264 표준에 따라 영상 이미지의 부호화 장치를 살펴보면, 예측 모드 판단부(11)는 입력된 공간영역의 N×N 영상 블록에 대한 인트라 예측 모드를 결정한다. 예측 블록 생성부(12)는 결정한 인트라 예측 모드에 따라 입력된 공간영역의 N×N 영상 블록의 잔여 영상 블록을 생성하는데 사용하는 예측 블록을 생성한다. First, referring to FIG. 1, an apparatus for encoding an image image according to the H.264 standard, the prediction mode determiner 11 determines an intra prediction mode for an N × N image block of an input spatial region. The prediction block generator 12 generates a prediction block used to generate a residual image block of the N × N image block of the input spatial region according to the determined intra prediction mode.
차감부(13)는 입력된 공간영역의 N×N 영상 블록과 생성된 예측 블록을 서로 차감하여 N×N 잔여 영상 블록을 생성한다. 변환부(14)는 생성된 공간영역의 N×N 잔여 영상 블록을 블록 기반의 변환 알고리즘인 DCT를 사용하여 변환영역의 N×N 잔여 영상 블록으로 변환한다.The
통상적으로 공간영역의 영상 이미지를 변환영역의 영상 이미지로 변환시키기 위하여 블록 기반의 변환 알고리즘을 사용한다. 블록 기반의 변환 알고리즘이란 공간영역의 이미지를 N×N 이미지 또는 N×N 잔여 이미지와 같이 블록 단위로 변환하여 영상 데이터를 압축하는 기법으로, Karhunen-Loeve Transform(KLT), Singular Value Decomposition(SVD), Discrete Cosine Transform(DCT), 정수 DCT 등이 사용된다. 블록 기반의 변환 알고리즘에 의해 변환된 변환영역의 영상 데이터는 서로 상관관계가 없으며 영상 데이터가 저주파 성분에 밀집된다는 특징을 가진다.In general, a block-based transformation algorithm is used to convert an image image of a spatial region into an image image of a transformation region. Block-based transformation algorithm is a technique that compresses image data by transforming the spatial domain image in block unit like N × N image or N × N residual image. Karhunen-Loeve Transform (KLT), Singular Value Decomposition (SVD) , Discrete Cosine Transform (DCT), Integer DCT, etc. are used. The image data of the transform region transformed by the block-based transform algorithm is not correlated with each other, and the image data is concentrated in low frequency components.
양자화부(15)는 일정 양자화 계수로 변환영역의 N×N 잔여 영상 블록을 양자화하며 부호화부(16)는 예측 부호화, 가변 길이 부호화, 산술 부호화 등의 부호화 방식 중 하나의 방식에 따라 양자화된 N×N 잔여 영상 블록을 부호화하여 비트스트림을 생성한다.The
H.264 표준에서는 공간영역 예측블록을 생성하기 위하여 공간영역의 참조블록을 복원하여야 한다. 공간영역의 참조블록을 복원하기 위하여, 역양자화부(16)은 양자화된 N×N 잔여 영상 블록을 역양자화하고 역변환부(17)는 역양자화된 N×N 잔여 영상 블록을 역변환하여 변환영역의 N×N 잔여 영상 블록을 공간영역의 N×N 잔여 영상 블록으로 변환한다. 공간영역 참조블록 생성부(18)는 공간영역의 잔여 영상 블록과 예측 블록을 합하여 참조 블록을 생성한다. In the H.264 standard, a reference block of a spatial domain must be reconstructed to generate a spatial domain prediction block. In order to reconstruct the reference block of the spatial domain, the
위에서 살펴본 바와 같이, H.264 표준은 N×N 잔여 영상 이미지를 이용하여 공간영역의 N×N 영상 이미지를 압축하도록 규정하고 있는데, 공간영역의 N×N 영상 이미지로부터 N×N 잔여 영상 이미지를 생성하기 위하여 사용되는 예측 블록은 인트라 예측 모드를 통해 결정된다. H.264 표준에서 휘도 4×4 영상 블록에 대해서는 9개의 인트라 예측 모드가 정의되어 있으며, 휘도 16×16 영상 블록에 대해서는 4개의 인트라 예측 모드가 정의되어 있고, 색차 영상에는 8x8 영상 블록에 대해 4개의 인트라 예측 모드가 정의되어 있다.As described above, the H.264 standard stipulates the compression of N × N video images in the spatial domain using N × N residual video images. The prediction block used to generate is determined through the intra prediction mode. In the H.264 standard, nine intra prediction modes are defined for luminance 4x4 image blocks, four intra prediction modes are defined for luminance 16x16 image blocks, and four for 8x8 image blocks for chrominance images. Intra prediction modes are defined.
도 3을 참고로 4×4 블록 모드에서 사용되는 9개의 인트라 예측 모드를 보다 구체적으로 살펴보면 다음과 같다.Referring to FIG. 3, the nine intra prediction modes used in the 4 × 4 block mode will be described in more detail as follows.
1) 제0 예측 모드(vertical)1) 0th prediction mode (vertical)
- Vertical mode는 현재 부호화하고자 하는 블록의 위쪽 X 영상 블록의 4픽셀들을 이용하여 예측하는 모드이다. -Vertical mode is a mode for predicting using 4 pixels of the upper X image block of the block to be currently encoded.
- A 픽셀은 블록의 첫 column 부분의 4개의 픽셀에 채워지고 B 픽셀은 블록의 두 번째 column 부분의 4개의 픽셀에 채워지며, C, D 픽셀도 각각 블록 column에 해당하는 4개의 픽셀에 채워진다. A pixel is filled with 4 pixels of the first column part of the block, B pixel is filled with 4 pixels of the second column part of the block, and C and D pixels are also filled with 4 pixels corresponding to each block column.
2) 제1 예측 모드(horizontal)2) first prediction mode (horizontal)
- Horizontal mode는 현재 부호화하고자 하는 블록의 왼쪽 Z 영상 블록의 4픽셀들을 이용하여 예측하는 모드이다. Horizontal mode is a prediction mode using 4 pixels of the left Z image block of a block to be currently encoded.
- I 픽셀은 블록의 첫 row 부분의 4개의 픽셀에 채워지고 J 픽셀은 블록의 두 번째 row 부분의 4개의 픽셀에 채워지며, K, L 픽셀도 각각 블록 row에 해당하는 4개의 픽셀에 채워진다. The I pixel is filled with four pixels of the first row part of the block, the J pixel is filled with four pixels of the second row part of the block, and the K and L pixels are also filled with four pixels corresponding to the block row.
3) 제2 예측 모드(DC)3) second prediction mode (DC)
- DC mode는 현재 부호화하고자 하는 블록의 왼쪽 Z 영상 블록의 4픽셀(I,J,K,L)과 위쪽 X 영상 블록(A,B,C,D)의 4픽셀의 평균값으로 예측되는 모드이다.DC mode is a mode predicted by an average value of 4 pixels (I, J, K, L) of the left Z image block and 4 pixels of the upper X image block (A, B, C, D) of the current block to be encoded. .
4) 제3 예측 모드(diagonal down-left)4) third prediction mode (diagonal down-left)
- Diagonal down-left mode는 현재 부호화하고자 하는 블록의 위쪽 X 영상 블록의 4픽셀과 위/오른쪽 Y 영상 블록을 이용하여 예측하는 모드이다.-Diagonal down-left mode is a prediction mode using 4 pixels of the upper X image block and up / right Y image block of the current block to be encoded.
- 부호화하고자 하는 블록의 좌측 하단과 우측 상단 사이의 45도 각도로 채워진다.It is filled with a 45 degree angle between the lower left and the upper right of the block to be encoded.
5) 제4 예측 모드(diagonal down-right)5) fourth prediction mode (diagonal down-right)
- Diagonal down-right mode는 현재 부호화하고자 하는 블록의 위쪽 X 영상 블록의 4픽셀, 위 왼쪽 S 영상 블록의 1픽셀(Q)과 왼쪽 Z 영상 블록의 4픽셀을 이용하여 예측하는 모드이다.-Diagonal down-right mode is a prediction mode using 4 pixels of the upper X image block, 1 pixel of the upper left S image block (Q) and 4 pixels of the left Z image block of the current block to be encoded.
- 부호화하고자 하는 블록의 우측 하단 45도 방향으로 채워진다.-Filled in the 45 degree direction at the bottom right of the block to be encoded.
6) 제5 예측 모드(vertical-right)6) fifth prediction mode (vertical-right)
- Vertical-right mode는 현재 부호화하고자 하는 블록의 위쪽 X 영상 블록의 4픽셀, 위 왼쪽 S 영상 블록의 1픽셀(Q)과 왼쪽 Z 영상 블록의 4픽셀을 이용하여 예측하는 모드이다.-Vertical-right mode is a prediction mode using 4 pixels of the upper X image block, 1 pixel (Q) of the upper left S image block and 4 pixels of the left Z image block of the current block to be encoded.
- 수직의 오른쪽 약 26.6도 방향으로 채워진다. (넓이/높이=1/2)-Filled in the direction of about 26.6 degrees to the right of the vertical. (Width / height = 1/2)
7) 제6 예측 모드(horizontal-down)7) sixth prediction mode (horizontal-down)
- Horizontal-down mode는 현재 부호화하고자 하는 블록의 위쪽 X 영상 블록 의 4픽셀, 위 왼쪽 S 영상 블록의 1픽셀(Q)과 왼쪽 Z 영상 블록의 4픽셀을 이용하여 예측하는 모드이다.-Horizontal-down mode is a prediction mode using 4 pixels of the upper X image block, 1 pixel (Q) of the upper left S image block, and 4 pixels of the left Z image block of the block to be encoded.
- 수평의 아래 약 26.6도 방향으로 채워진다.-Filled in the direction of about 26.6 degrees below the horizontal.
8) 제7 예측 모드(vertical-left)8) seventh prediction mode (vertical-left)
- Vertical-left mode는 현재 부호화하고자 하는 블록의 위쪽 X 영상 블록의 4픽셀, 위 오른쪽 Y 영상 블록의 1픽셀(E)을 이용하여 예측하는 모드이다.-Vertical-left mode is a prediction mode using 4 pixels of the upper X image block of the block to be currently encoded and 1 pixel (E) of the upper right Y image block.
- 수직의 왼쪽 약 26.6도 방향으로 채워진다.-The left side of the vertical is filled in about 26.6 degrees.
9) 제8 예측 모드(horizontal-up)9) eighth prediction mode (horizontal-up)
- Horizontal-up mode는 현재 부호화하고자 하는 블록의 왼쪽 Z 영상 블록의 4픽셀을 이용하여 예측하는 모드이다.Horizontal-up mode is a prediction mode using 4 pixels of the left Z image block of the block to be currently encoded.
- 수평의 위쪽 약 26.6도 방향으로 보간된다.-Interpolate in the direction of about 26.6 degrees above the horizontal.
도 4를 참고로 16×16 블록 모드에서 사용되는 4개의 인트라 예측 모드를 보다 구체적으로 살펴보면 다음과 같다.Referring to FIG. 4, four intra prediction modes used in the 16 × 16 block mode will be described in more detail.
1) 제0 예측 모드(Vertical)1) 0th prediction mode (Vertical)
- Vertical mode는 휘도 4x4예측모드의 제0 예측 모드와 같다. 단지 4x4블록단위와 16x16블록단위의 차이를 제외하고 예측 부호화 방법은 같다.The vertical mode is the same as the zeroth prediction mode of the luminance 4x4 prediction mode. The prediction encoding method is the same except for the difference between 4x4 block units and 16x16 block units.
2) 제1 예측 모드(Horizontal)2) First prediction mode (Horizontal)
- Horizontal mode는 휘도 4x4예측모드의 제1 예측 모드와 같다. 단지 4x4블록단위와 16x16블록단위의 차이를 제외하고 예측 부호화 방법은 같다.The horizontal mode is the same as the first prediction mode of the luminance 4x4 prediction mode. The prediction encoding method is the same except for the difference between 4x4 block units and 16x16 block units.
3) 제2 예측 모드(DC)3) second prediction mode (DC)
- DC mode는 휘도 4x4 예측모드의 제2 예측 모드와 같다. 단지 4x4블록단위와 16x16블록단위의 차이를 제외하고 예측 부호화 방법은 같다.DC mode is the same as the second prediction mode of luminance 4x4 prediction mode. The prediction encoding method is the same except for the difference between 4x4 block units and 16x16 block units.
4) 제 3 예측 모드(Plane)4) third prediction mode (Plane)
- Plan mode는 상단 블록의 화소와 좌측 블록의 화소를 대각선방향(45도)으로 보간해서 부호화한다.-Plan mode encodes the pixels of the upper block and the pixels of the left block by interpolating diagonally (45 degrees).
한편, 색차 영상에서 8x8 영상 블록에 대해 4개의 인트라 예측 모드는 휘도 16x16 모드와 같으며, 단지 8x8블록단위와 16x16블록단위의 차이를 제외하고 부호화 방식은 같다.On the other hand, the four intra prediction modes for the 8x8 image block in the chrominance image are the same as the luminance 16x16 mode, except that the coding scheme is the same except for the difference of 8x8 block unit and 16x16 block unit.
도 2를 참고로 H.264 표준에 따른 영상 이미지의 복호화 장치를 살펴보면, 디코딩부(30)는 수신한 비트스트림을 복호화하며 역양자화부(31)는 복호화된 비트스트림에서 각 잔여 영상 블록을 역양자화 계수로 역양자화한다. 역변환부(32)는 역양자화된 각 잔여 영상 블록을 역변환하여 변환영역의 잔여 영상 블록을 공간영역의 잔여 영상 블록으로 변환한다. 예측 모드 판단부(33)는 비트스트림에 저장되어 있는 각 잔여 영상 블록에 대한 인트라 예측 모드를 판단하고, 공간영역의 예측블록 생성부(34)는 판단한 인트라 예측 모드로부터 공간영역의 예측 블록을 생성한다. 합산부(36)는 생성한 공간영역의 예측 블록과 공간영역의 잔여 영상 블록을 합하여 영상 블록을 복원한다. 참조블록 생성부(37)는 복원한 영상 블록으로부터 예측 블록을 생성하는데 사용되는 참조 블록을 생성한다.Referring to FIG. 2, referring to an apparatus for decoding a video image according to the H.264 standard, the
한편, 핸드폰, 디지털 TV 등과 같은 멀티미디어 단말기는 저장하고 있는 영 상 이미지를 미리 보기 위한 작은 사이즈의 이미지(이하, '섬네일 이미지'라 언급한다)를 통해 멀티미디어 단말기에 저장되어 있는 영상 데이터를 검색하는데 사용한다. On the other hand, multimedia terminals such as mobile phones and digital TVs are used to retrieve image data stored in the multimedia terminal through a small size image (hereinafter referred to as a thumbnail image) for previewing the stored image image. do.
도 5는 핸드폰에서 사용하는 섬네일 이미지의 일 예를 도시하고 있다. 도 5에 도시되어 있는 섬네일 이미지를 참고로 살펴보면, 핸드폰에 저장되어 있는 다수의 영상 또는 동영상 이미지들이 디스플레이부에 섬네일 이미지로 미리 디스플레이된다. 사용자는 디스플레이된 섬네일 이미지를 통해 재생하고자 하는 영상 또는 동영상을 검색하고 검색한 동영상 중 소정 동영상을 선택하면, 선택한 동영상은 원래 사이즈의 이미지로 재생된다. 5 illustrates an example of a thumbnail image used in a mobile phone. Referring to the thumbnail image illustrated in FIG. 5, a plurality of video or video images stored in the mobile phone are previously displayed as thumbnail images on the display unit. When the user searches for an image or a video to be played back through the displayed thumbnail image and selects a predetermined video from the searched video, the selected video is played in the original size image.
원영상 이미지에서 섬네일 이미지를 생성하기 위한 통상적인 방법은 크게 2가지로 나누어 볼 수 있다. 첫번째 방법은 공간영역의 원영상 이미지를 다운 샘플링하여 원영상 이미지의 섬네일 이미지를 생성하는 것이다. 두번째 방법은 영상 이미지를 구성하는 변환영역의 각 영상 블록에서 DC 계수만을 추출하여 원영상 이미지의 섬네일 이미지를 생성하는 것이다. 변환영역의 각 영상 블록에서 상단 좌측에 존재하는 DC 계수는 공간영역의 각 영상 블록에 대한 평균값으로, DC 계수만을 추출하여 생성된 영상 이미지는 원래 영상 이미지의 크기를 1/N만큼 다운 샘플링한 것과 동일하다. Conventional methods for generating thumbnail images from the original image can be divided into two broad categories. The first method is to generate a thumbnail image of the original image by down sampling the original image of the spatial domain. The second method is to generate a thumbnail image of the original image by extracting only DC coefficients from each image block of the transform region constituting the image. The DC coefficient at the top left of each image block in the transform region is the average value for each image block in the spatial domain. The image image generated by extracting only the DC coefficient is equivalent to downsampling the size of the original image image by 1 / N. same.
위에서 설명한 첫번째 방법으로 H.264 표준의 영상 이미지에 대한 섬네일 이미지를 생성하기 위해서는 직교 변환된 잔여 영상 블록을 역변환하고 역변환된 잔여 영상 블록과 공간영역의 예측 블록을 합하여 공간영역의 복원 블록을 생성한 후, 다시 복원 블록을 다운 샘플링하여 영상 이미지의 섬네일 이미지를 생성한다. 따라서 첫번째 방법은 H.264 표준의 영상 이미지에 대한 섬네일 이미지를 생성하는데 복잡한 데이터 처리 과정을 필요로 한다는 문제점을 가진다. In order to generate a thumbnail image of the H.264 standard image image using the first method described above, an inverse transformed residual image block is inversely transformed, and an inverse transformed residual image block and a prediction block of the spatial domain are combined to generate a reconstruction block of the spatial domain. After that, the restoration block is down sampled again to generate a thumbnail image of the video image. Therefore, the first method has a problem in that complicated data processing is required to generate thumbnail images for video images of the H.264 standard.
또한 위에서 설명한 두번째 방법으로 H.264 표준의 영상 이미지에 대한 섬네일 이미지를 생성하기 위해서는 H.264 기반에서 사용되는 예측 블록이 주변 영상 블록을 이용하여 생성되므로 모든 영상 블록이 복원된 후, 각 영상 블록을 다시 직교 변환하여 변환영역의 영상 블록에 존재하는 DC 계수를 추출하여 섬네일 이미지를 생성할 수 있다.In addition, in order to generate a thumbnail image of a video image of the H.264 standard by the second method described above, since the prediction block used in the H.264 base is generated using the neighboring video blocks, after each image block is restored, each image block Is orthogonally transformed to extract a DC coefficient present in the image block of the transform region to generate a thumbnail image.
따라서 두번째 방법도 H.264 기반의 영상 이미지에 대한 섬네일 이미지를 생성하는데 복잡한 데이터 처리 과정을 거쳐야 하며 모든 영상 블록의 복원 후에 섬네일 이미지의 생성이 가능하므로 섬네일 이미지를 생성하는데 오랜 시간이 소요된다는 문제점을 가진다. Therefore, the second method also has to go through complicated data processing to generate thumbnail images for H.264-based image images, and it takes a long time to generate thumbnail images because thumbnail images can be generated after restoring all image blocks. Have
본 발명이 이루고자 하는 목적은 위에서 언급한 H.264 표준의 영상 이미지에 대한 섬네일 이미지를 간단한 데이터 처리 과정으로 생성하는 장치를 제공하는 것이다.It is an object of the present invention to provide an apparatus for generating a thumbnail image for a video image of the above-mentioned H.264 standard by a simple data processing process.
보다 구체적으로 본 발명이 이루고자 하는 목적은 공간영역에서 수행하던 인트라 예측 모드에 따른 예측 블록의 생성을 변환영역에서 수행하여 H.264 표준에서 영상 이미지의 섬네일 이미지를 변환영역에서 직접 생성할 수 있는 장치를 제공하는 것이다.More specifically, an object of the present invention is to create a prediction block according to the intra prediction mode performed in the spatial domain in the transform domain to generate a thumbnail image of the video image directly in the transform domain in the H.264 standard To provide.
본 발명이 이루고자 하는 다른 목적은 멀티미디어 단말기에 저장되어 있는 영상 이미지를 섬네일 이미지를 통해 빠르게 검색할 수 있도록 도와주는 섬네일 이미지의 생성 장치를 제공하는 것이다.Another object of the present invention is to provide an apparatus for generating a thumbnail image that helps to quickly search for a video image stored in a multimedia terminal through a thumbnail image.
본 발명의 목적을 달성하기 위한 섬네일 이미지의 생성 장치는 H.264 표준의 영상 이미지를 구성하는 공간영역의 N×N 영상 블록에 대한 공간영역의 예측 모드를 판단하는 예측모드 판단부와 판단한 공간영역의 예측 모드에 기초하여 변환영역에서 복원된 참조 프레임으로부터 변환영역의 N×N 예측 블록을 생성하는 변환영역의 예측블록 생성부와, 공간영역의 N×N 영상 블록에 대한 변환영역의 N×N 잔여 영상 블록을 변환영역의 N×N 예측 블록과 합하여 변환영역의 복원 블록을 생성하는 변환영역의 복원블록 생성부 및 생성한 복원 블록에서 DC 계수만을 추출하여 영상 이미지에 대한 섬네일 이미지를 생성하는 섬네일 이미지 생성부를 포함한다.In order to achieve the object of the present invention, a thumbnail image generating apparatus includes a prediction mode determination unit for determining a prediction mode of a spatial region for an N × N image block of a spatial region constituting an H.264 standard image image and a determined spatial region. A prediction block generator of the transform region for generating an N × N prediction block of the transform region from the reference frame reconstructed in the transform region based on the prediction mode of Thumbnail for generating a thumbnail image of a video image by extracting only DC coefficients from the reconstructed block generator and the generated reconstructed block by combining the residual image block with the N × N prediction block of the transform region to generate a reconstructed block of the transform region. It includes an image generator.
본 발명에 따른 섬네일 이미지의 생성 장치는 아래와 같은 다양한 효과들을 가지고 있다.The thumbnail image generating apparatus according to the present invention has various effects as follows.
첫째, 본 발명에 따른 섬네일 이미지의 생성 장치는 변환영역에서 예측 블록을 생성함으로써, 영상 이미지를 구성하는 공간영역의 영상 블록을 모두 복원할 필요없이 변환영역의 예측 블록과 변환영역의 잔여 영상 블록을 합하여 H.264 표준의 영상 이미지에 대한 섬네일 이미지를 생성할 수 있다.First, the thumbnail image generating apparatus according to the present invention generates a prediction block in the transform region, thereby reconstructing the prediction block of the transform region and the residual image block of the transform region without having to reconstruct all the image blocks of the spatial region constituting the image image. In sum, thumbnail images for video images of the H.264 standard can be generated.
둘째, 본 발명에 따른 섬네일 이미지의 생성 장치는 변환영역의 예측 블록과 변환영역의 잔여 영상 블록으로부터 생성된 복원 블록의 DC 계수를 추출하여 직접 H.264 기반의 영상 이미지에 섬네일 이미지를 생성함으로써, 다수의 영상 이미지들이 저장되어 있는 멀티미디어 단말기에서 섬네일 이미지를 통해 특정 영상 이미지를 빠르게 검색할 수 있다.Second, the thumbnail image generating apparatus according to the present invention extracts the DC coefficients of the reconstructed block generated from the prediction block of the transform region and the residual image block of the transform region to generate a thumbnail image directly on the H.264-based image image, In a multimedia terminal in which a plurality of video images are stored, a specific video image can be quickly searched through a thumbnail image.
셋째, 본 발명에 따른 섬네일 이미지의 생성 장치는 변환영역의 예측 블록과 변환영역의 잔여 영상 블록으로부터 생성된 복원 블록의 DC 계수를 추출하여 직접 H.264 기반의 영상 이미지에 섬네일 이미지를 생성함으로써, 공간영역의 영상 블록을 모두 복원하고 섬네일 이미지를 생성하는 방법보다 메모리 절감 효과를 얻을 수 있다.Third, the thumbnail image generating apparatus according to the present invention extracts the DC coefficients of the reconstructed block generated from the prediction block of the transform region and the residual image block of the transform region, and generates a thumbnail image directly on the H.264 based image image. The memory saving effect can be achieved more than restoring image blocks in the spatial domain and generating thumbnail images.
이하 첨부한 도면을 참고로 본 발명에 따른 H.264 표준의 영상 이미지로부터 섬네일 이미지를 생성하는 장치에 대해 보다 구체적으로 설명한다.Hereinafter, an apparatus for generating a thumbnail image from a video image of the H.264 standard according to the present invention will be described in detail with reference to the accompanying drawings.
도 6은 본 발명의 일 실시예에 따른, 섬네일 이미지를 생성하는 H.264 표준의 부호화 장치의 기능 블록도를 도시하고 있다. 6 is a functional block diagram of an H.264 standard encoding apparatus for generating thumbnail images according to an embodiment of the present invention.
도 6을 참고로 살펴보면, 공간영역의 N×N 영상 블록이 입력되면 예측 모드 판단부(110)는 입력된 N×N 영상 블록에 대한 인트라 예측 모드를 결정하고 공간영역의 예측블록 생성부(120)는 결정된 인트라 예측 모드에 따라 참조블록으로부터 공간영역의 N×N 영상 블록에 대한 예측 블록을 생성한다. 차감부(130)는 입력된 공간영역의 N×N 영상 블록과 생성된 예측 블록을 서로 차감하여 공간영역의 N×N 잔여 영상 블록을 생성한다. 변환부(140)는 생성된 공간영역의 N×N 잔여 영상 블록을 변환영역으로 변환하고, 양자화부(150)는 변환영역의 N×N 잔여 영상 블록을 양자화하며 부호화부(190)는 소정 부호화 방식에 따라 양자화된 N×N 잔여 영상 블록을 부호화하여 비트스트림을 생성한다. Referring to FIG. 6, when the N × N image block of the spatial domain is input, the
H.264 표준에서는 공간영역 예측블록을 생성하기 위하여 공간영역의 참조블록을 복원하여야 한다. 공간영역의 참조블록을 복원하기 위하여, 역양자화부(160)은 양자화된 N×N 잔여 영상 블록을 역양자화하고 역변환부(170)는 역양자화된 N×N 잔여 영상 블록을 역변환하여 변환영역의 N×N 잔여 영상 블록을 공간영역의 N×N 잔여 영상 블록으로 변환한다. 공간영역 참조블록 생성부(180)는 공간영역의 잔여 영상 블록과 예측 블록을 합하여 참조 블록을 생성한다. In the H.264 standard, a reference block of a spatial domain must be reconstructed to generate a spatial domain prediction block. In order to reconstruct the reference block of the spatial domain, the
한편, H.264 표준의 영상 이미지로부터 섬네일 이미지를 생성하기 위하여, 변환영역의 예측블록 생성부(200)는 예측 모드 판단부(110)에서 결정한 공간영역의 인트라 예측 모드에 기초하여 변환영역의 참조블록으로부터 변환영역의 N×N 예측 블록을 생성한다. 즉, 변환영역의 예측블록 생성부(200)는 변환영역의 N×N 잔여 영상 블록과 동일한 변환영역에서 N×N 예측 블록을 생성한다. Meanwhile, in order to generate a thumbnail image from the H.264 standard image, the prediction
공간영역의 N×N 잔여 영상 블록이 변환부(140)에서 정수 DCT로 변환된 경우, 변환영역의 예측블록 생성부(200)는 변환영역의 N×N 잔여 영상 블록과 동일한 변환영역에서 N×N 예측 블록을 생성하기 위하여 직교 변환 성질, 즉 만족시켜주기 위한 행렬(Λ)과 이전에 생성되어 저장되어 있는 변환영역의 참조블록을 참조한다. When the N × N residual image block of the spatial domain is converted to the integer DCT by the
그러나 공간영역의 N×N 잔여 영상 블록이 변환부(140)에서 근사화 DCT로 변환된 경우, 변환영역의 예측블록 생성부(200)는 근사화 DCT의 경우 직교 변환 성질을 만족하므로 별도로 직교 변환 성질을 만족시켜주기 위한 행렬(Λ)을 사용하지 않아도 된다.However, when the N × N residual image block of the spatial domain is transformed into the approximated DCT by the
예를 들어, 변환영역의 4×4 잔여 영상 블록이 정수 DCT로 변환되고 수직 모드를 인트라 예측 모드로 사용하는 경우, 변환영역의 4×4 잔영 영상 블록의 예측 블록을 생성하기 위해 사용되는 참조블록은 이전에 생성되어 저장되어 있는, 변환영역의 4×4 잔여 영상 블록의 윗 블록이며, 변환영역의 4×4 잔여 영상 블록의 윗 블록(TD)을 아래의 수학식(1)과 같이 정의한다. For example, when a 4x4 residual image block of the transform region is converted to an integer DCT and the vertical mode is used as the intra prediction mode, a reference block used to generate a prediction block of the 4x4 residual image block of the transform region. Is the upper block of the 4x4 residual image block of the transform region, which is previously generated and stored, and defines the upper block T D of the 4x4 residual image block of the transform region as shown in Equation (1) below. do.
[수학식 1][Equation 1]
따라서 이전에 복원된 변환영역의 4×4 잔여 영상 블록의 윗 블록으로부터 생성된는 제0 예측 모드(Vertical)에 따른 변환영역의 예측 블록은 아래의 수학식(2)과 같다.Accordingly, the prediction block of the transform region according to the 0th prediction mode (Vertical) generated from the upper block of the 4 × 4 residual image block of the transform region previously reconstructed is represented by Equation (2) below.
[수학식 2][Equation 2]
=
=
여기서 정수 DCT는 아래의 수학식(3)과 같이 계산되며, 는 H.264 표준의 복호화에 사용되는 정수 DCT의 역행렬로 Tinverse는 아래의 수학식(4)과 같다.Where the integer DCT is calculated as in Equation (3) below, Is the inverse of the integer DCT used for decoding of the H.264 standard, and T inverse is expressed by Equation (4) below.
[수학식 3]&Quot; (3) "
[수학식 4]&Quot; (4) "
는 공간영역 수직예측모드에 대한 예측모드선택행렬이며, 는 변환영역 수직예측모드에 대한 변환예측선택 행렬이며, 는 공간영역의 수직예측모드 에 대한 예측 블록을 변환영역의 예측 블록으로 생성해주기 위한 스케일링 행렬이다. 예측모드선택행렬, 변환예측선택행렬, 스케일링 행렬은 사용하는 정수 DCT 계수에 따라 다르게 계산된다. Is the prediction mode selection matrix for the spatial domain vertical prediction mode. Is the transform prediction selection matrix for the transform region vertical prediction mode. Is a scaling matrix for generating the prediction block for the vertical prediction mode of the spatial domain as the prediction block of the transform domain. The prediction mode selection matrix, the transformation prediction selection matrix, and the scaling matrix are calculated differently according to the integer DCT coefficients used.
변환영역의 복원블록 생성부(210)는 변환영역의 N×N 잔여 영상 블록(Resi)과 변환영역의 N×N 예측 블록을 합하여 아래의 수학식(5)와 같이 변환영역의 N×N 복원 블록(Rec)을 생성한다. The reconstruction
[수학식 5][Equation 5]
여기서 a는 반올림 에러를 방지하기 위한 상수 스케일 계수이다.Where a is a constant scale factor to prevent rounding errors.
섬네일 이미지 생성부(230)는 생성된 변환영역의 N×N 복원 블록들로부터 DC 계수만을 a로 나누어 추출하여 섬네일 이미지를 생성한다.The
도 7은 본 발명의 일 실시예에 따른, 섬네일 이미지를 생성하는 H.264 표준의 복호화 장치의 기능 블록도를 도시하고 있다.7 is a functional block diagram of a decoding apparatus of the H.264 standard for generating thumbnail images according to an embodiment of the present invention.
도 7을 참고로 살펴보면, 디코딩부(300)는 수신한 비트스트림을 복호화하며, 역양자화부(310)는 복호화된 비트스트림에서 각 잔여 영상 블록을 역양자화 계수로 역양자화한다. 역변환부(320)는 역양자화된 각 잔여 영상 블록을 역변환하여 변환영역의 잔여 영상 블록을 공간영역의 잔여 영상 블록으로 역변환한다. 예측 모드 판단부(330)는 비트스트림에 저장되어 있는 각 잔여 영상 블록에 대한 인트라 예측 모드를 판독하여 각 잔여 영상 블록에 대한 인트라 예측 모드를 판단하고, 공간영역의 예측블록 생성부(340)는 결정한 인트라 예측 모드로부터 공간영역의 예측 블록을 생성한다. 합산부(360)는 역변환하여 생성된 공간영역의 잔여 영상 블록과 생성된 공간영역의 예측 블록을 합산하여 복원 블록을 생성한다.Referring to FIG. 7, the
공간영역 참조블록 생성부(370)는 부호화 장치에서와 같이 합산부(360)의 출력인 복원 블록을 저장하여 공간영역 예측 블록 생성을 위해 참조블록을 생성한다. The spatial domain
한편, 수신한 비트스트림으로부터 섬네일 이미지를 생성하기 위하여, 변환영역의 예측블록 생성부(380)는 예측 모드 판단부(330)에서 판단한 공간영역의 인트라 예측 모드에 기초하여 변환영역의 참조블록으로부터 변환영역의 N×N 예측 블록을 생성한다. 즉, 변환영역의 예측블록 생성부(380)는 변환영역의 N×N 잔여 영상 블록과 동일한 변환영역에서 N×N 예측 블록을 생성한다.Meanwhile, in order to generate a thumbnail image from the received bitstream, the
H.264 표준의 부호화 장치로부터 수신한 비트스트림의 N×N 잔여 영상 블록이 정수 DCT로 변환된 경우, 변환영역의 예측블록 생성부(380)는 직교 변환 성질을 만족시켜주기 위한 행렬(Λ)과 이전에 복원된 변환영역의 참조프레임을 참조하여 변환영역의 N×N 잔여 영상 블록과 동일한 변환영역에서 N×N 예측 블록을 생성한다. When the N × N residual video block of the bitstream received from the H.264 standard encoding device is converted to integer DCT, the
변환영역의 복원블록 생성부(400)는 역양자화된 변환영역의 N×N 잔여 영상 블록과 변환영역의 N×N 예측 블록을 합하여 역양자화된 변환영역의 N×N 복원 블록을 생성한다. The reconstruction
바람직하게, 변환영역의 N×N 잔여 영상 블록과 변환영역의 N×N 예측 블록은 복원블록 생성부(400)에서 합해지기 전에 발생되는 에러를 보정한다. Preferably, the N × N residual image block of the transform region and the N × N prediction block of the transform region correct an error occurring before the
이전에 변환영역에서 복원된 블록과 변환예측화소선택 행렬과의 행렬곱을 통해 만들어진 변환영역의 수직모드 예측블록은 공간영역에서 예측블록을 생성하는 것과 달리 round 에러가 발생한다. 이것은 역변환부(320)에서 round하는 부분이 변환영역에서는 행렬곱을 통해 round하는 부분을 제외 시켰기 때문이다. 따라서 예측 블록의 에러 보정부(390)는 변환영역에서 생성된 N×N 예측블록의 round 에러를 보정한다. The vertical mode prediction block of the transform region, which is generated through the matrix multiplication of a block previously restored in the transform region and the transform prediction pixel selection matrix, generates a round error unlike generating a predictive block in the spatial region. This is because a part rounded by the
다음은 실시 예로 변환영역에서 생성된 예측블록이 DC에만 값이 있을 때 에러를 보정하는 방법을 설명한다. 변환영역에서 생성된 예측블록이 DC에만 값이 있고 예측블록의 DC 값을 64로 나누었을 때 나머지가 32보다 작을 때는 에러가 0.5보다 작기 때문에 역변환부에서 이루어지는 round 에러는 발생하지 않는다. 반면 예측블록의 DC 값을 64로 나누었을 때 나머지가 32보다 크거나 같을 경우에는 에러가 0.5보다 크거나 같으며, 역변환부에서 round 할 경우 값을 1만큼 증가시키기 때문에 변환영역에서는 나머지가 32보다 크거나 같을 경우에는 아래의 수학식(6) 같이 에러를 보정해 준다.The following describes a method of correcting an error when a prediction block generated in a transform region has a value only in DC. When the prediction block generated in the transform domain has a value only in DC and the DC value of the prediction block is divided by 64, when the remainder is less than 32, the error is less than 0.5, so the round error generated in the inverse transform unit does not occur. On the other hand, when the DC value of the prediction block is divided by 64, if the remainder is greater than or equal to 32, the error is greater than or equal to 0.5, and when the round in the inverse transform unit increases the value by 1, the remainder is greater than 32 in the transform domain. If greater than or equal to, correct the error as shown in Equation (6) below.
[수학식 6]&Quot; (6) "
에러 보정 값 = a - (a로 나눈 나머지)Error correction value = a-(rest divided by a)
보정된 DC 값 = DC + 에러 보정 값Corrected DC value = DC + error correction value
수학식(6)와 같이 보정된 변환영역에서의 예측블록은 합산부의 입력이 된다. 상기의 실시 예 뿐만 아니라 변환영역의 예측블록에 DC값 외에 AC값이 있을 때에도 round 에러를 보정할 수 있다.As shown in Equation (6), the prediction block in the corrected transform region is an input of the summation unit. In addition to the above embodiments, the round error may be corrected when the prediction block of the transform region has an AC value in addition to the DC value.
또한, 예측블록 에러 보정부(390)와 같이 잔여영상블록 에러 보정부(395)에서는 잔여신호가 DC에만 값이 있을 때 수학식(6)과 같이 에러를 보정하여 복원블록 생성부(400)의 입력이 된다.In addition, as in the prediction block
섬네일 이미지 생성부(420)는 생성된 변환영역의 N×N 복원 블록들로부터 DC 계수만을 추출하여 섬네일 이미지를 생성한다.The
도 8은 본 발명의 일 실시예에 따른, H.264 표준의 이미지 부호화 장치에서 섬네일 이미지의 생성 방법을 설명하기 위한 흐름도이다. 8 is a flowchart illustrating a method of generating a thumbnail image in an H.264 standard image encoding apparatus according to an embodiment of the present invention.
도 8을 참고로 살펴보면, 공간영역의 N×N 영상 블록이 입력되면 입력된 N×N 영상 블록에 대한 공간영역의 인트라 예측 모드를 결정하고(S1), 결정한 공간영역의 인트라 예측 모드에 기초하여 변환영역에서 복원된 참조블록으로부터 변환영역의 N×N 예측 블록을 생성한다(S3). 입력된 공간영역의 N×N 영상 블록에 대한 N×N 잔여 영상 블록이 정수 DCT로 변환된 경우, 변환영역의 N×N 잔여 영상 블록과 동일한 변환영역에서 N×N 예측 블록을 생성하기 위하여 직교 변환 성질, 즉 을 만족시켜주기 위한 행렬(Λ)을 사용한다. Referring to FIG. 8, when the N × N image block of the spatial domain is input, an intra prediction mode of the spatial domain for the input N × N image block is determined (S1), and based on the determined intra prediction mode of the spatial domain. An N × N prediction block of the transform region is generated from the reference block reconstructed in the transform region (S3). When the N × N residual image block for the input N × N image block in the spatial domain is converted to an integer DCT, orthogonal to generate an N × N prediction block in the same transform domain as the N × N residual image block in the transform domain. Transformation properties, i.e. Use a matrix (Λ) to satisfy.
삭제delete
정수 DCT에서 변환영역의 N×N 잔여 영상 블록과 동일한 변환영역에서 N×N 예측 블록을 생성하기 위하여 사용되는, 직교 변환 성질을 만족시켜주는 행렬(Λ)의 일 예는 아래의 수학식(7)과 같은 방식으로 만들어진다.An example of a matrix Λ satisfying an orthogonal transformation property, which is used to generate an N × N prediction block in the same transform region as the N × N residual image block in the transform region in the integer DCT, is represented by the following equation (7). Is created in the same way.
[수학식 7][Equation 7]
여기서 인 경우, ∧는 이다.here If is ∧ to be.
생성한 변환영역의 예측 블록과 변환영역의 잔여 영상 블록을 합하여 변환영역의 복원 블록을 생성한다(S5). 생성한 변환영역의 복원 블록들에서 각각 DC 계수만을 추출하고(S7) 추출한 각 복원 블록들의 DC 계수들로부터 섬네일 이미지를 생성한다(S9). The reconstructed block of the transform region is generated by adding the generated prediction blocks of the transform region and the residual image blocks of the transform region (S5). Only DC coefficients are extracted from the reconstructed blocks of the generated transform region (S7), and a thumbnail image is generated from the DC coefficients of the extracted reconstructed blocks (S9).
도 9는 본 발명의 일 실시예에 따른, H.264 표준의 복호화 장치에서 섬네일 이미지의 생성 방법을 설명하기 위한 흐름도이다.9 is a flowchart illustrating a method of generating a thumbnail image in a decoding apparatus of an H.264 standard according to an embodiment of the present invention.
도 9를 참고로 살펴보면, 복호화 장치는 잔여 영상 블록과 인트라 예측 모드에 대한 정보를 저장하고 있는 비트스트림을 수신하고(S11), 수신한 비트스트림에서 잔여 영상 블록을 생성하는데 사용한 공간영역의 인트라 예측 모드를 판단한다(S13). Referring to FIG. 9, the decoding apparatus receives a bitstream storing information about a residual image block and an intra prediction mode (S11), and intra-prediction of a spatial domain used to generate a residual image block from the received bitstream. The mode is determined (S13).
앞서 설명한 바와 같이, 판단한 공간영역의 인트라 예측 모드에 기초하여 변환영역의 참조블록으로부터 변환영역의 N×N 예측 블록을 생성한다(S15). 입력된 공간영역의 N×N 영상 블록에 대한 N×N 잔여 영상 블록이 정수 DCT로 변환된 경우, 변환영역의 N×N 잔여 영상 블록과 동일한 변환영역에서 N×N 예측 블록을 생성하기 위하여 직교 변환 성질을 만족시켜주기 위한 행렬(Λ)을 사용한다.As described above, the N × N prediction block of the transform region is generated from the reference block of the transform region based on the determined intra prediction mode of the spatial region (S15). When the N × N residual image block for the input N × N image block in the spatial domain is converted to an integer DCT, orthogonal to generate an N × N prediction block in the same transform domain as the N × N residual image block in the transform domain. A matrix (Λ) is used to satisfy the conversion properties.
변환영역에서의 참조블록으로부터 생성된 변환영역의 예측블록은 변환영역의 참조블록으로부터 예측블록 생성시 발생하는 에러를 보정한다(S16). 또한 역양자화된 변환영역의 잔여 영상 블록에서 발생하는 에러를 보정한다(S17). 보정된 변환영역의 예측 블록과 보정된 역양자화된 변환영역의 잔여 영상 블록을 합하여 역양자화된 변환영역의 복원 블록을 생성한다(S18). 역양자화된 변환영역의 복원 블록들에서 각각 DC 계수만을 추출하여(S19) 섬네일 이미지를 생성한다(S20).The prediction block of the transform region generated from the reference block in the transform region corrects an error occurring when the prediction block is generated from the reference block of the transform region (S16). In addition, an error occurring in the residual image block of the dequantized transform region is corrected (S17). The reconstructed block of the dequantized transform region is generated by adding the prediction block of the corrected transform region and the residual image block of the corrected dequantized transform region (S18). Only the DC coefficients are extracted from the reconstructed blocks of the inverse quantized transform region (S19) to generate thumbnail images (S20).
한편, 상술한 본 발명의 일 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다.Meanwhile, the above-described embodiments of the present invention can be written as a program that can be executed in a computer, and can be implemented in a general-purpose digital computer that operates the program using a computer-readable recording medium.
상기 컴퓨터로 읽을 수 있는 기록 매체는 마그네틱 저장 매체(예를 들어, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들어, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)와 같은 저장 매체를 포함한다.The computer readable recording medium may include a magnetic storage medium (eg, a ROM, a floppy disk, a hard disk, etc.), an optical reading medium (eg, a CD-ROM, a DVD, etc.) and a carrier wave (eg, the Internet). Storage medium).
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.Although the present invention has been described with reference to the embodiments shown in the drawings, this is merely exemplary, and it will be understood by those skilled in the art that various modifications and equivalent other embodiments are possible. Therefore, the true technical protection scope of the present invention will be defined by the technical spirit of the appended claims.
도 1은 H.264 기반에 따른 영상 이미지의 부호화 장치를 설명하기 위한 기능 블록도를 도시하고 있다.1 is a functional block diagram illustrating an apparatus for encoding a video image based on H.264.
도 2는 H.264 기반에 따른 영상 이미지의 복호화 장치를 설명하기 위한 기능 블록도이다.2 is a functional block diagram illustrating an apparatus for decoding a video image based on H.264.
도 3은 공간영역의 4x4 휘도블록의 인트라 예측 모드를 설명하기 위한 도면이다.3 is a diagram for describing an intra prediction mode of a 4x4 luma block in a spatial domain.
도 4는 공간영역의 16x16 휘도블록과 8x8 색차블록 예측 모드를 설명하기 위한 도면이다.4 is a diagram for describing a 16x16 luma block and an 8x8 chroma block prediction mode in a spatial domain.
도 5는 핸드폰에서 사용하는 섬네일 이미지의 일 예를 도시하고 있다.5 illustrates an example of a thumbnail image used in a mobile phone.
도 6는 본 발명의 일 실시예에 따른, 섬네일 이미지를 생성하는 H.264 표준의 부호화 장치의 기능 블록도를 도시하고 있다. 6 is a functional block diagram of an encoding apparatus of the H.264 standard for generating thumbnail images according to an embodiment of the present invention.
도 7은 본 발명의 일 실시예에 따른, 섬네일 이미지를 생성하는 H.264 표준의 복호화 장치의 기능 블록도를 도시하고 있다.7 is a functional block diagram of a decoding apparatus of the H.264 standard for generating thumbnail images according to an embodiment of the present invention.
도 8은 본 발명의 일 실시예에 따른, H.264 표준의 이미지 부호화 장치에서 섬네일 이미지의 생성 방법을 설명하기 위한 흐름도이다. 8 is a flowchart illustrating a method of generating a thumbnail image in an H.264 standard image encoding apparatus according to an embodiment of the present invention.
도 9는 본 발명의 일 실시예에 따른, H.264 표준의 이미지 복호화 장치에서 섬네일 이미지의 생성 방법을 설명하기 위한 흐름도이다.9 is a flowchart illustrating a method of generating a thumbnail image in the H.264 standard image decoding apparatus according to an embodiment of the present invention.
<도면의 주요 부분에 대한 설명>Description of the main parts of the drawing
110: 예측 모드 판단부 120: 공간영역의 예측블록 생성부110: prediction mode determination unit 120: prediction block generation unit of the spatial domain
130: 차감부 140: 변환부130: subtraction unit 140: conversion unit
150: 양자화부 160: 역양자화부150: quantization unit 160: inverse quantization unit
170: 역변환부 180: 공간영역 참조블록 생성부170: inverse transform unit 180: spatial domain reference block generation unit
190: 부호화부 200: 변환영역의 예측블록 생성부190: encoder 200: prediction block generator of the transform region
210: 변환영역의 복원블록 생성부 230: 섬네일 이미지 생성부210: restoration block generation unit of the conversion area 230: thumbnail image generation unit
300: 디코딩부 310: 역양자화부 300: decoding unit 310: inverse quantization unit
320: 역변환부 330: 예측모드 판단부320: inverse transform unit 330: prediction mode determination unit
340: 공간영역 예측블록 생성부 360: 합산부 340: Spatial domain prediction block generation unit 360: Summing unit
370: 공간영역 참조블록 생성부370: spatial domain reference block generation unit
380: 변환영역 예측블록 생성부 390: 예측블록 에러 보정부380: transform domain prediction block generation unit 390: prediction block error correction unit
400: 복원블록 생성부 395: 잔여영상블록 에러 보정부400: reconstruction block generation unit 395: residual image block error correction unit
420: 섬네일 이미지 생성부 420: thumbnail image generator
Claims (8)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020080059908A KR101035455B1 (en) | 2008-06-24 | 2008-06-24 | Apparatus for making thumbnail-image based on H.264 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020080059908A KR101035455B1 (en) | 2008-06-24 | 2008-06-24 | Apparatus for making thumbnail-image based on H.264 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20100000420A KR20100000420A (en) | 2010-01-06 |
KR101035455B1 true KR101035455B1 (en) | 2011-05-18 |
Family
ID=41810808
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020080059908A KR101035455B1 (en) | 2008-06-24 | 2008-06-24 | Apparatus for making thumbnail-image based on H.264 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101035455B1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102049293B1 (en) * | 2018-01-19 | 2019-11-28 | 인천대학교 산학협력단 | Apparatus and Method for Extracting Thumbnail Video for High Efficiency Video Coding |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20060022894A (en) * | 2004-09-08 | 2006-03-13 | 엘지전자 주식회사 | Apparatus and method for generating thumbnail image in mobile terminal |
JP2006148615A (en) | 2004-11-22 | 2006-06-08 | Hitachi Ltd | Decoding device and program for making computer execute encoding method |
-
2008
- 2008-06-24 KR KR1020080059908A patent/KR101035455B1/en not_active IP Right Cessation
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20060022894A (en) * | 2004-09-08 | 2006-03-13 | 엘지전자 주식회사 | Apparatus and method for generating thumbnail image in mobile terminal |
JP2006148615A (en) | 2004-11-22 | 2006-06-08 | Hitachi Ltd | Decoding device and program for making computer execute encoding method |
Non-Patent Citations (1)
Title |
---|
"H.264/AVC 비트스트림에서 효율적으로 축소 영상을 추출하는 방법"(유상준 외, 방송공학회 논문지, 2008.3.) |
Also Published As
Publication number | Publication date |
---|---|
KR20100000420A (en) | 2010-01-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11968373B2 (en) | Video encoding apparatus, video decoding apparatus, and video decoding method for performing intra-prediction based on directionality of neighboring block | |
US20230396768A1 (en) | Coding unit quantization parameters in video coding | |
US8165195B2 (en) | Method of and apparatus for video intraprediction encoding/decoding | |
KR101441903B1 (en) | Reference Frame Creating Method and Apparatus and Video Encoding/Decoding Method and Apparatus Using Same | |
US20110176607A1 (en) | Image encoding/decoding method and apparatus using block transformation | |
WO2017129023A1 (en) | Decoding method, encoding method, decoding apparatus, and encoding apparatus | |
US20130266232A1 (en) | Encoding device and encoding method, and decoding device and decoding method | |
US8666182B2 (en) | Method for generating thumbnail image in image frame of the H.264 standard | |
KR20170125154A (en) | Method and apparatus of video decoder using curve intra prediction | |
KR101531186B1 (en) | Video Encoding/Decoding Method and Apparatus by Using Selective Encoding | |
KR101035455B1 (en) | Apparatus for making thumbnail-image based on H.264 | |
KR20100009718A (en) | Video encoding/decoding apparatus and mehod using direction of prediction | |
KR101524664B1 (en) | Reference Frame Creating Method and Apparatus and Video Encoding/Decoding Method and Apparatus Using Same | |
KR101004562B1 (en) | Method for making thumb-nail image of image frame based on H.264 | |
KR101052390B1 (en) | How to generate thumbnail images from H.264 standard video frames | |
KR101700411B1 (en) | Method and apparatus for image interpolation having quarter pixel accuracy using intra prediction modes | |
KR101533435B1 (en) | Reference Frame Creating Method and Apparatus and Video Encoding/Decoding Method and Apparatus Using Same | |
KR101533441B1 (en) | Reference Frame Creating Method and Apparatus and Video Encoding/Decoding Method and Apparatus Using Same | |
KR101479525B1 (en) | Reference Frame Creating Method and Apparatus and Video Encoding/Decoding Method and Apparatus Using Same | |
KR101005394B1 (en) | Method for producting intra prediction block in H.264/AVC encoder | |
Park | Design and Analysis of Low Complexity Video Coding for Realtime Communications | |
KR20110106164A (en) | The method for making thumbnail images of 8*8 intra-prediction mode from h.264/avc coded bit stream | |
KR20170012524A (en) | Method and apparatus for image interpolation having quarter pixel accuracy using intra prediction modes |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
AMND | Amendment | ||
E601 | Decision to refuse application | ||
J201 | Request for trial against refusal decision | ||
AMND | Amendment | ||
E902 | Notification of reason for refusal | ||
B701 | Decision to grant | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20140422 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20150417 Year of fee payment: 5 |
|
LAPS | Lapse due to unpaid annual fee |