KR100751401B1 - 부호화기의 블록 크기 변환을 위한 변환기 및 그 변환방법 - Google Patents

Abstract

본 발명은 부호화기의 블록 크기 변환을 위한 변환기 및 그 변환방법에 관한 것으로, 특히 입력 영상의 특성에 기반하여 변환기의 변환 블록 크기를 적응적으로 선택함으로써 부호화기를 효율적으로 동작시킬 수 있는 것으로, 부호화기의 블록 크기 변환을 위한 변환기에 있어서, 상기 부호화기의 입력 영상 데이터 또는 변환기의 입력 데이터를 분석하여 주관적 화질 저하 발생 여부를 판단하는 영상분석부와, 손실 압축을 수행했을 때 상기 화질 저하가 예상되는 영역을 예측하는 영역예측부와, 상기 영역예측부의 결과를 이용하여 1차적으로 상기 영역을 포함하는 블록 크기 변환방법을 선택하는 제1선택부와, 상기 제1선택부에서 선택된 변환방법에 해당하는 변환부를 동작하는 변환그룹과, 상기 변환그룹의 결과에 의하여 최종 변환 방법을 선택하는 제2선택부를 포함하여 구성되어, 다수 블록 크기 변환 방법을 지원하는 동영상 압축 알고리즘에서 변환 방법을 효율적으로 선택할 수 있다. 또한, 발명은 종래의 모든 변환 방법을 수행한 후에 변환 방법을 선택하는 방식에 비해 수행 속도가 개선되며, 변환기의 입력 데이터를 이용하여 변환 방법을 선택하는 방식에 비해 그 선택 결과에 대한 신뢰도가 높은 것이다.

부호화기, 변환기, 블록크기변환, 동영상, 영역.

Description

부호화기의 블록 크기 변환을 위한 변환기 및 그 변환방법{Method for variable block size transform for transformer of encoder and the transformer using the same}

도 1은 종래의 부호화기의 일례를 나타내는 블럭도

도 2는 종래의 부호화기의 변환기의 일례를 나타내는 블럭도

도 3은 종래의 부호화기의 변환기의 다른예를 나타내는 블럭도

도 4는 종래의 부호화기의 변환기의 변환그룹을 나타내는 블럭도

도 5는 본 발명의 부호화기의 변환기의 일 실시예를 나타내는 블럭도

도 6a 내지 도 6d는 본 발명의 변환기의 블록 변환 방법의 예를 나타내는 개략도

도 7a 내지 도 7c는 본 발명의 변환기의 블록 변환의 제1예를 나타내는 개략도

도 8a 내지 도 8c는 본 발명의 변환기의 블록 변환의 제2예를 나타내는 개략도

도 9a 및 도 9b는 본 발명의 변환기의 블록 변환의 제3예를 나타내는 개략도

<도면의 주요 부분에 대한 간단한 설명>

100 : 영상분석부 200 : 영역예측부

300 : 제1선택부 400 : 변환그룹

500 : 제2선택부 600 : 출력부

본 발명은 부호화기의 블록 크기 변환을 위한 변환기 및 그 변환방법에 관한 것으로, 특히 입력 영상의 특성에 기반하여 변환기의 변환 블록 크기를 적응적으로 선택함으로써 부호화기를 효율적으로 동작시킬 수 있는 부호화기의 블록 크기 변환을 위한 변환기 및 그 변환방법에 관한 것이다.

도 1은 종래의 일반적인 동영상 부호화기를 나타내는 블록도로서, 이러한 종래의 동영상 부호화기의 작동을 설명하면 다음과 같다.

상기 부호화기의 입력은 영상의 16×16 화소 매크로 블록(Macroblock)이다. 변환기(10)는 부호화기의 입력 데이터에 대해 DCT(discrete cosine transform) 기반의 변환(transform)을 수행하여 공간적 상관성을 제거하고, 양자화부(20)는 상기 변환 결과값을 표현할 수 있는 수 개의 값 중 하나로 표현하여 데이터를 압축한다.

또한, 인트라 추정부(Intra predictor: 30)는 현재 프레임에서 이미 압축된 영상 데이터와 현재 입력 데이터를 이용하여 추정방법을 선택하고 입력 매크로 블록의 추정데이터를 구한다.

상기 움직임 보상부(40)와 움직임 추정부(50)는 프레임 메모리(70)에 저장된 이전 영상 데이터와 입력 데이터를 이용하여 움직임 벡터(Motion Vector)를 구하고 현재 매크로 블록을 추정한다.

한편, 역양자화부 및 역변환부(60)는 양자화된 영상 데이터를 역양자화 그리고 IDCT 기반의 역변환(inverse transform)을 수행하고, 프레임 메모리(70)는 상기 역변환한 결과와 추정 결과의 합을 저장한다.

간혹 압축 표준에 따라 필터(80)로 처리 한 복원 영상 데이터 결과를 프레임 메모리(70)에 적용하기도 한다.

이러한 부호화기에서 변환기(10)의 입력 데이터는, 입력 프레임의 영상 데이터, 입력 프레임의 영상 데이터와 인트라 추정 데이터의 오차, 또는 입력 프레임의 영상 데이터와 움직임 추정 데이터의 오차 등이 될 수 있다.

상기 변환기(10)는 이 입력 데이터를 여러 가변 블록 크기 변환 중 효율적인 방법을 선택하여 변환을 수행한다. 실시 예로, 8×8, 8×4, 4×8, 4×4 등의 크기로 변환을 수행할 수 있다.

이처럼 부호화기에서 변환기(10)의 입력 데이터와 각 가변 블록 변환에 적용하는 변환 메트릭스(transform matrix) 종류는 압축 표준에서 제시한 규칙을 지켜야 하나, 변환 블록 크기는 규정된 방법 내에서 자유로이 선택할 수 있다.

도 2는 보편적으로 구상할 수 있는 간단한 가변 변환 블록 선택 방법의 블록도를 나타내는 것으로, 총 4가지의 블록 변환 방법을 사용하는 예를 도시하고 있다.

이 경우, 상기 변환기(10)의 입력 데이터는 압축 표준에서 명시하는 모든 블록 변환 방법이 수록된 변환그룹(11)에서 데이터를 변환하고, 변환방법선택부(12) 는 이에 따르는 코스트(cost) 값을 구한 후, 변환결과출력부(13)에서 상기 변환 방법 중 최적의 방법을 선택한다.

그러나 이 경우 모든 가변 블록 변환을 수행하므로 부호화기의 부가 계산 량이 급증하는 문제점이 있다.

도 2에서 도시하는 변환방법 선택의 문제점을 해결하기 위해 구상할 수 있는 가변 변환 블록 선택 방법이 도 3에 도시되어 있다.

이는 변환을 수행하기 전에 입력 데이터를 이용하여, 변환방법선택부(12)에서 각 블록 크기 변환 방법의 코스트(cost)를 예측하고, 변환 방법을 선택한다.이 결과는 상기 변환방법의 수행을 조정하는 변환그룹(transform group: 11)의 제어신호이고, 변환그룹의 변환 결과는 변환결과출력부(13)를 통해 전송된다.

도 4를 참고하여 상기 변환그룹(11)을 보다 자세히 설명하면, 각 블록 변환 방법(14, 15, 16)에 변환기 입력 데이터가 입력되고, 변환방법선택부(12)의 신호가 각 변환방법의 선택신호로 입력되어 선택한 변환방법만을 수행한다. 그리고 상기 선택결과를 출력하면 선택한 변환 결과가 최종 결과값이 되는 것이다.

그러나 이 경우 이용하는 코스트 값은 실제 값이 아닌 예측한 값이므로 최종 결정된 블록 변환 방법에 대한 신뢰도가 떨어진다는 문제점이 있다.

한편, 여러 연구결과에 따르면 상기와 같은 가변 블록 크기 변환 방법을 사용하는 경우, 영상 데이터 압축 효과는 미미하나 주관적 화질(subjective quality)을 높이는 효과가 크다.

그러나 상기 부호화기 입력 데이터와 추정 데이터 간의 오차 데이터는 이미 영상의 공간적 혹은 시간적 상관성이 제거되면서 영상의 특징도 많은 부분이 제거된 상태이므로, 오차 데이터를 이용하여 선택한 가변 블록크기는 화질 향상에 대한 기대가 떨어지는 문제점이 있었다.

본 발명은 상기한 바와 같은 문제점을 해결하기 위한 것으로, 다양한 가변 블록 크기 변환을 지원하는 영상 데이터 부호화기에서 각 매크로 블록을 선택하거나, 블록에서 변환방법을 선택함에 있어서, 변환기의 입력 데이터뿐 아니라 주관적 화질을 결정하는 부호화기의 영상 데이터의 특징을 이용하여 블록 변환 방법을 구성하는 부호화기의 블록 크기 변환을 위한 변환기 및 그 변환방법을 제공하고자 한다.

상기와 같은 본 발명의 목적을 달성하기 위하여, 부호화기의 블록 크기 변환을 위한 변환기에 있어서, 상기 부호화기의 입력 영상 데이터 또는 변환기의 입력 데이터를 분석하여 주관적 화질 저하 발생 여부를 판단하는 영상분석부와, 손실 압축을 수행했을 때 상기 화질 저하가 예상되는 영역을 예측하는 영역예측부와, 상기 영역예측부의 결과를 이용하여 1차적으로 상기 영역을 포함하는 블록 크기 변환방법을 선택하는 제1선택부와, 상기 제1선택부에서 선택된 변환방법에 해당하는 변환부를 동작하는 변환그룹과, 상기 변환그룹의 결과에 의하여 최종 변환 방법을 선택하는 제2선택부를 포함하여 구성함으로써 달성된다.

상기 영상분석부에서, 주관적 화질 저하 발생 여부의 판단은 다양한 방식이 있을 수 있으며, 상기 영상 데이터의 에지(edge) 성분을 분석하여 판단할 수 있다.

또한, 상기 변환기 입력 데이터를 분석하여 에지(edge)의 잔재가 있는 경우, 또는 RD(rate-distortion) 차원에서 양자화된 변환계수가 0이 아닌 값을 가질 경우를 주관적 화질 저하로 판단할 수 있다.

상기 영상 데이터 화소값의 범위를 판단함으로써 화질 저하를 판단할 수 있으며, 특히, 영상 데이터 화소값의 최대값과 최소값의 차이가 16보다 큰 경우에 주관적 화질 저하 발생으로 판단할 수 있다.

상기 영상분석부는, 상기 변환기 입력값의 범위를 판단함으로써 화질 저하를 판단할 수 있으며, 상기 변환기 입력값의 변환 후 변수 값의 크기 차이가 2QP(quantization parameter)보다 큰 경우 주관적 화질 저하 발생으로 판단할 수 있다.

상기 영상분석부는 상기 변환기 입력값의 최대 절대치를 판단할 수 있으며, 특히, 상기 변환기 입력값의 최대 절대치가 1/2×QP(quantization parameter)보다 큰 경우 주관적 화질 저하 발생으로 판단할 수 있다.

한편, 상기 영역예측부는, 1/2로 축소한 상기 부호화기의 입력 영상에서 에지 검출필터를 이용하여 에지를 검출하고, 이 에지가 존재하는 블록 내의 영역을 추출하도록 하며, 상기 에지 검출필터는 계산량이 적은 Prewitt 에지 등의 검출필터를 이용하는 것이 바람직하다.

본 발명의 다른 관점으로서, 본 발명은, 부호화기의 블록 크기 변환을 수행하는 방법에 있어서, 상기 부호화기의 입력 영상 데이터 또는 변환기의 입력 데이 터의 에지성분을 분석하여 주관적 화질 저하 발생 여부를 판단하는 제 1단계와, 상기 주관적 화질 저하가 발생한 경우, 손실 압축을 수행했을 때 상기 화질 저하가 예상되는 영역을 예측하는 제 2단계와, 상기 예상 영역을 포함하는 다수의 블록 크기 변환방법을 선택하는 제 3단계와, 상기 선택된 변환방법에 해당하는 변환부를 동작하는 제 4단계와, 상기 동작 결과에 의하여 최종 변환 방법을 선택하는 제 5단계를 포함하여 구성함으로써 달성된다.

상기 제 3단계의 다수의 블록 크기 변환방법은, 주관적 화질 저하가 예상되는 영역을 포함하는, 수직 이등분 블록, 수평 이등분 블록, 수직 수평 사등분 블록 중 어느 하나 이상을 사용한다.

한편, 상기 제 1단계에서, 상기 주관적 화질 저하가 발생하지 않은 경우에는, 가장 큰 크기의 블록 크기 변환방법을 선택하여 변환부를 동작시키는 제 6단계가 구성된다.

상기 제 5단계의 최종 변환 방법 선택은, 압축 효율과 화질을 고려하여 최종 블록 크기 변환방법을 선택하게 되는 것이며, 보통 한 가지의 최종 블록 크기 변환방법을 선택하게 된다.

이하, 첨부된 도면을 참고하여 본 발명에 의한 실시예를 상세히 설명하면 다음과 같다.

본 발명은, 도 5에서 도시하는 바와 같이, 부호화기의 블록 크기 변환을 위한 변환기에 있어서, 상기 부호화기의 입력 영상 데이터 또는 변환기의 입력 데이터의 에지(edge) 성분을 분석하여 주관적 화질 저하 발생 여부를 판단하는 영상분 석부(100)와, 상기 화질 저하가 예상되는 영역을 예측하는 영역예측부(200)와, 상기 영역예측부의 결과를 이용하여 상기 영역을 포함하는 블록 크기 변환방법을 선택하는 제1선택부(300)와, 상기 제1선택부(300)에서 선택된 변환방법에 해당하는 변환부를 동작하는 변환그룹(400)과, 상기 변환그룹(400)의 결과에 의하여 최종 변환 방법을 선택하는 제2선택부(500)를 포함하여 구성된다.

상기 제2선택부(500)에는 상기 선택된 최종 변환 방법을 출력하는 출력부(600)가 별도로 구성될 수도 있다.

통상, 데이터 변환(transform)에서 처리하는 블록 크기는 변환 후 각 계수(coefficient)가 갖는 값의 범위(range)와 복원 영상의 특성을 결정한다는 점에서 매우 중요하다.

상기 변화 과정에서 사용하는 블록의 크기가 큰 경우, 에너지 압축 측면에서 효율이 높아 각 계수가 가지는 값의 범위가 넓어지고, 입력 데이터는 적은 개수의 큰 값을 갖는 계수로 표현된다. 또한 양자화한 후 다시 복원했을 때 영상의 세부 영역도 잘 보존된다.

상기와 같은 장점이 있는 반면 작은 블록 크기를 사용하는 경우에 비하여, 링잉 효과(ringing artifact) 또는 모기 잡음(mosquito noise)이라 불리는 현상으로 인한 화질저하가 뚜렷하게 나타나는 단점이 있다.

그러나 상기와 같은 단점 때문에 부호화기에서 모든 가변 블록 변환을 수행한 후 최종 변환 방법을 결정한다면, 화질 향상에 비해 추가로 늘어나는 계산량이 과다하게 증가하는 문제점이 발생한다.

또한 압축, 복원한 영상과 원 영상 사이의 오차에 근거하는 객관적 화질(objective quality)과 달리 주관적 화질(subjective quality)은 영상의 선명도(sharpness), 명암비(contrast) 등 영상 자체에 더 큰 영향을 받는다.

따라서, 본 발명은 복수의 블록 크기 변환 매트릭스(block size transform matrix)를 사용하는 동영상 부호화기에 있어서, 각 매크로 블록 혹은 블록의 부호화기의 입력 영상 데이터 또는 변환기의 입력 데이터를 이용한 변환 결과를 참조하여 최종 변환 방법을 결정할 수 있다.

본 발명의 영상분석부(100)는 현재 매크로 블록 혹은 블록 데이터를 기초로 하여 노이즈(ringing artifact)의 여부를 예측하는 단계이다. 여기에서 노이즈(ringing artifact)가 작은 경우로 예측되는 경우는 가장 큰 크기의 블록 처리 방법을 선택하고, 본 발명의 영역예측부(200), 제1선택부(300), 제2선택부(500) 등의 단계는 수행하지 않을 수 있다.

그 외의 경우는 하기의 블록 크기 선택 단계를 수행함으로써, 전체 변환기의 성능을 저하시키지 않으면서 부호화기의 속도를 향상시킨다는 점에서 중요하다.

이를 위해 본 발명은 다음 3가지 조건에 모두 해당하는 경우를 노이즈(ringing artifact)가 존재할 수 있는 매크로 블록 혹은 블록으로 판단한다.

즉, 첫째, 부호화기의 입력 영상 데이터에 강한 에지(edge)가 존재할 가능성이 있는 경우와, 둘째, 변환기의 입력 데이터를 분석하여 에지(edge)의 잔재가 있을 수 있는 경우, 셋째, RD(rate-distortion) 차원에서 양자화된 변환계수가 0이 아닌 값을 가질 수 있는 경우이다.

상기 첫째의 경우는, 노이즈(ringing artifact)가 강한 에지 주변에서 심하게 나타나는 점을 기초로 하여 영상 데이터에 에지 성분의 유무를 분석한다.

또한, 둘째의 경우는, 변환기의 입력 데이터가 추정 데이터와 영상 데이터 간의 오차 데이터인 경우, 오차 데이터에 에지 성분의 잔재가 남아 있는지 여부를 판단하는 것이다.

예를 들어 수평선을 담고 있는 풍경 동영상을 압축한다고 한다면, 영상 데이터는 하늘과 바다의 경계선의 에지 성분을 가지고 있다. 이 경우 옆의 블록 혹은 움직임 추정에 의한 데이터로 이 에지는 추정될 수 있으므로, 상기 오차 데이터는 에지 정보가 제거된 데이터이다.

그러나 동일한 수평선을 담은 동영상이라고 하더라도 이전 장의 영상 데이터와 현재 장의 영상 데이터의 밝기가 매우 다른 경우, 오차 데이터에 에지 정보가 남아 있을 수 있으며, 이 경우 노이즈(ringing artifact)가 발생한다.

상기, 세번째의 마지막 조건은 변환 속도를 개선하기 위한 방법이다. 즉, 동영상 부호화에서 변환기의 입력 데이터의 값이 QP(quantization parameter) 값에 대비하여 매우 작은 경우, 양자화한 변환계수는 변환 방법에 관계없이 0에 가까운 값을 갖는다.

또한 이 경우 비트 스트림(bitstream)은 변환 방법과 변환 계수의 정보 대신 양자화한 변환계수가 모두 0임을 나타내는 플래그(flag) 정보만을 저장한다. 즉, 이는 변환 방법에 사용하는 블록 크기는 의미를 갖지 않는 것을 의미하므로 RD(rate-distortion) 차원에서 변환계수가 QP에 대비하여 작은 값을 갖는 경우는 가장 큰 블록 크기 변환 방법을 선택하고 이후의 변환 방법을 선택하기 위한 단계는 생략한다.

이를 위해 데이터 측정부의 실시 예에서는 영상 데이터 값의 range R _x 및 변환기 입력값의 range R _y 및 변환기 입력값의 최대 절대치 max_ay을 이용한다. 다음 수학식 1에서 x _ij 는 영상 데이터 화소값을, y _ij 는 변환기의 입력 데이터값을 각각 의미하고 i와 j는 각 데이터의 매크로 블록 혹은 블록 내 2차원 위치정보를 의미한다.

R _x = maxx _i,j - minx _i,j , -T ₁ ≤ i,j ＜ N + T ₁

R _x : 영상 데이터 값의 범위,

i,j : 블록 내의 2차원 위치 정보

x _i,j : 영상 데이터 화소값

N : 블록 영역의 크기

T ₁ : 고려할 주변 화소의 수

상기 영상 데이터의 특징을 알기 위해 N×N 크기의 블록 영역과 그 주변 T₁내의 화소가 갖는 영상 데이터 값의 범위를 이용한다.

영상에서 에지(edge)는 인접하는 두 영역간의 값의 차에 의한 것이므로, 두 영역의 값의 차가 클수록 두 영역 사이의 경계부분은 시각적으로 더 뚜렷하고 반면 대부분의 데이터의 값이 비슷한 경우에는 평탄(flat)한 영역으로 인지된다.

이를 근거로 하여 범위값 R _x (수학식 1)로 영상 데이터의 특징을 대략적으로 알 수 있다. 즉 값의 범위가 넓을수록 뚜렷한 에지가 존재하거나 혹은 직물, 암석 영상, 등과 같은 텍스처(texture) 영역으로 예상할 수 있다

한편 변환기 입력 데이터가 인트라(intra) 추정 혹은 움직임 추정에 의한 오차 데이터라면, 하기 수학식 2와 같이, 입력값의 최대 절대치인 max_ay 로 추정에 이용한 데이터와 영상 데이터의 유사성을 가늠할 수 있다.

max_ay = max abs(y _i,j ), 0 ≤ i,j ＜ N

이는 앞에서 언급한 바와 같이 두 데이터가 유사할수록 오차 데이터가 낮고, 추정 과정에서 제거되지 않은 잔재 에지 양도 오차 데이터와 관련이 깊다. 따라서 max_ay값이 클수록 에지 성분이 잔재할 수 있는 가능성이 높다.

변환기는 입력 데이터를 주파수 영역으로 이동하여 표현하는 단계이다. 주파수 영역으로 변환한 각 변수값은 변환기의 입력 데이터의 값의 변화하는 정도를 나타낸다.

연속하는 데이터 값의 변화가 자주 뚜렷하게 일어날수록 고주파 성분이 큰 값을 갖고, 평탄한 데이터로 주변의 데이터와 비슷한 값을 가질수록 저주파 성분이 나타난다.

R _y = maxy _i,j - miny _i,j , 0 ≤ i,j ＜ N

이 점에 근거하여 변환방법을 수행하지 않고 입력값 y _i,j 의 범위(range) R _y 에서 변환 후 변수 값의 크기 대소를 예측한다. R _y 가 작은 값이라면 블록 내 데이터의 변화율이 작다는 것을 뜻하므로, 변환 후 입력 데이터의 평균값인 DC 성분만이 있고 AC 성분의 계수값은 양자화 과정에서 0로 치환될 가능성이 매우 높은 작은 값을 갖는다.

각 조건에 대한 본 발명의 실시예는 상기 수학식 1 내지 3 중, Rx ＞ 16, max_ay ＞ QP/2, R _y ＞ 2QP와 같은 영상 데이터에는 실제값을, 변환기의 입력 데이터와 관련된 변수의 조건은 QP 값을 이용한다.

다음으로 노이즈(ringing artifact)가 일어나는 블록 내 영역을 예측하는 화질 저하 영역예측부(200)를 설명한다.

본 발명은 에지가 있는 영상의 영역에서 노이즈(ringing artifact)가 발생하여 화질이 저하하는 것으로 가정한다.

이에 근거하여 상기 영역예측부(200)는 1/2로 축소한 부호화기의 입력 영상에서 간단한 에지 검출 필터로 에지를 찾고 특히 에지가 존재하는 블록 내 영역을 추출한다.

또한, 그 외의 에지 검색 방법이나 혹은 속도 개선, 영상 내 잡음 제거 등의 목적으로 입력 영상을 변환하여 이용하는 방법도 가능하다.

상기 에지 검출 필터는 영상에서 인접하는 화소 간의 밝기 혹은 기타 정보의 차가 상대적으로 드러나는 부분을 검출하는 방법을 의미한다.

본 실시예에서는 하기의 수학식 4에서 설명하는 바와 같이 부호화기의 입력 X(i, j)의 값을 샘플링(sampling) 하여 1/2로 축소한 영상 XS(i, j)를 이용한다. 이는 블록 내 모든 화소에 대해 필터링(filtering) 하는 에지 추출 방법의 계산량을 줄이면서 잡음에 의한 작은 변화의 일부를 제거하기 위함이다.

X _s(i,j) = X(2i, 2j), 0 ≤ i,j ＜ N _/2

이와 같이, 1/2로 축소한 영상에 에지 검출 필터를 이용하여 에지 영상을 획득한다. 본 실시예는 에지 검출 필터 중 간단히 구현할 수 있는 Prewitt 에지 필터(수학식 5)의 1차원으로 변형된 형태를 이용한다.

상기 수학식 6에서 E _x , E _y 는 Prewitt 에지 필터의 1차원 모델과 각각 입력 영상 X _s 에 적용했을 때 결과 dX, dY를 설명하고 있다.

상기 수학식 7은 수학식 6에서 구한 dX, dY의 절대치 합이 일정한 값(TH)을 넘는 화소는 에지 상의 화소로 추출하는 방식을 설명하고 있다. 이 때 적용하는 값(TH)는 QP에 비례하여 정할 수도 있으며 시각적인 특성을 고려한 고정된 값으로 결정하는 것 역시 가능하다.

한편, 상기 제1선택부(300)는 화질 저하를 예측하는 영역예측부(200)에서 추출한 X _edge 영상을 분석하여 블록의 특성에 적합한 변환 방법을 추출한다. 다시 정리하면 동영상 압축에서 지원하는 다양한 블록 형태의 변환 방법 중 에지 영역과 평탄한 영역을 분할할 수 있는 블록 크기 변환 방법을 선택하는 것이다.

도 6a 내지 도 6d에서는 다수의 블록 크기 변환 방법의 예를 나타내고 있고, 도 7a 내지 도 9b에서는 상기 다수의 블록 크기 변환 방법을 실제 이미지 데이터에 적용한 예를 나타내고 있다.

상기 도 6a는 전체 크기 블록(301)을, 도 6b는 수평 이등분 블록(302)을, 도 6c는 수직 이등분 블록(303), 그리고 도 6d는 수직 수평 사등분 블록(304)을 나타내고 있다.

만약 어느 압축 표준이 상기 도 6a 내지 도 6d와 같이 총 4가지 경우로 분할된 블록에 대해 각각 변환이 가능한 경우, 변환방법을 선택하기 위해 X _edge 의 해당블록을 수평 그리고 수직으로 2등분하는 가상의 선을 긋는다.

그리고 상기 분리된 1/2×1/2 블록에 대해 에지의 여부를 검사한다. 도 7a 내지 도 7c는 총 3개의 블록이 있고, 도 8a 내지 도 8c에는 수직으로 에지가 있으며 총 2개의 블록에 에지가 존재함을 도시하고 있다.

또한, 도 9a 및 도 9b에는 단 하나의 블록에만 에지가 존재한다. 그러면, 각 경우에 대해서 동영상 압축에서 지원하는 총 4가지 변환 블록 크기 중 에지 영역과 그 외의 영역을 분할 할 수 있는 방법을 선택할 수 있다.

즉, 도 7a와 같은 영상은, 도 7b와 같이, 도 6d의 수직 수평 사등분 블록(304)을 적용하거나, 도 7c와 같이, 도 6a의 전체 블록(301) 변환 방법을 선택할 수 있다.

또한, 도 8a와 같은 영상은 일측 수직방향으로 에지가 있으므로, 도 8b와 같이, 도 6c의 수직 이등분 블록(303)을 적용하거나, 도 8c와 같이, 도 6d의 수직 수평 사등분 블록(304) 변환 방법을 적용할 수 있다.

마지막으로, 도 9a와 같은 영상은 일측 모서리에만 에지가 있으므로, 도 9b와 같이, 도 6d의 수직 수평 사등분 블록(304)을 적용하여 블록 변환 방법을 수행하는 것이 바람직하다.

이때 각 가상 블록 내의 에지의 존재 여부는 X _edge 영상의 에지로 결정된 화소의 개수로 결정할 수도 있으며 혹은 그 외 다른 방법으로 적용 가능하다. 또는 더 확장하여 각 블록 내 에지의 방향 등의 정보도 사용이 가능하다.

상기 도 7a 내지 도 9b는 각 경우에 선택된 변환 방법을 보인다. 총 4가지 가능한 블록 변환 방법 가운데 선택하는 기준이나 규칙은 부호기의 성능 등으로 조 정이 가능하다.

이와 같이 제1선택부(300)에서 선택된 블록 변환 방법에 대해 변환그룹(400)에서 변환을 수행한다. 상기 변환그룹(400)은 상기와 같은 다수의 변환부(도 4 참고)가 포함된다. 이 경우 제1선택부(300)의 구현에 따라 최대 모든 변환 방법에서 단 하나의 변환 만이 수행될 수 있을 것이다.

만약 변환그룹(400)에서 둘 이상의 변환을 수행했다면 제2선택부(500)는 그 중 하나의 변환 방법을 선택한다. 상기 제2선택부(500)의 선택 기준은 각 변환한 방법 결과를 근거로 한다. 이 때 선택 기준은 동영상 압축 차원의 효율면이나 혹은 화질적 측면을 고려한 기준 혹은 두 기준을 모두 적용할 수 있다.

본 발명의 실시예에서는 상기 제2선택부(500)의 선택기준으로서 압축 차원의 효율면을 먼저 접근한다. 즉 각각의 변환 방법에 대해 양자화 적용 시 더 작은 개수의 0이 아닌 계수(coefficient)를 생성하는 변환 방법을 선택한다.

만약 동일한 개수의 계수(coefficient)을 생성하는 변환 방법이 2개 이상인 경우에는 가장 작은 크기의 변환 방법을 선택해 주관적 화질을 유지하도록 한다.

이와 같이 최종적으로 선택한 변환 방법의 결과를 마지막 변환결과 출력부가 내보냄으로써 블록 변환 방법 선택이 마무리되는 것이다.

상기 실시예는 본 발명의 기술적 사상을 구체적으로 설명하기 위한 일례로서, 본 발명은 상기 실시예에 한정되지 않으며, 다양한 형태의 변형이 가능하고, 이러한 기술적 사상의 여러 실시 형태는 모두 본 발명의 보호범위에 속함은 당연하다.

이상과 같은 본 발명은, 다수 블록 크기 변환 방법을 지원하는 동영상 압축 알고리즘에서 변환 방법을 효율적으로 선택할 수 있다. 또한, 발명은 종래의 모든 변환 방법을 수행한 후에 변환 방법을 선택하는 방식에 비해 수행 속도가 개선되며, 변환기의 입력 데이터를 이용하여 변환 방법을 선택하는 방식에 비해 그 선택 결과에 대한 신뢰도가 높다.

한편, 본 발명의 변환 방법에 의하면 변환 속도가 개선되면서 압축 복원된 동영상의 향상된 주관적 화질을 기대할 수 있다.

특히, 변환기의 입력 데이터에 담겨져 있는 오차 데이터의 양이 미미한 경우에는 변환 방법 선택을 하지 않고, 복잡한 입력 데이터의 경우 변환 방법 선택을 위한 단계를 수행함으로써 입력 데이터의 특성에 맞추어 불필요한 연산을 줄이는 효과가 있는 것이다.

Claims (17)

1. 부호화기의 블록 크기 변환을 위한 변환기에 있어서,

   상기 부호화기의 입력 영상 데이터 또는 변환기의 입력 데이터를 분석하여 주관적 화질 저하 발생 여부를 판단하는 영상분석부와;

   상기 영상분석부의 판단 결과, 상기 주관적 화질 저하가 발생하는 경우, 손실 압축을 수행했을 때 상기 화질 저하가 예상되는 영역을 예측하는 영역예측부와;

   상기 영역예측부의 결과를 이용하여 상기 영역을 포함하는 블록 크기 변환방법을 선택하는 제1선택부와;

   상기 제1선택부에서 선택된 변환방법에 해당하는 변환부를 동작하는 변환그룹과;

   상기 변환그룹의 결과에 의하여 최종 변환 방법을 선택하는 제2선택부를 포함하여 구성되는 것을 특징으로 하는 부호화기의 블록 크기 변환을 위한 변환기.
2. 제 1항에 있어서, 상기 영상분석부는, 상기 영상 데이터의 에지(edge) 성분을 분석하여 주관적 화질 저하 발생 여부를 판단하는 것을 특징으로 하는 부호화기의 블록 크기 변환을 위한 변환기.
3. 제 1항에 있어서, 상기 영상분석부는, 상기 변환기 입력 데이터를 분석하여 에지(edge)의 잔재가 있는 경우를 주관적 화질 저하 발생으로 판단하는 것을 특징 으로 하는 부호화기의 블록 크기 변환을 위한 변환기.
4. 제 1항에 있어서, 상기 영상분석부는, RD(rate-distortion) 차원에서 양자화된 변환계수가 0이 아닌 경우 주관적 화질 저하 발생으로 판단하는 것을 특징으로 하는 부호화기의 블록 크기 변환을 위한 변환기.
5. 제 1항에 있어서, 상기 영상분석부는, 상기 영상 데이터 화소값의 범위를 판단하여 주관적 화질 저하 발생 여부를 판단하는 것을 특징으로 하는 부호화기의 블록 크기 변환을 위한 변환기.
6. 제 5항에 있어서, 상기 영상분석부는, 상기 영상 데이터 화소값의 최대값과 최소값의 차이가 16보다 큰 경우 주관적 화질 저하 발생으로 판단하는 것을 특징으로 하는 부호화기의 블록 크기 변환을 위한 변환기.
7. 제 1항에 있어서, 상기 영상분석부는, 상기 변환기 입력값의 범위를 판단하여 주관적 화질 저하 발생 여부를 판단하는 것을 특징으로 하는 부호화기의 블록 크기 변환을 위한 변환기.
8. 제 7항에 있어서, 상기 영상분석부는, 상기 변환기 입력 변수 값의 범위가 2QP(quantization parameter)보다 큰 경우 주관적 화질 저하 발생으로 판단하는 것을 특징으로 하는 부호화기의 블록 크기 변환을 위한 변환기.
9. 제 1항에 있어서, 상기 영상분석부는 상기 변환기 입력값의 최대 절대치를 판단하여 주관적 화질 저하 발생 여부를 판단하는 것을 특징으로 하는 부호화기의 블록 크기 변환을 위한 변환기.
10. 제 9항에 있어서, 상기 영상분석부는 상기 변환기 입력값의 최대 절대치가 QP/2보다 큰 경우 주관적 화질 저하 발생으로 판단하는 것을 특징으로 하는 부호화기의 블록 크기 변환을 위한 변환기.
11. 제 1항에 있어서, 상기 영역예측부는, 1/2로 축소한 상기 부호화기의 입력 영상에서 에지 검출필터를 이용하여 에지를 검출하고, 이 에지가 존재하는 블록 내의 영역을 추출하는 것을 특징으로 하는 부호화기의 블록 크기 변환을 위한 변환기.
12. 제 11항에 있어서, 상기 에지 검출필터는 Prewitt 에지 검출필터를 이용하는 것을 특징으로 하는 부호화기의 블록 크기 변환을 위한 변환기.
13. 블록 크기 변환을 수행하는 부호화기에 있어서,

    상기 부호화기의 입력 영상 데이터 또는 변환기의 입력 데이터의 에지성분을 분석하여 주관적 화질 저하 발생 여부를 판단하는 영상분석부와;

    상기 주관적 화질 저하가 발생한 경우, 상기 화질 저하 영역을 예측하는 영역예측부와;

    상기 영역예측부의 결과를 이용하여 에지 영역과 평탄한 영역을 분할할 수 있는 블록 크기 변환방법을 선택하는 제1선택부와;

    상기 제1선택부에서 선택된 변환방법에 해당하는 변환부를 동작하는 변환그룹과;

    상기 변환그룹의 결과에 의하여 최종 변환 방법을 선택하는 제2선택부를 포함하여 구성되는 것을 특징으로 하는 블록 크기 변환을 위한 부호화기.
14. 부호화기의 블록 크기 변환을 수행하는 방법에 있어서,

    상기 부호화기의 입력 영상 데이터 또는 변환기의 입력 데이터의 에지성분을 분석하여 주관적 화질 저하 발생 여부를 판단하는 제 1단계와;

    상기 주관적 화질 저하가 발생한 경우, 손실 압축을 수행했을 때 상기 화질 저하가 예상되는 영역을 예측하는 제 2단계와;

    상기 예상 영역을 포함하는 다수의 블록 크기 변환방법을 선택하는 제 3단계와;

    상기 선택된 변환방법에 해당하는 변환부를 동작하는 제 4단계와;

    상기 동작 결과에 의하여 최종 변환 방법을 선택하는 제 5단계를 포함하여 구성되는 것을 특징으로 하는 블록 크기 변환방법.
15. 제 14항에 있어서, 상기 제 3단계의 다수의 블록 크기 변환방법은, 수직 이등분 블록, 수평 이등분 블록, 수직 수평 사등분 블록 중 어느 하나 이상인 것을 특징으로 하는 블록 크기 변환방법.
16. 제 14항에 있어서, 상기 제 1단계에서, 상기 주관적 화질 저하가 발생하지 않은 경우에는, 가장 큰 크기의 블록 크기 변환방법을 선택하여 변환부를 동작시키는 제 6단계가 추가 구성되는 것을 특징으로 하는 블록 크기 변환방법.
17. 제 14항에 있어서, 상기 제 5단계의 최종 변환 방법 선택은, 압축 효율과 화질을 고려하여 선택하도록 하는 것을 특징으로 하는 블록 크기 변환방법.

Images