KR100355438B1 - 동영상 부호화기의 비트열 출력 버퍼 제어 방법 - Google Patents

Abstract

본 발명은 동영상 부호화기의 비트율 제어기에서 가상 버퍼 검사기를 사용하지 않고 비트열 출력 버퍼를 제어하는 방법을 제공하기 위한 것으로, 이러한 본 발명은 첫 번째 픽처의 부호화가 끝나기 전까지는 상기 비트열 출력 버퍼에서 비트열의 입력만 받고 출력을 하지 않도록 제어하고 두 번째 픽처를 부호화하는 시점에서부터 정확히 비트열을 출력하도록 상기 비트열 출력 버퍼를 제어한다. 그리고 한 GOP(몇개 픽처 묶음)에 할당되는 비트량(R)과 상기 비트열 출력 버퍼의 충만도를 이용하여, GOP마다 소모될 비트량(Gn)을 계산하도록 하여, 기존의 누적 계산으로 인한 오차를 제거하고, 장치 구성을 간략화하도록 한다.

Description

동영상 부호화기의 비트열 출력 버퍼 제어 방법{ Method for controling bit stream output buffer in MPEG2 video encoder }

본 발명은 동영상 부호화기의 비트열 출력 버퍼 제어에 관한 것으로, 특히 부호화기의 비트열 출력 버퍼의 충만도를 가상 버퍼 검사기의 충만도에 대응하도록 제어함으로써, 가상 버퍼 검사기를 사용하지 않고 부호화기의 비트열 출력 버퍼 충만도에 따라 직접 비트율을 제어하도록 한 동영상 부호화기의 비트열 출력 버퍼 제어 방법에 관한 것이다.

일반적으로 동영상 부호화기에서 압축된 비디오 비트열은 비디오 출력 버퍼에 저장되었다가 최종적으로 전송되는데, 이때 비디오 출력 버퍼의 출력 전송 속도보다 입력 전송 속도가 장시간 증가를 보이면, 비디오 출력 버퍼가 가득 차게 된다. 그래서 이 넘치는 현상을 방지하려면 동영상 부호화기의 양자화 과정을 보다 엄격하게 수행하여 비디오 출력 버퍼의 입력 전송 속도를 낮추어야 한다.

마찬가지로 비디오 출력 버퍼가 비어 있으며 평균 출력 전송 속도를 유지할 수 있도록 양자화 과정을 보다 완화시켜야 한다. 이 과정에서 복호화기의 버퍼 충만도를 계산한 가상의 버퍼를 운영하는 데 이를 가상 버퍼 검사기(Virtual Buffer Verifier)라 부르고 이 가상 버퍼가 넘침(full)이나 결핍(empty)이 발생하지 않도록 감시한다. 이러한 일련의 과정을 비트율 제어라 부르며, 이 비트율 제어는 동영상 부호화에 있어서 필수적이고도 화질에 큰 영향을 끼치는 중요 요소이다.

종래의 비트율 제어 방법은 다음과 같다.

먼저, 매 픽처(picture)마다 부호화하기 전에 그 픽처에서 발생시키고자 하는 비트의 양을 미리 할당하고, 다음에는 매 매크로블럭(macro block)마다 그 픽처에 할당된 비트 양과 현재 발생되는 비트 양을 비교하여 양자화 수준을 결정한다.

결정된 양자화 수준에 따라 비트 열이 발생하고, 발생된 비트 양과 출력되는 비트 양을 계산하여 가상 버퍼 검사기를 운영함으로써 복호화기의 버퍼에 넘침이나 결핍 현상이 발생하지 않도록 한다. 또한 가상 버퍼 검사기의 충만도로부터, 복호화기에 매 픽처의 복호화 시작 시점을 알려주는 vbv_delay(virtual buffer verifier delay) 값을 얻는다.

좀더 상세히 설명하면, 종래의 동영상 부호화기에서는 가상 버퍼 검사기의 입력되는 비트 양과 출력 되는 비트 양을 계산함으로써 버퍼의 정확한 충만도를 얻는다. 도3에 도시된 바와 같이, 입력되는 비트의 양은 부호화기에서의 비디오 비트율에 따라 매 픽처 일정한 양이 입력된다. 예를 들어, 비트율이 초당 6Mbit이고, 초당 30픽처로 구성되어 있다면, 매 픽처마다 가상 버퍼 검사기에 입력되는 비트 양은 200000 비트가 된다. 출력되는 비트 양은 매 픽처마다 다르며, 해당 픽처를 부호화하는데 소요된 비트 양과 같다.

이러한 가상 버퍼 검사기의 버퍼 충만도 계산은 매 픽처마다 계산하여야 하며, 누적 계산이기 때문에 단 한번의 오차가 발생하여도 그 오차는 뒤따라 오는 픽처에서 영향을 미치게 된다.

MPEG-2 테스트 모델에서는 비트율 제어에 있어서, 몇 개 픽처의 묶음인 GOP(Group Of Picture) 단위로 그 GOP에서 소모할 비트 양을 할당하여 이를 그 GOP내에서 사용하고 그 결과로 남거나 모자라는 비트 양은, 다음 GOP에 새로이 할당되는 비트 양에 이를 더하거나 뺀다. 그래서 다음 GOP에서 소모할 비트 양을 결정하게 된다.

여기에서 한 GOP에 할당되는 비트 양은 비트율에 따라 계산되며, 매 GOP 단위로 부호화가 끝난 후 남거나 모자라는 비트 양은 할당된 비트 양에서 실제 부호화로 발생된 비트 양을 감산하여 구하게 된다.

다음 GOP에 할당되는 비트량을 계산하는 종래의 방법을 수식으로 설명하면 다음과 같다. 부호화를 맨 처음 시작할 때 첫 번째 GOP에서 소모될 비트양(G1)은 [수학식 1] 및 [수학식 2]와 같다.

G1 = R

R = 비트율*(GOP의 픽처수)/(초당 픽처 수)

여기에서 R은 한 GOP에 할당되는 비트 양을 뜻한다. 첫 번째 GOP가 부호화된 후 다음 GOP에서 소모될 비트 양(G2)은 [수학식 3]과 같이 구할 수 있다.

G2 = (G1-GR1) + R

여기에서 GR1은 첫번째 GOP에서 실제로 발생한 비트 양이며 (G1-GR1)은 첫 번째 GOP에서 부호화를 마친 후 남거나 모자라는 비트 양을 뜻한다. 마찬가지 방법으로 n번째 GOP에서 소모될 비트 양은 [수학식 4]와 같이 구할 수 있다.

Gn = (Gn-1 - GRn-1) + R

즉, 매 GOP마다 부호화로 발생한 실제 비트 양과 비트율을 고려하여 누적 계산을 하여야 하는 불편함과 함께, 만일 설정된 비트율이 실제 비트율과 불일치할 경우 적은 오차라도 누적 계산으로 인하여 장시간이 흐른 후에는 큰 오차가 발생하게 되는 문제점이 있었다.

이에 본 발명은 상기와 같은 종래의 제반 문제점을 해소하기 위해 제안된 것으로, 본 발명의 목적은

부호화기에서 부호화를 시작한 후 첫 번째 픽처의 부호화가 끝나기 전까지는 비트열 출력 버퍼에서 비트열의 입력만 받고 출력을 하지 않도록 제어하고 두 번째 픽처를 부호화하는 시점에서부터 정확히 비트열을 출력하도록 제어함으로써, 가상 버퍼 검사기를 사용하지 않고 부호화기의 비트열 출력 버퍼의 충만도를 이용하여 비트율을 제어하도록 하여, 오차 발생을 최소화하고 장치 구성을 간략하게 하는 동영상 부호화기의 비트열 출력 버퍼 제어 방법을 제공하는 데 있다.

상기와 같은 목적을 달성하기 위하여 본 발명에 의한 동영상 부호화기의 비트열 출력 버퍼 제어 방법은,

첫 번째 픽처의 부호화가 끝나기 전까지는 상기 비트열 출력 버퍼에서 비트열의 입력만 받고 출력을 하지 않도록 제어하고 두 번째 픽처를 부호화하는 시점에서부터 정확히 비트열을 출력하도록 상기 비트열 출력 버퍼를 제어한다. 그리고 한 GOP(몇개 픽처 묶음)에 할당되는 비트량(R)과 상기 비트열 출력 버퍼의 충만도를 이용하여, GOP마다 소모될 비트량(Gn)을 계산하는 것을 특징으로 한다.

도1은 본 발명이 적용되는 동영상 부호화기의 블럭 구성도,

도2는 본 발명에 의한 부호화기의 비트열 출력 버퍼의 매 픽처마다의 충만도를 보인 도면,

도3은 종래 가상 버퍼 검사기의 충만도를 보인 도면,

도4는 본 발명에 의한 동영상 부호화기의 비트열 출력 버퍼 제어 방법을 보인 도면,

도5는 본 발명에 의한 다른 실시예인 동영상 부호화기의 비트열 출력 버퍼 제어 방법을 보인 도면.

<도면의 주요 부분에 대한 부호의 설명>

1: DCT부 2: 양자화부

3: VLC부 4: 비트율제어기

5: 역양자화부 6: 역DCT부

7: ME/MC부

이하, 상기와 같은 본 발명에 의한 동영상 부호화기의 비트열 출력 버퍼 제어 방법을 첨부된 도면에 의거 상세히 설명하면 다음과 같다.

도1은 본 발명이 적용되는 동영상 부호화기의 블럭 구성도이다.

입력되는 동영상 데이터를 DCT(Discrete Cosine Transform) 변환하여 공간 주파수 분석을 수행하는 DCT부(1)와; 상기 DCT부(1)에서 출력되는 DCT 계수를 양자화 계수에 따라 양자화하여 공간적 부호화를 수행하는 양자화부(2)와; 상기 양자화부(2)에서 출력되는 부호화된 값에 대해, 통계적인 정보를 사용한 압축을 수행하여, 최종적으로 압축된 비트열을 출력하는 VLC(Variable Length Coding; 가변길이 부호화)부(3)와; 상기 VLC부(3)에서 출력되는 비트열을 비트열 출력 버퍼에 저장하였다가 적당한 시기에 출력하고, 비트열 출력 버퍼의 충만도에 따라 상기 양자화부(2)의 양자화 계수를 조정하는 비트율제어기(4)와; 상기 양자화부(2)에서 출력되는 공간적 부호화값에 대해 역양자화를 수행하는 역양자화부(5)와; 상기 역양자화부(5)에서 출력되는 값에 대해 역 DCT를 수행하여 원래의 데이터로 복원하는 역DCT부(6)와; 상기 역DCT부(6)에서 복원된 데이터와 부호화기의 입력 데이터를 이용하여 움직임 추정 및 움직임 보상을 수행하여 시간적 부호화를 수행하는 움직임추정/움직임 보상부(ME/MC부)(7)로 구성된다.

상기와 같은 동영상 부호화기에 동영상 데이터가 입력되면, 먼저 DCT(Discrete Cosine Transform)부에 입력되어 변환을 사용한 공간 주파수 분석을 수행하게 되는데, 그 결과 DCT 계수라 불리는 결과 값이 출력된다. DCT 계수는 양자화부에 입력되어, 2차원 주파수의 함수인 상수에 의해 나뉘어져 저주파수 계수는 작은 수로 나누고, 고주파수 계수는 큰수로 나뉘어진다. 이때 의미가 적은 비트는 버려지거나 잘라버리게 된다. 양자화부의 출력은 VLC(Variable Length Coding)부로 입력되어 통계적인 정보를 사용한 압축을 수행하여 최종적으로 압축된 비트 열을 비트율 제어기로 출력한다. 비트율 제어기는 VLC부에서 출력된 비트 열을 비트열 출력 버퍼에 저장하였다가 적당한 시기에 출력하며, 비디오 출력 버퍼의 충만도와 비트율 제어 방법에 따라 양자화부의 양자화 계수를 조정한다.

한편 동영상 데이터는 시간적 중복성을 가지기 때문에 화면 간의 차이만을 전송함으로써 압축을 수행할 수 있다. DCT부와 양자화부를 통해 공간적 부호화가 이루어진 데이터는 다시 역양자화와 역 DCT부를 통해 원래의 입력 데이터와 같은 상태로 복원되는데 이때 복원된 데이터는 양자화의 특성상 원래의 데이터와 완전히 같은 데이터라고 할 수는 없다. 복원된 데이터는 움직임 추정부/움직임 보상부(ME/MC부)를 통해 시간적 부호화가 이루어지고, 움직임 보상된 데이터는 원 화상에 감산하여 다시 공간적 부호화가 수행된다.

도2는 본 발명에 의한 부호화기의 비트열 출력 버퍼의 매 픽처마다의 충만도를 보이고, 도3은 이 비트열 출력 버퍼에 대응하는 종래 가상 버퍼 검사기의 충만도를 보인다. 비트열 출력 버퍼에서 n번째 픽처의 부호화를 마친 후 버퍼의 충만도를 Bn이라 하고 Bn에서 n번째 픽처에서 발생한 비트열의 크기를 뺀 버퍼의 충만도를 Bn*라 한다. 이 때, 가상버퍼 검사기에서는 n번째 픽처를 복호화하기 전의 가상 버퍼 검사기의 충만도가 Bn*으로 대응되고, n번째 픽처를 복호한 후 가상 버퍼 검사기의 충만도가 Bn으로 대응된다.

이렇게 부호화기내 비트열 출력 버퍼의 충만도와 가상 버퍼 검사기의 충만도가 대응관계를 이루기 위해서는, 부호화기에서 맨처음 부호화를 시작한 후, 첫번째 픽처의 부호화가 끝난 시점부터 비트 열을 출력시켜야 한다. 즉, 부호화를 시작한 후 첫번째 픽처의 부호화가 끝나기 전까지는 비트 열 출력 버퍼에서 비트 열의 입력만 받고 출력을 하지 않고, 두 번째 픽처를 부호화하는 시점에서부터 정확히 비트열을 출력하게 되면, 비트열 출력 버퍼의 충만도와 가상 버퍼 검사기의 충만도가 정확하게 대응관계가 된다.

이러한 비트열 출력 버퍼를 이용하여, 본 발명에서는 기존에 사용되었던 가상버퍼검사기를 사용하지 않고 비트열 출력 버퍼의 충만도로 비트열을 제어하게 된다.

일반적으로 MPEG-2 테스트 모델에서는 비트율 제어에 있어서, 몇 개 픽처의 묶음인 GOP(Group Of Picture) 단위로 그 GOP에서 소모할 비트 양을 할당하여야 한다. 이러한 매 GOP마다 소모될 비트량을 계산하는 본 발명에 의한 방법은 [수학식 5]와 같다.

Gn = R - Bn

여기에서 Bn은 n번째 GOP를 부호화하기 전 부호화기의 비트 열 출력 버퍼의 충만도에서 한 픽처마다 출력되는 비트 양인 픽처율을 뺀 값이다.

즉, 본 발명에 의한 매 GOP마다 소모될 비트량 계산 방법은, [수학식 4]와 같은 종래 방법으로 계산하지 않고, 부호화기의 비트열 출력 버퍼의 충만도(Bn)를 이용하여 직접 계산한다.

그래서 도4에 도시된 바와 같이, [수학식 5]를 이용하여 매 GOP마다 소모될 비트량을 결정하게 되면, 종래의 누적 계산으로 인한 번거로움과 누적 오차를 없앨 수 있게 된다.

여기서 [수학식 5]를 증명하면 [수학식 6]과 같다.

Gn = (Gn-1 - GRn-1) + R

= {Gn-1 - (Bn - Bn-1 + R)} + R

= Gn-1 + Bn-1 - Bn

= R - Bn

(Gn-1 + Bn-1 = R) 임을 증명하기 위해서는 다시 [수학식 6]을 사용하여야 하고, 이를 n=1이 될 때까지 반복하면, (G1 = R - B1)이 성립하는 것을 증명하면 된다. 이 때 B1은 0이고, [수학식 1]에서 G1 = R 로 시작하였으므로, [수학식 6]은 증명된다.

이를 이용하여 가상 버퍼 검사기의 충만도를 계산하지 않고 비트율 제어에 필요한 여러 가지 요소, 즉 매 픽처의 복호화 시점을 알려주는 vbv_delay, 버퍼 넘침 검사, 버퍼 결핍 검사 등을 비트 열 출력 버퍼의 충만도로부터 직접 얻을 수 있다.

매 GOP마다 소모될 비트량을 결정하는 본 발명에 의한 다른 방법에 대해 설명한다.

[수학식 5]에서와 같이 GOP에 대한 비트 할당을 할 경우, Bn이 항상 양수이기 때문에 Gn은 항상 R보다 작은 값이 된다. 이를 막기 위해서는 도5에 도시된 바와 같이, 첫번째 GOP의 할당은 [수학식 7]과 같이 R보다 작은 (R - offset)을 할당하고 두 번째 GOP에서부터는 [수학식 8]과 같이 할당한다.

G1 = R - offset

Gn = R - (Bn - offset)

[수학식 8]과 같이 매 GOP에 비트 할당을 하면, Bn이 offset보다 클 경우 즉, 이전 GOP에서 할당된 비트 양보다 발생한 비트 양이 많을 경우에는 다음 GOP에 할당하는 비트 양을 줄인다. 그리고 그 반대로 Bn이 offset보다 작을 경우, 즉 이전 GOP에서 할당된 비트 양보다 발행한 비트 양이 적을 경우에는 다음 GOP에 할당하는 비트의 양을 늘이게 되어, [수학식 5]에 따른 GOP 비트 할당 방법보다 더 개선된 GOP 비트 할당이 된다.

본 발명은 비트율 제어 장치가 필요한 모든 동영상 부호화기에 이용될 수 있다.

이상에서 살펴본 바와 같이, 본 발명 동영상 부호화기의 비트열 출력 버퍼 제어 방법은, 별도의 가상 버퍼 검사기를 운영하지 않고 부호화기의 비트열 출력 버퍼의 충만도로부터 비트율 제어에 필요한 몇 가지 요소를 직접 얻을 수 있으며, GOP의 비트 할당에 있어서 누적 계산으로 인한 오차의 발생 소지를 없앰으로써 궁극적으로는 압축 효율이 높은 동영상 부호화기를 구현할 수 있도록 하는 효과가 있다.

Claims (4)

1. 비트열 출력 버퍼를 구비한 동영상 부호화기의 비트율제어기에서 비트율을 제어하는 방법에 있어서,

   첫 번째 픽처의 부호화가 끝나기 전까지는 상기 비트열 출력 버퍼에서 비트열의 입력만 받고 출력을 하지 않도록 제어하고 두 번째 픽처를 부호화하는 시점에서부터 정확히 비트열을 출력하도록 상기 비트열 출력 버퍼를 제어하는 제1단계와;

   상기 비트열 출력 버퍼의 충만도를 이용하여 비트열 출력을 제어하는 제2단계를 수행함을 특징으로 하는 동영상 부호화기의 비트열 출력 버퍼 제어 방법.
2. 제 1 항에 있어서, 상기 제2단계는,

   한 GOP(몇개 픽처 묶음)에 할당되는 비트량(R)과 상기 비트열 출력 버퍼의 충만도를 이용하여, 매 GOP마다 소모할 비트량(Gn)을 계산하는 것을 특징으로 하는 동영상 부호화기의 비트열 출력 버퍼 제어 방법.
3. 제 2 항에 있어서, 상기 매 GOP마다 소모할 비트량(Gn) 계산 방법은,

   Gn = R - Bn

   으로 계산되는 것을 특징으로 하는 동영상 부호화기의 비트열 출력 버퍼 제어 방법.

   여기에서 Bn은 n번째 GOP를 부호화하기 전 부호화기의 비트 열 출력 버퍼의 충만도에서 한 픽처마다 출력되는 비트 양인 픽처율을 뺀 값이고, R은 한 GOP에 할당되는 비트량을 의미한다.
4. 제 2 항에 있어서, 상기 매 GOP마다 소모할 비트량 계산 방법은,

   G1 = R - offset

   Gn = R - (Bn - offset)

   으로 계산되는 것을 특징으로 하는 동영상 부호화기의 비트열 출력 버퍼 제어 방법.

   여기에서 G1은 첫번째 GOP에서 소모할 비트량이고, Gn은 n번째 GOP에서 소모할 비트량이다. 그리고 offset은 Gn이 항상 R보다 작은 값이 되도록 하는 것을 방지하기 위해 설정된 값이고, R은 한 GOP에 할당되는 비트량이며, Bn은 n번째 GOP를 부호화하기 전 부호화기의 비트 열 출력 버퍼의 충만도에서 한 픽처마다 출력되는 비트 양인 픽처율을 뺀 값이다.