KR101075606B1 - 양자화 제어 방법 및 장치, 그 프로그램 및 프로그램을 기록한 기록 매체 - Google Patents

Abstract

영상을 부호화하고, 미리 정한 목표 비트율에 부호화 비트율을 근접시키는 제어를 하는 영상 부호화에 이용되는 양자화 제어 방법으로서, 목표 부호량과 발생 부호량의 차분을 계측하고, 미리 정한 조건의 발생 유무를 검출하고, 상기 조건의 발생을 검출한 경우, 양자화 스텝 사이즈를 증감시키는 양이 되는 피드백양의 변경량을 결정하고, 그 결정한 변경량에 따라 피드백양을 변경하고, 상기 계측한 차분 부호량과 상기 변경한 피드백양에 따라 양자화 스텝 사이즈를 증감시킨다. 상기 조건이 복수개 존재하는 경우 각 조건에서 구한 피드백양의 변경량에 대해 규정의 연산을 실시함으로써 최종적인 피드백양의 변경량을 결정해도 된다.

Description

양자화 제어 방법 및 장치, 그 프로그램 및 프로그램을 기록한 기록 매체{Quantization control method, device, program, and recording medium containing the program}

본 발명은 영상 부호화의 부호화 비트율을 제어하는 양자화 제어 방법 및 그 장치와, 그 양자화 제어 방법의 실현에 이용되는 양자화 제어 프로그램 및 그 프로그램을 기록한 컴퓨터로 독출 가능한 기록 매체에 관한 것이다.

본원은 2007년 3월 14일자로 출원된 일본특원 2007-064274호에 따라 우선권을 주장하고, 그 내용을 여기에 원용한다.

많은 영상 부호화 방식에서는 입력되는 영상의 성질에 따라 발생 부호량이 변화한다. 따라서, 발생 부호량을 제어하고, 부호화 비트율을 일정하게 유지하는 부호화 비트율 제어 기술이 필요하다.

발생 부호량은 양자화 스텝 사이즈와 밀접한 관계가 있고, 발생 부호량은 양자화 스텝 사이즈를 변동시킴으로써 제어한다.

MPEG-2 테스트 모델5(이하, TM5라 함)에서는 양자화 스텝 사이즈와 발생 부호량 사이의 관계를 이용하여 부호량 제어를 하고 있다(예컨대, 비특허 문헌 1 참조).

이하, MPEG-2 TM5에서의 부호량 제어에 대해 설명하기로 한다.

MPEG-2 TM5에서는 GOP(Group of Pictures)라 불린, I, P, 및 B 픽쳐라는 다른 픽쳐 타입으로 이루어지는 픽쳐군(I/P/B)의 단위로 부호량 제어를 한다.

도 6에 MPEG-2 TM5에서의 부호량 제어 흐름도를 도시한다.

MPEG-2 TM5에서의 부호량 제어에서는 이 흐름도에 도시된 바와 같이, 먼저 스텝 S401에서 픽쳐 타입마다 복잡 지표X_x(x=i, p, b(각각 I, P, B 픽쳐에 대응))을,

X_x = S_xㆍ< Q_x >

라는 식에 따라 구한다.

여기서, x는 픽쳐 종별을 나타내고, S는 최근에 부호화한 동일 픽쳐 타입의 발생 부호량을 나타내며, <Q_x>는 그 부호화에서의 양자화 스텝 사이즈의 평균치를 나타낸다.

일반적으로 발생 부호량(S_x)은 양자화 스텝 사이즈(Q_x)에 반비례한다. 따라서, 이 복잡 지표(X_x)를 산출함으로써, 발생 부호량과 양자화 스텝 사이즈와의 관계를 알 수 있다.

이어서, 스텝 S402에서 다음 수학식 1에 따라 픽쳐 타입마다 목표 부호량(T_x(x=i,p,b))를 설정한다.

여기서, R은 GOP에 할당된 부호량을 나타내고, N_P는 GOP 내의 P픽쳐의 수를 나타내며, N_b는 GOP 내의 B픽쳐의 수를 나타내고, K_P, K_b는 정수를 나타낸다.

수학식 1이 의미하는 것은 목표 부호량(T_i)을 설정하는 경우에는, X_P/X_i에 따라 P픽쳐를 I픽쳐로 환산하고, X_b/X_i에 따라 B픽쳐를 I픽쳐로 환산하며, 그 환산치와 픽쳐수 N_P, N_b과 GOP에 할당된 부호량(R)에 따라, 목표부호량(T_i)을 산출하는 것을 의미한다.

그리고, 목표 부호량(T_p)을 설정하는 경우에는, X_b/X_p에 따라 B픽쳐를 P픽쳐로 환산하고, 그 환산식과 픽쳐수 N_p, N_b와 GOP에 할당된 부호량(R)에 따라 목표부호량(T_p)를 산출하는 것을 의미한다.

그리고, 목표 부호량(T_b)을 설정하는 경우에는, X_p/X_b에 따라 P픽쳐를 B픽쳐로 환산하고, 그 환산식과 픽쳐수 N_p, N_b와 GOP에 할당된 부호량(R)에 따라 목표부호량(T_b)를 산출하는 것을 의미한다.

이어서, 스텝 S403에서 이와 같이 설정한 픽쳐 단위의 목표 부호량(T_x)에 따라 부호화 대상이 되는 소블록에 대한 양자화 스텝 사이즈를 결정한다.

양자화 스텝 사이즈의 결정은 가상 버퍼의 점유량(d_x(j))과 반응 파라미터(r)에 기초하여 다음 수학식 2에 따라 산출한다.

양자화 스텝 사이즈의 계산에만 이용하는 가상 버퍼를 각 픽쳐 타입마다 설정하고, 그 점유량(d_x(j))는 다음 수학식 3에 의해 갱신한다.

여기서, G_x(j)는 부호화 대상 픽쳐 내의 j번째 소블록을 부호화하기까지의 모든 발생 부호량을 나타내고, MB_cnt는 픽쳐 내의 소블록수를 나타낸다. 또한 반응 파라미터(r)는 다음 수학식 4에서 산출한다.

스텝 S403에서는, 이러한 방법에 의해 가상 버퍼의 점유량(d_x(j))과 반응 파라미터(r)에 기초하여, 부호화 대상이 되는 소블록에 관한 양자화 스텝 사이즈(Q_x(j)를 결정하는 것이다.

이어서, 스텝 S404에서, 결정한 양자화 스텝 사이즈(Q_x(j)를 이용하여 소블록마다 양자화 및 부호화 처리를 한다.

이어서, 스텝 S405에서 1픽쳐만큼의 부호화를 종료한 후, 양자화 스텝 사이즈의 평균치<Q_x>를 산출한다.

이어서, 스텝 S406에서, (1픽쳐만큼의 부호화를 종료한 후, )실제의 발생 부호량(S_x)를 계측한다.

이 계측한 발생 부호량(S_x)과 이 산출한 평균 양자화 스텝 사이즈<Q_x>에 따라 다시 스텝 S401에서 다음의 동일 픽쳐 타입의 복잡 지표(X_x)를 갱신하게 된다.

이와 같은 방법으로 MPEG-2 TM5에서는 픽쳐마다 목표 부호량을 설정하여 부호화 처리를 하고 발생 부호량을 제어하고 있다.

이 제어 방법은 영상의 특성이 크게 변화하지 않고 디코더 버퍼의 오버플로우나 언더플로우가 발생하지 않으면 안정적으로 동작한다.

그러나, 실제의 제어를 함에 있어서, 장면 체인지나 디코더 버퍼의 상태를 고려할 필요가 있다.

예컨대, 텔롭 등 정지화에서 매우 간단한 장면이 계속되면, 양자화 스텝 사 이즈는 매우 작아진다. 거기에 풍경 영상 등 텍스쳐가 세밀한 영상이 들어오면, 매우 작은 양자화 스텝 사이즈로 텍스쳐가 세밀한 영상을 부호화하게 되므로 발생 부호량이 폭발적으로 증가하여 비트율 제어가 파탄날 가능성이 있다.

따라서, 장면 체인지를 검출하였을 때, 미리 정한 양자화 스텝 사이즈로 변경하는 방법이 제안되고 있다(예컨대, 특허 문헌 1 참조).

이 방법으로 장면 체인지를 검출하면 장면 체인지용 양자화 스텝 사이즈의 초기값과 레이트 제어로부터 구해지는 양자화 스텝 사이즈를 비교하고, 큰 쪽의 양자화 스텝 사이즈를 이용하여 양자화를 행하도록 하고 있다.

이러한 방법에 의해, 장면 체인지 검출시의 양자화 스텝 사이즈를 제어함으로써 폭발적인 부호량의 발생 등을 막을 수 있다.

상술한 바와 같이, 종래 기술에서는 입력 영상 등의 양자화 제어 이외의 요인에 의한 급격한 변동을 양자화 제어 상태를 초기화함으로써 하는 것에 회피하고 있다.

그러나, 이러한 종래 기술에 따르면, 상황 변동 직후의 부호화 대상 픽쳐의 성질을 반영시킨 양자화 스텝 사이즈로 양자화가 행해지지 않으므로, 양자화 스텝 사이즈의 변동이나 그에 대응한 발생 부호량 등의 변동이 수속될 때까지의 시간이 길어지는 문제가 있다.

도 7에 그 일례를 나타낸다. 본 예에서는 초기화에 의한 양자화 스텝 사이즈의 초기값이 안정적으로 부호화 가능한 양자화 스텝 사이즈보다 작은 상태를 나타내고 있다.

이러한 경우에는, 도 7에 나타낸 바와 같이, 초기값의 양자화 스텝 사이즈가 작기 때문에, 목표보다 많은 부호량이 발생하여 양자화 스텝 사이즈가 서서히 상승한다. 그리고, 양자화 스텝 사이즈가 너무 큰 경우는 발생 부호량이 목표를 밑돌기 때문에 양자화 스텝 사이즈는 하강한다. 금방 안정된 상태가 된다.

이와 같이 양자화 스텝 사이즈의 초기값과 안정적으로 부호화 가능한 양자화 스텝 사이즈 사이에 차이가 있다면, 단순한 초기화만으로는 반드시 안정된 제어가 가능하다고 할 수 없다.

또한 프레임간 부호화를 이용하는 영상 부호화 방식에서는, 장면 체인지 등의 영상 성질의 급격한 변화가 발생하면, 프레임간의 예측 효율이 저하되어 부호화 효율이 저하될 가능성이 있다. 이러한 경우에는, 많은 경우 프레임간 예측을 이용하지 않고 프레임내 예측을 이용하여 부호화한다.

그러나, 프레임내 예측 부호화에서는 프레임간 예측 부호화에 비해 부호화 효율이 낮고, 급격하게 발생 부호량이 증가할 가능성이 있다. 특히, 영상의 성질이 변화한 픽쳐에 프레임간 예측 부호화를 전제로 부호량을 할당하고 있던 경우, 목표 부호량을 대폭 상회하는 부호량이 발생할 가능성이 있다.

이러한 발생 부호량의 급격한 증가는 디코더 버퍼의 언더플로우를 유발할 가능성이 있다.

반대로, 복잡한 장면으로부터 정지화 등 매우 간단한 영상으로 절환한 경우, 급격한 발생 부호량의 감소에 의해 디코더 버퍼의 오버플로우가 발생할 가능성이 있다.

디코더 버퍼의 오버플로우는 스태핑 데이터 등의 무효 데이터를 송출함으로써 막을 수 있는데, 불필요하게 부호량을 발생시키게 된다.

이러한 문제를 해결하기 위해서는, 양자화 제어에서 목표 부호량과 발생 부호량의 차이에 대해 양자화 스텝 사이즈를 증감시키는 양이 되는 피드백양을 미리 크게 설정하도록 하면 된다.

그러나, 피드백양을 미리 크게 설정해 두면, 발생 부호량의 변동이 작아져 더욱 안정되게는 되지만, 영상의 복잡도에 관계없이 발생 부호량의 변동을 막게 되므로 화질의 변동이 심해져 주관 화질의 저하로 이어진다.

이와 같이 장면 체인지 등에 의해 입력 영상의 성질이 변화한 경우나 디코더 버퍼의 점유량을 고려한 경우, 종래 기술에서는 안정된 상태가 될(수속될) 때까지 시간이 걸리거나, 수속될 때까지의 시간을 단축하려고 하면 화질의 변동이 커지는 문제가 있었다.

[비특허 문헌 1]

MPEG-2, Test　Mode15(TM5), Doc.ISO/IECJTC1/SC29/WG11/NO400, Test　Model　Editing Committee, pp.59-63, Apr.1993.

[특허 문헌 1]

특개평 6-113271호 공보

이 목적을 달성하기 위해 본 발명의 양자화 제어장치는, 영상을 부호화하고, 미리 정한 목표 비트율에 부호화 비트율을 근접시키는 제어를 하는 영상 부호화에 이용될 때, (1)목표 부호량과 발생 부호량과의 차분을 계측하는 계측 수단과, (2)발생 부호량의 급격한 증가나 감소를 가져오는 미리 정한 조건이 발생하였는지를 검출하는 검출 수단과, (3)검출 수단이 조건 발생을 검출한 경우, 양자화 스텝 사이즈를 증감시키는 양이 되는 피드백양의 변경량을 결정하고, 그 결정한 변경량에 따라, 피드백양을 변경하는 피드백양 변경 수단과, (4)계측 수단이 계측한 차분 부호량과 변경 수단이 변경한 피드백양에 따라 양자화 스텝 사이즈를 증감시키는 양자화 스텝 사이즈 변경 수단을 구비하도록 구성한다.

이 구성을 취할 때, 피드백양을 더 변경하는 경우, 미리 정한 일정 기간(시간이나 부호화의 처리 단위) 경과 후에 피드백양을 변경 전으로 되돌리는 피드백양 회복 수단을 구비하거나, 발생 부호량의 급격한 증가나 감소를 가져오는 조건이 복수개 발생하는 경우에 있어서, 그 조건에 따라 피드백양을 변경하는 경우, 각 조건마다 피드백양의 변경 기간(시간이나 부호화의 처리 단위)를 설정하고, 그 설정한 변경 기간의 경과 후에, 피드백양을 변경전으로 되돌리는 피드백양 회복 수단을 구비하는 경우가 있다.

이상의 각 처리 수단이 동작함으로써 실현되는 본 발명의 양자화 제어 방법은 컴퓨터 프로그램에서도 실현할 수 있는 것으로, 본 컴퓨터 프로그램은 적당한 컴퓨터로 독출 가능한 기록 매체에 기록하여 제공되거나, 네트워크를 통해 제공되고, 본 발명의 실시시에 설치되어 CPU 등의 제어 수단 상에서 동작함으로써 본 발명을 실현하게 된다.

이와 같이 구성되는 본 발명의 양자화 제어장치에서는 발생 부호량의 급격한 증가나 감소를 가져오는 조건의 발생 유무를 검출한다.

예컨대, 영상 성질의 급격한 변화 발생을 검출하거나, 수신측 버퍼의 점유량에 따라 수신측 버퍼의 언더플로우 또는 오버플로우 가능성을 검출하거나, 발생 부호량과 목표 부호량에 기초하여 설정되는 최대 발생 부호량을 비교하여 발생 부호량이 최대 발생 부호량을 넘는 것을 검출함으로써, 발생 부호량의 급격한 증가나 감소를 가져오는 조건의 발생 유무를 검출한다.

이 조건의 발생을 검출하면, 양자화 스텝 사이즈를 증감시키는 양이 되는 피드백양의 변경량을 결정하고, 그 결정한 변경량에 따라 피드백양을 변경한다.

이때, 복수개의 조건이 발생하는 경우, 각 조건에서 구한 피드백양의 변경량에 대해 가산치 산출, 승산치 산출, 평균치 산출, 및 최대치 산출 등의 규정의 연산을 실시함으로써 최종적인 피드백양의 변경량을 결정하는 경우가 있다.

또한 발생한 조건에 대해서 미리 복수개의 문턱값을 설정해 놓고, 그 문턱값을 넘을 때마다 서서히 피드백양의 변경량을 결정함으로써 피드백양을 단계적으로 변경하는 경우가 있다.

이와 같이 피드백양을 변경하면, 그 변경한 피드백 양과, 목표 부호량과 발생 부호량의 차분의 계측 결과에 따라 양자화 스텝 사이즈를 증감시킨다.

이와 같이 본 발명에서는, 입력 영상을 부호화할 때, 양자화 스텝 사이즈의 크기를 결정하는 목표 부호량과 발생 부호량과의 차이에 대한 피드백양을 미리 크게 설정해 두는 것은 아니며, 입력 영상 성질의 급격한 변화나 디코더 버퍼의 파탄 등의 외적 요인의 발생을 검출할 때, 그 시점에서, 피드백양을 증가시키도록 하고, 또한 그때 규정 초기값으로 증가시키는 것은 아니며, 통상의 피드백양으로부터의 변위 형태로 피드백양을 증가시키도록 한다.

이 구성에 따라, 본 발명에 의하면, 입력 영상 성질의 급격한 변화나 디코더 버퍼의 파탄 등의 외적요인이 생긴 경우, 급격한 발생 부호량의 변화를 억제하면서 정상 상태로의 수속을 앞당길 수 있게 되고, 그 결과 시퀀스 전체의 주관 화질의 저하를 방지할 수 있게 된다.

도 1은 본 발명에 따른 동작의 흐름도이다.

도 2는 본 발명이 적용되는 영상 부호화 장치의 구성예이다.

도 3은 동일한 영상 부호화 장치의 내부 구성예이다.

도 4는 동일한 영상 부호화 장치가 실행하는 흐름도의 일례이다.

도 5는 마찬가지로 동일한 영상 부호화 장치가 실행하는 흐름도의 일례이다.

도 6은 MPEG-2 TM5에서의 부호량 제어 흐름도이다.

도 7은 종래 기술의 문제의 설명도이다.

<부호의 설명>

1 영상 부호화 장치

10 양자화 제어부

20 양자화·부호화 실행부

30 장면 체인지 검출부

100 픽쳐 단위 처리부

101 복잡 지표 기억부

102 복잡 지표 갱신부

103 목표 부호량 산출부

104 목표 부호량 기억부

105 최대 부호량 산출부

106 최대 부호량 기억부

107 피드백 변경량 산출부

108 소블록 단위 처리부

1020 평균 양자화 스텝 사이즈 산출부

1021 발생 부호량 취득부

1022 복잡 지표 산출부

1080 발생 부호량 계측부

1081 가상 버퍼 상태 확인부

1082 발생 부호량 비교부

1083 피드백 변경량 결정부

1084 양자화 스텝 사이즈 결정부

이하, 실시 형태에 따라 본 발명을 설명하기로 한다.

본 발명에서는, 입력 영상을 부호화할 때 양자화 스텝 사이즈의 크기를 결정하는 목표 부호량과 발생 부호량과의 차이에 대한 피드백양을 사전에 크게 설정해 두는 것이 아니라 입력 영상 성질의 급격한 변화나 디코더 버퍼의 파탄 등의 외적 요인의 발생을 검출할 때, 그 시점에서 피드백양을 증가시키고, 또한, 그 때 규정의 초기값으로 증가시키는 것이 아니라 통상의 피드백양으로부터 변위의 형태로 피드백양을 증가시킴으로써 정상 상태로의 수속을 앞당길 수 있다.

이 피드백양에 대해서는, 예컨대, 종래 기술에 채용되어 있는 반응 파라미터(r)로 제어할 수 있다.

반응 파라미터(r)는 목표 부호량에 대한 발생 부호량의 차이를 양자화 스텝 사이즈에 반영시키기 위한 파라미터이다. 전술한 수학식 2와 수학식 3을 다시 쓰면 이하와 같다.

수학식 5로부터 알 수 있는 바와 같이, 이 반응 파라미터(r)를 작게 하면, 양자화 스텝 사이즈에 대한 수학식 5 제2항의 영향이 커지고, 반대로 크게 하면 영향이 작아진다.

도 1에 본 발명에 따른 동작 흐름도의 예를 도시한다.

이 흐름도에 나타낸 바와 같이, 먼저 스텝 S101에서, 장면 체인지 등 입력 영상의 성질 변화를 검출한다.

이 검출 처리에 따라 영상 성질의 급격한 변화가 인정된 경우에는, 스텝 S102로 진행하여, 피드백양의 증가분을 산출한다.

이어서, 스텝 S103에서, 가상 버퍼의 점유량을 확인함으로써 디코더 버퍼의 점유량을 확인하고, 발생 부호량 증가에 의한 디코더 버퍼의 언더플로우나, 발생 부호량 감소에 의한 디코더 버퍼의 오버플로우를 확인한다.

이 확인 처리에 따라서, 디코더 버퍼의 언더플로우나 오버플로우를 확인한 경우에는, 스텝 S104로 진행하고, 피드백양의 증가분을 산출한다.

이어서, 스텝 S105에서, 소블록마다(목표 부호량에 대한) 발생 부호량을 확인하고 피드백양의 증가가 충분한 여부를 확인한다.

이 확인 처리에 따라서, 피드백양의 증가가 불충분하다고 판단한 경우에는 스텝 S106으로 진행하고, 발생 부호량을 목표 부호량에 근접시키며, 피드백양의 증가분을 산출한다.

이어서, 스텝 S107에서, 산출한 피드백양의 증가분에 따라 최종적인 피드백양을 결정하고, 그에 기초하여 양자화 스텝 사이즈를 결정한다.

이어서, 스텝 S108에서, 결정한 양자화 스텝 사이즈를 이용하여 양자화 및 부호화 처리를 한다.

이와 같이 증가시킨 피드백양에 대해서는, 일정 기간 경과한 후, 본래의 피드백양으로 되돌려도 된다.

피드백양은 GOP 단위, 복수개 픽쳐로 이루어지는 픽쳐군, 1픽쳐 단위, 슬라이스 단위, 소블록 단위 등 임의의 단위로 변경할 수 있다.

피드백양의 증가분이 불충분한지 여부는 목표 부호량에 대한 발생 부호량의 비로 정해도 된다. 예컨대, 최대 발생 부호량으로서 목표 부호량의 n배라는 문턱값 을 마련하고, 발생부호량이 최대 발생부호량을 상회한 시점에서 피드백양을 증가시켜도 된다.

피드백양의 증가분은 각각의 조건마다 증가분을 설정하고, 그 합으로서 구하도록 해도 된다. 각 조건에 의한 증가분의 합으로 한 경우, 너무 피드백양이 증가하지 않도록 최대치를 설정해도 된다.

또한 각 조건에 의한 증가분의 합으로 하지 않고, 각 조건에 의한 증가분의 최대치를 최종적인 피드백양의 증가분으로 해도 좋다.

예컨대, 장면 체인지 검출시의 피드백양을 r_a, 디코더 버퍼의 파탄 검출시의 피드백양을 r_b, 목표 부호량과 발생 부호량과의 관계에 의한 피드백양(r_c)으로 한 경우를 나타낸다.

즉, 각 조건에 의한 증가분의 최대치를 피드백양의 증가분으로 하는 경우에는,

라는 산출식에 따라 최종적인 피드백양의 증가분을 결정한다.

또한 각 조건에 의한 증가분의 합을 피드백양의 증가분으로 하는 경우에는,

라는 산출식에 따라 최종적인 피드백양의 증가분을 결정한다.

또한 각 조건에 의한 증가분의 합을 피드백양의 증가분으로 함과 동시에, 그 증가분에 최대값(r_max)을 설정하는 경우에는,

라는 산출식에 따라 최종적인 피드백양의 증가분을 결정한다.

또한 각 조건에 의한 증가분의 곱을 피드백양의 증가분으로 하는 경우에는,

라는 산출식에 따라 최종적인 피드백양의 증가분을 결정한다.

또한 각 조건에 의한 증가분의 평균치를 피드백양의 증가분으로 하는 경우에는,

라는 산출식에 따라 최종적인 피드백양의 증가분을 결정한다.

또한, 피드백양에 대한 증가분의 반영 방법은 임의이다. 예컨대, 증가분을 계수로 하여 승산해도 되고, 증가분을 더하여도 된다.

피드백양의 증가·감소 방법에 대해서는 양자화 제어를 이용하는 방법에 의존한다.

반응 파라미터(r)로 양자화를 제어하는 경우는, 반응 파라미터(r)를 작게 하면 피드백양은 증가하고, 크게 하면 피드백양이 감소한다.

또한 피드백양의 증가를 단계적으로 할 수도 있다. 예컨대, 발생부호량이 최대 발생 부호량의 25%, 50%, 75%, 100%를 넘은 단계에서 피드백양을 서서히 증가시 킬 수도 있다.

피드백양을 증가시키는 기간은 임의이다. 예컨대, 장면 체인지를 검출한 픽쳐만으로 불충분한 경우에는, 몇 개의 픽쳐에 걸쳐 피드백양을 증가시킨 채 부호화 처리를 할 수도 있다.

또한 피드백양을 증가시키는 복수의 조건이 발생하는 경우, 그 조건에 따라 피드백양을 변경하는 경우에는, 각 조건마다 피드백양의 변경 기간을 설정하고, 그 설정한 변경 기간의 경과 후에 피드백양을 변경 전으로 되돌려도 된다.

또한, 본 발명은 발생부호량을 목표 비트율에 의해 제어하는 방식이라면, 고정 비트율 부호화 방식뿐만 아니라, 가변 비트율 부호화 방식으로 이용할 수 있다.

이러한 방법에 의한 본 발명에 의하면, 양자화 제어 피드백양을 제어하고, 일시적으로 피드백양을 증가시킴으로써 통상의 피드백양을 증가시키지 않고, 수습 시간을 단축할 수 있게 된다.

실시예

이하, 구체적인 실시예에 따라 본 발명을 설명하기로 한다.

도 2에 본 발명의 일실시예로서의 영상 부호화 장치(1)의 장치 구성을 도시한다.

이 도면에 나타낸 바와 같이, 이 영상 부호화 장치(1)는 영상 신호의 예측 신호를 생성하고, 영상 신호와 그 예측 신호와의 차분값을 구하고, 그것을 양자화하여 부호화함으로써 부호화 비트스트림을 생성하여 출력하는 처리하는 것이고, 양자화 제어를 하는 양자화 제어부(10)와, 양자화부 및 정보원 부호화부로 구성되는 양자화·부호화 실행부(20)를 구비하고, 또한, 본 발명을 실현하기 위해 영상 신호를 입력하고, 그 입력한 영상 신호에 기초하여 장면 체인지의 발생 유무를 검출하는 장면 체인지 검출부(30)를 구비한다.

도 3에 본 영상 부호화 장치(1)가 구비하는 양자화 제어부(10)가 채택하는 구성의 일예를 도시한다.

도면에 나타낸 바와 같이, 양자화 제어부(10)는 본 발명의 양자화 제어를 실행하기 위해, 복잡 지표 기억부(101), 복잡 지표 갱신부(102), 목표 부호량 산출부(103), 목표 부호량 기억부(104), 최대 부호량 산출부(105), 최대 부호량 기억부(106), 피드백 변경량 산출부(107) 및 소블록 단위 처리부(108)로 구성되는 픽쳐 단위 처리부(100)를 구비한다.

복잡 지표 기억부(101)는 픽쳐 타입마다 산출되는 복잡 지표X_x(x=i, p, b)를 기억한다.

복잡 지표 갱신부(102)는 평균 양자화 스텝 사이즈 산출부(1020), 발생 부호량 취득부(1021) 및 복잡 지표 산출부(1022)를 구비한다.

평균 양자화 스텝 사이즈 산출부(1020)는 최근에 부호화한 동일 픽쳐 타입의 부호화에 이용한 양자화 스텝 사이즈의 평균치<Q_x>를 산출한다.

발생 부호량 취득부(1021)는 후술하는 발생 부호량 계측부(1080)가 계측한 1픽쳐만큼의 발생 부호량을 취득함으로써, 최근에 부호화한 동일 픽쳐 타입의 발생 부호량(S_x)을 취득한다.

복잡 지표 산출부(1022)는 평균 양자화 스텝 사이즈 산출부(1020)가 산출한 평균 양자화 스텝 사이즈<Q_x>와 발생 부호량 취득부(1021)가 취득한 발생 부호량(S_x)을 승산함으로써 복잡 지표(X_x)를 산출하여 복잡 지표 기억부(101)에 기억되는 복잡 지표(X_x)를 갱신한다.

목표 부호량 산출부(103)는 복잡 지표 기억부(101)에 기억되는 복잡 지표(X_x)를 이용하여, 전술한 수학식 1에 따라 픽쳐 타입마다 목표 부호량(T_x(x=i, p, b))을 산출한다.

목표 부호량 기억부(104)는 목표 부호량 산출부(103)가 산출한 목표 부호량(T_x)을 기억한다.

최대 부호량 산출부(105)는 목표 부호량 산출부(103)가 산출한 목표 부호량(T_x)을 n배 함으로써 최대 부호량(T_max)을 산출한다.

최대 부호량 기억부(106)는 최대 부호량 산출부(105)가 산출한 최대 부호량(T_max)를 기억한다.

피드백 변경량 산출부(107)는 장면 체인지 검출부(30)가 장면 체인지의 발생을 검출할 때, 그 장면 체인지에 대응하여 변경하는 피드백양의 변경량을 산출한다.

소블록 단위 처리부(108)는,

·지금까지 부호화한 소블록까지의 발생부호량(수학식 3에서 나타내는 G_x(j- 1))을 계측하는 발생 부호량 계측부(1080)와,

·가상 버퍼의 점유량(수학식 3에서 나타내는 d_x(j))을 확인함으로써, 디코더 버퍼의 언더플로우 또는 오버플로우의 가능성 발생 유무를 확인하는 가상 버퍼 상태 확인부(1081)과,

·발생 부호량 계측부(1080)가 계측한 발생 부호량과 최대 부호량 기억부(106)에 기억되는 최대 부호량(T_max)을 비교하고, 발생 부호량이 최대 부호량(T_max)을 넘는 상태가 발생하였는지 여부를 검출하는 발생 부호량 비교부(1082)와,

·피드백 변경량 산출부(107)가 산출한 피드백양의 변경량과 가상 버퍼상태 확인부(1081)의 확인 결과와 발생 부호량 비교부(1082)의 비교 결과에 따라 피드백양의 변경량을 결정함과 동시에, 그 변경 기간을 결정하는 피드백 변경량 결정부(1083)와,

·목표 부호량 기억부(104)에 기억되는 목표 부호량(T_x)와 발생 부호량 계측부(1080)가 계측한 발생 부호량과 피드백 변경량 결정부(1083)가 결정한 피드백양의 변경량에 따라 양자화 스텝 사이즈를 증감시키는 양자화 스텝 사이즈 결정부(1084)를 구비한다.

본 실시예에서는 양자화 제어 알고리즘은 종래 기술의 방법을 이용하고 반응 파라미터를 증감시킴으로써 피드백양을 제어한다. 피드백양 증가 조건은 이하와 같다.

·장면 체인지 검출시

·디코더 버퍼 파탄 검출시

·최대 발생 부호량을 넘은 시점

또한 각 조건의 피드백양은 누계치로 한다.

피드백양을 증가시키는 기간은 부호화 대상 픽쳐 내로 한다.

최대 발생 부호량은 목표 부호량의 2배로 한다.

피드백양의 증가분Δr의 반영 방법은 본래의 반응 파라미터(r)로부터 감산하는 방법으로 하고, 최대 증가분은 반응 파라미터의 절반으로 한다.

도 4 및 도 5에 도 3과 같이 구성되는 영상 부호화 장치(1)가 실행하는 흐름도의 일예를 도시한다.

여기서, 도 4는 픽쳐 단위에서의 흐름도를 나타내고, 도 5는 소블록 단위에서의 흐름도를 나타낸다.

이어서, 이 흐름도에 따라 영상 부호화 장치(1)가 실행하는 양자화 제어 처리에 대해 상세히 설명하기로 한다.

영상 부호화 장치(1)에서는, 도 4의 흐름도에 도시한 바와 같이, 우선 스텝 S201에서 피드백양의 증가분Δr을 초기화한다.

이어서, 스텝 S202에서, 장면 체인지를 검출하고, 장면 체인지를 검출하면 스텝 S203로 진행하고, 피드백양의 증가분Δr에 r_a를 가산함으로써 피드백양의 증가분Δr을

Δr=Δr+r_a

와 같이 갱신한다.

이어서, 스텝 S204에서, 최근에 부호화한 동일 픽쳐 타입의 부호화에 이용한 양자화 스텝 사이즈의 평균치<Q_x>와 그 부호화에서 발생한 발생 부호량(S_x)에 기초하여,

X_x=S_x· <Q_x>

라는 식에 따라 복잡 지표(X_x)를 산출한다.

이어서, 스텝 S205에서, 그 산출한 복잡 지표(X_x)를 이용하여, 전술한 식(1)에 따라 픽쳐 타입마다 목표 부호량(T_x)을 산출한다.

이어서, 스텝 S206에서, 산출한 목표 부호량(T_x)을 2배 함으로써 최대 부호량(T_max)를 산출한다.

이어서, 스텝 S207에서, 도 5의 흐름도에 따라 소블록 단위에서의 처리를 실행한다.

즉, 소블록 단위에서의 처리에 들어가면, 도 5의 흐름도에 나타낸 바와 같이, 우선 스텝 S2071에서, 전술한 수학식 3에 따라 도출되는 가상 버퍼의 점유량(d_x(j))을 확인함으로써 디코더 버퍼(수신측 버퍼)의 상태를 확인한다.

디코더 버퍼가 언더플로우 또는 오버플로우될 가능성이 있는 상태가 발생하였다고 검출할 때는, 스텝 S2072로 진행하고, 피드백양의 증가분Δr에 r_b를 가산함 으로써 피드백양의 증가분Δr을,

Δr=Δr+r_b

와 같이 갱신한다.

이어서, 스텝 S2073에서, j-1번째의 소블록까지의 발생 부호량(G_x(j-1))과 최대 발생 부호량(T_max)을 비교하고, 최대 발생 부호량(T_max)을 넘었을 때는, 스텝 S2074로 진행하고, 피드백양의 증가분Δr에 r_c를 가산함으로써 피드백양의 증가분Δr을,

Δr=Δr+r_c

와 같이 갱신한다.

여기서, Δr의 크기를 확인하고, 필요하다면, 예컨대,

와 같이 클립한다.

이어서, 스텝 S2075에서, 다음 식에 따라 r을 Δr만큼 감소시킴으로써 피드백양을 증가시키면서, j번째의 소블록의 양자화 스텝 사이즈(Q_x(j))를 결정한다.

여기서, MB_cnt는 픽쳐 내의 소블록수를 나타내고, T_x는 픽쳐의 목표 부호량을 나타내며, G_x(j-1)은 j-1번째의 소블록까지의 발생 부호량을 나타낸다.

이어서, 스텝 S2076에서, 결정한 양자화 스텝 사이즈(Q_x(j)를 이용하고, j번째의 소블록의 양자화 및 부호화 처리를 실행한다.

이와 같이 하여, 도 5의 흐름도에 따라 1픽쳐분의 부호화를 종료하면, 도 4의 흐름도의 스텝 S208로 진행하고, 평균 양자화 스텝 사이즈<Q_x>를 산출하고, 계속해서 스텝 S209에서 실제의 발생 부호량(S_x)(최종적인 G_x(j)에서 구해지는 것)을 계측한다.

이 계측한 발생 부호량(S_x)과 이 산출한 평균 양자화 스텝 사이즈<Q_x>에 따라 상기 스텝 S2·BR>O4에서 다음의 동일 픽쳐 타입의 복잡 지표(X_x)를 갱신하게 된다.

이와 같이 하여, 본 발명에서는 영상 성질의 변화나 버퍼 점유량 등을 검출하고, 일시적으로 피드백양을 증가시킴으로써, 통상의 피드백양을 증가시키지 않고 수속 시간을 단축할 수 있게 된다.

도시한 실시예에 따라 본 발명을 설명하였지만, 본 발명은 이에 한정되는 것은 아니다.

예컨대, 실시예에서는 MPEG-2 TM5의 양자화 제어를 베이스로 하고 있는데, 부호화 비트율이 목표 비트율이 되도록 피드백 제어를 하고 있는 부호화 방식이라 면, 본 발명을 그대로 적용할 수 있다.

그 때, 이용하는 알고리즘에 맞추어 피드백양을 증가시키는 수단을 변경하면 된다.

본 발명에 의하면, 입력 영상의 성질이 급격한 변화나 디코더 버퍼의 파탄 등의 외적 요인이 생긴 경우, 급격한 발생 부호량의 변화를 억제하면서, 정상 상태로의 수속을 앞당길 수 있게 되고, 그 결과, 시퀀스 전체의 주관 화질 저하를 방지할 수 있게 된다.

Claims (13)

1. 영상을 부호화하고, 미리 정한 목표 비트율에 부호화 비트율을 근접시키는 제어를 하는 영상 부호화에 이용되는 양자화 제어 방법으로서,

   목표 부호량과 발생 부호량과의 차분을 계측하는 과정과,

   상기 발생 부호량을 급격히 변화시키는 요인이 되는 미리 정한 조건이 발생하였는지를 검출하는 과정과,

   상기 조건의 발생을 검출한 경우, 양자화 스텝 사이즈를 증감시키는 양이 되는 피드백양의 변경량을 결정하고, 그 결정한 변경량에 따라 피드백양을 변경하는 과정과,

   상기 계측한 차분 부호량과 상기 변경한 피드백양에 기초하여 양자화 스텝 사이즈를 증감시키는 과정을 구비하는 것을 특징으로 하는 양자화 제어 방법.
2. 제1항에 있어서,

   상기 피드백양을 변경하는 과정에서는, 상기 조건이 복수개 존재하는 경우, 각 조건에서 구한 피드백양의 변경량에 대해 규정의 연산을 실시함으로써 최종적인 피드백양의 변경량을 결정하는 것을 특징으로 하는 양자화 제어 방법.
3. 제1항에 있어서,

   상기 피드백양을 변경하는 과정에서는, 상기 조건에 대해서 사전에 복수의 문턱값을 설정하고, 그 문턱값을 넘을 때마다 피드백양의 변경량을 결정함으로써 피드백양을 단계적으로 변경하는 것을 특징으로 하는 양자화 제어 방법.
4. 제1항에 있어서,

   피드백양을 변경하는 경우, 미리 정한 일정 기간 경과 후에, 피드백양을 변경 전으로 되돌리는 과정을 구비하는 것을 특징으로 하는 양자화 제어 방법.
5. 제1항에 있어서,

   상기 조건이 복수개 존재하는 경우에 있어서, 그 조건에 따라 피드백양을 변경하는 경우, 각 조건마다 피드백양의 변경 기간을 설정하고, 그 설정한 변경 기간의 경과 후에 피드백양을 변경 전으로 되돌리는 과정을 구비하는 것을 특징으로 하는 양자화 제어 방법.
6. 제1항에 있어서,

   상기 조건의 발생을 검출하는 과정에서는, 영상 성질의 급격한 변화 발생을 검출하는 경우에, 상기 조건이 발생한 것을 검출하는 것을 특징으로 하는 양자화 제어 방법.
7. 제1항에 있어서,

   상기 조건의 발생을 검출하는 과정에서는, 수신측 버퍼의 점유량에 따라 수신측 버퍼가 언더플로우 또는 오버플로우될 가능성이 있음을 검출하는 경우에, 상 기 조건이 발생한 것을 검출하는 것을 특징으로 하는 양자화 제어 방법.
8. 제1항에 있어서,

   상기 조건의 발생을 검출하는 과정에서는 발생 부호량과 목표 부호량에 기초하여 설정되는 최대 발생 부호량을 비교하고, 발생 부호량이 최대 발생 부호량을 넘은 것을 검출하는 경우에, 상기 조건이 발생한 것을 검출하는 것을 특징으로 하는 양자화 제어 방법.
9. 영상을 부호화하고, 미리 정한 목표 비트율에 부호화 비트율을 근접시키는 제어를 하는 영상 부호화에 이용되는 양자화 제어장치로서,

   목표 부호량과 발생 부호량과의 차분을 계측하는 수단과,

   상기 발생 부호량을 급격히 변화시키는 요인이 되는 미리 정한 조건이 발생하였는지를 검출하는 수단과,

   상기 조건의 발생을 검출한 경우, 양자화 스텝 사이즈를 증감시키는 양이 되는 피드백양의 변경량을 결정하고, 그 결정한 변경량에 따라 피드백양을 변경하는 수단과,

   상기 계측한 차분 부호량과 상기 변경한 피드백양에 따라 양자화 스텝 사이즈를 증감시키는 수단을 구비하는 것을 특징으로 하는 양자화 제어장치.
10. 삭제
11. 제1항에 기재된 양자화 제어 방법의 실현에 이용되는 처리를 컴퓨터에 실행시키기 위한 양자화 제어 프로그램을 기록한 컴퓨터 독출 가능한 기록매체.
12. 제1항에 있어서,

    상기 영상 부호화는 고정 비트 레이트 부호화 방식을 이용한 것을 특징으로 하는 양자화 제어 방법.
13. 제9항에 있어서,

    상기 영상 부호화는 고정 비트 레이트 부호화 방식을 이용한 것을 특징으로 하는 양자화 제어장치.

Images