KR101267178B1 - 비디오에 대하여 색 인핸스먼트 계층을 인코딩 및 디코딩하기 위한 방법 및 디바이스 - Google Patents

Abstract

강화된 동적 범위는 픽셀의 단일 색 성분에 대하여 8비트 표현 이상을 필요로 한다. 이를 위하여, 보통의 색 해상도 영상 및 높은 색 해상도 영상이 이용가능하다. 하위 호환성은, 색 인핸스먼트 계층과, 종래 영상인 색 베이스 계층을 이용하는 계층형 접근법을 통해 달성할 수 있다. 둘 다 동일한 공간 및 시간 해상도를 갖는다. 색 인핸스먼트 계층의 인코딩은 예측 및 나머지를 이용한다. 최적화된 색 인핸스먼트 예측을 위한 방법이 개시되어 있다. 색 비트 깊이 예측은 블록의 한 색 성분의 모든 픽셀에 대하여 색 베이스 계층으로부터 색 인핸스먼트 계층을 근사화하는 다항식을 구성함으로써 이루어진다. 높은 색 해상도 영상의 예측 버전 및 나머지가 생성되고, 나머지에 의해 업데이트된다. 계수들은 압축되고, 데이터 스트림에 메타데이터로서 부가된다.

색 성분, 하위 호환성, 베이스 계층, 인핸스먼트 계층, 색 비트 깊이

Description

비디오에 대하여 색 인핸스먼트 계층을 인코딩 및 디코딩하기 위한 방법 및 디바이스{METHOD AND DEVICE FOR ENCODING AND DECODING COLOR ENHANCEMENT LAYER FOR VIDEO}

본 발명은 디지털 영상 프로세싱 및 비디오 압축 분야에 관한 것이다. 특히, 색 비트 깊이 조정가능 코딩에서 결정적인 이슈인 색 비트 깊이 예측을 위한 솔루션을 제공한다.

디지털 프로세싱의 장점은 높은 동적 범위 이용가능한 디지털 이미징 시스템에 대한 노력의 동기가 되어 전통적인 필름 기반의 이미징 기술을 대신하였다. 가장 폭넓게 이용하는 비디오 코딩 표준은 세 가지 색 성분(레드, 그린, 블루)을 활용하여 색 정보를 지정한다. 영상 내 한 픽셀의 단일 색 성분을 위한 종래의 8비트 표현과 비교하면, 향상된 동적 범위는 한 픽셀의 한 색 성분을 표현하는 데 8비트 이상을 필요로 한다. 높은 비트 깊이 색 기법의 발전으로, 기존의 8비트 깊이에 대한 하위 호환성(backward compatibility)의 이슈가 발생했다. 이 이슈에 대한 솔루션을 매우 원하고 있는데, 이는 8비트 깊이 및 높은 비트 깊이를 위한 새로운 압축 및 저장 기법, 전송 방법, 재생 디바이스 및 디스플레이 디바이스에 필요하기 때문이다.

또한, 단일 비트 스트림 내에 단일 비디오 콘텐츠의 상이한 색 비트 깊이를 제공하는 능력은 멀티미디어 콘텐츠 전송 동안 상이한 터미널 디스플레이 능력에 특히 중요하다. 8비트 깊이에의 하위 호환성에 대한 한 솔루션은 색 비트 깊이 확장성(scalability)이다. 색 비트 조정가능 비디오 코딩을 위한 가능한 프레임워크는 도 1에 도시한다. 두 입력 비디오 시퀀스는 동일한 장면(scene)을 기술하지만, 상이한 색 비트 깊이를 갖는데, 일반적으로 M=8인 반면 N=10, 12 또는 16이다. M비트 입력은 베이스 계층(base-layer)으로서 인코딩된다. 터미널에서, 표준 디스플레이 디바이스(Std Display)는 디코딩된 베이스 계층을 디스플레이용으로 이용할 수 있다.

N비트 입력의 더 많은 비주얼 정보는 인핸스먼트 계층(enhancement-layer)에서 인코딩된다. 터미널이 고품질의 디스플레이 디바이스(HQ Display)를 구비하는 경우, 디코딩된 인핸스먼트 계층과 디코딩된 베이스 계층은 완전한 정보를 제공하여 N비트 비디오 시퀀스를 디스플레이한다. 이 경우, 도 1에 도시한 계층 간 예측(inter-layer prediction)은 코딩 효율에 상당히 영향을 미친다.

본 발명은 이 경우에 대한 색 비트 깊이 예측, 즉 색 비트 깊이 확장성을 위한 계층 간 예측을 수행하기 위한 방법 및 디바이스를 제공한다.

본 발명의 한 양상에 따르면, 다항식 접근법에 의한 색 비트 깊이 예측을 위한 공간적으로 지역화된 접근법이 이용된다. 동일한 장면을 기술하고, 동일한 수의 프레임을 포함하는 두 비디오 시퀀스를 고려한다. 각각 두 시퀀스로부터 발생하고, 동일한 POC(Picture Order Count), 즉 동일한 타임 스탬프(time stamp)가 있는 두 개의 프레임을 본 명세서에서 지역화된 프레임 쌍으로 부른다. 각각의 동기화된 프레임 쌍에 대하여, (두 프레임에 각각 속하지만, 영상 좌표 시스템에서 동일한 좌표를 갖는 두 픽셀을 의미하는) 대응 픽셀들은 동일한 장면 위치 또는 실제 위치(real world location)를 의미한다. 대응 픽셀들 간의 차(difference)만이 색 해상도에 대응하는 색 비트 깊이이다. 도 1에서의 표기에 따라, 한 시퀀스는 M비트 색 깊이를 갖는 반면 다른 시퀀스는 N비트 깊이를 갖는데, M＜N이다. 색 비트 깊이 예측 작업은 M비트 시퀀스로부터 N비트 시퀀스의 예측 버전을 생성하는 것인데, 예측된 N비트 시퀀스와 오리지널 N비트 시퀀스 간의 차가 최소화되는 기준을 따른다.

한 실시예에서, PSNR은 차 측정으로서 이용된다. 이는 두 가지 장점이 있는데, 첫째, PSNR은 비디오 압축 분야에서 폭넓게 인정 및 이용된다. 둘째, 이 경우, 예측 영상이 어떻게 보이는지보다 예측 영상이 후속하는 나머지 데이터 압축에 대하여 어떻게 작용하는지가 더욱 중요하게 고려된다.

본 발명의 한 양상에 따르면, 비디오 영상의 제1 색 계층을 인코딩하기 위한 방법으로서,

상기 제1 색 계층은 소정 색의 픽셀들을 포함하고, 상기 픽셀들 각각은 제1 깊이의 색 값을 갖고,

상기 비디오 영상의 제2 색 계층을 생성 또는 수신하는 단계 - 상기 제2 색 계층은 상기 소정 색의 픽셀들을 포함하고, 상기 픽셀들 각각은 상기 제1 깊이보다 작은 제2 깊이의 색 값을 가짐 - 와,

상기 제1 색 계층을 제1 블록으로 그리고 상기 제2 색 계층을 제2 블록으로 분할하는 단계 - 상기 제1 블록은 상기 제2 블록과 동일한 수의 픽셀을 갖고, 그 각각의 영상 내에서 동일한 위치를 가짐 - 와,

상기 제1 색 계층(IN_i)의 제1 블록에 대하여 상기 제2 색 계층의 대응하는 제2 블록을 결정하는 단계와,

상기 제2 블록의 픽셀 값을 선형 변환 함수(LPA)를 이용하여 제3 블록의 픽셀 값으로 변환하는 단계 - 상기 선형 변환 함수는 상기 제1 블록과 예측된 제3 블록 간의 차를 최소화함 - 와,

상기 예측된 제3 블록과 상기 제1 블록 간의 차를 계산하는 단계와,

상기 제2 블록, 상기 선형 변환 함수의 계수 및 상기 차를 인코딩하는 단계

를 포함한다.

한 실시예에서, 블록의 모든 픽셀은 동일한 변환을 이용하고, 상기 변환은 제1 블록 및 그 대응하는 제2 블록의 각 쌍에 대하여 개별적이다.

한 실시예에서, 상기 제1 블록에서의 위치 (u,v)에 있는 픽셀은

에 따라 상기 제2 블록에서의 동일한 위치에 있는 대응 픽셀로부터 얻고,

상기 계수는 c_n, c_{n -1},..., c₀이다.

한 실시예에서, 상기 선형 변환 함수는 최소 제곱법으로 결정한다.

한 실시예에서, 상기 계수(Coef_i(l))를 메타데이터로서 포맷하는 단계와, 상기 인코딩된 제2 블록(BM_{i ,l})에 부가된 상기 메타데이터 및 상기 차를 전송하는 단계를 더 포함한다.

본 발명의 한 양상에 따르면, 비디오 영상의 제1 색 계층(IN_i)을 디코딩하기 위한 방법으로서,

상기 제1 색 계층은 소정 색의 픽셀들을 포함하고, 상기 픽셀들 각각은 제1 깊이(N)의 색 값을 갖고,

상기 비디오 영상의 제2 색 계층(IM_i)을 디코딩하는 단계 - 상기 제2 색 계층은 상기 소정 색의 픽셀들을 포함하고, 상기 픽셀들 각각은 상기 제1 깊이(N)보다 작은 제2 깊이(M)의 색 값을 가짐 - 와,

선형 변환 함수(LPA)의 계수(Coef_i(l))를 디코딩하는 단계와,

나머지 블록 또는 영상(IN^RES _{i ,l})을 디코딩하는 단계와,

상기 디코딩된 계수(Coef_i(l))를 갖는 상기 변환 함수(LPA)를 상기 비디오 영상의 디코딩된 제2 색 계층(IM_i)에 적용하는 단계 - 상기 비디오 영상의 예측된 제1 색 계층(IN'_i)을 얻음 - 와,

상기 비디오 영상의 예측된 제1 색 계층(IN'_i)을 상기 나머지 블록 또는 영상(IN^RES _i,l)으로 업데이트하는 단계

를 포함한다.

본 발명의 한 양상에 따르면, 비디오 영상의 제1 색 계층(IN_i)을 인코딩하기 위한 디바이스로서,

상기 제1 색 계층은 소정 색의 픽셀들을 포함하고, 상기 픽셀들 각각은 제1 깊이(N)의 색 값을 갖고,

상기 비디오 영상의 제2 색 계층(IM_i)을 생성 또는 수신하기 위한 수단 - 상기 제2 색 계층은 상기 소정 색의 픽셀들을 포함하고, 상기 픽셀들 각각은 상기 제1 깊이(N)보다 작은 제2 깊이(M)의 색 값을 가짐 - 과,

상기 제1 색 계층을 제1 블록(BN_{i ,l})으로 그리고 상기 제2 색 계층을 제2 블록(BM_{i ,l})으로 분할하기 위한 수단 - 상기 제1 블록은 상기 제2 블록과 동일한 수의 픽셀을 갖고, 그 각각의 영상(IM_i, IN_i) 내에서 동일한 위치를 가짐 - 과,

상기 제1 색 계층(IN_i)의 제1 블록(BN_{i ,l})에 대하여 상기 제2 색 계층(IM_i)의 대응하는 제2 블록(BM_{i ,l})을 결정하기 위한 수단과,

상기 제2 블록(BM_{i ,l})의 픽셀 값을 선형 변환 함수(LPA)를 이용하여 제3 블록(BN^p _{i ,l})의 픽셀 값으로 변환하기 위한 수단 - 상기 선형 변환 함수는 상기 제1 블록(BN_{i ,l})과 예측된 제3 블록(BN^p _{i ,l}) 간의 차를 최소화함 - 과,

상기 예측된 제3 블록(BN^p _{i ,l})과 상기 제1 블록(BN_{i ,l}) 간의 차를 계산하기 위한 수단과,

상기 제2 블록(BM_{i ,l}), 상기 선형 변환 함수(LPA)의 계수(Coef_i(l)) 및 상기 차를 인코딩하기 위한 수단

을 포함한다.

본 발명의 한 양상에 따르면, 비디오 영상의 제1 색 계층(IN_i)을 디코딩하기 위한 디바이스로서,

상기 제1 색 계층은 소정 색의 픽셀들을 포함하고, 상기 픽셀들 각각은 제1 깊이(N)의 색 값을 갖고,

상기 비디오 영상의 제2 색 계층(IM_i)을 디코딩하기 위한 수단 - 상기 제2 색 계층은 상기 소정 색의 픽셀들을 포함하고, 상기 픽셀들 각각은 상기 제1 깊이(N)보다 작은 제2 깊이(M)의 색 값을 가짐 - 과,

선형 변환 함수(LPA)의 계수(Coef_i(l))를 디코딩하기 위한 수단과,

나머지 블록 또는 영상(IN^RES _{i ,l})을 디코딩하기 위한 수단과,

상기 디코딩된 계수(Coef_i(l))를 갖는 상기 변환 함수(LPA)를 상기 비디오 영상의 디코딩된 제2 색 계층(IM_i)에 적용하기 위한 수단 - 상기 비디오 영상의 예측된 제1 색 계층(IN'_i)을 얻음 - 과,

상기 비디오 영상의 예측된 제1 색 계층(IN'_i)을 상기 나머지 블록 또는 영상(IN^RES _i,l)으로 업데이트하기 위한 수단

을 포함한다.

본 발명의 다른 실시예들은 종속 청구항들과, 이하의 상세한 설명 및 도면에 개시되어 있다.

본 발명의 예시적인 실시예는 첨부한 도면을 참조하여 기술한다.

도 1은 색 비트 깊이 조정가능 비디오 코딩을 위한 프레임워크이다.

도 2는 다항식 근사법을 이용하는 지역화된 색 비트 깊이 예측을 위한 블록 다이어그램이다.

도 3은 블록 레벨 다항식 근사법의 블록 다이어그램이다.

도 4는 메타데이터 인코딩 및 디코딩의 블록 다이어그램이다.

일반성을 손실하지 않는 다음의 예들에서, 각 프레임은 실제 구현에서 예를 들어 레드(red), 그린(green) 및 블루(blue)로서 지정되는 세 가지 색 성분 C1, C2 및 C3로 이루어져 있다고 가정한다. 본 발명에 따르면, 이하에서 기술하는 프로세 싱은 각각의 개별 색 성분 C1, C2 및 C3에 이용한다.

다음의 표기가 본 명세서의 나머지 부분에서 이용된다.

K - 두 입력 비디오 시퀀스의 전체 프레임 수

W - 각 프레임의 영상 폭

H - 각 프레임의 영상 높이

IM_i(u,v) - M비트 시퀀스의 한 가지 색 성분(C1, C2 또는 C3)이고, 아래 첨자 i는 POC를 나타내고(i=1,2,? K), (u,v)는 픽셀 좌표를 나타낸다(u=0,1,? W-1, v=0,1,? H-1). 실제 인코딩/디코딩 프로세싱 시, IM_i(u,v)는 인코더에서 M비트 시퀀스의 재구성된 버전이어야 한다는 점을 강조해야 한다. 이하에서, 용어 IM_i(u,v)는 M비트 시퀀스의 재구성된 버전을 표현하는 데 이용한다.

IN_i(u,v) - N비트 시퀀스의 한 가지 색 성분(C1, C2 또는 C3)이고, 아래 첨자 i는 POC를 나타내고(i=1,2,? K), (u,v)는 픽셀 좌표를 나타낸다(u=0,1,? W-1, v=0,1,? H-1).

도 2는 색 비트 깊이 예측을 위한 공간적으로 지역화된 다항식 근사법을 동기화된 프레임 쌍의 각 색 성분에 대하여 수행하기 위한 인코더를 도시한다. 입력 동기화된 프레임 쌍(IM_i,IN_i)은 이하에서 상세하게 기술하는 LPA(Localized Polynomial Approximation) 모듈에 공급된다. 이 모듈은 지역화된 근사 다항식을 결정하고, 결정된 지역화된 근사 다항식의 계수를 구성하는 메타데이터(Coef_i)를 출 력한다. 또한, 이 모듈은 계층 간 예측이 이용하는 N비트 입력 프레임(IN_i)의 예측 버전(IN^p _i)을 출력하여, 예측과 실제의 높은 비트 깊이 영상 간의 차(difference)를 정의하는 나머지(residual) IN^RES _i를 생성한다. 나머지 데이터는 인핸스먼트 계층 데이터 스트림에 전송된다.

메타데이터의 크기를 줄이기 위하여, 메타데이터(Coef_i)는 압축되고, 압축된 메타데이터는 다중화된 비트 스트림(베이스 계층 비트 스트림과 인핸스먼트 계층 비트 스트림)과 함께 사이드 정보(side information)로서 전송될 수도 있다.

디코더에서, 베이스 계층 영상(IM'_i)이 전통적으로 디코딩되고, 압축된 메타데이터는 지역화된 근사 다항식의 계수를 재구성하도록 압축해제된다. 그리고나서, 예측된 높은 비트 깊이 영상(IN^p _i)은 디코딩된 베이스 계층 영상(IM'_i)에 대하여 근사 다항식을 적용함으로써 생성된다. 디코딩된 높은 비트 깊이 인핸스먼트 계층 영상(IN_i)은 계층 간 예측을 예측 영상(IN^p _i)에 적용함으로써 그리고 그 결과를 디코딩된 인핸스먼트 계층 데이터의 디코딩된 나머지와 함께 업데이트함으로써 마지막으로 재구성된다.

이하에서, 지역화된 다항식 근사법 모듈 및 메타데이터 압축 모듈을 상세하게 기술한다.

지역화된 다항식 근사법 모듈에서, 동기화된 프레임 쌍의 영상들은 공간적으로 수많은 블록으로 분할되는데, 블록의 크기는 고정되거나 변할 수 있고, 다항식 근사법은, 두 개의 프레임으로부터 각각 추출되고, 동일한 블록 인덱싱 번호를 갖는 두 개의 대응 블록 사이에서 이루어진다. 다음의 표기는 이 섹션의 나머지 부분에서 이용된다.

bSize는 블록 크기에 대한 파라미터이다. 각 블록은 bSize×bSize 픽셀을 포함할 수도 있다. 실제 인코딩/디코딩 프로세싱에 대하여, bSize는 매크로블록 레벨 계층 간 예측에 편리한 8의 배수일 수도 있다. 영상 크기는 bSize×bSize의 배수일 수도 있는데, 바꿔 말하면 W와 H 둘 다 bSize의 배수이다. 패딩(padding)을 이용해 사전-프로세싱을 수행하여 W와 H를 bSize의 배수가 되게 하는 것도 가능하다.

BM_{i ,l}은 i번째 프레임 IM_i의 한 블록이고, l은 블록 인덱싱 번호를 나타낸다.

BN_{i ,l}은 i번째 프레임 IN_i의 한 블록이고, l은 블록 인덱싱 번호를 나타낸다.

도 3은 도 2에 대응하는 동기화된 프레임 쌍의 영상들 간의 블록-레벨 다항식 근사법을 도시한다. 상이한 색 비트 깊이를 갖는 대응 영상 IM_i, IN_i 내 동일한 위치로부터의 두 블록 BM_{i ,l}, BN_{i ,l}이 다항식 근사법에 공급되고, 도 3에서 벡터로서 도시하고, 상술한 바와 같이 메타데이터로서 포맷될 수 있는 출력 계수들의 세트 Coef_i(l)가 생성된다. 출력 메타데이터 Coef_i(l)은 BN_{i ,l}에 대하여 결정된 근사 다 항식의 계수들을 포함한다. 출력 BN^p _{i ,l}은 도 2에 도시한 예측 영상 IN^p _i에 대응하는 BN_i,l의 예측 버전이다.

근사 다항식의 각 항의 차수(order) 및 거듭제곱(power)은 본 발명에서 결정되지 않는다. 일반적으로, 이는 실제 구현에 따라 지정되어야 한다. 그러나 부분 거듭제곱(fractional power)의 항들을 포함하는 다항식의 임의 형태들에 대하여, 다항식 계수 Coef_i(l)을 얻는 일반적인 해법은 다음과 같이 기술하는 선형 방정식의 시스템을 해결함으로써 제공된다.

형태의 일반 다항식이 주어지면

수학식 (1)은 BM_{i ,l}을 BN_{i ,l}에 관련시키는 선형 방정식이다.

수학식 (1)은 블록 BM_{i ,l} 및 BN_{i ,l}의 모든 픽셀에 적용할 수도 있다. 전체로, 각 대응 블록 쌍 BM_{i ,l} 및 BN_{i ,l}에 대하여 bSize×bSize 선형 방정식들이 존재한다. 각 방정식은 높은 비트 깊이 블록의 픽셀과 낮은 비트 깊이 블록의 대응 픽셀 간의 관계를 나타내는데, 높은 비트 깊이 블록의 픽셀 값은 낮은 비트 깊이 블록의 대응 픽셀 값의 다항 함수와 같다. 픽셀 위치 (u,v)에 대하여, 수학식 (1)은 다음과 같이 이해될 수 있다.

변환 계수 c_n, c_n-1,..., c_l, c_l/2,..., c_l/m, c₀은 어떤 표준 방법, 예컨대 최소 제곱법(least square fit)을 통해 얻을 수 있다. 계수들에 대한 고유한 솔루션을 얻기 위하여, 사전-조건 bSize×bSize≥n+m을 만족해야 한다. 그러나 실제로는 이 제약을 통상적으로 만족시킨다. 그러면 디코더에서 블록의 예측 버전 BN^p _i,l은 수학식 (2)에 따라 디코딩된 베이스-계층 픽셀 BM_i,l로부터 얻는다.

실제로, IN을 IM에 관련시키는 절단(truncation) 또는 대수(logarithm)형 변환은 아마 존재할 것 같다. 절단은 낮은 비트 깊이 버전을 생성하는 높은 비트 깊이 버전의 오른쪽 비트-시프트를 의미하는데, 10비트 비디오 시퀀스가 있다고 가정하면, 8비트 비디오 시퀀스로의 절단은, 10비트 버전의 각 샘플 값이 오른쪽 비트 시프트되고, 따라서 가장 낮은 2비트를 무시한다는 점을 의미한다. 그와 같은 절단 또는 대수형 변환이 존재하는 경우, 근사 다항식의 다음의 형태는 근사 정확도, 계산의 복잡도 및 다항식 계수들의 오버헤드 간의 양호한 트레이드-오프이다.

실제 애플리케이션에 대하여, BM_{i ,l} 및 BN_{i ,l}은 수학식 (2)의 생성 전에 범위 [0,1] 내의 값으로 정규화될 수도 있다. 정규화의 장점은, 첫째, 수치 해석의 관점으로부터, 정규화를 통해 더욱 정확한 근사화 결과가 이루어질 수도 있고, 둘째로 다항식 계수들은 실제 인코딩/디코딩 프로세싱에서 더 압축된다. BM_{i ,l} 및 BN_{i ,l}의 정규화는 통상적으로 Coef_i(l)의 동적 범위를 줄여, 후속하는 양자화가 더욱 정밀하게 된다. 즉, BN_{i ,l}(u,v)는 위치 u,v에 있는 단일 픽셀을 나타내고, 플로팅 포인트 값(즉, [0,1]로 정규화된 픽셀의 N비트 정수 값)이다. BM_{i ,l}(u,v)도 플로팅 포인트 값(즉, [0,1]로 또한 정규화된 동일한 위치에서의 M비트 정수 값)이다. 유익하게도, 본 발명은 BM_{i .l}(u,v)로부터 BN_{i ,l}(u,v)를 예측하는 방법을 기술한다.

계수 Coef_i(l)은 블록 레벨을 의미한다. 이는, 각 블록에 대하여 계수들의 한 세트만 존재하여 블록 내 모든 픽셀은 동일한 계수들을 공유한다는 점을 의미한다.

본 발명의 한 양상은 시간상으로 연속하는 블록들 간의 나머지만이 양자화 및 엔트로피 코딩되는 인터-코딩의 동일한 아이디어를 이용하는 방식으로 메타데이터(적어도 계수들)를 코딩하는 것이다. 실제 인코딩/디코딩 프로세싱에서, (본 명세서에서 다항식 계수들을 의미하는) 메타데이터의 오버헤드가 중요하다. 수학식 (4)가 이용되는 경우, 각 동기화된 프레임 쌍 IM_i, IN_i의 메타데이터의 데이터 크기는 4×[W/bSize]×[H/bSize] 플로팅-포인트 값이다. 게다가, 이러한 값들의 양자화는 매우 높은 정밀도이어야 한다. 따라서, 메타데이터에 대한 압축 기법은 전체 코딩 효율을 개선하는 데 장점이 있다.

시퀀스의 연속적인 프레임들 간의 높은 상관 관계(correlation)가 존재하므로, 연속적인 프레임들의 메타데이터 간의 높은 상관 관계도 존재한다. 그러므로 Coef_i를 직접적으로 인코딩하는 대신 연속적인 Coef_i 간의 차를 인코딩하는 것은 코딩 효율을 상당히 개선한다. 메타데이터를 인코딩/디코딩하기 위한 일반적인 방법은 도 4에 도시한다.

도 4의 상부는 계수 Coef_i에 대한 인코딩 프로세스를 도시한다. 우선, 통상적으로 비디오 코딩 분야에서 나머지로 불리는 Coef_i와 Coef'_{i -1}(재구성된 Coef_{i -1})의 차가 양자화된다. 그리고나서, 양자화된 나머지가 엔트로피 코딩된다. 제1 프레임 쌍의 계수들의 세트는 독립적으로 양자화 및 엔트로피 인코딩된다.

디코더에서, 반대 프로세싱이 이루어지는데, 첫째, 압축된 메타데이터가 엔트로피 디코딩 및 역양자화되어 Coef_i의 나머지를 생성하고, 둘째, Coef_i의 나머지가 이미 디코딩된 Coef'_{i -1}에 부가되어 Coef'_i를 얻는다. 제1 프레임 쌍의 계수들의 세트는 독립적으로 역양자화 및 엔트로피 디코딩된다. 이 예에서 계수들은 메타데이터로서 포맷 및 전송되지만, 이는 예시적인 가능성일 뿐이다.

메타데이터 간의 상관 관계를 이용하는 다른 방법들은 메타데이터 압축에 대하여 또한 이용할 수도 있다.

본 발명의 한 양상은, 높은 비트 깊이 비디오 시퀀스와 동일한 비주얼 콘텐츠인 낮은 비트 깊이 비디오 시퀀스로부터 높은 비트 깊이 비디오 시퀀스를 예측하기 위한 방법으로서, 높은 비트 깊이 프레임과 동일한 타임 스탬프(time stamp)를 나타내는 낮은 비트 깊이 프레임에 대하여 다항식의 함수를 적용함으로써 높은 비트 깊이 프레임의 지역화된 근사법을 수행하기 위한 모듈 - 상기 지역화된 근사법은 두 개의 고려되는 비디오 시퀀스의 각 색 성분에 대하여 이용함 - 과, 메타데이터를 인코딩/디코딩하여 전체 코딩 효율을 개선하기 위한 모듈 - 상기 메타데이터 인코딩/디코딩은 각 색 성분의 메타데이터에 대하여 이용해야 함 - 을 포함한다.

한 실시예에서, 지역화된 근사법 모듈은 색 비트 깊이 조정가능 코딩의 계층 간 예측을 위한 높은 비트 깊이 비디오 시퀀스의 예측 버전이 되고, 다항식 계수들은 메타데이터로서 전송된다.

한 실시예에서, 각 색 성분에 대한 지역화된 다항식 근사를 위한 방법은,

두 개의 고려되는 프레임을 수많은 고정된 크기의 블록으로 분할하고,

일반적으로 정수 거듭제곱 항, 부분 거듭제곱 항 및 상수 항을 포함하는 근사 다항식의 형태를 선택하고,

두 개의 고려되는 프레임의 값을 범위 [0,1]로 정규화하여 다음의 두 단계,

(두 개의 같은 장소에 배치된 블록은 높은 비트 깊이 프레임 및 낮은 비트 깊이 프레임으로부터 각각 선택된다는 점을 의미하는) 각 대응 블록 쌍에 대하여 선형 방정식의 시스템을 확립하는 단계 - 각 방정식은 높은 비트 깊이 블록 내 픽셀과 낮은 비트 깊이 블록 내 대응 픽셀 간의 관계를 나타내고, 높은 비트 깊이 블록 내 픽셀 값은 낮은 비트 깊이 블록 내 대응 픽셀 값의 다항 함수와 동일함 -

확립된 선형 방정식의 시스템을 최소 제곱법을 통해 해결하는 단계

로 다항식 계수들의 더욱 정확한 추정 결과를 얻고, 메타데이터 압축 모듈에서 더욱 효과적인 양자화를 얻는다.

Claims (10)

1. 비디오 영상의 제1 색 계층(IN_i)을 인코딩하기 위한 방법으로서 - 상기 제1 색 계층은 주어진 색의 픽셀들을 포함하고, 상기 픽셀들 각각은 제1 깊이(N)의 색 값을 가짐 -,

   상기 비디오 영상의 제2 색 계층(IM_i)을 생성 또는 수신하는 단계 - 상기 제2 색 계층은 상기 주어진 색의 픽셀들을 포함하고, 상기 픽셀들 각각은 상기 제1 깊이(N)보다 작은 제2 깊이(M)의 색 값을 가짐 -;

   상기 제1 색 계층을 제1 블록들(BN_i,l)로 분할하고 그리고 상기 제2 색 계층을 제2 블록들(BM_i,l)로 분할하는 단계 - 상기 제1 블록들은 상기 제2 블록들과 동일한 수의 픽셀들을 갖고, 자신들의 각각의 영상(IM_i, IN_i) 내에서 동일한 위치를 가짐 -;

   상기 제1 색 계층(IN_i)의 제1 블록(BN_i,l)에 대하여 상기 제2 색 계층(IM_i)의 대응하는 제2 블록(BM_i,l)을 결정하는 단계;

   상기 제2 블록(BM_i,l)의 픽셀들의 값들을 선형 변환 함수(LPA)를 이용하여 제3 블록(BN^p _i,l)의 픽셀들의 값들로 변환하는 단계 - 상기 선형 변환 함수는 상기 제1 블록(BN_i,l)과 예측된 제3 블록(BN^p _i,l) 간의 차를 최소화함 -;

   상기 예측된 제3 블록(BN^p _i,l)과 상기 제1 블록(BN_i,l) 간의 차를 계산하는 단계; 및

   상기 제2 블록(BM_i,l), 상기 선형 변환 함수(LPA)의 계수들(Coef_i(l)) 및 상기 차를 인코딩하는 단계

   를 포함하는 인코딩 방법.
2. 제1항에 있어서,

   블록의 모든 픽셀들은 동일한 변환을 이용하고, 상기 변환은 제1 블록(BN_i,l) 및 그 대응하는 제2 블록(BM_i,l)의 각 쌍에 대하여 개별적인 인코딩 방법.
3. 제1항에 있어서,

   상기 제1 블록(BN_i,l)에서의 위치 (u,v)에 있는 픽셀은,

   BN_i,l(u,v) = (BM_i,l(u,v))ⁿ c_n + (BM_i,l(u,v))^n-1 c_n-1 + ...

   +(BM_i,l(u,v))^1/m c_1/m + c₀

   에 따라 상기 제2 블록(BM_i,l)에서의 동일한 위치에 있는 대응 픽셀로부터 얻고,

   상기 계수들(Coef_i(l))은 c_n, c_n-1,..., c₀인 인코딩 방법.
4. 제1항에 있어서,

   상기 선형 변환 함수(LPA)는 최소 제곱법(least square fit method)에 의해 결정되는 인코딩 방법.
5. 제1항에 있어서,

   상기 계수들(Coef_i(l))을 메타데이터로서 포맷하는 단계와,

   상기 인코딩된 제2 블록(BM_i,l)에 첨부된 상기 메타데이터 및 상기 차를 전송하는 단계

   를 더 포함하는 인코딩 방법.
6. 제5항에 있어서,

   상기 메타데이터는 인터-프레임 코딩되는 인코딩 방법.
7. 비디오 영상의 제1 색 계층(IN_i)을 디코딩하기 위한 방법으로서 - 상기 제1 색 계층은 주어진 색의 픽셀들을 포함하고, 상기 픽셀들 각각은 제1 깊이(N)의 색 값을 가짐 -,

   상기 비디오 영상의 제2 색 계층(IM_i)을 디코딩하는 단계 - 상기 제2 색 계층은 상기 주어진 색의 픽셀들을 포함하고, 상기 픽셀들 각각은 상기 제1 깊이(N)보다 작은 제2 깊이(M)의 색 값을 가짐 -;

   선형 변환 함수(LPA)의 계수들(Coef_i(l))을 디코딩하는 단계;

   나머지 블록 또는 영상(residual block or image)을 획득하기 위해 상기 제1 색 계층의 인코딩된 데이터를 디코딩하는 단계;

   상기 디코딩된 계수들(Coef_i(l))을 갖는 상기 변환 함수(LPA)를 상기 비디오 영상의 디코딩된 제2 색 계층(IM_i)에 적용하는 단계 - 상기 비디오 영상의 예측된 제1 색 계층(IN'_i)이 얻어짐 -; 및

   상기 비디오 영상의 예측된 제1 색 계층(IN'_i)을 상기 나머지 블록 또는 영상(IN^RES _i,l)으로 업데이트하는 단계

   를 포함하는 디코딩 방법.
8. 제7항에 있어서,

   상기 나머지 블록 또는 영상을 획득하기 위해 상기 제1 색 계층의 인코딩된 데이터를 디코딩하는 단계는 인터-프레임 디코딩을 포함하는 디코딩 방법.
9. 비디오 영상의 제1 색 계층(IN_i)을 인코딩하기 위한 디바이스로서 - 상기 제1 색 계층은 주어진 색의 픽셀들을 포함하고, 상기 픽셀들 각각은 제1 깊이(N)의 색 값을 가짐 -,

   상기 비디오 영상의 제2 색 계층(IM_i)을 생성 또는 수신하기 위한 수단 - 상기 제2 색 계층은 상기 주어진 색의 픽셀들을 포함하고, 상기 픽셀들 각각은 상기 제1 깊이(N)보다 작은 제2 깊이(M)의 색 값을 가짐 -;

   상기 제1 색 계층을 제1 블록들(BN_i,l)로 분할하고 그리고 상기 제2 색 계층을 제2 블록들(BM_i,l)로 분할하기 위한 수단 - 상기 제1 블록들은 상기 제2 블록들과 동일한 수의 픽셀들을 갖고, 자신들의 각각의 영상(IM_i, IN_i) 내에서 동일한 위치를 가짐 -;

   상기 제1 색 계층(IN_i)의 제1 블록(BN_i,l)에 대하여 상기 제2 색 계층(IM_i)의 대응하는 제2 블록(BM_i,l)을 결정하기 위한 수단과,

   상기 제2 블록(BM_i,l)의 픽셀들의 값들을 선형 변환 함수(LPA)를 이용하여 제3 블록(BN^p _i,l)의 픽셀들의 값들로 변환하기 위한 수단 - 상기 선형 변환 함수는 상기 제1 블록(BN_i,l)과 예측된 제3 블록(BN^p _i,l) 간의 차를 최소화함 -;

   상기 예측된 제3 블록(BN^p _i,l)과 상기 제1 블록(BN_i,l) 간의 차를 계산하기 위한 수단; 및

   상기 제2 블록(BM_i,l), 상기 선형 변환 함수(LPA)의 계수들(Coef_i(l)) 및 상기 차를 인코딩하기 위한 수단

   을 포함하는 인코딩 디바이스.
10. 비디오 영상의 제1 색 계층(IN_i)을 디코딩하기 위한 디바이스로서 - 상기 제1 색 계층은 주어진 색의 픽셀들을 포함하고, 상기 픽셀들 각각은 제1 깊이(N)의 색 값을 가짐 -,

    상기 비디오 영상의 제2 색 계층(IM_i)을 디코딩하기 위한 수단 - 상기 제2 색 계층은 상기 주어진 색의 픽셀들을 포함하고, 상기 픽셀들 각각은 상기 제1 깊이(N)보다 작은 제2 깊이(M)의 색 값을 가짐 -;

    선형 변환 함수(LPA)의 계수들(Coef_i(l))을 디코딩하기 위한 수단;

    나머지 블록 또는 영상을 획득하기 위해 상기 제1 색 계층의 인코딩된 데이터를 디코딩하기 위한 수단;

    상기 디코딩된 계수들(Coef_i(l))을 갖는 상기 변환 함수(LPA)를 상기 비디오 영상의 디코딩된 제2 색 계층(IM_i)에 적용하기 위한 수단 - 상기 비디오 영상의 예측된 제1 색 계층(IN'_i)이 얻어짐 -; 및

    상기 비디오 영상의 예측된 제1 색 계층(IN'_i)을 상기 나머지 블록 또는 영상(IN^RES _i,l)으로 업데이트하기 위한 수단

    을 포함하는 디코딩 디바이스.

Images