KR100791453B1 - 움직임보상 시간축 필터링을 이용한 다시점 비디오 부호화및 복호화 방법 및 장치 - Google Patents

Abstract

움직임보상 시간축 필터링을 이용한 다시점 비디오 부호화 및 복호화 방법 및 장치에 관한 것으로, 복수의 카메라에서 촬상된 비디오 신호에 대해 움직임보상 시간축 필터링(MCTF)을 이용하여 다시점 비디오로 부호화하는 부호화기로서, 복수의 카메라에서 촬상된 비디오 신호를 시퀀스 입력으로 하여 MCTF 분해하는 MCTF 분해수단, MCTF 분해수단에서의 저대역 영상신호을 부호화하는 제1의 부호화수단, MCTF 분해수단에서 저대역을 제외한 나머지 고대역 영상신호를 부호화하는 제2의 부호화수단 및 MCTF 분해수단에서의 움직임 벡터정보, 제1의 부호화수단에서의 양안차 벡터정보와 압축 데이터 및 제2의 부호화수단에서의 압축 데이터를 다중화하여 비트스트림을 생성하는 멀티플렉서의 구성을 마련한다.

상기와 같은 다시점 비디오 부호화 및 복호화 방법 및 장치를 이용하는 것에 의해, 종래 비디오 부호화 기법들을 이용한 동시방송 기술에 비하여 높은 부호화 효율을 얻을 수 있다는 효과가 얻어진다.

저대역 영상, 고대역 영상, MCTF, DCVF, 부호화, 복호화

Description

움직임보상 시간축 필터링을 이용한 다시점 비디오 부호화 및 복호화 방법 및 장치{Multi-view Video Encoding and Decoding Method and apparatus Using Motion Compensated Temporal Filtering}

도 1은 종래의 다시점 동영상 부호화 장치의 블록도,

도 2는 본 발명에 따른 움직임보상 시간축 필터링을 이용한 다시점 비디오 부호화 및 복호화 방법 및 장치를 설명하기 위한 다시점 비디오 부호화 모델을 나타내는 도면,

도 3은 다시점 비디오 부호화를 위한 동시방송 방법의 개념도,

도 4는 본 발명의 제1 실시예에 따라 각 시점별로 MCTF 수행 후 추출된 저대역 영상을 시점방향 예측부호화를 수행하는 예측구조의 개념도,

도 5는 본 발명의 제1 실시예에 따른 부호화기와 복호화기의 구성도,

도 6은 본 발명의 제2 실시예에 따라 시점별로 MCTF 수행 후 추출된 저대역 영상을 DCVF를 수행하는 예측구조의 개념도,

도 7은 본 발명의 제2 실시예에 따른 부호화기와 복호화기의 구성도,

도 8은 본 발명의 제3 실시예에 따라 시점 별로 서로 다른 시간 해상도를 갖는 복호화 과정의 나타내는 도면.

* 도면의 주요 부분에 대한 부호의 설명 *

100 : 비디오 촬상용 카메라 200 : 다시점 비디오 부호화기

300 : 채널 400 : 다시점 비디오 복호화기

500 : 단말기

본 발명은 움직임보상 시간축 필터링(Motion Compensated Temporal Filtering; 이하 MCTF라고 칭함)을 이용하여 다시점 비디오(Multi-view Video) 부호화 및 복호화를 수행하는 방법과 그 장치에 관한 것이다.

일반적으로 다시점 비디오는 복수개의 카메라를 이용하여 얻은 여러 개의 시점(View) 영상을 제공함으로써 사용자에게 현장감과 몰입감을 제공하는 새로운 형태의 멀티미디어 기술이다. 이러한 다시점 비디오 응용은 삼차원 정보를 표현, 저장, 전송함에 있어 가장 일반적이고도 도전적인 응용모델로서 사용자에게 미디어와의 상호작용성을 부여하여 보다 실감나는 가상현실을 제공하는 것을 목표로 한다.

이 기술은 향후 3차원 영화, 실감방송, 오락, 의료실습, 교육, 관광 및 문화, 원격감시, 국보급 문화재나 중요 전통문화 등의 정보기록 등의 광범위한 응용에 활용이 가능하다. 또한 지금처럼 미디어의 일방적인 수용에서 벗어나, 사용자가 미디어의 관측방향과 시점을 자유롭게 조작할 수 있으므로 능동형 미디어로의 변화를 가능케 한다. 하지만 시점의 개수가 증가함에 따라 영상획득, 영상저장 및 전송, 영상재현의 문제가 발생한다. 특히 영상저장 및 전송에 있어서 제한된 저장용 량이나, 증가하는 채널 대역 요구조건은 다시점 비디오 서비스의 가장 큰 장애요인이다.

따라서 다시점 비디오 응용을 위해서는 높은 부호화 효율(Compression efficiency), 사용자와의 상호작용성(Interactivity), 그리고 다양한 스케일러빌리티(View scalability, Temporal scalability), 시점 및 시간 방향으로의 임의접근능력(Random access) 등을 만족시키는 부호화 기술이 필요하다.

다시점 비디오 부호화를 위한 종래의 기술은 동시방송(Simulcast) 방법이다. 이 방법은 각각의 시점을 기존의 비디오 부호화 표준을 이용하여 독립적으로 부호화하는 방식으로서 각 시점 상호간의 상관도를 이용하지 않기 때문에 부호화의 효율이 제한된다. 이러한 동시방송 방법보다 부호화 효율을 높이고 앞서의 요구조건들을 만족시키기 위해 다시점 비디오를 위한 다양한 부호화 기술이 개발되고 있다.

최근 H.264/AVC 부호화 기술을 이용하여 시점 간의 상관도를 효과적으로 제거하기 위한 부호화 방법이 고안되고 있다. 예를 들어, 다양한 크기의 움직임 벡터 및 참조 프레임 뿐 아니라 주변 매크로 블록들의 모드를 이용하여 서로 다른 블록 크기로 에러를 은닉하는 기법으로서, "H.264/AVC에서의 시방향 에러은닉 기법"(한국통신학회논문집 05-2Vol.30 No2C)이 제시되고 있다. 이 방법들은 주로 현재의 프레임을 가장 잘 예측할 수 있는 참조영상을 찾기 위하여 시간 방향과 시점 방향의 참조영상들을 고려한다. 이는 부호화 효율을 높이는 데는 장점이지만, 예측을 위한 참조영역이 시점 방향으로 확대되었기 때문에 예측을 위해 방대한 계산이 요구되는 단점이 있다. 시점 간의 상관도를 보다 효과적으로 제거하기 위하여 카메 라의 내부적(intrinsic), 외부적(extrinsic) 파라미터에 근거한 기하학적 정보를 이용하여 시점을 예측하는 새로운 방식들이 제안되기도 하였다. 하지만 기하학적 정보의 경우 정확한 데이터를 얻는 것이 매우 어려울 뿐더러 많은 비용을 필요로 하며, 최악의 경우 정보가 전혀 존재하지 않는 상황도 발생하기 때문에 기하학적 정보를 포함하지 않는 경우에도 대응할 수 있는 기술이 요구된다.

이 밖에도 다시점 비디오 영상의 획득 시 발생할 수 있는 색상 및 밝기의 불일치를 해결하기 위해 밝기보상 처리 방법 등이 고안되었다.

또, 다시점 동영상 부호화장치에 관한 일례가 대한민국 공개특허공보 2003-0083285(2003년 10월 30일)호에 개시되어 있다.

상기 공보에 있어서는 다 시점 동영상 부호화 장치에 대한 블록 구성도인 도 1에 도시된 바와 같이, 다시점 동영상 소스(multi view video source) 데이터를 부호화하는 동영상 장치에 있어서, 다 시점 동영상 소스 데이터가 입력되면, 노이즈 제거, 임발란싱(imbalancing) 문제를 해결하면서 데이터간의 상관도를 높여 신뢰도를 증가시키는 전처리부(10), 다시점 동영상 데이터의 변이 벡터 및 움직임 벡터를 추정하기 위하여 MPEG-2 구조를 시점축으로 확장하여 공간적/시간적 상관도를 이용하여 추정하는 변이 추정부 및 움직임 추정부(30, 40), 변이 추정부 및 움직임 추정부(30, 40)에 의해 복원된 영상을 반화소 보상 방법을 이용하여 보상하는 변이/움직임 보상부(50), 전처리부(10)로부터 제공된 원 영상과 변이/움직임 보상부(30, 40)에 의해 보상된 복원 영상의 차 정보를 보다 나은 영상 화질과 입체감을 제공하기 위한 부호화를 수행하는 차영상 부호화부(60), 차영상 부호화부에 의해 부호화 된 복원 영상에 대하여 비트율에 따라 각 프레임에 효율적인 비트량을 할당하기 위한 비트율을 제어하는 비트율 제어부(70)와 비트율 제어부(70)에 의해 제어된 비트율에 따라 다 시점 동영상 소스 데이터에 대한 비트 스트림을 생성하는 엔트로피부호화부(80)를 포함하는 구성에 대해 개시되어 있다.

또한, J. R. Ohm의 문헌 "Three-Dimensional Subband Coding with Motion compensation," (IEEE Trans. On Imge Processing, vol. 3, no. 5, pp. 559-571, September 1994.)에 있어서는 MCTF(Motion Compensated Temporal Filtering)를 이용하여 기존의 움직임 보상 기반 부호화 기법이 갖는 시간적 예측 방법에 비하여 서브 밴드(Sub-band)들간의 에너지 집중화 효과(Energy compaction)가 우수하여 부호화 효율이 향상되며, 현재 프레임의 부호화를 위해 복원된 영상이 아닌 원본 영상들간에 예측을 수행하기 때문에 부호화 시의 에러 되먹임 현상(Coding error feedback)이 발생하지 않는다는 기술에 대해 개시되어 있다.

그러나, 상기 공보 등에 개시된 다시점 비디오 부호화 방법들에 있어서는 부호화 효율과 사용자와의 상호작용 및 스케일러빌리티와 같은 요구조건들은 예측하는 구조에 크게 영향을 받는다.

즉, 다시점 비디오 부호화를 수행함에 있어 합리적인 예측 구조를 찾아내는 것이 매우 중요하다.

본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위해 이루어진 것으 로서, 다시점 비디오 부호화기의 부호화 효율을 높이기 위하여, 움직임보상 시간축 필터링(MCTF)을 이용하여 필터링된 영상들에 대하여 시점 간 예측 부호화를 추가함으로써 압축효율을 높이는 다시점 비디오 부호화 방법과 이에 따른 부호화 장치를 제공하는 것이다.

본 발명의 다른 목적은 움직임 보상 시간축 필터링(MCTF)를 이용한 다시점 비디오 복호화 방법과 이에 따른 복호화 장치를 제공하는 것이다.

본 발명의 다른 목적은 움직임 보상 시간축 필터링(MCTF)를 이용한 다시점 비디오 부호화 복호화 방법과 이에 따른 부호화 복호화 장치를 제공하는 것이다.

상기 목적을 달성하기 위해 본 발명에 따른 부호화기는 복수의 카메라에서 촬상된 비디오 신호에 대해 움직임보상 시간축 필터링(MCTF)을 이용하여 다시점 비디오로 부호화하는 부호화기로서, 상기 복수의 카메라에서 촬상된 비디오 신호를 시퀀스 입력으로 하여 MCTF 분해하는 MCTF 분해수단, 상기 MCTF 분해수단에서의 저대역 영상신호를 시점간 상관도를 제거하여 부호화하는 제1의 부호화수단, 상기 MCTF 분해수단에서 저대역을 제외한 나머지 고대역 영상신호를 양자화 및 엔트로피부호화하는 제2의 부호화수단 및 상기 MCTF 분해수단에서의 움직임 벡터정보, 상기 제1의 부호화수단에서의 양안차 벡터정보와 압축 데이터 및 상기 제2의 부호화수단에서의 압축 데이터를 다중화하여 비트스트림을 생성하는 멀티플렉서를 포함하는 것을 특징으로 한다.

삭제

또, 본 발명에 따른 다시점 비디오 부호화기에 있어서, 상기 제1의 부호화수단은 상기 저대역 영상신호에 대한 양안차를 보상하는 제1의 보상수단과 양안차 보상된 상기 저대역 영상신호를 변환, 양자화 및 엔트로피부호화하는 부호화수단을 포함하는 것을 특징으로 한다.

또, 본 발명에 따른 다시점 비디오 부호화기에 있어서, 상기 제1의 부호화수단은 상기 저대역 영상신호에 대한 DCVF로 분해하는 분해수단과 DCVF로 분해된 상기 저대역 영상신호를 변환, 양자화 및 엔트로피부호화하는 부호화수단을 포함하는 것을 특징으로 하는 한다.

또, 본 발명에 따른 다시점 비디오 부호화기에 있어서, 상기 제1의 부호화수단은 상기 저대역 영상신호에 대한 DCVF로 분해하는 분해수단과 DCVF로 분해된 상기 저대역 영상신호를 양자화 및 엔트로피부호화하는 부호화수단을 포함하는 것을 특징으로 한다.

또, 본 발명에 따른 다시점 비디오 부호화기에 있어서, 상기 복수의 카메라는 입력 프레임율이 서로 동일한 것을 특징으로 한다.

또, 본 발명에 따른 다시점 비디오 부호화기에 있어서, 상기 복수의 카메라는 입력 프레임율이 서로 다른 것을 특징으로 한다.

또, 상기 목적을 달성하기 위해 본 발명에 따른 복호화기는 복수의 카메라에서 촬상된 비디오 신호를 부호화하는 다시점 비디오 부호화기에서 생성된 비트스트림으로부터 복수의 시점 영상을 생성하는 다시점 비디오 복호화기로서, 비트스트림을 입력받아 압축 데이터, 양안차 벡터정보, 움직임 벡터정보로 분리하는 디멀티플렉서, 상기 압축 데이터와 양안차 벡터정보를 복호화하여 저대역 영상신호를 생성하는 제1의 복호화수단, 상기 압축데이터를 엔트로피복호화 및 역양자화하여 저대역을 제외한 나머지 고대역 영상신호를 생성하는 제2의 복호화수단 및 상기 저대역 영상신호, 움직임 벡터정보와 고대역 영상신호에 대해 MCTF 합성하여 복수의 시점 영상을 생성하는 MCTF 합성수단을 포함하는 것을 특징으로 한다.

또, 상기 목적을 달성하기 위해 본 발명에 따른 부호화 복호화기는 복수의 카메라에서 촬상된 비디오 신호에 대해 움직임보상 시간축 필터링(MCTF)을 이용하여 복수의 시점 영상을 생성하는 다시점 비디오 부호화 복호화기로서, 상기 복수의 카메라에서 촬상된 비디오 신호를 시퀀스 입력으로 하여 MCTF 분해하는 MCTF 분해수단, 상기 MCTF 분해수단에서의 저대역 영상신호를 시점간 상관도를 제거하여 부호화하는 제1의 부호화수단, 상기 MCTF 분해수단에서 저대역을 제외한 나머지 고대역 영상신호를 양자화 및 엔트로피부호화하는 제2의 부호화수단, 상기 MCTF 분해수단에서의 움직임 벡터정보, 상기 제1의 부호화수단에서의 양안차 벡터정보와 압축 데이터 및 상기 제2의 부호화수단에서의 압축 데이터를 다중화하여 비트스트림을 생성하는 멀티플렉서, 상기 멀티플렉서에서의 비트스트림을 입력받아 압축 데이터, 양안차 벡터정보, 움직임 벡터정보로 분리하는 디멀티플렉서, 상기 압축 데이터와 양안차 벡터정보를 복호화하여 저대역 영상신호를 생성하는 제1의 복호화수단, 상기 압축데이터를 복호화하여 저대역을 제외한 나머지 고대역 영상신호를 생성하는 제2의 복호화수단 및 상기 저대역 영상신호, 움직임 벡터정보와 고대역 영상신호에 대해 MCTF 합성하여 복수의 시점 영상을 생성하는 MCTF 합성수단을 포함하는 것을 특징으로 한다.

또, 상기 목적을 달성하기 위해 본 발명에 따른 부호화 방법은 복수의 카메라에서 촬상된 비디오 신호에 대해 움직임보상 시간축 필터링(MCTF)을 이용하여 다시점 비디오로 부호화하는 부호화 방법으로서, 상기 복수의 카메라에서 촬상된 비디오 신호를 시퀀스 입력으로 하여 MCTF 분해하는 단계, 상기 MCTF 분해단계에서의 저대역 영상신호를 시점간 상관도를 제거하여 부호화하는 제1의 부호화 단계, 상기 MCTF 분해단계에서의 저대역을 제외한 나머지 고대역 영상신호를 부호화하는 제2의 부호화단계 및 상기 MCTF 분해단계에서 생성된 움직임 벡터정보, 상기 제1의 부호화단계에서의 양안차 벡터정보와 압축 데이터 및 상기 제2의 부호화단계에서의 압축 데이터를 다중화하여 비트스트림을 생성하는 단계를 포함하는 것을 특징으로 한다.

또, 상기 목적을 달성하기 위해 본 발명에 따른 복호화 방법은 복수의 카메라에서 촬상된 비디오 신호를 부호화하는 다시점 비디오 부호화 방법에 의해 생성된 비트스트림으로부터 복수의 시점 영상을 생성하는 다시점 비디오 복호화 방법으로서, 비트스트림을 입력받아 압축 데이터, 양안차 벡터정보, 움직임 벡터정보로 분리하는 단계, 상기 압축 데이터와 양안차 벡터정보를 복호화하여 저대역 영상신호를 생성하는 제1의 복호화 단계, 상기 압축데이터를 복호화하여 저대역을 제외한 나머지 고대역 영상신호를 생성하는 제2의 복호화단계 및 상기 저대역 영상신호, 움직임 벡터정보와 고대역 영상신호에 대해 MCTF 합성하여 복수의 시점 영상을 생성하는 단계를 포함하는 것을 특징으로 한다.

또, 상기 목적을 달성하기 위해 본 발명에 따른 부호화 복호화 방법은 복수의 카메라에서 촬상된 비디오 신호에 대해 움직임보상 시간축 필터링(MCTF)을 이용하여 복수의 시점 영상을 생성하는 다시점 비디오 부호화 복호화 방법으로서, 상기 복수의 카메라에서 촬상된 비디오 신호를 시퀀스 입력으로 하여 MCTF 분해하는 단계, 상기 MCTF 분해단계에서의 저대역 영상신호를 시점간 상관도를 제거하여 부호화하는 제1의 부호화 단계, 상기 MCTF 분해단계에서의 저대역을 제외한 나머지 고대역 영상신호를 부호화하는 제2의 부호화단계, 상기 MCTF 분해단계에서 생성된 움직임 벡터정보, 상기 제1의 부호화단계에서의 양안차 벡터정보와 압축 데이터 및 상기 제2의 부호화단계에서의 압축 데이터를 다중화하여 비트스트림을 생성하는 단계, 상기 비트스트림을 입력받아 압축 데이터, 양안차 벡터정보, 움직임 벡터정보로 분리하는 단계, 상기 압축 데이터와 양안차 벡터정보를 복호화하여 저대역 영상신호를 생성하는 제1의 복호화 단계, 상기 압축데이터를 복호화하여 저대역을 제외한 나머지 고대역 영상신호를 생성하는 제2의 복호화 단계 및 상기 저대역 영상신호, 움직임 벡터정보와 고대역 영상신호에 대해 MCTF 합성하여 복수의 시점 영상을 생성하는 단계를 포함하는 것을 특징으로 한다.

본 발명의 상기 및 그 밖의 목적과 새로운 특징은 본 명세서의 기술 및 첨부 도면에 의해 더욱 명확하게 될 것이다.

먼저 본 발명에 따른 부호화 및 복호화의 특징을 설명한다.

본 발명에 따른 부호화 방법은 카메라로부터 획득한 다시점 비디오 각각에 대해 MCTF를 수행하여 추출된 영상들 가운데 저대역(Low-pass band) 영상들에 대해서 다시 시점 방향으로 예측 부호화함으로써 부호화 효율을 높인다.

이는 MCTF의 높은 에너지 집중효과를 고려한 것으로서 가장 중요한 저대역 영상들에 대해서 시점방향으로의 예측 과정을 추가로 수행하여 복잡도는 최소화하면서도 종래 비디오 부호화 기법을 이용한 동시방송(Simulcast) 방법에 비해 높은 부호화 효율을 얻을 수 있는 장점이 있다. 또한 MCTF를 통해 필터링된 영상 간에 예측 부호화를 함으로써 시간 및 시점(View) 측면에서 스케일러빌리티를 제공하여 다양한 전송채널 환경과 이종의 단말기에 적응적으로 다시점 비디오 서비스를 가능케 한다.

여기에서 MCTF는 움직임 보상을 이용한 시간 축 상의 웨이블릿 부호화 방식으로 기존의 2차원 서브 밴드 부호화 방법을 시간 축에 적용하여 비디오 부호화하는 것이다. 블록간의 필터링에는 일반적으로 하(Haar)나 5/3 스플라인 웨이브렛(Spline wavelet) 필터가 이용된다. 이러한 웨이브렛에 관해서는 예를 들어, "광투영시스템을 이용한 2차원 Haar wavelet 변환 수행"(1994년 대한전자공학회 한국통신학회 부산경남지부 춘계 합동 학술발표회 논문집), "Wavelet 변환을 이용한 영상 압축에 관한 연구"(한국통신학회 전문대학 논문집 95-11 Vol.5.No1) 등에 개시 되어 있다. 필터링이 수행되면 시간 축 방향으로 서로 다른 해상도와 주파수 성분을 포함하는 각각의 서브 밴드로 나뉘어진다. 이 중 저대역 필터링된 영상의 경우 원 신호보다 낮은 시간적 해상도(Temporal Resolution)임에도 원 신호 에너지의 대부분을 포함한다.

일반적으로 프레임 간의 상관도가 높을수록 저대역 필터링된 영상에 많은 에너지가 집중되며 이를 통해 부호화 효율 역시 증가한다. MCTF의 현실적인 구조는 옥타브(Octave) 구조로서 상위 단계에서는 하위단계에서 생성된 저대역(Low-pass band)들에 대해서만 분해(Decomposition) 과정을 수행하는 방식이다. 고대역(High-pass band)들에 대해서는 더 이상의 예측 과정은 생략하고 변환부호화, 양자화 및 엔트로피 부호화를 수행하여 비트스트림을 생성한다.

경우에 따라 변환부호화가 생략되거나, 차분 부호화(DPCM, Differential Pulse Code Modulation)과 같은 예측과정이 추가 될 수도 있다. 저대역 영상들에 대해서만 분해 과정을 수행하는 이유는 상관도가 이미 제거된 상태의 고대역 영상들에 대해서는 예측 과정을 시도하더라도 각각의 고대역들이 서로 통계적으로 독립일 가능성이 높기 때문에 부호화 효율 면에서 개선이 적고 움직임 벡터(Motion Vector)의 양 역시 증가할 수 있기 때문이다.

본 발명에서는 먼저 각 시점별 프레임들에 대해 시간 축 방향으로 MCTF를 수행한 다음, 각각의 시점 채널에 대해 추출된 각 Sub-band 영상들을 고정된 시간 축 상에서 시점 방향으로 상관도를 제거한다.

이때 여러 개의 서브 밴드들에 대해서도 상관도 제거 과정을 수행할 수 있지 만 복잡도를 최소화 하면서 가장 높은 부호화 효율을 기대할 수 있는 방법은 각 시점에서 최종적으로 저대역 필터링된 영상들에 대해서만 예측 부호화를 수행하는 것이다. 서로 다른 시점들의 고대역 필터링된 영상들은 통계적으로 서로 독립일 가능성이 높아서 시점 간 예측 부호화 과정을 통해 얻을 수 있는 이득이 적기 때문이다.

또한 시간 축 방향으로 MCTF를 사용하는 이유는 기존의 하이브리드(Hybrid)비디오 표준의 예측 구조에 비하여 높은 상관도 제거능력을 가지고 있어서 저대역 영상에 보다 많은 에너지가 집중될 수 있기 때문이다. 여기서 시점방향으로 상관도를 제거하는 방법에는 특별한 제한이 없어, 기존의 하이브리드(Hybrid) 비디오 부호화 방법의 움직임예측 방법을 그대로 사용할 수도 있고, 움직임보상 시간축 필터링(MCTF)방법을 시점방향으로 확장한 개념인 양안차보상 시점방향 필터링(Disparity Compensated View Filtering; 이하 DCVF라 칭함)을 이용하여 상관도를 제거할 수도 있다. 이를 통해 예측 부호화의 효율을 높이면서 예측에 필요한 방대한 계산량을 감소시킬 수 있게 된다.

즉, 본 발명에서는 기존에 단일 시점 부호화에 사용되던 MCTF방법을 다시점 비디오 부호화에 효과적으로 적용하는 방법을 제안하며, 시점 간 상관도를 제거하는데는 MCTF가 아닌 기존의 비디오 부호화 방법도 사용이 가능하다.

이하, 본 발명의 구성을 도면에 따라서 설명한다.

또한, 본 발명의 설명에 있어서는 동일 부분은 동일 부호를 붙이고, 그 반복 설명은 생략한다.

도 2는 본 발명에 따른 움직임보상 시간축 필터링을 이용한 다시점 비디오 부호화 및 복호화 방법 및 장치를 설명하기 위한 다시점 비디오 부호화 모델을 나타내는 도면이다.

도 2에 있어서, (100)은 N개의 비디오 촬상용 카메라로서, 카메라(100)의 배치는 평행한 방식(Parallel View), 수렴하는 방식(Convergent View), 발산하는 방식(Divergent View) 등이 가능하다. 카메라(100)에 의해 촬상되어 입력된 N개의 시점 영상들에 대해 다시점 비디오 부호화기(200)를 이용하여 부호화를 수행하고, 다시점 비디오 부호화기(200)에 의해 생성된 비트스트림은 채널(300)을 통해 저장 및 전송할 수 있다. 저장 및 전송된 비트스트림은 다시점 비디오 복호화기(400)를 통해 TV/HDTV, 스트레오 시스템, 가상현실 시스템 등의 단말기(500) 능력에 따라 적응적으로 복호화 후 재생될 수 있다. 이를 통해 단일시점 영상서비스, 스테레오 서비스, 가상현실 서비스 및 상호작용하는 다시점 서비스 등을 모두 실현할 수 있다.

다음에 다시점 비디오 부호화를 위한 동시방송 방법의 개념도를 도 3에 따라 설명한다. 도 3에 도시된 동시방송 방법은 카메라(100)에 의해 촬상된 N개의 시점(View) 모두에 대해 각각 독립적으로 부호화하고 복호화하는 방식이다. 이 방법은 기존의 비디오 표준을 그대로 이용할 수 있는 장점이 있지만 시점 상호간의 상관도를 이용하지 않음으로 인하여 부호화 효율에 한계가 있다.

다음에 본 발명에 따른 제1 실시예를 도 4 및 도 5에 따라 설명한다.

도 4는 본 발명에 따라 각 시점별로 MCTF 수행 후 추출된 저대역 영상을 시점방향으로 예측부호화를 수행하는 예측구조의 개념도를 나타낸다.

도 4에 도시된 개념도에서는 4개의 시점을 가지고 시간 축 상으로는 2개의 영상을 가지는 경우를 예로 한다. 하지만 시점의 개수 및 시간 축 상으로의 영상의 개수는 제한이 없다. 먼저 각 시점 영상들에 대해 독립적으로 MCTF 분해(Decomposition)과정을 수행한다. 이를 통해 시간 축 방향으로의 영상 간 상관도가 제거된다. 여기에서 MCTF 분해 결과로 추출된 서브밴드 영상들은 한 개의 저대역(Low-pass band)영상과 나머지의 고대역(High-pass band)영상으로 구성된다.

이 과정까지는 기존의 MCTF를 이용한 동시방송 방법과 동일하다. 이후 각 시점의 저대역 영상들에 대해서만 다시 시점 간 예측부호화를 수행하여 부호화 효율을 높이게 된다. 이때 시점 간 저대역 영상의 상관도를 제거하기 위해서는 기존의 하이브리드(Hybrid) 비디오 부호화 방법의 I(Intra-coded) 픽쳐, P(Predictive coded) 픽쳐, B(Bidirectionally Predictive coded) 픽쳐 타입으로 부호화를 수행할 수 있다. 그리고, 본 발명의 다른 실시예인 도 5와 같이 MCTF를 시점방향으로 확장한 DCVF를 사용할 수 있는 등 저대역 영상을 부호화 하기 위한 예측 구조에 있어 다변화가 가능하다.

또 도 4의 화살표에 있어서, 점선으로된 곡선의 화살표는 움직임 평가를 나타내고, 실선으로된 곡선의 화살표는 양안차 평가를 나타내고, 직선의 화살표는 저대역 일시 필터링을 나타내며, 점선의 화살표는 고대역 일시 필터링을 나타낸다.

도 5는 각 시점별로 MCTF 수행 후 추출된 저대역 영상을 시점 간 예측부호화를 수행하여 부호화 및 복호화 하는 다시점 비디오 부호화기(200) 및 다시점 비디오 복호화기(400)를 나타낸다.

도 5a에 있어서, 다시점 비디오 부호화기(200)은 N개의 카메라(100)에서 촬상된 비디오 신호를 시퀀스 입력받아 MCTF 분해하는 MCTF 분해수단(210), MCTF 분해수단(210)에서의 저대역 영상신호(211)을 부호화하는 제1의 부호화수단(220), MCTF 분해수단(210)에서 저대역을 제외한 나머지 고대역 영상신호를 부호화하는 제2의 부호화수단(230) 및 MCTF 분해수단(210)에서의 움직임 벡터정보(212), 제1의 부호화수단(220)에서의 양안차 벡터정보(223)과 압축 데이터(224)와 제2의 부호화수단(230)에서의 압축 데이터(231)를 다중화하여 비트스트림(241)을 생성하는 멀티플렉서(240)을 구비한다.

또, 제1의 부호화수단(220)은 저대역 영상들에 대한 양안차를 보상하는 제1의 보상수단(221)과 저대역 영상을 변환, 양자화 및 엔트로피부호화하는 부호화수단(222)을 구비하고, 제2의 부호화수단(230)은 고대역 영상을 변환, 양자화 및 엔트로피부호화한다.

또한 도 5b에 있어서, 다시점 비디오 복호화기(400)은 멀티플렉서(240)에서의 비트스트림(241)을 입력받아 압축 데이터(411, 414), 양안차 벡터정보(412), 움직임 벡터정보(413)로 분리하는 디멀티플렉서(410), 압축 데이터(411)와 양안차 벡터정보(412)를 복호화하여 저대역 영상신호(423)을 생성하는 제1의 복호화수단(420), 압축데이터(414)를 복호화하여 저대역을 제외한 나머지 고대역 영상신호(431)를 생성하는 제2의 복호화수단(430) 및 저대역 영상신호(423), 움직임 벡터정 보(413)와 고대역 영상신호(431)에 대해 MCTF 합성하여 N개의 시점 영상을 생성하는 MCTF 합성수단(440)을 구비한다.

또, 제1의 복호화수단(420)은 압축데이터(411)와 양안차 벡터정보(412)에 따라 엔트로피복호화, 역변환 및 역양자화하는 복호화수단(421)과 저대역 영상들에 대한 양안차를 보상하는 제2의 보상수단(422)을 구비하고, 제2의 복호화수단(430)은 고대역 영상을 위해 엔트로피복호화, 역양자화 및 역변환한다.

다음에 도 5에 도시된 다시점 비디오 부호화기(200) 및 다시점 비디오 복호화기(400)의 동작에 대해 설명한다.

부호화기(200)의 입력으로는 N개의 시점에 대해 시간 축 상으로 얻어진 각각 M₁, M₂, ... ,M_N 개의 영상을 갖는 시퀀스 입력이

이라고 할 때, 복원된 영상은

으로 출력된다. 일반적으로 각 시점에 대해 동일한 프레임율(Frame rate)을 갖는 것이 통상적이지만 (즉 M₁=M₂= ... =M_N) 본 발명에 따른 다시점 비디오 부호화기는 입력 영상이 시점에 따라 서로 다른 프레임율을 갖더라도 (즉 M₁, M₂, ... ,M_N 이 모두 같지 않은 경우)부호화될 수 있다.

이를 통해 다시점 비디오 영상 획득 시, 입력 프레임율이 서로 다른 복수개의 카메라들을 사용할 수도 있게 된다.

부호화기(200)에서는 각각의 시점들에 대해 시간 축 방향으로 MCTF분해 (Decomposition) 과정을 수행한다. 이를 통해 추출된 서브 밴드 영상들 중에서 저대역 영상들(211)에 대해서는 제1 부호화 과정을 수행한다. 제1부호화 과정에서는 시점 상호간의 상관도를 제거하기 위하여 시점 간 예측 부호화를 수행 후 변환, 양자화 및 엔트로피부호화를 통해 비트스트림(241)을 생성해낸다.

경우에 따라 변환부호화가 생략되거나, DPCM과 같은 예측과정이 추가 될 수도 있다. 시점 간 예측부호화 방법은 기존의 하이브리드 비디오 부호화 방법을 그대로 사용할 수도 있고 카메라(100)의 내부적 파라미터(Intrinsic parameters)나 외부적 파라미터(Extrinsic parameters)와 같은 기하학적 정보를 이용하는 방식으로 시점방향 예측 부호화를 수행할 수도 있다.

한편 저대역 영상을 제외한 나머지 고대역 영상들(213)에 대해서는 제2부호화를 통해 바로 변환, 양자화 및 엔트로피 부호화를 수행하여 비트스트림(241)을 생성해 낸다.

경우에 따라 변환부호화가 생략되거나, DPCM과 같은 예측과정이 추가 될 수도 있다. 제1부호화와 제2부호화를 통해 각각 생성된 데이터는 MCTF분해과정에서 생성된 움직임벡터정보(212)와 양안차(Disparity) 정보와 함께 다중화(Multiplexing) 되어 저장되거나 전송 된다.

또 복호화기(400)에서는 부호화기(200)에서 생성된 비트스트림(241)을 역다 중화(De-multiplexing)하여 저대역 영상들은 제1 복호화 과정을 통해 복호화 되며, 저대역 영상을 제외한 나머지 고대역 영상들은 제2 복호화 과정을 통해 복호화한다. 이후 제1 복호화 과정을 통한 저대역 영상들(423)과 제2 복호화 과정을 통한 나머지 고대역 영상들(431)을 MCTF합성(Composition)과정에서 함께 이용하여 최종적으로 각 시점 영상들을 복원해 낸다.

여기서 제1 복호화 과정은 엔트로피복호화, 역변환 및 역양자화와 양안차 보상(Disparity compensation)을 수행하고 제2 복호화 과정에서는 엔트로피복호화, 역변환 및 역양자화를 수행한다. 경우에 따라 변환복호화가 생략되거나, DPCM과 같은 예측과정이 추가 될 수도 있다.

이때 각 시점들에 대해서 각각 입력된 M₁, M₂, ... ,M_N 장의 영상들이 입력된 영상의 수만큼 복호화 되지는 않아도 된다. 이는 시점별로 MCTF를 이용한 시간적 스케일러빌리티를 제공하게 되므로, 전송된 비트스트림의 양에 따라서 서로 다른 시간적 해상도를 가지고 영상의 표현이 가능하기 때문이다.

다음에 본 발명의 제2 실시예를 도 6 및 도 7에 따라 설명하며, 제1 실시예와 중복되는 구조의 설명에 대해서는 생략한다.

도 6은 도 4에서 설명되었던 시점 방향으로의 예측부호화를 위해 MCTF를 시점방향으로 확장한 개념인 DCVF(Disparity Compensated View Filtering)를 이용하는 실시예이다.

먼저 각 시점(View)들에 대해 독립적으로 MCTF를 수행한다. 이후 MCTF수행 결과로 추출된 각 시점의 저대역 영상들에 대해서 MCTF를 시점 방향으로 확장한 구조인 DCVF 분해과정을 수행하여 부호화하는 점이 도 4에 도시된 실시예와의 차이점이다.

또 도 6의 화살표에 있어서, 점선으로된 곡선의 화살표는 움직임 평가를 나타내고, 실선으로된 곡선의 화살표는 양안차 평가를 나타내고, 직선의 화살표는 저대역 일시 필터링을 나타내고, 점선의 화살표는 고대역 일시 필터링을 나타내고, 직선의 흰 화살표는 저대역 시점 필터링을 나타내며, 점선의 흰 화살표는 고대역 시점 필터링을 나타낸다.

도 7은 각 시점별로 MCTF 수행 후 추출된 저대역 영상을 DCVF를 수행하여 부호화 및 복호화 하는 다시점부호화기 및 다시점 복호화기를 나타낸다.

도 7a에 있어서, 다시점 비디오 부호화기(200)은 N개의 카메라(100)에서 촬상된 비디오 신호를 시퀀스 입력받아 MCTF 분해하는 MCTF 분해수단(210), MCTF 분해수단(210)에서의 저대역 영상신호(211)을 부호화하는 제3의 부호화수단(250), MCTF 분해수단(210)에서 저대역을 제외한 나머지 고대역 영상신호를 부호화하는 제2의 부호화수단(230) 및 MCTF 분해수단(210)에서의 움직임 벡터정보(212), 제3의 부호화수단(250)에서의 양안차 벡터정보(253)과 압축 데이터(254)와 제2의 부호화수단(230)에서의 압축 데이터(231)를 다중화하여 비트스트림(241)을 생성하는 멀티플렉서(240)을 구비한다.

또, 제3의 부호화수단(220)은 저대역 영상들에 대한 DCVF로 분해하는 분해수단(221)과 저대역 영상을 변환, 양자화 및 엔트로피부호화하는 부호화수단(222)을 구비한다.

또한 도 7b에 있어서, 다시점 비디오 복호화기(400)은 멀티플렉서(240)에서의 비트스트림(241)을 입력받아 압축 데이터(411, 414), 양안차 벡터정보(412), 움직임 벡터정보(413)로 분리하는 디멀티플렉서(410), 압축 데이터(411)와 양안차 벡터정보(412)를 복호화하여 저대역 영상신호(453)을 생성하는 제3의 복호화수단(450), 압축데이터(414)를 복호화하여 저대역을 제외한 나머지 고대역 영상신호(431)를 생성하는 제2의 복호화수단(430) 및 저대역 영상신호(423), 움직임 벡터정보(413)와 고대역 영상신호(431)에 대해 MCTF 합성하여 N개의 시점 영상을 생성하는 MCTF 합성수단(440)을 구비한다.

또, 제3의 복호화수단(450)은 압축데이터(411)와 양안차 벡터정보(412)에 따라 엔트로피복호화, 역변환 및 역양자화하는 복호화수단(451)과 저대역 영상들에 대한 DCVF를 합성하는 합성수단(452)을 구비한다.

다음에 도 7에 도시된 다시점 비디오 부호화기(200) 및 다시점 비디오 복호화기(400)의 동작에 대해 설명한다.

부호화기(200)의 입력으로는 도 4의 설명에서와 같이 N개의 시점에 대해 시간 축 상으로 각각 M₁, M₂, ... ,M_N 개의 영상을 갖는 시퀀스 입력이

이라고 할 때, 복원된 영상은

으로 출력된다. 도 4에서와 같이, 제2 실시예의 다시점 비디오 부호화기(200)도 일반적으로 각 시점에 대해 동일한 프레임율(Frame rate)을 갖는 것이 통상적이지만 (즉 M₁=M₂= ... =M_N) 본 발명에 따른 다시점 비디오 부호화기(200)는 입력 영상이 시점에 따라 서로 다른 프레임율을 갖더라도 (즉 M₁, M₂, ... ,M_N이 모두 같지 않은 경우)부호화될 수 있다.

이를 통해 다시점 비디오 영상 획득 시, 입력 프레임율이 서로 다른 복수개의 카메라들을 사용할 수도 있게 된다.

그리고 부호화기에서는 각각의 시점들에 대해 시간 축 방향으로 MCTF분해 (Decomposition) 과정을 수행한다. 이를 통해 추출된 서브 밴드 영상들 중에서 저대역 영상들에 대해서는 제3 부호화 과정을 수행한다. 제3 부호화 과정에서는 시점 상호간의 상관도를 제거하기 위하여 MCTF를 시점방향으로 확장한 DCVF를 사용한다.

반면 저대역 영상을 제외한 나머지 고대역 영상들에 대해서는 제2 부호화를 통해 바로 변환, 양자화 및 엔트로피 부호화를 적용하여 비트스트림을 생성해 낸다.

경우에 따라 변환부호화가 생략되거나, DPCM과 같은 예측과정이 추가 될 수도 있다. 제3 부호화와 제2 부호화를 통해 각각 생성된 압축데이터는 움직임벡터정 보와 양안차 정보와 함께 다중화(Multiplexing)되어 저장되거나 전송되게 된다.

또, 복호화기(400)에서는 부호화기에서 생성된 비트스트림을 역다중화하여 저대역 영상들은 제3 복호화 과정을 통해 복호화 되며, 저대역 영상을 제외한 나머지 고대역 영상들은 제2 복호화 과정을 통해 복호화한다. 이후 제3 복호화 과정을 통한 저대역 영상들과 제2 복호화 과정을 통한 나머지 고대역 영상들을 MCTF합성과정에서 함께 이용하여 최종적으로 각 시점 영상들을 복원해 낸다.

여기서 제3 복호화 과정에서는 역양자화, 역변환 및 엔트로피복호화 이후 저대역 영상들에 대해 DCVF의 합성과정을 거친다. 반면 제2복호화 과정에서는 역양자화, 역변환 및 엔트로피복호화를 수행한다.

경우에 따라 변환부호화가 생략되거나, DPCM과 같은 예측과정이 추가 될 수도 있다. 저대역 영상들에 대해서만 분해 과정을 수행하는 이유는 상관도가 이미 제거된 상태의 고대역 영상들에 대해서는 예측 과정을 시도하더라도 각각의 고대역들이 서로 통계적으로 독립일 가능성이 높기 때문에 부호화 효율 면에서 개선이 적고 움직임벡터(Motion Vector)의 양 역시 증가할 수 있기 때문이다.

다음에 본 발명에 따른 제3 실시예를 도 8에 따라 설명한다.

도 8은 시점 별로 서로 다른 시간 해상도를 갖는 복호화 과정의 실시예이다. 복호화 과정은 먼저 시점(View) 방향으로 수행된다. 이때 모든 시점이 각각의 시간 축 방향으로 모두 복호화 되지는 않았더라도 특정 시점이 미리 복호화 되면 해당 시점의 시간 축 방향으로 MCTF가 적용되기 때문에 서브 밴드 계수들을 전송 받음에 따라 시간 해상도가 점진적으로 개선된다.

이를 통해 다른 시점과는 별도로 복호화가 진행될 수 있다. 이와 같이 제안방법은 시점 방향과 시간 축 방향으로의 스케일러빌리티를 제공하며 다양한 전송채널 환경과 단말기에 적응적으로 다시점 비디오 서비스를 제공할 수 있게 된다

이상 본 발명자에 의해서 이루어진 발명을 상기 실시예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시예에 한정되는 것은 아니고 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.

상술한 바와 같이, 본 발명에 따른 움직임보상 시간축 필터링을 이용한 다시점 비디오 부호화 및 복호화 방법 및 장치에 의하면, 카메라로부터 획득한 각 시점의 영상에 대해 MCTF를 수행하여 추출된 영상들 가운데 저대역 영상들에 대해서 시점 방향으로 예측 부호화 하며, 가장 중요한 참조영상들에 대해서만 예측 과정을 수행하는 간결한 처리 구조에 기인하여 복잡도를 줄이면서도 종래 비디오 부호화 기법들을 이용한 동시방송 기술에 비하여 높은 부호화 효율을 얻을 수 있다는 효과가 얻어진다.

또, 본 발명에 다르면, 시점 간 상관도를 제거하기 위해서는 기존의 하이브리드 비디오 부호화 방법뿐만 아니라 MCTF를 시점방향으로 확장한 양안차 보상 시점방향 필터링을 사용할 수 있는 등 다변화가 가능하고, 필터링된 영상 간 예측 부호화함으로써 시간 및 시점(View) 측면에서 스케일러빌리티를 제공하여 다양한 전송채널 환경과 이종의 단말기에 적응적으로 다시점 비디오 서비스를 가능하게 한다는 효과도 얻어진다.

Claims (26)

1. 복수의 카메라에서 촬상된 비디오 신호에 대해 움직임보상 시간축 필터링(MCTF)을 이용하여 다시점 비디오로 부호화하는 부호화기로서,

   상기 복수의 카메라에서 촬상된 비디오 신호를 시퀀스 입력으로 하여 MCTF 분해하는 MCTF 분해수단,

   상기 MCTF 분해수단에서의 저대역 영상신호를 시점간 상관도를 제거하여 부호화하는 제1의 부호화수단,

   상기 MCTF 분해수단에서 저대역을 제외한 나머지 고대역 영상신호를 양자화 및 엔트로피부호화하는 제2의 부호화수단 및

   상기 MCTF 분해수단에서의 움직임 벡터정보, 상기 제1의 부호화수단에서의 양안차 벡터정보와 압축 데이터 및 상기 제2의 부호화수단에서의 압축 데이터를 다중화하여 비트스트림을 생성하는 멀티플렉서를 포함하는 것을 특징으로 하는 다시점 비디오 부호화기.
2. 제 1항에 있어서,

   상기 제1의 부호화수단은 상기 저대역 영상신호에 대한 양안차를 보상하는 제1의 보상수단과 양안차 보상된 상기 저대역 영상신호를 변환, 양자화 및 엔트로피부호화하는 부호화수단을 포함하는 것을 특징으로 하는 다시점 비디오 부호화기.
3. 제 1항에 있어서,

   상기 제1의 부호화수단은 상기 저대역 영상신호에 대한 양안차를 보상하는 제1의 보상수단과 양안차 보상된 상기 저대역 영상신호를 양자화 및 엔트로피부호화하는 부호화수단을 포함하는 것을 특징으로 하는 다시점 비디오 부호화기.
4. 제 1항에 있어서,

   상기 제1의 부호화수단은 상기 저대역 영상신호에 대한 DCVF로 분해하는 분해수단과 DCVF로 분해된 상기 저대역 영상신호를 변환, 양자화 및 엔트로피부호화하는 부호화수단을 포함하는 것을 특징으로 하는 다시점 비디오 부호화기.
5. 제 1항에 있어서,

   상기 제1의 부호화수단은 상기 저대역 영상신호에 대한 DCVF로 분해하는 분해수단과 DCVF로 분해된 상기 저대역 영상신호를 양자화 및 엔트로피부호화하는 부호화수단을 포함하는 것을 특징으로 하는 다시점 비디오 부호화기.
6. 제 1항 내지 제 5항 중 어느 한 항에 있어서,

   상기 복수의 카메라는 입력 프레임율이 서로 동일한 것을 특징으로 하는 다시점 비디오 부호화기.
7. 제 1항 내지 제 5항 중 어느 한 항에 있어서,

   상기 복수의 카메라는 입력 프레임율이 서로 다른 것을 특징으로 하는 다시점 비디오 부호화기.
8. 복수의 카메라에서 촬상된 비디오 신호를 부호화하는 다시점 비디오 부호화기에서 생성된 비트스트림으로부터 복수의 시점 영상을 생성하는 다시점 비디오 복호화기로서,

   비트스트림을 입력받아 압축 데이터, 양안차 벡터정보, 움직임 벡터정보로 분리하는 디멀티플렉서,

   상기 압축 데이터와 양안차 벡터정보를 복호화하여 저대역 영상신호를 생성하는 제1의 복호화수단,

   상기 압축데이터를 엔트로피복호화 및 역양자화하여 저대역을 제외한 나머지 고대역 영상신호를 생성하는 제2의 복호화수단 및

   상기 저대역 영상신호, 움직임 벡터정보와 고대역 영상신호에 대해 MCTF 합성하여 복수의 시점 영상을 생성하는 MCTF 합성수단을 포함하는 것을 특징으로 하는 다시점 비디오 복호화기.
9. 제 8항에 있어서,

   상기 제1의 복호화수단은 상기 압축데이터와 양안차 벡터정보에 따라 엔트로피복호화, 역양자화 및 역변환하는 복호화수단과 상기 저대역 영상신호를 생성하기 위해 양안차를 보상하는 보상수단을 구비하는 것을 특징으로 하는 다시점 비디오 복호화기.
10. 제 8항에 있어서,

    상기 제1의 복호화수단은 상기 압축데이터와 양안차 벡터정보에 따라 엔트로피복호화 및 역양자화하는 복호화수단과 상기 저대역 영상신호를 생성하기 위해 양안차를 보상하는 보상수단을 구비하는 것을 특징으로 하는 다시점 비디오 복호화기.
11. 제 8항에 있어서,

    상기 제1의 복호화수단은 상기 압축데이터와 양안차 벡터정보에 따라 엔트로피복호화, 역양자화 및 역변환하는 복호화수단과 상기 저대역 영상신호를 생성하기 위해 DCVF를 합성하는 합성수단을 구비하는 것을 특징으로 하는 다시점 비디오 복호화기.
12. 제 8항에 있어서,

    상기 제1의 복호화수단은 상기 압축데이터와 양안차 벡터정보에 따라 엔트로피복호화 및 역양자화하는 복호화수단과 상기 저대역 영상신호를 생성하기 위해 DCVF를 합성하는 합성수단을 구비하는 것을 특징으로 하는 다시점 비디오 복호화기.
13. 복수의 카메라에서 촬상된 비디오 신호에 대해 움직임보상 시간축 필터링(MCTF)을 이용하여 복수의 시점 영상을 생성하는 다시점 비디오 부호화 복호화기로서,

    상기 복수의 카메라에서 촬상된 비디오 신호를 시퀀스 입력으로 하여 MCTF 분해하는 MCTF 분해수단,

    상기 MCTF 분해수단에서의 저대역 영상신호를 시점간 상관도를 제거하여 부호화하는 제1의 부호화수단,

    상기 MCTF 분해수단에서 저대역을 제외한 나머지 고대역 영상신호를 양자화 및 엔트로피부호화하는 제2의 부호화수단,

    상기 MCTF 분해수단에서의 움직임 벡터정보, 상기 제1의 부호화수단에서의 양안차 벡터정보와 압축 데이터 및 상기 제2의 부호화수단에서의 압축 데이터를 다중화하여 비트스트림을 생성하는 멀티플렉서,

    상기 멀티플렉서에서의 비트스트림을 입력받아 압축 데이터, 양안차 벡터정보, 움직임 벡터정보로 분리하는 디멀티플렉서,

    상기 압축 데이터와 양안차 벡터정보를 복호화하여 저대역 영상신호를 생성하는 제1의 복호화수단,

    상기 압축데이터를 복호화하여 저대역을 제외한 나머지 고대역 영상신호를 생성하는 제2의 복호화수단 및

    상기 저대역 영상신호, 움직임 벡터정보와 고대역 영상신호에 대해 MCTF 합성하여 복수의 시점 영상을 생성하는 MCTF 합성수단을 포함하는 것을 특징으로 하는 다시점 비디오 부호화 복호화기.
14. 제 13항에 있어서,

    상기 제1의 부호화수단은 상기 저대역 영상신호에 대한 양안차를 보상하는 제1의 보상수단과 양안차 보상된 상기 저대역 영상신호를 변환, 양자화 및 엔트로피부호화하는 부호화수단을 포함하고,

    상기 제1의 복호화수단은 상기 압축데이터와 양안차 벡터정보에 따라 엔트로피복호화, 역양자화 및 역변환 하는 복호화수단과 상기 저대역 영상신호를 생성하기 위해 양안차를 보상하는 제2의 보상수단을 구비하는 것을 특징으로 하는 다시점 비디오 부호화 복호화기.
15. 제 13항에 있어서,

    상기 제1의 부호화수단은 상기 저대역 영상신호에 대한 양안차를 보상하는 제1의 보상수단과 양안차 보상된 상기 저대역 영상신호를 양자화 및 엔트로피부호화하는 부호화수단을 포함하고,

    상기 제1의 복호화수단은 상기 압축데이터와 양안차 벡터정보에 따라 엔트로피복호화 및 역양자화 하는 복호화수단과 상기 저대역 영상신호를 생성하기 위해 양안차를 보상하는 제2의 보상수단을 구비하는 것을 특징으로 하는 다시점 비디오 부호화 복호화기.
16. 제 13항에 있어서,

    상기 제1의 부호화수단은 상기 저대역 영상신호에 대한 DCVF로 분해하는 분해수단과 분해된 상기 저대역 영상신호를 변환, 양자화 및 엔트로피부호화하는 부호화수단을 포함하고,

    상기 제1의 복호화수단은 상기 압축데이터와 양안차 벡터정보에 따라 엔트로피복호화, 역양자화 및 역변환 하는 복호화수단과 상기 저대역 영상신호를 생성하기 위해 DCVF를 합성하는 합성수단을 구비하는 것을 특징으로 하는 다시점 비디오 부호화복호화기.
17. 제 13항에 있어서,

    상기 제1의 부호화수단은 상기 저대역 영상신호에 대한 DCVF로 분해하는 분해수단과 분해된 상기 저대역 영상신호를 양자화 및 엔트로피부호화하는 부호화수단을 포함하고,

    상기 제1의 복호화수단은 상기 압축데이터와 양안차 벡터정보에 따라 엔트로피복호화 및 역양자화 하는 복호화수단과 상기 저대역 영상신호를 생성하기 위해 DCVF를 합성하는 합성수단을 구비하는 것을 특징으로 하는 다시점 비디오 부호화 복호화기.
18. 제 13항에 있어서,

    상기 제2의 부호화수단은 상기 나머지 고대역 영상신호를 변환, 양자화 및 엔트로피부호화하는 부호화 수단을 포함하고,

    상기 제2의 복호화수단은 상기 압축데이터를 엔트로피복호화, 역양자화 및 역변환하여 상기 나머지 고대역 영상신호를 생성하는 것을 특징으로 하는 다시점 비디오 부호화 복호화기.
19. 제 13항에 있어서,

    상기 제2의 부호화수단은 상기 나머지 고대역 영상신호를 양자화 및 엔트로피부호화하는 부호화 수단을 포함하고,

    상기 제2의 복호화수단은 상기 압축데이터를 엔트로피복호화 및 역양자화 하여 상기 나머지 고대역 영상신호를 생성하는 것을 특징으로 하는 다시점 비디오 부호화 복호화기.
20. 제 1항 내지 제 5항 중 어느 한 항에 있어서,

    상기 제2의 부호화수단은 상기 고대역 영상을 변환하는 것을 특징으로 하는 다시점 비디오 부호화기.
21. 제 8항 내지 제12항 중 어느 한 항에 있어서,

    상기 제2의 복호화수단은 상기 고대역 영상을 생성하기 위하여 역변환하는 것을 특징으로 하는 다시점 비디오 복호화기.
22. 제 13항 내지 제 19항 중 어느 한 항에 있어서,

    상기 복수의 카메라는 입력 프레임율이 서로 동일한 것을 특징으로 하는 다시점 비디오 복호화기.
23. 제 13항 내지 제 19항 중 어느 한 항에 있어서,

    상기 복수의 카메라는 입력 프레임율이 서로 다른 것을 특징으로 하는 다시점 비디오 복호화기.
24. 복수의 카메라에서 촬상된 비디오 신호에 대해 움직임보상 시간축 필터링(MCTF)을 이용하여 다시점 비디오로 부호화하는 부호화 방법으로서,

    상기 복수의 카메라에서 촬상된 비디오 신호를 시퀀스 입력으로 하여 MCTF 분해하는 단계,

    상기 MCTF 분해단계에서의 저대역 영상신호를 시점간 상관도를 제거하여 부호화하는 제1의 부호화 단계,

    상기 MCTF 분해단계에서의 저대역을 제외한 나머지 고대역 영상신호를 부호화하는 제2의 부호화단계 및

    상기 MCTF 분해단계에서 생성된 움직임 벡터정보, 상기 제1의 부호화단계에서의 양안차 벡터정보와 압축 데이터 및 상기 제2의 부호화단계에서의 압축 데이터를 다중화하여 비트스트림을 생성하는 단계를 포함하는 것을 특징으로 하는 다시점 비디오 부호화 방법.
25. 복수의 카메라에서 촬상된 비디오 신호를 부호화하는 다시점 비디오 부호화 방법에 의해 생성된 비트스트림으로부터 복수의 시점 영상을 생성하는 다시점 비디오 복호화 방법으로서,

    비트스트림을 입력받아 압축 데이터, 양안차 벡터정보, 움직임 벡터정보로 분리하는 단계,

    상기 압축 데이터와 양안차 벡터정보를 복호화하여 저대역 영상신호를 생성하는 제1의 복호화 단계,

    상기 압축데이터를 복호화하여 저대역을 제외한 나머지 고대역 영상신호를 생성하는 제2의 복호화단계 및

    상기 저대역 영상신호, 움직임 벡터정보와 고대역 영상신호에 대해 MCTF 합성하여 복수의 시점 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 다시점 비디오 복호화 방법.
26. 복수의 카메라에서 촬상된 비디오 신호에 대해 움직임보상 시간축 필터링(MCTF)을 이용하여 복수의 시점 영상을 생성하는 다시점 비디오 부호화 복호화 방법으로서,

    상기 복수의 카메라에서 촬상된 비디오 신호를 시퀀스 입력으로 하여 MCTF 분해하는 단계,

    상기 MCTF 분해단계에서의 저대역 영상신호를 시점간 상관도를 제거하여 부호화하는 제1의 부호화 단계,

    상기 MCTF 분해단계에서의 저대역을 제외한 나머지 고대역 영상신호를 부호화하는 제2의 부호화단계,

    상기 MCTF 분해단계에서 생성된 움직임 벡터정보, 상기 제1의 부호화단계에서의 양안차 벡터정보와 압축 데이터 및 상기 제2의 부호화단계에서의 압축 데이터를 다중화하여 비트스트림을 생성하는 단계,

    상기 비트스트림을 입력받아 압축 데이터, 양안차 벡터정보, 움직임 벡터정보로 분리하는 단계,

    상기 압축 데이터와 양안차 벡터정보를 복호화하여 저대역 영상신호를 생성하는 제1의 복호화 단계,

    상기 압축데이터를 복호화하여 저대역을 제외한 나머지 고대역 영상신호를 생성하는 제2의 복호화 단계 및

    상기 저대역 영상신호, 움직임 벡터정보와 고대역 영상신호에 대해 MCTF 합성하여 복수의 시점 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 다시점 비디오 부호화 복호화 방법.

Images