KR101094323B1

KR101094323B1 - 적응 기준 화상 생성

Info

Publication number: KR101094323B1
Application number: KR1020067005095A
Authority: KR
Inventors: 알렉산드로스 토우라피스; 질 맥도날드 보이세
Original assignee: 톰슨 라이센싱
Priority date: 2003-09-17
Filing date: 2004-09-02
Publication date: 2011-12-19
Also published as: JP2007506361A; EP1665804A1; KR20060083974A; JP5330647B2; WO2005034517A1; BRPI0414397A; US20060291557A1; CN1846444B; CN1846444A; US8094711B2

Abstract

기준 전용 화상으로부터의 예측을 사용하여 입력 화상 또는 영상 블록을 인코딩하기 위한 비디오 인코더(300)와 대응하는 방법(700)이 제공되는데, 이 경우 인코더(300)는 이전에 코딩된 화상을 저장하기 위한 프레임 버퍼(374)와, 이전에 코딩된 화상으로부터 기준 전용 화상을 생성하기 위해 프레임 버퍼와 신호 통신하는 기준 처리 유닛(376)을 포함하고, 대응하는 방법(700)은 실질적으로 압축되지 않은 영상 블록을 수신하는 단계(712), 적응 기준을 생성하기 위해 이전에 코딩된 화상을 필터링하는 단계(714), 적응 기준을 움직임 보상하는 단계(718), 실질적으로 압축되지 않은 영상 블록으로부터 움직임 보상된 적응 기준을 빼는 단계(722) 및 실질적으로 압축되지 않은 영상 블록과 움직임 보상된 적응 기준 사이의 차이를 인코딩하는 단계를 포함한다. 비디오 디코더(400)와 대응하는 방법(800) 또한 개시된다.

Description

적응 기준 화상 생성{ADAPTIVE REFERENCE PICTURE GENERATION}

본 출원은 2003년 9월 17일자로 출원되고 본 명세서에 그 전문이 참조 문헌으로 병합되어 있는, "적응 기준 재생성을 사용하는 비디오 코덱 아키텍처"라는 제목의 미국 가출원 일련 번호 60/504,757(출원인 관리 번호 PU030270)의 이익을 주장한다.

본 발명은 비디오 인코더 및 디코더(CODEC), 좀더 구체적으로는 코덱에서 예측기로서 기준 화상을 사용하는 것에 관한 것이다.

MPEG-2와 JVT/H.264/MPEG AVC와 같은 전형적인 비디오 압축 시스템 및 표준에서는, 인코더와 디코더가 압축을 달성하기 위해 일반적으로 인트라 코딩 및 인터 코딩에 의존한다. 인트라 코딩에서는 공간 예측 방법이 사용되지만, 인터 코딩 동안 화상 사이에 존재할 수 있는 시간 상관을 이용함으로써 압축이 달성된다. 좀더 구체적으로는, 나중의 화상을 위한 기준으로서 이전에 인코딩된/디코딩된 화상이 사용되고, 반면에 이들 화상 사이의 임의의 움직임 활동을 보상하기 위해, 움직임 추정 및 보상이 이용된다. H.264와 같은 좀더 개선된 코덱이 또한 필요하다면 더 많은 정확한 예측을 생성하기 위해, 페이드 인/아웃 동안과 같은 조명(lighting) 변화를 고려한다. 마지막으로, 블록 해제 방법이 또한 예측 및 양자화 과정을 통해 생성된 블록킹 아티팩트를 감소시키려는 시도로 사용된다.

불행하게도, 인터 코딩에 관련된 전형적인 방법은, 전체 예측 과정에 상당히 영향을 줄 수 있는 일부 추가적인 특성과 특징을 고려하지 않는다. 특히, 더 높은 해상도에서, 화상은 필름 입자 또는 작은 반점(speckle) 잡음과 같은 몇 가지 유형의 잡음을 포함할 수 있다. 이러한 종류의 잡음은 한 화상으로부터 다른 화상으로 완전히 상관되지 않게 되는 경향이 있고, 이는 기준 화상 내의 임의의 남아있는 잡음이 인코딩 과정 동안에 가장 보상될 필요가 있을 것 같음을 암시한다. 비록 이러한 잡음의 일부가 양자화 과정을 통해 제거될 수 있고, 가능하게는 인코더에 도입된 비-표준(non-normative) 임계값(thresholding)을 통해 제거될 수 있을지라도, 여전히 코딩 효율에 있어 상당한 부정적인 영향을 가질 수 있다.

사전 처리 단에서 이러한 잡음을 제거하는 것이 가능한데, 이러한 사전 처리 단에서는 시간 및 공간 필터링 방법이 사용될 수 있어, 인코딩 효율에 있어서 상당한 개선을 허용하지만, 필름 콘텐츠의 경우에서와 같은 이러한 잡음의 일부를 존속시키는 것이 바람직할 수도 있는데, 이는 그 자체가 필름의 예술적 콘텐츠의 일부가 될 수 있기 때문이다. 따라서, 필요한 것은 디스플레이된 화상의 예술적 콘텐츠를 유지하면서, 기준 화상에서 상관되지 않은 잡음을 감소시키는 새로운 구조이다.

종래 기술의 이러한 그리고 다른 결점과 단점은 적응 기준 재생성을 사용하는 비디오 코딩 및 디코딩을 위한 장치 및 방법에 의해 다루어진다.

본 발명은 비디오 인코더, 디코더 및 기준 전용 화상으로부터의 예측을 사용하여 입력 화상이나 영상 블록을 인코딩{및 추론(corollary)-디코딩}하기 위한 대응하는 방법이다. 예시적인 인코더는 사전에 코딩된 화상을 저장하기 위한 화상 버퍼와, 사전에 코딩된 화상으로부터 기준 전용 화상을 생성하기 위해 화상 버퍼와 신호 통신하는 기준 처리 유닛을 포함한다. 예시적인 인코딩 방법은 실질적으로 압축되지 않은 영상 블록을 수신하는 단계, 적응 기준을 생성하기 위해 사전에 코딩된 화상을 필터링하는 단계, 적응 기준을 움직임 보상하는 단계, 실질적으로 압축되지 않은 영상 블록으로부터 움직임 보상된 적응 기준을 빼는 단계 및 실질적으로 압축되지 않은 영상 블록과 움직임 보상된 적응 기준 사이의 차이를 인코딩하는 단계를 포함한다.

본 발명의 이들 및 다른 양상, 특징 및 장점은 첨부 도면과 함께 읽혀질 예시적인 실시예의 다음 설명으로부터 분명하게 될 것이다.

본 발명은 다음 예시적인 도면을 참조함으로써 더 양호하게 이해될 수 있다.

도 1은 본 발명의 일 실시예에 따른 적응 기준 재생성을 위한 비디오 인코더의 블록도.

도 2는 본 발명의 일 실시예에 따른 적응 기준 재생성을 위한 비디오 디코더의 블록도.

도 3은 본 발명의 또 다른 실시예에 따른 적응 기준 재생성을 위한 비디오 인코더의 블록도.

도 4는 본 발명의 또 다른 실시예에 따른 적응 기준 재생성을 위한 비디오 디코더의 블록도.

도 5는 본 발명의 일 실시예에 따른 픽셀 프로젝션에 의한 기준 생성을 그림으로 나타낸 표현을 도시하는 도면.

도 6은 본 발명의 일 실시예에 따른 움직임 프로젝션에 의한 기준 생성을 그림으로 나타낸 표현을 도시하는 도면.

도 7은 본 발명의 원리에 따른 적응 기준 생성으로 인코딩하기 위한 흐름도.

도 8은 본 발명의 원리에 따른 적응 기준 생성으로 디코딩하기 위한 흐름도.

본 발명의 원리에 따르면, 더 뒤의 화상을 코딩할 때 기준으로 삼기 위해 사용하기 전에 필터가 이전에 코딩된 화상에 적용된다. 이 필터는 인코딩 과정 동안에 잡음 정보를 보유하고, 필요하다면 디스플레이 화상의 예술적인 콘텐츠를 보존하기 위해 사용될 수 있다.

본 설명은 본 발명의 몇 가지 실시예의 원리를 예시한다. 그러므로, 비록 본 명세서에서 본 발명의 실시예로서 명시적으로 설명되거나 도시되지는 않지만 당업자라면 본 발명의 원리를 구현하고 본 발명의 정신과 범위 내에 포함되는 다양한 배열을 생각할 수 있으리라는 점을 알게 될 것이다,

본 명세서에 인용된 모든 예와 조건부 언어는 발명자에 의해 해당 분야 기술을 증진시키는데 기여하도록 본 발명의 원리와 개념을 읽는 사람이 이해하는 데 도움을 주기 위한 교육적인 목적을 위해 의도되고, 그러한 특별히 인용된 예와 조건에 제한을 받지 않는 것으로 해석되어야 한다. 게다가, 본 발명의 원리, 양상 및 실시예를 본 명세서에서 인용하는 모든 서술은 그 특별한 예와 함께, 구조 및 기능상 등가물 모두를 포함하는 것으로 의도된다. 추가적으로, 그러한 등가물은 앞으로 개발될 등가물, 즉 구조와 상관없이 동일한 기능을 수행하는 개발된 임의의 요소와 함께 현재 알려진 등가물 모두를 포함하는 것으로 의도된다.

그러므로, 예를 들어 본 명세서에 제시된 블록도는 본 발명의 원리를 구현하는 예시적인 회로의 개념도를 나타내는 것임을 당업자라면 알게 될 것이다. 유사하게, 임의의 흐름도, 공정 계통도(flow diagram), 상태 전이도, 의사코드 등은, 컴퓨터 판독 가능 매체에 실질적으로 제시되고 컴퓨터나 프로세서에 의해 그렇게 실행될 수 있는 다양한 과정을 제시하는 것을 알게 될 것이고, 그러한 컴퓨터나 프로세서는 명시적으로 도시되거나 도시되지 않을 수 있다.

도면에 도시된 다양한 요소의 기능은 적절한 소프트웨어와 연관된 소프트웨어를 실행할 수 있는 하드웨어와 함께 전용 하드웨어의 사용을 통해 제공될 수 있다. 프로세서에 의해 제공될 때, 그러한 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별 프로세서에 의해 제공될 수 있고, 이들 복수의 프로세서의 일부는 공유될 수 있다. 게다가, "프로세서" 또는 "제어기"라는 용어의 명시적인 사용은 소프트웨어를 실행할 수 있는 하드웨어만을 배타적으로 가리키는 것으로 해석되어서는 안 되고, 제한 없이 디지털 신호 프로세서("DSP") 하드웨어, 소프트웨어를 저장하기 위한 판독 전용 메모리("ROM"), 랜덤 액세스 메모리("RAM") 및 비휘발성 저장 장치를 묵시적으로 포함할 수 있다.

종래의 및/또는 맞춤식의 다른 하드웨어가 또한 포함될 수 있다. 유사하게, 도면에 도시된 임의의 스위치는 단지 개념상의 것이다. 이들의 기능은 프로그램 로직의 동작, 전용 로직, 프로그램 제어와 전용 로직의 상호작용, 또는 심지어 수동으로 수행될 수 있으며 상황으로부터 좀더 구체적으로 이해되는 바와 같이, 특별한 기술은 이행자에 의해 선택 가능하다.

청구항에서, 지정된 기능을 수행하기 위한 수단으로 표현된 임의의 요소는, 예를 들어, a) 해당 기능을 수행하는 회로 요소의 결합 또는 b)그 기능을 수행하기 위한 소프트웨어를 실행하기 위한 적합한 회로와 결합된 펌웨어, 마이크로코드 등을 포함하는 임의의 형태의 소프트웨어를 포함하여 그 기능을 수행하는 임의의 방식을 포함하는 것으로 의도된다. 그러한 청구항에 의해 한정된 바와 같은 본 발명은, 다양하게 인용된 수단에 의해 제공된 기능들이 청구항에서 주장하는 방식으로 함께 결합되고 모여진다는 사실에 있다. 그러므로 본 출원인은 이들 기능을 제공할 수 있는 임의의 수단을 본 명세서에 도시된 것과 같은 것으로 간주한다.

도 1에 도시된 바와 같이, 비디오 인코더는 일반적으로 참조 번호(100)로 표시된다. 인코더(100)로의 입력은 각 공간 필터(102)와 입력 화상 저장 장치(104)와의 신호 통신으로 연결된다. 공간 필터(102)의 출력은 합산 결합부(110)의 스위칭 가능한 비반전 입력의 제 1 위치와 신호 통신으로 스위칭 가능하게 연결된다. 입력 화상 저장 장치(104)는 잡음 감소기(106)와의 신호 통신으로 연결되고, 이러한 잡음 감소기(106)는 합산 접합부(110)의 스위칭 가능한 비반전 입력의 제 2 위치와의 신호 통신으로 스위칭 가능하게 연결된다. 합산 접합부(110)의 출력은 블록 변환기(120)와의 신호 통신으로 연결된다. 변환기(120)는 양자화기(130)와의 신호 통신으 로 연결된다. 양자화기(130)의 출력은 엔트로피 또는 가변 길이 코딩기("VLC")(140)와의 신호 통신으로 연결되고, 여기서 VLC(140)의 출력은 인코더(100)의 외부적으로 이용 가능한 출력이다.

양자화기(130)의 출력은 또한 역 양자화기(150)와의 신호 통신으로 연결된다. 역 양자화기(150)는 역 블록 변환기(160)와의 신호 통신으로 연결되고, 이러한 역 블록 변환기(160)는 또한 루프 내 필터(172)와의 신호 통신으로 연결된다. 루프 내 필터(172)는 기준 화상 저장 장치(175)와의 신호 통신으로 연결된다. 기준 화상 저장 장치(175)의 제 1 출력은 움직임 추정기 및 모드 결정 유닛(180)의 제 1 입력과의 신호 통신으로 연결된다. 공간 필터(102)의 출력은 또한 움직임 추정기(180)의 제 2 입력과의 신호 통신으로 연결된다. 움직임 추정기(180)의 제 1 출력은 움직임 보상기(190)의 제 1 입력과의 신호 통신으로 연결된다. 움직임 추정기(180)의 제 2 출력은 잡음 감소기(106)의 제 2 입력과의 신호 통신으로 연결된다. 기준 화상 저장 장치(175)의 제 2 출력은 움직임 보상기(190)의 제 2 입력과의 신호 통신으로 연결된다. 움직임 보상기(190)의 출력은 합산 접합부(110)의 반전 입력과의 신호 통신으로 연결된다.

도 2를 참조하면, 송신기(201)는 수신기(204)와의 신호 통신을 한다. 송신기(201)는 각각 입력 비디오 신호를 수신하기 위한 필름 입자 제거 유닛(211)과 필름 입자 모델링 유닛(212)을 포함한다. 필름 입자 제거 유닛(211)은, 각각 필름 입자 모델링 유닛(212)과 비디오 인코더(213)와 신호 통신을 한다. 비디오 인코더(213)는 압축된 비트 스트림을 송신하기 위해, 수신기(204)의 비디오 디코더(202)와 신 호 통신을 한다. 필름 입자 모델링 유닛(212)은 보충 강화 정보("SEI") 메시지를 송신하기 위해, 수신기(204)의 필름 입자 시뮬레이션 유닛(278)과 신호 통신을 한다. 비디오 디코더(202)는 각각 필름 입자 시뮬레이션 유닛(278)과 합산 유닛(282)의 비반전 입력과 신호 통신을 한다. 필름 입자 시뮬레이션 유닛(278)은 또한 합산 유닛(282)의 제2 비반전 입력과 신호 통신을 한다. 합산 유닛(282)은 디스플레이를 위한 신호를 제공한다.

수신기(204)는 비트스트림을 수신하기 위해, 역 양자화기(220)와의 신호 통신으로 연결된 가변 길이 디코더("VLD")(210)를 포함한다. 역 양자화기는 역 블록 변환기(230)와 연결된다. 역 변환기는 가산기 또는 합산 접합부(240)의 제 1 입력 단자와의 신호 통신으로 연결된다. 합산 접합부(240)의 출력은 루프 필터(272)와의 신호 통신으로 연결된다. 루프 필터(272)는 프레임 버퍼(274)와의 신호 통신으로 연결된다. 프레임 버퍼(274)는 각각 움직임 보상기(260), 필름 입자 시뮬레이션 유닛(278) 및 합산 접합부(282)의 제 1 비반전 입력과의 신호 통신으로 연결된다. VLD(210)는 또한 움직임 보상기(260)의 제 2 입력으로서 결합된다. 움직임 보상기(260)의 출력은 합산 접합부(240)의 제 2 입력 단자와의 신호 통신으로 연결된다. 필름 입자 시뮬레이션 유닛(278)은, 예를 들어 SEI 메시지와 같은 잡음 파라미터를 수신하기 위한 제 2 입력을 가진다. 필름 입자 시뮬레이션 유닛(278)의 출력은 합산 접합부(282)의 제 2의 비반전 입력과의 신호 통신으로 연결된다. 합산 접합부(282)의 출력은 수신기(204)로부터의 출력을 제공한다.

이제 도 3을 참조하면, 비디오 인코더는 일반적으로 참조 번호(300)에 의해 표시된다. 인코더(300)의 입력은 합산 접합부(310)의 비반전 입력과의 신호 통신으로 연결된다. 합산 접합부(310)의 출력은 블록 변환기(320)와의 신호 통신으로 연결된다. 변환기(320)는 양자화기(330)와의 신호 통신으로 연결된다. 양자화기(330)의 출력은 가변 길이 코딩기("VLC")(340)와의 신호 통신으로 연결되고, 이 경우 가변 길이 코딩기(340)의 출력은 인코더(300)의 외부적으로 이용 가능한 비트 스트림 출력이다.

양자화기(330)의 출력은 또한 역 양자화기(350)와의 신호 통신으로 연결된다. 역 양자화기(350)는 역 블록 변환기(360)와의 신호 통신으로 연결되고, 이 역 블록 변환기(360)는 또한 합산 접합부(370)의 제 1 비반전 입력과의 신호 통신으로 연결된다. 합산 접합부(370)의 출력은 루프 필터(372)와의 신호 통신으로 연결되고, 선택적으로는 기준 처리 유닛(376)과의 신호 통신으로 연결된다. 루프 필터(372)는 프레임 버퍼(374)와의 신호 통신으로 연결된다. 프레임 버퍼(374)는 기준 처리 유닛(376)과의 신호 통신으로 연결되고, 선택적으로는 움직임 보상 유닛(390)과의 신호 통신으로 연결된다. 기준 처리 유닛(376)은 각각 VLC(340), 프레임 버퍼(374), 움직임 추정 유닛(380) 및 움직임 보상 유닛(390)과의 신호 통신으로 연결된다.

인코더(300)의 입력은 또한 움직임 추정기(380)의 제 2 입력과의 신호 통신으로 연결된다. 움직임 추정기(380)의 출력은 움직임 보상기(390)의 제 3 입력과, VLC(340)의 제 3 입력과의 신호 통신으로 연결된다. 움직임 보상기(390)의 출력은 합산 접합부(310)의 반전 입력과의 신호 통신으로 연결된다.

도 4에 도시된 바와 같이, 비디오 디코더는 일반적으로 참조 번호(400)로 표시된다. 비디오 디코더(400)는 비트 스트림을 수신하기 위해, 역 양자화기(420)와의 신호 통신으로 연결된 가변 길이 디코더("VLD")(410)를 포함한다. 역 양자화기는 역 변환기(430)와 연결된다. 역 변환기(430)는 가산기 즉, 합산 접합부(440)의 제 1 입력 단자와의 신호 통신으로 연결된다. 합산 접합부(440)의 출력은 루프 필터(472)와의 신호 통신으로 연결된다{그리고, 선택적으로는 효과적으로 루프 필터를 우회하는 루프 필터(472) 대신, 미도시된 기준 처리 유닛(476)과의 신호 통신으로 연결된다}. 루프 필터(472)는 프레임 버퍼(474)와의 신호 통신으로 연결된다. 프레임 버퍼(474)의 제 1 출력은 기준 처리 유닛(476)의 제 1 입력과의 신호 통신으로 연결된다. VLD(410)는 기준 처리 유닛(476)의 제 2 입력과의 신호 통신으로 연결된다.

기준 처리 유닛(476)의 제 1 출력은 움직임 보상기(460)와의 신호 통신으로 연결되고, 이러한 움직임 보상기(460)는 합산 접합부(440)의 제 2 비반전 입력 단자와의 신호 통신으로 연결되며, 선택적으로는 미도시된 기준 처리 유닛(476)의 입력과의 신호 통신으로 연결된다. 비디오 디코더(400)의 출력은 각각 프레임 버퍼(474)의 제 2 출력과, 기준 처리 유닛(476)의 제 2 출력과의 신호 통신으로 스위칭 가능하게 연결된다.

도 5를 참조하면, 픽셀 투영에 의한 기준 생성이 일반적으로 참조 번호(500)에 의해 표시되고, 이 경우 각 픽셀은 그것의 이전 움직임 벡터에 따른 새로운 위치로 투영된다.

도 6을 참조하면, 움직임 투영에 의한 기준 생성이 일반적으로 참조 번호(600)에 의해 표시되고, 이 경우 현재 기준에서의 각 블록은 그것의 함께 위치한(co-located) 블록과 동일한 MV를 가지는 것으로 가정된다.

도 7에 도시된 바와 같이, 본 발명의 원리에 따른 적응 기준 생성으로 인코딩하는 과정이 일반적으로 참조 번호(700)로 표시된다. 이 과정은 입력 블록(712)으로 제어를 넘기는 시작 블록(710)을 포함한다. 입력 블록(712)은 실질적으로 압축되지 않은 영상 블록 데이터를 수신하고, 제어를 기능 블록(714)에 넘기며, 이 기능 블록(714)은 적응 기준을 생성하기 위해 필터를 저장된 사전에 코딩된 화상으로 적용한다. 기능 블록(714)은 제어를 기능 블록(718)으로 넘기고, 이 기능 블록(718)은 움직임 벡터에 일치하여 적응 기준을 움직임 보상하며 제어를 기능 블록(722)으로 넘긴다. 기능 블록(722)은 실질적으로 압축되지 않은 영상 블록으로부터 움직임 보상된 적응 기준을 빼고, 제어를 기능 블록(724)으로 넘긴다. 기능 블록(724)은 또한 실질적으로 압축되지 않은 영상 블록과 움직임 보상된 적응 기준 사이의 차이를 갖는 신호로 인코딩하고, 제어를 기능 블록(726)으로 넘긴다. 기능 블록(726)은 또한 디코딩된 화상을 형성하기 위해 디코딩된 차이를 움직임 보상된 적응 기준에 더하고, 제어를 기능 블록(728)에 넘긴다. 기능 블록(728)은 디코딩된 화상을 화상 버퍼에 저장하고, 제어를 종료 블록(730)으로 넘긴다.

도 8을 참조하면, 본 발명의 원리에 따른 적응 기준 생성으로 디코딩하기 위한 과정이 일반적으로 참조 번호(800)로 표시된다. 이 과정은 제어를 입력 블록(812)으로 넘기는 시작 블록(810)을 포함한다. 입력 블록(812)은 코딩된 화상 데이 터를 수신하고, 제어를 기능 블록(814)에 넘긴다. 기능 블록(814)은 적응 기준을 생성하기 위해 저장된 사전에 코딩된 화상에 필터를 적용하고, 제어를 기능 블록(816)에 넘긴다. 기능 블록(816)은 적응 기준을 움직임 보상하고, 제어를 기능 블록(818)에 넘긴다. 기능 블록(818)은 또한 코딩된 차이를 디코딩하고, 제어를 기능 블록(824)에 넘긴다. 기능 블록(824)은 디코딩된 화상을 형성하기 위해 디코딩된 차이에 움직임 보상된 적응 기준을 더하고, 제어를 기능 블록(826)에 넘긴다. 기능 블록(826)은 디코딩된 화상을 저장 및 디스플레이하고, 제어를 종료 블록(828)에 넘긴다.

다시 도 1을 참조하면, 비디오 인코딩 및 디코딩 아키텍처는, 예를 들어 비디오 시퀀스로부터 잡음을 제거하려는 시도로, 공간 및/또는 시간 필터링과 같은 사전 처리 방법을 고려할 수 있다. 이 과정은 본질적으로 시퀀스 내의 공간 및/또는 시간 관계를 개선하고, 이는 인코딩 효율을 더 높인다.

일부 경우, 도 2를 참조하여 더 양호하게 이해되는 바와 같이, 일부 유형의 잡음을 유지하는 것이 바람직할 수 있다(예를 들어, 필름 유형 HD 콘텐츠 내의 필름 입자 잡음). 그러므로, 본래의 필름 입자 잡음의 추정치를 디코더가 생성하는 것을 허용하는 한 세트의 인코딩된 파라미터와 그러한 콘텐츠를 연관시키는 것이 또한 바람직하다. 이들 파라미터는, 예를 들어 SEI 메시지를 사용하여 H.264로 송신될 수 있으며, 한편으로는 상이한 모델이 잡음의 생성을 위해 사용될 수 있다.

도 3과 도 4를 다시 참조하면, 기존의 방법과 대비하여 성을 더 개선할 수 있는 새로운 비디오 인코딩 및 디코딩 아키텍처가 제시된다. 이는 디스플레이를 위 해 사용된 인코딩된/디코딩된 화상과, 나중의 코딩될 화상에 관한 기준으로서 사용될 연관된 화상을 구별함으로써 달성된다. 특별한 예에서는 콘텐츠에 따라, 나중 화상의 전체 또는 일부의 움직임을 높은 정확도로 이미 알 수 있거나 예측할 수 있게 되고, 이에 따라 이러한 정보를 더 많은 관련 기준 화상을 생성하는데 사용한다. 게다가, 필름 입자 잡음과 같은 일부 유형의 잡음은 한 화상으로부터 다른 화상으로 완전히 상관되지 않고 보상될 필요가 있으며, 더 나은 코딩 효율을 달성하기 위해, 기준 화상으로부터 가능하다면 완전히 제거된다.

현재 개시된 아키텍처는 인코더와 디코더 모두에 대해 이용 가능한 알려진 공간 및 시간 정보를 사용하여, 필요하다면 실시예가 디코딩된 화상을 분석하고 처리하며, 나중의 화상을 위한 기준으로서 사용될 수 있는 새로운 화상을 생성할 수 있는 추가적인 단계를 인코딩 및 디코딩 과정 내에 도입한다. 이러한 결정 및 전체 기준 생성 절차는 비트 스트림 내의 인코딩된 추가적인 정보에 기초할 수 있거나, 상황에 기초하여 적응 가능하게 결정될 수 있다. 게다가, 반드시 필요한 것을 아니지만, 이러한 새로운 화상은 또한 비트 스트림 신호나 디코더 결정에 기초하여 디스플레이 목적을 위해 사용될 수 있다.

본 발명의 원리에 따르면, 인코딩 및 디코딩 과정 내의 추가적인 단계가, 기존의 시스템에 비해 코딩 효율에 있어 추가 개선을 가져올 수 있는 인터(inter) 예측 기준 화상을 생성하기 위해 도입된다. 현재 개시된 시스템의 특징은 잡음이 많은 콘텐츠와 같은 특정 시퀀스에 대해, 잡음이 보통 시간적으로 상관되지 않으므로 사전에 디코딩된 화상이 최상의 가능한 기준이 되지 않을 수 있다는 것이다. 비록 잡음이 사전 처리 단에서 제거될 수 있을지라도, 때때로 예를 들어 영화 유형 콘텐츠에서 필름 입자에 관한 경우에서처럼, 잡음 자체가 실제 콘텐츠의 일부일 수 있으므로, 잡음은 유지되는 것이 바람직할 수 있다.

현재의 아키텍처에서, 추가적인 선택 필터링 과정이, 예를 들어, 중간(median) 필터, 위너(Wiener) 필터링, 기하 평균, 최소 제곱 등과 이들을 결합한 것과 같은 필터를 사용하여 각각의 기준 화상에 적용될 수 있다. 필터링은 서브 픽셀 보간법이 제거하지 않는 다른 유형의 잡음을 다루고 제거하는데 추가적으로 사용될 수 있다. 간단한 평균화(averaging) 필터와 같은 선형 필터가 또한, 예를 들어 서브 픽셀 위치를 반드시 고려해야 하지 않으면서 사용될 수 있다. 시간 필터링과 같은 시간 방법 또는, 심지어 예를 들어 전반적인 움직임 보상을 사용하는 것과 같은 새로운 움직임 보상된 기준을 생성하기 위해 이전 화상의 움직임 정보를 사용하는 것을 고려하는 것도 가능하다. 간단하게 하기 위해, 본 명세서에서는 이러한 유형의 방법을 "필터링" 또는 "필터"를 사용하는 것이라고 부를 수 있다.

비록 이러한 필터와 과정이 모든 기준에 관해 고정될 수 있을지라도, 상이한 시스템에서 좀더 유익할 수 있는 몇 가지 대안적인 아키텍처가 이용될 수 있다. 특히, 간단한 방법은 모든 화상에 관해, 예를 들어, 이러한 화상이 또 다른 화상에 의해 참조 된다면 필터링된 버전이 대신 사용될 것이라는 것을 명시하는 1 비트의 신호와 같은 신호를 인코딩하게 된다. 이 경우, 이것은 본래의 샘플이나 필터링된 샘플 중 어느 하나를 사용함으로써, 서브 픽셀 위치가 생성되는 인코더와 디코더 모두에 관해 사전 정의될 수 있다. 대안적으로, 이러한 동작을 명시하는 추가적인 신호가 송신될 수 있다.

필터 파라미터 및/또는 정보는 또한 각 화상에 관해 스트림 내에서 시그널링될 수 있다. 이 방법은 어떠한 추가적인 메모리도 필요로 하지 않다는 분명한 잇점을 가지지만, 인코더의 유연성을 제한할 수도 있는데, 이는 일부 화상에 관해 상이한 필터를 사용하는 또는 필터를 전혀 사용하지 않는 기준이 더 유익하게 되기 때문이다.

대신, 좀더 유연한 해결 방안은 각 화상에 관해 그것의 기준이 필터링되는지의 여부를 명시하는 것이다. 이러한 해결 방안은 인코더가 각 화상의 특성에 더 잘 적응하는 것을 허용하고 더 높은 성능을 달성하도록 한다. 또한 모든 기준에 관해 동일한 필터를 사용하는 것이 가능하고, 심지어는 각 기준에 관해 비트 스트림 내에서 시그널링될 수 있는 상이한 필터를 허용하는 것이 가능하다. 또한 화상의 일부 영역이 상이한 특징을 가질 수 있고 상이한 필터링 방법으로부터 유익할 수 있다는 점을 고려하면, 상이한 필터링 옵션을 가지거나 가지지 않고서, 기준으로서 동일한 화상이 재사용되는 것을 허용할 수 있다. 예를 들어, 현재 화상에 관한 기준으로서 사용될 수 있는 버퍼 내의 N개의 상이한 화상을 가지고, 본래의 것을 포함하는 K개의 상이한 필터링 방법을 가진다면, 이는 기준으로서 사용될 수 있는 N ×(K+1)개의 상이한 기준 화상을 허용하게 된다. 필터는 본질적으로 매크로블록 레벨에서 각 기준에 연관된 기준 인덱스를 통해 선택되고, 이는 H.264 내의 명시적인 가중치가 더해진 예측 모드에 관하 현재 행해지는 것과 다소 유사하다.

좀더 구체적으로, 명시적으로 가중치가 더해진 예측에 의해 요구되는 사용 및 파라미터는, 인코딩 동안에 화상과 슬라이스 헤더 내에서 시그널링된다. 예를 들어, 화상 헤더는 weighted_pred_flag와 weighted_bipred_flag의 파라미터를 포함하고, 이러한 플래그들은 가중치가 더해진 예측이 사용될지와 어느 모드가 사용될지를 지정한다. weighted_pred_flag가 1이라면, P 및 SP 플라이스에 대해 가중치가 더해진 예측(항상 명시적인)이 사용되는데 반해, weighted_bipred_flag가 또한 1일 때는, 명시적으로 가중치가 더해진 예측이 B 화상에 관해 사용된다. 이들 파라미터 중 어느 하나가 1로 설정되고, 적당한 슬라이스 유형이 사용되면, 예측 가중 테이블(pred_weight_table) 요소가 또한 슬라이스 헤더 내에서 전송된다. 이들은 슬라이스가 B 화상이고, weighted_bipred_flag가 1이라면, list_0과 list_1 모두에서 각 기준 화상에 관한 가중치와 오프셋을 포함하고, 이들은 각 블록과 연관되는 기준에 따라, 움직임 보상 동안에 예측 샘플을 생성하는 동안 사용될 것이다. 특별한 기준 화상에 관해 사용하기 위한 특별한 가중치와 오프셋은 특별한 매크로블록 또는 매크로블록 파티션의 기준 화상 인덱스에 의해 표시된다.

유사하게, 새로운 예측 방법과 동일한 헤더 내에 있는 그것의 파라미터를 시그널링할 추가 요소를 도입할 수 있다. 예를 들어, adaptive_ref_pred_flag라고 부르는 새로운 화상 레벨 구문(syntax) 요소를 정의할 수 있다. 만약 이것이 1과 같다면, 어느 한 리스트에서의 각 기준 화상에 관한 추가 파라미터를 포함할 슬라이스 헤더(예를 들어, adaptive_ref_table) 내에서 추가 테이블이 전송되고, 이는 필터링 방법과 필터 파라미터를 포함할 수 있다. 필터 파라미터는 동적일 수 있고, 사용될 필터링 방법에 의존할 수 있다. 예를 들어, 어떠한 추가적인 파라미터도 중 간 필터에 관해 필수적이지 않은데 반해, 개별 필터에 관해서는, 여러 개의 탭과 계수가 필요할 수 있다. 특별한 매크로블록 또는 매크로블록 파티션에 관한 특별한 필터를 선택하기 위해, 기준 화상 인덱스가 사용될 수 있다.

전술한 방법은, 비록 작동 중인 필터링된 값을 계산하고 저장 장치 요구 사항을 감소시키는 것이 가능할지라도, 추가 계산과, 인코더 및 디코더에 대한 저장 장치가 필요함을 의미한다. 또한, 이들 각 기준에 관한 서브 픽셀 값을 계산하는 것은 항상 필수적인 것이 아니고, 오직 본래의 것으로부터 생성된 서브 픽셀 값만이 계산되고 저장될 수 있으며, 이로 인해 그러한 인코더의 복잡성을 더 감소시키게 된다. 이러한 경우, 필터링된 기준의 서브 픽셀 값이 본래의 것과 동일하게 되는 것을 허용{이것은 속도 왜곡 최적화(Rate Distortion Optimization) 모델에서 여전히 유익할 수 있다}하거나, 필터링된 기준 화상에 관한 정수 움직임 벡터만을 허용. 그러한 경우, 이들 움직임 벡터는 움직임 벡터 예측 과정 동안에 적당히 스케일링될 필요가 있는데 반해, 이러한 움직임 벡터의 예측기는 그것들과 가장 가까운 정수 값으로 반올림되어야 한다.

기준을 생성하기 위해 필터 사용 여부와 어느 필터가 사용될지를 시그널링하는 것과는 별개로, 디코딩된 매크로블록 또는 모드의 일부 특징이 주어진다면 매크로블록 레벨에서 결정을 하는 것이 또한 가능하다. 예를 들어, P 화상에 관한 SKIP나 B 화상에 관한 쌍방향 예측과 같은 다이렉트(Direct) 또는 일부 모드가 필터링되지 않은 화상으로부터 이익을 얻기 위해 대부분의 시퀀스에서 나타난다. 예를 들어, SKIP가 사용된다면 이는 현재의 매크로블록이 그것의 기준과 매우 높은 유사성 을 가지고, 심지어 일부 잡음이 존재하는 경우, 이것이 시각적인 품질에 상당한 영향을 미치지 않게 될 것이라는 것을 의미한다. 이는 동일하게 다이렉트(Direct) SKIP에 적용되고, 다이렉트를 포함하는 모든 쌍방향 예측 모드는 그 자체로 많은 잡음을 또한 감소시킬 수 있는 시간 필터로 작용한다. 반면에, 필터링된 화상이 이들 모드에 관해 사용된다면, 추가 필터링이 효율성을 감소시킬 수 있는 흐릿해짐(blurring)과 같은 더 많은 아티팩트를 도입할 수 있다는 점이 가능하다.

논의된 바와 같이, 도 3과 도 4는 각각 인코더와 디코더를 도시한다. 인코더와 디코더에 포함된 고유한 요소는 기준 처리 모듈이다. 도 3으로부터, 블록 해제 과정 전후에 화상으로부터의 기준을 처리하고 생성하는 것을 선택하는 것이 가능한 데 반해, 필터링은 의무적으로 해야 하는 사항은 아니다. 이전에 인코딩된 화상으로부터의 움직임 정보가 또한 움직임 투영된 기준을 생성하기 위해 사용될 수 있다. 이러한 기준은 H.264 내에서 사용된 시간 다이렉트와 유사하게 한 이웃하는 화상으로부터 또 다른 화상으로 움직임이 비교적 연속하게 남아있다는 것을 고려함으로써 생성될 수 있다. 이러한 관찰로부터, 각 픽셀이 도 5에 도시된 바와 같이, 그것의 이전 움직임 벡터에 따라 새로운 위치로 투영되는 픽셀 투영을 사용함으로써, 또는 현재 기준에서의 각 매크로블록이 도 6에 도시된 바와 같은 그것의 공통으로 위치한 블록과 동일한 MV를 가지는 것으로 가정되는 움직임 투영을 사용함으로써, 기준이 생성될 수 있다. 2가지 방법 모두 가중치가 더해진 평균을 사용하여 결합될 수도 있는데 반해, 투영된 픽셀은 다른 방법을 사용하여 필터링될 수도 있다. 확장예로서, 초-해상도(super-resolution) 영상화(imaging) 또는 현저한 스틸 사진에 필적하는 단일 기준을 생성하기 위해 움직임/픽셀 투영 또는 필터링과 같은 다수의 화상이 결합되는 멀티스펙트럼(multispectral) 영상 증강과 같은 유사한 방법을 사용할 수도 있다.

예시적인 필터는 a) 1 ×3, b) 3 ×1, c) 분리 가능한(먼저 1 ×3이 오고 그 다음에 3 ×1이 오는 것, 및 d) 3 ×3 중앙 값(median), f) 본래의 기준으로 가중치가 더해진 평균{즉, 기준(ref)=(a ×중앙 값₁ _×3+b ×중앙 값₃ _×1+c ×중앙 값₃ _×3+d ×본래의 값+(a+b+c+d)/2)/(a+b+c+d)), g) 위너 필터링(가우시안 잡음의 취급으로 인한), h) 계수를 구비한 3 ×3 평균화 필터, 즉

, 또는 l) 간단한 분리 가능 n-탭 필터, j) 임계 평균(결과가 본래 샘플과는 상당히 다른 경우에만 필터 h를 사용), 및 이들 필터를 조합한 것을 포함한다. 다른 필터 또한 사용될 수 있고, 비트 스트림에서 시그널링될 수 있거나 인코더와 디코더 모두에서 알려질 수 있으며, 예를 들어 기준 인덱스를 통해서와 같이, 비트 스트림 내의 파라미터를 통해 선택될 수 있다.

이러한 아키텍처에서 또한 사용된 비교적 복잡성이 낮고, 간단한 3 ×3 중앙 값보다 나은 에지를 유지하는 흥미있는 필터는, 중앙 값과 2차원(2-D) 차수의 통계 필터를 결합한 것이었다. 현재 픽셀과, 본래 화상 내에서 현재 픽셀을 둘러싸는 8개의 픽셀이 선택되고 저장되었다. 현재 픽셀이 3 ×3 중앙 값과 동일한 것이라면, 어떠한 다른 작동도 수행되지 않았다. 만약 그렇지 않고, 현재 픽셀이 가장 큰 샘 플이거나 가장 작은 샘플이었다면, 이는 현재 픽셀과 가장 가까운 샘플로 대체되거나, 다른 구현예에서는 현재 픽셀과 가장 가까운 샘플과 현재 픽셀 사이의 평균 값으로 대체된다. 그렇지 않으면, 이러한 샘플은 현재 픽셀의 값과, 현재 픽셀의 2개의 가장 가까운 샘플의 평균 값으로 대체된다.

디코더는 동일한 기준을 생성하고 드리프트(drift)를 회피하기 위해 어느 필터가 사용되었는지를 정확하게 알아야 한다. 이 필터는 인코더와 디코더 모두에 대해 동일한 것으로 알려질 수 있는데 반해, 화상이나 슬라이스 레벨에서 이 필터를 전송하는 것도 가능하다. 비록 MB 레벨로 전체 필터를 전송하는 것이 상당한 오버헤드(overhead)를 의미하더라도, 필터가 글로벌(global) 움직임 보상된 기준을 사용한다면 추가적인 MV 스케일링 파라미터와 같은 필터의 부분을 조정하고, 여분의 유연성을 허용할 수 있는 일부 추가적인 파라미터를 전송하는 것이 가능할 수 있다. 한편, 인코더는 최소의 복잡성을 가지고 적당한 처리 방법을 선택할 수 있게 될 필요가 있다. 이를 위해, 잡음 추정, 영상 상관 등과 같은, 기준과 현재 화상의 사전-분석 방법이 사용될 수 있다. 이들 추정은 특히 상이한 영역이 구역 기반 방법으로 좀더 정확하게 검출될 수 있는 상이한 특징을 가질 수 있다는 점을 고려할 때, 전체 화상 레벨이나 심지어는 상이한 구역에서 행해질 수 있다.

본 발명의 이들 및 다른 특성 및 장점은 본 명세서에서의 가르침에 기초한 관련 분야의 당업자에 의해 쉽게 확인될 수 있다. 본 발명의 원리는 다양한 형태의 하드웨어, 소프트웨어, 펌웨어, 특별한 목적의 프로세서, 또는 이들이 결합된 것으로 구현될 수 있음이 이해되어야 한다.

본 발명의 원리가 하드웨어와 소프트웨어의 결합으로 구현되는 것이 가장 바람직하다. 게다가, 그러한 소프트웨어는 프로그램 저장 유닛 상에서 명백히 구현된 응용 프로그램으로서 구현되는 것이 바람직하다. 이러한 응용 프로그램은 임의의 적절한 아키텍처를 포함하는 기계로 업로드되거나 이 기계에 의해 실행될 수 있다. 이러한 기계는 하나 이상의 중앙 처리 유닛("CPU"), 랜덤 액세스 메모리("RAM") 및 입/출력("I/O") 인터페이스와 같은 하드웨어를 가지는 컴퓨터 플랫폼 상에 구현된다. 컴퓨터 플랫폼은 또한 운영 시스템 및 마이크로명령 코드를 포함할 수 있다. 본 명세서에서 설명한 다양한 과정과 기능은 마이크로명령 코드의 일부이거나 응용 프로그램의 일부 또는 CPU에 의해 실행될 수 있는 이들의 결합일 수 있다. 또한, 추가적인 데이터 저장 유닛과 프린팅 유닛과 같은 컴퓨터 플랫폼에 다양한 다른 주변 유닛이 연결될 수 있다.

첨부 도면에 도시된 일부 시스템 구성 성분과 방법이 소프트웨어로 구현되는 것이 바람직하기 때문에, 시스템 구성 성분이나 과정 기능 블록 사이의 실제 연결은 본 발명이 프로그래밍되는 방식에 따라 상이할 수 있다는 것을 더 이해해야 한다. 당업자라면 본 명세서에 주어진 가르침에 따라 본 발명의 이들 및 유사한 구현예나 구성예를 예측할 수 있다.

비록 본 예시된 실시예가 첨부 도면을 참조하여 본 명세서에서 설명되었지만, 본 발명은 이들 정밀한 실시예에 제한되지 않고, 본 발명의 범주와 정신을 벗어나지 않으면서 당업자에 의해 다양한 변경 및 수정이 이루어질 수 있음이 이해되어야 한다. 모든 그러한 변경 및 수정은 첨부된 청구항에서 전개된 바와 같이 본 발명의 범위 내에 포함되는 것으로 의도된다.

전술한 바와 같이, 본 발명은 비디오 인코더 및 디코더(CODEC), 특히 코덱에서 예측기로서 기준 화상을 사용하는 것에 이용 가능하다.

Claims

적어도 하나의 기준 화상으로부터의 예측을 사용하여 입력 화상 내의 잡음 정보를 유지하기 위하여 상기 입력 화상을 인코딩하기 위한 비디오 인코더(300)로서, 상기 인코더는

적어도 하나의 이전에 코딩된 화상을 저장하기 위한 프레임 버퍼(374)와,

상기 적어도 하나의 이전에 코딩된 화상으로부터 시간적으로 상관되지 않은 잡음을 감소시키기 위해 필터링함으로써 상기 적어도 하나의 기준 화상을 생성하기 위해 상기 프레임 버퍼와 신호 통신하는 기준 처리 유닛(376)을 포함하는, 비디오 인코더.
삭제
삭제
삭제
제 1항에 있어서, 상기 기준 처리 유닛은 상기 적어도 하나의 기준 화상을 생성하기 위해 적어도 하나의 가중치를 사용해서 상기 적어도 하나의 이전에 코딩된 화상을 가중하는(weigh), 비디오 인코더.
삭제
제 1항에 있어서, 상기 기준 처리 유닛은 공간 필터와 시간 필터 중 적어도 하나의 필터를 포함하는, 비디오 인코더.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
제 1항에 있어서, 상기 기준 처리 유닛은 상기 적어도 하나의 기준 화상을 생성하기 위해 움직임 정보를 사용하는, 비디오 인코더.
비디오 인코더에 의해 비디오 신호 데이터 내의 잡음 정보를 유지하기 위해 영상 블록에 관한 상기 비디오 신호 데이터를 인코딩하는 방법(700)으로서,

시간적으로 상관되지 않은 잡음을 포함하는 실질적으로 압축되지 않은 영상 블록을 수신하는 단계(712),

적응 기준을 생성하도록 상기 시간적으로 상관되지 않은 잡음을 감소시키기 위해 이전에 코딩된 화상을 필터링하는 단계(714),

상기 적응 기준을 움직임 보상하는 단계(718),

상기 움직임 보상된 적응 기준과 상기 실질적으로 압축되지 않은 영상 블록 사이의 차이를 결정하는 단계(722), 및

상기 실질적으로 압축되지 않은 영상 블록과 상기 움직임 보상된 적응 기준 사이의 차이를 인코딩하는 단계(724)를

포함하는, 영상 블록에 관한 비디오 신호 데이터를 인코딩하는 방법.
삭제
삭제
제 16항에 있어서, 상기 필터링하는 단계는 공간 필터와 시간 필터 중 적어도 하나의 필터의 적용을 포함하는, 영상 블록에 관한 비디오 신호 데이터를 인코딩하는 방법.
삭제
삭제
삭제
삭제
삭제
삭제
적어도 하나의 기준 화상으로부터의 예측을 사용해서 대응 입력 화상 내의 잡음 정보를 유지하기 위해 출력 화상을 디코딩하는 비디오 디코더(400)로서, 상기 디코더는

적어도 하나의 이전에 디코딩된 화상을 저장하기 위한 화상 버퍼(474)와,

상기 적어도 하나의 이전에 디코딩된 화상으로부터 시간적으로 상관되지 않은 잡음을 감소시키기 위해 필터링함으로써 상기 적어도 하나의 기준 화상을 생성하기 위해, 상기 화상 버퍼와 신호 통신하는 기준 처리 유닛(476)을

포함하되,

상기 적어도 하나의 기준 화상은 디스플레이하기 위해 사용되지 않는, 비디오 디코더.
삭제
제 26항에 있어서, 상기 기준 처리 유닛은 공간 필터와 시간 필터 중 적어도 하나의 필터를 포함하는, 비디오 디코더.
삭제
삭제
삭제
삭제
제 26항에 있어서, 상기 기준 처리 유닛은 상기 적어도 하나의 기준 화상을 생성하기 위해 적어도 하나의 가중치를 사용해서 상기 적어도 하나의 이전에 디코딩된 화상을 가중하는(weigh), 비디오 디코더.
삭제
삭제
삭제
삭제
제 26항에 있어서, 상기 기준 처리 유닛은 상기 적어도 하나의 기준 화상을 생성하기 위해 움직임 정보를 사용하는, 비디오 디코더.
비디오 디코더에 의해 비디오 신호 데이터 내의 잡음 정보를 유지하기 위해 디스플레이 화상에 관한 비디오 신호 데이터를 디코딩하는 방법(800)으로서,

코딩된 화상 데이터를 수신하는 단계(812),

상기 코딩된 화상 데이터로부터 예측 오류를 디코딩하는 단계,

기준 화상을 생성하기 위해 이전에 디코딩된 화상으로부터 시간적으로 상관되지 않은 잡음을 감소시키기 위해 필터를 적용하는 단계(814),

움직임 보상된 기준 화상을 생성하기 위해 상기 기준 화상을 움직임 보상하는 단계(820),

디코딩된 화상을 형성하기 위해 상기 움직임 보상된 기준 화상을 상기 예측 오류에 더하는 단계(824), 및

상기 디코딩된 화상을 디스플레이 화상으로서 제공하는 단계(826)를

포함하는, 디스플레이 화상에 관한 비디오 신호 데이터를 디코딩하는 방법.
삭제
제 39항에 있어서, 상기 기준 화상은 시간 필터링과 공간 필터링 중 적어도 하나의 필터링을 사용하여 적응 가능하게 생성되는, 디스플레이 화상에 관한 비디오 신호 데이터를 디코딩하는 방법.
제 39항에 있어서, 상기 필터를 적용하는 단계(814)는 상기 기준 화상을 생성하기 위해 움직임 정보를 사용하는, 디스플레이 화상에 관한 비디오 신호 데이터를 디코딩하는 방법.
제 16항에 있어서, 상기 이전에 코딩된 화상을 필터링하는 단계(714)는 상기 적응 기준을 생성하기 위해 움직임 정보를 사용하는, 영상 블록에 관한 비디오 신호 데이터를 인코딩하는 방법.