[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR20200143296A - 인터 예측을 이용하여 비디오를 부호화 및 복호화하는 방법 및 장치 - Google Patents

인터 예측을 이용하여 비디오를 부호화 및 복호화하는 방법 및 장치 Download PDF

Info

Publication number
KR20200143296A
KR20200143296A KR1020200072332A KR20200072332A KR20200143296A KR 20200143296 A KR20200143296 A KR 20200143296A KR 1020200072332 A KR1020200072332 A KR 1020200072332A KR 20200072332 A KR20200072332 A KR 20200072332A KR 20200143296 A KR20200143296 A KR 20200143296A
Authority
KR
South Korea
Prior art keywords
sample
affine
prediction
block
target block
Prior art date
Application number
KR1020200072332A
Other languages
English (en)
Inventor
강제원
박상효
박승욱
임화평
Original Assignee
현대자동차주식회사
이화여자대학교 산학협력단
기아자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 이화여자대학교 산학협력단, 기아자동차주식회사 filed Critical 현대자동차주식회사
Priority to JP2021574744A priority Critical patent/JP7275326B2/ja
Priority to PCT/KR2020/007721 priority patent/WO2020251325A1/ko
Priority to US17/267,182 priority patent/US11190761B2/en
Publication of KR20200143296A publication Critical patent/KR20200143296A/ko
Priority to US17/473,195 priority patent/US11677937B2/en
Priority to US17/473,296 priority patent/US11683482B2/en
Priority to US17/473,247 priority patent/US11683481B2/en
Priority to US17/473,365 priority patent/US11683483B2/en
Priority to JP2023076011A priority patent/JP7541690B2/ja
Priority to JP2023076009A priority patent/JP7541688B2/ja
Priority to JP2023076010A priority patent/JP7541689B2/ja
Priority to JP2023076008A priority patent/JP7541687B2/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/1883—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 코딩된 픽처들(coded pictures)의 시퀀스(sequence)를 블록 단위로 복호화하는 영상 복호화에 관한 것으로, 비트스트림으로부터 제1 하이레벨 신택스 요소를 복호화함으로써 아핀 움직임 예측(affine motion prediction)이 허용되는지 여부를 시퀀스 레벨에서 결정하는 단계; 및 상기 제1 하이레벨 신택스 요소에 의존하여 상기 비트스트림으로부터 적어도 하나의 코딩 툴 각각에 대한 제2 하이레벨 신택스 요소를 추출함으로써, 상기 적어도 하나의 코딩 툴 각각이 허용되는지 여부를 픽처 레벨에서 결정하는 단계를 포함한다. 사기 적어도 하나의 코딩 툴은 아핀 움직임 예측샘플들의 샘플 단위 조정(sample-by-sample adjustment)을 포함한다. 영상 복호화 장치는 시퀀스 레벨과 픽처 레벨에서의 결정에 따라 적응적으로 대상블록에 대한 아핀 움직임 예측 및 아핀 움직임 예측샘플들의 샘플 단위 조정을 수행한다.

Description

인터 예측을 이용하여 비디오를 부호화 및 복호화하는 방법 및 장치{Method and Apparatus for Encoding and Decoding Video by Using Inter Prediction}
본 발명은 영상(비디오)의 부호화 및 복호화에 관한 것으로서, 특히, 인터 예측의 압축 성능을 개선하는 코딩 툴(coding tool)과 관련된다.
비디오 데이터는 음성 데이터나 정지 영상 데이터 등에 비하여 많은 데이터량을 가지기 때문에, 압축을 위한 처리 없이 그 자체를 저장하거나 전송하기 위해서는 메모리를 포함하여 많은 하드웨어 자원을 필요로 한다.
따라서, 통상적으로 비디오 데이터를 저장하거나 전송할 때에는 부호화기를 사용하여 비디오 데이터를 압축하여 저장하거나 전송하며, 복호화기에서는 압축된 비디오 데이터를 수신하여 압축을 해제하고 재생한다. 이러한 비디오 압축 기술로는 H.264/AVC를 비롯하여, H.264/AVC에 비해 약 40% 정도의 부호화 효율을 향상시킨 HEVC(High Efficiency Video Coding)가 존재한다.
그러나, 영상의 크기 및 해상도, 프레임율이 점차 증가하고 있고, 이에 따라 부호화해야 하는 데이터량도 증가하고 있으므로 기존의 압축 기술보다 더 부호화 효율이 좋고 화질 개선 효과도 높은 새로운 압축 기술이 요구된다.
영상(비디오) 부호화에서는 압축 성능의 개선을 위해 예측 부호화가 주로 사용된다. 현재 픽처 내의 기복원된 샘플들을 이용하여 부호화하고자 하는 대상블록을 예측하는 인트라 예측과, 먼저 복원된 참조 픽처 내를 이용하여 현재블록을 예측하는 인터 예측이 존재한다. 특히, 인터 예측은 인트라 예측과 비교하여 압축 성능이 우수하여 비디오 부호화에 많이 사용되고 있다.
본 개시에서는 기존의 인터 예측의 압축 성능을 개선하는 코딩 툴을 제안한다.
본 개시는 인터 예측의 압축 성능을 개선하는 코딩 툴에 관한 것으로, 일 측면으로서, 병진 움직임(translation motion)뿐만 아니라 객체의 다양한 움직임에 대한 보상이 가능한 코딩 툴과 관련된다.
본 개시의 일 측면은, 코딩된 픽처들(coded pictures)의 시퀀스(sequence)를 블록 단위로 복호화하는 영상 복호화 방법을 제공한다. 상기 방법은, 비트스트림으로부터 제1 하이레벨 신택스 요소를 복호화함으로써 아핀 움직임 예측(affine motion prediction)이 허용되는지 여부를 시퀀스 레벨에서 설정하는 단계; 및 상기 제1 하이레벨 신택스 요소에 의존하여 상기 비트스트림으로부터 적어도 하나의 코딩 툴 각각에 대한 하나 이상의 제2 하이레벨 신택스 요소를 복호화함으로써, 상기 적어도 하나의 코딩 툴 각각이 허용되는지 여부를 픽처 레벨에서 설정하는 단계, 상기 적어도 하나의 코딩 툴은 아핀 움직임 예측샘플들의 샘플 단위 조정(sample-by-sample adjustment)을 포함함; 상기 시퀀스 레벨의 설정이 상기 아핀 움직임 예측이 허용됨을 나타낼 때, 상기 아핀 움직임 예측을 이용하여 부호화된 대상블록의 복수의 제어점 움직임벡터(control point motion vector)들을 결정하고 상기 제어점 움직임벡터들을 이용하여 서브블록 단위의 아핀 움직임 예측을 수행함으로써 상기 대상블록 내의 각 서브블록들에 대한 아핀 예측샘플들을 생성하는 단계; 및 상기 픽처 레벨이 설정에 근거하여 상기 대상블록이 포함된 현재 픽처에 대해 상기 아핀 움직임 예측샘플들의 샘플 단위 조정이 허용됨이 식별될 때, 상기 대상블록의 제어점 움직임벡터들에 근거하여 상기 각 서브블록들 내의 샘플 위치에 따른 움직임을 보상함으로써 상기 아핀 예측샘플의 샘플값을 수정하는 단계를 포함한다.
본 개시의 다른 측면은, 코딩된 픽처들(coded pictures)의 시퀀스(sequence)를 블록 단위로 복호화하는 영상 복호화 장치를 제공한다. 상기 장치는, 비트스트림으로부터 제1 하이레벨 신택스 요소를 복호화함으로써 아핀 움직임 예측(affine motion prediction)이 허용되는지 여부를 시퀀스 레벨에서 설정하고, 상기 제1 하이레벨 신택스 요소에 의존하여 상기 비트스트림으로부터 적어도 하나의 코딩 툴 각각에 대한 하나 이상의 제2 하이레벨 신택스 요소를 복호화함으로써, 상기 적어도 하나의 코딩 툴 각각이 허용되는지 여부를 픽처 레벨에서 설정하는 복호화부를 포함한다. 여기서, 상기 적어도 하나의 코딩 툴은 아핀 움직임 예측샘플들의 샘플 단위 조정(sample-by-sample adjustment)을 포함한다. 또한, 상기 장치는 상기 시퀀스 레벨의 결정이 상기 아핀 움직임 예측이 허용됨을 나타낼 때, 상기 아핀 움직임 예측을 이용하여 부호화된 대상블록의 복수의 제어점 움직임벡터(control point motion vector)들을 결정하고 상기 제어점 움직임벡터들을 이용하여 서브블록 단위의 아핀 움직임 예측을 수행함으로써 상기 대상블록 내의 각 서브블록들에 대한 아핀 예측샘플들을 생성하는 예측부를 포함한다. 상기 예측부는, 상기 픽처 레벨의 설정에 근거하여 상기 대상블록이 포함된 현재 픽처에 상기 아핀 움직임 예측샘플들의 샘플 단위 조정이 허용됨이 식별될 때, 상기 대상블록의 제어점 움직임벡터들에 근거하여 상기 각 서브블록들 내의 샘플 위치에 따른 움직임을 보상함으로써 상기 아핀 예측샘플의 샘플값을 수정한다.
본 개시의 또 다른 측면은, 픽처들(coded pictures)의 시퀀스(sequence)를 블록 단위로 부호화하는 방법을 제공한다. 상기 방법은, 아핀 움직임 예측(affine motion prediction) 및 적어도 하나의 코딩 툴 모두가 디스에이블(disable)되는지 여부를 나타내기 위한 시퀀스 레벨의 제1 하이레벨 신택스 요소를 상기 시퀀스의 헤더에 부호화하는 단계, 상기 적어도 하나의 코딩 툴은 아핀 움직임 예측샘플들의 샘플 단위 조정(sample-by-sample adjustment)을 포함함; 상기 제1 하이레벨 신택스 요소에 의존하여, 상기 적어도 하나의 코딩 툴 각각에 대해, 상기 코딩 툴이 허용 여부에 대한 시퀀스 레벨 또는 픽처 레벨의 설정을 나타내기 위한 나타내는 하나 이상의 제2 하이레벨 신택스 요소를 부호화하는 단계; 제1 하이레벨 신택스 요소가 상기 복수의 코딩 툴 모두가 디스에이블(disable)되는지 않음을 나타낼 때, 부호화하고자 하는 대상블록에 대한 제어점 움직임벡터(control point motion vector)들을 결정하고 상기 제어점 움직임벡터들을 이용하여 서브블록 단위의 아핀 움직임 예측을 수행함으로써 각 서브블록들에 대한 아핀 예측샘플들을 생성하는 단계; 및 상기 대상블록이 포함된 현재 픽처에 대해 상기 아핀 움직임 예측샘플들의 샘플 단위 조정이 허용될 때, 상기 대상블록의 제어점 움직임벡터들에 근거하여 상기 각 서브블록들 내의 샘플 위치에 따른 움직임을 보상함으로써 상기 아핀 예측샘플의 샘플값을 수정하는 단계를 포함한다.
도 1은 본 개시의 기술들을 구현할 수 있는 영상 부호화 장치에 대한 예시적인 블록도이다.
도 2는 QTBTTT 구조를 이용하여 블록을 분할하는 방법을 설명하기 위한 도면이다.
도 3은 복수의 인트라 예측 모드들을 나타낸 도면이다.
도 4는 현재블록의 주변블록에 대한 예시도이다.
도 5는 본 개시의 기술들을 구현할 수 있는 영상 복호화 장치의 예시적인 블록도이다.
도 6은 본 개시가 제공하는 양방향 옵티컬 플로우(bi-prediction optical flow)의 개념을 설명하기 위한 예시도이다.
도 7은 양방향 옵티컬 플로우에서 블록 경계 샘플에 대한 그래디언트(gradient)를 유도하는 방법을 설명하기 위한 예시도이다.
도 8 및 도 9는 본 개시가 제공하는 아핀 움직임 예측(affine motion prediction)을 설명하기 위한 예시도이다.
도 10은 주변블록의 병진 움직임벡터(translation motion vector)로부터 아핀 움직임 예측을 위한 머지 후보들을 유도하는 방법을 설명하기 위한 예시도이다.
도 11은 본 개시가 제공하는 조명 보상의 일 실시예에 따라 조명 보상 파라미터를 유도하는 방법을 설명하기 위한 예시도이다.
도 12는 본 개시가 제공하는 조명 보상의 다른 실시예에 따라, 대상블록을 복수의 영역으로 분할하는 방법을 설명하기 위한 예시도이다.
도 13는 본 개시가 제공하는 조명 보상의 다른 실시예에 따라 대상블록이 네 개의 영역으로 분할된 경우, 보상 파라미터를 유도하기 위해 사용할 참조샘플들을 결정하는 방법을 설명하기 위한 예시도이다.
도 14 및 도 15는 본 개시가 제공하는 조명 보상의 다른 실시예에 따라 대상블록이 네 개의 영역으로 분할된 경우, 네 개의 영역에 대한 조명 보상 파라미터들을 이용하여 조명 보상을 수행하는 방법을 설명하기 위한 예시도이다.
도 16 및 도 17은 본 개시가 제공하는 조명 보상의 다른 실시예에 따라 대상블록이 두 개의 영역으로 분할된 경우, 각 영역에 대한 조명 보상을 수행하는 방법을 설명하기 위한 예시도이다.
도 18은 본 개시가 제공하는 조명 보상의 다른 실시예에 따라 대상블록이 4개보다 많은 복수 개의 영역으로 분할된 경우, 각 영역에 대한 조명 보상을 수행하는 방법을 설명하기 위한 예시도이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성 요소들에 식별 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
도 1은 본 개시의 기술들을 구현할 수 있는 영상 부호화 장치에 대한 예시적인 블록도이다. 이하에서는 도 1을 참조하여 영상 부호화 장치와 이 장치의 하위 구성들에 대하여 설명하도록 한다.
영상 부호화 장치는 블록 분할부(110), 예측부(120), 감산기(130), 변환부(140), 양자화부(145), 재정렬부(150), 엔트로피 부호화부(155), 역양자화부(160), 역변환부(165), 가산기(170), 루프 필터부(180) 및 메모리(190)를 포함하여 구성될 수 있다.
영상 부호화 장치의 각 구성요소는 하드웨어 또는 소프트웨어로 구현되거나, 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 각 구성요소의 기능이 소프트웨어로 구현되고 마이크로프로세서가 각 구성요소에 대응하는 소프트웨어의 기능을 실행하도록 구현될 수도 있다.
하나의 영상(비디오)는 복수의 픽처들을 포함하는 하나 이상의 시퀀스로 구성된다. 각 픽처들은 복수의 영역으로 분할되고 각 영역마다 부호화가 수행된다. 예를 들어, 하나의 픽처는 하나 이상의 타일(Tile) 또는/및 슬라이스(Slice)로 분할된다. 여기서, 하나 이상의 타일을 타일 그룹(Tile Group)으로 정의할 수 있다. 각 타일 또는/슬라이스는 하나 이상의 CTU(Coding Tree Unit)로 분할된다. 그리고 각 CTU는 트리 구조에 의해 하나 이상의 CU(Coding Unit)들로 분할된다. 각 CU에 적용되는 정보들은 CU의 신택스로서 부호화되고, 하나의 CTU에 포함된 CU들에 공통적으로 적용되는 정보는 CTU의 신택스로서 부호화된다. 또한, 하나의 슬라이스 내의 모든 블록들에 공통적으로 적용되는 정보는 슬라이스 헤더의 신택스로서 부호화되며, 하나 이상의 픽처들을 구성하는 모든 블록들에 적용되는 정보는 픽처 파라미터 셋(PPS, Picture Parameter Set) 혹은 픽처 헤더에 부호화된다. 나아가, 복수의 픽처로 구성된 시퀀스에 공통으로 참조하는 정보들은 시퀀스 파라미터 셋(SPS, Sequence Parameter Set)에 부호화된다. 또한, 하나의 타일 또는 타일 그룹에 공통으로 적용되는 정보는 타일 또는 타일 그룹 헤더의 신택스로서 부호화될 수도 있다. SPS, PPS, 슬라이스 헤더, 타일 또는 타일 그룹 헤더에 포함되는 신택스들은 하이-레벨(high level) 신택스로 칭할 수 있다.
블록 분할부(110)는 CTU(Coding Tree Unit)의 크기를 결정한다. CTU의 크기에 대한 정보(CTU size)는 SPS 또는 PPS의 신택스로서 부호화되어 영상 복호화 장치로 전달된다.
블록 분할부(110)는 영상을 구성하는 각 픽처(picture)를 미리 결정된 크기를 가지는 복수의 CTU(Coding Tree Unit)들로 분할한 이후에, 트리 구조(tree structure)를 이용하여 CTU를 반복적으로(recursively) 분할한다. 트리 구조에서의 리프 노드(leaf node)가 부호화의 기본 단위인 CU(coding unit)가 된다.
트리 구조로는 상위 노드(혹은 부모 노드)가 동일한 크기의 네 개의 하위 노드(혹은 자식 노드)로 분할되는 쿼드트리(QuadTree, QT), 또는 상위 노드가 두 개의 하위 노드로 분할되는 바이너리트리(BinaryTree, BT), 또는 상위 노드가 1:2:1 비율로 세 개의 하위 노드로 분할되는 터너리트리(TernaryTree, TT), 또는 이러한 QT 구조, BT 구조 및 TT 구조 중 둘 이상을 혼용한 구조일 수 있다. 예컨대, QTBT(QuadTree plus BinaryTree) 구조가 사용될 수 있고, 또는 QTBTTT(QuadTree plus BinaryTree TernaryTree) 구조가 사용될 수 있다. 여기서, BTTT를 합쳐서 MTT(Multiple-Type Tree)라 지칭될 수 있다.
도 2는 QTBTTT 분할 트리 구조를 보인다. 도 2에서 보는 바와 같이, CTU는 먼저 QT 구조로 분할될 수 있다. 쿼드트리 분할은 분할 블록(splitting block)의 크기가 QT에서 허용되는 리프 노드의 최소 블록 크기(MinQTSize)에 도달할 때까지 반복될 수 있다. QT 구조의 각 노드가 하위 레이어의 4개의 노드들로 분할되는지 여부를 지시하는 제1 플래그(QT_split_flag)는 엔트로피 부호화부(155)에 의해 부호화되어 영상 복호화 장치로 시그널링된다. QT의 리프 노드가 BT에서 허용되는 루트 노드의 최대 블록 크기(MaxBTSize)보다 크지 않은 경우, BT 구조 또는 TT 구조 중 어느 하나 이상으로 더 분할될 수 있다. BT 구조 및/또는 TT 구조에서는 복수의 분할 방향이 존재할 수 있다. 예컨대, 해당 노드의 블록이 가로로 분할되는 방향과 세로로 분할되는 방향 두 가지가 존재할 수 있다. 도 2와 같이, MTT 분할이 시작되면, 노드들이 분할되었는지 여부를 지시하는 제2 플래그(mtt_split_flag)와, 분할이 되었다면 추가적으로 분할 방향(vertical 혹은 horizontal)을 나타내는 플래그 및/또는 분할 타입(Binary 혹은 Ternary)을 나타내는 플래그가 엔트로피 부호화부(155)에 의해 부호화되어 영상 복호화 장치로 시그널링된다. 대안적으로, 각 노드가 하위 레이어의 4개의 노드들로 분할되는지 여부를 지시하는 제1 플래그(QT_split_flag)를 부호화하기에 앞서, 그 노드가 분할되는지 여부를 지시하는 CU 분할 플래그(split_cu_flag)가 부호화될 수도 있다. CU 분할 플래그(split_cu_flag) 값이 분할되지 않았음을 지시하는 경우, 해당 노드의 블록이 분할 트리 구조에서의 리프 노드(leaf node)가 되어 부호화의 기본 단위인 CU(coding unit)가 된다. CU 분할 플래그(split_cu_flag) 값이 분할됨을 지시하는 경우, 영상 부호화 장치는 전술한 방식으로 제1 플래그부터 부호화를 시작한다.
트리 구조의 다른 예시로서 QTBT가 사용되는 경우, 해당 노드의 블록을 동일 크기의 두 개 블록으로 가로로 분할하는 타입(즉, symmetric horizontal splitting)과 세로로 분할하는 타입(즉, symmetric vertical splitting) 두 가지가 존재할 수 있다. BT 구조의 각 노드가 하위 레이어의 블록으로 분할되는지 여부를 지시하는 분할 플래그(split_flag) 및 분할되는 타입을 지시하는 분할 타입 정보가 엔트로피 부호화부(155)에 의해 부호화되어 영상 복호화 장치로 전달된다. 한편, 해당 노드의 블록을 서로 비대칭 형태의 두 개의 블록으로 분할하는 타입이 추가로 더 존재할 수도 있다. 비대칭 형태에는 해당 노드의 블록을 1:3의 크기 비율을 가지는 두 개의 직사각형 블록으로 분할하는 형태가 포함될 수 있고, 혹은 해당 노드의 블록을 대각선 방향으로 분할하는 형태가 포함될 수도 있다.
CU는 CTU로부터의 QTBT 또는 QTBTTT 분할에 따라 다양한 크기를 가질 수 있다. 이하에서는, 부호화 또는 복호화하고자 하는 CU(즉, QTBTTT의 리프 노드)에 해당하는 블록을 '현재블록'이라 칭한다. QTBTTT 분할의 채용에 따라, 현재블록의 모양은 정사각형뿐만 아니라 직사각형일 수도 있다.
예측부(120)는 현재블록을 예측하여 예측블록을 생성한다. 예측부(120)는 인트라 예측부(122)와 인터 예측부(124)를 포함한다.
인트라 예측부(122)는 현재블록이 포함된 현재 픽처 내에서 현재블록의 주변에 위치한 샘플(참조 샘플)들을 이용하여 현재블록 내의 샘플들을 예측한다. 예측 방향에 따라 복수의 인트라 예측모드가 존재한다. 예컨대, 도 3a에서 보는 바와 같이, 복수의 인트라 예측모드는 planar 모드와 DC 모드를 포함하는 2개의 비방향성 모드와 65개의 방향성 모드를 포함할 수 있다. 각 예측모드에 따라 사용할 주변 샘플과 연산식이 다르게 정의된다.
인트라 예측부(122)는 현재블록을 부호화하는데 사용할 인트라 예측모드를 결정할 수 있다. 일부 예들에서, 인트라 예측부(122)는 여러 인트라 예측모드들을 사용하여 현재블록을 인코딩하고, 테스트된 모드들로부터 사용할 적절한 인트라 예측모드를 선택할 수도 있다. 예를 들어, 인트라 예측부(122)는 여러 테스트된 인트라 예측모드들에 대한 레이트 왜곡(rate-distortion) 분석을 사용하여 레이트 왜곡 값들을 계산하고, 테스트된 모드들 중 최선의 레이트 왜곡 특징들을 갖는 인트라 예측모드를 선택할 수도 있다.
인트라 예측부(122)는 복수의 인트라 예측모드 중에서 하나의 인트라 예측모드를 선택하고, 선택된 인트라 예측모드에 따라 결정되는 주변 샘플(참조 샘플)과 연산식을 사용하여 현재블록을 예측한다. 선택된 인트라 예측모드에 대한 정보는 엔트로피 부호화부(155)에 의해 부호화되어 영상 복호화 장치로 전달된다.
인터 예측부(124)는 움직임 보상 과정을 통해 현재블록에 대한 예측블록을 생성한다. 인터 예측부(124)는 현재 픽처보다 먼저 부호화 및 복호화된 참조픽처 내에서 현재블록과 가장 유사한 블록을 탐색하고, 그 탐색된 블록을 이용하여 현재블록에 대한 예측블록을 생성한다. 그리고, 현재 픽처 내의 현재블록과 참조픽처 내의 예측블록 간의 변위(displacement)에 해당하는 움직임벡터(motion vector)를 생성한다. 일반적으로, 움직임 추정은 루마(luma) 성분에 대해 수행되고, 루마 성분에 기초하여 계산된 모션 벡터는 루마 성분 및 크로마 성분 모두에 대해 사용된다. 현재블록을 예측하기 위해 사용된 참조픽처에 대한 정보 및 움직임벡터에 대한 정보를 포함하는 움직임 정보는 엔트로피 부호화부(155)에 의해 부호화되어 영상 복호화 장치로 전달된다.
인터 예측부(124)는, 예측의 정확성을 높이기 위해, 참조 픽처 또는 참조 블록에 대한 보간을 수행할 수도 있다. 즉, 연속한 두 정수 샘플 사이의 서브 샘플들은 그 두 정수 샘플을 포함한 연속된 복수의 정수 샘플들에 필터 계수들을 적용하여 보간된다. 보간된 참조 픽처에 대해서 현재블록과 가장 유사한 블록을 탐색하는 과정을 수행하면, 움직임 벡터는 정수 샘플 단위의 정밀도(precision)가 아닌 소수 단위의 정밀도까지 표현될 수 있다. 움직임벡터의 정밀도 또는 해상도(resolution)은 부호화하고자 하는 대상 영역, 예컨대, 슬라이스, 타일, CTU, CU 등의 단위마다 다르게 설정될 수 있다. 이와 같은 적응적 움직임벡터 해상도가 적용되는 경우 각 대상 영역에 적용할 움직임벡터 해상도에 대한 정보는 대상 영역마다 시그널링되어야 한다. 예컨대, 대상 영역이 CU인 경우, 각 CU마다 적용된 움직임벡터 해상도에 대한 정보가 시그널링된다. 움직임벡터 해상도에 대한 정보는 후술할 차분 움직임벡터의 정밀도를 나타내는 정보일 수 있다.
한편, 인터 예측부(124)는 양방향 예측(bi-prediction)을 이용하여 인터 예측을 수행할 수 있다. 양방향 예측의 경우, 두 개의 참조 픽처와 각 참조 픽처 내에서 현재블록과 가장 유사한 블록 위치를 나타내는 두 개의 움직임벡터가 이용된다. 인터 예측부(124)는 참조픽처 리스트 0(RefPicList0) 및 참조픽처 리스트 1(RefPicList1)로부터 각각 제1 참조픽처 및 제2 참조픽처를 선택하고, 각 참조픽처 내에서 현재블록과 유사한 블록을 탐색하여 제1 참조블록과 제2 참조블록을 생성한다. 그리고, 제1 참조블록과 제2 참조블록을 평균 또는 가중 평균하여 현재블록에 대한 예측블록을 생성한다. 그리고 현재블록을 예측하기 위해 사용한 두 개의 참조픽처에 대한 정보 및 두 개의 움직임벡터에 대한 정보를 포함하는 움직임 정보를 부호화부(150)로 전달한다. 여기서, 참조픽처 리스트 0은 기복원된 픽처들 중 디스플레이 순서에서 현재 픽처 이전의 픽처들로 구성되고, 참조픽처 리스트 1은 기복원된 픽처들 중 디스플레이 순서에서 현재 픽처 이후의 픽처들로 구성될 수 있다. 그러나 반드시 이에 한정되는 것은 아니며, 디스플레이 순서 상으로 현재 픽처 이후의 기복원 픽처들이 참조픽처 리스트 0에 추가로 더 포함될 수 있고, 역으로 현재 픽처 이전의 기복원 픽처들이 참조픽처 리스트 1에 추가로 더 포함될 수도 있다.
움직임 정보를 부호화하는 데에 소요되는 비트량을 최소화하기 위해 다양한 방법이 사용될 수 있다.
예컨대, 현재블록의 참조픽처와 움직임벡터가 주변블록의 참조픽처 및 움직임벡터와 동일한 경우에는 그 주변블록을 식별할 수 있는 정보를 부호화함으로써, 현재블록의 움직임 정보를 복호화 장치로 전달할 수 있다. 이러한 방법을 '머지 모드 (merge mode)'라 한다.
머지 모드에서, 인터 예측부(124)는 현재블록의 주변블록들로부터 기 결정된 개수의 머지 후보블록(이하, '머지 후보'라 함)들을 선택한다.
머지 후보를 유도하기 위한 주변블록으로는, 도 4에 도시된 바와 같이, 현재 픽처 내에서 현재블록에 인접한 좌측블록(L), 상단블록(A), 우상단블록(AR), 좌하단블록(BL), 좌상단블록(AL) 중에서 전부 또는 일부가 사용될 수 있다. 또한, 현재블록이 위치한 현재 픽처가 아닌 참조픽처(현재블록을 예측하기 위해 사용된 참조픽처와 동일할 수도 있고 다를 수도 있음) 내에 위치한 블록이 머지 후보로서 사용될 수도 있다. 예컨대, 참조픽처 내에서 현재블록과 동일 위치에 있는 블록(co-located block) 또는 그 동일 위치의 블록에 인접한 블록들이 머지 후보로서 추가로 더 사용될 수 있다.
인터 예측부(124)는 이러한 주변블록들을 이용하여 기 결정된 개수의 머지 후보를 포함하는 머지 리스트를 구성한다. 머지 리스트에 포함된 머지 후보들 중에서 현재블록의 움직임정보로서 사용할 머지 후보를 선택하고 선택된 후보를 식별하기 위한 머지 인덱스 정보를 생성한다. 생성된 머지 인덱스 정보는 부호화부(150)에 의해 부호화되어 복호화 장치로 전달된다.
움직임 정보를 부호화하기 위한 또 다른 방법은 AMVP 모드이다.
AMVP 모드에서, 인터 예측부(124)는 현재블록의 주변블록들을 이용하여 현재블록의 움직임벡터에 대한 예측 움직임벡터 후보들을 유도한다. 예측 움직임벡터 후보들을 유도하기 위해 사용되는 주변블록으로는, 도 2에 도시된 현재 픽처 내에서 현재블록에 인접한 좌측블록(L), 상단블록(A), 우상단블록(AR), 좌하단블록(BL), 좌상단블록(AL) 중에서 전부 또는 일부가 사용될 수 있다. 또한, 현재블록이 위치한 현재 픽처가 아닌 참조픽처(현재블록을 예측하기 위해 사용된 참조픽처와 동일할 수도 있고 다를 수도 있음) 내에 위치한 블록이 예측 움직임벡터 후보들을 유도하기 위해 사용되는 주변블록으로서 사용될 수도 있다. 예컨대, 참조픽처 내에서 현재블록과 동일 위치에 있는 블록(co-located block) 또는 그 동일 위치의 블록에 인접한 블록들이 사용될 수 있다.
인터 예측부(124)는 이 주변블록들의 움직임벡터를 이용하여 예측 움직임벡터 후보들을 유도하고, 예측 움직임벡터 후보들을 이용하여 현재블록의 움직임벡터에 대한 예측 움직임벡터를 결정한다. 그리고, 현재블록의 움직임벡터로부터 예측 움직임벡터를 감산하여 차분 움직임벡터를 산출한다.
예측 움직임벡터는 예측 움직임벡터 후보들에 기 정의된 함수(예컨대, 중앙값, 평균값 연산 등)를 적용하여 구할 수 있다. 이 경우, 영상 복호화 장치도 기 정의된 함수를 알고 있다. 또한, 예측 움직임벡터 후보를 유도하기 위해 사용하는 주변블록은 이미 부호화 및 복호화가 완료된 블록이므로 영상 복호화 장치도 그 주변블록의 움직임벡터도 이미 알고 있다. 그러므로 영상 부호화 장치는 예측 움직임벡터 후보를 식별하기 위한 정보를 부호화할 필요가 없다. 따라서, 이 경우에는 차분 움직임벡터에 대한 정보와 현재블록을 예측하기 위해 사용한 참조픽처에 대한 정보가 부호화된다.
한편, 예측 움직임벡터는 예측 움직임벡터 후보들 중 어느 하나를 선택하는 방식으로 결정될 수도 있다. 이 경우에는 차분 움직임벡터에 대한 정보 및 현재블록을 예측하기 위해 사용한 참조픽처에 대한 정보와 함께, 선택된 예측 움직임벡터 후보를 식별하기 위한 정보가 추가로 부호화된다.
감산기(130)는 현재블록으로부터 인트라 예측부(122) 또는 인터 예측부(124)에 의해 생성된 예측블록을 감산하여 잔차블록을 생성한다.
변환부(140)는 잔차블록을 하나 이상의 서브블록들로 나누고, 변환을 하나 이상의 서브블록들에 적용하여, 변환블록들의 잔차 값들을 샘플 도메인에서 주파수 도메인으로 변환한다. 주파수 도메인에서, 변환된 블록들은 하나 이상의 변환 계수 값들을 포함하는 계수블록(coefficient block)들 또는 변환블록(transform block)이라고 지칭된다. 변환에는 2차원 변환 커널이 사용될 수 있으며, 수평 방향 변환과 수직 방향 방향에 각각 1차원 변환 커널이 사용될 수도 있다. 변환 커널은 이산 코사인 변환(DCT), 이산 사인 변환(DST) 등에 기반할 수 있다.
변환부(140)는 잔차블록의 전체 크기를 변환 단위로 사용하여 잔차블록 내의 잔차 신호들을 변환할 수 있다. 또는, 잔차블록을 복수 개의 서브블록으로 분할하고 그 서브블록을 변환 단위로 사용하여 서브블록 내의 잔차 신호들을 변환할 수도 있다.
한편, 변환부(140)는 잔차블록에 대해 가로 방향과 세로 방향으로 개별적으로 변환을 수행할 수 있다. 변환을 위해, 다양한 타입의 변환 함수 또는 변환 매트릭스가 사용될 수 있다. 예컨대, 가로 방향 변환과 세로 방향 변환을 위한 변환 함수의 쌍을 MTS(Multiple Transform Set)로 정의할 수 있다. 변환부(140)는 MTS 중 변환 효율이 가장 좋은 하나의 변환 함수 쌍을 선택하고 가로 및 세로 방향으로 각각 잔차블록을 변환할 수 있다. MTS 중에서 선택된 변환 함수 쌍에 대한 정보(mts_idx)는 엔트로피 부호화부(155)에 의해 부호화되어 영상 복호화 장치로 시그널링된다.
양자화부(145)는 변환부(140)로부터 출력되는 변환 계수들을 양자화 파라미터를 이용하여 양자화하고, 양자화된 변환 계수들을 엔트로피 부호화부(155)로 출력한다. 양자화부(145)는, 어떤 블록 혹은 프레임에 대해, 변환 없이, 관련된 잔차 블록을 곧바로 양자화할 수도 있다. 양자화부(145)는 변환블록 내의 변환 계수들의 위치에 따라 서로 다른 양자화 계수(스케일링 값)을 적용할 수도 있다. 2차원으로 배열된 양자화된 변환 계수들에 적용되는 양자화 계수들의 행렬은 부호화되어 영상 복호화 장치로 시그널링될 수 있다.
재정렬부(150)는 양자화된 잔차값에 대해 계수값의 재정렬을 수행할 수 있다. 재정렬부(150)는 계수 스캐닝(coefficient scanning)을 통해 2차원의 계수 어레이를 1차원의 계수 시퀀스로 변경할 수 있다. 예를 들어, 재정렬부(150)에서는 지그-재그 스캔(zig-zag scan) 또는 대각선 스캔(diagonal scan)을 이용하여 DC 계수부터 고주파수 영역의 계수까지 스캔하여 1차원의 계수 시퀀스를 출력할 수 있다. 변환 단위의 크기 및 인트라 예측모드에 따라 지그-재그 스캔 대신 2차원의 계수 어레이를 열 방향으로 스캔하는 수직 스캔, 2차원의 블록 형태 계수를 행 방향으로 스캔하는 수평 스캔이 사용될 수도 있다. 즉, 변환 단위의 크기 및 인트라 예측모드에 따라 지그-재그 스캔, 대각선 스캔, 수직 방향 스캔 및 수평 방향 스캔 중에서 사용될 스캔 방법이 결정될 수도 있다.
엔트로피 부호화부(155)는, CABAC(Context-based Adaptive Binary Arithmetic Code), 지수 골롬(Exponential Golomb) 등의 다양한 부호화 방식을 사용하여, 재정렬부(150)로부터 출력된 1차원의 양자화된 변환 계수들의 시퀀스를 부호화함으로써 비트스트림을 생성한다.
또한, 엔트로피 부호화부(155)는 블록 분할과 관련된 CTU size, CU 분할 플래그, QT 분할 플래그, MTT 분할 타입, MTT 분할 방향 등의 정보를 부호화하여, 영상 복호화 장치가 영상 부호화 장치와 동일하게 블록을 분할할 수 있도록 한다. 또한, 엔트로피 부호화부(155)는 현재블록이 인트라 예측에 의해 부호화되었는지 아니면 인터 예측에 의해 부호화되었는지 여부를 지시하는 예측 타입에 대한 정보를 부호화하고, 예측 타입에 따라 인트라 예측정보(즉, 인트라 예측모드에 대한 정보) 또는 인터 예측정보(머지 모드의 경우 머지 인덱스, AMVP 모드의 경우 참조픽처 인덱스 및 차분 움직임벡터에 대한 정보)를 부호화한다. 또한, 엔트로피 부호화부(155)는 양자화와 관련된 정보, 즉, 양자화 파라미터에 대한 정보 및 양자화 행렬에 대한 정보를 부호화한다.
역양자화부(160)는 양자화부(145)로부터 출력되는 양자화된 변환 계수들을 역양자화하여 변환 계수들을 생성한다. 역변환부(165)는 역양자화부(160)로부터 출력되는 변환 계수들을 주파수 도메인으로부터 공간 도메인으로 변환하여 잔차블록을 복원한다.
가산부(170)는 복원된 잔차블록과 예측부(120)에 의해 생성된 예측블록을 가산하여 현재블록을 복원한다. 복원된 현재블록 내의 샘플들은 다음 순서의 블록을 인트라 예측할 때 참조 샘플로서 사용된다.
루프(loop) 필터부(180)는 블록 기반의 예측 및 변환/양자화로 인해 발생하는 블록킹 아티팩트(blocking artifacts), 링잉 아티팩트(ringing artifacts), 블러링 아티팩트(blurring artifacts) 등을 줄이기 위해 복원된 샘플들에 대한 필터링을 수행한다. 루프 필터부(180)는 디블록킹 필터(182), SAO(Sample Adaptive Offset) 필터(184) 및 ALF(Adaptive Loop Filter, 186) 중 하나 이상을 포함할 수 있다.
디블록킹 필터(182)는 블록 단위의 부호화/복호화로 인해 발생하는 블록킹 현상(blocking artifact)을 제거하기 위해 복원된 블록 간의 경계를 필터링하고, SAO 필터(184)는 디블록킹 필터링된 영상에 대해 추가적인 필터링을 수행한다. SAO 필터(184)는 손실 부호화(lossy coding)로 인해 발생하는 복원된 샘플과 원본 샘플 간의 차이를 보상하기 위해 사용되는 필터로서, 각 복원된 샘플들에 그에 대응하는 오프셋에 가산되는 방식으로 수행된다. ALF(186)는 필터링을 수행할 대상 샘플 및 그 대상 샘플의 주변샘플들에 필터 계수들을 적용하여 대상 샘플에 대한 필터링을 수행한다. ALF(186)는 영상에 포함된 샘플을 소정의 그룹으로 나눈 후 해당 그룹에 적용될 하나의 필터를 결정하여 그룹마다 차별적으로 필터링을 수행할 수 있다. ALF에 사용될 필터 계수들에 대한 정보는 부호화되어 영상 복호화 장치로 시그널링될 수 있다.
루프 필터부(180)를 통해 필터링된 복원블록은 메모리(190)에 저장된다. 한 픽처 내의 모든 블록들이 복원되면, 복원된 픽처는 이후에 부호화하고자 하는 픽처 내의 블록을 인터 예측하기 위한 참조 픽처로 사용될 수 있다.
도 5는 본 개시의 기술들을 구현할 수 있는 영상 복호화 장치의 예시적인 기능 블록도이다. 이하에서는 도 5를 참조하여 영상 복호화 장치와 이 장치의 하위 구성들에 대하여 설명하도록 한다.
영상 복호화 장치는 엔트로피 복호화부(510), 재정렬부(515), 역양자화부(520), 역변환부(530), 예측부(540), 가산기(550), 루프 필터부(560) 및 메모리(570)를 포함하여 구성될 수 있다.
도 1의 영상 부호화 장치와 마찬가지로, 영상 복호화 장치의 각 구성요소는 하드웨어 또는 소프트웨어로 구현되거나, 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 각 구성요소의 기능이 소프트웨어로 구현되고 마이크로프로세서가 각 구성요소에 대응하는 소프트웨어의 기능을 실행하도록 구현될 수도 있다.
엔트로피 복호화부(510)는 영상 부호화 장치에 의해 생성된 비트스트림을 복호화하여 블록 분할과 관련된 정보를 추출함으로써 복호화하고자 하는 현재블록을 결정하고, 현재블록을 복원하기 위해 필요한 예측정보와 잔차신호에 대한 정보 등을 추출한다.
엔트로피 복호화부(510)는 SPS(Sequence Parameter Set) 또는 PPS(Picture Parameter Set)로부터 CTU size에 대한 정보를 추출하여 CTU의 크기를 결정하고, 픽처를 결정된 크기의 CTU로 분할한다. 그리고, CTU를 트리 구조의 최상위 레이어, 즉, 루트 노드로 결정하고, CTU에 대한 분할정보를 추출함으로써 트리 구조를 이용하여 CTU를 분할한다.
예컨대, QTBTTT 구조를 사용하여 CTU를 분할하는 경우, 먼저 QT의 분할과 관련된 제1 플래그(QT_split_flag)를 추출하여 각 노드를 하위 레이어의 네 개의 노드로 분할한다. 그리고, QT의 리프 노드에 해당하는 노드에 대해서는 MTT의 분할과 관련된 제2 플래그(MTT_split_flag) 및 분할 방향(vertical / horizontal) 및/또는 분할 타입(binary / ternary) 정보를 추출하여 해당 리프 노드를 MTT 구조로 분할한다. 이를 통해 QT의 리프 노드 이하의 각 노드들을 BT 또는 TT 구조로 반복적으로(recursively) 분할한다.
또 다른 예로서, QTBTTT 구조를 사용하여 CTU를 분할하는 경우, 먼저 CU의 분할 여부를 지시하는 CU 분할 플래그(split_cu_flag)를 추출하고, 해당 블록이 분할된 경우, 제1 플래그(QT_split_flag)를 추출할 수도 있다. 분할 과정에서 각 노드는 0번 이상의 반복적인 QT 분할 후에 0번 이상의 반복적인 MTT 분할이 발생할 수 있다. 예컨대, CTU는 바로 MTT 분할이 발생하거나, 반대로 다수 번의 QT 분할만 발생할 수도 있다.
다른 예로서, QTBT 구조를 사용하여 CTU를 분할하는 경우, QT의 분할과 관련된 제1 플래그(QT_split_flag)를 추출하여 각 노드를 하위 레이어의 네 개의 노드로 분할한다. 그리고, QT의 리프 노드에 해당하는 노드에 대해서는 BT로 더 분할되는지 여부를 지시하는 분할 플래그(split_flag) 및 분할 방향 정보를 추출한다.
한편, 엔트로피 복호화부(510)는 트리 구조의 분할을 통해 복호화하고자 하는 현재블록을 결정하게 되면, 현재블록이 인트라 예측되었는지 아니면 인터 예측되었는지를 지시하는 예측 타입에 대한 정보를 추출한다. 예측 타입 정보가 인트라 예측을 지시하는 경우, 엔트로피 복호화부(510)는 현재블록의 인트라 예측정보(인트라 예측모드)에 대한 신택스 요소(elemenet)를 추출한다. 예측 타입 정보가 인터 예측을 지시하는 경우, 엔트로피 복호화부(510)는 인터 예측정보에 대한 신택스 요소, 즉, 움직임벡터 및 그 움직임벡터가 참조하는 참조픽처를 나타내는 정보를 추출한다.
또한, 엔트로피 복호화부(510)는 양자화와 관련된 정보, 및 잔차신호에 대한 정보로서 현재블록의 양자화된 변환계수들에 대한 정보를 추출한다.
재정렬부(515)는, 영상 부호화 장치에 의해 수행된 계수 스캐닝 순서의 역순으로, 엔트로피 복호화부(510)에서 엔트로피 복호화된 1차원의 양자화된 변환계수들의 시퀀스를 다시 2차원의 계수 어레이(즉, 블록)로 변경할 수 있다.
역양자화부(520)는 양자화 파라미터를 이용하여 양자화된 변환계수들을 역양자화한다. 역양자화부(520)는 2차원으로 배열된 양자화된 변환계수들에 대해 서로 다른 양자화 계수(스케일링 값)을 적용할 수도 있다. 역양자화부(520)는 영상 부호화 장치로부터 양자화 계수(스케일링 값)들의 행렬을 양자화된 변환계수들의 2차원 어레이에 적용하여 역양자화를 수행할 수 있다.
역변환부(530)는 역양자화된 변환계수들을 주파수 도메인으로부터 공간 도메인으로 역변환하여 잔차신호들을 복원함으로써 현재블록에 대한 복원된 잔차블록을 생성한다. 또한, MTS가 적용된 경우, 역변환부(530)는 영상 부호화 장치로부터 시그널링된 MTS 정보(mts_idx)를 이용하여 가로 및 세로 방향으로 각각 적용할 변환 함수 또는 변환 매트릭스를 결정하고, 결정된 변환 함수를 이용하여 가로 및 세로 방향으로 변환블록 내의 변환계수들에 대해 역변환을 수행한다.
예측부(540)는 인트라 예측부(542) 및 인터 예측부(544)를 포함할 수 있다. 인트라 예측부(542)는 현재블록의 예측 타입이 인트라 예측일 때 활성화되고, 인터 예측부(544)는 현재블록의 예측 타입이 인터 예측일 때 활성화된다.
인트라 예측부(542)는 엔트로피 복호화부(510)로부터 추출된 인트라 예측모드에 대한 신택스 요소로부터 복수의 인트라 예측모드 중 현재블록의 인트라 예측모드를 결정하고, 인트라 예측모드에 따라 현재블록 주변의 참조 샘플들을 이용하여 현재블록을 예측한다.
인터 예측부(544)는 엔트로피 복호화부(510)로부터 추출된 인트라 예측모드에 대한 신택스 요소를 이용하여 현재블록의 움직임벡터와 그 움직임벡터가 참조하는 참조픽처를 결정하고, 움직임벡터와 참조픽처를 이용하여 현재블록을 예측한다.
가산기(550)는 역변환부로부터 출력되는 잔차블록과 인터 예측부 또는 인트라 예측부로부터 출력되는 예측블록을 가산하여 현재블록을 복원한다. 복원된 현재블록 내의 샘플들은 이후에 복호화할 블록을 인트라 예측할 때의 참조샘플로서 활용된다.
루프 필터부(560)는 디블록킹 필터(562), SAO 필터(564) 및 ALF(566) 중 적어도 하나를 포함할 수 있다. 디블록킹 필터(562)는 블록 단위의 복호화로 인해 발생하는 블록킹 현상(blocking artifact)를 제거하기 위해, 복원된 블록 간의 경계를 디블록킹 필터링한다. SAO 필터(564)는 손실 부호화(lossy coding)으로 인해 발생하는 복원된 샘플과 원본 샘플 간의 차이를 보상하기 위해, 디블록킹 필터링 이후의 복원된 블록에 그에 대응하는 오프셋에 가산되는 방식으로 필터링을 수행한다. ALF(566)는 필터링을 수행할 대상 샘플 및 그 대상 샘플의 주변샘플들에 필터 계수들을 적용하여 대상 샘플에 대한 필터링을 수행한다. ALF(566)는 영상에 포함된 샘플을 소정의 그룹으로 나눈 후 해당 그룹에 적용될 하나의 필터를 결정하여 그룹마다 차별적으로 필터링을 수행할 수 있다. ALF의 필터 계수는 비스트림으로부터 복호화한 필터 계수에 대한 정보를 이용하여 결정된다.
루프 필터부(560)를 통해 필터링된 복원블록은 메모리(570)에 저장된다. 한 픽처 내의 모든 블록들이 복원되면, 복원된 픽처는 이후에 부호화하고자 하는 픽처 내의 블록을 인터 예측하기 위한 참조 픽처로 사용된다.
이하의 개시는 인터 예측의 압축 성능을 향상시키기 위한 코딩 툴과 관련되며, 영상 부호화 장치의 인터 예측부(124) 및 영상 복호화 장치의 인터 예측부(544)에서 수행될 수 있다. 이하에서 사용하는 '대상블록(target block)'이라는 용어는 위에서 사용한 현재블록 또는 코딩 유닛(CU)과 동일한 의미로 사용될 수 있고, 또는 코딩 유닛의 일부 영역을 의미할 수도 있다.
I. 양방향 옵티컬 플로우(Bi-directional Optical Flow)
양방향 옵티컬 플로우는, 영상을 구성하는 샘플 또는 객체가 일정한 속도로 이동하고 샘플 값의 변화가 거의 없다는 가정을 기반으로, 양방향 움직임 예측을 이용하여 예측된 샘플들의 움직임을 추가로 보상하는 기술이다.
도 6는 BIO의 기본적인 개념을 설명하기 위한 참조도이다.
대상블록에 대한 (통상의) 양방향 움직임 예측에 의하여 참조픽처들(Ref0과 Ref1)에서 현재 픽처의 부호화되는 대상블록과 가장 유사한 대응 영역들(즉, 참조 블록들)을 가리키는 양방향의 움직임 벡터들(MV0, MV1)이 결정되었다고 가정하자. 해당 두 개의 움직임 벡터들은 대상블록 전체의 움직임을 나타내는 값이다. 도 6의 예시에서, 대상블록 내 샘플 P와 대응되는 것으로 움직임 벡터(MV0)가 가리키는 참조픽처(Ref0)내 샘플은 P0이며, 대상블록 내 샘플 P와 대응되는 것으로 움직임 벡터(MV1)가 가리키는 참조픽처(Ref1)내 샘플은 P1이다. 그리고, 도 6에서 샘플 P에 대한 움직임은 대상블록의 전체적인 움직임과는 조금 상이하다라고 가정하자. 예컨대, 도 6의 Ref0 내 샘플 A에 위치하는 물체가 현재 픽처의 대상블록 내 샘플 P를 지나 Ref1 내 샘플 B로 움직였다면, 샘플 A 및 샘플 B는 상당히 유사한 값을 가지게 된다. 또한, 이 경우, 대상블록 내 샘플 P와 가장 유사한 Ref0 내 지점은 양방향 움직임 벡터(MV0)가 가리키는 P0이 아니라, P0를 소정의 변위 벡터(vxt0, vyt1)만큼 이동시킨 A이며, 대상블록 내 샘플 P와 가장 유사한 Ref1 내 지점은 양방향 움직임 벡터(MV1)가 가리키는 P1이 아니라, P1를 소정의 변위 벡터(-vxt0, -vyt1)만큼 이동시킨 B이다. t0와 t1은 현재 픽처를 기준으로 각각 Ref0와 Ref1에 대한 시간축 거리를 의미하며, POC (Picture Order Count)를 기반으로 계산된다. 이하에서는 (vx, vy)를 "옵티컬 플로우(optical flow)" 라고 지칭한다.
현재 픽처 내 대상블록의 샘플(P)값을 예측함에 있어서, 두 참조 샘플(A, B)의 값을 이용하면, 양방향 움직임 벡터(MV0, MV1)가 가리키는 참조 샘플(P0, P1)을 이용하는 것보다 좀 더 정확한 예측이 가능하다.
대상블록 내 샘플 (i,j)와 대응되는 것으로 움직임 벡터(MV0)가 가리키는 참조픽처(Ref0)내 샘플의 값을 I(0)(i,j)라고 정의하고, 대상블록 내 샘플 (i,j)와 대응되는 것으로 움직임 벡터(MV1)가 가리키는 참조픽처(Ref1)내 샘플의 값을 I(1)(i,j)라고 정의한다.
BIO 움직임 벡터 (vx, vy)가 대상블록 내 샘플에 대응되는 것으로 가리키는 참조픽처 Ref0 내의 샘플 A의 값은 I(0)(i + vxt0, j + vyt0)로 정의될 수 있으며, 참조픽처 Ref1 내의 샘플 B의 값은 I(1)(i - vxt1, j - vyt1)로 정의될 수 있다. 여기서, 테일러 급수의 1차 항만을 사용하여 선형 근사(linear approximation)를 수행하면, A와 B를 수학식 1과 같이 표현할 수 있다.
Figure pat00001
여기서, Ix (k)와 Iy (k) (k = 0, 1)는 Ref0 및 Ref1의 (i, j) 위치에서의 수평 및 수직 방향의 그래디언트 값을 나타낸다. t 0와 t 1은 현재 픽처를 기준으로 각각 Ref0와 Ref1에 대한 시간축 거리를 의미하며, POC (Picture Order Count)를 기반으로 계산된다. 수식으로 t0 = POC(current) - POC(Ref0), t1 = POC(Ref1) - POC(current) 이다.
블록 내 각 샘플의 양방향 옵티컬 플로우 (vx, vy)는 샘플 A와 샘플 B의 차이값으로 정의되는 △를 최소화하는 해로 결정한다. 수학식 1에서 유도된 A와 B의 선형 근사를 이용하여 △를 수학식 2로 정의할 수 있다.
Figure pat00002
간략하게 표기하기 위해, 위 수학식 2의 각 항에서 샘플의 위치 (i, j)는 생략되었다.
보다 강건한(robust) 옵티컬 플로우 추정을 위해 움직임이 지역적으로 주변 샘플들과 일관성이 있다는 가정을 도입한다. 현재 예측하고자 하는 샘플 (i, j)에 대한 BIO 움직임 벡터는 샘플 (i, j)를 중심으로 하는 일정한 크기의 마스크 Ω 내 존재하는 모든 샘플 (i', j')에 대한 수학식 2의 차이값 △들을 고려한다. 즉, 현재 샘플 (i, j)에 대한 옵티컬 플로우는 다음의 수학식 3과 같이, 마스크 Ω 내의 각 샘플에 대하여 획득된 차이값 △[i',j']의 제곱합인 목적함수 Φ(vx, vy)를 최소로 하는 벡터로 결정될 수 있다.
Figure pat00003
본 개시의 양방향 옵티컬 플로우는 양방향 예측에 사용되는 두 개의 참조 픽처 중 하나는 현재 픽처보다 디스플레이 순서 상 앞서고 다른 하나는 현재 픽처보다 늦으며, 두 참조 픽처로부터 현재 픽처까지의 거리들이 서로 동일한, 즉, 각 참조 픽처와 현재 픽처 간의 POC(picture order count)의 차이가 동일한 경우에 적용될 수 있다. 따라서, t0와 t1은 무시될 수 있다.
또한, 본 개시의 양방향 옵티컬 플로우는 루마(luma) 성분에 대해서만 적용될 수도 있다.
본 개시의 양방향 옵티컬 플로우는 양방향 예측이 적용되는 대상블록에 대해 픽셀 기반이 아닌 서브블록 기반으로 수행된다. 서브블록의 크기는 2x2, 4x4, 8x8 등은 다양한 크기를 가질 수 있지만, 이하에서는 설명의 편의를 위해 서브블록의 크기를 4x4로 가정된다.
옵티컬 플로우를 수행하기에 앞서, 영상 부호화 장치의 인터 예측부(124)는, 전술한 양방향 예측을 이용하여, 대상블록에 대한 두 개의 참조블록을 생성한다. 두 개의 참조블록 중 제1 참조블록은 대상블록의 제1 움직임벡터(MV0)를 이용하여 참조픽처(Ref0)로부터 생성한 예측샘플들로 구성된 블록을 의미하고, 제2 참조블록은 대상블록의 제2 움직임벡터(MV1)를 이용하여 참조픽처(Ref1)로부터 생성한 예측샘플들로 구성된 블록을 의미한다.
인터 예측부(124)는, 제1 참조블록과 제2 참조블록 내의 예측샘플들의 수평 및 수직 방향 그래디언트 값들을 이용하여, 대상블록을 구성하는 4x4 서브블록들 각각에 대해 옵티컬 플로우로 지칭되는 (vx, vy)를 연산한다. 옵티컬 플로우 (vx, vy)는 참조픽처(Ref0)로부터 예측샘플들과 참조픽처(Ref1)로부터의 예측샘플들 간의 차이가 최소가 되도록 결정된다. 인터 예측부(124)는 4x4 서브블록에 대해 산출된 (vx, vy)와 는 4x4 서브블록 내의 예측샘플들의 그래디언트들을 이용하여, 서브블록 에 대한 양방향 예측샘플들을 수정하기 위한 샘플 오프셋을 유도한다.
구체적으로, 인터 예측부(124)는 수학식 4를 이용하여 (i, j) 위치의 샘플 값들의 수평 및 수직 방향 그래디언트들 연산한다.
Figure pat00004
k는 0 또는 1이고, I(0)(i,j) 및 I(1)(i,j)은 각각 제1 참조블록과 제2 참조블록 내 (i,j) 위치의 샘플 값들을 의미한다. Shift1은, shift1 = max(6, bitDepth-6)와 같이, 루마 성분에 대한 비트-뎁스(bit-depth)로부터 유도되는 값이다.
각 참조블록의 경계에 위치한 샘플의 그래디언트를 유도하기 위해 제1 참조블록과 제2 참조블록의 경계 외곽의 샘플이 필요하다. 따라서, 도 6에서 보는 바와 같이, 각 참조블록은 좌우로 각각 1열씩 그리고 상하로 각각 1행씩 확장된다. 계산량 감소를 위하여, 확장된 부분의 각 샘플은 참조블록 내의 가장 가까운 위치의 샘플 또는 정수 샘플로 패딩될 수 있다. 또한, 각 참조블록의 경계 외곽의 샘플 위치에서의 그래디언트들도 가장 가까운 위치의 샘플에 해당하는 그래디언트들로 패딩될 수 있다.
인터 예측부(124)는, 도 7에 도시된 바와 같은 4x4 서브블록을 커버하는 6x6 윈도우 내의 수평 및 수직 그래디언트들을 이용하여, 그래디언트들의 자기상관(auto-correlation)과 교차상관(cross-correlation)에 해당하는 S1, S2, S3, S5, S6을 연산한다.
Figure pat00005
여기서, Ω는 서브블록을 커버하는 윈도우를 의미한다. 또한, 아래 수학식 6에서 보는 바와 같이, Ψx(i,j)는 제1 참조블록과 제2 참조블록 내의 (i,j) 위치에서의 수평 방향 그래디언트 값들의 합을, Ψy(i,j)는 제1 참조블록과 제2 참조블록 내의 (i,j) 위치에서의 수직 방향 그래디언트 값들의 합을 의미하며, θ(i,j)는 제2 참조블록 내의 (i,j) 위치의 샘플값과 제1 참조블록 내의 (i,j) 위치의 샘플값 간의 차이를 의미한다.
Figure pat00006
여기서, na와 nb는 비트뎁스로부터 유도되는 값으로, min(1, bitDepth-11) 및 min(4, bitDepth-8)의 값을 갖는다.
인터 예측부(124)는 S1, S2, S3, S5, S6을 이용하여, 수학식 7을 통해, 4x4 서브블록에 대한 옵티컬 플로우 (vx, vy)을 연산한다.
Figure pat00007
여기서,
Figure pat00008
,
Figure pat00009
,
Figure pat00010
이다.
Figure pat00011
는 내림함수이다.
Figure pat00012
이다.
대상블록의 4x4 서브블록 내의 각 샘플 위치 (x, y)에서의 예측샘플을 수정하기 위한 샘플 오프셋은, 수학식 8과 같이, 그 4x4 서브블록에 대해 연산된 옵티컬 플로우 및 샘플 위치 (x, y)에서의 그래디언트 값들을 이용하여 연산될 수 있다. 수학식 8에서 rnd()는 반올림(round-off) 연산을 의미한다.
Figure pat00013
인터 예측부(124)는 (x, y) 위치에서 샘플 오프셋 b(x,y)과, 제1 참조블록 및 제2 참조블록 내의 예측샘플 I(0)(x,y) 및 I(1)(x,y)를 이용하여 수학식 9와 같이 최종 예측샘플 pred(x,y)을 생성한다.
Figure pat00014
여기서, shift는 Max(3, 15 - BitDepth)이고, Ooffset은 반올림 연산을 위한 값으로 shift의 절반이다.
이상에서 설명한 바와 같이 양방향 옵티컬 플로우 기법은 양방향 예측에 사용되었던 움직임 정보(두 개의 움직임벡터 및 두 개의 참조픽처)를 이용하여 예측된 예측샘플들의 값을 이용한다. 따라서, 영상 복호화 장치의 인터 예측부(544)도, 영상 부호화 장치로부터 수신한 양방향 예측에 사용되는 움직임 정보(움직임벡터, 참조픽처)를 이용하여 영상 부호화 장치와 동일한 방식으로 양방향 옵티컬 플로우를 수행할 수 있다. 영상 부호화 장치로부터 영상 복호화 장치로의, 양방향 옵티컬 플로우 프로세스를 위한 추가적인 정보의 시그널링은 요구되지 않는다.
II. 아핀 움직임 예측 (Affine Motion Prediction)
지금까지 전술한 인터 예측은 병진 운동(translation motion) 모델을 반영한 움직임 예측이다. 즉, 수평방향(x축 방향) 및 수직방향(y축 방향)으로의 움직임을 예측하는 기법이다. 그러나, 실제로는 병진 운동 이외에 회전(rotation), 줌-인(zoom-in) 또는 줌-아웃(zoom-out)과 같은 다양한 형태의 움직임이 존재할 수 있다. 본 개시의 일 측면은 이러한 다양한 형태의 움직임을 커버할 수 있는 아핀 움직임 예측을 제공한다.
도 8은 아핀 움직임 예측을 설명하기 위한 예시도이다.
아핀 움직임 예측을 위한 두 가지 타입의 모델이 존재할 수 있다. 하나는, 도 8(A)에서 보는 바와 같이, 현재 부호화하고자 하는 대상블록의 좌상귀(top-left corner)와 우상귀(top-right corner) 두 개의 제어점(control point)의 움직임벡터들, 즉, 4개의 파라미터를 이용하는 모델이다. 다른 하나는, 도 8(B)에서 보는 바와 같이, 대상블록의 좌상귀, 우상귀, 좌하귀(bottom-left corner)의 세 개의 제어점의 움직임벡터들, 즉, 6개의 파라미터를 이용하는 모델이다.
4 파라미터 아핀 모델은 수학식 10과 같이 표현된다. 대상블록 내의 샘플 위치 (x, y)에서의 움직임은 수학식 10에 의해 연산될 수 있다. 여기서, 대상블록의 좌상단 샘플의 위치는 (0,0)으로 가정된다.
Figure pat00015
6 파라미터 아핀 모델은 수학식 11과 같이 표현된다. 대상블록 내의 샘플 위치 (x, y)에서의 움직임은 수학식 11에 의해 연산될 수 있다.
Figure pat00016
여기서, (mv0x, mv0y) 는 좌상귀 제어점의 움직임 벡터, (mv1x, mv1y)는 우상귀 제어점의 움직임 벡터, (mv2x, mv2y)는 좌하귀 제어점의 움직임 벡터이다. W는 대상블록의 가로 길이로부터 결정되는 상수, H는 대상블록의 세로 길이로부터 결정되는 상수이다.
아핀 움직임 예측은 대상블록 내의 각 샘플마다 수학식 10 또는 수학식 11를 통해 연산된 움직임 벡터를 이용하여 수행될 수 있다.
대안적으로, 연산의 복잡도를 줄이기 위해, 도 9에서 보는 바와 같이, 대상블록으로부터 분할된 서브블록 단위로 수행될 수도 있다. 예시적으로, 서브블록의 크기는 4x4일 수 있고, 또는 2x2나 8x8일 수도 있다. 이하에서는, 대상블록에 대해 4x4 서브블록 단위로 아핀 움직임 예측을 수행하는 것을 예로 들어 설명한다. 이 예시는 설명의 편의를 위한 것일 뿐, 본 발명을 제한하는 것은 아니다.
서브블록 단위 아핀 움직임 예측에서, 각 서브블록의 움직임벡터(아핀 움직임벡터)는 수학식 10 또는 11의 (x, y)에 각 서브블록의 중심 위치를 대입함으로써 연산된다. 여기서, 중심 위치는 서브블록의 실제 중심점(center point)일 수도 있고 그 중심점의 우하단 샘플 위치일 수도 있다. 예컨대, 좌하단 샘플의 좌표가 (0,0)인 4x4 서브블록의 경우, 서브블록의 중심 위치는 (1.5, 1.5)일 수 있고 또는 (2,2)일 수 있다. 각 서브블록에 대한 예측블록은 해당 서브블록의 아핀 움직임벡터 (mvx, mvy)를 이용하여 생성된다.
움직임벡터 (mvx, mvy)는 1/16 샘플 정확도(precision)을 갖도록 설정될 수 있다. 이 경우, 수학식 1 또는 2를 통해 산출된 움직임벡터 (mvx, mvy)는 1/16 샘플 단위로 반올림될 수 있다. 한편, 아핀 움직임 예측에서도 일반 인터 예측에서와 마찬가지로 적응적 움직임벡터 해상도가 적용될 수 있다. 이 경우, 대상블록의 움직임벡터 해상도, 즉, 움직임벡터의 정밀도에 대한 정보는 대상블록마다 시그널링된다.
아핀 움직임 예측은 휘도(luma) 성분뿐만 아니라 색차(chroma) 성분에 대해서도 수행될 수 있다. 4:2:0 비디오 포맷의 경우, 휘도 성분에 대해 4x4 서브블록 단위의 아핀 움직임 예측이 수행되었다면, 색차 성분에 대한 아핀 움직임 예측은 2x2 서브블록 단위로 수행될 수 있다. 색차 성분의 각 서브블록의 움직임벡터 (mvx, mvy)는 대응하는 휘도 성분의 움직임벡터로부터 유도될 수 있다. 대안적으로, 색차 성분의 아핀 움직임 예측을 위한 서브블록의 크기는 휘도 성분의 경우와 동일할 수도 있다. 휘도 성분에 대해 4x4 서브블록 단위로 아핀 움직임 예측이 수행되었다면, 색차 성분에 대해서도 4x4 서브블록 크기로 아핀 움직임 예측이 수행된다. 이 경우, 색차 성분에 대한 4x4 크기의 서브블록은 휘도 성분에 대한 네 개의 4x4 서브블록에 대응하므로, 색차 성분의 서브블록에 대한 움직임벡터 (mvx, mvy)는 대응하는 휘도 성분의 네 개의 서브블록의 움직임벡터들의 평균 연산을 통해 산출될 수 있다.
영상 부호화 장치는 인트라 예측, 인터 예측(병진 움직임 예측), 아핀 움직임 예측 등을 수행하고, RD(rate-distortion) 코스트(cost)를 연산하여 최적의 예측 방법을 선택한다. 아핀 움직임 예측을 수행하기 위해, 영상 부호화 장치의 인터 예측부(124)는 두 가지 타입의 모델 중 어느 타입을 사용할지 여부를 결정하고, 결정된 타입에 따라 두 개 또는 세 개의 제어점들을 결정한다. 인터 예측부(1214)는 제어점들의 움직임벡터들을 이용하여 대상블록 내의 4x4 서브블록들 각각에 대한 움직임벡터 (mvx, mvy)를 연산한다. 그리고, 각 서브블록의 움직임벡터 (mvx, mvy)를 이용하여 서브블록 단위로 참조 픽처 내에서 움직임 보상을 수행함으로써, 대상블록 내의 각 서브블록에 대한 예측블록을 생성한다.
영상 부호화 장치의 엔트로피 부호화부(155)는 대상블록에 아핀 움직임 예측이 적용되었는지 여부를 나타내는 플래그, 아핀 모델의 타입을 나타내는 타입 정보, 및 각 제어점의 움직임 벡터를 나타내는 움직임 정보 등을 포함하는 아핀 관련 신택스 요소들을 부호화하여 영상 복호화 장치로 전달한다. 타입 정보와 제어점들의 움직임 정보는 아핀 움직임 예측이 수행되는 경우에 시그널링될 수 있고, 제어점들의 움직임벡터들은 타입 정보에 따라 결정된 개수만큼 시그널링될 수 있다. 또한, 적응적 움직임벡터 해상도가 적용되는 경우, 대상블록의 아핀 움직임벡터에 대한 움직임벡터 해상도 정보가 시그널링된다.
영상 복호화 장치는 시그널링된 신택스들을 이용하여 아핀 모델의 타입과 제어점 움직임벡터(control point motion vector)들을 결정하고, 수학식 10 또는 11를 이용하여 대상블록 내의 각 4x4 서브블록에 대한 움직임벡터 (mvx, mvy)를 연산한다. 만약, 대상블록의 아핀 움직임벡터에 대한 움직임벡터 해상도 정보가 시그널링된 경우, 움직임벡터 (mvx, mvy)는 반올림 등의 연산을 통해 움직임벡터 해상도 정보에 의해 식별되는 정밀도로 수정된다.
영상 복호화 장치는 각 서브블록에 대한 움직임벡터 (mvx, mvy)를 이용하여 참조 픽처 내에서 움직임 보상을 수행함으로써, 각 서브블록에 대한 예측블록을 생성한다.
제어점들의 움직임벡터들을 부호화하기 위해 소요되는 비트량을 줄이기 위해, 는 전술한 일반 인트라 예측(병진 움직임 예측)과 같은 방식이 적용될 수 있다.
하나의 예시로서, 머지 모드의 경우, 영상 부호화 장치의 인터 예측부(124)는 대상블록의 주변블록들로부터 각 제어점의 움직임벡터를 유도한다. 인터 예측부(124)는, 예컨대, 도 4에 도시된 대상블록의 주변샘플들(L, BL, A, AR, AL)로부터 기 정의된 개수의 머지 후보들을 유도함으로써, 머지 후보 리스트를 생성한다. 리스트에 포함되는 머지 후보들 각각은 두 개 또는 세 개의 제어점들의 움직임벡터들의 쌍에 대응한다.
먼저, 인터 예측부(124)는 아핀 모드로 결정된 주변블록들 중 아핀 모드로 예측된 주변블록의 제어점 움직임벡터들로부터 머지 후보를 유도한다. 일부 실시예에서, 아핀 모드로 예측된 주변블록들로부터 유도되는 머지 후보의 개수는 제한될 수 있다. 예컨대, 인터 예측부(124)는 L과 BL 중에서 하나, 그리고 A, AR, 및 AL 중에서 하나, 총 두 개의 머지 후보를 아핀 모드로 예측된 주변블록으로부터 유도할 수 있다. 우선순위는 L, BL의 순서, 그리고 A, AR, AL의 순서일 수 있다.
한편, 머지 후보의 총 개수가 3개 이상인 경우, 인터 예측부(124)는 주변블록의 병진 움직임벡터(translational motion vector)로부터 부족한 개수만큼의 머지 후보들을 유도할 수 있다.
도 10은 주변블록의 병진 움직임벡터(translation motion vector)로부터 아핀 움직임 예측을 위한 머지 후보들을 유도하는 방법을 설명하기 위한 예시도이다.
인터 예측부(124)는 주변블록 그룹 {B2, B3, A2}, 주변블록 그룹 {B1, B0}, 주변블록 그룹{A1, A0}로부터 각각 하나씩의 제어점 움직임벡터 CPMV1, CPMV2, CPMV3을 유도한다. 하나의 예시로서, 각 주변블록 그룹 내에서의 우선 순위는, B2, B3, A2의 순서, B1, B0의 순서, 그리고 A1, A0의 순서일 수 있다. 또한, 참조 픽처 내의 동일 위치 블록(collocated block) T로부터 또 하나의 제어점 움직임벡터 CPMV4를 유도한다. 인터 예측부(124)는 네 개의 제어점 움직임벡터 중에서 두 개 또는 세 개의 제어점 움직임벡터들을 조합하여 부족한 개수만큼의 머지 후보를 생성한다. 조합의 우선순위는 아래와 같다. 각 그룹 내의 요소들은 좌상귀, 우상귀, 좌하귀 제어점 움직임벡터의 순서로 나열되어 있다.
{CPMV1, CPMV2, CPMV3}, {CPMV1, CPMV2, CPMV4}, {CPMV1, CPMV3, CPMV4},
{CPMV2, CPMV3, CPMV4}, {CPMV1, CPMV2}, {CPMV1, CPMV3}
인터 예측부(124)는 머지 후보 리스트로부터 머지 후보를 선택하여 대상블록에 대한 아핀 움직임 예측을 수행한다. 선택된 후보가 두 개의 제어점 움직임벡터로 이루어진 경우 4 파라미터 모델을 이용하여 아핀 움직임 예측을 수행한다. 반면, 선택된 후보가 세 개의 제어점 움직임벡터로 구성된 경우 6 파라미터 모델을 이용하여 아핀 움직임 예측을 수행한다. 영상 부호화 장치의 엔트로피 부호화부(155)는 머지 후보 리스트 내 머지 후보들 중 선택된 머지 후보를 나타내는 인덱스 정보를 부호화하여 영상 복호화 장치로 시그널링한다.
영상 복호화 장치의 엔트로피 복호화부(510)은 영상 부호화 장치로부터 시그널링된 인덱스 정보를 복호화한다. 영상 복호화 장치의 인터 예측부(544)는 영상 부호화 장치와 동일한 방식으로 머지 후보 리스트를 구성하고, 인덱스 정보에 의해 지시되는 머지 후보에 대응하는 제어점 움직임벡터들을 이용하여 아핀 움직임 예측을 수행한다.
다른 예시로서, AMVP 모드의 경우, 영상 부호화 장치의 인터 예측부(124)는 대상블록에 대한 아핀 모델의 타입과 제어점 움직임벡터들을 결정한다. 그리고, 대상블록의 실제 제어점 움직임벡터들과 각 제어점의 예측 움직임벡터들 간의 차이인 차분 움직임벡터(motion vector difference)를 연산하고 각 제어점에 대한 차분 움직임벡터를 부호화하여 전송한다. 이를 위해, 영상 부호화 장치의 인터 예측부(124)는 기 정의된 개수의 아핀 AMVP 리스트를 구성한다. 대상블록이 4 파라미터 타입인 경우, 리스트에 포함된 후보들은 각각 두 개의 제어점 움직임벡터의 쌍으로 이루어진다. 반면, 대상블록이 6 파라미터 타입인 경우, 리스트에 포함된 후보들은 각각 세 개의 제어점 움직임벡터들의 쌍으로 이루어진다. 아핀 AMVP 리스트는 전술한 머지 후보 리스트를 구성하는 방법과 유사하게 주변블록들의 제어점 움직임벡터들 또는 병진 움직임벡터를 이용하여 유도될 수 있다.
그러나, 아핀 AMVP 리스트에 포함될 후보를 유도하기 위해, 도 4의 주변블록들 중에서 대상블록과 동일한 참조 픽처를 참조하는 주변블록들만이 고려되는 제약사항이 존재할 수 있다.
또한, AMVP 모드에서는 대상블록의 아핀 모델 타입이 고려되어야 한다. 영상 부호화 장치는 대상블록의 아핀 모델 타입이 4 파라미터 타입인 경우, 주변블록의 아핀 모델을 이용하여 두 개의 제어점 움직임벡터들(대상블록의 좌상귀 및 우상귀 제어점 움직임벡터들)을 유도한다. 대상블록의 아핀 모델 타입이 6 파라미터 타입인 경우, 주변블록의 아핀 모델을 이용하여 세 개의 제어점 움직임벡터들(대상블록의 좌상귀, 우상귀 및 좌하귀 제어점 움직임벡터들)을 유도한다.
주변블록이 4 파라미터 타입인 경우, 주변블록의 두 개의 제어점 움직임벡터를 이용하여, 대상 블록의 아핀 모델 타입에 따라 두 개 또는 세 개의 제어점 움직임벡터들이 예측된다. 예컨대, 수학식 10으로 표현된 주변블록의 아핀 모델이 이용될 수 있다. 수학식 10에서 (mv0x, mv0y)와 (mv1x, mv1y)는 각각 주변블록의 좌상귀(top-left corner) 및 우상귀 제어점 움직임벡터로 대체된다. W는 주변블록의 가로 길이로 대체된다. 대상블록의 각 제어점에 대한 예측 움직임벡터는, (x, y)에 대상블록의 해당 제어점의 위치와 주변블록의 좌상귀 위치 간의 차이를 입력함으로써, 유도될 수 있다.
주변블록이 6 파라미터 타입인 경우, 주변블록의 세 개의 제어점 움직임벡터를 이용하여, 대상 블록의 아핀 모델 타입에 따라 두 개 또는 세 개의 제어점 움직임벡터들이 예측된다. 예컨대, 수학식11로 표현된 주변블록의 아핀 모델이 이용될 수 있다. 수학식 11에서 (mv0x, mv0y), (mv1x, mv1y), 및 (mv2x, mv2y)는 각각 주변블록의 좌상귀, 우상귀 및 좌하귀의 제어점 움직임벡터로 대체된다. W와 H는 각각 주변블록의 가로 및 세로 길이로 대체된다. 대상블록의 각 제어점에 대한 예측 움직임벡터는, (x, y)에 대상블록의 해당 제어점의 위치와 주변블록의 좌상귀 위치 간의 차이를 입력함으로써, 유도될 수 있다.
영상 부호화 장치의 인터 예측부(124)는 아핀 AMVP 리스트로부터 하나의 후보를 선택하고, 실제 각 제어점의 움직임벡터들과 선택된 후보의 대응하는 제어점의 예측움직임벡터 간의 차분 움직임벡터를 생성한다. 영상 부호화 장치의 엔트로피 부호화부(155)는 대상블록의 아핀 모델 타입을 나타내는 타입 정보, 아핀 AMVP 리스트 내의 후보들 중에서 선택된 후보를 지시하는 인덱스 정보, 및 각 제어점에 대응하는 차분 움직임벡터를 부호화하여 영상 복호화 장치로 전달한다.
영상 복호화 장치의 인터 예측부(544)는 영상 부호화 장치로부터 시그널링된 정보를 이용하여 아핀 모델 타입을 결정하고, 각 제어점의 차분 움직임벡터를 생성한다. 그리고, 영상 부호화 장치와 동일한 방식으로 아핀 AMVP 리스트를 생성하고, 아핀 AMVP 리스트 내에서 시그널링된 인덱스 정보에 의해 지시되는 후보를 선택한다. 영상 복호화 장치의 인터 예측부(544)는 선택된 후보의 각 제어점의 예측 움직임벡터와 대응하는 차분 움직임벡터를 가산하여 각 제어점의 움직임벡터를 산출한다.
III. 아핀 움직임 예측 샘플들에 대한 샘플 단위 조정
대상블록에 대한 서브블록 단위 아핀 움직임 예측이 전술되었다. 본 개시의 또 다른 측면은, 서브블록 단위 아핀 움직임 예측으로부터 생성된 예측샘플들의 샘플값들을 샘플 단위로 조정하는 것과 관련된다. 아핀 움직임 예측이 수행된 단위인 서브블록 내에서 각 샘플의 위치에 따른 움직임이 추가로 보상된다.
대상블록에 대한 서브블록 단위 아핀 움직임 예측의 결과로서 생성된 어느 한 서브블록 내의 샘플값들을 I(x, y)라고 할 때, 영상 부호화 장치는 각 샘플 위치에서의 수평 방향 및 수직 방향 그래디언트 gx(i,j) 및 gy(i,j)들을 계산한다. 그래디언트 연산을 위해 수학식 12가 사용될 수 있다.
Figure pat00017
예측샘플을 조정하기 위한 샘플 오프셋(sample offset) ΔI(i,j)는 다음 수학식과 같이 계산한다.
Figure pat00018
여기서, Δmv(i,j)는 샘플 (i,j)에서의 아핀 움직임 벡터와 서브블록의 중심 위치에서의 아핀 움직임 벡터 간의 차이, 즉, 움직임 오프셋을 의미하며, 대상블록의 아핀 모델 타입에 따라 수학식 10 또는 수학식 11를 적용하여 연산될 수 있다. 즉, 수학식 10 또는 11의 (x,y)=(i,j)를 입력했을 때의 움직임벡터로부터 (x,y)에 서브블록 중심 위치를 입력했을 때의 움직임벡터를 감산하여 계산될 수 있다. 다시 말해, Δmv(i,j)는, 수학식 10 및 11의 (x, y)를 서브블록 중심 위치로부터 샘플 위치 (i,j)까지의 수평 및 수직 방향으로의 오프셋으로 대체하고 마지막 항인 "+ mv0x"와 "+ mv0y"를 제외한, 수학식을 통해 연산될 수 있다. 중심 위치는 서브블록의 실제 중심점(center point)일 수도 있고 그 중심점의 우하단 샘플 위치일 수도 있다.
한편, Δmv(i,j)의 연산에 사용되는 대상블록의 각 제어점의 움직임벡터 및, 샘플 위치 (i,j)와 서브블록 중심 위치 간의 차이는 모든 서브블록에 대해 동일하다. 따라서, Δmv(i,j) 값들은 하나의 서브블록, 예컨대, 첫번째 서브블록에 대해서만 연산되고, 다른 서브블록에 대해서 재사용될 수 있다.
본 개시의 기법은 객체가 일정한 속도로 이동하고 샘플값들의 변화가 일정(smooth)하다는 가정에 기반한다. 따라서, Δmv(i,j)의 x 성분(Δmvx)과 y성분(Δmvy)에 각각 수평 및 수직방향으로 샘플 그래디언트 값을 곱하여 수평방향으로의 샘플 변화량과 수직방향으로의 샘플 변화량을 구하고, 두 변화량을 더하여 샘플 오프셋 ΔI(i,j)를 계산한다.
최종적으로 예측샘플의 값은 다음과 같이 연산된다.
Figure pat00019
아핀 움직임 예측 샘플들에 대한 샘플 단위 조정이 적용되는 경우, 영상 부호화 장치의 인터 예측부(124) 및 영상 복호화 장치의 인터 예측부(544)는 전술한 바와 같은 프로세스를 수행하여 아핀 움직임 예측을 통해 생성한 예측샘플들의 샘플값들을 수정한다. 그래디언트 값들은 아핀 움직임 예측을 통해 생성한 예측샘플들로부터 유도되고 Δmv(i,j)는 대상블록의 제어점 움직임벡터들로부터 유도된다. 따라서 영상 부호화 장치로부터 영상 복호화 장치로 본 기법의 프로세스를 위한 추가적인 정보의 시그널링은 요구되지 않는다.
IV. 아핀 움직임 예측 샘플들에 대한 지역 조명 보상 (Local Illumination Compensation)
지역 조명 보상 기술은 현재 블록과 예측 블록의 조명 변화에 관한 선형 모델을 이용하여 변화량을 보상하는 부호화 기술이다. 영상 부호화 장치의 인터 예측부(124)는 대상블록의 움직임벡터(병진 움직임벡터)를 이용하여 참조 픽처 내에서 참조블록을 결정하고, 참조블록 주변(상측과 좌측)의 기복원된 샘플들을 및 대상블록 주변(상측과 좌측)의 기복원된 샘플들을 이용하여 조명 보상을 위한 선형 모델의 파라미터를 구한다.
참조블록 주변의 기복원된 샘플들을 x, 대상블록 주변의 대응하는 기복원된 샘플들을 y라고 할 때, 수학식 15와 같이 y와 (Ax + b)의 차이의 제곱합을 최소로 하는 파라미터 A, b가 유도된다.
Figure pat00020
최종 예측샘플들은, 수학식 16과 같이, 대상블록의 움직임벡터에 의해 생성된 예측블록(참조블록) 내의 샘플들에 A의 가중치와 b의 오프셋을 적용하여 생성된다. 수학식 16에서 pred[x][y]는 대상블록의 움직임벡터에 의해 생성된 (x, y) 위치의 예측샘플이고, predLIC[x][y]는 조명 보상 이후의 최종 예측샘플이다.
Figure pat00021
본 개시의 또 다른 측면은 이러한 조명 보상 기술을 아핀 움직임 예측과 결합하는 기술과 관련된다.
전술한 바와 같이, 대상블록에 대해 서브블록 단위 아핀 움직임 예측을 적용하는 경우, 서브블록들 각각에 대해 움직임벡터들이 생성된다. 각 서브블록마다 해당 움직임벡터를 이용하여 조명 보상 파라미터를 유도하고 조명 보상을 수행하는 경우, 연산의 복잡도가 증가할 뿐만 아니라 심각한 지연 문제 발생한다. 각 서브블록 내의 복원된 샘플들이 다음 번 서브블록의 조명 보상을 위해 필요하므로, 인접한 서브블록이 복원될 때까지(즉, 서브블록에 대한 예측블록과 잔차블록이 모두를 복원될 때까지) 다음 번 서브블록에 대한 조명 보상 프로세스를 보류해야 하기 때문이다. 본 개시는 이러한 문제들의 개선에 대한 것이다.
도 11은 본 개시의 일 실시예에 따라 조명 보상 파라미터를 유도하기 위해 참조블록의 위치를 결정하는 다양한 예시를 보여준다. 본 실시예는 대상블록에 대해 하나의 조명 보상 파라미터 셋(A, b)를 유도하고, 대상블록 내의 모든 서브블록들에 대하여 동일한 파라미터를 적용한다. 즉, 대상블록 전체가 하나의 조명 보상 파라미터를 통해 수정된다.
도 11(A)에서 보는 바와 같이, 영상 부호화 장치의 인터 예측부(124)는 대상블록 내의 좌상단에 위치한 서브블록의 아핀 움직임벡터 또는 대상블록의 좌상귀 제어점 움직임벡터를 이용하여 참조픽처 내의 참조블록의 위치를 결정할 수 있다. 결정된 참조블록 주변의 기복원된 샘플들이 파라미터 유도에 사용된다. 대안적으로, 도 11(B)에서 보는 바와 같이, 대상블록 내의 중앙 서브블록의 아핀 움직임벡터를 이용하여 참조블록의 위치가 결정될 수 있다. 참조블록의 위치가 결정되면 참조블록의 상측과 좌측에 인접한 기복원된 샘플들 및 대상블록의 상측과 좌측에 인접한 대응하는 기복원된 샘플들을 이용하여 조명 보상 파라미터가 유도된다.
또 다른 예시로서, 대상블록 내의 복수의 서브블록들이 사용될 수도 있다. 도 11(C)와 같이, 인터 예측부(124)는 대상블록 내의 경계에 위치한 서브블록(경계 서브블록)들의 아핀 움직임벡터들을 이용하여 경계 서브블록 각각에 대응하는 참조 서브블록들을 결정한다. 조명 보상 파라미터를 유도하기 위한 샘플들은 대상블록 내의 경계 서브블록들 및 그에 대응하는 참조 서브블록들에 각각 인접한 기복원 샘플들로부터 추출된다. 대상블록 내에서 상측 경계에 위치한 서브블록들 및 그에 대응하는 참조 서브블록들에 대해서는 상측에 인접한 기복원된 샘플들로부터 추출되고, 대상블록 내에서 좌측 경계에 위치한 서브블록들 및 그에 대응하는 참조 서브블록들에 대해서는 좌측에 인접한 기복원된 샘플들로부터 추출된다.
본 실시예는 대상블록 주변의 기복원된 샘플들과 참조블록 주변의 기복원된 샘플들을 이용하여 조명 보상 파라미터가 유도되므로, 전술한 지연 문제를 해결할 수 있다. 그러나, 서브블록 단위의 아핀 움직임 예측이 적용된 대상블록에 단지 하나의 조명 보상 파라미터를 적용하는 것은 부호화 효율을 잠재적으로 저하시킬 수도 있다. 이하에서 설명하는 다른 실시예는 약간의 복잡도 증가에 대한 트레이드 오프(trade off)로서 부호화 효율의 증가를 가져온다.
본 개시의 다른 실시예에 따르면, 영상 부호화 장치의 인터 예측부(124)는 대상블록을 복수의 영역(region)으로 분할한다. 각 영역은 아핀 움직임 예측이 수행된 단위인 서브블록을 하나 이상 포함한다. 인터 예측부(124)는 복수의 영역들에 대한 조명 보상 파라미터들을 산출하고, 산출된 조명 보상 파라미터들을 이용하여 대상블록 내의 영역들 또는 서브블록들 단위로 조명 보상을 수행한다.
1. 대상블록 분할
영상 부호화 장치의 인터 예측부(124)는 대상블록을 아핀 움직임 예측이 수행된 단위인 서브블록들을 하나 이상 포함하는 복수의 영역들로 분할한다.
대상블록은 그 대상블록의 제어점 움직임벡터들을 이용하여 분할될 수 있다. 도 12는 제어점 움직임벡터들을 이용한 대상블록 분할의 예시이다. 도 12(A)를 참조하면, 대상블록의 좌상귀 제어점 움직임벡터(MV0)와 우상귀 제어점 움직임벡터(MV1) 간의 각도가 둔각이면(90도보다 크면), 대상블록은 수직 방향으로 분할된다. 예컨대, 대상블록은 두 개의 영역으로 이등분될 수 있다. 그렇지 않으면 대상블록은 수직 방향으로 분할되지 않는다. 또한, 도 12(B)를 참조하면, 좌상귀 제어점 움직임벡터(MV0)와 좌하귀 제어점 움직임벡터(MV2)가 간의 각도가 둔각이면, 대상블록은 수평 방향으로 분할, 예컨대, 이등분으로 분할된다. 그렇지 않으면 대상블록은 수평 방향으로 분할되지 않는다. 만약, 대상블록의 아핀 모델 타입이 4 파라미터인 경우, 좌하귀 제어점 움직임벡터(MV2)는 수학식 1의 (x, y)에 대상블록의 좌하귀 샘플 좌표를 입력하여 유도될 수 있다.
이렇게 제어점 움직임벡터들이 이루는 각도를 토대로, 인터 예측부(124)는 대상블록을 분할되지 않거나, 2개의 영역(수평 분할의 경우 좌측 영역과 우측 영역, 수직 분할의 경우 상측 영역과 하측 영역), 또는 4 개의 영역으로 분할한다. 두 벡터의 내적이 0보다 작으면 둔각이므로, 인터 예측부(124)는 제어점 움직임벡터들 간의 각도가 둔각인지 여부를 두 벡터 간의 내적 연산을 통해 판단할 수 있다.
위 예시에서는 두 제어점 움직임 벡터 간의 각도가 둔각인 경우 대상블록을 분할하는 것으로 예시하였으나, 반대로 예각(90도 보다 작은 각도)인 경우에 분할할 수도 있을 것이다.
또한, 대상블록의 분할을 위해 대상블록의 크기가 고려될 수 있다. 예컨대, 가로 길이가 기설정된 임계값을 초과하면 대상블록은 수직 방향으로 분할되고, 세로 길이가 기설정된 임계값을 초과하면 대상블록은 수평 방향으로 분할된다. 대상블록의 분할을 위해 대상블록의 크기와 제어점 움직임벡터들 간의 각도와 함께 대상블록 분할에 이용될 수도 있다. 예컨대, 영상 부호화 장치는 대상 블록의 가로 및/또는 세로 길이가 기설정된 임계값보다 큰 경우에만, 제어점 움직임벡터들 간의 각도를 이용하여 분할 여부를 결정할 수도 있다. 다른 예시로서, 영상 부호화 장치는, 가로 길이가 기설정된 임계값을 초과하는 경우에, 대상블록의 좌상귀 및 우상귀 제어점 움직임벡터들 간의 각도를 이용하여 수직 방향으로의 분할 여부를 결정할 수 있다. 그리고, 세로 길이가 기설정된 임계값을 초과하는 경우에, 대상블록의 좌상귀 및 좌하귀 제어점 움직임벡터들 간의 각도를 이용하여 수직 방향으로의 분할 여부를 결정할 수 있다.
한편, 대상블록의 제어점 움직임벡터들을 이용하여 대상블록을 복수의 영역으로 분할하는 것으로 설명하였으나 본 발명이 이에 한정되지는 않는다. 예컨대, 좌상귀 제어점 움직임벡터(MV0), 우상귀 제어점 움직임벡터(MV1), 및 좌하귀 제어점 움직임벡터(MV2) 대신에 대상블록 내의 좌상단 서브블록, 우상단 서브블록 및 좌하단 서브블록의 아핀 움직임벡터들이 사용될 수도 있다.
도 12에서는 대상블록이 가로 또는 세로 방향으로 이등분되는 것을 예시하였으나, 본 발명이 이에 한정되는 것은 아니다. 예컨대, 대상블록은 가로 방향으로 복수 개 및/또는 세로 방향으로 복수 개로 (n은 1이상)로 분할될 수도 있다. 또는, 대상블록은 아핀 움직임 예측이 수행된 서브블록들 단위로 분할될 수도 있다. 이 경우 하나의 서브블록이 하나의 영역을 구성한다.
대상블록으로부터 분할된 각 영역들은 아핀 움직임 예측이 수행된 서브블록 크기 이상이어야 한다. 즉, 각 영역은 하나 이상의 서브블록으로 구성되어야 한다. 예컨대, 서브블록의 크기가 4x4인 경우, 영역의 크기는 2mx2n (m과 n은 2 이상의 정수)이다.
대상블록이 분할되지 않는 경우에는, 전술한 제1 실시예에 따라 조명 보상 파라미터가 유도될 수 있다. 이하에서는, 대상블록이 분할되는 경우에 조명 보상 파라미터를 유도하는 방법을 설명한다.
2. 조명 보상 파라미터 유도 및 조명 보상
영상 부호화 장치는 복수의 영역들에 대한 조명 보상 파라미터들을 산출한다. 복수의 조명 보상 파라미터들을 이용하여 대상블록 내의 영역들 또는 서브블록들 단위로 조명 보상을 수행한다. 영상 부호화 장치는, 복수의 영역 각각에 대해, 보상 파라미터를 유도하기 위해 사용할 현재 픽처 및 참조 픽처 내의 기복원된 샘플들(참조샘플들)을 결정한다. 현재 픽처 내의 참조샘플들은 대상블록에 인접한 기복원된 샘플들로부터 선택된다. 대상블록의 좌측 경계로부터 이격되어 있는 영역의 경우, 대상블록의 좌측에 인접한 기복원된 샘플들이 참조샘플들로서 선택된다. 대상블록의 상측 경계로부터 이격되어 있는 영역의 경우, 대상블록의 상측에 인접한 기복원된 샘플들이 참조샘플들로서 선택된다
한편, 참조 픽처 내의 참조샘플들은 대상블록의 제어점 움직임벡터들 또는 그 제어점 움직임벡터들로부터 유도된 하나 이상의 움직임벡터를 이용하여 선택될 수 있다. 이하에서는, 대상블록의 다양한 분할 형태에 따라, 조명 보상 파라미터를 유도하고 조명 보상을 수행하는 방법을 상술한다.
2-1. 대상블록의 4개의 영역으로 분할된 경우
먼저, 가로 및 세로 길이가 각각 W, H인 대상블록이 수평 및 수직 방향으로 각각 분할되어 총 4개의 영역으로 구성된 경우를 예로 들어 설명한다.
영상 부호화 장치는 각 영역에 대한 보상 파라미터를 유도하기 위해 사용할 현재 픽처 및 참조 픽처 내의 기복원된 샘플들(참조샘플들)을 결정한다.
도 13는 보상 파라미터를 유도하기 위해 사용할 참조샘플들을 결정하는 방법을 설명하기 위한 예시도이다.
대상블록 내 좌상단 영역의 경우, 영상 부호화 장치는 현재 픽처 내에서 좌상단 영역의 상측에 인접한 T0 ~ Tw/2-1 과 좌측에 인접한 L0 ~ LH/2-1을 보상 파라미터를 유도하기 위한 참조샘플들로서 선택한다. 그리고, 좌상단 영역의 대표 움직임벡터를 이용하여 참조 픽처 내에서 좌상단 영역에 대응하는 참조 영역을 결정하고, 그 참조영역의 상측 및 좌측에 인접한 기복원 샘플들을 보 참조샘플들로서 선택한다. 여기서, 좌상단 영역의 대표 움직임벡터로는 대상블록의 좌상귀 제어점 움직임벡터(MV0)일 수 있다.
우상단 영역의 경우, 영상 부호화 장치는 우상단 영역의 상측에 인접한 Tw/2 ~ Tw-1를 보상 파라미터를 유도하기 위한 적어도 일부의 참조샘플들로서 선택한다. 또한, 대상블록의 좌측에 인접한 L0 ~ LH/2-1이 참조샘플들로서 추가로 선택될 수 있다. 우상단 영역의 좌측에 인접하는 기복원된 샘플들은 존재하지 않으므로, 대상블록 좌측의 L0 ~ LH/2-1이 우상단 영역 좌측의 참조샘플들로서 패딩될 수 있다. 그리고, 영상 부호화 장치는 우상단 영역의 대표 움직임벡터를 이용하여 참조 픽처 내에서 우상단 영역에 대응하는 참조영역을 결정하고, 그 참조영역의 상측에 인접한 기복원 샘플들을 보상 파라미터 유도를 위한 참조샘플로서 선택한다. 또한, 대상블록의 좌측에 인접한 L0 ~ LH/2-1이 추가적으로 더 선택되는 경우, 영상 부호화 장치는 그 참조영역의 좌측에 인접한 기복원 샘플들을 참조샘플들로서 추가로 선택할 수 있다. 여기서, 우상단 영역의 대표 움직임벡터는 대상블록의 우상귀 제어점 움직임벡터(MV1)일 수 있다.
좌하단 영역의 경우, 영상 부호화 장치는 좌하단 영역의 좌측에 인접한 LH/2 ~ LH-1을 적어도 일부의 참조샘플들로서 선택한다. 또한, 대상블록의 상측에 인접한 T0 ~ Tw/2-1이 추가적으로 더 선택될 수 있다. 그리고, 영상 부호화 장치는 좌하단 영역의 대표 움직임벡터를 이용하여 참조 픽처 내에서 좌하단 영역에 대응하는 참조영역을 결정하고, 그 참조영역의 좌측에 인접한 기복원 샘플들을 참조샘플들로서 선택한다. 대상블록의 상측에 인접한 T0 ~ Tw/2-1이 추가적으로 더 선택된 경우, 영상 부호화 장치는 그 참조영역의 상측에 인접한 기복원 샘플들을 추가로 선택할 수 있다. 여기서, 좌상단 영역의 대표 움직임벡터는 대상블록의 좌하귀 제어점 움직임벡터(MV1)일 수 있다.
대상블록 내 좌상단, 우상단, 및 좌하단 영역 각각에 대한 참조샘플들이 결정되면, 영상 부호화 장치는, 수학식 15를 이용하여, x에 참조 픽처에서 선택된 참조샘플들, y에 현재 픽처에서 선택된 참조샘플들을 입력하여 각 영역에 대한 조명 보상 파라미터를 유도한다.
우하단 영역의 조명 보상 파라미터는 좌상단, 우상단, 및 좌하단 영역의 조명 보상 파라미터들로부터 유도될 수 있다. 예컨대, 우하단 영역의 조명 보상 파라미터는 우상단 영역과 좌하단 영역의된 조명 보상 파라미터들의 평균 값으로 설정될 수 있다.
대안적으로, 영상 부호화 장치는 우하단 영역에 대한 대표 움직임벡터를 결정하고 그 대표 움직임벡터를 이용하여 우하단 영역의 조명 보상 파라미터를 유도할 수도 있다. 우하단 영역에 대한 대표 움직임벡터는 대상블록의 우하귀 제어점 움직임벡터일 수 있다. 영상 부호화 장치는 수학식 10 또는 11의 (x, y)에 대상블록 내의 우하귀 샘플(우하단의 영역의 우하귀 샘플)의 좌표 (W-1, H-1)를 대입함으로써 대상블록의 우하귀 제어점 움직임벡터를 유도할 수 있다. 대상블록의 우하단 영역에 인접한 기복원된 샘플들은 존재하지 않는다. 따라서, 대상블록의 상측 및 좌측에 각각 인접한 Tw/2 ~ Tw-1 및 LH/2 ~ LH-1을 보상 파라미터 도출을 위한 참조샘플로 사용한다. 그리고, 대상블록의 우하귀 제어점 움직임벡터를 이용하여 참조 픽처 내 참조영역을 결정하고, 그 참조영역의 상측과 좌측에 인접한 기복원된 샘플들을 참조샘플로서 선택한다. 영상 부호화 장치는 선택된 참조샘플들을 이용하여, 수학식 15를 통해, 우하단 영역에 대한 조명 보상 파라미터를 유도한다.
위 예시에서는, 보상 파라미터 유도를 위한 참조 픽처 내의 참조샘플들을 결정하기 위해, 각 영역의 대표 움직임벡터가 사용되었고, 그 예시로서 대상블록의 제어점 움직임벡터들(즉, 아핀 움직임 예측을 위한 파라미터들)이 사용되었다. 그러나 본 발명이 이에 한정되는 것은 아니며, 각 영역의 대표 움직임벡터는 대상블록의 제어점 움직임벡터들로부터 유도된 움직임벡터일 수도 있다.
하나의 예시로서, 각 영역의 대표 움직임벡터는 대상블록의 제어점 움직임벡터들로부터 유도된 기정의된 위치의 움직임벡터일 수 있다. 일례로서, 아핀 움직임 예측에서 이미 생성되었던 대상블록 내 좌상단, 우상단, 좌하단, 및 우하단 4x4 서브블록들의 아핀 움직임벡터들이 좌상단, 우상단, 좌하단, 및 우하단 영역의 대표 움직임벡터들로서 각각 사용될 수 있다. 다른 예로서, 좌상단, 우상단, 좌하단, 및 우하단 영역 각각의 중심점에서의 아핀 움직임벡터들이 각 영역의 대표 움직임벡터들로서 사용될 수도 있다. 각 영역의 중심점에서의 아핀 움직임벡터들은, 수학식 10 또는 11의 (x, y)에 각 영역의 중심 위치를 대입함으로써, 생성될 수 있다.
다른 예시로서, 각 영역 내 서브블록들의 아핀 움직임벡터들의 평균값이 해당 영역의 대표 움직임벡터로 사용될 수도 있다.
한편, 보상 파라미터 유도를 위해 사용될 참조 픽처 내의 참조샘플들을 결정하기 위한 방법으로서, 각 영역의 대표 움직임벡터 대신 각 영역 내 서브블록들의 아핀 움직임벡터들이 사용될 수도 있다. 즉, 각 영역의 4x4 서브블록들의 아핀 움직임벡터들이 지시하는 위치의 4x4 참조블록들을 참조 픽처 내에서 결정하고, 4x4 참조블록들의 상측과 좌측에 인접한 기복원 픽셀들을 참조픽셀들로서 선택할 수 있다.
도 14는 대상블록의 네 개의 영역에 대한 조명 보상 파라미터들을 이용하여 조명 보상을 수행하는 방법을 설명하기 위한 예시도이다.
각 영역은 아핀 변환이 수행되는 단위인 서브블록을 하나 이상 포함한다. 도 14의 예시에서는, 대상블록의 좌상단 영역(TL), 우상단 영역(TR), 좌하단 영역(BL), 우하단 영역(BR)이 각각 네 개의 서브블록(4x4 서브블록)을 포함하고 있다. 영상 부호화 장치는 각 영역의 조명 보상 파라미터를 이용하여, 해당 영역 내의 예측샘플들(아핀 움직임 예측을 통해 생성된 예측샘플들)에 대한 조명 보상을 수행한다. 각 서브블록들은 자신이 속한 영역의 조명 보상 파라미터를 이용하여 보상될 수 있다. 예컨대, 좌상단 영역에 포함되는 네 개의 서브블록들은 좌상단 영역의 조명 보상 파라미터 (A0, b0)를 이용하여 보상된다.
일부 다른 실시예에서는, 영상 부호화 장치는 네 개의 영역(TL, TR, BL, BR)의 조명 보상 파라미터를 이용하여 각 영역 내의 서브블록들에 대응하는 조명 보상 파라미터들을 보간하고, 보간된 조명 보상 파라미터를 이용하여 각 서브블록들에 대한 조명 보상을 수행할 수도 있다. 전술한 바와 같이, 각 영역의 조명 보상 파라미터는 해당 영역의 대표 움직임벡터로부터 유도될 수 있다. 그러나 대표 움직임벡터가 해당 영역 내의 모든 서브블록들의 움직임을 반영하지는 못할 수 있다. 예컨대, 각 영역의 조명 보상 파라미터들은 대상블록의 좌상귀, 우상귀, 좌하귀, 및 우하귀의 제어점 움직임벡터들, 또는 대상블록의 좌상단, 우상단, 좌하단, 및 우하단 4x4 서브블록의 아핀 움직임벡터들로서 유도될 수 있다. 이 경우, 좌상단, 우상단, 좌하단, 및 우하단 4x4 서브블록의 움직임이 조명 보상 파라미터 유도에 더 많은 영향을 미칠 수 있다. 따라서, 영상 부호화 장치는 각 영역들의 조명 보상 파라미터들을 이용한 보간을 통해 각 서브블록들의 조명 보상 파라미터들을 유도할 수도 있다.
도 15은 각 영역들의 조명 보상 파라미터들을 이용하여 서브블록들의 조명 보상 파라미터들을 보간하는 방법을 설명하기 위한 예시도이다.
(A0, b0)부터 (A3, b3)는 각각 대상블록의 좌상귀, 우상귀, 좌하귀, 및 우하귀의 제어점 움직임벡터들, 또는 대상블록의 좌상단, 우상단, 좌하단, 및 우하단 4x4 서브블록의 아핀 움직임벡터들로부터 유도된 각 영역들의 조명 보상 파라미터들이다. (A0, b0)는 대상블록의 좌상단 영역 내의 좌상단 4x4 서브블록의 조명 보상 파라미터로 가정된다. 마찬가지로, (A1, b1)부터 (A3, b3)는 각각 우상단 영역 내의 우상단 4x4 서브블록의 조명 보상 파라미터, 좌하단 영역 내의 좌하단 4x4 서브블록의 조명 보상 파라미터, 우하단 영역 내의 우하단 4x4 서브블록의 조명 보상 파라미터로 가정된다. 즉, (A0, b0)부터 (A3, b3)는 대상블록의 네 개의 코너(corner) 서브블록들의 보상 파라미터들로 가정된다.
영상 부호화 장치는 네 개의 코너(corner) 서브블록들의 보상 파라미터들을 이용하여 다른 서브블록들의 보상 파라미터를 보간한다. 네 개의 코너(corner) 서브블록들을 이용한 2차원 보간(bi-linear interpolation)이 사용될 수 있고, 또는 일차원 보간이 사용될 수도 있다. 예컨대, 대상블록 내의 첫째 행의 서브블록들은 (A0, b0)와 (A1, b1)을 이용하여 보간할 수 있다. 대상블록 내의 첫째 열의 서브블록들은 (A0, b0)와 (A2, b2)를 이용하여 보간할 수 있다. 이러한 방식으로 모든 서브블록들의 보상 파라미터들이 유도된다.
여기서, 보간에 사용되는 필터 계수 또는 가중치는 코너 서브블록들의 위치와 대상 서브블록의 위치 간의 차이(또는, 코너 서브블록들과 대상 서브블록 간의 거리)에 따라 설정될 수 있다. 위치 차이가 작을수록 큰 가중치가 부여된다.
대안적으로, 보간에 사용되는 필터 계수 또는 가중치는 코너 서브블록들의 보상 파라미터를 유도하기 위해 사용된 움직임벡터들(대상블록의 좌상귀, 우상귀, 좌하귀, 및 우하귀의 제어점 움직임벡터들, 또는 대상블록의 좌상단, 우상단, 좌하단, 및 우하단 4x4 서브블록의 아핀 움직임벡터들)과 대상 서브블록의 아핀 움직임벡터 간의 차이에 따라 설정될 수도 있다. 움직임벡터 간의 차이가 작을수록 큰 가중치가 부여된다.
2.2 대상블록이 두 개의 영역으로 분할된 경우
대상블록이 두 개의 영역으로 분할된 경우에도, 네 개의 영역으로 분할된 경우와 동일한 방식으로, 각 영역의 조명 보상 파라미터를 유도할 수 있다. 예컨대, 도 16을 참조하면, 영상 부호화 장치는, 상단 영역의 보상 파라미터를 유도하기 위한 현재 픽처 내의 참조샘플들로서, 상단 영역의 상측에 인접한 기복원된 샘플들(T0 ~ Tw-1) 및 상단 영역의 좌측에 인접한 기복원된 샘플들(L0 ~ LH/2-1)을 선택한다. 그리고, 상단 영역의 대표 움직임벡터를 이용하여 참조 픽처 내의 참조영역을 결정하고, 그 참조영역의 상측과 좌측에 인접한 기복원된 샘플들을 참조샘플들로서 선택한다.
상단 영역의 대표 움직임벡터는 대상블록의 좌상귀 제어점 움직임벡터일 수 있다. 대안적으로, 대상블록의 제어점 움직임벡터들로부터 유도된 움직임벡터일 수 있다. 예컨대, 상단 영역 내의 좌상단 4x4 서브블록의 아핀 움직임벡터가 이용될 수도 있고 또는 상단 영역의 중심점에 해당하는 아핀 움직임벡터일 수 있다. 다른 예시로서, 각 영역 내 서브블록들의 아핀 움직임벡터들의 평균값이 해당 영역의 대표 움직임벡터로 사용될 수도 있다.
영상 부호화 장치는, 하단 영역의 보상 파라미터를 유도하기 위한 현재 픽처 내의 참조샘플들로서, 대상블록의 상측에 인접한 기복원된 샘플들(T0 ~ Tw-1) 및 하단 영역의 좌측에 인접한 기복원된 샘플들(LH/2 ~ LH-1)을 선택한다. 그리고, 하단 영역의 대표 움직임벡터를 이용하여 참조 픽처 내의 참조영역을 결정하고, 그 참조영역의 상측과 좌측에 인접한 기복원된 샘플들을 참조샘플들로서 선택한다.
하단 영역의 대표 움직임벡터는 대상블록의 좌하귀 제어점 움직임벡터일 수 있다. 대안적으로, 대상블록의 제어점 움직임벡터들로부터 유도된 움직임벡터일 수 있다. 예컨대, 하단 영역 내의 좌하단 4x4 서브블록의 아핀 움직임벡터가 이용될 수도 있고 또는 하단 영역의 중심점에 해당하는 아핀 움직임벡터일 수 있다. 다른 예시로서, 하단 영역 내 서브블록들의 아핀 움직임벡터들의 평균값이 하단 영역의 대표 움직임벡터로 사용될 수도 있다.
이상에서는, 보상 파라미터 유도를 위해 사용될 참조 픽처 내의 참조샘플들을 결정하기 위한 방법으로서, 각 영역의 대표 움직임벡터를 사용하였으나, 각 영역의 대표 움직임벡터 대신 각 영역 내 서브블록들의 아핀 움직임벡터들이 사용될 수도 있다. 즉, 각 영역에 대해, 4x4 서브블록들의 아핀 움직임벡터들이 지시하는 위치의 4x4 참조블록들을 참조 픽처 내에서 결정하고, 4x4 참조블록들의 상측과 좌측에 인접한 기복원 픽셀들을 참조픽셀들로서 선택할 수 있다.
영상 부호화 장치는, 각 영역에 대해, 참조 픽처 내에서 선택된 참조샘플들 및 현재 픽처 내에서 선택된 참조샘플들을 각각 수학식 15의 x와 y에 입력하여 각 영역의 보상 파라미터를 유도한다. 그리고, 영상 부호화 장치는 각 영역의 조명 보상 파라미터를 이용하여, 해당 영역 내의 예측샘플들(아핀 움직임 예측을 통해 생성된 예측샘플들)에 대한 조명 보상을 수행한다. 각 서브블록들은 자신이 속한 영역의 조명 보상 파라미터를 이용하여 보상될 수 있다.
대안적으로 영상 부호화 장치는, 대상블록의 네 개의 영역으로 분할된 경우와 마찬가지로, 각 영역의 조명 보상 파라미터를 이용하여 각 서브블록들의 조명 보상 파라미터들을 보간하고 보간된 파라미터들을 각 서브블록에 대한 조명 보상을 수행할 수도 있다.
보상 파라미터를 유도하기 위해 사용된 각 영역의 대표 움직임벡터가 각 영역의 특정 위치와 관련된 경우에 보간이 적용될 수 있다. 예컨대, 대상블록의 좌상귀 및 좌하귀의 제어점 움직임벡터들, 또는 대상블록의 좌상단 및 좌하단 4x4 서브블록의 아핀 움직임벡터들 등이 대표 움직임벡터로 사용된 경우이다. 이 경우, 두 영역의 보상 파라미터는, 도 17에서 보는 바와 같이, 대상블록 내의 좌상단 및 좌하단 코너 서브블록들(TL, BL)의 조명 보상 파라미터로 간주된다.
영상 부호화 장치는 상단 영역의 보상 파라미터(A0, b0)와 하단 영역의 보상 파라미터(A2, b2)에 가중치를 적용하여 대상 서브블록의 보상 파라미터를 보간할 수 있다. 이 때, 가중치는 대상블록 내의 좌상단 및 좌하단 코너 서브블록과 대상 서브블록 간의 거리에 따라 할당될 수 있다. 또는, 두 영역의 보상 파라미터를 유도하기 위해 사용된 움직임벡터들(대상블록의 좌상귀 및 좌하귀의 제어점 움직임벡터들, 또는 대상블록의 좌상단 및 좌하단 4x4 서브블록의 아핀 움직임벡터들)과 대상 서브블록의 아핀 움직임벡터 간의 차이에 따라 설정될 수도 있다. 움직임벡터 간의 차이가 작을수록 큰 가중치가 부여된다.
대상블록이 세로 방향으로 두 개의 영역으로 분할된 경우에도 가로 방향으로 두 개의 영역으로 분할된 경우와 동일한 방식이 적용될 수 있다. 이 경우, 두 영역(좌측 영역과 우측 영역)의 대표 움직임벡터는, 일례로서, 대상블록의 좌상귀 및 우상귀 제어점 움직임벡터들, 또는 대상블록의 좌상단 및 우상단 4x4 서브블록의 아핀 움직임벡터들일 수 있다. 대안적으로, 각 영역의 중심점의 아핀 움직임벡터들 또는 각 영역의 서브블록들의 아핀 움직임벡터들의 평균값 등이 각 영역의 대표 움직임벡터들로서 사용될 수도 있다. 이외의 동작은 전술한 가로 방향 분할의 경우와 동일하거나 그로부터 자명하게 도출이 가능하므로 더 이상의 상세한 설명은 생략한다.
2.3 대상블록이 4개보다 많은 서브블록들로 분할되는 경우
전술한 바와 같이, 대상블록은 가로 및 세로 방향으로 각각 2m 및 2n (m과 n은 2이상의 정수)로 분할될 수도 있다. 또는, 대상블록의 아핀 움직임 예측이 수행되는 단위들인 서브블록들로 분할될 수도 있다. 이러한 예시가 도 18에 도시된다.
도 18을 참조하면, 영상 부호화 장치는, 대상블록이 좌상단 영역(TL), 우상단 영역(TR), 좌하단 영역(BL) 및 우하단 영역(BR)에 대해, 2.1에서 설명한 바와 같은 방식으로, 조명 보상 파라미터들을 유도한다.
이 네 개의 영역을 제외한 나머지 영역들에 대해서는, 2.1에서 설명한 보간을 적용하여 그 나머지 영역들의 조명 보상 파라미터를 유도할 수 있다.
대안적으로, 나머지 영역들에 대해서도, 좌상단 영역(TL), 우상단 영역(TR), 좌하단 영역(BL) 및 우하단 영역(BR)의 경우와 동일한 방식으로, 조명 보상 파라미터를 유도할 수 있을 것이다. 예컨대, A 영역의 경우, 영상 부호화 장치는, A 영역의 상측에 위치하고 대상블록에 인접한 기복원된 샘플들과 A영역의 좌측에 위치하고 대상블록에 인접한 기복원된 샘플들을 현재 픽처 내의 참조픽셀들로 선택한다. 그리고, A 영역의 좌상귀 제어점 움직임벡터, A 영역의 좌상단에 위치한 4x4 서브블록의 아핀 움직임벡터, 또는 A 영역의 중심점의 아핀 움직임벡터 등을 이용하여 참조 픽처 내의 참조샘플들을 선택한다. 선택된 참조샘플들을 이용하여 A 영역의 조명 보상 파라미터가 유도된다.
이상에서 설명한 조명 보상 기법은 기복원된 샘플들과 아핀 움직임 예측을 통해 획득 가능한 움직임벡터를 이용하는 기법이다. 따라서, 영상 복호화 장치도 영상 부호화 장치와 동일한 방식으로 조명 보상을 수행할 수 있다. 영상 부호화 장치로부터 영상 복호화 장치로 조명 보상 프로세스를 위한 추가적인 정보의 시그널링은 요구되지 않는다.
한편, 전술한 조명 보상 기법은, 아핀 움직임 예측 이외에, 대상블록에 대해 서브블록 단위로 움직임을 보상하는 다른 코딩 툴과 함께 사용될 수도 있다. 예컨대, 양방향 옵티컬 플로우에 적용이 가능하다. 영상 부호화 장치와 영상 복호화 장치는 대상블록에 대해 서브블록 단위 양방향 옵티컬 플로우를 수행하여 각 서브블록에 대한 예측샘플들을 생성하고, 대상블록 내의 예측샘플들에 전술한 바와 같은 조명 보상 기법을 추가로 수행할 수 있다. 양방향 옵티컬 플로우에 적용되는 조명 보상 기법은 다음을 제외하고는 전술한 조명 보상 기법과 동일하다.
전술한 조명 보상 기법에서는, 대상블록의 분할 및 대상블록으로부터 분할된 각 영역의 대표 움직임벡터 연산을 위해, 대상블록의 제어점 움직임벡터들 또는 서브블록의 아핀 움직임벡터가 사용되었다. 그러나, 양방향 옵티컬 플로우의 경우에는 제어점 움직임 벡터나 아핀 움직임벡터가 존재하지 않는다. 따라서, 양방향 옵티컬 플로우에 적용되는 조명 보상 기법에서는, 제어점 움직임벡터들 또는 서브블록의 아핀 움직임벡터 대신에 서브블록들의 옵티컬 플로우 (vx, vy)가 사용된다.
V. 신택스 시그널링
본 개시의 또 다른 측면은, 전술한 다양한 툴들의 온/오프를 제어하기 위한 하이레벨(high-level) 신택스들의 시그널링 기법과 관련된다.
전술한 아핀 움직임 예측, 아핀 움직임 예측샘플들에 대해 샘플 단위 조정, 적응적 움직임벡터 해상도, 및 조명 보상은 영상 부호화의 효율을 향상시키기 위한 코딩 툴들이다. 그러나, 예컨대 스크린 콘텐츠의 경우와 같은 특정 콘텐츠의 경우에는 전술한 다양한 코딩 툴들이 압축 성능 향상에 기여하지 않을 수 있다. 따라서, 부호화하고자 하는 각 코딩유닛들마다 각 코딩 툴이 적용되는지 여부를 시그널링하거나 또는 적용 여부를 결정하는 것은 오히려 부호화 효율을 저하시키거나 연산 복잡도를 증가시킬 수 있다. 본 개시는 위의 코딩 툴들을 효율적으로 제어하기 위한 시그널링 기법을 제공한다.
영상 부호화 장치는, 픽처들의 시퀀스를 부호화하기 위해, 전술한 복수의 코딩 툴 모두가 디스에이블(disable)되는지 여부를 나타내기 위한 시퀀스 레벨의 제1 하이레벨 신택스 요소(syntax element)를 부호화한다. 제1 하이레벨 신택스 요소는 시퀀스의 헤더, 즉, SPS 내에 부호화될 수 있다. 여기서, 복수의 코딩 툴은 아핀 움직임 예측을 포함하며, 또한 아핀 움직임 예측샘플들에 대해 샘플 단위 조정, 적응적 움직임벡터 해상도, 및 조명 보상 중 적어도 하나를 포함한다.
제1 하이레벨 신택스 요소(syntax element)가 복수의 코딩 툴 모두가 디스에이블됨을 나타내는 경우, 어떠한 코딩 툴들도 해당 시퀀스의 부호화에 적용되지 않는다. 즉, 시퀀스 내의 모든 픽처들에 전술한 코딩 툴들이 적용되지 않는다.
제1 하이레벨 신택스 요소(syntax element)가 복수의 코딩 툴들이 디스에이블되지 않음을 나타낼 때, 해당 시퀀스의 부호화를 위해 복수의 코딩 툴들이 사용될 수 있다. 예컨대, 아핀 움직임 예측이 시퀀스 내의 모든 픽처들에 적용 가능하다. 따라서, 영상 부호화 장치는 코딩 유닛들 각각에 대해 아핀 움직임 예측을 이용한 부호화가 적용되었는지 여부를 나타내는 코딩 유닛 플래그를 부호화하여 영상 복호화 장치로 전달할 수 있다. 영상 복호화 장치는 코딩 유닛 플래그에 의해 해당 코딩 유닛에 아핀 움직임 예측이 적용되었음이 지시되는 경우, 그 코딩 유닛에 대해 전술한 아핀 움직임 예측을 수행할 수 있다.
한편, 영상 부호화 장치는, 제1 하이레벨 신택스 요소(syntax element)가 복수의 코딩 툴들이 디스에이블되지 않음을 나타낼 때, 복수의 코딩 툴 중 적어도 일부에 대해 각 코딩 툴이 시퀀스 레벨 또는 픽처 레벨에서 허용되는지 여부를 나타내는 하나 이상의 제2 하이레벨 신택스 요소를 부호화할 수 있다.
하나 이상의 제2 하이레벨 신택스 요소를 부호화하기 위한 일부 실시예에서, 영상 부호화 장치는, 각 코딩 툴에 대해, 해당 코딩 툴이 허용되는지 여부를 나타내는 시퀀스 레벨 플래그를 SPS 내에 부호화한다. 그 시퀀스 레벨 플래그가 해당 코딩 툴이 허용되지 않음을 나타낼 때 해당 코딩 툴은 시퀀스에 속하는 픽처들의 부호화에 사용되지 않는다. 그리고, 영상 부호화 장치는 시퀀스 레벨 플래그의 값에 의존하여 상기 시퀀스에 속하는 픽처들 각각의 픽처 헤더(즉, PPS) 내에 해당 코딩 툴이 허용되는지 여부를 나타내는 픽처 레벨 플래그를 부호화한다. 예컨대, 시퀀스 레벨 플래그가 시퀀스 레벨에서 해당 코딩 툴이 허용됨을 나타낼 때, 해당 코딩 툴의 픽처 레벨에서의 허용 여부를 나타내기 위한 픽처 레벨 플래그를 부호화한다. 만약, 제1 하이레벨 신택스 요소(syntax element)가 복수의 코딩 툴 모두가 디스에이블됨을 나타내거나 또는 시퀀스 레벨 플래그가 해당 코딩 툴이 시퀀스 레벨에서 허용되지 않음을 나타낼 때, 픽처 레벨 플래그는 별도로 부호화되지 않는다. 이 경우, 영상 복호화 장치는 픽처 레벨 플래그를 해당 코딩 툴이 허용되지 않음을 나타내는 값으로 자동 설정한다.
한편, 아핀 움직임 예측 이외의 다른 코딩 툴들에 대한 픽처 레벨 플래그들은 아핀 움직임 예측에 대한 픽처 레벨 플래그에 의존하여 시그널링될 수도 있다. 아핀 움직임 예측에 대한 픽처 레벨 플래그가 아핀 움직임 예측이 픽처 레벨에서 허용되지 않음을 나타낼 때, 다른 코딩 툴들에 대한 픽처 레벨 플래그들은 부호화되지 않으며, 다른 코딩 툴들은 픽처 레벨에서 허용되지 않는다. 영상 복호화 장치는, 다른 코딩 툴들에 대한 픽처 레벨 플래그들이 비트스트림에 포함되어 있지 않으면, 각각의 픽처 레벨 플래그들을 해당 코딩 툴들이 픽처 레벨에서 허용되지 않음을 나타내는 값으로 설정한다.
영상 복호화 장치는 영상 부호화 장치로부터 시그널링된 픽처 레벨 플래그 또는 그 값이 자동 설정된 픽처 레벨 플래그로부터 해당 코딩 툴의 허용 여부를 픽처 레벨에서 설정할 수 있다.
한편, 아핀 움직임 예측에 대한 제2 하이레벨 신택스 요소는 생략될 수도 있다. 이 경우, 아핀 움직임 예측은 제1 하이레벨 신택스에 의해 시퀀스 레벨에서 허용 여부가 제어된다. 영상 복호화 장치는 영상 부호화 장치로부터 제1 하이레벨 신택스를 복호화한 후 시퀀스 레벨에서 아핀 움직임 예측의 허용 여부를 결정한다.
전술한 신택스 구조에 따르면, 영상 부호화 장치는 시퀀스 레벨과 픽처 레벨 중에서 적응적으로 코딩 툴들의 허용 여부를 결정할 수 있다. 또한, 영상 복호화 장치는 영상 부호화 장치로부터 시그널링한 신택스들을 복호화함으로써, 시퀀스 레벨과 픽처 레벨 중에서 적응적으로 코딩 툴들의 허용 여부를 결정할 수 있다.
하나 이상의 제2 하이레벨 신택스 요소를 부호화하기 위한 일부 다른 실시예에서, 전술한 실시예의 픽처 레벨 플래그는 슬라이스 레벨 플래그로 대체될 수도 있다. 즉, 영상 부호화 장치는, 시퀀스 레벨 플래그가 시퀀스 레벨에서 해당 코딩 툴이 허용됨을 나타낼 때, 해당 코딩 툴의 슬라이스 레벨에서의 허용 여부를 나타내기 위한 슬라이스 레벨 플래그를 슬라이스 헤더 내에 부호화한다. 시퀀스 레벨 플래그가 해당 코딩 툴이 허용되지 않음을 나타낼 때, 슬라이스 레벨 플래그는 부호화되지 않는다. 영상 부호화 장치는 코딩 툴들의 허용 여부를 시퀀스 레벨과 슬라이스 레벨 중에서 적응적으로 결정할 수 있다. 영상 복호화 장치는, 슬라이스 레벨 플래그를 통해 각 툴들의 허용 여부를 슬라이스 레벨에서 결정할 수 있다.
하나 이상의 제2 하이레벨 신택스 요소를 부호화하기 위한 일부 또 다른 실시예에서, 시퀀스 레벨 플래그는 생략될 수도 있다. 픽처 레벨 플래그 또는 슬라이스 레벨 플래그는 제1 하이레벨 신택스 요소에 의존하여 시그널링된다. 제1 하이레벨 신택스 요소가 복수의 코딩 툴들이 허용됨을 나타낼 때, 픽처 레벨 플래그 또는 슬라이스 레벨 플래그가 픽처 헤더 또는 슬라이스 헤더 내에 부호화된다.
이상의 설명에서 예시적인 실시예들은 많은 다른 방식으로 구현될 수 있다는 것을 이해해야 한다. 하나 이상의 예시들에서 설명된 기능들은 하드웨어, 소프트웨어, 펌웨어 또는 이들의 임의의 조합으로 구현될 수 있다. 본 명세서에서 설명된 기능적 컴포넌트들은 그들의 구현 독립성을 특히 더 강조하기 위해 "...부(unit)" 로 라벨링되었음을 이해해야 한다.
한편, 본 개시에서 설명된 다양한 기능들 혹은 방법들은 하나 이상의 프로세서에 의해 판독되고 실행될 수 있는 비일시적 기록매체에 저장된 명령어들로 구현될 수도 있다. 비일시적 기록매체는, 예를 들어, 컴퓨터 시스템에 의하여 판독가능한 형태로 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 예를 들어, 비일시적 기록매체는 EPROM(erasable programmable read only memory), 플래시 드라이브, 광학 드라이브, 자기 하드 드라이브, 솔리드 스테이트 드라이브(SSD)와 같은 저장매체를 포함한다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (16)

  1. 코딩된 픽처들(coded pictures)의 시퀀스(sequence)를 블록 단위로 복호화하는 영상 복호화 방법에 있어서,
    비트스트림으로부터 제1 하이레벨 신택스 요소를 복호화함으로써 아핀 움직임 예측(affine motion prediction)이 허용되는지 여부를 시퀀스 레벨에서 설정하는 단계; 및
    상기 제1 하이레벨 신택스 요소에 의존하여 상기 비트스트림으로부터 적어도 하나의 코딩 툴 각각에 대한 하나 이상의 제2 하이레벨 신택스 요소를 복호화함으로써, 상기 적어도 하나의 코딩 툴 각각이 허용되는지 여부를 픽처 레벨에서 설정하는 단계, 상기 적어도 하나의 코딩 툴은 아핀 움직임 예측샘플들의 샘플 단위 조정(sample-by-sample adjustment)을 포함함;
    상기 시퀀스 레벨의 설정이 상기 아핀 움직임 예측이 허용됨을 나타낼 때, 상기 아핀 움직임 예측을 이용하여 부호화된 대상블록의 복수의 제어점 움직임벡터(control point motion vector)들을 결정하고 상기 제어점 움직임벡터들을 이용하여 서브블록 단위의 아핀 움직임 예측을 수행함으로써 상기 대상블록 내의 각 서브블록들에 대한 아핀 예측샘플들을 생성하는 단계; 및
    상기 픽처 레벨이 설정에 근거하여 상기 대상블록이 포함된 현재 픽처에 대해 상기 아핀 움직임 예측샘플들의 샘플 단위 조정이 허용됨이 식별될 때, 상기 대상블록의 제어점 움직임벡터들에 근거하여 상기 각 서브블록들 내의 샘플 위치에 따른 움직임을 보상함으로써 상기 아핀 예측샘플의 샘플값을 수정하는 단계
    를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  2. 제1항에 있어서,
    상기 제1 하이레벨 신택스 요소는 상기 시퀀스의 헤더로부터 복호화되는 것을 특징으로 하는 영상 복호화 방법.
  3. 제2항에 있어서,
    상기 아핀 움직임 예측샘플들의 샘플 단위 조정에 대한 상기 하나 이상의 제2 하이레벨 신택스 요소를 복호화하는 것은,
    상기 제1 하이레벨 신택스 요소가 상기 아핀 움직임 예측이 허용됨을 나타낼 때, 상기 시퀀스의 헤더로부터 상기 아핀 움직임 예측샘플들에 대한 샘플 단위 조정이 허용되는지 여부를 나타내는 시퀀스 레벨 플래그를 복호화하는 단계; 및
    상기 시퀀스 레벨 플래그에 의존하여, 상기 시퀀스에 속하는 픽처들 각각의 픽처 헤더로부터 상기 아핀 움직임 예측샘플들에 대한 샘플 단위 조정이 허용되는지 여부를 나타내는 픽처 레벨 플래그를 복호화하는 단계
    를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  4. 제3항에 있어서,
    상기 제1 하이레벨 신택스 요소가 상기 아핀 움직임 예측이 허용되지 않음을 나타내거나 또는 상기 시퀀스 레벨 플래그가 상기 샘플 단위 조정이 허용되지 않음을 나타낼 때, 상기 픽처 레벨 플래그는 상기 픽처 헤더로부터 복호화됨 없이 상기 샘플 단위 조정이 허용되지 않음을 나타내는 값으로 설정되는 것을 특징으로 하는 영상 복호화 방법.
  5. 제1항에 있어서,
    상기 제1 하이레벨 신택스 요소가 상기 아핀 움직임 예측이 허용되지 않음을 나타낼 때, 상기 아핀 움직임 예측 및 상기 적어도 하나의 코딩 툴 모두는 상기 시퀀스 내의 모든 픽처들에 대해 허용되지 않는 것을 특징으로 하는 영상 복호화 방법.
  6. 제1항에 있어서,
    상기 아핀 예측샘플들의 샘플값들을 수정하는 단계는,
    상기 대상블록의 제어점 움직임벡터들을 이용하여, 수정하고자 하는 대상 서브블록 내의 샘플 위치 및 상기 대상 서브블록의 중심 간의 차이에 기인하는 움직임 오프셋을 생성하는 단계;
    상기 대상 서브블록 내의 샘플 위치에 대한 수평 및 수직 방향의 그래디언트(gradient)들을 생성하는 단계;
    상기 수평 및 수직 방향 그래디언트들 및 상기 움직임 오프셋을 이용하여 상기 대상 서브블록 내의 샘플 위치에 대응하는 아핀 예측샘플에 대한 샘플 오프셋을 생성하는 단계; 및
    상기 샘플 위치에 대응하는 아핀 예측샘플의 샘플값에 상기 샘플 오프셋을 가산하는 단계
    를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  7. 제6항에 있어서,
    상기 대상 서브블록 내의 샘플 위치에 대해 생성된 상기 움직임 오프셋은, 상기 대상블록의 다른 서브블록 내의 동일 샘플 위치에 대한 움직임 오프셋으로 재사용되는 것을 특징으로 하는 영상 복호화 방법.
  8. 코딩된 픽처들(coded pictures)의 시퀀스(sequence)를 블록 단위로 복호화하는 영상 복호화 장치에 있어서,
    비트스트림으로부터 제1 하이레벨 신택스 요소를 복호화함으로써 아핀 움직임 예측(affine motion prediction)이 허용되는지 여부를 시퀀스 레벨에서 설정하고, 상기 제1 하이레벨 신택스 요소에 의존하여 상기 비트스트림으로부터 적어도 하나의 코딩 툴 각각에 대한 하나 이상의 제2 하이레벨 신택스 요소를 복호화함으로써, 상기 적어도 하나의 코딩 툴 각각이 허용되는지 여부를 픽처 레벨에서 설정하는 복호화부, 상기 적어도 하나의 코딩 툴은 아핀 움직임 예측샘플들의 샘플 단위 조정(sample-by-sample adjustment)을 포함함; 및
    상기 시퀀스 레벨의 결정이 상기 아핀 움직임 예측이 허용됨을 나타낼 때, 상기 아핀 움직임 예측을 이용하여 부호화된 대상블록의 복수의 제어점 움직임벡터(control point motion vector)들을 결정하고 상기 제어점 움직임벡터들을 이용하여 서브블록 단위의 아핀 움직임 예측을 수행함으로써 상기 대상블록 내의 각 서브블록들에 대한 아핀 예측샘플들을 생성하는 예측부를 포함하고,
    상기 예측부는,
    상기 픽처 레벨의 설정에 근거하여 상기 대상블록이 포함된 현재 픽처에 상기 아핀 움직임 예측샘플들의 샘플 단위 조정이 허용됨이 식별될 때, 상기 대상블록의 제어점 움직임벡터들에 근거하여 상기 각 서브블록들 내의 샘플 위치에 따른 움직임을 보상함으로써 상기 아핀 예측샘플의 샘플값을 수정하는 것을 특징으로 하는 영상 복호화 장치.
  9. 제8항에 있어서,
    상기 제1 하이레벨 신택스 요소는 상기 시퀀스의 헤더로부터 복호화되는 것을 특징으로 하는 영상 복호화 장치.
  10. 제9항에 있어서,
    상기 복호부는,
    상기 제1 하이레벨 신택스 요소가 상기 아핀 움직임 예측이 허용됨을 나타낼 때, 상기 시퀀스의 헤더로부터 상기 아핀 움직임 예측샘플들의 샘플 단위 조정이 허용되는지 여부를 나타내는 시퀀스 레벨 플래그를 복호화하고,
    상기 시퀀스 레벨 플래그에 의존하여, 상기 시퀀스에 속하는 픽처들 각각의 픽처 헤더로부터 상기 아핀 움직임 예측샘플들의 샘플 단위 조정이 허용되는지 여부를 나타내는 픽처 레벨 플래그를 복호화함으로써,
    상기 아핀 움직임 예측샘플들의 샘플 단위 조정에 대한 상기 상기 하나 이상의 제2 하이레벨 신택스 요소를 복호화하는 것을 특징으로 하는 영상 복호화 장치.
  11. 제10항에 있어서,
    상기 복호화부는,
    상기 제1 하이레벨 신택스 요소가 상기 아핀 움직임 예측이 허용되지 않음을 나타내거나 또는 상기 시퀀스 레벨 플래그가 상기 샘플 단위 조정이 허용되지 않음을 나타낼 때, 상기 픽처 레벨 플래그는 상기 픽처 헤더로부터 복호화됨 없이 상기 샘플 단위 조정이 허용되지 않음을 나타내는 값으로 설정하는 것을 특징으로 하는 영상 복호화 장치.
  12. 제8항에 있어서,
    상기 예측부는,
    상기 대상블록의 제어점 움직임벡터들을 이용하여, 수정하고자 하는 대상 서브블록 내의 샘플 위치 및 상기 대상 서브블록의 중심 간의 차이에 기인하는 움직임 오프셋을 생성하고,
    상기 대상 서브블록 내의 샘플 위치에 대한 수평 및 수직 방향의 그래디언트(gradient)들을 생성하며,
    상기 수평 및 수직 방향 그래디언트들 및 상기 움직임 오프셋을 이용하여 상기 대상 서브블록 내의 샘플 위치에 대응하는 아핀 예측샘플에 대한 샘플 오프셋을 생성하고,
    상기 샘플 위치에 대응하는 아핀 예측샘플의 샘플값에 상기 샘플 오프셋을 가산함으로써,
    상기 아핀 예측샘플들의 샘플값들을 수정하는 것을 특징으로 영상 복호화 장치.
  13. 제12항에 있어서,
    상기 대상 서브블록 내의 샘플 위치에 대해 생성된 상기 움직임 오프셋을 상기 대상블록의 다른 서브블록 내의 동일 샘플 위치에 대한 움직임 오프셋으로 재사용되는 것을 특징으로 하는 영상 복호화 장치.
  14. 픽처들(coded pictures)의 시퀀스(sequence)를 블록 단위로 부호화하는 방법에 있어서,
    아핀 움직임 예측(affine motion prediction) 및 적어도 하나의 코딩 툴 모두가 디스에이블(disable)되는지 여부를 나타내기 위한 시퀀스 레벨의 제1 하이레벨 신택스 요소를 상기 시퀀스의 헤더에 부호화하는 단계, 상기 적어도 하나의 코딩 툴은 아핀 움직임 예측샘플들의 샘플 단위 조정(sample-by-sample adjustment)을 포함함;
    상기 제1 하이레벨 신택스 요소에 의존하여, 상기 적어도 하나의 코딩 툴 각각에 대해, 상기 코딩 툴이 허용 여부에 대한 시퀀스 레벨 또는 픽처 레벨의 설정을 나타내기 위한 나타내는 하나 이상의 제2 하이레벨 신택스 요소를 부호화하는 단계;
    제1 하이레벨 신택스 요소가 상기 복수의 코딩 툴 모두가 디스에이블(disable)되는지 않음을 나타낼 때, 부호화하고자 하는 대상블록에 대한 제어점 움직임벡터(control point motion vector)들을 결정하고 상기 제어점 움직임벡터들을 이용하여 서브블록 단위의 아핀 움직임 예측을 수행함으로써 각 서브블록들에 대한 아핀 예측샘플들을 생성하는 단계; 및
    상기 대상블록이 포함된 현재 픽처에 대해 상기 아핀 움직임 예측샘플들의 샘플 단위 조정이 허용될 때, 상기 대상블록의 제어점 움직임벡터들에 근거하여 상기 각 서브블록들 내의 샘플 위치에 따른 움직임을 보상함으로써 상기 아핀 예측샘플의 샘플값을 수정하는 단계
    를 포함하는 것을 특징으로 영상 부호화 방법.
  15. 제14항에 있어서,
    상기 아핀 움직임 예측샘플들의 샘플 단위 조정에 대한 상기 하나 이상의 제2 하이레벨 신택스 요소를 부호화하는 것은,
    상기 제1 하이레벨 신택스 요소가 상기 아핀 움직임 예측이 허용됨을 나타낼 때, 상기 아핀 움직임 예측샘플들에 대한 샘플 단위 조정이 허용되는지 여부를 나타내는 시퀀스 레벨 플래그를 상기 시퀀스의 헤더에 부호화하는 단계; 및
    상기 시퀀스 레벨 플래그에 의존하여, 상기 시퀀스에 속하는 픽처들 각각의 픽처 헤더에 상기 샘플 단위 조정이 허용되는지 여부를 나타내는 픽처 레벨 플래그를 부호화하는 단계
    를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  16. 제14항에 있어서,
    상기 아핀 예측샘플들의 샘플값들을 수정하는 단계는,
    상기 대상블록의 제어점 움직임벡터들을 이용하여, 수정하고자 하는 대상 서브블록 내의 샘플 위치 및 상기 대상 서브블록의 중심 간의 차이에 기인하는 움직임 오프셋을 생성하는 단계;
    상기 대상 서브블록 내의 샘플 위치에 대한 수평 및 수직 방향의 그래디언트(gradient)들을 생성하는 단계;
    상기 수평 및 수직 방향 그래디언트들 및 상기 움직임 오프셋을 이용하여 상기 대상 서브블록 내의 샘플 위치에 대응하는 아핀 예측샘플에 대한 샘플 오프셋을 생성하는 단계; 및
    상기 샘플 위치에 대응하는 아핀 예측샘플의 샘플값에 상기 샘플 오프셋을 가산하는 단계
    를 포함하는 것을 특징으로 하는 영상 부호화 방법.
KR1020200072332A 2019-06-14 2020-06-15 인터 예측을 이용하여 비디오를 부호화 및 복호화하는 방법 및 장치 KR20200143296A (ko)

Priority Applications (11)

Application Number Priority Date Filing Date Title
JP2021574744A JP7275326B2 (ja) 2019-06-14 2020-06-15 インター予測を利用した映像符号化方法、映像復号化方法、及び映像復号化装置
PCT/KR2020/007721 WO2020251325A1 (ko) 2019-06-14 2020-06-15 인터 예측을 이용하여 비디오를 부호화 및 복호화하는 방법 및 장치
US17/267,182 US11190761B2 (en) 2019-06-14 2020-06-15 Method and apparatus for encoding and decoding video using inter-prediction
US17/473,365 US11683483B2 (en) 2019-06-14 2021-09-13 Method and apparatus for encoding and decoding video using inter-prediction
US17/473,296 US11683482B2 (en) 2019-06-14 2021-09-13 Method and apparatus for encoding and decoding video using inter-prediction
US17/473,195 US11677937B2 (en) 2019-06-14 2021-09-13 Method and apparatus for encoding and decoding video using inter-prediction
US17/473,247 US11683481B2 (en) 2019-06-14 2021-09-13 Method and apparatus for encoding and decoding video using inter-prediction
JP2023076011A JP7541690B2 (ja) 2019-06-14 2023-05-02 インター予測を利用した映像符号化方法、映像復号化方法、及びビデオデータを提供する方法
JP2023076009A JP7541688B2 (ja) 2019-06-14 2023-05-02 インター予測を利用した映像符号化装置、映像復号化装置及びビデオデータを提供する方法
JP2023076010A JP7541689B2 (ja) 2019-06-14 2023-05-02 インター予測を利用した映像符号化方法、映像復号化方法、及びビデオデータを提供する方法
JP2023076008A JP7541687B2 (ja) 2019-06-14 2023-05-02 インター予測を利用した映像符号化方法、映像復号化方法、及びビデオデータを提供する方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20190070633 2019-06-14
KR1020190070633 2019-06-14
KR20190082010 2019-07-08
KR1020190082010 2019-07-08

Publications (1)

Publication Number Publication Date
KR20200143296A true KR20200143296A (ko) 2020-12-23

Family

ID=74089084

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200072332A KR20200143296A (ko) 2019-06-14 2020-06-15 인터 예측을 이용하여 비디오를 부호화 및 복호화하는 방법 및 장치

Country Status (5)

Country Link
US (5) US11190761B2 (ko)
EP (1) EP3979649A4 (ko)
JP (5) JP7275326B2 (ko)
KR (1) KR20200143296A (ko)
CN (6) CN114128285B (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220002989A (ko) * 2019-04-25 2022-01-07 오피 솔루션즈, 엘엘씨 픽처 헤더 내의 글로벌 모션 벡터의 시그널링
EP4300964A3 (en) * 2019-06-21 2024-03-13 VID SCALE, Inc. Precision refinement for motion compensation with optical flow
WO2020262902A1 (ko) * 2019-06-24 2020-12-30 엘지전자 주식회사 쌍 예측을 적용하는 영상 디코딩 방법 및 그 장치
US20230101542A1 (en) * 2021-09-29 2023-03-30 Tencent America LLC Techniques for constraint flag signaling for range extension with coding for last significant coefficient
WO2023193804A1 (en) * 2022-04-08 2023-10-12 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing
WO2024016844A1 (en) * 2022-07-19 2024-01-25 Mediatek Inc. Method and apparatus using affine motion estimation with control-point motion vector refinement

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240027889A (ko) * 2011-11-11 2024-03-04 지이 비디오 컴프레션, 엘엘씨 깊이-맵 추정 및 업데이트를 사용한 효율적인 멀티-뷰 코딩
KR101662139B1 (ko) * 2011-11-18 2016-10-10 구글 테크놀로지 홀딩스 엘엘씨 고효율 비디오 코딩을 위한 움직임 정보의 효율적인 저장
JP6614472B2 (ja) * 2013-09-30 2019-12-04 サン パテント トラスト 画像符号化方法、画像復号方法、画像符号化装置及び画像復号装置
WO2016008157A1 (en) 2014-07-18 2016-01-21 Mediatek Singapore Pte. Ltd. Methods for motion compensation using high order motion model
SG11201706531UA (en) * 2015-02-16 2017-09-28 Hfi Innovation Inc Method and apparatus for palette predictor initialization for palette coding in video and image compression
CN110557631B (zh) 2015-03-10 2023-10-20 华为技术有限公司 图像预测方法和相关设备
WO2017022973A1 (ko) * 2015-08-04 2017-02-09 엘지전자 주식회사 비디오 코딩 시스템에서 인터 예측 방법 및 장치
WO2017065525A2 (ko) 2015-10-13 2017-04-20 삼성전자 주식회사 영상을 부호화 또는 복호화하는 방법 및 장치
WO2017147765A1 (en) * 2016-03-01 2017-09-08 Mediatek Inc. Methods for affine motion compensation
CN108781284B (zh) * 2016-03-15 2021-09-07 联发科技股份有限公司 具有仿射运动补偿的视频编解码的方法及装置
US10560712B2 (en) * 2016-05-16 2020-02-11 Qualcomm Incorporated Affine motion prediction for video coding
US10701390B2 (en) 2017-03-14 2020-06-30 Qualcomm Incorporated Affine motion information derivation
US10645417B2 (en) 2017-10-09 2020-05-05 Google Llc Video coding using parameterized motion model
US11877001B2 (en) * 2017-10-10 2024-01-16 Qualcomm Incorporated Affine prediction in video coding
US11889100B2 (en) * 2017-11-14 2024-01-30 Qualcomm Incorporated Affine motion vector prediction in video coding
SG11202109031TA (en) * 2019-03-18 2021-09-29 Tencent America LLC Method and apparatus for video coding
JP7377894B2 (ja) * 2019-05-21 2023-11-10 北京字節跳動網絡技術有限公司 サブブロックマージモードでのシンタックスシグナリング

Also Published As

Publication number Publication date
JP2023087040A (ja) 2023-06-22
EP3979649A4 (en) 2023-06-07
US20210266531A1 (en) 2021-08-26
JP7541688B2 (ja) 2024-08-29
JP7541689B2 (ja) 2024-08-29
US20210409694A1 (en) 2021-12-30
CN114128285A (zh) 2022-03-01
JP2022536400A (ja) 2022-08-15
US11683482B2 (en) 2023-06-20
CN114128285B (zh) 2024-07-19
CN118612457A (zh) 2024-09-06
CN118678097A (zh) 2024-09-20
US20210409692A1 (en) 2021-12-30
US20210409695A1 (en) 2021-12-30
US11683481B2 (en) 2023-06-20
US11190761B2 (en) 2021-11-30
CN118678098A (zh) 2024-09-20
JP2023087039A (ja) 2023-06-22
US20210409693A1 (en) 2021-12-30
JP2023093748A (ja) 2023-07-04
JP7541687B2 (ja) 2024-08-29
CN118612458A (zh) 2024-09-06
CN118612459A (zh) 2024-09-06
JP7541690B2 (ja) 2024-08-29
US11677937B2 (en) 2023-06-13
JP7275326B2 (ja) 2023-05-17
JP2023087041A (ja) 2023-06-22
US11683483B2 (en) 2023-06-20
EP3979649A1 (en) 2022-04-06

Similar Documents

Publication Publication Date Title
JP7541688B2 (ja) インター予測を利用した映像符号化装置、映像復号化装置及びビデオデータを提供する方法
KR20210006306A (ko) 인터 예측을 이용하여 비디오를 부호화 및 복호화하는 방법 및 장치
KR20210040787A (ko) 인터 예측을 이용하여 비디오를 부호화 및 복호화하는 방법 및 장치
KR20210006304A (ko) 인터 예측을 이용하여 비디오를 부호화 및 복호화하는 방법 및 장치
KR20230105646A (ko) 크로마 성분을 위한 템플릿 기반 인트라 모드 유도 방법
US11785247B2 (en) Method and apparatus for encoding and decoding video using inter-prediction
RU2801342C2 (ru) Способ и устройство для кодирования и декодирования видео с использованием интер-предсказания
RU2806280C2 (ru) Способ и устройство для кодирования и декодирования видео с использованием интер-предсказания
RU2802844C2 (ru) Способ и устройство для кодирования и декодирования видео с использованием интер-предсказания
RU2778099C9 (ru) Способ и устройство для кодирования и декодирования видео с использованием интер-предсказания
RU2806279C2 (ru) Способ и устройство для кодирования и декодирования видео с использованием интер-предсказания
RU2778099C1 (ru) Способ и устройство для кодирования и декодирования видео с использованием интерпредсказания
KR20230105648A (ko) 공간적 상관성을 이용하는 디코더측 움직임벡터 유도 방법
KR20240082214A (ko) 템플릿 매칭 기반 인터 예측을 이용하는 비디오 코딩방법 및 장치
KR20220118349A (ko) 인터 예측 기반의 비디오 부호화 및 복호화
KR20240080128A (ko) 아핀 모델 기반의 예측에서 움직임 보상 필터를 적응적으로 이용하는 비디오 코딩방법 및 장치
KR20230090996A (ko) 잔차신호들의 매핑을 이용하는 비디오 코딩방법 및 장치
KR20220017372A (ko) 영상 부/복호화 장치에서 이용하는 양자화 파라미터 예측 방법
KR20230026944A (ko) 개선된 인루프 필터를 이용하는 비디오 코딩방법 및 장치
KR20210088448A (ko) 이종 해상도를 갖는 참조 픽처 기반의 영상 부호화 및 복호화