KR20220063312A

KR20220063312A - 광학 흐름에 의한 예측 미세화 방법 및 장치

Info

Publication number: KR20220063312A
Application number: KR1020227015571A
Authority: KR
Inventors: 샤오위 슈; 이-원 천; 샹린 왕; 수이밍 예; 중-촨 마; 홍-정 주
Original assignee: 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드
Priority date: 2019-04-25
Filing date: 2020-04-27
Publication date: 2022-05-17
Also published as: EP3942824A1; MX2021013034A; US20240348794A1; CN115499669B; JP2023089255A; JP7559132B2; KR20210131456A; US20240348791A1; CN117014627A; JP2024166356A; CN117014627B; US12052426B2; CN116684637B; CN114885177A; US20240348793A1; CN114125441B; CN115996290B; US20240348792A1; EP3942824A4; CN116389765B

Abstract

광학 흐름(PROF)을 이용한 예측 미세화의 비트 심도 표현 방법, 장치, 및 비 일시적 컴퓨터 판독 가능 저장 매체가 제공된다. 본 방법은 비디오 신호 내의 비디오 블록과 연관된 제1 참조 픽처 및 현재 픽처의 비디오 블록으로부터 제1 참조 픽처의 참조 블록까지의 제1 움직임 벡터(MV)를 획득하는 단계, 비디오 블록의 제1 예측 샘플 I(i,j)를 획득하는 단계, 내부 PROF 파라미터의 내부 비트 심도를 제어하는 단계, 수평 및 수직 그라디언트 값 및 수평 및 수직 움직임 차이에 기초하여 제1 예측 샘플 I(i,j)에 대한 예측 미세화 값을 획득하는 단계, 제2 MV와 연관된 제2 예측 샘플 I'(i,j) 및 제2 예측 샘플 I'(i,j)에 대한 대응하는 예측 미세화 값을 획득하는 단계, 및 제1 예측 샘플 I(i,j), 제2 예측 샘플 I'(i,j) 및 예측 미세화 값의 조합에 기초하여 최종 예측 샘플을 획득하는 단계를 포함한다.

Description

광학 흐름에 의한 예측 미세화 방법 및 장치{METHODS AND APPARATUSES FOR PREDICTION REFINEMENT WITH OPTICAL FLOW}

관련 출원에 대한 상호 참고문헌

본 출원은 2019년 4월 25일자로 출원된 가출원 번호 62/838,939에 기초하여 우선권을 주장하며, 그 내용 전체가 본 명세서에서 참고로 포함된다.

본 발명은 비디오 코딩 및 압축에 관한 것이다. 보다 상세하게는, 본 발명은 다용도 비디오 코딩(VVC, versatile video coding) 표준, 즉, 양방향 광학 흐름(BDOF) 및 광학 흐름에 의한 예측 보정(PROF)에서 조사되는 2개의 인터 예측 툴(tool)에 관한 방법 및 장치에 관한 것이다.

비디오 데이터를 압축하는데 다양한 비디오 코딩 기술이 이용될 수 있다. 비디오 코딩은 하나 이상의 비디오 코딩 표준에 따라 수행된다. 예를 들어, 비디오 코딩 표준에는 다용도 비디오 코딩(VVC), 공동 탐색 시험 모델(JEM), 고 효율 비디오 코딩(H.265/HEVC), 고급 비디오 코딩(H.264/AVC), 동영상 전문가 그룹(MPEG) 코딩 등이 포함된다. 비디오 코딩은 일반적으로 비디오 화상 또는 시퀀스에 존재하는 중복성(redundancy)을 이용하는 예측 방법(예를 들어, 인터 예측, 인트라 예측 등)을 이용한다. 비디오 코딩 기술의 중요한 목표는 비디오 품질 저하를 피하거나 최소화하면서 더 낮은 비트 레이트(bit rate)를 이용하는 형식으로 비디오 데이터를 압축하는 것이다.

본 발명의 예는 광학 흐름을 이용한 예측 미세화(refinement)의 비트 심도(bit-depth) 표현을 위한 방법 및 장치를 제공한다.

본 발명의 제1 양태에 따르면, 비디오 신호를 디코딩하기 위한 광 흐름(PROF)을 이용한 예측 미세화의 비트 심도 표현 방법이 제공된다. 이 방법은 비디오 신호 내의 비디오 블록과 연관된 제1 참조 픽처 및 현재 픽처의 비디오 블록으로부터 제1 참조 픽처의 참조 블록까지의 제1 움직임 벡터(MV)를 획득하는 단계를 포함할 수도 있다. 제1 참조 픽처는 다수의 비중첩 비디오 블록을 포함할 수 있고, 적어도 하나의 비디오 블록은 적어도 하나의 MV와 연관될 수 있다. 이 방법은 또한 제1 참조 픽처의 참조 블록으로부터 생성된 비디오 블록의 제1 예측 샘플 I(i,j)를 획득하는 단계를 포함할 수 있다. i 및 j는 비디오 블록과 하나의 샘플의 좌표를 나타낼 수 있다. 이 방법은 내부 PROF 파라미터의 내부 비트 심도를 제어하는 단계를 포함할 수 있다. 내부 PROF 파라미터는 예측 샘플 I(i,j)에 대해 도출된 수평 그라디언트 값, 수직 그라디언트 값, 수평 움직임 차이 및 수직 움직임 차이를 포함할 수 있다. 이 방법은 수평 및 수직 그라디언트 값 및 수평 및 수직 움직임 차이에 기초하여 제1 예측 샘플 I(i,j)에 대한 예측 미세화 값을 획득하는 단계를 추가로 포함할 수 있다. 이 방법은, 비디오 블록이 제2 MV를 포함할 수 있을 때, 제2 MV와 연관된 제2 예측 샘플 I'(i,j) 및 제2 예측 샘플 I'(i,j)에 대한 대응하는 예측 미세화 값을 획득하는 단계를 포함할 수 있다. 이 방법은 제1 예측 샘플 I(i,j), 제2 예측 샘플 I'(i,j), 및 예측 미세화 값의 조합에 기초하여 비디오 블록의 최종 예측 샘플을 획득하는 단계를 포함할 수 있다.

본 발명의 제2 양태에 따르면, 비디오 신호를 디코딩하기 위한 양방향 광학 흐름(BDOF)의 비트 심도 표현 방법이 제공된다. 이 방법은 비디오 블록과 연관된 제1 참조 픽처 I ⁽⁰⁾ 및 제2 참조 픽처 I ⁽¹⁾를 획득하는 단계를 포함할 수 있다. 표시 순으로 제1 참조 픽처 I ⁽⁰⁾은 현재 픽처보다 앞에 있을 수 있고, 제2 참조 픽처 I ⁽¹⁾은 현재 픽처 후에 있을 수 있다. 이 방법은 또한 제1 참조 픽처 I ⁽⁰⁾ 내의 참조 블록으로부터 비디오 블록의 제1 예측 샘플들 I ⁽⁰⁾(i,j)을 획득하는 단계를 포함할 수도 있다. i와 j는 현재 픽처와 하나의 샘플의 좌표를 나타낼 수 있다. 이 방법은 제2 참조 픽처 I ⁽¹⁾의 참조 블록으로부터 비디오 블록의 제2 예측 샘플 I ⁽¹⁾(i,j)을 획득하는 단계를 포함할 수 있다. 이 방법은 제1 예측 샘플들 I ⁽⁰⁾(i,j) 및 제2 예측 샘플들 I ⁽¹⁾(i,j)에 기초하여 비디오 블록에 BDOF를 적용하는 단계를 포함할 수 있다. 이 방법은 패딩된 예측 샘플에 기초하여 제1 예측 샘플 I ⁽⁰⁾(i,j) 및 제2 예측 샘플 I ⁽¹⁾(i,j)의 수평 및 수직 그라디언트 값을 획득하는 단계를 포함할 수 있다. 이 방법은 비디오 블록에 적용되는 BDOF 및 수평 및 수직 그라디언트 값에 기초하여 비디오 블록의 샘플에 대한 움직임 미세화를 획득하는 단계를 추가로 포함할 수 있다. 이 방법은 움직임 미세화에 기초하여 비디오 블록의 양방향 예측 샘플을 획득하는 단계를 포함할 수 있다.

본 발명의 제3 양태에 따르면, 컴퓨팅 장치가 제공된다. 컴퓨팅 장치는 하나 이상의 프로세서, 하나 이상의 프로세서에 의해 실행 가능한 명령어를 저장하는 비 일시적 컴퓨터 판독가능 메모리를 포함할 수 있다. 하나 이상의 프로세서는 비디오 신호 내의 비디오 블록과 연관된 제1 참조 픽처 및 현재 픽처의 비디오 블록으로부터 제1 참조 픽처의 참조 블록까지의 제1 MV를 획득하도록 구성될 수도 있다. 제1 참조 픽처는 다수의 비중첩 비디오 블록을 포함할 수 있고, 적어도 하나의 비디오 블록은 적어도 하나의 MV와 연관될 수 있다. 하나 이상의 프로세서는 또한 제1 참조 픽처의 참조 블록으로부터 생성된 비디오 블록의 제1 예측 샘플 I(i,j)를 획득하도록 구성될 수도 있다. i와 j는 비디오 블록과 한 샘플의 좌표를 나타낸다. 하나 이상의 프로세서는 내부 PROF 파라미터의 내부 비트 깊이를 제어하도록 구성될 수 있다. 내부 PROF 파라미터는 예측 샘플 I(i,j)에 대해 도출된 수평 그라디언트 값, 수직 그라디언트 값, 수평 움직임 차이 및 수직 움직임 차이를 포함할 수 있다. 하나 이상의 프로세서는, 수평 및 수직 그라디언트 값 및 수평 및 수직 움직임 차이에 기초하여, 제1 예측 샘플 I(i,j)에 대한 예측 미세화 값을 획득하도록 추가로 구성될 수 있다. 하나 이상의 프로세서는, 비디오 블록이 제2 MV를 포함할 수 있는 경우, 제2 MV와 연관된 제2 예측 샘플 I'(i,j) 및 제2 예측 샘플 I'(i,j)에 대한 대응 예측 미세화 값을 획득하도록 추가로 구성될 수도 있다. 하나 이상의 프로세서는 제1 예측 샘플 I(i,j), 제2 예측 샘플 I'(i,j), 및 예측 미세화 값의 조합을 기초로 하여, 비디오 블록의 최종 예측 샘플을 획득하도록 구성될 수 있다.

본 발명의 제4 양태에 따르면, 컴퓨팅 장치가 제공된다. 컴퓨팅 장치는 하나 이상의 프로세서, 하나 이상의 프로세서에 의해 실행 가능한 명령어를 저장하는 비 일시적 컴퓨터 판독가능 메모리를 포함할 수 있다. 하나 이상의 프로세서는 비디오 블록과 연관된 제1 참조 픽처 I ⁽⁰⁾ 및 제2 참조 픽처 I ⁽¹⁾를 획득하도록 구성될 수도 있다. 표시 순으로 제1 참조 픽처 I ⁽⁰⁾은 현재 픽처보다 앞에 있고, 제2 참조 픽처 I ⁽¹⁾은 현재 픽처 뒤에 있을 수 있다. 하나 이상의 프로세서는 또한 제1 참조 픽처 I ⁽⁰⁾의 참조 블록으로부터 비디오 블록의 제1 예측 샘플 I ⁽⁰⁾(i,j)를 획득하도록 구성될 수도 있다. i와 j는 현재 픽처와 하나의 샘플의 좌표를 나타낼 수 있다. 하나 이상의 프로세서는 제2 참조 픽처 I ⁽¹⁾의 참조 블록으로부터 비디오 블록의 제2 예측 샘플 I ⁽¹⁾(i,j)를 획득하도록 구성될 수도 있다. 하나 이상의 프로세서는 제1 예측 샘플 I ⁽⁰⁾(i,j) 및 제2 예측 샘플 I ⁽¹⁾(i,j)에 기초하여 비디오 블록에 BDOF를 적용하도록 구성될 수도 있다. 하나 이상의 프로세서는 패딩된 예측 샘플에 기초하여 제1 예측 샘플 I ⁽⁰⁾(i,j) 및 제2 예측 샘플 I ⁽¹⁾(i,j)의 수평 및 수직 그라디언트 값을 획득하도록 구성될 수 있다. 하나 이상의 프로세서는 비디오 블록에 적용되는 BDOF 및 수평 및 수직 그라디언트 값에 기초하여 비디오 블록의 샘플에 대한 움직임 미세화를 획득하도록 추가적으로 구성될 수도 있다. 하나 이상의 프로세서는 움직임 미세화에 기초하여 비디오 블록의 양방향 예측 샘플을 획득하도록 구성될 수도 있다.

전술한 일반적인 설명 및 다음의 상세한 설명은 모두 예시일 뿐이고 본 발명의 내용을 제한하지 않는 것으로 이해되어야 한다.

본 명세서에 통합되고 본 명세서의 일부를 구성하는 첨부 도면은 본 개시 내용과 일치하는 예를 예시하고, 상세한 설명과 함께 본 개시내용의 원리를 설명하는 역할을 한다.
도 1은 본 발명의 예에 따른 인코더의 블록도이다.
도 2는 본 발명의 예에 따른 디코더의 블록도이다.
도 3a는 본 발명의 예에 따른, 다중 유형 트리 구조의 블록 파티션을 예시하는 도면이다.
도 3b는 본 발명의 예에 따른, 다중 유형 트리 구조의 블록 파티션을 예시하는 도면이다.
도 3c는 본 발명의 예에 따른, 다중 유형 트리 구조의 블록 파티션을 예시하는 도면이다.
도 3d는 본 발명의 예에 따른, 다중 유형 트리 구조의 블록 파티션을 예시하는 도면이다.
도 3e는 본 발명의 예에 따른, 다중 유형 트리 구조의 블록 파티션을 예시하는 도면이다.
도 4는 본 발명의 예에 따른 양방향 광학 흐름(BDOF) 모델을 예시하는 도면이다.
도 5a는 본 발명의 예에 따른, 아핀 모델의 예시도이다.
도 5b는 본 발명의 예에 따른, 아핀 모델의 예시도이다.
도 6은 본 발명의 예에 따른, 아핀 모델의 예시도이다.
도 7은 본 발명의 예에 따른, 광학 흐름에 의한 예측 미세화(PROF)의 예시도이다.
도 8은 본 발명의 예에 따른, BDOF의 흐름도이다.
도 9는 본 발명의 예에 따른, PROF의 흐름도이다.
도 10은 본 발명에 따른, PROF의 비트 심도 표현 방법이다.
도 11은 본 발명에 따른 BDOF의 비트 심도 표현 방법이다.
도 12는 본 발명의 예에 따른, 양방향 예측을 위한 PROF의 예시적인 흐름도이다.
도 13은 본 발명에 따른, BDOF 및 PROF 프로세스의 파이프라인 스테이지의 예시도이다.
도 14는 본 발명에 따른, BDOF의 그라디언트 도출 방법의 예시도이다.
도 15는 본 발명에 따른, PROF의 그라디언트 도출 방법의 예시도이다.
도 16은 본 발명의 예에 따른, 사용자 인터페이스와 결합된 컴퓨팅 환경을 예시하는 도면이다.

예시적인 실시형태를 상세히 참조할 것이며, 그 예는 첨부 도면에 도시되어 있다. 다음 설명은, 달리 표시되지 않는 한, 상이한 도면에서 동일하거나 유사한 요소를 나타내는 첨부 도면을 참조한다. 이하의 실시형태에 대한 설명에서 기재된 구현은 본 발명 내용과 일치하는 모든 구현을 나타내는 것은 아니다. 그 대신, 그것들은 첨부된 청구범위에 기재되어 있는 바와 같이 본 발명과 관련된 양태와 일치하는 장치 및 방법의 단순한 예이다.

본 발명에서 사용된 용어는 단지 특정한 실시형태를 설명하기 위한 것이며, 본 발명을 한정하려는 것은 아니다. 본 명세서 및 첨부된 특허청구범위에서 사용된 바와 같이, 단수 형태 "a", "an" 및 "the"는 문맥이 명백하게 달리 지시하지 않는 한, 복수 형태도 포함하는 것으로 의도된다. 또한, 본 명세서에서 사용된 "및/또는"이라는 용어는 관련된 나열 항목 중 하나 이상의 모든 가능한 조합을 의미하고 포함하도록 의도된 것으로 이해되어야 한다.

"제1", "제2", "제3" 등의 용어가 다양한 정보를 설명하기 위해 본 명세서에서 사용될 수 있지만, 그 정보는 이러한 용어에 의해 제한되어서는 안 된다는 것을 이해해야 한다. 이 용어는 정보의 한 범주를 다른 범주와 구별하는 데에만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 정보는 제2 정보로 지칭될 수 있고; 유사하게, 제2 정보는 또한 제1 정보로 지칭될 수 있다. 본 명세서에 사용된 바와 같이, "~(이)면"이라는 용어는 문맥에 따라 "~(인) 때" 또는 "~시에" 또는 "~에 응답하여"를 의미하는 것으로 이해될 수 있다.

HEVC 표준의 제1 버전은 2013년 10월에 완성되었으며, 이는 전 세대의 비디오 코딩 표준 H.264/MPEG AVC와 비교하여, 약 50%의 비트 레이트 절약 또는 동등한 지각 품질을 제공한다. HEVC 표준은 이전 표준보다 상당한 코딩 개선을 제공하지만, HEVC에 대한 추가 코딩 툴을 사용하여 우수한 코딩 효율성을 달성할 수 있다는 증거가 있다. 이를 기반으로, VCEG와 MPEG 모두 미래의 비디오 코딩 표준화를 위한 새로운 코딩 기술의 탐색 작업을 시작하였다. JVET(Joint Video Exploration Team)는 ITU-T VECG와 ISO/IEC MPEG에 의해 2015년 10월에 구성되어 코딩 효율성을 크게 향상시킬 수 있는 첨단 기술에 대한 중요한 연구를 시작하였다. 공동 탐색 모델(JEM)이라고 하는 하나의 참조 소프트웨어는 HEVC 테스트 모델(HM) 위에 여러 추가 코딩 툴을 통합하여 JVET에 의해서 유지 관리되었다.

2017년 10월, ITU-T 및 ISO/IEC에 의해 HEVC 이상의 기능을 갖는 비디오 압축에 대한 공동 제안 요청(CfP)이 발표되었다. 2018년 4월, 10차 JVET 회의에서 23개의 CfP 응답이 접수 및 평가되었으며, 이는 HEVC에 비해 약 40%의 압축 효율 향상이 실증되었다. 이러한 평가 결과를 기본으로, JVET는 VVC(Versatile Video Coding)라는 차세대 비디오 코딩 표준을 개발하기 위한 새로운 프로젝트를 시작하였다. 같은 달에, VVC 표준의 참조 구현을 시연하기 위해, VVC 테스트 모델(VTM)이라고 하는 하나의 참조 소프트웨어 코드베이스가 설정되었다.

HEVC와 마찬가지로, VVC는 블록 기반 하이브리드 비디오 코딩 프레임워크 상에 구축된다. 도 1은 VVC를 위한 블록 기반 비디오 인코더의 일반적인 다이어그램을 나타낸다. 구체적으로, 도 1은 전형적인 인코더(100)를 도시한다. 인코더(100)는 비디오 입력(110), 움직임 보상(112), 움직임 추정(114), 인트라/인터 모드 결정(116), 블록 예측기(140), 가산기(128), 변환(130), 양자화(132), 예측 관련 정보(142), 인트라 예측(118), 픽처 버퍼(120), 역 양자화(134), 역 변환(136), 가산기(126), 메모리(124), 인-루프(in-loop) 필터(122), 엔트로피 코딩(138), 및 비트스트림(144)을 갖는다.

인코더(100)에서, 비디오 프레임은 처리를 위해 복수의 비디오 블록으로 분할된다. 각각의 주어진 비디오 블록에 대해, 인터 예측 접근법 또는 인트라 예측 접근법에 기초하여 예측이 형성된다.

비디오 입력(110)의 일부인 현재 비디오 블록과 블록 예측기(140)의 일부인 그 예측자 간의 차이를 나타내는 예측 잔차(residual)는 가산기(128)로부터 변환(130)으로 전송된다. 변환 계수는 그 다음 엔트로피 경감을 위해 변환(130)으로부터 양자화(132)로 전송된다. 양자화된 계수는 압축된 비디오 비트스트림을 생성하기 위해 엔트로피 코딩(138)에 공급된다. 도 1에 도시된 바와 같이, 비디오 블록 파티션 정보, 움직임 벡터(MV), 참조 픽처 인덱스 및 인트라 예측 모드와 같은 인트라/인터 모드 결정(116)으로부터의 예측 관련 정보(142)는 또한 엔트로피 코딩(138) 및 압축된 비트스트림(144)에 저장된다. 압축된 비트스트림(144)은 비디오 비트스트림을 포함한다.

인코더(100)에서, 예측을 위해 픽셀을 재구축하기 위해 디코더 관련 회로도 또한 필요하다. 먼저, 역 양자화(134) 및 역 변환(136)을 통해 예측 잔차를 재구축한다. 이 재구축된 예측 잔차는 현재 비디오 블록에 대한 필터링되지 않은 재구축 픽셀을 생성하기 위해 블록 예측기(140)와 조합된다.

공간 예측(또는 "인트라 예측")은 현재 비디오 블록과 동일한 비디오 프레임에서 이미 코딩된 이웃 블록('참조 샘플'이라고 함)의 샘플로부터의 픽셀을 사용하여 현재 비디오 블록을 예측한다.

시간적 예측("인터 예측"이라고도 함)은 현재 비디오 블록을 예측하기 위해 이미 코딩된 비디오 픽처로부터 재구축된 픽셀을 사용한다. 시간적 예측은 비디오 신호에 고유한 시간적 중복성을 경감한다. 주어진 코딩 유닛(CU) 또는 코딩 블록에 대한 시간적 예측 신호는 일반적으로 하나 이상의 MV에 의해 시그널링되고, 이는 현재 CU와 그의 시간적 참조와의 사이의 움직임의 양 및 방향을 나타낸다. 또한, 다중 참조 픽처가 지원되는 경우, 하나의 참조 픽처 인덱스가 추가로 전송되며, 이는 시간적 예측 신호가 참조 픽처 저장소 내의 어느 참조 픽처로부터 유래하는지를 식별하는 데 사용된다.

움직임 추정(114)은 비디오 입력(110)과 픽처 버퍼(120)로부터의 신호를 받아 움직임 보상(112)으로 움직임 추정 신호를 출력한다. 움직임 보상(112)은 비디오 입력(110), 픽처 버퍼(120)로부터의 신호, 및 움직임 추정(114)으로부터의 움직임 추정 신호를 받아 움직임 보상 신호인 인트라/인터 모드 결정(116)으로 출력한다.

공간적 및/또는 시간적 예측이 수행된 후, 인코더(100)의 인트라/인터 모드 결정(116)은, 예를 들어 레이트-왜곡 최적화 방법에 기초하여 최선의 예측 모드를 선택한다. 그 다음, 블록 예측기(140)는 현재 비디오 블록으로부터 감산되고, 결과적인 예측 잔차는 변환(130) 및 양자화(132)를 사용하여 역상관(de-correlated)된다. 결과로서 얻어진 양자화된 잔차 계수는 역 양자화(134)에 의해 역 양자화되고 역 변환(136)에 의해 역 변환되어 재구축된 잔차를 형성하고, 이어서 예측 블록에 다시 추가되어 CU의 재구축 신호를 형성한다. 또한, 디블록킹 필터, 샘플 적응 오프셋(SAO) 및/또는 적응 인-루프 필터(ALF)와 같은 추가 인-루프 필터(122)는 재구축된 CU가 픽처 버퍼(120)의 참조 픽처 저장소에 배치되고 미래의 비디오 블록을 코딩하는 데 사용되기 전에 재구축된 CU에 적용될 수 있다. 출력 비디오 비트스트림(144)을 형성하기 위해, 코딩 모드(인터 또는 인트라), 예측 모드 정보, 움직임 정보 및 양자화된 잔여 계수가 모두 엔트로피 코딩 유닛(138)으로 전송되고 더 압축 및 패킹되어 비트스트림을 형성한다.

예를 들어, 디블로킹 필터는 AVC, HEVC 및 현재 버전의 VVC에서 이용 가능하다. HEVC에서는, 코딩 효율성을 더욱 향상시키기 위해, SAO(샘플 적응 오프셋)라는 추가 인-루프 필터가 규정된다. 현재 버전의 VVC 표준에서는, ALF(적응 루프 필터)라는 또 다른 인-루프 필터가 활발히 연구되고 있으며, 최종 표준에 포함될 수 있다.

이러한 인-루프 필터 동작은 선택 사항이다. 이러한 작업을 수행하면 코딩 효율성과 시각적 품질을 개선하는 데 도움이 된다. 그것들은 또한 계산 복잡성을 줄이기 위해 인코더(100)에 의해 행해지는 결정으로서 꺼질 수 있다.

인트라 예측은 일반적으로 필터링되지 않은 재구축 픽셀을 기반으로 하는 반면, 인터 예측은 이러한 필터 옵션이 인코더(100)에 의해 켜진 경우 필터링된 재구축 픽셀을 기반으로 한다는 점에 유의해야 한다.

입력 비디오 신호는 블록별로 처리된다(코딩 유닛(CU)라고 함). VTM-1.0에서, CU는 최대 128x128픽셀일 수 있다. 그러나 쿼드 트리로만을 기반으로 블록을 분할하는 HEVC와는 달리, VVC에서는 하나의 코딩 트리 유닛(CTU, Coding Tree Unit)이 CU로 분할되어 쿼드/바이너리/터너리 트리를 기반으로 하는 다양한 로컬 특성에 적응한다. 또한, HEVC에서 다중 파티션 유닛 유형의 개념이 제거된다. 즉, CU, 예측 유닛(PU) 및 변환 유닛(TU)의 분리가 더 이상 VVC에 존재하지 않는다. 그 대신, 각 CU는 추가 파티션 없이 예측 및 변환 모두에 대한 기본 유닛으로 항상 사용된다. 다중 유형 트리 구조에서, 하나의 CTU는 먼저 쿼드 트리 구조로 분할된다. 그 다음, 각 쿼드 트리(quad-tree) 리프(leaf) 노드는 바이너리 및 터너리 트리 구조로 더 분할될 수 있다.

도 3a, 3b, 3c, 3d 및 3e(후술됨)에 도시된 바와 같이, 쿼터너리 분할, 수평 바이너리 분할, 수직 바이너리 분할, 수평 터너리 분할 및 수직 터너리 분할의 5가지 분할 유형이 있다.

도 3a는 본 발명에 따른, 다중 유형 트리 구조에서 블록 쿼터너리 분할을 예시하는 다이어그램을 도시한다.

도 3b는 본 발명에 따른, 다중 유형 트리 구조에서 블록 수직 바이너리 분할을 예시하는 도면을 도시한다.

도 3c는 본 발명에 따른, 다중 유형 트리 구조에서 블록 수평 바이너리 분할을 예시하는 다이어그램을 도시한다.

도 3d는 본 발명에 따른, 다중 유형 트리 구조에서 블록 수직 터너리 분할을 예시하는 다이어그램을 도시한다.

도 3e는 본 발명에 따른, 다중 유형 트리 구조에서 블록 수평 터너리 분할을 예시하는 다이어그램을 도시한다.

도 1에서, 공간적 예측 및/또는 시간적 예측이 수행될 수 있다. 공간 예측(또는 "인트라 예측")은 동일한 비디오 픽처/슬라이스에서 이미 코딩된 이웃 블록('참조 샘플'이라고 함)의 샘플에서 픽셀을 사용하여 현재 비디오 블록을 예측한다. 공간 예측은 비디오 신호에 고유한 공간 중복성을 경감한다. 시간 예측("인터 예측" 또는 "움직임 보상 예측"이라고도 함)은 이미 코딩된 비디오 픽처로부터 재구축된 픽셀을 사용하여 현재 비디오 블록을 예측한다. 시간적 예측은 비디오 신호에 고유한 시간적 중복성을 경감한다. 주어진 CU에 대한 시간 예측 신호는 일반적으로 하나 이상의 MV에 의해 시그널링되며, 이는 현재 CU와 시간 참조 사이의 움직임의 양과 방향을 나타낸다. 또한, 복수의 참조 픽처가 지원되는 경우, 하나의 참조 픽처 인덱스가 추가로 전송되며, 이는 시간적 예측 신호가 참조 픽처 저장소의 어느 참조 픽처로부터 오는지 식별하는 데 사용된다. 공간적 및/또는 시간적 예측 후에, 인코더의 모드 결정 블록은 예를 들어 레이트-왜곡 최적화 방법에 기초하여 최선의 예측 모드를 선택한다. 그 다음 예측 블록은 현재 비디오 블록으로부터 차감되고, 예측 잔차는 변환을 사용하여 역 상관되고(de-correlated) 양자화된다. 양자화된 잔차 계수는 역 양자화되고 역 변환되어 재구축된 잔차를 형성한 다음, 예측 블록에 다시 추가되어 CU의 재구축된 신호를 형성한다. 또한, 디블록킹 필터, 샘플 적응 오프셋(SAO) 및 적응 인-루프 필터(ALF)와 같은 인-루프 필터링은 참조 픽처 저장소에 저장되고 미래 비디오 블록을 코딩하는 데 사용되기 전에 재구축된 CU에 적용될 수 있다. 출력 비디오 비트스트림을 형성하기 위해, 코딩 모드(인터 또는 인트라), 예측 모드 정보, 움직임 정보 및 양자화된 잔여 계수가 모두 엔트로피 코딩 유닛으로 전송되어 비트스트림을 형성하기 위해 추가로 압축되고 패킹된다.

도 2는 VVC에 대한 비디오 디코더의 일반적인 블록도를 도시한다. 구체적으로, 도 2는 전형적인 디코더(200) 블록도를 도시한다. 디코더(200)는 비트스트림(210), 엔트로피 디코딩(212), 역 양자화(214), 역 변환(216), 가산기(218), 인트라/인터 모드 선택(220), 인트라 예측(222), 메모리(230), 인-루프 필터(228), 움직임 보상(224), 픽처 버퍼(226), 예측 관련 정보(234) 및 비디오 출력(232)을 갖는다.

디코더(200)는 도 1의 인코더(100)에 존재하는 재구축 관련 섹션과 유사하다. 디코더(200)에서, 인커밍 비디오 비트스트림(210)은 엔트로피 디코딩(212)을 통해 먼저 디코딩되어 양자화된 계수 레벨 및 예측 관련 정보를 도출한다. 그 다음, 양자화된 계수 레벨은 역 양자화(214) 및 역 변환(216)을 통해 처리되어 재구축된 예측 잔차를 획득한다. 인트라/인터 모드 선택기(220)에서 구현되는 블록 예측기 메커니즘은 디코딩된 예측 정보에 기초하여 인트라 예측(222) 또는 움직임 보상(224)을 수행하도록 구성된다. 필터링되지 않은 재구축된 픽셀 세트는, 역 변환(216)으로부터의 재구축된 예측 잔차와, 합산기(218)를 사용하여 블록 예측기 메커니즘에 의해 생성된 예측 출력을 합산함으로써 획득된다.

재구축된 블록은 참조 픽처 저장소로서 기능하는 픽처 버퍼(226)에 저장되기 전에 인-루프 필터(228)를 더 통과할 수 있다. 픽처 버퍼(226)의 재구축된 비디오는 디스플레이 장치를 구동하기 위해 전송될 수 있을 뿐만 아니라 미래의 비디오 블록을 예측하기 위해 사용될 수 있다. 인-루프 필터(228)가 켜진 상황에서, 최종 재구축된 비디오 출력(232)을 도출하기 위해 이러한 재구축 픽셀에 필터링 작업이 수행된다.

도 2에서 비디오 비트스트림은 엔트로피 디코딩 유닛에서 먼저 엔트로피 디코딩된다. 코딩 모드 및 예측 정보는 예측 블록을 형성하기 위해 공간 예측 유닛(인트라 코딩된 경우) 또는 시간적 예측 유닛(인터 코딩된 경우)으로 전송된다. 잔차 변환 계수는 역 양자화 유닛 및 역 변환 유닛으로 전송되어 잔차 블록을 재구축한다. 그 다음 예측 블록과 잔차 블록은 함께 추가된다. 재구축된 블록은 참조 픽처 저장소에 저장되기 전에 인-루프 필터링을 더 통과할 수 있다. 참조 픽처 저장소에 재구축된 비디오는 디스플레이 장치를 구동하기 위해 전송될 뿐만 아니라 미래의 비디오 블록을 예측하는 데 사용된다.

일반적으로 VVC에 적용되는 기본 인터 예측 기술은 여러 모듈이 더 확장 및/또는 향상된다는 점을 제외하고는 HEVC의 기술과 동일하게 유지된다. 특히, 모든 선행 비디오 표준에 대해, 하나의 코딩 블록은, 코딩 블록이 단일 예측인 경우는 하나의 단일 MV에만 연관될 수 있고, 코딩 블록이 양방향 예측인 경우는 2개의 MV와 연관될 수 있다. 이러한 기존의 블록 기반 움직임 보상의 한계로 인해, 움직임 보상 후에도 예측 샘플 내에 작은 움직임이 남아 있을 수 있으므로, 전반적인 움직임 보상 효율에 부정적인 영향을 미친다. MV의 입도와 정밀도를 모두 개선하기 위해, 광학 흐름을 기반으로 하는 두 가지 샘플별 미세화 방법, 즉 양방향 광학 흐름(BDOF) 및 아핀 모드에 대한 광학 흐름에 의한 예측 미세화(PROF)가 현재 VVC 표준에 대해 조사되고 있다. 다음에서는 두 인터 코딩 툴의 주요 기술적 측면을 간략하게 검토한다.

양방향 광학 흐름

VVC에서, BDOF는 양방향 예측 코딩 블록의 예측 샘플을 미세화 하기 위해 적용된다. 구체적으로, BDOF의 예시를 보여주는 도 4에 도시된 바와 같이, BDOF는 양방향 예측이 사용될 때 블록 기반 움직임 보상 예측 위에 수행되는 샘플별 움직임 미세화이다. 각 4x4 서브 블록의 움직임 미세화(v_x,v_y)는, BDOF가 서브 블록 주변의 하나의 6x6 윈도우 Ω 내에 적용된 후, L0 및 L1 예측 샘플 간의 차이를 최소화함으로써 계산된다. 구체적으로, (v_x,v_y)의 값은 다음과 같이 도출된다.

(1)

상기 식에서,

[ㆍ]는 플로어(floor) 함수이고;

clip3(min, max, x)는 [min, max] 범위 내에서 주어진 값 x를 클리핑하는 함수이고;

기호 >>는 비트 우측 시프트 연산을 나타내고;

기호 <<는 비트 좌측 시프트 연산을 나타내고;

는 불규칙한 로컬 움직임으로 인해 전파되는 오류를 방지하기 위한 움직임 미세화 임계값으로, 이는 1<<max(5, bit-depth-7)과 동일하고, 여기서 bit-depth는 내부 비트 심도이다. 식(1)에서,

,

이다.

S ₁, S ₂, S ₃, S ₅ 및 S ₆의 값은 다음과 같이 계산된다.

상기 식에서,

상기 식에서,

는 중-고 정밀도(즉, 16-비트)로 생성된 리스트 k,k = 0,1에 있는 예측 신호의 좌표(i,j)에서의 샘플 값이고;

및

는 인접한 두 샘플 간의 차이를 직접 계산하여 얻은 샘플의 수평 및 수직 그라디언트이다. 즉,

방정식(1)에서 도출된 움직임 미세화에 기초하여, CU의 최종 양방향 예측 샘플은, 하기 식으로 표시된 바와 같이, 광학 흐름 모델에 기초한 움직임 궤적을 따라 L0/L1 예측 샘플을 보간함으로써 계산된다:

상기 식에서,

및

는 각각 15-BD 및

과 동일한 양방향 예측을 위한 L0 및 L1 예측 신호를 조합하기 위해 적용되는 우측 시프트 값 및 오프셋 값이다. 위의 비트 심도 제어 방식에 기초하여, 전체 BDOF 프로세스의 중간 파라미터의 최대 비트 심도는 32비트를 초과하지 않으며, 곱셈에 대한 가장 큰 입력은 15-비트 이내, 즉 하나의 15-비트 승수는 BDOF 구현에 충분하다.

아핀 모드

HEVC에서는 움직임 보상 예측을 위해 병진 움직임 모델만 적용된다. 현실 세계에는 확대/축소, 회전, 원근 움직임 및 기타 불규칙한 움직임과 같은 다양한 종류의 움직임이 있다. VVC에서는, 병진 움직임 또는 아핀 움직임 모델이 인터 예측에 적용되는지 여부를 나타내기 위해, 각 인터 코딩 블록에 대해 하나의 플래그를 시그널링함으로써 아핀 움직임 보상 예측이 적용된다. 현재 VVC 설계에서는, 하나의 아핀 코딩 블록에 대해 4-파라미터 아핀 모드와 6-파라미터 아핀 모드를 포함한 두 가지 아핀 모드가 지원된다.

4-파라미터 아핀 모델은 다음과 같은 파라미터를 갖는다: 각각 수평 및 수직 방향으로의 병진 움직임을 위한 2개의 파라미터, 줌 움직임에 대한 하나의 파라미터 및 양방향에 대한 회전 움직임을 위한 하나의 파라미터. 수평 줌 파라미터는 수직 줌 파라미터와 동일하다. 수평 회전 파라미터는 수직 회전 파라미터와 동일하다. MV와 아핀 파라미터의 더 나은 조정을 달성하기 위해, VVC에서는, 이러한 아핀 파라미터는 현재 블록의 좌측 상단 코너와 우측 상단 코너에 위치한 2개의 MV[제어점 움직임 벡터(CPMV)라고도 함]로 변환된다. 도 5a 및 5b에 도시된 바와 같이, 블록의 아핀 움직임 필드는 2개의 제어점 MV(V₀,V₁)에 의해 기술된다.

도 5a는 4-파라미터 아핀 모델의 예시를 도시한다.

도 5b는 4-파라미터 아핀 모델의 예시를 보여준다. 제어점 움직임에 기초하여, 하나의 아핀 코딩된 블록의 움직임 필드(v_x,v_y)는 다음과 같이 설명된다:

6-파라미터 아핀 모드는 다음과 같은 파라미터를 갖는다: 각각 수평 및 수직 방향으로의 병진 움직임을 위한 2개의 파라미터, 수평 방향에서의 줌 움직임을 위한 하나의 파라미터 및 회전 움직임을 위한 하나의 파라미터, 수직 방향에서의 줌 움직임을 위한 하나의 파라미터 및 회전 움직임을 위한 하나의 파라미터이다. 6-파라미터 아핀 움직임 모델은 3개의 CPMV에서 3개의 MV로 코딩된다.

도 6은 6-파라미터 아핀 모델의 예시를 도시한다. 도 6에 도시된 바와 같이, 하나의 6-파라미터 아핀 블록의 3 제어점은 블록의 좌측 상단, 우측 상단 및 좌측 하단 코너에 위치한다. 좌측 상단 제어점에서의 움직임은 병진 움직임과 관련되고, 우측 상단 제어점에서의 움직임은 수평방향의 회전 및 줌 움직임에 관련되고, 그리고 좌측 하단 제어점에서의 움직임은 수직 방향에서의 회전 및 줌에 관련된다. 4-파라미터 아핀 움직임 모델과 비교하여, 6-파라미터의 수평 방향의 회전 및 줌 움직임은 수직 방향의 움직임과 동일하지 않을 수 있다. (V₀,V₁,V₂)가 도 6에서 현재 블록의 좌측 상단, 우측 상단, 좌측 하단 코너의 MV라고 가정하면, 각 하위 블록(v_x,v_y)의 MV는 제어점에서 3개 MV를 사용하여 다음과 같이 도출된다:

아핀 모드를 위한 PROF

아핀 움직임 보상 정밀도를 개선하기 위해, 현재 VVC에서 PROF가 조사되고 있으며, 이는 광류 모델에 기반한 서브 블록 기반 아핀 움직임 보상을 개선한다. 구체적으로, 서브 블록 기반의 아핀 움직임 보상을 수행한 후, 하나의 아핀 블록의 휘도(luma) 예측 샘플은 광학 흐름 방정식에 기초하여 도출된 하나의 샘플 미세화 값만큼 수정된다. 구체적으로, PROF의 동작은 다음의 4단계로 요약할 수 있다:

제1 단계: 서브 블록 기반 아핀 움직임 보상은 (6)4-파라미터 아핀 모델에 대해 및 (7)6-파라미터 아핀 모델에 대해 도출된 서브 블록 MV를 사용하여 서브 블록 예측 I(i,j)를 생성하기 위해 수행된다.

제2 단계: 각 예측 샘플의 공간 그라디언트

및

는 다음과 같이 계산된다:

그라디언트를 계산하기 위해, 예측 샘플 중 하나의 추가 행/열이 하나의 서브-블록의 각 측에 생성될 필요가 있다. 메모리 대역폭과 복잡성을 줄이기 위해, 확장된 경계의 샘플은 추가 보간 프로세스를 피하기 위해 참조 픽처의 가장 가까운 정수 픽셀 위치로부터 복사된다.

제3 단계: 휘도 예측 개선 값은 다음과 같이 계산된다:

상기 식에서, Δv(i,j)는 v(i,j)로 표시되는 샘플 위치(i,j)에 대해 계산된 픽셀 MV와 픽셀(i,j)이 위치하는 서브 블록의 서브 블록 MV 간의 차이이다.

제4 단계: 현재 PROF 설계에서는, 원래의 예측 샘플에 예측 미세화를 추가한 후, 미세화된 예측 샘플의 값을 15비트 이내로 자르기 위해 한 번의 클리핑 작업이 수행된다. 즉,

상기 식에서,

및

은 각각 위치(i,j)의 원본 및 미세화된 예측 샘플이다.

도 7은 아핀 모드에 대한 PROF 프로세스의 예시를 도시한다.

아핀 모델 파라미터와 서브 블록 중심에 대한 픽셀 위치는 서브 블록으로부터 서브 블록으로 변경되지 않기 때문에,

는 제1 서브 블록에 대해 계산되고 동일한 CU에 있는 다른 서브 블록에 재사용될 수 있다.

및

를 샘플 위치

로부터 샘플이 속한 하위 블록의 중심까지의 수평 및 수직 오프셋이라고 하면

는 다음과 같이 도출될 수 있다:

아핀 서브 블록 MV 도출 방정식(6) 및 (7)에 기초하여, MV 차이

가 도출될 수 있다. 구체적으로, 4-파라미터 아핀 모델의 경우, 다음과 같다:

.

6-파라미터 아핀 모델의 경우, 다음과 같다:

.

상기 식에서,

는 현재 코딩 블록의 좌측 상단, 우측 상단 및 좌측 하단 제어점 MV이고, w 및 h는 블록의 너비와 높이이다. 기존 PROF 설계에서, MV 차이

와

는 항상 1/32-pel의 정밀도로 도출된다.

아핀 모드의 코딩 효율

PROF가 아핀 모드의 코딩 효율을 향상시킬 수 있지만, 그 설계는 여전히 더 향상될 수 있다. 특히, PROF와 BDOF가 모두 광학 흐름 개념에 기반을 두고 구축되고 있다는 점을 감안할 때, PROF가 하드웨어 구현을 용이하게 하기 위해 BDOF의 기존 로직을 최대한 활용할 수 있도록 PROF와 BDOF의 설계를 최대한 조화시키는 것이 매우 바람직하다. 이러한 고려를 바탕으로, 본 발명에서는 현재 PROF와 BDOF 설계 간의 상호작용에 대한 다음과 같은 문제점을 식별한다.

방정식(8)의 "아핀 모드에 대한 PROF" 섹션에서 설명한 바와 같이, 내부 비트 심도에 따라 그라디언트의 정밀도가 결정된다. 한편, MV 차이, 즉

와

는 항상 1/32-pel의 정밀도로 도출된다. 상응하게, 방정식(9)에 기초하여, 도출된 PROF 미세화의 정밀도는 내부 비트 심도에 따라 달라진다. 그러나, BDOF와 유사하게, PROF는 더 높은 PROF 도출 정밀도를 유지하기 위해 중-고 비트 심도(즉, 16-비트)에서 예측 샘플 값 위에 적용된다. 따라서, 내부 코딩 비트 심도에 관계없이, PROF에 의해 도출된 예측 미세화의 정밀도는 중간 예측 샘플의 정밀도, 즉 16-비트와 일치해야 한다. 즉, 기존 PROF 설계의 MV 차이의 표현 비트 심도와 그라디언트가 완벽하게 일치하지 않아 예측 샘플 정밀도(즉, 16-비트)에 대한 정확한 예측 미세화를 도출할 수 없다. 한편, 방정식(1), (4), 및 (8)의 비교를 기반으로, 기존의 PROF와 BDOF는 서로 다른 정밀도를 사용하여 샘플 그라디언트와 MV 차이를 표현한다. 앞서 지적한 바와 같이, 이러한 비통합 설계는, 기존 BDOF 로직을 재사용할 수 없기 때문에, 하드웨어에 바람직하지 않다.

"아핀 모드에 대한 PROF" 섹션에서 논의된 바와 같이, 하나의 현재 아핀 블록이 양방향 예측될 때, PROF는 리스트 L0 및 L1의 예측 샘플에 개별적으로 적용되고; 그 다음, 강화된 L0 및 L1 예측 신호가 평균화되어 최종 양방향 예측 신호를 생성한다. 반대로, 각 예측 방향에 대해 PROF 미세화를 별도로 도출하는 대신, BDOF는 예측 미세화를 한 번 도출한 다음, 이는 조합된 L0 및 L1 예측 신호를 향상시키기 위해 적용된다.

도 8 및 9(후술됨)는 양방향 예측을 위한 PROF와 현재 BDOF의 워크플로우(workflow)를 비교한다. 실제 코덱 하드웨어 파이프라인 설계에서는, 일반적으로 더 많은 코딩 블록을 병렬로 처리할 수 있도록 각 파이프라인 스테이지에 서로 다른 주요 인코딩/디코딩 모듈을 할당한다. 그러나, BDOF와 PROF 워크플로우의 차이로 인해, BDOF와 PROF가 공유할 수 있는 동일한 파이프라인 설계를 갖는 것이 어려울 수 있으며, 이는 실용적인 코덱 구현에 비우호적이다.

도 8은 BDOF의 흐름도를 나타낸다. 워크플로우(800)는 L0 움직임 보상(810), L1 움직임 보상(820), 및 BDOF(830)를 포함한다. 예를 들어, L0 움직임 보상(810)은 이전 참조 픽처로부터의 움직임 보상 샘플들의 리스트일 수 있다. 이전 참조 픽처는 비디오 블록의 현재 픽처보다 이전 참조 픽처이다. L1 움직임 보상(820)은, 예를 들어 다음 참조 픽처로부터의 움직임 보상 샘플들의 리스트일 수 있다. 다음 참조 픽처는 비디오 블록에서 현재 픽처 다음의 참조 픽처이다. BDOF(830)는, 위의 도 4와 관련하여 설명된 바와 같이, L1 움직임 보상(810) 및 L1 움직임 보상(820)으로부터 움직임 보상 샘플을 취하고 예측 샘플을 출력한다.

도 9는 기존 PROF의 흐름도를 도시한다. 워크플로우(900)는 L0 움직임 보상(910), L1 움직임 보상(920), L0 PROF(930), L1 PROF(940) 및 평균(960)을 포함한다. L0 움직임 보상(910)은, 예를 들어 이전 참조 픽처로부터의 움직임 보상 샘플들의 리스트일 수 있다. 이전 참조 픽처는 비디오 블록의 현재 픽처보다 이전 참조 픽처이다. L1 움직임 보상(920)은, 예를 들어 다음 참조 픽처로부터의 움직임 보상 샘플들의 리스트일 수 있다. 다음 참조 픽처는 비디오 블록에서 현재 픽처 다음의 참조 픽처이다. L0 PROF(930)는, 위의 도 7과 관련하여 설명된 바와 같이, L0 움직임 보상(910)으로부터 L0 움직임 보상 샘플을 취하고, 움직임 미세화 값을 출력한다. L1 PROF(940)는 L1 움직임 보상(920)으로부터 L1 움직임 보상 샘플을 취하고, 위의 도 7과 관련하여 설명된 바와 같이 움직임 미세화 값을 출력한다. 평균(960)은 L0 PROF(930) 및 L1 PROF(940)의 움직임 미세화 값 출력을 평균화한다.

BDOF 및 PROF 모두에 대해, 현재 코딩 블록 내부의 각 샘플에 대해 그라디언트를 계산할 필요가 있으며, 이는 블록의 각 측에서 예측 샘플의 하나의 추가 행/열을 생성하는 것을 필요로 한다. 샘플 보간의 추가적인 계산 복잡성을 피하기 위해, 블록 주변의 확장된 영역에 있는 예측 샘플은 정수 위치의 참조 샘플로부터 직접 복사된다(즉, 보간 없이). 그러나, 기존 설계에 따르면, 서로 다른 위치의 정수 샘플을 선택하여 BDOF와 PROF의 그라디언트 값을 생성한다. 구체적으로, BDOF의 경우, 예측 샘플의 좌측(수평 그라디언트의 경우) 및 예측 샘플의 위쪽(수직 그라디언트의 경우)에 위치한 정수 참조 샘플이 사용된다. PROF의 경우, 예측 샘플에 가장 가까운 정수 참조 샘플이 그라디언트 계산에 사용된다. 비트 심도 표현 문제와 유사하게, 이러한 비통합 그라디언트 계산 방법도 하드웨어 코덱 구현에 바람직하지 않다.

앞서 지적한 바와 같이, PROF의 동기는 각 샘플의 MV와 샘플이 속한 서브블록의 중앙에서 도출되는 서브블록 MV 사이의 작은 MV 차이를 보상하는 것이다. 현재 PROF 설계에 따르면, PROF는 하나의 코딩 블록이 아핀 모드에 의해 예측될 때 항상 호출된다. 그러나, 방정식(6) 및 (7)에 나타낸 바와 같이, 하나의 아핀 블록의 서브블록 MV는 제어점 MV로부터 도출된다. 따라서 제어점 MV 간의 차이가 상대적으로 작을 때, 각 샘플 위치의 MV는 일정해야 한다. 이러한 경우, PROF 적용의 이점이 매우 제한적일 수 있으므로, 성능/복잡성 트레이드오프(tradeoff)를 고려할 때 PROF를 수행할 가치가 없을 수 있다.

PROF를 이용한 아핀 모드의 효율 향상

본 발명에서, 하드웨어 코덱 구현을 용이하게 하기 위해 기존 PROF 설계를 개선하고 단순화하기 위한 방법이 제공된다. 특히, 기존의 BDOF 로직을 PROF와 최대한 공유하기 위해 BDOF와 PROF의 설계를 조화시키는 데 각별한 주의를 기울이고 있다. 일반적으로, 본 발명에서 제안하는 기술의 주요 양태는 다음과 같이 요약된다.

도 10은 본 발명에 따라 비디오 신호를 디코딩하기 위한 PROF의 비트 심도 표현 방법을 도시한다.

단계(1010)에서, 비디오 신호 내의 비디오 블록과 연관된 제1 참조 픽처 및 현재 픽처의 비디오 블록으로부터 제1 참조 픽처의 참조 블록까지의 제1 MV를 획득한다. 제1 참조 픽처는 다수의 비중첩 비디오 블록을 포함하고, 적어도 하나의 비디오 블록은 적어도 하나의 MV와 연관된다. 예를 들어, 참조 픽처는 현재 인코딩되는 픽처에 인접한 비디오 픽처일 수 있다.

단계(1012)에서, 제1 참조 픽처의 참조 블록으로부터 생성된 비디오 블록의 제1 예측 샘플 I(i,j)를 획득한다. i 및 j는 비디오 블록과 하나의 샘플의 좌표를 나타낼 수 있다. 예를 들어, 예측 샘플 I(i,j)는 표시 순서에 따라 이전 참조 픽처의 L0 리스트에서 MV를 이용한 예측 샘플일 수 있다.

단계(1014)에서, 내부 PROF 파라미터의 내부 비트 심도를 제어한다. 내부 PROF 파라미터에는 예측 샘플 I(i,j)에 대해 도출된 수평 그라디언트 값, 수직 그라디언트 값, 수평 움직임 차이 및 수직 움직임 차이가 포함된다.

단계(1016)에서, 수평 및 수직 그라디언트 값과 수평 및 수직 움직임 차이에 기초하여 제1 예측 샘플 I(i,j)에 대한 예측 미세화 값을 획득한다.

단계 (1018)에서, 비디오 블록이 제2 MV를 포함할 때, 제2 MV와 연관된 제2 예측 샘플 I'(i,j) 및 제2 예측 샘플 I'(i,j)'에 대한 대응 예측 미세화 값을 획득한다.

단계(1020)에서, 제1 예측 샘플 I(i,j), 제2 예측 샘플 I'(i,j) 및 예측 미세화 값의 조합에 기초하여 비디오 블록의 최종 예측 샘플을 획득한다.

첫째, 하나 이상의 통합 설계를 달성하면서 PROF의 코딩 효율을 개선하기 위해, BDOF 및 PROF에 의해 사용되는 샘플 그라디언트 및 MV 차이의 표현 비트 심도를 통합하는 하나의 방법이 제안된다.

둘째, 하드웨어 파이프라인 설계를 용이하게 하기 위해, 양방향 예측을 위해 PROF의 워크플로우를 BDOF의 워크플로우와 조화시키는 것이 제안된다. 구체적으로, L0와 L1에 대해 개별적으로 예측 미세화를 도출하는 기존 PROF와는 달리, 제안된 방법은 조합된 L0 및 L1 예측 신호에 적용되는 예측 미세화를 한 번 도출한다.

셋째, BDOF 및 PROF에 의해 사용되는 그라디언트 값을 계산하기 위해 정수 참조 샘플의 도출을 조화시키기 위해 두 가지 방법이 제안된다.

넷째, 계산 복잡성을 경감시키기 위해, 특정 조건이 충족될 때, 아핀 코딩 블록에 대한 PROF 프로세스를 적응적으로 무효로 하는 조기 종료 방법이 제안된다.

PROF 그라디언트 및 MV 차이의 개선된 비트 심도 표현 설계

섹션 "PROF를 사용한 아핀 모드의 효율성 개선"에서 분석된 바와 같이, MV 차이의 표현 비트 심도 및 현재 PROF의 샘플 그라디언트는 정확한 예측 미세화를 도출하기 위해 정렬되지 않는다. 더욱이, 샘플 그라디언트의 표현 비트 심도와 MV 차이는 BDOF와 PROF 사이에 일관성이 없어 하드웨어에는 비우호적이다. 본 섹션에서는, BDOF의 비트 심도 표현 방식을 PROF로 확장하여 개선된 비트 심도 표현 방법을 제안한다. 구체적으로, 제안된 방법에서, 각 샘플 위치에서의 수평 및 수직 그라디언트는 다음과 같이 계산된다:

또한,

및

가 한 샘플 위치로부터 샘플이 속한 서브 블록의 중심까지 ¼-pel 정확도로 표현되는 수평 및 수직 오프셋이라고 가정하면, 샘플 위치에서의 해당하는 PROF MV 차이 (

)는 다음과 같이 도출된다:

상기 식에서,

는 BDOF 프로세스에서 사용되는 그라디언트 값의 비트 심도, 즉,

이다. 방정식(11) 및 (12)에서 c, d, e 및 f는 아핀 제어점 MV에 기초하여 도출된 아핀 파라미터이다. 구체적으로, 4-파라미터 아핀 모델의 경우, 다음과 같다:

.

6-파라미터 아핀 모델의 경우 다음과 같다:

.

상기 식에서,

는 현재 코딩 블록의 좌상단, 우상단, 좌하단 제어점 MV이며, 이들은 1/16-pel 정밀도로 표현되고, w 및 h는 블록의 너비와 높이이다.

양방향 예측을 위한 BDOF 및 PROF의 조화된 워크플로우

앞서 논의된 바와 같이, 하나의 아핀 코딩 블록이 양방향 예측될 때, 현재 PROF는 일방적인 방식으로 적용된다. 보다 구체적으로, PROF 샘플 미세화는 별도로 도출되어 리스트 L0 및 L1의 예측 샘플에 적용된다. 그 후, 리스트 L0 및 L1 각각으로부터 미세화된 예측 신호는 블록의 최종 양방향 예측 신호를 생성하기 위해 평균화된다. 이는 샘플 미세화가 도출되고 양방향 예측 신호에 적용되는 BDOF 설계와는 대조적이다. BDOF와 PROF의 양방향 예측 워크플로우의 차이는 실제 코덱 파이프라인 설계에 비우호적일 수 있다.

도 11은 본 발명에 따라 비디오 신호를 디코딩하기 위한 BDOF의 비트 심도 표현 방법을 도시한다.

단계(1110)에서, 비디오 블록과 연관된 제1 참조 픽처 I ⁽⁰⁾ 및 제2 참조 픽처 I ⁽¹⁾을 획득한다. 제1 참조 픽처 I ⁽⁰⁾는 현재 픽처 앞에 있고, 제2 참조 픽처 I ⁽¹⁾은 현재 픽처 뒤에 표시 순으로 있다. 예를 들어, 참조 픽처는 현재 인코딩되는 픽처에 인접한 비디오 픽처일 수 있다.

단계(1112)에서, 제1 참조 픽처 I ⁽⁰⁾의 참조 블록으로부터 비디오 블록의 제1 예측 샘플 I ⁽⁰⁾(i,j)를 획득한다. i와 j는 현재 픽처와 한 샘플의 좌표를 나타낼 수 있다.

단계(1114)에서, 제2 참조 픽처 I ⁽¹⁾의 참조 블록으로부터 비디오 블록의 제2 예측 샘플 I ⁽¹⁾(i,j)를 획득한다.

단계 (1116)에서, 제1 예측 샘플 I ⁽⁰⁾(i,j) 및 제2 예측 샘플 I ⁽¹⁾(i,j)에 기초하여 비디오 블록에 BDOF를 적용한다.

단계 (1118)에서, 패딩된 예측 샘플에 기초하여 제1 예측 샘플 I ⁽⁰⁾(i,j) 및 제2 예측 샘플 I ⁽¹⁾(i,j)의 수평 및 수직 그라디언트 값을 획득한다.

단계(1120)에서, 비디오 블록에 적용되는 BDOF 및 수평 및 수직 그라디언트 값에 기초하여 비디오 블록의 샘플에 대한 움직임 미세화를 획득한다.

단계 (1122)에서, 움직임 미세화에 기초하여 비디오 블록의 양방향 예측 샘플을 획득한다.

하드웨어 파이프라인 설계를 용이하게 하기 위해, 본 발명에 따른 하나의 단순화 방법은 2개의 예측 미세화 방법의 워크플로우가 조화되도록 PROF의 양방향 예측 프로세스를 수정하는 것이다. 구체적으로, 제안된 PROF 방법은, 각 예측 방향에 대해 미세화를 개별적으로 적용하는 대신, 리스트 L0 및 L1의 제어점 MV를 기반으로 한 번 예측 미세화를 도출하고; 그 다음 도출된 예측 미세화는 품질을 향상시키기 위해 조합된 L0 및 L1 예측 신호에 적용된다. 구체적으로, 방정식(12)에서 도출된 MV 차이에 기초하여, 하나의 아핀 코딩 블록의 최종 양방향 예측 샘플은 제안된 방법에 의해 다음과 같이 계산된다:

상기 식에서, shift 및 ο _offset 은 양방향 예측을 위한 L0 및 L1 예측 신호를 조합하기 위해 적용되는 우측 시프트 값 및 오프셋 값으로, 이들은 각각 (15-비트-심도) 및 1≪(14-비트 심도)+(2≪13 )이다. 또한, 방정식(13)에서 나타낸 바와 같이, 제안된 방법에서는 기존 PROF 설계(방정식(9)에 표시됨)의 클리핑 연산을 제거한다.

도 12는 제안된 양방향 예측 PROF 방법이 적용될 때, PROF 프로세스의 예시를 도시한다. PROF 프로세스(1200)는 L0 움직임 보상(1210), L1 움직임 보상(1220), 및 양방향 예측 PROF(1230)를 포함한다. 예를 들어, L0 움직임 보상(1210)은 이전 참조 픽처로부터의 움직임 보상 샘플들의 리스트일 수 있다. 이전 참조 픽처는 비디오 블록의 현재 픽처보다 이전의 참조 픽처이다. 예를 들어, L1 움직임 보상(1220)은 다음 참조 픽처로부터의 움직임 보상 샘플들의 리스트일 수 있다. 다음 참조 픽처는 비디오 블록에서 현재 픽처 다음의 참조 픽처이다. 양방향 예측 PROF(1230)는 L1 움직임 보상(1210) 및 L1 움직임 보상(1220)으로부터 움직임 보상 샘플을 취하여 전술한 바와 같이 양방향 예측 샘플을 출력한다.

도 13은 BDOF 및 제안된 PROF 모두가 적용될 때 예시적인 파이프라인 스테이지의 예시를 도시한다. 도 13은 하드웨어 파이프라인 설계를 위해 제안된 방법의 잠재적인 이점을 보여준다. 파이프라인 스테이지(1300)는 MV의 파싱(parse)/디코딩 및 참조 샘플 페치(fetch)(1310), 움직임 보상(1320), BDOF/PROF(1330)를 포함한다. 파이프라인 스테이지(1300)는 비디오 블록(BLK0, BKL1, BKL2, BKL3 및 BLK4)을 인코딩한다. 각 비디오 블록은 MV의 파싱/디코딩 및 참조 샘플 페치(1310)로 시작하고, 움직임 보상(1320)으로 이동한 다음, 움직임 보상(1320), BDOF/PROF(1330)로 순차적으로 이동할 것이다. 이는, BLK0이 움직임 보상(1320)으로 이동할 때까지, BLK0이 파이프라인 스테이지(1300) 프로세스에서 시작되지 않음을 의미한다. 시간이 T0로부터 T1, T2, T3, T4로 이동함에 따라 모든 스테이지 및 비디오 블록에 대해 동일하다.

도 13에서, 하나의 인터 블록의 디코딩 프로세스는 주로 다음 3단계를 포함한다:

첫째, 코딩 블록의 MV를 파싱/디코딩하고 참조 샘플을 가져온다.

둘째, 코딩 블록의 L0 및/또는 L1 예측 신호를 생성한다.

셋째, 코딩 블록이 하나의 비-아핀 모드에 의해 예측되는 경우는 BDOF에 기초하여, 또는 코딩 블록이 아핀 모드에 의해 예측되는 경우에는 PROF에 기초하여, 생성된 양방향 예측 샘플의 샘플 마다 미세화를 수행한다.

도 13에 도시된 바와 같이, 제안된 조화 방법이 적용된 후, BDOF 및 PROF 모두는 양방향 예측 샘플에 직접 적용된다. BDOF와 PROF가 서로 다른 유형의 코딩 블록에 적용되는 경우(즉, BDOF는 비-아핀 블록에 적용되고, PROF는 아핀 블록에 적용됨)를 고려할 때, 두 코딩 툴을 동시에 호출할 수 없다. 따라서, 동일한 파이프라인 스테이지를 공유함으로써 해당 디코딩 프로세스를 수행할 수 있다. 이는, 양방향 예측의 서로 다른 워크플로우로 인해, BDOF와 PROF 모두에 대해 동일한 파이프라인 스테이지를 할당하기 어려운 기존 PROF 설계보다 더 효율적이다.

위의 논의에서, 제안된 방법은 BDOF와 PROF의 워크플로우 조화만을 고려한다. 그러나 기존 설계에 따르면, 두 코딩 툴의 기본 작동 유닛도 서로 다른 크기로 수행된다. 구체적으로, BDOF의 경우, 하나의 코딩 블록은 W_s×H_s 크기의 다중 서브블록으로 분할되며, 여기서 W_s = min(W,16) 및 Hs = min(H,16)이고, W 및 H는 코딩 블록의 너비와 높이이다. 그라디언트 계산 및 샘플 미세화 도출과 같은 BODF 연산은 각 서브블록에 대해 독립적으로 수행된다. 다른 한편으로, 앞서 설명된 바와 같이, 아핀 코딩 블록은 4x4 서브블록으로 분할되며, 각 서브블록에는 4-파라미터 또는 6-파라미터 아핀 모델을 기반으로 도출된 하나의 개별 MV가 할당된다. PROF는 아핀 블록에만 적용되기 때문에, 기본 작동 유닛은 4×4 서브 블록이다. 양방향 예측 워크플로우 문제와 유사하게, BDOF로부터 PROF에 대해 상이한 기본 동작 유닛 크기를 사용하는 것도 하드웨어 구현에 비우호적이며, BDOF와 PROF가 전체 디코딩 프로세스의 동일한 파이프라인 스테이지를 공유하기 어렵게 만든다. 이러한 문제를 해결하기 위해, 일 실시형태에서는 아핀 모드의 서브블록 크기를 BDOF의 크기와 동일하게 정렬하는 것을 제안한다. 구체적으로, 제안된 방법에 따르면, 하나의 코딩 블록이 아핀 모드로 코딩되면, W_s×H_s 크기의 서브블록으로 분할되며, 여기서 W_s = min(W,16) 및 H_s = min(H,16)이고, W와 H는 코딩 블록의 너비와 높이이다. 각 서브블록에는 하나의 개별 MV가 할당되고, 하나의 독립적인 PROF 작동 유닛으로 간주된다. 독립적인 PROF 작동 유닛이 인접 PROF 작동 유닛으로부터 정보를 참조하지 않고, 상위 PROF 작동이 수행되도록 보장한다는 점은 언급할 가치가 있다. 구체적으로, 하나의 샘플 위치에서의 PROF MV 차이는 샘플 위치에서의 MV와 샘플이 위치한 PROF 작동 유닛의 중앙에서의 MV 사이의 차이로서 계산되고; PROF 도출에 의해 사용되는 그라디언트는 각 PROF 작동 유닛을 따라 샘플을 패딩함으로써 계산된다. 제안된 방법의 주장된 이점은 주로 다음과 같은 측면을 포함한다: 1) 움직임 보상 및 BDOF/PROF 미세화 모두에 대한 통합 기본 작동 유닛 크기를 가진 단순화된 파이프라인 아키텍처; 2) 아핀 움직임 보상을 위한 확장된 서브블록 크기로 인한 메모리 대역폭 사용량 감소; 3) 분수 샘플 보간(fractional sample interpolation)의 샘플당 계산 복잡성 경감.

감소된 계산 복잡성(즉, 항목 3) 때문에, 제안된 방법으로, 아핀 코딩 블록에 대한 기존의 6-탭 보간 필터 제약이 제거될 수 있다. 그 대신, 비-아핀 코딩 블록에 대한 기본(default) 8-탭 보간은 아핀 코딩 블록에도 사용된다. 이 경우, 전체적인 계산 복잡성은 6-탭 보간 필터가 있는 4x4 서브블록을 기반으로 하는 기존 PROF 설계와 비교하여도 손색이 없다.

BDOF 및 PROF에 대한 그라디언트 도출의 조화

앞서 설명된 바와 같이, BDOF 및 PROF 모두는 현재 코딩 블록 내부의 각 샘플의 그라디언트를 계산하며, 이는 블록의 각 측에 있는 예측 샘플의 하나의 추가 행/열에 액세스한다. 추가적인 보간 복잡성을 회피하기 위해, 블록 경계 주변의 확장 영역에서 필요한 예측 샘플은 정수 참조 샘플로부터 직접 복사된다. 그러나 "문제 설명" 섹션에서 지적한 바와 같이, 서로 다른 위치의 정수 샘플을 사용하여 BDOF 및 PROF의 그라디언트 값을 계산한다.

하나 이상의 균일한 설계를 달성하기 위해, BDOF 및 PROF에 의해 사용되는 그라디언트 도출 방법을 통합하기 위한 두 가지 방법이 다음에 설명된다. 제1 방법에서는, PROF의 그라디언트 도출 방법을 BDOF와 동일하게 정렬하는 것을 제안한다. 구체적으로, 제1 방법에 의해, 확장 영역에서 예측 샘플을 생성하는 데 사용되는 정수 위치는 분수 샘플 위치 아래로 플로어링(flooring) 함으로써 결정된다. 즉, 선택된 정수 샘플 위치는 분수 샘플 위치(수평 그라디언트의 경우) 좌측과 분수 샘플 위치(수직 그라디언트의 경우) 위에 있다.

제2 방법에서는, BDOF의 그라디언트 도출 방법을 PROF의 그라디언트 도출 방법과 동일하게 정렬하는 것이 제안된다. 더욱 상세하게는, 제2 방법을 적용할 때, 예측 샘플에 가장 가까운 정수 참조 샘플을 그라디언트 계산에 사용한다.

도 14는 BDOF의 그라디언트 도출 방법을 사용하는 예를 보여주며, 여기서 공백 원은 정수 위치에서 참조 샘플(1410)을 나타내고, 삼각형은 현재 블록의 분수 예측 샘플(1430)을 나타내고, 회색 원은 현재 블록의 확장 영역을 채우는 데 사용되는 정수 참조 샘플(1420)을 나타낸다.

도 15는 PROF의 그라디언트 도출 방법을 사용하는 예를 보여주며, 여기서 공백 원은 정수 위치에서 참조 샘플(1510)을 나타내고, 삼각형은 현재 블록의 분수 예측 샘플(1530)을 나타내고, 회색 원은 현재 블록의 확장 영역을 채우는 데 사용되는 정수 참조 샘플(1520)을 나타낸다.

도 14 및 도 15는, 제1 방법(도 14) 및 제2 방법(도 15)이 각각 적용될 때, BDOF 및 PROF에 대한 그라디언트의 도출에 사용되는 대응 정수 샘플 위치를 예시한다. 도 14 및 15에서, 공백 원은 정수 위치의 참조 샘플을 나타내고, 삼각형은 현재 블록의 분수 예측 샘플을 나타내며, 회색 원은 그라디언트 도출을 위해 현재 블록의 확장된 영역을 채우는 데 사용되는 정수 참조 샘플을 나타낸다.

제어점 MV 차이에 기초한 PROF의 조기 종료

현재 PROF 설계에 따르면, PROF는, 하나의 코딩 블록이 아핀 모드에 의해 예측될 때 항상 호출된다. 그러나, 방정식(6) 및 (7)에서와 같이, 하나의 아핀 블록의 서브블록 MV는 제어점 MV로부터 도출된다. 따라서 제어점들 MV 간의 차이가 상대적으로 작을 때, 각 샘플 위치의 MV는 일정해야 한다. 이러한 경우, PROF 적용의 이점은 매우 제한적일 수 있다. 따라서, PROF의 평균 계산 복잡성을 더 경감하기 위해, 하나의 4x4 서브블록 내에서 샘플별 MV와 서브블록별 MV 간의 최대 MV 차이를 기반으로 PROF 기반 샘플 미세화를 적응적으로 스킵할 것을 제안한다. 하나의 4x4 서브블록 내 샘플의 PROF MV 차이 값은 서브블록 중앙을 중심으로 대칭이므로, 최대 수평 및 수직 PROF MV 차이는 방정식(10)을 기반으로 다음과 같이 계산될 수 있다:

본 발명에 따르면, MV 차이가 PROF 프로세스를 스킵할 만큼 충분히 작은지 여부를 결정하는데 상이한 메트릭이 사용될 수 있다.

일 예에서, 방정식(14)에 기초하여, 절대 최대 수평 MV 차이와 절대 최대 수직 MV 차이의 합이 하나의 미리 규정된 임계값보다 작은 경우, 즉, 하기 방정식(15)을 만족하는 경우, PROF 프로세스는 스킵될 수 있다:

다른 예에서, 하기 방정식(16)에서와 같이,

및

의 최대값이 임계값보다 크지 않은 경우, PROF 프로세스는 스킵될 수 있다:

MAX(a,b)는 입력 값 a와 b 사이에서 더 큰 값을 반환하는 함수이다.

위의 두 가지 예에 더하여, 본 발명의 정신은 또한 MV 차이가 PROF 프로세스를 스킵할 만큼 충분히 작은지를 결정하는데 다른 메트릭이 사용되는 경우에도 적용 가능하다.

위의 방법에서, PROF는 MV 차이의 크기에 기초하여 스킵된다. 한편, MV 차이 외에, 하나의 움직임 보상 블록에서 각 샘플 위치의 로컬 그라디언트 정보를 기반으로 PROF 샘플 미세화도 계산된다. 더 적은 고주파 세부 사항(예를 들어, 평평한 영역)을 포함하는 예측 블록의 경우, 그라디언트 값이 작은 경향이 있어 도출된 샘플 미세화 값이 작아야 한다. 이를 고려하여, 본 발명의 다른 양태에 따르면, 충분한 고주파 정보를 포함하는 블록의 예측 샘플에만 PROF를 적용하는 것을 제안한다.

PROF 프로세스가 블록에 대해 호출될 가치가 있도록 블록이 충분한 고주파 정보를 포함하는지 여부를 결정하는데 상이한 메트릭이 사용될 수 있다. 일 예에서, 예측 블록 내의 샘플들의 그라디언트 평균 크기(즉, 절대값)에 기초하여 결정이 이루어진다. 평균 크기가 하나의 임계값보다 작은 경우, 예측 블록은 평평한 영역으로 분류되며, PROF를 적용하지 않아야 한다. 그렇지 않으면 예측 블록은 PROF가 여전히 적용될 수 있는 충분한 고주파 세부 사항을 포함하는 것으로 간주된다. 다른 예에서, 예측 블록 내 샘플들의 그라디언트의 최대 크기가 사용될 수 있다. 최대 크기가 하나의 임계값보다 작으면, PROF는 블록에 대해 스킵한다. 또 다른 예에서, 예측 블록의 최대 샘플 값과 최소 샘플 값 사이의 차이(I _max - I _min )는 PROF가 블록에 적용될 것인지를 결정하는데 사용될 수 있다. 이러한 차이 값이 임계값보다 작으면, PROF는 해당 블록에 대해 스킵한다. 본 발명의 정신은 주어진 블록이 충분한 고주파 정보를 포함하는지 여부를 결정하는데 일부 다른 메트릭이 사용되는 경우에도 적용할 수 있다는 점은 주목할 가치가 있다.

도 16은 사용자 인터페이스(1660)와 결합된 컴퓨팅 환경(1610)을 도시한다. 컴퓨팅 환경(1610)은 데이터 처리 서버의 일부일 수 있다. 컴퓨팅 환경(1610)은 프로세서(1620), 메모리(1640), 및 I/O 인터페이스(1650)를 포함한다.

프로세서(1620)는 일반적으로 디스플레이, 데이터 획득, 데이터 통신 및 화상 처리와 관련된 동작과 같은 컴퓨팅 환경(1610)의 전체 동작을 제어한다. 프로세서(1620)는 전술한 방법의 단계의 전부 또는 일부를 수행하도록 명령을 실행하기 위한 하나 이상의 프로세서를 포함할 수 있다. 더욱이, 프로세서(1620)는 프로세서(1620)와 다른 구성요소 사이의 상호작용을 용이하게 하는 하나 이상의 모듈을 포함할 수 있다. 프로세서는 중앙 처리 장치(CPU), 마이크로프로세서, 단일 칩 머신, GPU 등일 수 있다.

메모리(1640)는 컴퓨팅 환경(1610)의 동작을 지원하기 위해 다양한 유형의 데이터를 저장하도록 구성된다. 메모리(1640)는 미리 결정된 소프트웨어(1642)를 포함할 수 있다. 이러한 데이터의 예에는 컴퓨팅 환경(1610), 비디오 데이터세트, 화상 데이터 등에서 동작하는 모든 애플리케이션 또는 방법에 대한 지침이 포함된다. 메모리(1640)는 임의의 유형의 휘발성 또는 비휘발성 메모리 장치, 또는 이를테면 정적 랜덤 액세스 메모리(SRAM), 전기적으로 지울 수 있는 프로그래밍 가능 읽기 전용 메모리(EEPROM), 지울 수 있는 프로그래밍 가능 읽기 전용 메모리(EPROM), 프로그래밍 가능 읽기 전용 메모리(PROM), 읽기 전용 메모리(ROM), 자기 메모리, 플래시 메모리, 자기 또는 광 디스크와 같은 이들의 조합을 이용함으로써 구현될 수 있다.

I/O 인터페이스(1650)는 프로세서(1620)와, 키보드, 클릭 휠, 버튼 등과 같은 주변 인터페이스 모듈과의 사이의 인터페이스를 제공한다. 버튼은 홈 버튼, 스캔 시작 버튼 및 스캔 중지 버튼을 포함할 수 있지만, 이에 제한되지 않는다. I/O 인터페이스(1650)는 인코더 및 디코더와 결합될 수 있다.

일 실시형태에서, 전술한 방법을 수행하기 위해 컴퓨팅 환경(1610)에서 프로세서(1620)에 의해 실행 가능한 메모리(1640)에 포함된 것과 같은 복수의 프로그램을 포함하는 비 일시적 컴퓨터 판독가능 저장 매체가 또한 제공된다. 예를 들어, 컴퓨터 판독 가능 비 일시적 저장 매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광학 데이터 저장 장치 등일 수 있다.

비 일시적 컴퓨터 판독 가능 저장 매체는 하나 이상의 프로세서를 갖는 컴퓨팅 장치에 의해 실행하기 위한 복수의 프로그램을 그 안에 저장하였으며, 여기서 복수의 프로그램은, 하나 이상의 프로세서에 의해 실행될 때, 컴퓨팅 장치가 움직임 예측을 위해 위에서 설명한 방법을 수행하게 한다.

일 실시형태에서, 컴퓨팅 환경(1610)은, 상기 방법을 수행하기 위해, 하나 이상의 주문형 집적 회로(ASIC), 디지털 신호 프로세서(DSP), 디지털 신호 처리 장치(DSPD), 프로그램 가능 논리 장치(PLD), 필드-프로그램 가능 게이트 어레이(FPGA), 그래픽 처리 장치(GPU), 컨트롤러, 마이크로 컨트롤러, 마이크로프로세서, 또는 기타 전자 부품으로 구현될 수 있다.

본 발명의 설명은 예시의 목적으로 제시되었으며, 망라적이거나 본 개시내용에 제한되지 않는다. 많은 수정, 변형 및 대안적인 구현이 전술한 설명 및 관련 도면에 제시된 교시의 이점을 갖는 통상의 기술자에게 명백할 것이다.

본 발명의 원리를 설명하고, 통상의 기술자가 다양한 구현에 대한 설명을 이해할 수 있고, 기본 원리 및 고려되는 특정 용도에 적합한 다양한 수정을 통해 다양한 구현을 가장 잘 활용하기 위해 예를 선택하고 설명하였다. 따라서, 본 발명의 범위는 개시된 구현의 특정 예에 제한되지 않고, 수정 및 다른 구현이 본 발명의 범위 내에 포함되도록 의도되는 것으로 이해되어야 한다.

Claims

비디오 데이터를 인코딩하기 위해 광학 흐름을 이용한 예측 미세화(prediction refinement with optical flow, PROF)의 방법으로서,
비디오 데이터 내의 현재 픽처의 비디오 블록과 연관된 제1 참조 픽처 및 현재 픽처의 비디오 블록으로부터 제1 참조 픽처의 참조 블록까지의 제1 움직임 벡터(motion vector, MV)를 획득하는 단계 - 제1 참조 픽처는 다수의 비중첩 비디오 블록을 포함하고, 적어도 하나의 비디오 블록은 적어도 하나의 MV와 연관됨 -;
제1 참조 픽처의 참조 블록으로부터 생성된 비디오 블록의 제1 예측 샘플 I(i,j)을 획득하는 단계 - i 및 j는 비디오 블록 내의 하나의 샘플의 좌표를 나타냄 -;
내부 PROF 파라미터의 내부 비트 심도를 제어하는 단계 - 내부 PROF 파라미터는 제1 예측 샘플 I(i,j)에 대해 도출된, 수평 그라디언트 값, 수직 그라디언트 값, 수평 움직임 차이, 및 수직 움직임 차이를 포함함 -;
수평 및 수직 그라디언트 값 및 수평 및 수직 움직임 차이에 기초하여, 제1 예측 샘플 I(i,j)에 대한 예측 미세화 값을 획득하는 단계;
비디오 블록이 제2 MV를 포함할 때, 제2 MV와 연관된 제2 예측 샘플 I'(i,j) 및 제2 예측 샘플 I'(i,j)에 대한 대응하는 예측 미세화 값을 획득하는 단계; 및
제1 예측 샘플 I(i,j), 제2 예측 샘플 I'(i,j), 및 예측 미세화 값에 기초하여 비디오 블록의 최종 예측 샘플을 획득하는 단계
를 포함하는, 예측 미세화의 방법.
제1항에 있어서,
내부 PROF 파라미터의 내부 비트 심도를 제어하는 단계는, 비디오 블록의 하나의 샘플에 대해,
수평 방향으로 상기 하나의 샘플에 인접한 두 개의 샘플의 예측 샘플과 제1 시프트 값에 기초하여 수평 그라디언트 값을 획득하는 단계; 및
수직 방향으로 상기 하나의 샘플에 인접한 두 개의 샘플의 예측 샘플과 제1 시프트 값에 기초하여 수직 그라디언트 값을 획득하는 단계
를 포함하는, 예측 미세화의 방법.
제2항에 있어서,
상기 제1 시프트 값은 최대 6이고 코딩 비트 심도에서 6을 뺀 값과 동일한, 예측 미세화의 비트 심도 표현 방법.
제2항에 있어서, 비디오 블록의 하나의 샘플에 대해,
비디오 블록을 포함하는 코딩 블록의 제어점 MV를 획득하는 단계 - 제어점 MV는 코딩 블록의 좌측 상단, 우측 상단 및 좌측 하단 코너 블록의 MV를 포함함 -;
제어점 MV에 기초하여 도출된 아핀 모델 파라미터를 획득하는 단계;
아핀 파라미터, 수평 오프셋 및 수직 오프셋에 기초하여 수평 MV 차이 Δv_x(i,j) 및 수직 MV 차이 Δv_y(i,j)를 획득하는 단계;
수평 MV 차이 Δv_x(i,j)를 제2 시프트 값만큼 우측으로 시프트하는 단계; 및
수직 MV 차이 Δv_y(i,j)를 제2 시프트 값만큼 우측으로 시프트하는 단계
를 포함하는, 예측 미세화의 방법.
제4항에 있어서,
상기 제2 시프트 값은 13에서 그라디언트 값의 정밀 비트 심도를 뺀 값과 동일한, 예측 미세화의 비트 심도 표현 방법.
제5항에 있어서,
상기 그라디언트 값의 정밀 비트 심도는 최대 6이고 코딩 비트 심도에서 6을 뺀 값과 동일한, 예측 미세화의 비트 심도 표현 방법.
제4항에 있어서,
상기 비디오 블록이 제2 MV를 포함하는 경우, 비디오 블록의 최종 예측 샘플들을 획득하는 단계는,
제1 예측 샘플 I(i,j)에 대해 생성되는 수평 그라디언트 값, 수평 MV 차이 Δv_x(i,j), 수직 그라디언트 값, 및 수직 MV 차이 Δv_y(i,j)에 기초하여 제1 예측 미세화 값 ΔI(i,j)를 획득하는 단계;
제2 예측 샘플 I'(i,j)에 대해 생성되는 수평 그라디언트 값, 수평 움직임 차이 Δv_x(i,j), 수직 그라디언트 값, 및 수직 움직임 차이 Δv_y(i,j)에 기초하여 제2 예측 미세화 값 ΔI'(i,j)를 획득하는 단계;
제1 예측 미세화 값 ΔI(i,j) 및 2차 예측 미세화 값 ΔI'(i,j)를 평균하여 예측 미세화 값을 획득하는 단계;
제1 예측 샘플 I(i,j), 제2 예측 샘플 I'(i,j), 예측 미세화 값의 합에 기초하여 양방향 예측 샘플을 획득하는 단계; 및
상기 합을 제3 시프트 값만큼 우측으로 시프트하는 단계
를 포함하는, 예측 미세화의 비트 심도 표현 방법.
제2항에 있어서,
상기 제1 예측 샘플 I(i,j)의 수평 및 수직 그라디언트 값을 획득하는 단계는,
제1 예측 샘플 I(i,j)에 대한 비디오 블록의 상단, 좌측, 하단 및 우측 경계 각각에 인접하는 비디오 블록 외부의 예측 샘플의 추가 행 또는 열을 도출하는 단계를 더 포함하는, 예측 미세화의 방법.
제8항에 있어서,
상기 예측 샘플의 추가 행 또는 열을 도출하는 단계는,
분수 샘플 위치의 좌측의 제1 참조 픽처에서 정수 참조 샘플로부터 좌측 및 우측 경계에 인접한 비디오 블록 외부의 예측 샘플을 도출하는 단계; 및
분수 샘플 위치 위의 제1 참조 픽처에서 정수 참조 샘플로부터 상단 및 하단 경계에 인접한 비디오 블록 외부의 예측 샘플을 도출하는 단계를 더 포함하는, 예측 미세화의 방법.
제8항에 있어서,
상기 예측 샘플들의 추가 행 또는 열을 도출하는 단계는,
수평 방향에서 개별 분수 샘플 위치에 가장 가까운, 제1 참조 픽처에서 정수 참조 샘플로부터 좌측 및 우측 경계에 인접한 비디오 블록 외부의 예측 샘플을 도출하는 단계; 및
수직 방향에서 개별 분수 샘플 위치에 가장 가까운, 제1 참조 픽처에서 정수 참조 샘플로부터 상단 및 하단 경계에 인접한 비디오 블록 외부의 예측 샘플을 도출하는 단계를 더 포함하는, 예측 미세화의 방법.
하나 이상의 프로세서; 및 하나 이상의 프로세서에 의해 실행 가능한 명령어를 저장하는 비 일시적 컴퓨터 판독 가능 저장 매체를 포함하는 컴퓨팅 장치로서, 하나 이상의 프로세서는,
비디오 데이터 내의 현재 픽처의 비디오 블록과 연관된 제1 참조 픽처 및 현재 픽처의 비디오 블록으로부터 제1 참조 픽처의 참조 블록까지의 제1 움직임 벡터(MV)를 획득하고 - 제1 참조 픽처는 다수의 비중첩 비디오 블록을 포함하고, 적어도 하나의 비디오 블록은 적어도 하나의 MV와 연관됨 -;
제1 참조 픽처의 참조 블록으로부터 생성된 비디오 블록의 제1 예측 샘플 I(i,j)를 획득하고 - i 및 j는 비디오 블록 내의 하나의 샘플의 좌표를 나타냄 -;
내부 PROF 파라미터의 내부 비트 심도를 제어하고 - 내부 PROF 파라미터는 제1 예측 샘플 I(i,j)에 대해 도출된 수평 그라디언트 값, 수직 그라디언트 값, 수평 움직임 차이, 및 수직 움직임 차이를 포함함 -;
수평 및 수직 그라디언트 값과 수평 및 수직 움직임 차이에 기초하여 제1 예측 샘플 I(i,j)에 대한 예측 미세화 값을 획득하고;
비디오 블록이 제2 MV를 포함하는 경우, 제2 MV와 연관된 제2 예측 샘플 I'(i,j) 및 제2 예측 샘플 I'(i,j)에 대한 대응 예측 미세화 값을 획득하고; 그리고
제1 예측 샘플 I(i,j), 제2 예측 샘플 I'(i,j), 및 예측 미세화 값에 기초하여 비디오 블록의 최종 예측 샘플을 획득하도록 구성되는, 컴퓨팅 장치.
제11항에 있어서,
내부 PROF 파라미터의 내부 비트 심도를 제어하도록 구성된 하나 이상의 프로세서는, 비디오 블록의 하나의 샘플에 대해,
수평 방향으로 상기 하나의 샘플에 인접한 두 개의 샘플의 예측 샘플과 제1 시프트 값에 기초하여 수평 그라디언트 값을 획득하고; 그리고
수직 방향으로 상기 하나의 샘플에 인접한 두 개의 샘플의 예측 샘플과 제1 시프트 값에 기초하여 수직 그라디언트 값을 획득하도록 추가로 구성되는, 컴퓨팅 장치.
제12항에 있어서,
상기 제1 시프트 값은 최대값 6이고 코딩 비트 심도에서 6을 뺀 값과 동일한 컴퓨팅 장치.
제12항에 있어서,
상기 하나 이상의 프로세서는, 비디오 블록의 하나의 샘플에 대해,
비디오 블록을 포함하는 코딩 블록의 제어점 MV를 획득하고, 제어점 MV는 코딩 블록의 좌측 상단, 우측 상단 및 좌측 하단 코너 블록의 MV를 포함하고;
제어점 MV에 기초하여 도출된 아핀 모델 파라미터를 획득하고;
아핀 파라미터, 수평 오프셋, 및 수직 오프셋에 기초하여, 수평 MV 차이 Δv_x(i,j) 및 수직 MV 차이 Δv_y(i,j)를 획득하고;
수평 MV 차이 Δv_x(i,j)를 제2 시프트 값만큼 우측으로 시프트하고; 그리고
수직 MV 차이 Δv_y(i,j)를 제2 시프트 값만큼 우측으로 시프트하도록 추가로 구성되는, 컴퓨팅 장치.
제14항에 있어서,
상기 제2 시프트 값은 13에서 그라디언트 값의 정밀 비트 심도를 뺀 값과 동일한, 컴퓨팅 장치.
제15항에 있어서,
상기 그라디언트 값의 정밀 비트 심도는 최대 6이고, 코딩 비트 심도에서 6을 뺀 값과 동일한, 컴퓨팅 장치.
제12항에 있어서,
상기 제1 예측 샘플 I(i,j)의 수평 및 수직 그라디언트 값을 획득하도록 구성된 하나 이상의 프로세서는,
제1 예측 샘플 I(i,j)에 대한 비디오 블록의 상단, 좌측, 하단, 및 우측 경계 각각에 인접하는 비디오 블록 외부의 예측 샘플의 추가 행 또는 열을 도출하도록 추가로 구성되는, 컴퓨팅 장치.
제17항에 있어서,
상기 예측 샘플의 추가 행 또는 열을 도출하도록 구성된 하나 이상의 프로세서는,
분수 샘플 위치의 좌측의 제1 참조 픽처에서 정수 참조 샘플로부터 좌측 및 우측 경계에 인접한 비디오 블록 외부의 예측 샘플을 도출하고; 그리고
분수 샘플 위치 위의 제1 참조 픽처에서 정수 참조 샘플로부터 상단 및 하단 경계에 인접한 비디오 블록 외부의 예측 샘플을 도출하도록 추가로 구성되는, 컴퓨팅 장치.
제17항에 있어서,
상기 예측 샘플의 추가 행 또는 열을 도출하도록 구성된 하나 이상의 프로세서는,
수평 방향에서 개별 분수 샘플 위치에 가장 가까운, 제1 참조 픽처에서 정수 참조 샘플로부터 좌측 및 우측 경계에 인접한 비디오 블록 외부의 예측 샘플을 도출하고; 그리고
수직 방향에서 개별 분수 샘플 위치에 가장 가까운, 제1 참조 픽처에서 정수 참조 샘플로부터 상단 및 하단 경계에 인접한 비디오 블록 외부의 예측 샘플을 도출하도록 추가로 구성되는, 컴퓨팅 장치.
비일시적인 컴퓨터 판독 가능 저장 매체로서,
상기 비일시적인 컴퓨터 판독 가능 저장 매체는 하나 이상의 프로세서를 갖는 컴퓨팅 장치에 의한 실행을 위한 복수의 프로그램을 저장하고 있고, 상기 복수의 프로그램은 상기 하나 이상의 프로세서에 의해 실행되면 상기 컴퓨팅 장치로 하여금 제1항 내지 제10항 중 어느 한 항의 방법의 단계를 수행하게 하는, 비일시적인 컴퓨터 판독 가능 저장 매체.
컴퓨터 판독 가능 저장 매체에 저장된 컴퓨터 프로그램으로서,
하나 이상의 프로세서를 갖는 컴퓨팅 장치에 의한 실행을 위한 복수의 프로그램을 포함하고, 상기 복수의 프로그램은 상기 하나 이상의 프로세서에 의해 실행되면 상기 컴퓨팅 장치로 하여금 제1항 내지 제10항 중 어느 한 항의 방법의 단계를 수행하게 하는, 컴퓨터 판독 가능 저장 매체에 저장된 컴퓨터 프로그램.
비일시적인 컴퓨터 판독 가능 저장 매체로서,
상기 비일시적인 컴퓨터 판독 가능 저장 매체는 인코딩된 비디오 데이터를 저장하고 있고, 상기 인코딩된 비디오 데이터는 제1항 내지 제10항 중 어느 한 항의 방법에 의해 생성되는 것인, 비일시적인 컴퓨터 판독 가능 저장 매체.