KR20210099008A

KR20210099008A - 이미지를 디블록킹하기 위한 방법 및 장치

Info

Publication number: KR20210099008A
Application number: KR1020217017744A
Authority: KR
Inventors: 필립 드 라그랑쥬; 프랑크 갈핀; 필립 보르드
Original assignee: 인터디지털 브이씨 홀딩스 인코포레이티드
Priority date: 2018-12-11
Filing date: 2019-12-10
Publication date: 2021-08-11
Also published as: JP2022513433A; EP3895422A1; MX2021006936A; US20230164314A1; AU2019398124A1; US11558611B2; CN113170125B; US20220060701A1; CN113170125A; WO2020123442A1

Abstract

상이한 구현들이 설명되며, 특히 이미지를 디블록킹하기 위한 방법을 포함하는 비디오 인코딩 및 디코딩을 위한 구현들이 제공된다. 일 구현에 따르면, 이미지를 디블록킹하기 위한 방법에서, 샘플들의 제1 블록과 샘플들의 제2 블록 사이의 적어도 하나의 경계가 결정되고; 제1 블록의 예측 모드 및 제2 블록의 예측 모드 중 적어도 하나에 따라 경계 강도가 결정되고; 경계 강도에 따라 적어도 하나의 경계에 이웃하는 제1 블록 및 제2 블록의 샘플들이 필터링된다. 유리하게는, 제1 블록의 예측 모드가 가중 예측 모드인 경우에, 경계 강도는 제1 블록의 가중 예측 모드에 따라 및 제2 블록에 대해 역으로 샘플들의 제1 블록을 예측하는 데 사용되는 샘플들의 상대적 가중치에 더 의존한다.

Description

이미지를 디블록킹하기 위한 방법 및 장치

본 실시예들 중 적어도 하나는 일반적으로 예로서 비디오 인코딩 또는 디코딩을 위한 방법 또는 장치에 관한 것으로서, 구체적으로는 이미지를 디블록킹하기 위한 방법 또는 장치에 관한 것이다.

하나 이상의 구현예의 기술 분야가 일반적으로 비디오 압축에 관련된다. 적어도 일부 실시예들은, HEVC(HEVC는 고효율 비디오 코딩(High Efficiency Video Coding)을 지칭하며, "ITU의 ITU-T H.265 통신 표준화 섹터(10/2014), series H: 시청각 및 멀티미디어 시스템들, 시청각 서비스의 인프라 - 동영상의 코딩, 고효율 비디오 코딩, 권고 ITU-T H.265"에 기재된 H.265 및 MPEG-H 파트 2라고 또한 알려짐)와 같은 현존 비디오 압축 시스템들에 비하여, 또는 VVC(다용도 비디오 코딩(Versatile Video Coding), JVET, 즉 공동 비디오 전문가 팀(the Joint Video Experts Team)에 의해 개발 중인 새로운 표준임)와 같은 개발중인 비디오 압축 시스템들에 비하여 압축 효율을 개선하는 것에 관한 것이다.

높은 압축 효율을 달성하기 위해, 이미지 및 비디오 코딩 스킴들은 이미지의 파티셔닝, 모션 벡터 예측을 포함한 예측, 및 비디오 콘텐츠에서의 공간적 및 시간적 리던던시를 활용하기 위한 변환을 보통 채용한다. 일반적으로, 인트라 또는 인터 프레임 상관을 이용하기 위해 인트라 또는 인터 예측이 사용되며, 이어서 종종 예측 에러들 또는 예측 잔차들로 표시되는 원본 이미지와 예측 이미지 사이의 차이들이 주파수 도메인 계수들로 변환되고, 계수들이 양자화되고, 엔트로피 코딩된다. 비디오를 재구성하기 위해, 압축된 데이터는 엔트로피 디코딩, 역양자화, 역변환, 및 예측에 대응하는 역프로세스들에 의해 디코딩된다.

HEVC 또는 VVC와 같은 코덱들에서, 디블록킹 필터(DBF)는 픽처들이 재구성된 후에 적용되고, 블록 에지들 근처의 샘플 값들을 평활화함으로써 블록킹 아티팩트들을 줄이는 것을 목표로 한다. 디블록킹 필터는 루마 샘플들 내의 4개의 샘플과 적어도 동일한 크기의 전통적인 정사각형 또는 직사각형 블록 분할 형상들을 이용하여 정의된다. 이어서, 디블록킹 필터 강도의 결정에 사용될 모션 벡터들, 기준 인덱스들 및 기준 디블록킹 샘플들의 선택이 수행된다. 예를 들어, Norkin 등은 "HEVC 디블록킹 필터"(IEEE Transactions on Circuits and Systems for Video Technology, vol.22 No12, 2012년 12월)에서 디블록킹의 원리들을 설명한다.

최근의 비디오 코덱 접근법에서, 비-정사각형 또는 비-직사각형 블록들(예를 들어, 삼각형)의 조합 및/또는 동일하지 않은(예를 들어, CU 레벨 가중치들을 갖는 양방향 예측(Bi-prediction with CU level Weights, BCW)이라고도 지칭되는 일반화된 양방향 예측(Generalized Bi-prediction, GBi) 및/또는 공간적으로 가변적인 가중(예를 들어, 다중-가설 또는 조합된 인터 병합 인트라 예측(Combined Inter merge Intra Prediction, CIIP))의 조합을 사용하여 예측 샘플들이 구축되는 새로운 코딩(예측) 모드들이 고려된다. 따라서, 블록킹 아티팩트를 여전히 효율적으로 감소시키기 위해 디블록킹 필터 프로세스를 이러한 코딩 모드에 적응시키는 것이 바람직하다.

본 발명의 목적은 종래 기술의 단점들 중 적어도 하나를 극복하는 것이다.

이러한 목적을 위해, 적어도 하나의 실시예의 일반적인 양태에 따르면, 이미지의 일부를 디블록킹하기 위한 방법이 제공된다. 방법은 샘플들의 제1 블록과 샘플들의 제2 블록 사이의 적어도 하나의 경계를 결정하는 단계 -제1 블록 및 제2 블록은 필터링할 이미지의 일부에 속함- 제1 블록의 예측 모드 및 제2 블록의 예측 모드 중 적어도 하나에 따라 경계 강도를 결정하는 단계; 및 경계 강도에 따라 적어도 하나의 경계를 필터링하는 단계, 즉 적어도 하나의 경계에 이웃하는 제1 및 제2 블록의 샘플들을 필터링하는 단계를 포함한다. 제1 블록의 예측 모드가 가중 예측 모드인 경우, 경계 강도는 제1 블록의 가중 예측 모드에 따라 샘플들의 제1 블록을 예측할 시에 사용되는 샘플들의 상대적 가중치에 추가적으로 의존한다. 당연히, 구별 없이 제2 블록에 대해서도 동일하게 적용된다: 제2 블록의 예측 모드가 가중 예측 모드인 경우, 경계 강도는 제2 블록의 가중 예측 모드에 따라 샘플들의 제2 블록을 예측할 시에 사용되는 샘플들의 상대적 가중치에 추가적으로 의존한다. 가중 예측 모드는 제1 예측 모드를 사용하여 결정된 제1 예측자와 제2 예측 모드를 사용하여 결정된 제2 예측자의 가중 조합으로부터 예측이 획득되는 코딩 모드이다.

적어도 하나의 실시예의 다른 일반적인 양태에 따르면, 이미지 인코딩에서 블록을 인코딩하기 위한 방법이 제시된다. 방법은 이미지 부분을 재구성하는 단계; 및 디블록킹 방법의 실시예들 중 어느 하나에 따라, 재구성된 이미지 부분을 필터링하는 단계를 포함한다.

적어도 하나의 실시예의 다른 일반적인 양태에 따르면, 이미지의 블록을 디코딩하기 위한 방법이 제시되며, 이 방법은 이미지 부분의 일부를 디코딩하는 단계 및 디블록킹 방법의 실시예들 중 어느 하나에 따라, 디코딩된 이미지 부분을 필터링하는 단계를 포함한다.

적어도 하나의 실시예의 다른 일반적인 양태에 따르면, 인코딩 방법의 실시예들 중 어느 하나를 구현하기 위한 수단을 포함하는 비디오 인코딩을 위한 장치가 제시된다.

적어도 하나의 실시예의 다른 일반적인 양태에 따르면, 디코딩 방법의 실시예들 중 어느 하나를 구현하기 위한 수단을 포함하는 비디오 디코딩을 위한 장치가 제시된다.

적어도 하나의 실시예의 다른 일반적인 양태에 따르면, 하나 이상의 프로세서 및 적어도 하나의 메모리를 포함하는 비디오 인코딩을 위한 장치가 제공된다. 하나 이상의 프로세서가 인코딩 방법의 실시예들 중 어느 하나를 구현하도록 구성된다.

적어도 하나의 실시예의 다른 일반적인 양태에 따르면, 하나 이상의 프로세서 및 적어도 하나의 메모리를 포함하는 비디오 디코딩을 위한 장치가 제공된다. 하나 이상의 프로세서는 디코딩 방법의 실시예들 중 어느 하나를 구현하도록 구성된다.

적어도 하나의 실시예의 다른 일반적인 양태에 따르면, 가중 예측 모드는 일반화된 양방향 예측(Generalized bi-prediction), 코딩 유닛 레벨 가중치들을 갖는 양방향 예측(Bi-prediction with CU level Weights), 인트라 및 인터 예측된 샘플들을 조합하거나 인터 및 인터 예측된 샘플들을 조합하는 다중-가설 예측(Multi-Hypothesis prediction combining intra and inter predicted samples or combining inter and inter predicted samples), 인터 병합 및 인트라 예측된 샘플들을 조합하는 조합된 인터 병합 인트라 예측(Combined Inter merge Intra Prediction combining inter merge and intra predicted samples), 블록의 기하학적 파티션에 따라 인터 예측된 샘플들을 조합하는 기하학적 예측(Geometric prediction combining inter predicted samples according to a geometric partition of a block), 블록의 대각선 에지를 따라 인터 예측된 샘플들을 조합하는 삼각형 예측(Triangle prediction combining inter predicted samples along a diagonal edge of a block) 중 하나이다.

적어도 하나의 실시예의 다른 일반적인 양태에 따르면, 제1 블록의 가중 예측 모드에 따라 샘플들의 제1 블록을 예측하는 것은 제1 예측 모드를 사용하여 결정되는 제1 예측자와 제2 예측 모드를 사용하여 결정되는 제2 예측자의 가중 조합으로서 제1 블록의 샘플을 예측하는 것을 포함하고, 제1 블록의 샘플은 제1 예측자의 가중치가 레벨 초과인 경우에 경계 강도를 결정하기 위해 제1 예측 모드를 사용하는 것으로서 고려된다.

적어도 하나의 실시예의 다른 일반적인 양태에 따르면, 제1 예측 모드는 하나의 인트라 예측 모드이고, 제1 블록의 샘플은 경계 강도를 결정하기 위해 인트라 예측 모드를 사용하는 것으로서 고려된다. 변형에서, 제1 예측 모드는 인트라 평면 예측 모드이고 제1 블록의 샘플은 경계 강도를 결정하기 위해 인트라 예측 모드를 사용하는 것으로서 고려된다. 변형에서, 경계 강도는 인트라 예측 모드의 경우에 강하게 설정된다.

적어도 하나의 실시예의 다른 일반적인 양태에 따르면, 제1 예측 모드는 하나의 인터 예측 모드이고, 제1 블록의 샘플은 경계 강도를 결정하기 위해 인터 예측 모드를 사용하는 것으로서 고려된다. 변형에서, 제1 예측 모드는 인터 양방향 예측 모드이고 제1 블록의 샘플은 경계 강도를 결정하기 위해 인터 양방향 예측 모드를 사용하는 것으로서 고려된다. 다른 변형에서, 제1 예측 모드는 인터 단방향 예측 모드이고 제1 블록의 샘플은 경계 강도를 결정하기 위해 인터 단방향 예측 모드를 사용하는 것으로서 고려된다.

적어도 하나의 실시예의 다른 일반적인 양태에 따르면, BS의 결정에서의 레벨은 제로로 설정된다.

적어도 하나의 실시예의 다른 일반적인 양태에 따르면, 경계 강도는 동일한 상대적 가중치를 공유하는 블록의 샘플들의 그룹에 대해 결정되고, 샘플들의 그룹은 적어도 하나의 샘플, 최대로는 블록의 모든 샘플들까지의 4x4 샘플들을 포함한다.

적어도 하나의 실시예의 다른 일반적인 양태에 따르면, 선행하는 설명들 중 임의의 것의 방법 또는 장치에 따라 생성된 데이터 콘텐츠를 포함하는 비일시적 컴퓨터 판독가능 매체가 제시된다.

적어도 하나의 실시예의 또 다른 일반적인 양태에 따르면, 선행하는 설명들 중의 임의의 것의 방법 또는 장치에 따라 생성된 비디오 데이터를 포함하는 신호 또는 비트스트림이 제공된다.

본 실시예들 중 하나 이상은 또한 전술한 방법들 중 임의의 방법에 따라 비디오 데이터를 디블록킹, 인코딩 또는 디코딩하기 위한 명령어들을 저장한 컴퓨터 판독 가능 저장 매체를 제공한다. 본 실시예들은 또한 위에서 설명된 방법들에 따라 생성된 비트스트림을 저장하고 있는 컴퓨터 판독 가능 저장 매체를 제공한다. 본 실시예들은 위에서 설명된 방법들에 따라 생성된 비트스트림을 송신하기 위한 방법 및 장치를 또한 제공한다. 본 실시예들은 설명된 방법들 중 임의의 것을 수행하기 위한 명령어들을 포함하는 컴퓨터 프로그램 제품을 또한 제공한다.

도 1a는 디코더 아키텍처 내의 인-루프 포스트-필터링 스테이지의 예시적인 플로우차트를 도시한다.
도 1b는 디블록킹 필터 전(좌측) 및 후(우측)의 디코딩된 이미지의 일례를 도시한다.
도 2는 2개의 샘플 블록(우측) 사이에 블록킹 아티팩트(좌측)를 갖는 블록 경계 샘플의 예를 도시한다.
도 3은 특정 실시예에 따른 디블록킹 필터 방법에서의 경계 강도(BS) 파라미터의 결정의 예시적인 플로우차트를 도시한다.
도 4는 특정 실시예에 따른 디블록킹 필터 방법에서의 필터 강도(FS)의 결정의 예시적인 플로우차트를 도시한다.
도 5는 인터 및 인트라 모드 조합의 경우에 다중-가설 예측의 예를 도시한다.
도 6은 비-직사각형 파티셔닝의 예(상부) 및 삼각형 파티셔닝에 연관된 중첩 블록 모션 보상 대각선 가중의 예(하부)를 도시한다.
도 7은 특정 실시예에 따른 삼각형 논리적 분할(좌측) 및 혼합 맵(우측)의 예를 도시한다.
도 8은 적어도 일 실시예의 일반적인 양태에 따른 이미지의 일부를 디블록킹하기 위한 방법의 예를 도시한다.
도 9는 특정 실시예에 따른 디블록킹 필터 방법에서의 경계 강도의 결정의 플로우차트를 도시한다.
도 10은 특정 실시예에 따른 디블록킹 필터 방법에서의 경계 강도(BS) 파라미터의 결정에 사용되는 CU 파라미터들의 저장의 2개의 플로우차트를 도시한다.
도 11은 실시예들의 다양한 양태들이 구현될 수 있는 비디오 인코더의 실시예의 블록도를 도시한다.
도 12는 실시예들의 다양한 양태들이 구현될 수 있는 비디오 디코더의 실시예의 블록도를 도시한다.
도 13은 실시예들의 다양한 양태들이 구현될 수 있는 예시적인 장치의 블록도를 도시한다.

도면들 및 설명들이 통상의 인코딩 및/또는 디코딩 디바이스들에서 발견되는 많은 다른 요소들을 명확성을 위해 제거하면서, 본 원리들의 명확한 이해와 관련되는 요소들을 예시하기 위해 간략화되었다는 것을 이해해야 한다. 제1, 제2라는 용어들이 본 명세서에서 다양한 요소들을 설명하는 데 사용될 수 있지만, 이들 요소들은 이러한 용어들에 의해 한정되지 않아야 한다는 것이 이해될 것이다. 이들 용어는 단지 하나의 요소를 다른 요소와 구별하기 위해 사용된다.

다양한 실시예들은 이미지의 인코딩/디코딩에 관해 설명된다. 그것들은 이미지의 일부, 이를테면 슬라이스 또는 타일, 타일 그룹 또는 이미지들의 전체 시퀀스를 인코딩/디코딩하는 데 적용될 수 있다.

다양한 방법들이 앞서 설명되었고, 방법들 각각은 설명된 방법을 달성하기 위한 하나 이상의 단계들 또는 동작들을 포함한다. 방법의 적절한 동작을 위해 단계들 또는 동작들의 특정 순서가 요구되지 않으면, 특정 단계들 및/또는 동작들의 순서 및/또는 사용은 수정되거나 조합될 수 있다.

적어도 일부 실시예들은 블록들이 다음의 3개의 예측 모드 중 하나로 인코딩된 경우에 디블록킹 필터 DBF를 적응시키는 것에 관한 것이다.

· 일반화된 양방향 예측(GBi), 또는 CU 레벨 가중치들을 갖는 양방향 예측(BCW),

· 다중 가설(MH), 또는 조합된 인터 병합 인트라 예측(CIIP)으로 불리는 단순화된 버전,

· 기하학적 또는 삼각형 모드.

유익하게도, 본 원리는, 비-정사각형 또는 비-직사각형 블록이 지원되고 및/또는 가변적 가중치를 갖는 블록들의 조합이 지원되는 블록-기반의 비디오 코덱에서 DBF 의도 및 효율을 보존함으로써 종래 기술의 방법의 효율을 증가시킨다.

이하에서, 디블록킹 방법의 일반적인 실시예가 개시되며, 디블록킹 필터가 적응되는 적어도 3개의 예측 모드가 개시된다. 이어서, 수정된 디블록킹 필터의 여러 실시예가 개시된다.

디블록킹 필터가 적응되는 디블록킹 방법 및 예시적인 예측 모드들에 대한 일반적인 실시예

전통적인 비디오 코딩 스킴은 재구성된 이미지들의 품질을 개선하기 위한 인-루프 필터링 프로세스들을 포함한다. 인-루프 필터링은 디블록킹 필터링(DBF), HEVC에서와 같은 샘플 적응 오프셋(Sample Adaptive Offset, SAO) 필터링, 및/또는 Wiener 필터들과 같은 적응 루프 필터링(Adaptive Loop Filtering, ALF)과 같은 몇몇 필터링 프로세스들을 포함할 수 있다. 이러한 필터들은 이러한 순서로 또는 상이한 순서로 연속적으로 적용될 수 있다. 도 1a는 디코더 아키텍처에서의 인-루프 포스트 필터링 스테이지의 예시적인 플로우차트를 도시한다. 통상적으로, 디블록킹 필터(DBF)는 코딩 아티팩트 감소 포스트 필터들(20) 중 하나이고, 블록 샘플들이 재구성된(10) 후에 적용된다. 포스트 필터링된 픽처들이 디스플레이될 수 있고, 가능하게는 디코딩된 픽처 버퍼(30)에 저장되어, 모션 보상 예측을 구축하는 데 이용된다. 유리하게는, 동일한 인-루프 포스트 필터링이 또한 시간 예측에 사용되는 재구성된 이미지들에 대해 인코더에서 사용된다.

도 1b는 디블록킹 필터 전(좌측) 및 디블록킹 필터 후(우측)의 디코딩된 이미지의 일례를 도시한다. 디블록킹 필터는 픽처들이 재구성된(10) 후에 적용된다. 이것은 도 1b에 도시된 바와 같이 블록 에지들 근처의 샘플 값들을 평활화함으로써 블록킹 아티팩트들을 줄이는 것을 목표로 한다.

도 2는 샘플들(우측)의 2개의 블록들 P 및 Q 사이에 블록킹 아티팩트(좌측)를 갖는 블록 경계 샘플들의 예를 도시한다. 샘플들 P={p0,p1,p2,p3} 및 Q= {q0,q1,q2,q3}은 2개의 인접한 블록들 P 및 Q에 속한다. 샘플들은 도 2의 우측에 도시된 바와 같이 정사각형 4x4 블록들 P 및 Q에 속하고, 여기서 샘플들 P= {p0_i,p1_i,p2_i,p3_i} 내의 제2 인덱스 i는 4X4 블록 내의 라인 인덱스이다. 일반적으로, 아티팩트 가시성은 도 2 좌측에 도시된 바와 같이 샘플 값들 P와 Q 사이의 상대적 차이에 비례한다. 왜냐하면, DBF 필터링은 블록 에지들에 걸쳐 샘플 평활화 S를 수행한다. 평활화/필터링 함수 S 파라미터들은 다음과 같다:

- 경계 강도(BS)= {0-약함, 1-정상 또는 2-강함}

- 블록들 P, Q의 샘플 값들

정사각형 블록에 대한 DBF 파라미터들의 결정은 수직(각각 수평) 경계 {p3_i, p2_i, p1_i, p0_i, q0_i, q1_i, q2_i, q3_i}의 각 측 상의 라인(또는 열) 샘플들의 각각의 세트에 대해 수행된다.

도 3은 특정 실시예에 따른 디블록킹 필터 방법에서의 경계 강도(BS) 파라미터의 결정(300)의 예시적인 플로우차트를 도시한다. 블록 X(X=P 또는 Q)에 대한 리스트 "i"에 대한 모션 벡터(MV) 값 및 기준 인덱스를 {MVi_X,ref-i_X}로 표시한다. 관례상, 블록 X가 리스트-0으로 단방향 예측된다면, {MV0_x는 0으로 설정되고 ref-0_x는 "-1"로 설정된다}. 각각, 블록 X가 list-1로 단방향 예측된다면, {MV1_x는 0으로 설정되고 ref-1_x는 "-1"로 설정된다}.

경계 강도(BS)의 결정(300)은 여러 블록 파라미터에 의존하고 연속적인 체크로 이루어진다. 예를 들어, 체크들은 다음과 같다:

- (305): P 또는 Q는 인트라이다(그렇지 않으면 인터로서 고려됨). 체크 결과가 아니오인 경우, P 및 Q 블록 둘 다는 연관된 모션 벡터들 및 기준 인덱스 픽처들로 인터 예측되고, BS를 결정하기 위해 추가 체크가 처리된다. P 또는 Q가 인트라인 경우, 체크는 예이고, BS는 2-강함으로 설정된다.

- (310): P 또는 Q는 0이 아닌 계수들을 갖고 경계는 변환 경계이다.

- (320): P 및 Q는 상이한 기준 인덱스들을 갖는다. 따라서, 비제한적인 예에 따르면, P가 양방향 예측되고({MV0_P,ref-0_P},{MV1_P,ref-1_P}) Q가 단방향 예측되면{MV0_Q,ref-0_Q},

ref-0_P ≠ref-0_Q 및 ref-1_P ≠ref-0_Q

인지를 체크한다(체크 1).

- (330): P 및 Q는 상이한 기준 번호(단방향 또는 양방향 예측)를 갖는다. 변형에서, (330)은 존재하지 않고, 단방향에서, 누락 기준의 MV 값은 0인 것으로 추론된다.

- (340): 동일한 기준을 갖는 P 및 Q 모션 벡터들은 상이한 값들을 갖는다. 따라서, 비제한적인 예에 따르면, P가 양방향 예측되고({MV0_P,ref-0_P},{MV1_P,ref-1_P}), Q가 단방향 예측되면{MV0_Q,ref-0_Q},

ref-0_P = ref-0_Q 및 | MV0_P - MV0_Q |> 임계치, 또는

ref-1_P = ref-0_Q 및 | MV1_P - MV0_Q |> 임계치

인지를 체크한다(체크 2).

본 기술분야의 통상의 기술자는 (체크 2)의 상기 수학식들로부터 2개의 양방향 예측된 블록들 또는 2개의 단방향 예측된(uni-predicted) 블록들의 경우에 체크들을 모호하지 않게 도출할 것이다.

루마 샘플들의 블록의 경우, BS가 1 또는 2인 블록 경계들만이 필터링된다. 크로마 샘플들의 블록의 경우, BS가 2인 블록 경계들만이 필터링된다.

도 4는 특정 실시예에 따른 디블록킹 필터 방법에서의 필터 강도의 결정의 예시적인 플로우차트를 도시한다. 따라서, BS가 결정되는 방식(300)과 독립적으로, 추가적인 테스트(415)는 미리 결정된 임계치β와 비교되는 가중된 샘플 값들의 절대 차이들의 조합을 수반하는 조건들의 세트에 기초하여 필터링이 적용되는지 여부를 결정한다:

필터가 적용되면, 필터링 프로세스(430)는 샘플 값들에 의존하여((410)에서 샘플 값들에 접근함) 도 2의 경계의 각각의 측에서 P, Q 샘플들 중 하나 이상을 수정한다. 필터링 프로세스의 강도(정상 또는 강함)는, 미리 결정된 임계치들과 비교되는 가중된 샘플 값들의 절대 차이들의 조합을 포함하는 조건들의 세트에 기초하여, 경계의 각각의 측 상의 샘플들의 각각의 라인(각각의 열)에 대해 결정된다(420). 일부 임계치들은 양자화 파라미터(QP)(440)의 함수이다.

블록 경계의 각 측에서 (430)에 의해 수정된 샘플들의 수는 필터 강도에 의존한다. 더 강한 필터 강도는 블록 경계의 각 측 상의 더 많은 픽셀에 영향을 미친다.

블록 내에 동일하지 않거나 공간적으로 가변적인 가중치를 갖고 디블록킹 필터가 적응되는 가중 예측을 포함하는 적어도 3개의 새로운 예측 모드가 이제 개시된다.

디블록킹 필터가 적응되는 제1 예측 모드: 일반화된 양방향 예측(GBI)

양방향 예측의 경우, 2개의 예측 블록들이 계산되고 가중 합과 조합되어 다음과 같은 최종 블록 예측을 얻는다:

VVC 기준 소프트웨어(VTM)에서, 사용할 가중치들은 표 1에 값들이 묘사되어 있는 "gbi-인덱스”로 CU마다 코딩된다.

GBi 인덱스 및 연관된 가중치들의 이진화

GBi 인덱스	w ₁ 의 가중치 값	gw ₁	gs (시프트)	GBi 인덱스의 이진화
0	-1/4	-1	2	0000
1	3/8	3	3	001
2	1/2	1	1	1
3	5/8	5	3	01
4	5/4	5	2	0001

이하, 가중치 쌍 {1/2 ; 1/2} 은 디폴트 가중치들로 지칭될 것이다.

디블록킹 필터가 적응되는 제2 예측 모드: 다중 가설

다중 가설(MH)의 일반적인 개념은 병합 모드(병합 후보들 {기준 인덱스, 모션 값들})의 리스트가 구축되고, 하나의 후보를 식별하는 병합 인덱스가 시그널링되어 모션 보상된 인터 예측에 대한 모션 정보를 취득함)에서 수행되는 (단방향 또는 양방향 예측될 수 있는) 인터 예측 P0을 인트라 예측(MH-인터-인트라) 또는 다른 인터 예측(MH-인터-인터: 예를 들어, 단방향 예측 AMVP, 스킵 및 병합) 중 하나인 다른 예측 P1과 조합하는 것이다. 최종 예측은 병합 인덱싱된 예측과 다른 예측 모드(인트라 또는 인터)에 의해 생성된 예측의 가중 평균이며, 조합들에 따라 상이한 가중치들이 적용된다.

도 5는 인터 및 인트라 모드 조합의 경우에서의 다중 가설 예측(MH-인터-인트라)의 예를 예시한다. 인트라 예측 모드가 시그널링된다(이것은 고전적 예측 모드들의 서브세트(예를 들어, 4)일 수 있다). 가중치들 w_intra(y)는 영역이 인트라 기준 샘플들로부터 멀어짐에 따라 점진적으로 감소한다. 비제한적인 예에 따르면, 현재의 블록은 동일한 가중화를 공유하는 4 개의 동일-면적 영역들로 분할된다. i가 1 내지 4이고, (w_intra₁, w_inter₁) = (6, 2), (w_intra₂, w_inter₂) = (5, 3), (w_intra₃, w_inter₃) = (3, 5), 및 (w_intra₄, w_inter₄) = (2, 6)인, (w0=w_intra_i, w1=w_inter_i)로 표기되는 각각의 가중치 세트는 인트라 수직 방향 예측을 위해 도 5의 예에 도시된 바와 같이, 대응하는 영역에 적용된다. DC 또는 평면 모드가 선택되거나, CU 폭 또는 높이가 4보다 작을 때, 동일한 가중치들이 적용된다. 다시 말해서, 예측 P1의 인트라 예측 모드가 DC 또는 평면 모드일 때, 현재 블록의 임의의 샘플의 예측에 사용되는 상대적 가중치는 w0=w_intra = ½ 및 w1=w_inter = ½이다. 따라서, 동일 가중치의 단 하나의 영역만이 존재한다(i=1). VVC에 정의된 코딩 모드 조합 인터 병합 인트라 예측(CIIP)은 병합 모드에서 수행된 인터 예측 P0(단방향 또는 양방향 예측일 수 있음)을 동일한 가중치 1/2를 갖는 평면 인트라 예측인 다른 예측 P1과 조합하는 MH-인터-인트라의 특정 예이다.

인터 및 인터 모드들 조합의 경우에서의 다중 가설 예측(MH-인터-인터)의 다른 예에 따르면, 가중치들은 디폴트 가중치들(1/2;1/2)이다. MH-인터-인터 모드의 다른 가변적 예들에 따르면, 인터 모드들 중 1개 또는 2개는 양방향{2개의 MV들, 2개의 기준들}이어서, 샘플 예측들의 구축은 최대 4개의 모션 보상들의 계산을 요구한다.

디블록킹 필터가 적응되는 제3 예측 모드: 기하학적 파티셔닝

기하학적(예를 들어, 삼각형) 모드들은 코딩 전에 픽처를 블록들로 파티셔닝하기 위한 더 많은 유연성을 허용한다. 도 6은 비-직사각형 파티셔닝의 예들(상단) 및 삼각형 파티셔닝과 연관된 중첩 블록 모션 보상 대각선 가중의 일례(하단)를 도시한다. 도 6의 상단의 2개의 좌측 예는 삼각형 파티션을 나타내는 반면, 도 6의 상단의 4개의 우측 예는 더 일반적인 기하학적 파티셔닝 스킴을 나타낸다. 예를 들어, 도 6의 하단에 도시된 바와 같이 대각선 에지를 따라 중첩된 경계들을 블렌딩할 때 부가적인 코딩 성능이 획득된다. 따라서, 블록의 대각선 상에 위치된 4의 가중 인자를 갖는 루마 샘플은 1/2(W₁= W₂= 4/8= 1/2)의 동일한 가중치들을 사용하는 반면, 2의 가중 인자를 갖는 블록의 대각선에 이웃하는 루마 샘플은 (W₁= 2/8= 1/4 및 W₂= 6/8= 3/4)의 가중치들을 사용한다. 일부 변형 예에서, 이 가중화 프로세스는 GBI 또는 국지적 조명 보상(Local Illumination Compensation, LIC) 등의 다른 가중화들과 캐스케이딩하고 구현 복잡성을 증가시킨다.

삼각형 파티셔닝의 경우, 샘플들은 2개의 그룹으로 분할될 수 있다:

- 단방향 모션 보상(P0 또는 P1)으로 예측된 샘플들

- 양방향 예측 모션 보상, 단방향 예측 P0과 단방향 예측 P1의 블렌딩으로 예측된 샘플들.

전술한 바와 같이, 가중 예측을 갖는 적어도 이러한 3개의 코딩 모드는 디블록킹 필터에서 경계 강도 또는 필터 강도를 평가하면서 문제를 일으킨다.

새로운 예측 모드들에 적응된 수정된 디블록킹 필터의 여러 실시예

본 원리의 적어도 일 실시예는 블록이 비-정사각형 또는 비-직사각형 블록(예를 들어, 삼각형)의 조합 및/또는 동일하지 않은(예를 들어, GBi) 및/또는 공간적으로 가변적인 가중(예를 들어, MH)의 조합을 사용하여 인코딩되는 경우에 디블록킹 필터(DBF)를 수정하는 것에 관한 것이다. 이롭게도, 삼각형 파티션에 대해 또는 더 일반적으로는 기하학적 파티션에 대해 도시된 바와 같은 비-정사각형 또는 비-직사각형 블록들은 도 7에 도시된 바와 같이 공간적으로 가변적인 가중치를 갖는 2개의 예측의 조합으로서 고려된다.

이롭게도, 적어도 하나의 실시예에서, DBF 프로세스(필터 강도 도출 및 필터링)는 원래의 DBF 의도 및 효율을 유지하도록 수정되며, 따라서 종래 기술의 방법들에 비해 그 효율을 증가시킨다.

도 8은 적어도 일 실시예의 일반적인 양태에 따른 이미지의 일부를 디블록킹하기 위한 방법의 일례를 도시한다. 예비 단계(S110)에 따르면, 2개의 이웃 블록에 관한 정보가 액세스된다. 2개의 이웃 블록은 이후에 제1 블록(P) 및 제2 블록(Q)으로 지칭되며, 이들은 제한 없이 교환 가능하다. 용어들 제1 및 제2는 2개의 블록들을 설명하기 위하여 본원에서 이용될 수도 있고, 이 2개의 블록들은 이 용어들에 의해 제한되지 않아야 한다. 이들 용어는 단지 하나의 요소를 다른 요소와 구별하기 위해서만 사용된다. 제1 블록 P 및 제2 블록 Q는 필터링할 이미지의 부분에 속한다. 샘플들의 블록은, 비제한적인 예들에 따르면, 코딩 유닛 또는 변환 유닛 중 하나이다. 제1 단계(S120)에서, 샘플들의 제1 블록 P와 샘플들의 제2 블록 Q 사이의 적어도 하나의 경계가 결정된다. 특정 실시예에서, DBF로 필터링할 경계에서의 샘플에 대해 플래그 EdgeFlag는 1로 설정되고, DBF로 필터링되지 않을 샘플에 대해 플래그 EdgeFlag는 0으로 설정된다. DBF로 필터링되지 않을 샘플은 이미지의 경계 또는 슬라이스의 경계에서의 샘플 또는 (경계 샘플이 아닌) 블록(예를 들어 코딩 유닛 또는 변환 유닛) 내부의 샘플을 포함한다. 경계는 수평 경계(수평 에지) 또는 수직 경계(수직 에지)이다. 단계(S130)에서, DBF의 적어도 하나의 파라미터가 결정된다. 앞에서 노출된 바와 같이, DBF의 적어도 하나의 파라미터는 필터의 경계 강도(BS), 및 필터 강도(FS)를 포함한다. 경계 강도(BS)는 약한(BS = 0), 정상 (BS = 1), 또는 강한 (BS = 2) 값들 중에서 선택된다. 필터 강도(FS)는 필터를 적용할지 여부 및 블록 경계의 각 측에서 영향을 받을 픽셀이 더 많을지 또는 더 적을지에 관한 결정 프로세스의 결과를 지칭한다. 결정 프로세스는 제1 블록 P 및 제2 블록 Q의 샘플들의 값에 대한 적어도 하나의 조건을 포함한다. 단계(S140)에서, 경계 강도(BS)는 제1 블록의 예측 모드 및 제2 블록의 예측 모드 중 적어도 하나에 따라 결정된다. 유리하게는, 경계 강도(BS)는 제1 예측과 제2 예측을 조합하는 가중 예측 모드인 예측 모드에 적응된다. 특정 특성에 따르면, 제1 블록의 예측 모드가 가중 예측 모드인 경우, 경계 강도(BS)는 제1 블록의 가중 예측 모드에 따라 샘플들의 제1 블록을 예측하는 데 사용되는 샘플들의 상대적 가중치에 추가로 의존한다. 특정 특성에 따르면, 가중 예측 모드는 코딩 유닛 레벨 가중치들(BCW)을 갖는 양방향 예측이라고도 하는 일반화된 양방향 예측(GBi), 인트라 및 인터 예측된 샘플들을 조합하는 다중-가설 예측(MH-인터-인트라) 또는 인터 및 인터 예측된 샘플들을 조합하는 다중-가설 예측(MH-인터-인터), 인터 병합 및 인트라 예측된 샘플들을 조합하는 조합된 인터 병합 인트라 예측, 블록의 기하학적 파티션에 따라 인터 예측된 샘플들을 조합하는 기하학적 예측, 블록의 대각선 에지를 따라 인터 예측된 샘플들을 조합하는 삼각형 예측을 포함하는, 이전에 설명된 코딩 모드 중 하나이다. BS를 결정하기 위한 다양한 실시예들이 이하에서 설명된다. 특정 실시예에 따르면, 제1 블록의 가중 예측 모드에 따라 샘플들의 제1 블록을 예측하는 것은 제1 예측 모드를 사용하여 결정된 제1 예측자 P0와 제2 예측 모드를 사용하여 결정된 제2 예측자 P1의 가중 조합(w0, w1=1-w0)으로서 제1 블록의 샘플을 예측하는 것을 포함하고, 제1 블록의 샘플은 제1 예측자의 가중치 w0가 레벨을 초과하는 경우에 경계 강도를 결정하기 위해 제1 예측 모드를 사용하는 것으로서 고려된다. 다른 특정 실시예에 따르면, 제1 예측자의 가중치 w0가 레벨을 초과하는 샘플들의 수는 BS에서 제1 블록에 대해 사용할 모드를 결정한다. 특정 변형예에 따르면, 레벨은 0으로 설정된다. 다른 특정 변형예에 따르면, 경계 강도는 동일한 상대적 가중치를 공유하는 블록의 샘플들의 그룹에 대해 결정된다. 비제한적인 예들에 따르면, 샘플들의 그룹은 하나의 샘플, 또는 4x4 샘플들, 및 최대로는 블록의 모든 샘플들까지를 포함한다. 그 다음, 단계(S160)에서, DBF 필터링 프로세스는 결정된 경계 강도(BS)에 따라 경계를 따르는 제1 및 제2 블록에 적용된다.

이전의 접근법에서, 하나의 직사각형 또는 정사각형 블록에 대한 DBF 파라미터들의 선택은 도 2에 도시된 바와 같이 수직(각각 수평) 경계{p3_i, p2_i, p1_i, p0_i, q0_i, q1_i, q2_i, q3_i}의 각각의 측 상의 라인(또는 열) 샘플들의 각각의 세트에 대해 수행된다. 그러나, 구현을 용이하게 하기 위해, 예를 들어 4x4 서브 블록들과 같은 샘플들의 그룹별로 DBF 파라미터들을 관리/설정하는 것이 일반적으로 바람직하다.

따라서, 이하에서는, 현재 블록에 대한 DBF 파라미터들이 사이즈 4x4 서브 블록들의 샘플들의 그룹마다 설정되는 경우에서의 실시예들이 설명된다. 그러나, 본 원리들은 4x4 서브-블록들에 대한 DBF 파라미터들을 결정하는 것에 제한되지 않는다. 본 기술분야의 통상의 기술자는 다른 크기에 대해 또는 심지어 단일 라인(또는 단일 열)마다 이하의 예들로부터 파라미터를 간단하게 추론할 것이다. 그 후, 블록은 서브-블록들의 세트로 파티셔닝되고, 하나의 라인(각각 열) 내의 샘플 값들에 관련된 DBF 파라미터들(예를 들어, 필터링 강도)을 제외하고, 서브-블록들의 모든 샘플들에 대해 동일한 DBF 파라미터들(예를 들어, BS)이 도출된다.

도 7은 특정 실시예에 따른 삼각형 논리적 파티셔닝(좌측) 및 블렌딩 맵(우측)의 일례를 나타낸다. 예를 들어 삼각형들과 같은 비-직사각형 파티셔닝의 경우에, 하나의 서브-블록의 일부 샘플들은 단방향 예측으로 예측되고 다른 것들은 양방향 예측(2개의 단방향 예측들의 블렌딩)으로 예측되는 일이 발생할 수 있다. 도 7의 좌측에서, 서브블록 sb2는 단방향 예측으로 예측된 서브블록을 나타내는 반면, 서브블록 sb3은 양방향 예측으로 예측된 서브블록을 나타낸다. 이 경우에, BS의 선택이 각각의 샘플에 대해 개별적으로 행해지는 경우, BS는 샘플마다 다를 수 있는데, 그 이유는 단계들(320, 330, 340)이 상이한 결과들을 제공할 수 있기 때문이다.

이하에서, 각각의 샘플(x)에 대해 제1 예측자 블록 P0 및 제2 예측자 블록 P1에 각각 연관된 블렌딩 가중치 w0(x) 및 w1(x)를 포함하는 2개의 블렌딩 맵을 각각의 서브-블록에 연관시킬 것이다. 이 맵의 목적은 실시예들의 설명을 용이하게 하기 위한 것이고, 그러면 그것은 가상일 수 있는데, 이는 그것이 계산되거나 메모리 시스템에 저장되지 않을 수 있다는 것을 의미한다. 전통적인 양방향 예측의 경우, 2개의 맵은 1/2과 동일하게 균일하다. GBi의 경우, 2개의 맵은 예를 들어 각각 3/8 및 5/8과 동일하게 균일하다. MH의 경우, 예를 들어 w0(x)=w_intra(x) 및 w1(x)=w_inter(x)이다.

이미지의 일부를 디블록킹하기 위한 일반적인 방법에서 사용되는 경계 강도(BS)를 결정하기 위한 여러 실시예가 설명되며, 실시예들은 여러 실시예의 임의의 조합에 따라 함께 배열될 수 있다.

디블록킹 필터의 제1 실시예

제1 실시예는 경계 강도가 양방향 예측 또는 가중된 양방향 예측에서 사용되는 샘플들의 수 및 샘플들의 상대적 가중치에 적응되는 디블록킹 필터를 포함한다. 이 실시예는 경계의 한 측 상의 하나의 서브-블록이 기하학적 파티션 또는 GBi를 이용하는 경우에 유리하게 잘 적응된다.

주어진 서브-블록에 대해, 도 3의 프로세스(320)는 다음과 같이 수정된다:

a) 서브-블록 내의 적어도 하나의 샘플이 양방향 예측되면, 서브-블록은 BS의 결정을 위해 양방향 예측되는 것으로 고려된다(예를 들어, 도 7의 우측의 블렌딩 맵에 따라 sb2 및 sb3).

b) 변형에서, 서브-블록에서 양방향 예측을 이용하는 샘플들의 상대적 수가 임계치보다 높다면, 서브-블록은 BS의 결정을 위해 양방향 예측된 것으로 고려된다(예를 들어, 도 7의 우측의 블렌딩 맵에 따라 14개의 양방향 예측된 샘플을 갖는 sb3은 양방향 예측된 것으로 고려되는 반면, 도 7의 우측의 블렌딩 맵에 따라 3개의 양방향 예측된 샘플을 갖는 sb2는 단방향 예측된 것으로 고려된다).

c) 변형에서, 서브-블록 내의 양방향 예측된 샘플들의 수의 계산은 하나의 블렌딩 가중치(w0(x) 또는 w1(x))가 임계치 또는 레벨(예를 들어, th=1/4) 아래인 샘플들을 배제한다. 이러한 샘플들은 단방향 예측된 것으로 고려된다.

d) 변형에서, n0을 예측에 대해 기준 0을 사용하는 샘플들의 상대적 수라고 하고, n1을 예측에 대해 기준 1을 사용하는 샘플들의 상대적 수라고 하면, n0/(n0+n1) 및 n1/(n0+n1)이 임계치보다 우수하면, 서브-블록은 BS의 결정을 위해 양방향 예측되는 것으로 고려된다.

비제한적인 값에 따르면, b), c) 및 d)에서, 임계치 또는 레벨은 0이다.

이롭게도, 임계치는 예를 들어 블록의 크기 및 파티션 타입에 의해 인덱싱되는 탐색표 내에 하드 코딩된다.

디블록킹 필터의 제2 실시예

제2 실시예는 경계 강도가 인터 및 인트라 예측 샘플들을 조합할 때 또는 인터 및 인터 예측 샘플들을 조합할 때 사용되는 샘플들의 상대적 가중치에 국지적으로 적응되는 디블록킹 필터를 포함한다. 이 실시예는 유리하게는 경계의 한 측 상의 하나의 서브-블록이 MH를 이용하는 경우에 잘 적응된다.

MH-인터-인트라를 사용하는 서브블록을 고려하면:

a) w_intra(x)가 임계치/레벨보다 높은 블록의 영역은 인트라로 고려된다. 예를 들어, 도 5의 MH-인터-인트라 예의 경우, 처음 3개의 상부 영역은 인트라로 고려된다.

b) w_inter(x)가 임계치/레벨보다 큰 블록의 영역들은 인터로 고려된다. 인터-예측이 양방향 예측(또는 단방향)이면, 영역은 양방향 예측(각각 단방향)으로 고려된다. 예를 들어, 도 5의 MH-인터-인트라 예의 경우, 마지막 하단 영역 (w_inter(x)= 6/8)은 인터로 고려된다.

이전과 같이, 변형에서, 임계치 또는 레벨은 0이라는 점에 유의한다.

게다가, 일 변형에서, 임계치는 블록의 크기 및 사용되는 인트라 방향에 의해 인덱싱되는 탐색표 내에서 하드 코딩된다.

따라서, a)에 따르면, 제1 예측 모드가 하나의 인트라 예측 모드인 경우 및 제1 예측자의 가중치(w_intra(x))가 레벨을 초과하는 경우, 제1 블록의 샘플은 경계 강도를 결정하기 위해 인트라 예측 모드를 사용하는 것으로서 고려된다. 특히, 이것은 방향성 인트라 예측(예를 들어, 도 5에 예시된 바와 같은 수직 인트라 예측) 및 DC 또는 평면과 같은 비방향성 모드를 포함하는 인트라 예측 모드들 중 임의의 것에 적용된다. 게다가, 평면 또는 DC 모드의 경우에, 동일한 가중치들이 블록의 전체 영역에 적용되어 블록의 전체 영역에 대해 동일한 인트라 예측 모드를 야기한다. 원래의 DBF 의도에 따르면, BS는 제1 블록(P) 또는 제2 블록(Q)이 인트라인 경우에 강하게(BS=2) 설정되고, 따라서 제1 예측 모드가 하나의 인트라 예측 모드인 경우에 그리고 제1 예측자(w_intra(x))의 가중치가 레벨 위인 경우에, 경계 강도는 강하게 설정된다. CIIP(MH-인터-인트라, 여기서 인트라는 평면임)에 대응하는 특정 변형에서, BS는 블록에 대해 강함(BS=2)으로 설정된다.

게다가, b)에 따르면, 제1 예측 모드가 하나의 인터 예측 모드인 경우에 그리고 제1 예측자의 가중치(w_inter(x))가 레벨을 초과하는 경우에, 제1 블록의 샘플은 경계 강도를 결정하기 위해 인터 예측 모드를 사용하는 것으로서 고려된다. 특히, 이것은 단방향 및 양방향 인터 예측을 포함하는 인터 예측 모드들 중 임의의 것에 적용된다. 따라서, 제1 예측 모드가 인터 양방향 예측 모드인 경우, 제1 블록의 샘플은 경계 강도를 결정하기 위해 인터 양방향 예측 모드를 사용하는 것으로 고려되고, 각각 제1 예측 모드가 인터 단방향 예측 모드인 경우, 제1 블록의 샘플은 경계 강도를 결정하기 위해 인터 단방향 예측 모드를 사용하는 것으로 고려된다. 그 후, 기준 인덱스 및 모션 벡터 차이들에 관한 상이한 변형 체크들이 양방향 또는 단방향 인터 예측 모드에 따라 처리된다.

양방향 예측된 P0 및 단방향 예측된 P1을 갖는 MH-인터-인터를 사용하는 서브-블록을 고려하면:

c) w0(x)가 임계치/레벨보다 높은 블록의 영역들은 양방향 예측된 것으로 고려되는 반면, w1(x)가 임계치보다 높은 블록의 영역들은 단방향 예측된 것으로 고려된다.

d) 변형에서, 적어도 P0 또는 P1이 양방향 예측되고 {w0(x);w1(x)}가 둘 다 임계치보다 높으면, 체크1 및 체크2는 다음과 같이 변경된다:

(i;j)의 모든 쌍 값들에 대해: ref-i_P ≠ ref-j_Q (체크1)

ref-i_P = ref-j_Q인 하나의 쌍 값 (i;j)에 대해: | MVi_P - MVj_Q |> 임계치 (체크2)

여기서, (i;j)는 예컨대 ref-i_P >=0 및 ref-j_Q >= 0 임.

이롭게도, 임계치는 블록의 크기 및 파티션 타입에 의해 인덱싱되는 탐색표 내에서 하드 코딩될 수 있다.

디블록킹 필터의 제3 실시예

제3 실시예는 경계 강도가 예측에 사용된 샘플들의 가중치에 적응되는 디블록킹 필터를 포함한다. 이 실시예는 유리하게도 경계의 일 측에 있는 하나의 서브-블록이 일반화된 양방향 예측(GBi) 또는 BCW를 사용하는 경우에 잘 적응된다.

기준-0 및 기준-1에 연관된 GBi 가중치들 (w0(x);w1(w))이 디폴트들이 아닌 서브-블록을 고려한다:

a) w0(x) 또는 w1(x)가 임계치보다 낮으면, 블록은 단계들(320, 330)에서 단방향 예측 {MV1,ref-1} (또는 각각 MV0,ref-0)로서 고려되고, {MV1,ref-1} (또는 각각 MV0,ref-0)만이 (340)에서 사용된다.

디블록킹 필터의 제4 실시예

제4 실시예는 경계 강도를 결정하기 위해 모션 벡터들이 POC 차이로 정규화되는 디블록킹 필터를 포함한다. 제1 블록 P와 제2 블록 Q가 상이한 기준 인덱스들을 갖는 경우, 테스트(320)는 "거짓"으로 추론되고, (340)에 대해 Q(또는 P)의 MV 값은 P(또는 Q 각각)와 동일한 POC로 재스케일링된다.

디블록킹 필터의 제5 실시예

제5 실시예는 경계 강도를 결정하는 것이 경계에서의 블록들 중 하나의 코딩 모드가 MH, GBi, 양방향 예측 중 적어도 하나인지에 대한 테스트(추가 조건)를 포함하는 디블록킹 필터를 포함한다.

도 9는 제5 실시예에 따른 디블록킹 필터 방법에서의 경계 강도의 결정의 플로우차트를 도시한다. BS(300)의 결정은 제1 블록 P 또는 제2 블록 Q의 코딩 모드(XX)에 대한 추가적인 조건(315)을 포함하도록 수정된다. BS의 결정이 도 3에 기술된 스킴을 따르는 경우, 이 추가적인 조건은 도 9의 하나의 비제한적인 예에 도시된 바와 같이 조건들(310, 320, 330, 340) 중 하나의 전/후/사이에 배치될 수 있다. 비제한적인 예들에 따르면, XX는 MH 및/또는 GBi 및/또는 양방향 예측이다. 다른 비제한적인 예들에 따르면, 제1 블록 P 또는 제2 블록 Q의 코딩 모드(XX)를 결정하는 것은 제1, 제2 또는 제3 실시예에 대해 설명된 변형들 중 임의의 것과 호환가능하다. 예를 들어, 블록의 코딩 모드는 양방향 예측에서 사용되는 샘플들의 개수 및 샘플들의 상대적 가중치에 기초하여 결정되고, 블록의 코딩 모드는 MH에서 사용되는 샘플들의 상대적 가중치에 기초하여 결정된다. 코딩 모드가 인트라로서 결정되는 경우, BS는 2로 설정된다.

디블록킹 필터의 제6 실시예

제6 실시예는 (경계 강도 파라미터의 결정 시에) 디블록킹 필터에서의 후속 사용을 위해 디코딩/재구성에서 코딩 파라미터들이 수정되어 저장되는 인코더/디코더를 포함한다. 도 10은 특정 실시예들에 따른 디블록킹 필터 방법에서의 경계 강도(BS) 파라미터의 결정에 사용되는 CU 파라미터들의 저장의 2개의 플로우차트를 나타낸다. 도 10의 좌우 이미지의 일부를 디블록킹하기 위한 방법(500)은 인코더 또는 디코더의 인-루프 필터링에서 구현된다. 이 방법은 BS를 결정하는 단계(330) 및 필터 DBF를 적용하는 단계(400)를 포함한다.

도 10의 좌측에 표현된 실시예에서, BS 파라미터들의 결정은 CU (또는 서브-CU) 파라미터들(예를 들어, P, Q 모드들, 기준 인덱스들, MV 값들)의 서브세트에 의존하고 이전에 노출된 실시예들에 따라 수정된다. 도 10의 우측에 표현된 다른 실시예에서, BS 파라미터들(300)의 결정은 변경되지 않지만, CU(또는 서브-CU) 파라미터들의 이 서브세트의 일부는 현재 CU(각각 서브-CU)를 디코딩(510) 및 재구성(520)하기 위한 그들의 사용 후에 수정되고(530) 다른 프로세스(예를 들어, DBF 프로세스)에 의해 이용가능하도록 저장된다. CU 파라미터들의 이 서브세트의 수정은 다른 디코딩된 CU 파라미터들(515)의 함수이다. 따라서, 이 함수는 CU(또는 서브-CU) 파라미터들의 디코딩된 서브세트 이외의 다른 파라미터들에 따라 BS의 값(300의 출력)을 만드는 것을 허용한다.

예를 들어, 코딩 모드가 MH-인터-인트라인 경우, 그리고 w_intra(x)가 임계치보다 큰 경우, 코딩 모드는 저장 전에 인트라로서 수정되며, 따라서 300에서 BS는 인트라 예측 모드에 대응하는 강함(BS=2)으로 설정된다. 이런 식으로, MH-인터-인트라 또는 CIIP에 관하여 제2 실시예의 변형 a)에 기술된 것과 동일한 거동을 얻는다.

또 다른 예에서, 서브-블록에서 양방향 예측을 이용하는 샘플들의 상대적 수가 임계치보다 크다면, 서브-블록 코딩 모드는 저장 전에 양방향 예측된 것으로서 수정되어, 단계(300)에서, 현재 CU는 양방향 예측된 것으로서 설정되고, 제1 실시예의 변형 b)에서 설명된 것과 동일한 거동을 획득한다.

변형에서, 나중의 사용을 위해 저장된 이러한 수정된 CU(또는 서브-CU) 파라미터들은 DBF 이외의 다른 프로세스를 위해 다른 CU(또는 서브-CU들)에 의해 사용된다. 예를 들어, 수정된 MV 값들은 나중에 시간 모션 예측(예를 들어, ATMVP)을 위해 사용될 수 있다.

추가 실시예들 및 정보

이 출원은 도구, 특징, 실시예, 모델, 접근법 등을 포함하는 다양한 양태를 설명한다. 다수의 이들 양태들은 특별한 점을 설명하고, 적어도 개별 특성들을 보여주기 위해, 제한하는 것으로 보일 수 있는 방식으로 종종 설명된다. 그러나, 이는 설명의 명료함을 위한 것이고, 그들 양태들의 적용 또는 범위를 제한하지 않는다. 실제로, 추가의 양태들을 제공하기 위해 상이한 양태들 모두가 조합되고 교환될 수 있다. 더구나, 양태들은 이전의 출원들에서 설명된 양태들과 조합되고 교환될 수 있다.

본 출원에서 설명되고 고려되는 양태들은 많은 상이한 형태들로 구현될 수 있다. 아래의 도 11, 도 12 및 도 13은 일부 실시예들을 제공하지만, 다른 실시예들이 고려되며, 도 11, 도 12 및 도 13의 설명은 구현들의 범위를 한정하지 않는다. 양태들 중 적어도 하나는 대체로 비디오 인코딩 및 디코딩에 관한 것이고, 적어도 하나의 다른 양태는 대체로 생성되거나 또는 인코딩된 비트스트림을 송신하는 것에 관한 것이다. 이들 및 다른 양태들은 방법, 장치, 설명된 방법들 중 임의의 것에 따른 비디오 데이터를 인코딩 또는 디코딩하기 위한 명령어들을 저장하는 컴퓨터 판독가능 저장 매체, 및/또는 설명된 방법들 중 임의의 것에 따라 생성된 비트스트림을 저장하는 컴퓨터 판독가능 저장 매체로서 구현될 수 있다.

본 출원에서, "재구성된" 및 "디코딩된"이란 용어들은 상호교환가능하게 사용될 수 있으며, "픽셀" 및 "샘플"이란 용어들은 상호교환가능하게 사용될 수 있으며, "이미지", "픽처" 및 "프레임"이란 용어들은 상호교환가능하게 사용될 수 있다. 필수적은 아니지만 통상적으로, 용어 "재구성된"은 인코더 측에서 사용되는 한편, "디코딩된"은 디코더 측에서 사용된다.

다양한 방법들이 본 명세서에서 설명되었고, 방법들 각각은 설명된 방법을 달성하기 위한 하나 이상의 단계 또는 동작들을 포함한다. 방법의 적절한 동작을 위해 단계들 또는 동작들의 특정 순서가 요구되지 않으면, 특정 단계들 및/또는 동작들의 순서 및/또는 사용은 수정되거나 조합될 수 있다.

본 출원에서 설명된 다양한 방법들 및 다른 양태들은 모듈들, 예를 들어, 도 11 및 도 12에 도시된 바와 같은 비디오 인코더(100) 및 디코더(200)의 인-루프 필터들(165, 265)을 수정하기 위해 사용될 수 있다. 더욱이, 본 양태들은 VVC 또는 HEVC로 제한되지 않고, 예를 들어, 기존의 것이든 장래에 개발될 것이든 간에, 다른 표준들 및 권고들, 및 임의의 그러한 표준들 및 권고들 (VVC 및 HEVC를 포함함)의 확장들에 적용될 수 있다. 달리 표시되거나 또는 기술적으로 배제되지 않는 한, 본 출원에서 설명되는 양태들은 개별적으로 또는 조합하여 사용될 수 있다.

다양한 수치 값들, 예를 들어, DBF 파라미터들이 추정되는 서브블록 4x4의 크기가 본 출원에서 사용된다. 특정 값들은 예시적인 목적들을 위한 것이고 설명되는 양태들은 이러한 특정 값들로 제한되지는 않는다.

도 11은 인코더(100)를 도시한다. 이 인코더(100)의 변형들이 고려되지만, 인코더(100)는 모든 예상되는 변동들을 설명하지 않고 명료함을 위해 아래에서 설명된다.

인코딩되기 전에, 비디오 시퀀스는 프리-인코딩 처리(101), 예를 들어, 입력 컬러 픽처에 컬러 변환을 적용하는 것(예를 들어, RGB 4:4:4로부터 YCbCr 4:2:0로의 변환), 또는 (예를 들면 컬러 컴포넌트들 중 하나의 컬러 컴포넌트의 히스토그램 등화를 사용하여) 압축에 더 탄력적인 신호 분산을 얻기 위하여 입력 픽처 컴포넌트들의 리매핑을 수행하는 것을 겪을 수 있다. 메타데이터는 프리-처리에 연관되고, 비트스트림에 첨부된다.

인코더(100)에서, 픽처는 아래에서 설명되는 바와 같이 인코더 요소들에 의해 인코딩된다. 인코딩될 픽처는 예를 들어, CU의 유닛들로 파티셔닝되고(102) 처리된다. 각각의 유닛은 예를 들어, 인트라 또는 인터 모드를 사용하여 인코딩된다. 유닛이 인트라 모드에서 인코딩될 때, 이는 인트라 예측(160)을 수행한다. 인터 모드에서는, 모션 추정(175) 및 보상(170)이 수행된다. 인코더는 유닛을 인코딩하기 위해 인트라 모드 또는 인터 모드 중 어느 것을 사용할지를 결정(105)하고, 예를 들어, 예측 모드 플래그에 의해 인트라/인터 결정을 표시한다. 예측 잔차들은, 예를 들어, 원래의 이미지 블록으로부터 예측된 블록을 감산함으로써(110) 계산된다.

예측 잔차들이 이어서 변환되고(125) 양자화된다(130). 양자화된 변환 계수들뿐만 아니라 모션 벡터들 및 다른 신택스 요소들은, 비트스트림을 출력하도록 엔트로피 코딩(145)된다. 인코더는 변환을 건너 뛰고 비변환된 잔차 신호에 직접 양자화를 적용할 수 있다. 인코더는 변환 및 양자화 둘 다를 우회할 수 있으며, 즉, 잔차는 변환 또는 양자화 프로세스들의 적용 없이 직접 코딩된다.

인코더는 추가적 예측들을 위한 기준을 제공하기 위해 인코딩된 블록을 디코딩한다. 예측 잔차들을 디코딩하기 위해, 양자화된 변환 계수들은 역양자화되고(140) 역변환된다(150). 디코딩된 예측 잔차들 및 예측된 블록을 조합하면(155), 이미지 블록이 재구성된다. 인-루프 필터들(165)은, 예를 들어, 인코딩 아티팩트들을 줄이기 위한 디블록킹/샘플 적응 오프셋(Sample Adaptive Offset, SAO) 필터링을 수행하기 위해 재구성된 픽처에 적용된다. 필터링된 이미지는 기준 픽처 버퍼(180)에 저장된다.

도 12는 비디오 디코더(200)의 블록도를 도시한다. 디코더(200)에서, 비트스트림은 아래에서 설명되는 바와 같이 디코더 요소들에 의해 디코딩된다. 비디오 디코더(200)는 일반적으로 도 11에 설명된 바와 같이 인코딩 패스에 역인 디코딩 패스를 수행한다. 인코더(100)는 또한 일반적으로 비디오 데이터의 인코딩의 일부로서 비디오 디코딩을 수행한다.

특히, 디코더의 입력은 비디오 인코더(100)에 의해 생성될 수 있는 비디오 비트스트림을 포함한다. 비트스트림은, 변환 계수들, 모션 벡터들 및 다른 코딩된 정보를 획득하기 위해 먼저 엔트로피 디코딩된다(230). 픽처 파티션 정보는 픽처가 파티셔닝되는 방법을 표시한다. 그러므로 디코더는 디코딩된 픽처 파티셔닝 정보에 따라 픽처를 분할할 수 있다(235). 변환 계수들은 예측 잔차들을 디코딩하기 위해 역양자화되고(240) 역변환된다(250). 디코딩된 예측 잔차들 및 예측된 블록을 조합하면(255), 이미지 블록이 재구성된다. 예측된 블록은 인트라 예측(260) 또는 모션 보상 예측(즉, 인터 예측)(275)으로부터 획득될 수 있다(270). 인-루프 필터들(265)은 재구성된 이미지에 대해 적용된다. 필터링된 이미지는 기준 픽처 버퍼(280)에 저장된다.

디코딩된 픽처는 포스트-디코딩 프로세스(285), 예를 들어, 역 컬러 변환(예를 들어, YCbCr 4:2:0로부터 RGB 4:4:4로의 변환) 또는 프리-인코딩 프로세스(101)에서 수행되는 리매핑 프로세스의 역을 수행하는 역 리매핑을 추가로 겪을 수 있다. 포스트-디코딩 프로세스는 프리-인코딩 프로세스에서 도출되고 비트스트림에서 시그널링되는 메타데이터를 사용할 수 있다.

도 13은 다양한 양태들 및 실시예들이 구현되는 시스템의 예의 블록도를 예시한다. 시스템(1000)은 아래에서 설명되는 다양한 컴포넌트들을 포함하는 디바이스로서 실시될 수 있고 이 문서에서 설명되는 양태들의 하나 이상을 수행하도록 구성된다. 그러한 디바이스들의 예는 개인용 컴퓨터, 랩톱 컴퓨터, 스마트폰, 태블릿 컴퓨터, 디지털 멀티미디어 셋톱 박스, 디지털 텔레비전 수신기, 개인 비디오 기록 시스템, 접속된 가전 기기, 및 서버와 같은 다양한 전자 디바이스들을 포함하지만 이에 한정되지는 않는다. 시스템(1000)의 요소들은, 단독으로 또는 조합하여, 단일 집적 회로(IC), 복수의 IC, 및/또는 이산 컴포넌트들로 구현될 수 있다. 예를 들어, 적어도 하나의 실시예에서, 시스템(1000)의 처리 및 인코더/디코더 요소들은 다중의 IC 및/또는 개별 컴포넌트들에 걸쳐 분산된다. 다양한 실시예들에서, 시스템(1000)은, 예를 들어, 통신 버스를 통해 또는 전용 입력 및/또는 출력 포트들을 통해 하나 이상의 다른 시스템들에, 또는 다른 전자 디바이스들에 통신가능하게 조합된다. 다양한 실시예들에서, 시스템(1000)은 본 문서에서 설명된 양태들 중 하나 이상을 구현하도록 구성된다.

시스템(1000)은, 예를 들어, 본 문서에 설명된 다양한 양태들을 구현하기 위해, 그 안에 로딩된 명령어들을 실행하도록 구성된 적어도 하나의 프로세서(1010)를 포함한다. 프로세서(1010)는 내장된 메모리, 입력 출력 인터페이스, 및 본 기술분야에 공지된 다양한 다른 회로들을 포함할 수 있다. 시스템(1000)은 적어도 하나의 메모리(1020)(예를 들어, 휘발성 메모리 디바이스 및/또는 비휘발성 메모리 디바이스)를 포함한다. 시스템(1000)은 EEPROM(전기적으로 소거할 수 있는 프로그래밍 가능한 판독 전용 메모리), ROM(판독 전용 메모리), PROM(프로그래밍 가능한 판독 전용 메모리), RAM(랜덤 액세스 메모리), DRAM(동적 랜덤 액세스 메모리), SRAM(정적 랜덤 액세스 메모리), 플래시, 자기 디스크 드라이브, 및/또는 광 디스크 드라이브를 포함하지만 이에 한정되지는 않는 비휘발성 메모리 및/또는 휘발성 메모리를 포함할 수 있는 저장 디바이스(1040)를 포함한다. 저장 디바이스(1040)는 비제한적 예들로서, 내부 저장 디바이스, 부착된 저장 디바이스(디태처블(detachable) 및 비-디태처블 저장 디바이스들을 포함함), 및/또는 네트워크 액세스가능한 저장 디바이스를 포함할 수 있다.

시스템(1000)은, 예를 들어, 인코딩된 비디오 또는 디코딩된 비디오를 제공하기 위해 데이터를 처리하도록 구성된 인코더/디코더 모듈(1030)을 포함하고, 인코더/디코더 모듈(1030)은 그 자신의 프로세서 및 메모리를 포함할 수 있다. 인코더/디코더 모듈(1030)은 인코딩 및/또는 디코딩 기능들을 수행하기 위해 디바이스에 포함될 수 있는 모듈(들)을 나타낸다. 알려진 바와 같이, 디바이스는 인코딩 및 디코딩 모듈들 중 하나 또는 둘 모두를 포함할 수 있다. 또한, 인코더/디코더 모듈(1030)은 시스템(1000)의 별도 요소로서 구현될 수 있거나, 또는 본 기술분야의 통상의 기술자에게 공지된 바와 같이 하드웨어 및 소프트웨어의 조합으로서 프로세서(1010) 내에 통합될 수 있다.

본 문서에 설명된 다양한 양태들을 수행하기 위해 프로세서(1010) 또는 인코더/디코더(1030) 상에 로딩될 프로그램 코드는 저장 디바이스(1040)에 저장될 수 있고, 후속하여 프로세서(1010)에 의한 실행을 위해 메모리(1020) 상에 로딩될 수 있다. 다양한 실시예들에 따르면, 프로세서(1010), 메모리(1020), 저장 디바이스(1040), 및 인코더/디코더 모듈(1030) 중 하나 이상은 본 문서에 설명된 프로세스들의 수행 동안 다양한 아이템들 중 하나 이상을 저장할 수 있다. 이러한 저장된 항목들은 입력 비디오, 디코딩된 비디오 또는 디코딩된 비디오의 부분들, 비트스트림, 행렬들, 변수들, 및 수학식들, 공식들, 연산들 및 연산 로직의 처리로부터의 중간 또는 최종 결과들을 포함할 수 있지만, 이에 제한되지는 않는다.

몇몇 실시예에서, 프로세서(1010) 및/또는 인코더/디코더 모듈(1030)의 내부에 있는 메모리는 명령어들을 저장하기 위해, 및 인코딩 또는 디코딩 동안 필요한 처리를 위해 작업 메모리를 제공하기 위해 사용된다. 그러나, 다른 실시예들에서, 처리 디바이스(예를 들어, 처리 디바이스는 프로세서(1010) 또는 인코더/디코더 모듈(1030) 중 하나일 수 있음) 외부의 메모리가 이러한 기능들 중 하나 이상을 위해 사용된다. 외부 메모리는 메모리(1020) 및/또는 저장 디바이스(1040), 예를 들어, 동적 휘발성 메모리 및/또는 비휘발성 플래시 메모리일 수 있다. 몇몇 실시예에서, 외부 비휘발성 플래시 메모리는 예를 들어 텔레비전의 운영 체제를 저장하기 위해 사용된다. 적어도 하나의 실시예에서, RAM과 같은 고속 외부 동적 휘발성 메모리는 MPEG-2(MPEG는 이동성 픽처 전문가 그룹(Moving Picture Experts Group)을 지칭하고, MPEG-2는 ISO/IEC 13818로도 지칭되고, 13818-1은 H.222로도 알려져 있고, 13818-2는 H.262로도 알려져 있음), HEVC(HEVC는 H.265 및 MPEG-H 파트 2로도 알려져 있는 고효율 비디오 코딩을 지칭함), 또는 VVC(다목적 비디오 코딩, JVET, 즉 공동 비디오 전문가 팀에 의해 개발되고 있는 새로운 표준)와 같은 비디오 코딩 및 디코딩 동작들을 위한 작업 메모리로서 사용된다.

시스템(1000)의 요소들에의 입력은 블록(1130)에 표시된 바와 같이 다양한 입력 디바이스들을 통해 제공될 수 있다. 이러한 입력 디바이스들은 (i) 예를 들어, 브로드캐스터에 의해 공중을 통해 송신된 RF 신호를 수신하는 무선 주파수(RF) 부분, (ii) 컴포넌트(COMP) 입력 단자(또는 COMP 입력 단자들의 세트), (iii) 범용 직렬 버스(USB) 입력 단자, 및/또는 (iv) 고선명 멀티미디어 인터페이스(HDMI) 입력 단자를 포함하지만, 이에 한정되지는 않는다. 도 13에 도시되지 않은 다른 예들은 합성 비디오를 포함한다.

다양한 실시예들에서, 블록(1130)의 입력 디바이스들은 관련 기술분야에 알려진 바와 같은 연관된 각각의 입력 처리 요소들을 갖는다. 예를 들어, RF 부분은 (i) 원하는 주파수를 선택하는 것(또한 신호를 선택하는 것, 또는 주파수들의 대역에 신호를 대역 제한하는 것으로 지칭됨), (ii) 선택된 신호를 다운컨버팅하는 것, (iii) 주파수들의 더 좁은 대역으로 다시 대역 제한하여 특정 실시예들에서 채널로 지칭될 수 있는 (예를 들어) 신호 주파수 대역을 선택하는 것, (iv) 다운컨버팅된 및 대역 제한된 신호를 복조하는 것, (v) 에러 정정을 수행하는 것, 및 (vi) 데이터 패킷들의 원하는 스트림을 선택하기 위해 디멀티플렉싱하는 것에 적절한 요소들과 연관될 수 있다. 다양한 실시예들의 RF 부분은 이러한 기능들을 수행하기 위한 하나 이상의 요소, 예를 들어, 주파수 선택기들, 신호 선택기들, 대역 제한기들, 채널 선택기들, 필터들, 다운컨버터들, 복조기들, 에러 정정기들, 및 디멀티플렉서들을 포함한다. RF 부분은, 예를 들어, 수신된 신호를 더 낮은 주파수(예를 들어, 중간 주파수 또는 근 기저대역 주파수)로 또는 기저대역으로 다운컨버팅하는 것을 포함하여, 다양한 이러한 기능들을 수행하는 튜너를 포함할 수 있다. 하나의 셋톱 박스 실시예에서, RF 부분 및 그것의 연관된 입력 처리 요소는 유선(예를 들어, 케이블) 매체를 통해 송신되는 RF 신호를 수신하고, 필터링, 다운컨버팅, 및 원하는 주파수 대역으로의 재차 필터링에 의해 주파수 선택을 수행한다. 다양한 실시예들은 전술한 (및 다른) 요소들의 순서를 재배열하고, 이 요소들의 일부를 제거하고, 및/또는 유사하거나 상이한 기능들을 수행하는 다른 요소들을 추가한다. 요소들을 추가하는 것은, 예를 들어, 증폭기들과 아날로그-투-디지털 변환기를 삽입하는 것과 같이 기존 요소들 사이 내에 요소들을 삽입하는 것을 포함할 수 있다. 다양한 실시예들에서, RF 부분은 안테나를 포함한다.

또한, USB 및/또는 HDMI 단말들은 USB 및/또는 HDMI 접속들을 통해 다른 전자 디바이스들에 시스템(1000)을 접속하기 위한 제각기의 인터페이스 프로세서들을 포함할 수 있다. 입력 프로세스의 다양한 양태들, 예를 들어, 리드-솔로몬(Reed-Solomon) 에러 정정이, 예를 들어, 별도의 입력 처리 IC 내에서 또는 프로세서(1010) 내에서 필요에 따라 구현될 수 있다는 것을 이해해야 한다. 유사하게, USB 또는 HDMI 인터페이스 처리의 양태들은 필요에 따라 별도의 인터페이스 IC들 내에서 또는 프로세서(1010) 내에서 구현될 수 있다. 복조된, 에러 정정된, 및 디멀티플렉싱된 스트림은, 예를 들어, 프로세서(1010), 및 출력 디바이스 상의 프리젠테이션을 위해 필요한 대로 데이터 스트림을 처리하기 위해 메모리 및 저장 요소들과 조합하여 동작하는 인코더/디코더(1030)를 포함하는 다양한 처리 요소들에 제공된다.

시스템(1000)의 다양한 요소들은 통합된 하우징 내에 제공될 수 있다. 통합된 하우징 내에서, 다양한 요소들은 적합한 접속 배열, 예를 들어, I2C(Inter-IC) 버스, 배선, 및 인쇄 회로 기판들을 포함하는, 본 기술 분야에 공지된 것과 같은 내부 버스를 사용하여 상호접속되고 그들 사이에 데이터를 송신할 수 있다.

시스템(1000)은 통신 채널(1060)을 통해 다른 디바이스들과의 통신을 가능하게 하는 통신 인터페이스(1050)를 포함한다. 통신 인터페이스(1050)는 통신 채널(1060)을 통해 데이터를 송신하고 수신하도록 구성된 송수신기를 포함할 수 있지만, 이에 한정되는 것은 아니다. 통신 인터페이스(1050)는 모뎀 또는 네트워크 카드를 포함할 수 있지만, 이에 한정되지 않으며, 통신 채널(1060)은 예를 들어 유선 및/또는 무선 매체 내에 구현될 수 있다.

다양한 실시예들에서, Wi-Fi 네트워크, 예를 들어, IEEE 802.11(IEEE는 전기 전자 기술자 협회(Institute of Electrical and Electronics Engineers)를 지칭함)과 같은 무선 네트워크를 사용하여 데이터가 시스템(1000)에 스트리밍되거나 또는 다른 방식으로 제공된다. 이러한 실시예들의 Wi-Fi 신호는 Wi-Fi 통신들을 위해 적응되는 통신 인터페이스(1050) 및 통신 채널(1060)을 통해 수신된다. 이러한 실시예들의 통신 채널(1060)은 스트리밍 애플리케이션들 및 다른 OTT(오버-더-톱) 통신들을 허용하기 위해 인터넷을 포함하는 외부 네트워크들에 대한 액세스를 제공하는 액세스 포인트 또는 라우터에 통상적으로 접속된다. 다른 실시예들은 입력 블록(1130)의 HDMI 접속을 통해 데이터를 전달하는 셋톱 박스를 사용하여 스트리밍된 데이터를 시스템(1000)에 제공한다. 또 다른 실시예들은 입력 블록(1130)의 RF 접속을 사용하여 스트리밍된 데이터를 시스템(1000)에 제공한다. 위에 언급한 바와 같이, 다양한 실시예는 비-스트리밍 방식으로 데이터를 제공한다. 추가적으로, 다양한 실시예는 Wi-Fi 이외의 무선 네트워크들, 예를 들어, 셀룰러 네트워크 또는 블루투스 네트워크를 사용한다.

시스템(1000)은 디스플레이(1100), 스피커들(1110), 및 다른 주변 기기들(1120)을 포함하는 다양한 출력 디바이스들에 출력 신호를 제공할 수 있다. 다양한 실시예들의 디스플레이(1100)는, 예를 들어, 터치스크린 디스플레이, 유기 발광 다이오드(OLED) 디스플레이, 곡면 디스플레이, 및/ 또는 폴더블 디스플레이 중 하나 이상을 포함한다. 디스플레이(1100)는 텔레비전, 태블릿, 랩톱, 셀폰(모바일 폰), 또는 다른 디바이스를 위한 것일 수 있다. 디스플레이(1100)는 (예를 들어, 스마트폰에서와 같이) 다른 컴포넌트들과 통합되거나, 별개일 수 있다(예를 들어, 랩톱에 대한 외부 모니터). 다른 주변기기 디바이스들(1120)은, 실시예들의 다양한 예들에서, 독립형 디지털 비디오 디스크(또는 디지털 다기능 디스크)(DVR, 양자 모두에 대해), 디스크 플레이어, 스테레오 시스템, 및/또는 조명 시스템 중 하나 이상을 포함한다. 다양한 실시예들은 시스템(1000)의 출력에 기초하여 기능을 제공하는 하나 이상의 주변기기 디바이스(1120)를 사용한다. 예를 들어, 디스크 플레이어는 시스템(1000)의 출력을 재생하는 기능을 수행한다.

다양한 실시예에서, 제어 신호들은 AV.Link, CEC(소비자 전자 제어), 또는 사용자 개입을 이용하거나 이용하지 않고 디바이스-투-디바이스 제어를 가능하게 하는 다른 통신 프로토콜들과 같은 시그널링을 이용하여 시스템(1000)과 디스플레이(1100), 스피커들(1110), 또는 다른 주변기기 디바이스들(1120) 사이에서 통신된다. 출력 디바이스들은 각각의 인터페이스들(1070, 1080, 및 1090)을 통한 전용 접속들을 통해 시스템(1000)에 통신가능하게 조합될 수 있다. 대안적으로, 출력 디바이스들은 통신 인터페이스(1050)를 통해 통신 채널(1060)을 사용하여 시스템(1000)에 접속될 수 있다. 디스플레이(1100) 및 스피커들(1110)은, 예를 들어, 텔레비전과 같은 전자 디바이스에서 시스템(1000)의 다른 컴포넌트들과 함께 단일 유닛에 통합될 수 있다. 다양한 실시예들에서, 디스플레이 인터페이스(1070)는, 예를 들어, 타이밍 제어기(T Con) 칩과 같은 디스플레이 드라이버를 포함한다.

디스플레이(1100) 및 스피커(1110)는 대안적으로, 예를 들어, 입력(1130)의 RF 부분이 별도의 셋톱 박스의 일부인 경우, 다른 구성요소들 중 하나 이상으로부터 분리될 수 있다. 디스플레이(1100) 및 스피커들(1110)이 외부 구성요소들인 다양한 실시예들에서, 출력 신호는 예를 들어, HDMI 포트들, USB 포트들, 또는 COMP 출력들을 포함하는 전용 출력 접속들을 통해 제공될 수 있다.

실시예들은 하드웨어에 의해 또는 프로세서(1010)에 의해 구현되는 컴퓨터 소프트웨어에 의해, 또는 하드웨어 및 소프트웨어의 조합에 의해 수행될 수 있다. 비제한적인 예로서, 실시예들은 하나 이상의 집적 회로에 의해 구현될 수 있다. 메모리(1020)는 기술적 환경에 적절한 임의의 타입일 수 있고, 비제한적 예들로서, 광학적 메모리 디바이스들, 자기 메모리 디바이스들, 반도체 기반 메모리 디바이스들, 고정식 메모리, 및 이동식 메모리와 같은 임의의 적절한 데이터 저장 기술을 사용하여 구현될 수 있다. 프로세서(1010)는 기술적 환경에 적절한 임의의 타입으로 될 수 있고, 비제한적 예들로서 마이크로프로세서들, 범용 컴퓨터들, 특수 목적 컴퓨터들, 및 멀티 코어 아키텍처에 기초한 프로세서들 중 하나 이상을 포함할 수 있다.

다양한 구현들은 디코딩을 수반한다. 본 출원에서 사용되는 "디코딩"은 디스플레이에 적합한 최종 출력을 생성하기 위해, 예를 들어, 수신된 인코딩된 시퀀스에 대해 수행되는 프로세스들의 전부 또는 일부를 포함할 수 있다. 다양한 실시예들에서, 그러한 프로세스들은 디코더에 의해 통상적으로 수행되는 프로세스들, 예를 들어, 엔트로피 디코딩, 역양자화, 역변환, 및 차동 디코딩 중 하나 이상을 포함한다. 다양한 실시예에서, 그러한 프로세스들은 또한 또는 대안으로서 본 출원에서 설명되는 다양한 구현들의 디코더에 의해 수행되는 프로세스들, 예를 들어 픽처를 재구성하고, 디블록킹 필터의 파라미터들을 결정하고, 이어서 재구성된 픽처를 결정된 디블록킹 필터 파라미터들로 필터링하는 것을 포함한다.

추가 예들로서, 하나의 실시예에서, "디코딩"은 엔트로피 디코딩만을 지칭하고, 다른 실시예에서, "디코딩"은 차동 디코딩만을 지칭하고, 다른 실시예에서, "디코딩"은 엔트로피 디코딩 및 차동 디코딩의 조합을 지칭한다. "디코딩 프로세스"라는 문구가 구체적으로 동작들의 서브세트를 지칭하도록 의도되는지 또는 일반적으로 더 넓은 디코딩 프로세스를 지칭하도록 의도되는지는 특정 설명들의 맥락에 기초하여 명백할 것이며, 본 기술분야의 통상의 기술자에 의해 잘 이해될 것으로 여겨진다.

다양한 구현들은 인코딩을 수반한다. "디코딩"에 관한 위의 논의와 유사한 방식으로, 본 출원에서 사용되는 바와 같은 "인코딩"은 인코딩된 비트스트림을 생성하기 위해, 예를 들어, 입력 비디오 시퀀스에 대해 수행되는 프로세스들의 전부 또는 일부를 포함할 수 있다. 다양한 실시예들에서, 그러한 프로세스들은 인코더에 의해 통상적으로 수행되는 프로세스들, 예를 들어, 파티셔닝, 차동 인코딩, 변환, 양자화, 및 엔트로피 인코딩 중 하나 이상을 포함한다. 다양한 실시예에서, 그러한 프로세스들은 또한 또는 대안으로서 본 출원에서 설명되는 다양한 구현들의 인코더에 의해 수행되는 프로세스들, 예를 들어 인코딩된 픽처를 재구성하고, 디블록킹 필터의 파라미터들을 결정하고, 이어서 재구성된 픽처를 결정된 디블록킹 필터 파라미터들로 필터링하는 것을 포함한다.

추가의 예들로서, 하나의 실시예에서 "인코딩"은 엔트로피 인코딩만을 지칭하고, 다른 실시예에서 "인코딩"은 차동 인코딩만을 지칭하며, 다른 실시예에서 "인코딩"은 차동 인코딩 및 엔트로피 인코딩의 조합을 지칭한다. "인코딩 프로세스"라는 문구가 구체적으로 동작들의 서브세트를 지칭하도록 의도되는지 또는 일반적으로 더 넓은 인코딩 프로세스를 지칭하도록 의도되는지는 특정 설명들의 맥락에 기초하여 명백할 것이며, 본 기술분야의 통상의 기술자에 의해 잘 이해될 것으로 여겨진다.

본 명세서에서 사용되는 신택스 요소들은, 예를 들어, 설명적 용어들이라는 점에 유의한다. 이와 같이, 이들은 다른 신택스 요소 명칭들의 사용을 배제하지 않는다.

도면이 플로우차트로서 제시될 때, 그것은 또한 대응하는 장치의 블록도를 제공한다는 것이 이해되어야 한다. 유사하게, 도면이 블록도로서 제시될 때, 그것은 대응하는 방법/프로세스의 플로우차트를 또한 제공한다는 것이 이해되어야 한다.

본 개시에서 설명되는 구현들 및 양태들은, 예를 들어, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림, 또는 신호로 구현될 수 있다. 단일 구현 형태의 맥락에서만 논의되더라도(예를 들어, 방법으로서만 논의되더라도), 논의되는 특징들의 구현은 다른 형태들(예를 들어, 장치 또는 프로그램)로 또한 구현될 수 있다. 장치는 예를 들어, 적절한 하드웨어, 소프트웨어 및 펌웨어로 구현될 수 있다. 방법들은, 예를 들어, 일반적으로 처리 디바이스들을 지칭하는, 예를 들어, 컴퓨터, 마이크로프로세서, 집적 회로, 또는 프로그램가능 논리 디바이스를 포함하는 프로세서로 구현될 수 있다. 프로세서들은 또한 예를 들어, 컴퓨터들, 휴대 전화들, 휴대용/개인 정보 단말기들(portable/personal digital assistants)("PDA"), 및 최종 사용자들 사이의 정보의 통신을 용이하게 하는 다른 디바이스들과 같은, 통신 디바이스들을 포함한다.

"하나의 실시예" 또는 "실시예" 또는 "하나의 구현" 또는 "구현"뿐만 아니라 그의 다른 변형들에 대한 언급은, 실시예와 관련하여 설명된 특정한 특징, 구조, 특성 등이 적어도 하나의 실시예에 포함된다는 것을 의미한다. 따라서, 본 출원 전반에 걸친 다양한 위치들에서 등장하는 구문 "일 실시예에서" 또는 "실시예에서" 또는 "일 구현에서" 또는 "구현에서" 뿐만 아니라 임의의 다른 변형들의 등장은 반드시 모두 동일한 실시예를 참조하는 것은 아니다.

또한, 본 출원은 다양한 정보 피스들을 "결정"하는 것을 지칭할 수 있다. 정보를 결정하는 것은, 예를 들어, 정보를 추정하는 것, 정보를 계산하는 것, 정보를 예측하는 것, 또는 정보를 메모리로부터 검색하는 것 중 하나 이상을 포함할 수 있다.

또한, 본 출원은 다양한 정보 피스들에 "액세스" 하는 것을 지칭할 수 있다. 정보에 액세스하는 것은, 예를 들어, 정보를 수신하는 것, (예를 들어, 메모리로부터) 정보를 검색하는 것, 정보를 저장하는 것, 정보를 이동시키는 것, 정보를 복사하는 것, 정보를 계산하는 것, 정보를 결정하는 것, 정보를 예측하는 것, 또는 정보를 추정하는 것 중 하나 이상을 포함할 수 있다.

또한, 본 출원은 다양한 정보 피스들을 "수신"하는 것을 지칭할 수 있다. 수신하는 것은, "액세스하는 것"에서와 같이 광의의 용어로 의도된다. 정보의 수신은 예를 들어, 정보의 액세스 또는 (예로서, 메모리로부터의) 정보의 검색 중 하나 이상을 포함할 수 있다. 또한, "수신"은 통상적으로 예를 들어 정보의 저장, 정보의 처리, 정보의 전송, 정보의 이동, 정보의 복사, 정보의 소거, 정보의 계산, 정보의 결정, 정보의 예측 또는 정보의 추정과 같은 동작들 동안 하나의 방식 또는 다른 방식으로 수반된다.

예를 들어, "A/B" , "A 및/또는 B(A and/or B)" 및 "A 및 B 중 적어도 하나”의 경우들에서, 이하의 "/", "및/또는", 및 "중 적어도 하나" 중 임의의 것의 사용은, 처음 열거된 옵션(A)만을 선택함, 또는 두번째로 열거된 옵션(B)만을 선택함, 또는 옵션들 둘 다(A 및 B)를 선택함을 망라하려는 의도임을 알 것이다. 추가 예로서, "A, B 및/또는 C" 및 "A, B 및 C 중 적어도 하나"의 경우들에서, 이러한 어구는 첫번째로 열거된 옵션(A)만의 선택, 또는 두번째로 열거된 옵션(B)만의 선택, 또는 세번째로 열거된 옵션(C)만의 선택, 또는 첫번째와 두번째로 열거된 옵션들(A 및 B)만의 선택, 또는 첫번째와 세번째로 열거된 옵션들(A 및 C)만의 선택, 또는 두번째와 세번째로 열거된 옵션들(B 및 C)만의 선택, 또는 3개의 옵션들(A 및 B 및 C) 전부의 선택을 포함하는 것으로 의도된다. 이것은 본 기술분야 및 관련 기술분야의 통상의 기술자에게 명백한 바와 같이 열거된 많은 항목들에 대해 확장될 수 있다.

또한, 여기에 이용된 바와 같이, 단어 "시그널링(signal)"은 다른 것들 중에서, 대응하는 디코더에게 무언가를 나타내는 것을 지칭한다. 예를 들어, 특정 실시예에서, 인코더는 디-아티팩트 필터링에서 디블록킹 필터에 대한 복수의 파라미터 중 특정 파라미터를 시그널링한다. 이러한 방식으로, 실시예에서, 인코더 측 및 디코더 측 둘 다에서 동일한 파라미터가 사용된다. 따라서, 예를 들어, 인코더는 디코더가 동일한 특정 파라미터를 사용할 수 있도록 디코더에 특정 파라미터를 송신(명시적 시그널링)할 수 있다. 반대로, 디코더가 다른 것들뿐만 아니라 이미 특정 파라미터를 갖는 경우, 단순히 디코더가 특정 파라미터를 알고 선택하는 것을 허용하기 위해 송신 없이(암시적 시그널링) 시그널링이 사용될 수 있다. 임의의 실제 기능들의 송신을 회피함으로써, 다양한 실시예들에서 비트 절약이 실현된다. 시그널링은 다양한 방식들로 달성될 수 있다는 것을 알아야 한다. 예를 들어, 다양한 실시예들에서, 하나 이상의 신택스 요소, 플래그 등이 정보를 대응하는 디코더에 시그널링하는 데 이용된다. 전술한 것은 단어 "signal"의 동사 형태와 관련되지만, 단어 "signal"은 명사로서 여기에 사용될 수도 있다.

본 기술분야의 통상의 기술자에게 분명할 바와 같이, 구현들은, 예를 들어, 저장 또는 송신될 수 있는 정보를 반송하도록 포맷팅된 다양한 신호들을 생성할 수 있다. 정보는, 예를 들어, 방법을 수행하기 위한 명령어, 또는 기술된 구현예들 중 하나에 의해 생성된 데이터를 포함할 수 있다. 예를 들어, 신호는 설명된 실시예의 비트스트림을 반송하기 위해 포맷팅될 수 있다. 이러한 신호는 예컨대, (예컨대, 스펙트럼의 무선 주파수 부분을 사용하여) 전자기파로서 또는 기저대역 신호로서 포맷팅될 수 있다. 포맷팅은, 예를 들어, 데이터 스트림을 인코딩하는 것과 인코딩된 데이터 스트림으로 캐리어를 변조하는 것을 포함할 수 있다. 신호가 전달하는 정보는, 예를 들어, 아날로그 또는 디지털 정보일 수 있다. 신호는 공지된 것으로서 각종의 상이한 유선 또는 무선 링크를 통해 전송될 수 있다. 그 신호는 프로세서 판독가능 매체 상에 저장될 수 있다.

우리는 다수의 실시예를 설명한다. 이러한 실시예들의 특징들은 다양한 청구항 카테고리들 및 타입들에 걸쳐 단독으로 또는 임의의 조합으로 제공될 수 있다. 게다가, 실시예들은 다양한 청구항 카테고리들 및 유형들에 걸쳐, 하기의 특징들, 디바이스들, 또는 양태들 중 하나 이상을, 단독으로 또는 임의의 조합으로 포함할 수 있다:

· 디코더 및/또는 인코더에서 적용되는 디블록킹 필터 프로세스를 수정하는 것,

· 디코더 및/또는 인코더에서 몇 개의 진보된 디블록킹 필터들을 가능하게 하는 것,

· 사용할 디블록킹 필터 프로세스를 디코더가 식별할 수 있게 하는 신택스 요소들을 시그널링에 삽입하는 것,

· 이들 신택스 요소들에 기초하여, 디코더에서 적용할 디블록킹 필터를 선택하는 것,

· 디코더 및/또는 인코더에서 디블록킹 필터 파라미터들을 적응시키는 것,

· 경계에서의 블록들이 비-정사각형 또는 비-직사각형 블록들의 조합 및/또는 동일하지 않고/않거나 공간적으로 가변적인 가중화의 조합인 경우에 디블록킹 필터의 경계 강도를 적응시키는 것,

· 경계에서의 블록들이 비-정사각형 또는 비-직사각형 블록들의 조합 및/또는 동일하지 않고/않거나 공간적으로 가변적인 가중화의 조합인 경우에 디블록킹 필터의 필터 강도를 적응시키는 것,

· 각각의 샘플의 예측에 사용된 가중된 조합을 나타내는 블록의 각각의 샘플에 대한 블렌딩 맵을 결정하는 것,

· 양방향 예측에서 사용되는 샘플들의 수 및/또는 샘플들의 가중치에 경계 강도를 적응시키는 것,

· 인터 및 인트라 예측 샘플들을 조합할 때 또는 인터 및 인터 예측 샘플들을 조합할 때 사용되는 샘플들의 상대적 가중치에 경계 강도를 적응시키는 것,

· 예측에 사용되는 샘플들의 가중치에 경계 강도를 적응시키는 것,

· 경계 강도를 결정하기 위해 기준 프레임들의 POC 차이를 사용하여 모션 벡터들을 정규화하는 것,

· 경계 강도를 결정하는 것은 경계에서의 블록들 중 하나의 예측 모드가 MH, GBi 또는 양방향 예측 중 적어도 하나인지에 대한 테스트를 포함한다.

· (예를 들어, 경계 강도 파라미터들의 결정 시에) 코딩 파라미터들을 수정하고, 디블록킹 필터에서의 후속 사용을 위해 수정된 파라미터들을 저장하는 것,

· 설명된 신택스 요소들 또는 그 변형들 중 하나 이상을 포함하는 비트스트림 또는 신호,

· 설명된 실시예들 중 임의의 것에 따라 생성된 정보를 전달하는 신택스를 포함하는 비트스트림 또는 신호,

· 디코더가 인코더에 의해 사용되는 것에 대응하는 방식으로 디블록킹 필터를 적응시킬 수 있게 하는 신택스 요소들을 시그널링에 삽입하는 것,

· 설명된 신택스 요소들 또는 그 변형들 중 하나 이상을 포함하는 비트스트림 또는 신호를 생성 및/또는 송신 및/또는 수신 및/또는 디코딩하는 것,

· 설명된 실시예들 중 임의의 것에 따른 생성 및/또는 송신 및/또는 수신 및/또는 디코딩,

· 설명된 실시예들 중 임의의 것에 따른 방법, 프로세스, 장치, 명령어들을 저장하는 매체, 데이터를 저장하는 매체 또는 신호,

· 설명된 실시예들 중 어느 하나에 따라 디블록킹 필터 파라미터들의 적응을 수행하는 TV, 셋톱 박스, 셀폰, 태블릿 또는 다른 전자 디바이스,

· 설명된 실시예들 중 임의의 것에 따라 디블록킹 필터 파라미터들의 적응을 수행하고, 결과 이미지를 (예를 들어, 모니터, 스크린, 또는 다른 타입의 디스플레이를 사용하여) 디스플레이하는 TV, 셋톱 박스, 셀 폰, 태블릿, 또는 다른 전자 디바이스,

· 설명된 실시예들 중 어느 하나에 따라, 인코딩된 이미지를 포함하는 신호를 수신하기 위한 채널을 (예를 들어, 튜너를 이용하여) 선택하고, 디블록킹 필터 파라미터들의 적응을 수행하는 TV, 셋톱 박스, 셀폰, 태블릿 또는 다른 전자 디바이스.

· 인코딩된 이미지를 포함하는 신호를 무선으로 (예를 들어, 안테나를 이용하여) 수신하고, 설명된 실시예들 중 임의의 것에 따라 디블록킹 필터 파라미터들의 적응을 수행하는 TV, 셋톱 박스, 셀폰, 태블릿, 또는 다른 전자 디바이스.

Claims

이미지의 일부를 디블록킹하기 위한 방법으로서,
샘플들의 제1 블록과 샘플들의 제2 블록 사이의 적어도 하나의 경계를 결정하는 단계(S120) -상기 제1 블록 및 제2 블록은 상기 이미지의 일부에 속함-;
상기 제1 블록의 예측 모드 및 상기 제2 블록의 예측 모드 중 적어도 하나에 따라 경계 강도를 결정하는 단계(S140); 및
상기 경계 강도에 따라 상기 적어도 하나의 경계에 이웃하는 상기 제1 블록 및 상기 제2 블록의 샘플들을 필터링하는 단계(S160)
를 포함하고, 상기 제1 블록의 상기 예측 모드가 가중 예측 모드인 경우, 상기 경계 강도는 상기 제1 블록의 상기 가중 예측 모드에 따라 상기 샘플들의 제1 블록을 예측하는 데 사용되는 샘플들의 상대적 가중치에 더 의존하는, 방법
이미지의 일부를 디블록킹하기 위한 장치로서,
적어도 하나의 프로세서를 포함하고,
상기 프로세서는:
샘플들의 제1 블록과 샘플들의 제2 블록 사이의 적어도 하나의 경계를 결정하고 -상기 제1 블록 및 제2 블록은 상기 이미지의 일부에 속함- ;
상기 제1 블록의 예측 모드 및 상기 제2 블록의 예측 모드 중 적어도 하나에 따라 경계 강도를 결정하고;
상기 경계 강도에 따라 상기 적어도 하나의 경계에 이웃하는 상기 제1 블록 및 상기 제2 블록의 샘플들을 필터링하도록 구성되며,
상기 제1 블록의 상기 예측 모드가 가중 예측 모드인 경우, 상기 경계 강도는 상기 제1 블록의 상기 가중 예측 모드에 따라 상기 샘플들의 제1 블록을 예측하는 데 사용되는 샘플들의 상대적 가중치에 추가적으로 의존하는, 장치.
제1항의 방법 또는 제2항의 장치에 있어서,
가중 예측 모드는 일반화된 양방향 예측(Generalized Bi-prediction), 코딩 유닛 레벨 가중치들을 갖는 양방향 예측(Bi-prediction with CU level Weights), 인트라 및 인터 예측된 샘플들을 조합하거나 인터 및 인터 예측된 샘플들을 조합하는 다중-가설 예측(Multi-Hypothesis prediction combining intra and inter predicted samples or combining inter and inter predicted samples), 인터 병합 및 인트라 예측된 샘플들을 조합하는 조합된 인터 병합 인트라 예측(Combined Inter merge Intra Prediction combining inter merge and intra predicted samples), 블록의 기하학적 파티션에 따라 인터 예측된 샘플들을 조합하는 기하학적 예측(Geometric prediction combining inter predicted samples according to a geometric partition of a block), 블록의 대각선 에지를 따라 인터 예측된 샘플들을 조합하는 삼각형 예측(Triangle prediction combining inter predicted samples along a diagonal edge of a block) 중 하나인, 방법 또는 장치.
제1항 또는 제3항의 방법 또는 제2항 또는 제3항의 장치에 있어서,
상기 제1 블록의 상기 가중 예측 모드에 따라 상기 샘플들의 제1 블록을 예측하는 것은 제1 예측 모드를 사용하여 결정되는 제1 예측자와 제2 예측 모드를 사용하여 결정되는 제2 예측자의 가중 조합으로서 상기 제1 블록의 샘플을 예측하는 것을 포함하고, 상기 제1 블록의 샘플은 제1 예측자의 가중치가 레벨 초과인 경우에 상기 경계 강도를 결정하기 위해 상기 제1 예측 모드를 사용하는 것으로서 고려되는, 방법 또는 장치.
제4항의 방법 또는 장치에 있어서,
상기 제1 예측 모드는 하나의 인트라 예측 모드이고, 상기 제1 블록의 샘플은 상기 경계 강도를 결정하기 위해 인트라 예측 모드를 사용하는 것으로서 고려되는, 방법 또는 장치.
제5항의 방법 또는 장치에 있어서,
상기 제1 예측 모드는 인트라 평면 예측 모드이고, 상기 제1 블록의 샘플은 상기 경계 강도를 결정하기 위해 인트라 예측 모드를 사용하는 것으로서 고려되는, 방법 또는 장치.
제5항 또는 제6항의 방법 또는 장치에 있어서,
상기 경계 강도는 강하게 설정되는, 방법 또는 장치.
제4항의 방법 또는 장치에 있어서,
상기 제1 예측 모드는 하나의 인터 예측 모드이고, 상기 제1 블록의 샘플은 상기 경계 강도를 결정하기 위해 인터 예측 모드를 사용하는 것으로서 고려되는, 방법 또는 장치.
제8항의 방법 또는 장치에 있어서,
상기 제1 예측 모드는 인터 양방향 예측 모드이고, 상기 제1 블록의 샘플은 상기 경계 강도를 결정하기 위해 인터 양방향 예측 모드를 사용하는 것으로 고려되거나, 상기 제1 예측 모드는 인터 단방향 예측 모드이고, 상기 제1 블록의 샘플은 상기 경계 강도를 결정하기 위해 인터 단방향 예측 모드를 사용하는 것으로 고려되는, 방법 또는 장치.
제4항 내지 제9항 중 어느 한 항의 방법 또는 장치에 있어서,
상기 레벨은 제로로 설정되는, 방법 또는 장치.
제1항, 제3항 내지 제10항 중 어느 한 항의 방법 또는 제2항 내지 제10항 중 어느 한 항의 장치에 있어서,
상기 경계 강도는 동일한 상대적 가중치를 공유하는 상기 블록의 샘플들의 그룹에 대해 결정되고, 상기 샘플들의 그룹은 최대로는 상기 블록의 모든 샘플들까지, 적어도 하나의 샘플을 포함하는, 방법 또는 장치.
이미지를 디코딩하기 위한 방법으로서,
- 이미지 부분의 일부를 디코딩하는 단계; 및
- 제1항 또는 제3항 내지 제11항 중 어느 한 항의 디블록킹 방법에 따라, 디코딩된 이미지 부분을 필터링하는 단계
를 포함하는, 방법.
이미지를 인코딩하기 위한 방법으로서,
- 이미지 부분을 재구성하는 단계;
- 제1항 또는 제3항 내지 제11항 중 어느 한 항의 디블록킹 방법에 따라, 재구성된 이미지 부분을 필터링하는 단계
를 포함하는, 방법.
이미지를 디코딩하기 위한 장치로서,
하나 이상의 프로세서를 포함하고, 상기 하나 이상의 프로세서는:
- 이미지 부분의 일부를 디코딩하는 단계; 및
- 제1항 또는 제3항 내지 제11항 중 어느 한 항의 디블록킹 방법에 따라 디코딩된 이미지 부분을 필터링하는 단계
를 수행하도록 구성되는, 장치.
이미지를 인코딩하기 위한 장치로서,
하나 이상의 프로세서를 포함하고, 상기 하나 이상의 프로세서는:
- 이미지 부분을 재구성하는 단계; 및
- 제1항 또는 제3항 내지 제11항 중 어느 한 항의 디블록킹 방법에 따라, 재구성된 이미지 부분을 필터링하는 단계
를 수행하도록 구성되는, 장치.
컴퓨터 프로그램이 하나 또는 여러 개의 프로세서들에 의해 실행될 때 제1항, 제2항 또는 제5항 내지 제11항 중 어느 한 항에 따른 방법들을 수행하기 위한 소프트웨어 코드 명령어들을 포함하는, 컴퓨터 프로그램.