KR102584455B1 - 품질 최적화된 디블로킹을 수행하기 위한 이미지 처리 디바이스 및 방법 - Google Patents
품질 최적화된 디블로킹을 수행하기 위한 이미지 처리 디바이스 및 방법 Download PDFInfo
- Publication number
- KR102584455B1 KR102584455B1 KR1020217011345A KR20217011345A KR102584455B1 KR 102584455 B1 KR102584455 B1 KR 102584455B1 KR 1020217011345 A KR1020217011345 A KR 1020217011345A KR 20217011345 A KR20217011345 A KR 20217011345A KR 102584455 B1 KR102584455 B1 KR 102584455B1
- Authority
- KR
- South Korea
- Prior art keywords
- pixel
- value
- pixel value
- clipping
- filtered
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 70
- 238000000034 method Methods 0.000 title claims description 58
- 238000001914 filtration Methods 0.000 claims abstract description 23
- 230000003247 decreasing effect Effects 0.000 claims description 6
- 238000012886 linear function Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 4
- 238000013139 quantization Methods 0.000 description 68
- 239000000872 buffer Substances 0.000 description 31
- 230000006870 function Effects 0.000 description 25
- 238000004891 communication Methods 0.000 description 24
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 9
- 238000009499 grossing Methods 0.000 description 9
- 238000007781 pre-processing Methods 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 8
- 238000000638 solvent extraction Methods 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 6
- 230000006835 compression Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000005192 partition Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000001419 dependent effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000012805 post-processing Methods 0.000 description 4
- 230000002829 reductive effect Effects 0.000 description 4
- 230000002441 reversible effect Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 241000023320 Luma <angiosperm> Species 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 3
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000011664 signaling Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000009966 trimming Methods 0.000 description 2
- VBRBNWWNRIMAII-WYMLVPIESA-N 3-[(e)-5-(4-ethylphenoxy)-3-methylpent-3-enyl]-2,2-dimethyloxirane Chemical compound C1=CC(CC)=CC=C1OC\C=C(/C)CCC1C(C)(C)O1 VBRBNWWNRIMAII-WYMLVPIESA-N 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000003245 working effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Picture Signal Circuits (AREA)
Abstract
블록 코드로 인코딩된 이미지의 제1 블록과 제2 블록 사이의 블록 에지를 디블로킹하기 위해, 이미지 인코더 및/또는 이미지 디코더에서 사용하기 위한 이미지 처리 디바이스(501)가 제공된다. 이미지 처리 디바이스(501)는 블록 에지를 필터링하기 위한 필터(502)를 포함하고, 이는 블록 에지로부터의 디블로킹 범위 내에서- 디블로킹 범위는 블록 에지에 수직임 -, 필터링될 픽셀들 중 적어도 일부에 대해, 픽셀의 원래의 픽셀 값 및 적어도 하나의 추가의 픽셀 값으로부터 필터링된 픽셀 값을 결정하고, 블록 에지로부터의 픽셀의 거리에 의존하여 픽셀의 클리핑 값을 결정하고, 클리핑 값을 사용하여 필터링된 픽셀 값을 클리핑하여, 디블로킹된 픽셀 값을 초래하도록 구성된다.
Description
본 개시의 실시예들은 픽처 처리, 예를 들어, 스틸(still) 픽처 및/또는 비디오 픽처 코딩의 분야에 관한 것이다. 특히, 본 개시는 디블로킹 필터의 개선들을 다룬다.
본 개시의 실시예들은 픽처 처리, 예를 들어, 스틸(still) 픽처 및/또는 비디오 픽처 코딩의 분야에 관한 것이다. 특히, 본 개시는 디블로킹 필터의 개선들을 다룬다.
H.264/AVC 및 HEVC와 같은 비디오 코딩 스킴들은 블록 기반 하이브리드 비디오 코딩의 성공적인 원리를 따라 설계된다. 이 원리를 사용하여, 픽처가 먼저 블록들로 파티셔닝되고, 이어서 각각의 블록이 인트라-픽처 또는 인터-픽처 예측을 사용하여 예측된다. 이러한 블록들은 인접 블록들로부터 상대적으로 코딩되고 어느 정도의 유사성을 갖고 원래의 신호를 근사화한다. 코딩된 블록들이 원래의 신호를 단지 근사화하기 때문에, 근사들 간의 차이는 예측 및 변환 블록 경계들에서 불연속성들을 야기한다. 이러한 불연속성은 디블로킹 필터에 의해 감쇠된다. HEVC는 H.264/AVC의 매크로블록 구조를 최대 크기 64x64 픽셀들의 코딩 트리 유닛(coding tree unit, CTU)의 개념으로 대체한다. CTU는 더 작은 코딩 유닛(CU) 내로 쿼드트리 분해 스킴으로 추가로 파티셔닝될 수 있으며, 이는 8x8 픽셀들의 최소 크기로 세분될 수 있다. HEVC는 또한 예측 블록들(PB) 및 변환 블록들(TB)의 개념들을 도입한다.
HEVC에서, 2개의 필터: 정상 필터 및 강한 필터가 디블로킹 필터에서 정의된다. 정상 필터는 에지의 양측에서 기껏해야 2개의 샘플을 수정한다. 강한 필터는 임계값과 비교하여 에지를 따르는 3개의 추가 샘플을 수정한다. 그러한 체크들 모두가 참인 경우, 강한 필터가 적용된다. 강한 필터는 에지를 따르는 샘플들에 대해 더 집약적인 평활화 효과를 가지며, 에지의 양측에서 기껏해야 3개의 샘플을 수정할 수 있다.
ITU-T VCEG(Q6/16) 및 ISO/IEC MPEG(JTC 1/SC 29/WG 11)는 차세대 비디오 코덱: 다목적 비디오 코딩(VVC)을 연구하고 있다. 이 새로운 비디오 코덱 표준은 (스크린 콘텐츠 코딩 및 하이 다이내믹 레인지(high-dynamic-range) 코딩을 위한 그의 현재 확장들 및 가까운 시일 내의 확장들을 포함하는) 현재 HEVC 표준의 압축 능력을 상당히 초과하는 압축 능력을 목표로 한다. 이 그룹들은 이 분야의 그들의 전문가들에 의해 제안된 압축 기술 설계들을 평가하기 위해 JVET(Joint Video Exploration Team)로서 알려진 공동 협력 작업(joint collaboration effort)에서 이러한 탐구 활동에 대해 함께 연구하고 있다.
VVC 테스트 모델(VTM)은 HEVC의 능력들을 넘어서는 잠재적인 향상된 비디오 코딩 기술로서 ITU-T VCEG 및 ISO/IEC MPEG의 JVET(Joint Video Exploration Team)에 의한 조정된 테스트 모델 연구 하에 있는 특징들을 설명한다. VTM 2.0에서 현재 사용되는 디블로킹 필터는 HEVC에서와 동일하다.
현재, 디블로킹은 종종 특히 블록 에지들의 바로 옆에 있지 않은 영역들의 오버-스무딩(over-smoothing) 또는 블러링(blurring)을 야기한다. 이것은 준-최적으로 낮은 디블로킹 품질을 야기한다.
위에 언급된 과제들에 비추어, 본 개시는 종래의 디블로킹 필터링을 개선하는 것을 목표로 한다. 본 개시는 최적화된 품질로 디블로킹 필터링을 수행할 수 있는 이미지 처리 디바이스를 제공하는 목적을 갖는다. 또한, 디블로킹은 효율적이고 정확해야 한다.
본 개시의 실시예들은 독립 청구항들의 특징들에 의해 정의되고, 실시예들의 추가의 유리한 구현들은 종속 청구항들의 특징들에 의해 정의된다.
본 개시의 제1 실시예에 따르면, 블록 코드로 인코딩된 이미지의 제1 코딩 블록과 제2 코딩 블록 사이의 블록 에지를 디블로킹하기 위해, 이미지 인코더 및/또는 이미지 디코더에서 사용하기 위한 이미지 처리 디바이스가 제공된다. 이미지 처리 디바이스는 블록 에지를 필터링하기 위한 필터를 포함하고, 이는 블록 에지로부터의 디블로킹 범위 내에서- 디블로킹 범위는 블록 에지에 수직임 -, 필터링될 픽셀들 중 적어도 일부에 대해, 픽셀의 원래의 픽셀 값 및 적어도 하나의 추가의 픽셀 값으로부터 필터링된 픽셀 값을 결정하고, 블록 에지로부터의 픽셀의 거리에 의존하여 픽셀의 클리핑 값을 결정하고, 클리핑 값을 사용하여 필터링된 픽셀 값을 클리핑하여, 디블로킹된 픽셀 값을 초래하도록 구성된다. 이것은 오버-스무딩 또는 블러링의 효과를 감소시켜, 디블로킹의 품질을 크게 증가시킨다. 이미지 처리 디바이스는 본 개시에서 설명된 동작들을 수행하기 위한 처리 회로를 포함할 수 있다. 처리 회로는 하드웨어 및 소프트웨어를 포함할 수 있다. 처리 회로는, 예를 들어, 하나 이상의 프로세서, 및 하나 이상의 프로세서에 의한 실행을 위한 프로그램 코드를 운반하는 비휘발성 메모리를 포함할 수 있다. 프로그램 코드는 하나 이상의 프로세서에 의해 실행될 때 이미지 처리 디바이스에게 각자의 동작들을 수행하도록 프롬프트한다.
유리하게는, 클리핑 값은 원래의 픽셀 값과 디블로킹된 픽셀 값 사이의 최대 허용 변화량이다. 이는 오버-스무딩 또는 블러링을 추가로 제한한다.
더 유리하게는, 클리핑 값을 사용하여 필터링된 픽셀 값을 클리핑하여 디블로킹된 픽셀 값을 초래하는 것은, 필터링된 픽셀 값과 디블로킹된 픽셀 값 사이의 차이의 절대 값이 픽셀의 클리핑 값을 초과하지 않는 경우, 디블로킹된 픽셀 값을 필터링된 픽셀 값으로 설정하는 것, 필터링된 픽셀 값이 원래의 픽셀 값 +(플러스) 클리핑 값을 초과하는 경우, 디블로킹된 픽셀 값을 원래의 픽셀 값 플러스 픽셀의 클리핑 값으로 설정하는 것, 및 필터링된 픽셀 값이 원래의 픽셀 값 -(마이너스) 클리핑 값보다 더 낮은 경우, 디블로킹된 픽셀 값을 픽셀의 원래의 픽셀 값 마이너스 클리핑 값으로 설정하는 것을 포함한다. 이것은 디블로킹 품질을 추가로 증가시킨다.
유리하게는, 필터는 함수 또는 룩업 테이블을 사용함으로써, 블록 에지로부터의 픽셀의 거리에 의존하여 픽셀의 클리핑 값을 결정하도록 적응된다. 이것은 클리핑 값의 매우 정확한 설정을 허용하고, 그에 의해 디블로킹 품질을 훨씬 더 증가시키는 것을 허용한다.
더 유리하게는, 필터는 블록 에지로부터의 픽셀의 거리가 증가함에 따라 단조롭게 감소하는 함수를 사용함으로써 블록 에지로부터의 픽셀의 거리에 의존하여 픽셀의 클리핑 값을 결정하도록 적응된다. 이것은 블록 에지로부터의 거리가 증가함에 따라 오버-스무딩 또는 블러링의 영향을 상당히 감소시키고, 그에 의해 디블로킹 품질을 증가시킨다.
유리하게는, 함수는 지수 함수이다. 이것은 특히 높은 디블로킹 품질을 야기한다.
바람직하게는, 함수는 그러면 다음과 같다.
tc' = tc + (tc >> i),
tc'는 클리핑 값이고,
tc는 상수 값이고,
i는 블록 에지(403, 800)로부터의 픽셀의 거리이고,
>>는 우측 시프트를 의미하고, 이것은 지수 함수의 간단한 계산을 허용한다.
사용될 수 있는 다른 대안적인 지수 함수는 다음과 같다:
tc' = ((2 * tc) >> i),
tc'는 클리핑 값이고,
tc는 상수 값이고,
i는 블록 에지(403, 800)로부터의 픽셀의 거리이고,
>>는 우측 시프트를 의미하고, 이것은 지수 함수의 간단한 계산을 허용한다.
대안적으로, 함수는 선형 함수이다. 이것은 디블로킹 품질의 증가를 허용하는 한편, 동시에 계산 복잡성을 최소로 유지한다.
유리하게는, 함수는 그러면 다음과 같다.
tc' = tc + (tc - (i * x),
tc'는 클리핑 값이고,
tc는 상수 값이고,
i는 블록 에지(403, 800)로부터의 픽셀의 거리이고,
여기서 x는 상수 값이다. 이것은 선형 함수의 특히 간단한 계산을 허용한다.
바람직하게는, 필터는 블록 에지로부터의 디블로킹 범위 내에서- 디블로킹 범위는 블록 에지에 수직임 -, 필터링될 각각의 픽셀에 대해, 픽셀의 원래의 픽셀 값 및 적어도 하나의 추가 픽셀 값으로부터 필터링된 픽셀 값을 결정하고, 블록 에지로부터의 픽셀의 거리에 의존하여 픽셀의 클리핑 값을 결정하고, 클리핑 값을 사용하여 필터링된 픽셀 값을 클리핑하여, 디블로킹된 픽셀 값을 초래한다. 필터링될 각각의 픽셀에 대해 동일한 계산을 사용함으로써, 특히 간단한 구현이 달성된다.
대안적으로, 필터는 수직 블록 에지의 경우에, 결정 픽셀 라인들의 수가 블록 에지를 둘러싸는 블록 내의 픽셀 라인들의 수보다 적은(lower) 것에 기초하여, 그리고 수평 블록 에지의 경우에, 결정 픽셀 행들의 수가 블록 에지를 둘러싸는 블록 내의 픽셀 행들의 수보다 적은 것에 기초하여 블록 에지가 필터링될 필요가 있는지를 결정하도록 적응된다. 그 다음, 필터는 블록 에지로부터의 디블로킹 범위 내에서- 디블로킹 범위는 블록 에지에 수직임 -, 결정 픽셀 행 또는 결정 픽셀 라인에 있지 않은, 필터링될 각각의 픽셀에 대해, 픽셀의 원래의 픽셀 값 및 적어도 하나의 추가 픽셀 값으로부터 필터링된 픽셀 값을 결정하고, 블록 에지로부터의 픽셀의 거리에 의존하여 픽셀의 클리핑 값을 결정하고, 클리핑 값을 사용하여 필터링된 픽셀 값을 클리핑하여, 디블로킹된 픽셀 값을 초래하도록 적응된다. 필터는 블록 에지로부터의 디블로킹 범위 내에서- 디블로킹 범위는 블록 에지에 수직임 -, 결정 픽셀 행 또는 결정 픽셀 라인에 있는, 필터링될 각각의 픽셀에 대해, 픽셀의 원래의 픽셀 값 및 적어도 하나의 추가 픽셀 값으로부터 필터 픽셀 값을 결정하고, 일정한 클리핑 값을 사용하여 필터링된 픽셀 값을 클리핑하여, 디블로킹된 픽셀 값을 초래하도록 더 적응된다. 이것은 결정 픽셀 행들 및 라인들 내의 픽셀들이 고정 클리핑 값을 사용하여 필터링되는 반면, 동시에 결정 행들 또는 라인들에서가 아닌 픽셀 값들이 범위-의존적 클리핑 값을 사용하여 필터링된다는 것을 의미한다. 이것은 증가된 계산 복잡성을 대가로 디블로킹 품질을 추가로 증가시킨다.
유리하게는, 필터는 1개, 또는 적어도 2개, 또는 적어도 3개, 또는 적어도 4개, 또는 적어도 5개, 또는 적어도 6개, 또는 적어도 7개, 또는 적어도 8개, 또는 적어도 9개, 또는 적어도 10개, 또는 적어도 11개, 또는 적어도 12개, 또는 적어도 13개, 또는 적어도 14개, 또는 적어도 15개, 또는 적어도 16개 픽셀의 필터 탭 길이를 갖는다. 이것은 매우 다양한 상이한 필터 설계들에 대한 본 개시의 적용을 허용한다.
본 개시의 제2 양태에 따르면, 본 개시의 제1 양태에 따른 이미지 처리 디바이스를 포함하는 이미지를 인코딩하기 위한 인코더가 제공된다.
본 개시의 제3 양태에 따르면, 본 개시의 제1 양태에 따른 이미지 처리 디바이스를 포함하는, 이미지를 디코딩하기 위한 디코더가 제공된다.
본 개시의 제4 양태에 따르면, 블록 코드로 인코딩된 이미지의 제1 코딩 블록과 제2 코딩 블록 사이의 블록 에지를 디블로킹하기 위한 디블로킹 방법이 제공된다. 방법은, 블록 에지로부터의 디블로킹 범위 내에서- 디블로킹 범위는 블록 에지에 수직임 -, 필터링될 픽셀들 중 적어도 일부에 대해, 픽셀의 원래의 픽셀 값 및 적어도 하나의 추가 픽셀 값으로부터 필터링된 픽셀 값을 결정하는 단계, 블록 에지로부터의 픽셀의 거리에 의존하여 픽셀의 클리핑 값을 결정하는 단계, 및 클리핑 값을 사용하여, 필터링된 픽셀 값을 클리핑하여, 디블로킹된 픽셀 값을 초래하는 단계를 포함한다. 이것은 오버-스무딩 또는 블러링의 효과를 감소시켜, 디블로킹의 품질을 크게 증가시킨다.
본 개시의 제5 양태에 따르면, 본 개시의 제4 양태의 디블로킹 방법을 포함하는, 이미지를 인코딩하기 위한 인코딩 방법이 제공된다.
본 개시의 제6 양태에 따르면, 본 개시의 제4 양태에 따른 디블로킹 방법을 포함하는, 이미지를 디코딩하기 위한 디코딩 방법이 제공된다.
마지막으로, 본 개시의 제7 양태에 따르면, 컴퓨터 프로그램이 컴퓨터 상에서 실행될 때, 본 개시의 제4 양태, 제5 양태, 또는 제6 양태에 따른 방법을 수행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램이 제공된다.
하나 이상의 실시예의 세부사항들이 이하의 첨부 도면 및 설명에 제시된다. 다른 특징들, 목적들, 및 이점들은 설명, 도면들, 및 청구항들로부터 명백할 것이다.
본 개시의 이하의 실시예들은 첨부 도면들 및 도면들을 참조하여 더 상세히 설명된다.
도 1은 본 개시의 실시예들을 구현하도록 구성된 비디오 인코더의 일례를 도시한 블록도이다.
도 2는 본 개시의 실시예들을 구현하도록 구성된 비디오 디코더의 예시적인 구조를 나타낸 블록도이다.
도 3은 본 개시의 실시예들을 구현하도록 구성된 비디오 코딩 시스템의 예를 도시하는 블록도이다.
도 4는 2개의 예시적인 코딩 블록을 도시한다.
도 5는 본 개시의 제1 양태에 따른 본 발명의 이미지 처리 디바이스의 실시예를 도시한다.
도 6은 본 개시의 제2 양태에 따른 본 발명의 인코더의 실시예를 도시한다.
도 7은 본 개시의 제3 양태에 따른 본 발명의 디코더의 실시예를 도시한다.
도 8은 디블로킹 필터링 전의 픽셀 값에 따른 예시적인 블록 에지를 도시한다.
도 9는 본 개시의 제4 양태에 따른 이미지 처리 방법의 실시예의 흐름도를 도시한다.
이하에서, 동일한 참조 부호들은 동일하거나 적어도 기능적으로 동등한 특징들을 가리킨다. 부분적으로, 동일한 엔티티들을 참조하는 상이한 참조 부호들이 상이한 도면들에서 사용되었다.
도 1은 본 개시의 실시예들을 구현하도록 구성된 비디오 인코더의 일례를 도시한 블록도이다.
도 2는 본 개시의 실시예들을 구현하도록 구성된 비디오 디코더의 예시적인 구조를 나타낸 블록도이다.
도 3은 본 개시의 실시예들을 구현하도록 구성된 비디오 코딩 시스템의 예를 도시하는 블록도이다.
도 4는 2개의 예시적인 코딩 블록을 도시한다.
도 5는 본 개시의 제1 양태에 따른 본 발명의 이미지 처리 디바이스의 실시예를 도시한다.
도 6은 본 개시의 제2 양태에 따른 본 발명의 인코더의 실시예를 도시한다.
도 7은 본 개시의 제3 양태에 따른 본 발명의 디코더의 실시예를 도시한다.
도 8은 디블로킹 필터링 전의 픽셀 값에 따른 예시적인 블록 에지를 도시한다.
도 9는 본 개시의 제4 양태에 따른 이미지 처리 방법의 실시예의 흐름도를 도시한다.
이하에서, 동일한 참조 부호들은 동일하거나 적어도 기능적으로 동등한 특징들을 가리킨다. 부분적으로, 동일한 엔티티들을 참조하는 상이한 참조 부호들이 상이한 도면들에서 사용되었다.
먼저, 도 1 내지 도 3에 따라 이미지 코딩의 일반 개념을 예증한다. 도 4 및 도 8을 따라, 종래의 디블로킹 필터의 단점이 도시된다. 도 5 내지 도 7과 관련하여, 본 발명의 장치의 상이한 실시예들의 구성 및 기능이 도시되고 설명된다. 마지막으로, 도 9와 관련하여, 본 발명의 방법의 실시예가 도시되고 설명된다. 상이한 도면들에서의 유사한 엔티티들 및 참조 번호들은 부분적으로 생략된다.
이하의 설명에서, 본 개시의 일부를 형성하고, 본 개시의 실시예들의 특정 양태들 또는 본 개시의 실시예들이 사용될 수 있는 특정 양태들을 예시로서 도시하는 첨부 도면들이 참조된다. 본 개시의 실시예들은 다른 양태들에서 사용될 수 있고 도면들에 도시되지 않은 구조적 또는 논리적 변경들을 포함한다는 것이 이해된다. 따라서, 이하의 상세한 설명은 제한적인 의미로 취해져서는 안되며, 본 개시의 범위는 첨부된 청구항들에 의해 정의된다.
예를 들어, 설명된 방법과 관련된 개시는 방법을 수행하도록 구성된 대응하는 디바이스 또는 시스템에 대해 또한 유효할 수 있고 그 반대도 마찬가지라는 점이 이해된다. 예를 들어, 하나 또는 복수의 특정 방법 단계가 설명되는 경우, 그러한 하나 이상의 유닛이 도면들에 명시적으로 설명되거나 예시되지 않더라도, 대응하는 디바이스는 설명된 하나 또는 복수의 방법 단계(예를 들어, 하나 또는 복수의 단계를 수행하는 하나의 유닛, 또는 복수의 단계 중 하나 이상을 각각 수행하는 복수의 유닛)를 수행하는 하나 또는 복수의 유닛, 예를 들어, 기능 유닛들을 포함할 수 있다. 다른 한편으로, 예를 들어, 특정 장치가 하나 또는 복수의 유닛, 예를 들어, 기능 유닛들에 기초하여 설명되는 경우, 대응하는 방법은 그러한 하나 또는 복수의 단계가 도면들에 명시적으로 설명되거나 예시되지 않더라도, 하나 또는 복수의 유닛의 기능성을 수행하는 하나의 단계(예를 들어, 하나 또는 복수의 유닛의 기능성을 수행하는 하나의 단계, 또는 복수의 유닛 중 하나 이상의 유닛의 기능성을 각각 수행하는 복수의 단계)를 포함할 수 있다. 추가로, 본 명세서에 설명되는 다양한 예시적인 실시예들 및/또는 양태들의 특징들은, 구체적으로 다른 방식으로 설명되지 않는 한, 서로 조합될 수 있다는 점이 이해된다.
비디오 코딩은, 비디오 또는 비디오 시퀀스를 형성하는, 픽처들의 시퀀스의 처리를 통상적으로 지칭한다. 용어 픽처 대신에, 용어 프레임 또는 이미지가 비디오 코딩 분야에서 유의어들로서 사용될 수 있다. 비디오 코딩은 2개의 부분, 비디오 인코딩 및 비디오 디코딩을 포함한다. 비디오 인코딩은 소스 측에서 수행되고, 통상적으로 (더 효율적인 저장 및/또는 송신을 위해) 비디오 픽처들을 표현하는데 요구되는 데이터의 양을 감소시키기 위해 원래의 비디오 픽처들을 (예를 들어, 압축에 의해) 처리하는 것을 포함한다. 비디오 디코딩은 목적지 측에서 수행되고, 비디오 픽처들을 재구성하기 위해 인코더와 비교해 역 처리를 통상적으로 포함한다. 비디오 픽처들(또는 이후에 설명되는 대로 일반적으로는 픽처들)의 "코딩"을 참조하는 실시예들은 비디오 픽처들의 "인코딩" 및 "디코딩" 둘 다에 관련되는 것으로 이해될 것이다. 인코딩 부분과 디코딩 부분의 조합은 CODEC(COding 및 DECoding)이라고 또한 지칭된다.
무손실 비디오 코딩의 경우, 원래의 비디오 픽처들이 재구성될 수 있는데, 즉, 재구성된 비디오 픽처들은 원래의 비디오 픽처들과 동일한 품질을 갖는다(저장 또는 송신 동안 송신 손실 또는 다른 데이터 손실이 없다고 가정함). 손실 비디오 코딩의 경우, 디코더에서 완전히 재구성될 수 없는, 즉 재구성된 비디오 픽처들의 품질이 원래의 비디오 픽처들의 품질에 비해 더 낮거나 더 나쁜, 비디오 픽처들을 나타내는 데이터의 양을 감소시키기 위해, 예를 들어, 양자화에 의한 추가 압축이 수행된다.
H.261 이후의 몇몇 비디오 코딩 표준들은 "손실성 하이브리드 비디오 코덱들(lossy hybrid video codecs)"의 그룹에 속한다(즉, 샘플 도메인에서의 공간 및 시간 예측 및 변환 도메인에서 양자화를 적용하기 위한 2D 변환 코딩을 조합함). 비디오 시퀀스의 각각의 픽처는 비-중첩 블록들의 세트로 통상적으로 파티셔닝되고, 이 코딩은 블록 레벨에서 통상적으로 수행된다. 즉, 인코더에서, 비디오는 통상적으로, 예를 들어, 공간(인트라 픽처) 예측 및 시간(인터 픽처) 예측을 사용하여 예측 블록을 생성하는 것, 현재 블록(현재 처리된/처리될 블록)으로부터 예측 블록을 감산하여 잔차 블록을 획득하는 것, 잔차 블록을 변환하고 변환 도메인에서 잔차 블록을 양자화하여 송신될 데이터의 양을 감소(압축)시키는 것에 의해, 블록(비디오 블록) 레벨에서 처리, 즉 인코딩되는 반면, 디코더에서는 인코더에 비해 역 처리가 인코딩된 또는 압축된 블록에 적용되어 표현을 위해 현재 블록을 재구성한다. 또한, 인코더는 디코더 처리 루프를 복제하여, 둘 다가 후속 블록들을 처리, 즉 코딩하기 위해 동일한 예측들(예를 들어, 인트라-예측 및 인터-예측) 및/또는 재구성들을 생성할 것이다.
비디오 픽처 처리(동픽처 처리(moving picture processing)로서 또한 지칭됨) 및 스틸 픽처 처리(용어 처리는 코딩을 포함함)가 많은 개념들 및 기술들 또는 툴들을 공유하므로, 이하에서 "픽처(picture)"라는 용어는, 비디오 픽처들과 스틸 픽처들(still pictures) 사이의 불필요한 반복들 및 구별들을 필요하지 않을 경우에 회피하기 위해서 비디오 시퀀스(위에서 설명된 바와 같음)의 비디오 픽처 및/또는 스틸 픽처를 지칭하기 위해 사용된다. 설명이 스틸 픽처들(또는 스틸 이미지들)만을 참조하는 경우, 용어 "스틸 픽처"가 사용될 것이다.
다음의 인코더(100)의 실시예들에서, 디코더(200) 및 코딩 시스템(300)은 도 4 내지 도 14에 기초하여 본 개시의 실시예들을 더 상세히 설명하기 전에 도 1 내지 3에 기초하여 설명된다.
도 3은 코딩 시스템(300), 예를 들어, 픽처 코딩 시스템(300)의 실시예를 나타내는 개념적 또는 개략적인 블록도로서, 코딩 시스템(300)은 인코딩된 데이터(330), 예를 들어, 인코딩된 픽처(330)를, 예를 들어, 인코딩된 데이터(330)를 디코딩하기 위한 목적지 디바이스(320)에 제공하도록 구성된 소스 디바이스(310)를 포함한다.
소스 디바이스(310)는 인코더(100) 또는 인코딩 유닛(100)을 포함하고, 픽처 소스(312), 전처리 유닛(314), 예를 들어, 픽처 전처리 유닛(314), 및 통신 인터페이스 또는 통신 유닛(318)을 추가적으로, 즉, 임의로 포함할 수 있다.
픽처 소스(312)는 예를 들어, 현실 세계 픽처를 캡처하기 위한 임의의 종류의 픽처 캡처 디바이스, 및/또는 임의의 종류의 픽처 생성 디바이스, 예를 들어, 컴퓨터 애니메이션 픽처를 생성하기 위한 컴퓨터 그래픽 프로세서, 또는 현실 세계 픽처, 컴퓨터 애니메이션 픽처(예를 들어, 스크린 콘텐츠, 가상 현실(VR) 픽처) 및/또는 이들의 임의의 조합(예를 들어, 증강 현실(AR) 픽처)을 획득 및/또는 제공하기 위한 임의의 종류의 디바이스를 포함할 수 있거나 이들일 수 있다. 이하에서, 이러한 모든 종류의 픽처들 및 임의의 다른 종류의 픽처들은, 달리 구체적으로 설명되지 않는 한, "픽처" 또는 "이미지"로 지칭될 것인 한편, "비디오 픽처들" 및 "스틸 픽처들"을 포괄하는 "픽처"라는 용어에 관한 이전의 설명들은 다르게 명시적으로 특정되지 않는 한, 여전히 유효하다.
(디지털) 픽처는 강도 값들을 갖는 샘플들의 2차원 어레이 또는 행렬이거나 또는 이들로서 간주될 수 있다. 이러한 어레이에서의 샘플은 또한 픽셀(픽처 요소의 짧은 형식) 또는 펠(pel)이라고 또한 지칭될 수 있다. 어레이 또는 픽처의 수평 및 수직 방향(또는 축)에서의 샘플들의 수는 픽처의 크기 및/또는 해상도를 정의한다. 컬러의 표현을 위해, 통상적으로 3개의 컬러 성분이 이용되는데, 즉, 픽처는 3개의 샘플 어레이로 표현될 수 있거나 또는 이들을 포함할 수 있다. RGB 포맷 또는 컬러 공간에서 픽처는 대응하는 적색, 녹색 및 청색 샘플 어레이를 포함한다. 그러나, 비디오 코딩에서, 각각의 픽셀은 통상적으로 휘도/크로미넌스 포맷 또는 컬러 공간, 예를 들어, Y로 표시된 휘도 성분(때때로 L이 대신 사용됨) 및 Cb 및 Cr로 표시된 2개의 크로미넌스 성분을 포함하는 YCbCr로 표현된다. 휘도(또는 짧은 루마) 성분 Y는 휘도 또는 그레이 레벨 강도(예를 들어, 그레이-스케일 픽처에서와 같음)를 나타내는 반면, 2개의 크로미넌스(또는 짧은 크로마) 성분 Cb 및 Cr은 색도 또는 컬러 정보 성분들을 나타낸다. 따라서, YCbCr 포맷에서의 픽처는 휘도 샘플 값들(Y)의 휘도 샘플 어레이, 및 크로미넌스 값들(Cb 및 Cr)의 2개의 크로미넌스 샘플 어레이를 포함한다. RGB 포맷에서의 픽처들은 YCbCr 포맷으로 전환되거나 또는 변환될 수 있고 그 반대도 마찬가지이며, 이러한 프로세스는 컬러 변환 또는 전환으로서 또한 알려져 있다. 픽처가 모노크롬(monochrome)이면, 이러한 픽처는 휘도 샘플 어레이만을 포함할 수 있다.
픽처 소스(312)는 예를 들어, 픽처를 캡처하기 위한 카메라, 이전에 캡처되거나 생성된 픽처를 포함하거나 저장하는 메모리, 및/또는 픽처를 획득하거나 수신하기 위한 임의의 종류의 인터페이스(내부 또는 외부)일 수 있다. 카메라는, 예를 들어, 소스 디바이스에 통합된 로컬 또는 통합형 카메라일 수 있고, 메모리는, 예를 들어, 소스 디바이스에 통합된 로컬 또는 통합형 메모리일 수 있다. 이러한 인터페이스는, 예를 들어, 외부 비디오 소스, 예를 들어, 카메라와 같은 외부 픽처 캡처 디바이스, 외부 메모리, 또는 외부 픽처 생성 디바이스, 예를 들어, 외부 컴퓨터 그래픽 프로세서, 컴퓨터 또는 서버로부터 픽처를 수신하는 외부 인터페이스일 수 있다. 인터페이스는 임의의 종류의 인터페이스, 예를 들어, 임의의 독점적 또는 표준화된 인터페이스 프로토콜에 따른 유선 또는 무선 인터페이스, 광학 인터페이스일 수 있다. 픽처 데이터(312)를 획득하기 위한 인터페이스는 통신 인터페이스(318)와 동일한 인터페이스 또는 그 일부분일 수 있다.
전처리 유닛(314) 및 전처리 유닛(314)에 의해 수행되는 처리와의 구별을 위해, 픽처 또는 픽처 데이터(313)는 원시 픽처 또는 원시 픽처 데이터(313)로도 지칭될 수 있다.
전처리 유닛(314)은 (원시(raw)) 픽처 데이터(313)를 수신하고, 픽처 데이터(313)에 대한 전처리를 수행하여 전처리된 픽처(315) 또는 전처리된 픽처 데이터(315)를 획득하도록 구성된다. 전처리 유닛(314)에 의해 수행되는 전처리는, 예를 들어, 트리밍, (예를 들어, RGB로부터 YCbCr로의) 컬러 포맷 변환, 컬러 보정, 또는 노이즈 제거를 포함할 수 있다.
인코더(100)는 전처리된 픽처 데이터(315)를 수신하고 인코딩된 픽처 데이터(171)를 제공하도록 구성된다(예를 들어 도 1에 기초하여 추가의 세부사항들이 설명될 것이다).
소스 디바이스(310)의 통신 인터페이스(318)는 인코딩된 픽처 데이터(171)를 수신하고 그것을 저장 또는 직접 재구성을 위해 다른 디바이스, 예를 들어, 목적지 디바이스(320) 또는 임의의 다른 디바이스에 직접 송신하거나, 인코딩된 데이터(330)를 저장하고/하거나 인코딩된 데이터(330)를 다른 디바이스, 예를 들어, 목적지 디바이스(320) 또는 디코딩 또는 저장을 위한 임의의 다른 디바이스에 송신하기 전에 인코딩된 픽처 데이터(171)를 각각 처리하도록 구성될 수 있다.
목적지 디바이스(320)는 디코더(200) 또는 디코딩 유닛(200)을 포함하고, 추가적으로, 즉 선택적으로, 통신 인터페이스 또는 통신 유닛(322), 후처리 유닛(326) 및 디스플레이 디바이스(328)를 포함할 수 있다.
목적지 디바이스(320)의 통신 인터페이스(322)는 인코딩된 픽처 데이터(171) 또는 인코딩된 데이터(330)를, 예를 들어, 소스 디바이스(310)로부터 직접 또는 임의의 다른 소스, 예를 들어, 메모리, 예를 들어, 인코딩된 픽처 데이터 메모리로부터 수신하도록 구성된다.
통신 인터페이스(318) 및 통신 인터페이스(322)는 소스 디바이스(310)와 목적지 디바이스(320) 사이의 직접 통신 링크, 예를 들어, 직접 유선 또는 무선 접속을 통해, 또는 임의의 종류의 네트워크, 예를 들어, 유선 또는 무선 네트워크 또는 이들의 임의의 조합, 또는 임의의 종류의 사설 및 공중 네트워크, 또는 이들의 임의의 종류의 조합을 통해, 인코딩된 픽처 데이터(171) 또는 인코딩된 데이터(330)를 각각 송신하도록 구성될 수 있다.
통신 인터페이스(318)는 인코딩된 픽처 데이터(171)를, 통신 링크 또는 통신 네트워크를 통한 송신을 위해, 적절한 포맷, 예를 들어, 패킷들로 패키징하도록 구성될 수 있고, 데이터 손실 보호 및 데이터 손실 복구를 추가로 포함할 수 있다.
통신 인터페이스(318)의 대응물을 형성하는 통신 인터페이스(322)는, 예를 들어, 인코딩된 픽처 데이터(171)를 획득하기 위해 인코딩된 데이터(330)를 디패키징(de-package)하도록 구성될 수 있고, 예를 들어, 에러 은닉을 포함하는, 데이터 손실 보호 및 데이터 손실 복구를 수행하도록 추가로 구성될 수 있다.
통신 인터페이스(318) 및 통신 인터페이스(322)는 소스 디바이스(310)로부터 목적지 디바이스(320)로 포인팅하는 도 3의 인코딩된 픽처 데이터(330)에 대한 화살표로 표시된 단방향 통신 인터페이스들, 또는 양방향 통신 인터페이스들로서 둘 다 구성될 수 있고, 예를 들어, 메시지들을 전송 및 수신하고, 예를 들어, 연결을 셋업하고, 픽처 데이터를 포함하는 손실된 또는 지연된 데이터를 확인 응답 및/또는 재전송하고, 통신 링크 및/또는 데이터 송신, 예를 들어, 인코딩된 픽처 데이터 송신과 관련된 임의의 다른 정보를 교환하도록 구성될 수 있다.
디코더(200)는 인코딩된 픽처 데이터(171)를 수신하고 디코딩된 픽처 데이터(231) 또는 디코딩된 픽처(231)를 제공하도록 구성된다(예를 들어, 도 2에 기초하여 추가의 세부사항들이 설명될 것이다).
목적지 디바이스(320)의 후처리기(326)는 디코딩된 픽처 데이터(231), 예를 들어, 디코딩된 픽처(231)를 후처리하여 후처리된 픽처 데이터(327), 예를 들어, 후처리된 픽처(327)를 획득하도록 구성된다. 후처리 유닛(326)에 의해 수행되는 후처리는, 예를 들어, (예를 들어, YCbCr로부터 RGB로의) 컬러 포맷 변환, 컬러 보정, 트리밍, 또는 리샘플링, 또는 예를 들어, 디스플레이 디바이스(328)에 의한 디스플레이를 위해 디코딩된 픽처 데이터(231)를 준비하기 위한 임의의 다른 처리를 포함할 수 있다.
목적지 디바이스(320)의 디스플레이 디바이스(328)는 예를 들어, 사용자 또는 뷰어에게 픽처를 디스플레이하기 위한 후처리된 픽처 데이터(327)를 수신하도록 구성된다. 디스플레이 디바이스(328)는 재구성된 픽처를 나타내기 위한 임의의 종류의 디스플레이, 예를 들어, 통합형 또는 외부 디스플레이 또는 모니터일 수 있거나 이를 포함할 수 있다. 디스플레이들은, 예를 들어, 음극선관들(CRT), 액정 디스플레이들(LCD), 플라즈마 디스플레이들, 유기 발광 다이오드(OLED) 디스플레이들 또는 임의의 종류의 다른 디스플레이: ... 비머(beamer), 홀로그램(3D), ...을 포함할 수 있다.
도 3이 소스 디바이스(310) 및 목적지 디바이스(320)를 별개의 디바이스들로서 묘사하지만, 디바이스들의 실시예들은 소스 디바이스(310) 또는 대응하는 기능성 및 목적지 디바이스(320) 또는 대응하는 기능성 둘 다 또는 둘 다의 기능성을 포함할 수 있다. 이러한 실시예들에서, 소스 디바이스(310) 또는 대응하는 기능성 및 목적지 디바이스(320) 또는 대응하는 기능성은 동일한 하드웨어 및/또는 소프트웨어를 사용하여 또는 별개의 하드웨어 및/또는 소프트웨어 또는 이들의 임의의 조합에 의해 구현될 수 있다.
이 설명에 기초하여 통상의 기술자에게 명백한 바와 같이, 도 3에 도시된 바와 같은 소스 디바이스(310) 및/또는 목적지 디바이스(320) 내의 기능성들 또는 상이한 유닛들의 기능성들의 존재 및 (정확한) 분할은 실제 디바이스 및 애플리케이션에 의존하여 다를 수 있다.
따라서, 도 3에 도시된 바와 같은 소스 디바이스(310) 및 목적지 디바이스(320)는 단지 본 개시의 예시적인 실시예들이고, 본 개시의 실시예들은 도 3에 도시된 것들로 제한되지 않는다.
소스 디바이스(310) 및 목적지 디바이스(320)는 임의의 종류의 핸드헬드 또는 고정형 디바이스들, 예를 들어, 노트북 또는 랩톱 컴퓨터들, 모바일 폰들, 스마트 폰들, 태블릿들 또는 태블릿 컴퓨터들, 카메라들, 데스크톱 컴퓨터들, 셋톱 박스들, 텔레비전들, 디스플레이 디바이스들, 디지털 미디어 플레이어들, 비디오 게임 콘솔들, 비디오 스트리밍 디바이스들, 방송 수신기 디바이스 등(또한 대규모 전문 인코딩/디코딩을 위한 서버들 및 워크스테이션들, 예를 들어, 네트워크 엔티티들)을 포함하는 광범위한 디바이스들 중 임의의 것을 포함할 수 있고, 어떠한 운영 체제도 사용하지 않거나 임의의 종류의 운영 체제를 사용할 수 있다.
도 1은 인코더(100), 예를 들어, 입력(102), 잔차 계산 유닛(104), 변환 유닛(106), 양자화 유닛(108), 역 양자화 유닛(110), 및 역 변환 유닛(112), 재구성 유닛(114), 버퍼(118), 루프 필터(120), 디코딩된 픽처 버퍼(DPB)(130), 예측 유닛(160)[인터 추정 유닛(142), 인터 예측 유닛(144), 인트라 추정 유닛(152), 인트라 예측 유닛(154)], 모드 선택 유닛(162), 엔트로피 인코딩 유닛(170), 및 출력(172)을 포함하는 픽처 인코더(100)의 실시예의 개략/개념 블록도를 도시한다. 도 1에 도시된 바와 같은 비디오 인코더(100)는 하이브리드 비디오 코덱에 따른 하이브리드 비디오 인코더 또는 비디오 인코더라고도 지칭될 수 있다.
예를 들어, 잔차 계산 유닛(104), 변환 유닛(106), 양자화 유닛(108), 및 엔트로피 인코딩 유닛(170)은 인코더(100)의 순방향 신호 경로를 형성하는 반면, 예를 들어, 역 양자화 유닛(110), 역 변환 유닛(112), 재구성 유닛(114), 버퍼(118), 루프 필터(120), 디코딩된 픽처 버퍼(DPB)(130), 인터 예측 유닛(144), 및 인트라 예측 유닛(154)은 인코더의 역방향 신호 경로를 형성하고, 여기서 인코더의 역방향 신호 경로는 디코더의 신호 경로에 대응한다(도 2의 디코더(200) 참조).
인코더는, 예를 들어, 입력(102)에 의해, 픽처(101) 또는 픽처(101)의 픽처 블록(103), 예를 들어, 비디오 또는 비디오 시퀀스를 형성하는 픽처 시퀀스의 픽처를 수신하도록 구성된다. 픽처 블록(103)은 또한 현재 픽처 블록 또는 코딩될 픽처 블록이라고 지칭될 수 있고, 픽처(101)는 (특히 비디오 코딩에서 현재 픽처를 다른 픽처들, 예를 들어, 동일한 비디오 시퀀스, 즉 현재 픽처를 또한 포함하는 비디오 시퀀스의 이전에 인코딩된 및/또는 디코딩된 픽처들과 구별하기 위해) 현재 픽처 또는 코딩될 픽처라고 지칭될 수 있다.
인코더(100)의 실시예들은 예를 들어, 픽처(103)를 복수의 블록(예를 들어, 블록(103)과 같은 블록들)으로, 통상적으로 복수의 비중첩 블록으로 파티셔닝하도록 구성된 픽처 파티셔닝 유닛으로서 또한 지칭될 수 있는 파티셔닝 유닛(도 1에 도시되지 않음)을 포함할 수 있다. 파티셔닝 유닛은 비디오 시퀀스의 모든 픽처들에 대해 동일한 블록 크기를 그리고 이 블록 크기를 정의하는 대응하는 그리드를 사용하거나, 또는 픽처들 또는 픽처들의 서브세트들 또는 그룹들 사이의 블록 크기를 변경하고, 각각의 픽처를 대응하는 블록들로 파티셔닝하도록 구성될 수 있다.
픽처(101)와 같이, 블록(103)은 다시, 픽처(101)보다 작은 치수의 것이라 하더라도, 강도 값들(샘플 값들)을 갖는 샘플들의 2차원 어레이 또는 행렬이거나 또는 이것으로서 간주될 수 있다. 즉, 블록(103)은, 적용된 컬러 포맷에 따라, 예를 들어, 하나의 샘플 어레이(예를 들어, 모노크롬 픽처(101)의 경우에는 루마 어레이) 또는 3개의 샘플 어레이(예를 들어, 컬러 픽처(101)의 경우에는 루마 및 2개의 크로마 어레이) 또는 임의의 다른 수 및/또는 종류의 어레이를 포함할 수 있다. 블록(103)의 수평 및 수직 방향(또는 축)에서의 샘플들의 수는 블록(103)의 크기를 정의한다.
도 1에 도시된 인코더(100)는 픽처(101)를 블록 단위로(block by block) 인코딩하도록 구성되어 있는데, 예를 들어, 인코딩 및 예측이 블록(103)당 수행된다.
잔차 계산 유닛(104)은, 예를 들어, 픽처 블록(103)의 샘플 값들로부터 예측 블록(165)의 샘플 값들을 샘플 단위로(픽셀 단위로) 감산하여 샘플 도메인에서 잔차 블록(105)을 획득함으로써, 픽처 블록(103) 및 예측 블록(165)(예측 블록(165)에 관한 추가 세부사항들은 나중에 제공됨)에 기초하여 잔차 블록(105)을 계산하도록 구성된다.
변환 유닛(106)은 변환 도메인에서 변환된 계수들(107)을 획득하기 위해 잔차 블록(105)의 샘플 값들에 대해 변환, 예를 들어, 공간 주파수 변환 또는 선형 공간 변환, 예를 들어, 이산 코사인 변환(DCT) 또는 이산 사인 변환(DST)을 적용하도록 구성된다. 변환된 계수들(107)은 또한 변환된 잔차 계수들로 지칭될 수 있고, 변환 도메인에서 잔차 블록(105)을 나타낸다.
변환 유닛(106)은 HEVC/H.265에 대해 특정된 코어 변환들과 같은 DCT/DST의 정수 근사들을 적용하도록 구성될 수 있다. 직교 DCT 변환에 비해, 이러한 정수 근사들은 특정 인자에 의해 통상적으로 스케일링된다. 순방향 변환 및 역 변환에 의해 처리되는 잔차 블록의 놈(norm)을 보존하기 위해, 추가적인 스케일링 인자들이 변환 프로세스의 일부로서 적용된다. 이러한 스케일링 인자들은, 시프트 연산, 변환된 계수들의 비트 심도, 정확도와 구현 비용들 사이의 트레이드오프 등을 위해 2의 거듭제곱인 스케일링 인자들과 같은 특정 제약들에 기초하여 통상적으로 선택된다. 특정 스케일링 인자들은, 예를 들어, 디코더(200)에서, 예를 들어, 역 변환 유닛(212)에 의해 역 변환(그리고, 예를 들어, 인코더(100)에서, 역 변환 유닛(112)에 의해 대응하는 역 변환)에 대해 특정되고, 인코더(100)에서, 예를 들어, 변환 유닛(106)에 의해, 순방향 변환에 대한 대응하는 스케일링 인자들은 그에 따라 특정될 수 있다.
양자화 유닛(108)은, 예를 들어, 스칼라 양자화 또는 벡터 양자화를 적용하는 것에 의해, 변환된 계수들(107)을 양자화하여 양자화된 계수들(109)을 획득하도록 구성된다. 양자화된 계수들(109)은 양자화된 잔차 계수들(109)로도 지칭될 수 있다. 예를 들어, 스칼라 양자화에 대해, 더 미세한 또는 더 조대한 양자화를 달성하기 위해 상이한 스케일링이 적용될 수 있다. 더 작은 양자화 스텝 크기들은 더 미세한 양자화에 대응하는 반면, 더 큰 양자화 스텝 크기들은 더 조대한 양자화에 대응한다. 적용가능한 양자화 스텝 크기는 QP(quantization parameter)에 의해 표시될 수 있다. 양자화 파라미터는 예를 들어, 미리 정의된 적용가능한 양자화 스텝 크기 세트에 대한 인덱스일 수 있다. 예를 들어, 작은 양자화 파라미터들은 미세 양자화(작은 양자화 스텝 크기들)에 대응할 수 있고, 큰 양자화 파라미터들은 조대한 양자화(큰 양자화 스텝 크기들)에 대응할 수 있고 또는 그 반대도 마찬가지이다. 양자화는 양자화 스텝 크기에 의한 나눗셈을 포함할 수 있고, 예를 들어, 역 양자화(110)에 의한 대응하는 또는 역 역양자화(inverse de-quantization)는 양자화 스텝 크기에 의한 곱셈을 포함할 수 있다.
HEVC에 따른 실시예들은 양자화 파라미터를 사용하여 양자화 스텝 크기를 결정하도록 구성될 수 있다. 일반적으로, 양자화 스텝 크기는 나눗셈을 포함하는 수학식의 고정 소수점 근사를 사용하여 양자화 파라미터에 기초하여 계산될 수 있다. 잔차 블록의 놈을 복원하기 위해 양자화 및 역양자화에 대해 추가적인 스케일링 인자들이 도입될 수 있으며, 이는 양자화 스텝 크기 및 양자화 파라미터에 대한 수학식의 고정 소수점 근사에서 사용되는 스케일링 때문에 수정될 수 있다. 한 예시적인 구현에서, 역 변환 및 역양자화의 스케일링은 조합될 수 있다. 대안적으로, 커스터마이즈된 양자화 테이블들이 사용되고 인코더로부터 디코더로, 예를 들어, 비트스트림에서 시그널링될 수 있다. 양자화는 손실성 연산이며, 손실은 양자화 스텝 크기들이 증가함에 따라 증가한다.
인코더(100)(또는 양자화 유닛(108) 각각)의 실시예들은 예를 들어, 대응하는 양자화 파라미터에 의해 양자화 스킴 및 양자화 스텝 크기를 출력하도록 구성될 수 있어, 디코더(200)는 대응하는 역 양자화를 수신하고 적용할 수 있다. 인코더(100)(또는 양자화 유닛(108))의 실시예들은 예를 들어, 엔트로피 인코딩 유닛(170) 또는 임의의 다른 엔트로피 코딩 유닛을 통해 직접 또는 엔트로피 인코딩된 양자화 스킴 및 양자화 스텝 크기를 출력하도록 구성될 수 있다.
역 양자화 유닛(110)은 예를 들어, 양자화 유닛(108)과 동일한 양자화 스텝 크기에 기초하여 또는 이를 사용하여 양자화 유닛(108)에 의해 적용되는 양자화 스킴의 역을 적용함으로써, 양자화된 계수들에 양자화 유닛(108)의 역 양자화를 적용하여 역양자화된 계수들(111)을 획득하도록 구성된다. 역양자화된 계수들(111)은 역양자화된 잔차 계수들(111)로도 지칭될 수 있고, 양자화에 의한 손실로 인해 변환된 계수들과는 통상적으로 동일하지는 않지만, 변환된 계수들(108)에 대응한다.
역 변환 유닛(112)은 변환 유닛(106)에 의해 적용된 변환의 역 변환, 예를 들어, DCT(inverse discrete cosine transform) 또는 DST(inverse discrete sine transform)를 적용하여, 샘플 도메인에서 역 변환된 블록(113)을 획득하도록 구성된다. 역 변환된 블록(113)은 역 변환된 역양자화된 블록(113) 또는 역 변환된 잔차 블록(113)으로도 지칭될 수 있다.
재구성 유닛(114)은, 예를 들어 디코딩된 잔차 블록(113)의 샘플 값들과 예측 블록(165)의 샘플 값들을 샘플별로 덧셈(sample wise adding)함으로써, 역 변환된 블록(113) 및 예측 블록(165)을 조합하여, 샘플 도메인에서 재구성된 블록(115)을 획득하도록 구성된다.
버퍼 유닛(116)(또는 짧은 "버퍼"(116)), 예를 들어 라인 버퍼(116)는, 예를 들어, 인트라 추정 및/또는 인트라 예측을 위해 재구성된 블록 및 각자의 샘플 값들을 버퍼링하거나 저장하도록 구성된다. 추가 실시예들에서, 인코더는 임의 종류의 추정 및/또는 예측을 위해 필터링되지 않은 재구성된 블록들 및/또는 버퍼 유닛(116)에 저장된 각자의 샘플 값들을 사용하도록 구성될 수 있다.
인코더(100)의 실시예들은, 예를 들어, 버퍼 유닛(116)이 인트라 추정(152) 및/또는 인트라 예측(154)을 위해 재구성된 블록들(115)을 저장하기 위해서뿐만 아니라 루프 필터 유닛(120)(도 1에 도시되지 않음)을 위해 사용되도록, 및/또는 예를 들어, 버퍼 유닛(116) 및 디코딩된 픽처 버퍼 유닛(130)이 하나의 버퍼를 형성하도록 구성될 수 있다. 추가 실시예들은 디코딩된 픽처 버퍼(130)로부터의 필터링된 블록들(121) 및/또는 블록들 또는 샘플들(둘 다 도 1에 도시되지 않음)을 인트라 추정(152) 및/또는 인트라 예측(154)을 위한 입력 또는 기초로서 사용하도록 구성될 수 있다.
루프 필터 유닛(120)(또는 줄여서 "루프 필터"(120))은, 예를 들어 블로킹 해제 샘플 적응 오프셋(sample-adaptive offset, SAO) 필터 또는 다른 필터들, 예를 들어 샤프닝(sharpening) 필터들 또는 평활화 필터들 또는 협업 필터들을 적용함으로써 재구성된 블록(115)을 필터링하여 필터링된 블록(121)을 획득하도록 구성된다. 필터링된 블록(121)은 필터링된 재구성된 블록(121)이라고도 지칭될 수 있다. 루프 필터(120)는 이하에서 디블로킹 필터로도 지칭된다.
루프 필터 유닛(120)의 실시예들은 (도 1에 도시되지 않은) 필터 분석 유닛 및 실제 필터 유닛을 포함할 수 있으며, 여기서 필터 분석 유닛은 실제 필터에 대한 루프 필터 파라미터들을 결정하도록 구성된다. 필터 분석 유닛은 고정된 미리 결정된 필터 파라미터들을 실제 루프 필터에 적용하고, 미리 결정된 필터 파라미터들의 세트로부터 필터 파라미터들을 적응적으로 선택하거나 실제 루프 필터에 대한 필터 파라미터들을 적응적으로 계산하도록 구성될 수 있다.
루프 필터 유닛(120)의 실시예들은 (도 1에 도시되지 않은) 하나 또는 복수의 필터(루프 필터 컴포넌트들/서브필터들), 예를 들어 상이한 종류들 또는 타입들의 필터들 중 하나 이상, 예를 들어 직렬로 또는 병렬로 또는 이들의 임의의 조합으로 접속된 필터들을 포함할 수 있고, 여기서 필터들 각각은 예를 들어 이전 단락에서 설명된 바와 같이 각자의 루프 필터 파라미터들을 결정하기 위해 필터 분석 유닛을 복수의 필터 중 다른 필터들과 개별적으로 또는 공동으로 포함할 수 있다.
인코더(100)(제각기 루프 필터 유닛(120))의 실시예들은, 예를 들어 직접적으로 또는 엔트로피 인코딩 유닛(170) 또는 임의의 다른 엔트로피 코딩 유닛을 통해 엔트로피 인코딩된 루프 필터 파라미터들을 출력하여, 예를 들어, 디코더(200)가 디코딩을 위해 동일한 루프 필터 파라미터들을 수신하고 적용할 수 있도록 구성될 수 있다.
디코딩된 픽처 버퍼(DPB)(130)는 필터링된 블록(121)을 수신하고 저장하도록 구성된다. 디코딩된 픽처 버퍼(130)는 동일한 현재 픽처의 또는 상이한 픽처들의, 예를 들어, 이전에 재구성된 픽처들의 다른 이전에 필터링된 블록들, 예를 들어, 이전에 재구성된 및 필터링된 블록들(121)을 저장하도록 추가로 구성될 수 있고, 예를 들어, 인터 추정 및/또는 인터 예측을 위해, 완전한 이전에 재구성된, 즉, 디코딩된 픽처들(및 대응하는 참조 블록들 및 샘플들) 및/또는 부분적으로 재구성된 현재 픽처(및 대응하는 참조 블록들 및 샘플들)를 제공할 수 있다.
본 개시의 추가 실시예들은 또한 임의의 종류의 추정 또는 예측, 예를 들어, 인트라 및 인터 추정 및 예측을 위해 이전에 필터링된 블록들 및 디코딩된 픽처 버퍼(130)의 대응하는 필터링된 샘플 값들을 사용하도록 구성될 수 있다.
블록 예측 유닛(160)이라고도 지칭되는 예측 유닛(160)은 픽처 블록(103)(현재 픽처(101)의 현재 픽처 블록(103)) 및 디코딩된 또는 적어도 재구성된 픽처 데이터, 예를 들어, 버퍼(116)로부터의 동일한(현재) 픽처의 참조 샘플들 및/또는 디코딩된 픽처 버퍼(130)로부터의 하나 또는 복수의 이전에 디코딩된 픽처로부터의 디코딩된 픽처 데이터(231)를 수신 또는 획득하고, 예측을 위해 이러한 데이터를 처리하도록, 즉, 인터 예측된 블록(145) 또는 인트라 예측된 블록(155)일 수 있는 예측 블록(165)을 제공하도록 구성된다.
모드 선택 유닛(162)은 잔차 블록(105)의 계산을 위한 그리고 재구성된 블록(115)의 재구성을 위한 예측 블록(165)으로서 사용될 예측 모드(예를 들어, 인트라 또는 인터 예측 모드) 및/또는 대응하는 예측 블록(145 또는 155)을 선택하도록 구성될 수 있다.
모드 선택 유닛(162)의 실시예들은 (예를 들어, 예측 처리 유닛(160)에 의해 지원된 것들로부터) 예측 모드를 선택하도록 구성될 수 있고, 이는 최상의 매칭 또는 다시 말해서 최소 잔차(최소 잔차는 송신 또는 저장을 위해 더 나은 압축을 의미함), 또는 최소 시그널링 오버헤드(최소 시그널링 오버헤드는 송신 또는 저장을 위해 더 나은 압축을 의미함)를 제공하거나, 또는 이는 둘 다를 고려하거나 또는 균형화한다. 모드 선택 유닛(162)은 RDO(rate distortion optimization)에 기초하여 예측 모드를 결정하도록, 즉 최소 레이트 왜곡 최적화를 제공하는 예측 모드 또는 어느 연관된 레이트 왜곡이 예측 모드 선택 기준을 적어도 충족시키는지를 선택하도록 구성될 수 있다.
이하에서는, 예시적인 인코더(100)에 의해 수행되는 예측 처리(예를 들어, 예측 유닛(160) 및 모드 선택(예를 들어, 모드 선택 유닛(162)에 의함)가 더 상세히 설명될 것이다.
위에 설명된 바와 같이, 인코더(100)는 (미리 결정된) 예측 모드들의 세트로부터 최상의 또는 최적의 예측 모드를 결정하도록 또는 선택하도록 구성된다. 예측 모드들의 세트는, 예를 들어, 인트라 예측 모드들 및/또는 인터 예측 모드들을 포함할 수 있다.
인트라 예측 모드들의 세트는 32개의 상이한 인트라 예측 모드, 예를 들어, H.264에서 정의되는 바와 같은, 예를 들어, DC(또는 평균) 모드와 평면 모드와 같은 비 지향성 모드들, 또는 지향성 모드들을 포함할 수 있거나, 또는 65개의 상이한 인트라 예측 모드, 예를 들어, H.265에서 정의되는 바와 같은, 예를 들어, DC(또는 평균) 모드 또는 평면 모드와 같은 비 지향성 모드들, 또는 지향성 모드들을 포함할 수 있다.
(또는 가능한) 인터 예측 모드들의 세트는 이용가능한 참조 픽처들(즉, 예를 들어, DBP(230)에 저장되는, 이전의 적어도 부분적으로 디코딩된 픽처들) 및 다른 인터 예측 파라미터들, 예를 들어, 최상의 매칭 참조 픽처 블록을 검색하기 위해 참조 픽처의 전체 참조 픽처 또는 참조 픽처의 부분만, 예를 들어, 현재 블록의 영역 주위의 검색 윈도우 영역만이 사용되는지, 및/또는, 예를 들어, 픽셀 보간, 예를 들어, 하프/세미-펠(half/semi-pel) 및/또는 쿼터-펠(quarter-pel) 보간이 적용되는지 여부에 의존한다.
위의 예측 모드들에 추가적으로, 스킵 모드 및/또는 직접 모드가 적용될 수 있다.
예측 처리 유닛(160)은, 예를 들어, QT(quad-tree-partitioning), BT(binary partitioning) 또는 TT(triple-tree-partitioning) 또는 이들의 임의의 조합을 반복적으로 사용하여, 블록(103)을 더 작은 블록 파티션들 또는 서브 블록들로 파티셔닝하도록, 그리고, 예를 들어, 블록 파티션들 또는 서브 블록들 각각에 대한 예측을 수행하도록 추가로 구성될 수 있으며, 여기서 모드 선택은 파티셔닝된 블록(103)의 트리 구조의 선택 및 블록 파티션들 또는 서브 블록들 각각에 적용되는 예측 모드들을 포함한다.
인터 픽처 추정 유닛(142)이라고도 지칭되는 인터 추정 유닛(142)은, 인터 추정(또는 "인터 픽처 추정")을 위해, 픽처 블록(103)(현재 픽처(101)의 현재 픽처 블록(103)) 및 디코딩된 픽처(231), 또는 적어도 하나 또는 복수의 이전에 재구성된 블록, 예를 들어, 하나 또는 복수의 다른/상이한 이전에 디코딩된 픽처(231)의 재구성된 블록들을 수신하거나 또는 획득하도록 구성된다. 예를 들어, 비디오 시퀀스는 현재 픽처 및 이전에 디코딩된 픽처들(231)을 포함할 수 있거나, 또는 다시 말해서, 현재 픽처 및 이전에 디코딩된 픽처들(231)은 비디오 시퀀스를 형성하는 픽처들의 부분일 수 있거나 또는 그 시퀀스를 형성할 수 있다.
인코더(100)는, 예를 들어, 복수의 다른 픽처의 동일한 또는 상이한 픽처들의 복수의 참조 블록으로부터 참조 블록을 선택하고, 참조 블록의 위치(x, y 좌표들)와 인터 예측 유닛(144)에 대한 인터 추정 파라미터들(143)로서의 현재 블록의 위치 사이의 참조 픽처(또는 참조 픽처 인덱스, ...) 및/또는 오프셋(공간적 오프셋)을 제공하도록 구성될 수 있다. 이러한 오프셋은 또한 MV(motion vector)라고 불린다. 인터 추정은 또한 모션 추정(motion estimation, ME)으로 지칭되고 인터 예측은 또한 모션 예측(motion prediction, MP)으로 지칭된다.
인터 예측 유닛(144)은, 인터 예측 파라미터(143)를 획득하고, 예를 들어, 수신하고, 그리고 인터 예측 파라미터(143)에 기초하여 또는 이를 사용하여 인터 예측을 수행하여 인터 예측 블록(145)을 획득하도록 구성된다.
도 1이 인터 코딩, 즉 인터 추정(142) 및 인터 예측(152)을 위한 2개의 별개의 유닛(또는 단계)을 도시하지만, 둘 다의 기능성들은, 예를 들어, 현재 최상의 인터 예측 모드 및 각자의 인터 예측 블록을 저장하는 동안에 가능한 인터 예측 모드들의 모든 가능한 또는 미리 결정된 서브세트를 반복적으로 테스트하고, 그리고 다른 시간에 인터 예측(144)을 수행하지 않고서 현재 최상의 인터 예측 모드 및 각자의 인터 예측 블록을 (최종) 인터 예측 파라미터(143) 및 인터 예측 블록(145)으로서 사용함으로써, 인터 예측 블록, 즉 인터 예측(154) 또는 "일종의" 인터 예측(154)을 계산하는 것을 하나(인터 추정)가 요구하고/포함함에 따라 수행될 수 있다.
인트라 추정 유닛(152)은 인트라 추정을 위해 픽처 블록(103)(현재 픽처 블록) 및 동일한 픽처의 하나의 또는 복수의 이전에 재구성된 블록, 예를 들어, 재구성된 이웃 블록을 획득하도록, 예를 들어, 수신하도록 구성된다. 인코더(100)는, 예를 들어, 복수의 (미리 결정된) 인트라 예측 모드로부터 인트라 예측 모드를 선택하고 그것을 인트라 예측 유닛(154)에 인트라 추정 파라미터(153)로서 제공하도록 구성될 수 있다.
인코더(100)의 실시예들은 최적화 기준, 예를 들어, 최소 잔차 또는 최소 레이트 왜곡에 기초하여 인트라 예측 모드(예를 들어, 현재 픽처 블록(103)과 가장 유사한 예측 블록(155)을 제공하는 인트라 예측 모드)를 선택하도록 구성될 수 있다.
인트라 예측 유닛(154)은 인트라 예측 파라미터(153), 예를 들어 선택된 인트라 예측 모드(153), 인트라 예측 블록(155)에 기초하여 결정하도록 구성된다.
도 1이 인트라 코딩, 즉 인트라 추정(152) 및 인트라 예측(154)을 위한 2개의 별개의 유닛(또는 단계)을 도시하지만, 둘 다의 기능성들은, 예를 들어, 현재 최상의 인트라 예측 모드 및 각자의 인트라 예측 블록을 저장하는 동안에 가능한 인트라 예측 모드들의 모든 가능한 또는 미리 결정된 서브세트를 반복적으로 테스트하고, 그리고 다른 시간에 인트라 예측(154)을 수행하지 않고서 현재 최상의 인트라 예측 모드 및 각자의 인트라 예측 블록을 (최종) 인트라 예측 파라미터(153) 및 인트라 예측 블록(155)으로서 사용함으로써, 인트라 예측 블록, 즉 인트라 예측(154) 또는 "일종"의 인트라 예측(154)을 계산하는 것을 하나(인트라 추정)가 요구하고/포함함에 따라 수행될 수 있다.
엔트로피 인코딩 유닛(170)은, 예를 들어, 인코딩된 비트 스트림(171)의 형태로 출력(172)에 의해 출력될 수 있는 인코딩된 픽처 데이터(171)를 획득하기 위해, 엔트로피 인코딩 알고리즘 또는 스킴(예를 들어, VLC(variable length coding) 스킴, CALVC(context adaptive VLC scheme), 산술 코딩 스킴, CABAC(context adaptive binary arithmetic coding))을 양자화된 잔차 계수들(109), 인터 예측 파라미터들(143), 인트라 예측 파라미터(153), 및/또는 루프 필터 파라미터들에 개별적으로 또는 공동으로(또는 전혀) 적용하도록 구성된다.
도 2는 디코딩된 픽처(231)를 획득하기 위해 예를 들어, 인코더(100)에 의해 인코딩된 인코딩된 픽처 데이터(예를 들어, 인코딩된 비트 스트림)(171)를 수신하도록 구성된 예시적인 비디오 디코더(200)를 도시한다.
디코더(200)는 입력(202), 엔트로피 디코딩 유닛(204), 역 양자화 유닛(210), 역 변환 유닛(212), 재구성 유닛(214), 버퍼(216), 루프 필터(220), 디코딩된 픽처 버퍼(230), 예측 유닛(260), 인터 예측 유닛(244), 인트라 예측 유닛(254), 모드 선택 유닛(260) 및 출력(232)을 포함한다.
엔트로피 디코딩 유닛(204)은 인코딩된 픽처 데이터(171)에 엔트로피 디코딩을 수행하여, 예를 들어, 양자화된 계수들(209) 및/또는 디코딩된 코딩 파라미터들(도 2에 도시되지 않음), 예를 들어, 인터 예측 파라미터들(143), 인트라 예측 파라미터(153), 및/또는 루프 필터 파라미터들 중 임의의 것 또는 전부를 획득하도록 구성된다.
디코더(200)의 실시예들에서, 역 양자화 유닛(210), 역 변환 유닛(212), 재구성 유닛(214), 버퍼(216), 루프 필터(220), 디코딩된 픽처 버퍼(230), 예측 유닛(260) 및 모드 선택 유닛(260)은 인코딩된 픽처 데이터(171)를 디코딩하기 위해 인코더(100)(및 각자의 기능 유닛들)의 역 처리를 수행하도록 구성된다.
특히, 역 양자화 유닛(210)은 역 양자화 유닛(110)에 기능상 동일할 수 있고, 역 변환 유닛(212)은 역 변환 유닛(112)에 기능상 동일할 수 있고, 재구성 유닛(214)은 재구성 유닛(114)에 기능상 동일할 수 있고, 버퍼(216)는 버퍼(116)에 기능상 동일할 수 있고, 루프 필터(220)는(루프 필터(220)가 전형적으로 원래의 이미지(101) 또는 블록(103)에 기초하여 필터 파라미터들을 결정하기 위해 필터 분석 유닛을 포함하지 않지만, 예를 들어, 엔트로피 디코딩 유닛(204)으로부터 인코딩을 위해 사용되는 필터 파라미터들을 (명시적으로 또는 암시적으로) 수신하거나 획득하므로 실제 루프 필터에 관하여) 루프 필터(220)에 기능상 동일할 수 있고, 및 디코딩된 픽처 버퍼(230)는 디코딩된 픽처 버퍼(130)에 기능상 동일할 수 있다.
예측 유닛(260)은 인터 예측 유닛(244) 및 인터 예측 유닛(254)을 포함할 수 있고, 여기서 인터 예측 유닛(144)은 인터 예측 유닛(144)에 기능상 동일할 수 있고, 인터 예측 유닛(154)은 인트라 예측 유닛(154)에 기능상 동일할 수 있다. 예측 유닛(260) 및 모드 선택 유닛(262)은 전형적으로 인코딩된 데이터(171)로부터만(원래의 이미지(101)에 관한 어떠한 추가 정보도 없이) 블록 예측을 수행하고/하거나 예측된 블록(265)을 획득하고, 및 예를 들어, 엔트로피 디코딩 유닛(204)으로부터 예측 파라미터들(143 또는 153) 및/또는 선택된 예측 모드에 관한 정보를 (명시적 또는 암시적으로) 수신 또는 획득하도록 구성된다.
디코더(200)는 사용자에의 제시 또는 시청을 위해 예를 들어, 출력(232)을 통해 디코딩된 픽처(230)를 출력하도록 구성된다.
본 개시의 실시예들이 주로 비디오 코딩에 기초하여 설명되었지만, 인코더(100) 및 디코더(200)(및 대응하여 시스템(300))의 실시예들은 또한 비디오 코딩에서와 같이 임의의 선행하는 또는 연속적인 픽처에 독립적인 스틸 픽처 처리 또는 코딩, 즉 개별 픽처의 처리 또는 코딩을 위해 구성될 수 있다는 점에 유의해야 한다. 일반적으로, 인터 추정(142), 인터 예측(144, 242)은 픽처 처리 코딩이 단일 픽처(101)에 제한되는 경우에 이용가능하지 않다. 비디오 인코더(100) 및 비디오 디코더(200)의 모든 다른 기능들(또한 툴들 또는 기술들로서 지칭됨)은 아니지만 대부분의 기능들이 스틸 픽처들에 대해 동일하게 사용될 수 있는데, 예를 들어, 파티셔닝, 변환(스케일링)(106), 양자화(108), 역 양자화(110), 역 변환(112), 인트라 예측(142), 인트라 예측(154, 254) 및/또는 루프 필터링(120, 220), 및 엔트로피 코딩(170) 및 엔트로피 디코딩(204)에 대해 그러하다.
본 개시는 도 1 및 도 2에서 루프 필터로도 지칭되는 디블로킹 필터의 내부 작업을 다룬다.
도 4에서, 블록 에지(403)에 의해 분리된 2개의 예시적인 코딩 블록(401, 402)이 도시된다. 코딩 블록들(401, 402)은 픽셀 라인들(402-407) 및 픽셀 행들(408-415)을 포함한다. 특히 여기서, 블록 에지는 수직 블록 에지이다. 이 예에서, 블록들은 4x4 픽셀들의 크기를 갖는다. 실제로, 다른 블록 크기들이 이용될 수 있다.
디블로킹 결정들은 블록 경계의 각각의 세그먼트에 대해 개별적으로 행해진다.
HEVC에서의 강한 디블로킹 필터는 블록 아티팩트들이 더 가시적인 평활 영역들에 적용된다. 필터링 모드는 블록 경계로부터 3개의 샘플을 수정하고 강한 저역 통과 필터링을 가능하게 한다. 클리핑 연산은 각각의 샘플에 대해 추가적으로 수행된다. 클리핑 연산을 수행하는 이유는 필터링 결정들에서 평가되지 않았던 라인들에 대해 과도한 필터링이 없음을 보장하기 위해 필터링의 양을 제한하는 것이다. 도 4에 도시된 바와 같이, 픽셀 라인들(405 및 406)은 필터링하거나 필터링하지 않는 결정에 사용되지 않는다. 이것은 계산 복잡성의 이유로 행해진다. 결정 픽셀 라인들(404 및 407)만이 필터링이 수행될 것을 결정하기 위해 여기서 사용된다.
이하에서, 디블로킹된 픽셀 값들을 결정하기 위한 함수들이 도시된다:
P0', P1', P2'는 각각 원래의 픽셀 값들 P0, P1 및 P2에 대응하는 필터링된 픽셀 값들이다. 도 4에 도시된 바와 같은 제2 인덱스는 여기서는 생략되었다.
심벌 ">>"는 우측 시프트를 의미한다. 우측 시프트는 2y에 의한 나눗셈에 대응하고, 여기서 y는 우측 시프트의 양이다. 예를 들어, 함수 7.17에서, ">> 3"은 23=8에 의한 나눗셈을 의미한다.
수정된 샘플 값들은 이어서 범위 [Pi - 2tc, Pi + 2tc]로 클리핑되고, 여기서 Pi는 픽셀 i의 픽셀 값이고, tc는 상수 값이다. tc는 예를 들어, 테이블로의 인덱스로서 평균 양자화 파라미터 QP를 사용하여 테이블로부터 도출될 수 있다. 통상적으로, QP 값이 높을수록, tc 값은 커진다.
도 9는 블록 에지(900)에서의 전형적인 블로킹 아티팩트를 도시한다. 샘플들 P0 및 Q0은 최대 왜곡을 가지며, 블록 에지로부터 더 멀리 떨어진 샘플들은 더 적은 왜곡, 예를 들어, 샘플들 P3 및 Q3을 갖는 경향이 있다는 것을 쉽게 알 수 있다.
모든 픽셀 값들이 동일한 클리핑 범위 [Pi - 2tc, Pi + 2tc]로 클리핑되기 때문에, 블록 경계로부터 멀리 떨어진 픽셀 값들, 예를 들어, P3 및 Q3은 또한 동일한 클리핑 범위를 사용하고, 따라서 픽셀 값들 P0 및 Q0과 동일한 범위 내에서 수정되도록 허용된다. 이러한 일정한 클리핑 범위는 경계로부터 멀리 떨어진 샘플들이 또한 광범위하게 수정되게 할 것이고, 따라서 오버-스무딩 또는 블러링 또는 때때로 심지어 의미있는 이미지 콘텐츠의 손실을 갖는 부정확한 디블로킹 필터링을 초래한다.
본 개시에 따르면, 모든 픽셀 값들에 대해 고정 클리핑 범위를 사용하는 대신에, 클리핑 범위는 적응적으로 이루어진다. 특히, 클리핑 범위는 블록 에지로부터의 각각의 픽셀의 거리로부터 적응적으로 이루어진다.
유리하게는, 룩업 테이블 또는 함수는 클리핑 값을 결정하기 위해 사용되며, 이에 의해 필터링된 픽셀 값이 클리핑된다. 바람직하게는 이러한 함수는 에지로부터의 픽셀의 거리에 기초한 단조 감소 함수이다. 에지/경계로부터의 샘플의 거리가 클수록, 픽셀에 대해 정의된 클리핑 값이 더 작다. 따라서, 블록 에지로부터 멀리 떨어진 픽셀 값들은 더 작은 클리핑 값을 갖도록 허용되고, 따라서 블록 에지에 더 가까운 픽셀 값들에 비해 클리핑 후에 더 작은 편차를 갖도록 허용된다. 이러한 방식으로, 필터링의 양이 제어되고, 따라서 오버-스무딩 또는 블러링이 방지된다.
유리하게는, 지수 함수가 클리핑 값을 결정하기 위해 사용된다. 그러면 클리핑 값은 다음과 같이 결정될 수 있다.
tc' = tc + (tc >> i),
tc'는 클리핑 값이고,
tc는 상수 값이고,
i는 블록 에지로부터의 픽셀의 거리이고,
>>는 우측 시프트를 의미하고,
이것은 디블로킹된 픽셀 값의 클리핑을 위한 다음의 공식을 초래한다:
P'a, b = ( Pa, b - (tc + (tc >> i)),
Pa, b + (tc + (tc >> i))).
여기서,
P'a, b 는 픽셀 a, b의 디블로킹된 픽셀 값이고,
a 는 픽셀 행의 정수 인덱스이고,
b 는 픽셀 라인의 정수 인덱스이고,
Pa, b 는 픽셀 a, b의 원래의 픽셀 값이고,
i 는 블록 에지로부터의 픽셀의 정수 거리이다.
예를 들어, P0,0 및 Q0,0에 대해, 클리핑은 i의 값이 0(거리는 0)이기 때문에, 수학식들 7.17 - 7.19를 따라 설명된 바와 동일하게 유지된다. 클리핑 값은 tc' = tc + (tc >> 0) = 2tc로 설정되어, P'0,0 = (P0,0 - 2tc), P0,0 + 2tc))를 초래한다.
예를 들어, P'1,0에 대해, 클리핑은 tc' = tc + (tc >> 1) = tc + tc / 2 = 1,5 tc로 감소되어, P'1,0 = (P1,0 - 1,5tc), P1,0 + 1,5tc))를 초래한다.
예를 들어, P'2,0에 대해, 클리핑은 tc' = tc + (tc >> 2) = tc + tc / 4 = 1,25 tc로 감소되어, P'2,0 = (P2,0 - 1,25tc), P2,0 + 1,25tc))를 초래한다.
알 수 있는 바와 같이, 클리핑 값은 샘플 거리 i가 블록 에지로부터 증가함에 따라 점차적으로 감소된다.
사용될 수 있는 다른 대안적인 지수 함수는 다음과 같다:
tc' = ((2 * tc) >> i),
tc'는 클리핑 값이고,
tc는 상수 값이고,
i는 블록 에지로부터의 픽셀의 거리이고,
>>는 우측 시프트를 의미하고,
이것은 디블로킹된 픽셀 값의 클리핑을 위한 다음의 공식을 초래한다:
P'a, b = ( Pa, b - ((2 * tc) >> i)),
Pa, b + ((2 * tc) >> i))).
여기서,
P'a, b 는 픽셀 a, b의 디블로킹된 픽셀 값이고,
a 는 픽셀 행의 정수 인덱스이고,
b 는 픽셀 라인의 정수 인덱스이고,
Pa, b 는 픽셀 a, b의 원래의 픽셀 값이고,
i 는 블록 에지로부터의 픽셀의 정수 거리이다.
그렇지만, 지수 함수의 계산은 상당한 계산 복잡성을 초래한다. 대안적인 실시예에서, 선형 함수가 사용될 수 있다. 이 경우, 클리핑 값은 다음과 같이 설정된다:
tc' = tc + (tc - (i * x),
tc'는 클리핑 값이고,
tc는 상수 값이고,
i는 블록 에지로부터의 픽셀의 거리이고,
여기서 x는 상수 값이다.
이것은 디블로킹된 픽셀 값이 다음으로 클리핑되게 한다
P'a, b =
(Pa,b - (tc + (tc - (i * x)), Pa, b + (tc + (tc - (i * x))),
여기서,
P'a, b 는 픽셀 a, b의 디블로킹된 픽셀 값이고,
a 는 픽셀 행의 정수 인덱스이고,
b 는 픽셀 라인의 정수 인덱스이고,
Pa, b 는 픽셀 a, b의 원래의 픽셀 값이고,
i 는 블록 에지로부터의 픽셀의 정수 거리이고,
x 는 일정한 정수 값이다.
유리하게는, x는 디블로킹 프로세스에서 사용되는 평균 양자화 파라미터 QP에 의존한다. 일반적으로, QP 값이 증가함에 따라 x의 값이 증가한다. 또한, x의 값은 8비트 비디오 및 10비트 비디오에 대해 개별적으로 도출될 수 있다.
예로서, 10비트 비디오에 대한 x의 값은 다음과 같이 설정될 수 있다:
예로서, 37의 평균 QP 값에 대해, x의 값은 2이고, 따라서 픽셀 값들은 다음과 같이 수정된다:
예를 들어, P0,0에 대해 클리핑은 i의 값이 0(거리가 0)이기 때문에, 수학식들 7.17 - 7.19를 따라 설명된 바와 동일하게 유지된다. 클리핑 값은 tc' = tc + (tc - (0 * 2) = 2tc로 설정되어, P'0,0 = ( P0,0 - (tc + (tc - ( 0 * 2 )), P0,0 + (tc + (tc - (0 * 2)))를 초래한다.
예를 들어, P'1,0에 대해, 클리핑은 tc' = tc + (tc - (1 * 2) = 2tc - 2로 감소되어, P'1,0 = (P1,0 - 2tc - 2), P1,0 + 2 tc - 2))를 초래한다.
예를 들어, P'2,0에 대해, 클리핑은 tc' = tc + (tc - 2 * 2) = tc + (tc - 4) = 2tc - 4로 감소되어, P'2,0 = (P2,0 - (2tc - 4)), P2,0 + (2tc - 4))를 초래한다.
추가의 유리한 실시예에서, 이전에 도시된 바와 같이, 거리-의존적 클리핑의 사용은 도 4에 도시된 바와 같이 비-결정 픽셀 라인들 및 비-결정 픽셀 행들로 제한된다. 전술한 바와 같이, 블록 에지의 필터링이 수행되는지를 결정하기 위해, 결정 픽셀 라인(수직 블록 에지) 또는 결정 픽셀 행(수평 블록 에지)으로부터의 다수의 픽셀이 사용된다. 그렇지만, 계산 복잡성을 절감하기 위해, 이 결정을 기초로 하는 데 블록들 내의 모든 픽셀 라인들/행들이 사용되는 것은 아니다. 그렇지만, 범위 의존적 클리핑은 비-결정 픽셀 라인들/행들에서만 수행되지만, 결정 픽셀 라인들/행들인 픽셀 라인들/행들에서는 수행되지 않는다. 결정 픽셀 라인들/행들에서, 상수 값을 사용하는 종래의 클리핑이 수행된다.
도 5에는, 본 개시의 제1 양태의 실시예가 도시된다. 특히, 여기서는 필터(502)를 포함하는 이미지 처리 디바이스(501)가 도시된다. 필터(502)는 위에 나타낸 디블로킹 필터링을 수행하도록 적응된다.
도 6에는, 본 개시의 제2 양태의 실시예가 도시된다. 특히, 여기에서는, 다시 필터(602)를 포함하는 이미지 처리 디바이스(601)를 포함하는 인코더(600)가 도시된다. 필터(602)는 위에 나타낸 바와 같이 디블로킹 필터링을 수행한다.
도 7에는, 본 개시의 제3 양태의 실시예가 도시된다. 특히, 여기서는 차례로 필터(702)를 포함하는 이미지 처리 디바이스(701)를 포함하는 디코더(700)가 도시된다. 필터(702)는 위에 나타낸 바와 같이 디블로킹 필터링을 수행한다.
마지막으로, 도 9에서, 본 개시의 제5 양태의 실시예가 흐름도에 도시된다. 제1 단계 1000에서, 블록 에지로부터의 디블로킹 범위 내에서, 필터링될 픽셀들 중 적어도 일부에 대해, 필터링된 픽셀 값은 픽셀의 원래의 픽셀 값 및 적어도 하나의 추가 픽셀 값으로부터 결정된다. 제2 단계 1001에서, 픽셀의 클리핑 값은 블록 에지로부터의 픽셀의 거리에 의존하여 결정된다. 최종 제3 단계 1002에서, 필터링된 픽셀 값은 클리핑 값을 사용하여 클리핑되어, 디블로킹된 픽셀 값을 초래한다.
디블로킹 필터링이 전술한 것으로부터 어떻게 수행되는지에 관한 상술들은 본 개시의 제4 양태에 따른 방법에도 적용가능하다는 점에 주목한다.
본 개시가 실시예들로 제한되지 않고 특히 위에 나타낸 코딩 블록 크기들 및 필터 탭 길이들로 제한되지 않는다는 점에 유의하는 것이 중요하다. 본 개시는 임의의 코딩 블록 크기들 및 임의의 필터 탭 길이들에 적용될 수 있다.
두문자어들의 정의들
CTU / CTB - 코딩 트리 유닛/코딩 트리 블록
CU / CB - 코딩 유닛/코딩 블록
PU/PB - 예측 유닛/예측 블록
TU/TB - 변환 유닛 / 변환 블록
HEVC - 고효율 비디오 코딩
참조 번호들의 목록
도 1
100 인코더
103 픽처 블록
102 입력(예를 들어, 입력 포트, 입력 인터페이스)
104 잔차 계산 [유닛 또는 단계]
105 잔차 블록
106 변환(예를 들어, 스케일링을 추가로 포함함) [유닛 또는 단계]
107 변환된 계수들
108 양자화 [유닛 또는 단계]
109 양자화된 계수들
110 역 양자화 [유닛 또는 단계]
111 역양자화된 계수들
112 역 변환(예를 들어, 스케일링을 추가로 포함함) [유닛 또는 단계]
113 역 변환 블록
114 재구성 [유닛 또는 단계]
115 재구성된 블록
116 (라인) 버퍼 [유닛 또는 단계]
117 참조 샘플들
120 루프 필터 [유닛 또는 단계]
121 필터링된 블록
130 디코딩된 픽처 버퍼(DPB) [유닛 또는 단계]
142 인터 추정(또는 인터 픽처 추정) [유닛 또는 단계]
143 인터 추정 파라미터들(예를 들어, 참조 픽처/참조 픽처 인덱스, 모션 벡터/오프셋)
144 인터 예측(또는 인터 픽처 예측) [유닛 또는 단계]
145 인터 예측 블록
152 인트라 추정 (또는 인트라 픽처 추정) [유닛 또는 단계]
153 인트라 예측 파라미터들(예를 들어, 인트라 예측 모드)
154 인트라 예측(인트라 프레임/픽처 예측) [유닛 또는 단계]
155 인트라 예측 블록
162 모드 선택 [유닛 또는 단계]
165 예측 블록(인터 예측 블록(145) 또는 인트라 예측 블록(155))
170 엔트로피 인코딩 [유닛 또는 단계]
171 인코딩된 픽처 데이터(예를 들어, 비트스트림)
172 출력(출력 포트, 출력 인터페이스)
231 디코딩된 픽처
도 2
200 디코더
171 인코딩된 픽처 데이터(예를 들어, 비트스트림)
202 입력(포트/인터페이스)
204 엔트로피 디코딩
209 양자화된 계수들
210 역 양자화
211 역양자화된 계수들
212 역 변환(스케일링)
213 역 변환 블록
214 재구성 (유닛)
215 재구성된 블록
216 (라인) 버퍼
217 참조 샘플들
220 루프 필터(인 루프 필터)
221 필터링된 블록
230 디코딩된 픽처 버퍼(DPB)
231 디코딩된 픽처
232 출력(포트/인터페이스)
244 인터 예측(인터 프레임/픽처 예측)
245 인터 예측 블록
254 인트라 예측(인트라 프레임/픽처 예측)
255 인트라 예측 블록
260 모드 선택
265 예측 블록(인터 예측 블록(245) 또는 인트라 예측 블록(255))
도 3
300 코딩 시스템
310 소스 디바이스
312 픽처 소스
313 (원시) 픽처 데이터
314 전처리기/전처리 유닛
315 전처리된 픽처 데이터
318 통신 유닛/인터페이스
320 목적지 디바이스
322 통신 유닛/인터페이스
326 후처리기/후처리 유닛
327 후처리된 픽처 데이터
328 디스플레이 디바이스/유닛
330 송신된/수신된/통신된(인코딩된) 픽처 데이터
도 4
401 코딩 블록
402 코딩 블록
403 블록 에지
404 픽셀 라인
405 픽셀 라인
406 픽셀 라인
407 픽셀 라인
408 픽셀 행
409 픽셀 행
410 픽셀 행
411 픽셀 행
412 픽셀 행
413 픽셀 행
414 픽셀 행
415 픽셀 행
도 5
501 이미지 처리 디바이스
502 필터
도 6
600 인코더
601 이미지 처리 디바이스
602 필터
도 7
700 디코더
701 이미지 처리 디바이스
702 필터
도 8
800 블록 에지
도 9
1000 제1 단계
1001 제2 단계
1002 제3 단계
본 개시의 추가적인 세부사항들은 부록 A에 제시된다.
몇몇 실시예들이 본 개시에서 제공되었지만, 개시된 시스템들 및 방법들은 본 개시의 사상 또는 범위로부터 이탈하지 않으면서, 많은 다른 특정 형태들로 구체화될 수도 있다는 것이 이해되어야 한다. 본 예들은 제한적인 것이 아니라 예시적인 것으로 간주되어야 하며, 본 의도는 본 명세서에서 주어진 세부사항들로 제한되지 않는다. 예를 들어, 다양한 요소들 또는 컴포넌트들이 다른 시스템에 조합 또는 통합될 수 있거나, 특정 특징들이 생략되거나 구현되지 않을 수 있다.
그에 부가하여, 다양한 실시예들에서 개별적이거나 분리적인 것으로 기술되고 예시된 기법들, 시스템들, 서브시스템들, 및 방법들은 본 개시의 범위를 벗어남이 없이 다른 시스템들, 모듈들, 기법들, 또는 방법들과 조합 또는 통합될 수 있다. 결합되거나 직접 결합되거나 서로 통신하는 것으로 도시되거나 논의된 다른 항목들은, 전기적으로든, 기계적으로든, 또는 다른 방식으로든 관계없이 일부 인터페이스, 디바이스, 또는 중간 컴포넌트를 통해 간접적으로 결합되거나 통신할 수 있다. 변경들, 대체들, 및 변경들의 다른 예들이 본 기술분야의 통상의 기술자에 의해 확인 가능하며, 본 명세서에 개시된 사상 및 범위를 벗어나지 않고 이루어질 수 있다.
특정 실시예들의 목록이 아래에 주어진다. 괄호 안의 참조 번호는 제한적인 것이 아니라 예시적인 것으로 해석되어야 한다.
실시예 1. 블록 코드로 인코딩된 이미지의 제1 코딩 블록(401)과 제2 코딩 블록(402) 사이의 블록 에지(403, 800)를 디블로킹하기 위해, 이미지 인코더(600) 및/또는 이미지 디코더(700)에서 사용하기 위한 이미지 처리 디바이스(501, 601, 701)로서, 이미지 처리 디바이스(501, 601, 701)는 블록 에지(403, 800)를 필터링하기 위한 필터(502, 602, 702)를 포함하고, 필터(502, 602, 702)는 블록 에지(403, 800)로부터의 디블로킹 범위 내에서- 디블로킹 범위는 블록 에지(403, 800)에 수직임 -, 필터링될 픽셀들 중 적어도 일부에 대해,
픽셀의 원래의 픽셀 값 및 적어도 하나의 추가 픽셀 값으로부터 필터링된 픽셀 값을 결정하고,
블록 에지(403, 800)로부터의 픽셀의 거리에 의존하여, 픽셀의 클리핑 값을 결정하고,
클리핑 값을 사용하여 필터링된 픽셀 값을 클리핑하여, 디블로킹된 픽셀 값을 초래하도록 구성되는 이미지 처리 디바이스(501, 601, 701).
실시예 2. 실시예 1에 있어서, 클리핑 값은 원래의 픽셀 값과 디블로킹된 픽셀 값 사이의 최대 허용 변화량인 이미지 처리 디바이스(501, 601, 701).
실시예 3. 실시예 1 또는 실시예 2에 있어서, 클리핑 값을 사용하여 필터링된 픽셀 값을 클리핑하여, 디블로킹된 픽셀 값을 초래하는 것은:
필터링된 픽셀 값과 디블로킹된 픽셀 값 사이의 차이의 절대 값이 픽셀의 클리핑 값을 초과하지 않는 경우, 디블로킹된 픽셀 값을 필터링된 픽셀 값으로 설정하는 것,
필터링된 픽셀 값이 원래의 픽셀 값 플러스 클리핑 값을 초과하는 경우, 디블로킹된 픽셀 값을 원래의 픽셀 값 플러스 픽셀의 클리핑 값으로 설정하는 것, 및
필터링된 픽셀 값이 원래의 픽셀 값 마이너스 클리핑 값보다 낮은 경우, 디블로킹된 픽셀 값을 원래의 픽셀 값 마이너스 픽셀의 클리핑 값으로 설정하는 것을 포함하는 이미지 처리 디바이스(501, 601, 701).
실시예 4. 실시예 1 내지 실시예 3 중 임의의 것에 있어서, 필터(502, 602, 702)는 함수 또는 룩업 테이블을 사용함으로써, 블록 에지(403, 800)로부터의 픽셀의 거리에 의존하여 픽셀의 클리핑 값을 결정하도록 적응되는 이미지 처리 디바이스(501, 601, 701).
실시예 5. 실시예 1 내지 실시예 3 중 임의의 것에 있어서, 필터(502, 602, 702)는, 블록 에지(403, 800)로부터의 픽셀의 거리가 증가함에 따라 단조 감소하는 함수를 사용함으로써, 블록 에지(403, 800)로부터의 픽셀의 거리에 의존하여 픽셀의 클리핑 값을 결정하도록 적응되는 이미지 처리 디바이스(501, 601, 701).
실시예 6. 실시예 5에 있어서, 함수는 지수 함수인 이미지 처리 디바이스(501, 601, 701).
실시예 7. 실시예 6에 있어서, 함수는 tc' = tc + (tc >> i)이고, tc'는 클리핑 값이고, tc는 상수 값이고, i는 블록 에지(403, 800)로부터의 픽셀의 거리이고, >>는 우측 시프트를 의미하는 이미지 처리 디바이스(501, 601, 701).
실시예 8. 실시예 5에 있어서, 함수는 선형 함수인 이미지 처리 디바이스(501, 601, 701).
실시예 9. 실시예 8에 있어서, 함수는 tc' = tc + (tc - (i * x)이고, tc'는 클리핑 값이고, tc는 상수 값이고, i는 블록 에지(403, 800)로부터의 픽셀의 거리이고, x는 상수 값인 이미지 처리 디바이스(501, 601, 701).
실시예 10. 실시예 1 내지 실시예 9 중 임의의 것에 있어서, 필터(502, 602, 702)는, 블록 에지(403, 800)로부터의 디블로킹 범위 내에서- 디블로킹 범위는 블록 에지(403, 800)에 수직임 -, 필터링될 각각의 픽셀에 대해:
픽셀의 원래의 픽셀 값 및 적어도 하나의 추가 픽셀 값으로부터 필터링된 픽셀 값을 결정하고, 블록 에지(403, 800)로부터의 픽셀의 거리에 의존하여 픽셀의 클리핑 값을 결정하고, 클리핑 값을 사용하여 필터링된 픽셀 값을 클리핑하여, 디블로킹된 픽셀 값을 초래하도록 적응되는 이미지 처리 디바이스(501, 601, 701).
실시예 11. 실시예 1 내지 실시예 9 중 임의의 것에 있어서, 필터(502, 602, 702)는, 수직 블록 에지(403, 800)의 경우에, 결정 픽셀 라인들의 수가 블록 에지(403, 800)를 둘러싸는 블록들 내의 픽셀 라인들의 수보다 적은 것에 기초하여, 그리고 수평 블록 에지(403, 800)의 경우에, 결정 픽셀 행들의 수가 블록 에지(403, 800)를 둘러싸는 블록들 내의 픽셀 행들의 수보다 적은 것에 기초하여, 블록 에지(403, 800)가 필터링될 필요가 있는지를 결정하도록 적응되고, 필터(502, 602, 702)는, 블록 에지(403, 800)로부터의 디블로킹 범위 내에서- 디블로킹 범위는 블록 에지(403, 800)에 수직임 -, 결정 픽셀 행 또는 결정 픽셀 라인에 있지 않은 필터링될 각각의 픽셀에 대해:
픽셀의 원래의 픽셀 값 및 적어도 하나의 추가 픽셀 값으로부터 필터링된 픽셀 값을 결정하고,
블록 에지(403, 800)로부터의 픽셀의 거리에 의존하여 픽셀의 클리핑 값을 결정하고,
클리핑 값을 사용하여 필터링된 픽셀 값을 클리핑하여, 디블로킹된 픽셀 값을 초래하도록 적응되고;
필터(502, 602, 702)는, 블록 에지(403, 800)로부터의 디블로킹 범위 내에서- 디블로킹 범위는 블록 에지(403, 800)에 수직임 -, 결정 픽셀 행 또는 결정 픽셀 라인에 있는 필터링될 각각의 픽셀에 대해:
픽셀의 원래의 픽셀 값 및 적어도 하나의 추가 픽셀 값으로부터 필터링된 픽셀 값을 결정하고,
일정한 클리핑 값을 사용하여 필터링된 픽셀 값을 클리핑하여, 디블로킹된 픽셀 값을 초래하도록 적응되는 이미지 처리 디바이스(501, 601, 701).
실시예 12. 실시예 1 내지 실시예 11 중 임의의 것에 있어서, 필터(502, 602, 702)는 1개, 또는 적어도 2개, 또는 적어도 3개, 또는 적어도 4개, 또는 적어도 5개, 또는 적어도 6개, 또는 적어도 7개, 또는 적어도 8개, 또는 적어도 9개, 또는 적어도 10개, 또는 적어도 11개, 또는 적어도 12개, 또는 적어도 13개, 또는 적어도 14개, 또는 적어도 15개, 또는 적어도 16개 픽셀의 필터 탭 길이를 갖는 이미지 처리 디바이스(501, 601, 701).
실시예 13. 이미지를 인코딩하기 위한 인코더로서, 실시예 1 내지 실시예 12 중 임의의 것의 이미지 처리 디바이스(501, 601, 701)를 포함하는 인코더.
실시예 14. 이미지를 디코딩하기 위한 디코더로서, 실시예 1 내지 실시예 12 중 임의의 것의 이미지 처리 디바이스(501, 601, 701)를 포함하는 디코더.
실시예 15. 블록 코드로 인코딩된 이미지의 제1 코딩 블록과 제2 코딩 블록 사이의 블록 에지(403, 800)를 디블로킹하기 위한 디블로킹 방법으로서, 방법은 블록 에지(403, 800)로부터의 디블로킹 범위 내에서- 디블로킹 범위는 블록 에지(403, 800)에 수직임 -, 필터링될 픽셀들 중 적어도 일부에 대해:
픽셀의 원래의 픽셀 값 및 적어도 하나의 추가 픽셀 값으로부터 필터링된 픽셀 값을 결정하는 단계(1000),
블록 에지(403, 800)로부터의 픽셀의 거리에 의존하여, 픽셀의 클리핑 값을 결정하는 단계(1001), 및
클리핑 값을 사용하여 필터링된 픽셀 값을 클리핑하여, 디블로킹된 픽셀 값을 초래하는 단계(1002)를 포함하는 디블로킹 방법.
실시예 16. 이미지를 인코딩하기 위한 인코딩 방법으로서, 실시예 15의 디블로킹 방법을 포함하는 인코딩 방법.
실시예 17. 이미지를 디코딩하기 위한 디코딩 방법으로서, 실시예 15의 디블로킹 방법을 포함하는 디코딩 방법.
실시예 18. 컴퓨터 프로그램 제품으로서, 컴퓨터 프로그램이 컴퓨터 상에서 실행될 때 실시예 15 내지 실시예 17 중 임의의 것에 따른 방법을 수행하기 위한 프로그램 코드를 포함하는 컴퓨터 프로그램 제품.
Claims (25)
- 이미지의 제1 블록(401)과 제2 블록(402) 사이의 블록 에지(403, 800)를 디블로킹하기 위해, 이미지 인코더(600) 및/또는 이미지 디코더(700)에서 사용하기 위한 이미지 처리 디바이스(501, 601, 701)로서,
상기 이미지 처리 디바이스(501, 601, 701)는 상기 블록 에지(403, 800)를 필터링하기 위한 필터(502, 602, 702)를 포함하고, 상기 필터(502, 602, 702)는 상기 블록 에지(403, 800)로부터의 디블로킹 범위 내에서, 필터링될 적어도 하나의 픽셀에 대해:
상기 픽셀의 원래의 픽셀 값으로부터 필터링된 픽셀 값을 결정하고;
상기 픽셀의 클리핑 값을 사용하여 상기 필터링된 픽셀 값을 클리핑하여, 디블로킹된 픽셀 값을 초래하도록 구성되고, 상기 클리핑 값은 상기 블록 에지(403, 800)로부터의 상기 픽셀의 거리에 의존하고;
상기 필터(502, 602, 702)는, 상기 블록 에지(403, 800)가 수직 블록 에지(403, 800)인 경우에, 결정 픽셀 라인들의 수가 상기 블록 에지(403, 800)를 둘러싸는 블록들 내의 픽셀 라인들의 수보다 적은(lower) 것에 기초하여, 그리고 상기 블록 에지(403, 800)가 수평 블록 에지(403, 800)인 경우에, 결정 픽셀 행들의 수가 상기 블록 에지(403, 800)를 둘러싸는 블록들 내의 픽셀 행들의 수보다 적은 것에 기초하여, 상기 블록 에지(403, 800)가 필터링될 필요가 있는지를 결정하도록 구성되고, 상기 필터(502, 602, 702)는, 상기 블록 에지(403, 800)로부터의 디블로킹 범위 내에서- 상기 디블로킹 범위는 상기 블록 에지(403, 800)에 수직임 -, 결정 픽셀 행 또는 결정 픽셀 라인에 있지 않은 상기 필터링될 각각의 픽셀에 대해:
상기 픽셀의 상기 원래의 픽셀 값 및 적어도 하나의 추가 픽셀 값으로부터 상기 필터링된 픽셀 값을 결정하고,
상기 블록 에지(403, 800)로부터의 상기 픽셀의 상기 거리에 의존하여 상기 픽셀의 상기 클리핑 값을 결정하고,
상기 클리핑 값을 사용하여 상기 필터링된 픽셀 값을 클리핑하여, 상기 디블로킹된 픽셀 값을 초래하도록 구성되고;
상기 필터(502, 602, 702)는, 상기 블록 에지(403, 800)로부터의 디블로킹 범위 내에서- 상기 디블로킹 범위는 상기 블록 에지(403, 800)에 수직임 -, 결정 픽셀 행 또는 결정 픽셀 라인에 있는 필터링될 각각의 픽셀에 대해:
상기 픽셀의 상기 원래의 픽셀 값 및 상기 적어도 하나의 추가 픽셀 값으로부터 상기 필터링된 픽셀 값을 결정하고,
일정한 클리핑 값을 사용하여 상기 필터링된 픽셀 값을 클리핑하여, 상기 디블로킹된 픽셀 값을 초래하도록 구성되는 이미지 처리 디바이스(501, 601, 701). - 제1항에 있어서,
상기 클리핑 값은 상기 원래의 픽셀 값과 상기 디블로킹된 픽셀 값 사이의 최대 허용 변화량인 이미지 처리 디바이스(501, 601, 701). - 제1항 또는 제2항에 있어서,
상기 클리핑 값을 사용하여 상기 필터링된 픽셀 값을 클리핑하여, 상기 디블로킹된 픽셀 값을 초래하는 것은:
상기 필터링된 픽셀 값과 상기 디블로킹된 픽셀 값 사이의 차이의 절대 값이 상기 픽셀의 상기 클리핑 값을 초과하지 않는 경우, 상기 디블로킹된 픽셀 값을 상기 필터링된 픽셀 값으로 설정하는 것,
상기 필터링된 픽셀 값이 상기 원래의 픽셀 값 플러스 상기 클리핑 값을 초과하는 경우, 상기 디블로킹된 픽셀 값을 상기 원래의 픽셀 값 플러스 상기 픽셀의 상기 클리핑 값으로 설정하는 것, 및
상기 필터링된 픽셀 값이 상기 원래의 픽셀 값 마이너스 상기 클리핑 값보다 낮은 경우, 상기 디블로킹된 픽셀 값을 상기 원래의 픽셀 값 마이너스 상기 픽셀의 상기 클리핑 값으로 설정하는 것을 포함하는 이미지 처리 디바이스(501, 601, 701). - 제1항 또는 제2항에 있어서,
상기 필터(502, 602, 702)는 함수 또는 룩업 테이블을 사용함으로써 상기 블록 에지(403, 800)로부터의 상기 픽셀의 상기 거리에 의존하여 상기 픽셀의 상기 클리핑 값을 결정하도록 적응되는 이미지 처리 디바이스(501, 601, 701). - 제1항 또는 제2항에 있어서,
상기 클리핑 값은 상기 블록 에지(403, 800)로부터의 상기 픽셀의 상기 거리의 단조 감소 함수인 이미지 처리 디바이스(501, 601, 701). - 제5항에 있어서,
상기 단조 감소 함수는 선형 함수인 이미지 처리 디바이스(501, 601, 701). - 제6항에 있어서,
상기 함수는 tc' = tc + (tc - (i * x))이고, tc'는 상기 클리핑 값이고, tc는 상수 값이고, i는 상기 블록 에지(403, 800)로부터의 상기 픽셀의 상기 거리이고, x는 상수 값인 이미지 처리 디바이스(501, 601, 701). - 제1항 또는 제2항에 있어서,
상기 필터(502, 602, 702)는, 상기 블록 에지(403, 800)로부터의 상기 디블로킹 범위 내에서, 필터링될 각각의 픽셀에 대해:
상기 픽셀의 상기 원래의 픽셀 값으로부터 상기 필터링된 픽셀 값을 결정하고, 상기 블록 에지(403, 800)로부터의 상기 픽셀의 상기 거리에 의존하여 상기 픽셀의 상기 클리핑 값을 결정하고, 상기 클리핑 값을 사용하여 상기 필터링된 픽셀 값을 클리핑하여, 상기 디블로킹된 픽셀 값을 초래하도록 구성되는 이미지 처리 디바이스(501, 601, 701). - 제1항 또는 제2항에 있어서,
상기 필터(502, 602, 702)는 적어도 2개, 또는 적어도 3개, 또는 적어도 4개, 또는 적어도 5개, 또는 적어도 6개, 또는 적어도 7개, 또는 적어도 8개, 또는 적어도 9개, 또는 적어도 10개, 또는 적어도 11개, 또는 적어도 12개, 또는 적어도 13개, 또는 적어도 14개, 또는 적어도 15개, 또는 적어도 16개 픽셀의 필터 탭 길이를 갖는 이미지 처리 디바이스(501, 601, 701). - 제1항 또는 제2항에 있어서,
상기 디블로킹 범위는 상기 블록 에지(403, 800)에 수직인 라인에서의 픽셀들의 수인 이미지 처리 디바이스(501, 601, 701). - 제1항 또는 제2항에 있어서,
상기 필터는 상기 픽셀의 상기 원래의 픽셀 값 및 적어도 하나의 추가 픽셀 값으로부터 상기 필터링된 픽셀 값을 결정하도록 구성되는 이미지 처리 디바이스(501, 601, 701). - 이미지를 인코딩하기 위한 인코더로서,
제1항 또는 제2항의 이미지 처리 디바이스(501, 601, 701)를 포함하는 인코더. - 이미지를 디코딩하기 위한 디코더로서,
제1항 또는 제2항의 이미지 처리 디바이스(501, 601, 701)를 포함하는 디코더. - 블록 코드로 인코딩된 이미지의 제1 블록과 제2 블록 사이의 블록 에지(403, 800)를 디블로킹하기 위한 디블로킹 방법으로서,
상기 방법은 상기 블록 에지(403, 800)로부터의 디블로킹 범위 내에서, 필터링될 적어도 하나의 픽셀에 대해:
상기 픽셀의 원래의 픽셀 값으로부터 필터링된 픽셀 값을 결정하는 단계(1000); 및
상기 픽셀의 클리핑 값을 사용하여 상기 필터링된 픽셀 값을 클리핑하여, 디블로킹된 픽셀 값을 초래하는 단계(1002)를 포함하고, 상기 클리핑 값은 상기 블록 에지(403, 800)로부터의 상기 픽셀의 거리에 의존하고,
상기 방법은:
상기 블록 에지(403, 800)가 수직 블록 에지(403, 800)인 경우에, 결정 픽셀 라인들의 수가 상기 블록 에지(403, 800)를 둘러싸는 블록들 내의 픽셀 라인들의 수보다 적은(lower) 것에 기초하여, 그리고 상기 블록 에지(403, 800)가 수평 블록 에지(403, 800)인 경우에, 결정 픽셀 행들의 수가 상기 블록 에지(403, 800)를 둘러싸는 블록들 내의 픽셀 행들의 수보다 적은 것에 기초하여, 상기 블록 에지(403, 800)가 필터링될 필요가 있는지를 결정하는 단계;
상기 블록 에지(403, 800)로부터의 디블로킹 범위 내에서- 상기 디블로킹 범위는 상기 블록 에지(403, 800)에 수직임 -, 결정 픽셀 행 또는 결정 픽셀 라인에 있지 않은 상기 필터링될 각각의 픽셀에 대해:
상기 픽셀의 상기 원래의 픽셀 값 및 적어도 하나의 추가 픽셀 값으로부터 상기 필터링된 픽셀 값을 결정하는 단계;
상기 블록 에지(403, 800)로부터의 상기 픽셀의 상기 거리에 의존하여 상기 픽셀의 상기 클리핑 값을 결정하는 단계;
상기 클리핑 값을 사용하여 상기 필터링된 픽셀 값을 클리핑하여, 상기 디블로킹된 픽셀 값을 초래하는 단계;
상기 블록 에지(403, 800)로부터의 디블로킹 범위 내에서- 상기 디블로킹 범위는 상기 블록 에지(403, 800)에 수직임 -, 결정 픽셀 행 또는 결정 픽셀 라인에 있는 필터링될 각각의 픽셀에 대해:
상기 픽셀의 상기 원래의 픽셀 값 및 상기 적어도 하나의 추가 픽셀 값으로부터 상기 필터링된 픽셀 값을 결정하는 단계; 및
일정한 클리핑 값을 사용하여 상기 필터링된 픽셀 값을 클리핑하여, 상기 디블로킹된 픽셀 값을 초래하는 단계
를 더 포함하는 방법. - 제14항에 있어서,
상기 클리핑 값은 상기 원래의 픽셀 값과 상기 디블로킹된 픽셀 값 사이의 최대 허용 변화량인 방법. - 제14항 또는 제15항에 있어서,
상기 클리핑 값을 사용하여 상기 필터링된 픽셀 값을 클리핑하여, 상기 디블로킹된 픽셀 값을 초래하는 것은:
상기 필터링된 픽셀 값과 상기 디블로킹된 픽셀 값 사이의 차이의 절대 값이 상기 픽셀의 상기 클리핑 값을 초과하지 않는 경우, 상기 디블로킹된 픽셀 값을 상기 필터링된 픽셀 값으로 설정하는 것,
상기 필터링된 픽셀 값이 상기 원래의 픽셀 값 플러스 상기 클리핑 값을 초과하는 경우, 상기 디블로킹된 픽셀 값을 상기 원래의 픽셀 값 플러스 상기 픽셀의 상기 클리핑 값으로 설정하는 것, 및
상기 필터링된 픽셀 값이 상기 원래의 픽셀 값 마이너스 상기 클리핑 값보다 낮은 경우, 상기 디블로킹된 픽셀 값을 상기 원래의 픽셀 값 마이너스 상기 픽셀의 상기 클리핑 값으로 설정하는 것을 포함하는 방법. - 제14항 또는 제15항에 있어서,
함수 또는 룩업 테이블을 사용함으로써 상기 블록 에지(403, 800)로부터의 상기 픽셀의 상기 거리에 의존하여 상기 픽셀의 상기 클리핑 값을 결정하는 단계를 더 포함하는 방법. - 제14항 또는 제15항에 있어서,
상기 클리핑 값은 상기 블록 에지(403, 800)로부터의 상기 픽셀의 상기 거리의 단조 감소 함수인 방법. - 제18항에 있어서,
상기 단조 감소 함수는 선형 함수인 방법. - 제14항 또는 제15항에 있어서,
상기 디블로킹 범위는 상기 블록 에지(403, 800)에 수직인 라인에서의 픽셀들의 수인 방법. - 제14항 또는 제15항에 있어서,
상기 픽셀의 상기 원래의 픽셀 값 및 적어도 하나의 추가 픽셀 값으로부터 상기 필터링된 픽셀 값을 결정하는 단계를 더 포함하는 방법. - 이미지를 인코딩하기 위한 인코딩 방법으로서,
제14항 또는 제15항의 디블로킹 방법을 포함하는 인코딩 방법. - 이미지를 디코딩하기 위한 디코딩 방법으로서,
제14항 또는 제15항의 디블로킹 방법을 포함하는 디코딩 방법. - 프로그램 코드를 저장하는 비일시적 컴퓨터 판독가능 매체로서,
상기 프로그램 코드는 컴퓨터 디바이스 또는 프로세서에 의해 실행될 때, 상기 컴퓨터 디바이스 또는 상기 프로세서로 하여금 제14항 또는 제15항에 따른 방법을 수행하게 하는 비일시적 컴퓨터 판독가능 매체. - 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020237033018A KR20230141945A (ko) | 2018-09-24 | 2019-09-24 | 품질 최적화된 디블로킹을 수행하기 위한 이미지 처리 디바이스 및 방법 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201862735712P | 2018-09-24 | 2018-09-24 | |
| US62/735,712 | 2018-09-24 | ||
| PCT/CN2019/107409 WO2020063555A1 (en) | 2018-09-24 | 2019-09-24 | Image processing device and method for performing quality optimized deblocking |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020237033018A Division KR20230141945A (ko) | 2018-09-24 | 2019-09-24 | 품질 최적화된 디블로킹을 수행하기 위한 이미지 처리 디바이스 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210058939A KR20210058939A (ko) | 2021-05-24 |
| KR102584455B1 true KR102584455B1 (ko) | 2023-10-05 |
Family
ID=69952413
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020237033018A KR20230141945A (ko) | 2018-09-24 | 2019-09-24 | 품질 최적화된 디블로킹을 수행하기 위한 이미지 처리 디바이스 및 방법 |
| KR1020217011345A KR102584455B1 (ko) | 2018-09-24 | 2019-09-24 | 품질 최적화된 디블로킹을 수행하기 위한 이미지 처리 디바이스 및 방법 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020237033018A KR20230141945A (ko) | 2018-09-24 | 2019-09-24 | 품질 최적화된 디블로킹을 수행하기 위한 이미지 처리 디바이스 및 방법 |
Country Status (11)
| Country | Link |
|---|---|
| US (2) | US11800154B2 (ko) |
| EP (2) | EP4221229A1 (ko) |
| JP (3) | JP7367755B2 (ko) |
| KR (2) | KR20230141945A (ko) |
| CN (4) | CN117528079A (ko) |
| AU (2) | AU2019351346B2 (ko) |
| BR (1) | BR112021005561A2 (ko) |
| CA (1) | CA3113538A1 (ko) |
| MX (2) | MX2021003365A (ko) |
| NZ (1) | NZ774817A (ko) |
| WO (1) | WO2020063555A1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116051662B (zh) * | 2023-03-31 | 2023-06-23 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、设备和介质 |
Family Cites Families (43)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4114494B2 (ja) * | 2002-03-07 | 2008-07-09 | セイコーエプソン株式会社 | 画像処理装置及び画像処理プログラム、並びに画像処理方法 |
| US20050024487A1 (en) * | 2003-07-31 | 2005-02-03 | William Chen | Video codec system with real-time complexity adaptation and region-of-interest coding |
| US7460596B2 (en) * | 2004-04-29 | 2008-12-02 | Mediatek Incorporation | Adaptive de-blocking filtering apparatus and method for MPEG video decoder |
| US7782339B1 (en) * | 2004-06-30 | 2010-08-24 | Teradici Corporation | Method and apparatus for generating masks for a multi-layer image decomposition |
| NO322722B1 (no) * | 2004-10-13 | 2006-12-04 | Tandberg Telecom As | Fremgangsmate for videokoding gjennom reduksjon av blokkartefakter |
| US8218635B2 (en) * | 2005-09-28 | 2012-07-10 | Synopsys, Inc. | Systolic-array based systems and methods for performing block matching in motion compensation |
| US20110170793A1 (en) * | 2008-09-24 | 2011-07-14 | Kazushi Sato | Image processing apparatus and method |
| KR101001676B1 (ko) | 2009-04-27 | 2010-12-15 | 전남대학교산학협력단 | 화소 분류를 이용한 에지보존 디블로킹 필터 |
| EP2532161B1 (en) | 2010-02-05 | 2017-05-10 | Telefonaktiebolaget LM Ericsson (publ) | De-blocking filtering control |
| US9185430B2 (en) * | 2010-03-15 | 2015-11-10 | Mediatek Singapore Pte. Ltd. | Deblocking filtering method and deblocking filter |
| KR101682147B1 (ko) | 2010-04-05 | 2016-12-05 | 삼성전자주식회사 | 변환 및 역변환에 기초한 보간 방법 및 장치 |
| EP2624555A4 (en) * | 2010-09-28 | 2015-11-18 | Samsung Electronics Co Ltd | METHOD AND APPARATUS FOR ADAPTIVE FILTERING |
| CN101984463A (zh) * | 2010-11-02 | 2011-03-09 | 中兴通讯股份有限公司 | 全景图合成方法及装置 |
| CN103299632B (zh) * | 2011-01-14 | 2017-02-22 | 瑞典爱立信有限公司 | 去块效应滤波方法及去块效应滤波器单元 |
| WO2012096614A2 (en) | 2011-01-14 | 2012-07-19 | Telefonaktiebolaget L M Ericsson (Publ) | A method for filter control and a filtering control device |
| CA2825671C (en) * | 2011-02-25 | 2018-06-12 | Panasonic Corporation | Efficient decisions for deblocking |
| US9729879B2 (en) * | 2011-03-10 | 2017-08-08 | Hfi Innovation Inc. | Method and apparatus of deblocking filter |
| CN107197258B (zh) * | 2011-03-30 | 2020-04-28 | Lg 电子株式会社 | 视频解码装置和视频编码装置 |
| US9338476B2 (en) * | 2011-05-12 | 2016-05-10 | Qualcomm Incorporated | Filtering blockiness artifacts for video coding |
| WO2012175196A1 (en) * | 2011-06-20 | 2012-12-27 | Panasonic Corporation | Deblocking control by individual quantization parameters |
| CN113347420A (zh) * | 2011-06-28 | 2021-09-03 | 索尼公司 | 图像处理装置和图像处理方法 |
| MY167341A (en) * | 2011-09-09 | 2018-08-16 | Sun Patent Trust | Low complex deblocking filter decisions |
| TWI568249B (zh) * | 2011-11-03 | 2017-01-21 | 太陽專利信託 | 用於解區塊之有效修整技術 |
| KR102032000B1 (ko) * | 2011-11-04 | 2019-10-14 | 선 페이턴트 트러스트 | 변경된 이미지 블록 경계 세기 유도에 의한 디블로킹 필터링 |
| US20130170562A1 (en) * | 2011-12-28 | 2013-07-04 | Qualcomm Incorporated | Deblocking decision functions for video coding |
| AR092786A1 (es) | 2012-01-09 | 2015-05-06 | Jang Min | Metodos para eliminar artefactos de bloque |
| US9538200B2 (en) * | 2012-01-19 | 2017-01-03 | Qualcomm Incorporated | Signaling of deblocking filter parameters in video coding |
| CN102547296B (zh) * | 2012-02-27 | 2015-04-01 | 开曼群岛威睿电通股份有限公司 | 移动估计加速电路、移动估计方法及环路滤波加速电路 |
| WO2014007735A1 (en) * | 2012-07-03 | 2014-01-09 | Telefonaktiebolaget L M Ericsson (Publ) | Controlling deblocking filtering |
| US9906786B2 (en) * | 2012-09-07 | 2018-02-27 | Qualcomm Incorporated | Weighted prediction mode for scalable video coding |
| US9414067B2 (en) * | 2013-02-19 | 2016-08-09 | Interra Systems Inc. | Methods and systems for detection of block based video dropouts |
| US9092856B2 (en) * | 2013-10-31 | 2015-07-28 | Stmicroelectronics Asia Pacific Pte. Ltd. | Recursive de-banding filter for digital images |
| US9906790B2 (en) * | 2014-03-14 | 2018-02-27 | Qualcomm Incorporated | Deblock filtering using pixel distance |
| JP6564018B2 (ja) * | 2014-04-08 | 2019-08-21 | アイキャド， インコーポレイテッド | 放射線画像の肺野セグメンテーション技術及び骨減弱技術 |
| US20180146213A1 (en) * | 2015-06-05 | 2018-05-24 | Telefonaktiebolaget Lm Ericsson (Publ) | Filtering for video processing |
| JP6620354B2 (ja) * | 2015-09-30 | 2019-12-18 | Kddi株式会社 | 動画像の処理装置、処理方法及びコンピュータ可読記憶媒体 |
| JP7094076B2 (ja) * | 2016-08-19 | 2022-07-01 | 沖電気工業株式会社 | 映像符号化装置、プログラム及び方法、並びに、映像復号装置、プログラム及び方法、並びに、映像伝送システム |
| EP3297282A1 (en) * | 2016-09-15 | 2018-03-21 | Thomson Licensing | Method and apparatus for video coding with adaptive clipping |
| US20180091812A1 (en) * | 2016-09-23 | 2018-03-29 | Apple Inc. | Video compression system providing selection of deblocking filters parameters based on bit-depth of video data |
| CN108076266A (zh) * | 2016-11-11 | 2018-05-25 | 株式会社东芝 | 处理装置以及摄像装置 |
| CN106604039B (zh) * | 2016-12-28 | 2020-07-31 | 北京奇艺世纪科技有限公司 | 一种滤波方法及装置 |
| US12063387B2 (en) * | 2017-01-05 | 2024-08-13 | Hfi Innovation Inc. | Decoder-side motion vector restoration for video coding |
| US10616577B2 (en) * | 2017-10-16 | 2020-04-07 | Intel Corporation | Adaptive video deblocking |
-
2019
- 2019-09-24 WO PCT/CN2019/107409 patent/WO2020063555A1/en active Application Filing
- 2019-09-24 NZ NZ774817A patent/NZ774817A/en unknown
- 2019-09-24 AU AU2019351346A patent/AU2019351346B2/en active Active
- 2019-09-24 CN CN202310864305.6A patent/CN117528079A/zh active Pending
- 2019-09-24 EP EP23171497.3A patent/EP4221229A1/en active Pending
- 2019-09-24 KR KR1020237033018A patent/KR20230141945A/ko not_active Application Discontinuation
- 2019-09-24 MX MX2021003365A patent/MX2021003365A/es unknown
- 2019-09-24 KR KR1020217011345A patent/KR102584455B1/ko active IP Right Grant
- 2019-09-24 CN CN202311384433.7A patent/CN117834865A/zh active Pending
- 2019-09-24 CN CN202110515966.9A patent/CN113411575B/zh active Active
- 2019-09-24 JP JP2021515208A patent/JP7367755B2/ja active Active
- 2019-09-24 EP EP19866185.2A patent/EP3850855B1/en active Active
- 2019-09-24 CA CA3113538A patent/CA3113538A1/en active Pending
- 2019-09-24 CN CN201980061633.4A patent/CN112740706A/zh active Pending
- 2019-09-24 BR BR112021005561-4A patent/BR112021005561A2/pt unknown
-
2021
- 2021-03-22 MX MX2024010617A patent/MX2024010617A/es unknown
- 2021-03-24 US US17/211,638 patent/US11800154B2/en active Active
-
2023
- 2023-08-24 JP JP2023136385A patent/JP7512492B2/ja active Active
- 2023-09-28 US US18/476,309 patent/US20240107077A1/en active Pending
- 2023-10-10 AU AU2023248068A patent/AU2023248068A1/en active Pending
-
2024
- 2024-06-25 JP JP2024101985A patent/JP2024137955A/ja active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US11800154B2 (en) | 2023-10-24 |
| JP2023160855A (ja) | 2023-11-02 |
| BR112021005561A2 (pt) | 2021-06-29 |
| AU2019351346B2 (en) | 2023-07-13 |
| EP3850855B1 (en) | 2023-11-01 |
| WO2020063555A1 (en) | 2020-04-02 |
| AU2019351346A1 (en) | 2021-05-13 |
| JP7512492B2 (ja) | 2024-07-08 |
| US20240107077A1 (en) | 2024-03-28 |
| JP2024137955A (ja) | 2024-10-07 |
| EP3850855A1 (en) | 2021-07-21 |
| CN112740706A (zh) | 2021-04-30 |
| CN113411575A (zh) | 2021-09-17 |
| CN113411575B (zh) | 2022-07-22 |
| KR20230141945A (ko) | 2023-10-10 |
| NZ774817A (en) | 2023-07-28 |
| MX2021003365A (es) | 2021-05-27 |
| CA3113538A1 (en) | 2020-04-02 |
| EP4221229A1 (en) | 2023-08-02 |
| CN117528079A (zh) | 2024-02-06 |
| US20210281884A1 (en) | 2021-09-09 |
| KR20210058939A (ko) | 2021-05-24 |
| EP3850855A4 (en) | 2021-11-10 |
| JP7367755B2 (ja) | 2023-10-24 |
| MX2024010617A (es) | 2024-09-06 |
| JP2022500942A (ja) | 2022-01-04 |
| AU2023248068A1 (en) | 2023-10-26 |
| CN117834865A (zh) | 2024-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111819852B (zh) | 用于变换域中残差符号预测的方法及装置 | |
| US20200404339A1 (en) | Loop filter apparatus and method for video coding | |
| EP3738309A1 (en) | Method and apparatus for detecting blocks suitable for multiple sign bit hiding | |
| KR102709661B1 (ko) | 효율적인 디블로킹을 수행하기 위한 이미지 처리 디바이스 및 방법 | |
| KR102519380B1 (ko) | 비디오 이미지의 예측 블록의 인트라 예측을 위한 장치 및 방법 | |
| JP2024137955A (ja) | 品質最適化デブロッキングを実行するためのイメージ処理デバイス及び方法 | |
| CN115988202B (zh) | 一种用于帧内预测的设备和方法 | |
| RU2793920C2 (ru) | Устройство обработки изображений и способ выполнения устранения блочности с оптимизацией качества | |
| JP7293460B2 (ja) | 効率的なデブロッキングを実行するための画像処理デバイス及び方法 | |
| US11259054B2 (en) | In-loop deblocking filter apparatus and method for video coding |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| A107 | Divisional application of patent | ||
| GRNT | Written decision to grant |