KR20100133006A - 동화상 부호화/복호화 방법 및 장치 - Google Patents
동화상 부호화/복호화 방법 및 장치 Download PDFInfo
- Publication number
- KR20100133006A KR20100133006A KR1020107025257A KR20107025257A KR20100133006A KR 20100133006 A KR20100133006 A KR 20100133006A KR 1020107025257 A KR1020107025257 A KR 1020107025257A KR 20107025257 A KR20107025257 A KR 20107025257A KR 20100133006 A KR20100133006 A KR 20100133006A
- Authority
- KR
- South Korea
- Prior art keywords
- filter
- luminance
- image
- signal
- information
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 37
- 238000013139 quantization Methods 0.000 claims abstract description 59
- 230000009466 transformation Effects 0.000 claims description 17
- 238000001914 filtration Methods 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 12
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 9
- 241000023320 Luma <angiosperm> Species 0.000 description 7
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000012880 independent component analysis Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
본 발명은 휘도 신호 및 색차 신호의 각각에 대해 필터의 적용 유무를 절환하는 것에 의해 필터링이 수행되도록 한다.
동화상 복호화 장치는, 입력되는 부호화 데이터를 복호화해서 양자화 변환계수 및 필터 정보를 생성하는 복호화부와, 상기 양자화 변환계수에 대해 역양자화 및 역변환을 수행해서 예측 오차 화상을 생성하는 역변환·역양자화부와, 상기 예측 오차 화상과 예측 화상을 이용해서 복호 화상을 생성하는 복호 화상 생성부와, 상기 복호 화상의 휘도 신호에 대해 상기 휘도 필터 정보를 기초로 휘도 필터를 적용해서 복원 화상의 휘도 신호를 생성하는 휘도 필터 처리부와, 상기 복호 화상의 색차 신호에 대해 상기 색차 필터 정보를 기초로 색차 필터를 적용해서 상기 복원 화상의 색차 신호를 생성하는 색차 필터 처리부를 구비하여 구성된다.
동화상 복호화 장치는, 입력되는 부호화 데이터를 복호화해서 양자화 변환계수 및 필터 정보를 생성하는 복호화부와, 상기 양자화 변환계수에 대해 역양자화 및 역변환을 수행해서 예측 오차 화상을 생성하는 역변환·역양자화부와, 상기 예측 오차 화상과 예측 화상을 이용해서 복호 화상을 생성하는 복호 화상 생성부와, 상기 복호 화상의 휘도 신호에 대해 상기 휘도 필터 정보를 기초로 휘도 필터를 적용해서 복원 화상의 휘도 신호를 생성하는 휘도 필터 처리부와, 상기 복호 화상의 색차 신호에 대해 상기 색차 필터 정보를 기초로 색차 필터를 적용해서 상기 복원 화상의 색차 신호를 생성하는 색차 필터 처리부를 구비하여 구성된다.
Description
본 발명은 필터를 이용해서 국소 복호 화상이나 복호 화상의 화질을 향상시키도록 된 동화상 부호화/복호화 방법 및 장치에 관한 것이다.
동화상 부호화/복호화 장치의 부호화 측에서는 입력되는 동화상과 예측 화상과의 차이분인 예측 오차 화상에 대해 화소 블록 단위로 직교변환을 수행하고, 그에 의해 얻어지는 변환계수를 양자화해서 부호화를 수행한다. 복호화 측에서는 부호화된 동화상을 받아 상기 부호화와는 역의 처리에 의해 복호화를 수행해서 동화상을 얻는다.
부호화 측에서 포스트 필터의 필터 정보를 설정해서 복호화 측에 송신하고, 복호화 측에서는 수신한 당해 필터 정보를 이용해서 포스트 필터 처리를 수행하는 동화상 부호화/복호화 장치가 있다(예컨대, 비특허문헌 1 참조).
비특허문헌 1에 개시된 동화상 부호화/복호화에서는 복호 화상과 입력 화상과의 오차가 작아지게 되도록 부호화 측에서 필터 정보를 설정함으로써, 복호화 측에서 포스트 필터를 적용해서 얻어지는 출력 화상의 화질을 향상시키는 것이 가능하다. 필터 정보는 휘도 신호 및 색차 신호의 각각에 대해 설정되고, 송신된다. 그러나, 각각의 신호에 대해 개별로 필터를 적용하는가의 여부를 판정하는 것은 아니다.
즉, 휘도 신호 및 색차 신호 중 어느 하나에 필터를 적용하는 것이 라운딩 오차(rounding error) 등의 영향에 의해 화질 저하를 갖게 하는 경우라 하더라도, 이에 대처하는 것은 불가능하고, 휘도 신호에 대한 필터 정보와 함께 색차 신호에 대한 필터 정보가 복호 측에 항상 송신된다.
비특허문헌 1 : S.Wittmann and T.Wedi, “Post-filter SEI message for 4:4:4 coding”, JVT of ISO/IEC MPEG & ITU-T VCEG, JVT-S030, April 2006.
상기한 바와 같이, 비특허문헌 1에 개시된 기술에서는 휘도 신호 및 색차 신호 중 어느 하나에 필터를 적용하는 것이 라운딩 오차 등의 영향에 의해 화질 저하를 갖게 되는 경우라 하더라도, 이에 대처하는 것은 불가능하고, 휘도 신호에 대한 필터 정보와 함께 색차 신호에 대한 필터 정보가 복호 측에 항상 송신된다.
더욱이, 화질 개선효과와 필터 정보 송신에 수반하는 부호량의 증가와의 관계를 휘도 신호 및 색차 신호의 각각에 대해 고려하는 것도 가능하지 않다.
본 발명은, 휘도 신호 및 색차 신호의 각각에 대해 필터의 적용 유무를 절환하는 것에 의해 적절한 필터링을 수행하는 것이 가능한 동화상 부호화/복호화 방법 및 장치를 제공함에 그 목적이 있다.
본 발명의 제1의 관점에 의하면, 입력되는 동화상과 예측 화상과의 차이분을 취해 예측 오차 화상을 생성하는 단계와, 상기 예측 오차 화상에 대해 변환 및 양자화를 수행해서 양자화 변환계수를 생성하는 단계와, 상기 동화상 중 부호화 완료 화상에 대응하는 국소 복호 화상의 휘도 신호에 대해 휘도 필터를 적용하는가의 여부를 나타내는 절환 정보를 포함하는 휘도 필터 정보를 생성하는 단계와, 상기 동화상 중 부호화 완료 화상에 대응하는 국소 복호 화상의 색차 신호에 대해 색차 필터를 적용하는가의 여부를 나타내는 절환 정보를 포함하는 색차 필터 정보를 생성하는 단계와, 상기 휘도 필터 정보 및 색차 필터 정보의 적어도 한쪽을 포함하는 필터 정보와 상기 양자화 변환계수를 부호화하고, 부호화 데이터를 출력하는 단계를 갖추어 이루어진 것을 특징으로 하는 동화상 부호화 방법이 제공된다.
본 발명의 제2의 관점에 의하면, 입력되는 부호화 데이터를 복호화해서 양자화 변환계수 및 필터 정보를 생성하는 단계와, 상기 양자화 변환계수에 대해 역양자화 및 역변환을 수행해서 예측 오차 화상을 생성하는 단계와, 상기 예측 오차 화상과 예측 화상을 이용해서 복호 화상을 생성하는 단계와, 상기 복호 화상의 휘도 신호에 대해 상기 휘도 필터 정보를 기초로 휘도 필터를 적용해서 복원 화상의 휘도 신호를 생성하는 단계와, 상기 복호 화상의 색차 신호에 대해 상기 색차 필터 정보를 기초로 색차 필터를 적용해서 상기 복원 화상의 색차 신호를 생성하는 단계를 갖추어 이루어진 것을 특징으로 하는 동화상 복호화 방법이 제공된다.
본 발명에 의하면, 필터를 적용하는가의 여부를 휘도 신호 및 색차 신호의 각각에서 절환하는 것이 가능하게 된다. 그에 의해, 휘도 신호 및 색차 신호의 어느 것에서 필터링에 의해 화질이 저하되어버리는 경우에는 그 어느 것의 신호에 대해서는 필터를 적용하지 않는 것으로 화질 저하를 방지하는 것이 가능하게 된다. 또한, 적용하는 필터에 대해서는 부호화 측에서 필터 계수를 설정해서 송신해도 좋고, 그 경우는 화질 개선 효과와 부호량 증가를 고려한 최적의 필터링이 가능하게 되어 부호화 효율이 향상된다.
도 1은 실시형태에 따른 동화상 부호화 장치의 구성을 나타낸 블록도,
도 2는 도 1의 필터 정보 생성부의 구성을 나타낸 블록도,
도 3은 도 1의 필터 정보 생성부의 동작을 나타낸 플로우차트,
도 4는 실시형태에 따른 신택스 구조를 나타낸 도면,
도 5는 실시형태에 따른 루프 필터 데이터 신택스를 나타낸 도면,
도 6은 실시형태에 따른 루프 필터 데이터 신택스(필터 사이즈 고정의 예)를 나타낸 도면,
도 7은 실시형태에 따른 루프 필터 데이터 신택스(색차 필터 사이즈를 구하는, YUV 4:2:0의 예)를 나타낸 도면,
도 8은 실시형태에 따른 루프 필터 데이터 신택스(필터 계수 고정의 예)를 나타낸 도면,
도 9는 실시형태에 따른 루프 필터 데이터 신택스(색차 필터 계수 공통의 예)를 나타낸 도면,
도 10은 실시형태에 따른 루프 필터 데이터 신택스(휘도 필터 적용시 만 색차 필터 정보를 포함하는 예)를 나타낸 도면,
도 11은 도 1의 부호화 장치에 대응하는 동화상 복호화 장치의 구성을 나타낸 블록도,
도 12는 도 11의 복호화 장치에서의 필터 처리부의 구성을 나타낸 블록도,
도 13은 도 11의 복호화 장치에서의 필터 처리부의 동작을 나타낸 플로우차트,
도 14는 다른 실시형태에 따른 동화상 부호화 장치의 구성을 나타낸 블록도,
도 15는 도 14의 부호화 장치에 대응하는 동화상 복호화 장치의 구성을 나타낸 블록도,
도 16은 다른 실시형태에 따른 동화상 복호화 장치의 구성을 나타낸 블록도이다.
도 2는 도 1의 필터 정보 생성부의 구성을 나타낸 블록도,
도 3은 도 1의 필터 정보 생성부의 동작을 나타낸 플로우차트,
도 4는 실시형태에 따른 신택스 구조를 나타낸 도면,
도 5는 실시형태에 따른 루프 필터 데이터 신택스를 나타낸 도면,
도 6은 실시형태에 따른 루프 필터 데이터 신택스(필터 사이즈 고정의 예)를 나타낸 도면,
도 7은 실시형태에 따른 루프 필터 데이터 신택스(색차 필터 사이즈를 구하는, YUV 4:2:0의 예)를 나타낸 도면,
도 8은 실시형태에 따른 루프 필터 데이터 신택스(필터 계수 고정의 예)를 나타낸 도면,
도 9는 실시형태에 따른 루프 필터 데이터 신택스(색차 필터 계수 공통의 예)를 나타낸 도면,
도 10은 실시형태에 따른 루프 필터 데이터 신택스(휘도 필터 적용시 만 색차 필터 정보를 포함하는 예)를 나타낸 도면,
도 11은 도 1의 부호화 장치에 대응하는 동화상 복호화 장치의 구성을 나타낸 블록도,
도 12는 도 11의 복호화 장치에서의 필터 처리부의 구성을 나타낸 블록도,
도 13은 도 11의 복호화 장치에서의 필터 처리부의 동작을 나타낸 플로우차트,
도 14는 다른 실시형태에 따른 동화상 부호화 장치의 구성을 나타낸 블록도,
도 15는 도 14의 부호화 장치에 대응하는 동화상 복호화 장치의 구성을 나타낸 블록도,
도 16은 다른 실시형태에 따른 동화상 복호화 장치의 구성을 나타낸 블록도이다.
이하, 본 발명의 실시형태에 대해 도면을 참조해서 설명한다.
(동화상 부호화 장치)
도 1에 나타낸 바와 같이, 동화상 부호화 장치(1000)는 예측 신호 생성부(101), 감산기(예측 오차 생성부)(102), 변환·양자화부(103), 엔트로피 부호화부(104), 역변환·역양자화부(105), 가산기(106), 필터 정보 생성부(107), 참조 화상용 버퍼(108)를 갖추고, 부호화 제어부(109)에 의해 제어된다.
예측 신호 생성부(101)는 참조 화상용 버퍼(108)에 격납되어 있는 이미 부호화 완료의 참조 화상신호(18)를 취득해서 소정의 예측 처리를 수행하고, 예측 화상신호(11)를 출력한다. 예측 처리에는, 예컨대 움직임 예측, 움직임 보상에 의한 시간 방향의 예측, 또는 화면 내의 부호화 완료 화소로부터의 공간 방향의 예측 등을 이용할 수가 있다.
감산기(102)는 동화상의 입력 화상신호(10)와 예측 화상신호(11)와의 차이분을 계산하고, 예측 오차 화상신호(12)를 생성한다. 예측 오차 화상신호(12)는 변환·양자화부(103)에 입력된다.
변환·양자화부(103)는 예측 오차 화상신호(12)에 대해 먼저 변환처리를 수행한다. 여기서는, 예컨대 이산 코사인 변환(DCT)과 같은 직교변환을 수행하고, 변환계수를 생성한다. 직교변환과는 별개로, 웨이브 렛 변환이나 독립 성분 해석 등의 수법을 이용해서 변환계수를 생성해도 좋다. 다음에, 변환·양자화부(103)는 생성한 변환계수를 뒤에 설명하는 부호화 제어부(109)에 설정되어 있는 양자화 파라미터를 기초로 양자화하고, 양자화 후의 변환계수(13)를 출력한다. 양자화 후의 변환계수(13)는 뒤에 설명하는 엔트로피 부호화부(104)로 입력됨과 동시에 역변환·역양자화부(105)에도 입력된다.
역변환·역양자화부(105)는 양자화 후의 변환계수(13)를 부호화 제어부(109)에 설정되어 있는 양자화 파라미터에 따라 역양자화한다. 다음에, 역양자화에 의해 얻어진 변환계수에 대해 변환·양자화부(103)에서의 변환에 대응하는 역변환, 예컨대 역이산 코사인 변환(IDCT)과 같은 역직교변환을 수행하고, 예측 오차 화상신호(15)를 생성한다.
가산기(106)는 역변환·역양자화부(105)에 의해 생성된 예측 오차 화상신호(15)와, 예측 신호 생성부(101)에 의해 생성된 예측 화상신호(11)를 가산함으로써, 입력 화상신호(10) 중의 부호화 완료 화상에 대응하는 국소 복호 화상신호(16)를 생성한다.
필터 정보 생성부(107)는 국소 복호 화상신호(16) 및 입력 화상신호(10)를 기초로 필터 정보(17)를 출력한다. 필터 정보 생성부(107)의 상세한 내용은 뒤에 설명한다.
참조 화상용 버퍼(108)는 국소 복호 화상신호(16)를 참조 화상신호로서 일시 보존한다. 참조 화상용 버퍼(108)에 보존한 참조 화상신호(18)는 예측 신호 생성부(101)에 의해 예측 화상신호(11)를 생성하는 경우에 참조된다.
한편, 엔트로피 부호화부(104)는 양자화 후의 변환계수(13), 필터 정보(17), 예측 모드 정보, 블록 사이즈 절환 정보, 움직임 벡터 및 양자화 파라미터 등의 여러 가지 부호화 파라미터에 대해 엔트로피 부호화(예컨대, 허프만 부호화 또는 산술 부호화 등)를 수행하고, 부호화 데이터(14)를 출력한다.
부호화 제어부(109)는 발생 부호량의 피드백 제어 및 양자화 제어, 모드 제어 등을 수행하고, 부호화 전체의 제어를 수행한다.
(필터 정보 생성부)
다음에, 필터 정보 생성부(107)에 대해 도 2를 이용해서 상세히 설명한다. 도 2에 도시된 바와 같이, 필터 정보 생성부(107)는 휘도 필터 정보 생성부(110), 색차 필터 정보 생성부(111)을 갖는다. 휘도 필터 정보 생성부(110)는 국소 복호 화상신호(16) 및 입력 화상신호(10)의 휘도 신호를 취득하고, 휘도 필터 정보를 생성한다. 색차 필터 정보 생성부(110)는 국소 복호 화상신호(16) 및 입력 화상신호(10)의 색차 신호를 취득하고, 색차 필터 정보를 생성한다.
한편, 본 실시형태에 있어서 휘도 필터 정보 및 색차 필터 정보라는 것은 각각 휘도 신호 및 색차 신호에 대해 필터를 적용하는가의 여부의 절환 정보로서, 필터를 적용하는 경우에는 필터 계수 정보를 포함한다. 이들 휘도 필터 정보 및 색차 필터 정보는 다중화 되고, 필터 정보(17)로서 엔트로피 부호화부(104)로 입력된다.
본 실시형태에 따른 동화상 부호화 장치(1000)의 개략적인 처리에 대해 설명한다. 이하에 도시한 일련의 부호화 처리는 예측 처리와 변환처리를 수행하는, 소위 하이브리드 부호화로 칭해지는 동화상 부호화에서의 일반적인 부호화 처리이다.
먼저, 동화상 부호화 장치(1000)에 입력 화상신호(10)가 입력되면, 예측 오차 생성부(감산기)(102)에서 입력 화상신호(10)로부터 예측 신호 생성부(101)에 의해 생성된 예측 화상신호(11)를 공제해서 예측 오차 화상신호(12)가 생성된다. 예측 오차 화상신호(12)에 대해 변환·양자화부(103)에서 변환 및 양자화가 이루어져, 양자화 변환계수(13)가 생성된다. 양자화 변환계수(13)는 엔트로피 부호화부(104)에서 부호화된다.
한편, 양자화 변환계수(13)는 역변환·역양자화부(105)에도 입력되고, 여기서 역변환 및 역양자화가 수행되는 것에 의해 예측 오차 화상신호(15)가 생성된다. 예측 오차 화상신호(15)는 예측 화상 생성부(101)에서 출력되는 예측 화상신호(11)와 가산기(106)에서 가산되어, 국소 복호 화상신호(16)가 생성된다.
다음에, 본 실시형태에 따른 동화상 부호화 장치(1000)에 있어서 특징적인 처리인 필터 정보 생성부(107)의 동작에 대해 도 2 및 도 3을 이용해서 상세히 설명한다.
도 2에 있어서, 필터 정보 생성부(107)에 국소 복호 화상신호(16) 및 입력 화상신호(10)가 입력되면, 각각 휘도 신호와 색차 신호로 나누어 처리가 수행된다. 휘도 신호는 휘도 필터 정보 생성부(110)에 입력되고, 필터 계수의 설정 및 휘도 신호에 필터를 적용하는가의 여부의 절환 정보의 설정이 수행된다. 한편, 색차 신호는 색차 필터 정보 생성부(111)에 입력되고, 필터 계수의 설정 및 색차 신호에 필터를 적용하는가의 여부의 절환 정보의 설정이 수행된다.
여기서는, 화상 복원에서 일반적으로 이용되는 2차원의 위너 필터(Wiener filter)를 이용하는 것으로 하고, 절환 정보에 대해서는 다음 식에 의해 표현되는 부호화 코스트를 기초로 설정한다.
cost = D + λ×R
단, 상기 식에서 D는 잔차제곱합, R은 부호량을 나타낸다. 부호화 코스트를 이용함으로써, 화질 개선효과와 필터 정보 송신에 관한 부호량을 비교하여 최적의 필터링이 가능해진다.
도 3은 필터 정보 생성부(107)의 동작을 나타낸 플로우차트이다. 도 3에 나타낸 바와 같이, 먼저 국소 복호 화상신호(16)의 휘도 신호에 필터 처리를 실시한 화상과, 입력 화상신호(10)의 휘도 신호와의 평균 제곱 오차가 최소로 되도록 필터 계수를 설정한다(단계 S101).
다음에, 휘도 신호에 대해 필터를 적용하지 않는 경우의 코스트인 costluma_A 및 필터를 적용하는 경우의 코스트인 costluma _B를 산출한다(단계 S102).
다음에, costluma _A와 costluma _B를 비교한다(단계 S103). 필터를 적용하는 것으로 비용이 삭감되는 경우, 즉 costluma _A>costluma _B인 경우, 복호화 측에서 휘도 신호에 필터를 적용하는 취지를 결정하고, 절환 정보에 상당하는 프래그, 즉 luma_flag=1로 설정한다(단계 S104).
한편, 필터를 적용해서 비용이 삭감되지 않는 경우, 즉 costluma _A>costluma _B가 아닌 경우, 복호화 측에서 휘도 신호에 필터를 적용하지 않는 취지를 결정하고, 절환 정보에 상당하는 프래그, 즉 luma_flag=0으로 설정한다(단계 S105).
그리고, luma_flag=0의 경우에는 luma_flag만을 휘도 필터 정보로 하고, luma_flag=1의 경우는 luma_flag 및 단계 S101에서 설정한 필터 계수 정보를 휘도 필터 정보로 한다.
다음에, 단계 S106∼단계 S110에서는 색차 신호에 대해 처리가 수행된다. 상기한 바와 같이, 색차 신호는 색차 필터 정보 생성부(111)에 입력되고, 필터 계수의 설정 및 색차 신호에 필터를 적용하는가의 여부의 절환 정보의 설정이 수행된다.
먼저, 국소 복호 화상신호(16)의 색차 신호에 필터 처리를 실시한 화상과, 입력 화상신호(10)의 색차 신호와의 평균 제곱 오차가 최소로 되도록 필터 계수를 설정한다(단계 S106).
다음에, 색차 신호에 대해 필터를 적용하지 않는 경우의 코스트인 costchroma_A 및 필터를 적용하는 경우의 코스트인 costchroma _B를 산출한다(단계 S107).
다음에, costchroma _A 와 costchroma _B를 비교 한다(단계 S108). 필터를 적용하는 것으로 코스트가 삭감되는 경우, 즉 costchroma _A>costchroma _B인 경우, 복호화 측에서 색차 신호에 필터를 적용하는 취지를 결정하고, 절환 정보에 상당하는 프래그, 즉 chroma_flag=1로 설정한다(단계 S109).
한편, 필터를 적용해서 비용이 삭감되지 않는 경우, 즉 costchroma_A>costchroma_B가 아닌 경우, 복호화 측에서 색차 신호에 필터를 적용하지 않는 취지를 결정하고, 절환 정보에 상당하는 프래그, 즉 chroma_flag=0으로 설정한다(단계 S110).
그리고, chroma_flag=0의 경우에는 chroma_flag만을 색차 필터 정보로 하고, chroma_flag=1의 경우는 chroma_flag 및 단계 S106에서 설정한 필터 계수 정보를 색차 필터 정보로 한다.
한편, 취급하는 화상신호에, Y(휘도 신호), Cb(색차 신호), Cr(색차 신호)와 같이 색차 신호 컴퍼넌트가 복수 존재하는 경우, 색차 필터 정보는 어느 하나 이상에 대해 생성되는 것으로 한다. 또한, 복수의 색차 신호 컴퍼넌트에 대해 공통의 색차 필터 정보를 생성하여도 좋다.
마지막으로, 필터 정보 생성부(107)에서 생성된 필터 정보(17)는 엔트로피 부호화부(104)에서 부호화되고, 양자화 후의 변환계수(13), 예측 모드 정보, 블록 사이즈 절환 정보, 움직임 벡터, 양자화 파라미터 등과 더불어 비트스트림에 다중화 되어 뒤에 설명하는 동화상 복호화 장치(2000)로 향해 송신된다(단계 S111).
(신택스 구조에 대해)
여기서, 필터 정보(17)의 부호화 방법에 관해, 본 실시형태에서 이용하는 신택스 구조의 개략을 도 4를 참조해서 상세히 설명한다. 이하의 예에서는 필터 정보(17)를 슬라이스 단위로 송신하는 것으로 한다.
신택스는 주로 하이레벨 신택스(1900), 슬라이스 레벨 신택스(1903) 및 매크로 블록 레벨 신택스(1907)라는 3개의 파트로 이루어진다. 하이레벨 신택스(1900)는 슬라이스 이상의 상위 레이어의 신택스 정보가 담겨 있다. 슬라이스 레벨 신택스(1903)에서는 슬라이스마다 필요한 정보가 명기되어 있다. 매크로 블록 레벨 신택스(1907)에서는 매크로 블록마다 필요로 되는 변환계수 데이터나 예측 모드 정보, 움직임 벡터 등이 명기되어 있다.
하이레벨 신택스(1900), 슬라이스 레벨 신택스(1903) 및 매크로 블록 레벨 신택스(1907)는 각각 더욱 상세한 신택스로 구성된다. 하이레벨 신택스(1900)는 시퀀스 파라미터 세트 신택스(1901)와 픽쳐 파라미터 세트 신택스(1902) 등의 시퀀스, 픽쳐 레벨의 신택스로 구성되어 있다. 슬라이스 레벨 신택스(1903)는 슬라이스 헤더 신택스(1904), 슬라이스 데이터 신택스(1905), 루프 필터 데이터 신택스(1906) 등으로 이루어진다. 더욱이, 매크로 블록 레벨 신택스(1907)는 매크로 블록 레이어 신택스(1908), 매크로 블록 프레딕크션 신택스(1909) 등으로 구성되어 있다.
도 5에 도시된 바와 같이, 루프 필터 데이터 신택스(1906)에는 본 실시형태의 루프 필터에 관한 파라미터인 필터 정보(17)가 기술되어 있다. 여기서, 필터 정보(17)인 도 5의 luma_flag는 앞에서 설명한 바와 같이 휘도 신호에 대해 필터를 적용하는가의 여부를 나타내는 절환 정보이다. filter_coeff_luma[y][x]는 휘도 신호에 대한 2차원 필터의 계수이고, filter_size_y 및 filter_size_x는 휘도 신호에 대한 필터 사이즈를 결정하는 값이다. 또한, chroma_flag는 색차 신호에 대해 필터를 적용하는가의 여부를 나타내는 절환 정보, chroma_num는 색차 신호에 포함되는 컴퍼넌트수이다. chroma_flag는 색차 신호에 포함되는 각 컴퍼넌트에 대해 각각 부여하여도 좋다. filter_coeff_chroma[c][y][x]는 c번째의 색차 신호 컴퍼넌트에 대한 2차원 필터의 계수이고, filter_size_y_cr 및 filter_size_x_cr은 색차 신호에 대한 필터 사이즈를 결정하는 값이다. 단, 다른 실시형태로서, 이들 휘도 필터 및 색차 필터는 1차원 필터를 이용하여도 좋다. 또한, 여기서는 필터 사이즈를 나타내는 값을 신택스로 기술하고 있으나, 다른 실시형태로서 신택스로 기술하지 않고 미리 정한 고정의 값을 이용하여도 좋다. 이때, 도 5의 신택스는, 예컨대 도 6과 같이 변경된다. 단, 필터 사이즈를 고정 값으로 한 경우, 동화상 부호화 장치(1000) 및 뒤에 설명하는 동화상 복호화 장치(2000)에서 마찬가지의 값을 이용하지 않으면 안되는 것에 주의한다. 또한, 색차 신호에 대한 필터의 탭 길이는 휘도 신호에 대한 필터의 탭 길이와 색차 신호의 해상도 및 다이나믹 레인지 등의 특성으로부터 결정해도 좋다. 예컨대, YUV4:2:2나 YUV4:2:0이라고 한, 색차 신호에 있어서 해상도가 휘도 신호에서의 해상도와 비교해서 작은 화상을 취급하는 경우, 휘도 신호와 비교해서 색차 신호에서는 작은 탭 길이의 필터를 이용하는 등의 처리가 고려될 수 있다. 구체예로서, YUV4:2:0으로 고려될 수 있는 신택스를 도 7에 나타낸다. 도 7에서는 색차 신호의 해상도가 휘도 신호의 해상도에 대해 수평·수직과 더불어 반분이기 때문에, 색차 신호에 대한 필터의 탭 길이를 1/2로 하고 있다.
더욱이, 필터 계수에 대해서도 미리 정한 고정의 값을 이용하여도 좋다. 고정의 필터를 이용하는 경우, 복수의 필터로부터 선택할 수 있도록 하여도 좋고, 그 경우에 필터를 특정하기 위한 인덱스 정보를 부가하여도 좋다. 이때, 도 5의 신택스는, 예컨대 도 8와 같이 변경된다. 단, 도 8의 luma_fitler_idx 및 chroma_filter_idx[c]는 상기 필터를 특정하기 위한 인덱스 정보를 나타낸다.
한편, 상기한 바와 같이, 복수의 색차 컴퍼넌트에 대해 같은 필터 정보를 이용하여도 좋다. 예로서 모든 색차 컴퍼넌트에서 공통의 필터 계수를 이용하는 경우의 신택스를 도 9에 나타낸다.
또한, 본 실시형태에서는 색차 필터 정보를 반드시 부가하고 있으나, 다른 실시형태로서 휘도 신호에 대해 필터를 적용하는 경우만, 즉 휘도 필터 정보에 포함되는 절환 정보인 luma_flag=1의 경우만 색차 필터 정보를 부가하도록 하여도 좋다. 그 경우, 루프 필터 데이터 신택스는 도 5로부터, 예컨대 도 10과 같이 변경된다.
한편, 여기서는 슬라이스 단위로 필터를 적용하는가의 여부를 절환하는 것으로 하고, 필터 정보(17)를 송신하는 경우에 대해 설명하였으나, 다른 실시형태로서 시퀀스 레벨, 픽쳐 레벨, 매크로 블록 레벨에서 필터를 적용하는가의 여부를 절환하는 것으로 하고, 그와 같은 단위로 필터 정보를 설정해서 송신해도 좋다.
또한, 휘도 신호에 대해 소정의 영역 분할 정보에 의해 영역 분할을 수행하고, 영역마다 필터의 적용, 비적용을 절환하여도 좋다. 또는, 영역마다 다른 필터를 절환해서 적용하여도 좋다. 그 경우에는, 영역 분할 정보 및 영역마다의 절환 정보를 휘도 필터 정보에 부가한다. 이때, 색차 필터에 대해서도 같은 영역 분할 정보를 이용해서, 영역마다 필터의 적용, 비적용을 절환하여도 좋다. 또는, 영역마다 다른 필터를 절환해서 적용하여도 좋다. 영역 분할 정보로서는 화면을 블록 단위로 단락짓는 경우에는 블록 사이즈를, 화상처리에 의해 영역 분할을 수행하는 경우에는 주변 화소와의 절대치 차이분의 평균치, 주변 화소와의 절대치 차이분의 최대 값, 고역 통과 필터 처리 후의 값의 절대치, 필터 처리를 수행하는 것에 의한 화소값 변화의 절대치 등에 대한 임계치의 어느 하나 이상을 이용해도 좋다. 한편, 상기 영역 분할을 기초로 하는 처리는, 뒤에 설명하는 동화상 복호화 장치로 수행하여도 좋다.
(동화상 복호화 장치)
다음에, 도 1에 나타낸 동화상 부호화 장치(1000)에 대응하는 동화상 복호화 장치(2000)에 대해 설명한다. 도 11에 도시된 바와 같이, 동화상 복호화 장치(2000)는 엔트로피 복호화부(201), 역변환·역양자화부(202), 예측 신호 생성부(203), 가산기(204), 필터 처리부(205), 참조 화상용 버퍼(206)를 갖추고, 복호화 제어부(207)에 의해 제어된다.
엔트로피 복호화부(201)는 도 4에 나타나 있는 신택스 구조에 따라, 하이레벨 신택스, 슬라이스 레벨 신택스, 매크로 블록 레벨 신택스의 각각에 대해, 순차 부호화 데이터(14)의 각 신택스의 부호열이 복호되고, 양자화된 변환계수(13), 필터 정보(17) 등이 복원된다.
역변환·역양자화부(202)는 양자화된 변환계수(13)를 취득해서 역양자화하고, 역직교변환(예컨대, 역이산 코사인 변환 등)을 수행하며, 예측 오차 화상신호(15)를 출력한다. 여기서는, 동화상 부호화 장치(1000)에서 수행된 직교변환 및 양자화에 대응하는 역변환 및 역양자화가 수행된다. 예컨대, 동화상 부호화 장치(1000)에서 변환·양자화부(103)에 의해 웨이브 렛 변환 및 양자화가 수행되고 있는 경우, 역변환·역양자화부(202)는 대응하는 역웨이브 렛 변환 및 역양자화를 수행한다.
예측 신호 생성부(203)는 참조 화상용 버퍼(206)에 격납되어 있는 이미 복호화 완료의 참조 화상신호(18)를 취득해서 소정의 예측 처리를 수행하고, 예측 화상신호(11)를 출력한다. 상기 예측 처리는, 예컨대 움직임 보상에 의한 시간 방향의 예측이나, 화면 내의 이미 복호화 완료 화소로부터의 공간 방향의 예측 등을 이용해서 좋운데, 동화상 부호화 장치(1000)와 마찬가지의 예측 처리가 실행되는 것에 주의한다.
가산기(204)는 취득한 예측 오차 화상신호(15) 및 예측 화상신호(11)를 가산하고, 복호 화상신호(21)를 생성한다.
필터 처리부(205)는 복호 화상신호(21), 필터 정보(17)를 취득하고, 복원 화상신호(22)를 출력한다. 필터 처리부(205)에 대한 상세한 설명은 뒤에 설명한다.
참조 화상용 버퍼(206)는 필터 처리부(205)로부터 취득한 복원 화상신호(22)를 참조 화상신호로서 일시 보존한다. 참조 화상용 버퍼(206)에 보존한 참조 화상신호(18)는 예측 신호 생성부(203)에 의해 예측 화상신호(11)를 생성하는 경우에 참조된다.
복호화 제어부(207)는 복호화 타이밍의 제어 등을 수행하고, 복호화 전체의 제어를 수행한다.
다음에, 본 실시형태에 따른 동화상 복호화 장치(2000)에 있어서 필터 처리부(205)에 대해 상세히 설명한다. 도 12에 도시된 바와 같이, 필터 처리부(205)는 휘도 필터용 스위치(208), 휘도 필터 처리부(209), 색차 필터용 스위치(210) 및 색차 필터 처리부(211)을 갖는다.
휘도 필터 처리부(209)는 복호 화상신호(21)의 휘도 신호 및 필터 정보(17)의 휘도 필터 정보를 취득하고, 휘도 신호에 대해 필터를 적용한다. 색차 필터 처리부(211)는 복호 화상신호(21)의 색차 신호 및 필터 정보(17)의 색차 필터 정보를 취득하고, 색차 신호에 대해 필터를 적용한다.
휘도 필터용 스위치(208)는 휘도 필터 정보를 기초로 휘도 신호에 대한 필터의 적용·비적용을 절환하고, 복원 화상신호(22)의 휘도 신호를 결정한다. 색차 필터용 스위치(210)는 색차 필터 정보를 기초로 색차 신호에 대한 필터의 적용·비적용을 절환하고, 복원 화상신호(22)의 색차 신호를 결정한다. 복원 화상신호(22)는 출력 화상신호로서 복호화 제어부(207)가 관리하는 타이밍으로 출력된다.
본 실시형태에 따른 동화상 복호화 장치(2000)의 개략적인 처리에 대해 설명한다. 이하에 도시한 일련의 복호화 처리는 예측 처리와 변환처리를 수행하는, 소위 하이브리드 부호화로 칭해지는 동화상 부호화에서의 일반적인 복호화 처리이다.
먼저, 도 11의 동화상 복호화 장치(2000)에 부호화 데이터(14)가 입력되면, 엔트로피 복호화부(201)에 의해 변환계수(13), 필터 정보(17)에 부가하여, 예측 모드 정보, 블록 사이즈 절환 정보, 움직임 벡터, 양자화 파라미터 등이 도 4의 신택스 구조에 따라 복호된다. 다음에, 엔트로피 복호화부(201)에 의해 복호된 변환계수(13)는 역변환·역양자화부(202)로 입력되어, 복호화 제어부(207)에서 설정되어 있는 양자화 파라미터에 따라 역양자화 되고, 얻어진 변환계수에 대해 역직교변환(예컨대, 이산 코사인 변환 등)을 수행하여, 예측 오차 화상신호(15)를 복원한다. 예측 오차 화상신호(15)는 예측 신호 생성부(203)에 의해 출력된 예측 화상신호(11)와 가산기(204)에서 가산되고, 복호 화상신호(21)가 생성된다.
여기서, 본 실시형태에 따른 동화상 복호화 장치(2000)에서의 특징적인 처리인 필터 처리부(205)의 동작에 대해, 도 12 및 도 13을 이용해서 상세히 설명한다.
먼저, 엔트로피 복호화부(201)는 도 4의 신택스 구조에 따라 필터 정보(17)를 엔트로피 복호화 한다(단계 S101). 도 4의 신택스 구조에 있어서 슬라이스 레벨 신택스(1903)에 속하는 루프 필터 데이터 신택스(1906) 내에는 도 5에 도시된 바와 같이 본 실시형태의 루프 필터에 관한 파라미터인 필터 정보(17)가 기술되어 있다.
필터 정보(17)에 있어서 휘도 필터 정보는 휘도 필터용 스위치(208)에 입력된다. 이때, 휘도 신호에 대한 필터의 절환 정보를 나타내는 luma_flag=0인 경우, 휘도 신호에 대해 필터를 적용하지 않고, 복호 화상(21)의 휘도 신호를 복원 화상(22)의 휘도 신호로 한다. 한편, luma_flag=1인 경우, 휘도 필터 처리부(209)는 휘도 필터 정보를 기초로 휘도 신호에 대해 필터를 적용하고, 복원 화상(22)의 휘도 신호를 생성한다(단계 S103∼S106).
필터 정보(17)에 있어서 색차 필터 정보는 색차 필터용 스위치(210)에 입력된다. 이때, 색차 신호에 대한 필터의 절환 정보를 나타내는 chroma_flag=0인 경우, 색차 신호에 대해 필터를 적용하지 않고, 복호 화상(21)의 색차 신호를 복원 화상(22)의 색차 신호로 한다. 한편, chroma_flag=1인 경우, 색차 필터 처리부(209)는 색차 필터 정보를 기초로 색차 신호에 대해 필터를 적용하고, 복원 화상(22)의 색차 신호를 생성한다(단계 S105∼S107).
복원 화상신호(22)는 출력 화상신호로서 출력된다.
이상 설명한 바와 같이, 본 실시형태에 따른 동화상 부호화 장치에 의하면, 입력 화상과의 오차가 최소로 되도록 필터 정보를 설정하고, 그와 같은 필터가 적응적으로 적용되도록 하면서 출력 화상의 화질을 향상시킬 수 있게 된다. 즉, 휘도 신호 및 색차 신호 각각에 대해 필터를 적용하는가의 여부의 절환 정보를 이용함으로써, 각각의 신호에서 최적의 필터링이 가능하게 된다.
한편, 본 실시형태에 따른 동화상 부호화 장치(1000) 및 동화상 복호화 장치(2000)에서는 국소 복호 화상신호(16)에 대해 필터 처리를 수행하고 있지만, 국소 복호 화상신호(16)로서 종래의 디블록킹 필터 처리를 실시한 후의 화상을 이용하여도 좋다.
또한, 본 실시형태에 따른 동화상 부호화 장치(1000) 및 동화상 복호화 장치(2000)에서는 본 발명에 따른 처리를 포스트 필터로서 적용한 경우에 대해 설명하였으나, 다른 실시형태로서 본 발명에 따른 처리를 루프 필터로서 적용하는 것도 가능하고, 필터 적용 후의 복원 화상(22)을 참조 화상으로 하여도 좋다. 그 경우, 도 1의 동화상 부호화 장치(1000)는 도 14의 동화상 부호화 장치(3000)로 변경된다. 또한, 도 11의 동화상 복호화 장치(2000)는 도 15의 동화상 복호화 장치(4000)로 변경된다.
동화상 부호화 장치(3000)는 동화상 부호화 장치(1000)에 필터 처리부(205)를 부가하고, 참조 화상용 버퍼(108)로의 입력을 가산기(106)로부터 출력되는 국소 복호 화상(16)에서 필터 처리부(205)에 의해 출력되는 복원 화상신호(22)로 변경하는 것에 의해 실현된다.
또한, 동화상 복호화 장치(4000)는 참조 화상용 버퍼(206)로의 입력을 가산기(204)로부터 출력되는 복호 화상신호(21)에서 필터 처리부(205)에 의해 출력되는 복원 화상신호(22)로 변경하는 것으로 실현할 수가 있다.
상기와 같이 필터 적용 후의 화상을 참조 화상으로 이용함으로써, 그 이후의 예측의 고정밀도화가 가능하게 되어 부호화 효율이 향상된다.
또한, 또 다른 실시형태로서, 본 발명에 따라 필터 처리한 복호 화상(22)을 참조 화상으로만 이용하고, 출력 화상으로는 통상적인 복호 화상(21)을 이용하여도 좋다. 그 경우, 동화상 부호화 장치는 동화상 부호화 장치(3000)를 이용해서 좋고, 동화상 복호화 장치는 도 16에 나타낸 동화상 복호화 장치(5000)로 변경된다.
도 16의 동화상 복호화 장치(5000)는 도 15의 동화상 복호화 장치(4000)에서의 출력 화상신호를 복원 화상(22)에서 복호 화상(21)으로 변경하는 것에 의해 실현된다.
한편, 동화상 부호화 장치(1000), 동화상 복호화 장치(2000), 동화상 부호화 장치(3000), 동화상 복호화 장치(4000) 및 동화상 복호화 장치(5000)는, 예컨대 범용의 컴퓨터 장치를 기본 하드웨어로서 이용하는 것으로도 실현할 수가 있게 된다. 즉, 예측 신호 생성부(101), 감산기(102), 변환·양자화부(103), 엔트로피 부호화부(104), 역변환·역양자화부(105), 가산기(106), 필터 정보 생성부(107), 참조 화상용 버퍼(108), 부호화 제어부(109), 휘도 필터 정보 생성부(110), 색차 필터 정보 생성부(111), 엔트로피 복호화부(201), 역변환·역양자화부(202), 예측 신호 생성부(203), 가산기(204), 필터 처리 부(205), 참조 화상용 버퍼(206), 복호화 제어부(207), 휘도 필터용 스위치(208), 휘도 필터 처리부(209), 색차 필터용 스위치 (210) 및 색차 필터 처리부(211)는 상기 컴퓨터 장치에 답재된 프로세서에 프로그램을 실행시키는 것에 의해 실현할 수가 있게 된다.
이때, 동화상 부호화 장치(1000), 동화상 복호화 장치(2000), 동화상 부호화 장치(3000), 동화상 복호화 장치(4000) 및 동화상 복호화 장치(5000)는 상기 프로그램을 컴퓨터 장치에 미리 인스톨함으로써 실현하여도 좋고, CD-ROM 등의 기억 매체에 기억시키서, 또는 네트워크를 매개로 상기 프로그램을 배포해서, 이 프로그램을 컴퓨터 장치에 적절히 인스톨함으로써 실현하여도 좋다. 또한, 참조 화상용 버퍼(108) 및 참조 화상용 버퍼(206)는 상기 컴퓨터 장치에 내장 또는 외부 부착된 메모리, 하드디스크 또는 CD-R, CD-RW, DVD-RAM, DVD-R 등의 기억 매체 등을 적절히 이용해서 실현할 수가 있게 된다.
한편, 본 발명은 상기 실시형태 그대로 한정되는 것은 아니고, 실시 단계에서는 그 요지를 벗어나지 않는 범위에서 구성요소를 변형해서 구체화할 수 있다. 또한, 상기 실시형태에 개시되어 있는 복수의 구성요소의 적절한 조합에 의해 여러 가지 발명을 형성할 수가 있다. 예컨대, 실시형태에 도시되는 전체 구성요소로부터 몇 개의 구성요소를 삭제하여도 좋다. 더욱이, 다른 실시형태에 걸치는 구성요소를 적절히 조합해도 좋다.
Claims (19)
- 입력되는 동화상과 예측 화상과의 차이분을 취해 예측 오차 화상을 생성하는 예측 오차 생성부와,
상기 예측 오차 화상에 대해 변환 및 양자화를 수행해서 양자화 변환계수 를 생성하는 변환·양자화부와,
상기 동화상 중 부호화 완료 화상에 대응하는 국소 복호 화상의 휘도 신호에 대해 휘도 필터를 적용하는가의 여부를 나타내는 절환 정보를 포함하는 휘도 필터 정보를 생성하는 휘도 필터 정보 생성부와,
상기 동화상 중 부호화 완료 화상에 대응하는 국소 복호 화상의 색차 신호에 대해 색차 필터를 적용하는가의 여부를 나타내는 절환 정보를 포함하는 색차 필터 정보를 생성하는 색차 필터 정보 생성부와,
상기 휘도 필터 정보 및 색차 필터 정보의 적어도 한쪽을 포함하는 필터 정보와 상기 양자화 변환계수를 부호화하고, 부호화 데이터를 출력하는 부호화부를 구비하여 구성된 것을 특징으로 하는 동화상 부호화 장치.
- 제1항에 있어서,
상기 국소 복호 화상의 휘도 신호에 대해 상기 휘도 필터 정보를 기초로 상기 휘도 필터를 적용해서 복원 화상의 휘도 신호를 생성하는 휘도 필터 처리부와,
상기 국소 복호 화상의 색차 신호에 대해 상기 색차 필터 정보를 기초로 상기 색차 필터를 적용해서 상기 복원 화상의 색차 신호를 생성하는 색차 필터 처리부와,
상기 복원 화상을 참조 화상으로 이용해서 상기 예측 화상을 생성하는 예측 화상 생성부를 더 구비하여 구성된 것을 특징으로 하는 동화상 부호화 장치.
- 제1항에 있어서,
상기 필터 정보는, 필터 계수 정보를 더 포함하고,
상기 필터 계수 정보로서 복호화 측에서의 복호 화상의 휘도 신호 및 색차 신호에 대한 필터 계수를 설정하는 필터 정보 생성부를 더 구비하여 구성된 것을 특징으로 하는 동화상 부호화 장치.
- 제1항에 있어서,
상기 색차 필터 정보는 상기 휘도 필터가 적용되는 경우에만 상기 필터 정보에 포함되는 것을 특징으로 하는 동화상 부호화 장치.
- 제1항에 있어서,
상기 색차 필터에서의 필터 탭 길이는 상기 휘도 필터의 탭 길이 이하인 것을 특징으로 하는 동화상 부호화 장치.
- 제1항에 있어서,
상기 색차 필터에서의 필터 탭 길이는 부호화 대상인 동화상의 색차 신호의 해상도 및 다이나믹 레인지를 포함하는 특성에 따라 변경되는 것을 특징으로 하는 동화상 부호화 장치.
- 제1항에 있어서,
상기 색차 필터 정보를 복수의 색차 신호 컴퍼넌트에서 공통으로 이용하는 것을 특징으로 하는 동화상 부호화 장치.
- 제2항에 있어서,
상기 휘도 신호에 대해 소정의 영역 분할 정보에 의해 영역 분할을 실시해서 분할 영역을 구하고, 상기 분할 영역마다 상기 휘도 필터를 적용하는가의 여부를 절환하고, 또는 상기 분할 영역마다 다른 휘도 필터로 절환하는 휘도 필터 처리부와,
상기 휘도 신호와 동일한 영역 분할 정보에 의해 상기 색차 신호에 대해 영역 분할을 수행해서 분할 영역을 구하고, 상기 휘도 신호와 동일한 분할 영역마다 상기 색차 필터를 적용하는가의 여부를 절환하고, 또는 상기 분할 영역마다 다른 색차 필터로 절환하는 색차 필터 처리부를 더 구비하여 구성된 것을 특징으로 하는 동화상 부호화 장치.
- 입력되는 동화상과 예측 화상과의 차이분을 취해 예측 오차 화상을 생성하는 단계와,
상기 예측 오차 화상에 대해 변환 및 양자화를 수행해서 양자화 변환계수를 생성하는 단계와,
상기 동화상 중 부호화 완료 화상에 대응하는 국소 복호 화상의 휘도 신호에 대해 휘도 필터를 적용하는가의 여부를 나타내는 절환 정보를 포함하는 휘도 필터 정보를 생성하는 단계와,
상기 동화상 중 부호화 완료 화상에 대응하는 국소 복호 화상의 색차 신호에 대해 색차 필터를 적용하는가의 여부를 나타내는 절환 정보를 포함하는 색차 필터 정보를 생성하는 단계와,
상기 휘도 필터 정보 및 색차 필터 정보의 적어도 한쪽을 포함하는 필터 정보와 상기 양자화 변환계수를 부호화하고, 부호화 데이터를 출력하는 단계를 갖추어 이루어진 것을 특징으로 하는 동화상 부호화 방법.
- 입력되는 부호화 데이터를 복호화해서 양자화 변환계수 및 필터 정보를 생성하는 복호화부와,
상기 양자화 변환계수에 대해 역양자화 및 역변환을 수행해서 예측 오차 화상을 생성하는 역변환·역양자화부와,
상기 예측 오차 화상과 예측 화상을 이용해서 복호 화상을 생성하는 복호 화상 생성부와,
상기 복호 화상의 휘도 신호에 대해 상기 휘도 필터 정보를 기초로 휘도 필터를 적용해서 복원 화상의 휘도 신호를 생성하는 휘도 필터 처리부와,
상기 복호 화상의 색차 신호에 대해 상기 색차 필터 정보를 기초로 색차 필터를 적용해서 상기 복원 화상의 색차 신호를 생성하는 색차 필터 처리부를 구비하여 구성된 것을 특징으로 하는 동화상 복호화 장치.
- 제10항에 있어서,
상기 복원 화상을 출력 화상으로서 출력하는 출력부를 더 구비하여 구성된 것을 특징으로 하는 동화상 복호화 장치.
- 제10항에 있어서,
상기 복원 화상을 참조 화상으로 이용해서 상기 예측 화상을 생성하는 것을 특징으로 하는 동화상 복호화 장치.
- 제10항에 있어서,
상기 필터 정보는 필터 계수 정보를 더 포함하는 것을 특징으로 하는 동화상 복호화 장치.
- 제10항에 있어서,
상기 색차 필터 정보는 상기 휘도 필터가 적용되는 경우에만 상기 필터 정보에 포함되는 것을 특징으로 하는 동화상 복호화 장치.
- 제10항에 있어서,
상기 색차 필터에서의 필터 탭 길이는 상기 휘도 필터의 탭 길이 이하인 것을 특징으로 하는 동화상 복호화 장치.
- 제10항에 있어서,
상기 색차 필터에서의 필터 탭 길이는 부호화 대상인 동화상의 색차 신호의 해상도 및 다이나믹 레인지를 포함하는 특성에 따라 변경되는 것을 특징으로 하는 동화상 복호화 장치.
- 제10항에 있어서,
상기 색차 필터 정보를 복수의 색차 신호 컴퍼넌트에서 공통으로 이용하는 것을 특징으로 하는 동화상 복호화 장치.
- 제10항에 있어서,
상기 휘도 필터 처리부는 상기 휘도 신호에 대해 소정의 영역 분할 정보 에 의해 영역 분할을 실시해서 분할 영역을 구하고, 상기 분할 영역마다 상기 휘도 필터를 적용하는가의 여부를 절환하고, 또는 상기 분할 영역마다 다른 휘도 필터로 절환하고,
상기 색차 필터 처리부는 상기 휘도 신호와 동일한 영역 분할 정보에 의해 상기 색차 신호에 대해 영역 분할을 실시해서 분할 영역을 구하고, 상기 휘도 신호와 동일한 분할 영역마다 상기 색차 필터를 적용하는가의 여부를 절환하고, 또는 상기 휘도 신호와 동일한 분할 영역마다 다른 색차 필터로 절환하는 것을 특징으로 하는 동화상 복호화 장치.
- 입력되는 부호화 데이터를 복호화해서 양자화 변환계수 및 필터 정보를 생성하는 단계와,
상기 양자화 변환계수에 대해 역양자화 및 역변환을 수행해서 예측 오차 화상을 생성하는 단계와,
상기 예측 오차 화상과 예측 화상을 이용해서 복호 화상을 생성하는 단계와,
상기 복호 화상의 휘도 신호에 대해 상기 휘도 필터 정보를 기초로 휘도 필터를 적용해서 복원 화상의 휘도 신호를 생성하는 단계와,
상기 복호 화상의 색차 신호에 대해 상기 색차 필터 정보를 기초로 색차 필터를 적용해서 상기 복원 화상의 색차 신호를 생성하는 단계를 갖추어 이루어진 것을 특징으로 하는 동화상 복호화 방법.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JPJP-P-2008-175854 | 2008-07-04 | ||
| JP2008175854 | 2008-07-04 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020127016112A Division KR20120079180A (ko) | 2008-07-04 | 2009-07-03 | 동화상 복호화 방법 및 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20100133006A true KR20100133006A (ko) | 2010-12-20 |
Family
ID=41466089
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020107025257A KR20100133006A (ko) | 2008-07-04 | 2009-07-03 | 동화상 부호화/복호화 방법 및 장치 |
| KR1020127016112A KR20120079180A (ko) | 2008-07-04 | 2009-07-03 | 동화상 복호화 방법 및 장치 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020127016112A KR20120079180A (ko) | 2008-07-04 | 2009-07-03 | 동화상 복호화 방법 및 장치 |
Country Status (12)
| Country | Link |
|---|---|
| US (1) | US20110150080A1 (ko) |
| EP (1) | EP2299720A1 (ko) |
| JP (1) | JPWO2010001999A1 (ko) |
| KR (2) | KR20100133006A (ko) |
| CN (1) | CN102057680A (ko) |
| AU (1) | AU2009266719A1 (ko) |
| BR (1) | BRPI0915591A2 (ko) |
| CA (1) | CA2729771A1 (ko) |
| MX (1) | MX2010014289A (ko) |
| RU (1) | RU2011103915A (ko) |
| WO (1) | WO2010001999A1 (ko) |
| ZA (1) | ZA201100316B (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150075382A (ko) * | 2013-12-25 | 2015-07-03 | 삼성전자주식회사 | 영상을 부호화하는 방법, 장치, 프로그램 및 영상을 복호화하는 방법, 장치, 프로그램 및 영상 처리 시스템 |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5597968B2 (ja) | 2009-07-01 | 2014-10-01 | ソニー株式会社 | 画像処理装置および方法、プログラム、並びに記録媒体 |
| WO2011089865A1 (ja) * | 2010-01-21 | 2011-07-28 | パナソニック株式会社 | 画像符号化方法、画像復号方法、それらの装置、プログラムおよび集積回路 |
| EP2375747B1 (en) | 2010-04-12 | 2019-03-13 | Sun Patent Trust | Filter positioning and selection |
| WO2012008011A1 (ja) * | 2010-07-12 | 2012-01-19 | 株式会社 東芝 | 動画像符号化方法及び復号方法 |
| SG2014007454A (en) * | 2010-08-13 | 2014-07-30 | Somalogic Inc | Pancreatic cancer biomarkers and uses thereof |
| PT2860980T (pt) * | 2010-09-30 | 2017-07-12 | Samsung Electronics Co Ltd | Método e dispositivo para interpolação de imagens usando um filtro de interpolação de suavização |
| WO2012118359A2 (ko) | 2011-03-03 | 2012-09-07 | 한국전자통신연구원 | 색차 성분 양자화 매개 변수 결정 방법 및 이러한 방법을 사용하는 장치 |
| US9363509B2 (en) * | 2011-03-03 | 2016-06-07 | Electronics And Telecommunications Research Institute | Method for determining color difference component quantization parameter and device using the method |
| JP2014099672A (ja) * | 2011-03-09 | 2014-05-29 | Sharp Corp | 復号装置、符号化装置、および、データ構造 |
| JP5907367B2 (ja) * | 2011-06-28 | 2016-04-26 | ソニー株式会社 | 画像処理装置および方法、プログラム、並びに記録媒体 |
| PL2739053T3 (pl) | 2011-07-29 | 2020-04-30 | Sun Patent Trust | Sposób dekodowania wideo, urządzenie do dekodowania wideo |
| US9807403B2 (en) * | 2011-10-21 | 2017-10-31 | Qualcomm Incorporated | Adaptive loop filtering for chroma components |
| TWI595776B (zh) * | 2012-06-27 | 2017-08-11 | Sony Corp | Image processing device and method |
| JP6125215B2 (ja) | 2012-09-21 | 2017-05-10 | 株式会社東芝 | 復号装置、及び符号化装置 |
| CN109327704B (zh) * | 2012-09-28 | 2021-06-18 | 交互数字麦迪逊专利控股公司 | 用于视频译码中的色度信号增强的交叉平面滤波 |
| JP6324016B2 (ja) | 2012-12-28 | 2018-05-16 | キヤノン株式会社 | 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム |
| CN107534769B (zh) | 2015-04-17 | 2021-08-03 | 交互数字麦迪逊专利控股公司 | 用于高动态范围视频译码的色度增强滤波 |
| KR102741824B1 (ko) | 2015-07-08 | 2024-12-11 | 인터디지털 매디슨 페턴트 홀딩스 에스에이에스 | 교차 평면 필터링을 이용한 향상된 크로마 코딩 |
| JP6094838B2 (ja) * | 2015-08-31 | 2017-03-15 | ソニー株式会社 | 画像処理装置および方法、プログラム、並びに記録媒体 |
| CN110100437B (zh) * | 2016-12-23 | 2020-09-08 | 华为技术有限公司 | 用于有损视频编码的混合域协作环路滤波器 |
| KR101974138B1 (ko) * | 2018-03-12 | 2019-04-30 | 삼성전자주식회사 | 픽셀 그룹별 픽셀값 보상을 위한 비디오 부호화 방법과 그 장치, 및 픽셀 그룹별 픽셀값 보상을 위한 비디오 복호화 방법과 그 장치 |
| EP3793195A4 (en) * | 2018-05-10 | 2022-03-30 | Samsung Electronics Co., Ltd. | PICTURE CODING METHOD AND APPARATUS, AND PICTURE DECODING METHOD AND APPARATUS |
| JP6811931B2 (ja) * | 2019-06-20 | 2021-01-13 | Kddi株式会社 | 画像復号装置、画像復号方法及びプログラム |
| EP4050896B1 (en) * | 2019-12-12 | 2024-06-12 | Sony Group Corporation | Image processing device and method |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6259479B1 (en) * | 1997-09-17 | 2001-07-10 | Sony Corporation | Letterbox filter apparatus and method |
| JP2004343451A (ja) * | 2003-05-15 | 2004-12-02 | Matsushita Electric Ind Co Ltd | 動画像復号化方法および動画像復号化装置 |
| KR100995445B1 (ko) * | 2003-08-19 | 2010-11-18 | 파나소닉 주식회사 | 동영상 부호화 방법 및 동영상 복호화 방법 |
| JP2005020771A (ja) * | 2004-08-09 | 2005-01-20 | Toshiba Corp | 動画像復号化装置および動画像復号化方法 |
| US20080130740A1 (en) * | 2005-09-20 | 2008-06-05 | Mitsubishi Electric Corporation | Image encoding method and image decoding method, image encoder and image decoder, and image encoded bit stream and recording medium |
| WO2007094329A1 (ja) * | 2006-02-15 | 2007-08-23 | Nec Corporation | 動画像処理装置、動画像処理方法、および動画像処理プログラム |
| EP2001239B1 (en) * | 2006-03-27 | 2017-09-13 | Sun Patent Trust | Picture coding apparatus and picture decoding apparatus |
| BRPI0907753A2 (pt) * | 2008-03-07 | 2015-07-21 | Toshiba Kk | Aparelho de codificação/decodificação de vídeo |
-
2009
- 2009-07-03 AU AU2009266719A patent/AU2009266719A1/en not_active Abandoned
- 2009-07-03 CN CN2009801212669A patent/CN102057680A/zh active Pending
- 2009-07-03 CA CA2729771A patent/CA2729771A1/en not_active Abandoned
- 2009-07-03 BR BRPI0915591A patent/BRPI0915591A2/pt not_active IP Right Cessation
- 2009-07-03 KR KR1020107025257A patent/KR20100133006A/ko active IP Right Grant
- 2009-07-03 MX MX2010014289A patent/MX2010014289A/es not_active Application Discontinuation
- 2009-07-03 JP JP2010519122A patent/JPWO2010001999A1/ja active Pending
- 2009-07-03 WO PCT/JP2009/062216 patent/WO2010001999A1/ja active Application Filing
- 2009-07-03 EP EP09773577A patent/EP2299720A1/en not_active Withdrawn
- 2009-07-03 KR KR1020127016112A patent/KR20120079180A/ko not_active Application Discontinuation
- 2009-07-03 RU RU2011103915/07A patent/RU2011103915A/ru not_active Application Discontinuation
-
2011
- 2011-01-03 US US12/983,691 patent/US20110150080A1/en not_active Abandoned
- 2011-01-12 ZA ZA2011/00316A patent/ZA201100316B/en unknown
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150075382A (ko) * | 2013-12-25 | 2015-07-03 | 삼성전자주식회사 | 영상을 부호화하는 방법, 장치, 프로그램 및 영상을 복호화하는 방법, 장치, 프로그램 및 영상 처리 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| AU2009266719A1 (en) | 2010-01-07 |
| JPWO2010001999A1 (ja) | 2011-12-22 |
| ZA201100316B (en) | 2011-10-26 |
| CA2729771A1 (en) | 2010-01-07 |
| WO2010001999A1 (ja) | 2010-01-07 |
| MX2010014289A (es) | 2011-01-21 |
| US20110150080A1 (en) | 2011-06-23 |
| RU2011103915A (ru) | 2012-08-10 |
| CN102057680A (zh) | 2011-05-11 |
| EP2299720A1 (en) | 2011-03-23 |
| KR20120079180A (ko) | 2012-07-11 |
| BRPI0915591A2 (pt) | 2016-08-02 |
| AU2009266719A2 (en) | 2011-02-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20100133006A (ko) | 동화상 부호화/복호화 방법 및 장치 | |
| JP6316487B2 (ja) | エンコーダ、デコーダ、方法、及びプログラム | |
| JP6371799B2 (ja) | 映像符号化方法 | |
| KR102062568B1 (ko) | 평면 표현을 이용한 향상된 인트라-예측 부호화 | |
| EP2324638B1 (en) | System and method for video encoding using adaptive loop filter | |
| WO2018061588A1 (ja) | 画像符号化装置、画像符号化方法、及び画像符号化プログラム、並びに、画像復号装置、画像復号方法、及び画像復号プログラム | |
| KR101246294B1 (ko) | 영상의 인트라 예측 부호화, 복호화 방법 및 장치 | |
| KR101757947B1 (ko) | 비디오 인코딩 및 디코딩에서의 크로마 성분에 대한 예측 픽셀의 적응성 필터링을 위한 방법 및 장치 | |
| KR102024516B1 (ko) | 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법 및 기억 매체 | |
| US20100322303A1 (en) | Video encoding/decoding method and apparatus | |
| US20100118945A1 (en) | Method and apparatus for video encoding and decoding | |
| KR102323427B1 (ko) | 영상 부호화 방법 및 장치 | |
| US20130121407A1 (en) | Video encoding device and video decoding device | |
| JP2013524669A (ja) | 高効率な動画像符号化のためのスーパーブロック | |
| KR101394209B1 (ko) | 영상의 인트라 예측 부호화 방법 | |
| KR20090097688A (ko) | 영상의 인트라 예측 부호화/복호화 방법 및 장치 | |
| KR101530774B1 (ko) | 영상 부호화 및 복호화 방법, 장치 및 시스템 | |
| WO2009133845A1 (ja) | 動画像符号化／復号化装置及び方法 | |
| KR100738075B1 (ko) | 영상 부호화/복호화 장치 및 방법 | |
| KR102505364B1 (ko) | 복호 장치, 프로그램, 및 복호 방법 | |
| KR20180041833A (ko) | 화면 내 예측에 대한 참조 모드 리스트를 사용하는 비디오 코딩 방법 및 장치 | |
| KR20150070845A (ko) | 영상의 복호화/부호화 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| PA0105 | International application |
Patent event date: 20101110 Patent event code: PA01051R01D Comment text: International Patent Application |
|
| PA0201 | Request for examination | ||
| PG1501 | Laying open of application | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20120424 Patent event code: PE09021S01D |
|
| A107 | Divisional application of patent | ||
| PA0104 | Divisional application for international application |
Comment text: Divisional Application for International Patent Patent event code: PA01041R01D Patent event date: 20120621 |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20120917 |
|
| NORF | Unpaid initial registration fee | ||
| PC1904 | Unpaid initial registration fee |