TW201840184A - 編碼裝置、解碼裝置、編碼方法及解碼方法 - Google Patents

Abstract

本發明的編碼裝置實現進一步的改善，其具備處理電路及記憶體，處理電路利用該記憶體，於分別由複數個像素組成的各區塊，利用基底來將該區塊轉換成由複數個轉換係數組成的區塊，於由該複數個轉換係數組成的各區塊，藉由對該區塊至少進行反轉換，來重構成由複數個像素組成的區塊，並根據經重構之相互鄰接的2個區塊各自在轉換中所用的基底組合，來決定相對於該2個區塊的邊界的濾波特性，進行具有已決定的濾波特性的去區塊濾波處理。

Description

編碼裝置、解碼裝置、編碼方法及解碼方法

發明領域 本發明是關於一種編碼裝置、解碼裝置、編碼方法及解碼方法。

發明背景 稱為HEVC（High-Efficiency Video Coding(高效率視訊編碼)）的影像編碼標準規格是由JCT-VC(Joint Collaborative Team on Video Coding(視訊編碼聯合工作小組))標準化。 先行技術文獻

非專利文獻 [非專利文獻1]H.265(ISO/IEC 23008-2 HEVC(High Efficiency Video Coding))

發明概要 發明欲解決之課題 該類編碼及解碼技術尋求進一步的改善。

因此，本發明之目的在於提供一種可實現進一步的改善的編碼裝置、解碼裝置、編碼方法及解碼方法。

用以解決課題之手段 本發明的一態樣的編碼裝置具備處理電路及記憶體，前述處理電路利用前述記憶體，於分別由複數個像素組成的各區塊，利用基底來將該區塊轉換成由複數個轉換係數組成的區塊，於由前述複數個轉換係數組成的各區塊，藉由對該區塊至少進行反轉換，來重構成由複數個像素組成的區塊，並根據經重構之相互鄰接的2個區塊各自在轉換中所用的基底組合，來決定相對於前述2個區塊的邊界的濾波特性，進行具有已決定的前述濾波特性的去區塊濾波處理。

本發明的一態樣的解碼裝置具備處理電路及記憶體，前述處理電路利用前述記憶體，於利用基底的轉換所獲得之由複數個轉換係數組成的各區塊，藉由對該區塊至少進行反轉換，來重構成由複數個像素組成的區塊，並根據經重構之相互鄰接的2個區塊各自在轉換中所用的基底組合，來決定相對於前述2個區塊的邊界的濾波特性，進行具有已決定的前述濾波特性的去區塊濾波處理。

再者，該等全面或具體的態樣亦得以系統、方法、積體電路、電腦程式、或電腦可讀取CD-ROM等記錄媒體來實現，或以系統、方法、積體電路、電腦程式、及記錄媒體的任意組合來實現。

發明效果 本發明可提供一種能實現進一步的改善的編碼裝置、解碼裝置、編碼方法及解碼方法。

用以實施發明之形態 本發明的一態樣的編碼裝置具備處理電路及記憶體，前述處理電路利用前述記憶體，於分別由複數個像素組成的各區塊，利用基底來將該區塊轉換成由複數個轉換係數組成的區塊，於由前述複數個轉換係數組成的各區塊，藉由對該區塊至少進行反轉換，來重構成由複數個像素組成的區塊，並根據經重構之相互鄰接的2個區塊各自在轉換中所用的基底組合，來決定相對於前述2個區塊的邊界的濾波特性，進行具有已決定的前述濾波特性的去區塊濾波處理。

依據相互鄰接的2個區塊在轉換中所用的基底組合，該2個區塊的邊界附近的誤差分布會不同。例如由於2個區塊的轉換，有時在2個區塊中之一區塊的邊界附近產生大的誤差，在另一區塊的邊界附近產生小的誤差。再者，該誤差為原圖像或輸入圖像與重構圖像的像素值的差。該情況下，若進行具有相對於該邊界呈對稱之濾波特性的去區塊濾波處理，則誤差小的像素值可能大幅受到誤差大的像素值的影響。總言之，可能無法充分抑制誤差。因此，於本發明的一態樣的編碼裝置，是根據經重構之相互鄰接的2個區塊各自在轉換中所用的基底組合，來決定相對於該2個區塊的邊界的濾波特性。藉此，例如可對該邊界決定非對稱的濾波特性。其結果，即使如上述，誤差在2個區塊的邊界附近有差異時，藉由進行具有非對稱之濾波特性的去區塊濾波處理，仍可提高抑制該誤差的可能性。

又，前述處理電路亦可在前述濾波特性的決定中，若像素位於區塊的轉換所用之基底的振幅越大的位置，則對該像素決定越小的濾波係數，來作為前述濾波特性。

例如像素位於基底的振幅越大的位置，該像素的像素值越可能具有大誤差。於本發明的一態樣的編碼裝置，是對具有該大誤差的像素值的像素決定小的濾波係數。因此，藉由具有該類濾波係數的去區塊濾波處理，可更加抑制該誤差大的像素值對誤差小的像素值帶來的影響。總言之，可更提高抑制誤差的可能性。

又，前述基底的振幅亦可為0維基底的振幅。

越低維的基底，對誤差帶來的影響越大。因此，像素位於0維基底的振幅越大的位置，就對該像素決定越小的濾波係數，藉此可進一步提高抑制誤差的可能性。

又，亦可是，前述2個區塊由第1區塊、及位於前述第1區塊的右側或下側的第2區塊所構成，前述處理電路亦可在前述濾波特性的決定中，當前述第1區塊的轉換所用之基底為第1基底，前述第2區塊的轉換所用之基底為第2基底時，根據前述第1基底及前述第2基底，分別決定相對於位在前述第1區塊內的前述邊界附近的像素之第1濾波係數，及相對於位在前述第2區塊內的前述邊界附近的像素之第2濾波係數，來作為前述濾波特性。例如前述處理電路亦可在前述濾波特性的決定中，當前述第1基底及前述第2基底為DST(Discrete Sine Transforms(離散正弦轉換))-VII時，將大於前述第1濾波係數的前述第2濾波係數決定為前述濾波特性。

第1基底及第2基底為DST-VII時，極可能在第1區塊的邊界附近誤差大，在第2區塊的邊界附近誤差小。因此，該情況下，藉由決定大於第1濾波係數的第2濾波係數，並進行具有該等第1及第2濾波係數的去區塊濾波處理，可提高適當抑制該邊界附近的誤差的可能性。

又，前述處理電路亦可在前述濾波特性的決定中，當前述第1基底及前述第2基底為DCT(Discrete Cosine Transforms(離散餘弦轉換))-II時，將與前述第1濾波係數相等的前述第2濾波係數決定為前述濾波特性。

第1基底及第2基底為DCT-II時，在第1區塊的邊界附近與第2區塊的邊界附近，誤差極可能相等。因此，該情況下，藉由決定與第1濾波係數相等的第2濾波係數，並進行具有該等第1及第2濾波係數的去區塊濾波處理，可提高適當抑制該邊界附近的誤差的可能性。

又，前述處理電路亦可在前述濾波特性的決定中，當前述第1基底及前述第2基底為DST(Discrete Sine Transforms)-VII，且前述第2區塊的尺寸小於前述第1區塊的尺寸時，將大於前述第1濾波係數的前述第2濾波係數決定為前述濾波特性，前述第1濾波係數與前述第2濾波係數之間的濾波係數的斜率，比前述第1區塊及前述第2區塊的尺寸相等時更平緩。

第1基底及第2基底為DST-VII，且第2區塊的尺寸小於第1區塊的尺寸時，極可能在第1區塊的邊界附近誤差大，在第2區塊的邊界附近誤差為中等。總言之，在第1區塊與第2區塊的邊界附近的誤差分布極可能具有平緩的梯度。

於本發明的一態樣的編碼裝置，是在該情況下，決定大於第1濾波係數的第2濾波係數，並進行具有該等第1及第2濾波係數的去區塊濾波處理。於此，決定的第1濾波係數與第2濾波係數之間的濾波係數的斜率，比第1區塊及第2區塊的尺寸相等時更平緩。因此，即使在第1區塊與第2區塊的邊界附近的誤差分布具有平緩的梯度，仍可提高適當抑制該邊界附近的誤差的可能性。

又，前述處理電路亦可在前述濾波特性的決定中，進一步根據前述第1區塊及前述第2區塊的基底組合，而決定相對於前述第1區塊的第1閾值、及相對於前述第2區塊的第2閾值，來作為前述濾波特性，於前述去區塊濾波處理中，藉由對於對象像素的像素值進行利用前述第1濾波係數及前述第2濾波係數的運算，來取得前述對象像素的運算後像素值，並判定前述對象像素的運算前像素值到運算後像素值的變化量，是否大於前述第1閾值及前述第2閾值中前述對象像素所屬的區塊的閾值，在前述變化量大於前述閾值時，將前述對象像素的運算後像素值截割(clip)成前述對象像素的運算前像素值與前述閾值的和或差。

藉此，由於在對象像素的運算後像素值的變化量大於閾值時，該運算後像素值被截割成運算前像素值與閾值的和或差，因此可抑制處理對象的像素值由於去區塊濾波處理而大幅變化。又，相對於第1區塊的第1閾值、及相對於第2區塊的第2閾值，是根據該第1區塊及第2區塊的基底組合所決定。因此，可分別在第1區塊及第2區塊，對位於基底振幅大的位置的像素，亦即誤差大的像素，決定大的閾值，對位於基底振幅小的位置的像素，亦即誤差小的像素，決定小的閾值。其結果，可許可誤差大的像素的像素值由於去區塊濾波處理而大幅變化，禁止誤差小的像素的像素值由於去區塊濾波處理而大幅變化。因此，可進一步提高適當抑制第1區塊及第2區塊的邊界附近的誤差的可能性。

又，亦可是本發明的一態樣的編碼裝置具備處理電路及記憶體，前述處理電路利用前述記憶體，根據第1區塊及與前述第1區塊鄰接的第2區塊的區塊尺寸，來決定相對於前述第1區塊及前述第2區塊的邊界的濾波特性，並進行具有已決定的前述濾波特性的去區塊濾波處理。例如前述處理電路亦可在前述濾波特性的決定中，將相對於位在前述第1區塊內的前述邊界附近的像素之第1濾波係數，及相對於位在前述第2區塊內的前述邊界附近的像素之第2濾波係數，分別作為前述濾波特性，當前述第2區塊的尺寸小於前述第1區塊的尺寸時，將大於前述第1濾波係數的前述第2濾波係數決定為前述濾波特性。

藉此，可因應區塊尺寸的差異，例如對該邊界決定非對稱的濾波特性。其結果，即使如上述，誤差在2個區塊的邊界附近有差異時，藉由進行具有非對稱之濾波特性的去區塊濾波處理，仍可提高抑制該誤差的可能性。

本發明的一態樣的解碼裝置具備處理電路及記憶體，前述處理電路利用前述記憶體，於利用基底的轉換所獲得之由複數個轉換係數組成的各區塊，藉由對該區塊至少進行反轉換，來重構成由複數個像素組成的區塊，並根據經重構之相互鄰接的2個區塊各自在轉換中所用的基底組合，來決定相對於前述2個區塊的邊界的濾波特性，進行具有已決定的前述濾波特性的去區塊濾波處理。

依據相互鄰接的2個區塊之轉換所用的基底組合，該2個區塊的邊界附近的誤差分布會不同。例如由於2個區塊的轉換，有時在2個區塊中之一區塊的邊界附近產生大的誤差，在另一區塊的邊界附近產生小的誤差。再者，該誤差為原圖像或輸入圖像與重構圖像的像素值的差。該情況下，若進行相對於該邊界具有對稱之濾波特性的去區塊濾波處理，則誤差小的像素值可能大幅受到誤差大的像素值的影響。總言之，可能無法充分抑制誤差。因此，於本發明的一態樣的解碼裝置，是根據經重構之相互鄰接的2個區塊各自在轉換中所用的基底組合，來決定相對於該2個區塊的邊界的濾波特性。藉此，例如可對該邊界決定非對稱的濾波特性。其結果，即使如上述，誤差在2個區塊的邊界附近有差異時，藉由進行具有非對稱之濾波特性的去區塊濾波處理，仍可提高抑制該誤差的可能性。

又，前述處理電路亦可在前述濾波特性的決定中，若像素位於區塊的轉換所用之基底的振幅越大的位置，則對該像素決定越小的濾波係數，來作為前述濾波特性。

例如像素位於基底的振幅越大的位置，該像素的像素值越可能具有大誤差。於本發明的一態樣的解碼裝置，是對具有該大誤差的像素值的像素，決定小的濾波係數。因此，藉由具有該類濾波係數的去區塊濾波處理，可更加抑制該大誤差的像素值對小誤差的像素值帶來的影響。總言之，可更提高抑制誤差的可能性。

又，前述基底的振幅亦可為0維基底的振幅。

越低維的基底，對誤差帶來的影響越大。因此，像素位於0維基底的振幅越大的位置，就對該像素決定越小的濾波係數，藉此可進一步提高抑制誤差的可能性。

又，亦可是，前述2個區塊由第1區塊、及位於前述第1區塊的右側或下側的第2區塊所構成，前述處理電路亦可在前述濾波特性的決定中，當前述第1區塊的轉換所用之基底為第1基底，前述第2區塊的轉換所用之基底為第2基底時，根據前述第1基底及前述第2基底，分別決定相對於位在前述第1區塊內的前述邊界附近的像素之第1濾波係數，及相對於位在前述第2區塊內的前述邊界附近的像素之第2濾波係數，來作為前述濾波特性。例如前述處理電路亦可在前述濾波特性的決定中，當前述第1基底及前述第2基底為DST(Discrete Sine Transforms)-VII時，將大於前述第1濾波係數的前述第2濾波係數決定為前述濾波特性。

第1基底及第2基底為DST-VII時，極可能在第1區塊的邊界附近誤差大，在第2區塊的邊界附近誤差小。因此，該情況下，藉由決定大於第1濾波係數的第2濾波係數，並進行具有該等第1及第2濾波係數的去區塊濾波處理，可提高適當抑制該邊界附近的誤差的可能性。

又，前述處理電路亦可在前述濾波特性的決定中，當前述第1基底及前述第2基底為DCT(Discrete Cosine Transforms)-II時，將與前述第1濾波係數相等的前述第2濾波係數決定為前述濾波特性。

第1基底及第2基底為DCT-II時，在第1區塊的邊界附近與第2區塊的邊界附近，誤差極可能相等。因此，該情況下，藉由決定與第1濾波係數相等的第2濾波係數，並進行具有該等第1及第2濾波係數的去區塊濾波處理，可提高適當抑制該邊界附近的誤差的可能性。

又，前述處理電路亦可在前述濾波特性的決定中，當前述第1基底及前述第2基底為DST(Discrete Sine Transforms)-VII，且前述第2區塊的尺寸小於前述第1區塊的尺寸時，將大於前述第1濾波係數的前述第2濾波係數決定為前述濾波特性，前述第1濾波係數與前述第2濾波係數之間的濾波係數的斜率，比前述第1區塊及前述第2區塊的尺寸相等時更平緩。

第1基底及第2基底為DST-VII，且第2區塊的尺寸小於第1區塊的尺寸時，極可能在第1區塊的邊界附近誤差大，在第2區塊的邊界附近誤差為中等。總言之，在第1區塊與第2區塊的邊界附近的誤差分布極可能具有平緩的梯度。

於本發明的一態樣的解碼裝置，是在該情況下，決定大於第1濾波係數的第2濾波係數，並進行具有該等第1及第2濾波係數的去區塊濾波處理。於此，決定的第1濾波係數與第2濾波係數之間的濾波係數的斜率，比第1區塊及第2區塊的尺寸相等時更平緩。因此，即使在第1區塊與第2區塊的邊界附近的誤差分布具有平緩的梯度，仍可提高適當抑制該邊界附近的誤差的可能性。

又，前述處理電路亦可在前述濾波特性的決定中，進一步根據前述第1區塊及前述第2區塊的基底組合，而決定相對於前述第1區塊的第1閾值、及相對於前述第2區塊的第2閾值，來作為前述濾波特性，於前述去區塊濾波處理中，藉由對於對象像素的像素值，進行利用前述第1濾波係數及前述第2濾波係數的運算，來取得前述對象像素的運算後像素值，並判定前述對象像素的運算前像素值到運算後像素值的變化量，是否大於前述第1閾值及前述第2閾值中前述對象像素所屬的區塊的閾值，在前述變化量大於前述閾值時，將前述對象像素的運算後像素值截割成前述對象像素的運算前像素值與前述閾值的和或差。

藉此，由於在對象像素的運算後像素值的變化量大於閾值時，該運算後像素值被截割成運算前像素值與閾值的和或差，因此可抑制處理對象的像素值由於去區塊濾波處理而大幅變化。又，相對於第1區塊的第1閾值、及相對於第2區塊的第2閾值，是根據該第1區塊及第2區塊的基底組合所決定。因此，可分別於第1區塊及第2區塊，對位於基底振幅大的位置的像素，亦即誤差大的像素，決定大的閾值，對位於基底振幅小的位置的像素，亦即誤差小的像素，決定小的閾值。其結果，可許可誤差大的像素的像素值由於去區塊濾波處理而大幅變化，禁止誤差小的像素的像素值由於去區塊濾波處理而大幅變化。因此，可進一步提高適當抑制第1區塊及第2區塊的邊界附近的誤差的可能性。

又，本發明的一態樣的解碼裝置具備處理電路及記憶體，前述處理電路利用前述記憶體，根據第1區塊及與前述第1區塊鄰接的第2區塊的區塊尺寸，來決定相對於前述第1區塊及前述第2區塊的邊界的濾波特性，並進行具有已決定的前述濾波特性的去區塊濾波處理。例如前述處理電路亦可在前述濾波特性的決定中，將相對於位在前述第1區塊內的前述邊界附近的像素之第1濾波係數，及相對於位在前述第2區塊內的前述邊界附近的像素之第2濾波係數，作為前述濾波特性，當前述第2區塊的尺寸小於前述第1區塊的尺寸時，將大於前述第1濾波係數的前述第2濾波係數決定為前述濾波特性。

藉此，可因應區塊尺寸的差異，例如對該邊界決定非對稱的濾波特性。其結果，即使如上述，誤差在2個區塊的邊界附近有差異時，藉由進行具有非對稱之濾波特性的去區塊濾波處理，仍可提高抑制該誤差的可能性。

再者，該等全面或具體的態樣亦得以系統、方法、積體電路、電腦程式、或電腦可讀取CD-ROM等記錄媒體來實現，或以系統、方法、積體電路、電腦程式、及記錄媒體的任意組合來實現。

以下參考圖式來具體說明實施形態。

再者，以下所說明的實施形態均表示概括或具體的範例。以下實施形態所示之數值、形狀、材料、構成要件、構成要件的配置位置及連接形態、步驟、步驟的順序等為一例，其主旨不在於限定申請專利範圍。又，關於以下實施形態的構成要件中，未記載於表示最上位概念的獨立請求項的構成要件，則作為任意的構成要件來說明。

(實施形態1) 首先，說明實施形態1的概要，來作為可適用後述的本發明的各態樣所說明的處理及/或構成的編碼裝置及解碼裝置的一例。但實施形態1僅為可適用在本發明的各態樣所說明的處理及/或構成的編碼裝置及解碼裝置的一例，在本發明的各態樣所說明的處理及/或構成，亦可於與實施形態1不同的編碼裝置及解碼裝置實施。

對實施形態1適用在本發明的各態樣所說明的處理及/或構成時，亦可進行例如以下之任一項。 (1)對於實施形態1的編碼裝置或解碼裝置，將構成該編碼裝置或解碼裝置的複數個構成要件中對應於在本發明的各態樣所說明的構成要件之構成要件，置換成在本發明的各態樣所說明的構成要件。 (2)對於實施形態1的編碼裝置或解碼裝置，針對構成該編碼裝置或解碼裝置的複數個構成要件中之一部分構成要件，施以功能或實施處理的追加、置換、刪除等任意變更後，將對應於在本發明的各態樣所說明的構成要件之構成要件，置換成在本發明的各態樣所說明的構成要件。 (3)對於實施形態1的編碼裝置或解碼裝置所實施的方法，針對處理的追加、及/或該方法所含的複數種處理中之一部分處理，施以置換、刪除等任意變更後，將對應於在本發明的各態樣所說明的處理之處理，置換成在本發明的各態樣所說明的處理。 (4)將構成實施形態1的編碼裝置或解碼裝置的複數個構成要件中之一部分構成要件，與在本發明的各態樣所說明的構成要件、具備在本發明的各態樣所說明的構成要件所具備的一部分功能的構成要件、或實施在本發明的各態樣所說明的構成要件所實施的一部分處理的構成要件組合而實施。 (5)將具備構成實施形態1的編碼裝置或解碼裝置的複數個構成要件中之一部分構成要件所具備的一部分功能的構成要件、或實施構成實施形態1的編碼裝置或解碼裝置的複數個構成要件中之一部分構成要件所實施的一部分處理的構成要件，與在本發明的各態樣所說明的構成要件、具備在本發明的各態樣所說明的構成要件所具備的一部分功能的構成要件、或實施在本發明的各態樣所說明的構成要件所實施的一部分處理的構成要件組合而實施。 (6)對於實施形態1的編碼裝置或解碼裝置所實施的方法，將該方法所含的複數種處理中之對應於在本發明的各態樣所說明的處理之處理，置換成在本發明的各態樣所說明的處理。 (7)將實施形態1的編碼裝置或解碼裝置所實施的方法所含之複數種處理中之一部分處理，與在本發明的各態樣所說明的處理組合而實施。

再者，在本發明的各態樣所說明的處理及/或構成的實施方式，不限定於上述例子。例如在與實施形態1所揭示的動態圖像/圖像編碼裝置或動態圖像/圖像解碼裝置以不同目的利用的裝置中實施，或單獨實施各態樣所說明的處理及/或構成均可。又，亦可組合在不同態樣所說明的處理及/或構成而實施。

[編碼裝置的概要] 首先，說明實施形態1的編碼裝置的概要。圖1是表示實施形態1之編碼裝置100的功能構成之方塊圖。編碼裝置100是以區塊單位編碼動態圖像/圖像的動態圖像/圖像編碼裝置。

如圖1所示，編碼裝置100是以區塊單位來編碼圖像的裝置，具備分割部102、減算部104、轉換部106、量化部108、熵編碼部110、反量化部112、反轉換部114、加算部116、區塊記憶體118、迴路濾波部120、幀記憶體122、幀內預測部124、幀間預測部126及預測控制部128。

編碼裝置100藉由例如通用處理器及記憶體來實現。此時，由處理器執行儲存於記憶體的軟體程式時，處理器是作為分割部102、減算部104、轉換部106、量化部108、熵編碼部110、反量化部112、反轉換部114、加算部116、迴路濾波部120、幀內預測部124、幀間預測部126及預測控制部128發揮功能。又，編碼裝置100亦可作為對應於分割部102、減算部104、轉換部106、量化部108、熵編碼部110、反量化部112、反轉換部114、加算部116、迴路濾波部120、幀內預測部124、幀間預測部126及預測控制部128之專用的1個以上的電子電路來實現。

以下說明編碼裝置100所含的各構成要件。

[分割部] 分割部102將輸入動態圖像所含的各圖片，分割為複數個區塊，將各區塊輸出至減算部104。例如分割部102首先將圖片分割為固定大小(例如128´128)的區塊。該固定大小的區塊有時稱為編碼樹單元(CTU)。然後，分割部102根據遞迴的四元樹(quadtree)及/或二元樹(binary tree)區塊分割，將固定大小的各個區塊分割為可變大小(例如64´64以下)的區塊。該可變大小的區塊有時稱為編碼單元(CU)、預測單元(PU)或轉換單元(TU)。再者，於本實施形態亦可無須區分CU、PU及TU，而是圖片內的一部分或所有區塊為CU、PU、TU的處理單位。

圖2是表示實施形態1的區塊分割的一例的圖。於圖2，實線表示四元樹區塊分割的區塊邊界，虛線表示二元樹區塊分割的區塊邊界。

於此，區塊10為128´128像素的正方形區塊(128´128區塊)。該128´128區塊10首先分割為4個正方形的64´64區塊(四元樹區塊分割)。

左上64´64區塊進一步垂直分割為2個矩形的32´64區塊，左邊32´64區塊進一步垂直分割為2個矩形的16´64區塊(二元樹區塊分割)。其結果，左上64´64區塊分割為2個16´64區塊11、12及32´64區塊13。

右上64´64區塊水平分割為2個矩形的64´32區塊14、15(二元樹區塊分割)。

左下64´64區塊分割為4個正方形的32´32區塊(四元樹區塊分割)。4個32´32區塊中，左上區塊及右下區塊進一步分割。左上32´32區塊垂直分割為2個矩形的16´32區塊，右邊16´32區塊進一步水平分割為2個16´16區塊(二元樹區塊分割)。右下32´32區塊水平分割為2個32´16區塊(二元樹區塊分割)。其結果，左下64´64區塊分割為16´32區塊16、2個16´16區塊17、18、2個32´32區塊19、20及2個32´16區塊21、22。

右下64´64區塊23不分割。

如以上，於圖2，區塊10根據遞迴的四元樹及二元樹區塊分割，分割為13個可變大小的區塊11～23。此類分割有時稱為QTBT(quad-tree plus binary tree(四元樹加二元樹))分割。

再者，於圖2，1個區塊分割為4個或2個區塊(四元樹或二元樹區塊分割)，但分割不限定於此。例如1個區塊亦可分割為3個區塊(三元樹區塊分割)。該類包含三元樹區塊分割在內的分割有時稱為MBT(multi type tree(多類型樹))分割。

[減算部] 減算部104是以藉由分割部102所分割的區塊單位，從原訊號(原樣本)減去預測訊號(預測樣本)。總言之，減算部104算出編碼對象區塊(以下稱為目前區塊)的預測誤差(亦稱為殘差)。然後，減算部104將算出的預測誤差輸出至轉換部106。

原訊號為編碼裝置100的輸入訊號，其為表示構成動態圖像的各圖片之圖像的訊號(例如亮度(luma)訊號及2個色差(chroma)訊號)。以下有時亦將表示圖像的訊號稱為樣本。

[轉換部] 轉換部106將空間區域的預測誤差，轉換成頻率區域的轉換係數，將轉換係數輸出至量化部108。具體而言，轉換部106對例如空間區域的預測誤差，進行預先決定的離散餘弦轉換(DCT)或離散正弦轉換(DST)。

再者，轉換部106亦可從複數種轉換類型中，適應性地選擇轉換類型，利用與選擇的轉換類型相對應的轉換基底函數(transform basis function)，將預測誤差轉換成轉換係數。該類轉換有時稱為EMT(explicit multiple core transform(顯式多重核心轉換))或AMT(adaptive multiple transform(適應性多重轉換))。

複數種轉換類型包含例如DCT-II、DCT-V、DCT-VIII、DST-I及DST-VII。圖3是表示對應於各轉換類型的轉換基底函數的表。於圖3，N表示輸入像素數。從該等複數種轉換類型中選擇轉換類型時，可取決於例如預測的種類(幀內預測及幀間預測)，或取決於幀內預測模式。

該類表示適用EMT或AMT與否的資訊(例如稱為AMT旗標)、及表示選擇的轉換類型的資訊是以CU層級來訊號化。再者，該等資訊的訊號化無須限定在CU層級，亦可為其他層級(例如序列層級(sequence level)、圖片層級(picture level)、片段層級(slice level)、圖塊層級(tile level)或CTU層級)。

又，轉換部106亦可將轉換係數(轉換結果)予以再轉換。該類再轉換有時稱為AST(adaptive secondary transform(適應性二次轉換))或NSST(non-separable secondary transform(不可分離二次轉換))。例如轉換部106就對應於幀內預測誤差的轉換係數的區塊所含子區塊(例如4´4子區塊)，逐一進行再轉換。表示適用NSST與否的資訊、及用於NSST的轉換矩陣的相關資訊是以CU層級來訊號化。再者，該等資訊的訊號化無須限定在CU層級，亦可為其他層級(例如序列層級、圖片層級、片段層級、圖塊層級或CTU層級)。

於此，separable(可分離)轉換是指以輸入的維度之數來按各個方向分離並進行複數次轉換的方式，Non-Separable(不可分離)轉換是指在輸入為多維時，將2個以上的維度統整視為1維而一次進行轉換的方式。

例如作為Non-Separable轉換的一例，可舉出：在輸入為4´4的區塊時，將其視為具有16個要件的1個陣列，對於該陣列，以16´16的轉換矩陣進行轉換處理。

又，同樣地將4´4的輸入區塊視為具有16個要件的一個陣列，對於該陣列，進行複數次Givens旋轉(Hypercube Givens Transform(超立方體吉文斯轉換))的轉換，亦為Non-Separable轉換例。

[量化部] 量化部108量化從轉換部106輸出的轉換係數。具體而言，量化部108以預定的掃描順序掃描目前區塊的轉換係數，並根據對應於經掃描的轉換係數的量化參數(QP)，來量化該轉換係數。然後，量化部108將目前區塊的經量化的轉換係數(以下稱為量化係數)，輸出至熵編碼部110及反量化部112。

預定的順序是轉換係數的量化/反量化用順序。例如預定的掃描順序是以頻率的升序(從低頻往高頻的順序)或降序(從高頻往低頻的順序)定義。

量化參數是定義量化步距(量化寬度)的參數。例如若增加量化參數值，則量化步距亦增加。總言之，若量化參數值增加，則量化誤差增大。

[熵編碼部] 熵編碼部110藉由將從量化部108輸入的量化係數予以可變長度編碼，來生成編碼訊號(編碼位元串流)。具體而言，熵編碼部110例如將量化係數二值化，將二值訊號予以算術編碼。

[反量化部] 反量化部112將從量化部108輸入的量化係數，予以反量化。具體而言，反量化部112以預定的掃描順序，將目前區塊的量化係數予以反量化。然後，反量化部112將目前區塊之已被反量化的轉換係數，輸出至反轉換部114。

[反轉換部] 反轉換部114藉由將從反量化部112輸入的轉換係數予以反轉換，來復原預測誤差。具體而言，反轉換部114藉由對於轉換係數，進行與轉換部106的轉換相對應的反轉換，來復原目前區塊的預測誤差。然後，反轉換部114將復原的預測誤差輸出至加算部116。

再者，由於復原的預測誤差是因量化而喪失資訊，因此不會與減算部104所算出的預測誤差一致。亦即，復原的預測誤差中包含有量化誤差。

[加算部] 加算部116藉由加算從反轉換部114輸入的預測誤差與從預測控制部128輸入的預測樣本，來重構成目前區塊。然後，加算部116將重構的區塊輸出至區塊記憶體118及迴路濾波部120。重構區塊有時亦稱為局部解碼區塊。

[區塊記憶體] 區塊記憶體118是用以儲存區塊的記憶部，該區塊為幀內預測所參考的區塊，且為編碼對象圖片(以下稱為目前圖片)內的區塊。具體而言，區塊記憶體118儲存從加算部116輸出的重構區塊。

[迴路濾波部] 迴路濾波部120對於由加算部116重構的區塊施以迴路濾波，將已濾波的重構區塊輸出至幀記憶體122。迴路濾波是在編碼迴路內使用的濾波(迴路內濾波(In-loop filter))，包含例如去區塊濾波(Deblocking Filter，DF)、樣本適用性偏移(Sample Adaptive Offset，SAO)及適應性迴路濾波(Adaptive Loop Filter，ALF)等。

在ALF中，是適用用以去除編碼失真的最小平方誤差濾波，例如就目前區塊內的2´2子區塊，逐一適用根據局部梯度(gradient)的方向及活性度(activity)而從複數個濾波中選擇的1個濾波。

具體而言，首先子區塊(例如2´2子區塊)分類為複數個類別(例如15或22類)。子區塊的分類是根據梯度的方向及活性度來進行。例如利用梯度的方向值D(例如0～2或0～4)及梯度的活性值A(例如0～4)，來算出分類值C(例如C=5D+A)。然後，根據分類值C，將子區塊分類為複數個類別(例如15或25類)。

梯度的方向值D是藉由例如比較複數個方向(例如水平、垂直及2個對角方向)的梯度來導出。又，梯度的活性值A是藉由例如加算複數個方向的梯度，並量化加算結果來導出。

根據此類分類的結果，從複數個濾波中決定子區塊用的濾波。

ALF所用濾波的形狀可利用例如圓對稱形狀。圖4A～圖4C是表示ALF所用濾波的形狀的複數例之圖。圖4A表示5´5菱形(diamond)形狀濾波，圖4B表示7´7菱形形狀濾波，圖4C表示9´9菱形形狀濾波。表示濾波形狀的資訊是以圖片層級訊號化。再者，表示濾波形狀的資訊的訊號化無須限定在圖片層級，亦可為其他層級(例如序列層級、片段層級、圖塊層級、CTU層級或CU層級)。

ALF的開啟/關閉是以例如圖片層級或CU層級來決定。例如就亮度而言，以CU層級決定是否適用ALF，就色差而言，以圖片層級決定是否適用ALF。表示ALF的開啟/關閉的資訊是以圖片層級或CU層級來訊號化。再者，表示ALF的開啟/關閉的資訊的訊號化無須限定在CU層級，亦可為其他層級(例如序列層級、片段層級、圖塊層級或CTU層級)。

可選擇的複數個濾波(例如從15到25的濾波)的係數集合是以圖片層級訊號化。再者，係數集合的訊號化無須限定在圖片層級，亦可為其他層級(例如序列層級、片段層級、圖塊層級、CTU層級、CU層級或子區塊層級)。

[幀記憶體] 幀記憶體122是用以儲存幀間預測所用的參考圖片的記憶部，有時亦稱為幀緩衝器。具體而言，幀記憶體122儲存由迴路濾波部120所濾波的重構區塊。

[幀內預測部] 幀內預測部124參考儲存於區塊記憶體118的目前圖片內的區塊，來進行目前區塊的幀內預測(亦稱為畫面內預測)，藉此生成預測訊號(幀內預測訊號)。具體而言，幀內預測部124參考鄰接於目前區塊的區塊的樣本(例如亮度值、色差值)，來進行幀內預測，藉此生成幀內預測訊號，將幀內預測訊號輸出至預測控制部128。

例如幀內預測部124利用預先規定的複數個幀內預測模式中之一個，進行幀內預測。複數個幀內預測模式包含1個以上的非方向性預測模式及複數個方向性預測模式。

1個以上的非方向性預測模式包含例如H.265/HEVC(High-Efficiency Video Coding(高效率視訊編碼))規格(非專利文獻1)所規定的Planar(平面)預測模式及DC預測模式。

複數個方向性預測模式包含例如H.265/HEVC規格所規定的33方向的預測模式。再者，複數個方向性預測模式除了33方向以外，亦可進一步包含32方向的預測模式(合計65個方向性預測模式)。圖5A是表示幀內預測之67個幀內預測模式(2個非方向性預測模式及65個方向性預測模式)之圖。實線箭頭表示H.265/HEVC規格所規定的33方向，虛線箭頭表示追加的32方向。

再者，於色差區塊的幀內預測中，亦可參考亮度區塊。總言之，亦可根據目前區塊的亮度成分，來預測目前區塊的色差成分。該類幀內預測有時稱為CCLM(cross-component linear model(跨組件線性模型))預測。該類參考亮度區塊之色差區塊的幀內預測模式(例如稱為CCLM模式)亦可加入作為色差區塊的幀內預測模式之一。

幀內預測部124亦可根據水平/垂直方向的參考像素的梯度，來修正幀內預測後的像素值。伴隨有該類修正的幀內預測有時稱為PDPC(position dependent intra prediction combination(獨立位置幀內預測組合))。表示PDPC有無適用的資訊(例如稱為PDPC旗標)是以CU層級來訊號化。再者，該資訊的訊號化無須限定在CU層級，亦可為其他層級(例如序列層級、圖片層級、片段層級、圖塊層級或CTU層級)。

[幀間預測部] 幀間預測部126參考儲存於幀記憶體122的參考圖片，且為與目前圖片不同的參考圖片，來進行目前圖片的幀間預測(亦稱為畫面間預測)，藉此生成預測訊號(幀間預測訊號)。幀間預測是以目前區塊或目前區塊內的子區塊(例如4´4區塊)的單位進行。例如幀間預測部126針對目前區塊或子區塊，在參考圖片內進行移動估計(motion estimation)。然後，幀間預測部126利用藉由移動估計所獲得的移動資訊(例如移動向量)，來進行移動補償，藉此生成目前區塊或子區塊的幀間預測訊號。然後，幀間預測部126將生成的幀間預測訊號輸出至預測控制部128。

移動補償所用的移動資訊被訊號化。移動向量的訊號化亦可利用移動向量預測子(motion vector predictor)。總言之，亦可將移動向量與移動向量預測子之間的差分訊號化。

再者，不僅可利用藉由移動估計所獲得的目前區塊的移動資訊，亦可利用鄰接區塊的移動資訊，來生成幀間預測訊號。具體而言，亦可將根據藉由移動估計所獲得的移動資訊的預測訊號、與根據鄰接區塊的移動資訊的預測訊號，予以權重加算，藉此以目前區塊內的子區塊單位來生成幀間預測訊號。該類幀間預測(移動補償)有時稱為OBMC(overlapped block motion compensation(重疊區塊移動補償))。

於該類OBMC模式，表示OBMC用子區塊的大小的資訊(例如稱為OBMC區塊大小)是以序列層級訊號化。又，表示適用OBMC模式與否的資訊(例如稱為OBMC旗標)是以CU層級來訊號化。再者，該等資訊的訊號化層級無須限定在序列層級及CU層級，亦可為其他層級(例如圖片層級、片段層級、圖塊層級、CTU層級或子區塊層級)。

更具體說明OBMC模式。圖5B及圖5C是用以說明OBMC處理的預測圖像修正處理的概要的流程圖及概念圖。

首先，利用分派給編碼對象區塊的移動向量(MV)，取得一般的移動補償的預測圖像(Pred)。

接著，將編碼完畢的左鄰接區塊的移動向量(MV_L)適用於編碼對象區塊，取得預測圖像(Pred_L)，將前述預測圖像與Pred_L賦予權重並重疊，藉此進行預測圖像的第1次修正。

同樣地，將編碼完畢的上鄰接區塊的移動向量(MV_U)適用於編碼對象區塊，取得預測圖像(Pred_U)，將已進行前述第1次修正的預測圖像與Pred_U賦予權重並重疊，藉此進行預測圖像的第2次修正，將其作為最終的預測圖像。

再者，在此說明了利用右鄰接區塊及上鄰接區塊的2階段修正的方法，但亦可採用利用右鄰接區塊或下鄰接區塊，進行次數多於2階段的修正之構成。

再者，進行重疊的區域亦可不是區塊全體的像素區域，而是僅為區塊邊界附近的一部分區域。

再者，在此說明了從1張參考圖片進行的預測圖像修正處理，但從複數張參考圖片修正預測圖像的情況亦同樣如此，取得從各個參考圖片修正的預測圖像後，進一步重疊獲得的預測圖像以作為最終的預測圖像。

再者，前述處理對象區塊以預測區塊為單位，或以進一步分割預測區塊而成的子區塊為單位均可。

作為判定是否適用OBMC處理的方法，包括例如利用表示是否適用OBMC處理之訊號obmc_flag的方法。具體例是於編碼裝置中判定編碼對象區塊是否屬於移動複雜的區域，若屬於移動複雜的區域時，將obmc_flag的值設定成1，適用OBMC處理而進行編碼，不屬於移動複雜的區域時，將obmc_flag的值設定成0，不適用OBMC處理而進行編碼。另，於解碼裝置，對串流中所記述的obmc_flag進行解碼，藉此因應其值來切換是否適用OBMC處理而進行解碼。

再者，移動資訊不訊號化，從解碼裝置側導出亦可。例如亦可利用H.265/HEVC規格所規定的合併模式。又，例如亦可藉由在解碼裝置側進行移動估計，來導出移動資訊。此時，不利用目前區塊的像素值而進行移動估計。

於此，說明有關在解碼裝置側進行移動估計的模式。該在解碼裝置側進行移動估計的模式有時稱為PMMVD(pattern matched motion vector derivation(模式匹配移動向量導出))模式或FRUC(frame rate up-conversion(幀率提升轉換))模式。

於圖5D表示FRUC處理的一例。首先，參考與目前區塊在空間上或時間上鄰接的編碼完畢區塊的移動向量，生成各自具有移動向量預測子的複數個候補清單(亦可與合併清單共通)。接著，從登錄於候補清單的複數個候補MV之中選擇最佳候補MV。例如算出候補清單所含的各候補的評估值，根據評估值選擇1個候補。

然後，根據選擇的候補移動向量，導出目前區塊用的移動向量。具體而言，例如選擇的候補移動向量(最佳候補MV)直接被導出作為目前區塊用的移動向量。又，例如在對應於選擇的候補移動向量之參考圖片內的位置的周邊區域，進行樣式(pattern)匹配，藉此導出目前區塊用的移動向量亦可。亦即，對於最佳候補MV的周邊區域，以同樣的方法進行估計，若有評估值為更佳數值的MV時，將最佳候補MV更新為前述MV，將其作為目前區塊的最終MV亦可。再者，亦可採用不實施該處理的構成。

以子區塊為單位進行處理時，亦可採用完全同樣的處理。

再者，評估值是藉由對應於移動向量之參考圖片內的區域、與預定區域之間的樣式匹配，來求出重構圖像的差分值而算出。再者，除了差分值以外，亦可利用其以外的資訊來算出評估值。

樣式匹配利用第1樣式匹配或第2樣式匹配。第1樣式匹配及第2樣式匹配有時分別稱為雙向匹配(bilateral matching)及模板匹配(template matching)。

於第1樣式匹配，是在不同的2個參考圖片內的2個區塊，且為沿著目前區塊的移動軌跡(motion trajectory)的2個區塊之間，進行樣式匹配。因此，於第1樣式匹配，是利用沿著目前區塊的移動軌跡之其他參考圖片內的區域，來作為上述候補評估值算出用的預定區域。

圖6是用以說明沿著移動軌跡的2個區塊間的樣式匹配(雙向匹配)之一例的圖。如圖6所示，於第1樣式匹配，藉由對沿著目前區塊(Cur block)的移動軌跡的2個區塊，且為不同的2個參考圖片(Ref0,Ref1)內的2個區塊之配對中最匹配的配對進行估計，來導出2個移動向量(MV0,MV1)。具體而言，對於目前區塊，導出由候補MV指定的第1編碼完畢參考圖片(Ref0)內的指定位置之重構圖像、與由對稱MV指定的第2編碼完畢參考圖片(Ref1)內的指定位置之重構圖像的差分，利用獲得的差分值來算出評估值，而前述對稱MV是將前述候補MV以顯示時間間隔縮放。可選擇複數個候補MV中評估值為最佳值的候補MV，來作為最終MV。

在假定是連續的移動軌跡之下，指示2個參考區塊的移動向量(MV0,MV1)會和目前圖片(Cur Pic)與2個參考圖片(Ref0,Ref1)之間的時間距離(TD0,TD1)成比例。例如目前圖片在時間上位於2個參考圖片之間，且從目前圖片到2個參考圖片的時間距離相等時，於第1樣式匹配，會導出反射對稱的雙向之移動向量。

於第2樣式匹配，是在目前圖片內的模板(在目前圖片內鄰接於目前區塊的區塊(例如上及/或左鄰接區塊))與參考圖片內的區塊之間，進行樣式匹配。因此，於第2樣式匹配，是利用目前圖片內鄰接於目前區塊的區塊，來作為上述候補評估值算出用的預定區域。

圖7是用以說明目前圖片內的模板與參考圖片內的區塊之間的樣式匹配(模板匹配)的一例之圖。如圖7所示，於第2模式匹配，是藉由於參考圖片(Ref0)內，估計與目前圖片(Cur Pic)內鄰接於目前區塊(Cur block)的區塊最匹配的區塊，來導出目前區塊的移動向量。具體而言，對於目前區塊，導出左鄰接及上鄰接之雙方或某一方的編碼完畢區域之重構圖像、與由候補MV指定的編碼完畢參考圖片(Ref0)內的同等位置之重構圖像的差分，利用獲得的差分值算出評估值，選擇複數個MV候補中評估值為最佳值的候補MV，來作為最佳候補MV即可。

表示適用該類FRUC模式與否的資訊(例如稱為FRUC旗標)是以CU層級來訊號化。又，適用FRUC模式時(例如FRUC旗標為真時)，表示樣式匹配方法(第1樣式匹配或第2樣式匹配)的資訊(例如稱為FRUC模式旗標)是以CU層級來訊號化。再者，該等資訊的訊號化無須限定在CU層級，亦可為其他層級(例如序列層級、圖片層級、片段層級、圖塊層級、CTU層級或子區塊層級)。

於此，說明根據假定等速直線運動的模型，來導出移動向量的模式。該模式有時稱為BIO(bi-directional optical flow(雙向光流))模式。

圖8是用以說明假定等速直線運動的模型之圖。於圖8，(vx,vy)表示速度向量，t0、t1分別表示目前圖片(Cur Pic)與2個參考圖片(Ref0,Ref1)之間的時間距離。(MVx0,MVy0)表示對應於參考圖片Ref0的移動向量，(MVx1,MVy1)表示對應於參考圖片Ref1的移動向量。

此時，在速度向量(vx,vy)的等速直線運動的假定下，(MVx0,MVy0)及(MVx1,MVy1)分別表示為(vxτ0,vyτ0)及(-vxτ1,-vyτ1)，以下光流等式(1)成立。 [數式1]

於此，I^(k) 表示移動補償後的參考圖像k(k=0,1)的亮度值。該光流等式表示(i)、(ii)與(iii)的和等於零，其中(i)為亮度值的時間微分，(ii)為水平方向的速度及參考圖像的空間梯度的水平成分的積，(iii)為垂直方向的速度及參考圖像的空間梯度的垂直成分的積。根據該光流等式與赫米特內插法(Hermite interpolation)的組合，以像素單位修正從合併清單等所獲得的區塊單位的移動向量。

再者，採用與根據假定等速直線運動的模型的移動向量導出不同的方法，在解碼裝置側導出移動向量亦可。例如根據複數個鄰接區塊的移動向量，以子區塊單位來導出移動向量亦可。

於此，說明根據複數個鄰接區塊的移動向量，以子區塊單位來導出移動向量的模式。該模式有時稱為仿射移動補償預測(affine motion compensation prediction)模式。

圖9A是用以說明根據複數個鄰接區塊的移動向量來導出子區塊單位的移動向量之圖。於圖9A，目前區塊包含16個4´4子區塊。於此，根據鄰接區塊的移動向量，來導出目前區塊左上角控制點的移動向量v0，根據鄰接子區塊的移動向量，來導出目前區塊右上角控制點的移動向量v1。然後，利用2個移動向量v0及v1，藉由下式(2)來導出目前區塊內的各子區塊的移動向量(vx,vy)。 [數式2]

於此，x及y分別表示子區塊的水平位置及垂直位置，w表示預先決定的加權係數。

於該類仿射移動補償預測模式，亦可包含：左上及右上角控制點的移動向量導出方法為不同的數種模式。表示該類仿射移動補償預測模式的資訊(例如稱為仿射旗標)是以CU層級來訊號化。再者，表示該仿射移動補償預測模式的資訊的訊號化無須限定在CU層級，亦可為其他層級(例如序列層級、圖片層級、片段層級、圖塊層級、CTU層級或子區塊層級)。

[預測控制部] 預測控制部128選擇幀內預測訊號及幀間預測訊號的任一者，將選擇的訊號作為預測訊號而輸出至減算部104及加算部116。

於此，說明藉由合併模式來導出編碼對象圖片的移動向量之例。圖9B是用以說明利用合併模式之移動向量導出處理的概要圖。

首先，生成登錄有預測MV之候補的預測MV清單。預測MV的候補包括：空間鄰接預測MV，其為空間上位於編碼對象區塊周邊的複數個編碼完畢區塊所具有的MV；時間鄰接預測MV，其為投影有編碼完畢參考圖片的編碼完畢區塊的位置附近的區塊所具有的MV；結合預測MV，其為組合空間鄰接預測MV與時間鄰接預測MV的MV值而生成的MV；及零預測MV等，即值為零的MV。

接著，藉由從登錄於預測MV清單的複數個預測MV之中選擇1個預測MV，來決定為編碼對象區塊的MV。

進而於可變長度編碼部，將表示選擇了哪一個預測MV的訊號merge_idx，記述於串流而編碼。

再者，圖9B所說明的登錄於預測MV清單的預測MV為一例，亦可個數與圖中的個數不同，亦或為不包含圖中的預測MV的一部分種類的構成，亦或為追加有圖中的預測MV的種類以外的預測MV的構成。

再者，亦可藉由利用合併模式導出的編碼對象區塊的MV，進行後述的DMVR處理，來決定最終的MV。

於此，說明利用DMVR處理來決定MV之例。

圖9C是用以說明DMVR處理的概要的概念圖。

首先，將設定於處理對象區塊的最佳MVP作為候補MV，按照前述候補MV，從L0方向的處理完畢圖片之第1參考圖片、及從L1方向的處理完畢圖片之第2參考圖片，分別取得參考像素，取各參考像素的平均來生成模板。

接著，利用前述模板，分別估計第1參考圖片及第2參考圖片的候補MV的周邊區域，決定成本最小的MV來作為最終的MV。再者，成本值是利用模板的各像素值與估計區域的各像素值的差分值及MV值等來算出。

再者，於編碼裝置及解碼裝置，在此所說明的處理概要基本上是共通。

再者，亦可不利用在此說明的處理本身，而是利用其他處理，只要是可估計候補MV的周邊並導出最終MV的處理均可。

於此，說明利用LIC處理來生成預測圖像的模式。

圖9D是用以說明利用LIC處理之亮度修正處理的預測圖像生成方法的概要圖。

首先，從編碼完畢圖片之參考圖片，導出用以取得對應於編碼對象區塊的參考圖像的MV。

接著，對於編碼對象區塊，利用左鄰接及上鄰接的編碼完畢周邊參考區域的亮度像素值、及由MV指定的參考圖片內的同等位置的亮度像素值，擷取表示亮度值在參考圖片及編碼對象圖片如何變化的資訊，算出亮度修正參數。

對於由MV指定的參考圖片內的參考圖像，利用前述亮度修正參數進行亮度修正處理，藉此生成相對於編碼對象區塊的預測圖像。

再者，圖9D的前述周邊參考區域的形狀為一例，亦可利用該形狀以外的形狀。

又，於此說明了從1張參考圖片生成預測圖像的處理，但從複數張參考圖片生成預測圖像的情況亦同樣如此，對從各個參考圖片取得的參考圖像，以同樣方法進行亮度修正處理後，生成預測圖像。

作為判定是否適用LIC處理的方法，包括例如利用表示是否適用LIC處理的訊號lic_flag的方法。具體例是於編碼裝置中判定編碼對象區塊是否屬於發生亮度變化的區域，若屬於發生亮度變化的區域時，將lic_flag的值設定成1，適用LIC處理而進行編碼，若不屬於發生亮度變化的區域時，將lic_flag的值設定成0，不適用LIC處理而進行編碼。另，於解碼裝置，對串流中所記述的lic_flag進行解碼，藉此因應其值來切換是否適用LIC處理並進行解碼。

作為判定是否適用LIC處理的方法，亦包括例如按照周邊區塊是否適用了LIC處理來判定的方法。作為具體一例，編碼對象區塊為合併模式時，判定在合併處理之MV導出時所選擇的周邊的編碼完畢區塊，是否適用了LIC處理而編碼，並因應其結果來切換是否適用LIC處理而進行編碼。再者，此例的情況下，解碼的處理亦完全同樣。

[解碼裝置的概要] 接著，說明可解碼從上述編碼裝置100輸出的編碼訊號(編碼位元串流)之解碼裝置的概要。圖10是表示實施形態1之解碼裝置200的功能構成之方塊圖。解碼裝置200是以區塊單位解碼動態圖像/圖像的動態圖像/圖像解碼裝置。

如圖10所示，解碼裝置200具備熵解碼部202、反量化部204、反轉換部206、加算部208、區塊記憶體210、迴路濾波部212、幀記憶體214、幀內預測部216、幀間預測部218及預測控制部220。

解碼裝置200藉由例如通用處理器及記憶體來實現。此時，由處理器執行儲存於記憶體的軟體程式時，處理器是作為熵解碼部202、反量化部204、反轉換部206、加算部208、迴路濾波部212、幀內預測部216、幀間預測部218及預測控制部220發揮功能。又，解碼裝置200亦可作為對應於熵解碼部202、反量化部204、反轉換部206、加算部208、迴路濾波部212、幀內預測部216、幀間預測部218及預測控制部220之專用的1個以上的電子電路來實現。

以下說明解碼裝置200所含的各構成要件。

[熵解碼部] 熵解碼部202將編碼位元串流予以熵解碼。具體而言，熵解碼部202例如從編碼位元串流算術解碼為二值訊號。然後，熵解碼部202將二值訊號予以多值化(debinarize)。藉此，熵解碼部202以區塊單位，將量化係數輸出至反量化部204。

[反量化部] 反量化部204將從熵解碼部202輸入的解碼對象區塊(以下稱為目前區塊)的量化係數，予以反量化。具體而言，反量化部204針對目前區塊的各個量化係數，根據對應於該量化係數的量化參數，將該量化係數予以反量化。然後，反量化部204將目前區塊之已被反量化的量化係數(亦即轉換係數)，輸出至反轉換部206。

[反轉換部] 反轉換部206藉由將從反量化部204輸入的轉換係數予以反轉換，來復原預測誤差。

例如從編碼位元串流解讀出的資訊表示適用EMT或AMT時(例如AMT旗標為真)，反轉換部206根據解讀出的表示轉換類型的資訊，來將目前區塊的轉換係數予以反轉換。

又，例如從編碼位元串流解讀出的資訊表示適用NSST時，反轉換部206對轉換係數適用反再轉換。

[加算部] 加算部208藉由加算從反轉換部206輸入的預測誤差與從預測控制部220輸入的預測樣本，來重構成目前區塊。然後，加算部208將重構的區塊輸出至區塊記憶體210及迴路濾波部212。

[區塊記憶體] 區塊記憶體210是用以儲存區塊的記憶部，該區塊為幀內預測所參考的區塊，且為解碼對象圖片(以下稱為目前圖片)內的區塊。具體而言，區塊記憶體210儲存從加算部208輸出的重構區塊。

[迴路濾波部] 迴路濾波部212對於由加算部208重構的區塊，施以迴路濾波，將已濾波的重構區塊輸出至幀記憶體214及顯示裝置等。

當從編碼位元串流解讀出的表示ALF之開啟/關閉的資訊表示ALF為開啟時，根據局部梯度的方向及活性度而從複數個濾波中選擇1個濾波，將選擇的濾波適用於重構區塊。

[幀記憶體] 幀記憶體214是用以儲存幀間預測所用的參考圖片的記憶部，有時亦稱為幀緩衝器。具體而言，幀記憶體214儲存由迴路濾波部212所濾波的重構區塊。

[幀內預測部] 幀內預測部216根據從編碼位元串流解讀出的幀內預測模式，參考儲存於區塊記憶體210的目前圖片內的區塊來進行幀內預測，藉此生成預測訊號(幀內預測訊號)。具體而言，幀內預測部216參考鄰接於目前區塊的區塊的樣本(例如亮度值、色差值)來進行幀內預測，藉此生成幀內預測訊號，將幀內預測訊號輸出至預測控制部220。

再者，於色差區塊的幀內預測中，選擇參考亮度區塊的幀內預測模式時，幀內預測部216亦可根據目前區塊的亮度成分，來預測目前區塊的色差成分。

又，從編碼位元串流解讀出的資訊表示適用PDPC時，幀內預測部216根據水平/垂直方向的參考像素的梯度，來修正幀內預測後的像素值。

[幀間預測部] 幀間預測部218參考儲存於幀記憶體214的參考圖片，預測目前區塊。預測是以目前區塊或目前區塊內的子區塊(例如4´4區塊)的單位進行。例如幀間預測部218利用從編碼位元串流解讀出的移動資訊(例如移動向量)來進行移動補償，藉此生成目前區塊或子區塊的幀間預測訊號，並將幀間預測訊號輸出至預測控制部220。

再者，從編碼位元串流解讀出的資訊表示適用OBMC模式時，幀間預測部218不僅可利用藉由移動估計所獲得的目前區塊的移動資訊，亦可利用鄰接區塊的移動資訊，來生成幀間預測訊號。

又，從編碼位元串流解讀出的資訊表示適用FRUC模式時，幀間預測部218按照從編碼位元串流解讀出的樣式匹配的方法(雙向匹配或模板匹配)，來進行移動估計，藉此導出移動資訊。然後，幀間預測部218利用導出的移動資訊來進行移動補償。

又，幀間預測部218在適用BIO模式時，根據假定等速直線運動的模型來導出移動向量。又，從編碼位元串流解讀出的資訊表示適用仿射移動補償預測模式時，幀間預測部218根據複數個鄰接區塊的移動向量，以子區塊單位來導出移動向量。

[預測控制部] 預測控制部220選擇幀內預測訊號及幀間預測訊號的任一者，將選擇的訊號作為預測訊號而輸出至加算部208。

[去區塊濾波處理] 接著，一面參考圖式，一面具體說明在如以上構成的編碼裝置100及解碼裝置200中所進行的去區塊濾波處理。再者，以下主要說明編碼裝置100所具備的迴路濾波部120的動作，但解碼裝置200所具備的迴路濾波部212的動作亦同樣如此。

如上述，編碼裝置100在編碼圖像時，藉由從原訊號減去幀內預測部124或幀間預測部126所生成的預測訊號，來算出預測誤差。編碼裝置100藉由對預測誤差施以正交轉換處理及量化處理等，來生成量化係數。進而言之，編碼裝置100藉由將獲得的量化係數進行反量化及反正交轉換，來復原預測誤差。於此，由於量化處理為不可逆處理，因此復原的預測誤差相對於轉換前的預測誤差會有誤差(量化誤差)。

於迴路濾波部120進行的去區塊濾波處理，是以該量化誤差的減低等作為目的而施行的濾波處理的一種。為了去除區塊雜訊而對區塊邊界適用去區塊濾波處理。再者，以下亦將該去區塊濾波處理，僅記為濾波處理。

圖11是表示迴路濾波部120所實施的去區塊濾波處理的一例的流程圖。例如，圖11所示的處理是在每區塊邊界進行。

首先，迴路濾波部120計算區塊邊界強度(Bs)，以決定去區塊濾波處理的動向(S101)。具體而言，迴路濾波部120利用作為濾波對象之區塊的預測模式或移動向量的性質等，來決定Bs。例如若隔著邊界的區塊中之至少一方為幀內預測區塊，則設定為Bs=2。又，若符合條件(1)～(3)中之至少一條件，則設定為Bs=1，而前述條件(1)～(3)如下：(1)隔著邊界的區塊中之至少一方的區塊包含主導的正交轉換係數；(2)隔著區塊邊界的兩區塊的移動向量的差分為閾值以上；及(3)隔著區塊邊界的兩區塊的移動向量的數目或參考圖像為不同。若未符合條件(1)～(3)中之任一條件，則設定為Bs=0。

接著，迴路濾波部120判定設定的Bs是否大於第1閾值(S102)。Bs為第1閾值以下時(S102，No)，迴路濾波部120不進行濾波處理(S107)。

另，設定的Bs大於第1閾值時(S102，Yes)，迴路濾波部120利用區塊邊界的兩側區塊內的像素值，來計算邊界區域的像素變動d(S103)。利用圖12來說明該處理。若如圖12定義區塊邊界的像素值，則迴路濾波部120計算例如d=|p30-2×p20+p10|+|p33-2×p23+p13|+|q30-2×q20+q10|+|q33-2×q23+q13|。

接著，迴路濾波部120判定計算的d是否大於第2閾值(S104)。d為第2閾值以下時(S104，No)，迴路濾波部120不進行濾波處理(S107)。再者，第1閾值與第2閾值不同。

計算的d大於第2閾值時(S104，Yes)，迴路濾波部120決定濾波特性(S105)，進行已決定的濾波特性的濾波處理(S106)。例如，利用5抽頭(tap)的濾波(1,2,2,2,1)/8。總言之，對於圖12的p10，進行(1×p30+2×p20+2×p10+2×q10+1×q20)/8的運算。於此，在濾波處理時，以讓位移受限於一定範圍內的方式進行截割(Clip)處理，以使平滑化不至於過度。於此所謂截割處理，是指在例如截割處理的閾值為tc，濾波前的像素值為q的情況下，濾波後的像素值僅可取q±tc的範圍的閾值處理。

以下，說明在本實施形態的迴路濾波部120所進行的去區塊濾波處理中，適用隔著區塊邊界呈非對稱的濾波之例。

圖13是表示本實施形態的去區塊濾波處理的一例的流程圖。再者，圖13所示的處理就每區塊邊界進行，或就包含1個以上像素的每單位像素進行均可。

首先，迴路濾波部120取得編碼參數，利用取得的編碼參數，決定隔著區塊邊界呈非對稱的濾波特性(S111)。於本發明，取得的編碼參數例如是將誤差分布附加特徵。

於此，濾波特性為用於濾波係數及濾波處理之控制的參數等。又，編碼參數可為任何參數，只要是可用於決定濾波特性的參數均可。編碼參數可為表示誤差本身的資訊，亦可為與誤差相關聯(例如影響誤差的大小關係)的資訊或參數。

又，以下，將根據編碼參數而判定為誤差大或小的像素，亦即誤差大或誤差小的可能性高的像素，亦僅稱為大誤差或小誤差的像素。

於此，無須每次進行判定處理，亦可按照預先決定的、將編碼參數與濾波特性賦予關聯的規則，來進行處理。

再者，即使是從統計上看來誤差小的可能性高的像素，若就每個像素來看，其誤差有可能比誤差大的可能性高的像素的誤差還大。

接著，迴路濾波部120執行具有已決定的濾波特性的濾波處理(S112)。

於此，步驟S111所決定的濾波特性未必須為非對稱的設計，甚至可採用對稱的設計。再者，以下亦將具有隔著區塊邊界呈非對稱之濾波特性的濾波，稱為非對稱濾波，將具有隔著區塊邊界呈對稱之濾波特性的濾波，稱為對稱濾波。

具體而言，考慮以下兩點來決定濾波特性：使判定為誤差小的像素不易受到周圍的誤差大的像素影響，使判定為誤差大的像素容易受到周圍的誤差小的像素影響。總言之，誤差越大的像素，則以濾波處理的影響變大的方式，來決定濾波特性。例如誤差越大的像素，則以濾波處理前後的像素值之變化量變大的方式，來決定濾波特性。藉此，就誤差小的可能性高的像素而言，可防止值大幅變動而脫離真值。反之，就誤差大的可能性高的像素而言，可藉由強烈受到誤差小的像素影響，使得值變動，以減低誤差。

再者，以下將藉由濾波使位移變化的要素，定義為濾波的權重。換言之，權重表示濾波處理對於對象像素的影響程度。增大權重意指濾波處理對於該像素的影響變大。換言之，濾波處理後的像素值容易受到其他像素影響。具體而言，增大權重是指以濾波處理前後的像素值之變化量變大的方式，或以濾波處理容易進行的方式，來決定濾波特性。

總言之，若像素的誤差越大，則迴路濾波部120越增大權重。再者，所謂像素的誤差越大則越增大權重，並不限於根據誤差連續地變更權重的情況，亦包含階段性地變更權重的情況。總言之，第1像素的權重若小於誤差比第1像素大的第2像素的權重即可。又，以下亦採用同樣的表現。

再者，就最終決定的濾波特性而言，並不一定誤差越大的像素，權重必須越大。總言之，只要迴路濾波部120將例如藉由習知手法決定之作為基準的濾波特性，修正為傾向於誤差越大的像素則權重越大即可。

以下說明非對稱地變更權重的具體的複數種手法。再者，採用以下所示的任一種手法，或採用組合複數種手法的手法均可。

作為第1手法，誤差越大的像素，迴路濾波部120使濾波係數越小。例如，迴路濾波部120減低誤差大的像素的濾波係數，增大誤差小的像素的濾波係數。

說明例如於圖12所示的像素p1進行的去區塊濾波處理之例。以下，將非適用本手法，而是以例如習知手法決定的濾波稱為基準濾波。基準濾波是與區塊邊界呈垂直的5抽頭的濾波，且為橫跨(p3,p2,p1,q1,q2)而延伸的濾波。又，濾波係數設為(1,2,2,2,1)/8。又，區塊P誤差大的可能性高，區塊Q誤差小的可能性高。此時，設定濾波係數，以使誤差大的區塊P容易受到誤差小的區塊Q影響。具體而言，用於誤差小的像素的濾波係數設定成較大，用於誤差大的像素的濾波係數設定成較小。例如濾波係數利用(0.5,1.0,1.0,2.0,1.5)/6。

作為其他例，誤差小的像素的濾波係數亦可利用0。例如濾波係數亦可利用(0,0,1,2,2)/5。總言之，亦可變更濾波抽頭。反之，亦可將現為0的濾波係數設為0以外之值。例如濾波係數亦可利用(1,2,2,2,1,1)/9等。總言之，迴路濾波部120亦可將濾波抽頭往誤差小的一側延伸。

再者，基準濾波不一定須如上述(1,2,2,2,1)/8是以對象像素為中心呈左右對稱的濾波。於該情況下，迴路濾波部120進一步調整該濾波。例如用於Q區塊左端的像素之基準濾波的濾波係數為(1,2,3,4,5)/15，用於區塊P右端的像素之基準濾波的濾波係數為(5,4,3,2,1)/15。總言之，此時，在隔著區塊邊界的像素間，利用左右反轉的濾波係數。該類隔著區塊邊界呈反轉對稱的濾波特性，亦可稱為「隔著區塊邊界呈對稱的濾波特性」。總言之，隔著區塊邊界呈非對稱的濾波特性，是指隔著區塊邊界不呈反轉對稱的濾波特性。

又，與上述同樣地，當區塊P的誤差大，區塊Q的誤差小時，迴路濾波部120例如將用於區塊P右端的像素之基準濾波的濾波係數(5,4,3,2,1)/15，變更為(2.5,2.0,1.5,2.0,1.0)/9。

如此，於去區塊濾波處理中，是利用濾波係數隔著區塊邊界呈非對稱地變化的濾波。例如迴路濾波部120按照預先決定的基準，來決定具有隔著區塊邊界呈非對稱之濾波特性的基準濾波。迴路濾波部120將該基準濾波，變更為具有隔著區塊邊界呈非對稱的濾波特性。具體而言，迴路濾波部120進行如下至少一者：增大基準濾波的濾波係數中誤差小的至少一個像素的濾波係數，及減低誤差大的至少一個像素的濾波係數。

接著，說明非對稱地變更權重的第2手法。首先，迴路濾波部120進行利用基準濾波的濾波運算。接著，迴路濾波部120對於基準變化量D0，進行隔著區塊邊界呈非對稱的權重賦予，而前述基準變化量D0是利用基準濾波的濾波運算前後的像素值的變化量。再者，以下為了區別，將利用基準濾波的處理稱為濾波運算，將包含濾波運算及其後的修正處理(例如非對稱的權重賦予)的一連串處理，稱為濾波處理(去區塊濾波處理)。

例如迴路濾波部120對於誤差小的像素，藉由對基準變化量D0乘算小於1的係數，來算出修正後的變化量D1。又，迴路濾波部120對於誤差大的像素，藉由對基準變化量D0乘算大於1的係數，來算出修正後的變化量D1。接著，迴路濾波部120藉由對濾波運算前的像素值加算修正後的變化量D1，來生成濾波處理後的像素值。再者，迴路濾波部120亦可僅進行對於誤差小的像素的處理、及對於誤差大的像素的處理中之一者。

例如與上述同樣地假定區塊P的誤差大，區塊Q的誤差小。此時，迴路濾波部120對於誤差小的區塊Q所包含的像素，例如使基準變化量D0成為0.8倍，來算出修正後的變化量D1。又，迴路濾波部120對於誤差大的區塊P所包含的像素，例如使基準變化量D0成為1.2倍，來算出修正後的變化量D1。藉由如此，可縮小誤差小的像素的值之變動。又，可增大誤差大的像素的值之變動。

再者，乘算於誤差小的像素的基準變化量D0之係數、與乘算於誤差大的像素的基準變化量D0之係數的比率，有時亦可選擇1：1。此時，濾波特性隔著區塊邊界呈對稱。

又，迴路濾波部120亦可藉由對基準係數乘算常數，來算出乘算於基準變化量D0的係數。此時，迴路濾波部120針對誤差大的像素，是利用比誤差小的像素更大的常數。結果，相對於誤差大的像素之像素值的變化量增加，相對於誤差小的像素之像素值的變化量減少。例如迴路濾波部120對於與區塊邊界鄰接的像素，利用1.2或0.8作為常數，對於從與區塊邊界鄰接的像素距離1像素的像素，利用1.1或0.9作為常數。又，基準係數是藉由例如(A×(q1-p1)-B×(q2-p2)+C)/D來求出。於此，A、B、C、D為常數。例如A=9、B=3、C=8、D=16。又，p1、p2、q1、q2是隔著區塊邊界且如圖12所示之位置關係的像素之像素值。

接著，說明非對稱地變更權重的第3手法。與第2手法同樣，迴路濾波部120進行利用基準濾波之濾波係數的濾波運算。接著，迴路濾波部120對於濾波運算後的像素值，加上隔著區塊邊界呈非對稱的偏移值。具體而言，迴路濾波部120對誤差大的像素的像素值加上偏移值，以使得誤差大的像素之值接近誤差小的可能性高的像素之值，並且使得該誤差大的像素之位移變大。又，迴路濾波部120對誤差小的像素的像素值加上負的偏移值，以使得誤差小的像素之值不接近誤差大的像素之值，並且減低該誤差小的像素的位移。結果，相對於誤差大的像素之像素值的變化量增加，相對於誤差小的像素之像素值的變化量減少。再者，迴路濾波部120亦可僅進行對誤差小的像素的處理、及對誤差大的像素的處理中之一方。

例如迴路濾波部120對誤差大的區塊所含的像素，藉由對基準變化量D0的絕對值加算正的偏移值(例如1)，來算出修正後的變化量D1。又，迴路濾波部120對誤差小的區塊所含的像素，藉由對基準變化量D0的絕對值加算負的偏移值(例如-1)，來算出修正後的變化量D1。接著，迴路濾波部120藉由對濾波運算前的像素值加算修正後的變化量D1，來生成濾波處理後的像素值。再者，迴路濾波部120亦可對濾波運算後的像素值加上偏移值，而不對變化量加上偏移值。又，偏移值亦可並非隔著區塊邊界呈對稱。

又，在濾波抽頭從區塊邊界橫跨複數個像素而延伸時，迴路濾波部120可僅變更對某特定像素的權重，亦可變更對全部像素的權重。又，迴路濾波部120亦可因應從區塊邊界到對象像素的距離來變更權重。例如迴路濾波部120亦可將施加於從區塊邊界到2個像素為止的濾波係數設為非對稱，將施加於其後的像素的濾波係數設為對稱。又，濾波的權重對於複數個像素為共通權重，或就每像素設定均可。

接著，說明非對稱地變更權重的第4手法。迴路濾波部120進行利用基準濾波之濾波係數的濾波運算。接著，迴路濾波部120在濾波運算前後的像素值的變化量D超過基準值之截割幅度時，將變化量D截割成截割幅度。迴路濾波部120將截割幅度設定為隔著區塊邊界呈非對稱。

具體而言，迴路濾波部120使相對於誤差大的像素的截割幅度，大於誤差小的像素的截割幅度。例如迴路濾波部120使相對於誤差大的像素的截割幅度，成為誤差小的像素的截割幅度之常數倍。使截割幅度變化的結果，誤差小的像素之值無法大幅變化。又，誤差大的像素之值可大幅變化。

再者，迴路濾波部120亦可調整截割幅度的絕對值，而不指定截割幅度的比。例如迴路濾波部120將相對於誤差大的像素的截割幅度，固定成預先決定的基準截割幅度的兩倍。迴路濾波部120將誤差大的像素的截割幅度、與誤差小的像素的截割幅度的比，設定為1.2：0.8。具體而言，例如令基準截割幅度為10，令濾波運算前後的變化量D為12。此時，在直接利用基準截割幅度的情況下，藉由閾值處理將變化量D修正為10。另，在對象像素為誤差大的像素時，例如基準截割幅度設為1.5倍。據此，由於截割幅度為15，因此不進行閾值處理，變化量D為12。

接著，說明非對稱地變更權重的第5手法。迴路濾波部120將判定是否進行濾波處理的條件，設定為隔著區塊邊界呈非對稱。於此，判定是否進行濾波處理的條件為例如圖11所示的第1閾值或第2閾值。

具體而言，迴路濾波部120對誤差大的像素設定容易進行濾波處理的條件，對誤差小的像素設定不易進行濾波處理的條件。例如迴路濾波部120使相對於誤差小的像素的閾值，高於誤差大的像素的閾值。例如迴路濾波部120將相對於誤差小的像素的閾值，設為誤差大的像素的閾值之常數倍。

又，迴路濾波部120不僅指定閾值的比，亦可調整閾值的絕對值。例如迴路濾波部120亦可將相對於誤差小的像素的閾值，固定成預先決定的基準閾值的兩倍，將誤差小的像素的閾值、與誤差大的像素的閾值的比，設定為1.2：0.8。

具體而言，步驟S104的第2閾值的基準閾值為10，從區塊內的像素值計算出的d為12。將基準閾值直接作為第2閾值利用時，判定進行濾波處理。另，對象像素為誤差小的像素時，例如利用基準閾值之1.5倍的值來作為第2閾值。此時，第2閾值為15，比d大。據此判定不進行濾波處理。

又，上述第1～第5方法所用之表示根據誤差之權重的常數等，可為在編碼裝置100及解碼裝置200預先決定之值，亦可為可變。具體而言，該常數為：乘算於第1手法之濾波係數或基準濾波之濾波係數的係數，乘算於第2手法之基準變化量D0的係數或乘算於基準係數的常數，乘算於第3手法之偏移值、第4手法之截割幅度或基準截割幅度的常數，及乘算於第5手法之閾值或基準閾值的常數等。

常數為可變時，表示該常數的資訊亦可例如作為序列或片段單位的參數而包含於位元串流，並從編碼裝置100傳送給解碼裝置200。再者，表示常數的資訊為表示常數本身的資訊，或表示與基準值的比或差的資訊均可。

又，因應誤差來變更係數或常數的方法，包括例如線性地變更的方法、二次函數式地變更的方法、指數函數式地變更的方法、或利用表示誤差與常數的關係的查找表的方法等。

又，誤差為基準以上時，或誤差為基準以下時，利用固定值來作為常數亦可。例如迴路濾波部120亦可在誤差為預定範圍以下時，將變數設定成第1值，在誤差為預定範圍以上時，將變數設定成第2值，當誤差在預定範圍內時，因應誤差將變數從第1值連續變更至第2值。

又，迴路濾波部120亦可在誤差超過預定基準時，使用對稱濾波(基準濾波)而不使用非對稱濾波。

又，迴路濾波部120在利用查找表等時，可保持誤差大時及誤差小時雙方的表，亦可僅保持一方的表，並從該表的內容，按照預先制訂的規則來算出另一方的常數。

如以上，本實施形態的編碼裝置100及解碼裝置200藉由利用非對稱濾波，可減低重構圖像的誤差，因此可提升編碼效率。

(實施形態2) 於實施形態2～實施形態6，說明上述將誤差分布附加特徵之編碼參數的具體例。於本實施形態，迴路濾波部120因應對象像素的區塊內位置，來決定濾波特性。

圖14是表示本實施形態的去區塊濾波處理的一例的流程圖。首先，迴路濾波部120取得表示對象像素的區塊內位置的資訊，來作為將誤差分布附加特徵的編碼參數。迴路濾波部120根據該位置，來決定隔著區塊邊界呈非對稱的濾波特性(S121)。

接著，迴路濾波部120執行具有已決定的濾波特性的濾波處理(S122)。

於此，距離幀內預測的參考像素遠的像素，其誤差比距離幀內預測的參考像素近的像素大的可能性高。故，迴路濾波部120以距離幀內預測的參考像素越遠的像素，該濾波處理前後的像素值變化量越大的方式，決定濾波特性。

例如H.265/HEVC或JEM的情況，如圖15所示，距離參考像素近的像素是指存在於區塊內左上的像素，距離參考像素近的像素是指存在於區塊內右下的像素。故，迴路濾波部120以區塊內右下像素的權重大於左上像素的權重的方式，決定濾波特性。

具體而言，迴路濾波部120對於距離幀內預測的參考像素遠的像素，如實施形態1所說明，以濾波處理的影響變大的方式決定濾波特性。總言之，迴路濾波部120增大距離幀內預測的參考像素遠的像素的權重。於此，增大權重是如上述，實施(1)～(6)中之至少一項：(1)減低濾波係數；(2)增大隔著邊界的像素(亦即距離幀內預測的參考像素近的像素)的濾波係數；(3)增大乘算於變化量的係數；(4)增大變化量的偏移值；(5)增大截割幅度；及(6)修正閾值以使濾波處理容易執行。另，迴路濾波部120對於距離幀內預測的參考像素近的像素，以濾波處理的影響變小的方式決定濾波特性。總言之，迴路濾波部120減低距離幀內預測的參考像素近的像素的權重。於此，減低權重是如上述，實施(1)～(6)中之至少一項：(1)增大濾波係數；(2)減低隔著邊界的像素(亦即距離幀內預測的參考像素近的像素)的濾波係數；(3)減低乘算於變化量的係數；(4)減低變化量的偏移值；(5)縮小截割幅度；及(6)修正閾值以使濾波處理不易執行。

再者，亦可在利用幀內預測時執行上述處理，在利用幀間預測的區塊不進行上述處理。但由於幀內預測區塊的性質有時亦受到幀間預測牽動，因此亦可對幀間預測區塊也進行上述處理。

又，迴路濾波部120亦可任意指定特定的區塊內位置來變更權重。例如迴路濾波部120亦可如上述增大區塊內右下的像素的權重，減低區塊內左上的像素的權重。再者，不限於左上及右下，迴路濾波部120亦可任意指定區塊內的位置來變更權重。

又，如圖15所示，於左右方向的鄰接區塊邊界，左側區塊的誤差變大，右側區塊的誤差變大。故，迴路濾波部120亦可對左右方向的鄰接區塊邊界，增大左側區塊的權重，減低右側區塊的權重。

同樣地，於左右方向的鄰接區塊邊界，上側區塊的誤差變大，下側區塊的誤差變小。故，迴路濾波部120亦可相對於上下方向的鄰接區塊邊界，增大上側區塊的權重，減低下側區塊的權重。

又，迴路濾波部120亦可因應從幀內預測的參考像素起算的距離，來使權重變化。又，迴路濾波部120以區塊邊界為單位來決定權重，或以像素為單位來決定權重均可。距離參考像素越遠，誤差越容易變大。故，迴路濾波部120以距離參考像素越遠，權重的梯度變得越陡峭的方式，決定濾波特性。又，迴路濾波部120以區塊右邊上側的權重的梯度比下側的權重的梯度平緩的方式，決定濾波特性。

(實施形態3) 於本實施形態，迴路濾波部120因應正交轉換基底來決定濾波特性。

圖16是表示本實施形態的去區塊濾波處理的一例的流程圖。首先，迴路濾波部120取得表示用於對象區塊的正交轉換基底的資訊，來作為將誤差分布附加特徵的編碼參數。迴路濾波部120根據該正交轉換基底，來決定隔著區塊邊界呈非對稱的濾波特性(S131)。

接著，迴路濾波部120執行具有已決定的濾波特性的濾波處理(S132)。

編碼裝置100從複數個候補中，選擇一個進行正交轉換時的轉換基底即正交轉換基底。複數個候補包含例如DCT-II等0維之轉換基底為平坦的基底，及DST-VII等0維之轉換基底為非平坦的基底。圖17是表示DCT-II的轉換基底的圖。圖18是表示DCT-VII的轉換基底的圖。

DCT-II的0維基底不受區塊內的位置影響均為一定。總言之，於利用DCT-II時，區塊內的誤差為一定。故，迴路濾波部120在隔著區塊邊界的雙方區塊是以DCT-II轉換時，不利用非對稱濾波，而是進行利用對稱濾波的濾波處理。

另，DST-VII的0維基底隨著與左或上區塊邊界的距離拉長，值變得越大。總言之，隨著與左或上區塊邊界的距離拉長，誤差變大的可能性高。故，迴路濾波部120在隔著區塊邊界的2個區塊之至少一方是以DST-VII轉換時，利用非對稱濾波。具體而言，迴路濾波部120以如下方式決定濾波特性：低維(例如0維)基底的區塊內之值越小的像素，濾波處理的影響變得越小。

具體而言，在隔著區塊邊界的雙方區塊是以DST-VII轉換時，迴路濾波部120對於區塊內的右下像素，藉由上述手法來決定濾波特性，以使濾波處理的影響變大。又，迴路濾波部120對於區塊內的左上像素決定濾波特性，以使濾波處理的影響變大。

又，DST-VII與DCT-II上下鄰接時，迴路濾波部120亦決定濾波特性，以使對鄰接於區塊邊界之使用DST-VII的上區塊的下部像素之濾波的權重，比對使用DCT-II的下區塊的上部像素之濾波的權重大。然而，此時的低維基底的振幅差，比DST-VII彼此鄰接時的低維基底的振幅差小。故，迴路濾波部120以此時的權重之斜率比DST-VII彼此鄰接時的權重之斜率小的方式設定濾波特性。迴路濾波部120例如將DCT-II與DCT-II鄰接時的權重設定為1：1(對稱濾波)，將DST-VII與DST-VII鄰接時的權重設定為1.3：0.7，將DST-VII與DCT-II鄰接時的權重設定為1.2：0.8。

(實施形態4) 於本實施形態，迴路濾波部120因應隔著區塊邊界的像素值，來決定濾波特性。

圖19是表示本實施形態的去區塊濾波處理的一例的流程圖。首先，迴路濾波部120取得表示隔著區塊邊界的區塊內的像素值之資訊，來作為將誤差分布附加特徵的編碼參數。迴路濾波部120根據該像素值，來決定隔著區塊邊界呈非對稱的濾波特性(S141)。

接著，迴路濾波部120執行具有已決定的濾波特性的濾波處理(S142)。

例如若像素值的差d0越大，迴路濾波部120越增大隔著區塊邊界之濾波特性的差異。具體而言，迴路濾波部120以濾波處理的影響變大的方式決定濾波特性。例如迴路濾波部120在符合d0＞(量化參數)´(常數)時，將權重設定為1.4：0.6，在不符合上述關係時，將權重設定為1.2：0.8。總言之，迴路濾波部120比較像素值的差d0與根據量化參數的閾值，當像素值的差d0大於閾值時，使隔著區塊邊界之濾波特性的差異比像素值的差d0小於閾值時大。

作為其他例，例如若隔著區塊邊界之兩區塊內的像素值之變異數的平均值b0越大，迴路濾波部120越增大隔著區塊邊界的濾波特性的差異。具體而言，迴路濾波部120亦可以濾波處理的影響變大的方式決定濾波特性。例如迴路濾波部120在符合b0＞(量化參數)´(常數)時，將權重設定為1.4：0.6，不符合上述關係時，將權重設定為1.2：0.8。總言之，迴路濾波部120比較像素值的變異數b0、與根據量化參數的閾值，當像素值的變異數b0大於閾值時，使隔著區塊邊界的濾波特性的差異比像素值的變異數b0小於閾值時大。

再者，可藉由上述實施形態2或3的手法、或後述實施形態6的手法等，來特定出要將鄰接區塊中哪個區塊的權重增大，亦即特定出哪個區塊的誤差較大。總言之，迴路濾波部120按照預定的規則(例如實施形態2、3或6的手法)，來決定隔著區塊邊界呈非對稱的濾波特性。接著，迴路濾波部120根據像素值的差d0，變更該決定的濾波特性，以使隔著區塊邊界的濾波特性的差異變大。總言之，迴路濾波部120增大誤差大的像素的權重與誤差小的像素的權重的比或差。

於此，像素值的差d0大時，由於有可能是區塊邊界與圖像內的物件的邊緣一致的情況，因此於該個案中，藉由減低隔著區塊邊界的濾波特性的差異，可抑制進行非必要的平滑化。

再者，迴路濾波部120亦可與上述相反，若像素值的差d0越大，越減低隔著區塊邊界的濾波特性的差異。具體而言，迴路濾波部120亦可以濾波處理的影響差異變小的方式決定濾波特性。例如迴路濾波部120在符合d0＞(量化參數)´(常數)時，將權重設定為1.2：0.8，不符合上述關係時，將權重設定為1.4：0.6。再者，於符合上述關係時，權重設定為1：1(對稱濾波)亦可。總言之，迴路濾波部120比較像素值的差d0、與根據量化參數的閾值，當像素值的差d0大於閾值時，使隔著區塊邊界的濾波特性的差異比像素值的差d0小於閾值時小。

例如，像素值的差d0大代表區塊邊界容易醒目，因此在該類個案中，藉由減低隔著區塊邊界的濾波特性的差異，可抑制平滑化因非對稱的濾波而減弱。

再者，亦可同時進行該等兩種處理。例如迴路濾波部120亦可在像素值的差d0小於第1閾值時，利用第1權重，在像素值的差d0為第1閾值以上、小於第2閾值時，利用差異比第1權重大的第2權重，在像素值的差d0為第2閾值以上時，利用差異比第2權重小的第3權重。

又，像素值的差d0為隔著邊界的像素值的差分本身，或為像素值的差的平均或變異數均可。例如像素值的差d0是藉由(A×(q1-p1)-B×(q2-p2)+C)/D求出。於此，A、B、C、D為常數。例如A=9、B=3、C=8、D=16。又，p1、p2、q1、q2是隔著區塊邊界且如圖12所示之位置關係的像素之像素值。

再者，該像素值的差d0及權重的設定以像素單位進行，以區塊邊界單位進行，或以包含複數個區塊的區塊群單位(例如LCU(Largest Coding Unit(最大編碼單元)為單位進行均可。

(實施形態5) 於本實施形態，迴路濾波部120因應幀間預測方向及區塊邊界方向，來決定濾波特性。

圖20是表示本實施形態的去區塊濾波處理的一例的流程圖。首先，迴路濾波部120取得表示幀內預測的預測方向與區塊邊界的角度之資訊，來作為將誤差分布附加特徵的編碼參數。迴路濾波部120根據該角度，來決定隔著區塊邊界呈非對稱的濾波特性(S151)。

接著，迴路濾波部120執行具有已決定的濾波特性的濾波處理(S152)。

具體而言，迴路濾波部120在上述角度越接近垂直時，越增大隔著區塊邊界的濾波特性的差異，在上述角度越接近水平時，越減低隔著區塊邊界的濾波特性的差異。更具體而言，是以如下方式決定濾波特性：當幀內預測方向相對於區塊邊界接近垂直時，使相對於隔著區塊邊界之兩側像素的濾波之權重差變大，當幀內預測方向相對於區塊邊界接近水平時，使相對於隔著區塊邊界之兩側像素的濾波之權重差變小。圖21是表示相對於幀內預測方向與區塊邊界的方向的關係之權重例的圖。

再者，可藉由上述實施形態2或3的手法、或後述實施形態6的手法等，來特定出要將鄰接區塊中之哪一個區塊的權重增大，亦即特定出哪一個區塊的誤差較大。總言之，迴路濾波部120按照預定的規則(例如實施形態2、3或6的手法)，來決定隔著區塊邊界呈非對稱的濾波特性。接著，迴路濾波部120根據幀內預測方向及區塊邊界的方向，變更該決定的濾波特性，以使隔著區塊邊界的濾波特性的差異變大。

又，編碼裝置100及解碼裝置200例如利用幀內預測模式，來特定出幀內預測方向。

再者，幀內預測模式為Planar(平面)模式或DC模式時，迴路濾波部120不考慮區塊邊界的方向亦可。例如迴路濾波部120在幀內預測模式為Planar模式或DC模式時，亦可不受區塊邊界的方向影響而利用預先決定的權重或權重差。又，迴路濾波部120在幀內預測模式為Planar模式或DC模式時，亦可利用對稱模式。

(實施形態6) 於本實施形態，迴路濾波部120因應表示量化寬度的量化參數，來決定濾波特性。

圖22是表示本實施形態的去區塊濾波處理的一例的流程圖。首先，迴路濾波部120取得表示對象區塊量化時所用的量化參數的資訊，來作為將誤差分布附加特徵的編碼參數。迴路濾波部120根據該量化參數，來決定隔著區塊邊界呈非對稱的濾波特性(S161)。

接著，迴路濾波部120執行具有已決定的濾波特性的濾波處理(S162)。

於此，量化參數越大，誤差大的可能性越高。故，迴路濾波部120以量化參數越大時濾波處理的影響越大的方式決定濾波特性。

圖23是表示對量化參數的權重例的圖。如圖23所示，迴路濾波部120使對區塊內左上像素的權重，隨著量化參數的增加而增加。另，迴路濾波部120減低對區塊內右下像素之量化參數的增加所伴隨的權重增加。總言之，迴路濾波部120以如下方式決定濾波特性：因左上像素的量化參數的變化而伴隨的濾波處理的影響的變化，比因右下像素的量化參數的變化而伴隨的濾波處理的影響的變化大。

於此，區塊內左上的像素比區塊內右下的像素容易受量化參數的影響。故，藉由進行如上述的處理，可適當減低誤差。

又，迴路濾波部120對於隔著邊界的二個區塊的各個區塊，根據該區塊的量化參數決定該區塊的權重，或算出二個區塊的量化參數的平均值，根據該平均值決定二個區塊的權重均可。又，迴路濾波部120亦可根據其中一區塊的量化參數，來決定二個區塊的權重。例如迴路濾波部120利用上述手法，根據其中一區塊的量化參數來決定該其中一區塊的權重。接著，迴路濾波部120根據已決定的權重，按照預先制訂的規則來決定另一區塊的權重。

又，迴路濾波部120在二個區塊的量化參數不同時，或二個區塊的量化參數的差超過閾值時，亦可利用對稱濾波。

又，於圖23是利用線性函數設定權重，但亦可利用線性函數以外的任意函數或表。例如亦可利用表示量化參數與量化步距(量化寬度)之關係的曲線。

又，迴路濾波部120在量化參數超過閾值時，亦可利用對稱濾波而不利用非對稱濾波。

又，量化參數以小數點精度記載時，迴路濾波部120亦可對量化參數進行四捨五入、無條件進位、無條件捨去等運算，將運算後的量化參數利用於上述處理。又，迴路濾波部120亦可考慮到小數點單位來進行上述處理。

如以上，於實施形態2～6，個別說明了判定誤差的複數種手法，亦可組合該等手法中之2個以上的手法。此時，迴路濾波部120亦可對於經組合的2個以上的要件進行權重賦予。

以下說明變形例。

亦可採用上述說明的編碼參數例以外的例子。例如編碼參數亦可為表示以下內容的資訊：正交轉換的種類(Wavelet、DFT或重複轉換等)、區塊尺寸(區塊的寬度及高度)、移動向量的方向、移動向量的長度、或用於幀間預測之參考圖片的張數、基準濾波的特性。又，亦可將其等組合利用。例如迴路濾波部120亦可僅在區塊邊界的長度為16像素以下，且濾波對象像素距離幀內預測的參考像素近時，利用非對稱濾波，其他情況則利用對稱濾波。作為其他例，亦可僅在利用複數個濾波候補中預定之某一類型的濾波時，進行非對稱處理。例如亦可僅在因基準濾波造成的位移是藉由(A×(q1-p1)-B×(q2-p2)+C)/D計算時，利用非對稱濾波。於此，A、B、C、D為常數。例如A=9、B=3、C=8、D=16。又，p1、p2、q1、q2是隔著區塊邊界且如圖12所示之位置關係的像素之像素值。

又，迴路濾波部120對亮度訊號及色差訊號中之一方進行上述處理，或對雙方進行上述處理均可。又，迴路濾波部120對亮度訊號及色差訊號進行共通的處理，或進行不同的處理均可。例如迴路濾波部120對亮度訊號及色差訊號利用不同的權重，或按照不同的規則來決定權重均可。

又，上述處理所用的各種參數是於編碼裝置100決定，或為預先決定的固定值均可。

又，亦可以預定單位切換進行或不進行上述處理、或切換上述處理的內容。預定單位是指例如片段單位、圖塊單位、波前分割單位或CTU單位。又，上述處理的內容是指採用上述所示複數種手法的哪一手法、或表示權重等之參數，或用以決定該等的參數。

又，迴路濾波部120亦可將進行上述處理的區域，限定於CTU的邊界、片段的邊界或圖塊的邊界。

又，濾波的抽頭數在對稱濾波及非對稱濾波為不同亦可。

又，迴路濾波部120亦可因應幀類別(I幀、P幀、B幀)，來變更是否進行上述處理，或變更上述處理的內容。

又，迴路濾波部120亦可因應是否進行了前段或後段的特定處理，來決定是否進行上述處理，或決定上述處理的內容。

又，迴路濾波部120因應用於區塊的預測模式的種類進行不同的處理，或僅對利用特定之預測模式的區塊進行上述處理均可。例如迴路濾波部120亦可於利用幀內預測的區塊、利用幀間預測的區塊、及合併的區塊進行不同的處理。

又，編碼裝置100亦可將濾波資訊編碼，而前述濾波資訊是表示是否進行上述處理或上述處理的內容的參數。總言之，編碼裝置100亦可生成包含濾波資訊的編碼位元串流。該濾波資訊亦可包含表示是否對亮度訊號進行上述處理的資訊、表示是否對色差訊號進行上述處理的資訊、或使處理就每預測模式不同的資訊等。

又，解碼裝置200亦可根據編碼位元串流所含的濾波資訊來進行上述處理。例如解碼裝置200亦可根據濾波資訊，來決定是否進行上述處理或上述處理的內容。

(實施形態7) 於本實施形態，與上述實施形態3同樣，迴路濾波部120因應正交轉換基底來決定濾波特性。再者，於本實施形態，更具體表示上述實施形態3的構成及處理，特別是說明因應相互鄰接的區塊各自的正交轉換基底的組合，來決定濾波特性的構成及處理。又，解碼裝置200的迴路濾波部212與編碼裝置100的迴路濾波部120具有同樣的構成，與該迴路濾波部120進行同樣的處理動作。因此，於本實施形態，說明編碼裝置100的迴路濾波部120的構成及處理動作，省略解碼裝置200的迴路濾波部212的構成及處理動作的詳細說明。

圖像編碼時所用的正交轉換可利用各種正交轉換基底。因此，會發生誤差分布在空間上並不平均的情況。再者，正交轉換基底亦稱為轉換基底或僅稱為基底。

具體而言，圖像編碼時，藉由幀間預測或幀內預測所生成的預測訊號與原訊號的殘差，是受到正交轉換而量化。資料量藉此刪減。由於量化為不可逆的處理，因此經編碼的圖像會從編碼前的圖像產生偏離，亦即產生誤差。

然而，在編碼中產生的誤差分布即使量化參數為一定，但在空間上未必會平均。該誤差分布應是取決於正交轉換的基底。

總言之，轉換部106從複數個候補中，選擇進行正交轉換時的轉換基底。此時，選擇例如DCT-II來作為0維之轉換基底為平坦的基底，有時亦選擇例如DST-VII來作為0維之轉換基底為非平坦的基底。

圖24是表示基底的一例即DCT-II的圖。再者，圖24的圖形的橫軸表示1維空間上的位置，縱軸表示基底的值(亦即振幅)。於此，k表示基底的維數，n表示1維空間上的位置，N表示受正交轉換的像素數。再者，1維空間上的位置n為水平方向的位置或垂直方向的位置，且從水平方向的左向右，或從垂直方向的上往下表示大的值。進而言之，xn表示位置n的像素的像素值(具體而言為殘差)，Xk表示k維的頻率轉換結果，亦即轉換係數。

於DCT-II中，k=0時，轉換係數X0是由下式(3)表示。 [數式3]

又，於DCT-II中，1£k£N-1時，轉換係數Xk是由下式(4)表示。 [數式4]

圖25是表示基底的一例即DST-VII的圖。再者，圖25的橫軸表示1維空間上的位置，縱軸表示基底的值(亦即振幅)。

於DST-VII中，0£k£N-1時，轉換係數Xk是由下式(5)表示。 [數式5]

如此，轉換係數基本上以S(像素值´轉換基底)來決定。又，低維基底的轉換係數比高維基底的轉換係數容易變大。因此，假定將0維基底為非平坦的DST-VII作為轉換基底而對區塊使用，則即使相同地於轉換係數加上量化誤差，仍會因應低維基底值(亦即振幅)而於誤差分布產生偏差。總言之，於區塊內，在低維基底值小的上側或左側區域，誤差容易變小，反之於區塊內，在低維基底值大的下側或右側區域，誤差容易變大。

圖26是表示相互鄰接的4個區塊的誤差分布、與對該等進行去區塊濾波處理後的誤差分布的圖。

如圖26(a)及(b)的左側所示，在4個區塊各自的正交轉換採用DST-VII時，在該等區塊內的上側或左側區域誤差小，反之，在該等區塊內的下側或右側區域誤差大。

如此，誤差分布不平均時，若進行具有對區塊邊界呈對稱之濾波特性的去區塊濾波處理，則產生如圖26(a)的右側所示的課題，亦即產生誤差變得更大的區域。總言之，誤差大的區域與誤差小的區域鄰接時，會對原本誤差小的像素添加多餘的誤差。

因此，於本實施形態，根據區塊的正交轉換所用的基底，來推定誤差分布，根據其結果進行去區塊濾波處理。藉此，如圖26(b)的左側所示，可抑制原本誤差大的像素中的該誤差，且不會對原本誤差小的像素添加誤差。

圖27是表示本實施形態的迴路濾波部120的主要構成的方塊圖。

迴路濾波部120具備誤差分布推定部1201、濾波特性決定部1202及濾波處理部1203。

誤差分布推定部1201根據誤差關聯參數來推定誤差分布。誤差關聯參數是對誤差的大小關係造成影響的參數，用以表示例如：隔著受到去區塊濾波處理之區塊邊界的2個區塊各自的正交轉換所適用的基底種別。

濾波特性決定部1202根據由誤差分布推定部1201推定的誤差分布，來決定濾波特性。

濾波處理部1203對區塊邊界附近進行去區塊濾波處理，而前述去區塊濾波處理具有由濾波特性決定部1202決定的濾波特性。

圖28是表示本實施形態的迴路濾波部120的概略處理動作的流程圖。

首先，誤差分布推定部1201取得誤差關聯參數。該誤差關聯參數是對誤差的大小關係造成影響的參數，換言之是將去區塊濾波處理的對象區域之誤差分布附加特徵的資訊。具體而言，誤差關聯參數是表示隔著受到去區塊濾波處理之區塊邊界的2個區塊在正交轉換所適用的基底種別，亦即表示2個區塊的基底組合。然後，誤差分布推定部1201根據該誤差關聯參數，推定去區塊濾波處理的對象區域的誤差分布(步驟S1201)。具體而言，誤差分布推定部1201從分類為N個的誤差分布中，選擇對應於該誤差關聯參數的第i(1£i£N)個誤差分布。藉此推定誤差分布。

接著，濾波特性決定部1202決定對應於該已推定的誤差分布的濾波特性(步驟S1202)。總言之，濾波特性決定部1202參考N個誤差分布分別與濾波特性相對應的表。然後，濾波特性決定部1202從該表中找出被與步驟S1201所推定的誤差分布相對應的濾波特性。藉此，決定濾波特性。

最後，濾波處理部1203對於由輸入訊號表示的圖像，執行反映在步驟S1202決定的濾波特性的去區塊濾波處理(步驟S1203)。再者，由輸入訊號所示的圖像為例如重構圖像。

於本實施形態，誤差關聯參數表示用於區塊轉換的基底種別。因此，於本實施形態，是根據基底來進行去區塊濾波處理。例如迴路濾波部120因應對相互鄰接的2個區塊所用之正交轉換的基底組合，決定去區塊濾波處理的濾波係數及閾值中之至少1個，來作為濾波特性。總言之，濾波特性是根據誤差的大小關係所設計。然後，迴路濾波部120對於對象像素，進行具有該已決定的濾波特性的去區塊濾波處理。

亦即，本實施形態的編碼裝置100具備例如處理電路及記憶體。然後，處理電路利用該記憶體進行以下處理。總言之，處理電路分別就複數個像素組成的各區塊，利用基底將該區塊轉換成由複數個轉換係數組成的區塊。接著，處理電路就該複數個轉換係數組成的各區塊，藉由對該區塊至少進行反轉換，來重構成由複數個像素組成的區塊。接著，處理電路根據經重構之相互鄰接的2個區塊各自的轉換所用的基底組合，來決定相對於該2個區塊的邊界的濾波特性。然後，處理電路進行具有已決定的濾波特性的去區塊濾波處理。

再者，處理電路是由例如CPU(Central Processing Unit)或處理器等所組成，作為圖1所示的迴路濾波部120發揮功能。又，記憶體為區塊記憶體118或幀記憶體122，或為其他記憶體均可。

同樣地，本實施形態的解碼裝置200具備例如處理電路及記憶體。然後，處理電路利用該記憶體進行以下處理。總言之，處理電路就利用基底的轉換所獲得之由複數個轉換係數組成的各區塊，藉由對該區塊至少進行反轉換，來重構成由複數個像素組成的區塊。接著，處理電路根據經重構之相互鄰接的2個區塊各自在轉換中所用的基底組合，來決定相對於該2個區塊的邊界的濾波特性。然後，處理電路進行具有已決定的濾波特性的去區塊濾波處理。

再者，處理電路是由例如CPU(Central Processing Unit)或處理器等所組成，作為圖10所示的迴路濾波部212發揮功能。又，記憶體為區塊記憶體210或幀記憶體214，或為其他記憶體均可。

藉此，由於是根據經重構之相互鄰接的2個區塊各自在轉換中所用的基底組合，來決定相對於該2個區塊的邊界的濾波特性，因此例如可決定相對於該邊界呈非對稱的濾波特性。其結果，即使是隔著2個區塊的邊界的像素各自的像素值的誤差有差異，藉由進行具有非對稱之濾波特性的去區塊濾波處理，仍可提高抑制該誤差的可能性。

圖29是表示本實施形態的迴路濾波部120的詳細構成的方塊圖。

與圖27所示的構成同樣，迴路濾波部120具備誤差分布推定部1201、濾波特性決定部1202及濾波處理部1203。迴路濾波部120進而具備開關1205、1207及1209、邊界判定部1204、濾波判定部1206、及處理判定部1208。

邊界判定部1204判定欲進行去區塊濾波處理的像素(亦即對象像素)是否存在於區塊邊界附近。然後，邊界判定部1204將該判定結果輸出至開關1205及處理判定部1208。

開關1205在邊界判定部1204判定對象像素存在於區塊邊界附近時，將濾波處理前的圖像輸出至開關1207。反之，開關1205在邊界判定部1204判定對象像素不存在於區塊邊界附近時，將濾波處理前的圖像輸出至開關1209。

濾波判定部1206根據位於對象像素周邊的至少1個周邊像素的像素值、及由誤差分布推定部1201所推定的誤差分布，判定是否對於對象像素進行去區塊濾波處理。然後，濾波判定部1206將該判定結果輸出至開關1207及處理判定部1208。

開關1207在濾波判定部1206判定對於對象像素進行去區塊濾波處理時，將經由開關1205所取得的濾波處理前的圖像，輸出至濾波處理部1203。反之，開關1207在濾波判定部1206判定對於對象像素不進行去區塊濾波處理時，將經由開關1205所取得的濾波處理前的圖像，輸出至開關1209。

濾波處理部1203經由開關1205及1207取得濾波處理前的圖像時，對於對象像素執行去區塊濾波處理，而前述去區塊濾波處理具有由濾波特性決定部1202所決定的濾波特性。然後，濾波處理部1203將該濾波處理後的像素輸出至開關1209。

開關1209因應處理判定部1208的控制，選擇性地輸出未受去區塊濾波處理的像素、及已由濾波處理部1203進行濾波處理的像素。

處理判定部1208根據邊界判定部1204及濾波判定部1206分別的判定結果，來控制開關1209。總言之，處理判定部1208在邊界判定部1204判定對象像素存在於區塊邊界附近，且濾波判定部1206判定對於對象像素進行去區塊濾波處理時，從開關1209輸出已受到去區塊濾波處理的像素。又，於上述情況以外，處理判定部1208使未受去區塊濾波處理的像素從開關1209輸出。藉由重複進行該類像素輸出，濾波處理後的圖像從開關1209輸出。

圖30是表示具有相對於區塊邊界呈對稱之濾波特性的去區塊濾波的例子的圖。

於HEVC的去區塊濾波處理中，利用像素值及量化參數來選擇特性不同的2個去區塊濾波，亦即選擇強濾波及弱濾波中之某一者。於強濾波，當如圖30所示存在有隔著區塊邊界的像素p0-p2及像素q0-q2時，像素q0-q2的各個像素值藉由進行如下式所示的運算，變更為像素q’0-q’2。 q’0=(p1+2×p0+2×q0+2×q1+q2+4)/8 q’1=(p0+q0+q1+q2+2)/4 q’2=(p0+q0+q1+3×q2+2×q3+4)/8

再者，於上述式中，p0-p2及q0-q2為像素p0-p2及像素q0-q2分別的像素值。又，q3是與像素q2在區塊邊界相反側鄰接的像素q3的像素值。又，於上述各式的右邊，乘算於去區塊濾波處理所用的各像素的像素值之係數為濾波係數。

進而言之，於HEVC的去區塊濾波處理，是進行截割處理，以使運算後的像素值不會變化超過閾值。於該截割處理中，依據上式進行運算後的像素值是利用由量化參數決定的閾值而截割成「運算前的像素值±2´閾值」。藉此可防止過度的平滑化。

然而，於該類去區塊濾波處理中，像素值的變化是由周邊的像素值及量化參數決定，該濾波特性是設計成不反映區塊內之誤差分布的不平均性。因此，有時發生圖26(a)所示的課題。

因此，本實施形態的迴路濾波部120反映區塊內的誤差分布的不平均性來決定去區塊濾波處理的濾波特性。具體而言，像素位於基底的振幅越大的位置，則誤差分布推定部1201推定該像素的像素值的誤差越大。接著，濾波特性決定部1202根據誤差分布推定部1201所推定的誤差分布來決定濾波特性。於此，濾波特性決定部1202在決定濾波特性中之濾波係數時，對誤差大的像素決定小的濾波係數，以使誤差小的像素不易受到周圍該誤差大的像素影響。又，濾波特性決定部1202對誤差小的像素決定大的濾波係數，以使誤差大的像素容易受到周圍該誤差小的像素影響。

亦即，由迴路濾波部120決定的濾波係數或閾值不一定須相對於區塊邊界呈對稱。迴路濾波部120對誤差大的對象像素進行去區塊濾波處理時，是對誤差小的像素決定大的濾波係數。又，迴路濾波部120對隔著區塊邊界的2個像素中之誤差小的對象像素進行去區塊濾波處理時，是對誤差大的像素決定小的濾波係數。

總言之，於本實施形態，處理電路在濾波特性的決定中，若像素位於區塊轉換所用之基底的振幅越大的位置，則對該像素決定越小的濾波係數，來作為濾波特性。又，如上述，低維基底的轉換係數比高維基底的轉換係數容易變大。因此，上述基底的振幅為例如低維基底的振幅，尤其為0維基底的振幅。

例如像素位於基底的振幅越大的位置，該像素的像素值越可能具有大誤差。於本實施形態的編碼裝置100，對於具有該大誤差的像素值的像素，決定小的濾波係數。因此，藉由具有該類濾波係數的去區塊濾波處理，可更加抑制該大誤差的像素值對小誤差的像素值帶來的影響。總言之，可更提高抑制誤差的可能性。又，越低維的基底對誤差帶來的影響越大。因此，像素位於0維基底的振幅越大的位置，對該像素決定越小的濾波係數，藉此可進一步提高抑制誤差的可能性。

再者，誤差分布推定部1201亦可利用正交轉換的基底、區塊尺寸、前段濾波的有無、幀內預測方向、幀間預測的參考張數、及量化參數等之至少一者，來作為誤差關聯參數。

圖31～圖35是表示各區塊尺寸之正交轉換的基底例的圖。總言之，該等圖表示區塊尺寸N=32、16、8及4之各尺寸的正交轉換的基底例。具體而言，圖31表示DCT-II的基底中0維～5維的基底，圖32表示DCT-V的基底中0維～5維的基底，圖33表示DCT-VIII的基底中0維～5維的基底。圖34表示DST-I的基底中0維～5維的基底，圖35表示DST-VII的基底中0維～5維的基底。再者，圖31～圖35的各圖表的橫軸表示1維空間上的位置，縱軸表示基底的值(亦即振幅)。

誤差分布推定部1201根據圖31～圖35所示之DCT-II、DCT-V、DCT-VIII、DST-I及DST-VII等基底來推定誤差分布。此時，誤差分布推定部1201亦可進一步根據適用了該等基底之正交轉換的區塊尺寸，亦即根據像素數N來推定誤差分布。

＜DST-VII/DST-VII的具體例＞ 圖36是表示決定的濾波係數的一例的圖。

例如迴路濾波部120如圖36所示，對於對象像素p0進行去區塊濾波處理。再者，區塊P與區塊Q例如在水平方向鄰接，對象像素p0於該區塊P中，存在於與區塊Q的邊界(亦即區塊邊界)接近的位置。

於此，例如區塊P及區塊Q分別是藉由DST-VII正交轉換的區塊。此情況下，如圖35所示，於區塊內的上側及左側的區域，低維(具體而言為0維)基底的振幅小，於該區塊內的下側及右側的區域，低維基底的振幅大。

因此，區塊P與區塊Q在水平方向鄰接時，於左側的區塊P的區塊邊界附近，亦即於該區塊P內的右側，低維(具體而言為0維)基底的振幅大。又，於右側的區塊Q的區塊邊界附近，亦即於區塊Q內的左側，低維基底的振幅小。

其結果，誤差分布推定部1201在區塊P內的區塊邊界附近推定出大的誤差，在區塊Q內的區塊邊界附近推定出小的誤差。藉此，推定區塊邊界附近的誤差分布。

濾波特性決定部1202根據該已推定的誤差分布，決定例如5抽頭的去區塊濾波的濾波係數，來作為濾波係數。

再者，5抽頭的去區塊濾波是利用排列於水平方向的5個像素的去區塊濾波。當像素p0為對象像素時，5個像素為像素p2、p1、p0、q0及q1。又，基準之5抽頭的去區塊濾波的濾波係數為例如(1,2,2,2,1)/8。藉由利用該基準之濾波係數的運算，亦即藉由p’0=(1×p2+2×p1+2×p0+2×q0+1×q1)/8，來算出對象像素p0運算後的像素值p’0。

本實施形態的濾波特性決定部1202在推定如上述的誤差分布時，是決定與上述基準不同的濾波係數來作為濾波特性。具體而言，對區塊P內推定為誤差大的位置的像素，決定小濾波係數，對於區塊Q內推定為誤差小的位置的像素，決定大濾波係數。更具體而言，如圖36所示，濾波特性決定部1202將用以對於區塊P的對象像素p0進行去區塊濾波處理之像素p2、p1、p0、q0、q1各自的濾波係數，決定如(0.5,1.0,1.0,2.0,1.5)/6。此時，對於區塊P內推定為誤差大的位置的像素p0，決定的濾波係數為「1.0/6」，對於區塊Q內推定為誤差小的位置的像素q0，決定的濾波係數為「2.0/6」。總言之，像素p0的濾波係數小於像素q0的濾波係數，像素q0的濾波係數大於像素p0的濾波係數。

其結果，濾波處理部1203藉由利用如此決定的濾波係數進行運算，亦即藉由p’0=(0.5×p2+1.0×p1+1.0×p0+2.0×q0+1.5×q1)/6，來算出對象像素p0運算後的像素值p’0。該運算後的像素值p’0為對象像素p0之去區塊濾波處理後的像素值。

於此，本實施形態的濾波特性決定部1202亦可根據該已推定的誤差分布，進一步決定截割處理的閾值來作為濾波特性。再者，閾值為上述基準值或截割值。例如濾波特性決定部1202對於基底的振幅大的位置，亦即推定為誤差大的位置的像素，決定大的閾值。反之，濾波特性決定部1202對於基底的振幅小的位置，亦即推定為誤差小的位置的像素，決定小的閾值。再者，該基底的振幅為例如低維基底的振幅，具體而言為0維基底的振幅。例如基準的閾值為10時，濾波特性決定部1202對於區塊P之接近區塊邊界的右側像素，決定12作為閾值，對於區塊Q之接近區塊邊界的左側像素，決定8作為閾值。

濾波處理部1203對於對象像素p0決定了閾值時，對於對象像素p0運算後的像素值p’0進行截割處理。對於對象像素p0決定的閾值為例如12。因此，濾波處理部1203在運算前的像素值p0到運算後的像素值p’0的變化量大於閾值12時，濾波處理部1203將該運算後的像素值p’0截割成像素值(p0+12)或像素值(p0-12)。更具體而言，濾波處理部1203在(p0-p’0)＞12時，將運算後的像素值p’0截割成(p0-12)，在(p0-p’0)＜－12時，將運算後的像素值p’0截割成(p0+12)。藉此，將像素值(p0+12)或像素值(p0-12)作為對象像素p0之去區塊濾波處理後的像素值p’0。另，該變化量為12以下時，將運算後的像素值p’0作為對象像素p0之去區塊濾波處理後的像素值。

如此，於本實施形態，2個區塊由第1區塊、及位於該第1區塊的右側或下側的第2區塊所構成。處理電路在濾波特性的決定中，當用於第1區塊之轉換的基底為第1基底，用於第2區塊之轉換的基底為第2基底時，根據第1基底及第2基底，分別決定對於第1區塊內位於邊界附近的像素的第1濾波係數、及對於第2區塊內位於邊界附近的像素的第2濾波係數，來作為濾波特性。具體而言，處理電路在濾波特性的決定中，當第1基底及第2基底為DST(Discrete Sine Transforms)-VII時，決定比第1濾波係數大的第2濾波係數來作為濾波特性。

第1基底及第2基底為DST-VII時，在第1區塊的邊界附近誤差大，在第2區塊的邊界附近誤差小的可能性高。因此，該情況下，決定比第1濾波係數大的第2濾波係數，進行具有該等第1及第2濾波係數的去區塊濾波處理，藉此可提高適當抑制該邊界附近的誤差的可能性。

又，處理電路亦可在濾波特性的決定中，進一步根據第1區塊及第2區塊的基底組合，決定相對於第1區塊的第1閾值及相對於第2區塊的第2閾值，來作為濾波特性。然後，處理電路於去區塊濾波處理中，藉由對於對象像素的像素值，進行利用第1濾波係數及第2濾波係數的運算，來取得對象像素的運算後像素值。接著，處理電路判定對象像素的運算前像素值到運算後像素值的變化量，是否大於第1閾值及第2閾值中對象像素所屬的區塊的閾值。然後，處理電路於變化量大於閾值時，將對象像素的運算後像素值截割成對象像素的運算前像素值與閾值的和或差。

藉此，由於在對象像素的運算後像素值的變化量大於閾值時，該運算後像素值被截割成運算前像素值與閾值的和或差，因此可抑制處理對象的像素值由於去區塊濾波處理而大幅變化。又，相對於第1區塊的第1閾值、及相對於第2區塊的第2閾值，是根據該第1區塊及第2區塊的基底組合所決定。因此，可分別於第1區塊及第2區塊，對位於基底振幅大的位置的像素，亦即誤差大的像素，決定大的閾值，對位於基底振幅小的位置的像素，亦即誤差小的像素，決定小的閾值。其結果，可許可誤差大的像素的像素值由於去區塊濾波處理而大幅變化，禁止誤差小的像素的像素值由於去區塊濾波處理而大幅變化。因此，可進一步提高適當抑制第1區塊及第2區塊邊界附近的誤差的可能性。

＜DST-VII/DCT-II的具體例＞ 圖37是表示決定的濾波係數的其他例的圖。

例如與圖36所示例同樣，迴路濾波部120如圖37所示，對於對象像素p0進行去區塊濾波處理。

於此，例如區塊P是藉由DST-VII正交轉換的區塊，區塊Q是藉由DCT-II正交轉換的區塊。此情況下，如圖35所示，於區塊P內的上側及左側的區域，低維(具體而言為0維)基底的振幅小，於該區塊P內的下側及右側的區域，低維基底的振幅大。另，如圖31所示，於區塊Q內，低維基底的振幅雖為固定，但比區塊P的上側及左側區域的振幅大，比區塊P的下側及右側區域的振幅小。亦即，於區塊Q內，低維基底的振幅固定且為中等。

因此，區塊P與區塊Q在水平方向鄰接時，於左側的區塊P的區塊邊界附近，亦即於該區塊P內的右側，低維(具體而言為0維)基底的振幅大。又，於右側的區塊Q的區塊邊界附近，亦即於該區塊Q內的左側，低維基底的振幅為中等。

其結果，誤差分布推定部1201在區塊P內的區塊邊界附近推定出大的誤差，在區塊Q內的區塊邊界附近推定出中等的誤差。藉此，推定區塊邊界附近的誤差分布。總言之，推定出一誤差分布，其比圖36所示例，在垂直於區塊邊界的方向上顯示更平緩的誤差變化。

濾波特性決定部1202根據該已推定的誤差分布，決定例如5抽頭的去區塊濾波的濾波係數，來作為濾波係數。總言之，濾波特性決定部1202決定濾波係數，以使區塊P內位於誤差大的位置的對象像素p0，容易受到區塊Q內具有中等誤差的像素影響。又，由於區塊邊界附近的誤差分布在垂直於區塊邊界的方向上顯示平緩的誤差變化，因此濾波特性決定部1202決定彼此的差分比圖36所示例更小的5個濾波係數。具體而言，濾波特性決定部1202將用以對區塊P的對象像素p0進行去區塊濾波處理之像素p2、p1、p0、q0、q1各自的濾波係數，決定如(0.5,1.0,1.5,1.75,1.25)/6。此時，對於區塊P內推定為誤差大的位置的像素p0，決定的濾波係數為「1.5/6」，對於區塊Q內推定為誤差中等的位置的像素q0，決定的濾波係數為「1.75/6」。總言之，像素p0的濾波係數小於像素q0的濾波係數，像素q0的濾波係數大於像素p0的濾波係數。又，像素p0的濾波係數與像素q0的濾波係數的差分小於圖36所示例的情況。

又，區塊P與區塊Q在垂直方向鄰接時，誤差分布推定部1201亦與上述同樣地推定誤差分布，濾波特性決定部1202根據該誤差分布來決定濾波係數。進而言之，濾波特性決定部1202亦可與圖36所示例同樣地決定截割處理的閾值，濾波處理部1203利用該閾值來進行截割處理。

＜DST-I/DST-I的具體例＞ 圖38是表示決定的濾波係數的進一步其他例的圖。

例如與圖36及圖37所示例同樣，迴路濾波部120如圖38所示，對於對象像素p0進行去區塊濾波處理。

於此，例如區塊P及區塊Q分別是藉由DST-I正交轉換的區塊。此情況下，如圖34所示，區塊內的上側及左側區域的低維(具體而言為0維)基底的振幅，與區塊內的下側及右側區域的低維基底的振幅相等。

因此，區塊P與區塊Q在水平方向鄰接時，區塊P的區塊邊界附近的低維基底的振幅，與區塊Q的區塊邊界附近的低維基底的振幅相等。

其結果，誤差分布推定部1201推定出相對於該區塊邊界呈對稱的誤差分布，來作為區塊P及區塊Q的區塊邊界附近的誤差分布。

該情況下，濾波特性決定部1202決定上述基準的濾波特性，亦即相對於區塊邊界呈對稱的濾波特性，來作為根據該誤差分布的濾波特性。

又，即使區塊P及區塊Q分別為藉由DCT-II正交轉換的區塊時，與上述同樣，區塊P的區塊邊界附近的低維基底的振幅，與區塊Q的區塊邊界附近的低維基底的振幅相等。因此，該情況下，誤差分布推定部1201亦推定出相對於該區塊邊界呈對稱的誤差分布，來作為區塊P及區塊Q的區塊邊界附近的誤差分布。然後，濾波特性決定部1202決定上述基準的濾波特性，亦即相對於區塊邊界呈對稱的濾波特性，來作為根據該誤差分布的濾波特性。基準之5抽頭的去區塊濾波的濾波係數為例如(1,2,2,2,1)/8。此時，對區塊P內的像素p0決定的濾波係數為「2/8」，對區塊Q內的像素q0決定的濾波係數為「2/8」。總言之，該等濾波係數相對於區塊邊界呈對稱。

如此，於本實施形態，當第1基底及第2基底為DCT(Discrete Cosine Transforms)-II時，決定與第1濾波係數相等的第2濾波係數來作為濾波特性。

第1基底及第2基底為DCT-II時，於第1區塊的邊界附近與第2區塊的邊界附近，誤差相等的可能性高。因此，於該情況下，藉由決定與第1濾波係數相等的第2濾波係數，進行具有該等第1及第2濾波係數的去區塊濾波處理，可提高適當抑制該邊界附近的誤差的可能性。

＜區塊尺寸的具體例＞ 圖39是用以說明區塊尺寸與誤差的關係圖。再者，區塊尺寸為區塊寬度或區塊內的像素數。具體而言，圖39(a)表示區塊尺寸N=32的DST-VII的0維～5維基底，圖39(b)表示區塊尺寸N=4的DST-VII的0維～5維基底。再者，圖39的各圖表的橫軸表示1維空間上的位置，縱軸表示基底的值(亦即振幅)。

區塊邊界之基底的振幅是對應於正交轉換之區塊的像素數，即對應於區塊尺寸而不同。因此，本實施形態的誤差分布推定部1201亦根據該區塊尺寸來推定誤差分布。藉此，可提升所決定的濾波係數的精度。

例如圖39所示，即使是以DST-VII正交轉換的區塊，於區塊尺寸N=4時與區塊尺寸N=32時，區塊邊界的基底的振幅亦不同。具體而言，區塊尺寸N=32時，如圖39(a)所示，DST-VII的位置n=32的0維～5維基底的振幅全為1。再者，n=32的位置為區塊尺寸N=32的區塊內右側或下側端。另，區塊尺寸N=4時，如圖39(b)所示，DST-VII的位置n=4的0維～3維基底的振幅有小於1者。再者，n=4的位置為區塊尺寸N=4的區塊內右側或下側端。

因此，本實施形態的誤差分布推定部1201在區塊尺寸N=4時推定出小誤差，在區塊尺寸N=32時推定出比其大的誤差，來作為以DST-VII正交轉換的區塊的右側及下側的誤差。

圖40是表示決定的濾波係數的進一步其他例的圖。

例如與圖36～圖38所示例同樣，迴路濾波部120如圖40所示，對於對象像素p0進行去區塊濾波處理。

於此，例如區塊P是藉由DST-VII正交轉換之區塊尺寸N=32的區塊，區塊Q是藉由DST-VII正交轉換之區塊尺寸N=4的區塊。此情況下，如圖39(a)所示，於區塊P內的上側及左側的區域，低維(具體而言為0維)基底的振幅小，於區塊P內的下側及右側的區域，低維基底的振幅大。另，如圖39(b)所示，於區塊Q內的上側及左側的區域，低維基底的振幅為中等。

其結果，誤差分布推定部1201在區塊P內的區塊邊界附近推定出大的誤差，於區塊Q內的區塊邊界附近推定出中等的誤差。藉此，推定出區塊邊界附近的誤差分布。總言之，推定一誤差分布，其比圖36所示例，在垂直於區塊邊界的方向上顯示更平緩的誤差變化。

濾波特性決定部1202根據該已推定的誤差分布，決定例如5抽頭的去區塊濾波的濾波係數，來作為濾波特性。總言之，濾波特性決定部1202決定濾波係數，以使區塊P內誤差大的對象像素p0，容易受到區塊Q內具有中等誤差的像素影響。又，由於區塊邊界附近的誤差分布在垂直於區塊邊界的方向上顯示平緩的誤差變化，因此濾波特性決定部1202決定彼此的差分比圖36所示例更小的5個濾波係數。具體而言，濾波特性決定部1202將用以對區塊P的對象像素p0進行去區塊濾波處理之像素p2、p1、p0、q0、q1各自的濾波係數，決定如(0.5,1.0,1.5,1.75,1.25)/6。此時，對於區塊P內推定為誤差大的位置的像素p0，決定的濾波係數為「1.5/6」，對於區塊Q內推定為誤差中等的位置的像素q0，決定的濾波係數為「1.75/6」。總言之，像素p0的濾波係數小於像素q0的濾波係數，像素q0的濾波係數大於像素p0的濾波係數。又，像素p0的濾波係數與像素q0的濾波係數的差分小於圖36所示例的情況。

如此，於本實施形態，處理電路在濾波特性的決定中，當第1基底及第2基底為DST(Discrete Sine Transforms)-VII，且第2區塊的尺寸小於第1區塊的尺寸時，處理電路將大於第1濾波係數的第2濾波係數決定為濾波特性。該決定的第1濾波係數與第2濾波係數之間的濾波係數的斜率，比第1區塊及第2區塊的尺寸相等時更平緩。

第1基底及第2基底為DST-VII，且第2區塊的尺寸小於第1區塊的尺寸時，極可能在第1區塊的邊界附近誤差大，在第2區塊的邊界附近誤差為中等。總言之，在第1區塊與第2區塊的邊界附近的誤差分布極可能具有平緩的梯度。

於本實施形態的編碼裝置100，該情況下，決定大於第1濾波係數的第2濾波係數，進行具有該等第1及第2濾波係數的去區塊濾波處理。於此，決定的第1濾波係數與第2濾波係數之間的濾波係數的斜率，比第1區塊的尺寸及第2區塊的尺寸相等時更平緩。因此，即使第1區塊與第2區塊的邊界附近的誤差分布具有平緩的梯度，仍可提高適當抑制該邊界附近的誤差的可能性。

＜變形例1＞ 於上述實施形態7，濾波處理部1203對於誤差小的像素亦進行去區塊濾波處理，但亦可關閉對於誤差小的像素的去區塊濾波處理。再者，關閉去區塊濾波處理是與以下情況等效：將對於對象像素的濾波係數設定為1，將對於對象像素以外的像素的濾波係數設定為零。

又，於上述實施形態7，濾波判定部1206及濾波特性決定部1202根據由誤差分布推定部1201推定的誤差分布來進行處理。然而，既可是濾波判定部1206僅利用量化參數來判定是否進行濾波處理，亦可是濾波特性決定部1202根據量化參數及正交轉換的基底來決定濾波特性。

又，於本變形例，亦可對亮度訊號及色差訊號分別進行去區塊濾波處理。此時，迴路濾波部120將亮度訊號的去區塊濾波處理與色差訊號的去區塊濾波處理設計成獨立，或設計成相互依賴均可。例如迴路濾波部120亦可僅對亮度訊號及色差訊號中之一訊號，進行上述實施形態7的去區塊濾波處理，對另一訊號進行其以外的去區塊濾波處理。

又，於本變形例，亦可僅對例如幀內預測區塊，進行上述實施形態7的去區塊濾波處理。或者，亦可對幀內預測區塊及幀間預測區塊雙方，進行上述實施形態7的去區塊濾波處理。

又，迴路濾波部120亦可以片段單位、圖塊單位、波前分割單位、或CTU單位，切換上述實施形態7的去區塊濾波處理的開啟與關閉。

又，存在一種技術，其藉由在正交轉換後進一步進行轉換，來提高頻率空間的係數偏差，以提高壓縮效率(例如JVET的Non-Separable Secondary Transform(不可分離二次轉換))。此時，迴路濾波部120亦可根據正交轉換的轉換基底來決定濾波特性。

又，例如對第1區塊，於第1次及第2次分別進行DST-VII的正交轉換，對第2區塊，於第1次進行DST-VII的正交轉換，於第2次進行DCT-II的正交轉換。該情況下，迴路濾波部120對第1區塊推定比第2區塊陡峭的誤差分布。總言之，第1區塊的水平方向及垂直方向的誤差分布的斜率，比第2區塊的誤差分布的斜率陡峭。然後，迴路濾波部120根據該陡峭的誤差分布來決定濾波特性。

又，區塊尺寸在第1次轉換及第2次轉換中可為不同。該情況下，迴路濾波部120對互異的2個區塊尺寸的區塊之至少一者的邊界，進行去區塊濾波處理。

又，對幀間預測區塊進行上述實施形態7的去區塊濾波處理時，可預測到相對於正交轉換後之各頻率的係數分布或絕對值會因應於預測方法而不同。該預測方法包括例如Uni-pred(參考1張的預測)及Bi-pred(參考2張的預測)。

因此，迴路濾波部120亦可決定因應於預測方法的濾波係數。例如迴路濾波部120使對Uni-pred的區塊之濾波的權重，小於對Bi-pred的區塊之濾波的權重，其中該Uni-pred的區塊之係數絕對值有較大的傾向。

又，迴路濾波部120亦可獨自決定對適用合併模式的區塊之濾波的權重。例如迴路濾波部120使對適用合併模式的區塊之濾波的權重，大於或小於對適用合併模式以外的預測的區塊之濾波的權重。

又，上述實施形態7的去區塊濾波處理不僅使處理對象之圖像接近原圖，還與習知的去區塊濾波處理同樣使區塊邊界不醒目。因此，當不僅著重客觀評價，亦著重主觀評價時，就各區塊尺寸來變化濾波的特徵甚為有效。

具體而言，由於在誤差大的區塊，區塊雜訊醒目，因此迴路濾波部120亦可將隔著區塊邊界兩側的濾波係數、閾值或濾波的抽頭數，設定成比相對於誤差小的區塊大。

基本上，由於像素值的相關性在距離越近的像素間越高，因此在對象像素的去區塊濾波處理中，若越頻繁使用遠離該對象像素的像素，則客觀評價越惡化。然而，去區塊濾波處理所用的像素越多，在主觀上，區塊雜訊變得越不醒目。因此，根據客觀評價與主觀評價的折衷，即使是遠離對象像素的像素，迴路濾波部120仍可將該像素用於去區塊濾波處理。

又，於上述實施形態7是因應於DCT及DST等基底而推定誤差分布，根據該推定出的誤差分布來決定濾波特性。然而，亦可取代該等基底而以因應於KLT(Karhunen-Loeve Transform，K-L轉換)、DFT(Discrete Fourier transform，離散傅立葉轉換)、Wavelet轉換、及重複轉換等其他轉換手法來推定誤差分布，根據該推定出的誤差分布來決定濾波特性。

又，上述實施形態7的編碼裝置100具備誤差分布推定部1201而推定誤差分布，但亦可不具備該誤差分布推定部1201。總言之，編碼裝置100亦可不推定誤差分布，而從區塊轉換所用的基底直接決定濾波特性。

＜變形例2＞ 於上述實施形態7或其變形例1，進行了具有根據基底組合所決定的濾波特性的去區塊濾波處理，但亦可進行去區塊濾波處理以外的其他迴路濾波處理。

例如迴路濾波部120亦可利用轉換所用的基底、及對象像素的區塊內位置，來決定SAO(Sample Adaptive Offset(取樣可適性偏移))的濾波係數。又，迴路濾波部120亦可進行根據3個參數的三邊濾波處理。該3個參數例如由像素值的差、像素間的距離、及從正交轉換的基底推定的誤差分布所構成。或者，迴路濾波部120亦可進行在幀內處理迴路內應用了上述實施形態7或其變形例1之去區塊濾波處理的濾波處理。又，迴路濾波部120亦可無須依據周圍像素的資訊來使對象像素的像素值變化，而是就各對象像素賦予因應於誤差分布的偏移。

又，迴路濾波部120若可預測誤差分布，則無須就各濾波處理取得誤差關聯參數。例如利用JEM(Joint Exploration Model(聯合探索模式))4.0的軟體的幀內預測區塊，在上述EMT的設計上，區塊的上側及左側不易有誤差，在區塊的下側及右側容易有誤差。因此，迴路濾波部120亦可預先考慮該情形，於JEM4.0的幀內預測區塊的上側及左側，進行濾波強度弱的去區塊濾波處理。

於上述實施形態7或其變形例1，濾波判定部1206判定是否對於對象像素進行去區塊濾波處理，但亦可不進行該判定，而對所有區塊邊界進行去區塊濾波處理。

又，於上述實施形態7或其變形例1，迴路濾波部120對於從加算部116輸出的重構區塊的區塊邊界，進行具有根據基底組合所決定的濾波特性的去區塊濾波處理。於此，例如編碼裝置100亦可具有與迴路濾波部120不同的濾波部。總言之，該濾波部對重構區塊進行濾波處理，迴路濾波部120則對由該濾波部進行了濾波處理的重構區塊的區塊邊界，進行去區塊濾波處理。該情況下，迴路濾波部120亦可根據基底的組合以及該濾波部的濾波特性，來決定去區塊濾波處理的濾波特性。進而言之，濾波部亦可進行具有相對於區塊邊界呈對稱之濾波特性的去區塊濾波處理。此時，用於濾波部的濾波係數設定成小於編碼裝置100未具備上述實施形態7或其變形例1的迴路濾波部120時的濾波係數。又，濾波部亦可進行根據2個參數的雙向濾波處理，來作為具有相對於區塊邊界呈對稱之濾波特性的去區塊濾波處理。2個參數是由例如像素值的差及像素間的距離所構成。此時，迴路濾波部120亦可決定例如整體比圖36～38及圖40所示的濾波係數更小的濾波係數。

又，於上述實施形態7或其變形例1，迴路濾波部120對區塊邊界進行去區塊濾波處理，但亦可對區塊內非區塊邊界的區域，進行去區塊濾波處理。例如迴路濾波部120亦可於1個區塊內，利用誤差小的像素的像素值，來使誤差大的像素的像素值變化。以下稱該類濾波處理為區塊內濾波處理。

具體而言，如圖35所示，在以DST-VII正交轉換的區塊內，位於上側或左側的像素的誤差小，位於下側或右側的像素的誤差大。因此，迴路濾波部120藉由進行區塊內濾波處理，利用位於上側或左側的像素的像素值，來使位於下側或右側的像素的像素值變化。藉此可提高減低誤差的可能性。

圖41是表示因應於區塊尺寸而不同的基底的梯度的圖。再者，圖41的各圖表的橫軸表示1維空間上的位置，縱軸表示基底的值(亦即振幅)。

如圖41(a)所示，區塊尺寸N=32的DST-VII之0維基底的振幅，從1維空間上的位置n=1到n=32約增加10倍。另，區塊尺寸N=4的DST-VII之0維基底的振幅，從1維空間上的位置n=1到n=4約增加3倍。

因此，即使2個區塊各自的轉換所用的基底相同，若區塊尺寸不同，則區塊內的基底的梯度在小的區塊較陡峭，在大的區塊較平緩。

總言之，如上述，迴路濾波部120進行區塊內濾波處理時，對於正交轉換的低維基底的梯度陡峭的區塊，亦即對於小的區塊，可更發揮可提高誤差之減低的效果。

又，即使是區塊的區塊尺寸大的情況，只要該區塊內的像素值的相關性之距離相依性或方向相依性微弱，藉由迴路濾波部120進行區塊內濾波處理，即可提高減低誤差的可能性。例如幀內預測的方向對像素值的相關性之距離相依性或方向相依性造成影響。距離相依性的性質是2個像素間的距離越近，其等像素的像素值的相關性越高。方向相依性的性質是因應於從一像素朝向另一像素的方向，該等像素的像素值的相關性會不同。因此，迴路濾波部120亦可藉由進行因應於幀內預測的方向的區塊內濾波處理，來使誤差大的像素的像素值變化。

[組裝例] 圖42是表示上述實施形態的編碼裝置100的組裝例的方塊圖。編碼裝置100具備處理電路160及記憶體162。例如圖1所示的編碼裝置100的複數個構成要件，是藉由圖42所示的處理電路160及記憶體162來組裝。

處理電路160是進行資訊處理的電路，且是可於記憶體162存取的電路。例如處理電路160是編碼動態圖像的專用或通用電子電路。處理電路160可為諸如CPU的處理器。又，處理電路160亦可為複數個電子電路的集合體。又，例如處理電路160亦可發揮圖1所示的編碼裝置100的複數個構成要件中，用以記憶資訊的構成要件以外的複數個構成要件的作用。

記憶體162是記憶處理電路160用以編碼動態圖像的資訊之通用或專用記憶體。記憶體162可為電子電路，亦可連接於處理電路160。又，記憶體162亦可包含於處理電路160。又，記憶體162亦可為複數個電子電路的集合體。又，記憶體162亦可為磁碟片或光碟片等，或表現為儲存器或記錄媒體等。又，記憶體162為非揮發性記憶體或揮發性記憶體均可。

例如於記憶體162，可記憶欲編碼的動態圖像，亦可記憶對應於已編碼的動態圖像的位元串。又，於記憶體162，亦可記憶處理電路160用以編碼動態圖像的程式。

又，例如記憶體162亦可發揮圖1所示的編碼裝置100的複數個構成要件中，用以記憶資訊的構成要件的作用。具體而言，記憶體162亦可發揮圖1所示的區塊記憶體118及幀記憶體122的作用。更具體而言，於記憶體162，亦可記憶處理完畢子區塊、處理完畢區塊及處理完畢圖片等。

再者，於編碼裝置100，未組裝圖1等所示複數個構成要件的全部，或未進行上述複數種處理的全部均可。圖1等所示的複數個構成要件的一部分可包含於其他裝置，亦可由其他裝置來執行上述複數種處理的一部分。且，於編碼裝置100，可組裝圖1等所示的複數個構成要件中的一部分，藉由進行上述複數種處理的一部分，以少許碼量即可適當處理動態圖像。

圖43是表示上述各實施形態的解碼裝置200的組裝例的方塊圖。解碼裝置200具備處理處理電路260及記憶體262。例如圖10所示的解碼裝置200的複數個構成要件，是藉由圖43所示的處理電路260及記憶體262來組裝。

處理電路260是進行資訊處理的電路，且是可於記憶體262存取的電路。例如處理電路260是解碼動態圖像的專用或通用電子電路。處理電路260可為諸如CPU的處理器。又，處理電路260亦可為複數個電子電路的集合體。又，例如處理電路260亦可發揮圖10所示的解碼裝置200的複數個構成要件中，用以記憶資訊的構成要件以外的複數個構成要件的作用。

記憶體262是記憶處理電路260用以解碼動態圖像的資訊之通用或專用記憶體。記憶體262可為電子電路，亦可連接於處理電路260。又，記憶體262亦可包含於處理電路260。又，記憶體262亦可為複數個電子電路的集合體。又，記憶體262亦可為磁碟片或光碟片等，或表現為儲存器或記錄媒體等。又，記憶體262為非揮發性記憶體或揮發性記憶體均可。

例如於記憶體262，可記憶對應於已編碼的動態圖像的位元串，亦可記憶對應於已解碼的位元串的動態圖像。又，於記憶體262，亦可記憶處理電路260用以解碼動態圖像的程式。

又，例如記憶體262亦可發揮圖10所示的解碼裝置200的複數個構成要件中，用以記憶資訊的構成要件的作用。具體而言，記憶體262亦可發揮圖10所示的區塊記憶體210及幀記憶體214的作用。更具體而言，於記憶體262，亦可記憶處理完畢子區塊、處理完畢區塊及處理完畢圖片等。

再者，於解碼裝置200，未組裝圖10等所示的複數個構成要件的全部，或未進行上述複數種處理的全部均可。圖10等所示的複數個構成要件的一部分可包含於其他裝置，亦可由其他裝置來執行上述複數種處理的一部分。且，於解碼裝置200，可組裝圖10等所示的複數個構成要件中的一部分，藉由進行上述複數種處理的一部分，以少許碼量即可適當處理動態圖像。

[補充] 上述各實施形態的編碼裝置100及解碼裝置200可分別用作圖像編碼裝置及圖像解碼裝置，亦可分別用作動態圖像編碼裝置及動態圖像解碼裝置。或者，編碼裝置100及解碼裝置200分別可用作幀間預測裝置。亦即，編碼裝置100及解碼裝置200亦可分別僅對應於幀間預測部126及幀間預測部218。

又，於上述各實施形態是將預測區塊作為編碼對象區塊或解碼對象區塊予以編碼或解碼，但編碼對象區塊或解碼對象區塊不限於預測區塊，亦可為子區塊或其他區塊。

又，於上述各實施形態，各構成要件亦可由專用的硬體來構成，或藉由執行適合於各構成要件的軟體程式來實現。各構成要件亦可由CPU或處理器等程式執行部讀出並執行記錄在硬碟或半導體記憶體等記錄媒體的軟體程式來實現。

具體而言，編碼裝置100及解碼裝置200亦可分別具備處理電路(Processing Circuitry)及記憶裝置(Storage)，其中該記憶裝置電連接於該處理電路，且從該處理電路可進行存取。

處理電路包含專用的硬體及程式執行部之至少一者，利用記憶裝置來執行處理。又，在處理電路包含程式執行部時，記憶裝置記憶由該程式執行部所執行的軟體程式。

於此，實現上述各實施形態的編碼裝置100及解碼裝置200等之軟體是如下程式。

亦即，該程式令電腦執行按照圖5B、圖5D、圖11、圖13、圖14、圖16、圖19、圖20、圖22及圖28中任一圖所示的流程圖的處理。

又，如上述，各構成要件亦可為電路。該等電路整體構成為1個電路，或各自為不同電路均可。又，各構成要件以通用處理器來實現，或以專用處理器來實現均可。

又，其他構成要件亦可執行特定構成要件所執行的處理。又，可變更執行處理的順序，亦可同時進行複數種處理。又，編碼解碼裝置亦可具備編碼裝置100及解碼裝置200。

說明中採用的第1及第2等序數亦可適當替換。又，對於構成要件等，重新賦予或刪除序數均可。

以上根據各實施形態，說明了編碼裝置100及解碼裝置200的態樣，但編碼裝置100及解碼裝置200的態樣不限定於該等實施形態。只要不脫離本發明之旨趣，熟悉該技藝人士所想到的各種變形施行於實施形態、或組合不同實施形態的構成要件予以組合建構的形態，亦可包含於編碼裝置100及解碼裝置200的態樣的範圍內。

(實施形態8) 於以上各實施形態，功能方塊的各個一般可藉由MPU及記憶體等來實現。又，功能方塊的各個的處理一般藉由處理器等程式執行部讀出並執行記錄於ROM等記錄媒體的軟體(程式)來實現。該軟體可藉由下載等來分發，亦可記錄於半導體記憶體等記錄媒體來分發。再者，當然亦可藉由硬體(專用電路)來實現各功能方塊。

又，於各實施形態所說明的處理，藉由利用單一裝置(系統)集中處理，或利用複數個裝置分散處理來實現均可。又，執行上述程式的處理器為單一數目或複數個均可。亦即，集中處理或分散處理均可。

本發明不限定於以上實施形態，可予以各種變更，該等變更亦包含於本發明的範圍內。

進一步在此說明上述各實施形態所示之動態圖像編碼方法(圖像編碼方法)或動態圖像解碼方法(圖像解碼方法)之應用例、與利用其之系統。該系統的特徵在於具有利用圖像編碼方法的圖像編碼裝置、利用圖像解碼方法的圖像解碼裝置、及具備雙方的圖像編碼解碼裝置。關於系統的其他構成，可因應情況適當地變更。

[使用例] 圖44是表示實現內容(contents)發布服務之內容供給系統ex100的全體構成圖。將通訊服務之提供地區分割為所需大小，於各蜂巢(cell)內分別設置固定無線台即基地台ex106、ex107、ex108、ex109、ex110。

於該內容供給系統ex100，經由網際網路服務提供者ex102或通訊網ex104、及基地台ex106～ex110，將電腦ex111、遊戲機ex112、相機ex113、家電ex114及智慧型手機ex115等各機器連接於網際網路ex101。該內容供給系統ex100亦可組合上述任一要件而連接。各機器亦可不經由固定無線台即基地台ex106～ex110，而是經由電話網或近距離無線等而直接或間接地相互連接。又，串流伺服器ex103經由網際網路ex101等來與電腦ex111、遊戲機ex112、相機ex113、家電ex114及智慧型手機ex115等各機器連接。又，串流伺服器ex103經由衛星ex116來與飛機ex117內的熱點內的終端等連接。

再者，亦可利用無線存取點或熱點等，來取代基地台ex106～ex110。又，串流伺服器ex103不經由網際網路ex101或網際網路服務提供者ex102而直接與通訊網ex104連接，或不經由衛星ex116而直接與飛機ex117連接均可。

相機ex113是數位相機等可拍攝靜止圖及動畫的機器。又，智慧型手機ex115是一般支援2G、3G、3.9G、4G，以及今後稱為5G的移動通訊系統方式的智慧型手機、行動電話或PHS(Personal Handyphone System(個人手持電話系統))等。

家電ex118為冰箱或家庭用燃料電池汽電共生系統所包含的機器等。

於內容供給系統ex100，具有攝影功能的終端藉由透過基地台ex106等連接於串流伺服器ex103，而可實現實況發布等。於實況發布，終端(電腦ex111、遊戲機ex112、相機ex113、家電ex114、智慧型手機ex115及飛機ex117內的終端等)對使用者利用該終端所拍攝的靜止圖或動畫內容，進行上述各實施形態所說明的編碼處理，將藉由編碼所獲得的影像資料、及對應於影像的聲音編碼後的聲音資料進行多工，將獲得的資料傳送至串流伺服器ex103。亦即，各終端作為本發明之一態樣的圖像編碼裝置而發揮功能。

另，串流伺服器ex103將對有需求的客戶端所傳送的內容資料進行串流發布。客戶端是可將上述編碼處理後的資料解碼的電腦ex111、遊戲機ex112、相機ex113、家電ex114、智慧型手機ex115及飛機ex117內的終端等。接收到發布資料的各機器將接收到的資料予以解碼處理並再生。亦即，各機器作為本發明之一態樣的圖像解碼裝置而發揮功能。

[分散處理] 又，串流伺服器ex103亦可為複數台伺服器或複數台電腦，且分散處理、記錄或發布資料。例如串流伺服器ex103亦可藉由CDN(Contents Delivery Network(內容發布網路))來實現，並藉由分散在全世界的許多邊緣伺服器與連結邊緣伺服器間的網路來實現內容發布。於CDN是因應客戶端而動態地分配物理上相近的邊緣伺服器。且，藉由對該邊緣伺服器快取及發布內容，可減少延遲。又，由於在發生某種錯誤時，或通訊狀態因流量增加等而改變時，以複數台邊緣伺服器分散處理，或將發布主體切換為其他邊緣伺服器，可繞過發生障礙的的網路部分而繼續發布，因此可實現高速且穩定的發布。

又，不僅止於發布本身的分散處理，已拍攝資料的編碼處理亦可在各終端或在伺服器側進行，亦可互相分擔進行。作為一例，編碼處理一般進行2次處理迴路。於第1次迴路，檢出幀或場景單位的畫面複雜度或碼量。又，於第2次迴路，進行維持畫質並使編碼效率提升的處理。例如終端進行第1次的編碼處理，收到內容的伺服器側進行第2次的編碼處理，藉此可減少各終端的處理負載，同時可使內容的品質及效率提升。此時，若要求幾乎即時接收並解碼，亦可將終端所進行的第一次的編碼完成資料，在其他終端接收並再生，因此，可實現更靈活的即時發布。

作為其他例，相機ex113等從圖像進行特徵量擷取，將有關特徵量的資料作為元資料而壓縮，並傳送至伺服器。伺服器因應圖像的意義來進行壓縮，例如從特徵量判斷物件的重要性並切換量化精度等。特徵量資料對於在伺服器再度壓縮時的移動向量預測之精度及效率的提升尤其有效。又，亦可於終端進行VLC(可變長度編碼)等簡易編碼，於伺服器進行CABAC(上下文適應型二值算術編碼方式)等處理負載大的編碼。

進而言之，作為其他例，於體育館、購物中心或工廠等，有時會有藉由複數個終端拍攝大致同一場景，而存在有複數個影像資料的情形。此時，利用進行攝影的複數個終端、與因應需要未拍攝的其他終端及伺服器，以例如GOP(Group of Picture(圖片群組))單位、圖片單位或圖片經分割的圖塊單位等各自分配編碼處理而進行分散處理。藉此可減少延遲，更實現即時性。

又，由於複數個影像資料大致為同一場景，因此亦可利用伺服器管理及/或指示互相參考各終端所拍攝的影像資料。又，伺服器亦可接收來自各終端的編碼完畢資料，於複數個資料間變更參考關係，或修正、更換圖片本身，並重新編碼。藉此，可生成提高每一個資料的品質及效率的串流。

又，伺服器亦可在進行變更影像資料之編碼方式的轉碼後，再發布影像資料。例如伺服器將MPEG系統的編碼方式轉換成VP系統，或將H.264轉換成H.265均可。

如此，編碼處理可藉由終端或1個以上的伺服器來進行。故，作為進行處理的主體，以下雖採用「伺服器」或「終端」等記載，但由伺服器進行的處理的一部分或全部亦可由終端來進行，由終端進行的處理的一部分或全部亦可由伺服器來進行。又，關於該等，就解碼處理而言亦相同。

[3D、多角度] 近年來，越來越常將彼此大致同步的複數個相機ex113及/或智慧型手機ex115等終端所拍攝的不同場景、或從不同角度拍攝同一場景的圖像或影像予以整合利用。各終端所拍攝的影像是根據另外取得的終端間的相對位置關係、或影像所含特徵點為一致的區域等來整合。

伺服器不僅編碼2維的動態圖像，亦可根據動態圖像的場景分析等，自動或在使用者所指定的時刻編碼靜止圖，並傳送至接收終端。伺服器進一步在可取得攝影終端間的相對位置關係時，不僅根據2維的動態圖像，亦可根據從不同角度拍攝同一場景的影像，來生成該場景的3維形狀。再者，伺服器既可另外編碼點雲(point cloud)等所生成的3維資料，亦可根據利用3維資料來辨識或追蹤人物或物件的結果，而從複數個終端所拍攝的影像中選擇或重構並生成要傳送至接收終端的影像。

如此，使用者可任意選擇對應於各攝影終端的各影像而欣賞場景，亦可欣賞從利用複數個圖像或影像重構的3維資料切出任意視點的影像之內容。進而言之，聲音與影像相同，亦可從複數個不同角度收音，伺服器配合影像，將來自特定角度或空間的聲音，與影像進行多工並傳送。

又，近年來Virtual Reality(虛擬實境)(VR)及Augmented Reality(擴增實境)(AR)等使現實世界與虛擬世界相對應的內容亦日益普及。VR圖像時，伺服器分別製作右眼用及左眼用的視點圖像，藉由Multi-View Coding(多視角編碼)(MVC)等，可進行在各視點影像間容許參考的編碼，亦可互相不參考而作為不同的串流來編碼。在解碼不同的串流時，可使其互相同步再生，以因應使用者的視點重現虛擬的3維空間。

AR圖像時，伺服器根據3維位置或使用者的視點移動，對現實空間的相機資訊重疊虛擬空間上的虛擬物體資訊。解碼裝置亦可取得或保持虛擬物體資訊及3維資料，並因應使用者的視點移動來生成2維圖像，藉由平滑地連接而製作重疊資料。又，解碼裝置除了傳送虛擬物體資訊的請求以外，還可將使用者的視點移動傳送至伺服器，且伺服器配合從保持於伺服器之3維資料所接收到的視點移動而製作重疊資料，再編碼重疊資料，並發布至解碼裝置。再者，亦可是重疊資料除了RGB以外，還具有表示穿透度的a值，伺服器在從3維資料製作成的物件以外的部分之a值設定為0等、且該部分為穿透的狀態下編碼。或者，伺服器亦可如色度鍵(chroma key)，對背景設定預定值的RGB值，並生成物件以外的部分設為背景色的資料。

同樣地，已發布之資料的解碼處理在作為客戶端的各終端進行或在伺服器側進行均可，亦可互相分擔進行。作為一例，某終端亦可先對伺服器傳送接收要求，再在其他終端接收因應該要求的內容並進行解碼處理，再對具有顯示器的裝置傳送解碼完畢的訊號。藉由不依賴可通訊的終端本身的性能而將處理分散並選擇適當的內容，可再生畫質良好的資料。又，作為其他例，亦可於TV等接收大尺寸的圖像資料，同時於觀賞者的個人終端，解碼圖片分割後的圖塊等一部分區域並顯示。藉此，可共有全體圖像，同時在手邊確認自身的負責領域或欲更詳細確認的區域。

又，今後可預想到如下情形：在不分屋內外而可使用複數種近距離、中距離或長距離的無線通訊的狀況下，利用MPEG-DASH等發布系統規格，對連接中的通訊一面切換適當的資料一面無縫地接收內容。藉此，使用者除了自身的終端，還可一面自由地選擇設置於屋內外的顯示器等解碼裝置或顯示裝置，一面即時地切換。又，可根據自身的位置資訊等，一面切換欲解碼的終端及欲顯示的終端一面進行解碼。藉此，亦可在往目的地之移動中，一面使嵌入有可顯示器件的相鄰建築物的壁面或地面的一部分顯示地圖資訊，一面移動。又，亦可根據在網路上對編碼資料的存取容易度，諸如編碼資料被可從接收終端裝置短時間存取的伺服器快取，或被內容發布服務之邊緣伺服器複製等，來切換接收資料的位元率。

[可適性編碼] 關於內容切換，利用圖45所示之應用了上述各實施形態所示的動態圖像編碼方法而壓縮編碼的可適性串流來說明。伺服器具有複數個內容相同、質不同的串流作為個別串流雖無妨，但亦可如圖示，構成為活用藉由分層進行編碼所實現之時間性/空間性可適性串流的特徵，來切換內容。總言之，解碼側因應性能這種內在要因與通訊頻帶狀態等外在要因，來決定欲解碼至哪一層，藉此，解碼側可自由切換低解析度的內容與高解析度的內容並解碼。例如回家後想用網路TV等機器收看移動中以智慧型手機ex115收看的影像的後續時，該機器只要將相同串流解碼至不同層即可，因此可減輕伺服器側的負擔。

進而言之，除了如上述的按照每一層編碼圖片並於基礎層的上位存在有增強層之實現可適性(scalability)的構成以外，亦可為增強層包含有基於圖像統計資訊等之元資訊，且解碼側根據元資訊來將基礎層的圖片進行超解析，藉此生成高畫質的內容。超解析亦可指同一解析度的SN比之提升及解析度擴大的任一者。元資訊包含用以特定出使用於超解析處理之線性或非線性濾波係數的資訊，或特定出使用於超解析處理之濾波處理、機械學習或最小平方運算的參數值的資訊等。

又，亦可構成如：因應圖像內的物件等的含義，將圖片分割為圖塊等，解碼側藉由選擇欲解碼的圖塊，僅解碼一部分區域。又，將物件屬性(人物、車、球等)及影像內位置(同一圖像內的座標位置等)作為元資訊儲存，藉此解碼側可根據元資訊特定出所需物件的位置，並決定包含該物件的圖塊。例如如圖46所示，元資訊利用HEVC的SEI訊息等與像素資料不同的資料儲存構造來儲存。該元資訊表示例如主物件的位置、大小或色彩等。

又，以串流、序列、隨機存取單位等由複數個圖片所構成的單位來儲存元資訊亦可。藉此，解碼側可取得特定人物出現在影像內的時刻等，藉由配合圖片單位的資訊，可特定出物件所存在的圖片及圖片內物件的位置。

[網頁最佳化] 圖47是表示電腦ex111等之網頁的顯示畫面例的圖。圖48是表示智慧型手機ex115等之網頁的顯示畫面例的圖。如圖47及圖48所示，網頁有時包含複數個對圖像內容連結的連結圖像，依瀏覽的器件，其觀看方式會不同。畫面上可看到複數個連結圖像時，直到使用者明確地選擇連結圖像，或連結圖像靠近畫面中央附近，或連結圖像全體進入畫面內為止，顯示裝置(解碼裝置)都顯示各內容所具有的靜止圖或I圖片而作為連結圖像，或以複數個靜止圖或I圖像等顯示諸如gif動畫的影像，或僅接收基礎層並解碼及顯示影像。

由使用者選擇了連結圖像時，顯示裝置將基礎層最優先解碼。再者，構成網頁的HTML具有表示可適性內容的資訊時，顯示裝置解碼至增強層亦可。又，為了保證即時性，在選擇前或通訊頻帶非常嚴苛時，顯示裝置僅解碼及顯示參考前方的圖片(I圖片、P圖片、僅參考前方的B圖片)，藉此可減低開頭圖片的解碼時刻與顯示時刻之間的延遲(從內容開始解碼到開始顯示為止的延遲)。又，顯示裝置亦可特意忽視圖片的參考關係，令所有B圖片及P圖片參考前方並粗略地解碼，隨著時間經過且接收的圖片增加再進行正常的解碼。

[自動行駛] 又，為了車輛自動行駛或支援行駛而接收、傳送2維或3維地圖資訊等靜止圖或影像資料時，接收終端亦可除了接收屬於1個以上的層的圖像資料以外，也接收天候或施工資訊等作為元資訊，使該等相對應並解碼。再者，元資訊屬於層，或單純與圖像資料進行多工均可。

此時，由於包含有接收終端的車輛、無人機或飛機等會移動，因此接收終端在接收要求時傳送該接收終端的位置資訊，藉此可一面切換基地台ex106～ex110，一面實現無縫的接收及解碼。又，接收終端可因應使用者的選擇、使用者的狀況或通訊頻帶的狀態，動態切換元資訊的接收程度或地圖資訊的更新程度。

如以上，於內容供給系統ex100，客戶端可即時接收由使用者傳送的編碼後的資訊，予以解碼並再生。

[個人內容發布] 又，於內容供給系統ex100，不僅可發布來自影像發布業者的高畫質、長時間的內容，亦可進行來自個人的低畫質、短時間的內容之單播(unicast)或多播(multicast)發布。又，該類個人內容今後應會日益增加。為了使個人內容成為更優質的內容，伺服器進行編輯處理後再進行編碼處理亦可。此可由例如以下構成來實現。

攝影時，伺服器即時或積存而在攝影後，從原圖像或編碼完畢的資料進行攝影錯誤、場景探索、含義分析及物件檢出等辨識處理。然後，伺服器根據辨識結果，進行如下編輯：採手動或自動修正失焦或手震等、刪除亮度比其他圖片低或焦點未對準的場景等重要性低的場景、強調物件的邊緣、或使色調變化等。伺服器根據編輯結果來編碼編輯後的資料。又，已知若攝影時刻過長收視率會下降，伺服器亦可如上述，根據圖像處理結果自動剪輯重要性低的場景，亦剪輯移動少的場景等，以因應攝影時間使內容維持在特定時間範圍內。又，伺服器亦可根據場景之含義分析的結果，生成摘要並編碼。

再者，於個人內容中有照原樣會拍到侵害著作權、著作人格權或肖像權等內容的個案，亦有共有的範圍超越了意圖的範圍等對個人而言不便的情況。故，例如伺服器亦可特意將畫面周邊部的人臉或家中等變更成失焦的圖像再編碼。又，伺服器亦可辨識編碼對象圖像內是否拍到與預先登錄的人物不同的人物的臉部，拍到時，進行對臉部部分加上馬賽克等之處理。又，作為編碼的預處理或後處理，使用者亦可基於著作權等的觀點，指定欲進行圖像加工的人物或背景區域，伺服器進行將指定的區域置換為其他影像或模糊焦點等處理。若是人物，亦可一面於動態圖像中追蹤人物，一面置換臉部部分的影像。

又，資料量小的個人內容之收看強烈要求即時性，因此雖也會取決於頻帶寬，但解碼裝置首先最優先接收基礎層，進行解碼及再生。解碼裝置亦可在此期間接收增強層，並於再生循環等再生2次以上的情形時，包含增強層在內而再生高畫質影像。如此，若是進行可適性編碼的串流，可提供如下體驗：在未選擇時或開始觀看的階段，動畫雖粗略，但隨著串流智慧化，圖像改善。除了可適性編碼以外，將第1次再生的粗略串流、及參考第1次動畫而編碼的第2次串流作為1個串流而構成，亦可提供相同的體驗。

[其他使用例] 又，該等編碼或解碼處理一般在各終端所具有的LSIex500中處理。LSIex500為單晶片或由複數個晶片所組成的構成均可。再者，亦可將動態圖像編碼或解碼用的軟體安裝到電腦ex111等可讀取的某種記錄媒體(CD-ROM、軟性磁碟、或硬碟等)，並利用該軟體進行編碼或解碼處理。進而言之，智慧型手機ex115附有相機時，亦可傳送由該相機所取得的動畫資料。此時的動畫資料是經智慧型手機ex115所具有的LSIex500進行編碼處理的資料。

再者，LSIex500亦可為下載應用軟體並啟動的構成。此時，終端首先判斷該終端是否對應於內容的編碼方式，或是否具有特定服務的執行能力。當終端不對應於內容的編碼方式時，或不具有特定服務的執行能力時，終端下載編解碼器(CODEC)或應用軟體，其後取得及再生內容。

又，不限於經由網際網路ex101的內容供給系統ex100，於數位播放用系統，亦可安裝上述各實施形態的動態圖像編碼裝置(圖像編碼裝置)或動態圖像解碼裝置(圖像解碼裝置)之至少一個。由於是利用衛星等使播放用電波承載影像及聲音已被多工化的多工資料來進行傳送接收，因此相對於內容供給系統ex100之容易進行單播的構成，其差異在於適合多播，但關於編碼處理及解碼處理，仍可進行同樣的應用。

[硬體構成] 圖49是表示智慧型手機ex115的一例的圖。又，圖50是表示智慧型手機ex115的構成例的圖。智慧型手機ex115具有：天線ex450，用以與基地台ex110之間傳送接收電波；相機部ex465，可拍攝影像及靜止圖；及顯示部ex458，顯示由相機部ex465所拍攝的影像、及由天線ex450所接收的影像等經解碼的資料。智慧型手機ex115進一步具備：操作部ex466，其為觸控面板等；聲音輸出部ex457，其為用以輸出聲音或聲響的揚聲器等；聲音輸入部ex456，其為用以輸入聲音的微音器等；記憶體部ex467，用以保存拍攝的影像或靜止圖、錄音的聲音、接收的影像或靜止圖、郵件等經編碼的資料，或經解碼的資料；及插槽部ex464，其是與SIMex468之間的介面部，該SIMex468是用以特定出使用者，且以網路為首進行對各種資料之存取的認證。再者，亦可使用外接記憶體來取代記憶體部ex467。

又，統籌地控制顯示部ex458及操作部ex466等的主控制部ex460，是經由匯流排ex470而連接於電源電路部ex461、操作輸入控制部ex462、影像訊號處理部ex455、相機介面部ex463、顯示器控制部ex459、調變/解調部ex452、多工/分離部ex453、聲音訊號處理部ex454、插槽部ex464及記憶體部ex467。

若藉由使用者之操作而使電源鍵成為開啟狀態時，電源電路部ex461從電池包(battery pack)對各部供給電力，藉此將智慧型手機ex115起動為可動作的狀態。

智慧型手機ex115根據具有CPU、ROM及RAM等之主控制部ex460的控制，進行通話及資料通訊等處理。通話時，以聲音訊號處理部ex454，將由聲音輸入部ex456所收音的聲音訊號轉換成數位聲音訊號，並以調變/解調部ex452將其進行展頻處理，再以傳送/接收部ex451施行數位類比轉換處理及頻率轉換處理後，經由天線ex450傳送。又，放大接收資料且施行頻率轉換處理及類比數位轉換處理，並以調變/解調部ex452進行解展頻處理，再以聲音訊號處理部ex454轉換成類比聲音訊號後，從聲音輸出部ex457將其輸出。於資料通訊模式時，是藉由主體部的操作部ex466等之操作而經由操作輸入控制部ex462將文本(text)、靜止圖或影像資料送出至主控制部ex460，並同樣地進行傳送接收處理。在資料通訊模式時傳送影像、靜止圖或影像及聲音時，影像訊號處理部ex455將保存於記憶體部ex467的影像訊號、或從相機部ex465輸入的影像訊號，藉由上述各實施形態所示之動態圖像編碼方法而予以壓縮編碼，並將已被編碼的影像資料送出至多工/分離部ex453。又，聲音訊號處理部ex454將聲音訊號編碼，並將已被編碼的聲音資料送出至多工/分離部ex453，其中該聲音訊號是以相機部ex465拍攝影像或靜止圖等的同時以聲音輸入部ex456收音的聲音訊號。多工/分離部ex453以預定的方式將編碼完畢影像資料及編碼完畢聲音資料予以多工，並以調變/解調部(調變/解調電路部)ex452及傳送/接收部ex451施以調變處理及轉換處理，再經由天線ex450傳送。

接收到添附於電子郵件或聊天系統的影像、或連結至網頁等之影像時，為了解碼經由天線ex450所接收的多工資料，多工/分離部ex453藉由分離多工資料，來將多工資料區分為影像資料的位元串流與聲音資料的位元串流，並經由同步匯流排ex470，將已被編碼的影像資料供給至影像訊號處理部ex455，並且將已被編碼的聲音資料供給至聲音訊號處理部ex454。影像訊號處理部ex455藉由對應於上述各實施形態所示之動態圖像編碼方法的動態圖像解碼方法來解碼影像訊號，並經由顯示器控制部ex459而從顯示部ex458顯示被連結的動態圖像檔所包含的影像或靜止圖。又，聲音訊號處理部ex454解碼聲音訊號，並從聲音輸出部ex457輸出聲音。再者，由於即時串流已普及，因此依使用者的狀況，亦可能發生聲音的再生就社會觀點而言不妥的情況。因此，作為初始值，宜採用不再生聲音訊號，僅再生影像訊號的構成。亦可僅在使用者進行點擊影像資料等操作時，再同步再生聲音。

又，在此是以智慧型手機ex115為例說明，但作為終端，除了具有編碼器及解碼器雙方的傳送接收型終端以外，亦可考慮僅具有編碼器的傳送終端及僅具有解碼器的接收終端之3種組裝形式。進而言之，雖說明了於數位播放用系統中接收或傳送對影像資料進行聲音資料之多工的多工資料，但在多工資料中，除了聲音資料以外，與影像相關連的文字資料等亦可進行多工，且亦可不接收或傳送多工資料而接收或傳送影像資料本身。

再者，雖說明了包含CPU的主控制部ex460控制編碼或解碼處理，但終端亦大多具備GPU。故，亦可構成如：藉由在CPU與GPU共通化的記憶體，或以可共通使用的方式管理位址的記憶體，來活用GPU的性能以一次處理大區域。藉此，可縮短編碼時間，確保即時性，實現低延遲。尤其是不採用CPU而採用GPU，以圖片等為單位一次進行移動估計、去區塊濾波、SAO(Sample Adaptive Offset(樣本適用性偏移))及轉換、量化的處理時甚有效率。

產業上之可利用性 本發明可適用於編碼裝置、解碼裝置、編碼方法及解碼方法。

10～23、P、Q‧‧‧區塊

100‧‧‧編碼裝置

102‧‧‧分割部

104‧‧‧減算部

106‧‧‧轉換部

108‧‧‧量化部

110‧‧‧熵編碼部

112、204‧‧‧反量化部

114、206‧‧‧反轉換部

116、208‧‧‧加算部

118、210‧‧‧區塊記憶體

120、212‧‧‧迴路濾波部

122、214‧‧‧幀記憶體

124、216‧‧‧幀內預測部

126、218‧‧‧幀間預測部

128、220‧‧‧預測控制部

160、260‧‧‧處理電路

162、262‧‧‧記憶體

200‧‧‧解碼裝置

202‧‧‧熵解碼部

1201‧‧‧誤差分布推定部

1202‧‧‧濾波特性決定部

1203‧‧‧濾波處理部

1204‧‧‧邊界判定部

1205、1207、1209‧‧‧開關

1206‧‧‧濾波判定部

1208‧‧‧處理判定部

ALF‧‧‧適應性迴路濾波

AMT‧‧‧適應性多重轉換

AST‧‧‧適應性第二轉換

b0‧‧‧像素值的變異數

BIO‧‧‧雙向光流

Bs‧‧‧區塊邊界強度

CCLM‧‧‧跨組件線性模式

CU‧‧‧編碼單元

Cur block‧‧‧目前區塊

d‧‧‧像素變動

d0‧‧‧像素值的差

DCT‧‧‧離散餘弦變換

DF‧‧‧去區塊濾波

DST‧‧‧離散正弦變換

EMT‧‧‧顯式多重核心轉換

ex100‧‧‧內容供給系統

ex101‧‧‧網際網路

ex102‧‧‧網際網路服務提供者

ex103‧‧‧串流伺服器

ex104‧‧‧通訊網

ex106～ex110‧‧‧基地台

ex111‧‧‧電腦

ex112‧‧‧遊戲機

ex113‧‧‧相機

ex114‧‧‧家電

ex115‧‧‧智慧型手機

ex116‧‧‧衛星

ex117‧‧‧飛機

ex450‧‧‧天線

ex451‧‧‧傳送/接收部

ex452‧‧‧調變/解調部

ex453‧‧‧多工/分離部

ex454‧‧‧聲音訊號處理部

ex455‧‧‧影像訊號處理部

ex456‧‧‧聲音輸入部

ex457‧‧‧聲音輸出部

ex458‧‧‧顯示部

ex459‧‧‧顯示器控制部

ex460‧‧‧主控制部

ex461‧‧‧電源電路部

ex462‧‧‧操作輸入控制部

ex463‧‧‧相機介面部

ex464‧‧‧插槽部

ex465‧‧‧相機部

ex466‧‧‧操作部

ex467‧‧‧記憶體部

ex468‧‧‧SIM

ex470‧‧‧匯流排、同步匯流排

ex500‧‧‧LSI

Ref0、Ref1‧‧‧參考圖片

FRUC‧‧‧幀率提升轉換

HEVC‧‧‧高效率視訊編碼

MBT‧‧‧多類型樹

MV、MV0、MV1、MV_L、MV_U‧‧‧移動向量

NSST‧‧‧不可分離二次轉換

OBMC‧‧‧重疊區塊移動補償

p1、p2、q1、q2‧‧‧像素的像素值

PDPC‧‧‧獨立位置幀內預測組合

PMMVD‧‧‧樣式匹配移動向量導出

Pred、Pred_L、Pred_U‧‧‧預測圖像

PU‧‧‧預測單元

QTBT‧‧‧四元樹加二元樹

Ref0、Ref1‧‧‧參考圖片

S101～S107、S111、S112、S121、S122、S131、S132、S141、S142、S151、S152、S161、S162、S1201～S1203‧‧‧步驟

SAO‧‧‧樣本適用性偏移

TU‧‧‧轉換單元

v₀、v₁、v_x、v_y‧‧‧移動向量

Xk‧‧‧轉換係數

D0‧‧‧基準變化量

D1‧‧‧修正後的變化量

圖1是表示實施形態1的編碼裝置的功能構成的方塊圖。

圖2是表示實施形態1的區塊分割的一例的圖。

圖3是表示對應於各轉換類型的轉換基底函數的表。

圖4A是表示ALF所用的濾波的形狀的一例的圖。

圖4B是表示ALF所用的濾波的形狀的其他一例的圖。

圖4C是表示ALF所用的濾波的形狀的其他一例的圖。

圖5A是表示幀內預測的67個幀內預測模式的圖。

圖5B是用以說明OBMC處理的預測圖像修正處理的概要的流程圖。

圖5C是用以說明OBMC處理的預測圖像修正處理的概要的概念圖。

圖5D是表示FRUC的一例的圖。

圖6是用以說明沿著移動軌跡的2個區塊間的樣式匹配(雙向匹配)的圖。

圖7是用以說明目前圖片內的模板與參考圖片內的區塊之間的樣式匹配(模板匹配)的圖。

圖8是用以說明假定等速直線運動的模型的圖。

圖9A是用以說明根據複數個鄰接區塊的移動向量來導出子區塊單位的移動向量的圖。

圖9B是用以說明利用合併模式之移動向量導出處理的概要圖。

圖9C是用以說明DMVR處理的概要的概念圖。

圖9D是用以說明利用LIC處理之亮度修正處理的預測圖像生成方法的概要圖。

圖10是表示實施形態1的解碼裝置的功能構成的方塊圖。

圖11是表示實施形態1的去區塊濾波處理的流程圖。

圖12是表示實施形態1的區塊邊界的像素配置例的圖。

圖13是表示實施形態1的去區塊濾波處理的流程圖。

圖14是表示實施形態2的去區塊濾波處理的流程圖。

圖15是表示實施形態2的區塊內的像素位置與誤差的關係圖。

圖16是表示實施形態3的去區塊濾波處理的流程圖。

圖17是表示實施形態3的DCT-II的轉換基底的圖。

圖18是表示實施形態3的DST-VII的轉換基底的圖。

圖19是表示實施形態4的去區塊濾波處理的流程圖。

圖20是表示實施形態5的去區塊濾波處理的流程圖。

圖21是表示實施形態5之根據幀內預測方向與區塊邊界的方向之權重的一例的圖。

圖22是表示實施形態6的去區塊濾波處理的流程圖。

圖23是表示實施形態6之根據量化參數的權重的一例的圖。

圖24是表示基底的一例即DCT-II的圖。

圖25是表示基底的一例即DST-VII的圖。

圖26是表示相互鄰接的4個區塊的誤差分布、與對於其等進行去區塊濾波處理後的誤差分布的圖。

圖27是表示實施形態7的迴路濾波部的主要構成的方塊圖。

圖28是表示實施形態7的迴路濾波部的概略處理動作的流程圖。

圖29是表示實施形態7的迴路濾波部的詳細構成的方塊圖。

圖30是表示具有相對於區塊邊界呈對稱之濾波特性的去區塊濾波的例子的圖。

圖31是表示各區塊尺寸的DCT-II的例子的圖。

圖32是表示各區塊尺寸的DCT-V的例子的圖。

圖33是表示各區塊尺寸的DCT-VIII的例子的圖。

圖34是表示各區塊尺寸的DST-I的例子的圖。

圖35是表示各區塊尺寸的DST-VII的例子的圖。

圖36是表示在實施形態7決定的濾波係數的一例的圖。

圖37是表示在實施形態7決定的濾波係數的其他例的圖。

圖38是表示在實施形態7決定的濾波係數的進一步的其他例的圖。

圖39是用以說明區塊尺寸與誤差的關係圖。

圖40是表示在實施形態7決定的濾波係數的進一步的其他例的圖。

圖41是表示對應於區塊尺寸而不同的基底的梯度的圖。

圖42是表示各實施形態的編碼裝置的組裝例的方塊圖。

圖43是表示各實施形態的解碼裝置的組裝例的方塊圖。

圖44是表示實現內容發布服務的內容供給系統的全體構成圖。

圖45是表示可適性編碼時的編碼構造一例的圖。

圖46是表示可適性編碼時的編碼構造一例的圖。

圖47是表示網頁的顯示畫面例的圖。

圖48是表示網頁的顯示畫面例的圖。

圖49是表示智慧型手機一例的圖。

圖50是表示智慧型手機的構成例的方塊圖。

Claims (24)

1. 一種編碼裝置，具備： 處理電路；及 記憶體； 前述處理電路利用前述記憶體， 於分別由複數個像素組成的各區塊，利用基底來將該區塊轉換成由複數個轉換係數組成的區塊， 於由前述複數個轉換係數組成的各區塊，藉由對該區塊至少進行反轉換，來重構成由複數個像素組成的區塊， 根據經重構之相互鄰接的2個區塊各自在轉換中所用的基底組合，來決定相對於前述2個區塊的邊界的濾波特性， 進行具有已決定的前述濾波特性去區塊濾波處理。
2. 如請求項1之編碼裝置，其中前述處理電路在前述濾波特性的決定中， 若像素位於區塊的轉換所用之基底的振幅越大的位置，則對該像素決定越小的濾波係數，來作為前述濾波特性。
3. 如請求項2之編碼裝置，其中前述基底的振幅為0維基底的振幅。
4. 如請求項1之編碼裝置，其中前述2個區塊由第1區塊、及位於前述第1區塊的右側或下側的第2區塊所構成， 前述處理電路在前述濾波特定的決定中， 當前述第1區塊的轉換所用之基底為第1基底， 前述第2區塊的轉換所用之基底為第2基底時， 根據前述第1基底及前述第2基底，分別決定相對於位在前述第1區塊內的前述邊界附近的像素之第1濾波係數，及相對於位在前述第2區塊內的前述邊界附近的像素之第2濾波係數，來作為前述濾波特性。
5. 如請求項4之編碼裝置，其中前述處理電路在前述濾波特定的決定中， 當前述第1基底及前述第2基底為DST(Discrete Sine Transforms(離散正弦轉換))-VII時， 將大於前述第1濾波係數的前述第2濾波係數決定為前述濾波特性。
6. 如請求項4之編碼裝置，其中前述處理電路在前述濾波特定的決定中， 當前述第1基底及前述第2基底為DCT(Discrete Cosine Transforms(離散餘弦轉換))-II時， 將與前述第1濾波係數相等的前述第2濾波係數決定為前述濾波特性。
7. 如請求項4之編碼裝置，其中前述處理電路在前述濾波特定的決定中， 當前述第1基底及前述第2基底為DST(Discrete Sine Transforms)-VII，且前述第2區塊的尺寸小於前述第1區塊的尺寸時， 將大於前述第1濾波係數的前述第2濾波係數決定為前述濾波特性， 前述第1濾波係數與前述第2濾波係數之間的濾波係數的斜率，比前述第1區塊及前述第2區塊的尺寸相等時更平緩。
8. 如請求項4至7項中任一項之編碼裝置，其中前述處理電路在前述濾波特定的決定中，進一步根據前述第1區塊及前述第2區塊的基底組合，而決定相對於前述第1區塊的第1閾值、及相對於前述第2區塊的第2閾值，來作為前述濾波特性， 於前述去區塊濾波處理中， 藉由對於對象像素的像素值進行利用前述第1濾波係數及前述第2濾波係數的運算，來取得前述對象像素的運算後像素值， 判定前述對象像素的運算前像素值到運算後像素值的變化量，是否大於前述第1閾值及前述第2閾值中前述對象像素所屬的區塊的閾值， 於前述變化量大於前述閾值時，將前述對象像素的運算後像素值截割成前述對象像素的運算前像素值與前述閾值的和或差。
9. 一種編碼裝置，具備： 處理電路；及 記憶體； 前述處理電路利用前述記憶體， 根據第1區塊及與前述第1區塊鄰接的第2區塊的區塊尺寸，來決定相對於前述第1區塊及前述第2區塊的邊界的濾波特性， 進行具有已決定的前述濾波特性的去區塊濾波處理。
10. 如請求項9之編碼裝置，其中前述處理電路在前述濾波特定的決定中， 將相對於位在前述第1區塊內的前述邊界附近的像素之第1濾波係數，及相對於位在前述第2區塊內的前述邊界附近的像素之第2濾波係數，分別作為前述濾波特性， 當前述第2區塊的尺寸小於前述第1區塊的尺寸時， 將大於前述第1濾波係數的前述第2濾波係數決定為前述濾波特性。
11. 一種解碼裝置，具備： 處理電路；及 記憶體； 前述處理電路利用前述記憶體， 於利用基底的轉換所獲得之由複數個轉換係數組成的各區塊，藉由對該區塊至少進行反轉換，來重構成由複數個像素組成的區塊， 根據經重構之相互鄰接的2個區塊各自在轉換中所用的基底組合，來決定相對於前述2個區塊的邊界的濾波特性， 進行具有已決定的前述濾波特性的去區塊濾波處理。
12. 如請求項11之解碼裝置，其中前述處理電路在前述濾波特性的決定中， 若像素位於區塊的轉換所用之基底的振幅越大的位置，則對該像素決定越小的濾波係數，來作為前述濾波特性。
13. 如請求項12之解碼裝置，其中前述基底的振幅為0維基底的振幅。
14. 如請求項11之解碼裝置，其中前述2個區塊由第1區塊、及位於前述第1區塊的右側或下側的第2區塊所構成， 前述處理電路在前述濾波特定的決定中， 當前述第1區塊的轉換所用之基底為第1基底， 前述第2區塊的轉換所用之基底為第2基底時， 根據前述第1基底及前述第2基底，分別決定相對於位在前述第1區塊內的前述邊界附近的像素之第1濾波係數，及相對於位在前述第2區塊內的前述邊界附近的像素之第2濾波係數，來作為前述濾波特性。
15. 如請求項14之解碼裝置，其中前述處理電路在前述濾波特定的決定中， 當前述第1基底及前述第2基底為DST(Discrete Sine Transforms)-VII時， 將大於前述第1濾波係數的前述第2濾波係數決定為前述濾波特性。
16. 如請求項14之解碼裝置，其中前述處理電路在前述濾波特定的決定中， 當前述第1基底及前述第2基底為DCT(Discrete Cosine Transforms)-II時， 將與前述第1濾波係數相等的前述第2濾波係數決定為前述濾波特性。
17. 如請求項14之解碼裝置，其中前述處理電路在前述濾波特定的決定中， 當前述第1基底及前述第2基底為DST(Discrete Sine Transforms)-VII，且前述第2區塊的尺寸小於前述第1區塊的尺寸時， 將大於前述第1濾波係數的前述第2濾波係數決定為前述濾波特性， 前述第1濾波係數與前述第2濾波係數之間的濾波係數的斜率，比前述第1區塊及前述第2區塊的尺寸相等時更平緩。
18. 如請求項14至17項中任一項之解碼裝置，其中前述處理電路在前述濾波特定的決定中，進一步根據前述第1區塊及前述第2區塊的基底組合，而決定相對於前述第1區塊的第1閾值、及相對於前述第2區塊的第2閾值，來作為前述濾波特性， 於前述去區塊濾波處理中， 藉由對於對象像素的像素值進行利用前述第1濾波係數及前述第2濾波係數的運算，來取得前述對象像素的運算後像素值， 判定前述對象像素的運算前像素值到運算後像素值的變化量，是否大於前述第1閾值及前述第2閾值中前述對象像素所屬的區塊的閾值， 於前述變化量大於前述閾值時，將前述對象像素的運算後像素值截割成前述對象像素的運算前像素值與前述閾值的和或差。
19. 一種解碼裝置，具備： 處理電路；及 記憶體； 前述處理電路利用前述記憶體， 根據第1區塊及與前述第1區塊鄰接的第2區塊的區塊尺寸，來決定相對於前述第1區塊及前述第2區塊的邊界的濾波特性， 進行具有已決定的前述濾波特性的去區塊濾波處理。
20. 如請求項19之解碼裝置，其中前述處理電路在前述濾波特定的決定中， 將相對於位在前述第1區塊內的前述邊界附近的像素之第1濾波係數，及相對於位在前述第2區塊內的前述邊界附近的像素之第2濾波係數，分別作為前述濾波特性， 當前述第2區塊的尺寸小於前述第1區塊的尺寸時， 將大於前述第1濾波係數的前述第2濾波係數決定為前述濾波特性。
21. 一種編碼方法，於分別由複數個像素組成的各區塊，利用基底來將該區塊轉換成由複數個轉換係數組成的區塊， 於由前述複數個轉換係數組成的各區塊，藉由對該區塊至少進行反轉換，來重構成由複數個像素組成的區塊， 根據經重構之相互鄰接的2個區塊各自在轉換中所用的基底組合，來決定相對於前述2個區塊的邊界的濾波特性， 進行具有已決定的前述濾波特性的去區塊濾波處理。
22. 一種編碼方法，根據第1區塊及與前述第1區塊鄰接的第2區塊的區塊尺寸，來決定相對於前述第1區塊及前述第2區塊的邊界的濾波特性， 進行具有已決定的前述濾波特性的去區塊濾波處理。
23. 一種解碼方法，於利用基底的轉換所獲得之由複數個轉換係數組成的各區塊，藉由對該區塊至少進行反轉換，來重構成由複數個像素組成的區塊， 根據經重構之相互鄰接的2個區塊各自在轉換中所用的基底組合，來決定相對於前述2個區塊的邊界的濾波特性， 進行具有已決定的前述濾波特性的去區塊濾波處理。
24. 一種解碼方法，根據第1區塊及與前述第1區塊鄰接的第2區塊的區塊尺寸，來決定相對於前述第1區塊及前述第2區塊的邊界的濾波特性， 進行具有已決定的前述濾波特性的去區塊濾波處理。