TW201119412A - Moving image encoding method, moving image decoding method, moving image encoding device, and moving image decoding device - Google Patents
Moving image encoding method, moving image decoding method, moving image encoding device, and moving image decoding device Download PDFInfo
- Publication number
- TW201119412A TW201119412A TW099110341A TW99110341A TW201119412A TW 201119412 A TW201119412 A TW 201119412A TW 099110341 A TW099110341 A TW 099110341A TW 99110341 A TW99110341 A TW 99110341A TW 201119412 A TW201119412 A TW 201119412A
- Authority
- TW
- Taiwan
- Prior art keywords
- filter
- signal
- data
- prediction
- motion picture
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
- H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Medicines That Contain Protein Lipid Enzymes And Other Medicines (AREA)
- Medicines Containing Material From Animals Or Micro-Organisms (AREA)
- Fats And Perfumes (AREA)
Description
201119412 六、發明說明: 【明戶斤屬·^才支夺軒々貝3 發明領域 本發明係關於一種編碼動態影像訊號,解碼已編瑪之 動態影像訊號之動態影像編碼方法及動態影像解码方法 等,尤其關於一種利用用以將編碼或解瑪中所生成的訊龙 予以滤波之渡波器,來進行編碼及解碼之方法等。 L 才支名好]1 發明背景 現今’標準的動態影像編碼運算法之大多數係根據混 合動態影像編碼。典型上,混合動態影像編碼方法係為了 達成期望的壓縮成果,分別與不同的不產生失真之編碼方 式與產生失真之編碼方式組合。混合動態影像編碼係與 ISO/IEC標準規格(諸如 MPEG-1、MPEG-2、MPEG-4之 MPEG-X標準規格)同樣亦為17^_丁標準規格(諸如H % i或 H.263之Η·26χ標準規格)的基礎。最新的動態影像編碼標準 規格稱為H.264/MPEG-4先進視訊編碼(AVC)的規格,此係 由聯合視訊小組(jVT)、ITU_T之聯合小組及IS〇/IEC MpEG 群組所進行的標準化活動之成果。 對編碼器輸入之動態影像訊號係稱為訊框之圖像之序 列’各訊框係由2次元矩陣之像素所組成。於根據混合動態 衫像編碼之所有上述標準規格中,各個動態影像訊框被細 分為由複數個像素所組成的小區塊 。典型上,巨集塊(一般 意味由16x16像素所組成的區塊(block))為基本的圖像元 201119412 件編碼係對此進行。然而,有時對於更小的圖像元件進 仃各種特疋的編碼步驟,作為例子可舉出Μ、知4、…8 像素等尺寸之子巨麵或單純的區塊。 典型上,混合動態影像編碼之編碼步驟中包含空間性 及/或時間性制。因此,各編碼對象區塊首先從已經編碼 。動…7V像Λ框’利用空間上鄰接之區塊或時間上鄰接之 品免來預;'丨’編碼對象區塊與預測結果之差分之區塊係作 為預測殘差或預測誤差訊號而如下求出^於下—編碼步 驟’殘差區塊(預測誤差訊號)從空間(像素)區域轉換為頻率 區域。轉換的目的在於刪減殘差區塊之冗餘。於下一編碼 步驟中’轉換係數受到量化。於該步驟巾,進行實質上產 生失真(不可逆)之壓縮。一般而言,壓縮轉換係數值(量化 係數)係#由彌編碼(令失真不產生)進一步壓縮。進而編碼 用以重構編碼動態影像訊號所必需的輔助資訊,並與編碼 動態影像訊號一同提供。該資訊係關於例如空間性及/或時 間性預測或量化的資訊。 第1圖係表示遵循H.264/MPEG-4 AVC標準規格之典型 的動態影像編碼裝置(編碼器)100之一例之方塊圖。 H264/MPEG-4 AVC標準規格係組合所有上述編碼步驟之 規格。減算器105係首先特定出輸入動態影像(輸入訊號)之 編碼對象區塊、與相對應之預測區塊(預測訊號)之差分。該 差分用於預測編碼對象區塊。H.264/MPEG AVC之預測訊號 係藉由時間性預測或空間性預測而取得。能夠以訊框為單 位或巨集塊為單位而令預測類型不同。以時間性預測(畫面 201119412 間預測)所預測的巨集塊稱為_編碼巨集塊,以空間性預 測(晝面内預測)所_的巨集塊稱為框内編碼巨集塊。為了 儘可能達成高效的壓縮成果,動態影像訊框之預測類型可 由使用者設定,亦可讓動態影像編碼^⑼選擇。按昭選 _預義型’ 切換器175對減算⑽5提供相對 應之預測訊號。利用日後__獲得的預測訊號係從儲 存於記憶體MG之重構圖細構圖像簡)算出。利用空間 性預測所獲得的_訊號係受到編碼及解碼,從儲存於纪 憶體140之鄰接區壤内之交界像素的值算出。故,記憶體⑽ 係作為可比較編碼對象之訊號值、與從過去的訊號值所生 成的預測訊號之延遲手段而動作。記憶體U0可儲存複數個 編碼動態影像贿。輸人訊號㈣測訊叙差分稱為預測 誤差訊號或齡,轉換/量化部㈣係將該制誤差訊號轉 換為頻率成分之係數而予以量化。為了採不產生失真的方 法來進-步賴㈣量,熵編碼部_轉於量㈣數進行 網編碼。主要藉由可變長度編碼來刪減資料量,而前述可 變長度編碼係顧根據值的衫機率而決定長度之複數 喝字。 框内編碼圖像(亦稱別圖片、!類型圖片或j訊框)僅由已 框内編碼之巨集塊所组成。總言之,已樞内編碼之圖像益 須參考其他解碼圖像即可解‘框内編碼圖像係對於編碼 動態影像相針錯糾受性。此係由於藉由時間性預 測’去除(重清)在動態影像序列内可能從訊框往訊框傳遞之 錯誤。進而言之,m框可於編碼動態影像序列内隨機存 201119412 取。於畫面内制巾,基本上利隸於已經編碼之鄰接巨 集塊之交界之像素,來預測對象巨集塊,即預先決定 之框内預測模式之組配。空間性框内制模式不同,係指 所適用的2-人元預測之方向不同。藉此,可於各種邊緣方向 有效率地進仃空間性框内預測^藉由框内預測所獲得的預 測訊號係接著由上述減算器1〇5,從輸入訊號減算。又,表 不二間性翻制模式之f訊係受賴編碼*與編崎動離' 影像訊號一同提供。 心 於動態影像編碼裝置副内’備有取得解碼動態影像訊 號之解碼手段。其包含反量化/反轉換部⑶,係遵循 步驟執行解碼步驟之處理者。反量化/反轉換部⑶係藉由 對於量化係數進行反量化及反轉換,以生成量化預測^差 訊號。量化預測誤差訊號之職係亦稱為量化雜訊之量化 誤差’與原預測誤差訊號不同。加算器⑵係將量化預測誤 差訊號加算於預測訊號’藉此生成重構訊號1 了保有編 碼器(動態影像編碼裝置100)側與解碼器(動態影像解㈣ 置)側之相容性,利用已編碼後再解碼之動態影像訊號之重 構訊號’來求出編碼ϋ及解碼器雙方均知悉之預測訊號。 量化雜訊係因量化而重疊於該重構訊號。因以區塊 之編碼,被重疊之雜訊時常具有區塊化特性,特別是财 強力的量化時’其結果由重構訊朗示之解碼輯之區^ 交界會變得明顯。於人的視覺辨識中,區塊化效應(區灿 曲)會有負面的效果。 為了減弱效應’去區塊化濾波器130係對解碼圖像之區 201119412 塊,逐-適用去區塊化渡波器處理。去區塊化·器處理 係適用於預測訊號與量化預測誤差訊號之加算結果即重構 訊號。去區塊化濾波器處理後之重構訊號,即重構動態影 像訊號一般(若未適用後置濾波)係於解碼器側所顯示的解 碼訊號。H.264/MPEG-4 AVC之去區塊化濾波器亦可局部地 適用。區塊化雜訊的程度高時,適用較強(頻帶寬度窄)的低 通濾波器,區塊化雜訊的程度低時,適用較弱(頻帶寬度寬) 的低通濾波器。低通濾波器的強度係依預測訊號及量化預 測誤差訊號來決定。去區塊化濾波器一般使得區塊邊緣平 滑,改善解碼圖像之主觀畫質。圖像内之濾波完畢部分進 一步用於下一圖像之移動補償預測,因此可藉由濾波刪減 預測誤差,改善編碼效率。 框内編碼巨集塊係於顯示前受到濾波,而框内預測係 利用渡波前之重構訊號所示之巨集塊進行。 第2圖係用以說明去區塊化濾波器130之處理之圖。去 區塊化渡波器130係分離為左側之第1區塊301之取樣p3、 P2、pl、p0與右側之第2區塊302之取樣q3、q2、ql、q0, 於垂直區塊交界線310進行去區塊化濾波器處理。若對輸入 取樣p2、pi、p〇、q2、ql、q〇,適用具有4個係數之線性去 區塊化渡波器處理,則作為已受到去區塊化濾波器處理之 取樣而輸出以下「p〇,new」及「q0,new」。 P〇,new=(p2-(p 1«1 )+(p0+q0+1)»1)»1 > q〇,new=(q2-(q 1«1 )+(q0+p0+1)»1)»1 然後’重構動態影像訊號儲存於記憶體140。 201119412 解碼框間編碼圖像時,需要已編碼後再解碼之圖像。 寺門I·生預測知單—方向(亦即僅利用於時間性順序上,在編 馬對象框別的動態影像訊框)進行,或採雙向(亦即利用在 馬十象框則及後的動態影像訊框)進行均可。若進行單 :向,時間預測,則獲得稱為P訊框(p圖片)之框間編碼 右進行雙向之時間性預測,則獲得稱為B訊框(B圖片) 之框間編碼圖像。框間編碼圖像-般由P類型巨集塊、_ 型巨集塊及1類型巨集塊之某-者所構成。 移動補償預測部16 〇係預測框間編石馬巨集塊(p或B類型 :集塊)。首先’移動檢測部165係於已編碼後再解碼之動 :景4 Λ框内’檢測對編碼對象區塊最佳的區塊。預 ^表示該最佳區塊;移動檢測部165係以與編碼動態影像 ^虎一同提供之輔助資訊内所含之3次以動向量之形 :,將編碼對象區塊與最佳區塊間之相對性偏離(移 Γ動資料而輸出。3次元係由空間次元及Η固時間次元所 =了將預測精確度最佳化,像素解像度或Μ ”解像度4”小數像素解像度,來特植移動向量亦 ^空間小數像素精確度之移動向量亦可指已解碼之動態 :像訊框内,諸如小數像素位置般實際上不存在有像素值 办立置。故,為了進行移動補償預測,需要該類像素值之 工間性内插。内插滤波器150係進行該類空間性之像素值之 内插。按照H_264/MPEG-4 AVC標準規格,為了於水平方向 2直方向分別獲得小數像素位置之像素值,適用利用固 疋遽波器係數之6分接頭維納内插據波器與二進制減波写。 201119412 於框内編碼模式及框間編碼模式下,轉換/量化部ιι〇 係轉換輸人訊號與預測訊號間之差分即制誤差訊號,予 以量化而生成量化係數。一般而言,轉換係採用諸如2次元 離散餘弦轉換(DCT)或其整數版之正交轉換。此係由於藉此 可有效率地刪減自然的動態影像之冗餘。轉換後,由於對 於旦貝而5,低頻成分一般較鬲頻成分重要,因此低頻的 編碼係較高頻的編碼耗費更多位元。熵編碼部係將2次 π矩陣之罝化係數轉換為1次元排列。典型上,藉由所謂鋸 齒形掃描進行轉換。於鋸齒形掃描中,以特定順序,從2次 元矩陣之左上角之DC係數掃描至右下角之AC係數。典型 上,fb量集中在相當於低頻之2次元係數矩陣之左上部分, 因此若進行鋸齒形掃描,則在最後會成為零值連續的排 列。藉此,作為實際熵編碼的一部分,或在其先前的階段, 可進行利用變動長度碼之有效率編碼。 H.264/MPEG-4 AVC係採用可藉由量化參數(Qp)、及可 予以客製化之量化矩陣(QM)來控制之純量量化。藉由量化 參數,就每巨集塊選擇52個量化器中之丨個。而且,量化矩 陣特別設計成於源極内保持特定頻率,用以避免損失畫 質。H.264/MPEG-4 AVC之量化矩陣可適應動態影像序列, 與編碼動態影像訊號一同發送。 H.264/MPEG-4 AVC標準規格包括動態影像編碼層 (VCL)及網路抽象層(NAL)之2個功能層。VCL係提供已經 簡單提及之編碼功能。NAL係按照在通道上之傳送或對儲 存手段之儲存等類之進一步應用,將已編碼之預測誤差訊 201119412 號連同動態影像解碼時所必 元之標準單位予以^化=輔助纽,以稱為職單 包含壓縮動態影像資料及其广係 非νΓΤ留-〆 貝几者。又,亦包括所稱 將附加資料予以容器化者。附加資料係例 ^供關於動態影像序列全體之參數集合、或可用於改善 解馬!·生此之附加資訊之最近追加的輔助性延伸資訊(犯) 等。 為了改善晝質,亦可對解碼器(動態影像解碼裝置細) 適用稱為後置渡波器(參考第3圖ρ於h 264/mpeg_4 就標準規格中,可透關助性延伸資訊(卿訊息來傳送 後置缝狀據波H資料。後輯波器設計部⑽係藉由比 較局部解碼t«(重構域科峨)與輸人峨,來特定出 濾波器資料(所謂後置·之渡波器提示)。_般而言,渡波 資料係解碼器用以設定合適㈣波器條件之資訊。渡波 器寅料亦可直接包含例如據波器係數。然而,包含可進行 /慮波器叹定之其他資訊亦可。例如關於非壓縮訊號之交互 相關資訊'輸人圖像與解碼圖像間之交互相關資訊、或解 碼圖像與量化雜訊間之交互相關資訊等。利用該交互相關 貪了算出,慮波器係數。從後置據波器設計部180輸出之渡 波器資料係送至熵編碼部19〇 ’受到編碼並插入於編碼動態 影像訊號。 解碼器亦可於顯示解碼訊號(解碼動態影像訊號)前,對 於該解碼訊號適用濾波器資料。 第3圖係遵循H.264/MPEG-4 AVC動態影像編碼標準規 201119412 格之例示性的動態影像解碼裝置(解碼器)細之方塊圖。編 碼動態影像δίΐ號之輸入訊號首先往熵解碼部29〇發送。熵解 碼部29G騎讀人訊驗㈣解碼。諸果,解碼量化係 數、移動貢料及預龍式等解碼所必需的資訊元件、及滤 波器資料’列為-次元之量化係數係受到反掃描而成為2 次元矩陣,並往反量化/反轉換部22〇發送。反量化/反轉換 部220係藉由對於2次元矩陣之量化係數,進行反量化及反 轉換而生成量化預測誤差訊號。此係於未發生量化雜訊 時’相當於從對編輸人之輸人訊號,減算預測訊號所 獲得的差分。 預測訊號分別從移動補償預測部2 6 〇及畫面内預測部 270獲得。框内/框間切換器275係按照表示適用於編碼器之 預測類型之資訊元件,切換輸出至加算器225之預測訊號。 資訊元件係進一步於框内預測時,包含框内預測模式等之 預測所必需的資訊,於移動補償預測時,包含移動資料等 之預測所必需的資訊。依移動向量的值不同,有時為了進 行移動補4員預測須内插像素值。内插係由内插遽波器Μ 〇進 行。加算器225係對獲自移動補償預測部26〇或畫面内預測 部270之預測訊號,加算空間區域之量化預測誤差訊號,藉 此生成重構§fl號。進而加算器225係將重構訊號往去區塊化 濾波器230發送。去區塊化濾波器23〇係對於重構訊號進行 去區塊化濾波器處理,藉此生成重構動態影像訊號,並將 s亥重構動態影像訊號儲存於於記憶體240。該重構動態影像 §fl说係用於後續區塊之時間性預測或空間性預測。 201119412 後置濾波器280係取得由熵解碼部2900予以熵解碼後 之濾波器資料’設定與該濾波器資料相應之濾波器係數等 濾波條件。進而為了改善晝質,後置濾波器280係將按照該 條件之濾波適用於該重構動態影像訊號。藉此,後置渡波 器280係對編碼器所輸入的動態影像訊號之特性具備適應 能力。 歸納來說,於最新的H.264/MPEG-4 AVC標準規格所用 之濾波器包括以下3種類。亦即内插濾波器、去區塊化濾波 器及後置濾波器。一般而言’某濾波器是否適當,係由滤 波對象之圖像内容來決定。因此,可適應圖像特性之渡波 器設計較為有利。亦可將濾波器係數設計作為維納滤波器 係數。 第4圖係說明利用刪減雜訊用之維納濾波器4 0 〇之訊號 之流程之圖。若雜訊η加算於輸入訊號s,則成為包含濾波 對象之雜訊之訊號s’。刪減雜訊η之目的係對訊號s,適用維 納濾波器400,獲得濾波完畢訊號s”。維納濾波器4〇〇係設 定為使得期望的訊號即輸入訊號s、與濾波完畢訊號s”之間 之均方誤差在最小限度。因此,維納濾波器係數w係相當於 表現作稱為Wiener-Hopf(維納-賀夫)方程式之系統之最佳 化問題「argw min E[(s-s’’)2]」的解。運算符E[x]係表示期 望值X。解係以「v^RT1 · p」求出。 在此,w係包含正整數Μ位數之最佳維納濾波器係數之 Μχ 1之向量^ Rf1係表示包含濾波對象之雜訊之訊號s’之 MxM之自我相關矩陣R之倒數。p係表示包含濾波對象之雜 12 201119412 訊之訊號s’與原訊號s之間之Mxl之交互相關向量。 適應性濾波器設計有關的詳細,則參考非專利 八 又歜1。在此 援引之。 故’維納滤波器400的優點之一在於可利用p 己破損(含 雜訊)之訊號之自我相關、及破損訊號與期望的訊號門之六 互相關,來求出濾波器係數。於動態影像編碼時,在旦化 步驟中,量化雜訊重疊於原(輸入)動態影像訊號。 ^ 了 等已 濾波之重構動態影像訊號、與原動態影像訊號之均方1差 予以最小化,動態影像編碼之明文之維納濾波倍 Ί从冊彳減已 重疊之量化雜訊為目的。 從編碼器往解碼器發送之濾波器資訊係算屮 ^ 升屯的濾波器 係數本身,或無法以解碼器求出、需要維納據波器來算出 之交互相關向量P。若發送該類輔助資訊,則可改呈、廣皮〇 質。又’例如藉由增加濾波器的次數’或藉由對於動離影 像訊號之各部分’分別決定及/或適用濾波器係數,可進一 步改善濾波品質,進一步提升動畫品質(參考例如專利文獻 1)。 〔先行技術文獻〕 〔專利文獻〕 〔專利文獻1〕歐洲專利申請案公開第2048886號說明書 〔非專利文獻〕 〔非專利文獻 1〕S.Haykin,“Adaptive Filter Theory (適 應性濾波器理論),’,Fourth Edition,Prentice Hall Information and System Sciences Series, Prentice Hall, 2002. 13 201119412 【發明内容】 發明概要 發明欲解決之課題 然而’以往的動態影像編碼方法及動態影像解碼 若為了謀求提升畫質而增加濾波器係數的數目 ' 牙,則發生 為了於解碼器設定其等濾波器係數,應發送至解 争馬杰之濟 波器資料之資料量變多的問題。其結果,編碼效率降低了 並且編碼動態影像訊號的儲存需要甚大的記憶體容量。-本發明之根本課題係基於動態影像濾波品質之進一, 提升,-般會導致用以將遽波器資料與編碼動態影像3 —同提供所必需的頻帶寬度之條件增加。 乂 一因此,本發明係有鑑於該問題而完成,其目的在 供-種抑制編碼效率降低,令所解碼的動態影像之 升之動態f彡像編碼方法及動態f彡轉碼方法。-日 用以欲解決課題之手段 為了達成上述目的,本發明離 方法係總说5小〜 ^ I、樣之動態影像編碼 ’ "〆匕31個圖片之動態影像訊號者;且藉由办 ::或時間性地預測前述動態影像訊號而二 差訊號;述預測訊號之差分作為預測誤 前述動態料城2預測訊號及前述預測誤差訊號重構 ㈣背I ° ’生成重構動態影像訊號;封於前述預 預測誤差訊號及前述重構動態影像訊號中^ 資科,·根據已定用以將該訊號予以遽波之遽波器 、疋’則述遽波器資料間之交互相闕來編碼 201119412 已決定的前述濾波器資料。 藉此,由於對於預測訊號、預測誤差訊號及重構動態 影像訊號中之至少2個訊號之各者,決定濾波器係數等濾波 器資料,因此於動態影像解碼裝置,若取得其等爐波器資 料,對預測訊號、預測誤差訊號及重構動態影像訊號中之 至少2個訊號,適用其等濾波器資料,則可生成與原本的動 態影像訊號同一或與其較相近之訊號,可提升所解碼的動 態影像之畫質。又,由於根據濾波器資料之交互相關來編 碼其等濾波器資料,因此可減少濾波器資料之資料量,可 抑制編碼效率降低。 又,於編碼前述遽波器資料時,藉由從已決定的至少2 個濾波器資料中之第1濾波器資料,預測前述第丨濾波器資 料以外之第2濾波器資料,來特定出前述第2濾波器資料之 預測資料,藉由算出前述第2濾波器資料與前述預測資料之 差分來編碼前述第2濾波器資料亦可。例如於特定出前述預 測資料時,特定出前述第丨濾波器資料作為前述預測資料。 又,第1濾波器資料為例如對於重構動態影像訊號之濾波器 >料,第2渡波器資料為例如對於預測訊號之渡波器資料。 藉此,實現所謂濾波器資料(濾波器係數)之預測編碼。 總言之,由於第與《資料之差分成為已編碼之第 2濾波器資料,因此若預測資料與第2濾波器資料越類似, 則可越減少已編碼之第2濾波器資料之資料量,可提升編碼 效率。又,若有第1濾波器資料與第2濾波器資料類似之趨 勢,則可藉由將第1濾波器資料設作預測資料,簡單地特定 15 201119412 出可提升編碼效率之預測資料,可謀求減輕處理負擔。 又,編碼前述濾波器資料時,亦可量化前述濾波器資 料,編碼表示前述量化之精確度之精確度資訊。 藉此,由於濾波器資料被量化,因此可進一步減少濾 波器資料之資料量,可進一步提升編碼效率。又,由於精 確度資訊(例如濾波器精確度[C])受到編碼,因此於動態影 像解碼裝置,可藉由取得該受到編碼之精確度資訊,適當 地將被量化之渡波器資料予以反量化。 又,於編碼前述精確度資訊時,以前述精確度資訊所 示之精確度越低,對該精確度資訊分派越短碼字之方式來 編碼前述精確度資訊亦可。 藉此,可進一步提升編碼效率。 又,於決定前述濾波器資料時,在對於前述預測訊號、 前述預測誤差訊號及前述重構動態影像訊號中之至少2個 訊號之各者,適用前述濾波器資料的情況下,以獲得的圖 像較前述2個訊號所示圖像更接近前述動態影像訊號所示 圖像之方式,來決定前述濾波器資料亦可。 例如將第1色彩成分之濾波器資料與第2色彩成分之濾 波器資料之差分,設為已編碼之第1色彩成分之濾波器資 料,藉此可進一步減少濾波器資料之資料量,可進一步提 升編碼效率。 又,前述動態影像編碼方法進一步根據前述預測誤差 訊號’作為位元串流而生成編碼動態影像訊號’將已編碼 之前述渡波器資料包含於前述位元串流中;於前述位元串 16 201119412 流中包含已編碼之前述濾波器資料時,於前述位元串流 内’在利用前述濾波器資料之濾波所應用的圖像訊號前, 配置已編碼之前述濾波器資料亦可。 由於已編碼之濾波器資料配置於該濾波器資料所適用 的圖像訊號前,因此若按照排列於位元牟流的順序,生成 δ玄已編碼之據波器資料及該圖像訊號’則無須暫時事先儲 存所生成的其等資料,可謀求刪減記憶體容量。於該情況 下’由於可利用該濾波器資料生成圖像訊號,因此可實現 所謂迴圈内濾波器。總言之’可對於預測訊號,進行利用 該濾波器資料之濾波,從該受到濾波之預測訊號生成圖像 訊號。 又,於決定前述滤波器資料時’對於前述至少2個訊號 之各者’選擇滤波器係數之尺寸,決定用以特定出所選擇 的尺寸之語法元件及包含前述渡波器係數之前述濾、波器資 料亦可。 藉此,可就例如訊框或片段,逐一變更濾波器係數之 尺寸(濾波器尺寸),於例如根據交互相關,僅編碼藉由上述 尺寸所決定的範圍之中心位置之濾波器資料(濾波器係數) 時’可藉由因應狀況縮小尺寸來提升編碼效率。 又,為了達成上述目的,本發明之一態樣之動態影像 解碼方法,係解碼至少包含1個圊片之動態影像訊號受到編 碼之編碼動態影像訊號者;且從前述編碼動態影像訊號生 成預測誤差訊號;藉由空間性或時間性地預測前述動態影 像訊號而生成預測訊號, ·藉由根據前述預測訊號及前述預 17 201119412 測誤差t㈣料 號,前述預測訊號、前述預測誤==影像訊 態影像訊號中之至少2個訊號之各者,=:述重構動 資料受到編碼之編,廣π 传已决疋之濾波器 之交互相關,來解二^二;:據前述渡波器資料間 “至少2個訊號之各者之前述編 資料’藉此生成缝器資料;對於前述至少警孔 5虎之各者,進行利用已生成之前述滤波器資料之壚波。 藉此,可適當解喝藉由上述本發明之一態樣之動態影 扁馬方法所編碼的據波器資料藉由進行利用該渡波器 二;〜波可生成與原本的動態影像訊號所示圖像更相 近之解碼圆像’可提升解像之畫質。 再者’本發明不僅可實現作為該類動態影像編碼方法 及動‘杨像解碼方法,村實現㈣按照該方法進行處理 動作之裝置或频電路、令電職行按麟方法之處理動 作之程式、或儲存該程式之記錄媒體而實現。 又,本發明特有的手法係考慮預測動 態影像訊號、預 測誤差訊號及重構動絲像崎巾之至少2個錢,來進行 滤波器資料及波,然後彻輔波器資制之統計性關 係(交互相關)’編碼對於上述至少2個訊號之濾波器資料。 藉由該類手法,一方面可令濾波性能提升,另一方面 可刪減發送濾波器資料所需要的頻帶寬度。因此,可對於 編碼動態影像讯號之健存/發送所需要的特定速率,令解碼 動態影像訊號的品質提升。 若依據本發明之一態樣,會提供一種用以編碼至少包 18 201119412 態影像訊框之動㈣像訊狀料。空間性或時間 號。根影像訊號,根據預測結果算出預測誤差訊 Μ二π測訊號及前述預測誤差訊號重構動態影像 ㈣及將前述預測動態影像訊號、前述預測誤差 之:波:==影像訊號中之至少2個訊號予以據波 鎮影像 、I了編碼。前述觸係根據前述預測動 中之述預職差訊號及前述4構動態影像訊說 相關)而進行⑽魏之_細之統計性關係(交互 包人本發明之別的態樣,會提供—種用以解碼至少 3 動態影像訊框之編碼動離影像气號夕士 t :性地預測動態影像訊號::編碼器== ::=:號。根據對於前述預_==: 波”料Γ及重構動態影像訊號中之至少2個訊號之渡 a之統植關係,解碼。藉此,因庫 :==:r波㈣前述預一 個訊號予以遽波。態影像訊號中之前述至少2 =據本發明進—步之別的態樣,會提供 二像訊框之動態影像訊號之編碼裝置。前述 像訊號者了減算係空間性或時間性地預測動態影 。戒者’及重難,係《料翻彡像訊號及前 201119412 述預測誤差訊號重構動態影像訊號者。 進一步具備:濾波器設計手段,係決定用以將前述預 測動態影像訊號、前述預測誤差訊號及重構動態影像訊號 中之至少2個訊號予以濾波之濾波器資料者;及濾波器資料 編碼器,係根據前述預測動態影像訊號、前述預測誤差訊 號及前述重構動態影像訊號中之前述至少2個訊號之濾波 貢料間之統計性關係(交互相關)’編碼前述已決定之渡波 器資料者。 若依據本發明進一步之別的態樣,會提供一種解碼至 少包含1個動態影像訊框之編碼動態影像訊號之解碼裝 置。前述解碼裝置具備:預測器,係空間性或時間性地預 測動態影像訊號者;及重構器,係根據預測動態影像訊號、 及前述裝置可從編碼器側取得之預測誤差訊號,重構動態 影像訊號者。前述解碼裝置進一步具備:解碼器,係根據 對於前述預測動態影像訊號、前述預測誤差訊號及重構動 態影像訊號中之至少2個訊號之濾波器資料間之統計性關 係(交互相關),解碼濾波器資料者;及濾波器設計手段,係 因應前述解碼濾波器資料而設定濾波器,將前述預測動態 影像訊號、前述預測誤差訊號及前述重構動態影像訊號中 之前述至少2個訊號予以濾波。 編碼步驟宜進一步具備量化預測誤差訊號之步驟,根 據預測動態影像訊號、量化預測誤差訊號、重構動態影像 訊號及輸入於編碼器動態影像訊號,算出濾波器資料作為 維納濾波器。一般而言,編碼亦可進一步具備轉換或色彩 20 201119412 空間轉換等其他編碼步驟。濾波器資料之決定不限定於維 納濾波器,以其他方法設計亦可,例如解決將均方誤差最 小化以外之最佳化問題等。 濾波器資料宜利用預測編碼、轉換編碼、向量量化及 編碼、及根據馬可夫模型及/或狀態變遷圖之編碼中之至少 一者而編碼。然而,若是可利用預測訊號及/或量化預測誤 差訊號及/或重構訊號之濾波器資料間之統計性依存關係 之編碼,則利用其他編碼亦可。亦可利用例如變動長度編 碼、因應編碼完畢資料而切換編碼表之可變長度編碼、或 可將對於不同的動態影像訊號及/或色彩成分之濾波器資 料之組合作為1碼字而編碼之結合摘編碼。 若依據本發明較佳之實施形態,則利用預測編碼,來 編碼對於預測動態影像訊號、預測誤差訊號及重構動態影 像訊號之濾波器資料。尤其從對於重構動態影像訊號之濾 波器資料,預測對於預測動態影像訊號之濾波器資料,及/ 或從對於預測動態影像訊號之濾波器資料,預測對於量化 預測誤差訊號之濾波器資料。預測係以例如對於預測動態 影像訊號之濾波器資料、與對於預測誤差訊號之濾波器資 料為同等作為前提而進行亦可。濾波器係數之預測亦以例 如對於預測動態影像訊號之濾波器係數、與對於重構動態 影像訊號之濾波器係數之合計等於固定值(1等)為前提而進 行亦可。然後,藉由編碼濾波器資料與其預測結果之誤差 而進行編碼。然而,對於上述訊號中之1個訊號之濾波器資 料的預測,亦可利用對於剩餘訊號之濾波器資料之別的函 21 201119412 數來進行。例如對於重構動態影像訊號之滤波器資料,亦 可作為對於預測動態影像訊號之濾波器資料與對於預測誤 差訊號之濾波器資料之函數而預測。對應於上述,解碼器 係利用對於上述訊號之濾波器資料間之統計性關係,來將 其等解碼。 尤其是利用預測編碼來編碼濾波器資料時,亦可藉由 將預測種類予以訊號發送,而令預測適應編碼對象之濾波 器資料之特性。同樣地,將轉換及馬可夫模型包含於例如 序列、訊框或片段標頭,從編碼器對解碼器側適應性地予 以訊號發送亦可。利用向量量化及相關聯之向量編碼時, 將代表向量包含於例如序列、訊框或片段標頭,從編碼器 對解碼器側適應性地予以訊號發送亦可。 宜對於各色彩成分,個別決定濾波器資料,將對於第1 色彩成分之濾波器資料,根據該對於第1色彩成分之濾波器 資料、與對於別的色彩成分之濾波器資料之間之統計性關 係予以編碼。藉此,可利用濾波完畢訊號之色彩成分間之 統計性關係。 尤其是前述濾波器資料包含:濾波器係數、濾波器長、 偏移、濾波器資料之編碼類型、以及輸入於編碼器之動態 影像訊號與前述預測訊號、前述預測誤差訊號、前述重構 動態影像訊號中之至少1個訊號之交互相關之至少一者。 又,亦可發送量化雜訊、與預測訊號、預測誤差訊號及重 構動態影像訊號中之至少1個訊號之交互相關。交互相關資 訊亦可為了讓解碼器決定濾波器係數而利用。總括而言, 22 201119412 若是於解碼器側為了決 、疋濾波态係數而可利用之資訊,亦 了將任一資訊作為濾浊次 _ 息皮益貝枓而予以訊號發送。血型上, 该類資訊宜為與輸入於編碼哭夕语如% ^ ^0, 、、馬盗之原動態影像訊號或量化雜 。目關聯’且不為解碼器側所知之資訊。 、.《波$貝料之編碼宜與編碼動態影像訊號之全體位元 7關而進行。尤其全體位元率越低,職波时料之編 碼選擇越_速率,全體位元率越高,職波器資料之編 :選擇越问的速率。據波器資料亦可包含濾波器資料量化 2 m貝料量化資訊係表示受到編碼而包含於滤波 資料之偏移;慮波II係數、以及輸人於編碼器之動態影 象K號肖預測況说、預測誤差訊號、重構動態影像訊號 中之至少1個訊號之交互相财之至少一者之正確性(精確 度)。精確度越低,資料越粗略地被量化。濾波器資料量化 '貝-fl所示精確度越低,宜利用越短碼字來編碼攄波器資料 量化資訊。藉此,具有對於速率低之編碼動態影像資料, 可將濾波器資料之訊號發送所造成的重疊維持在較低的效 果。適應性地編碼濾波器資料量化資訊,或碼字表根據包 含於位元串流而進行訊號發送之資訊,來予以訊號發送或 算出均可。 若依據本發明之實施形態,關於動態影像訊號區域之 ’慮波器負料係於位元串流中,包含在編碼動態影像訊號區 域之後。藉此,由於無須為了將包含相關聯之濾波器資料 之標頭,附加於編碼動態影像串流之目的,而於編碼器儲 存該編碼動態影像串流,因此可減少編碼器之記憶體條件。 23 201119412 若依據本發明之其他實施形態,關於動態影像訊號區 域之據波n資料係於位元串流中,包含在編碼動態影像訊 號區域之前。藉此,由於無須儲存編碼/解碼動態影像串 流,直到設定及適用濾波器為止,因此可減少解碼器之記 憶體條件。 π 宜利用算術碼,編碼標頭資訊、濾波器資料及巨集塊 育料,以便對於標頭資訊、濾波器資料及巨集塊資料提供 各自之碼字。故,編碼器及相對應之解碼器係於編碼標頭 資訊、濾波器資料及巨集塊資料之各者前再啟動。藉此, 可個別處理該等種類不同的資料。然而,不令編碼器及解 碼器再啟動,將標頭資訊、濾波器資料及巨集塊資料編碼 作單一碼字亦可。又’亦可利用與算術編碼不同的編碼。 亦可連同編碼濾波器資料而設置旗標,訊號發送濾波 器資料是否對於預測訊號、預測誤差訊號及重構動態影像 讯號中之任一者受到編碼。亦可設置別的旗標,訊號發送 偏移是否受到編碼。 動態影像訊號宜根據H.264/MPEG-4 AVC標準規格而 、、扁碼及/或解碼’濾波器資料包含於輔助性延伸資訊(SEI) 訊息内。 然而’本發明不限定於H.264/MPEG-4 AVC標準規格、 延伸该規格之規格、及接續於該規格之規格,亦可利用於 已標準化或專利化之動態影像編碼機制。 若依據本發明進一步之別的態樣’會提供一種電腦程 式製品’係具備適應實施本發明、安裝有電腦可讀取之程 24 201119412 式碼之電腦可讀取媒體者。 若依據本發明之別的態樣,會提供一種從編碼器側往 解碼器側發送動態影像訊號之系統。該系統具備:上述編 碼$、用以儲存或發送編碼動態影像訊號之通道、及上述 解石馬n °若依據本發明之實施形態,該通道相當於記憶媒 體’例如揮發性或非揮發性之記憶體
、諸如CD、DVD、BD 或*石更碟之光學或磁性記憶手段、快閃記憶體或其他記憶手 段。於本發明之其他實施形態中,通道為傳送媒體。此係 可藉由網際網路、WLAN、UMTS、ISDN、xDSL等遵循已 ^準化或專利化之傳送技術/系統之無線系統、有線系統, 或其雙方組合之資源來形成。 本發明之目的及特徵亦包含上述以外者,參考所附圖 式’同時藉由以下所說明的描述及較佳實施形態,將會進 一步闡明。 發明效果 本發明之動態影像編碼方法及動態影像解碼方法可抑 制編碼效率降低,令所解碼的動態影像之畫質提升。 圖式簡單說明 第1圖係表示以往遵循H.264/MPEG-4 AVC之動態影像 編碼裝置之方塊圖。 第2圖係表示2個區塊間之垂直交界線之去區塊化濾波 器處理之概略圖。 第3圖係表示以往遵循H.264/MPEG-4 AVC之動態影像 解碼裝置之方塊圖。 25 201119412 第4圖係表示具備維納濾波器之傳送系統之概略圖。 第5圖係本發明之實施形態之動態影像編碼裝置之方 塊圖。 第6 A圖係表示同上之動態影像編碼裝置之處理動作之 流程圖。 第6B圖係表示同上之濾波器資料之編碼之詳細處理動 作之流程圖。 第7圖係同上之動態影像解碼裝置之方塊圖。 第8 A圖係表示同上之動態影像解碼裝置之處理動作之 流程圖。 第8B圖係表示同上之編碼濾波器資料之解碼之詳細處 理動作之流程圖。 第9圖係於同上之頻率區域内進行濾波器設計之動態 影像編碼裝置之方塊圖。 第10圖係於同上之頻率區域内進行濾波之動態影像解 碼裝置之方塊圖。 第11A圖係表示對應於同上之編碼動態影像訊號(位元 串流)之片段或訊框之部分之構成之一例之圖。 第11B圖係表示同上之編碼動態影像訊號(位元串流) 之一部分之構成之其他例之圖。 第11C圖係表示同上之編碼動態影像訊號(位元串流) 之一部分之構成之其他例之圖。 第12A圖係表示同上之序列標頭之語法之圖。 第12B圖係表示同上之訊框之語法之圖。 26 201119412 第13A圖係表示同上之魅 之解碼後置濾波写 (c)(decode_post_filter(c))之語法之圖。 命 之圖 第13關係表示同上之解碼後置據波器⑷之其他語法 第14圖係表示同上夕.套丄 U上之濾波器提示類 [c](filter一hint_type[c])之值與滹沘 ^ 、德波益“之種類之關 圖。 第15圖係表示同上 J上之濾波器精確 [c](fmer_precisi〇n[c])與維納濾波器精確X [cKWiener—Filter_Precision[c])之對應關係之圖。 度 第16圖係表示分派給同上者 波⑼机k、 精確度[C](維納據 /反态檟確度[c])之一凡碼之圖。 第Π圖係表示分派給同上之渡波_確度㈣ 波器精確度[c])之哥倫布碼之—例之圖。 愿 。第18圖係表示分派給同上之渡波器精確度[c](維納滤 波器精確度[c|)之哥倫布碼之其他例之圖。 第19圖係表示分派給同上之濾波器精確副(維納據 波器精確度[C])之固定長度碼之圖。 第20A圖係表示對於同上夕击槐 丁丨』上之重構動態影像訊號之濾波 器係數之算出式之圖。 〃第細圖係表示對於同上之預測訊號之渡波器係數之 鼻出式之圖。 …第2_係表示對於同上之量化預測誤差訊號之渡波 器係數之算出式之圖。 27 201119412 第21圖係表示同上之解碼動態影像訊號之算出式之 圖。 第22A圖係表示同上之標準化及裁剪之算出式之圖。 第22B圖係表示同上之標準化及裁剪之其他算出式之 圖。 第23A圖係表示對於同上之預測訊號之中心位置之濾 波器係數之算出式之圖。 第23B圖係表示對於同上之預測訊號之中心位置以外 之濾波器係數之算出式之圖。 第23C圖係表示對於同上之量化預測誤差訊號之濾波 器係數之算出式之圖。 第24A圖係表示對於同上之重構動態影像訊號之濾波 器係數之算出式之圖。 第2 4 B圖係表示對於同上之預測訊號之濾波器係數之 算出式之圖。 第24C圖係表示對於同上之量化預測誤差訊號之濾波 器係數之算出式之圖。 第25圖係表示同上之水平滤波之圖。 第26圖係表示對於同上之水平濾波完畢訊號之標準化 及裁剪之算出式之圖。 第27圖係表示同上之垂直濾波之圖。 第28圖係表示對於同上之水平及垂直濾波完畢訊號之 標準化及裁剪之算出式之圖。 第29A圖係表示對應於同上之重構動態影像訊號之交 28 201119412 互相關矩陣之元件之算出式之圖。 第29B圖係表示對應於同上之預測訊號之交互相關矩 陣之元件之算出式之圖。 第29C圖係表示對應於同上之量化預測誤差訊號之交 互相關矩陣之元件之算出式之圖。 第3 0 A圖係表示對應於同上之重構動態影像訊號之水 平交互相關向量之元件之算出式之圖。 第30B圖係表示對應於同上之重構動態影像訊號之垂 直交互相關向量之元件之算出式之圖。 第30C圖係表示對應於同上之預測訊號之水平交互相 關向量之元件之算出式之圖。 第3 0 D圖係表示對應於同上之預測訊號之垂直交互相 關向量之元件之算出式之圖。 第30E圖係表示對應於同上之量化預測誤差訊號之水 平交互相關向量之元件之算出式之圖。 第30F圖係表示對應於同上之量化預測誤差訊號之垂 直交互相關向量之元件之算出式之圖。 第31圖係表示鄰接於同上之編碼/解碼之對象區塊之 周邊區塊之圖。 第32圖係表示同上之系統之圖。 第33圖係表示實現内容配送服務之内容供給系統之全 體構成之一例之模式圆。 第34圖係表示行動電話之外觀之圖。 第35圖係表示行動電話之構成例之方塊圖。 29 201119412 第36圖係表示數位播放用系統之全體構成之一例之模 式圖。 第37圖係表示電視之構成例之方塊圖。 第38圖係表示於記錄媒體-光碟進行資訊讀寫之資訊 再生記錄部之構成例之方塊圖。 第39圖係表示記錄媒體一光碟之構造例之圖。 第40圖係表示實現各實施形態之圖像編碼方法及圖像 解碼方法之積體電路之構成例之方塊圖。 【實施方式3 用以貫施發明之形態 若依據本發明,可考慮到預測訊號、預測誤差訊號及 重構動態影像訊號而設計空間區域或頻率區域之濾波器條 件。藉此,可個別考慮該等3個訊號各自的雜訊。對於該等 訊號中之至少2個訊號決定濾波器資料,利用該至少2個訊 號之濾波器資料間之交互相關來編碼該濾波器資料。 藉此’本發明可提供有效率的濾波手法,刪減用以傳 送編碼動態影像串流所必需的資料量,同時提高受到濾波 之資料的品質。總言之,可抑制編碼效率降低,令解碼動 態影像之畫質提升。 i乂下說明關於本發明之實施形態。 (實施形態〇 第5圖係本發明之根據η.264/MPEG-4 AVC之例示性解 碼器之動態影像編碼裝置500之方塊圖。 本實施形態之動態影像編碼裝置500具備:減算器 30 201119412 1〇5、轉換/量化部110、反量化/反轉換部⑽、加算器125、 去區塊化渡波器130、記憶體⑽、内_波器⑼、移動補 償預測部⑽、移動檢測細、畫面内預測部17〇、框内/ 忙間切換器I75、後置攄波器設計部54〇及熵編碼部59〇。於 本實施形態之動態騎編碼裝4 ,其雜在於後置據波 器設計部540之處理動作。 減异Is 10 5係藉由減算輸入訊號之動態影像訊號來生 成預測誤差訊號。 轉換/量化部110係對於由減算器1〇5所生《的預測誤 差訊號,進行DCT等正交轉換及量化,藉此生成量化係數。 反量化/反轉換部120係對於由轉換/量化部11〇所生成 的量化係數,進行反量化,並且進行反〇(:1等反正交轉換, 藉此生成量化預測誤差訊號。 加算器125係於與預測訊號相對應之量化預測誤差訊 號,加算該預測訊號’藉此生成重構訊號。 去區塊化濾波器130係去除包含於重構訊號所示之圖 像之區塊扭曲,於記憶體140儲存已除去區塊扭曲之重構訊 號’即重構動態影像訊號。再者,於本實施形態,由加算 器125及去區塊化濾波器130構成重構部。 内插濾波器150係讀出藉由儲存於記憶體14〇之重構動 態影像訊號所示之參考圖像’對於該參考圖像内插小數像 素0 畫面内預測部170係藉由晝面内預測生成編碼對象區 塊之預測圖像,輸出表示該預測圖像之預測訊號。 31 201119412 移動檢剛部165係參考藉由 =:一⑽,對 作為移㈣檢㈣165餐鄉動向量, 獅。貝Ή而輸出至移動補償預測部刚及熵編碼部 移動補償預測部⑽係利用已由内插遽波器150内插小 數像素之參考圖像、及從移動檢測部165輸出之移動資料進 订移動補償。藉此,移動補償預測部副係藉由畫面間預 測’生成編码對象區塊之預測圖像,輸出該預測圖像所示 之預測訊號。 孝内杧間切換器175係因應編碼對象區塊之編碼類 型’切換由畫_預測部17G所生成的_訊號、與由移動 補償預測部_射成的刪喊,並輸ώ至減算器1〇5及 加算器125。例如於編碼對象區塊已受到晝面内預測編碼 時,框内/框間切換器Π5係將由畫面内預測部17〇所生成的 預測訊號’輸出至減算器丨〇5及加算器125。另,於編碼對 象區塊已文到畫面内預測編碼時’框内/框間切換器175係 將由移動補償預測部160所生成的預測訊號,輪出至減算器 105及加算器125。 後置濾波器設計部540係設計關於後置濾波之濾波器 係數等濾波器條件。總言之,後置濾波器設計部54〇係根據 輸入訊號之動態影像訊號、重構動態影像訊號、預測訊號 及量化預測誤差訊號,算出對於重構動態影像訊號、預測 訊號及量化預測誤差訊號之各者之濾波器係數。接著,後 32 201119412 置濾波器設計部540係根據濾波器係數間之交互相關,生成 用以於解碼器側復原其等濾波器係數之濾波器提示,將包 含濾波器提示之新濾波器資料(差分濾波器資料)輸出至熵 編碼部590。總言之,後置濾波器設計部540係對於重構動 態影像訊號、預測訊號及量化預測誤差訊號之各者,決定 包含濾波器係數之濾波器資料,根據濾波器資料間之交互 相關來生成渡波器提不(差分渡波益貢料)。再者’上述渡波 器提示係對於重構動態影像訊號、預測訊號及量化預測誤 差訊號之各者而生成,其為濾波器係數本身或與濾波器係 數不同均可。又,濾波器資料亦可為例如交互相關向量等 之任何資訊。 熵編碼部590係將該差分濾波器資料,連同量化係數及 移動資料予以熵編碼(例如算術編碼),輸出包含受到熵編碼 之差分濾波器資料之編碼動態影像訊號。再者,於本實施 形態,後置濾波器設計部5 4 0之決定濾波器資料之功能部分 係構成作決定部,後置濾波器設計部540之生成濾波器提示 (差分濾波器資料)之功能部分及熵編碼部5 9 0係構成作編碼 部。 例如後置濾波器設計部540係算出一濾波器係數,係使 得作為輸入訊號之期望的訊號s與濾波完畢訊號s’之間之均 方誤差成為最小者。 〔數1〕 Μ Ν 0 s' = Σ wi · Pi + Σ wM+i · e; + Σ WM+N+, · η + wM+N+0+1 …(式 i) i=l i=l i=l 33 201119412 於上述(式1)中’ 、…、為後置滤波之Μ個據波器 係數,適用於Μ個預測取樣(預測訊號)P1.....pM。又, wM+l、···、Wm+n為後置濾波之N個濾波器係數,適用於n個 量化預測誤差取樣(量化預測誤差訊號)e|.....eN。又, ...........WM+N+〇為後置濾波之〇個濾波器係數,適用於 0個重構動態影像取樣(重構動態影像訊號)η、·.·、r。。 Wm+N+O+1為偏移。 關於第4圖,如上述,使得期望的訊號s與濾波完畢訊 號s’之間之均方誤差最小化之濾波器係數,亦可藉由解開 Wiener-Hopf(維納_賀夫)方程式而決定。 第6 A圖係表示本實施形態之動態影像編碼裝置$ 〇 〇之 處理動作之流程圖。 動態影像編碼裝置5 〇 〇之晝面内預測部17 0或移動補償 預測部160係生成預測訊號(步驟sl〇〇)。接著,減算器1〇5 係藉由從動態影像訊號減算預測訊號,生成預測誤差訊 號,轉換/量化部110及反量化/反轉換部12〇係對於該預測誤 差訊號進行量化及反量化部,藉此生成量化預測誤差訊费 (步驟S110)。進而加算器125係藉由於預測訊號,加算量^丨 預測誤差訊號而生成重構訊號,去區塊化濾波器13〇係^ 從該重構訊號除去區塊扭曲而生成重構動態: 驟S12〇)〇 °观(与
^ ^ αα ^ , w, ^ J QQ 濾波器 所生成的各訊號,決定濾波器資料(步驟Sl3… 設計部54〇係進行根據上述(式1}之運算 34 201119412 器係數使得均方誤差成為最小。總言之,後置渡波器設計 部54〇決定包含濾波器係數之濾波器資料,以便獲得一圖像 (解碼圖像),係較預測訊號、量化預測誤差訊號及重構動態 景夕像sfL號之各者所示之圖像’更接近動態影像訊號所示之 圖像者。然後’後置濾波器設計部540及熵編碼部590係根 據已決定之渡波器資料間之交互相關’來編碼該已決定之 濾波器資料(步驟S140)。 第6B圖係表示濾波器資料之編碼(步驟s14〇)之詳細處 理動作之流程圖。 後置濾波器設計部540係從已決定之2個濾波器資料中 其一之濾波器資料,預測另一濾波器資料,藉此特定出另 一濾波器資料之預測資料(步驟S142)。接著,後置濾波器設 計部540算出該另一濾波器資料與預測資料之差分,藉此算 出差为;慮波器資料(據波器提示)(步驟S144)。然後,網編碼 部590係將該差分濾波器資料予以熵編碼(步驟s 146)。如 此’對於另一濾波器資料進行差分算出及熵編碼,藉此編 碼該另一濾波器資料。總言之,即生成編碼濾波器資料。 再者’渡波器資料在典型上為濾波器係數,差分濾波 器資料在典型上係表示2個濾波器係數間之差分之差分濾 波器係數’該差分濾波器係數被作為濾波器提示而處理。 又’上述預測資料在典型上為其一之濾波器資料,亦即其 一之濾波器係數本身。 具體而言,後置濾波器設計部540係於步驟S120,決定 對於重構動態影像訊號之濾波器係數、對於預測訊號之濾 35 201119412 波器係數、及對於量化預測誤差訊號之濾波器係數。然後, 後置濾波器設計部540係於步驟S142,從對於重構動態影像 訊號之濾波器係數,預測對於預測訊號之濾波器係數,藉 此特定出對於該預測訊號之預測資料(預測濾波器係數)。接 著’後置濾波器設計部540係於步驟S144、S146,算出對於 預測訊號之濾波器係數與預測濾波器係數之差分,藉由熵 編碼來編碼對於預測訊號之濾波器係數。又,後置渡波器 sS:计部540係於步驟S142 ’特定出例如對於重構動態影像訊 號之濾波器係數來作為預測濾波器係數。 又’後置滤波器設計部540亦可將步驟s 130所決定的預 測訊號、量化預測誤差訊號及重構動態影像訊號各自之渡 波器係數(濾波器資料)予以量化’從該已量化之濾波器係數 算出差分濾波器係數。又’後置濾波器設計部540亦可不量 化濾波器係數而算出差分濾波器係數,並量化該差分濾波 器係數。又’僅量化對於預測訊號、量化預測誤差訊號及 重構動態影像訊號中之某1個或2個訊號之濾波器係數亦 可。進行該類量化時,後置濾波器設計部540係將表示該量 化之精確度(維納濾波器精確度[c])之資訊(濾波器精確度 [c])包含於差分濾波器資料。 又,後置濾波器設計部540亦可於決定濾波器係數時, 就色彩成分逐一決定各濾波器係數,根據第1色彩成分(例 如對應於c = 1之色彩成分)之濾波器係數與第2色彩成分(例 如對應於c=2之色彩成分)之濾波器係數之間之交互相關, 編碼第1色彩成分之濾波器係數。 36 201119412 之動態影像解碼裝 第7圖係作為本實施形態之解碼器 置600之方塊圖。 本實施形態之動態影像解碼裝置6 態影像編碼裝置之輸出訊號 〜#輪出自動 作為輸入訊號,並解碼該輸人訊號。態影像訊號 600*# : 去區塊化濾波器謂、記憶體24。、内轉波器㈣、書 ==、框内_切換器275、移動補償預測部細及 後置遽波1161於本實_態之動態影像編碼裝置侧, 其特徵在於後置濾波器64〇之處理動作。 "熵解碼部_係對於輸入訊號之編碼動態影像訊號,進 订,編_’!如算術解碼),藉此將軸㈣、量化係數及滤 波益貝料(差分m資料),分別輸出至移動補償預測部 細、反量化/反轉換部22〇及後置據波器_。此時,編碼 動態影像《所含之闕纽器料錢職解碼而轉換 為差分濾波器資料。 反量化/反轉換部220係對於輸出自熵解碼部69〇之量 化係數,進行反量化,並JL進行反DCT等反正交轉換,藉 此生成厘:化預測誤差訊號。再者,於本實施形態由熵解 碼。卩690及反量化/反轉換部22〇構成預測誤差訊號生成 部。又,由熵解碼部690構成取得部。 加算器225係於由反量化/反轉換部22〇所生成的量化 預測誤差訊號,加算對應於該量化預測誤差訊號之預測訊 號’藉此生成重構訊號。 37 201119412 區塊化遽波器230係去除包含於重構訊號所示之圖 像之區塊扭曲,於記憶細儲存已除去區塊㈣之重構訊 號’即重構動態影像訊號。再者,於本實施形態,由加算 益225及去區塊化濾波器23〇構成重構部。 内插據波器250係讀出藉由儲存於記憶體24〇之重構動 =__所示之參考⑽’對於該參考圖像内插小數像 素。 畫面内預測部270係藉由畫面内預測生成編碼對象區 土之預測®像,輸出表示該預_像之預測訊號。 移動補償預測部260係利用已由内插濾波器25〇内插小 之像素之參考圖像、及從熵解碼部_輸出之移動資料進行 移動導藉此,移動補償預測26〇係藉由畫面間預測,生 成編碼對象區塊之預測圖像,輸出該·圖像所示 訊號。 框内/框間切換器275仙應編碼對象區塊之編碼類 型’切換由晝面内預測部27G所生成的預測訊號、與由移動 補償預測部26G所生成的預測訊號,並輸^至加算器奶。 例如於編碼對象區塊已受到畫面内預測編碼時,框内/框間 切換器275係將*畫面__27G所生成的_訊號,輸 出至加算器225。另,於編碼對象區塊已受到畫面内預測編 碼時,框内/框間切換器275係將由移動補償預測部26〇所生 成的預測訊號,輸出至加算器225。 後置濾波器設計部640係從熵解碼部6 9 〇取得濾波器資 料(差分濾波器資料)’根據該差分濾波器資料設定濾波器係 38 201119412 數等濾波器條件。於該差分濾波器資料,包含用以復原應 對於量化預測誤差訊號、預測訊號及重構動態影像訊號之 各者適用之濾波器係數之濾波器提示。總言之,後置濾波 器640係根據其等濾波器資料(濾波器係數)間之交互相關, 從濾波器提示,復原應對於量化預測誤差訊號、預測訊號 及重構動態影像訊號之各者適用之濾波器係數。進而後置 濾波器640係藉由適用對於量化預測誤差訊號、預測訊號及 重構動態影像訊號之各者復原之濾波器係數,亦即進行後 置濾波,來生成表示解碼圖像之解碼動態影像訊號,並將 該解碼動態影像訊號作為輸出訊號輸出。 再者,於本實施形態,由熵解碼部690之進行熵解碼之 功能部分、及後置濾波器640之復原濾波器係數之功能部 分’構成邋波器資料復原部。進而由後置濾波器64〇之進行 濾波之功能部分構成濾波器。 第8A圖係表示本實施形態之動態影像解碼裝置600之 處理動作之流程圖。 動態影像解碼裝置600之熵解碼部690係對於編碼動態 影像訊號進行熵解碼,藉此生成量化係數,反量化/反轉換 4 220係對於該量化係數進行反量化及反正交轉換,藉此生 成里化預測誤差訊號(步驟S200)。接著,畫面内預測部270 或移動補償預測部260係生成預測訊號(步驟S210)。然後, 加算器225係藉由於量化預測誤差訊號,加算預測訊號而生 成重構訊號’去區塊化濾波器係藉由從該重構訊號除去區 塊扭曲而生成重構動態影像訊號(步驟S220)。 39 201119412 進而熵解碼部690係從編碼動態影像訊號,取得對於量 化預測誤差訊號、預測訊號及重構動態影像訊號之各者之 編碼濾波器資料(步驟S230)。熵解碼部690及後置濾波器640 係根據濾波器資料間之交互相關,來解碼其等編碼濾波器 資料(步驟S240)。 然後,後置濾波器640係藉由對於量化預測誤差訊號、 預測訊號及重構動態影像訊號之各者,適用濾波器資料而 進行濾波,輸出作為輸出訊號之解碼動態影像訊號(步驟 S260)〇 第8B圖係表示編碼濾波器資料之解碼(步驟S240)之詳 細處理動作之流程圖。 熵解碼部690係將編碼濾波器資料予以熵解碼,藉此取 得對於量化預測誤差訊號、預測訊號及重構動態影像訊號 中之某一訊號之差分濾波器資料(濾波器提示),並輸出至後 置濾波器640(步驟S242)。 當後置濾波器640取得該差分濾波器資料時,預測對應 於該差分據波器資料之原本的遽波益貧料(典型上為渡波 器係數)(步驟S244)。此時,後置濾波器640係利用已經算出 之其他濾波器資料(典型上為濾波器係數),預測對應於上述 差分濾波器資料之原本的濾波器資料。藉此特定出預測資 料。接著,後置濾波器640係於差分濾波器資料(濾波器提 示)加算預測資料,藉此算出對應於該差分濾波器資料之原 本的濾波器資料(步驟S246)。如此,藉由對於編碼濾波器資 料,進行熵解碼及加算,以解碼該編碼濾波器資料。再者, 40 201119412 上述預測資料在典型上係已經算出之其他濾波器資料’亦 即其他濾波器係數本身。 又,於差分濾波器資料,包含表示量化精確度(維納濾 波器精確度[C])之資訊(渡波器精確度⑷)時,後置濾波器 640係按照該資訊所示精確度’將對於預測訊號、量化預測 誤差訊號及重構動態影像訊號之各者之濾波器係數或差分 濾波器係數予以反量化。 又,濾波器條件之設計及/或適用係於頻率區域内甚有 效果。於頻率區域内亦附加有雜訊時,動態影像訊號之頻 率區域之滤波用滤波器尤其有效。用以將轉換為頻率區域 之動態影像訊號予以量化及傳送/儲存之今日的動態影像 編碼方法之大部分情況均為如此。 第9圖係於頻率區域内進行渡波器設計之動態影像編 碼裝置700之方塊圖。 動態影像編碼裝置700係具備頻率區域後置濾波器設 計部730,以取代動態影像編碼裝置5〇〇之後置濾波器設計 部540之編碼器。該頻率區域後置濾波器設計部730係於頻 率區域内設計後置遽波之濾波器條件。具體而言,頻率區 域後置濾波器設計部730係將動態影像訊號、預測訊號、量 化預測誤差訊號及重構動態影像訊號分別予以正交轉換。 藉此,各訊號之區域係從空間區域轉換為頻率區域。進而 頻率區域後置濾波器設計部730係與後置濾波器設計部540 之處理同樣根據頻率區域之上述各訊號,決定濾波器係 數,從其等濾波器係數算出濾波器提示。然後,頻率區域 41 201119412 後置遽波器設計部730係將包$ 資料’輸出至商編碼部5 9 〇。 濾波器提示之差分濾 波器 第10圖係於頻率區域内 800之方塊圖。 進行濾波之動態影像編碼裴置 —像:竭裝置_係具備頻 ⑽,以取代動絲像解碼裝置_之後«波器6狀解^ 益。頻輕域後置錢器84。係與後置渡波器Μ。同樣㈣ 解碼部6 9 G,取得差分據波器資料,根據該差分滤波器資 料’設定驗^係數等舰器條件。進㈣㈣域後置渡 波器8 4 G取得賴訊號、量化制誤差崎及重構動態影像 訊號’將其等訊料以正交轉換^藉此,各訊號之區域係 從空間區域轉換為頻率區域。接著,頻率區域後置渡波器 840係藉由適用對於以頻率區域表示之量化預測誤差訊 號、預測訊號及重構動態影像訊號之各者設定之濾波器係 數,來生成以頻率區域表示之解碼動態影像訊號。然後, 頻率區域後置濾波器840係對於該解碼動態影像訊號進行 反正交轉換。藉此,解碼動態影像訊號之區域係從頻率區 域轉換為空間區域。頻率區域後置濾波器840係將該空間區 域所表示的解碼動態影像訊號作為輸出訊號輸出。 再者,由頻率區域後置濾波器840所設定的濾波器條件 係與頻率區域後置濾波器設計部73 0所設計的濾波器條件 相同或類似均可。 例如預測訊號、量化預測誤差訊號及重構動遙影像訊 號係於濾波器條件設計或濾波前,轉換為頻率區域,對於 42 201119412 各訊號決定κ個濾波器係數。進行濾波時’對於頻率區域之 各訊號’個別適用各遽波器係數。例如作為對於減波器條 件設計之最佳化基準,一般亦可利用輸入訊號之頻率係數 即期望的頻率係數ck、與濾波完畢頻率係數以,之間之最小 均方誤差。濾波完畢頻率係數Ck’係從以下之(式2)求出。 〔數2〕 Μ Ν 〇 \.=Σά,ι+Σ WI(,M+i _ Ck,e,i + 艺 Wk,M+N+i · Ck,r,i + Wk,M+N+0+l 外=1,…,Κ *=ί i~l i=l …(式2) 於上述(式2)中,wu.....wk,M為後置濾波之Μ個濾波 器係數’適用於預測訊號之Μ個頻率係數Ckp l.....ck,p,M。 又’ wk,M+i.....wk,M+N為後置濾波之ν個濾波器係數,適 用於量化預測誤差訊號之N個頻率係數Ckei.....Ck,e,N。又,
Wk,M+N+〗.....Wk,M+N+0為後置濾波之Ο個濾波器係數,適用 於重構動態影像訊號之〇個頻率係數Ckri.....Ckr〇。
Wk,M+N+0+l 為偏移。 在此,使得期望的頻率係數〜與濾波完畢頻率係數Ck, 之間之均方誤差最小化之濾波器係數,亦可藉由適用 Wiener-Hopf(維納一贺夫)方程式而求出。 濾波器係數及偏移須編碼並往解碼器傳送。或是對解 碼器側;,提供於解碼器算«波器係數所必需的資訊及/或 偏移。顧貝轉宜與輸人於編碼器之原動態影像訊號具 有某種襲丨生’且無法於解碼器側取得之資訊。例如預測 减U化)制誤差訊號及重構動態影像訊號中之至少^ 43 201119412 個訊號、與原動態影像訊號之交互相關包含於濾波器資 料。又,預測訊號、(量化)預測誤差訊號及重構動態影像訊 號中之至少1個訊號、與量化誤差訊號之父互相關包含於濾 波器資料亦可。 藉由提供對於動態影像序列(編碼動態影像訊號)中之 複數張圖片、GOP(Group of Pictures :圖片群組)、訊框、 片段或區塊等小部分之濾波器資料’可提高濾波完畢之訊 號的品質。然而,其結果會令用以於編碼動態影像訊號(位 元串流),嵌入該類濾波器資料所必需的頻帶寬度增加。 故’本發明所提供的方式係於如上述各個濾波器係數 對應於預測訊號、量化預測誤差訊號及重構動態影像訊號 之各者而傳送之多種濾波方式中’有效率地編碼所必需的 濾波器資料(濾波器係數或偏移等)之方式。為了實現高編碼 效率,該編碼方式係利用編碼及傳送對象之係數與偏移之 統計性依存關係。 本發明亦可適用於其他濾波方式。例如不全面考慮預 測訊號、量化預測誤差訊號及重構動態影像訊號之3個訊號 亦可。按照適用於動態影像訊號之差分脈衝編碼調變方 式’從編碼對象動態影像訊號算出預測訊號及預測誤差訊 5虎。接著’根據預測訊號之統計性特性求出第1濾波器資料 亦可’並根據預測誤差訊號之統計性特性求出第2濾波器資 料。於各濾波器資料之決定中利用維納濾波器或其他方法 亦可。然後,第1濾波器資料及第2濾波器資料雙方係利用 相互統計性特性而受到編碼。 44 201119412 又,亦可個別考慮對應於不同色彩成分之訊號等之其 他訊號。 濾波器資料亦可由濾波器係數及偏移所構成8然而’ 亦可包含濾波器長或其他資料。將輸入於編碼器之原動態 影像訊號'與複數個濾波對象動態影像訊號中之任一者之 間之交互相關等,對算出濾波器係數所必需的資訊予以訊 號發送’以取代將濾波器係數予以訊號發送,藉此可於解 碼器侧算出濾波器係數。 濾波亦可為後置濾波’但不限於其。本發明亦可適用 於内插濾波器及/或去區塊化濾波器。 又,亦可適用於參考訊號之整數像素位置所適用的預 測濾波器。進而言之,例如亦可將預測誤差訊號之濾波器 資料用於複數個m (例如後魏波器及内減波器)之 設計。該等之情況下,亦可將不同渡波器之渡波器資料間 之統計性依存關係利用在編碼。 於滤波器資料之編碼中,為了實現更高的編碼效率, 利用遽波完畢訊號之據波器資料(濾波器係數及/或偏移等) 間之統計性依存關係。此鋪由彻如以下之各種編碼技 術來達成。 -利用遽波器資料之預測之編碼 -濾波器資料之轉換編碼;或 一顧馬可夫模型之據波器資料之編碼;或 -向量里化及結合熵編碼 ,、、技術係於據波器資料由渡波器係數及偏移所 45 201119412 組成、關於空間區域濾波之下述例中來說明。 利用濾波完畢訊號之濾波器係數與偏移之間之統計性 依存關係時,係賴本發明之-實_態之賴編碼。藉 此,濾波器係數W|.....WM+N+0+l係如以下(式3)而預測。 〔數3〕
Wi,...3Wm+N+0+1 ···(式 3) 上述(式3)係表示預測纽n係數。相當於滤波器係數 與預測濾波器係數之差分之編碼剩餘之預測誤差之差分據 波益係數ew .....eWM+N+G+丨…般而言,與其編碼渡波器 ewi .........W__ ’編碼差分據波器係數, e WM+N+0+丨之編碼效率較高。 編碼器(解碼器)之對象渡波器係數係根據編碼(解碼) 完畢遽波器係數而糊。然而,亦可考慮已傳送之濟波号 係數以外、既已可於解碼器之資訊而進行預測。… 例如預測滤波器係數係從以下(式4)獲得。 〔式4〕 付。
WM+N+〇+】,2,··
M+N+O+i I ’M.N+〇+|,H, 於上述(式4),索引t係表示時 對解碼順序相關聯。亦即,具有小於貫例,實例係與相 解碼完畢。例如時間實例t亦可因二=間貫例之資訊係 而與圖片或1區塊之蝙碼(或解 之£域 應所有編碼完畢錢ϋ倾㈣定之函數/广般係因 46 201119412 尤其亦可將線性預測因子利用於濾波器係數及偏移之 預測。例如函數Fj係如以下(式5)所示。 〔數5〕 M+N+0+1 M+N+0+1 M+N+0+1 j=l j=l …(式5) 於上述(式5),oti為常數值。預測係數otj彳、…、〇j,t_!、…、 αμ-2、…及%為固定或適應性地變化均可。適應性預測係數 的情況下,將該預測係數提供給解碼器側亦可。亦即,將 適應性預測係數包含於例如序列標頭或訊框標頭之編碼動 態影像訊號。又,亦可從接收完畢之資料,在解碼器算出。 又,亦可令預測係數〇j,t、…、0Cj,t_i、…、0Cj,t-2、…及Oti對於 片段或區塊等1張圖片之任意部分(區域)適應化。 為了進一步縮小頻帶寬度,亦可藉由霍夫曼碼、算術 碼、哥倫布(Golomb)碼、埃力斯(Elias)碼等可變長度碼、或 其他可變長度碼,編碼差分濾波器係數(預測誤差)。又,亦 可將差分濾波器係數予以固定長度編碼。 由於重構動態影像訊號係根據預測訊號及(量化)預測 誤差訊號,因此預測編碼濾波器資料甚有效果。因此,一 般尤其於重構動態影像訊號、與預測訊號及(量化)預測誤差 訊號之各者之間,存在有統計性關係。大多數情況下,對 於重構動態影像訊號所決定的濾波器資料、與對於預測訊 號所決定的濾波器資料具有同一或類似的值。該情況下, 僅藉由重構動態影像訊號之濾波器資料的值來預測例如預 47 201119412 測§fL號之;慮波器資料,即可有效率地縮小蝙石馬動熊$像1 號所必需的頻帶寬度。例如亦可利用預測訊號之濾波器資 料等,亦同樣地預測(量化)預測誤差訊號。然而,丨個訊號 之濾波器資料未必要以成對為單位(亦即從其他訊號之濾 波器資料)來預測。一般而言,預測丨個訊號之濾波器資料 係利用對於複數個其他訊號所決定的濾波器資料之任竟函 數。例如重構動態影像訊號之濾波器資料之預測中,亦可 利用(量化)預測誤差訊號之濾波器資料及預測訊號之濾波 器資料之函數之任一者。 又,濾波器係數間及偏移間之線性統計性依存關係亦 可於轉換編碼中利用。總言之,將濾波器係數%..... wM+N+0+l轉換為轉換係數 .....cwM+N+0+丨,並將其進一 步編碼亦可。轉換係數CWl、…、CWm+n+〇+i2編碼一般較直 接編碼濾波器係數及偏移Wl、...、率更高。轉換 處理係如以下(式6)進行。 〔數6〕 CWt=Tt · wt …(式6) 於上述(式6),CWt係包含轉換係數CW|、…、CWM+N+〇+丨 之向量,Wt係包含濾波器係數%.....VVM+N+o+丨之向量,
Tt係時間貫例之轉換矩陣。依照所輸入之靜止圖像/動態影 像之特性,於各時間實例中,藉由進行同一或不同的轉換 處理有時會帶來效果。離散餘弦轉換(DCT)、高速傅利葉轉 換(FFT)或利用固定係數之Karhunen-Loeve轉換(KLT)等, 所適用的轉換亦可為固定性轉換。然而,適應性轉換亦可。 48 201119412 適應性轉換的情況下,可將轉換資訊插人於例如序列標 員況枢或片段標頭,並往解碼㈣送。轉換資訊亦可包 含轉換矩陣或用以取得轉換矩陣之資訊。 、扁碼轉...........CWm+n+叫時,宜適用可變長度 碼。然而,亦可適用固定長度碼。 又,濾波器係數及偏移間之統計性依存關係亦可利用 於以馬可夫源為前提之編碼方心藉此,如以下(式7)所示, 利用以(儘可能為全部)編碼及傳送完祕波器係數或偏移 作為條件之碼字,來編碼濾波器係數或偏移Wi,t。 〔數7〕 ’
W l,t3 w
M+N+〇+],t 5 ,...5 WM+N+0+M-1 5 W1,t-2 3 * · ·, W M+N+0+l,t-2>*, …(式7) 榀照編碼方式或所輸入的靜止圖像/動態影像,藉由僅 將編媽完畢之缝H係數或偏移之子集合作為條件來考 慮,有時會發揮效果。 以馬可夫源為前提之編碼方式,需要關於源模型的知 識。邊杈型為固定性或適應性均可。該類編碼方式亦可利 用例如狀態變遷圖來說明。適應性模型的情況下,可編碼 ' I (例如狀態變遷圖),插入於例如序列標頭、訊框或片段 榣碩,並往解碼器側傳送。 利用馬可夫源編碼濾波器係數及偏移後,亦可利用可 變長度碼或固定長度碼,進一步將編碼濾波器係數及偏移 編碼。 上述3種編碼方法係利用編碼資料間之統計性關係之 49 201119412 編碼方式例。然而,本發明亦可利用考慮編碼對象資料間 之統計性關係之其他方法。例如變動長度編碼、利用根據 編碼完畢資料之值之表切換之可變長度編碼、將對於不同 訊號之濾波器資料之組合作為1碼字而編碼之可變長度編 碼等。 又,於本實施形態,於編碼動態影像訊號(位元串流) 插入編碼濾波器資料。該位元申流之語法及語意可能成為 將來動態影像編碼標準規格的主題。 以下所名將本發明之編碼方式,嵌入於將來的動態影 像編碼標準規格的情況之例子。於該例中,其前提係適用 參考第5圖及第7圖而已於上面敘述之空間區域之濾波、及 於濾波器資料包含被適用預測方式之濾波器係數。 語法元件亦可利用由標準規格所指定的碼來編碼。例 如固定長度碼或可變長度碼等。作為可能性之一,使用可 令機率模型適應特定語法元件之算術編碼。作為別的可能 性,利用依據霍夫曼碼之碼字。然而,亦可利用一元碼(unary code)或哥倫布碼、指數哥倫布碼、埃力斯碼等(泛用)整數 碼。 濾波器資料(例如濾波器係數)宜插入於與其相關聯之 資料(例如訊框資料全體或片段資料等)之最後而傳送。藉此 可獲得如下效果。亦即,編碼器之濾波器資料一般係於被 決定濾波器資料之訊框、片段或任意圖像區域之編碼及解 碼後推定。於包含濾波器資料已推定之資料之訊框或片段 之標頭,包含該濾波器資料時,須事先儲存位元串流全體, 50 2〇lll94l2 直到算出滩、,由„。r处.丨、 料予、、‘ν及态 > 料並插入於該位元串流為止。將全部資 、、ώ 乂算術蝙碼時,於編碼濾波器資料後,不僅是位元串 々’<·,還領脸 ^ 、 '、扁碼對象之語法元件全部予以儲存及編碼。於 訊樞或片奶_ 、 時,、 &資料後’傳送插入於位元串流之濾波器資料 此、亍為碼的期間不儲存位元串流或語法元件亦可。藉 可减少對於記憶體尺寸的條件。 因 lit ? h +* ’宜藉由遵循H.264/MPEG-4 AVC之SEI訊息等別 ’N:單元來傳送濾波器資料。 、社束!濾波器資料插入於訊框或片段之標頭而傳送時,若 藉此蝙碼器(熵編碼部590)而令其再啟動,會較有益。 ^編.獲件無顯存所有語法元件,僅將位元串流儲存 、兩馬态即可的效果。 波器=碼動態影像訊號(位元串流)内,關於在何處配置遽 號中,在^有進一步的可能性。尤其於編石馬動態影像訊 波器資料^波器資料相關聯部分之前方或後方包含該遽 最佳位元串流之構成係對於解碼器受到 (、在與濾波器資料相關聯之 標頭或片段標頭,包含軸波器料。之訊框 訊全體,得知關於後置據波之資 解碼器之儲存作業等優點。故,己隐體分派、刪減 碼處理。 更回逮且低價地進行解 例如後置遽波亦可於僅解碼及儲存—定數量之片段或 51 201119412 訊框内之區塊後進行。須開始後置濾波前事先儲存之區塊 數,係依後置濾波器之濾波器尺寸而決定。於後置濾波開 始前,無須解碼及儲存片段或訊框(亦即重構動態影像訊號 及/或量化預測誤差訊號及/或預測訊號)内之全部區塊。 於片段標頭中,旗標(後置濾波器旗標[c])亦可表示後 置濾波中是否考慮某特定色彩成分。對於某色彩成分,不 應進行後置濾波時,解碼器無須因後置濾波目的而儲存任 一訊號(亦即重構動態影像訊號及/或量化預測誤差訊號及/ 或預測訊號)。 進而言之,與濾波對象之訊號(例如重構動態影像訊 號、量化預測誤差訊號及預測訊號)相關聯之濾波器係數均 為零時,無須因後置濾波目的而儲存該訊號。 若與算術編碼組合,編碼器對於標頭、濾波器資料及 剩餘的巨錢資料,生成個別的碼字,會較為有益。生成 個別的碼㈣意味於總括標頭之後,令算術碼ϋ結束,於 遽波器資料之編碼前使其再啟動,其後令其結東,於剩餘 巨集塊之編碼前又使其再啟動,其後令其結束。依架構而 言,算術編碼之碼字宜具有整數位元組之長度(例如利用位 凡組排列之架構的情況)。藉由具有個_碼字,會有不進 行再編碼亦可财及重排碼㈣優點。藉由利驗排列(例 如經位元組排列)之碼字,可進—步容易進行編碼器之位元 串流部分之儲存及重排。 第11Α圖係表示對應於編碼動態影像訊號(位元串流) 之片段或訊框部分之構成之一例之圖。首先,標頭9〇1包含 52 201119412 於位元串流,於其後若有需要則接續排列資料。接著,濾 波器資料902包含於位元串流,於其後若有需要則接續排列 資料。最後,表示巨集塊之圖像之巨集塊資料903係連同排 列資料(若有需要)包含於位元串流。 總言之’由於濾波器資料902配置於被適用該濾波器資 料9002之圖像訊號(巨集塊903)之前,因此若按照排列於位 元串流之順序,生成該濾波器資料902及該圖像訊號,則無 須暫時儲存已生成之其等資料,可謀求刪減記憶體容量。 於該情況下’由於可利用該濾波器資料902生成圖像訊號 (巨集塊903) ’因此可實現所謂迴圈内濾波器。總言之,於 減算器105—轉換/量化部110—反量化/反轉換部120—加算 器125->去區塊化濾波器13〇—記憶體140—畫面内預測部 17〇(内插濾波器150—移動補償預測部160)—減算器1〇5所 構成的迴圈内’可對於預測訊號執行利用濾波器資料9〇3之 濾波,可從該受到濾波之預測訊號,生成由量化係數所組 成的圖像訊號(巨集塊903)。 於本實施形態,位元_流之構成亦可對於編碼器最佳 化。尤其於位元串流中,於相關聯之巨集塊之後包含濾波 器資料亦可。該情況下,可於編碼片段或訊框之區塊後, 生成關於後置濾波之資訊全體。藉此,會有刪減記憶體或 刪減3己憶體分派、刪減解碼器之儲存動作等優點。故,可 更尚速且低價地進行編碼處理。 後置濾波之最佳維納濾波器係數之算出需要濾波發揮 功能用之所有資料。本實施形態的情況下,需要重構動態 53 201119412 影像訊號及/或量化預測誤差訊號及/或預測訊號全體。於編 碼器,該資料僅可於完成片段或訊框之編碼及解碼後利 用。編碼完成的期間,位元串流已經生成及儲存及/或傳 送。因此,為了於巨集塊之前包含濾波器資料,須儲存位 元串流全體。僅利用1碼字進行算術編碼時(於片段或訊框 的最後結束),亦須完成對於全部語法元件之儲存及對於其 等之再編碼。於巨集塊之後包含濾波器資訊時,不需要如 上述之儲存作業。 第11B圖係表示對應於編碼動態影像訊號(位元串流) 之一部分構成之其他例之圖。 標頭911、巨集塊912及濾波器資料913係於算術碼器 (熵編碼部590),分別作為1碼字而受到編碼。亦即,每當編 碼位元串流之不同部分時,編碼處理不重新開始而繼續進 行。 第11C圖係表示對應於編碼動態影像訊號(位元串流) 之一部分構成之其他例之圖。 標頭92卜巨集塊922及濾波器資料923亦可分別於算術 碼器(熵編碼部590),作為各自之碼字而個別地編碼。 然而,本發明不限定於使用算術編碼,亦可利用其他 種編碼。於以下說明對於序列標頭及訊框之位元串流内之 較佳資訊元件之語法。 第12A圖係表示序列標頭之語法之圖。 第12A圖中之「後置濾波器」係以訊框層級,表示是否 可適用後置濾波器。 54 201119412 後置濾波器初始機率係表示用以控制濾波器資料之碼 之初始機率。 第12B圖係表示訊框之語法之圖。 後置濾波器旗標係表示是否對於色彩成分c,適用後置 濾波。c=0係對應於亮度成分,c=l及c=2係分別對應於2個 色差成分。 語法元件之解碼後置濾波器⑷係進一步包含複數個語 法元件。 第13 A圖及第13 B圖係表示解碼後置濾波器[c ]之語法 之圖。 渡波器提示類型[c ]係表示對於色彩成分c之已傳送之 據波器提示之種類。c=〇係對應於亮度成分,C=1及c=2係分 別對應於2個色差成分。如第丨4圖所示,可取定值為〇〜3。 第14圖係表示濾波器提示類型[c]之值與濾波器提示之 種類之關係之圖。 濾波器提示類型[c]之值為0時,該濾波器提示類型[c] 係作為濾波器提示之種類而表示丨個2次元FIR濾波器之係 數。濾波器提示類型[c]之值為丨時,該濾波器提示類型[c] 係作為據波器提示之種類而表示交互相關矩陣。渡波器提 示類3L[c]之值為2時,該渡波器提示類型[c]係作為據波器 提不之種類而表示2個2次元FIR渡波器之係數。據波器提示 類聖⑷之值為3時,該濾波器提示類型[c]係作為濾波器提 示之種類喊示2個交互相關向量。總言之,濾波器提示類 型[中〇或1時’職波器提示類型[c]表示滤波範圍為2次元 55 201119412 排列(第m圖或第13B圖中之「2D」),渡波器提示類姻=2 或3時,該濾波器提示類型[c]表示濾波範圍為丨次元排列(第 13A圖或第13B圖中之「ID」)。 第13A圖所示之語法中,各語法元件之語意如下。 filter—hint_size—rec_x係表示對於重構動態影像訊號之 濾波器係數排列或交互相關排列之水平方向尺寸(濾波器 尺寸)。 filter_him_size_rec_y係表示對於重構動態影像訊號之 濾波器係數排列或交互相關排列之垂直方向尺寸(濾波器 尺寸)。 filter_him_size_pred_x係表示對於預測訊號之濾波器 係數排列或交互相關排列之水平方向尺寸(滤波器尺寸)。 filter一hint—size_pred_y係表示對於預測訊號之濾波器 係數排列或交互相關排列之垂直方向尺寸(濾波器尺寸)D filter_hint_size_qpe_x係表示對於量化預測誤差訊號之 濾波器係數排列或交互相關排列之水平方向尺寸(濾波器 尺寸)。 filter_hint_size_qpe_y係表示對於量化預測誤差訊號之 濾波器係數排列或交互相關排列之垂直方向尺寸(濾波器 尺寸)。 filter_hint_rec[c][cy][cx]係表示對於重構動態影像訊 號之濾波器係數矩陣之元件、或原訊號(動態影像訊號)與重 構動態影像訊號之間之交互相關矩陣之元件。c=0係對應於 亮度成分,c=l及c=2係分別對應於2個色差成分。cy表示垂 56 201119412 直方向之計數器,CX表示水平方向之計數器。 filter_hint_pred[c] [cy] [cx]係表示對於預測訊號之渡波 器係數矩陣之元件、或原訊號(動態影像訊號)與預測訊號之 間之交互相關矩陣之元件。c=0係對應於党度成分,c=l及 c=2係分別對應於2個色差成分。cy表示垂直方向之計數 器,cx表示水平方向之計數器。 filter_hint_qpe[c][cy][cx]係表示對於量化預測誤差訊 號之濾波器係數矩陣之元件、或原訊號(動態影像訊號)與量 化預測誤差訊號之間之交互相關矩陣之元件。c=〇係對應於 亮度成分’ c=l及c=2係分別對應於2個色差成分。cy表示垂 直方向之計數器,cx表示水平方向之計數器。 filter_hint_rec_x[c][cx]係表示對於重構動態影像訊號 之水平方向濾波之濾波器係數向量之元件、或原訊號(動態 影像訊號)與重構動態影像訊號之間之水平交互相關向量 之元件。c=0係對應於亮度成分,c=l及c=2係分別對應於2 個色差成分。cx表示水平方向之計數器° filter_hint_pred_x[c] [cx]係表示對於預測訊號之水平方 向濾波之濾波器係數向量之元件、或原訊號(動態影像訊號) 與預測訊號之間之水平交互相關向量之元件° c=0係對應於 亮度成分,c=l及c=2係分別對應於2個色差成分。cx表示水 平方向之計數器。 filter_hint_qpe_x[c] [cx]係表示對於重化預測誤差s孔號 之水平方向濾波之濾波器係數向量之元件、或原訊號(動態 影像訊號)與量化預測誤差訊號之間之水平交互相關向量 57 201119412 之元件。c=0係對應於亮度成分,c=l及c=2係分別對應於2 個色差成分。cx表示水平方向之計數器。 filter一hint_rec_y [c] [cy]係表示對於重構動態影像訊號 之垂直方向濾波之濾波器係數向量之元件、或原訊號(動態 影像訊號)與重構動態影像訊號之間之垂直交互相關向量 之元件。c=0係對應於亮度成分,c=l及c=2係分別對應於2 個色差成分。cy表示垂直方向之計數器。 filter_hint_pred_y [c] [cy]係表示對於預測訊號之垂直方 向濾波之濾波器係數向量之元件、或原訊號(動態影像訊號) 與預測訊號之間之垂直交互相關向量之元件。c=0係對應於 亮度成分’ c=l及c=2係分別對應於2個色差成分。cy表示垂 直方向之計數器。 filter_hint_qpe_y [c][cy]係表示對於量化預測誤差訊號 之垂直方向濾波之濾波器係數向量之元件、或原訊號(動態 影像訊號)與量化預測誤差訊號之間之垂直交互相關向量 之元件。c=0係對應於亮度成分,c=l及c=2係分別對應於2 個色差成分。cy表示垂直方向之計數器。 濾波器提示偏移[c]係表示偏移值。c=〇係對應於亮度成 分,c=l及c=2係分別對應於2個色差成分。 上述語法元件之 filter_hint—rec、filter_hint_pred、 filter_hint_qpe 、filter_hint_rec_x、filter_hint_pred_x、 filter_hint一qpe_x、filter_hint一rec_y、filter_hint—pred_y、 filter_hint_qpe_y係分別表示濾波器係數或差分濾波器係 數,並作為濾波器提示而處理。 58 201119412 濾波器精確度[C ]係表示濾波器資料(濾波器係數)之量 化精確度。對於各色彩成分C,語法元件之濾波器精確度[c] 之值係表示對應於該值之精確度-維納濾波器精確度⑷之 值。 於第13B圖所示之語法中,與上述各語法元件不同之語 法元件之語意如下。 filter_hint一size—rec一idx係用以特定出對於重構動態影 像訊號之2次元濾波器係數排列或交互相關排列之尺寸(濾 波器尺寸)之索引’其表示〇以上之整數。由該索引所特定 出的濾波器尺寸係於水平方向及垂直方向為同一尺寸。 filter_hint_size_pred_idx係用以特定出對於預測訊號 之2次元渡波器係數排列或交互相關排列之尺寸(渡波器尺 寸)之索引’其表示0以上之整數。由該索引所特定出的濾 波器尺寸係於水平方向及垂直方向為同一尺寸。 filter_hint_size一qpe」dx係用以特定出對於量化預測誤 差訊號之2次元渡波器係數排列或交互相關排列之尺寸(滤 波器尺寸)之索引,其表示〇以上之整數。由該索引所特定 出的濾波器尺寸係於水平方向及垂直方向為同一尺寸。 filter_hint_size_rec係表示對於重構動態影像訊號之2 次元濾波器係數排列或交互相關排列之水平方向及垂直方 向為同一之濾波器尺寸。該濾波器尺寸係藉由索引 filter_hint_size_rec」dx來特定。總言之,filter_hint_size_rec 係由 filter_hint_ _size_rec=2x(filter_hint_size_rec_idx)+l 來表 示之1以上之奇數。 59 201119412 filter_hint_size_pred係表示對於預測訊號之2次元 濾波器係數排列或交互相關排列之水平方向及垂直方 向為同一之濾波器尺寸。該濾波器尺寸係藉由索引 filter_hint_size_pred_idx 來特定。總言之, filter_hint_size_pred 係 由 filter_hint_size_pred= 2x(filter_hint_size_pred_idx)+l 來表示之 1 以上之奇數0 filter_hint_size_qpe係表示對於量化預測誤差訊號之2 次元濾波器係數排列或交互相關排列之水平方向及垂直方 向為同一之濾波器尺寸。該濾波器尺寸係藉由索引 fllter_hint_size_qpe—idx來特定。總言之,filter_hint_size_qpe 係、由 filter一hint一size_qpe=2x(filter一hint_size_qpe_idx)+l 來 表示之1以上之奇數。 filter_hint_size_rec_x_idx係用以特定出對於重構動 態影像訊號之1次元(水平方向)之排列之濾波器係數向 量或交互相關向量之濾波器尺寸(長度)之索引,其表示 0以上之整數。此情況下,filter_hint_size_rec_x係由 filter_hint_size_rec_x=2x(filter_hint_size_rec_x_idx)+l 來表 示之1以上之奇數。 filter_hint_size_rec_y_idx係用以特定出對於重構動 態影像訊號之1次元(垂直方向)之排列之濾波器係數向 量或交互相關向量之濾波器尺寸(長度)之索引,其表0 以上之整數。此情況下,filter_hint_size_rec_y係由 filter_hint_size_rec_y=2x(filter_hint_size_rec_y一idx)+l 來表 示之1以上之奇數。 60 201119412 filter_hint_size_pred_x_idx係用以特定出對於預測訊 號之1次元(水平方向)之排列之濾波器係數向量或交互 相關向量之濾波器尺寸(長度)之索引,其表示0以上之 整數。此情況下,filter_hint_size_pred_x 係由 filter hint—size_pred_x=2x(filter—hint_size_pred_x—idx)+l 來 表示之1以上之奇數。 filter_hint_size_pred_y」dx係用以特定出對於預測訊 號之1次元(垂直方向)之排列之濾波器係數向量或交互 相關向量之濾波器尺寸(長度)之索引,其表示0以上之 整數。此情況下,filter_hint_size_pred_y 係由 filter_hint_size_pred_y=2x(filter_hint一size_pred_y_idx)+l 來 表示之1以上之奇數。 filter_hint_size_qpe_x_idx係用以特定出對於量化預 測誤差訊號之1次元(水平方向)之排列之濾波器係數向量 或交互相關向量之濾波器尺寸(長度)之索引,其表示0以 上之整數。此情況下,filter_hint_size_qpe_x係由 filter_hint_size_qpe_x=2x(filter_hint_size_qpe_x_idx)+l 來 表示之1以上之奇數。 filter_hint_size_qpe_y」dx係用以特定出對於量化預 測誤差訊號之1次元(垂直方向)之排列之濾波器係數向量 或交互相關向量之濾波器尺寸(長度)之索引,其表示〇以 上之整數。此情況下,filter_hint_size_qpe_y係由 filter_hint_size_qpe_y=2x(filter_hint_size_qpe_y_idx)+l 來 表示之1以上之奇數。 61 201119412 於第13A圖所示之語法中,無論濾波範圍為〖次元排列 亦或2-人元排列,對於預測訊號、量化預測誤差訊號及重構 動態影像訊號之各者之水平方向之m尺寸及垂直方向 之濾波器尺寸均包含於差分濾波器資料而發送至解碼器。 另’於第13B圖所示之語法中’索引包含於差分濾波器 資料而發送至解碼器。此情況下,解碼器係藉由對該索引 與2的乘積加算卜以算出濾波器尺寸。在此,於該第13B 圖所不之語法中,濾波範圍為2次元排列時,對於預測訊 號、量化預測誤差訊號及重構動態影像訊號之各者,在水 平方向及垂直方向共通之索引包含於差分濾波器資料。 又,;慮波le*圍為1次元排列時,對於預測訊號、量化預測誤 差訊號及重構動態影像訊號之各者,水平方向之索引及垂 直方向之索引包含於差分濾波器資料。 如此,於第13B圖所示之索引中’由於濾波器尺寸係作 為索引包含於差分濾波器資料,並傳送至解碼器,因此可 刪減慮波器尺寸之發送所必需的位元量。又,於據波範圍 為2次元排列時,由於在水平方向及垂直方向共通之索引包 含於差分濾波器資料,因此可進一步刪減濾波器尺寸之發 送所必需的位元量。 又’動態影像編碼裝置500之後置濾波器設計部540係 就片段、訊框或序列,逐一固定或改變濾波器尺寸均可。 在使得濾波器尺寸可變時,後置濾波器設計部540係選擇已 變更之濾波器尺寸,如第13A圖及第13B圖之語法所示,將 該已變更之濾波器尺寸、或對應於該濾波器尺寸之索引(語 62 201119412 法元件)包含於差分濾波器資料。 再者,於上述說明中,濾波器尺寸設為丨以上之奇數, 但亦可設為可為〇的值。濾波器尺寸為0時,不進行濟皮。 總s之’滤波器係數(表示差分滤波器係數之據波器提示) 不包含於差分濾波器資料,不發送至解碼器。 如此,濾波器尺寸可為0的值時,濾波器尺寸係利用索 引而如max{0,2x(索引-1)+1}而算出。在此,max(A Β}係表 示A及B中之最大值。具體而言,因應濾波範圍為2次元排 列亦或1次元排列,各濾波器尺寸係藉由以下所示算式而算 出。 又,藉由將對於重構動態影像訊號、預測訊號及量化 預測誤差訊?虎之各者,渡波係數會成為〇之攄波5|提示送 至解碼器,各訊號不使用於渡波亦可。此情況下,若指定 濾波器尺寸=1之索引,則可抑制碼量。 2次元排列之濾波器尺寸: • filter_hint_size_rec=max{0,2x(filter_hint_size_rec_idx-l)+l} • filter_hint_size_pred=max{0,2x(filter_hint_size_pred idx-l)+l} • filter_hint_size_qpe=max{0,2x(filter_hint_size_qpe_idx-l)+l} 1次元排列之濾波器尺寸: • filter_hint_size_rec_x=max{0,2x(filter_hint_size_rec_x_idx-l)+l} • filter_hint_size_rec_y=max{0,2x(filter_hint_size_rec_y_idx-l)+l} • filter_hint_size_pred_x=max{0,2x(filter_hint_size_pred_x_idx-l)+i| • filter_hint_size_pred_y=max{ 0,2x(filter_hint_size_pred_y_idx-l)+ ” • fllter_hint_size_qpe_x=max {0,2 x (filter_hint_size_qpe_x_idx-1)+1} 63 201119412 • f-—hint一 size_qp、^^ 解馬益$動.W像解碼I置_之後置雜器64〇係利 用如上述之,a <包含於差分渡波器資料之索引算出遽 波益尺寸於;慮波為尺寸為〇時不執行後置滤波,於滤波 益尺寸為1以上之奇數時,執行按照該渡波器尺寸之後置濾 波。 再者,於上述說明中,渡波器尺寸係作為maX{0,2x(索 引-㈣而算出’但亦可為叫〇2><索引_1}或叫啊索 引-1)-1}。又’若璩波器尺寸為〇或正奇數之數式與索引的 組合,則利用任何組合均可。 如此,編碼Θ及解碼器可因應毅器尺寸設為0亦或i 以上之奇數,來切換有無濾波。 再者’不將對於某訊號之遽波器提示送至解碼器時, 解碼器亦可將慮波器提示視為0等規定值,算出對於各訊號 之據波器係數’以使得從遽波器提示所算出對於各訊號之 濾波器係數之某一者或全部不成為不定值。 第I5圖係表示濾、波器精確度[c]與維納渡波器精確度[C] 之對應關係之圖。 維納濾波器精確度[C ]係表示決定濾波器係數之精確度 之濾波器資料量化資訊。 於本發明中,可取定之濾波器精確度[c]及維納濾波器 精確度[C]的值之數目不限定於12個。亦可能取定更多或更 、數目的值。5吾法元件(渡波器精確度[c])的值之分派亦可 與濾波器精確度(維納濾波器精確度[c])的值之分派不同。 64 201119412 例如亦可建立如該語法元件的值越低,濾波器精確度的值 越高之對應。X ’藉由選擇語法it件的值與渡波器精確度 的值之間之特定匹配,有時亦會發揮致果。為了全體達成 較佳編碼效率,亦可-躲計匹配、及心編碼濾波器精 確度[c]的值所用之碼。將維納濾波器精確度[c]可取定值之 數目予以訊號發送亦可。例如利用固定長度碼或可變長度 碼來編碼亦可。 將語法元件(濾波器精確度[C])與濾波器精確度(維納濾 波器精確度[C])之間之匹配予以訊號發送亦可。然而,為了 縮小該類訊號發送所必需的頻帶寬度,例如維納濾波器精 確度_值均為2的冪次亦可。該情況下,僅得知維納渡波 器精確度[c]之最小值(第15圖的例中為8)及可取定的所有 值之數目(於第15圖的例中為12 ),於編碼器側及解碼器側均 可同樣地算出維納濾波器精確度[c]之值β此情況下,僅編 碼可取定之所有值之數目及維納濾波器精確度⑷的丨個值 (例如最小值)即可。 維納濾波器精確度[c]的值越低,濾波器資料之精確度 越低’用以傳送其所必需的速率亦越低。 編碼動態影像訊號全體之位元率低時,用於渡波器精 確度(語法元件)編碼之位元之相對量多。編碼動態影像訊號 全體之位元率高時,用於濾波器精確度編碼之位元之相對 量僅有少許。 因此,全體位元率低時’濾波器精確度(語法元件)之編 碼宜採非常低的位元率。全體位元率高時,濾波器精確度 t 65 201119412 之編碼亦可容許高位元率。為了符合該條件,宜令濾波器 精確度(語法元件)之位元率適應全體之位元率(例如最佳化 為低的全體位元率)而適用編碼方式。於第15圖所示之濾波 器精確度[C]與維納渡波器精確度[c]之匹配中,若維納渡波 器精確度_值低,職波„料(例如m係數)被粗 略地量化。其結果,編碼動態影像訊號之位元率越低,令 包含作為語法元件H H料度[e ]之編碼參數(遽波器 精確度)軸m精確度[e]之編碼m資料所必需的 位元率越降低。 例如對於低的遽波器提示類型[C]之訊號發送,分派短 财1於高的濾、波1!提雜_之訊號發送,分派長碼 子’藉此可減彳m編碼維輯波器精確度⑷之較低值所 必需的位s率。例如第16圖所示元碼亦可。 第16圖係表示分派給驗器精確度[e](維納滤波器精 確度[C])之一元碼之圖。 利用元碼以外之可變長度碼亦可,須適當地選擇編 碼方式。例如第Π®所*哥倫布碼亦可。 第圖係表不刀派給渡波器精確度[c](維納慮波器精 確度[C])之哥倫布碼之一例之圖。 又’,第18圖所示其他哥倫布碼亦可。 第18圖係表不刀派給滤波器精確度吨維納遽波器精 確度[c])之哥倫布碼之其他例之圖。 當然於可取定的值之數目有16個時,亦可利用固定碼 字長。 66 201119412 遽-波器精 第19圖係表示分派給濾波器精確度[c](維的 確度[c])之固定長度媽之圖。 又,亦可切換為與第16圖〜第19圖所示碼表不同的碼 字表。碼字表之選擇内容亦可藉由編碼器編碼,並往解碼 器進行訊號發送。此情況下,為了可立即解碼量化步驟尺 寸,宜於濾波器精確度[c]之前,將選擇内容予以訊號發送。 進而亦可按照固定規則,從複數個適當的碼字表選擇i 個。固定規則亦可根據已經用於對象訊框或片段之解碼之 位元數。又,亦可根據於對象訊框或片段之解碼開始時所 用之量化參數、或對象訊框或片段之解碼平均所用之量化 參數。又,亦可根據量化預測誤差訊號之例如其離散。又, 亦可根據預測訊號之例如其離散,或依據預測訊號及/或預 蜊誤差訊號所求出的其他基準。 於表示語法元件之濾波器精確度[c]之2值記號之編 碼,亦可利用算術編碼。在此,各2值記號之編碼可利用相 同或各自的碼。又,亦可因應狀況來決定碼。由於編碼附 有條件’因此進一步提高編碼效率。作為可能性之一,作 為濾波器精確度[i+Ι]及/或濾波器精確度[丨+2]之編碼條件 而利用濾波器精確度[i]之值。又,對於各成分之係數,亦 可編碼、傳送及使用不同的濾波器精確度。總言之,濾波 器精確度之各個值係意味用於對應於重構動態影像訊號、 預測訊號及量化預測誤差訊號之各者之濾波器資料。又, 於分別對應於該等訊號之濾波器資料,亦可利用不同的濾 波器精確度。例如於濾波器資料所含之 67 201119412 個別之濾波器精 filter一hint_reC_y[C][cy]之c&cy,分別利用 確度。 於編碼 楮田使全體位元率之拉格朗 像訊號(動態影像訊號)與據波後之圖像 動= ==Γ最小化,可—== 驗=輯波器精確度[e]之對於某值之拉格朗 == 例如完成所必需的位元之編碼及測 定’然後完成其結果所獲得的均方重構誤差之編碼及測定 而進灯。作為別的可能性,係藉由推測速率及均方重構誤 差均方重構誤差之推測亦可藉由將圖像訊號之某 子集合缝,織財騎料集合之料重構誤差盥圖 像訊號全體之均方重構誤差近似而進行。X,例如因應訊 框或片&之里化參數值’僅測試維㈣波器精確度[C]可取 定的值之子集合亦可。 從編碼益側提供至解碼器側之遽波器資料(差分遽波 器=)係祕動㈣像喊之解碼。訂制表示編碼渡 波益貝料之解碼方法、與動態影像訊號之解碼巾之遽波器 資料的利用方法。 於第1及第2例中’使用濾、波器係數及偏移,將解碼圖 像㈣動態影像訊號)之色彩成分予以後置濾波 。傳送、解 碼1相關及偏移時’如第3及第4例所示,利用該交互相 關。又疋條件’將解碼圖像之色彩成分予以後置渡波 亦可。 皮器資料”預測編碼時,首先藉由加人預測資料 201119412 (預測濾波器係數)來重構濾波器係數、偏移及/或交互相關 資訊。 第1例(遽波器提示類型⑷=〇)係與傳送1個2次元FIR濾 波器之係數時之後置遽波器設計及處理相關聯。 用以將重構動態影像訊號、預測訊號及量化預測誤差 訊號予以後置濾波之濾波器係數,係如分別於第2〇a圖〜第 2〇CK式8)〜(式10)所示,從接收之差分濾波器資料算 出。總言之’動態影像解喝裝置6⑼之後置渡波器64〇係按 照(式8)〜(式10)而算出濾波器係數。 第2 0 A圖係表示對於重構動態影像訊號之渡波器係數 之算出式之圖。 如第20A圖之(式8)所示,對於重構動態影像訊號之 渡波器係數即重構訊號濾波器係數C〇eff_reC[C][Cy][CX] 係根據包含於濾波器資料(差分濾波器資料)之 filter—hint_rec[c][cy][cx] 、 filter_hint—size_rec_x 及 filterjiint一size—rec—y與維納濾波器精確度[c]之值算出。維 納慮波器精確度[c]受到編碼而包含於位元串流,亦可如維 納濾波器精確度[c]=16384,若可行的話,對於色彩成分〇 之值分別固定地指定。維納濾波器精確度[c]係對於某一色 彩成分、及/或預測訊號、量化預測誤差訊號及重構動態影 像訊號之任一者編碼,並包含於位元串流亦可。 第2 0 B圖係表示對於預測訊號之濾波器係數之算出式 之圖。 如第20B圖之(式9)所示,對於預測訊號之濾波器係數 69 201119412 即預測訊號遽波器係數coeff_pred[c] [cy] [cx]係根據重構訊 號濾波器係數coeff_rec[c] [oy] [οχ] '維納濾波器精確度[c] 之值、及包含於濾波器資料(差分濾波器資料)之 filter_hint_pred[c][cy][cx] 、 filter_hint_ size_pred_x 、 filter_hint_size_pred_y 、 filter_hint_size_rec_x 及 filter_hint_size_rec_y而算出。再者,ox係表示對於重構動 態影像訊號之濾波器係數排列之水平方向尺寸(水平方向 之濾波範圍)之中心位置,oy係表示對於重構動態影像訊號 之濾波器係數排列之垂直方向尺寸(垂直方向之濾波範圍) 之中心位置。 第2 0 C圖係表示對於量化預測誤差訊號之濾波器係數 之算出式之圖。 如第20C圖之(式10)所示,對於量化預測誤差訊號之濾 波器係數即預測誤差§fL號渡波器係數coeff qpe[c][cy][cx] 係根據預测afL號渡波係數c〇eff pred[c][oy][ox]、及 包含於濾波器資料(差分濾波器資料)之 filter_hint_qpe[c][cy][cx] 、 filter_hint_ size_qpe_x 、 filter_hint_size_qpe_y 、 filter_hint 一 size 一 pred_x 及 filter_hint_size_pred一y而算出。再者,〇χ係表示對於預測訊 號之濾波器係數排列之水平方向尺寸(水平方向之濾波範 圍)之中心位置,oy係表示對於預測訊號之濾波器係數排列 之垂直方向尺寸(垂直方向之濾波範圍)之中心位置。 再者,於第20A圖〜第20C圖所示之濾波器係數之算出 式中,即便是對於重構動態影像訊號之濾波器尺寸(濾波範 70 201119412 圍)、對於預測訊號之濾波器尺寸及對於量化預測誤差訊號 之濾波器尺寸不同時’仍可算出適當的濾波器係數。又, 於第20A圖〜第20C圖所示之濾波器係數之算出式中,僅將 濾波範圍之中心位置之濾波器係數作為差分濾波器係數予 以編碼,藉由該差分濾波器係數與其他濾波器係數之加算 或減算算出濾波器係數。例如中心位置之預測訊號濾波器 係數coeff_pred[c][cy][cx]係藉由從差分濾波器係數 filter_hint_pred[c] [cy] [cx],減算其他濾波器係數之中心位 置之重構訊號濾波器係數coeff_rec[c] [oy] [ox],並加算維納 濾波器精確度[c]而算出。 有以下所示3種趨勢時,若如此僅將遽波範圍之中心位 置之濾波器係數作為差分渡波器係數而編碼,則編碼效率 可升高。第1趨勢係中心位置之重構訊號濾波器係數 coeff_rec始終約略為相同值。第2趨勢係中心位置之重構訊 號濾波器係數coeff_rec與中心位置之預測訊號濾波器係數 coeff—pred的和始終約略為相同值。第3趨勢係中心位置之 預測訊號濾波器係數e〇eff一pred與中心位置之預測誤差π 號濾波器係數coeff_qpe約略為相同值。又 因應傳送濾波 器係數所必需的碼量與渡波器之畫質改善效果之取捨關夂 等,其結果有時不需要中心位置以外之濾波器係數(淚皮器 提示),因此僅將濾波範圍之中心位置之濾波器係數作為差 分濾波器係數而編碼。總言之,於濾波器尺寸為丨^時, 存在中心位置以外之濾波器係數,無須將中心位置以外之 濾波器係數(濾波器提示)包含於濾波器資料而發送至解碼 71 201119412 器。為了可簡單地對應該_波器尺寸之動態變更,僅將 渡波範圍之巾心位置之舰輯數料差錢波器係數而 編碼。 然後,。後置據波器640係如第21圖之(式u)所示,將算 出之滤波n佩分別適餘重構動態影像城、預測訊號 及量化預測誤差訊號,亦即進行後置遽波,藉此生成解碼 動態影像訊號並輸出。 第21圖係表示解碼動態影像職之算出式之圖。 如第21圖之(式⑴所示,藉由解碼動態影像訊號所示之 色彩成分C之位置(X,y)之後置濾波處理後之值(已濾波影像 [c][y] W)係根據濾波器 c.〇eff_rec[c][j][i]、coeff_pred[c][j][i] 及 coeff_qpe[c][j][i]、與 rec一image[c]、pred_image[c]及 qpe一image[c]而算出。再者’ rec」mage[cm對應於重構動 態衫像§fl號之色彩成分c之值,precj_image[c]係對應於預測 成號之色彩成分c之值,qpejmagetc]係對應於量化預測誤 差sfl號之色彩成分c之值。c=〇係對應於亮度成分,c=i&c=2 係分別對應於2個色差成分。利用YUV以外之色彩空間時, 該對應關係亦可根據所用之色彩空間。例如RGB色彩空間 的情況下,c=0對應於紅(R)成分,c=l對應於綠(G)成分,c=0 對應於藍(B)成分亦可。 接著,後置濾波器640係如第22圖之(式12)所示,對於 解碼動態影像訊號之濾波完畢訊號(已濾波影像[c][y] [X])進 行標準化及裁剪。 第22A圖係表示標準化及裁剪之算出式之圖。 72 201119412 如第22A圖之(式12)所示,受到標準化及裁剪之濾波完 畢訊號(fi〖tered_image_clipped[c][y][x])係對於已濾波影像 [c][y]M ’適用反量化及地板函數,並設定為〇〜255的值。 在此,維納濾波器精確度[c]之步階值係由以下(式14) 所示,對於例如硬體或軟體的實施非常有益。 〔數8〕 維納濾波器精度[c] = 2吨UMsO’U”.· ·..(式14) 此係由於藉由位元移位(僅往右移位1位元),可非常有 效率實現以下(式15)之除算。 〔數9〕 (式 15) 維納濾波器精度[c]/2 總言之’以下(式16)的關係成立。 〔數 10〕 維納濾波器精度[c]/2 =維納濾波器精度[c] >;> 1 …(式16) 進而藉由位元移位(僅往右移位α位元),可非常效率良 好地實現2的α次方的除算。 因此,後置濾波器640亦可藉由進行第22Β圖之(式13) 所示之運算,對㈣波完畢訊號(已渡波影像[c|[y][x])進行 標準化及濾波。 第22B圖係表示標準化及裁剪之其他算出式之圖。 維納濾波器精確度[c]以2的冪次表示時,依據(式13)之 運算可獲得與(式12)同樣的優點。 f此’從第20B圖之(式9)以外的算式,求出預測訊號 濾波器係數C〇eff一pred[cHcy][cx]亦可。 73 201119412 第23 A圖係表示對於預測訊號之中心位置之渡波器係、 數之算出式之圖。 如第23 (A)圖之(式17)所示,於預測訊號之後置淚皮 範圍之中心位置,後置濾波器640係藉由(式18)所示之算出 式算出預測訊號滤波器係數coeff_pred[c] [cy] IcxJ。 第23B圖係表示對於預測訊號之中心位置以外之 器係數之算出式之圖。 如第23B圖之(式19)所示,於預測訊號之後置淚皮 範圍之中心位置以外的位置,後置濾波器640係藉由 20)所示之算出式,算出預測訊號濾波器係數 coeff一pred[c][cy][cx]。如(式2〇)所示,中心位置以外之預則 訊號渡波器係數coeff一pred[c] [cy] [cx]亦與中心位置之預別 訊號渡波器係數coeff_pred[c] [cy][cx]相同,於特定條件下 作為差分濾波器係數而受到編碼,並藉由該差分濾波g係 數filter_hint一pred[c][cy][cx]與重構訊號滤波器係數 coeff_rec[c][oy][ox]的和而算出。 又,按照(式17)〜(式20)算出預測訊號濾波器係數 coeff_pred[c][cy][cx]時,後置濾波器64〇係按照第23C圖之 (式21)來算出預測訊號濾波器係數c〇eff_qpe[c][cy][cx]。 第2 3 C圖係表示對於量化預測誤差訊號之濾波器係數 之算出式之圖。 如第23C圖之(式21)所示,無論預測訊號濾波器係數 coeff_pred[c] [cy] [cx]是否為中心位置之遽波器係數,均於 特定條件下,作為差分濾波器係數而受到編碼,並藉由該 74 201119412 差分濾波器係數filter_hint—qpe [c] [cy] [cx]與預測訊號濾波 器係數coeff_pred[c][oy][〇x]的和而算出。 如此按照第23A圖〜第2;3C圖之(式17)〜(式21)而算出 渡波器係數時之編碼效率若有數個趨勢,則可較按照第20B 圖及第2 0 C圖之(式9)及(式1 〇)而算出濾波器係數時之編碼 效率更高。該數個趨勢係上述第1〜第3趨勢及以下所示之 第4趨勢及第5趨勢。第4趨勢係中心位置以外之重構訊號濾 波器係數coeff_rec、與中心位置以外之預測訊號濾波器係 數coeff—pred始終約略為相同值。第5趙勢係中心位置以外 之預測誤差訊號濾波器係數coeff—qpe、與中心位置以外之 預測訊號濾波器係數coeff_pred始終約略為相同值。 第2例(濾波器提示類型[c]=2)係與傳送2個1次元nR濾 波器之係數時之後置濾波器設計及處理相關聯。 用以將重構動態影像訊號、預測訊號及量化預測誤差 訊號予以後置濾波之濾波器係數,係如分別於第24A圖〜第 24C圖之(式22)〜(式27)所示,從接收之差分濾波器資料算 出。總言之,動態影像解碼裝置600之後置濾波器640係按 照(式22)〜(式27)而算出濾波器係數。 第2 4 A圖係表示對於重構動態影像訊號之濾波器係數 之算出式之圖。 如第24A圖之(式22)所示’對於重構動態影像訊號之濾 波器係數即重構訊號濾波器係數之X成分 (coeff_rec_x[c][cx])係根據包含於差分濾波器資料之 filter_hint_rec—x[c] [cx]及 filter—hint_size—rec_x、與維納渡波 75 201119412 器精確度[C]之值算出。 又’如第24A圖之(式23)所示,對於重構動態影像訊號 之濾波器係數即重構訊號濾波器係數之y成分 (coeff_rec_y[c][cy])係根據包含於差分濾波器資料之 fllter_hint_rec_y [c] [cy]及 filter_h.int_size—rec_y、與維納渡波 器精確度[c]之值算出。 第2 4 B圖係表示對於預測訊號之濾波器係數之算出式 之圖。 如第24B圖之(式24)所示,對於預測訊號之濾波器係數 即預測訊號濾波器係數之X成分(coeff_PrecLx[c][cx])係根 據重構訊號渡波器係數之X成分(coeff_rec_x[c][ox])、維納 濾波器精確度[c]之值、及包含於差分濾波器資料之差分濾 波器係數filter_hint_pred_x[c][cx]、filter_hint_size_pred_x 及 filter_hint_size_rec_x 而算出。 如第24B圖之(式24)所示,對於預測訊號之濾波器係數 即預測訊號渡波器係數之X成分(coeff_pred_x[c][cx])係根 據重構訊號滤波器係數之X成分(coeff_rec_x[c][ox])、維納 濾波器精確度[c]之值、及包含於差分濾波器資料之差分濾 及 filter_hint_size—rec_x而算出。 又,如第24B圖之(式25)所示,對於預測訊號之濾波器 係數即預測訊號濾波器係數之y成分(coeff_pred_y[c][cy]) 係根據重構訊號濾波器係數之y成分(coeff_rec_y[c][oy])、 維納濾波器精確度[c]之值、及包含於差分濾波器資 76 201119412 料之差分濾波器係數filter一hint—pred_y[c][cy]、 第2 4 C圖係表示對於量化預測誤差訊號之濾波器係數 之算出式之圖。 如第24C圖之(式26)所示,對於量化預測誤差訊號 之濾波器係數即預測訊號濾波器係數之X成分 (coeff_qpe_x[c][cx])係根據預測訊號濾波器係數之X成分 (coeff_pred_x[c][ox])、及包含於差分渡波器資料之差分渡 波器係數filter_hint—qpe_x[c][cx]、filter_hint_size_qpe_x& filter_hint_size_pred_x而算出。 如第24C圖之(式27)所示,對於量化預測誤差訊號之濾 波器係數即預測訊號濾波器係數之y成分 (coeff_qpe_y[c][cx])係根據預測訊號濾波器係數之y成分 (coeff_pred_y[c][cx])、及包含於差分濾波器資料之差分濾 波器係數filter_hint_qpe_y[c][cx]、filter_hint_size_qpe_y及 filter_hint_size_pred_>^算出。 後置濾波器640係與上述第1例相同,首先算出用以將 重構動態影像訊號(變數名之“rec”)濾波之濾波器係數(變數 名之“coeff,),根據其算出用以將預測訊號(變數名之“pred”) 濾波之濾波器係數,根據後者算出用以將量化預測誤差訊 號(變數名之“qpe”)濾波之濾波器係數。又,後置濾波器640 係於算出各濾波器係數時,於水平方向(變數名以“_x”表示) 濾波之濾波器係數與垂直方向(變數名以“_y,’表示)濾波之 濾波器係數分開算出。 77 201119412 接著,後置濾波器640係利用算出之濾波器係數進行% 置濾波之水平濾波。 第25圖係表示水平渡波之圖。 如第2 5圖之(式2 8)所示,被適用後置濾波之水平據波 之色彩成分 c之位置(x,y)之值(filtered_image_x[c][y]fXD 係根據渡波器係數之X成分之coeff_rec_x[c]fiJ、 coeff一pred_x[c][i]及 coeff一qpe_x[c][i]、rec_image[c]、 pred_image[c]及 qpe_image[c]、與 filter_hint_size—pred x 及 filter_hint_size_qpe_x而算出。 接著,後置濾波器640係如第26圖(式29)所示,對於水 平濾、波完畢訊號(filtered_image_x[c][y][x])進行標準化及裁 剪。 第2 6圖係表示對於水平濾波完畢訊號之標準化及裁剪 之算出式。 第26圖之(式29)所示,受到標準化及裁剪之水平濾波 完畢訊號(filtered_image_clipped_x[c][y][x])係對於 filtered一image_x[c][y][x],適用反量化及地板函數,並設定 為0〜255的值。 接著’後置濾波器640係進行後置濾波之垂直濾波。 第27圖係表示垂直濾波之圖。 如第2 7圖之(式3 〇)所示,被適用後置濾波之垂直濾波之 色彩成为C之位置(X,y)之值⑼tered」mage_xy [c] [y] [X])係根 據慮波器係數之y成分之c〇eff_rec_y[c]U]、c〇eff_pred_y[C][j] 及coeff-qpe-x[c][j]、受到標準化及裁剪之水平濾波完畢訊 78 201119412 號(filtered—image 一 clipped—x[c]) 、 pred_image[c]及 qpe—image[c]、filter—hint_size_rec_y、filter—hint_size—pred_y 及filter—hint_size_qpe_y、與偏移(filter_hint_offset[c])而算 出。 接著,後置濾波器640係如第28圖之(式31)所示,對於 水平及垂直濾波完畢訊號(filtered_image_xy[c][y] [X])進行 標準化及裁剪。 第28圖係表示對於水平及垂直濾波完畢訊號之標準化 及裁剪之算出式之圖。 第28圖之(式31)所示,受到標準化及裁剪之水平濾波完 畢訊號(filtered_image_clipped_x[c][y][x])係對於 filtered_image_xy[c][y][x],適用反量化及地板函數,並設 定為0〜255的值。 再者,於上述各式中,已濾波影像[c][y][x]係對應於後 置遽波處理後之色彩成分c之值,rec_image[c]係對應於重 構動態影像訊號之色彩成分c之值,pred_image [c]係對應於 預測訊號之色彩成分c之值,qpe_image[c]係對應於量化預 測誤差訊號之色彩成分c之值。c=〇係對應於亮度成分,C=1 及c=2係分別對應於2個色差成分。 第3例(濾波器提示類型[c ]=1)係與傳送交互相關矩陣 時之後置濾波器設計及處理相關聯。 首先,後置濾波器640係如第29A圖之(式32)所示,算 出原圖像(動態影像訊號)與解碼圖像(重構動態影像訊號) 之間之交互相關矩陣之元件。 79 201119412 第29A圖係表示對應於重構動態影像訊號之交互相關 矩陣之元件之算出式之圖。 動態影像訊號與重構動態影像訊號之間之交互相關矩 陣cc_rec之元件,係如第29A圖之(式32)所示,於重構動態 影像訊號之濾波範圍之中心位置與其他位置,藉由不同算 出式而算出。 接著,後置濾波器640係如第29B圖之(式33)所示,算 出原圖像(動態影像訊號)與預測圖像(預測訊號)之間之交 互相關矩陣之元件。 第29B圖係表示對應於預測訊號之交互相關矩陣之元 件之算出式之圖。 動態影像訊號與預測訊號之間之交互相關矩陣cc_pred 之元件,係如第29B圖之(式33)所示,於預測訊號之濾波範 圍之中心位置與其他位置,藉由不同算出式而算出。又, 於中心位置係利用(式32)所算出的交互相關矩陣cc_rec之 元件,算出交互相關矩陣cc_pred之元件。 接著,後置濾波器640係如第29C圖之(式34)所示,算 出原圖像(動態影像訊號)與量化預測誤差訊號(量化預測誤 差訊號)之間之交互相關矩陣之元件。 第29C圖係表示對應於量化預測誤差訊號之交互相關 矩陣之元件之算出式之圖。 動態影像訊號與量化預測誤差訊號之間之交互相關矩 陣cc_qpe之元件,係如第29C圖之(式34)所示,於量化預測 誤差訊號之濾波範圍之中心位置與其他位置,藉由不同算 80 201119412 出式而算出。又,於中心位置係利用(式33)所算出的交互相 關矩陣cc_pred之元件,算出交互相關矩陣cc_qpe之元件。 藉由如此算出之各交互相關矩陣,可求出維納濾波器 之後置濾波器之濾波器係數,藉由一併利用求出之濾波器 係數與濾波器提示偏移[c],可進行上述2次元FIR濾波器之 滤波。 第4例(濾波器提示類型[c]=3)係與傳送2個交互相關矩 陣時之後置濾波器設計及處理相關聯。 首先,後置濾波器640係算出原圖像(動態影像訊號)與 解碼圖像(重構動態影像訊號)之間之2個交互相關矩陣(水 平交互相關向量及垂直交互相關向量)之元件。 第30A圖係表示對應於重構動態影像訊號之水平交互 相關向量之元件之算出式之圖。 動態影像訊號與重構動態影像訊號之間之水平交互相 關向量cc_rec_x之元件,係如第30A圖之(式35)所示,於重 構動態影像訊號之濾波範圍之中心位置與其他位置,藉由 不同算出式而算出。 第30B圖係表示對應於重構動態影像訊號之垂直交互 相關向量之元件之算出式之圖。 動態影像訊號與重構動態影像訊號之間之垂直交互相 關向量cc_rec_y之元件,係如第30B圖之(式36)所示,於重 構動態影像訊號之濾波範圍之中心位置與其他位置,藉由 不同算出式而算出。 接著,後置濾波器640係算出原圖像(動態影像訊號)與 81 201119412 預測圖像(預測訊號)之間之2個交互相關向量(水平交互相 關向量及垂直交互相關向量)之元件。 第3 0 C圖係表示對應於預測訊號之水平交互相關向量 之元件之算出式之圖。 動態影像訊號與預測訊號之間之水平交互相關向量 cc_pred_x之元件,係如第30C圖之(式37)所示,於預測訊號 之濾波範圍之中心位置與其他位置,藉由不同算出式而算 出。又,於中心位置係利用(式35)所算出的交互相關向量 cc_rec_x之元件,算出水平交互相關向量cc_pred_x之元件。 第3 0 D圖係表示對應於預測訊號之垂直交互相關向量 之元件之算出式之圖。 動態影像訊號與預測訊號之間之垂直交互相關向量 cc_pred_y之元件,係如第30D圖之(式38)所示,於預測訊號 之濾波範圍之中心位置與其他位置,藉由不同算出式而算 出。又,於中心位置係利用(式36)所算出的垂直交互相關向 量cc_rec_y之元件,算出垂直交互相關向量cc_pred_y之元 件。 接著,後置濾波器640係算出原圖像(動態影像訊號)與 量化預測誤差訊號(量化預測誤差訊號)之間之交互相關向 量之元件(水平交互相關向量及垂直交互相關向量)。 第30E圖係表示對應於量化預測誤差訊號之水平交互 相關向量之元件之算出式之圖。 動態影像訊號與量化預測誤差訊號之間之水平交互相 關向量cc_qpe_x之元件,係如第30E圖之(式39)所示,於量 82 201119412 化預測誤差訊號之濾波範圍之中心位置與其他位置,藉由 不同算出式而算出。又,於中心位置係利用(式37)所算出的 水平交互相關向量cc—pred—x之元件,算出水平交互相關向 量cc_qpe_x之元件。 第30F圖係表示對應於量化預測誤差訊號之垂直交互 相關向量之元件之算出式之圖。 動態影像訊號與量化預測誤差訊號之間之垂直交互相 關向量cc-qPe—y之元件,係如第30F圖之(式40)所示,於量 化預測誤差訊號之濾波範圍之中心位置與其他位置,藉由 不同算出式而算出。又,於中心位置係利用(式38)所算出的 垂直交互相關向量cc__pred_y之元件’算出垂直交互相關向 量cc_qpe_yi 元件。 藉由如此算出之各交互相關向量,可求出水平方向之 維納濾波器之後置濾波器之濾波器係數、及垂直方向之維 納濾波器之後置濾波器之濾波器係數,藉由一併利用求出 之濾波器係數與濾波器提示偏移[c] ’可進行上述2個丨次元 FIR濾波器之濾波。 於上述例中,首先算出重構動態影像訊號之濾波器係 數’根據其算出預測訊號之濾波器係數’根據後者算出量 化預測誤差訊號之濾波器係數。但採其他順序算出各濾波 器係數亦可。例如最先算出量化預測誤差訊號之濾波器係 數,或根據重構動態影像訊號之濾波器係數算出量化預測 誤差§fl5虎之渡波器係數亦可。亦可採其他依存關係或順序 進行濾波器係數之算出處理。 83 201119412 於編碼器,須於編碼及傳送前量化濾波器係數及交互 相關資料。編碼器係於例如以浮動小數點表示濾波器係數 或交互相關資料等之例示值coeff_double時,按照以下之(式 14)進行量化。在此,量化該濾波器係數而成為整數亦可。 又,編碼器亦可量化對應於重構動態影像訊號、預測訊號 及量化預測誤差訊號之各訊號之所有濾波器係數(濾波器 提示)並發送。 〔數 11〕
|_coeff_double ·維納遽波器精度 + 0.5」;coeff_double 2 0 -[_(-coeff_double) ·維納渡波器精度 + 0.5」; coeff_double < 0 (式 41) 前述之語法、語意及解碼器之濾波器資料之適用僅為 一例。一般而言,用以將濾波器資料予以訊號發送之語法 元件有時會與本例不同。尤其是濾波器資料無須就各訊框 而提供。就數訊框定期地送出,或藉由訊號傳達用旗標, 不定期地將訊框之濾波器資料予以訊號發送亦可。進而言 之,濾波器資料亦可對於片段、既定之巨集塊集合、巨集 塊或區塊等動態影像訊框之某部分進行訊號發送。藉由令 濾波器特性局部地適應,可提升品質。尤其於具有實質上 具不同的空間性及/或時間性特性之部分之圖像,可提升品 質。 濾波器係數間(或偏移間或相關資訊間)之統計性關係 (交互相關)的利用不限於對於單一色彩成分之濾波器係 數。亦可利用對於複數種不同色彩成分之濾波器係數間之 84 201119412 統計性依存關係(交互相關)。此係由於色彩成分之訊號一般 互相具有相關關係,可帶來具相關性之濾波器資料。因此, 對於複數種不同色彩成分之濾波器資訊(資料)亦利用該等 之依存關係,藉由例如預測編碼、轉換編碼或馬可夫模型 之編碼來進行編碼亦可。例如變動長度編碼、.或切換碼字 表、或將複數個濾波器資料元件之組合編碼為單一碼字之 摘編碼等。 進而言之,於濾波器資料的編碼,亦可利用不同圖像 區域之濾波器資料間之統計性依存關係(交互相關)。 第31圖係表示鄰接於編碼/解碼之對象區塊之周邊區 塊之圖。 就各區塊決定濾波器資料時,利用對象區塊、與鄰接 於對象區塊之解碼完畢之周邊區塊(區塊m=2.....5等)之 統計性關係(交互相關),來編碼對象區塊之濾波器資料亦 可。然而,對於區塊以外之區域決定濾波器資料,或利用 對應於其等區域之濾波器資料間之依存關係,如上述利用 例如預測或轉換等來進行編碼亦可。進而言之,利用統計 性關係編碼濾波器資料之該類圖像區域,亦可位於不同的 圖像(例如相對應之位置或進行移動補償之位置)。 對於各訊號/所有訊號、及/或色彩成分,濾波器精確度 (維納濾波器精確度)亦作為濾波器資料之量化資訊而編 碼,並作為維納濾波器精確度[c]傳送至解碼器亦可。然而, 固定地定義精確度亦可。用以預測濾波器係數之訊號預測 方式亦可予以訊號發送。此係於適用適應性預測方式時尤 85 201119412 其有效。 濾波器資料一般係為了於FIR(有限脈衝回應)濾波器或 IIR(無限脈衝回應)濾波器之濾波中使用而決定。濾波器亦 可為2次元之非可分離之濾波器、或1次元之可分離之濾波 器。 用以將複數種不同色彩成分及/或訊號(預測訊號、量化 預測誤差訊號、重構動態影像訊號)予以濾波之濾波器,亦 可具有相同的固定長度,以避免將濾波順序重複予以訊號 發送。然而,就每色彩成分、以及對於量化預測誤差訊號、 預測訊號及重構動態影像訊號之各者,個別地編碼濾波器 長亦可。濾波器長之編碼亦可利用用以將複數種不同訊號 及/或色彩成分予以濾波之濾波器長之統計性關係(相互相 關)。因此,預測編碼、轉換編碼、馬可夫編碼或其他任何 編碼亦可適用於濾波器長資訊。 對於預測(動態影像)訊號及量化預測誤差訊號之濾波 器係數亦可藉由結合編碼器之最佳化而為同一濾波器係 數,因此僅1次傳送即可。該情況下,亦可將濾波器係數相 同乙事予以訊號發送。 濾波對象之複數種不同訊號及/或對於複數種不同色 彩成分之濾波器資料之選擇項亦可設限,用以縮小訊號發 送之濾波器資料之尺寸。舉出一例來說,對於至少1個濾波 對象訊號(重構動態影像訊號、預測訊號、量化預測誤差訊 號)及/或對於色彩成分訊號,設下利用對稱濾波器之限制。 於別的例中,對於3個訊號(解碼訊號、預測訊號、量化預 86 201119412 測誤差訊號)及/或色彩成分中之2個或3個,設下利用同等遽 波器之限制。 又,依濾波器係數而固定地設定亦可。將固定濾波器 係數之值予以訊號發送之頻率亦可例如僅於序列標頭等, 較將可變濾波器係數予以訊號發送之頻率低亦可。 關於語法而言,亦可藉由將碼字加在編碼動態影像气 號及濾波器資料,以訊號發送是否對於3個訊號(重構動離 影像訊號、預測訊號、量化預測誤差訊號)中之任一者,編 碼或傳送濾波器係數。例如藉由利用3位元構成碼字,3位 元之各者訊號發送有無對於重構動態影像訊號、預剛訊說 或量化預測誤差訊號之濾波器資料。該類訊號發送亦可於 例如序列、訊框或片段標頭進行。 為 了將來的延伸’亦可包含碼〜 “additional_extension_flag(額外延伸旗標)”。 第32圖係表示本實施形態之系統之圖。 於該系統,從編碼器1501側往解碼器15〇3側發送編碼 動態景> 像訊號。編碼器1501為動態影像編碼裝置5〇〇戈 700 ’解碼器1503係動態影像解碼裝置6〇〇或8〇〇。輸入訊號 之動態影像訊號係由編碼器1501編碼並往通道15〇2提供。 如上述,編碼器1501係本發明之任意實施形態之編碼器。 通道1502為儲存手段或通道,存手段為例如任意之揮發 性或非揮發性記憶體、任意之磁性或光學媒體、或大容量 儲存手&等。藉由無線或有線、固定或可移動之奶化、 ISDN、WLAN、GPRS、UMTS、網際網路等任意之傳送系 87 201119412 到標準化或專利化之系統之物理性資源, =道亦可。編碼器侧係除了編碼器以外,亦可包八 订格式轉換等對於動態影像訊號之前置處理 ^進 段、及/或透過通道1502傳送編石馬動態影像吼號之傳^理手 或將編瑪動態影像訊號發送至儲存手段之應用㈣、 動態影像訊號係由解碼器1503經由通道二 L“1503係本發明之任意實施形態之解碼器。解= ^糸將編碼動態影像訊號解碼。解碼器側係除了解碼器以’ 夕亦可進一步具備用以從傳送通道接收編碼動態影像气 接收器'或用以從儲存手段擷取編碼動態影像訊號之 應用程式,進一步/或亦可具備進行格式轉換等對於解碼動 態影像訊號之後置處理之後置處理手段。 再者,本貫%形態之後置濾波器設計部54〇、73〇係利 =重構動態影像訊號、預測訊號及量化預測誤差訊號來決 疋渡波器資料或m係數’但亦可利用其等訊號中之至 少2個訊號來決定渡波器資料或據波器係數。又,利用預測 誤差訊號來取代量化預測誤差訊號亦可。同樣地,本實施 形態之後置濾,波器64G、84G係構動態影像訊號、預 測-η*號及量化動j誤差訊號來決定m資料或渡波器係 數,但亦可利用其等訊號中之至少2個訊號來決定濾波器資 料或濾波器係數。又,對於預測誤差訊號適用濾波器資料 或濾波器係數來取代量化預測誤差訊號亦可。 (實施形態2) 藉由於記憶媒體,記錄用以實現上述實施形態所示之 201119412 動態影像編碼裝置、動態影 於獨立的電腦系統,簡單地實r 其4之方法,可 理。記憶媒體若是 &述實施形態所示之處 半導體記^m咖― 置、:=:=::=:動__ 之系統。 m4之方法之應用例、與利用其 第33圖係表示實現内容配送服務之内容供統 exl⑽之全體構成圖。將通訊服務之提供區分割為所需大 小,於各單元(ee_分別設㈣定無線台即基地局以1〇6 〜exll〇 〇 °亥内谷供給系統exl 〇〇係經由網際網路服務提供者 exl02及電話網以1〇4、及基地台以1〇6〜exU〇,於網際網 路exl〇l連接電腦exlU、PDA(Pers〇na丨Dighai八“灿加·個 人數位助理)ex112、相機exll3、行動電話exii4、遊戲機 exll5等各機器。 然而,内容供給系統exl〇〇不限定於如第33圖之構成, 組合某些要素而連接亦可。又,各機器不經由固定無線台 即基地台exl06〜exllO而直接連接於電話網exl〇4亦可。 又,各機器經由近距離無線等而直接相互連接亦可。 攝影機exll3係數位攝影機等可進行動晝攝影的機 器,相機exll6係數位相機等可進行靜止圖攝影、動畫攝影 的機器。又,行動電話exll4係GSM(Global System for Mobile Communications :全球移動通訊系統)方式、 89 201119412 CDMA(Code Division Multiple Access :分碼多工存取)方 式、W-CDMA(Wideband-Code Division Multiple Access : 寬頻分碼多工存取)方式或LTE(Long Term Evolution :長程 演進)方式、HSPA(High Speed Packet Access :高速封包存 取)方式的4亍動電話機,或為PHS(Personal Handyphone System :個人手持式電話系統)等,任一者均無妨。 於内容供給系統exlOO,攝影機ex113等透過基地台 exl09、電話網exl〇4而連接於串流化伺服器exl03,藉此可 進行實況配送等。於實況配送,對於使用者利用攝影機 exll3所拍攝的内容(例如音樂實況的影像等),如上述實施 形態所說明般進行編碼處理’並發送至串流化伺服器 exl03。另,串流化伺服器exl〇3係將對於有需求的客戶所 發送的内容資料,進行串流配送。客戶包括可解碼上述經 編碼處理之資料之電腦exlll、PDAexll2、攝影機吖113、 行動電話exll4、遊戲機exii5等。於接收到被發送的資料 之各機器,將接收到的資料進行解碼處理而再生。 再者,所攝影資料之編碼處理由攝影機exl丨3進行,戈 由將資料發送處理之串流化伺服器exl〇3進行均可,相互1 擔進行亦可。同樣地,所配送資料之解碼處理由客戶進行 或由串流化伺服器exl〇3進行均可,相互分擔進行亦可「 又,不限於攝影機ex113,將相機exll6所拍攝的靜止^ 及/或動態圖像資料,經由電腦exl丨丨傳送至串流化词。象 exl〇3亦可。該情況下之編碼處理由相機“116、 服益 1 或串流化㈤㈣exlG3之任-者祕,或相互分 、 '^订均 90 201119412 可。 又’該等編碼處理及解碼處理一般在電腦ex 111及具有 各機器之LSI(Large Scale Integration :大型積體電路)ex5〇〇 處理。LSIex500為單晶片或由複數個晶片所組成的構成均 可。再者,將圖像編碼用及圖像解碼用之軟體,嵌入於電 腦exlll等可讀取之某種記錄媒體(Cd_r〇m、軟碟、硬碟 等)’利用該軟體進行編碼處理及解碼處理亦可。進而言 之,行動電話exl 14附有相機時,發送由該相機所取得的動 畫資料亦可。此時的動畫資料係由行動電話以114所具有的 LSIex5〇0編碼處理後之資料。 台 又,串流化伺服器exl03亦可為複數台伺服器或複數 電腦,將資料分散處理、記錄亦或配送。 如以上,於内容供給系統exlG(),客戶可接收已編碼的 資料並予以再生。如此’於内容供給系統以1〇〇,客戶可即 時接收使用者所發送的資料並予以解碼、再生,即便a不 具有特別制或設備之使用者,仍可實現個人播放。&不 對於構成該内容供給系統之各機器之編碼、解碼,利 用上述實施形態卿之錢麟編碼枝或動態影像 方法即可。 9 ,F句丹一例 ^ n m\^n irm 4 0 第34圖係表示利用上述實施形態所說明之動態 碼裝置、《影像解碼裝置或料之料之行動電話灿 之圖。行動電話exll4具有:主體部,其構成包含:^ 副,係用以與基地台_之間收發電波者n 201119412 ex603,係CCD相機等可拍攝影像、靜止圖者;液晶顯示器 等顯不部ex602,係顯示由相機部ex6〇3所拍攝的影像、由 天線ex601所接收的影像等經解碼後之資料;及操作鍵 ex604群,揚聲器等聲音輸出部ex6〇8,係用以進行聲音輸 出者;微音器等聲音輸入部ex6〇5 ,係用以進行聲音輸入 者,5己錄媒體ex6〇7,係用以保存所拍攝的動畫或靜止圖之 資料、所接收的郵件之資料、動晝之資料或靜止圖之資料 等已編碼的資料或已解碼的資料者;及插槽部ex606,係用 以使得可於行動電話exll4裝載記錄媒體以6〇7者。記錄媒 體ex607係於SD卡等之塑膠盒内,儲存有可電子式地重寫及 抹除之非揮發性記憶體,即EEPROM之一種之快閃記憶體 元件。 進一步利用第35圖來說明關於行動電話exll扣行動電 話ex 114係對於統籌控制具備顯示部ex6〇2及操作鍵ex6〇4 之主體部各部之主控制部ex711,經由同步匯流排ex713而 相互連接有電源電路部ex71〇、操作輸入控制部以7〇4、圖 像編碼部ex712、相機介面部ex7〇3、LCD(Liquid Crystal Display :液晶顯示器)控制部ex7〇2、圖像解碼部ex7〇9、解 多工部ex708、記錄再生部ex7〇7、解調調變電路部ex7〇6及 聲音處理部ex705。 若藉由使用者操作而終止通話及電源鍵成為開啟狀態 時,電源電路部ex71〇係從電池包對於各部供給電力,將附 相機數位行動電話ex114啟動為可動作的狀態。 行動電話ex 114係根據由CPU、ROM及RAM等所組成的 92 201119412 主控制部ex711之控制,藉由聲音處理部ex7〇5,將聲音通 活模式時由聲音輪入部ex605所收音的聲音訊號 ’轉換為數 位聲音貢料’以解調調變電路部ex706,將其進行頻譜擴散 處理’以收發電路部ex701施行數位類比轉換處理及頻率轉 換處理後’㈣天線ex6Gl發送。又,行動電話exll4係放 大在聲音通話模式時由天線ex601所接收的接收資料,施行 頻率轉換處理及類比數位轉換處理,以解調調變電路部 ex706進行頻譜反擴散處理,藉由聲音處理部ex7〇5轉換為 類比聲音資料後’經由聲音輸出部ex608將其輸出。 進而言之’於資料通訊模式時發送電子郵件的情況 下’藉由主體部之操作鍵ex6〇4之操作所輸入的電子郵件之 文本資料係經由操作輸入控制部ex7 〇4而送出至主控制部 ex711。主控制部炫711係於解調調變電路部以7〇6,將文本 負料予以頻譜擴散處理,於收發電路部ex701施行數位類比 轉換處理及頻率轉換處理後,經由天線ex6〇1發送至基地台 exll〇 〇 於資料通訊模式時發送圖像資料的情況下,將相機部 ex603所拍攝的圖像資料經由相機介面部ex7〇3,供給至圖 像編碼部ex712。又’不發送圖像資料時,亦可將相機部 ex603所拍攝的圖像資料,經由相機介面部ex7〇3及lcd控 制部ex7〇2而直接顯示於顯示部ex6〇2。 圖像編碼部ex712係具備本申請發明所說明的動態影 像編碼裝置之構成,藉由用在上述實施形態所示之動態影 像編碼骏置之編碼方法,將供給自相機部ex6〇3之圖像資料 93 201119412 予以壓縮編碼,藉此轉換為編碼圖像資料,並將其送出至 多工分離部ex708。又’此時,行動電話exll4同時將相機 部ex603在攝像中由聲音輸入部ex605所收音的聲音,經由 聲音處理部ex705,作為數位的聲音資料而送出至解多工部 ex708 ° 解多工部ex708係以特定方式,將供給自圖像編碼部 ex712之編碼圖像資料及供給自聲音處理部ex7〇5之聲音資 料予以多工,以解調調變電路部ex706,將其結果所獲得的 多工資料予以頻譜擴散處理,以收發電路部ex7〇1施行數位 類比轉換處理及頻率轉換處理後,經由天線ex601發送。 於資料通訊模式時,接收鏈結至網頁等之動態圖像檔 之資料的情況下,以解調調變電路部ex7〇6,將經由天線 ex601而從基地台exi 1〇所接收的接收資料予以頻譜反擴散 處理,將其結果所獲得的多工資料送出至解多工部ex7〇8。 又’解碼經由天線ex6〇l所接收的多工資料時,解多工 部ex708係藉由分離多工資料,而區分為圖像資料之位元串 流與聲音資料之位元串流’經由同步匯流排以713,將該編 碼圖像資料供給至圖像解碼部e χ 7 〇 9,並且將該聲音資料供 給至聲音處理部ex705。 接著’圖像解碼部ex7〇9係具備本申請案所說明的動態 影像裝置之構成,以對應於上述實施形態所示之動態影像 編碼方法之動態影像解碼方法’解碼圖像資料之位元串 流’藉此生成再生動態影像資料,將其經由LCd控制部 ex702而供給至顯示部以6〇2 ,藉此顯示例如鏈結至網頁之 94 201119412 動態影像檔所含之動畫資料。此時,聲音處理部ex7〇5同時 將聲音資料轉換為類比聲音資料後,將其供給至聲音輪出 部ex608 ’藉此再生例如鏈結至網頁之動態影像檔所含之聲 音資料。 再者,不限於上述系統的例子,最近利用衛星、地波 所進行的數位播放正成為話題,如第36圖所示,於數位播 放用系統巾’亦可至少嵌人上述實施形態之動態影像編碼 裝置或動態影像解碼裝置。具體而言,於播放台ex2〇卜聲 音貧料、影像資料或其等資料已受到多卫之位元串流係經 由電波而傳送至通机或播放衛星ex2〇2。接收其之播放衛星 ex202係發送播朗電波,具有衛星播放接收設備之家庭之 天線ex204係接收該電波’電視(接受機)以3〇〇或機上盒 (STB)ex217等裝置係解碼位元串流而將其再生。又,於讀 取機/燒錄機ex218亦可安裝上述實施形態所示之動態影像 解碼裝置,而前述讀取機/燒錄機ex218係讀取記錄於記錄媒 體之CD及DVD等記錄媒體ex21s、ex216之圖像資料、及聲 音資料已^:到多工之位元串流,並予轉碼。此情況下, 所再生的影像訊號係顯示於監視器ex219。又,亦可考慮在 連接於有線電視用之繞線ex2Q3或衛星/地波播放之天線 eX2〇4之機上盒ex2_,安裝動㈣像解㉟裝置,於電視 的瓜視器ex219再生其之構成。此時,不採用機上盒而於電 視内後入動態影像解碼裝置亦可。又,亦可於具有天線 ex2〇5 的車 ex210 内 從衛星ex202或基地台等接收訊號,於 車ex210所具有的車用導航器ex2u 等之顯示裝置再生動 95 201119412
又,於讀取機/燒錄機ex218亦可安裝上述實施形態所示 之圖像解碼裝置,而前述讀取機/燒錄機ex218係讀取並解碼 記錄於DVD、BD等記錄媒體ex215之聲音資料、影像資料 或其等資料已受到多工之位元串流,或於記錄媒體ex215, 記錄聲音資料、影像資料或編碼其等資料,並作為多工資 料而記錄。此情況下,所再生的影像訊號係顯示於監視器 ex219。又’藉由記錄有編碼位元串流之記錄媒體ex2i5, 其他裝置及系統可再生影像訊號。例如其他再生裝置ex212 可利用複製有編碼位元串流之記錄媒體ex214,於監視器 ex2l3再生影像訊號。 又,在連接於有線電視用之纜線ex203或衛星/地波播放 之天線ex204之機上盒ex217内,安裝動態影像解碼裝置, 於電視的監視器ex219顯示其亦可。此時,不僅是機上盒, 於電視内嵌入動態影像解碼裝置亦可。 第3 7圖係表示利用上述實施形態所說明的動態影像編 碼裴置、動態影像解碼裝置或其等之方法之電視(接收 機)ex300之圖。電視ex300具備:調階器ex3〇l,係經由接收 上述播放之天線ex204或纜線ex203等,取得或輸出影像資 訊之位元串流者;調變/解調部ex3〇2,係用以解調所接收的 編碼資料,或將已生成的編碼資料發送至外部者;及多工/ 分離部ex303,係分離已解調的影像資料與聲音資料,或將 已編碼的影像資料及聲音資料予以多工。又,電視ex3〇〇具 有:聲音訊號處理部ex3〇4,係分別解碼聲音資料、影像資 96 201119412 料。,或編碼各者之資料者;訊號處理部ex3Q6,係具有影像 减處理部以305者;揚聲器ex3〇7,係輸出已解碼的聲音 訊號者;及輸出部以309,係具有顯示已解碼的影像訊號之 顯不器等之顯示部_8者。進而言之,電視ex獅具有介 面部如17,係具有受理使用者操作之輸入之操作輸入部 仙2等者。進而言之,電視ex3〇〇具有:控制部e侧,係 統籌控制各部者;及f源電路細311,係對各部供給電力 者。介面部ex3m系除了操作輸入部以外,亦可具有 與讀取機/燒錄機ex218等外部機器連接之橋接器技313、可 裝載SD卡等記錄媒體ex2】6之插槽部_4、用以與硬碟等 外部記錄雜連接動器ex315、與電話崎接之數據機 • …16等。再者’記錄媒體找216係可藉由儲存之非揮發性/ . #發性半導體記㈣元件,電子式地記錄資訊Hx3〇〇 之各部係經由同步匯流排而相互連接。 首先’說明關於電視ex3〇〇解碼藉由天線ex2〇4等而從 外部取得之資料,並予以再生之構成。電視以細係接受來 自遙控器ex220等之使用者操作,根據具有cpu等之控制部 ex310之控制,以多工/分離部ex3〇3,將調變/解調部π%] 所解調的影像資料、聲音資料分離。進而言之,電視以3〇〇 係以聲音訊號處理部ex3〇4,解碼已分離的聲音訊號,以影 像訊號處理部e X 3 G 5 ’利用上述實施形態所說明的動態影像 解碼方法,解碼已分離的影像資料。已解碼的聲音訊號、 影像δίΐ號分別從輸出部ex309向外部輸出。輸出時,為了讓 聲音訊號與影像訊號同步再生,亦可暫且於緩衝器ex318、 97 201119412 ex3 19專積存該等訊號。又,電視ex3〇〇不僅可從播放等, 亦可從磁性/光碟片、SD卡等記憶媒體ex215、eX216,讀出 已編碼的編碼位元串流。接著,說明電視ex3〇〇編碼聲音訊 號及影像sfl號’發送至外部或寫入於記錄媒體等之構成。 電視ex300係接受來自遙控器ex220等之使用者操作,根據 控制部ex310之控制,以聲音訊號處理部ex3〇4編碼聲音訊 说,以影像號處理部ex305,利用上述實施形態所說明的 動態影像編碼方法編碼影像訊號。已編碼的聲音訊號、影 像訊號係由多工/分離部ex303予以多工並輸出至外部。進行 多工時’為了讓聲音訊號與影像訊號同步,亦可暫且於緩 衝器ex3 2〇、ex3 21荨積存該等訊號。再者,如圖示具備複 數個緩衝器ex318〜ex321 ’或共用1個以上之緩衝器之構成 均可。進而言之,除了圖示以外,例如於調變/解調部ex3〇2 與多工/分離部e X3 0 3之間等’作為避免系統溢位及虧位之缓 衝材料,而於緩衝器積存資料亦可。 又,電視ex300除了從播放及記錄媒體等,取得聲音資 料及影像資料以外,亦可具備微音器及受理相機之AV輸入 之構成,對於從其·#所取得的資料進行編碼處理亦可。再 者,在此,電視ex300係說明作為可進行上述編碼處理、多 工及外部輸出之構成,但未能進行該等所有處理,僅可進 行上述接收、解碼處理及外部輸出中之某一者之構成亦可。 又,於讀取機/燒錄機ex218,從記錄媒體讀出編碼位元 串流或寫入時,上述解碼處理或編碼處理在電視ex3〇〇及讀 取機/燒錄機ex218中之某一者進行,或電視以3〇〇與讀取機/ 98 201119412 燒錄機ex218相互分擔進行均可。 作為一例,於第38圖表示從光碟片進行資料之載入或 寫入時之資訊再生/記錄部ex400之構成。資訊再生/記錄部 ex400具備以下所說明之要素以401〜以4〇7 ^光學頭以4〇1 係於記錄媒體ex215-光碟片之記錄面,照射雷射點而寫入 資料,檢測來自記錄媒體ex215之記錄面之反射光而載入資 料。調變記錄部ex402係電驅動内建於光學頭以4〇1之半導 體雷射,因應記錄資料而進行雷射光的調變。再生解調部 ex403係放大藉由内建於光學頭ex4〇1之光偵測器電性地檢 測到之來自s己錄面之反射光,分離並解調記錄於記錄媒體 ex215之訊號成分,再生所必需的資訊。緩衝器ex4〇4暫時 保持用以記錄於記錄媒體e x 215之資訊及從記錄媒體e χ 2 j 5 再生之資訊。碟片馬達ex4〇5係使記錄媒體ex215旋轉。伺 服控制部ex406—面控制碟片馬連ex4〇5之旋轉驅動,一面 令光學頭ex401移動至特定資訊磁軌,進行雷射點的追隨處 理。系統控制部ex407進行資訊再生/記錄部ex4〇〇全體的控 制。上述言買出及寫入處理係藉由系統控制部以4〇7利用保持 於緩衝器ex404之各種資訊,或因應需要進行新資訊之生成 及追加,並且一面令調變記錄部ex4〇2、再生解調部ex4〇3 及伺服控制部ex406進行協調動作,一面透過光學頭ex4〇1 進行 > 甙之§己錄再生而實現。系統控制部4〇7係以例如微處 理器所構成,藉由執行讀出寫入之程式來執行其等處理。 以上係說明光學頭ex401照射雷射點,但亦可為利用近 場光進行更高密度記錄之構成。 99 201119412 於第39圖表示記錄媒體仙5—絲片之之模式圖。於 =錄媒體ex215之記錄面,導引溝(溝槽)形成為螺旋狀於 資訊磁轨ex23G,預先藉由溝槽的形狀變化,記錄有表示碟 片上之絕對位置之門牌資訊。該門牌資訊包含用以特定記 錄資料之單位,即記錄區塊ex231的位置之資訊,進行記錄 及再生之裝置可藉由再生資訊磁軌ex23〇,讀取門牌資訊而 特疋出記錄區塊。又,記錄媒體ex215包含:資料記錄區域 ex233、内周區域ex232及外周區域ex234。用以記錄使用者 資料之區域為資料記錄區域ex233 ;配置於資料記錄區域 ex233之内周或外周之内周區域ex232與外周區域ex234,係 用於使用者資料之記錄以外之特定用途。資訊再生/記錄部 ex400係對於該類記錄媒體ex2i5之資料記錄區域ex233,進 行已編碼的聲音資料、影像資料或其等資料經多工後之編 碼資料之讀寫。 以上舉出1層的DVD、BD等光碟片為例來說明,但不 限於s玄荨,亦可為多層構造、表面以外亦可記錄之光碟片。 又,於碟片之相同處,利用各種不同波長之色光記錄資訊, 亦或從各種角度記錄不同資訊的層等,進行多次元記錄/再 生之構造之光碟片亦可。 又’於數位播放用系統ex20〇 ’亦可在具有天線ex205 之車ex210,從衛星ex2〇2等接收資料,於車ex210所具有的 車用導航器ex211等之顯示裝置再生動畫。再者,車用導航 器ex211的構成可考慮例如在第丨7圖所示構成中,加上gps 接收部的構成’於電腦exlll及行動電話exii4亦可考慮同 100 201119412 樣乙事。又,卜& ,η . 丁動電話exll4等終端裝置係與電視ex300 之 ^了具有編碼^及解碼器雙方之收發型終端裝置以 二考慮僅具編㈣之發送終端裝置 、僅具解碼器 接收"端裝置之3種安裝形式。 攻貫施形態所示之動態影像編碼方法或 動態影像解碼方法, ^ 利用於上述任一機器及系統,藉由如 此可獲得上述實施形態所說明的效果。 t發明不限定於上述實施形態,在不脫離本發明 的範圍内’可完成各種變形或修正。 (實施形態3) &上述各實施形態所示之動態影像編碼方法及裝置、動 心景/像解碼方法及裝置在典型上係由積體電路_lsi實現。 作為例,於第40圖表示被單晶片化之LSIex5〇〇之構成。 LSIex500具備以下所說明的要素ex501 〜ex509,各要素經 由匯流排ex510連接。電源電路部ex5〇5係於電源為開啟狀 態時,對於各部供給電力,藉此啟動為可動作的狀態。 例如於進行編碼處理時,LSIex5〇〇係根據具有 CPUex502 '記憶體控制器ex5〇3及串流控制器ex5〇4等之控 制部ex501之控制,藉由AV I/Oex509,從微音器exll7及相 機exll3等受理AV訊號之輸入。所輸入的AV訊號暫且儲存 於SDRAM等外部之記憶體ex511。根據控制部ex501之控 制,所積存的資料係因應處理量及處理速度而適當分成複 數次等,並送至訊號處理部ex507。訊號處理部ex507進行 聲音訊號之編碼及/或影像訊號之編碼。在此,影像訊號之 101 201119412 編碼處理係上述實施形態所說明的編碼處理。於訊號處理 部ex507進一步視情況,進行將已編碼的聲音資料及已編碼 的影像資料予以多工等處理,並從串流I/〇ex5〇6輸出至外 部。該輸出的位元串流係向基地台exl〇7傳送,或寫入於記 錄媒體ex215。再者,進行多工時為了同步,亦可暫且於緩 衝器ex508積存資料。 又’例如於進行解碼處理時,LSIex500係根據控制部 ex501之控制’暫且於記憶體ex5n等,積存藉由串流 I/Oex506並經由基地台exl〇7所獲得的編碼資料、或從記錄 媒體ex215讀出而獲得的編碼資料。根據控制部ex5〇1之控 制’所積存的資料係因應處理量及處理速度,適宜地分成 複數次等而送至訊號處理部ex5〇7。訊號處理部ex5〇7係進 行聲音資料之解碼及/或影像資料之解碼。在此’影像訊號 之解碼處理係上述實施形態所說明的解碼處理。進而言 之’為了可依情況,同步再生已解碼的聲音訊號及已解碼 的影像訊號’暫且將各訊號積存於緩衝器ex5〇8等即可。已 解碼的輸出訊號係適宜地經由記憶體ex511等而從行動電 話exiu、遊戲機exii5及電視ex300等之各輸出部輸出。 再者,上述說明記憶體ex511作為LSIex500之外部構 成’但其為含於LSIex500内部之構成亦可。緩衝器ex508亦 不限於1個,具備複數個緩衝器亦可。又,LSIex500被單晶 片化或複數晶片化均可。 再者,在此雖採用LSI,但依積體度的差異,有時亦稱 呼為1C、系統LSI、超級LSI、超大型LSI。 102 201119412 又’積體電路化之手法不限於LSI,以專用電路或泛用 處理器來實現'料。彻在Lsm造後可程式化之FPGA, 或可再構成LSI内部之電路單元之連接及設定之可重組態 處理器亦可。 進而δ之,若因半導體技術的進步或衍生的其他技 術’取代LSI之積體電路化技術出現的話,當然亦可利用該 技術進行魏㈣之频化。作為可祕而言,也許會有 生物技術的應用等。 以上根據實施形態,說明本發明之動態影像編碼方 法、動態影像編碼裝置、動態影像解碼方法及動態影像解 碼裝置,但本發明不限定於該等實施形態。只要不脫離本 發明旨趣’將同業者所想到的各種變形施行於該當實施形 態之形態、及組合不同實施形態之構成要素及步驟等而建 構之別的形態,亦包含於本發明的範圍内。 與根據H.264/AVC之動態影像編碼系統相關聯而概要 說明上述例之大半部分。用語主要係與H 2 64/ AV c之用語相 關聯。然而,對於根據H.264/AVC之編碼之各種實施形態之 用語及描述,並非意圖將本發明之原理及想法限定在該系 統。關於遵循H.264/AVC標準規格之編碼及解碼之詳細說 明,係思圖加深關於在此所說明的例示性實施形態之理 解,不應理解成本發明限定在說明動態影像編碼之過程及 功能之特疋貫施形態。另,在此所提案的改良對策當可容 易應用於動態影像編碼。進而言之,本發明的概念亦可容 易利用於現在正由JVT所商議中之H.264/AVC之延伸編碼。 103 201119412 歸納來說’於本發明之動態影像訊號之解碼,根據從 編碼器側所提供的濾波器資料,對於預測訊號'預測誤差 讯戚及重構動態影像訊號中之至少2個訊號,各個予以濾 皮於本發明之動態影像訊號之編碼’利用預測訊號、預 測决差訊號及重構動態影像《巾之前述至少2個訊號間 之統4性依存關係,編碼濾波器資料。 產業之可利用性 本發明之動態影像編碼方法及動態影像解碼方法係發 揮可抑制編碼效率降低,令所解碼的動態影像之畫 的效果 "Γ * π 適用於例如攝影機、行動電話或個人電腦等。 【圖式簡單說明】 第1圖係表示以往遵循H.264/MPEG-4 AVC之動態影傯 編碼裴置之方塊圖。 " 第2圖係表示 器處理之概略圖。 2個區塊間之垂直交界線之去區塊化濾波 第3圖係表不以往遵循H.264/MPEG-4 AVC之動態影俊 解碼裝置之方塊0。 像 第4圖係表示具備維納渡波器之傳送系統之概略圖。 第5圖係本發明之實施形態之動態影像編碼裝置之方 七田ί&Ι ^ 第6Α圖係表 流程圖。 第6Β圖係表 作之流程圖。 不同上之動態影像編碼裝置之處理動作之 不同上之濾波器資料之編碼之詳細處理動 104 201119412 第7圖係同上之動態影像解碼裝置之方塊圖。 第8 A圖係表示同上之動態影像解碼裝置之處理動作之 流程圖。 第8 B圖係表示同上之編碼濾波器資料之解碼之詳細處 理動作之流程圖。 第9圖係於同上之頻率區域内進行濾波器設計之動態 影像編碼裝置之方塊圖。 第10圖係於同上之頻率區域内進行濾波之動態影像解 碼裝置之方塊圖。 第11A圖係表示對應於同上之編碼動態影像訊號(位元 串流)之片段或訊框之部分之構成之一例之圖。 第11B圖係表示同上之編碼動態影像訊號(位元串流) 之一部分之構成之其他例之圖。 第11C圖係表示同上之編碼動態影像訊號(位元串流) 之一部分之構成之其他例之圖。 第12A圖係表示同上之序列標頭之語法之圖。 第12B圖係表示同上之訊框之語法之圖。 第13A圖係表示同上之解碼後置濾波器 (c)(decode_post_filter(c))之語法之圖。 第13 B圖係表示同上之解碼後置濾波器(c)之其他語法 之圖。 第14圖係表示同上之濾波器提示類型 [c](filter_hint_type[c])之值與濾波器提示之種類之關係之 圖。 105 201119412 第15圖係表示同上之濾波器精確度 [c](filter_precision[c])與維納濾波器精確产 [c](Wiener_Filter_Precision[c])之對應關係之圖。 第16圖係表示分派給同上之濾波器精確度[c ](維納淚 波器精確度[c])之一元碼之圖。 u 第17圖係表示分派給同上之濾波器精確度[c ](維納濾 波器精確度[c])之哥倫布碼之一例之圖。 第18圖係表示分派給同上之攄波器精確度[c](維納據 波器精確度[c])之哥倫布碼之其他例之圖。 第19圖係表示分派給同上之渡波器精確度⑷(維納请 波器精確度[c])之固定長度碼之圖。 〜 第2 0 A圖係表示對於同上之重構動態影像訊號之據 器係數之算出式之圖。 w灰 第2 0 B圖係表示對於同上之預測訊號之濾波器係數 算出式之圖。 ' ( 第20C圖係表示對於同上之量化預測誤差訊號之液 器係數之算出式之圖。 〜灰 第21圖係表示同上之解碼動態影像訊號之算出式之 圖 第22A圖係表示同上之標準化及裁剪之算出式之圖 第22B圖係表示同上之標準化及裁剪之其他算出弋之 第2 3 A圖係表示對於同上之預測訊號之中心位 波器係數之算出式之圖 置之濾 106 201119412 第23B圖係表示對於同上之預測訊 號之中心位置以外 之渡波器係數之算出式之圖。 第2 3 C圖係表示對於同上之量化預測誤差訊號之濾波 器係數之算出式之圖。 第24A圖係表示對於同上之重構動態影像訊號之濾波 器係數之算出式之圖。 第24B圖係表示對於同上之預測訊號之濾波器係數之 算出式之圖。 第24C圖係表示對於同上之量化預測誤差訊號之濾波 器係數之算出式之圖。 第25圖係表示同上之水平濾波之圖。 第26圖係表示對於同上之水平濾波完畢訊號之標準化 及裁剪之算出式之圖。 第27圖係表示同上之垂直濾波之圖。 第28圖係表示對於同上之水平及垂直濾波完畢訊號之 標準化及裁剪之算出式之圖。 第29A圖係表示對應於同上之重構動態影像訊號之交 互相關矩陣之元件之算出式之圖。 第2 9 B圖係表示對應於同上之預測訊號之交互相關矩 陣之元件之算出式之圖。 第29C圖係表示對應於同上之量化預測誤差訊號之交 互相關矩陣之元件之算出式之圖。 第30A圖係表示對應於同上之重構動態影像訊號之水 平交互相關向量之元件之算出式之圖。 107 201119412 第30B圖係表示對應於同上之重構動態影像訊號之垂 直交互相關向量之元件之算出式之圖。 第30C圖係表示對應於同上之預測訊號之水平交互相 關向量之元件之算出式之圖。 第3 0 D圖係表示對應於同上之預測訊號之垂直交互相 關向量之元件之算出式之圖。 第3 0 E圖係表示對應於同上之量化預測誤差訊號之水 平交互相關向量之元件之算出式之圖。 第3 0 F圖係表示對應於同上之量化預測誤差訊號之垂 直交互相關向量之元件之算出式之圖。 第31圖係表示鄰接於同上之編碼/解碼之對象區塊之 周邊區塊之圖。 第32圖係表示同上之系統之圖。 第33圖係表示實現内容配送服務之内容供給系統之全 體構成之一例之模式圖。 第34圖係表示行動電話之外觀之圖。 第35圖係表示行動電話之構成例之方塊圖。 第36圖係表示數位播放用系統之全體構成之一例之模 式圖。 第37圖係表示電視之構成例之方塊圖。 第3 8圖係表示於記錄媒體-光碟進行資訊讀寫之資訊 再生記錄部之構成例之方塊圖。 第39圖係表示記錄媒體-光碟之構造例之圖。 第40圖係表示實現各實施形態之圖像編碼方法及圖像 108 201119412 解碼方法之積體電路之構成例之方塊圖 【主要元件符號說明】 105.. .減算器 110…轉換/量化部 120.. .反量彳b/反轉換部 125.. .加算器 130.. .去區塊化濾波器 140.. .記憶體 150.. .内插濾波器 160.. .移動補償預測部 170.. .晝面内預測部 175.. .框内/框間切換器 500.. .動態影像編碼裝置 540.. .後置濾波器言支計部 590…熵編碼部 220.. .反量彳b/反轉換部 225.. .加算器 230.. .去區塊化濾波器 240.. .記憶體 250.. .内插濾波器 260.. .移動補償預測部 270.. .晝面内預測部 275.. .框内/框間切換器 600…動態影像解碼裝置 640.. .後置遽波裔 690…熵解碼部 700…動態影像編碼裝置 730.. .頻率區域後置濾波器設計部 800…動態影像解碼裝置 840.. .頻率區域後置濾波器 109
Claims (1)
- 201119412 七、申請專利範園: 1·種動態影像編碼方法,係編碼至少包含丨個圖片之動 態影像訊號者; 且藉由空間性或時間性地預測前述動態影像訊號 而生成預測訊號; 算出前述動態影像訊號與前述預測訊號之差分作 為預測誤差訊號; 藉由根據前述預測訊號及前述預測誤差訊號重構 月1j述動態影像訊號而生成重構動態影像訊號; 對於前述預測訊號、前述預測誤差訊號及前述重構 動態影像訊號中之至少2個訊號之各者,決定用以將該 訊號予以濾波之濾波器資料; 根據已決定的前述濾波器資料間之交互相關來編 碼已決定的前述濾波器資料。 2. 如申請專利範圍第1項之動態影像編碼方法其中 於編碼前述濾波器資料時, 藉由從已決定的至少2個濾波器資料中之第丨濾波 器資料’預測前述第1濾波器資料以外之第2濾波器資 料’來特定出前述第2濾波器資料之預測資料, 藉由算出前述第2濾波器資料與前述預測資料之差 分來編碼前述第2濾波器資料。 3. 如申請專利範圍第2項之動態影像編碼方法,其中 於決定前述濾波器資料時, 決定對於前述重構動態影像訊號之前述第1濾波器 110 201119412 資料、及對於前述預測訊號之前述第2濾波器資料; 於編碼前述濾波器資料時, 藉由從對於前述重構動態影像訊號之前述第1濾波 器資料,預測對於前述預測訊號之前述第2濾波器資 料,來特定出前述第2濾波器資料之預測資料, 藉由算出對於前述預測訊號之前述第2濾波器資料 與前述預測資料之差分,來編碼對於前述預測訊號之前 述第2濾波器資料。 4. 如申請專利範圍第3項之動態影像編碼方法,其中 於特定出前述預測資料時, 特定出對於前述重構動態影像訊號之前述第1濾波 器資料作為前述預測資料。 5. 如申請專利範圍第1至4項中任一項之動態影像編碼方 法,其中 於編碼前述濾波器資料時, 量化前述濾波器資料, 編碼表示前述量化之精確度之精確度資訊。 6. 如申請專利範圍第5項之動態影像編碼方法,其中 於編碼前述精確度資訊時, 編碼前述精確度資訊,使前述精確度資訊所示之精 確度越低,則越短之碼字會分派到該精確度資訊。 7. 如申請專利範圍第1至6項中任一項之動態影像編碼方 法,其中 於決定前述濾波器資料時, 111 201119412 在對於前述預測訊號、前述預測誤差訊號及前述重 構動態影像訊號中之至少2個訊號之各者,適用前述濾 波器資料的情況下,決定前述濾波器資料,而獲得圖像 為較前述2個訊號所示圖像更接近前述動態影像訊號所 示圖像者。 8·如申請專利範圍第1至7項中任一項之動態影像編碼方 法’其中 於決定前述濾波器資料時, 依每個色彩成分決定前述各個濾波器資料; 於編碼前述濾波器資料時, 作為前述色彩成分包括有第1色彩成分及第2色彩 成分的情況下,根據前述第1色彩成分之前述濾波器資 料、與前述第2色彩成分之濾波器資料之間之交互相 關’來編碼别述第1色彩成分之前述遽波器資料。 9.如申請專利範圍第1至8項中任一項之動態影像編碼方 法,其中 前述濾波器資料包含: 表示偏移值、濾波器係數之尺寸、前述濾波器係數 之量化精確度及前述濾波器係數之編碼類別中之至少 一者之資訊。 1〇·如申請專利範圍第1至9項中任一項之動態影像編碼方 法,其中 前述動態影像編碼方法, 係進一步根據前述預測誤差訊號,生成編碼動態影 112 201119412 像訊號以作為位元串流, 並將已編碼之前述濾波器資料包含於前述位元串 流中, 且於前述位元串流中包含已編碼之前述濾波器資 料時, 於前述位元串流内,在利用前述濾、波器資料之渡波 所應用的圖像訊號前,配置已編碼之前述濾波器資料。 11. 如申請專利範圍第1項之動態影像編碼方法,其中 前述動態影像編碼方法, 係進一步藉由將前述預測誤差訊號予以量化及反 量化,來生成量化預測誤差訊號, 且於決定前述濾波器資料時, 根據前述動態影像訊號,對於前述預測訊號、前述 量化預測誤差訊號及前述重構動態影像訊號中之至少2 個訊號之各者,決定前述濾波器資料。 12. 如申請專利範圍第11項之動態影像編碼方法,其中 於決定前述滤-波益貧料時’ 對於前述預測訊號、前述量化預測誤差訊號及前述 重構動態影像訊號中之各者,決定濾波器資料; 於編碼前述濾波器資料時, 編碼已決定的3個濾波器資料。 13. 如申請專利範圍第1至12項中任一項之動態影像編碼方 法,其中 於決定前述渡波Is資料時’ 113 201119412 對於前述至少2個訊號之各者,選擇濾波器係數之 尺寸,並決定用以特定出所選擇的尺寸之語法元件及包 含前述濾波器係數之前述濾波器資料。 14. 一種動態影像解碼方法,係解碼至少包含1個圖片之動 態影像訊號受到編碼之編碼動態影像訊號者; 且從前述編碼動態影像訊號生成預測誤差訊號; 藉由空間性或時間性地預測前述動態影像訊號而 生成預測訊號; 藉由根據前述預測訊號及前述預測誤差訊號重構 前述動態影像訊號而生成重構動態影像訊號; 對於前述預測訊號、前述預測誤差訊號及前述重構 動態影像訊號中之至少2個訊號之各者,取得已決定之 遽波益資料受到編碼之編碼渡波裔資料, 根據前述濾波器資料間之交互相關,來解碼對於前 述至少2個訊號之各者之前述編碼濾波器資料,藉此生 成渡波裔資料, 對於前述至少2個訊號之各者,進行利用已生成之 前述渡波器資料之渡波。 15. 如申請專利範圍第14項之動態影像解碼方法,其中 於生成前述濾波器資料時, 藉由從至少2個編碼濾波器資料中之第1編碼濾波 器資料,預測前述第1編碼濾波器資料以外之第2編碼濾 波器資料受到解碼之第2濾波器資料,來特定出前述第2 濾波器資料之預測資料, 114 201119412 藉由於前述第2編碼濾波器資料加算前述預測資 料,解碼前述第2編碼濾波器資料,藉由前述解碼生成 前述第2濾波器資料。 16. 如申請專利範圍第15項之動態影像解碼方法,其中 於取得前述編碼濾波器資料時, 取得對於前述重構動態影像訊號之前述第1編碼漉 波器資料、及對於前述預測訊號之前述第2編碼濾波器 資料, 且於生成前述濾波器資料時, 藉由從對於前述重構動態影像訊號之前述第1編碼 濾波器資料,預測對於前述預測訊號之前述第2濾波器 資料,來特定出前述第2濾波器資料之預測資料, 藉由於對於前述預測訊號之前述第2編碼濾波器資 料,加算前述預測資料,來解碼對於前述預測訊號之前 述第2編碼濾波器資料,藉由前述解碼生成為前述第2濾 波器資料。 17. 如申請專利範圍第14至16項中任一項之動態影像解碼 方法,其中 於生成前述濾波器資料時, 藉由解碼表示量化精確度之編碼精確度資訊而取 得精確度資訊, 對於前述編碼濾波器,進行按照前述精確度資訊所 示精確度之反量化。 18. 如申請專利範圍第14至17項中任一項之動態影像解碼 115 201119412 方法,其中 前述濾波器資料包含: 表示偏移值、濾波器係數之尺寸、前述濾波器係數 之量化精確度及前述濾波器係數之編碼類別中之至少 一者之資訊。 19. 一種動態影像編碼裝置,係編碼至少包含1個圖片之動 態影像訊號者;且具備: 預測部,係藉由空間性或時間性地預測前述動態影 像訊號而生成預測訊號者; 減算部,係算出前述動態影像訊號與前述預測訊號 之差分作為預測誤差訊號者; 重構部,係藉由根據前述預測訊號及前述預測誤差 訊號重構前述動態影像訊號而生成重構動態影像訊號 者; 決定部,係對於前述預測訊號、前述預測誤差訊號 及前述重構動態影像訊號中之至少2個訊號之各者,決 定用以將該訊號予以濾波之濾波器資料者;及 編碼部,係根據已決定的前述濾波器資料間之交互 相關來編碼已決定的前述遽波益貧料者。 20. —種動態影像解碼裝置,係解碼至少包含1個圖片之動 態影像訊號受到編碼之編碼動態影像訊號者,且具備: 預測誤差訊號生成部,係從前述編碼動態影像訊號 生成預測誤差訊號者; 預測部,係藉由空間性或時間性地預測前述動態影 116 201119412 像訊號而生成預測訊號者; 重構π ’係藉&根據前述則彳訊號及前述預測誤差 訊號重構前述動態影像訊號而生成重構動態影像訊號 者; 取得部’係對於前述_訊號、前劇測誤差訊號 及前述重構動態影像訊號中之至少2個訊號之各者,取 得已決定之遽波器資料受到編碼之編韻波器資料者; 濾波器資料解碼部,係根據前述濾波器資料間之交 互相關’來解瑪對於前述至少2個訊號之各者之前述編 碼遽波器資料,藉此生成濾波器資料者;及 濾波器’係對於前述至少2個訊號之各者,進行利 用已生成之前述濾波器資料之濾波者。 117
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP09005012A EP2237557A1 (en) | 2009-04-03 | 2009-04-03 | Coding for filter coefficients |
EP09165804A EP2237558A1 (en) | 2009-04-03 | 2009-07-17 | Coding for filter coefficients |
Publications (1)
Publication Number | Publication Date |
---|---|
TW201119412A true TW201119412A (en) | 2011-06-01 |
Family
ID=40937559
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW099110341A TW201119412A (en) | 2009-04-03 | 2010-04-02 | Moving image encoding method, moving image decoding method, moving image encoding device, and moving image decoding device |
Country Status (11)
Country | Link |
---|---|
US (1) | US9232236B2 (zh) |
EP (3) | EP2237557A1 (zh) |
JP (1) | JP5485983B2 (zh) |
KR (1) | KR20120003863A (zh) |
CN (1) | CN102365868A (zh) |
AU (1) | AU2010230952A1 (zh) |
CA (1) | CA2756100A1 (zh) |
MX (1) | MX2011010116A (zh) |
MY (1) | MY156357A (zh) |
TW (1) | TW201119412A (zh) |
WO (1) | WO2010113524A1 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI586153B (zh) * | 2011-12-16 | 2017-06-01 | Jvc Kenwood Corp | A moving picture decoding apparatus, a motion picture decoding method, and a recording medium storing a motion picture decoding program |
TWI586146B (zh) * | 2011-06-20 | 2017-06-01 | Jvc Kenwood Corp | An image decoding apparatus, an image decoding method, and a recording medium |
TWI600315B (zh) * | 2011-12-28 | 2017-09-21 | Jvc Kenwood Corp | 動態影像解碼裝置、動態影像解碼方法及記錄有動態影像解碼程式的記錄媒體 |
Families Citing this family (59)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1944974A1 (en) * | 2007-01-09 | 2008-07-16 | Matsushita Electric Industrial Co., Ltd. | Position dependent post-filter hints |
KR101517768B1 (ko) * | 2008-07-02 | 2015-05-06 | 삼성전자주식회사 | 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치 |
US9485299B2 (en) * | 2009-03-09 | 2016-11-01 | Arris Canada, Inc. | Progressive download gateway |
US8566393B2 (en) * | 2009-08-10 | 2013-10-22 | Seawell Networks Inc. | Methods and systems for scalable video chunking |
WO2011083666A1 (ja) * | 2010-01-08 | 2011-07-14 | シャープ株式会社 | 符号化装置、復号装置、および、データ構造 |
RU2541864C2 (ru) * | 2010-04-13 | 2015-02-20 | Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. | Аудио или видео кодер, аудио или видео и относящиеся к ним способы для обработки многоканальных аудио или видеосигналов с использованием переменного направления предсказания |
US9020043B2 (en) | 2010-05-10 | 2015-04-28 | Google Inc. | Pathway indexing in flexible partitioning |
US11284081B2 (en) | 2010-11-25 | 2022-03-22 | Lg Electronics Inc. | Method for signaling image information, and method for decoding image information using same |
PL4319166T3 (pl) | 2010-11-25 | 2025-02-24 | Lg Electronics Inc. | Sposób predykcji międzyramkowej, sposób kodowania obrazu i czytelny dla komputera nośnik pamięci |
JP2014099672A (ja) * | 2011-03-09 | 2014-05-29 | Sharp Corp | 復号装置、符号化装置、および、データ構造 |
WO2012134046A2 (ko) * | 2011-04-01 | 2012-10-04 | 주식회사 아이벡스피티홀딩스 | 동영상의 부호화 방법 |
US8891627B1 (en) | 2011-04-18 | 2014-11-18 | Google Inc. | System and method for coding video using color segmentation |
KR20120118782A (ko) * | 2011-04-19 | 2012-10-29 | 삼성전자주식회사 | 적응적 필터링을 이용한 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치 |
WO2012144876A2 (ko) * | 2011-04-21 | 2012-10-26 | 한양대학교 산학협력단 | 인루프 필터링을 적용한 예측 방법을 이용한 영상 부호화/복호화 방법 및 장치 |
US9008170B2 (en) | 2011-05-10 | 2015-04-14 | Qualcomm Incorporated | Offset type and coefficients signaling method for sample adaptive offset |
US20140146891A1 (en) * | 2011-06-10 | 2014-05-29 | Mediatek Inc. | Method and Apparatus of Scalable Video Coding |
CA2837827C (en) * | 2011-06-27 | 2019-01-15 | Panasonic Corporation | Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding-decoding apparatus |
US9948938B2 (en) | 2011-07-21 | 2018-04-17 | Texas Instruments Incorporated | Methods and systems for chroma residual data prediction |
US20130083844A1 (en) * | 2011-09-30 | 2013-04-04 | In Suk Chong | Coefficient coding for sample adaptive offset and adaptive loop filter |
US9807403B2 (en) * | 2011-10-21 | 2017-10-31 | Qualcomm Incorporated | Adaptive loop filtering for chroma components |
GB201119206D0 (en) * | 2011-11-07 | 2011-12-21 | Canon Kk | Method and device for providing compensation offsets for a set of reconstructed samples of an image |
KR20130050149A (ko) * | 2011-11-07 | 2013-05-15 | 오수미 | 인터 모드에서의 예측 블록 생성 방법 |
US9185405B2 (en) * | 2012-03-23 | 2015-11-10 | Qualcomm Incorporated | Coded block flag inference in video coding |
US9451258B2 (en) | 2012-04-03 | 2016-09-20 | Qualcomm Incorporated | Chroma slice-level QP offset and deblocking |
GB2501535A (en) | 2012-04-26 | 2013-10-30 | Sony Corp | Chrominance Processing in High Efficiency Video Codecs |
KR102212821B1 (ko) | 2012-05-25 | 2021-02-08 | 벨로스 미디어 인터내셔널 리미티드 | 화상 부호화 방법, 화상 부호화 장치, 화상 복호 방법, 화상 복호 장치 및 화상 부호화 복호 장치 |
WO2013175736A1 (ja) | 2012-05-25 | 2013-11-28 | パナソニック株式会社 | 動画像符号化方法、動画像符号化装置、動画像復号方法、動画像復号装置、および、動画像符号化復号装置 |
EP4149113A1 (en) | 2012-05-25 | 2023-03-15 | Sun Patent Trust | Moving picture coding method, moving picture decoding method, moving picture coding apparatus, moving picture decoding apparatus, and moving picture coding and decoding apparatus |
BR122023000800B1 (pt) | 2012-06-04 | 2023-09-26 | Sun Patent Trust | Método e aparelho de codificação de imagem em movimento, e método e aparelho de decodificação de imagem em movimento |
US20130336386A1 (en) * | 2012-06-18 | 2013-12-19 | Qualcomm Incorporated | Sample adaptive offset (sao) coding |
TWI618404B (zh) * | 2012-06-27 | 2018-03-11 | Sony Corp | Image processing device and method |
US10333547B2 (en) | 2012-08-13 | 2019-06-25 | Gurologic Microsystems Oy | Encoder and method for encoding input data using a plurality of different transformations or combinations of transformations |
US9258389B2 (en) * | 2012-08-13 | 2016-02-09 | Gurulogic Microsystems Oy | Encoder and method |
GB2503295B (en) * | 2012-08-13 | 2014-08-06 | Gurulogic Microsystems Oy | Encoder and method |
PL4221217T3 (pl) | 2012-09-26 | 2024-11-25 | Sun Patent Trust | Sposób dekodowania obrazów i aparat dekodujący obrazy |
KR102573801B1 (ko) * | 2013-04-08 | 2023-09-07 | 지이 비디오 컴프레션, 엘엘씨 | 성분-간 예측 |
US9609336B2 (en) * | 2013-04-16 | 2017-03-28 | Fastvdo Llc | Adaptive coding, transmission and efficient display of multimedia (acted) |
EP3078023B1 (en) | 2013-12-02 | 2019-12-25 | Dolby International AB | Method for bitrate signaling and bitstream format enabling such method |
WO2015085449A1 (en) | 2013-12-13 | 2015-06-18 | Qualcomm Incorporated | Signaling of simplified depth coding (sdc) for depth intra-and inter – prediction modes in 3d video coding |
JP6730191B2 (ja) * | 2013-12-22 | 2020-07-29 | エルジー エレクトロニクス インコーポレイティド | 予測された信号と変換コーディングされた信号とを用いたビデオ信号の予測方法及び装置 |
JP6198965B2 (ja) | 2014-02-14 | 2017-09-20 | フィリップス ライティング ホールディング ビー ヴィ | 符号化光 |
US9589363B2 (en) * | 2014-03-25 | 2017-03-07 | Intel Corporation | Object tracking in encoded video streams |
US9392272B1 (en) | 2014-06-02 | 2016-07-12 | Google Inc. | Video coding using adaptive source variance based partitioning |
US9578324B1 (en) | 2014-06-27 | 2017-02-21 | Google Inc. | Video coding using statistical-based spatially differentiated partitioning |
US10051279B2 (en) * | 2014-07-01 | 2018-08-14 | Samsung Display Co., Ltd. | High quality display system combining compressed frame buffer and temporal compensation technique |
US10505826B2 (en) * | 2014-09-26 | 2019-12-10 | Oracle International Corporation | Statistical pattern correlation of events in cloud deployments using codebook approach |
US10080028B2 (en) * | 2014-11-26 | 2018-09-18 | Samsung Display Co., Ltd. | System and method of compensating for image compression errors |
WO2016145243A1 (en) | 2015-03-10 | 2016-09-15 | Apple Inc. | Adaptive chroma downsampling and color space conversion techniques |
US20170244981A1 (en) | 2016-02-24 | 2017-08-24 | Mediatek Inc. | Reconfigurable interpolation filter and associated interpolation filtering method |
WO2017191749A1 (ja) | 2016-05-02 | 2017-11-09 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
US10652583B2 (en) * | 2016-08-19 | 2020-05-12 | Apple Inc. | Compression of image assets |
CN106162108A (zh) * | 2016-08-29 | 2016-11-23 | 合肥康胜达智能科技有限公司 | 一种视频监控系统 |
BR112019013976A2 (pt) | 2017-01-12 | 2020-03-03 | Sony Corporation | Aparelho e método de processamento de imagem. |
US20180343449A1 (en) * | 2017-05-26 | 2018-11-29 | Ati Technologies Ulc | Application specific filters for high-quality video playback |
US10687083B2 (en) * | 2018-06-06 | 2020-06-16 | Intel Corporation | Loop restoration filtering for super resolution video coding |
CN112368743A (zh) * | 2018-09-11 | 2021-02-12 | 松下电器(美国)知识产权公司 | 三维数据编码方法、三维数据解码方法、三维数据编码装置及三维数据解码装置 |
CN110365583B (zh) * | 2019-07-17 | 2020-05-22 | 南京航空航天大学 | 一种基于桥接域迁移学习的符号预测方法及系统 |
US20250126252A1 (en) * | 2023-10-16 | 2025-04-17 | Tencent America LLC | Ccso with adaptive filter unit size |
CN119067980B (zh) * | 2024-11-06 | 2024-12-27 | 大连环旭智能科技有限公司 | 基于视觉辅助的断路器塑料夹具质量检测方法及系统 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5867602A (en) * | 1994-09-21 | 1999-02-02 | Ricoh Corporation | Reversible wavelet transform and embedded codestream manipulation |
JP4284265B2 (ja) * | 2004-11-02 | 2009-06-24 | 株式会社東芝 | 動画像符号化装置、動画像符号化方法、動画像復号化装置および動画像復号化方法 |
JP2006211152A (ja) | 2005-01-26 | 2006-08-10 | Hokkaido Univ | 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、画像符号化用プログラム、画像復号用プログラム |
EP1886502A2 (en) * | 2005-04-13 | 2008-02-13 | Universität Hannover | Method and apparatus for enhanced video coding |
WO2007111292A1 (ja) * | 2006-03-27 | 2007-10-04 | Matsushita Electric Industrial Co., Ltd. | 画像符号化装置および画像復号化装置 |
EP1841230A1 (en) * | 2006-03-27 | 2007-10-03 | Matsushita Electric Industrial Co., Ltd. | Adaptive wiener filter for video coding |
WO2008010929A2 (en) * | 2006-07-18 | 2008-01-24 | Thomson Licensing | Methods and apparatus for adaptive reference filtering |
WO2008075247A1 (en) * | 2006-12-18 | 2008-06-26 | Koninklijke Philips Electronics N.V. | Image compression and decompression |
EP2127391A2 (en) * | 2007-01-09 | 2009-12-02 | Nokia Corporation | Adaptive interpolation filters for video coding |
EP2003896A1 (en) * | 2007-06-12 | 2008-12-17 | Panasonic Corporation | Statistical image enhancement |
EP2048886A1 (en) * | 2007-10-11 | 2009-04-15 | Panasonic Corporation | Coding of adaptive interpolation filter coefficients |
US20090154567A1 (en) * | 2007-12-13 | 2009-06-18 | Shaw-Min Lei | In-loop fidelity enhancement for video compression |
US8195001B2 (en) * | 2008-04-09 | 2012-06-05 | Intel Corporation | In-loop adaptive wiener filter for video coding and decoding |
US8548041B2 (en) * | 2008-09-25 | 2013-10-01 | Mediatek Inc. | Adaptive filter |
US20110188571A1 (en) * | 2010-02-04 | 2011-08-04 | Sony Corporation | Recursive adaptive interpolation filters (raif) |
WO2011126759A1 (en) * | 2010-04-09 | 2011-10-13 | Sony Corporation | Optimal separable adaptive loop filter |
-
2009
- 2009-04-03 EP EP09005012A patent/EP2237557A1/en not_active Withdrawn
- 2009-07-17 EP EP09165804A patent/EP2237558A1/en not_active Withdrawn
-
2010
- 2010-02-26 MY MYPI2011004616A patent/MY156357A/en unknown
- 2010-04-02 CA CA2756100A patent/CA2756100A1/en not_active Abandoned
- 2010-04-02 AU AU2010230952A patent/AU2010230952A1/en not_active Abandoned
- 2010-04-02 TW TW099110341A patent/TW201119412A/zh unknown
- 2010-04-02 WO PCT/JP2010/002431 patent/WO2010113524A1/ja active Application Filing
- 2010-04-02 CN CN2010800155106A patent/CN102365868A/zh active Pending
- 2010-04-02 KR KR1020117022065A patent/KR20120003863A/ko not_active Withdrawn
- 2010-04-02 MX MX2011010116A patent/MX2011010116A/es active IP Right Grant
- 2010-04-02 US US13/260,642 patent/US9232236B2/en active Active
- 2010-04-02 EP EP10758303A patent/EP2416575A1/en not_active Withdrawn
- 2010-04-02 JP JP2011507043A patent/JP5485983B2/ja active Active
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI586146B (zh) * | 2011-06-20 | 2017-06-01 | Jvc Kenwood Corp | An image decoding apparatus, an image decoding method, and a recording medium |
TWI586153B (zh) * | 2011-12-16 | 2017-06-01 | Jvc Kenwood Corp | A moving picture decoding apparatus, a motion picture decoding method, and a recording medium storing a motion picture decoding program |
TWI600315B (zh) * | 2011-12-28 | 2017-09-21 | Jvc Kenwood Corp | 動態影像解碼裝置、動態影像解碼方法及記錄有動態影像解碼程式的記錄媒體 |
TWI684354B (zh) * | 2011-12-28 | 2020-02-01 | 日商Jvc建伍股份有限公司 | 動態影像解碼裝置及動態影像解碼方法 |
TWI720750B (zh) * | 2011-12-28 | 2021-03-01 | 日商Jvc建伍股份有限公司 | 動態影像編碼裝置及動態影像編碼方法 |
Also Published As
Publication number | Publication date |
---|---|
US9232236B2 (en) | 2016-01-05 |
JPWO2010113524A1 (ja) | 2012-10-04 |
JP5485983B2 (ja) | 2014-05-07 |
EP2237558A1 (en) | 2010-10-06 |
AU2010230952A1 (en) | 2011-10-20 |
MY156357A (en) | 2016-02-15 |
EP2416575A1 (en) | 2012-02-08 |
CN102365868A (zh) | 2012-02-29 |
US20120027083A1 (en) | 2012-02-02 |
CA2756100A1 (en) | 2010-10-07 |
MX2011010116A (es) | 2011-10-11 |
KR20120003863A (ko) | 2012-01-11 |
WO2010113524A1 (ja) | 2010-10-07 |
EP2237557A1 (en) | 2010-10-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TW201119412A (en) | Moving image encoding method, moving image decoding method, moving image encoding device, and moving image decoding device | |
US11778229B2 (en) | Conditional signalling of reference picture list modification information | |
KR101106856B1 (ko) | 비디오 인코딩 방법 및 비디오 인코딩 시스템 | |
DK2689582T3 (en) | BI-PREDICTIVE MOVE MODE BASED ON UNI-PREDICTIVE AND BI-PREDICTIVE NEEDS IN VIDEO CODING | |
KR101746251B1 (ko) | 필터 위치 결정 및 선택 | |
WO2010026770A1 (ja) | 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、システム、プログラム、及び集積回路 | |
US9288501B2 (en) | Motion vector predictors (MVPs) for bi-predictive inter mode in video coding | |
WO2010061607A1 (ja) | 動画像復号方法、動画像符号化方法、動画像復号装置、動画像符号化方法、プログラム、及び集積回路 | |
JP5588438B2 (ja) | 画像符号化方法及び画像符号化装置 | |
WO2010001614A1 (ja) | 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、プログラム、及び集積回路 | |
TW201110708A (en) | Image coding method and image decoding method | |
JP2012513727A (ja) | ビデオ符号化における補間フィルタリング、ループ内フィルタリング、およびループ後フィルタリングのための複合スキーム | |
US20120099642A1 (en) | Methods and apparatus for spatially varying residue coding | |
WO2011128055A1 (en) | Efficient storing of picture representation using adaptive non-uniform quantizer | |
CA2830242A1 (en) | Bi-predictive merge mode based on uni-predictive neighbors in video coding |