TW201448572A - 當跳過轉換時用於有損寫碼之內部預測模式 - Google Patents
當跳過轉換時用於有損寫碼之內部預測模式 Download PDFInfo
- Publication number
- TW201448572A TW201448572A TW103111140A TW103111140A TW201448572A TW 201448572 A TW201448572 A TW 201448572A TW 103111140 A TW103111140 A TW 103111140A TW 103111140 A TW103111140 A TW 103111140A TW 201448572 A TW201448572 A TW 201448572A
- Authority
- TW
- Taiwan
- Prior art keywords
- block
- residual
- residual value
- value
- prediction mode
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
- H04N19/467—Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Medicines Containing Antibodies Or Antigens For Use As Internal Diagnostic Agents (AREA)
- Image Processing (AREA)
Abstract
一種視訊寫碼器將一殘餘差分脈碼調變技術應用至使用有損寫碼進行寫碼之一區塊的一殘餘資料。該區塊可在不將一轉換應用至該殘餘資料情況下進行寫碼。
Description
本申請案主張每一者之整個內容以引用之方式併入本文中的以下各者之權利:2013年3月25日申請之美國臨時專利申請案第61/805,094號、2013年4月5日申請之美國臨時專利申請案第61/809,199號、2013年4月5日申請的美國臨時專利申請案第61/809,203號、2013年4月8日申請之美國臨時專利申請案第61/809,811號、2013年4月8日申請之美國臨時專利申請案第61/809,870號、2013年4月9日申請的美國臨時專利申請案第61/810,179號、2013年4月9日申請之美國臨時專利申請案第61/810,218號,及2013年7月5日申請的美國臨時專利申請案第61/843,144號。
本發明係關於視訊寫碼及壓縮。
可將數位視訊能力併入於廣泛範圍之器件中,包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、數位攝影機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲主機、蜂巢式或衛星無線電電話、視訊電話會議器件及其類似者。數位視訊器件實施諸如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分(進階視訊寫碼(AVC))定義之標
準、高效率視訊寫碼(HEVC)標準及此等標準之擴展中描述之彼等技術的視訊壓縮技術來更高效地傳輸、接收並儲存數位視訊資訊。
視訊壓縮技術執行空間(圖像內)預測及/或時間(圖像間)預測,以減少或移除視訊序列中固有之冗餘。對於基於區塊之視訊寫碼,可將視訊截塊分割成視訊區塊,視訊區塊亦可被稱作樹狀結構區塊、寫碼單元(CU)及/或寫碼節點。使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測來編碼圖像之經內部寫碼(I)截塊中的視訊區塊。圖像之中間寫碼(P或B)截塊中之視訊區塊可使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測或相對於其他參考圖像中之參考樣本的時間預測。圖像可被稱作圖框,且參考圖像可被稱作參考圖框。
一般而言,本發明之技術係關於視訊寫碼中的內部預測。如本文中所描述,一種視訊寫碼器將一殘餘差分脈碼調變技術應用至使用有損寫碼進行寫碼之一區塊的一殘餘資料。該區塊可在不將一轉換應用至該殘餘資料情況下進行寫碼。
在一個實例中,本發明描述一種解碼視訊資料之方法,該方法包含:產生殘餘值之一區塊,其中該區塊為一轉換跳過區塊;且其中產生該區塊包含對於0 i (M-1)及0 j (N-1)計算該區塊中針對一殘餘值r i,j 的一經重新建構殘餘值Q(r i,j ),其中M為該區塊之一高度,且N為該區塊的寬度,其中若該區塊使用一垂直內部預測模式來寫碼,則Q(r i,j )定義為,其中Q()指明一經修改殘餘值的一經量化版本,該經修改殘餘值為該殘餘值r i,j 之一經修改版本,且Q(r i-1,j )為該殘餘值r i,j 左側之一行的一殘餘值的一經重新建構殘餘值,且其中若該區塊使用一水平內部預測模式來寫碼,則Q(r i,j )定義為:
,其中Q(r i,j-1)為該殘餘值r i,j 上方之一列的一殘餘值的一經重新建構殘餘值;及對於0 i (M-1)及0 j (N-1),將該經重新建構殘餘值Q(r i,j )加至一預測值以重新建構一樣本值。
在另一實例中,本發明描述一種編碼視訊資料之方法,該方法包含:對於0 i (M-1)及0 j (N-1),其中M為一區塊之一高度,且N為一區塊的寬度,其中該區塊為一轉換跳過區塊;判定一殘餘值r i,j 的一經修改殘餘值,其中若該區塊使用一垂直內部預測模
式來寫碼,則定義為:,其中Q(r (i-1),j )指明該殘餘值r i,j 左側之一行的一殘餘值r i-1,j 的一經重新建構殘餘值,且若該區塊使用一水平內部預測模式來寫碼,則定義
為:,其中Q(r i,(j-1))指明該殘餘值r i,j 上方之一列的一殘餘值r i,j-1的一經重新建構殘餘值;及量化該經修改殘餘值以產生一經量化之經修改殘餘值Q()。
在另一實例中,本發明描述一種視訊解碼裝置,其包含:儲存資料之一記憶體;及一或多個處理器,其經組態以:產生殘餘值之一區塊,其中該區塊為一轉換跳過區塊,且其中為了產生該區塊,一或多個計算器對於0 i (M-1)及0 j (N-1)計算該區塊中針對一殘餘值r i,j 的一經重新建構殘餘值Q(r i,j ),其中M為該區塊之一高度,且N為該區塊的寬度,其中若該區塊使用一垂直內部預測模式來寫碼,則
Q(r i,j )定義為:,其中Q()指明一經修改殘餘值的一經量化版本,該經修改殘餘值為該殘餘值r i,j 之一經修改版本,且Q(r i-1,j )為該殘餘值r i,j 左側之一行的一殘餘值的一經重新建構殘餘值,且其中若該區塊使用一水平內部預測模式
來寫碼,則Q(r i,j )定義為:,其中Q(r i,j-1)為該殘餘值r i,j 上方之一列的一殘餘值的一經重新建構殘餘值;及對於0 i (M-1)及0 j (N-1),將該殘餘值r i,j 加至一預測值以重新建構一樣本值。
在另一實例中,本發明描述一種視訊解碼裝置,其包含:用於產生殘餘值之一區塊的構件,其中該區塊為一轉換跳過區塊;且其中產生該區塊包含對於0 i (M-1)及0 j (N-1)計算該區塊中針對一殘餘值r i,j 的一經重新建構殘餘值Q(r i,j ),其中M為該區塊之一高度,且N為該區塊的寬度,其中若該區塊使用一垂直內部預測模式來
寫碼,則Q(r i,j )定義為:,其中Q()指明一經修改殘餘值的一經量化版本,該經修改殘餘值為該殘餘值r i,j 之一經修改版本,且Q(r i-1,j )為該殘餘值r i,j 左側之一行的一殘餘值的一經重新建構殘餘值,且其中若該區塊使用一水平內部預測模式來寫碼,則Q(r i,j )定義為:
,其中Q(r i,j-1)為該殘餘值r i,j 上方之一列的一殘餘值的一經重新建構殘餘值;及對於0 i (M-1)及0 j (N-1),用於將該殘餘值r i,j 加至一預測值以重新建構一樣本值的構件。
在另一實例中,本發明描述一種視訊編碼裝置,其包含:儲存資料之一記憶體;及一或多個處理器,其經組態使得對於0 i (M-1)及0 j (N-1),其中M為一區塊之一高度,且N為一區塊的寬度,其中該區塊為一轉換跳過區塊,該一或多個處理器:判定一殘餘值r i,j 的一經修改殘餘值,其中若該區塊使用一垂直內部預測模式來寫
碼,則定義為:,其中Q(r (i-1),j )
指明該殘餘值r i,j 左側之一行的一殘餘值r i-1,j 的一經重新建構殘餘值,且若該區塊使用一水平內部預測模式來寫碼,則定義為:
,其中Q(r i,(j-1))指明該殘餘值r i,j 上方之一列的一殘餘值r i,j-1的一經重新建構殘餘值;及量化該經修改殘餘值以產生一經量化之經修改殘餘值Q()。
在另一實例中,本發明描述一種視訊編碼裝置,其包含:對於0 i (M-1)及0 j (N-1),其中M為一區塊之一高度,且N為一區塊的寬度,其中該區塊為一轉換跳過區塊:用於判定一殘餘值r i,j 之一經修改殘餘值的構件,其中若該區塊使用一垂直內部預測模式來寫
碼,則定義為:,其中Q(r (i-1),j )指明該殘餘值r i,j 左側之一行的一殘餘值r i-1,j 的一經重新建構殘餘值,且若該區塊使用一水平內部預測模式來寫碼,則定義為:
,其中Q(r i,(j-1))指明該殘餘值r i,j 上方之一列的一殘餘值r i,j-1的一經重新建構殘餘值;及用於量化該經修改殘餘值以產生一經量化之經修改殘餘值Q()的構件。
在另一實例中,本發明描述一種儲存有指令的電腦可讀資料儲存媒體,該等指令在執行時使得一視訊解碼裝置:產生殘餘值之一區塊,其中該區塊為一轉換跳過區塊;且其中產生該區塊包含對於0 i (M-1)及0 j (N-1)計算該區塊中針對一殘餘值r i,j 的一經重新建構殘餘值Q(r i,j ),其中M為該區塊之一高度,且N為該區塊的寬度,其中若該區塊使用一垂直內部預測模式來寫碼,則Q(r i,j )定義為
,其中Q()指明一經修改殘餘值的一經量化版本,該經修改殘餘值為該殘餘值r i,j 之一經修改版本,且Q(r i-1,j )為該殘餘值r i,j 左側之一行的一殘餘值的一經重新建構
殘餘值,且其中若該區塊使用一水平內部預測模式來寫碼,則Q(r i,j )
定義為:,其中Q(r i,j-1)為該殘餘值r i,j 上方之一列的一殘餘值的一經重新建構殘餘值;及對於0 i (M-1)及0 j (N-1),將該經重新建構殘餘值Q(r i,j )加至一預測值以重新建構一樣本值。
在另一實例中,本發明描述一種儲存有指令的電腦可讀資料儲存媒體,該等指令在執行時使得一視訊編碼裝置:對於0 i (M-1)及0 j (N-1),其中M為一區塊之一高度,且N為一區塊的寬度,其中該區塊為一轉換跳過區塊;判定一殘餘值r i,j 的一經修改殘餘值,其中若該區塊使用一垂直內部預測模式來寫碼,則定義為:
,其中Q(r (i-1),j )指明該殘餘值r i,j 左側之一行的一殘餘值r i-1,j 的一經重新建構殘餘值,且若該區塊使用一水平內部預測模式來寫碼,則定義為:
,其中Q(r i,(j-1))指明該殘餘值r i,j 上方之一列的一殘餘值r i,j-1的一經重新建構殘餘值;及量化該經修改殘餘值以產生一經量化之經修改殘餘值Q()。
在隨附圖式及以下描述中闡述了本發明之一或多個實例的細節。其他特徵、目標及優點自描述、圖式及申請專利範圍將係顯而易見。
10‧‧‧實例視訊寫碼系統
12‧‧‧源器件
14‧‧‧目的地器件
16‧‧‧通道
18‧‧‧視訊源
20‧‧‧視訊編碼器
22‧‧‧輸出介面
28‧‧‧輸入介面
30‧‧‧視訊解碼器
32‧‧‧顯示器件
100‧‧‧預測處理單元
102‧‧‧殘餘產生單元
104‧‧‧轉換處理單元
106‧‧‧量化單元
108‧‧‧反量化單元
110‧‧‧反轉換處理單元
112‧‧‧重新建構單元
114‧‧‧濾波單元
116‧‧‧經解碼圖像緩衝器
118‧‧‧熵編碼單元
120‧‧‧中間預測處理單元
122‧‧‧運動估計單元
124‧‧‧運動補償單元
126‧‧‧內部預測處理單元
130‧‧‧元素
132‧‧‧控制信號
134‧‧‧元素
136‧‧‧元素
138‧‧‧元素
150‧‧‧熵解碼單元
152‧‧‧預測處理單元
154‧‧‧反量化單元
156‧‧‧反轉換處理單元
158‧‧‧重新建構單元
160‧‧‧濾波單元
162‧‧‧經解碼圖像緩衝器
164‧‧‧運動補償單元
166‧‧‧內部預測處理單元
170‧‧‧元素
172‧‧‧元素
174‧‧‧元素
200‧‧‧步驟
202‧‧‧步驟
204‧‧‧步驟
250‧‧‧步驟
252‧‧‧步驟
254‧‧‧步驟
350‧‧‧步驟
352‧‧‧步驟
354‧‧‧步驟
356‧‧‧步驟
358‧‧‧步驟
360‧‧‧步驟
362‧‧‧步驟
400‧‧‧步驟
402‧‧‧步驟
406‧‧‧步驟
600‧‧‧步驟
602‧‧‧步驟
604‧‧‧步驟
650‧‧‧步驟
652‧‧‧步驟
654‧‧‧步驟
圖1為說明可利用本發明之技術的實例視訊寫碼系統之方塊圖。
圖2為說明具有大小M(高度)×N(寬度)之區塊的概念圖。
圖3為說明實例內部預測模式方向的概念圖。
圖4為說明可用於視訊寫碼中之預測的例示性樣本的概念圖。
圖5A展示用於近垂直模式之殘餘差分脈碼調變(DPCM)方向。
圖5B展示用於近水平模式的殘餘DPCM方向。
圖6為說明可實施本發明之技術之實例視訊編碼器的方塊圖。
圖7為說明可實施本發明之技術的實例視訊解碼器的方塊圖。
圖8A係根據本發明之一或多項技術的說明視訊編碼器之實例操作的流程圖。
圖8B係根據本發明之一或多項技術的說明視訊編碼器之實例操作的流程圖。
圖9A係根據本發明之一或多項技術的說明視訊解碼器之實例操作的流程圖。
圖9B係根據本發明之一或多項技術的說明視訊解碼器之實例操作的流程圖。
圖10A係根據本發明之一或多項技術的說明用於符號資料隱藏之實例視訊編碼器操作的流程圖。
圖10B係根據本發明之一或多項技術的說明用於符號資料隱藏之實例視訊解碼器操作的流程圖。
一般而言,本發明描述用於在高效率視訊寫碼(HEVC)及其他視訊寫碼標準中改善內部預測的技術。內部預測為基於當前圖像中之樣本值產生當前圖像之視訊區塊之預測性區塊的程序。因此,當使用內部預測編碼當前圖像的視訊區塊時,視訊編碼器並不使用來自其他圖像的樣本值來產生視訊區塊的預測性區塊或以其他方式識別預測性區塊。
在產生預測性區塊之後,視訊編碼器可使用預測性區塊來判定殘餘樣本區塊(亦即,殘餘區塊)。殘餘區塊中的殘餘樣本可指示預測性區塊中之樣本與視訊區塊之對應原始樣本之間的差。視訊編碼器可藉由將轉換應用至殘餘區塊來產生轉換係數區塊。轉換可將殘餘樣本
自像素域變換至轉換域。視訊編碼器可接著將轉換係數區塊中之轉換係數量化以減少轉換係數的位元深度。視訊編碼器可熵編碼表示經量化之轉換係數的語法元素,且將所得熵編碼語法元素包括於位元串流中。
視訊解碼器可執行此程序之反程序。即,視訊解碼器可熵解碼位元串流中之語法元素以判定經量化的轉換係數。視訊解碼器可接著將經量化之轉換係數反量化以判定轉換係數。此外,視訊解碼器可將反轉換應用至轉換係數以判定殘餘區塊。此外,視訊解碼器可判定預測性區塊(例如,使用內部預測)。視訊解碼器可使用預測性區塊中的樣本及殘餘區塊中之對應殘餘樣本以重新建構視訊區塊的樣本。
轉換之應用及量化之使用引起資訊損失。因此,藉由視訊解碼器重新建構之視訊區塊的樣本可能不具有與視訊區塊之原始樣本相同的精度層級。因此,轉換之應用及量化的使用可係一形式的「有損」寫碼。在一些個例中,視訊編碼器可使用無損編碼來編碼視訊區塊。當視訊編碼器使用無損編碼來編碼視訊區塊時,視訊編碼器並不將轉換應用至殘餘樣本且並不量化殘餘樣本。同樣,視訊解碼器並不應用反量化或反轉換。結果,藉由視訊解碼器重新建構之視訊區塊的樣本可能具有與視訊區塊之原始樣本相同的精度層級。
在其他個例中,視訊編碼器可執行視訊編碼器並不將轉換應用至殘餘樣本且但的確量化殘餘樣本的類型之有損寫碼。同樣,視訊解碼器可將反量化應用至殘餘樣本,但不將反轉換應用至殘餘樣本。因為視訊編碼器仍將量化應用至殘餘樣本,所以由視訊編碼器重新建構的樣本相較於原始樣本可具有較低精度,但精度損失可潛在小於轉換已被應用情況下的精度損失。
如上文所指示,視訊寫碼器(例如,視訊編碼器或視訊解碼器)可使用內部預測來產生預測性區塊。更具體而言,視訊寫碼器使用來自
複數個可用內部預測模式的特定內部預測模式來產生預測性區塊。在HEVC及其他視訊寫碼標準中,內部預測模式包括複數個定向內部預測模式、平面內部預測模式及DC內部預測模式。一般而言,當視訊寫碼器使用平面內部預測模式產生預測性區塊時,預測性區塊之樣本可基於線性推演之組合來判定。當視訊寫碼器使用DC內部預測模式產生預測性區塊時,視訊寫碼器可判定DC內部預測值。DC內部預測值可係相鄰於預測性區塊之左側邊緣及頂部邊緣的樣本之平均值。視訊寫碼器可設定預測性區塊中之每一樣本值等於DC內部預測值。
本發明之一些技術在視訊寫碼器使用無損寫碼時提供對DC內部預測模式的改善。在無損寫碼中,視訊編碼器在使用DC內部預測模式來判定預測性區塊中的樣本值時可使用原始樣本值。在有損寫碼中,視訊解碼器在使用DC內部預測模式來判定預測性區塊中的樣本值時不具有對原始樣本值的存取。然而,在無損寫碼中,視訊解碼器在使用DC內部預測以判定預測性區塊中的值時並不具有對經重新建構樣本值的存取。在無損寫碼中,樣本之經重新建構值與樣本之原始值相同。
如本文中所描述,視訊寫碼器可產生預測性區塊。作為產生預測性區塊之部分,視訊寫碼器可將以下兩者中的至少一者用於當前樣本的DC預測:預測性區塊之當前列中當前樣本左側的無損地重新建構的樣本,及預測性區塊的當前列上方之列的無損地重新建構的樣本。此外,在一些個例中,此情形可使得視訊解碼器對預測性區塊中的樣本之判定進行管線作業。
此外,如上文所指示,視訊編碼器可執行使用量化但跳過轉換的形式之有損寫碼,該有損寫碼可被稱作轉換跳過寫碼。根據本發明之一或多項額外技術,視訊編碼器可應用一形式之差分脈碼調變(DPCM)以準備非經轉換但經量化的殘餘樣本用於寫碼。此形式之殘
餘DPCM在本發明中的其他地方予以詳細描述。與對將DPCM用於有損內部寫碼中的其他提議相反,本發明中描述之此形式的殘餘DPCM可增加視訊編碼器及/或視訊解碼器的輸貫量。
如上文所指示,視訊編碼器可熵編碼表示經量化轉換係數的語法元素。在無損寫碼或轉換被跳過時的有損寫碼中,相同語法元素可用以表示殘餘樣本。在HEVC及其他視訊寫碼標準中,表示轉換係數或殘餘樣本的語法元素可包括符號語法元素,該符號語法元素指示轉換係數或殘餘樣本為正抑或負。在一些個例中,可有必要的是包括符號語法元素以指示轉換係數或殘餘樣本為正抑或負。確切而言,指示轉換係數或殘餘樣本為正抑或負的資訊可嵌入於針對轉換係數或殘餘樣本的其他語法元素的值中。將此資訊嵌入於其他語法元素的值中而非發信符號語法元素可被稱作符號資料隱藏。
然而,符號資料隱藏對於使用轉換經跳過針對之有損寫碼進行寫碼的區塊可為困難的,且使用平面內部預測模式、DC內部預測模式(例如,對應於預測性區塊中之樣本的經重新建構樣本用以判定預測性區塊中之預測性樣本的值的DC內部預測模式)或殘餘DPCM。此外,在轉換跳過寫碼中,符號資料隱藏可將誤差引入至在應用殘餘DPCM時複合的殘餘值。此等誤差可傳播至後續殘餘樣本,從而導致效能之降級。因此,根據本發明之一或多項技術,符號資料隱藏對於此等區塊可經規範地禁用,即使一或多個語法元素指示符號資料隱藏對應此等區塊被啟用。
舉例而言,在一些實例中,熵解碼器判定,若當前區塊在不將轉換應用至殘餘資料情況下使用有損寫碼產生且當前區塊使用殘餘DPCM被使用所在之內部預測模式而經內部預測,則針對當前區塊禁用符號資料隱藏。在此等實例中,當針對當前區塊禁用符號資料隱藏時,熵解碼器對於區塊中之每一各別有效值自位元串流獲得各別語法
元素,從而指示各別有效值為正或負。
圖1為說明可利用本發明之技術的實例視訊寫碼系統10之方塊圖。如本文中所描述,術語「視訊寫碼器」一般係指視訊編碼器及視訊解碼器兩者。在本發明中,術語「視訊寫碼」或「寫碼」可一般係指視訊編碼或視訊解碼。
如圖1中所展示,視訊寫碼系統10包括源器件12及目的地器件14。源器件12產生經編碼之視訊資料。因此,源器件12可被稱作視訊編碼器件或視訊編碼裝置。目的地器件14可解碼由源器件12產生之經編碼視訊資料。因此,目的地器件14可被稱作視訊解碼器件或視訊解碼裝置。源器件12及目的地器件14可係視訊寫碼器件或視訊寫碼裝置的實例。
源器件12及目的地器件14可包含廣泛範圍之器件,該等器件包括桌上型電腦、行動計算器件、筆記型(例如,膝上型)電腦、平板型電腦、機上盒、諸如所謂「智慧型」電話的電話手機、電視、攝影機、顯示器件、數位媒體播放器、視訊遊戲主機、車載電腦或其類似者。
目的地器件14可經由通道16自源器件12接收經編碼視訊資料。通道16可包含能夠將經編碼視訊資料自源器件12移動至目的地器件14的一或多個媒體或器件。在一個實例中,通道16可包含能夠使源器件12將經編碼視訊資料即時直接地傳輸至目的地器件14的一或多個通信媒體。在此實例中,源器件12可根據諸如無線通信協定之通信標準調變經編碼視訊資料,且可將經調變之視訊資料傳輸至目的地器件14。一或多個通信媒體可包括無線及/或有線通信媒體,諸如射頻(RF)頻譜或一或多個實體傳輸線。一或多個通信媒體可形成諸如區域網路、廣域網路或全球網路(例如,網際網路)的基於封包之網路的部分。通道16可包括各種類型之器件,諸如路由器、交換器、基地台,或促進
自源器件12至目的地器件14之通信的其他裝備。
在另一實例中,通道16可包括儲存由源器件12產生之經編碼視訊資料的儲存媒體。在此實例中,目的地器件14可(例如)經由磁碟存取或卡存取來存取儲存媒體。儲存媒體可包括多種本端存取之資料儲存媒體,諸如藍光光碟、DVD、CD-ROM、快閃記憶體或用於儲存經編碼視訊資料的其他合適數位儲存媒體。
在其他實例中,通道16可包括檔案伺服器,或儲存由源器件12產生之經編碼視訊資料的另一中間儲存器件。在此實例中,目的地器件14可經由串流傳輸或下載存取儲存於檔案伺服器或其他中間儲存器件處的經編碼視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料且將該經編碼視訊資料傳輸至目的地器件14的一類型之伺服器。實例檔案伺服器包括網頁伺服器(例如,用於網站)、檔案傳送協定(FTP)伺服器、網路附加儲存(NAS)器件、本端磁碟機,及其類似者。
目的地器件14可經由標準資料連接(諸如,網際網路連接)而存取經編碼視訊資料。實例類型之資料連接可包括無線通道(例如,Wi-Fi連接)、有線連接(例如,DSL、纜線數據機等),或兩者之適合於存取儲存於檔案伺服器上之經編碼視訊資料的組合。經編碼視訊資料自檔案伺服器之傳輸可為串流傳輸、下載傳輸,或兩者之組合。
本發明之技術不限於無線應用或設定。技術可應用至支援多種多媒體應用之視訊寫碼,諸如空中電視廣播、有線電視傳輸、衛星電視傳輸、串流視訊傳輸(例如,經由網際網路)、編碼視訊資料以供儲存於資料儲存媒體上、解碼儲存於資料儲存媒體上之視訊資料,或其他應用。在一些實例中,視訊寫碼系統10可經組態以支援單向或雙向視訊傳輸以支援諸如視訊串流傳輸、視訊播放、視訊廣播及/或視訊電話的應用。
在圖1之實例中,源器件12包括視訊源18、視訊編碼器20及輸出
介面22。在一些實例中,輸出介面22可包括調變器/解調變器(數據機)及/或傳輸器。視訊源18可包括(例如)視訊攝影機之視訊捕獲器件、含有先前捕獲之視訊資料的視訊存檔、自視訊內容提供者接收視訊資料的視訊饋入介面,及/或用於產生視訊資料的電腦圖形系統,或此等視訊資料源的組合。
視訊編碼器20可編碼來自視訊源18的視訊資料。在一些實例中,源器件12經由輸出介面22將經編碼視訊資料直接傳輸至目的地器件14。在其他實例中,經編碼視訊資料亦可儲存於儲存媒體上或檔案伺服器上以由目的地器件14稍後存取從而用於解碼及/或播放。
在圖1之實例中,目的地器件14包括輸入介面28、視訊解碼器30及顯示器件32。在一些實例中,輸入介面28包括接收器及/或數據機。輸入介面28可經由通道16接收經編碼視訊資料。顯示器件32可與目的地器件14整合,或可在目的地器件14外部。一般而言,顯示器件32顯示經解碼之視訊資料。顯示器件32可包含多種顯示器件,諸如,液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示器件。
圖1僅係一實例,且本發明之技術可應用至不必包括編碼器件與視訊解碼器件之間的任何資料傳達之視訊寫碼設定(例如,視訊編碼或視訊解碼)。在其他實例中,資料擷取自本端記憶體,經由網路進行串流傳輸,或其類似者。視訊編碼器件可編碼資料並將資料儲存至記憶體,及/或視訊解碼器件可自記憶體擷取資料並解碼該資料。在許多實例中,視訊編碼及解碼由並不彼此通信,而是僅編碼至記憶體之資料及/或自記憶體擷取資料並解碼該資料的器件執行。
視訊編碼器20及視訊解碼器30可各自實施為多種合適電路中之任一者,諸如一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、硬體或其
任何組合。若該等技術部分地以軟體實施,則一器件可將用於軟體之指令儲存於合適的非暫時性電腦可讀儲存媒體中,且可在硬體中使用一或多個處理器來執行該等指令以執行本發明之技術。前述各項(包括硬體、軟體、軟體與硬體之組合等)中之任一者可被視為一或多個處理器。視訊編碼器20及視訊解碼器30中之每一者可包括於一或多個編碼器或解碼器中,其中任一者可整合為各別器件中之組合之編碼器/解碼器(編碼解碼器(CODEC))的部分。
本發明可大體提及「發信」某些資訊的視訊編碼器20。術語「發信」可大體係指用以解碼經壓縮視訊資料之語法元素及/或其他資料的傳達。此傳達可即時或幾乎即時地發生。替代地,此傳達可在一段時間上發生,諸如可能當於編碼時間在經編碼之位元串流中將語法元素儲存至電腦可讀儲存媒體時發生,視訊解碼器件可接著在該等語法元素被儲存至此媒體之後在任何時間進行擷取。
在一些實例中,視訊編碼器20及視訊解碼器30根據諸如高效率視訊寫碼(HEVC)標準之視訊壓縮標準來操作。稱作「HEVC工作草案6」之HEVC標準的草案描述於Bross等人之「High Efficiency Video Coding(HEVC)text specification draft 6」(ITU-T SG16 WP3與ISO/IEC JTC1/SC29/WG11之關於視訊寫碼之聯合協作團隊(JCT-VC),2011年11月瑞士日內瓦第7次會議)中,該標準草案之整個內容以引用之方式併入本文中。自2013年4月5日起,自http://phenix.int-evry.fr/jct/doc_end_user/documents/8_San%20Jose/wg11/JCTVC-H1003-v22.zip可下載HEVC工作草案6。稱作「HEVC工作草案9」之HEVC標準的另一草案描述於Bross等人之「High Efficiency Video Coding(HEVC)text specification draft 9」(ITU-T SG16 WP3與ISO/IEC JTC1/SC29/WG11之關於視訊寫碼之聯合協作團隊(JCT-VC),2012年10月中國上海第11次會議)中,該標準草案之整個內容以
引用之方式併入本文中。自2014年3月24日起,自http://phenix.int-evry.fr/jct/doc_end_user/documents/11_Shanghai/wg11/JCTVC-K1003-v8.zip可下載HEVC工作草案9。稱作「HEVC工作草案10」之HEVC的另一草案描述於Bross等人之「High Efficiency Video Coding(HEVC)text specification draft 10」(對於FDIS與同意書)(ITU-T SG16 WP3與ISO/IEC JTC1/SC29/WG11之關於視訊寫碼之聯合協作團隊(JCT-VC),2013年1月14日至23日日內瓦第12次會議)中,該草案之整個內容以引用之方式併入本文中。自2014年3月24日起,自http://phenix.int-evry.fr/jct/doc_end_user/documents/12_Geneva/wg11/JCTVC-L1003-v20.zip可獲得HEVC工作草案10。然而,本發明之技術不限於任何特定寫碼標準或技術。
此外,範圍擴展規範正針對HEVC進行開發。範圍擴展規範規定交替取樣模式,諸如4:0:0、4:2:0、4:2:2及4:4:4色度取樣。Flynn等人之「High Efficiency Video Coding(HEVC)Range Extensions text specification:Draft 3」(ITU-T SG 16 WP 3及ISO/IEC JTC 1/SC 29/WG 11之關於視訊寫碼之聯合協作團隊(JCT-VC),2013年4月18日至26日韓國仁川第13次會議)(下文中,「JCTVC-M1005_v2」)為用於HEVC之範圍擴展規範的草案。自2014年3月24日起,在http://phenix.int-evry.fr/jct/doc_end_user/documents/13_Incheon/pending/JCTVC-M1005-v2.zip可獲得JCTVC-M1005_v2。JCTVC-M1005_v2之整個內容以引用之方式併入本文中。
如上文簡要提及,視訊編碼器20編碼視訊資料。視訊資料可包含一或多個圖像。圖像中之每一者為形成視訊之部分的靜態影像。當視訊編碼器20編碼視訊資料時,視訊編碼器20可產生位元串流。位元串流可包括形成視訊資料之經寫碼表示的位元序列。位元串流可包括經寫碼圖像及關聯資料。經寫碼圖像為圖像之經寫碼表示。關聯資料
可包括序列參數集(SPS)、圖像參數集(PPS),及其他語法結構。SPS可含有適用於零或多個圖像序列的參數。PPS可含有適用於零或多個圖像的參數。
圖像可包括標明為SL、SCb及SCr的三個樣本陣列。SL係明度樣本之二維陣列(亦即,區塊)。明度樣本本文中亦可被稱作「Y」樣本。SCb係Cb色度樣本之二維陣列。SCr係Cr色度樣本之二維陣列。色度樣本本文中亦可被稱作「色度」樣本。Cb色度樣本本文中亦可被稱作「U樣本」。Cr色度樣本本文中亦可被稱作「V樣本」。
在一些實例中,視訊編碼器20可對圖像之色度陣列(亦即,SCb及SCr)進行降頻取樣。舉例而言,視訊編碼器20可使用YUV 4:2:0視訊格式、YUV 4:2:2視訊格式,或4:4:4視訊格式。在YUV 4:2:0視訊格式中,視訊編碼器20可對色度陣列進行降頻取樣,使得色度陣列高度為明度陣列高度的½且寬度為明度陣列寬度的½。在YUV 4:2:2視訊格式中,視訊編碼器20可對色度陣列進行降頻取樣,使得色度陣列寬度為明度陣列寬度的½且高度與明度陣列高度相同。在YUV 4:4:4視訊格式中,視訊編碼器20並不對色度陣列進行降頻取樣。
為了產生圖像之經編碼表示,視訊編碼器20可產生寫碼樹狀結構單元(CTU)的集合。CTU中之每一者可係明度樣本之寫碼樹狀結構區塊、色度樣本之兩個對應寫碼樹狀結構區塊及用以對寫碼樹狀結構區塊之樣本進行寫碼的語法結構。寫碼樹狀結構區塊可係樣本之N×N區塊。CTU亦可稱作「樹狀結構區塊」或「最大寫碼單元」(LCU)。HEVC之CTU可廣泛地類似於諸如H.264/AVC之其他標準的巨型區塊。然而,CTU不必限於特定大小,且可包括一或多個寫碼單元(CU)。
作為編碼圖像之部分,視訊編碼器20可產生圖像之每一截塊的經編碼表示(亦即,經寫碼截塊)。為了產生經寫碼截塊,視訊編碼器
20可編碼一系列CTU。本發明可係指CTU作為經寫碼CTU的經編碼表示。在一些實例中,截塊中之每一者包括整數數目個經寫碼CTU。
為了產生經寫碼CTU,視訊編碼器20可對CTU之寫碼樹狀結構區塊遞歸地執行四分樹分割以將寫碼樹狀結構區塊劃分成寫碼區塊(因此名稱「寫碼樹狀結構單元」)。寫碼區塊係樣本之N×N區塊。CU可係明度樣本之寫碼區塊,及具有明度樣本陣列、Cb樣本陣列及Cr樣本陣列的圖像之色度樣本的兩個對應寫碼區塊,以及用以對寫碼區塊之樣本進行寫碼的語法結構。在單色圖像或使用分離彩色平面之圖像中,CU可包含單一寫碼樣本區塊及用以對寫碼區塊進行寫碼的語法結構。視訊編碼器20可將CU之寫碼區塊分割成一或多個預測區塊。預測區塊可係同一預測應用至之樣本的矩形(亦即,正方形或非正方形)區塊。CU之預測單元(PU)可係明度樣本之預測區塊、圖像之色度樣本的兩個對應預測區塊,及用以預測該等預測區塊樣本的語法結構。視訊編碼器20可產生預測性明度,明度之Cb及Cr區塊,CU之每一PU的Cb及Cr預測區塊。在單色圖像或使用分離彩色平面之圖像中,CU可包含單一寫碼樣本區塊及用以對寫碼區塊進行寫碼的語法結構。
視訊編碼器20可使用內部預測或中間預測以產生PU的預測性區塊。若視訊編碼器20使用內部預測來產生PU之預測性區塊,則視訊編碼器20可基於與PU相關聯之圖像的經解碼樣本產生PU的預測性區塊。
若視訊編碼器20使用中間預測來產生PU之預測性區塊,則視訊編碼器20可基於不同於與PU相關聯之圖像的一或多個圖像之經解碼樣本來產生PU的預測性區塊。視訊編碼器20可使用單向預測或雙向預測以產生PU的預測性區塊。當視訊編碼器20使用單向預測來產生PU的預測性區塊時,PU可具有單一運動向量。當視訊編碼器20使用
單向預測來產生PU的預測性區塊時,PU可具有兩個運動向量。
在視訊編碼器20產生CU之一或多個PU的預測性區塊(例如,明度、Cb及Cr區塊)之後,視訊編碼器20可產生CU的殘餘區塊。舉例而言,視訊編碼器20可產生CU之明度殘餘區塊。CU之明度殘餘區塊的每一樣本指示CU之預測性明度區塊中之一者中的明度樣本與CU之原始明度寫碼區塊中之對應樣本之間的差。此外,視訊編碼器20可產生CU之Cb殘餘區塊。CU之Cb殘餘區塊的每一樣本可指示CU之預測性Cb區塊中之一者中的Cb樣本與CU之原始Cb寫碼區塊中之對應樣本之間的差。視訊編碼器20亦可產生CU之Cr殘餘區塊。CU之Cr殘餘區塊中的每一樣本可指示CU之預測性Cr區塊中之一者中的Cr樣本與CU之原始Cr寫碼區塊中之對應樣本之間的差。
此外,視訊編碼器20可使用四分樹分割以將CU之殘餘區塊分解成轉換區塊。舉例而言,視訊編碼器20可使用四分樹分割以將CU之明度、Cb及Cr殘餘區塊分解成明度、Cb及Cr轉換區塊。轉換區塊可係同一轉換應用至之樣本的矩形區塊。CU之轉換單元(TU)可係明度樣本之轉換區塊、色度樣本之兩個對應轉換區塊,及用以對轉換區塊樣本進行轉換的語法結構。因此,CU之每一TU可係與明度轉換區塊、Cb轉換區塊及Cr轉換區塊相關聯。與TU相關聯之明度轉換區塊可係CU之明度殘餘區塊的子區塊。Cb轉換區塊可係CU之Cb殘餘區塊的子區塊。Cr轉換區塊可係CU之Cr殘餘區塊的子區塊。在單色圖像或使用分離彩色平面編碼之圖像中,TU可包含單一轉換區塊及用以對轉換區塊樣本進行轉換的語法結構。TU大小可為TU之轉換區塊的大小。
視訊編碼器20可將一或多個轉換應用至TU之轉換區塊以產生TU的係數區塊。舉例而言,視訊編碼器20可將一或多個轉換應用至TU之明度轉換區塊以產生TU的明度係數區塊。係數區塊可係轉換係數
之二維陣列。轉換係數可係純量。此外,視訊編碼器20可將一或多個轉換應用至TU之Cb轉換區塊以產生TU的Cb係數區塊。視訊編碼器20可將一或多個轉換應用至TU之Cr轉換區塊以產生TU的Cr係數區塊。
在產生係數區塊(例如,明度係數區塊、Cb係數區塊或Cr係數區塊)之後,視訊編碼器20可量化係數區塊。量化一般係指如下程序:將轉換係數量化以可能地減少用以表示該等轉換係數之資料的量,從而提供進一步壓縮。在視訊編碼器20量化係數區塊之後,視訊編碼器20可熵編碼語法元素,從而指示經量化之轉換係數。舉例而言,視訊編碼器20可對語法元素執行內容自適應性二進位算術寫碼(CABAC),從而指示經量化之轉換係數。視訊編碼器20可在位元串流中輸出經熵編碼之語法元素。
視訊解碼器30可接收由視訊編碼器20產生的位元串流。此外,視訊解碼器30可剖析位元串流以解碼來自位元串流的語法元素。視訊解碼器30可至少部分基於自位元串流解碼之語法元素來重新建構視訊資料的圖像。重新建構視訊資料之程序可與由視訊編碼器20執行之程序大體互反。舉例而言,視訊解碼器30可使用PU之運動向量來判定當前CU之PU的預測性區塊。此外,視訊解碼器30可反量化與當前CU之TU相關聯的轉換係數區塊。視訊解碼器30可對轉換係數區塊執行反轉換以重新建構與當前CU之TU相關聯的轉換區塊。視訊解碼器30可藉由將當前CU之PU之預測性區塊的樣本加至當前CU之TU之轉換區塊的對應樣本來重新建構當前CU的寫碼區塊。藉由重新建構圖像之每一CU的寫碼區塊,視訊解碼器30可重新建構圖像。
如上文所指示,諸如視訊編碼器20或視訊解碼器30的視訊寫碼器可使用內部預測來產生當前PU的預測性區塊。當視訊寫碼器使用內部預測來產生當前PU的預測性區塊時,視訊寫碼器可使用參考樣本集合來判定預測性區塊中的樣本之值。舉例而言,在HEVC內部預
測中,來自左上側相鄰區塊之已重新建構樣本可用於預測。此等經重新建構樣本可被稱作參考樣本。
圖2說明用於HEVC內部預測之區塊的參考樣本。換言之,圖2為說明具有大小M(高度)×N(寬度)之區塊的概念圖。在圖2中,M指示列,且N指示行。此外,在圖2中,區塊之樣本藉由P i,j 來指明,其中0 i (M-1)及0 j (N-1)。在本發明中,術語「樣本」可係指輸入分量(例如,RGB圖像中之R、G或B,或YCbCr圖像中的Y、Cb或Cr等)之原始像素值,或分量的將色彩轉換應用至輸入分量之後的樣本值。在圖2之實例中,參考像素藉由P -1,j (其中-1 j<2N)及P i,-1(其中-1 i<2M)來指明。
如圖2之實例中所展示,參考樣本可包括當前PU之左側的參考樣本集合,及當前PU上方之參考樣本集合。本發明可提及當前PU上方之參考樣本集合作為頂部預測子。本發明可提及當前PU左側之參考樣本集合作為左側預測子。換言之,在HEVC內部預測中,自頂部及左側相鄰區塊已重新建構之樣本用於預測(「頂部」相鄰區塊亦可被稱作「上方」相鄰區塊)。此等樣本被稱作參考樣本。在一些實例中,若參考像素不可用,則使用HEVC之視訊寫碼器可使用特定填補程序來產生遺失之參考樣本。
當視訊寫碼器使用內部預測來產生預測性區塊時,視訊寫碼器可根據來自複數個可用內部預測模式的一內部預測模式產生預測性區塊。內部預測模式可包括複數個定向(亦即,角度)內部預測模式。舉例而言,在HEVC之一些版本中,存在33個定向內部預測模式。定向內部預測模式中的每一者對應於不同方向。圖3為說明實例內部預測模式方向的概念圖。當視訊寫碼器根據定向內部預測模式產生預測性區塊時,視訊寫碼器對於預測性區塊中之每一各別樣本將參考樣本之值(或參考樣本之經加權組合)指派給個別樣本,該參考樣本在對應於
定向內部預測模式之方向上與各別樣本對準。當視訊寫碼器使用定向(亦即,角度)內部預測模式以產生當前區塊之預測性區塊時,視訊寫碼器可被稱為執行角度內部預測。
此外,在HEVC之一些版本中,內部預測模式包括DC內部預測模式。在HEVC之此等版本中,當視訊寫碼器使用DC內部預測以產生預測性區塊時,視訊寫碼器可判定參考樣本的平均值。視訊寫碼器可接著判定,預測性區塊中之每一樣本具有所判定之平均值。因此,當視訊寫碼器使用DC內部預測來產生預測性區塊時,預測性區塊之所有樣本具有相同值。舉例而言,假設填補程序已完成,使得所有參考樣本可用。在此實例中,關於展示於圖2之實例中的4×4區塊,DC預測可形成如下:
其中>>指明逐位元向右移位運算。
在HEVC之一些版本中,內部預測模式包括平面內部預測模式。當視訊寫碼器使用平面內部預測模式產生PU的預測性區塊時,視訊寫碼器可判定相鄰樣本p[x][y]之集合,其中x=-1,y=-1..nTbs*2-1;且x=0..nTbS*2-1,y=-1,其中nTbS為當前PU的大小。此外,predSamples[x][y]可指明預測區塊之位置x,y處之樣本的值。視訊寫碼器可判定預測性區塊之樣本如下:predSamples[x][y]=((nTbS-1-x)* p[-1][y]+(x+1)* p[nTbS][-1]+(nTbs-1-y)* p[x][-1]+(y+1)* p[-1][nTbS]+nTbS)>>(Log2(nTbS)+1) (2)
在通項中,當使用平面內部預測模式時,預測性區塊之樣本的值為值之兩個線性內插的平均值。在第一線性內插中,由於x之值越過預測性塊之一列自左向右增加,因此與列之左側的參考樣本相符的
權重減低,而與預測性區塊之右上角落之右上參考樣本相符的權重增加。在第二線性內插中,由於y之值沿著預測性區塊之行增加,因此與行上方之參考樣本相符的權重減小,而與預測性區塊之左下角落之左下樣本相符的權重增加。
在圖2之實例中,平面內部預測可使用樣本P -1,j (其中0 j (N-1))及P M,-1來產生垂直方向上的雙線性預測。類似地,樣本P i,-1(其中0 i (M-1))及P -1,N 可用以產生水平方向上的雙線性預測。最終,在此實例中,水平及垂直預測可進行平均(或可能地藉由另一算術運算進行組合)。舉例而言,使平面預測之值藉由T i,j 指明,且假設區塊為正方形,即,M=N。在此實例中,T i,j 可判定為:
在此實例中,*指明乘積,>>指明逐位元向右移位運算,且上標H及V分別指明水平及垂直方向上的預測。
在一些狀況下,視訊編碼器20及視訊解碼器30實施如本文中描述的無損寫碼模式。通常,當視訊編碼器20編碼區塊時,視訊編碼器20轉換(例如,使用離散餘弦轉換)並量化區塊的殘餘資料(亦即,預測誤差)。換言之,預測誤差經轉換並量化。然而,當視訊編碼器20使用無損寫碼編碼區塊(例如,CU)時,視訊編碼器20可不將轉換或量化應用至區塊的殘餘資料。換言之,在無損寫碼模式中(例如,對於CU或整個圖像),可跳過轉換及量化步驟。替代地,視訊編碼器20可以與經量化轉換係數相同的方式處置殘餘資料的樣本值。舉例而言,視訊編碼器20可熵編碼表示殘餘資料之樣本值的語法元素,且將所得資料包括於位元串流中。因此,殘餘資料不經受歸因於轉換或量化之任何資訊的損失。
類似地,在視訊解碼器30解碼已使用無損編碼而編碼的區塊(例如,CU)之一些個例中,視訊解碼器30可不將反量化或反轉換應用至該區塊的殘餘資料。替代地,視訊解碼器30可熵解碼表示殘餘資料之樣本值的語法元素,且接著至少部分基於殘餘資料的樣本值來重新建構區塊的樣本值。
本發明之若干實例技術係關於無損編碼。如本文中所描述,替代將來自相鄰區塊之參考樣本用於預測,來自當前區塊之樣本可用於改善之預測。舉例而言,本發明之若干實例技術描述可適用於HEVC標準中之無損寫碼之內部DC預測模式的修改。此外,本發明之若干實例技術描述可適用於HEVC標準中之無損寫碼之內部平面預測模式的修改。本發明之技術亦可適用於其他類型之預測,且亦可適用於其他寫碼標準。
在無損寫碼中,替代將來自相鄰區塊之參考樣本用於預測,來自當前區塊之樣本可用於改善之預測。舉例而言,針對用於有損寫碼模式以及在轉換經跳過時之無損寫碼模式之角度內部預測的技術闡述於Lan等人之「Intra and inter coding tools for screen contents」(ITU-T SG 16 WP3及ISO/IEC JTC1/SC29/WG11之關於視訊寫碼之聯合合作團隊(JCT-VC)2011年3月16日至23日瑞士日內瓦第5次會議)文獻JCTVC-E145(下文中「JCTVC-E145」)中。此外,對於無損寫碼,跳過轉換及量化步驟,因此可有可能是在使用內部DC模式時在用於判定預測性區塊之樣本的程序之後進行改善。
本據本發明之一或多項技術,對於預測性區塊之計算,可假設樣本正沿著列以光柵掃描進行處理。然而,在其他實例中,相同技術可經擴展以沿著行進行光柵掃描(或甚至擴展至對角線或Z字形掃描,但失去技術之並行性的某潛能)。當轉換或量化在無損模式中不應用至預測誤差時,可假設,在預測誤差(亦即,殘餘)之熵解碼之後,原
始樣本可經無損地重新建構。因此,在無損寫碼之情形下,術語「原始樣本」或「原始樣本值」可係指實際原始樣本值或經重新建構之樣本值(亦即,非殘餘樣本)。歸因於沿著列之光柵掃描,來自先前列之所有樣本以及來自當前列之當前樣本左側的所有樣本對於DC預測可用。本發明之一或多項技術利用此操作以使用DC內部預測模式來改善內部預測。
本發明描述若干實例內部預測模式。本發明之內部預測模式可替換平面內部預測模式,或可理解為平面內部預測模式。因此,本發明之內部預測模式可替換HEVC中之當前平面模式用於無損寫碼。在本發明之實例中描述的細節可與本發明之其他實例的一或多個細節相組合。即,細節可以廣泛之多種不同方式中的任一者進行組合以達成又其他實例。
根據本發明之視訊寫碼器(例如,視訊編碼器20或視訊解碼器30)使用DC內部預測模式產生預測性區塊的一些實例,視訊寫碼器可以光柵掃描次序處理預測性區塊的樣本。當視訊寫碼器處理預測性區塊之樣本時,視訊寫碼器可使用預測性區塊之樣本的因果性相鄰樣本來形成樣本的DC預測值。一般而言,預測性區塊中樣本之因果性相鄰樣本為對應於預測性區塊中已被判定出之樣本的經重新建構樣本(例如,非殘餘、非預測性樣本)的集合。舉例而言,當使用自預測性區塊之左上樣本開始沿著列之光柵掃描次序時,預測性區塊中樣本的因果性相鄰樣本可包括對應於樣本之左上方之位置的經重新建構樣本。在一個此實例中,當視訊寫碼器使用DC內部預測模式產生預測性區塊時,視訊寫碼器計算當前樣本P i,j 之DC預測值DC i,j (其中0 i (M-1)及0 j (N-1))為:DC i,j =(P i,j-1+P i-1,j +1)>>1。 (4)
或類似地,
DC i,j =(P i,j-1+P i-1,j )>>1。 (5)
因此,在等式(4)及(5)中,對於預測性區塊中之每一各別樣本,視訊編碼器20可判定各別樣本之DC內部預測值(亦即,DC i,k )為各別樣本上方之樣本(亦即,P i,j-1)的經重新建構值與各別樣本左側之樣本(亦即,P i-1,j )之經重新建構值的平均值。因為視訊編碼器20正使用無損寫碼,所以各別樣本左側之樣本的經重新建構值及各別樣本上方之樣本的經重新建構值與各別樣本左側之樣本的原始值及各別樣本上方之樣本的原始值相同。類似地,在等式(4)及(5)中,對於預測性區塊中之每一各別樣本,視訊解碼器30可判定各別樣本之DC內部預測值(亦即,DC i,k )為各別樣本上方之樣本(亦即,P i,j-1)的經重新建構值與各別樣本左側之樣本(亦即,P i-1,j )之經重新建構值的平均值。因為視訊解碼器30正使用無損寫碼,所以各別樣本上方之樣本的經重新建構值及各別樣本左側之樣本的經重新建構值與各別樣本上方之樣本的原始值及各別樣本左側之樣本的原始值相同。(A)
歸因於光柵掃描及用於參考樣本的填補程序,經重新建構之樣本P i,j-1及P i-1,j可總是可用。換言之,當前樣本上方之樣本及當前樣本左側之參考樣本可總是可用。此外,歸因於用於計算DC預測值DC i,j 中之向右移位運算的非線性本質,對於視訊解碼器30而言可能難以並行地處理多個樣本。舉例而言,DC i,j+1 可表示為DC i,j+1=(P i,j +P i-1,j+1+1)>>1,或DC i,j+1=((R i,j +((P i,j-1+P i-1,j +1)>>1)+P i-1,j+1+1)>>1,在以上等式中,R i,j 為針對位置(i,j)處之樣本的預測殘餘。因為向右位元移位為非線性程序,所以可不存在於完成DC i,j 之計算之前計算DC i,j+1 的方式。舉例而言,對於視訊解碼器30而言,可能難以並行地處理預測性區塊的多個樣本。
當視訊解碼器30解碼使用無損寫碼而寫碼之當前區塊的經寫碼
表示時,視訊解碼器30可自位元串流獲得指示當前區塊之殘餘樣本值的語法元素。因此,當當前區塊使用無損寫碼進行寫碼時,視訊解碼器30並不需要應用反量化或反轉換以判定當前區塊的殘餘樣本值。自位元串流獲得語法元素可涉及熵解碼語法元素。因此,當當前區塊使用無損或有損寫碼進行寫碼時,可假設,當前區塊之預測殘餘(亦即,預測誤差)已被熵解碼。
因此,當當前區塊使用無損或有損寫碼進行寫碼時,預測殘餘可用於判定樣本的經重新建構值中,視訊解碼器30將該等經重新建構值用於判定當前區塊之預測性區塊之樣本的DC預測值中。假設預測殘餘已被熵解碼,則可有可能的是在一個樣本延遲情況下對不同列中之樣本的處理進行管線作業。因此,根據本發明之一或多項技術,視訊解碼器30可在來自第一列之一個樣本已經重新建構之後開始第二列之樣本的處理。以此方式,視訊解碼器30可並行地處理多個列之樣本。因此,作為產生預測性區塊之部分,視訊寫碼器可對預測性區塊之不同列中的樣本之處理進行管線作業,其中針對DC預測之一個循環延遲存在於預測性區塊的數個列之間。
在另一實例中,視訊寫碼器(例如,視訊編碼器20或視訊解碼器30)可計算DC預測值DC i,j (其中0 i (M-1)及0 j (N-1))為:DC i,j =(P i,j-1+P i-1,j -P i-1,j-1)。 (6)
因此,在此實例中,對於預測性區塊之每一各別樣本,視訊編碼器20可判定各別樣本之DC預測值(亦即,DC i,j )為各別樣本上方之樣本(亦即,P i,j-1)的經重新建構值與各別樣本左側之樣本(亦即,P i-1,j )的經重新建構值之總和減去就在各別樣本左上方之樣本(亦即,P i-1,j-1)的原始值。類似地,對於預測性區塊之每一各別樣本,視訊解碼器30可判定各別樣本之DC預測值(亦即,DC i,j )為各別樣本上方之樣本(亦即,P i,j-1)的經重新建構值與各別樣本左側之樣本(亦即,P i-1,j )的經重
新建構值之總和減去就在各別樣本左上方之樣本(亦即,P i-1,j-1)的經重新建構值。因為正使用無損寫碼,所以樣本之經重新建構值與樣本之原始值相同。
在此實例中,可更簡單的是藉由使用額外邏輯來處理列中多個樣本值。舉例而言,視訊寫碼器可在不等待P i,j 情況下計算預測性區塊之當前樣本P i,j 的DC i,j+1如下。DC i,j+1可被表達為:DC i,j+1=(P i,j-1+P i-1,j -P i-1,j-1)+r i,j +P i-1,j+1-P i-1,j ) (7)
可將等式(7)重寫如下:
在等式(7)及(8)中,r i,j 為樣本P i,j 之預測誤差殘餘。因此,在此實例中,位置(i,j+1)處之特定樣本之DC內部預測值(亦即,DC i,j+1)的計算並非取決於特定樣本左側之樣本的經重新建構值。確切而言,特定樣本之DC內部預測值DC i,j+1 的計算可取決於直接上方之樣本的經重新建構值,以及當前樣本左側之所有樣本及相同列及上方列中參考樣本的殘餘值。假設整個列之殘餘已被解碼出,則此情形可允許視訊解碼器30(以及視訊編碼器20)並行地計算區塊之列中的所有樣本的DC預測值。
因為正使用無損寫碼,所以樣本(亦即,P i,j-1、P i-1,j 及P i-1,j-1)之經重新建構值與樣本之原始值相同。如本發明中在其他地方進一步描述,此技術可應用至有損寫碼。在該狀況下,為了維持並行性,有必要將左側樣本之未經剪輯的經重新建構值用於DC預測。來自上方列之經重新建構樣本可經剪輯或不經剪輯。舉例而言,對於8位元視訊序列,經重新建構樣本經剪輯至區間[0,255]。
在另一實例中,左側、左上、頂部及右上樣本用於判定DC內部預測值中。在此實例中,視訊寫碼器可計算預測性區塊之當前樣本P i,j 的DC預測值DC i,j (其中0 i (M-1)可0 j (N-1))為:
DC i,j =(P i,j-1+P i-1,j +P i-1,j-1+P i-1,j+1+2)>>2, (9)
或類似地,DC i,j =(P i,j-1+P i-1,j +P i-1,j-1+P i-1,j+1)>>2。 (10)
因此,在等式(9)及(10)的實例中,對於預測性區塊之每一各別樣本,各別樣本之DC內部預測值(亦即,DC i,j )為各別樣本上方之經重新建構樣本亦即,P i,j-1)、各別樣本左側之經重新建構樣本(亦即,P i-1,j )、各別樣本左上方的經重新建構樣本(亦即,P i-1,j-1)及各別樣本右上方之經重新建構樣本(亦即,P i-1,j+1)的平均值。因為正使用無損寫碼,所以樣本(亦即,P i,j-1、P i-1,,j 、P i-1,j-1及P i-1,j+1)之經重新建構值與樣本之原始值相同。
在使用等式(9)或(10)來判定DC內部預測值之實例中,對於最後行中之樣本(j=(N-1),i>0),右上樣本不可用。為了克服此情形,視訊寫碼器可假設,頂部及右上樣本(亦即,分別為P i-1,j 及P i-1,j+1)具有相同值。在視訊寫碼器使用(9)或(10)來判定DC內部預測值的另一實例中,視訊寫碼器可修改DC預測來使用僅可用樣本。在一些實例中,若樣本並非在當前截塊或圖像之邊界內或尚未經寫碼,則樣本可不可用。
此外,根據本發明之另一實例,視訊寫碼器可對小於TU大小之區塊大小執行DC內部預測。舉例而言,無關於TU大小,視訊寫碼器可對2×2區塊執行DC內部預測。視訊寫碼器可以光柵掃描次序處理預測性區塊的2×2區塊。在此實例中,對於樣本P 2i,2j 、P 2i,2j+1 、P 2i+1,2j 及P 2i+1,2j+1 ,視訊寫碼器計算DC內部預測值為:(P 2i-1,2j +P 2i-1,2j+1+P 2i,2j-1+P 2i+1,2j-1+2)>>2, (11)
或類似地,(P 2i-1,2j +P 2i-1,2j+1+P 2i,2j-1+P 2i+1,2j-1)>>2。 (12)
在此實例中,0 i ((M/2)-1)且0 j ((N/2)-1),其中M為
區塊之高度,且N為區塊的寬度。此外,在此實例中,假設M及N皆為偶數。在此實例中,視訊寫碼器可並行地處理四個樣本。在此實例中,視訊寫碼器可能能夠並行地判定2×2區塊之四個樣本中之每一者的DC內部預測值。在類似實例中,視訊寫碼器可使用4×4區塊或8×8區塊而非2×2區塊。(B)
根據本發明之另一實例,顯露執行正常DC預測之後的殘餘值之間的相關。舉例而言,使r i,j (其中0 i (M-1)及0 j (N-1))為執行如在HEVC(例如,HEVC工作草案10)中指定之DC內部預測之後的預測殘餘。舉例而言,r i,j 可為針對4×4區塊的在執行如在以上等式(1)中描述之DC內部預測之後的預測殘餘值。在此實例中,視訊寫碼器可接著產生中間值s i,j ,其中0 i (M-1)及0 j (N-1)。視訊寫碼器可產生中間值s i,j 為:s i,j =r i,2j ,s i,(j+(N/2))=r i,2j -r i,2j+1 (13)
在以上等式(13)中,0 i (M-1),0 j ((N/2)-1)。
視訊寫碼器可接著產生經修改殘餘值t i,j (其中0 i (M-1)及0 j (N-1))如下:t i,j =s 2i,j ,t (i+(M/2)),j =s 2i,j -s 2i+1,j (14)
在等式(14)中,0 i ((M/2)-1)且0 j (N-1)。
視訊編碼器如在常規HEVC(例如,HEVC工作草案10)中所描述可熵編碼經修改之殘餘t i,j 。在解碼器側(例如,在視訊解碼器30處),反向此程序。舉例而言,視訊解碼器30可判定,s 2i,j =t i,j ,s 2i+1,j =t i,j -t (i+(M/2)),j , (15)
其中0 i ((M/2)-1)且0 j (N-1)。視訊解碼器30亦可判定,r i,2j =s i,j ,r i,2j+1=s i,j -s i,(j+(N/2)),j , (16)
其中0 i ((M-1),且0 j ((N/2)-1)。此實例假設M及N皆
為偶數。
在本發明之另一實例中,可使用潛在地更好之預測子而非採用簡單的差。舉例而言,視訊寫碼器可判定s i,j 如下:s i,j =r i,2j+1, s i,(j+(N/2))=P i,2j -((P i,2j-1+P i,2j+1+1)>>1) (17)
t i,j =s 2i+1,j ,t (i+(M/2)),j =s 2i,j -((s 2i+1,j +s 2i+1,j +1)>>1) (18)
在以上等式(17)中,0 i<M,0 j<(N/2)。在以上等式(18)中,0 i<M/2,0 j<N。
本發明之各種其他實例中描述的技術可應用於在跳過轉換時改善有損寫碼中的DC內部預測模式。換言之,本發明之各種其他實例可應用於在視訊編碼器並不將轉換應用至轉換區塊之殘餘樣本但量化轉換區塊的殘餘樣本時改善DC內部預測模式。舉例而言,在以上段落(A)中描述的實例中,因果性相鄰樣本用於計算當前樣本的DC預測值。在此實例中,替代如在無損寫碼之狀況下進行一般將原始樣本值用於計算DC預測值,可使用因果性相鄰樣本中的經重新建構(經量化)樣本值。因為跳過轉換之應用,所以因果性相鄰樣本中的經重新建構值可用。請注意,為了保留並行性益處,剪輯操作並不應用至來自當前列的經重新建構值,直至針對整個列之處理完成。對於上方列,可使用經剪輯或未經剪輯的經重新建構值。
類似地,如在以上段落(B)中所描述,將TU劃分成較小區塊(例如,2×2區塊),且針對每一較小區塊計算DC預測值。替代如在無損寫碼狀況下進行一般將原始樣本值用於計算DC預測值,經重新建構(經量化)樣本值可用於跳過轉換之有損寫碼狀況下。
在本發明中在上文描述有損寫碼之技術。根據一些此等技術,使P i,j (其中0 i (M-1)及0 j (N-1))指明原始樣本值。此外,使Q(P i,j )指明P i,j 之經量化版本。接著,根據本發明之使用有損寫碼的額外實例,視訊寫碼器可計算DC預測值DC i,j 為:
DC i,j =(Q(P i,j-1)+Q(P i-1,j )-Q(P i-1,j-1)) (等式DC1)
請注意,等式DC1類似於以上等式(6),唯樣本值(亦即,P i,j-1、P i-1,j 及P i-1,j-1)經量化且接著去量化外。本發明可提及此等樣本作為原始樣本之經量化樣本或經量化版本。因此,在等式DC1中,對於預測性區塊之每一各別樣本,視訊寫碼器可計算各別樣本之DC預測值為各別樣本上方之原始樣本的經量化版本(亦即,Q(P i,j-1))與各別樣本左側之原始樣本的經量化版本(亦即,Q(P i-1,j ))之總和減去就在各別樣本左上方之原始樣本的經量化版本(亦即,Q(P i-1,j-1))。在等式DC1中,形式之項Q(P i,j )為經重新建構樣本。視訊寫碼器可接著計算預測殘餘為r i,j =P i,j -DC i,j 。換言之,殘餘值r i,j 等於樣本值P i,j 減去對應DC內部預測值DC i,j 。量化且去量化之後的經重新建構殘餘藉由Q(r i,j )來指明。
先前段落中描述之實例在解碼器側可具有一些所要輸貫量性質。舉例而言,對於視訊解碼器30可有可能的是,同時地計算區塊之列(或行)中之所有樣本的經重新建構樣本值。舉例而言,視訊解碼器30可獲得經重新建構值樣本值如下:Q(P i,j )=Q(r i,j )+DC i,j ,或
在等式DC2中,Q(P i-1,j )指明可經適當地剪輯的經重新建構樣本。舉例而言,為了以為8之輸入位元深度適當地剪輯經重新建構值,Q(P i-1,j )之值經剪輯為在0與255之間。
此外,在一些實例中,可有可能的是使用Q(P i-1,j )的非經剪輯版本。其他值Q(P i-1,-1)及Q(P i,-1)屬於先前重新建構區塊,且已被剪輯。在此等實例中,等式DC2中之經重新建構樣本Q(P i-1,j )不經剪輯,但可在不影響輸貫量情況下經適當地剪輯。若視訊解碼器將等式DC2用於重新建構,則指定於等式DC1中之預測為僅適當的。等式DC1中之預
測為僅適當的,此係因為替代係經剪輯版本的Q(P i,j-1),使用未經剪輯的版本。在此狀況下,Q(P i,j-1)之未經剪輯版本可又在編碼器側使用以產生DC預測從而避免編碼器與解碼器之間的漂移。有可能的是使用經剪輯版本,但接著樣本可必須逐一經重新建構,藉此影響輸貫量。此係因為在該狀況下等式DC1可必須用於重新建構。此情形意謂,樣本之重新建構可取決於樣本左側之樣本的重新建構之完成。在本發明中已描述了一列樣本可並行地進行重新建構的方式。可允許用於並行地重新建構行中之所有樣本的類似程序。若需要較低並行度,則求和項可被分裂成較小厚塊,藉此潛在地減少輸貫量,但減少用於重新建構樣本需要之額外操作的平均數目。
因此,在上文所描述之有損寫碼實例的至少一些中,視訊寫碼器可產生預測性區塊。作為產生預測性區塊之部分,視訊寫碼器可將第一經重新建構樣本(例如,Q(P i-1,j ))及第二經重新建構樣本(例如,Q(P i,j-1))中的至少一者用於預測性區塊之當前樣本的DC預測。第一經重新建構樣本可對應於預測性區塊之當前列中當前樣本左側的樣本。第二經重新建構樣本可對應於預測性區塊之當前列上方之列中的樣本。視訊寫碼器可藉由將預測性區塊之樣本加至對應殘餘樣本來重新建構使用有損寫碼經寫碼的寫碼區塊。
此外,在上文所描述之有損寫碼實例的至少一些中,視訊寫碼器可判定對應於當前樣本上方之樣本的經重新建構值Q(P i,j-1)。此外,視訊寫碼器可判定對應於當前樣本左側之樣本的經重新建構值Q(P i-1,j )。視訊寫碼器亦可判定對應於當前樣本上方之樣本的經重新建構值Q(P i-1,j-1)。視訊寫碼器可計算當前樣本P i,j 之DC預測值DC i,j 為:DC i,j =(Q(P i,j-1)+Q(P i-1,j )-Q(P i-1,j-1))。
在上文所描述之有損寫碼實例中的至少一些中,對於來自Q(P i,j-1)、Q(P i-1,j )及Q(P i-1,j-1)中之每一各別經重新建構值,視訊寫碼器用以下方
式中的一者判定各別經重新建構值。首先,視訊寫碼器可判定各別重新建構值為給定樣本之去量化殘餘值(例如,Q(r i,j ))加上對應樣本的DC預測值(例如,DC i,j )。第二,如等式DC2中所描述,視訊寫碼器可判定各別經重新建構值為給定樣本上方之樣本的去量化殘餘值的總和(例如,),加上對應於給定樣本左側之樣本的經重新建構值(例如,Q(P i-1,j )),加上預測性區塊之對應於含有此給定樣本之行的最頂部樣本上方之參考樣本的經重新建構值(例如,Q(P i,-1)),加上對應於預測性區塊之給定樣本左側之行的最頂部樣本上方的參考樣本的經重新建構值(例如,Q(P i-1,-1))。在此實例中,給定樣本對應於各別經重新建構值。在一些此等實例中,視訊寫碼器可剪輯對應於給定樣本左側之樣本的經重新建構值。
本發明之另一實例提議對平面模式之預測程序的修改。考慮用於平面模式之等式(例如,等式(2)),若將來自最後列之原始樣本用於執行垂直預測而非將P M,-1用於垂直預測,則垂直預測可更準確。類似地,若來自最後行之原始樣本用於執行水平預測而非將P -1,N 用於水平預測,則水平預測可為更準確的。內部平面模式中原始樣本的使用為本發明之一或多個實例後方的基本理念。
舉例而言,視訊編碼器(例如,視訊編碼器20)可將HEVC平面預測(例如,如HEVC工作草案10中所描述的平面預測)用於最後列及行,即T i,j ,其中i=(M-1)或j=(N-1)。視訊寫碼器可自原始樣本值減去預測值來產生最後列及行的殘餘。即,視訊編碼器可判定r i,j ,其中i=(M-1)或j=(N-1)。視訊編碼器可接著產生預測值T i,j (其中0 i (M-2)且0 j (N-2))如下:
此實例假設M=N。然而,此概念至矩形區塊之擴展為直接的。視訊編碼器可藉由自原始樣本值減去預測值來產生剩餘殘餘r i,j ,其中0 i (M-2)且0 j (N-2)。視訊編碼器可如在HEVC(例如,HEVC工作草案10)中一般熵編碼整個區塊的殘餘r i,j ,其中0 i (M-1)及0 j (N-1)。
在此實例中,在解碼器側,視訊解碼器(例如,視訊解碼器30)可熵解碼整個預測殘餘區塊以產生殘餘值r i,j ,其中0 i (M-1)及0 j (N-1)。視訊解碼器接著可執行區塊之最後列及行中之樣本的HEVC平面預測。即,視訊寫碼器可如HEVC(例如,HEVC工作草案10)中所指定來判定T i,j ,其中i=(M-1)或j=(N-1)。舉例而言,視訊寫碼器可使用以上等式(3)來判定T i,j 。此外,在此實例中,視訊解碼器將最後列及行之殘餘值加至以上預測值以重新建構最後列及行的原始樣本值。之後,視訊解碼器如上文在編碼器側一般準確地產生預測值T i,j ,其中0 i (M-2)且0 j (N-2)。視訊解碼器將殘餘值r i,j (其中0 i (M-2)且0 j (N-2))加至預測值以重新建構區塊中剩餘樣本位置的樣本值。
在本發明之另一實例中,視訊編碼器(諸如,視訊編碼器20)將HEVC平面預測(例如,如HEVC工作草案10中所描述的平面預測)用於最後列及行熵的元素,即T i,j ,其中i=(M-1)且j=(N-1)。在此實例中,視訊編碼器自位置之原始樣本值減去位置的預測值以產生該位置的殘餘值。視訊編碼器可接著雙線性地預測最後列及行之元素為:T M-1,j =((N-j)* P M-1,-1+j * P M-1,N-1)>>(log2 N),T i,N-1=((M-i)* P -1,N-1+i * P M-1,N-1)>>(log2 M)。 (20)
此外,在此實例中,視訊編碼器產生預測值T i,j (其中0 i (M-2)且0 j (N-2))如下:
在此實例中,視訊編碼器藉由自原始樣本值減去預測值來產生殘餘值r i,j ,其中0 i (M-1)及0 j (N-1)。此外,在此實例中,視訊編碼器如在HEVC(例如,HEVC工作草案10)中一般熵編碼整個區塊的殘餘r i,j ,其中0 i (M-1)及0 j (N-1)。
本發明之另一實例提供對先前實例之改進。在此實例中,歸因於本發明之預測技術的殘餘分佈傾向於係在使用轉換時視訊壓縮中常見分佈的反向分佈。通常,殘餘在較低頻率下具有較高值,且在較高頻率下具有較低預期值。對於來自以上實例之殘餘,最後列及行傾向於具有較大值。改善效能同時利用經設計用於轉換殘餘之熵寫碼方法的方法係旋轉來自上文提供之實例中的預測的殘餘。即,殘餘經旋轉180度,使得左上部分變為右下部分,且反之亦然。接著,此經旋轉殘餘經熵寫碼。相應地,在解碼器處,殘餘經獲得,且接著旋轉180度。
在本發明之其他實例中,平面預測程序經修改如下。對於第一列及行,如在HEVC平面模式(例如,如在HEVC工作草案10中所描述之平面模式)狀況下一般執行預測以產生T i,j 及r i,j ,i=0或j=0。在此實例中,替代將HEVC方法(例如,在HEVC工作草案10中描述之方法、等式(3)等)用於產生第一列及行的預測,使用其他方法。舉例而言,P 0,0可經預測為(P -1,0+P 0,-1+1)>>1。第一行中之剩餘樣本可使用同一列中之左側樣本來預測。類似地,第一列中之剩餘樣本可使用同一行中之上方樣本來預測。對於剩餘位置,產生平面預測T i,j (其中1 i (M-1)且1 j (N-1))如下:
在等式(22)中,w v 及w h 為權重。在一些實例中,為0.5之值用於w v 及w h 兩者,此係由於為0.5之值可實施為位元移位。藉由自原始樣本值減去預測值來產生剩餘殘餘(亦即,r i,j ,其中1 i (M-1)且1 j (N-1))。整個區塊之殘餘(亦即,r i,j ,其中0 i (M-1)及0 j (N-1))可如在HEVC(例如,HEVC工作草案10)中一般經熵寫碼。
在此實例中,在解碼器側,視訊解碼器(例如,視訊解碼器30)可熵解碼整個區塊之預測殘餘以產生殘餘值(亦即,r i,j ,其中0 i (M-1)及0 j (N-1))。接著,視訊解碼器藉由由視訊編碼器使用的任何其他方法來如HEVC(例如,HEVC工作草案10)中所指定或如上文所描述執行第一列及行中之樣本(亦即,T i,j ,其中i=0或j=0)的平面預測。此外,在此實例中,視訊解碼器將第一列及行之殘餘值加至以上預測值以重新建構第一列及行的原始樣本值。因此,視訊解碼器如上文在解碼器側一般準確地產生預測值(亦即,T i,j ,其中1 i (M-1)且1 j (N-1))。在此實例中,視訊解碼器將殘餘值(亦即,r i,j ,其中1 i (M-1)且1 j (N-1))加至預測值以重新建構區塊中剩餘位置的樣本值。
以上段落描述關於執行針對無損寫碼之平面預測的不同方式。在本發明之額外實例中,使用如在HEVC(例如,HEVC工作草案10)中所描述之平面預測程序來預測最右行及底部列。在此實例中,最右行及底部列的原始樣本值接著用以對區塊之剩餘樣本執行平面或角度預測。於在跳過轉換時進行有損寫碼而非將原始樣本值用於最右行及底部列的狀況下,經重新建構(經量化)樣本值可用於對剩餘樣本執行平面或角度預測。
在HEVC(例如,HEVC工作草案10)中,對第一列及行之DC預測值進行濾波(DC預測濾波)。類似地,對於水平及垂直內部預測模式,
分別對預測值之第一列及行進行濾波(梯度濾波)。當上文所描述之方法應用至針對DC、水平或垂直內部預測模式之有損寫碼時,且當轉換被跳過時,可跳過DC預測濾波或梯度濾波。
在本發明之另一實例中,替代改變平面預測模式,相同概念應用至角度內部預測模式。對於每一角度模式,如在HEVC(例如,HEVC工作草案10等式(3)等)中所指定來預測最後列及行。接著,除參考樣本外,最後列及行之原始樣本值亦用以執行內部預測。圖4展示用於預測的樣本。圖4中之陰影位置為用作用於執行預測之參考樣本的位置。對於特定預測方向及特定位置,若參考樣本P -1,j (其中N j 2N)(或其雙線性內插)已被用作預測值,則替代地使用來自右側行之原始樣本值(亦即,P i,N-1,0 i M-1))。若預測角度截取最右行的位置為分率,則可使用雙線性內插或任何其他合適內插方法。作為實例,考慮4×4區塊。對於內部預測模式34,對於樣本(2,2),對應參考樣本將為P- 1,6 。因此,對於模式34,HEVC預測將為T 2,2=P -1,5。替代地,在此實例中,T 2,2=P 1,3。
類似地,對於特定預測方向及特定位置,若參考樣本P i,-1(M i 2M)(或其雙線性內插)已被用作預測值,則替代地使用來自底部列之原始樣本值(亦即,P M-1,j ,0 j N-1)。若預測角度截取底部列的位置為分率,則可使用雙線性內插或另一合適內插技術。作為實例,考慮4×4區塊。在此實例中,對於內部預測模式2,對於樣本(2,1),對應參考樣本為P 4,-1。因此,模式2之HEVC預測將為T 2,1=P 4,-1。替代地,在此實例中,T 2,1=P 3,0。
在本發明之一些額外實例中,視訊編碼器20及視訊解碼器30可執行使用視訊資料區塊內之一或多個原始樣本值來執行區塊內的其他樣本值之預測的寫碼。原始樣本值對應於區塊之最後列及最後行(例如,區塊之底部列及最右行)。作為另一實例,原始樣本值可對應於
區塊之第一列及第一行(例如,頂部列及最左行)。圖4說明用以執行其他樣本值之預測的樣本值之一個實例。在此實例中,視訊寫碼器可執行無損寫碼模式,且無損寫碼模式可包含平面寫碼模式、角度內部寫碼模式或另一模式。在一些實例中,技術可進一步包括對由預測產生之殘餘值集合的旋轉操作,繼之以相對於殘餘值之經旋轉集合的熵寫碼。
差分脈碼調變(DPCM)之方法提議於Lee等人之「AHG7:Residual DPCM for HEVC lossless coding」(ITU-T SG 16 WP 3及ISO/IEC JTC 1/SC 29/WG 11之關於視訊寫碼之聯合協作團隊(JCT-VC),2013年1月14日至23日瑞士日內瓦第12次會議)文獻第JCTVC-L0117號(下文中「JCTVC-L0117」)中。JCTVC-L0117提議對針對HEVC中水平模式(例如,內部預測模式10)及垂直模式(例如,內部預測模式26)之內部預測的改善從而用於無損寫碼。此改善由殘餘DPCM來指明。在JCTVC-L0117中,當CU正被無損地寫碼時,應用殘餘DPCM。殘餘DPCM之基本理念為對於垂直模式將上部列像素用於預測當前像素且對於垂直模式將左側行像素用於預測當前像素。
如在JCTVC-L0117中描述,殘餘DPCM可描述如下。考慮具有大小M(列)×N(行)的區塊。使r i,j (其中0 i (M-1)及0 j (N-1))為執行如在HEVC工作草案10中指定之內部預測之後的預測殘餘。此情形展示於圖5A及圖5B中。區塊可表示任何分量(例如,明度、色度、R、G、B等)。在提議於JCTVC-L0117中之方法中,殘餘DPCM應用至殘餘樣本,使得具有元素的經修改之M×N陣列在內部預測模式為垂直模式時獲得如下:
當內部預測模式為水平模式時,獲得如下:
之經修改殘餘樣本而非原始殘餘樣本R經發信至視訊解碼器。此情形可等效於對於垂直預測模式使用P i-1,j 作為對P i,j 之預測,且對於水平預測模式使用P i,j-1作為對P i,j 的預測。
此外,在提議於JCTVC-L0117中之方法中,在解碼器側,當內部預測模式為垂直模式時,原始殘餘樣本可在剖析經修改殘餘樣本之後經重新建構如下:
當內部預測模式為水平模式時,原始殘餘樣本在經修改殘餘樣本經剖析之後可經重新建構如下:
此外,本發明論述用於將針對水平及垂直內部預測模式之提議於JCTVC-L0117中的殘餘DPCM技術擴展至其他角度內部預測模式從而用於無損寫碼的方法。因為寫碼為無損的,所以原始相鄰樣本(呈因果性寫碼次序)以及對應預測殘餘可用於預測(因為跳過了轉換及量化)。
在第一實例中,殘餘DPCM技術可經擴展至其他角度內部預測模式。圖3展示不同角度預測模式(自2至34)的內部預測方向。現考慮22與30之間的模式。對於此等模式中的每一者,預測方向可被認為是接近於垂直(近垂直)。數字22及30僅為實例。其他範圍(例如,24與28之間的內部預測模式)可又被選擇。現考慮,如在HEVC(例如,HEVC工作草案10)中所指定來計算殘餘r i,j (其中0 i (M-1)及0 j (N-1))。即,預測根據角度模式執行,且自原始樣本值被減去以獲得殘餘r i,j 。殘餘DPCM可如在JCTVC-L0117中一般準確地應用至殘餘樣本以獲得具有元素的經修改之M×N陣列如下:
類似地,在此第一實例中,考慮6與14之間的定向內部預測模式。對於此等內部預測模式中的每一者,預測方向可被認為是接近於水平(亦即,近水平)。數字6及14僅為實例。在其他實例中,可使用其他範圍(例如,8與12之間的內部預測模式)。現考慮,如在HEVC(例如,HEVC工作草案10)中所指定來計算殘餘r i,j (其中0 i (M-1)及0 j (N-1))。即,預測根據角度模式執行,且預測自原始樣本值被減去以判定殘餘r i,j 。殘餘DPCM如在JCTVC-L0117中一般準確地應用至殘餘樣本以獲得具有元素的經修改之M×N陣列如下:
如在JCTVC-L0117之狀況下一般,之經修改殘餘樣本經發信至解碼器。
此外,在此第一實例中,在解碼器側,原始殘餘樣本在經修改殘餘樣本經剖析之後可經重新建構如下。當內部預測模式為近垂直模式(例如,模式22至30(包括))時,原始殘餘樣本可重新建構為:
當內部預測模式為近水平模式(例如,模式6至14(包括))時,原始殘餘樣本可重新建構為:
一旦已計算出了殘餘r i,j ,便將殘餘r i,j 加至根據角度模式執行的預測以獲得原始樣本。當獲得針對水平及垂直模式之預測時,可有可能的是啟用或禁用梯度項至第一行(對於垂直模式)或第一列(對於水平模式)之預測的相加。
在殘餘DPCM技術經擴展至角度內部預測模式從而用於無損寫碼的第二實例中,對於內部預測模式18或具有接近於內部預測模式18之向右下對角線預測方向的預測方向之內部預測模式(參見圖3),可以如下方式修改殘餘。首先,可如在HEVC工作草案10中所指定來計算殘餘r i,j (其中0 i (M-1)及0 j (N-1))。即,預測可根據角度模式執行,且預測自原始樣本值被減去以獲得殘餘r i,j 。接著,具有元素的經修改M×N陣列可判定如下:
在此第二實例中,的經修改殘餘樣本經發信至解碼器(例如,視訊解碼器30)。在解碼器側,視訊解碼器可在視訊解碼器剖析經修改殘餘樣本之後重新建構原始殘餘樣本如下。當內部預測方向接近於向右下對角線預測方向時,視訊解碼器可重新建構原始殘餘樣本如下:
此外,在此第二實例中,一旦已計算出了殘餘r i,j ,便可將r i,j 加至根據角度模式執行的預測以獲得原始樣本。在計算殘餘r i,j 中,r i-1,j-1可需要為可用的。若真實殘餘經逐列或逐行計算,則此情形可總是為真。因此,可有可能的是並行地計算一列(或行)中所有樣本的真實殘餘r i,j 。
在殘餘DPCM技術經擴展至角度內部預測模式從而用於無損寫碼的第三實例中,對於內部預測模式34或具有接近於內部預測模式34之向左下對角線預測方向的預測方向之內部預測模式(參見圖3),可以如下方式修改殘餘。首先,可如在HEVC(例如,HEVC工作草案10)中
所指定來計算殘餘r i,j (其中0 i (M-1)及0 j (N-1))。即,預測可根據角度模式執行,且預測自原始樣本值被減去以判定殘餘r i,j 。接著,具有元素的經修改M×N陣列可判定如下:
此外,在此第三實例中,的經修改殘餘樣本可經發信至視訊解碼器(例如,視訊解碼器30)。在解碼器側,視訊解碼器可在視訊解碼器剖析經修改殘餘樣本之後重新建構原始殘餘樣本如下。當內部預測方向接近於向左下對角線預測方向(模式34)時,視訊解碼器可使用以下等式重新建構原始殘餘樣本:
在此第三實例中,一旦已計算出了殘餘r i,j ,便可將r i,j 加至根據角度模式執行的預測以獲得原始樣本。在計算殘餘r i,j 中,r i-1,j+1可需要為可用的。若真實殘餘經逐列計算,則此情形可總是為真。因此,可有可能的是並行地計算一列中所有樣本的真實殘餘r i,j 。
在殘餘DPCM技術經擴展至角度內部預測模式從而用於無損寫碼的第四實例中,對於內部預測模式2或具有接近於模式2之向右上對角線預測方向的預測方向之內部預測模式(參見圖3),可以如下方式修改殘餘。首先,可如在HEVC(例如,HEVC工作草案10)中所指定來計算殘餘r i,j (其中0 i (M-1)及0 j (N-1))。即,預測可根據角度模式執行,且預測自原始樣本值被減去以判定殘餘r i,j 。接著,具有元素的經修改M×N陣列可判定如下:
在此第四實例中,的經修改殘餘樣本可經發信至視訊解碼器(例如,視訊解碼器30)。在解碼器側,視訊解碼器可在視訊解碼器剖析經修改殘餘樣本之後重新建構原始殘餘樣本如下。當內部預測方向接近於向右上對角線預測方向(模式2)時,視訊解碼器可根據以下等式重新建構原始殘餘樣本:
此外,在此第四實例中,一旦已計算出了殘餘r i,j ,便可將殘餘r i,j 加至根據角度模式執行的預測以獲得原始樣本。在計算殘餘r i,j 中,r i+1,j-1可需要為可用的。若真實殘餘經逐行計算,則此情形可總是為真。因此,可有可能的是並行地計算一行中所有樣本的真實殘餘r i,j 。倘若每一實施例之預測模式的範圍並不重疊,則殘餘DPCM技術經擴展至角度內部預測從而用於無損寫碼的第一、第二、第三及第四實例可同時予以使用。
如在殘餘DPCM技術經擴展至角度內部預測模式從而用於無損寫碼的第五實例中所描述,在提議於JCTVC-L0117中之殘餘DPCM方法中,對於垂直模式,第一列之殘餘並不經修改。類似觀測對於水平模式為真。在該狀況下,第一行之殘餘值不經修改。在殘餘DPCM技術經擴展至角度內部預測模式從而用於無損寫碼的第一實例狀況下,類似觀測對於近垂直及近水平模式為真。殘餘DPCM技術擴展至角度內部預測模式從而用於無損寫碼的第五實例提議對於垂直或近垂直內部預測模式將殘餘DPCM之概念擴展至第一列且對於水平或近水平內部預測模式擴展至第一行。考慮垂直或近垂直模式。在此狀況下,首先,可如在HEVC(例如,HEVC工作草案10)中所指定來計算殘餘r i,j (其中0 i (M-1)及0 j (N-1))。即,預測可根據角度模式執
行,且預測自原始樣本值被減去以判定殘餘r i,j 。接著,具有元素的經修改M×N陣列可判定如下:
在等式(37)中,r -1,j 係指來自上部區塊的殘餘。若上部區塊不可用或若上部區塊屬於不同LCU,則不對第一列執行殘餘DPCM可不可能。
在此第五實例中,之經修改殘餘樣本可發信至視訊解碼器。在解碼器側,視訊解碼器可在視訊解碼器剖析經修改殘餘樣本之後重新建構原始殘餘樣本如下。當內部預測模式為垂直或近垂直模式時,原始殘餘樣本可經重新建構如下:
類似策略可用於水平及近水平模式,其中:
此方法可以類似方式擴展至如上文所描述殘餘DPCM技術經擴展至角度內部預測模式從而用於無損寫碼的第二、第三及第四實例。
在殘餘DPCM技術經擴展至角度內部預測模式從而用於無損寫碼的第六實例中,提議於JCTVC-L0117中之殘餘DPCM方法亦可應用至DC內部模式(例如,HEVC中的模式1),且平面模式(例如,HEVC中的模式0)。舉例而言,垂直(或水平)殘餘預測可在DC內部預測進行之後應用。此外,垂直及水平殘餘預測可皆經應用:首先應用垂直(水平)DPCM,且接著應用水平(垂直)DPCM至第一DCPM的輸出。
殘餘DPCM技術經擴展至角度內部預測模式從而用於無損寫碼的第七實例類似於殘餘DPCM技術擴展至角度預測模式從而用於無損寫碼的第六實例在於,兩個或兩個以上DPCM可應用於殘餘。舉例而
言,兩個對角線DPCM描述於殘餘DPCM技術經擴展至角度內部預測模式從而用於無損寫碼從而擴展至平面模式,且接著擴展至水平及垂直DPCM的第三及第四實例中。
當跳過轉換時,本發明中所描述之各種技術亦可經擴展至有損內部寫碼。舉例而言,在HEVC(例如,HEVC工作草案10)中,對於4×4區塊可跳過轉換。在本發明中,術語」轉換跳過區塊「應用至轉換之應用被跳過針對的區塊。然而,若跳過轉換,則殘餘DPCM技術經擴展至角度內部預測從而用於無損寫碼的上文所描述之所提議技術可用於較高區塊大小。舉例而言,JCTVC-E145論述一種方式以當跳過轉換時將此等技術擴展至有損內部寫碼。一般而言,提議於JCTVC-E145中之理念為,替代如圖2中所展示將參考樣本用於內部預測,來自因果性相鄰樣本的經重新建構樣本值可用以執行內部預測。然而,此情形可為計算上昂貴的,此係由於預測程序必須針對每一樣本進行重複。此外,至於此情形對於DC及平面內部預測模式將起作用的方式為不清楚的。
本發明之一或多項技術係關於用於有損寫碼的殘餘DPCM。舉例而言,在本發明之一些實例中,考慮跳過轉換針對之區塊的近水平及近垂直內部預測模式。在本發明中,近垂直模式可定義為預測方向為近垂直的內部預測模式。近垂直模式之實例如圖3中所展示可係在22與30之間的所有內部預測模式。類似地,近水平模式可定義為預測方向為近水平的內部預測模式。近水平內部預測模式之實例如圖3中所展示可係在6與14之間的所有內部預測模式。此外,考慮具有大小M(列)×N(行)的區塊。使r i,j (其中0 i (M-1)及0 j (N-1))為執行如在HEVC(例如,HEVC工作草案10)中指定之內部預測之後的預測殘餘。此情形展示於圖5A及圖5B中。區塊可表示任何分量(例如,明度、色度、R、G、B等)。
具體而言,圖5A展示用於近垂直模式的殘餘DPCM方向。圖5B展示用於近水平模式的殘餘DPCM方向。圖5A及圖5B中之每一各別正方形對應於各別殘餘樣本r i,j 。圖5A之每一行中的垂直箭頭展示用於近垂直模式的殘餘DPCM方向。圖5B之每一列中的水平箭頭展示用於近水平模式的殘餘DPCM方向。DPCM方向為在應用殘餘DPCM時視訊寫碼器處理樣本沿著的方向(例如,水平或垂直)。
此外,考慮近垂直模式,且使Q(r i,j )(其中 i (M-1)且0 j (N-1))指明殘餘r i,j 的經量化版本。殘餘值之區塊可指明為R。換言之,殘餘值r i,j 已經歷量化及反量化。殘餘DPCM可應用至殘餘樣本以獲得M×N陣列如下。當內部預測模式為垂直模式時,具有元素的經修改之M×N陣列可獲得如下:
當內部預測模式為水平模式時,可獲得為:
因此,在以上實例中,當內部預測模式為垂直或近垂直模式時,之最左側行中的經修改殘餘值等於R之最左側行中的對應殘餘值。對於R的在R之最左側行之右側的每一行中的每一各別殘餘值(亦即,r i,j ),視訊編碼器20可設定對應經修改殘餘值等於各別殘餘值(亦即,r i,j )減去對應於就在各別殘餘值左側發生之殘餘值的經重新建構殘餘值(亦即,Q(r (i-1),j))。類似地,當內部預測模式為水平或近水平模式時,之頂部列中的經修改殘餘值等於R之頂部列中的對應殘餘值。然而,對於R的在R之頂部列下方的每一列中之每一各別殘餘值(亦即,r i,j ),視訊編碼器20可設定對應經修改殘餘值(亦即,)等於各別殘餘值(亦即,r i,j )減去就在各別殘餘值上方發生之殘餘值的經重新建構殘餘值(亦即,Q(r i,(j-1))。
此外,在此實例中,經修改殘餘樣本經量化以產生經修改殘餘樣本的經量化版本Q()。當內部預測模式為垂直模式時,經重新建構殘餘樣本Q(r i,j )計算為:
此等式亦可被書寫為:
類似地,當模式為水平模式時,經重新建構殘餘樣本Q(r i,j )計算為:
此等式亦可被書寫為:
因此,當內部預測模式為垂直或近垂直模式時,對應於R之最左側行中之殘餘值的經重新建構殘餘值等於之最左側行中之經修改殘餘值的對應經量化版本。然而,對於R的在R之最左側行之右側的每一行中的每一各別殘餘值,視訊編碼器20設定對應經重新建構殘餘值等於中對應經修改殘餘值之經量化版本(亦即,Q())與對應於就在各別殘餘值左側發生之殘餘值的經重新建構殘餘值(亦即,Q(r i-1,j ))的總和。類似地,當內部預測模式為水平或近水平模式時,對應於R之頂部列中之殘餘值的經重新建構殘餘值等於之頂部列中之經修改殘餘值的對應經量化版本。然而,對於R的在R之頂部列下方的每一列中的每一各別殘餘值,視訊編碼器20可設定對應經重新建構殘餘值等於中對應經修改殘餘值之經量化版本(亦即,Q())與對應於R中就在各別殘餘值上方發生之殘餘值的經重新建構殘餘值(亦即,Q(r i,j-1))的總和。
在解碼器側,計算(43)及(44)經重複以產生經重新建構殘餘樣本Q(r i,j ),其中0 i (M-1)及0 j (N-1)。視訊解碼器30可將經重新建構殘餘樣本值加至原始預測值以產生經重新建構樣本值。舉例而言,視訊解碼器30可將經重新建構殘餘樣本Q(r i,j )加至預測性區塊之對應樣本以重新建構當前區塊(例如,當前CU)的樣本值。自使用DPCM編碼之殘餘值判定殘餘值的程序本文中可被稱作「反RDPCM」。正常地,視訊編碼器20及視訊解碼器30兩者剪輯經重新建構樣本至適當位元深度。然而,在此狀況下,剪輯操作在反RDPCM程序之後執行以重新建構經量化殘餘。
以上實例又可以直接方式經擴展至對角線方向。舉例而言,在一個實例中,當內部預測方向接近於向右下對角線方向(例如,內部預測模式18)時,可判定為:
經重新建構殘餘樣本Q(r i,j )可判定為:
可類似地處置其他近對角線模式(例如,近向左下模式(模式34)及近向右上模式(模式2))。
此外,在一些實例中,替代將DPCM應用至經重新建構殘餘值,DPCM可應用至經重新建構殘餘值的經位元移位版本。舉例而言,對於轉換跳過區塊,視訊解碼器30對於每一樣本可執行去量化操作、向左移位7且接著向右移位(例如,在加上偏移之後)(20-位元深度)。在此情形下,位元深度可係指用以表示樣本值或轉換係數之位元的數目。在去量化操作中,存在於加上偏移之後的向右移位bdShift。
舉例而言,JCTVC-M1005_v2之章節8.6.2(亦即,HEVC之範圍擴展規範的草案)描述一種基於TU之轉換區塊的轉換係數層級之陣列判定殘餘樣本之陣列的縮放及轉換程序。在JCTVC-M1005_v2之章節8.6.2中,若轉換及量化並未應用至轉換區塊,則轉換係數層級之陣列可含有殘餘樣本值。下文再現JCTVC-M1005_v2之章節8.6.2的一部分。
殘餘樣本r之(nTbS)×(nTbS)陣列導出如下:
- 若cu_transquant_bypass_flag等於1,則(nTbS)×(nTbS)陣列r設定為等於轉換係數TransCoeffLevel[xTbY][yTbY][cIdx]的(nTbS)×(nTbS)陣列。
- 否則,應用以下排序步驟:
1. 如子條款8.6.3中指定之用於轉換係數的縮放程序藉由轉換區塊位置(xTbY,yTbY)、轉換區塊之大小nTbS、色彩分量變數cIdx及量化參數qP作為輸入來調用,且輸出為經縮放轉換係數d的(nTbS)×(nTbS)陣列。
2. 殘餘樣本r之(nTbS)×(nTbS)陣列導出如下:
- 若transform_skip_flag[xTbY][yTbY][cIdx]等於1,則殘餘樣本陣列值r[x][y](其中x=0..nTbS-1,y=0..nTbS-1)導出如下:r[x][y]=(d[x][y]<<7) (8-267)
- 否則(transform_skip_flag[xTbY][yTbY][cIdx]等於0),如在子條款8.6.4中所指定之經縮放轉換係數的轉換程序藉由轉換區塊位置(xTbY,yTbY)、轉換區塊之大小nTbS、色彩分量變數cIdx及經縮放轉換係數d之(nTbS)×(nTbS)陣列作為輸入來調用,且輸出為殘餘樣本r的(nTbS)×(nTbS)陣列。
3. 變數bdShift導出如下:bdShift=(cIdx==0)?20-BitDepthY:20-BitDepthC (8-268)
4. 殘餘樣本值r[x][y](其中x=0..nTbS-1,y=0..nTbS-1)經修改如下:r[x][y]=(r[x][y]+(1<<(bdShift-1)))>>bdShift (8-269)
如上文所展示,JCTVC-M1005_v2之章節8.6.2指定,若轉換及量化應用至轉換區塊,則調用JCTVC-M1005_v2的章節8.6.3。JCTVC-M1005_v2的章節8.6.3描述用於轉換係數之縮放程序。下文再現JCTVC-M1005_v2的章節8.6.3。
至此程序之輸入為:- 指定當前明度轉換區塊之左上樣本相對於當前圖像之左上明度樣本的明度位置(xTbY,yTbY),- 指定當前轉換區塊之大小的變數nTbS,- 指定當前區塊之色彩分量的變數cIdx,- 指定量化參數的變數qP。
此程序之輸出為具有元素d[x][y]之經縮放轉換係數的(nTbS)×(nTbS)陣列d。
變數bdShift導出如下:
- 若cIdx等於0,bdShift=BitDepthY+Log2(nTbS)-5 (8-270)
- 否則,bdShift=BitDepthC+Log2(nTbS)-5 (8-271)
清單levelScale[ ]指定為levelScale[k]={40,45,51,57,64,72},其中k=0..5。
對於經縮放轉換係數d[x][y]的導出(其中x=0..nTbS-1,y=0..nTbS-1),應用以下情形:
- 縮放因數m[x][y]導出如下:
- 若scaling_list_enabled_flag等於0,則
m[x][y]=16 (8-272)
- 否則(scaling_list_enabled_flag等於1),m[x][y]=ScalingFactor[sizeId][matrixId][x][y] (8-273)
其中分別地,sizeId指定於針對等於(nTbS)×(nTbS)之量化矩陣之大小的表7-3中,且matrixId指定於針對sizeId、CuPredMode[xTbY][yTbY]及cIdx的表7-4中。
- 經縮放轉換因數d[x][y]導出如下:d[x][y]=Clip3(-32768,32767,((TransCoeffLevel[xTbY][yTbY][cIdx][x][y]* m[x][y]*
levelScale[qP%6]<<(qP/6))+(1<<(bdShift-1)))>>bdShift)(8-274)
如JCTVC-M1005_v2之章節8.6.3中所指示,視訊解碼器30可使用JCTVC-M1005_v2之等式8-274判定經縮放轉換係數d[x][y]。在等式8-274中,Clip3(...)函數定義為:
根據本發明之一或多項技術,替代將反DPCM應用至經重新建構殘餘值,反DPCM可在應用向左移位之前應用至經去量化樣本值。類似地,替代反轉換,向左移位7可在去量化之後被應用。舉例而言,殘餘樣本r[x][y]之陣列(其中x=0..nTbs-1,y=0..nTbS-1)可如JCTVC-M1005_v2之等式8-267中所展示而導出。
在一些實例中,反DPCM在去量化之後或在向左移位7之後應用至樣本。類似地,在加上偏移之後的向右移位(20-位元深度)在程序之每一結束時應用以重新建構殘餘值。舉例而言,殘餘樣本r[x][y](其中x=0..nTbS-1且y=0..nTbS-1)可如JCTVC-M1005_v2之等
式8-269中所展示而進行修改。
在該狀況下,反DPCM可在向右移位小於(20-位元深度)之量以保留更好精度之後、在應用剩餘向右移位之前應用,使得總向右移位量達到(20-位元深度)。
在一些個例中,視訊編碼器20並不將轉換應用至轉換區塊之殘餘樣本,但的確量化轉換區塊的殘餘樣本。換言之,視訊編碼器20可應用跳過轉換的有損寫碼的形式。在此等個例中,視訊解碼器30可自位元串流中之語法元素判定轉換區塊之經量化殘餘樣本,且去量化轉換區塊的經量化殘餘樣本以重新建構轉換區塊之殘餘樣本而不將反轉換應用至轉換區塊。
替代地,梯度濾波可如本文中所描述使用經重新建構(經量化)樣本值而非原始樣本值來修改。在HEVC(例如,HEVC工作草案10)中,當獲得對水平及垂直模式之預測時,梯度項被加至第一行(對於垂直模式)或第一列(對於水平模式)的預測。此情形可被稱作梯度濾波。梯度項之相加在使用殘餘DPCM時可經啟用或禁用。本發明提議對在使用殘餘預測時針對水平及垂直內部預測模式之梯度濾波的改善。
舉例而言,考慮正使用如在JCTVC-L0117中提議的殘餘DPCM。在HEVC工作草案10中,對於明度分量且對於小於32之區塊大小,對於垂直內部預測模式,樣本P i,0,0 i M-1之預測藉由下式給出:Clip(P -1,0+((P i,-1-P -1,-1)>>1)),在以上等式中,>>表示逐位元向右移位,且剪輯操作剪輯預測值至樣本值的範圍。在殘餘DPCM中,因為對於垂直內部預測模式,樣本P i,j 的預測為P i-1,j ,所以第一行中樣本的梯度項經修改為((P i,-1-P i-1,-1)>>1)。因此,針對樣本P i,0,0 i M-1的預測為:Clip(P i-1,0+((P i,-1-P i-1,-1)>>1))。
此外,梯度濾波針對垂直內部預測模式可經擴展至其他行如
下。因為左側及左上原始樣本在無損模式中可用,所以梯度項在垂直內部預測模式中可經加至針對任何行的預測。因此,對於垂直內部預測模式,樣本P i,j ,0 i M-1,0 j N-1之預測可經修改為:Clip(P i-1,j +((P i,j-1-P i-1,j-1)>>1))。
垂直內部預測模式之經修改梯度濾波可應用至任何分量及任何區塊大小。
此概念又可經擴展至水平內部預測模式。在HEVC工作草案10中,對於明度分量且對於小於32之區塊大小,對於水平內部預測模式,樣本P 0,j,0 j N-1之預測藉由下式給出:Clip(P 0,-1+((P -1,j -P -1,-1)>>1)),在以上等式中,>>表示逐位元向右移位,且剪輯操作剪輯預測值至樣本值的範圍。在殘餘DPCM中,因為對於水平內部預測模式,樣本P i,j 的預測為P i,j-1,所以第一列中樣本的梯度項經修改為((P -1,j -P 1, j-1)>>1)。對樣本P 0,j ,0 j N-1之預測可藉由下式來判定:Clip(P 0,j-1+((P -1,j -P -1,j-1)>>1))。
梯度濾波針對水平內部預測模式可經擴展至其他行如下。因為頂部及左上原始樣本在無損模式中總是可用,所以梯度項在水平內部預測模式中可經加至針對任何列的預測。因此,對於水平內部預測模式,樣本P i,j ,0 i M-1,0 j N-1之預測可藉由下式給出:Clip(P i,j-1+((P i-1,j -P i-1,j-1)>>1))。
如在JCTVC-M1005_v2之章節7.3.2.3中所描述,PPS可包括符號資料隱藏啟用語法元素(例如,sign_data_hiding_enabled_flag)。此外,如JCTVC-M1005_v2之章節7.3.8.11中所展示,當符號資料隱藏啟用語法元素具有特定值(例如,1)時,指示轉換係數之正/負號的語法元素(例如,coeff_sign_flag語法元素)可自TU被省略。因此,視訊編碼器20在位元串流中發信明確指示(例如,
sign_data_hiding_enabled_flag),符號資料隱藏針對當前圖像經啟用且因此針對當前圖像內之當前區塊經啟用。同樣,視訊解碼器30可自位元串流獲得明確指示(例如,sign_data_hiding_enabled_flag),符號資料隱藏針對當前圖像經啟用且因此針對當前圖像內之當前區塊經啟用。下文再現JCTVC-M1005_v2的章節7.3.8.11。
如JCTVC-M1005_v2之章節7.4.3.3中所指定,等於0之sign_data_hiding_enabled_flag指定,符號位元隱藏(亦即,符號資料隱藏)被禁用。等於1之sign_data_hiding_enabled_flag指定符號位元隱藏被啟用。本發明可互換地使用術語「符號位元隱藏」與「符號資料隱藏」。此外,視訊寫碼器可根據子區塊掃描次序組織表示轉換係數的語法元素。在子區塊掃描次序中,視訊寫碼器將轉換係數區塊劃分成子區塊,其各自為4個轉換係數寬且4個轉換係數高。視訊寫碼器可判定每一子區塊的符號經隱藏變數(亦即,signHidden)。當轉換係數區塊之4×4子區塊之第一有效(亦即,非零)轉換係數與轉換係數區塊之4×4子區塊的最後有效轉換係數之間的位置差大於3(亦即,lastSignScanPos-firstSigScanPos>3),且轉換及量化步驟對於當前CU不被略過(亦即,跳過)(亦即,!cu_transquant_bypass_flag),視訊寫碼器可判定4×4子區塊之符號隱藏變數(亦即,signHidden)等於1。若轉換經跳過或略過,則轉換係數實際上為預測殘餘值。
對於4×4子區塊中之每一各別轉換係數,若各別轉換係數有效(亦即,非零)且若sign_data_hiding_enabled_flag指定符號位元隱藏不被啟用、4×4子區塊之符號隱藏變數不等於1或各別轉換係數並非4×4子區塊中之第一有效轉換係數,則各別轉換係數之符號語法元素(例如,coeff_sign_flag[n])在位元串流中被發信。舉例而言,若sign_data_hiding_enabled_flag指示符號位元隱藏被啟用、4×4子區塊之第一有效係數與4×4子區塊之最後有效係數之間的位置差大於3、4×4子區塊並非使用轉換及量化略過寫碼(例如,無損寫碼)產生且各
別轉換係數係4×4子區塊之第一有效轉換係數,則有效轉換係數的符號不被發信。
如JCTVC-M1005_v2之章節7.4.3.3中所指定,coeff_sign_flag[n]指定掃描位置n之轉換係數層級的符號如下。若coeff_sign_flag[n]等於0,則對應轉換係數層級具有正值。否則(coeff_sign_flag[n]等於1),對應轉換係數層級具有負值。當coeff_sign_flag[n]不存在時,coeff_sign_flag[n]被推斷為等於0。
當啟用符號資料隱藏時,視訊編碼器20可將指示轉換係數/殘餘樣本之符號的資料嵌入於轉換係數值/殘餘樣本值自身中。舉例而言,視訊編碼器20可修改表示轉換係數/殘餘樣本的一或多個位元,使得同位資訊可由視訊解碼器30使用以判定4×4子區塊中之第一有效係數為正抑或負。舉例而言,若4×4子區塊中之轉換係數的絕對值之總和為偶數,則符號被推斷為正,否則符號被推斷為負。通常,視訊編碼器20可改變4×4子區塊中經量化轉換係數/殘餘樣本中之一者的表示之最低有效位元。因此,使用者歸因於視訊編碼器20修改轉換係數/殘餘樣本的一位元表示以指示轉換係數/殘餘樣本的符號而可能不能感知到視覺品質的任何損失。
當將本發明之所描述技術用於有損寫碼時,對於視訊編碼器可有困難的是實施所描述技術應用至之區塊的符號資料隱藏。此等區塊為轉換經跳過且模式為平面模式及/或DC模式及/或應用殘餘DPCM針對之模式的內部區塊。誤差可藉由視訊編碼器20改變轉換係數/殘餘樣本之表示中的位元值以指示轉換係數/殘餘樣本的符號來引入。此外,使用此等技術,一個經修改殘餘樣本中之誤差可傳播至後續殘餘樣本。此等誤差在應用殘餘DPCM時可經複合,此係因為殘餘DPCM可依賴於視訊解碼器30將多個轉換係數/殘餘樣本相加在一起以判定轉換係數/殘餘樣本。因此,符號資料隱藏可實際上導致效能之降
級。在此等狀況下,可規範地禁用符號資料隱藏。此情形意謂,儘管在位元串流中(或作為預設選項)指示正使用符號資料隱藏,但對於某些區塊禁用符號資料隱藏。
在一個實例中,若視訊寫碼器並不將轉換應用至區塊,若區塊使用平面內部預測模式或DC內部預測模式來進行內部預測,或若區塊使用應用殘餘DPCM針對之內部預測模式進行內部預測,則視訊寫碼器可針對區塊禁用符號資料隱藏。舉例而言,在一些實例中,當轉換經跳過且區塊經內部寫碼且內部模式為平面內部預測時,符號資料隱藏可經禁用。此外,在一些實例中,當轉換經跳過且區塊經內部寫碼且內部模式為DC內部預測時,符號資料隱藏可經禁用。此外,在一些實例中,當轉換經跳過且區塊經內部寫碼且內部模式為應用殘餘DPCM針對的模式時,符號資料隱藏可經禁用。
舉例而言,視訊編碼器20可判定,若當前區塊在不將轉換(例如,離散餘弦轉換、定向轉換或其他轉換)應用至殘餘資料情況下使用有損寫碼產生且當前區塊使用殘餘DPCM被使用所在之內部預測模式來內部預測,則對於當前區塊禁用符號資料隱藏。當針對當前區塊禁用符號資料隱藏時,視訊編碼器20在位元串流中對於當前區塊中之每一各別有效值可包括各別語法元素,從而指示各別有效值為正抑或負。類似地,在此實例中,視訊解碼器30可判定,若當前區塊在不將轉換(例如,離散餘弦轉換、定向轉換或其他轉換)應用至殘餘資料情況下使用有損寫碼產生且當前區塊使用殘餘DPCM被使用所在之內部預測模式來內部預測,則對於當前區塊禁用符號資料隱藏。在此等實例中,當針對當前區塊禁用符號資料隱藏時,熵解碼器30對於區塊中之每一各別有效值自位元串流獲得各別語法元素,從而指示各別有效值為正抑或負。
在其他實例中,當轉換經跳過、區塊經內部寫碼時針對一區塊
或針對所有轉換跳過區塊,符號資料隱藏可經禁用。因此,在此實例中,符號資料隱藏可經禁用而無關於使用哪一內部預測模式。舉例而言,視訊寫碼器可判定,若當前區塊在不將轉換應用至當前區塊之殘餘資料情況下經寫碼且當前區塊使用DC內部預測模式或平面內部預測模式進行內部寫碼時,對於當前區塊禁用符號資料隱藏。
請注意,本發明已論述了針對殘餘DPCM及對DC及平面模式之修改的技術。可使用此等技術中之任一者或其組合。
圖6為說明可實施本發明之技術之實例視訊編碼器20的方塊圖。圖6為了解釋之目的而提供,且不應視為限制如在本發明中廣泛例證且描述之技術。為了解釋,本發明在HEVC寫碼之內容脈絡中描述視訊編碼器20。然而,本發明之技術可適用於其他寫碼標準或方法。
在圖6之實例中,視訊編碼器20包括預測處理單元100、殘餘產生單元102、轉換處理單元104、量化單元106、反量化單元108、反轉換處理單元110、重新建構單元112、濾波單元114、經解碼圖像緩衝器116及熵編碼單元118。預測處理單元100包括中間預測處理單元120及內部預測處理單元126。中間預測處理單元120包括運動估計單元122及運動補償單元124。在其他實例中,視訊編碼器20可包括較多、較少或不同功能組件。
視訊編碼器20可接收視訊資料。視訊編碼器20可編碼視訊資料之圖像之截塊中的每一CTU。CTU中之每一者可係與大小經相等設定之明度寫碼樹狀結構區塊(CTB)及圖像的對應CTB相關聯。作為編碼CTU的部分,預測處理單元100可執行四分樹分割以將CTU之CTB劃分成逐漸較小之區塊。較小區塊可係CU之寫碼區塊。舉例而言,預測處理單元100可將與CTU相關聯之CTB分割成四個大小經相等設定的子區塊,將子區塊中之一或多者分割成四個大小經相等設定之子區
塊的子區塊,等等。
視訊編碼器20可編碼CTU之CU以產生CU的經編碼表示(亦即,經寫碼CU)。作為編碼CU之部分,預測處理單元100可在CU之一或多個PU當間分割與CU相關聯的寫碼區塊。因此,每一PU可係與明度預測區塊及對應色度預測區塊相關聯。視訊編碼器20及視訊解碼器30可支援具有各種大小的PU。如上文所指示,CU之大小可係指CU之明度寫碼區塊的大小,且PU之大小可係指PU之明度預測區塊的大小。假設特定CU之大小係2N×2N,則視訊編碼器20及視訊解碼器30可支援用於內部預測之2N×2N或N×N的PU大小,及用於中間預測之2N×2N、2N×N、N×2N、N×N或類似大小的對稱PU大小。視訊編碼器20及視訊解碼器30亦可支援用於中間預測之2N×nU、2N×nD、nL×2N及nR×2N之PU大小的不對稱分割。
中間預測處理單元120可藉由對CU之每一PU執行中間預測而產生PU的預測性資料。PU之預測性資料可包括PU之預測性樣本區塊(亦即,預測性區塊)及PU的運動資訊。中間預測單元121視PU係在I截塊、P截塊抑或B截塊中而對CU之PU執行不同操作。在I截塊中,所有PU經內部預測。因此,若PU係在I截塊中,則中間預測單元121並不對PU執行中間預測。因此,對於以I模式編碼之區塊,預測性區塊使用空間預測自同一圖框內之先前編碼的相鄰區塊來形成。
若PU係在P截塊中,則運動估計單元122可為了PU之參考區而搜尋參考圖像之清單(例如,「RefPicList0」)中的參考圖像。PU之參考區可係參考圖像內的一區,該區含有最緊密地對應於PU之樣本區塊的樣本(例如,樣本區塊)。運動估計單元122可產生參考索引,該參考索引指示含有用於PU之參考區的參考圖像在RefPicList0中的位置。此外,運動估計單元122可產生運動向量,該運動向量指示PU之寫碼
區塊與係與參考區相關聯之參考位置之間的空間移位。舉例而言,運動向量可係二維向量,其提供自當前經解碼圖像中之座標至參考圖像中之座標的偏移。運動估計單元122可輸出參考索引及運動向量作為PU的運動資訊。運動補償單元124可基於由PU之運動向量指示的參考位置處之實際或內插樣本來產生PU的預測性樣本區塊。
若PU係在B截塊中,則運動估計單元122可執行PU之單向預測或雙向預測。為了執行PU之單向預測,運動估計單元122可為了PU之參考區而搜尋RefPicList0或第二參考圖像清單(「RefPicList1」)的參考圖像。運動估計單元122可輸出以下各者作為PU之運動資訊:參考索引,其指示含有參考區之參考圖像在RefPicList0或RefPicList1中的位置;運動向量,其指示PU之樣本區塊與係與參考區相關聯之參考位置之間的空間移位;及一或多個預測方向指示符,其指示參考圖像係在RefPicList0抑或RefPicList1中。運動補償單元124可至少部分基於由PU之運動向量指示的參考區處之實際或內插樣本來產生PU的預測性樣本區塊。
為了執行PU之雙向中間預測,運動估計單元122可為了PU之參考區而搜尋RefPicList0中的參考圖像,且亦可為了PU之另一參考區而搜尋RefPicList1中的參考圖像。運動估計單元122可產生參考圖像索引(亦即,參考索引),該等參考圖像索引指示含有參考區的參考圖像在RefPicList0及RefPicList1中的位置。此外,運動估計單元122可產生運動向量,其指示與參考區相關聯之參考位置與PU之樣本區塊之間的空間移位。PU之運動資訊可包括PU的參考索引及運動向量。運動補償單元124可至少部分基於由PU之運動向量指示的參考區處之實際或內插樣本來產生PU的預測性樣本區塊。
根據本發明之一或多項技術,預測處理單元100內的一或多個單
元(諸如,內部預測處理單元126)可執行本文中所描述之技術的一或多者作為視訊編碼程序的部分。
內部預測處理單元126可藉由對PU執行內部預測而產生PU的預測性資料。PU之預測性資料可包括PU之預測性區塊及各種語法元素。內部預測處理單元126可對I截塊、P截塊及B截塊中之PU執行內部預測。
為了對PU執行內部預測,內部預測處理單元126可使用多個內部預測模式來產生PU之預測性資料的多個集合。為了使用一些內部預測模式以產生PU之預測性資料的集合,內部預測處理單元126可在與內部預測模式相關聯之方向上越過PU之樣本區塊自相鄰PU的樣本區塊擴展樣本。假設用於PU、CU及CTU之左至右、頂部至底部之編碼次序,相鄰PU可係在PU之上方、右上、左上或左側。內部預測處理單元126可使用各種數目個內部預測模式,例如,33個定向內部預測模式。在一些實例中,內部預測模式之數目可取決於與PU相關聯之區的大小。此外,如本文中所描述,內部預測處理單元126可實施無損寫碼模式及本文中描述之修改以改善此等寫碼模式。根據本發明之一些技術,內部預測處理單元126可使用區塊內的一或多個原始樣本值來執行區塊內其他樣本值的內部DC預測。
預測處理單元100可自PU之由中間預測處理單元120產生之預測性資料或PU之由內部預測處理單元126產生的預測性資料選擇針對CU之PU的預測性資料。在一些實例中,預測處理單元100基於預測性資料之集合的速率/失真量度來選擇針對CU之PU的預測性資料。所選擇之預測性資料的預測性樣本區塊本文中可被稱作所選擇預測性樣本區塊。
殘餘產生單元102可基於CU的寫碼區塊(例如,明度、Cb及Cr寫
碼區塊)以及CU之PU的所選擇之預測性區塊(例如,明度、Cb及Cr區塊)而產生CU的殘餘區塊(例如,明度、Cb及Cr殘餘區塊)。舉例而言,殘餘產生單元102可產生CU之殘餘區塊,使得殘餘區塊中之每一樣本具有一值,該值等於CU之寫碼區塊中之樣本與CU之PU之對應所選擇預測性區塊中的對應樣本之間的差。
轉換處理單元104可執行四分樹分割以將與CU相關聯之殘餘區塊分割成與CU之TU相關聯的轉換區塊。因此,TU可係與明度轉換區塊及兩個色度轉換區塊相關聯。CU之TU的明度及色度轉換區塊的大小及位置可能或可能並非基於CU之PU的預測區塊的大小及位置。稱作「殘餘四分樹」(RQT)之四分樹結構可包括與區中之每一者相關聯的節點。CU之TU可對應於RQT之葉節點。
轉換處理單元104可藉由將一或多個轉換應用至TU之轉換區塊而產生針對CU之每一TU的轉換係數區塊。轉換處理單元104可將各種轉換應用至與TU相關聯的轉換區塊。舉例而言,轉換處理單元104可將離散餘弦轉換(DCT)、方向轉換或概念上類似之轉換應用至轉換區塊。在一些實例中,轉換處理單元104並不將轉換應用至轉換區塊。在此等實例中,轉換區塊可作為轉換係數區塊進行處置。
量化單元106可使係數區塊中之轉換係數量化。該量化程序可減少與該等係數中之一些或所有相關聯的位元深度。舉例而言,n位元轉換係數在量化期間可經降值舍位至m位元轉換係數,其中n大於m。量化單元106可基於與CU相關聯之量化參數(QP)值來量化與CU之TU相關聯的係數區塊。視訊編碼器20可藉由調整與CU相關聯之QP值而調整應用至與CU相關聯之係數區塊的量化程度。量化可引入資訊之損失,因此經量化之轉換係數相較於原始轉換係數可具有較低精度。
根據本發明之一些實例,對於0 i (M-1)及0 j (N-1),可執行以下操作,其中M為區塊之高度且N為區塊的寬度。在此等實例
中,區塊為包括殘餘值之殘餘區塊,該等殘餘值指示使用內部預測產生之預測性區塊中的樣本值與原始樣本值之間的差。此外,在此等實例中,區塊為轉換跳過區塊。殘餘產生單元102可判定殘餘值r i,j 之經修改殘餘值。若區塊使用垂直內部預測模式來寫碼,則定義為:
在以上等式中,Q(r (i-1),j )指明殘餘值r i,j 左側之一行的殘餘值r i-1,j 的經重新建構殘餘值。若區塊使用水平內部預測模式來寫碼,則定義為:
在以上等式中,Q(r i,(j-1)指明殘餘值r i,j 上方之一列的殘餘值r i,j-1之經重新建構殘餘值。量化單元106可量化經修改殘餘值以產生經量化之經修改殘餘值Q()。
反量化單元108及反轉換處理單元110可分別將反量化及反轉換應用至係數區塊以自係數區塊重新建構殘餘區塊。重新建構單元112可將經重新建構之殘餘區塊加至由預測處理單元100產生之來自一或多個預測性區塊的對應樣本以產生與TU相關聯的經重新建構轉換區塊。藉由以此方式重新建構針對CU之每一TU的轉換區塊,視訊編碼器20可重新建構CU的寫碼區塊。
濾波單元114可執行一或多個解塊操作以減少與CU相關聯之寫碼區塊中的方塊效應假影。經解碼圖像緩衝器116在濾波單元114對經重新建構之寫碼區塊執行一或多個解塊操作之後可儲存經重新建構之寫碼區塊。中間預測處理單元120可使用含有經重新建構之寫碼區塊的參考圖像以執行其他圖像之PU的中間預測。此外,內部預測處理單元126可使用經解碼圖像緩衝器116中之經重新建構寫碼區塊以對與
CU相同之圖像中的其他PU執行內部預測。
熵編碼單元118可自視訊編碼器20之其他功能組件接收資料。舉例而言,熵編碼單元118可自量化單元106接收係數區塊,且可自預測處理單元100接收語法元素。熵編碼單元118可對資料執行一或多個熵編碼操作以產生經熵編碼之資料。舉例而言,熵編碼單元118可對資料執行內容自適應性可變長度寫碼(CAVLC)操作、CABAC操作、變數至變數(V2V)長度寫碼操作、基於語法之內容自適應性二進位算術寫碼(SBAC)操作、機率區間分割熵(PIPE)寫碼操作、指數哥倫布編碼操作或另一類型的熵編碼操作。視訊編碼器20可輸出包括由熵編碼單元118產生之熵編碼資料的位元串流。舉例而言,位元串流可包括表示CU之RQT的資料。
根據本發明之一些實例,熵編碼單元118可判定,若當前區塊在不將轉換應用至殘餘資料情況下產生且當前區塊使用殘餘DPCM被使用所在之內部預測模式而經內部預測,則針對當前區塊禁用符號資料隱藏。當針對當前區塊禁用符號資料隱藏時,熵編碼單元118可在位元串流中包括指示當前區塊中之值為正或負的語法元素。
圖6中之元素130可表示用於在無損寫碼與有損寫碼之間作出選擇的切換器(或概念切換器)。控制信號132可表示來自預測處理單元100之判定無損或有損寫碼的信號,且元素134可表示略過反轉換且反量化程序的解碼迴圈。在一些實例中,無損寫碼消除轉換及量化。在其他實例中,無損寫碼執行轉換且消除僅量化程序。在又其他實例中,無損寫碼可在使用轉換及量化情況下實施,但量化參數可經選擇以便避免任何量化資料損失。此等及其他實例係在本發明之範疇內。
元素136及138表示可用以實施轉換跳過模式的切換器(或概念切換器)。在轉換跳過模式中,殘餘資料不由轉換處理單元104轉換,但由量化單元106量化。因此,元素136之虛線表示兩個可能資料路徑。
在一個資料中,殘餘資料由量化單元106量化,且在另一資料路徑中,殘餘資料不由量化單元106量化。類似地,在視訊編碼器20之解碼迴路中,殘餘資料由反量化單元108量化,但不由反轉換處理單元110來轉換。因此,元素138之虛線表示替代資料路徑,其中殘餘資料藉由反量化單元108反量化,但不由反轉換處理單元110來轉換。
圖7為說明經組態以實施本發明之技術之實例視訊解碼器30的方塊圖。圖7為了解釋之目的而提供,且不限制如在本發明中廣泛例證且描述之技術。為了解釋,本發明在HEVC寫碼之內容脈絡中描述視訊解碼器30。然而,本發明之技術可適用於其他寫碼標準或方法。
在圖7之實例中,視訊解碼器30包括熵解碼單元150、預測處理單元152、反量化單元154、反轉換處理單元156、重新建構單元158、濾波單元160及經解碼圖像緩衝器162。預測處理單元152包括運動補償單元164及內部預測處理單元166。在其他實例中,視訊解碼器30可包括較多、較少或不同功能組件。
視訊解碼器30可接收位元串流。熵解碼單元150可剖析位元串流以解碼來自位元串流的語法元素。熵解碼單元150可熵解碼位元串流中的經熵編碼之語法元素。預測處理單元152、反量化單元154、反轉換處理單元156、重新建構單元158及濾波單元160可基於提取自位元串流之語法元素而產生經解碼視訊資料。
位元串流可包含一系列NAL單元。位元串流之NAL單元可包括經寫碼截塊NAL單元。作為解碼位元串流之部分,熵解碼單元150可自經寫碼截塊NAL單元提取語法元素並熵解碼該等語法元素。經寫碼截塊中之每一者可包括截塊標頭及截塊資料。截塊標頭可含有關於截塊之語法元素。截塊標頭中之語法元素可包括識別與圖像相關聯之PPS的語法元素,該圖像含有截塊。
根據本發明之一些實例,熵解碼單元150判定,若當前區塊在不
將轉換應用至殘餘資料情況下產生且當前區塊使用殘餘DPCM被使用所在之內部預測模式而經內部預測,則針對當前區塊禁用符號資料隱藏。在此等實例中,當針對當前區塊禁用符號資料隱藏時,熵解碼單元150對於區塊中之每一各別有效值自位元串流獲得各別語法元素,從而指示各別有效值為正或負。
除解碼(亦即,獲得)來自位元串流之語法元素外,視訊解碼器30亦可對非經分割CU執行重新建構操作。為了對非經分割CU執行重新建構操作,視訊解碼器30可對CU之每一TU執行重新建構操作。藉由執行CU之每一TU的重新建構操作,視訊解碼器30可重新建構CU之殘餘區塊。
作為對CU之TU執行重新建構操作的部分,反量化單元154可反量化(亦即,去量化)與TU相關聯的係數區塊。反量化單元154可使用與TU之CU相關聯的QP值來判定量化程度,且同樣應用之反量化單元154的反量化程度。即,壓縮比率(亦即,用以表示初始序列之位元數目與經壓縮序列之位元數目的比率)可藉由調整在量化轉換係數時使用之QP的值來控制。壓縮比率亦可取決於所使用之熵寫碼的方法。
在反量化單元154反量化係數區塊之後,反轉換處理單元156可將一或多個反轉換應用至係數區塊以便產生與TU相關聯的殘餘區塊。舉例而言,反轉換處理單元156可將反DCT、反整數轉換、反卡忽南-拉維轉換(Karhunen-Loeve transform,KLT)、反旋轉轉換、反定向轉換或另一反轉換應用至係數區塊。
若PU使用內部預測來編碼,則內部預測處理單元166可執行內部預測以產生PU的預測性區塊。內部預測處理單元166可使用內部預測模式以基於空間相鄰PU之預測區塊來產生PU的預測性區塊(例如,預測性明度、Cb及Cr區塊)。內部預測處理單元166可基於自位元串流解碼之一或多個語法元素而判定PU的內部預測模式。根據本發明之一
些技術,內部預測處理單元166可使用區塊內的一或多個原始樣本值來執行區塊內其他樣本值的內部DC預測。即,內部預測處理單元166可產生預測性區塊。作為產生預測性區塊之部分,內部預測處理單元166可將以下兩者中的至少一者用於當前樣本的DC預測:預測性區塊之當前列中當前樣本左側的無損地重新建構的樣本,及預測性區塊的當前列上方之列的無損地重新建構的樣本。
預測處理單元152可基於提取自位元串流之語法元素而建構第一參考圖像清單(RefPicList0)及第二參考圖像清單(RefPicList1)。此外,若PU使用中間預測來編碼,則熵解碼單元150可提取PU之運動資訊。運動補償單元164可基於PU之運動資訊判定PU的一或多個參考區。運動補償單元164可基於PU之一或多個參考區塊處的樣本區塊產生PU的預測性區塊(例如,明度、Cb及Cr區塊)。根據本發明之一或多項技術,預測處理單元152內的一或多個單元(諸如,內部預測處理單元166)可執行本文中所描述之技術作為視訊解碼程序的部分。
重新建構單元158可使用與CU之TU相關聯的轉換區塊(例如,明度、Cb及Cr轉換區塊)以及CU之PU的預測性區塊(例如,明度、Cb及Cr預測性區塊),亦即內部預測資料或中間預測資料(在適用時),來重新建構CU的寫碼區塊(例如,明度、Cb及Cr寫碼區塊)。舉例而言,重新建構單元158可將明度、Cb及Cr轉換區塊之樣本加至預測性明度、Cb及Cr區塊的對應樣本以重新建構CU的明度、Cb及Cr寫碼區塊。
根據本發明之一些實例,熵解碼單元150可產生殘餘值之區塊。此區塊可為轉換跳過區塊。此外,區塊可為包括殘餘值之殘餘區塊,該等殘餘值指示原始樣本值與使用內部預測產生之預測性區塊中的樣本值之間的差。此外,對於0 i (M-1)及0 j (N-1)(其中M為區塊之高度且N為區塊的寬度,反量化單元154可計算區塊中殘餘值r i,j
的經重新建構殘餘值Q(r i,j )。若區塊使用垂直內部預測模式(或在一些實例中近垂直內部預測模式)來寫碼,則Q(r i,j )定義為:
在以上等式中,Q()指明經修改殘餘值之經量化版本,經修改殘餘值為殘餘值r i,j 之經修改版本,且Q(r i-1,j )為殘餘值r i,j 左側之一行(亦即,對應於殘餘值r i,j 左側之一行)的殘餘值的經重新建構殘餘值。熵解碼單元150可以與熵解碼單元150判定Q(r i,j )相同的方式先前已判定出Q(r i-1,j )。若區塊使用水平內部預測模式來寫碼,則Q(r i,j )定義為:
在以上等式中,Q(r i,j-1)為殘餘值r i,j 上方之一列的殘餘值之經重新建構殘餘值。熵解碼單元150可以與熵解碼單元150判定Q(r i,j )相同的方式先前已判定出Q(r i,j-1)。重新建構單元158可將經重新建構殘餘值Q(r i,j )加至預測值以重新建構樣本值。
濾波單元160可執行解塊操作以減少與CU之寫碼區塊(例如,明度、Cb及Cr寫碼區塊)相關聯的區塊效應假影。視訊解碼器30可將CU之寫碼區塊(例如,明度、Cb及Cr寫碼區塊)儲存於經解碼圖像緩衝區162中。經解碼圖像緩衝器162可提供參考圖像以用於隨後運動補償、內部預測及顯示器件(諸如,圖1之顯示器件32)上的呈現。舉例而言,視訊解碼器30可基於經解碼圖像緩衝區162中之區塊(例如,明度、Cb及Cr區塊)執行其他CU之PU的內部預測或中間預測操作。以此方式,視訊解碼器30可自位元串流提取有效明度係數區塊的轉換係數層級,反量化轉換係數層級,將轉換應用至轉換係數層級以產生轉換區塊,至少部分基於轉換區塊產生寫碼區塊,且輸出寫碼區塊以供顯示。
元素170可表示有損壓縮之正常寫碼路徑,且元素172可表示略過反轉換及反量化程序的略過寫碼路徑。此等不同路徑為僅例示性的,且無損寫碼可在五任何略過情況下執行。在一些實例中,無損寫碼消除轉換及量化。在其他實例中,無損寫碼執行轉換且消除僅量化程序。在又其他實例中,無損寫碼可在使用轉換及量化情況下實施,但量化參數可經選擇以便避免任何量化資料損失。元素174表示可用於轉換跳過模式之路徑的實例。在轉換跳過模式中,殘餘資料可藉由反量化單元154反量化,但反轉換處理單元156之反轉換可被跳過。此等及其他實例係在本發明之範疇內。
圖8A係根據本發明之一或多項技術的說明視訊編碼器20之實例操作的流程圖。在本發明之其他實例中,類似於圖8A之操作的操作可包括更多、更少或不同動作。此外,在一些實例中,圖8A之操作的一或多個動作可被省略或重新配置。舉例而言,在圖8A及圖8B中,虛線指示在一些實例中並不執行的動作。
在圖8A之實例中,視訊編碼器20可產生預測性區塊(200)。作為產生預測性區塊之部分,視訊編碼器20可將以下兩者中的至少一者用於當前樣本的DC預測:預測性區塊之當前列中當前樣本左側的無損地重新建構的樣本,及預測性區塊的當前列上方之列的無損地重新建構的樣本(202)。在一些實例中,視訊解碼器30以水平光柵掃描次序、垂直光柵掃描次序、對角線掃描次序或Z字形掃描次序來處理預測性區塊中的樣本。在此等實例中,處理預測性區塊中之樣本可包含判定樣本之DC預測,以及無損地重新建構樣本。此外,在圖8A之實例中,視訊編碼器20可產生殘餘樣本,該等殘餘樣本具有等於寫碼區塊中之樣本與預測性區塊中之對應樣本之間的差的值。
圖8B係根據本發明之一或多項技術的說明視訊解碼器30之實例操作的流程圖。在本發明之其他實例中,類似於圖8B之操作的操作
可包括更多、更少或不同動作。此外,在一些實例中,圖8B之操作的一或多個動作可被省略或重新配置。
在圖8B之實例中,視訊解碼器30可產生預測性區塊(250)。作為產生預測性區塊之部分,視訊解碼器30可將以下兩者中的至少一者用於當前樣本的DC預測:預測性區塊之當前列中當前樣本左側的無損地重新建構的樣本,及預測性區塊的當前列上方之列的無損地重新建構的樣本(252)。在一些實例中,視訊解碼器30以水平光柵掃描次序、垂直光柵掃描次序、對角線掃描次序或Z字形掃描次序來處理預測性區塊中的樣本。在此等實例中,處理預測性區塊中之樣本可包含判定樣本的DC預測。此外,在圖8B之實例中,視訊解碼器30可藉由將預測性區塊之樣本加至對應殘餘樣本來重新建構寫碼區塊(254)。
圖9A係根據本發明之一或多項技術的說明視訊編碼器20之實例操作的流程圖。在本發明之其他實例中,類似於圖9A之操作的操作可包括更多、更少或不同動作。此外,在一些實例中,圖9A之操作的一或多個動作可被省略或重新配置。圖9A之實例參看展示於圖6中之組件來解釋。然而,圖9A之操作可藉由不同於展示於圖6中之視訊編碼器的視訊編碼器之組件及類型來執行。
如圖9A之實例中所指示,視訊編碼器20之殘餘產生單元102可產生殘餘值之區塊(350)。在此實例中,殘餘值之區塊為轉換跳過區塊。區塊可為包括殘餘值之殘餘區塊,該等殘餘值指示原始樣本值與使用內部預測產生之預測性區塊中的樣本值之間的差。視訊寫碼器可對區塊之每一位置(i,j)執行圖9A的剩餘動作,其中0 i (M-1)及0 j (N-1),M為區塊之高度且N為區塊的寬度。
此外,視訊編碼器20之殘餘產生單元102可判定區塊中殘餘值r i,j 的經修改殘餘值(352)。若區塊使用垂直內部預測模式(或在一些實例中,如HEVC工作草案10中定義之在22與30之間的內部預測模式)來
寫碼,則定義為:
Q(r (i-1),j )指明殘餘值r i-1,j (亦即,對應於殘餘值r i-1,j )的經重新建構殘餘值。若區塊使用水平內部預測模式(或在一些實例中在6與14之間的內部預測模式)來寫碼,則定義為:
Q(r i,(j-1)指明殘餘值r i,j-1的經重新建構殘餘值。
此外,視訊編碼器20之量化單元106可量化經修改殘餘值以產生經量化之經修改殘餘值Q()(354)。視訊編碼器20可在位元串流中發信經量化之經修改殘餘值Q()(356)。舉例而言,視訊編碼器20可產生指示經量化之經修改殘餘值Q()的一或多個語法元素。在此實例中,視訊編碼器20之熵編碼單元118可熵編碼一或多個語法元素,且將所得資料包括於位元串流中。
此外,在圖9A之實例中,視訊編碼器20可計算經重新建構殘餘值Q(r i,j )(358)。在一些實例中,視訊編碼器20可計算經重新建構殘餘值Q(r i,j )作為回饋迴路之部分,以判定經重新建構之樣本值以供用於其他內部預測或中間預測。若區塊使用垂直內部預測模式(或在一些實例中近垂直內部預測模式)來寫碼,則經重新建構殘餘值Q(r i,j )可定義為:
若區塊使用水平內部預測模式(或在一些實例中近水平內部預測模式)來寫碼,則Q(r i,j )可定義為:
因為區塊為轉換跳過區塊,所以反轉換處理單元110並不將反轉
換應用至殘餘值r i,j 。因此,視訊編碼器20之重新建構單元112可將經重新建構殘餘值Q(r i,j )加至預測值以判定重新建構樣本值(360)。預測值可為預測性區塊中的樣本。視訊編碼器20之預測處理單元100可將經重新建構之樣本值用於其他區塊的內部預測或中間預測(362)。
圖9B係根據本發明之一或多項技術的說明視訊解碼器30之實例操作的流程圖。在本發明之其他實例中,類似於圖9B之操作的操作可包括更多、更少或不同動作。此外,在一些實例中,圖9B之操作的一或多個動作可被省略或重新配置。圖9B之實例參看展示於圖7中之組件來解釋。然而,圖9B之操作可藉由不同於展示於圖7中之視訊解碼器的視訊解碼器之組件及類型來執行。
視訊解碼器30可對轉換跳過區塊之每一位置(i,j)執行圖9B的操作,其中0 i (M-1)及0 j (N-1),M為區塊之高度且N為區塊的寬度。區塊可為包括殘餘值之殘餘區塊,該等殘餘值指示原始樣本值與使用內部預測產生之預測性區塊中的樣本值之間的差。如圖9A之實例中所指示,視訊解碼器30之熵解碼單元150可自位元串流獲得指示經修改之經量化殘餘值Q()的一或多個語法元素(400)。熵解碼單元150可熵解碼一或多個語法元素中的一些或全部。
此外,在圖9B之實例中,視訊解碼器30之反量化單元154可計算殘餘值r i,j 的經重新建構殘餘值Q(r i,j )(402)。在一些實例中,殘餘值r i,j 如本發明中在其他地方所描述係經位元移位的殘餘值。若區塊使用垂直內部預測模式來寫碼,則Q(r i,j )定義為:
Q()指明經修改殘餘值之經量化版本,經修改殘餘值為殘餘值r i,j 之經修改版本,且Q(r i-1,j )為殘餘值r i,j 左側之一行的殘餘值的經重新建構殘餘值。若區塊使用水平內部預測模式來寫碼,則Q(r i,j )
定義為:
Q(r i,j-1)為殘餘值r i,j 上方之一列的殘餘值之經重新建構殘餘值。
若區塊使用垂直內部預測模式來寫碼,則經修改殘餘值定義為:
若區塊使用水平內部預測模式來寫碼,則經修改殘餘值定義為:
因為區塊為轉換跳過區塊,所以反轉換處理單元156並不將反轉換應用至經重新建構殘餘值Q(r i,j )。視訊解碼器30之重新建構單元158可將經重新建構殘餘值Q(r i,j )加至預測值以重新建構樣本值(406)。預測值可為預測性區塊中的樣本。
圖10A係根據本發明之一或多項技術的說明用於符號資料隱藏之實例視訊編碼器操作的流程圖。在本發明之其他實例中,類似於圖10A之操作的操作可包括更多、更少或不同動作。此外,在一些實例中,圖10A之操作的一或多個動作可被省略或重新配置。
在圖10A之實例中,視訊編碼器20產生包括位元序列之位元串流,位元序列形成視訊資料之經寫碼表示(600)。作為產生位元串流的部分,視訊編碼器20可判定,若當前區塊在不將轉換應用至殘餘資料情況下產生且當前區塊使用殘餘DPCM技術被使用所在之內部預測模式而經內部預測,則針對當前區塊禁用符號資料隱藏(602)。在圖10A之上下文中,當前區塊可為殘餘DPCM技術已應用至的殘餘樣本區塊的4×4子區塊。隨後,在圖10A之實例中,視訊編碼器20可輸出
位元串流(604)。
在一些實例中,當針對當前區塊禁用符號資料隱藏時,視訊編碼器20在位元串流中對於當前區塊中之每一各別有效殘餘值可發信語法元素,該語法元素指示各別有效殘餘值為正或負。在此等實例中,當針對於當前區塊不禁用符號資料隱藏時,視訊編碼器20可不在位元串流中發信指示當前區塊中至少一有效殘餘值或轉換係數的值為正或負的語法元素。
圖10B係根據本發明之一或多項技術的說明用於符號資料隱藏之實例視訊解碼器操作的流程圖。在本發明之其他實例中,類似於圖10B之操作的操作可包括更多、更少或不同動作。此外,在一些實例中,圖10B之操作的一或多個動作可被省略或重新配置。
在圖10B之實例中,視訊解碼器30自位元串流獲得包括位元序列之語法元素,位元序列形成視訊資料之經寫碼表示(650)。作為自位元串流獲得語法元素的部分,視訊解碼器30可判定,若當前區塊在不將轉換應用至殘餘資料情況下產生且當前區塊使用殘餘DPCM技術被使用所在之內部預測模式而經內部預測,則針對當前區塊禁用符號資料隱藏(652)。在圖10B之上下文中,當前區塊可為殘餘DPCM技術已應用至的殘餘樣本區塊的4×4子區塊。隨後,在圖10B之實例中,視訊解碼器30可至少部分基於自位元串流獲得的語法元素來重新建構視訊資料的圖像(654)。
在一些實例中,當針對當前區塊禁用符號資料隱藏時,視訊解碼器30自位元串流獲得對於當前區塊中之每一各別有效殘餘值的語法元素,該語法元素指示各別有效殘餘值為正或負。在此等實例中,當針對當前區塊不禁用符號資料隱藏時,視訊解碼器30可不自位元串流獲得指示當前區塊中至少一有效殘餘值或轉換係數的值為正或負的語法元素。
以下段落提供根據本發明之一或多項技術的第一系列實例。
實例1. 一種寫碼視訊資料之方法,該方法包含:使用視訊資料區塊內之一或多個原始樣本值來執行區塊內其他樣本值的內部DC預測。
實例2. 如實例1之方法,其中使用區塊內之一或多個原始樣本值來執行區塊內其他樣本值的預測包含:使用在掃描次序上較早發生之原始樣本值來預測在掃描次序上較遲發生的樣本值。
實例3. 如實例1之方法,其中使用區塊內之一或多個原始樣本值來執行區塊內其他樣本值的預測包含:使用先前掃描列之原始樣本值來預測隨後掃描列的樣本值。
實例4. 如實例1之方法,其中使用區塊內之一或多個原始樣本值來執行區塊內其他樣本值的預測包含:使用對應於樣本之因果性相鄰樣本的原始樣本值來預測樣本的樣本值。
實例5. 如實例1至4中任一項之方法,其中對於當前樣本P i,j ,0 i (M-1),0 j (N-1),DC預測值DC i,j 計算為DC i,j =(P i,j-1+P i-1,j +1)>>1。
實例6. 如實例1至4中任一項之方法,其中對於當前樣本P i,j ,0 i (M-1),0 j (N-1),DC預測值DC i,j 計算為DC i,j =(P i,j-1+P i-1,j )>>1。
實例7. 如實例1至6中任一項之方法,其進一步包含:以管線作業化方式執行DC預測。
實例8. 如實例7之方法,其中DC預測之一個循環延遲存在於區塊之數個列之間。
實例9. 如實例1至4中任一項之方法,其中DC預測值DC i,j ,0 i (M-1),0 j (N-1)計算為DC i,j =(P i,j-1+P i-1,j -P i-1,j-1)。
實例10. 如實例9之方法,其中DC i,j+1可在不等待P i,j 情況下計算為DC i,j+1=((P i,j-1+P i-1,j -P i-1,j-1)+r i,j +P i-1,j+1-P i-1,j ),其中r i,j 為樣本P i,j 的預測誤差
殘餘。
實例11. 如實例1至4中任一項之方法,其中左側樣本、左上樣本及右上樣本中的數個可用樣本用於DC預測。
實例12. 如實例11之方法,其中DC預測值DC i,j ,0 i (M-1),0 j (N-1)計算為以下兩者中的一者:DC i,j =(P i,j-1+P i-1,j +P i-1,j-1+P i-1,j+1+2)>>2,或DC i,j =(P i,j-1+P i-1,j +P i-1,j-1+P i-1,j+1)>>2。
實例13. 實例12之方法,其中對於最後行中之樣本(j=(N-1),i>0),右上樣本不可用,且頂部及右上樣本(P i-1j 及P i-1,j+1)具有相同值。
實例14. 如實例13之方法,其中右上樣本不用於DC預測。
實例15. 一種寫碼視訊資料之方法,該方法包含:對小於轉換單元(TU)大小的區塊大小執行DC預測。
實例16. 如實例15之方法,其中無關於TU大小,DC預測對2×2區塊大小執行,其中至少一些TU大小大於2×2區塊大小。
實例17. 如實例15或16之方法,其中對於樣本P2i,2j、P2i,2j+1、P2i+1,2j及P2i+1,2j+1,DC預測值計算為以下各者中的一者:(P 2i-1,2j +P 2i-1,2j+1+P 2i,2j-1+P 2i+1,2j-1+2)>>2或(P 2i-1,2j +P 2i-1,2j+1+P 2i,2j-1+P 2i+1,2j-1)>>2,其中0 i ((M/2)-1),0 j ((N/2)-1)。
實例18. 如實例17之方法,其中M及N皆為偶數。
實例19. 如實例18之方法,其中可並行地處理四個樣本。
實例20. 一種寫碼視訊資料之方法,該方法包含:對2×2區塊大小執行DC預測而無關於轉換單元(TU)的大小。
實例21. 一種寫碼視訊資料之方法,該方法包含:在執行正常DC預測值後顯露殘餘之間的相關。
實例22. 如實例21之方法,其中r i,j ,0 i (M-1),0 j (N-1)表示如
根據HEVC標準中所指定執行DC預測之後的預測殘餘,該方法進一步包含:根據以下兩者產生中間值s i,j ,0 i (M-1),0 j (N-1):s i,j =r i,2j ,s i,(j+(N/2))=r i,2j -r i,2j+1,0 i (M-1),0 j ((N/2)-1)。
實例23. 如實例22之方法,該方法進一步包含:根據下式產生經修改殘餘值t i,j ,0 i (M-1),0 j (N-1):t i,j =s 2i,j ,t (i+(M/2)),j =s 2i,j -s 2i+1,j ,0 i ((M/2)-1),0 j (N-1)。
實例24. 如實例23之方法,其中經修改之殘餘t i,j 經熵寫碼。
實例25. 如實例21之方法,其中方法在解碼期間執行,且其中:s 2i,j =t i,j ,s 2i+1,j =t i,j -t (i+(M/2)),j ,0 i ((M/2)-1),0 j (N-1)且r i,2j =s i,j ,r i,2j+1=s i,j -s i,(j+(N/2)),0 i (M-1),0 j ((N/2)-1)。
實例26. 如實例25之方法,其中M及N皆為偶數。
實例27. 如實例21之方法,其中:s i,j =r i,2j+1,s i,(j+(N/2))=P i,2j -((P i,2j-1+P i,2j+1+1)>>1),0 i<M,0 j<(N/2),t i,j =s 2i+1.j ,t (i+(M/2)),j =s 2i,j -((s 2i+1,j +s 2i+1,j +1)>>1),0 i<M/2,0 j<N。
實例28. 如實例1至27之任一組合之方法。
實例29. 如實例1至24及27中任一項或其組合之方法,其中方法由編碼器執行,且其中寫碼係指編碼。
實例30. 如實例1至21且25至27中任一項或其組合之方法,其中方法由解碼器執行,且其中寫碼係指解碼。
實例31. 一種經組態以執行實例1至27中任一項或其組合之方法的系統。
實例32. 一種儲存有指令之非暫時性電腦可讀儲存媒體,該等指令在執行時使得一或多個處理器執行實例1至27中任一項或其組合之方法。
實例33. 一種經組態以執行實例1至24及27中任一項或其組合之方法的視訊編碼器件。
實例34. 一種經組態以執行實例1至21及25至27中任一項或其組合之方法的視訊解碼器件。
實例35. 一種包含用於執行實例1至24及27中任一項或其組合之方法之步驟之構件的視訊編碼器件。
實例36. 一種包含用於執行實例1至21及25至27中任一項或其組合之方法之步驟的構件之視訊解碼器件。
以下段落提供根據本發明之一或多項技術的第二系列實例。
實例1. 一種寫碼視訊資料之方法,該方法包含:使用視訊資料區塊內之一或多個原始樣本值來執行區塊內其他樣本值的預測。
實例2. 如實例1之方法,其中使用區塊內之一或多個原始樣本值來執行區塊內其他樣本值的預測包含:使用對應於區塊之最後列及最後行的原始樣本值來執行其他樣本值的預測。
實例3. 如實例1之方法,其中使用區塊內之一或多個原始樣本值來執行區塊內其他樣本值的預測包含:使用對應於區塊之第一列及第一行的原始樣本值來執行其他樣本值的預測。
實例4. 如實例1至3中任一項之方法,其中圖4說明用於執行其他樣本值之預測的樣本值的樣本位置。
實例5. 如實例1至4中任一項之方法,其中方法針對無損寫碼模式執行。
實例6. 如實例1至5中任一項之方法,其中方法針對平面寫碼模式執行。
實例7. 如實例1至5中任一項之方法,其中方法針對角度內部寫碼模式執行。
實例8. 如實例1至7中任一項之方法,方法進一步包含:對藉由
預測產生之殘餘值集合執行旋轉操作;及相對於經旋轉之殘餘值集合執行熵寫碼。
實例9. 如實例8之方法,其中殘餘值集合為經轉換值。
實例10. 如實例1至9中任一項之方法,其進一步包含執行預測程序以寫碼原始樣本值。
實例11. 如實例1至10之任一組合之方法。
實例12. 如實例1至10中任一項或其組合之方法,其中方法由編碼器執行,且其中寫碼係指編碼。
實例13. 如實例1至10中任一項或其組合之方法,其中方法由解碼器執行,且其中寫碼係指解碼。
實例14. 一種經組態以執行實例1至10中任一項或其組合之方法的系統。
實例15. 一種儲存有指令之非暫時性電腦可讀儲存媒體,該等指令在執行時使得一或多個處理器執行實例1至10中任一項或其組合之方法。
實例16. 一種經組態以執行實例1至10中任一項或其組合之方法的視訊編碼器件。
實例17. 一種經組態以執行實例1至10中任一項或其組合之方法的視訊解碼器件。
實例18. 一種包含用於執行實例1至10中任一項或其組合之方法之步驟的構件之視訊編碼器件。
實例19. 一種包含用於執行實例1至10中任一項或其組合之方法之步驟的構件之視訊解碼器件。
實例20. 本發明中描述之任何器件或方法。
以下段落提供根據本發明之一或多項技術的第三系列實例。
實例1. 一種寫碼視訊資料之方法,該方法包含:判定殘餘樣本
之經修改陣列;針對經修改殘餘樣本判定殘餘樣本之去量化版本;及將殘餘樣本之去量化版本加至預測值以判定經重新建構值。
實例2. 如實例1之方法,其進一步包含:使用DPCM寫碼去量化殘餘值。
實例3. 如實例1之方法,其進一步包含:使用DPCM寫碼去量化殘餘值的經位元移位版本。
實例4. 如實例1至3中任一項之方法,其中方法針對近垂直內部預測模式來執行。
實例5. 如實例1至3中任一項之方法,其中方法針對近水平內部預測模式來執行。
實例6. 如實例1至5中任一項之方法,其進一步包含:禁用符號資料隱藏。
實例7. 如實例1至5中任一項之方法,其進一步包含:基於區塊類型來禁用符號資料隱藏。
實例8. 如實例1至5中任一項之方法,其進一步包含:選擇性地禁用符號資料隱藏。
實例9. 如實例1至8中任一項之方法,其進一步包含本發明中所描述的任何技術。
實例10. 一種寫碼視訊資料之方法,該方法包含:判定殘餘樣本之經修改陣列;針對經修改殘餘樣本判定殘餘樣本的經量化版本;及在經編碼位元串流中發信殘餘樣本的經量化版本。
實例11. 如實例10之方法,其中方法針對近垂直內部預測模式來執行。
實例12. 如實例10之方法,其中方法針對近水平內部預測模式來執行。
實例13. 如實例10至12中任一項之方法,其進一步包含本發明中
所描述的任何技術。
實例14. 如實例10至13中任一項或其組合之方法,其中方法由編碼器執行,且其中寫碼係指編碼。
實例15. 如實例1至9中任一項或其組合之方法,其中方法由解碼器執行,且其中寫碼係指解碼。
實例16. 一種經組態以執行實例1至15中任一項或其組合之方法的系統。
實例17. 一種儲存有指令之非暫時性電腦可讀儲存媒體,該等指令在執行時使得一或多個處理器執行實例1至13中任一項或其組合之方法。
實例18. 一種經組態以執行實例10至13中任一項或其組合之方法的視訊編碼器件。
實例19. 一種經組態以執行實例1至9中任一項或其組合之方法的視訊解碼器件。
實例20. 一種包含用於執行實例10至13中任一項或其組合之方法之步驟的構件之視訊編碼器件。
實例21. 一種包含用於執行實例1至9中任一項或其組合之方法之步驟的構件之視訊解碼器件。
實例22. 包括於本發明中之本發明中描述的任何器件或方法。
以下段落提供根據本發明之一或多項技術的第四系列實例。
實例1. 一種用於解碼視訊資料之方法,該方法包含:接收使用無損寫碼及內部預測編碼的視訊資料區塊;根據殘餘差分脈碼調變(DPCM)程序自經無損寫碼之視訊資料區塊重新建構殘餘樣本;及使用殘餘樣本根據內部預測模式來執行內部預測以產生經重新建構的視訊樣本,其中內部預測模式並非垂直內部預測模式及水平內部預測模式中的一者。
實例2. 如實例1之方法,其中內部預測模式為幾乎垂直內部預測模式及幾乎水平內部預測模式中的一者。
實例3. 如實例2之方法,其中幾乎垂直內部預測模式為內部預測模式22至30中的一者,且其中幾乎水平內部預測模式為如在HEVC工作草案9中所定義之內部模式的內部預測模式6至14中的一者。
實例4. 如實例2之方法,其中殘餘DPCM程序為用於幾乎垂直內部預測模式的垂直殘餘DPCM程序,且其中殘餘DPCM程序為用於幾乎水平內部預測模式的水平殘餘DPCM。
實例5. 如實例1之方法,其中內部預測模式為向右下對角線內部預測模式,且其中根據殘餘DPCM程序重新建構殘餘樣本包含根據
重新建構殘餘樣本,其中r為經重新建構殘餘樣本,為視訊資料之經無損寫碼區塊的樣本,M及N定義視訊資料區塊之大小,且i及j定義視訊資料區塊內樣本的位置。
實例6. 如實例1之方法,其中內部預測模式為向左下對角線內部預測模式,且其中根據殘餘DPCM程序重新建構殘餘樣本包含根據等式重新建構殘餘樣本:
其中r為經重新建構殘餘樣本,為視訊資料之經無損寫碼區塊的樣本,M及N定義視訊資料區塊之大小,且i及j定義視訊資料區塊內樣本的位置。
實例7. 如實例1之方法,其中內部預測模式為向右上對角線內部預測模式,且其中根據殘餘DPCM程序重新建構殘餘樣本包含根據
等式重新建構殘餘樣本:
其中r為經重新建構殘餘樣本,為視訊資料之經無損寫碼區塊的樣本,M及N定義視訊資料區塊之大小,且i及j定義視訊資料區塊內樣本的位置。
實例8. 如實例1至7之任一組合之方法。
實例9. 如實例1之方法,其中內部預測模式為幾乎垂直內部預測模式,方法進一步包含:針對經無損地寫碼之視訊資料區塊的第一列不根據殘餘DPCM程序重新建構殘餘樣本。
實例10. 如實例1之方法,其中內部預測模式為幾乎水平內部預測模式,方法進一步包含:針對經無損地寫碼之視訊資料區塊的第一行不根據殘餘DPCM程序重新建構殘餘樣本。
實例11. 如實例1之方法,其中內部預測模式為DC內部預測模式及平面內部預測模式中的一者,且其中根據殘餘DPCM程序來重新建構殘餘樣本包含根據垂直殘餘DPCM程序及水平DPCM程序中的一者來重新建構殘餘樣本。
實例12. 如實例1之方法,其中內部預測模式為DC內部預測模式及平面內部預測模式中的一者,且其中根據殘餘DPCM程序來重新建構殘餘樣本包含根據垂直殘餘DPCM程序及水平DPCM程序兩者來重新建構殘餘樣本。
實例13. 如實例1之方法,其中內部預測模式為平面內預測模式,且其中根據殘餘DPCM程序來重新建構殘餘樣本包含根據對角線DPCM程序、水平DPCM程序及垂直DPCM程序來重新建構殘餘樣本。
實例14. 一種用於編碼視訊資料之方法,該方法包含:接收視訊資料區塊;根據內部預測模式來對視訊資料區塊執行內部預測以產生樣本的預測性區塊及殘餘樣本,其中內部預測模式並非垂直內部預測模式及水平內部預測模式中的一者;及使用殘餘差分脈碼調變(DPCM)程序自殘餘樣本產生無損地寫碼的視訊資料區塊。
實例15. 如實例14之方法,其中內部預測模式為幾乎垂直內部預測模式及幾乎水平內部預測模式中的一者。
實例16. 如實例15之方法,其中幾乎垂直內部預測模式為內部預測模式22至30中的一者,且其中幾乎水平內部預測模式為內部預測模式6至14中的一者。
實例17. 如實例15之方法,其中殘餘DPCM程序為用於幾乎垂直內部預測模式的垂直殘餘DPCM程序,且其中殘餘DPCM程序為用於幾乎水平內部預測模式的水平殘餘DPCM。
實例18. 如實例14之方法,其中內部預測模式為向右下對角線內部預測模式,且其中使用殘餘DPCM程序自殘餘樣本產生無損地寫碼的視訊資料區塊包含根據以下等式產生無損地寫碼的視訊資料區塊:
其中r為殘餘樣本,為視訊資料之經無損寫碼區塊的樣本,M及N定義視訊資料區塊之大小,且i及j定義視訊資料區塊內樣本的位置。
實例19. 如實例14之方法,其中內部預測模式為向右下對角線內部預測模式,且其中使用殘餘DPCM程序自殘餘樣本產生無損地寫碼的視訊資料區塊包含根據以下等式產生無損地寫碼的視訊資料區塊:
其中r為殘餘樣本,為視訊資料之經無損寫碼區塊的樣本,M及N定義視訊資料區塊之大小,且i及j定義視訊資料區塊內樣本的位置。
實例20. 如實例14之方法,其中內部預測模式為向右下對角線內部預測模式,且其中使用殘餘DPCM程序自殘餘樣本產生無損地寫碼的視訊資料區塊包含根據以下等式產生無損地寫碼的視訊資料區塊:
其中r為殘餘樣本,為視訊資料之經無損寫碼區塊的樣本,M及N定義視訊資料區塊之大小,且i及j定義視訊資料區塊內樣本的位置。
實例21. 如實例14至20之任一組合之方法。
實例22. 如實例14之方法,其中內部預測模式為幾乎垂直內部預測模式,方法進一步包含:針對視訊資料區塊之第一列不使用殘餘DPCM程序產生經無損地寫碼的視訊資料區塊。
實例23. 如實例14之方法,其中內部預測模式為幾乎水平內部預測模式,方法進一步包含:針對視訊資料區塊之第一行不使用殘餘DPCM程序產生經無損地寫碼的視訊資料區塊。
實例24. 如實例14之方法,其中內部預測模式為DC內部預測模式及平面內部預測模式中的一者,且其中使用殘餘DPCM程序自殘餘樣本產生經無損地寫碼的視訊資料區塊包含根據垂直殘餘DPCM程序及水平DPCM程序中的一者自殘餘樣本產生經無損地寫碼的視訊資料區塊。
實例25. 如實例14之方法,其中內部預測模式為DC內部預測模式及平面內部預測模式中的一者,且其中使用殘餘DPCM程序自殘餘樣本產生經無損地寫碼的視訊資料區塊包含根據垂直殘餘DPCM程序及水平DPCM程序兩者自殘餘樣本產生經無損地寫碼的視訊資料區塊。
實例26. 如實例14之方法,其中內部預測模式為平面內部預測模式,且其中使用殘餘DPCM程序自殘餘樣本產生經無損地寫碼的視訊資料區塊包含根據對角線DPCM程序、水平DPCM程序及垂直DPCM程序自殘餘樣本產生經無損地寫碼的視訊資料區塊。
實例27. 一種經組態以解碼視訊資料之裝置,該裝置包含:用於接收使用無損寫碼及內部預測而編碼之視訊資料區塊的構件;用於根據殘餘差分脈碼調變(DPCM)程序自經無損寫碼之視訊資料區塊重新建構殘餘樣本的構件;及用於使用殘餘樣本根據內部預測模式來執行內部預測以產生經重新建構的視訊樣本的構件,其中內部預測模式並非垂直內部預測模式及水平內部預測模式中的一者。
實例28. 如實例27之裝置,其中內部預測模式為幾乎垂直內部預測模式及幾乎水平內部預測模式中的一者。
實例29. 如實例28之裝置,其中幾乎垂直內部預測模式為內部預測模式22至30中的一者,且其中幾乎水平內部預測模式為內部預測模式6至14中的一者。
實例30. 如實例28之裝置,其中殘餘DPCM程序為用於幾乎垂直內部預測模式的垂直殘餘DPCM程序,且其中殘餘DPCM程序為用於幾乎水平內部預測模式的水平殘餘DPCM。
實例31. 如實例27之裝置,其中內部預測模式為向右下對角線內部預測模式,且其中用於根據殘餘DPCM程序重新建構殘餘樣本的構件包含用於根據以下等式重新建構殘餘樣本的構件:
其中r為經重新建構殘餘樣本,為視訊資料之經無損寫碼區塊的樣本,M及N定義視訊資料區塊之大小,且i及j定義視訊資料區塊內樣本的位置。
實例32. 如實例27之裝置,其中內部預測模式為向左下對角線內部預測模式,且其中用於根據殘餘DPCM程序重新建構殘餘樣本的構件包含用於根據以下等式重新建構殘餘樣本的構件:
其中r為經重新建構殘餘樣本,為視訊資料之經無損寫碼區塊的樣本,M及N定義視訊資料區塊之大小,且i及j定義視訊資料區塊內樣本的位置。
實例33. 如實例27之裝置,其中內部預測模式為向右上對角線內部預測模式,且其中用於根據殘餘DPCM程序重新建構殘餘樣本的構件包含用於根據以下等式重新建構殘餘樣本的構件:
其中r為經重新建構殘餘樣本,為視訊資料之經無損寫碼區塊的樣本,M及N定義視訊資料區塊之大小,且i及j定義視訊資料區塊內樣本的位置。
實例34. 如實例27至33之任一組合之裝置。
實例35. 如實例27之裝置,其中內部預測模式為幾乎垂直內部預測模式,裝置進一步包含:用於針對經無損地寫碼之視訊資料區塊的第一列不根據殘餘DPCM程序重新建構殘餘樣本的構件。
實例36. 如實例27之裝置,其中內部預測模式為幾乎水平內部預測模式,裝置進一步包含:用於針對經無損地寫碼之視訊資料區塊的第一行不根據殘餘DPCM程序重新建構殘餘樣本的構件。
實例37. 如實例27之裝置,其中內部預測模式為DC內部預測模式及平面內部預測模式中的一者,且其中用於根據殘餘DPCM程序來重新建構殘餘樣本的構件包含用於根據垂直殘餘DPCM程序及水平DPCM程序中的一者來重新建構殘餘樣本的構件。
實例38. 如實例27之裝置,其中內部預測模式為DC內部預測模式及平面內部預測模式中的一者,且其中用於根據殘餘DPCM程序來重新建構殘餘樣本的構件包含用於根據垂直殘餘DPCM程序及水平DPCM程序兩者來重新建構殘餘樣本的構件。
實例39. 如實例27之裝置,其中內部預測模式為平面內預測模式,且其中用於根據殘餘DPCM程序來重新建構殘餘樣本的構件包含用於根據對角線DPCM程序、水平DPCM程序及垂直DPCM程序來重新建構殘餘樣本的構件。
實例40. 一種經組態以編碼視訊資料之裝置,該裝置包含:用於接收視訊資料區塊的構件;用於根據內部預測模式來對視訊資料區塊執行內部預測以產生殘餘樣本的構件,其中內部預測模式並非垂直內部預測模式及水平內部預測模式中的一者;及用於使用殘餘差分脈碼調變(DPCM)程序自殘餘樣本產生無損地寫碼的視訊資料區塊的構件。
實例41. 如實例40之裝置,其中內部預測模式為幾乎垂直內部預測模式及幾乎水平內部預測模式中的一者。
實例42. 如實例41之裝置,其中幾乎垂直內部預測模式為內部預測模式22至30中的一者,且其中幾乎水平內部預測模式為內部預測模式6至14中的一者。
實例43. 如實例41之裝置,其中殘餘DPCM程序為用於幾乎垂直內部預測模式的垂直殘餘DPCM程序,且其中殘餘DPCM程序為用於幾乎水平內部預測模式的水平殘餘DPCM。
實例44. 如實例40之裝置,其中內部預測模式為向右下對角線內部預測模式,且其中用於使用殘餘DPCM程序自殘餘樣本產生無損地寫碼的視訊資料區塊的構件包含用於根據以下等式產生無損地寫碼的視訊資料區塊的構件:
其中r為殘餘樣本,為視訊資料之經無損寫碼區塊的樣本,M及N定義視訊資料區塊之大小,且i及j定義視訊資料區塊內樣本的位置。
實例45. 如實例40之裝置,其中內部預測模式為向右下對角線內部預測模式,且其中用於使用殘餘DPCM程序自殘餘樣本產生無損地寫碼的視訊資料區塊的構件包含用於根據以下等式產生無損地寫碼的視訊資料區塊的構件:
其中r為殘餘樣本,為視訊資料之經無損寫碼區塊的樣本,M及N定義視訊資料區塊之大小,且i及j定義視訊資料區塊內樣本的位置。
實例46. 如實例40之裝置,其中內部預測模式為向右下對角線內部預測模式,且其中用於使用殘餘DPCM程序自殘餘樣本產生無損地寫碼的視訊資料區塊的構件包含用於根據以下等式產生無損地寫碼的視訊資料區塊的構件:
其中r為殘餘樣本,為視訊資料之經無損寫碼區塊的樣本,M及N定義視訊資料區塊之大小,且i及j定義視訊資料區塊內樣本的位置。
實例47. 如實例40至46之任一組合之裝置。
實例48. 如實例40之裝置,其中內部預測模式為幾乎垂直內部預測模式,裝置進一步包含:用於針對視訊資料區塊之第一列不使用殘餘DPCM程序產生經無損地寫碼的視訊資料區塊的構件。
實例49. 如實例40之裝置,其中內部預測模式為幾乎水平內部預測模式,裝置進一步包含:用於針對視訊資料區塊之第一行不使用殘餘DPCM程序產生經無損地寫碼的視訊資料區塊的構件。
實例50. 如實例40之裝置,其中內部預測模式為DC內部預測模式及平面內部預測模式中的一者,且其中用於使用殘餘DPCM程序自殘餘樣本產生經無損地寫碼的視訊資料區塊的構件包含用於根據垂直殘餘DPCM程序及水平DPCM程序中的一者自殘餘樣本產生經無損地寫碼的視訊資料區塊的構件。
實例51. 如實例40之裝置,其中內部預測模式為DC內部預測模式及平面內部預測模式中的一者,且其中用於使用殘餘DPCM程序自殘餘樣本產生經無損地寫碼的視訊資料區塊的構件包含用於根據垂直殘餘DPCM程序及水平DPCM程序兩者自殘餘樣本產生經無損地寫碼的視訊資料區塊的構件。
實例52. 如實例40之裝置,其中內部預測模式為平面內部預測模式,且其中用於使用殘餘DPCM程序自殘餘樣本產生經無損地寫碼之視訊資料的構件包含用於根據對角線DPCM程序、水平DPCM程序及
垂直DPCM程序自殘餘樣本產生經無損地寫碼的視訊資料區塊的構件。
實例53. 一種經組態以執行實例1至13之方法之任一組合的視訊解碼器。
實例54. 一種經組態以執行實例14至26之方法之任一組合的視訊編碼器。
實例55. 一種儲存指令之電腦可讀儲存媒體,該等指令在執行時使得經組態以解碼視訊資料之器件的一或多個處理器執行實例1至13之方法的任一組合。
實例56. 一種儲存指令之電腦可讀儲存媒體,該等指令在執行時使得經組態以編碼視訊資料之器件的一或多個處理器執行實例14至26之方法的任一組合。
以下段落提供根據本發明之一或多項技術的第五系列實例。
實例1. 一種寫碼視訊資料之方法,該方法包含:產生用於視訊資料區塊之水平內部寫碼的預測樣本,其中對於視訊資料區塊之每一行,預測樣本包括梯度項。
實例2. 如實例1之方法,其中初始列中預測樣本的梯度項藉由((P -1,j -P -1,j-1)>>1)給出。
實例3. 如實例1至2中任一項之方法,其中P 0,j ,0 j N-1之預測樣本為:Clip(P 0,j-1+((P -1,j -P -1,j-1)>>1))。
實例4. 如實例1至3中任一項之方法,其中P i,j ,0 i M-1,0 j N-1之預測樣本藉由Clip(P i,j-1+((P i-1j -P i-1,j-1)>>1))給出。
實例5. 如實例5至8中任一項之方法,其中方法針對無損水平寫碼模式應用。
實例6. 一種寫碼視訊資料之方法,該方法包含:產生用於視訊
資料區塊之垂直內部寫碼的預測樣本,其中對於視訊資料區塊之每一列,預測樣本包括梯度項。
實例7. 如實例6之方法,其中初始行中預測樣本的梯度項給出為((P i,-1-P i-1,-1)>>1)。
實例8. 如實例6至7中任一項之方法,其中P i,0,0 i M-1之預測樣本為Clip(P i-1,0+((P i,-1-P i-1,-1)>>1))。
實例9. 如實例6至8中任一項之方法,其中P i,j ,0 i M-1,0 j N-1之預測樣本藉由Clip(P i-1,j +((P i,j-1-P i-1,j-1)>>1))給出。
實例10. 如實例6至9中任一項之方法,其中方法針對無損垂直寫碼模式應用。
實例11. 如實例1至10之任一組合之方法。
實例12. 如實例1至10中任一項或其組合之方法,其中方法由編碼器執行,且其中寫碼係指編碼。
實例13. 如實例1至10中任一項或其組合之方法,其中方法由解碼器執行,且其中寫碼係指解碼。
實例14. 一種經組態以執行實例1至10中任一項或其組合之方法的系統。
實例15. 一種儲存有指令之非暫時性電腦可讀儲存媒體,該等指令在執行時使得一或多個處理器執行實例1至10中任一項或其組合之方法。
實例16. 一種經組態以執行實例1至10中任一項或其組合之方法的視訊編碼器件。
實例17. 一種經組態以執行實例1至10中任一項或其組合之方法的視訊解碼器件。
實例18. 一種包含用於執行實例1至10中任一項或其組合之方法
之步驟的構件之視訊編碼器件。
實例19. 一種包含用於執行實例1至10中任一項或其組合之方法之步驟的構件之視訊解碼器件。
在一或多個實例中,本文中所描述之功能可以硬體、軟體、韌體或其任何組合實施。若以軟體實施,則功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體而傳輸,且藉由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體(其對應於諸如資料儲存媒體之有形媒體)或通信媒體,通信媒體包括(例如)根據通信協定促進電腦程式自一處傳送至另一處的任何媒體。以此方式,電腦可讀媒體大體上可對應於(1)非暫時性的有形電腦可讀儲存媒體,或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可由一或多個電腦或一或多個處理器存取以擷取指令、程式碼及/或資料結構以用於實施本發明中所描述之技術的任何可用媒體。電腦程式產品可包括一電腦可讀媒體。
藉由實例且非限制,此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存器件、快閃記憶體,或可用以儲存呈指令或資料結構之形式的所要程式碼且可由電腦存取之任何其他媒體。又,任何連接可適當地稱為電腦可讀媒體。舉例而言,若使用同軸纜線、光纜、雙絞線、數位用戶線(DSL)或無線技術(諸如,紅外線、無線電及微波)而自網站、伺服器或其他遠端源傳輸指令,則同軸纜線、光纜、雙絞線、DSL或無線技術(諸如,紅外線、無線電及微波)包括於媒體之定義中。然而,應理解,電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體,而是替代地係針對非暫時性有形儲存媒體。如本文中所使用,磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位影音光碟(DVD)、軟性磁碟及藍光光碟,其中磁碟通
常以磁性方式再生資料,而光碟藉由雷射以光學方式再生資料。以上各物之組合亦應包括於電腦可讀媒體之範疇內。
可由諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效整合或離散邏輯電路之一或多個處理器來執行指令。因此,如本文中所使用之術語「處理器」可係指上述結構或適於實施本文中所描述之技術的任何其他結構中之任一者。此外,在一些態樣中,可將本文中所描述之功能性提供於經組態以用於編碼及解碼之專用硬體及/或軟體模組內,或併入於組合式編碼解碼器中。又,該等技術可完全以一或多個電路或邏輯元件來實施。
本發明之技術可以廣泛之多種器件或裝置予以實施,該等器件或裝置包括無線手機、積體電路(IC)或IC集(例如,晶片集)。在本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術的器件之功能態樣,但未必要求藉由不同硬體單元來實現。確切而言,如上文所描述,可將各種單元組合於編碼解碼器硬體單元中,或藉由互操作性硬體單元(包括如上文所描述之一或多個處理器)之集合且結合合適軟體及/或韌體來提供該等單元。
已描述各種實例。此等及其他實例屬於以下申請專利範圍之範疇內。
400‧‧‧步驟
402‧‧‧步驟
406‧‧‧步驟
Claims (36)
- 一種解碼視訊資料之方法,該方法包含:產生殘餘值之一區塊,其中該區塊為一轉換跳過區塊,且其中產生該區塊包含對於0 i (M-1)及0 j (N-1)計算該區塊中針對一殘餘值r i,j 的一經重新建構殘餘值Q(r i,j ),其中M為該區塊之一高度,且N為該區塊的寬度,其中若該區塊使用一垂直內部預測模式來寫碼,則Q(r i,j )定義為:
- 如請求項1之方法,其進一步包含自一位元串流獲得指示該經修改之經量化殘餘值Q()的一或多個語法元素。
- 如請求項1之方法,其中:若該區塊使用該垂直內部預測模式來寫碼,則該經修改殘餘值定義為: ,且 若該區塊使用該水平內部預測模式來寫碼,則該經修改殘餘值定義為:
- 如請求項1之方法,其中若該區塊使用如在高效率視訊寫碼(HEVC)工作草案10中所定義的在22與30之間的一內部預測模式來寫碼,則該經量化之經修改殘餘值Q()定義為:
- 如請求項1之方法,其中若該第二區塊使用一對角線內部預測模式來寫碼,則Q(r i,j )定義為:
- 如請求項5之方法,其中該經修改殘餘值定義為:
- 如請求項1之方法,其中該殘餘值r i,j 為一經位元移位的殘餘值。
- 一種編碼視訊資料之方法,該方法包含: 對於0 i (M-1)及0 j (N-1),其中M為一區塊之一高度,且N為一區塊的寬度,其中該區塊為一轉換跳過區塊;判定一殘餘值r i,j 的一經修改殘餘值,其中若該區塊使用一垂直內部預測模式來寫碼,則定義為:
- 如請求項8之方法,其進一步包含在一位元串流中發信該經量化之經修改殘餘值Q()。
- 如請求項8之方法,其進一步包含計算一經重新建構殘餘值Q(r i,j ),其中:若該區塊使用該垂直內部預測模式來寫碼,則該經重新建構殘餘值Q(r i,j )定義為: ,且若該區塊使用該水平內部預測模式來寫碼,則該經重新建構殘餘值Q(r i,j )定義為:
- 如請求項10之方法,其進一步包含:將該經重新建構殘餘值Q(r i,j )加至一預測值以重新建構一樣本值;及將該樣本值用於其他區塊之內部預測或中間預測。
- 如請求項8之方法,其中若該區塊使用如在高效率視訊寫碼(HEVC)工作草案10中所定義的在22與30之間的一內部預測模式來寫碼,則該經量化之經修改殘餘值Q()定義為: ,且若該區塊使用如在HEVC工作草案10中所定義的在6與14之間的一內部預測模式來寫碼,則Q()定義為:
- 如請求項8之方法,其中若該區塊使用一對角線內部預測模式來寫碼,則定義為:
- 如請求項13之方法,其進一步包含:計算該殘餘值r i,j 之一經重新建構殘餘值Q(r i,j ),其中若該區塊使用該對角線內部預測模式來寫碼,則該經重新建構殘餘值Q(r i,j )定義為:
- 如請求項8之方法,其中該殘餘值r i,j 為一經位元移位的殘餘值。
- 一種視訊解碼裝置,其包含:儲存資料之一記憶體;及一或多個處理器,其經組態以:產生殘餘值之一區塊,其中該區塊為一轉換跳過區塊,且其中為了產生殘餘值之該區塊,該一或多個處理器對於0 i (M-1)及0 j (N-1)計算該區塊中針對一殘餘值r i,j 的一經重新建構殘餘值Q(r i,j ),其中M為該區塊之一高度,且N為該區塊的寬度,其中若該區塊使用一垂直內部預測模式來寫碼,則Q(r i,j )定義為:
- 如請求項16之視訊解碼裝置,其中該一或多個處理器經組態以自一位元串流獲得一或多個語法元素,該一或多個語法元素指示該經修改之經量化殘餘值Q()。
- 如請求項16之視訊解碼裝置,其中:若該區塊使用該垂直內部預測模式來寫碼,則該經修改殘餘值定義為: ,且若該區塊使用該水平內部預測模式來寫碼,則該經修改殘餘值定義為:
- 如請求項16之視訊解碼裝置,其中若該區塊使用如在高效率視訊寫碼(HEVC)工作草案10中所定義的在22與30之間的一內部預測模式來寫碼,則該經量化之經修改殘餘值Q()定義為:
- 如請求項16之視訊解碼裝置,其中若該第二區塊使用一對角線內部預測模式來寫碼,則Q(r i,j )定義為:
- 如請求項20之視訊解碼裝置,其中該經修改殘餘值定義為:
- 如請求項16之視訊解碼裝置,其中該殘餘值r i,j 為一經位元移位的殘餘值。
- 如請求項16之視訊解碼裝置,其中該視訊解碼裝置包含以下各者中的至少一者:一積體電路;一微處理器;及包括該寫碼器之一無線通信器件。
- 一種視訊編碼裝置,其包含:儲存資料之一記憶體;及一或多個處理器,其經組態使得對於0 i (M-1)及0 j (N-1),其中M為一區塊之一高度,且N為一區塊的寬度,其中該區塊為一轉換跳過區塊,該一或多個處理器:判定一殘餘值r i,j 的一經修改殘餘值,其中若該區塊使用一垂直內部預測模式來寫碼,則定義為:
- 如請求項24之視訊編碼裝置,其進一步包含在一位元串流中發信該經量化之經修改殘餘值Q()。
- 如請求項24之視訊編碼裝置,其中該一或多個處理器經組態以計算一經重新建構殘餘值Q(r i,j ),其中:若該區塊使用該垂直內部預測模式來寫碼,則該經重新建構殘餘值Q(r i,j )定義為: ,且若該區塊使用該水平內部預測模式來寫碼,則該經重新建構殘餘值Q(r i,j )定義為:
- 如請求項26之視訊編碼裝置,其中該一或多個處理器經組態以:將該經重新建構殘餘值Q(r i,j )加至一預測值以重新建構一樣本值;及將該樣本值用於其他區塊之內部預測或中間預測。
- 如請求項24之視訊編碼裝置,其中若該區塊使用如在高效率視訊寫碼(HEVC)工作草案10中所定義的在22與30之間的一內部預測模式來寫碼,則該經量化之經修改殘餘值Q()定義為: ,且若該區塊使用如在HEVC工作草案10中所定義的在6與14之間的一內部預測模式來寫碼,則Q()定義為:
- 如請求項24之視訊編碼裝置,其中若該區塊使用一對角線內部預測模式來寫碼,則定義為:
- 如請求項29之視訊編碼裝置,其中該一或多個處理器經組態以:計算該殘餘值r i,j 之一經重新建構殘餘值Q(r i,j ),其中若該區塊使用該對角線內部預測模式來寫碼,則該經重新建構殘餘值Q(r i,j )定義為:
- 如請求項24之視訊編碼裝置,其中該殘餘值r i,j 為一經位元移位的殘餘值。
- 如請求項24之視訊編碼裝置,其中該視訊編碼裝置包含以下各者中的至少一者:一積體電路;一微處理器;及包括該寫碼器之一無線通信器件。
- 一種視訊解碼裝置,其包含: 用於產生殘餘值之一區塊的構件,其中該區塊為一轉換跳過區塊,其中產生該區塊包含:對於0 i (M-1)及0 j (N-1),計算該區塊中一殘餘值r i,j 的一經重新建構殘餘值Q(r i,j ),其中M為一區塊之一高度,且N為一區塊的寬度,其中若該區塊使用一垂直內部預測模式來寫碼,則Q(r i,j )定義為:
- 一種視訊編碼裝置,其包含:對於0 i (M-1)及0 j (N-1),其中M為一區塊之一高度,且N為一區塊的寬度,其中該區塊為一轉換跳過區塊:用於判定一殘餘值r i,j 的一經修改殘餘值的構件,其中若該區塊使用一垂直內部預測模式來寫碼,則定義為:
- 一種儲存有指令的電腦可讀資料儲存媒體,該等指令在執行時使得一視訊解碼裝置:產生殘餘值之一區塊,其中該區塊為一轉換跳過區塊,且其中產生該區塊包含:對於0 i (M-1)及0 j (N-1),計算該區塊中一殘餘值r i,j 的一經重新建構殘餘值Q(r i,j ),其中M為一區塊之一高度,且N為一區塊的寬度,其中若該區塊使用一垂直內部預測模式來寫碼,則Q(r i,j )定義為:
- 一種儲存有指令的電腦可讀資料儲存媒體,該等指令在執行時使得一視訊編碼裝置:對於0 i (M-1)及0 j (N-1),其中M為一區塊之一高度,且N為一區塊的寬度,其中該區塊為一轉換跳過區塊;判定一殘餘值r i,j 的一經修改殘餘值,其中若該區塊使用一垂直內部預測模式來寫碼,則定義為:
Applications Claiming Priority (9)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201361805094P | 2013-03-25 | 2013-03-25 | |
US201361809203P | 2013-04-05 | 2013-04-05 | |
US201361809199P | 2013-04-05 | 2013-04-05 | |
US201361809811P | 2013-04-08 | 2013-04-08 | |
US201361809870P | 2013-04-08 | 2013-04-08 | |
US201361810179P | 2013-04-09 | 2013-04-09 | |
US201361810218P | 2013-04-09 | 2013-04-09 | |
US201361843144P | 2013-07-05 | 2013-07-05 | |
US14/223,874 US9716894B2 (en) | 2013-03-25 | 2014-03-24 | Intra prediction modes for lossy coding when transform is skipped |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201448572A true TW201448572A (zh) | 2014-12-16 |
TWI544787B TWI544787B (zh) | 2016-08-01 |
Family
ID=51569130
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW103111138A TWI561069B (en) | 2013-03-25 | 2014-03-25 | Disabling sign data hiding in video coding |
TW103111140A TWI544787B (zh) | 2013-03-25 | 2014-03-25 | 當跳過轉換時用於有損寫碼之內部預測模式 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW103111138A TWI561069B (en) | 2013-03-25 | 2014-03-25 | Disabling sign data hiding in video coding |
Country Status (10)
Country | Link |
---|---|
US (3) | US20140286412A1 (zh) |
EP (2) | EP2979452B1 (zh) |
JP (2) | JP2016518042A (zh) |
KR (2) | KR102227898B1 (zh) |
CN (2) | CN105144718B (zh) |
BR (1) | BR112015024766B1 (zh) |
ES (1) | ES2777218T3 (zh) |
HU (1) | HUE047080T2 (zh) |
TW (2) | TWI561069B (zh) |
WO (3) | WO2014160712A1 (zh) |
Families Citing this family (75)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130188736A1 (en) | 2012-01-19 | 2013-07-25 | Sharp Laboratories Of America, Inc. | High throughput significance map processing for cabac in hevc |
US10616581B2 (en) * | 2012-01-19 | 2020-04-07 | Huawei Technologies Co., Ltd. | Modified coding for a transform skipped block for CABAC in HEVC |
US20140286412A1 (en) | 2013-03-25 | 2014-09-25 | Qualcomm Incorporated | Intra dc prediction for lossless coding in video coding |
US9609336B2 (en) * | 2013-04-16 | 2017-03-28 | Fastvdo Llc | Adaptive coding, transmission and efficient display of multimedia (acted) |
US9706229B2 (en) * | 2013-06-05 | 2017-07-11 | Texas Instruments Incorporated | High definition VP8 decoder |
US11323747B2 (en) | 2013-06-05 | 2022-05-03 | Qualcomm Incorporated | Residual differential pulse code modulation (DPCM) extensions and harmonization with transform skip, rotation, and scans |
US11470339B2 (en) | 2013-08-27 | 2022-10-11 | Qualcomm Incorporated | Residual prediction for intra block copying |
CN105580368B (zh) * | 2013-09-30 | 2018-10-19 | 日本放送协会 | 图像编码装置和方法以及图像解码装置和方法 |
US9264724B2 (en) * | 2013-10-11 | 2016-02-16 | Blackberry Limited | Sign coding for blocks with transform skipped |
JP6254294B2 (ja) * | 2013-10-14 | 2017-12-27 | 寰發股▲ふん▼有限公司HFI Innovation Inc. | Hevc範囲拡張の剰余差分パルス符号変調の方法 |
US9877035B2 (en) | 2014-03-17 | 2018-01-23 | Qualcomm Incorporated | Quantization processes for residue differential pulse code modulation |
US9609362B2 (en) * | 2014-10-06 | 2017-03-28 | Telefonaktiebolaget Lm Ericsson (Publ) | Coding and deriving quantization parameters |
US9998742B2 (en) * | 2015-01-27 | 2018-06-12 | Qualcomm Incorporated | Adaptive cross component residual prediction |
US10057587B2 (en) * | 2015-01-31 | 2018-08-21 | Qualcomm Incorporated | Coding escape pixels for palette mode coding |
US11477484B2 (en) * | 2015-06-22 | 2022-10-18 | Qualcomm Incorporated | Video intra prediction using hybrid recursive filters |
MX2018002209A (es) * | 2015-09-01 | 2018-03-23 | Ericsson Telefon Ab L M | Mejora espacial de bloques de transformacion. |
JP6528635B2 (ja) * | 2015-10-05 | 2019-06-12 | 富士通株式会社 | 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム |
JP6595711B2 (ja) * | 2015-12-23 | 2019-10-23 | 華為技術有限公司 | 階層的分割内でのブロックレベルの変換選択および黙示的シグナリングを伴う変換コーディングのための方法および装置 |
FR3047379A1 (fr) * | 2016-01-29 | 2017-08-04 | Orange | Procede de codage et decodage de donnees, dispositif de codage et decodage de donnees et programmes d'ordinateur correspondants |
US10511859B2 (en) * | 2016-02-04 | 2019-12-17 | Mediatek Inc. | Method and apparatus for image compression without residue signaling |
CN116506602A (zh) * | 2016-03-11 | 2023-07-28 | 数字洞察力有限公司 | 视频编码方法以及装置 |
KR102365964B1 (ko) | 2016-03-28 | 2022-02-22 | 주식회사 케이티 | 비디오 신호 처리 방법 및 장치 |
WO2018084523A1 (ko) * | 2016-11-01 | 2018-05-11 | 삼성전자 주식회사 | 부호화 방법 및 그 장치, 복호화 방법 및 그 장치 |
US10694202B2 (en) * | 2016-12-01 | 2020-06-23 | Qualcomm Incorporated | Indication of bilateral filter usage in video coding |
FI20175006A1 (en) * | 2017-01-03 | 2019-02-15 | Nokia Technologies Oy | Video and image coding using wide-angle intra-prediction |
CN110313179B (zh) * | 2017-01-31 | 2022-01-28 | 夏普株式会社 | 用于按比例缩放变换系数水平值的系统和方法 |
US11354824B2 (en) * | 2017-03-23 | 2022-06-07 | Sony Corporation | Image processing apparatus and method |
WO2019059107A1 (ja) * | 2017-09-20 | 2019-03-28 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 符号化装置、復号装置、符号化方法及び復号方法 |
CN117834921A (zh) | 2018-01-17 | 2024-04-05 | 英迪股份有限公司 | 对视频进行解码或编码的方法和用于发送比特流的方法 |
GB2570711B (en) * | 2018-02-05 | 2023-04-05 | Sony Corp | Data encoding and decoding |
CN112534823A (zh) * | 2018-06-15 | 2021-03-19 | 华为技术有限公司 | 用于帧内预测的方法和装置 |
US10284844B1 (en) * | 2018-07-02 | 2019-05-07 | Tencent America LLC | Method and apparatus for video coding |
US10382772B1 (en) * | 2018-07-02 | 2019-08-13 | Tencent America LLC | Method and apparatus for video coding |
KR102712746B1 (ko) | 2018-08-24 | 2024-10-02 | 삼성전자주식회사 | 비디오 복호화 방법 및 장치, 비디오 부호화 방법 및 장치 |
FR3086485A1 (fr) * | 2018-09-21 | 2020-03-27 | Orange | Procedes et dispositifs de codage et de decodage d'un flux de donnees representatif d'au moins une image. |
CN117097896A (zh) * | 2018-09-23 | 2023-11-21 | Lg 电子株式会社 | 编码/解码视频信号的方法及其装置 |
CN111050176B (zh) * | 2018-10-15 | 2021-10-15 | 腾讯科技(深圳)有限公司 | 视频编码、视频解码方法、装置、计算机设备和存储介质 |
FR3088511B1 (fr) * | 2018-11-09 | 2021-05-28 | Fond B Com | Procede de decodage d’au moins une image, procede de codage, dispositifs, signal et programmes d’ordinateur correspondants. |
US10873747B2 (en) * | 2018-11-18 | 2020-12-22 | Sony Corporation | Residual mapping method for image/video compression |
US10757568B2 (en) * | 2018-12-18 | 2020-08-25 | Naffa Innovations Private Limited | System and method for communicating digital data using media content |
CN113196763B (zh) * | 2018-12-21 | 2024-04-12 | 北京字节跳动网络技术有限公司 | 使用多项式模型的帧内预测 |
WO2020145796A1 (ko) * | 2019-01-12 | 2020-07-16 | 엘지전자 주식회사 | 영상 코딩 시스템에서 레지듀얼 정보를 사용하는 영상 디코딩 방법 및 그 장치 |
US11070812B2 (en) * | 2019-03-12 | 2021-07-20 | Qualcomm Incorporated | Coefficient domain block differential pulse-code modulation in video coding |
CN113678459B (zh) | 2019-04-12 | 2023-09-19 | 北京字节跳动网络技术有限公司 | 基于矩阵的帧内预测的适应性 |
BR112021020435A2 (pt) * | 2019-04-19 | 2021-12-14 | Bytedance Inc | Método de processamento de dados de vídeo, aparelho para processar dados de vídeo, meio de armazenamentoe meio de gravação legíveis por computador não transitório |
JP7260665B2 (ja) * | 2019-04-20 | 2023-04-18 | エルジー エレクトロニクス インコーポレイティド | Bdpcmに基づく映像コーディング方法、及びその装置 |
CN113906753B (zh) * | 2019-04-24 | 2023-12-01 | 字节跳动有限公司 | 编解码视频的量化残差差分脉冲编解码调制表示的约束 |
CN111279699B (zh) * | 2019-04-26 | 2024-06-14 | 深圳市大疆创新科技有限公司 | 视频编解码的方法和装置 |
WO2020223467A1 (en) | 2019-05-01 | 2020-11-05 | Bytedance Inc. | Intra coded video using quantized residual differential pulse code modulation coding |
WO2020223612A1 (en) | 2019-05-02 | 2020-11-05 | Bytedance Inc. | Signaling in transform skip mode |
WO2020223615A1 (en) | 2019-05-02 | 2020-11-05 | Bytedance Inc. | Coding mode based on a coding tree structure type |
CN113853791B (zh) | 2019-05-19 | 2023-11-14 | 字节跳动有限公司 | 数字视频中的变换旁路编解码残差块 |
CN114097231A (zh) * | 2019-05-22 | 2022-02-25 | Lg电子株式会社 | 图像编码系统中使用bdpcm来解码图像的方法及装置 |
EP3959876A4 (en) | 2019-05-31 | 2022-06-29 | Beijing Bytedance Network Technology Co., Ltd. | Restricted upsampling process in matrix-based intra prediction |
JP2022534320A (ja) | 2019-06-05 | 2022-07-28 | 北京字節跳動網絡技術有限公司 | マトリクスベースイントラ予測のためのコンテキスト決定 |
CN113994666A (zh) | 2019-06-06 | 2022-01-28 | 北京字节跳动网络技术有限公司 | 隐式选择变换候选 |
WO2020256390A1 (ko) * | 2019-06-18 | 2020-12-24 | 엘지전자 주식회사 | 블록 사이즈를 기반으로 bdpcm 을 수행하는 영상 디코딩 방법 및 그 장치 |
WO2020253810A1 (en) * | 2019-06-21 | 2020-12-24 | Beijing Bytedance Network Technology Co., Ltd. | Coding tools for chroma components |
EP3989547A4 (en) * | 2019-06-21 | 2023-04-19 | Samsung Electronics Co., Ltd. | VIDEO ENCODING METHOD AND DEVICE, AND VIDEO DECODER METHOD AND DEVICE |
US11172200B2 (en) * | 2019-06-24 | 2021-11-09 | Qualcomm Incorporated | Intra-prediction mode for screen content coding of video coding |
WO2020262988A1 (ko) * | 2019-06-25 | 2020-12-30 | 엘지전자 주식회사 | 영상 코딩 시스템에서 무손실 코딩을 적용하는 영상 디코딩 방법 및 그 장치 |
GB2624121B (en) * | 2019-07-05 | 2024-07-24 | V Nova Int Ltd | Quantization of residuals in video coding |
KR20220019258A (ko) | 2019-07-10 | 2022-02-16 | 엘지전자 주식회사 | 영상 코딩 시스템에서 영상 코딩 방법 및 장치 |
EP4000261A4 (en) * | 2019-08-06 | 2023-05-24 | HFI Innovation Inc. | METHOD AND DEVICE FOR CODING OR DECODING VIDEO DATA WITH MATCHING INTRA PREDICTION MODES |
CN114365490B (zh) | 2019-09-09 | 2024-06-18 | 北京字节跳动网络技术有限公司 | 高精度图像和视频编解码的系数缩放 |
BR112022005133A2 (pt) | 2019-09-21 | 2022-10-11 | Beijing Bytedance Network Tech Co Ltd | Método e aparelho de processamento de dados de vídeo, e, meios de armazenamento e de gravação legíveis por computador não transitórios |
CN118612434A (zh) * | 2019-12-02 | 2024-09-06 | 现代自动车株式会社 | 利用差分调制的视频编码和解码方法 |
WO2021172914A1 (ko) * | 2020-02-27 | 2021-09-02 | 엘지전자 주식회사 | 레지듀얼 코딩에 대한 영상 디코딩 방법 및 그 장치 |
WO2021172916A1 (ko) * | 2020-02-27 | 2021-09-02 | 엘지전자 주식회사 | 영상 디코딩 방법 및 그 장치 |
AU2020201753B2 (en) * | 2020-03-10 | 2022-09-08 | Canon Kabushiki Kaisha | Method, apparatus and system for encoding and decoding a block of video samples |
WO2021202676A1 (en) * | 2020-03-31 | 2021-10-07 | Alibaba Group Holding Limited | Methods for signaling residual coding method of transform skip blocks |
CN115943628A (zh) * | 2020-04-13 | 2023-04-07 | Op方案有限责任公司 | 用于组合的无损和有损编码的方法和系统 |
US20220012589A1 (en) * | 2020-07-08 | 2022-01-13 | Electronics And Telecommunications Research Institute | Data conversion device and method in deep neural circuit |
US20220303642A1 (en) * | 2021-03-19 | 2022-09-22 | Product Development Associates, Inc. | Securing video distribution |
US20230069089A1 (en) * | 2021-08-31 | 2023-03-02 | Mediatek Inc. | Video decoder with hardware shared between different processing circuits and associated video decoding method |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5974184A (en) | 1997-03-07 | 1999-10-26 | General Instrument Corporation | Intra-macroblock DC and AC coefficient prediction for interlaced digital video |
US6125348A (en) * | 1998-03-12 | 2000-09-26 | Liquid Audio Inc. | Lossless data compression with low complexity |
US7469069B2 (en) * | 2003-05-16 | 2008-12-23 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding/decoding image using image residue prediction |
KR100813963B1 (ko) | 2005-09-16 | 2008-03-14 | 세종대학교산학협력단 | 동영상의 무손실 부호화, 복호화 방법 및 장치 |
US8594180B2 (en) | 2007-02-21 | 2013-11-26 | Qualcomm Incorporated | 3D video encoding |
RU2011122801A (ru) * | 2008-11-07 | 2012-12-20 | Мицубиси Электрик Корпорейшн | Кодер изображения и декодер изображения |
TWI508534B (zh) * | 2010-05-18 | 2015-11-11 | Sony Corp | Image processing apparatus and image processing method |
US10306222B2 (en) * | 2011-06-20 | 2019-05-28 | Hfi Innovation Inc. | Method and apparatus of directional intra prediction |
CN103650496B (zh) * | 2011-07-12 | 2018-09-21 | 华为技术有限公司 | 用于在hevc中编码的基于像素的帧内预测 |
US9699456B2 (en) | 2011-07-20 | 2017-07-04 | Qualcomm Incorporated | Buffering prediction data in video coding |
EP2777258B1 (en) | 2011-11-04 | 2017-01-11 | Huawei Technologies Co., Ltd. | Binarization of prediction residuals for lossless video coding |
FR2982446A1 (fr) * | 2011-11-07 | 2013-05-10 | France Telecom | Procede de codage et decodage d'images, dispositif de codage et decodage et programmes d'ordinateur correspondants |
US9210438B2 (en) * | 2012-01-20 | 2015-12-08 | Sony Corporation | Logical intra mode naming in HEVC video coding |
US9313498B2 (en) * | 2012-04-16 | 2016-04-12 | Qualcomm Incorporated | Sign hiding techniques for quantized transform coefficients in video coding |
JPWO2013190990A1 (ja) * | 2012-06-22 | 2016-05-26 | シャープ株式会社 | 算術復号装置、算術符号化装置、画像復号装置、および画像符号化装置 |
US10257520B2 (en) * | 2012-06-26 | 2019-04-09 | Velos Media, Llc | Modified coding for transform skipping |
US9374592B2 (en) | 2012-09-08 | 2016-06-21 | Texas Instruments Incorporated | Mode estimation in pipelined architectures |
EP2901690A4 (en) * | 2012-09-28 | 2016-05-04 | Nokia Technologies Oy | DEVICE, METHOD AND COMPUTER PROGRAM FOR CODING AND DECODING VIDEO CONTENT |
US20140286412A1 (en) | 2013-03-25 | 2014-09-25 | Qualcomm Incorporated | Intra dc prediction for lossless coding in video coding |
-
2014
- 2014-03-24 US US14/223,945 patent/US20140286412A1/en not_active Abandoned
- 2014-03-24 US US14/223,955 patent/US20140286413A1/en not_active Abandoned
- 2014-03-24 US US14/223,874 patent/US9716894B2/en active Active
- 2014-03-25 WO PCT/US2014/031728 patent/WO2014160712A1/en active Application Filing
- 2014-03-25 TW TW103111138A patent/TWI561069B/zh not_active IP Right Cessation
- 2014-03-25 EP EP14720424.2A patent/EP2979452B1/en active Active
- 2014-03-25 CN CN201480017084.8A patent/CN105144718B/zh active Active
- 2014-03-25 KR KR1020157030331A patent/KR102227898B1/ko active IP Right Grant
- 2014-03-25 ES ES14720424T patent/ES2777218T3/es active Active
- 2014-03-25 CN CN201480017223.7A patent/CN105075270B/zh active Active
- 2014-03-25 TW TW103111140A patent/TWI544787B/zh active
- 2014-03-25 BR BR112015024766-0A patent/BR112015024766B1/pt active IP Right Grant
- 2014-03-25 HU HUE14720424A patent/HUE047080T2/hu unknown
- 2014-03-25 WO PCT/US2014/031710 patent/WO2014160700A1/en active Application Filing
- 2014-03-25 KR KR1020157030330A patent/KR20150135410A/ko not_active Application Discontinuation
- 2014-03-25 EP EP14723599.8A patent/EP2979450B1/en active Active
- 2014-03-25 WO PCT/US2014/031734 patent/WO2014160714A1/en active Application Filing
- 2014-03-25 JP JP2016504393A patent/JP2016518042A/ja active Pending
- 2014-03-25 JP JP2016504392A patent/JP6407962B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
BR112015024766B1 (pt) | 2023-03-28 |
US9716894B2 (en) | 2017-07-25 |
EP2979450A1 (en) | 2016-02-03 |
KR20150135410A (ko) | 2015-12-02 |
TWI561069B (en) | 2016-12-01 |
EP2979452B1 (en) | 2019-12-11 |
CN105144718A (zh) | 2015-12-09 |
WO2014160714A1 (en) | 2014-10-02 |
TWI544787B (zh) | 2016-08-01 |
US20140286412A1 (en) | 2014-09-25 |
CN105075270A (zh) | 2015-11-18 |
KR20150135411A (ko) | 2015-12-02 |
JP2016518042A (ja) | 2016-06-20 |
ES2777218T3 (es) | 2020-08-04 |
US20140286400A1 (en) | 2014-09-25 |
WO2014160700A1 (en) | 2014-10-02 |
US20140286413A1 (en) | 2014-09-25 |
KR102227898B1 (ko) | 2021-03-12 |
BR112015024766A8 (pt) | 2019-12-10 |
TW201445981A (zh) | 2014-12-01 |
HUE047080T2 (hu) | 2020-04-28 |
BR112015024766A2 (pt) | 2017-07-18 |
JP2016517229A (ja) | 2016-06-09 |
CN105075270B (zh) | 2019-04-02 |
WO2014160712A1 (en) | 2014-10-02 |
CN105144718B (zh) | 2018-04-06 |
JP6407962B2 (ja) | 2018-10-17 |
EP2979450B1 (en) | 2020-10-07 |
EP2979452A1 (en) | 2016-02-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI544787B (zh) | 當跳過轉換時用於有損寫碼之內部預測模式 | |
CN110720218B (zh) | 与视频译码中的变换处理一起应用的帧内滤波 | |
US10097842B2 (en) | Restriction of escape pixel signaled values in palette mode video coding | |
US20230016033A1 (en) | Video intra prediction using hybrid recursive filters | |
TWI678100B (zh) | 用於視訊寫碼之跨組件預測削剪及適應性色彩轉換 | |
JP6396439B2 (ja) | 残差差分パルスコード変調(dpcm)拡張ならびに変換スキップ、回転、および走査との調和 | |
KR101918873B1 (ko) | 비디오 코딩에서 교차 구성 예측과 적응형 컬러 변환의 조화 | |
JP5890031B2 (ja) | ビデオコーディング用の断片化されたパラメータセット | |
TW201830964A (zh) | 基於在視訊寫碼中之一預測模式導出雙邊濾波器資訊 | |
TWI554081B (zh) | 基於位元深度之取樣適應性偏移縮放 | |
KR20170097655A (ko) | 서브샘플링 포맷을 위한 팔레트 모드 | |
TW201639365A (zh) | 用於線性模型預測模式之降低取樣處理 | |
TW201633782A (zh) | 用於調色板寫碼之寫碼逃脫像素 | |
TW201603563A (zh) | 用於視訊寫碼之具有執行長度碼之調色盤預測器信令 | |
JP2015524216A (ja) | 映像コーディングにおけるロスレスコーディングモード及びパルスコード変調(pcm)モードのシグナリングの統一 | |
TW201639364A (zh) | 在視訊寫碼中調色板區塊大小之限制 | |
TW201635798A (zh) | 用於大的寫碼樹單元之內容 | |
JP2017535166A (ja) | パレットベースのビデオコーディングにおけるパレットラン隠匿 | |
US9961351B2 (en) | Palette mode coding |