[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

TW202130178A - 影像處理裝置及影像處理方法 - Google Patents

影像處理裝置及影像處理方法 Download PDF

Info

Publication number
TW202130178A
TW202130178A TW109144936A TW109144936A TW202130178A TW 202130178 A TW202130178 A TW 202130178A TW 109144936 A TW109144936 A TW 109144936A TW 109144936 A TW109144936 A TW 109144936A TW 202130178 A TW202130178 A TW 202130178A
Authority
TW
Taiwan
Prior art keywords
prediction
intra
fixed
unit
image
Prior art date
Application number
TW109144936A
Other languages
English (en)
Inventor
近藤健治
Original Assignee
日商索尼股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商索尼股份有限公司 filed Critical 日商索尼股份有限公司
Publication of TW202130178A publication Critical patent/TW202130178A/zh

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本技術係有關於可使處理單純化的影像處理裝置及影像處理方法。 在對編碼/解碼對象之目前預測區塊進行使用到矩陣演算的畫面內預測也就是矩陣畫面內預測之際,使用已被設定成固定值的,對像素值之變化量之和做乘算的係數,矩陣畫面內預測會被進行,目前預測區塊之預測影像會被生成。然後,使用預測影像,目前預測區塊會被編碼/解碼。本技術係可適用於例如,進行影像之編碼及解碼的情況。

Description

影像處理裝置及影像處理方法
本技術係有關於影像處理裝置及影像處理方法,特別是有關於例如可使處理單純化的影像處理裝置及影像處理方法。
在ITU-T與ISO/IEC的共同之標準化團體也就是JVET(Joint Video Experts Team)中,以比H.265/HEVC更加提升編碼效率為目的,屬於次世代的影像編碼方式也就是VVC(Versatile Video Coding)的標準化作業,正在進行中。
在VVC的標準化作業中,對預測區塊進行使用到矩陣演算的畫面內預測也就是矩陣畫面內預測(MIP (Matrix-based intra prediction)),已被提出(例如參照非專利文獻1)。
在MIP中係被規定有,藉由參數學習而被求出的矩陣(權重矩陣)之參數,會進行使用到該矩陣(之參數)的演算。 [先前技術文獻] [非專利文獻]
[非專利文獻1]Benjamin Bross, Jianle Chen, Shan Liu, Versatile Video Coding (Draft 7), JVET-P2001-v14 (version 14-date 2019-11-14)
[發明所欲解決之課題]
MIP的演算(MIP中所被進行的演算),係使用偏置因數fO而被進行。偏置因數fO,係為了提高位元精度,而會隨著表示矩陣之矩陣大小的MipSizeId及表示MIP之模式號碼的modeId,而被變更。
如以上所述,在MIP的演算中,由於隨著MipSizeId及modeId,偏置因數fO會被變更,因此必須按照MipSizeId及modeId之每種組合,來設定偏置因數fO,導致處理變得複雜。
本技術係有鑑於此種狀況而研發,目的在於可使處理單純化。 [用以解決課題之手段]
本技術的第1影像處理裝置,係為一種影像處理裝置,其係具備:畫面內預測部,係在對編碼對象之目前預測區塊進行使用到矩陣演算的畫面內預測也就是矩陣畫面內預測之際,使用已被設定成固定值的,對像素值之變化量之和做乘算的係數,來進行前記矩陣畫面內預測,並生成前記目前預測區塊之預測影像;和編碼部,係使用已被前記畫面內預測部所生成之前記預測影像,而將前記目前預測區塊予以編碼。
本技術的第1影像處理方法,係為一種影像處理方法,其係含有:畫面內預測過程,係在對編碼對象之目前預測區塊進行使用到矩陣演算的畫面內預測也就是矩陣畫面內預測之際,使用已被設定成固定值的,對像素值之變化量之和做乘算的係數,來進行前記矩陣畫面內預測,並生成前記目前預測區塊之預測影像;和編碼過程,係使用於前記畫面內預測過程中所被生成之前記預測影像,而將前記目前預測區塊予以編碼。
於本技術的第1影像處理裝置及影像處理方法中,在對編碼對象之目前預測區塊進行使用到矩陣演算的畫面內預測也就是矩陣畫面內預測之際,使用已被設定成固定值的,對像素值之變化量之和做乘算的係數,前記矩陣畫面內預測會被進行,前記目前預測區塊之預測影像會被生成。然後,使用前記預測影像,前記目前預測區塊會被編碼。
本技術的第2影像處理裝置,係為一種影像處理裝置,其係具備:畫面內預測部,係在對解碼對象之目前預測區塊進行使用到矩陣演算的畫面內預測也就是矩陣畫面內預測之際,使用已被設定成固定值的,對像素值之變化量之和做乘算的係數,來進行前記矩陣畫面內預測,並生成前記目前預測區塊之預測影像;和解碼部,係使用已被前記畫面內預測部所生成之前記預測影像,而將前記目前預測區塊予以解碼。
本技術的第2影像處理方法,係為一種影像處理方法,其係含有:畫面內預測過程,係在對解碼對象之目前預測區塊進行使用到矩陣演算的畫面內預測也就是矩陣畫面內預測之際,使用已被設定成固定值的,對像素值之變化量之和做乘算的係數,來進行前記矩陣畫面內預測,並生成前記目前預測區塊之預測影像;和解碼過程,係使用於前記畫面內預測過程中所被生成之前記預測影像,而將前記目前預測區塊予以解碼。
於本技術的第2影像處理裝置及影像處理方法中,在對解碼對象之目前預測區塊進行使用到矩陣演算的畫面內預測也就是矩陣畫面內預測之際,使用已被設定成固定值的,對像素值之變化量之和做乘算的係數,前記矩陣畫面內預測會被進行,前記目前預測區塊之預測影像會被生成。然後,使用前記預測影像,前記目前預測區塊會被解碼。
此外,影像處理裝置,係可為獨立的裝置,亦可為構成1個裝置的內部區塊。
又,影像處理裝置,係可藉由令電腦執行程式而實現。程式,係可藉由記錄至記錄媒體,或者透過傳輸媒體進行傳輸,而被提供。
<參考文獻>
本說明書中所揭露的範圍,係不限定於實施形態的內容,於申請當時所公知的以下之參考文獻REF1~REF11的內容,也是藉由參照而被納入在本說明書中。亦即,以下的參考文獻REF1~REF11中所記載之內容也是作為在判斷支持要件之際的根據。再者,參考文獻REF1~REF11中所參照的文獻亦為在判斷支持要件之際的根據。
例如,Quad-Tree Block Structure、QTBT (Quad Tree Plus Binary Tree)Block Structure、MTT(Multi-type Tree)Block Structure,即使在發明的詳細說明中未被直接定義的情況下,仍是屬於本揭露之範圍內,而滿足申請專利範圍的支持要件。又,例如,關於剖析(Parsing)、語法(Syntax)、語意(Semantics)等之技術用語也是同樣地,即使在發明的詳細說明中未被直接定義的情況下,仍是屬於本揭露之範圍內,而滿足申請專利範圍的支持要件。
REF1: Recommendation ITU-T H.264 (04/2017) "Advanced video coding for generic audiovisual services", April 2017 REF2:Recommendation ITU-T H.265 (02/2018) "High efficiency video coding", February 2018 REF3:Benjamin Bross, Jianle Chen, Shan Liu, Versatile Video Coding (Draft 7), JVET-P2001-v14 (version 14-date 2019-11-14) REF4: Jianle Chen, Yan Ye, Seung Hwan Kim, Algorithm description for Versatile Video Coding and Test Model 7 (VTM 7), JVET-P2002-v1 (version 1-date 2019-11-10) REF5: JVET-N0217-v3: CE3: Affine linear weighted intra prediction (CE3-4.1, CE3-4.2) (version 7-date 2019-01-17) REF6: JVET-M0043-v2: CE3: Affine linear weighted intra prediction (test 1.2.1, test 1.2.2) (version 2-date 2019-01-09) REF7: JVET-O0408-v3: Non-CE3: On rounding shift of MIP (version 3-date 2019-07-04) REF8: JVET-O0925-v3: Non-CE3: Simplifications of MIP (version 3-date 2019-07-04) REF9: Kenji Kondo, Masaru Ikeda, Teruhiko Suzuki, Junyan Huo, Yanzhuo Ma, Fuzheng Yan, Shuai Wan, Yuanfang Yu, CE3-2: On rounding shift of MIP, JVET-P0056-v3 (version 3-date 2019-10-03) REF10: Junyan Huo, Haixin Wang, Yu Sun, Yanzhuo Ma, Shuai Wan, Fuzheng Yang. Yuanfang Yu, Yang Liu, Non-CE3: MIP simplification. JVET-P0136-v2 (version 3-date 2019-10-04) REF11: Thibaud Biatek, Adarsh K. Ramasubramonian, Geert Van der Auwera, Marta Karczewicz, Non-CE3: simplified MIP with power-of-two offset. JVET-P0625-v2 (version 2-date 2019-10-02)
<定義>
所謂相鄰,若針對像素而言,係不只包含對注目之目前像素相鄰1像素份(1像線份)的情況,還包含了相鄰複數像素份(複數像線份)的情況。因此,所謂相鄰的像素,係除了對目前像素為直接相鄰的1像素份之位置的像素以外,也還包含了,對目前像素呈連續性相鄰的複數像素份之位置的像素。又,所謂相鄰的區塊,係除了對注目之目前區塊為直接相鄰的1區塊份之範圍的區塊以外,還包含對目前區塊呈連續性相鄰的複數區塊份之範圍的區塊。再者,所謂相鄰的區塊,係因應需要而亦可包含位於目前區塊之附近的區塊。
所謂預測區塊,係意味著進行畫面內預測或畫面間預測之際作為處理單位的區塊(PU(Prediction Unit)),也包含預測區塊內的子區塊。預測區塊、正交轉換區塊(TU(Transform Unit))、編碼區塊(CU(Coding Unit))是被統一化成為相同的區塊的情況下,則預測區塊、正交轉換區塊、及編碼區塊,係意味著相同的區塊。所謂正交轉換區塊,係為進行正交轉換之際作為處理單位的區塊,所謂編碼區塊,係為進行編碼之際作為處理單位的區塊。
所謂畫面內預測模式,係意味著包括畫面內預測進行之際的模式號碼、模式號碼之索引、預測區塊之區塊尺寸、預測區塊內的作為處理單位的子區塊之尺寸等,在導出畫面內預測模式之際所參照的變數(參數)。
所謂矩陣畫面內預測模式(MIP模式),係意味著包含MIP之模式號碼、模式號碼之索引、MIP的演算進行之際所使用的矩陣之種類、MIP的演算進行之際所使用的矩陣的矩陣大小之種類等,在導出矩陣畫面內預測模式之際所參照的變數(參數)。
所謂參數,係為進行編碼或解碼之際所必須的資料之總稱,典型來說係為位元串流之語法、參數集等。再者,參數係還包含在導出過程中所被使用的變數等。關於MIP,則在MIP的演算進行之際所被使用的各種資料,是相當於參數。例如,REF3中所記載之偏置因數fO、平移量sW、以及權重矩陣(之分量)mWeight[i][j]等,是相當於參數。
所謂變更,係意味著改變已被決定之內容,例如,將以本案申請日之前的日期為基準而被記載於公知文獻中的內容加以改變的意思。因此,例如,以參考文獻REF3中所記載之內容(值、演算式、變數等)為基準,而與該內容不同,這就相當於變更。
在本技術中,是可將用來識別複數模態的識別資料,設定作為將影像進行編碼所得的位元串流之語法。位元串流中係可含入用來識別各式各樣之模態的識別資料。
在位元串流中含入識別資料的情況下,在將該位元串流進行解碼的解碼器中,藉由將識別資料進行剖析並參照,就可較有效率地進行處理。
<第一MIP法>
圖1係為第一MIP法的說明圖。
第一MIP法,係為參考文獻REF3(JVET-P2001-v14)中所被提案的MIP之預測影像之生成方法。
在第一MIP法中,是依照參考文獻REF3中作為式(258)而被記載的下式,而將編碼/解碼之對象之預測區塊也就是目前預測區塊之預測影像之(一部分的)像素(之像素值)predMip[x][y],予以生成。
Figure 02_image001
於式(258)中,變數oW,係依照參考文獻REF3中作為式(257)而被記載的下式,而被算出。
Figure 02_image003
A<<B及A>>B係分別表示,將A往左平移及右平移B位元的意思。
關於式(258)及式(257)中的各變數,係在參考文獻REF3中已有說明,因此適宜省略其說明。
predMip[x][y]係表示,預測影像的橫位置為x且縱位置為y的像素(之像素值)。預測影像之像素亦稱為預測像素。
若依據式(258)及式(257),則在第一MIP法中,是使用隨應於MipSizeId及modeId而被設定的權重矩陣mWeight[i][j]、平移量sW、以及偏置因數fO,來進行MIP,而生成預測影像之像素predMip[x][y]。
此處,於式(258)及式(257)中,p[i]係表示,目前預測區塊內的像素(之像素值)pTemp[i]的變化量。例如,p[i]係為以目前預測區塊之左上之像素pTemp[0]為基準的像素pTemp[i]之變化量,例如,以式p[i]=pTemp[i+1]-pTemp[0]、或式p[i]=pTemp[i]-pTemp[0]而被表示。
於式(257)中,偏置因數fO係為,對像素值之變化量p[i]之和Σp[i]做乘算的係數。
平移量sW,係依照參考文獻REF3中所記載之Table 23,隨應於MipSizeId及modeId而被設定。偏置因數fO,係依照參考文獻REF3中所記載之Table 24,隨應於MipSizeId及modeId而被設定。
此外,在參考文獻REF3中,雖然記載為"The variable sW is derived using mipSizeId and modeId as specified in Table 8-5.",但"Table 8-5"係為"Table 23"之誤記。又,在參考文獻REF3中,雖然記載為"The variable fO is derived using mipSizeId and modeId as specified in Table 8-6.",但"Table 8-6"係為"Table 24"之誤記。
順便一提,在參考文獻REF10(JVET-P0136-v2)中係提案,將參考文獻REF3之Table 24予以刪除,亦即不要使用偏置因數fO。
又,在參考文獻REF11(JVET-P0625-v2)中係提案,作為參考文獻REF3之Table 24中所被給定的偏置因數fO,是使用以2的乘冪而被表示之值。
如同參考文獻REF10中所提案,藉由不使用偏置因數fO,就不需要隨著MipSizeId及modeId來設定偏置因數fO,因此可使MIP的處理單純化。
然而,在不使用偏置因數fO的情況下,會因為不使用偏置因數fO之影響,導致權重矩陣mWeight[i][j]的範圍變大。其結果為,用來記憶權重矩陣mWeight[i][j]所需之記憶容量會增加。
如同參考文獻REF11中所提案,作為Table 24中所被給定的偏置因數fO,是使用以2的乘冪而被表示之值,藉此,可將偏置因數fO之乘算,以平移演算來為之,因此可使MIP的處理單純化。
然而,即使作為Table 24中所被給定的偏置因數fO,是使用以2的乘冪而被表示之值的情況下,仍和現狀的使用Table 24的情況同樣地,必須隨著MipSizeId及modeId,而重新設定偏置因數fO,因此處理會變得複雜。
例如,在以硬體來實作第一MIP法的情況下,就會需要用來切換偏置因數fO的選擇器,而導致電路規模增加。又,在以軟體來實作第一MIP法的情況下,則必須準備制定有以2的乘冪來表示之偏置因數fO的表,且必須參照該表,因此會導致處理速度降低。
於是,在本技術中,是使用已被設定成固定值的偏置因數fO,來進行MIP。亦即,例如,隨應於已被設定成固定值的偏置因數fO,來變更式(258)及式(257)之演算,依照該已被變更之演算,而生成MIP之預測影像。
以下,將已被設定成固定值的偏置因數fO,適宜稱作固定偏置係數。固定偏置係數,由於是已被設定成固定值的偏置因數fO,因此和偏置因數fO同樣地,係為對像素值之變化量p[i]之和Σp[i]做乘算的係數。
<第二MIP法>
圖2係為第二MIP法的說明圖。
在第二MIP法中,參考文獻REF3中所被提案的將MIP之預測影像予以生成的式(257)的偏置因數fO,是被設定成固定值也就是固定偏置係數。
藉由將偏置因數fO,設定成固定值也就是固定偏置係數,就不需要參考文獻REF3的Table 24,可使MIP的處理單純化。
作為要當作固定偏置係數的固定值係可採用例如:將權重矩陣mWeight[i][j]之範圍,設成所定之範圍的值。
亦即,隨著使用固定偏置係數之影響,權重矩陣mWeight[i][j],會從參考文獻REF3中所記載之值起產生變化。作為固定偏置係數係可採用,使得變化後的權重矩陣mWeight[i][j]之範圍不會超出所定之範圍的此種值。
再者,作為要當作固定偏置係數的固定值係可採用,以2的乘冪而被表示之值、或以2的乘冪之和而被表示之值。
作為固定偏置係數是採用以2的乘冪而被表示之值的情況下,則式(257)的變數oW算出之際的像素值之變化量p[i]之和Σp[i]、與固定偏置係數的乘算,是只需藉由平移演算就能進行。因此,可使MIP的處理單純化,亦即,可削減MIP之處理的計算量。
作為固定偏置係數是採用以2的乘冪之和而被表示之值的情況下,則式(257)的變數oW算出之際的像素值之變化量p[i]之和Σp[i]、與固定偏置係數的乘算,是只需藉由平移演算與加算就能進行。因此,可使MIP的處理單純化,亦即,可削減MIP之處理的計算量。
此外,作為固定偏置係數是採用以2的乘冪而被表示之值的情況,相較於採用以2的乘冪之和而被表示之值的情況,MIP之處理的計算量的削減程度為較大。
但是,相較於作為固定偏置係數是採用以2的乘冪而被表示之值的情況,採用以2的乘冪之和而被表示之值的情況,其演算精度較高,亦即,可減少MIP的預測影像之預測誤差。
作為要當作固定偏置係數的以2的乘冪而被表示之值,係可採用例如32=25 等。作為要當作固定偏置係數的以2的乘冪之和而被表示之值,係可採用例如48=25 +24 、或96=26 +25 等。
在第二MIP法中,係還可將參考文獻REF3中所被提案的將MIP之預測影像予以生成的式(258)及式(257)的平移量sW,設定成固定值也就是固定平移量。
藉由將平移量sW,設定成固定值也就是固定平移量,就不需要參考文獻REF3的Table 23,可使MIP的處理更進一步單純化。
作為固定平移量係可採用例如,參考文獻REF3的Table 23中所被給定的3個(種類)之平移量sW也就是5、6、以及7之其中1者。
在第二MIP法中,係隨應於固定偏置係數與參考文獻REF3的Table 23中所被給定的3個平移量sW、或隨應於固定偏置係數與固定平移量,來變更式(258)之演算,依照該已被變更之演算,而生成MIP之預測影像。
亦即,在第二MIP法中,係隨應於固定偏置係數與參考文獻REF3的Table 23中所被給定的3個平移量sW、或隨應於固定偏置係數與固定平移量,權重矩陣mWeight[i][j],會從參考文獻REF3中所記載之值起而被變更。
以下,為了簡化說明,注目於採用固定偏置係數及固定平移量的情況。
採用偏置因數fO及平移量sW時所得的預測像素predMip[x][y],亦即,依照參考文獻REF3所得的(MIP之預測影像之)預測像素predMip[x][y],亦稱作標準預測像素predMip[x][y]。
在第二MIP法中,是以使得例如,採用固定偏置係數及固定平移量時所得的預測像素(以下亦稱作固定預測像素),亦即,將式(258)及式(257)的偏置因數fO及平移量sW分別置換成固定偏置係數及固定平移量的式子,使得依照該式子所得的預測像素predMip[x][y],會是近似於標準預測像素predMip[x][y]之值的方式,而將參考文獻REF3中所記載的權重矩陣mWeight[i][j],隨應於固定偏置係數與固定平移量來加以變更。或者,以使得固定預測像素predMip[x][y]之預測誤差,會是近似於標準預測像素predMip[x][y]之預測誤差之大小的方式,而將參考文獻REF3中所記載之權重矩陣mWeight[i][j],隨應於固定偏置係數與固定平移量來加以變更。
例如,作為固定偏置係數,係可採用以2的乘冪而被表示之值的32,同時,作為固定平移量,係可採用6。此情況下,可使變更後的權重矩陣mWeight[i][j],不超出以0乃至127之7位元所能表示的範圍。
在第二MIP法中,係依照含有變更後之權重矩陣mWeight[i][j]的演算,而生成MIP之預測影像。
因此,在第二MIP法中,不論MipSizeId及modeId之組合為何,式(258)及式(257)的偏置因數fO、甚至平移量sW係被固定,因此可使MIP的處理單純化。其結果為,參考文獻REF3的Table 24,甚至Table 23,都不需要在規格中做規定,而可以簡化規格。
又,例如,在以硬體來實作第二MIP法的情況下,就不需要用來切換偏置因數fO或平移量sW的選擇器,可抑制電路規模的增加。再者,在以軟體來實作第二MIP法的情況下,就不需要參照Table 24或Table 23,相較於要參照Table 24或Table 23的情況,可抑制處理速度的降低。
此外,固定偏置係數,係可採用32以外的以2的乘冪而被表示之值、或48及96以外的以2的乘冪之和而被表示之值。又,固定平移量,係可採用5、6、以及7以外的值。
<作為固定偏置係數是採用48,作為固定平移量是採用5時的MIP>
圖3係為,作為固定偏置係數是採用48,作為固定平移量是採用5時的MIP的說明圖。
此情況下,在MIP中,係如圖3所示,式(258)及式(257)的偏置因數fO與平移量sW分別被置換成固定偏置係數48與固定平移量5而成的演算,會被進行。
圖3的A係圖示,於式(257)的偏置因數fO與平移量sW分別被置換成固定偏置係數48與固定平移量5而成的演算中,將像素值之變化量p[i]之和Σp[i]與固定偏置係數48的乘算48*(Σp[i]),直接以乘算的方式來進行的情況下,在MIP中所被進行的演算。
圖3的B係圖示,於式(257)的偏置因數fO與平移量sW分別被置換成固定偏置係數48與固定平移量5而成的演算中,將像素值之變化量p[i]之和Σp[i]與固定偏置係數48的乘算48*(Σp[i]),藉由平移演算與加算來加以進行的情況下,在MIP中所被進行的演算。
於式(257)的偏置因數fO與平移量sW分別被置換成固定偏置係數48與固定平移量5而成的演算中,將像素值之變化量p[i]之和Σp[i]與固定偏置係數48的乘算48*(Σp[i]),直接以乘算的方式來進行的情況下,則圖3的A所示之演算會被進行。
亦即,式(258)及式(257)的偏置因數fO與平移量sW分別被置換成固定偏置係數48與固定平移量5而成的式子的演算,會被進行。
於式(257)的偏置因數fO與平移量sW分別被置換成固定偏置係數48與固定平移量5的演算中,將像素值之變化量p[i]之和Σp[i]與固定偏置係數48的乘算48*(Σp[i]),藉由平移演算與加算來加以進行的情況下,則圖3的B所示之演算會被進行。
亦即,像素值之變化量p[i]之和sum=Σp[i],會被演算。然後,像素值之變化量p[i]之和Σp[i]與固定偏置係數48的乘算48*(Σp[i]),是藉由和sum的平移演算(sum<<5)及(sum<<4)、與該平移演算(sum<<5)及(sum<<4)之結果的加算,而被進行。藉此,式(257)的變數oW會被算出。
其後,無論是圖3的A及B之任一情況下,都是使用變數oW,來進行式(258)的平移量sW被置換成固定平移量5而成的式子之演算。
此處,將MipSizeId及modeId之組合,以(M,m)來加以表示。M係代表MipSizeId,m係代表modeId。又,將採用固定偏置係數及固定平移量時的權重矩陣mWeight[i][j],亦稱作固定權重矩陣mWeight[i][j]。
圖4係為,作為固定偏置係數是採用48,作為固定平移量是採用5時的(M,m)=(0,0)之權重矩陣mWeight[i][j]之例子的圖示。
於圖4中,從左起算第i+1個,從上起算第j+1個的值,係表示固定權重矩陣mWeight[i][j]。這在以後的圖中也是同樣如此。
此外,作為固定偏置係數是採用48,作為固定平移量是採用5時的(M,m)=(0,0)之固定權重矩陣mWeight[i][j],係不限定於圖4所示的值。
關於(M,m)=(0,0)之固定權重矩陣mWeight[i][j],係使用固定偏置係數及固定平移量,來進行演算,只要是可達成相應之技術效果的範圍內,則可適宜地變更。又,可達成技術效果的範圍,係隨著所設定的近似等級而變化,因此只要是在該範圍內,則(M,m)=(0,0)之固定權重矩陣mWeight[i][j]係可適宜地變更。例如亦可在±1之範圍內做變更,亦可在±3之範圍內做變更。甚至,不只是所有的值一律變更,亦可僅變更一部分的值。又,亦可對既存的值,個別地給予要變更之值的範圍。
亦即,例如,(M,m)=(0,0)之固定權重矩陣mWeight[i][j],係在使用固定偏置係數及固定平移量,進行式(258)及式(257)的演算之際,在可達成關於預測影像是能夠確保所定之預測精度以上等的相應之技術效果的範圍內,可作適宜變更。
又,可達成技術效果的範圍(程度),係隨著將近似等級設定成何種程度,而會變化。
所謂近似等級係意味著,要令固定預測像素predMip[x][y],以多少程度來近似於固定預測像素predMip[x][y]之真值、或標準預測像素predMip[x][y]。所謂固定預測像素predMip[x][y]係意味著,藉由使用了固定偏置係數及固定平移量的MIP而被求出的預測像素(之像素值)。所謂標準預測像素predMip[x][y]係意味著,藉由使用了參考文獻REF3中所記載的偏置因數fO及平移量sW的MIP而被求出的預測像素。
(M,m)=(0,0)之固定權重矩陣mWeight[i][j],係可在能夠維持已被設定之近似等級的範圍內,適宜地變更。
例如,(M,m)=(0,0)之固定權重矩陣mWeight[i][j],係以圖4所示的值為基準,而可在±1之範圍內做變更、或在±3之範圍內做變更。
(M,m)=(0,0)之固定權重矩陣mWeight[i][j]之變更,係除了以(M,m)=(0,0)的所有固定權重矩陣mWeight[i][j]為對象來進行以外,亦可只以(M,m)=(0,0)的一部分之固定權重矩陣mWeight[i][j]為對象來進行之。
甚至,作為將(M,m)=(0,0)之固定權重矩陣mWeight[i][j]予以變更之值的範圍,係亦可針對(M,m)=(0,0)的所有固定權重矩陣mWeight[i][j]都是採用一律之範圍,亦可按照(M,m)=(0,0)的每一固定權重矩陣mWeight[i][j]而採用個別之範圍。
例如,將(M,m)=(0,0)之固定權重矩陣mWeight[i][j]予以變更之值的範圍,係可按照對應的權重矩陣mWeight[i][j]的每一值而個別地設定。
以上這點,針對(M,m)=(0,0)以外之固定權重矩陣mWeight[i][j]也是同樣如此。
圖5係為,作為固定偏置係數是採用48,作為固定平移量是採用5時的(M,m)=(0,1)之權重矩陣mWeight[i][j]之例子的圖示。
圖6係為,作為固定偏置係數是採用48,作為固定平移量是採用5時的(M,m)=(0,2)之權重矩陣mWeight[i][j]的圖示。
圖7係為,作為固定偏置係數是採用48,作為固定平移量是採用5時的(M,m)=(0,3)之權重矩陣mWeight[i][j]的圖示。
圖8係為,作為固定偏置係數是採用48,作為固定平移量是採用5時的(M,m)=(0,4)之權重矩陣mWeight[i][j]的圖示。
圖9係為,作為固定偏置係數是採用48,作為固定平移量是採用5時的(M,m)=(0,5)之權重矩陣mWeight[i][j]的圖示。
圖10係為,作為固定偏置係數是採用48,作為固定平移量是採用5時的(M,m)=(0,6)之權重矩陣mWeight[i][j]的圖示。
圖11係為,作為固定偏置係數是採用48,作為固定平移量是採用5時的(M,m)=(0,7)之權重矩陣mWeight[i][j]的圖示。
圖12係為,作為固定偏置係數是採用48,作為固定平移量是採用5時的(M,m)=(0,8)之權重矩陣mWeight[i][j]的圖示。
圖13係為,作為固定偏置係數是採用48,作為固定平移量是採用5時的(M,m)=(0,9)之權重矩陣mWeight[i][j]的圖示。
圖14係為,作為固定偏置係數是採用48,作為固定平移量是採用5時的(M,m)=(0,10)之權重矩陣mWeight[i][j]的圖示。
圖15係為,作為固定偏置係數是採用48,作為固定平移量是採用5時的(M,m)=(0,11)之權重矩陣mWeight[i][j]的圖示。
圖16係為,作為固定偏置係數是採用48,作為固定平移量是採用5時的(M,m)=(0,12)之權重矩陣mWeight[i][j]的圖示。
圖17係為,作為固定偏置係數是採用48,作為固定平移量是採用5時的(M,m)=(0,13)之權重矩陣mWeight[i][j]的圖示。
圖18係為,作為固定偏置係數是採用48,作為固定平移量是採用5時的(M,m)=(0,14)之權重矩陣mWeight[i][j]的圖示。
圖19係為,作為固定偏置係數是採用48,作為固定平移量是採用5時的(M,m)=(0,15)之權重矩陣mWeight[i][j]的圖示。
圖20係為,作為固定偏置係數是採用48,作為固定平移量是採用5時的(M,m)=(1,0)之權重矩陣mWeight[i][j]的圖示。
圖21係為,作為固定偏置係數是採用48,作為固定平移量是採用5時的(M,m)=(1,1)之權重矩陣mWeight[i][j]的圖示。
圖22係為,作為固定偏置係數是採用48,作為固定平移量是採用5時的(M,m)=(1,2)之權重矩陣mWeight[i][j]的圖示。
圖23係為,作為固定偏置係數是採用48,作為固定平移量是採用5時的(M,m)=(1,3)之權重矩陣mWeight[i][j]的圖示。
圖24係為,作為固定偏置係數是採用48,作為固定平移量是採用5時的(M,m)=(1,4)之權重矩陣mWeight[i][j]的圖示。
圖25係為,作為固定偏置係數是採用48,作為固定平移量是採用5時的(M,m)=(1,5)之權重矩陣mWeight[i][j]的圖示。
圖26係為,作為固定偏置係數是採用48,作為固定平移量是採用5時的(M,m)=(1,6)之權重矩陣mWeight[i][j]的圖示。
圖27係為,作為固定偏置係數是採用48,作為固定平移量是採用5時的(M,m)=(1,7)之權重矩陣mWeight[i][j]的圖示。
圖28係為,作為固定偏置係數是採用48,作為固定平移量是採用5時的(M,m)=(2,0)之權重矩陣mWeight[i][j]的圖示。
圖29係為,作為固定偏置係數是採用48,作為固定平移量是採用5時的(M,m)=(2,1)之權重矩陣mWeight[i][j]的圖示。
圖30係為,作為固定偏置係數是採用48,作為固定平移量是採用5時的(M,m)=(2,2)之權重矩陣mWeight[i][j]的圖示。
圖31係為,作為固定偏置係數是採用48,作為固定平移量是採用5時的(M,m)=(2,3)之權重矩陣mWeight[i][j]的圖示。
圖32係為,作為固定偏置係數是採用48,作為固定平移量是採用5時的(M,m)=(2,4)之權重矩陣mWeight[i][j]的圖示。
圖33係為,作為固定偏置係數是採用48,作為固定平移量是採用5時的(M,m)=(2,5)之權重矩陣mWeight[i][j]的圖示。
<作為固定偏置係數是採用96,作為固定平移量是採用6時的MIP>
圖34係為,作為固定偏置係數是採用96,作為固定平移量是採用6時的MIP的說明圖。
此情況下,在MIP中,係如圖34所示,式(258)及式(257)的偏置因數fO與平移量sW分別被置換成固定偏置係數96與固定平移量6而成的演算,會被進行。
圖34的A係圖示,於式(257)的偏置因數fO與平移量sW分別被置換成固定偏置係數96與固定平移量6而成的演算中,將像素值之變化量p[i]之和Σp[i]與固定偏置係數96的乘算96*(Σp[i]),直接以乘算的方式來進行的情況下,在MIP中所被進行的演算。
圖34的B係圖示,於式(257)的偏置因數fO與平移量sW分別被置換成固定偏置係數96與固定平移量6而成的演算中,將像素值之變化量p[i]之和Σp[i]與固定偏置係數96的乘算96*(Σp[i]),藉由平移演算與加算來加以進行的情況下,在MIP中所被進行的演算。
於式(257)的偏置因數fO與平移量sW分別被置換成固定偏置係數96與固定平移量6而成的演算中,將像素值之變化量p[i]之和Σp[i]與固定偏置係數96的乘算96*(Σp[i]),直接以乘算的方式來進行的情況下,則圖34的A所示之演算會被進行。
亦即,式(258)及式(257)的偏置因數fO與平移量sW分別被置換成固定偏置係數96與固定平移量6而成的式子的演算,會被進行。
於式(257)的偏置因數fO與平移量sW分別被置換成固定偏置係數96與固定平移量6的演算中,將像素值之變化量p[i]之和Σp[i]與固定偏置係數96的乘算96*(Σp[i]),藉由平移演算與加算來加以進行的情況下,則圖34的B所示之演算會被進行。
亦即,像素值之變化量p[i]之和sum=Σp[i],會被演算。然後,像素值之變化量p[i]之和Σp[i]與固定偏置係數96的乘算96*(Σp[i]),是藉由和sum的平移演算(sum<<6)及(sum<<5)、與該平移演算(sum<<6)及(sum<<5)之結果的加算,而被進行。藉此,式(257)的變數oW會被算出。
其後,無論是圖34的A及B之任一情況下,都是使用變數oW,來進行式(258)的平移量sW被置換成固定平移量6而成的式子之演算。
圖35係為,作為固定偏置係數是採用96,作為固定平移量是採用6時的(M,m)=(0,0)之權重矩陣mWeight[i][j]之例子的圖示。
圖36係為,作為固定偏置係數是採用96,作為固定平移量是採用6時的(M,m)=(0,1)之權重矩陣mWeight[i][j]之例子的圖示。
圖37係為,作為固定偏置係數是採用96,作為固定平移量是採用6時的(M,m)=(0,2)之權重矩陣mWeight[i][j]的圖示。
圖38係為,作為固定偏置係數是採用96,作為固定平移量是採用6時的(M,m)=(0,3)之權重矩陣mWeight[i][j]的圖示。
圖39係為,作為固定偏置係數是採用96,作為固定平移量是採用6時的(M,m)=(0,4)之權重矩陣mWeight[i][j]的圖示。
圖40係為,作為固定偏置係數是採用96,作為固定平移量是採用6時的(M,m)=(0,5)之權重矩陣mWeight[i][j]的圖示。
圖41係為,作為固定偏置係數是採用96,作為固定平移量是採用6時的(M,m)=(0,6)之權重矩陣mWeight[i][j]的圖示。
圖42係為,作為固定偏置係數是採用96,作為固定平移量是採用6時的(M,m)=(0,7)之權重矩陣mWeight[i][j]的圖示。
圖43係為,作為固定偏置係數是採用96,作為固定平移量是採用6時的(M,m)=(0,8)之權重矩陣mWeight[i][j]的圖示。
圖44係為,作為固定偏置係數是採用96,作為固定平移量是採用6時的(M,m)=(0,9)之權重矩陣mWeight[i][j]的圖示。
圖45係為,作為固定偏置係數是採用96,作為固定平移量是採用6時的(M,m)=(0,10)之權重矩陣mWeight[i][j]的圖示。
圖46係為,作為固定偏置係數是採用96,作為固定平移量是採用6時的(M,m)=(0,11)之權重矩陣mWeight[i][j]的圖示。
圖47係為,作為固定偏置係數是採用96,作為固定平移量是採用6時的(M,m)=(0,12)之權重矩陣mWeight[i][j]的圖示。
圖48係為,作為固定偏置係數是採用96,作為固定平移量是採用6時的(M,m)=(0,13)之權重矩陣mWeight[i][j]的圖示。
圖49係為,作為固定偏置係數是採用96,作為固定平移量是採用6時的(M,m)=(0,14)之權重矩陣mWeight[i][j]的圖示。
圖50係為,作為固定偏置係數是採用96,作為固定平移量是採用6時的(M,m)=(0,15)之權重矩陣mWeight[i][j]的圖示。
圖51係為,作為固定偏置係數是採用96,作為固定平移量是採用6時的(M,m)=(1,0)之權重矩陣mWeight[i][j]的圖示。
圖52係為,作為固定偏置係數是採用96,作為固定平移量是採用6時的(M,m)=(1,1)之權重矩陣mWeight[i][j]的圖示。
圖53係為,作為固定偏置係數是採用96,作為固定平移量是採用6時的(M,m)=(1,2)之權重矩陣mWeight[i][j]的圖示。
圖54係為,作為固定偏置係數是採用96,作為固定平移量是採用6時的(M,m)=(1,3)之權重矩陣mWeight[i][j]的圖示。
圖55係為,作為固定偏置係數是採用96,作為固定平移量是採用6時的(M,m)=(1,4)之權重矩陣mWeight[i][j]的圖示。
圖56係為,作為固定偏置係數是採用96,作為固定平移量是採用6時的(M,m)=(1,5)之權重矩陣mWeight[i][j]的圖示。
圖57係為,作為固定偏置係數是採用96,作為固定平移量是採用6時的(M,m)=(1,6)之權重矩陣mWeight[i][j]的圖示。
圖58係為,作為固定偏置係數是採用96,作為固定平移量是採用6時的(M,m)=(1,7)之權重矩陣mWeight[i][j]的圖示。
圖59係為,作為固定偏置係數是採用96,作為固定平移量是採用6時的(M,m)=(2,0)之權重矩陣mWeight[i][j]的圖示。
圖60係為,作為固定偏置係數是採用96,作為固定平移量是採用6時的(M,m)=(2,1)之權重矩陣mWeight[i][j]的圖示。
圖61係為,作為固定偏置係數是採用96,作為固定平移量是採用6時的(M,m)=(2,2)之權重矩陣mWeight[i][j]的圖示。
圖62係為,作為固定偏置係數是採用96,作為固定平移量是採用6時的(M,m)=(2,3)之權重矩陣mWeight[i][j]的圖示。
圖63係為,作為固定偏置係數是採用96,作為固定平移量是採用6時的(M,m)=(2,4)之權重矩陣mWeight[i][j]的圖示。
圖64係為,作為固定偏置係數是採用96,作為固定平移量是採用6時的(M,m)=(2,5)之權重矩陣mWeight[i][j]的圖示。
<適用了本技術的影像處理系統>
圖65係適用了本技術之影像處理系統的一實施形態之構成例的區塊圖。
影像處理系統10係具有:身為編碼器11的影像處理裝置、及身為解碼器51的影像處理裝置。
編碼器11,係將被供給其的編碼對象之原影像予以編碼,將其編碼所得的編碼位元串流予以輸出。編碼位元串流,係透過未圖示的記錄媒體或傳輸媒體,而被供給至解碼器51。
解碼器51,係將被供給其的編碼位元串流予以解碼,將其解碼所得的解碼影像予以輸出。
<編碼器11的構成例>
圖66係圖65的編碼器11之構成例的區塊圖。
此外,關於以下說明的區塊圖,係為了避免圖的繁雜,而將供給各區塊之處理中所必須之資訊(資料)的線之記載,予以適宜省略。
於圖66中,編碼器11係具有:A/D轉換部21、排序緩衝區22、演算部23、正交轉換部24、量化部25、可逆編碼部26、及積存緩衝區27。然後,編碼器11係還具有:逆量化部28、逆正交轉換部29、演算部30、畫格記憶體32、選擇部33、畫面內預測部34、運動預測補償部35、預測影像選擇部36、及速率控制部37。又,編碼器11係具有:去區塊濾波器31a、適應偏置濾波器41、及ALF (adaptive loop filter)42。
A/D轉換部21,係將類比訊號之原影像(編碼對象),A/D轉換成數位訊號之原影像,供給至排序緩衝區22而令其被記憶。此外,對編碼器11供給數位訊號之原影像的情況下,則編碼器11係可不設置A/D轉換部21而構成。
排序緩衝區22,係將原影像之畫格,隨應於GOP(Group Of Picture),從顯示順序排序成編碼(解碼)順序,供給至演算部23、畫面內預測部34、及運動預測補償部35。
演算部23,係從來自排序緩衝區22的原影像,減去透過預測影像選擇部36而從畫面內預測部34或運動預測補償部35所被供給之預測影像,將該減算所得之殘差(預測殘差),供給至正交轉換部24。
正交轉換部24,係對從演算部23所供給的殘差,實施離散餘弦轉換或卡忽南-拉維轉換等之正交轉換,將該正交轉換所得的正交轉換係數,供給至量化部25。
量化部25,係將從正交轉換部24所供給之正交轉換係數,進行量化。量化部25,係基於從速率控制部37所供給之編碼量的目標值(編碼量目標值),來設定量化參數,並進行正交轉換係數的量化。量化部25,係將已被量化之正交轉換係數亦即編碼資料,供給至可逆編碼部26。
可逆編碼部26,係將來自量化部25的作為編碼資料的已被量化之正交轉換係數,以所定之可逆編碼方式進行編碼。
又,可逆編碼部26,係將編碼器11中的關於預測編碼的編碼資訊之中的,在解碼裝置170中的解碼時所必須之編碼資訊,從各區塊加以取得。
此處,作為編碼資訊係有例如:畫面內預測或畫面間預測之預測模式、運動向量等之運動資訊、編碼量目標值、量化參數、圖像類型(I、P、B)、去區塊濾波器31a及適應偏置濾波器41的濾波器參數等。
預測模式,係可從畫面內預測部34或運動預測補償部35加以取得。運動資訊,係可從運動預測補償部35加以取得。去區塊濾波器31a及適應偏置濾波器41的濾波器參數,係可從去區塊濾波器31a及適應偏置濾波器41分別加以取得。
可逆編碼部26,係將編碼資訊,例如,以CAVLC(Context-Adaptive Variable Length Coding)或CABAC (Context-Adaptive Binary Arithmetic Coding)等之可變長度編碼或算術編碼等其他可逆編碼方式進行編碼,生成含有編碼後之編碼資訊、及來自量化部25之編碼資料的(已多工化的)編碼位元串流,供給至積存緩衝區27。
此處,以上的演算部23乃至可逆編碼部26,係構成將影像予以編碼的編碼部,編碼部中所被進行的處理(過程),係為編碼過程。
積存緩衝區27,係將從可逆編碼部26所被供給之編碼位元串流,予以暫時積存。積存緩衝區27中所被積存的編碼位元串流,係在所定之時序上被讀出而傳輸。
於量化部25中已被量化之正交轉換係數也就是編碼資料,係除了被供給至可逆編碼部26,也還被供給至逆量化部28。逆量化部28,係將已被量化之正交轉換係數,以量化部25所致之量化所對應之方法進行逆量化,將該逆量化所得之正交轉換係數,供給至逆正交轉換部29。
逆正交轉換部29,係將從逆量化部28所被供給之正交轉換係數,以正交轉換部24所致之正交轉換處理所對應之方法進行逆正交轉換,將該逆正交轉換之結果所得的殘差,供給至演算部30。
演算部30,係對從逆正交轉換部29所被供給之殘差,加算透過預測影像選擇部36而從畫面內預測部34或運動預測補償部35所被供給之預測影像,藉此,獲得原影像做解碼而成的解碼影像(之一部分)而予以輸出。
演算部30所輸出的解碼影像,係被供給至去區塊濾波器31a或畫格記憶體32。
畫格記憶體32,係將從演算部30所被供給的解碼影像、及從ALF42所被供給的去區塊濾波器31a、適應偏置濾波器41、及ALF42已被適用的解碼影像(濾波器影像),予以暫時記憶。畫格記憶體32中所被記憶之解碼影像,係在必要的時序上,當作預測影像之生成時所被用的參照影像,而被供給至選擇部33。
選擇部33係選擇從畫格記憶體32所供給之參照影像的供給目標。於畫面內預測部34中被進行了畫面內預測的情況下,選擇部33,係將從畫格記憶體32所被供給之參照影像,供給至畫面內預測部34。於運動預測補償部35中被進行了畫面間預測的情況下,選擇部33,係將從畫格記憶體32所被供給之參照影像,供給至運動預測補償部35。
畫面內預測部34,係使用從排序緩衝區22所被供給之原影像、與透過選擇部33而從畫格記憶體32所被供給之參照影像,進行Intra預測(畫面內預測)。畫面內預測部34,係基於所定之成本函數,而選擇最佳的畫面內預測之預測模式,將以該最佳的畫面內預測之預測模式而從參照影像所被生成的預測影像,供給至預測影像選擇部36。又,畫面內預測部34,係將表示基於成本函數而被選擇之畫面內預測之預測模式,適宜地供給至可逆編碼部26等。
運動預測補償部35,係使用從排序緩衝區22所被供給之原影像、與透過選擇部33而從畫格記憶體32所被供給之參照影像,進行運動預測。再者,運動預測補償部35,係隨應於藉由運動預測而被偵測的運動向量來進行運動補償,生成預測影像。運動預測補償部35,係以事前所被準備的複數個畫面間預測之預測模式,來進行畫面間預測,從參照影像生成預測影像。
運動預測補償部35,係基於所定之成本函數,從複數個畫面間預測之預測模式,選擇出最佳的畫面間預測之預測模式。然後,運動預測補償部35,係將以最佳的畫面間預測之預測模式所被生成之預測影像,供給至預測影像選擇部36。
又,運動預測補償部35,係將基於成本函數而被選擇之最佳的畫面間預測之預測模式、或將以該畫面間預測之預測模式而被編碼之編碼資料進行解碼之際所必須之運動向量等之運動資訊等,供給至可逆編碼部26。
預測影像選擇部36,係將對演算部23及演算部30進行供給的預測影像的供給來源,從畫面內預測部34及運動預測補償部35之中加以選擇,將從該已選擇之一方之供給來源所被供給的預測影像,供給至演算部23及演算部30。
速率控制部37,係基於積存緩衝區27中所積存之編碼位元串流的編碼量,以不會發生溢位或下溢之方式,控制量化部25的量化動作之速率。亦即,速率控制部37,係以使得積存緩衝區27不會發生溢位及下溢的方式,來設定編碼位元串流的目標編碼量,並供給至量化部25。
去區塊濾波器31a,係對來自演算部30的解碼影像,因應需要而適用去區塊濾波器,將已被適用去區塊濾波器的解碼影像(濾波器影像)、或未被適用去區塊濾波器的解碼影像,供給至適應偏置濾波器41。
適應偏置濾波器41,係對來自去區塊濾波器31a的解碼影像,因應需要而適用適應偏置濾波器,將已被適用適應偏置濾波器的解碼影像(濾波器影像)、或未被適用適應偏置濾波器的解碼影像,供給至ALF42。
ALF42,係對來自適應偏置濾波器41的解碼影像,因應需要而適用ALF,將已被適用ALF的解碼影像、或未被適用ALF的解碼影像,供給至畫格記憶體32。
<編碼處理>
圖67係為圖66的編碼器11之編碼處理之例子的說明用流程圖。
此外,圖67所示的編碼處理的各步驟之順序,係為便於說明的順序,實際的編碼處理的各步驟,係適宜地、平行地、按照必要的順序而被進行。這在後述的處理中也同樣如此。
在編碼器11中,係於步驟S11中,A/D轉換部21係將原影像進行A/D轉換,供給至排序緩衝區22,處理係往步驟S12前進。
於步驟S12中,排序緩衝區22,係將來自A/D轉換部21的原影像予以記憶,排序成編碼順序而輸出,處理係往步驟S13前進。
在步驟S13中,畫面內預測部34係進行畫面內預測(畫面內預測過程),處理係往步驟S14前進。於步驟S14中,運動預測補償部35係進行,進行運動預測或運動補償的畫面間預測,處理係往步驟S15前進。
畫面內預測部34的畫面內預測、及運動預測補償部35的畫面間預測中,各種預測模式的成本函數會被演算,並且生成預測影像。
於步驟S15中,預測影像選擇部36,係基於畫面內預測部34及運動預測補償部35中所得之各成本函數,來決定最佳的預測模式。然後,預測影像選擇部36,係從已被畫面內預測部34所生成之預測影像、及已被運動預測補償部35所生成之預測影像之中,選擇出最佳的預測模式之預測影像並輸出,處理係從步驟S15往步驟S16前進。
在步驟S16中,演算部23,係演算出排序緩衝區22所輸出的原影像也就是編碼對象之對象影像、與預測影像選擇部36所輸出的預測影像的殘差,供給至正交轉換部24,處理係往步驟S17前進。
在步驟S17中,正交轉換部24,係將來自演算部23的殘差進行正交轉換,將其結果所得的正交轉換係數,供給至量化部25,處理係往步驟S18前進。
在步驟S18中,量化部25,係將來自正交轉換部24的正交轉換係數進行量化,將該量化所得之量化係數,供給至可逆編碼部26及逆量化部28,處理係往步驟S19前進。
在步驟S19中,逆量化部28,係將來自量化部25的量化係數進行逆量化,將其結果所得的正交轉換係數,供給至逆正交轉換部29,處理係往步驟S20前進。在步驟S20中,逆正交轉換部29,係將來自逆量化部28的正交轉換係數進行逆正交轉換,將其結果所得的殘差,供給至演算部30,處理係往步驟S21前進。
在步驟S21中,演算部30,係將來自逆正交轉換部29的殘差、與預測影像選擇部36所輸出的預測影像進行加算,生成演算部23中作為殘差演算對象的原影像所對應之解碼影像。演算部30,係將解碼影像供給至去區塊濾波器31a,處理係從步驟S21往步驟S22前進。
在步驟S22中,去區塊濾波器31a,係對來自演算部30的解碼影像,適用去區塊濾波器,將其結果所得之濾波器影像,供給至適應偏置濾波器41,處理係往步驟S23前進。
在步驟S23中,適應偏置濾波器41,係對來自去區塊濾波器31a的濾波器影像,適用適應偏置濾波器,將其結果所得之濾波器影像,供給至ALF42,處理係往步驟S24前進。
在步驟S24中,ALF42,係對來自適應偏置濾波器41的濾波器影像,適用ALF,將其結果所得之濾波器影像,供給至畫格記憶體32,處理係往步驟S25前進。
在步驟S25中,畫格記憶體32,係將從ALF42所被供給之濾波器影像予以記憶,處理係往步驟S26前進。畫格記憶體32中所被記憶之濾波器影像,係在步驟S13或S14中,作為用來生成預測影像之基礎的參照影像而被使用。
在步驟S26中,可逆編碼部26,係將來自量化部25的量化係數也就是編碼資料予以編碼,生成含有該編碼資料的編碼位元串流。然後,可逆編碼部26,係將量化部25中被使用於量化的量化參數、或畫面內預測部34中進行畫面內預測所得的預測模式、在運動預測補償部35中藉由畫面間預測所得之預測模式或運動資訊、去區塊濾波器31a及適應偏置濾波器41的濾波器參數等之編碼資訊,因應需要而予以編碼,並含入至編碼位元串流中。
然後,可逆編碼部26,係將編碼位元串流,供給至積存緩衝區27,處理係從步驟S26往步驟S27前進。
於步驟S27中,積存緩衝區27,係將來自可逆編碼部26的編碼位元串流予以積存,處理係往步驟S28前進。積存緩衝區27中所被積存的編碼位元串流,係被適宜讀出而傳輸。
在步驟S28中,速率控制部37,係基於積存緩衝區27中所積存之編碼位元串流的編碼量(發生編碼量),以不會發生溢位或下溢之方式,控制量化部25的量化動作之速率,編碼處理係結束。
<解碼器51的構成例>
圖68係為圖65的解碼器51的詳細構成例的區塊圖。
於圖68中,解碼器51係具有:積存緩衝區61、可逆解碼部62、逆量化部63、逆正交轉換部64、演算部65、排序緩衝區67、及D/A轉換部68。然後,解碼器51係還具有:畫格記憶體69、選擇部70、畫面內預測部71、運動預測補償部72、及選擇部73。又,解碼器51係具有:去區塊濾波器31b、適應偏置濾波器81、及ALF82。
積存緩衝區61,係將從編碼器11所被傳輸過來的編碼位元串流予以暫時積存,在所定之時序上,將該編碼位元串流,供給至可逆解碼部62。
可逆解碼部62,係將來自積存緩衝區61的編碼位元串流予以接收,以圖66的可逆編碼部26之編碼方式所對應之方式,進行解碼。
然後,可逆解碼部62,係將編碼位元串流之解碼結果中所含之作為編碼資料的量化係數,供給至逆量化部63。
又,可逆解碼部62,係具有進行剖析的機能。可逆解碼部62,係將編碼位元串流之解碼結果中所含之必要的編碼資訊加以剖析,並將編碼資訊,供給至畫面內預測部71、或運動預測補償部72去區塊濾波器31b、適應偏置濾波器81等其他必要的區塊。
逆量化部63,係將來自可逆解碼部62的作為編碼資料的量化係數,以圖66的量化部25之量化方式所對應之方式進行逆量化,將該逆量化所得之正交轉換係數,供給至逆正交轉換部64。
逆正交轉換部64,係將從逆量化部63所被供給之正交轉換係數,以圖66的正交轉換部24之正交轉換方式所對應之方式進行逆正交轉換,將其結果所得的殘差,供給至演算部65。
對演算部65,係除了從逆正交轉換部64被供給殘差以外,還透過選擇部73,從畫面內預測部71或運動預測補償部72被供給預測影像。
演算部65,係將來自逆正交轉換部64的殘差、與來自選擇部73的預測影像進行加算,生成解碼影像,並供給至去區塊濾波器31b。
此處,以上的可逆解碼部62乃至演算部65,係構成將影像予以解碼的解碼部,解碼部中所被進行的處理(過程),係為解碼過程。
排序緩衝區67,係將從ALF82所被供給之解碼影像予以暫時記憶,將解碼影像之畫格(圖像)的排序,從編碼(解碼)順序排序成顯示順序,並供給至D/A轉換部68。
D/A轉換部68,係將從排序緩衝區67所被供給之解碼影像進行D/A轉換,輸出至未圖示的顯示器而顯示之。此外,在由被連接至解碼器51的機器來收取數位訊號之影像的情況下,則解碼器51係可不設置D/A轉換部68而構成。
畫格記憶體69,係將從ALF82所被供給之解碼影像予以暫時記憶。然後,畫格記憶體69,係於所定之時序上、或基於畫面內預測部71或運動預測補償部72等之外部之要求,而將解碼影像,當作預測影像之生成時所使用的參照影像,而供給至選擇部70。
選擇部70係選擇從畫格記憶體69所供給之參照影像的供給目標。選擇部70係在將藉由畫面內預測而已被編碼的影像進行解碼時,將從畫格記憶體69所供給之參照影像,供給至畫面內預測部71。又,選擇部70係在將藉由畫面間預測而已被編碼之影像進行解碼時,將從畫格記憶體69所供給之參照影像,供給至運動預測補償部72。
畫面內預測部71,係依照從可逆解碼部62所被供給之編碼資訊中所含之預測模式,使用從畫格記憶體69透過選擇部70而被供給的參照影像,來進行和圖66的畫面內預測部34同樣的畫面內預測。然後,畫面內預測部71,係將畫面內預測所得的預測影像,供給至選擇部73。
運動預測補償部72,係依照從可逆解碼部62所被供給之編碼資訊中所含之預測模式,和圖66的運動預測補償部35同樣地,使用從畫格記憶體69透過選擇部70而被供給的參照影像,來進行畫面間預測。畫面間預測,係將從可逆解碼部62所被供給之編碼資訊中所含之運動資訊等,因應需要而加以使用,而被進行。
運動預測補償部72,係將畫面間預測所得的預測影像,供給至選擇部73。
選擇部73,係將從畫面內預測部71所被供給之預測影像、或從運動預測補償部72所被供給之預測影像加以選擇,供給至演算部65。
去區塊濾波器31b,係依照從可逆解碼部62所被供給之編碼資訊中所含之濾波器參數,而對來自演算部65的解碼影像,適用去區塊濾波器。去區塊濾波器31b,係將已被適用去區塊濾波器的解碼影像(濾波器影像)、或未被適用去區塊濾波器的解碼影像,供給至適應偏置濾波器81。
適應偏置濾波器81,係依照從可逆解碼部62所被供給之編碼資訊中所含之濾波器參數,而對來自去區塊濾波器31b的解碼影像,因應需要而適用適應偏置濾波器。適應偏置濾波器81,係將已被適用適應偏置濾波器的解碼影像(濾波器影像)、或未被適用適應偏置濾波器的解碼影像,供給至ALF82。
ALF82,係對來自適應偏置濾波器81的解碼影像,因應需要而適用ALF,將已被適用ALF的解碼影像、或未被適用ALF的解碼影像,供給至排序緩衝區67及畫格記憶體69。
<解碼處理>
圖69係為圖68的解碼器51的解碼處理之例子的說明用流程圖。
在解碼處理中,係於步驟S51中,積存緩衝區61,係將從編碼器11所被傳輸過來的編碼位元串流與暫時積存,適宜地供給至可逆解碼部62,處理係往步驟S52前進。
在步驟S52中,可逆解碼部62,係將從積存緩衝區61所被供給之編碼位元串流予以收取並進行解碼,將編碼位元串流之解碼結果中所含之作為編碼資料的量化係數,供給至逆量化部63。
又,可逆解碼部62,係將編碼位元串流的解碼結果中所含之編碼資訊,進行剖析。然後,可逆解碼部62,係將必要的編碼資訊,供給至畫面內預測部71、或運動預測補償部72、去區塊濾波器31b、適應偏置濾波器81等其他必要的區塊。
然後,處理係從步驟S52往步驟S53前進,畫面內預測部71或運動預測補償部72,係依照從畫格記憶體69透過選擇部70而被供給的參照影像、及從可逆解碼部62所被供給之編碼資訊,進行將預測影像予以生成的畫面內預測或畫面間預測(畫面內預測過程或畫面間預測過程)。然後,畫面內預測部71或運動預測補償部72,係將藉由畫面內預測或畫面間預測所得的預測影像,供給至選擇部73,處理係從步驟S53往步驟S54前進。
在步驟S54中,選擇部73,係將從畫面內預測部71或運動預測補償部72所被供給之預測影像加以選擇,供給至演算部65,處理係往步驟S55前進。
在步驟S55中,逆量化部63,係將來自可逆解碼部62的量化係數進行逆量化,將其結果所得的正交轉換係數,供給至逆正交轉換部64,處理係往步驟S56前進。
在步驟S56中,逆正交轉換部64,係將來自逆量化部63的正交轉換係數進行逆正交轉換,將其結果所得的殘差,供給至演算部65,處理係往步驟S57前進。
在步驟S57中,演算部65,係將來自逆正交轉換部64的殘差、與來自選擇部73的預測影像進行加算,以生成解碼影像。然後,演算部65,係將解碼影像,供給至去區塊濾波器31b,處理係從步驟S57往步驟S58前進。
在步驟S58中,去區塊濾波器31b,係依照從可逆解碼部62所被供給之編碼資訊中所含之濾波器參數,而對來自演算部65的解碼影像,適用去區塊濾波器。去區塊濾波器31b,係將去區塊濾波器之適用結果所得之濾波器影像,供給至適應偏置濾波器81,處理係從步驟S58往步驟S59前進。
在步驟S59中,適應偏置濾波器81,係依照從可逆解碼部62所被供給之編碼資訊中所含之濾波器參數,而對來自去區塊濾波器31b的濾波器影像,適用適應偏置濾波器。適應偏置濾波器81,係將適應偏置濾波器之適用結果所得之濾波器影像,供給至ALF82,處理係從步驟S59往步驟S60前進。
ALF82,係對來自適應偏置濾波器81的濾波器影像,適用ALF,將其結果所得之濾波器影像,供給至排序緩衝區67及畫格記憶體69,處理係往步驟S61前進。
在步驟S61中,畫格記憶體69,係將從ALF82所被供給之濾波器影像予以暫時記憶,處理係往步驟S62前進。畫格記憶體69中所被記憶之濾波器影像(解碼影像),係在步驟S53的畫面內預測或畫面間預測中,作為用來生成預測影像之基礎的參照影像而被使用。
在步驟S62中,排序緩衝區67,係將從ALF82所被供給之濾波器影像,排序成顯示順序,然後供給至D/A轉換部68,處理係往步驟S63前進。
在步驟S63中,D/A轉換部68,係將來自排序緩衝區67的濾波器影像進行D/A轉換,處理係結束解碼處理。D/A轉換後的濾波器影像(解碼影像),係被輸出至未圖示的顯示器而顯示之。
圖66的畫面內預測部34、以及圖68的畫面內預測部71所進行的畫面內預測中,係包含有MIP。於畫面內預測部34及71中,MIP的預測影像之生成,係可藉由第二MIP法來進行。
<其他>
本技術係可適用於任意的影像編碼、解碼方式。亦即,只要不與上述的本技術產生矛盾,則轉換(逆轉換)、量化(逆量化)、編碼(解碼)、預測等,關於影像編碼、解碼之各種處理的規格係為任意,並非限定於上述的例子。又,只要不與上述的本技術產生矛盾,亦可省略這些處理之中的一部分。
又,於本說明書中,作為影像(圖像)之部分領域或處理單位而用於說明的「區塊」(並非表示處理部的區塊),係在沒有特別言及的情況下,是表示圖像內的任意之部分領域,其大小、形狀、及特性等並無限定。例如,「區塊」中係可包含有:參考文獻REF1~REF3等中所記載之TB(Transform Block)、TU(Transform Unit)、PB (Prediction Block)、PU(Prediction Unit)、SCU(Smallest Coding Unit)、CU(Coding Unit)、LCU(Largest Coding Unit)、CTB(Coding Tree Block)、CTU(Coding Tree Unit)、轉換區塊、子區塊、巨集區塊、瓷磚、或切片等,任意之部分領域(處理單位)。
於以上所說明的各種資訊所被設定的資料單位、或各種處理之對象的資料單位,係分別為任意,並非限定於上述的例子。例如,這些資訊或處理係亦可分別對每一TU(Transform Unit)、TB(Transform Block)、PU(Prediction Unit)、PB(Prediction Block)、CU(Coding Unit)、LCU(Largest Coding Unit)、子區塊、區塊、瓷磚、切片、圖像、序列、或組件而被設定,亦可以這些資料單位之資料為對象。當然,該資料單位,係可按照每一資訊或處理而被設定,並不一定要所有的資訊或處理之資料單位都是統一的。此外,這些資訊的儲存場所係為任意,亦可被儲存在上述的資料單位之標頭或參數集等。又,亦可被儲存在複數地點。
以上所說明的關於本技術的控制資訊,亦可從編碼側傳輸至解碼側。例如,亦可將用來控制是否許可(或禁止)適用上述本技術的控制資訊(例如enabled_flag),予以傳輸。又,例如,亦可將表示上述的本技術之適用對象(或非適用對象)的控制資訊,予以傳輸。例如,亦可將用來指定適用本技術(或者是許可或禁止適用)的區塊尺寸(上限或下限、或其雙方)、畫格、分量、或層等的控制資訊,予以傳輸。
在指定要適用本技術的區塊之尺寸時,不只可直接地指定區塊尺寸,亦可間接地指定區塊尺寸。例如亦可使用用來識別尺寸的識別資料,來指定區塊尺寸。又,例如,亦可藉由與作為基準之區塊(例如LCU或SCU等)之尺寸的比或差分,來指定區塊尺寸。例如,作為語法要素等而將用來指定區塊尺寸的資訊予以傳輸的情況下,作為該資訊,亦可使用如上述的間接指定尺寸的資訊。藉由如此設計,可降低該資訊的資訊量,有時候可以提升編碼效率。又,該區塊尺寸之指定中係包含有,區塊尺寸之範圍之指定(例如所被容許之區塊尺寸之範圍之指定等)。
此外,本說明書中所謂的「識別資料」,係為用來識別複數種狀態所需之資訊,亦包含「旗標」或其他的名稱。又,「識別資料」中係不只包含用來識別真(1)或偽(0)之2種狀態之際所使用的資訊,亦包含可識別3種以上之狀態的資訊。因此,該「識別資料」所能採取的值,係可為例如1/0之2值,亦可為3值以上。亦即,構成該「識別資料」的bit數係為任意,可為1bit亦可為複數bit。又,識別資料,係不只將該識別資料含入至位元串流的形式,也想定了將識別資料相對於某個作為基準之資訊的差分資訊含入至位元串流的形式,因此於本說明書中,「識別資料」,係不只包含該資訊,也還包含了相對於作為基準之資訊的差分資訊。
又,編碼資料(位元串流)的相關之各種資訊(後設資料等),係只要與編碼資料建立關連,則無論是以哪種形態而被傳輸或記錄皆可。此處,「建立關連」此一用語係意味著例如:使得在一方之資料進行處理之際可能利用到他方之資料的情況(可建立連結)。亦即,被彼此建立關連的資料,係亦可整體視為1個資料,也可分別視為個別之資料。例如,與編碼資料(影像)建立關連的資訊,係亦可在有別於該編碼資料(影像)的其他傳輸路上被傳輸。又,例如,與編碼資料(影像)建立關連的資訊,係亦可在有別於該編碼資料(影像)的其他記錄媒體(或是同一記錄媒體的其他記錄區域)中被記錄。此外,該「建立關連」,係亦可不是資料全體,而是資料的一部分。例如,影像與對應於該影像的資訊,係亦可使用複數畫格、1畫格、或畫格內之一部分等之任意之單位,而被彼此建立關連。
此外,於本說明書中,「合成」、「多工化」、「附加」、「一體化」、「含入」、「儲存」、「放入」、「插進」、「插入」等之用語,係意味著例如將編碼資料與後設資料總結成1個資料,把複數個物綁成1個的意思,是意味著上述的「建立關連」的1種方法。
本技術係亦可成為構成裝置或系統的任意構成,例如,作為系統LSI(Large Scale Integration)等的處理器、使用複數處理器等的模組、使用複數模組等的單元、對單元再附加其他機能而成的套組等(亦即裝置之部分構成)而實施之。
<適用了本技術之電腦的說明>
其次,上述一連串處理之全部或一部,係可藉由的硬體來進行,也可藉由軟體來進行。在以軟體來進行一連串處理之全部或一部時,構成該軟體的程式,係可安裝至通用的電腦等。
圖70係為執行上述一連串處理之全部或一部的程式所被安裝之電腦的一實施形態之構成例的區塊圖。
程式是可預先被記錄在內建於電腦中的做為記錄媒體之硬碟905或ROM903。
又或者,程式係亦可先儲存(記錄)在藉由驅動機909而被驅動的可移除式記錄媒體911中。此種可移除式記錄媒體911,係可以所謂套裝軟體的方式來提供。此處,作為可移除式記錄媒體911係例如有軟碟片、CD-ROM(Compact Disc Read Only Memory)、MO(Magneto Optical)碟、DVD(Digital Versatile Disc)、磁碟、半導體記憶體等。
此外,程式除了可從如上述的可移除式記錄媒體911安裝至電腦,還可透過通訊網或播送網而下載至電腦中,安裝至內建的硬碟905。亦即,程式係可例如從下載網站,透過數位衛星播送用的人造衛星,以無線而傳輸至電腦、或透過LAN(Local Area Network)、網際網路這類網路,以有線方式而傳輸至電腦。
電腦係內藏有CPU(Central Processing Unit) 902,對CPU902係透過匯流排901而連接有輸出入介面910。
CPU902係一旦透過輸出入介面910藉由使用者操作輸入部907等而進行了指令輸入,則會聽從之而執行ROM(Read Only Memory)903中所儲存的程式。或者,CPU902係將硬碟905中所儲存的程式,載入至RAM (Random Access Memory)904中而加以執行。
藉此,CPU902係會進行依照上述流程圖之處理,或是由上述區塊圖之構成所進行之處理。然後,CPU902係將其處理結果,因應需要,例如,透過輸出入介面910而從輸出部906加以輸出,或者從通訊部908進行送訊,或甚至記錄在硬碟905中等。
此外,輸入部907係由鍵盤、滑鼠、麥克風等所構成。又,輸出部906係由LCD(Liquid Crystal Display)或揚聲器等所構成。
此處,於本說明書中,電腦依照程式而進行之處理,係並不一定依照流程圖方式所記載之順序而時間序列性地進行。亦即,電腦依照程式所進行的處理,係包含可平行地或個別地執行之處理(例如平行處理或是物件所致之處理)。
又,程式係可被1個電腦(處理器)所處理,也可被複數電腦分散處理。甚至,程式係亦可被傳輸至遠方的電腦而執行之。
再者,於本說明書中,所謂的系統,係意味著複數構成要素(裝置、模組(零件)等)的集合,所有構成要素是否位於同一框體內則在所不問。因此,被收納在個別的框體中,透過網路而連接的複數台裝置、及在1個框體中收納有複數模組的1台裝置,均為系統。
此外,本技術的實施形態係不限定於上述實施形態,在不脫離本技術主旨的範圍內可做各種變更。
例如,本技術係亦可將1個機能透過網路而分擔給複數台裝置,採取共通進行處理的雲端運算之構成。
又,上述的流程圖中所說明的各步驟,係可由1台裝置來執行以外,亦可由複數台裝置來分擔執行。
甚至,若1個步驟中含有複數處理的情況下,該1個步驟中所含之複數處理,係可由1台裝置來執行以外,也可由複數台裝置來分擔執行。
又,本說明書中所記載之效果僅為例示並非限定,亦可還有其他的效果。
10:影像處理系統 11:編碼器 21:A/D轉換部 22:排序緩衝區 23:演算部 24:正交轉換部 25:量化部 26:可逆編碼部 27:積存緩衝區 28:逆量化部 29:逆正交轉換部 30:演算部 31a,31b:去區塊濾波器 32:畫格記憶體 33:選擇部 34:畫面內預測部 35:運動預測補償部 36:預測影像選擇部 37:速率控制部 41:適應偏置濾波器 42:適應迴圈濾波器(ALF) 51:解碼器 61:積存緩衝區 62:可逆解碼部 63:逆量化部 64:逆正交轉換部 65:演算部 67:排序緩衝區 68:D/A轉換部 69:畫格記憶體 70:選擇部 71:畫面內預測部 72:運動預測補償部 73:選擇部 81:適應偏置濾波器 82:ALF 901:匯流排 902:CPU 903:ROM 904:RAM 905:硬碟 906:輸出部 907:輸入部 908:通訊部 909:驅動機 910:輸出入介面 911:可移除式記錄媒體
[圖1]第一MIP法的說明圖。 [圖2]第二MIP法的說明圖。 [圖3]作為固定偏置係數是採用48,作為固定平移量是採用5時的MIP的說明圖。 [圖4]作為固定偏置係數是採用48,作為固定平移量是採用5時的(M,m)=(0,0)之權重矩陣mWeight[i][j]的圖示。 [圖5]作為固定偏置係數是採用48,作為固定平移量是採用5時的(M,m)=(0,1)之權重矩陣mWeight[i][j]的圖示。 [圖6]作為固定偏置係數是採用48,作為固定平移量是採用5時的(M,m)=(0,2)之權重矩陣mWeight[i][j]的圖示。 [圖7]作為固定偏置係數是採用48,作為固定平移量是採用5時的(M,m)=(0,3)之權重矩陣mWeight[i][j]的圖示。 [圖8]作為固定偏置係數是採用48,作為固定平移量是採用5時的(M,m)=(0,4)之權重矩陣mWeight[i][j]的圖示。 [圖9]作為固定偏置係數是採用48,作為固定平移量是採用5時的(M,m)=(0,5)之權重矩陣mWeight[i][j]的圖示。 [圖10]作為固定偏置係數是採用48,作為固定平移量是採用5時的(M,m)=(0,6)之權重矩陣mWeight[i][j]的圖示。 [圖11]作為固定偏置係數是採用48,作為固定平移量是採用5時的(M,m)=(0,7)之權重矩陣mWeight[i][j]的圖示。 [圖12]作為固定偏置係數是採用48,作為固定平移量是採用5時的(M,m)=(0,8)之權重矩陣mWeight[i][j]的圖示。 [圖13]作為固定偏置係數是採用48,作為固定平移量是採用5時的(M,m)=(0,9)之權重矩陣mWeight[i][j]的圖示。 [圖14]作為固定偏置係數是採用48,作為固定平移量是採用5時的(M,m)=(0,10)之權重矩陣mWeight[i][j]的圖示。 [圖15]作為固定偏置係數是採用48,作為固定平移量是採用5時的(M,m)=(0,11)之權重矩陣mWeight[i][j]的圖示。 [圖16]作為固定偏置係數是採用48,作為固定平移量是採用5時的(M,m)=(0,12)之權重矩陣mWeight[i][j]的圖示。 [圖17]作為固定偏置係數是採用48,作為固定平移量是採用5時的(M,m)=(0,13)之權重矩陣mWeight[i][j]的圖示。 [圖18]作為固定偏置係數是採用48,作為固定平移量是採用5時的(M,m)=(0,14)之權重矩陣mWeight[i][j]的圖示。 [圖19]作為固定偏置係數是採用48,作為固定平移量是採用5時的(M,m)=(0,15)之權重矩陣mWeight[i][j]的圖示。 [圖20]作為固定偏置係數是採用48,作為固定平移量是採用5時的(M,m)=(1,0)之權重矩陣mWeight[i][j]的圖示。 [圖21]作為固定偏置係數是採用48,作為固定平移量是採用5時的(M,m)=(1,1)之權重矩陣mWeight[i][j]的圖示。 [圖22]作為固定偏置係數是採用48,作為固定平移量是採用5時的(M,m)=(1,2)之權重矩陣mWeight[i][j]的圖示。 [圖23]作為固定偏置係數是採用48,作為固定平移量是採用5時的(M,m)=(1,3)之權重矩陣mWeight[i][j]的圖示。 [圖24]作為固定偏置係數是採用48,作為固定平移量是採用5時的(M,m)=(1,4)之權重矩陣mWeight[i][j]的圖示。 [圖25]作為固定偏置係數是採用48,作為固定平移量是採用5時的(M,m)=(1,5)之權重矩陣mWeight[i][j]的圖示。 [圖26]作為固定偏置係數是採用48,作為固定平移量是採用5時的(M,m)=(1,6)之權重矩陣mWeight[i][j]的圖示。 [圖27]作為固定偏置係數是採用48,作為固定平移量是採用5時的(M,m)=(1,7)之權重矩陣mWeight[i][j]的圖示。 [圖28]作為固定偏置係數是採用48,作為固定平移量是採用5時的(M,m)=(2,0)之權重矩陣mWeight[i][j]的圖示。 [圖29]作為固定偏置係數是採用48,作為固定平移量是採用5時的(M,m)=(2,1)之權重矩陣mWeight[i][j]的圖示。 [圖30]作為固定偏置係數是採用48,作為固定平移量是採用5時的(M,m)=(2,2)之權重矩陣mWeight[i][j]的圖示。 [圖31]作為固定偏置係數是採用48,作為固定平移量是採用5時的(M,m)=(2,3)之權重矩陣mWeight[i][j]的圖示。 [圖32]作為固定偏置係數是採用48,作為固定平移量是採用5時的(M,m)=(2,4)之權重矩陣mWeight[i][j]的圖示。 [圖33]作為固定偏置係數是採用48,作為固定平移量是採用5時的(M,m)=(2,5)之權重矩陣mWeight[i][j]的圖示。 [圖34]作為固定偏置係數是採用96,作為固定平移量是採用6時的MIP的說明圖。 [圖35]作為固定偏置係數是採用96,作為固定平移量是採用6時的(M,m)=(0,0)之權重矩陣mWeight[i][j]的圖示。 [圖36]作為固定偏置係數是採用96,作為固定平移量是採用6時的(M,m)=(0,1)之權重矩陣mWeight[i][j]的圖示。 [圖37]作為固定偏置係數是採用96,作為固定平移量是採用6時的(M,m)=(0,2)之權重矩陣mWeight[i][j]的圖示。 [圖38]作為固定偏置係數是採用96,作為固定平移量是採用6時的(M,m)=(0,3)之權重矩陣mWeight[i][j]的圖示。 [圖39]作為固定偏置係數是採用96,作為固定平移量是採用6時的(M,m)=(0,4)之權重矩陣mWeight[i][j]的圖示。 [圖40]作為固定偏置係數是採用96,作為固定平移量是採用6時的(M,m)=(0,5)之權重矩陣mWeight[i][j]的圖示。 [圖41]作為固定偏置係數是採用96,作為固定平移量是採用6時的(M,m)=(0,6)之權重矩陣mWeight[i][j]的圖示。 [圖42]作為固定偏置係數是採用96,作為固定平移量是採用6時的(M,m)=(0,7)之權重矩陣mWeight[i][j]的圖示。 [圖43]作為固定偏置係數是採用96,作為固定平移量是採用6時的(M,m)=(0,8)之權重矩陣mWeight[i][j]的圖示。 [圖44]作為固定偏置係數是採用96,作為固定平移量是採用6時的(M,m)=(0,9)之權重矩陣mWeight[i][j]的圖示。 [圖45]作為固定偏置係數是採用96,作為固定平移量是採用6時的(M,m)=(0,10)之權重矩陣mWeight[i][j]的圖示。 [圖46]作為固定偏置係數是採用96,作為固定平移量是採用6時的(M,m)=(0,11)之權重矩陣mWeight[i][j]的圖示。 [圖47]作為固定偏置係數是採用96,作為固定平移量是採用6時的(M,m)=(0,12)之權重矩陣mWeight[i][j]的圖示。 [圖48]作為固定偏置係數是採用96,作為固定平移量是採用6時的(M,m)=(0,13)之權重矩陣mWeight[i][j]的圖示。 [圖49]作為固定偏置係數是採用96,作為固定平移量是採用6時的(M,m)=(0,14)之權重矩陣mWeight[i][j]的圖示。 [圖50]作為固定偏置係數是採用96,作為固定平移量是採用6時的(M,m)=(0,15)之權重矩陣mWeight[i][j]的圖示。 [圖51]作為固定偏置係數是採用96,作為固定平移量是採用6時的(M,m)=(1,0)之權重矩陣mWeight[i][j]的圖示。 [圖52]作為固定偏置係數是採用96,作為固定平移量是採用6時的(M,m)=(1,1)之權重矩陣mWeight[i][j]的圖示。 [圖53]作為固定偏置係數是採用96,作為固定平移量是採用6時的(M,m)=(1,2)之權重矩陣mWeight[i][j]的圖示。 [圖54]作為固定偏置係數是採用96,作為固定平移量是採用6時的(M,m)=(1,3)之權重矩陣mWeight[i][j]的圖示。 [圖55]作為固定偏置係數是採用96,作為固定平移量是採用6時的(M,m)=(1,4)之權重矩陣mWeight[i][j]的圖示。 [圖56]作為固定偏置係數是採用96,作為固定平移量是採用6時的(M,m)=(1,5)之權重矩陣mWeight[i][j]的圖示。 [圖57]作為固定偏置係數是採用96,作為固定平移量是採用6時的(M,m)=(1,6)之權重矩陣mWeight[i][j]的圖示。 [圖58]作為固定偏置係數是採用96,作為固定平移量是採用6時的(M,m)=(1,7)之權重矩陣mWeight[i][j]的圖示。 [圖59]作為固定偏置係數是採用96,作為固定平移量是採用6時的(M,m)=(2,0)之權重矩陣mWeight[i][j]的圖示。 [圖60]作為固定偏置係數是採用96,作為固定平移量是採用6時的(M,m)=(2,1)之權重矩陣mWeight[i][j]的圖示。 [圖61]作為固定偏置係數是採用96,作為固定平移量是採用6時的(M,m)=(2,2)之權重矩陣mWeight[i][j]的圖示。 [圖62]作為固定偏置係數是採用96,作為固定平移量是採用6時的(M,m)=(2,3)之權重矩陣mWeight[i][j]的圖示。 [圖63]作為固定偏置係數是採用96,作為固定平移量是採用6時的(M,m)=(2,4)之權重矩陣mWeight[i][j]的圖示。 [圖64]作為固定偏置係數是採用96,作為固定平移量是採用6時的(M,m)=(2,5)之權重矩陣mWeight[i][j]的圖示。 [圖65]適用了本技術的影像處理系統之一實施形態之構成例的區塊圖。 [圖66]編碼器11之構成例的區塊圖。 [圖67]編碼器11的編碼處理之例子的說明用流程圖。 [圖68]解碼器51的詳細構成例的區塊圖。 [圖69]解碼器51的解碼處理之例子的說明用流程圖。 [圖70]適用了本技術之電腦的一實施形態之構成例的區塊圖。

Claims (10)

  1. 一種影像處理裝置,係具備: 畫面內預測部,係在對編碼對象之目前預測區塊進行使用到矩陣演算的畫面內預測也就是矩陣畫面內預測之際,使用已被設定成固定值的,對像素值之變化量之和做乘算的係數,來進行前記矩陣畫面內預測,並生成前記目前預測區塊之預測影像;和 編碼部,係使用已被前記畫面內預測部所生成之前記預測影像,而將前記目前預測區塊予以編碼。
  2. 如請求項1所記載之影像處理裝置,其中, 前記係數,係為以2的乘冪而被表示之值。
  3. 如請求項2所記載之影像處理裝置,其中, 前記係數係為32。
  4. 如請求項1所記載之影像處理裝置,其中, 前記畫面內預測部,係使用前記係數、以及已被設定成固定值的平移量,來進行前記矩陣畫面內預測。
  5. 如請求項4所記載之影像處理裝置,其中, 前記平移量係為6。
  6. 如請求項4所記載之影像處理裝置,其中, 前記畫面內預測部,係依照含有隨應於已被設定成固定值的前記係數及前記平移量而被變更之權重矩陣的演算,來進行前記矩陣畫面內預測。
  7. 如請求項1所記載之影像處理裝置,其中, 前記係數,係為以2的乘冪之和而被表示之值。
  8. 一種影像處理方法,係含有: 畫面內預測過程,係在對編碼對象之目前預測區塊進行使用到矩陣演算的畫面內預測也就是矩陣畫面內預測之際,使用已被設定成固定值的,對像素值之變化量之和做乘算的係數,來進行前記矩陣畫面內預測,並生成前記目前預測區塊之預測影像;和 編碼過程,係使用於前記畫面內預測過程中所被生成之前記預測影像,而將前記目前預測區塊予以編碼。
  9. 一種影像處理裝置,係具備: 畫面內預測部,係在對解碼對象之目前預測區塊進行使用到矩陣演算的畫面內預測也就是矩陣畫面內預測之際,使用已被設定成固定值的,對像素值之變化量之和做乘算的係數,來進行前記矩陣畫面內預測,並生成前記目前預測區塊之預測影像;和 解碼部,係使用已被前記畫面內預測部所生成之前記預測影像,而將前記目前預測區塊予以解碼。
  10. 一種影像處理方法,係含有: 畫面內預測過程,係在對解碼對象之目前預測區塊進行使用到矩陣演算的畫面內預測也就是矩陣畫面內預測之際,使用已被設定成固定值的,對像素值之變化量之和做乘算的係數,來進行前記矩陣畫面內預測,並生成前記目前預測區塊之預測影像;和 解碼過程,係使用於前記畫面內預測過程中所被生成之前記預測影像,而將前記目前預測區塊予以解碼。
TW109144936A 2019-12-20 2020-12-18 影像處理裝置及影像處理方法 TW202130178A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201962951177P 2019-12-20 2019-12-20
US62/951,177 2019-12-20

Publications (1)

Publication Number Publication Date
TW202130178A true TW202130178A (zh) 2021-08-01

Family

ID=76478317

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109144936A TW202130178A (zh) 2019-12-20 2020-12-18 影像處理裝置及影像處理方法

Country Status (7)

Country Link
US (1) US20230009580A1 (zh)
EP (1) EP4054193A4 (zh)
JP (1) JPWO2021125317A1 (zh)
KR (1) KR20220113708A (zh)
CN (1) CN114930842A (zh)
TW (1) TW202130178A (zh)
WO (1) WO2021125317A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
HUE063717T2 (hu) * 2019-06-19 2024-01-28 Sony Group Corp Képfeldolgozó készülék és képfeldolgozó eljárás

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112616057B (zh) * 2019-10-04 2024-08-23 Oppo广东移动通信有限公司 图像预测方法、编码器、解码器以及存储介质
CN114598890A (zh) * 2019-12-10 2022-06-07 Oppo广东移动通信有限公司 用于对图像进行编码和解码的方法以及相关装置和系统

Also Published As

Publication number Publication date
WO2021125317A1 (ja) 2021-06-24
EP4054193A4 (en) 2023-01-25
JPWO2021125317A1 (zh) 2021-06-24
US20230009580A1 (en) 2023-01-12
CN114930842A (zh) 2022-08-19
EP4054193A1 (en) 2022-09-07
KR20220113708A (ko) 2022-08-16

Similar Documents

Publication Publication Date Title
RU2673011C1 (ru) Усовершенствованное кодирование с внутрикадровым предсказанием с использованием планарных представлений
KR101697154B1 (ko) 영상 부호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체
TWI666918B (zh) 決定在視訊寫碼中之調色板寫碼區塊的調色板大小、調色板單元及過濾
JP6158802B2 (ja) 復号装置および復号方法
TWI507017B (zh) 在視訊寫碼中之係數掃描
JP5303659B2 (ja) イントラコード化された画像またはフレームのインループ非ブロック化
TW201906406A (zh) 與視訊寫碼中之變換處理一起應用之內部濾波
TWI827606B (zh) 網格寫碼之量化係數寫碼
TW201513639A (zh) 於視訊寫碼程序中用於係數層級寫碼之萊斯(rice)參數初始化
TW201313031A (zh) 用於大色度區塊的可變長度寫碼係數寫碼
WO2022178686A1 (zh) 编解码方法、编解码设备、编解码系统以及计算机可读存储介质
CN110944179B (zh) 一种视频数据解码方法及装置
JP2024113152A (ja) 画像処理装置及び画像処理方法
TW202127884A (zh) 用於用於視訊譯碼的跨分量適應性環路濾波的位元位移
CN110536133B (zh) 视频数据解码方法及装置
KR101652183B1 (ko) Vlc 코드워드들을 이용한 코딩 구문 요소들
CN113491133A (zh) 图像处理装置和图像处理方法
AU2011277552A1 (en) Image processing device, image processing method, and program
TW202130178A (zh) 影像處理裝置及影像處理方法
WO2024145851A1 (zh) 帧内模板匹配预测方法、视频编解码方法、装置和系统
TWI859243B (zh) 影像處理裝置及影像處理方法
TW202106014A (zh) 影像處理裝置及影像處理方法