TWI571112B - A portrait coding apparatus, a picture decoding apparatus, a portrait coding method, and a picture decoding method - Google Patents

Description

畫像編碼裝置、畫像解碼裝置、畫像編碼方法以及畫像解碼方法

本發明係關於將動畫像以高效率進行編碼的動畫像編碼裝置及動畫像編碼方法、及將經高效率編碼的動畫像進行解碼的動畫像解碼裝置及動畫像解碼方法。

例如，在MPEG(Moving Picture Experts Group，動態影像專家群)或「ITU-T H.26x」等國際標準影像編碼方式中，係將輸入影像圖框分割成矩形區塊(編碼區塊)，對該編碼區塊，實施使用編碼完畢的畫像訊號的預測處理來生成預測畫像，藉由將作為該編碼區塊與預測畫像的差分的預測誤差訊號以區塊單位進行正交轉換或量化處理，來進行資訊壓縮。

例如，在屬於國際標準方式的MPEG-4 AVC/H.264(ISO/IEC 14496-10｜ITU-T H.264)中，進行由編碼完畢的近傍像素的框內預測處理或在近接圖框間的動作補償預測處理(參照例如非專利文獻1)。

在MPEG-4 AVC/H.264中，在亮度的框內預測模式中係可以區塊單位，在複數預測模式之中選擇1個預測模式。

第14圖係顯示亮度的區塊尺寸為4×4像素時的框內預測模式的說明圖。

在第14圖中，區塊內的白圈表示編碼對象的像素，黑圈表示預測所使用的像素亦即編碼完畢的像素。若亮度的區塊尺寸為4×4像素時，規定出模式0至模式8的9個框內預測模式。

在第14圖中，模式2係進行平均值預測的模式，以區塊之上與左的鄰接像素的平均值來預測區塊內的像素者。

模式2以外的模式係進行方向性預測的模式。模式0為垂直方向預測，藉由朝垂直方向反覆區塊之上的鄰接像素，來生成預測畫像。例如，為直條模樣時，係選擇模式0。

模式1為水平方向預測，藉由朝水平方向反覆區塊之左的鄰接像素，來生成預測畫像。例如，為橫條模樣時，係選擇模式1。

模式3至模式8係使用區塊之上或左的編碼完畢的像素，以預定方向(箭號所示方向)生成內插像素而生成預測畫像者。

在此，適用框內預測的亮度的區塊尺寸係可由4×4像素、8×8像素、16×16像素之中作選擇，若為8×8像素，與4×4像素同樣地，規定出9個框內預測模式。但是，關於預測所使用的像素，並非使用編碼完畢的像素本身者，而是使用對該等像素施行濾波處理者。

相對於此，若為16×16像素，除了關於平均值預測、垂直方向預測及水平方向預測的框內預測模式以外，還規定有被稱為Plane預測的4個框內預測模式。

有關Plane預測的框內預測模式係使得將區塊之上與左的編碼完畢的鄰接像素朝斜向作內插插值所生成的像素作為預測值的模式。

其中，方向性預測模式係藉由以預先設定的方向(預測方向)反覆區塊的鄰接像素或由鄰接像素所生成的內插像素而生成預測值者，因此如第15圖所示之預測對象區塊內的物件的交界(邊緣)的方向與預測方向相一致，而且若沿著預測方向而區塊內的訊號值為一定時，預測效率會變高而可刪減碼量。

【先前技術文獻】 【非專利文獻】

【非專利文獻1】MPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H.264規格

習知的動畫像編碼裝置係構成為如以上所示，因此預測對象區塊內的物件的交界(邊緣)的方向與預測方向相一致，而且若沿著該預測方向而預測對象區塊內的訊號值為一定，則可藉由使用方向性預測來高精度預測。但是，即使預測對象區塊內的物件的交界(邊緣)方向與預測方向相一致，亦如第16圖所示，若訊號值沿著該預測方向發生變化時，會有預測誤差變大的課題。

本發明係用以解決如上所述之課題所研創者，目的在獲得即使訊號值沿著預測方向發生變化時，亦實現高精度的預測，而可提高畫像品質的動畫像編碼裝置、動畫像解碼裝置、動畫像編碼方法以及動畫像解碼方法。

本發明之動畫像編碼裝置係框內預測手段若生成預測畫像時的圖框內預測處理為水平方向預測處理時，對預測區塊之左所鄰接的像素的亮度值，加算與預測區塊之上所鄰接的像素的水平方向的亮度值變化量成正比的值，將該加算後的值決定為上述預測畫像的預測值，若生成預測畫像時的圖框內預測處理為垂直方向預測處理時，對預測區塊之上所鄰接的像素的亮度值，加算與預測區塊之左所鄰接的像素的垂直方向的亮度值變化量成正比的值，將該加算後的值決定為預測畫像的預測值。

藉由本發明，由於構成為：框內預測手段若生成預測畫像時的圖框內預測處理為水平方向預測處理時，對預測區塊之左所鄰接的像素的亮度值，加算與預測區塊之上所鄰接的像素的水平方向的亮度值變化量成正比的值，將該加算後的值決定為預測畫像的預測值，若生成預測畫像時的圖框內預測處理為垂直方向預測處理時，對預測區塊之上所鄰接的像素的亮度值，加算與預測區塊之左所鄰接的像素的垂直方向的亮度值變化量成正比的值，將該加算後的值決定為預測畫像的預測值，因此即使在訊號值沿著預測方向改變時，亦實現高精度的預測，具有可提高畫像品質的效果。

1‧‧‧區塊分割部(區塊分割手段)

2‧‧‧編碼控制部(編碼控制手段)

3‧‧‧切換開關

4‧‧‧框內預測部(框內預測手段)

5‧‧‧動作補償預測部(動作補償預測手段)

6‧‧‧減算部(量化手段)

7‧‧‧轉換/量化部(量化手段)

8‧‧‧逆量化/逆轉換部

9‧‧‧加算部

10‧‧‧框內預測用記憶體(框內預測手段)

11‧‧‧迴圈濾波部

12‧‧‧動作補償預測圖框記憶體(動作補償預測手段)

13‧‧‧可變長編碼部(可變長編碼手段)

31‧‧‧可變長解碼部(可變長解碼手段)

32‧‧‧逆量化/逆轉換部(逆量化手段)

33‧‧‧切換開關

34‧‧‧框內預測部(框內預測手段)

35‧‧‧動作補償部(動作補償預測手段)

36‧‧‧加算部

37‧‧‧框內預測用記憶體(框內預測手段)

38‧‧‧迴圈濾波部

39‧‧‧動作補償預測圖框記憶體(動作補償預測手段)

第1圖係顯示本發明之實施形態1之動畫像編碼裝置的構成圖。

第2圖係顯示本發明之實施形態1之動畫像編碼裝置的處理內容(動畫像編碼方法)的流程圖。

第3圖係顯示本發明之實施形態1之動畫像解碼裝置的構成圖。

第4圖係顯示本發明之實施形態1之動畫像解碼裝置的處理內容(動畫像解碼方法)的流程圖。

第5圖係顯示最大編碼區塊被階層式分割成複數編碼區塊之例的說明圖。

第6圖(a)係顯示分割後的編碼區塊及預測區塊的分布，(b)係顯示藉由階層分割而被分配編碼模式m(Bⁿ)的狀況的說明圖。

第7圖係顯示編碼區塊Bⁿ內的各預測區塊P_i ⁿ可選擇之框內預測參數(框內預測模式)之一例的說明圖。

第8圖係顯示生成l_i ⁿ=m_i ⁿ=4時的預測區塊P_i ⁿ內的像素的預測值時所使用的像素之一例的說明圖。

第9圖係顯示以預測區塊P_i ⁿ內之左上像素為原點的相對座標的說明圖。

第10圖係顯示對於垂直方向預測中的習知的預測值，為了算出所加算的亮度值變化量而進行參照的左的預測區塊的鄰接像素之一例的說明圖。

第11圖係顯示對於垂直方向預測中的習知的預測值，所加算的亮度值變化量的標度值之一例的說明圖。

第12圖係顯示對於水平方向預測中的習知的預測值，為了算出所加算的亮度值變化量而進行參照的預測區塊的鄰接 像素之一例的說明圖。

第13圖係顯示對於水平方向預測中的習知的預測值，所加算的亮度值變化量的標度值之一例的說明圖。

第14圖係顯示亮度的區塊尺寸為4×4像素時的框內預測模式的說明圖。

第15圖係顯示藉由水平方向預測而被高精度預測出的預測畫像之一例的說明圖。

第16圖係顯示在藉由水平方向預測進行預測時發生較大預測誤差之一例的說明圖。

第17圖係顯示可選擇編碼區塊Bⁿ內的各預測區塊P_i ⁿ的框內預測參數(框內預測模式)之一例的說明圖。

以下為更加詳細說明本發明，按照所附圖示，說明用以實施本發明之形態。

實施形態1.

第1圖係顯示本發明之實施形態1之動畫像編碼裝置的構成圖。

在第1圖中，區塊分割部1係實施：若輸入表示輸入畫像的影像訊號時，將該輸入畫像分割成藉由編碼控制部2所被決定之最大尺寸的編碼區塊，亦即最大編碼區塊，並且至藉由編碼控制部2所被決定的上限的階層數為止，將該最大編碼區塊階層式分割成各編碼區塊的處理。

亦即，區塊分割部1係實施：將輸入畫像按照藉由編碼控制部2所被決定的分割而分割成各編碼區塊，來輸出該編碼區 塊的處理。此外，各編碼區塊係被分割成成為預測處理單位的1個或複數個預測區塊。

其中，區塊分割部1係構成區塊分割手段。

編碼控制部2係實施：決定預測處理被實施時作為處理單位的編碼區塊的最大尺寸，並且決定最大尺寸的編碼區塊被階層式分割時的上限的階層數，藉此各個編碼區塊的尺寸的處理。

此外，編碼控制部2係實施：從可選擇的1以上的編碼模式(1以上的框內編碼模式、1以上的框間編碼模式)之中，選擇對由區塊分割部1所被輸出的編碼區塊的編碼效率為最高的編碼模式的處理。

此外，編碼控制部2係實施：若編碼效率為最高的編碼模式為框內編碼模式時，按每個預測處理單位即預測區塊，決定以該框內編碼模式實施對編碼區塊的框內預測處理時所使用的框內預測參數，若編碼效率為最高的編碼模式為框間編碼模式時，則按每個預測處理單位即預測區塊，決定以該框間編碼模式實施對編碼區塊的框間預測處理時所使用的框間預測參數的處理。

此外，編碼控制部2係實施：決定供予至轉換/量化部7及逆量化/逆轉換部8的預測差分編碼參數的處理。

其中，編碼控制部2係構成編碼控制手段。

切換開關3係實施：若藉由編碼控制部2所被決定的編碼模式為框內編碼模式，將由區塊分割部1所被輸出的編碼區塊輸出至框內預測部4，若為藉由編碼控制部2所被決 定的編碼模式為框間編碼模式，則將由區塊分割部1所被輸出的編碼區塊輸出至動作補償預測部5的處理。

框內預測部4係實施：對由切換開關3所被輸出的編碼區塊，按每個預測處理單位亦即預測區塊，一面參照被儲存在框內預測用記憶體10的局部解碼畫像，一面實施使用藉由編碼控制部2所被決定的框內預測參數的框內預測處理(圖框內預測處理)來生成框內預測畫像的處理。

其中，框內預測部4係若生成預測畫像時的圖框內預測處理為水平方向預測處理時，對預測區塊之左所鄰接的像素的亮度值，加算與預測區塊之上所鄰接的像素的水平方向的亮度值變化量成正比的值，將該加算後的值決定為預測畫像的預測值，若生成預測畫像時的圖框內預測處理為垂直方向預測處理時，對預測區塊之上所鄰接的像素的亮度值，加算與預測區塊之左所鄰接的像素的垂直方向的亮度值變化量成正比的值，將該加算後的值決定為預測畫像的預測值。

框內預測手段由框內預測部4及框內預測用記憶體10所構成。

動作補償預測部5係實施：將由切換開關3所被輸出的編碼區塊及被儲存在動作補償預測圖框記憶體12的1圖框以上的局部解碼畫像，以作為預測處理單位的預測區塊單位作比較，來搜尋動作向量，使用該動作向量及藉由編碼控制部2所被決定的框間預測參數，以預測區塊單位實施對該編碼區塊的框間預測處理(動作補償預測處理)，而生成框間預測畫像的處理。

減算部6係實施：由從區塊分割部1所被輸出的編碼區塊，減算藉由框內預測部4所生成的框內預測畫像、或藉由動作補償預測部5所生成的框間預測畫像，而將作為該減算結果的預測差分訊號(差分畫像)輸出至轉換/量化部7的處理。

轉換/量化部7係實施：參照藉由編碼控制部2所被決定的預測差分編碼參數，實施對由減算部6所被輸出的預測差分訊號的正交轉換處理(例如DCT(離散餘弦轉換)或預先對特定的學習系列進行基底設計的KL轉換等正交轉換處理)而算出轉換係數，並且參照該預測差分編碼參數，將該轉換係數量化，將作為量化後的轉換係數的壓縮資料輸出至逆量化/逆轉換部8及可變長編碼部13的處理。

其中，由減算部6及轉換/量化部7構成量化手段。

逆量化/逆轉換部8係實施：參照藉由編碼控制部2所被決定的預測差分編碼參數，將由轉換/量化部7所被輸出的壓縮資料進行逆量化，並且參照該預測差分編碼參數，實施對作為逆量化後之壓縮資料的轉換係數的逆正交轉換處理，算出相當於由減算部6所被輸出的預測差分訊號的局部解碼預測差分訊號的處理。

加算部9係實施：將藉由逆量化/逆轉換部8所被算出的局部解碼預測差分訊號、及藉由框內預測部4所生成的框內預測畫像、或藉由動作補償預測部5所生成的框間預測畫像進行加算，算出相當於由區塊分割部1所被輸出的編碼區塊的局部解碼畫像的處理。

框內預測用記憶體10係儲存藉由加算部9所被算出的局部解碼畫像的記錄媒體。

迴圈濾波部11係實施：對藉由加算部9所被算出的局部解碼畫像，實施預定的濾波處理而輸出濾波處理後的局部解碼畫像的處理。

動作補償預測圖框記憶體12係儲存濾波處理後的局部解碼畫像的記錄媒體。

可變長編碼部13係實施：將由轉換/量化部7所被輸出的壓縮資料、編碼控制部2的輸出訊號(最大編碼區塊內的區塊分割資訊、編碼模式、預測差分編碼參數、框內預測參數或框間預測參數)、及由動作補償預測部5所被輸出的動作向量(若編碼模式為框間編碼模式時)進行可變長編碼而生成位元串流的處理。

其中，可變長編碼部13係構成可變長編碼手段。

在第1圖之例中，亦可假定作為動畫像編碼裝置的構成要素的區塊分割部1、編碼控制部2、切換開關3、框內預測部4、動作補償預測部5、減算部6、轉換/量化部7、逆量化/逆轉換部8、加算部9、框內預測用記憶體10、迴圈濾波部11、動作補償預測圖框記憶體12及可變長編碼部13的各個係由專用的硬碟(例如安裝有CPU的半導體積體電路、或單晶片微電腦等)所構成者，但是若動畫像編碼裝置為由電腦所構成時，將記述區塊分割部1、編碼控制部2、切換開關3、框內預測部4、動作補償預測部5、減算部6、轉換/量化部7、逆量化/逆轉換部8、加算部9、迴圈濾波部11及可變長編碼 部13的處理內容的程式儲存在電腦的記憶體，該電腦的CPU執行被儲存在該記憶體的程式。

第2圖係顯示本發明之實施形態1之動畫像編碼裝置之處理內容(動畫像編碼方法)的流程圖。

第3圖係顯示本發明之實施形態1之動畫像解碼裝置的構成圖。

在第3圖中，可變長解碼部31係實施：若輸入藉由第1圖的動畫像編碼裝置所生成的位元串流時，由該位元串流將壓縮資料、區塊分割資訊、編碼模式、框內預測參數(若編碼模式為框內編碼模式時)、框間預測參數(若編碼模式為框間編碼模式時)、預測差分編碼參數及動作向量(若編碼模式為框間編碼模式時)進行可變長解碼的處理。

其中，可變長解碼部31係構成可變長解碼手段。

逆量化/逆轉換部32係實施：參照藉由可變長解碼部31予以可變長解碼的預測差分編碼參數，將藉由可變長解碼部31予以可變長解碼的壓縮資料進行逆量化，並且參照該預測差分編碼參數，實施對逆量化後的壓縮資料即轉換係數的逆正交轉換處理，算出與由第1圖的逆量化/逆轉換部8所被輸出的局部解碼預測差分訊號為相同的解碼預測差分訊號的處理。

其中，逆量化/逆轉換部32係構成逆量化手段。

切換開關33係實施：若藉由可變長解碼部31予以可變長解碼的編碼模式為框內編碼模式，即將藉由可變長解碼部31予以可變長解碼的框內預測參數輸出至框內預測部 34，若藉由可變長解碼部31予以可變長解碼的編碼模式為框間編碼模式，則將藉由可變長解碼部31予以可變長解碼的框間預測參數及動作向量輸出至動作補償部35的處理。

框內預測部34係實施：藉由可變長解碼部31予以可變長解碼的區塊分割資訊及由編碼模式予以特定的解碼區塊(相當於第1圖的動畫像編碼裝置的「編碼區塊」的區塊)，按每個作為預測處理單位的預測區塊，一面參照被儲存在框內預測用記憶體37的解碼畫像，一面實施使用由切換開關33所被輸出的框內預測參數的框內預測處理(圖框內預測處理)而生成框內預測畫像的處理。

其中，框內預測部34係若生成預測畫像時的圖框內預測處理為水平方向預測處理時，對於預測區塊之左所鄰接的像素的亮度值，加算與預測區塊之上所鄰接的像素的水平方向的亮度值變化量成正比的值，將該加算後的值決定為預測畫像的預測值，若生成預測畫像時的圖框內預測處理為垂直方向預測處理時，對於預測區塊之上所鄰接的像素的亮度值，加算與預測區塊之左所鄰接的像素的垂直方向的亮度值變化量成正比的值，將該加算後的值決定為預測畫像的預測值。

由框內預測部34及框內預測用記憶體37構成框內預測手段。

動作補償部35係實施：對於藉由可變長解碼部31予以可變長解碼的區塊分割資訊及由編碼模式予以特定的解碼區塊，按每個作為預測處理單位的預測區塊，一面參照被儲存在動作補償預測圖框記憶體39的解碼畫像，一面實施使用 由切換開關33所被輸出的動作向量與框間預測參數的框間預測處理(動作補償預測處理)而生成框間預測畫像的處理。

加算部36係實施：將藉由逆量化/逆轉換部32所算出的解碼預測差分訊號、及藉由框內預測部34所生成的框內預測畫像、或藉由動作補償部35所生成的框間預測畫像進行加算，算出與由第1圖的加算部9所被輸出的局部解碼畫像為相同的解碼畫像的處理。

框內預測用記憶體37係儲存藉由加算部36所算出的解碼畫像的記錄媒體。

迴圈濾波部38係實施：對藉由加算部36所被算出的解碼畫像，實施預定的濾波處理，而輸出濾波處理後的解碼畫像的處理。

動作補償預測圖框記憶體39係儲存濾波處理後的解碼畫像的記錄媒體。

在第3圖之例中，亦可假定作為動畫像解碼裝置的構成要素的可變長解碼部31、逆量化/逆轉換部32、切換開關33、框內預測部34、動作補償部35、加算部36、框內預測用記憶體37、迴圈濾波部38及動作補償預測圖框記憶體39的各個由專用的硬碟(例如安裝有CPU的半導體積體電路、或單晶片微電腦等)所構成，但是若動畫像解碼裝置以電腦構成時，將記述有可變長解碼部31、逆量化/逆轉換部32、切換開關33、框內預測部34、動作補償部35、加算部36及迴圈濾波部38的處理內容的程式儲存在電腦的記憶體，該電腦的CPU執行被儲存在該記憶體的程式。

第4圖係顯示本發明之實施形態1之動畫像解碼裝置之處理內容(動畫像解碼方法)的流程圖。

接著說明動作。

在該實施形態1中，說明將影像的各圖框畫像作為輸入畫像，實施由編碼完畢的近傍像素的框內預測或近接圖框間的動作補償預測，對所得的預測差分訊號施行藉由正交轉換/量化所為之壓縮處理，之後，進行可變長編碼而生成位元串流的動畫像編碼裝置、及將由該動畫像編碼裝置所被輸出的位元串流進行解碼的動畫像解碼裝置。

第1圖的動畫像編碼裝置之特徵為：適應影像訊號的空間/時間方向的局部變化，將影像訊號分割成多樣尺寸的區塊，來進行圖框內/圖框間適應編碼。

一般而言，影像訊號係具有訊號的複雜度在空間/時間上局部變化的特性。若以空間上來看，在某影像圖框上，若亦有例如在如天空或牆壁等較為寬廣的畫像區域中具有均一訊號特性的圖案，則會有亦混合存在人物或包含微細質地的繪畫等在較小畫像區域內具有複雜的質地圖樣的圖案的情形。

即使以時間上來看，天空或牆壁係局部在時間方向的圖案變化較小，但是進行移動的人物或物體由於其輪廓在時間上進行剛體/非剛體的運動，因此時間上的變化較大。

編碼處理係藉由時間/空間上的預測，生成訊號電力或熵較小的預測差分訊號，來進行刪減全體碼量的處理，但是若可儘可能將預測所使用的參數均一地適用在較大的畫像訊號區域，即可減小該參數的碼量。

另一方面，若對於在時間上/空間上變化較大的畫像訊號圖樣，將同一預測參數適用在較大的畫像區域，則預測錯誤會增加，因此預測差分訊號的碼量會增加。

因此，在時間上/空間上變化較大的區域中，係以減小適用同一預測參數來進行預測處理的區塊尺寸，增加預測所使用的參數的資料量，來減低預測差分訊號的電力/熵為宜。

在該實施形態1中係採取由於進行適應如上所示之影像訊號的一般性質的編碼，因此最初由預定的最大區塊尺寸開始預測處理等，且階層式分割影像訊號的區域，按每個經分割的區域，使預測處理、或該預測差分的編碼處理適應化的構成。

第1圖的動畫像編碼裝置作為處理對象的影像訊號格式係除了由亮度訊號與2個色差訊號所構成的YUV訊號、或由數位攝像元件所被輸出的RGB訊號等任意色空間的彩色影像訊號以外，形成為單色畫像訊號或紅外線畫像訊號等影像圖框由水平/垂直2次元的數位試樣(像素)列所構成的任意影像訊號。

但是，各像素的色階可為8位元，亦可為10位元或12位元等的色階。

在以下說明中，為方便起見，只要沒有特別聲明，針對輸入畫像的影像訊號係設為YUV訊號，而且2個色差成分U、V對於亮度成分Y，處理經子試樣的4：2：0格式的訊號的情形加以敘述。

此外，將與影像訊號的各圖框相對應的處理資料單位稱為 「圖像」。

在該實施形態1中，「圖像」係作為經逐次掃描(progressive scan)的影像圖框訊號來進行說明，但是若影像訊號為交錯訊號時，「圖像」亦可為構成影像圖框的單位亦即圖場畫像訊號。

最初說明第1圖之動畫像編碼裝置的處理內容。

首先，編碼控制部2係決定作為編碼對象的圖像(目前圖像)編碼所使用的最大編碼區塊的尺寸、及將最大編碼區塊進行階層分割的階層數的上限(第2圖的步驟ST1)。

以最大編碼區塊的尺寸決定方式而言，例如可按照輸入畫像的影像訊號的解析度，對所有圖像規定同一尺寸，亦可將輸入畫像的影像訊號的局部動作的複雜度的不同作為參數來進行定量化，對於動作激烈的圖像規定較小的尺寸，另一方面，對於動作較少的圖像規定較大的尺寸。

以分割階層數的上限的決定方式而言，係有例如按照輸入畫像的影像訊號的解析度，來對所有圖像規定同一階層數的方法、或若輸入畫像的影像訊號的動作激烈時，係加深階層數，以可檢測更細動作的方式進行設定，若動作較少時，則以抑制階層數的方式進行設定的方法等。

此外，編碼控制部2係由可利用的1以上的編碼模式之中，選擇與被階層式分割的各個編碼區塊相對應的編碼模式(步驟ST2)。

亦即，編碼控制部2係按每個最大編碼區塊尺寸的畫像區域，至之前所規定的分割階層數的上限為止，階層式分割成具有編碼區塊尺寸的編碼區塊，來決定對各個編碼區塊的編碼模 式。

編碼模式有1個或複數個框內編碼模式(統稱為「INTRA」)、及1個或複數個框間編碼模式(統稱為「INTER」)，編碼控制部2係選擇在該圖像可利用的所有編碼模式、或由該子集合之中選擇與各個編碼區塊相對應的編碼模式。

但是，後述藉由區塊分割部1而被階層式分割的各個編碼區塊係另外被分割成進行預測處理的單位，亦即1個或複數個預測區塊，預測區塊的分割狀態亦在編碼模式之中被包含為資訊。

藉由編碼控制部2所為之編碼模式的選擇方法由於為周知技術，故省略詳細說明，但是有例如使用可利用的任意編碼模式，實施對編碼區塊的編碼處理來對編碼效率進行驗證，在可利用的複數編碼模式之中，選擇編碼效率最佳的編碼模式的方法等。

此外，編碼控制部2係按各個編碼區塊，決定差分畫像被壓縮時所使用的量化參數及轉換區塊尺寸，並且決定預測處理被實施時所使用的預測參數(框內預測參數或框間預測參數)。

但是，編碼區塊另外被分割為進行預測處理的預測區塊單位時，可按每個預測區塊選擇預測參數(框內預測參數或框間預測參數)。

此外，在編碼模式為框內編碼模式的編碼區塊中，如後所述在進行框內預測處理時使用與預測區塊相鄰接的編碼完畢 的像素，因此必須以預測區塊單位進行編碼，因此可選擇的轉換區塊尺寸係被限制為預測區塊的尺寸以下。

編碼控制部2係將量化參數、及包含轉換區塊尺寸的預測差分編碼參數輸出至轉換/量化部7、逆量化/逆轉換部8及可變長編碼部13。

此外，編碼控制部2係將框內預測參數視需要輸出至框內預測部4。

此外，編碼控制部2係將框間預測參數視需要輸出至動作補償預測部5。

區塊分割部1係若輸入輸入畫像的影像訊號時，將該輸入畫像的影像訊號分割成藉由編碼控制部2所被決定的最大編碼區塊尺寸，另外將經分割的最大編碼區塊階層式分割成藉由編碼控制部2所被決定的編碼區塊，來輸出該編碼區塊。

在此，第5圖係顯示最大編碼區塊被階層式分割成複數編碼區塊之例的說明圖。

在第5圖中，最大編碼區塊係具有被記為「第0階層」的亮度成分為(L⁰，M⁰)的尺寸的編碼區塊。

以最大編碼區塊為出發點，至以四元樹構造另外規定的預定深度為止，階層式進行分割，藉此獲得編碼區塊。

在深度n中，編碼區塊為尺寸(Lⁿ，Mⁿ)的畫像區域。

但是，Lⁿ與Mⁿ可為相同，亦可為不同，在第5圖中係顯示Lⁿ=Mⁿ的案例。

以下，藉由編碼控制部2所被決定的編碼區塊尺寸係定義為編碼區塊的亮度成分中的尺寸(Lⁿ，Mⁿ)。

由於進行四元樹分割，恒成立(Lⁿ⁺¹，Mⁿ⁺¹)=(Lⁿ/2，Mⁿ/2)。

其中，在RGB訊號等所有色成分具有相同試樣數的彩色影像訊號(4：4：4格式)中，所有色成分的尺寸成為(Lⁿ，Mⁿ)，但是若處理4：2：0格式時，所對應的色差成分的編碼區塊尺寸係成為(Lⁿ/2，Mⁿ/2)。

以下，以Bⁿ表示第n階層的編碼區塊，以m(Bⁿ)表示在編碼區塊Bⁿ可選擇的編碼模式。

若為由複數色成分所構成的彩色影像訊號時，編碼模式m(Bⁿ)亦可按每個色成分，以分別使用個別模式的方式所構成，亦可以對所有色成分使用共通模式的方式所構成。以下，只要沒有特別聲明，作為意指對YUV訊號、4：2：0格式的編碼區塊的亮度成分的編碼模式者來進行說明。

編碼區塊Bⁿ係如第6圖所示，藉由區塊分割部1，被分割為表示預測處理單位的1個或複數個預測區塊。

以下，將屬於編碼區塊Bⁿ的預測區塊表記為P_i ⁿ(i為第n階層中的預測區塊編號)。在第5圖中顯示P₀ ⁰與P₁ ⁰之一例。

編碼區塊Bⁿ的預測區塊分割如何進行，係在編碼模式m(Bⁿ)之中作為資訊而被包含。

預測區塊P_i ⁿ係全部按照編碼模式m(Bⁿ)來進行預測處理，但是可按每個預測區塊P_i ⁿ來選擇個別的預測參數(框內預測參數或框間預測參數)。

編碼控制部2係對最大編碼區塊，例如生成第6圖所示之區塊分割狀態來特定編碼區塊。

以第6圖(a)的虛線所包圍的矩形表示各編碼區塊，位於各編碼區塊內以斜線塗畫的區塊表示各預測區塊的分割狀態。

第6圖(b)係針對第6圖(a)之例，以四元樹圖表示藉由階層分割被分配編碼模式m(Bⁿ)的狀況者。第6圖(b)以□包圍的節點係被分配編碼模式m(Bⁿ)的節點(編碼區塊)。

該四元樹圖的資訊係連同編碼模式m(Bⁿ)一起由編碼控制部2被輸出至可變長編碼部13，被多工化成位元串流。

切換開關3藉若藉由編碼控制部2所被決定的編碼模式m(Bⁿ)為框內編碼模式時(m(Bⁿ)INTRA時)，將由區塊分割部1所被輸出的編碼區塊Bⁿ輸出至框內預測部4。

另一方面，若藉由編碼控制部2所被決定的編碼模式m(Bⁿ)為框間編碼模式時(m(Bⁿ)INTER時)，將由區塊分割部1所被輸出的編碼區塊Bⁿ輸出至動作補償預測部5。

框內預測部4係若藉由編碼控制部2所被決定的編碼模式m(Bⁿ)為框內編碼模式(m(Bⁿ)INTRA時)，若由切換開關3接受編碼區塊Bⁿ時(步驟ST3)，一面參照被儲存在框內預測用記憶體10的局部解碼畫像，一面使用藉由編碼控制部2所被決定的框內預測參數，實施對該編碼區塊Bⁿ內的各預測區塊P_i ⁿ的框內預測處理，而生成框內預測畫像P_INTRAi ⁿ(步驟ST4)。

其中，由於動畫像解碼裝置必須生成與框內預測畫像 P_INTRAi ⁿ完全相同的框內預測畫像，因此框內預測畫像P_INTRAi ⁿ的生成所使用的框內預測參數係由編碼控制部2被輸出至可變長編碼部13，而被多工化成位元串流。

框內預測部4的處理內容容後詳述。

動作補償預測部5係藉由編碼控制部2所被決定的編碼模式m(Bⁿ)為框間編碼模式(m(Bⁿ)INTER時)，若由切換開關3接受編碼區塊Bⁿ(步驟ST3)，將該編碼區塊Bⁿ內的各預測區塊P_i ⁿ與被儲存在動作補償預測圖框記憶體12的濾波處理後的局部解碼畫像作比較來搜尋動作向量，使用該動作向量及藉由編碼控制部2所被決定的框間預測參數，實施對該編碼區塊Bⁿ內的各預測區塊P_i ⁿ的框間預測處理，而生成框間預測畫像P_INTERi ⁿ(步驟ST5)。

其中，由於動畫像解碼裝置必須生成與框間預測畫像P_INTERi ⁿ完全相同的框間預測畫像，因此框間預測畫像P_INTERi ⁿ的生成所使用的框間預測參數係由編碼控制部2被輸出至可變長編碼部13，而被多工化成位元串流。

此外，藉由動作補償預測部5所搜尋到的動作向量亦被輸出至可變長編碼部13而被多工化成位元串流。

減算部6係若由區塊分割部1接受編碼區塊Bⁿ，由該編碼區塊Bⁿ內的預測區塊P_i ⁿ減算藉由框內預測部4所生成的框內預測畫像P_INTRAi ⁿ、或藉由動作補償預測部5所生成的框間預測畫像P_INTERi ⁿ的任一者，將該減算結果亦即預測差分訊號e_i ⁿ輸出至轉換/量化部7(步驟ST6)。

轉換/量化部7係若由減算部6接受預測差分訊 號e_i ⁿ，參照藉由編碼控制部2所被決定的預測差分編碼參數，實施對該預測差分訊號e_i ⁿ的正交轉換處理(例如DCT(離散餘弦轉換)、或預先對特定的學習系列進行基底設計的KL轉換等正交轉換處理)，來算出轉換係數。

此外，轉換/量化部7係參照該預測差分編碼參數，將該轉換係數量化，將量化後的轉換係數亦即壓縮資料輸出至逆量化/逆轉換部8及可變長編碼部13(步驟ST7)。

逆量化/逆轉換部8係若由轉換/量化部7接受壓縮資料時，參照藉由編碼控制部2所被決定的預測差分編碼參數，將該壓縮資料進行逆量化。

此外，逆量化/逆轉換部8係參照該預測差分編碼參數，實施對於作為逆量化後壓縮資料的轉換係數的逆正交轉換處理(例如逆DCT、逆KL轉換等)，算出相當於由減算部6所被輸出的預測差分訊號e_i ⁿ的局部解碼預測差分訊號而輸出至加算部9(步驟ST8)。

加算部9係若由逆量化/逆轉換部8接受局部解碼預測差分訊號時，藉由將該局部解碼預測差分訊號、及藉由框內預測部4所生成的框內預測畫像P_INTRAi ⁿ、或藉由動作補償預測部5所生成的框間預測畫像P_INTERi ⁿ的任一者進行加算，來算出局部解碼畫像(步驟ST9)。

其中，加算部9係將該局部解碼畫像輸出至迴圈濾波部11，並且將該局部解碼畫像儲存在框內預測用記憶體10。

該局部解碼畫像成為之後的框內預測處理時所被使用的編碼完畢的畫像訊號。

迴圈濾波部11係若由加算部9接受局部解碼畫像時，對該局部解碼畫像實施預定的濾波處理，而將濾波處理後的局部解碼畫像儲存在動作補償預測圖框記憶體12(步驟ST10)。

其中，藉由迴圈濾波部11所為之濾波處理係可以所被輸入的局部解碼畫像的最大編碼區塊或各個編碼區塊單位進行，亦可在被輸入1圖像份的局部解碼畫像後，彙整進行1圖像份。

此外，以預定的濾波處理之例而言，列舉有：以編碼區塊交界的不連續性(區塊雜訊)變得不明顯的方式將區塊交界進行濾波的處理、以作為輸入畫像的第1圖的影像訊號與局部解碼畫像之間的誤差成為最小的方式將局部解碼畫像的失真進行補償的濾波處理等。

但是，若進行以作為輸入畫像的第1圖的影像訊號與局部解碼畫像之間的誤差成為最小的方式將局部解碼畫像的失真進行補償的濾波處理時，係必須以迴圈濾波部11參照影像訊號，因此必須以對迴圈濾波部11輸入影像訊號的方式變更第1圖的動畫像編碼裝置。

步驟ST3~ST9的處理係反覆實施至對被階層式分割的所有編碼區塊Bⁿ的處理結束為止，若對所有編碼區塊Bⁿ的處理結束，則移至步驟ST13的處理(步驟ST11、ST12)。

可變長編碼部13係將由轉換/量化部7所被輸出的壓縮資料、由編碼控制部2所被輸出的最大編碼區塊內的區塊分割資訊(以第6圖(b)為例的四元樹資訊)、編碼模式 m(Bⁿ)及預測差分編碼參數、由編碼控制部2所被輸出的框內預測參數(若編碼模式為框內編碼模式時)或框間預測參數(若編碼模式為框間編碼模式時)、及由動作補償預測部5所被輸出的動作向量(若編碼模式為框間編碼模式時)進行可變長編碼，生成表示該等之編碼結果的位元串流(步驟ST13)。

接著詳細說明框內預測部4的處理內容。

第7圖係顯示編碼區塊Bⁿ內的各預測區塊P_i ⁿ可選擇之框內預測參數(框內預測模式)之一例的說明圖。

在第7圖中係顯示框內預測模式、及該框內預測模式所示之預測方向向量，在第7圖之例中，隨著可選擇的框內預測模式的個數的增加，以預測方向向量彼此的相對角度變小的方式進行設計。

框內預測部4係如上所述，參照預測區塊P_i ⁿ的框內預測參數，實施對該預測區塊P_i ⁿ的框內預測處理，而生成框內預測畫像P_INTRAi ⁿ，在此係針對生成亮度訊號中的預測區塊P_i ⁿ的框內預測訊號的框內處理來進行說明。

將預測區塊P_i ⁿ的尺寸設為l_i ⁿ×m_i ⁿ像素。

第8圖係顯示生成l_i ⁿ=m_i ⁿ=4時的預測區塊P_i ⁿ內的像素的預測值時所使用之像素之一例的說明圖。

在第8圖中，係將預測區塊P_i ⁿ之上之編碼完畢的像素(2×l_i ⁿ+1)個、及左之編碼完畢的像素(2×m_i ⁿ)個作為用於預測的像素，但是用於預測的像素亦可比第8圖所示像素多或少。

此外，在第8圖中係將預測區塊P_i ⁿ近傍的1行或1列份 的像素使用在預測，但是亦可將2行或2列、或其以上的像素使用在預測。

若對預測區塊P_i ⁿ的框內預測模式的索引值為0(垂直方向預測)時，由下述式(1)算出預測區塊P_i ⁿ內的像素的預測值而生成預測畫像。

S'(x,y)=S(x,-1)+(S(-1,y)-S(-1,-1))/t (1)

但是，座標(x，y)係以預測區塊P_i ⁿ內之左上像素為原點的相對座標(參照第9圖)，S’(x，y)係座標(x，y)中的預測值，S(x，y)係座標(x，y)中的編碼完畢像素的亮度值(經解碼的亮度值)。

如上所示，對於習知(MPEG-4 AVC/H.264)之垂直方向預測的預測值亦即預測區塊P_i ⁿ之上所鄰接的編碼完畢像素的亮度值S(x，-1)，加算與表示預測區塊P_i ⁿ之左所鄰接的編碼完畢像素(以第10圖的粗框所包圍的像素)的垂直方向的亮度值的變化量的S(-1，y)-S(-1，-1)成正比的值(將表示垂直方向的亮度值的變化量的S(-1，y)-S(-1，-1)標度化成1/t的值)，將該加算後的值決定為預測畫像的預測值，藉此可實現追隨對預測方向的亮度值變化的垂直方向預測。

但是，若上述預測值不在亮度值可取得的值的範圍時，係以在該範圍內的方式將值進行修整。

其中，上述1/t可設為固定值，但是亦可設為依座標(x，y)來改變的變數。

例如，若設為t=2^x+1，如第11圖所示，標度值由左端之列 依序如1/2、1/4、1/8、1/16般變小，因此離預測區塊P_i ⁿ之左所鄰接的編碼完畢像素的距離愈遠，所加算的垂直方向的亮度值的變化量愈小。

藉此，愈為與預測區塊P_i ⁿ之左所鄰接的編碼完畢像素的距離遠離而相關變低的預測對象像素，愈可減小預測區塊P_i ⁿ之左所鄰接的編碼完畢像素的影響，因此可進行對應與預測區塊P_i ⁿ之左所鄰接的編碼完畢像素的相關的高精度的預測。

此外，亦可限定進行式(1)的預測處理的預測區塊P_i ⁿ的區塊尺寸。一般而言，以較大的區塊尺寸，係容易在區塊內包含各種訊號變化，使用方向性預測而可高精度預測的案例較少，因此例如以16×16像素以上的區塊尺寸的預測區塊P_i ⁿ並不適用式(1)而設為習知的垂直方向預測的預測值(預測區塊P_i ⁿ之上所鄰接的編碼完畢像素的亮度值S(x，-1))，僅在小於16×16像素的區塊適用式(1)，藉此可一面使預測性能比習知的垂直方向預測更為提升，一面抑制運算量增加。

此外，若對預測區塊P_i ⁿ的框內預測模式的索引值為1(水平方向預測)，由下述式(2)算出預測區塊P_i ⁿ內的像素的預測值而生成預測畫像。

S'(x,y)=S(-1,y)+(S(x,-1)-S(-1,-1))/u (2)

但是，座標(x，y)係以預測區塊P_i ⁿ內之左上像素為原點的相對座標(參照第9圖)，S’(x，y)係座標(x，y)中的預測值，S(x，y)係座標(x，y)中的編碼完畢像素的亮度值(經解碼的亮度值)。

如上所示，對於習知(MPEG-4 AVC/H.264)的 水平方向預測的預測值亦即預測區塊P_i ⁿ之左所鄰接的編碼完畢像素的亮度值S(-1，y)，加算與表示預測區塊P_i ⁿ之上所鄰接的編碼完畢像素(以第12圖的粗框所包圍的像素)的水平方向的亮度值的變化量的S(x，-1)-S(-1，-1)成正比的值(將表示水平方向的亮度值變化量的S(x，-1)-S(-1，-1)標度化成1/u的值)，且將該加算後的值決定為預測畫像的預測值，藉此可實現追隨對預測方向的亮度值的變化的水平方向預測。

但是，若上述預測值不在亮度值可取得的值的範圍時，係以在該範圍內的方式將值進行修整。

其中，上述1/u可設為固定值，但是亦可設為依座標(x，y)來改變的變數。

例如，若設為u=2^y+1，如第13圖所示，標度值由上端之行依序為1/2、1/4、1/8、1/16般減小，因此離預測區塊P_i ⁿ之上所鄰接的編碼完畢像素的距離愈遠，所加算的水平方向的亮度值的變化量愈小。

藉此，愈為與預測區塊P_i ⁿ之上所鄰接的編碼完畢像素的距離遠而相關變低的像素般，愈可減小預測區塊P_i ⁿ之上所鄰接的編碼完畢像素的影響，因此可進行對應與預測區塊P_i ⁿ之上所鄰接的編碼完畢像素的相關的高精度預測。

此外，亦可限定進行式(2)的預測處理的預測區塊P_i ⁿ的區塊尺寸。一般而言，以較大的區塊尺寸，容易在區塊內包含各種訊號變化，可使用方向性預測而高精度預測的案例較少，因此例如以16×16像素以上的區塊尺寸的預測區塊P_i ⁿ， 並不適用式(2)，而設為習知的水平方向預測的預測值(預測區塊P_i ⁿ之左所鄰接的編碼完畢像素的亮度值S(-1，y))，僅在小於16×16像素的區塊適用式(2)，藉此可一面使預測性能比習知的水平方向預測更為提升，一面抑制運算量增加。

此外，若對預測區塊P_i ⁿ的框內預測模式的索引值為2(平均值預測)，將預測區塊P_i ⁿ之上所鄰接的編碼完畢像素與預測區塊P_i ⁿ之左所鄰接的編碼完畢像素的平均值作為預測區塊P_i ⁿ內的像素的預測值而生成預測畫像。

若框內預測模式的索引值為0(垂直方向預測)、1(水平方向預測)、2(平均值預測)以外，根據索引值所示之預測方向向量υ_p=(dx，dy)，生成預測區塊P_i ⁿ內的像素的預測值。

如第9圖所示，若以預測區塊P_i ⁿ之左上像素為原點，而將預測區塊P_i ⁿ內的相對座標設定為(x，y)時，用於預測的參照像素的位置係成為下述L與鄰接像素的交點。

其中，k為負的純量值。

若參照像素位於整數像素位置時，將該整數像素設為預測對象像素的預測值，若參照像素不在整數像素位置時，則將由參照像素所鄰接的整數像素所生成的內插像素作為預測值。

在第8圖之例中，由於參照像素不在整數像素位置，因此將由參照像素所鄰接的2像素進行內插者作為預測值。其中，並非僅由鄰接的2像素，亦可由鄰接的2像素以上的像素生成 內插像素來作為預測值。

若為具有藉由增多內插處理所使用的像素來使內插像素的內插精度提升的效果，另一方面，由於內插處理所需運算的複雜度會增加，因此即使運算負荷較大亦要求高編碼性能的動畫像編碼裝置時，以由更多的像素來生成內插像素為佳。

以同樣的順序，生成對於預測區塊P_i ⁿ內的亮度訊號的所有像素的預測像素而輸出框內預測畫像P_INTRAi ⁿ。

其中，框內預測畫像P_INTRAi ⁿ的生成所使用的框內預測參數係多工化成位元串流，因此被輸出至可變長編碼部13。

其中，與之前所說明的MPEG-4 AVC/H.264中的8×8像素的區塊的框內預測同樣地，關於進行框內預測時所使用的像素，亦可並非為編碼完畢的鄰接區塊內的像素本身，而是使用對該等像素施行濾波處理者。

對於預測區塊Pin的色差訊號，亦以與亮度訊號同樣的順序，實施根據框內預測參數(框內預測模式)的框內預測處理，將框內預測畫像的生成所使用的框內預測參數輸出至可變長編碼部13。

但是，以色差訊號可選擇的框內預測參數(框內預測模式)並不需要與亮度訊號相同，此外，關於垂直方向預測及水平方向預測，亦可為習知(MPEG-4 AVC/H.264)的預測手法。

例如，若為YUV訊號4：2：0格式，色差訊號(U、V訊號)係對亮度訊號(Y訊號)，將解析度均朝向水平方向、垂直方向縮小成1/2的訊號，與亮度訊號相比，畫像訊號的複雜性低且容易預測，因此可選擇的框內預測參數(框內預測模 式)係設為比亮度訊號為更少的數，關於垂直方向預測及水平方向預測亦形成為習知的簡易預測手法，藉此不太使預測效率降低，即可實現將框內預測參數(框內預測模式)編碼所需碼量的削減、或預測處理的低運算化。

其中，屬於垂直方向預測所使用的標度值的1/t、及屬於水平方向預測所使用的標度值的1/u係可預先在動畫像編碼裝置及動畫像解碼裝置之間規定，但是亦可動畫像編碼裝置的框內預測部4以序列單位或圖像單位將t、u輸出至可變長編碼部13，可變長編碼部13將t、u進行可變長編碼而包含在位元串流，動畫像解碼裝置由位元串流將t、u進行可變長解碼來使用。

可如上所示以序列單位或圖像單位將t、u進行適應控制，藉此可更加實現對應輸入畫像的影像訊號之特性的預測處理。

此外，使用式(1)的垂直方向預測或式(2)的水平方向預測的區塊尺寸亦可預先在動畫像編碼裝置及動畫像解碼裝置之間規定，動畫像編碼裝置的框內預測部4係以序列單位或圖像單位，將表示使用式(1)的垂直方向預測或式(2)的水平方向預測的區塊尺寸之按每個區塊尺寸的ON/OFF旗標輸出至可變長編碼部13，可變長編碼部13將上述ON/OFF旗標進行可變長編碼而包含在位元串流，動畫像解碼裝置由位元串流將上述ON/OFF旗標進行可變長解碼來加以使用。

如上所示以序列單位或圖像單位將使用式(1)的垂直方向預測或式(2)的水平方向預測的區塊尺寸進行適應控制， 藉此可更加實現對應輸入畫像的影像訊號的特性的預測處理。

接著，具體說明第3圖的動畫像解碼裝置的處理內容。

可變長解碼部31係若輸入藉由第1圖的動畫像編碼裝置所生成的位元串流時，實施對該位元串流的可變長解碼處理(第4圖的步驟ST21)，以由1圖框以上的圖像所構成的序列單位、或圖像單位，對圖框尺寸的資訊進行解碼。

此時，在垂直方向預測中所使用的標度值的參數t、在水平方向預測中所使用的標度值的參數u、表示使用式(1)的垂直方向預測或式(2)的水平方向預測的區塊尺寸的每個區塊尺寸的ON/OFF旗標之中，任1個均予以可變長編碼而多工化成位元串流時，以在第1圖的動畫像編碼裝置中予以編碼的單位(序列單位、或圖像單位)進行解碼。

可變長解碼部31係以與動畫像編碼裝置同樣的順序來決定藉由第1圖的動畫像編碼裝置的編碼控制部2所決定的最大編碼區塊尺寸及分割階層數的上限(步驟ST22)。

例如，若最大編碼區塊尺寸或分割階層數上限按照影像訊號的解析度來決定時，係根據經解碼的圖框尺寸資訊，以與動畫像編碼裝置同樣的順序來決定最大編碼區塊尺寸。

最大編碼區塊尺寸及分割階層數上限在動畫像編碼裝置側被多工化成位元串流時，係使用由位元串流經解碼的值。

以下，在動畫像解碼裝置中係將上述最大編碼區塊尺寸稱為最大解碼區塊尺寸，將最大編碼區塊稱為最大解碼區塊。

可變長解碼部31係以所決定的最大解碼區塊單位，將第6 圖所示之最大解碼區塊的分割狀態進行解碼。根據經解碼的分割狀態，階層性特定解碼區塊(相當於第1圖的動畫像編碼裝置的「編碼區塊」的區塊)(步驟ST23)。

接著，可變長解碼部31係將被分配至解碼區塊的編碼模式進行解碼。根據經解碼的編碼模式所包含的資訊，將解碼區塊更加分割成屬於1個或複數個預測處理單位的預測區塊，將被分配至預測區塊單位的預測參數進行解碼(步驟ST24)。

可變長解碼部31係若被分配至解碼區塊的編碼模式為框內編碼模式時，被包含在解碼區塊，按每個作為預測處理單位的1個以上的預測區塊將框內預測參數進行解碼。

此外，可變長解碼部31係將解碼區塊根據預測差分編碼參數所包含的轉換區塊尺寸的資訊，分割成作為轉換處理單位的1個或複數個轉換區塊，按每個轉換區塊將壓縮資料(轉換/量化後的轉換係數)進行解碼(步驟ST24)。

切換開關33係若藉由可變長解碼部31予以可變長解碼的編碼模式m(Bⁿ)為框內編碼模式(m(Bⁿ)INTRA時)，將藉由可變長解碼部31予以可變長解碼的預測區塊單位的框內預測參數輸出至框內預測部34。

另一方面，若藉由可變長解碼部31予以可變長解碼的編碼模式m(Bⁿ)為框間編碼模式(m(Bⁿ)INTER時)，將藉由可變長解碼部31予以可變長解碼的預測區塊單位的框間預測參數及動作向量輸出至動作補償部35。

框內預測部34係若藉由可變長解碼部31予以可 變長解碼的編碼模式m(Bⁿ)為框內編碼模式(m(Bⁿ)INTRA時)(步驟ST25)，接收由切換開關33所被輸出的預測區塊單位的框內預測參數，以與第1圖的框內預測部4同樣的順序，一面參照被儲存在框內預測用記憶體37的解碼畫像，一面實施對使用上述框內預測參數的解碼區塊Bⁿ內的各預測區塊P_i ⁿ的框內預測處理，而生成框內預測畫像P_INTRAi ⁿ(步驟ST26)。

亦即，框內預測部34係若對預測區塊P_i ⁿ的框內預測模式的索引值為0(垂直方向預測)時，由上述式(1)算出預測區塊P_i ⁿ內的像素的預測值而生成框內預測畫像P_INTRAi ⁿ。

此外，若對預測區塊P_i ⁿ的框內預測模式的索引值為1(水平方向預測)時，由上述式(2)算出預測區塊P_i ⁿ內的像素的預測值而生成框內預測畫像P_INTRAi ⁿ。

但是，使用式(1)的垂直方向預測或式(2)的水平方向預測的區塊尺寸受到限制時，在使用式(1)的垂直方向預測或式(2)的水平方向預測的區塊尺寸以外的尺寸的預測區塊P_i ⁿ，藉由習知(MPEG-4 AVC/H.264)的垂直方向預測及水平方向預測來進行框內預測處理。

動作補償部35係若藉由可變長解碼部31予以可變長解碼的編碼模式m(Bⁿ)為框間編碼模式(m(Bⁿ)INTER)(步驟ST25)，接收由切換開關33所被輸出的預測區塊單位的動作向量與框間預測參數，一面參照被儲存在動作補償預測圖框記憶體39的濾波處理後的解碼畫像，一面實施對使用上述動作向量與框間預測參數的解碼區塊內的各預測區塊P_i ⁿ的 框間預測處理，而生成框間預測畫像P_INTERi ⁿ(步驟ST27)。

逆量化/逆轉換部32係由可變長解碼部31接收壓縮資料及預測差分編碼參數時，以與第1圖的逆量化/逆轉換部8同樣的順序，參照該預測差分編碼參數，而將該壓縮資料進行逆量化，並且參照該預測差分編碼參數，實施對於屬於逆量化後的壓縮資料的轉換係數的逆正交轉換處理，而算出與由第1圖的逆量化/逆轉換部8所被輸出的局部解碼預測差分訊號為相同的解碼預測差分訊號(步驟ST28)。

加算部36係將藉由逆量化/逆轉換部32所被算出的解碼預測差分訊號、藉由框內預測部34所生成的框內預測畫像P_INTRAi ⁿ、或藉由動作補償部35所生成的框間預測畫像P_INTERi ⁿ的任一者進行加算而算出解碼畫像，且輸出至迴圈濾波部38，並且將該解碼畫像儲存在框內預測用記憶體37(步驟ST29)。

該解碼畫像成為之後的框內預測處理時所被使用的解碼完畢的畫像訊號。

迴圈濾波部38係若對全部解碼區塊Bⁿ的步驟ST23~ST29的處理結束時(步驟ST30)，對由加算部36所被輸出的解碼畫像，實施預定的濾波處理，而將濾波處理後的解碼畫像儲存在動作補償預測圖框記憶體39(步驟ST31)。

其中，藉由迴圈濾波部38所為之濾波處理係可以所被輸入的解碼畫像的最大解碼區塊或各個解碼區塊單位進行，亦可在1圖像份的解碼畫像被輸入後彙整1圖像份來進行。

此外，以預定的濾波處理之例而言，列舉有：以編碼區塊 交界的不連續性(區塊雜訊)變得不明顯的方式將區塊交界進行濾波的處理、將解碼畫像的失真進行補償的濾波處理等。

該解碼畫像成為動作補償預測用的參照畫像，而且成為再生畫像。

由以上可知，藉由該實施形態1，動畫像編碼裝置的框內預測部4構成為：若生成預測畫像時的圖框內預測處理為水平方向預測處理時，對預測區塊之左所鄰接的像素的亮度值，加算與預測區塊之上所鄰接的像素的水平方向的亮度值變化量成正比的值，將該加算後的值決定為預測畫像的預測值，若生成預測畫像時的圖框內預測處理為垂直方向預測處理，則對預測區塊之上所鄰接的像素的亮度值加算與預測區塊之左所鄰接的像素的垂直方向的亮度值變化量成正比的值，將該加算後的值決定為預測畫像的預測值，因此即使在訊號值沿著預測方向改變時，亦實現高精度的預測，而達成可提高畫像品質的效果。

此外，藉由該實施形態1，動畫像解碼裝置的框內預測部34構成為：若生成預測畫像時的圖框內預測處理為水平方向預測處理時，對預測區塊之左所鄰接的像素的亮度值，加算與預測區塊之上所鄰接的像素的水平方向的亮度值變化量成正比的值，將該加算後的值決定為預測畫像的預測值，若生成預測畫像時的圖框內預測處理為垂直方向預測處理時，則對預測區塊之上所鄰接的像素的亮度值，加算與預測區塊之左所鄰接的像素的垂直方向的亮度值變化量成正比的值，將該加算後的值決定為預測畫像的預測值，因此即使在訊號值沿著預 測方向改變時，亦實現高精度的預測，而達成可提高畫像品質的效果。

藉由該實施形態1，關於藉由框內預測部4、34而實施水平方向預測處理時所使用的標度值亦即1/u，由於構成為愈為離預測區塊之上所鄰接的像素為距離遠的行的標度值，被設定為愈小的值，因此愈為與預測區塊之上所鄰接的像素的距離遠而相關變低的像素，愈可減小預測區塊之上所鄰接的像素的影響，結果，達成可高精度預測的效果。

此外，關於藉由框內預測部4、34而實施垂直方向預測處理時所使用的標度值亦即1/t，由於構成為愈為離預測區塊之左所鄰接的像素為距離遠的列的標度值，被設定為愈小的值，因此愈為與預測區塊之左所鄰接的像素的距離遠而相關變低的像素，愈可減小預測區塊之左所鄰接的像素的影響，結果，達成可高精度預測的效果。

其中，在該實施形態1中，係顯示藉由框內預測部4、34而實施水平方向預測處理時的預測區塊內的第N行(由預測區塊的上端第N行)的標度值為1/2^N+1(=1/2、1/4、1/8、1/16、...)，藉由框內預測部4、34而實施垂直方向預測處理時的預測區塊內的第M列(由預測區塊之左端第M列)的標度值為1/2^M+1(=1/2、1/4、1/8、1/16、...)之例，此僅為一例，若藉由框內預測部4、34而實施水平方向預測處理時係愈為離預測區塊的上端愈遠的行的標度值愈小，此外，藉由框內預測部4、34而實施垂直方向預測處理時，愈為離預測區塊之左端愈遠的列的標度值愈小，則可為任何 值。

實施形態2.

在上述實施形態1中係顯示若框內預測部4、34生成預測畫像時的圖框內預測處理為垂直方向預測處理時，對預測區塊之上所鄰接的像素的亮度值，加算對該預測區塊之左所鄰接的像素的垂直方向的亮度值變化量乘算預測區塊內的每列所設定的標度值的值，將該加算後的值決定為預測畫像的預測值者，但是為了實現低運算的處理，亦可關於由預測區塊內之左端為預定的數列，對該預測區塊之上所鄰接的像素的亮度值，加算與該預測區塊之左所鄰接的像素的垂直方向的亮度值變化量成正比的值，將該加算後的值決定為預測畫像的預測值，但是關於該預測區塊內的剩餘的列，將該預測區塊之上所鄰接的像素的亮度值決定為預測畫像的預測值。

此外，亦可以相同的理由，若生成預測畫像時的圖框內預測處理為水平方向預測處理時，關於由預測區塊內的上端為預定的數行，對該預測區塊之左所鄰接的像素的亮度值，加算對該預測區塊之上所鄰接的像素的水平方向的亮度值變化量乘算預測區塊內的每行所設定的標度值的值，將該加算後的值決定為預測畫像的預測值，但是關於該預測區塊內的剩餘的行，將該預測區塊之左所鄰接的像素的亮度值決定為預測畫像的預測值。

以下具體說明框內預測部4、34的處理內容。

框內預測部4、34係若對預測區塊P_i ⁿ的框內預測模式的索引值為0(垂直方向預測)時，由下述式(4)算出預測區塊 P_i ⁿ內的像素的預測值而生成預測畫像。

但是，B為0以上的整數，若為適用式(4)的上式的x<B時，若所算出的預測值超過亮度值可取得的值的範圍，則以預測值位於該範圍內的方式將值進行修整。

愈減小B的值，愈可實現低運算的處理，若B=0，與僅使用預測區塊P_i ⁿ之上所鄰接的編碼完畢(解碼完畢)像素的亮度值S(x，-1)的習知(MPEG-4 AVC/H.264)的垂直方向預測相一致。

B的值亦可藉由預測區塊P_i ⁿ的區塊尺寸來變更。一般而言，若所預測的區塊尺寸變大，則在區塊內容易包含各種訊號變化，而不易以單一方向進行預測，因此可以方向性預測來高精度地預測的案例會減少。

因此，只要預測區塊P_i ⁿ的區塊尺寸小於預定尺寸，則設定為B≧1，若預測區塊P_i ⁿ的區塊尺寸為預定尺寸以上，則設為B=0。

例如，若預定尺寸為16×16像素，在16×16像素以上的區塊尺寸的預測區塊P_i ⁿ中，由於B=0，因此與習知的垂直方向預測相同，可抑制運算處理的增加。亦即，在B=0的區塊尺寸中，由於並不需要進行屬於x<B或x≧B之任一者的條件判定處理，因此經常未進行上述條件判定處理而進行習知的垂直方向預測，因此完全不會發生習知之由垂直方向預測處理的運算處理的增加。

另一方面，在4×4像素或8×8像素等小於16×16像素的區塊尺寸的預測區塊P_i ⁿ中，由於B≧1，因此可比習知的垂直方向預測更為提升預測性能。

例如，在4×4像素的區塊尺寸的預測區塊P_i ⁿ中，若B=1，關於預測區塊P_i ⁿ中的最左列，係適用式(4)的上式，加算與預測區塊之左所鄰接的像素的垂直方向的亮度值變化量成正比的值。

另一方面，關於由預測區塊P_i ⁿ內之左端第2列~第4列，適用式(4)的下式，與預測區塊之左所鄰接的像素的垂直方向的亮度值變化量成正比的值並未被加算。

藉由如上所示將B的值設定為較小的值，可大幅抑制運算量增加。

其中，以實際的裝置而言，如上述式(4)所示，亦可以x<B的位置的像素、及x≧B的位置的像素，區分預測值的算出式而構成，若構成為：對預測區塊P_i ⁿ內的所有像素，在將屬於習知的垂直方向預測的預測值的預測區塊P_i ⁿ之上所鄰接的編碼完畢(解碼完畢)像素的亮度值S(x，-1)進行複製後，僅以x<B的位置的像素，對將S(-1，y)-S(-1，-1)標度化成1/t後的值進行加算等可算出與上述式為等效的預測值，則可構成為如上所示。

此外，框內預測部4、34係若對預測區塊P_i ⁿ的框內預測模式的索引值為1(水平方向預測)時，由下述式(5)算出預測區塊P_i ⁿ內的像素的預測值而生成預測畫像。

其中，C為0以上的整數，當適用式(5)的上式的x<C時，若所算出的預測值超過亮度值可取得的值的範圍時，以預測值位於該範圍內的方式將值進行修整。

愈減小C值，愈可實現低運算的處理，若為C=0，與僅使用預測區塊P_i ⁿ之左所鄰接的編碼完畢(解碼完畢)像素的亮度值S(-1，y)的習知(MPEG-4 AVC/H.264)的水平方向預測相一致。

C的值亦可依預測區塊P_i ⁿ的區塊尺寸來作變更。一般而言，若所預測的區塊尺寸變大，在區塊內容易包含各種訊號變化，不易以單一方向進行預測，因此可以方向性預測來高精度地預測的案例會減少。

因此，只要預測區塊P_i ⁿ的區塊尺寸小於預定尺寸，設定為C≧1，若預測區塊P_i ⁿ的區塊尺寸為預定尺寸以上，則設為C=0。

例如若預定尺寸為16×16像素，在16×16像素以上的區塊尺寸的預測區塊P_i ⁿ中，由於C=0，因此與習知的水平方向預測相同，可抑制運算處理增加。亦即，在C=0的區塊尺寸中，由於並不需要進行屬於y<C或y≧C之任一者的條件判定處理，因此經常未進行上述條件判定處理而進行習知的水平方向預測，藉此完全不會發生習知之由水平方向預測處理的運算處理的增加。

另一方面，在4×4像素或8×8像素等小於16×16像素的區 塊尺寸的預測區塊P_i ⁿ中，由於C≧1，因此可一面比習知的水平方向預測更為提升預測性能，一面大幅抑制運算量增加。

例如，在4×4像素的區塊尺寸的預測區塊P_i ⁿ中，若C=1，關於預測區塊P_i ⁿ內的最上面1行，適用式(5)的上式，加算與預測區塊之上所鄰接的像素的水平方向的亮度值變化量成正比的值。

另一方面，關於由預測區塊P_i ⁿ內的上端第2行~第4行，適用式(5)的下式，並未被加算與預測區塊之上所鄰接的像素的水平方向的亮度值變化量成正比的值。

藉由如上所示將C的值設定為較小的值，可大幅抑制運算量增加。

其中，以實際的裝置而言，如上述式(5)所示，亦可以y<C的位置的像素、及y≧C的位置的像素，區分預測值的算出式而構成，若構成為：對預測區塊P_i ⁿ內的所有像素，在將屬於習知的水平方向預測的預測值的預測區塊P_i ⁿ之左所鄰接的編碼完畢(解碼完畢)像素的亮度值S(-1，y)進行複製後，僅以y<C的位置的像素，對將S(x，-1)-S(-1，-1)標度化成1/u的值進行加算等可算出與上述式為等效的預測值，則可構成為任意者。

其中，在垂直方向預測中所使用的標度值亦即1/t或B(表示對預測區塊之上所鄰接的像素的亮度值，加算與編碼區塊之左所鄰接的像素的垂直方向的亮度值變化量成正比的值的預測區塊內的列的區塊內資訊)、及在水平方向預測中所使用的標度值亦即1/u或C(表示對預測區塊之左所 鄰接的像素的亮度值，加算與預測區塊之上所鄰接的像素的水平方向的亮度值變化量成正比的值的預測區塊內的行的區塊內資訊)係可預先在動畫像編碼裝置及動畫像解碼裝置之間規定，但是動畫像編碼裝置的框內預測部4亦可以序列單位或圖像單位，將t、u、B、C輸出至可變長編碼部13，可變長編碼部13將t、u、B、C進行可變長編碼而包含在位元串流，動畫像解碼裝置由位元串流將t、u、B、C進行可變長解碼來加以使用。

如上所示可以序列單位或圖像單位將t、u、B、C進行適應控制，藉此可更加實現對應輸入畫像的影像訊號的特性的預測處理。

此外，使用式(4)的垂直方向預測或式(5)的水平方向預測的區塊尺寸係可預先在動畫像編碼裝置及動畫像解碼裝置之間規定，但是動畫像編碼裝置的框內預測部4亦可以序列單位或圖像單位，將表示使用式(4)的垂直方向預測或式(5)的水平方向預測的區塊尺寸的每個區塊尺寸的ON/OFF旗標輸出至可變長編碼部13，可變長編碼部13將上述ON/OFF旗標進行可變長編碼而包含在位元串流，動畫像解碼裝置由位元串流將上述ON/OFF旗標進行可變長解碼來加以使用。

如上所示可以序列單位或圖像單位，將使用式(4)的垂直方向預測或式(5)的水平方向預測的區塊尺寸進行適應控制，藉此可更加實現對應輸入畫像的影像訊號的特性的預測處理。

由以上可知，藉由該實施形態2，框內預測部4、34係若生成預測畫像時的圖框內預測處理為水平方向預測處理時，關於由預測區塊內的上端為預定的數行，係對該預測區塊之左所鄰接的像素的亮度值，加算與該預測區塊之上所鄰接的像素的水平方向的亮度值變化量成正比的值，將該加算後的值決定為預測畫像的預測值，但是關於該預測區塊內的剩餘的行，係構成將該預測區塊之左所鄰接的像素的亮度值決定為預測畫像的預測值，因此達成可一面抑制運算量增加，一面改善水平方向預測的預測效率的效果。

此外，框內預測部4、34係若生成預測畫像時的圖框內預測處理為垂直方向預測處理，關於由預測區塊內之左端為預定的數列，係對該預測區塊之上所鄰接的像素的亮度值，加算與該預測區塊之左所鄰接的像素的垂直方向的亮度值變化量成正比的值，將該加算後的值決定為預測畫像的預測值，但是關於該預測區塊內的剩餘的列，係構成為將該預測區塊之上所鄰接的像素的亮度值決定為預測畫像的預測值，因此達成可一面抑制運算量增加，一面改善垂直方向預測的預測效率的效果。

實施形態3.

該實施形態3中的動畫像編碼裝置的構成圖係與上述實施形態1所示之第1圖相同，該實施形態3中的動畫像解碼裝置的構成圖係與上述實施形態1所示的第3圖相同。

接著說明動作。

在該實施形態3中係說明：將影像的各圖框畫像作為輸入畫像，實施來自編碼完畢的近傍像素的框內預測或近接圖框間 的動作補償預測，對所得的預測差分訊號施行藉由正交轉換/量化所為之壓縮處理，之後，進行可變長編碼而生成位元串流的動畫像編碼裝置、及將由該動畫像編碼裝置所被輸出的位元串流進行解碼的動畫像解碼裝置。

第1圖的動畫像編碼裝置係以適應影像訊號的空間/時間方向的局部變化，將影像訊號分割為多樣的尺寸的區塊，進行圖框內/圖框間適應編碼為特徵。

一般而言，影像訊號係具有在空間/時間上，訊號複雜度局部改變的特性。若以空間上觀看時，在某影像圖框上，若在例如天空或牆壁等較寬廣的畫像區域中亦有具有均一訊號特性的圖案，會有亦混合存在包含人物或細微質地的繪畫等在較小畫像區域內具有複雜質地圖樣的圖案。

以時間上來見，亦為天空或牆壁係局部在時間方向的圖案變化較小，但是移動的人物或物體由於其輪廓在時間上進行剛體/非剛體的運動，因此時間上的變化較大。

編碼處理係進行藉由時間/空間上的預測，生成訊號電力或熵較小的預測差分訊號，來刪減全體碼量的處理，但是若將預測所使用的參數儘可能地均一適用在較大的畫像訊號區域，則可減小該參數的碼量。

另一方面，若對於時間上/空間上變化較大的畫像訊號圖樣，將同一預測參數適用在較大的畫像區域，由於預測錯誤會增加，因此預測差分訊號的碼量會增加。

因此，在時間上/空間上變化較大的區域中，係以適用同一預測參數而減小進行預測處理的區塊尺寸，增加預測所使用 的參數的資料量，減低預測差分訊號的電力/熵為宜。

在該實施形態3中，為了進行適應如上所示之影像訊號的一般性質的編碼，採取最初由預定的最大區塊尺寸開始預測處理等，階層式將影像訊號的區域分割，按每個經分割的區域使預測處理、或該預測差分的編碼處理適應化的構成。

第1圖的動畫像編碼裝置作為處理對象的影像訊號格式係除了由亮度訊號與2個色差訊號所構成的YUV訊號、或由數位攝像元件所被輸出的RGB訊號等任意色空間的彩色影像訊號以外，形成為單色畫像訊號或紅外線畫像訊號等影像圖框由水平/垂直2次元數位試樣(像素)列所構成的任意影像訊號。

但是，各像素的色階可為8位元，亦可為10位元或12位元等色階。

在以下說明中，為方便起見，只要沒有特別聲明，係針對輸入畫像的影像訊號係設為YUV訊號，而且2個色差成分U、V對亮度成分Y，處理經次取樣的4：2：0格式的訊號的情形加以敘述。

此外，將與影像訊號的各圖框相對應的處理資料單位稱為「圖像」。

在該實施形態3中，「圖像」係作為經逐次掃描(progressive scan)的影像圖框訊號來進行說明，但是若影像訊號為交錯訊號，「圖像」亦可為構成影像圖框的單位亦即圖場畫像訊號。

最初說明第1圖的動畫像編碼裝置的處理內容。

首先，編碼控制部2係決定作為編碼對象的圖像(目前圖 像)的編碼所使用的最大編碼區塊的尺寸、及將最大編碼區塊進行階層分割的階層數的上限(第2圖的步驟ST1)。

以最大編碼區塊的尺寸的決定方式而言，係可例如按照輸入畫像的影像訊號的解析度，對所有圖像設定同一尺寸，亦可將輸入畫像的影像訊號的局部動作的複雜度的不同作為參數來定量化，對於動作激烈的圖像係設定較小的尺寸，另一方面，對於動作較少的圖像則設定較大的尺寸。

以分割階層數的上限的決定方式而言，係有例如對應輸入畫像的影像訊號的解析度，對所有圖像設定同一階層數的方法、或若輸入畫像的影像訊號的動作激烈時，加深階層數，以可檢測更為微細的動作的方式進行設定，若動作較少時，則以抑制階層數的方式進行設定的方法等。

此外，編碼控制部2係由可利用的1以上的編碼模式之中，選擇與被階層式分割的各個編碼區塊相對應的編碼模式(步驟ST2)。

亦即，編碼控制部2係按每個最大編碼區塊尺寸的畫像區域，至之前所設定的分割階層數的上限為止，階層式分割成具有編碼區塊尺寸的編碼區塊，來決定對各個編碼區塊的編碼模式。

在編碼模式係有1個或複數個框內編碼模式(統稱為「INTRA」)、及1個或複數個框間編碼模式(統稱為「INTER」)，編碼控制部2係選擇在該圖像中可利用的全部編碼模式、或由該子集合之中選擇與各個編碼區塊相對應的編碼模式。

但是，藉由後述區塊分割部1被階層式分割的各個編碼區塊係另外被分割成進行預測處理的單位亦即1個或複數個預測區塊，預測區塊的分割狀態亦在編碼模式之中被包含為資訊。

藉由編碼控制部2所為之編碼模式的選擇方法由於為周知技術，故省略詳細說明，例如，使用可利用的任意編碼模式，實施對編碼區塊的編碼處理來對編碼效率進行驗證，在可利用的複數編碼模式之中，係有選擇編碼效率最佳的編碼模式的方法等。

此外，編碼控制部2係按各個編碼區塊，決定差分畫像被壓縮時所使用的量化參數及轉換區塊尺寸，並且決定實施預測處理時所使用的預測參數(框內預測參數或框間預測參數)。

但是，編碼區塊另外被分割為進行預測處理的預測區塊單位時，可按每個預測區塊選擇預測參數(框內預測參數或框間預測參數)。

此外，在編碼模式為框內編碼模式的編碼區塊中，如後所述進行框內預測處理時使用預測區塊所鄰接的編碼完畢的像素，因此必須以預測區塊單位進行編碼，因此可選擇的轉換區塊尺寸係被限制為預測區塊的尺寸以下。

編碼控制部2係將量化參數及包含轉換區塊尺寸的預測差分編碼參數輸出至轉換/量化部7、逆量化/逆轉換部8及可變長編碼部13。

此外，編碼控制部2係將框內預測參數視需要輸出至框內 預測部4。

此外，編碼控制部2係將框間預測參數視需要輸出至動作補償預測部5。

區塊分割部1係若輸入輸入畫像的影像訊號時，將該輸入畫像的影像訊號分割成藉由編碼控制部2所被決定的最大編碼區塊尺寸，此外，將所分割的最大編碼區塊以階層式分割成藉由編碼控制部2所被決定的編碼區塊，且輸出該編碼區塊。

在此，第5圖係顯示最大編碼區塊被階層式分割成複數編碼區塊之例的說明圖。

在第5圖中，最大編碼區塊係具有被記為「第0階層」的亮度成分為(L⁰，M⁰)的尺寸的編碼區塊。

以最大編碼區塊為出發點，藉由至以四元樹構造另外設定的預定深度為止，階層式進行分割而得編碼區塊。

在深度n中，編碼區塊為尺寸(Lⁿ，Mⁿ)的畫像區域。

其中，Lⁿ與Mⁿ可為相同，亦可為不同，在第5圖中係顯示Lⁿ=Mⁿ的案例。

以下，藉由編碼控制部2所被決定的編碼區塊尺寸係定義為編碼區塊的亮度成分中的尺寸(Lⁿ，Mⁿ)。

為了進行四元樹分割，恒成立(Lⁿ⁺¹，Mⁿ⁺¹)=(Lⁿ/2，Mⁿ/2)。

其中，在RGB訊號等全部色成分具有同一試樣數的彩色影像訊號(4：4：4格式)中，全部色成分的尺寸成為(Lⁿ，Mⁿ)，但是若處理4：2：0格式時，則所對應的色差成分的編碼區塊尺寸係成為(Lⁿ/2，Mⁿ/2)。

以下，以Bⁿ表示第n階層的編碼區塊，以m(Bⁿ)表示在編碼區塊Bⁿ可選擇的編碼模式。

若為由複數色成分所構成的彩色影像訊號，編碼模式m(Bⁿ)可構成為按每個色成分，分別使用個別的模式，亦可構成為對所有色成分使用共通模式。以下，只要沒有特別聲明，作為表示對YUV訊號、4：2：0格式的編碼區塊的亮度成分的編碼模式者來進行說明。

編碼區塊Bⁿ係如第6圖所示，藉由區塊分割部1，被分割成表示預測處理單位的1個或複數個預測區塊。

以下，將屬於編碼區塊Bⁿ的預測區塊標記為P_i ⁿ(i為第n階層中的預測區塊編號)。在第5圖中顯示P₀ ⁰與P₁ ⁰之一例。

編碼區塊Bⁿ的預測區塊分割被如何進行係在編碼模式m(Bⁿ)之中被包含為資訊。

預測區塊P_i ⁿ係按照全部編碼模式m(Bⁿ)來進行預測處理，但是可按每個預測區塊P_i ⁿ來選擇個別的預測參數(框內預測參數或框間預測參數)。

編碼控制部2係對最大編碼區塊生成例如第6圖所示之區塊分割狀態，來特定編碼區塊。

以第6圖(a)的虛線所包圍的矩形表示各編碼區塊，位於各編碼區塊內以斜線塗佈的區塊表示各預測區塊的分割狀態。

第6圖(b)係關於第6圖(a)之例，以四元樹圖顯示藉由階層分割分配編碼模式m(Bⁿ)的狀況者。以第6圖(b)的□所包圍的節點係被分配編碼模式m(Bⁿ)的節點(編碼區 塊)。

該四元樹圖的資訊係連同編碼模式m(Bⁿ)一起由編碼控制部2被輸出至可變長編碼部13，而被多工化成位元串流。

切換開關3係藉由編碼控制部2所被決定的編碼模式m(Bⁿ)為框內編碼模式時(m(Bⁿ)INTRA時)，將由區塊分割部1所被輸出的編碼區塊Bⁿ輸出至框內預測部4。

另一方面，若藉由編碼控制部2所決定的編碼模式m(Bⁿ)為框間編碼模式時(m(Bⁿ)INTER時)，將由區塊分割部1所被輸出的編碼區塊Bⁿ輸出至動作補償預測部5。

框內預測部4係藉由編碼控制部2所被決定的編碼模式m(Bⁿ)為框內編碼模式(m(Bⁿ)INTRA時)，由切換開關3接受編碼區塊Bⁿ時(步驟ST3)，一面參照被儲存在框內預測用記憶體10的局部解碼畫像，一面使用藉由編碼控制部2所被決定的框內預測參數，實施對該編碼區塊Bⁿ內的各預測區塊P_i ⁿ的框內預測處理，而生成框內預測畫像P_INTRAi ⁿ(步驟ST4)。

其中，由於動畫像解碼裝置必須生成與框內預測畫像P_INTRAi ⁿ完全相同的框內預測畫像，因此框內預測畫像P_INTRAi ⁿ的生成所使用的框內預測參數係由編碼控制部2被輸出至可變長編碼部13，而被多工化成位元串流。

框內預測部4的處理內容容後詳述。

動作補償預測部5係若藉由編碼控制部2所被決定的編碼模式m(Bⁿ)為框間編碼模式(m(Bⁿ)INTER時)，由切換開關3接受編碼區塊Bⁿ時(步驟ST3)，將該編碼區 塊Bⁿ內的各預測區塊P_i ⁿ與被儲存在動作補償預測圖框記憶體12的濾波處理後的局部解碼畫像作比較來搜尋動作向量，使用該動作向量及藉由編碼控制部2所被決定的框間預測參數，實施對該編碼區塊Bⁿ內的各預測區塊P_i ⁿ的框間預測處理，而生成框間預測畫像P_INTERi ⁿ(步驟ST5)。

其中，由於動畫像解碼裝置必須生成與框間預測畫像P_INTERi ⁿ完全相同的框間預測畫像，因此框間預測畫像P_INTERi ⁿ的生成所使用的框間預測參數係由編碼控制部2被輸出至可變長編碼部13，而被多工化成位元串流。

此外，藉由動作補償預測部5所被搜尋到的動作向量亦被輸出至可變長編碼部13，而被多工化成位元串流。

減算部6係若由區塊分割部1接受編碼區塊Bⁿ，由該編碼區塊Bⁿ內的預測區塊P_i ⁿ，減算藉由框內預測部4所生成的框內預測畫像P_INTRAi ⁿ、或藉由動作補償預測部5所生成的框間預測畫像P_INTERi ⁿ的任一者，將作為該減算結果的預測差分訊號e_i ⁿ輸出至轉換/量化部7(步驟ST6)。

轉換/量化部7係若由減算部6接受預測差分訊號e_i ⁿ，參照藉由編碼控制部2所決定的預測差分編碼參數，實施對該預測差分訊號e_i ⁿ的正交轉換處理(例如DCT(離散餘弦轉換)、或預先對特定的學習系列進行基底設計的KL轉換等正交轉換處理)，而算出轉換係數。

此外，轉換/量化部7係參照該預測差分編碼參數，將該轉換係數量化，將量化後的轉換係數亦即壓縮資料輸出至逆量化/逆轉換部8及可變長編碼部13(步驟ST7)。

逆量化/逆轉換部8係若由轉換/量化部7接受壓縮資料，參照藉由編碼控制部2所決定的預測差分編碼參數，而將該壓縮資料進行逆量化。

此外，逆量化/逆轉換部8係參照該預測差分編碼參數，實施對作為逆量化後的壓縮資料的轉換係數的逆正交轉換處理(例如逆DCT、逆KL轉換等)，算出相當於由減算部6所被輸出的預測差分訊號e_i ⁿ的局部解碼預測差分訊號，且輸出至加算部9(步驟ST8)。

加算部9係若由逆量化/逆轉換部8接受局部解碼預測差分訊號，藉由加算該局部解碼預測差分訊號、及藉由框內預測部4所生成的框內預測畫像P_INTRAi ⁿ、或藉由動作補償預測部5所生成的框間預測畫像P_INTERi ⁿ的任一者，來算出局部解碼畫像(步驟ST9)。

其中，加算部9係對迴圈濾波部11輸出該局部解碼畫像，並且將該局部解碼畫像儲存在框內預測用記憶體10。

該局部解碼畫像成為之後框內預測處理時所被使用的編碼完畢的畫像訊號。

迴圈濾波部11若由加算部9接受局部解碼畫像，對該局部解碼畫像實施預定的濾波處理，將濾波處理後的局部解碼畫像儲存在動作補償預測圖框記憶體12(步驟ST10)。

其中，藉由迴圈濾波部11所為之濾波處理可以所被輸入的局部解碼畫像的最大編碼區塊或各個編碼區塊單位進行，亦可在被輸入1圖像份的局部解碼畫像後，彙整1圖像份來進行。

此外，以預定的濾波處理之例而言，列舉有：以編碼區塊 交界的不連續性(區塊雜訊)變得不明顯的方式將區塊交界進行濾波的處理、以作為輸入畫像的第1圖的影像訊號與局部解碼畫像之間的誤差成為最小的方式將局部解碼畫像的失真進行補償的濾波器處理等。

但是，若以作為輸入畫像的第1圖的影像訊號與局部解碼畫像之間的誤差成為最小的方式進行將局部解碼畫像的失真進行補償的濾波器處理時，必須在迴圈濾波部11參照影像訊號，因此必須以對迴圈濾波部11輸入影像訊號的方式變更第1圖的動畫像編碼裝置。

步驟ST3~ST9的處理係反覆實施至對被階層式分割的所有編碼區塊Bⁿ的處理結束為止，若對所有編碼區塊Bⁿ的處理結束時，即移至步驟ST13的處理(步驟ST11、ST12)。

可變長編碼部13係將由轉換/量化部7所被輸出的壓縮資料、由編碼控制部2所被輸出的最大編碼區塊內的區塊分割資訊(以第6圖(b)為例的四元樹資訊)、編碼模式m(Bⁿ)及預測差分編碼參數、由編碼控制部2所被輸出的框內預測參數(若編碼模式為框內編碼模式時)或框間預測參數(若編碼模式為框間編碼模式時)、及由動作補償預測部5所被輸出的動作向量(若編碼模式為框間編碼模式時)進行可變長編碼，而生成表示該等編碼結果的位元串流(步驟ST13)。

接著，詳加說明框內預測部4的處理內容。

第17圖係顯示編碼區塊Bⁿ內的各預測區塊P_i ⁿ可選擇的框內預測參數(框內預測模式)之一例的說明圖。其中，N_I係表示框內預測模式數。

在第17圖中係顯示框內預測模式、及該框內預測模式所表示的預測方向向量，在第17圖之例中，以隨著可選擇的框內預測模式的個數的增加，預測方向向量彼此的相對角度變小的方式進行設計。

框內預測部4係如上所述，參照預測區塊P_i ⁿ的框內預測參數，實施對該預測區塊P_i ⁿ的框內預測處理，而生成框內預測畫像P_INTRAi ⁿ，但是在此係針對生成亮度訊號中的預測區塊P_i ⁿ的框內預測訊號的框內處理進行說明。

將預測區塊P_i ⁿ的尺寸設為l_i ⁿ×m_i ⁿ像素。

第8圖係顯示生成l_i ⁿ=m_i ⁿ=4時的預測區塊P_i ⁿ內的像素的預測值時所使用之像素之一例的說明圖。

在第8圖中，係將預測區塊P_i ⁿ之上的編碼完畢的像素(2×l_i ⁿ+1)個、及左之編碼完畢的像素(2×m_i ⁿ)個作為使用在預測的像素，但是使用在預測的像素係可比第8圖所示像素多或少。

此外，在第8圖中係將預測區塊P_i ⁿ的近傍的1行或1列份的像素使用在預測，但是亦可將2行或2列、或其以上的像素使用在預測。

若對預測區塊P_i ⁿ的框內預測模式的索引值為0(平面(Planar)預測)，使用預測區塊P_i ⁿ之上所鄰接的編碼完畢像素及預測區塊P_i ⁿ之左所鄰接的編碼完畢像素，將按照預測區塊P_i ⁿ內的預測對象像素與上述鄰接像素的距離所內插的值作為預測值而生成預測畫像。

若對預測區塊P_i ⁿ的框內預測模式的索引值為1 (垂直方向預測)，由下述式(1)算出預測區塊P_i ⁿ內的像素的預測值而生成預測畫像。

S'(x,y)=S(x,-1)+(S(-1,y)-S(-1,-1))/ t (1)

但是，座標(x，y)係以預測區塊P_i ⁿ內之左上像素為原點的相對座標(參照第9圖)，S’(x，y)係座標(x，y)中的預測值，S(x，y)係座標(x，y)中的編碼完畢像素的亮度值(經解碼的亮度值)。

如上所示，對於作為習知(MPEG-4 AVC/H.264)的垂直方向預測的預測值的預測區塊P_i ⁿ之上所鄰接的編碼完畢像素的亮度值S(x，-1)，加算與表示預測區塊P_i ⁿ之左所鄰接的編碼完畢像素(以第10圖的粗框所包圍的像素)的垂直方向的亮度值的變化量的S(-1，y)-S(-1，-1)成正比的值(將表示垂直方向的亮度值的變化量的S(-1，y)-S(-1，-1)標度化成1/t的值)，將該加算後的值決定為預測畫像的預測值，藉此可實現追隨對預測方向的亮度值的變化的垂直方向預測。

但是，若上述預測值不在亮度值可取得的值的範圍時，亦可以在該範圍內的方式將值進行修整。如上所示，雖然進行修整處理的分運算量稍微增加，但是可抑制成為亮度值可取得的值的範圍外的預測值的發生而使預測誤差減少。

其中，上述1/t亦可設為固定值，但是亦可設為依座標(x，y)而改變的變數。

例如，若設為t=2^x+1，如第11圖所示，標度值由左端之列依序為1/2、1/4、1/8、1/16般變小，因此離預測區塊 Pin之左所鄰接的編碼完畢像素的距離愈遠，所加算的垂直方向的亮度值的變化量愈小。

藉此，愈為與預測區塊P_i ⁿ之左所鄰接的編碼完畢像素的距離遠而相關變低的預測對象像素，愈可減小預測區塊P_i ⁿ之左所鄰接的編碼完畢像素的影響，因此可進行對應與預測區塊P_i ⁿ之左所鄰接的編碼完畢像素的相關的高精度預測。

此外，若為t=2^x+1，可將式(1)如下所述以藉由位元移位所得之式來表現。

S'(x,y)=S(x,-1)+(S(-1,y)-S(-1,-1))>>(x+1) (1a)

在式(1a)中，“>>a”表示朝右以a位元進行算術移位的運算。

藉由使用移位運算來取代式(1)的除算，若安裝在電腦上時，可進行高速的運算。

但是，S(-1，y)-S(-1，-1)係亦取得負值，因此依安裝環境(編譯器)等，“>>”被處理為邏輯移位而非算術移位，會有計算結果與式(1)不同的情形。

因此，以未依存於安裝環境的t=2^x+1時的式(1)的近似式而言，列舉有下述式(1b)。

S'(x,y)=S(x,-1)+S(-1,y)>>(x+1)-S(-1,-1)>>(x+1) (1b)

在式(1b)中，將亮度值亮度值S(-1，y)、S(-1，-1)分別先進行(x+1)位元右移位後再進行減算，因此若以正值定義亮度值，則算術移位、邏輯移位均可得同一計算結果。

此外，進行式(1)的預測處理的預測區塊P_i ⁿ的 區塊尺寸亦可限定為特定的尺寸。一般而言，以較大的區塊尺寸，容易在區塊內包含各種訊號變化，可使用方向性預測來高精度預測的案例較少，因此在例如16×16像素以上的區塊尺寸的預測區塊P_i ⁿ中，並不適用式(1)，設為習知的垂直方向預測的預測值(預測區塊P_i ⁿ之上所鄰接的編碼完畢像素的亮度值S(x，-1))，僅在小於16×16像素的區塊適用式(1)，藉此可一面比習知的垂直方向預測使預測性能更為提升，一面抑制運算量增加。

此外，若對預測區塊P_i ⁿ的框內預測模式的索引值為2(水平方向預測)時，由下述式(2)算出預測區塊P_i ⁿ內的像素的預測值而生成預測畫像。

S'(x,y)=S(-1,y)+(S(x,-1)-S(-1,-1))/u (2)

但是，座標(x，y)係以預測區塊P_i ⁿ內之左上像素為原點的相對座標(參照第9圖)，S’(x，y)係座標(x，y)中的預測值，S(x，y)係座標(x，y)中的編碼完畢像素的亮度值(經解碼的亮度值)。

如上所示，對於屬於習知(MPEG-4 AVC/H.264)的水平方向預測的預測值的預測區塊P_i ⁿ之左所鄰接的編碼完畢像素的亮度值S(-1，y)，加算與表示預測區塊P_i ⁿ之上所鄰接的編碼完畢像素(以第12圖的粗框所包圍的像素)的水平方向的亮度值的變化量的S(x，-1)-S(-1，-1)成正比的值(將表示水平方向的亮度值的變化量的S(x，-1)-S(-1，-1)標度化成1/u的值)，將該加算後的值決定為預測畫像的預測值，藉此可實現追隨對預測方向的亮度值的變化的水平 方向預測。

但是，若上述預測值不在亮度值可取得的值的範圍，亦可以在該範圍內的方式將值進行修整。如上所示，雖然進行修整處理的分運算量稍微增加，但是可抑制成為亮度值可取得的值的範圍外的預測值發生而使預測誤差減少。

其中，上述1/u亦可設為固定值，但是依可設為依座標(x，y)而改變的變數。

例如，若設為u=2^y+1，如第13圖所示，標度值由上端的行依序為1/2、1/4、1/8、1/16般變小，因此離預測區塊Pin之上所鄰接的編碼完畢像素的距離愈遠，所加算的水平方向的亮度值的變化量愈小。

藉此，愈為與預測區塊P_i ⁿ之上所鄰接的編碼完畢像素的距離遠而相關變低的像素，愈可減小預測區塊P_i ⁿ之上所鄰接的編碼完畢像素的影響，因此可進行對應與預測區塊P_i ⁿ之上所鄰接的編碼完畢像素的相關的高精度預測。

此外，若為u=2^y+1，可將式(2)如下所述以藉由位元移位所得之式來表現。

S'(x,y)=S(-1,y)+(S(x,-1)-S(-1,-1))>>(y+1) (2a)

在式(2a)中，“>>a”係表示朝右以a位元進行算術移位的運算。

藉由使用移位運算來取代式(2)的除算，在安裝在電腦上時，可進行高速的運算。

但是，S(x，-1)-S(-1，-1)亦可取得負值，因此依安裝環境(編譯器)等，“>>”處理為邏輯移位而非算術移位， 而會有計算結果與式(2)不同的情形。

因此，以未依存於安裝環境的u=2^y+1時的式(2)的近似式而言，列舉下述式(2b)。

S'(x,y)=S(-1,y)+S(x,-1)>>(y+1)-S(-1,-1)>>(y+1) (2b)

在式(2b)中，將亮度值S(x，-1)、S(-1，-1)分別先進行(y+1)位元右移位以後再進行減算，因此若以正值定義亮度值，算術移位、邏輯移位均可得同一計算結果。

此外，進行式(2)的預測處理的預測區塊P_i ⁿ的區塊尺寸亦可限定為特定的尺寸。一般而言在較大的區塊尺寸中，容易在區塊內包含各種訊號變化，可使用方向性預測來高精度地進行預測的案例較少，因此例如在16×16像素以上的區塊尺寸的預測區塊P_i ⁿ中，並不適用式(2)，設為習知的水平方向預測的預測值(預測區塊P_i ⁿ之左所鄰接的編碼完畢像素的亮度值S(-1，y))，僅在小於16×16像素的區塊適用式(2)，藉此可一面比習知的水平方向預測使預測性能更為提升，一面抑制運算量增加。

此外，若對預測區塊P_i ⁿ的框內預測模式的索引值為3(平均值(DC)預測)，將預測區塊P_i ⁿ之上所鄰接的編碼完畢像素與預測區塊P_i ⁿ之左所鄰接的編碼完畢像素的平均值作為預測區塊P_i ⁿ內的像素的預測值而生成預測畫像。

若框內預測模式的索引值為0(平面(Planar)預測)、1(垂直方向預測)、2(水平方向預測)、3(平均值(DC)預測)以外時，根據索引值所示預測方向向量υ_p=(dx，dy)，生成預測區塊P_i ⁿ內的像素的預測值。

如第9圖所示，以預測區塊P_i ⁿ之左上像素為原點，將預測區塊P_i ⁿ內的相對座標設定為(x，y)時，使用在預測的參照像素的位置係成為下述L與鄰接像素的交點。

其中，k為負的純量值。

若參照像素位於整數像素位置時，將該整數像素設為預測對象像素的預測值，若參照像素不在整數像素位置時，將由參照像素所鄰接的整數像素所生成的內插像素設為預測值。

在第8圖之例中，由於參照像素不在整數像素位置，因此將由參照像素所鄰接的2像素所內插者設為預測值。其中，不僅所鄰接的2像素，亦可由所鄰接的2像素以上的像素生成內插像素而設為預測值。

具有藉由增多使用在內插處理的像素，使內插像素的內插精度提升的效果，另一方面，由於內插處理所需運算複雜度增加，因此若為即使運算負荷較大亦要求高編碼性能的動畫像編碼裝置，以由更多的像素來生成內插像素為佳。

以同樣順序，生成對預測區塊P_i ⁿ內的亮度訊號的所有像素的預測像素而輸出框內預測畫像P_INTRAi ⁿ。

其中，框內預測畫像P_INTRAi ⁿ的生成所使用的框內預測參數係被輸出至可變長編碼部13，俾以多工化成位元串流。

其中，與之前所說明的MPEG-4 AVC/H.264中的8×8像素的區塊的框內預測同樣地，關於進行框內預測時所使 用的像素，亦可使用對該等像素施行濾波器處理者，而非為編碼完畢的鄰接區塊內的像素本身。

對於預測區塊P_i ⁿ的色差訊號，亦以與亮度訊號同樣的順序，實施根據框內預測參數(框內預測模式)的框內預測處理，將框內預測畫像的生成所使用的框內預測參數輸出至可變長編碼部13。

但是，以色差訊號可選擇的框內預測參數(框內預測模式)並不需要與亮度訊號相同，此外，關於垂直方向預測及水平方向預測，亦可為習知(MPEG-4 AVC/H.264)的預測手法。

例如，若為YUV訊號4：2：0格式，色差訊號(U、V訊號)係對亮度訊號(Y訊號)，將解析度朝水平方向、垂直方向均縮小為1/2的訊號，與亮度訊號相比，畫像訊號的複雜性較低、預測較為容易，因此可選擇的框內預測參數(框內預測模式)係形成為比亮度訊號為更少的數，關於垂直方向預測及水平方向預測，亦形成為習知之簡易的預測手法，藉此使預測效率不太會降低，而可實現將框內預測參數(框內預測模式)進行編碼所需碼量的刪減、或預測處理的低運算化。

其中，作為在垂直方向預測中所使用的標度值的1/t、及作為在水平方向預測中所使用的標度值的1/u係可預先在動畫像編碼裝置及動畫像解碼裝置之間規定，但是動畫像編碼裝置的框內預測部4係以序列單位或圖像單位，將t、u輸出至可變長編碼部13，可變長編碼部13將t、u進行可變長編碼而包含在位元串流，動畫像解碼裝置由位元串流將t、u進行可變長解碼來加以使用。

如上所示以序列單位或圖像單位，可將t、u進行適應控制，藉此可更加實現對應輸入畫像的影像訊號的特性的預測處理。

此外，使用式(1)的垂直方向預測或式(2)的水平方向預測的區塊尺寸係可預先在動畫像編碼裝置及動畫像解碼裝置之間規定，但是亦可動畫像編碼裝置的框內預測部4係以序列單位或圖像單位，將表示使用式(1)的垂直方向預測或式(2)的水平方向預測的區塊尺寸的每個區塊尺寸的ON/OFF旗標輸出至可變長編碼部13，可變長編碼部13將上述ON/OFF旗標進行可變長編碼而包含在位元串流，動畫像解碼裝置由位元串流將上述ON/OFF旗標進行可變長解碼來加以使用。

如上所示可以序列單位或圖像單位，將使用式(1)的垂直方向預測或式(2)的水平方向預測的區塊尺寸進行適應控制，藉此可更加實現對應輸入畫像的影像訊號的特性的預測處理。

接著，具體說明第3圖的動畫像解碼裝置的處理內容。

可變長解碼部31係若輸入藉由第1圖的動畫像編碼裝置所生成的位元串流時，實施對該位元串流的可變長解碼處理(第4圖的步驟ST21)，以由1圖框以上的圖像所構成的序列單位、或圖像單位，將圖框尺寸的資訊進行解碼。

此時，在垂直方向預測中所使用的標度值的參數t、在水平方向預測中所使用的標度值的參數u、表示使用式(1)的垂 直方向預測或式(2)的水平方向預測的區塊尺寸的每個區塊尺寸的ON/OFF旗標之中任1個均進行可變長編碼而被多工化成位元串流時，以第1圖的動畫像編碼裝置予以編碼的單位(序列單位、或圖像單位)進行解碼。

可變長解碼部31係以與動畫像編碼裝置相同的順序，決定藉由第1圖的動畫像編碼裝置的編碼控制部2所決定的最大編碼區塊尺寸及分割階層數的上限(步驟ST22)。

例如，最大編碼區塊尺寸或分割階層數上限係對應影像訊號的解析度來決定時，係根據經解碼的圖框尺寸資訊，以與動畫像編碼裝置同樣的順序決定最大編碼區塊尺寸。

最大編碼區塊尺寸及分割階層數上限在動畫像編碼裝置側被多工化成位元串流時，係使用由位元串流進行解碼的值。

以下，在動畫像解碼裝置中係將上述最大編碼區塊尺寸稱為最大解碼區塊尺寸，將最大編碼區塊稱為最大解碼區塊。

可變長解碼部31係以所決定的最大解碼區塊單位，將第6圖所示之最大解碼區塊的分割狀態進行解碼。根據經解碼的分割狀態，階層式特定解碼區塊(相當於第1圖的動畫像編碼裝置的「編碼區塊」的區塊)(步驟ST23)。

接著，可變長解碼部31係將被分配至解碼區塊的編碼模式進行解碼。根據經解碼的編碼模式所包含的資訊，將解碼區塊另外分割成1個或複數個預測處理單位亦即預測區塊，將被分配成預測區塊單位的預測參數進行解碼(步驟ST24)。

亦即，可變長解碼部31係若被分配至解碼區塊的 編碼模式為框內編碼模式時，被包含在解碼區塊，按每個成為預測處理單位的1個以上的預測區塊，將框內預測參數進行解碼。

另一方面，若被分配至解碼區塊的編碼模式為框間編碼模式時，被包含在解碼區塊，按每個成為預測處理單位的1個以上的預測區塊，將框間預測參數及動作向量進行解碼(步驟ST24)。

此外，可變長解碼部31係將解碼區塊根據預測差分編碼參數所包含的轉換區塊尺寸的資訊，分割成作為轉換處理單位的1個或複數個轉換區塊，按每個轉換區塊將壓縮資料(轉換/量化後的轉換係數)進行解碼(步驟ST24)。

切換開關33係若藉由可變長解碼部31予以可變長解碼的編碼模式m(Bⁿ)為框內編碼模式(m(Bⁿ)INTRA時)，將藉由可變長解碼部31予以可變長解碼的預測區塊單位的框內預測參數輸出至框內預測部34。

另一方面，若藉由可變長解碼部31予以可變長解碼的編碼模式m(Bⁿ)為框間編碼模式(m(Bⁿ)INTER時)，將藉由可變長解碼部31予以可變長解碼的預測區塊單位的框間預測參數及動作向量輸出至動作補償部35。

框內預測部34係若藉由可變長解碼部31予以可變長解碼的編碼模式m(Bⁿ)為框內編碼模式(m(Bⁿ)INTRA)(步驟ST25)，接收由切換開關33所被輸出的預測區塊單位的框內預測參數，以與第1圖的框內預測部4同樣的順序，一面參照被儲存在框內預測用記憶體37的解碼畫像，一面實施 對使用上述框內預測參數的解碼區塊Bⁿ內的各預測區塊P_i ⁿ的框內預測處理，而生成框內預測畫像P_INTRAi ⁿ(步驟ST26)。

亦即，框內預測部34係若對預測區塊P_i ⁿ的框內預測模式的索引值為0(垂直方向預測)，由上述式(1)算出預測區塊P_i ⁿ內的像素的預測值，而生成框內預測畫像P_INTRAi ⁿ。

此外，若對預測區塊P_i ⁿ的框內預測模式的索引值為1(水平方向預測)，由上述式(2)算出預測區塊P_i ⁿ內的像素的預測值，而生成框內預測畫像P_INTRAi ⁿ。

但是，若使用式(1)的垂直方向預測或式(2)的水平方向預測的區塊尺寸受到限制時，在使用式(1)的垂直方向預測或式(2)的水平方向預測的區塊尺寸以外的尺寸的預測區塊P_i ⁿ中，係藉由習知(MPEG-4 AVC/H.264)的垂直方向預測及或水平方向預測來進行框內預測處理。

動作補償部35係若藉由可變長解碼部31予以可變長解碼的編碼模式m(Bⁿ)為框間編碼模式(m(Bⁿ)INTER)(步驟ST25)，接收由切換開關33所被輸出的預測區塊單位的動作向量與框間預測參數，一面參照被儲存在動作補償預測圖框記憶體39的濾波處理後的解碼畫像，一面實施對使用上述動作向量與框間預測參數的解碼區塊內的各預測區塊P_i ⁿ的框間預測處理而生成框間預測畫像P_INTERi ⁿ(步驟ST27)。

逆量化/逆轉換部32係若由可變長解碼部31接受壓縮資料及預測差分編碼參數，以與第1圖的逆量化/逆轉換部8同樣的順序，參照該預測差分編碼參數，將該壓縮資料進行逆量化，並且參照該預測差分編碼參數，實施對屬於逆量 化後的壓縮資料的轉換係數的逆正交轉換處理，算出與由第1圖的逆量化/逆轉換部8所被輸出的局部解碼預測差分訊號相同的解碼預測差分訊號(步驟ST28)。

加算部36係將藉由逆量化/逆轉換部32所被算出的解碼預測差分訊號、及藉由框內預測部34所生成的框內預測畫像P_INTRAi ⁿ、或藉由動作補償部35所生成的框間預測畫像P_INTERi ⁿ的任一者進行加算而算出解碼畫像，輸出至迴圈濾波部38，並且將該解碼畫像儲存在框內預測用記憶體37(步驟ST29)。

該解碼畫像成為之後框內預測處理時所被使用的解碼完畢的畫像訊號。

迴圈濾波部38係若對所有解碼區塊Bⁿ的步驟ST23~ST29的處理結束(步驟ST30)，對由加算部36所被輸出的解碼畫像，實施預定的濾波處理，而將濾波處理後的解碼畫像儲存在動作償預測圖框記憶體39(步驟ST31)。

其中，藉由迴圈濾波部38所為之濾波處理可以所被輸入的解碼畫像的最大解碼區塊或各個解碼區塊單位進行，亦可在1圖像份的解碼畫像被輸入後，彙整1圖像份來進行。

此外，以預定的濾波處理之例而言，列舉有：以編碼區塊交界的不連續性(區塊雜訊)變得不明顯的方式將區塊交界進行濾波的處理、將解碼畫像的失真進行補償的濾波器處理等。

該解碼畫像成為動作補償預測用的參照畫像，而且成為再生畫像。

由以上可知，藉由該實施形態3，動畫像編碼裝置 的框內預測部4係構成為：若生成預測畫像時的圖框內預測處理為水平方向預測處理時，對預測區塊之左所鄰接的像素的亮度值，加算與預測區塊之上所鄰接的像素的水平方向的亮度值變化量成正比的值，將該加算後的值決定為預測畫像的預測值，若生成預測畫像時的圖框內預測處理為垂直方向預測處理時，對預測區塊之上所鄰接的像素的亮度值，加算與預測區塊之左所鄰接的像素的垂直方向的亮度值變化量成正比的值，將該加算後的值決定為預測畫像的預測值，因此即使在訊號值沿著預測方向改變時，亦實現高精度預測，而達成可提高畫像品質的效果。

此外，藉由該實施形態3，動畫像解碼裝置的框內預測部34係構成為：若生成預測畫像時的圖框內預測處理為水平方向預測處理時，對預測區塊之左所鄰接的像素的亮度值，加算與預測區塊之上所鄰接的像素的水平方向的亮度值變化量成正比的值，將該加算後的值決定為預測畫像的預測值，若生成預測畫像時的圖框內預測處理為垂直方向預測處理時，對預測區塊之上所鄰接的像素的亮度值，加算與預測區塊之左所鄰接的像素的垂直方向的亮度值變化量成正比的值，將該加算後的值決定為預測畫像的預測值，因此即在訊號值沿著預測方向改變時，亦實現高精度的預測，而達成可提高畫像品質的效果。

藉由該實施形態3，關於屬於藉由框內預測部4、34實施水平方向預測處理時所使用的標度值的1/u，係構成為愈為離預測區塊之上所鄰接的像素為距離遠的行的標度 值，被設定為愈小的值，因此愈為與預測區塊之上所鄰接的像素的距離遠而相關變低的像素，愈可減小預測區塊之上所鄰接的像素的影響，結果，達成可高精度預測的效果。

此外，關於屬於藉由框內預測部4、34實施垂直方向預測處理時所使用的標度值的1/t，係構成為愈為離預測區塊之左所鄰接的像素為距離遠的列的標度值，被設定愈小的值，因此愈為與預測區塊之左所鄰接的像素的距離遠而相關變低的像素，愈可減小預測區塊之左所鄰接的像素的影響，結果，達成可高精度預測的效果。

其中，在該實施形態3中係顯示藉由框內預測部4、34實施水平方向預測處理時的預測區塊內的第N行(由預測區塊的上端第N行)的標度值為1/2^N+1(=1/2、1/4、1/8、1/16、...)，藉由框內預測部4、34實施垂直方向預測處理時的預測區塊內的第M列(由預測區塊之左端第M列)的標度值為1/2^M+1(=1/2、1/4、1/8、1/16、...)之例，惟此僅為一例，若藉由框內預測部4、34實施水平方向預測處理時，愈為離預測區塊的上端為較遠的行的標度值為愈小，此外，藉由框內預測部4、34實施垂直方向預測處理時，愈為離預測區塊之左端為較遠的列的標度值為愈小，則可為任何值。

其中，本案發明係在本發明之範圍內，可進行各實施形態的自由組合、或各實施形態的任意構成要素的變形、或在各實施形態中省略任意構成要素。

(產業上可利用性)

本發明係適於必須將動畫像以高效率進行編碼的 動畫像編碼裝置，此外，適於必須將以高效率予以編碼的動畫像進行解碼的動畫像解碼裝置。

1‧‧‧區塊分割部(區塊分割手段)

2‧‧‧編碼控制部(編碼控制手段)

3‧‧‧切換開關

4‧‧‧框內預測部(框內預測手段)

5‧‧‧動作補償預測部(動作補償預測手段)

6‧‧‧減算部(量化手段)

7‧‧‧轉換/量化部(量化手段)

8‧‧‧逆量化/逆轉換部

9‧‧‧加算部

10‧‧‧框內預測用記憶體(框內預測手段)

11‧‧‧迴圈濾波部

12‧‧‧動作補償預測圖框記憶體(動作補償預測手段)

13‧‧‧可變長編碼部(可變長編碼手段)

Claims (5)

1. 一種畫像解碼裝置，包括框內預測手段，其係對每個處理區塊實施圖框內預測處理，並且產生預測畫像的畫素的預測值，其特徵在於：當框內預測參數係表示垂直方向預測處理時，上述框內預測手段係對上述處理區塊之上所鄰接的畫素的信號值，加算與上述處理區塊之左所鄰接的畫素的垂直方向的信號值變化量成正比的值，將該加算後的值決定為上述預測值。
2. 一種畫像解碼方法，包括框內預測處理步驟，其係框內預測手段，對每個處理區塊實施圖框內預測處理，並且產生預測畫像的畫素的預測值，其特徵在於：當框內預測參數係表示垂直方向預測處理時，上述框內預測處理步驟係對上述處理區塊之上所鄰接的畫素的信號值，加算與上述處理區塊之左所鄰接的畫素的垂直方向的信號值變化量成正比的值，將該加算後的值決定為上述預測值。
3. 一種畫像編碼裝置，包括框內預測手段，其係對每個處理區塊實施圖框內預測處理，並且產生預測畫像的畫素的預測值，其特徵在於：當框內預測參數係表示垂直方向預測處理時，上述框內預測手段係對上述處理區塊之上所鄰接的畫素的信號值，加 算與上述處理區塊之左所鄰接的畫素的垂直方向的信號值變化量成正比的值，將該加算後的值決定為上述預測值。
4. 一種畫像編碼方法，包括框內預測處理步驟，其係框內預測手段，對每個處理區塊實施圖框內預測處理，並且產生預測畫像的畫素的預測值，其特徵在於：當框內預測參數係表示垂直方向預測處理時，上述框內預測處理步驟係對上述處理區塊之上所鄰接的畫素的信號值，加算與上述處理區塊之左所鄰接的畫素的垂直方向的信號值變化量成正比的值，將該加算後的值決定為上述預測值。
5. 一種編碼資料的資料構造，對每個處理區塊實施圖框內預測處理以及編碼，其特徵在於：上述編碼資料包括框內預測參數以及壓縮資料，其中該框內預測參數係表示當實施上述圖框內預測處理時所使用的框內預測模式，該壓縮資料係對上述處理區塊之畫像以及對上述處理區塊實施上述圖框內預測處理而產生的預測畫像進行差分的壓縮處理所產生；當框內預測參數係表示垂直方向預測處理時，上述預測畫像的畫素的預測值係對上述處理區塊之上所鄰接的畫素的信號值，加算與上述處理區塊之左所鄰接的畫素的垂直方向的信號值變化量成正比的值，將該加算後的值決定為上述預測值。