[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

TW201342927A - 圖像編碼方法、圖像解碼方法、圖像編碼裝置、圖像解碼裝置及圖像編碼解碼裝置 - Google Patents

圖像編碼方法、圖像解碼方法、圖像編碼裝置、圖像解碼裝置及圖像編碼解碼裝置 Download PDF

Info

Publication number
TW201342927A
TW201342927A TW102103739A TW102103739A TW201342927A TW 201342927 A TW201342927 A TW 201342927A TW 102103739 A TW102103739 A TW 102103739A TW 102103739 A TW102103739 A TW 102103739A TW 201342927 A TW201342927 A TW 201342927A
Authority
TW
Taiwan
Prior art keywords
picture
vector prediction
time
motion vector
image
Prior art date
Application number
TW102103739A
Other languages
English (en)
Other versions
TWI559752B (zh
Inventor
Sue Mon Thet Naing
Chong Soon Lim
Kyaw Kyaw Win
hai wei Sun
Viktor Wahadaniah
Takahiro Nishi
Hisao Sasai
Youji Shibahara
Toshiyasu Sugio
Kyoko Tanikawa
Toru Matsunobu
Kengo Terada
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Publication of TW201342927A publication Critical patent/TW201342927A/zh
Application granted granted Critical
Publication of TWI559752B publication Critical patent/TWI559752B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

圖像編碼方法包含有：選擇步驟，係由複數圖片選擇第1圖片；第1設定步驟，係將關聯於第1圖片之第1時間移動向量預測旗標設定為不使用時間移動向量預測，且將該第1時間移動向量預測旗標編碼，前述第1時間移動向量預測旗標為顯示是否使用時間移動向量預測之時間移動向量預測旗標；第1編碼步驟，係不使用時間移動向量預測而將第1圖片編碼；及第2編碼步驟，係禁止參考編碼順序較第1圖片前面之圖片之移動向量，且將編碼順序較第1圖片後面之第2圖片編碼。

Description

圖像編碼方法、圖像解碼方法、圖像編碼裝置、圖像解碼裝置及圖像編碼解碼裝置 發明領域
本發明係有關於圖像編碼方法及圖像解碼方法。
發明背景
在所謂H.264/MPEG-4 AVC、及下一世代HEVC(High-Efficiency Video Coding：高效率圖像壓縮編碼)之最先端的圖像編碼方式中，採用利用已在之前編碼或解碼之參考圖片之圖片間預測，而將圖像或圖像內容編碼或是解碼。如此，在圖像編碼方式中，能有效利用時間性地連續之圖片之間的資訊冗長性(例如參考非專利文獻1)。
先行技術文獻 非專利文獻
非專利文獻1：ISO/IEC 14496-10「MPEG-4 Part 10 Advanced Video Coding」
發明概要
對如此圖像編碼方法及圖像解碼方法，希望能提昇穩健性。
在此，本發明之目的係於提供可提昇穩健性之圖像編碼方法及圖像解碼方法。
為達成上述目的，本發明一態樣之圖像編碼方法包含有：選擇步驟，係由複數圖片選擇第1圖片；第1設定步驟，係將關聯於前述第1圖片之第1時間移動向量預測旗標設定為不使用時間移動向量預測，且將該第1時間移動向量預測旗標編碼，前述第1時間移動向量預測旗標為顯示是否使用時間移動向量預測之時間移動向量預測旗標；第1編碼步驟，係不使用時間移動向量預測，而將前述第1圖片編碼；及第2編碼步驟，係禁止參考編碼順序較前述第1圖片前面之圖片之移動向量，而將編碼順序較前述第1圖片後面之第2圖片編碼。
此外，該等一般或具體的態樣亦可以系統、方法、積體電路、電腦程式或電腦可讀取之CD-ROM等之記錄媒體予以實現，亦可以系統、方法、積體電路、電腦程式及記錄媒體之任一組合附諸實現。
本發明可提供能提昇穩健性之圖像編碼方法及圖像解碼方法。
100‧‧‧圖像編碼裝置
101‧‧‧減法器
102‧‧‧正交變換部
103‧‧‧量化部
104,204‧‧‧反量化部
105,205‧‧‧反正交變換部
106,206‧‧‧加法器
107,207‧‧‧區塊記憶體
108,208‧‧‧框記憶體
109,209‧‧‧內預測部
110,210‧‧‧間預測部
111,211‧‧‧切換部
112‧‧‧可變長度編碼部
113‧‧‧控制部
120‧‧‧輸入圖像
121,125,225‧‧‧剩餘訊號
122,124,224‧‧‧變換係數
123,223‧‧‧量化係數
126,226‧‧‧解碼圖像
127,128,227,228‧‧‧圖像訊號
129,130,131,229,230,231‧‧‧預測圖像
132,232‧‧‧編碼位元流
133,233‧‧‧時間移動向量預測旗標
200‧‧‧圖像解碼裝置
212‧‧‧可變長度解碼部
ex100‧‧‧內容供給系統
ex101‧‧‧網際網路
ex102‧‧‧網際網路服務提供者
ex104‧‧‧電話線路網
ex106~ex110‧‧‧基地台
ex107‧‧‧基地台
ex111‧‧‧電腦
ex112‧‧‧PDA
ex113‧‧‧相機
ex114‧‧‧行動電話機
ex115‧‧‧遊戲機
ex117‧‧‧麥克風
ex201‧‧‧廣播台
ex202‧‧‧衛星
ex203‧‧‧電纜線
ex204‧‧‧天線
ex210‧‧‧車
ex211‧‧‧車用導航系統
ex215,ex216‧‧‧記錄媒體
ex217‧‧‧機上盒(STB)
ex218‧‧‧讀取器/記錄器
ex219‧‧‧監視器
ex220‧‧‧遙控器
ex230‧‧‧資訊軌道
ex231‧‧‧記錄區塊
ex232‧‧‧內周區
ex233‧‧‧資料記錄區
ex234‧‧‧外周區
ex235‧‧‧視訊流
ex238‧‧‧聲訊流
ex236,ex239,ex242,ex245‧‧‧PES封包列
ex237,ex240,ex243,ex246‧‧‧TS封包
ex241‧‧‧表達圖形流
ex244‧‧‧交互圖形流
ex247‧‧‧多工資料
ex300‧‧‧電視機
ex301‧‧‧調諧器
ex302‧‧‧調變/解調部
ex303‧‧‧多工/分離部
ex304‧‧‧聲音訊號處理部
ex305‧‧‧影像訊號處理部
ex306‧‧‧訊號處理部
ex307‧‧‧揚聲器
ex308‧‧‧顯示部
ex309‧‧‧輸出部
ex310‧‧‧控制部
ex311‧‧‧電源電路部
ex312‧‧‧操作輸入部
ex313‧‧‧橋接器
ex314‧‧‧插槽部
ex315‧‧‧驅動器
ex316‧‧‧數據機
ex317‧‧‧介面部
ex318、ex319‧‧‧緩衝器
ex350‧‧‧天線
ex351‧‧‧傳送/接收部
ex352‧‧‧調變/解調部
ex353‧‧‧多工/分離部
ex354‧‧‧聲音訊號處理部
ex355‧‧‧影像訊號處理部
ex356‧‧‧聲音輸入部
ex357‧‧‧聲音輸出部
ex358‧‧‧顯示部
ex359‧‧‧LCD控制部
ex360‧‧‧主控制部
ex361‧‧‧電源電路部
ex362‧‧‧操作輸入控制部
ex363‧‧‧相機I/F部
ex364‧‧‧插槽部
ex365‧‧‧相機部
ex366‧‧‧操作鍵部
ex367‧‧‧記憶體部
ex400‧‧‧資訊再生/記錄部
ex401‧‧‧光學磁頭
ex402‧‧‧調變記錄部
ex403‧‧‧再生解調部
ex404‧‧‧緩衝器
ex405‧‧‧光碟馬達
ex406‧‧‧伺服器控制部
ex407‧‧‧系統控制部
ex500‧‧‧LSI
ex501‧‧‧控制部
ex502‧‧‧CPU
ex503‧‧‧記憶體控制器
ex504‧‧‧串流控制器
ex505‧‧‧電源電路部
ex506‧‧‧串流I/O
ex507‧‧‧訊號處理部
ex508‧‧‧緩衝器
ex509‧‧‧AVI/O
ex510‧‧‧匯流排
ex511‧‧‧記憶體
ex512‧‧‧驅動頻率控制部
ex801,ex802‧‧‧解碼處理部
ex803‧‧‧驅動頻率切換部
ex900,ex1000‧‧‧構成
ex901,ex902,ex1001~ex1003‧‧‧解碼處理部
圖1係實施形態1之圖像編碼裝置方塊圖。
圖2係實施形態1之圖像編碼方法之流程圖。
圖3係實施形態1之圖像編碼方法之流程圖。
圖4A圖係實施形態1之圖像編碼方法之流程圖。
圖4B圖係用以說明實施形態1之圖像編碼方法之圖。
圖4C圖係用以說明實施形態1之圖像編碼方法之圖。
圖5係實施形態1之圖像編碼方法之變形例之流程圖。
圖6係顯示實施形態1之編碼位元流之構成例之圖。
圖7係實施形態1之圖像解碼裝置之方塊圖。
圖8係實施形態1之圖像解碼方法之流程圖。
圖9係實施形態1之圖像解碼方法之流程圖。
圖10係實現內容發送服務之內容供給系統之整體構成圖。
圖11係數位播放用系統之整體構成圖。
圖12係顯示電視機之構成例之方塊圖。
圖13係顯示在光碟之記錄媒體進行資訊讀寫之資訊再生/記錄部之構成例之方塊圖。
圖14係顯示光碟之記錄媒體之構成例之圖。
圖15A係顯示行動電話機一例之圖。
圖15B係顯示行動電話機之構成例之方塊圖。
圖16係顯示多工資料之構成圖。
圖17係模式地顯示各串流如何在多工資料進行多工處理之圖。
圖18係更進一步詳細顯示在PES封包列如何儲存視訊流之圖。
圖19係顯示多工資料中之TS封包及原始封包之構造 圖。
圖20係顯示PMT之資料構成圖。
圖21係顯示多工資料資訊之內部構成圖。
圖22係顯示串流屬性資訊之內部構成圖。
圖23係顯示識別影像資料之步驟圖。
圖24係顯示實現各實施形態之動態圖像編碼方法及動態圖像解碼方法之積體電路之構成例之方塊圖。
圖25係顯示將驅動頻率進行切換之構成圖。
圖26係顯示識別影像資料且切換驅動頻率之步驟圖。
圖27係顯示將影像資料之規格與驅動頻率對應之查找表一例之圖。
圖28A係顯示共有訊號處理部之模組之一構成例之圖。
圖28B係顯示共有訊號處理部之模組之另一構成例之圖。
較佳實施例之詳細說明 用以實施發明之形態
(成為本發明基礎之知見)
本發明人找到關於習知技術會產生如下問題。
圖像解碼裝置係使用參考索引，界定相對於預測單位(M×N之樣本區塊等)且已用於間預測處理之參考圖片。參考索引係指關聯於參考圖片列表中所含之1個以上之參考圖片之索引。又，參考圖片列表係顯示1個以上之參考圖片之附有順序之列表。又，參考索引係與解碼圖片緩衝器(DPB) 內之參考圖片一意性地附與關聯性。
在最新技術的圖像編碼方式中進行著移動向量之時間預測。對象樣本區塊之移動向量係由共置(colocated)參考圖片所含且在之前已編碼之1個以上的樣本區塊之移動向量所預測。該共置參考圖片係使用預定的方式而由可利用之參考圖片之中選擇。例如，從預定之參考圖片列表(參考圖片列表0等)所含之參考圖片之中，選擇第1個參考圖片作為共置參考圖片。
在使用有不可逆壓縮之圖像之傳送所需之應用程式中失去共置參考圖片或含有錯誤時，時間移動向量預測容易受到移動向量之已錯誤的預測之影響。在習知之HEVC圖像編碼方式中，藉將標示旗標配置於圖片參數組(PPS)，而將解碼圖片緩衝器(DPB)所含之全部圖片標記為「不使用於時間移動向量預測」。該標記處理係於切片要參考標記旗標為「TRUE」之PPS之際進行。
本發明人發現該方式具有如下課題，即，在進行標記處理之切片遺失或含有錯誤時，影像解碼器不能執行意圖進行之標記處理及隨後之編碼器與解碼器間之同步。為此，要將時間移動向量預測無效之上述方式之穩健性低。
在本實施形態中，在要將時間移動向量預測無效之圖像編碼方法及圖像解碼方法中，說明使抗錯穩建性提昇之方法。本實施形態之圖像編碼方法及圖像解碼方法可刪除令參考圖片作為「不使用於時間移動向量預測」進行標記之處理，除去對上述方式中之錯誤之脆弱性。本實施 形態之效果為可提昇時間移動向量預測處理之抗錯穩建性。
本實施形態一態樣之圖像編碼方法包含有：選擇步驟，係由複數圖片選擇第1圖片；第1設定步驟，係將關聯於前述第1圖片之第1時間移動向量預測旗標設定為不使用時間移動向量預測，且將該第1時間移動向量預測旗標編碼，前述第1時間移動向量預測旗標為顯示是否使用時間移動向量預測之時間移動向量預測旗標；第1編碼步驟，係不使用時間移動向量預測而將前述第1圖片編碼；及第2編碼步驟，係禁止參考編碼順序較前述第1圖片前面之圖片的移動向量，而將編碼順序較前述第1圖片後面之第2圖片編碼。
依此，使較第1圖片後面之第2圖片禁止參考較第1圖片前面之圖片之移動向量。藉此，該圖像編碼方法能防止錯誤越過第1圖片傳播，因此可提昇穩健性。
例如，亦可在複數圖片設定有時間等級，且在前述選擇步驟中，於前述複數圖片之中選擇具有最大前述時間等級之圖片作為前述第1圖片。
依此，將優先度高之圖片設定為第1圖片。藉此，可更適當地防止錯誤的傳播。
例如，前述第2編碼步驟亦可具有：判斷步驟，係判斷前述第2圖片是否具有編碼順序較前述第1圖片前面之共置參考圖片；第2設定步驟，係於前述第2圖片具有編碼順序較前述第1圖片前面之共置參考圖片時，(1)將成為關聯於前述第2圖片之前述時間移動向量預測旗標之第2時間 移動向量預測旗標設定為不使用前述時間移動向量預測，(2)將該第2時間移動向量預測旗標編碼，(3)且不使用時間移動向量預測而將該第2圖片編碼；及第3設定步驟，係於前述第2圖片不具有編碼順序較前述第1圖片前面之共置參考圖片時，(1)將前述第2時間移動向量預測旗標設定為不使用前述時間移動向量預測、或是使用前述時間移動向量預測，(2)將該第2時間移動向量預測旗標編碼，(3)且使用或是不使用時間移動向量預測而將該第2圖片編碼。
例如，前述第2編碼步驟亦可具有：第1判斷步驟，係判斷前述第2圖片之顯示順序是否較前述第1圖片前面；第2判斷步驟，係判斷前述第2圖片是否具有編碼順序或是顯示順序較前述第1圖片前面之共置參考圖片；第2設定步驟，係於前述第2圖片之顯示順序較前述第1圖片後面，且前述第2圖片具有編碼順序或是顯示順序較前述第1圖片前面之共置參考圖片時，(1)將成為關聯於前述第2圖片之前述時間移動向量預測旗標之第2時間移動向量預測旗標設定為不使用前述時間移動向量預測，(2)將該第2時間移動向量預測旗標編碼，(3)不使用時間移動向量預測而將該第2圖片編碼；及第3設定步驟，係(1)在前述第2圖片之顯示順序較前述第1圖片前面時，或是(2)在前述第2圖片之顯示順序較前述第1圖片後面且前述第2圖片不具編碼順序或顯示順序較前述第1圖片前面之共置參考圖片時，(1)將已關聯於前述第2圖片之前述時間移動向量預測旗標之第2時間移動向量預測旗標，設定為不使用前述時間移動向量預測， (2)且將該第2時間移動向量預測旗標編碼，(3)不使用時間移動向量預測而將該第2圖片編碼。
例如，亦可在前述第1設定步驟中，將顯示不使用時間移動向量預測之前述第1時間移動向量預測旗標寫入前述第1圖片所含之全部切片的標頭。
依此，使用依每切片顯示是否使用時間移動向量預測之旗標，可設定第1圖片。藉此，可一邊抑制編碼位元流之資料量的增加，且一邊實現穩健性的提昇。
例如，前述圖像編碼方法亦可更含有：第1列表產生步驟，係於顯示前述時間移動向量預測旗標使用時間移動向量預測時，作成顯示含有由共置參考圖片之移動向量所導出之時間移動向量之預測值之複數移動向量之預測值之第1列表；第2列表產生步驟，係在於前述時間移動向量預測旗標顯示著不使用時間移動向量預測時，作成顯示不含前述時間移動向量之預測值之複數移動向量之預測值之第2列表。
依此，可減少不使用時間移動向量預測時之資料量。
又，本實施形態一態樣之圖像解碼方法包含有：取得步驟，係由編碼位元流取得第1時間移動向量預測旗標，該第1時間移動向量預測旗標為顯示是否使用時間移動向量預測之時間移動量預測旗標，且顯示於第1圖片不使用時間移動向量預測；第1解碼步驟，係不使用時間移動向量預測之狀態下而將前述第1圖片解碼；及第2解碼步驟，係 禁止參考解碼順序較前述第1圖片前面之圖片之移動向量，而將解碼順序較前述第1圖片後面之第2圖片解碼。
依此，使較第1圖片後面之第2圖片禁止參考較第1圖片前面之圖片之移動向量。藉此，該圖像解碼方法可防止越過第1圖片傳播錯誤，因此可提昇穩健性。
例如亦可在複數圖片設定有時間等級，前述第1圖片為具有前述複數圖片中最大的前述時間等級之圖片。
依此，可使優先度高之圖片設定成第1圖片。藉此，可更適當地防止錯誤的傳播。
例如亦可在前述取得步驟中，由前述第1圖片所含之全部的切片之標頭，取得顯示未使用時間移動向量預測之前述第1時間移動向量預測旗標。
依此，可使用顯示是否每切片使用時間移動向量預測之旗標，設定第1圖片。藉此，可一邊抑制編碼位元流之資料量之增加，且一邊實現穩健性的提昇。
例如，前述圖像解碼方法亦可更具有：第1列表產生步驟，係於以前述時間移動向量預測旗標顯示有使用時間移動向量預測時，作成顯示含有時間移動向量之預測值之複數移動向量之預測值之第1列表，前述時間移動向量係由共置參考圖片之移動向量所導出；及第2列表產生步驟，係於以前述時間移動向量預測旗標顯示有不使用時間移動向量預測時，作成顯示不含前述時間移動向量之預測值之多數移動向量之預測值之第2列表。
依此，可減少不使用時間移動向量預測時之資料 量。
又，本實施形態一態樣之圖像編碼裝置包含有：設定部，係由多數圖片選擇第1圖片，將已關聯於前述第1圖片之第1時間移動向量預測旗標設定為不使用時間移動向量預測，該第1時間移動向量預測旗標係顯示是否使用時間移動向量預測之時間移動向量預測旗標；及編碼部，係將前述第1時間移動向量預測旗標編碼，且不使用時間移動向量預測而將前述第1圖片編碼，並禁止參考編碼順序較前述第1圖片前面之圖片之移動向量，而將編碼順序較前述第1圖片後面之第2圖片編碼。
依該構成，使較第1圖片後面之第2圖片禁止參考較第1圖片前面之圖片之移動向量。藉此，該圖像編碼裝置可防止錯誤越過第1圖片傳播，因此可提昇穩建性。
又，本實施形態一態樣之圖像解碼裝置包含有：取得部，係由編碼位元流取得第1時間移動向量預測旗標，該第1時間移動向量預測旗標係顯示是否使用時間移動向量預測之時間移動向量預測旗標，且為顯示對第1圖片不使用時間移動向量預測；及解碼部，係不使用時間移動向量預測而將前述第1圖片解碼，且禁止參考解碼順序較前述第1圖片前面之圖片之移動向量，而將解碼順序較前述第1圖片後面之第2圖片解碼。
依此構成，使較第1圖片後面之第2圖片禁止參考較第1圖片前面之圖片之移動向量。藉此，該圖像解碼裝置可防止錯誤越過第1圖片傳播，因此可提昇穩建性。
又，本實施形態一態樣之圖像編碼解碼裝置包含有前述圖像編碼裝置及前述圖像解碼裝置。
此外，該等概括性或具體的態樣亦可藉系統、方法、積體電路、電腦程式或電腦可讀取之CD-POM等之記錄媒體實現，亦可藉系統、方法、積體電路、電腦程式及記錄媒體之任意的組合實現。
以下，一邊參考附圖，一邊說明實施形態。
此外，以下說明之實施形態每一者是顯示概括性或具體的例子。在以下的實施形態所示之數值、形狀、材料、構成要素、構成要素之配置位置及連接形態、步驟、步驟的順序等只是例子罷了，並非是限定本發明之主旨。又，以下的實施形態中之構成要素中，針對未記載於顯示最上位概念之獨立請求項之構成要素，乃作為任意的構成要素來說明。
(實施形態1)
[編碼裝置]
首先就本實施形態之圖像編碼裝置之構成予以說明。圖1係顯示本實施形態之圖像編碼裝置100之構造方塊圖。
圖1所示之圖像編碼裝置100係對輸入圖像120(輸入圖像位元流)以區塊單位編碼，而產生編碼位元流132。該圖像編碼裝置100包含有：減法器101、正交變換部102、量化部103、反量化部104、反正交變換部105、加法器106、區塊記憶體107、框記憶體108(圖片記憶體)、內預測部109、間預測部110、切換部111、可變長度編碼部112(熵 編碼部)、及控制部113。
減法器101係藉由輸入圖像120減去預測圖像131，而產生剩餘訊號121。正交變換部102係藉將剩餘訊號121變換成頻率係數，而產生變換係數122。量化部103係藉將變換係數量化，而產生量化係數123。可變長度編碼部112係藉將量化係數123可變長度編碼(熵編碼)，而產生編碼位元流132。
反量化部104係藉將量化係數123反量化，而產生變換係數124。反正交變換部105係藉將變換係數124反頻率變換，而產生剩餘訊號125。加法器106係將剩餘訊號125及預測圖像131相加，而產生解碼圖像126。該解碼圖像126係作為圖像訊號127而儲存於區塊記憶體107，並作為圖像訊號128而儲存於框記憶體108。該等圖像訊號127及128係用於今後之預測處理。
內預測部109係使用區塊記憶體107所儲存之圖像訊號127而進行內預測處理，產生預測圖像129。例如，內預測部109係由處理對象之圖像所含之已處理完畢之圖像區域檢測最類似於處理對象之圖像區域之圖像區域。間預測部110係使用框記憶體108所儲存之圖像訊號128而進行間預測處理，產生預測圖像130。例如，間預測部110係檢測已處理完畢之其他圖像所含之最類似於處理對象之圖像區域之圖像區域。切換部111係選擇預測圖像129及130中之一者，將所選擇之預測圖像作為預測圖像131輸出。
控制部113係判斷是否對處理對象之切片之間預 測使用時間移動向量預測，且將成為顯示該判斷結果之訊號之時間移動向量預測旗標133輸出至間預測部110及可變長度編碼部112。根據該判斷結果，間預測部110係使用或不使用時間移動向量之預測值來進行間預測。又，可變長度編碼部112係產生含有時間移動向量預測旗標133之編碼位元流132。又，時間移動向量預測意指：使用其他圖片所含之移動向量作為移動向量之預測值，而進行移動向量預測之處理。
[編碼處理]
其次，說明上述之圖像編碼裝置100之動作。
圖2係本實施形態之圖像編碼處理之流程圖。
首先，圖像編碼裝置100係將多數參考圖片列表順序參數寫入切片標頭，且界定使用在該切片之間預測之1個以上之參考圖片列表所含之多數參考圖片之順序(S101)。在此，某一參考圖片列表(參考圖片列表0等)所含之預定位置之參考圖片(第1個圖片等)係顯示共置參考圖片。
其次，圖像編碼裝置100係將顯示是否在切片之間預測使用時間移動向量預測之時間移動向量預測旗標寫入切片標頭(S102)。接著，圖像編碼裝置100係判斷時間移動向量預測旗標顯示是否使用或不使用時間移動向量預測(S103)。該旗標之值，例如在不使用時間移動向量預測時，為「0」，使用時為「1」。
在旗標顯示了使用時間移動向量預測時(在S104 中，是(Yes))，圖像編碼裝置100係作成包括由共置參考圖片之移動向量所導出之至少一個時間移動向量之預測值之第1列表(S105)。接著，圖像編碼裝置100係由第1列表選擇相對於切片所含之處理對象之樣本區塊之移動向量之預測值(S106)。接著，圖像編碼裝置100係將顯示所選擇之移動向量之預測值之第1參數(移動向量預測值選擇參數)寫入編碼位元流132(S107)。
另一方面，在旗標顯示了不使用時間移動向量預測時(在S104中，否)，圖像編碼裝置100係作成不含時間移動向量之預測值之移動向量預測值之第2列表(S108)。接著，圖像編碼裝置100係由第2列表選擇相對於切片所含之處理對象之樣本區塊之移動向量之預測值(S109)。再者，圖像編碼裝置100係將顯示所選擇之移動向量之預測值之第2參數(移動向量預測值選擇參數)寫入編碼位元流132(S110)。
在步驟S107或S110之後，圖像編碼裝置100係使用在步驟S106或步驟S109所選擇之移動向量之預測值，進行移動補償間預測，以產生預測樣本區塊(預測圖像131)(S111)。接著，圖像編碼裝置100係由原有的樣本區塊(輸入圖像120)減去預測樣本區塊(預測圖像131)，以產生剩餘樣本區塊(剩餘訊號121)(S112)。然後，圖像編碼裝置100係將對應於對象區塊之剩餘樣本區塊編碼，以產生編碼位元流132(S113)。
在此，藉時間移動向量預測旗標，能使1個切片 與其他切片不相干地獨立被控制。又，圖像編碼裝置100不在DPB內之參考圖片進行標記(marking)處理。又，在本實施形態中，時間移動向量預測旗標之值亦可在同一圖片內之多數切片相異。
又，在本實施形態中，移動向量之預測值之數目在移動向量預測值之第1列表與第2列表有所不同，第2列表之預測值之數目較第1列表少1個。又，哪一列表在時間移動向量之預測值以外之移動向量之預測值都是相同。在編碼位元流132中，對顯示所選擇之移動向量預測值之第1參數與第2參數亦可使用不同的位元表現。例如，在算術編碼之2值化或可變長度編碼中，亦可使用最大值相異之小數(fraction)處理。
此外，第1列表與第2列表之移動向量預測值之數亦可為相同。此時，除了時間移動向量預測之預測值，第2列表亦可包括不存在於第1列表之非時間性移動向量之預測值來代替。該非時間性移動向量之預測值係不使用來自參考圖片之移動向量而時間性地獨立導出。該非時間性移動向量之預測值例如包括使用與對象區塊相同之圖片內之鄰接區塊1個以上所導出之空間移動向量預測值。此外，該非時間性移動向量之預測值亦可為與水平移動向量成分與垂直移動向量等於零之零移動向量預測值。
以下，說明本實施形態之編碼處理之另一例。圖3係本實施形態之將多數圖片編碼之編碼處理之流程圖。
首先，圖像編碼裝置100係由編碼對象之多數圖 片選擇時間移動向量預測再新(refresh)用之起始圖片(S121)。時間移動向量預測之再新(refresh)係指使移動向量預測之相依狀態傳播之情況在起始圖片結束。
在此，圖像編碼裝置100係於編碼順序較起始圖片後面之全圖片之編碼中，使位於較該起始圖片前面之圖片不利用在時間移動向量預測。藉該時間移動向量預測之再新，而使可校正因時間移動向量預測之不配合(mismatch)所產生之再構成錯誤之復原點配置於編碼位元流132內。藉此，可提昇抗錯穩建性。
其次，圖像編碼裝置100係將起始圖片所含之全部的切片編碼。又，圖像編碼裝置100係將起始圖片所含之全部的切片之時間移動向量預測旗標設定為「不使用時間移動向量預測」(例如設定在旗標值「0」)(S122)。即，對於起始圖片所含之全部的切片不使用時間移動向量預測。
接著，圖像編碼裝置100係判斷位於編碼順序較起始圖片後面之後續圖片所含之切片是否具有編碼順序較起始圖片前面之共置參考圖片(S123)。
在該後續圖片所含之切片之共置參考圖片位於起始圖片前面時(在S124中，是(Yes))，圖像編碼裝置100係將該後續圖片所含之切片編碼。此時，圖像編碼裝置100係將該後續圖片之切片之時間移動向量預測旗標設定為「不使用時間移動向量預測」(例如旗標值「0」)(S125)。即，編碼順序超過起始圖片之時間移動向量預測變成無效。
另一方面，該後續圖片之切片之共置參考圖片不 是較起始圖片前面(即，起始圖片或編碼順序在後面之圖片為共置參考圖片)時(在S124中，否)，圖像編碼裝置100係將該後續圖片之切片編碼。此時，圖像編碼裝置100係將該後續圖片之切片之時間移動向量預測旗標設定為「使用時間移動向量預測」(例如旗標值「1」)，或設定為「不使用時間移動向量預測」(例如旗標值「0」)(S126)。即，若共置參考圖片之編碼順序不是較起始圖片前面時，在對象切片有是否使用時間移動向量預測之選擇機會。又，在本實施形態中，是否使用時間移動向量預測之選擇是根據編碼效率是否成為最大者來決定。
如上，圖像編碼裝置100，如圖4A所示，由多數圖片選擇第1圖片(起始圖片)(S141)。
其次，圖像編碼裝置100係將已關聯於第1圖片之第1時間移動向量預測旗標設定為不使用時間移動向量預測，且將該第1時間移動向量預測旗標編碼(S142)。具體來說，圖像編碼裝置100係將顯示不使用時間移動向量預測之第1時間移動向量預測旗標，寫入第1圖片所含之全部的切片之標頭。
又，圖像編碼裝置100不使用時間移動向量預測而將第1圖片編碼(S143)。其次，圖像編碼裝置100係禁止參考編碼順序較第1圖片前面之圖片之移動向量，而將編碼順序較第1圖片後面之第2圖片編碼(S144)。
藉此，圖像編碼裝置100可禁止第1圖片後續之第2圖片參考較第1圖片前面之圖片之移動向量，因此可防止 錯誤跨越第1圖片傳播。因此該圖像編碼裝置100可提昇穩建性。
此外，步驟S142與步驟S143之順序可對調。
例如，如圖4B所示，在圖片4之編碼時，禁止參考較起始圖片2前面之圖片0及圖片1之移動向量。又，如圖4C所示，在編碼順序及顯示順序(輸出順序)相異時亦同樣。在圖4C所示之例中，在圖片4之編碼時，禁止參考較起始圖片1前面之圖片0之移動向量。此外，在圖4B及圖4C中，圖片的號碼(圖片0、圖片1．．．)表示編碼順序。
在此，上述步驟S141及S142之一部分係藉圖像編碼裝置100所含之設定部所執行。又，上述步驟S142之一部分、S143及S144係藉圖像編碼裝置100所含之編碼部所執行。例如，設定部係包括在圖1所示之控制部113。又，編碼部之主要功能亦可藉圖1所示之間預測部110、可變長度編碼部112及控制部113實現。
又，在此，對於禁止較起始圖片後面之後續圖片參考較起始圖片前面之圖片之移動向量之方法，是顯示了對後續圖片不使用時間移動向量預測之方法，不過亦可使用除此之外之方法。
例如，圖像編碼裝置100係於後續圖片之共置參考圖片位於起始圖片之前時，亦可將該共置參考圖片變更為起始圖片或較起始圖片後面之圖片。
或者是，圖像編碼裝置100係於後續圖片之共置參考圖片位於起始圖片之前時，亦可作成不含時間移動向 量之預測值之移動向量預測值之列表(上述第2列表)，而非將時間移動向量預測旗標設定為「不使用時間移動向量預測」。又，圖像編碼裝置100係於作成含有時間移動向量之預測值之移動向量預測值之列表時，亦可構造成不選擇時間移動向量之預測值，例如不選擇分配於時間移動向量之預測值之索引後進行編碼處理。
以下說明本實施形態之編碼處理之變形例。圖5係本實施形態之變形例之將多數圖片編碼之編碼處理之流程圖。
圖像編碼裝置100係由多數圖片選擇時間移動向量預測再新用之起始圖片(S161)。然後，圖像編碼裝置100係將起始圖片所含之全部的切片編碼。又，圖像編碼裝置100係將起始圖片所含之全部的切片之時間移動向量預測旗標設定為「不使用時間移動向量預測」(S162)。
其次，圖像編碼裝置100係判斷編碼順序較起始圖片後面之後續圖片是否為輸出順序(一般亦稱為顯示順序)較起始圖片前面(S163)。
在該後續圖片之輸出順序較起始圖片前面時(在S164中，是(Yes))，圖像編碼裝置100係將該後續圖片之切片編碼。此時，圖像編碼裝置100係將該後續圖片之切片之時間移動向量預測旗標設定為「使用時間移動向量預測」(例如旗標值「1」)，或設定為「不使用時間移動向量預測」(例如旗標值「0」)(S165)。即，在後續圖片之輸出順序較起始圖片前面時，在後續圖片之切片有是否使用時間移動 向量預測之選擇機會。在本實施形態中，是否使用時間移動向量預測之選擇係根據編碼效率是否成為最大者來決定。
另一方面，在後續圖片之輸出順序不是較起始圖片前面(輸出順序為起始圖片之後面)時(在S164中，否)，圖像編碼裝置100係判斷後續圖片所含之切片是否具有編碼順序或者是輸出順序哪一者較起始圖片前面之共置參考圖片(S166)。
該後續圖片所含之切片之共置參考圖片為編碼順序或者是輸出順序哪一者較起始圖片前面時(在S167中，是)，圖像編碼裝置100係將該後續圖片所含之切片編碼。此時，圖像編碼裝置100係將該切片之時間移動向量預測旗標設定為「不使用時間移動向量預測」(例如旗標值「0」)(S168)。即，使編碼順序或輸出順序哪一者超過起始圖片之時間移動向量預測成為無效。
另一方面，以編碼順序或輸出順序之任一者，在該後續圖片所含之切片之共置參考圖片不是較起始圖片前面時(在S167中，否)，圖像編碼裝置100係將該後續圖片所含之切片編碼。此時，圖像編碼裝置100係將該切片之時間移動向量預測旗標設定為「使用時間移動向量預測」(例如旗標值「1」)，或者是「不使用時間移動向量預測」(例如旗標值「0」)(S169)。即，若共置參考圖片之編碼順序與輸出順序較起始圖片後面時，在對象切片就能有是否使用時間移動向量預測之選擇機會。在本實施形態中，是否使用 時間移動向量預測之選擇係根據編碼效率是否成為最大者來決定。
又，在上述圖像編碼處理之例中，設置基準限制如下。
起始圖片之時間等級係使優先順位為最高者。優先順位最高之時間等級一例為HEVC圖像編碼方式之時間等級為0，即，在切片之NAL(Network Abstraction Layer：網路抽象層)單元之標頭內所具有之temporal_id等於0(參考圖4C)。
在此，時間等級(時間階層)係指某一時間等級之圖片(切片)可參考較自己的時間等級還高之時間等級之圖片之資訊者。例如，最高之時間等級(temporal_id=0)之圖片只使用最高之時間等級之圖片編碼。換言之，最高之時間等級(temporal_id=0)之圖片能只使用最高之時間等級之圖片解碼。
令起始圖片所含之全部的切片為不使用時間移動向量預測者(例如將旗標值設定為「0」)。因此，起始圖片係界定為優先順位為最高之時間等級之圖片(例如temporal_id為0)，時間移動向量預測旗標係顯示「不使用」(旗標值為「0」)。
且令較起始圖片後面之圖片每一者是以圖3(利用編碼順序條件)或者是圖5(利用編碼順序及輸出順序條件)般之不使用超過該起始圖片之時間移動向量預測。
又，令編碼位元流132為依照上述基準限制者。
本實施形態之圖像解碼裝置(相對於上述基準限制)可檢視出位元流之不合適，在檢測出如此不適合時，就隨意地進行錯誤處理。例如圖像解碼裝置亦可將較解碼對象圖片前面且最接近解碼對象圖片之前置再構成圖片所含之共置圖片(或切片)，來取代不適合區塊(或切片)，藉此隱藏該不適合區塊(或切片)。
[語法]
圖6係顯示本實施形態之時間移動向量預測旗標之位置之語法圖。
如圖6所示，界定1個以上之參考圖片列表所含之多數參考圖片之順序之參考圖片列表順序參數係包括在切片標頭。藉該參數，圖像編碼裝置及圖像解碼裝置係決定使用在與切片標頭對應之切片之間預測之參考圖片列表之有效或者是最終的順序。又，亦可藉該參數，規定在1個以上之初期參考圖片列表所進行之重排處理，亦可規定不要重排而使用初期參考圖片列表。在此，初期參考圖片列表係使用事前訂定之順序附與方式所作成之參考圖片列表。
又，時間移動向量預測旗標係與參考圖片列表順序參數同樣，包括在切片標頭。時間移動向量預測旗標係顯示是否在與該切片標頭對應之切片使用時間移動向量預測。
移動向量預測值選擇參數係以每預測單位設置者。該移動向量預測值選擇參數係顯示由可利用在預測單位之間預測之多數移動向量預測值之中，以該預測單位之 間預測所選擇之1個移動向量預測值。
時間等級參數係包括在切片標頭。如上述，圖像編碼裝置100係使用該時間等級參數，由多數圖片選擇時間移動向量預測再新(refresh)用之起始圖片。具體來說，圖像編碼裝置100係於多數圖片之中選擇具有最大時間等級之圖片，作為起始圖片。
此外，參考圖片列表順序參數及時間移動向量預測旗標亦可包括在以包含在相同圖片之多數切片共有之標頭。如此標頭意指例如適應參數組(APS)之標頭。
切片分割係將1個圖片分割成多數子圖片區段之方法中的一種方法。藉此在使用有矩塊(tile)、熵切片、或者是波面分割單位等其他子圖片分割方法時，亦可適用本實施形態。即，切片標頭所含之該等參數亦可包括在子圖片單位之標頭。
[編碼處理之效果]
由以上說明，本實施形態之圖像編碼裝置100可提昇使用有時間移動向量預測值之間預測之抗錯穩建性。又，圖像編碼裝置100可在相同圖片所含之多數切片中獨立地將時間移動向量預測值設定成有效及無效，因此可提昇間預測之編碼效率及柔軟性。
[解碼裝置]
其次，針對本實施形態之圖像解碼裝置200予以說明。該圖像解碼裝置200係將藉上述之圖像編碼裝置100所產生之編碼位元流132解碼。
圖7係顯示本實施形態之圖像解碼裝置200之構造之方塊圖。
該圖像解碼裝置200係藉以區塊單位而將編碼位元流232解碼，以產生解碼圖像226。在此，編碼位元流232例如為藉上述之圖像編碼裝置100所產生之編碼位元流132。
如圖7所示，圖像解碼裝置200包含有可變長度解碼部212(熵解碼部)、反量化部204、反正交變換部205、加法器206、區塊記憶體207、框記憶體208(圖片記憶體)、內預測部209、間預測部210及切換部211。
可變長度解碼部212係將編碼位元流232解碼，以產生量化係數223。反量化部204係將量化係數223反量化，以產生變換係數224。反正交變換部205係將變換係數224反頻率變換，以產生剩餘訊號225。加法器206係將剩餘訊號225及預測圖像231相加，以產生解碼圖像226。該解碼圖像226例如輸出至顯示部。又，該解碼圖像226為了今後的預測處理，儲存在區塊記憶體207及框記憶體208，作為圖像訊號227及228。
內預測部209係使用儲存在區塊記憶體207之圖像訊號227，進行內預測處理，以產生預測圖像229。例如，內預測部209係由處理對象之圖像所含之處理完畢之圖像區域，檢測最類似於處理對象之圖像區域之圖像區域。間預測部210係使用儲存在框記憶體208之圖像訊號228，進行間預測處理，以產生預測圖像230。例如，間預測部210係 檢測處理完畢之其他圖像所含之最類似於處理對象之圖像區域之圖像區域。切換部211係選擇預測圖像229及230中之一者，且將所選擇之預測圖像輸出，作為預測圖像231。
又，可變長度解碼部212係由編碼位元流232，取得顯示是否在解碼對象切片之間預測使用時間移動向量預測之時間移動向量預測旗標233。根據該旗標，間預測部210係使用或不使用時間移動向量預測值進行間預測。
[解碼處理]
其次，說明上述之圖像解碼裝置200之動作。圖8係本實施形態之圖像解碼處理之流程圖。
首先，圖像解碼裝置200係由切片標頭，取得參考圖片列表順序參數(S201)。又，圖像解碼裝置200係依照參考圖片列表順序參數，界定使用該切片之間預測之1個以上之參考圖片列表所含之多數參考圖片之順序。在此在某一參考圖片列表所含之特定位置之參考圖片係顯示共置參考圖片。
其次，圖像解碼裝置200係由切片標頭取得時間移動向量預測旗標(S202)。接著，圖像解碼裝置200係判斷顯示有使用或不使用時間移動向量預測(S203)。
在旗標顯示有使用時間移動向量預測時(在S204中，是)，圖像解碼裝置200係作成包括由共置參考圖片之移動向量所導出之至少一個時間移動向量之預測值之移動向量預測值之第1列表(S205)。接著，圖像解碼裝置200係由編碼位元流232取得第1參數(移動向量預測值選擇參數) (S206)。該第1參數係對切片所含之解碼對象樣本區塊，顯示由第1列表中所選擇之移動向量預測值。
另一方面，在旗標顯示有不使用時間移動向量預測時(在S204中，否)，圖像解碼裝置200係作成不含時間移動向量之預測值之移動向量預測值之第2列表(S207)。接著，圖像解碼裝置200係由編碼位元流232取得第2參數(移動向量預測值選擇參數)(S208)。在此，第2參數係對切片所含之解碼對象樣本區塊，顯示由第2列表中所選擇之移動向量之預測值。
在步驟S206或S208之後，圖像解碼裝置200係使用以第1參數或第2參數所示之移動向量之預測值進行移動補償間預測，而產生預測樣本區塊(預測圖像231)(S209)。其次，圖像解碼裝置200係由編碼位元流232，而將剩餘樣本區塊(剩餘訊號225)解碼(S210)。最後圖像解碼裝置200係將預測樣本區塊(預測圖像231)及剩餘樣本區塊(剩餘訊號225)相加，產生與解碼對象區塊對應之再構成樣本區塊(解碼圖像226)(S211)。
又，本實施形態之圖像解碼裝置200，如圖9所示，由編碼位元流232，取得顯示對第1圖片(起始圖片)不使用時間移動向量預測之第1時間移動向量預測旗標(S241)。具體來說，圖像解碼裝置200係由第1圖片所包含之全部的切片的標頭，取得顯示不使用時間移動向量預測之第1時間移動向量預測旗標。
其次，圖像解碼裝置200係不使用時間移動向量 預測而將第1圖片解碼(S242)。接著，圖像解碼裝置200係禁止參考解碼順序較第1圖片前面之圖片之移動向量，而將解碼順序較第1圖片後面之第2圖片解碼(S243)。此外，該等處理之詳細內容係對應於上述之圖片編碼裝置100之處理。
在此，上述步驟S241係藉圖片解碼裝置200所包含之取得部執行。又，上述步驟S242及S243係藉圖像解碼裝置200所包含之解碼部執行。例如，取得部係包括在圖7顯示之可變長度解碼部212。又，解碼部之主要的功能係藉圖7顯示之間預測部210實現。
[解碼發明之效果]
由上述說明，本實施形態之圖像解碼裝置200可將已提昇使用有時間移動向量預測值之間預測之抗錯穩建性、柔軟性及編碼效率且已編碼之編碼位元流解碼。
以上乃針對實施形態之圖像編碼裝置及圖像解碼裝置說明，但本發明並不限定於該實施形態。
又，上述實施形態之圖像編碼裝置及圖像解碼裝置所含之各處理部，典型上是作為積體電路之LSI來實現。該等可個別地單一晶片化，亦可含有局部或全部之狀態下單一晶片化。
又，積體電路化不限於LSI，亦可藉專用電路或萬用處理器來實現。亦可利用在經過LSI製造後可程式化之FPGA(Field Programmable Gate Array)、或者是將LSI內部之電路胞元之連接或設定可再構成之可重組態處理器。
在上述各實施形態中，各構成要素亦可以專用的 映體構成，或藉執行適用各構成要素之軟體程式而實現。各構成要素係使CPU或者是處理器等之程式執行部讀出記錄在硬碟或半導體記憶體等之記錄媒體之軟體程式而實行，藉此亦可實現。
進而，本發明可為上述軟體程式，亦可文記錄有上述程式之非暫時性的電腦可讀取記錄媒體。又，上述程式當然也是可經由網際網路等之傳送媒體而流通者。
又，上述中所使用之數字全部只是為了具體說明而舉例說明者，本發明並不是限定於上述舉例顯示之數字。
又，方塊圖中之功能方塊之分割方式只是一例，亦可將多數功能方塊當作為一個功能方塊實現，亦可將一個功能方塊分割成多數，或者是將局部的功能移到其他的功能方塊。又，具有類似的功能之多數功能方塊之功能可藉單一硬體或軟體並行或時間分割來處理。
又，執行上述之圖像編碼方法或圖像解碼方法所包含之步驟之順序係為具體說明本發明而舉例說明者，亦可為上述之外之順序。又，上述步驟之一部分亦可與其他步驟同時(並行)執行者。
以上，已根據實施形態，說明本發明一個或多個態樣之圖片編碼裝置及圖像解碼裝置，但本發明並不是限定於該實施形態者。只要不脫離本發明之旨趣，可使熟悉此項技術之人士可思及之各種變形實施在本實施形態，或者是將不同的實施形態中之構成要素組合而構建成之形態亦涵蓋在本發明一個或多個態樣之範圍內。
(實施形態2)
藉將用以實現上述各實施形態所示之動態圖像編碼方法(圖像編碼方法)或動態圖像解碼方法(圖像解碼方法)之構成之程式記錄在記憶媒體，能在獨立進行上述各實施形態所示之處理之電腦系統中簡單實施。記憶媒體只要是磁碟、光碟、光學磁碟、IC卡、半導體記憶體等可記錄程式者即可。
進而在此，說明在上述各實施形態所示之動態圖像編碼方法(圖像編碼方法)或動態圖像解碼方法(圖像解碼方法)之應用例及使用該應用例之系統。該系統係具有使用圖像編碼方法之圖像編碼裝置及使用圖像解碼方法之圖像解碼裝置所構成之圖像編碼解碼裝置為特徵所在。針對系統中之其他構成可因應情況而適當地變更。
圖10係顯示實現內容發送服務之內容供給系統ex100之整體構成圖。將通訊服務之提供領域分割成所期望之大小，在各胞元內各設置有為固定無線台之基地台ex106、ex107、ex108、ex109、ex110。
該內容供給系統ex100係於網際網路ex101，由網際網路服務提供者ex102及電話線路網ex104、及經由基地台ex106至ex110，而連接有電腦ex111、PDA(Personal Digital Assistant)ex112、相機ex113、行動電話機ex114、遊戲機ex115等各種機器。
惟，內容供給系統ex100不限定於如圖10之構成，亦可組合連接任一種要素構成者。又，亦可使各機器 直接連接於電話線路網ex104，而不經過固定無線台之基地台ex106至ex110連接。又，各機器亦可經由近距離無線等直接相互連接。
相機ex113係數位錄放影機等可進行動畫攝影之機器，相機ex116係數位相機等可進行靜態圖像攝影、動態圖攝影之機器。又，行動電話機ex114諸如為GSM(註冊商標)(Global System for Mobile Communications)方式、CDMA(Code Division Multiple Access)方式、W-CDMA(Wideband-Code Division Multiple Access)方式或者是LTE(Long Term Evolution)方式、HSPA(High Speed Packet Access)之行動電話機、或PHS(Personal Handyphone System)等，不管那一個都無妨。
在內容供給系統ex100上，相機ex113等透過基地台ex109、電話線路網ex104而連接於串流伺服器ex103，即可實現即時發送等等。在即時發送上，對於用戶利用相機ex113所攝影之內容(例如音樂演唱會之影像等)，如上述各實施形態中所說明的，進行編碼處理(即，作為本發明之圖像編碼裝置而發揮功能)，且傳送至串流伺服器ex103。另一方面，串流伺服器ex103係將對有要求之客戶而所傳送之內容資料進行串流發送。對於客戶來說，諸如有可將業經上述編碼處理之資料解碼之電腦ex111、PDAex112、相機ex113、行動電話機ex114、遊戲機ex115等。在接收有所發送之資料之各機器中，將所接收之資料進行解碼處理後予以再生(即，作為本發明之圖像解碼裝置而發揮功能者)。
此外，所攝影之資料之編碼處理可以相機ex113進行，亦可在進行資料之傳送處理之串流伺服器ex103進行，亦可相互分擔進行。同樣，對於所發送之資料之解碼處理可在客戶端進行，亦可在串流伺服器ex103進行，亦可相互分擔進行。又，不限於要使用相機ex113，亦可將以相機ex116所攝影之靜態圖像及/或動態圖像資料經由電腦ex111而傳送至串流伺服器ex103。此時之編碼處理可在相機ex116、電腦ex111、串流伺服器ex103任一者進行，亦可相互分擔進行。
又，其等編碼解碼處理一般是在電腦ex111或各機器所具有之LSIex500中進行處理。LSIex500可為單一晶片，亦可為由多數晶片所構成之構造。此外，亦可將動態圖像編碼解碼用之軟體內建於電腦ex111等可讀取之任一記錄媒體(CD-ROM、可撓性磁片、硬碟等)，且使用該軟體進行編碼解碼處理。進而，在行動電話機ex114為附有相機時，亦可傳送以該相機所取得之動態圖像資料者。此時之動態圖像資料係以行動電話機ex114所具有之LSIex500進行有編碼處理之資料。
又，串流伺服器ex103亦可為多數伺服器或多數電腦，且為將資料分散處理、記錄、發送者。
按如上執行，在內容供給系統ex100中，可讓客戶接收業已編碼之資料後進行再生。如此，在內容供給系統ex100中，客戶可實時接收用戶所傳送之資訊再予以解碼並再生，就算沒有特別的權利或設備之用戶，亦可實現個 人廣播。
又，不限於內容供給系統ex100之例，如圖11所示，在數位式廣播用系統ex200中亦可組裝上述各實施形態之至少動態圖像編碼裝置(圖像編碼裝置)或動態圖像解碼裝置(圖像解碼裝置)之任一者。具體來說，在廣播台ex201中，可透過電波而將在影像資料多工有音樂資料等之多工資料進行通訊或傳送至衛星ex202。該影像資料係指藉上述各實施形態所說明之動態圖像編碼方法所編碼之資料(即，藉本發明之圖像編碼裝置進行編碼之資料)。接收該資料之廣播衛星ex202係傳送廣播用之電波，讓可進行衛星廣播接收之家庭之天線ex204接收該電波。電視機(接收機)ex300或機上盒(STB)ex217等之裝置將所接收之多工資料解碼後再生(即，作為本發明之圖像解碼裝置而展現功能)。
又，讀取記錄在DVD、BD等之記錄媒體ex215之多工資料並予以解碼、或將影像訊號編碼至記錄媒體ex215，進而依情況而多工有音樂訊號而寫入之讀取器(reader)/記錄器(recorder)ex218，亦可安裝上述各實施形態所示之動態圖像解碼裝置或動態圖像編碼裝置。此時，所再生之影像訊號顯示在監視器ex219，藉記錄有多工資料之記錄媒體ex215可在其他裝置或系統將影像訊號再生。又，在連接於有線電視機用之電纜線ex203或衛星/地上波廣播之天線ex204之機上盒ex217內亦可安裝動態圖像解碼裝置，將此在電視機之監視器ex219顯示。此時，亦可不是在 機上盒，而是在電視機內安裝動態圖像解碼裝置。
圖12係顯示使用有上述各實施形態所說明之動態圖像解碼方法及動態圖像編碼方法之電視機(接收機)ex300之圖。電視機ex300包含有：調諧器ex301，係經由接收上述廣播之天線ex204或電纜線ex203等，而取得或輸出影像資料上多工有聲音資料之多工資料者；調變/解調部ex302，係將所接收之多工資料解調或將傳送至外部之多工資料調變者；及多工/分離部ex303，係將具有已解調之多工資料分離成影像資料與聲音資料，或將以訊號處理部ex306所編碼之影像資料、聲音資料進行多工處理者。
又，電視機ex300包含有：具有各將聲音資料、影像資料進行解碼或將各自的資訊進行編碼之聲音訊號處理部ex304、影像訊號處理部ex305(作為本發明之圖像編碼裝置或圖像解碼裝置而發揮功能)之訊號處理部ex306、及具有將業經解碼之聲音訊號輸出之揚聲器ex307、顯示已解碼之影像訊號之顯示器等之顯示部ex308之輸出部ex309。進而，電視機ex300具有介面部ex317，該介面部ex317具有受理用戶操作之操作輸入部ex312等。進而，電視機ex300包含有統籌地控制各部之控制部ex310、供電至各部之電源電路部ex311。介面部ex317，除了操作輸入部ex312外，還有與讀取器/記錄器ex218等之外部機器連接之橋接器ex313、可裝設SD卡等之記錄媒體ex216用之插槽部ex314、與硬碟等之外部記錄媒體連接用之驅動器ex315、及與電話線路網連接之數據機ex316等。此外，記錄媒體ex216是可 藉所儲存之非依電性(non-volatile)/依電性之半導體記憶體元件進行電性資訊記錄者。電視機ex300之各部係經由同步匯流排而相互連接。
首先，針對電視機ex300將藉天線ex204等而由外部取得之多工資料進行解碼並再生之構成予以說明。電視機ex300係接受來自遙控器ex220等之用戶操作，根據具有CPU等之控制部ex310之控制，在多工/分離部ex303將調變/解調部ex302所解調之多工資料分離。進而，電視機ex300係於聲音訊號處理部ex304將所分離之聲音資料解碼，且將所分離之影像資料在影像訊號處理部ex305使用在上述各實施形態所說明之解碼方法予以解碼。已解碼之聲音訊號、影像訊號各由輸出部ex309而向外部輸出。在輸出之時，為了使聲音訊號與影像訊號同步再生，只要先暫時將其等訊號儲存在緩衝器ex318、ex319等即可。又，電視機ex300，亦可不由廣播等，亦可由磁碟/光碟、SD卡等之記錄媒體ex215、ex216將多工資料讀出。其次，針對電視機ex300將聲音訊號或影像訊號進行編碼後傳送至外部或寫入至記錄媒體等之構成予以說明。電視機ex300係接受來自遙控器ex220等之用戶操作，根據控制部ex310之控制，在聲音訊號處理部ex304將聲音訊號進行編碼，在影像訊號處理部ex305，使用在上述各實施形態所說明之編碼方法而將影像訊號進行編碼。業經編碼之聲音訊號、影像訊號係於多工/分離部ex303多工，而輸出至外部。在多工之時，為了使聲音訊號與影像訊號同步，只要先暫時將其等訊號儲存 在緩衝器ex320、ex321等即可。此外，緩衝器ex318、ex319、ex320、ex321係如圖所示，可具有多數，亦可為共有一個以上之緩衝器之構成。進而，除圖示之外，例如調變/解調部ex302或多工/分離部ex303之間等亦可先將資料儲存在作為避免系統的溢位(overflow)、下溢(underflow)之緩衝件之緩衝器。
又，電視機ex300除了由廣播等或記錄媒體等取得聲音資料、影像資料外，亦可具有受理麥克風或相機之AV輸入之構成，對於由其等取得之資料進行編碼處理。此外，在此電視機ex300係以可進行上述之編碼處理、多工處理及外部輸出之構成進行說明，但亦可為不能進行其等處理而只做上述接收、解碼處理、外部輸出之構成。
又，在讀取器/記錄器ex218由記錄媒體讀出多工資料或將多工資料寫入記錄媒體時，上述解碼處理或編碼處理亦可由電視機ex300、讀取器/記錄器ex218之任一者進行，亦可使電視機ex300與讀取器/記錄器ex218相互分擔進行。
以一例而言，將由光碟進行資料之讀入或寫入時之資訊再生/記錄部ex400之構成顯示在圖13。資訊再生/記錄部ex400包含有以下所說明之要素ex401、ex402、ex403、ex404、ex405、ex406、及ex407。光學磁頭ex401係於作為光碟之記錄媒體ex215之記錄面照射雷射光點寫入資訊，檢測來自記錄媒體ex215之記錄面之反射光來讀入資訊。調變記錄部ex402係電驅動內建在光學磁頭ex401之半導體雷 射，因應記錄資料進行雷射光之調變。再生解調部ex403係將內建在光學磁頭ex401之光學探測器電檢測來自記錄面之反射光之再生訊號放大，將記錄媒體ex215所記錄之訊號成分分離且解調，將所需的資訊再生。緩衝器ex404係將由用以記錄在記錄媒體ex215之資訊及記錄媒體ex215再生之資訊暫時固持。光碟馬達ex405係將記錄媒體ex215旋轉。伺服器控制部ex406係控制光碟馬達ex405之旋轉驅動，且將光學磁頭ex401移動在預定之資訊軌道，進行雷射光點之追蹤處理。系統控制部ex407係進行資訊再生/記錄部ex400整體之控制。上述之讀出或寫入之處理係使系統控制部ex407利用緩衝器ex404所固持之各種資訊，又因應必要進行新的資訊的產生及追加，並一邊使調變記錄部ex402、再生解調部ex403、伺服器控制部ex406協調作動，一邊透過光學磁頭ex401，進行資訊之記錄再生而予以實現。系統控制部ex407係以例如微處理部構成，執行讀出寫入之程式，而執行其等之處理。
在以上的說明中，光學磁頭ex401係以照射雷射光點之構成來進行說明，亦可為利用接近場光而進行更高密度之記錄之構成。
圖14係顯示成為光碟之記錄媒體ex215之模式圖。記錄媒體ex215之記錄面形成螺旋狀的導槽(溝槽groove)，在資訊軌道ex230上事先記錄有溝槽的形狀變化而顯示光碟上的絕對位置之地點資訊。該地點資訊含有用以界定記錄區塊ex231之位置之資訊，該記錄區塊ex231係記 錄資料之單位，在進行記錄或再生之裝置中將資訊軌道ex230再生，讀取地點資訊，以界定記錄區塊。又，記錄媒體ex215係含有資料記錄區ex233、內周區ex232及外周區ex234。為記錄用戶資料所用之區域為資料記錄區ex233，配置在較資料記錄區ex233之內周或外周之內周區ex232及外周區ex234係用於用戶資料之記錄以外之特定用途。資訊再生/記錄部ex400係對於如此記錄媒體ex215之資料記錄區ex233，進行將業已編碼之聲音資料、影像資料或其等資料多工之多工資料之讀寫。
在以上說明中，是以一層的DVD、BD等之光碟為例進行說明，但不限於其等，亦可為多層構造且在表面以外亦可記錄之光碟。又，亦可為在光碟之相同地方利用各種不同波長之顏色之光記錄資訊，或由各種角度記錄不同資訊之層等進行多次元之記錄/再生之構造之光碟。
又，亦可在數位廣播用系統ex200中，在具有天線ex205之車ex210由衛星ex202等接收資料，在車ex210所具有之導航系統ex211等之顯示裝置將動態圖像再生。此外，導航系統ex211之構成可考慮如圖12所示之構成中加上GPS接收部之構成，同樣的事情亦可考慮在電腦ex111或行動電話機ex114等實現。
圖15A係顯示使用上述實施形態所說明之動態圖像解碼方法及動態圖像編碼方法之行動電話機ex114之圖。行動電話機ex114包含有用以於基地台ex110之間接送電波之天線ex350、可攝影影像、靜態影像之相機部ex365、 及顯示使以相機部ex365所攝影之影像、天線ex350所接收之影像解碼之資料之液晶顯示器等之顯示部ex358。行動電話機ex114更包含有具有操作鍵部ex366之本體部、諸如用以輸出聲音之麥克風等之聲音輸入部ex356、及將所攝影之影像、靜態圖像、所錄音之聲音或所接收之影像、靜態圖像、郵件等之業已編碼之資料或者是業已解碼之資料保存之記憶體部ex367、以及在與同樣作為保存資料之記錄媒體之間之介面部之插槽(slot)部ex364。
進而，針對行動電話機ex114之構成例，使用圖15B予以說明。行動電話機ex114係相對於統籌地控制具有顯示部ex358及操作鍵部ex366之本體部之各部之主控制部ex360，經由匯流排ex370而使電源電路部ex361、操作輸入控制部ex362、影像訊號處理部ex355、相機介面部ex363、液晶顯示器(LCD,Liquid Crystal Display)控制部ex359、調變/解調部ex352、多工/分離部ex353、聲音訊號處理部ex354、插槽部ex364、記憶體部ex367相互連接。
電源電路部ex361係一藉用戶之操作而處於結束通話及電源鍵處於開啟狀態時，由電池組對著各部供電，將行動電話機ex114起動為可作動之狀態。
行動電話機ex114係根據具有CPU、ROM、RAM等之主控制部ex360之控制，在聲音通話模式時，以聲音訊號處理部ex354而將以聲音輸入部ex356收音之聲音訊號轉換成數位聲音訊號，以調變/解調部ex352對此進行頻譜擴散處理，以傳送/接收部ex351施行數位類比轉換處理及頻率變 換處理之後，經由天線ex350而傳送之。又，行動電話機ex114係於聲音通話模式時，將經由天線ex350所接收之接收資料放大，施行頻率變換處理及類比數位轉換處理，以調變/解調部ex352進行頻譜反擴散處理，以聲音訊號處理部ex354轉換成類比聲音訊號之後，且由聲音輸出部ex357予以輸出。
進而，在於資料通訊模式時傳送電子郵件時，藉本體部之操作鍵部ex366等之操作所輸入之電子郵件之正文資料係經由操作輸入控制部ex362而送出至主控制部ex360。主控制部ex360係以調變/解調部ex352而將正文資料進行頻譜擴散處理，以傳送/接收部ex351施行數位類比轉換處理及頻率變換處理之後，經由天線ex350而傳送至基地台ex110。在接收電子郵件時，對於所接收之資料進行與前述處理幾乎相反之處理，輸出至顯示部ex358。
在於資料通訊模式時傳送影像、靜態圖像或影像與聲音時，影像訊號處理部ex355係將由相機部ex365所供給之影像訊號，藉以上述各實施形態所示之動態圖像編碼方法進行壓縮編碼(即，當作本發明之圖像編碼裝置發揮功能)，而將業經編碼之影像資料送出至多工/分離部ex353。又，聲音訊號處理部ex354係在以相機部ex365將影像、靜態圖像等攝影之中將聲音輸入部ex356所收音之聲音訊號進行編碼，將所編碼之聲音資料送出至多工/分離部ex353。
多工/分離部ex353係以預定方式將由影像訊號處理部ex355所供給且業已編碼之影像資料及由聲音訊號 處理部ex354所供給且業已編碼之聲音資料進行多工處理，將其結果所得到之多工資料在調變/解調部(調變/解調電路部)ex352進行頻譜擴散處理，在於傳送/接收部ex351施行數位類比轉換處理及頻率變換處理之後，經由天線ex350而傳送者。
為了在資料通訊模式時在接收連到網頁等之動態圖像檔案之資料時、或在接收附有影像或聲音之電子郵件時，將經由天線ex350而所接收之多工資料進行解碼，多工/分離部ex353將多工資料分離，分成影像資料之位元流與聲音資料之位元流，經由同步匯流排ex370而將所編碼之影像資料供給至影像訊號處理部ex355，並將所編碼之聲音資料供給至聲音訊號處理部ex354。影像訊號處理部ex355係藉由與上述各實施形態所示之動態圖像編碼方法對應之動態圖像解碼方法進行解碼，將影像訊號進行解碼(即，作為本發明之圖像解碼裝置發揮功能)，經由LCD控制部ex359，由顯示部ex358顯示例如連到網路之動態圖像檔所含之影像、靜態圖像。又，聲音訊號處理部ex354係將聲音訊號進行解碼，且由聲音輸出部ex357輸出聲音。
又，上述行動電話機ex114等之終端機係與電視機ex300同樣，可考慮到除了具有編碼器及解碼器兩者之收發型終端機之外，另包括只有編碼器之傳送終端機、只有解碼器之接收終端機等三種安裝方式。進而，在數位廣播用系統ex200中，是說明接收、傳送在影像資料多工有音樂資料等之多工資料，但除了聲音資料外，亦可為有與影像 有關連之文字資料等多工之資料，亦可為影像資料本身而非多工資料。
如此，可將上述各實施形態所示之動態圖像編碼方法或動態圖像解碼方法運用在上述之任一種機器或系統，藉此，可得到在上述各實施形態所說明之效果。
又，本發明不限於上述實施形態者，可在不脫離本發明範圍下可做各種變形或修正。
(實施形態3)
亦可因應情況適當地切換上述各實施形態所示之動態圖像編碼方法或裝置、與依據MPEG-2、MPEG4-AVC、VC-1等相異之規格之動態圖像編碼方法或裝置，產生影像資料。
在此，在產生有依據各為不同之規格之多數影像資料時，在解碼時，必須選擇與各規格對應之解碼方法。惟，由於不能識別欲解碼之影像資料是依據哪一規格，因此衍生有不能選擇適當的解碼方法之課題。
為了解決該課題，將聲音資料等多工至影像資料之多工資料係構建為含有顯示影像資料是依據哪一規格者之識別資訊之構成。如下說明含有藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生之影像資料之多工資料之具體構成。多工資料為MPEG-2傳輸流形式之數位流。
圖16係顯示多工資料之構成圖。如圖16所示，多工資料係將視訊流、聲訊流、表達圖形流(PG)、交互圖形流(IG)之中將一個以上多工而所得到者。視訊流表示電影之主影像及副影像、聲訊流表示電影之主聲音部分及與該主 聲音混合之副聲音部分，表達圖形流表示電影之字幕。在此，主影像係指顯示在畫面之通常影像，副影像係指以小畫面顯示在主影像中之影像者。又，交互圖形流係指於畫面上配置GUI零件所作成之對話畫面。視訊流係指藉以上述各實施形態所示之動態圖像編碼方法或裝置、依據習知之MPEG-2、MPEG4-AVC、VC-1等規格之動態圖像編碼方法或裝置所編碼者。聲訊流係以杜比AC-3、Dolby Digital Plus、MLP、DTS、DTS-HD或、線性PCM等方式所編碼者。
多工資料所含之各串流係藉PID所識別。例如在於電影之影像所利用之視訊流分配有0×1011，聲訊流分配有0×1100至0×111F，表達圖形流分配有0×1200至0×121F，交互圖形流分配有0×1400至0×141F，在於電影之副影像所利用之視訊流分配有0×1B00至0×1B1F，與主聲音混合之副聲音所利用之聲訊流分配有0×1A00至0×1A1F。
圖17係模式地顯示多工資料是如何被多工之圖。首先，將由多數視訊框所構成之視訊流ex235、由多數聲訊框所構成之聲訊流ex238各變換成PES封包列ex236及ex239、TS封包ex237及ex240。同樣將表達圖形流ex241及交互圖形流ex244之資料各變換成PES封包列ex242及ex245，進行變換成TS封包ex243及ex246。多工資料ex247係將其等TS封包多工成一條串流來構成者。
圖18係進一步詳細顯示在PES封包列中如何儲存視訊流。圖18中之第1段係顯示視訊流之視訊框列。第2段係顯示PES封包列。如圖18之箭頭符號yy1、yy2、yy3、 yy4所示，視訊流中之多數視訊表達單元(Video Presentation Unit)之I圖片、B圖片、P圖片係按每一圖片分割，且儲存在PES封包之酬載。各PES封包係具有PES標頭，PES標頭儲存有成為圖片之顯示時刻之表達時間戳記(PTS,Presentation Time-Stamp)或圖片之解碼時刻之解碼時間戳記(DTS,Decoding Time-Stamp)。
圖19係顯示最後寫入於多工資料之TS封包之形式。TS封包係188位元組(Byte)固定長度之封包，由具有識別串流之PID等之資訊之4位元組之TS標頭及儲存資料之184位元組之TS酬載所構成，上述PES封包被分割而儲存在TS酬載。在BD-ROM時，TS封包被附與有4位元組之TP額外標頭(TP_Extra_Header)，構成192位元組之原始封包，寫入至多工資料。TP額外標頭(TP_Extra_Header)記載有ATS(到達時間戳記，Arrival_Time_Stamp)等之資訊。ATS係顯示該TS封包轉送記錄器之PID濾波器之轉送開始時間。多工資料中，如圖19下段所示，構成有原始封包排列者，由多工資料之前頭開始增加之號碼被稱為原始封包號碼(SPN；source packet number)。
又，多工資料所含之TS封包，除了影像、聲音、字幕等之各串流外，更有PAT(Program Association Table)、PMT(Program Map Table)、PCR(Program Clock Reference)等。PAT表示多工資料中所利用之PMT之PID為何者，PAT本身之PID係登錄為0。PMT係具有多工資料中所含之影像、聲音、字幕等之各串流之PID及與各PID對應之串流之 屬性資訊，又具有與多工資料有關之各種描述符。描述符具有指示允許及不允許多工資料之複製之複製控制資訊等。PCR係為了取得作為ATS之時軸之到達時間時鐘(ATC,Arrival Time Clock)與成為PTS．DTS之時軸之系統時間時鐘(STC,System Time Clock)之同步，而具有與該PCR封包轉送至解碼器之ATS對應之STC時間之資訊。
圖20係詳細說明PMT之資料構造之圖。PMT之前頭係配置有記有該PMT所含之資料之長度等之PMT標頭。在其之後方配置有多數與多工資料有關之描述符。上述複製控制資訊等記載為描述符。描述符之後配置有多數與多工資料所含之各串流有關之串流資訊。串流資訊係為識別串流之壓縮編碼解碼器等，而由記載有串流型式、串流之PID、串流之屬性資訊(框速率、長寬比等)之串流描述符所構成。串流描述符存在有於多工資料所存在之串流數這樣多。
在記錄在記錄媒體等的時候，上述多工資料係與多工資料資訊檔一起記錄。
多工資料資訊檔(剪輯資訊檔)，如圖21所示，為多工資料之管理資訊，與多工資料呈一對一之對應關係，由多工資料資訊、串流屬性資訊及登錄圖(entry map)所構成者。
多工資料資訊，如圖21所示，由系統速率、再生開始時刻、再生結束時刻所構成者。系統速率表示多工資料轉送至後述的系統指標解碼器之PID濾波器之最大轉送 速率。多工資料中所含之ATS之間隔係設定為系統速率以下。再生開始時刻係多工資料之前頭之視訊框之PTS，再生結束時刻係於於多工資料之末端之視訊框之PTS加上一框量之再生間隔者。
串流屬性資訊，如圖22所示，針對多工資料所含之各串流之屬性資訊係登錄於每PID。屬性資訊具有視訊流、聲訊流、表達圖形流、交互圖形流各為不同之資訊。視訊流屬性資訊具有該視訊流是以何種壓縮編碼解碼器所壓縮、構成視訊流之每個圖片資料之影像解析度有多少、長寬比有多少、框速率有多少等之資訊。聲訊流屬性資訊具有該聲訊流是以哪種壓縮編碼解碼器所壓縮、該聲訊流所含之頻道數是什麼、對應哪一語言、抽樣頻率有多少等之資訊。其等資訊是利用在於播放器再生前之解碼器之初始化等。
在本實施形態中，利用上述多工資料中PMT所含之串流型式。又，記錄媒體記錄有多工資料時，利用包含在多工資料資訊之視訊流屬性資訊。具體來說，在於上述各實施形態所示之動態圖像編碼方法或裝置中，設置設定固有資訊之步驟或手法，固有資訊係相對於PMT所含之串流型式或視訊流屬性資訊，顯示藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生之影像資料者。藉該構成，可識別藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生之影像資料與依據其他規格之影像資料。
又，將本實施形態中之動態圖像解碼方法之步驟 顯示在圖23。在步驟exS100中，由多工資料取得PMT所含之串流型式或多工資料資訊所含之視訊流屬性資訊。其次，在步驟exS101中，判斷串流型式或視訊流屬性資訊是否顯示為藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生之多工資料。接著，在串流型式或視訊流屬性資料被判斷為藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生者之時，在步驟exS102中，藉上述各實施形態所示之動態圖像解碼方法進行解碼。又，在串流型式或視訊流屬性資訊被判斷為依據習知之MPEG-2、MPEG4-AVC、VC-1等規格者之時，在步驟exS103中，藉依據習知規格之動態圖像解碼方法進行解碼。
如此，藉於串流型式或視訊流屬性資訊設定新的固有值，在解碼時，能判斷是否可以上述各實施形態所示之動態圖像解碼方法或裝置解碼者。因此，即使在輸入有依據不同規格之多工資料時，亦可選擇適當的解碼方法或裝置，因此可在不產生錯誤之狀態下進行解碼。又，亦可將本實施形態所示之動態圖像編碼方法或裝置或者是動態圖像解碼方法或裝置運用在上述任一機器及系統。
(實施形態4)
上述各實施形態所示之動態圖像編碼方法及裝置、動態圖像解碼方法及裝置典型上可以積體電路之LSI實現。以一例來說，在圖24顯示構成為單一晶片之LSIex500之構成。LSIex500包含有以下說明之要素ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各要素係經 由匯流排ex510而連接者。電源電路部ex505係於電源為開啟狀態時，對於各部供電，而在可作動之狀態下起動。
例如在進行編碼處理時，LSIex500係根據具有CPU ex502、記憶體控制器ex503、串流控制器ex504、驅動頻率控制部ex512等之控制部ex501之控制，藉AV I/Oex509而由麥克風ex117或相機ex113等輸入AV訊號。所輸入之AV訊號係暫時儲存在SDRAM等之外部記憶體ex511。根據控制部ex501之控制，所儲存之資料因應處理量或處理速度而進行適當地分成多次等之處理，傳送至訊號處理部ex507，且在訊號處理部ex507中進行聲音訊號之編碼及/或影像訊號之編碼。在此，影像訊號之編碼處理係上述各實施形態所說明之編碼處理。訊號處理部ex507中，更依情況之不同對所編碼之聲音資料及所編碼之影像資料進行多工等之處理，由串流I/O ex506輸出至外部。該所輸出之多工資料係朝基地台ex107傳送，或寫入記錄媒體ex215。在多工之時，為了要同步，可將資料暫時儲存在緩衝器ex508即可。
此外，在上述中說明記憶體ex511為LSIex500之外部構成，亦可為包含在LSIex500之內部之構成。緩衝器ex508亦不限於1個，亦可具備多數緩衝器。又，LSIex500亦可單一晶片構成，亦可多晶片構成。
又，在上述中，控制部ex501係具有CPUex502、記憶體控制器ex503、串流控制器ex504、驅動頻率控制部ex512等，但控制部ex501之構成不限於該構成。例如，訊號處理部ex507亦可為具有CPU之構成。在訊號處理部 ex507之內部亦設有CPU，可將處理速度進一步提昇。又，對於另一例，CPUex502亦可為具有訊號處理部ex507或訊號處理部ex507之局部例如聲音訊號處理部之構成。在如此情況下，控制部ex501係具備訊號處理部ex507或具有該一部分之CPU ex502之構成者。
另外，在此，是以LSI予以表現，但依積體度的不同，也有被稱為IC(積體電路：Integrated Circuit)、系統LSI、超級(Super)LSI、超(Ultra)LSI。
又，積體電路化的手法不僅限於LSI者，亦可以專用電路或萬用處理器予以實現。又，亦可利用能在製造LSI後再程式化之現場可程式化邏輯閘陣列(FPGA：Field Programmable Gate Array)、能將LSI內部之電路胞元(cell)之連接或設定再構成之重組態處理器(ReConfigurable Processor)。
進而，透過半導體技術的進步或衍生之其他技術，如有可替補LSI之積體電路技術問世時，當然亦可使用該技術將功能方塊積體化。對於可能性而言生物科學技術亦有可能適用等。
(實施形態5)
在將藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生之影像資料解碼時能考慮到的是，與將依據習知之MPEG-2、MPEG4-AVC、VC-1等規格之影像資料進行解碼之情況相比，更造成處理量增加者。為此，在LSIex500中，有必要設定在比將依據習知規格之影像資料解碼時之 CPUex502之驅動頻率更高之驅動頻率。惟，一提高驅動頻率時，則衍生有消費電力變高之課題。
為解決該課題，電視機ex300、LSIex500等之動態圖像解碼裝置係識別影像資料是依據哪一規格者，因應規格來切換驅動頻率之構成。圖25係顯示本實施形態中之構成ex800。驅動頻率切換部ex803係於影像資料為藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生者時，將驅動頻率提高設定。接著，對執行以上述各實施形態所示之動態圖像解碼方法之解碼處理部ex801，指示要將影像資料解碼者。另一方面，在影像資料為依據習知規格之影像資料時，與影像資料為藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生者時相比，要將驅動頻率降低設定。接著，對依據習知規格之解碼處理部ex802，指示要將影像資料進行解碼。
更具體來說，驅動頻率切換部ex803係由圖24之CPUex502與驅動頻率控制部ex512所構成者。又，執行以上述各實施形態所示之動態圖像解碼方法之解碼處理部ex801及依據習知規格之解碼處理部ex802係相當於圖24之訊號處理部ex507。CPUex502係識別影像資料依據哪一規格者。接著，根據來自CPUex502之訊號，驅動頻率控制部ex512係設定驅動頻率。又，根據來自CPUex502之訊號，訊號處理部ex507係進行影像資料之解碼。在此，在影像資料之識別上，考慮到例如利用實施形態3所記載之識別資訊者。有關於識別資訊，不限於實施形態3所記載者，只要能 識別影像資料是依據哪一規格之資訊即可。例如，在根據識別影像資料是被利用在電視機者、或被利用在磁碟者等之外部訊號，能識別影像資料是依據哪一規格時，亦可根據如此之外部訊號予以識別。又，在CPUex502中之驅動頻率之選擇，能考慮到例如根據如圖27所示之影像資料之規格與驅動頻率對應之查找表。將查找表先儲放在緩衝器ex508或LSI之內部記憶體，CPUex502參照該查找表，即可選擇驅動頻率。
圖26係顯示實施本實施形態之方法之步驟。首先在步驟exS200中，於訊號處理部ex507中由多工資料取得識別資訊。其次，在步驟exS201中，於CPUex502中，根據識別資訊，識別影像資料是否為藉以上述各實施形態所示之編碼方法或裝置所產生者。在影像資料為藉以上述各實施形態所示之編碼方法或裝置所產生時，在步驟exS202中，CPUex502係將驅動頻率提高設定之訊號送至驅動頻率控制部ex512。接著，在驅動頻率控制部ex512中，設定在高驅動頻率。另一方面，在顯示為依據習知之MPEG-2、MPEG4-AVC、VC-1等規格之影像資料時，在步驟exS203中，CPUex502係將驅動頻率降低設定之訊號送至驅動頻率控制部ex512。接著，在驅動頻率控制部ex512中，與影像資料是藉以上述各實施形態所示之編碼方法或裝置所產生之形態相比，設定在低驅動頻率。
進而，連動於驅動頻率之切換，變更供給至LSIex500或含有LSIex500之裝置之電壓，就能更提高省電 效果。例如在將驅動頻率降低設定時，隨此，與將驅動頻率提高設定之情況相比，可考慮將供應至LSIex500或含有LSIex500之裝置之電壓降低設定者。
又，驅動頻率之設定方法只要在解碼時之處理量大時，將驅動頻率提高設定，而在解碼時之處理量小時，將驅動頻率降低設定即可，但不限於上述之設定方法。例如將依據MPEG4-AVC規格之影像資料解碼之處理量係於大於藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生之影像資料解碼之處理量時，可考慮將驅動頻率之設定作成與上述情況相反者。
進而，驅動頻率之設定方法不限於降低驅動頻率之構成。例如，在識別資訊顯示藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生之影像資訊時，將供給至LSIex500或含有LSIex500之裝置之電壓提高設定，在顯示為依據習知之MPEG-2、MPEG4-AVC、VC-1等規格之影像資料時，亦可降低設定提供至LSIex500或含有LSIex500之裝置之電壓。又，以另一例而言，在識別資訊顯示為藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生之影像資料時，無須將CPUex502之驅動停止，在顯示為依據習知之MPEG-2、MPEG4-AVC、VC-1等規格之影像資料時，在處理上有餘裕，因此亦可將CPUex502之驅動暫時停止者。在識別資訊顯示為藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生之影像資料時，如果處理上有餘裕時，亦可考慮將CPUex502之驅動暫時停止者。即使在 識別資訊顯示為藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生之影像資訊時，處理上有餘裕時，亦可考慮將CPUex502之驅動暫時停止者。此時，與顯示為依據習知MPEG-2、MPEG4-AVC、VC-1等規格之影像資料之情況相比，可考慮將停止時間縮短設定。
如此，因應影像資料所依據之規格而切換驅動頻率，就可謀求省電之實現。又，在使用電池而將LSIex500或含有LSIex500之裝置驅動時，就能隨著省電而延長電池的壽命。
(實施形態6)
在電視機或行動電話機等上述機器暨系統上有依據不同規格之多數影像資料輸入之情況。如此，為於有依據不同規格之多數影像資料輸入之情況亦能進行解碼時，乃有必要使LSIex500之訊號處理部ex507能對應於多數規格。惟，一個別使用與各規格對應之訊號處理部ex507，就衍生有LSIex500之電路規模變大，又，成本增加之課題。
為解決該課題，構建成將用以執行以上述各實施形態所示之動態圖像解碼方法用之解碼處理部與依據習知之MPEG-2、MPEG4-AVC、VC-1等規格之解碼處理部局部共有之構成。將該構成例顯示在圖28A之ex900。例如在上述各實施形態所示之動態圖像解碼方法與依據MPEG4-AVC規格之動態圖像解碼方法係於熵編碼、反量化、解塊濾波器、移動補償等之處理中，處理內容有局部共通者。針對共通之處理內容考慮共有與MPEG4-AVC規格對應之 解碼處理部ex902，針對不對應MPEG4-AVC規格之本發明特有之其他處理內容則使用專用之解碼處理部ex901之構成。尤其能考慮到本發明係於間預測上具有特徵，例如針對間預測，使用專用之解碼處理部ex901，而對於除此以外之熵解碼、反量化、解塊濾波器、移動補償任一者或全部的處理，共有解碼處理部者。有關於解碼處理部之共有，亦可針對共通之處理內容，共有用以執行上述各實施形態所示之動態圖像解碼方法之解碼處理部，而對於MPEG4-AVC規格特有之處理內容，則使用專用之解碼處理部之構成。
又，將處理局部共有之另一例顯示在圖28B之ex1000。在該例中，使用與本發明特有之處理內容對應之專用之解碼處理部ex1001、與另一習知規格特有之處理內容對應之專用的解碼處理部ex1002、及與本發明動態圖像解碼方法和另一習知規格之動態圖像解碼方法共通之處理內容對應之共用的解碼處理部ex1003之構成。在此，專用的解碼處理部ex1001、ex1002未必為對本發明或其他習知規格特有之處理內容所特地準備的，亦可為執行其他萬用處理。又，本實施形態之構成亦可以LSIex500安裝者。
如此，針對本發明一態樣之動態圖像解碼方法與習知規格之動態圖像解碼方法上共通之處理內容共有解碼處理部，便能將LSI之電路規模縮小、降低成本。
產業利用性
本發明係適用於圖像編碼方法、圖像解碼方法、 圖像編碼裝置及圖像解碼裝置，本發明能利用諸如電視機、數位攝影機、車用導航系統、行動電話機、數位相機、及數位攝影相機等之資訊顯示機器及攝影機器。
S141~S144‧‧‧步驟

Claims (13)

  1. 一種圖像編碼方法，包含有：選擇步驟，係由多數圖片選擇第1圖片；第1設定步驟，係將已關聯於前述第1圖片之第1時間移動向量預測旗標設定為不使用時間移動向量預測，且將該第1時間移動向量預測旗標編碼，該第1時間移動向量預測旗標為顯示是否使用時間移動向量預測之時間移動向量預測旗標；第1編碼步驟，係不使用時間移動向量預測，而將前述第1圖片編碼；及第2編碼步驟，係禁止參考編碼順序較前述第1圖片前面之圖片之移動向量，而將編碼順序較前述第1圖片後面之第2圖片編碼。
  2. 如申請專利範圍第1項之圖像編碼方法，其中多數圖片係設定有時間等級，前述選擇步驟係於前述多數圖片中選擇具有最大的前述時間等級之圖片，作為前述第1圖片。
  3. 如申請專利範圍第1或2項之圖像編碼方法，其中前述第2編碼步驟含有：判斷步驟，係判斷前述第2圖片是否具有編碼順序較前述第1圖片前面之共置參考圖片；第2設定步驟，係於前述第2圖片具有編碼順序較前述第1圖片前面之共置參考圖片時， (1)將第2時間移動向量預測旗標設定為不使用前述時間移動向量預測，該第2時間移動向量預測旗標係已關聯於前述第2圖片之前述時間移動向量預測旗標；(2)將該第2時間移動向量預測旗標編碼；(3)不使用時間移動向量預測，而將該第2圖片編碼；及第3設定步驟，係於前述第2圖片不具編碼順序較前述第1圖片前面之共置參考圖片時，(1)將前述第2時間移動向量預測旗標設定為不使用前述時間移動向量預測，或者是使用前述時間移動向量預測；(2)將該第2時間移動向量預測旗標編碼；(3)使用或不使用時間移動向量預測，而將該第2圖片編碼。
  4. 如申請專利範圍第1或2項之圖像編碼方法，其中前述第2編碼步驟含有：第1判斷步驟，係判斷前述第2圖片之顯示順序是否為較前述第1圖片前面；及第2判斷步驟，係判斷前述第2圖片是否具有編碼順序或顯示順序較前述第1圖片前面之共置參考圖片；第2設定步驟，係於前述第2圖片之顯示順序較前述第1圖片後面，且前述第2圖片具有編碼順序或顯示順序較前述第1圖片前面之共置參考圖片時，(1)將第2時間移動向量預測旗標設定為不使用前述 時間移動向量預測，該第2時間移動向量預測旗標為已關聯於前述第2圖片之前述時間移動向量預測旗標；(2)將該第2時間移動向量預測旗標編碼；(3)不使用時間移動向量預測而將該第2圖片編碼；及第3設定步驟，係於(1)前述第2圖片之顯示順序較前述第1圖片前面時，或者是(2)前述第2圖片之顯示順序較前述第1圖片後面，且前述第2圖片不具編碼順序或顯示順序較前述第1圖片前面之共置參考圖片時，(1)將第2時間移動向量預測旗標設定為不使用前述時間移動向量預測，該第2時間移動向量預測旗標為已關聯於前述第2圖片之前述時間移動向量預測旗標；(2)將該第2時間移動向量預測旗標編碼；(3)不使用時間移動向量預測而將該第2圖片編碼。
  5. 如申請專利範圍第1或2項之圖像編碼方法，其中前述第1設定步驟，將顯示不使用時間移動向量預測之前述第1時間移動向量預測旗標寫入前述第1圖片所包括之全部的切片之標頭。
  6. 如申請專利範圍第1或2項之圖像編碼方法，其中前述圖像編碼方法更含有：第1列表產生步驟，係於前述時間移動向量預測旗標顯示使用時間移動向量預測時，作成顯示含有由共置參考圖片之移動向量所導出之時間移動向量之預測值之多數移動向量之預測值之第1列表；及 第2列表產生步驟，係於以前述時間移動向量預測旗標顯示不使用時間移動向量預測時，作成顯示不含前述時間移動向量之預測值之多數移動向量之預測值之第2列表。
  7. 一種圖像解碼方法，包含有：取得步驟，係由編碼位元流取得顯示對第1圖片不使用時間移動向量預測之第1時間移動向量預測旗標，該第1時間移動向量預測旗標為顯示是否使用時間移動向量預測之時間移動向量預測旗標；第1解碼步驟，係不使用時間移動向量預測，而將前述第1圖片解碼；及第2解碼步驟，係禁止參考解碼順序較前述第1圖片前面之圖片之移動向量，而將解碼順序較前述第1圖片後面之第2圖片解碼。
  8. 如申請專利範圍第7項之圖像解碼方法，其中多數圖片設定有時間等級，前述第1圖片係前述多數圖片之中具有最大的前述時間等級之圖片。
  9. 如申請專利範圍第7或8項之圖像解碼方法，其中前述取得步驟，由前述第1圖片所含之全部的切片之標頭，取得顯示不使用時間移動向量預測之前述第1時間移動向量預測旗標。
  10. 如申請專利範圍第7或8項之圖像解碼方法，其中前述圖像解碼方法進而含有： 第1列表產生步驟，係於以前述時間移動向量預測旗標顯示使用時間移動向量預測時，作成顯示含有由共置參考圖片所導出之移動向量之預測值之多數移動向量之預測值之第1列表；及第2列表產生步驟，係於以前述時間移動向量預測旗標顯示不使用時間移動向量預測時，作成不含前述時間移動向量之預測值之多數移動向量之預測值之第2列表。
  11. 一種圖像編碼裝置，包含有：設定部，係由複數圖片選擇第1圖片，且將已關聯於前述第1圖片之第1時間移動向量預測旗標設定為不使用時間移動向量預測，前述第1時間移動向量預測旗標為顯示是否使用時間移動向量預測；及編碼部，係將前述第1時間移動向量預測旗標編碼，且不使用時間移動向量預測而將前述第1圖片編碼，並禁止參考編碼順序較前述第1圖片前面之圖片之移動向量，而將編碼順序較前述第1圖片後面之第2圖片編碼。
  12. 一種圖像解碼裝置，包含有：取得部，係由編碼位元流取得顯示在第1圖片不使用時間移動向量預測之第1時間移動向量預測旗標，前述第1時間移動向量預測旗標為顯示是否使用時間移動向量預測；及解碼部，係不使用時間移動向量預測而將前述第1圖片解碼，且禁止參考解碼順序較前述第1圖片前面之 圖片之移動向量，而將解碼順序較前述第1圖片後面之第2圖片解碼。
  13. 一種圖像編碼解碼裝置，其特徵在於包含有：如申請專利範圍第11圖項之圖像編碼裝置；及如申請專利範圍第12項之圖像解碼裝置。
TW102103739A 2012-02-03 2013-01-31 An image coding method, an image decoding method, an image coding apparatus, an image decoding apparatus, and an image coding / decoding apparatus TWI559752B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US201261594718P 2012-02-03 2012-02-03

Publications (2)

Publication Number Publication Date
TW201342927A true TW201342927A (zh) 2013-10-16
TWI559752B TWI559752B (zh) 2016-11-21

Family

ID=48904907

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102103739A TWI559752B (zh) 2012-02-03 2013-01-31 An image coding method, an image decoding method, an image coding apparatus, an image decoding apparatus, and an image coding / decoding apparatus

Country Status (12)

Country Link
US (10) US9648323B2 (zh)
EP (2) EP2811743B1 (zh)
JP (2) JP5341284B1 (zh)
KR (1) KR101996682B1 (zh)
CN (3) CN107483959B (zh)
CA (1) CA2827194C (zh)
ES (1) ES2865101T3 (zh)
MX (1) MX2013008942A (zh)
PL (1) PL2811743T3 (zh)
RU (1) RU2616555C2 (zh)
TW (1) TWI559752B (zh)
WO (1) WO2013114860A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013154673A1 (en) * 2012-04-11 2013-10-17 Motorola Mobility Llc Signaling of temporal motion vector predictor (mvp) flag for temporal prediction
MX354306B (es) * 2012-04-15 2018-02-23 Samsung Electronics Co Ltd Metodo y aparato para determinar imagenes de referencia para inter-prediccion.
US9313495B2 (en) 2012-05-14 2016-04-12 Luca Rossato Encoding and decoding based on blending of sequences of samples along time
SG10201710075SA (en) 2012-05-14 2018-01-30 Luca Rossato Decomposition of residual data during signal encoding, decoding and reconstruction in a tiered hierarchy
US9319681B2 (en) * 2012-07-18 2016-04-19 Google Technology Holdings LLC Signaling of temporal motion vector predictor (MVP) enable flag
KR20140121315A (ko) * 2013-04-04 2014-10-15 한국전자통신연구원 참조 픽처 리스트를 이용한 다 계층 기반의 영상 부호화/복호화 방법 및 그 장치
JP2015185897A (ja) * 2014-03-20 2015-10-22 パナソニックＩｐマネジメント株式会社 画像符号化方法及び画像符号化装置
US10212445B2 (en) * 2014-10-09 2019-02-19 Qualcomm Incorporated Intra block copy prediction restrictions for parallel processing
KR102576630B1 (ko) * 2015-12-10 2023-09-08 삼성전자주식회사 디코더의 동작 방법, 및 상기 디코더를 포함하는 어플리케이션 프로세서의 동작 방법
US11431986B2 (en) 2018-12-28 2022-08-30 Godo Kaisha Ip Bridge 1 Picture coding device, picture coding method, and picture coding program, picture decoding device, picture decoding method and picture decoding program
CN114979638A (zh) 2018-12-29 2022-08-30 华为技术有限公司 编码器，解码器和使用压缩mv存储的对应方法
CN111681199B (zh) * 2019-02-25 2023-11-03 北京地平线机器人技术研发有限公司 检测图像有效性的方法及装置
US11601666B2 (en) * 2019-06-25 2023-03-07 Qualcomm Incorporated Derivation of temporal motion vector prediction candidates in video coding
JP2021044708A (ja) * 2019-09-11 2021-03-18 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム

Family Cites Families (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3628810B2 (ja) * 1996-06-28 2005-03-16 三菱電機株式会社 画像符号化装置
FR2824988B1 (fr) * 2001-05-21 2003-08-01 Thomson Licensing Sa Procede et dispositif de codage video utilisant la norme mpeg4
EP1351510A4 (en) * 2001-09-14 2008-12-10 Ntt Docomo Inc ENCODING METHOD, DECODING METHOD, ENCODING APPARATUS, DECODING APPARATUS, IMAGE PROCESSING SYSTEM, ENCODING PROGRAM, AND DECODING PROGRAM
BR0206308B1 (pt) 2001-11-06 2018-01-09 Matsushita Electric Ind Co Ltd "método de codificação para codificar uma imagem"
KR101011849B1 (ko) 2002-04-19 2011-01-31 파나소닉 주식회사 움직임 벡터 계산방법
KR101068707B1 (ko) * 2002-04-19 2011-09-28 파나소닉 주식회사 움직임 벡터 계산방법
EP1418762A1 (en) * 2002-05-22 2004-05-12 Matsushita Electric Industrial Co., Ltd. Moving image encoding method, moving image decoding method, and data recording medium
US20040001546A1 (en) 2002-06-03 2004-01-01 Alexandros Tourapis Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
EP1383339A1 (en) 2002-07-15 2004-01-21 Matsushita Electric Industrial Co., Ltd. Memory management method for video sequence motion estimation and compensation
KR100865034B1 (ko) 2002-07-18 2008-10-23 엘지전자 주식회사 모션 벡터 예측 방법
EP1562385B1 (en) * 2002-11-01 2014-07-02 Panasonic Corporation Motion picture encoding method and motion picture decoding method
EP1593270A1 (en) * 2003-02-04 2005-11-09 Koninklijke Philips Electronics N.V. Predictive encoding of motion vectors including a flag notifying the presence of coded residual motion vector data
JP3879741B2 (ja) * 2004-02-25 2007-02-14 ソニー株式会社 画像情報符号化装置および画像情報符号化方法
JP4608953B2 (ja) 2004-06-07 2011-01-12 ソニー株式会社 データ記録装置、方法およびプログラム、データ再生装置、方法およびプログラム、ならびに、記録媒体
EP1610560A1 (en) * 2004-06-24 2005-12-28 Deutsche Thomson-Brandt Gmbh Method and apparatus for generating and for decoding coded picture data
JP2006174415A (ja) * 2004-11-19 2006-06-29 Ntt Docomo Inc 画像復号装置、画像復号プログラム、画像復号方法、画像符号化装置、画像符号化プログラム及び画像符号化方法
CN101156451A (zh) 2005-04-12 2008-04-02 皇家飞利浦电子股份有限公司 使用基于区域的多次通过运动估计和时间运动矢量候选更新的视频处理
KR100746007B1 (ko) 2005-04-19 2007-08-06 삼성전자주식회사 엔트로피 코딩의 컨텍스트 모델을 적응적으로 선택하는방법 및 비디오 디코더
KR100763181B1 (ko) * 2005-04-19 2007-10-05 삼성전자주식회사 기초계층과 향상계층의 데이터를 바탕으로 예측 정보를코딩하여 코딩율을 향상시키는 방법 및 장치
RU2368095C1 (ru) * 2005-07-22 2009-09-20 Мицубиси Электрик Корпорейшн Кодер изображения и декодер изображения, способ кодирования изображения и способ декодирования изображения, программа кодирования изображения и программа декодирования изображения и компьютерно-считываемый носитель записи, на котором записана программа кодирования изображения, и компьютерно-считываемый носитель записи, на котором записана программа декодирования изображения
US20080165849A1 (en) 2005-07-22 2008-07-10 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US8509551B2 (en) 2005-07-22 2013-08-13 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recording with image encoding program and computer readable recording medium recorded with image decoding program
US20080130989A1 (en) 2005-07-22 2008-06-05 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20080130990A1 (en) 2005-07-22 2008-06-05 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20090034857A1 (en) 2005-07-22 2009-02-05 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20080130988A1 (en) 2005-07-22 2008-06-05 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20080123947A1 (en) 2005-07-22 2008-05-29 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, image decoding method, image encoding program, image decoding program, computer readable recording medium having image encoding program recorded therein
US20080123977A1 (en) 2005-07-22 2008-05-29 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20090123066A1 (en) 2005-07-22 2009-05-14 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, image decoding method, image encoding program, image decoding program, computer readable recording medium having image encoding program recorded therein,
CN101815224A (zh) 2005-07-22 2010-08-25 三菱电机株式会社 图像编码装置和方法、以及图像解码装置和方法
US20080137744A1 (en) 2005-07-22 2008-06-12 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US8488889B2 (en) 2005-07-22 2013-07-16 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
EP1972144B1 (en) 2006-01-09 2017-03-29 Thomson Licensing Method and apparatus for providing reduced resolution update mode for multi-view video coding
ZA200805337B (en) 2006-01-09 2009-11-25 Thomson Licensing Method and apparatus for providing reduced resolution update mode for multiview video coding
AU2007205227B2 (en) 2006-01-09 2012-02-16 Dolby International Ab Method and apparatus for providing reduced resolution update mode for multi-view video coding
WO2007081838A1 (en) 2006-01-09 2007-07-19 Thomson Licensing Method and apparatus for providing reduced resolution update mode for multi-view video coding
US20070177671A1 (en) 2006-01-12 2007-08-02 Lg Electronics Inc. Processing multiview video
JP5192393B2 (ja) 2006-01-12 2013-05-08 エルジー エレクトロニクス インコーポレイティド 多視点ビデオの処理
KR101276847B1 (ko) 2006-01-12 2013-06-18 엘지전자 주식회사 다시점 비디오의 처리
FR2897213A1 (fr) 2006-02-08 2007-08-10 Thomson Licensing Sas Procede de codage par blocs d'images d'une sequence d'images video
US8494046B2 (en) 2007-03-23 2013-07-23 Lg Electronics Inc. Method and an apparatus for decoding/encoding a video signal by performing illumination compensation
EP2137972A2 (en) 2007-04-24 2009-12-30 Nokia Corporation System and method for implementing fast tune-in with intra-coded redundant pictures
US8625672B2 (en) 2008-01-07 2014-01-07 Thomson Licensing Methods and apparatus for video encoding and decoding using parametric filtering
KR101445791B1 (ko) * 2008-05-10 2014-10-02 삼성전자주식회사 움직임 벡터 변환을 이용한 비월 주사 영상 부호화/복호화방법 및 장치
WO2010086500A1 (en) 2009-01-28 2010-08-05 Nokia Corporation Method and apparatus for video coding and decoding
WO2010109904A1 (ja) * 2009-03-26 2010-09-30 パナソニック株式会社 符号化方法、エラー検出方法、復号方法、符号化装置、エラー検出装置及び復号装置
CN101557461B (zh) * 2009-05-08 2011-05-11 凌阳科技股份有限公司 运动估测中时间关联向量的处理装置及方法
JP5209572B2 (ja) * 2009-06-29 2013-06-12 三菱電機株式会社 画像符号化装置及び画像復号装置
KR20110017302A (ko) * 2009-08-13 2011-02-21 삼성전자주식회사 움직임 벡터의 정확도 조절을 이용한 영상 부호화, 복호화 방법 및 장치
KR101377530B1 (ko) * 2009-08-21 2014-03-27 에스케이텔레콤 주식회사 적응적 움직임 벡터 해상도를 이용한 영상 부호화/복호화 방법 및 장치
JPWO2011046008A1 (ja) 2009-10-16 2013-03-04 シャープ株式会社 動画像符号化装置、および、動画像復号装置
EP2355510A1 (en) * 2009-12-21 2011-08-10 Alcatel Lucent Method and arrangement for video coding
EP2355511A1 (en) * 2009-12-21 2011-08-10 Alcatel Lucent Method and arrangement for jointly encoding a plurality of video streams
KR101522850B1 (ko) 2010-01-14 2015-05-26 삼성전자주식회사 움직임 벡터를 부호화, 복호화하는 방법 및 장치
US20110176611A1 (en) 2010-01-15 2011-07-21 Yu-Wen Huang Methods for decoder-side motion vector derivation
JP4746702B1 (ja) 2010-03-16 2011-08-10 シャープ株式会社 多視点画像符号化装置
US8971400B2 (en) 2010-04-14 2015-03-03 Mediatek Inc. Method for performing hybrid multihypothesis prediction during video coding of a coding unit, and associated apparatus
US8837592B2 (en) 2010-04-14 2014-09-16 Mediatek Inc. Method for performing local motion vector derivation during video coding of a coding unit, and associated apparatus
US9118929B2 (en) 2010-04-14 2015-08-25 Mediatek Inc. Method for performing hybrid multihypothesis prediction during video coding of a coding unit, and associated apparatus
US9124898B2 (en) 2010-07-12 2015-09-01 Mediatek Inc. Method and apparatus of temporal motion vector prediction
KR101554792B1 (ko) 2010-09-30 2015-09-21 미쓰비시덴키 가부시키가이샤 동화상 복호 장치 및 동화상 복호 방법
US8824558B2 (en) 2010-11-23 2014-09-02 Mediatek Inc. Method and apparatus of spatial motion vector prediction
CN107071459B (zh) * 2010-12-14 2020-01-03 M&K控股株式会社 用于编码运动画面的设备
PL2675167T3 (pl) * 2011-02-10 2018-11-30 Sun Patent Trust Sposób kodowania ruchomych obrazów, urządzenie do kodowania ruchomych obrazów, sposób dekodowania ruchomych obrazów, urządzenie do dekodowania ruchomych obrazów oraz urządzenie do kodowania i dekodowania ruchomych obrazów
WO2012117728A1 (ja) * 2011-03-03 2012-09-07 パナソニック株式会社 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、及び動画像符号化復号装置
US8848804B2 (en) * 2011-03-04 2014-09-30 Vixs Systems, Inc Video decoder with slice dependency decoding and methods for use therewith
US20120287999A1 (en) * 2011-05-11 2012-11-15 Microsoft Corporation Syntax element prediction in error correction
TW201304552A (zh) * 2011-05-31 2013-01-16 Panasonic Corp 動態圖像編碼方法、動態圖像編碼裝置、動態圖像解碼方法、動態圖像解碼裝置、及動態圖像編碼解碼裝置
JP5958165B2 (ja) * 2011-08-12 2016-07-27 株式会社Ｊｖｃケンウッド 画像復号装置、画像復号方法、画像復号プログラム、受信装置、受信方法及び受信プログラム
JP5768662B2 (ja) 2011-10-31 2015-08-26 富士通株式会社 動画像復号装置、動画像符号化装置、動画像復号方法、動画像符号化方法、動画像復号プログラム及び動画像符号化プログラム
JP5821542B2 (ja) * 2011-11-07 2015-11-24 富士通株式会社 動画像符号化装置、および動画像復号装置
US9549177B2 (en) * 2012-04-11 2017-01-17 Google Technology Holdings LLC Evaluation of signaling of collocated reference picture for temporal prediction
WO2013154673A1 (en) 2012-04-11 2013-10-17 Motorola Mobility Llc Signaling of temporal motion vector predictor (mvp) flag for temporal prediction

Also Published As

Publication number Publication date
US20190268615A1 (en) 2019-08-29
US20130336403A1 (en) 2013-12-19
CN107483959B (zh) 2019-12-20
US20240022755A1 (en) 2024-01-18
EP2811743B1 (en) 2021-03-03
EP2811743A1 (en) 2014-12-10
JP5341284B1 (ja) 2013-11-13
CN103563373B (zh) 2017-09-26
EP2811743A4 (en) 2016-06-01
US20200204818A1 (en) 2020-06-25
KR20140127138A (ko) 2014-11-03
RU2616555C2 (ru) 2017-04-17
US20170201768A1 (en) 2017-07-13
US9883201B2 (en) 2018-01-30
CN107396101A (zh) 2017-11-24
CN107483959A (zh) 2017-12-15
CA2827194C (en) 2018-01-16
WO2013114860A1 (ja) 2013-08-08
CN103563373A (zh) 2014-02-05
US9648323B2 (en) 2017-05-09
KR101996682B1 (ko) 2019-07-04
RU2013137410A (ru) 2016-03-27
JP2013225896A (ja) 2013-10-31
JP6090625B2 (ja) 2017-03-08
CA2827194A1 (en) 2013-08-08
EP3829177A1 (en) 2021-06-02
US20180103266A1 (en) 2018-04-12
US10034015B2 (en) 2018-07-24
US10623762B2 (en) 2020-04-14
PL2811743T3 (pl) 2021-09-13
TWI559752B (zh) 2016-11-21
JPWO2013114860A1 (ja) 2015-05-11
US10904554B2 (en) 2021-01-26
US10334268B2 (en) 2019-06-25
US11451815B2 (en) 2022-09-20
US20140016702A1 (en) 2014-01-16
US20180302639A1 (en) 2018-10-18
US20210105498A1 (en) 2021-04-08
US11812048B2 (en) 2023-11-07
ES2865101T3 (es) 2021-10-15
MX2013008942A (es) 2013-09-12
US9609320B2 (en) 2017-03-28
CN107396101B (zh) 2019-12-20
US20220360809A1 (en) 2022-11-10

Similar Documents

Publication Publication Date Title
JP6008263B2 (ja) 再生方法及び再生装置
TWI559752B (zh) An image coding method, an image decoding method, an image coding apparatus, an image decoding apparatus, and an image coding / decoding apparatus
TWI556631B (zh) An image coding method, an image decoding method, an image coding apparatus, and an image decoding apparatus
TWI554085B (zh) Dynamic image coding method
TWI547148B (zh) A moving picture coding method, a moving picture coding apparatus, a moving picture decoding method, a moving picture decoding apparatus, and a moving picture coding / decoding apparatus
TWI580257B (zh) A moving picture coding method, a moving picture coding apparatus, a moving picture decoding method, a moving picture decoding apparatus
TWI538486B (zh) A moving picture coding method, a moving picture decoding method, a moving picture coding apparatus, a moving picture decoding apparatus, and a motion picture coding / decoding apparatus
WO2012090491A1 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、および、画像符号化復号装置
JP6213753B2 (ja) 符号化復号装置
WO2013035313A1 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置及び画像符号化復号装置
TW201340718A (zh) 圖像編碼方法、圖像編碼裝置、圖像解碼方法、圖像解碼裝置、及圖像編碼解碼裝置
TW201311007A (zh) 圖像編碼方法、圖像編碼裝置、圖像解碼方法、圖像解碼裝置及圖像編解碼裝置
TW201404175A (zh) 動態圖像編碼方法、動態圖像解碼方法、動態圖像編碼裝置、動態圖像解碼裝置、及動態圖像編碼解碼裝置
AU2011306322B2 (en) Image coding method, image decoding method, image coding apparatus, and image decoding apparatus
JP7073553B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置
WO2015177966A1 (ja) 画像符号化方法及び画像符号化装置
WO2012090495A1 (ja) 画像符号化方法および画像復号方法
WO2013046616A1 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法