[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2016187208A - 画像処理装置および方法、記録媒体、並びに、プログラム - Google Patents

画像処理装置および方法、記録媒体、並びに、プログラム Download PDF

Info

Publication number
JP2016187208A
JP2016187208A JP2016119878A JP2016119878A JP2016187208A JP 2016187208 A JP2016187208 A JP 2016187208A JP 2016119878 A JP2016119878 A JP 2016119878A JP 2016119878 A JP2016119878 A JP 2016119878A JP 2016187208 A JP2016187208 A JP 2016187208A
Authority
JP
Japan
Prior art keywords
vector
prediction
unit
image
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016119878A
Other languages
English (en)
Other versions
JP6238090B2 (ja
Inventor
良知 高橋
Yoshitomo Takahashi
良知 高橋
しのぶ 服部
Shinobu Hattori
しのぶ 服部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JP2016187208A publication Critical patent/JP2016187208A/ja
Application granted granted Critical
Publication of JP6238090B2 publication Critical patent/JP6238090B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

【課題】符号化効率の低減を抑制することができるようにする。【解決手段】本開示の画像処理装置は、視差方向の相関性を利用した予測に用いられるカレントブロックのカレント視差ベクトルを符号化する際に、前記カレント視差ベクトルの予測ベクトルを、予測動きベクトルを生成する際に参照するリファレンス視差ベクトルを用いて生成する予測ベクトル生成部と、前記カレント視差ベクトルと、前記予測ベクトル生成部により生成された前記予測ベクトルとの差分ベクトルを生成する差分ベクトル生成部とを備える。本開示は画像処理装置に適用することができる。【選択図】図１２

Description

本開示は、画像処理装置および方法、記録媒体、並びに、プログラムに関し、特に、符号化効率を向上させることができるようにした画像処理装置および方法、記録媒体、並びに、プログラムに関する。
近年、画像情報をデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するMPEG（Moving Picture Experts Group）などの方式に準拠した装置が、放送局などの情報配信、及び一般家庭における情報受信の双方において普及した。
特に、MPEG2（ISO（International Organization for Standardization）/IEC（International Electrotechnical Commission） 13818-2）は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準で、プロフェッショナル用途及びコンシューマ用途の広範なアプリケーションに現在広く用いられている。MPEG2圧縮方式を用いることにより、例えば７２０×４８０画素を持つ標準解像度の飛び越し走査画像であれば４〜８Ｍｂｐｓ、１９２０×１０８８画素を持つ高解像度の飛び越し走査画像であれば１８〜２２Ｍｂｐｓの符号量（ビットレート）を割り当てることで、高い圧縮率と良好な画質の実現が可能である。
MPEG2は主として放送用に適合する高画質符号化を対象としていたが、MPEG1より低い符号量（ビットレート）、つまりより高い圧縮率の符号化方式には対応していなかった。携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してMPEG4符号化方式の標準化が行われた。画像符号化方式に関しては、１９９８年１２月にISO/IEC 14496-2としてその規格が国際標準に承認された。
更に、近年、当初テレビ会議用の画像符号化を目的として、H.26L （ITU-T（International Telecommunication Union Telecommunication Standardization Sector） Q6/16 VCEG（Video Coding Expert Group））という標準の規格化が進んでいる。H.26LはMPEG2やMPEG4といった従来の符号化方式に比べ、その符号化、復号化により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。また、MPEG4の活動の一環として、このH.26Lをベースに、H.26Lではサポートされない機能をも取り入れ、より高い符号化効率を実現する標準化がJoint Model of Enhanced-Compression Video Codingとして行われた。
標準化のスケジュールとしては、２００３年３月にはH.264及びMPEG-4 Part10 （Advanced Video Coding、以下AVCと記す）という名の元に国際標準となった。
しかしながら、マクロブロックサイズを１６画素×１６画素とするのは、次世代符号化方式の対象となるような、UHD（Ultra High Definition；4000画素×2000画素）といった大きな画枠に対しては、最適ではない恐れがあった。
そこで、AVCより更なる符号化効率の向上を目的として、ITU-Tと、ISO/IECの共同の標準化団体であるJCTVC（Joint Collaboration Team - Video Coding）により、HEVC（High Efficiency Video Coding）と呼ばれる符号化方式の標準化が進められている（例えば、非特許文献１参照）。
このHEVC符号化方式においては、AVCにおけるマクロブロックと同様の処理単位としてコーディングユニット（CU（Coding Unit））が定義されている。このCUは、AVCのマクロブロックのようにサイズが16×16画素に固定されず、それぞれのシーケンスにおいて、画像圧縮情報中において指定される。
ところで、AVCにおいて定義されているメジアン予測を用いた動きベクトルの符号化を改善するため、"Spatial Predictor"だけでなく、"Temporal Predictor"及び"Spatio-Temporal Predictor"も予測動きベクトルの候補にすることができるようにする方法が考えられた（例えば、非特許文献２参照）。
また、動き情報の符号化方式の１つとして、Merge_FlagとMerge_Left_Flagが伝送される、Motion Partition Mergingと呼ばれる手法が提案されている（例えば、非特許文献３参照）。
Thomas Wiegand, Woo-Jin Han, Benjamin Bross, Jens-Rainer Ohm, Gary J. Sullivan, "Working Draft 1 of High-Efficiency Video Coding ", JCTVC-C403, Joint Collaborative Team on Video Coding (JCT-VC)of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG113rd Meeting: Guangzhou, CN, 7-15 October, 2010 Joel Jung,Guillaume Laroche,"Competition-Based Scheme for Motion Vector Selection and Coding", VCEG-AC06,ITU - Telecommunications Standardization SectorSTUDY GROUP 16 Question 6Video Coding Experts Group (VCEG)29th Meeting: Klagenfurt, Austria, 17-18 July, 2006 Martin Winken, Sebastian Bosse, Benjamin Bross, Philipp Helle, Tobias Hinz, Heiner Kirchhoffer, Haricharan Lakshman, Detlev Marpe, Simon Oudin, Matthias Preiss, Heiko Schwarz, Mischa Siekmann, Karsten Suehring, and Thomas Wiegand，"Description of video coding technology proposed by Fraunhofer HHI"，JCTVC-A116,April,2010
しかしながら、同一視点内における処理しか示されておらず、多視点符号化の場合に、視点間を跨るベクトルの予測ができず、符号化効率が低減する恐れがあった。
本開示は、このような状況に鑑みてなされたものであり、符号化効率の低減を抑制することを目的とする。
本開示の一側面は、カレントブロックの符号化ベクトル及びカレントピクチャと異なる時間のピクチャのコロケーテッドブロックのコロケーテッドベクトルの一方が前記カレントピクチャと同一ビューで異なる時間のピクチャを参照する動きベクトルであり、他方がビュー方向の相関を利用した視差ベクトルである場合に、前記コロケーテッドベクトルを、前記符号化ベクトルに対する予測ベクトルの候補から除外する予測ベクトル候補設定部と、前記予測ベクトル候補設定部により前記コロケーテッドベクトルが除外された予測ベクトルの候補から、前記符号化ベクトルに対する予測ベクトルを設定する予測ベクトル設定部と、前記予測ベクトル設定部により設定された予測ベクトルと前記符号化ベクトルとの差分である差分ベクトルを符号化する符号化部とを備える画像処理装置である。
前記予測ベクトル候補設定部は、前記符号化ベクトル及び前記コロケーテッドベクトルの一方を、短時間参照画像を参照するベクトルとして設定し、他方を、長時間参照画像を参照するベクトルとして設定する場合に、前記コロケーテッドベクトルを、前記予測ベクトルの候補から除外することができる。
前記予測ベクトル候補設定部は、ピクチャの出力順を示すPOC(Picture Order Count)を用いて、前記符号化ベクトル及び前記コロケーテッドベクトルの一方を、短時間参照画像を参照するベクトルとして設定し、他方を、長時間参照画像を参照するベクトルとして設定することができる。
前記予測ベクトル候補設定部は、前記符号化ベクトルが前記動きベクトルであり、かつ、前記コロケーテッドベクトルが前記視差ベクトルである場合に、前記コロケーテッドベクトルである前記視差ベクトルを、前記予測ベクトルの候補から除外することができる。
前記予測ベクトル候補設定部は、前記符号化ベクトルである前記動きベクトルを、短時間参照画像を参照するベクトルとして設定し、前記コロケーテッドベクトルである前記視差ベクトルを、長時間参照画像を参照するベクトルとして設定する場合に、前記コロケーテッドベクトルである前記視差ベクトルを、前記予測ベクトルの候補から除外することができる。
前記予測ベクトル候補設定部は、ピクチャの出力順を示すPOC(Picture Order Count)を用いて、前記符号化ベクトルである前記動きベクトルを、短時間参照画像を参照するベクトルとして設定し、前記コロケーテッドベクトルである前記視差ベクトルを、長時間参照画像を参照するベクトルとして設定することができる。
前記予測ベクトル候補設定部は、前記符号化ベクトルが前記視差ベクトルであり、かつ、前記コロケーテッドベクトルが前記動きベクトルである場合に、前記コロケーテッドベクトルである前記動きベクトルを、前記予測ベクトルの候補から除外することができる。
前記予測ベクトル候補設定部は、前記符号化ベクトルである前記視差ベクトルを、長時間参照画像を参照するベクトルとして設定し、前記コロケーテッドベクトルである前記動きベクトルを、短時間参照画像を参照するベクトルとして設定する場合に、前記コロケーテッドベクトルである前記動きベクトルを、前記予測ベクトルの候補から除外することができる。
前記予測ベクトル候補設定部は、ピクチャの出力順を示すPOC(Picture Order Count)を用いて、前記符号化ベクトルである前記視差ベクトルを、長時間参照画像を参照するベクトルとして設定し、前記コロケーテッドベクトルである前記動きベクトルを、短時間参照画像を参照するベクトルとして設定することができる。
前記符号化部は、符号化した差分ベクトルを含むビットストリームを生成することができる。
前記符号化部は、最大符号化単位を再帰的に分割した符号化単位で、画像を符号化して前記ビットストリームを生成することができる。
前記最大符号化単位は、シーケンス単位で固定サイズのブロックであり、前記符号化単位は、可変サイズのブロックであるようにすることができる。
本開示の一側面は、また、カレントブロックの符号化ベクトル及びカレントピクチャと異なる時間のピクチャのコロケーテッドブロックのコロケーテッドベクトルの一方が前記カレントピクチャと同一ビューで異なる時間のピクチャを参照する動きベクトルであり、他方がビュー方向の相関を利用した視差ベクトルである場合に、前記コロケーテッドベクトルを、前記符号化ベクトルに対する予測ベクトルの候補から除外し、前記コロケーテッドベクトルが除外された予測ベクトルの候補から、前記符号化ベクトルに対する予測ベクトルを設定し、設定された予測ベクトルと前記符号化ベクトルとの差分である差分ベクトルを符号化する画像処理方法である。
前記符号化ベクトル及び前記コロケーテッドベクトルの一方を、短時間参照画像を参照するベクトルとして設定し、他方を、長時間参照画像を参照するベクトルとして設定する場合に、前記コロケーテッドベクトルを、前記予測ベクトルの候補から除外することができる。
ピクチャの出力順を示すPOC(Picture Order Count)を用いて、前記符号化ベクトル及び前記コロケーテッドベクトルの一方を、短時間参照画像を参照するベクトルとして設定し、他方を、長時間参照画像を参照するベクトルとして設定することができる。
前記符号化ベクトルが前記動きベクトルであり、かつ、前記コロケーテッドベクトルが前記視差ベクトルである場合に、前記コロケーテッドベクトルである前記視差ベクトルを、前記予測ベクトルの候補から除外することができる。
前記符号化ベクトルである前記動きベクトルを、短時間参照画像を参照するベクトルとして設定し、前記コロケーテッドベクトルである前記視差ベクトルを、長時間参照画像を参照するベクトルとして設定する場合に、前記コロケーテッドベクトルである前記視差ベクトルを、前記予測ベクトルの候補から除外することができる。
ピクチャの出力順を示すPOC(Picture Order Count)を用いて、前記符号化ベクトルである前記動きベクトルを、短時間参照画像を参照するベクトルとして設定し、前記コロケーテッドベクトルである前記視差ベクトルを、長時間参照画像を参照するベクトルとして設定することができる。
前記符号化ベクトルが前記視差ベクトルであり、かつ、前記コロケーテッドベクトルが前記動きベクトルである場合に、前記コロケーテッドベクトルである前記動きベクトルを、前記予測ベクトルの候補から除外することができる。
前記符号化ベクトルである前記視差ベクトルを、長時間参照画像を参照するベクトルとして設定し、前記コロケーテッドベクトルである前記動きベクトルを、短時間参照画像を参照するベクトルとして設定する場合に、前記コロケーテッドベクトルである前記動きベクトルを、前記予測ベクトルの候補から除外することができる。
ピクチャの出力順を示すPOC(Picture Order Count)を用いて、前記符号化ベクトルである前記視差ベクトルを、長時間参照画像を参照するベクトルとして設定し、前記コロケーテッドベクトルである前記動きベクトルを、短時間参照画像を参照するベクトルとして設定することができる。
符号化した差分ベクトルを含むビットストリームを生成することができる。
最大符号化単位を再帰的に分割した符号化単位で、画像を符号化して前記ビットストリームを生成することができる。
前記最大符号化単位は、シーケンス単位で固定サイズのブロックであり、前記符号化単位は、可変サイズのブロックであるようにすることができる。
本開示の一側面は、さらに、コンピュータを、カレントブロックの符号化ベクトル及びカレントピクチャと異なる時間のピクチャのコロケーテッドブロックのコロケーテッドベクトルの一方が前記カレントピクチャと同一ビューで異なる時間のピクチャを参照する動きベクトルであり、他方がビュー方向の相関を利用した視差ベクトルである場合に、前記コロケーテッドベクトルを、前記符号化ベクトルに対する予測ベクトルの候補から除外する予測ベクトル候補設定部と、前記予測ベクトル候補設定部により前記コロケーテッドベクトルが除外された予測ベクトルの候補から、前記符号化ベクトルに対する予測ベクトルを設定する予測ベクトル設定部と、前記予測ベクトル設定部により設定された予測ベクトルと前記符号化ベクトルとの差分である差分ベクトルを符号化する符号化部として機能させるプログラムを記録したコンピュータが読み取り可能な記録媒体である。
本開示の一側面は、さらに、コンピュータを、カレントブロックの符号化ベクトル及びカレントピクチャと異なる時間のピクチャのコロケーテッドブロックのコロケーテッドベクトルの一方が前記カレントピクチャと同一ビューで異なる時間のピクチャを参照する動きベクトルであり、他方がビュー方向の相関を利用した視差ベクトルである場合に、前記コロケーテッドベクトルを、前記符号化ベクトルに対する予測ベクトルの候補から除外する予測ベクトル候補設定部と、前記予測ベクトル候補設定部により前記コロケーテッドベクトルが除外された予測ベクトルの候補から、前記符号化ベクトルに対する予測ベクトルを設定する予測ベクトル設定部と、前記予測ベクトル設定部により設定された予測ベクトルと前記符号化ベクトルとの差分である差分ベクトルを符号化する符号化部として機能させるプログラムである。
本開示の一側面においては、カレントブロックの符号化ベクトル及びカレントピクチャと異なる時間のピクチャのコロケーテッドブロックのコロケーテッドベクトルの一方がそのカレントピクチャと同一ビューで異なる時間のピクチャを参照する動きベクトルであり、他方がビュー方向の相関を利用した視差ベクトルである場合に、そのコロケーテッドベクトルが、その符号化ベクトルに対する予測ベクトルの候補から除外され、そのコロケーテッドベクトルが除外された予測ベクトルの候補から、その符号化ベクトルに対する予測ベクトルが設定され、設定された予測ベクトルとその符号化ベクトルとの差分である差分ベクトルが符号化される。
本開示によれば、画像を処理することができる。特に、符号化効率の低減を抑制することができる。
予測ユニットの種類の例を説明する図である。 マージモードの時間相関領域において、参照画像インデックス決定で使用する周辺領域の例を説明する図である。 マージモードの時間相関領域における参照画像インデックスの決定条件の例を示す図である。 時間相関領域の決定方法の例を説明する図である。 時間相関領域を含む画像の決定方法の例を説明する図である。 カレント領域と時間相関領域の位置関係の例を説明する図である。 時間相関領域の動きベクトルのスケーリングの例を示す図である。 ３視点画像の参照関係の例を示す図である。 カレント領域に対して視差ベクトルを予測する場合の参照画像を割り当ての例を説明する図である。 カレント領域に対して、動きベクトルを予測する場合の参照画像を割り当ての例を説明する図である。 画像符号化装置の主な構成例を示すブロック図である。 動き視差予測・補償部の主な構成例を示すブロック図である。 時間視差相関予測ベクトル生成部の主な構成例を示すブロック図である。 方式選択の例を説明する図である。 コロケーテッドベクトルのアベイラビリティを判定する様子を説明する図である。 コロケーテッドベクトルがアベイラブルな場合の例を説明する図である。 シーケンスパラメータセットのシンタックスの例を示す図である。 スライスヘッダのシンタックスの例を示す図である。 予測ユニットのシンタックスの例を示す図である。 符号化処理の流れの例を説明するフローチャートである。 インター動き予測処理の流れの例を説明するフローチャートである。 マージモード処理の流れの例を説明するフローチャートである。 視差動きベクトル予測処理の流れの例を説明するフローチャートである。 時間視差相関予測処理の流れの例を説明するフローチャートである。 時間視差相関予測処理の流れの例を説明する、図２２に続くフローチャートである。 時間視差相関予測処理の流れの例を説明する、図２３に続くフローチャートである。 時間視差相関予測処理の流れの例を説明する、図２４に続くフローチャートである。 方式１処理の流れの例を説明するフローチャートである。 方式３処理の流れの例を説明するフローチャートである。 方式４−２処理の流れの例を説明するフローチャートである。 画像復号装置の主な構成例を示すブロック図である。 動き視差補償部の主な構成例を示すブロック図である。 復号処理の流れの例を説明するフローチャートである。 予測処理の流れの例を説明するフローチャートである。 動き視差補償処理の流れの例を説明するフローチャートである。 動き視差ベクトル生成処理の流れの例を説明するフローチャートである。 画像符号化装置の他の構成例を示すブロック図である。 動き予測・補償部の主な構成例を示すブロック図である。 ベクトル予測部の主な構成例を示すブロック図である。 異なるピクチャからの予測ベクトル生成部の主な構成例を示すブロック図である。 動き予測・補償処理の流れの例を説明するフローチャートである。 ベクトル予測処理の流れの例を説明するフローチャートである。 予測ベクトル生成処理の流れの例を説明するフローチャートである。 異なるピクチャからの予測ベクトル生成処理の流れの例を説明するフローチャートである。 シフト量決定処理の流れの例を説明するフローチャートである。 カレントブロックと周辺ブロックの配置例を示す図である。 画像復号装置の他の構成例を示すブロック図である。 動き補償部の主な構成例を示すブロック図である。 ベクトル復号部の主な構成例を示すブロック図である。 異なるピクチャからの予測ベクトル生成部の主な構成例を示すブロック図である。 動き補償処理の流れの例を説明するフローチャートである。 ベクトル復号処理の流れの例を説明するフローチャートである。 予測ベクトル生成処理の流れの例を説明するフローチャートである。 異なるピクチャからの予測ベクトル生成処理の流れの例を説明するフローチャートである。 シフト量決定処理の流れの例を説明するフローチャートである。 予測ベクトルを生成する様子の例を示す図である。 視差と奥行きについて説明する図である。 予測ベクトル生成方法の例を説明する図である。 予測ベクトル生成処理の流れの例を説明するフローチャートである。 異なるピクチャからの予測ベクトル生成処理の流れの例を説明するフローチャートである。 異なるピクチャからの予測ベクトル生成処理の流れの例を説明する、図６０に続くフローチャートである。 背景静止アプリの参照画像の様子の例を説明する図である。 ステレオアプリの参照画像の様子の例を説明する図である。 参照画像のタイプとベクトルの特性の例を比較する図である。 周辺ブロックの例を説明する図である。 時間相関ブロックと周辺ブロックの取り扱いの例を説明する図である。 ＰＵの動き（視差）ベクトルと参照インデックス生成処理の流れの例を説明するフローチャートである。 マージ（スキップ）モード処理の流れの例を説明するフローチャートである。 時間相関ブロックから候補となる動き（視差）ベクトル生成処理の流れの例を説明するフローチャートである。 時間相関ブロックの動き（視差）ベクトルのスケーリング処理の有無と候補の有無の判定処理の流れの例を説明するフローチャートである。 AMVPモード処理の流れの例を説明するフローチャートである。 空間的に周辺のブロックから候補となる動き（視差）ベクトルを生成する処理の流れの例を説明するフローチャートである。 左側位置のブロックから候補となる動き（視差）ベクトル生成処理の流れの例を説明するフローチャートである。 左側位置のブロックから候補となる動き（視差）ベクトル生成処理の流れの例を説明する、図７３に続くフローチャートである。 周辺ブロックの動き（視差）ベクトルのスケーリング処理の有無と候補の有無の判定処理の流れの例を説明するフローチャートである。 上側位置のブロックから候補となる動き（視差）ベクトル生成処理の流れの例を説明するフローチャートである。 上側位置のブロックから候補となる動き（視差）ベクトル生成処理の流れの例を説明する、図７６に続くフローチャートである。 PUの動き（視差）ベクトルと参照インデックス生成処理の流れの例を説明するフローチャートである。 マージ（スキップ）モード処理の流れの例を説明するフローチャートである。 時間相関ブロックから候補となる動き（視差）ベクトル生成処理の流れの例を説明するフローチャートである。 AMVPモード処理の流れの例を説明するフローチャートである。 周辺ブロックの取り扱いの例を説明する図である。 左側位置のブロックから候補となる動き（視差）ベクトル生成処理の流れの他の例を説明するフローチャートである。 左側位置のブロックから候補となる動き（視差）ベクトル生成処理の流れの他の例を説明する、図８３に続くフローチャートである。 周辺ブロックの動き（視差）ベクトルの候補の有無の判定処理の流れの例を説明するフローチャートである。 周辺ブロックの動き（視差）ベクトルのスケーリング処理の有無と候補の有無の判定処理の流れの他の例を説明するフローチャートである。 上側位置のブロックから候補となる動き（視差）ベクトル生成処理の流れの他の例を説明するフローチャートである。 上側位置のブロックから候補となる動き（視差）ベクトル生成処理の流れの他の例を説明する、図８７に続くフローチャートである。 上側位置のブロックから候補となる動き（視差）ベクトル生成処理の流れの他の例を説明する、図８８に続くフローチャートである。 時間相関ブロックと周辺ブロックの取り扱いの、さらに他の例を説明する図である。 左側位置のブロックから候補となる動き（視差）ベクトル生成処理の流れのさらに他の例を説明するフローチャートである。 左側位置のブロックから候補となる動き（視差）ベクトル生成処理の流れのさらに他の例を説明する、図９１に続くフローチャートである。 上側位置のブロックから候補となる動き（視差）ベクトル生成処理の流れのさらに他の例を説明するフローチャートである。 上側位置のブロックから候補となる動き（視差）ベクトル生成処理の流れのさらに他の例を説明する、図９３に続くフローチャートである。 パーソナルコンピュータの主な構成例を示すブロック図である。 テレビジョン装置の概略的な構成の一例を示すブロック図である。 携帯電話機の概略的な構成の一例を示すブロック図である。 記録再生装置の概略的な構成の一例を示すブロック図である。 撮像装置の概略的な構成の一例を示すブロック図である。
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（画像符号化装置）
２．第２の実施の形態（画像復号装置）
３．第３の実施の形態（画像符号化装置）
４．第４の実施の形態（画像復号装置）
５．第５の実施の形態（画像符号化装置・画像復号装置）
６．第６の実施の形態（画像符号化装置・画像復号装置）
７．第７の実施の形態（コンピュータ）
８．第８の実施の形態（応用例）
＜１．第１の実施の形態＞
［動き予測］
AVC（Advanced Video Coding）やHEVC（High Efficiency Video Coding）等の画像符号化においては、時間方向（フレーム間）の相関を利用した動き予測が行われる。
このような予測処理の処理単位として、AVCにおいては、マクロブロックやサブマクロブロックといった階層構造のブロックが規定されているが、HEVCにおいては、コーディングユニット（CU（Coding Unit））が規定されている。
CUは、Coding Tree Block（CTB）とも呼ばれ、AVCにおけるマクロブロックと同様の役割を果たす、ピクチャ単位の画像の部分領域である。後者は、１６×１６画素の大きさに固定されているのに対し、前者の大きさは固定されておらず、それぞれのシーケンスにおいて、画像圧縮情報中において指定されることになる。
例えば、出力となる符号化データに含まれるシーケンスパラメータセット（SPS（Sequence Parameter Set））において、CUの最大サイズ（LCU（Largest Coding Unit））と最小サイズ（SCU（Smallest Coding Unit））が規定される。
それぞれのLCU内においては、SCUのサイズを下回らない範囲で、split-flag=1とすることにより、より小さなサイズのCUに分割することができる。２Ｎ×２Ｎの大きさのCUは、split_flagの値が「１」である時、１つ下の階層となる、Ｎ×Ｎの大きさのCUに分割される。
更に、CUは、イントラ若しくはインター予測の処理単位となる領域（ピクチャ単位の画像の部分領域）である予測ユニット（Prediction Unit（PU））に分割され、また、直交変換の処理単位となる領域（ピクチャ単位の画像の部分領域）である、変換ユニット（Transform Unit（TU））に分割される。現在、HEVCにおいては、４×４及び８×８に加え、１６×１６及び３２×３２直交変換を用いることが可能である。
以上のHEVCのように、CUを定義し、そのCUを単位として各種処理を行うような符号化方式の場合、AVCにおけるマクロブロックはLCUに相当すると考えることができる。ただし、CUは階層構造を有するので、その最上位階層のLCUのサイズは、例えば128×128画素のように、AVCのマクロブロックより大きく設定されることが一般的である。
なお、以下において、「領域」には、上述した各種領域（例えば、マクロブロック、サブマクロブロック、LCU、CU、SCU、PU、およびTU等）を全て含む（それらのいずれであってもよい）。もちろん、上述した以外の単位が含まれてもよいし、説明の内容に応じて不可能な単位は、適宜、除外するものとする。
図１は、符号化処理単位であるCUに対する、予測処理単位である予測ユニット（PU）の構成例を示す。図１に示されるように、１CUに対して4種類のPUを形成することができる。図１に示される４つの大きな正方形がCUを示し、その内部の長方形若しくは正方形がPUを示す。数字は、各PUのインデックスを示すものであり、画像の内容を示すものではない。
図１に示されるように、左上の例の場合、CUは１つのPU（２Ｎ×２Ｎ）により構成される。すなわち、この場合、CUとPUは等価である。また、右上の例の場合、CUは、上下に２分割され、２つの横長のPU（２Ｎ×Ｎ）により構成される。さらに、左下の例の場合、CUは、左右に２分割され、２つの縦長のPU（Ｎ×２Ｎ）により構成される。また、右下の例の場合、CUは、上下左右に２分割（合計４分割）され、４つの正方形のPU（Ｎ×Ｎ）により構成される。この中のいずれのパターンが適用されるかは、画像の内容（予測結果のコスト関数値）により決定される。
ところで、非特許文献３には、動き情報の符号化方式の１つとして、Motion Partition Mergingと呼ばれる手法（マージモード）が提案されている。この手法においては、MergeFlagと、MergeLeftFlagという、２つのflagが、マージモードに関する情報であるマージ情報として伝送される。MergeFlag=1は、処理対象であるカレント領域（注目領域とも称する）Ｘの動き情報が、カレント領域の上に隣接する周辺領域Ｔ、若しくは、カレント領域の左に隣接する周辺領域Ｌの動き情報と同一であることを示す。この時、マージ情報には、MergeLeftFlagが含められ、伝送される。MergeFlag=0は、カレント領域Ｘの動き情報が、周辺領域Ｔおよび周辺領域Ｌのいずれの動き情報とも異なることを示す。この場合、カレント領域Ｘの動き情報が伝送される。
カレント領域Ｘの動き情報が、周辺領域Ｌの動き情報と同一である場合、MergeFlag=1、かつ、MergeLeftFlag=1となる。カレント領域Ｘの動き情報が、周辺領域Ｔの動き情報と同一である場合、MergeFlag=1、かつ、MergeLeftFlag=0となる。
なお、このようなマージモードにおいて、空間的な周辺領域ＬおよびＴだけでなく、時間的な周辺領域（時間相関領域）も、カレント領域Ｘとマージさせる領域の候補とすることが考えられている。
参照画像インデックスは、図２に示されるように、処理対象であるカレント領域（Current Block）に対して左に隣接する周辺領域Ａ、上に隣接する周辺領域Ｂ、および右上に隣接する周辺領域Ｃの参照画像インデックスに基づいて図３に示される表のように決定される。
図３に示される表において、左から２番目乃至４番目の列は、それぞれ、周辺領域Ａ乃至周辺領域Ｃの参照画像インデックスの状態を表している。左から１列目は、決定された参照画像インデックスである。「ｘ」、「ｙ」、および「ｚ」は、それぞれ、任意の自然数を示し、「−１」は、参照不可であることを示している。
周辺領域Ａ乃至周辺領域Ｃのうち、参照可能な領域が１つしかない場合、そのブロックの参照画像インデックスを使う。また、周辺領域Ａ乃至周辺領域Ｃのうち、参照可能な領域が２つある場合、最小の参照画像インデックスを使う。さらに、周辺領域Ａ乃至周辺領域Ｃの全てが参照不可の場合、参照画像インデックスを０とする。
処理対象であるカレント領域に対して時間的な周辺に位置する時間相関領域は、図４に示されるように決定される。図４において、左が処理対象であるカレントピクチャ（CurrPic）（注目ピクチャとも称する）の一部の領域を示し、その中の左上の四角がカレント領域（CurrPU）を示す。また、図４の右がカレントピクチャの時間的に周辺に位置する時間相関ピクチャ（colPic）の一部の領域を示している。この時間相関ピクチャにおいて、カレント領域の右下の画素と同じ位置の画素を含む領域を時間相関領域（colPU）とする。この領域が参照不可の場合、復号領域の中央の画素と同じ位置の画素を含む領域を時間相関領域（colPU）とする。
また、時間相関ピクチャは、図５に示されるように決定される。例えば、カレントピクチャがＢピクチャで、collocated_from_l0_flagが１の場合、リストＬ１の参照画像インデックス０のピクチャが時間相関ピクチャとされる。また、カレントピクチャが、Ｐピクチャの場合若しくはＢピクチャでcollocated_from_l0_flagが０の場合、リストＬ０の参照画像インデックス０のピクチャが時間相関ピクチャとされる。
さらに、カレントピクチャと時間相関ピクチャとの位置関係によって、図６に示されるように、飛び越しフラグが設定される。例えば、図６の上に示されるように、時間相関ピクチャの参照画像の時間的位置がカレントピクチャを飛び越す（時間相関ピクチャと参照画像の間にカレントピクチャが存在する）場合、飛び越しフラグが１に設定される。
また、時間相関ピクチャの参照画像の時間的位置がカレントピクチャを飛び越さない（時間相関ピクチャと参照画像の間にカレントピクチャが存在しない）場合、飛び越しフラグが０に設定される。飛び越しフラグが１の場合、カレント領域が、時間相関領域と時間相関領域の参照画像の内挿となるため、予測ベクトルの信頼度が高い。
また、予測ベクトルpmv生成の際には、時間相関領域の動きベクトルmvColが利用されるが、その場合、図７に示される例のように、時間相関領域の動きベクトルのスケーリングが行われる。すなわち、カレント領域とカレント領域の参照画像の時間的距離Ａと、時間相関領域と時間相関領域の参照画像の時間的距離Ｂに基づき、以下の式（１）および式（２）のようにスケーリングが行われる。
ＡとＢが等しい場合、pmv = mvCol ・・・（１）
ＡとＢが等しくない場合、pmv = mvCol×A/B ・・・（２）
ところで、多視点画像の場合、画像は複数のビューよりなり、このビュー間（視差方向）の相関性を利用した視差予測も行われる。図８に３視点画像の参照関係の例を示す。
図８に示される３視点画像は、ビュー０、ビュー１、およびビュー２の３つのビューよりなる。図８において、POCは、時刻のインデックスを示す。またPicNumは、復号順序のインデックスを示す。
ビュー０は、ベースビューと呼ばれ、時間相関を利用して予測を行う時間予測を使って符号化されている。ビュー１は、ノンベースビューと呼ばれ、時間予測と視差予測を使って符号化される。視差予測では、符号化済みのビュー０とビュー２を参照することができる。ビュー２は、ノンベースビューと呼ばれ、時間予測と視差予測を使って符号化される。視差予測では、符号化済みのビュー０を参照することができる。
しかしながら、上述したように従来の予測ベクトルは動きベクトルに関するもののみであり、このような視点（ビュー）間を跨ぐ視差予測において生成される、ビュー間の、同一若しくは最も近似する部分画像の位置関係を示す視差ベクトルについての符号化（予測）は考えられていなかった。この視差ベクトルは、時間予測の動きベクトルに相当する情報であり、同一時刻の異なるビューの画像を用いてカレント領域の予測画像を生成する時間予測に用いられる。そのため、視差ベクトルの予測を適切に行うことができず、符号化効率が低減する恐れがあった。
そこで、本技術においては、多視点画像において、以下のように視差ベクトルや動きベクトル（動き視差ベクトル）の予測を行う。
例えば、カレント領域の視差ベクトル（カレント視差ベクトルとも称する）の予測は、図９に示される例のように行われる。この例では、リスト１の参照画像インデックス０に同一ビュー（view_id=1）の参照画像が割り当てられ、参照画像インデックス１に異なるビュー(view_id=2)の参照画像が割り当てられている。
リスト１の参照画像インデックス０（RefPicList[0]）を時間相関ピクチャとする場合、その時間相関ピクチャに含まれる時間相関領域（colPicB）のベクトルが、同一時刻の異なるビューを参照する視差ベクトルの時、予測ベクトルとして採用する。
また、リスト１の参照画像インデックス１（RefPicList[1]）をビュー相関ピクチャとする場合、そのビュー相関ピクチャに含まれるビュー相関領域（colPicA）のベクトルが、同一時刻の異なるビューを参照する視差ベクトルの時、予測ベクトルとして採用する。
すなわち、本技術においては、カレント視差ベクトルの予測のために、すべての参照画像インデックスが相関ピクチャの候補とされる。また、各相関領域のベクトルが、カレント領域のベクトルと同じく、視差ベクトルであるか否かが判定される。
また、カレント領域の動きベクトル（カレント動きベクトルとも称する）の予測は、図１０に示される例のように行われる。この例では、リスト１の参照画像インデックス０に同一ビュー（view_id=1）の参照画像が割り当てられ、参照画像インデックス１に異なるビュー(view_id=2)の参照画像が割り当てられている。
リスト１の参照画像インデックス０（RefPicList[0]）を時間相関ピクチャとする場合、その時間相関ピクチャに含まれる時間相関領域（colPicB）のベクトルが、同一ビューの異なる時刻を参照する動きベクトルの時、予測ベクトルとして採用する。
また、リスト１の参照画像インデックス１（RefPicList[1]）をビュー相関ピクチャとする場合、そのビュー相関ピクチャに含まれるビュー相関領域（colPicA）のベクトルが、同一ビューの異なる時刻を参照する動きベクトルの時、予測ベクトルとして採用する。
すなわち、本技術においては、カレント動きベクトルの予測のために、すべての参照画像インデックスが相関ピクチャの候補とされる。また、各相関領域のベクトルが、カレント領域のベクトルと同じく、動きベクトルであるか否かが判定される。
また、視差ベクトルを予測ベクトルとする場合のスケーリング処理は、以下のように行われる。すなわち、カレント領域とその参照画像のビュー間距離と、相関領域とその参照画像のビュー間距離に基づいて、予測ベクトルがスケーリングされる。
従来の場合、動きベクトルを予測するのみであったので、時間的な距離のみが使用されていたが、多視点画像の場合、視差ベクトルを予測する必要があるので、本技術は、ビュー間距離も使用する。これにより、符号化効率を向上させることができる。
［画像符号化装置］
図１１は、画像処理装置である画像符号化装置の主な構成例を示すブロック図である。
図１１に示される画像符号化装置１００は、例えばAVCやHEVC等の符号化方式のように、予測処理を用いて画像データを符号化する。ただし、画像符号化装置１００は、複数のビューからなる多視点画像を符号化する。以下においては、多視点画像の一例として、３つのビューからなる３視点画像を処理する場合について説明する。ただし、実際には、画像符号化装置１００は、任意の視点数（ビュー数）の多視点画像を符号化することができる。
図１１に示されるように画像符号化装置１００は、A/D変換部１０１、画面並べ替えバッファ１０２、演算部１０３、直交変換部１０４、量子化部１０５、可逆符号化部１０６、および蓄積バッファ１０７を有する。また、画像符号化装置１００は、逆量子化部１０８、逆直交変換部１０９、演算部１１０、ループフィルタ１１１、デコードピクチャバッファ１１２、選択部１１３、イントラ予測部１１４、動き視差予測・補償部１１５、予測画像選択部１１６、および多視点デコードピクチャバッファ１２１を有する。
A/D変換部１０１は、入力された画像データをA/D変換し、変換後の画像データ（デジタルデータ）を、画面並べ替えバッファ１０２に供給し、記憶させる。画面並べ替えバッファ１０２は、記憶した表示の順番のフレームの画像を、GOP（Group Of Picture）に応じて、符号化のためのフレームの順番に並べ替え、フレームの順番を並び替えた画像を、その画像のビューIDおよびPOCとともに、演算部１０３に供給する。
また、画面並べ替えバッファ１０２は、フレームの順番を並び替えた画像を、その画像のビューIDおよびPOCとともに、イントラ予測部１１４および動き視差予測・補償部１１５にも供給する。なお、ビューIDは、視点を識別するための情報であり、POCは、時刻を識別するための情報である。
演算部１０３は、画面並べ替えバッファ１０２から読み出された画像から、予測画像選択部１１６を介してイントラ予測部１１４若しくは動き視差予測・補償部１１５から供給される予測画像を減算し、その差分情報を直交変換部１０４に出力する。
例えば、イントラ符号化が行われる画像の場合、演算部１０３は、画面並べ替えバッファ１０２から読み出された画像から、イントラ予測部１１４から供給される予測画像を減算する。また、例えば、インター符号化が行われる画像の場合、演算部１０３は、画面並べ替えバッファ１０２から読み出された画像から、動き視差予測・補償部１１５から供給される予測画像を減算する。
直交変換部１０４は、演算部１０３から供給される差分情報に対して、離散コサイン変換やカルーネン・レーベ変換等の直交変換を施す。なお、この直交変換の方法は任意である。直交変換部１０４は、その変換係数を量子化部１０５に供給する。
量子化部１０５は、直交変換部１０４から供給される変換係数を量子化する。量子化部１０５は、符号量の目標値に関する情報に基づいて量子化パラメータを設定し、その量子化を行う。なお、この量子化の方法は任意である。量子化部１０５は、量子化された変換係数を可逆符号化部１０６に供給する。
可逆符号化部１０６は、量子化部１０５において量子化された変換係数を、任意の符号化方式で符号化する。また、可逆符号化部１０６は、イントラ予測のモードを示す情報等を含むイントラ予測情報をイントラ予測部１１４から取得し、インター予測のモードを示す情報や動き視差ベクトル情報などを含むインター予測情報を動き視差予測・補償部１１５から取得する。さらに、可逆符号化部１０６は、ループフィルタ１１１において使用されたフィルタ係数等を取得する。
可逆符号化部１０６は、これらの各種情報を任意の符号化方式で符号化し、符号化データのヘッダ情報の一部とする（多重化する）。可逆符号化部１０６は、符号化して得られた符号化データを蓄積バッファ１０７に供給して蓄積させる。
可逆符号化部１０６の符号化方式としては、例えば、可変長符号化または算術符号化等が挙げられる。可変長符号化としては、例えば、H．264/AVC方式で定められているCAVLC（Context-Adaptive Variable Length Coding）などが挙げられる。算術符号化としては、例えば、CABAC（Context-Adaptive Binary Arithmetic Coding）などが挙げられる。
蓄積バッファ１０７は、可逆符号化部１０６から供給された符号化データを、一時的に保持する。蓄積バッファ１０７は、所定のタイミングにおいて、保持している符号化データを、ビットストリームとして、例えば、後段の図示せぬ記録装置（記録媒体）や伝送路などに出力する。つまり、符号化された各種情報が復号側に供給される。
また、量子化部１０５において量子化された変換係数は、逆量子化部１０８にも供給される。逆量子化部１０８は、その量子化された変換係数を、量子化部１０５による量子化に対応する方法で逆量子化する。この逆量子化の方法は、量子化部１０５による量子化処理に対応する方法であればどのような方法であってもよい。逆量子化部１０８は、得られた変換係数を、逆直交変換部１０９に供給する。
逆直交変換部１０９は、逆量子化部１０８から供給された変換係数を、直交変換部１０４による直交変換処理に対応する方法で逆直交変換する。この逆直交変換の方法は、直交変換部１０４による直交変換処理に対応する方法であればどのようなものであってもよい。逆直交変換された出力（局所的に復元された差分情報）は、演算部１１０に供給される。
演算部１１０は、逆直交変換部１０９から供給された逆直交変換結果、すなわち、局所的に復元された差分情報に、予測画像選択部１１６を介してイントラ予測部１１４若しくは動き視差予測・補償部１１５から供給される予測画像を加算し、局所的に再構成された画像（以下、再構成画像と称する）を得る。その再構成画像は、ループフィルタ１１１またはデコードピクチャバッファ１１２に供給される。
ループフィルタ１１１は、デブロックフィルタや適応ループフィルタ等を含み、演算部１１０から供給される復号画像に対して適宜フィルタ処理を行う。例えば、ループフィルタ１１１は、復号画像に対してデブロックフィルタ処理を行うことにより復号画像のブロック歪を除去する。また、例えば、ループフィルタ１１１は、そのデブロックフィルタ処理結果（ブロック歪みの除去が行われた復号画像）に対して、ウィナーフィルタ（Wiener Filter）を用いてループフィルタ処理を行うことにより画質改善を行う。
なお、ループフィルタ１１１が、復号画像に対して任意のフィルタ処理を行うようにしてもよい。また、ループフィルタ１１１は、必要に応じて、フィルタ処理に用いたフィルタ係数等の情報を可逆符号化部１０６に供給し、それを符号化させるようにすることもできる。
ループフィルタ１１１は、フィルタ処理結果（以下、復号画像と称する）をデコードピクチャバッファ１１２に供給する。
デコードピクチャバッファ１１２は、演算部１１０から供給される再構成画像と、ループフィルタ１１１から供給される復号画像とをそれぞれ記憶する。また、デコードピクチャバッファ１１２は、その画像のビューIDおよびPOCを記憶する。
デコードピクチャバッファ１１２は、所定のタイミングにおいて、若しくは、イントラ予測部１１４等の外部からの要求に基づいて、記憶している再構成画像（並びに、その画像のビューIDおよびPOC）を、選択部１１３を介して、イントラ予測部１１４に供給する。また、デコードピクチャバッファ１１２は、所定のタイミングにおいて、若しくは、動き視差予測・補償部１１５等の外部からの要求に基づいて、記憶している復号画像（並びに、その画像のビューIDおよびPOC）を、選択部１１３を介して、動き視差予測・補償部１１５に供給する。
選択部１１３は、デコードピクチャバッファ１１２から出力される画像の供給先を示す。例えば、イントラ予測の場合、選択部１１３は、デコードピクチャバッファ１１２からフィルタ処理されていない画像（再構成画像）を読み出し、周辺画素として、イントラ予測部１１４に供給する。
また、例えば、インター予測の場合、選択部１１３は、デコードピクチャバッファ１１２からフィルタ処理された画像（復号画像）を読み出し、参照画像として、それを動き視差予測・補償部１１５に供給する。
イントラ予測部１１４は、デコードピクチャバッファ１１２から、処理対象領域の周辺に位置する周辺領域の画像（周辺画像）を取得すると、その周辺画像の画素値を用いて、基本的にプレディクションユニット（PU）を処理単位として予測画像を生成するイントラ予測（画面内予測）を行う。イントラ予測部１１４は、予め用意された複数のモード（イントラ予測モード）でこのイントラ予測を行う。
イントラ予測部１１４は、候補となる全てのイントラ予測モードで予測画像を生成し、画面並べ替えバッファ１０２から供給される入力画像を用いて各予測画像のコスト関数値を評価し、最適なモードを選択する。イントラ予測部１１４は、最適なイントラ予測モードを選択すると、その最適なモードで生成された予測画像を、予測画像選択部１１６に供給する。
また、イントラ予測部１１４は、最適なイントラ予測モード等、イントラ予測に関する情報を含むイントラ予測情報を、適宜可逆符号化部１０６に供給し、符号化させる。
動き視差予測・補償部１１５は、画面並べ替えバッファ１０２から供給される入力画像と、デコードピクチャバッファ１１２から供給される参照画像とを用いて、基本的にPUを処理単位として、動き予測や視差予測（インター予測）を行い、検出された動き視差ベクトルに応じて補償処理を行い、予測画像（インター予測画像情報）を生成する。動き視差予測・補償部１１５は、予め用意された複数のモード（インター予測モード）でこのようなインター予測（画面間予測）を行う。
動き視差予測・補償部１１５は、候補となる全てのインター予測モードで予測画像を生成し、各予測画像のコスト関数値を評価し、最適なモードを選択する。動き視差予測・補償部１１５は、最適なインター予測モードを選択すると、その最適なモードで生成された予測画像を、予測画像選択部１１６に供給する。
また、動き視差予測・補償部１１５は、最適なインター予測モード等、インター予測に関する情報を含むインター予測情報を可逆符号化部１０６に供給し、符号化させる。
予測画像選択部１１６は、演算部１０３や演算部１１０に供給する予測画像の供給元を選択する。例えば、イントラ符号化の場合、予測画像選択部１１６は、予測画像の供給元としてイントラ予測部１１４を選択し、そのイントラ予測部１１４から供給される予測画像を演算部１０３や演算部１１０に供給する。また、例えば、インター符号化の場合、予測画像選択部１１６は、予測画像の供給元として動き視差予測・補償部１１５を選択し、その動き視差予測・補償部１１５から供給される予測画像を演算部１０３や演算部１１０に供給する。
デコードピクチャバッファ１１２は、処理対象のビューの画像（並びに、その画像のビューIDおよびPOC）のみを記憶するが、多視点デコードピクチャバッファ１２１は、各視点（ビュー）の画像（並びに、その画像のビューIDおよびPOC）を記憶する。つまり、多視点デコードピクチャバッファ１２１は、デコードピクチャバッファ１１２に供給された復号画像（並びに、その画像のビューIDおよびPOC）を取得し、デコードピクチャバッファ１１２とともにその復号画像（並びに、その画像のビューIDおよびPOC）を記憶する。
デコードピクチャバッファ１１２は、処理対象のビューが変わると、その復号画像を消去するが、多視点デコードピクチャバッファ１２１は、そのまま保持する。そして、デコードピクチャバッファ１１２などの要求に従って、記憶している復号画像（並びに、その画像のビューIDおよびPOC）を、「処理対象ではないビューの復号画像」として、デコードピクチャバッファ１１２に供給する。デコードピクチャバッファ１１２は、多視点デコードピクチャバッファ１２１から読み出した「処理対象ではないビューの復号画像（並びに、その画像のビューIDおよびPOC）」を、選択部１１３を介して動き視差予測・補償部１１５に供給する。
［動き視差予測・補償部］
図１２は、図１１の動き視差予測・補償部の主な構成例を示すブロック図である。
図１２に示されるように、動き視差予測・補償部１１５は、動き視差ベクトル探索部１３１、予測画像生成部１３２、符号化情報蓄積バッファ１３３、および選択部１３４を有する。また、動き視差予測・補償部１１５は、空間相関予測ベクトル生成部１３５、時間視差相関予測ベクトル生成部１３６、選択部１３７、符号化コスト算出部１３８、およびモード判定部１３９を有する。
動き視差ベクトル探索部１３１は、デコードピクチャバッファ１１２から復号画像画素値を取得し、画面並べ替えバッファ１０２から原画像画素値を取得する。動き視差ベクトル探索部１３１は、それらを用いて、処理対象であるカレント領域の参照画像インデックスを決定し、時間方向および視差方向の動き探索を行い、カレント動きベクトルおよびカレント視差ベクトルを生成する。
なお、以下において、時間方向、すなわち、フレーム（ピクチャ）間の動きを示す動きベクトルと、視差方向、すなわち、ビュー間の動きを示す視差ベクトルとを互いに区別する必要が無い場合、若しくは、その両方を指す場合、動き視差ベクトルと称する。カレント領域の動き視差ベクトルは、カレント動き視差ベクトルとも称する。
動き視差ベクトル探索部１３１は、参照画像インデックスと動き視差ベクトルとを予測画像生成部１３２および符号化コスト算出部１３８に供給する。
予測画像生成部１３２は、動き視差ベクトル探索部１３１から参照画像インデックスと動き視差ベクトルとを取得するとともに、デコードピクチャバッファ１１２から復号画像画素値を取得する。予測画像生成部１３２は、それらを用いてカレント領域の予測画像を生成する。予測画像生成部１３２は、予測画像画素値を符号化コスト算出部１３８に供給する。
符号化情報蓄積バッファ１３３は、モード判定部１３９において最適モードに選択されたモードを示すモード情報、並びに、そのモードの参照画像インデックスおよび動き視差ベクトルを記憶する。符号化情報蓄積バッファ１３３は、所定のタイミングにおいて、若しくは、外部からの要求に従って、記憶しているそれらの情報を、選択部１３４に供給する。
選択部１３４は、符号化情報蓄積バッファ１３３から供給されたモード情報、参照画像インデックス、および動き視差ベクトルを空間相関予測ベクトル生成部１３５若しくは時間視差相関予測ベクトル生成部１３６に供給する。
空間相関予測ベクトル生成部１３５および時間視差相関予測ベクトル生成部１３６は、処理対象であるカレント領域の動きベクトル（カレント動きベクトル）の予測値（予測ベクトル）を生成する。
空間相関予測ベクトル生成部１３５は、空間的な相関を利用して予測ベクトル（空間相関予測ベクトル）を生成する。より具体的には、空間相関予測ベクトル生成部１３５は、選択部１３４を介して符号化情報蓄積バッファ１３３から、カレント領域と同一のフレーム（カレントフレーム（注目フレームとも称する））の、カレント領域の空間的な周辺に位置する周辺領域（空間周辺領域）の動き情報に関する情報（モード情報、参照画像インデックス、および動き視差ベクトル等）を取得する。
空間相関予測ベクトル生成部１３５は、例えば、複数の空間周辺領域の動きベクトル（空間周辺動きベクトル）を用いてメジアン演算を行い、空間相関予測ベクトルを生成する。空間相関予測ベクトル生成部１３５は、生成した空間相関予測ベクトルを選択部１３７に供給する。
時間視差相関予測ベクトル生成部１３６は、時間的な相関若しくは視差的な相関を利用して予測ベクトル（時間視差相関予測ベクトル（時間相関予測ベクトル若しくは視差相関予測ベクトル））を生成する。より具体的には、時間視差相関予測ベクトル生成部１３６は、例えば、選択部１３４を介して符号化情報蓄積バッファ１３３から、カレント領域の時間的な周辺に位置する周辺領域（時間周辺領域）の動き情報に関する情報を取得する。時間周辺領域とは、カレント領域と同一ビュー（カレントビュー（注目ビューとも称する））の、カレントフレームと異なるフレーム（ピクチャ）のカレント領域に相当する位置の領域、若しくはその近傍の領域のことを示す。
また、例えば、時間視差相関予測ベクトル生成部１３６は、選択部１３４を介して符号化情報蓄積バッファ１３３から、カレント領域の視差的な周辺に位置する周辺領域（視差周辺領域）の動き情報に関する情報を取得する。視差周辺領域とは、カレント領域のビュー（カレントビュー）と異なるビューの、カレントフレームと同時刻のフレーム（ピクチャ）のカレント領域に相当する位置の領域、若しくはその近傍の領域のことを示す。
時間視差相関予測ベクトル生成部１３６は、例えば、複数の時間周辺領域の動きベクトル（時間周辺動きベクトル）を用いてメジアン演算を行い、時間相関予測ベクトルを生成する。また、例えば、時間視差相関予測ベクトル生成部１３６は、例えば、複数の視差周辺領域の動きベクトル（視差周辺動きベクトル）を用いてメジアン演算を行い、視差相関予測ベクトルを生成する。
時間視差相関予測ベクトル生成部１３６は、このように生成した時間視差相関予測ベクトルを選択部１３７に供給する。
空間相関予測ベクトル生成部１３５および時間視差相関予測ベクトル生成部１３６は、それぞれ予測ベクトルを、インター予測モード毎に生成する。
選択部１３７は、空間相関予測ベクトル生成部１３５から供給される空間相関予測ベクトル、および、時間視差相関予測ベクトル生成部１３６から供給される時間視差相関予測ベクトルを、符号化コスト算出部１３８に供給する。
符号化コスト算出部１３８は、予測画像生成部１３２から供給される予測画像画素値と、画面並べ替えバッファ１０２から供給される原画像画素値とを用いて、予測画像と原画像の差分値（差分画像）を、インター予測モード毎に算出する。また、符号化コスト算出部１３８は、その差分画像画素値を用いて、インター予測モード毎にコスト関数値（符号化コスト値とも称する）を算出する。
さらに、符号化コスト算出部１３８は、選択部１３７から供給された空間相関予測ベクトルと時間視差相関予測ベクトルとの内、動き視差ベクトル探索部１３１から供給されたカレント領域の動き視差ベクトルにより近いほうを、カレント領域の予測ベクトルとして選択する。また、符号化コスト算出部１３８は、その予測ベクトルとカレント領域の動き視差ベクトルとの差分値である差分動き視差ベクトルを生成する。符号化コスト算出部１３８は、インター予測モード毎に差分動き視差ベクトルを生成する。
符号化コスト算出部１３８は、各インター予測モードの、符号化コスト値、予測画像画素値、差分動き視差ベクトルを含む差分動き視差情報、および、予測ベクトルや参照画像インデックスを含む予測情報をモード判定部１３９に供給する。
モード判定部１３９は、符号化コスト値が最小となるインター予測モードを最適なモードとして選択する。モード判定部１３９は、最適なモードに選択したインター予測モードの予測画像画素値を、予測画像選択部１１６に供給する。
予測画像選択部１１６により、インター予測が選択された場合、モード判定部１３９は、最適なモードに選択したインター予測モードに関する情報であるモード情報、並びに、そのインター予測モードの差分動き視差情報および予測情報を、可逆符号化部１０６に供給し、符号化させる。これらの情報は、符号化され、復号側に伝送される。
また、モード判定部１３９は、最適なモードに選択したインター予測モードの、モード情報、差分動き視差情報、および予測情報を、符号化情報蓄積バッファ１３３に供給し、記憶させる。これらの情報は、カレント領域より時間的に後に処理される他の領域に対する処理おいて、周辺領域の情報として利用される。
［時間視差相関予測ベクトル生成部］
図１３は、時間視差相関予測ベクトル生成部１３６の主な構成例を示すブロック図である。
図１３に示されるように、時間視差相関予測ベクトル生成部１３６は、カレント領域処理部（注目領域処理部）１５１、相関領域処理部１５２、LI予測処理部１５３、L0予測処理部１５４、方式１処理部１５５、方式２処理部１５６、方式３処理部１５７、方式４処理部１５８、および予測ベクトル生成部１５９を有する。
カレント領域処理部１５１は、カレント領域に関する情報を取得する処理を行う。カレント領域処理部１５１は、取得したカレント領域に関する情報を、相関領域処理部１５２乃至L0予測処理部１５４の各部に供給する。相関領域処理部１５２は、相関領域に関する情報を取得する処理を行う。
なお、相関領域は、カレント領域との相関を利用するために参照される領域である。例えば、時間相関領域とは、カレント領域との時間相関を利用するために参照される領域であり、時間相関予測ベクトルの生成に用いられた動きベクトルを有する時間周辺領域である。また、視差相関領域とは、カレント領域との視差相関を利用するために参照される領域であり、視差相関予測ベクトルの生成に用いられた動きベクトルを有する視差周辺領域である。相関領域は、これらの領域を含む。
相関領域処理部１５２は、相関領域に関する情報を、L1予測処理部１５３およびL0予測処理部１５４に供給する。
L1予測処理部１５３は、L1方向の予測に関する処理を行う。L1予測処理部１５３は、画面並べ替えバッファ１０２やデコードピクチャバッファ１１２から必要な情報を取得する。またL1予測処理部１５３は、カレント領域処理部１５１および相関領域処理部１５２から供給された情報を取得する。L1予測処理部１５３は、それらの情報を用いて、L1方向の予測に関する処理を行う。
予測処理として方式１乃至方式４の４つの方法が用意されている。L1予測処理部は、いずれかの方法を選択し、方式１処理部１５５乃至方式４処理部１５８の内、選択した方法に対応する処理部に、情報を提供する。
L0予測処理部１５４は、L0方向の予測に関する処理を、L1予測処理部１５３と同様に行う。
方式１は、リスト１の参照画像インデックス１に割り当てられた、カレントビューと異なるビューの、カレントフレームと同時刻のフレーム（参照画像）を相関画像とし、その相関領域のベクトルが視差ベクトルである場合、その視差ベクトル（リファレンス視差ベクトル）を予測ベクトルとして採用する方式である。方式１処理部１５５は、このような方式に従って予測ベクトルを生成するための処理を行う。方式１処理部１５５は、処理の結果得られた各種パラメータを予測ベクトル生成部１５９に供給する。
方式２は、リスト１の参照画像インデックス０に割り当てられた、カレントビューと同一のビューの、カレントフレームと異なる時刻のフレーム（参照画像）を相関画像とし、その相関領域のベクトルが視差ベクトルである場合、その視差ベクトル（リファレンス視差ベクトル）を予測ベクトルとして採用する方式である。方式２処理部１５６は、このような方式に従って予測ベクトルを生成するための処理を行う。方式２処理部１５６は、処理の結果得られた各種パラメータを予測ベクトル生成部１５９に供給する。
方式３は、リスト１の参照画像インデックス１に割り当てられた、カレントビューと同一のビューの、カレントフレームと異なる時刻のフレーム（参照画像）を相関画像とし、その相関領域のベクトルが動きベクトルである場合、その動きベクトル（リファレンス視差ベクトル）を予測ベクトルとして採用する方式である。方式３処理部１５７は、このような方式に従って予測ベクトルを生成するための処理を行う。方式３処理部１５７は、処理の結果得られた各種パラメータを予測ベクトル生成部１５９に供給する。
方式４は、リスト１の参照画像インデックス０に割り当てられた、カレントビューと同一のビューの、カレントフレームと異なる時刻のフレーム（参照画像）を相関画像とし、その相関領域のベクトルが動きベクトルである場合、その動きベクトル（リファレンス視差ベクトル）を予測ベクトルとして採用する方式である。方式４処理部１５８は、このような方式に従って予測ベクトルを生成するための処理を行う。方式４処理部１５８は、処理の結果得られた各種パラメータを予測ベクトル生成部１５９に供給する。
予測ベクトル生成部１５９は、方式１処理部１５５乃至方式４処理部１５８から供給された情報、および、デコードピクチャバッファ１１２から取得した参照画像のビュー情報や時間情報等を用いて、時間視差相関予測ベクトルを生成する。その際、予測ベクトル生成部１５９は、方式１処理部１５５乃至方式４処理部１５８から供給される情報を用いてスケーリング処理を行う。その際、予測ベクトル生成部１５９は、動き相関予測ベクトルについては時間方向にスケーリングを行い、視差相関予測ベクトルについては視差方向にスケーリングを行う。予測ベクトル生成部１５９は、生成した時間視差相関予測ベクトルを、選択部１３７を介して符号化コスト算出部１３８に供給する。
このようにすることにより、時間視差相関予測ベクトル生成部１３６は、動き相関予測ベクトルだけでなく、視差相関予測ベクトルも生成することができる。したがって、動き視差予測・補償部１１５は、カレント領域のベクトルが視差ベクトルの場合であっても、予測精度の高い予測ベクトルを生成することができる。これにより画像符号化装置１００は、符号化効率の低減を抑制することができる。
［方式選択例］
図１４に、各方式が選択される場合の例を示す。図１４に示されるように、参照画像との位置関係（参照画像が時間方向に存在するか、若しくは視差方向に存在するか）がカレント領域（注目領域）の場合と同様である領域が相関領域として選択される。すなわち、カレント領域とそのカレント領域の参照画像との位置関係と、相関領域とその相関領域の参照画像との位置関係とが等しくなる。そして、そのカレント領域とそのカレント領域の参照画像との位置関係と、カレント領域と相関領域との位置関係とによって方式が決定される。
図１４の表において、下から１行目乃至４行目が各画像の位置関係の例を示しており、Ａ乃至Ｅは、各行においてビューID若しくはPOCの値の例を示す。つまり、ここで重要なのは、値がいくつであるかではなく、他の画像とビューIDやPOCが一致するか否かである。
下から４行目の例の場合、カレント領域および相関領域ともに、それぞれの参照画像とビューIDが異なるものの、POCが一致する。すなわち、カレント領域および相関領域のベクトルは視差ベクトルである。また、カレント領域と相関領域との間でも、ビューIDが異なり、POCが一致する。すなわち、相関領域は、カレント領域と同じ時刻のフレームの異なるビューの画像である。従って、図１４の表に示されるように方式１が選択される。視点間で視差の変化量が一定の領域で、方式１は、有効である。
下から３行目の例の場合、カレント領域および相関領域ともに、それぞれの参照画像とビューIDが異なるものの、POCが一致する。すなわち、カレント領域および相関領域のベクトルは視差ベクトルである。また、カレント領域と相関領域との間では、ビューIDが一致し、POCが異なる。すなわち、相関領域は、カレント領域と同じビューの異なる時刻のフレームの画像である。従って、図１４の表に示されるように方式２が選択される。時間的な動き量の変化が小さいときに、方式２は、有効である。
下から２行目の例の場合、カレント領域および相関領域ともに、それぞれの参照画像とビューIDが一致し、POCが異なる。すなわち、カレント領域および相関領域のベクトルは動きベクトルである。また、カレント領域と相関領域との間では、ビューIDが異なり、POCが一致する。すなわち、相関領域は、カレント領域と同じ時刻のフレームの異なるビューの画像である。従って、図１４の表に示されるように方式３が選択される。視点間の視差量の変化が小さいときに、方式３は、有効である。
下から１行目の例の場合、カレント領域および相関領域ともに、それぞれの参照画像とビューIDが一致し、POCが異なる。すなわち、カレント領域および相関領域のベクトルは動きベクトルである。また、カレント領域と相関領域との間では、ビューIDが一致し、POCが異なる。すなわち、相関領域は、カレント領域と同じビューの異なる時刻のフレームの画像である。従って、図１４の表に示されるように方式４が選択される。
つまり、例えば、３Ｄ画像の左右画像のいずれか一方（例えば左眼用画像）をベースビュー（base view）とし、他方（例えば右眼用画像）をディペンデントビュー（dependent view）とすると、ディペンデントビューにおいて、カレント領域のベクトル（符号化ベクトル（Coding vector））の特性と、同じビューの異なる時刻のフレームの相関領域（コロケーテッドブロック（Co-located block））のベクトル（コロケーテッドベクトル（Co-located vector））の特性が一致する場合、コロケーテッドブロックがアベイラブル（Available）とされる。換言するに、ディペンデントビューにおいて、符号化ベクトルおよびコロケーテッドベクトルの特性が一致しない場合、コロケーテッドブロックがノットアベイラブル（Not Available）とされる。もちろん、ベースビューにおいて、同様にするようにしてもよい。
例えば、図１３のL1予測処理部１５３およびL0予測処理部１５４が、このような設定を行う。
符号化ベクトルおよびコロケーテッドベクトルの特性が一致するか否かは、例えば、図１５に示されるように、カレント領域とコロケーテッドブロックのそれぞれのPOCをそれぞれの参照画像のPOCと比較することにより、判定することができる。例えば、図１３のL1予測処理部１５３およびL0予測処理部１５４が、このような判定を行う。
例えば、L1予測処理部１５３およびL0予測処理部１５４は、カレント領域のPOC（CurrPOC）とカレント領域の参照画像のPOC（CurrRefPOC）とが一致せず、かつ、コロケーテッドブロックのPOC（ColPOC）とコロケーテッドブロックの参照画像のPOC（ColRefPOC）とが一致しない場合（（CurrPOC != CurrRefPOC）&&（ColPOC != ColRefPOC））、符号化ベクトルおよびコロケーテッドブロックがともに動きベクトル（motion vector）であると判定する（図１６のＡ）。
また、例えば、L1予測処理部１５３およびL0予測処理部１５４は、カレント領域のPOC（CurrPOC）とカレント領域の参照画像のPOC（CurrRefPOC）とが一致し、かつ、コロケーテッドブロックのPOC（ColPOC）とコロケーテッドブロックの参照画像のPOC（ColRefPOC）とが一致する場合（（CurrPOC == CurrRefPOC）&&（ColPOC == ColRefPOC））、符号化ベクトルおよびコロケーテッドブロックがともに視差ベクトル（inter-view vector）であると判定する（図１６のＢ）。
L1予測処理部１５３およびL0予測処理部１５４は、例えば、この判定結果に基づいて、図１５の下の表に示されるように、コロケーテッドベクトル（Co-located vector）のアベイラビリティ（Availability）の設定を行う。
例えば、符号化ベクトルおよびコロケーテッドブロックがともに、動きベクトル（motion vector）若しくは視差ベクトル（inter-view vector）であると判定された場合、コロケーテッドベクトル（Co-located vector）がアベイラブル（Available）に設定される（図１６のＡ若しくは図１６のＢ）。
逆に、符号化ベクトルおよびコロケーテッドブロックの一方が、動きベクトル（motion vector）であり、他方が視差ベクトル（inter-view vector）であると判定された場合、コロケーテッドベクトル（Co-located vector）がノットアベイラブル（Not Available）に設定される。
［シンタックス］
図１７にこの場合のシーケンスパラメータセットのシンタックスの例を示す。図１７に示されるように、下から１０行目乃至下から３行目のように、ビューの合計数、ビューを区別するためのID、リストL0における視差予測の枚数、リストL0における視差予測で参照するビューのID、リストL1における視差予測の枚数、および、リストL1における視差予測で参照するビューのID等の情報がシーケンスパラメータセットに含められる。これらの情報は、多視点画像に必要な情報である。換言するに、本技術は、シーケンスパラメータセットに新たなシンタックスを追加することなく適用することができる。
図１８にこの場合のスライスヘッダのシンタックスの例を示す。図１８に示されるように、上から８行目のように、ビューを区別するためのIDがスライスヘッダに含められる。この情報は、多視点画像に必要な情報である。換言するに、本技術は、スライスヘッダに新たなシンタックスを追加することなく適用することができる。
図１９にこの場合の予測ユニットのシンタックスの例を示す。図１９に示されるように、本技術は、予測ユニットにも新たなシンタックスを追加することなく適用することができる。ただし、本技術を適用することにより、相関領域の候補が従来の場合より増えるので、マージモードや予測ベクトルのIDにおいて、シンタックスの種類を拡張するか、または、処理の内容を変更する必要がある。
［符号化処理の流れ］
次に、以上のような画像符号化装置１００により実行される各処理の流れについて説明する。最初に、図２０のフローチャートを参照して、符号化処理の流れの例を説明する。
ステップＳ１０１において、A/D変換部１０１は入力された画像をA/D変換する。ステップＳ１０２において、画面並べ替えバッファ１０２は、A/D変換された画像を記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。
ステップＳ１０３において、イントラ予測部１１４は、イントラ予測処理を行う。ステップＳ１０４において、動き視差予測・補償部１１５は、インター動き予測処理を行う。ステップＳ１０５において、予測画像選択部１１６は、イントラ予測により生成された予測画像、および、インター予測により生成された予測画像の内、いずれか一方を選択する。
ステップＳ１０６において、演算部１０３は、ステップＳ１０２の処理により並び替えられた画像と、ステップＳ１０５の処理により選択された予測画像との差分を演算する（差分画像を生成する）。生成された差分画像は元の画像に較べてデータ量が低減される。したがって、画像をそのまま符号化する場合に比べて、データ量を圧縮することができる。
ステップＳ１０７において、直交変換部１０４は、ステップＳ１０６の処理により生成された差分画像を直交変換する。具体的には、離散コサイン変換、カルーネン・レーベ変換等の直交変換が行われ、直交変換係数が出力される。ステップＳ１０８において、量子化部１０５は、ステップＳ１０７の処理により得られた直交変換係数を量子化する。
ステップＳ１０８の処理により量子化された差分画像は、次のようにして局部的に復号される。すなわち、ステップＳ１０９において、逆量子化部１０８は、ステップＳ１０８の処理により生成された量子化された直交変換係数（量子化係数とも称する）を量子化部１０５の特性に対応する特性で逆量子化する。ステップＳ１１０において、逆直交変換部１０９は、ステップＳ１０９の処理により得られた直交変換係数を、直交変換部１０４の特性に対応する特性で逆直交変換する。これにより差分画像が復元される。
ステップＳ１１１において、演算部１１０は、ステップＳ１０５において選択された予測画像を、ステップＳ１１０において生成された差分画像に加算し、局部的に復号された復号画像（再構成画像）を生成する。ステップＳ１１２において、ループフィルタ１１１は、ステップＳ１１１の処理により得られた再構成画像に対して、デブロックフィルタ処理や適応ループフィルタ処理等を含むループフィルタ処理を適宜行い、復号画像を生成する。
ステップＳ１１３において、デコードピクチャバッファ１１２や多視点デコードピクチャバッファ１２１は、ステップＳ１１２の処理により生成された復号画像、若しくは、ステップＳ１１１の処理により生成された再構成画像を記憶する。
ステップＳ１１４において、可逆符号化部１０６は、ステップＳ１０８の処理により量子化された直交変換係数を符号化する。すなわち、差分画像に対して、可変長符号化や算術符号化等の可逆符号化が行われる。なお、可逆符号化部１０６は、予測に関する情報や、量子化に関する情報や、フィルタ処理に関する情報等を符号化し、ビットストリームに付加する。
ステップＳ１１５において、蓄積バッファ１０７は、ステップＳ１１４の処理により得られたビットストリームを蓄積する。蓄積バッファ１０７に蓄積された符号化データは、適宜読み出され、伝送路や記録媒体を介して復号側に伝送される。
ステップＳ１１６において量子化部１０５は、ステップＳ１１５の処理により蓄積バッファ１０７に蓄積された符号化データの符号量（発生符号量）に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化動作のレートを制御する。
ステップＳ１１６の処理が終了すると、符号化処理が終了される。
［インター動き予測処理の流れ］
次に、図２１のフローチャートを参照して、図２０のステップＳ１０４において実行されるインター動き予測処理の流れの例を説明する。
ステップＳ１３１において、動き視差ベクトル探索部１３１は、処理対象のインター予測モードについて、動き探索を行い、処理対象であるカレント領域の動き視差ベクトル（動きベクトルまたは視差ベクトル）を生成する。ステップＳ１３２において、予測画像生成部１３２は、ステップＳ１３１において生成された動き視差ベクトルを用いて補償処理を行って予測画像を生成する。ステップＳ１３３において、符号化コスト算出部１３８は、ステップＳ１３２において生成された予測画像と、原画像（入力画像）との差分画像を生成する。
ステップＳ１３４において、符号化コスト算出部１３８は、空間相関予測ベクトル生成部１３５や時間視差相関予測ベクトル生成部１３６等を用いてマージモード処理を行う。
ステップＳ１３５において、符号化コスト算出部１３８は、ステップＳ１３１において生成されたカレント領域の動き視差ベクトルと、ステップＳ１３４の処理により生成されたカレント領域の予測ベクトルとを比較し、カレント領域においてマージモードが適用されるか否かを判定する。
両者が一致せず、マージモードが適用されないと判定した場合、符号化コスト算出部１３８は、処理をステップＳ１３６に進め、空間相関予測ベクトル生成部１３５や時間視差相関予測ベクトル生成部１３６等を用いて視差動きベクトル予測処理を行う。ステップＳ１３６の処理が終了すると、符号化コスト算出部１３８は、処理をステップＳ１３７に進める。
また、ステップＳ１３５において、カレント領域の動き視差ベクトルと予測ベクトルが一致し、カレント領域においてマージモードが適用されると判定した場合、符号化コスト算出部１３８は、ステップＳ１３６の処理を省略し、ステップＳ１３７に進める。
ステップＳ１３７において、符号化コスト算出部１３８は、全てのインター予測モードで、以上の処理を行ったか否かを判定し、未処理のインター予測モードが存在すると判定された場合、処理をステップＳ１３１に戻し、その未処理のインター予測モードについて、それ以降の処理が繰り返されるように制御する。つまり、ステップＳ１３１乃至ステップＳ１３７の各処理が、各インター予測モードについて実行される。
ステップＳ１３７において、全てのインター予測モードについて処理を行ったと判定された場合、符号化コスト算出部１３８は、処理をステップＳ１３８に進める。ステップＳ１３８において、符号化コスト算出部１３８は、各インター予測モードのコスト関数値を算出する。
ステップＳ１３９において、モード判定部１３９は、ステップＳ１３８において算出されたコスト関数値（符号化コスト値）が最も小さいインター予測モードを最適なモード（最適インター予測モード）に決定する。
ステップＳ１４０において、予測画像生成部１３２は、その最適インター予測モードで予測画像を生成する。この予測画像は、予測画像選択部１１６に供給される。
ステップＳ１４１において、符号化情報蓄積バッファ１３３は、図２０のステップＳ１０５においてインター予測が選択された場合、最適インター予測モードのモード情報や動き情報（動き視差ベクトルや参照画像インデックス等）を記憶する。イントラ予測モードが選択された場合、動き視差ベクトルとしてゼロベクトルが記憶される。なお、これらの情報は、図２０のステップＳ１０５においてインター予測が選択された場合、可逆符号化部１０６にも供給され、符号化されて、復号側に伝送される。
ステップＳ１４１の処理が終了すると、符号化情報蓄積バッファ１３３は、インター動き予測処理を終了し、処理を図２０に戻す。
［マージモード処理の流れ］
次に、図２２のフローチャートを参照して、図２１のステップＳ１３４において実行されるマージモード処理の流れの例を説明する。
マージモード処理が開始されると、ステップＳ１６１において、空間相関予測ベクトル生成部１３５は、空間周辺領域との相関性を利用して空間相関予測ベクトルを生成する空間相関予測処理を行う。ステップＳ１６２において、時間視差相関予測ベクトル生成部１３６は、時間周辺領域や視差周辺領域との相関性を利用して時間視差相関予測ベクトルを生成する時間相関予測処理を行う。
ステップＳ１６３において、符号化コスト算出部１３８は、ステップＳ１６１において生成された空間相関予測ベクトルと、ステップＳ１６２において生成された時間視差予測ベクトルとで、重複するベクトルを削除する。
ステップＳ１６４において、符号化コスト算出部１３８は、ベクトルが存在するか否かを判定する。空間相関予測ベクトル若しくは時間視差相関予測ベクトルが１つでも存在すると判定された場合、符号化コスト算出部１３８は、処理をステップＳ１６５に進める。
ステップＳ１６５において、符号化コスト算出部１３８は、ベクトルが複数存在するか否かを判定する。複数存在すると判定された場合、符号化コスト算出部１３８は、処理をステップＳ１６６に進め、マージインデックスを取得する。複数存在しないと判定された場合、符号化コスト算出部１３８は、ステップＳ１６６の処理を省略する。
カレント領域の動きベクトルと一致する空間相関予測ベクトル若しくは時間視差相関予測ベクトルが存在する場合、符号化コスト算出部１３８は、ステップＳ１６７において、その一致するベクトルを予測ベクトルとして取得し、ステップＳ１６８において、参照画像インデックスを取得する。
ステップＳ１６８の処理を終了すると、符号化コスト算出部１３８は、マージモード処理を終了し、処理を図２１に戻す。
また、ステップＳ１６４において、空間相関予測ベクトル若しくは時間視差相関予測ベクトルが１つも存在しないと判定された場合、符号化コスト算出部１３８は、処理をステップＳ１６９に進める。
ステップＳ１６９において、符号化コスト算出部１３８は、予測ベクトルに初期値（例えばゼロベクトル）を与える。また、ステップＳ１７０において、符号化コスト算出部１３８は、参照画像インデックスに初期値（例えば０）を与える。
ステップＳ１７０の処理を終了すると、符号化コスト算出部１３８は、マージモード処理を終了し、処理を図２１に戻す。
［視差動きベクトル予測処理の流れ］
次に、図２３のフローチャートを参照して、図２１のステップＳ１３６において実行される視差動きベクトル予測処理の流れの例を説明する。
視差動きベクトル予測処理が開始されると、ステップＳ１９１において、空間相関予測ベクトル生成部１３５は、空間相関予測処理を行い、空間相関予測ベクトルを生成する。ステップＳ１９２において、時間視差相関予測ベクトル生成部１３６は、時間視差相関予測処理を行い、時間視差相関予測ベクトルを生成する。
ステップＳ１９３において、符号化コスト算出部１３８は、テップＳ１９１において生成された空間相関予測ベクトルと、ステップＳ１９２において生成された時間視差予測ベクトルとで、重複するベクトルを削除する。
符号化コスト算出部１３８は、残ったベクトルの内、カレント領域の動きベクトルに最も近いベクトルを選択し、ステップＳ１９４においてそのベクトルを示す予測ベクトルインデックスを作成し、ステップＳ１９５において、そのベクトルを予測ベクトルとする。ステップＳ１９５の処理が終了すると、符号化コスト算出部１３８は、視差動きベクトル予測処理を終了し、処理を図２１に戻す。
［時間視差相関予測処理の流れ］
次に、図２４乃至図２７のフローチャートを参照して、図２２のステップＳ１６２若しくは図２３のステップＳ１９２において実行される時間視差相関予測処理の流れの例を説明する。
時間視差相関予測処理が開始されると、カレント領域処理部１５１は、図２４のステップＳ２１１において、カレント領域のビューIDとPOCを取得する。ステップＳ２１２において、カレント領域処理部１５１は、カレント領域の参照インデックスを決定する。ステップＳ２１３において、カレント領域処理部１５１は、参照画像のビューIDとPOCを取得する。
ステップＳ２１４において、相関領域処理部１５２は、リストL1の参照画像インデックスの昇順に相関画像を選択する。ステップＳ２１５において、相関領域処理部１５２は、全ての参照画像インデックスを探索したか否かを判定し、全ての参照画像インデックスを参照したと判定した場合、時間視差相関予測処理を終了し、処理を図２２若しくは図２３に戻す。
また、ステップＳ２１５において、未処理の参照画像インデックスが存在すると判定された場合、相関領域処理部１５２は、処理をステップＳ２１６に進める。ステップＳ２１６において、相関領域処理部１５２は、相関領域を決定し、処理を図２５に進める。
図２５のステップＳ２２１において、相関領域処理部１５２は、相関領域がイントラ予測された領域、若しくは、他の領域を参照しない領域であるか否かを判定する。相関領域がイントラ予測された領域である、若しくは、他の領域を参照しない領域であると判定された場合、相関領域処理部１５２は、処理を図２６に進める。
また、図２５のステップＳ２２１において、相関領域がインター予測された領域であり、かつ、他の領域を参照する領域であると判定された場合、相関領域処理部１５２は、処理をステップＳ２２２に進める。
ステップＳ２２２において、L1予測処理部１５３は、相関領域のビューIDとPOCを取得する。ステップＳ２２３において、L1予測処理部１５３は、相関領域のL1予測の参照画像のビューIDとPOCを取得する。
ステップＳ２２４において、L1予測処理部１５３は、カレント領域と相関領域のビューIDが一致するか否かを判定する。両者が一致する場合、相関領域は、コロケーテッドブロックである。カレント領域と相関領域のビューIDが一致すると判定された場合、L1予測処理部１５３は、処理をステップＳ２２５に進め、方式４−２処理を行い、方式４若しくは方式２で予測ベクトルを生成するようにする。ステップＳ２２５の処理が終了すると、処理は図２６に進む。
また、図２５のステップＳ２２４において、カレント領域と相関領域のビューIDが一致しないと判定された場合、L1予測処理部１５３は、処理をステップＳ２２６に進める。
ステップＳ２２６において、L1予測処理部１５３は、カレント領域と相関領域のPOCが一致するか否かを判定する。カレント領域と相関領域のPOCが一致しないと判定された場合、L1予測処理部１５３は、処理を図２６に進める。
また、図２５のステップＳ２２６において、カレント領域と相関領域のPOCが一致すると判定された場合、L1予測処理部１５３は、処理をステップＳ２２７に進める。
ステップＳ２２７において、L1予測処理部１５３は、カレント領域の参照画像と相関領域の参照画像のPOCが一致するか否かを判定する。カレント領域の参照画像と相関領域の参照画像のPOCが一致すると判定された場合、L1予測処理部１５３は、処理をステップＳ２２８に進め、方式１処理を行い、方式１で予測ベクトルを生成するようにする。ステップＳ２２８の処理を終了すると、L1予測処理部１５３は、処理を図２６に進める。
また、図２５のステップＳ２２７において、カレント領域の参照画像と相関領域の参照画像のPOCが一致しないと判定された場合、L1予測処理部１５３は、処理をステップＳ２２９に進め、方式３処理を行い、方式３で予測ベクトルを生成するようにする。ステップＳ２２９の処理を終了すると、L1予測処理部１５３は、処理を図２６に進める。
図２６において、L0予測処理部１５４は、相関領域のL0予測について、図２５のL1予測の場合と同様の処理を行う。つまり、L0予測処理部１５４は、ステップＳ２３１乃至ステップＳ２３８の各処理を、図２５のステップＳ２２２乃至ステップＳ２２９の各処理と同様に行う。
ただし、図２６の場合、相関領域の参照画像は、L0予測の参照画像とする。また、ステップＳ２３４、ステップＳ２３７、若しくはステップＳ２３８の処理が終了した場合、または、ステップＳ２３５においてカレント領域と相関領域のPOCが一致しないと判定された場合、L0予測処理部１５４は、処理を図２７に進める。
図２７のステップＳ２４１において、予測ベクトル生成部１５９は、予測ベクトル候補が少なくとも１つ存在するか否かを判定する。予測ベクトル候補が１つも存在しないと判定された場合、予測ベクトル生成部１５９は、処理を図２４のステップＳ２１４に戻す。
また、図２７のステップＳ２４１において、予測ベクトル候補が少なくとも１つ存在すると判定された場合、予測ベクトル生成部１５９は、処理をステップＳ２４２に進める。ステップＳ２４２において、予測ベクトル生成部１５９は、L1の飛び越しフラグのみ１であるか、若しくは、L0/L1の飛び越しフラグの値が等しく、L1の参照があるか否かを判定する。
L1の飛び越しフラグのみが１であると判定された場合、若しくは、L0/L1の飛び越しフラグの値が等しく、かつ、L1の参照があると判定された場合、予測ベクトル生成部１５９は、処理をステップＳ２４３に進める。
ステップＳ２４３において、予測ベクトル生成部１５９は、L1参照のベクトルを取得する。ステップＳ２４４において、予測ベクトル生成部１５９は、L1参照の参照画像インデックスを取得し、処理をステップＳ２４７に進める。
また、ステップＳ２４２において、L1の飛び越しフラグが１ではない、若しくは、L0の飛び越しフラグも０であると判定され、かつ、L0/L1の飛び越しフラグの値が等しくない、若しくは、L1の参照がないと判定された場合、予測ベクトル生成部１５９は、処理をステップＳ２４５に進める。
ステップＳ２４５において、予測ベクトル生成部１５９は、L0参照のベクトルを取得する。ステップＳ２４６において、予測ベクトル生成部１５９は、L0参照の参照画像インデックスを取得し、処理をステップＳ２４７に進める。
ステップＳ２４７において、予測ベクトル生成部１５９は、取得したL1参照のベクトルもしくはL0参照のベクトルを予測ベクトルとする。その際、予測ベクトル生成部１５９は、カレント領域や相関領域における参照画像との距離を用いてベクトルのスケーリングを行い、スケーリング結果を予測ベクトルとする。
ステップＳ２４７の処理が終了すると、予測ベクトル生成部１５９は、処理を図２４に戻し、時間視差相関予測処理を終了し、処理を図２２若しくは図２３に戻す。
［方式１処理の流れ］
次に、図２８のフローチャートを参照して、図２５若しくは図２６において実行される方式１処理の流れの例を説明する。
方式１処理が開始されると、方式１処理部１５５は、ステップＳ２６１において、カレント領域とカレント領域の参照画像のPOCが一致するか否かを判定する。カレント領域とカレント領域の参照画像のPOCが一致しないと判定された場合、方式１処理部１５５は、方式１処理を終了し、処理を図２５若しくは図２６に戻す。
また、ステップＳ２６１において、カレント領域とカレント領域の参照画像のPOCが一致すると判定された場合、方式１処理部１５５は、処理をステップＳ２６２に進める。
ステップＳ２６２において、方式１処理部１５５は、相関領域と相関領域の参照画像のPOCが一致するか否かを判定する。相関領域と相関領域の参照画像のPOCが一致しないと判定された場合、方式１処理部１５５は、方式１処理を終了し、処理を図２５若しくは図２６に戻す。
また、ステップＳ２６２において、相関領域と相関領域の参照画像のPOCが一致すると判定された場合、方式１処理部１５５は、処理をステップＳ２６３に進める。
ステップＳ２６３において、方式１処理部１５５は、カレント領域とカレント領域の参照画像の視点間距離１を算出する。ステップＳ２６４において、方式１処理部１５５は、相関領域と相関領域の参照画像の視点間距離２を算出する。ステップＳ２６５において、方式１処理部１５５は、参照画像の飛び越しフラグを決定し、処理を図２５若しくは図２６に戻す。これらのパラメータ（視点間距離１、視点間距離２、および飛び越しフラグ）は、図２７の処理に利用される。
［方式３処理の流れ］
次に、図２９のフローチャートを参照して、図２５若しくは図２６において実行される方式３処理の流れの例を説明する。
方式３処理が開始されると、方式３処理部１５７は、ステップＳ２７１において、カレント領域とカレント領域の参照画像のビューIDが一致するか否かを判定する。カレント領域とカレント領域の参照画像のビューIDが一致しないと判定された場合、方式３処理部１５７は、方式３処理を終了し、処理を図２５若しくは図２６に戻す。
また、ステップＳ２７１において、カレント領域とカレント領域の参照画像のビューIDが一致すると判定された場合、方式３処理部１５７は、処理をステップＳ２７２に進める。
ステップＳ２７２において、方式３処理部１５７は、相関領域と相関領域の参照画像のビューIDが一致するか否かを判定する。相関領域と相関領域の参照画像のビューIDが一致しないと判定された場合、方式３処理部１５７は、方式３処理を終了し、処理を図２５若しくは図２６に戻す。
また、ステップＳ２７２において、相関領域と相関領域の参照画像のビューIDが一致すると判定された場合、方式３処理部１５７は、処理をステップＳ２７３に進める。
ステップＳ２７３において、方式３処理部１５７は、カレント領域とカレント領域の参照画像の視点間距離１を算出する。ステップＳ２７４において、方式３処理部１５７は、相関領域と相関領域の参照画像の視点間距離２を算出する。ステップＳ２７５において、方式３処理部１５７は、参照画像の飛び越しフラグを決定し、処理を図２５若しくは図２６に戻す。これらのパラメータ（視点間距離１、視点間距離２、および飛び越しフラグ）は、図２７の処理に利用される。
［方式４−２処理の流れ］
次に、図３０のフローチャートを参照して、図２５若しくは図２６において実行される方式４−２処理の流れの例を説明する。
方式４−２処理が開始されると、L1予測処理部１５３若しくはL0予測処理部１５４は、ステップＳ２８１において、カレント領域とカレント領域の参照画像のビューIDが一致するか否かを判定する。両者が一致する場合、符号化ベクトルは動きベクトルである。カレント領域とカレント領域の参照画像のビューIDが一致すると判定された場合、処理は、ステップＳ２８２に進む。
ステップＳ２８２において、L1予測処理部１５３若しくはL0予測処理部１５４は、相関領域（コロケーテッドブロック）と相関領域の参照画像のビューIDが一致するか否かを判定する。両者が一致しない場合、コロケーテッドベクトルは視差ベクトルである。相関領域と相関領域の参照画像のビューIDが一致しないと判定された場合、L1予測処理部１５３若しくはL0予測処理部１５４は、方式４−２処理を終了し、処理を図２５若しくは図２６に戻す。
つまり、この場合、符号化ベクトルが動きベクトルであり、コロケーテッドベクトルが視差ベクトルであるので、符号化ベクトルの特性とコロケーテッドベクトルの特性とが一致しない。したがって、コロケーテッドブロックはノットアベイラブルに設定され、方式４−２処理が終了される。
また、ステップＳ２８２において、相関領域と相関領域の参照画像のビューIDが一致すると判定された場合、L1予測処理部１５３若しくはL0予測処理部１５４は、処理をステップＳ２８３に進める。両者が一致する場合、コロケーテッドベクトルは動きベクトルである。つまり、この場合、符号化ベクトルもコロケーテッドベクトルも動きベクトルであり、両ベクトルの特性が一致する。したがって、この場合、コロケーテッドベクトルがアベイラブルに設定される。
ステップＳ２８３において、方式４処理部１５８は、カレント領域とカレント領域の参照画像の視点間距離１を算出する。ステップＳ２８４において、方式４処理部１５８は、相関領域と相関領域の参照画像の視点間距離２を算出する。ステップＳ２８５において、方式４処理部１５８は、参照画像の飛び越しフラグを決定し、処理を図２５若しくは図２６に戻す。これらのパラメータ（視点間距離１、視点間距離２、および飛び越しフラグ）は、図２７の処理に利用される。
また、ステップＳ２８１において、カレント領域とカレント領域の参照画像のビューIDが一致しないと判定された場合、L1予測処理部１５３若しくはL0予測処理部１５４は、処理をステップＳ２８６に進める。
ステップＳ２８６において、予測処理部１５３若しくはL0予測処理部１５４は、カレント領域とカレント領域の参照画像のPOCが一致するか否かを判定する。カレント領域とカレント領域の参照画像のPOCが一致しないと判定された場合、予測処理部１５３若しくはL0予測処理部１５４は、方式４−２処理を終了し、処理を図２５若しくは図２６に戻す。
また、ステップＳ２８６において、カレント領域とカレント領域の参照画像のPOCが一致すると判定された場合、予測処理部１５３若しくはL0予測処理部１５４は、処理をステップＳ２８７に進める。両者が一致する場合、符号化ベクトルは視差ベクトルである。
ステップＳ２８７において、予測処理部１５３若しくはL0予測処理部１５４は、相関領域と相関領域の参照画像のPOCが一致するか否かを判定する。両者が一致しない場合、コロケーテッドベクトルは動きベクトルである。相関領域と相関領域の参照画像のPOCが一致しないと判定された場合、予測処理部１５３若しくはL0予測処理部１５４は、方式４−２処理を終了し、処理を図２５若しくは図２６に戻す。
つまり、この場合、符号化ベクトルが視差ベクトルであり、コロケーテッドベクトルが動きベクトルであるので、符号化ベクトルの特性とコロケーテッドベクトルの特性とが一致しない。したがって、コロケーテッドブロックはノットアベイラブルに設定され、方式４−２処理が終了される。
また、ステップＳ２８７において、相関領域と相関領域の参照画像のPOCが一致すると判定された場合、L1予測処理部１５３若しくはL0予測処理部１５４は、処理をステップＳ２８３に戻す。両者が一致する場合、コロケーテッドベクトルは視差ベクトルである。つまり、この場合、符号化ベクトルもコロケーテッドベクトルも視差ベクトルであり、両ベクトルの特性が一致する。したがって、この場合、コロケーテッドベクトルがアベイラブルに設定される。
この場合、方式２処理部１５６は、方式４処理部１５８が実行する場合と同様に、ステップＳ２８３乃至ステップＳ２８５の処理を行う。ステップＳ２８５の処理が終了すると、方式２処理部１５６は、方式４−２処理を終了し、処理を図２５若しくは図２６に戻す。
以上のように各処理を行うことにより、時間視差相関予測ベクトル生成部１３６は、動き相関予測ベクトルだけでなく、視差相関予測ベクトルも生成することができる。したがって、動き視差予測・補償部１１５は、カレント領域のベクトルが視差ベクトルの場合であっても、予測精度の高い予測ベクトルを生成することができる。これにより、画像符号化装置１００は、符号化効率の低減を抑制することができる。
＜２．第２の実施の形態＞
［画像復号装置］
図３１は、画像処理装置である画像復号装置の主な構成例を示すブロック図である。図３１に示される画像復号装置３００は、図１１の画像符号化装置１００に対応する装置である。つまり、画像復号装置３００は、画像符号化装置１００が多視点画像を符号化して生成した符号化データ（ビットストリーム）を、画像符号化装置１００の符号化方法に対応する復号方法で復号し、多視点の復号画像を得る。
図３１に示されるように、画像復号装置３００は、蓄積バッファ３０１、可逆復号部３０２、逆量子化部３０３、逆直交変換部３０４、演算部３０５、ループフィルタ３０６、画面並べ替えバッファ３０７、およびD/A変換部３０８を有する。また、画像復号装置３００は、デコードピクチャバッファ３０９、選択部３１０、イントラ予測部３１１、動き視差補償部３１２、および選択部３１３を有する。
さらに、画像復号装置３００は、多視点デコードピクチャバッファ３２１を有する。
蓄積バッファ３０１は、伝送されてきた符号化データを蓄積し、所定のタイミングにおいてその符号化データを可逆復号部３０２に供給する。可逆復号部３０２は、蓄積バッファ３０１より供給された、図１１の可逆符号化部１０６により符号化された情報を、可逆符号化部１０６の符号化方式に対応する方式で復号する。可逆復号部３０２は、復号して得られた差分画像の量子化された係数データを、逆量子化部３０３に供給する。
また、可逆復号部３０２は、符号化データを復号して得られた最適な予測モードに関する情報を参照し、最適な予測モードにイントラ予測モードが選択されたかインター予測モードが選択されたかを判定する。可逆復号部３０２は、その判定結果に基づいて、その最適な予測モードに関する情報を、イントラ予測部３１１若しくは動き視差補償部３１２に供給する。つまり、例えば、画像符号化装置１００において最適な予測モードとしてイントラ予測モードが選択された場合、その最適な予測モードに関する情報であるイントラ予測情報等がイントラ予測部３１１に供給される。また、例えば、画像符号化装置１００において最適な予測モードとしてインター予測モードが選択された場合、その最適な予測モードに関する情報であるインター予測情報等が動き視差補償部３１２に供給される。
逆量子化部３０３は、可逆復号部３０２により復号されて得られた量子化された係数データを、図１１の量子化部１０５の量子化方式に対応する方式で逆量子化し、得られた係数データを逆直交変換部３０４に供給する。逆直交変換部３０４は、図１１の直交変換部１０４の直交変換方式に対応する方式で逆量子化部３０３から供給される係数データを逆直交変換する。逆直交変換部３０４は、この逆直交変換処理により、画像符号化装置１００において直交変換される前の差分画像に対応する差分画像を得る。
逆直交変換されて得られた差分画像は、演算部３０５に供給される。また、演算部３０５には、選択部３１３を介して、イントラ予測部３１１若しくは動き視差補償部３１２から予測画像が供給される。
演算部３０５は、差分画像と予測画像とを加算し、画像符号化装置１００の演算部１０３により予測画像が減算される前の画像に対応する再構成画像を得る。演算部３０５は、その再構成画像をループフィルタ３０６に供給する。
ループフィルタ３０６は、供給された再構成画像に対して、デブロックフィルタ処理や適応ループフィルタ処理等を含むループフィルタ処理を適宜施して復号画像を生成する。例えば、ループフィルタ３０６は、再構成画像に対してデブロックフィルタ処理を行うことにより、ブロック歪を除去する。また、例えば、ループフィルタ３０６は、そのデブロックフィルタ処理結果（ブロック歪みの除去が行われた再構成画像）に対して、ウィナーフィルタ（Wiener Filter）を用いてループフィルタ処理を行うことにより画質改善を行う。
なお、ループフィルタ３０６が行うフィルタ処理の種類は任意であり、上述した以外のフィルタ処理を行ってもよい。また、ループフィルタ３０６が、図１１の画像符号化装置１００から供給されたフィルタ係数を用いてフィルタ処理を行うようにしてもよい。
ループフィルタ３０６は、フィルタ処理結果である復号画像を画面並べ替えバッファ３０７およびデコードピクチャバッファ３０９に供給する。なお、このループフィルタ３０６によるフィルタ処理は省略することもできる。つまり、演算部３０５の出力が、フィルタ処理されずに、デコードピクチャバッファ３０９に格納されるようにすることもできる。例えば、イントラ予測部３１１は、この画像に含まれる画素の画素値を周辺画素の画素値として利用する。
画面並べ替えバッファ３０７は、供給された復号画像の並べ替えを行う。すなわち、図１１の画面並べ替えバッファ１０２により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられる。D/A変換部３０８は、画面並べ替えバッファ３０７から供給された復号画像をD/A変換し、図示せぬディスプレイに出力し、表示させる。
デコードピクチャバッファ３０９は、供給される再構成画像（並びに、その画像のビューIDおよびPOC）や復号画像（並びに、その画像のビューIDおよびPOC）を記憶する。また、デコードピクチャバッファ３０９は、所定のタイミングにおいて、若しくは、イントラ予測部３１１や動き視差補償部３１２等の外部の要求に基づいて、記憶している再構成画像（並びに、その画像のビューIDおよびPOC）や復号画像（並びに、その画像のビューIDおよびPOC）を、選択部３１０を介してイントラ予測部３１１や動き視差補償部３１２に供給する。
イントラ予測部３１１は、図１１のイントラ予測部１１４と基本的に同様の処理を行う。ただし、イントラ予測部３１１は、符号化の際にイントラ予測により予測画像が生成された領域に対してのみ、イントラ予測を行う。
動き視差補償部３１２は、可逆復号部３０２から供給されるインター予測情報に基づいて動き視差補償を行い、予測画像を生成する。なお、動き視差補償部３１２は、可逆復号部３０２から供給されるインター予測情報に基づいて、符号化の際にインター予測が行われた領域に対してのみ、動き視差補償を行う。
動き視差補償部３１２は、予測処理単位の領域毎に、生成した予測画像を、選択部３１３を介して演算部３０５に供給する。
選択部３１３は、イントラ予測部３１１から供給される予測画像、若しくは、動き視差補償部３１２から供給される予測画像を演算部３０５に供給する。
デコードピクチャバッファ３０９は、処理対象のビューの画像（並びに、その画像のビューIDおよびPOC）のみを記憶するが、多視点デコードピクチャバッファ３２１は、各視点（ビュー）の画像（並びに、その画像のビューIDおよびPOC）を記憶する。つまり、多視点デコードピクチャバッファ３２１は、デコードピクチャバッファ３０９に供給された復号画像（並びに、その画像のビューIDおよびPOC）を取得し、デコードピクチャバッファ３０９とともにその復号画像（並びに、その画像のビューIDおよびPOC）を記憶する。
デコードピクチャバッファ３０９は、処理対象のビューが変わると、その復号画像を消去するが、多視点デコードピクチャバッファ３２１は、そのまま保持する。そして、デコードピクチャバッファ３０９などの要求に従って、記憶している復号画像（並びに、その画像のビューIDおよびPOC）を、「処理対象ではないビューの復号画像」として、デコードピクチャバッファ３０９に供給する。デコードピクチャバッファ３０９は、多視点デコードピクチャバッファ３２１から読み出した「処理対象ではないビューの復号画像（並びに、その画像のビューIDおよびPOC）」を、選択部３１０を介して動き視差補償部３１２に供給する。
［動き視差補償部］
図３２は、動き視差補償部３１２の主な構成例を示すブロック図である。
図３２に示されるように、動き視差補償部３１２は、符号化情報蓄積バッファ３３１、空間相関予測ベクトル生成部３３２、時間視差相関予測ベクトル生成部３３３、選択部３３４、演算部３３５、および予測画像生成部３３６を有する。
符号化情報蓄積バッファ３３１は、可逆復号部３０２において得られた、モード情報、差分動き視差情報、および予測情報を取得する。また、符号化情報蓄積バッファ３３１は、予測画像生成部３３６において使用された復号済みの動き視差ベクトルを記憶する。この動き視差ベクトルは、他の領域に対する処理において周辺領域の動き視差ベクトルとして使用される。
符号化情報蓄積バッファ３３１は、モード情報や復号済みの周辺領域の動き視差ベクトルを、空間相関予測ベクトル生成部３３２、若しくは、時間視差相関予測ベクトル生成部３３３の、予測情報において指定される予測ベクトルの種類（空間相関予測ベクトル若しくは時間視差相関予測ベクトル）に対応する方に供給する。
また、符号化情報蓄積バッファ３３１は、差分動き視差情報に含まれる差分動き視差ベクトルを演算部３３５に供給する。さらに、符号化情報蓄積バッファ３３１は、予測情報に含まれる参照画像インデックスを予測画像生成部３３６に供給する。
空間相関予測ベクトル生成部３３２は、符号化情報蓄積バッファ３３１から供給された情報に基づいて、空間相関予測ベクトルを生成する。この生成方法は、空間相関予測ベクトル生成部１３５の場合と同様である。ただし、空間相関予測ベクトル生成部３３２の場合、最適なインター予測モードは予め決められているので、そのモードについてのみ空間相関予測ベクトルを生成すればよい。空間相関予測ベクトル生成部３３２は、生成した空間相関予測ベクトルを、選択部３３４を介して演算部３３５に供給する。
時間視差相関予測ベクトル生成部３３３は、符号化情報蓄積バッファ３３１から供給された情報、可逆復号部３０２から供給されるカレント領域のビューIDやPOC等の情報、並びに、デコードピクチャバッファ３０９から供給される参照画像のビューIDやPOC等の情報に基づいて、時間視差相関予測ベクトルを生成する。この生成方法は、時間視差相関予測ベクトル生成部１３６の場合と同様である。ただし、時間視差相関予測ベクトル生成部３３３の場合、最適なインター予測モードは予め決められているので、そのモードについてのみ時間視差相関予測ベクトルを生成すればよい。時間視差相関予測ベクトル生成部３３３は、生成した時間視差相関予測ベクトルを、選択部３３４を介して演算部３３５に供給する。
選択部３３４は、空間相関予測ベクトル生成部３３２から空間相関予測ベクトルを供給された場合、それを演算部３３５に供給する。また、選択部３３４は、時間視差相関予測ベクトル生成部３３３から時間視差相関予測ベクトルを供給された場合、それを演算部３３５に供給する。
演算部３３５は、選択部３３４から供給される空間相関予測ベクトル若しくは時間視差相関予測ベクトルに、符号化情報蓄積バッファ３３１から供給される差分動き視差ベクトルを加算し、カレント領域の動き視差ベクトルを再構築する。演算部３３５は、再構築されたカレント領域の動き視差ベクトルを予測画像生成部３３６に供給する。
予測画像生成部３３６は、演算部３３５より供給される、再構築されたカレント領域の動き視差ベクトルと、符号化情報蓄積バッファ３３１から供給される参照画像インデックスと、デコードピクチャバッファ３０９から供給される周辺領域の画像である周辺画像画素値とを用いて、予測画像を生成する。予測画像生成部３３６は、生成した予測画像画素値を選択部３１３に供給する。
このようにすることにより、時間視差相関予測ベクトル生成部３３３は、時間視差相関予測ベクトル生成部１３６の場合と同様に、動き相関予測ベクトルだけでなく、視差相関予測ベクトルも生成することができる。したがって、動き視差補償部３１２は、カレント領域のベクトルが視差ベクトルの場合であっても、視差相関予測ベクトルを再構築することができる。すなわち、画像復号装置３００は、画像符号化装置１００により生成された符号化データを正しく復号することができるので、符号化効率の向上を実現することができる。
［復号処理の流れ］
次に、以上のような画像復号装置３００により実行される各処理の流れについて説明する。最初に、図３３のフローチャートを参照して、復号処理の流れの例を説明する。
復号処理が開始されると、ステップＳ３０１において、蓄積バッファ３０１は、伝送されてきたビットストリームを蓄積する。ステップＳ３０２において、可逆復号部３０２は、蓄積バッファ３０１から供給されるビットストリーム（符号化された差分画像情報）を復号する。このとき、イントラ予測情報やインター予測情報等、ビットストリームに含められた差分画像情報以外の各種情報も復号される。
ステップＳ３０３において、逆量子化部３０３は、ステップＳ３０２の処理により得られた、量子化された直交変換係数を逆量子化する。ステップＳ３０４において逆直交変換部３０４は、ステップＳ３０３において逆量子化された直交変換係数を逆直交変換する。
ステップＳ３０５において、イントラ予測部３１１若しくは動き視差補償部３１２は、供給された情報を用いて予測処理を行う。ステップＳ３０６において、演算部３０５は、ステップＳ３０４において逆直交変換されて得られた差分画像情報に、ステップＳ３０５において生成された予測画像を加算する。これにより再構成画像が生成される。
ステップＳ３０７において、ループフィルタ３０６は、ステップＳ３０６において得られた再構成画像に対して、デブロックフィルタ処理や適応ループフィルタ処理等を含むループフィルタ処理を適宜行う。
ステップＳ３０８において、画面並べ替えバッファ３０７は、ステップＳ３０７においてフィルタ処理されて生成された復号画像の並べ替えを行う。すなわち画像符号化装置１００の画面並べ替えバッファ１０２により符号化のために並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。
ステップＳ３０９において、D/A変換部３０８は、フレームの順序が並べ替えられた復号画像をD/A変換する。この復号画像が図示せぬディスプレイに出力され、表示される。
ステップＳ３１０において、デコードピクチャバッファ３０９は、ステップＳ３０７においてフィルタ処理されて得られた復号画像を記憶する。この復号画像は、インター予測処理において参照画像として利用される。
ステップＳ３１０の処理が終了すると、復号処理が終了される。
［予測処理の流れ］
次に、図３４のフローチャートを参照して、図３３のステップＳ３０５において実行される予測処理の流れの例を説明する。
予測処理が開始されると、可逆復号部３０２は、ステップＳ３３１において、処理対象のカレント領域が符号化の際にイントラ予測が行われたか否かを判定する。イントラ予測が行われたと判定された場合、可逆復号部３０２は、処理をステップＳ３３２に進める。
この場合、イントラ予測部３１１は、ステップＳ３３２において、可逆復号部３０２からイントラ予測モード情報を取得し、ステップＳ３３３において、イントラ予測によって予測画像を生成する。予測画像が生成されると、イントラ予測部３１１は、予測処理を終了し、処理を図３３に戻す。
また、ステップＳ３３１において、カレント領域がインター予測の行われた領域であると判定した場合、可逆復号部３０２は、処理をステップＳ３３４に進める。ステップＳ３３４において、動き視差補償部３１２は、動き視差補償処理を行う。動き視差補償処理が終了すると、動き視差補償部３１２は、予測処理を終了し、処理を図３３に戻す。
［動き視差補償処理の流れ］
次に、図３５のフローチャートを参照して、図３４のステップＳ３３４において実行される動き視差補償処理の流れの例を説明する。
動き視差補償処理が開始されると、ステップＳ３５１において、符号化情報蓄積バッファ３３１は、ステップＳ３５１において復号されたモード情報、動き視差情報、および予測情報等を記憶する。
ステップＳ３５２において、空間相関予測ベクトル生成部３３２、時間視差相関予測ベクトル生成部３３３、選択部３３４、および演算部３３５は、動き視差ベクトル生成処理を行い、カレント領域の動き視差ベクトルを再構築する。
動き視差ベクトルが再構築されると、ステップＳ３５３において、予測画像生成部３３６は、その動き視差ベクトルを用いて予測画像を生成する。
予測画像が生成されると、予測画像生成部３３６は、動き視差補償処理を終了し、処理を図３４に戻す。
［動き視差ベクトル生成処理の流れ］
次に、図３６のフローチャートを参照して、図３５のステップＳ３５２において実行される動き視差ベクトル生成処理の流れの例を説明する。
動き視差ベクトル生成処理が開始されると、符号化情報蓄積バッファ３３１は、ステップＳ３７１において、予測情報からスキップモードであるか否かを判定する。スキップモードであると判定された場合、符号化情報蓄積バッファ３３１は、処理をステップＳ３７２に進める。ステップＳ３７２において、空間相関予測ベクトル生成部３３２乃至演算部３３５は、マージモード処理を行い、マージモードで動き視差ベクトルを再構築する。なお、このマージモード処理においては、図２２のフローチャートを参照して説明した各処理と同様の処理が行われる。マージモード処理が終了すると、演算部３３５は、動き視差ベクトル生成処理を終了し、処理を図３５に戻す。
また、図３６のステップＳ３７１において、スキップモードではないと判定された場合、符号化情報蓄積バッファ３３１は、処理をステップＳ３７３に進める。ステップＳ３７３において、符号化情報蓄積バッファ３３１は、予測情報からマージモードであるか否かを判定する。マージモードであると判定された場合、符号化情報蓄積バッファ３３１は、処理をステップＳ３７２に戻し、マージモード処理を実行させる。
また、ステップＳ３７３において、マージモードではないと判定された場合、符号化情報蓄積バッファ３３１は、処理をステップＳ３７４に進める。
ステップＳ３７４において、符号化情報蓄積バッファ３３１は、参照画像のインデックスを取得する。ステップＳ３７５において、符号化情報蓄積バッファ３３１は、差分動き視差ベクトルを取得する。
ステップＳ３７６において、空間相関予測ベクトル生成部３３２若しくは時間視差相関予測ベクトル生成部３３３は、視差動きベクトル予測処理を行う。この視差動きベクトル予測処理は、図２３のフローチャートを参照して説明した場合と同様に行われる。ただし、この場合、予測方法は決められているので、空間相関予測処理と時間視差相関予測処理の内、いずれか一方（予測情報により指定される方）が行われる。
ステップＳ３７７において、演算部３３５は、ステップＳ３７６において再構築された予測ベクトルと、差分動き視差ベクトルとを加算し、動き視差ベクトルを再構築する。
ステップＳ３７７の処理が終了すると、演算部３３５は、動き視差ベクトル生成処理を終了し、処理を図３５に戻す。
以上のように各処理を実行することにより、時間視差相関予測ベクトル生成部３３３は、時間視差相関予測ベクトル生成部１３６の場合と同様に、動き相関予測ベクトルだけでなく、視差相関予測ベクトルも生成することができる。したがって、動き視差補償部３１２は、カレント領域のベクトルが視差ベクトルの場合であっても、視差相関予測ベクトルを再構築することができる。すなわち、画像復号装置３００は、画像符号化装置１００により生成された符号化データを正しく復号することができるので、符号化効率の向上を実現することができる。
＜３．第３の実施の形態＞
［ポイント］
多視点画像の場合、一般的に、視差を発生させるように画像の位置がビュー間でずれている。そのためビュー方向のブロックを選択するときに、同位置のブロックを選択（参照）しても、予測画像の予測精度が低くなってしまい、適切な予測ベクトルを作ることができない可能性がある。
そこで、予測ベクトル生成のために、ビュー方向のブロックを選択するときに、シフトした位置のブロックを選択する。つまり、カレント領域と同一の時刻の画像の位置をシフトさせた状態でカレント領域と同じ位置となる領域のベクトルを用いて、予測ベクトルを生成するようにする。
このシフト量を、周辺ブロックの視差ベクトルから予め決められた手順で算出するようにする。この手順を符号化側の装置と復号側の装置とで共通化することにより、符号化側と復号側で、同様の予測を行うことができる。
なお、シフト量を計算するための周辺ブロックを明示的に指定し、その情報を、符号化側から復号側に伝送するようにしてもよい。また、シフト量の演算方法に関する情報も符号化側から復号側に伝送するようにしてもよい。
以上のようにすることにより、画像符号化装置においても、画像復号装置においても、ビュー間で位置合わせしたブロックから予測ベクトルを生成することができる。したがって、予測画像の予測精度を向上させることができ、符号化効率を向上させることができる。
以下に、詳細を説明する。
［画像符号化装置］
図３７は、本技術を適用した画像符号化装置の他の構成例を示すブロック図である。
図３７に示される画像符号化装置４００は、基本的に上述した画像符号化装置１００と同様の装置である。ただし、画像符号化装置４００は、ビュー間で位置合わせしたブロックから予測ベクトルを生成する。
図３７に示されるように、画像符号化装置４００は、動き予測・補償部４１５およびBase Viewエンコーダ４２１を有する。
動き予測・補償部４１２は、デコードピクチャバッファ１１２から取得したデコード画像と、Base Viewエンコーダ４２１から取得したベースビューの動き情報を用いて、ビュー方向のブロックを参照する予測ベクトルを生成する。
Base Viewエンコーダ４２１は、ベースビューの符号化を行う。Base Viewエンコーダ４２１は、ベースビューのデコード画像をデコードピクチャバッファ１１２に供給し、記憶させる。デコードピクチャバッファ１１２には、さらに、ループフィルタ１１１から供給されるノンベースビューのデコード画像も記憶される。
Base Viewエンコーダ４２１は、ベースビューの動き情報を動き予測・補償部４１２に供給する。
［動き予測・補償部］
図３８は、図３７の動き予測・補償部４１２の主な構成例を示すブロック図である。
図３８に示されるように、動き予測・補償部４１２は、インターモード生成部４３１、参照インデックス決定部４３２、ベクトル予測部４３３、ベクトル予測部４３４、およびモード判定部４３５を有する。各処理部の間では、図３８に示される情報が授受される。
ベクトル予測部４３３は、インター予測モードの場合、予測ベクトルを生成し、その予測画像を生成する。ベクトル予測部４３４は、スキップモードやマージモード等の場合、予測ベクトルを生成し、その予測画像を生成する。これらにおいて生成された予測ベクトルや予測画像は、モード判定部４３５に供給される。
モード判定部４３５は、これらの情報に基づいてモード判定を行い、選択したモードを示すモード情報と、そのモードの予測ベクトルを可逆符号化部１０６に供給する。また、選択されたモードの予測画像は、予測画像選択部１１６に供給される。
［ベクトル予測部］
図３９は、ベクトル予測部４３３の主な構成例を示すブロック図である。
図３９に示されるように、ベクトル予測部４３３は、動き／視差ベクトル探索部４５１、予測画像生成部４５２、ベクトルコスト算出部４５３、ベクトル判定部４５４、ベクトル情報蓄積バッファ４５５、周辺ブロックからの予測ベクトル生成部４５６、異なるピクチャからの予測ベクトル生成部４５７、および選択部４５８を有する。各処理部の間では、図３９に示される情報が授受される。
異なるピクチャからの予測ベクトル生成部４５７は、異なるピクチャを参照する予測ベクトルを生成する。つまり、異なるピクチャからの予測ベクトル生成部４５７は、時間方向とビュー方向の各方向に異なるピクチャを参照し、予測ベクトルを生成する。ビュー方向に異なるピクチャを参照する予測ベクトルを生成する場合、異なるピクチャからの予測ベクトル生成部４５７は、Base Viewエンコーダ４２１からベースビューの動き情報を取得し、その動き情報を用いて、予測ベクトルを生成する。
異なるピクチャからの予測ベクトル生成部４５７が生成した予測ベクトルは、選択部４５８を介してベクトルコスト算出部４５３に供給されて、モード判定に用いられるコスト関数値が算出される。
［異なるピクチャからの予測ベクトル生成部］
図４０は、異なるピクチャからの予測ベクトル生成部４５７の主な構成例を示すブロック図である。
図４０に示されるように、異なるピクチャからの予測ベクトル生成部４５７は、視差ベクトル判定部４７１、ビュー間参照ベクトル生成部４７２、およびビュー内参照ベクトル生成部４７３を有する。
視差ベクトル判定部４７１は、周辺ブロックの視差ベクトルから、参照画像のシフト量を算出する。このシフト量の算出方法は、任意である。例えば、周辺ブロックの視差ベクトルの中からいずれか１つを選択し、それをシフト量としてもよい。また、例えば、周辺ブロックの視差ベクトルの平均値や中央値をシフト量としてもよい。
視差ベクトル判定部４７１は、このように求めたシフト量を視差ベクトルとして、ビュー間参照ベクトル生成部４７２に供給する。
ビュー間参照ベクトル生成部４７２は、ビュー方向に異なるピクチャを参照する予測ベクトルを生成する。
ビュー間参照ベクトル生成部４７２は、視差ベクトル判定部４７１により選ばれた視差ベクトル（シフト量）、Base Viewエンコーダ４２１から供給されるベースビューの動きベクトル（ノンベースビューの場合は視差ベクトルも含む）、並びに、ベクトル情報蓄積バッファ４５５から読み出した、参照画像インデックス、ビュー間の同一時刻の動き／視差ベクトル等の情報を用いて、視差ベクトルを考慮した予測ベクトルを生成する。
つまり、ビュー間参照ベクトル生成部４７２は、視差ベクトル判定部４７１により算出されたシフト量を用いて参照するビューの画像の位置合わせ（シフト）を行う。そして、ビュー間参照ベクトル生成部４７２は、その位置合わせを行ったブロックから予測ベクトルを生成する。
ビュー間参照ベクトル生成部４７２は、生成した予測ベクトルを、選択部４５８（図４０では図示せず）を介して、ベクトルコスト算出部４５３に供給する。
なお、ビュー内参照ベクトル生成部４７３は、時間方向に異なるピクチャを参照する予測ベクトルを生成する。
以上のようにすることにより、ビュー間参照ベクトル生成部４７２は、予測精度の高い、適切な予測ベクトルを作ることができる。これにより、画像符号化装置４００は、符号化効率を向上させることができる。
［動き予測・補償処理の流れ］
図４１のフローチャートを参照して、動き予測・補償処理の流れの例を説明する。
動き予測・補償処理が開始されると、インターモード生成部４３１は、ステップＳ４０１において、インター予測モード、スキップモード、マージモード等の中からいずれかを選択し、そのモードを指定する情報であるインターモードを生成する。
ステップＳ４０２において、インターモード生成部４３１は、生成したインターモードがインター予測モードであるか否かを判定する。
インター予測モードである場合、ステップＳ４０３において、インターモード生成部４３１は、参照画像を決定し、ステップＳ４０４において、ベクトル予測部４３３は、ベクトル予測処理を実行する。
また、インター予測モードでない場合、ステップＳ４０４において、ベクトル予測部４３４は、ベクトル予測処理を行う。
ステップＳ４０５において、モード判定部４３５は、ステップＳ４０４において生成された予測ベクトル等に基づいて、モードを判定する。このモードは、ステップＳ４０１の処理に利用される。
ステップＳ４０５において、可逆符号化部１０６は、ステップＳ４０５において判定されたモードの情報を符号化する。
［ベクトル予測処理の流れ］
図４２のフローチャートを参照して、図４１のステップＳ４０４においてベクトル予測部４３３により実行されるベクトル予測処理の流れの例を説明する。
ベクトル予測処理が開始されると、動き／視差ベクトル探索部４５１は、ステップＳ４２１において、ベクトルの探索を行う。
ステップＳ４２２において、予測画像生成部４５２は、予測画像を生成する。
ステップＳ４２３において、ベクトルコスト算出部４５３は、残差画像を生成する。
ステップＳ４２４において、周辺ブロックからの予測ベクトル生成部４５６および異なるピクチャからの予測ベクトル生成部４５７は、符号化済みベクトルから予測ベクトルを生成する。
ステップＳ４２５において、ベクトルコスト算出部４５３は、ベクトルの残差を計算する。
ステップＳ４２６において、ベクトル判定部４５４は、最小コストの予測ベクトルを判定する。この処理結果は、ステップＳ４２４の処理に反映される。
ステップＳ４２７において、ベクトル情報蓄積バッファ４５５は、ベクトル情報を蓄積し、処理を図４１に戻す。
［予測ベクトル生成処理の流れ］
次に、図４３のフローチャートを参照して、図４２のステップＳ４２４において実行される予測ベクトル生成処理の流れの例を説明する。
予測ベクトル生成処理が開始されると、選択部４５８は、ステップＳ４４１において、どのブロックを参照するかを判定する。
当該ピクチャの周辺ブロックを参照すると判定された場合、周辺ブロックからの予測ベクトル生成部４５６は、ステップＳ４４２において、周辺ブロックの符号化済みベクトルを予測ベクトルにし、処理を図４２に戻す。
また、ステップＳ４４１において、異なるピクチャのブロックを参照すると判定された場合、選択部４５８は、処理をステップＳ４４３に進め、どのビューのピクチャを参照するかを判定する。
異なるビューのピクチャを参照すると判定された場合、異なるピクチャからの予測ベクトル生成部４５７は、ステップＳ４４４において、ビュー方向に拡張された符号化済みコロケーテッドブロック（Co-located Block）からビュー方向の予測ベクトルを生成し、処理を図４２に戻す。
また、ステップＳ４４３において、同じビューのピクチャを参照すると判定された場合、異なるピクチャからの予測ベクトル生成部４５７は、ステップＳ４４５において、符号化済みコロケーテッドブロック（Co-located Block）から時間方向の予測ベクトルを生成し、処理を図４２に戻す。
［異なるピクチャからの予測ベクトル生成処理の流れ］
次に、図４４のフローチャートを参照して、図４３のステップＳ４４４において実行される異なるピクチャからの予測ベクトル生成処理の流れの例を説明する。
異なるピクチャからの予測ベクトル生成処理が開始されると、視差ベクトル判定部４７１は、ステップＳ４６１において、周辺ブロックの視差ベクトルからシフト量を決定する。
ステップＳ４６２において、ビュー間参照ベクトル生成部４７２は、シフトされた位置のコロケーテッドブロックを選択する。
ステップＳ４６３において、ビュー間参照ベクトル生成部４７２は、コロケーテッドブロックから予測ベクトルを生成し、処理を図４３に戻す。
［シフト量決定処理の流れ］
次に、図４５のフローチャートを参照して、図４４のステップＳ４６１において実行されるシフト量決定処理の流れの例を説明する。
ステップＳ４８１において、視差ベクトル判定部４７１は、周辺ブロックの視差ベクトルで、Ｙ方向ベクトルの値が非ゼロのブロックが複数存在するか否かを判定する。
周辺ブロックは、処理対象であるカレントブロック（カレントブロック）の周辺（「隣接」を含む）に位置するブロックである。例えば、図４６に示されるように、カレントブロック（Curr）の左に隣接するブロック（Left）、カレントブロックの上に隣接するブロック（Above）、および、カレントブロックの右上に隣接するブロック（Above Right）が周辺ブロックとされる。もちろん、これら以外のブロックを周辺ブロックに含めても良いし、これらのブロックの一部または全部を周辺ブロックとしないようにしてもよい。
周辺ブロックの位置は、全ブロックにおいて共通としてもよいが、ブロックによって異なるようにしてもよい。例えば、画面端やスライス境界に隣接するブロックをカレントブロックとする場合、周辺ブロックの一部を使用不可としてもよい。
ステップＳ４８１において、Ｙ方向ベクトルの値が非ゼロのブロックが複数存在しないと判定した場合、視差ベクトル判定部４７１は、処理をステップＳ４８２に進め、対象のＸ方向の視差ベクトルをシフト量とし、処理を図４４に戻す。
また、ステップＳ４８１において、Ｙ方向ベクトルの値が非ゼロのブロックが複数存在すると判定した場合、視差ベクトル判定部４７１は、処理をステップＳ４８３に進め、対象のＸ方向の視差ベクトルの平均値をシフト量とし、処理を図４４に戻す。
以上のように各処理を実行することにより、動き予測・補償部４１５は、予測精度の高い、適切な予測ベクトルを作ることができる。これにより、画像符号化装置４００は、符号化効率を向上させることができる。
＜４．第４の実施の形態＞
［画像復号装置］
図４７は、本技術を適用した画像復号装置の他の構成例を示すブロック図である。
図４７に示される画像復号装置５００は、基本的に上述した画像復号装置３００と同様の装置である。ただし、画像復号装置５００は、画像符号化装置４００の場合と同様に、ビュー間で位置合わせしたブロックから予測ベクトルを生成する。
図４７に示されるように、画像復号装置５００は、動き補償部５１２およびBase Viewデコーダ５２１を有する。
動き補償部５１２は、デコードピクチャバッファ３０９から取得したデコード画像と、Base Viewデコーダ５２１から取得したベースビューの動き情報を用いて、ビュー方向のブロックを参照する予測ベクトルを生成する。
Base Viewデコーダ５２１は、ベースビューの符号化を行う。Base Viewデコーダ５２１は、ベースビューのデコード画像をデコードピクチャバッファ３０９に供給し、記憶させる。デコードピクチャバッファ３０９には、さらに、ループフィルタ３０６から供給されるノンベースビューのデコード画像も記憶される。
Base Viewデコーダ５２１は、ベースビューの動き情報を動き補償部５１２に供給する。
［動き補償部］
図４８は、図４７の動き補償部５１２の主な構成例を示すブロック図である。
図４８に示されるように、動き補償部５１２は、モード判定部５３１、参照インデックス決定部５３２、ベクトル復号部５３３、およびベクトル復号部５３４を有する。各処理部の間では、図４８に示される情報が授受される。
ベクトル復号部５３３は、インター予測モードの場合、画像符号化装置４００から伝送された残差ベクトルを復号し、予測ベクトルを生成する。また、ベクトル復号部５３３は、その予測ベクトルを用いて予測画像を生成する。その予測画像は、予測画像選択部３１３に供給される。
ベクトル復号部５３４は、スキップモードやマージモードの場合、画像符号化装置４００から伝送された残差ベクトルを復号し、予測ベクトルを生成する。また、ベクトル復号部５３４は、その予測ベクトルを用いて予測画像を生成する。その予測画像は、予測画像選択部３１３に供給される。
［ベクトル復号部］
図４９は、ベクトル復号部５３３の主な構成例を示すブロック図である。
図４９に示されるように、ベクトル復号部５３３は、選択部５５１、周辺ブロックからの予測ベクトル生成部５５２、異なるピクチャからの予測ベクトル生成部５５３、選択部５５４、演算部５５５、予測画像生成部５５６、およびベクトル情報蓄積バッファ５５７を有する。各処理部の間では、図４９に示される情報が授受される。
選択部５５１は、可逆復号部３０２から供給されるベクトルインデックスを、インターモードに応じて、周辺ブロックからの予測ベクトル生成部５５２（スキップモード若しくはマージモード等の場合）、若しくは、異なるピクチャからの予測ベクトル生成部５５３（インター予測モードの場合）に供給する。
ベクトルインデックスが供給された、周辺ブロックからの予測ベクトル生成部５５２は、ベクトル情報蓄積バッファ５５７から取得したベクトル情報を用いて、カレントピクチャ内の周辺ブロックからの予測ベクトルを生成する。
ベクトルインデックスが供給された、異なるピクチャからの予測ベクトル生成部５５３は、ベクトル情報蓄積バッファ５５７から取得したベクトル情報を用いて、カレントビュー内の異なるピクチャからの予測ベクトルを生成する。また、異なるピクチャからの予測ベクトル生成部５５３は、ベクトル情報蓄積バッファ５５７から取得したベクトル情報や、Base Viewデコーダ５２１から供給されるベースビューの動き情報を用いて、異なるビューの異なるピクチャからの予測ベクトルを生成する。
この異なるピクチャからの予測ベクトル生成部５５３は、異なるピクチャからの予測ベクトル生成部４５７の視差ベクトル判定部４７１と同様の処理部であり、同様の方法で予測ベクトルを生成する。
選択部５５４は、周辺ブロックからの予測ベクトル生成部５５２が生成した予測ベクトル、若しくは、異なるピクチャからの予測ベクトル生成部５５３が生成した予測ベクトルを演算部５５５に供給する。
演算部５５５は、可逆復号部３０２から供給される動き／視差ベクトルの差分値（残差ベクトル）と、予測ベクトルを加算し、カレント領域の動き／視差ベクトルを生成する。演算部５５５は、その動き／視差ベクトルを予測画像生成部５５６に供給する。また、演算部５５５は、その動き／視差ベクトルをベクトル情報蓄積バッファ５５７に供給し、記憶させる。
予測画像生成部５５６は、演算部５５５から供給されたカレント領域の動き／視差ベクトル、可逆復号部３０２から供給される参照画像インデックス、および、デコードピクチャバッファ３０９から供給される復号画像画素値を用いて予測画像を生成する。予測画像生成部５５６は、生成した予測画像画素値を予測画像選択部３１３に供給する。
［異なるピクチャからの予測ベクトル生成部］
図５０は、異なるピクチャからの予測ベクトル生成部５５３の主な構成例を示すブロック図である。
図５０に示されるように、異なるピクチャからの予測ベクトル生成部５５３は、視差ベクトル判定部５７１、ビュー間参照ベクトル生成部５７２、およびビュー内参照ベクトル生成部５７３を有する。
この視差ベクトル判定部５７１、ビュー間参照ベクトル生成部５７２、およびビュー内参照ベクトル生成部５７３は、それぞれ、異なるピクチャからの予測ベクトル生成部４５７の視差ベクトル判定部４７１、ビュー間参照ベクトル生成部４７２、およびビュー内参照ベクトル生成部４７３と同様の処理部であり、同様の処理を行う。
つまり、視差ベクトル判定部５７１は、視差ベクトル判定部４７１と同様の方法で、参照先のビューの画像のシフト量を算出し、その画像をシフトする。
したがって、異なるピクチャからの予測ベクトル生成部５５３は、残差ベクトルを正しく復号し、異なるピクチャからの予測ベクトル生成部４５７が生成する予測ベクトルと同様の、予測精度の高い適切な予測ベクトルを生成することができる。つまり、ベクトル復号部５３３は、ベクトル予測部４３３が生成する予測画像と同様の予測画像を生成することができる。したがって、画像復号装置５００は、画像符号化装置４００が生成した符号化データを正しく復号することができ、符号化効率の向上を実現することができる。
なお、視差ベクトル判定部５７１によるシフト量の算出方法は、視差ベクトル判定部４７１と同じである限り、任意である。例えば、周辺ブロックの視差ベクトルの中からいずれか１つを選択し、それをシフト量としてもよい。また、例えば、周辺ブロックの視差ベクトルの平均値や中央値をシフト量としてもよい。
［動き補償処理の流れ］
図５１のフローチャートを参照して、動き補償処理の流れの例を説明する。
動き予測・補償処理が開始されると、モード判定部５３１は、ステップＳ５０１において、インターモードを復号し、ステップＳ５０２において、インター予測モードであるか否かを判定する。
インター予測モードである場合、ステップＳ５０３において、ベクトル復号部５３３は、参照画像を決定し、ステップＳ５０４において、ベクトル復号処理を行い、残差ベクトルを復号し、予測画像を生成する。
また、インター予測モードでない場合、ステップＳ５０４において、ベクトル復号部５３４は、ベクトル復号処理を行い、残差ベクトルを復号し、予測画像を生成する。
［ベクトル復号処理の流れ］
図５２のフローチャートを参照して、図５１のステップＳ５０４においてベクトル復号部５３３により実行されるベクトル復号処理の流れの例を説明する。
ベクトル復号処理が開始されると、可逆復号部３０２は、ステップＳ５２１において、残差ベクトル（差分ベクトル）を復号する。
ステップＳ５２２において、可逆復号部３０２は、参照画像インデックスを復号する。
ステップＳ５２３において、可逆復号部３０２は、ベクトルインデックスを復号する。
ステップＳ５２４において、周辺ブロックからの予測ベクトル生成部５５２および異なるピクチャからの予測ベクトル生成部５５３は、符号化済みベクトルから予測ベクトルを生成する。演算部５５５は、この予測ベクトルを残差ベクトルに加算して、カレント領域の動き／視差ベクトルを生成する。
ステップＳ５２５において、予測画像生成部５５６は、ステップＳ５２４において生成された動き／視差ベクトルを用いて予測画像を生成する。
ステップＳ５２６において、ベクトル情報蓄積バッファ４５５は、ベクトル情報を蓄積し、処理を図５１に戻す。
［予測ベクトル生成処理の流れ］
次に、図５３のフローチャートを参照して、図５２のステップＳ５２４において実行される予測ベクトル生成処理の流れの例を説明する。
予測ベクトル生成処理が開始されると、選択部５５４は、ステップＳ５４１において、どのブロックを参照するかを判定する。
カレントピクチャの周辺ブロックを参照すると判定された場合、周辺ブロックからの予測ベクトル生成部５５２は、ステップＳ５４２において、周辺ブロックの符号化済みベクトルを予測ベクトルにし、処理を図５２に戻す。
また、ステップＳ５４１において、異なるピクチャのブロックを参照すると判定された場合、選択部５５４は、処理をステップＳ５４３に進め、どのビューのピクチャを参照するかを判定する。
異なるビューのピクチャを参照すると判定された場合、異なるピクチャからの予測ベクトル生成部５５３は、ステップＳ５４４において、ビュー方向に拡張された符号化済みコロケーテッドブロック（Co-located Block）からビュー方向の予測ベクトルを生成し、処理を図５２に戻す。
また、ステップＳ５４３において、同じビューのピクチャを参照すると判定された場合、異なるピクチャからの予測ベクトル生成部５５３は、ステップＳ５４５において、符号化済みコロケーテッドブロック（Co-located Block）から時間方向の予測ベクトルを生成し、処理を図５２に戻す。
［異なるピクチャからの予測ベクトル生成処理の流れ］
次に、図５４のフローチャートを参照して、図５３のステップＳ５４４において実行される異なるピクチャからの予測ベクトル生成処理の流れの例を説明する。
異なるピクチャからの予測ベクトル生成処理が開始されると、視差ベクトル判定部５７１は、ステップＳ５６１において、周辺ブロックの視差ベクトルからシフト量を決定する。
ステップＳ５６２において、ビュー間参照ベクトル生成部５７２は、シフトされた位置のコロケーテッドブロックを選択する。
ステップＳ５６３において、ビュー間参照ベクトル生成部５７２は、コロケーテッドブロックから予測ベクトルを生成し、処理を図５３に戻す。
つまり、図４４のフローチャートの場合と同様の流れで行われる。
［シフト量決定処理の流れ］
次に、図５５のフローチャートを参照して、図５４のステップＳ５６１において実行されるシフト量決定処理の流れの例を説明する。
ステップＳ５８１において、視差ベクトル判定部５７１は、周辺ブロックの視差ベクトルで、Ｙ方向ベクトルの値が非ゼロのブロックが複数存在するか否かを判定する。
ステップＳ５８１において、Ｙ方向ベクトルの値が非ゼロのブロックが複数存在しないと判定した場合、視差ベクトル判定部５７１は、処理をステップＳ５８２に進め、対象のＸ方向の視差ベクトルをシフト量とし、処理を図５４に戻す。
また、ステップＳ５８１において、Ｙ方向ベクトルの値が非ゼロのブロックが複数存在すると判定した場合、視差ベクトル判定部５７１は、処理をステップＳ５８３に進め、対象のＸ方向の視差ベクトルの平均値をシフト量とし、処理を図５４に戻す。
つまり、図４５のフローチャートの場合と同様の流れで行われる。周辺ブロックについても同様である。
以上のように各処理を実行することにより、動き補償部５１２は、予測精度の高い、適切な予測ベクトルを作ることができる。これにより、画像復号装置５００は、符号化効率の向上を実現させることができる。
なお、上述したように、シフト量を計算するための周辺ブロックや、シフト量演算方法等の情報を、画像符号化装置４００から画像復号装置５００に伝送するようにしてもよい。
＜５．第５の実施の形態＞
［予測ベクトル］
なお、第３および第４の実施の形態で説明したように、予測ベクトル生成のために、ビュー方向のブロックを選択するときに、シフトした位置のブロックを選択することができる。
この予測ベクトルの候補を、カレント領域と同じビューの異なる時刻のピクチャに属する同位置のブロックであるコロケーテッドブロックのベクトル（コロケーテッドブロック）、若しくは、グローバル視差ベクトルを用いて生成するようにしてもよい。
例えば、図５６に示されるように、３Ｄ画像の左右画像のいずれか一方（例えば左眼用画像）をベースビュー（base view）とし、他方（例えば右眼用画像）をディペンデントビュー（dependent view）とする。
そのディペンデントビューのカレントピクチャ６０１のカレント領域６１１のベクトル（符号化ベクトル（Coding vector））６２１を予測する際に、例えば、カレント領域と同じビューの異なる時刻のピクチャであるコロケーテッドピクチャ６０２の、カレント領域と同じ位置にあるコロケーテッドブロック６１２の動きベクトル（コロケーテッドベクトル）６２２、若しくは、グローバル視差ベクトル（図示せず）を用いて、予測ベクトル求めるようにしてもよい。
例えば、カレントピクチャ６０１と同じ時刻のベースビューのピクチャ６０３のカレント領域１１と同じ位置から、コロケーテッドブロック６２２若しくはグローバル視差ベクトル分（ベクトル６３１）シフトした位置のブロック６１３のベクトル６２３を、符号化ベクトル（MV）６２１の予測ベクトル（PMV）としてもよい。また、コロケーテッドブロック６２２若しくはグローバル視差ベクトルを、符号化ベクトル（MV）６２１の予測ベクトルとしてもよい。
この手順を符号化側の装置と復号側の装置とで共通化することにより、符号化側と復号側で、同様の予測を行うことができる。
なお、コロケーテッドブロックおよびグローバル視差ベクトルのいずれを用いるかを示す情報や、コロケーテッドブロック若しくはグローバル視差ベクトルに関する情報等を明示的に指定し、その情報を、符号化側から復号側に伝送するようにしてもよい。また、シフト量の演算方法に関する情報も符号化側から復号側に伝送するようにしてもよい。
以上のようにすることにより、画像符号化装置においても、画像復号装置においても、ビュー間で同じように位置合わせしたブロックから予測ベクトルを生成することができる。したがって、予測画像の予測精度を向上させることができ、符号化効率を向上させることができる。
［グローバル視差ベクトル］
次に、グローバル視差ベクトルについて説明する。グローバル視差ベクトルは、グローバルな（例えば、ピクチャ、スライス、LCU、若しくはCU等の、所定の単位毎の）代表的な視差ベクトルである。例えば、ピクチャ毎に生成されるグローバル視差ベクトルは、ビュー間の視差量を示す。グローバル視差ベクトルの生成方法は任意である。
なお、グローバル視差ベクトルの詳細な例は、Junghak Nam, Hyomin Choi, Sunmi Yoo, Woong Lim, Donggyu Sim, "3D-HEVC-CE3 result on KWU's advanced motion and disparity prediction method based on global disparity", INTERNATIONAL ORGANISATION FOR STANDARDISATION ORGANISATION INTERNATIONALE DE NORMALISATION ISO/IEC JTC1/SC29/WG11 CODING OF MOVING PICTURES AND AUDIO, ISO/IEC JTC1/SC29/WG11 MPEG2011/M23620, February 2012, San Jose, CAに記載されている。
図５７は、視差と奥行きについて説明する図である。
図５７に示すように、被写体Ｍのカラー画像が、位置Ｃ１に配置されたカメラｃ１と位置Ｃ２に配置されたカメラｃ２により撮影される場合、被写体Ｍの、カメラｃ１（カメラｃ２）からの奥行方向の距離である奥行きＺは、以下の式（１）で定義される。
Z = (L/d)×f ・・・（１）
なお、Ｌは、位置Ｃ１と位置Ｃ２の水平方向の距離（以下、カメラ間距離という）である。また、ｄは、カメラｃ１で撮影されたカラー画像上の被写体Ｍの位置の、カラー画像の中心からの水平方向の距離ｕ１から、カメラｃ２で撮影されたカラー画像上の被写体Ｍの位置の、カラー画像の中心からの水平方向の距離ｕ２を減算した値、即ち視差（disparity）である。さらに、fは、カメラｃ１の焦点距離であり、式（１）では、カメラｃ１とカメラｃ２の焦点距離は同一であるものとしている。
つまり、視差ｄは、以下の式（２）のように定義される。
Figure 2016187208
 ・・・（２）
式（１）や式（２）に示されるように、視差ｄと奥行きＺは、一意に変換可能である。従って、本明細書では、カメラｃ１とカメラｃ２により撮影された２視点のカラー画像の視差ｄを表す画像と奥行きＺを表す画像とを総称して、デプス画像（視差画像）とする。
なお、デプス画像（視差画像）は、視差ｄまたは奥行きＺを表す画像であればよく、デプス画像（視差画像）の画素値としては、視差ｄまたは奥行きＺそのものではなく、視差ｄを正規化した値、奥行きＺの逆数１／Ｚを正規化した値等を採用することができる。
奥行きＺは、以下の式（３）により求めることができる。
Figure 2016187208
 ・・・（３）
なお、式（３）において、Ｚfarは、奥行きＺの最大値であり、Ｚnearは、奥行きＺの最小値である。最大値Ｚfarと最小値Ｚnearは、１画面単位で設定されてもよいし、複数画面単位で設定されてもよい。
このように、本明細書では、視差dと奥行きZとは一意に変換可能であることを考慮して、視差ｄを正規化した値Iを画素値とする画像と、奥行きＺの逆数１／Ｚを正規化した値yを画素値とする画像とを総称して、デプス画像（視差画像）とする。ここでは、デプス画像（視差画像）のカラーフォーマットは、YUV420又はYUV400であるものとするが、他のカラーフォーマットにすることも可能である。
なお、デプス画像（視差画像）の画素値としてではなく、値I又は値yの情報自体に着目する場合には、値I又は値yを、デプス情報（視差情報）とする。更に、値I又は値yをマッピングしたものをデプスマップ（視差マップ）とする。
［予測ベクトルの生成］
予測ベクトルは、例えば図５８に示される表のように、符号化ベクトルおよびコロケーテッドベクトルの両方の特性に応じた方法で生成される。
例えば、図５８の表の下から６段目に示されるように、符号化ベクトルおよびコロケーテッドベクトルの両方が動きベクトル（Motion vector）の場合、コロケーテッドベクトルが予測ベクトル候補とされる。
また、例えば、図５８の表の下から２段目に示されるように、符号化ベクトルおよびコロケーテッドベクトルの両方が視差ベクトル（Inter-view vector）の場合、コロケーテッドベクトルが予測ベクトル候補とされる。
これらに対して、例えば、図５８の表の下から５段目に示されるように、符号化ベクトルが動きベクトル（Motion vector）であり、かつ、コロケーテッドベクトルが視差ベクトル（Inter-view vector）である場合、コロケーテッドベクトル分だけシフトしたブロックのベースビューの動きベクトルが予測ベクトル候補とされる。
また、例えば、図５８の表の下から４段目に示されるように、符号化ベクトルが動きベクトル（Motion vector）であり、かつ、コロケーテッドブロックがイントラモードである場合、グローバル視差ベクトル分だけシフトしたブロックのベースビューの動きベクトルが予測ベクトル候補とされる。
さらに、例えば、図５８の表の下から３段目に示されるように、符号化ベクトルが視差ベクトル（Inter-view vector）であり、かつ、コロケーテッドベクトルが動きベクトル（Motion vector）である場合、グローバル視差ベクトルが予測ベクトル候補とされる。
また、例えば、図５８の表の下から１段目に示されるように、符号化ベクトルが視差ベクトル（Inter-view vector）であり、かつ、コロケーテッドブロックがイントラモードである場合、グローバル視差ベクトルが予測ベクトル候補とされる。
このように予測ベクトルの候補の生成方法を増やすことにより、予測ベクトルの予測精度を向上させ、符号化効率を向上させることができる。
［画像符号化装置］
この場合の画像符号化装置の構成例は、図３５乃至図３８に示される画像符号化装置４００の場合と同様であるので、その説明を省略する。
［処理の流れ］
また、この場合の、動き予測・補償処理は、図３９のフローチャートを参照して説明した場合と同様に行われる。また、この場合の、ベクトル予測処理は、図４０のフローチャートを参照して説明した場合と同様に行われる。したがって、これらの処理の説明は省略する。
図５９のフローチャートを参照して、この場合の予測ベクトル生成処理の流れの例を説明する。
予測ベクトル生成処理が開始されると、選択部４５８は、ステップＳ６０１において、どのブロックを参照するかを判定する。
周辺ブロックを参照すると判定された場合、処理はステップＳ６０２に進む。ステップＳ６０２において、周辺ブロックからの予測ベクトル生成部４５６は、周辺ブロックの符号化済みベクトルを予測ベクトルにする。ステップＳ６０２の処理が終了すると、予測ベクトル生成処理が終了され、処理は、図４０に戻る。
また、ステップＳ６０１において、参照先として異なるピクチャのブロックが選択された場合、処理は、ステップＳ６０３に進む。ステップＳ６０３において、異なるピクチャからの予測ベクトル生成部４５７は、異なる時刻・ビューのブロックの符号化済みベクトルを予測ベクトルにする。ステップＳ６０３の処理が終了すると、予測ベクトル生成処理が終了され、処理は、図４０に戻る。
次に、図６０および図６１のフローチャートを参照して、図５９のステップＳ６０３において実行される、異なるピクチャからの予測ベクトル生成処理の流れの例を説明する。
異なるピクチャからの予測ベクトル生成処理が開始されると、視差ベクトル判定部４７１は、ステップＳ６２１において、符号化ベクトルが動きベクトルであるか否かを判定する。動きベクトルであると判定された場合、処理は、ステップＳ６２２に進む。
ステップＳ６２２において、視差ベクトル判定部４７１は、コロケーテッドブロックのモードが何かを判定する。コロケーテッドブロックのモードが動きベクトルであると判定された場合、処理は、ステップＳ６２３に進む。
ステップＳ６２３において、ビュー内参照ベクトル生成部４７３は、コロケーテッドベクトルを予測ベクトルにセットする。ステップＳ６２３の処理が終了すると、異なるピクチャからの予測ベクトル生成処理が終了し、処理は、図５９に戻る。
また、ステップＳ６２２において、コロケーテッドブロックのモードがイントラ予測であると判定された場合、処理は、ステップＳ６２４に進む。
ステップＳ６２４において、ビュー間参照ベクトル生成部４７２は、グローバル視差ベクトルを求め、そのグローバル視差ベクトル分だけシフトしたベースビューのブロックのベクトルを予測ベクトルにセットする。ステップＳ６２４の処理が終了すると、異なるピクチャからの予測ベクトル生成処理が終了し、処理は、図５９に戻る。
また、ステップＳ６２２において、コロケーテッドブロックのモードが視差ベクトルであると判定された場合、処理は、ステップＳ６２５に進む。
ステップＳ６２５において、ビュー間参照ベクトル生成部４７２は、コロケーテッドベクトル分だけシフトしたベースビューのブロックのベクトルを予測ベクトルにセットする。ステップＳ６２５の処理が終了すると、異なるピクチャからの予測ベクトル生成処理が終了し、処理は、図５９に戻る。
また、ステップＳ６２１において、符号化ベクトルが視差ベクトルであると判定した場合、処理は、図６１に進む。
図６１のステップＳ６３１において、視差ベクトル判定部４７１は、コロケーテッドブロックのモードが何かを判定する。コロケーテッドブロックのモードが視差ベクトルであると判定された場合、処理は、ステップＳ６３２に進む。
ステップＳ６３２において、ビュー内参照ベクトル生成部４７３は、コロケーテッドベクトルを予測ベクトルにセットする。ステップＳ６３２の処理が終了すると、異なるピクチャからの予測ベクトル生成処理が終了し、処理は、図５９に戻る。
また、ステップＳ６３１において、コロケーテッドブロックのモードが動きベクトルであると判定された場合、処理は、ステップＳ６３４に進む。ステップＳ６３４において、ビュー間参照ベクトル生成部４７２は、グローバル視差ベクトルを予測ベクトルにセットする。ステップＳ６３４の処理が終了すると、異なるピクチャからの予測ベクトル生成処理が終了し、処理は、図５９に戻る。
さらに、ステップＳ６３１において、コロケーテッドブロックのモードがイントラ予測であると判定された場合、処理は、ステップＳ６３５に進む。ステップＳ６３５において、ビュー間参照ベクトル生成部４７２は、グローバル視差ベクトルを予測ベクトルにセットする。ステップＳ６３５の処理が終了すると、異なるピクチャからの予測ベクトル生成処理が終了し、処理は、図５９に戻る。
以上のように各処理を実行することにより、この場合の画像符号化装置は、コロケーテッドブロックやグローバル視差ベクトルを用いて予測ベクトルを生成することができる。これにより、画像符号化装置は、予測ベクトルの予測精度を向上させることができ、符号化効率を向上させることができる。
［画像復号装置］
次に、この場合の画像符号化装置に対応する画像復号装置について説明する。この場合の画像復号装置の構成例は、画像符号化装置の場合と同様に、図４５乃至図４８に示される画像復号装置５００の場合と同様であるので、その説明を省略する。
［処理の流れ］
次に、この場合の、画像復号装置により実行される各種処理の流れについて説明する。この場合も、画像復号装置においては、画像符号化装置と基本的に同様の処理が行われる。つまり、動き補償処理は、図４９のフローチャートを参照して説明した場合と同様に実行される。また、ベクトル復号処理は、図５０のフローチャートを参照して説明した場合と同様に実行される。
なお、予測ベクトル生成処理は、図５９のフローチャートを参照して説明した場合、つまり、画像符号化装置が実行する場合と同様に実行される。
ただし、この場合、ステップＳ６０１の処理は選択部５５１が行う。また、ステップＳ６０２においては、周辺ブロックからの予測ベクトル生成部５５２が、周辺ブロックの復号済みベクトルを予測ベクトルにする。さらに、ステップＳ６０３においては、異なるピクチャからの予測ベクトル生成部５５３が、異なる時刻・ビューのブロックの復号済みベクトルを予測ベクトルにする。
また、その異なるピクチャからの予測ベクトル生成処理は、図６０および図６１のフローチャートを参照して説明した場合、すなわち、画像符号化装置が実行する場合と同様に実行される。
ただし、この場合、ステップＳ６２１、ステップＳ６２２、および、ステップＳ６３１の各処理は、視差ベクトル判定部５７１が行い、ステップＳ６２３およびステップＳ６３２の各処理は、ビュー内参照ベクトル生成部５７３が行い、ステップＳ６２４、ステップＳ６２５、ステップＳ６３４、およびステップＳ６３５の各処理は、ビュー間参照ベクトル生成部５７２により実行される。
このように各処理を実行することにより、この場合の画像復号装置は、画像符号化装置と同様に、コロケーテッドブロックやグローバル視差ベクトルを用いて予測ベクトルを生成することができる。これにより、画像復号装置は、予測ベクトルの予測精度を向上させることができ、符号化効率を向上させることができる。
＜６．第６の実施の形態＞
［参照画像のタイプ］
例えば、HEVCの場合、参照画像には、短時間参照ピクチャと長時間参照ピクチャの２つのタイプがある。短時間参照ピクチャは、符号化ピクチャと時間的に近いピクチャであるため、予測ベクトルに対して、時間的な距離に基づくスケーリング処理が行われる。これに対して、長時間参照ピクチャは、符号化ピクチャと時間的に遠いピクチャであるため、予測ベクトルに対するスケーリングは意味をなさないため、行われない。
画像の動き等に応じてこれらの参照ピクチャを使い分けることで、符号量をより低減させることができる。
符号化ベクトルと予測ベクトルの参照ピクチャのタイプ（短時間参照ピクチャまたは長時間参照ピクチャ）が異なっていても、その予測ベクトルは使用可(Available)となる。
符号化ベクトルと予測ベクトルの参照ピクチャのタイプが異なる場合、それらのベクトルの相関は低いことが予想される。したがって、ベクトルの候補リストに入れてしまうと符号化効率の低下が起こる恐れがあった。例えば、相関がより高いベクトルが、候補リストの後ろの方に追いやられてしまい、ベクトルを指定するためのインデックスの符号量が増加する恐れがあった。また、例えば、相関がより高いベクトルが、候補リストの後ろの方に追いやられてしまい、候補リストから除外されてしまい、指定できなくなる恐れがあった。
そこで、符号化ベクトルと予測ベクトルの参照ピクチャのタイプ（短時間参照ピクチャまたは長時間参照ピクチャ）が異なるときに、その予測ベクトルを使用不可(Not available)にするようにする。
短時間参照ピクチャを参照するベクトルと長時間参照ピクチャを参照するベクトルの特性は異なるため相関が低いと考えられる。したがって、この場合に候補ベクトルから除外することで、符号化効率を改善することができる。
例えば、図６２は、背景静止アプリの参照画像の様子の例を説明する図である。静止画像の背景画像の前方に動物体が存在するような動画像（背景静止のアプリ）の場合、静止領域である背景（特にオクルージョン領域）は、長時間ピクチャを参照するので、動きベクトルが０となる傾向がある。これに対して、前方の動物体は短時間参照ピクチャを参照するので、動きベクトルが発生する。このように参照ピクチャのタイプが異なると、動きベクトルの相関が低い（図６４のＡ）。そのため、上述したように、符号化ベクトルと予測ベクトルの参照ピクチャのタイプが異なるときに、候補ベクトルから除外することで、符号化効率を改善することができる。
また、例えば、図６３は、ステレオアプリの参照画像の様子の例を説明する図である。立体視のために左目用の画像（左目画像）と右目用の画像（右目画像）が用意されているような動画像（ステレオアプリ）の場合、Dependent View（ここでは右目画像として説明する）を符号化するときに、Base View（ここでは左目画像として説明する）を長時間参照ピクチャとして指定し、Dependent Viewの符号化済みピクチャを短時間参照ピクチャとして指定する。
Dependent Viewを参照する場合、参照先と参照元とでフレームIDが異なるのでスケーリング可能であるが、Base Viewを参照する場合、参照先と参照元とでフレームIDが一致してしまう。そのため、スケーリングの際に分母が０になる恐れがあり、スケーリングが困難になる。そのため、HEVC等では、Base Viewは、スケーリングを行わない長時間参照ピクチャとして指定するようになされている。
そのため、ステレオアプリの場合、長時間参照ピクチャを参照するベクトルは視差ベクトルで、短時間参照ピクチャを参照するベクトルは動きベクトルとなる。したがって、ピクチャタイプ間で、動き（視差）ベクトルの相関が低い（図６４のＢ）。そのため、上述したように、符号化ベクトルと予測ベクトルの参照ピクチャのタイプが異なるときに、候補ベクトルから除外することで、符号化効率を改善することができる。
なお、以下においては、処理対象のブロック（ＣＵ、ＰＵ等）を符号化ブロック（若しくはカレント）ブロックとも称する。また、符号化ブロックの時間的に周辺のブロック、すなわち、符号化ブロックが存在するピクチャ（カレントピクチャ）の時間的に周辺のピクチャのコロケーテッドブロックを、時間相関ブロックとも称する。さらに、符号化ブロックの空間的に周辺のブロック、すなわち、カレントピクチャにおいて符号化ブロックに隣接するブロック若しくは近傍に位置するブロックを、周辺ブロックとも称する。
図６５に周辺ブロックの例を示す。位置Ａ０およびＡ１のブロックは、符号化ブロック（カレントブロック）の周辺ブロックであり、左側位置のブロックとも称する。また、位置Ｂ０、Ｂ１、およびＢ２のブロックは、符号化ブロック（カレントブロック）の周辺ブロックであり、上側位置のブロックとも称する。
［動き（視差）ベクトルの取り扱いのまとめ］
図６６は、時間相関ブロックと周辺ブロックの取り扱いの例を説明する図である。ベクトルの予測において、時間相関ブロックの動き（視差）ベクトルを候補ベクトルに含めるか否か、並びに、スケーリングを行うか否かは、図６６のＡに示される表のように決定する。
つまり、例えば、符号化ブロックの参照画像と時間相関ブロックの参照画像とのタイプが一致する場合、すなわち、ともに短時間参照画像であるか、若しくは、ともに長時間参照画像である場合、時間相関ブロックの動き（視差）ベクトルを候補にし、両者のタイプが一致しない場合、候補から除外するようにする。さらに、符号化ブロックの参照画像と時間相関ブロックの参照画像とが、ともに短時間参照画像である場合、時間相関ブロックの動き（視差）ベクトルのスケーリングを行うようにし、両者がともに長時間参照画像である場合、時間相関ブロックの動き（視差）ベクトルのスケーリングを行わないようにする。
また、ベクトルの予測において、周辺ブロックの動き（視差）ベクトルを候補ベクトルに含めるか否か、並びに、スケーリングを行うか否かは、図６６のＢに示される表のように決定する。つまり、時間相関ブロックの場合と同様である。
つまり、例えば、符号化ブロックの参照画像と周辺ブロックの参照画像とのタイプが一致する場合、すなわち、ともに短時間参照画像であるか、若しくは、ともに長時間参照画像である場合、周辺ブロックの動き（視差）ベクトルを候補にし、両者のタイプが一致しない場合、候補から除外するようにする。さらに、符号化ブロックの参照画像と周辺ブロックの参照画像とが、ともに短時間参照画像である場合、周辺ブロックの動き（視差）ベクトルのスケーリングを行うようにし、両者がともに長時間参照画像である場合、周辺ブロックの動き（視差）ベクトルのスケーリングを行わないようにする。
［符号化時の処理の流れ］
このような制御を実現するための符号化時の処理の流れの例について、以下に説明する。なお、このような制御は、第３の実施の形態において説明した画像符号化装置４００（図３７）により実現することができる。
画像符号化装置４００による符号化処理は、図２０のフローチャートを参照して説明した場合（第１の実施の形態）と同様に行われる。
図２０のステップＳ１０４において実行されるインター動き予測処理に相当する処理として、動き予測・補償部４１５が実行するＰＵの動き（視差）ベクトルと参照インデックス生成処理の流れの例を、図６７のフローチャートを参照して説明する。
ステップＳ７０１において、インターモード生成部４３１（図３８）は、インターモードを生成する。ステップＳ７０２において、インターモード生成部４３１は、そのモードがマージ（スキップ）モードであるか否かを判定する。
マージ（スキップ）モードであると判定された場合、処理は、ステップＳ７０３に進む。ステップＳ７０３において、参照インデックス決定部４３２およびベクトル予測部４３４は、マージ（スキップ）モードの処理を行い、動き（視差）ベクトルと参照インデックスを生成する。ステップＳ７０３の処理が終了すると、処理は、ステップＳ７０７に進む。
また、ステップＳ７０２において、マージ（スキップ）モードでないと判定された場合、処理は、ステップＳ７０４に進む。ステップＳ７０４において、ベクトル予測部４３３は、残差動き（視差）ベクトルと参照インデックスを取得する。ステップＳ７０５において、ベクトル予測部４３３は、AMVPモードの処理を行い、予測動き（視差）ベクトルを生成する。ステップＳ７０６において、モード判定部４３５は、残差動き（視差）ベクトルと予測動き（視差）ベクトルとを加算する。
ステップＳ７０７において、モード判定部４３５は、全てのモードを処理するまで処理をステップＳ７０１に戻し、全てのモードが揃ったら、最適なモードを判定する。
ステップＳ７０８において、可逆符号化部１０６は、選ばれた情報を符号化する。ステップＳ７０８の処理が終了すると、処理は、図２０に戻る。
次に、図６７のステップＳ７０３において実行されるマージ（スキップ）モード処理の流れの例を、図６８のフローチャートを参照して説明する。
処理が開始されると、ステップＳ７１１において、参照インデックス決定部４３２は、空間的に周辺のブロックから候補となる動き（視差）ベクトルと参照インデックスを作成する。
ステップＳ７１２において、参照インデックス決定部４３２は、時間相関ブロック用の参照インデックスを生成する。
ステップＳ７１３において、ベクトル予測部４３４は、時間相関ブロックから候補となる動き（視差）ベクトルを生成する。
ステップＳ７１４において、ベクトル予測部４３４は、動き（視差）ベクトルと参照インデックスの候補リストを生成する。なお、このリストの要素数をＹとする。
ステップＳ７１５において、ベクトル予測部４３４は、候補リストの最大数Ｘを設定する。
ステップＳ７１６において、ベクトル予測部４３４は、リストの要素数Ｙが候補リストの最大数Ｘより小さいか否か（Ｙ＜Ｘであるか否か）を判定する。リストの要素数Ｙが候補リストの最大数Ｘより小さい（Ｙ＜Ｘである）と判定された場合、処理は、ステップＳ７１７に進む。
ステップＳ７１７において、ベクトル予測部４３４は、候補リストの各要素を組み合わせて、新しく動き（視差）ベクトルと参照インデックスを生成する。
ステップＳ７１８において、ベクトル予測部４３４は、候補リストを更新する。この時のリストの要素数をＹ'とする。
ステップＳ７１９において、ベクトル予測部４３４は、リストの要素数Ｙ'が候補リストの最大数Ｘより小さいか否か（Ｙ'＜Ｘであるか否か）を判定する。リストの要素数Ｙ'が候補リストの最大数Ｘより小さい（Ｙ'＜Ｘである）と判定された場合、処理は、ステップＳ７２０に進む。
ステップＳ７２０において、ベクトル予測部４３４は、ゼロ動き（視差）ベクトルとゼロ参照インデックスを新たに生成する。ステップＳ７２０の処理が終了すると、処理はステップＳ７２１に進む。
また、ステップＳ７１６において、リストの要素数Ｙが候補リストの最大数Ｘ以上である（Ｙ＜Ｘでない）と判定された場合、処理は、ステップＳ７２１に進む。また、ステップＳ７１９において、リストの要素数Ｙ'が候補リストの最大数Ｘ以上である（Ｙ'＜Ｘでない）と判定された場合、処理は、ステップＳ７２１に進む。
ステップＳ７２１において、ベクトル予測部４３４は、候補リストの要素インデックスを生成する。
ステップＳ７２２において、ベクトル予測部４３４は、要素インデックスが指し示す動き（視差）ベクトルと参照インデックスを取得する。ステップＳ７２２の処理が終了すると、処理は、図６７に戻る。
次に、図６８のステップＳ７１３において実行される時間相関ブロックから候補となる動き（視差）ベクトル生成処理の流れの例を、図６９のフローチャートを参照して説明する。
処理が開始されると、ベクトル予測部４３４は、ステップＳ７３１において、時間相関ピクチャを指定するインデックスを生成する。
ステップＳ７３２において、ベクトル予測部４３４は、時間相関ピクチャを決定する。
ステップＳ７３３において、ベクトル予測部４３４は、時間相関ピクチャ内に存在する符号化PU（符号化ブロック）の右下位置のブロックを選択する。
ステップＳ７３４において、ベクトル予測部４３４は、右下位置のブロックがイントラモード若しくは使用不可であるか否かを判定する。右下位置のブロックがイントラモード若しくは使用不可であると判定された場合、処理は、ステップＳ７３５に進む。
ステップＳ７３５において、ベクトル予測部４３４は、時間相関ピクチャ内に存在する符号化PUの中心位置のブロックを選択する。
ステップＳ７３６において、ベクトル予測部４３４は、その中心位置のブロックがイントラモード若しくは使用不可であるか否かを判定する。中心位置のブロックがイントラモード若しくは使用不可であると判定された場合、処理は、ステップＳ７３７に進む。
ステップＳ７３７において、ベクトル予測部４３４は、時間相関ブロックの動き（視差）ベクトルを候補から除外する。ステップＳ７３７の処理が終了すると、処理は、図６８に戻る。
また、ステップＳ７３４において、右下位置のブロックがイントラモードでも使用不可でもないと判定された場合、処理は、ステップＳ７３８に進む。同様に、中心位置のブロックがイントラモードでも使用不可でもないと判定された場合、処理は、ステップＳ７３８に進む。
ステップＳ７３８において、ベクトル予測部４３４は、時間相関ブロックの動き（視差）ベクトルと参照インデックスを決定する。
ステップＳ７３９において、ベクトル予測部４３４は、時間相関ブロックの動き（視差）ベクトルのスケーリング処理の有無と候補の有無を判定する。
ステップＳ７４０において、ベクトル予測部４３４は、ステップＳ７３９の判定結果に基づいて、時間相関ブロックの動き（視差）ベクトルを候補から除外するか否かを判定する。
候補から除外すると判定された場合、処理は、ステップＳ７３７に戻る。また、ステップＳ７４０において、候補から除外しない（候補に含める）と判定された場合、処理は、ステップＳ７４１に進む。
ステップＳ７４１において、ベクトル予測部４３４は、ステップＳ７３９の判定結果に基づいて、時間相関ブロックの動き（視差）ベクトルに対してスケーリングが必要であるか否かを判定する。
スケーリングが必要であると判定された場合、処理は、ステップＳ７４２に進む。ステップＳ７４２において、ベクトル予測部４３４は、時間相関ブロックの動き（視差）ベクトルに対して、スケーリング処理を行う。ステップＳ７４２の処理が終了すると、処理は、図６８に戻る。
また、ステップＳ７４１において、スケーリングが必要でないと判定された場合、処理は、図６８に戻る。
次に、図６９のステップＳ７３９において実行される、時間相関ブロックの動き（視差）ベクトルのスケーリング処理の有無と候補の有無の判定処理の流れの例を、図７０のフローチャートを参照して説明する。
処理が開始されると、ベクトル予測部４３４は、ステップＳ７５１において、符号化ブロックの参照画像が短時間参照画像と長時間参照画像のいずれであるかを判別する。
ステップＳ７５２において、ベクトル予測部４３４は、時間相関ブロックの参照画像が短時間参照画像と長時間参照画像のいずれであるかを判別する。
ステップＳ７５３において、ベクトル予測部４３４は、ステップＳ７５１の判別結果に基づいて、符号化ブロックの参照画像が長時間参照画像であるか否かを判定する。
符号化ブロックの参照画像が長時間参照画像であると判定された場合、処理は、ステップＳ７５４に進む。ステップＳ７５４において、ベクトル予測部４３４は、さらに、ステップＳ７５２の判別結果に基づいて、時間相関ブロックの参照画像が長時間参照画像であるか否かを判定する。
時間相関ブロックの参照画像が長時間参照画像であると判定された場合、処理は、ステップＳ７５５に進む。この場合、符号化ブロックと時間相関ブロックの動き（視差）ベクトルは、ともに長時間参照画像である。したがって、ステップＳ７５５において、ベクトル予測部４３４は、時間相関ブロックの動き（視差）ベクトルを候補に含め、スケーリングが不要であると設定する。ステップＳ７５５の処理が終了すると、処理は、図６９に戻る。
また、図７０のステップＳ７５４において、時間相関ブロックの参照画像が短時間参照画像であると判定された場合、処理は、ステップＳ７５６に進む。この場合、符号化ブロックと時間相関ブロックとで動き（視差）ベクトルのタイプが一致しない。したがって、ステップＳ７５６において、ベクトル予測部４３４は、時間相関ブロックの動き（視差）ベクトルを候補から除外すると設定する。ステップＳ７５６の処理が終了すると、処理は、図６９に戻る。
さらに、図７０のステップＳ７５３において、符号化ブロックの参照画像が短時間参照画像であると判定された場合、処理は、ステップＳ７５７に進む。ステップＳ７５７において、ベクトル予測部４３４は、さらに、ステップＳ７５２の判別結果に基づいて、時間相関ブロックの参照画像が長時間参照画像であるか否かを判定する。
時間相関ブロックの参照画像が長時間参照画像であると判定された場合、処理は、ステップＳ７５６に戻る。つまり、この場合、符号化ブロックと時間相関ブロックとで動き（視差）ベクトルのタイプが一致しないので、時間相関ブロックの動き（視差）ベクトルは候補から除外されるように設定される。
また、ステップＳ７５７において、時間相関ブロックの参照画像が短時間参照画像であると判定された場合、処理は、ステップＳ７５８に進む。この場合、符号化ブロックと時間相関ブロックの動き（視差）ベクトルは、ともに短時間参照画像である。したがって、ステップＳ７５８において、ベクトル予測部４３４は、時間相関ブロックの動き（視差）ベクトルを候補に含め、さらにスケーリングが必要であると設定する。ステップＳ７５８の処理が終了すると、処理は、図６９に戻る。
次に、図６７のステップＳ７０５において実行されるAMVPモード処理の流れの例を、図７１のフローチャートを参照して説明する。
処理が開始されると、ベクトル予測部４３３（図３８）は、ステップＳ７６１において、空間的に周辺のブロックから候補となる動き（視差）ベクトルを生成する。
ステップＳ７６２において、ベクトル予測部４３３は、動き（視差）ベクトルの候補リストを生成する。この候補リストの要素数をＡとする。
ステップＳ７６３において、ベクトル予測部４３３は、候補リストの要素数Ａが２より小さいか否か（Ａ＜２であるか否か）を判定する。
候補リストの要素数Ａが２より小さい（Ａ＜２である）と判定された場合、処理は、ステップＳ７６４に進む。ステップＳ７６４において、ベクトル予測部４３３は、時間相関ブロックから候補となる動き（視差）ベクトルを生成する。この処理は、図６９のフローチャートを参照して説明した場合と同様であるので、その説明は省略する。
ステップＳ７６５において、ベクトル予測部４３３は、動き（視差）ベクトルと参照インデックスの候補リストを生成する。この候補リストの要素数をＡ'とする。
ステップＳ７６６において、ベクトル予測部４３３は、候補リストの要素数Ａ'が２より小さいか否か（Ａ'＜２であるか否か）を判定する。
候補リストの要素数Ａ'が２より小さい（Ａ'＜２である）と判定された場合、処理は、ステップＳ７６７に進む。ステップＳ７６７において、ベクトル予測部４３３は、ゼロ動き（視差）ベクトルとゼロ参照インデックスを新たに生成する。ステップＳ７６７の処理が終了すると、処理は、ステップＳ７６８に進む。
また、ステップＳ７６３において、候補リストの要素数Ａが２以上である（Ａ＜２でない）と判定された場合、処理は、ステップＳ７６８に進む。さらに、ステップＳ７６６において、候補リストの要素数Ａ'が２以上である（Ａ＜２でない）と判定された場合、処理は、ステップＳ７６８に進む。
ステップＳ７６８において、ベクトル予測部４３３は、候補リストの要素インデックス（フラグ）を生成する。
ステップＳ７６９において、ベクトル予測部４３３は、要素インデックスが指し示す動き（視差）ベクトルを取得する。ステップＳ７６９の処理が終了すると、処理は、図６７に戻る。
次に、図７１のステップＳ７６１において実行される、空間的に周辺のブロックから候補となる動き（視差）ベクトルを生成する処理の流れの例を、図７２のフローチャートを参照して説明する。
処理が開始されると、ベクトル予測部４３３は、ステップＳ７７１において、左側位置のブロックから候補となる動き（視差）ベクトルを生成する。
ステップＳ７７２において、ベクトル予測部４３３は、上側位置のブロックから候補となる動き（視差）ベクトルを生成する。
ステップＳ７２２の処理が終了すると、処理は、図７１に戻る。
次に、図７２のステップＳ７７１において実行される、左側位置のブロックから候補となる動き（視差）ベクトル生成処理の流れの例を、図７３および図７４のフローチャートを参照して説明する。
処理が開始されると、ベクトル予測部４３３は、ステップＳ７８１において、位置Ａ０のブロックを選択する。
ステップＳ７８２において、ベクトル予測部４３３は、位置Ａ０のブロックがイントラモードまたは使用不可であるか否かを判定する。
位置Ａ０のブロックがイントラモードでも使用不可でもないと判定された場合、処理は、ステップＳ７８３に進む。ステップＳ７８３において、ベクトル予測部４３３は、位置Ａ０のブロックが符号化ブロックと同じ参照画像を参照しているか否かを判定する。
位置Ａ０のブロックが符号化ブロックと同じ参照画像を参照していると判定された場合、処理は、ステップＳ７８４に進む。ステップＳ７８４において、ベクトル予測部４３３は、位置Ａ０のブロックの動き（視差）ベクトルを候補にする。ステップＳ７８４の処理が終了すると、処理は、図７２に戻る。
また、図７３のステップＳ７８２において、位置Ａ０のブロックがイントラモードであるか若しくは使用不可であると判定された場合、処理は、ステップＳ７８５に進む。また、ステップＳ７８３において、位置Ａ０のブロックが符号化ブロックと異なる参照画像を参照していると判定された場合、処理は、ステップＳ７８５に進む。
ステップＳ７８５において、ベクトル予測部４３３は、位置Ａ１のブロックを選択する。
ステップＳ７８６において、ベクトル予測部４３３は、位置Ａ１のブロックがイントラモードまたは使用不可であるか否かを判定する。
位置Ａ１のブロックがイントラモードでも使用不可でもないと判定された場合、処理は、ステップＳ７８７に進む。ステップＳ７８７において、ベクトル予測部４３３は、位置Ａ１のブロックが符号化ブロックと同じ参照画像を参照しているか否かを判定する。
位置Ａ１のブロックが符号化ブロックと同じ参照画像を参照していると判定された場合、処理は、ステップＳ７８８に進む。ステップＳ７８８において、ベクトル予測部４３３は、位置Ａ１のブロックの動き（視差）ベクトルを候補にする。ステップＳ７８８の処理が終了すると、処理は、図７２に戻る。
また、図７３のステップＳ７８６において、位置Ａ１のブロックがイントラモードであるか若しくは使用不可であると判定された場合、処理は、図７４のステップＳ７９１に進む。また、図７３のステップＳ７８７において、位置Ａ１のブロックが符号化ブロックと異なる参照画像を参照していると判定された場合、処理は、図７４のステップＳ７９１に進む。
図７４のステップＳ７９１において、ベクトル予測部４３３は、位置Ａ０のブロックを選択する。
ステップＳ７９２において、ベクトル予測部４３３は、位置Ａ０のブロックがイントラモードまたは使用不可であるか否かを判定する。
位置Ａ０のブロックがイントラモードでも使用不可でもないと判定された場合、処理は、ステップＳ７９３に進む。ステップＳ７９３において、ベクトル予測部４３３は、位置Ａ０のブロックの動き（視差）ベクトルを候補にする。ステップＳ７９３の処理が終了すると、処理は、ステップＳ７９７に進む。
また、図７４のステップＳ７９２において、位置Ａ０のブロックがイントラモードであるか若しくは使用不可であると判定された場合、処理は、ステップＳ７９４に進む。
ステップＳ７９４において、ベクトル予測部４３３は、位置Ａ１のブロックを選択する。
ステップＳ７９５において、ベクトル予測部４３３は、位置Ａ１のブロックがイントラモードまたは使用不可であるか否かを判定する。
位置Ａ０のブロックがイントラモードであるか若しくは使用不可であると判定された場合、処理は、図７２に戻る。
また、図７４のステップＳ７９５において、位置Ａ１のブロックがイントラモードでも使用不可でもないと判定された場合、処理は、ステップＳ７９６に進む。ステップＳ７９６において、ベクトル予測部４３３は、位置Ａ１のブロックの動き（視差）ベクトルを候補にする。ステップＳ７９６の処理が終了すると、処理は、ステップＳ７９７に進む。
ステップＳ７９７において、ベクトル予測部４３３は、周辺ブロックの動き（視差）ベクトルのスケーリング処理の有無と候補の有無を判定する。
ステップＳ７９８において、ベクトル予測部４３３は、ステップＳ７９７の判定結果に基づいて、周辺ブロックの動き（視差）ベクトルを候補から除外するか否かを判定する。
候補から除外すると判定された場合、処理は、ステップＳ７９９に進む。ステップＳ７９９において、ベクトル予測部４３３は、左側位置ブロックの動き（視差）ベクトルを候補から除外する。ステップＳ７９９の処理が終了すると、処理は、図７２に戻る。
また、図７４のステップＳ７９８において、候補から除外しない（候補に含める）と判定された場合、処理は、ステップＳ８００に進む。
ステップＳ８００において、ベクトル予測部４３３は、ステップＳ７９７の判定結果に基づいて、周辺ブロックの動き（視差）ベクトルに対してスケーリングが必要であるか否かを判定する。
スケーリングが必要であると判定された場合、処理は、ステップＳ８０１に進む。ステップＳ８０１において、ベクトル予測部４３３は、周辺ブロックの動き（視差）ベクトルに対して、スケーリング処理を行う。ステップＳ８０１の処理が終了すると、処理は、図７２に戻る。
また、図７４のステップＳ８００において、スケーリングが必要でないと判定された場合、処理は、図７２に戻る。
次に、図７４のステップＳ７９７において実行される、周辺ブロックの動き（視差）ベクトルのスケーリング処理の有無と候補の有無の判定処理の流れの例を、図７５のフローチャートを参照して説明する。
処理が開始されると、ベクトル予測部４３３は、ステップＳ８１１において、符号化ブロックの参照画像が短時間参照画像と長時間参照画像のいずれであるかを判別する。
ステップＳ８１２において、ベクトル予測部４３３は、周辺ブロックの参照画像が短時間参照画像と長時間参照画像のいずれであるかを判別する。
ステップＳ８１３において、ベクトル予測部４３３は、ステップＳ８１１の判別結果に基づいて、符号化ブロックの参照画像が長時間参照画像であるか否かを判定する。
符号化ブロックの参照画像が長時間参照画像であると判定された場合、処理は、ステップＳ８１４に進む。ステップＳ８１４において、ベクトル予測部４３３は、さらに、ステップＳ８１２の判別結果に基づいて、周辺ブロックの参照画像が長時間参照画像であるか否かを判定する。
周辺ブロックの参照画像が長時間参照画像であると判定された場合、処理は、ステップＳ８１５に進む。この場合、符号化ブロックと周辺ブロックの動き（視差）ベクトルは、ともに長時間参照画像である。したがって、ステップＳ８１５において、ベクトル予測部４３３は、周辺ブロックの動き（視差）ベクトルを候補に含め、スケーリングが不要であると設定する。ステップＳ８１５の処理が終了すると、処理は、図７４に戻る。
また、図７５のステップＳ８１４において、周辺ブロックの参照画像が短時間参照画像であると判定された場合、処理は、ステップＳ８１６に進む。この場合、符号化ブロックと周辺ブロックとで動き（視差）ベクトルのタイプが一致しない。したがって、ステップＳ８１６において、ベクトル予測部４３３は、周辺ブロックの動き（視差）ベクトルを候補から除外すると設定する。ステップＳ８１６の処理が終了すると、処理は、図７４に戻る。
さらに、図７５のステップＳ８１３において、符号化ブロックの参照画像が短時間参照画像であると判定された場合、処理は、ステップＳ８１７に進む。ステップＳ８１７において、ベクトル予測部４３３は、さらに、ステップＳ８１２の判別結果に基づいて、周辺ブロックの参照画像が長時間参照画像であるか否かを判定する。
周辺ブロックの参照画像が長時間参照画像であると判定された場合、処理は、ステップＳ８１６に戻る。つまり、この場合、符号化ブロックと周辺ブロックとで動き（視差）ベクトルのタイプが一致しないので、周辺ブロックの動き（視差）ベクトルは候補から除外されるように設定される。
また、ステップＳ８１７において、周辺ブロックの参照画像が短時間参照画像であると判定された場合、処理は、ステップＳ８１８に進む。この場合、符号化ブロックと周辺ブロックの動き（視差）ベクトルは、ともに短時間参照画像である。したがって、ステップＳ８１８において、ベクトル予測部４３３は、周辺ブロックの動き（視差）ベクトルを候補に含め、さらにスケーリングが必要であると設定する。ステップＳ８１８の処理が終了すると、処理は、図７４に戻る。
次に、図７２のステップＳ７７２において実行される、上側位置のブロックから候補となる動き（視差）ベクトル生成処理の流れの例を、図７６および図７７のフローチャートを参照して説明する。
処理が開始されると、ベクトル予測部４３３は、ステップＳ８２１において、位置Ｂ０のブロックを選択する。
ステップＳ８２２において、ベクトル予測部４３３は、位置Ｂ０のブロックがイントラモードまたは使用不可であるか否かを判定する。
位置Ｂ０のブロックがイントラモードでも使用不可でもないと判定された場合、処理は、ステップＳ８２３に進む。ステップＳ８２３において、ベクトル予測部４３３は、位置Ｂ０のブロックが符号化ブロックと同じ参照画像を参照しているか否かを判定する。
位置Ｂ０のブロックが符号化ブロックと同じ参照画像を参照していると判定された場合、処理は、ステップＳ８２４に進む。ステップＳ８２４において、ベクトル予測部４３３は、位置Ｂ０のブロックの動き（視差）ベクトルを候補にする。ステップＳ８２４の処理が終了すると、処理は、図７２に戻る。
また、図７６のステップＳ８２２において、位置Ｂ０のブロックがイントラモードであるか若しくは使用不可であると判定された場合、処理は、ステップＳ８２５に進む。また、ステップＳ８２３において、位置Ｂ０のブロックが符号化ブロックと異なる参照画像を参照していると判定された場合、処理は、ステップＳ８２５に進む。
ステップＳ８２５において、ベクトル予測部４３３は、位置Ｂ１のブロックを選択する。
ステップＳ８２６において、ベクトル予測部４３３は、位置Ｂ１のブロックがイントラモードまたは使用不可であるか否かを判定する。
位置Ｂ１のブロックがイントラモードでも使用不可でもないと判定された場合、処理は、ステップＳ８２７に進む。ステップＳ８２７において、ベクトル予測部４３３は、位置Ｂ１のブロックが符号化ブロックと同じ参照画像を参照しているか否かを判定する。
位置Ｂ１のブロックが符号化ブロックと同じ参照画像を参照していると判定された場合、処理は、ステップＳ８２８に進む。ステップＳ８２８において、ベクトル予測部４３３は、位置Ｂ１のブロックの動き（視差）ベクトルを候補にする。ステップＳ８２８の処理が終了すると、処理は、図７２に戻る。
また、図７６のステップＳ８２６において、位置Ｂ１のブロックがイントラモードであるか若しくは使用不可であると判定された場合、処理は、ステップＳ８２９に進む。また、ステップＳ８２７において、位置Ｂ１のブロックが符号化ブロックと異なる参照画像を参照していると判定された場合、処理は、ステップＳ８２９に進む。
ステップＳ８２９において、ベクトル予測部４３３は、位置Ｂ２のブロックを選択する。
ステップＳ８３０において、ベクトル予測部４３３は、位置Ｂ２のブロックがイントラモードまたは使用不可であるか否かを判定する。
位置Ｂ２のブロックがイントラモードでも使用不可でもないと判定された場合、処理は、ステップＳ８３１に進む。ステップＳ８３１において、ベクトル予測部４３３は、位置Ｂ２のブロックが符号化ブロックと同じ参照画像を参照しているか否かを判定する。
位置Ｂ２のブロックが符号化ブロックと同じ参照画像を参照していると判定された場合、処理は、ステップＳ８３２に進む。ステップＳ８３２において、ベクトル予測部４３３は、位置Ｂ２のブロックの動き（視差）ベクトルを候補にする。ステップＳ８３２の処理が終了すると、処理は、図７２に戻る。
また、図７６のステップＳ８３０において、位置Ｂ２のブロックがイントラモードであるか若しくは使用不可であると判定された場合、処理は、図７７のステップＳ８４１に進む。また、図７６のステップＳ８３１において、位置Ｂ２のブロックが符号化ブロックと異なる参照画像を参照していると判定された場合、処理は、図７７のステップＳ８４１に進む。
図７７のステップＳ８４１において、ベクトル予測部４３３は、左側位置のブロックから動き（視差）ベクトルの候補が生成されているかを判定する。
ステップＳ８４２において、ベクトル予測部４３３は、位置Ｂ０のブロックを選択する。
ステップＳ８４３において、ベクトル予測部４３３は、位置Ｂ０のブロックがイントラモードまたは使用不可であるか否かを判定する。
位置Ｂ０のブロックがイントラモードでも使用不可でもないと判定された場合、処理は、ステップＳ８４４に進む。ステップＳ８４４において、ベクトル予測部４３３は、位置Ｂ０のブロックの動き（視差）ベクトルを候補にする。ステップＳ８４４の処理が終了すると、処理は、ステップＳ８５１に進む。
また、ステップＳ８４３において、位置Ｂ０のブロックがイントラモードであるか若しくは使用不可であると判定された場合、処理は、ステップＳ８４５に進む。
ステップＳ８４５において、ベクトル予測部４３３は、位置Ｂ１のブロックを選択する。
ステップＳ８４６において、ベクトル予測部４３３は、位置Ｂ１のブロックがイントラモードまたは使用不可であるか否かを判定する。
位置Ｂ１のブロックがイントラモードでも使用不可でもないと判定された場合、処理は、ステップＳ８４７に進む。ステップＳ８４７において、ベクトル予測部４３３は、位置Ｂ１のブロックの動き（視差）ベクトルを候補にする。ステップＳ８４７の処理が終了すると、処理は、ステップＳ８５１に進む。
また、ステップＳ８４６において、位置Ｂ１のブロックがイントラモードであるか若しくは使用不可であると判定された場合、処理は、ステップＳ８４８に進む。
ステップＳ８４８において、ベクトル予測部４３３は、位置Ｂ２のブロックを選択する。
ステップＳ８４９において、ベクトル予測部４３３は、位置Ｂ２のブロックがイントラモードまたは使用不可であるか否かを判定する。
ステップＳ８４９において、位置Ｂ２のブロックがイントラモードであるか若しくは使用不可であると判定された場合、処理は、図７２に戻る。
また、位置Ｂ２のブロックがイントラモードでも使用不可でもないと判定された場合、処理は、ステップＳ８５０に進む。ステップＳ８５０において、ベクトル予測部４３３は、位置Ｂ２のブロックの動き（視差）ベクトルを候補にする。ステップＳ８５０の処理が終了すると、処理は、ステップＳ８５１に進む。
ステップＳ８５１において、ベクトル予測部４３３は、周辺ブロックの動き（視差）ベクトルのスケーリング処理の有無と候補の有無を判定する。この処理は、図７５のフローチャートを参照して説明した場合と同様に行われるので、その説明は省略する。なお、この場合において、図７５の処理が終了したとき、処理は、図７４ではなく、図７７に戻る。
ステップＳ８５２において、ベクトル予測部４３３は、ステップＳ８５１の判定結果に基づいて、周辺ブロックの動き（視差）ベクトルを候補から除外するか否かを判定する。
候補から除外すると判定された場合、処理は、ステップＳ８５３に進む。ステップＳ８５３において、ベクトル予測部４３３は、上側位置ブロックの動き（視差）ベクトルを候補から除外する。ステップＳ８５３の処理が終了すると、処理は、図７２に戻る。
また、図７７のステップＳ８５２において、候補から除外しない（候補に含める）と判定された場合、処理は、ステップＳ８５４に進む。
ステップＳ８５４において、ベクトル予測部４３３は、ステップＳ８５１の判定結果に基づいて、周辺ブロックの動き（視差）ベクトルに対してスケーリングが必要であるか否かを判定する。
スケーリングが必要であると判定された場合、処理は、ステップＳ８５５に進む。ステップＳ８５５において、ベクトル予測部４３３は、周辺ブロックの動き（視差）ベクトルに対して、スケーリング処理を行う。ステップＳ８５５の処理が終了すると、処理は、図７２に戻る。
また、図７７のステップＳ８５４において、スケーリングが必要でないと判定された場合、処理は、図７２に戻る。
以上のように各処理を実行することにより、画像符号化装置４００は、符号化効率の低減を抑制することができる。
［復号時の処理の流れ］
以上のように符号化されて得られた符号化データを正しく復号するためには、復号側においても、符号化側と同様の方法で予測を行えばよい。つまり、復号側においても、符号化ベクトルと予測ベクトルの参照ピクチャのタイプ（短時間参照ピクチャまたは長時間参照ピクチャ）が異なるときに、その予測ベクトルを使用不可(Not available)にするようにする。
つまり、例えば、符号化ブロックの参照画像と時間相関ブロックの参照画像とのタイプが一致する場合、すなわち、ともに短時間参照画像であるか、若しくは、ともに長時間参照画像である場合、時間相関ブロックの動き（視差）ベクトルを候補にし、両者のタイプが一致しない場合、候補から除外するようにする。さらに、符号化ブロックの参照画像と時間相関ブロックの参照画像とが、ともに短時間参照画像である場合、時間相関ブロックの動き（視差）ベクトルのスケーリングを行うようにし、両者がともに長時間参照画像である場合、時間相関ブロックの動き（視差）ベクトルのスケーリングを行わないようにする。
また、例えば、符号化ブロックの参照画像と周辺ブロックの参照画像とのタイプが一致する場合、すなわち、ともに短時間参照画像であるか、若しくは、ともに長時間参照画像である場合、周辺ブロックの動き（視差）ベクトルを候補にし、両者のタイプが一致しない場合、候補から除外するようにする。さらに、符号化ブロックの参照画像と周辺ブロックの参照画像とが、ともに短時間参照画像である場合、周辺ブロックの動き（視差）ベクトルのスケーリングを行うようにし、両者がともに長時間参照画像である場合、周辺ブロックの動き（視差）ベクトルのスケーリングを行わないようにする。
このようにすることにより、符号化効率の低減の抑制を実現することができる。
このような制御を実現するための符号化時の処理の流れの例について、以下に説明する。なお、このような制御は、第４の実施の形態において説明した画像復号装置５００（図４７）により実現することができる。
画像復号装置５００による復号処理は、図３３のフローチャートを参照して説明した場合（第２の実施の形態）と同様に行われる。また、図３３のステップＳ３０５の予測処理は、図３４のフローチャートを参照して説明した場合と同様に行われる。
図３４のステップＳ３３４において実行される動き視差補償処理に相当する処理として、動き補償部５１２が実行するＰＵの動き（視差）ベクトルと参照インデックス生成処理の流れの例を、図７８のフローチャートを参照して説明する。
この処理は、符号化側の処理（図６７）の場合と基本的に同様に行われる。ただし、予測モードは符号化側により決定されているので、復号側においては、その使用された予測モードについてのみ処理を行えばよい。
処理が開始されると、ステップＳ８６１において、可逆復号部３０２は、符号化側から供給される予測モードを復号する。
ステップＳ８６２において、モード判定部５３１は、予測モードがマージ（スキップ）モードであるか否かを判定する。
マージ（スキップ）モードであると判定された場合、処理は、ステップＳ８６３に進む。ステップＳ８６３において、参照インデックス決定部５３２およびベクトル復号部５３４は、マージ（スキップ）モードの処理を行い、動き（視差）ベクトルと参照インデックスを生成する。ステップＳ８６３の処理が終了すると、処理は、図３４に戻る。
また、図７８のステップＳ８６２において、マージ（スキップ）モードでないと判定された場合、処理は、ステップＳ８６３に進む。ステップＳ８６４において、ベクトル復号部５３３は、残差動き（視差）ベクトルと参照インデックスを取得する。ステップＳ８６５において、ベクトル復号部５３３は、AMVPモードの処理を行い、予測動き（視差）ベクトルを生成する。ステップＳ８６６において、ベクトル復号部５３３は、残差動き（視差）ベクトルと予測動き（視差）ベクトルとを加算する。ステップＳ８６６の処理が終了すると、処理は、図３４に戻る。
次に、図７８のステップＳ８６３において実行されるマージ（スキップ）モード処理の流れの例を、図７９のフローチャートを参照して説明する。この処理は、基本的に符号化側の処理（図６８）と基本的に同様に行われる。
ステップＳ８７１乃至ステップＳ８７４の各処理は、図６８のステップＳ７１１乃至ステップＳ７１４の各処理と同様に実行される。ただし、ステップＳ８７１およびステップＳ８７２の各処理は、参照インデックス決定部５３２が行い、ステップＳ８７３およびステップＳ８７４の各処理は、ベクトル復号部５３４が行う。
ステップＳ８７５において、ベクトル復号部５３４は、候補リストの最大数Ｘを復号する。
ステップＳ８７６乃至ステップＳ８８０の各処理は、図６８のステップＳ７１６乃至ステップＳ７２０の各処理と同様に実行される。ただし、これらの処理は、ベクトル復号部５３４が実行する。
ステップＳ８８１において、ベクトル復号部５３４は、候補リストの要素インデックスを復号する。ステップＳ８８２において、ベクトル復号部５３４は、要素インデックスが指し示す動き（視差）ベクトルと参照インデックスを取得する。ステップＳ８８２の処理が終了すると、処理は、図７８に戻る。
次に、図７９のステップＳ８７３において実行される時間相関ブロックから候補となる動き（視差）ベクトル生成処理の流れの例を、図８０のフローチャートを参照して説明する。この処理は、基本的に符号化側の処理（図６９）と基本的に同様に行われる。
処理が開始されると、ベクトル復号部５３４は、ステップＳ８９１において、時間相関ピクチャを指定するインデックスを復号する。
ステップＳ８９２乃至ステップＳ９０２の各処理は、図６９のステップＳ７３２乃至ステップＳ７４２の各処理と同様に実行される。ただし、これらの処理は、ベクトル復号部５３４が実行する。
図８０のステップＳ８９９において実行される、時間相関ブロックの動き（視差）ベクトルのスケーリング処理の有無と候補の有無の判定処理は、図７０のフローチャートを参照して説明した場合と同様に実行されるので、その説明は省略する。ただし、この場合、処理は、ベクトル復号部５３４が実行し、図７０の処理が終了したときは、処理は図８０に戻る。
次に、図７８のステップＳ８６５において実行されるAMVPモード処理の流れの例を、図８１のフローチャートを参照して説明する。この処理は、基本的に符号化側の処理（図７１）と基本的に同様に行われる。ステップＳ９１１乃至ステップＳ９１７の各処理は、図７１のステップＳ７６１乃至ステップＳ７６７の各処理と同様に実行される。ただし、これらの処理は、ベクトル復号部５３３が実行する。
ステップＳ９１８において、ベクトル復号部５３３は、候補リストの要素インデックス（フラグ）を復号する。ステップＳ９１９において、ベクトル復号部５３３は、要素インデックスが指し示す動き（視差）ベクトルを取得する。ステップＳ９１９の処理が終了すると、処理は、図７８に戻る。
なお、図８１のステップＳ９１１において実行される、空間的に周辺のブロックから候補となる動き（視差）ベクトルを生成する処理は、図７２乃至図７７の各フローチャートを参照して説明した場合と同様に実行されるので、その説明は省略する。ただし、この場合、処理は、ベクトル復号部５３３が実行し、図７２の処理が終了したときは、処理は図８１に戻る。
また、図８１のステップＳ９１４において実行される、時間相関ブロックから候補となる動き（視差）ベクトルを生成する処理は、図８０のフローチャートを参照して説明した場合と同様に実行されるので、その説明は省略する。ただし、この場合、処理は、ベクトル復号部５３３が実行し、図８０の処理が終了したときは、処理は図８１に戻る。
以上のように各処理を実行することにより、画像復号装置５００は、符号化データを正しく復号することができ、符号化効率の低減の抑制を実現することができる。
［動き（視差）ベクトルの取り扱いのまとめ］
以上の例の場合、AMVPモードにおいて、周辺ブロックから動き（視差）ベクトルを生成する際に、例えば左側位置の周辺ブロックについては、位置Ａ０、位置Ａ１の順で動き（視差）ベクトルが検索され、見つかった時点で処理が終了される。同様に、例えば上側位置の周辺ブロックについては、位置Ｂ０、位置Ｂ１、位置Ｂ２の順で動き（視差）ベクトルが検索され、見つかった時点で処理が終了される。この場合、動き（視差）ベクトルが候補となり得るか否かは、その後に判定されるので、例えば、ある位置で見つかった動き（視差）ベクトルが候補となり得ない場合であっても、その後の位置の動き（視差）ベクトルの検索は行われない。
周辺ブロックから動き（視差）ベクトルを生成する方法は、これに限らない。例えば、位置Ａ０および位置Ａ１、または、位置Ｂ０、位置Ｂ１、および位置Ｂ２の全てについて動き（視差）ベクトルを候補とすることができるか否かを判定するようにしてもよい。つまり、各位置の周辺ブロックについて、それぞれ、候補の有無を判定し、最後にまとめてスケーリング処理の有無を判定するようにする。
このようにすることにより、上述した例よりも処理が複雑になるものの、各位置の動き（視差）ベクトルについて、候補に含めるか否かを判定することができる。つまり、より適切な候補を検索することができ、符号化効率をより向上させることができる。
図８２は、周辺ブロックの取り扱いの例を説明する図である。ベクトルの予測において、まず、各位置の周辺ブロックについて、周辺ブロックの動き（視差）ベクトルを候補ベクトルに含めるか否かが、図８２のＡに示される表のように決定される。
つまり、例えば、符号化ブロックの参照画像と周辺ブロックの参照画像とのタイプが一致する場合、すなわち、ともに短時間参照画像であるか、若しくは、ともに長時間参照画像である場合、時間相関ブロックの動き（視差）ベクトルを候補にし、両者のタイプが一致しない場合、候補から除外するようにする。
候補が選択された後、その候補ベクトルについて、スケーリングを行うか否かが、図８２のＢに示される表のように決定される。
つまり、例えば、符号化ブロックの参照画像と周辺ブロックの参照画像とが、ともに短時間参照画像である場合、周辺ブロックの動き（視差）ベクトルのスケーリングを行うようにし、それ以外の場合、周辺ブロックの動き（視差）ベクトルのスケーリングを行わないようにする。
［符号化時の処理の流れ］
この場合の、左側位置のブロックから候補となる動き（視差）ベクトル生成処理の流れの例を、図８３および図８４のフローチャートを参照して説明する。なお、図６７乃至図７２のフローチャートを参照して説明した各処理は、この場合も同様に実行されるため、これらの処理についての説明は省略する。
図８３のステップＳ９２１乃至ステップＳ９２８の各処理は、図７３のステップＳ７８１乃至ステップＳ７８８の各処理と同様に実行される。ステップＳ９２４若しくはステップＳ９２８の処理が終了すると、左側位置のブロックから候補となる動き（視差）ベクトル生成処理が終了し、処理は、図７２に戻る。また、ステップＳ９２６において位置Ａ１のブロックがイントラモードであるか若しくは使用不可であると判定された場合、または、ステップＳ９２７において位置Ａ１のブロックが符号化ブロックと異なる参照画像を参照していると判定された場合、処理は、図８４のステップＳ９３１に進む。
図８４のステップＳ９３１において、ベクトル予測部４３３は、位置Ａ０のブロックを選択する。
ステップＳ９３２において、ベクトル予測部４３３は、位置Ａ０のブロックがイントラモードまたは使用不可であるか否かを判定する。
位置Ａ０のブロックがイントラモードでも使用不可でもないと判定された場合、処理は、ステップＳ９３３に進む。ステップＳ９３３において、ベクトル予測部４３３は、位置Ａ０のブロックの動き（視差）ベクトルの候補の有無を判定する。
ステップＳ９３４において、ベクトル予測部４３３は、ステップＳ９３３の判定結果に基づいて、候補を含むか否かを判定する。
候補を含むと判定した場合、処理はステップＳ９３５に進む。ステップＳ９３５において、ベクトル予測部４３３は、位置Ａ０の動き（視差）ベクトルを候補にする。ステップＳ９３５の処理が終了すると、処理は、ステップＳ９４３に進む。
また、ステップＳ９３４において、候補を含まないと判定された場合、処理は、ステップＳ９３６に進む。ステップＳ９３６において、ベクトル予測部４３３は、位置Ａ０のブロックの動き（視差）ベクトルを候補から除外する。
ステップＳ９３６の処理が終了すると、処理は、ステップＳ９３７に進む。また、ステップＳ９３２において、位置Ａ０のブロックがイントラモードでも使用不可でもないと判定された場合、処理は、ステップＳ９３７に進む。
ステップＳ９３７において、ベクトル予測部４３３は、位置Ａ１のブロックを選択する。
ステップＳ９３８において、ベクトル予測部４３３は、位置Ａ１のブロックがイントラモードまたは使用不可であるか否かを判定する。位置Ａ１のブロックがイントラモードであるか若しくは使用不可であると判定された場合、左側位置のブロックから候補となる動き（視差）ベクトル生成処理が終了し、処理は、図７２に戻る。
また、図８４のステップＳ９３８において、位置Ａ１のブロックがイントラモードでも使用不可でもないと判定された場合、処理は、ステップＳ９３９に進む。ステップＳ９３９において、ベクトル予測部４３３は、位置Ａ１のブロックの動き（視差）ベクトルの候補の有無を判定する。
ステップＳ９４０において、ベクトル予測部４３３は、ステップＳ９３９の判定結果に基づいて、候補を含むか否かを判定する。
候補を含むと判定した場合、処理はステップＳ９４１に進む。ステップＳ９４１において、ベクトル予測部４３３は、位置Ａ１の動き（視差）ベクトルを候補にする。ステップＳ９４１の処理が終了すると、処理は、ステップＳ９４３に進む。
また、ステップＳ９４０において、候補を含まないと判定された場合、処理は、ステップＳ９４２に進む。ステップＳ９４２において、ベクトル予測部４３３は、位置Ａ１のブロックの動き（視差）ベクトルを候補から除外する。ステップＳ９４２の処理が終了すると、左側位置のブロックから候補となる動き（視差）ベクトル生成処理が終了し、処理は、図７２に戻る。
図８４のステップＳ９４３において、ベクトル予測部４３３は、周辺ブロックの動き（視差）ベクトルのスケーリング処理の有無を判定する。
ステップＳ９４４において、ベクトル予測部４３３は、ステップＳ９４３の判定結果に基づいて、周辺ブロックの動き（視差）ベクトルに対してスケーリングが必要であるか否かを判定する。
スケーリングが必要であると判定された場合、処理は、ステップＳ９４５に進む。ステップＳ９４５において、ベクトル予測部４３３は、周辺ブロックの動き（視差）ベクトルに対して、スケーリング処理を行う。ステップＳ９４５の処理が終了すると、処理は、図７２に戻る。
また、図８４のステップＳ９４４において、スケーリングが必要でないと判定された場合、処理は、図７２に戻る。
次に、図８４のステップＳ９３３およびステップＳ９３９において実行される、周辺ブロックの動き（視差）ベクトルの候補の有無の判定処理の流れの例を、図８５のフローチャートを参照して説明する。
図８５のステップＳ９５１乃至ステップＳ９５４，並びにステップＳ９５７の各処理は、図７５のステップＳ８１１乃至ステップＳ８１４、並びに、ステップＳ８１７の各処理と同様に実行される。
ステップＳ９５３において符号化ブロックの参照画像が長時間参照画像であると判定され、ステップＳ９５４において周辺ブロックの参照画像が長時間参照画像であると判定された場合、ベクトル予測部４３３は、ステップＳ９５５において、周辺ブロック（位置Ａ０若しくは位置Ａ１のブロック）の動き（視差）ベクトルを候補に含めるように設定する。
また、ステップＳ９５３において符号化ブロックの参照画像が長時間参照画像であると判定され、ステップＳ９５４において周辺ブロックの参照画像が短時間参照画像であると判定された場合、または、ステップＳ９５３において符号化ブロックの参照画像が短時間参照画像であると判定され、ステップＳ９５７において周辺ブロックの参照画像が長時間参照画像であると判定された場合、符号化ブロックと周辺ブロックとで参照画像のタイプが異なるので、ベクトル予測部４３３は、ステップＳ９５６において、周辺ブロック（位置Ａ０若しくは位置Ａ１のブロック）の動き（視差）ベクトルを候補から除外するように設定する。
さらに、ステップＳ９５３において符号化ブロックの参照画像が短時間参照画像であると判定され、ステップＳ９５７において周辺ブロックの参照画像が短時間参照画像であると判定された場合、ベクトル予測部４３３は、ステップＳ９５８において、周辺ブロック（位置Ａ０若しくは位置Ａ１のブロック）の動き（視差）ベクトルを候補に含めるように設定する。
ステップＳ９５５、ステップＳ９５６、または、ステップＳ９５８の処理が終了した場合、処理は、図８４に戻る。
次に、図８４のステップＳ９４３において実行される、周辺ブロックの動き（視差）ベクトルのスケーリング処理の有無の判定処理の流れの例を、図８６のフローチャートを参照して説明する。
図８６のステップＳ９６１乃至ステップＳ９６３、並びに、ステップＳ９６５の各処理は、図７５のステップＳ８１１乃至ステップＳ８１３、並びに、ステップＳ８１７の各処理と同様に実行される。
ステップＳ９６３において符号化ブロックの参照画像が長時間参照画像であると判定された場合、または、ステップＳ９６３において符号化ブロックの参照画像が短時間参照画像であると判定され、ステップＳ９６５において、周辺ブロックの参照画像が長時間参照画像であると判定された場合、処理は、ステップＳ９６４に進む。つまり、符号化ブロックの参照画像と周辺ブロックの参照画像とのうち、少なくともいずれか一方が長時間参照画像であると判定された場合、処理はステップＳ９６４に進む。
ステップＳ９６４において、ベクトル予測部４３３は、スケーリングが不要であると設定する。ステップＳ９６４の処理が終了すると、処理は、図８４に戻る。
また、図８６のステップＳ９６３において符号化ブロックの参照画像が短時間参照画像であると判定され、ステップＳ９６５において、周辺ブロックの参照画像が短時間参照画像であると判定された場合、つまり、符号化ブロックと周辺ブロックのいずれも参照画像が短時間参照画像であると判定された場合、処理は、ステップＳ９６６に進む。
ステップＳ９６６において、ベクトル予測部４３３は、スケーリングが必要であると設定する。ステップＳ９６６の処理が終了すると、処理は、図８４に戻る。
次に、この場合の、上側位置のブロックから候補となる動き（視差）ベクトル生成処理の流れの例を、図８７乃至図８９のフローチャートを参照して説明する。
図８７のステップＳ９７１乃至ステップＳ９８２の各処理は、図７６のステップＳ８２１乃至ステップＳ８３２の各処理と同様に実行される。ステップＳ９７４、ステップＳ９７８、若しくはステップＳ９８２の処理が終了すると、処理は、図８９のステップＳ１０１７に進む。また、ステップＳ９８０において位置Ｂ２のブロックがイントラモードであるか若しくは使用不可であると判定された場合、または、ステップＳ９８１において位置Ｂ２のブロックが符号化ブロックと異なる参照画像を参照していると判定された場合、処理は、図８８のステップＳ９９１に進む。
図８８のステップＳ９９１において、ベクトル予測部４３３は、左側位置のブロックから動き（視差）ベクトルの候補が生成されているかを判定する。
ステップＳ９９２において、ベクトル予測部４３３は、位置Ｂ０のブロックを選択する。
ステップＳ９９３において、ベクトル予測部４３３は、位置Ｂ０のブロックがイントラモードまたは使用不可であるか否かを判定する。
位置Ｂ０のブロックがイントラモードでも使用不可でもないと判定された場合、処理は、ステップＳ９９４に進む。ステップＳ９９４において、ベクトル予測部４３３は、位置Ｂ０のブロックの動き（視差）ベクトルの候補の有無を判定する。この処理は、図８５のフローチャートを参照して説明した場合と同様に行われるので、その説明は省略する。
ステップＳ９９５において、ベクトル予測部４３３は、ステップＳ９９４の判定結果に基づいて、候補を除外するか否かを判定する。
候補から除外すると判定した場合、処理はステップＳ９９６に進む。ステップＳ９９６において、ベクトル予測部４３３は、位置Ｂ０のブロックの動き（視差）ベクトルを候補から除外する。ステップＳ９９６の処理が終了すると、処理は、ステップＳ９９８に進む。
また、ステップＳ９９５において、候補から除外しないと判定された場合、処理はステップＳ９９７に進む。ステップＳ９９７において、ベクトル予測部４３３は、位置Ｂ０のブロックの動き（視差）ベクトルを候補にする。ステップＳ９９７の処理が終了すると、処理は、図８９のステップＳ１０１７に進む。
また、ステップＳ９９３において、位置Ｂ０のブロックがイントラモードである、若しくは使用不可であると判定された場合、処理は、ステップＳ９９８に進む。
ステップＳ９９８において、ベクトル予測部４３３は、位置Ｂ１のブロックを選択する。
ステップＳ９９９において、ベクトル予測部４３３は、位置Ｂ１のブロックがイントラモードまたは使用不可であるか否かを判定する。
位置Ｂ１のブロックがイントラモードでも使用不可でもないと判定された場合、処理は、ステップＳ１０００に進む。ステップＳ１０００において、ベクトル予測部４３３は、位置Ｂ１のブロックの動き（視差）ベクトルの候補の有無を判定する。この処理は、図８５のフローチャートを参照して説明した場合と同様に行われるので、その説明は省略する。
ステップＳ１００１において、ベクトル予測部４３３は、ステップＳ１０００の判定結果に基づいて、候補を除外するか否かを判定する。
候補から除外すると判定した場合、処理はステップＳ１００２に進む。ステップＳ１００２において、ベクトル予測部４３３は、位置Ｂ１のブロックの動き（視差）ベクトルを候補から除外する。ステップＳ１００２の処理が終了すると、処理は、図８９のステップＳ１０１１に進む。
また、図８８のステップＳ１００１において、候補から除外しないと判定された場合、処理はステップＳ１００３に進む。ステップＳ１００３において、ベクトル予測部４３３は、位置Ｂ１のブロックの動き（視差）ベクトルを候補にする。ステップＳ１００３の処理が終了すると、処理は、図８９のステップＳ１０１７に進む。
また、ステップＳ９９９において、位置Ｂ１のブロックがイントラモードである、若しくは使用不可であると判定された場合、処理は、図８９のステップＳ１０１１に進む。
図８９のステップＳ１０１１において、ベクトル予測部４３３は、位置Ｂ２のブロックを選択する。
ステップＳ１０１２において、ベクトル予測部４３３は、位置Ｂ２のブロックがイントラモードまたは使用不可であるか否かを判定する。
位置Ｂ２のブロックがイントラモードでも使用不可でもないと判定された場合、処理は、ステップＳ１０１３に進む。ステップＳ１０１３において、ベクトル予測部４３３は、位置Ｂ２のブロックの動き（視差）ベクトルの候補の有無を判定する。この処理は、図８５のフローチャートを参照して説明した場合と同様に行われるので、その説明は省略する。
ステップＳ１０１４において、ベクトル予測部４３３は、ステップＳ１０１３の判定結果に基づいて、候補から除外するか否かを判定する。
候補から除外すると判定した場合、処理はステップＳ１０１５に進む。ステップＳ１０１５において、ベクトル予測部４３３は、位置Ｂ２のブロックの動き（視差）ベクトルを候補から除外する。ステップＳ１０１５の処理が終了すると、処理は、ステップＳ１０１７に進む。
また、ステップＳ１０１４において、候補から除外しないと判定された場合、処理はステップＳ１０１６に進む。ステップＳ１０１６において、ベクトル予測部４３３は、位置Ｂ２のブロックの動き（視差）ベクトルを候補にする。ステップＳ１０１６の処理が終了すると、処理は、ステップＳ１０１７に進む。
ステップＳ１０１７において、ベクトル予測部４３３は、周辺ブロックの動き（視差）ベクトルのスケーリング処理の有無を判定する。この処理は、図８６のフローチャートを参照して説明した場合と同様に行われるので、その説明は省略する。
ステップＳ１０１８において、ベクトル予測部４３３は、ステップＳ１０１７の判定結果に基づいて、周辺ブロックの動き（視差）ベクトルに対してスケーリングが必要であるか否かを判定する。
スケーリングが必要であると判定された場合、処理は、ステップＳ１０１９に進む。ステップＳ１０１９において、ベクトル予測部４３３は、周辺ブロックの動き（視差）ベクトルに対して、スケーリング処理を行う。ステップＳ１０１９の処理が終了すると、処理は、図７２に戻る。
また、図８９のステップＳ１０１８において、スケーリングが必要でないと判定された場合、処理は、図７２に戻る。
以上のように各処理を実行することにより、画像符号化装置４００は、符号化効率の低減を抑制することができる。
なお、画像復号装置５００も、上述した画像符号化装置４００と同様に、これらの処理を実行するのでその説明は省略する。これにより、画像復号装置５００は、符号化データを正しく復号することができ、符号化効率の低減の抑制を実現することができる。
［動き（視差）ベクトルの取り扱いのまとめ］
以上においては、図６６乃至図８１を参照して第１の例について説明し、図８２乃至図８９を参照して第２の例について説明した。
これら以外にも、例えば、第１の例において、符号化ブロックの参照画像と周辺ブロックの参照画像が両方とも長時間参照画像である場合、符号化ブロックと周辺ブロックが同一の参照画像を参照しているときのみ周辺ブロックの動き（視差）ベクトルを候補とし、それらが互いに異なる参照画像を参照しているときは、周辺ブロックの動き（視差）ベクトル候補から除外し、さらに、検索処理も省略するようにしてもよい。
上述したように、長時間参照画像は、背景画像のような静止領域や異なるビューの画像に適用される。したがって、符号化ブロックの参照画像と周辺ブロックの参照画像が両方とも、このような長時間参照画像であるにも関わらず、敢えて、それらが互いに異なる画像であるということは、その参照画像は、互いの相関性が低いと考えられる。つまり、符号化ブロックと周辺ブロックの動き（視差）ベクトルの相関性が低いと考えられる。
そこで、このような相関性が低い可能性があるパターン（符号化ブロックと周辺ブロックの参照画像がともに長時間参照画像であり、かつ、両者が互いに異なる画像である場合）を、ベクトルの候補から除外することにより、符号化効率の低減をさらに抑制することができる。また、候補やスケーリングの有無の判定処理を省略することにより、処理の負荷を低減させることができる。
図９０は、時間相関ブロックと周辺ブロックの取り扱いの他の例を説明する図である。ベクトルの予測において、時間相関ブロックの動き（視差）ベクトルを候補ベクトルに含めるか否か、並びに、スケーリングを行うか否かは、図９０のＡに示される表のように決定する。
つまり、図６６のＡの場合と同様である。
また、ベクトルの予測において、周辺ブロックの動き（視差）ベクトルを候補ベクトルに含めるか否か、並びに、スケーリングを行うか否かは、図９０のＢに示される表のように決定する。
つまり、例えば、符号化ブロックと周辺ブロックの参照画像がともに長時間参照画像である場合、それらの参照画像が同一であるときのみ、周辺ブロックの動き（視差）ベクトルを候補にする。さらに、それらの参照画像が互いに異なる場合、周辺ブロックの動き（視差）ベクトルを候補から除外するだけでなく、候補やスケーリングの有無の判定処理を省略する。
符号化ブロックの参照画像と周辺ブロックの参照画像とが、ともに短時間参照画像である場合、周辺ブロックの動き（視差）ベクトルのスケーリングを行うようにし、両者がともに長時間参照画像である場合、周辺ブロックの動き（視差）ベクトルのスケーリングを行わないようにする。
［符号化時の処理の流れ］
この場合の、左側位置のブロックから候補となる動き（視差）ベクトル生成処理の流れの例を、図９１および図９２のフローチャートを参照して説明する。なお、図６７乃至図７２のフローチャートを参照して説明した各処理は、この場合も同様に実行されるため、これらの処理についての説明は省略する。
図９１のステップＳ１０３１乃至ステップＳ１０３８の各処理は、図７３のステップＳ７８１乃至ステップＳ７８８の各処理と基本的に同様に実行される。ステップＳ１０３４若しくはステップＳ１０３８の処理が終了すると、左側位置のブロックから候補となる動き（視差）ベクトル生成処理が終了し、処理は、図７２に戻る。また、ステップＳ１０３５において位置Ａ１のブロックがイントラモードであるか若しくは使用不可であると判定された場合、処理は、図９２のステップＳ１０４１に進む。
しかしながら、図９１のステップＳ１０３７において、位置Ａ１のブロックが符号化ブロックと異なる参照画像を参照していると判定された場合、処理は、ステップＳ１０３９に進む。
ステップＳ１０３９において、ベクトル予測部４３３は、符号化ブロックと周辺ブロックの参照画像がともに長時間参照画像であるか否かを判定する。
符号化ブロックと周辺ブロックの参照画像がともに長時間参照画像であると判定された場合、左側位置のブロックから候補となる動き（視差）ベクトル生成処理が終了し、処理は、図７２に戻る。
また、符号化ブロックと周辺ブロックの参照画像の少なくとも一方が短時間参照画像であると判定された場合、処理は、図９２のステップＳ１０４１に進む。
図９２のステップＳ１０４１乃至ステップＳ１０５１の各処理は、図７４のステップＳ７９１乃至ステップＳ７９９の各処理と同様に実行される。
つまり、符号化ブロックと周辺ブロックの参照画像がともに長時間参照画像であると判定された場合、図９２の処理が全て省略される。したがって、処理の負荷を低減させることができる。
次に、この場合の、上側位置のブロックから候補となる動き（視差）ベクトル生成処理の流れの例を、図９３および図９４のフローチャートを参照して説明する。
図９３のステップＳ１０７１乃至ステップＳ１０８２の各処理は、図７６のステップＳ８２１乃至ステップＳ８３２の各処理と基本的に同様に実行される。ステップＳ１０７４、ステップＳ１０７８、若しくはステップＳ１０８２の処理が終了すると、上側位置のブロックから候補となる動き（視差）ベクトル生成処理が終了し、処理は、図７２に戻る。また、ステップＳ１０８０において位置Ｂ２のブロックがイントラモードであるか若しくは使用不可であると判定された場合、処理は、図９４のステップＳ１０９１に進む。
しかしながら、図９３のステップＳ１０８１において、位置Ｂ２のブロックが符号化ブロックと異なる参照画像を参照していると判定された場合、処理は、ステップＳ１０８３に進む。
ステップＳ１０８３において、ベクトル予測部４３３は、符号化ブロックと周辺ブロックの参照画像がともに長時間参照画像であるか否かを判定する。
符号化ブロックと周辺ブロックの参照画像がともに長時間参照画像であると判定された場合、上側位置のブロックから候補となる動き（視差）ベクトル生成処理が終了し、処理は、図７２に戻る。
また、符号化ブロックと周辺ブロックの参照画像の少なくとも一方が短時間参照画像であると判定された場合、処理は、図９４のステップＳ１０９１に進む。
図９４のステップＳ１０９１乃至ステップＳ１１０５の各処理は、図７７のステップＳ８４１乃至ステップＳ８５５の各処理と同様に実行される。
つまり、符号化ブロックと周辺ブロックの参照画像がともに長時間参照画像であると判定された場合、図９４の処理が全て省略される。したがって、処理の負荷を低減させることができる。
なお、上述した一連の処理は、多視点画像符号化・多視点画像復号（マルチビューのエンコーダ・デコーダ）にも適用することができる。つまり、多視点符号化・多視点復号を行う場合においても、符号化効率を向上させることができる。さらに、上述した一連の処理は、階層画像符号化(空間スケーラビリティ)・階層画像復号（マルチレイヤのエンコーダ・デコーダ）にも適用することができる。つまり、階層画像符号化・階層画像復号を行う場合においても、符号化効率を向上させることができる。
また、上述した一連の処理は、単視点画像（１ビュー）の、所謂２Ｄ画像にも適用することができる。
なお、本技術は、例えば、MPEG、H．26x等の様に、離散コサイン変換等の直交変換と動き補償によって圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルテレビジョン、インターネット、または携帯電話機などのネットワークメディアを介して受信する際に用いられる画像符号化装置および画像復号装置に適用することができる。また、本技術は、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる画像符号化装置および画像復号装置に適用することができる。さらに、本技術は、それらの画像符号化装置および画像復号装置などに含まれる動き予測補償装置にも適用することができる。
＜７．第７の実施の形態＞
［コンピュータ］
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な汎用のパーソナルコンピュータなどが含まれる。
図９５において、パーソナルコンピュータ７００のCPU（Central Processing Unit）７０１は、ROM（Read Only Memory）７０２に記憶されているプログラム、または記憶部７１３からRAM（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。RAM７０３にはまた、CPU７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU７０１、ROM７０２、およびRAM７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７１０も接続されている。
入出力インタフェース７１０には、キーボード、マウスなどよりなる入力部７１１、CRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）などよりなるディスプレイ、並びにスピーカなどよりなる出力部７１２、ハードディスクなどより構成される記憶部７１３、モデムなどより構成される通信部７１４が接続されている。通信部７１４は、インターネットを含むネットワークを介しての通信処理を行う。
入出力インタフェース７１０にはまた、必要に応じてドライブ７１５が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７１３にインストールされる。
上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
この記録媒体は、例えば、図９５に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc - Read Only Memory）,DVD（Digital Versatile Disc）を含む）、光磁気ディスク（MD（Mini Disc）を含む）、若しくは半導体メモリなどよりなるリムーバブルメディア７２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM７０２や、記憶部７１３に含まれるハードディスクなどで構成される。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
＜８．第８の実施の形態＞
上述した実施形態に係る画像符号化装置及び画像復号装置は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、４つの応用例について説明する。
［第１の応用例：テレビジョン受像機］
図９６は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース９０９、制御部９１０、ユーザインタフェース９１１、及びバス９１２を備える。
チューナ９０２は、アンテナ９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ９０３へ出力する。即ち、チューナ９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送部としての役割を有する。
デマルチプレクサ９０３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。また、デマルチプレクサ９０３は、符号化ビットストリームからEPG（Electronic Program Guide）などの補助的なデータを抽出し、抽出したデータを制御部９１０に供給する。なお、デマルチプレクサ９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。
デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ９０４は、復号処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号処理により生成される音声データを音声信号処理部９０７へ出力する。
映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に映像を表示させる。また、映像信号処理部９０５は、ネットワークを介して供給されるアプリケーション画面を表示部９０６に表示させてもよい。また、映像信号処理部９０５は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部９０５は、例えばメニュー、ボタン又はカーソルなどのGUI（Graphical User Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。
表示部９０６は、映像信号処理部９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はOELD（Organic ElectroLuminescence Display）（有機ELディスプレイ）など）の映像面上に映像又は画像を表示する。
音声信号処理部９０７は、デコーダ９０４から入力される音声データについてD/A変換及び増幅などの再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、音声データについてノイズ除去などの追加的な処理を行ってもよい。
外部インタフェース９０９は、テレビジョン装置９００と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース９０９を介して受信される映像ストリーム又は音声ストリームが、デコーダ９０４により復号されてもよい。即ち、外部インタフェース９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送部としての役割を有する。
制御部９１０は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、プログラムデータ、EPGデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置９００の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９１１から入力される操作信号に応じて、テレビジョン装置９００の動作を制御する。
ユーザインタフェース９１１は、制御部９１０と接続される。ユーザインタフェース９１１は、例えば、ユーザがテレビジョン装置９００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９１０へ出力する。
バス９１２は、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース９０９及び制御部９１０を相互に接続する。
このように構成されたテレビジョン装置９００において、デコーダ９０４は、上述した実施形態に係る画像復号装置の機能を有する。それにより、テレビジョン装置９００での画像の復号に際して、符号化効率の低減の抑制を実現することができる。
［第２の応用例：携帯電話機］
図９７は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、及びバス９３３を備える。
アンテナ９２１は、通信部９２２に接続される。スピーカ９２４及びマイクロホン９２５は、音声コーデック９２３に接続される。操作部９３２は、制御部９３１に接続される。バス９３３は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、及び制御部９３１を相互に接続する。
携帯電話機９２０は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。
音声通話モードにおいて、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３に供給される。音声コーデック９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをA/D変換し圧縮する。そして、音声コーデック９２３は、圧縮後の音声データを通信部９２２へ出力する。通信部９２２は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック９２３へ出力する。音声コーデック９２３は、音声データを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
また、データ通信モードにおいて、例えば、制御部９３１は、操作部９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部９３１は、文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部９２２へ出力する。通信部９２２は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部９３１へ出力する。制御部９３１は、表示部９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部９２９の記憶媒体に記憶させる。
記録再生部９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、ＲＡＭ又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、USB（Unallocated Space Bitmap）メモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。
また、撮影モードにおいて、例えば、カメラ部９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部９２７へ出力する。画像処理部９２７は、カメラ部９２６から入力される画像データを符号化し、符号化ストリームを記憶再生部９２９の記憶媒体に記憶させる。
また、テレビ電話モードにおいて、例えば、多重分離部９２８は、画像処理部９２７により符号化された映像ストリームと、音声コーデック９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部９２２へ出力する。通信部９２２は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部９２２は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部９２８へ出力する。多重分離部９２８は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部９２７、音声ストリームを音声コーデック９２３へ出力する。画像処理部９２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部９３０に供給され、表示部９３０により一連の画像が表示される。音声コーデック９２３は、音声ストリームを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
このように構成された携帯電話機９２０において、画像処理部９２７は、上述した実施形態に係る画像符号化装置及び画像復号装置の機能を有する。それにより、携帯電話機９２０での画像の符号化及び復号に際して、符号化効率の低減を抑制することができる。
［第３の応用例：記録再生装置］
図９８は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置９４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置９４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置９４０は、音声データ及び映像データを復号する。
記録再生装置９４０は、チューナ９４１、外部インタフェース９４２、エンコーダ９４３、HDD（Hard Disk Drive）９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、OSD（On-Screen Display）９４８、制御部９４９、及びユーザインタフェース９５０を備える。
チューナ９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９４１は、復調により得られた符号化ビットストリームをセレクタ９４６へ出力する。即ち、チューナ９４１は、記録再生装置９４０における伝送部としての役割を有する。
外部インタフェース９４２は、記録再生装置９４０と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース９４２は、例えば、IEEE1394インタフェース、ネットワークインタフェース、USBインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース９４２を介して受信される映像データ及び音声データは、エンコーダ９４３へ入力される。即ち、外部インタフェース９４２は、記録再生装置９４０における伝送部としての役割を有する。
エンコーダ９４３は、外部インタフェース９４２から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ９４３は、符号化ビットストリームをセレクタ９４６へ出力する。
HDD９４４は、映像及び音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラムおよびその他のデータを内部のハードディスクに記録する。また、HDD９４４は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。
ディスクドライブ９４５は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ９４５に装着される記録媒体は、例えばDVDディスク（DVD-Video、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等）又はBlu-ray（登録商標）ディスクなどであってよい。
セレクタ９４６は、映像及び音声の記録時には、チューナ９４１又はエンコーダ９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをHDD９４４又はディスクドライブ９４５へ出力する。また、セレクタ９４６は、映像及び音声の再生時には、HDD９４４又はディスクドライブ９４５から入力される符号化ビットストリームをデコーダ９４７へ出力する。
デコーダ９４７は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ９４７は、生成した映像データをOSD９４８へ出力する。また、デコーダ９０４は、生成した音声データを外部のスピーカへ出力する。
OSD９４８は、デコーダ９４７から入力される映像データを再生し、映像を表示する。また、OSD９４８は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのGUIの画像を重畳してもよい。
制御部９４９は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置９４０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９５０から入力される操作信号に応じて、記録再生装置９４０の動作を制御する。
ユーザインタフェース９５０は、制御部９４９と接続される。ユーザインタフェース９５０は、例えば、ユーザが記録再生装置９４０を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９４９へ出力する。
このように構成された記録再生装置９４０において、エンコーダ９４３は、上述した実施形態に係る画像符号化装置の機能を有する。また、デコーダ９４７は、上述した実施形態に係る画像復号装置の機能を有する。それにより、記録再生装置９４０での画像の符号化及び復号に際して、符号化効率の低減を抑制することができる。
［第４の応用例：撮像装置］
図９９は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。
撮像装置９６０は、光学ブロック９６１、撮像部９６２、信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、OSD９６９、制御部９７０、ユーザインタフェース９７１、及びバス９７２を備える。
光学ブロック９６１は、撮像部９６２に接続される。撮像部９６２は、信号処理部９６３に接続される。表示部９６５は、画像処理部９６４に接続される。ユーザインタフェース９７１は、制御部９７０に接続される。バス９７２は、画像処理部９６４、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、OSD９６９、及び制御部９７０を相互に接続する。
光学ブロック９６１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、CCD（Charge Coupled Device）又はCMOS（Complementary Metal Oxide Semiconductor）などのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号を信号処理部９６３へ出力する。
信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。
画像処理部９６４は、信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース９６６又はメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース９６６又はメディアドライブ９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９６５へ出力する。また、画像処理部９６４は、信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、OSD９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。
OSD９６９は、例えばメニュー、ボタン又はカーソルなどのGUIの画像を生成して、生成した画像を画像処理部９６４へ出力する。
外部インタフェース９６６は、例えばUSB入出力端子として構成される。外部インタフェース９６６は、例えば、画像の印刷時に、撮像装置９６０とプリンタとを接続する。また、外部インタフェース９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６０にインストールされ得る。さらに、外部インタフェース９６６は、LAN又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース９６６は、撮像装置９６０における伝送部としての役割を有する。
メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はSSD（Solid State Drive）のような非可搬性の記憶部が構成されてもよい。
制御部９７０は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９７１から入力される操作信号に応じて、撮像装置９６０の動作を制御する。
ユーザインタフェース９７１は、制御部９７０と接続される。ユーザインタフェース９７１は、例えば、ユーザが撮像装置９６０を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。
このように構成された撮像装置９６０において、画像処理部９６４は、上述した実施形態に係る画像符号化装置及び画像復号装置の機能を有する。それにより、撮像装置９６０での画像の符号化及び復号に際して、符号化効率の低減を抑制することができる。
なお、本明細書では、閾値などの様々な情報が、符号化ストリームのヘッダに多重化されて、符号化側から復号側へ伝送される例について説明した。しかしながら、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像（スライス若しくはブロックなど、画像の一部であってもよい）と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像（又はビットストリーム）とは別の伝送路上で伝送されてもよい。また、情報は、画像（又はビットストリーム）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、情報と画像（又はビットストリーム）とは、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
なお、本技術は以下のような構成も取ることができる。
（１） 視差方向の相関性を利用した予測に用いられるカレントブロックのカレント視差ベクトルを符号化する際に、前記カレント視差ベクトルの予測ベクトルを、予測動きベクトルを生成する際に参照するリファレンス視差ベクトルを用いて生成する予測ベクトル生成部と、
前記カレント視差ベクトルと、前記予測ベクトル生成部により生成された前記予測ベクトルとの差分ベクトルを生成する差分ベクトル生成部と
を備える画像処理装置。
（２） 前記予測ベクトル生成部は、カレントビューと同一のビューを対象として、カレントピクチャと異なる時刻のコロケーテッドピクチャに含まれるコロケーテッドブロックの視差ベクトルを用いて、前記カレント視差ベクトルの予測ベクトルを生成する
前記（１）に記載の画像処理装置。
（３） 前記予測ベクトル生成部は、カレントブロックのベクトルの特性とコロケーテッドブロックのベクトルの特性とが一致する場合に、コロケーテッドブロックをアベイラブルに設定する
前記（２）に記載の画像処理装置。
（４） 前記ベクトルの特性は、ベクトルのタイプであり、
前記予測ベクトル生成部は、カンレントブロックのベクトルの特性が視差ベクトルあり、かつ、コロケーテッドブロックのベクトルの特性が視差ベクトルである場合に、コロケーテッドブロックをアベイラブルに設定する
前記（３）に記載の画像処理装置。
（５） 前記予測動きベクトル生成部は、ピクチャの出力順を示すPOC(Picture Order Count)を用いて、カレントブロックのベクトルの特性とコロケーテッドブロックのベクトルの特性とを判定する
前記（３）または（４）に記載の画像処理装置。
（６） 前記予測動きベクトル生成部は、カレントピクチャのPOCと、カレントピクチャから参照されるカレントリファレンスピクチャのPOCと、コロケーテッドピクチャのPOCと、コロケーテッドピクチャから参照されるコロケーテッドリファレンスピクチャのPOCとを用いて、カレントブロックのベクトルの特性とコロケーテッドブロックのベクトルの特性とを判定する
前記（５）に記載の画像処理装置。
（７） 前記予測動きベクトル生成部は、カレントピクチャのPOCとカレントピクチャから参照されるカレントリファレンスピクチャのPOCとが一致し、かつ、コロケーテッドピクチャのPOCとコロケーテッドピクチャから参照されるコロケーテッドリファレンスピクチャのPOCとが一致する場合に、カレントブロックのベクトルの特性とコロケーテッドブロックのベクトルの特性とは、視差ベクトルであると判定する
前記（６）に記載の画像処理装置。
（８） 前記予測ベクトル生成部は、カレントブロックのベクトルの特性とコロケーテッドブロックのベクトルの特性とが異なる場合に、コロケーテッドブロックをノットアベイラブルに設定する
前記（２）乃至（７）のいずれかに記載の画像処理装置。
（９） 前記ベクトルの特性は、参照ピクチャのタイプであり、
前記予測ベクトル生成部は、カレントブロックの参照ピクチャのタイプとコロケーテッドブロックの参照ピクチャのタイプとが異なる場合に、コロケーテッドブロックをノットアベイラブルに設定する
前記（８）に記載の画像処理装置。
（１０） 前記ベクトルの特性は、参照ピクチャのタイプであり、
前記予測ベクトル生成部は、カレントブロックの参照ピクチャのタイプが長時間参照であり、かつ、コロケーテッドブロックの参照ピクチャのタイプが長時間参照である場合に、リファレンスインデックスを探索する探索処理をスキップする
前記（８）または（９）に記載の画像処理装置。
（１１） 前記予測ベクトル生成部は、前記カレントビューと異なるビューを対象として、カレントピクチャと同一の時刻のピクチャに含まれるリファレンスブロックの視差ベクトルを用いて、前記カレント視差ベクトルの予測ベクトルを生成する
前記（１）乃至（１０）のいずれかに記載の画像処理装置。
（１２） 前記予測ベクトル生成部は、カレントピクチャと予測動きベクトルを生成する際に参照するリファレンスピクチャとの位置関係に基づいて、前記リファレンス視差ベクトルをスケーリングして、前記カレント視差ベクトルの予測ベクトルを生成する
前記（１）乃至（１１）のいずれかに記載の画像処理装置。
（１３） 前記予測ベクトル生成部は、時間方向の相関性を利用した予測に用いられるカレントブロックのカレント動きベクトルを符号化する際に、前記カレント動きベクトルの予測ベクトルを、予測動きベクトルを生成する際に参照するリファレンス動きベクトルを用いて生成し、
前記差分ベクトル生成部は、前記カレント動きベクトルと前記予測ベクトル生成部により生成された前記予測ベクトルとの差分ベクトルを生成する
前記（１）乃至（１２）のいずれかに記載の画像処理装置。
（１４） 前記予測ベクトル生成部は、前記カレントビューと異なるビューを対象として、前記カレントピクチャと同一の時刻のピクチャに含まれるリファレンスブロックの動きベクトルを用いて、前記カレント動きベクトルの予測ベクトルを生成する
前記（１３）に記載の画像処理装置。
（１５） 前記予測ベクトル生成部は、前記カレントビューと同一のビューを対象として、前記カレントピクチャと異なる時刻のピクチャに含まれるリファレンスブロックの動きベクトルを用いて、前記カレント動きベクトルの予測ベクトルを生成する
前記（１３）または（１４）に記載の画像処理装置。
（１６） 前記予測ベクトル生成部は、カレントピクチャと予測動きベクトルを生成する際に参照するリファレンスピクチャとの位置関係に基づいて、前記リファレンス動きベクトルをスケーリングして、前記カレント動きベクトルの予測ベクトルを生成する
前記（１５）に記載の画像処理装置。
（１７） 前記予測ベクトル生成部は、前記カレントビューと異なるビューを対象として、前記カレントピクチャと同一の時刻のピクチャの画素の位置をシフトさせた状態で前記カレントブロックと同じ位置となるブロックのベクトルを用いて、前記予測ベクトルを生成する
前記（１）乃至（１６）のいずれかに記載の画像処理装置。
（１８） 前記予測ベクトル生成部は、前記カレントブロックの周辺領域の視差ベクトルに応じて、前記画像のシフト量を設定する
前記（１７）に記載の画像処理装置。
（１９） 前記予測ベクトル生成部は、Ｙ方向の視差ベクトルの値が非ゼロである前記周辺ブロックの、Ｘ方向の視差ベクトルを、前記シフト量とする
前記（１８）に記載の画像処理装置。
（２０） 前記予測ベクトル生成部は、Ｙ方向の視差ベクトルの値が非ゼロである複数の前記周辺ブロックの、Ｘ方向の視差ベクトルから算出される値を、前記シフト量とする 前記（１８）または（１９）に記載の画像処理装置。
（２１） 前記予測ベクトル生成部は、Ｙ方向の視差ベクトルの値が非ゼロである複数の前記周辺ブロックの、Ｘ方向の視差ベクトルの平均値又は中央値を、前記画像のシフト量とする
前記（２０）に記載の画像処理装置。
（２２） 前記予測ベクトル生成部は、グローバル視差ベクトルに応じて、前記画像のシフト量を設定する
前記（１７）乃至（２１）のいずれかに記載の画像処理装置。
（２３） 画像処理装置の画像処理方法において、
前記画像処理装置が、
視差方向の相関性を利用した予測に用いられるカレントブロックのカレント視差ベクトルを符号化する際に、前記カレント視差ベクトルの予測ベクトルを、予測動きベクトルを生成する際に参照するリファレンス視差ベクトルを用いて生成し、
前記カレント視差ベクトルと、生成された前記予測ベクトルとの差分ベクトルを生成する
画像処理方法。
（２４） 視差方向の相関性を利用した予測に用いられるカレントブロックのカレント視差ベクトルの復号において、前記カレント視差ベクトルの予測ベクトルを、予測動きベクトルを生成する際に参照するリファレンス視差ベクトルを用いて生成する予測ベクトル生成部と、
前記カレント視差ベクトルと前記予測ベクトルとの差分ベクトルに、前記予測ベクトル生成部により生成された前記予測ベクトルを加算し、前記カレント視差ベクトルを再構築する演算を行う演算部と
を備える画像処理装置。
（２５） 画像処理装置の画像処理方法において、
前記画像処理装置が、
視差方向の相関性を利用した予測に用いられるカレントブロックのカレント視差ベクトルの復号において、前記カレント視差ベクトルの予測ベクトルを、予測動きベクトルを生成する際に参照するリファレンス視差ベクトルを用いて生成し、
前記カレント視差ベクトルと前記予測ベクトルとの差分ベクトルに、生成された前記予測ベクトルを加算し、前記カレント視差ベクトルを再構築する演算を行う
画像処理方法。
（２６） 時間方向の相関性を利用した予測に用いられるカレントブロックのカレント動きベクトルを符号化する際に、カレントブロックの参照ピクチャのタイプとカレントピクチャと異なる時刻のコロケーテッドピクチャに含まれるコロケーテッドブロックの参照ピクチャのタイプとが異なる場合に、コロケーテッドブロックをノットアベイラブルに設定し、前記カレント動きベクトルの予測ベクトルを、予測動きベクトルを生成する際に参照するリファレンス動きベクトルを用いて生成する予測ベクトル生成部と、
前記カレント動きベクトルと前記予測ベクトル生成部により生成された前記予測ベクトルとの差分ベクトルを生成する差分ベクトル生成部と
を備える画像処理装置。
（２７） 画像処理装置の画像処理方法において、
前記画像処理装置が、
時間方向の相関性を利用した予測に用いられるカレントブロックのカレント動きベクトルを符号化する際に、カレントブロックの参照ピクチャのタイプとカレントピクチャと異なる時刻のコロケーテッドピクチャに含まれるコロケーテッドブロックの参照ピクチャのタイプとが異なる場合に、コロケーテッドブロックをノットアベイラブルに設定し、前記カレント動きベクトルの予測ベクトルを、予測動きベクトルを生成する際に参照するリファレンス動きベクトルを用いて生成し、
前記カレント動きベクトルと生成された前記予測ベクトルとの差分ベクトルを生成する
画像処理方法。
１００ 画像符号化装置， １１５ 動き視差予測・補償部， １２１ 多視点デコードピクチャバッファ， １３１ 動き視差ベクトル探索部， １３２ 予測画像生成部， １３３ 符号化情報蓄積バッファ， １３４ 選択部， １３５ 空間相関予測ベクトル生成部， １３６ 時間視差相関予測ベクトル生成部， １３７ 選択部， １３８ 符号化コスト算出部， １３９ モード判定部， １５１ カレント領域処理部， １５２ 相関領域処理部， １５３ L1予測処理部， １５４ L0予測処理部， １５５ 方式１処理部， １５６ 方式２処理部， １５７ 方式３処理部， １５８ 方式４処理部， １５９ 予測ベクトル生成部， ３００ 画像復号装置， ３１２ 動き視差補償部， ３２１ 多視点デコードピクチャバッファ， ３３１ 符号化情報蓄積バッファ， ３３２ 空間相関予測ベクトル生成部， ３３３ 時間視差相関予測ベクトル生成部， ３３４ 選択部， ３３５ 演算部， ３３６ 予測画像生成部， ４００ 画像符号化装置， ４１５ 動き予測・補償部， ４２１ Base Viewエンコーダ， ４３３および４３４ ベクトル予測部， ４５７ 異なるピクチャからの予測ベクトル生成部， ４７１ 視差ベクトル判定部， ４７２ ビュー間参照ベクトル生成部， ４７３ ビュー内参照ベクトル生成部， ５００ 画像復号装置， ５１２ 動き補償部， ５２１ Base Viewデコーダ， ５３３および５３４ ベクトル復号部， ５５３ 異なるピクチャからの予測ベクトル生成部， ５７１ 視差ベクトル判定部， ５７２ ビュー間参照ベクトル生成部， ５７３ ビュー内参照ベクトル生成部
本開示の一側面は、カレントピクチャと異なる時間のピクチャのコロケーテッドブロックのコロケーテッドベクトルとカレントブロックの周辺ブロックのベクトルである周辺ベクトルとを前記カレントブロックの符号化ベクトルに対する予測ベクトルの候補である候補ベクトルとして、前記カンレントブロックの参照画像が短時間参照画像である場合に、参照画像が長時間参照画像である候補ベクトルを、前記符号化ベクトルに対する予測ベクトルの候補を管理する候補リストから除外する予測ベクトル候補設定部と、前記予測ベクトル候補設定部により設定された前記候補リストに含まれる候補ベクトルから、前記符号化ベクトルに対する前記予測ベクトルを設定する予測ベクトル設定部と、前記予測ベクトル設定部により設定された予測ベクトルを用いて、前記符号化ベクトルを再構築する再構築部とを備える画像処理装置である。
前記予測ベクトル候補設定部は、参照画像が長時間参照画像である候補ベクトルを前記候補リストから除外することにより、参照画像が短時間参照画像である候補ベクトルのみを含む前記候補リストを設定することができる。
前記予測ベクトル候補設定部は、参照画像が長時間参照画像である候補ベクトルを、ノットアベイラブルの状態として、前記候補リストに含めないようにすることができる。
前記予測ベクトル設定部は、前記カレントブロックの参照画像と前記候補ブロックの参照画像とが異なる画像である場合に、前記候補ベクトルを前記候補リストから除外することができる。
前記予測ベクトル設定部は、前記候補リストに含まれる候補ベクトルから、前記予測ベクトルを選択することができる。
前記再構築部は、前記予測ベクトルと前記符号化ベクトルとの差分である差分ベクトルに、前記予測ベクトル設定部により設定された予測ベクトルを加算して、前記符号化ベクトルを再構築することができる。
前記再構築部は、AMVP（Advanced Motion Vector Prediction）モードを用いて、前記符号化ベクトルを再構築することができる。
前記再構築部は、前記予測ベクトル設定部により設定された予測ベクトルを前記符号化ベクトルとして再構築することができる。
前記再構築部は、マージモードを用いて、前記符号化ベクトルを再構築することができる。
符号化された符号化ベクトルを含むビットストリームを復号する復号部を更に備えるようにすることができる。
前記復号部は、最大符号化単位を再帰的に分割した符号化単位で、前記ビットストリームを復号することができる。
本開示の一側面は、また、カレントピクチャと異なる時間のピクチャのコロケーテッドブロックのコロケーテッドベクトルとカレントブロックの周辺ブロックのベクトルである周辺ベクトルとを前記カレントブロックの符号化ベクトルに対する予測ベクトルの候補である候補ベクトルとして、前記カンレントブロックの参照画像が短時間参照画像である場合に、参照画像が長時間参照画像である候補ベクトルを、前記符号化ベクトルに対する予測ベクトルの候補を管理する候補リストから除外し、設定された前記候補リストに含まれる候補ベクトルから、前記符号化ベクトルに対する前記予測ベクトルを設定し、設定された予測ベクトルを用いて、前記符号化ベクトルを再構築する画像処理方法である。
本開示の一側面は、さらに、コンピュータを、カレントピクチャと異なる時間のピクチャのコロケーテッドブロックのコロケーテッドベクトルとカレントブロックの周辺ブロックのベクトルである周辺ベクトルとを前記カレントブロックの符号化ベクトルに対する予測ベクトルの候補である候補ベクトルとして、前記カンレントブロックの参照画像が短時間参照画像である場合に、参照画像が長時間参照画像である候補ベクトルを、前記符号化ベクトルに対する予測ベクトルの候補を管理する候補リストから除外する予測ベクトル候補設定部と、前記予測ベクトル候補設定部により設定された前記候補リストに含まれる候補ベクトルから、前記符号化ベクトルに対する前記予測ベクトルを設定する予測ベクトル設定部と、前記予測ベクトル設定部により設定された予測ベクトルを用いて、前記符号化ベクトルを再構築する再構築部として機能させるプログラムを記録したコンピュータが読み取り可能な記録媒体である。
本開示の一側面は、さらに、コンピュータを、カレントピクチャと異なる時間のピクチャのコロケーテッドブロックのコロケーテッドベクトルとカレントブロックの周辺ブロックのベクトルである周辺ベクトルとを前記カレントブロックの符号化ベクトルに対する予測ベクトルの候補である候補ベクトルとして、前記カンレントブロックの参照画像が短時間参照画像である場合に、参照画像が長時間参照画像である候補ベクトルを、前記符号化ベクトルに対する予測ベクトルの候補を管理する候補リストから除外する予測ベクトル候補設定部と、前記予測ベクトル候補設定部により設定された前記候補リストに含まれる候補ベクトルから、前記符号化ベクトルに対する前記予測ベクトルを設定する予測ベクトル設定部と、前記予測ベクトル設定部により設定された予測ベクトルを用いて、前記符号化ベクトルを再構築する再構築部として機能させるプログラムである。
本開示の一側面においては、カレントピクチャと異なる時間のピクチャのコロケーテッドブロックのコロケーテッドベクトルとカレントブロックの周辺ブロックのベクトルである周辺ベクトルとをそのカレントブロックの符号化ベクトルに対する予測ベクトルの候補である候補ベクトルとして、カンレントブロックの参照画像が短時間参照画像である場合に、参照画像が長時間参照画像である候補ベクトルが、符号化ベクトルに対する予測ベクトルの候補を管理する候補リストから除外され、その設定された候補リストに含まれる候補ベクトルから、その符号化ベクトルに対する予測ベクトルが設定され、設定された予測ベクトルを用いて、その符号化ベクトルが再構築される。

Claims (26)

  1. カレントブロックの符号化ベクトル及びカレントピクチャと異なる時間のピクチャのコロケーテッドブロックのコロケーテッドベクトルの一方が前記カレントピクチャと同一ビューで異なる時間のピクチャを参照する動きベクトルであり、他方がビュー方向の相関を利用した視差ベクトルである場合に、前記コロケーテッドベクトルを、前記符号化ベクトルに対する予測ベクトルの候補から除外する予測ベクトル候補設定部と、
    前記予測ベクトル候補設定部により前記コロケーテッドベクトルが除外された予測ベクトルの候補から、前記符号化ベクトルに対する予測ベクトルを設定する予測ベクトル設定部と、
    前記予測ベクトル設定部により設定された予測ベクトルと前記符号化ベクトルとの差分である差分ベクトルを符号化する符号化部と
    を備える画像処理装置。
  2. 前記予測ベクトル候補設定部は、前記符号化ベクトル及び前記コロケーテッドベクトルの一方を、短時間参照画像を参照するベクトルとして設定し、他方を、長時間参照画像を参照するベクトルとして設定する場合に、前記コロケーテッドベクトルを、前記予測ベクトルの候補から除外する
    請求項１に記載の画像処理装置。
  3. 前記予測ベクトル候補設定部は、ピクチャの出力順を示すPOC(Picture Order Count)を用いて、前記符号化ベクトル及び前記コロケーテッドベクトルの一方を、短時間参照画像を参照するベクトルとして設定し、他方を、長時間参照画像を参照するベクトルとして設定する
    請求項２に記載の画像処理装置。
  4. 前記予測ベクトル候補設定部は、前記符号化ベクトルが前記動きベクトルであり、かつ、前記コロケーテッドベクトルが前記視差ベクトルである場合に、前記コロケーテッドベクトルである前記視差ベクトルを、前記予測ベクトルの候補から除外する
    請求項１に記載の画像処理装置。
  5. 前記予測ベクトル候補設定部は、前記符号化ベクトルである前記動きベクトルを、短時間参照画像を参照するベクトルとして設定し、前記コロケーテッドベクトルである前記視差ベクトルを、長時間参照画像を参照するベクトルとして設定する場合に、前記コロケーテッドベクトルである前記視差ベクトルを、前記予測ベクトルの候補から除外する
    請求項４に記載の画像処理装置。
  6. 前記予測ベクトル候補設定部は、ピクチャの出力順を示すPOC(Picture Order Count)を用いて、前記符号化ベクトルである前記動きベクトルを、短時間参照画像を参照するベクトルとして設定し、前記コロケーテッドベクトルである前記視差ベクトルを、長時間参照画像を参照するベクトルとして設定する
    請求項５に記載の画像処理装置。
  7. 前記予測ベクトル候補設定部は、前記符号化ベクトルが前記視差ベクトルであり、かつ、前記コロケーテッドベクトルが前記動きベクトルである場合に、前記コロケーテッドベクトルである前記動きベクトルを、前記予測ベクトルの候補から除外する
    請求項１に記載の画像処理装置。
  8. 前記予測ベクトル候補設定部は、前記符号化ベクトルである前記視差ベクトルを、長時間参照画像を参照するベクトルとして設定し、前記コロケーテッドベクトルである前記動きベクトルを、短時間参照画像を参照するベクトルとして設定する場合に、前記コロケーテッドベクトルである前記動きベクトルを、前記予測ベクトルの候補から除外する
    請求項７に記載の画像処理装置。
  9. 前記予測ベクトル候補設定部は、ピクチャの出力順を示すPOC(Picture Order Count)を用いて、前記符号化ベクトルである前記視差ベクトルを、長時間参照画像を参照するベクトルとして設定し、前記コロケーテッドベクトルである前記動きベクトルを、短時間参照画像を参照するベクトルとして設定する
    請求項８に記載の画像処理装置。
  10. 前記符号化部は、符号化した差分ベクトルを含むビットストリームを生成する
    請求項１に記載の画像処理装置。
  11. 前記符号化部は、最大符号化単位を再帰的に分割した符号化単位で、画像を符号化して前記ビットストリームを生成する
    請求項１０に記載の画像処理装置。
  12. 前記最大符号化単位は、シーケンス単位で固定サイズのブロックであり、
    前記符号化単位は、可変サイズのブロックである
    請求項１１に記載の画像処理装置。
  13. カレントブロックの符号化ベクトル及びカレントピクチャと異なる時間のピクチャのコロケーテッドブロックのコロケーテッドベクトルの一方が前記カレントピクチャと同一ビューで異なる時間のピクチャを参照する動きベクトルであり、他方がビュー方向の相関を利用した視差ベクトルである場合に、前記コロケーテッドベクトルを、前記符号化ベクトルに対する予測ベクトルの候補から除外し、
    前記コロケーテッドベクトルが除外された予測ベクトルの候補から、前記符号化ベクトルに対する予測ベクトルを設定し、
    設定された予測ベクトルと前記符号化ベクトルとの差分である差分ベクトルを符号化する
    画像処理方法。
  14. 前記符号化ベクトル及び前記コロケーテッドベクトルの一方を、短時間参照画像を参照するベクトルとして設定し、他方を、長時間参照画像を参照するベクトルとして設定する場合に、前記コロケーテッドベクトルを、前記予測ベクトルの候補から除外する
    請求項１３に記載の画像処理方法。
  15. ピクチャの出力順を示すPOC(Picture Order Count)を用いて、前記符号化ベクトル及び前記コロケーテッドベクトルの一方を、短時間参照画像を参照するベクトルとして設定し、他方を、長時間参照画像を参照するベクトルとして設定する
    請求項１４に記載の画像処理方法。
  16. 前記符号化ベクトルが前記動きベクトルであり、かつ、前記コロケーテッドベクトルが前記視差ベクトルである場合に、前記コロケーテッドベクトルである前記視差ベクトルを、前記予測ベクトルの候補から除外する
    請求項１３に記載の画像処理方法。
  17. 前記符号化ベクトルである前記動きベクトルを、短時間参照画像を参照するベクトルとして設定し、前記コロケーテッドベクトルである前記視差ベクトルを、長時間参照画像を参照するベクトルとして設定する場合に、前記コロケーテッドベクトルである前記視差ベクトルを、前記予測ベクトルの候補から除外する
    請求項１６に記載の画像処理方法。
  18. ピクチャの出力順を示すPOC(Picture Order Count)を用いて、前記符号化ベクトルである前記動きベクトルを、短時間参照画像を参照するベクトルとして設定し、前記コロケーテッドベクトルである前記視差ベクトルを、長時間参照画像を参照するベクトルとして設定する
    請求項１７に記載の画像処理方法。
  19. 前記符号化ベクトルが前記視差ベクトルであり、かつ、前記コロケーテッドベクトルが前記動きベクトルである場合に、前記コロケーテッドベクトルである前記動きベクトルを、前記予測ベクトルの候補から除外する
    請求項１３に記載の画像処理方法。
  20. 前記符号化ベクトルである前記視差ベクトルを、長時間参照画像を参照するベクトルとして設定し、前記コロケーテッドベクトルである前記動きベクトルを、短時間参照画像を参照するベクトルとして設定する場合に、前記コロケーテッドベクトルである前記動きベクトルを、前記予測ベクトルの候補から除外する
    請求項１９に記載の画像処理方法。
  21. ピクチャの出力順を示すPOC(Picture Order Count)を用いて、前記符号化ベクトルである前記視差ベクトルを、長時間参照画像を参照するベクトルとして設定し、前記コロケーテッドベクトルである前記動きベクトルを、短時間参照画像を参照するベクトルとして設定する
    請求項２０に記載の画像処理方法。
  22. 符号化した差分ベクトルを含むビットストリームを生成する
    請求項１３に記載の画像処理方法。
  23. 最大符号化単位を再帰的に分割した符号化単位で、画像を符号化して前記ビットストリームを生成する
    請求項２２に記載の画像処理方法。
  24. 前記最大符号化単位は、シーケンス単位で固定サイズのブロックであり、
    前記符号化単位は、可変サイズのブロックである
    請求項２３に記載の画像処理方法。
  25. コンピュータを、
    カレントブロックの符号化ベクトル及びカレントピクチャと異なる時間のピクチャのコロケーテッドブロックのコロケーテッドベクトルの一方が前記カレントピクチャと同一ビューで異なる時間のピクチャを参照する動きベクトルであり、他方がビュー方向の相関を利用した視差ベクトルである場合に、前記コロケーテッドベクトルを、前記符号化ベクトルに対する予測ベクトルの候補から除外する予測ベクトル候補設定部と、
    前記予測ベクトル候補設定部により前記コロケーテッドベクトルが除外された予測ベクトルの候補から、前記符号化ベクトルに対する予測ベクトルを設定する予測ベクトル設定部と、
    前記予測ベクトル設定部により設定された予測ベクトルと前記符号化ベクトルとの差分である差分ベクトルを符号化する符号化部と
    して機能させるプログラムを記録したコンピュータが読み取り可能な記録媒体。
  26. コンピュータを、
    カレントブロックの符号化ベクトル及びカレントピクチャと異なる時間のピクチャのコロケーテッドブロックのコロケーテッドベクトルの一方が前記カレントピクチャと同一ビューで異なる時間のピクチャを参照する動きベクトルであり、他方がビュー方向の相関を利用した視差ベクトルである場合に、前記コロケーテッドベクトルを、前記符号化ベクトルに対する予測ベクトルの候補から除外する予測ベクトル候補設定部と、
    前記予測ベクトル候補設定部により前記コロケーテッドベクトルが除外された予測ベクトルの候補から、前記符号化ベクトルに対する予測ベクトルを設定する予測ベクトル設定部と、
    前記予測ベクトル設定部により設定された予測ベクトルと前記符号化ベクトルとの差分である差分ベクトルを符号化する符号化部と
    して機能させるプログラム。
JP2016119878A 2011-06-30 2016-06-16 画像処理装置および方法、記録媒体、並びに、プログラム Active JP6238090B2 (ja)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2011145564 2011-06-30
JP2011145564 2011-06-30
JP2012009223 2012-01-19
JP2012009223 2012-01-19
JP2012099056 2012-04-24
JP2012099056 2012-04-24

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2013522953A Division JP5954327B2 (ja) 2011-06-30 2012-06-28 画像処理装置および方法、記録媒体、並びに、プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2017205784A Division JP6402815B2 (ja) 2011-06-30 2017-10-25 画像処理装置および方法、記録媒体、並びに、プログラム

Publications (2)

Publication Number Publication Date
JP2016187208A true JP2016187208A (ja) 2016-10-27
JP6238090B2 JP6238090B2 (ja) 2017-11-29

Family

ID=47424228

Family Applications (6)

Application Number Title Priority Date Filing Date
JP2013522953A Active JP5954327B2 (ja) 2011-06-30 2012-06-28 画像処理装置および方法、記録媒体、並びに、プログラム
JP2015033114A Pending JP2015128308A (ja) 2011-06-30 2015-02-23 画像処理装置および方法、記録媒体、並びに、プログラム
JP2015033112A Active JP5954449B2 (ja) 2011-06-30 2015-02-23 画像処理装置および方法、記録媒体、並びに、プログラム
JP2015033113A Pending JP2015128307A (ja) 2011-06-30 2015-02-23 画像処理装置および方法、記録媒体、並びに、プログラム
JP2016119878A Active JP6238090B2 (ja) 2011-06-30 2016-06-16 画像処理装置および方法、記録媒体、並びに、プログラム
JP2017205784A Active JP6402815B2 (ja) 2011-06-30 2017-10-25 画像処理装置および方法、記録媒体、並びに、プログラム

Family Applications Before (4)

Application Number Title Priority Date Filing Date
JP2013522953A Active JP5954327B2 (ja) 2011-06-30 2012-06-28 画像処理装置および方法、記録媒体、並びに、プログラム
JP2015033114A Pending JP2015128308A (ja) 2011-06-30 2015-02-23 画像処理装置および方法、記録媒体、並びに、プログラム
JP2015033112A Active JP5954449B2 (ja) 2011-06-30 2015-02-23 画像処理装置および方法、記録媒体、並びに、プログラム
JP2015033113A Pending JP2015128307A (ja) 2011-06-30 2015-02-23 画像処理装置および方法、記録媒体、並びに、プログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2017205784A Active JP6402815B2 (ja) 2011-06-30 2017-10-25 画像処理装置および方法、記録媒体、並びに、プログラム

Country Status (14)

Country Link
US (9) US9491462B2 (ja)
EP (1) EP2728879A4 (ja)
JP (6) JP5954327B2 (ja)
KR (4) KR101954007B1 (ja)
CN (8) CN107071477B (ja)
AU (5) AU2012276628B2 (ja)
BR (4) BR122015001004B1 (ja)
CA (2) CA2838088C (ja)
IN (1) IN2013CN10237A (ja)
MX (2) MX341889B (ja)
MY (3) MY191028A (ja)
RU (5) RU2597478C1 (ja)
SG (5) SG10201505802XA (ja)
WO (1) WO2013002342A1 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9615079B2 (en) 2011-03-18 2017-04-04 Sony Corporation Image processing apparatus and image processing method
KR101954007B1 (ko) 2011-06-30 2019-03-04 소니 주식회사 화상 처리 장치 및 방법
RU2597256C2 (ru) 2011-08-31 2016-09-10 Сони Корпорейшн Устройство кодирования, способ кодирования, устройство декодирования и способ декодирования
US20150036753A1 (en) * 2012-03-30 2015-02-05 Sony Corporation Image processing device and method, and recording medium
KR101706318B1 (ko) * 2012-10-03 2017-02-15 에이치에프아이 이노베이션 인크. 3차원 비디오 코딩을 위한 모션 데이터 버퍼 감소 방법 및 장치
JP2014082541A (ja) * 2012-10-12 2014-05-08 National Institute Of Information & Communication Technology 互いに類似した情報を含む複数画像のデータサイズを低減する方法、プログラムおよび装置
KR101737595B1 (ko) * 2012-12-27 2017-05-18 니폰 덴신 덴와 가부시끼가이샤 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 화상 부호화 프로그램 및 화상 복호 프로그램
US9521389B2 (en) * 2013-03-06 2016-12-13 Qualcomm Incorporated Derived disparity vector in 3D video coding
GB2512829B (en) * 2013-04-05 2015-05-27 Canon Kk Method and apparatus for encoding or decoding an image with inter layer motion information prediction according to motion information compression scheme
CN105324996B (zh) 2013-04-10 2018-12-21 寰发股份有限公司 三维视频编码的视图间候选推导的方法及其装置
JP2015015595A (ja) * 2013-07-04 2015-01-22 富士通株式会社 動画像符号化装置、符号化モード判定方法及び符号化プログラム
CN106063272B (zh) * 2014-01-02 2019-11-15 世宗大学校产学协力团 编码多视图视频的方法及其设备和解码多视图视频的方法及其设备
WO2016104179A1 (ja) 2014-12-26 2016-06-30 ソニー株式会社 画像処理装置および画像処理方法
CN107197288B (zh) * 2016-03-15 2023-11-10 北京三星通信技术研究有限公司 视频全局视差向量编码方法、解码方法和装置
US10834419B2 (en) * 2016-04-13 2020-11-10 Qualcomm Incorporated Conformance constraint for collocated reference index in video coding
RU2746431C2 (ru) * 2016-09-29 2021-04-14 Конинклейке Филипс Н.В. Обработка изображения
EP3751855A4 (en) * 2018-02-06 2021-03-10 Panasonic Intellectual Property Corporation of America CODING DEVICE, DECODING DEVICE, CODING METHOD AND DECODING METHOD
CN110419217B (zh) 2018-04-02 2023-09-26 深圳市大疆创新科技有限公司 用于图像处理的方法和图像处理装置
US11665365B2 (en) * 2018-09-14 2023-05-30 Google Llc Motion prediction coding with coframe motion vectors
KR20240137710A (ko) * 2019-02-20 2024-09-20 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 비디오 코딩에서 장기 참조 픽처에 대한 제한받는 움직임 벡터 도출
US10638130B1 (en) * 2019-04-09 2020-04-28 Google Llc Entropy-inspired directional filtering for image coding
US11689743B2 (en) * 2020-11-12 2023-06-27 Tencent America LLC Method and apparatus for video coding
CN117676153A (zh) * 2023-12-21 2024-03-08 启朔(深圳)科技有限公司 一种帧间预测模式的切换方法及相关装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013069990A1 (ko) * 2011-11-08 2013-05-16 삼성전자 주식회사 비디오 부호화 또는 비디오 복호화를 위한 움직임 벡터 결정 방법 및 장치

Family Cites Families (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3263960B2 (ja) * 1991-10-22 2002-03-11 ソニー株式会社 動きベクトル符号器および復号器
JPH099300A (ja) * 1995-06-26 1997-01-10 Matsushita Electric Ind Co Ltd 立体表示装置
JP3519594B2 (ja) * 1998-03-03 2004-04-19 Ｋｄｄｉ株式会社 ステレオ動画像用符号化装置
JP4224748B2 (ja) * 1999-09-13 2009-02-18 ソニー株式会社 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、記録媒体、並びに画像処理装置
US7003033B2 (en) * 2001-03-05 2006-02-21 Intervideo, Inc. Systems and methods for encoding redundant motion vectors in compressed video bitstreams
WO2003077567A1 (en) * 2002-03-14 2003-09-18 Matsushita Electric Industrial Co., Ltd. Motion vector detection method
KR100491530B1 (ko) * 2002-05-03 2005-05-27 엘지전자 주식회사 모션 벡터 결정 방법
US7497076B2 (en) 2002-05-07 2009-03-03 Extengine Transport Systems Emission control system
JP2004023458A (ja) * 2002-06-17 2004-01-22 Toshiba Corp 動画像符号化／復号化方法及び装置
KR100865034B1 (ko) * 2002-07-18 2008-10-23 엘지전자 주식회사 모션 벡터 예측 방법
US7577198B2 (en) 2003-09-07 2009-08-18 Microsoft Corporation Number of reference fields for an interlaced forward-predicted field
TWI255146B (en) 2003-12-04 2006-05-11 Nec Corp Moving picture encoding method and device, and moving picture decoding method and device, and storage medium
US9088802B2 (en) * 2005-01-07 2015-07-21 Nippon Telegraph And Telephone Corporation Video encoding method and apparatus, video decoding method and apparatus, programs therefor, and storage media for storing the programs
CN100471280C (zh) * 2005-01-07 2009-03-18 株式会社Ntt都科摩 运动图像编码及译码装置、方法
KR100789753B1 (ko) * 2005-07-18 2008-01-02 한국전자통신연구원 시간 및 시점간 참조영상 버퍼를 활용한 예측부호화/복호화장치 및 그 방법
WO2007037645A1 (en) 2005-09-29 2007-04-05 Samsung Electronics Co., Ltd. Method of estimating disparity vector using camera parameters, apparatus for encoding and decoding multi-view picture using the disparity vectors estimation method, and computer-redadable recording medium storing a program for executing the method
KR101276720B1 (ko) * 2005-09-29 2013-06-19 삼성전자주식회사 카메라 파라미터를 이용하여 시차 벡터를 예측하는 방법,그 방법을 이용하여 다시점 영상을 부호화 및 복호화하는장치 및 이를 수행하기 위한 프로그램이 기록된 기록 매체
JP4166781B2 (ja) * 2005-12-09 2008-10-15 松下電器産業株式会社 動きベクトル検出装置および動きベクトル検出方法
CA2633637C (en) * 2006-01-05 2014-06-17 Nippon Telegraph And Telephone Corporation Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media for storing the programs
ZA200805337B (en) * 2006-01-09 2009-11-25 Thomson Licensing Method and apparatus for providing reduced resolution update mode for multiview video coding
WO2007110000A1 (en) 2006-03-29 2007-10-04 Huawei Technologies Co., Ltd. A method and device of obtaining disparity vector and its multi-view encoding-decoding
US20090304068A1 (en) * 2006-07-06 2009-12-10 Purvin Bibhas Pandit Method and Apparatus for Decoupling Frame Number and/or Picture Order Count (POC) for Multi-View Video Encoding and Decoding
WO2008007917A1 (en) * 2006-07-12 2008-01-17 Lg Electronics, Inc. A method and apparatus for processing a signal
CN100576919C (zh) * 2006-08-08 2009-12-30 佳能株式会社 运动矢量检测设备及运动矢量检测方法
US8238442B2 (en) * 2006-08-25 2012-08-07 Sony Computer Entertainment Inc. Methods and apparatus for concealing corrupted blocks of video data
BRPI0716810A2 (pt) * 2006-09-20 2013-11-05 Nippon Telegraph & Telephone Método de codificação e método de decodificação de imagens, aparelhos para tal, aparelho de decodificação de imagem, programa para tal e meios de armazenamento para armazenar os programas.
CN101536529B (zh) * 2006-09-20 2011-08-31 日本电信电话株式会社 图像编码方法和解码方法、其装置
WO2008056934A1 (en) * 2006-11-07 2008-05-15 Samsung Electronics Co., Ltd. Method of and apparatus for video encoding and decoding based on motion estimation
KR20080066522A (ko) * 2007-01-11 2008-07-16 삼성전자주식회사 다시점 영상의 부호화, 복호화 방법 및 장치
KR101365574B1 (ko) * 2007-01-29 2014-02-20 삼성전자주식회사 영상 부호화 방법 및 장치, 복호화 방법 및 장치
WO2008120577A1 (ja) * 2007-03-29 2008-10-09 Kabushiki Kaisha Toshiba 画像符号化及び復号化の方法及び装置
US8494049B2 (en) * 2007-04-09 2013-07-23 Cisco Technology, Inc. Long term reference frame management with error video feedback for compressed video communication
WO2008133455A1 (en) * 2007-04-25 2008-11-06 Lg Electronics Inc. A method and an apparatus for decoding/encoding a video signal
US10298952B2 (en) * 2007-08-06 2019-05-21 Interdigital Madison Patent Holdings Methods and apparatus for motion skip move with multiple inter-view reference pictures
BRPI0815108A2 (pt) * 2007-08-15 2015-01-27 Thomson Licensing Métodos e aparelho para modo de avanço de movimento em vídeo codificado de multi-visitas com o uso de vetores de disparidade regional
JP5194833B2 (ja) * 2008-01-23 2013-05-08 ソニー株式会社 符号化装置および方法、記録媒体、並びにプログラム
ES2558693T3 (es) * 2008-07-01 2016-02-08 Orange Procedimiento y dispositivo de codificación de imágenes que implementa una predicción mejorada, procedimiento y dispositivo de decodificación, señal y programas informáticos correspondientes
JP2010035137A (ja) * 2008-07-01 2010-02-12 Sony Corp 画像処理装置および方法、並びにプログラム
JP5353532B2 (ja) * 2009-07-29 2013-11-27 ソニー株式会社 画像処理装置及び画像処理方法
WO2011021914A2 (ko) * 2009-08-21 2011-02-24 에스케이텔레콤 주식회사 적응적 움직임 벡터 해상도를 이용한 영상 부호화/복호화 방법 및 장치
JP2011077722A (ja) * 2009-09-29 2011-04-14 Victor Co Of Japan Ltd 画像復号装置、画像復号方法およびそのプログラム
JP2011120233A (ja) * 2009-11-09 2011-06-16 Panasonic Corp ３ｄ映像特殊効果装置、３ｄ映像特殊効果方法、および、３ｄ映像特殊効果プログラム
JP2011223302A (ja) * 2010-04-09 2011-11-04 Sony Corp 画像処理装置と画像処理方法
US9124898B2 (en) 2010-07-12 2015-09-01 Mediatek Inc. Method and apparatus of temporal motion vector prediction
JP2012023652A (ja) 2010-07-16 2012-02-02 Sony Corp 画像処理装置と画像処理方法
JP5505154B2 (ja) 2010-07-16 2014-05-28 ソニー株式会社 画像処理装置と画像処理方法
US8711940B2 (en) * 2010-11-29 2014-04-29 Mediatek Inc. Method and apparatus of motion vector prediction with extended motion vector predictor
US9137544B2 (en) 2010-11-29 2015-09-15 Mediatek Inc. Method and apparatus for derivation of mv/mvp candidate for inter/skip/merge modes
CN103444182B (zh) 2011-02-09 2017-09-12 Lg电子株式会社 存储运动信息的方法和使用该方法导出时间运动矢量预测值的方法
JP5358746B2 (ja) * 2011-03-03 2013-12-04 パナソニック株式会社 動画像符号化方法、動画像符号化装置及びプログラム
EP3139611A1 (en) 2011-03-14 2017-03-08 HFI Innovation Inc. Method and apparatus for deriving temporal motion vector prediction
US9615079B2 (en) 2011-03-18 2017-04-04 Sony Corporation Image processing apparatus and image processing method
US9979961B2 (en) 2011-03-18 2018-05-22 Sony Corporation Image processing device and image processing method
US20140085418A1 (en) 2011-05-16 2014-03-27 Sony Corporation Image processing device and image processing method
WO2012176684A1 (ja) 2011-06-22 2012-12-27 ソニー株式会社 画像処理装置および方法
JP2013034171A (ja) 2011-06-30 2013-02-14 Sony Corp 画像処理装置および方法
KR101954007B1 (ko) 2011-06-30 2019-03-04 소니 주식회사 화상 처리 장치 및 방법
JPWO2013031575A1 (ja) 2011-08-31 2015-03-23 ソニー株式会社 画像処理装置および画像処理方法
RU2597256C2 (ru) 2011-08-31 2016-09-10 Сони Корпорейшн Устройство кодирования, способ кодирования, устройство декодирования и способ декодирования
MX2013012223A (es) * 2011-10-28 2013-11-01 Panasonic Corp Metodo de codificacion de imagen, metodo de decodificacion de imagen, aparato de codificacion de imagen y aparato de decodificacion de imagen.
JP5379933B2 (ja) 2011-10-28 2013-12-25 パナソニック株式会社 動きベクトル導出方法および動きベクトル導出装置
JPWO2013115024A1 (ja) 2012-01-31 2015-05-11 ソニー株式会社 画像処理装置、画像処理方法、プログラム、および記録媒体
US9420286B2 (en) 2012-06-15 2016-08-16 Qualcomm Incorporated Temporal motion vector prediction in HEVC and its extensions

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013069990A1 (ko) * 2011-11-08 2013-05-16 삼성전자 주식회사 비디오 부호화 또는 비디오 복호화를 위한 움직임 벡터 결정 방법 및 장치

Also Published As

Publication number Publication date
RU2597478C1 (ru) 2016-09-10
RU2013157151A (ru) 2015-06-27
US11405634B2 (en) 2022-08-02
US10187652B2 (en) 2019-01-22
US20200351515A1 (en) 2020-11-05
AU2012276628A1 (en) 2013-12-19
AU2016204472A1 (en) 2016-07-21
BR122015001002B1 (pt) 2022-07-26
RU2717400C1 (ru) 2020-03-23
CN110225357A (zh) 2019-09-10
KR20170071607A (ko) 2017-06-23
US9560375B2 (en) 2017-01-31
MY170743A (en) 2019-08-27
CN110572681A (zh) 2019-12-13
RU2602794C2 (ru) 2016-11-20
BR112013033333B1 (pt) 2022-07-26
MX2022000616A (es) 2022-05-30
JP2018033163A (ja) 2018-03-01
CA3045874A1 (en) 2013-01-03
AU2020200331A1 (en) 2020-02-06
JP2015128307A (ja) 2015-07-09
RU2015103854A (ru) 2016-08-27
US20190373282A1 (en) 2019-12-05
AU2012276628B2 (en) 2016-05-05
BR122015001002A2 (pt) 2019-08-20
CN107071475A (zh) 2017-08-18
SG10201609891QA (en) 2016-12-29
JPWO2013002342A1 (ja) 2015-02-23
SG10201505809PA (en) 2015-09-29
CN107071476A (zh) 2017-08-18
US20160295228A1 (en) 2016-10-06
MY191028A (en) 2022-05-29
IN2013CN10237A (ja) 2015-08-21
CA3045874C (en) 2021-09-14
KR101954006B1 (ko) 2019-03-04
JP6238090B2 (ja) 2017-11-29
CN107071477A (zh) 2017-08-18
BR122015001004B1 (pt) 2022-07-26
CN106878755B (zh) 2019-09-13
CN110572681B (zh) 2023-12-15
SG10201505808YA (en) 2015-09-29
MY193110A (en) 2022-09-26
MX2013015116A (es) 2014-02-11
CN103636217A (zh) 2014-03-12
CA2838088C (en) 2021-06-08
KR20140043757A (ko) 2014-04-10
US9648344B2 (en) 2017-05-09
CN106878755A (zh) 2017-06-20
MX341889B (es) 2016-09-07
JP5954449B2 (ja) 2016-07-20
CN107105296B (zh) 2020-12-25
US20160295230A1 (en) 2016-10-06
KR101954007B1 (ko) 2019-03-04
US20170041631A1 (en) 2017-02-09
SG10201505802XA (en) 2015-09-29
BR112013033333A2 (pt) 2017-01-31
RU2578375C2 (ru) 2016-03-27
KR101954046B1 (ko) 2019-03-04
US20170041630A1 (en) 2017-02-09
CA2838088A1 (en) 2013-01-03
AU2019201383A1 (en) 2019-03-21
JP2015128308A (ja) 2015-07-09
EP2728879A1 (en) 2014-05-07
SG10201609887TA (en) 2017-01-27
US10764600B2 (en) 2020-09-01
BR122015001004A2 (pt) 2019-08-20
CN103636217B (zh) 2017-04-12
AU2017216494B2 (en) 2019-03-07
JP2015128306A (ja) 2015-07-09
US20160295229A1 (en) 2016-10-06
US10158877B2 (en) 2018-12-18
BR122015001000B1 (pt) 2022-07-26
CN107071476B (zh) 2020-12-08
CN107071475B (zh) 2020-01-31
RU2015103880A (ru) 2015-06-20
CN110225357B (zh) 2023-09-29
AU2017216494A1 (en) 2017-08-31
CN107105296A (zh) 2017-08-29
JP6402815B2 (ja) 2018-10-10
RU2600529C2 (ru) 2016-10-20
AU2019201383B2 (en) 2020-01-23
CN107071477B (zh) 2020-03-17
US9788008B2 (en) 2017-10-10
JP5954327B2 (ja) 2016-07-20
EP2728879A4 (en) 2015-02-18
AU2020200331B2 (en) 2020-08-20
BR122015001000A2 (pt) 2019-08-20
US9491462B2 (en) 2016-11-08
US20180316930A1 (en) 2018-11-01
KR20170071608A (ko) 2017-06-23
AU2016204472B2 (en) 2017-08-10
KR101918324B1 (ko) 2018-11-13
US10484704B2 (en) 2019-11-19
KR20180124146A (ko) 2018-11-20
WO2013002342A1 (ja) 2013-01-03
US20140126642A1 (en) 2014-05-08

Similar Documents

Publication Publication Date Title
JP6402815B2 (ja) 画像処理装置および方法、記録媒体、並びに、プログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170629

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170630

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170823

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171005

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171018

R151 Written notification of patent or utility model registration

Ref document number: 6238090

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250