[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP5905884B2 - 復号方法及び復号装置 - Google Patents

復号方法及び復号装置 Download PDF

Info

Publication number
JP5905884B2
JP5905884B2 JP2013522745A JP2013522745A JP5905884B2 JP 5905884 B2 JP5905884 B2 JP 5905884B2 JP 2013522745 A JP2013522745 A JP 2013522745A JP 2013522745 A JP2013522745 A JP 2013522745A JP 5905884 B2 JP5905884 B2 JP 5905884B2
Authority
JP
Japan
Prior art keywords
context
block
unit
decoding
type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013522745A
Other languages
English (en)
Other versions
JPWO2013001770A1 (ja
Inventor
寿郎 笹井
寿郎 笹井
西　孝啓
孝啓 西
陽司 柴原
陽司 柴原
敏康 杉尾
敏康 杉尾
京子 谷川
京子 谷川
徹 松延
徹 松延
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of JPWO2013001770A1 publication Critical patent/JPWO2013001770A1/ja
Application granted granted Critical
Publication of JP5905884B2 publication Critical patent/JP5905884B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/583—Motion compensation with overlapping blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、画像復号方法、画像符号化方法、画像復号装置、画像符号化装置及び画像符号化復号装置に関し、特に、算術符号化又は算術復号を用いる画像復号方法、画像符号化方法、画像復号装置、画像符号化装置及び画像符号化復号装置に関する。
自然画の画像信号は統計的な偏りを有しその偏りは変動的な振る舞いをする。統計の偏りの変動性を利用したエントロピー符号化方式の１つにContext-Based Adaptive Binary Arithmetic Coding (CABAC)が存在する（非特許文献１を参照）。このCABAC方式はITU-T/ISOIEC standard for video coding, H.264/AVC方式に採用されている。
以下、CABAC方式で用いられる用語の意味を説明する。
（１）"Context-Based Adaptive"(コンテキストに基づき適応)は、符号化及び復号方法を、統計の偏りの変動に適応させることである。つまり、"Context-Based Adaptive"は、あるシンボルを符号化又は復号する場合に、周囲の条件の発生事象にあわせて当該シンボルの発生確率として適切な確率を予測することともいえる。例えば、符号化においては、あるシンボルSの各値の発生確率p(x)を決定する場合に、実際に起こった事象又は事象の列F(z)を条件とした条件付発生確率を用いる。
（２）"Binary"(バイナリ)は、シンボルをバイナリ配列で表現することを意味する。多値で表されるシンボルについては、一度bin stringとよばれる二値配列に変形する。そして配列要素の個々について予測確率（条件付確率）を切り替えて用いつつ、２つの値の事象のどちらが発生したかをビット列化する。これにより信号種別の単位よりも詳細な単位（バイナリ要素単位）で値の確率を管理（初期化及び更新）することができる（非特許文献１のFig.2等を参照）。
（３）"arithmetic"（算術）とは、前述のビット列生成処理が、表による対応ではなく計算により出力されるということである。H.263、MPEG-4及びH.264での可変長符号表を用いる符号化方式では、発生確率が0.5(50%)より高い発生確率をもつシンボルであっても、シンボルのとりうる値の個々を、１つのバイナリ列（ビット列）に対応させる必要がある。よって、最も確率が高い値についても最短でも１つのシンボルに１ビットを対応付けなければならない。これに対し算術符号化は、事象の高い確率での発生を整数値１ビット以下で表現することができる。例えば、１バイナリ目の値が「０」となる発生確率が0.9(90%)を越えるような信号種別があり、事象として１バイナリ目の値がＮ回連続して「０」であった場合、個々の値「０」に対して１ビットのデータをＮ回出力する必要がなくなる。
Detlev Marpe, et. al., "Context-Based Adaptive Binary Arithmetic Coding in the H.264/AVC Video Compression Standard", IEEE Transaction on circuits and systems for video technology, Vol. 13, No.7, July 2003. Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 5th Meeting: Geneva, CH, 16-23 March, 2011 JCTVC-E603, ver.7 "WD3: Working Draft 3 of High-Efficiency Video Coding" http://phenix.int-evry.fr/jct/doc_end_user/documents/5_Geneva/wg11/JCTVC-E603-v7.zip Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 4th Meeting: Daegu, KR, 20-28 January, 2011, "Common test conditions and software reference configurations",JCTVC-E700 Gisle Bjontegaard, "Improvements of the BD-PSNR model," ITU-T SG16 Q.6 Document,VCEG-AI11, Berlin, July 2008
しかしながら、このような画像符号化方法及び画像復号方法においては、メモリ使用量（使用するメモリ容量）の低減が望まれている。
そこで、本発明は、メモリ使用量を削減できる画像符号化方法又は画像復号方法を提供することを目的とする。
上記目的を達成するために、本発明の一形態に係る画像復号方法は、算術復号を用いる画像復号方法であって、複数のコンテキストのうち、処理対象ブロックに使用するコンテキストを決定するコンテキスト制御ステップと、制御パラメータが算術符号化されることで得られた、前記処理対象ブロックに対応するビット列を、決定された前記コンテキストを用いて算術復号することで二値配列を復元する算術復号ステップと、前記二値配列を多値化することで前記制御パラメータを復元する多値化ステップとを含み、前記コンテキスト制御ステップでは、前記処理対象ブロックの制御パラメータの信号種別を判定し、前記信号種別が第１種別である場合に、前記処理対象ブロックに隣接する左ブロック及び上ブロックの復号済の制御パラメータを共に利用する第１条件を用いて前記コンテキストを決定し、前記信号種別が、前記第１種別と異なる第２種別である場合に、前記上ブロックの復号済みの制御パラメータを利用しない第２条件を用いて前記コンテキストを決定し、前記第１種別は、"split_coding_unit_flag"、または、"skip_flag"であり、前記第２種別は、"merge_flag"と、"ref_idx_l0"または"ref_idx_l1"と、"inter_pred_flag"と、"mvd_l0"または"mvd_l1"と、"no_residual_data_flag"と、"intra_chroma_pred_mode"と、"cbf_luma"、"cbf_cb"または"cbf_cr"とである。
本発明は、メモリ使用量を削減できる画像符号化方法又は画像復号方法を提供できる。
図１は、本発明の実施の形態１に係る画像符号化装置の機能ブロック図である。 図２は、本発明の実施の形態１に係る可変長符号化部の機能ブロック図である。 図３は、本発明の実施の形態１に係る制御パラメータのコンテキストモデルに関する表である。 図４は、本発明の実施の形態１に係る算術符号化方法を示すフロー図である。 図５は、本発明の実施の形態２に係る画像復号装置の機能ブロック図である。 図６は、本発明の実施の形態２に係る可変長復号部の機能ブロック図である。 図７は、本発明の実施の形態２に係る算術復号方法を示すフロー図である。 図８は、本発明の実施の形態２に係る算術復号方法の変形例を示すフロー図である。 図９Ａは、本発明の実施の形態２に係るマッピング情報とコンテキストインデクスとの対応を説明するための図である。 図９Ｂは、本発明の実施の形態２に係るＨＥＶＣにおける分割ブロック（ツリー構造）を示す図である。 図１０は、本発明の実施の形態２に係る多階層ブロック構造を説明するための図である。 図１１は、本発明の実施の形態３に係るsplit_coding_unit_flagの算術復号方法を示す表である。 図１２Ａは、本発明の実施の形態３に係るsplit_coding_unit_flagについての検証結果を示す表である。 図１２Ｂは、本発明の実施の形態３に係るsplit_coding_unit_flagについての検証結果を示す表である。 図１３は、本発明の実施の形態３に係るskip_flagの算術復号方法を示す表である。 図１４Ａは、本発明の実施の形態３に係るskip_flagについての検証結果を示す表である。 図１４Ｂは、本発明の実施の形態３に係るskip_flagについての検証結果を示す表である。 図１５は、本発明の実施の形態３に係るmerge_flagの算術復号方法を示す表である。 図１６Ａは、本発明の実施の形態３に係るmerge_flagについての検証結果を示す表である。 図１６Ｂは、本発明の実施の形態３に係るmerge_flagについての検証結果を示す表である。 図１７は、本発明の実施の形態３に係るref_idxの算術復号方法を示す表である。 図１８Ａは、本発明の実施の形態３に係るref_idxについての検証結果を示す表である。 図１８Ｂは、本発明の実施の形態３に係るref_idxについての検証結果を示す表である。 図１８Ｃは、本発明の実施の形態３に係る、ref_idxのコンテキストモデルに関する表である。 図１８Ｄは、本発明の実施の形態３に係る、ref_idxのコンテキストモデルに関する表である。 図１９は、本発明の実施の形態３に係るinter_pred_flagの算術復号方法を示す表である。 図２０Ａは、本発明の実施の形態３に係るinter_pred_flagについての検証結果を示す表である。 図２０Ｂは、本発明の実施の形態３に係るinter_pred_flagについての検証結果を示す表である。 図２１は、本発明の実施の形態３に係るmvdの算術復号方法を示す表である。 図２２Ａは、本発明の実施の形態３に係るmvdについての検証結果を示す表である。 図２２Ｂは、本発明の実施の形態３に係るmvdについての検証結果を示す表である。 図２２Ｃは、本発明の実施の形態３に係る、mvdのコンテキストモデルに関する表である。 図２２Ｄは、本発明の実施の形態３に係る、mvdのコンテキストモデルに関する表である。 図２３Ａは、本発明の実施の形態３に係るno_residual_data_flagの算術復号方法を示す表である。 図２３Ｂは、本発明の実施の形態３に係るno_residual_data_flagのシンタックを示す表である。 図２４Ａは、本発明の実施の形態３に係るno_residual_data_flagについての検証結果を示す表である。 図２４Ｂは、本発明の実施の形態３に係るno_residual_data_flagについての検証結果を示す表である。 図２５Ａは、本発明の実施の形態３に係るintra_chroma_pred_modeの算術復号方法を示す表である。 図２５Ｂは、本発明の実施の形態３に係るintra_chroma_pred_modeに応じたIntraPredModeCの決定方法を示す表である。 図２６Ａは、本発明の実施の形態３に係るintra_chroma_pred_modeについての検証結果を示す表である。 図２６Ｂは、本発明の実施の形態３に係るintra_chroma_pred_modeについての検証結果を示す表である。 図２７は、本発明の実施の形態３に係るcbf_luma(cr,cb)の算術復号方法を示す表である。 図２８Ａは、本発明の実施の形態３に係るcbf_luma(cr,cb)についての検証結果を示す表である。 図２８Ｂは、本発明の実施の形態３に係るcbf_luma(cr,cb)についての検証結果を示す表である。 図２９Ａは、本発明の実施の形態３に係る検証結果を示すグラフである。 図２９Ｂは、本発明の実施の形態３に係る検証結果を示すグラフである。 図３０Ａは、本発明の実施の形態３に係る検証結果を示すグラフである。 図３０Ｂは、本発明の実施の形態３に係る検証結果を示すグラフである。 図３１Ａは、本発明の実施の形態３に係る検証結果を示すグラフである。 図３１Ｂは、本発明の実施の形態３に係る検証結果を示すグラフである。 図３２Ａは、本発明の実施の形態３に係る検証結果を示すグラフである。 図３２Ｂは、本発明の実施の形態３に係る検証結果を示すグラフである。 図３３Ａは、本発明の実施の形態３に係るパラメータセットの一例を示す表である。 図３３Ｂは、本発明の実施の形態３に係る検証結果を示す表である。 図３４Ａは、本発明の実施の形態３に係るパラメータセットの一例を示す表である。 図３４Ｂは、本発明の実施の形態３に係る検証結果を示す表である。 図３５は、本発明の実施の形態に係る、隣接２ブロックの対応する制御パラメータの値を利用するコンテキストモデルを説明するための図である。 図３６は、本発明の実施の形態に係る、上ブロックを利用する場合のメモリ使用量の増加を説明するための図である。 図３７は、コンテンツ配信サービスを実現するコンテンツ供給システムの全体構成図である。 図３８は、デジタル放送用システムの全体構成図である。 図３９は、テレビの構成例を示すブロック図である。 図４０は、光ディスクである記録メディアに情報の読み書きを行う情報再生／記録部の構成例を示すブロック図である。 図４１は、光ディスクである記録メディアの構造例を示す図である。 図４２Ａは、携帯電話の一例を示す図である。 図４２Ｂは、携帯電話の構成例を示すブロック図である。 図４３は、多重化データの構成を示す図である。 図４４は、各ストリームが多重化データにおいてどのように多重化されているかを模式的に示す図である。 図４５は、ＰＥＳパケット列に、ビデオストリームがどのように格納されるかを更に詳しく示した図である。 図４６は、多重化データにおけるＴＳパケットとソースパケットの構造を示す図である。 図４７は、ＰＭＴのデータ構成を示す図である。 図４８は、多重化データ情報の内部構成を示す図である。 図４９は、ストリーム属性情報の内部構成を示す図である。 図５０は、映像データを識別するステップを示す図である。 図５１は、各実施の形態の動画像符号化方法および動画像復号化方法を実現する集積回路の構成例を示すブロック図である。 図５２は、駆動周波数を切り替える構成を示す図である。 図５３は、映像データを識別し、駆動周波数を切り替えるステップを示す図である。 図５４は、映像データの規格と駆動周波数を対応づけたルックアップテーブルの一例を示す図である。 図５５Ａは、信号処理部のモジュールを共有化する構成の一例を示す図である。 図５５Ｂは、信号処理部のモジュールを共有化する構成の他の一例を示す図である。
（本発明の基礎となった知見）
本発明者は、以下の問題が生じることを見出した。
ここで、次世代符号化方式であるHigh-Efficiency Video Coding(HEVC)においても、各種制御パラメータの符号化及び復号におけるコンテキストモデルについての検討が進んでいる（非特許文献２）。制御パラメータとは、符号化ビットストリームに含まれ、符号化処理又は復号処理で用いられるパラメータ（フラグ等）を意味し、具体的には、syntax elementである。
コンテキストモデルとは、（１）どのような単位（多値、バイナリ値、又はバイナリ配列(bin string)の個々の要素）の信号に、（２）どのような条件(Condition)を考慮するかを示す情報である。ここで、どのような条件とは、どのような条件の要素数の条件を適用するか、又は、条件として考慮する制御パラメータの信号種別は何がよいかである。この条件を詳細に区分すればするほど、つまり、条件数τ（the number of conditions）を増やせば増やすほど、１つの条件に該当する回数が減る。その結果、条件ごとの学習回数が減ることで、確率の予測の精度が低下する（例えば、非特許文献１の"dilution effect"を参照）。
また、条件数を少なくすればするほど、コンテキスト(周囲の条件)が考慮されていないことになり、統計の変動に追従(adaptive)していないことになる。
コンテキストのモデル設計には、モデルの設計指針を決定したうえで、画像内容の統計的偏りの検証、又は画像の符号化及び復号を制御する制御パラメータの統計的偏りの検証等の画像に特化した検証を行うことで、その妥当性を考慮する必要がある。
H.264では、限定された数の事前事象をシンボルの符号化に用いることをルールの規範としつつ、コンテキストモデルを４つの基本的なタイプ（basic design types）に類型化している。
第１及び第２の類型は制御パラメータの符号化及び復号に関する。
第１の類型のコンテキストモデルは、２つを上限とする(up to two)の隣接する符号化済の値を利用する（非特許文献１参照）。隣接する２つの符号化済みの値の定義は制御パラメータの信号種別の個々に依存するが、通常左及び上に隣接するブロックに含まれる対応する制御パラメータの値を使う。
第２のコンテキストモデルの類型は、発生確率としてバイナリツリーに基づいて、コンテキストを決めるタイプである。具体的には、制御パラメータmb_type及びsub_mb_typeに適用される。
第３及び第４の類型は、画像データ等の残差値（residual data）の符号化及び復号に関する。第３の類型では周波数係数（又は量子化係数）のスキャンの順番に応じて、過去に符号化又は復号された値のみを利用する。第４の類型では、復号され累積された値（レベル値）に応じて、コンテキストを決定する。
上記第１の類型等の、H.264における確率遷移モデルの設計方針及び実装方法は長く効果が検証されており、現在検討中のHEVCにも適用されるよう検討が進んでいる（非特許文献２を参照）。例えば第１の類型(コンテキストモデル using neighbouring syntax elements)は、制御パラメータalf_cu_flag、 split_coding_unit_flag、skip_flag、merge_flag、intra_chroma_pred_mode、inter_pred_flag、ref_idx_lc、ref_idx_l0、ref_idx_l1、mvd_l0、mvd_l1、mvd_lc、no_residual_data_flag、cbf_luma、cbf_cb及びcbf_crに利用されることが検討されている(非特許文献２の９．３．３．１．１節を参照)。
しかしながら、この第１の類型「隣接２ブロックを利用するコンテキストモデル」を利用する符号化については、そのメモリ使用量について、以下の課題があることを本発明者は見出した。
図３５は、隣接２ブロックの対応する制御パラメータの値を利用するコンテキストモデルを説明するための図である。また、図３５は、H.264における隣接ブロックを利用するコンテキストモデルを示す。
図中のブロックＣは、現在（Current）の符号化又は復号対象である制御パラメータＳＥの値を含む。このＳＥの値を符号化する場合、既に符号化済である上ブロックＡ及び左ブロックＢに含まれる同種の制御パラメータＳＥの値を利用する。具体的には、ブロックＣの制御パラメータＳＥ（又は制御パラメータＳＥのbin stringの１バイナリ目）の値xが「１」であるか「０」であるかの確率p(x)を、上ブロックＡの制御パラメータＳＥの値と左ブロックＢの制御パラメータＳＥの値とを条件とした条件付確率p(x|(condition A (上ブロックの値)かつ condition B(左ブロックの値)))を用いて予測する。
図３６は、上ブロックを利用する場合のメモリ使用量の増加を説明するための図である。
図中の（xP、yP）は、ブロックＣが含まれるPredictionUnit（PU：動き予測単位）の左上画素位置を示す。ここでブロックＣは、現在の符号化対象の制御パラメータ（例えば、skip_flag）を含むブロックである。また、図中の（xP、yA）は、condition A(上ブロックの制御パラメータskip_flagの値)として用いられる、ブロックＢに含まれる画素位置を示す。図中（xL、yP）は、condition B (左ブロックの制御パラメータskip_flagの値)として用いられる、ブロックＡに含まれる画素位置を示す。
この場合、ブロックＣの制御パラメータskip_flagの値を符号化又は復号するために、符号化又は復号装置は、上ブロックＢに含まれる(xP、yA)の位置に対応する、PUのskip_flagの値（又は条件の判定結果）と、左ブロックＡに含まれる（xL、yP）の位置に対応する、PUのskip_flagの値（又は、条件の判定結果）とを保持する必要がある。ここで、このピクチャの横幅が4096ピクセルであるとすると、１つの制御パラメータskip_flagの符号化のために、上ブロック行（図３６に示すLine L）に含まれる全ての判定値を保持する必要がある。つまり、１つの制御パラメータのために、4096ピクセル÷ブロックサイズのメモリ容量が必要となる。
ここで、符号化対象のブロックＣのブロックサイズは可変であり、例えば、64×64、16×16、又は4×4等である。また、（xP, yA）を含む上の行（Line L）に含まれるブロックの符号化又は復号時には、後で符号化又は復号されるブロックＣのブロックサイズは予測できない。これは、符号化又は復号装置は、上の行（ブロックＡが含まれる行）の符号化又は復号の時点では、その下の行（ブロックＣが含まれる行）の各ブロックのサイズを知りえないためである。したがって、符号化又は復号装置は、下の行のブロックサイズとして、その制御パラメータが適用されるブロックサイズのうち最小のブロックサイズが用いられる場合を想定し、その最小のブロックサイズ毎に制御パラメータの値（又は判定値）を保持しておかなければならない。なお、図３６の黒丸の位置は、実際には下の行（ブロックＣが含まれる行）の符号化又は復号においてはその条件値が必要ないにもかかわらず保持しておかなければならない条件を示す。
さらに、図３６に示す隣接２ブロック（左ブロックＡと上ブロックＢ）は、H.264時点の隣接ブロックの概念を示し、新しい階層ブロック分割の観点は導入されていない。後述するとおり、HEVCで導入が予定されている再帰４分ブロック分割ツリー構造（quad tree partitioning）に適応した制御パラメータに対しては、再帰の実行順、階層深さ、又はブロックの位置に応じて、図３６で示した参照する条件値が意味を成さない場合がある。
このように、本発明者は、制御パラメータの算術符号化又は復号において上ブロックの条件値を利用することでメモリ使用量が増加することを見出した。さらに、本発明者は、HEVCではこのメモリ使用量がさらに増加することを見出した。
これに対して、本発明の一形態に係る画像復号方法は、算術復号を用いる画像復号方法であって、複数のコンテキストのうち、処理対象ブロックに使用するコンテキストを決定するコンテキスト制御ステップと、制御パラメータが算術符号化されることで得られた、前記処理対象ブロックに対応するビット列を、決定された前記コンテキストを用いて算術復号することで二値配列を復元する算術復号ステップと、前記二値配列を多値化することで前記制御パラメータを復元する多値化ステップとを含み、前記コンテキスト制御ステップでは、前記処理対象ブロックの制御パラメータの信号種別を判定し、前記信号種別が第１種別である場合に、前記処理対象ブロックに隣接する左ブロック及び上ブロックの復号済の制御パラメータを共に利用する第１条件を用いて前記コンテキストを決定し、前記信号種別が、前記第１種別と異なる第２種別である場合に、前記上ブロックの復号済みの制御パラメータを利用しない第２条件を用いて前記コンテキストを決定し、前記第１種別は、"split_coding_unit_flag"、または、"skip_flag"であり、前記第２種別は、"merge_flag"と、"ref_idx_l0"または"ref_idx_l1"と、"inter_pred_flag"と、"mvd_l0"または"mvd_l1"と、"no_residual_data_flag"と、"intra_chroma_pred_mode"と、"cbf_luma"、"cbf_cb"または"cbf_cr"とである。
これによれば、当該画像復号方法は、メモリ使用量を削減できる。具体的には、当該画像復号方法は、第２種別の制御パラメータに対しては上ブロックの制御パラメータを使用しないので、上ブロックの第２種別の制御パラメータを保持する必要がない。これにより、当該画像復号方法は、画一的に「隣接ブロックの制御パラメータの値に基づいたコンテキストモデルを利用する」として左ブロックと上ブロックとを利用する場合に比してメモリ使用量を削減することができる。さらに、当該画像復号方法は、画像のBD-rate値評価等を損なわずに、適切に第２種別の制御パラメータのメモリ使用量を削減することができる。
また、当該画像復号方法は、従来のH.264では考慮されていない、新規なHEVC特有のデータ構造の階層ツリー構造に適したコンテキストの利用、又は、メモリ参照を行うことができる。
また、前記第２条件は、前記上ブロック及び前記左ブロックの復号済みの制御パラメータを共に利用しない条件であってもよい。
これによれば、当該画像復号方法は、上ブロックに加え、左ブロックの制御パラメータも使用しないことにより、さらにメモリ使用量を削減できる。
また、前記コンテキスト制御ステップでは、前記信号種別が前記第２種別である場合に、前記第２条件として、予め定められたコンテキストを前記対象ブロックの算術復号に使用するコンテキストに決定してもよい。
これによれば、当該画像復号方法は、処理量を低減できる。
また、前記コンテキスト制御ステップでは、さらに、前記処理対象ブロックの位置に基づき、前記上ブロックの制御パラメータを復号時に利用できるか否かを判定し、前記上ブロックの制御パラメータを利用できない場合に、前記第２条件を用いて前記コンテキストを決定してもよい。
これによれば、当該画像復号方法は、処理量を低減できる。
また、前記コンテキスト制御ステップでは、前記処理対象ブロックがスライス境界に属する場合に、前記上ブロックの制御パラメータを復号時に利用できないと判定してもよい。
また、前記コンテキスト制御ステップでは、前記処理対象ブロックの制御パラメータの属するデータ単位の階層の深さに応じて前記上ブロックの制御パラメータを復号時に利用できるか否かを判定してもよい。
また、前記第２種別は、予め定められたデータ構造を有する制御パラメータであってもよい。
また、前記コンテキスト制御ステップでは、さらに、第１単位の制御パラメータの値に基づいて、前記第１単位より小さい第２単位の制御パラメータに対して、前記第１条件を用いて前記コンテキストを決定するか、前記第２条件を用いてコンテキストを決定するかを切り替えてもよい。
また、前記"split_coding_unit_flag"は、前記処理対象ブロックが、複数のブロックに分割されているか否かを示し、前記"skip_flag"は、前記処理対象ブロックをスキップするか否かを示し、前記"merge_flag"は、前記処理対象ブロックにマージモードを用いるか否かを示し、前記"ref_idx_l0"は、前記処理対象ブロック用のリスト０の参照ピクチャインデクスを示し、前記"ref_idx_l1"は、前記処理対象ブロック用のリスト１の参照ピクチャインデクスを示し、前記"inter_pred_flag"は、前記処理対象ブロックに、uni-prediction及びbi-predictionのいずれが使用されるかを示し、前記"mvd_l0"は、前記処理対象ブロックに使用される、リスト０の動きベクトル成分と、その予測値との差分を示し、前記"mvd_l1"は、前記処理対象ブロックに使用される、リスト１の動きベクトル成分と、その予測値との差分を示し、前記"no_residual_data_flagは、前記処理対象ブロック用の残差データが存在するか否かを示し、前記"intra_chroma_pred_mode"は、前記処理対象ブロックの色差サンプルのためのイントラ予測モードを示し、前記"cbf_luma"は、前記処理対象ブロックの輝度変換ブロックが、レベルが０でない１個以上の変換係数を含むか否かを示し、前記"cbf_cb"は、前記処理対象ブロックのCb変換ブロックが、レベルが０でない１個以上の変換係数を含むか否かを示し、前記"cbf_cr"は、前記処理対象ブロックのCr変換ブロックが、レベルが０でない１個以上の変換係数を含むか否かを示してもよい。
また、前記画像復号方法は、符号化信号に含まれる、第１規格又は第２規格を示す識別子に応じて、前記第１規格に準拠した復号処理と、前記第２規格に準拠した復号処理とを切り替え、前記ＩＤが第１規格を示す場合に、前記第１規格に準拠した復号処理として、前記コンテキスト制御ステップと、前記算術復号ステップと、前記多値化ステップとを行ってもよい。
また、本発明の一形態に係る画像符号化方法は、算術符号化を用いる画像符号化方法であって、処理対象ブロックの制御パラメータを二値化することで二値配列を生成する二値化ステップと、複数のコンテキストのうち、前記処理対象ブロックに使用するコンテキストを決定するコンテキスト制御ステップと、決定された前記コンテキストを用いて前記二値配列を算術符号化することでビット列を生成する算術符号化ステップとを含み、前記コンテキスト制御ステップでは、前記処理対象ブロックの制御パラメータの信号種別を判定し、前記信号種別が第１種別である場合に、前記処理対象ブロックに隣接する左ブロック及び上ブロックの制御パラメータを共に利用する第１条件を用いて前記コンテキストを決定し、前記信号種別が、前記第１種別と異なる第２種別である場合に、前記上ブロックの制御パラメータを利用しない第２条件を用いて前記コンテキストを決定し、前記第１種別は、"split_coding_unit_flag"、または、"skip_flag"であり、前記第２種別は、"merge_flag"と、"ref_idx_l0"または"ref_idx_l1"と、"inter_pred_flag"と、"mvd_l0"または"mvd_l1"と、"no_residual_data_flag"と、"intra_chroma_pred_mode"と、"cbf_luma"、"cbf_cb"または"cbf_cr"とである。
これによれば、当該画像符号化方法は、メモリ使用量を削減できる。具体的には、当該画像符号化方法は、第２種別の制御パラメータに対しては上ブロックの制御パラメータを使用しないので、上ブロックの第２種別の制御パラメータを保持する必要がない。これにより、当該画像符号化方法は、画一的に「隣接ブロックの制御パラメータの値に基づいたコンテキストモデルを利用する」として左ブロックと上ブロックとを利用する場合に比してメモリ使用量を削減することができる。さらに、当該画像符号化方法は、画像のBD-rate値評価等を損なわずに、適切に第２種別の制御パラメータのメモリ使用量を削減することができる。
また、当該画像符号化方法は、従来のH.264では考慮されていない、新規なHEVC特有のデータ構造の階層ツリー構造に適したコンテキストの利用、又は、メモリ参照を行うことができる。
また、本発明の一形態に係る画像復号装置は、算術復号を用いる画像復号装置であって、複数のコンテキストのうち、処理対象ブロックの算術復号に使用するコンテキストを決定するコンテキスト制御部と、制御パラメータが算術符号化されることで得られた、前記処理対象ブロックに対応するビット列を、決定された前記コンテキストを用いて算術復号することで二値配列を復元する算術復号部と、前記二値配列を多値化することで前記制御パラメータを復元する多値化部とを含み、前記コンテキスト制御部は、前記処理対象ブロックの制御パラメータの信号種別を判定し、前記信号種別が第１種別である場合に、前記処理対象ブロックに隣接する左ブロック及び上ブロックの復号済の制御パラメータを共に利用する第１条件を用いて前記コンテキストを決定し、前記信号種別が、前記第１種別と異なる第２種別である場合に、前記上ブロックの復号済みの制御パラメータを利用しない第２条件を用いて前記コンテキストを決定し、前記第１種別は、"split_coding_unit_flag"、または、"skip_flag"であり、前記第２種別は、"merge_flag"と、"ref_idx_l0"または"ref_idx_l1"と、"inter_pred_flag"と、"mvd_l0"または"mvd_l1"と、"no_residual_data_flag"と、"intra_chroma_pred_mode"と、"cbf_luma"、"cbf_cb"または"cbf_cr"とである。
これによれば、当該画像復号装置は、メモリ使用量を削減できる。
また、本発明の一形態に係る画像符号化装置は、算術符号化を用いる画像符号化装置であって、処理対象ブロックの制御パラメータを二値化することで二値配列を生成する二値化部と、複数のコンテキストのうち、前記処理対象ブロックに使用するコンテキストを決定するコンテキスト制御部と、決定された前記コンテキストを用いて前記二値配列を算術符号化することでビット列を生成する算術符号化部とを含み、前記コンテキスト制御部は、前記処理対象ブロックの制御パラメータの信号種別を判定し、前記信号種別が第１種別である場合に、前記処理対象ブロックに隣接する左ブロック及び上ブロックの制御パラメータを共に利用する第１条件を用いて前記コンテキストを決定し、前記信号種別が、前記第１種別と異なる第２種別である場合に、前記上ブロックの制御パラメータを利用しない第２条件を用いて前記コンテキストを決定し、前記第１種別は、"split_coding_unit_flag"、または、"skip_flag"であり、前記第２種別は、"merge_flag"と、"ref_idx_l0"または"ref_idx_l1"と、"inter_pred_flag"と、"mvd_l0"または"mvd_l1"と、"no_residual_data_flag"と、"intra_chroma_pred_mode"と、"cbf_luma"、"cbf_cb"または"cbf_cr"とである。
これによれば、当該画像符号化装置は、メモリ使用量を削減できる。
また、本発明の一形態に係る画像符号化復号装置は、前記画像復号装置と、前記画像符号化装置とを含む。
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたは記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
以下、本発明の一態様に係る画像復号装置および画像符号化装置について、図面を参照しながら具体的に説明する。
なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
（実施の形態１）
以下、本発明の実施の形態１に係る画像符号化装置について説明する。本発明の実施の形態１に係る画像符号化装置は、算術符号化において、制御パラメータの信号種別に応じて、（１）上ブロックを利用してコンテキストを決定するか、（２）上ブロックを利用せずにコンテキストを決定するか、を切り替える。これにより、画質の劣化を抑制しつつ、メモリ使用量を削減できる。
まず、本発明の実施の形態１に係る画像符号化装置の構成を説明する。
図１は、本実施の形態に係る画像符号化装置１００のブロック図である。
図１に示す画像符号化装置１００は、算術符号化を用いる画像符号化装置であり、入力画像信号１２１を符号化することによりビットストリーム１２４を生成する。この画像符号化装置１００は、制御部１０１と、差分部１０２と、変換及び量子化部１０３と、可変長符号化部１０４と、逆量子化及び逆変換部１０５と、加算部１０６と、画面内予測部１０７と、画面間予測部１０８と、スイッチ１０９とを含む。
制御部１０１は、符号化対象の入力画像信号１２１に基づいて制御パラメータ１３０を算出する。例えば、制御パラメータ１３０は、符号化対象の入力画像信号１２１のピクチャタイプを示す情報、符号化対象ブロックの動き予測単位(Prediction Unit PU)のサイズ、及び、動き予測単位の制御情報等を含む。ここで制御パラメータ１３０(Control data)はそれ自身が符号化対象となる。よって、制御部１０１は、この制御パラメータ１３０を、可変長符号化部１０４に出力する。
差分部１０２は、ブロック単位の入力画像信号１２１と予測画像信号１２９との差分値（残差値）である残差信号１２２を算出する。
変換及び量子化部１０３は、残差信号１２２を周波数係数値に変換し、得られた周波数係数値を量子化することで量子化変換係数１２３(residual data)を生成する。
逆量子化及び逆変換部１０５は、量子化変換係数１２３を周波数係数値に逆量子化し、得られた周波数係数値を逆変換することで、復元された残差信号１２５を生成する。
加算部１０６は、残差信号１２５と予測画像信号１２９とを加算することで復元画像信号１２６を出力する。
画面内予測部１０７は、復元画像信号１２６を用いて画面内予測処理を行うことで予測画像信号１２７を生成する。画面間予測部１０８は、復元画像信号１２６を用いて画面間予測処理を行うことで予測画像信号１２８を生成する。
スイッチ１０９は、予測画像信号１２７及び予測画像信号１２８の一方を選択し、選択した信号を予測画像信号１２９として出力する。
可変長符号化部１０４は、入力されたブロック毎の量子化変換係数１２３及び制御パラメータ１３０を、前述のCABACを用いて符号化することでビットストリーム１２４を生成する。
次に、可変長符号化部１０４の構成を説明する。
図２は、可変長符号化部１０４の機能ブロック図である。可変長符号化部１０４は、二値化部１４１と、コンテキスト制御部１４２と、二値算術符号化部１４３とを含む。以下、制御パラメータ１３０の可変長符号化処理について説明する。なお、量子化変換係数１２３の可変長符号化処理については説明を省略するが、例えば、既知の技術を用いて実現できる。
二値化部１４１は、制御パラメータ１３０を二値化することで二値配列１５１を生成する。具体的には、二値化部１４１は、非特許文献１におけるII. 1) binarizaion処理を実行する処理部である。この二値化部１４１は、制御パラメータ１３０を信号種別毎に事前に定められた二値化処理方法によりbin stringと呼ばれる二値配列１５１に変換する。なお、信号種別と二値化処理方法の対応については後述する。また、二値化部１４１は、入力された制御パラメータ１３０がflag等の１バイナリ値である場合は、当該制御パラメータ１３０をそのまま二値配列１５１として出力する。
コンテキスト制御部１４２は、複数のコンテキスト（確率状態テーブル）のうち、処理対象のブロックに含まれる制御パラメータ１３０の算術符号化に使用するコンテキストを決定する。また、コンテキスト制御部１４２は、決定したコンテキストを指定するコンテキストインデクス１５２を二値算術符号化部１４３へ出力する。
具体的には、コンテキスト制御部１４２は、非特許文献１における2)context modeling処理を実行する処理部である。このコンテキスト制御部１４２には、二値算術符号化部１４３が出力した二値配列１５１に含まれる複数の要素が順次入力される。コンテキスト制御部１４２は、制御パラメータ１３０の信号種別とこのバイナリの二値配列１５１中の要素位置とに応じて、複数のコンテキストのうち、このバイナリに使用するコンテキストを選択し、選択したコンテキストを示すインデクスであるコンテキストインデクス１５２を二値算術符号化部１４３に出力する。
また、コンテキスト制御部１４２は、コンテキストの状態として、制御パラメータ１３０の二値配列の個々の要素をさらに条件付確率の条件に詳細区分化した数（いわゆるコンテキストインデクス数）の確率状態テーブルを保持しており、この確率状態テーブルを初期化及び更新する。
また、コンテキスト制御部１４２は、信号種別毎（二値配列の要素数が２以上である場合は、制御パラメータ１３０の二値配列の要素番号毎のことである。以下同じ）に更なる詳細区分として発生条件τ毎（コンテキスト毎）の状態(probability state index)を保持する。この状態は、「０」または「１」の二値のうち、確率が低い方の発生確率Ｐ(内分比率：典型的には6bitの値)と、確率の高い方がどちらかを示す値（1bit）との合計7bit値である。また、状態を保持するとは初期化及び更新することである。例えば、更新処理とは、H264と同じく64個の有限の状態間の遷移であり、今どの確率状態probability state（すなわちどの確率）にあるかのindexingを変更することである。
具体的には、コンテキスト制御部１４２は、二値のうち確率の高いmost probable側の事象Xが発生した場合は、most probable側である確率の割合を少し増加させる。例えば、コンテキスト制御部１４２は、64個のテーブルに対応する確率インデクス(probability state index)の値を1増減させることで、most probable側である確率の割合を少し増加させることができる。他方、(予測された確率に反して)確率の低い方の事象not Xが発生した場合には、コンテキスト制御部１４２は、保持しているmost probableの確率の割合を大きく、所定のスケール係数α（例えば≒0.95)に基づいて減少させる（非特許文献１, Fig 6を参照)。本実施の形態のコンテキスト制御部１４２は、H.264と同様に、このαを考慮した変更に対応するように、対応付けられたテーブルインデクス変更値に基づいて状態を遷移させて保持している。
二値算術符号化部１４３は、コンテキスト制御部１４２で決定されたコンテキストを用いて二値配列１５１を算術符号化することでビットストリーム１２４（ビット列）を生成する。
具体的には、二値算術符号化部１４３は、非特許文献１における3)binary arithmetic coding処理を実行する処理部である。この二値算術符号化部１４３は、コンテキストインデクス１５２で指定されるコンテキストを用いて、二値配列１５１を算術符号化することでビットストリーム１２４を生成する。ここで算術符号化とは、種々の信号種別の制御パラメータ１３０について発生した事象を確率の累積として扱い、どのような事象がおこったのかを１つの数直線上の所定範囲に範囲を狭めながら対応付けることといえる。
まず、二値算術符号化部１４３は、１つの数直線を、コンテキスト制御部１４２から与えられた、バイナリがとりうる２つの値の発生確率に応じて２つの半区間に内分する。実際に発生したバイナリの値(例えば「０」）が、高い確率（0.5を超える確率(例えば0.75)）側の値であった場合には、二値算術符号化部１４３は、数直線中の範囲の下値限値lowを変更せず維持し、今回の確率0.75に、スケール係数0.95を１回乗算した結果に対応する値を新たな幅Rangeに設定する。一方、実際に発生したバイナリの値が、予測された低い確率側の値であった場合には、二値算術符号化部１４３は、範囲の下限値lowを、高い方の確率分移動させ、幅Rangeを低い方の確率に応じて変更させる。このように、確率幅Rangeの乗算結果の累積によって区間を保持するが、確率の低い方の値が連続して発生した場合には幅Rangeの長さが演算で確保できる精度以下になる。この場合、二値算術符号化部１４３は、精度を維持するために幅Rangeを拡大する処理(renorm)を行うとともに現時点の範囲を示すためのビット列を出力する。逆に、確率の高い方（0.95等）の値が連続して発生した場合には、この確率値を乗算したとしても幅Rangeの長さが所定の長さより短くなるまでに何回もの演算（表による実装の場合は状態遷移）を行うことができる。従ってこの場合はビットを出力するまでに累積できるシンボル数が多いことになる。
図３は、隣接ブロックの制御パラメータ１３０の値に基づくコンテキストモデルを利用する制御パラメータ１３０を整理した表である。
左から列の意味を説明する。
(c2)信号種別(syntax element)は、制御パラメータ１３０の信号種別の具体名称を示す。なお、各信号種別の意味は後述する。
(c3)二値化方式(binarization scheme)は、直左の列で指定される制御パラメータ１３０(ＳＥ)に適用される二値化方式を示す。なお、二値化処理は、上記二値化部１４１で実行される。また、欄中「固定長」とは、二値化部１４１が、直左の制御パラメータ１３０の値を固定長（Fixed Length）の二値配列(bin string)で出力することを意味する。HEVCにおいて信号種別名が"flag"で終わる信号種別の制御パラメータ１３０は、「０」または「１」のいずれかの値をとる１バイナリ値である。従って、二値化部１４１の出力する二値配列１５１の要素は、第１番目の要素（binIdx = 0）のみであり、第２番目以降の要素(binIdx >= 1の要素は出力しない。つまり、二値化部１４１は、制御パラメータ１３０の値をそのまま二値配列１５１として出力する。
また、欄中「可変長」とは、二値化部１４１が、制御パラメータ１３０の値を、その値の発生頻度順に短いバイナリ長になるように対応付けられた可変長のバイナリ列（bin string、又は、二値配列であって要素数≧1）を用いて、二値配列化して出力することを示す。例えば、二値化部１４１は、(Truncated)Unary型、又はUnary型と他の指数のGolomb方式等の複数の方式の組み合わせ等の、信号種別に対応した方式を利用して出力する(非特許文献１、A.Binarizationを参照)。なお、可変長の場合、二値配列１５１の配列要素は１個である場合もあるが、２個以上になることもある。また、後述する画像復号装置の多値化部では、この二値化方式の逆の変換を行うことにより、入力された二値配列を多値又はフラグ値に復元する。
(c4) 第１番目要素(binIdx=0)コンテキストインデクスは、コンテキスト制御部１４２が、c3の欄で指定された二値化方式によって生成されたバイナリ配列に含まれる１番目の要素に対して適用するコンテキストインデクス（増分値）の選択肢を示す。欄中に「０、１、２」と記載されている場合、コンテキスト制御部１４２は、３つの確率状態テーブル（コンテキスト）から一つの確率状態テーブルを選択して適用することを意味する。例えば、信号種別"skip_flag"については、この１つの信号種別について、条件で細分化なコンテキストインデクスを３つ用意して、つまり、コンテキストを３つ用意して算術符号化を行うことを意味している。
同様に、c4欄中に「０、１、２、３」と記載されている場合、c2欄で指定される信号種別の制御パラメータ１３０の値を、c3欄の二値化方式により二値配列化された二値配列１５１に含まれる第１要素（binIdx = 0）に適用されるコンテキストが０、１、２、または、３の４つの択一であることを意味する。なお、欄中の条件式については後述する。
(c5) 左ブロック条件L（condL）は、コンテキスト制御部１４２が、カラムc4において０、１、２の値のいずれかの値を選択するための左ブロックの条件（condition）を示す。この条件は、符号化対象（または復号対象）の制御パラメータに対応する、左ブロックの制御パラメータの値に応じて決定されるtrueまたはfalseの値をとる。
例えば、制御パラメータ(ＳＥ)がskip_flagである場合には、skip_flag[xL][yL]の値がtrue(例えば「１」)であればtrueが、false(例えば「０」)であればfalseが出力される。
(c6) 上ブロック条件A(condA)は、コンテキスト制御部１４２が、カラムc4に指定された配列要素の符号化及び復号において０、１、２の値のいずれかの値を選択するための上ブロックの条件（condition）を示す。この条件は、符号化対象（または復号対象）の制御パラメータに対応する、上ブロックの制御パラメータの値に応じて決定されるtrueまたはfalseの値をとる。例えば、制御パラメータ(ＳＥ)がskip_flagである場合には、skip_flag[xA][yA]の値がtrue(例えば「１」)であればtrueが、false(例えば「０」)であればfalseが出力される。
なお、図示していないが、２ビット以上の信号種別には(c7)「binIdx >= 1に適用するコンテキスト増分値」が対応付けられていている。この(c7)は、コンテキスト制御部１４２が、二値配列の２要素目以降のバイナリ(binIdx >= 1のインデクス値を有するバイナリ配列要素のバイナリ値)に適用するコンテキストモデルを示す。
本実施の形態に係る画像符号化方法は、上記左ブロック条件L及び上ブロック条件Aについて制御パラメータ１３０の信号種別に応じて以下の動作を切り替える（異なるパターンを利用して動作する）。
(パターン１)２個の隣接ブロック(左ブロック条件Lの判定値と上ブロック条件Aの判定値)を使う。
(パターン２)１個の隣接ブロック(左ブロック条件Lの判定値のみ)を使う。
(パターン３)０個の隣接ブロックを使う(左ブロック条件Lも上ブロック条件Aも使わない)。
図４は、図２に示す可変長符号化部１０４が実行する本実施の形態に係る画像符号化方法を示すフロー図である。
まず、二値化部１４１は制御パラメータ１３０の値を、この制御パラメータ１３０の信号種別に対応する方式で二値配列化する（Ｓ１０１）。
次に、コンテキスト制御部１４２は、この制御パラメータ１３０の算術符号化に用いるコンテキストの基本値を取得する（Ｓ１０２）。例えば、コンテキスト制御部１４２は、ピクチャタイプ（I、P、B）に応じてこの基本値を決定する。
次に、コンテキスト制御部１４２は、制御パラメータ１３０の信号種別に応じて、上記パターン１〜パターン３のいずれかを用いてコンテキスト値を決定する（Ｓ１０３）。ここで、コンテキスト値を決定するとは、コンテキストの基本値に対する調整値（インクリメント値CtxIdxInc）を決定することと等価である。
まず、コンテキスト制御部１４２は、制御パラメータ１３０の信号種別を判別する（Ｓ１０３）。制御パラメータ１３０の信号種別がパターン１に対応する第１種別である場合（Ｓ１０４で第１種別）、コンテキスト制御部１４２は、隣接する２つのブロック（ブロックＡとブロックＢ）の各々の制御パラメータの値から導出された判定値を用いコンテキスト値を決定する（Ｓ１０５）。言い換えると、コンテキスト制御部１４２は、左ブロック及び上ブロックの２つの隣接ブロックの制御パラメータを利用する条件を用いてコンテキストを決定する。この場合、コンテキスト制御部１４２は、図３に示す(c5)CondLの判定結果と(c6)condAの判定結果との両方の値を利用する。従って、第１種別の制御パラメータに対してはピクチャの横一列分のデータを保持することになる。
一方で、制御パラメータ１３０の信号種別がパターン２に対応する第２種別である場合（Ｓ１０４で第２種別）、コンテキスト制御部１４２は、１個の隣接ブロック（符号化順で直近の隣接ブロック）の制御パラメータの値を用いてコンテキスト値を決定する（Ｓ１０６）。言い換えると、コンテキスト制御部１４２は、上ブロックの制御パラメータを利用しない条件を用いてコンテキストを決定する。
一方で、制御パラメータ１３０の信号種別がパターン３に対応する第３種別である場合（Ｓ１０４で第３種別）、コンテキスト制御部１４２は、上ブロック及び左ブロックの制御パラメータを共に利用せずに、固定的にコンテキスト値を決定する（Ｓ１０７）。
次に、コンテキスト制御部１４２は、ステップＳ１０２で決定されたコンテキストの基本値に、ステップＳ１０３で決定された増分値を加算することでコンテキストインデクス値を導出する（Ｓ１０８）。
最後に、二値算術符号化部１４３は、第１要素のバイナリ値を、ステップＳ１０８で決定されたコンテキストインデクス値で指定されるコンテキスト値を用いて算術符号化することで、ビット列（ビットストリーム１２４）を生成する（Ｓ１０９）。
次に、二値配列に含まれる全ての要素に対してステップＳ１０２〜Ｓ１０９の処理の実行が完了していない場合（Ｓ１１０でＮＯ）、可変長符号化部１０４は、二値配列に含まれる次の要素に対して、ステップＳ１０２〜Ｓ１０９の処理を実行する。一方、二値配列に含まれる全ての要素に対してステップＳ１０２〜Ｓ１０９の処理の実行が完了した場合（Ｓ１１０でＹＥＳ）、可変長符号化部１０４は、処理対象ブロックの制御パラメータに対する符号化処理を終了する。
以上のように、本実施の形態に係る画像符号化装置１００は、算術符号化において、第１種別の制御パラメータに対しては、上ブロックを利用してコンテキストを決定し、第２種別及び第３種別の制御パラメータに対しては、上ブロックを利用せずにコンテキストを決定する。
この構成により、当該画像符号化装置１００は、画一的に「隣接ブロックの制御パラメータの値に基づいたコンテキストモデルを利用する」として左ブロックと上ブロックとを利用する場合に比してメモリ使用量を削減することができる。これにより、当該画像符号化装置１００は、画質の劣化を抑制しつつ、メモリ使用量を削減できる。
（実施の形態２）
本実施の形態では、上記画像符号化装置１００により生成されたビットストリーム１２４を復号する画像復号装置について説明する。
図５は、本実施の形態に係る画像復号装置２００のブロック図である。この画像復号装置２００は、算術復号を用いる画像復号装置であり、ビットストリーム１２４を復号することで画像信号２２９を生成する。ここでビットストリーム１２４は、例えば、上述した画像符号化装置１００により生成されたビットストリーム１２４である。
画像復号装置２００は、制御部２０１と、可変長復号部２０２と、逆量子化部２０４と、逆変換部２０５と、加算部２０６と、画面内予測部２０７と、画面間予測部２０８とを含む。
画像復号装置２００は、所定の処理単位の符号列ごとに復号処理を行う。ここで処理単位は、例えば、スライス単位、又はブロック単位である。
可変長復号部２０２は、ビットストリーム１２４に算術復号を行うことで、制御パラメータ２３０(control data syntax element)と、量子化変換係数２２３(Residual data syntax element値）とを生成する。生成された制御パラメータ２３０は制御部２０１に出力される。
制御部２０１は、制御パラメータ２３０に応じて画像復号装置２００に含まれる処理部を制御する。
逆量子化部２０４は、量子化変換係数２２３を逆量子化することで直交変換係数２２４を生成する。
逆変換部２０５は、直交変換係数２２４を逆変換することで残差信号２２５を復元する。加算部２０６は残差信号２２５と予測画像信号（画像信号２２９）とを加算することで復号画像信号２２６を生成する。
画面内予測部２０７は、復号画像信号２２６を用いて画面内予測処理を行うことで予測画像信号２２７を生成する。画面間予測部２０８は、復号画像信号２２６を用いて画面間予測処理を行うことで予測画像信号２２８を生成する。
スイッチ２０９は、予測画像信号２２７及び予測画像信号２２８の一方を選択し、選択した信号を画像信号２２９（予測画像信号）として出力する。
次に、可変長復号部２０２の構成を説明する。
図６は、可変長復号部２０２の構成を示す機能ブロック図である。可変長復号部２０２は、二値算術復号部２４３と、コンテキスト制御部２４２と、多値化部２４１とを含む。以下、制御パラメータ２３０の可変長復号処理について説明する。なお、量子化変換係数２２３の可変長復号処理については説明を省略するが、例えば、既知の技術を用いて実現できる。
コンテキスト制御部２４２は、複数のコンテキストのうち、処理対象のブロックの制御パラメータ２３０の算術復号に使用するコンテキストを決定する。また、コンテキスト制御部２４２は、決定したコンテキストを指定するコンテキストインデクス２５２を二値算術復号部２４３へ出力する。
具体的には、コンテキスト制御部２４２は、保持する確率遷移モデルとして、図２に示すコンテキスト制御部１４２と同じコンテキストモデルを用いる。二値算術符号化部１４３が64個の確率状態を用いる場合は、二値算術復号部２４３も64個の確率状態を持つ。これは、符号化される数直線上のレンジを、符号化側及び復号側の両方でまったく同じように解釈する必要があるためである。よって、符号化側が、上述したパターン１〜３の３つのパターンから選択したパターンと、同じパターンを復号装置側でも用いる。
二値算術復号部２４３は、コンテキスト制御部２４２で決定されたコンテキストを用いてビット列（ビットストリーム１２４）を算術復号することで二値配列２５１を復元する。具体的には、二値算術復号部２４３は、コンテキスト制御部２４２から与えられたコンテキストインデクスにより指定されるコンテキスト（確率状態テーブル）を用いて、入力されたビット列を二値配列２５１に復元する。
多値化部２４１は、二値配列２５１を必要であれば多値化することで制御パラメータ２３０に復元する。このように、画像符号化装置１００が備えるコンテキスト制御部１４２と、画像復号装置２００が備えるコンテキスト制御部２４２とは、ある信号種別の制御パラメータの算術符号化及び算術復号時に双方で同じコンテキストモデルを利用する。
図７は、可変長復号部２０２が実行する本実施の形態に係る画像復号方法を示すフロー図である。
まず、可変長復号部２０２はビットストリーム１２４を取得する（Ｓ２０１）。
次に、コンテキスト制御部２４２は、ビットストリーム１２４のデータ構造に応じて復号対象の制御パラメータの信号種別を決定する（Ｓ２０２）。
次に、コンテキスト制御部２４２は、復号対象の制御パラメータの算術復号に用いるコンテキストの基本値を決定する（Ｓ２０３）。例えば、コンテキスト制御部２４２は、ピクチャタイプ（I、P、B）に応じてこの基本値を決定する。
次に、コンテキスト制御部２４２は、制御パラメータの信号種別に応じて、上記パターン１〜パターン３のいずれかを用いてコンテキスト値を決定する（Ｓ２０４）。ここで、コンテキスト値を決定することとは、コンテキストの基本値に対する調整値（インクリメント値CtxIdxInc）を決定することと等価である。例えば、コンテキスト制御部２４２は、制御パラメータの信号種別に応じてパターン１〜パターン３のいずれを用いるかの判断を、静的に事前に決定された表に従い行なう。
コンテキスト制御部２４２は、二値配列２５１に含まれる第１要素のバイナリの値を算術復号により得るために用いるコンテキストの決定に用いる隣接ブロックを、制御パラメータの信号種別に応じて切り替える。
まず、コンテキスト制御部２４２は、制御パラメータ２３０の信号種別を判定する（Ｓ２０５）。信号種別がパターン１に対応する第１種別である場合（Ｓ２０５で第１種別）、コンテキスト制御部２４２は、隣接する２つのブロックの各々の制御パラメータを用いてコンテキスト値を決定する（Ｓ２０６）。言い換えると、コンテキスト制御部２４２は、左ブロック及び上ブロックの２つの隣接ブロックの復号済の制御パラメータを利用する条件を用いてコンテキストを決定する。
一方、信号種別がパターン２に対応する第２種別である場合（Ｓ２０５で第２種別）、コンテキスト制御部２４２は、１個の隣接ブロック（符号化順で直近の隣接ブロック）の制御パラメータの値を用いてコンテキスト値を決定する（Ｓ２０７）。言い換えると、コンテキスト制御部２４２は、上ブロックの復号済みの制御パラメータを利用しない条件を用いてコンテキストを決定する。
一方、信号種別がパターン３に対応する第３種別である場合（Ｓ２０５で第３種別）、コンテキスト制御部２４２は、固定的にコンテキスト値を決定する（Ｓ２０８）。言い換えると、コンテキスト制御部２４２は、上ブロック及び左ブロックの復号済みの制御パラメータを共に利用しない条件を用いてコンテキストを決定する。
次に、コンテキスト制御部２４２は、ステップＳ２０３で決定されたコンテキストインデクスの基本値と、ステップＳ２０４で決定された増分値とを加算することでコンテキストインデクス値を決定する（Ｓ２０９）。
次に、二値算術復号部２４３は、コンテキスト制御部２４２から与えられたコンテキストインデクス値で示されるコンテキスト値を用いて、二値配列の要素の１つを復号により得る（Ｓ２１０）。
次に、二値配列に含まれる全ての要素に対してステップＳ２０３〜Ｓ２１０の処理の実行が完了していない場合（Ｓ２１１でＮＯ）、可変長復号部２０２は、二値配列に含まれる次の要素に対して、ステップＳ２０３〜Ｓ２１０の処理を実行する。
一方、二値配列に含まれる全ての要素に対してステップＳ２０３〜Ｓ２１０の処理の実行が完了した場合（Ｓ２１１でＹＥＳ）、多値化部２４１は、上記のステップＳ２０３〜Ｓ２１０の処理を１回以上繰り返すことで得られた二値配列２５１の１個以上の要素を多値化することで制御パラメータ２３０を生成する（Ｓ２１２）。
以上より、本実施の形態に係る画像復号装置２００は、算術復号において、第１種別の制御パラメータに対しては、上ブロックを利用してコンテキストを決定し、第２種別及び第３種別の制御パラメータに対しては、上ブロックを利用せずにコンテキストを決定する。
この構成により、当該画像復号装置２００は、画一的に「隣接ブロックの制御パラメータの値に基づいたコンテキストモデルを利用する」として左ブロックと上ブロックとを利用する場合に比してメモリ使用を削減することができる。これにより、当該画像復号装置２００は、画質の劣化を抑制しつつ、メモリ使用量を削減できる。
なお、多値化部２４１は、二値配列２５１がflag等であり、要素数が１つの場合、つまり、1binaryである場合には、当該二値配列２５１をそのまま出力してもよい。
また、上述説明に加え、制御部１０１又は２０１は図示しない信号線を介して各処理部を制御する処理、又はメモリの値を参照する処理等を行ってもよい。
また、上記説明では、コンテキスト制御部１４２又は２４２は、パターン１〜パターン３の３つのパターンを制御パラメータの信号種別に応じて切り替えているが、パターン１〜パターン３のうち２つのパターンを信号種別に応じて切り替えてもよい。言い換えると、コンテキスト制御部１４２又は２４２は、制御パラメータの信号種別に応じて、上ブロック条件を利用する／しないを切り替えればよい。
また、コンテキスト制御部１４２又は２４２は、このような選択されるコンテキストモデルの切り替え方法（コンテキストモデル増分値を変更する場合も含む、以下同じ）を所定の画像情報に応じて変更してもよい。例えば、コンテキスト制御部１４２又は２４２は、メモリ保持量及び各コンテキストの学習回数に影響する画像の横幅のサイズ又はサンプリングフォーマット等に応じて、この切り替え方針自体をさらに切り替えるとしてもよい。
また、上記説明では、説明の簡略化のために、コンテキスト制御部１４２又は２４２が、上ブロック条件を利用する／しないを切り替えるとしたが、コンテキスト制御部１４２又は２４２は、上ブロックがそもそも利用できない場合をこれと組み合わせて適用してもよい。例えば、コンテキスト制御部１４２又は２４２は、処理対象のスライスがエントロピースライスであるか否か（entropy_slice_flag が１であるか０であるか）に応じて、この切り替え方針自体を変更してもよい。同様に、そもそも上隣接ブロックの利用可能性が担保できない場合には、コンテキスト制御部１４２又は２４２は、切り替え方針を、上ブロックを利用しないに変更してもよい。
例えば、図８に示すように、コンテキスト制御部１４２又は２４２は、所定の単位のパラメータの値に応じて（Ｓ３０１）、コンテキストモデルの決定方針を第１の決定規範（Ｓ３０２）と、第２の決定規範（Ｓ３０３）とで切り替えてもよい。ここで、所定の単位のパラメータの値に応じてとは、上述したように、スライスがentropy slice であるか否か等に応じてである。また、第１の決定規範とは、図７に示す処理を行う規範である。第２の決定規範とは、図７に示すステップＳ２０４を含まない決定規範であり、例えば従来の決定規範である。これはコンテキストインデクスの増分値を、局所的な所定の単位のパラメータとその単位より大きな単位のパラメータの値とで決定することと等価である。
すなわち、コンテキスト制御部１４２又は２４２は、第１の単位の制御パラメータの値に基づいて、第１の単位より小さい単位に適用される決定規範を他の決定規範に切り替えてもよい。
図９Ａは、上記のマッピング情報とコンテキストインデクスとの対応(assignment)を説明するための図である。図９Ａでは、信号mvd_l0,l1,lcの例を示す。なお、他の信号種別についても同様である。
図９Ａに示す割り振り９０１Ｂは、非特許文献１で用いられているコンテキストインデクスの割り振りである。オフセット値0〜13の14個がPピクチャに割り振られている。また、オフセット値14〜27の14個がBピクチャに割り振られている。なお、mvd_l0[][][0]とmvd_l0[][][1]とは、各々、動きベクトルの差分における各成分値（水平方向及び垂直方向）である。現在検討中のHEVCでは、オフセット値0〜2の3個と、オフセット値7〜9の3個と,オフセット値14〜16の3個と、オフセット値21〜23の3個とが二値配列の第１番目の要素(binIdx = 0)のバイナリを算術するためのコンテキスト条件値(condAとcondLとにより詳細化される条件)として割り振られている。また、信号種別とコンテキストインデクスとの関係は、種々の画像系列に関係なく固定的に定められている。
図９Ａに示すコンテキストインデクスの割り振り９０２Ｂ〜９０４Ｂは、本実施の形態に係るコンテキストインデクスの割り振りである。
割り振り９０２Ｂは、パターン２(上ブロックを利用しない)を用いる場合のコンテキストインデクスの割り振り（allocation）を示す。この場合、オフセット値0〜2等の3個を条件値として割り振る必要はなく、オフセット値0及び1の2個でたりる。これは、condAを利用しないためである。よって図９Ａに示すハッチングされた部分に対する、コンテキストインデクスの割り振りが不要である。従って、割り振り９０１Ｂと同様に１つのbinIdx > 0に対して4個ずつコンテキストインデクスを割り振ったとしても、合計でコンテキストインデクスは0〜23の24個でたりる。よって少なくとも4つのコンテキストが削減される。
割り振り９０３Ｂはパターン３(上ブロック及び左ブロックを両方利用しない)を用いる場合のコンテキストインデクスの割り振りを示す。この場合も0〜2等の3個を条件値として割り振る必要はなく、0のみの１個でたりる。これは、condA及びcondLを共に利用しないためである。よって図９Ａに示すハッチングされた部分に対する、コンテキストインデクスの割り振りが不要である。従って合計でコンテキストインデクスは0〜19の20個でたりる。よって少なくとも8つのコンテキストが削減される。
割り振り９０４Ｂは、前述した信号種別のブロックの単位より大きい単位として、画像系列がBピクチャを含まないで構成される場合（前方参照のみが用いられる場合）に利用する割り振りの例である。この場合、そもそもコンテキストインデクスとしてBピクチャ用のものを利用する必要がない。
従って、コンテキストインデクス(相対値)としては、図９Ａに示すとおり0〜9までの10個で足りる。よって少なくとも18つのコンテキストが削減される。
また、図８で説明した規範を切り替えるとは、画像系列の全部又は一部(predetermined unit)に対して、そのパラメータの種別に応じて、使用する割り振り９０１Ｂ〜９０４Ｂを切り替えることとも言える。
このように、本実施の形態によれば、従来のように静的な１つの規範(上ブロック及び左ブロックを共に利用する規範)に応じて割り振られていたコンテキストインデックスを、複数の規範に応じて変更することができる。従って、メモリ使用量の削減のみならず、所定の単位の性質に応じて、必要なだけコンテキストの割り振り方針を切り替えることができる。
また、コンテキスト制御部１４２又は２４２は、画像系列の特徴に応じて、使用する決定規範）を変更してもよい。例えば、コンテキスト制御部１４２又は２４２は、Iピクチャの間隔(IntraPeriod の設定値)に応じて、使用する決定規範を変更してもよい。
なお、ここでは、コンテキスト制御部１４２又は２４２は、上記の条件に応じて、決定規範を切り替えるとしたが、上ブロックを利用するか否かを切り替えてもよい。
また、コンテキスト制御部１４２又は２４２は、位置的に上ブロックの制御パラメータが符号化又は復号時に利用できるか否かに基づいて、上ブロックの制御パラメータを利用するか否かを決定してもよい。つまり、コンテキスト制御部１４２又は２４２は、処理対象のブロック位置に基づき、上ブロックの制御パラメータを復号時に利用できるか否かを判定し、上ブロックの制御パラメータを利用できない場合に、パターン２又はパターン３を用いてコンテキストを決定してもよい。さらに、コンテキスト制御部１４２又は２４２は、この上ブロックの参照値を利用できるか否かを、ＴＵ、ＣＵ、又はＰＵブロック分割のツリー構造に基づいて決定してもよい。つまり、コンテキスト制御部１４２又は２４２は、処理対象の制御パラメータの属するデータ単位の階層の深さに応じて上ブロックの制御パラメータを復号時に利用できるか否かを判定してもよい。
図９Ｂは、HEVC規格におけるピクチャとスライスとブロックとの関係を示す図である。１つのピクチャは１以上のスライスに分割されている。図９Ｂに示す例ではピクチャは、２つのスライス（SLICE１及びSLICE2）に分割されている。１つのスライスは、複数のブロック３０１(例えば、treeblocks)で構成される。ここで、ブロック３０１は、スライスを所定のサイズに分割した場合に、何かの制御単位として最大の単位であり、その単位を階層分割のrootとした場合のそのrootのサイズである。
図９Ｂに示す例では、SLICE2は、ブロック３０１Ａ（startTb）からはじまり、ハッチングされたブロック３０１を経由して右下隅のブロックまでの複数のブロックを含む１シーケンスで構成される。なお、図中ハッチングされたブロックは現在の処理対象となる１つのブロック（Treeblock）である。
さて、各々のブロック３０１はN×M画素で構成される。また、１つのブロック３０１は内部で再帰的に分割（典型的には4分割）される。つまり、１つのTreeblockは概念的に１つの4分木を構成する(QuadTree)。図９Ｂに示すブロック３０１Ｂでは、４分割された右上のブロックが２階層にわたり再帰的に４分割されている。つまり、ブロック３０１Ｂは、左上の0番から右下の9番まで、所定の観点で分割された１０個の論理的なユニットを含む。
ここで、観点とは、符号化単位(CU)についてのtree、又はresidual_dataについてのTree等、あるrootを基点に互いに深さの異なりうる複数の木が観念される。ここで各種の制御パラメータの値はいずれかの葉ノードに属することになる。
さて、ここで、実際に上ブロックに含まれるある信号種別の制御パラメータの値が「利用できるか(available)否かは」、当該制御パラメータが属する木の種別に依存する。よって、コンテキスト制御部１４２又は２４２は、制御パラメータの属する木の種別に従って決定規範を変更してもよい。これは、シンタクス単位に変更することと等価である。例えば、コンテキスト制御部１４２又は２４２は、適応フィルタについてのalf_param等のデータ構造のデータに対しては、上ブロックを利用しないパターン２またはパターン３を利用し、他のシンタクスについては従来どおりのコンテキストモデル方針（パターン１）を利用してもよい。つまり、上記第２種別又は第３種別は、予め定められたデータ構造を有する制御パラメータであってもよい。また、これは、隣接の定義のツリーの種別によって変わることを意味する。
さらに、実際にその制御パラメータの値が利用できるかどうか、又は、メモリ使用量の削減に効果を生じるかは、ブロックの階層関係上の位置に応じて異なる。つまり、コンテキスト制御部１４２又は２４２は、ブロックの階層及び階層内の位置に応じて上ブロックを利用するか否かを切り替えてもよい。
例えば、図９Ｂに示すブロック３０１Ｂにおける各番号０〜９は、復号順であるとする。この場合、番号４のブロックを符号化又は復号する場合に、番号１のブロック及び番号２のブロックの制御パラメータを利用できる。
さらに、メモリ使用量の削減の観点から、コンテキスト制御部１４２又は２４２は、Depth0でないブロックであり、かつ、自己の位置が縦方向分割における２個目以上の要素であれば、上ブロックを利用するパターン１を選択してもよい。ここでdepthとは、rootからの階層数を示す。すなわち、あるブロックをblock[xn],[y0][depth]と規定した場合、処理対象のブロックがblock[xn][(y0) + 1][depth]）が成立するブロックであるか否かに応じて、決定規範を変更してもよい。つまり、図９Ｂに示す番号４〜９のブロックに対して上ブロックが利用される。これは、このツリーの符号化又は復号が、図示された番号順（０から始まり９で終わる順番）であれば、番号４〜９のブロックでは、上ブロックに含まれる制御パラメータが利用できることも明らかであるためである。さらに、これらのブロックでは、データの保持は一時的でよいという利点もある。また、このことは、ｘ、ｙ座標に加え階層を含む三次元の位置に応じてコンテキスト値を決定することもいえる。また、上階層のブロックの条件値を下階層のブロックの条件値として利用（踏襲）することが可能である。
さらに、コンテキスト制御部１４２又は２４２は、処理対象のブロックと、他のスライスとの位置関係を考慮して、これらの規範を変更してもよい。以下、図９Ｂに示す３つのハッチングしたブロック３０１Ａ、３０１Ｂ及び３０１Ｃの例を説明する。
ここで、ブロック３０１Ａは、スタートブロックであり、左ブロック及び上ブロックが共に他のスライスに含まれる。ブロック３０１Ｂは、上ブロックが別スライスに含まれる。ブロック３０１Ｃは、上ブロック及び左ブロックが共に、自己のブロックが含まれるスライスと同じスライスに含まれる。コンテキスト制御部１４２又は２４２は、このような条件に応じて、規範を切り替えても良い。つまり、コンテキスト制御部１４２又は２４２は、（１）上ブロックが他のスライスに含まれるか否かに応じて規範を切り替えてもよいし、（２）左ブロックが他のスライスに含まれるか否かに応じて規範を切り替えてもよいし、（３）これらの両方に応じて規範を切り替えてもよい。言い換えると、コンテキスト制御部１４２又は２４２は、処理対象のブロックがスライス境界に属する場合に、上ブロックの制御パラメータを復号時に利用できないと判定してもよい。これにより、例えば、上のスライス１の復号処理が終了していない場合に、スライス２の内部で自己的に情報が得られるか否かを考慮した復号処理が実現できる。
以下、階層化された処理単位（多階層ブロック構造）について説明する。図１０は、階層化された処理単位（多階層ブロック構造）を説明するための説明図である。
上記画像符号化装置１００は、動画像を処理単位ごとに符号化し、画像復号装置２００は、符号化ストリームを処理単位ごとに復号する。この処理単位は、複数の小さな処理単位に分割され、その小さな処理単位がさらに複数のより小さな処理単位に分割されるように、階層化されている。なお、処理単位が小さいほど、その処理単位がある階層は深く、下位にあり、その階層を示す値は大きい。逆に、処理単位が大きいほど、その処理単位がある階層は浅く、上位にあり、その階層を示す値は小さい。
処理単位には、符号化単位（ＣＵ）と予測単位（ＰＵ）と変換単位（ＴＵ）とがある。ＣＵは、最大１２８×１２８画素からなるブロックであり、従来のマクロブロックに相当する単位である。ＰＵは、画面間予測の基本単位である。ＴＵは、直交変換の基本単位であり、そのＴＵのサイズはＰＵと同じか、ＰＵよりも一階層小さいサイズである。ＣＵは、例えば４つのサブＣＵに分割され、そのうちの１つのサブＣＵは、そのサブＣＵと同じサイズのＰＵおよびＴＵを含む（この場合、ＰＵとＴＵは互いに重なった状態にある）。例えば、そのＰＵはさらに４つのサブＰＵに分割され、ＴＵもさらに４つのサブＴＵに分割される。なお、処理単位が複数の小さい処理単位に分割される場合、その小さい処理単位をサブ処理単位という。例えば、処理単位がＣＵの場合では、サブ処理単位はサブＣＵであり、処理単位がＰＵの場合では、サブ処理単位はサブＰＵであり、処理単位がＴＵの場合では、サブ処理単位はサブＴＵである。
具体的には、以下のとおりである。
ピクチャはスライスに分割される。スライスは最大符号化単位のシーケンスである。最大符号化単位の位置は、最大符号化単位アドレスｌｃｕＡｄｄｒによって示される。
最大符号化単位を含むそれぞれの符号化単位は、４つの符号化単位に分割される。その結果、符号化単位の大きさの四分木分割が構成される。符号化単位の位置は、最大符号化単位の左上端のサンプル（画素または係数）を起点とした符号化単位インデクスｃｕＩｄｘによって示される。
符号化単位の分割が許可されていない場合、その符号化単位は予測単位として扱われる。符号化単位と同様に、予測単位の位置は、最大符号化単位の左上端のサンプルを起点とした予測単位インデクスｐｕＩｄｘによって示される。
予測単位は複数のパーティション（予測単位パーティションまたはサブＰＵ）を含んでいてもよい。予測単位パーティションは、予測単位の左上端のサンプルを起点とした予測単位パーティションインデクスｐｕＰａｒｔＩｄｘによって示される。
予測単位は複数の変換単位を含んでいてもよい。符号化単位と同様に、変換単位は４つの小さいサイズの変換単位（サブ変換単位）に分割されてもよい。このことは、残差信号の四分木分割を許可する。変換単位の位置は、予測単位の左上端のサンプルを起点とした変換単位インデクスｔｕＩｄｘによって示される。
ここで、各処理単位の定義は以下のとおりである。
ＣＴＢ（coding tree block）：正方形領域の四分木分割を特定するための基本単位。ＣＴＢは正方形の多様なサイズを有する。
ＬＣＴＢ（largest coding tree block）：スライスにおいて許可される最も大きいサイズのＣＴＢ。スライスは重複しない複数のＬＣＴＢからなる。
ＳＣＴＢ（smallest coding tree block）：スライスにおいて許可される最も小さいサイズのＣＴＢ。ＳＣＴＢをより小さいＣＴＢに分割することは許可されていない。
ＰＵ（prediction unit）：予測処理を特定するための基本単位。ＰＵのサイズは、分割が許可されていないＣＵのサイズと同じである。ＣＵでは、ＣＵを４つの正方形領域に分割することが許可されているのに対して、ＰＵでは、ＰＵを任意の形状の複数のパーティションに分割することができる。
ＴＵ（transform unit）：変換および量子化を特定するための基本単位。
ＣＵ（coding unit）：ＣＴＢと同一。
ＬＣＵ（largest coding unit）：最も大きいＣＴＢと同一。
ＳＣＵ（smallest coding unit）：最も小さいＣＴＢと同一。
また、量子化パラメータは、デルタ量子化スケールパラメータ（delta QPまたはQP delta）、量子化オフセットパラメータ、インデクス（Ｑmatrix select idc）および量子化デッドゾーンオフセットパラメータのうちの少なくとも１つを含む。なお、インデクスは、複数の量子化スケールマトリクスから１つを選択するためのものである。
デルタ量子化スケールパラメータ（delta QP or QP delta）は、変換係数に適用されるべき量子化スケールパラメータと、シーケンスヘッダまたはスライスヘッダで指定される量子化スケールパラメータ（または、Ｚ走査順で直前の量子化スケールパラメータ）との差分である。
量子化オフセットパラメータは、量子化オフセットとも呼ばれ、量子化を行う際の信号の丸め方の調整値（オフセット値）である。したがって、画像符号化装置１００は、量子化を行うときには、その量子化オフセットを符号化し、画像復号装置２００は、その符号化された量子化オフセットを復号する。そして、画像復号装置２００は、変換係数を逆量子化する際には、その量子化オフセットを用いた補正を行う。
インデクス（Qmatrix select idc）は、適応量子化マトリクスとも呼ばれ、複数の量子化スケーリングマトリクスから何れの量子化スケーリングマトリクスを用いるかを示すインデクスである。また、Qmatrix select idcは、１つの量子化スケーリングマトリクスしかない場合には、その量子化スケーリングマトリクスを使うか否かを示す。なお、適応用量子化マトリクスはブロック単位（処理単位）で制御可能である。
量子化デッドゾーンオフセットパラメータは、適応デッドゾーンとも呼ばれ、デッドゾーンをブロック毎に適応的に変更するための制御情報である。デッドゾーンは、周波数係数が量子化によって０となる幅（量子化後に＋１または−１となる直前の幅）である。
なお、上記説明では、パターン３として予め定められた固定値をコンテキスト値として用いる例を述べたが、上ブロック及び左ブロックの制御パラメータを共に利用しない条件であればよく、パターン３として上ブロック及び左ブロックの制御パラメータの条件を含まない条件を用いてもよい。例えば、パターン３として、コンテキスト制御部１４２又は２４２は、制御パラメータの属するデータ単位の階層の深さに応じてコンテキストを決定してもよい。
（実施の形態３）
本実施の形態では、上記第１種別及び第２種別（又は第３種別）としてどのような信号種別を利用すべきかについて説明する。
具体的には、本発明者は、図３(非特許文献２、9.3.3.1.1.1節)に示された信号種別のうち以下の信号種別の個々について検証を行った。個々の信号種別について検証を行ったのは、パラメータが多岐にわたり、１つの信号種別についての検証結果（パターン１〜パターン３のいずれがよいか）から、他の信号種別の各パターンが妥当性を満たすかあるかの予見が困難であるためである。
検証は JCTVC-E700, "Common test conditions and software reference configurations"(非特許文献３参照)に記載された構成(設定パラメータ、及びソフトウェアバージョンHM3.0)に準拠する。また、テスト画像の長さは全て49フレームに制限した結果である。
本実施の形態に係る画像符号化方法及び画像復号方法はCABACに関するものである。よって、Entropy Codingモードとして、SymbolModeの値が1（# 0:LCEC, 1:CABAC ）である設定値のセットである以下の４つのテストパターンを用いて検証を行った。
4.1 Intra, high-efficiency setting
4.3 Random access, high-efficiency setting
4.5 Low delay, high-efficiency setting
4.7 Low delay, high-efficiency setting (P slices only)
また、評価は、HEVCでの実装評価に統一的な評価尺度として利用されている"BD-RATE"値とよばれる評価値を用いる。Y BD-rate、U BD-rate、及びV BD-rateは、色空間Y, U, VについてのBD-rateであり、評価尺度値である。ここでBD-rateとは、VCEG-AI11（非特許文献４）に記載されている、２組の符号量とPSNRの結果とを積分し、その面積の比によって符号化効率を表した評価値ある。また、BD-rateがマイナスの値を示す場合に符号化効率が良くなったことを示している。比較の基準はパターン１を実装する参照プログラムの出力結果であり、今回の結果は、パターン２及びパターン３の各々のパターン１に対する値を示している。
以下、各信号種別の検証結果を説明する。
（第１の検証）"split_coding_unit_flag"
（第２の検証）"skip_flag"
（第３の検証）"merge_flag"
（第４の検証）"ref_idx_l0(l1,lc)"
（第５の検証）"inter_pred_flag"
（第６の検証）"mvd_l0(l1,lc)"
（第７の検証）"no_residual_data_flag"
（第８の検証）"intra_chroma_pred_mode"
（第９の検証）"cbf_luma、cbf_cr、cbf_cb"
（第１の検証）"split_coding_unit_flag"
図１１はsplit_coding_unit_flagの算術復号方法について説明するための表である。
検証においては、検証対象の信号種別のみ、コンテキストモデルをパターン１からパターン２またはパターン３に変更し、他の信号種別、及び非特許文献３で指定する検証用パラメータについては変更をせず検証を行っている。また、図１１の欄中の値で「固定」とは、コンテキスト値（又は増分値）の導出において、「固定」が記載された列の条件（左ブロック条件又は上ブロック条件を用いないことである。つまり、左ブロック条件及び右ブロック条件の一方の条件のみが「固定」の場合は、他方の条件のみが用いられる。また、左ブロック条件及び右ブロック条件の両方が「固定」の場合には、コンテキスト値（又は増分値）として予め定められた値（例えば「０」）が用いられる。
信号種別"split_coding_unit_flag"の意味は、以下で定義される。
split_coding_unit_flag[x0][y0]は、対象のCUが水平及び垂直のサイズが半分の複数のCUに分割されるか否かを示す。x0及びy0は、画像の左上隅に位置する輝度サンプルを基準とした、対象のCUの左上隅に位置する輝度サンプルの座標を示す。つまり、split_coding_unit_flagは、対象のCUが４分割されているか否かを示す。具体的には、split_coding_unit_flagの値が「１」の場合、対象のCUは分割されており、当該値が「０」の場合、対象のCUは分割されていない。
このsplit_coding_unit_flagは、syntaxとしてCoding tree syntaxにデータ構造化される。画像復号装置は、このデータ構造のシンタクスに準じてビット列を解釈する。
図１２Ａ及び図１２Ｂはsplit_coding_unit_flagについての検証結果を示す表である。
図１２Ａは、(パターン２)１個の隣接ブロック(左ブロック条件Lの判定値のみ)が用いられる場合の検証結果を示す。図１２Ｂは、(パターン３)０個の隣接ブロックが用いられる(上ブロック条件Lも左も用いられない)場合の検証結果を示す。
また、図１２Ａ及び図１２Ｂに示す検証結果は、上述した４つのテストパターンのBD-Rate値の増減を示す。
また、評価値は、左ブロック及び上ブロックの両方を用いるパターン１の場合の評価値との相対的な値を示す評価尺度である。具体的には、評価値が正の値であればその結果はパターン１の場合の評価値(BD-rate)よりも悪い。また、評価値が負の値であればその結果はパターン１の場合の評価値よりも改善されている。
この結果によれば、split_coding_unit_flagに関しては、コンテキストモデルのパターンとしてパターン１が優れていることがわかる。言い換えると、パターン２及びパターン３はパターン１より評価値が悪い。
従って、コンテキスト制御部１４２及び２４２は、制御パラメータの信号種別が "split_coding_unit_flag" である場合は、BD-rateの観点より、従来通りのコンテキストモデルのパターンであるパターン１を利用してコンテキスト値を決定する。
（第２の検証）"skip_flag"
図１３はskip_flagの算術復号方法について説明するための表である。なお、検証方法は、上述した第１の検証と同様である。
信号種別"skip_flag"の意味は以下で定義される。
P又はBスライスを復号する場合において、skip_flag[x0][y0]の値が「１」の場合、当該skip_flag[x0][y0]の後に、予測動きベクトルインデクス以外に、現在のCU用のシンタックスエレメントが存在しないことを意味する。また、skip_flag[x0][y0]の値が「１」の場合、現在のCUがスキップされないことを意味する。x0及びy0は、画像の左上隅に位置する輝度サンプルを基準とした、対象のCUの左上隅に位置する輝度サンプルの座標を示す。つまり、skip_flagは、対象のCUをスキップするか（スキップドブロックとして扱うか）否かを示す。
このskip_flagは、syntaxとしてCoding unit syntaxにデータ構造化される。つまり、skip_flagはCUごとに設定される。画像復号装置では、このデータ構造のシンタクスに準じて、ビット列を解釈する。
図１４Ａ及び図１４Ｂはskip_flagについての検証結果を示す表である。
図１４Ａは、(パターン２)１個の隣接ブロック(左ブロック条件Lの判定値のみ)が用いられる場合の検証結果を示す。図１４Ｂは、(パターン３)０個の隣接ブロックが用いられる(上ブロック条件Lも左も用いられない)場合の検証結果を示す。
なお、図１４Ａ及び図１４Ｂに示す検証結果は、第１の検証と同様に、上述した４つのテストパターンのBD-Rate値の増減を示す。また、評価値の意味は第１の検証と同様である。
この結果によれば、"skip_flag"に関しては、コンテキストモデルのパターンとしてパターン１が優れていることがわかる。言い換えると、パターン２及びパターン３はパターン１より評価値が悪い。
従って、コンテキスト制御部１４２及び２４２は、制御パラメータの信号種別が "skip_flag"である場合は、BD-rateの観点より、従来通りのコンテキストモデルのパターンであるパターン１を利用してコンテキスト値を決定する。
（第３の検証）"merge_flag"
図１５は、merge_flagの算術復号方法について説明するための表である。なお、検証方法は、上述した第１の検証及び第２の検証と同様である。
信号種別"merge_flag"の意味は以下で定義される。
merge_flag[x0][y0]は、現在のCU用のインター予測パラメータが近隣のインター予測されたブロックから導き出されるか否か示す。x0及びy0は、画像の左上隅に位置する輝度サンプルを基準とした、対象の予測ブロックの左上隅に位置する輝度サンプルの座標を示す。merge_flag[x0][y0]が存在しない場合(InferredMergeFlagの値が「１」の場合)、merge_flag[x0][y0]が「１」と推論される。つまり、merge_flag[x0][y0]はマージモードを用いるか否かを示す。ここで、マージモードとは、符号化対象ブロックの隣接ブロックから動きベクトル及び参照ピクチャインデクスをコピーして、符号化対象ブロックの符号化を行うモードである。
このmerge_flagは、syntaxとして"Prediction unit"にデータ構造化される。つまり、merge_flagはPUごとに設定される。画像復号装置では、このデータ構造のシンタクスに準じて、ビット列を解釈する。
図１６Ａ及び図１６Ｂはmerge_flagについての検証結果を示す表である。
図１６Ａは、(パターン２)１個の隣接ブロック(左ブロック条件Lの判定値のみ)が用いられる場合の検討結果を示す。図１６Ｂは、(パターン３)０個の隣接ブロックが用いられる(上ブロック条件Lも左も用いられない)場合の検証結果を示す。
なお、図１６Ａ及び図１６Ｂに示す検証結果は、第１の検証と同様に、上述した４つのテストパターンのBD-Rate値の増減を示す。また、評価値の意味は第１の検証と同様である。
この結果によれば、前述の第１の検証のsplit_coding_unit_flag、及び、第２の検証のskip_flagとは結果が異なり、このmerge_flagに関しては、コンテキストモデルのパターンとしてパターン１と、パターン２またはパターン３との間にBD-rateの大きな差が発生していない。
従って、コンテキスト制御部１４２及び２４２は、複数の信号種別の制御パラメータが混在する環境において、特に、信号種別がmerge_flagである場合は、隣接ブロックとして上ブロックを利用しないでコンテキスト値を決定する。つまり、コンテキスト制御部１４２及び２４２は、制御パラメータの信号種別がmerge_flagである場合は、パターン２又はパターン３を用いてコンテキスト値を決定する。言い換えると、上記第１種別は、"split_coding_unit_flag"、または、"skip_flag"を含み、上記第２種別又は第３種別は、"merge_flag"を含む。これにより、本実施の形態に係る画像符号化装置及び画像復号装置は、BD-rate値の低下を抑えつつ、メモリ使用量を削減することができる。
なお、merge_flagに対するパターン２とパターン３とを比較した場合、これらのBD-rateには大きな差が発生していない。よって、merge_flagに対してパターン３を用いることがより好ましい。これにより、さらなるメモリ使用量の削減、及び処理量の削減を実現できる。
ここで、merge_flagとskip_flagとを比較すると、スキップ時には動きベクトルの残差データを送らないが、マージモード時には動きベクトルの残差データを送るという違いがある。これにより、merge_flagに対して、仮に使用するコンテキストが最適でなかったとしても、この残差データを用いる処理により、最適なコンテキストが使用できなかったことによる画質の低下を、ある程度補うことができる。このように、画質の低下が抑制されると考えられる。
（第４の検証）"ref_idx_l0(l1,lc)"
図１７はref_idxの算術復号化方法について説明するための表である。なお、検証方法は、上述した第１の検証及び第２の検証と同様である。
信号種別"ref_idx"の意味は以下で定義される。
ref_idx_l0[x0][y0]は、現在のPU用のリスト０の参照ピクチャインデクスを示す。x0及びy0は、画像の左上隅に位置する輝度サンプルを基準とした、対象の予測ブロックの左上隅に位置する輝度サンプルの座標を示す。
また、ref_idx_l1[x0][y0]は、refref_idx_l0におけるl0 及びリスト０をl１及びリスト１にそれぞれ置き換えた場合と同様の意味を有する。つまり、ref_idx_l1は、現在のPU用のリスト１の参照ピクチャインデクスを示す。
ref_idx_l1の有無はピクチャタイプ等に基づいて決定できる。
また、ref_idx_lc[x0][y0]は、refref_idx_l0におけるl0 及びリスト０をlc 及び 合成リストにそれぞれ置き換えた場合と同様の意味を有する。このref_idx_lcはHAVCで追加された制御パラメータである。また、合成リストはリスト０及びリスト１が合成（マージ）されたものである。通常、ref_idx_l0及びref_idx_l1と、ref_idx_lcとの一方のみがビットストリームに含まれる。なお、ref_idx_l0及びref_idx_l1は一方のみがビットストリームに含まれる場合もあれば、両方がビットストリームに含まれる場合もある。
このref_idx_l0(l1,lc)は、syntaxとして"Prediction Unit"にデータ構造化される。画像復号化装置では、このデータ構造のシンタクスに準じて、ビット列を解釈する。
図１８Ａ及び図１８Ｂはref_idxについての検証結果を示す表である。
図１８Ａは、(パターン２)１個の隣接ブロック(左ブロック条件Lの判定値のみ)が用いられる場合の検証結果を示す。図１８Ｂは、(パターン３)０個の隣接ブロックが用いられる(上ブロック条件Lも左も用いられない)場合の検証結果を示す。
なお、図１８Ａ及び図１８Ｂに示す検証結果は、第１の検証と同様に、上述した４つのテストパターンのBD-Rate値の増減を示す。また、評価値の意味は第１の検証と同様である。
この結果によれば、前述の第１の検証のsplit_coding_unit_flag、及び、第２の検証のskip_flagとは結果が異なり、この ref_idxに関しては、コンテキストモデルのパターンとしてパターン１と、パターン２またはパターン３との間にBD-rateの大きな差が発生していない。
従って、コンテキスト制御部１４２及び２４２は、複数の信号種別の制御パラメータが混在する環境において、特に、信号種別がref_idx_l0(l1,lc)である場合は、隣接ブロックとして上ブロックを利用しないでコンテキスト値を決定する。つまり、コンテキスト制御部１４２及び２４２は、制御パラメータの信号種別がref_idx_l0(l1,lc)である場合は、パターン２又はパターン３を用いてコンテキスト値を決定する。言い換えると、上記第１種別は、"split_coding_unit_flag"、または、"skip_flag"を含み、上記第２種別又は第３種別は、"ref_idx_l0(l1,lc)"を含む。これにより、本実施の形態に係る画像符号化装置及び画像復号装置は、BD-rate値の低下を抑えつつ、メモリ使用量を削減することができる。
なお、上記第２種別又は第３種別は、ref_idx_l0、ref_idx_l1及びref_idx_lcのうち少なくとも一つを含めばよい。例えば、上記第２種別又は第３種別は、ref_idx_lcを含まず、ref_idx_l0及びref_idx_l1を含んでもよい。
なお、ref_idxに対するパターン２とパターン３とを比較した場合、これらのBD-rateには大きな差が発生していない。よって、ref_idx_l0(l1,lc)に対してパターン３を用いることがより好ましい。これにより、さらなるメモリ使用量の削減、及び処理量の削減を実現できる。
ここで、スキップモード及びマージモードではない通常のインター予測モードの場合にref_idxが用いられる。スキップモード及びマージモードでは、処理対象ブロックの動きベクトルとして上ブロック及び左ブロックと同じ動きベクトルが利用されるが、それ以外の通常のインター予測モードでは、処理対象ブロックの動きベクトルとして上ブロック及び左ブロックと異なる動きベクトルが利用される。これにより、ref_idxに対して、パターン１のように上及び左ブロックを利用すると符号化効率が低下すると考えられる。つまり、ref_idxに対してパターン２又はパターン３を用いることで符号化効率を向上させることが可能になる。
ここで、コンテキスト制御部１４２及び２４２は、ref_idx_lc [xP][yP]についての条件A（または条件L）の判定に、隣接ブロックAまたはBのref_idx_lc[xL][yP]または、 ref_idx_lc[xP][yA]を用いるのではなく、現ブロックのref_idx_l0[xP][yP]についての上記condLの結果とcondAの結果とから導出した値を用いてもよい。言い換えると、コンテキスト制御部１４２及び２４２は、条件の結果値を、現ブロックのｌ０、ｌ１の値の従属値として導出してもよい。
符号化装置又は記録装置は、ref_idx_lcをストリーム記録時又は符号化にref_idx_l0及びref_idx_l1を合成することで生成する。つまり、これらの装置は、内部での判定の全てにref_idx_l0及びref_idx_l1を使う。よって、現ブロックにおいて、（１）条件condAまたはLが{(ref_idx_l0がavailable)、かつ、(ref_idx_l0 > 0 真が成立)}であり、かつ、（２）条件condAまたはLが{(ref_idx_l1がavailable)、かつ、(ref_idx_l1 > 0 真が成立)}である場合は、条件condAまたはLが(ref_idx_lcがavailable)、かつ、(ref_idx_lc > 0 真が成立)}も成立する。
従って、以下のようにしてもよい。図１８Ｃは、非特許文献２に示される、ref_idxの条件A及び条件Lを示す表である。図１８Ｄは、本実施の形態に係るref_idxの条件A及び条件Lを示す表である。
図１８Ｄに示すように、コンテキスト制御部１４２及び２４２は、ref_idx_lcの条件値condL及びcondAを、同一ブロックのref_idx_l0、及びref_idx_l1の条件値の少なくも一方から導出してもよい。つまり、コンテキスト制御部１４２及び２４２は、ref_idx_lcの条件値condL及びcondAを、同一ブロックのref_idx_l0、及びref_idx_l1の条件値に線形従属させてもよい。
このようにすれば、ref_idx_lcについてのメモリ参照を要しない。つまり、上ブロックのref_idx_lcの値を参照することなく、ref_idx_lcの条件値を導出することが可能になる。
（第５の検証）"inter_pred_flag"
図１９はinter_pred_flagの算術復号化方法について説明するための表である。
信号種別"inter_pred_flag"の意味は以下で定義される。
inter_pred_flag[x0][y0]は、テーブル7 11に従い、現在のＰＵに、uni-prediction及びbi-predictionのいずれが使用されるかを示す。x0及びy0は、画像の左上隅に位置する輝度サンプルを基準とした、対象の予測ブロックの左上隅に位置する輝度サンプルの座標を示す。ここで、uni-predictionは、lc（合成リスト）を使用する予測であり、bi-predictionはリスト０及びリスト１を使用する予測である。また、合成リストはリスト０及びリスト１が合成（マージ）されたものである。また、inter_pred_flagは、対象スライスがBスライスの場合にのみ用いられる。
このinter_pred_flagは、syntaxとして"Prediction Unit"にデータ構造化される。画像復号化装置では、このデータ構造のシンタクスに準じて、ビット列を解釈する。
図２０Ａ及び図２０Ｂはinter_pred_flagについての検証結果を示す表である。
図２０Ａは、(パターン２)１個の隣接ブロック(左ブロック条件Lの判定値のみ)が用いられる場合の検証結果を示す。図２０Ｂは、(パターン３)０個の隣接ブロックが用いられる(上ブロック条件Lも左も用いられない)場合の検証結果を示す。
なお、図２０Ａ及び図２０Ｂに示す検証結果は、第１の検証と同様に、上述した４つのテストパターンのBD-Rate値の増減を示す。また、評価値の意味は第１の検証と同様である。
この結果によれば、前述の第１の検証のsplit_coding_unit_flag、及び、第２の検証のskip_flagとは結果が異なり、この inter_pred_flagに関しては、コンテキストモデルのパターンとしてパターン１と、パターン２またはパターン３との間にBD-rateの大きな差が発生していない。
従って、コンテキスト制御部１４２及び２４２は、複数の信号種別の制御パラメータが混在する環境において、特に、信号種別がinter_pred_flagである場合は、隣接ブロックとして上ブロックを利用しないでコンテキスト値を決定する。つまり、コンテキスト制御部１４２及び２４２は、制御パラメータの信号種別がinter_pred_flagである場合は、パターン２又はパターン３を用いてコンテキスト値を決定する。言い換えると、上記第１種別は、"split_coding_unit_flag"、または、"skip_flag"を含み、上記第２種別又は第３種別は、"inter_pred_flag"を含む。これにより、本実施の形態に係る画像符号化装置及び画像復号装置は、BD-rate値の低下を抑えつつ、メモリ使用量を削減することができる。
なお、inter_pred_flagに対するパターン２とパターン３とを比較した場合、これらのBD-rateには大きな差が発生していない。よって、inter_pred_flagに対してパターン３を用いることがより好ましい。これにより、さらなるメモリ使用量の削減、及び処理量の削減を実現できる。
ここで、スキップモード及びマージモードではない通常のインター予測モードの場合にinter_pred_flagが用いられる。スキップモード及びマージモードでは、処理対象ブロックの動きベクトルとして上ブロック及び左ブロックと同じ動きベクトルが利用されるが、それ以外の通常のインター予測モードでは、処理対象ブロックの動きベクトルとして上ブロック及び左ブロックと異なる動きベクトルが利用される。これにより、inter_pred_flagに対して、パターン１のように上及び左ブロックを利用すると符号化効率が低下すると考えられる。つまり、inter_pred_flagに対してパターン２又はパターン３を用いることで符号化効率を向上させることが可能になる。
さらに、上述したように、inter_pred_flagに対して、処理対象ブロックの階層に応じてコンテキスト値を決定することで符号化効率をさらに向上できる。
（第６の検証）"mvd_l0(l1,lc)"
図２１はmvd_l0(l1,lc)の算術復号化方法について説明するための表である。
信号種別mvd_l0(l1,lc)の意味は以下で定義される。
mvd_l0[x0][y0][compIdx]は、使用される、リスト０のベクトル成分と、その予測値との差分を示す。x0及びy0は、画像の左上隅に位置する輝度サンプルを基準とした、対象の予測ブロックの左上隅に位置する輝度サンプルの座標を示す。水平方向の動きベクトル成分の差分にはcompIdx=0が割り当てられる。また、垂直方向の動きベクトル成分にはcompIdx=1が割り当てられる。２つの成分がいずれも存在しない場合、値は「０」とみなされる。つまり、mvd_l0は、あるPU位置(xP, yP)における、動きベクトルと予測ベクトルとの差分を、第１成分（水平成分compIdx = 0）と第２成分(垂直成分 compIdx = 1)とを用いて表現したものである。
mvd_l1[x0][y0][compIdx]は、mvd_l0におけるl0及びリスト０をl1 及び リスト１にそれぞれ置き換えた場合と同様の意味を有する。このmvd_l1の有無はピクチャタイプ等に基づいて決定できる。
また、mvd_lc[x0][y0][compIdx]は、mvd_l0におけるl0 及びリスト０をlc 及び 合成リストにそれぞれ置き換えた場合と同様の意味を有する。つまり、mvd_lcは、mvd_l0とmvd_l1とを合成することにより生成される。
以下、単にmvdと呼ぶときは、当該mvdは、少なくともmvd_l0を含み、画像の条件に応じてmvd_l1及びmvd_lcの少なくも一方を含む。
このmvdは、syntaxとして"Prediction Unit"にデータ構造化される。画像復号化装置では、このデータ構造のシンタクスに準じて、ビット列を解釈する。
図２２Ａ及び図２２Ｂはmvdについての検証結果を示す表である。
図２２Ａは、(パターン２)１個の隣接ブロック(左ブロック条件Lの判定値のみ)が用いられる場合の検証結果を示す。図２２Ｂは、(パターン３)０個の隣接ブロックが用いられる(上ブロック条件Lも左も用いられない)場合の検証結果を示す。
なお、図２２Ａ及び図２２Ｂに示す検証結果は、第１の検証と同様に、上述した４つのテストパターンのBD-Rate値の増減を示す。また、評価値の意味は第１の検証と同様である。
この結果によれば、前述の第１の検証のsplit_coding_unit_flag、及び、第２の検証のskip_flagとは結果が異なり、この mvdに関しては、コンテキストモデルのパターンとしてパターン１と、パターン２またはパターン３との間にBD-rateの大きな差が発生していない。
従って、コンテキスト制御部１４２及び２４２は、複数の信号種別の制御パラメータが混在する環境において、特に、信号種別がmvd_l0(l1,lc)である場合は、隣接ブロックとして上ブロックを利用しないでコンテキスト値を決定する。つまり、コンテキスト制御部１４２及び２４２は、制御パラメータの信号種別がmvd_l0(l1,lc)である場合は、パターン２又はパターン３を用いてコンテキスト値を決定する。言い換えると、上記第１種別は、"split_coding_unit_flag"、または、"skip_flag"を含み、上記第２種別又は第３種別は、"mvd_l0"、"mvd_l1"または"mvd_lc"を含む。これにより、本実施の形態に係る画像符号化装置及び画像復号装置は、BD-rate値の低下を抑えつつ、メモリ使用量を削減することができる。
なお、上記第２種別又は第３種別は、mvd_l0、mvd_l1及びmvd_lcのうち少なくとも一つを含めばよい。例えば、上記第２種別又は第３種別は、mvd_lcを含まず、mvd_l0及びmvd_l1を含んでもよい。
なお、mvdに対するパターン２とパターン３とを比較した場合、これらのBD-rateには大きな差が発生していない。よって、mvd_l0(l1,lc)に対してパターン３を用いることがより好ましい。これにより、さらなるメモリ使用量の削減、及び処理量の削減を実現できる。
ここで、スキップ時には動きベクトルの残差データ(mvd)を送らないが、マージモード時には動きベクトルの残差データ(mvd)を送る。これにより、マージモード時においては、仮に使用するコンテキストが最適でなかったとしても、このmvdを用いる処理により、最適なコンテキストが使用できなかったことによる画質の低下を、ある程度補うことができる。このような理由により、mvdに対して周辺のブロックを利用しない場合の画質の低下が抑制されると考えられる。
前述の所定の条件に従い、上ブロック、又は左ブロックの条件値(condAまたはcondL)を利用する場合は、以下の変形を適用することもできる。
一つ目の変形例は、mvd_l0とmvd_l1とmvd_lcとの従属関係を利用する方法である。
具体的には、コンテキスト制御部１４２及び２４２は、mvd_l0とmvd_l1とmvd_lcとの３つの信号種別のうち２つの信号種別の条件値(condL又はcondA)を用いて、それらに従属する条件値を持つ他の信号種別の条件値を導出してもよい。
例えば、mvd_l0とlvd_l1との２つの信号種別の条件値(l0のcondAの値とl1のcondAの値)に対して、mvd_lcのcondAの値が従属関係にある場合、コンテキスト制御部１４２及び２４２は、mvd_lcについてのcondAの値を参照する必要はない。
図２２Ｃは、非特許文献２に示される、mvdの条件A及び条件Lを示す表である。図２２Ｄは、本実施の形態に係るmvdの条件A及び条件Lを示す表である。
図２２Ｄに示すように、コンテキスト制御部１４２及び２４２は、mvd_lcの条件値condL及びcondAを、同一ブロックのmvd_l0、及びmvd_l1の条件値の少なくも一方から導出してもよい。
なお、コンテキスト制御部１４２及び２４２は、これらの関係を、水平方向(compIdx = 0)、又は、垂直方向(compIdx = 1)の、一方または両方に適用してもよい。
さらに、コンテキスト制御部１４２及び２４２は、compIdx = 0と1との間の従属関係を利用してもよい。つまり、コンテキスト制御部１４２及び２４２は、水平方向mvd_l0[ ][ ][0]、及び垂直方向mvd_l0[ ][ ][1]の２つの条件値のうち一方の条件値の結果を他方に従属させてもよい。つまり、コンテキスト制御部１４２及び２４２は、水平方向及び垂直方向の一方のmvdの条件値condL及びcondAを、他方のmvdの条件値から導出してもよい。ここで、非特許文献２では、水平方向のmvd(mvd_l0[ ][ ][0]、mvd_l1[ ][ ][ 0 ]、mvd_lc[ ][ ][0])と、垂直方向のmvd（mvd_l0[ ][ ][1]、mvd_l1[ ][ ][1]、mvd_lc[ ][ ][1]）との各々にコンテキストインデクス（インデクス増分値＋基準値）が設定されている。上記の従属関係を用いることで、この無駄を削減することができる。つまり、コンテキストインデクスの数を削減できる。
ここで、非特許文献２に記載では、mvdの１ビット目のみに対して、上ブロック及び左ブロックの条件値が用いられている。つまり、コンテキスト制御部１４２及び２４２は、mvdの１ビット目に対して、上記パターン２又はパターン３を用いてもよい。言い換えると、コンテキスト制御部１４２及び２４２は、動きベクトルと予測ベクトルとの差分が０以上であるか否かを示す、abs_mvd_greater0_flag[compIdx]に対して上記パターン２又はパターン３を用いてもよい。
（第７の検証）"no_residual_data_flag"
図２３Ａは"no_residual_data_flag"の算術復号化方法について説明するための表である。
信号種別"no_residual_data_flag"の意味は以下で定義される。
no_residual_data_flagが「１」の場合、現在のCU用の残差データが存在しない。no_residual_data_flagが「０」の場合、現在のCU用の残差データが存在する。no_residual_data_flagが存在しない場合、その値は「０」とみなされる。
このno_residual_data_flagは、syntaxとして前述の木の種別のうち、Transform Tree中にデータ構造化される。図２３Ｂは、Transform tree syntaxを示す表である。画像復号化装置では、このデータ構造のシンタクスに準じて、ビット列を解釈する。
図２４Ａ及び図２４Ｂは、"no_residual_data_flag"についての検証結果を示す表である。
図２４Ａは、(パターン２)１個の隣接ブロック(左ブロック条件Lの判定値のみ)が用いられる場合の検証結果を示す。図２４Ｂは、(パターン３)０個の隣接ブロックが用いられる(上ブロック条件Lも左も用いられない)場合の検証結果を示す。
なお、図２４Ａ及び図２４Ｂに示す検証結果は、第１の検証と同様に、上述した４つのテストパターンのBD-Rate値の増減を示す。また、評価値の意味は第１の検証と同様である。
この結果によれば、前述の第１の検証のsplit_coding_unit_flag、及び、第２の検証のskip_flagとは結果が異なり、この no_residual_data_flagに関しては、コンテキストモデルのパターンとしてパターン１と、パターン２またはパターン３との間にBD-rateの大きな差が発生していない。
従って、コンテキスト制御部１４２及び２４２は、複数の信号種別の制御パラメータが混在する環境において、特に、信号種別がno_residual_data_flagである場合は、隣接ブロックとして上ブロックを利用しないでコンテキスト値を決定する。つまり、コンテキスト制御部１４２及び２４２は、制御パラメータの信号種別がno_residual_data_flagである場合は、パターン２又はパターン３を用いてコンテキスト値を決定する。言い換えると、上記第１種別は、"split_coding_unit_flag"、または、"skip_flag"を含み、上記第２種別又は第３種別は、"no_residual_data_flag"を含む。これにより、本実施の形態に係る画像符号化装置及び画像復号装置は、BD-rate値の低下を抑えつつ、メモリ使用量を削減することができる。
なお、no_residual_data_flagに対するパターン２とパターン３とを比較した場合、これらのBD-rateには大きな差が発生していない。よって、no_residual_data_flagに対してパターン３を用いることがより好ましい。これにより、さらなるメモリ使用量の削減、及び処理量の削減を実現できる。
ここで、no_residual_data_flagは、輝度及び色差の係数(残差)の有無を示す。また、この残差は、イントラ予測の場合には大きくなり、インター予測の場合には小さくなる。よって、周囲のブロックのモードが、対象ブロックのモードと異なる場合(特性が異なる場合)には、符号化効率が低下する。例えば、対象ブロックがイントラ予測され、周囲のブロックがインター予測されている場合、対象ブロックの残差は小さく、周囲のブロックの残差は大きくなる。これにより、周囲のコンテキストを用いると符号化効率が低下する。従って、コンテキスト制御部１４２及び２４２は、周囲のブロックに依存せずに、対象ブロックのコンテキストを利用することにより符号化効率を向上させることが可能になる。
（第８の検証）"intra_chroma_pred_mode"
図２５Ａはintra_chroma_pred_modeの算術復号化方法について説明するための表である。
このintra_chroma_pred_modeは、syntaxとして"Prediction Unit"にデータ構造化される。画像復号化装置では、このデータ構造のシンタクスに準じて、ビット列を解釈する。
信号種別"intra_chroma_pred_mode"の意味は以下で定義される。
intra_chroma_pred_mode[x0][y0]は、色差サンプルのためのイントラ予測モードを示す。x0及びy0は、画像の左上隅に位置する輝度サンプルを基準とした、対象の予測ブロックの左上隅に位置するlumaサンプルの座標を示す。
このintra_chroma_pred_modeの値(0以上4以下の値)と、現ブロックのIntraPredMode[xP][yB]とを組み合わせて、色差についての面内予測モード値である”chroma intra prediction mode”( IntraPredModeC)が決定される。ここで、現ブロックの座標を[xB][yB]とする。この[xB][yB]は[xP][yP]と同じ位置を示す。また、IntraPredModeは、輝度についての予測モード値である。
図２５Ｂは、非特許文献２に記載されているintra_chroma_pred_modeとIntraPredModeに応じたIntraPredModeCの導出方法を示す表である。
また、図２５Ａに示すIntraPredMode(大文字始まりの変数)は、符号化列に直接的に符号化された値ではなく、デコーダ内部で復号処理された後の値の配列である。対象ブロックのIntraPredMode[xP][yP]の導出処理時に、隣接ブロックのIntraPredMode[xP][yA]等が利用可能であれば利用される。
図２６Ａ及び図２６Ｂは、"intra_chroma_pred_mode"についての検証結果を示す表である。
図２６Ａは、(パターン２)１個の隣接ブロック(左ブロック条件Lの判定値のみ)が用いられる場合の検証結果を示す。図２６Ｂは、(パターン３)０個の隣接ブロックが用いられる(上ブロック条件Lも左も用いられない)場合の検証結果を示す。
なお、図２６Ａ及び図２６Ｂに示す検証結果は、第１の検証と同様に、上述した４つのテストパターンのBD-Rate値の増減を示す。また、評価値の意味は第１の検証と同様である。
この結果によれば、前述の第１の検証のsplit_coding_unit_flag、及び、第２の検証のskip_flagとは結果が異なり、この intra_chroma_pred_modeに関しては、コンテキストモデルのパターンとしてパターン１と、パターン２またはパターン３との間にBD-rateの大きな差が発生していない。
従って、コンテキスト制御部１４２及び２４２は、複数の信号種別の制御パラメータが混在する環境において、特に、信号種別がintra_chroma_pred_modeである場合は、隣接ブロックとして上ブロックを利用しないでコンテキスト値を決定する。つまり、コンテキスト制御部１４２及び２４２は、制御パラメータの信号種別がintra_chroma_pred_modeである場合は、パターン２又はパターン３を用いてコンテキスト値を決定する。言い換えると、上記第１種別は、"split_coding_unit_flag"、または、"skip_flag"を含み、上記第２種別又は第３種別は、"intra_chroma_pred_mode"を含む。これにより、本実施の形態に係る画像符号化装置及び画像復号装置は、BD-rate値の低下を抑えつつ、メモリ使用量を削減することができる。
なお、intra_chroma_pred_modeに対するパターン２とパターン３とを比較した場合、これらのBD-rateには大きな差が発生していない。よって、intra_chroma_pred_modeに対してパターン３を用いることがより好ましい。これにより、さらなるメモリ使用量の削減、及び処理量の削減を実現できる。
ここで、intra_chroma_pred_modeは全部で４ビットの情報であり、最初の１ビットが、輝度のイントラ予測と同じモードを色差に使用するか否かを示す。ここで、コンテキスト制御部１４２及び２４２は、この最初の１ビットに対してパターン２又はパターン３を用いる。具体的には、色差に輝度と同じモードを用いる場合、intra_chroma_pred_modeは「０」である。色差に輝度と異なるモードを用いる場合、intra_chroma_pred_modeは「１」であり、残りの３ビットは色差に用いるモードを示す。
ここで、イントラ予測は、上ブロック及び左ブロックと対象ブロックとの相関を利用している。つまり、イントラ予測には、既に相関情報が利用されているため、輝度と同じモードを色差に利用することが効率的である。言い換えると、モードのバリエーションを持たせるために、輝度と異なるモードを色差に利用することも可能となっているが、色差に輝度と異なるモードを用い、周囲のコンテキストを利用するケースは稀である。つまり、輝度と同じモードを利用する、intra_chroma_pred_modeが「０」に設定されているケースが多い。これにより、周囲のコンテキストを用いるメリットが少なく、対象ブロックのコンテキストを用いることにより、符号化効率を維持しつつ、処理量を削減することが可能になる。
また、上ブロックがデコード時に”avaibale”利用可能であるか否かを判定することは、極めて困難である。図３６を参照して、復号プロセスで導出され配列化されるIntraPredModeの配列について考える。
対象ブロックを含む行の１行上の行（LineL）のIntraPredModeは、IntraPredMode[水平方向n番目][1行上(LineL)]で表される。また、対象ブロックを含む現在の行のIntraPredModeは、IntraPredMode[水平方向k番目][現在行]で表される。ここで、現在の算術復号対象とする信号は、intra_chroma_pred_mode [水平方向j番目][現在行]である。
まず、上記の１行上の行と現在の行の水平方向のｎ番目とｋ番目とが対応付けられる保障はない。これは、図３６の説明で述べたとおり、PUブロックのサイズはブロック毎に変化するためである。従ってこれらを管理しようとすると何かしらの対応表をもうけるか、図３６に説明したとおり、全てのIntraPredModeを最小単位で取得しておく、以外の方法はない。
さらに、復号対象のintra_chroma_pred_modeとは異なり、上の行のIntraPredModeは、算術復号部の解析により取得が可能な信号種別ではなく、別の復号プロセスにより導出される値（H.264等の、大文字始まりの変数）である。従って、算術復号部が単独でこの値の利用可能性を取得すること自体、大きな負荷が発生することになる。
従って、intra_chroma_pred_modeが隣接ブロックを利用するコンテキストモデルにおいて、上ブロックの条件値（特にIntraPredMode[対応水平位置][一行上]についての条件判定値）CondAを利用しないことは、メモリ使用量の点で有用である。
（第９の検証） “cbf_luma、cbf_cr、cbf_cb”
図２７はcbf_luma、cbf_cr及びcbf_cb_の算術復号化方法について説明するための表である。
信号種別"cbf_luma"の意味は以下で定義される。
cbf_luma[x0][y0][trafoDepth]が「１」の場合、輝度変換ブロックは、レベルが０でない１個以上の変換係数を含む。x0及びy0は、画像の左上隅に位置する輝度サンプルを基準とした、対象の予測ブロックの左上隅に位置するlumaサンプルの座標を示す。trafoDepthは、変換符号化用のブロックの中におけるCUの現在の分割レベルを示す。trafoDepthが「０」の場合、ブロックはCUに対応する。
つまり、輝度変換ブロックの位置は、垂直及び水平の要素に加え、ＣＵの階層を基準とした相対的な階層深さ(trafoDepth)を含む３次元配列の値として定義される。
また、信号種別"cbf_cb"の意味は、輝度についてのcbf_lumaを色差(Cb)について規定するものである。この信号種別"cbf_cb"の意味は以下で定義される。
cbf_cb[x0][y0][trafoDepth]が「１」の場合、Cb変換ブロックは、レベルが０でない１個以上の変換係数を含む。x0及びy0は、画像の左上隅に位置する輝度サンプルを基準とした、対象の予測ブロックの左上隅に位置するlumaサンプルの座標を示す。trafoDepthは、変換符号化用のブロックの中におけるCUの現在の分割レベルを示す。trafoDepthが「０」の場合、ブロックはCUに対応する。cbf_cb[ x0 ][ y0 ][ trafoDepth ]が存在せず、かつPredModeがMODE_INTRAと異なる場合、 cbf_cb[ x0 ][ y0 ][ trafoDepth ]の値は「０」とみなされる。
つまり、Cb変換ブロックの位置は、垂直及び水平の要素に加え、ＣＵの階層を基準とした相対的な階層深さ(trafoDepth)を含む３次元配列の値として定義される。
また、信号種別"cbf_cr"の意味は、輝度についてのcbf_lumaを色差(Cr)について規定するものである。この信号種別"cbf_cr"の意味は以下で定義される。
cbf_cr[x0][y0][trafoDepth]が「１」の場合、Cr変換ブロックは、レベルが０でない１個以上の変換係数を含む。x0及びy0は、画像の左上隅に位置する輝度サンプルを基準とした、対象の予測ブロックの左上隅に位置するlumaサンプルの座標を示す。trafoDepthは、変換符号化用のブロックの中におけるCUの現在の分割レベルを示す。trafoDepthが「０」の場合、ブロックはCUに対応する。cbf_cr[ x0 ][ y0 ][ trafoDepth ]が存在せず、かつPredModeがMODE_INTRAと異なる場合、 cbf_cr[ x0 ][ y0 ][ trafoDepth ]の値は「０」とみなされる。
つまり、Cb変換ブロックの位置は、垂直及び水平の要素に加え、ＣＵの階層を基準とした相対的な階層深さ(trafoDepth)を含む３次元配列の値として定義される。
図２８Ａ及び図２８Ｂはcbf_luma, cbf_cb及びcbf_crについての検証結果を示す表である。
図２８Ａは、(パターン２)１個の隣接ブロック(左ブロック条件Lの判定値のみ)が用いられる場合の検証結果を示す。図２８Ｂは、(パターン３)０個の隣接ブロックが用いられる(上ブロック条件Lも左も用いられない)場合の検証結果を示す。
なお、図２８Ａ及び図２８Ｂに示す検証結果は、第１の検証と同様に、上述した４つのテストパターンのBD-Rate値の増減を示す。また、評価値の意味は第１の検証と同様である。
この結果によれば、前述の第１の検証のsplit_coding_unit_flag、及び、第２の検証のskip_flagとは結果が異なり、この cbf_luma, cbf_cb及びcbf_crに関しては、コンテキストモデルのパターンとしてパターン１と、パターン２またはパターン３との間にBD-rateの大きな差が発生していない。
従って、コンテキスト制御部１４２及び２４２は、複数の信号種別の制御パラメータが混在する環境において、特に、信号種別がcbf_luma, cbf_cb及びcbf_crである場合は、隣接ブロックとして上ブロックを利用しないでコンテキスト値を決定する。つまり、コンテキスト制御部１４２及び２４２は、制御パラメータの信号種別がcbf_luma, cbf_cb及びcbf_crである場合は、パターン２又はパターン３を用いてコンテキスト値を決定する。言い換えると、上記第１種別は、"split_coding_unit_flag"、または、"skip_flag"を含み、上記第２種別又は第３種別は、"cbf_luma"、"cbf_cb"、または、"cbf_cr"を含む。これにより、本実施の形態に係る画像符号化装置及び画像復号装置は、BD-rate値の低下を抑えつつ、メモリ使用量を削減することができる。
なお、cbf_luma, cbf_cb及びcbf_crに対するパターン２とパターン３とを比較した場合、これらのBD-rateには大きな差が発生していない。よって、cbf_luma, cbf_cb及びcbf_crに対してパターン３を用いることがより好ましい。これにより、さらなるメモリ使用量の削減、及び処理量の削減を実現できる。
また、cbf_luma, cbf_cb及びcbf_crは、階層を有する３次元配列の値である。従って、実施の形態２の図９Ｂにて述べたとおり、階層深さに応じて「隣接」参照値の、復号順（再帰実行順含む、以下同）での順番の距離（遠さ）が異なることになる。よって、制御パラメータの値が利用できるかどうか、又は、メモリ使用量の削減に効果を生じるかは、ブロックの階層関係上の位置に応じて異なる。
従って、コンテキスト制御部１４２及び２４２は、階層深さに基づいて条件値の決定規範を変更してもよい。例えば、コンテキスト制御部１４２及び２４２は、階層が上のブロックの条件値を階層が下のブロックの条件値として利用（踏襲）してもよい。
また、コンテキスト制御部１４２及び２４２は、これらに加えて、又は単独で、他スライスとの位置関係を考慮して、これらの規範を変更してもよい。
なお、上述検証により以下の詳細変形が考えられる。前述の” dilution effect”が発生するか否かはその条件が適用される学習回数に依存する。一般に４：２：０フォーマット等、Y,U,Vについて輝度を象徴するＹについては、サンプル数が他の２軸(U,V)に比して多い。よって、区別をすべき１つの境界は(a) luma と (b)cb及びcrの組との境界である。
例えば、(a)cbf__lumaについてはパターン３を適用しつつ、(b)cbf_cb及びcbf_crについては他のパターン２又はパターン１を適用するとしてもよい。つまり、コンテキスト制御部１４２及び２４２は、信号種別が、cbf_lumaである場合と、cbf_cb又はcbf_crである場合とで異なる条件を用いてコンテキストを決定してもよい。
ここで、コンテキスト制御部１４２及び２４２は、学習回数が十分であれば、精度を求める場合には（コンテキスト）条件を増やすことが好ましい。また、コンテキスト制御部１４２及び２４２は、学習回数が少なければ、コンテキスト条件を減らすことが好ましい。従って、コンテキスト制御部１４２及び２４２は、これらの条件を解像度に応じて切り替えてもよい。また、コンテキスト制御部１４２及び２４２は、フォーマット（４：２：０）等に応じてこれらの条件を切り替えてもよい。
また、cbf_luma, cbf_cr,及びcbf_cbは階層の深さにより、輝度又は色差の係数の有無を示す。つまり、cbf_luma, cbf_cr,及びcbf_cbは、残差データの有無を示すno_residual_data_flagの下位に該当する。ここで、CU≧PU≧TUの関係における、CUの大きさに対して選択しうる一番大きなTUに対し、no_residual_data_flagが用いられる。具体的には、TUの一番上の階層でno_residual_data_flagが使われる。一方、cbf_luma, cbf_cr,及びcbf_cbは、no_residual_data_flagよりも下位の階層で使われる。no_residual_data_flagが存在すれば、それ以降のブロックは残差データがないことが示される。また、階層が深くなればなるほど残差データがある可能性が高くなる。従って、コンテキスト制御部１４２及び２４２は、cbf_luma, cbf_cr,及びcbf_cbに対して、階層の情報を利用することにより、符号化効率を向上させることが可能になる。言い換えると、コンテキスト制御部１４２及び２４２は、処理対象ブロックの制御パラメータ（cbf_luma, cbf_cr,及びcbf_cb）の属するデータ単位の階層の深さに応じてコンテキストを決定してもよい。一方、no_residual_data_flagは、予測モードに依存するフラグであるため、コンテキスト値として階層に依存しない固定値を用いるほうが好ましい。
以下、上述した全信号種別の検証結果をまとめて示す。
図２９Ａ及び図２９Ｂは、4.1 Intra, high-efficiency settingの結果(全信号種別)を示すグラフである。
図３０Ａ及び図３０Ｂは、4.3 Random access, high-efficiency settingの結果(全信号種別)を示すグラフである。
図３１Ａ及び図３１Ｂは、4.5 Low delay, high-efficiency settingの結果(全信号種別)を示すグラフである。
図３２Ａ及び図３２Ｂは、4.7 Low delay, high-efficiency setting (P slices only)を示すグラフである。
図３３Ａは、各制御パラメータに上記パターン１〜パターン３のいずれかを割り当てたパラメータセットを示す表である。図３３Ａに示す例では、"split_coding_unit_flag"、及び、"skip_flag"にはパターン１（上ブロック及び左ブロックを共に用いる）が割り当てられており、"merge_flag"と、"ref_idx"と、"inter_pred_flag"と、"mvd_l0"、"mvd_l1"及び"mvd_lc"と、"no_residual_data_flag"と、"intra_chroma_pred_mode"と、"cbf_luma"、"cbf_cb"及び"cbf_cr"とにパターン３（上ブロック及び左ブロックを共に用いない）が割り当てられている。
図３３Ｂは、図３３Ａに示すパラメータセットを用いた場合の検証結果を示す表である。図３３Ｂに示すように図３３Ａに示すパラメータセットを用いることで符号化効率の低下を抑制しつつ、メモリ使用量を削減できる。
図３４Ａは、別のパラメータセットの例を示す表である。図３４Ａに示す例では、"split_coding_unit_flag"、及び、"skip_flag"にはパターン１（上ブロック及び左ブロックを共に用いる）が割り当てられており、"intra_chroma_pred_mode"と、"cbf_luma"、"cbf_cb"及び"cbf_cr"とにパターン２（左ブロックのみを用いる）が割り当てられており、"merge_flag"と、"ref_idx"と、"inter_pred_flag"と、"mvd_l0"、"mvd_l1"及び"mvd_lc"と、"no_residual_data_flag"とにパターン３（上ブロック及び左ブロックを共に用いない）が割り当てられている。
図３４Ｂは、図３４Ａに示すパラメータセットを用いた場合の検証結果を示す表である。図３４Ｂに示すように図３４Ａに示すパラメータセットを用いることで符号化効率の低下を抑制しつつ、メモリ使用量を削減できる。
以上、本発明の実施の形態に係る画像符号化装置及び画像復号装置について説明したが、本発明は、この実施の形態に限定されるものではない。
例えば、上記実施の形態１〜３に係る、画像符号化装置、画像復号装置及びそれらの変形例の機能のうち少なくとも一部を組み合わせてもよい。
また、上記で用いた数字及び論理値は、全て本発明を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。
また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
また、上記の画像符号化装置による画像符号化方法、及び画像復号装置による画像復号方法における、各ステップが実行される順序は、本発明を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
（実施の形態４）
上記各実施の形態で示した動画像符号化方法（画像符号化方法）または動画像復号化方法（画像復号方法）の構成を実現するためのプログラムを記憶メディアに記録することにより、上記各実施の形態で示した処理を独立したコンピュータシステムにおいて簡単に実施することが可能となる。記憶メディアは、磁気ディスク、光ディスク、光磁気ディスク、ＩＣカード、半導体メモリ等、プログラムを記録できるものであればよい。
さらにここで、上記各実施の形態で示した動画像符号化方法（画像符号化方法）や動画像復号化方法（画像復号方法）の応用例とそれを用いたシステムを説明する。当該システムは、画像符号化方法を用いた画像符号化装置、及び画像復号方法を用いた画像復号装置からなる画像符号化復号装置を有することを特徴とする。システムにおける他の構成について、場合に応じて適切に変更することができる。
図３７は、コンテンツ配信サービスを実現するコンテンツ供給システムex１００の全体構成を示す図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex１０６、ex１０７、ex１０８、ex１０９、ex１１０が設置されている。
このコンテンツ供給システムex１００は、インターネットex１０１にインターネットサービスプロバイダex１０２および電話網ex１０４、および基地局ex１０６からex１１０を介して、コンピュータex１１１、ＰＤＡ（Personal Digital Assistant）ex１１２、カメラex１１３、携帯電話ex１１４、ゲーム機ex１１５などの各機器が接続される。
しかし、コンテンツ供給システムex１００は図３７のような構成に限定されず、いずれかの要素を組合せて接続するようにしてもよい。また、固定無線局である基地局ex１０６からex１１０を介さずに、各機器が電話網ex１０４に直接接続されてもよい。また、各機器が近距離無線等を介して直接相互に接続されていてもよい。
カメラex１１３はデジタルビデオカメラ等の動画撮影が可能な機器であり、カメラex１１６はデジタルカメラ等の静止画撮影、動画撮影が可能な機器である。また、携帯電話ex１１４は、ＧＳＭ（登録商標）（Global System for Mobile Communications）方式、ＣＤＭＡ（Code Division Multiple Access）方式、Ｗ−ＣＤＭＡ（Wideband-Code Division Multiple Access）方式、若しくはＬＴＥ（Long Term Evolution）方式、ＨＳＰＡ(High Speed Packet Access)の携帯電話機、またはＰＨＳ（Personal Handyphone System）等であり、いずれでも構わない。
コンテンツ供給システムex１００では、カメラex１１３等が基地局ex１０９、電話網ex１０４を通じてストリーミングサーバex１０３に接続されることで、ライブ配信等が可能になる。ライブ配信では、ユーザがカメラex１１３を用いて撮影するコンテンツ（例えば、音楽ライブの映像等）に対して上記各実施の形態で説明したように符号化処理を行い（即ち、本発明の一態様に係る画像符号化装置として機能する）、ストリーミングサーバex１０３に送信する。一方、ストリーミングサーバex１０３は要求のあったクライアントに対して送信されたコンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータex１１１、ＰＤＡex１１２、カメラex１１３、携帯電話ex１１４、ゲーム機ex１１５等がある。配信されたデータを受信した各機器では、受信したデータを復号化処理して再生する（即ち、本発明の一態様に係る画像復号装置として機能する）。
なお、撮影したデータの符号化処理はカメラex１１３で行っても、データの送信処理をするストリーミングサーバex１０３で行ってもよいし、互いに分担して行ってもよい。同様に配信されたデータの復号化処理はクライアントで行っても、ストリーミングサーバex１０３で行ってもよいし、互いに分担して行ってもよい。また、カメラex１１３に限らず、カメラex１１６で撮影した静止画像および／または動画像データを、コンピュータex１１１を介してストリーミングサーバex１０３に送信してもよい。この場合の符号化処理はカメラex１１６、コンピュータex１１１、ストリーミングサーバex１０３のいずれで行ってもよいし、互いに分担して行ってもよい。
また、これら符号化・復号化処理は、一般的にコンピュータex１１１や各機器が有するＬＳＩex５００において処理する。ＬＳＩex５００は、ワンチップであっても複数チップからなる構成であってもよい。なお、動画像符号化・復号化用のソフトウェアをコンピュータex１１１等で読み取り可能な何らかの記録メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込み、そのソフトウェアを用いて符号化・復号化処理を行ってもよい。さらに、携帯電話ex１１４がカメラ付きである場合には、そのカメラで取得した動画データを送信してもよい。このときの動画データは携帯電話ex１１４が有するＬＳＩex５００で符号化処理されたデータである。
また、ストリーミングサーバex１０３は複数のサーバや複数のコンピュータであって、データを分散して処理したり記録したり配信するものであってもよい。
以上のようにして、コンテンツ供給システムex１００では、符号化されたデータをクライアントが受信して再生することができる。このようにコンテンツ供給システムex１００では、ユーザが送信した情報をリアルタイムでクライアントが受信して復号化し、再生することができ、特別な権利や設備を有さないユーザでも個人放送を実現できる。
なお、コンテンツ供給システムex１００の例に限らず、図３８に示すように、デジタル放送用システムex２００にも、上記各実施の形態の少なくとも動画像符号化装置（画像符号化装置）または動画像復号化装置（画像復号装置）のいずれかを組み込むことができる。具体的には、放送局ex２０１では映像データに音楽データなどが多重化された多重化データが電波を介して通信または衛星ex２０２に伝送される。この映像データは上記各実施の形態で説明した動画像符号化方法により符号化されたデータである（即ち、本発明の一態様に係る画像符号化装置によって符号化されたデータである）。これを受けた放送衛星ex２０２は、放送用の電波を発信し、この電波を衛星放送の受信が可能な家庭のアンテナex２０４が受信する。受信した多重化データを、テレビ（受信機）ex３００またはセットトップボックス（ＳＴＢ）ex２１７等の装置が復号化して再生する（即ち、本発明の一態様に係る画像復号装置として機能する）。
また、ＤＶＤ、ＢＤ等の記録メディアex２１５に記録した多重化データを読み取り復号化する、または記録メディアex２１５に映像信号を符号化し、さらに場合によっては音楽信号と多重化して書き込むリーダ／レコーダex２１８にも上記各実施の形態で示した動画像復号化装置または動画像符号化装置を実装することが可能である。この場合、再生された映像信号はモニタex２１９に表示され、多重化データが記録された記録メディアex２１５により他の装置やシステムにおいて映像信号を再生することができる。また、ケーブルテレビ用のケーブルex２０３または衛星／地上波放送のアンテナex２０４に接続されたセットトップボックスex２１７内に動画像復号化装置を実装し、これをテレビのモニタex２１９で表示してもよい。このときセットトップボックスではなく、テレビ内に動画像復号化装置を組み込んでもよい。
図３９は、上記各実施の形態で説明した動画像復号化方法および動画像符号化方法を用いたテレビ（受信機）ex３００を示す図である。テレビex３００は、上記放送を受信するアンテナex２０４またはケーブルex２０３等を介して映像データに音声データが多重化された多重化データを取得、または出力するチューナex３０１と、受信した多重化データを復調する、または外部に送信する多重化データに変調する変調／復調部ex３０２と、復調した多重化データを映像データと、音声データとに分離する、または信号処理部ex３０６で符号化された映像データ、音声データを多重化する多重／分離部ex３０３を備える。
また、テレビex３００は、音声データ、映像データそれぞれを復号化する、またはそれぞれの情報を符号化する音声信号処理部ex３０４、映像信号処理部ex３０５（本発明の一態様に係る画像符号化装置または画像復号装置として機能する）を有する信号処理部ex３０６と、復号化した音声信号を出力するスピーカex３０７、復号化した映像信号を表示するディスプレイ等の表示部ex３０８を有する出力部ex３０９とを有する。さらに、テレビex３００は、ユーザ操作の入力を受け付ける操作入力部ex３１２等を有するインタフェース部ex３１７を有する。さらに、テレビex３００は、各部を統括的に制御する制御部ex３１０、各部に電力を供給する電源回路部ex３１１を有する。インタフェース部ex３１７は、操作入力部ex３１２以外に、リーダ／レコーダex２１８等の外部機器と接続されるブリッジex３１３、ＳＤカード等の記録メディアex２１６を装着可能とするためのスロット部ex３１４、ハードディスク等の外部記録メディアと接続するためのドライバex３１５、電話網と接続するモデムex３１６等を有していてもよい。なお記録メディアex２１６は、格納する不揮発性／揮発性の半導体メモリ素子により電気的に情報の記録を可能としたものである。テレビex３００の各部は同期バスを介して互いに接続されている。
まず、テレビex３００がアンテナex２０４等により外部から取得した多重化データを復号化し、再生する構成について説明する。テレビex３００は、リモートコントローラex２２０等からのユーザ操作を受け、ＣＰＵ等を有する制御部ex３１０の制御に基づいて、変調／復調部ex３０２で復調した多重化データを多重／分離部ex３０３で分離する。さらにテレビex３００は、分離した音声データを音声信号処理部ex３０４で復号化し、分離した映像データを映像信号処理部ex３０５で上記各実施の形態で説明した復号化方法を用いて復号化する。復号化した音声信号、映像信号は、それぞれ出力部ex３０９から外部に向けて出力される。出力する際には、音声信号と映像信号が同期して再生するよう、バッファex３１８、ex３１９等に一旦これらの信号を蓄積するとよい。また、テレビex３００は、放送等からではなく、磁気／光ディスク、ＳＤカード等の記録メディアex２１５、ex２１６から多重化データを読み出してもよい。次に、テレビex３００が音声信号や映像信号を符号化し、外部に送信または記録メディア等に書き込む構成について説明する。テレビex３００は、リモートコントローラex２２０等からのユーザ操作を受け、制御部ex３１０の制御に基づいて、音声信号処理部ex３０４で音声信号を符号化し、映像信号処理部ex３０５で映像信号を上記各実施の形態で説明した符号化方法を用いて符号化する。符号化した音声信号、映像信号は多重／分離部ex３０３で多重化され外部に出力される。多重化する際には、音声信号と映像信号が同期するように、バッファex３２０、ex３２１等に一旦これらの信号を蓄積するとよい。なお、バッファex３１８、ex３１９、ex３２０、ex３２１は図示しているように複数備えていてもよいし、１つ以上のバッファを共有する構成であってもよい。さらに、図示している以外に、例えば変調／復調部ex３０２や多重／分離部ex３０３の間等でもシステムのオーバフロー、アンダーフローを避ける緩衝材としてバッファにデータを蓄積することとしてもよい。
また、テレビex３００は、放送等や記録メディア等から音声データ、映像データを取得する以外に、マイクやカメラのＡＶ入力を受け付ける構成を備え、それらから取得したデータに対して符号化処理を行ってもよい。なお、ここではテレビex３００は上記の符号化処理、多重化、および外部出力ができる構成として説明したが、これらの処理を行うことはできず、上記受信、復号化処理、外部出力のみが可能な構成であってもよい。
また、リーダ／レコーダex２１８で記録メディアから多重化データを読み出す、または書き込む場合には、上記復号化処理または符号化処理はテレビex３００、リーダ／レコーダex２１８のいずれで行ってもよいし、テレビex３００とリーダ／レコーダex２１８が互いに分担して行ってもよい。
一例として、光ディスクからデータの読み込みまたは書き込みをする場合の情報再生／記録部ex４００の構成を図４０に示す。情報再生／記録部ex４００は、以下に説明する要素ex４０１、ex４０２、ex４０３、ex４０４、ex４０５、ex４０６、ex４０７を備える。光ヘッドex４０１は、光ディスクである記録メディアex２１５の記録面にレーザスポットを照射して情報を書き込み、記録メディアex２１５の記録面からの反射光を検出して情報を読み込む。変調記録部ex４０２は、光ヘッドex４０１に内蔵された半導体レーザを電気的に駆動し記録データに応じてレーザ光の変調を行う。再生復調部ex４０３は、光ヘッドex４０１に内蔵されたフォトディテクタにより記録面からの反射光を電気的に検出した再生信号を増幅し、記録メディアex２１５に記録された信号成分を分離して復調し、必要な情報を再生する。バッファex４０４は、記録メディアex２１５に記録するための情報および記録メディアex２１５から再生した情報を一時的に保持する。ディスクモータex４０５は記録メディアex２１５を回転させる。サーボ制御部ex４０６は、ディスクモータex４０５の回転駆動を制御しながら光ヘッドex４０１を所定の情報トラックに移動させ、レーザスポットの追従処理を行う。システム制御部ex４０７は、情報再生／記録部ex４００全体の制御を行う。上記の読み出しや書き込みの処理はシステム制御部ex４０７が、バッファex４０４に保持された各種情報を利用し、また必要に応じて新たな情報の生成・追加を行うと共に、変調記録部ex４０２、再生復調部ex４０３、サーボ制御部ex４０６を協調動作させながら、光ヘッドex４０１を通して、情報の記録再生を行うことにより実現される。システム制御部ex４０７は例えばマイクロプロセッサで構成され、読み出し書き込みのプログラムを実行することでそれらの処理を実行する。
以上では、光ヘッドex４０１はレーザスポットを照射するとして説明したが、近接場光を用いてより高密度な記録を行う構成であってもよい。
図４１に光ディスクである記録メディアex２１５の模式図を示す。記録メディアex２１５の記録面には案内溝（グルーブ）がスパイラル状に形成され、情報トラックex２３０には、予めグルーブの形状の変化によってディスク上の絶対位置を示す番地情報が記録されている。この番地情報はデータを記録する単位である記録ブロックex２３１の位置を特定するための情報を含み、記録や再生を行う装置において情報トラックex２３０を再生し番地情報を読み取ることで記録ブロックを特定することができる。また、記録メディアex２１５は、データ記録領域ex２３３、内周領域ex２３２、外周領域ex２３４を含んでいる。ユーザデータを記録するために用いる領域がデータ記録領域ex２３３であり、データ記録領域ex２３３より内周または外周に配置されている内周領域ex２３２と外周領域ex２３４は、ユーザデータの記録以外の特定用途に用いられる。情報再生／記録部ex４００は、このような記録メディアex２１５のデータ記録領域ex２３３に対して、符号化された音声データ、映像データまたはそれらのデータを多重化した多重化データの読み書きを行う。
以上では、１層のＤＶＤ、ＢＤ等の光ディスクを例に挙げ説明したが、これらに限ったものではなく、多層構造であって表面以外にも記録可能な光ディスクであってもよい。また、ディスクの同じ場所にさまざまな異なる波長の色の光を用いて情報を記録したり、さまざまな角度から異なる情報の層を記録したりなど、多次元的な記録／再生を行う構造の光ディスクであってもよい。
また、デジタル放送用システムex２００において、アンテナex２０５を有する車ex２１０で衛星ex２０２等からデータを受信し、車ex２１０が有するカーナビゲーションex２１１等の表示装置に動画を再生することも可能である。なお、カーナビゲーションex２１１の構成は例えば図３９に示す構成のうち、ＧＰＳ受信部を加えた構成が考えられ、同様なことがコンピュータex１１１や携帯電話ex１１４等でも考えられる。
図４２Ａは、上記実施の形態で説明した動画像復号化方法および動画像符号化方法を用いた携帯電話ex１１４を示す図である。携帯電話ex１１４は、基地局ex１１０との間で電波を送受信するためのアンテナex３５０、映像、静止画を撮ることが可能なカメラ部ex３６５、カメラ部ex３６５で撮像した映像、アンテナex３５０で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex３５８を備える。携帯電話ex１１４は、さらに、操作キー部ex３６６を有する本体部、音声を出力するためのスピーカ等である音声出力部ex３５７、音声を入力するためのマイク等である音声入力部ex３５６、撮影した映像、静止画、録音した音声、または受信した映像、静止画、メール等の符号化されたデータもしくは復号化されたデータを保存するメモリ部ex３６７、又は同様にデータを保存する記録メディアとのインタフェース部であるスロット部ex３６４を備える。
さらに、携帯電話ex１１４の構成例について、図４２Ｂを用いて説明する。携帯電話ex１１４は、表示部ex３５８及び操作キー部ex３６６を備えた本体部の各部を統括的に制御する主制御部ex３６０に対して、電源回路部ex３６１、操作入力制御部ex３６２、映像信号処理部ex３５５、カメラインタフェース部ex３６３、ＬＣＤ（Liquid Crystal Display）制御部ex３５９、変調／復調部ex３５２、多重／分離部ex３５３、音声信号処理部ex３５４、スロット部ex３６４、メモリ部ex３６７がバスex３７０を介して互いに接続されている。
電源回路部ex３６１は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することにより携帯電話ex１１４を動作可能な状態に起動する。
携帯電話ex１１４は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を有する主制御部ex３６０の制御に基づいて、音声通話モード時に音声入力部ex３５６で収音した音声信号を音声信号処理部ex３５４でデジタル音声信号に変換し、これを変調／復調部ex３５２でスペクトラム拡散処理し、送信／受信部ex３５１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナex３５０を介して送信する。また携帯電話ex１１４は、音声通話モード時にアンテナex３５０を介して受信した受信データを増幅して周波数変換処理およびアナログデジタル変換処理を施し、変調／復調部ex３５２でスペクトラム逆拡散処理し、音声信号処理部ex３５４でアナログ音声信号に変換した後、これを音声出力部ex３５７から出力する。
さらにデータ通信モード時に電子メールを送信する場合、本体部の操作キー部ex３６６等の操作によって入力された電子メールのテキストデータは操作入力制御部ex３６２を介して主制御部ex３６０に送出される。主制御部ex３６０は、テキストデータを変調／復調部ex３５２でスペクトラム拡散処理をし、送信／受信部ex３５１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナex３５０を介して基地局ex１１０へ送信する。電子メールを受信する場合は、受信したデータに対してこのほぼ逆の処理が行われ、表示部ex３５８に出力される。
データ通信モード時に映像、静止画、または映像と音声を送信する場合、映像信号処理部ex３５５は、カメラ部ex３６５から供給された映像信号を上記各実施の形態で示した動画像符号化方法によって圧縮符号化し（即ち、本発明の一態様に係る画像符号化装置として機能する）、符号化された映像データを多重／分離部ex３５３に送出する。また、音声信号処理部ex３５４は、映像、静止画等をカメラ部ex３６５で撮像中に音声入力部ex３５６で収音した音声信号を符号化し、符号化された音声データを多重／分離部ex３５３に送出する。
多重／分離部ex３５３は、映像信号処理部ex３５５から供給された符号化された映像データと音声信号処理部ex３５４から供給された符号化された音声データを所定の方式で多重化し、その結果得られる多重化データを変調／復調部（変調／復調回路部）ex３５２でスペクトラム拡散処理をし、送信／受信部ex３５１でデジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex３５０を介して送信する。
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、または映像およびもしくは音声が添付された電子メールを受信する場合、アンテナex３５０を介して受信された多重化データを復号化するために、多重／分離部ex３５３は、多重化データを分離することにより映像データのビットストリームと音声データのビットストリームとに分け、同期バスex３７０を介して符号化された映像データを映像信号処理部ex３５５に供給するとともに、符号化された音声データを音声信号処理部ex３５４に供給する。映像信号処理部ex３５５は、上記各実施の形態で示した動画像符号化方法に対応した動画像復号化方法によって復号化することにより映像信号を復号し（即ち、本発明の一態様に係る画像復号装置として機能する）、ＬＣＤ制御部ex３５９を介して表示部ex３５８から、例えばホームページにリンクされた動画像ファイルに含まれる映像、静止画が表示される。また音声信号処理部ex３５４は、音声信号を復号し、音声出力部ex３５７から音声が出力される。
また、上記携帯電話ex１１４等の端末は、テレビex３００と同様に、符号化器・復号化器を両方持つ送受信型端末の他に、符号化器のみの送信端末、復号化器のみの受信端末という３通りの実装形式が考えられる。さらに、デジタル放送用システムex２００において、映像データに音楽データなどが多重化された多重化データを受信、送信するとして説明したが、音声データ以外に映像に関連する文字データなどが多重化されたデータであってもよいし、多重化データではなく映像データ自体であってもよい。
このように、上記各実施の形態で示した動画像符号化方法あるいは動画像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記各実施の形態で説明した効果を得ることができる。
また、本発明はかかる上記実施の形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。
（実施の形態５）
上記各実施の形態で示した動画像符号化方法または装置と、ＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１など異なる規格に準拠した動画像符号化方法または装置とを、必要に応じて適宜切替えることにより、映像データを生成することも可能である。
ここで、それぞれ異なる規格に準拠する複数の映像データを生成した場合、復号する際に、それぞれの規格に対応した復号方法を選択する必要がある。しかしながら、復号する映像データが、どの規格に準拠するものであるか識別できないため、適切な復号方法を選択することができないという課題を生じる。
この課題を解決するために、映像データに音声データなどを多重化した多重化データは、映像データがどの規格に準拠するものであるかを示す識別情報を含む構成とする。上記各実施の形態で示す動画像符号化方法または装置によって生成された映像データを含む多重化データの具体的な構成を以下説明する。多重化データは、ＭＰＥＧ−２トランスポートストリーム形式のデジタルストリームである。
図４３は、多重化データの構成を示す図である。図４３に示すように多重化データは、ビデオストリーム、オーディオストリーム、プレゼンテーショングラフィックスストリーム（ＰＧ）、インタラクティブグラフィックスストリームのうち、１つ以上を多重化することで得られる。ビデオストリームは映画の主映像および副映像を、オーディオストリーム（ＩＧ）は映画の主音声部分とその主音声とミキシングする副音声を、プレゼンテーショングラフィックスストリームは、映画の字幕をそれぞれ示している。ここで主映像とは画面に表示される通常の映像を示し、副映像とは主映像の中に小さな画面で表示する映像のことである。また、インタラクティブグラフィックスストリームは、画面上にＧＵＩ部品を配置することにより作成される対話画面を示している。ビデオストリームは、上記各実施の形態で示した動画像符号化方法または装置、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠した動画像符号化方法または装置によって符号化されている。オーディオストリームは、ドルビーＡＣ−３、Ｄｏｌｂｙ Ｄｉｇｉｔａｌ Ｐｌｕｓ、ＭＬＰ、ＤＴＳ、ＤＴＳ−ＨＤ、または、リニアＰＣＭのなどの方式で符号化されている。
多重化データに含まれる各ストリームはＰＩＤによって識別される。例えば、映画の映像に利用するビデオストリームには０ｘ１０１１が、オーディオストリームには０ｘ１１００から０ｘ１１１Ｆまでが、プレゼンテーショングラフィックスには０ｘ１２００から０ｘ１２１Ｆまでが、インタラクティブグラフィックスストリームには０ｘ１４００から０ｘ１４１Ｆまでが、映画の副映像に利用するビデオストリームには０ｘ１Ｂ００から０ｘ１Ｂ１Ｆまで、主音声とミキシングする副音声に利用するオーディオストリームには０ｘ１Ａ００から０ｘ１Ａ１Ｆが、それぞれ割り当てられている。
図４４は、多重化データがどのように多重化されるかを模式的に示す図である。まず、複数のビデオフレームからなるビデオストリームex２３５、複数のオーディオフレームからなるオーディオストリームex２３８を、それぞれＰＥＳパケット列ex２３６およびex２３９に変換し、ＴＳパケットex２３７およびex２４０に変換する。同じくプレゼンテーショングラフィックスストリームex２４１およびインタラクティブグラフィックスex２４４のデータをそれぞれＰＥＳパケット列ex２４２およびex２４５に変換し、さらにＴＳパケットex２４３およびex２４６に変換する。多重化データex２４７はこれらのＴＳパケットを１本のストリームに多重化することで構成される。
図４５は、ＰＥＳパケット列に、ビデオストリームがどのように格納されるかをさらに詳しく示している。図４５における第１段目はビデオストリームのビデオフレーム列を示す。第２段目は、ＰＥＳパケット列を示す。図４５の矢印ｙｙ１，ｙｙ２，ｙｙ３，ｙｙ４に示すように、ビデオストリームにおける複数のＶｉｄｅｏ Ｐｒｅｓｅｎｔａｔｉｏｎ ＵｎｉｔであるＩピクチャ、Ｂピクチャ、Ｐピクチャは、ピクチャ毎に分割され、ＰＥＳパケットのペイロードに格納される。各ＰＥＳパケットはＰＥＳヘッダを持ち、ＰＥＳヘッダには、ピクチャの表示時刻であるＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ−Ｓｔａｍｐ）やピクチャの復号時刻であるＤＴＳ（Ｄｅｃｏｄｉｎｇ Ｔｉｍｅ−Ｓｔａｍｐ）が格納される。
図４６は、多重化データに最終的に書き込まれるＴＳパケットの形式を示している。ＴＳパケットは、ストリームを識別するＰＩＤなどの情報を持つ４ＢｙｔｅのＴＳヘッダとデータを格納する１８４ＢｙｔｅのＴＳペイロードから構成される１８８Ｂｙｔｅ固定長のパケットであり、上記ＰＥＳパケットは分割されＴＳペイロードに格納される。ＢＤ−ＲＯＭの場合、ＴＳパケットには、４ＢｙｔｅのＴＰ＿Ｅｘｔｒａ＿Ｈｅａｄｅｒが付与され、１９２Ｂｙｔｅのソースパケットを構成し、多重化データに書き込まれる。ＴＰ＿Ｅｘｔｒａ＿ＨｅａｄｅｒにはＡＴＳ（Ａｒｒｉｖａｌ＿Ｔｉｍｅ＿Ｓｔａｍｐ）などの情報が記載される。ＡＴＳは当該ＴＳパケットのデコーダのＰＩＤフィルタへの転送開始時刻を示す。多重化データには図４６下段に示すようにソースパケットが並ぶこととなり、多重化データの先頭からインクリメントする番号はＳＰＮ（ソースパケットナンバー）と呼ばれる。
また、多重化データに含まれるＴＳパケットには、映像・音声・字幕などの各ストリーム以外にもＰＡＴ（Ｐｒｏｇｒａｍ Ａｓｓｏｃｉａｔｉｏｎ Ｔａｂｌｅ）、ＰＭＴ（Ｐｒｏｇｒａｍ Ｍａｐ Ｔａｂｌｅ）、ＰＣＲ（Ｐｒｏｇｒａｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ）などがある。ＰＡＴは多重化データ中に利用されるＰＭＴのＰＩＤが何であるかを示し、ＰＡＴ自身のＰＩＤは０で登録される。ＰＭＴは、多重化データ中に含まれる映像・音声・字幕などの各ストリームのＰＩＤと各ＰＩＤに対応するストリームの属性情報を持ち、また多重化データに関する各種ディスクリプタを持つ。ディスクリプタには多重化データのコピーを許可・不許可を指示するコピーコントロール情報などがある。ＰＣＲは、ＡＴＳの時間軸であるＡＴＣ（Ａｒｒｉｖａｌ Ｔｉｍｅ Ｃｌｏｃｋ）とＰＴＳ・ＤＴＳの時間軸であるＳＴＣ（Ｓｙｓｔｅｍ Ｔｉｍｅ Ｃｌｏｃｋ）の同期を取るために、そのＰＣＲパケットがデコーダに転送されるＡＴＳに対応するＳＴＣ時間の情報を持つ。
図４７はＰＭＴのデータ構造を詳しく説明する図である。ＰＭＴの先頭には、そのＰＭＴに含まれるデータの長さなどを記したＰＭＴヘッダが配置される。その後ろには、多重化データに関するディスクリプタが複数配置される。上記コピーコントロール情報などが、ディスクリプタとして記載される。ディスクリプタの後には、多重化データに含まれる各ストリームに関するストリーム情報が複数配置される。ストリーム情報は、ストリームの圧縮コーデックなどを識別するためストリームタイプ、ストリームのＰＩＤ、ストリームの属性情報（フレームレート、アスペクト比など）が記載されたストリームディスクリプタから構成される。ストリームディスクリプタは多重化データに存在するストリームの数だけ存在する。
記録媒体などに記録する場合には、上記多重化データは、多重化データ情報ファイルと共に記録される。
多重化データ情報ファイルは、図４８に示すように多重化データの管理情報であり、多重化データと１対１に対応し、多重化データ情報、ストリーム属性情報とエントリマップから構成される。
多重化データ情報は図４８に示すようにシステムレート、再生開始時刻、再生終了時刻から構成されている。システムレートは多重化データの、後述するシステムターゲットデコーダのＰＩＤフィルタへの最大転送レートを示す。多重化データ中に含まれるＡＴＳの間隔はシステムレート以下になるように設定されている。再生開始時刻は多重化データの先頭のビデオフレームのＰＴＳであり、再生終了時刻は多重化データの終端のビデオフレームのＰＴＳに１フレーム分の再生間隔を足したものが設定される。
ストリーム属性情報は図４９に示すように、多重化データに含まれる各ストリームについての属性情報が、ＰＩＤ毎に登録される。属性情報はビデオストリーム、オーディオストリーム、プレゼンテーショングラフィックスストリーム、インタラクティブグラフィックスストリーム毎に異なる情報を持つ。ビデオストリーム属性情報は、そのビデオストリームがどのような圧縮コーデックで圧縮されたか、ビデオストリームを構成する個々のピクチャデータの解像度がどれだけであるか、アスペクト比はどれだけであるか、フレームレートはどれだけであるかなどの情報を持つ。オーディオストリーム属性情報は、そのオーディオストリームがどのような圧縮コーデックで圧縮されたか、そのオーディオストリームに含まれるチャンネル数は何であるか、何の言語に対応するか、サンプリング周波数がどれだけであるかなどの情報を持つ。これらの情報は、プレーヤが再生する前のデコーダの初期化などに利用される。
本実施の形態においては、上記多重化データのうち、ＰＭＴに含まれるストリームタイプを利用する。また、記録媒体に多重化データが記録されている場合には、多重化データ情報に含まれる、ビデオストリーム属性情報を利用する。具体的には、上記各実施の形態で示した動画像符号化方法または装置において、ＰＭＴに含まれるストリームタイプ、または、ビデオストリーム属性情報に対し、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示す固有の情報を設定するステップまたは手段を設ける。この構成により、上記各実施の形態で示した動画像符号化方法または装置によって生成した映像データと、他の規格に準拠する映像データとを識別することが可能になる。
また、本実施の形態における動画像復号化方法のステップを図５０に示す。ステップexＳ１００において、多重化データからＰＭＴに含まれるストリームタイプ、または、多重化データ情報に含まれるビデオストリーム属性情報を取得する。次に、ステップexＳ１０１において、ストリームタイプ、または、ビデオストリーム属性情報が上記各実施の形態で示した動画像符号化方法または装置によって生成された多重化データであることを示しているか否かを判断する。そして、ストリームタイプ、または、ビデオストリーム属性情報が上記各実施の形態で示した動画像符号化方法または装置によって生成されたものであると判断された場合には、ステップexＳ１０２において、上記各実施の形態で示した動画像復号方法により復号を行う。また、ストリームタイプ、または、ビデオストリーム属性情報が、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠するものであることを示している場合には、ステップexＳ１０３において、従来の規格に準拠した動画像復号方法により復号を行う。
このように、ストリームタイプ、または、ビデオストリーム属性情報に新たな固有値を設定することにより、復号する際に、上記各実施の形態で示した動画像復号化方法または装置で復号可能であるかを判断することができる。従って、異なる規格に準拠する多重化データが入力された場合であっても、適切な復号化方法または装置を選択することができるため、エラーを生じることなく復号することが可能となる。また、本実施の形態で示した動画像符号化方法または装置、または、動画像復号方法または装置を、上述したいずれの機器・システムに用いることも可能である。
（実施の形態６）
上記各実施の形態で示した動画像符号化方法および装置、動画像復号化方法および装置は、典型的には集積回路であるＬＳＩで実現される。一例として、図５１に１チップ化されたＬＳＩex５００の構成を示す。ＬＳＩex５００は、以下に説明する要素ex５０１、ex５０２、ex５０３、ex５０４、ex５０５、ex５０６、ex５０７、ex５０８、ex５０９を備え、各要素はバスex５１０を介して接続している。電源回路部ex５０５は電源がオン状態の場合に各部に対して電力を供給することで動作可能な状態に起動する。
例えば符号化処理を行う場合には、ＬＳＩex５００は、ＣＰＵex５０２、メモリコントローラex５０３、ストリームコントローラex５０４、駆動周波数制御部ex５１２等を有する制御部ex５０１の制御に基づいて、ＡＶ Ｉ／Ｏex５０９によりマイクex１１７やカメラex１１３等からＡＶ信号を入力する。入力されたＡＶ信号は、一旦ＳＤＲＡＭ等の外部のメモリex５１１に蓄積される。制御部ex５０１の制御に基づいて、蓄積したデータは処理量や処理速度に応じて適宜複数回に分けるなどされ信号処理部ex５０７に送られ、信号処理部ex５０７において音声信号の符号化および／または映像信号の符号化が行われる。ここで映像信号の符号化処理は上記各実施の形態で説明した符号化処理である。信号処理部ex５０７ではさらに、場合により符号化された音声データと符号化された映像データを多重化するなどの処理を行い、ストリームＩ／Ｏex５０６から外部に出力する。この出力された多重化データは、基地局ex１０７に向けて送信されたり、または記録メディアex２１５に書き込まれたりする。なお、多重化する際には同期するよう、一旦バッファex５０８にデータを蓄積するとよい。
なお、上記では、メモリex５１１がＬＳＩex５００の外部の構成として説明したが、ＬＳＩex５００の内部に含まれる構成であってもよい。バッファex５０８も１つに限ったものではなく、複数のバッファを備えていてもよい。また、ＬＳＩex５００は１チップ化されてもよいし、複数チップ化されてもよい。
また、上記では、制御部ex５０１が、ＣＰＵex５０２、メモリコントローラex５０３、ストリームコントローラex５０４、駆動周波数制御部ex５１２等を有するとしているが、制御部ex５０１の構成は、この構成に限らない。例えば、信号処理部ex５０７がさらにＣＰＵを備える構成であってもよい。信号処理部ex５０７の内部にもＣＰＵを設けることにより、処理速度をより向上させることが可能になる。また、他の例として、ＣＰＵex５０２が信号処理部ex５０７、または信号処理部ex５０７の一部である例えば音声信号処理部を備える構成であってもよい。このような場合には、制御部ex５０１は、信号処理部ex５０７、またはその一部を有するＣＰＵex５０２を備える構成となる。
なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
（実施の形態７）
上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データを復号する場合、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データを復号する場合に比べ、処理量が増加することが考えられる。そのため、ＬＳＩex５００において、従来の規格に準拠する映像データを復号する際のＣＰＵex５０２の駆動周波数よりも高い駆動周波数に設定する必要がある。しかし、駆動周波数を高くすると、消費電力が高くなるという課題が生じる。
この課題を解決するために、テレビex３００、ＬＳＩex５００などの動画像復号化装置は、映像データがどの規格に準拠するものであるかを識別し、規格に応じて駆動周波数を切替える構成とする。図５２は、本実施の形態における構成ex８００を示している。駆動周波数切替え部ex８０３は、映像データが、上記各実施の形態で示した動画像符号化方法または装置によって生成されたものである場合には、駆動周波数を高く設定する。そして、上記各実施の形態で示した動画像復号化方法を実行する復号処理部ex８０１に対し、映像データを復号するよう指示する。一方、映像データが、従来の規格に準拠する映像データである場合には、映像データが、上記各実施の形態で示した動画像符号化方法または装置によって生成されたものである場合に比べ、駆動周波数を低く設定する。そして、従来の規格に準拠する復号処理部ex８０２に対し、映像データを復号するよう指示する。
より具体的には、駆動周波数切替え部ex８０３は、図５１のＣＰＵex５０２と駆動周波数制御部ex５１２から構成される。また、上記各実施の形態で示した動画像復号化方法を実行する復号処理部ex８０１、および、従来の規格に準拠する復号処理部ex８０２は、図５１の信号処理部ex５０７に該当する。ＣＰＵex５０２は、映像データがどの規格に準拠するものであるかを識別する。そして、ＣＰＵex５０２からの信号に基づいて、駆動周波数制御部ex５１２は、駆動周波数を設定する。また、ＣＰＵex５０２からの信号に基づいて、信号処理部ex５０７は、映像データの復号を行う。ここで、映像データの識別には、例えば、実施の形態５で記載した識別情報を利用することが考えられる。識別情報に関しては、実施の形態５で記載したものに限られず、映像データがどの規格に準拠するか識別できる情報であればよい。例えば、映像データがテレビに利用されるものであるか、ディスクに利用されるものであるかなどを識別する外部信号に基づいて、映像データがどの規格に準拠するものであるか識別可能である場合には、このような外部信号に基づいて識別してもよい。また、ＣＰＵex５０２における駆動周波数の選択は、例えば、図５４のような映像データの規格と、駆動周波数とを対応付けたルックアップテーブルに基づいて行うことが考えられる。ルックアップテーブルを、バッファex５０８や、ＬＳＩの内部メモリに格納しておき、ＣＰＵex５０２がこのルックアップテーブルを参照することにより、駆動周波数を選択することが可能である。
図５３は、本実施の形態の方法を実施するステップを示している。まず、ステップexＳ２００では、信号処理部ex５０７において、多重化データから識別情報を取得する。次に、ステップexＳ２０１では、ＣＰＵex５０２において、識別情報に基づいて映像データが上記各実施の形態で示した符号化方法または装置によって生成されたものであるか否かを識別する。映像データが上記各実施の形態で示した符号化方法または装置によって生成されたものである場合には、ステップexＳ２０２において、駆動周波数を高く設定する信号を、ＣＰＵex５０２が駆動周波数制御部ex５１２に送る。そして、駆動周波数制御部ex５１２において、高い駆動周波数に設定される。一方、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合には、ステップexＳ２０３において、駆動周波数を低く設定する信号を、ＣＰＵex５０２が駆動周波数制御部ex５１２に送る。そして、駆動周波数制御部ex５１２において、映像データが上記各実施の形態で示した符号化方法または装置によって生成されたものである場合に比べ、低い駆動周波数に設定される。
さらに、駆動周波数の切替えに連動して、ＬＳＩex５００またはＬＳＩex５００を含む装置に与える電圧を変更することにより、省電力効果をより高めることが可能である。例えば、駆動周波数を低く設定する場合には、これに伴い、駆動周波数を高く設定している場合に比べ、ＬＳＩex５００またはＬＳＩex５００を含む装置に与える電圧を低く設定することが考えられる。
また、駆動周波数の設定方法は、復号する際の処理量が大きい場合に、駆動周波数を高く設定し、復号する際の処理量が小さい場合に、駆動周波数を低く設定すればよく、上述した設定方法に限らない。例えば、ＭＰＥＧ４−ＡＶＣ規格に準拠する映像データを復号する処理量の方が、上記各実施の形態で示した動画像符号化方法または装置により生成された映像データを復号する処理量よりも大きい場合には、駆動周波数の設定を上述した場合の逆にすることが考えられる。
さらに、駆動周波数の設定方法は、駆動周波数を低くする構成に限らない。例えば、識別情報が、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示している場合には、ＬＳＩex５００またはＬＳＩex５００を含む装置に与える電圧を高く設定し、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合には、ＬＳＩex５００またはＬＳＩex５００を含む装置に与える電圧を低く設定することも考えられる。また、他の例としては、識別情報が、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示している場合には、ＣＰＵex５０２の駆動を停止させることなく、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合には、処理に余裕があるため、ＣＰＵex５０２の駆動を一時停止させることも考えられる。識別情報が、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示している場合であっても、処理に余裕があれば、ＣＰＵex５０２の駆動を一時停止させることも考えられる。この場合は、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合に比べて、停止時間を短く設定することが考えられる。
このように、映像データが準拠する規格に応じて、駆動周波数を切替えることにより、省電力化を図ることが可能になる。また、電池を用いてＬＳＩex５００またはＬＳＩex５００を含む装置を駆動している場合には、省電力化に伴い、電池の寿命を長くすることが可能である。
（実施の形態８）
テレビや、携帯電話など、上述した機器・システムには、異なる規格に準拠する複数の映像データが入力される場合がある。このように、異なる規格に準拠する複数の映像データが入力された場合にも復号できるようにするために、ＬＳＩex５００の信号処理部ex５０７が複数の規格に対応している必要がある。しかし、それぞれの規格に対応する信号処理部ex５０７を個別に用いると、ＬＳＩex５００の回路規模が大きくなり、また、コストが増加するという課題が生じる。
この課題を解決するために、上記各実施の形態で示した動画像復号方法を実行するための復号処理部と、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する復号処理部とを一部共有化する構成とする。この構成例を図５５Ａのex９００に示す。例えば、上記各実施の形態で示した動画像復号方法と、ＭＰＥＧ４−ＡＶＣ規格に準拠する動画像復号方法とは、エントロピー符号化、逆量子化、デブロッキング・フィルタ、動き補償などの処理において処理内容が一部共通する。共通する処理内容については、ＭＰＥＧ４−ＡＶＣ規格に対応する復号処理部ex９０２を共有し、ＭＰＥＧ４−ＡＶＣ規格に対応しない、本発明の一態様に特有の他の処理内容については、専用の復号処理部ex９０１を用いるという構成が考えられる。特に、本発明の一態様は、算出復号に特徴を有していることから、例えば、算術復号については専用の復号処理部ex９０１を用い、それ以外の逆量子化、デブロッキング・フィルタ、動き補償のいずれか、または、全ての処理については、復号処理部を共有することが考えられる。復号処理部の共有化に関しては、共通する処理内容については、上記各実施の形態で示した動画像復号化方法を実行するための復号処理部を共有し、ＭＰＥＧ４−ＡＶＣ規格に特有の処理内容については、専用の復号処理部を用いる構成であってもよい。
また、処理を一部共有化する他の例を図５５Ｂのex１０００に示す。この例では、本発明の一態様に特有の処理内容に対応した専用の復号処理部ex１００１と、他の従来規格に特有の処理内容に対応した専用の復号処理部ex１００２と、本発明の一態様に係る動画像復号方法と他の従来規格の動画像復号方法とに共通する処理内容に対応した共用の復号処理部ex１００３とを用いる構成としている。ここで、専用の復号処理部ex１００１、ex１００２は、必ずしも本発明の一態様、または、他の従来規格に特有の処理内容に特化したものではなく、他の汎用処理を実行できるものであってもよい。また、本実施の形態の構成を、ＬＳＩex５００で実装することも可能である。
このように、本発明の一態様に係る動画像復号方法と、従来の規格の動画像復号方法とで共通する処理内容について、復号処理部を共有することにより、ＬＳＩの回路規模を小さくし、かつ、コストを低減することが可能である。
本発明は、画像符号化方法、画像復号方法、画像符号化装置及び画像復号装置に適用でき、特に、算術符号化及び算術復号を行う画像符号化方法、画像復号方法、画像符号化装置及び画像復号装置に利用可能である。
１００ 画像符号化装置
１０１ 制御部
１０２ 差分部
１０３ 変換及び量子化部
１０４ 可変長符号化部
１０５ 逆量子化及び逆変換部
１０６、２０６ 加算部
１０７、２０７ 面内予測部
１０８、２０８ 面間予測部
１０９、２０９ スイッチ
１２１ 入力画像信号
１２２、１２５、２２５ 残差信号
１２３、２２３ 量子化変換係数
１２４ ビットストリーム
１２６ 復元画像信号
１２７、１２８、１２９、２２７、２２８ 予測画像信号
１３０、２３０ 制御パラメータ
１４１ 二値化部
１４２、２４２ コンテキスト制御部
１４３ 二値算術符号化部
１５１、２５１ 二値配列
１５２、２５２ コンテキストインデクス
２００ 画像復号装置
２０１ 制御部
２０２ 可変長復号部
２０４ 逆量子化部
２０５ 逆変換部
２２４ 直交変換係数
２２６ 復号画像信号
２２９ 画像信号
２４１ 多値化部
２４３ 二値算術復号部

Claims (3)

  1. 画像の復号を制御する制御パラメータを復号する復号方法であって、
    複数のコンテキストのうち、前記画像に含まれる対象ブロックに使用するコンテキストを決定するコンテキスト決定ステップと、
    決定された前記コンテキストを用いて、前記対象ブロックに対応するビット列を算術復号し、前記対象ブロックの制御パラメータを取得する算術復号ステップとを含み、
    前記コンテキスト決定ステップでは、
    前記対象ブロックの制御パラメータが分類される信号種別を判定し、
    前記信号種別が第１種別である場合に、前記処理対象ブロックの左側に隣接する左ブロック、及び前記対象ブロックの上側に隣接する上ブロックの復号済の制御パラメータを共に利用して前記コンテキストを決定し、
    前記信号種別が、前記第１種別と異なる第２種別である場合に、前記上ブロック及び前記左ブロックの復号済みの制御パラメータを共に利用せず、予め定められた固定値を用いて前記コンテキストを決定し、
    前記対象ブロックが、複数のブロックに分割されているか否かを示すスプリットフラグ、または、前記対象ブロックを、スキップするか否かを示すスキップフラグは、前記第１種別に分類され、
    前記対象ブロックの予測にマージモードを用いるか否かを示すフラグと、前記対象ブロックの予測に用いる参照ピクチャのインデックスと、前記対象ブロックの動きベクトルと予測動きベクトルの差分を示す差分パラメータと、前記対象ブロックに輝度及び色差の係数情報があるか否かを示す残差フラグと、前記対象ブロックの色差のイントラ予測に用いられる色差用イントラ予測モードは、前記第２種別に分類される
    復号方法。
  2. 前記第１種別に分類される制御パラメータは、前記第２種別に分類される制御パラメータと同じ、又は、より大きなサイズの前記対象ブロックに属する
    請求項１記載の復号方法。
  3. 画像の復号を制御する制御パラメータを復号する復号装置であって、
    複数のコンテキストのうち、前記画像に含まれる対象ブロックに使用するコンテキストを決定するコンテキスト決定部と、
    決定された前記コンテキストを用いて、前記対象ブロックに対応するビット列を算術復号し、前記対象ブロックの制御パラメータを取得する算術復号部とを含み、
    前記コンテキスト決定部は、
    前記対象ブロックの制御パラメータが分類される信号種別を判定し、
    前記信号種別が第１種別である場合に、前記処理対象ブロックの左側に隣接する左ブロック、及び前記対象ブロックの上側に隣接する上ブロックの復号済の制御パラメータを共に利用して前記コンテキストを決定し、
    前記信号種別が、前記第１種別と異なる第２種別である場合に、前記上ブロック及び前記左ブロックの復号済みの制御パラメータを共に利用せず、予め定められた固定値を用いて前記コンテキストを決定し、
    前記対象ブロックが、複数のブロックに分割されているか否かを示すスプリットフラグ、または、前記対象ブロックを、スキップするか否かを示すスキップフラグは、前記第１種別に分類され、
    前記対象ブロックの予測にマージモードを用いるか否かを示すフラグと、前記対象ブロックの予測に用いる参照ピクチャのインデックスと、前記対象ブロックの動きベクトルと予測動きベクトルの差分を示す差分パラメータと、前記対象ブロックに輝度及び色差の係数情報があるか否かを示す残差フラグと、前記対象ブロックの色差のイントラ予測に用いられる色差用イントラ予測モードは、前記第２種別に分類される
    復号装置。
JP2013522745A 2011-06-30 2012-06-22 復号方法及び復号装置 Active JP5905884B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161502992P 2011-06-30 2011-06-30
US61/502,992 2011-06-30
PCT/JP2012/004068 WO2013001770A1 (ja) 2011-06-30 2012-06-22 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置及び画像符号化復号装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2016054354A Division JP6044860B2 (ja) 2011-06-30 2016-03-17 符号化方法及び符号化装置

Publications (2)

Publication Number Publication Date
JPWO2013001770A1 JPWO2013001770A1 (ja) 2015-02-23
JP5905884B2 true JP5905884B2 (ja) 2016-04-20

Family

ID=47390772

Family Applications (5)

Application Number Title Priority Date Filing Date
JP2013522745A Active JP5905884B2 (ja) 2011-06-30 2012-06-22 復号方法及び復号装置
JP2016054354A Active JP6044860B2 (ja) 2011-06-30 2016-03-17 符号化方法及び符号化装置
JP2016214751A Active JP6233760B2 (ja) 2011-06-30 2016-11-02 符号化方法、符号化装置、復号方法及び復号装置
JP2017199012A Active JP6436367B2 (ja) 2011-06-30 2017-10-13 符号化復号方法及び符号化復号装置
JP2018204584A Active JP6631893B2 (ja) 2011-06-30 2018-10-31 符号化復号方法及び符号化復号装置

Family Applications After (4)

Application Number Title Priority Date Filing Date
JP2016054354A Active JP6044860B2 (ja) 2011-06-30 2016-03-17 符号化方法及び符号化装置
JP2016214751A Active JP6233760B2 (ja) 2011-06-30 2016-11-02 符号化方法、符号化装置、復号方法及び復号装置
JP2017199012A Active JP6436367B2 (ja) 2011-06-30 2017-10-13 符号化復号方法及び符号化復号装置
JP2018204584A Active JP6631893B2 (ja) 2011-06-30 2018-10-31 符号化復号方法及び符号化復号装置

Country Status (15)

Country Link
US (10) US8792739B2 (ja)
EP (2) EP2728869B1 (ja)
JP (5) JP5905884B2 (ja)
KR (1) KR102007047B1 (ja)
CN (2) CN103583048B (ja)
AU (1) AU2012277220B2 (ja)
BR (1) BR112013030562B1 (ja)
CA (1) CA2837537C (ja)
ES (1) ES2908152T3 (ja)
MX (2) MX339141B (ja)
MY (1) MY167090A (ja)
PL (1) PL2728869T3 (ja)
RU (1) RU2597473C2 (ja)
TW (1) TWI564819B (ja)
WO (1) WO2013001770A1 (ja)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5914962B2 (ja) 2010-04-09 2016-05-11 ソニー株式会社 画像処理装置および方法、プログラム、並びに、記録媒体
CN105933713B (zh) 2010-09-02 2019-03-19 Lg电子株式会社 编码和解码视频的方法和使用该方法的装置
CN106878731B (zh) 2011-06-23 2019-06-04 太阳专利托管公司 图像编码方法及图像编码装置
USRE47366E1 (en) 2011-06-23 2019-04-23 Sun Patent Trust Image decoding method and apparatus based on a signal type of the control parameter of the current block
TWI581615B (zh) 2011-06-24 2017-05-01 Sun Patent Trust A decoding method, a coding method, a decoding device, an encoding device, and a coding / decoding device
MX2013012019A (es) * 2011-06-24 2013-12-10 Panasonic Corp Metodo de decodificacion de imagenes, metodo de codificacion de imagenes, aparato de decodificacion de imagenes, aparto de codificacion de imagenes y aparato de codificacion y decodificacion de imagenes.
MX2013013483A (es) 2011-06-27 2014-02-27 Panasonic Corp Metodo de decodificacion de imagenes, metodo de codificacion de imagenes, aparato de decodificacion de imagenes, aparato de codificacion de imagenes y aparato de codificacion y decodificacion de imagenes.
CN106878724B (zh) 2011-06-28 2020-06-05 太阳专利托管公司 图像编码解码装置
WO2013001767A1 (ja) 2011-06-29 2013-01-03 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置及び画像符号化復号装置
JP5905884B2 (ja) 2011-06-30 2016-04-20 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 復号方法及び復号装置
KR102060619B1 (ko) 2011-06-30 2019-12-30 선 페이턴트 트러스트 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치 및 화상 부호화 복호 장치
AU2012281918C1 (en) 2011-07-11 2016-11-17 Sun Patent Trust Decoding Method, Coding Method, Decoding Apparatus, Coding Apparatus, And Coding and Decoding Apparatus
US9948938B2 (en) * 2011-07-21 2018-04-17 Texas Instruments Incorporated Methods and systems for chroma residual data prediction
US9571833B2 (en) 2011-11-04 2017-02-14 Nokia Technologies Oy Method for coding and an apparatus
JP5485969B2 (ja) * 2011-11-07 2014-05-07 株式会社Ｎｔｔドコモ 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム
US9185405B2 (en) 2012-03-23 2015-11-10 Qualcomm Incorporated Coded block flag inference in video coding
US9473769B2 (en) * 2012-06-08 2016-10-18 Texas Instruments Incorporated Method and system for reducing slice header parsing overhead in video coding
US9936200B2 (en) 2013-04-12 2018-04-03 Qualcomm Incorporated Rice parameter update for coefficient level coding in video coding process
JP6118199B2 (ja) * 2013-07-09 2017-04-19 シャープ株式会社 画像復号装置、画像符号化装置、画像復号方法、画像符号化方法及びコンピュータ読み取り可能な記録媒体。
US10021419B2 (en) * 2013-07-12 2018-07-10 Qualcomm Incorported Rice parameter initialization for coefficient level coding in video coding process
US9294766B2 (en) * 2013-09-09 2016-03-22 Apple Inc. Chroma quantization in video coding
JP2015185897A (ja) * 2014-03-20 2015-10-22 パナソニックＩｐマネジメント株式会社 画像符号化方法及び画像符号化装置
WO2016148513A1 (ko) * 2015-03-19 2016-09-22 엘지전자 주식회사 비디오 신호의 처리 방법 및 이를 위한 장치
WO2016183814A1 (en) * 2015-05-20 2016-11-24 Mediatek Singapore Pte. Ltd. Coded block flag coding using cross-component correlation
EP3125108A1 (en) * 2015-07-31 2017-02-01 ARM Limited Vector processing using loops of dynamic vector length
JP6565885B2 (ja) * 2016-12-06 2019-08-28 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号化装置、画像復号化方法及び画像復号化プログラム
KR102601268B1 (ko) * 2017-02-24 2023-11-10 주식회사 케이티 비디오 신호 처리 방법 및 장치
US10560723B2 (en) * 2017-05-08 2020-02-11 Qualcomm Incorporated Context modeling for transform coefficient coding
JP7168591B2 (ja) * 2018-01-26 2022-11-09 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
EP3761640A4 (en) * 2018-02-28 2022-01-12 Samsung Electronics Co., Ltd. CODING METHOD AND DEVICE ASSOCIATED, AND DECODED METHOD AND DEVICE ASSOCIATED
US11470346B2 (en) 2018-05-09 2022-10-11 Sharp Kabushiki Kaisha Systems and methods for performing motion vector prediction using a derived set of motion vectors
AU2018233042B2 (en) 2018-09-21 2024-06-13 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding a tree of blocks of video samples
JP7509763B2 (ja) * 2018-10-10 2024-07-02 インターデイジタル ヴィーシー ホールディングス インコーポレイテッド ビデオエンコーディングおよびデコーディングにおけるアフィンモードシグナリング
WO2020094059A1 (en) 2018-11-06 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Complexity reduction in parameter derivation for intra prediction
CN113170122B (zh) * 2018-12-01 2023-06-27 北京字节跳动网络技术有限公司 帧内预测的参数推导
KR102676917B1 (ko) 2018-12-07 2024-06-19 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 컨텍스트 기반 인트라 예측
JP7524188B2 (ja) 2018-12-12 2024-07-29 ヒューマックス・カンパニー・リミテッド 現在ピクチャ参照を用いたビデオ信号処理方法及び装置
CN113302936B (zh) * 2019-01-07 2024-03-19 北京字节跳动网络技术有限公司 用于具有MVD的Merge的控制方法
WO2020143772A1 (en) 2019-01-10 2020-07-16 Beijing Bytedance Network Technology Co., Ltd. Affine based merge with mvd
CN118870032A (zh) * 2019-02-19 2024-10-29 数码士有限公司 基于帧内预测的视频信号处理方法和设备
SG11202108289PA (en) 2019-02-24 2021-08-30 Beijing Bytedance Network Technology Co Ltd Parameter derivation for intra prediction
CN114128272B (zh) * 2019-06-20 2024-03-26 Lg电子株式会社 基于亮度样本的映射和色度样本的缩放的视频或图像编码
EP4044595A4 (en) 2019-11-01 2023-01-18 LG Electronics Inc. TRANSFORMATION-BASED IMAGE CODING METHOD AND APPARATUS THEREOF

Family Cites Families (139)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS53142227A (en) 1977-05-18 1978-12-11 Toshiba Shiyashin Youhin Kk Light control type electrooflashing device
JPS60125210A (ja) 1983-12-08 1985-07-04 Agency Of Ind Science & Technol ポリイミド膜の製膜改善方法
JPS6225405A (ja) 1985-07-26 1987-02-03 株式会社日立製作所 抵抗器の温度検出機構
JPS6225405U (ja) 1985-07-30 1987-02-16
JPS638448A (ja) 1986-06-27 1988-01-14 Nippon Synthetic Chem Ind Co Ltd:The 樹脂組成物
JPS638448U (ja) 1986-07-03 1988-01-20
TW330976B (en) 1995-12-18 1998-05-01 Lg Electronics Inc Constant temperature dehumidifying device for air regulator and control method thereof
CN1305311C (zh) 2001-06-29 2007-03-14 株式会社Ntt都科摩 图像编码装置、图像解码装置、图像编码方法、及图像解码方法
US7457358B2 (en) 2001-09-26 2008-11-25 Interact Devices, Inc. Polymorphic codec system and method
US7457359B2 (en) 2001-09-26 2008-11-25 Mabey Danny L Systems, devices and methods for securely distributing highly-compressed multimedia content
TR201802625T4 (tr) 2001-11-06 2018-03-21 Panasonic Ip Corp America Hareketli resim kodlama usulü ve hareketli resim kod çözme usulü.
CN101448162B (zh) 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
JP2004088722A (ja) 2002-03-04 2004-03-18 Matsushita Electric Ind Co Ltd 動画像符号化方法および動画像復号化方法
US20040146109A1 (en) 2002-04-19 2004-07-29 Satoshi Kondo Method for calculation motion vector
CN1290341C (zh) 2002-04-19 2006-12-13 松下电器产业株式会社 运动矢量的计算方法、动态图像的编码、解码方法及装置
JP3807342B2 (ja) 2002-04-25 2006-08-09 三菱電機株式会社 デジタル信号符号化装置、デジタル信号復号装置、デジタル信号算術符号化方法、およびデジタル信号算術復号方法
JP2003319391A (ja) 2002-04-26 2003-11-07 Sony Corp 符号化装置および方法、復号装置および方法、記録媒体、並びにプログラム
DE50306371D1 (de) 2002-05-02 2007-03-15 Fraunhofer Ges Forschung Arithmetische Codierung von Transformationskoeffizienten
US20040234143A1 (en) 2002-07-02 2004-11-25 Makoto Hagai Image encoding method and picture decoding method
HUE035701T2 (en) 2002-08-08 2018-05-28 Godo Kaisha Ip Bridge 1 Movie coding method and decoding method
US6795584B2 (en) 2002-10-03 2004-09-21 Nokia Corporation Context-based adaptive variable length coding for adaptive block transforms
JP2004297768A (ja) 2003-03-10 2004-10-21 Mitsubishi Electric Corp 映像信号符号化装置、および映像信号符号化方法
EP1603338A4 (en) 2003-03-10 2007-12-05 Mitsubishi Electric Corp APPARATUS AND METHOD FOR VIDEO SIGNAL CODING
KR101029396B1 (ko) 2003-03-24 2011-04-14 소니 주식회사 데이터 부호화 장치, 데이터 부호화 방법, 데이터 복호화 장치, 및 데이터 복호화 방법
US7630440B2 (en) 2003-05-28 2009-12-08 Broadcom Corporation Context adaptive binary arithmetic code decoding engine
US7426308B2 (en) 2003-07-18 2008-09-16 Microsoft Corporation Intraframe and interframe interlace coding and decoding
US7724827B2 (en) 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US7379608B2 (en) 2003-12-04 2008-05-27 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung, E.V. Arithmetic coding for transforming video and picture data units
TWI330976B (en) 2003-12-05 2010-09-21 Trident Microsystems Far East Method and apparatus for encoding/decoding dynamic graphic content
JP2005184042A (ja) 2003-12-15 2005-07-07 Sony Corp 画像復号装置及び画像復号方法並びに画像復号プログラム
EP1551185A1 (en) 2004-01-05 2005-07-06 Thomson Licensing S.A. Encoding method, decoding method, and encoding apparatus for a digital picture sequence
US20090102973A1 (en) 2004-01-09 2009-04-23 Harris Scott C Video split device
KR100608050B1 (ko) 2004-01-14 2006-08-02 삼성전자주식회사 사용자의 요구에 의해 활성화되는 인터랙티브 그래픽스트림을 저장한 저장 매체, 재생 장치 및 그 재생 방법
US8190003B2 (en) 2004-01-14 2012-05-29 Samsung Electronics Co., Ltd. Storage medium storing interactive graphics stream activated in response to user's command, and reproducing apparatus for reproducing from the same
US7599435B2 (en) 2004-01-30 2009-10-06 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Video frame encoding and decoding
PL1709801T3 (pl) 2004-01-30 2013-02-28 Panasonic Ip Corp America Sposób dekodowania video z wykorzystaniem adaptacyjnych macierzy kwantyzacji
US7469070B2 (en) 2004-02-09 2008-12-23 Lsi Corporation Method for selection of contexts for arithmetic coding of reference picture and motion vector residual bitstream syntax elements
JP4273996B2 (ja) 2004-02-23 2009-06-03 ソニー株式会社 画像符号化装置及び方法、並びに画像復号装置及び方法
ES2388397T3 (es) 2004-04-28 2012-10-15 Panasonic Corporation Aparato de generación de un flujo de imágenes en movimiento, aparato de codificación de imágenes en movimiento, aparato de multiplexado de imágenes en movimiento y aparato de descodificación de imágenes en movimiento
JP5138933B2 (ja) 2004-06-25 2013-02-06 パナソニック株式会社 画像符号化方法、画像復号化方法、画像符号化装置、画像復号化装置、集積回路、およびプログラム
KR101050261B1 (ko) 2004-07-14 2011-07-19 에이전시 포 사이언스, 테크놀로지 앤드 리서치 콘텍스트 기반의 신호 엔코딩 및 디코딩
KR20060016243A (ko) 2004-08-17 2006-02-22 엘지전자 주식회사 감시용 디지털 비디오 레코더에서의 멀티 채널 영상표시장치 및 방법
JP4375305B2 (ja) 2004-10-26 2009-12-02 ソニー株式会社 情報処理装置および情報処理方法、記録媒体、並びに、プログラム
US20060120461A1 (en) 2004-12-06 2006-06-08 Roy Knight Two processor architecture supporting decoupling of outer loop and inner loop in video decoder
CA2590705A1 (en) 2005-01-14 2006-07-20 Sungkyunkwan University Methods of and apparatuses for adaptive entropy encoding and adaptive entropy decoding for scalable video encoding
CN101133650B (zh) 2005-04-01 2010-05-19 松下电器产业株式会社 图像解码装置以及图像解码方法
EP1911290A4 (en) 2005-07-08 2010-04-28 Lg Electronics Inc METHOD FOR MODELING A VIDEO SIGNAL CODE INFORMATION FOR COMPRESSING / DECOMPRIMING CODING INFORMATION
EP1913778A4 (en) 2005-07-08 2010-04-28 Lg Electronics Inc METHOD FOR MODELING THE CODING OF INFORMATION OF A VIDEO SIGNAL FOR COMPRESSING / DECOMPRESSING THE INFORMATION
RU2371881C1 (ru) 2005-07-08 2009-10-27 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способ моделирования информации кодирования видеосигнала для компрессии/декомпрессии информации
US20080130989A1 (en) 2005-07-22 2008-06-05 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20090123066A1 (en) 2005-07-22 2009-05-14 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, image decoding method, image encoding program, image decoding program, computer readable recording medium having image encoding program recorded therein,
US20080165849A1 (en) 2005-07-22 2008-07-10 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20090034857A1 (en) 2005-07-22 2009-02-05 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
KR100957754B1 (ko) 2005-07-22 2010-05-12 미쓰비시덴키 가부시키가이샤 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법, 화상 부호화 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체, 화상 복호 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체
US20080130988A1 (en) 2005-07-22 2008-06-05 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20080123977A1 (en) 2005-07-22 2008-05-29 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20080130990A1 (en) 2005-07-22 2008-06-05 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20080137744A1 (en) 2005-07-22 2008-06-12 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US8509551B2 (en) 2005-07-22 2013-08-13 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recording with image encoding program and computer readable recording medium recorded with image decoding program
US20080123947A1 (en) 2005-07-22 2008-05-29 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, image decoding method, image encoding program, image decoding program, computer readable recording medium having image encoding program recorded therein
US8488889B2 (en) 2005-07-22 2013-07-16 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
CN100584025C (zh) 2005-08-04 2010-01-20 华为技术有限公司 一种基于内容自适应的算术解码系统及装置
US7894523B2 (en) 2005-09-05 2011-02-22 Lg Electronics Inc. Method for modeling coding information of a video signal for compressing/decompressing coding information
US7595743B1 (en) 2005-10-26 2009-09-29 Lsi Corporation System and method for reducing storage requirements for content adaptive binary arithmetic coding
JP5089878B2 (ja) 2005-10-28 2012-12-05 パナソニック株式会社 画像符号化装置
US9479794B2 (en) 2005-11-10 2016-10-25 Freescale Semiconductor, Inc. Resource efficient video processing via prediction error computational adjustments
CN100440979C (zh) 2005-12-15 2008-12-03 清华大学 基于上下文的自适应二维变长解码方法和装置
GB0600141D0 (en) * 2006-01-05 2006-02-15 British Broadcasting Corp Scalable coding of video signals
KR101215615B1 (ko) 2006-01-10 2012-12-26 삼성전자주식회사 동일 채널 내에서 서로 다른 코덱을 이용하여 부호화된 비디오 및 오디오 데이터 스트림의 재생을 위한 코덱 변경 방법 및 장치
US7983343B2 (en) 2006-01-12 2011-07-19 Lsi Corporation Context adaptive binary arithmetic decoding for high definition video
JP5101522B2 (ja) 2006-01-13 2012-12-19 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ 適応色空間変換を用いた画像符号化
US20070200949A1 (en) 2006-02-21 2007-08-30 Qualcomm Incorporated Rapid tuning in multimedia applications
KR100750165B1 (ko) * 2006-02-22 2007-08-17 삼성전자주식회사 압축률 향상을 위해 개선된 컨텍스트 모델 선택을 사용하는ｃａｂａｃ 부호화 방법 및 장치, 그리고 ｃａｂａｃ복호화 방법 및 장치
JP2007300517A (ja) 2006-05-02 2007-11-15 Sony Corp 動画像処理方法、動画像処理方法のプログラム、動画像処理方法のプログラムを記録した記録媒体及び動画像処理装置
US7656326B2 (en) 2006-06-08 2010-02-02 Via Technologies, Inc. Decoding of context adaptive binary arithmetic codes in computational core of programmable graphics processing unit
US7262722B1 (en) 2006-06-26 2007-08-28 Intel Corporation Hardware-based CABAC decoder with parallel binary arithmetic decoding
JP4787100B2 (ja) 2006-07-27 2011-10-05 パナソニック株式会社 画像符号化装置
US9883202B2 (en) 2006-10-06 2018-01-30 Nxp Usa, Inc. Scaling video processing complexity based on power savings factor
US8345767B2 (en) * 2006-12-14 2013-01-01 Nec Corporation Video encoding method, video encoding device, and video encoding program
WO2008088768A2 (en) 2007-01-11 2008-07-24 Thomson Licensing Methods and apparatus for using syntax for the coded_block_flag syntax element and the coded_block_pattern syntax element for the cavlc 4:4:4 intra, high 4:4:4 intra, and high 4:4:4 predictive profiles in mpeg-4 avc high level coding
US8204129B2 (en) 2007-03-27 2012-06-19 Freescale Semiconductor, Inc. Simplified deblock filtering for reduced memory access and computational complexity
BRPI0809512A2 (pt) 2007-04-12 2016-03-15 Thomson Licensing método e aparelho para mesclagem dependente de contexto para modos salto-direto para codificação e decodificação de vídeo
JP2008289125A (ja) 2007-04-20 2008-11-27 Panasonic Corp 算術復号化装置及びその方法
CN100531386C (zh) 2007-06-15 2009-08-19 上海富瀚微电子有限公司 一种上下文自适应二进制算术编码器及其方法
RU2339181C1 (ru) * 2007-06-25 2008-11-20 Государственное образовательное учреждение высшего профессионального образования Академия Федеральной службы охраны Российской Федерации (Академия ФСО России) Способ передачи дополнительной информации при фрактальном кодировании изображений
US8422803B2 (en) 2007-06-28 2013-04-16 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method and image decoding method
WO2009028922A2 (en) 2007-09-02 2009-03-05 Lg Electronics Inc. A method and an apparatus for processing a video signal
TWI339074B (en) 2007-09-05 2011-03-11 Via Tech Inc Operating method and device of coded block flag parameter
US7777654B2 (en) 2007-10-16 2010-08-17 Industrial Technology Research Institute System and method for context-based adaptive binary arithematic encoding and decoding
CN103037220B (zh) 2008-01-04 2016-01-13 华为技术有限公司 视频编码、解码方法及装置和视频处理系统
US8542748B2 (en) 2008-03-28 2013-09-24 Sharp Laboratories Of America, Inc. Methods and systems for parallel video encoding and decoding
JP4962400B2 (ja) 2008-04-30 2012-06-27 ソニー株式会社 算術復号装置
US7592937B1 (en) 2008-06-02 2009-09-22 Mediatek Inc. CABAC decoding unit and method
KR20090129926A (ko) 2008-06-13 2009-12-17 삼성전자주식회사 영상 부호화 방법 및 그 장치, 영상 복호화 방법 및 그 장치
FR2932911A1 (fr) 2008-06-24 2009-12-25 France Telecom Procede et dispositif de remplissage des zones d'occultation d'une carte de profondeur ou de disparites estimee a partir d'au moins deux images.
BRPI0915821A2 (pt) * 2008-07-10 2015-11-10 Mitsubishi Electric Corp dispositivos codificador e decodificador de imagem, e, métodos de codificação e de decodificação de imagem.
US8594366B2 (en) 2008-08-19 2013-11-26 Thomson Licensing Context-based adaptive binary arithmetic coding (CABAC) video stream compliance
US8634457B2 (en) 2008-09-26 2014-01-21 Qualcomm Incorporated Determining availability of video data units
US7932843B2 (en) * 2008-10-17 2011-04-26 Texas Instruments Incorporated Parallel CABAC decoding for video decompression
EP2182732A1 (en) * 2008-10-28 2010-05-05 Panasonic Corporation Switching between scans in image coding
WO2010125606A1 (en) 2009-04-29 2010-11-04 Aspa-Japan Co., Ltd. Method for image data compression and compression system of image data
CN102754442A (zh) 2010-02-10 2012-10-24 Lg电子株式会社 处理视频信号的方法和装置
US9237355B2 (en) 2010-02-19 2016-01-12 Qualcomm Incorporated Adaptive motion resolution for video coding
CN102823248B (zh) 2010-04-08 2015-06-24 株式会社东芝 图像编码方法以及图像编码装置
CN102215396A (zh) 2010-04-09 2011-10-12 华为技术有限公司 一种视频编解码方法和系统
US20110249754A1 (en) 2010-04-12 2011-10-13 Qualcomm Incorporated Variable length coding of coded block pattern (cbp) in video compression
US8942282B2 (en) 2010-04-12 2015-01-27 Qualcomm Incorporated Variable length coding of coded block pattern (CBP) in video compression
CN106067985B (zh) 2010-04-13 2019-06-28 Ge视频压缩有限责任公司 跨平面预测
KR102311520B1 (ko) 2010-04-13 2021-10-13 지이 비디오 컴프레션, 엘엘씨 이미지들의 멀티-트리 서브-디비젼을 이용한 비디오 코딩
EP3739883B1 (en) 2010-05-04 2022-11-16 LG Electronics Inc. Method and apparatus for encoding and decoding a video signal
US20110310976A1 (en) 2010-06-17 2011-12-22 Qualcomm Incorporated Joint Coding of Partition Information in Video Coding
WO2012005520A2 (en) 2010-07-09 2012-01-12 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by using block merging, and method and apparatus for decoding video by using block merging
KR20120016980A (ko) 2010-08-17 2012-02-27 한국전자통신연구원 영상 부호화 방법 및 장치, 그리고 복호화 방법 및 장치
DK2624567T3 (da) 2010-09-27 2020-04-14 Lg Electronics Inc Blokinddelingsfremgangsmåde og afkodningsindretning
US8885704B2 (en) 2010-10-01 2014-11-11 Qualcomm Incorporated Coding prediction modes in video coding
PT2625855T (pt) 2010-10-08 2021-03-16 Ge Video Compression Llc Codificação de imagens suportando particionamento de blocos e fusão de blocos
CN107071489B (zh) 2010-11-04 2020-10-30 Ge视频压缩有限责任公司 支持区块合并和跳过模式的图像编码
US9008181B2 (en) 2011-01-24 2015-04-14 Qualcomm Incorporated Single reference picture list utilization for interprediction video coding
CN107277540B (zh) 2011-02-09 2020-05-08 Lg 电子株式会社 编码和解码图像的方法及使用该方法的设备
US20120224639A1 (en) 2011-03-03 2012-09-06 General Instrument Corporation Method for interpolating half pixels and quarter pixels
US9788019B2 (en) 2011-03-09 2017-10-10 Hfi Innovation Inc. Method and apparatus of transform unit partition with reduced complexity
JP5981528B2 (ja) 2011-03-21 2016-08-31 エルジー エレクトロニクス インコーポレイティド 動きベクトル予測子の選択方法及び動きベクトル予測子の選択方法を利用する装置
CN103563380B (zh) 2011-05-27 2017-07-21 寰发股份有限公司 减少用于视频处理的行缓冲的方法及装置
US8995523B2 (en) 2011-06-03 2015-03-31 Qualcomm Incorporated Memory efficient context modeling
CN103621081B (zh) 2011-06-10 2016-12-21 寰发股份有限公司 可伸缩视频编码方法及装置
CN106878731B (zh) 2011-06-23 2019-06-04 太阳专利托管公司 图像编码方法及图像编码装置
TWI581615B (zh) 2011-06-24 2017-05-01 Sun Patent Trust A decoding method, a coding method, a decoding device, an encoding device, and a coding / decoding device
MX2013012019A (es) * 2011-06-24 2013-12-10 Panasonic Corp Metodo de decodificacion de imagenes, metodo de codificacion de imagenes, aparato de decodificacion de imagenes, aparto de codificacion de imagenes y aparato de codificacion y decodificacion de imagenes.
MX2013013483A (es) 2011-06-27 2014-02-27 Panasonic Corp Metodo de decodificacion de imagenes, metodo de codificacion de imagenes, aparato de decodificacion de imagenes, aparato de codificacion de imagenes y aparato de codificacion y decodificacion de imagenes.
CN106878724B (zh) 2011-06-28 2020-06-05 太阳专利托管公司 图像编码解码装置
WO2013001767A1 (ja) 2011-06-29 2013-01-03 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置及び画像符号化復号装置
KR102060619B1 (ko) 2011-06-30 2019-12-30 선 페이턴트 트러스트 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치 및 화상 부호화 복호 장치
JP5905884B2 (ja) * 2011-06-30 2016-04-20 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 復号方法及び復号装置
US20130003858A1 (en) 2011-06-30 2013-01-03 Vivienne Sze Simplified Context Selection For Entropy Coding of Transform Coefficient Syntax Elements
CN104994384B (zh) 2011-07-01 2018-07-20 三星电子株式会社 用于使用分层数据单元进行编码和解码的方法和设备
AU2012281918C1 (en) 2011-07-11 2016-11-17 Sun Patent Trust Decoding Method, Coding Method, Decoding Apparatus, Coding Apparatus, And Coding and Decoding Apparatus
US8804816B2 (en) 2011-08-30 2014-08-12 Microsoft Corporation Video encoding enhancements
US20130188741A1 (en) 2012-01-21 2013-07-25 General Instrument Corporation Devices and methods for sample adaptive offset coding and/or selection of band offset parameters
KR101529994B1 (ko) 2012-06-11 2015-06-29 삼성전자주식회사 컬러성분별로 ｓａｏ 파라미터를 공유하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치

Also Published As

Publication number Publication date
PL2728869T3 (pl) 2022-02-28
US10595022B2 (en) 2020-03-17
US20130004092A1 (en) 2013-01-03
RU2597473C2 (ru) 2016-09-10
US10382760B2 (en) 2019-08-13
CN103583048A (zh) 2014-02-12
CN107181948A (zh) 2017-09-19
EP2728869A4 (en) 2014-12-03
US11792400B2 (en) 2023-10-17
JP2016158258A (ja) 2016-09-01
AU2012277220B2 (en) 2016-08-11
BR112013030562B1 (pt) 2022-05-03
WO2013001770A1 (ja) 2013-01-03
BR112013030562A8 (pt) 2017-07-11
US9794571B2 (en) 2017-10-17
JP2017085573A (ja) 2017-05-18
CN103583048B (zh) 2017-05-17
US20220264097A1 (en) 2022-08-18
US20190320176A1 (en) 2019-10-17
JP2018026869A (ja) 2018-02-15
CN107181948B (zh) 2020-03-13
US20170374367A1 (en) 2017-12-28
JP2019036990A (ja) 2019-03-07
US10165277B2 (en) 2018-12-25
EP2728869A1 (en) 2014-05-07
US20190075295A1 (en) 2019-03-07
MY167090A (en) 2018-08-10
TWI564819B (zh) 2017-01-01
JPWO2013001770A1 (ja) 2015-02-23
MX339141B (es) 2016-05-13
US20200177884A1 (en) 2020-06-04
JP6233760B2 (ja) 2017-11-22
US20230421767A1 (en) 2023-12-28
EP3944617A1 (en) 2022-01-26
AU2012277220A1 (en) 2013-12-12
BR112013030562A2 (pt) 2016-09-27
KR102007047B1 (ko) 2019-08-02
JP6436367B2 (ja) 2018-12-12
RU2013152614A (ru) 2015-09-20
EP2728869B1 (en) 2021-11-10
US9525881B2 (en) 2016-12-20
MX2013013209A (es) 2014-02-20
US20150373335A1 (en) 2015-12-24
JP6044860B2 (ja) 2016-12-14
TW201316777A (zh) 2013-04-16
US20140301444A1 (en) 2014-10-09
CA2837537A1 (en) 2013-01-03
JP6631893B2 (ja) 2020-01-15
US9154780B2 (en) 2015-10-06
US11356666B2 (en) 2022-06-07
KR20140031274A (ko) 2014-03-12
US8792739B2 (en) 2014-07-29
CA2837537C (en) 2019-04-02
US20170064304A1 (en) 2017-03-02
ES2908152T3 (es) 2022-04-27

Similar Documents

Publication Publication Date Title
JP6631893B2 (ja) 符号化復号方法及び符号化復号装置
JP6587076B2 (ja) 符号化復号方法
JP6484885B2 (ja) 符号化方法及び符号化装置
JP6319674B2 (ja) 符号化復号装置
JP6471989B2 (ja) 復号装置及び復号方法
JP2018201206A (ja) 復号方法及び復号装置
WO2012176464A1 (ja) 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置及び画像符号化復号装置
WO2013001767A1 (ja) 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置及び画像符号化復号装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150528

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160223

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160317

R150 Certificate of patent or registration of utility model

Ref document number: 5905884

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S131 Request for trust registration of transfer of right

Free format text: JAPANESE INTERMEDIATE CODE: R313133

SZ02 Written request for trust registration

Free format text: JAPANESE INTERMEDIATE CODE: R313Z02

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250