[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP7167923B2 - 画像処理装置および方法 - Google Patents

画像処理装置および方法 Download PDF

Info

Publication number
JP7167923B2
JP7167923B2 JP2019541991A JP2019541991A JP7167923B2 JP 7167923 B2 JP7167923 B2 JP 7167923B2 JP 2019541991 A JP2019541991 A JP 2019541991A JP 2019541991 A JP2019541991 A JP 2019541991A JP 7167923 B2 JP7167923 B2 JP 7167923B2
Authority
JP
Japan
Prior art keywords
prediction
unit
image
component
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019541991A
Other languages
English (en)
Other versions
JPWO2019054200A1 (ja
Inventor
健史 筑波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2019054200A1 publication Critical patent/JPWO2019054200A1/ja
Application granted granted Critical
Publication of JP7167923B2 publication Critical patent/JP7167923B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)

Description

本開示は、画像処理装置および方法に関し、特に、符号化効率の低減を抑制することができるようにした画像処理装置および方法に関する。
従来、色差のイントラ予測の予測性能を向上させるため、コンポーネント間線形予測という技術があった（例えば、非特許文献１参照）。また、そのコンポーネント間線形予測において、予測性能を向上させるため、参照する輝度コンポーネントを生成するために用いるダウンサンプルフィルタを４つのダウンサンプルフィルタの中から選択するマルチフィルタ線形モデル予測という技術が提案されていた。
Jianle Chen, Elena Alshina, Gary J. Sullivan, Jens-Rainer, Jill Boyce,"Algorithm description of Joint Exploration Test Model 6", JVET-F1001,Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 6th Meeting: Hobart, AU, 2017/6/30
しかしながら、非特許文献１に記載の方法の場合、マルチフィルタモードの適用は、色差フォーマットが420形式であることが前提となっていた。そのため、この非特許文献１に記載のマルチフィルタモードを、例えば422形式等のような、420形式以外の色差フォーマットへ適用することができなかった。そのため、色差フォーマットが420形式以外の場合、符号化効率が低減するおそれがあった。
本開示は、このような状況に鑑みてなされたものであり、符号化効率の低減を抑制することができるようにするものである。
本技術の一側面の画像処理装置は、色差コンポーネントの画素位置に関する情報と色フォーマットに関する情報とに基づいて選択されたフィルタを用いて画素位置が変更された輝度コンポーネントの参照画像の画素値から、線形予測により色差コンポーネントの画素値を予測し、色差コンポーネントの予測画像を生成する予測部と、前記予測部により生成された前記予測画像を用いて、画像が符号化された符号化データの色差コンポーネントを復号する復号部とを備える画像処理装置である。
本技術の一側面の画像処理方法は、色差コンポーネントの画素位置に関する情報と色フォーマットに関する情報とに基づいて選択されたフィルタを用いて画素位置が変更された輝度コンポーネントの参照画像の画素値から、線形予測により色差コンポーネントの画素値を予測し、色差コンポーネントの予測画像を生成し、生成された前記予測画像を用いて、画像が符号化された符号化データの色差コンポーネントを復号する画像処理方法である。
本技術の他の側面の画像処理装置は、色差コンポーネントの画素位置に関する情報と色フォーマットに関する情報とに基づいて選択されたフィルタを用いて画素位置が変更された輝度コンポーネントの参照画像の画素値から、線形予測により色差コンポーネントの画素値を予測し、色差コンポーネントの予測画像を生成する予測部と、前記予測部により生成された前記予測画像を用いて、画像の色差コンポーネントを符号化する符号化部とを備える画像処理装置である。
本技術の他の側面の画像処理方法は、色差コンポーネントの画素位置に関する情報と色フォーマットに関する情報とに基づいて選択されたフィルタを用いて画素位置が変更された輝度コンポーネントの参照画像の画素値から、線形予測により色差コンポーネントの画素値を予測し、色差コンポーネントの予測画像を生成し、生成された前記予測画像を用いて、画像の色差コンポーネントを符号化する画像処理方法である。
本技術の一側面の画像処理装置および方法においては、色差コンポーネントの画素位置に関する情報と色フォーマットに関する情報とに基づいて選択されたフィルタを用いて画素位置が変更された輝度コンポーネントの参照画像の画素値から、線形予測により色差コンポーネントの画素値が予測され、色差コンポーネントの予測画像が生成され、その生成された予測画像を用いて、画像が符号化された符号化データの色差コンポーネントが復号される。
本技術の他の側面の画像処理装置および方法においては、色差コンポーネントの画素位置に関する情報と色フォーマットに関する情報とに基づいて選択されたフィルタを用いて画素位置が変更された輝度コンポーネントの参照画像の画素値から、線形予測により色差コンポーネントの画素値が予測され、色差コンポーネントの予測画像が生成され、その生成された予測画像を用いて、画像の色差コンポーネントが符号化される。
本開示によれば、画像を処理することができる。特に、符号化効率の低減を抑制することができる。
コンポーネント間線形予測の様子の例を示す図である。 処理対象画素および参照画素の例を示す図である。 マルチクラス線形予測の様子の例を示す図である。 マルチフィルタ線形モデル予測の輝度コンポーネントの画素位置を示す図である。 コンポーネント間線形予測に関するシンタックスの例を示す図である。 コンポーネント間線形予測に関するシンタックスの例を示す図である。 コンポーネント間線形予測処理の流れの例を説明するフローチャートである。 従来技術におけるコンポーネント間線形予測の課題について説明するための図である。 CUについての再帰的なブロック分割の概要を説明するための説明図である。 図９に示したCUへのPUの設定について説明するための説明図である。 図９に示したCUへのTUの設定について説明するための説明図である。 CU／PUの走査順について説明するための説明図である。 CU,PU、およびTUの形状を説明する図である。 ブロックに関するセマンティクスの例を示す図である。 画像復号装置の主な構成例を示すブロック図である。 色差サンプル位置情報のシンタックスの例を示す図である。 画像復号処理の流れの例を説明するフローチャートである。 復号処理の流れの例を説明するフローチャートである。 復号処理の流れの例を説明する、図１８に続くフローチャートである。 コンポーネント間線形予測に関するシンタックスの例を示す図である。 輝度コンポーネントのコロケートブロックの例を示す図である。 Angular予測の様子の例を示す図である。 色差サンプル位置タイプの設定について説明するための図である。 色差イントラ予測モードの設定について説明するための図である。 色差イントラ予測モードの設定について説明するための図である。 色差サンプル位置情報のシンタックスの例を示す図である。 色差サンプル位置タイプの設定について説明するための図である。 コンポーネント間線形予測に関するシンタックスの例を示す図である。 予測部の主な構成例を示すブロック図である。 イントラ予測部の主な構成例を示すブロック図である。 CC予測部の主な構成例を示すブロック図である。 Luma/Chroma間予測部の主な構成例を示すブロック図である。 予測処理の流れの例を説明するフローチャートである。 イントラ予測処理の流れの例を説明するフローチャートである。 コンポーネント間線形予測処理の流れの例を説明するフローチャートである。 輝度色差間予測処理の流れの例を説明するフローチャートである。 ダウンサンプルフィルタの選択の様子の例を説明するための図である。 ダウンサンプルフィルタの参照画素位置の例を示す図である。 ダウンサンプルフィルタのフィルタ係数の例を示す図である。 ダウンサンプルフィルタの参照画素位置の例を示す図である。 ダウンサンプルフィルタのフィルタ係数の例を示す図である。 ダウンサンプルフィルタの参照画素位置の例を示す図である。 ダウンサンプルフィルタのフィルタ係数の例を示す図である。 ダウンサンプルフィルタの参照画素位置の例を示す図である。 ダウンサンプルフィルタのフィルタ係数の例を示す図である。 ダウンサンプルフィルタの参照画素位置の例を示す図である。 ダウンサンプルフィルタのフィルタ係数の例を示す図である。 ダウンサンプルフィルタの参照画素位置の例を示す図である。 ダウンサンプルフィルタのフィルタ係数の例を示す図である。 ダウンサンプルフィルタの参照画素位置の例を示す図である。 ダウンサンプルフィルタのフィルタ係数の例を示す図である。 Cb/Cr間残差予測部の主な構成例を示すブロック図である。 色差間残差予測処理の流れの例を説明するフローチャートである。 CUレベル復号処理の流れの例を説明するフローチャートである。 画像符号化装置の主な構成例を示すブロック図である。 画像符号化処理の流れの例を説明するフローチャートである。 符号化処理の流れの例を説明するフローチャートである。 符号化処理の流れの例を説明する、図５７に続くフローチャートである。 予測部の主な構成例を示すブロック図である。 予測処理の流れの例を説明するフローチャートである。 イントラ予測処理の流れの例を説明するフローチャートである。 CUレベル符号化処理の流れの例を説明するフローチャートである。 CUレベル符号化処理の流れの例を説明する、図６２に続くフローチャートである。 復号処理の流れの例を説明するフローチャートである。 復号処理の流れの例を説明する、図６４に続くフローチャートである。 コンポーネント間線形予測に関するシンタックスの例を示す図である。 CC予測部の主な構成例を示すブロック図である。 コンポーネント間線形予測処理の流れの例を説明するフローチャートである。 CUレベル復号処理の流れの例を説明するフローチャートである。 符号化処理の流れの例を説明するフローチャートである。 符号化処理の流れの例を説明する、図７０に続くフローチャートである。 CUレベル符号化処理の流れの例を説明するフローチャートである。 CUレベル符号化処理の流れの例を説明する、図７２に続くフローチャートである。 コンピュータの主な構成例を示すブロック図である。 テレビジョン装置の概略的な構成の一例を示すブロック図である。 携帯電話機の概略的な構成の一例を示すブロック図である。 記録再生装置の概略的な構成の一例を示すブロック図である。 撮像装置の概略的な構成の一例を示すブロック図である。 ビデオセットの概略的な構成の一例を示すブロック図である。 ビデオプロセッサの概略的な構成の一例を示すブロック図である。 ビデオプロセッサの概略的な構成の他の例を示すブロック図である。 ネットワークシステムの概略的な構成の一例を示すブロック図である。
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．コンポーネント間線形予測
２．第１の実施の形態（画像復号装置、コンポーネント間予測）
３．第２の実施の形態（画像符号化装置、コンポーネント間予測）
４．第３の実施の形態（画像復号装置、色差間残差予測の実行制御）
５．第４の実施の形態（画像符号化装置、色差間残差予測の実行制御）
６．まとめ
７．その他
＜１．コンポーネント間線形予測＞
＜コンポーネント間線形予測（CCLMP）について＞
非特許文献１には、色差のイントラ予測の予測性能を向上させるため、コンポーネント間線形予測（CCLMP（Cross Component Linear Model Prediction））という技術がある。なお、このコンポーネント間線形予測（CCLMP）は、コンポーネント間予測（CCP（Cross Component Prediction））とも称する。また、以下においては、輝度信号や輝度成分のことを輝度コンポーネントとも称する。また、色差信号や色差成分のことを色差コンポーネントとも称する。
CCLMP（CCP）とは、図１に示すように、コンポーネント間に線形関係があると仮定し、コンポーネントＡ（色差コンポーネントC）上の予測対象ブロックの画素値を、コンポーネントＡ（色差コンポーネントC）上の予測対象ブロックとコロケート位置にあるコンポーネントＢ（輝度コンポーネントY）の画素値から、例えば以下の式（１）の線形モデルにより予測するイントラ予測の一技術である。
Figure 0007167923000001
・・・（１）
式（１）において、線形モデルのパラメータα，βは、図２のＡに示されるコンポーネントＡ（色差コンポーネントC）の予測対象ブロックの隣接復号画素群と、図２のＢに示されるそのコロケート位置にあるコンポーネントＢ（図２のＢの例では、輝度コンポーネントY）の復号画素群とから、線形回帰（or 最小二乗法）により導出される。例えば、以下の式（２）によってαが導出され、以下の式（３）によってβが導出される。なお、以下において、予測先のコンポーネントを予測対象コンポーネント、予測時に参照元となるコンポーネントを参照コンポーネントとも称する。
Figure 0007167923000002
・・・（２）
Figure 0007167923000003
・・・（３）
式（２）および式（３）において、Nは、色差コンポーネントCの隣接復号画素群のサンプル数（または色差コンポーネントCに対応する縮小された輝度コンポーネントYの復号画素群（縮小輝度復号画素群）のサンプル数）を表す。
また、C(n)は、色差コンポーネントCの隣接復号画素群のn番目のサンプルを表し、L(n)は、色差コンポーネントCに対応する縮小輝度復号画素群のn番目のサンプルを表す。
色差フォーマット（色差アレイタイプChromaArrayTypeともいう）が４２０形式である場合、（x,y）位置にある色差コンポーネント信号と対応する（コロケート位置にある）縮小解像度の輝度コンポーネント信号RecL'[x,y]は、元解像度における輝度コンポーネントの復号画素群RecL[2x,2y]を中心として、例えば、以下の式（４）に示すダウンサンプルフィルタを適用することで導出される。
Figure 0007167923000004
・・・（４）
＜マルチクラスモード（MCLMP）について＞
CCLMPの予測精度をさらに改善するために、図３に示すように予測対象コンポーネント（色差コンポーネント）の予測において参照する参照コンポーネント（輝度コンポーネント）を、Nクラス（N=2）に分割して、そのクラス毎に参照コンポーネントから、予測対象コンポーネントを線形予測するマルチクラス線形予測（MCLMP（Multi-Class Linear Model Prediction）またはMMLMP（Multi Model Linear Model Prediction））という技術がある。例えば、N=２における線形モデル式の一例は、以下の式（５）で表される。
Figure 0007167923000005
・・・（５）
輝度コンポーネントの（縮小）復号画素群RecL'[x,y]の画素値がある閾値Thr以下の場合、クラス１と分類し、該画素値が閾値Thrより大きい場合、クラス２と分類し、各クラスに対応する線形予測式によって、色差コンポーネントの予測信号PredC[x,y]が導出される。閾値Thrは、例えば、縮小輝度復号画素群RecL'[x,y]の平均値である。
＜マルチフィルタモード（MFLMP）について＞
色差フォーマット（色差アレイタイプChromaArrayType）が420形式におけるCCLMPの予測性能を向上させるため、（x,y）位置にある色差信号を線形予測時に参照する輝度信号RecL'[x,y]を生成するために用いるダウンサンプルフィルタを、上述の式（４）のほかに、下記の式（６）乃至式（９）に示す４つのダウンサンプルフィルタへ切り替えてCCLMPを行うマルチフィルタ線形モデル予測（MFLMP（Multi-Filter Linear Model Prediction））という技術が提案されている。
なお、式（４）並びに式（６）乃至式（９）に対応するダウンサンプルフィルタにおいて、輝度コンポーネントの画素位置（サンプル位置）は、それぞれ図４のＡ乃至Ｅに図示する通りである。すなわち、図４のＡが式（４）に対応し、図４のＢが式（６）に対応し、図４のＣが式（７）に対応し、図４のＤが式（８）に対応し、図４のＥが式（９）に対応する。図４において、丸が輝度コンポーネントの画素位置を示し、星がダウンサンプルフィルタで用いられる輝度コンポーネントの画素位置を示す。
Figure 0007167923000006
・・・（６）
Figure 0007167923000007
・・・（７）
Figure 0007167923000008
・・・（８）
Figure 0007167923000009
・・・（９）
＜Cb-to-Cr Residual Predictionについて＞
CCLMPには、２つの色差コンポーネント間で予測残差の線形予測を行う（CbコンポーネントからCrコンポーネント（U成分からV成分）の予測残差を線形予測する）Cb/Cr間残差予測（Cb-to-Cr Residual Prediction）という技術がある。
Cb/Cr間残差予測を含んだCCLMPを表す線形モデル式は、以下の式（１０）によって表現される。
Figure 0007167923000010
・・・（１０）
式（１０）において、predCr[x,y]は、式（１）や式（６）で表されるCCLMPによって輝度コンポーネントから予測されたCr予測画像を表す。predCr *[x,y]は、輝度コンポーネントから得られたCr予測画像predCr[x,y]を、Cbコンポーネントの変換係数coefCbを逆量子化・逆変換して得られる予測残差resiCb[x,y]に重み係数αで乗じたα・resiCb[x,y]を加算して補正されたCr予測画像、すなわち補正後Cr予測画像を表す。
式（１０）において、線形モデルのパラメータαは、Crコンポーネントの予測対象ブロックの隣接復号画素群と、そのコロケート位置にあるCbコンポーネントの復号画素群から、線形回帰（または最小二乗法）により導出される。例えば、式（１１）によって、αは決定される。
Figure 0007167923000011
・・・（１１）
式（１１）において、Nは、Crコンポーネントの隣接復号画素群のサンプル数を表す。また、Cr（n）は、Crコンポーネントの隣接復号画素群のn番目のサンプルを表し、Cb（n）は、Crコンポーネントの隣接復号画素群のコロケート位置にあるCbコンポーネントの隣接復号画素群のn番目のサンプルを表す。ここで、式（１１）のλは、Σ（Cb（n）・Cb（n））≫9の値である。
＜コンポーネント間線形予測、およびその拡張モードのシンタックスについて＞
非特許文献１におけるCCLMPおよびその拡張モード（マルチクラスモード（MCLMP），マルチフィルタモード（MFLMP））に関するシンタックステーブルの一例を図５および図６に示す。
図５および図６において、コンポーネント間線形予測に関連する主なシンタックスは、以下の通りである。
cclmp_enabled_flag：コンポーネント間線形予測有効フラグ。例えば「０」が使用不可を示し、「１」が使用可を示す。
cclmp_flag：コンポーネント間線形予測フラグ。例えば、「０」がコンポーネント間線形予測を使わないことを示し、「１」がコンポーネント間線形予測を使うことを示す。
intra_chroma_pred_mode：色差イントラ予測モード候補リストintraPredCandListCにおけるモード番号を識別する識別子である。
mclmp_flag：マルチクラスモードフラグ（MCLMPフラグ）。例えば「０」が１クラスモード（単一クラスモード）を示し、「１」が２クラスモード（多クラスモード）を示す。
mflmp_flag：マルチフィルタモードフラグ（MFLMPフラグ）。例えば「０」が、MFLMPモードがオフであることを示し、「１」がダウンサンプルフィルタを変更することを示す。
mflmp_idx：マルチフィルタモード識別子（MFLMP識別子）。どのダウンサンプルフィルタを使うかを指定する制御情報である。
LM_CHROMA_IDX：cclmp_flag==1、mclmp_flag==0、かつ、mflm_flag==0のときのCCLMP予測を表すモード番号である。
MMLM_CHROMA_IDX：cclmp_flag==1、かつ、mclmp_flag==1のときのCCLMP予測を表すモード番号である。
LM_CHROMA_FX_IDX：cclmp_flag==1、mclmp_flag==0、mflm_flag==1、かつ、mflm_idx==(X-1)(X=1..4)のときのCCLMP予測を表すモード番号である。
＜マルチフィルタモードの特徴＞
非特許文献１に記載のマルチフィルタモードは、例えば、以下のような特徴を有する。
例えば、非特許文献１において、マルチフィルタモードの適用は、色差フォーマットが420形式であることが前提となっており、その他の色差フォーマット（例えば、422形式）については考慮されていない。そのため、非特許文献１に記載されているマルチフィルタモードを、422形式へ適用することは困難であった。そのため、符号化効率が低減するおそれがあった。
また、色差フォーマットが444形式の場合、輝度コンポーネントと色差コンポーネントの解像度は同一である。そのため、色差コンポーネント信号を線形予測する際に参照する輝度コンポーネント信号RecL'[x,y]を、ダウンサンプルフィルタにより生成する必要がなく、元解像度における輝度コンポーネントの復号画素群RecL[x,y]をそのまま利用することができる。したがって、色差フォーマットが444形式の場合、マルチフィルタモードに関する制御情報の符号化/復号は冗長であった。そのため、符号化効率が低減するおそれがあった。
また、非特許文献１において、ダウンサンプルフィルタの切り替えを行うマルチフィルタモードは、マルチクラスモード（mclmp_flag==1）においてのみ適用され、単一クラスモード（mclmp_flag==0）には適用されていなかった。そのため、符号化効率が低減するおそれがあった。
＜Cb/Cr間残差予測の特徴＞
図７のフローチャートを参照して、デコーダ（図示せず）により実行される非特許文献１に記載のコンポーネント間線形予測（CCLMP）処理の流れの例を説明する。
コンポーネント間線形予測処理が開始されると、ステップＳ１１において、デコーダは、復号対象CU（カレントCUとも称する）に関するシンタックス群を符号化データからパースする。
ステップＳ１２において、デコーダは、輝度コンポーネントの予測画像を生成する。
ステップＳ１３において、デコーダは、逆量子化・逆変換により輝度コンポーネントの変換係数を予測残差へ変換する。
ステップＳ１４において、デコーダは、輝度コンポーネントの予測残差と予測画像から復号画像を復元する。
ステップＳ１５において、デコーダは、輝度コンポーネントの復号画像から、色差コンポーネント（Cb）の予測画像を生成する。
ステップＳ１６において、デコーダは、逆量子化・逆変換により色差コンポーネント（Cb）の変換係数を予測残差へ変換する。
ステップＳ１７において、デコーダは、色差コンポーネント（Cb）の予測残差と予測画像から復号画像を復元する。
ステップＳ１８において、デコーダは、輝度コンポーネントの復号画像から、色差コンポーネント（Cr）の予測画像を生成する。
ステップＳ１９において、デコーダは、逆量子化・逆変換により色差コンポーネント（Cr）の変換係数を予測残差へ変換する。
ステップＳ２０において、デコーダは、色差コンポーネント（Cb）の予測残差を使って、色差コンポーネント（Cr）の予測画像を補正する（Cb/Cr間残差予測）。
ステップＳ２１において、デコーダは、色差コンポーネント（Cr）の予測残差と補正後予測画像から復号画像を復元する。
図７に示す通り、処理対象の符号化ユニットにおいて、コンポーネント間線形予測を行う場合、Cbコンポーネントの予測画像の生成（ステップＳ１５）は、輝度コンポーネントの復号が終わらないと実行することができない。同様に、Crコンポーネントの予測画像の生成(ステップＳ１８)も、輝度コンポーネントの復号が終わらないと実行することができない。さらに、Crコンポーネントの予測画像の補正（ステップＳ２０）は、Crコンポーネントの予測残差の生成（ステップＳ１６）が終わらないと実行することができない。
以上のように、コンポーネント間予測は、コンポーネント間の依存が発生する。特に、Crコンポーネントは、輝度コンポーネントとCbコンポーネントの両方に依存するため、Cbコンポーネントの復号に比べて、遅延がさらに増大してしまうおそれがあった。
まとめると、非特許文献１に記載のコンポーネント間線形予測は、図８に示されるような課題を有する。
＜色差サンプル位置情報と色差アレイタイプに基づくフィルタの選択＞
そこで、色差コンポーネントの画素位置に関する情報と色フォーマットに関する情報（色差アレイタイプ）とに基づいて選択されたフィルタを用いて画素位置が変更された輝度コンポーネントの参照画像の画素値から、線形予測により色差コンポーネントの画素値を予測し、色差コンポーネントの予測画像を生成するようにする。このようにすることにより、符号化効率の低減を抑制することができる。
＜ブロック分割＞
ところで、MPEG2（Moving Picture Experts Group 2(ISO/IEC 13818-2)）やMPEG-4 Part10 （Advanced Video Coding、以下AVCと記す）などの旧来の画像符号化方式では、符号化処理は、マクロブロックと呼ばれる処理単位で実行される。マクロブロックは、16x16画素の均一なサイズを有するブロックである。これに対し、HEVC（High Efficiency Video Coding）では、符号化処理は、CU（Coding Unit）と呼ばれる処理単位（符号化単位）で実行される。CUは、最大符号化単位であるLCU（Largest Coding Unit）を再帰的に分割することにより形成される、可変的なサイズを有するブロックである。選択可能なCUの最大サイズは、64x64画素である。選択可能なCUの最小サイズは、8x8画素である。最小サイズのCUは、SCU（Smallest Coding Unit）と呼ばれる。なお、CUの最大サイズは、64x64画素に限定されず、より大きい128x128画素、256x256画素などのブロックサイズとしてもよい。
このように、可変的なサイズを有するCUが採用される結果、HEVCでは、画像の内容に応じて画質および符号化効率を適応的に調整することが可能である。予測符号化のための予測処理は、PU（Prediction Unit）と呼ばれる処理単位（予測単位）で実行される。PUは、CUをいくつかの分割パタンのうちの１つで分割することにより形成される。また、PUは、輝度(Y)および色差(Cb,Cr)毎のPB(Prediction Block)と呼ばれる処理単位(予測ブロック)から構成される。さらに、直交変換処理は、TU（Transform Unit）と呼ばれる処理単位（変換単位）で実行される。TUは、CUまたはPUをある深さまで分割することにより形成される。また、TUは、輝度(Y)および色差(Cb, Cr)毎のTB(Transform Block)と呼ばれる処理単位（変換ブロック）から構成される。
＜再帰的なブロックの分割＞
図９は、HEVCにおけるCUについての再帰的なブロック分割の概要を説明するための説明図である。CUのブロック分割は、１つのブロックの４（=2x2）個のサブブロックへの分割を再帰的に繰り返すことにより行われ、結果として四分木（Quad-Tree）状のツリー構造が形成される。１つの四分木の全体をCTB（Coding Tree Block）といい、CTBに対応する論理的な単位をCTU（Coding Tree Unit）という。
図９の上部には、一例として、64x64画素のサイズを有するCUであるＣ０１が示されている。Ｃ０１の分割の深さは、ゼロに等しい。これは、Ｃ０１がCTUのルートでありLCUに相当することを意味する。LCUサイズは、SPS（Sequence Parameter Set）またはPPS（Picture Parameter Set）において符号化されるパラメータにより指定され得る。CUであるＣ０２は、Ｃ０１から分割される４つのCUのうちの１つであり、32x32画素のサイズを有する。Ｃ０２の分割の深さは、１に等しい。CUであるＣ０３は、Ｃ０２から分割される４つのCUのうちの１つであり、16x16画素のサイズを有する。Ｃ０３の分割の深さは、２に等しい。CUであるＣ０４は、Ｃ０３から分割される４つのCUのうちの１つであり、8x8画素のサイズを有する。Ｃ０４の分割の深さは、３に等しい。このように、CUは、符号化される画像を再帰的に分割することにより形成される。分割の深さは、可変的である。例えば、青空のような平坦な画像領域には、より大きいサイズの（即ち、深さが小さい）CUが設定され得る。一方、多くのエッジを含む急峻な画像領域には、より小さいサイズの（即ち、深さが大きい）CUが設定され得る。そして、設定されたCUの各々が、符号化処理の処理単位となる。
＜CUへのPUの設定＞
PUは、イントラ予測およびインター予測を含む予測処理の処理単位である。PUは、CUをいくつかの分割パタンのうちの１つで分割することにより形成される。図１０は、図９に示したCUへのPUの設定について説明するための説明図である。図１０の右には、2Nx2N、2NxN、Nx2N、NxN、2NxnU、2NxnD、nLx2N、およびnRx2Nという、８種類の分割パタンが示されている。これら分割パタンのうち、イントラ予測では、2Nx2NおよびNxNの２種類が選択可能である（NxNはSCUでのみ選択可能）。これに対してインター予測では、非対称動き分割が有効化されている場合に、８種類の分割パタンの全てが選択可能である。
＜CUへのTUの設定＞
TUは、直交変換処理の処理単位である。TUは、CU（イントラCUについては、CU内の各PU）をある深さまで分割することにより形成される。図１１は、図１０に示したCUへのTUの設定について説明するための説明図である。図１１の右には、Ｃ０２に設定され得る１つ以上のTUが示されている。例えば、TUであるＴ０１は、32x32画素のサイズを有し、そのTU分割の深さはゼロに等しい。TUであるＴ０２は、16x16画素のサイズを有し、そのTU分割の深さは１に等しい。TUであるＴ０３は、8x8画素のサイズを有し、そのTU分割の深さは２に等しい。
上述したCU、PU、およびTUといったブロックを画像に設定するためにどのようなブロック分割を行うかは、典型的には、符号化効率を左右するコストの比較に基づいて決定される。エンコーダは、例えば１つの2Mx2M画素のCUと、４つのMxM画素のCUとの間でコストを比較し、４つのMxM画素のCUを設定した方が符号化効率が高いならば、2Mx2M画素のCUを４つのMxM画素のCUへと分割することを決定する。
＜CUとPUの走査順＞
画像を符号化する際、画像（またはスライス、タイル）内に格子状に設定されるCTB（またはLCU）が、ラスタスキャン順に走査される。１つのCTBの中では、CUは、四分木を左から右、上から下に辿るように走査される。カレントブロックを処理する際、上および左の隣接ブロックの情報が入力情報として利用される。図１２は、CUとPUの走査順について説明するための説明図である。図１２の左上には、１つのCTBに含まれ得る４つのCUである、Ｃ１０、Ｃ１１、Ｃ１２、およびＣ１３が示されている。各CUの枠内の数字は、処理の順序を表現している。符号化処理は、左上のCUであるＣ１０、右上のCUであるＣ１１、左下のCUであるＣ１２、右下のCUであるＣ１３の順で実行される。図１２の右には、CUであるＣ１１に設定され得るインター予測のための１つ以上のPUが示されている。図１２の下には、CUであるＣ１２に設定され得るイントラ予測のための１つ以上のPUが示されている。これらPUの枠内の数字に示したように、PUもまた、左から右、上から下に辿るように走査される。
以下においては、画像（ピクチャ）の部分領域や処理単位として「ブロック」を用いて説明する場合がある（処理部のブロックではない）。この場合の「ブロック」は、ピクチャ内の任意の部分領域を示し、その大きさ、形状、および特性等は限定されない。つまり、この場合の「ブロック」には、例えば、TB、TU、PB、PU、SCU、CU、LCU（CTB）、サブブロック、マクロブロック、タイル、またはスライス等、任意の部分領域（処理単位）が含まれるものとする。
＜CU,PU、およびTUの形状＞
なお、画像データの符号化・復号のブロック構造は、任意であり、上述の例に限定されない。例えば、以下のようなQTBT（Quad tree plus binary tree）構造が適用されるようにしてもよい。
例えば、図１３に示されるCU,PU、およびTU（Transform Unit）は、JVET-C0024, “EE2.1: Quadtree plus binary tree structure integration with JEM tools”に記載されているQTBTのCU,PU、およびTUである。具体的には、CUのブロック分割では、１つのブロックを４（=2x2）個だけでなく、２（=1x2,2x1）個のサブブロックにも分割することができる。即ち、CUのブロック分割は、１つのブロックを４個または２個のサブブロックへの分割を再帰的に繰り返すことにより行われ、結果として四分木（Quad-Tree）状または水平方向もしくは垂直方向の２分木（Binary-Tree）状のツリー構造が形成される。
その結果、CUの形状は、正方形だけでなく、長方形である可能性がある。例えば、LCU（Largest Coding Unit）サイズが128x128である場合、CUのサイズ（水平方向のサイズｗ×垂直方向のサイズｈ）は、図１３に示されるように、128x128,64x64,32x32,16x16,8x8,4x4といった正方形のサイズだけでなく、128x64,128x32,128x16,128x8,128x4,64x128,32x128,16x128,8x128,4x128,64x32,64x16,64x8,64x4,32x64,16x64,8x64,4x64,32x16,32x8,32x4,16x32,8x32,4x32,16x8,16x4,8x16,4x16, 8x4,4x8といった長方形のサイズである可能性がある。なお、PUとTUは、CUと同一である。
さらに、TUには、輝度（Y）の変換ブロック、および色差（Cb/Cr）の変換ブロックが含まれる。色フォーマットが4:2:0（例えば、YUV420）の場合、輝度のピクチャサイズに対する色差のピクチャサイズの比は、縦幅、横幅ともに1/2である。したがって、輝度の変換ブロックサイズが8x4であれば、対応する色差の変換ブロックサイズは4x2となる。また、色フォーマットが4:2:2（例えば、YUV422）の場合、輝度のピクチャサイズに対する色差のピクチャサイズの比は、縦幅が1/2、横幅が１となる。したがって、輝度の変換ブロックサイズが8x4であれば、対応する色差の変換ブロックサイズは8x2となる。また、色フォーマットが4:4:4（例えば、YUV444）の場合、輝度のピクチャサイズに対する色差のピクチャサイズの比は、縦幅が1、横幅が１となる。したがって、輝度の変換ブロックサイズが8x4であれば、対応する色差の変換ブロックサイズは8x4である。
なお、Iスライスに関しては、輝度（Y）と色差（Cb/Cr）とで別々のCUとして符号化してもよい。この場合、輝度と色差とで、異なるCUの分割構造をとることができるため、Ｉスライスの符号化効率が向上するという効果を有する。以下では、便宜上、同一CU内には、輝度、および色差の情報が含まれているものとして説明するが、これに限定されない。
図１４に、JEMにおけるこれらのブロックに関する情報のセマンティクスの例を示す。本技術は以上のようなQTBT構造の画像符号化・画像復号にも適用することができる。
＜２．第１の実施の形態＞
＜画像復号装置＞
図１５は、本技術を適用した画像処理装置の一態様である画像復号装置の構成の一例を示すブロック図である。図１５に示される画像復号装置１００は、AVCやHEVCのように、画像とその予測画像との予測残差が符号化された符号化データを復号する装置である。例えば、画像復号装置１００は、HEVCに提案された技術や、JVET（Joint Video Exploration Team）にて提案された技術を実装している。
図１５において、画像復号装置１００は、復号部１１１、逆量子化部１１２、逆変換部１１３、予測部１１４、演算部１１５、フレームメモリ１１６、およびループフィルタ部１１７を備える。画像復号装置１００は、入力される符号化データ#1（bitstream）を復号することによって、動画像#2を生成するための装置である。
＜復号部＞
復号部１１１は、画像の復号に関する処理を行う。例えば、復号部１１１は、符号化データ＃１を入力とし、シンタックステーブルの定義に沿って、符号化データ＃１のビット列から、各シンタックス要素のシンタックス値を可変長復号し、パラメータを導出するように構成される。
シンタックス要素およびシンタックス要素のシンタックス値から導出されるパラメータには、例えば、ヘッダ情報Hinfo、予測モード情報Pinfo、変換情報Tinfo、残差情報Rinfo、フィルタ情報Finfoなどの情報が含まれる。これらの情報について以下に説明する。
＜ヘッダ情報Hinfo＞
ヘッダ情報Hinfoは、例えば、VPS（Video Parameter Set）／SPS（Sequence Parameter Set）／PPS（Picture Parameter Set）／SH（スライスヘッダ）などのヘッダ情報を含む。ヘッダ情報Hinfoには、例えば、画像サイズ（横幅PicWidth、縦幅PicHeight）、ビット深度（輝度bitDepthY, 色差bitDepthC）、色差アレイタイプChromaArrayType、CUサイズの最大値MaxCUSize／最小値MinCUSize、４分木分割（Quad-tree分割ともいう）の最大深度MaxQTDepth/最小深度MinQTDepth、２分木分割（Binary-tree分割）の最大深度MaxBTDepth/最小深度MinBTDepth、変換スキップブロックの最大値MaxTSSize（最大変換スキップブロックサイズともいう）、各符号化ツールのオンオフフラグ（有効フラグともいう）などを規定する情報が含まれる。
例えば、ヘッダ情報Hinfoに含まれる符号化ツールのオンオフフラグとしては、以下に示す変換、量子化処理に関わるオンオフフラグがある。なお、符号化ツールのオンオフフラグは、該符号化ツールに関わるシンタックスが符号化データ中に存在するか否かを示すフラグとも解釈することができる。また、オンオフフラグの値が１（真）の場合、該符号化ツールが使用可能であることを示し、オンオフフラグの値が０（偽）の場合、該符号化ツールが使用不可であることを示す。なお、フラグ値の解釈は逆であってもよい。
コンポーネント間予測有効フラグ（ccp_enabled_flag）:コンポーネント間予測（CCP（Cross-Component Prediction），CC予測とも称する）が使用可能であるか否かを示すフラグ情報である。例えば、このフラグ情報が「１」（真）の場合、使用可能であることが示され、「０」（偽）の場合、使用不可であることが示される。
なお、このCCPは、コンポーネント間線形予測（CCLMまたはCCLMP）とも称する。
＜予測モード情報Pinfo＞
予測モード情報Pinfoには、例えば、処理対象PB（予測ブロック）のサイズ情報PBSize（予測ブロックサイズ）、イントラ予測モード情報IPinfo、動き予測情報MVinfo等の情報が含まれる。
イントラ予測モード情報IPinfoには、例えば、JCTVC-W1005, 7.3.8.5 Coding Unit syntax中のprev_intra_luma_pred_flag, mpm_idx, rem_intra_pred_mode、およびそのシンタックスから導出される輝度イントラ予測モードIntraPredModeY等が含まれる。
また、イントラ予測モード情報IPinfoには、例えば、コンポーネント間予測フラグ（ccp_flag（cclmp_flag））、多クラス線形予測モードフラグ（mclm_flag）、色差サンプル位置タイプ識別子（chroma_sample_loc_type_idx）、色差MPM識別子（chroma_mpm_idx）、および、これらのシンタックスから導出される輝度イントラ予測モード（IntraPredModeC）等が含まれる。
コンポーネント間予測フラグ（ccp_flag（cclmp_flag））は、コンポーネント間線形予測を適用するか否かを示すフラグ情報である。例えば、ccp_flag==1のとき、コンポーネント間予測を適用することを示し、ccp_flag==0のとき、コンポーネント間予測を適用しないことを示す。
多クラス線形予測モードフラグ（mclm_flag）は、線形予測のモードに関する情報（線形予測モード情報）である。より具体的には、多クラス線形予測モードフラグ（mclm_flag）は、多クラス線形予測モードにするか否かを示すフラグ情報である。例えば、「０」の場合、１クラスモード（単一クラスモード）（例えばCCLMP）であることを示し、「１」の場合、２クラスモード（多クラスモード）（例えばMCLMP）であることを示す。
色差サンプル位置タイプ識別子（chroma_sample_loc_type_idx）は、色差コンポーネントの画素位置のタイプ（色差サンプル位置タイプとも称する）を識別する識別子である。例えば色フォーマットに関する情報である色差アレイタイプ（ChromaArrayType）が420形式を示す場合、色差サンプル位置タイプ識別子は、以下のような割り当て方となる。
chroma_sample_loc_type_idx == 0 : Type2
chroma_sample_loc_type_idx == 1 : Type3
chroma_sample_loc_type_idx == 2 : Type0
chroma_sample_loc_type_idx == 3 : Type1
なお、この色差サンプル位置タイプ識別子（chroma_sample_loc_type_idx）は、例えば、図１６に示されるシンタックスのように、色差コンポーネントの画素位置に関する情報（chroma_sample_loc_info()）として（に格納されて）伝送される。
色差MPM識別子（chroma_mpm_idx）は、色差イントラ予測モード候補リスト（intraPredModeCandListC）の中のどの予測モード候補を色差イントラ予測モードとして指定するかを表す識別子である。
動き予測情報MVinfoには、例えば、merge_idx, merge_flag, inter_pred_idc, ref_idx_LX, mvp_lX_flag, X={0,1}, mvd等の情報が含まれる（例えば、JCTVC-W1005, 7.3.8.6 Prediction Unit Syntaxを参照）。
もちろん、予測モード情報Pinfoに含まれる情報は任意であり、これらの情報以外の情報が含まれるようにしてもよい。
＜変換情報Tinfo＞
変換情報Tinfoには、例えば、以下の情報が含まれる。もちろん、変換情報Tinfoに含まれる情報は任意であり、これらの情報以外の情報が含まれるようにしてもよい。
処理対象変換ブロックの横幅サイズTBWidthおよび縦幅TBHeight（または、２を底とする各TBWidth、TBHeightの対数値log2TBWidth、log2TBHeightであってもよい）。
変換スキップフラグ（ts_flag）:（逆）プライマリ変換および（逆）セカンダリ変換をスキップか否かを示すフラグである。
スキャン識別子（scanIdx）
量子化パラメータ（qp）
量子化マトリックス（scaling_matrix（例えば、JCTVC-W1005, 7.3.4 Scaling list data syntax））
＜残差情報Rinfo＞
残差情報Rinfo（例えば、JCTVC-W1005の7.3.8.11 Residual Coding syntaxを参照）には、例えば以下のシンタックスが含まれる。
cbf（coded_block_flag）：残差データ有無フラグ
last_sig_coeff_x_pos：ラスト非ゼロ係数X座標
last_sig_coeff_y_pos：ラスト非ゼロ係数Y座標
coded_sub_block_flag：サブブロック非ゼロ係数有無フラグ
sig_coeff_flag：非ゼロ係数有無フラグ
gr1_flag：非ゼロ係数のレベルが１より大きいかを示すフラグ（GR1フラグとも呼ぶ）
gr2_flag：非ゼロ係数のレベルが２より大きいかを示すフラグ(GR2フラグとも呼ぶ)
sign_flag：非ゼロ係数の正負を示す符号（サイン符号とも呼ぶ）
coeff_abs_level_remaining:非ゼロ係数の残余レベル（非ゼロ係数残余レベルとも呼ぶ）
など。
＜フィルタ情報Finfo＞
フィルタ情報Finfoには、例えば、以下に示す各フィルタ処理に関する制御情報が含まれ、各フィルタを適用するピクチャや、ピクチャ内の領域を指定する情報や、CU単位のフィルタOn/Off制御情報、スライス、タイルの境界に関するフィルタOn/Off制御情報などがある。
デブロッキングフィルタ(DBF)に関する制御情報
画素適応オフセット(SAO)に関する制御情報
適応ループフィルタ(ALF)に関する制御情報
その他の線形・非線形フィルタに関する制御情報
＜復号部の動作＞
復号部１１１は、残差情報Rinfoを参照して、各変換ブロック内の各係数位置の量子化変換係数レベルlevelを導出する。また、復号部１１１は、復号して得たヘッダ情報Hinfo、予測モード情報Pinfo、量子化変換係数レベルlevel、変換情報Tinfo、フィルタ情報Finfoを各ブロックへ供給する。具体的には以下の通りである。
ヘッダ情報Hinfoは、逆変換部１１３、逆量子化部１１２、予測部１１４、ループフィルタ部１１７に供給される。
予測モード情報Pinfoは、予測部１１４に供給される。
量子化変換係数レベルlevelは、逆量子化部１１２に供給される。
変換情報Tinfoは、逆変換部１１３、逆量子化部１１２に供給される。
フィルタ情報Finfoは、ループフィルタ部１１７に供給される。
復号部１１１は、例えば、符号化データに含まれるコンポーネント間線形予測に関する情報をパースして復号し、取得する。このコンポーネント間線形予測に関する情報は、コンポーネント間線形予測に関するものであればどのような情報であってもよい。例えば、コンポーネント間線形予測に関する処理を制御する制御情報が含まれていてもよい。
このコンポーネント間線形予測に関する制御情報は、コンポーネント間線形予測に関するものであればどのような制御情報であってもよい。例えば、上述の、コンポーネント間予測有効フラグ（ccp_enabled_flag）、コンポーネント間予測フラグ（ccp_flag（cclmp_flag））、多クラス線形予測モードフラグ（mclm_flag）、色差アレイタイプ（ChromaArrayType）、色差サンプル位置タイプ識別子（chroma_sample_loc_type_idx）等の情報が含まれていてもよい。もちろん、これら以外の情報が含まれていてもよい。
復号部１１１は、取得したコンポーネント間線形予測に関する情報を予測部１１４に供給する。したがって、予測部１１４は、その情報に基づいてコンポーネント間線形予測に関する処理を実行することができる。
＜逆量子化部＞
逆量子化部１１２は、逆量子化に関する処理を行う。例えば、逆量子化部１１２は、復号部１１１から供給される変換情報Tinfoおよび量子化変換係数レベルlevelを入力とし、変換情報Tinfoに基づいて、量子化変換係数レベルlevelの値をスケーリング（逆量子化）し、逆量子化後の変換係数Coeff_IQを逆変換部１１３へ出力するように構成される。
＜逆変換部＞
逆変換部１１３は、逆変換に関する処理を行う。例えば、逆変換部１１３は、変換係数Coeff_IQ、および変換情報Tinfoを入力とし、変換情報Tinfoに基づいて、変換係数Coeff_IQに対して、逆変換を適用し、予測残差D'を導出し、演算部１１５へ出力するように構成される。
＜演算部＞
演算部１１５は、画像に関する情報の加算に関する処理を行う。例えば、演算部１１５は、逆変換部１１３から供給される予測残差D'、および予測部１１４から供給される予測画像Pを入力とし、以下の式（１２）に示されるように、予測残差D'と予測残差D'に対応する予測画像P（予測信号）とを加算し、局所復号画像Rlocalを導出し、出力するように構成される。
Rlocal = D' + P ・・・（１２）
＜予測部＞
予測部１１４は、予測画像の生成に関する処理を行う。例えば、予測部１１４は、予測モード情報Pinfoを入力とし、予測モード情報Pinfoによって指定される予測方法により、予測モード情報Pinfoによって指定される、フレームメモリ１１６に格納されたフィルタ後の復号画像R'（またはフィルタ前の復号画像R）を参照画像として予測画像Pを生成し、演算部１１５に出力するように構成される。
＜ループフィルタ部＞
ループフィルタ部１１７は、ループフィルタ処理に関する処理を行う。例えば、ループフィルタ部１１７は、復号画像Rをフレームメモリ１１６から読み出し、フィルタ情報Finfoによって指定されるループフィルタ処理により、フィルタ後の復号画像R'を生成する。また、ループフィルタ部１１７は、フィルタ後の復号画像R'を、フレームメモリ１１６へ供給する。なお、ループフィルタ部１１７が行うループフィルタ処理には、デブロッキングフィルタ（DBF（DeBlocking Filter））や、画素適応オフセット（SAO（Sample Adaptive Offset））や、適応ループフィルタ（ALF(Adaptive Loop Filter)）や、その他の線形・非線形フィルタ（ウィーナーフィルタ、バイラテラルフィルタなど）が含まれる。
＜フレームメモリ＞
フレームメモリ１１６は、画像に関するデータの記憶に関する処理を行う。例えば、フレームメモリ１１６は、演算部１１５より供給される局所復号画像Rlocalを入力とし、ピクチャ単位毎の復号画像Rを再構築して、フレームメモリ１１６内のバッファへ格納する。フレームメモリ１１６は、復号画像Rをバッファより読み出し、ループフィルタ部１１７へ供給する。
フレームメモリ１１６は、ループフィルタ部１１７より供給されるループフィルタ処理された後の復号画像R'をフレームメモリ１１６内のバッファへ格納する。フレームメモリ１１６は、予測部１１４の予測モード情報Pinfoによって指定される復号画像Rあるいはフィルタ後の復号画像R'を参照画像としてバッファより読み出し、予測部１１４へ供給する。また、フレームメモリ１１６は、復号画像の生成に係るヘッダ情報Hinfo、予測モード情報Pinfo、変換情報Tinfo、フィルタ情報Finfoなどをフレームメモリ内のバッファへ格納しても良い。フレームメモリ１１６は、以上のような各種処理を行うように構成される。
つまり、復号部１１１乃至演算部１１５は、予測部１１４により生成された予測画像を用いて、画像が符号化された符号化データの色差コンポーネントを復号する復号部として作用する。
＜画像復号処理の流れ＞
次に、以上のような構成の画像復号装置１００において実行される処理について説明する。画像復号装置１００は、画像復号処理を実行することにより例えば符号化側から供給される画像に関するデータが符号化された符号化データの復号に関する処理を行う。
画像復号処理が開始されると、復号部１１１は、ステップＳ１０１において、入力される符号化データ（ビットストリーム）を復号し、画像に関するデータを取得する。この画像に関するデータは、量子化されている。つまり、量子化係数が得られる。ステップＳ１０２において、逆量子化部１１２は、ステップＳ１０１において得られた量子化係数に対して、符号化側で行われた量子化の逆処理である逆量子化を行い、変換係数Coeff_IQを得る。
ステップＳ１０３において、逆変換部１１３は、ステップＳ１０２の処理により得られた変換係数Coeff_IQに対して、符号化側で行われた変換処理の逆処理である逆変換処理を行い、予測残差D'を得る。ステップＳ１０４において、予測部１１４は、予測処理を実行し、フレームメモリ１１６に記憶されている参照画像を参照し、符号化側より指定される予測方法で予測画像Pを生成する。
ステップＳ１０５において、演算部１１５は、ステップS１０３の処理により得られた予測残差D'と、ステップＳ１０４の処理により得られた予測画像Pとを式（１２）のように加算し、局所復号画像Rlocalを導出する。演算部１１５は、この局所復号画像Rlocalを復号画像として出力する。
また、ステップＳ１０６において、フレームメモリ１１６は、ステップＳ１０５の処理により得られた局所復号画像Rlocalを記憶する。ステップＳ１０７において、ループフィルタ部１１７は、フレームメモリ１１６に記憶されている局所復号画像に対して所定のフィルタ処理を行う。なお、フィルタ後の局所復号画像は、フレームメモリ１１６において記憶される。
ステップＳ１０７の処理が終了すると、画像復号処理が終了する。
＜復号処理の流れ＞
図１８および図１９のフローチャートを参照して、コンポーネント間予測の制御情報（コンポーネント間予測情報CCInfo）および色差イントラ予測モードIntraPredModeCの復号処理、並びに、関連シンタックス等(coding_unit ())の復号処理の流れの例を説明する。なお、図２０は、図１８および図１９のフローチャートに対応するcoding_unit()のシンタックステーブルの一例である。
復号処理が開始されると、復号部１１１は、ステップＳ１２１において、符号化データからコンポーネント間予測有効フラグccp_enabled_flagをパースし、復号する（符号化データよりコンポーネント間予測有効フラグccp_enabled_flagを取得する）。
ステップＳ１２２において、復号部１１１は、以下の式（１３）に示すcondition 1を満たすか否かを判定する。
Condition 1: ccp_enabled_flag == 1
・・・（１３）
すなわち、復号部１１１は、コンポーネント間予測有効フラグccp_enabled_flagが１（真）であるか否かを判定する。上述の式（１３）を満たすと判定された場合（ccp_enabled_flagが１（真）であると判定された場合）、処理はステップＳ１２３に進む。
ステップＳ１２３において、復号部１１１は、符号化データに含まれるコンポーネント間予測フラグccp_flagをパースし、復号する（符号化データよりコンポーネント間予測フラグccp_flagを取得する）。ステップＳ１２３の処理が終了すると、処理はステップＳ１２５に進む。
また、ステップＳ１２２において、上述の式（１３）を満たさないと判定された場合（ccp_enabled_flagが０（偽）であると判定された場合）、処理はステップＳ１２４に進む。
ステップＳ１２４において、復号部１１１は、コンポーネント間予測フラグccp_flagをパースせずに（符号化データから取得せずに）、０（偽）を設定する（ccp_flag=0）。ステップＳ１２４の処理が終了すると、処理はステップＳ１２５に進む。
ステップＳ１２５において、復号部１１１は、以下の式（１４）に示すcondition 2を満たすか否かを判定する。
Condition 2: ccp_flag == 0
・・・（１４）
すなわち、復号部１１１は、コンポーネント間予測フラグccp_flagが０（偽）であるか否かを判定する。上述の式（１４）を満たすと判定された場合（ccp_flagが０（偽）であると判定された場合）、処理はステップＳ１２６に進む。
なお、上述の式（１４）は、等価の結果が得られれば、その他判定式に変更してもよい。例えば、以下の式（１５）に置き換えてもよい。
Condition2a: !ccp_flag
・・・（１５）
ステップＳ１２６において、復号部１１１は、符号化データに含まれる色差MPM識別子chroma_mpm_idxをパースし、復号する（符号化データより色差MPM識別子chroma_mpm_idxを取得する）。
ステップＳ１２７において、復号部１１１は、処理対象符号化ユニットの色差ブロックのコロケート位置にある輝度ブロック（コロケート輝度ブロック）と、隣接輝度（サブ）ブロックの復号済予測モード情報PInfoを参照して、当該処理対象符号化ユニットの色差ブロックに適用する色差イントラ予測モード候補リストintraPredModeCandListCを導出する。
例えば、図２１に示す輝度サブブロックの各輝度イントラ予測モードintraPredModeLのうち、重複しない輝度イントラ予測モードを、色差イントラ予測モード候補リストintraPredModeCandListCに順番に追加すればよい。
コロケート輝度ブロックCol
コロケート輝度ブロックの上辺左端に位置する輝度サブブロックA1
コロケート輝度ブロックの上辺部右端に位置する輝度サブブロックA2
コロケート輝度ブロックの右上に位置する輝度サブブロックA3
コロケート輝度ブロックの左辺上端に位置する輝度サブブロックB1
コロケート輝度ブロックの左辺下端に位置する輝度サブブロックB2
コロケート輝度ブロックの左下に位置する輝度サブブロックB3
なお、これらのCol，A1乃至A3，B1乃至B3のイントラ予測モードに加えて、主要イントラ予測モード（図２２のうち、例えば、Planar予測、DC予測、Angular予測のうち水平予測（HOR_IDX=18）、および垂直予測（VER_IDX=50）の４つのイントラ予測モード）を追加した上で、重複しないイントラ予測モードのみで色差イントラ予測モード候補リストintraPredModeCandListCを構成するようにしてもよい。
また、これらのCol，A1乃至A3，B1乃至B3の６つの輝度（サブ）ブロックすべてを参照して、色差イントラ予測モード候補リストintraPredModeCandListCを構成するようにしてもよいし、その一部のブロックを参照して、色差イントラ予測モード候補リストintraPredModeCandListCを構成するようにしてもよい。
ステップＳ１２８において、復号部１１１は、以下の式（１６）に示すように、色差イントラ予測モード候補リストintraPredModeCandListCから、色差MPM識別子chroma_mpm_idxで指定される候補イントラ予測モードintraPredModeCandListC[chroma_mpm_idx]を、色差イントラ予測モードintraPredModeCとして選択する。
intraPredModeC = intraPredCandListC[ chroma_mpm_idx ]
・・・（１６）
ステップＳ１２８の処理が終了すると、復号処理が終了し、処理は図１７に戻る。
また、図１８のステップＳ１２５において、上述の式（１４）を満たさないと判定された場合（ccp_flagが１（真）であると判定された場合）、処理は図１９のステップＳ１３１に進む。
ステップＳ１３１において、復号部１１１は、以下の式（１７）に示すcondition 3を満たすか否かを判定する。
Condition 3: (widthC * heightC >= MCLMMinBlkSize)
&& (widthC * heightC <= MCLMMaxBlkSize)
・・・（１７）
すなわち、復号部１１１は、色差符号化ブロックのサイズ（widthC*heightC）が、MCLM最小ブロックサイズMCLMMinBlkSize以上であり、かつ、MCLM最大ブロックサイズMCLMMaxBlkSize以下であるかを判定する。
なお、上述の式（１７）において、色差ブロックのサイズと閾値を比較する部分を以下の式（１８）に示す対数表現に置き換えてもよい。
Condition3a: (log2CbWidthC + log2CbHeightC >= log2MCLMMinBlkSize)
&& (log2CbWidthC + log2CbHeightC >= log2MCLMMaxBlkSize)
・・・（１８）
ここで、log2MCLMMinBlkSizeの値は、例えば、４である。log2MCLMMinBlkSizeの値は、これに限定されない。例えば、ヘッダ情報において通知されるlog2MCLMMinBlkSizeを規定するパラメータによって設定されるようにしてもよい。また、log2MCLMMaxBlkSizeの値は、例えば、３２である。log2MCLMMinBlkSizeの値は、これに限定されない。例えば、ヘッダ情報において通知されるlog2MCLMMaxBlkSizeを規定するパラメータによって設定されるようにしてもよい。
ヘッダ情報において、最小ブロックサイズMCLMMinBlkSizeおよびMCLM最大ブロックサイズMCLMMaxBlkSizeを制御できるようにすることで、次のような効果が得られる。
・MCLMモードが効果のないブロックサイズにおいて、MCLMモードに関連するシンタックスの復号（符号化）を省略することができる。すなわち、符号化効率を改善することができる。
・MCLMモードの実行を省略することができるので、処理量を低減することができる。
式（１７）を満たすと判定された場合（色差符号化ブロックのサイズ（widthC*heightC）が、MCLM最小ブロックサイズMCLMMinBlkSize以上であり、かつ、MCLM最大ブロックサイズMCLMMaxBlkSize以下であると判定された場合）、処理はステップＳ１３２に進む。
ステップＳ１３２において、復号部１１１は、符号化データに含まれる多クラス線形予測モードフラグmclm_flagをパースし、復号する（符号化データより多クラス線形予測モードフラグmclm_flagを取得する）。ステップＳ１３２の処理が終了すると、処理はステップＳ１３４に進む。
また、ステップＳ１３１において、式（１７）を満たさないと判定された場合（色差符号化ブロックのサイズ（widthC*heightC）が、MCLM最小ブロックサイズMCLMMinBlkSizeより小さいか、または、MCLM最大ブロックサイズMCLMMaxBlkSizeより大きいと判定された場合）、処理はステップＳ１３３に進む。
ステップＳ１３３において、復号部１１１は、多クラス線形予測モードフラグmclm_flagをパースせずに（符号化データから取得せずに）、０（偽）を設定する（mclm_flag=0）。ステップＳ１３３の処理が終了すると、処理はステップＳ１３４に進む。
ステップＳ１３４において、復号部１１１は、以下の式（１９）に示すcondition 4を満たすか否かを判定する。
Condition 4: (ChromaArrayType==CHROMA_420)
|| (ChromaArrayType==CHROMA_422)
・・・（１９）
すなわち、復号部１１１は、色差アレイタイプChromaArrayTypeがCHROMA_420、または、CHROMA_422であるか否かを判定する。
式（１９）を満たすと判定された場合（色差アレイタイプChromaArrayTypeがCHROMA_420、または、CHROMA_422であると判定された場合）、処理はステップＳ１３５に進む。
ステップＳ１３５において、復号部１１１は、符号化データに含まれる色差サンプル位置情報chroma_sample_loc_info()をシンタックステーブルの定義に沿ってパースし、復号する（符号化データより色差サンプル位置情報chroma_sample_loc_info()を取得する）。
例えば、復号部１１１は、符号化データから、図１６に示すシンタックステーブルの定義に沿って、色差サンプル位置タイプ識別子情報chroma_sample_loc_type_idxのビン列binを復号する。さらに、該ビン列を逆二値化することで、色差サンプル位置タイプ識別子情報chroma_sample_loc_type_idxの値が得られる。
色差サンプル位置タイプ識別子情報chroma_sample_loc_type_idxとは、色差アレイタイプChromaArrayType毎に定まる色差サンプル位置タイプ(ChromaSampleLocType)を示す識別子である。図２３に、色差アレイタイプChromaArrayTypeと色差サンプル位置タイプ識別子情報chroma_sample_loc_type_idxとに関連づけられる色差サンプル位置タイプChromaSampelLocTypeの対応表の一例を示す。
ステップＳ１３６において、復号部１１１は、例えば、図２４を参照して、色差アレイタイプChromaArrayType、色差サンプル位置タイプ識別子情報chroma_sample_loc_type_idxに基づいて、色差サンプル位置タイプChromaSampleLocTypeを設定する。
ステップＳ１３６の処理が終了すると、処理はステップＳ１３８に進む。また、ステップＳ１３４において、上述の式（１９）を満たすと判定された場合（色差アレイタイプChromaArrayTypeがCHROMA_420およびCHROMA_422でないと判定された場合）、処理はステップＳ１３７に進む。
ステップＳ１３７において、復号部１１１は、色差サンプル位置タイプChromaArrayTypeをパースせずに、所定タイプ(DefaultType)を設定する。この所定タイプDefaultTypeは、任意であるが、例えば、輝度サンプルと色差サンプルの位置が一致する"Type2"とすることが望ましい。ステップＳ１３７の処理が終了すると、処理はステップＳ１３８に進む。
ステップＳ１３８において、復号部１１１は、図２４を参照して、復号したコンポーネント間予測情報CCInfo(ccp_flag, mclm_flag, ChromaSampleLocType)、および色差アレイタイプChromaArrayTypeに基づいて、色差イントラ予測モードintraPredModeCを設定する。
なお、コンポーネント間予測情報CCInfo、色差アレイタイプChromaArrayTypeから色差イントラ予測モードintraPredModeCへの対応付けは、図２４の例に限定されない。例えば、図２５に示される例のように、番号をつめて割り当てるようにしてもよい。
ステップＳ１３８の処理が終了すると復号処理が終了し、処理は図１７に戻る。
なお、可変長符号復号部２１における色差イントラ予測モード、およびコンポーネント間予測情報に関する復号処理について説明したが、これらは、実施可能な範囲で、各ステップの処理順の入れ替えや、処理の内容を変更してもよい。
以上のようにすることにより、復号部１１１は、コンポーネント間予測情報CCInfoの一部として、輝度コンポーネントのサンプルに対する色差コンポーネントのサンプル位置を示す色差サンプル位置情報を復号する。
したがって、後述するLuma/Chroma間予測部１４１において、色差アレイタイプと色差サンプル位置情報に基づいて、色差コンポーネントと輝度コンポーネントとの位相ズレを低減するダウンサンプルフィルタが選択可能となる。したがって、位相ズレが低減されたコンポーネント間予測が可能となり、符号化効率の低減を抑制することができる。
＜色差サンプル位置情報の他の例＞
色差サンプル位置情報chroma_sample_loc_info()のシンタックスの例を、図１６を参照して説明したが、色差サンプル位置情報chroma_sample_loc_info()のシンタックスは、この例に限らず、例えば、図２６に示されるような構成であってもよい。つまり、色差サンプル位置タイプに初期値（default_chroma_sample_loc_type）を設けるようにし、色差サンプル位置タイプが初期値以外の場合にのみ、色差サンプル位置タイプ識別子情報chroma_sample_loc_type_idxが伝送されるようにしてもよい。
ステップＳ１３５（図１９）において、復号部１１１は、図２６に示されるシンタックステーブルの定義に沿って、符号化データに含まれる以下のシンタックスを復号する。
デフォルト色差サンプル位置タイプフラグdefault_chroma_sample_loc_type_flag
色差サンプル位置タイプ識別子情報chroma_sample_loc_type_idx
すなわち、復号部１１１は、符号化データに含まれるデフォルト色差サンプル位置タイプフラグdefault_chroma_sample_loc_type_flagをパースし、復号する（符号化データからデフォルト色差サンプル位置タイプフラグdefault_chroma_sample_loc_type_flagを取得する）。
そして、そのデフォルト色差サンプル位置タイプフラグdefault_chroma_sample_loc_type_flagが偽（０）の場合（すなわち、色差コンポーネントの画素位置のタイプが初期値でない場合）、さらに、符号化データに含まれる色差サンプル位置タイプ識別子情報chroma_sample_loc_type_idxのビン列binをパースし、復号する（符号化データから色差サンプル位置タイプ識別子情報chroma_sample_loc_type_idxのビン列binを取得する）。さらに、そのビン列を逆二値化することで、色差サンプル位置タイプ識別子情報chroma_sample_loc_type_idxの値が得られる。
ここで、各シンタックスの定義は、以下の通りである。
デフォルト色差サンプル位置タイプフラグdefault_chroma_sample_loc_type_flagとは、色差サンプル位置タイプがデフォルトタイプ（初期値）であるか否かを示すフラグである。例えば、このフラグが「０」の場合、色差サンプル位置タイプがデフォルトタイプでないことを示す。また、例えば、このフラグが「１」の場合、色差サンプル位置タイプがデフォルトタイプであることを示す。例えば、デフォルトの色差サンプル位置タイプは、Type2としてもよい。
色差サンプル位置タイプ識別子情報chroma_sample_loc_type_idxは、デフォルトタイプを除く色差アレイタイプChromaArrayType毎に定まる色差サンプル位置タイプChromaSampleLocTypeを示す識別子である。
図２７に色差アレイタイプChromaArrayType、デフォルト色差サンプル位置タイプフラグdefault_chroma_sample_loc_type_flag、および色差サンプル位置タイプ識別子情報chroma_sample_loc_type_idxで関連づけられる色差サンプル位置タイプChromaSampelLocTypeの対応表の一例を示す。
ステップＳ１３６において、復号部１１１は、例えば、図２７を参照して、色差アレイタイプChromaArrayType、デフォルト色差サンプル位置タイプフラグdefault_chroma_sample_loc_type_flag、色差サンプル位置タイプ識別子情報chroma_sample_loc_type_idxに基づいて、色差サンプル位置タイプChromaSampleLocTypeを設定する。
色差サンプル位置情報chroma_sample_loc_type()のシンタックステーブルを図２６のような構成とすることにより、色差サンプル位置タイプとして使用頻度の高い所定タイプ（例えばType2）を１ビンで復号/符号化することができる。したがって、シンタックステーブルが図１６の場合よりも、より少ない符号量で色差サンプル位置情報を復号/符号化することができる。つまり、符号化効率の低減を抑制することができる。
＜色差サンプル位置情報の格納場所について＞
図１８および図１９のフローチャート、並びに、図２０のシンタックステーブルにおいては、色差サンプル位置情報chroma_sample_loc_info()を符号化ユニット毎に復号する構成例を示したが、色差サンプル位置情報chroma_sample_loc_info()の格納場所は、これに限定されない。
基本的に、色差サンプル位置タイプは、シーケンス毎に定まるため、図２８のＡに示すように、符号化ユニットよりも上位のヘッダ情報（VPS/SPS/PPS/SH/CTU）において、色差サンプル位置情報chroma_sample_loc_info()を復号するようにしてもよい。つまり、色差サンプル位置情報chroma_sample_loc_info()が符号化ユニットよりも上位のヘッダ情報（VPS/SPS/PPS/SH/CTU）に格納されるようにしてもよい。
その場合も、コンポーネント間線形予測に関するその他のシンタックスは、図２８のＢに示されるように、符号化ユニットのヘッダ情報において復号するようにしてもよい。つまり、コンポーネント間線形予測に関するその他のシンタックスが符号化ユニットのヘッダ情報に格納されるようにしてもよい。
このようにすることにより、符号化ユニット当たりの色差サンプル位置情報chroma_sample_loc_info()に係る符号量を削減することができる。つまり、符号化効率の低減を抑制することができる。
＜予測部＞
図２９は、画像復号装置１００の予測部１１４の主な構成例を示すブロック図である。図２９に示されるように、予測部１１４は、イントラ予測部１２１およびインター予測部１２２を有する。
イントラ予測部１２１は、イントラ予測に関する処理を行う。例えば、イントラ予測部１２１は、フレームメモリ１１６から参照画像として復号画像を取得し、その復号画像を用いて、予測モード情報Pinfoにより指定されるイントラ予測モード（すなわち符号化側において採用された最適な予測モード）でイントラ予測を行い、予測画像を生成する。イントラ予測部１２１は、生成した予測画像を演算部１１５に供給する。
インター予測部１２２は、インター予測に関する処理を行う。例えば、インター予測部１２２は、フレームメモリ１１６から参照画像として復号画像を取得し、その復号画像を用いて、予測モード情報Pinfoにより指定されるインター予測モード（すなわち符号化側において採用された最適な予測モード）でインター予測を行い、予測画像を生成する。インター予測部１２２は、生成した予測画像を演算部１１５に供給する。
＜イントラ予測部＞
図３０は、イントラ予測部１２１の主な構成例を示すブロック図である。図３０に示されるように、イントラ予測部１２１は、DC予測部１３１、Planar予測部１３２、Angular予測部１３３、およびCC予測部１３４を有する。
DC予測部１３１は、DC予測に関する処理を行う。Planar予測部１３２は、Planar予測に関する処理を行う。Angular予測部１３３は、Angular予測に関する処理を行う。およびCC予測部１３４は、コンポーネント間線形予測に関する処理を行う。
イントラ予測部１２１は、予測モード情報Pinfo、色差アレイタイプChromaArrayType、およびフレームメモリ１１６より供給される処理対象フレームの各コンポーネントX（X=Y, Cb, Cr）の復号画像RecX（X=Y, Cb, Cr）、コンポーネント毎のイントラ予測モードpredModeIntraX（X=L,C）に対応する予測方法により予測画像PredX（X=Y,Cb,Cr）を生成して出力する。
コンポーネントXのイントラ予測モードpredModeIntraXがDC予測を示す場合、DC予測部１３１は、コンポーネントXの復号画像RecXを参照してDC予測画像を生成し、予測画像PredXとして出力する。
コンポーネントXのイントラ予測モードpredModeIntraXがPlanar予測を示す場合、Planar予測部１３２は、コンポーネントXの復号画像RecXを参照して、Planar予測画像を生成し、予測画像PredXとして出力する。
コンポーネントXのイントラ予測モードpredModeIntraXがAngular予測を示す場合、Angular予測部１３３は、コンポーネントXの復号画像RecXを参照して、Angular予測画像を生成し、予測画像PredXとして出力する。
コンポーネントXのイントラ予測モードpredModeIntraXがコンポーネント間予測を示す場合、CC予測部１３４は、コンポーネントXの復号画像RecX、および参照コンポーネントZの復号画像Reczを参照して、CC予測画像（コンポーネント間線形予測画像）を生成し、予測画像PredXとして出力する。
＜CC予測部＞
図３１は、CC予測部１３４の主な構成例を示すブロック図である。図３１に示されるように、CC予測部１３４は、Luma/Chroma間予測部１４１（輝度／色差間予測部とも称する）、および、Cb/Cr間残差予測部１４２（色差間残差予測部とも称する）を備える。
例えば、輝度コンポーネント（Y）から色差コンポーネント（Cb/Cr）の予測画像を予測する場合、CC予測部１３４は、Luma/Chroma間予測部１４１を作動させ、色差コンポーネントの予測画像PredX(X=Cb,Cr)を生成する。Luma/Chroma間予測部１４１は、輝度コンポーネントと色差コンポーネントとの間の線形予測に関する処理を行う。
また、例えば、Crコンポーネントの予測画像PredCrをCb/Cr間残差予測により補正する場合、CC予測部１３４は、Cb/Cr間残差予測部１４２を作動させ、補正後Cr予測画像Pred* Cbを生成する。Cb/Cr間残差予測部１４２は、Cb/Cr間残差予測によるCrコンポーネントの予測画像PredCrの補正に関する処理を行う。
＜Luma/Chroma間予測部１４１＞
図３２は、Luma/Chroma間予測部１４１の主な構成例を示すブロック図である。図３２に示されるように、Luma/Chroma間予測部１４１は、縮小画像生成部１５１、予測パラメータ導出部１５２、および色差予測画像生成部１５３を有する。
縮小画像生成部１５１は、縮小画像の生成（すなわちダウンサンプル）に関する処理を行う。予測パラメータ導出部１５２は、色差コンポーネントの予測画像を生成するための輝度コンポーネントの線形予測に用いられる予測パラメータ（線形予測パラメータ）の導出に関する処理を行う。色差予測画像生成部１５３は、色差コンポーネントの予測画像の生成に関する処理を行う。
縮小画像生成部１５１は、ダウンサンプルフィルタ選択部１６１、輝度コロケートブロック画素群縮小部１６２、および輝度コロケート隣接画素群縮小部１６３を有する。
ダウンサンプルフィルタ選択部１６１は、ダウンサンプルフィルタの選択に関する処理を行う。例えば、ダウンサンプルフィルタ選択部１６１は、色差コンポーネントの処理対象のブロックに対応する輝度コンポーネントのコロケートブロックのダウンサンプルに用いられるダウンサンプルフィルタを選択する。また、例えば、ダウンサンプルフィルタ選択部１６１は、その輝度コンポーネントのコロケートブロックに隣接する隣接画素群のダウンサンプルに用いられるダウンサンプルフィルタを選択する。
ダウンサンプルフィルタ選択部１６１は、色フォーマットに関する情報（例えば色差アレイタイプChromaArrayType）と色差コンポーネントの画素位置に関する情報（例えば色差サンプル位置タイプ（ChromaSampleLocType））と（すなわち、コンポーネント間予測情報）に基づいてこれらのダウンサンプルフィルタを選択する。
ダウンサンプルフィルタ選択部１６１は、複数の色フォーマットに対応する。つまり、ダウンサンプルフィルタ選択部１６１は、複数の色フォーマットに対応する候補群の中の、色フォーマットに関する情報により指定される形式の色フォーマットと、色差コンポーネントの画素位置に関する情報とに応じた候補を、ダウンサンプルフィルタとして選択する。
例えば、候補群が、420形式の色フォーマットに対応する候補と、422形式の色フォーマットに対応する候補とを含むようにしてもよい。ダウンサンプルフィルタ選択部１６１は、色フォーマットに関する情報により420形式の色フォーマットが指定される場合、候補群に含まれる420形式の色フォーマットに対応する候補の中の、色差コンポーネントの画素位置に関する情報にも対応する候補を、ダウンサンプルフィルタとして選択する。また、ダウンサンプルフィルタ選択部１６１は、色フォーマットに関する情報により422形式の色フォーマットが指定される場合、候補群に含まれる422形式の色フォーマットに対応する候補の中の、色差コンポーネントの画素位置に関する情報にも対応する候補を、ダウンサンプルフィルタとして選択する。
さらに、例えば、候補群が、444形式の色フォーマットに対応する候補も含むようにしてもよい。ダウンサンプルフィルタ選択部１６１は、色フォーマットに関する情報により444形式の色フォーマットが指定される場合、候補群に含まれる444形式の色フォーマットに対応する候補の中の、色差コンポーネントの画素位置に関する情報にも対応する候補を、ダウンサンプルフィルタとして選択する。
なお、ダウンサンプルフィルタ選択部１６１は、線形予測のモードに関する情報である線形予測モード情報（例えば多クラス線形予測モードフラグ（mclm_flag））と、前記色差コンポーネントの画素位置に関する情報と、前記色フォーマットに関する情報とに基づいて、ダウンサンプルフィルタを選択することもできる。
例えば、ダウンサンプルフィルタ選択部１６１が、線形予測の複数のモードに対応する候補群の中の、線形予測モード情報により指定されるモードと、色差コンポーネントの画素位置に関する情報と、色フォーマットに関する情報とに応じた候補を、ダウンサンプルフィルタとして選択するようにしてもよい。
さらに例えば、候補群が、単一クラスモードに対応する候補と、多クラスモードに対応する候補とを含むようにしてもよい。ダウンサンプルフィルタ選択部１６１は、線形予測モード情報により線形予測のモードとして単一クラスモードが指定される場合、その単一クラスモードの線形予測に対応する候補の中の、色差コンポーネントの画素位置に関する情報と、色フォーマットに関する情報とにも対応する候補を、ダウンサンプルフィルタとして選択する。また、線形予測モード情報により線形予測のモードとして多クラスモードが指定される場合、その多クラスモードの線形予測に対応する候補の中の、色差コンポーネントの画素位置に関する情報と、色フォーマットに関する情報とにも対応する候補を、ダウンサンプルフィルタとして選択する。
ダウンサンプルフィルタ選択部１６１は、選択したダウンサンプルフィルタを、輝度コロケートブロック画素群縮小部１６２および輝度コロケート隣接画素群縮小部１６３に供給する。
輝度コロケートブロック画素群縮小部１６２は、色差コンポーネントの処理対象のブロックに対応する輝度コンポーネントのコロケートブロックのダウンサンプルに関する処理を行う。例えば、輝度コロケートブロック画素群縮小部１６２は、フレームメモリ１１６から、色差コンポーネントの処理対象のブロックに対応する輝度コンポーネントのコロケートブロックを取得する。また、輝度コロケートブロック画素群縮小部１６２は、取得した輝度コンポーネントのコロケートブロックに対して、ダウンサンプルフィルタ選択部１６１から供給されたダウンサンプルフィルタを用いてフィルタ処理し、縮小画像を生成する。輝度コロケートブロック画素群縮小部１６２は、生成した輝度コンポーネントのコロケートブロックの縮小画像を色差予測画像生成部１５３に供給する。
輝度コロケート隣接画素群縮小部１６３は、色差コンポーネントの処理対象のブロックに対応する輝度コンポーネントのコロケートブロックの隣接画素群のダウンサンプルに関する処理を行う。例えば、輝度コロケート隣接画素群縮小部１６３は、フレームメモリ１１６から、色差コンポーネントの処理対象のブロックに対応する輝度コンポーネントのコロケートブロックの隣接画素群を取得する。また、輝度コロケート隣接画素群縮小部１６３は、取得した輝度コンポーネントのコロケートブロックの隣接画素群に対して、ダウンサンプルフィルタ選択部１６１から供給されたダウンサンプルフィルタを用いてフィルタ処理し、縮小画像を生成する。輝度コロケート隣接画素群縮小部１６３は、生成した輝度コンポーネントのコロケートブロックの隣接画素群の縮小画像を予測パラメータ導出部１５２に供給する。
つまり、輝度コロケートブロック画素群縮小部１６２および輝度コロケート隣接画素群縮小部１６３は、ダウンサンプルフィルタ選択部１６１により選択されたフィルタを用いて、輝度コンポーネントの参照画像の画素位置を変更する。
予測パラメータ導出部１５２は、例えば、フレームメモリ１１６から、色差コンポーネントの処理対象のブロックの隣接画素群を取得する。予測パラメータ導出部１５２は、その色差コンポーネントの処理対象のブロックの隣接画素群と、輝度コロケート隣接画素群縮小部１６３から供給される輝度コンポーネントのコロケートブロックの隣接画素群の縮小画像とを用いて、線形予測パラメータ（α，β）を導出する。予測パラメータ導出部１５２は、導出した線形予測パラメータ（α，β）を色差予測画像生成部１５３に供給する。
色差予測画像生成部１５３は、輝度コロケートブロック画素群縮小部１６２から供給された輝度コロケートブロックの縮小画像と、予測パラメータ導出部１５２から供給された線形予測パラメータ（α，β）とを用いて、線形予測を行い、色差コンポーネントの処理対象のブロックの予測画像を生成する。
つまり、色差予測画像生成部１５３は、色差コンポーネントの画素位置に関する情報（例えば色差サンプル位置情報）と色フォーマットに関する情報（例えば色差アレイタイプ）とに基づいて選択されたフィルタ（例えばダウンサンプルフィルタ）を用いて画素位置が変更された輝度コンポーネントの参照画像の画素値（例えば輝度コロケートブロックの縮小画像）から、線形予測により色差コンポーネント（例えばCbコンポーネントおよびCrコンポーネント）の画素値を予測し、色差コンポーネントの予測画像を生成する。色差予測画像生成部１５３は、生成した予測画像を演算部１１５に供給する。
＜予測処理の流れ＞
次に、図３３のフローチャートを参照して、予測部１１４により実行される予測処理の流れの例を説明する。
予測処理が開始されると、予測部１１４は、ステップＳ１５１において、イントラ予測を行うか否かを判定する。予測モード情報Pinfoによりイントラ予測が指定されており、イントラ予測により色差コンポーネントの処理対象のブロックの予測画像を生成すると判定された場合、処理はステップＳ１５２に進む。
ステップＳ１５２において、イントラ予測部１２１は、イントラ予測を行い、予測画像を生成する。ステップＳ１５２の処理が終了すると、予測処理が終了し、処理は図１７に戻る。
また、図３３のステップＳ１５１において、予測モード情報Pinfoによりインター予測が指定されており、イントラ予測を行わないと判定された場合、処理はステップＳ１５３に進む。
ステップＳ１５３において、インター予測部１２２は、インター予測を行い、予測画像を生成する。ステップＳ１５３の処理が終了すると、予測処理が終了し、処理は図１７に戻る。
＜イントラ予測処理の流れ＞
次に、図３３のステップＳ１５２において実行されるイントラ予測処理の流れの例を、図３４のフローチャートを参照して説明する。
イントラ予測処理が開始されると、イントラ予測部１２１のDC予測部１３１、Planar予測部１３２、Angular予測部１３３、およびCC予測部１３４は、ステップＳ１６１において、コンポーネント毎にpredModeIntraXに応じたモードでイントラ予測を行い、予測画像を生成する。例えば、predModeIntraXにおいてCC予測が指定されている場合、CC予測部１３４は、コンポーネント間線形予測により色差コンポーネントの予測画像を生成する。
ステップＳ１６１の処理が終了すると、イントラ予測処理が終了し、処理は図３３に戻る。
＜コンポーネント間線形予測処理の流れ＞
次に、図３５のフローチャートを参照して、図３４のステップＳ１６１において実行されるコンポーネント間線形予測処理の流れの例を説明する。
コンポーネント間線形予測処理が開始されると、Luma/Chroma間予測部１４１は、ステップＳ１７１において、輝度色差間予測処理を行い、輝度コンポーネントの復号画像から色差コンポーネントの予測画像を予測する。
ステップＳ１７２において、Cb/Cr間残差予測部１４２は、色差間残差予測処理を行い、Cbコンポーネントの予測残差を用いてCrコンポーネントの予測画像を補正する。
ステップＳ１７２の処理が終了すると、コンポーネント間線形予測処理が終了し、処理は図３４に戻る。
＜輝度色差間予測処理の流れ＞
次に、図３５のステップＳ１７１において実行される輝度色差間予測処理の流れの例を、図３６のフローチャートを参照して説明する。
輝度色差間予測処理が開始されると、予測パラメータ導出部１５２は、ステップＳ１８１において、色差コンポーネント（Cbコンポーネント）の予測対象ブロックの隣接復号画素群RC,n（図２のＡ）（以降、色差隣接画素群RC,nという）をフレームメモリ１１６より読み込む。
ステップＳ１８２において、縮小画像生成部１５１は、色差予測対象ブロックのコロケート位置にある輝度コンポーネントの復号画素群RY,col（図２のＢ）（以降、輝度コロケートブロック画素群RY,colと呼ぶ）、および、色差隣接画素群Rc,nのコロケート位置にある輝度コンポーネントの隣接復号画素群RY,n（以降、輝度コロケート隣接画素群RY,nと呼ぶ）を、フレームメモリ１１６より読み込む。
つまり、輝度コロケートブロック画素群縮小部１６２は、輝度コロケートブロック画素群RY,nをフレームメモリ１１６から取得する。また、輝度コロケート隣接画素群縮小部１６３は、輝度コロケート隣接画素群RY,nをフレームメモリ１１６から取得する。
ステップＳ１８３において、ダウンサンプルフィルタ選択部１６１は、例えば、図３７に示される表のように、色差アレイタイプChromaArrayTypeおよび色差サンプル位置タイプChromaSampleLocTypeに対して、一対一対応で定まるダウンサンプルフィルタを選択する。
より具体的には、ダウンサンプルフィルタ選択部１６１は、色差アレイタイプChromaArrayTypeおよび色差サンプル位置タイプChromaSampleLocTypeに基づいて、色差サンプル位置と同座標の輝度サンプルを生成するダウンサンプルフィルタを選択する。
＜ChromaArrayType==CHROMA_420 &&ChromaSampleLocType ==Type2＞
・例えば、図３８に示されるように、（2x,2y）位置にある色差サンプル（注目色差サンプル）と同座標の輝度サンプルを生成するダウンサンプルフィルタを選択する。
・例えば、図３８に示すような、（2x,2y）とその４近傍（（2x,2y-2），（2x-2,2y），（2x+2,2y），（2x,2y+2））の位置にある輝度サンプルを参照するダウンサンプルフィルタを選択する。
・各輝度サンプル位置に対応するフィルタ係数は、例えば、図３９の通りである。
＜ChromaArrayType==CHROMA_420 &&ChromaSampleLocType ==Type3＞
・例えば、図４０に示されるように、（2x+1,2y）位置にある色差サンプル（注目色差サンプル）と同座標の輝度サンプルを生成するダウンサンプルフィルタを選択する。
・例えば、図４０に示されるような、（2x,2y）と（2x+2,2y）の位置にある輝度サンプルを参照するダウンサンプルフィルタを選択する。
・各輝度サンプル位置に対応するフィルタ係数は、例えば、図４１の通りである。
＜ChromaArrayType==CHROMA_420 && ChromaSampleLocType ==Type0＞
・例えば、図４２に示されるように、（2x,2y+1）位置にある色差サンプル（注目色差サンプル）と同座標の輝度サンプルを生成するダウンサンプルフィルタを選択する。
・例えば、図４２に示されるような、（2x,2y）と（2x,2y+2）の位置にある輝度サンプルを参照するダウンサンプルフィルタを選択する。
・各輝度サンプル位置に対応するフィルタ係数は、例えば、図４３の通りである。
＜ChromaArrayType==CHROMA_420 && ChromaSampleLocType ==Type1＞
・例えば、図４４に示されるように、（2x+1,2y+1）位置にある色差サンプル（注目色差サンプル）と同座標の輝度サンプルを生成するダウンサンプルフィルタを選択する。
・例えば、図４４に示されるような、（2x,2y），（2x+2,2y），（2x,2y+2），（2x+2,2y+2）の位置にある輝度サンプルを参照するダウンサンプルフィルタを選択する。
・各輝度サンプル位置に対応するフィルタ係数は、例えば、図４５の通りである。
＜ChromaArrayType==CHROMA_422 &&ChromaSampleLocType ==Type2＞
・例えば、図４６に示されるように、（2x,2y）位置にある色差サンプル（注目色差サンプル）と同座標の輝度サンプルを生成するフィルタを選択する。
・例えば、図４６に示されるような、（2x,2y）と左右の（2x-2,2y），（2x+2,2y）の位置にある輝度サンプルを参照するフィルタを選択する。
・各輝度サンプル位置に対応するフィルタ係数は、例えば、図４７の通りである。
＜ChromaArrayType==CHROMA_422 && ChromaSampleLocType ==Type3＞
・例えば、図４８に示されるように、（2x+1,2y）位置にある色差サンプル（注目色差サンプル）と同座標の輝度サンプルを生成するダウンサンプルフィルタを選択する。
・例えば、図４８に示されるような、（2x,2y）と（2x+2,2y）の位置にある輝度サンプルを参照するダウンサンプルフィルタを選択する。
・各輝度サンプル位置に対応するフィルタ係数は、例えば、図４９の通りである。
＜ChromaArrayType==CHROMA_444 && ChromaSampleLocType==Type2＞
・例えば、図５０に示されるように、（2x,2y）位置にある色差サンプル（注目色差サンプル）と同座標の輝度サンプルを生成するダウンサンプルフィルタを選択する。
・例えば、図５０に示されるような、（2x,2y）の位置にある輝度サンプルを参照するダウンサンプルフィルタを選択する。
・各輝度サンプル位置に対応するフィルタ係数は、例えば、図５１の通りである。
＜補足＞
なお、色差サンプル位置と同座標の輝度サンプルを生成するダウンサンプルフィルタは任意であり、上述の例に限定されない。例えば、参照サンプル数を増やしてもよいし、減らしてもよい。また、フィルタ係数の値は、実施可能な範囲で変更可能である。
さらに、このダウンサンプルフィルタは、セパラブルフィルタであってもよいし、ノン・セパラブルフィルタであってもよい。また、上述のダウンサンプルフィルタの代わりに、例えば、線形補間フィルタ、バイキュービックフィルタ、またはLanczosフィルタ（ランチョス・フィルタ）等、任意のフィルタを適用するようにしてもよい。
図３６のフローチャートに戻り、ステップＳ１８４において、輝度コロケート隣接画素群縮小部１６３は、輝度コロケート隣接画素群RY,nに、選択されたダウンサンプルフィルタを適用して、縮小輝度コロケート隣接画素群R'Y,nを生成する。輝度コロケート隣接画素群縮小部１６３は、その縮小輝度コロケート隣接画素群R'Y,nを予測パラメータ導出部１５２へ供給する。
ステップＳ１８５において、輝度コロケートブロック画素群縮小部１６２は、輝度コロケートブロック画素群RY,colに、選択されたダウンサンプルフィルタを適用して、縮小輝度コロケートブロック画素群R'Y,colを生成する。輝度コロケートブロック画素群縮小部１６２は、その縮小輝度コロケートブロック画素群R'Y,colを色差予測画像生成部１５３へ供給する。
ステップＳ１８６において、予測パラメータ導出部１５２は、供給された縮小輝度コロケート隣接画素群R'Y,nおよび色差隣接画素群RC,nに基づいて、Luma/Chroma間予測に用いるクラスi毎の線形予測パラメータ（αi、βi）を導出する。
より具体的には、予測パラメータ導出部１５２は、コンポーネント間予測情報（のうち、多クラス線形予測モードフラグmclm_flag）を参照して、対応するクラス数分の予測パラメータを導出する。
例えば、多クラス線形予測モードフラグmclm_flag==0（偽）の場合（単一クラスモードの場合）、予測パラメータ導出部１５２は、上述の式（２）に基づいて、予測パラメータα1（式（１）におけるスケーリング項α）と、予測パラメータβ1（式（１）におけるオフセット項β）を導出する。
また、例えば、多クラス線形予測モードフラグmclm_flag==1（真）の場合（多クラス（ここでは２クラスとする）モードの場合）、予測パラメータ導出部１５２は、各縮小輝度コロケート隣接画素群R'Y,nから閾値Thrを求める。この閾値Thrの決定方法は任意である。例えば、平均値としてもよい。
次に、予測パラメータ導出部１５２は、その求めた閾値Thrに基づいて、縮小輝度コロケート隣接画素群R'Y,nにクラスラベルj（j=1,2）を割り当てる。各縮小輝度コロケート隣接画素群R'Y,nと同座標に位置する色差隣接画素群RC,nに同一クラスラベルj（j=1,2）を割り当てる。
そして、予測パラメータ導出部１５２は、クラスj毎に、各クラスjに属する縮小輝度コロケート隣接画素群R'Y,n,j、縮小輝度コロケート隣接画素群R'Y,n,jを参照して、式（２）により、予測パラメータαj、βjを導出する。
＜補足＞
なお、多クラスモードでは、クラス数を２に限定せず、３以上のクラス数と仮定し、クラス毎の予測パラメータを導出するようにしてもよい。２以上のクラス数のときは、クラス分類方法として、例えば、K-平均法を用いればよい。
図３６のフローチャートに戻り、ステップＳ１８７において、色差予測画像生成部１５３は、上述のように導出されたクラスｊ毎の予測パラメータ（αj,βj）を参照して、縮小輝度コロケートブロック画素群R'Y,colから色差予測画像PredCを生成する。
例えば、多クラス線形予測モードフラグmclm_flag==0（偽）の場合（単一クラスモードの場合）、色差予測画像生成部１５３は、予測パラメータ（α1、β1）を参照して、式（１）に基づいて、色差予測画像PredCを生成する。
また、例えば、多クラス線形予測モードフラグmclm_flag==1（真）の場合（多クラス（ここでは２クラス）モードの場合）、色差予測画像生成部１５３は、予測パラメータ導出部１５２により導出された閾値Thr、各クラスｊの予測パラメータ（αj,βj）を参照して、式（５）に基づいて、色差予測画像PredCを生成する。
すなわち、色差予測画像生成部１５３は、例えば、ある縮小輝度コロケートブロック画素群RecL'[x,y]の値が閾値Thr以下の場合、クラス１と分類し、クラス１に対応する予測パラメータ（α1,β1）を使って線形予測することで、同座標の色差コンポーネントの予測値PredC[x,y]を導出する。
また、例えば、ある縮小輝度コロケートブロック画素群RecL'[x,y]の値が閾値Thrより大きい場合、色差予測画像生成部１５３は、クラス２と分類し、クラス２に対応する予測パラメータ（α2,β2）を使って線形予測することで、同座標の色差コンポーネントの予測値PredC[x,y]を導出する。
＜補足＞
なお、ステップ毎の処理は、実施可能な範囲で変更してよい。また、ステップの順番も実施可能な範囲で入れ替えてよい。
図３６のフローチャートに戻り、ステップＳ１８７の処理が終了すると、処理は図３５に戻る。
以上のようにして、Luma/Chroma間予測部１４１は、色差コンポーネントの予測画像PredCを導出することができる。上述のように、Luma/Chroma間予測部１４１は、単一クラスモードと多クラスモードの両方において、色差アレイタイプと色差サンプル位置情報に基づいて、色差サンプル位置と同座標の輝度サンプルを生成するダウンサンプルフィルタを選択することで、輝度コロケート隣接画素群RY,nから色差コンポーネントとの位相のずれを低減した縮小輝度コロケート隣接画素群R'Y,nを生成することができる。したがって、位相ズレが少ないため、より精度の高い予測パラメータ（α、β）を導出することができる。したがって、符号化効率の低減を抑制することができる。
また、Luma/Chroma間予測部１４１は、単一クラスモードと多クラスモードの両方において、色差アレイタイプと色差サンプル位置情報に基づいて、色差サンプル位置と同座標の輝度サンプルを生成するダウンサンプルフィルタを選択することで、輝度コロケートブロック画素群RY,colから色差コンポーネントとの位相のずれを低減した縮小輝度コロケートブロック画素群R'Y,colを生成することができる。したがって、単一クラスモードと多クラスモードの両方において、位相ズレが低減された縮小輝度コロケートブロック画素群R'Y,colから、より精度の高い予測パラメータ（α、β）を使って、従来技術と比較してより精度の高い予測画像を生成することができる。すなわち、符号化効率が改善する。
さらに、色差フォーマットが420形式に限定されず、422形式、444形式に対応したLuma/Chroma間予測を行うことができる。すなわち、422形式、444形式において、Luma/Chroma間予測を適用することができるため、符号化効率が改善する。
＜Cb/Cr間残差予測部＞
次に、Cb/Cr間残差予測について説明する。図３１を参照して上述したようにCC予測部１３４は、Cb/Cr間残差予測部１４２を有する。図５２は、そのCb/Cr間残差予測部１４２の主な構成例を示すブロック図である。
図５２に示されるように、Cb/Cr間残差予測部１４２は、残差予測パラメータ導出部１７１と、色差予測画像補正部１７２を有する。残差予測パラメータ導出部１７１は、Crコンポーネントの予測画像の補正のために行われる色差間残差予測（Cr/Cb間残差予測）に用いられるパラメータである残差予測パラメータの導出に関する処理を行う。色差予測画像補正部１７２は、Crコンポーネントの予測画像の補正に関する処理を行う。
つまり、色差予測画像補正部１７２は、色差予測画像生成部１５３により生成されたCrコンポーネントの予測画像を、その（カレントCUの）Crコンポーネントの予測画像に対応するCbコンポーネントのコロケートブロックの予測残差を用いて、補正する。
また、残差予測パラメータ導出部１７１は、Crコンポーネントの予測画像に隣接する隣接画素と、Cbコンポーネントのコロケートブロックに隣接する隣接画素とに基づいて、Crコンポーネントの予測画像の補正に用いられるパラメータである残差予測パラメータを導出する。色差予測画像補正部１７２は、その導出された残差予測パラメータを用いて色差残差予測を行い、Crコンポーネントの予測画像の補正を行う。
＜色差間残差予測処理の流れ＞
次に、図５３のフローチャートを参照して、このCb/Cr間残差予測部１４２により、図３５のフローチャートを参照して説明したコンポーネント間線形予測処理のステップＳ１７２において実行される色差間残差予測処理の流れの例を説明する。
色差間残差予測処理が開始されると、Cb/Cr間残差予測部１４２は、ステップＳ２０１において、Luma/Chroma間予測部１４１で生成されたCrコンポーネントの予測対象ブロックの予測画像PCr（以降、Cr予測画像PCrとも称する）と、フレームメモリ１１６に記憶されている隣接復号画素群RCr,n（以降、Cr隣接画素群RCr,nとも称する）とを読み込む。
Cb/Cr間残差予測部１４２は、そのCr隣接画素群RCr,nを残差予測パラメータ導出部１７１へ供給する。また、Cb/Cr間残差予測部１４２は、そのCr予測画像PCrを色差予測画像補正部１７２へ供給する。
ステップＳ２０２において、Cb/Cr間残差予測部１４２は、Cr隣接画素群RCr,nのコロケート位置にあるCbコンポーネントの隣接復号画素群RCb,n（以降、Cbコロケート隣接画素群RCb,nとも称する）をフレームメモリ１１６より読み込む。Cb/Cr間残差予測部１４２は、そのCbコロケート隣接画素群RCb,nを残差予測パラメータ導出部１７１へ供給する。
ステップＳ２０３において、Cb/Cr間残差予測部１４２は、Crコンポーネントの予測対象ブロック（Cr予測画像PCr）とコロケート位置にあるCbコンポーネントのコロケートブロックの変換係数Coeffを逆量子化・逆変換して得られる予測残差Resi（以降、Cbコロケート予測残差ResiCbと称する）を読み込む。Cb/Cr間残差予測部１４２は、そのCbコロケート予測残差ResiCbを色差予測画像補正部１７２へ供給する。
ステップＳ２０４において、残差予測パラメータ導出部１７１は、供給されたCr隣接画素群RCr,nと、Cbコロケート隣接画素群RCb,nとに基づいて、Cb/Cr間残差予測に用いる残差予測パラメータαを導出する。
より具体的には、残差予測パラメータ導出部１７１は、上述の式（１１）に基づいて、残差予測パラメータα（上述の式（１０）におけるスケーリング項α）を導出する。
ステップＳ２０５において、色差予測画像補正部１７２は、その残差予測パラメータαと、供給されたCbコロケート予測残差ResiCbとを用いて残差予測を行い、Cr予測画像PCrを補正する。
より具体的には、色差予測画像補正部１７２は、上述の式（１０）に基づいて、Cbコロケート予測残差ResiCbにその予測パラメータαを乗じたα・ResiCbをCr予測画像PCrと加算して、補正Cr予測画像P* Crを生成する。
以上のようにCr予測画像PCrを補正した補正Cr予測画像P* Crが得られると、色差間残差予測処理が終了し、処理は図３５に戻る。
以上のようにして、Cb/Cr間残差予測部１４２は、Crコンポーネントの予測画像PredCrを補正することができる。
＜補足＞
なお、上述したステップ毎の処理は、実施可能な範囲で変更してよい。また、ステップの順番も実施可能な範囲で入れ替えてよい。
＜CUレベル復号処理の流れ＞
１つのCUに対する以上のような画像復号処理（CUレベル復号処理）の流れを、図５４のフローチャートを参照して説明する。
CUレベル復号処理が開始されると、ステップＳ２２１において、復号部１１１は、復号対象CU（カレントCUとも称する）に関するシンタックス群を符号化データからパースし、取得する。
ステップＳ２２２において、予測部１１４は、輝度コンポーネントの予測画像を生成する。
ステップＳ２２３において、逆量子化部１１２および逆変換部１１３は、逆量子化・逆変換を行い、復号部１１１により符号化データが復号されて得られるカレントCUの輝度コンポーネントの量子化後の変換係数を予測残差へ変換する。
ステップＳ２２４において、演算部１１５は、ステップＳ２２３の処理により得られた輝度コンポーネントの予測残差と、ステップＳ２２２の処理により得られた輝度コンポーネントの予測画像とを用いて、カレントCUの輝度コンポーネントの復号画像を復元する。
ステップＳ２２５において、予測部１１４は、コンポーネント間線形予測処理を行い、カレントCUについて、ステップＳ２２４の処理により得られた輝度コンポーネントの復号画像から、色差コンポーネント（Cb）の予測画像を生成する。
ステップＳ２２６において、逆量子化部１１２および逆変換部１１３は、逆量子化・逆変換を行い、復号部１１１により符号化データが復号されて得られるカレントCUの色差コンポーネント（Cb）の量子化後の変換係数を予測残差へ変換する。
ステップＳ２２７において、演算部１１５は、ステップＳ２２６の処理により得られた色差コンポーネント（Cb）の予測残差と、ステップＳ２２５の処理により得られた色差コンポーネント（Cb）の予測画像とを用いて、カレントCUの色差コンポーネント（Cb）の復号画像を復元する。
ステップＳ２２８において、予測部１１４は、コンポーネント間線形予測処理を行い、カレントCUについて、ステップＳ２２４の処理により得られた輝度コンポーネントの復号画像から、色差コンポーネント（Cr）の予測画像を生成する。
ステップＳ２２９において、予測部１１４は、色差間残差予測（Cb/Cr間残差予測）を行い、色差コンポーネント（Cb）の予測残差を使って、ステップＳ２２８の処理により得られたカレントCUの色差コンポーネント（Cr）の予測画像を補正する。
ステップＳ２３０において、逆量子化部１１２および逆変換部１１３は、逆量子化・逆変換を行い、復号部１１１により符号化データが復号されて得られるカレントCUの色差コンポーネント（Cr）の量子化後の変換係数を予測残差へ変換する。
ステップＳ２３１において、演算部１１５は、ステップＳ２２９の処理により得られた色差コンポーネント（Cr）の予測残差と、ステップＳ２３０の処理により得られた色差コンポーネント（Cr）の補正後の予測画像とを用いて、カレントCUの色差コンポーネント（Cr）の復号画像を復元する。
ステップＳ２３１の処理が終了するとCUレベル復号処理が終了する。
以上のようなCUレベル復号処理を各CUについて実行することにより、画像復号装置１００は、コンポーネント間線形予測処理や色差間残差予測を利用して、各CUの復号画像を得ることができる。
以上のように、本技術を適用した画像処理装置の一実施の形態である画像復号装置１００は、色差コンポーネントの画素位置に関する情報と色フォーマットに関する情報とに基づいて選択されたフィルタを用いて画素位置が変更された輝度コンポーネントの参照画像の画素値から、線形予測により色差コンポーネントの画素値を予測し、色差コンポーネントの予測画像を生成する予測部と、その予測部により生成された予測画像を用いて、画像が符号化された符号化データの色差コンポーネントを復号する復号部とを備える。
つまり、画像復号装置１００は、色差コンポーネントの画素位置に関する情報と色フォーマットに関する情報とに基づいて選択されたフィルタを用いて画素位置が変更された輝度コンポーネントの参照画像の画素値から、線形予測により色差コンポーネントの画素値を予測し、色差コンポーネントの予測画像を生成し、その生成された予測画像を用いて、画像が符号化された符号化データの色差コンポーネントを復号する。
したがって、画像復号装置１００は、上述したように、符号化効率の低減を抑制することができる。
＜３．第２の実施の形態＞
＜画像符号化装置＞
次に、以上のように復号される符号化データを生成する符号化について説明する。図５５は、本技術を適用した画像処理装置の一態様である画像符号化装置の構成の一例を示すブロック図である。図５５に示される画像符号化装置２００は、図１５の画像復号装置１００に対応する画像符号化装置であり、画像復号装置１００により復号される符号化データ（ビットストリーム）を、画像復号装置１００による復号方法に対応する符号化方法で画像を符号化することにより生成する。例えば、画像符号化装置２００は、HEVCに提案された技術や、JVETにて提案された技術を実装している。
なお、図５５においては、処理部やデータの流れ等の主なものを示しており、図５５に示されるものが全てとは限らない。つまり、画像符号化装置２００において、図５５においてブロックとして示されていない処理部が存在したり、図５５において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
図５５に示されるように画像符号化装置２００は、制御部２０１、予測部２１１、演算部２１２、変換部２１３、量子化部２１４、逆量子化部２１５、逆変換部２１６、演算部２１７、フレームメモリ２１８、ループフィルタ部２１９、および符号化部２２０を有する。
＜制御部＞
制御部２０１は、外部、または予め指定された処理単位のブロックサイズに基づいて、動画像#2を処理単位のブロック（CU，PU，変換ブロックなど）へ分割し、分割されたブロックに対応する画像Iを演算部２１２へ入力する。また、制御部２０１は、各ブロックへ供給する符号化パラメータ（ヘッダ情報Hinfo、予測モード情報Pinfo, 変換情報Tinfo、フィルタ情報Finfoなど）を、例えば、RDO(Rate-Distortion Optimization)に基づいて決定する。決定された符号化パラメータは、各ブロックへ供給される。具体的には、以下の通りである。
ヘッダ情報Hinfoは、各ブロックに供給される。
予測モード情報Pinfoは、符号化部２２０と予測部２１１とに供給される。
変換情報Tinfoは、符号化部２２０、変換部２１３、量子化部２１４、逆量子化部２１５、および逆変換部２１６に供給される。
フィルタ情報Finfoは、ループフィルタ部２１９に供給される。
＜予測部＞
予測部２１１は、画像復号装置１００の予測部１１４と同様、予測画像の生成に関する処理を行う。例えば、予測部２１１は、制御部２０１から供給される予測モード情報Pinfoを入力とし、その予測モード情報Pinfoによって指定される予測方法により、その予測モード情報Pinfoによって指定される、フレームメモリ２１８に格納されたフィルタ後の復号画像R'（またはフィルタ前の復号画像R）を参照画像として予測画像Pを生成し、演算部２１２に出力するように構成される。
＜演算部＞
演算部２１２は、処理単位のブロックに対応する画像I、および予測部２１１より供給される予測画像Pを入力とし、画像Iから予測画像Pを以下の式（２０）に示されるように減算して、予測残差Dを導出し、変換部２１３へ出力する。
D = I - P ・・・（２０）
＜変換部＞
変換部２１３は、逆変換部１１３の逆処理であり、予測残差Dおよび変換情報Tinfoを入力とし、変換情報Tinfoに基づいて、予測残差Dに対して、変換を適用し、変換係数Coeffを導出し、量子化部２１４へ出力する。
＜量子化部＞
量子化部２１４は、逆量子化部１１２の逆処理であり、変換情報Tinfoおよび変換係数Coeffを入力とし、変換情報Tinfoに基づいて、変換係数Coeffをスケーリング（量子化）し、量子化後の変換係数、すなわち量子化変換係数レベルlevelを符号化部２２０へ出力する。
＜逆量子化部＞
逆量子化部２１５は、逆量子化部１１２と同様の構成を有し、同様の処理を行う。つまり、逆量子化部２１５は、量子化部２１４の逆処理を行う。
＜逆変換部＞
逆変換部２１６は、逆変換部１１３と同様の構成を有し、同様の処理を行う。つまり、逆変換部２１６は、変換部２１３と逆処理を行う。
＜演算部＞
演算部２１７は、予測残差D'と予測残差D'に対応する予測画像Pとを加算し、局所復号画像Rlocalを導出する。
＜フレームメモリ＞
フレームメモリ２１８は、画像に関するデータの記憶に関する処理を行う。例えば、フレームメモリ２１８は、演算部２１７より供給される局所復号画像Rlocalを入力とし、ピクチャ単位毎の復号画像Rを再構築して、フレームメモリ２１８内のバッファへ格納する。フレームメモリ２１８は、復号画像Rをバッファより読み出し、ループフィルタ部２１９へ供給する。
＜ループフィルタ部＞
ループフィルタ部２１９は、ループフィルタ処理に関する処理を行う。例えば、ループフィルタ部２１９は、復号画像Rをフレームメモリ２１８から読み出し、フィルタ情報Finfoによって指定されるループフィルタ処理により、フィルタ後の復号画像R'を生成する。また、ループフィルタ部２１９は、フィルタ後の復号画像R'を、フレームメモリ２１８へ供給する。なお、ループフィルタ部２１９が行うループフィルタ処理には、デブロッキングフィルタ（DBF（DeBlocking Filter））や、画素適応オフセット（SAO（Sample Adaptive Offset））や、適応ループフィルタ（ALF(Adaptive Loop Filter)）や、その他の線形・非線形フィルタ（ウィーナーフィルタ、バイラテラルフィルタなど）が含まれる。
＜符号化部＞
符号化部２２０は、復号部１１１が行う復号の逆処理である符号化を行う。例えば、符号化部２２０は、シンタックステーブルの定義に沿って、制御部２０１から供給される符号化パラメータ（ヘッダ情報、予測モード情報Pinfo、変換情報Tinfo、フィルタ情報Finfo等）を利用し、量子化部２１４から供給される量子化変換係数レベルlevelを、各シンタックス要素のシンタックス値へ変換し、各シンタックス値を可変長符号化（例えば、算術符号化）し、ビット列（符号化データ）を生成する。
なお、符号化部２２０は、量子化変換係数レベルlevelから残差情報Rinfoを導出し、残差情報Rinfoを符号化し、ビット列を生成する。また、符号化部２２０は、可変長符号化された各シンタックス要素のビット列を多重化し、符号化データ#1を生成して出力する。
つまり、演算部２１２乃至量子化部２１４、並びに、符号化部２２０は、予測部２１１により生成された予測画像を用いて、画像の色差コンポーネントを符号化する符号化部として作用する。
＜画像符号化処理の流れ＞
次に、以上のような構成の画像符号化装置２００において実行される処理について説明する。画像符号化装置２００は、画像符号化処理を実行することにより例えば画像の符号化に関する処理を行う。
画像符号化処理が開始されると、ステップＳ２４１において、制御部２０１は、符号化制御処理を行い、ブロック分割や符号化パラメータの設定等を行う。ステップＳ２４２において、予測部２１１は、予測処理を行い、最適な予測モードの予測画像等を生成する。
ステップＳ２４３において、演算部２１２は、入力画像と、ステップＳ２４２の予測処理により選択された最適なモードの予測画像との差分を演算する。つまり、演算部２１２は、入力画像と予測画像との予測残差Ｄを生成する。このようにして求められた予測残差Ｄは、元の画像データに比べてデータ量が低減される。したがって、画像をそのまま符号化する場合に比べて、データ量を圧縮することができる。
ステップＳ２４４において、変換部２１３は、ステップＳ２４３の処理により生成された予測残差Ｄに対して変換処理を行い、変換係数Coeffを導出する。なお、この変換処理は、ステップＳ１０３の逆変換処理の逆処理であり、上述した画像復号処理において実行される逆変換処理の逆処理である。
ステップＳ２４５において、量子化部２１４は、制御部２０１により算出された量子化パラメータを用いる等して、ステップＳ２４４の処理により得られた変換係数Coeffを量子化し、量子化変換係数レベルlevelを導出する。
ステップＳ２４６において、逆量子化部２１５は、ステップＳ２４５の処理により生成された量子化変換係数レベルlevelを、その量子化の特性に対応する特性で逆量子化し、変換係数Coeff_IQを導出する。
ステップＳ２４７において、逆変換部２１６は、ステップＳ２４６の処理により得られた変換係数Coeff_IQを、ステップＳ２４４の変換処理に対応する方法で逆変換し、予測残差D'を導出する。なお、この逆変換処理は、上述した画像復号処理において実行される逆変換処理と同様に実行される。
ステップＳ２４８において、演算部２１７は、ステップＳ２４７の処理により導出された予測残差D'に、ステップＳ２４２の予測処理により得られた予測画像を加算することにより、局所的に復号された復号画像を生成する。
ステップＳ２４９において、フレームメモリ２１８は、ステップＳ２４８の処理により得られた、局所的に復号された復号画像を記憶する。
ステップＳ２５０において、符号化部２２０は、ステップＳ２４５の処理により得られた量子化変換係数レベルlevelを符号化する。例えば、符号化部２２０は、画像に関する情報である量子化変換係数レベルlevelを、算術符号化等により符号化し、符号化データを生成する。また、このとき、符号化部２２０は、各種符号化パラメータ（ヘッダ情報Hinfo、予測モード情報Pinfo、変換情報Tinfo）を符号化する。さらに、符号化部２２０は、量子化変換係数レベルlevelから残差情報Rinfoを導出し、その残差情報Rinfoを符号化する。
ステップＳ２５１において、ループフィルタ部２１９は、フレームメモリ２１８に記憶されている局所復号画像に対して所定のフィルタ処理を行う。ステップＳ２５１の処理が終了すると、画像符号化処理が終了する。なお、ステップＳ２５１において、フィルタ後の局所復号画像は、フレームメモリ２１８において記憶される。
ステップＳ２５１の処理が終了すると、画像符号化処理が終了する。
＜符号化処理の流れ＞
図５７および図５８のフローチャートを参照して、図５６のステップＳ２５０において実行される、コンポーネント間予測の制御情報（コンポーネント間予測情報CCInfo）および色差イントラ予測モードIntraPredModeCの符号化処理、並びに、関連シンタックス等(coding_unit ())の符号化処理の流れの例を説明する。なお、図２０は、図５７および図５８のフローチャートに対応するcoding_unit()のシンタックステーブルの一例である。
復号処理が開始されると、符号化部２２０は、ステップＳ２６１において、制御部２０１の制御に従って、コンポーネント間予測有効フラグccp_enabled_flagを符号化し、符号化データに付加する。
ステップＳ２６１において、符号化部２２０は、上述の式（１３）に示されるcondition 1を満たすか否かを判定する。すなわち、符号化部２２０は、コンポーネント間予測有効フラグccp_enabled_flagが１（真）であるかを判定する。上述の式（１３）を満たすと判定された場合（ccp_enabled_flagが１（真）であると判定された場合）、処理はステップＳ２６３に進む。
ステップＳ２６３において、符号化部２２０は、制御部２０１の制御に従って、コンポーネント間予測フラグccp_flagを符号化し、符号化データに付加する。ステップＳ２６３の処理が終了すると、処理はステップＳ２６４に進む。また、ステップＳ２６２において、上述の式（１３）を満たさないと判定された場合（ccp_enabled_flagが０（偽）であると判定された場合）、ステップＳ２６３の処理がスキップ（省略）され、処理はステップＳ２６４に進む。
ステップＳ２６４において、符号化部２２０は、上述の式（１４）に示すcondition 2を満たすか否かを判定する。すなわち、符号化部２２０は、コンポーネント間予測フラグccp_flagが０（偽）であるか否かを判定する。上述の式（１４）を満たすと判定された場合（ccp_flagが０（偽）であると判定された場合）、処理はステップＳ２６５に進む。
なお、上述の式（１４）は、等価の結果が得られれば、その他判定式に変更してもよい。例えば、上述の式（１５）に置き換えてもよい。
ステップＳ２６５において、符号化部２２０は、色差MPM識別子chroma_mpm_idxを符号化し、符号化データに付加する。ステップＳ２６５の処理が終了すると、符号化処理が終了し、処理は図５６に戻る。
また、図５７のステップＳ２６４において、上述の式（１４）を満たさないと判定された場合（ccp_flagが１（真）であると判定された場合）、処理は図５８に進む。
図５８のステップＳ２７１において、符号化部２２０は、上述の式（１７）に示されるcondition 3を満たすか否かを判定する。すなわち、符号化部２２０は、色差符号化ブロックのサイズ（widthC*heightC）が、MCLM最小ブロックサイズMCLMMinBlkSize以上であり、かつ、MCLM最大ブロックサイズMCLMMaxBlkSize以下であるかを判定する。なお、上述の式（１７）において、色差ブロックのサイズと閾値を比較する部分を上述の式（１８）に示す対数表現に置き換えてもよい。
式（１７）を満たすと判定された場合（色差符号化ブロックのサイズ（widthC*heightC）が、MCLM最小ブロックサイズMCLMMinBlkSize以上であり、かつ、MCLM最大ブロックサイズMCLMMaxBlkSize以下であると判定された場合）、処理はステップＳ２７２に進む。
ステップＳ２７２において、符号化部２２０は、多クラス線形予測モードフラグmclm_flagを符号化し、符号化データに付加する。ステップＳ２７２の処理が終了すると、処理はステップＳ２７３に進む。また、ステップＳ２７１において、式（１７）を満たさないと判定された場合（色差符号化ブロックのサイズ（widthC*heightC）が、MCLM最小ブロックサイズMCLMMinBlkSizeより小さいか、または、MCLM最大ブロックサイズMCLMMaxBlkSizeより大きいと判定された場合）、ステップＳ２７２の処理がスキップされ、処理はステップＳ２７３に進む。
ステップＳ２７３において、符号化部２２０は、上述の式（１９）に示されるcondition 4を満たすか否か、すなわち、色差アレイタイプChromaArrayTypeがCHROMA_420、または、CHROMA_422であるか否かを判定する。
式（１９）を満たすと判定された場合（色差アレイタイプChromaArrayTypeがCHROMA_420、または、CHROMA_422であると判定された場合）、処理はステップＳ２７４に進む。
ステップＳ２７４において、符号化部２２０は、制御部２０１の制御に従って、色差サンプル位置情報chroma_sample_loc_info()をシンタックステーブルの定義に沿って符号化し、符号化データに含める。
例えば、符号化部２２０は、図１６に示すシンタックステーブルの定義に沿って、色差サンプル位置タイプ識別子情報chroma_sample_loc_type_idxのビン列binを符号化する。なお、色差サンプル位置タイプ識別子情報chroma_sample_loc_type_idxを二値化することで、該ビン列が得られる。
ステップＳ２７４の処理が終了すると、処理は図５７に戻り、符号化処理が終了し、処理は、図５６に戻る。
また、図５８のステップＳ２７３において、式（１９）を満たさないと判定された場合（色差アレイタイプChromaArrayTypeがCHROMA_420ではなく、かつ、CHROMA_422でもないと判定された場合）、ステップＳ２７４の処理がスキップされ、処理は図５７に戻り、符号化処理が終了し、処理は、図５６に戻る。
なお、上述の画像符号化処理や符号化処理は、実施可能な範囲で、各ステップの処理順の入れ替えや、処理の内容を変更してもよい。
以上のように、符号化部２２０は、コンポーネント間予測情報CCInfoの一部として、輝度コンポーネントのサンプルに対する色差コンポーネントのサンプル位置を示す色差サンプル位置情報chroma_sample_loc_info()を符号化する。したがって、Luma/Chroma間予測部１４１（イントラ予測部２３１）において、色差アレイタイプChromaArrayTypeと色差サンプル位置情報chroma_sample_loc_info()とに基づいて、色差コンポーネントと輝度コンポーネントとの位相ズレを低減するダウンサンプルフィルタが選択可能となる。したがって、画像符号化装置２００は、位相ズレが低減されたコンポーネント間予測が可能となり、符号化効率の低減を抑制することができる。
＜色差サンプル位置情報の他の例＞
色差サンプル位置情報chroma_sample_loc_info()のシンタックスの例を、図１６を参照して説明したが、色差サンプル位置情報chroma_sample_loc_info()のシンタックスは、この例に限らず、例えば、図２６に示されるような構成であってもよい。つまり、色差サンプル位置タイプに初期値（default_chroma_sample_loc_type）を設けるようにし、色差サンプル位置タイプが初期値以外の場合にのみ、色差サンプル位置タイプ識別子情報chroma_sample_loc_type_idxが伝送されるようにしてもよい。
ステップＳ２７４（図５８）において、符号化部２２０は、図２６に示されるシンタックステーブルの定義に沿って、以下のシンタックスを符号化する。
デフォルト色差サンプル位置タイプフラグdefault_chroma_sample_loc_type_flag
色差サンプル位置タイプ識別子情報chroma_sample_loc_type_idx
すなわち、符号化部２２０は、デフォルト色差サンプル位置タイプフラグdefault_chroma_sample_loc_type_flagを符号化する。そして、このフラグが偽（０）の場合、符号化部２２０は、さらに、色差サンプル位置タイプ識別子情報chroma_sample_loc_type_idxのビン列binを符号化する。なお、色差サンプル位置タイプ識別子情報chroma_sample_loc_type_idxの値を２値化することでこのビン列が得られる。
図２６のシンタックステーブルの定義に基づく色差サンプル位置情報chroma_sample_loc_type()では、色差サンプル位置タイプとして使用頻度の高い所定タイプ（例えばType2）を１ビンで符号化することができる。したがって、図１６の場合よりも、より少ない符号量で色差サンプル位置情報を符号化することができる。つまり、符号化効率の低減を抑制することができる。
＜色差サンプル位置情報の格納場所について＞
図５７および図５８のフローチャート、並びに、図２０のシンタックステーブルにおいては、色差サンプル位置情報chroma_sample_loc_info()を符号化ユニット毎に符号化する構成例を示したが、色差サンプル位置情報chroma_sample_loc_info()の格納場所は、これに限定されない。
基本的に、色差サンプル位置タイプは、シーケンス毎に定まるため、図２８のＡに示すように、符号化ユニットよりも上位のヘッダ情報（VPS/SPS/PPS/SH/CTU）において、色差サンプル位置情報chroma_sample_loc_info()を符号化するようにしてもよい。つまり、色差サンプル位置情報chroma_sample_loc_info()を符号化ユニットよりも上位のヘッダ情報（VPS/SPS/PPS/SH/CTU）に格納するようにしてもよい。
その場合も、コンポーネント間線形予測に関するその他のシンタックスは、図２８のＢに示されるように、符号化ユニットのヘッダ情報において符号化するようにしてもよい。つまり、コンポーネント間線形予測に関するその他のシンタックスを符号化ユニットのヘッダ情報に格納するようにしてもよい。
このようにすることにより、符号化ユニット当たりの色差サンプル位置情報chroma_sample_loc_info()に係る符号量を削減することができる。つまり、符号化効率の低減を抑制することができる。
＜予測部＞
図５９は、画像符号化装置２００の予測部２１１の主な構成例を示すブロック図である。図５９に示されるように、予測部２１１は、イントラ予測部２３１、インター予測部２３２、および予測画像選択部２３３を有する。
イントラ予測部２３１は、イントラ予測に関する処理を行う。例えば、イントラ予測部２３１は、フレームメモリ２１８から参照画像として復号画像を取得し、その復号画像を用いて、予測モード情報Pinfoに基づくイントラ予測を行い、予測画像を生成する。イントラ予測部２３１は、各イントラ予測モードでイントラ予測を行い、それぞれのコスト関数（またはコストとも称する）を算出する。イントラ予測部２３１は、生成した各イントラ予測モードの予測画像を、予測モード情報Pinfo等とともに予測画像選択部２３３に供給する。
インター予測部２３２は、インター予測に関する処理を行う。例えば、インター予測部２３２は、フレームメモリ１１６から参照画像として復号画像を取得し、その復号画像を用いて、予測モード情報Pinfoに基づくインター予測を行い、予測画像を生成する。インター予測部２３２は、各インター予測モードでインター予測を行い、それぞれのコスト関数を算出する。インター予測部２３２は、生成した各インター予測モードの予測画像を、予測モード情報Pinfo等とともに予測画像選択部２３３に供給する。
予測画像選択部２３３は、イントラ予測部２３１から供給されるイントラ予測画像と、インター予測部２３２から供給されるインター予測画像との中から、例えばコスト関数等に基づいて最適な予測モードの予測画像を選択する。予測画像選択部２３３は、選択した予測画像を演算部２１２および演算部２１７に供給する。
＜イントラ予測処理の流れ＞
このような構成の予測部２１１により、図５６のステップＳ２４２において実行される予測処理の流れの例を、図６０のフローチャートを参照して説明する。
予測処理が開始されると、イントラ予測部２３１は、ステップＳ２９１において、イントラ予測を行い、予測画像を生成する。ステップＳ２９１の処理が終了すると、処理はステップＳ２９２に進む。
ステップＳ２９２において、インター予測部２３２は、インター予測を行い、予測画像を生成する。ステップＳ２９２の処理が終了すると、処理はステップＳ２９３に進む。
ステップＳ２９３において、イントラ予測部２３１は、各イントラ予測モードのコスト関数を算出し、インター予測部２３２は、各インター予測モードのコスト関数を算出し、予測画像選択部２３３は、それらのコスト関数に基づいて、最適な予測モード（の予測画像）を選択する。
ステップＳ２９３の処理が終了すると予測処理が終了し、処理は図５６に戻る。
このようにすることにより、予測部２１１は、最適な予測モードの予測画像を符号化させることができる。したがって、符号化効率の低減を抑制することができる。
＜イントラ予測部＞
ところで、このイントラ予測部２３１は、画像復号装置１００のイントラ予測部１２１と基本的に同様の構成を有し、同様のイントラ予測を行う。つまり、第１の実施の形態において上述したイントラ予測部１２１に対する説明は、基本的にこのイントラ予測部２３１にも適用することができる。例えば、イントラ予測部２３１は、図３０に示されるような構成を有する。つまり、イントラ予測部２３１も、DC予測部１３１乃至CC予測部１３４を有する。
ただし、このイントラ予測部２３１は、画像復号装置１００のイントラ予測部１２１とは異なり、上述のように全ての予測モードでイントラ予測を行う。また、予測モード情報Pinfo等のCC予測に用いられるパラメータは、符号化データから抽出されるのではなく、例えば制御部２０１や符号化部２２０等の、画像符号化装置２００の他の処理部から提供される。
＜イントラ予測処理の流れ＞
イントラ予測部２３１により、図６０のステップＳ２９１において実行されるイントラ予測処理の流れの例を、図６１のフローチャートを参照して説明する。
このイントラ予測処理が開始されると、DC予測部１３１は、ステップＳ３０１において、DC予測を行い、予測画像を生成する。ステップＳ３０２において、Planar予測部１３２は、Planar予測を行い、予測画像を生成する。ステップＳ３０３において、Angular予測部１３３は、Angular予測を行い、予測画像を生成する。ステップＳ３０４において、CC予測部１３４は、CC予測（コンポーネント間予測処理）を行い、予測画像を生成する。
ステップＳ３０４の処理が終了すると、イントラ予測処理が終了し、処理は図６０に戻る。
このように、イントラ予測部２３１は、各予測モードで予測画像を生成する。したがって、予測部２１１は、最適なモードの予測画像を選択することができる。つまり、符号化効率の低減を抑制することができる。
＜CC予測部＞
なお、この場合も、CC予測部１３４は、第１の実施の形態の場合と基本的に同様の構成を有し、同様の処理を行う。つまり、第１の実施の形態において上述したCC予測部１３４に対する説明は、基本的にこの場合にも適用することができる。例えば、CC予測部１３４は、図３０に示されるような構成を有し、図３５のフローチャートを参照して説明したようなコンポーネント間線形予測処理を実行する。
同様に、Luma/Chroma間予測部１４１は、図３２に示されるような構成を有し、図３６のフローチャートを参照して説明したような輝度色差間予測処理を実行する。また、Cb/Cr間残差予測部１４２は、図５２に示されるような構成を有し、図５３のフローチャートを参照して説明したような色差間残差予測処理を実行する。
したがって、CC予測部１３４（Luma/Chroma間予測部１４１およびCb/Cr間残差予測部１４２）は、それぞれ、第１の実施の形態の場合と同様の効果を得ることができる。したがって、符号化効率の低減を抑制することができる。
＜CUレベル符号化処理の流れ＞
１つのCUに対する以上のような画像符号化処理（CUレベル符号化処理）の流れの例を、図６２および図６３のフローチャートを参照して説明する。
CUレベル符号化処理が開始されると、図６２のステップＳ３２１において、予測部２１１は、符号化対象CU（カレントCU）の輝度コンポーネントの予測画像を生成する。
ステップＳ３２２において、演算部２１２は、カレントCUの輝度コンポーネントの元画像から、ステップＳ３２１の処理により生成したカレントCUの輝度コンポーネントの予測画像を減算して、カレントCUの輝度コンポーネントの予測残差を生成する。
ステップＳ３２３において、変換部２１３および量子化部２１４は、ステップＳ３２２の処理により得られたカレントCUの輝度コンポーネントの予測残差を変換・量子化して、カレントCUの輝度コンポーネントの量子化後の変換係数を導出する。
ステップＳ３２４において、逆量子化部２１５および逆変換部２１６は、逆量子化・逆変換により、ステップＳ３２３の処理により得られたカレントCUの輝度コンポーネントの量子化後の変換係数を予測残差へ変換する。
ステップＳ３２５において、演算部２１７は、ステップＳ３２４の処理により得られたカレントCUの輝度コンポーネントの予測残差と、ステップＳ３２１の処理により生成したカレントCUの輝度コンポーネントの予測画像とを加算し、カレントCUの輝度コンポーネントの復号画像を復元する。
ステップＳ３２６において、予測部２１１（Luma/Chroma間予測部１４１）は、符号化対象CU（カレントCU）の色差コンポーネント（Cb）の予測画像を生成する。
ステップＳ３２７において、演算部２１２は、カレントCUの色差コンポーネント（Cb）の元画像から、ステップＳ３２６の処理により生成したカレントCUの色差コンポーネント（Cb）予測画像を減算して、カレントCUの色差コンポーネント（Cb）の予測残差を生成する。
ステップＳ３２８において、変換部２１３および量子化部２１４は、ステップＳ３２７の処理により得られたカレントCUの色差コンポーネント（Cb）の予測残差を変換・量子化して、カレントCUの色差コンポーネント（Cb）の量子化後の変換係数を導出する。
ステップＳ３２９において、逆量子化部２１５および逆変換部２１６は、逆量子化・逆変換により、ステップＳ３２８の処理により得られたカレントCUの色差コンポーネント（Cb）の量子化後の変換係数を予測残差へ変換する。ステップＳ３２９の処理が終了すると処理は、図６３に進む。
図６３のステップＳ３３１において、演算部２１７は、ステップＳ３２９の処理により得られたカレントCUの色差コンポーネント（Cb）の予測残差と、ステップＳ３２６の処理により得られたカレントCUの色差コンポーネント（Cb）の予測画像とを加算し、カレントCUの色差コンポーネント（Cb）の復号画像を復元する。
ステップＳ３３２において、予測部２１１（Luma/Chroma間予測部１４１）は、符号化対象CU（カレントCU）の色差コンポーネント（Cr）の予測画像を生成する。
ステップＳ３３３において、予測部２１１（Cb/Cr間残差予測部１４２）は、色差間残差予測（Cb/Cr間残差予測）を行い、カレントCUの色差コンポーネント（Cb）の予測残差を使って、ステップＳ３３２の処理により得られたカレントCUの色差コンポーネント（Cr）の予測画像を補正する。
ステップＳ３３４において、演算部２１２は、カレントCUの色差コンポーネント（Cr）の元画像から、ステップＳ３３３の処理により得られたカレントCUの色差コンポーネント（Cr）の補正後の予測画像を減算して、カレントCUの色差コンポーネント（Cr）の予測残差を生成する。
ステップＳ３３５において、変換部２１３および量子化部２１４は、ステップＳ３３４の処理により得られたカレントCUの色差コンポーネント（Cr）の予測残差を変換・量子化して、カレントCUの色差コンポーネント（Cr）の量子化後の変換係数を導出する。
ステップＳ３３６において、逆量子化部２１５および逆変換部２１６は、逆量子化・逆変換により、ステップＳ３３５の処理により得られたカレントCUの色差コンポーネント（Cr）の量子化後の変換係数を予測残差へ変換する。
ステップＳ３３７において、演算部２１７は、ステップＳ３３６の処理により得られたカレントCUの色差コンポーネント（Cr）の予測残差と、ステップＳ３３３の処理により得られたカレントCUの色差コンポーネント（Cr）の補正後の予測画像とを加算し、カレントCUの色差コンポーネント（Cr）の復号画像を復元する。
ステップＳ３３８において、符号化部２２０は、符号化対象CUに関するシンタックス群を可変長符号化する。
ステップＳ３３８の処理が終了すると、CUレベル符号化処理が終了する。
以上のようなCUレベル符号化処理を各CUについて実行することにより、画像符号化装置２００は、コンポーネント間線形予測処理や色差間残差予測を利用して、各CUの符号化画像を得ることができる。
以上のように、本技術を適用した画像処理装置の一実施の形態である画像符号化装置２００は、色差コンポーネントの画素位置に関する情報と色フォーマットに関する情報とに基づいて選択されたフィルタを用いて画素位置が変更された輝度コンポーネントの参照画像の画素値から、線形予測により色差コンポーネントの画素値を予測し、色差コンポーネントの予測画像を生成する予測部と、その予測部により生成された予測画像を用いて、画像の色差コンポーネントを符号化する符号化部とを備える。
つまり、画像符号化装置２００は、色差コンポーネントの画素位置に関する情報と色フォーマットに関する情報とに基づいて選択されたフィルタを用いて画素位置が変更された輝度コンポーネントの参照画像の画素値から、線形予測により色差コンポーネントの画素値を予測し、色差コンポーネントの予測画像を生成し、その生成された予測画像を用いて、画像の色差コンポーネントを符号化する。
したがって、画像符号化装置２００は、上述したように、符号化効率の低減を抑制することができる。
＜４．第３の実施の形態＞
＜色差間残差予測の制御＞
色差間残差予測によるCrコンポーネントの予測画像の補正の実行を制御するようにしてもよい。例えば、色差間残差予測を制御する制御情報を画像符号化装置２００から画像復号装置１００に伝送するようにしてもよい。この制御情報として、例えば、色差間残差予測フラグchroma_resi_pred_flagが伝送されるようにしてもよい。
色差間残差予測フラグchroma_resi_pred_flagは、色差間残差予測を行うか否かを指定するフラグ情報である。例えば、値が「０」（偽）の場合、色差間残差予測処理がスキップ（省略）される。また、例えば、値が「１」（真）の場合、色差間残差予測処理が実行される。
このようなフラグ情報を用いることにより、色差間残差予測を実行するか否かの制御が可能になる。したがって、不要な色差間残差予測の実行を抑制することができるので、符号化・復号の負荷や処理時間の増大を抑制することができる。
さらに、制御情報として、色差間残差予測有効フラグchroma_resi_pred_enabled_flagが伝送されるようにしてもよい。
色差間残差予測有効フラグchroma_resi_pred_enabled_flagは、色差間残差予測フラグchroma_resi_pred_flagが有効であるか否かを示すフラグ情報である。つまり、このフラグ情報を用いることにより、色差間残差予測を実行するか否かの制御を許可するか否かを制御することができる。
例えば、色差間残差予測有効フラグchroma_resi_pred_enabled_flagの値が「０」（偽）の場合、色差間残差予測フラグchroma_resi_pred_flagは無効であり伝送されない。また、例えば、色差間残差予測有効フラグchroma_resi_pred_enabled_flagの値が「１」（真）の場合、色差間残差予測フラグchroma_resi_pred_flagが有効であり、伝送される。
つまり、色差間残差予測有効フラグchroma_resi_pred_enabled_flagの値が「１」（真）の場合のみ、色差間残差予測を実行するか否かの制御を行うことができる。
ただし、色差間残差予測有効フラグchroma_resi_pred_enabled_flagの値が「０」（偽）の場合、画像復号装置１００は、色差間残差予測フラグchroma_resi_pred_flagのパースをスキップし、その値を「０」（偽）に設定する。つまり、色差間残差予測はスキップされる。したがって、色差間残差予測有効フラグchroma_resi_pred_enabled_flagは、色差間残差予測の実行を許可するか否かを制御するフラグ情報であるともいえる。
このフラグ情報を用いることにより、色差間残差予測フラグchroma_resi_pred_flagの不要な伝送を抑制することができるので、符号化効率の低減を抑制することができる。また、色差間残差予測フラグchroma_resi_pred_flagを取得するための処理による負荷や処理時間の増大を抑制することができる。
＜復号処理の流れ＞
これらの制御情報を適用する場合の、コンポーネント間予測の制御情報（コンポーネント間予測情報CCInfo）および色差イントラ予測モードIntraPredModeCの復号処理、並びに、関連シンタックス等(coding_unit())の復号処理の流れの例を、図６４および図６５のフローチャートを参照して説明する。なお、図６６は、図６４および図６５のフローチャートに対応するcoding_unit()のシンタックステーブルの一例である。
復号処理が開始されると、復号部１１１は、図６４のステップＳ３５１乃至ステップＳ３５８の各処理を、図１８のステップＳ１２１乃至ステップＳ１２８の各処理と同様に実行する。
ステップＳ３５５において、上述の式（１４）を満たさないと判定された場合（ccp_flagが１（真）であると判定された場合）、処理は図６５に進む。
ステップＳ３６１において、復号部１１１は、以下の式（２１）に示されるcondition 5を満たすか否かを判定する。
Condition 5: ccp_enabled_flag == 1
・・・（２１）
すなわち、コンポーネント間予測有効フラグccp_enabled_flagが「１」（真）であるかを判定する。式（２１）を満たす（すなわち、コンポーネント間予測有効フラグccp_enabled_flagが「１」（真）である）と判定された場合、処理はステップＳ３６２に進む。
ステップＳ３６２において、復号部１１１は、符号化データに含まれる色差間残差予測有効フラグchroma_resi_pred_enabled_flagをパースし、復号する。色差間残差予測有効フラグchroma_resi_pred_enabled_flagが取得されると処理はステップＳ３６４に進む。
また、ステップＳ３６１において、式（２１）を満たさない（すなわち、コンポーネント間予測有効フラグccp_enabled_flagが「０」（偽）である）と判定された場合、処理はステップＳ３６３に進む。
ステップＳ３６３において、復号部１１１は、色差間残差予測有効フラグchroma_resi_pred_enabled_flagのパースをスキップし、値「０」（偽）を設定する（chroma_resi_pred_enabled_flag=0）。ステップＳ３６３の処理が終了すると処理はステップＳ３６４に進む。
つまり、図６６のＡのシンタックステーブルに示されるように、色差間残差予測有効フラグchroma_resi_pred_enabled_flagは、コンポーネント間予測有効フラグccp_enabled_flagが「１」（真）の場合のみ、すなわち、コンポーネント間線形予測が許可されている場合のみ伝送される。コンポーネント間線形予測が行われない場合、色差間残差予測も行われないので、コンポーネント間線形予測が許可されていない（または禁止されている）場合、色差間残差予測有効フラグchroma_resi_pred_enabled_flagの値は「０」であることは明らかである。したがって、その伝送は不要である。
つまり、上述のように、コンポーネント間予測有効フラグccp_enabled_flagが「１」（真）の場合のみ、色差間残差予測有効フラグchroma_resi_pred_enabled_flagが伝送されるようにすることにより、冗長な情報を低減し、符号化効率の低減を抑制することができる。
図６５に戻り、ステップＳ３６４乃至ステップＳ３７１の各処理は、図１９のステップＳ１３１乃至ステップＳ１３８の各処理と同様に実行される。
ステップＳ３７２において、復号部１１１は、以下の式（２２）に示されるcondition 6を満たすか否かを判定する。
Condition 6: chroma_resi_pred_enabled_ flag == 1
・・・（２２）
すなわち、色差間残差予測有効フラグchroma_resi_pred_enabled_flagが「１」（真）であるかを判定する。式（２２）を満たす（すなわち、色差間残差予測有効フラグchroma_resi_pred_enabled_flagが「１」（真）である）と判定された場合、処理はステップＳ３７３に進む。
ステップＳ３７３において、復号部１１１は、符号化データに含まれる色差間残差予測フラグchroma_resi_pred_flagをパースし、復号する。色差間残差予測フラグchroma_resi_pred_flagが取得されると処理は図６４に戻り、復号処理が終了し、処理は図１７に戻る。
また、図６５のステップＳ３７２において、式（２２）を満たさない（すなわち、色差間残差予測有効フラグchroma_resi_pred_enabled_flagが「０」（偽）である）と判定された場合、処理はステップＳ３７４に進む。
ステップＳ３７４において、復号部１１１は、色差間残差予測フラグchroma_resi_pred_flagのパースをスキップし、値「０」（偽）を設定する（chroma_resi_pred_flag=0）。ステップＳ３７４の処理が終了すると処理は図６４に戻り、復号処理が終了し、処理は図１７に戻る。
つまり、図６６のＢのシンタックステーブルに示されるように、色差間残差予測フラグchroma_resi_pred_flagは、色差間残差予測有効フラグchroma_resi_pred_enabled_flagが「１」（真）の場合のみ、すなわち、色差間残差予測が許可されている場合のみ伝送される。色差間残差予測が許可されていない（または禁止されている）場合、色差間残差予測フラグchroma_resi_pred_flagの値は「０」であることが明らかである。したがって、その伝送は不要である。
つまり、上述のように、色差間残差予測有効フラグchroma_resi_pred_enabled_flagが「１」（真）の場合のみ、色差間残差予測フラグchroma_resi_pred_flagが伝送されるようにすることにより、冗長な情報を低減し、符号化効率の低減を抑制することができる。
なお、この復号処理も、実施可能な範囲で、各ステップの処理順の入れ替えや、処理の内容を変更してもよい。
このように復号処理を行うことにより、図６６のＡに示されるように、ヘッダ情報単位（VPS/SPS/PPS/SH/CTU）で、色差間残差予測有効フラグchroma_resi_pred_enabled_flagが復号される。すなわち、コンポーネント間予測を実行し、かつ、遅延がゆるされない場合、色差間残差予測有効フラグchroma_resi_pred_enabledf_flagを「０」にして色差間残差予測を禁止にすることにより、Cb/Cr間の依存関係を断つことができる。したがって、この場合、Crコンポーネントは、Cbコンポーネントの復号を待たずに復号が可能となる。すなわち、コンポーネント間予測時の遅延を低減することが可能となる。
また、色差間残差予測フラグchroma_resi_pred_flagを復号することで、CC予測部１３４は、色差間残差予測フラグchroma_resi_pred_flagに基づいて、色差間残差予測を制御可能となる。すなわち、色差間残差予測の効果があるところでのみ実行可能となるため、符号化効率が改善する。また、負荷の増大を抑制することができる。
＜CC予測部＞
図６７は、この場合のCC予測部１３４の主な構成例を示すブロック図である。図６７に示されるように、この場合のCC予測部１３４は、図３１の例の場合と同様にLuma/Chroma間予測部１４１を有する。また、この場合のCC予測部１３４は、図３１の例のCb/Cr間残差予測部１４２の代わりに、Cb/Cr間残差予測部２４２を有する。
Luma/Chroma間予測部１４１は、図３１の場合と同様に、輝度コンポーネントから色差コンポーネント（Cb/Cr）の予測画像PredX（X=Cb,Cr）を予測し、生成する。
Cb/Cr間残差予測部２４２は、色差間残差予測フラグchroma_resi_pred_flagを取得し、参照する。該フラグが色差間残差予測を適用することを示す場合、Cb/Cr間残差予測部２４２は、Crコンポーネントの予測画像PredCrを色差間残差予測により補正し、補正後のCr予測画像Pred* Cbを生成する。該フラグが色差間残差予測を適用しないことを示す場合、色差間残差予測（Crコンポーネントの予測画像PredCrの補正）をスキップする。
＜コンポーネント間線形予測処理の流れ＞
この場合のCC予測部１３４により実行されるコンポーネント間線形予測処理の流れの例を、図６８のフローチャートを参照して説明する。このフローチャートは、第１の実施の形態の図３５のフローチャートに対応する。
コンポーネント間線形予測処理が開始されると、Luma/Chroma間予測部１４１は、ステップＳ３９１において、輝度色差間予測処理を行い、輝度コンポーネントから色差コンポーネントの予測画像を予測する。
ステップＳ３９２において、Cb/Cr間残差予測部２４２は、色差間残差予測フラグchroma_resi_pred_flagを参照し、その値が「１」（真）であるか否かを判定する。色差間残差予測フラグchroma_resi_pred_flagの値が「１」（真）であると判定された場合、処理はステップＳ３９３に進む。
ステップＳ３９３において、Cb/Cr間残差予測部２４２は、色差間残差予測処理を行い、Cbコンポーネントを用いてCrコンポーネントの予測画像を補正する。ステップＳ３９３の処理が終了すると、コンポーネント間線形予測処理が終了し、処理は図３４に戻る。
また、図６８のステップＳ３９２において、色差間残差予測フラグchroma_resi_pred_flagの値が「０」（偽）であると判定された場合、ステップＳ３９３の処理はスキップされ、コンポーネント間線形予測処理が終了し、処理は図３４に戻る。
このように処理を行うことにより、色差間残差予測フラグchroma _resi_pred_flagに基づいて、色差間残差予測の制御が可能となる。すなわち、効果があるところでのみ色差間残差予測を実行する（換言するに、十分な効果が期待できないところでは色差間残差予測を省略する）ことができるため、符号化効率の低減を抑制することができる。また色差間残差予測による負荷の増大や処理時間の増大を抑制することができる。
＜CUレベル復号処理の流れ＞
この場合の、１つのCUに対する以上のような画像復号処理（CUレベル復号処理）の流れを、図６９のフローチャートを参照して説明する。
CUレベル復号処理が開始されると、ステップＳ４０１乃至ステップＳ４０８の各処理が、図５４のステップＳ２２１乃至ステップＳ２２８の各処理と同様に実行される。
ステップＳ４０９において、予測部１１４は、色差間残差予測フラグchroma_resi_pred_flagを参照し、その値が「１」（真）であるか否かを判定する。色差間残差予測フラグchroma_resi_pred_flagの値が「１」（真）であると判定された場合、処理はステップＳ４１０に進む。
ステップＳ４１０において、予測部１１４は、色差間残差予測（Cb/Cr間残差予測）を行い、色差コンポーネント（Cb）の予測残差を使って、ステップＳ４０８の処理により得られたカレントCUの色差コンポーネント（Cr）の予測画像を補正する。ステップＳ４１０の処理が終了すると処理はステップＳ４１１に進む。
また、ステップＳ４０９において、色差間残差予測フラグchroma_resi_pred_flagの値が「０」（偽）であると判定された場合、ステップＳ４１０の処理はスキップされ、処理はステップＳ４１１に進む。
ステップＳ４１１において、逆量子化部１１２および逆変換部１１３は、逆量子化・逆変換を行い、復号部１１１により符号化データが復号されて得られるカレントCUの色差コンポーネント（Cr）の量子化後の変換係数を予測残差へ変換する。
ステップＳ４１２において、演算部１１５は、ステップＳ２２９の処理により得られた色差コンポーネント（Cr）の予測残差と、ステップＳ２３０の処理により得られた色差コンポーネント（Cr）の補正後の予測画像とを用いて、カレントCUの色差コンポーネント（Cr）の復号画像を復元する。
ステップＳ４１２の処理が終了するとCUレベル復号処理が終了する。
以上のようなCUレベル復号処理を各CUについて実行することにより、画像復号装置１００は、コンポーネント間線形予測処理や色差間残差予測を利用して、各CUの復号画像を得ることができる。また、色差間残差予測の実行を制御することができる。
＜５．第４の実施の形態＞
＜コンポーネント間予測情報の符号化＞
第３の実施の形態の画像復号装置１００に対応する画像符号化装置２００の処理について説明する。
この場合、画像符号化装置２００は、図６６に示されるシンタックステーブルに従って、色差間残差予測を制御する制御情報を符号化し、画像復号装置１００に伝送する。
例えば、図６６のＡに示されるように、画像符号化装置２００は、コンポーネント間予測有効フラグccp_enabled_flagが「１」（真）の場合のみ、すなわち、コンポーネント間線形予測が許可されている場合のみ、色差間残差予測有効フラグchroma_resi_pred_enabled_flagを符号化し、伝送する。
また、例えば、図６６のＢに示されるように、画像符号化装置２００は、色差間残差予測有効フラグchroma_resi_pred_enabled_flagが「１」（真）の場合のみ、すなわち、色差間残差予測が許可されている場合のみ、色差間残差予測フラグchroma_resi_pred_flagを符号化し、伝送する。
このようにすることにより、第３の実施の形態において上述したように、符号化効率の低減を抑制することができる。
＜符号化処理の流れ＞
この場合の画像符号化装置２００により実行される、図５６のステップＳ２５０において実行される、コンポーネント間予測の制御情報（コンポーネント間予測情報CCInfo）および色差イントラ予測モードIntraPredModeCの符号化処理、並びに、関連シンタックス等(coding_unit ())の符号化処理の流れの例を、図７０および図７１のフローチャートを参照して説明する。
符号化処理が開始されると、図７０のステップＳ４３１乃至ステップＳ４３５の各処理が、図５７のステップＳ２６１乃至ステップＳ２６５の各処理と同様に実行される。
また、ステップＳ４３４において、上述の式（１４）を満たさないと判定された場合（ccp_flagが１（真）であると判定された場合）、処理は図７１に進む。
ステップＳ４４１において、符号化部２２０は、上述の式（２１）に示されるcondition 5を満たすか否かを判定する。すなわち、コンポーネント間予測有効フラグccp_enabled_flagが「１」（真）であるかを判定する。式（２１）を満たす（すなわち、コンポーネント間予測有効フラグccp_enabled_flagが「１」（真）である）と判定された場合、処理はステップＳ４４２に進む。
ステップＳ４４２において、符号化部２２０は、色差間残差予測有効フラグchroma_resi_pred_enabled_flagを符号化し、符号化データに付加する。色差間残差予測有効フラグchroma_resi_pred_enabled_flagが符号化データに付加されると処理はステップＳ４４３に進む。
また、ステップＳ４４１において、式（２１）を満たさない（すなわち、コンポーネント間予測有効フラグccp_enabled_flagが「０」（偽）である）と判定された場合、ステップＳ４４２の処理は省略され、処理はステップＳ４４３に進む。
ステップＳ４４３乃至ステップＳ４４６の各処理は、図５８のステップＳ２７１乃至ステップＳ２７４の各処理と同様に実行される。
ステップＳ４４７において、符号化部２２０は、上述の式（２２）に示されるcondition 6を満たすか否かを判定する。
すなわち、色差間残差予測有効フラグchroma_resi_pred_enabled_flagが「１」（真）であるかを判定する。式（２２）を満たす（すなわち、色差間残差予測有効フラグchroma_resi_pred_enabled_flagが「１」（真）である）と判定された場合、処理はステップＳ４４８に進む。
ステップＳ４４８において、符号化部２２０は、色差間残差予測フラグchroma_resi_pred_flagを符号化し、符号化データに付加する。色差間残差予測フラグchroma_resi_pred_flagが符号化データに付加されると処理は図７０に戻り、符号化処理が終了し、処理は図５６に戻る。
また、図７１のステップＳ４４７において、式（２２）を満たさない（すなわち、色差間残差予測有効フラグchroma_resi_pred_enabled_flagが「０」（偽）である）と判定された場合、ステップＳ４４８の処理が省略され、処理は図７０に戻り、符号化処理が終了し、処理は図５６に戻る。
このように符号化処理を行うことにより、図６６のＡに示されるように、ヘッダ情報単位（VPS/SPS/PPS/SH/CTU）で、色差間残差予測有効フラグchroma_resi_pred_enabled_flagが符号化される。すなわち、コンポーネント間予測を実行し、かつ、遅延が許されない場合、色差間残差予測有効フラグchroma_resi_pred_enabledf_flagを「０」にして色差間残差予測を禁止にすることにより、Cb/Cr間の依存関係を断つことができる。したがって、この場合、Cbコンポーネントの符号化を待たずにCrコンポーネントを符号化することができる。すなわち、コンポーネント間予測時の遅延を低減することができる。
また、色差間残差予測フラグchroma_resi_pred_flagを符号化することで、CC予測部１３４は、色差間残差予測フラグchroma_resi_pred_flagに基づいて、色差間残差予測を制御可能となる。すなわち、色差間残差予測の効果があるところでのみ実行可能となるため、符号化効率が改善する。また、負荷の増大を抑制することができる。
＜CUレベル符号化処理の流れ＞
この場合の、１つのCUに対する以上のような画像符号化処理（CUレベル符号化処理）の流れの例を、図７２および図７３のフローチャートを参照して説明する。
CUレベル符号化処理が開始されると、図７２のステップＳ４６１乃至ステップＳ４６９の各処理が、図６２のステップＳ３２１乃至ステップＳ３２９の各処理と同様に実行される。ステップＳ４６９の処理が終了すると、処理は図７３に進む。
図７３のステップＳ４７１およびステップＳ４７２の各処理が、図６３のステップＳ３３１およびステップＳ３３２の各処理と同様に実行される。
ステップＳ４７３において、予測部２１１は、色差間残差予測フラグchroma_resi_pred_flagを参照し、その値が「１」（真）であるか否かを判定する。色差間残差予測フラグchroma_resi_pred_flagの値が「１」（真）であると判定された場合、処理はステップＳ４７４に進む。
ステップＳ４７４において、予測部２１１は、色差間残差予測（Cb/Cr間残差予測）を行い、色差コンポーネント（Cb）の予測残差を使って、ステップＳ４７２の処理により得られたカレントCUの色差コンポーネント（Cr）の予測画像を補正する。ステップＳ４７４の処理が終了すると処理はステップＳ４７５に進む。
また、ステップＳ４７３において、色差間残差予測フラグchroma_resi_pred_flagの値が「０」（偽）であると判定された場合、ステップＳ４７４の処理はスキップされ、処理はステップＳ４７５に進む。
図７３のステップＳ４７５乃至ステップＳ４７９の各処理は、図６３のステップＳ３３４乃至ステップＳ３３８の各処理と同様に実行される。
ステップＳ４７９の処理が終了すると、CUレベル符号化処理が終了する。
以上のようなCUレベル符号化処理を各CUについて実行することにより、画像符号化装置２００は、コンポーネント間線形予測処理や色差間残差予測を利用して、各CUの符号化画像を得ることができる。また、色差間残差予測の実行を制御することができる。
＜６．まとめ＞
＜第１の実施の形態の画像復号装置１００と第２の実施の形態の画像符号化装置２００について＞
復号部１１１／符号化部２２０は、コンポーネント間予測情報CCInfoの一部として、輝度コンポーネントのサンプルに対する色差コンポーネントのサンプル位置を示す色差サンプル位置情報を復号／符号化する。
したがって、色差アレイタイプと色差サンプル位置情報に基づいて、色差コンポーネントと輝度コンポーネントとの位相ズレを低減するダウンサンプルフィルタが選択可能となる。したがって、位相ズレが低減されたコンポーネント間予測が可能となり、符号化効率の低減を抑制することができる。
また、Luma/Chroma間予測部１４１は、単一クラスモードと多クラスモードの両方において、色差アレイタイプと色差サンプル位置情報に基づいて、色差サンプル位置と同座標の輝度サンプルを生成するダウンサンプルフィルタを選択することで、輝度コロケート隣接画素群RY,nから色差コンポーネントとの位相のずれを低減した縮小輝度コロケート隣接画素群R'Y,nを生成することができる。したがって、位相ズレが少ないため、より精度の高い予測パラメータ（α、β）を導出することができる。
Luma/Chroma間予測部１４１は、単一クラスモードと多クラスモードの両方において、色差アレイタイプと色差サンプル位置情報に基づいて、色差サンプル位置と同座標の輝度サンプルを生成するダウンサンプルフィルタを選択することで、輝度コロケートブロック画素群RY,colから色差コンポーネントとの位相のずれを低減した縮小輝度コロケートブロック画素群R'Y,colを生成することができる。
したがって、単一クラスモードと多クラスモードの両方において、位相ズレが低減された縮小輝度コロケートブロック画素群R'Y,colから、より精度の高い予測パラメータ（α、β）を使って、従来技術と比較してより精度の高い予測画像を生成することができる。すなわち、符号化効率が改善する。
さらに、Luma/Chroma間予測部１４１は、従来技術の場合と比較して、色差フォーマットが420形式に限定されず、422形式、444形式に対応したLuma/Chroma間予測を行うことができる。すなわち、422形式、444形式において、Luma/Chroma間予測を適用することができるため、符号化効率が改善する。
＜第３の実施の形態の画像復号装置１００と第４の実施の形態の画像符号化装置２００について＞
画像復号装置１００／画像符号化装置２００は、色差間残差予測有効フラグchroma_resi_pred_enabled_flagを復号/符号化する。また、画像復号装置１００／画像符号化装置２００は、色差間残差予測フラグchroma_resi_pred_flagを復号/符号化する。したがって、色差間残差予測フラグchroma_resi_pred_flagに基づいて、色差間残差予測の制御が可能となる。すなわち、色差間残差予測の効果があるところでのみ実行可能となるため、符号化効率が改善する。
また、画像復号装置１００／画像符号化装置２００コンポーネント間予測を実行し、かつ、遅延が許されない場合、色差間残差予測有効フラグchroma_resi _pred_enabledf_flagを０にし、色差間残差予測を禁止し、Cb/Cr間の依存関係を断つ。したがって、コンポーネント間予測時に、Crコンポーネントは、Cbコンポーネントの復号/符号化を待たずに復号/符号化が可能となる。すなわち、コンポーネント間予測時の遅延を低減することが可能となる。
＜７．その他＞
＜情報のデータ単位＞
以上において説明した画像に関する情報や画像の符号化・復号に関する情報が設定される（または対象とするデータの）データ単位は、それぞれ任意であり、上述した例に限定されない。例えば、これらの情報が、それぞれ、TU（Transform Unit）、TB(Transform Block)、PU（Prediction Unit）、PB(Prediction Block)、CU（Coding Unit）、LCU（Largest Coding Unit）、サブブロック、ブロック、タイル、スライス、ピクチャ、シーケンス、またはコンポーネント毎に設定されるようにしてもよいし、それらのデータ単位のデータを対象とするようにしてもよい。もちろん、このデータ単位は、情報毎に設定される。つまり、全ての情報が同一のデータ単位毎に設定される（または対象とする）ようにしなくてもよい。なお、これらの情報の格納場所は任意であり、上述したデータ単位のヘッダやパラメータセット等に格納されるようにしてもよい。また、複数個所に格納されるようにしてもよい。
＜制御情報＞
以上の各実施の形態において説明した本技術に関する制御情報を符号化側から復号側に伝送するようにしてもよい。例えば、上述した本技術を適用することを許可（または禁止）するか否かを制御する制御情報（例えばenabled_flag）を伝送するようにしてもよい。また、例えば、上述した本技術を適用することを許可（または禁止）するブロックサイズの上限若しくは下限、またはその両方を指定する制御情報を伝送するようにしてもよい。
＜符号化・復号＞
本技術は、任意の画像符号化・復号方式に適用することができる。つまり、変換（逆変換）、量子化（逆量子化）、符号化（復号）、予測等、画像符号化・復号に関する各種処理の仕様は任意であり、上述した例に限定されない。例えば、変換（逆変換）において、（逆）プライマリ変換および（逆）セカンダリ変換以外の（逆）変換（すなわち３以上の（逆）変換）が行われるようにしてもよい。また、符号化（復号）は、可逆な方式であってもよいし、非可逆な方式であってもよい。さらに、量子化（逆量子化）やループフィルタ処理等は省略するようにしてもよい。
＜本技術の適用分野＞
本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。
例えば、本技術は、観賞用コンテンツ等の提供の用に供されるシステムやデバイスに適用することができる。また、例えば、本技術は、交通状況の監理や自動運転制御等、交通の用に供されるシステムやデバイスにも適用することができる。さらに、例えば、本技術は、セキュリティの用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、機械等の自動制御の用に供されるシステムやデバイスに適用することができる。さらに、例えば、本技術は、農業や畜産業の用に供されるシステムやデバイスにも適用することができる。また、本技術は、例えば火山、森林、海洋等の自然の状態や野生生物等を監視するシステムやデバイスにも適用することができる。さらに、例えば、本技術は、スポーツの用に供されるシステムやデバイスにも適用することができる。
＜多視点画像符号化・復号システムへの適用＞
上述した一連の処理は、複数の視点（ビュー（view））の画像を含む多視点画像の符号化・復号を行う多視点画像符号化・復号システムに適用することができる。その場合、各視点（ビュー（view））の符号化・復号において、本技術を適用するようにすればよい。
＜階層画像符号化・復号システムへの適用＞
また、上述した一連の処理は、所定のパラメータについてスケーラビリティ（scalability）機能を有するように複数レイヤ化（階層化）された階層画像の符号化・復号を行う階層画像符号化（スケーラブル符号化）・復号システムに適用することができる。その場合、各階層（レイヤ）の符号化・復号において、本技術を適用するようにすればよい。
＜コンピュータ＞
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
図７４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
図７４に示されるコンピュータ８００において、CPU（Central Processing Unit）８０１、ROM（Read Only Memory）８０２、RAM（Random Access Memory）８０３は、バス８０４を介して相互に接続されている。
バス８０４にはまた、入出力インタフェース８１０も接続されている。入出力インタフェース８１０には、入力部８１１、出力部８１２、記憶部８１３、通信部８１４、およびドライブ８１５が接続されている。
入力部８１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部８１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部８１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部８１４は、例えば、ネットワークインタフェースよりなる。ドライブ８１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア８２１を駆動する。
以上のように構成されるコンピュータでは、CPU８０１が、例えば、記憶部８１３に記憶されているプログラムを、入出力インタフェース８１０およびバス８０４を介して、RAM８０３にロードして実行することにより、上述した一連の処理が行われる。RAM８０３にはまた、CPU８０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
コンピュータ（CPU８０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア８２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア８２１をドライブ８１５に装着することにより、入出力インタフェース８１０を介して、記憶部８１３にインストールすることができる。
また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部８１４で受信し、記憶部８１３にインストールすることができる。
その他、このプログラムは、ROM８０２や記憶部８１３に、あらかじめインストールしておくこともできる。
＜本技術の応用＞
上述した実施形態に係る画像符号化装置２００や画像復号装置１００は、例えば、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、およびセルラー通信による端末への配信などにおける送信機や受信機、または、光ディスク、磁気ディスクおよびフラッシュメモリなどの媒体に画像を記録する記録装置や、これら記憶媒体から画像を再生する再生装置などの、様々な電子機器に応用され得る。
＜第１の応用例：テレビジョン受像機＞
図７５は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース（I/F）部９０９、制御部９１０、ユーザインタフェース（I/F）部９１１、およびバス９１２を備える。
チューナ９０２は、アンテナ９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ９０３へ出力する。即ち、チューナ９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送部としての役割を有する。
デマルチプレクサ９０３は、符号化ビットストリームから視聴対象の番組の映像ストリームおよび音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。また、デマルチプレクサ９０３は、符号化ビットストリームからEPG（Electronic Program Guide）などの補助的なデータを抽出し、抽出したデータを制御部９１０に供給する。なお、デマルチプレクサ９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。
デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリームおよび音声ストリームを復号する。そして、デコーダ９０４は、復号処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号処理により生成される音声データを音声信号処理部９０７へ出力する。
映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に映像を表示させる。また、映像信号処理部９０５は、ネットワークを介して供給されるアプリケーション画面を表示部９０６に表示させてもよい。また、映像信号処理部９０５は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部９０５は、例えばメニュー、ボタンまたはカーソルなどのGUI（Graphical User Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。
表示部９０６は、映像信号処理部９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイまたはOELD（Organic ElectroLuminescence Display）（有機ELディスプレイ）など）の映像面上に映像または画像を表示する。
音声信号処理部９０７は、デコーダ９０４から入力される音声データについてD/A変換および増幅などの再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、音声データについてノイズ除去などの追加的な処理を行ってもよい。
外部インタフェース部９０９は、テレビジョン装置９００と外部機器またはネットワークとを接続するためのインタフェースである。例えば、外部インタフェース部９０９を介して受信される映像ストリームまたは音声ストリームが、デコーダ９０４により復号されてもよい。即ち、外部インタフェース部９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送部としての役割を有する。
制御部９１０は、CPUなどのプロセッサ、並びにRAMおよびROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、プログラムデータ、EPGデータ、およびネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置９００の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース部９１１から入力される操作信号に応じて、テレビジョン装置９００の動作を制御する。
ユーザインタフェース部９１１は、制御部９１０と接続される。ユーザインタフェース部９１１は、例えば、ユーザがテレビジョン装置９００を操作するためのボタンおよびスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース部９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９１０へ出力する。
バス９１２は、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース部９０９および制御部９１０を相互に接続する。
このように構成されたテレビジョン装置９００において、デコーダ９０４が、上述した画像復号装置１００の機能を有するようにしてもよい。つまり、デコーダ９０４が、符号化データを、以上の各実施の形態において説明した方法で復号するようにしてもよい。このようにすることにより、テレビジョン装置９００は、図１乃至図７３を参照して上述した各実施の形態と同様の効果を得ることができる。
また、このように構成されたテレビジョン装置９００において、映像信号処理部９０５が、例えば、デコーダ９０４から供給される画像データを符号化し、得られた符号化データを、外部インタフェース部９０９を介してテレビジョン装置９００の外部に出力させることができるようにしてもよい。そして、その映像信号処理部９０５が、上述した画像符号化装置２００の機能を有するようにしてもよい。つまり、映像信号処理部９０５が、デコーダ９０４から供給される画像データを、以上の各実施の形態において説明した方法で符号化するようにしてもよい。このようにすることにより、テレビジョン装置９００は、図１乃至図７３を参照して上述した各実施の形態と同様の効果を得ることができる。
＜第２の応用例：携帯電話機＞
図７６は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、およびバス９３３を備える。
アンテナ９２１は、通信部９２２に接続される。スピーカ９２４およびマイクロホン９２５は、音声コーデック９２３に接続される。操作部９３２は、制御部９３１に接続される。バス９３３は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、および制御部９３１を相互に接続する。
携帯電話機９２０は、音声通話モード、データ通信モード、撮影モードおよびテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メールまたは画像データの送受信、画像の撮像、およびデータの記録などの動作を行う。
音声通話モードにおいて、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３に供給される。音声コーデック９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをA/D変換し圧縮する。そして、音声コーデック９２３は、圧縮後の音声データを通信部９２２へ出力する。通信部９２２は、音声データを符号化および変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅しおよび周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調および復号して音声データを生成し、生成した音声データを音声コーデック９２３へ出力する。音声コーデック９２３は、音声データを伸張しおよびD/A変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
また、データ通信モードにおいて、例えば、制御部９３１は、操作部９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部９３１は、文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部９２２へ出力する。通信部９２２は、電子メールデータを符号化および変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅しおよび周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調および復号して電子メールデータを復元し、復元した電子メールデータを制御部９３１へ出力する。制御部９３１は、表示部９３０に電子メールの内容を表示させるとともに、電子メールデータを記録再生部９２９に供給し、その記憶媒体に書き込ませる。
記録再生部９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、RAMまたはフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、USB（Universal Serial Bus）メモリ、またはメモリカードなどの外部装着型の記憶媒体であってもよい。
また、撮影モードにおいて、例えば、カメラ部９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部９２７へ出力する。画像処理部９２７は、カメラ部９２６から入力される画像データを符号化し、符号化ストリームを記録再生部９２９に供給し、その記憶媒体に書き込ませる。
さらに、画像表示モードにおいて、記録再生部９２９は、記憶媒体に記録されている符号化ストリームを読み出して画像処理部９２７へ出力する。画像処理部９２７は、記録再生部９２９から入力される符号化ストリームを復号し、画像データを表示部９３０に供給し、その画像を表示させる。
また、テレビ電話モードにおいて、例えば、多重分離部９２８は、画像処理部９２７により符号化された映像ストリームと、音声コーデック９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部９２２へ出力する。通信部９２２は、ストリームを符号化および変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅しおよび周波数変換し、受信信号を取得する。これら送信信号および受信信号には、符号化ビットストリームが含まれ得る。そして、通信部９２２は、受信信号を復調および復号してストリームを復元し、復元したストリームを多重分離部９２８へ出力する。多重分離部９２８は、入力されるストリームから映像ストリームおよび音声ストリームを分離し、映像ストリームを画像処理部９２７、音声ストリームを音声コーデック９２３へ出力する。画像処理部９２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部９３０に供給され、表示部９３０により一連の画像が表示される。音声コーデック９２３は、音声ストリームを伸張しおよびD/A変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
このように構成された携帯電話機９２０において、例えば画像処理部９２７が、上述した画像符号化装置２００の機能を有するようにしてもよい。つまり、画像処理部９２７が、画像データを、以上の各実施の形態において説明した方法で符号化するようにしてもよい。このようにすることにより、携帯電話機９２０は、図１乃至図７３を参照して上述した各実施の形態と同様の効果を得ることができる。
また、このように構成された携帯電話機９２０において、例えば画像処理部９２７が、上述した画像復号装置１００の機能を有するようにしてもよい。つまり、画像処理部９２７が、符号化データを、以上の各実施の形態において説明した方法で復号するようにしてもよい。このようにすることにより、携帯電話機９２０は、図１乃至図７３を参照して上述した各実施の形態と同様の効果を得ることができる。
＜第３の応用例：記録再生装置＞
図７７は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置９４０は、例えば、受信した放送番組の音声データおよび映像データを符号化して記録媒体に記録する。また、記録再生装置９４０は、例えば、他の装置から取得される音声データおよび映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタおよびスピーカ上で再生する。このとき、記録再生装置９４０は、音声データおよび映像データを復号する。
記録再生装置９４０は、チューナ９４１、外部インタフェース（I/F）部９４２、エンコーダ９４３、HDD（Hard Disk Drive）部９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、OSD（On-Screen Display）部９４８、制御部９４９、およびユーザインタフェース（I/F）部９５０を備える。
チューナ９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９４１は、復調により得られた符号化ビットストリームをセレクタ９４６へ出力する。即ち、チューナ９４１は、記録再生装置９４０における伝送部としての役割を有する。
外部インタフェース部９４２は、記録再生装置９４０と外部機器またはネットワークとを接続するためのインタフェースである。外部インタフェース部９４２は、例えば、IEEE（Institute of Electrical and Electronic Engineers）1394インタフェース、ネットワークインタフェース、USBインタフェース、またはフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース部９４２を介して受信される映像データおよび音声データは、エンコーダ９４３へ入力される。即ち、外部インタフェース部９４２は、記録再生装置９４０における伝送部としての役割を有する。
エンコーダ９４３は、外部インタフェース部９４２から入力される映像データおよび音声データが符号化されていない場合に、映像データおよび音声データを符号化する。そして、エンコーダ９４３は、符号化ビットストリームをセレクタ９４６へ出力する。
HDD部９４４は、映像および音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラムおよびその他のデータを内部のハードディスクに記録する。また、HDD部９４４は、映像および音声の再生時に、これらデータをハードディスクから読み出す。
ディスクドライブ９４５は、装着されている記録媒体へのデータの記録および読み出しを行う。ディスクドライブ９４５に装着される記録媒体は、例えばDVD（Digital Versatile Disc）ディスク（DVD-Video、DVD-RAM（DVD - Random Access Memory）、DVD-R（DVD - Recordable）、DVD-RW（DVD - Rewritable）、DVD+R（DVD + Recordable）、DVD+RW（DVD + Rewritable）等）またはBlu-ray（登録商標）ディスクなどであってよい。
セレクタ９４６は、映像および音声の記録時には、チューナ９４１またはエンコーダ９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをHDD部９４４またはディスクドライブ９４５へ出力する。また、セレクタ９４６は、映像および音声の再生時には、HDD部９４４またはディスクドライブ９４５から入力される符号化ビットストリームをデコーダ９４７へ出力する。
デコーダ９４７は、符号化ビットストリームを復号し、映像データおよび音声データを生成する。そして、デコーダ９４７は、生成した映像データをOSD部９４８へ出力する。また、デコーダ９４７は、生成した音声データを外部のスピーカへ出力する。
OSD部９４８は、デコーダ９４７から入力される映像データを再生し、映像を表示する。また、OSD部９４８は、表示する映像に、例えばメニュー、ボタンまたはカーソルなどのGUIの画像を重畳してもよい。
制御部９４９は、CPUなどのプロセッサ、並びにRAMおよびROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、およびプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置９４０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース部９５０から入力される操作信号に応じて、記録再生装置９４０の動作を制御する。
ユーザインタフェース部９５０は、制御部９４９と接続される。ユーザインタフェース部９５０は、例えば、ユーザが記録再生装置９４０を操作するためのボタンおよびスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース部９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９４９へ出力する。
このように構成された記録再生装置９４０において、例えばエンコーダ９４３が、上述した画像符号化装置２００の機能を有するようにしてもよい。つまり、エンコーダ９４３が、画像データを、以上の各実施の形態において説明方法で符号化するようにしてもよい。このようにすることにより、記録再生装置９４０は、図１乃至図７３を参照して上述した各実施の形態と同様の効果を得ることができる。
また、このように構成された記録再生装置９４０において、例えばデコーダ９４７が、上述した画像復号装置１００の機能を有するようにしてもよい。つまり、デコーダ９４７が、符号化データを、以上の各実施の形態において説明した方法で復号するようにしてもよい。このようにすることにより、記録再生装置９４０は、図１乃至図７３を参照して上述した各実施の形態と同様の効果を得ることができる。
＜第４の応用例：撮像装置＞
図７８は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。
撮像装置９６０は、光学ブロック９６１、撮像部９６２、信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース（I/F）部９６６、メモリ部９６７、メディアドライブ９６８、OSD部９６９、制御部９７０、ユーザインタフェース（I/F）部９７１、およびバス９７２を備える。
光学ブロック９６１は、撮像部９６２に接続される。撮像部９６２は、信号処理部９６３に接続される。表示部９６５は、画像処理部９６４に接続される。ユーザインタフェース部９７１は、制御部９７０に接続される。バス９７２は、画像処理部９６４、外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、OSD部９６９、および制御部９７０を相互に接続する。
光学ブロック９６１は、フォーカスレンズおよび絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、CCD（Charge Coupled Device）またはCMOS（Complementary Metal Oxide Semiconductor）などのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号を信号処理部９６３へ出力する。
信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。
画像処理部９６４は、信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース部９６６またはメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース部９６６またはメディアドライブ９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９６５へ出力する。また、画像処理部９６４は、信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、OSD部９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。
OSD部９６９は、例えばメニュー、ボタンまたはカーソルなどのGUIの画像を生成して、生成した画像を画像処理部９６４へ出力する。
外部インタフェース部９６６は、例えばUSB入出力端子として構成される。外部インタフェース部９６６は、例えば、画像の印刷時に、撮像装置９６０とプリンタとを接続する。また、外部インタフェース部９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスクまたは光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６０にインストールされ得る。さらに、外部インタフェース部９６６は、LANまたはインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース部９６６は、撮像装置９６０における伝送部としての役割を有する。
メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブまたはSSD（Solid State Drive）のような非可搬性の記憶部が構成されてもよい。
制御部９７０は、CPUなどのプロセッサ、並びにRAMおよびROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、およびプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース部９７１から入力される操作信号に応じて、撮像装置９６０の動作を制御する。
ユーザインタフェース部９７１は、制御部９７０と接続される。ユーザインタフェース部９７１は、例えば、ユーザが撮像装置９６０を操作するためのボタンおよびスイッチなどを有する。ユーザインタフェース部９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。
このように構成された撮像装置９６０において、例えば画像処理部９６４が、上述した画像符号化装置２００の機能を有するようにしてもよい。つまり、画像処理部９６４が、画像データを、以上の各実施の形態において説明した方法で符号化するようにしてもよい。このようにすることにより、撮像装置９６０は、図１乃至図７３を参照して上述した各実施の形態と同様の効果を得ることができる。
また、このように構成された撮像装置９６０において、例えば画像処理部９６４が、上述した画像復号装置１００の機能を有するようにしてもよい。つまり、画像処理部９６４が、符号化データを、以上の各実施の形態において説明した方法で復号するようにしてもよい。このようにすることにより、撮像装置９６０は、図１乃至図７３を参照して上述した各実施の形態と同様の効果を得ることができる。
＜第５の応用例：ビデオセット＞
また、本技術は、任意の装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。図７９は、本技術を適用したビデオセットの概略的な構成の一例を示している。
近年、電子機器の多機能化が進んでおり、その開発や製造において、その一部の構成を販売や提供等として実施する場合、１機能を有する構成として実施を行う場合だけでなく、関連する機能を有する複数の構成を組み合わせ、複数の機能を有する１セットとして実施を行う場合も多く見られるようになってきた。
図７９に示されるビデオセット１３００は、このような多機能化された構成であり、画像の符号化や復号（いずれか一方でもよいし、両方でも良い）に関する機能を有するデバイスに、その機能に関連するその他の機能を有するデバイスを組み合わせたものである。
図７９に示されるように、ビデオセット１３００は、ビデオモジュール１３１１、外部メモリ１３１２、パワーマネージメントモジュール１３１３、およびフロントエンドモジュール１３１４等のモジュール群と、コネクティビティ１３２１、カメラ１３２２、およびセンサ１３２３等の関連する機能を有するデバイスとを有する。
モジュールは、互いに関連するいくつかの部品的機能をまとめ、まとまりのある機能を持った部品としたものである。具体的な物理的構成は任意であるが、例えば、それぞれ機能を有する複数のプロセッサ、抵抗やコンデンサ等の電子回路素子、その他のデバイス等を配線基板等に配置して一体化したものが考えられる。また、モジュールに他のモジュールやプロセッサ等を組み合わせて新たなモジュールとすることも考えられる。
図７９の例の場合、ビデオモジュール１３１１は、画像処理に関する機能を有する構成を組み合わせたものであり、アプリケーションプロセッサ、ビデオプロセッサ、ブロードバンドモデム１３３３、およびRFモジュール１３３４を有する。
プロセッサは、所定の機能を有する構成をSoC（System On a Chip）により半導体チップに集積したものであり、例えばシステムLSI（Large Scale Integration）等と称されるものもある。この所定の機能を有する構成は、論理回路（ハードウエア構成）であってもよいし、CPU、ROM、RAM等と、それらを用いて実行されるプログラム（ソフトウエア構成）であってもよいし、その両方を組み合わせたものであってもよい。例えば、プロセッサが、論理回路とCPU、ROM、RAM等とを有し、機能の一部を論理回路（ハードウエア構成）により実現し、その他の機能をCPUにおいて実行されるプログラム（ソフトウエア構成）により実現するようにしてもよい。
図７９のアプリケーションプロセッサ１３３１は、画像処理に関するアプリケーションを実行するプロセッサである。このアプリケーションプロセッサ１３３１において実行されるアプリケーションは、所定の機能を実現するために、演算処理を行うだけでなく、例えばビデオプロセッサ１３３２等、ビデオモジュール１３１１内外の構成を必要に応じて制御することもできる。
ビデオプロセッサ１３３２は、画像の符号化・復号（その一方または両方）に関する機能を有するプロセッサである。
ブロードバンドモデム１３３３は、インターネットや公衆電話回線網等の広帯域の回線を介して行われる有線若しくは無線（またはその両方）の広帯域通信により送信するデータ（デジタル信号）をデジタル変調する等してアナログ信号に変換したり、その広帯域通信により受信したアナログ信号を復調してデータ（デジタル信号）に変換したりする。ブロードバンドモデム１３３３は、例えば、ビデオプロセッサ１３３２が処理する画像データ、画像データが符号化されたストリーム、アプリケーションプログラム、設定データ等、任意の情報を処理する。
RFモジュール１３３４は、アンテナを介して送受信されるRF（Radio Frequency）信号に対して、周波数変換、変復調、増幅、フィルタ処理等を行うモジュールである。例えば、RFモジュール１３３４は、ブロードバンドモデム１３３３により生成されたベースバンド信号に対して周波数変換等を行ってRF信号を生成する。また、例えば、RFモジュール１３３４は、フロントエンドモジュール１３１４を介して受信されたRF信号に対して周波数変換等を行ってベースバンド信号を生成する。
なお、図７９において点線１３４１に示されるように、アプリケーションプロセッサ１３３１とビデオプロセッサ１３３２を、一体化し、１つのプロセッサとして構成されるようにしてもよい。
外部メモリ１３１２は、ビデオモジュール１３１１の外部に設けられた、ビデオモジュール１３１１により利用される記憶デバイスを有するモジュールである。この外部メモリ１３１２の記憶デバイスは、どのような物理構成により実現するようにしてもよいが、一般的にフレーム単位の画像データのような大容量のデータの格納に利用されることが多いので、例えばDRAM（Dynamic Random Access Memory）のような比較的安価で大容量の半導体メモリにより実現するのが望ましい。
パワーマネージメントモジュール１３１３は、ビデオモジュール１３１１（ビデオモジュール１３１１内の各構成）への電力供給を管理し、制御する。
フロントエンドモジュール１３１４は、RFモジュール１３３４に対してフロントエンド機能（アンテナ側の送受信端の回路）を提供するモジュールである。図７９に示されるように、フロントエンドモジュール１３１４は、例えば、アンテナ部１３５１、フィルタ１３５２、および増幅部１３５３を有する。
アンテナ部１３５１は、無線信号を送受信するアンテナおよびその周辺の構成を有する。アンテナ部１３５１は、増幅部１３５３から供給される信号を無線信号として送信し、受信した無線信号を電気信号（RF信号）としてフィルタ１３５２に供給する。フィルタ１３５２は、アンテナ部１３５１を介して受信されたRF信号に対してフィルタ処理等を行い、処理後のRF信号をRFモジュール１３３４に供給する。増幅部１３５３は、RFモジュール１３３４から供給されるRF信号を増幅し、アンテナ部１３５１に供給する。
コネクティビティ１３２１は、外部との接続に関する機能を有するモジュールである。コネクティビティ１３２１の物理構成は、任意である。例えば、コネクティビティ１３２１は、ブロードバンドモデム１３３３が対応する通信規格以外の通信機能を有する構成や、外部入出力端子等を有する。
例えば、コネクティビティ１３２１が、Bluetooth（登録商標）、IEEE 802.11（例えばWi-Fi（Wireless Fidelity、登録商標））、NFC（Near Field Communication）、IrDA（InfraRed Data Association）等の無線通信規格に準拠する通信機能を有するモジュールや、その規格に準拠した信号を送受信するアンテナ等を有するようにしてもよい。また、例えば、コネクティビティ１３２１が、USB（Universal Serial Bus）、HDMI（登録商標）（High-Definition Multimedia Interface）等の有線通信規格に準拠する通信機能を有するモジュールや、その規格に準拠した端子を有するようにしてもよい。さらに、例えば、コネクティビティ１３２１が、アナログ入出力端子等のその他のデータ（信号）伝送機能等を有するようにしてもよい。
なお、コネクティビティ１３２１が、データ（信号）の伝送先のデバイスを含むようにしてもよい。例えば、コネクティビティ１３２１が、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等の記録媒体に対してデータの読み出しや書き込みを行うドライブ（リムーバブルメディアのドライブだけでなく、ハードディスク、SSD（Solid State Drive）、NAS（Network Attached Storage）等も含む）を有するようにしてもよい。また、コネクティビティ１３２１が、画像や音声の出力デバイス（モニタやスピーカ等）を有するようにしてもよい。
カメラ１３２２は、被写体を撮像し、被写体の画像データを得る機能を有するモジュールである。カメラ１３２２の撮像により得られた画像データは、例えば、ビデオプロセッサ１３３２に供給されて符号化される。
センサ１３２３は、例えば、音声センサ、超音波センサ、光センサ、照度センサ、赤外線センサ、イメージセンサ、回転センサ、角度センサ、角速度センサ、速度センサ、加速度センサ、傾斜センサ、磁気識別センサ、衝撃センサ、温度センサ等、任意のセンサ機能を有するモジュールである。センサ１３２３により検出されたデータは、例えば、アプリケーションプロセッサ１３３１に供給されてアプリケーション等により利用される。
以上においてモジュールとして説明した構成をプロセッサとして実現するようにしてもよいし、逆にプロセッサとして説明した構成をモジュールとして実現するようにしてもよい。
以上のような構成のビデオセット１３００において、後述するようにビデオプロセッサ１３３２に本技術を適用することができる。したがって、ビデオセット１３００は、本技術を適用したセットとして実施することができる。
＜ビデオプロセッサの構成例＞
図８０は、本技術を適用したビデオプロセッサ１３３２（図７９）の概略的な構成の一例を示している。
図８０の例の場合、ビデオプロセッサ１３３２は、ビデオ信号およびオーディオ信号の入力を受けてこれらを所定の方式で符号化する機能と、符号化されたビデオデータおよびオーディオデータを復号し、ビデオ信号およびオーディオ信号を再生出力する機能とを有する。
図８０に示されるように、ビデオプロセッサ１３３２は、ビデオ入力処理部１４０１、第１画像拡大縮小部１４０２、第２画像拡大縮小部１４０３、ビデオ出力処理部１４０４、フレームメモリ１４０５、およびメモリ制御部１４０６を有する。また、ビデオプロセッサ１３３２は、エンコード・デコードエンジン１４０７、ビデオES（Elementary Stream）バッファ１４０８Ａおよび１４０８Ｂ、並びに、オーディオESバッファ１４０９Ａおよび１４０９Ｂを有する。さらに、ビデオプロセッサ１３３２は、オーディオエンコーダ１４１０、オーディオデコーダ１４１１、多重化部（MUX（Multiplexer））１４１２、逆多重化部（DMUX（Demultiplexer））１４１３、およびストリームバッファ１４１４を有する。
ビデオ入力処理部１４０１は、例えばコネクティビティ１３２１（図７９）等から入力されたビデオ信号を取得し、デジタル画像データに変換する。第１画像拡大縮小部１４０２は、画像データに対してフォーマット変換や画像の拡大縮小処理等を行う。第２画像拡大縮小部１４０３は、画像データに対して、ビデオ出力処理部１４０４を介して出力する先でのフォーマットに応じて画像の拡大縮小処理を行ったり、第１画像拡大縮小部１４０２と同様のフォーマット変換や画像の拡大縮小処理等を行ったりする。ビデオ出力処理部１４０４は、画像データに対して、フォーマット変換やアナログ信号への変換等を行って、再生されたビデオ信号として例えばコネクティビティ１３２１等に出力する。
フレームメモリ１４０５は、ビデオ入力処理部１４０１、第１画像拡大縮小部１４０２、第２画像拡大縮小部１４０３、ビデオ出力処理部１４０４、およびエンコード・デコードエンジン１４０７によって共用される画像データ用のメモリである。フレームメモリ１４０５は、例えばDRAM等の半導体メモリとして実現される。
メモリ制御部１４０６は、エンコード・デコードエンジン１４０７からの同期信号を受けて、アクセス管理テーブル１４０６Ａに書き込まれたフレームメモリ１４０５へのアクセススケジュールに従ってフレームメモリ１４０５に対する書き込み・読み出しのアクセスを制御する。アクセス管理テーブル１４０６Ａは、エンコード・デコードエンジン１４０７、第１画像拡大縮小部１４０２、第２画像拡大縮小部１４０３等で実行される処理に応じて、メモリ制御部１４０６により更新される。
エンコード・デコードエンジン１４０７は、画像データのエンコード処理、並びに、画像データが符号化されたデータであるビデオストリームのデコード処理を行う。例えば、エンコード・デコードエンジン１４０７は、フレームメモリ１４０５から読み出した画像データを符号化し、ビデオストリームとしてビデオESバッファ１４０８Ａに順次書き込む。また、例えば、ビデオESバッファ１４０８Ｂからビデオストリームを順次読み出して復号し、画像データとしてフレームメモリ１４０５に順次書き込む。エンコード・デコードエンジン１４０７は、これらの符号化や復号において、フレームメモリ１４０５を作業領域として使用する。また、エンコード・デコードエンジン１４０７は、例えばマクロブロック毎の処理を開始するタイミングで、メモリ制御部１４０６に対して同期信号を出力する。
ビデオESバッファ１４０８Ａは、エンコード・デコードエンジン１４０７によって生成されたビデオストリームをバッファリングして、多重化部（MUX）１４１２に供給する。ビデオESバッファ１４０８Ｂは、逆多重化部（DMUX）１４１３から供給されたビデオストリームをバッファリングして、エンコード・デコードエンジン１４０７に供給する。
オーディオESバッファ１４０９Ａは、オーディオエンコーダ１４１０によって生成されたオーディオストリームをバッファリングして、多重化部（MUX）１４１２に供給する。オーディオESバッファ１４０９Ｂは、逆多重化部（DMUX）１４１３から供給されたオーディオストリームをバッファリングして、オーディオデコーダ１４１１に供給する。
オーディオエンコーダ１４１０は、例えばコネクティビティ１３２１等から入力されたオーディオ信号を例えばデジタル変換し、例えばMPEGオーディオ方式やAC3（AudioCode number 3）方式等の所定の方式で符号化する。オーディオエンコーダ１４１０は、オーディオ信号が符号化されたデータであるオーディオストリームをオーディオESバッファ１４０９Ａに順次書き込む。オーディオデコーダ１４１１は、オーディオESバッファ１４０９Ｂから供給されたオーディオストリームを復号し、例えばアナログ信号への変換等を行って、再生されたオーディオ信号として例えばコネクティビティ１３２１等に供給する。
多重化部（MUX）１４１２は、ビデオストリームとオーディオストリームとを多重化する。この多重化の方法（すなわち、多重化により生成されるビットストリームのフォーマット）は任意である。また、この多重化の際に、多重化部（MUX）１４１２は、所定のヘッダ情報等をビットストリームに付加することもできる。つまり、多重化部（MUX）１４１２は、多重化によりストリームのフォーマットを変換することができる。例えば、多重化部（MUX）１４１２は、ビデオストリームとオーディオストリームとを多重化することにより、転送用のフォーマットのビットストリームであるトランスポートストリームに変換する。また、例えば、多重化部（MUX）１４１２は、ビデオストリームとオーディオストリームとを多重化することにより、記録用のファイルフォーマットのデータ（ファイルデータ）に変換する。
逆多重化部（DMUX）１４１３は、多重化部（MUX）１４１２による多重化に対応する方法で、ビデオストリームとオーディオストリームとが多重化されたビットストリームを逆多重化する。つまり、逆多重化部（DMUX）１４１３は、ストリームバッファ１４１４から読み出されたビットストリームからビデオストリームとオーディオストリームとを抽出する（ビデオストリームとオーディオストリームとを分離する）。つまり、逆多重化部（DMUX）１４１３は、逆多重化によりストリームのフォーマットを変換（多重化部（MUX）１４１２による変換の逆変換）することができる。例えば、逆多重化部（DMUX）１４１３は、例えばコネクティビティ１３２１やブロードバンドモデム１３３３等から供給されたトランスポートストリームを、ストリームバッファ１４１４を介して取得し、逆多重化することにより、ビデオストリームとオーディオストリームとに変換することができる。また、例えば、逆多重化部（DMUX）１４１３は、例えばコネクティビティ１３２１により各種記録媒体から読み出されたファイルデータを、ストリームバッファ１４１４を介して取得し、逆多重化することにより、ビデオストリームとオーディオストリームとに変換することができる。
ストリームバッファ１４１４は、ビットストリームをバッファリングする。例えば、ストリームバッファ１４１４は、多重化部（MUX）１４１２から供給されたトランスポートストリームをバッファリングし、所定のタイミングにおいて、または外部からの要求等に基づいて、例えばコネクティビティ１３２１やブロードバンドモデム１３３３等に供給する。
また、例えば、ストリームバッファ１４１４は、多重化部（MUX）１４１２から供給されたファイルデータをバッファリングし、所定のタイミングにおいて、または外部からの要求等に基づいて、例えばコネクティビティ１３２１等に供給し、各種記録媒体に記録させる。
さらに、ストリームバッファ１４１４は、例えばコネクティビティ１３２１やブロードバンドモデム１３３３等を介して取得したトランスポートストリームをバッファリングし、所定のタイミングにおいて、または外部からの要求等に基づいて、逆多重化部（DMUX）１４１３に供給する。
また、ストリームバッファ１４１４は、例えばコネクティビティ１３２１等において各種記録媒体から読み出されたファイルデータをバッファリングし、所定のタイミングにおいて、または外部からの要求等に基づいて、逆多重化部（DMUX）１４１３に供給する。
次に、このような構成のビデオプロセッサ１３３２の動作の例について説明する。例えば、コネクティビティ１３２１等からビデオプロセッサ１３３２に入力されたビデオ信号は、ビデオ入力処理部１４０１において4:2:2Y/Cb/Cr方式等の所定の方式のデジタル画像データに変換され、フレームメモリ１４０５に順次書き込まれる。このデジタル画像データは、第１画像拡大縮小部１４０２または第２画像拡大縮小部１４０３に読み出されて、4;2;0Y/Cb/Cr方式等の所定の方式へのフォーマット変換および拡大縮小処理が行われ、再びフレームメモリ１４０５に書き込まれる。この画像データは、エンコード・デコードエンジン１４０７によって符号化され、ビデオストリームとしてビデオESバッファ１４０８Ａに書き込まれる。
また、コネクティビティ１３２１等からビデオプロセッサ１３３２に入力されたオーディオ信号は、オーディオエンコーダ１４１０によって符号化され、オーディオストリームとして、オーディオESバッファ１４０９Ａに書き込まれる。
ビデオESバッファ１４０８Ａのビデオストリームと、オーディオESバッファ１４０９Ａのオーディオストリームは、多重化部（MUX）１４１２に読み出されて多重化され、トランスポートストリームまたはファイルデータ等に変換される。多重化部（MUX）１４１２により生成されたトランスポートストリームは、ストリームバッファ１４１４にバッファされた後、例えばコネクティビティ１３２１やブロードバンドモデム１３３３等を介して外部ネットワークに出力される。また、多重化部（MUX）１４１２により生成されたファイルデータは、ストリームバッファ１４１４にバッファされた後、例えばコネクティビティ１３２１等に出力され、各種記録媒体に記録される。
また、例えばコネクティビティ１３２１やブロードバンドモデム１３３３等を介して外部ネットワークからビデオプロセッサ１３３２に入力されたトランスポートストリームは、ストリームバッファ１４１４にバッファされた後、逆多重化部（DMUX）１４１３により逆多重化される。また、例えばコネクティビティ１３２１等において各種記録媒体から読み出され、ビデオプロセッサ１３３２に入力されたファイルデータは、ストリームバッファ１４１４にバッファされた後、逆多重化部（DMUX）１４１３により逆多重化される。つまり、ビデオプロセッサ１３３２に入力されたトランスポートストリームまたはファイルデータは、逆多重化部（DMUX）１４１３によりビデオストリームとオーディオストリームとに分離される。
オーディオストリームは、オーディオESバッファ１４０９Ｂを介してオーディオデコーダ１４１１に供給され、復号されてオーディオ信号が再生される。また、ビデオストリームは、ビデオESバッファ１４０８Ｂに書き込まれた後、エンコード・デコードエンジン１４０７により順次読み出されて復号されてフレームメモリ１４０５に書き込まれる。復号された画像データは、第２画像拡大縮小部１４０３によって拡大縮小処理されて、フレームメモリ１４０５に書き込まれる。そして、復号された画像データは、ビデオ出力処理部１４０４に読み出されて、4:2:2Y/Cb/Cr方式等の所定の方式にフォーマット変換され、さらにアナログ信号に変換されて、ビデオ信号が再生出力される。
このように構成されるビデオプロセッサ１３３２に本技術を適用する場合、エンコード・デコードエンジン１４０７に、上述した各実施形態に係る本技術を適用すればよい。つまり、例えば、エンコード・デコードエンジン１４０７が、上述した画像符号化装置２００の機能若しくは画像復号装置１００の機能またはその両方を有するようにしてもよい。このようにすることにより、ビデオプロセッサ１３３２は、図１乃至図７３を参照して上述した各実施の形態と同様の効果を得ることができる。
なお、エンコード・デコードエンジン１４０７において、本技術（すなわち、画像符号化装置２００の機能若しくは画像復号装置１００の機能またはその両方）は、論理回路等のハードウエアにより実現するようにしてもよいし、組み込みプログラム等のソフトウエアにより実現するようにしてもよいし、それらの両方により実現するようにしてもよい。
＜ビデオプロセッサの他の構成例＞
図８１は、本技術を適用したビデオプロセッサ１３３２の概略的な構成の他の例を示している。図８１の例の場合、ビデオプロセッサ１３３２は、ビデオデータを所定の方式で符号化・復号する機能を有する。
より具体的には、図８１に示されるように、ビデオプロセッサ１３３２は、制御部１５１１、ディスプレイインタフェース１５１２、ディスプレイエンジン１５１３、画像処理エンジン１５１４、および内部メモリ１５１５を有する。また、ビデオプロセッサ１３３２は、コーデックエンジン１５１６、メモリインタフェース１５１７、多重化・逆多重化部（MUX DMUX）１５１８、ネットワークインタフェース１５１９、およびビデオインタフェース１５２０を有する。
制御部１５１１は、ディスプレイインタフェース１５１２、ディスプレイエンジン１５１３、画像処理エンジン１５１４、およびコーデックエンジン１５１６等、ビデオプロセッサ１３３２内の各処理部の動作を制御する。
図８１に示されるように、制御部１５１１は、例えば、メインCPU１５３１、サブCPU１５３２、およびシステムコントローラ１５３３を有する。メインCPU１５３１は、ビデオプロセッサ１３３２内の各処理部の動作を制御するためのプログラム等を実行する。メインCPU１５３１は、そのプログラム等に従って制御信号を生成し、各処理部に供給する（つまり、各処理部の動作を制御する）。サブCPU１５３２は、メインCPU１５３１の補助的な役割を果たす。例えば、サブCPU１５３２は、メインCPU１５３１が実行するプログラム等の子プロセスやサブルーチン等を実行する。システムコントローラ１５３３は、メインCPU１５３１およびサブCPU１５３２が実行するプログラムを指定する等、メインCPU１５３１およびサブCPU１５３２の動作を制御する。
ディスプレイインタフェース１５１２は、制御部１５１１の制御の下、画像データを例えばコネクティビティ１３２１等に出力する。例えば、ディスプレイインタフェース１５１２は、デジタルデータの画像データをアナログ信号に変換し、再生されたビデオ信号として、またはデジタルデータの画像データのまま、コネクティビティ１３２１のモニタ装置等に出力する。
ディスプレイエンジン１５１３は、制御部１５１１の制御の下、画像データに対して、その画像を表示させるモニタ装置等のハードウエアスペックに合わせるように、フォーマット変換、サイズ変換、色域変換等の各種変換処理を行う。
画像処理エンジン１５１４は、制御部１５１１の制御の下、画像データに対して、例えば画質改善のためのフィルタ処理等、所定の画像処理を施す。
内部メモリ１５１５は、ディスプレイエンジン１５１３、画像処理エンジン１５１４、およびコーデックエンジン１５１６により共用される、ビデオプロセッサ１３３２の内部に設けられたメモリである。内部メモリ１５１５は、例えば、ディスプレイエンジン１５１３、画像処理エンジン１５１４、およびコーデックエンジン１５１６の間で行われるデータの授受に利用される。例えば、内部メモリ１５１５は、ディスプレイエンジン１５１３、画像処理エンジン１５１４、またはコーデックエンジン１５１６から供給されるデータを格納し、必要に応じて（例えば、要求に応じて）、そのデータを、ディスプレイエンジン１５１３、画像処理エンジン１５１４、またはコーデックエンジン１５１６に供給する。この内部メモリ１５１５は、どのような記憶デバイスにより実現するようにしてもよいが、一般的にブロック単位の画像データやパラメータ等といった小容量のデータの格納に利用することが多いので、例えばSRAM（Static Random Access Memory）のような比較的（例えば外部メモリ１３１２と比較して）小容量だが応答速度が高速な半導体メモリにより実現するのが望ましい。
コーデックエンジン１５１６は、画像データの符号化や復号に関する処理を行う。このコーデックエンジン１５１６が対応する符号化・復号の方式は任意であり、その数は１つであってもよいし、複数であってもよい。例えば、コーデックエンジン１５１６は、複数の符号化・復号方式のコーデック機能を備え、その中から選択されたもので画像データの符号化または符号化データの復号を行うようにしてもよい。
図８１に示される例において、コーデックエンジン１５１６は、コーデックに関する処理の機能ブロックとして、例えば、MPEG-2 Video１５４１、AVC/H.264１５４２、HEVC/H.265１５４３、HEVC/H.265(Scalable)１５４４、HEVC/H.265(Multi-view)１５４５、およびMPEG-DASH１５５１を有する。
MPEG-2 Video１５４１は、画像データをMPEG-2方式で符号化したり復号したりする機能ブロックである。AVC/H.264１５４２は、画像データをAVC方式で符号化したり復号したりする機能ブロックである。HEVC/H.265１５４３は、画像データをHEVC方式で符号化したり復号したりする機能ブロックである。HEVC/H.265(Scalable)１５４４は、画像データをHEVC方式でスケーラブル符号化したりスケーラブル復号したりする機能ブロックである。HEVC/H.265(Multi-view)１５４５は、画像データをHEVC方式で多視点符号化したり多視点復号したりする機能ブロックである。
MPEG-DASH１５５１は、画像データをMPEG-DASH（MPEG-Dynamic Adaptive Streaming over HTTP）方式で送受信する機能ブロックである。MPEG-DASHは、HTTP（HyperText Transfer Protocol）を使ってビデオのストリーミングを行う技術であり、予め用意された解像度等が互いに異なる複数の符号化データの中から適切なものをセグメント単位で選択し伝送することを特徴の１つとする。MPEG-DASH１５５１は、規格に準拠するストリームの生成やそのストリームの伝送制御等を行い、画像データの符号化・復号については、上述したMPEG-2 Video１５４１乃至HEVC/H.265(Multi-view)１５４５を利用する。
メモリインタフェース１５１７は、外部メモリ１３１２用のインタフェースである。画像処理エンジン１５１４やコーデックエンジン１５１６から供給されるデータは、メモリインタフェース１５１７を介して外部メモリ１３１２に供給される。また、外部メモリ１３１２から読み出されたデータは、メモリインタフェース１５１７を介してビデオプロセッサ１３３２（画像処理エンジン１５１４またはコーデックエンジン１５１６）に供給される。
多重化・逆多重化部（MUX DMUX）１５１８は、符号化データのビットストリーム、画像データ、ビデオ信号等、画像に関する各種データの多重化や逆多重化を行う。この多重化・逆多重化の方法は任意である。例えば、多重化の際に、多重化・逆多重化部（MUX DMUX）１５１８は、複数のデータを１つにまとめるだけでなく、所定のヘッダ情報等をそのデータに付加することもできる。また、逆多重化の際に、多重化・逆多重化部（MUX DMUX）１５１８は、１つのデータを複数に分割するだけでなく、分割した各データに所定のヘッダ情報等を付加することもできる。つまり、多重化・逆多重化部（MUX DMUX）１５１８は、多重化・逆多重化によりデータのフォーマットを変換することができる。例えば、多重化・逆多重化部（MUX DMUX）１５１８は、ビットストリームを多重化することにより、転送用のフォーマットのビットストリームであるトランスポートストリームや、記録用のファイルフォーマットのデータ（ファイルデータ）に変換することができる。もちろん、逆多重化によりその逆変換も可能である。
ネットワークインタフェース１５１９は、例えばブロードバンドモデム１３３３やコネクティビティ１３２１等向けのインタフェースである。ビデオインタフェース１５２０は、例えばコネクティビティ１３２１やカメラ１３２２等向けのインタフェースである。
次に、このようなビデオプロセッサ１３３２の動作の例について説明する。例えば、コネクティビティ１３２１やブロードバンドモデム１３３３等を介して外部ネットワークからトランスポートストリームを受信すると、そのトランスポートストリームは、ネットワークインタフェース１５１９を介して多重化・逆多重化部（MUX DMUX）１５１８に供給されて逆多重化され、コーデックエンジン１５１６により復号される。コーデックエンジン１５１６の復号により得られた画像データは、例えば、画像処理エンジン１５１４により所定の画像処理が施され、ディスプレイエンジン１５１３により所定の変換が行われ、ディスプレイインタフェース１５１２を介して例えばコネクティビティ１３２１等に供給され、その画像がモニタに表示される。また、例えば、コーデックエンジン１５１６の復号により得られた画像データは、コーデックエンジン１５１６により再符号化され、多重化・逆多重化部（MUX DMUX）１５１８により多重化されてファイルデータに変換され、ビデオインタフェース１５２０を介して例えばコネクティビティ１３２１等に出力され、各種記録媒体に記録される。
さらに、例えば、コネクティビティ１３２１等により図示せぬ記録媒体から読み出された、画像データが符号化された符号化データのファイルデータは、ビデオインタフェース１５２０を介して多重化・逆多重化部（MUX DMUX）１５１８に供給されて逆多重化され、コーデックエンジン１５１６により復号される。コーデックエンジン１５１６の復号により得られた画像データは、画像処理エンジン１５１４により所定の画像処理が施され、ディスプレイエンジン１５１３により所定の変換が行われ、ディスプレイインタフェース１５１２を介して例えばコネクティビティ１３２１等に供給され、その画像がモニタに表示される。また、例えば、コーデックエンジン１５１６の復号により得られた画像データは、コーデックエンジン１５１６により再符号化され、多重化・逆多重化部（MUX DMUX）１５１８により多重化されてトランスポートストリームに変換され、ネットワークインタフェース１５１９を介して例えばコネクティビティ１３２１やブロードバンドモデム１３３３等に供給され図示せぬ他の装置に伝送される。
なお、ビデオプロセッサ１３３２内の各処理部の間での画像データやその他のデータの授受は、例えば、内部メモリ１５１５や外部メモリ１３１２を利用して行われる。また、パワーマネージメントモジュール１３１３は、例えば制御部１５１１への電力供給を制御する。
このように構成されるビデオプロセッサ１３３２に本技術を適用する場合、コーデックエンジン１５１６に、上述した各実施形態に係る本技術を適用すればよい。つまり、例えば、コーデックエンジン１５１６が、上述した画像符号化装置２００の機能若しくは画像復号装置１００の機能またはその両方を有するようにすればよい。このようにすることにより、ビデオプロセッサ１３３２は、図１乃至図７３を参照して上述した各実施の形態と同様の効果を得ることができる。
なお、コーデックエンジン１５１６において、本技術（すなわち、画像符号化装置２００の機能）は、論理回路等のハードウエアにより実現するようにしてもよいし、組み込みプログラム等のソフトウエアにより実現するようにしてもよいし、それらの両方により実現するようにしてもよい。
以上にビデオプロセッサ１３３２の構成を２例示したが、ビデオプロセッサ１３３２の構成は任意であり、上述した２例以外のものであってもよい。また、このビデオプロセッサ１３３２は、１つの半導体チップとして構成されるようにしてもよいが、複数の半導体チップとして構成されるようにしてもよい。例えば、複数の半導体を積層する３次元積層LSIとしてもよい。また、複数のLSIにより実現されるようにしてもよい。
＜装置への適用例＞
ビデオセット１３００は、画像データを処理する各種装置に組み込むことができる。例えば、ビデオセット１３００は、テレビジョン装置９００（図７５）、携帯電話機９２０（図７６）、記録再生装置９４０（図７７）、撮像装置９６０（図７８）等に組み込むことができる。ビデオセット１３００を組み込むことにより、その装置は、図１乃至図７３を参照して上述した各実施の形態と同様の効果を得ることができる。
なお、上述したビデオセット１３００の各構成の一部であっても、ビデオプロセッサ１３３２を含むものであれば、本技術を適用した構成として実施することができる。例えば、ビデオプロセッサ１３３２のみを本技術を適用したビデオプロセッサとして実施することができる。また、例えば、上述したように点線１３４１により示されるプロセッサやビデオモジュール１３１１等を、本技術を適用したプロセッサやモジュール等として実施することができる。さらに、例えば、ビデオモジュール１３１１、外部メモリ１３１２、パワーマネージメントモジュール１３１３、およびフロントエンドモジュール１３１４を組み合わせ、本技術を適用したビデオユニット１３６１として実施することもできる。いずれの構成の場合であっても、図１乃至図７３を参照して上述した各実施の形態と同様の効果を得ることができる。
つまり、ビデオプロセッサ１３３２を含むものであればどのような構成であっても、ビデオセット１３００の場合と同様に、画像データを処理する各種装置に組み込むことができる。例えば、ビデオプロセッサ１３３２、点線１３４１により示されるプロセッサ、ビデオモジュール１３１１、または、ビデオユニット１３６１を、テレビジョン装置９００（図７５）、携帯電話機９２０（図７６）、記録再生装置９４０（図７７）、撮像装置９６０（図７８）等に組み込むことができる。そして、本技術を適用したいずれかの構成を組み込むことにより、その装置は、ビデオセット１３００の場合と同様に、図１乃至図７３を参照して上述した各実施の形態と同様の効果を得ることができる。
＜第６の応用例：ネットワークシステム＞
また、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。図８２は、本技術を適用したネットワークシステムの概略的な構成の一例を示している。
図８２に示されるネットワークシステム１６００は、機器同士が、ネットワークを介して画像（動画像）に関する情報を授受するシステムである。このネットワークシステム１６００のクラウドサービス１６０１は、自身に通信可能に接続されるコンピュータ１６１１、AV（Audio Visual）機器１６１２、携帯型情報処理端末１６１３、IoT（Internet of Things）デバイス１６１４等の端末に対して、画像（動画像）に関するサービスを提供するシステムである。例えば、クラウドサービス１６０１は、所謂動画配信（オンデマンドやライブ配信）のような、画像（動画像）のコンテンツの供給サービスを端末に提供する。また、例えば、クラウドサービス１６０１は、端末から画像（動画像）のコンテンツを受け取って保管するバックアップサービスを提供する。また、例えば、クラウドサービス１６０１は、端末同士の画像（動画像）のコンテンツの授受を仲介するサービスを提供する。
クラウドサービス１６０１の物理構成は任意である。例えば、クラウドサービス１６０１は、動画像を保存し、管理するサーバ、動画像を端末に配信するサーバ、動画像を端末から取得するサーバ、ユーザ（端末）や課金を管理するサーバ等の各種サーバや、インターネットやLAN等の任意のネットワークを有するようにしてもよい。
コンピュータ１６１１は、例えば、パーソナルコンピュータ、サーバ、ワークステーション等のような情報処理装置により構成される。AV機器１６１２は、例えば、テレビジョン受像機、ハードディスクレコーダ、ゲーム機器、カメラ等のような画像処理装置により構成される。携帯型情報処理端末１６１３は、例えば、ノート型パーソナルコンピュータ、タブレット端末、携帯電話機、スマートフォン等のような携帯型の情報処理装置により構成される。IoTデバイス１６１４は、例えば、機械、家電、家具、その他の物、ICタグ、カード型デバイス等、画像に関する処理を行う任意の物体により構成される。これらの端末は、いずれも通信機能を有し、クラウドサービス１６０１に接続し（セッションを確立し）、クラウドサービス１６０１と情報の授受を行う（すなわち通信を行う）ことができる。また、各端末は、他の端末と通信を行うこともできる。端末間の通信は、クラウドサービス１６０１を介して行うようにしてもよいし、クラウドサービス１６０１を介さずに行うようにしてもよい。
以上のようなネットワークシステム１６００に本技術を適用し、端末間や、端末とクラウドサービス１６０１との間で画像（動画像）のデータが授受される際に、その画像データを各実施の形態において上述したように符号化・復号するようにしてもよい。つまり、端末（コンピュータ１６１１乃至IoTデバイス１６１４）やクラウドサービス１６０１が、それぞれ、上述した画像符号化装置２００や画像復号装置１００の機能を有するようにしてもよい。このようにすることにより、画像データを授受する端末（コンピュータ１６１１乃至IoTデバイス１６１４）やクラウドサービス１６０１は、図１乃至図７３を参照して上述した各実施の形態と同様の効果を得ることができる。
＜補足＞
なお、本明細書において「フラグ」とは、複数の状態を識別するための情報であり、真(1)または偽(0)の２状態を識別する際に用いる情報だけでなく、３以上の状態を識別することが可能な情報も含まれる。したがって、この「フラグ」が取り得る値は、例えば1/0の２値であってもよいし、３値以上であってもよい。すなわち、この「フラグ」を構成するbit数は任意であり、1bitでも複数bitでもよい。また、識別情報（フラグも含む）は、その識別情報をビットストリームに含める形だけでなく、ある基準となる情報に対する識別情報の差分情報をビットストリームに含める形も想定されるため、本明細書においては、「フラグ」や「識別情報」は、その情報だけではなく、基準となる差分情報も包含する。
また、符号化データ（ビットストリーム）に関する各種情報（メタデータ等）は、符号化データに関連づけられていれば、どのような形態で伝送または記録されるようにしてもよい。ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る（リンクさせ得る）ようにすることを意味する。つまり、互いに関連付けられたデータは、１つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の伝送路上で伝送されるようにしてもよい。また、例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の記録媒体（または同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、１フレーム、またはフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。
また、本明細書において、「合成する」、「多重化する」、「付加する」、「一体化する」、「含める」、「格納する」、「入れ込む」、「差し込む」、「挿入する」等の用語は、例えば符号化データとメタデータとを１つのデータにまとめるといった、複数の物を１つにまとめることを意味し、上述の「関連付ける」の１つの方法を意味する。
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
また、例えば、本技術は、装置またはシステムを構成するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。
なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
なお、本技術は以下のような構成も取ることができる。
（１） 色差コンポーネントの画素位置に関する情報と色フォーマットに関する情報とに基づいて選択されたフィルタを用いて画素位置が変更された輝度コンポーネントの参照画像の画素値から、線形予測により色差コンポーネントの画素値を予測し、色差コンポーネントの予測画像を生成する予測部と、
前記予測部により生成された前記予測画像を用いて、画像が符号化された符号化データの色差コンポーネントを復号する復号部と
を備える画像処理装置。
（２） 前記色差コンポーネントの画素位置に関する情報と前記色フォーマットに関する情報とに基づいて、輝度コンポーネントの参照画像の画素位置を変更するフィルタを選択するフィルタ選択部をさらに備え、
前記予測部は、前記フィルタ選択部により選択されたフィルタを用いて画素位置が変更された輝度コンポーネントの参照画像の画素値から、線形予測により色差コンポーネントの画素値を予測し、色差コンポーネントの予測画像を生成するように構成される
（１）に記載の画像処理装置。
（３） 前記フィルタ選択部は、複数の色フォーマットに対応する候補群の中の、前記色フォーマットに関する情報により指定される形式の色フォーマットと、前記色差コンポーネントの画素位置に関する情報とに応じた候補を、前記フィルタとして選択する
（２）に記載の画像処理装置。
（４） 前記候補群は、420形式の色フォーマットに対応する候補と、422形式の色フォーマットに対応する候補とを含み、
前記フィルタ選択部は、
前記色フォーマットに関する情報により前記420形式の色フォーマットが指定される場合、前記420形式の色フォーマットに対応する候補の中の、前記色差コンポーネントの画素位置に関する情報にも対応する候補を、前記フィルタとして選択し、
前記色フォーマットに関する情報により前記422形式の色フォーマットが指定される場合、前記422形式の色フォーマットに対応する候補の中の、前記色差コンポーネントの画素位置に関する情報にも対応する候補を、前記フィルタとして選択する
ように構成される
（３）に記載の画像処理装置。
（５） 前記候補群は、さらに、444形式の色フォーマットに対応する候補も含み、
前記フィルタ選択部は、前記色フォーマットに関する情報により前記444形式の色フォーマットが指定される場合、前記444形式の色フォーマットに対応する候補の中の、前記色差コンポーネントの画素位置に関する情報にも対応する候補を、前記フィルタとして選択するように構成される
（４）に記載の画像処理装置。
（６） 前記フィルタ選択部は、前記線形予測のモードに関する情報である線形予測モード情報と、前記色差コンポーネントの画素位置に関する情報と、前記色フォーマットに関する情報とに基づいて、前記フィルタを選択する
（２）乃至（５）のいずれかに記載の画像処理装置。
（７） 前記フィルタ選択部は、前記線形予測の複数のモードに対応する候補群の中の、前記線形予測モード情報により指定されるモードと、前記色差コンポーネントの画素位置に関する情報と、前記色フォーマットに関する情報とに応じた候補を、前記フィルタとして選択する
（６）に記載の画像処理装置。
（８） 前記候補群は、単一クラスモードに対応する候補と、多クラスモードに対応する候補とを含み、
前記フィルタ選択部は、
前記線形予測モード情報により前記線形予測のモードとして前記単一クラスモードが指定される場合、前記単一クラスモードの線形予測に対応する候補の中の、前記色差コンポーネントの画素位置に関する情報と、前記色フォーマットに関する情報とにも対応する候補を、前記フィルタとして選択し、
前記線形予測モード情報により前記線形予測のモードとして前記多クラスモードが指定される場合、前記多クラスモードの線形予測に対応する候補の中の、前記色差コンポーネントの画素位置に関する情報と、前記色フォーマットに関する情報とにも対応する候補を、前記フィルタとして選択する
ように構成される
（７）に記載の画像処理装置。
（９） 前記フィルタ選択部により選択されたフィルタを用いて、輝度コンポーネントの参照画像の画素位置を変更するフィルタ処理部をさらに備え、
前記予測部は、前記フィルタ処理部により位置が変更された輝度コンポーネントの参照画像の画素値から、線形予測により色差コンポーネントの画素値を予測し、色差コンポーネントの予測画像を生成するように構成される
（２）乃至（８）のいずれかに記載の画像処理装置。
（１０） 前記フィルタ処理部は、色差コンポーネントの処理対象ブロックに対応する、輝度コンポーネントのコロケートブロックの画素位置と、前記コロケートブロックに隣接する隣接画素の画素位置とを変更する
（９）に記載の画像処理装置。
（１１） 前記フィルタ処理部により画素位置が変更された輝度コンポーネントの前記隣接画素と、色差コンポーネントの処理対象のブロックに隣接する隣接画素とに基づいて、前記線形予測に利用されるパラメータである線形予測パラメータを導出する導出部をさらに備え、
前記予測部は、前記導出部により導出された前記線形予測パラメータを用いて前記線形予測を行い、色差コンポーネントの画素値を予測し、色差コンポーネントの予測画像を生成するように構成される
（１０）に記載の画像処理装置。
（１２） 前記色差コンポーネントは、CbコンポーネントとCrコンポーネントとを含み、
前記予測部により生成されたCrコンポーネントの予測画像を、前記Crコンポーネントの予測画像に対応するCbコンポーネントのコロケートブロックを用いて、補正する色差間残差予測部をさらに備える
（１）乃至（１１）のいずれかに記載の画像処理装置。
（１３） 前記Crコンポーネントの予測画像に隣接する隣接画素と、前記Cbコンポーネントのコロケートブロックに隣接する隣接画素とに基づいて、Crコンポーネントの予測画像の補正に用いられるパラメータである残差予測パラメータを導出する残差予測パラメータ導出部をさらに備え、
前記色差間残差予測部は、前記残差予測パラメータ導出部により導出された前記残差予測パラメータと、前記Cbコンポーネントのコロケートブロックとを用いて、前記Crコンポーネントの予測画像を補正する
（１２）に記載の画像処理装置。
（１４） 前記復号部は、前記符号化データに含まれる前記色差コンポーネントの画素位置に関する情報を取得し、
前記予測部は、前記復号部により取得された前記色差コンポーネントの画素位置に関する情報に基づいて画素位置が変更された輝度コンポーネントの参照画像の画素値を用いて、前記線形予測により、色差コンポーネントの予測画像を生成する
（１）乃至（１３）のいずれかに記載の画像処理装置。
（１５） 前記色差コンポーネントの画素位置に関する情報は、色差コンポーネントの画素位置のタイプを識別する識別子である色差サンプル位置タイプ識別子を含み、
前記予測部は、前記色差サンプル位置タイプ識別子により示される画素位置のタイプに基づいて画素位置が変更された輝度コンポーネントの参照画像の画素値を用いて、前記線形予測により、色差コンポーネントの予測画像を生成する
（１４）に記載の画像処理装置。
（１６） 前記色差コンポーネントの画素位置に関する情報は、色差コンポーネントの画素位置のタイプが初期値であるか否かを示す情報を含み、色差コンポーネントの画素位置のタイプが初期値でない場合にのみ、前記色差サンプル位置タイプ識別子を含み、
前記予測部は、前記初期値または前記色差サンプル位置タイプ識別子により示される画素位置のタイプに基づいて画素位置が変更された輝度コンポーネントの参照画像の画素値を用いて、前記線形予測により、色差コンポーネントの予測画像を生成する
（１５）に記載の画像処理装置。
（１７） 前記復号部は、前記色フォーマットに関する情報により420形式の色フォーマットまたは422形式の色フォーマットが指定される場合、前記符号化データに含まれる前記色差コンポーネントの画素位置に関する情報を取得する
（１４）乃至（１６）のいずれかに記載の画像処理装置。
（１８） 前記復号部は、前記符号化データに含まれる、輝度コンポーネントの参照画像の画素値から線形予測により色差コンポーネントの画素値を予測するコンポーネント間予測を行うかを示すコンポーネント間予測情報を取得する
（１）乃至（１７）のいずれかに記載の画像処理装置。
（１９） 前記復号部は、前記符号化データに含まれる、前記コンポーネント間予測情報が有効であるかを示すコンポーネント間予測有効情報を取得し、前記コンポーネント間予測有効情報により前記コンポーネント間予測情報が有効であることが示される場合、前記符号化データに含まれる前記コンポーネント間予測情報を取得する
（１８）に記載の画像処理装置。
（２０） 前記復号部は、前記コンポーネント間予測情報により前記コンポーネント間予測を行うことが示される場合、前記符号化データに含まれる、前記線形予測のモードに関する情報である線形予測モード情報を取得する
（１８）または（１９）に記載の画像処理装置。
（２１） 前記復号部は、前記コンポーネント間予測情報により前記コンポーネント間予測を行うことが示され、かつ、色差コンポーネントの処理対象のブロックのサイズが所定の範囲内である場合、前記符号化データに含まれる前記線形予測モード情報を取得する
（２０）に記載の画像処理装置。
（２２） 前記復号部は、前記符号化データに含まれる、Crコンポーネントの予測画像を前記Crコンポーネントの予測画像に対応するCbコンポーネントのコロケートブロックを用いて補正するかを示す色差間残差予測情報を取得する
（１）乃至（２１）のいずれかに記載の画像処理装置。
（２３） 前記復号部は、前記符号化データに含まれる、前記色差間残差予測情報が有効であるか否かを示す色差間残差予測有効情報を取得し、前記色差間残差予測有効情報により前記色差間残差予測情報が有効であることが示される場合、前記符号化データに含まれる前記色差間残差予測情報を取得する
（２２）に記載の画像処理装置。
（２４） 前記フィルタは、画素数を低減させるダウンサンプルフィルタである
（１）乃至（２３）のいずれかに記載の画像処理装置。
（２５） 色差コンポーネントの画素位置に関する情報と色フォーマットに関する情報とに基づいて選択されたフィルタを用いて画素位置が変更された輝度コンポーネントの参照画像の画素値から、線形予測により色差コンポーネントの画素値を予測し、色差コンポーネントの予測画像を生成し、
生成された前記予測画像を用いて、画像が符号化された符号化データの色差コンポーネントを復号する
画像処理方法。
（３１） 色差コンポーネントの画素位置に関する情報と色フォーマットに関する情報とに基づいて選択されたフィルタを用いて画素位置が変更された輝度コンポーネントの参照画像の画素値から、線形予測により色差コンポーネントの画素値を予測し、色差コンポーネントの予測画像を生成する予測部と、
前記予測部により生成された前記予測画像を用いて、画像の色差コンポーネントを符号化する符号化部と
を備える画像処理装置。
（３２） 前記色差コンポーネントの画素位置に関する情報と前記色フォーマットに関する情報とに基づいて、輝度コンポーネントの参照画像の画素位置を変更するフィルタを選択するフィルタ選択部をさらに備え、
前記予測部は、前記フィルタ選択部により選択されたフィルタを用いて画素位置が変更された輝度コンポーネントの参照画像の画素値から、線形予測により色差コンポーネントの画素値を予測し、色差コンポーネントの予測画像を生成するように構成される
（３１）に記載の画像処理装置。
（３３） 前記フィルタ選択部は、複数の色フォーマットに対応する候補群の中の、前記色フォーマットに関する情報により指定される形式の色フォーマットと、前記色差コンポーネントの画素位置に関する情報とに応じた候補を、前記フィルタとして選択する
（３２）に記載の画像処理装置。
（３４） 前記候補群は、420形式の色フォーマットに対応する候補と、422形式の色フォーマットに対応する候補とを含み、
前記フィルタ選択部は、
前記色フォーマットに関する情報により前記420形式の色フォーマットが指定される場合、前記420形式の色フォーマットに対応する候補の中の、前記色差コンポーネントの画素位置に関する情報にも対応する候補を、前記フィルタとして選択し、
前記色フォーマットに関する情報により前記422形式の色フォーマットが指定される場合、前記422形式の色フォーマットに対応する候補の中の、前記色差コンポーネントの画素位置に関する情報にも対応する候補を、前記フィルタとして選択する
ように構成される
（３３）に記載の画像処理装置。
（３５） 前記候補群は、さらに、444形式の色フォーマットに対応する候補も含み、
前記フィルタ選択部は、前記色フォーマットに関する情報により前記444形式の色フォーマットが指定される場合、前記444形式の色フォーマットに対応する候補の中の、前記色差コンポーネントの画素位置に関する情報にも対応する候補を、前記フィルタとして選択するように構成される
（３４）に記載の画像処理装置。
（３６） 前記フィルタ選択部は、前記線形予測のモードに関する情報である線形予測モード情報と、前記色差コンポーネントの画素位置に関する情報と、前記色フォーマットに関する情報とに基づいて、前記フィルタを選択する
（３２）乃至（３５）のいずれかに記載の画像処理装置。
（３７） 前記フィルタ選択部は、前記線形予測の複数のモードに対応する候補群の中の、前記線形予測モード情報により指定されるモードと、前記色差コンポーネントの画素位置に関する情報と、前記色フォーマットに関する情報とに応じた候補を、前記フィルタとして選択する
（３６）に記載の画像処理装置。
（３８） 前記候補群は、単一クラスモードに対応する候補と、多クラスモードに対応する候補とを含み、
前記フィルタ選択部は、
前記線形予測モード情報により前記線形予測のモードとして前記単一クラスモードが指定される場合、前記単一クラスモードの線形予測に対応する候補の中の、前記色差コンポーネントの画素位置に関する情報と、前記色フォーマットに関する情報とにも対応する候補を、前記フィルタとして選択し、
前記線形予測モード情報により前記線形予測のモードとして前記多クラスモードが指定される場合、前記多クラスモードの線形予測に対応する候補の中の、前記色差コンポーネントの画素位置に関する情報と、前記色フォーマットに関する情報とにも対応する候補を、前記フィルタとして選択する
ように構成される
（３７）に記載の画像処理装置。
（３９） 前記フィルタ選択部により選択されたフィルタを用いて、輝度コンポーネントの参照画像の画素位置を変更するフィルタ処理部をさらに備え、
前記予測部は、前記フィルタ処理部により位置が変更された輝度コンポーネントの参照画像の画素値から、線形予測により色差コンポーネントの画素値を予測し、色差コンポーネントの予測画像を生成するように構成される
（３２）乃至（３８）のいずれかに記載の画像処理装置。
（４０） 前記フィルタ処理部は、色差コンポーネントの処理対象ブロックに対応する、輝度コンポーネントのコロケートブロックの画素位置と、前記コロケートブロックに隣接する隣接画素の画素位置とを変更する
（３９）に記載の画像処理装置。
（４１） 前記フィルタ処理部により画素位置が変更された輝度コンポーネントの前記隣接画素と、色差コンポーネントの処理対象のブロックに隣接する隣接画素とに基づいて、前記線形予測に利用されるパラメータである線形予測パラメータを導出する導出部をさらに備え、
前記予測部は、前記導出部により導出された前記線形予測パラメータを用いて前記線形予測を行い、色差コンポーネントの画素値を予測し、色差コンポーネントの予測画像を生成するように構成される
（４０）に記載の画像処理装置。
（４２） 前記色差コンポーネントは、CbコンポーネントとCrコンポーネントとを含み、
前記予測部により生成されたCrコンポーネントの予測画像を、前記Crコンポーネントの予測画像に対応するCbコンポーネントのコロケートブロックを用いて、補正する色差間残差予測部をさらに備える
（３１）乃至（４１）のいずれかに記載の画像処理装置。
（４３） 前記Crコンポーネントの予測画像に隣接する隣接画素と、前記Cbコンポーネントのコロケートブロックに隣接する隣接画素とに基づいて、Crコンポーネントの予測画像の補正に用いられるパラメータである残差予測パラメータを導出する残差予測パラメータ導出部をさらに備え、
前記色差間残差予測部は、前記残差予測パラメータ導出部により導出された前記残差予測パラメータと、前記Cbコンポーネントのコロケートブロックとを用いて、前記Crコンポーネントの予測画像を補正する
（４２）に記載の画像処理装置。
（４４） 前記符号化部は、前記色差コンポーネントの画素位置に関する情報を符号化データに付加する
（３１）乃至（４３）のいずれかに記載の画像処理装置。
（４５） 前記色差コンポーネントの画素位置に関する情報は、色差コンポーネントの画素位置のタイプを識別する識別子である色差サンプル位置タイプ識別子を含む
（４４）に記載の画像処理装置。
（４６） 前記色差コンポーネントの画素位置に関する情報は、色差コンポーネントの画素位置のタイプが初期値であるか否かを示す情報を含み、色差コンポーネントの画素位置のタイプが初期値でない場合にのみ、前記色差サンプル位置タイプ識別子を含む
（４５）に記載の画像処理装置。
（４７） 前記符号化部は、前記色フォーマットに関する情報により420形式の色フォーマットまたは422形式の色フォーマットが指定される場合、前記色差コンポーネントの画素位置に関する情報を前記符号化データに付加する
（４４）乃至（４６）のいずれかに記載の画像処理装置。
（４８） 前記符号化部は、輝度コンポーネントの参照画像の画素値から線形予測により色差コンポーネントの画素値を予測するコンポーネント間予測を行うかを示すコンポーネント間予測情報を符号化データに付加する
（３１）乃至（４７）のいずれかに記載の画像処理装置。
（４９） 前記符号化部は、前記コンポーネント間予測情報が有効であるかを示すコンポーネント間予測有効情報を前記符号化データに付加し、前記コンポーネント間予測有効情報により前記コンポーネント間予測情報が有効であることが示される場合、前記コンポーネント間予測情報を前記符号化データに付加する
（４８）に記載の画像処理装置。
（５０） 前記符号化部は、前記コンポーネント間予測情報により前記コンポーネント間予測を行うことが示される場合、前記線形予測のモードに関する情報である線形予測モード情報を前記符号化データに付加する
（４８）に記載の画像処理装置。
（５１） 前記符号化部は、前記コンポーネント間予測情報により前記コンポーネント間予測を行うことが示され、かつ、色差コンポーネントの処理対象のブロックのサイズが所定の範囲内である場合、前記線形予測モード情報を前記符号化データに付加する
（５０）に記載の画像処理装置。
（５２） 前記符号化部は、Crコンポーネントの予測画像を前記Crコンポーネントの予測画像に対応するCbコンポーネントのコロケートブロックを用いて補正するかを示す色差間残差予測情報を符号化データに付加する
（３１）乃至（５１）のいずれかに記載の画像処理装置。
（５３） 前記符号化部は、前記色差間残差予測情報が有効であるか否かを示す色差間残差予測有効情報を前記符号化データに付加し、前記色差間残差予測有効情報により前記色差間残差予測情報が有効であることが示される場合、前記色差間残差予測情報を前記符号化データに付加する
（５２）に記載の画像処理装置。
（５４） 前記フィルタは、画素数を低減させるダウンサンプルフィルタである
（３１）乃至（５３）のいずれかに記載の画像処理装置。
（５５） 色差コンポーネントの画素位置に関する情報と色フォーマットに関する情報とに基づいて選択されたフィルタを用いて画素位置が変更された輝度コンポーネントの参照画像の画素値から、線形予測により色差コンポーネントの画素値を予測し、色差コンポーネントの予測画像を生成し、
生成された前記予測画像を用いて、画像の色差コンポーネントを符号化する
画像処理方法。
１００ 画像復号装置， １１１ 復号部， １１２ 逆量子化部， １１３ 逆変換部， １１４ 予測部， １１５ 演算部， １１６ フレームメモリ， １１７ ループフィルタ部， １２１ イントラ予測部， １２２ インター予測部， １３１ DC予測部， １３２ Planar予測部， １３３ Angular予測部， １３４ CC予測部， １４１ Luma/Chroma間予測部， １４２ Cb/Cr間残差予測部， １５１ 縮小画像生成部， １５２ 予測パラメータ導出部， １５３ 色差予測画像生成部， １６１ ダウンサンプルフィルタ選択部， １６２ 輝度コロケートブロック画素群縮小部， １６３ 輝度コロケート隣接画素群縮小部， １７１ 残差予測パラメータ導出部， １７２ 色差予測画像補正部， ２００ 画像符号化装置， ２０１ 制御部， ２１１ 予測部， ２１２ 演算部， ２１３ 変換部， ２１４ 量子化部， ２１５ 逆量子化部， ２１６ 逆変換部， ２１７ 演算部， ２１８ フレームメモリ， ２１９ ループフィルタ部， ２２０ 符号化部， ２３１ イントラ予測部， ２３２ インター予測部， ２３３ 予測画像選択部， ２４２ Cb/Cr間残差予測部

Claims (20)

  1. 色差コンポーネントの画素位置に関する情報と色フォーマットに関する情報とに基づいて選択されたフィルタを用いて画素位置が変更された輝度コンポーネントの参照画像の画素値から、線形予測により色差コンポーネントの画素値を予測し、色差コンポーネントの予測画像を生成する予測部と、
    前記予測部により生成された前記予測画像を用いて、画像が符号化された符号化データの色差コンポーネントを復号する復号部と
    を備える画像処理装置。
  2. 前記色差コンポーネントの画素位置に関する情報と前記色フォーマットに関する情報とに基づいて、輝度コンポーネントの参照画像の画素位置を変更するフィルタを選択するフィルタ選択部をさらに備え、
    前記予測部は、前記フィルタ選択部により選択されたフィルタを用いて画素位置が変更された輝度コンポーネントの参照画像の画素値から、線形予測により色差コンポーネントの画素値を予測し、色差コンポーネントの予測画像を生成するように構成される
    請求項１に記載の画像処理装置。
  3. 前記フィルタ選択部は、複数の色フォーマットに対応する候補群の中の、前記色フォーマットに関する情報により指定される形式の色フォーマットと、前記色差コンポーネントの画素位置に関する情報とに応じた候補を、前記フィルタとして選択する
    請求項２に記載の画像処理装置。
  4. 前記フィルタ選択部は、前記線形予測のモードに関する情報である線形予測モード情報と、前記色差コンポーネントの画素位置に関する情報と、前記色フォーマットに関する情報とに基づいて、前記フィルタを選択する
    請求項２に記載の画像処理装置。
  5. 前記フィルタ選択部により選択されたフィルタを用いて、輝度コンポーネントの参照画像の画素位置を変更するフィルタ処理部をさらに備え、
    前記予測部は、前記フィルタ処理部により位置が変更された輝度コンポーネントの参照画像の画素値から、線形予測により色差コンポーネントの画素値を予測し、色差コンポーネントの予測画像を生成するように構成される
    請求項２に記載の画像処理装置。
  6. 前記色差コンポーネントは、CbコンポーネントとCrコンポーネントとを含み、
    前記予測部により生成されたCrコンポーネントの予測画像を、前記Crコンポーネントの予測画像に対応するCbコンポーネントのコロケートブロックを用いて、補正する色差間残差予測部をさらに備える
    請求項１に記載の画像処理装置。
  7. 前記復号部は、前記符号化データに含まれる前記色差コンポーネントの画素位置に関する情報を取得し、
    前記予測部は、前記復号部により取得された前記色差コンポーネントの画素位置に関する情報に基づいて画素位置が変更された輝度コンポーネントの参照画像の画素値を用いて、前記線形予測により、色差コンポーネントの予測画像を生成する
    請求項１に記載の画像処理装置。
  8. 前記復号部は、前記符号化データに含まれる、Crコンポーネントの予測画像を前記Crコンポーネントの予測画像に対応するCbコンポーネントのコロケートブロックを用いて補正するかを示す色差間残差予測情報を取得する
    請求項１に記載の画像処理装置。
  9. 前記復号部は、前記符号化データに含まれる、前記色差間残差予測情報が有効であるか否かを示す色差間残差予測有効情報を取得し、前記色差間残差予測有効情報により前記色差間残差予測情報が有効であることが示される場合、前記符号化データに含まれる前記色差間残差予測情報を取得する
    請求項８に記載の画像処理装置。
  10. 色差コンポーネントの画素位置に関する情報と色フォーマットに関する情報とに基づいて選択されたフィルタを用いて画素位置が変更された輝度コンポーネントの参照画像の画素値から、線形予測により色差コンポーネントの画素値を予測し、色差コンポーネントの予測画像を生成し、
    生成された前記予測画像を用いて、画像が符号化された符号化データの色差コンポーネントを復号する
    画像処理方法。
  11. 色差コンポーネントの画素位置に関する情報と色フォーマットに関する情報とに基づいて選択されたフィルタを用いて画素位置が変更された輝度コンポーネントの参照画像の画素値から、線形予測により色差コンポーネントの画素値を予測し、色差コンポーネントの予測画像を生成する予測部と、
    前記予測部により生成された前記予測画像を用いて、画像の色差コンポーネントを符号化する符号化部と
    を備える画像処理装置。
  12. 前記色差コンポーネントの画素位置に関する情報と前記色フォーマットに関する情報とに基づいて、輝度コンポーネントの参照画像の画素位置を変更するフィルタを選択するフィルタ選択部をさらに備え、
    前記予測部は、前記フィルタ選択部により選択されたフィルタを用いて画素位置が変更された輝度コンポーネントの参照画像の画素値から、線形予測により色差コンポーネントの画素値を予測し、色差コンポーネントの予測画像を生成するように構成される
    請求項１１に記載の画像処理装置。
  13. 前記フィルタ選択部は、複数の色フォーマットに対応する候補群の中の、前記色フォーマットに関する情報により指定される形式の色フォーマットと、前記色差コンポーネントの画素位置に関する情報とに応じた候補を、前記フィルタとして選択する
    請求項１２に記載の画像処理装置。
  14. 前記フィルタ選択部は、前記線形予測のモードに関する情報である線形予測モード情報と、前記色差コンポーネントの画素位置に関する情報と、前記色フォーマットに関する情報とに基づいて、前記フィルタを選択する
    請求項１２に記載の画像処理装置。
  15. 前記フィルタ選択部により選択されたフィルタを用いて、輝度コンポーネントの参照画像の画素位置を変更するフィルタ処理部をさらに備え、
    前記予測部は、前記フィルタ処理部により位置が変更された輝度コンポーネントの参照画像の画素値から、線形予測により色差コンポーネントの画素値を予測し、色差コンポーネントの予測画像を生成するように構成される
    請求項１２に記載の画像処理装置。
  16. 前記色差コンポーネントは、CbコンポーネントとCrコンポーネントとを含み、
    前記予測部により生成されたCrコンポーネントの予測画像を、前記Crコンポーネントの予測画像に対応するCbコンポーネントのコロケートブロックを用いて、補正する色差間残差予測部をさらに備える
    請求項１１に記載の画像処理装置。
  17. 前記符号化部は、前記色差コンポーネントの画素位置に関する情報を符号化データに付加する
    請求項１１に記載の画像処理装置。
  18. 前記符号化部は、Crコンポーネントの予測画像を前記Crコンポーネントの予測画像に対応するCbコンポーネントのコロケートブロックを用いて補正するかを示す色差間残差予測情報を符号化データに付加する
    請求項１１に記載の画像処理装置。
  19. 前記符号化部は、前記色差間残差予測情報が有効であるか否かを示す色差間残差予測有効情報を前記符号化データに付加し、前記色差間残差予測有効情報により前記色差間残差予測情報が有効であることが示される場合、前記色差間残差予測情報を前記符号化データに付加する
    請求項１８に記載の画像処理装置。
  20. 色差コンポーネントの画素位置に関する情報と色フォーマットに関する情報とに基づいて選択されたフィルタを用いて画素位置が変更された輝度コンポーネントの参照画像の画素値から、線形予測により色差コンポーネントの画素値を予測し、色差コンポーネントの予測画像を生成し、
    生成された前記予測画像を用いて、画像の色差コンポーネントを符号化する
    画像処理方法。
JP2019541991A 2017-09-15 2018-08-31 画像処理装置および方法 Active JP7167923B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017177379 2017-09-15
JP2017177379 2017-09-15
PCT/JP2018/032324 WO2019054200A1 (ja) 2017-09-15 2018-08-31 画像処理装置および方法

Publications (2)

Publication Number Publication Date
JPWO2019054200A1 JPWO2019054200A1 (ja) 2020-10-22
JP7167923B2 true JP7167923B2 (ja) 2022-11-09

Family

ID=65722783

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019541991A Active JP7167923B2 (ja) 2017-09-15 2018-08-31 画像処理装置および方法

Country Status (10)

Country Link
US (3) US11070824B2 (ja)
EP (1) EP3684055A1 (ja)
JP (1) JP7167923B2 (ja)
KR (1) KR20200051596A (ja)
CN (1) CN111095933B (ja)
AU (1) AU2018334351B2 (ja)
BR (1) BR112020004557A2 (ja)
CA (1) CA3075641A1 (ja)
RU (1) RU2020109859A (ja)
WO (1) WO2019054200A1 (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118413663A (zh) * 2017-11-28 2024-07-30 Lx 半导体科技有限公司 图像编码/解码方法、图像数据的传输方法和存储介质
US11197005B2 (en) * 2018-11-08 2021-12-07 Qualcomm Incorporated Cross-component prediction for video coding
EP3893507A4 (en) * 2018-12-07 2022-09-21 Sharp Kabushiki Kaisha PREDICTIVE PICTURE GENERATING DEVICE, MOVING PICTURE DECODING DEVICE, MOVING PICTURE CODING DEVICE AND PREDICTIVE PICTURE GENERATING METHOD
WO2020156538A1 (en) 2019-02-03 2020-08-06 Beijing Bytedance Network Technology Co., Ltd. Interaction between mv precisions and mv difference coding
KR102662449B1 (ko) 2019-02-14 2024-04-30 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 디코더 측 정제 툴들의 크기 선택 적용
BR112021016560A2 (pt) 2019-02-22 2021-10-26 Huawei Technologies Co., Ltd. Método e aparelho para predição intra usando modelo linear
CN118474354A (zh) * 2019-03-04 2024-08-09 阿里巴巴集团控股有限公司 视频解码方法和装置、处理视频内容的方法和装置及介质
CN113545044A (zh) 2019-03-08 2021-10-22 北京字节跳动网络技术有限公司 视频处理中的整形模型
US11451826B2 (en) * 2019-04-15 2022-09-20 Tencent America LLC Lossless coding mode and switchable residual coding
WO2020224629A1 (en) * 2019-05-08 2020-11-12 Beijing Bytedance Network Technology Co., Ltd. Conditions for applicability of cross-component coding
WO2020228660A1 (en) 2019-05-11 2020-11-19 Beijing Bytedance Network Technology Co., Ltd. Selective use of coding tools in video processing
CN113382251B (zh) * 2019-06-21 2022-04-08 杭州海康威视数字技术股份有限公司 一种编解码方法、装置、设备及存储介质
CN113994697B (zh) 2019-06-22 2024-10-18 北京字节跳动网络技术有限公司 色度残差缩放的语法元素
EP3977738A4 (en) 2019-07-07 2022-08-17 Beijing Bytedance Network Technology Co., Ltd. SIGNALING OF CHROMA RESIDUAL SCALE
EP4029245A4 (en) * 2019-10-12 2022-11-23 Beijing Bytedance Network Technology Co., Ltd. HIGH LEVEL SYNTAX FOR VIDEO CODING TOOLS
WO2021110116A1 (en) * 2019-12-04 2021-06-10 Beijing Bytedance Network Technology Co., Ltd. Prediction from multiple cross-components
CN114788278A (zh) * 2019-12-08 2022-07-22 抖音视界(北京)有限公司 使用多个分量的跨分量预测
US11463688B2 (en) * 2019-12-09 2022-10-04 Qualcomm Incorporated Joint chroma residual video coding
WO2021155778A1 (en) 2020-02-03 2021-08-12 Beijing Bytedance Network Technology Co., Ltd. Cross-component adaptive loop filter
CN113497937B (zh) * 2020-03-20 2023-09-05 Oppo广东移动通信有限公司 图像编码方法、图像解码方法及相关装置
CN111915673B (zh) * 2020-07-22 2022-01-11 深圳云天励飞技术股份有限公司 图像处理方法、装置、终端设备及存储介质
EP4224852A4 (en) * 2020-09-30 2023-11-08 Guangdong Oppo Mobile Telecommunications Corp., Ltd. VIDEO CODING AND DECODING METHOD, ENCODER, DECODER AND STORAGE MEDIUM
WO2022114768A1 (ko) * 2020-11-24 2022-06-02 현대자동차주식회사 성분 간 참조를 이용하는 잔차신호 생성방법과 장치
CN115118982B (zh) * 2022-06-24 2024-05-24 腾讯科技（深圳）有限公司 一种视频处理方法、设备、存储介质及计算机程序产品
US20240015279A1 (en) * 2022-07-11 2024-01-11 Tencent America LLC Mixed-model cross-component prediction mode
WO2024148016A1 (en) * 2023-01-02 2024-07-11 Bytedance Inc. Method, apparatus, and medium for video processing
CN117528098B (zh) * 2024-01-08 2024-03-26 北京小鸟科技股份有限公司 基于深压缩码流提升画质的编解码系统、方法及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008172599A (ja) 2007-01-12 2008-07-24 Mitsubishi Electric Corp 動画像符号化装置、動画像復号装置、動画像符号化方法、および動画像復号方法
JP2012095101A (ja) 2010-10-27 2012-05-17 Kddi Corp 色コンポーネント間予測型画像符号化装置および復号装置
JP2014534746A (ja) 2011-11-07 2014-12-18 インテル コーポレイション クロスチャネル残差予測

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060188153A1 (en) * 2005-02-22 2006-08-24 Texas Instruments Incorporated System and method for local saturation adjustment
RU2477577C2 (ru) 2008-04-10 2013-03-10 Квэлкомм Инкорпорейтед Подобная интерполяции фильтрация положений целочисленных пикселей при видеокодировании
CN101324956A (zh) * 2008-07-10 2008-12-17 上海交通大学 基于均值漂移的抗遮挡运动目标跟踪方法
KR101341993B1 (ko) * 2010-10-06 2013-12-16 에스케이텔레콤 주식회사 고정밀 필터를 이용한 영상 부호화/복호화 방법 및 장치
GB2492130A (en) * 2011-06-22 2012-12-26 Canon Kk Processing Colour Information in an Image Comprising Colour Component Sample Prediction Being Based on Colour Sampling Format
WO2013002589A2 (ko) * 2011-06-28 2013-01-03 삼성전자 주식회사 휘도 성분 영상을 이용한 색차 성분 영상의 예측 방법 및 예측 장치
TWI523497B (zh) * 2011-11-10 2016-02-21 Sony Corp Image processing apparatus and method
US9537793B2 (en) 2012-10-10 2017-01-03 Cisco Technology, Inc. Ensuring any-to-any reachability with opportunistic layer 3 forwarding in massive scale data center environments
WO2015005418A1 (ja) * 2013-07-10 2015-01-15 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像システム、動画像符号化方法、動画像復号方法、およびプログラム
KR102051193B1 (ko) * 2014-09-12 2019-12-02 브이아이디 스케일, 인크. 비디오 코딩을 위한 성분간 탈상관
WO2016115736A1 (en) 2015-01-23 2016-07-28 Mediatek Singapore Pte. Ltd. Additional intra prediction modes using cross-chroma-component prediction
US10425648B2 (en) * 2015-09-29 2019-09-24 Qualcomm Incorporated Video intra-prediction using position-dependent prediction combination for video coding
JP6666042B2 (ja) 2016-03-28 2020-03-13 キヤノン株式会社 画像形成装置及び画像形成装置の補正方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008172599A (ja) 2007-01-12 2008-07-24 Mitsubishi Electric Corp 動画像符号化装置、動画像復号装置、動画像符号化方法、および動画像復号方法
JP2012095101A (ja) 2010-10-27 2012-05-17 Kddi Corp 色コンポーネント間予測型画像符号化装置および復号装置
JP2014534746A (ja) 2011-11-07 2014-12-18 インテル コーポレイション クロスチャネル残差予測

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Jianle Chen,et al.，Algorithm Description of Joint Exploration Test Model 5 (JEM 5)，Joint Video Exploration Team(JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG11 5th Meeting:Gene，米国，JVET，2017年02月11日，JVET-E1001-v2，pp.8-13，http://phenix.it-sudparis.eu/jvet/
Kai Zhang,et al.，Enhanced Cross-component Linear Model Intra-prediction，Joint Video Exploration Team(JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG11 4th Meeting:Chen，米国，JVET，2016年10月17日，JVET-D0110，pp.1-6，http://phenix.it-sudparis.eu/jvet/

Also Published As

Publication number Publication date
EP3684055A4 (en) 2020-07-22
US20210281864A1 (en) 2021-09-09
US20230291916A1 (en) 2023-09-14
CN111095933B (zh) 2022-05-13
BR112020004557A2 (pt) 2020-09-08
AU2018334351A1 (en) 2020-03-26
CN111095933A (zh) 2020-05-01
WO2019054200A1 (ja) 2019-03-21
JPWO2019054200A1 (ja) 2020-10-22
RU2020109859A3 (ja) 2021-12-13
US11070824B2 (en) 2021-07-20
AU2018334351B2 (en) 2022-09-15
EP3684055A1 (en) 2020-07-22
CA3075641A1 (en) 2019-03-21
US20210092413A1 (en) 2021-03-25
US11695941B2 (en) 2023-07-04
RU2020109859A (ru) 2021-09-07
KR20200051596A (ko) 2020-05-13

Similar Documents

Publication Publication Date Title
JP7167923B2 (ja) 画像処理装置および方法
JP7384247B2 (ja) 画像処理装置および方法
JP6822470B2 (ja) 画像処理装置および方法
JP6780761B2 (ja) 画像符号化装置および方法
JP6911856B2 (ja) 画像処理装置および方法
US11354824B2 (en) Image processing apparatus and method
WO2018061837A1 (ja) 画像処理装置および方法
JP7001968B2 (ja) 画像処理装置および方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210719

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220927

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221010

R151 Written notification of patent or utility model registration

Ref document number: 7167923

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151