[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN107005711A - 逐样本预测编码设备和方法 - Google Patents

逐样本预测编码设备和方法 Download PDF

Info

Publication number
CN107005711A
CN107005711A CN201580068754.3A CN201580068754A CN107005711A CN 107005711 A CN107005711 A CN 107005711A CN 201580068754 A CN201580068754 A CN 201580068754A CN 107005711 A CN107005711 A CN 107005711A
Authority
CN
China
Prior art keywords
sample
adjacent
current
candidate
current sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580068754.3A
Other languages
English (en)
Inventor
埃琳娜·阿尔申纳
亚力山大·阿尔申
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN107005711A publication Critical patent/CN107005711A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

公开了一种视频解码设备，包括：分割器，所述分割器配置为将图像分割成至少一个块；预测器，所述预测器配置为通过使用通过将第一权重应用于当前块中的、比当前样本先预测并且在水平方向上与当前样本相邻的第一样本而获取的值和通过将第二权重应用于当前块中的、比当前样本先预测并且在竖直方向上与当前样本相邻的第二样本而获取的值中的至少一个值来对当前样本进行预测；以及解码器，所述解码器配置为通过使用从比特流获取的当前样本的残差值和当前样本的预测值来对图像进行解码。

Description

逐样本预测编码设备和方法
技术领域
本公开涉及使用预测的视频编码设备和视频解码设备以及视频编码方法和视频解码方法。
背景技术
随着开发和提供用于播放和存储高分辨率或高质量视频内容的硬件，对于将高分辨率或高质量视频内容进行有效编码或解码的视频编解码器的需求正在增加。通过对从原始信号中扣除预测信号而获取的残差信号进行变换和量化来对视频内容进行编码。编码的视频内容被解码以显示视频内容。
发明内容
技术问题
在对视频内容的编码过程中，将与原始信号和预测信号之间的差相对应的残差信号进行变换、量化以及以比特流的形式发送。因此，需要通过高效的预测来最小化残差信号。
技术方案
视频解码设备包括：分割器，所述分割器配置为将图像分割成至少一个块；预测器，所述预测器配置为通过使用通过将第一权重应用于当前块中的、比当前样本先预测并且在水平方向上与当前样本相邻的第一样本而获取的值和通过将第二权重应用于当前块中的、比当前样本先预测并且在竖直方向上与当前样本相邻的第二样本而获取的值中的至少一个值来对当前样本进行预测；以及解码器，所述解码器配置为通过使用从比特流获取的当前样本的残差值和当前样本的预测值来对图像进行解码。
技术效果
根据实施方式的编码和解码设备以及编码和解码方法可以根据当前样本的位置执行自适应预测。
附图说明
图1示出了根据实施方式的基于根据树形结构的编码单元的视频编码设备的框图。
图2示出了根据实施方式的基于根据树形结构的编码单元的视频解码设备的框图。
图3示出了根据实施方式的编码单元的概念。
图4示出了根据实施方式的基于编码单元的图像编码器的框图。
图5示出了根据实施方式的基于编码单元的图像解码器的框图。
图6示出了根据实施方式的根据深度的编码单元和分区。
图7示出了根据实施方式的编码单元与变换单元之间的关系。
图8示出了根据实施方式的根据深度的多项编码信息。
图9示出了根据实施方式的根据深度的较深编码单元。
图10、图11和图12示出了根据实施方式的编码单元、预测单元与变换单元之间的关系。
图13示出了根据各种实施方式的编码单元与变换单元之间的关系。
图14示出了根据实施方式的多视点视频系统。
图15示出了构成多视点视频的纹理图像和深度图像。
图16示出了可以基于已经预测的相邻样本执行逐样本预测的视频编码设备的框图。
图17示出了可以基于已经预测的相邻样本执行逐样本预测的视频解码设备的框图。
图18A示出了基于在当前块中已经预测的样本来对当前样本进行预测的逐样本预测的操作。
图18B示出了基于在当前块中已经预测的样本来对当前样本进行预测的逐样本预测的另一操作。
图19示出了可用于对当前样本进行预测的相邻样本。
图20示出了应用到相邻样本的权重。
图21示出了应用到在水平方向上与当前样本相邻的样本的第一权重。
图22示出了应用到在竖直方向上与当前样本相邻的样本的第二权重。
图23示出了预测位于当前块的竖直边界处的样本的操作。
图24示出了预测位于当前块的水平边界处的样本的操作。
图25示出了预测位于当前块的拐角处的样本的操作。
图26示出了执行参考样本填充的操作。
图27是可以基于已经预测的相邻样本执行逐样本预测的视频编码方法的流程图。
图28是可以基于已经预测的相邻样本执行逐样本预测的视频解码方法的流程图。
图29示出了可以基于已经重建的样本执行逐样本预测的视频编码设备的框图。
图30示出了可以基于已经重建的样本执行逐样本预测的视频解码设备的框图。
图31示出了基于已经重建的样本来对当前样本进行预测的逐样本预测的操作。
图32示出了可用于对当前样本进行预测的相邻样本。
图33示出了与当前样本相距预定距离内的候选样本。
图34示出了基于当前样本和候选样本之间的距离来校正代价的操作。
图35示出了基于候选相邻样本与候选样本相邻的方向来校正代价的操作。
图36示出了基于多个已经重建的样本来对当前样本进行预测的逐样本预测的操作。
图37示出了基于多个候选相邻样本与候选样本相邻的方向来校正代价的操作。
图38示出了基于多个已经重建的样本来对当前样本进行预测的逐样本预测的另一操作。
图39示出了基于多个候选相邻样本与候选样本相邻的方向来校正代价的操作。
图40是可以基于已经重建的相邻样本执行逐样本预测的视频编码方法的流程图。
图41是可以基于已经重建的相邻样本执行逐样本预测的视频解码方法的流程图。
图42是根据实施方式的存储有程序的盘片的物理结构的示意图。
图43是通过使用盘片来记录和读取程序的盘片驱动器的示意图。
图44是用于提供内容分发服务的内容供应系统的整体结构的示意图。
图45和图46示出了根据实施方式的应用视频编码方法和视频解码方法的移动电话的外部结构和内部结构。
图47示出了采用根据实施方式的通信系统的数字广播系统。
图48示出了根据实施方式的使用视频编码设备和视频解码设备的云计算系统的网络结构。
实施本发明的最佳方式
视频解码设备包括：分割器，所述分割器配置为将图像分割成至少一个块；预测器，所述预测器配置为通过使用通过将第一权重应用于当前块中的、比当前样本先预测并且在水平方向上与当前样本相邻的第一样本而获取的值和通过将第二权重应用于当前块中的、比当前样本先预测并且在竖直方向上与当前样本相邻的第二样本而获取的值中的至少一个值来对当前样本进行预测；以及解码器，所述解码器配置为通过使用从比特流获取的当前样本的残差值和当前样本的预测值来对图像进行解码。
第一权重可以与在水平方向上与当前样本相邻的第一样本和当前块中的、比当前样本先预测并且在对角线方向上与当前样本相邻的第三样本之间的差值成比例。
第二权重可以与在竖直方向上与当前样本相邻的第二样本和当前块中的、比当前样本先预测并且在对角线方向上与当前样本相邻的第三样本之间的差值成比例。
第一权重和第二权重可以彼此相等。
第一样本可以位于当前样本的边界处，第一样本可以通过使用通过将第四权重应用于位于当前块外部并且在水平方向上与第一样本相邻的第一参考样本而获取的值和通过将第五权重应用于当前块中的、比当前样本先预测并且在对角线方向上与当前样本相邻的第三样本而获取的值中的至少一个值来预测；第四权重可以与第一参考样本和位于当前块外部并且在对角线方向上与第一样本相邻的第二参考样本之间的差值成比例；以及第五权重可以与第三样本和第二参考样本之间的差值成比例。
第二样本可以位于当前样本的边界处，第二样本可以通过使用通过将第四权重应用于当前块中的、比当前样本先预测并且在对角线方向上与当前样本相邻的第三样本而获取的值和通过将第五权重应用于位于当前块外部并且在竖直方向上与第二样本相邻的第一参考样本而获取的值中的至少一个值来预测；第四权重可以与第三样本和位于当前块外部并且在对角线方向上与第二样本相邻的第二参考样本之间的差值成比例；以及第五权重可以与第一参考样本和第二参考样本之间的差值成比例。
第三样本可以位于当前块的边界处，第三样本可以通过使用通过将第四权重应用于位于当前块外部并且在水平方向上与第三样本相邻的第一参考样本而获取的值和通过将第五权重应用于位于当前块外部并且在竖直方向上与第三样本相邻的第二参考样本而获取的值中的至少一个值来预测；第四权重可以与第一参考样本和在对角线方向上与第三样本相邻的第三参考样本之间的差值成比例；以及第五权重可以与第二参考样本和第三参考样本之间的差值成比例。
视频解码方法包括：将图像分割成至少一个块；通过使用通过将第一权重应用于当前块中的、比当前样本先预测并且在水平方向上与当前样本相邻的第一样本而获取的值和通过将第二权重应用于当前块中的、比当前样本先预测并且在竖直方向上与当前样本相邻的第二样本而获取的值中的至少一个值来对当前样本进行预测；以及通过使用从比特流获取的当前样本的残差值和当前样本的预测值来对图像进行解码。
视频编码设备包括：分割器，所述分割器配置为将图像分割成至少一个块；预测器，所述预测器配置为通过使用通过将第一权重应用于当前块中的、比当前样本先预测并且在水平方向上与当前样本相邻的第一样本而获取的值和通过将第二权重应用于当前块中的、比当前样本先预测并且在竖直方向上与当前样本相邻的第二样本而获取的值中的至少一个值来对当前样本进行预测；以及编码器，所述编码器配置为对当前样本的原始值与当前样本的预测值之间的残差值进行编码。
视频编码方法包括：将图像分割成至少一个块；通过使用通过将第一权重应用于当前块中的、比当前样本先预测并且在水平方向上与当前样本相邻的第一样本而获取的值和通过将第二权重应用于当前块中的、比当前样本先预测并且在竖直方向上与当前样本相邻的第二样本而获取的值中的至少一个值来对当前样本进行预测；以及对当前样本的原始值与当前样本的预测值之间的残差值进行编码。
视频解码设备包括：分割器，所述分割器配置为将图像分割成至少一个块；候选选择器，所述候选选择器配置为从当前块中选择与当前样本相邻的至少一个相邻样本，以及从包括在比当前块先重建的至少一个先前块中的多个候选样本中选择与具有最接近于相邻样本的值的候选相邻样本相邻的第一候选样本；预测器，所述预测器配置为通过使用第一候选样本来对当前样本进行预测；以及解码器，所述解码器配置为通过使用从比特流获取的当前样本的残差值和当前样本的预测值来对图像进行解码。
候选样本可以与当前样本相距预定距离内。
第一候选样本可以基于下列项来选择：与当前样本相邻的相邻样本和与候选样本相邻的候选相邻样本中的每个候选相邻样本之间的差值；以及当前样本与候选样本中的每个候选样本之间的距离。
候选样本与候选相邻样本相邻的方向可以和当前样本与相邻样本相邻的方向相同。
第一候选样本基于下列项来选择：与当前样本相邻的相邻样本和与候选样本相邻的候选相邻样本中的每个候选相邻样本之间的差值；当前样本与相邻样本相邻的方向；以及候选样本与候选相邻样本相邻的方向。
视频解码方法包括：将图像分割成至少一个块；从当前块中选择与当前样本相邻的至少一个相邻样本，以及从包括在比当前块先重建的至少一个先前块中的多个候选样本中选择与具有最接近于相邻样本的值的候选相邻样本相邻的第一候选样本；通过使用第一候选样本来对当前样本进行预测；以及通过使用从比特流获取的当前样本的残差值和当前样本的预测值来对图像进行解码。
视频编码设备包括：分割器，所述分割器配置为将图像分割成至少一个块；候选选择器，所述候选选择器配置为选择当前块中的、比当前样本先预测且与当前样本相邻的至少一个相邻样本，以及从包括在比当前块先重建的至少一个先前块中的多个候选样本中选择与具有最接近于相邻样本的值的候选相邻样本相邻的第一候选样本；预测器，所述预测器配置为通过使用第一候选样本来对当前样本进行预测；以及编码器，所述编码器配置为对当前样本的原始值和当前样本的预测值之间的残差值进行编码。
视频编码方法包括：将图像分割成至少一个块；选择当前块中的、与当前样本相邻的至少一个相邻样本，以及从包括在比当前块先重建的至少一个先前块中的多个候选样本中选择与具有最接近于相邻样本的值的候选相邻样本相邻的第一候选样本；通过使用第一候选样本来对当前样本进行预测；以及对当前样本的原始值和当前样本的预测值之间的残差值进行编码。
具体实施方式
在下文中，“图像”可以指视频的静止图像或运动图像，或视频本身。
在下文中，“样本”是指分配给图像的采样位置并将被处理的数据。例如，空间域的图像中的像素可以是样本。
在下文中，“层图像”表示特定视点图像或特定类型图像。多视点视频中的一层图像表示在特定视点处输入的颜色图像或深度图像。
在下文中，将参照图1到图13公开根据各种实施方式的基于树形结构的编码单元的视频编码方案和视频解码方案。
图1示出了根据实施方式的基于树形结构的编码单元的视频编码设备100的框图。
基于树形结构的编码单元的、涉及视频预测的视频编码设备100包括编码单元确定器120和输出单元130。在下文中，为便于描述，基于树形结构的编码单元的、涉及视频预测的视频编码设备100被称为“视频编码设备100”。
编码单元确定器120可基于最大编码单元来分割当前图片，所述最大编码单元是具有图像的当前图片的最大尺寸的编码单元。如果当前图片大于最大编码单元，那么当前图片的图像数据可被分割成至少一个最大编码单元。根据实施方式的最大编码单元可以是具有32×32、64×64、128×128、256×256等尺寸的数据单元，其中数据单元的形状是具有2的幂次方的宽度和长度的正方形。
根据实施方式的编码单元的特征可以是最大尺寸和深度。深度表示编码单元从最大编码单元空间分割的次数，并且随着深度加深，根据深度的较深编码单元可从最大编码单元分割到最小编码单元。最大编码单元的深度是最大深度，并且最小编码单元的深度是最小深度。由于对应于每个深度的编码单元的尺寸随着最大编码单元的深度加深而减小，因此，对应于较浅深度的编码单元可包括对应于较深深度的多个编码单元。
如上文所述，当前图片的图像数据根据编码单元的最大尺寸分割成最大编码单元，并且每个最大编码单元可包括根据深度分割的较深编码单元。由于根据实施方式的最大编码单元根据深度进行分割，因此，最大编码单元中包括的空间域的图像数据可根据深度进行分层分类。
限制最大编码单元的高度和宽度进行分层分割的总次数的编码单元的最大深度和最大尺寸可以预先确定。
编码单元确定器120对通过根据深度分割最大编码单元的区域而获取的至少一个分割区域进行编码，并且根据至少一个分割区域确定输出最终编码的图像数据的深度。换言之，通过根据当前图片的最大编码单元对根据深度的较深编码单元中的图像数据进行编码并且选择具有最小编码误差的深度，编码单元确定器120确定最终深度。所确定的最终深度和根据最大编码单元的图像数据输出到输出单元130。
最大编码单元中的图像数据基于与等于或小于最大深度的至少一个深度对应的较深编码单元进行编码，并且对基于较深编码单元中的每个编码单元的编码图像数据的结果进行比较。在比较较深编码单元的编码误差之后，可选择具有最小编码误差的深度。针对每个最大编码单元，可选择至少一个最终深度。
随着编码单元根据深度进行分层分割，并且随着编码单元的数量增加，最大编码单元的尺寸被分割。此外，即使编码单元对应于一个最大编码单元中的相同深度，也要通过分别测量每个编码单元的图像数据的编码误差来确定是否将对应于相同深度的编码单元中的每个编码单元分割到较深深度。因此，即使在图像数据被包括在一个最大编码单元中时，编码误差也可根据一个最大编码单元中的区域而不同，因此，最终深度可根据图像数据中的区域而不同。因此，在一个最大编码单元中可确定一个或多个最大深度，并且最大编码单元的图像数据可根据至少一个最终深度的编码单元而划分。
因此，根据实施方式的编码单元确定器120可确定最大编码单元中包括的具有树形结构的编码单元。根据实施方式的“具有树形结构的编码单元”包括在最大编码单元包括的所有较深编码之中的、与确定为最终深度的深度对应的编码单元。最终深度的编码单元可根据最大编码单元的相同区域中的深度来分层确定，并且可在不同区域中独立确定。同样地，当前区域中的最终深度可独立于另一区域中的最终深度进行确定。
根据实施方式的最大深度是与从最大编码单元到最小编码单元的分割次数相关的索引。根据实施方式的第一最大深度可表示从最大编码单元到最小编码单元的总分割次数。根据实施方式的第二最大深度可表示从最大编码单元到最小编码单元的深度等级的总数。例如，当最大编码单元的深度为0时，最大编码单元被分割一次的编码单元的深度可设置为1，并且最大编码单元被分割两次的编码单元的深度可设置为2。这里，如果最小编码单元是最大编码单元被分割四次的编码单元，那么存在深度0、1、2、3和4的深度等级，因此，第一最大深度可设置为4，并且第二最大深度可设置为5。
预测编码和变换可根据最大编码单元来执行。预测编码和变换也根据最大编码单元基于根据等于或小于最大深度的深度的较深编码单元来执行。
由于每当最大编码单元根据深度被分割时，较深编码单元的数量都增加，因此，对随着深度加深而生成的所有较深编码单元执行包括预测编码和变换在内的编码。在下文中，为便于描述，将基于当前深度的编码单元在至少一个最大编码单元中描述预测编码和变换。
根据实施方式的视频编码设备100可不同地选择用于对图像数据进行编码的数据单元的尺寸或形状。为了对图像数据进行编码，执行诸如预测编码、变换和熵编码的操作，并且同时，可将相同的数据单元用于所有操作或者针对每个操作使用不同的数据单元。
例如，视频编码设备100不仅可选择用于对图像数据进行编码的编码单元，而且可选择不同于编码单元的数据单元，从而对编码单元中的图像数据执行预测编码。
为了在最大编码单元中执行预测编码，可基于最终深度的编码单元(即，基于不再分割的编码单元)执行预测编码。通过分割编码单元而获取的分区可包括编码单元和通过分割编码单元的高度和宽度中的至少一个而获取的数据单元。分区可包括编码单元被分割的数据单元，以及与编码单元具有相同尺寸的数据单元。作为预测的基础的分区可以被称为“预测单元”。
例如，当2N×2N(其中N是正整数)的编码单元不再分割并且成为2N×2N的预测单元时，分区的尺寸可以是2N×2N、2N×N、N×2N或N×N。根据实施方式的分区模式的示例包括通过对称地分割预测单元的高度或宽度而获取的对称分区、通过不对称地分割预测单元的高度或宽度(诸如1:n或n:1)而获取的分区、通过几何分割预测单元而获取的分区以及具有任意形状的分区。
预测单元的预测模式可以是帧内模式(Intra Mode)、帧间模式(Inter Mode)和跳跃模式(Skip Mode)中的至少一个。例如，帧内模式和帧间模式可在2N×2N、2N×N、N×2N或N×N的分区上执行。此外，跳跃模式可以只在2N×2N的分区上执行。编码可在编码单元中的一个预测单元上独立执行，使得可以选择具有最小编码误差的预测模式。
根据实施方式的视频编码设备100也可不仅基于用于对图像数据进行编码的编码单元而且基于不同于编码单元的数据单元而对编码单元中的图像数据执行变换。为了在编码单元中执行变换，可基于具有小于或等于编码单元的尺寸的变换单元来执行变换。例如，变换单元可包括用于帧内模式的数据单元和用于帧间模式的变换单元。
根据实施方式，编码单元中的变换单元可按与编码单元根据树形结构进行分割的类似方式递归地分割成更小尺寸的区域。因此，编码单元中的残差数据可根据具有树形结构的变换单元依据变换深度进行分割。
根据实施方式，表明通过分割编码单元的高度和宽度来达到变换单元的分割次数的变换深度也可设置在变换单元中。例如，在2N×2N的当前编码单元中，当变换单元的尺寸是2N×2N时变换深度可为0，当变换单元的尺寸是N×N时变换深度可为1，以及当变换单元的尺寸是N/2×N/2时变换深度可为2。换言之，具有树形结构的变换单元可根据变换深度进行设置。
根据深度的分割信息不仅需要与深度有关的信息，而且需要与预测和变换相关的信息。因此，编码单元确定器120不仅可确定生成最小编码误差的深度，而且可确定其中预测单元分割成分区的分区模式、根据预测单元的预测模式以及用于变换的变换单元的尺寸。
下文将参考图3到图13详细描述根据实施方式的确定编码单元、预测单元、分区和根据最大编码单元的树形结构的变换单元的方法。
编码单元确定器120可通过使用基于拉格朗日乘子的率失真优化(Rate-Distortion Optimization)来测量根据深度的较深编码单元的编码误差。
输出单元130在比特流中输出基于由编码单元确定器120确定的至少一个深度进行编码的最大编码单元的图像数据以及根据深度的分割信息。
通过对图像的残差数据进行编码可获取编码的图像数据。
根据深度的分割信息可包括与深度有关的信息、与预测单元中的分区模式有关的信息、与预测模式有关的信息以及与变换单元的分割有关的信息。
最终深度信息可通过使用根据深度的分割信息进行限定，从而表明是否对较深深度而非当前深度的编码单元执行编码。如果当前编码单元的当前深度是深度，那么通过使用当前深度的编码单元对当前编码单元进行编码，因此，当前深度的分割信息可限定为不将当前编码单元分割到较深深度。相反地，如果当前编码单元的当前深度不是该深度，那么必须对较深深度的编码单元执行编码，因此，当前深度的分割信息可限定为将当前编码单元分割为较深深度的编码单元。
如果当前深度不是该深度，那么对分割成较深深度的编码单元的编码单元执行编码。由于较深深度的至少一个编码单元存在于当前深度的一个编码单元中，因此，可在较深深度的每个编码单元上重复执行编码，从而可针对具有相同深度的编码单元递归地执行编码。
由于针对一个最大编码单元确定具有树形结构的编码单元并且必须针对深度的编码单元确定至少一项分割信息，因此，可针对一个最大编码单元确定至少一项分割信息。此外，最大编码单元的数据可根据位置而改变，这是因为数据根据深度进行分层分割，因此，可针对数据来设置深度和分割信息。
因此，根据实施方式的输出单元130可将与对应深度和编码模式有关的编码信息分配到最大编码单元中包括的编码单元、预测单元和最小单元中的至少一个。
根据实施方式的最小单元是通过将构成最深深度的最小编码单元分割成4份而获取的正方形数据单元。或者，根据实施方式的最小单元可以是可被包括在最大编码单元所包括的编码单元、预测单元、分区单元和变换单元的全部中的最大正方形数据单元。
例如，由输出单元130输出的编码信息可分类成根据较深编码单元的编码信息和根据预测单元的编码信息。根据较深编码单元的编码信息可包括预测模式信息和分区尺寸信息。根据预测单元的编码信息可包括与帧间模式期间的估计方向有关的信息、与帧间模式的参考图像索引有关的信息、与运动矢量有关的信息、与帧内模式的色度分量有关的信息以及与帧内模式期间的内插法有关的信息。
与根据图片、条带或GOP限定的编码单元的最大尺寸有关的信息以及与最大深度的有关信息可插入到比特流的标头、序列参数集或图像参数集中。
与当前视频准许的变换单元的最大尺寸的有关信息以及与变换单元的最小尺寸有关的信息也可通过比特流的标头、序列参数集或图片参数集输出。输出单元130可对与预测相关的参考信息、预测信息和条带类型信息进行编码并输出这些信息。
在根据最简单实施方式的视频编码设备100中，较深编码单元可以是通过将较浅深度的编码单元(上一层的编码单元)的高度和宽度一分为二所得到的编码单元。换言之，在当前深度的编码单元的尺寸是2N×2N时，较深深度的编码单元的尺寸是N×N。此外，具有2N×2N尺寸的当前编码单元可最大包括四个具有N×N尺寸的较深深度编码单元。
因此，通过基于最大编码单元的尺寸和考虑到当前图片的特征而确定的最大深度来确定每个最大编码单元的具有最佳形状和最佳尺寸的编码单元，视频编码设备100可形成具有树形结构的编码单元。此外，由于可通过使用各种预测模式和变换中的任一个对每个最大编码单元执行编码，因此，可根据各种图像尺寸的编码单元的特征来确定最佳编码模式。
因此，如果具有高分辨率或大数据量的图像在传统宏块中编码，那么每个图片的宏块数量过度增加。因此，针对每个宏块生成的压缩信息的数量增加，因而难以传输压缩的信息并且数据压缩效率降低。然而，通过使用根据实施方式的视频编码设备，图像压缩效率可能提高，这是因为在考虑图像的特征同时调整编码单元，同时考虑图像的尺寸而增大编码单元的最大尺寸。
图2是根据各种实施方式的基于根据树形结构的编码单元的视频解码设备200的框图。
根据实施方式的基于树形结构的编码单元的、涉及视频预测的视频解码设备200包括接收器210、图像数据与编码信息提取器220以及图像数据解码器230。在下文中，为便于描述，根据实施方式的基于树形结构的编码单元的、涉及视频预测的视频解码设备200被称为“视频解码设备200”。
根据实施方式，用于视频解码设备200的解码操作的各种术语(诸如，编码单元、深度、预测单元、变换单元和各种类型的分割信息)的定义与参考图1和视频编码设备100描述的那些定义相同。
接收器210接收并解析编码视频的比特流。图像数据与编码信息提取器220从解析的比特流中提取用于每个编码单元的编码图像数据，其中编码单元具有根据每个最大编码单元的树形结构，并且将提取的图像数据输出到图像数据解码器230。图像数据与编码信息提取器220可从与当前图片有关的标头、序列参数集或图片参数集中提取与当前图片的编码单元的最大尺寸有关的信息。
此外，图像数据与编码信息提取器220针对根据每个最大编码单元的具有树形结构的编码单元从解析的比特流中提取最终深度和分割信息。提取的最终深度和分割信息输出到图像数据解码器230。换言之，比特流中的图像数据分割成最大编码单元，使得图像数据解码器230可针对每个最大编码单元将图像数据解码。
根据每个最大编码单元的深度和分割信息可针对一项或更多项深度信息进行设置，并且根据深度的分割信息可包括对应编码单元的分区模式信息、预测模式信息以及变换单元的分割信息。此外，作为深度信息，根据深度的分割信息可被提取。
由图像数据与编码信息提取器220提取的根据每个最大编码单元的深度和分割信息是被确定当诸如视频编码设备100等编码器根据每个最大编码单元针对根据深度的每个较深编码单元重复执行编码时会生成最小编码误差的深度和分割信息。因此，视频解码设备200可通过根据生成最小编码误差的编码方法对数据进行解码来重建图像。
由于与深度和编码模式有关的编码信息可分配到对应编码单元、预测单元和最小单元之中的预定数据单元，因此，图像数据与编码信息提取器220可根据预定数据单元提取深度和分割信息。如果对应最大编码单元的深度和分割信息根据预定数据单元中的每个进行记录，那么可以推断，具有相同深度和分割信息的预定数据单元就是相同最大编码单元中包括的数据单元。
图像数据解码器230可通过基于根据最大编码单元的深度和分割信息将每个最大编码单元中的图像数据解码来重建当前图片。换言之，图像数据解码器230可基于每个最大编码单元中包括的具有树形结构的编码单元之中的每个编码单元的读取分区模式、预测模式和变换单元对编码的图像数据进行解码。解码过程可包括预测过程和逆变换过程，所述预测过程包括帧内预测和运动补偿。
基于与根据深度的编码单元的预测单元的分区模式和预测模式有关的信息，图像数据解码器230可根据每个编码单元的分区和预测模式来执行帧内预测或运动补偿。
此外，图像数据解码器230可读取与用于每个编码单元的根据树形结构的变换单元有关的信息，从而基于每个编码单元的变换单元来执行逆变换，从而针对每个最大编码单元进行逆变换。经由逆变换，可重建编码单元的空间域的像素值。
图像数据解码器230可通过使用根据深度的分割信息来确定当前最大编码单元的深度。如果分割信息表明图像数据不再以当前深度分割，那么当前深度就是深度。因此，图像数据解码器230可通过使用与针对与当前深度对应的每个编码单元的预测单元的分区模式、预测模式信息和变换单元的尺寸有关的信息来对当前最大编码单元的图像数据进行解码。
换言之，通过观察分配给编码单元、预测单元和最小单元之中的预定数据单元的编码信息集，可收集含有包括相同分割信息的编码信息的数据单元，并且可将收集的数据单元视作将由图像数据解码器230以相同编码模式解码的一个数据单元。因此，可通过获取与用于每个编码单元的编码模式有关的信息来对当前编码单元进行解码。
上文参考图3A描述的图像解码设备30可包括与视点的数量相对应的视频解码设备200，从而通过对所接收的第一层图像流和所接收的第二层图像流进行解码来重建第一层图像和第二层图像。
当接收到第一层图像流时，视频解码设备200的图像数据解码器230可将由提取器220从第一层图像流中提取的第一层图像的样本分割成根据最大编码单元的树形结构的编码单元。图像数据解码器230可通过基于用于图像间预测的预测单元对第一层图像的样本的根据树形结构的编码单元中的每个编码单元执行运动补偿并可重建第一层图像。
当接收到第二层图像流时，视频解码设备200的图像数据解码器230可将由提取器220从第二层图像流中提取的第二层图像的样本分割成根据最大编码单元的树形结构的编码单元。图像数据解码器230可通过基于用于图像间预测的预测单元对第二层图像的样本的编码单元中的每个编码单元执行运动补偿并可重建第二层图像。
提取器220可从比特流中获取与亮度误差相关的信息，从而补偿第一层图像与第二层图像之间的亮度差。然而，可根据编码单元的编码模式来确定是否执行亮度补偿。例如，可以只对具有2N×2N尺寸的预测单元执行亮度补偿。
因此，视频解码设备200可获取与在针对每个最大编码单元递归地执行编码时生成最小编码误差的至少一个编码单元有关的信息，并且可使用该信息来对当前图片进行解码。换言之，可对确定是每个最大编码单元中的最佳编码单元的、具有树形结构的编码单元进行解码。
因此，即使图像具有高分辨率或具有过大数据量，图像仍可通过使用编码单元的尺寸和编码模式来高效解码和重建，所述编码单元的尺寸和编码模式是通过使用从编码终端接收的最佳分割信息根据图像的特征而自适应地确定的。
图3示出了根据各种实施方式的编码单元的概念。
编码单元的尺寸可由宽度×高度来表示，并且可以是64×64、32×32、16×16和8×8。64×64的编码单元可分割成64×64、64×32、32×64或32×32的分区，并且32×32的编码单元可分割成32×32、32×16、16×32或16×16的分区，16×16的编码单元可分割成16×16、16×8、8×16或8×8的分区，以及8×8的编码单元可分割成8×8、8×4、4×8或4×4的分区。
在视频数据310中，分辨率是1920×1080，编码单元的最大尺寸是64，并且最大深度是2。在视频数据320中，分辨率是1920×1080，编码单元的最大尺寸是64，并且最大深度是3。在视频数据330中，分辨率是352×288，编码单元的最大尺寸是16，并且最大深度是1。图3所示的最大深度是指从最大编码单元到最小编码单元的总分割次数。
如果分辨率较高或数据量较大，那么编码单元的最大尺寸可较大，从而不仅增加编码效率，而且准确反映图像的特征。因此，分辨率比视频数据330高的视频数据310和320的编码单元的最大尺寸可以选择为64。
由于视频数据310的最大深度是2，因此，视频数据315的编码单元310可包括长轴尺寸为64的最大编码单元，以及长轴尺寸为32和16的编码单元，这是因为通过将最大编码单元分割两次，深度加深两个层。由于视频数据330的最大深度是1，因此，视频数据330的编码单元335可包括长轴尺寸为16的最大编码单元，以及长轴尺寸为8的编码单元，这是因为通过将最大编码单元分割一次，深度加深一层。
由于视频数据320的最大深度是3，因此，视频数据320的编码单元325可包括长轴尺寸为64的最大编码单元，以及长轴尺寸为32、16和8的编码单元，这是因为通过将最大编码单元分割三次，深度加深3个层。随着深度加深，可提高关于具体信息的表达能力。
图4是根据各种实施方式的基于编码单元的图像编码器400的框图。
根据实施方式的图像编码器400执行视频编码设备100的编码单元确定器120的操作，从而对图像数据进行编码。换言之，帧内预测器420在当前图像405之中按照预测单元对编码单元以帧内模式执行帧内预测，并且帧间预测器415通过使用当前图像405和由重建图片缓存器410获取的参考图像按照预测单元在编码单元上以帧间模式执行帧间预测。当前图片405可被分割成最大编码单元，随后最大编码单元可相继被编码。通过这种方式，可对被分割成具有树形结构的编码单元的最大编码单元进行编码。
通过从待编码的当前图像405的数据中扣除从帧内预测器420或帧间预测器415中输出的每个模式的编码单元的预测数据，生成残差数据，并且残差数据作为经量化的变换系数通过变换器425和量化器430按照变换单元输出。经量化的变换系数通过反量化器445和逆变换器450而重建成空间域中的残差数据。将空间域中的重建残差数据添加到从帧内预测器420或帧间预测器415中输出的每个模式的编码单元的预测数据，从而重建成当前图像405的编码单元的空间域中的数据。空间域中的数据经过去块化器455和样本自适应偏移(SAO)执行器460，因而生成重建图像。重建图像存储在重建图片缓存器410中。存储在重建图片缓存器410中的重建图像可用作另一图像的帧间预测的参考图像。通过变换器425和量化器430获取的经量化的变换系数可通过熵编码器435而输出为比特流440。
为了将图像编码器400应用于视频编码设备100，图像编码器400的所有元件(即，帧间预测器415、帧内预测器420、变换器425、量化器430、熵编码器435、反量化器445、逆变换器450、去块化器455和SAO执行器460)可基于根据每个最大编码单元的具有树形结构的编码单元之中的每个编码单元来执行操作。
具体而言，帧内预测器420和帧间预测器415在考虑当前最大编码单元的最大尺寸和最大深度的同时可确定具有树形结构的编码单元之中的每个编码单元的分区和预测模式，并且变换器425可确定是否根据具有树形结构的编码单元之中的每个编码单元中的四叉树来分割变换单元。
图5是根据各种实施方式的基于编码单元的图像解码器500的框图。
熵解码器515对来自比特流505的将被解码的编码图像数据和解码所需的编码信息进行解析。编码图像数据是经量化的变换系数，并且反量化器520和逆变换器525从经量化的变换系数中重建残差数据。
帧内预测器540根据预测单元以帧内模式对编码单元执行帧内预测。帧间预测器535通过使用由重建图片缓存器530获取的参考图像而根据预测单元在当前图像中以帧间模式对编码单元执行帧间预测。
将通过帧内预测器540和帧间预测器535的每个模式的编码单元的预测数据和残差数据相加，使得可以重建与当前图像405的编码单元有关的空间域中的数据，并且空间域中的重建数据可以通过去块化器545和SAO执行器550输出为重建图像560。此外，可将存储在重建图片缓存器530的重建图像输出为参考图像。
为了视频解码设备200的图像数据解码器230对图像数据进行解码，可执行根据实施方式的图像解码器500的熵解码器515之后的操作。
为了将图像解码器500应用于根据实施方式的视频解码设备200，图像解码器500的所有元件(即，熵解码器515、反量化器520、逆变换器525、帧内预测器540、帧间预测器535、去块化器545和SAO执行器550)可针对每个最大编码单元基于具有树形结构的编码单元来执行操作。
具体而言，帧内预测器540和帧间预测器535根据具有树形结构的编码单元中的每个编码单元来确定分区模式和预测模式，并且逆变换器525可确定是否根据每个编码单元的四叉树来分割变换单元。
图6示出了根据各种实施方式的根据深度的编码单元和分区。
根据实施方式的视频编码设备100和根据实施方式的视频解码设备200使用分层编码单元以考虑图像的特征。编码单元的最大高度、最大宽度和最大深度可根据图像的特征而自适应地确定，或者可根据用户需要而不同地设置。根据深度的较深编码单元的尺寸可根据编码单元的预定最大尺寸进行确定。
在根据实施方式的编码单元的分层结构600中，编码单元的最大高度和最大宽度均是64，并且最大深度是3。在这种情况下，最大深度是指编码单元从最大编码单元分割到最小编码单元的总次数。由于深度沿着编码单元的分层结构600的竖直轴加深，因此，较深编码单元的高度和宽度均被分割。此外，沿着分层结构600的水平轴示出作为每个较深编码单元的预测编码的基础的预测单元和分区。
即，编码单元610是分层结构600中的最大编码单元，其中深度为0并且尺寸(即，高度乘宽度)为64×64。深度沿着竖直轴加深，而且存在尺寸为32×32且深度为1的编码单元620、尺寸为16×16且深度为2的编码单元630以及尺寸为8×8且深度为3的编码单元640。尺寸为8×8且深度为3的编码单元640是最小编码单元。
编码单元的预测单元和分区根据每个深度沿着水平轴布置。换言之，如果尺寸为64×64且深度为0的编码单元610是预测单元，那么预测单元可分割成尺寸为64×64的编码单元610中包括的分区，即，尺寸为64×64的分区610、尺寸为64×32的分区612、尺寸为32×64的分区614，或者尺寸为32×32的分区616。
同样，尺寸为32×32且深度为1的编码单元620的预测单元可分割成尺寸为32×32的编码单元620中包括的分区，即，尺寸为32×32的分区620、尺寸为32×16的分区622、尺寸为16×32的分区624以及尺寸为16×16的分区626。
同样，尺寸为16×16且深度为2的编码单元630的预测单元可分割成尺寸为16×16的编码单元630中包括的分区，即，编码单元630中包括的尺寸为16×16的分区、尺寸为16×8的分区632、尺寸为8×16的分区634以及尺寸为8×8的分区636。
同样，尺寸为8×8且深度为3的编码单元640的预测单元可分割成尺寸为8×8的编码单元640中包括的分区，即，编码单元640中包括的尺寸为8×8的分区640、尺寸为8×4的分区642、尺寸为4×8的分区644以及尺寸为4×4的分区646。
为了确定最大编码单元610的深度，视频编码设备100的编码单元确定器120需要对最大编码单元610中包括的分别与深度对应的编码单元执行编码。
包括相同范围和相同尺寸的数据的、根据深度的较深编码单元的数量随着深度加深而增加。例如，需要四个对应于深度2的编码单元来覆盖一个对应于深度1的编码单元中包括的数据。因此，为了将根据深度的相同数据的编码结果进行比较，对应于深度1的编码单元和对应于深度2的四个编码单元均被编码。
为了根据每个深度执行编码，可通过沿着编码单元的分层结构600的水平轴、根据深度对编码单元的每个预测单元执行编码来选择作为对应深度的代表编码误差的最小编码误差。或者，随着深度沿着分层结构600的竖直轴加深，可通过针对每个深度执行编码，根据深度来比较最小编码误差而搜索出最小编码误差。最大编码单元610中具有最小编码误差的深度和分区可被选作最大编码单元610的深度和分区模式。
图7示出了根据各种实施方式的编码单元与变换单元之间的关系。
根据实施方式的视频编码设备100或根据实施方式的视频解码设备200根据每个最大编码单元的、尺寸等于或小于最大编码单元的编码单元对图像进行编码或解码。在编码期间用于变换的变换单元的尺寸可基于不大于对应编码单元的数据单元进行选择。
例如，在视频编码设备100或视频解码设备200中，当编码单元710的尺寸是64×64时，可通过使用尺寸为32×32的变换单元720来执行变换。
此外，可通过对尺寸为32×32、16×16、8×8和4×4(都小于64×64)的变换单元中的每个变换单元执行变换，从而对尺寸为64×64的编码单元710的数据进行编码，并且随后可选择具有最小编码误差的变换单元。
图8示出了根据各种实施方式的根据深度的多项编码信息。
根据实施方式的视频编码设备100的输出单元130可针对与深度对应的每个编码单元来编码并传输分区模式信息800、预测模式信息810和变换单元尺寸信息820，以作为分割信息。
分区模式信息800表明与通过分割当前编码单元的预测单元而获取的分区的形状的有关信息，其中分区是用于对当前编码单元进行预测编码的数据单元。例如，尺寸为2N×2N的当前编码单元CU_0可分割成下列分区中的任一个：尺寸为2N×2N的分区802、尺寸为2N×N的分区804、尺寸为N×2N的分区806以及尺寸为N×N的分区808。在这种情况下，与当前编码单元的分区类型有关的分区模式信息800设置成表示下列中的一个：尺寸为2N×2N的分区802、尺寸为2N×N的分区804、尺寸为N×2N的分区806以及尺寸为N×N的分区808。
预测模式信息810表明每个分区的预测模式。例如，预测模式信息810可表明在由分区模式信息800表明的分区上执行的预测编码的模式，即，帧内模式812、帧间模式814或跳跃模式816。
变换单元尺寸信息820表示对当前编码单元执行变换时将依据的变换单元。例如，所述变换单元可以是第一帧内变换单元822、第二帧内变换单元824、第一帧间变换单元826或者第二帧间变换单元828。
视频解码设备200的图像数据与编码信息提取器220可提取并使用针对每个较深编码单元的分区模式信息800、预测模式信息810和变换单元尺寸信息820。
图9是根据各种实施方式的根据深度的编码单元的示意图。
分割信息可用来表明深度中的变化。分割信息表明当前深度的编码单元是否分割成较深深度的编码单元。
用于对深度为0且尺寸为2N_0×2N_0的编码单元900进行预测编码的预测单元910可包括下列分区类型的分区：尺寸为2N_0×2N_0的分区模式912、尺寸为2N_0×N_0的分区模式914、尺寸为N_0×2N_0的分区模式916和尺寸为N_0×N_0的分区模式918。只示出通过对称地分割预测单元而获取的分区模式912、914、916和918，但如上所述，分区模式不限于此，并且可包括不对称分区、具有预定形状的分区和具有几何形状的分区。
根据每个分区模式，在尺寸为2N_0×2N_0的一个分区、尺寸为2N_0×N_0的两个分区、尺寸为N_0×2N_0的两个分区和尺寸为N_0×N_0的四个分区上必须重复执行预测编码。可在尺寸为2N_0×2N_0、N_0×2N_0、2N_0×N_0和N_0×N_0的分区上执行帧内模式和帧间模式的预测编码。可以只在尺寸为2N_0×2N_0的分区上执行跳跃模式的预测编码。
如果尺寸为2N_0×2N_0、2N_0×N_0和N_0×2N_0的分区模式912、914和916中的一个分区模式的编码误差是最小误差，那么预测单元910可不分割成更深深度。
如果尺寸为N_0×N_0的分区模式918中的编码误差是最小误差，那么深度从0变成1并且执行分割(操作920)，并且可在深度为2且尺寸为N_0×N_0的分区模式的编码单元930上重复执行编码，从而搜索最小编码误差。
用于对深度为1且尺寸为2N_1×2N_1(＝N_0×N_0)的编码单元930进行预测编码的预测单元940可包括下列分区模式的分区：尺寸为2N_1×2N_1的分区模式942、尺寸为2N_1×N_1的分区模式944、尺寸为N_1×2N_1的分区模式946和尺寸为N_1×N_1的分区模式948。
如果尺寸为N_1×N_1的分区模式948的编码误差是最小误差，那么深度从1变成2并且执行分割(操作950)，并且在深度为2且尺寸为N_2×N_2的编码单元960上重复执行编码，从而搜索最小编码误差。
当最大深度为d时，根据深度的较深编码单元可设置到深度对应于d-1时，并且分割信息可设置到深度对应于d-2时。换言之，当在操作970中在对应于深度d-2的编码单元进行分割之后执行编码直到深度为d-1时，用于对深度为d-1且尺寸为2N_(d-1)×2N_(d-1)的编码单元980进行预测编码的预测单元990可包括下列分区模式的分区：尺寸为2N_(d-1)×2N_(d-1)的分区模式992、尺寸为2N_(d-1)×N_(d-1)的分区模式994、尺寸为N_(d-1)×2N_(d-1)的分区模式996和尺寸为N_(d-1)×N_(d-1)的分区模式998。
可在分区模式之中的尺寸为2N_(d-1)×2N_(d-1)的一个分区、尺寸为2N_(d-1)×N_(d-1)的两个分区、尺寸为N_(d-1)×2N_(d-1)的两个分区、尺寸为N_(d-1)×N_(d-1)的四个分区上重复地执行预测编码，从而搜索具有最小编码误差的分区模式。
即使在尺寸为N_(d-1)×N_(d-1)的分区模式998具有最小编码误差时，由于最大深度为d，因此，深度为d-1的编码单元CU_(d-1)不再分割到更深深度，并且构成当前最大编码单元900的编码单元的深度被确定为d-1，而且当前最大编码单元900的分区模式可被确定为N_(d-1)×N_(d-1)。此外，由于最大深度为d，因此，不设置深度为d-1的编码单元952的分割信息。
数据单元999可以是当前最大编码单元的“最小单元”。根据实施方式的最小单元可以是通过将具有最深深度的最小编码单元分割成4份而获取的正方形数据单元。通过重复执行编码，根据实施方式的视频编码设备100可通过比较根据编码单元900的深度的编码误差来选择具有最小编码误差的深度从而确定深度，并且可将对应分区类型和预测模式设置为深度的编码模式。
因此，在所有的深度0、1、……、d-1、d中比较根据深度的最小编码误差，并且可将具有最小编码误差的深度确定为深度。深度、预测单元的分区模式和预测模式可作为分割信息而被编码和传输。此外，由于编码单元必须从深度0分割到深度，因此，只有深度的分割信息被设置为“0”，而除该深度之外的深度的分割信息被设置为“1”。
根据实施方式的视频解码设备200的图像数据与编码信息提取器220可提取并使用与编码单元900有关的深度和预测单元信息，从而对编码单元912进行解码。根据实施方式的视频解码设备200可通过使用根据深度的分割信息而将分割信息为“0”的深度确定为深度，并且可将与对应深度有关的分割信息用于解码。
图10、图11和图12示出了根据各种实施方式的编码单元、预测单元与变换单元之间的关系。
编码单元1010是最大编码单元中的由视频编码设备100确定的、根据深度的较深编码单元。预测单元1060是根据深度的编码单元1010中的每个编码单元的预测单元的分区，以及变换单元1070是根据深度的编码单元中的每个编码单元的变换单元。
当编码单元1010中的最大编码单元的深度为0时，编码单元1012和1054的深度为1，编码单元1014、1016、1018、1028、1050和1052的深度为2，编码单元1020、1022、1024、1026、1030、1032和1048的深度为3，以及编码单元1040、1042、1044和1046的深度为4。
在预测单元1060中，通过分割编码单元1010中的编码单元获取一些编码单元1014、1016、1022、1032、1048、1050、1052和1054。换言之，分区1014、1022、1050和1054是尺寸为2N×N的分区模式，分区1016、1048和1052是尺寸为N×2N的分区模式以及分区1032是尺寸为N×N的分区模式。编码单元1010的预测单元和分区小于或等于每个编码单元。
在小于编码单元1052的数据单元中，对变换单元1070中的编码单元1052的图像数据执行变换或逆变换。此外，变换单元1070中的编码单元1014、1016、1022、1032、1048、1050、1052和1054是在尺寸和形状方面不同于预测单元1060中的数据单元的数据单元。换言之，根据实施方式的视频编码设备100和视频解码设备200可对相同编码单元的各个数据单元执行帧内预测/运动估算/运动补偿以及变换/逆变换。
因此，对最大编码单元的每个区域中具有分层结构的编码单元中的每个编码单元递归地执行编码，以确定最佳编码单元，因此，可获取具有递归树形结构的编码单元。编码信息可包括与编码单元有关的分割信息、分区模式信息、预测模式信息和变换单元尺寸信息。下述表1示出可由根据实施方式的视频编码设备100和视频解码设备200设置的编码信息。
表1
根据实施方式的视频编码设备100的输出单元130可输出与具有树形结构的编码单元有关的编码信息，并且根据实施方式的视频解码设备200的图像数据与编码信息提取器220可从接收的比特流中提取与具有树形结构的编码单元有关的编码信息。
分割信息表明当前编码单元是否分割成较深深度的编码单元。如果当前深度d的分割信息为0，那么当前编码单元不再分割到较深深度所处的深度是深度，因此，可针对该深度来限定分区模式信息、预测模式信息和变换单元尺寸信息。如果当前编码单元必须根据分割信息进一步分割，那么必须在较深深度的四个分割编码单元上独立执行编码。
预测模式可以是帧内模式、帧间模式和跳跃模式中的一个。帧内模式和帧间模式可限定于所有分区模式，而跳跃模式可以只限定于尺寸为2N×2N的分区模式。
分区模式信息可表明通过对称地分割预测单元的高度或宽度而获取的尺寸为2N×2N、2N×N、N×2N和N×N的对称分区模式，以及通过不对称地分割预测单元的高度或宽度而获取的尺寸为2N×nU、2N×nD、nL×2N和nR×2N的不对称分区模式。可分别通过以1:3和3:1分割预测单元的高度来获取尺寸为2N×nU和2N×nD的不对称分区模式，并且可分别通过以1:3和3:1分割预测单元的宽度来获取尺寸为nL×2N和nR×2N的不对称分区模式。
变换单元的尺寸可设置为在帧内模式下有两个类型并且在帧间模式下有两个类型。换言之，如果变换单元的分割信息为0，那么变换单元的尺寸可以是2N×2N，也就是当前编码单元的尺寸。如果变换单元的分割信息为1，那么可通过分割当前编码单元来获取变换单元。此外，如果尺寸为2N×2N的当前编码单元的分区模式是对称分区模式，那么变换单元的尺寸可以是N×N，而如果当前编码单元的分区模式是不对称分区模式，那么变换单元的尺寸可以是N/2×N/2。
根据实施方式的与具有树形结构的编码单元有关的编码信息可分配到与深度对应的编码单元、预测单元和最小单元中的至少一个。与深度对应的编码单元可包括包含相同编码信息的预测单元和最小单元中的至少一个。
因此，通过比较相邻数据单元的多项编码信息来确定相邻数据单元是否包括在与相同深度对应的相同编码单元中。此外，可通过使用数据单元的编码信息来确定与深度对应的对应编码单元，因此可推断出最大编码单元中的深度的分布。
因此，如果基于相邻数据单元的编码信息来预测当前编码单元，那么可直接参考并使用与当前编码单元相邻的较深编码单元中的数据单元的编码信息。
在另一实施方式中，如果基于相邻数据单元的编码信息来对当前编码单元进行预测，那么可通过使用数据单元的编码信息来搜索与当前编码单元相邻的数据单元，并且所搜索的相邻编码单元可被参考用于预测当前编码单元。
图13示出了根据表1的编码模式信息的编码单元、预测单元与变换单元之间的关系。
最大编码单元1300包括编码单元1302、1304、1306、1312、1314、1316、以及具有深度的1318。此处，由于编码单元1318是具有深度的编码单元，因此，分割信息可设置为0。尺寸为2N×2N的编码单元1318的分区模式信息可设置为下列中一个：尺寸为2N×2N的分区模式1322、尺寸为2N×N的分区模式1324、尺寸为N×2N的分区模式1326、尺寸为N×N的分区模式1328、尺寸为2N×nU的分区模式1332、尺寸为2N×nD的分区模式1334、尺寸为nL×2N的分区模式1336以及尺寸为nR×2N的分区模式1338。
变换单元分割信息(TU尺寸标记)是一种变换索引，并且与变换索引对应的变换单元的尺寸可根据编码单元的预测单元类型或分区模式而改变。
例如，当分区模式信息设置为尺寸为2N×2N的对称分区模式1322、尺寸为2N×N的对称分区模式1324、尺寸为N×2N的对称分区模式1326或尺寸为N×N的对称分区模式1328中的一个时，如果变换单元分割信息为0，则设置尺寸为2N×2N的变换单元1342，并且如果变换单元分割信息为1，则可设置尺寸为N×N的变换单元1344。
当分区模式信息设置为尺寸为2N×nU的不对称分区模式1332、尺寸为2N×nD的不对称分区模式1334、尺寸为nL×2N的不对称分区模式1336或尺寸为nR×2N的不对称分区模式1338中的一个时，如果变换单元分割信息(TU尺寸标记)为0，则可设置尺寸为2N×2N的变换单元1352，并且如果变换单元分割信息为1，则可设置尺寸为N/2×N/2的变换单元1354。
以上参考图13所描述的变换单元分割信息(TU尺寸标记)是值为0或1的标记，但根据实施方式的变换单元分割信息不限于具有1比特的标记，并且在变换单元分割信息根据设置以0、1、2、3等的方式增加时，变换单元可分层地分割。该变换单元分割信息可以是变换索引的示例。
在这种情况下，实际使用的变换单元的尺寸可通过使用根据实施方式的变换单元分割信息以及变换单元的最大尺寸和变换单元的最小尺寸一起来表示。根据实施方式的视频编码设备100可对最大变换单元尺寸信息、最小变换单元尺寸信息和最大变换单元分割信息信息进行编码。对最大变换单元尺寸信息、最小变换单元尺寸信息和最大变换单元分割信息信息进行编码的结果可插入到SPS。根据实施方式的视频解码设备200可通过使用最大变换单元尺寸信息、最小变换单元尺寸信息和最大变换单元分割信息信息来对视频进行解码。
例如，(a)如果当前编码单元的尺寸是64×64并且最大变换单元尺寸是32×32，那么(a-1)变换单元的尺寸在TU尺寸标记为0时可以是32×32，(a-2)在TU尺寸标记为1时可以是16×16，以及(a-3)在TU尺寸标记为2时可以是8×8。
作为另一示例，(b)如果当前编码单元的尺寸是32×32并且最小变换单元尺寸是32×32，那么(b-1)变换单元的尺寸在TU尺寸标记为0时可以是32×32。此处，由于变换单元的尺寸不可小于32×32，因此，TU尺寸标记无法设置成除了0之外的值。
作为另一示例，(c)如果当前编码单元的尺寸是64×64并且最大TU尺寸标记是1，那么TU尺寸标记可以是0或1。此处，TU尺寸标记无法设置成除了0或1之外的值。
因此，如果将最大TU尺寸标记定义为“MaxTransformSizeIndex”，将最小变换单元尺寸定义为“MinTransformSize”，并且当TU尺寸标记为0时变换单元尺寸为“RootTuSize”，那么可在当前编码单元中确定的当前最小变换单元尺寸“CurrMinTuSize”可由等式(1)限定：
CurrMinTuSize
＝max(MinTransformSize,RootTuSize/(2^MaxTransformSizeIndex))...(1)
与可在当前编码单元中确定的当前最小变换单元尺寸“CurrMinTuSize”相比，TU尺寸标记为0时的变换单元尺寸“RootTuSize”可表示可以在系统中选择的最大变换单元尺寸。在等式(1)中，“RootTuSize/(2^MaxTransformSizeIndex)”表示在TU尺寸标记为0时变换单元尺寸“RootTuSize”被分割与最大TU尺寸标记对应的次数时的变换单元尺寸，并且“MinTransformSize”表示最小变换尺寸。因此，“RootTuSize/(2^MaxTransformSizeIndex)”和“MinTransformSize”之中的较小值可以是可在当前编码单元中确定的当前最小变换单元尺寸“CurrMinTuSize”。
根据实施方式，最大变换单元尺寸RootTuSize可根据预测模式的类型而改变。
例如，如果当前预测模式是帧间模式，那么“RootTuSize”可通过使用下列等式(2)来确定。在等式(2)中，“MaxTransformSize”表示最大变换单元尺寸，并且“PUSize”表示当前预测单元尺寸。
RootTuSize＝min(MaxTransformSize,PUSize).........(2)
换言之，如果当前预测模式是帧间模式，那么在TU尺寸标记为0时，变换单元尺寸“RootTuSize”可以是最大变换单元尺寸和当前预测单元尺寸之中的较小值。
如果当前分区单元的预测模式是帧内模式，那么“RootTuSize”可通过使用下列等式(3)来确定。在等式(3)中，“PartitionSize”表示当前分区单元的尺寸。
RootTuSize＝min(MaxTransformSize,PartitionSize)...........(3)
换言之，如果当前预测模式是帧内模式，那么在TU尺寸标记为0时，变换单元尺寸“RootTuSize”可以是最大变换单元尺寸和当前分区单元的尺寸之中的较小值。
然而，根据分区单元中的预测模式的类型而改变的当前最大变换单元尺寸“RootTuSize”仅仅是实施方式，并且用于确定当前最大变换单元尺寸的因素不限于此。
根据以上参考图1到图13描述的基于树形结构的编码单元的视频编码方法，在树形结构的每个编码单元中将空间域的图像数据编码，并且根据基于树形结构的编码单元的视频解码方法，以对每个最大编码单元执行解码的方式来重建空间域的图像数据，使得可重建由图片和图片序列形成的视频。重建的视频可由播放设备播放、可存储在存储介质中、或可通过网络传输。
图14示出了根据实施方式的多视点视频系统。
多视点视频系统10包括：多视点视频编码设备12，其通过对经由两个或更多个多视点相机11获取的多视点视频图像、经由深度相机14获取的多视点图像的深度图像以及与多视点相机11相关的相机参数信息进行编码来生成比特流；以及多视点视频解码设备13，其根据观众的需求对比特流进行解码并提供各种格式的解码多视点视频帧。
多视点相机11通过连接具有不同视点的多个相机来配置，并且在每个帧处提供多视点视频图像。在以下描述中，根据诸如YUV格式或YCbCr格式的预定颜色格式在每个视点处获取的颜色图像可以被称为纹理图像。
深度相机14提供将场景的深度信息表示为256级的8比特图像的深度图像。用于表示深度图像的一个像素的比特数不限于8比特，并且可以改变。深度相机14可以通过使用红外线测量从相机到被拍摄的客体和背景的距离，并提供具有与距离成正比或反比的值的深度图像。如上所述，一个视点的图像包括纹理图像和深度图像。
当多视点视频编码设备12对多视点纹理图像和与之对应的深度图像进行编码并发送纹理图像和深度图像时，多视点视频解码设备13可以通过使用包括在比特流中的多视点纹理图像和深度图像通过现有的立体图像或3D图像来提供3D效果，并且还可以组合观众期望的特定视点的3D图像并提供组合图像。表明与深度图像有关的信息是否被包括在数据包中的信息以及表明每个数据包是否用于纹理图像、深度图像或图像类型的信息可以包括在多视点视频数据的比特流中。根据接收器侧的硬件性能，多视点视频解码设备13可以在使用深度图像重建多视点视频时使用接收到的深度图像对多视点视频进行解码，并且多视点视频解码设备13可以在接收器侧的硬件不支持多视点视频并且因此不能使用深度图像时丢弃针对深度图像接收的数据包。这样，当多视点视频解码设备13不能显示多视点图像时，接收器侧可以将多视点图像中的一个视点的图像显示为二维(2D)图像。
将要在多视点视频数据中编码的数据量与视点数量成比例地增加，并且需要对用于实现3D效果的深度图像进行编码。因此，如图14所示，需要高效地压缩大量的多视点视频数据，从而实现多视点视频系统。
图15示出了构成多视点视频的纹理图像和深度图像。
图15示出了第一视点(视点0)的纹理图片V0 21、对应于第一视点(视点0)的纹理图片V0 21的深度图像图片d0 24、第二视点(视点1)的纹理图片V1 22、对应于第二视点(视点1)的纹理图片V1 22的深度图像图片d1 25、第三视点(视点2)的纹理图片V2 23和对应于第三视点(视点2)的纹理图片V2 23的深度图像图片d2 26。尽管图15示出了三个视点(视点0、视点1和视点2)处的多视点纹理图片(V0、V1和V2)21、22和23和对应的深度图像(d0、d1和d2)24、25和26，但视点的数量不限于此，而是可以改变。多视点纹理图片(V0、V1和V2)21、22和23和对应的深度图像(d0、d1和d2)24、25和26是同时获取并且具有相同的图片顺序计数(POC)的图片。在以下描述中，与多视点纹理图片(V0、V1和V2)21、22和23以及对应的深度图像(d0、d1和d2)24、25和26具有相同POC值n(n是整数)的图片组1500可以被称为第n个图片组1500。具有相同POC的图片组可以构成一个存取单元。存取单元的编码顺序不一定与图像的拍摄顺序(采集顺序)或显示顺序相同。根据参考关系，存取单元的编码顺序可能与拍摄顺序或显示顺序不同。
作为视点顺序索引的视点标识符(ViewId)可用于说明纹理图像的视点和每个视点的深度图像。相同视点的纹理图像和深度图像具有相同的视点标识符。视点标识符可用于确定编码顺序。例如，多视点视频编码设备12可以按照视点标识符的值的升序对多视点视频进行编码。也就是说，多视点视频编码设备12可以对ViewId为0的纹理图像和深度图像进行编码，然后对ViewId为1的纹理图像和深度图像进行编码。当基于如上所述的视点标识符确定编码顺序时，多视点视频解码设备13可以通过在易于发生错误的环境中使用视点标识符来识别接收到的数据中是否发生错误。然而，可以不依赖于视点标识符的尺寸顺序改变每个视点的图像的编码或解码顺序。
在下文中，将参照图16到图41描述可以执行逐样本预测的视频编码设备和视频解码设备以及视频编码方法和视频解码方法。
具体地，将参照图16到图24描述基于已经预测的相邻样本来执行当前样本的帧内预测的帧内预测编码和解码设备以及帧内预测编码和解码方法。接着，将参照图25到图41描述基于已经重建的相邻样本来执行当前样本的帧内预测的帧内预测编码和解码设备以及帧内预测编码和解码方法。
图16示出了可以基于已经预测的相邻样本执行逐样本预测的视频编码设备的框图。
视频编码设备1600可以包括分割器1610、预测器1620和编码器1630。视频编码设备1600可以包括整体控制分割器1610、预测器1620和编码器1630的中央处理器(未示出)。或者，分割器1610、预测器1620和编码器1630可以由彼此交互配合的相应处理器(未示出)来驱动，以整体控制视频编码设备1600。或者，分割器1610、预测器1620和编码器1630可以在设置在视频编码设备1600外部的外部处理器(未示出)的控制下被控制。
视频编码设备1600可以包括存储分割器1610、预测器1620和编码器1630的输入和输出数据的一个或多个数据存储器(未示出)。视频编码设备1600可以包括管理数据存储器(未示出)的数据输入和输出的存储控制器(未示出)。
为了输出视频编码的结果，视频编码设备1600可以根据内部视频编码处理器或外部视频编码处理器操作，从而执行包括预测的视频编码操作。视频编码设备1600的内部视频编码处理器可以是用于执行视频编码操作的独立处理器。此外，视频编码设备1600、中央处理器或图形处理器可以包括执行基本视频编码操作的视频编码处理模块。
视频编码设备1600可以包括在图1的视频编码设备100中。具体地，分割器1610可以包括在最大编码单元分割器110和编码单元确定器120中，预测器1620可以包括在帧内预测器420中，并且编码器1630可以包括在变换器425、量化器430和熵编码器435中。因此，将省略以上参考图1和图4提供的描述。
分割器1610将图像分割成至少一个块。术语“块”可以指从将被编码或解码的图像分割出的最大编码单元、编码单元、变换单元或预测单元。
具体地，块可以是基于用于确定编码单元的最大尺寸的编码单元的尺寸信息从图像分割出的最大编码单元。包括树形结构的编码单元的最大编码单元可以被不同地称为编码树单元、编码块树、块树、根块树、编码树、编码根或树干。
或者，块可以是基于表示编码单元是否被分割的编码单元分割信息从最大编码单元分割出的编码单元。
或者，块可以是从最终深度的编码单元(即，不能再分割的编码单元)分割出的预测单元。例如，块可以包括最终深度的编码单元，以及通过基于分区模式来分割最终深度的编码单元的高度和宽度中的至少一个而获取的第一预测单元和第二预测单元。预测单元可以是通过分割最终深度的编码单元而获取的数据单元，并且预测单元可以具有与最终深度的编码单元相同的尺寸。分区模式可以指从编码单元分割出的至少一个预测单元的类型。例如，当分区模式表示为2N×N时，分割器1610可将尺寸为2N×2N的最终深度的编码单元分割成两个尺寸为2N×N的预测单元。
或者，块可以是从最终深度的编码单元分割出的变换单元。例如，块可以是基于变换单元分割信息从变换单元分割为四叉树结构的变换单元。
块的类型可以是正方形、矩形或任何几何形状。块不限于具有恒定尺寸的数据单元。
预测器1620通过使用从图像分割出的当前块中的、比当前样本先预测的至少一个样本获取当前样本的预测值。具体地，预测器1620可以通过使用通过将第一权重应用于当前块中的、比当前样本先预测并且在水平方向上与当前样本相邻的第一样本而获取的值和通过将第二权重应用于比当前样本先预测并且在竖直方向上与当前样本相邻的第二样本而获取的值中的至少一个值来对当前样本进行预测。
编码器1630对当前样本的残差值进行编码。具体地，编码器1630可以获取当前样本的原始值与由预测器1620获取的当前样本的预测值之间的残差值，对当前样本的残差值进行变换，对变换的残差值进行熵编码，以及在比特流中输出熵编码的残差值。
图17示出了可以基于已经预测的相邻样本执行逐样本预测的视频解码设备的框图。
视频解码设备1700可以包括分割器1710、预测器1720和解码器1730。视频解码设备1700可以包括整体控制分割器1710、预测器1720和解码器1730的中央处理器(未示出)。或者，分割器1710、预测器1720和解码器1730可以由彼此交互配合的相应处理器(未示出)来驱动，以整体控制视频解码设备1700。或者，分割器1710、预测器1720和解码器1730可以在设置在视频解码设备1700外部的外部处理器(未示出)的控制下被控制。
视频解码设备1700可以包括存储分割器1710、预测器1720和解码器1730的输入和输出数据的一个或多个数据存储器(未示出)。视频解码设备1700可以包括管理数据存储器(未示出)的数据输入和输出的存储控制器(未示出)。
为了输出视频解码的结果，视频解码设备1700可以根据内部视频解码处理器或外部视频解码处理器操作，以执行包括滤波的视频解码操作。视频解码设备1700的内部视频编码处理器可以是用于执行视频解码操作的独立处理器。此外，视频解码设备1700、中央处理器或图形处理器可以包括执行基本视频解码操作的视频解码处理模块。
视频解码设备1700可以包括在图2的视频解码设备200中。具体地，分割器1710可以包括在接收器210中，并且预测器1720和解码器1730可以包括在图像数据解码器230中。因此，将省略以上参考图2提供的描述。
分割器1710将图像分割成至少一个块。术语“块”可以指从将被编码或解码的图像分割出的最大编码单元、编码单元、变换单元或预测单元。
预测器1720通过使用从图像分割出的当前块中的、比当前样本先预测的样本获取当前样本的预测值。具体地，预测器1720可以通过使用通过将第一权重应用于当前块中的、比当前样本先预测并且在水平方向上与当前样本相邻的第一样本而获取的值和通过将第二权重应用于比当前样本先预测并且在竖直方向上与当前样本相邻的第二样本而获取的值中的至少一个值来对当前样本进行预测。
解码器1730对图像进行解码。具体地，解码器1730可以通过使用从比特流获取的当前样本的残差值与由预测器1720获取的当前样本的预测值来重建图像。
图18A示出了基于在当前块中已经预测的样本来对当前样本进行预测的逐样本预测的操作。
预测器1620和1720可以基于从图像分割出的当前块1800中与当前样本C相邻且比当前样本C先预测的样本A1、A2和A3中的至少一个样本来对当前样本进行预测C。
与当前样本C相邻的样本中的、用于对当前样本C进行预测的至少一个相邻样本可以根据当前块1800的预测方向和当前块1800中的当前样本C的位置而改变。例如，如图18A所示，如果从当前块1800的左上侧到右下侧执行预测，则可以基于与当前样本C的左侧相邻的样本A1的预测值、与当前样本C的上侧相邻的样本A2的预测值和与当前样本C的左上侧相邻的样本A3的预测值来对当前样本C进行预测。具体地，预测器1620和1720可以基于以下等式1获取当前样本C的预测值：
pDest[i，j]＝(wL(pDest[i，j])·pDest[i，j-1]+wA(pDest[i，j])·pDest[i-1，j]
+wAL(pDest[i，j])·pDest[i-1，j-1]+offset)
＞＞shift(weighted average)；
(wL(pDest[i，j])+wA(pDest[i，j])+wAL(pDest[i，j]))＝(1＜＜shift)；
offset＝(1＜＜(shift-1))；
0≤i≤H-1；0≤j≤W-1；
等式1
在等式1中，pDest[i，j]可以表示当前块中的第i行和第j列的样本。例如，图18A中的当前样本C、样本A1、样本A2和样本A3可分别对应于pDest[1，1]、pDest[0，1]、pDest[1，0]和pDest[0，0]。wL、wA和wAL可以表示应用到用于对当前样本进行预测的相邻样本的权重。下面将参照图21、图22和图23详细描述该权重。此外，移位和偏移可以对应于用于补偿权重的参数。H可以表示当前块1800的高度，W可以表示当前块1800的宽度。
在当前样本位于当前块1800的边界时，用于对当前样本进行预测的样本可以是当前块1800的参考样本1810。参考样本1810可以包括比当前块1800先重建的至少一个先前块中包括的重建样本。另外，参考样本1810可以与当前块1800的边界相邻。例如，如图18A所示，如果从当前块1800的左上侧到右下侧执行预测，则可以基于与样本A3的左侧相邻的参考样本R1的重建值、与样本A3的上侧相邻的参考样本R2的重建值以及与样本A3的左上侧相邻的参考样本R3的重建值来预测样本A3。
如果参考样本1810不可用，则预测器1620和1720可以执行参考样本填充。例如，预测器1620和1720可以通过使用最接近不可用参考样本的可用参考样本来填充不可用参考样本。作为另一示例，如果所有参考样本不可用，则预测器1620和1720可以用可表达的亮度值范围的中值来填充所有参考样本。作为另一示例，预测器1620和1720可以基于以下等式2执行参考样本填充：
(1)left boundary：i＝-1；0≤j≤H-1；
pDest[i，j]＝Σf[m]·pSrc[-1，j+m]；
(2)top boundary：j＝-1；0≤i≤W-1；
pDest[i，j]＝∑f[m]·pSrc[i+m，-1]；
(3)corner：i＝-1；j＝-1；
pDest[i，j]＝(pDest[0，-1]+pDest[-1，0]+1)＞＞1；
等式2
在等式2中，pSrc[i，j]可以表示包括在比当前块先重建的至少一个先前块中的样本。pDest[i，-1]可以表示与当前块1800的上侧相邻的参考样本，pDest[-1，j]可以表示与当前块1800的左侧相邻的参考样本，pDest[-1，-1]可以表示与当前块1800的左上侧相邻的参考样本。例如，参考样本R1、参考样本R2和参考样本R3可以分别对应于pDest[-1.0]、pDest[0，-1]，和pDest[-1，-1]。此外，f[m]可以对应于滤波函数，并且m可以对应于表明滤波系数的索引。因此，可以通过对包括在先前块中的至少一个样本的重建值进行滤波来填充当前块1800的参考样本1810。可以基于图像的特性来改变滤波函数f[m]的特性。例如，滤波函数f[m]可以对应于低通滤波器、高通滤波器、带通滤波器等。此外，参考样本R3可以用最接近参考样本R3的参考样本R1和参考样本R2的平均值填充。
如果基于相同块中已经预测的样本来对当前样本进行预测，则编码和解码设备以及编码和解码方法可以根据当前样本的位置执行自适应预测，并且可以改善编码和解码性能。
图18B示出了基于在当前块中已经预测的样本来对当前样本进行预测的另一逐样本预测的操作。
预测器1620和1720可以基于从图像分割出的当前块1800中与当前样本C相邻且比当前样本C先预测的样本A1、A2、A3和A8中的至少一个样本来对当前样本C进行预测。
与当前样本C相邻的样本中的、用于预测当前样本C的至少一个相邻样本可以根据当前块1800的预测方向和当前块1800中的当前样本C的位置而改变。例如，如图18B所示，如果从当前块1800的左上侧到右下侧执行预测，则可以基于与当前样本C的左侧相邻的样本A1的预测值、与当前样本C的上侧相邻的样本A2的预测值、与当前样本C的左上侧相邻的样本A3的预测值、以及与当前样本C的右上侧相邻的样本A8的预测值来对当前样本C进行预测。具体地，预测器1620和1720可以基于以下等式3获取当前样本C的预测值：
pDest[i，j]＝(wL(pDest[i，j])·pDest[i，j-1]+wA(pDest[i，j])·pDest[i-1，j]
+wAL1(pDest[i，j])·pDest[i-1，j-1]+wAL2(pDest[i，j])
·pDest[i-1，j+1]+offset)＞＞shift(weighted average)；
(wL(pDest[i，j])+wA(pDest[i，j])+wAL1(pDest[i，j])+wAL2(pDest[i，j]))＝(1＜＜shift)；
offset＝(1＜＜(shift-1))；
0≤i≤H-1；0≤j≤W-1；
等式3
在等式3中，pDest[i，j]可以表示当前块中的第i行和第j列的样本。例如，图18B中的当前样本C、样本A1、样本A2、样本A3和样本A8可分别对应于pDest[1，1]、pDest[0，1]、pDest[1，0]、pDest[0，0]和pDest[0，2]。wL、wA、wAL1和wAL2可以表示应用到用于对当前样本进行预测的相邻样本的权重。下面将参照图21、图22和图23详细描述该权重。此外，移位和偏移可以对应于用于补偿权重的参数。H可以表示当前块1800的高度，W可以表示当前块1800的宽度。
在当前样本位于当前块1800的边界时，用于对当前样本进行预测的样本可以是当前块1800的参考样本1810。参考样本1810可以包括比当前块1800先重建的至少一个先前块中包括的重建样本。另外，参考样本1810可以与当前块1800的边界相邻。例如，如图18A所示，如果从当前块1800的左上侧到右下侧执行预测，则可以基于与样本A3的左侧相邻的参考样本R1的重建值、与样本A3的上侧相邻的参考样本R2的重建值、与样本A3的左上侧相邻的参考样本R3的重建值以及与样本A3的右上侧相邻的参考样本R4的重建值来预测样本A3。
图19示出了可用于对当前样本进行预测的相邻样本。
如上所述，可以通过使用当前样本C的相邻样本A1、A2、A3、A4、A5、A6、A7和A8中的至少一个来对当前样本C进行预测。当前样本C的相邻样本A1、A2、A3、A4、A5、A6、A7和A8可以包括最接近当前样本C的样本，诸如在水平方向上与当前样本C相邻的样本A1和A4以及在竖直方向上与当前样本C相邻的样本A2和A5。此外，当前样本C的相邻样本可以包括在对角线方向上与当前样本C相邻的样本，例如与当前样本C的左上侧相邻的样本A3、与当前样本C的右下侧相邻的样本A6、与当前样本C的左下侧相邻的样本A7以及与当前样本C的右上侧相邻的样本A8。
预测器1620和1720可以从当前块1800中的当前样本C的相邻样本A1、A2、A3、A4、A5、A6、A7和A8中确定用于对当前样本C进行预测的至少一个样本以及当前块1800外的当前块1800的参考样本1950。例如，如图19所示，在当前块1800中的当前样本C不位于尺寸为4×4的当前块1800的边界时，预测器1620和1720可以从位于当前块1800中的左侧相邻样本A1、上侧相邻样本A2、左上侧相邻样本A3、右侧相邻样本A4、下侧相邻样本A5、右下侧相邻样本A6、左下侧相邻样本A7和右上侧相邻样本A8中确定用于对当前样本C进行预测的至少一个相邻样本。在另一示例中，在当前样本C类似于样本A3位于当前块1800的边界时，预测器1620和1720可以从当前块1800的参考样本1950中确定用于对当前样本C进行预测的至少一个相邻样本。将参考图23到图26详细描述使用参考样本的预测。
预测器1620和1720可以基于当前块1800中的预测顺序来从当前样本C的相邻样本A1、A2、A3、A4、A5、A6、A7和A8中确定用于对当前样本C进行预测的至少一个相邻样本。由于可以通过使用预测顺序在当前样本C的预测顺序之前的样本来对当前样本C进行预测，所以可用于对当前样本进行预测的相邻样本可以根据当前块中的预测顺序而改变。
例如，当在尺寸为4×4的当前块1800中从最上行(i＝0)到最下行(i＝3)顺序地执行水平预测1910时，当前样本C的左侧相邻样本A1、上侧相邻样本A2、左上侧相邻样本A3和右上侧相邻样本A8中的至少一个相邻样本可以用于对当前样本C进行预测。
在另一示例中，当在尺寸为4×4的当前块1800中从最左列(j＝0)到最右列(j＝3)顺序地执行竖直预测1920时，当前样本C的左侧相邻样本A1、上侧相邻样本A2、左上侧相邻样本A3和左下侧相邻样本A7中的至少一个相邻样本可以用于对当前样本C进行预测。
在另一示例中，当在尺寸为4×4的当前块1800中从最左上侧样本A3到最右下样本E顺序执行左下对角线预测1930时，当前样本C的左侧相邻样本A1、上侧相邻样本A2、左上侧相邻样本A3和右上侧相邻样本A8中的至少一个相邻样本可以用于对当前样本C进行预测。
在另一示例中，当在尺寸为4×4的当前块1800中从最右下样本S到最左上侧样本A3顺序地执行右上对角线预测1940时，当前样本C的右侧相邻样本A4、下侧相邻样本A5、右下侧相邻样本A6和左下侧相邻样本A7中的至少一个相邻样本可以用于对当前样本C进行预测。
当前块1800的预测方向不限于图19的水平预测1910、竖直预测1920、左下对角线预测1930和右上对角线预测1940。用于对当前样本C进行预测的样本可以基于当前块1800中的当前样本C的位置和当前块1800的预测方向而改变。
图20示出了应用到相邻样本的权重。
预测器1620和1720可以通过使用通过将权重应用到相邻样本而获取的值来对当前样本C进行预测。
预测器1620和1720可以通过对当前样本C的相邻样本应用预设权重来对当前样本C进行预测。例如，预测器1620和1720可以通过对在水平方向上与当前样本C相邻的样本和在竖直方向上与当前样本C相邻的样本应用相同的权重来对当前样本C进行预测。
预测器1620和1720可以基于当前样本C的相邻样本与当前样本C相邻的方向来确定应用到相邻样本的权重。应用到在水平方向上与当前样本C相邻的样本的权重和应用到在竖直方向上与当前样本C相邻的样本的权重可以彼此独立。预测器1620和1720可以获取当前块1800中的竖直梯度，并且基于所获取的竖直梯度来确定应用到在水平方向上与当前样本C相邻的样本的权重。当前块1800的竖直梯度可以表示表明当前块1800中的样本在竖直方向上是否具有一致性的数字索引。例如，预测器1620和1720可以通过使用当前块1800中的在竖直方向上相邻的样本的差值来获取当前块1800中的竖直梯度。预测器1620和1720可以获取当前块1800中的竖直梯度，并且基于所获取的竖直梯度来确定应用到在水平方向上与当前样本C相邻的样本的权重。当前块1800的水平梯度可以表示表明当前块1800中的样本在水平方向上是否具有一致性的数字索引。例如，指示符1620和1720可以通过使用当前块1800中在水平方向上相邻的样本的差值来获取当前块1800中的水平梯度。将参考图21到图22详细描述当前块1800的竖直梯度和水平梯度。
例如，当对当前块1800执行水平预测1910、竖直预测1920或左下对角线预测1930时，预测器1620和1720可以通过使用以下值中的至少一个值来对当前样本C进行预测：通过将第一权重wA(C)应用于当前样本C的左侧相邻样本A1获取的值、通过将第二权重wL(C)应用于当前样本C的上侧相邻样本A2获取的值，以及通过将第三权重wAL(C)应用于当前样本C的左上侧样本A3获取的值。
预测器1620和1720可以通过使用预设的第一权重wA(C)、预设的第二权重wL(C)和预设的第三权重wAL(C)来对当前样本C进行预测。例如，预测器1620和1720可以基于以下等式4设置等式1的第一权重wA(C)、第二权重wL(C)和第三权重wAL(C)：
wL(pDest[i，j])＝wA(pDest[i，j])＝w；
(wL(pDest[i，j])+wA(pDest[i，j])+wAL(pDest[i，j]))＝(1＜＜shift)；
wAL＝2shift-2w；
等式4
在等式4中，移位可以与等式1的移位相同，并且可以是用于补偿应用于当前样本C的相邻样本A1、A2和A3的权重的参数。具体地，预测器1620和1720可以预设第一权重wA(C)和第二权重wL(C)具有相同的值，并且基于第一权重wL(C)、第二权重wA(C)和权重补偿参数移位来设置第三权重wAL(C)。
预测器1620和1720可以基于当前样本C的相邻样本与当前样本C相邻的方向来设置第一权重wA(C)、第二权重wL(C)和第三权重wAL(C)。例如，预测器1620和1720可以基于以下等式5来设置第一权重wA(C)、第二权重wL(C)和第三权重wAL(C)：
wL(pDest[i，j])∝pDest[i，j-1]-pDest[i-1，j-1]；
wA(pDest[i，j])∝pDest[i，-1j]-pDest[i-1，j-1]；
(wL(pDest[i，j])+wA(pDest[i，j])+wAL(pDest[i，j]))＝(1＜＜shift)；
wAL(pDest[i，j])＝2shift-wL(pDest[i，j])-wA(pDest[i，j])；
等式5
具体地，预测器1620和1720可以基于当前样本C的左侧相邻样本A3和当前样本C的左上侧相邻样本A3之间的竖直梯度来确定应用于当前样本C的左侧相邻样本A1的第一权重wA(C)。在当前块1800的竖直梯度值增加时，当前块1800中样本的竖直一致性减小。因此，作为水平权重的第一权重wA(C)可以增加。此外，预测器1620和1720可以基于当前样本C的上侧相邻样本A2和当前样本C的左上侧相邻样本A3之间的水平梯度来确定应用于当前样本C的上侧样本A2的第二权重wL(C)。在当前块1800的水平梯度值增加时，当前块1800中样本的水平一致性减小。因此，作为竖直权重的第二权重wL(C)可以增加。在等式5中，移位可以与等式1的移位相同，并且可以是用于补偿应用于当前样本C的相邻样本A1、A2和A3的权重的参数。另外，预测器1620和1720可以基于第一权重wL(C)、第二权重wA(C)和权重补偿参数移位来设置第三权重wAL(C)。
如等式3所示，当使用在对角线方向上与当前样本C相邻的多个对角线相邻样本A3和A8来对当前样本C进行预测时，预测器可以对对角线相邻样本A3和A8应用相同的权重。例如，可以将应用于在左上对角线方向上与当前样本C相邻的样本A3的权重wAL1和应用于在右上对象线方向上与当前样本C相邻的样本A8的权重wAL2设置为具有相同的值。
图21示出了应用到在水平方向上与当前样本相邻的样本的第一权重。
第一权重wA(C)可以与当前块1800中的、比当前样本C先预测且在水平方向上与当前样本C相邻的样本A1和当前块1800中的、比当前样本C先预测且在对角线方向上与当前样本C相邻的样本A3之间的差值成比例。
例如，如图18A所示，当从当前块1800的左上侧到右下侧执行预测时，预测器1620和1720可以基于当前样本C的左侧相邻样本A1和当前样本C的左上侧相邻样本A3获取竖直梯度，并基于所获取的竖直梯度获取应用于当前样本C的左侧相邻样本A1的第一权重wA(C)。随着当前块1800的竖直梯度增加，第一权重wA(C)可以增加。
当前块1800的竖直梯度可以根据当前块1800的预测方向而改变。具体地，当前块1800的竖直梯度可以通过使用当前块1800中的、比当前样本C先预测的样本来获取。例如，根据当前块1800的预测方向，竖直梯度可以是当前样本C的左侧相邻样本A1与左上侧相邻样本A3之间的差、左侧相邻样本A1与左下侧相邻样本A7之间的差、上侧相邻样本A2与下侧相邻样本A5之间的差、右侧相邻样本A4与右上侧相邻样本A8之间的差、或右侧相邻样本A4与右下侧相邻样本A6之间的差。
图22示出了应用到在竖直方向上与当前样本相邻的样本的第二权重。
第二权重wL(C)可以与当前块1800中的、比当前样本C先预测且在竖直方向上与当前样本C相邻的样本A2和当前块1800中的、比当前样本C先预测且在对角线方向上与当前样本相邻的样本A3之间的差值成比例。
例如，如图18A所示，当从当前块1800的左上侧到右下侧执行预测时，预测器1620和1720可以基于当前样本C的上侧相邻样本A2和当前块C的左上侧相邻样本A3获取水平梯度，并基于所获取的水平梯度获取应用于当前样本C的上侧相邻样本A2的第二权重wL(C)。随着当前块1800的水平梯度增加，第二权重wL(C)可以增加。
当前块1800的水平梯度可以根据当前块1800的预测方向而改变。具体地，当前块1800的水平梯度可以通过使用当前块1800中的、比当前样本C先预测的样本来获取。例如，根据当前块1800的预测方向，水平梯度可以是当前样本C的上侧相邻样本A2与左上侧相邻样本A3之间的差、上侧相邻样本A2与右上侧相邻样本A8之间的差、左侧相邻样本A1与右侧相邻样本A4之间的差、左下侧相邻样本A7与下侧相邻样本A5之间的差或下侧相邻样本A5与右下侧相邻样本A6之间的差。
图23示出了预测位于当前块的竖直边界处的样本的操作。
可以通过使用与当前块1800的竖直边界2310相邻的至少一个参考样本2320来预测位于当前块1800的竖直边界2310处的样本。具体地，可以通过使用通过对位于当前块1800外部并且在水平方向上与样本相邻的至少一个参考样本2320应用权重而获取的值来预测位于当前块1800的竖直边界2310处的样本。
例如，在当前样本C的左侧相邻样本A1(以下称为A1样本)位于当前块1800的左侧的竖直边界2310处时，可以通过使用通过对位于当前块1800外部并且在水平方向上与A1样本相邻的第一参考样本R1(以下称为R1样本)应用第四权重wA(A1)所获取的值和通过对当前样本C的上侧相邻样本A3(以下称为A3样本)应用第五权重wL(A1)所获取的值中的至少一个值来预测A1样本。
可以基于当前块1800的竖直梯度来获取第四权重wA(A1)。例如，第四权重wA(A1)可以与位于当前块1800外部并且与A1样本的左上侧相邻的第二参考样本R2(以下称为R2样本)和R1样本之间的差值成比例。
此外，可以基于当前块1800的水平梯度来获取第五权重wL(A1)。例如，第五权重wL(A1)可以与A3样本和R2样本之间的差值成比例。
此外，预测器1620和1720可以基于第四权重wA(A1)和第五权重wL(A1)来确定第六权重wAL(A1)，并且通过使用通过对R2样本应用第六权重wAL(A1)获取的值来预测A1样本。
图24示出了预测位于当前块的水平边界处的样本的操作。
可以通过使用与当前块1800的水平边界2420相邻的至少一个参考样本2410来预测位于当前块1800的水平边界2420处的样本。具体地，可以通过使用通过对位于当前块1800外部并且在竖直方向上与样本相邻的至少一个参考样本2410应用权重而获取的值来预测位于当前块1800的水平边界2420处的样本。
例如，在当前样本C的上侧相邻样本A2(以下称为A2样本)位于当前块1800的上侧的水平边界2420处时，可以通过使用通过对位于当前块1800外部并且在竖直方向上与A2样本相邻的第一参考样本R1(以下称为R1样本)应用第四权重wA(A2)所获取的值和通过对当前样本C的左侧相邻样本A3(以下称为A3样本)应用第五权重wL(A2)所获取的值中的至少一个值来预测A2样本。
可以基于当前块1800的竖直梯度来获取第四权重wA(A2)。例如，第四权重wA(A2)可以与位于当前块1800外部并且与A2样本的左上侧相邻的第二参考样本R2(以下称为R2样本)和R1样本之间的差值成比例。
此外，可以基于当前块1800的水平梯度来获取第五权重wL(A2)。例如，第五权重wL(A2)可以与R1样本和R2样本之间的差值成比例。
此外，预测器1620和1720可以基于第四权重wA(A2)和第五权重wL(A2)来确定第六权重wAL(A2)，并且通过使用通过对R2样本应用第六权重wAL(A2)获取的值来预测A2样本。
图25示出了预测位于当前块的拐角处的样本的操作。
可以通过使用与当前块1800的水平边界2420或竖直边界2310相邻的至少一个参考样本2510来预测位于当前块1800的拐角处的样本。具体地，可以通过使用通过对位于当前块1800外部并且在竖直方向或水平方向上与样本相邻的至少一个参考样本2510应用权重而获取的值来预测位于当前块1800的拐角处的样本。
例如，在当前样本C的左上侧相邻样本A3(以下称为A3样本)位于在当前块1800的上侧的水平边界2420和在当前块1800的左侧的竖直边界2310彼此交叉的拐角处时，可以通过使用通过对位于当前块1800外部并且在水平方向上与A3样本相邻的第一参考样本R1(以下称为R1样本)应用第四权重wA(A3)所获取的值和通过对位于当前块1800外部并且在竖直方向上与A3样本相邻的第二参考样本R2(以下称为R2样本)应用第五权重wL(A3)所获取的值中的至少一个值来预测A3样本。
可以基于当前块1800的竖直梯度来获取第四权重wA(A3)。例如，第四权重wA(A3)可以与位于当前块1800外部并且与A3样本的左上侧相邻的第三参考样本R3(以下称为R3样本)和R1样本之间的差值成比例。
此外，可以基于当前块1800的水平梯度来获取第五权重wL(A3)。例如，第五权重wL(A3)可以与R1样本和R3样本之间的差值成比例。
此外，预测器1620和1720可以基于第四权重wA(A3)和第五权重wL(A3)来确定第六权重wAL(A3)，并且通过使用通过对R3样本应用第六权重wAL(A)获取的值来预测A3样本。
图26示出了执行参考样本填充的操作。
如上参考图18A所述，如果参考样本不可用，则预测器1620和1720可以执行参考样本填充。例如，如果与在当前块1800的上侧的水平边界2420和在当前块1800的左侧的竖直边界2310彼此相交的拐角相邻的参考样本R3(以下称为R3参考样本)不可用，则可以用最接近R3参考样本的R1参考样本和R2参考样本的平均值填充R3参考样本。
图27是可以基于已经预测的相邻样本执行逐样本预测的视频编码方法的流程图。
在操作2710中，视频编码方法2700将图像分割成至少一个块。术语“块”可以指从将被编码或解码的图像分割出的最大编码单元、编码单元、变换单元或预测单元。块的类型可以是正方形、矩形或任何几何形状。块不限于具有恒定尺寸的数据单元。操作2710可以由视频编码设备1600的分割器1610执行。
在操作2720中，视频编码方法2700通过使用从图像分割出的当前块中的、比当前样本先预测的至少一个样本获取当前样本的预测值。具体地，可以通过使用通过将第一权重应用于当前块中的、比当前样本先预测并且在水平方向上与当前样本相邻的第一样本而获取的值和通过将第二权重应用于比当前样本先预测并且在竖直方向上与当前样本相邻的第二样本而获取的值中的至少一个值来对当前样本进行预测。操作2720可以由视频编码设备1600的预测器1620执行。
在操作2730中，视频编码方法2700对当前样本的残差值进行编码。具体地，视频编码方法2700可以获取当前样本的原始值和在操作2730中获取的当前样本的预测值之间的残差值，对当前样本的残差值进行变换，对变换的残差值进行熵编码，并在比特流中输出熵编码的残差值。操作2730可以由视频编码设备1600的编码器1630执行。
图28是可以基于已经预测的相邻样本执行逐样本预测的视频解码方法的流程图。
在操作2810中，视频解码方法2800将图像分割成至少一个块。术语“块”可以指从将被编码或解码的图像分割出的最大编码单元、编码单元、变换单元或预测单元。块的类型可以是正方形、矩形或任何几何形状。块不限于具有恒定尺寸的数据单元。操作2810可以由视频解码设备1700的分割器1710执行。
在操作2820中，视频解码方法2800通过使用从图像分割出的当前块中的、比当前样本先预测的至少一个样本获取当前样本的预测值。具体地，可以通过使用通过将第一权重应用于当前块中的、比当前样本先预测并且在水平方向上与当前样本相邻的第一样本而获取的值和通过将第二权重应用于比当前样本先预测并且在竖直方向上与当前样本相邻的第二样本而获取的值中的至少一个值来对当前样本进行预测。操作2820可以由视频解码设备1700的预测器1720执行。
在操作2830中，视频解码方法2800对图像进行解码。具体地，视频解码方法可以通过使用从比特流获取的当前样本的残差值和在操作2820中获取的当前样本的预测值来重建图像。操作2830可以由视频解码设备1700的解码器1730执行。
图29示出了可以基于已经重建的样本执行逐样本预测的视频编码设备的框图。
视频编码设备2900可以包括分割器2910、候选选择器2920、预测器2930和编码器2940。视频编码设备2900可以包括整体控制分割器2910、候选选择器2920、预测器2930和编码器2940的中央处理器(未示出)。或者，分割器2910、候选选择器2920、预测器2930和编码器2940可以由彼此交互配合的相应处理器(未示出)来驱动，以整体控制视频编码设备2900。或者，分割器2910、候选选择器2920、预测器2930和编码器2940可以在设置在视频编码设备2900外部的外部处理器(未示出)的控制下被控制。
视频编码设备2900可以包括存储分割器2910、候选选择器2920、预测器2930和编码器2940的输入和输出数据的一个或多个数据存储器(未示出)。视频编码设备2900可以包括管理数据存储器(未示出)的数据输入和输出的存储控制器(未示出)。
为了输出视频编码的结果，视频编码设备2900可以根据内部视频编码处理器或外部视频编码处理器操作，从而执行包括预测的视频编码操作。视频编码设备2900的内部视频编码处理器可以是用于执行视频编码操作的独立处理器。此外，视频编码设备2900、中央处理器或图形处理器可以包括执行基本视频编码操作的视频编码处理模块。
视频编码设备2900可以包括在图1的视频编码设备100中。具体地，分割器2910可以包括在最大编码单元分割器110和编码单元确定器120中，候选选择器2920和预测器2930可以包括在帧内预测器420中，并且编码器2940可以包括在变换器425、量化器430和熵编码器435中。因此，将省略以上参考图1和图4提供的描述。
分割器2910将图像分割成至少一个块。术语“块”可以指从将被编码或解码的图像分割出的最大编码单元、编码单元、变换单元或预测单元。
块的类型可以是正方形、矩形或任何几何形状。块不限于具有恒定尺寸的数据单元。
候选选择器2920从当前块中选择与当前样本相邻的至少一个相邻样本。此外，候选选择器2920可以从包括在比当前块先重建的至少一个先前块中的多个候选样本中选择与具有与当前样本的相邻样本最接近的值的候选相邻样本相邻的第一候选样本。
预测器2930通过使用由候选选择器2920选择的第一候选样本来获取当前样本的预测值。具体地，预测器2930可以通过使用包括在比当前块先重建的先前块中的第一候选样本的重建值来获取当前样本的预测值。
编码器2940对当前样本的残差值进行编码。具体地，编码器2940可以获取当前样本的原始值与由预测器2930获取的当前样本的预测值之间的残差值，对当前样本的残差值进行变换，对变换的残差值进行熵编码，以及在比特流中输出熵编码的残差值。
图30示出了可以基于已经重建的样本执行逐样本预测的视频解码设备的框图。
视频解码设备3000可以包括分割器3010、候选选择器3020、预测器3030和解码器3040。视频解码设备3000可以包括整体控制分割器3010、候选选择器3020、预测器3030和解码器3040的中央处理器(未示出)。或者，分割器3010、候选选择器3020、预测器3030和解码器3040可以由彼此交互配合的相应处理器(未示出)来驱动，以整体控制视频解码设备3000。或者，分割器3010、候选选择器3020、预测器3030和解码器3040可以在设置在视频解码设备3000外部的外部处理器(未示出)的控制下被控制。
视频解码设备3000可以包括存储分割器3010、候选选择器3020、预测器3030和解码器3040的输入和输出数据的一个或多个数据存储器(未示出)。视频解码设备3000可以包括管理数据存储器(未示出)的数据输入和输出的存储控制器(未示出)。
为了输出视频解码的结果，视频解码设备3000可以根据内部视频编码处理器或外部视频编码处理器操作，以执行包括预测的视频解码操作。视频解码设备3000的内部视频解码处理器可以是用于执行视频解码操作的独立处理器。此外，视频解码设备3000、中央处理器或图形处理器可以包括执行基本视频解码操作的视频解码处理模块。
视频解码设备3000可以包括在图2的视频解码设备200中。具体地，分割器3010可以包括在接收器210中，并且预测器3030、候选选择器3020和解码器3040可以包括在图像数据解码器230中。因此，将省略以上参考图2提供的描述。
分割器3010将图像分割成至少一个块。术语“块”可以指从将被编码或解码的图像分割出的最大编码单元、编码单元、变换单元或预测单元。
块的类型可以是正方形、矩形或任何几何形状。块不限于具有恒定尺寸的数据单元。
候选选择器3020从当前块中选择与当前样本相邻的至少一个相邻样本。此外，候选选择器3020可以从包括在比当前块先重建的至少一个先前块中的多个候选样本中选择与具有与当前样本的相邻样本最接近的值的候选相邻样本相邻的第一候选样本。
预测器3030通过使用由候选选择器3020选择的第一候选样本来获取当前样本的预测值。具体地，预测器3030可以通过使用包括在比当前块先重建的先前块中的第一候选样本的重建值来获取当前样本的预测值。
解码器3040对图像进行解码。具体地，解码器3040可以通过使用从比特流获取的当前样本的残差值与由预测器3030获取的当前样本的预测值来重建图像。
图31示出了基于已经重建的样本来对当前样本进行预测的逐样本预测的操作。
候选选择器2920和3020可以选择比从图像分割出的当前块3100中的当前样本C先预测并与当前样本C相邻的至少一个相邻样本A。
与当前样本C相邻的样本中的、用于对当前样本C进行预测的至少一个相邻样本可以根据当前块3100的预测方向而改变。例如，当在尺寸为8×8的当前块3100中从最上行(i＝0)到最下行(i＝7)顺序执行水平预测3110时，可以选择当前样本C的相邻样本中的当前样本C的左侧相邻样本A作为用于选择当前样本C的样本。
候选选择器2920和3020可以从包括在比当前块3100先重建的至少一个先前块3120、3130和3140中的候选样本C1、C2和C3中选择与候选相邻样本C1A相邻的第一候选样本C1，其中，候选相邻样本C1A具有最接近于相邻样本A的值。
在编码设备2900中，当前样本C的候选样本C1、C2和C3可以包括包含在比当前块3100先重建的至少一个先前块3120、3130和3140中的所有样本。此外，在编码设备2900中，当前样本C的候选样本C1、C2和C3可以包括包含在比当前块3100先重建的至少一个先前块3120、3130和3140中的样本中的、与当前样本C相距预定距离内的样本。可以基于当前块3100的尺寸和当前块3100在图像中的位置来设置该距离。例如，随着当前块3100的尺寸增加，距离可以增加。当图像中的当前块3100的解码顺序晚于其它块时，距离可以增加。
编码设备2900的候选选择器2920可以基于候选样本C1、C2和C3与当前样本C之间的代价(Cost)从候选样本C1、C2和C3中选择第一候选样本C1。具体地，编码设备2900的候选选择器2920可以计算候选样本C1、C2和C3与当前样本C之间的代价，并且从候选样本C1、C2和C3中选择相对于当前样本C具有最小代价的第一候选样本C1。一个候选样本(候选样本C1、C2和C3中的一个候选样本)与当前样本C之间的代价可以表示候选样本与当前样本之间的差异性的数值索引。因此，编码设备2900的预测器2930可以通过使用相对于当前样本具有最低代价并且在候选样本C1、C2和C3中与当前样本C最相似的第一候选样本C1来对当前样本C进行预测。
例如，可以基于与第一候选样本C1相邻的至少一个候选相邻样本C1A和与当前样本相邻的至少一个相邻样本A之间的差来获取第一候选样本C1和当前样本C之间的代价。随着第一候选样本C1的候选相邻样本C1A和当前样本C的相邻样本A之间的差变小，第一候选样本C1可以与当前样本C相似。因此，第一候选样本C1和当前样本C之间的代价可以降低。
此外，可以基于当前样本C和第一候选样本C1之间的距离，候选相邻样本C1A与候选样本C1相邻的方向和相邻样本A与当前样本C相邻的方向来校正第一候选样本C1和当前样本C之间的代价。具体地，随着第一候选样本C1和当前样本C之间的差变小，第一候选样本C1可以与当前样本C相似。因此，第一候选样本C1和当前样本C之间的代价可以降低。另一方面，随着第一候选样本C1和当前样本C之间的差变大，第一候选样本C1可以与当前样本C不同。因此，第一候选样本C1和当前样本C之间的代价可以增加。此外，如果候选相邻样本C1A与第一候选样本C1相邻的方向跟相邻样本A与当前样本C相邻的方向匹配，则第一候选样本C1可以与当前样本C相似。因此，第一候选样本C1和当前样本C之间的代价可以降低。另一方面，如果候选相邻样本C1A与第一候选样本C1相邻的方向跟相邻样本A与当前样本C相邻的方向不匹配，则第一候选样本C1可以与当前样本C不同。因此，第一候选样本C1和当前样本C之间的代价可以增加。
例如，可以基于以下等式6获取一个候选样本和当前样本之间的代价：
Cost＝w1×||pTemplateCand[y]-pTemplate[x]||+w4·distance2
+orientation penalty；
Minimum Cost→Pred[ip，jp]＝Candidate[ic，jc]；
||pTemplateCand[y]-pTemplate[x]||＝abs(pTemplateCand[y]-pTemplate[x])
distance2＝(ip-ic)2+(jp-jc)2
等式6
在等式6中，pTemplateCand[y]可以表示与位于图像中的第ic行和jc列处的候选样本Candidate[ic，jc]相邻的候选相邻样本。与候选样本一样，候选相邻样本可以包括在比当前块3100先解码的至少一个先前块3120、3130和3140中。候选相邻样本pTemplateCand[y]的索引y可以表示候选相邻样本与候选样本相邻的方向。例如，当y＝1时，候选相邻样本可以与候选样本的左侧相邻，当y＝2时，候选相邻样本可以与候选样本的上侧相邻，并且当y＝3时，候选相邻样本可以与候选样本的左上侧相邻。例如，如图31所示，C1候选样本的左候选相邻样本C1A的y索引可以是1，C2候选样本的上候选相邻样本C2A的y索引可以是1，并且C3候选样本的左上候选相邻样本C3A的y索引可以是2。
在等式6中，pTemplate[x]可以表示与位于图像中的第ip行和第jp列的当前样本Pred[ip，jp]相邻的候选样本。相邻样本pTemplate[x]的索引x可以表示相邻样本与当前样本相邻的方向。例如，当x＝1时，相邻样本可以与当前样本的左侧相邻，当x＝2时，相邻样本可以与当前样本的上侧相邻，并且当x＝3时，相邻样本可以与当前样本的左上侧相邻。例如，如图31所示，当前样本C的左侧相邻样本A的x索引可以是1。
为了减少解码设备3000的计算量，编码设备2900可以将与候选样本有关的信息发送到解码设备3000。
例如，编码设备2900可以对表明包括在至少一个先前块3120、3130和3140中的样本中的相对于当前样本C具有最小代价的第一候选样本C1的信息进行编码，并将编码信息发送到解码设备3000。当编码设备2900将表明第一候选样本C1的信息发送到解码设备3000时，解码设备3000的候选选择器3020可以基于所接收的信息从候选样本C1、C2和C3中选择第一候选样本C1，而不计算候选样本C1、C2和C3相对于当前样本C的代价。此外，解码设备3000的预测器3030可以通过使用第一候选样本C1的重建值来获取当前样本C的预测值。
在另一示例中，编码设备2900可以对表明包括在至少一个先前块3120、3130和3140中的样本中相对于当前样本C具有与阈值相等或小于阈值的代价的候选样本C1、C2和C3的候选样本列表进行编码，并将编码的候选样本列表发送到解码设备3000。当编码设备2900将候选样本列表发送到解码设备3000时，解码设备3000的候选选择器3020可以从包括在候选样本列表中的候选样本C1、C2和C3中选择第一候选样本。具体地，解码设备3000的候选选择器3020可以从包括在候选样本列表中的候选样本C1、C2和C3中选择相对于当前样本C具有最小代价的第一候选样本C1。此外，解码设备3000的预测器3030可以通过使用所选择的第一候选样本C1的重建值来对当前样本C进行预测。
在另一示例中，编码设备2900可以对用于从包括在至少一个先前块3120、3130和3140中的样本中选择与当前样本C相距预定距离内的候选样本C1、C2和C3的预定距离进行编码，并将编码的预定距离发送到解码设备3000。当编码设备2900将预定距离发送到解码设备3000时，解码设备3000的候选选择器3020可以基于所接收的预定距离选择包括在至少一个先前块3120、3130和3140中的候选样本C1、C2和C3。此外，解码设备3000的候选选择器3020可以从与当前样本C相距预定距离内的候选样本C1、C2和C3中选择相对于当前样本C具有最小代价的第一候选样本C1。此外，解码设备3000的预测器3030可以通过使用所选择的第一候选样本C1的重建值来对当前样本C进行预测。
当基于当前块3100的尺寸确定用于从包括在至少一个先前块3120、3130和3140中的样本中选择与当前样本C相距预定距离内的候选样本C1、C2和C3的预定距离时，解码设备3000的候选选择器3020可以基于从比特流获取的当前块3100的尺寸信息或当前块3100的分割信息来选择候选样本C1、C2和C3。具体地，解码设备3000的候选选择器3020可以基于从比特流获取的当前块3100的尺寸信息或当前块3100的分割信息获取预定距离。此外，解码设备3000的候选选择器3020可以从与当前样本C相距预定距离内的候选样本C1、C2和C3中选择相对于当前样本C具有最小代价的第一候选样本C1。此外，解码设备3000的预测器3030可以通过使用所选择的第一候选样本C1的重建值来对当前样本C进行预测。
如果基于相同块中已经预测的样本来对当前样本进行预测，则编码和解码设备以及编码和解码方法可以根据当前样本的位置执行自适应预测，并且可以改善编码和解码性能。
图32示出了可用于对当前样本进行预测的相邻样本。
如上所述，为了从候选样本中选择第一候选样本，可以从当前样本C的相邻样本A1、A2、A3、A4、A5、A6、A7和A8中选择至少一个相邻样本。当前样本C的相邻样本A1、A2、A3、A4、A5、A6、A7和A8可以包括最接近当前样本C的样本，诸如在水平方向上与当前样本C相邻的样本A1和A4以及在竖直方向上与当前样本C相邻的样本A2和A5。此外，当前样本C的相邻样本可以包括在对角线方向上与当前样本C相邻的样本，例如与当前样本C的左上侧相邻的样本A3、与当前样本C的右下侧相邻的样本A6、与当前样本C的左下侧相邻的样本A7以及与当前样本C的右上侧相邻的样本A8。
候选选择器2920和3020可以从当前块3200中的当前样本C的相邻样本A1、A2、A3、A4、A5、A6、A7和A8以及当前块3200外部的当前块3200的参考样本3250中确定用于对当前样本C进行预测的至少一个样本。例如，如图32所示，在尺寸为4×4的当前块3200中的当前样本C不位于当前块3200的边界时，候选选择器2920和3020可以从位于当前块3200中的左侧相邻样本A1、上侧相邻样本A2、左上侧相邻样本A3、右侧相邻样本A4、下侧相邻样本A5、右下侧相邻样本A6、左下侧相邻样本A7和右上侧相邻样本A8中确定用于对当前样本C进行预测的至少一个相邻样本。在另一示例中，在当前样本C类似于样本A3位于当前块3200的边界时，候选选择器2920和3020可以从当前块3200的参考样本3250中确定用于对当前样本C进行预测的至少一个相邻样本。候选选择器2920和3020可以基于当前块3200中的预测顺序从当前样本C的相邻样本A1、A2、A3、A4、A5、A6、A7和A8中确定用于对当前样本C进行预测的至少一个相邻样本。由于可以通过使用预测顺序在当前样本C的预测顺序之前的样本来对当前样本C进行预测，所以可用于对当前样本进行预测的相邻样本可以根据当前块中的预测顺序而改变。
例如，当在尺寸为4×4的当前块3200中从最上行(i＝0)到最下行(i＝3)顺序地执行水平预测3210时，当前样本C的左侧相邻样本A1、上侧相邻样本A2、左上侧相邻样本A3和右上侧相邻样本A8中的至少一个相邻样本可以用于对当前样本C进行预测。
在另一示例中，当在尺寸为4×4的当前块3200中从最左列(j＝0)到最右列(j＝3)顺序地执行竖直预测3220时，当前样本C的左侧相邻样本A1、上侧相邻样本A2、左上侧相邻样本A3和左下侧相邻样本A7中的至少一个相邻样本可以用于对当前样本C进行预测。
在另一示例中，当在尺寸为4×4的当前块3230中从最左上侧样本A3到最右下样本E顺序执行左下对角线预测1930时，当前样本C的左侧相邻样本A1、上侧相邻样本A2、左上侧相邻样本A3和右上侧相邻样本A8中的至少一个相邻样本可以用于对当前样本C进行预测。
在另一示例中，当在尺寸为4×4的当前块3240中从最右下样本S到最左上侧样本A3顺序地执行右上对角线预测1930时，当前样本C的右侧相邻样本A4、下侧相邻样本A5、右下侧相邻样本A6和左下侧相邻样本A7中的至少一个相邻样本可以用于对当前样本C进行预测。
当前块3200的预测方向不限于图19的水平预测1910、竖直预测1920、左下对角线预测1930和右上对角线预测1940。用于对当前样本C进行预测的样本可以基于当前块3200中的当前样本C的位置和当前块3200的预测方向而改变。
图33示出了与当前样本相距预定距离内的候选样本。
候选选择器2920和3020可以从包括在比从图像分割出的当前块3300先解码的至少一个先前块3310、3320和3330中的样本中选择与当前样本C相距特定距离d1内的候选样本。例如，包括在围绕当前样本C且具有与特定距离d1相对应的半径的圆3340中的样本可以是候选样本。
可以基于当前块3300的尺寸和图像中当前块3300的解码顺序来确定用于从图像中的样本中限定候选样本的特定距离d1。例如，随着当前块3300的尺寸增加，需要更多的候选样本。因此，距离d1可以增加。在另一示例中，在当前块3300的解码顺序较晚时，可以参考的样本增加。因此，距离d1可以增加。
图34示出了基于当前样本和候选样本之间的距离来校正代价的操作。
候选选择器2920和3020可以基于与当前样本C相邻的相邻样本A和与候选样本C1、C2和C3相邻的候选相邻样本C1A、C2A和C3A中的每一个候选相邻样本之间的差值，从候选样本C1、C2和C3中选择用于对当前样本C进行预测的第一候选样本C1。
具体地，候选选择器2920和3020可以获取候选相邻样本C1A、C2A和C3A与相邻样本A之间的代价，并且基于候选样本C1、C2和C3与当前样本C之间的距离来校正代价。候选选择器2920和3020可以从候选样本C1、C2和C3中选择具有校正的最小代价的第一候选样本C1。
例如，随着候选样本C1、C2和C3与当前样本C之间的距离减小，候选样本(候选样本C1、C2和C3中的一个候选样本)与当前样本C之间的代价可以降低。另一方面，随着候选样本(候选样本C1、C2和C3中的一个候选样本)与当前样本C之间的距离增加，候选样本(候选样本C1、C2和C3中的一个候选样本)与当前样本C之间的代价可以增加。
如图31所示，在当前样本C和第三候选样本C3之间的距离dc3大于当前样本C与第一候选样本C1之间的距离dc1并且小于当前样本C与第二候选样本C2之间的距离dc2时，当前样本C与候选样本C3之间的代价增加量可大于当前样本C1与候选样本C1之间的代价增加量，并且小于当前样本C与候选样本C2之间的代价增加量。
图35示出了基于候选相邻样本与候选样本相邻的方向来校正代价的操作。
候选选择器2920和3020可以基于与当前样本相邻的相邻样本A和与候选样本C1、C2和C3相邻的候选相邻样本中的每一个候选相邻样本之间的差值、当前样本C与相邻样本A相邻的方向以及候选样本C1、C2和C3与候选相邻样本C1A、C2A和C3A相邻的方向，从候选样本C1、C2和C3中选择用于对当前样本C进行预测的第一候选样本C1。
具体地，候选选择器2920和3020可以获取候选相邻样本C1A、C2A和C3A与相邻样本A之间的代价，并且基于候选相邻样本C1A、C2A和C3A与候选样本C1、C2和C3相邻的方向以及相邻样本A与当前样本C相邻的方向来校正代价。
例如，如果候选相邻样本C1A与候选样本C1相邻的方向和相邻样本A与当前样本C相邻的方向匹配，则第一候选样本C1与当前样本C之间的代价可以减少α。另一方面，如果候选相邻样本C2A和C3A与候选样本C2和C3相邻的方向和相邻样本A与当前样本C相邻的方向不匹配，则候选样本C2和C3与当前样本C之间的代价可以增加α。
图36示出了基于多个已经重建的样本来对当前样本进行预测的逐样本预测的操作。
候选选择器2920和3020可以选择比从图像分割出的当前块3600中的当前样本C先预测且与当前样本C相邻的多个相邻样本A1和A2。
候选选择器2920和3020可以从包括在比当前块3600先重建的至少一个先前块3620、3630和3640中的候选样本C1、C2和C3中选择与具有最接近于多个相邻样本A1和A2的值的多个候选相邻样本C1A1和C1A2相邻的第一候选样本C1。
编码设备2900的候选选择器2920可以基于候选样本C1、C2和C3与当前样本C之间的代价从候选样本C1、C2和C3中选择第一候选样本C1。具体地，编码设备2900的候选选择器2920可以计算候选样本C1、C2和C3与当前样本C之间的代价，并且从候选样本C1、C2和C3中选择相对于当前样本C具有最小代价的第一候选样本C1。例如，可以基于以下等式7获取一个候选样本和当前样本之间的代价：
Cost＝w1×||pTemplateCand[y1]-pTemplate[x1]||+
w2×||pTemplateCand[y2]-pTemplate[x2]||+
w4·distance2+orientation penalty；
Minimum Cost→Pred[ip，jp]＝Candidate[ic，jc]；
||pTemplateCand[y]-pTemplate[x]||＝abs(pTemplateCand[y]-pTemplate[x])
distance2＝(ip-ic)2+(jp-jc)2
等式7
具体地，候选选择器2920和3020可以通过使用通过将权重w1应用于C1A1候选相邻样本与A1相邻样本之间的差而获取的值以及通过将权重w2应用于C1A2候选相邻样本与A2相邻样本之间的差而获取的值来获取当前样本C和C1候选样本之间的代价。候选选择器2920和3020可以基于C1候选样本与当前样本C之间的距离来校正C1候选样本与当前样本C之间的代价。候选选择器2920和3020可以基于C1A1候选相邻样本与C1候选样本相邻的方向、C1A2候选相邻样本与C1候选样本相邻的方向、A1相邻样本与当前样本C相邻的方向、以及A2相邻样本与当前样本C相邻的方向来校正C1候选样本与当前样本C之间的代价。
候选选择器2920和3020可以通过使用通过将权重w1应用于C2A4候选相邻样本与A1相邻样本之间的差而获取的值以及通过将权重w2应用于C2A5候选相邻样本与A2相邻样本之间的差而获取的值来获取当前样本C和C2候选样本之间的代价。候选选择器2920和3020可以基于C2候选样本与当前样本C之间的距离来校正C2候选样本与当前样本C之间的代价。候选选择器2920和3020可以基于C2A4候选相邻样本与C2候选样本相邻的方向、C2A5候选相邻样本与C2候选样本相邻的方向、A1相邻样本与当前样本C相邻的方向、以及A2相邻样本与当前样本C相邻的方向来校正C2候选样本与当前样本C之间的代价。
候选选择器2920和3020可以通过使用通过将权重w1应用于C3A1候选相邻样本与A1相邻样本之间的差而获取的值以及通过将权重w2应用于C3A3候选相邻样本与A2相邻样本之间的差而获取的值来获取当前样本C和C3候选样本之间的代价。候选选择器2920和3020可以基于C3候选样本与当前样本C之间的距离来校正C3候选样本与当前样本C之间的代价。候选选择器2920和3020可以基于C3A1候选相邻样本与C3候选样本相邻的方向、C3A3候选相邻样本与C3候选样本相邻的方向、A1相邻样本与当前样本C相邻的方向、以及A2相邻样本与当前样本C相邻的方向来校正C3候选样本和当前样本C之间的代价。
如上参考图21所述，用于在水平方向上与当前样本相邻的A1相邻样本的权重w1可以与当前块3600的竖直梯度成比例。如上参考图21所述，用于当前样本的左侧相邻样本A的权重w1可以与当前块3600的竖直梯度成比例。此外，如上参考图22所述，用于在竖直方向上与当前样本相邻的A2相邻样本的权重w2可以与当前块3600的水平梯度成比例。此外，权重w1和权重w2可以被预设为具有相同的值。
候选选择器2920和3020可以从候选样本C1、C2和C3中选择相对于当前样本具有最小代价的第一候选样本C1，并且通过使用第一候选样本C1的重建值来获取当前样本C的预测值。
图37示出了基于多个候选相邻样本与候选样本相邻的方向来校正代价的操作。
候选选择器2920和3020可以基于C1A1候选相邻样本和C1A2候选相邻样本与C1候选样本相邻的方向以及A1相邻样本和A2相邻样本与当前样本C相邻的方向来校正C1候选样本与当前样本C之间的代价。
候选选择器2920和3020可以基于C2A4候选相邻样本和C2A5候选相邻样本与C2候选样本相邻的方向以及A1相邻样本和A2相邻样本与当前样本C相邻的方向来校正C2候选样本与当前样本C之间的代价。
候选选择器2920和3020可以基于C3A1候选相邻样本和C3A3候选相邻样本与C3候选样本相邻的方向以及A1相邻样本和A2相邻样本与当前样本C相邻的方向来校正C3候选样本与当前样本C之间的代价。
例如，基于n个候选相邻样本与候选样本相邻的方向校正的代价可以在-n*α到+n*α的范围内。具体地，如果n个候选相邻样本与候选样本相邻的方向跟相邻样本与当前样本相邻的方向相匹配，那么代价的校正值可以是-n*α。另一方面，如果n个候选相邻样本与候选样本相邻的方向跟相邻样本与当前样本相邻的方向不匹配，则代价的校正值可以是+n*α。
例如，由于C1A2候选相邻样本和C1A2候选相邻样本与C1候选样本相邻的方向跟A1相邻样本和A2相邻样本与当前样本C相邻的方向匹配，所以C1候选样本与当前样本C之间的代价的校正值可以是-2*α。
此外，由于C2A4候选相邻样本和C2A5候选相邻样本与C2候选样本相邻的方向跟A1相邻样本和A2相邻样本与当前样本C相邻的方向匹配，所以C2候选样本与当前样本C之间的代价的校正值可以是+2*α。
此外，由于C3A1候选相邻样本与C3候选样本相邻的方向跟A1相邻样本与当前样本C相邻的方向匹配，但C3A3候选相邻样本与C3候选样本相邻的方向跟A2相邻样本与当前样本C相邻的方向不匹配，所以C3候选样本与当前样本C之间的代价的校正值可以是α-α＝0。
图38示出了基于多个已经重建的样本来对当前样本进行预测的逐样本预测的另一操作。
候选选择器2920和3020可以选择比从图像分割出的当前块3800中的当前样本C先预测且与当前样本C相邻的多个相邻样本A1、A2和A3。
候选选择器2920和3020可以从包括在比当前块3800先重建的至少一个先前块3820、3830和3840中的候选样本C1、C2和C3中选择与具有最接近于多个相邻样本A1、A2和A3的值的多个候选相邻样本C1A1、C1A2和C1A3相邻的第一候选样本C1。
编码设备2900的候选选择器2920可以基于候选样本C1、C2和C3与当前样本C之间的代价从候选样本C1、C2和C3中选择第一候选样本C1。具体地，编码设备2900的候选选择器2920可以计算候选样本C1、C2和C3与当前样本C之间的代价，并且从候选样本C1、C2和C3中选择相对于当前样本C具有最小代价的第一候选样本C1。例如，可以基于以下等式8获取一个候选样本与当前样本之间的代价：
Cost＝w1×||pTemplateCand[y1]-pTemplate[x1]||+
w2×||pTemplateCand[y2]-pTemplate[x2]||+
w3×||pTemplateCand[y3]-pTemplate[x3]||+
w4·distance2+orientation penalty；
Mininum Cost→Pred[ip，jp]＝Candidate[ic，jc]；
||pTemplateCand[y]-pTemplate[x]||＝abs(pTemplateCand[y]-pTemplate[x])
distance2＝(ip-ic)2+(jp-jc)2
等式8
具体地，候选选择器2920和3020可以通过使用通过将权重w1应用于C1A1候选相邻样本与A1相邻样本之间的差而获取的值、通过将权重w2应用于C1A2候选相邻样本与A2相邻样本之间的差而获取的值以及通过将权重w3应用于C1A3候选相邻样本与A3相邻样本之间的差而获取的值来获取当前样本C与C1候选样本之间的代价。候选选择器2920和3020可以基于C1候选样本和当前样本C之间的距离来校正C1候选样本和当前样本C之间的代价。候选选择器2920和3020可以基于C1A1候选相邻样本与C1候选样本相邻的方向，C1A2候选相邻样本、C1A2候选相邻样本和C1A3候选相邻样本与C1候选样本相邻的方向以及A1相邻样本、A2相邻样本和A3相邻样本与当前样本C相邻的方向来校正C1候选样本与当前样本C之间的代价。
候选选择器2920和3020可以通过使用通过将权重w1应用于C2A4候选相邻样本与A1相邻样本之间的差而获取的值、通过将权重w2应用于C2A5候选相邻样本与A2相邻样本之间的差而获取的值以及通过将权重w3应用于C2A6候选相邻样本与A3相邻样本之间的差而获取的值来获取当前样本C与C2候选样本之间的代价。候选选择器2920和3020可以基于C2候选样本与当前样本C之间的距离来校正C2候选样本和当前样本C之间的代价。候选选择器2920和3020可以基于C2A4候选相邻样本、C2A5候选相邻样本和C2A6候选相邻样本与C2候选样本相邻的方向以及A1相邻样本、A2相邻样本和A3相邻样本与当前样本C相邻的方向来校正C2候选样本与当前样本C之间的代价。
候选选择器2920和3020可以通过使用通过将权重w1应用于C3A4候选相邻样本与A1相邻样本之间的差而获取的值、通过将权重w2应用于C3A2候选相邻样本与A2相邻样本之间的差而获取的值以及通过将权重w3应用于C3A8候选相邻样本与A3相邻样本之间的差而获取的值来获取当前样本C与C3候选样本之间的代价。候选选择器2920和3020可以基于C3候选样本与当前样本C之间的距离来校正C3候选样本与当前样本C之间的代价。候选选择器2920和3020可以基于C3A2候选相邻样本、C3A4候选相邻样本和C3A8候选相邻样本与C3候选样本相邻的方向以及A1相邻样本、A2相邻样本和A3相邻样本与当前样本C相邻的方向来校正C3候选样本与当前样本C之间的代价。
如上参考图21所述，用于在水平方向上与当前样本相邻的A1相邻样本的权重w1可以与当前块3800的竖直梯度成比例。如上参考图21所述，用于当前样本的左侧相邻样本A的权重w1可以与当前块3800的竖直梯度成比例。此外，如上参考图22所述，用于在竖直方向上与当前样本相邻的A2相邻样本的权重w2可以与当前块3800的水平梯度成比例。此外，权重w1和权重w2可以被预设为具有相同的值。此外，可以基于权重w1和权重w2来设置权重w3。
候选选择器2920和3020可以从候选样本C1、C2和C3中选择相对于当前样本具有最小代价的第一候选样本C1，并且通过使用第一候选样本C1的重建值来获取当前样本C的预测值。
图39示出了基于多个候选相邻样本与候选样本相邻的方向来校正代价的操作。
候选选择器2920和3020可以基于C1A1候选相邻样本、C1A2候选相邻样本和C1A3候选相邻样本与C1候选样本相邻的方向以及A1相邻样本、A2相邻样本和A3相邻样本与当前样本C相邻的方向来校正C1候选样本与当前样本C之间的代价。
候选选择器2920和3020可以基于C2A4候选相邻样本、C2A5候选相邻样本和C2A6候选相邻样本与C2候选样本相邻的方向以及A1相邻样本、A2相邻样本和A3相邻样本与当前样本C相邻的方向来校正C2候选样本与当前样本C之间的代价。
候选选择器2920和3020可以基于C3A2候选相邻样本、C3A4候选相邻样本和C3A8候选相邻样本与C3候选样本相邻的方向以及A1相邻样本、A2相邻样本和A3相邻样本与当前样本C相邻的方向来校正C3候选样本与当前样本C之间的代价。
例如，基于n个候选相邻样本与候选样本相邻的方向校正的代价可以在-n*α到+n*α的范围内。具体地，如果n个候选相邻样本与候选样本相邻的方向跟相邻样本与当前样本相邻的方向相匹配，那么校正的代价可以是-n*α。另一方面，如果n个候选相邻样本与候选样本相邻的方向跟相邻样本与当前样本相邻的方向不匹配，则代价的校正值可以是+n*α。
例如，由于C1A1候选相邻样本、C1A2候选相邻样本和C1A3候选相邻样本与C1候选样本相邻的方向跟A1相邻样本、A2相邻样本和A3相邻样本与当前样本C相邻的方向匹配，所以C1候选样本与当前样本C之间的代价的校正值可以是-3*α。
此外，由于C2A4候选相邻样本、C2A5候选相邻样本和C2A6候选相邻样本与C2候选样本相邻的方向跟A1相邻样本、A2相邻样本和A3相邻样本与当前样本C相邻的方向不匹配，所以C2候选样本与当前样本C之间的代价的校正值可以是+3*α。
此外，由于C3A2候选相邻样本与C3候选样本相邻的方向跟A2相邻样本与当前样本C相邻的方向匹配，但C3A4候选相邻样本和C3A8候选相邻样本与C3候选样本相邻的方向跟A1相邻样本和A3相邻样本与当前样本C相邻的方向不匹配，所以C3候选样本与当前样本C之间的代价的校正值可以是2α–α＝α。
图40是可以基于已经重建的相邻样本执行逐样本预测的视频编码方法的流程图。
在操作4010中，视频编码方法4000将图像分割成至少一个块。术语“块”可以指从将被编码或解码的图像分割出的最大编码单元、编码单元、变换单元或预测单元。操作4010可以由视频编码设备2900的分割器2910执行。
在操作4020中，视频编码方法4000从当前块中选择与当前样本相邻的至少一个相邻样本。此外，视频编码方法4000可以从包括在比当前块先重建的至少一个先前块中的多个候选样本中选择与具有与当前样本的相邻样本最接近的值的候选相邻样本相邻的第一候选样本。操作4020可以由视频编码设备2900的候选选择器2920执行。
在操作4030中，视频编码方法4000通过使用在操作4020中选择的第一候选样本来获取当前样本的预测值。具体地，视频编码方法4000可以通过使用包括在比当前块先重建的先前块中的第一候选样本的重建值来获取当前样本的预测值。操作4030可以由视频编码设备2900的预测器2930执行。
在操作4040中，视频编码方法4000对当前样本的残差值进行编码。具体地，视频编码方法4000可以获取当前样本的原始值与在操作4020中获取的当前样本的预测值之间的残差值，对当前样本的残差值进行变换，对变换的残差值进行熵编码，并在比特流中输出熵编码的残差值。操作4040可以由视频编码设备2900的编码器2940执行。
图41是可以基于已经重建的相邻样本执行逐样本预测的视频解码方法的流程图。
在操作4110中，视频解码方法4100将图像分割成至少一个块。术语“块”可以指从将被编码或解码的图像分割出的最大编码单元、编码单元、变换单元或预测单元。操作4110可以由视频解码设备3000的分割器3010执行。
在操作4120中，视频解码方法4100从当前块中选择与当前样本相邻的至少一个相邻样本。此外，视频解码方法4100可以从包括在比当前块先重建的至少一个先前块中的多个候选样本中选择与具有与当前样本的相邻样本最接近的值的候选相邻样本相邻的第一候选样本。操作4120可以由视频解码设备3000的候选选择器3020执行。
在操作4130中，视频解码方法4100通过使用在操作4120中选择的第一候选样本来获取当前样本的预测值。具体地，视频解码方法4100可以通过使用包括在比当前块先重建的先前块中的第一候选样本的重建值来获取当前样本的预测值。操作4130可以由视频解码设备3000的预测器3030执行。
在操作4140中，视频解码方法4100对当前样本的残差值进行编码。具体地，视频解码方法4100可以通过使用从比特流获取的当前样本的残差值和由预测器3030获取的当前样本的预测值来重建图像。操作4140可以由视频解码设备3000的编码器3041执行。
可以执行上文参照图16至图41描述的逐样本预测的编码和解码设备以及编码和解码方法可以根据当前样本的位置执行自适应预测，并且可以改善编码和解码性能。
一个或多个实施方式可编写为计算机程序，并且可在通过使用非暂时性计算机可读记录介质执行程序的通用数字计算机中实施。计算机可读记录介质的示例包括磁存储介质(例如，ROM、软盘、硬盘等)、光记录介质(例如，CD-ROM或DVD)等。
为便于描述，参考图1到图41描述的图像编码方法和/或视频编码方法将统一被称为“视频编码方法”。此外，参考图1到图41描述的图像解码方法和/或视频解码方法将统一被称为“视频解码方法”。
现在将详细描述根据实施方式的存储程序的非暂时性计算机可读记录介质，诸如，盘片26000。
图42示出了根据各种实施方式的存储有程序的盘片26000的物理结构。盘片26000作为一种存储介质，其可以是硬盘驱动器、压缩只读存储器(CD-ROM)盘、蓝光光盘或数字多功能盘(DVD)。盘片26000包括多个同心盘道Tr，所述同心盘道Tr各自在盘片26000的圆周方向上分成特定数量的扇区Se。在盘片26000的特定区域中，可分配并存储执行上述量化参数确定方法、视频编码方法和视频解码方法的程序。
现在将参考图44描述使用存储介质实现的计算机系统，所述存储介质存储用于执行上述视频编码方法和视频解码方法的程序。
图43示出了用于通过使用盘片26000来记录和读取程序的盘片驱动器26800。计算机系统26700可经由盘片驱动器26800在盘片26000中存储用于执行根据实施方式的视频编码方法和视频解码方法中的至少一个方法的程序。为了在计算机系统26700中运行存储在盘片26000中的程序，可从盘片26000中读取程序并且通过使用盘片驱动器26800将它传输到计算机系统26700。
执行根据实施方式视频编码方法和视频解码方法中的至少一个方法的程序可不仅存储在图42和图43所示的盘片26000中，还可存储在存储卡、ROM盒式磁带或固态驱动器(SSD)中。
下文将描述应用上文所述的视频编码方法和视频解码方法的系统。
图44示出了用于提供内容分发服务的内容供应系统11000的整体结构。通信系统的服务区域分成预定尺寸的小区，并且无线基站11700、11800、11900和12000分别安装在这些小区中。
内容供应系统11000包括多个独立装置。例如，诸如计算机12100、个人数字助理(PDA)12200、摄像机12300和移动电话12500的多个独立装置经由互联网服务提供商11200、通信网络11400以及无线基站11700、11800、11900和12000连接到互联网11100。
然而，内容供应系统11000不限于如图46所示的结构，并且装置可选择性地连接到该系统。多个独立装置可直接连接到通信网络11400，而不经过无线基站11700、11800、11900和12000。
摄像机12300是能够拍摄视频图像的成像装置，例如，数字摄像机。移动电话12500可采用例如个人数字通信(PDC)、码分多址(CDMA)、宽带码分多址(W-CDMA)、全球移动通信系统(GSM)以及个人手持式电话系统(PHS)等各种协议中的至少一个通信方法。
摄像机12300可经由无线基站11800和通信网络11400连接到流式服务器11300。流式服务器11300允许经由摄像机12300从用户接收的内容经过实时广播进行流传输。从摄像机12300接收的内容可由摄像机12300或流式服务器11300进行编码。由摄像机12300拍摄的视频数据可经由计算机12100传输到流式服务器11300。
由相机12600拍摄的视频数据也可经由计算机12100传输到流式服务器11300。诸如数码相机的相机12600是能够拍摄静态图像和视频图像的成像装置。由相机12600拍摄的视频数据可通过使用相机12600或计算机12100进行编码。对视频执行编码和解码的软件可存储在可由计算机12100访问的计算机可读记录介质中，例如，CD-ROM盘、软盘、硬盘驱动器、SSD或存储卡。
如果视频数据由内置在移动电话12500字的相机拍摄，那么视频数据可从移动电话12500中接收。
视频数据也可由安装在摄像机12300、移动电话12500或相机12600中的大规模集成电路(LSI)系统进行编码。
在根据实施方式的内容供应系统11000中，由用户使用摄像机12300、相机12600、移动电话12500或另一成像装置记录的内容数据(例如，在音乐会期间记录的内容)被编码并传输到流式服务器11300。流式服务器11300可采用流内容类型将编码的内容数据传输到请求内容数据的其他客户端。
客户端是能够对编码的内容数据进行解码的装置，例如，计算机12100、PDA12200、摄像机12300或移动电话12500。因此，内容供应系统11000允许客户端接收和播放编码的内容数据。此外，内容供应系统11000允许客户端接收编码的内容数据，并且实时解码和播放编码的内容数据，从而实现个人播放。
内容供应系统11000中包括的多个独立装置的编码操作和解码操作可以与根据实施方式的视频编码设备和视频解码设备的编码操作和解码操作相似。
现在将参考图45和图46详细地描述根据实施方式的内容供应系统11000中包括的移动电话12500。
图45示出根据各种实施方式的应用视频编码方法和视频解码方法的移动电话12500的外部结构。移动电话12500可以是智能电话，它的功能不受限制并且其大量的功能可改变或扩展。
移动电话12500包括外部天线12510，经由该外部天线，射频(RF)信号可与无线基站12000进行交换。移动电话12500还包括显示屏12420(例如，液晶显示器(LCD)或有机发光二极管(OLED)屏)，所述显示屏12420用于显示由相机12310拍摄的图像或经由天线12510接收并解码的图像。移动电话12500包括操作面板12540，所述操作面板12540包括控制按钮和触摸面板。如果显示屏12420是触摸屏，那么操作面板12540还包括显示屏12420的触摸感应面板。移动电话12500包括用于输出语音和声音的扬声器12580或另一类型的声音输出单元，以及用于输入语音和声音的麦克风12550或另一类型的声音输入单元。移动电话12500还包括相机12310，诸如，电荷耦合装置(CCD)相机，以拍摄视频或静态图像。移动电话12500可还包括：存储介质12570，该存储介质12570用于存储编码/解码的数据，例如，由相机12310拍摄、经由电子邮件接收或根据各种方式获取的视频或静态图像；以及槽12560，存储介质12570经由该槽12560装载到移动电话12500中。存储介质12570可以是闪存，例如，安全数字(SD)卡或者包括在塑料盒中的电可擦除可编程只读存储器(EEPROM)。
图46示出移动电话12500的内部结构。为了系统地控制包括显示屏12420和操作面板12540的移动电话12500的部分，电源电路12700、操作输入控制器12640、图像编码器12720、相机接口12630、LCD控制器12620、图像解码器12690、多路复用器/多路分解器12680、记录/读取单元12670、调制/解调单元12660以及声音处理器12650经由同步总线12730连接到中央控制器12710。
如果用户操作电源按钮并从“关机”状态设置到“开机”状态，那么电源电路12700将电力从电池组供应到移动电话12500的所有部分，从而将移动电话12500设置为工作模式。
中央控制器12710包括中央处理单元(CPU)、只读存储器(ROM)和随机存取存储器(RAM)。
在移动电话12500将通信数据传输到外部时，移动电话12500在中央控制器12710的控制下生成数字信号。例如，声音处理器12650可生成数字声音信号，图像编码器12720可产生数字图像信号，并且消息的文本数据可经由操作面板12540和操作输入控制器12640生成。当数字信号由中央控制器12710控制传输到调制/解调单元12660时，调制/解调单元12660对数字信号的频带进行调制，并且通信电路12610对频带经调制的数字声音信号执行数模转换(DAC)和频率转换。从通信电路12610输出的传输信号可经由天线12510传输到语音通信基站或无线基站12000。
例如，当移动电话12500处于对话模式时，经由麦克风12550获取的声音信号由中央控制器12710控制被声音处理器12650转换成数字声音信号。所生成的数字声音信号可通过调制/解调单元12660和通信单元12610转换成传输信号，并且可经由天线12510传输。
当文本消息(例如，电子邮件)在数据通信模式期间传输时，文本消息的文本数据经由操作面板12540输入，并且经由操作输入控制器12640传输到中央控制器12710。由中央控制器12710控制，文本数据经由调制/解调单元12660和通信电路12610变换成传输信号，并且经由天线12510传输到无线基站12000。
为了在数据通信模式期间传输图像数据，经由相机接口12630将相机12310拍摄的图像数据提供到图像编码器12720。由相机12310拍摄的图像数据可经由相机接口12630和LCD控制器12620直接显示在显示屏12420上。
图像编码器12720的结构可对应于根据实施方式的视频编码设备100的结构。图像编码器12720可根据上文所述的视频编码方法将从相机12310接收的图像数据变换成压缩且编码的图像数据，并且随后将编码的图像数据输出到多路复用器/多路分解器12680。在相机12530的记录操作期间，由移动电话12500的麦克风12550获取的声音信号可经由声音处理器12650变换成数字声音数据，并且数字声音数据可传输到多路复用器/多路分解器12680。
多路复用器/多路分解器12680将从图像编码器12720接收的编码图像数据与从声音处理器12650接收的声音数据多路复用。多路复用数据的结果可经由调制/解调单元12660和通信单元12610转换成传输信号，并且可随后经由天线12510传输。
当移动电话12500接收来自外部的通信数据时，对经由天线12510接收的信号执行频率恢复和模数转换(ADC)，从而将所接收的信号转换成数字信号。调制/解调单元12660对数字信号的频带进行调制。根据数字信号的类型，频带经过调制的数字信号传输到图像解码器12690、声音处理器12650或LCD控制器12620。
在对话模式期间，移动电话12500将经由天线12510接收的信号放大，并且通过对放大的信号执行频率转换和ADC来获取数字声音信号。在中央控制器12710控制下，接收的数字声音信号经由调制/解调单元12660和声音处理器12650转换成模拟声音信号，并且模拟声音信号经由扬声器12580输出。
当在数据通信模式下时，接收在互联网网站访问的视频文件的数据，经由调制/解调单元12660将经由天线12510从无线基站12000接收的信号作为多路复用数据输出，并且将多路复用数据传输到多路复用器/多路分解器12680。
为了对经由天线12510接收的多路复用的数据进行解码，多路复用器/多路分解器12680将多路复用的数据多路分解成编码视频数据流和编码音频数据流。经由同步总线12730，编码视频数据流和编码音频数据流分别被提供到图像解码器12690和声音处理器12650。
图像解码器12690的结构可对应于上文所述的视频解码设备的结构。图像解码器12690可通过使用上述的视频解码方法对编码的视频数据进行解码，以获取重建的视频数据并且经由LCD控制器12620将重建的视频数据提供到显示屏12420。
因此，在互联网网站访问的视频文件的数据可显示在显示屏12520上。同时，声音处理器12650可将音频数据转换成模拟声音信号，并且将模拟声音信号提供到扬声器12580。因此，在互联网网站访问的视频文件中含有的音频数据也可经由麦克风12580而播放。
移动电话12500或另一类型的通信终端可以是包括根据实施方式的视频编码设备和视频解码设备的收发终端，可以是只包括根据实施方式的视频编码设备的发送终端，或者可以是只包括根据实施方式的视频解码设备的接收终端。
根据实施方式的通信系统不限于上文参考图46描述的通信系统。例如，图47示出根据各种实施方式的采用通信系统的数字广播系统。图47的数字广播系统可通过使用根据实施方式的视频编码设备和视频解码设备来接收经由卫星或地面网络传输的数字广播。
更具体地，广播站12890通过使用无线电波而将视频数据流传输到通信卫星或广播卫星12900。广播卫星12900传输广播信号，并且广播信号经由家用天线12860传输到卫星广播接收器。在每个家庭中，编码的视频流可由TV接收器12810、机顶盒12870或另一装置解码并播放。
当根据实施方式的视频解码设备实施于播放设备12830中时，播放设备12830可对记录在存储介质12820(诸如，盘片或存储卡)上的编码视频流进行解析和解码，以重建数字信号。因此，重建的视频信号可例如在显示器12840上播放。
在连接到用于卫星/地面广播的天线12860或用于接收电缆电视(TV)广播的电缆12850的机顶盒12870中，可安装根据实施方式的视频解码设备。从机顶盒12870输出的数据也可在TV显示器12880上播放。
作为另一示例，根据实施方式的视频解码设备可安装在TV接收器12810中，而不是机顶盒12870中。
具有适当天线12910的汽车12920可接收从卫星12900或无线基站11700传输的信号。解码的视频可在安装于汽车12920中的车载导航系统12930的显示屏上播放。
视频信号可由根据实施方式的视频编码设备进行编码，并且可随后记录并存储到存储介质中。具体而言，图像信号可由DVD记录器存储在DVD光盘12960中，或者可由硬盘记录器12950存储在硬盘中。作为另一示例，视频信号可存储在SD卡12970中。如果硬盘记录器12950包括根据实施方式的视频解码设备，那么记录在DVD光盘12960、SD卡12970或另一存储介质上的视频信号可在TV显示器12880上播放。
车载导航系统12930可不包括图48的相机12310、相机接口12630和图像编码器12720。例如，计算机12100和TV接收器12810可不包括图48的相机12310、相机接口12630和图像编码器12720。
图48示出了根据各种实施方式的使用视频编码设备和视频解码设备的云计算系统的网络结构。
云计算系统可包括云计算服务器14000、用户数据库(DB)14100、多个计算资源14200以及用户终端。
响应于来自用户终端的请求，云计算系统经由数据通信网络(例如，互联网)来提供多个计算资源14200的按需外包服务。在云计算环境下，通过使用虚拟化技术将位于物理上不同位置的数据中心处的计算资源相结合，服务提供商为用户提供所需的服务。服务用户不必将计算资源(例如，应用、存储、操作系统(OS)和安全软件)安装到他/她自己的终端中以进行使用，而是可在所需的时间点从通过虚拟化技术生成的虚拟空间中的服务之中选择并使用所需服务。
指定服务用户的用户终端经由包括互联网和移动远程通信网络的数据通信网络连接到云计算服务器14000。从云计算服务器14000可对用户终端提供云计算服务，具体地如视频播放服务。用户终端可以是能够连接到互联网的各种类型的电子装置，例如，台式PC14300、智能TV 14400、智能电话14500、笔记本电脑14600、便携式多媒体播放器(PMP)14700、平板PC 14800等。
云计算服务器14100可将分布在云网络中的多个计算资源14200进行组合，并且将组合的结果提供到用户终端。多个计算资源14200可包括各种数据服务，并且可包括从用户终端上传的数据。如上文所述，云计算服务器14100可通过根据虚拟化技术将分布在不同区域中的视频数据库进行组合来将所需的服务提供到用户终端。
与订阅云计算服务的用户有关的用户信息存储在用户数据库14100中。用户信息可包括用户的登录信息、地址、姓名和个人信用信息。用户信息可还包括视频的索引。此处，索引可包括已经播放的视频列表、正在播放的视频列表、过去播放的视频的暂停点等。
存储在用户数据库14100中的与视频有关的信息可在用户装置之间共享。例如，当响应于来自笔记本电脑14600的请求而将视频服务提供到笔记本电脑14600时，视频服务的播放历史便存储在用户数据库14100中。当从智能电话14500接收播放该视频服务的请求时，云计算服务器14000基于用户数据库14100来搜索并播放该视频服务。当智能电话14500接收来自云计算服务器14000的视频数据流时，通过对视频数据流进行解码来播放视频的过程类似于上文参考图46描述的移动电话12500的操作。
云计算服务器14000可参考存储在用户数据库14100中的所需视频服务的播放历史。例如，云计算服务器14000接收来自用户终端的播放存储在用户数据库14100中的视频的请求。如果这个视频已在播放，那么由云计算服务器14000执行的流传输这个视频的方法可根据用户终端的请求而改变，即，根据从视频的开头还是暂停点开始播放该视频。例如，如果用户终端请求从视频的开头开始播放该视频，那么云计算服务器14000将从视频的第一帧开始的视频的流数据传输到用户终端。如果用户终端请求从视频的暂停点开始播放该视频，那么云计算服务器14000将从对应于暂停点的帧开始的视频的流数据传输到用户终端。
就此而言，用户终端可包括如上文参考图1到图19描述的根据实施方式的视频解码设备。作为另一示例，用户终端可包括如上文参考图1到图20描述的根据实施方式的视频编码设备。或者，用户终端可包括如上文参考图1到图19描述的根据实施方式的视频编码设备和视频解码设备两者。
上文参考图42到图48描述了根据上文参考图1到图19描述的图像编码方法、图像解码方法、图像编码设备和图像解码设备的各种应用。然而，将上文参考图1到图19描述的视频编码方法和视频解码方法存储在存储介质中的方法的各种实施方式或者在装置中实施上文参考图1到图19描述的视频编码设备和视频解码设备的方法的各种实施方式不限于图42到图48的实施方式。
尽管已经参照本发明的实施方式具体示出和描述了本公开，但本领域普通技术人员将理解，在不脱离以下权利要求的精神和范围的情况下，可对本公开在形式和细节方面做出各种改变。实施方式应仅被视作描述性的含义，而不是用于限制的目的。因此，本公开的范围并不由本公开的具体描述而限定，而是由所附权利要求限定，并且该范围内的所有差异都将被理解为包括在本公开中。

Claims (15)

1.视频解码设备，包括：
分割器，所述分割器配置为将图像分割成至少一个块；
预测器，所述预测器配置为通过使用通过将第一权重应用于当前块中的、比当前样本先预测并且在水平方向上与所述当前样本相邻的第一样本而获取的值和通过将第二权重应用于所述当前块中的、比所述当前样本先预测并且在竖直方向上与所述当前样本相邻的第二样本而获取的值中的至少一个值来对所述当前样本进行预测；以及
解码器，所述解码器配置为通过使用从比特流获取的所述当前样本的残差值和所述当前样本的预测值来对所述图像进行解码。
2.根据权利要求1所述的视频解码设备，其中，所述第一权重与在水平方向上与所述当前样本相邻的所述第一样本和所述当前块中的、比所述当前样本先预测并且在对角线方向上与所述当前样本相邻的第三样本之间的差值成比例。
3.根据权利要求1所述的视频解码设备，其中，所述第二权重与在竖直方向上与所述当前样本相邻的所述第二样本和所述当前块中的、比所述当前样本先预测并且在对角线方向上与所述当前样本相邻的第三样本之间的差值成比例。
4.根据权利要求1所述的视频解码设备，其中，所述第一权重和所述第二权重彼此相等。
5.根据权利要求1所述的视频解码设备，其中：
所述第一样本位于所述当前块的边界处；
所述第一样本通过使用通过将第四权重应用于位于所述当前块外部并且在水平方向上与所述第一样本相邻的第一参考样本而获取的值和通过将第五权重应用于所述当前块中的、比所述当前样本先预测并且在对角线方向上与所述当前样本相邻的第三样本而获取的值中的至少一个值来预测；
所述第四权重与所述第一参考样本和位于所述当前块外部并且在对角线方向上与所述第一样本相邻的第二参考样本之间的差值成比例；以及
所述第五权重与所述第三样本和所述第二参考样本之间的差值成比例。
6.根据权利要求1所述的视频解码设备，其中：
所述第二样本位于所述当前块的边界处；
所述第二样本通过使用通过将第四权重应用于所述当前块中的、比所述当前样本先预测并且在对角线方向上与所述当前样本相邻的第三样本而获取的值和通过将第五权重应用于位于所述当前块外部并且在竖直方向上与所述第二样本相邻的第一参考样本而获取的值中的至少一个值来预测；
所述第四权重与所述第三样本和位于所述当前块外部并且在对角线方向上与所述第二样本相邻的第二参考样本之间的差值成比例；以及
所述第五权重与所述第一参考样本和所述第二参考样本之间的差值成比例。
7.根据权利要求1所述的视频解码设备，其中：
所述当前块中的、比所述当前样本先预测并且在对角线方向上与所述当前样本相邻的第三样本位于所述当前块的边界处；
所述第三样本通过使用通过将第四权重应用于位于所述当前块外部并且在水平方向上与所述第三样本相邻的第一参考样本而获取的值和通过将第五权重应用于位于所述当前块外部并且在竖直方向上与所述第三样本相邻的第二参考样本而获取的值中的至少一个值来预测；
所述第四权重与所述第一参考样本和在对角线方向上与所述第三样本相邻的第三参考样本之间的差值成比例；以及
所述第五权重与所述第二参考样本和所述第三参考样本之间的差值成比例。
8.视频解码方法，包括：
将图像分割成至少一个块；
通过使用通过将第一权重应用于当前块中的、比当前样本先预测并且在水平方向上与所述当前样本相邻的第一样本而获取的值和通过将第二权重应用于所述当前块中的、比所述当前样本先预测并且在竖直方向上与所述当前样本相邻的第二样本而获取的值中的至少一个值来对所述当前样本进行预测；以及
通过使用从比特流获取的所述当前样本的残差值和所述当前样本的预测值来对所述图像进行解码。
9.视频编码设备，包括：
分割器，所述分割器配置为将图像分割成至少一个块；
预测器，所述预测器配置为通过使用通过将第一权重应用于当前块中的、比当前样本先预测并且在水平方向上与所述当前样本相邻的第一样本而获取的值和通过将第二权重应用于所述当前块中的、比所述当前样本先预测并且在竖直方向上与所述当前样本相邻的第二样本而获取的值中的至少一个值来对所述当前样本进行预测；以及
编码器，所述编码器配置为对所述当前样本的原始值与所述当前样本的预测值之间的残差值进行编码。
10.视频解码设备，包括：
分割器，所述分割器配置为将图像分割成至少一个块；
候选选择器，所述候选选择器配置为从当前块中选择与当前样本相邻的至少一个相邻样本，以及从包括在比所述当前块先重建的至少一个先前块中的多个候选样本中选择与具有最接近于所述相邻样本的值的候选相邻样本相邻的第一候选样本；
预测器，所述预测器配置为通过使用所述第一候选样本来对所述当前样本进行预测；以及
解码器，所述解码器配置为通过使用从比特流获取的所述当前样本的残差值和所述当前样本的预测值来对所述图像进行解码。
11.根据权利要求10所述的视频解码设备，其中，所述候选样本与所述当前样本相距预定距离内。
12.根据权利要求10所述的视频解码设备，其中，所述第一候选样本基于下列项来选择：
与所述当前样本相邻的所述相邻样本和与所述候选样本相邻的候选相邻样本中的每个候选相邻样本之间的差值；以及
所述当前样本与所述候选样本中的每个候选样本之间的距离。
13.根据权利要求10所述的视频解码设备，其中，所述候选样本与所述候选相邻样本相邻的方向和所述当前样本与所述相邻样本相邻的方向相同。
14.根据权利要求10所述的视频解码设备，其中，所述第一候选样本基于下列项来选择：
与所述当前样本相邻的所述相邻样本和与所述候选样本相邻的候选相邻样本中的每个候选相邻样本之间的差值；
所述当前样本与所述相邻样本相邻的方向；以及
所述候选样本与所述候选相邻样本相邻的方向。
15.视频解码方法，包括：
将图像分割成至少一个块；
从当前块中选择与当前样本相邻的至少一个相邻样本，以及从包括在比所述当前块先重建的至少一个先前块中的多个候选样本中选择与具有最接近于所述相邻样本的值的候选相邻样本相邻的第一候选样本；
通过使用所述第一候选样本来对所述当前样本进行预测；以及
通过使用从比特流获取的所述当前样本的残差值和所述当前样本的预测值来对所述图像进行解码。
CN201580068754.3A 2014-11-05 2015-11-04 逐样本预测编码设备和方法 Pending CN107005711A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462075429P 2014-11-05 2014-11-05
US62/075,429 2014-11-05
PCT/KR2015/011810 WO2016072753A1 (ko) 2014-11-05 2015-11-04 샘플 단위 예측 부호화 장치 및 방법

Publications (1)

Publication Number Publication Date
CN107005711A true CN107005711A (zh) 2017-08-01

Family

ID=55909402

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580068754.3A Pending CN107005711A (zh) 2014-11-05 2015-11-04 逐样本预测编码设备和方法

Country Status (7)

Country Link
US (1) US10404982B2 (zh)
EP (1) EP3203735A4 (zh)
JP (1) JP2017537539A (zh)
KR (1) KR20170078683A (zh)
CN (1) CN107005711A (zh)
MX (1) MX2017005892A (zh)
WO (1) WO2016072753A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112956199A (zh) * 2018-11-06 2021-06-11 北京字节跳动网络技术有限公司 帧内预测的简化参数推导
US11438581B2 (en) 2019-03-24 2022-09-06 Beijing Bytedance Network Technology Co., Ltd. Conditions in parameter derivation for intra prediction
US11595687B2 (en) 2018-12-07 2023-02-28 Beijing Bytedance Network Technology Co., Ltd. Context-based intra prediction
US11729405B2 (en) 2019-02-24 2023-08-15 Beijing Bytedance Network Technology Co., Ltd. Parameter derivation for intra prediction
US11902507B2 (en) 2018-12-01 2024-02-13 Beijing Bytedance Network Technology Co., Ltd Parameter derivation for intra prediction

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017052118A1 (ko) * 2015-09-23 2017-03-30 엘지전자 주식회사 영상 코딩 시스템에서 인트라 예측 방법 및 장치
US10555006B2 (en) * 2016-12-22 2020-02-04 Qualcomm Incorporated Deriving bilateral filter information based on a prediction mode in video coding
KR102389868B1 (ko) 2017-09-28 2022-04-22 삼성전자주식회사 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
CN110636299B (zh) 2018-06-21 2022-06-14 北京字节跳动网络技术有限公司 用于处理视频数据的方法、装置及计算机可读记录介质
TWI729477B (zh) * 2018-08-31 2021-06-01 聯發科技股份有限公司 視訊編解碼中的子塊去塊及裝置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102007768A (zh) * 2008-04-16 2011-04-06 弗朗霍夫应用科学研究促进协会 位深度可分级性
CN102047666A (zh) * 2009-07-02 2011-05-04 联发科技股份有限公司 帧内预测方法及其视频编码器与视频解码器
KR101228020B1 (ko) * 2007-12-05 2013-01-30 삼성전자주식회사 사이드 매칭을 이용한 영상의 부호화 방법 및 장치, 그복호화 방법 및 장치
CN103020643A (zh) * 2012-11-30 2013-04-03 武汉大学 基于提取核特征早期预测多变量时间序列类别的分类方法
CN103201950A (zh) * 2010-11-16 2013-07-10 瑞典爱立信有限公司 用于功率放大器数字预失真中的具有可变抽头延迟线的联合过程估计器
US20130279583A1 (en) * 2012-04-20 2013-10-24 Futurewei Technologies, Inc. Intra Prediction in Lossless Coding in HEVC
CN103891291A (zh) * 2011-08-30 2014-06-25 诺基亚公司 用于视频编码和解码的设备、方法和计算机程序
KR20140088059A (ko) * 2014-06-13 2014-07-09 에스케이텔레콤 주식회사 인트라 예측 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101361005B1 (ko) 2008-06-24 2014-02-13 에스케이 텔레콤주식회사 인트라 예측 방법 및 장치와 그를 이용한 영상부호화/복호화 방법 및 장치
KR101517768B1 (ko) 2008-07-02 2015-05-06 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
KR101772459B1 (ko) * 2010-05-17 2017-08-30 엘지전자 주식회사 신규한 인트라 예측 모드
CN107105292B (zh) 2010-12-13 2020-09-08 韩国电子通信研究院 基于帧间预测对视频信号进行解码的方法
WO2014003421A1 (ko) 2012-06-25 2014-01-03 한양대학교 산학협력단 비디오 부호화 및 복호화를 위한 방법

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101228020B1 (ko) * 2007-12-05 2013-01-30 삼성전자주식회사 사이드 매칭을 이용한 영상의 부호화 방법 및 장치, 그복호화 방법 및 장치
CN102007768A (zh) * 2008-04-16 2011-04-06 弗朗霍夫应用科学研究促进协会 位深度可分级性
CN102047666A (zh) * 2009-07-02 2011-05-04 联发科技股份有限公司 帧内预测方法及其视频编码器与视频解码器
CN103201950A (zh) * 2010-11-16 2013-07-10 瑞典爱立信有限公司 用于功率放大器数字预失真中的具有可变抽头延迟线的联合过程估计器
CN103891291A (zh) * 2011-08-30 2014-06-25 诺基亚公司 用于视频编码和解码的设备、方法和计算机程序
US20130279583A1 (en) * 2012-04-20 2013-10-24 Futurewei Technologies, Inc. Intra Prediction in Lossless Coding in HEVC
CN103020643A (zh) * 2012-11-30 2013-04-03 武汉大学 基于提取核特征早期预测多变量时间序列类别的分类方法
KR20140088059A (ko) * 2014-06-13 2014-07-09 에스케이텔레콤 주식회사 인트라 예측 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112956199A (zh) * 2018-11-06 2021-06-11 北京字节跳动网络技术有限公司 帧内预测的简化参数推导
US11438598B2 (en) 2018-11-06 2022-09-06 Beijing Bytedance Network Technology Co., Ltd. Simplified parameter derivation for intra prediction
US11930185B2 (en) 2018-11-06 2024-03-12 Beijing Bytedance Network Technology Co., Ltd. Multi-parameters based intra prediction
US11902507B2 (en) 2018-12-01 2024-02-13 Beijing Bytedance Network Technology Co., Ltd Parameter derivation for intra prediction
US11595687B2 (en) 2018-12-07 2023-02-28 Beijing Bytedance Network Technology Co., Ltd. Context-based intra prediction
US11729405B2 (en) 2019-02-24 2023-08-15 Beijing Bytedance Network Technology Co., Ltd. Parameter derivation for intra prediction
US11438581B2 (en) 2019-03-24 2022-09-06 Beijing Bytedance Network Technology Co., Ltd. Conditions in parameter derivation for intra prediction

Also Published As

Publication number Publication date
MX2017005892A (es) 2017-06-27
JP2017537539A (ja) 2017-12-14
WO2016072753A1 (ko) 2016-05-12
US10404982B2 (en) 2019-09-03
US20180309988A1 (en) 2018-10-25
EP3203735A1 (en) 2017-08-09
EP3203735A4 (en) 2017-08-09
KR20170078683A (ko) 2017-07-07

Similar Documents

Publication Publication Date Title
CN105532001B (zh) 用于使用基于深度的视差矢量对视频进行层间编码方法以及解码方法和设备
CN105308966B (zh) 视频编码方法及其设备以及视频解码方法及其设备
CN104396252B (zh) 使用用于多视点视频预测的参考画面集的多视点视频编解码方法及其装置
CN107005711A (zh) 逐样本预测编码设备和方法
CN105340271B (zh) 用于随机访问的多层视频编码方法及其装置以及用于随机访问的多层视频解码方法及其装置
CN106797467B (zh) 用于图像填充区域的视频编码和解码方法和设备
CN103931192B (zh) 用于在视频编码或解码中的运动矢量确定的方法和设备
CN104902272B (zh) 视频解码设备
CN106063271B (zh) 用于执行基于子块的预测的层间视频解码方法及其设备以及用于执行基于子块的预测的层间视频编码方法及其设备
CN105144713B (zh) 用于解码器设置的对视频进行编码的方法及其装置以及基于解码器设置对视频进行解码的方法及其装置
CN104365104B (zh) 用于多视点视频编码和解码的方法和设备
CN103875249B (zh) 用于多视点视频预测编码的方法和装置以及用于多视点视频预测解码的方法和装置
CN106464908A (zh) 用于传输深度图像的预测模式以供层间视频编码和解码的方法和装置
CN107113442A (zh) 用于对运动矢量进行编码/解码的方法和装置
CN105594212B (zh) 用于确定运动矢量的方法及其设备
CN107409214A (zh) 用于对层间视频进行解码的方法和设备以及用于对层间视频进行编码的方法和设备
CN107231560A (zh) 帧间预测的方法及其装置和运动补偿的方法及其装置
CN106664413A (zh) 用于补偿亮度差的层间视频编码方法和装置以及视频解码方法和装置
CN107801028A (zh) 用于对视频进行编码和解码的方法和装置
CN106031175B (zh) 使用亮度补偿的层间视频编码方法及其装置、以及视频解码方法及其装置
CN105264894A (zh) 针对层间解码和编码方法以及设备的确定帧间预测候选的方法
CN105556972A (zh) 用于层间视频解码和编码设备和方法的对深度图像的场景内预测方法
CN105325002A (zh) 使用视点合成预测的多视点视频编码方法及其设备以及多视点视频解码方法及其设备
CN107005710A (zh) 多视点图像编码/解码方法和装置
CN105340275A (zh) 使用视点合成预测的多视点视频编码方法及其设备以及多视点视频解码方法及其设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170801

WD01 Invention patent application deemed withdrawn after publication