[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN103988507A - 图像处理装置和图像处理方法 - Google Patents

图像处理装置和图像处理方法 Download PDF

Info

Publication number
CN103988507A
CN103988507A CN201280060389.8A CN201280060389A CN103988507A CN 103988507 A CN103988507 A CN 103988507A CN 201280060389 A CN201280060389 A CN 201280060389A CN 103988507 A CN103988507 A CN 103988507A
Authority
CN
China
Prior art keywords
information
picture
mostprobablemode
prediction
predicting unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201280060389.8A
Other languages
English (en)
Inventor
佐藤数史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN103988507A publication Critical patent/CN103988507A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

为了在借以对多个流进行编码的图像编码方法中更有效地对用于帧内预测的参数进行编码。提供了一种图像处理装置，其设置有：解码部，其根据与共同的场景相关联的至少两个图片中的第一图片的编码流对关于所述第一图片内的第一预测单元的MostProbableMode信息进行解码；第一预测部，其使用由解码部解码的MostProbableMode信息关于第一预测单元进行帧内预测；第二预测部，其使用由第一预测部使用的MostProbableMode信息，关于至少两个图片中的第二图片内的与第一预测单元对应的第二预测单元进行帧内预测。

Description

图像处理装置和图像处理方法
技术领域
本公开涉及一种图像处理装置和图像处理方法。
背景技术
在对于用于压缩数字图像的数据大小的图像编码方案来说重要的技术之中存在平面内预测(in-plane prediction)，即帧内预测。帧内预测是一种减少通过利用图像中邻接块之间的相关性并根据其它邻接块的像素值来预测给定块中的像素值而被编码的信息的量的技术。在先于MPEG4的图像编码方案中，仅对正交变换系数的DC分量和低频分量进行帧内预测。同时，在H.264/AVC(高级视频编码)中，可以对所有分量进行帧内预测。当使用帧内预测时，对于例如像蓝天的图像那样的具有像素值和缓变化的图像，可以预期压缩比的显著改进。
在帧内预测期间，一般地，从多个预测模式中选择用于预测要预测的块中的像素值的最优预测模式。通常，可以通过从参考像素到要预测的像素的预测方向来区分预测模式。在HEVC中，其中HEVC的标准化被推进以作为接替H.264/AVC的下一代图像编码方案，预期将采用类似于下面的非专利文献1中描述的预测方法的角度帧内预测方法。根据角度帧内预测方法，例如针对具有8×8像素、16×16像素或32×32像素大小的亮度预测单元(PU)可选择对应于33个预测方向的预测模式。
MostProbableMode(最可能模式)是为了减少帧内预测中的预测模式信息的比特率而引入的机制。在H.264/AVC中，在左邻接块和上邻接块之中的具有较小模式编号的预测模式被认为是要预测的块(预测单元)的MostProbableMode。相比之下，在HEVC中，提出了使用每个预测单元的索引信息来表示左邻接块和上邻接块中的具有被视作MostProbableMode的预测模式的邻接块的位置(参见以下非专利文献2)。因此，预计预测单元的更大比例将能够利用MostProbableMode，从而提高编码效率。
另一方面，用于未来图像编码方案的另一重要技术是可伸缩编码(也称作可伸缩视频编码(SVC))。可伸缩编码是指对发送粗图像信号的层和发送细图像信号的层分层地编码的技术。在可伸缩编码中分层地形成层的典型属性主要是以下三种类型：
–空间可伸缩性：使空间分辨率或图像大小分层地形成层。
–时间可伸缩性：使帧率分层地形成层。
–信噪比(S/N比)可伸缩性：使信噪比(S/N比)分层地形成层。
此外，虽然标准规定中尚未采用，但是还正在讨论位深可伸缩性和色度格式可伸缩性。
在可伸缩编码中被编码的多个层一般描绘共同的场景。针对共同的场景对多个流进行编码的这一点不仅适用于可伸缩编码，而且对于用于立体图像的多视图编码和交错式编码也是类似的。
引用列表
非专利文献
非专利文献1:Kemal Ugur等人,"Description of video codingtechnology proposal by Tandberg,Nokia,Ericsson(Tandberg、Nokia和Ericsson的视频编码技术提议描述)",JCTVC-A119,2010年4月。
非专利文献2:Mei Guo,Xun Guo,Shawmin Lei,"Improved Intra ModeCoding(改进的帧内模式编码)",JCTVC-D166,2011年1月。
发明内容
技术问题
然而，从编码效率的角度来看，在可伸缩编码中对每个层的参数单独编码不是最优的。如果可以在上层中再利用下层的参数，可以降低上层的比特率，并提高编码效率。多视图编码和交错式编码也是类似的。
因此，期望提供一种使得在对多个流进行编码的图像编码方案中用于帧内预测的参数能够更有效地被编码的机制。
问题的解决方案
根据本公开，提供了一种图像处理装置，其包括：解码部，其根据与共同的场景相关联的两个或更多个图片中的第一图片的编码流对第一图片内的第一预测单元的MostProbableMode信息进行解码；第一预测部，其使用由解码部解码的MostProbableMode信息对第一预测单元进行帧内预测；以及第二预测部，其使用由第一预测部使用的MostProbableMode信息，对两个或更多个图片中的第二图片内的与第一预测单元对应的第二预测单元进行帧内预测。
图像处理装置通常可以被实现为用于对图像进行解码的图像解码装置。
根据本公开，提供了一种图像处理方法，其包括：从与共同的场景相关联的两个或更多个图片中的第一图片的编码流中解码第一图片内的第一预测单元的MostProbableMode信息；使用所解码的MostProbableMode信息，对所述第一预测单元进行帧内预测；以及使用由MostProbableMode信息，对两个或更多个图片中的第二图片内的与所述第一预测单元对应的第二预测单元进行帧内预测。
根据本公开，提供了一种图像处理装置，其包括：第一确定部，其确定是否针对与共同的场景相关联的两个或更多个图片中的第一图片内的第一预测单元启用MostProbableMode；第一编码部，其根据第一确定部的确定结果将第一预测单元的MostProbableMode信息编码到第一图片的编码流中；以及第二确定部，其确定是否将使用MostProbableMode信息指定的参考预测模式启用为针对两个或更多个图片中的第二图片内的与第一预测单元对应的第二预测单元的MostProbableMode。
图像处理装置通常可以被实现为用于对图像进行编码的图像编码装置。
根据本公开，提供了一种图像处理方法，其包括：确定是否针对与共同的场景相关联的两个或更多个图片中的第一图片内的第一预测单元启用MostProbableMode；根据确定的结果将第一预测单元的MostProbableMode信息编码到第一图片的编码流中；以及确定是否将使用MostProbableMode信息指定的参考预测模式启用为针对两个或更多个图片中的第二图片内的与第一预测单元对应的第二预测单元的MostProbableMode。
本发明的有利效果
根据基于本公开的技术，在多个流被编码的图像编码方案中，可以更有效地对帧内预测的参数进行编码。
附图说明
图1是用于描述可伸缩编码的说明图。
图2是示出了根据实施例的图像编码装置的示意性配置的框图。
图3是示出了根据实施例的图像解码装置的示意性配置的框图。
图4A是示出了图2所示的第一图片编码部的配置的示例的框图。
图4B是示出了图2所示的第二图片编码部的配置的示例的框图。
图5是示出了图4A和图4B所示的帧内预测部的详细配置的示例的框图。
图6是用于描述在HEVC的角度帧内预测方法中可选择的预测方向候选的说明图。
图7是用于描述在HEVC的角度帧内预测方法中的参考像素值的计算的说明图。
图8是用于描述在实施例中可被编码的MostProbableMode信息的第一示例的说明图。
图9是用于描述在实施例中可被编码的MostProbableMode信息的第二示例的说明图。
图10是用于描述在实施例中可被编码的MostProbableMode信息的第三示例的说明图。
图11是示出了根据实施例的编码期间的帧内预测处理的流程的第一示例的流程图。
图12是示出了根据实施例的编码期间的帧内预测处理的流程的第二示例的流程图。
图13A是示出了图3所示的第一图片解码部的配置的示例的框图。
图13B是示出了图3所示的第二图片解码部的配置的示例的框图。
图14是示出了图13A和图13B所示的帧内预测部的详细配置的示例的框图。
图15是示出了根据实施例的解码期间的帧内预测处理的流程的第一示例的流程图。
图16是示出了根据实施例的解码期间的帧内预测处理的流程的第二示例的流程图。
图17是用于描述根据实施例的图像编码处理到多视图编码(multiview coding)的应用的说明图。
图18是用于描述根据实施例的图像解码处理到多视图编码的应用的说明图。
图19是示出了电视机的示意性配置的示例的框图。
图20是移动电话的示意性配置的示例的框图。
图21是示出了记录和播放装置的示意性配置的示例的框图。
图22是示出了成像装置的示例性示意性配置的框图。
具体实施方式
下文中，将参照附图详细描述本发明的优选实施例。注意，在本说明书和附图中，用相同的附图标记表示具有基本上相同的功能和结构的元件，并省略重复说明。
此外，将按以下顺序进行描述。
1.概述
2.根据实施例的编码部的示例性配置
3.根据实施例的编码期间的处理流程
4.根据实施例的解码部的示例性配置
5.根据实施例的解码期间的处理流程
6.到各种图像编码方案的应用
7.示例性应用
8.结论
<1.概述>
在该部分中，将通过采用到可伸缩编码的应用作为示例来描述根据实施例的图像编码装置和图像解码装置的概述。然而，本说明书中描述的这些装置的配置同样还可应用于多视图编码和交错式编码。
利用可伸缩编码，对各自包括系列图像的多个层进行编码。首先对基础层进行编码，并且该基础层是表示最粗糙的图像的层。可以单独地对基础层的编码流进行解码，而不对其它层的编码流进行解码。除了基础层之外的层被称作增强层，并且是表示较精细的图像的层。使用基础层的编码流中所包括的信息对增强层的编码流进行编码。因此，再现增强层的图像涉及对基础层和增强层两者的编码流进行解码。在可伸缩编码中处理的层的数目可以是等于或大于2的任意数目。在对三个或更多个层进行编码的情况下，最下层是基础层，而多个剩余层是增强层。可以使用较低增强层或基础层的编码流中所包括的信息对较高增强层的编码流进行编码和解码。在本说明书中，在具有依赖关系的至少两个层之中，被依赖的层被称作下层，而依赖层被称作上层。
图1示出了被可伸缩地编码的三个层L1、L2和L3。层L1是基础层，而层L2和L3是增强层。注意，在本文中从各种类型的伸缩性之中采用空间可伸缩性作为示例。层L2与层L1的空间分辨率之比为2:1。层L3与层L1的空间分辨率之比为4:1。层L1的块B1是基础层中的图片内的预测单元。层L1的块N1U和N1L分别是块B1的上邻接块和左邻接块。层L2的块B2是描绘了与块B1共同共享的场景的增强层中的图片内的预测单元。块B2对应于层L1的块B1。层L2的块N2U和N2L分别是块B2的上邻接块和左邻接块。层L3的块B3是描绘了与块B1和B2共同共享的场景的上增强层中的图片内的预测单元。块B3对应于层L1的块B1和层L2的块B2。层L3的块N3U和N3L分别是块B3的上邻接块和左邻接块。
在这样的层结构中，给定层中的图片内的图像的空间相关性一般类似于与共同的场景相关联的另一层中的图片内的图像的空间相关性。例如，在层L1中的块B1与邻接块N1L之间有强相关性的情况下，预测在层L2中的块B2与邻接块N2L之间相关性也是强的并且在层L3中的块B3与邻接块N3L之间相关性也是强的。因此，如果再利用作为取决于图像的空间相关性而确定的参数的MostProbableMode信息，则可以有效地降低比特率。对于SNR可伸缩性和位深可伸缩性，图像的空间相关性在层之间彼此类似这一点也是类似的。
注意，与给定层中的块对应的另一层中的块是指例如另一层中的如下块：该块包括与给定层中的块内的指定位置(例如，左上)处的像素对应的像素。利用该定义，即使存在例如合并下层中的多个块的上层中的块，也可以唯一地确定与上层中的块对应的下层中的块。
图2是示出了根据实施例的支持可伸缩编码的图像编码装置10的示意性配置的框图。参照图2，图像编码装置10装配有第一图片编码部1a、第二图片编码部1b、层间缓冲器2以及复用部3。
第一图片编码部1a对基础层图像进行编码，并生成基础层的编码流。第二图片编码部1b对增强层图像进行编码，并生成增强层的编码流。层间缓冲器2临时存储在层之间再利用的参数。复用部3将第一图片编码部1a所生成的基础层的编码流与第二图片编码部1b所生成的一个或更多个增强层的编码流复用，并生成多层复用流。
图3是示出了根据实施例的支持可伸缩编码的图像解码装置60的示意性配置的框图。参照图3，图像解码装置60装配有解复用部5、第一图片解码部6a、第二图片解码部6b以及层间缓冲器7。
解复用部5将多层复用流解复用成基础层的编码流和增强层的一个或更多个编码流。第一图片解码部6a将基础层的编码流解码成基础层图像。第二图片解码部6b将增强层的编码流解码成增强层图像。层间缓冲器7临时存储在层之间再利用的参数。
在图2所例示的图像编码装置10中，用于对基础层进行编码的第一图片编码部1a的配置和用于对增强层进行编码的第二图片编码部1b的配置彼此类似。这些配置之间的一个区别是：关于帧内预测，第二图片编码部1b再利用第一图片编码部1a进行的基础层编码处理的结果来进行增强层编码处理。因此，在下一部分中，在描述第一图片编码部1a和第二图片编码部1b的配置的共同部分之后，特别将焦点转移至帧内预测，并且将详细描述这些配置之间的关系。
类似地，在图3所例示的图像解码装置60中，用于对基础层进行解码的第一图片解码部6a的配置和用于对增强层进行解码的第二图片解码部6b的配置彼此类似。这些配置之间的一个区别是：关于帧内预测，第二图片解码部6b再利用第一图片解码部6a进行的基础层解码处理的结果来进行增强层解码处理。因此，在稍后的部分中，在描述第一图片解码部6a和第二图片解码部6b的配置的共同部分之后，特别将焦点转移至帧内预测，并且将详细描述这些配置之间的关系。
<2.根据实施例的编码部的示例性配置>
[2-1.示例性整体配置]
图4A是示出了图2所示的第一图片编码部1a的配置的示例的框图。参照图4A，第一图片编码部1a装配有重排序缓冲器12、减法部13、正交变换部14、量化部15、无损编码部16a、累积缓冲器17、速率控制部18、逆量化部21、逆正交变换部22、加法部23、去块滤波器24、帧存储器25、选择器26和27、运动估计部30以及帧内预测部40a。
重排序缓冲器12对图像数据的序列中所包括的图像进行重排序。在根据编码处理依照图像组(GOP)结构对图像进行重排序之后，重排序缓冲器12将重排序的图像数据输出到减法部13、运动估计部30和帧内预测部40a。
向减法部13提供从重排序缓冲器12输入的图像数据、以及从下述的运动估计部30或帧内预测部40输入的预测图像数据。减法部13计算作为从重排序缓冲器12输入的图像数据与预测图像数据之间的差的预测误差数据，并将所计算的预测误差数据输出到正交变换部14。
正交变换部14对从减法部13输入的预测误差数据执行正交变换。正交变换部14执行的正交变换可以是例如离散余弦变换(DTC)或卡洛南-洛伊变换。正交变换部14将在正交变换处理中获取的变换系数数据输出到量化部15。
向量化部15提供从正交变换部14输入的正交变换系数以及来自下述的速率控制部18的速率控制信号。量化部15对变换系数数据执行量化，并将量化后的变换系数数据(下文中被称作经量化数据)输出到无损编码部16a和逆量化部21。此外，量化部15通过基于来自速率控制部18的速率控制信号切换量化参数(量化标度)来改变要输入到无损编码部16a的经量化数据的比特率。
无损编码部16a对从量化部15输入的基础层经量化数据执行无损编码处理，以生成基础层编码流。无损编码部16a执行的无损编码可以是例如可变长度编码或算术编码等。此外，无损编码部16a在编码流的头区域内将从选择器27输入的关于帧内预测的信息或关于帧间预测的信息复用。然后，无损编码部16a将生成的编码流输出到累积缓冲器17。
由无损编码部16a编码的与帧内预测有关的信息例如可以包括基础层预测模式信息和MostProbableMode信息。稍后将进一步描述该信息。
在累积缓冲器17中，使用诸如半导体存储器的存储介质临时存储存储从无损编码部16a输入的编码流。然后，累积缓冲器17以与传输信道的带宽对应的速率将所存储的编码流输出到传输部(未示出；例如通信接口或用于连接至外围装置的接口)。
速率控制部18监视累积缓冲器17的可用容量。然后，速率控制部18根据累积缓冲器17的可用容量生成速率控制信号，并将生成的速率控制信号输出到量化部15。例如，速率控制部18在累积缓冲器17的可用容量小时生成用于降低经量化数据的比特率的速率控制信号。同时，例如，速率控制部18在累积缓冲器17的可用容量充分大时生成用于增大经量化数据的比特率的速率控制信号。
逆量化部21对从量化部15输入的经量化数据执行逆量化处理。然后，逆量化部21将通过逆量化处理获取的变换系数数据输出到逆正交变换部22。
逆正交变换部22对从逆量化部21输入的变换系数数据执行逆正交变换处理，以恢复预测误差数据。然后，逆正交变换部22将所恢复的预测误差数据输出到加法部23。
加法部23将从逆正交变换部22输入的所恢复的预测误差数据与从运动估计部30或帧内预测部40a输入的预测图像数据相加到一起以生成解码图像数据。然后，加法部23将重新生成的解码图像数据输出到去块滤波器24和帧存储器25。
去块滤波器24执行滤波处理，用于降低在图像编码期间发生的块伪像。去块滤波器24通过对从加法部23输入的解码图像数据进行滤波来去除块伪像，并将滤波后的解码图像数据输出到帧存储器25。
帧存储器25使用存储介质来存储从加法部23输入的解码图像数据、以及从去块滤波器24输入的滤波后解码图像数据。
选择器26从帧存储器25取回要用于帧间预测的滤波后解码图像数据，并将取回的解码图像数据作为参考图像数据提供给运动估计部30。此外，选择器26从帧存储器25取回要用于帧内预测的滤波前解码图像数据，并将取回的解码图像数据作为参考图像数据提供给帧内预测部40a。
选择器27在帧间预测模式下将从运动估计部30输出的预测图像数据作为帧间预测的结果输出到减法部13，并将关于帧间预测的信息输出到无损编码部16a。此外，选择器27在帧内预测模式下将从帧内预测部40a输出的预测图像数据作为帧内预测的结果输出到减法部13，并将关于帧内预测的信息输出到无损编码部16a。选择器27根据从运动估计部30和帧内预测部40a输出的成本函数值的幅值在帧间预测模式与帧内预测模式之间进行切换。
运动估计部30基于从重排序缓冲器12输入的要编码的图像数据(原始图像数据)和通过选择器26提供的解码图像数据来执行帧间预测处理(帧间(inter-frame)预测处理)。例如，运动估计部30使用预定成本函数在每种预测模式下评估预测结果。接着，运动估计部30选择成本函数值最小的预测模式(即，压缩比最高的预测模式)作为最优预测模式。此外，运动估计部30根据最优预测模式生成预测图像数据。然后，运动估计部30将表示所选择的最优预测模式的预测模式信息、包括运动向量信息和参考图像信息的关于帧间预测的信息、成本函数值和预测图像数据输出到选择器27。
帧内预测部40a基于作为参考图像数据的从帧存储器25提供的解码图像数据以及从重排序缓冲器12输入的原始图像数据，针对基础层图像内的每个预测单元进行帧内预测处理。帧内预测部40a然后将与帧内预测有关的信息以及成本函数值和预测图像数据输出到选择器27。
第一图片编码部1a对基础层中的一系列图像数据执行本文所述的一系列编码处理。帧内预测部40a使用层间缓冲器2来缓冲为每个预测单元确定的MostProbableMode信息。所缓冲的MostProbableMode信息由下面描述的第二图片编码部1b使用。
图4B是示出了图2所示的第二图片编码部1b的配置的示例的框图。参照图4B，第二图片编码部1b装配有重排序缓冲器12、减法部13、正交变换部14、量化部15、无损编码部16b、累积缓冲器17、速率控制部18、逆量化部21、逆正交变换部22、加法部23、去块滤波器24、帧存储器25、选择器26和27、运动估计部30、以及帧内预测部40b。
无损编码部16b通过对从量化部15输入的增强层的经量化数据执行无损编码处理来生成增强层的编码流。由无损编码部16b进行的无损编码例如可以是可变长度编码或算术编码。此外，无损编码部16b将从选择器27输入的与帧内预测有关的信息或与帧间预测有关的信息复用到编码流的头区域中。无损编码部16b然后将生成的编码流输出到累积缓冲器17。
由无损编码部16b编码的与帧内预测有关的信息例如可以包括增强层预测模式信息和MostProbableMode信息。然而，对于再利用下层的MostProbableMode信息的预测单元，无损编码部16b可以(至少部分地)省略上层的MostProbableMode信息的编码。稍后将进一步描述MostProbableMode信息的编码的省略。
帧内预测部40b使用从重排序缓冲器12输入的原始图像数据、从帧存储器25提供的参考图像数据和被层间缓冲器2存储的下层的MostProbableMode信息，来对增强层中的图像内设置的每个预测单元进行帧内预测处理。帧内预测部40a然后将与帧内预测有关的信息、成本函数值和预测图像数据输出到选择器27。
当存在多个增强层时，第二图片编码部1b针对每个增强层执行这样的一系列编码处理。帧内预测部40b还可以使用层间缓冲器2来缓冲为每个预测单元确定的MostProbableMode信息用于在更高的上层中进行处理。
[2-2.帧内预测部的示例性配置]
图5是示出了图4A所示的帧内预测部40a和图4B所示的帧内预测部40b的详细配置的示例的框图。参照图5，帧内预测部40a包括预测控制部41a、预测部42a、确定部43a、模式缓冲器44a、以及参数生成部45a。帧内预测部40b包括预测控制部41b、预测部42b、确定部43b、模式缓冲器44b、以及参数生成部45b。
预测控制部41a控制帧内预测部40a进行的基础层帧内预测处理。更具体地，预测控制部41a以预测单元依次设置多个预测模式候选中的每个。预测部42a根据预测控制部41a设置的预测模式候选，通过使用从帧存储器25输入的参考图像数据来针对每个预测单元生成预测图像。确定部43a基于从重排序缓冲器12输入的原始图像数据和从预测部42a输入的预测图像数据，针对每个预测模式候选计算成本函数值。确定部43a然后基于所计算的成本函数值来确定最优预测模式。模式缓冲器44a临时存储表示最优预测模式的预测模式信息。此外，确定部43a参考模式缓冲器44a存储的邻接块的预测模式信息，并且确定是否针对基础层中的图像内的每个预测单元启用MostProbableMode。参数生成部45a根据确定部43a的确定结果来生成预测模式信息和MostProbableMode信息。确定部43a然后将包括参数生成部45a生成的预测模式信息和MostProbableMode信息的与帧内预测有关的信息、以及成本函数值和预测图像数据输出到选择器27。参数生成部45a还将MostProbableMode输出到层间缓冲器2。
预测控制部41b控制帧内预测部40b进行的增强层帧内预测处理。更具体地，预测控制部41b以预测单元依次设置多个预测模式候选中的每个。预测部42b根据预测控制部41b设置的预测模式候选，通过使用从帧存储器25输入的参考图像数据来针对每个预测单元生成预测图像。确定部43b基于从重排序缓冲器12输入的原始图像数据和从预测部42b输入的预测图像数据，针对每个预测模式候选计算成本函数值。确定部43b然后基于所计算的成本函数值来确定最优预测模式。模式缓冲器44b临时存储表示最优预测模式的预测模式信息。此外，确定部43b参考模式缓冲器44b存储的邻接块的预测模式信息，并且确定是否针对增强层中的图像内的每个预测单元启用MostProbableMode。参数生成部45b根据确定部43b的确定结果来生成预测模式信息和MostProbableMode信息。然而，对于再利用下层的MostProbableMode信息的预测单元，参数生成部45b可以省略上层的MostProbableMode信息的生成。确定部43b然后将包括参数生成部45b生成的预测模式信息和MostProbableMode信息的与帧内预测有关的信息、以及成本函数值和预测图像数据输出到选择器27。在存在更高的上层的情况下，参数生成部45b还将MostProbableMode信息输出到层间缓冲器2。
图6是用于描述在帧内预测部40a和帧内预测部40b中使用角度帧内预测方法的情况下可选择的预测方向候选的说明图。图6所示的像素P1是要预测的像素。在像素P1所属的预测单元的周界处的阴影像素是邻接块的参考像素。在块大小为4×4像素的情况下，(除了DC预测之外)可选择在附图中用实线(粗线和细线两者)表示的且连接参考像素和要预测的像素的17个预测方向(与其对应的预测模式)。在块大小为8×8像素、16×16像素或32×32像素的情况下，(除了DC预测和平面预测之外)可选择在附图中用虚线和实线(粗线和细线两者)表示的33个预测方向(与其对应的预测模式)。在块大小为64×64像素的情况下，(除了DC预测之外)可选择在附图中用粗线表示的两个预测方向(与其对应的预测模式)。
注意，在上面讨论的角度帧内预测方法中，预测方向具有高角度分辨率。例如，在8×8像素的情况下相邻预测方向之间的角度差为180度/32＝5.625度。因此，预测部42a首先以如图7所示的1/8像素精度计算参考像素值，并使用所计算的参考像素值来根据每个预测模式候选计算预测的像素值。
图8至10分别示出了在一个实施例中可以被编码的MostProbableMode信息的示例。
(1)第一示例
图8的左侧示出了下层(例如基础层)中要预测的块Ba、以及要预测的块Ba的上邻接块NaU和左邻接块NaL。要预测的块Ba的最优预测模式是预测模式Ma。邻接块NaU的参考预测模式是预测模式RMaU。邻接块NaL的参考预测模式是预测模式RMaL。在第一示例中，预测模式Ma和参考预测模式RMaL的预测方向彼此等同。在这种情况下，要预测的块Ba的MostProbableMode信息可以表示MPM索引＝“左”并且MPM标记＝“真”。MPM标记是表示对于要预测的块是否启用MostProbableMode的标记。MPM索引是在启用MostProbableMode时识别包括作为参考预测模式的有效的MostProbableMode的邻接块的位置的索引信息。在第一示例中，MPM索引可以是识别左邻接块候选和上邻接块候选之一的二进制信息。
图8的右侧示出了上层(增强层)中要预测的块Bb、以及要预测的块Bb的上邻接块NbU和左邻接块NbL。要预测的块Bb是与下层中要预测的块Ba对应的上层中的块。要预测的块Bb的最优预测模式是预测模式Mb。邻接块NbU的参考预测模式是预测模式RMbU。邻接块NbL的参考预测模式是预测模式RMbL。预测模式Mb和参考预测模式RMbL的预测方向彼此等同。在这种情况下，MostProbableMode信息可以仅表示MPM标记＝“真”。再利用来自下层的MPM索引，并且未在上层中生成由此MPM索引，并且MPM索引没有被编码在上层的编码流中。换言之，帧内预测部40b的确定部43b把针对要预测的块Ba的在MPM索引表示的位置处(在图8的示例中为左)的邻接块的参考预测模式(例如由帧内预测部40a的参数生成部45a生成并由无损编码部16a编码)视作针对要预测的块Bb的MostProbableMode。
(2)第二示例
图9的左侧示出了下层(例如基础层)中要预测的块Ba，以及要预测的块Ba的上邻接块NaU、右上邻接块NaUR、左顶部邻接块NaLT和左底部邻接块NaLB。要预测的块Ba的最优预测模式是预测模式Ma。邻接块NaU的参考预测模式是预测模式RMaU。邻接块NaUR的参考预测模式是预测模式RMaUR。邻接块NaLT的参考预测模式是预测模式RMaLT。邻接块NaLB的参考预测模式是预测模式RMaLB。在第二示例中，预测模式Ma和参考预测模式RMaLT的预测方向彼此等同。在这种情况下，要预测的块Ba的MostProbableMode信息可以表示MPM索引＝“左顶部”并且MPM标记＝“真”。在第二示例中，MPM索引可以是标识四个邻接块候选之一的信息。
图9的右侧示出了上层(增强层)中要预测的块Bb、以及要预测的块Bb的左顶部邻接块NbLT。要预测的块Bb是与下层中要预测的块Ba对应的上层中的块。要预测的块Bb的最优预测模式是预测模式Mb。邻接块NbLT的参考预测模式是预测模式RMbLT。预测模式Mb和参考预测模式RMbLT的预测方向彼此等同。在这种情况下，MostProbableMode信息可以仅表示MPM标记＝“真”。再利用来自下层的MPM索引，并且由此MPM索引未在上层中生成，并且没有被编码在上层的编码流中。换言之，帧内预测部40b的确定部43b把针对要预测的块Ba的在MPM索引表示的位置处(在图9的示例中为左顶部)的邻接块的参考预测模式(例如由帧内预测部40a的参数生成部45a生成并由无损编码部16a编码)视作针对要预测的块Bb的MostProbableMode。
(3)第三示例
图10的左侧示出了下层(例如基础层)中要预测的块Ba、以及要预测的块Ba的上邻接块NaU和左邻接块NaL。要预测的块Ba的最优预测模式是预测模式Ma。邻接块NaU的参考预测模式是预测模式RMaU。邻接块NaL的参考预测模式是预测模式RMaL。在第三示例中，预测模式Ma和参考预测模式RMaL的预测方向彼此等同。在这种情况下，要预测的块Ba的MostProbableMode信息可以表示MPM索引＝“左”并且MPM标记＝“真”。
图10的右侧示出了上层(增强层)中要预测的块Bb、以及要预测的块Bb的上邻接块NbU和左邻接块NbL。要预测的块Bb是与下层中要预测的块Ba对应的上层中的块。要预测的块Bb的最优预测模式是预测模式Mb。邻接块NbU的参考预测模式是预测模式RMbU。邻接块NbL的参考预测模式是预测模式RMbL。在第三示例中，预测模式Mb的预测方向与参考预测模式RMbU等同而不是与参考预测模式RMbL的预测方向等同。在这种情况下，即使在上层中，MostProbableMode信息也可以表示MPM索引＝“上”，而不是仅MPM标记＝“真”。参数生成部45a还生成再利用标记(Reuse Flag)＝“假”以作为另外的参数。
换言之，在第三示例中，引入再利用标记作为编码参数，并且该再利用标记表示是否再利用下层的MostProbableMode信息。随后，在再利用标记表示要再利用下层的MostProbableMode信息的情况下，MPM索引不被编码在上层中。相反地，在再利用标记不表示要再利用下层的MostProbableMode信息的情况下，在上层中也生成MPM索引，并且所生成的MPM索引(与再利用标记和MPM标记一起)由无损编码部16b进行编码。
注意，在第一至第三示例中，在要预测的块的最优预测模式与所有邻接块的参考预测模式不同的情况下，MPM标记表示“假”，并且针对要预测的块生成预测模式信息并将其编码。此外，在没有引入再利用标记的情况下，当要预测的块的最优预测模式与下层的MostProbableMode信息所识别的位置处的邻接块的参考预测模式不同，如在图10中的示例中，MPM标记同样可以表示“假”，并且可以针对要预测的该块对预测模式信息进行编码。
<3.根据实施例的编码期间的处理流程>
图11和12分别示出了根据本实施例的编码期间的帧内预测处理的流程的示例。在图11所示的第一示例中，没有引入使用图10描述的再利用标记。在图12所示的第二示例中，引入了再利用标记。
(1)第一示例
参照图11，首先，帧内预测部40a进行基础层帧内预测处理(步骤S100)。结果，确定基础层中图片内的预测单元的放置，并且针对每个预测单元确定最优预测模式。在帧内预测部40a中生成的预测模式信息和MostProbableMode信息被无损编码部16a编码在基础层的编码流中。层间缓冲器2缓冲针对每个预测单元生成的MostProbableMode信息。
从步骤S110至S180的处理是增强层帧内预测处理。在该处理中，在把每个增强层的每个预测单元视作要预测的块的情况下，重复从步骤S110至S165的处理。注意，在以下描述中，“上层”是要预测的层，而“下层”是要预测的层下方的层。
首先，当预测部42b根据多个预测模式候选生成要预测的块的预测图像时，确定部43b根据原始图像与预测图像之间的差别来计算成本函数值，并基于所计算的成本函数值确定最优预测模式Mb(步骤S110)。
接着，确定部43b确定所确定的最优预测模式Mb是否等同于下层的MostProbableMode信息中包括的MPM索引所标识的位置处的邻接块的参考预测模式(步骤S130)。此时，在预测模式Mb不同于相关邻接块的参考预测模式的情况下，处理进行到步骤S140。相反地，在预测模式Mb等同于相关邻接块的参考预测模式的情况下，处理进行到步骤S165。
在步骤S140中，参数生成部45b针对要预测的块生成MPM标记＝“假”以作为MostProbableMode信息(步骤S140)。接着，参数生成部45b生成表示最优预测模式Mb的预测模式信息(步骤S140)。
同时，在步骤S165中，参数生成部45b针对要预测的块生成MPM标记＝“真”以作为MostProbableMode信息(步骤S165)。参数生成部45b没有针对上层中要预测的块生成MPM索引以作为MostProbableMode信息。
此后，在要预测的层内剩余未处理的预测单元的情况下，处理返回到步骤S110(S180)。相反地，在没有剩余未处理的预测单元的情况下，另外确定是否存在剩余层(更高的上层)(S190)。此时，在存在剩余层的情况下，在把要预测的当前层视作下层并把下一层视作上层的情况下，重复从步骤S110开始的处理。层间缓冲器2缓冲MostProbableMode信息。在不存在剩余层的情况下，图11中的帧内预测处理结束。注意，此时生成的上层的预测模式信息和MostProbableMode信息被无损编码部16b编码在上层的编码流内。
(2)第二示例
参照图12，首先，帧内预测部40a进行基础层帧内预测处理(步骤S100)。结果，确定基础层中图片内的预测单元的放置，并且针对每个预测单元确定最优预测模式。在帧内预测部40a中生成的预测模式信息和MostProbableMode信息被无损编码部16a编码在基础层的编码流中。层间缓冲器2缓冲针对每个预测单元生成的MostProbableMode信息。
从步骤S110至S180的处理是增强层帧内预测处理。在该处理中，在把每个增强层的每个预测单元视作要预测的块的情况下，重复从步骤S110至S170的处理。
首先，当预测部42b根据多个预测模式候选生成要预测的块的预测图像时，确定部43b根据原始图像与预测图像之间的差别来计算成本函数值，并基于所计算的成本函数值确定最优预测模式Mb(步骤S110)。
接着，确定部43b确定所确定的最优预测模式Mb是否等同于邻接块之一的参考预测模式(步骤S120)。此时，在预测模式Mb不同于任何邻接块的参考预测模式的情况下，处理进行到步骤S140。相反地，在预测模式Mb等同于邻接块之一的参考预测模式的情况下，处理进行到步骤S130。
在步骤S130中，确定部43b确定预测模式Mb是否等同于下层的MostProbableMode信息中包括的MPM索引所标识的位置处的邻接块的参考预测模式(步骤S130)。此时，在预测模式Mb不同于相关邻接块的参考预测模式的情况下，处理进行到步骤S160。相反地，在预测模式Mb等同于相关邻接块的参考预测模式的情况下，处理进行到步骤S170。
在步骤S140中，参数生成部45b针对要预测的块生成MPM标记＝“假”以作为MostProbableMode信息(步骤S140)。接着，参数生成部45b生成表示最优预测模式Mb的预测模式信息(步骤S140)。
在步骤S160中，参数生成部45b针对要预测的块生成MPM标记＝“真”、再利用标记＝“假”以及MPM索引以作为MostProbableMode信息(步骤S160)。此时生成的MPM索引表示具有等同于预测模式Mb的参考预测模式的邻接块的位置。
在步骤S170中，参数生成部45b针对要预测的块生成MPM标记＝“真”以及再利用标记＝“真”以作为MostProbableMode信息(步骤S170)。在这种情况下，参数生成部45b没有针对上层中要预测的块生成MPM索引以作为MostProbableMode信息。
此后，在要预测的层内剩余未处理的预测单元的情况下，处理返回到步骤S110(S180)。相反地，在没有剩余未处理的预测单元的情况下，另外确定是否存在剩余层(更高的上层)(S190)。此时，在存在剩余层的情况下，在把要预测的当前层视作下层并把下一层视作上层的情况下，重复从步骤S110开始的处理。层间缓冲器2缓冲MostProbableMode信息。在不存在剩余层的情况下，图12中的帧内预测处理结束。注意，此时生成的上层的预测模式信息和MostProbableMode信息被无损编码部16b编码在上层的编码流内。
<4.根据实施例的解码部的示例性配置>
[4-1.示例性整体配置]
图13A是示出了图3所示的第一图片解码部6a的示例性配置的框图。参照图13A，第一图片解码部6a包括累积缓冲器61、无损解码部62a、逆量化部63、逆正交变换部64、加法部65、去块滤波器66、重排序缓冲器67、D/A(数模)转换部68、帧存储器69、选择器70和71、运动补偿部80、以及帧内预测部90a。
累积缓冲器61使用存储介质临时存储经由传输信道输入的编码流。
无损解码部62a根据编码时使用的编码方案对从累积缓冲器61输入的基础层的编码流进行解码。此外，无损解码部62a对被复用到编码流的头区域中的信息进行解码。由无损解码部62a解码的信息例如可以包括上面讨论的与帧内预测有关的信息以及与帧间预测有关的信息。与帧内预测有关的信息包括针对基础层中图片内的预测单元的预测模式信息和MostProbableMode信息。无损解码部62a将与帧间预测有关的信息输出到运动补偿部80。无损解码部62a还将与帧内预测有关的信息输出到帧内预测部90a。
逆量化部63对经受无损解码部62a解码的量化数据执行逆量化。逆正交变换部64根据编码时使用的正交变换方案对从逆量化部63输入的转换系数数据执行逆正交变换，从而生成预测误差数据。然后，逆正交变换部64将所生成的预测误差数据输出到加法部65。
加法部65将从逆正交变换部64输入的预测误差数据与从选择器71输入的预测图像数据相加到一起，从而生成解码图像数据。然后，加法部65将生成的解码图像数据输出到去块滤波器66和帧存储器69。
去块滤波器66通过对从加法部65输入到解码图像数据进行滤波来去除块伪像，并将滤波后的解码图像数据输出到重排序缓冲器67和帧存储器69。
重排序缓冲器67对从去块滤波器66输入的图像进行排序以按时间序列生成一系列图像数据。然后，重排序缓冲器67将所生成的图像数据输出到D/A转换部68。
D/A转换部68将从重排序缓冲器67输入的数字格式的图像数据转换成模拟格式的图像信号。然后，D/A转换部68例如将模拟图像信号输出到连接到图像解码装置60的显示器(未示出)，使得图像被显示。
帧存储器69使用存储介质以存储从加法部65输入的未滤波的解码图像数据以及从去块滤波器66输入的经滤波的解码图像数据。
选择器70根据无损解码部62a获取的模式信息，针对图像中的每个块在运动补偿部80与帧内预测部90a之间切换来自帧存储器69的图像数据的输出目的地。例如，在帧间预测模式被指定的情况下，选择器70将从帧存储器69提供的滤波后的解码图像数据作为参考图像数据输出到运动补偿部80。同时，在帧内预测模式被指定的情况下，选择器70将从帧存储器69提供的滤波前的解码图像数据作为参考图像数据输出到帧内预测部90a。
选择器71根据无损解码部62a获取的模式信息，在运动补偿部80与帧内预测部90a之间切换要提供给加法部65的预测图像数据的输出源。例如，在帧间预测模式被指定的情况下，选择器71将从运动补偿部80输出的预测图像数据提供给加法部65。此外，在帧内预测模式被指定的情况下，选择器71将从帧内预测部90a输出的预测图像数据提供给加法部65。
运动补偿部80基于从无损解码部62a输入的关于帧间预测的信息以及来自帧存储器69的参考图像数据来执行运动补偿处理。然后，运动补偿部80将所生成的预测图像数据输出到选择器71。
帧内预测部90a基于从无损解码部62a输入的关于帧内预测的信息以及来自帧存储器69的参考图像数据来执行基础层帧内预测处理，从而生成预测图像数据。然后，帧内预测部90a将所生成的预测图像数据输出到选择器71。下面进一步描述由帧内预测部90a执行的这样的帧内预测处理。
第一图片解码部6a对基础层中的一系列图像数据执行本文所述的系列解码处理。帧内预测部90a使用层间缓冲器7以缓冲针对每个预测单元解码的MostProbableMode信息。被缓冲的MostProbableMode信息由接下来描述的第二图片解码部6b使用。
图13B是示出了图3所示的第二图片解码部6b的配置示例的框图。参照图13B，第二图片解码部6b装备有累积缓冲器61、无损解码部62b、逆量化部63、逆正交变换部64、加法部65、去块滤波器66、重排序缓冲器67、D/A转换部68、帧存储器69、选择器70和71、运动补偿部80、以及帧内预测部90b。
无损解码部62b根据编码时使用的编码方案对从累积缓冲器61输入的增强层的编码流进行解码。此外，无损解码部62b对被复用到编码流的头区域中的信息进行解码。由无损解码部62b解码的信息例如可以包括上面讨论的与帧内预测有关的信息以及与帧间预测有关的信息。与帧内预测有关的信息可以包括针对增强层中图片内的预测单元的预测模式信息和MostProbableMode信息。无损解码部62b将与帧间预测有关的信息输出到运动补偿部80。无损解码部62a还将与帧内预测有关的信息输出到帧内预测部90b。
注意，如使用图8至10所述，对于再利用下层的MostProbableMode信息的预测单元，可以在编码器侧上部分地省略上层的MostProbableMode信息的编码。在这种情况下，无损编码部16b没有对省略的MostProbableMode信息进行解码。
帧内预测部90b使用从无损解码部62b输入的与帧内预测有关的信息、来自帧存储器69的参考图像数据、以及由层间缓冲器7存储的下层的MostProbableMode信息，来进行增强层帧内预测处理，并生成预测图像数据。然后，帧内预测部90b将所生成的预测图像数据输出到选择器71。稍后将进一步描述由帧内预测部90b进行的这样的帧内预测处理。
当存在多个增强层时，第二图片解码部6b对每个增强层执行这样的系列解码处理。帧内预测部90b还可以使用层间缓冲器7以缓冲针对每个预测单元确定的MostProbableMode信息以用于在甚至更高的上层中的处理。
[4-2.帧内预测部的示例性配置]
图14是示出了图13A所示的帧内预测部90a和图13B所示的帧内预测部90b的详细配置的示例的框图。参照图14，帧内预测部90a包括预测控制部91a、参数获取部92a、预测部93a、以及模式缓冲器94a。帧内预测部90b包括预测控制部91b、参数获取部92b、预测部93b、以及模式缓冲器94b。
预测控制部91a控制帧内预测部90a进行的基础层帧内预测处理。更具体地，预测控制部91a使得参数获取部92a获取由无损解码部62a解码的与帧内预测有关的信息。参数获取部92a所获取的信息包括针对基础层中图片内的预测单元的预测模式信息和MostProbableMode信息。预测部93a根据参数获取部92a所获取的预测模式信息和MostProbableMode信息来在每个预测单元设置预测模式。例如，预测部93a在其MPM标记表示“假”的预测单元设置由预测模式信息表示的预测模式。此外，预测部93a在其MPM标记表示“真”的预测单元设置与MPM索引所标识的位置处的邻接块的参考预测模式相同的预测模式。随后，预测部93a遵循所设置的预测模式通过使用从帧存储器69输入的参考图像数据生成每个预测单元的预测图像。模式缓冲器94a临时存储表示针对每个预测单元设置的预测模式的预测模式信息。预测部93a所生成的预测图像数据被输出到加法部65。此外，参数获取部92a所获取的MostProbableMode信息被输出到层间缓冲器7。
预测控制部91b控制帧内预测部90b进行的增强层帧内预测处理。更具体地，预测控制部91b使得参数获取部92b获取由无损解码部62b解码的与帧内预测有关的信息。参数获取部92b所获取的信息可以包括针对增强层中图片内的预测单元的预测模式信息和MostProbableMode信息。此外，预测控制部91b使参数获取部92b获取由层间缓冲器7存储的下层的MostProbableMode信息。预测部93b根据参数获取部92b所获取的预测模式信息和MostProbableMode信息来在每个预测单元设置预测模式。例如，预测部93b在其MPM标记表示“假”的预测单元设置由预测模式信息表示的预测模式。此外，预测部93b在其MPM标记表示“真”的预测单元设置从层间缓冲器7获取的、与MPM索引所标识的位置处的邻接块的参考预测模式相同的预测模式。在对针对给定预测单元表示“假”的再利用标记进行解码的情况下，预测部93b可以在该预测单元中设置与增强层中被单独解码的MPM索引所标识的位置处的邻接块的参考预测模式相同的预测模式。随后，预测部93b遵循所设置的预测模式通过使用从帧存储器69输入的参考图像数据生成每个预测单元的预测图像。模式缓冲器94b临时存储表示针对每个预测单元设置的预测模式的预测模式信息。预测部93b所生成的预测图像数据被输出到加法部65。此外，在存在甚至更高的上层的情况下，参数获取部92b还将MostProbableMode信息输出到层间缓冲器7。
<5.根据实施例的解码期间的处理流程>
图15和16分别示出了根据本实施例的解码期间的帧内预测处理的流程的示例。在图15所示的第一示例中，没有引入使用图10描述的再利用标记。在图16所示的第二示例中，引入了再利用标记。
(1)第一示例
参照图15，首先，帧内预测部90a进行基础层帧内预测处理(步骤S200)。因此，对于基础层中图片内的每个预测单元，通过使用从编码流解码的预测模式信息和MostProbableMode信息生成预测图像数据。层间缓冲器7缓冲针对每个预测单元生成的MostProbableMode信息。
从步骤S210至S280的处理是增强层帧内预测处理。在该处理中，在把每个增强层的每个预测单元视作要预测的块的情况下，重复从步骤S210至S270的处理。注意，在以下描述中，“上层”是要预测的层，而“下层”是要预测的层下方的层。
首先，参数获取部92b针对上层中要预测的块获取由无损解码部62b解码的MostProbableMode信息(步骤S210)。
接着，预测控制部91b确定上层中要预测的块的MPM标记是否表示“真”(步骤S220)。此时，在MPM标记不表示“真”的情况下，处理进行到步骤S230。相反地，在MPM标记表示“真”的情况下，处理进行到步骤S250。
在步骤S230，参数获取部92b针对要预测的块获取由无损解码部62b解码的预测模式信息(步骤S230)。参数获取部92b然后将所获取的预测模式信息输出到预测部93b。
在步骤S250，参数获取部92b获取由层间缓冲器7存储的且对应于要预测的块的下层的MostProbableMode信息(步骤S250)。参数获取部92b然后将所获取的MostProbableMode信息输出到预测部93b。预测部93b从模式缓冲器94b获取由包括在参数获取部92b所获取的MostProbableMode信息中的MPM索引所标识的位置处的邻接块的预测模式信息(步骤S260)。
接着，预测部93b根据所获取的预测模式信息设置要预测的块的预测模式，并根据所设置的预测模式生成要预测的块的预测图像(步骤S270)。
此后，在要预测的层内剩余未处理的预测单元的情况下，处理返回到步骤S210(步骤S280)。相反地，在没有剩余未处理的预测单元的情况下，另外确定是否存在剩余层(更高的上层)(步骤S290)。此时，在存在剩余层的情况下，在把要预测的当前层视作下层并把下一层视作上层的情况下，重复从步骤S210开始的处理。层间缓冲器7缓冲MostProbableMode信息。在不存在剩余层的情况下，图15中的帧内预测处理结束。
(2)第一示例
参照图16，首先，帧内预测部90a进行基础层帧内预测处理(步骤S200)。因此，对于基础层中图片内的每个预测单元，通过使用从编码流解码的预测模式信息和MostProbableMode信息生成预测图像数据。层间缓冲器7缓冲针对每个预测单元生成的MostProbableMode信息。
从步骤S210至S280的处理是增强层帧内预测处理。在该处理中，在把每个增强层的每个预测单元视作要预测的块的情况下，重复从步骤S210至S270的处理。
首先，参数获取部92b针对上层中要预测的块获取由无损解码部62b解码的MostProbableMode信息(步骤S210)。
接着，预测控制部91b确定上层中要预测的块的MPM标记是否表示“真”(步骤S220)。此时，在MPM标记不表示“真”的情况下，处理进行到步骤S230。相反地，在MPM标记表示“真”的情况下，处理进行到步骤S240。
在步骤S230，参数获取部92b针对要预测的块获取由无损解码部62b解码的预测模式信息(步骤S230)。参数获取部92b然后将所获取的预测模式信息输出到预测部93b。
在步骤S240，预测控制部91b确定要预测的块的再利用标记是否表示“真”(步骤S240)。此时，在再利用标记表示“真”的情况下，处理进行到步骤S250。相反地，在再利用标记不表示“真”的情况下，处理进行到步骤S265。
在步骤S250，参数获取部92b获取由层间缓冲器7存储的且对应于要预测的块的下层的MostProbableMode信息(步骤S250)。参数获取部92b然后将所获取的MostProbableMode信息输出到预测部93b。预测部93b从模式缓冲器94b获取由包括在参数获取部92b所获取的MostProbableMode信息中的MPM索引所表示的位置处的邻接块的预测模式信息(步骤S260)。
在步骤S265，预测部93b从模式缓冲器94b获取要预测的块的MostProbableMode信息中包括的MPM索引所表示的位置处的邻接块的预测模式信息(步骤S265)。
接着，预测部93b根据所获取的预测模式信息设置要预测的块的预测模式，并根据所设置的预测模式生成要预测的块的预测图像(步骤S270)。
此后，在要预测的层内剩余未处理的预测单元的情况下，处理返回到步骤S210(步骤S280)。相反地，在没有剩余未处理的预测单元的情况下，另外确定是否存在剩余层(更高的上层)(步骤S290)。此时，在存在剩余层的情况下，在把要预测的当前层视作下层并把下一层视作上层的情况下，重复从步骤S210开始的处理。层间缓冲器7缓冲MostProbableMode信息。在不存在剩余层的情况下，图16中的帧内预测处理结束。
<6.到各种图像编码方案的应用>
例如，根据本公开的技术不仅可应用于如上讨论的可伸缩编码，而且可应用于多视图编码和交错式编码。在该部分中，将描述将根据本公开的技术应用于多视图编码的示例。
多视图编码是用于对被称作立体图像的图像进行编码和解码的图像编码方案。在多视图编码中，生成分别对应于要立体显示的图像的右眼视图和左眼视图的两个编码流。选择这两个视图之一作为基础视图，而另一个被称作非基础视图。当对多视图图像数据进行编码时，可以通过基于基础视图中图片的编码参数对非基础视图中的图片进行编码来压缩编码流的总数据大小。
图17是用于说明在前的图像编码处理到多视图编码的应用的说明图。参照图17，示出了多视图编码装置810的配置作为示例。多视图编码装置810装备有第一图片编码部1a、第二图片编码部1b、视图间缓冲器2、以及复用部3。注意，作为本文的示例，左眼视图被视作基础视图。
第一图片编码部1a对左眼视图的图像进行编码，并生成基础视图的编码流。第二图片编码部1b对右眼视图的图像进行编码，并生成非基础视图的编码流。视图间缓冲器2临时存储在视图之间再利用的参数。复用部3将第一图片编码部1a所生成的基础视图的编码流与第二图片编码部1b所生成的非基础视图的编码流复用，并生成多视图复用流。
图18是用于说明在前的图像解码处理到多视图编码的应用的说明图。参照图18，示出了多视图解码装置860的配置作为示例。多视图解码装置860装备有解复用部5、第一图片解码部6a、第二图片解码部6b、以及视图间缓冲器7。
解复用部5将多视图复用流解复用成基础视图的编码流和非基础视图的编码流。第一图片解码部6a将基础视图的编码流解码成左眼视图的图像。第二图片解码部6b将非基础视图的编码流解码成右眼视图的图像。视图间缓冲器7临时存储在视图之间再利用的参数。
在将根据本公开的技术应用于交错式编码的情况下，第一图片编码部1a通过对构成单个帧的两个场之一进行编码来生成第一编码流，并且第一图片解码部6a对该第一编码流进行解码。同时，第二图片编码部1b通过对另一个场进行编码来生成第二编码流，并且第二图片解码部6b对该第二编码流进行解码。
<7.应用示例>
根据上述实施例的图像编码装置10和图像解码装置60可以应用于各种电子设备，诸如用于卫星广播、线缆广播(诸如有线电视)、因特网上的分发、经由蜂窝式通信分发到客户端装置等的发送器和接收器，将图像记录到诸如光盘、磁盘或闪存上的记录装置，以及播放来自这样的存储介质的播放装置。下面将描述四个示例应用。
[7-1.第一应用示例]
图19是示出了采用上述实施例的电视机的示例性示意配置的框图。电视机900包括天线901、调谐器902、解复用器903、解码器904、视频信号处理部905、显示部906、音频信号处理部907、扬声器908、外部接口909、控制部910、用户接口911、以及总线912。
调谐器902从经由天线901接收的广播信号中提取期望信道的信号，并对所提取的信号进行解调。然后，调谐器902将通过解调获得的编码比特流输出到解复用器903。也就是，调谐器902用作用于接收编码有图像的编码流的电视机900的传输装置。
解复用器903从编码比特流中分离出要观看的节目的视频流和音频流，并将分离的流输出到解码器904。此外，解复用器903从编码比特流中提取诸如电子节目指南(EPG)的辅助数据，并将所提取的数据提供给控制部910。另外，在编码比特流被扰码的情况下，解复用器903可以进行解扰。
解码器904对从解复用器903输入的视频流和音频流进行解码。然后，解码器904将通过解码处理所生成的视频数据输出到视频信号处理部905。此外，解码器904将通过解码处理所生成的音频数据输出到音频信号处理部907。
视频信号处理部905播放从解码器904输入的视频数据，并使显示部906显示视频。视频信号处理部905还可以使显示部906显示经由网络提供的应用屏幕。此外，视频信号处理部905可以根据设置例如对视频数据执行诸如噪声消除的额外处理。此外，视频信号处理部905例如可以生成诸如菜单、按钮或光标的图形用户界面(GUI)图像，并将所生成的图像叠加到输出图像上。
显示部906被视频信号处理部905所提供的驱动信号所驱动，并且在显示装置的视频屏幕上显示视频或图像(例如像液晶显示器、等离子体显示器、或OLED显示器)。
音频信号处理部907对从解码器904输入的音频数据执行播放处理(诸如D/A转换和放大)，并从扬声器908输出音频。此外，音频信号处理部907可以对音频数据执行诸如噪声消除的额外处理。
外部接口909是用于将电视机900连接到外部设备或网络的接口。例如，解码器904可以对经由外部接口909接收的视频流或音频流进行解码。也就是，外部接口909还用作用于接收编码有图像的编码流的电视机900的传输装置。
控制部910包括诸如中央处理单元(CPU)的处理器以及诸如随机存取存储器(RAM)和只读存储器(ROM)的存储器。存储器存储要由CPU执行的程序、程序数据、EPG数据、经由网络获取的数据等。例如，当激活电视机900时，存储在存储器中的程序被读取并由CPU执行。通过执行程序，CPU例如根据从用户接口911输入的操作信号来控制电视机900的操作。
用户接口911连接到控制部910。例如，用户接口911包括用户操作电视机900所使用的按钮和开关、以及遥控信号接收器。用户接口911经由这些结构元件检测用户的操作，生成操作信号，并将所生成的操作信号输出到控制部910。
总线912将调谐器902、解复用器903、解码器904、视频信号处理部905、音频信号处理部907、外部接口909和控制部910互连。
在以这种方式配置的电视机900中，解码器904包括根据前述实施例的图像解码装置60的功能。因此，可以在电视机装置900中的图像的可伸缩解码中更有效地对多个编码图片的编码流进行解码。
[7-2.第二应用示例]
图20是示出了采用上述实施例的移动电话的示例性示意配置的框图。移动电话920包括天线921、通信部922、音频编解码器923、扬声器924、麦克风925、摄像部926、图像处理部927、复用/解复用(mux/demux)部928、记录和播放部929、显示部930、控制部931、可操作部932、以及总线933。
天线921连接到通信部922。扬声器924和麦克风925连接到音频编解码器923。可操作部932连接到控制部931。总线933将通信部922、音频编解码器923、摄像部926、图像处理部927、复用/解复用部928、记录和播放部929、显示器930和控制部931互连。
移动电话920以包括音频通信模式、数据通信模式、成像模式和视频电话模式在内的各种工作模式执行诸如发送和接收音频信号、发送和接收电子邮件或图像数据、拍摄图像、以及记录数据的操作。
在音频通信模式下，由麦克风925生成的模拟音频信号被提供给音频编解码器923。音频编解码器923将模拟音频信号转换成音频数据，并对转换的音频数据进行A/D转换和压缩。然后，音频编解码器923将压缩的音频数据输出到通信部922。通信部922对音频数据进行编码和调制，并生成发送信号。然后，通信部922经由天线921将生成的发送信号发送到基站(未示出)。此外，通信部922对经由天线921接收的无线信号放大，并对无线信号的频率进行转换，并获取接收的信号。然后，通信部922对接收的信号进行解调和解码，并生成音频数据，并将生成的音频数据输出到音频编解码器923。音频编解码器923对音频数据进行解压缩和D/A转换，并生成模拟音频信号。然后，音频编解码器923将生成的音频信号提供给扬声器924并使音频被输出。
此外，在数据通信模式下，控制部931例如根据用户经由可操作部932进行的操作来生成构成邮件的文本数据。此外，控制部931使文本被显示在显示部930上。此外，控制部931根据经由可操作部932来自用户的发送指令来生成电子邮件数据，并将所生成的电子邮件数据输出到通信部922。通信部922对电子邮件数据进行编码和调制，并且生成发送信号。然后，通信部922经由天线921将所生成的发送信号发送到基站(未示出)。此外，通信部922将经由天线921接收的无线信号放大并对无线信号的频率进行转换，并获取所接收的信号。然后，通信部922对接收的信号进行解调和解码，恢复电子邮件数据，并将所恢复的电子邮件数据输出到控制部931。控制部931使显示部930显示电子邮件的内容，并且还使电子邮件数据存储在记录和播放部929的存储介质中。
记录和播放部929包括任意可读和可写的存储介质。例如，存储介质可以是嵌入式存储介质(诸如RAM或闪存)或外部安装的存储介质(诸如硬盘、磁盘、磁光盘、光盘、USB存储器或存储卡)。
此外，在成像模式下，例如，摄像部926对被摄对象拍摄图像，生成图像数据，并将所生成的图像数据输出到图像处理部927。图像处理部927对从摄像部926输入的图像数据进行编码，并且使编码流被存储在记录和播放部929的存储介质中。
此外，在视频电话模式下，例如，复用/解复用部928将图像处理部927编码的视频流和从音频编解码器923输入到音频流复用，并将复用的流输出到通信部922。通信部922对流进行编码和调制，并生成发送信号。然后，通信部922经由天线921将所生成的发送信号发送给基站(未示出)。此外，通信部922将经由天线921接收的无线信号放大并对无线信号的频率进行转换，并获取接收的信号。发送信号和接收信号可以包括编码比特流。然后，通信部922对接收的信号进行解调和解码，恢复流，并将恢复的流输出到复用/解复用部928。复用/解复用部928将从输入流中分离出视频流和音频流，并将视频流输出到图像处理部927以及将音频流输出到音频编解码器923。图像处理部927对视频流进行解码，并生成视频数据。视频数据被提供给显示部930，并且显示部930显示一系列图像。音频编解码器923对音频流进行解压缩和D/A转换，并生成模拟音频信号。然后，音频编解码器923将所生成的音频信号提供给扬声器924，并使音频被输出。
在以这种方式配置的移动电话920中，图像处理部927包括根据前述实施例的图像编码装置10和图像解码装置60的功能。因此，可以在便携式电话机920中的图像的可伸缩编码和解码中更有效地生成多个图片的编码流并且对所生成的编码流进行解码。
[7-3.第三应用示例]
图21是示出了采用上述实施例的记录和播放装置的示例性示意配置的框图。记录和播放装置940例如将接收的广播节目的音频数据和视频数据编码并记录到记录介质上。记录和播放装置940还可以将例如从另外的装置获取的音频数据和视频数据编码并记录到记录介质上。此外，记录和播放装置940例如根据来自用户的指令，经由监视器和扬声器播放被记录到记录介质上的数据。此时，记录和播放装置940对音频数据和视频数据进行解码。
记录和播放装置940包括调谐器941、外部接口942、编码器943、硬盘驱动器(HDD)944、盘驱动器945、选择器946、解码器947、屏幕上显示器(OSD)948、控制部949、以及用户接口950。
调谐器941从经由天线(未示出)接收的广播信号提取期望信道的信号，并对所提取的信号进行解调。然后，调谐器941将通过解调获得的编码比特流输出到选择器946。也就是，调谐器941用作记录和播放装置940的传输装置。
外部接口942是用于将记录和播放装置940连接到外部设备或网络的接口。例如，外部接口942可以是IEEE1394接口、网络接口、USB接口、闪存接口等。例如，通过外部接口942接收的视频数据和音频数据被输入到编码器943。也就是，外部接口942用作记录和播放装置940的传输装置。
在从外部接口942输入的视频数据和音频数据未被编码的情况下，编码器943对视频数据和音频数据进行编码。然后，编码器943将编码比特流输出到选择器946。
HDD944将作为被压缩的内容数据(诸如视频或音频、各种程序和其他数据)的编码比特流记录在内部硬盘上。此外，HDD944在播放视频和音频时从硬盘读取这样的数据。
盘驱动器945关于插入的记录介质记录或读取数据。插入盘驱动器945中的记录介质例如可以是DVD盘(诸如DVD-视频、DVD-RAM、DVD-R、DVD-RW、DVD+或DVD+RW盘)、蓝光(注册商标)盘等。
当记录视频和音频时，选择器946选择从调谐器941或编码器943输入的编码比特流，并将所选择的编码比特流输出到HDD944或盘驱动器945。此外，当播放视频和音频时，选择器946将从HDD944或盘驱动器945输入的编码比特流输出到解码器947。
解码器947对编码比特流进行解码，并生成视频数据和音频数据。然后，解码器947将所生成的视频数据输出到OSD948。此外，解码器904将所生成的音频数据输出到外部扬声器。
OSD948播放从解码器947输入的视频数据，并显示视频。此外，OSD948可以将例如GUI图像(诸如菜单、按钮或光标)叠加到所显示的视频上。
控制部949包括诸如CPU的处理器、以及诸如RAM或ROM的存储器。存储器存储要由CPU执行的程序、程序数据等。例如，当激活记录和播放装置940时，存储在存储器中的程序被读取并由CPU执行。通过执行程序，CPU例如根据从用户接口950输入的操作信号来控制记录和播放装置940的操作。
用户接口950连接到控制部949。用户接口950例如包括用户操作记录和播放装置940所使用的按钮和开关、以及遥控信号接收器。用户接口950经由这些结构元件检测用户的操作，生成操作信号，并且将所生成的操作信号输出到控制部949。
在以这种方式配置的记录和播放装置940中，编码器943包括根据前述实施例的图像编码装置10的功能。此外，解码器947包括根据前述实施例的图像解码装置60的功能。因此，可以在记录/再现装置940的图像的可伸缩编码和解码中更有效地生成多个图片的编码流并对所生成的编码进行解码。
[7-4.第四应用示例]
图22是示出了采用上述实施例的成像装置的示意配置的示例的框图。成像装置960拍摄被摄对象的图像，生成图像，对图像数据进行编码，并将图像数据记录到记录介质上。
成像装置960包括光学块961、成像部962、信号处理部963、图像处理部964、显示部965、外部接口966、存储器967、介质驱动器968、OSD969、控制部970、用户接口971、以及总线972。
光学块961连接到成像部962。成像部962连接到信号处理部963。显示部965连接到图像处理部964。用户接口971连接到控制部970。总线972将图像处理部964、外部接口966、存储器967、介质驱动器968、OSD969和控制部970互连。
光学块961包括聚光透镜、孔径光阑机构等。光学块961在成像部962的成像表面上形成被摄对象的光学图像。成像部962包括诸如CCD或CMOS传感器的图像传感器，并将在成像表面上形成的光学图像光电转换成作为电信号的图像信号。然后，成像部962将图像信号输出到信号处理部963。
信号处理部963对从成像部962输入的图像信号执行各种摄像信号处理，诸如拐点(knee)校正、伽马校正和颜色校正。信号处理部963将经处理的图像数据输出到图像处理部964。
图像处理部964对从信号处理部963输入的图像数据进行编码，并生成编码数据。然后，图像处理部964将所生成的编码数据输出到外部接口966或介质驱动器968。此外，图像处理部964对从外部接口966或介质驱动器968输入的编码数据进行解码，并生成图像数据。然后，图像处理部964将生成的图像数据输出到显示部965。此外，图像处理部964可以将从信号处理部963输入的图像数据输出到显示部965，并使图像被显示。此外，图像处理部964可以将从OSD969获取的显示数据叠加到要输出到显示部965的图像上。
OSD969例如生成诸如菜单、按钮或光标的GUI图像，并将生成的图像输出到图像处理部964。
外部接口966例如被配置为USB输入/输出端子。例如在打印图像时，外部接口966将成像装置960连接到打印机。此外，驱动器根据需要连接到外部接口966。诸如磁盘或光盘的可拆卸介质例如被插入驱动器中，并且从可拆卸介质读取的程序可以安装在成像装置960中。此外，外部接口966可以被配置为要连接到诸如LAN或因特网的网络的网络接口。也就是，外部接口966用作图像捕获装置960的传输装置。
例如，要插入介质驱动器968中的记录介质可以是任意可读和可写的可拆卸介质，诸如磁盘、磁光盘、光盘或半导体存储器。此外，记录介质例如可以被永久安装在介质驱动器968中以构成诸如内部硬盘驱动器或固态驱动器(SSD)的非便携式存储部。
控制部970包括诸如CPU的处理器以及诸如RAM或ROM的存储器。存储器存储要由CPU执行的程序、程序数据等。例如，当激活成像装置960时，存储在存储器中的程序被读取并由CPU执行。通过执行程序，CPU例如根据从用户接口971输入的操作信号来控制成像装置960的操作。
用户接口971连接到控制部970。用户接口971例如包括用户操作成像装置960所使用的按钮、开关等。用户接口971经由这些结构元件检测用户的操作，生成操作信号，并将生成的操作信号输出到控制部970。
在以这种方式配置的成像装置960中，图像处理部964包括根据前述实施例的图像编码装置10和图像解码装置60的功能。因此，可以在成像装置960的图像的可伸缩编码和解码中更有效地生成多个图片的编码流并对所生成的编码进行解码。
<8.结论>
以上使用图1至22来描述根据实施例的图像编码装置10和图像解码装置60。根据本实施例，在多个流被编码的图像编码方案中，当对给定图片内的预测单元执行帧内预测时，可以关于与共同的场景相关联的另一图片再利用用于对应的预测单元的MostProbableMode信息。因此，可以在多个流被编码的图像编码方案中更有效地对用于帧内预测的参数进行编码。
此外，根据本实施例，要再利用的MostProbableMode信息是这样的索引信息，该索引信息标识具有被视作MostProbableMode的参考预测模式的邻接块的位置。在一个共同场景(不一定是完全相同的场景)被示出在多个图片中的情况下，在这些图片中，图像的空间相关性彼此类似。因此，在这些图片中，帧内预测的最优预测方向同样趋于彼此类似。因此，如果在图片中再利用根据这样的最优预测方向确定的索引信息，则可以有效地减少MostProbableMode信息的比特率。
此外，根据本实施例，上述索引信息例如可以是标识左邻接块候选和上邻接块候选之一的信息。这样的配置理想上适于采用上述非专利文献2提出的技术的编码器和解码器。另外，上述索引信息还可以是从三个或更多个邻接块候选中标识一个邻接块候选的信息。在存在三个或更多个邻接块候选的情况下，指定邻接者的位置的索引信息的位长度变得更大。因此，在这种情况下，可以通过再利用索引信息而减少的MostProbableMode信息的比率也可以增大。
此外，根据本实施例，仅在另外的编码参数表示要再利用MostProbableMode信息的情况下，在图片中也可以再利用MostProbableMode信息。根据这样的配置，可以在第二图片内的对应的第二预测单元中覆写用于第一图片内的第一预测单元的索引信息，并利用用于第二预测单元的单独的MostProbableMode。结果，可以更灵活地进行在要或不要再利用MostProbableMode信息之间的切换。
注意，本说明书主要描述了如下示例：与帧内预测有关的信息和与帧间预测有关的信息被复用到编码流的头中并从编码侧发送到解码侧。然而，发送这样的信息的技术不限于这种示例。例如，这样的信息还可以被发送或记录为与编码比特流(还包含)相关联的单独数据，而没有被复用到编码比特流中。在本文中，术语“相关联”表示比特流中包括的图像以及对应于那些图像的信息可以在解码时链接。换言之，可以从图像(或比特流)在单独的传输信道上发送信息。此外，可以从图像(或比特流)将信息记录到单独的记录介质(或相同记录介质上的单独的记录区域)。此外，信息和图像(或比特流)可以以任意单元(诸如多个帧、单个帧、或帧内的部分)彼此相关联。
因此以上参照附图详细描述了本公开的优选实施例。然而，本公开的技术范围不限于这样的示例。本公开技术领域的普通技术人员将清楚可以进行各种修改或变更，只要它们在权利要求所阐述的技术构思的范围内，并且应理解这样的修改或变更显然属于本公开的技术范围。
另外，本技术还可以被配置如下。
(1)一种图像处理装置，包括：
解码部，其从与共同的场景相关联的两个或更多个图片中的第一图片的编码流中解码所述第一图片内的第一预测单元的MostProbableMode信息；
第一预测部，其使用由所述解码部所解码的MostProbableMode信息对所述第一预测单元进行帧内预测；
第二预测部，其使用由所述第一预测部使用的所述MostProbableMode信息，对所述两个或更多个图片中的第二图片内的与所述第一预测单元对应的第二预测单元进行帧内预测。
(2)根据(1)所述的图像处理装置，其中，
所述MostProbableMode包括索引信息，所述索引信息标识具有要被视作MostProbableMode的参考预测模式的邻接块的位置。
(3)根据(2)所述的图像处理装置，其中，
所述索引信息是标识左邻接块候选和上邻接块候选之一的信息。
(4)根据(2)所述的图像处理装置，其中，
所述索引信息是标识三个或更多个邻接块候选之中的一个邻接块候选的信息。
(5)根据(1)至(4)中任一项所述的图像处理装置，其中，
在从所述第二图片的编码流获取的参数表示要重用所述MostProbableMode信息的情况下，所述第二预测部使用所述MostProbableMode信息进行帧内预测。
(6)根据(1)至(5)中任一项所述的图像处理装置，其中，
所述第一图片与可伸缩编码图像的第一层对应，并且
所述第二图片与高于所述第一层的第二层相对应。
(7)根据(6)所述的图像处理装置，其中，
所述第一层和所述第二层具有相互不同的空间分辨率、噪声比或位深。
(8)根据(1)至(5)中任一项所述的图像处理装置，其中，
所述第一图片与要立体显示的图像的右眼视图和左眼视图之一对应，并且
所述第二图片与所述图像的右眼视图和左眼视图中的另一个对应。
(9)根据(1)至(5)中任一项所述的图像处理装置，其中，
所述第一图片与交错编码的图像的第一场对应，并且
所述第二图片与所述图像的第二场对应。
(10)一种图像处理方法，包括：
从与共同的场景相关联的两个或更多个图片中的第一图片的编码流中解码所述第一图片内的第一预测单元的MostProbableMode信息；
使用所解码的MostProbableMode信息，对所述第一预测单元进行帧内预测；以及
使用所述MostProbableMode信息，对所述两个或更多个图片中的第二图片内的与所述第一预测单元对应的第二预测单元进行帧内预测。
(11)一种图像处理装置，包括：
第一确定部，其确定是否针对与共同的场景相关联的两个或更多个图片中的第一图片内的第一预测单元启用MostProbableMode；
第一编码部，其根据所述第一确定部的确定结果将所述第一预测单元的MostProbableMode信息编码到所述第一图片的编码流中；以及
第二确定部，其确定是否将使用所述MostProbableMode信息指定的参考预测模式启用为针对所述两个或更多个图片中的第二图片内的与所述第一预测单元对应的第二预测单元的MostProbableMode。
(12)根据(11)所述的图像处理装置，其中，
所述MostProbableMode信息包括索引信息，所述索引信息标识具有所述参考预测模式的邻接块的位置。
(13)根据(12)所述的图像处理装置，其中，
所述索引信息是标识左邻接块候选和上邻接块候选之一的信息。
(14)根据(12)所述的图像处理装置，其中，
所述索引信息是标识三个或更多个邻接块候选之中的一个邻接块候选的信息。
(15)根据(12)至(14)中任一项所述的图像处理装置，还包括：
第二编码部，在针对所述第二预测单元重用所述MostProbableMode信息的情况下，所述第二编码部将表示要重用所述MostProbableMode信息的参数编码到所述第二图片的编码流中；
其中，在所述参数不表示要重用所述MostProbableMode信息的情况下，所述第二编码部将用于所述第二预测单元的单独的索引信息编码到所述第二图片的编码流中。
(16)根据(11)至(15)中任一项所述的图像处理装置，其中，
所述第一图片与可伸缩编码图像的第一层对应，并且
所述第二图片与高于所述第一层的第二层对应。
(17)根据(16)所述的图像处理装置，其中，
所述第一层和所述第二层具有相互不同的空间分辨率、噪声比或位深。
(18)根据(11)至(15)中任一项所述的图像处理装置，其中，
所述第一图片与要立体显示的图像的右眼视图和左眼视图之一对应，并且
所述第二图片与所述图像的右眼视图和左眼视图中的另一个对应。
(19)根据(11)至(15)中任一项所述的图像处理装置，其中，
所述第一图片与交错编码的图像的第一场对应，并且
所述第二图片与所述图像的第二场对应。
(20)一种图像处理方法，包括：
确定是否针对与共同的场景相关联的两个或更多个图片中的第一图片内的第一预测单元启用MostProbableMode；
根据所述确定的结果，将所述第一预测单元的MostProbableMode信息编码到所述第一图片的编码流中；以及
确定是否将使用所述MostProbableMode信息指定的参考预测模式启用为针对所述两个或更多个图片中的第二图片内的与所述第一预测单元对应的第二预测单元的MostProbableMode。
附图标记列表
10,810图像编码装置(图像处理装置)
16a第一编码部
16b第二编码部
43a第一确定部
43b第二确定部
60,860图像解码装置(图像处理装置)
62a解码部
93a第一预测部
93b第二预测部

Claims (20)

1.一种图像处理装置，包括：
解码部，其从与共同的场景相关联的两个或更多个图片中的第一图片的编码流中解码所述第一图片内的第一预测单元的MostProbableMode信息；
第一预测部，其使用由所述解码部所解码的MostProbableMode信息对所述第一预测单元进行帧内预测；
第二预测部，其使用由所述第一预测部使用的所述MostProbableMode信息，对所述两个或更多个图片中的第二图片内的与所述第一预测单元对应的第二预测单元进行帧内预测。
2.根据权利要求1所述的图像处理装置，其中，
所述MostProbableMode包括索引信息，所述索引信息标识具有要被视作MostProbableMode的参考预测模式的邻接块的位置。
3.根据权利要求2所述的图像处理装置，其中，
所述索引信息是标识左邻接块候选和上邻接块候选之一的信息。
4.根据权利要求2所述的图像处理装置，其中，
所述索引信息是标识三个或更多个邻接块候选之中的一个邻接块候选的信息。
5.根据权利要求1所述的图像处理装置，其中，
在从所述第二图片的编码流获取的参数表示要重用所述MostProbableMode信息的情况下，所述第二预测部使用所述MostProbableMode信息进行帧内预测。
6.根据权利要求1所述的图像处理装置，其中，
所述第一图片与可伸缩编码图像的第一层对应，并且
所述第二图片与高于所述第一层的第二层相对应。
7.根据权利要求6所述的图像处理装置，其中，
所述第一层和所述第二层具有相互不同的空间分辨率、噪声比或位深。
8.根据权利要求1所述的图像处理装置，其中，
所述第一图片与要立体显示的图像的右眼视图和左眼视图之一对应，并且
所述第二图片与所述图像的右眼视图和左眼视图中的另一个对应。
9.根据权利要求1所述的图像处理装置，其中，
所述第一图片与交错编码的图像的第一场对应，并且
所述第二图片与所述图像的第二场对应。
10.一种图像处理方法，包括：
从与共同的场景相关联的两个或更多个图片中的第一图片的编码流中解码所述第一图片内的第一预测单元的MostProbableMode信息；
使用所解码的MostProbableMode信息，对所述第一预测单元进行帧内预测；以及
使用所述MostProbableMode信息，对所述两个或更多个图片中的第二图片内的与所述第一预测单元对应的第二预测单元进行帧内预测。
11.一种图像处理装置，包括：
第一确定部，其确定是否针对与共同的场景相关联的两个或更多个图片中的第一图片内的第一预测单元启用MostProbableMode；
第一编码部，其根据所述第一确定部的确定结果将所述第一预测单元的MostProbableMode信息编码到所述第一图片的编码流中；以及
第二确定部，其确定是否将使用所述MostProbableMode信息指定的参考预测模式启用为针对所述两个或更多个图片中的第二图片内的与所述第一预测单元对应的第二预测单元的MostProbableMode。
12.根据权利要求11所述的图像处理装置，其中，
所述MostProbableMode信息包括索引信息，所述索引信息标识具有所述参考预测模式的邻接块的位置。
13.根据权利要求12所述的图像处理装置，其中，
所述索引信息是标识左邻接块候选和上邻接块候选之一的信息。
14.根据权利要求12所述的图像处理装置，其中，
所述索引信息是标识三个或更多个邻接块候选之中的一个邻接块候选的信息。
15.根据权利要求12所述的图像处理装置，还包括：
第二编码部，在针对所述第二预测单元重用所述MostProbableMode信息的情况下，所述第二编码部将表示要重用所述MostProbableMode信息的参数编码到所述第二图片的编码流中；
其中，在所述参数不表示要重用所述MostProbableMode信息的情况下，所述第二编码部将用于所述第二预测单元的单独的索引信息编码到所述第二图片的编码流中。
16.根据权利要求11所述的图像处理装置，其中，
所述第一图片与可伸缩编码图像的第一层对应，并且
所述第二图片与高于所述第一层的第二层对应。
17.根据权利要求16所述的图像处理装置，其中，
所述第一层和所述第二层具有相互不同的空间分辨率、噪声比或位深。
18.根据权利要求11所述的图像处理装置，其中，
所述第一图片与要立体显示的图像的右眼视图和左眼视图之一对应，并且
所述第二图片与所述图像的右眼视图和左眼视图中的另一个对应。
19.根据权利要求11所述的图像处理装置，其中，
所述第一图片与交错编码的图像的第一场对应，并且
所述第二图片与所述图像的第二场对应。
20.一种图像处理方法，包括：
确定是否针对与共同的场景相关联的两个或更多个图片中的第一图片内的第一预测单元启用MostProbableMode；
根据所述确定的结果，将所述第一预测单元的MostProbableMode信息编码到所述第一图片的编码流中；以及
确定是否将使用所述MostProbableMode信息指定的参考预测模式启用为针对所述两个或更多个图片中的第二图片内的与所述第一预测单元对应的第二预测单元的MostProbableMode。
CN201280060389.8A 2011-12-15 2012-10-15 图像处理装置和图像处理方法 Pending CN103988507A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011-274660 2011-12-15
JP2011274660A JP2013126157A (ja) 2011-12-15 2011-12-15 画像処理装置及び画像処理方法
PCT/JP2012/076618 WO2013088833A1 (ja) 2011-12-15 2012-10-15 画像処理装置及び画像処理方法

Publications (1)

Publication Number Publication Date
CN103988507A true CN103988507A (zh) 2014-08-13

Family

ID=48612290

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280060389.8A Pending CN103988507A (zh) 2011-12-15 2012-10-15 图像处理装置和图像处理方法

Country Status (14)

Country Link
US (1) US20140241428A1 (zh)
EP (1) EP2793465A4 (zh)
JP (1) JP2013126157A (zh)
KR (1) KR20140110842A (zh)
CN (1) CN103988507A (zh)
AU (1) AU2012353798A1 (zh)
BR (1) BR112014013858A2 (zh)
CA (1) CA2850349A1 (zh)
IN (1) IN2014CN04238A (zh)
MX (1) MX2014006764A (zh)
RU (1) RU2014123205A (zh)
TW (1) TW201332365A (zh)
WO (1) WO2013088833A1 (zh)
ZA (1) ZA201402438B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2509901A (en) * 2013-01-04 2014-07-23 Canon Kk Image coding methods based on suitability of base layer (BL) prediction data, and most probable prediction modes (MPMs)
US20160373740A1 (en) * 2014-03-05 2016-12-22 Sony Corporation Image encoding device and method
JP2015211386A (ja) * 2014-04-28 2015-11-24 富士通株式会社 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
JP2016005210A (ja) * 2014-06-19 2016-01-12 三菱電機株式会社 端末装置及びデータ管理装置
EP3635952B1 (en) 2017-06-05 2024-07-03 Immersive Robotics Pty Ltd Digital content stream compression
TWI847965B (zh) * 2017-11-21 2024-07-11 澳大利亞商伊門斯機器人控股有限公司 用於數位實境之影像壓縮
US11553187B2 (en) 2017-11-21 2023-01-10 Immersive Robotics Pty Ltd Frequency component selection for image compression
WO2019137730A1 (en) * 2018-01-11 2019-07-18 Telefonaktiebolaget Lm Ericsson (Publ) Multiple boundary filtering
CN112073788B (zh) * 2019-06-10 2023-04-14 海信视像科技股份有限公司 视频数据处理方法、装置及显示设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005528047A (ja) * 2002-05-28 2005-09-15 シャープ株式会社 画像符号化システム、画像復号システム、及び画像を分割したブロックの画素値の予測方法
WO2007008286A1 (en) * 2005-07-11 2007-01-18 Thomson Licensing Method and apparatus for macroblock adaptive inter-layer intra texture prediction
CN101228797A (zh) * 2005-07-21 2008-07-23 三星电子株式会社 通过扩展方向帧内预测的应用对视频信号编码和解码的方法和设备
CN101529911A (zh) * 2006-10-16 2009-09-09 夏普株式会社 用于对多层比特流数据进行信号指示的方法和系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060153295A1 (en) * 2005-01-12 2006-07-13 Nokia Corporation Method and system for inter-layer prediction mode coding in scalable video coding
KR101233854B1 (ko) * 2005-02-18 2013-02-15 톰슨 라이센싱 저해상도 픽처로부터 고해상도 픽처에 대한 코딩 정보를도출하기 위한 방법 및 이 방법을 구현하는 코딩 및 디코딩장치
JP5017825B2 (ja) * 2005-09-15 2012-09-05 ソニー株式会社 復号装置および復号方法
US8059714B2 (en) * 2006-07-10 2011-11-15 Sharp Laboratories Of America, Inc. Methods and systems for residual layer scaling
US7840078B2 (en) * 2006-07-10 2010-11-23 Sharp Laboratories Of America, Inc. Methods and systems for image processing control based on adjacent block characteristics
US7885471B2 (en) * 2006-07-10 2011-02-08 Sharp Laboratories Of America, Inc. Methods and systems for maintenance and use of coded block pattern information
KR101306834B1 (ko) * 2008-09-22 2013-09-10 에스케이텔레콤 주식회사 인트라 예측 모드의 예측 가능성을 이용한 영상 부호화/복호화 장치 및 방법
US20110280311A1 (en) * 2010-05-13 2011-11-17 Qualcomm Incorporated One-stream coding for asymmetric stereo video
BR112013031215B8 (pt) * 2011-06-10 2022-07-19 Mediatek Inc Método e aparelho de codificação escalável de vídeo

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005528047A (ja) * 2002-05-28 2005-09-15 シャープ株式会社 画像符号化システム、画像復号システム、及び画像を分割したブロックの画素値の予測方法
WO2007008286A1 (en) * 2005-07-11 2007-01-18 Thomson Licensing Method and apparatus for macroblock adaptive inter-layer intra texture prediction
CN101228797A (zh) * 2005-07-21 2008-07-23 三星电子株式会社 通过扩展方向帧内预测的应用对视频信号编码和解码的方法和设备
CN101529911A (zh) * 2006-10-16 2009-09-09 夏普株式会社 用于对多层比特流数据进行信号指示的方法和系统
JP2010507267A (ja) * 2006-10-16 2010-03-04 シャープ株式会社 マルチレイヤ・ビットストリームデータを情報伝達するための方法およびシステム

Also Published As

Publication number Publication date
EP2793465A1 (en) 2014-10-22
US20140241428A1 (en) 2014-08-28
KR20140110842A (ko) 2014-09-17
MX2014006764A (es) 2014-08-01
RU2014123205A (ru) 2015-12-20
WO2013088833A1 (ja) 2013-06-20
ZA201402438B (en) 2014-07-30
CA2850349A1 (en) 2013-06-20
TW201332365A (zh) 2013-08-01
EP2793465A4 (en) 2015-07-22
IN2014CN04238A (zh) 2015-08-14
AU2012353798A1 (en) 2014-04-03
JP2013126157A (ja) 2013-06-24
BR112014013858A2 (pt) 2017-06-13

Similar Documents

Publication Publication Date Title
US10931955B2 (en) Image processing device and image processing method that horizontal filtering on pixel blocks
US10334279B2 (en) Image processing device and image processing method
CN103988507A (zh) 图像处理装置和图像处理方法
CN103535037A (zh) 图像处理装置和图像处理方法
CN104126304A (zh) 图像处理装置和方法
US10027988B2 (en) Image processing device and method
CN102972026A (zh) 图像处理装置和图像处理方法
CN103416060A (zh) 图像处理装置和方法
CN109644269A (zh) 图像处理设备、图像处理方法和程序
CN102577390A (zh) 图像处理设备和方法
WO2013164922A1 (ja) 画像処理装置及び画像処理方法
CN102301723A (zh) 图像处理设备和方法
CN104025597A (zh) 图像处理装置和方法
WO2013001939A1 (ja) 画像処理装置及び画像処理方法
CN104854868B (zh) 图像处理设备和方法
CN103907354A (zh) 编码设备和编码方法，及解码设备和解码方法
US20210297687A1 (en) Encoding apparatus, encoding method, decoding apparatus, and decoding method
KR102197557B1 (ko) 화상 처리 장치 및 방법
WO2014097703A1 (ja) 画像処理装置及び画像処理方法
CN103220513A (zh) 图像处理设备和方法
US20140348220A1 (en) Image processing apparatus and image processing method

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140813

WD01 Invention patent application deemed withdrawn after publication