CN102939759A

CN102939759A - 图像处理设备和方法

Info

Publication number: CN102939759A
Application number: CN201180027604XA
Authority: CN
Inventors: 佐藤数史
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2010-06-11
Filing date: 2011-06-02
Publication date: 2013-02-20
Also published as: WO2011155377A1; JP2011259361A; US20130077672A1

Abstract

本发明涉及能够提高编码效率的图像处理设备和方法。该图像处理设备包括：帧内预测单元，其通过利用多个预测模式是执行帧内预测，并基于所获得的预测结果选择最佳预测模式；更新单元，其更新用于帧内预测单元所执行的帧内预测的各个预测模式的编号的分配，使得预测模式的出现频率越高，分配给预测模式的号越小；以及编码单元，其对根据更新单元所更新的编号分配而分配给帧内预测单元所执行的帧内预测的预测模式的编号进行编码。该技术可应用于例如图像处理设备。

Description

图像处理设备和方法

技术领域

本公开文件涉及图像处理设备和方法，更具体而言涉及能够提高编码效率的图像处理设备和方法。

背景技术

近年来，符合编码方案如MPEG（运动图像专家组）的装置已经广泛用于广播站进行的信息传播（dissemination）和普通家庭进行的信息接收，其中，这些装置处理作为数字信号的图像信息，并在此时通过正交变换（如离散余弦变换等）或运动补偿对图像进行压缩，利用作为图像信息的特征的冗余度（redundancy），以实现对信息的高效传输和存储。

具体而言，MPEG2（ISO（标准化国际组织）/IEC（国际电工委员会）13818-2）被定义为通用图像编码方案，并且是涵盖了隔行扫描图像和顺序扫描图像、标准分辨率图像和高清图像的标准。MPEG2现在被专业使用应用场景和家用应用场景广泛采用。通过采用MPEG2压缩方案，例如，在标准分辨率720×480像素的隔行扫描图像的情况下，分配4到8Mbps的码量（比特率），而在1920×1088像素的高分辨率的隔行扫描图像的情况下，分配18到22Mbps的码量（比特率）。由此，能够实现高压缩率和优质的图像质量。

MPEG2的主要目的在于适合于广播的高分辨率图像编码，但是不对应于对比MPEG1量小的码（低比特率）进行编码的编码方案，即，以高压缩率进行编码的编码方案。随着移动终端的普及，预计在未来会增加对这种编码方案的需求。为此，已经确认了MPEG4编码方案的标准化。关于图像编码方案，其规格在1998年12月被确认为国际标准ISO/IEC14496-2。

此外，近年来，起初为了电视会议的视频编码的目的，改进了被称作H.26（（ITU-T）国际电信联盟电信标准化部门）Q6/16 VCEG（视频编码专家组）的标准的规格的标准化。已知H.26L实现了更高的编码效率，然而它比传统的编码方案如MPEG2和MPEG4需要更大的编码和解码的计算量。此外，目前作为MPEG4的活跃性的一部分，用于将不被H.26L支持的功能结合到H.26L的标准化被作为增强压缩视频编码的联合模型来执行，以实现高的编码效率。

标准化的时间表表明，它在2003年3月在H.264和MPEG-4部分10（高级视频编码，在下文中称作AVC）的名下变为国际标准。

此外，作为其扩展，已在2005年2月完成了包括商务操作所需的编码工具（如RGB、4:2:2、4:4:4等等）以及MPEG-2规定的8×8DCT（离散余弦变换）和量化矩阵的FRExt（高保真扩展）的标准化。它成为一种能够利用AVC很好地表达在电影中包括的影片噪声的编码方案，因而将被广泛用于如蓝光盘之类的应用中。

然而，当前，对甚至更高的压缩率编码的需求有所增加，如压缩大约4000×2000像素的图像，其是高清电视图像像素的四倍，或者如在具有有限的传输能力的环境如互联网中分发高清电视图像。因此，ITU-T下的VCEG（视频编码专家组）一直在研究提高编码效率。

顺便提及，大图像帧（称作UHD，超高清；4000像素×2000像素）将成为下一代编码方案的目标，目前已经实践的将宏块的尺寸设置为16像素×16像素对于大图像帧而言不是最佳的。因此，非专利文献2将更大尺寸，例如，64×64像素或32像素×32像素处理作为宏块的尺寸。

引用列表

非专利文献1：Sung-Chang Lim,Hahyun Lee,Jinho Lee,JonghoKim,Haechul Choi,Seyoon Jeong,Jin Soo Choi,“Intra coding usingextended block size（利用扩展的块尺寸的帧内编码）”,VCEG-AL28,2009年7月。

发明内容

本发明要解决的问题

顺便提及，帧内预测技术通过将较短的编号（code_number）分配给更频繁出现的预测模式来提高编码效率。然而，AVC编码方案采用固定的分配，尽管更频繁出现的预测模式随着序列或比特率而改变。因此，难以利用AVC编码方案来实现最佳的编码效率。

本公开文件是鉴于以上情况做出的，并旨在提供一种能够通过向预测模式分配更适当的编号来提高编码效率的手段。

针对问题的解决方案

本公开文件的一个方面是一种图像处理设备，包括：帧内预测单元，其通过利用多个预测模式执行帧内预测，并基于所获得的预测结果选择最佳预测模式；更新单元，其更新用于所述帧内预测单元所执行的所述帧内预测的各个预测模式的编号分配，以使得更小值被分配给具有更高出现频率的预测模式；以及编码单元，其对根据所述更新单元所更新的编号分配而分配给所述帧内预测单元所执行的所述帧内预测的预测模式的编号进行编码。

所述更新单元可以针对以下预测模式中的至少一个预测模式根据所述出现频率来更新所述编号分配：帧内4×4预测模式、帧内8×8预测模式、帧内16×16预测模式、用于扩展宏块的帧内预测模式、以及用于色度信号的帧内预测模式，其中所述扩展宏块是编码处理单位并被扩展为具有大于16×16像素的尺寸。

图像处理设备还可以包括：IDR切片检测单元，其检测IDR切片（slice）并确定当前切片是否为IDR切片，其中，当该切片被所述IDR切片检测单元的检测确定为所述IDR切片时，所述更新单元针对该切片对所述编号分配进行初始化并且将所述编号分配设置为预定的初始值。

所述编号分配的所述初始值是在AVC编码方案中规定的编号分配方法。

图像处理设备还可以包括：场景改变检测单元，其检测所述当前切片中的场景改变，其中，当所述场景改变检测单元确定在该切片中包括场景改变时，所述更新单元针对该切片对所述编号分配进行初始化，并且将所述编号分配设置为预定的初始值。

当所述场景改变检测单元确定在该切片中包括所述场景改变时，所述更新单元将标记信息的值设置为表示所述初始值的值，所述标记信息表示针对该切片的编号分配是所述更新单元更新的编号分配或所述预定的初始值。

在对当前I切片的编码处理完成之后，所述更新单元可以按照将更小值分配给在该I切片中有更高出现频率的每个预测模式的方式，针对下一I切片更新所述编号分配。

所述更新单元可以将针对在P切片或B切片中包括的帧内宏块的编号分配设置为预定的初始值。

所述更新单元将针对在P切片或B切片中包括的帧内宏块的编号分配更新为针对紧邻的前一I切片设置的编号分配。

当在P切片或B切片中包括的帧内宏块的数量大于预定参考值时，所述更新单元可以更新针对在所述P切片或所述B切片中包括的帧内宏块的编号分配，以使得更小值被分配给具有更高出现频率的预测模式。

所述更新单元可以根据所述模式的出现频率来甚至更新用于运动补偿分割模式的编号分配。

本公开文件的一个方面是一种图像处理设备的图像处理方法，包括：通过帧内预测单元通过利用多个预测模式执行帧内预测，并基于所获得的预测结果选择最佳预测模式；通过更新单元来更新用于所述帧内预测的各个预测模式的编号的分配，使得更小值被分配给具有更高出现频率的预测模式；以及通过编码单元对用于所执行的帧内预测的预测模式的编号进行编码，所述编号是根据所更新的编号分配来分配的。

本公开文件的另一个方面是一种图像处理设备，包括：解码单元，其对用于帧内预测的预测模式的编号进行解码；更新单元，其更新用于所述帧内预测的各个预测模式的编号分配，以使得更小值被分配给具有更高出现频率的预测模式；以及帧内预测单元，其根据所述更新单元所更新的编号分配，按照与所述解码单元所解码的编号对应的预测模式来执行所述帧内预测。

本公开文件的另一个方面是一种图像处理设备的图像处理方法，包括：通过解码单元对用于帧内预测的预测模式的编号进行解码；通过更新单元更新用于所述帧内预测的各个预测模式的编号分配，以使得更小值被分配给具有更高出现频率的预测模式；以及通过帧内预测单元根据所更新的编号分配，按照与所解码的编号对应的预测模式来执行所述帧内预测。

在本公开文件的一个方面中，通过利用多个预测模式执行帧内预测，基于所获得的预测结果选择最佳预测模式，更新帧内预测的各个预测模式的编号分配，以使得更小值被分配给更频繁出现的预测模式，并对分配给帧内预测的所执行的预测模式的编号进行编码，该编号是根据所更新的编号分配来分配的。

在本公开文件的另一个方面中，对帧内预测的预测模式的编号进行解码，更新帧内预测的各个预测模式的编号分配，以使得更小值被分配给更频繁出现的预测模式，并根据更新的编号分配，按照与解码的编号对应的预测模式来执行帧内预测。

发明效果

根据本公开文件，能够处理图像。具体而言，能够提高编码效率。

附图说明

图1是示出了图像编码装置的主要配置的示例的框图。

图2是示出了AVC编码方案中的宏块中所包括的4×4块的处理序列的图。

图3是示出了AVC编码方案中规定的帧内4×4预测模式的图。

图4是示出了AVC编码方案中规定的帧内4×4预测模式的图。

图5是示出了AVC编码方案中规定的帧内4×4预测模式的预测方向的图。

图6是用于描述AVC编码方案中规定的帧内4×4预测模式的预测方法的图。

图7是用于描述AVC编码方案中规定的帧内4×4预测模式的编码方法的图。

图8是示出了AVC编码方案中规定的帧内8×8预测模式的图。

图9是示出了AVC编码方案中规定的帧内8×8预测模式的图。

图10是示出了AVC编码方案中规定的帧内16×16预测模式的图。

图11是示出了AVC编码方案中规定的帧内16×16预测模式的图。

图12是用于描述AVC编码方案中规定的帧内16×16预测模式中的预测值的计算方法的图。

图13是示出了AVC编码方案中规定的色度（chrominance）信号的预测模式的示例的图。

图14是示出了根据AVC编码方案中规定的CAVLC方案的编号的示例的图。

图15是示出了根据AVC编码方案中规定的CAVLC方案的运动向量的编号的示例的图。

图16是示出了AVC编码方案中规定的扫描系统的示例的图。

图17是示出了AVC编码方案中规定的CAVLC的操作原理的特定示例的图。

图18是用于描述二进制算术编码的操作原理的图。

图19是用于描述二进制算术编码中的再归一化（renormalization）处理的图。

图20是示出了CABAC方案的概况的图。

图21是描述一元码（unary_code）的示例的图。

图22是描述定义I光栅（raster）的表的示例的图。

图23是描述定义P光栅的表的示例的图。

图24是描述定义B光栅的表的示例的图。

图25是示出了图1的编号分配的详细配置示例的图。

图26是描述编码处理的流程的示例的流程图。

图27是描述帧内预测处理的流程的示例的流程图。

图28是描述用于I光栅的编号分配处理的流程的示例的流程图。

图29是描述P光栅或B光栅的编号分配处理的流程的示例的流程图。

图30是示出了图像编码装置的主要配置示例的框图。

图31是示出了图30的编号分配单元的详细配置示例的框图。

图32是描述解码处理的流程的示例的流程图。

图33是描述预测处理的流程的示例的流程图。

图34是描述编号分配处理的流程的示例的流程图。

图35是示出了宏块的示例的图。

图36是示出了个人计算机的主要配置示例的框图。

图37是示出了电视接收机的主要配置示例的框图。

图38是示出了移动电话的主要配置示例的框图。

图39是示出了硬盘记录器的主要配置示例的框图。

图40是示出了摄像机的主要配置示例的框图。

具体实施方式

在下文中描述用于实施本技术的形式（以下称作实施例）。按照以下顺序来进行描述。

1.第一实施例（图像编码装置）

2.第二实施例（图像解码装置）

3.第三实施例（个人计算机）

4.第四实施例（电视接收机）

5.第五实施例（移动电话）

6.第六实施例（硬盘记录器）

7.第七实施例（摄像机）

<1.第一实施例>

[图像编码装置]

图1示出了用作图像处理设备的图像编码装置的一个实施例的配置。

图1中所示的图像编码装置100是例如按照与H.264和MPEG（移动图片专家组）4部分10（AVC（高级图像编码））（在下文中称作H.264/AVC）类似的方式对图像进行编码的编码装置。然而，图像编码装置100根据出现频率来自适应性地向帧内预测模式分配编号（code_number）。以该方式，图像编码装置100还可以提高所输出的编码数据的编码效率。

在图1所示的示例中，图像编码装置100包括A/D（模拟/数字）转换器101、屏幕重布置缓冲器102、计算单元103、正交变换单元104、量化单元105、无损编码单元106和存储缓冲器107。图像编码装置100还包括逆量化单元108、逆正交变换单元109、计算单元110、去块滤波器（deblocking filter）111、帧存储器112、选择单元113、帧内预测单元114、运动预测补偿单元115、选择单元116和速率控制器117。

此外，图像编码装置100还包括编号分配单元121。

A/D转换器101将输入图像数据从模拟转换为数字，并将所得到的数据输出到屏幕重布置缓冲器102以进行存储。

屏幕重布置缓冲器102根据GOP（图片组）结构，将按照用于显示的顺序存储的帧图像重新布置为用于编码的帧的顺序。屏幕重布置缓冲器102将其帧被重新布置的图像提供给计算单元103。而且，屏幕重布置缓冲器102将其帧被重新布置的图像提供给帧内预测单元114和运动预测补偿单元115。

计算单元103从读取自屏幕重布置缓冲器102的图像中减去通过选择单元116从帧内预测单元114或运动预测补偿单元115提供的预测图像，并将差信息输出到正交变换单元104。

例如，对于要受到帧内编码（intra coding）的图像，计算单元103从读取自屏幕重布置缓冲器102的图像中减去从帧内预测单元114提供的预测图像。例如，对于要受到帧间编码（inter coding）的图像，计算单元103从读取自屏幕重布置缓冲器102的图像中减去从运动预测补偿单元115提供的预测图像。

正交变换单元104对从计算单元103提供的差信息执行正交变换，如离散余弦正交变换和Karhunen-Loeve变换，并将变换系数提供给量化单元105。

量化单元105对从正交变换单元104输出的变换系数进行量化。量化单元105基于从速率控制器117提供的信息来设置量化参数，并执行量化。量化单元105将量化的变换系数提供给无损编码单元106。

无损编码单元106对量化的变换系数执行无损编码，如可变长度编码和算术编码。

无损编码单元106从帧内预测单元114获取表示帧内预测的信息，并从运动预测补偿单元115获取表示帧间预测模式的信息、运动向量信息等。在下文中，表示帧内预测（屏幕中预测）的信息被称作帧内预测模式信息。在下文中，表示表示帧间预测（屏幕间预测）的信息模式的信息被称作帧间预测模式信息。

无损编码单元106对量化的变换系数进行编码，并利用（复用）各种信息（如滤波系数、帧内预测模式信息、帧间预测模式信息和量化参数）作为编码数据的头信息的一部分。无损编码单元106将通过编码获得的编码数据提供给存储缓冲器107，从而可以存储编码数据。

例如，在无损编码单元106中，执行无损编码处理，如可变长度编码和算术编码。H.264/AVC方案所提供的CAVLC（上下文-自适应可变长度编码，Context-Adaptive Variable Length Coding）等是可变长度编码的示例。CABAC（上下文自适应二进制算术编码，Context-Adaptive BinaryArithmetic Coding）等是算术编码的示例。

存储缓冲器107临时保存从无损编码单元106提供的编码数据，并在给定定时将其输出到例如在随后的级别中设置的记录设备、传输路径等，作为基于H.264/AVC方案编码的编码图像。

经量化单元105量化的变换系数也被提供到逆量化单元108。逆量化单元108通过与量化单元105执行的量化方法对应的方法来对量化的变换系数执行逆量化。逆量化单元108将所获得的变换系数提供给逆正交变换单元109。

逆正交变换单元109通过与正交变换单元104所执行的正交变换处理对应的方法来对所提供的变换系数执行逆正交变换。作为逆正交变换的结果的输出（解码的差信息）被提供给计算单元110。

计算单元110将通过选择单元116从帧内预测单元114或运动预测补偿单元115提供的预测图像加到从逆正交变换单元109提供的逆正交变换的结果（即，解码的差信息），并获得本地解码的图像（解码图像）。

例如，当差信息与要受到帧内编码的图像对应时，计算单元110将从帧内预测单元114提供的预测图像加到差信息上。而且，例如，当差信息与要受到帧间编码的图像对应时，计算单元110将从运动预测补偿单元115提供的预测图像加到差信息上。

相加结果被提供给去块滤波器111或帧存储器112。

去块滤波器111通过执行适当的去块滤波来去除块失真，然后通过利用例如维纳滤波器来执行适当的环路滤波，从而提高图像质量。去块滤波器111对每个像素分类，并针对每类执行适当的滤波处理。去块滤波器111将滤波处理的结果提供给帧存储器112。

在给定定时，帧存储器112通过选择单元113将所存储的参考图像输出到帧内预测单元114或运动预测补偿单元115。

例如，对于要受到帧内编码的图像，帧存储器112通过选择单元113将参考图像提供给帧内预测单元114。而且，对于要受到帧间编码的图像，帧存储器112通过选择单元113将参考图像提供给运动预测补偿单元115。

当从帧存储器112提供的参考图像是用于帧内编码的图像时，选择单元113将参考图像提供给帧内预测单元114。当从帧存储器112提供的参考图像是用于帧间编码的图像时，选择单元113将参考图像提供给运动预测补偿单元115。

帧内预测单元114执行帧内预测（屏幕中预测），帧内预测通过利用屏幕中的像素值来生成预测图像。帧内预测单元114以多种模式（帧内预测模式）执行帧内预测。

帧内预测单元114以所有的帧内预测模式生成预测图像，评估每个预测图像，并选择最佳模式。当选择最佳帧内预测模式时，帧内预测单元114通过选择单元116将以最佳模式生成的预测图像提供给计算单元103和计算单元110。

而且，如上所述，帧内预测单元114将信息，如表示所采用的帧内预测模式的帧内预测模式信息，适当地提供给无损编码单元106。

此外，帧内预测单元114将信息，如表示所采用的帧内预测模式的帧内预测模式信息，提供给编号分配单元121，从而编号分配单元121可以根据帧内预测模式的出现频率来执行自适应性的编号分配。

运动预测补偿单元115通过利用从屏幕重布置缓冲器102提供的输入图像以及通过选择单元113从帧存储器112提供的参考图像，对要受到帧间编码的图像执行运动预测，根据所检测到的运动向量来执行运动补偿处理，并生成预测图像（帧间预测图像信息）。

运动预测补偿单元115以所有的候选帧间预测模式执行帧间预测处理，并生成预测图像。运动预测补偿单元115通过选择单元116将所生成的预测图像提供给计算单元103和计算单元110。

而且，运动预测补偿单元115将表示所采用的帧间预测模式的帧间预测模式信息和表示所计算出的运动向量的运动向量信息提供给无损编码单元106。

当图像要受到帧内编码时，选择单元116将帧内预测单元114的输出提供给计算单元103和计算单元110，而当图像要受到帧间编码时，选择单元116将运动预测补偿单元115的输出提供给计算单元103和计算单元110。

速率控制器117基于存储在存储缓冲器107中的压缩图像来控制量化单元105的量化操作的速率，从而不会导致上溢或下溢。

当获取到从帧内预测单元114提供的表示所采用的帧内预测模式的信息时，编号分配单元121根据每个帧内预测模式的出现频率来自适应性地将编号分配给每个帧内预测模式。

[帧内预测模式]

接下来，描述AVC编码方案提供的帧内预测方法。AVC编码方案提供三种预测模式，包括用于亮度信号的4×4帧内预测模式、8×8帧内预测模式和16×16帧内预测模式。如图2所示，在16×16帧内预测模式中，集中（collect）每个块的DC分量以生成4×4矩阵。然后，该矩阵受到正交变换。

仅当对具有等于或超过高轮廓的轮廓的宏块执行8×8正交变换时才可以使用帧内8×8预测模式。

[4×4帧内预测模式]

在下文中，首先描述4×4帧内预测模式。

图3和图4示出了AVC编码方案提供的9种4×4帧内预测模式。在这些帧内预测模式中，除了DC预测模式（模式2）之外的每种模式都展现了预定的方向，如图5所示。

在图6中，‘a’到‘p’表示块的像素值，‘A’到‘M’表示相邻块的像素值。如下所述，在表中所列的每种模式中，‘a’到‘p’的预测像素值是通过利用‘A’到‘M’来生成的。

模式0（Mode 0）是垂直预测（vertical prediction），并仅在A、B、C和D为“可获得”时才被应用。预测像素值如下。

a,e,i,m:A

b,f，j,n:B

c,g,k,o:C

d,h,l,p:D

模式1（Mode 1）是水平预测（Horizontal prediction），并仅在I、J、K和L为“可获得”时才被应用。各个预测像素值被如下地生成。

a,b,c,d:I

e,f，g,h:J

i,j,k,l:K

m,n,o,p:L

模式2（Mode 2）是DC预测（DC prediction），并且当A、B、C、D、I、J、K和L全部“可获得”时按照以下表达式（1）所表示的那样生成预测值。

[表达式1]

(A+B+C+D+I+J+K+L+4)＞＞3 （1）

此外，当A、B、C和D全部为“不可获得”时，按照以下表达式（2）所表示的那样生成预测值。

[表达式2]

(I+J+K+L+2)＞＞2 （2）

此外，当I、J、K和L全部为“不可获得”时，按照以下表达式（3）所表示的那样生成预测值。

[表达式3]

(A+B+C+D+2)＞＞2 （3）

当A、B、C、D、I、J、K和L全部为“可获得”时，128被用作预测值。

模式3（Mode 3）是对角_下_左（Diagonal_Down_Left）预测，并且仅当A、B、C、D、I、J、K、L和M为“可获得”时才被应用。每个预测像素值被如下地生成。

a:(A+2B+C+2)>>2

b,e:(B+2C+D+2)>>2

c,f，i:(C+2D+E+2)>>2

d,g,j,m:(D+2E+F+2)>>2

h,k,n:(E+2F+G+2)>>2

l,o:(F+2G+H+2)>>2

p:(G+3H+2)>>2

模式4（Mode 4）是对角_下_右（Diagonal_Down_Right）预测，并且仅当A、B、C、D、I、J、K、L和M为“可获得”时才被应用。各个预测像素值被如下地生成。

m:(J+2K+L+2)>>2

i,n:(I+2J+K+2)>>2

e,j,o:(M+2I+J+2)>>2

a,f，k,p:(A+2M+I+2)>>2

b,g,l:(M+2A+B+2)>>2

c,h:(A+2B+C+2)>>2

d:(B+2C+D+2)>>2

模式5（Mode 5）是对角_垂直_右（Diagonal_Vertical_Right）预测，并且仅当A、B、C、D、I、J、K、L和M为“可获得”时才被应用。各个预测像素值被如下地生成。

a,j:(M+A+1)>>1

b,k:(A+B+1)>>1

c,l:(B+C+1)>>1

d:(C+D+1)>>1

e,n:(I+2M+A+2)>>2

f，o:(M+2A+B+2)>>2

g,p:(A+2B+C+2)>>2

h:(B+2C+D+2)>>2

i:(M+2I+J+2)>>2

m:(I+2J+K+2)>>2

模式6（Mode_6）是水平_下（Horizontal_Down）预测并且仅当A、B、C、D、I、J、K、L和M为“可获得”时才被应用。各个预测像素值被如下地生成。

a,g:(M+I+1)>>1

b,h:(I+2M+A+2)>>2

c:(M+2A+B+2)>>2

d:(A+2B+C+2)>>2

e,k:(I+J+1)>>1

f，l:(M+2I+J+2)>>2

i,o:(J+K+1)>>1

j,p:(I+2J+K+2)>>2

m:(K+L+1)>>1

n:(J+2K+L+2)>>2

模式7（Mode_7）是垂直_左（Vertical_Left）预测并且仅当A、B、C、D、I、J、K、L和M为“可获得”时才被应用。各个预测像素值被如下地生成。

a:(A+B+1)>>1

b,i:(B+C+1)>>1

c,j:(C+D+1)>>1

d,k:(D+E+1)>>1

l:(E+F+1)>>1

e:(A+2B+C+2)>>2

f，m:(B+2C+D+2)>>2

g,n:(C+2D+E+2)>>2

h,o:(D+2E+F+2)>>2

p:(E+2F+G+2)>>2

模式8（Mode 8）是水平_上（Horizontal_Up）预测，并且仅当A、B、C、D、I、J、K、L和M为“可获得”时才被应用。各个预测像素值被如下地生成。

a:(I+J+1)>>1

b:(I+2J+K+2)>>2

c,e:(J+K+1)>>1

d,f：(J+2K+L+2)>>2

g,i:(K+L+1)>>1

h,j:(K+3L+2)>>2

k,l,m,n,o,p:L

接下来，描述帧内4×4预测模式（Intra_4x4_pred_mode）的编码方案。

在图7中，当C被假设为4×4块而A和B被假设为相邻的4×4块时，用于C的4×4帧内预测模式（Intra_4x4_pred_mode）与用于A和B的4×4帧内预测模式（Intra_4x4_pred_mode）被认为是具有高相关性。基于该事实，当执行以下编码处理时，能够实现更高的编码效率。

即，在图7中，当用于A和B的帧内4×4预测模式（Intra_4×4_pred_mode）分别被假设为帧内4×4预测模式A（Intra_4×4_pred_modeA）和帧内4×4预测模式B（Intra_4×4_pred_modeB）时，通过以下表达式（4）来定义最频繁出现的模式（MostProbableMode）。

MostProbableMode=Min(Intra_4×4_pred_modeA,Intra_4×4_pred_modeB) （4）

即，在A和B之间，被分配了较小的模式数（mode_number）的那个被确定为最频繁出现的模式（MostProbableMode）。

被称作prev_intra4×4_pred_mode_flag[luma4×4BlkIdx]和rem_intra4×4_pred_mode[luma4×4BlkIdx]的两个值被定义为用于比特流中的4×4块的参数，并且通过基于下面示出的伪码的处理来执行解码处理，从而可以获得表示用于4×4块的4×4预测模式（Intra_4×4_pred_mode）的值“Intra4×4PredMode[luma4×4BlkIdx]”。

if(prev_intra4×4_pred_mode_flag[luma4×4BlkIdx]),

Intra4×4PredMode[luma4×4BlkIdx]=MostProbableModeelse

if(rem_intra4×4_pred_mode[luma4×4BlkIdx]<MostProbableMode),

Intra4×4PredMode[luma4×4BlkIdx]=rem_intra4×4_pred_mode[luma4×4BlkIdx],else

Intra4×4PredMode[luma4×4BlkIdx]=rem_intra4×4_pred_mode[luma4×4BlkIdx]+1

[帧内8×8预测模式]

接下来，描述帧内8×8预测方案的编码方案。

在AVC中，如图8和图9所示，定义9种帧内8×8预测模式（Intra_8×8_pred_mode）。假设8×8块的像素值为p[x,y](0≤x≤7;0≤y≤7)，假设相邻块的像素值为p[-1,-1]，...,p[-1,15],p[-1,0]，...,p[-1,7]。

对于帧内8×8预测模式，如下所述，在生成预测值之前对相邻像素执行低通滤波处理。此处，在执行低通滤波处理之前的像素值被表示为p[-1,-1]，...,p[-1,15],p[-1,0]，...,p[-1,7]，在执行低通滤波处理之后的像素值被表示为p'[-1,-1]，...,p'[-1,15],p'[-1,0]，...,p'[-1,7]。

首先，当p[-1,-1]为“可获得”时，按照以下表达式（5）计算p'[0,-1]。

p'[0,-1]=(p[-1,-1]+2*p[0,-1]+p[1,-1]+2)>>2 （5）

当p[-1,-1]为“不可获得”时，按照以下表达式（6）计算p'[0,-1]。

p'[0,-1]=(p[-1,-1]+3*p[0,-1]+p[1,-1]+2)>>2 （6）

按照以下表达式（7）来计算p'[x,-1](x=0，...,7)。

p'[x,-1]=(p[x-1,-1]+2*p[x,-1]+p[x+1,-1]+2)>>2 （7）

当p[x,-1](x=8，...,15)为“可获得”时，按照以下表达式（8）和表达式（9）来计算p'[x,-1](x=8，...,15)。

p'[x,-1]=(p[x-1,-1]+2*p[x,-1]+p[x+1,-1]+2)>>2 （8）

p'[15,-1]=(p[14,-1]+3*p[15,-1]+2)>>2 （9）

接下来，描述p[-1,-1]为“可获得”的情况。当p[0,-1]和p[-1,0]都为“可获得”时，按照以下表达式（10）来计算p'[-1,-1]。

p'[-1,-1]=(p[0,-1]+2*p[-1,-1]+p[-1,0]+2)>>2 （10）

首先，当p[-1,0]为“不可获得”时，按照以下表达式（11）来计算p'[-1,-1]。

p'[-1,-1]=(3*p[-1,-1]+p[0,-1]+2)>>2 （11）

首先，p[0,-1]为“不可获得”，按照以下表达式（12）计算p'[-1,-1]。

p'[-1,-1]=(3*p[-1,-1]+p[-1,0]+2)>>2 （12）

此外，当p[-1,y](y=0，...,7)为“可获得”时，按照以下表达式计算p'[-1,y](y=0，...,7)。首先，当p[-1,-1]为“可获得”时，按照以下表达式（13）计算p'[-1,0]。

p'[-1,0]=(p[-1,-1]+2*p[-1,0]+p[-1,1]+2)>>2 （13）

首先，当p[-1,-1]为“不可获得”时，按照以下表达式（14）计算p'[-1,0]。

p'[-1,0]=(3*p[-1,0]+p[-1,1]+2)>>2 （14）

此外，按照以下表达式（15）计算p'[-1,y](y=1，...,6)。

p[-1,y]=(p[-1,y-1]+2*p[-1,y]+p[-1,y+1]+2)>>2 （15）

此外，按照以下表达式（16）计算p'[-1,7]。

p'[-1,7]=(p[-1,6]+3*p[-1,7]+2)>>2 （16）

如下通过利用按照上述方式计算出的p’来计算在图8中示出的每个帧内预测模式中的预测值。

模式0（Mode 0）是垂直预测，并且仅当p[x,-1](x=0，...,7)为“可获得”时才被应用。此外，按照以下表达式（17）计算预测值pred8x8L[x,y]。

pred8x8L[x,y]=p'[x,-1]x,y=0，...,7 （17）

模式1（Mode 1）是水平预测并且仅当p[-1,y](y=0，...,7)为“可获得”时才被应用。此外，按照以下表达式（18）计算预测值pred8x8L[x,y]。

pred8x8L[x,y]=p'[-1,y]x,y=0，...,7 （18）

模式2（Mode 2）是DC预测，并如下地计算预测值pred8x8L[x,y]。当p[x,-1](x=0，...,7)和p[-1,y](y=0，...,7)均为“可获得”时，按照以下表达式（19）计算预测值pred8x8L[x,y]。

[表达式4]

pred 8 x 8_{L} [x, y] = (Σ_{x^{'} = 0}^{7} p^{'} [x^{'}, - 1] + Σ_{y^{'} = 0}^{7} p^{'} [- 1, y] + 8) > > 4 - - - (19)

当p[x,-1](x=0，...,7)为“可获得”而p[-1,y](y=0，...,7)为“不可获得”时，按照以下表达式（20）来计算预测值pred8x8L[x,y]。

[表达式5]

pred 8 x 8_{L} [x, y] = (Σ_{x^{'} = 0}^{7} p^{'} [x^{'}, - 1] + 4) > > 3 - - - (20)

当p[x,-1](x=0，...,7)为“不可获得”而p[-1,y](y=0，...,7)为“可获得”时，按照以下表达式（21）来计算预测值pred8x8L[x,y]。

[表达式6]

pred 8 x 8_{L} [x, y] = (Σ_{y^{'} = 0}^{7} p^{'} [- 1, y] + 4) > > 3 - - - (21)

当p[x,-1](x=0，...,7)和p[-1,y](y=0，...,7)都为“不可获得”时，按照以下表达式（22）来计算预测值pred8x8L[x,y]（仅当输入为8位时）。

pred8x8L[x,y]=128 （22）

模式3（Mode 3）为对角_下_左_预测（Diagonal_Down_Left_Prediction），如下地计算预测值pred8x8L[x,y]。即，仅当p[x,-1],x=0，...,15为“可获得”时才应用对角_下_左_预测。当x=7和y=7时，按照以下表达式（23）计算预测值pred8x8L[x,y]。

pred8x8L[x,y]=(p'[14,-1]+3*p[15,-1]+2)>>2 （23）

按照以下表达式（24）计算其他预测值pred8x8L[x,y]。

pred8x8L[x,y]=(p'[x+y，-1]+2*p'[x+y+1,-1]+p'[x+y+2,-1]+2)>>2 （24）

模式4（Mode 4）是对角_下_右_预测，如下地计算预测值pred8x8L[x,y]。即，仅当p[x,-1],x=0，...,7和p[-1,y],y=0，...,7都为“可获得”时才应用对角_下_右_预测（Diagonal_Down_Right_prediction）。当x>y时，按照以下表达式（25）来计算预测值pred8x8L[x,y]。

pred8x8L[x,y]=(p'[x-y-2,-1]+2*p'[x-y-1,-1]+p'[x-y，-1]+2)>>2 （25）

此外，当x<y时，按照以下表达式（26）计算预测值pred8x8L[x,y]。

pred8x8L[x,y]=(p'[-1,y-x-2]+2*p'[-1,y-x-1]+p'[-1,y-x]+2)>>2 （26）

此外，当x=y时，按照以下表达式（27）计算预测值pred8x8L[x,y]。

pred8x8L[x,y]=(p'[0,-1]+2*p'[-1,-1]+p'[-1,0]+2)>>2 （27）

模式5（Mode 5）是垂直_右_预测（Vertical_Right_prediction），并且如下地计算预测值pred8x8L[x,y]。即，仅当p[x,-1],x=0，...,7和p[-1,y],y=-1，...,7都为“可获得”时才应用垂直_右_预测。按照以下表达式（28）限定zVR。

zVR=2*x-y （28）

当zVR为0,2,4,6,8,10,12或14时，按照以下表达式（29）来计算预测值pred8x8L[x,y]。

pred8x8L[x,y]=(p'[x-(y>>1)-1,-1]+p'[x-(y>>1),-1]+1)>>1 （29）

当zVR为1,3,5,7,9,11,或13时，按照以下表达式（30）来计算预测值pred8x8L[x,y]。

pred8x8L[x,y]=(p'[x-(y>>1)-2,-1]+2*p'[x-(y>>1)-1,-1]+p'[x-(y>>1),-1]+2)>>2 （30）

当zVR为-1时，按照以下表达式（31）来计算预测值pred8x8L[x,y]。

pred8x8L[x,y]=(p'[-1,0]+2*p'[-1,-1]+p'[0,-1]+2)>>2 （31）

在其他情况中，即，当zVR为-2,-3,-4,-5,-6或-7时，根据以下表达式（32）执行计算。

pred8x8L[x,y]=(p'[-1,y-2*x-1]+2*p'[-1,y-2*x-2]+p'[-1,y-2*x-3]+2)>>2 （32）

模式6（Mode 6）是水平_下_预测（Horizontal_Down_Prediction），并且如下地计算预测值pred8x8L[x,y]。仅当p[x,-1],x=0，...,和7以及p[-1,y],y=-1，...,和7都为“可获得”时才应用水平下预测。

按照以下表达式（33）限定zVR。

zHD=2*y–x （33）

当zHD为0,2,4,6,8,10,12或14时，按照以下表达式（34）计算预测值pred8x8L[x,y]。

pred8x8L[x,y]=(p'[-1,y-(x>>1)-1]+p'[-1,y-(x>>1)+1]>>1 （34）

当zHD为1,3,5,7,9,11或13时，按照以下表达式（35）计算预测值pred8x8L[x,y]。

pred8x8L[x,y]=(p'[-1,y-(x>>1)-2]+2*p'[-1,y-(x>>1)-1]+p'[-1,y-(x>>1)]+2)>>2 （35）

当zHD为-1时，按照以下表达式（36）计算预测值pred8x8L[x,y]。

pred8x8L[x,y]=(p'[-1,0]+2*p[-1,-1]+p'[0,-1]+2)>>2 （36）

此外，当zHD是除此之外的值时，即，当zHD是-2,-3,-4,-5,-6或-7时，按照以下表达式（37）计算预测值pred8x8L[x,y]。

pred8x8L[x,y]=(p'[x-2*y-1,-1]+2*p'[x-2*y-2,-1]+p'[x-2*y-3,-1]+2)>>2 （37）

模式7（Mode 7）是垂直_左_预测（Vertical_Left_Prediction），并且如下地计算预测值pred8x8L[x,y]。即，仅当p[x,-1],x=0，...,15为“可获得”时才应用垂直_左_预测。当y=0,2,4,或6时，按照以下表达式（38）来计算预测值pred8x8L[x,y]。

pred8x8L[x,y]=(p'[x+(y>>1),-1]+p'[x+(y>>1)+1,-1]+1)>>1 （38）

在其他情况下，即，当y=1,3,5,7时，按照以下表达式（39）来计算预测值pred8x8L[x,y]。

pred8x8L[x,y]=(p'[x+(y>>1),-1]+2*p'[x+(y>>1)+1,-1]+p'[x+(y>>1)+2,-1]+2)>>2 （39）

模式8（Mode 8）是水平_上_预测（Horizontal_Up_prediction），并且如下地计算预测值pred8x8L[x,y]。即，仅当p[-1,y],y=0，...,7为“可获得”时才应用水平_上_预测。以下，按照以下表达式（40）来限定zHU。

zHU=x+2*y （40）

当zHU为0,2,4,6,8,10,12,14时，按照以下表达式（41）来计算预测值pred8x8L[x,y]。

pred8x8L[x,y]=(p'[-1,y+(x>>1)]+p'[-1,y+(x>>1)+1]+1)>>1 （41）

当zHU的值为1,3,5,7,9,11时，按照以下表达式（42）来计算预测值pred8x8L[x,y]。

pred8x8L[x,y]=(p'[-1,y+(x>>1)] （42）

当zHU的值为13时，按照以下表达式（43）来计算预测值pred8x8L[x,y]。

pred8x8L[x,y]=(p'[-1,6]+3*p'[-1,7]+2)>>2 （43）

在其他情况下，即，当zHU的值大于13时，按照以下表达式（44）来计算预测像素值。

pred8x8L[x,y]=p'[-1,7] （44）

[帧内16×16预测系统]

接下来，描述帧内16×16预测方案。

在AVC中，如图10和图11所示限定四种帧内16×16预测模式（Intra_16×16_pred_mode）。当如图12所示那样限定宏块中包括的像素值和相邻的像素值时，如下地生成每个预测值。

模式0（Mode 0）是垂直预测，并且仅当P(x,-1);x,y=-1，...,15为“可获得”时才被应用。按照以下表达式（45）来计算预测值。

[表达式7]

pred(x，y)＝P(x，-1)；x，y＝0..15 （45）

模式1（Mode 1）是水平预测，并且仅当P(-1,y);x,y=-1,...,15为“可获得”时才被应用。按照以下表达式（46）计算预测值。

[表达式8]

pred(x，y)＝P(-1，y)；x，y＝0..15 （46）

模式2（Mode 2）是DC预测，当P(x,-1)和P(-1,y);x,y=-1，...,15都为“可获得”时才按照以下表达式（47）计算预测值。

[表达式9]

pred (x, y) = [Σ_{x^{'} = 0}^{15} p (x^{'}, - 1) + Σ_{y^{'} = 0}^{15} P (- 1, y^{'}) + 16] > > 5

其中x,y=0..15 （47）

首先，当P(x,-1);x,y=-1，...,15为“不可获得”时，按照以下表达式（48）来生成预测值。

[表达式10]

pred (x, y) = [Σ_{y^{'} = 0}^{15} p (- 1, y^{'}) + 8] > > 4

其中x,y=0..15 （48）

当P(-1,y);x,y=-1，...,15为“不可获得”时，按照以下表达式（49）来生成预测值。

[表达式11]

pred (x, y) = [Σ_{x^{'} = 0}^{15} p (x^{'}, - 1) + 8] > > 5

其中x,y=0..15 （49）

此外，当P(x,-1)和P(-1,y);x,y=-1，...,15都为“不可用“时，128被用作预测值。

模式3（Mode 3）是平面预测，并且仅当P(x,-1)和P(-1,y);x,y=-1，...,15都为“不可获得”时才被应用。按照以下表达式（50）到（55）来生成每个预测值。

[表达式12]

pred(x，y)＝clip1((a+b·(x-7)+c·(y-7)+16)＞＞5) （50）

[表达式13]

a＝16·(P(-1，15)+P(15，-1)) （51）

[表达式14]

b＝(5·H+32)＞＞6 (52)

[表达式15]

c＝(5·V+32)＞＞6 (53)

[表达式16]

H = Σ_{x = 1}^{8} x \cdot (P (7 + x, - 1) - P (7 - x, - 1)) - - - (54)

[表达式17]

V = Σ_{y = 1}^{8} y \cdot (P (- 1,7 + y) - P (- 1,7 - y)) - - - (55)

[用于色度信号的帧内预测模式]

接下来，描述针对色度信号的帧内预测模式。如下基于帧内16×16预测模式执行用于色度信号的帧内预测模式。然而，用于色度信号的帧内预测模式处理8×8块作为处理目标，而帧内16×16预测模式处理16×16块作为处理目标。此外，要注意的是，相应模式（mode）之间的模式编号不同。

可以独立于用于亮度信号的模式来设置用于色度信号的预测模式。

在下文中，宏块（Macroblock）中所包括的像素值和相邻像素的像素值的定义与帧内16×16模式（Intra16×16Mode）情况下的相同。如下地生成每个帧内_色度_预测_模式（Intra_chroma_pred_mode）中的预测值。

如图13所示，帧内_色度_预测_模式包括四个模式，模式0到模式3。

模式0（Mode 0）是DC预测（DC prediction），当P(x,-1)和P(-1,y)都为“可获得”时按照以下表达式（56）来计算预测值。

[表达式18]

pred (x, y) = ((Σ_{n = 0}^{7} (P (- 1, n) + P (n, - 1))) + 8) > > 4

其中x,,y=0..7 （56）

此外，当P(-1,y)为“不可获得”时，按照以下表达式（57）计算预测值。

[表达式19]

pred (x, y) = [(Σ_{n = 0}^{7} P (n, - 1)) + 4] > > 3

其中x,y=0..7 （57）

此外，当P(x,-1)为“不可获得”时，按照以下的表达式（58）来计算预测值。

[表达式20]

[(Σ_{n = 0}^{7} P (- 1, n)) + 4] > > 3

其中x,y=0..7 （58）

模式1（Mode 1）是水平预测（horizontal prediction），并且仅当P(-1,y)为“可获得”时才应用。按照以下表达式（59）计算预测值。

[表达式21]

pred(x，y)＝P(-1，y)，x，y＝0，...，7 （59）

模式2（Mode 2）是垂直预测（vertical prediction），并且仅当P(x,-1)为“可获得”时才被应用。按照以下表达式（60）来计算预测值。

[表达式22]

pred(x，y)＝P(x，-1)，x，y＝0，...，7 （60）

模式3（Mode 3）是平面预测（plane prediction），并且仅当P(x,-1)和P(-1,y)为“可获得”时才被应用。按照以下的表达式（61）至（66）来计算预测值。

[表达式23]

pred(x，y)＝clip1(a+b·(x-3)+c·(y-3)+16)＞＞5)；x，y＝0，...，7 （61）

[表达式24]

a＝16·(P(-1，7)+P(7，-1)) （62）

[表达式25]

b＝(17·H+16)＞＞（63）

[表达式26]

c＝(17·V+16)＞＞5 （64）

[表达式27]

H = Σ_{x = 1}^{4} x \cdot [P (3 + x, - 1) - P (3 - x, - 1)] - - - (65)

[表达式28]

V = Σ_{y = 1}^{4} y \cdot [P (- 1,3 + y) - P (- 1,3 - y)] - - - (66)

顺便提及，在AVC编码方案中，两种编码方案，即CAVLC（基于上下文的自适应性可变长度编码，Context-based Adaptive Variable LengthCoding）和CABAC（基于上下文的自适应性二进制算术编码，Context-based Adaptive Binary Arithmetic Coding）被标准化为无损编码方案。在下文中，在AVC编码方案中，首先描述标准化的CAVLC方案。

[CAVLC]

在CAVLC中，对于正交变换系数，根据附近块（block）中的系数的出现来切换VLC表。例如，以下将要描述的图14中所示的Exp-Golomb码被用于对其他语法元素（syntax element）进行编码。

而且，关于语法元素如运动向量，有出现负值的可能性。然而，在这种情况下，例如，基于图15中所示的表，它被没有符号的编号代替，然后，例如，应用图14中所示的Exp-Golomb码。

在下文中，描述4×4块的CAVLC的正交变换系数的处理。

在AVC编码方案中，通过正交变换将4×4块转换为与每个频率分量对应的4×4二维数据。然而，取决于块是被帧编码的还是场编码的，分别可以通过图16A中所示的锯齿形扫描（Zigzag-scan）系统或者通过图16B中所示的场扫描（Field-scan）系统将它转换为一维数据。

在第一步骤中，以这种方式获得的转换后的一维正交变换系数以倒序方式、从更高频率分量到较低频率分量被扫描。

在第二步骤中，NumCoef（非零系数的数量）和T1s（当从更高频率向较低频率执行扫描时，最大值为3的情况下，±1的系数的数量）被编码。在图7中，当C被假设为块，而A和B被假设为相邻块时，VLC表不是根据A和B中的NumCoef来切换的。

在第三步骤中，等级（Level）被编码。即，对于T1s，仅编码正/负符号。对于其他系数，编号被分配并被编码。根据帧内/帧间、量化参数QP以及最新编码的等级来切换VLC表。

在第四步骤中，Run被编码。即，在TotalZero（全为零）的编码中，根据NumCoef来切换VLC表。在Run_before（非零系数之前放置的连续的0的数量）的编码中，根据ZerosLeft（其余的非零系数的数量）来切换VLC表。以ZerosLeft=0结束编码。

图17示出了CAVLC的操作原理的特定示例。在图17所示的示例中，在执行反向扫描之后，按照以下顺序执行编码处理。

TotalCoef=7

TrailingOnes=2

Trailing_ones_sign_flag=-

Trailing_ones_sign_flag=+

Level=-3

Level=+8

Level=+11

Level=-4

Level=+23

Total_zeros=5(ZerosLeft=6)

Run_before=1(ZerosLeft=5)

Run_before=2(ZerosLeft=4)

Run_before=0(ZerosLeft=3)

Run_before=2(ZerosLeft=2)

Run_before=0(ZerosLeft=1)

Run_before=0(ZerosLeft=0)

如上所述，利用根据编码状况如附近的块而被切换的表，这些系数受到VLC编码。

[CABAC]

接下来，描述AVC编码方案中的标准化的CABAC方案。首先，参照图18来描述二进制算术编码如何工作。

当“0”的出现概率为0.8而“1”的出现概率为0.2时，对作为输入信号的位串“010”进行编码。

此时，如图中所示，取决于所示的输入信号来分割区间[0,1]，并输出最后变为“11”的信号。

顺便提及，在图18中，具有区间间隔如“0.64”的寄存器的位数例如是实际上有限的。接下来，考虑图19中所示的称作再归一化的技术，以有效地利用寄存器的精度。

即，由于可以知道当1被编码时该区间的坐标值为0.5或更多，因而该时间点处的第一个小数位被输出，并执行再归一化。

图20是示出了CABAC编码方案的概况的图。

即，CABAC编码方案具有以下特征。第一个特征是针对每个上下文执行编码处理。第二个特征是将非二进制数据转换为二进制数据。第三个特征是实际上在切片（slice）的头部对概率表初始化，并依次根据所生成的符号来更新它，尽管在图18所示的示例中“0”和“1”的出现概率是固定的。

在下文中，利用图7中所示的mb_skip_flag作为示例来描述CABAC编码中的“上下文”。

在CABAC编码方案中，分别针对不同的语法元素来准备单独的上下文模型。此外，即使针对相同的语法元素，也根据相邻块（或宏块）的值来准备多个上下文模型。

在图7中，C是宏块，A和B是其相邻的宏块。按照以下表达式（67）来定义函数f(x)。

[表达式29]

按照以下表达式（68）计算C的上下文模型"Context(C)"。

Context(C)=f(A)+f(B) （68）

即，Context(C)的值是取决于A和B的状态而在0、1和2中选择的任意值。即，即使对同样的mb_skip_flag，也取决于Context(C)的值通过不同的算术编码引擎执行编码处理。

接下来，描述二进制编码处理。通过以下要描述的图21中示出的一元编码（unary_code），将语法元素中的非二进制数据转换为二进制数据，并执行算术编码处理。

然而，宏块类型不限于此。图22、图23和图24中示出的非常规表是分别针对I切片、P切片和B切片限定的。

[代价函数]

顺便提及，正确的预测模式的选择对于在AVC编码方案中实现更高的编码效率来说是重要的。

其选择系统的示例包括在H.264/MPEG-4 AVC的参考软件中安装的方法（称作JM，联合模型），它在http://iphome.hhi.de/suehring/tml/index.htm对公众是开放的。

在JM中，可以选择以下描述的高复杂模式和低复杂模式的两个模式确定方法。两种模式都计算与每个预测模式Mode有关的代价函数值，并选择使代价函数值最小化的预测模式作为用于该块（或宏块）的范围内的最佳模式。

通过以下表达式（69）来表达高复杂模式中的代价函数。

Cost(Mode∈Ω)=D+λ*R （69）

此处，Ω是用于对块（或宏块）进行编码的候选模式的总集合，D是在利用预测模式Mode进行编码的情况下的解码图像和输入图像之间的差能。λ是作为量化参数的函数产生的拉格朗日未决乘法器。R是在利用相应模式进行编码的情况下包括正交变换系数在内的总码量。

简言之，为了利用高复杂模式执行编码，需要计算上述参数D和R。因此，需要针对所有候选预测模式试探性地执行编码处理，这需要较大量的计算。

通过以下表达式（70）来表示低复杂模式的代价函数。

Cost(Mode∈Ω)=D+QP2Quant(QP)*HeaderBit （70）

此处，不同于高复杂模式，D是预测图像和输入图像之间的差能。作为量化参数QP的函数来提供QP2Quant(QP)，HeaderBit（头位）是与头信息有关的码量，如不包括正交变换系数在内的运动向量和模式。

即，在低复杂模式中，需要针对每个候选模式执行预测处理，但是不需要执行编码处理，因为不需要解码图像。因此，相对于高复杂模式，能够实现较低量的计算。

顺便提及，利用帧内预测，通过向更频繁出现的预测模式分配更短的编号（code_number）能够实现提高的编码效率。然而，AVC编码方案采用固定的分配，尽管更频繁出现的预测模式随着序列或比特率而改变。因此，利用AVC编码方案难以实现最佳编码效率。

因此，图像编码装置100以反馈的方式自适应性地改变要分配给每个预测模式的编号，从而根据序列或比特率实现最佳编号（code_number）分配，并实现编码效率的提高。

[操作原理]

在下文中，首先描述帧内预测单元114和编号分配单元121的操作原理。

帧内预测单元114基于AVC编码方案来执行帧内预测处理。然而，关于向垂直预测模式、水平预测模式和DC预测模式分配编号（code_number），不以固定的方式执行，而像AVC编码方案那样自适应性地执行。

即，设置与AVC编码方案中所使用的方法相同的编号分配方法作为初始值。基于该方法，存储有参考图像的缓冲器被清零。以该方式，对IDR（即时解码器更新）切片执行编码处理，这保证了从该切片进行再现是可能的。

在执行了编码处理之后，计数已经出现的帧内预测模式的数量，并按照计数上降序对帧内预测模式排序。结果，编号（code_number）的顺序被改变，使得具有更小值的编号（code_number）被分配给具有更高出现频率的预测模式。

当对第二I切片编码时，通过利用通过分配改变而新分配的编号（code_number）来执行帧内编码处理。简言之，编号（code_number）被分配为使得更小值被分配给在紧邻的前一切片中具有更高出现频率的帧内预测模式。

以该方式，通过基于编码结果执行自适应性的编号（code_number）分配，可以分配适合于序列或比特率的编号（code_number）。而且，可以实现作为图像编码装置100的输出的码流的更高编码效率。

而且，甚至在利用相同操作原理的解码装置中，仍可以执行基于这种频率数据的自适应性的编号（code_number）分配。即，由于无需沿着码流传送关于编号分配的信息，因而该技术具有不会因为这种信息的添加而影响编码效率的优点。

此外，一般在I切片之间存在多个P切片或B切片。然而，甚至在P切片或B切片中存在帧内宏块。在该技术中，假设该操作原理也适用于P切片或B切片中的帧内宏块。

即，第一方法是不对P切片或B切片根据模式分布执行编号（code_number）分配的方法（即，它不是将具有更小值的编号分配给具有更高出现频率的预测模式的方法），而是利用例如预先定义的编号（code_number）分配方法，如在AVC中采用的方法等。

由于该方法不需要编号分配等的计算，因而能够容易地实现该方法。然而，该方法不像传统方法那样执行自适应性的分配。

第二方法是不对P切片或B切片根据模式分布执行编号（code_number）分配的方法，而是使用作为紧邻的前一I切片的编码结果而分配的编号（code_number）的方法。

由于该方法使用紧邻的前一I切片的分配结果，因而不需要编号分配的计算。因此，能够容易地实现该方法。而且，该方法相比于第一方法能够执行更自适应性的分配。

第三方法是基于第二方法的，但是当在P切片或B切片中以预定百分比或更高百分比出现帧内宏块时，该方法根据模式分布来分配编号，并将分配结果用于随后的P切片或B切片。

例如，阈值被假设为50%。对于P切片或B切片，当相应的切片中所包括的小于50%的宏块是帧内宏块时，如在第二方法中那样使用作为紧邻的前一I切片的编码结果而分配的编号（code_number）。执行基于模式分布的编号（code_number）的分配，并当在相应的切片中包括的50%或更多的宏块是帧内宏块时，将其结果应用于随后的P切片或B切片。

即，当当前的P切片或B切片与紧邻的前一I切片具有类似特征时，除了第二方法之外，还根据与I切片的情况类似的模式分布来分配编号（code_number）。以该方式，可以更自适应性地针对P切片或B切片分配编号（code_number）。

当然，可以通过与这三种方法不同的方法来向P切片或B切片的帧内宏块分配编号。

顺便提及，尽管关于基于紧邻的前一I切片中的模式分布来分配编号（code_number）并因而执行更适当的分配的情况来进行上面的描述，但是同样的情况在场景发生改变时可能不适用。

一般而言，在场景改变前后，图像的内容在帧之间变化很大。因此，在场景发生改变的情况下，当对一切片基于紧邻的前一I切片中的模式分布来分配编号（code_number）时，这种方法可能导致图像劣化。

因此，对于场景改变之后首先遇到的I切片，不使用关于紧邻的前一I切片更新的编号（code_number），而像例如在AVC编码方案中所采用的那样，应用分配预定编号（code_number）（即，初始值）的方法。而且，传送码流中包括的每切片头部内的要变成default_ipred_code_number_allocation_flag的一位标记。

default_ipred_code_number_allocation_flag是表明是使用预先设置的初始值还是使用新更新的值作为编号（code_number）分配方法的标记信息。接收到码流的图像解码装置通过参照标记信息，可以容易地在利用已经施加的预定（已有）的编号的编号分配方法和利用基于紧邻的前一I切片中的模式分布自适应性地更新的编号的编号分配方法之间，确定在图像编码装置100中使用了哪种码分配方法。即，不需要再次检测场景改变等来使图像解码装置确定编号分配方法。

例如，当default_ipred_code_number_allocation_flag的值为“0”时，图像解码装置确定图像编码装置100已经使用了以下编号分配方法，该方法对切片使用了基于模式分布自适应性地更新的编号。

而且，当default_ipred_code_number_allocation_flag的值为“1”时，图像解码装置确定图像编码装置100已经使用了以下编号分配方法，该方法对切片使用了预定（已有）的编号。即，对于该情况，假设已经在切片中出现了场景改变。

通过执行这种处理，通过利用基于与场景改变之前已有的过去的I切片的分布不同的分布的码分布（code_number），对在出现场景改变之后首先遇到的第一个I切片进行编码（这也可以在图像解码侧施加）。因此，图像编码装置100可以适当地分配编号，使得即使在出现场景改变的情况下也不会使图像的质量劣化。

该技术可以应用于色度信号的所有帧内预测模式，帧内4×4预测模式、帧内8×8预测模式和帧内16×16预测模式。此外，它可以被应用于在所引用的文件1中披露的扩展宏块。

[编号分配单元121]

图25是示出编号分配单元121的详细配置示例的框图。如图25中所示，编号分配单元121包括IDR检测单元151、场景改变检测单元152、编号确定单元153、预测模式缓冲器154和预测模式计数单元155。

首先，当通过帧内预测单元114中的帧内预测处理来确定每个块的帧内预测模式时，关于预测模式的信息被提供给预测模式缓冲器154。预测模式缓冲器154存储与一切片对应的关于预测模式的每条信息。

存储在预测模式缓冲器154中的与一切片对应的帧内预测模式被提供给预测模式计数单元155。预测模式计数单元155针对每个模式计数预测模式，并将计数结果，即表示帧内预测模式的出现频率的信息，提供给编号确定单元153。

而且，输入图像信息被从屏幕重布置缓冲器102提供给编号分配单元121。IDR检测单元151对所提供的输入图像信息检测IDR切片。IDR检测单元151将表示当前切片是否为IDR切片的信息（DR/非IDR）提供给编号确定单元153。

场景改变检测单元152对所提供的输入图像信息执行检测处理，检测在当前I切片（当前帧）中是否存在场景改变，并将是否存在场景改变的信息提供给编号确定单元153。可以使用任意方法作为检测场景改变的方法。例如，在像素值的均值或像素值的色散（直方图）的方面，相互比较经处理的帧和当前帧。当其差大于预定阈值时，可以确定出现场景改变。

对于以下I切片，当IDR检测单元151没有检测到IDR时（即，该切片被确定为不是IDR切片时）以及当场景改变检测单元152确定没有场景改变时，编号确定单元153根据基于从预测模式计数单元155提供的表示帧内预测模式的出现频率的信息的帧内预测模式的出现频率来分配（即，更新）编号（code_number）。

即，编号确定单元153将具有更小值的编号（code_number）分配给具有更高出现频率的预测模式。编号确定单元153将更新的编号（code_number）的分配通知给帧内预测单元114。

而且，编号确定单元153将default_ipred_code_number_allocation_flag的值设置为0，并将该值提供给无损编码单元106。

另一方面，当IDR检测单元151成功地检测到IDR时（即，当该切片为IDR切片时），编号确定单元153采用预先确定的初始设定（编号分配方法）。例如，编号确定单元153将在AVC编码方案中采用的编号分配方法作为初始设定。当然，初始设定可以是任意分配方法。编号确定单元153将编号（code_number）分配的初始值通知给帧内预测单元114。

而且，当场景改变检测单元152检测到场景改变时，编号确定单元153采用预先确定的初始设定（编号分配方法）。例如，编号确定单元153采用在AVC编码方案中采用的编号分配方法作为初始设定。当然，初始设定可以是任意的分配方法。编号确定单元153将编号（code_number）分配的初始值通知给帧内预测单元114。

而且，编号确定单元153将default_ipred_code_number_allocation_flag的值设置为1，并将该值提供给无损编码单元106。

default_ipred_code_number_allocation_flag的值是任意的。例如，当已经检测到场景改变时可以将该值设置为0，而当还未检测到场景改变时可以将该值设置为1。当然，由于对该值的要求是表示存在还是不存在场景改变，因而可以使用别的值。而且，其位长度也可以是任意的，例如，它可以是2位或更多位。而且，可以通过存在或不存在default_ipred_code_number_allocation_flag来表示场景改变的存在或不存在。

而且，甚至可以结合IDR切片一起传送default_ipred_code_number_allocation_flag。在该情况下，标记的值被设置为1，像是在已经出现场景改变的情况下。或者，用于表示场景改变已经出现的值与用于表示场景改变没有出现的值可以被设置为与上述值不同的值，例如，设置为2等，使得能够区分IDR切片的检测的情况和场景改变的出现的情况。

顺便提及，当切片是P切片或B切片时，编号确定单元153仅在帧内宏块在该切片中的比例等于或大于预定阈值时，即等于或大于50%时，才更新编号（code_number）。此时，编号确定单元153根据帧内预测模式的出现频率将最新的编号（code_number）提供给帧内预测单元114。

例如，类似于上述第二方法，当帧内宏块在该切片中的比例小于预定阈值时，基于紧邻的前一I切片的编码结果分配的编号（code_number）被提供给帧内预测单元114作为编号（code_number）分配。

以该方式，编号确定单元153适当地自适应地将编号分配给帧内预测模式，以对应于帧内预测模式的出现频率。按照从上述内容理解到的，图像编码装置100可以以提高的编码效率生成码流。

[编码处理的流程]

接下来，将描述上述的图像编码装置100执行的各种处理的流程。首先参照图26的流程图来描述编码处理的流程的示例。

在步骤S101中，A/D转换器101将输入图像从模拟转换为数字。在步骤S102中，屏幕重布置缓冲器102存储A/D转换后的图像，并将图像的布置从每个图片的显示顺序改变为每个图片的编码顺序。

在步骤S103中，计算单元103计算通过步骤S102重布置的图像与预测图像之间的差。来自用于帧间预测的运动预测补偿单元115以及用于帧内预测的帧内预测单元114的预测图像通过选择单元116被提供给计算单元103。

相比于原始图像数据，差数据具有减小的数据量。因此，相比于按照图像原来的样子对图像编码的情况来说，数据可以被压缩为更小的量。

在步骤S104中，正交变换单元104对通过步骤S103生成的差信息执行正交变换。具体而言，执行正交变换如离散余弦变换和Karhunen-Loeve变换，从而输出变换系数。

在步骤S105中，量化单元105对通过步骤S104获得的正交变换系数进行量化。

通过步骤S105量化的差信息被如下地本地解码。即，在步骤S106中，逆量化单元108利用与量化单元105的特征对应的特征，对通过步骤S105生成的量化的正交变换系数（也称作量化系数）进行逆量化。在步骤S107中，逆正交变换单元109利用与正交变换单元104的特征对应的特征，对通过步骤S106获得的正交变换系数执行逆正交变换。

在步骤S108中，计算单元110将预测图像加到本地解码的差信息，并生成本地解码的图像（与计算单元103的输入对应的图像）。在步骤S109中，去块滤波器111对通过步骤S108生成的图像进行滤波。因此，去除块失真。

在步骤S110中，帧存储器112存储通过步骤S109去除了块失真的图像。未被去块滤波器111滤波的图像被从计算单元110提供到帧存储器112并被存储在那。

在步骤S111中，帧内预测单元114以帧内预测模式执行帧内预测处理。在步骤S112中，运动预测补偿单元115执行帧间运动预测处理，其中，以帧间预测模式执行运动预测和运动补偿。

在步骤S113中，选择单元116基于从帧内预测单元114和运动预测补偿单元115输出的每个代价函数值来确定最佳预测模式。即，选择单元116选择帧内预测单元114生成的预测图像或选择运动预测补偿单元115生成的预测图像。

而且，表示哪个预测图像被选择的选择信息被提供给帧内预测单元114和运动预测补偿单元115之一，即，被提供给被选择了预测图像的那个单元。当选择了最佳帧内预测模式的预测图像时，帧内预测单元114将表示最佳帧内预测模式的信息（即，帧内预测模式信息）提供给无损编码单元106。

当选择了最佳帧间预测模式的预测图像时，运动预测补偿单元115将表示最佳帧间预测模式的信息提供给无损编码单元106，并按照需要将与最佳帧间预测模式对应的信息提供给无损编码单元106。与最佳帧间预测模式对应的信息的示例包括运动矢量信息、标记信息、参考帧信息等等。

在步骤S114中，无损编码单元106对通过步骤S105量化的变换系数进行编码。即，对于差图像（在帧间的情况下，为次级差图像）执行无损编码如可变长度编码和算术编码。

无损编码单元106对在步骤S105中计算出的量化参数进行编码，并将结果加到编码后的数据。而且，无损编码单元106对与步骤S113所选择的预测图像的预测模式有关的信息进行编码，并将结果加到通过对差图像进行编码而获得的编码数据。即，无损编码单元106对从帧内预测单元114提供的帧内预测模式信息或者从运动预测补偿单元115提供的与最佳帧间预测模式对应的信息进行编码，并将结果加到编码数据。

当从编号确定单元153提供default_ipred_code_number_allocation_flag时，无损编码单元106甚至对标记信息进行编码，并将结果加到编码数据。

在步骤S115中，存储缓冲器107存储从无损编码单元106输出的编码数据。存储在存储缓冲器107中的编码数据被适当地读取，并经由传输路径传送到解码方。

在步骤S116中，速率控制器117基于在步骤S115中在存储缓冲器107中存储的压缩图像来控制量化单元105的量化操作的速率，使得不会发生上溢或下溢。

当步骤S116结束时，完成编码处理。

[帧内预测处理的流程]

接下来，将参照图27来描述在图26的步骤S111中执行的帧内预测处理的流程的示例。

当开始帧内预测处理时，编号分配单元121在步骤S131中向帧内预测模式分配编号。

在步骤S132中，帧内预测单元114针对帧内预测模式（诸如帧内4×4预测模式、帧内8×8预测模式和帧内16×16预测模式）中的每个模式计算代价函数值。在步骤S133中，帧内预测单元114针对每个帧内预测模式确定最佳模式。

在步骤S134中，帧内预测单元114通过比较各个帧内预测模式的最佳模式来选择最佳帧内预测模式。当选择了最佳帧内预测模式时，帧内预测单元114结束帧内预测处理，将处理返回到图26中的步骤S111，并执行步骤S112和后续步骤。

[针对I切片的编号分配处理的流程]

接下来，将描述在图27的步骤S131中执行的编号分配处理的流程的示例。首先，参照图28的流程图描述针对I切片的编号分配处理的流程的示例。

编号分配单元121确定从屏幕重布置缓冲器102提供的输入图像的当前切片的种类，并且当该切片是I切片时，开始对I切片执行编号分配处理。

当处理开始时，在步骤S151中，IDR检测单元151基于从屏幕重布置缓冲器102提供的输入图像信息来确定该切片是否为IDR切片。当该确定结果揭示该切片不是IDR切片时，IDR检测单元151将处理前进到步骤S152。

在步骤S152中，场景改变检测单元152基于从屏幕重布置缓冲器102提供的输入图像信息来确定在切片（当前帧）中是否出现了场景改变。当在当前帧中没有出现场景改变时，即，当场景改变检测单元152确定在该切片中不包括场景改变时，场景改变检测单元152将该结果通知给编号确定单元153，并将处理前进到步骤S153。

在步骤S153中，由于在该切片中没有出现场景改变，因而编号确定单元153将default_ipred_code_number_allocation_flag的值设置为“0”，并且处理前进到步骤S156。

在步骤S152中，当确定在该切片中不包括场景改变时，场景改变检测单元152将处理前进到步骤S154。

在步骤S154中，default_ipred_code_number_allocation_flag的值被编号确定单元153设置为“1”以表示在该切片中出现了场景改变，并将处理前进到步骤S155。

而且，当在步骤S151中该切片被确定为是IDR切片时，IDR检测单元151将该结果通知给编号确定单元153，并将处理前进到步骤S155。

在步骤S155中，编号确定单元153将编号分配初始化为默认设置。例如，编号确定单元153采用在AVC编码方案中规定的编号分配方法作为初始值。当步骤S155结束时，编号确定单元153将处理前进到步骤S156。

在步骤S156中，帧内预测单元114通过应用从编号确定单元153提供的编号的分配来执行帧内预测。

即，例如，当已经在步骤S155中将编号分配初始化时，帧内预测单元114采用初始设置的分配方法作为编号分配，并执行帧内预测。而且，例如，当在步骤S153中将标记设置为0时，帧内预测单元114采用基于紧邻的前一I帧中的模式分布来更新的分配方法作为编号分配，并执行帧内预测。

帧内预测单元114将每个块的帧内预测模式提供给预测模式缓冲器154以存储起来。

在步骤S157中，预测模式计数单元155参照存储在预测模式缓冲器154中的数据来计数已经出现的预测模式。预测模式计数单元155将计数结果（帧内预测模式的出现频率）提供给编号确定单元153。

在步骤S158中，编号确定单元153为下一切片更新编号分配。即，编号确定单元153将编号（code_number）分配给预测模式，以使得更小值被分配给具有更高出现频率的预测模式。

在步骤S159中，编号确定单元153确定是否要结束编号分配处理。当确定不结束时，处理返回到步骤S151并将执行后续步骤。

而且，当在步骤S159中确定要结束编号确定处理时，编号确定单元153结束编号分配处理，并将处理返回到图27中的步骤S131，从而将执行步骤S132和后续步骤。

[针对P切片或B切片的编号分配处理的流程]

接下来，将参照图29的流程图来描述P切片或B切片的编号分配处理的流程的示例。

编号分配单元121确定从屏幕重布置缓冲器102提供的输入图像的当前切片的种类，并且当该切片不是I切片时（即，该切片是P切片或B切片时）对P切片或B切片执行编号分配处理。

当开始处理时，在步骤S171中，编号确定单元153将编号分配初始化为预先确定的初始设置。例如，编号确定单元153采用在AVC编码方案中规定的编号分配方法作为初始设置。

在步骤S172中，帧内预测单元114通过应用从编号确定单元153提供的编号分配来执行帧内预测。帧内预测单元114将每个块的帧内预测模式提供给预测模式缓冲器154以存储起来。

在步骤S173中，预测模式计数单元155参照在预测模式缓冲器154中存储的数据来计数已经出现的预测模式。预测模式计数单元155将计数结果（帧内预测模式的出现频率）提供给编号确定单元153。

在步骤S174中，编号确定单元153确定帧内宏块的比例是否大于预定阈值。当确定帧内宏块的比例等于或超过规定百分比时，可以认为P切片或B切片与I切片具有类似的特征。

因此，编号确定单元153将处理前进到步骤S175，并类似于I切片的情况，更新帧内预测模式的编号分配。

即，编号确定单元153将具有更小值的编号分配给具有更高出现频率的预测模式。

而且，当确定该切片中包括的帧内宏块小于规定的百分比时，编号确定单元153将处理前进到步骤S176，以将编号分配初始化为预定的初始设置。例如，编号确定单元153采用在AVC编码方案中规定的编号分配方法作为初始设置。此外，在步骤S176中，可以采用用于紧邻的前一I帧的分配编号的方法，而不是使编号分配初始化。

当步骤S175或步骤S176结束时，编号确定单元153在步骤S177中确定是否要结束编号分配处理，并当确定不结束时将处理返回到步骤S172，从而将重复后续步骤。

而且，当在步骤S177中确定要结束编号确定处理时，编号确定单元153结束编号分配处理并将处理返回到图27的步骤S131，从而将执行步骤S132和后续步骤。

如上所述，例如，在基于使用两个或更多个预测模式执行帧内编码处理的方案如AVC编码方案的图像编码装置100中，通过反馈处理在帧内预测期间自适应性地切换将编号（code_number）分配给每个预测模式的方法。以该方式，可以根据序列或比特率来实现最佳编号（code_number）分配，并提高输出比特流的编码效率。

而且，由于当检测到IDR切片和/或出现场景改变时将编号分配初始化，因而如上面所描述的那样，图像编码装置100通过根据预测模式的出现频率来更新编号分配，可以抑制图像质量的劣化。

此外，图像编码装置100向图像解码装置提供标记信息，该标记信息表示已经出现场景改变，从而图像解码装置能够容易地检测到场景改变的出现。

<2.第二实施例>

[图像解码装置]

图30是示出图像解码装置的主要配置的示例的框图。图30中示出的图像解码装置200是与图像编码装置100对应的解码装置。

通过图像编码装置100所执行的编码获得的编码数据被假设为经由规定的传输路径传送到与图像编码装置100对应的图像解码装置200，并被解码。

如图30中所示，图像解码装置200包括存储缓冲器201、无损解码单元202、逆量化单元203、逆正交变换单元204、计算单元205、去块滤波器206、屏幕重布置缓冲器207和D/A转换器208。此外，图像解码装置200还包括帧存储器209、选择单元210、帧内预测单元211、运动预测补偿单元212和选择单元213。

此外，图像解码装置200还包括编号分配单元221。

存储缓冲器201存储传送来的编码数据。编码数据是通过图像编码装置100所执行的编码获得的数据。无损解码单元202在给定定时通过利用与图1中所示的无损编码单元106的编码方案对应的方案，对从存储缓冲器201中读取的编码数据进行解码。

无损解码单元202将通过对编码数据进行解码获得的系数数据提供给逆量化单元203。

而且，无损解码单元202通过解码来提取包括在编码数据（码流）中的头信息，并将结果提供给编号分配单元221。而且，无损解码单元202通过解码来提取包括在编码数据（码流）中的标记信息，并将结果提供给编号分配单元221。例如，无损解码单元202将从图像编码装置100提供的default_ipred_code_number_allocation_flag提供给编号分配单元221。

逆量化单元203通过利用与图1的量化单元105的量化方案对应的方案，对通过无损解码单元202执行的解码获得的系数数据进行量化（量化系数）。

逆量化单元203将逆量化系数数据，即，正交变换系数，提供给逆正交变换单元204。逆正交变换单元204通过利用与图1的正交变换单元104的正交变换方案对应的方案，对正交变换系数执行逆正交变换，并获得与没有受到图像编码装置100中的正交变换的其余数据对应的解码其余数据。

通过逆正交变换获得的解码其余数据被提供给计算单元205。帧内预测单元211或运动预测补偿单元212生成的预测图像通过选择单元213被提供给计算单元205。

计算单元205将解码其余数据加到预测图像上，以获得解码图像数据，该解码图像数据与预测图像被保留而不被图像编码装置100的计算单元103所减的图像数据对应。计算单元205将解码图像数据提供给去块滤波器206。

去块滤波器206去除所提供的解码图像的块失真，并将结果提供给屏幕重布置缓冲器207。

屏幕重布置缓冲器207对图像的顺序重布置。即，被图1中的屏幕重布置缓冲器102重布置为编码顺序的帧顺序被重新布置，使得帧按照原始显示顺序。D/A转换器208将从屏幕重布置缓冲器207提供的图像从数字转换为模拟，并将结果输出到显示器（未示出）以进行显示。

去块滤波器206的输出还被提供给帧存储器209。

帧存储器209、选择单元210、帧内预测单元211、运动预测补偿单元212和选择单元213分别对应于图像编码装置100的帧存储器112、选择单元113、帧内预测单元114、运动预测补偿单元115和选择单元116。

选择单元210从帧存储器209中读取要受到帧间处理的图像和要参考的图像，并将其输出到运动预测补偿单元212。而且，选择单元210还从帧存储器209中读取帧内预测时要使用的图像，并将其提供给帧内预测单元211。

通过对头信息进行解码而获得的表示帧内预测模式的信息等等被适当地从无损解码单元202提供给帧内预测单元211。帧内预测单元211基于该信息根据从帧存储器209获得的参考图像来生成预测图像，并将所生成的预测图像输出到选择单元213。

此时，帧内预测单元211通过利用编号分配单元211根据预测模式的出现频率分配适当的编号。即，帧内预测单元211再生由图像编码装置100的帧内预测单元115采用的编号分配方法，并通过与帧内预测单元114相同的编号分配方法来执行帧内预测。

运动预测补偿单元212从无损解码单元202获取通过对头信息进行解码而获得的信息（预测模式信息、运动向量信息、参考帧信息、标记、各种参数等等）。

运动预测补偿单元212基于从无损解码单元202提供的信息根据从帧存储器209获得的参考图像来生成预测图像，并将所生成的预测图像输出到选择单元213。

选择单元213选择运动预测补偿单元212或帧内预测单元211生成的预测图像，并将所选择的预测图像提供给计算单元205。

编号分配单元221与图像编码装置100的编号分配单元121基本具有相同的配置并执行相同的处理。即，编号分配单元221类似于编号分配单元121，根据预测模式的出现频率来执行自自适应性的编号分配。

即，图像解码装置200可以执行与图像编码装置100的编号分配类似的编号分配。因此，图像编码装置100不需要提供关于编号分配方法的信息。这可以抑制码流的编码效率的劣化。

[编号分配单元]

图31是示出了编号分配单元221的详细配置的示例的框图。如图31所示，编号分配单元221包括IDR检测单元251、标记确定单元252、编号确定单元253、预测模式缓冲器254和预测模式计数单元255。

首先，当通过帧内预测单元211进行的帧内预测处理确定出针对每个块的帧内预测模式时，关于预测模式的信息被提供给预测模式缓冲器254。预测模式缓冲器254存储关于对应于一切片的预测模式的信息。

所存储的与一切片对应的帧内预测模式被提供给预测模式计数单元255。预测模式计数单元255针对每个模式计数预测模式，并将计数结果（表示每个帧内预测模式的出现频率的信息）提供给编号确定单元253。

IDR检测单元251基于从图像解码装置200接收到的且从无损解码单元202提供的码流的头信息来检测IDR切片。IDR检测单元251将检测结果（表示该切片是否为IDR切片的信息（IDR/非IDR））提供给编号确定单元253。

标记确定单元252获取从图像编码装置100连同编码数据提供的并被无损解码单元202提取的default_ipred_code_number_allocation_flag，并确定其值。标记确定单元252将标记值通知给编号确定单元253。

当当前切片不是IDR切片而是I切片时，以及当其中没有场景改变时，编号确定单元253基于从预测模式计数单元255获得的计数结果来更新编号分配，以使得具有更小值的编号被分配给具有更高出现频率的预测模式。编号确定单元253将更新的编号（code_number）分配通知给帧内预测单元211。

当当前切片是IDR切片或者没有场景改变时，编号确定单元253将编号分配设置（或初始化）为预定的特定初始值。在图像解码装置和图像编码装置100之间，初始设置是公用的。编号确定单元253将编号分配被初始化的结果通知给帧内预测单元211。

当处理目标是P切片或B切片时，如果帧内宏块等于或大于预定阈值，则类似于I切片的情况，编号确定单元253基于预测模式计数单元255的计数结果来更新编号分配，使得具有更小值的编号被分配给具有更高出现频率的预测模式。编号确定单元253将更新的编号分配通知给帧内预测单元211。

而且，当处理目标是P切片或B切片并且帧内宏块小于预定阈值时，编号确定单元253按照与用于I切片的方式相同的方式来执行编号分配。而且，编号分配可以被初始化。编号确定单元253将编号分配通知给帧内预测单元211。

[解码处理的流程]

接下来，描述上述图像解码装置200执行的各种处理的流程。首先参照图32的流程图来描述解码处理的流程的示例。

当解码开始时，在步骤S201中，存储缓冲器201存储传送来的编码数据。在步骤S202中，无损解码单元202对从存储缓冲器201提供的编码数据进行解码。即，被图1的无损编码单元106编码的I图片、P图片和B图片被解码。

此时，运动向量信息、参考帧信息、预测模式信息（帧内预测模式或帧间预测模式）、关于各种标记的信息和量化参数等等被解码。

当预测模式信息是帧内预测模式信息时，预测模式信息被提供给帧内预测单元211。当预测模式信息是帧间预测模式信息时，与预测模式信息对应的运动向量信息被提供给运动预测补偿单元212。

在步骤S203中，逆量化单元203通过利用与图1的量化单元105的量化处理对应的方法，对通过无损解码单元202执行的解码获得的量化正交变换系数进行逆量化。在步骤S204中，逆正交变换单元204通过利用与图1的正交变换单元104的正交变换处理对应的方法，对通过逆量化单元203执行的逆量化获得的正交变换系数执行逆正交变换。结果，与图1的正交变换单元104的输入（计算单元103的输出）对应的差信息被解码。

在步骤S205中，计算单元205将预测图像加到通过步骤S204获得的差信息。结果，通过解码获得原始图像数据。

在步骤S206中，去块滤波器206适当地对通过步骤S205获得的解码图像进行滤波。因此，从解码图像中适当地去除块失真。

在步骤S207中，帧存储器209存储经过滤波的解码图像。

在步骤S208中，帧内预测单元211或运动预测补偿单元212根据无损解码单元202提供的预测模式信息，针对每个图像执行预测处理。

即，当从无损解码单元202提供了帧内预测模式信息时，帧内预测单元211以帧内预测模式执行帧内预测处理。而且，当从无损解码单元202提供了帧间预测模式信息时，运动预测补偿单元212以帧间预测模式执行运动预测处理。

在步骤S209中，选择单元213选择预测图像。即，帧内预测单元211生成的预测图像和运动预测补偿单元212生成的预测图像被提供给选择单元213。选择单元213选择任一方，即其预测图像被接收的那一方，并将预测图像提供给计算单元205。在步骤S205中，预测图像被加到差信息。

在步骤S210，屏幕重布置缓冲器207重新布置解码图像数据的帧。即，被图像编码装置100的屏幕重布置缓冲器102（见图1）重新布置为对应于编码顺序的解码图像数据的帧的顺序，被布置回对应于原始显示顺序。

在步骤S211中，D/A转换器208将解码的图像数据从数字转换为模拟，其中，解码的图像数据的帧按照重布置的顺序存储在屏幕重布置缓冲器207中。解码的图像数据被输出到显示器（未示出），从而将显示其图像。

[预测处理的流程]

接下来，将参照图33来描述在图32的步骤S208中执行的预测处理的详细流程的示例。

当预测处理开始时，在步骤S231中，无损解码单元202基于解码的预测模式信息来确定编码数据是否已受到帧内编码。

当确定编码数据已受到帧内编码时，无损解码单元202将处理前进到步骤S232。

在步骤S232中，编号分配单元221将编号分配给帧内预测模式。在步骤S233中，帧内预测单元211从无损解码单元202获取帧内预测模式。在步骤S234中，帧内预测单元211生成帧内预测图像。

当生成预测图像时，帧内预测单元211通过选择单元231将所生成的预测图像提供给计算单元205，结束预测处理，并将处理返回到图32的步骤S208，从而将执行步骤S209和随后步骤。

当在图33的步骤S231中确定编码数据已经受到帧间编码时，无损解码单元202将处理前进到步骤S234。

在步骤S235中，运动预测补偿单元212从无损解码单元282获取生成预测图像所需的信息，如运动预测模式、参考帧和差运动向量信息。

在步骤S236中，运动预测补偿单元212以指定模式对运动向量信息解码。

在步骤S237中，运动预测补偿单元212通过利用运动向量信息根据参考图像生成预测图像。

当生成了预测图像时，运动预测补偿单元212通过选择单元213将所生成的预测图像提供给计算单元205，结束预测处理，并将处理返回到图32的步骤S208，从而将执行步骤S209和后续步骤。

[针对I切片的编号分配处理的流程]

接下来，将参照图34的流程图来描述在图33的步骤S232中执行的针对I切片的编号分配处理的流程。当当前切片被确定为是I切片时，编号分配单元211基于从无损解码单元202提供的头信息来如图34所示那样针对I切片执行编号分配处理。

当开始针对I切片的编号分配处理时，在步骤S251中，IDR检测单元251确定当前切片是否为IDR切片。当当前切片被确定为不是IDR切片时，IDR检测单元251将处理前进到步骤S252。

在步骤S252中，标记确定单元252从无损解码单元202获取标记信息“default_ipred_code_number_allocation_flag”。在步骤S253中，标记确定单元252确定default_ipred_code_number_allocation_flag的值是否为1。当default_ipred_code_number_allocation_flag的值被确定为0时，标记确定单元252将处理前进到步骤S255。

当在步骤S253中确定default_ipred_code_number_allocation_flag的值为1时，标记确定单元252将处理前进到步骤S254。

而且，当在步骤S251中确定当前切片为IDR切片时，IDR检测单元251前进到步骤S254。

在步骤S254中，编号确定单元253针对该切片对编号分配初始化。当编号分配被初始化时，编号确定单元253将处理前进到步骤S255。

在步骤S255中，帧内预测单元211通过利用编号分配单元211设置的编号分配来执行帧内预测。帧内预测单元211将每个块的帧内预测模式提供给预测模式缓冲器254，使得存储帧内预测模式。

在步骤S256中，预测模式计数单元255计数所生成的与一个帧对应的预测模式的数量。

在步骤S257中，编号确定单元253根据计数结果（每个预测模式的出现频率）来更新编号分配。即，编号确定单元253更新编号分配，使得具有更小值的编号被分配给具有更高出现频率的预测模式。

在步骤S258中，编号分配单元221确定是否结束针对I切片的编号分配，并且当确定不结束时返回到步骤S251，从而将执行后续步骤，而且，当在步骤S258中确定结束针对I切片的编号分配处理时，编号分配单元221结束I切片的编号分配处理，并将处理返回到图33的步骤S232，从而将执行后续步骤。

由于像参照图29的流程图描述的图像编码装置100的情况那样执行针对P切片或B切片的编号分配处理，因而将不重复其描述。

顺便提及，对于P切片或B切片，编号分配单元221仅当该切片中的帧内宏块的比例等于或大于预定阈值（例如，等于或大于50%）时才更新编号（code_number）。

通过执行如上所述的各种处理，图像解码装置200可以类似于图像编码装置100的情况执行编号分配。即，图像解码装置200可以在未提供有关于在图像编码装置100中所采用的编号分配的信息的情况下再生图像编码装置100的编号分配。因此，可以抑制编码数据的编码效率的劣化。

上述的编号分配可以应用于色度信号和亮度信号的帧内预测。针对应用于色度信号的情况以及应用于亮度信号的情况都可以执行基于预测模式的出现频率的自适应性的编号分配。

此外，例如，除了在AVC编码方案的规格中规定的等于或小于16×16的尺寸的宏块（在下文中，称作宏块）等之外，如图35所示，例如，在非专利文献1中还提出了具有扩展尺寸（例如32×32像素或64×64像素）的宏块（在下文中，称作扩展宏块）。然而，上述的自适应性编号分配可以应用于扩展宏块的帧内预测。甚至在这种情况下，也可以应用该同样的方法。

而且，针对每种宏块尺寸的编号分配可以独立于彼此而被执行。例如，针对4×4宏块、8×8宏块、16×16宏块、32×32宏块、64×64宏块和色度信号的宏块的编号分配可以独立于彼此而被执行。利用该方法，可以实现更高的自适应性编号分配。

此外，可以针对每个宏块尺寸准备default_ipred_code_number_allocation_flag。

此外，可以仅针对扩展宏块执行上述的自适应性编号分配，而可以对正常宏块应用如在AVC编码方案中定义的预定分配方法。

即，在切片内，上述的自适应性编号分配可以仅应用于一部分帧内宏块，而固定的分配方法可以应用于其他帧内宏块。

可被应用自适应性编号分配方法的块的尺寸的下限是任意确定的。例如，它可以被应用于8×8或更大的宏块，或者应用于64×64或更大的宏块。此外，可以基于宏块的尺寸之外的任意参数来确定是否应用自适应性编号分配方法。

此外，在编码数据中，表示自适应性编号分配的应用的标记信息可以被加到应用了自适应性编号分配的块的头。在这种情况下，图像解码装置200基于该标记信息可以容易地识别每个宏块的编号分配方法是否为固定的。

对IDR切片等设置的编号分配的初始值是任意的。可以应用在AVC编码方案等中采用的分配方法，或者可以应用由用户设置的分配方法。

当使用用户设置的分配方法时，表示用户的设置（用户设置的编号分配方法）的信息（例如，将预测模式和编号相互关联的表信息，等等）可以从图像编码装置100提供到图像解码装置200，从而图像解码装置200可以识别分配方法。

此外，可以从图像编码装置100将表示编号分配方法是自适应性更新方法、初始设置还是用户的设置的标记信息提供到图像解码装置200。在该情况下，图像解码装置200可以容易地识别在图像编码装置100中采用的编号分配方法。

此外，可以消除针对移动图像的图像数据的最新帧计数每个预测模式的出现的处理。

此外，结合了将本技术应用于帧内宏块中的帧内模式的情况来进行了上述描述。然而，该同样的技术也可以应用于其他语法元素，例如，运动补偿分割模式等等。

已经结合了根据AVC提供的方案来执行编码的图像编码装置以及根据AVC提供的方案来执行解码的图像解码装置作为示例来进行上述描述。然而，本技术的应用范围不限于此。本技术可应用于如图35所示的基于分层块来执行编码处理的图像编码装置和图像解码装置。

<3.第三实施例>

[个人计算机]

可以在硬件或软件中实现上述处理系列。在这种情况下，例如，它可以被配置为如图36所示的个人计算机（PC）。

在图36中，个人计算机500的CPU（中央处理单元）501根据存储在ROM（只读存储器）502或从存储单元513加载到RAM（随机存取存储器）503的程序来执行各种处理。RAM 503还适当地存储CPU 501执行的各种处理所需的数据。

CPU 501、ROM 502和RAM 503通过总线504相互连接。输入/输出接口510也连接至总线504。

输入单元511、输出单元512、存储单元513和通信单元514连接到输入/输出接口510，输入单元511包括键盘、鼠标、麦克风等等，输出单元512包括显示器如CRT（阴极射线管）和LCD（液晶显示器）、扬声器等等；存储单元513被配置为硬盘等等，通信单元514被配置为调制解调器等等。通信单元514通过包括互联网在内的网络执行通信处理。

如果需要的话，驱动器515也连接到输入/输出接口510。磁盘、光盘、磁光盘、半导体存储器等等的可移除介质521适当地安装在输入/输出接口中。如果需要的话，读取自可移除介质的计算机程序可以被安装在存储单元513中。

当通过软件来执行上述处理系列时，从网络或记录介质安装构成软件的程序。

如图36所示，记录介质是其中记录有程序的介质，其中独立于设备的主体将记录介质传送给用户以分发程序。它被配置为可移除介质521，如磁盘（包括柔性盘）、光盘（包括CD-ROM（压缩盘-只读存储器）和DVD（数字多功能盘）、磁光盘（包括MD（迷你盘））、半导体存储器等等。而且，它可以被配置为记录有程序的ROM 502、存储单元513中包括的硬盘等等，其以在设备的主体中内置的形式传送给用户。

此外，计算机执行的程序可以是按照说明书中描述的顺序的时间序列的方式执行处理的程序，或者是并行地或按照调用的方式在需要的定时处单独地执行处理的程序等等。

而且，描述在记录介质中记录的程序的步骤不仅可以包括按照根据说明书中描述的顺序的时间序列方式的步骤，还可以包括不一定按照时间序列的方式执行的而是并行的或单独的执行的步骤。

本说明书中的术语“系统”表示由多种装置（或设备）构成的设备的整体。

而且，上述被描述为单个装置（处理单元）的配置可以被划分为多个装置（或处理单元）。相反，上述被描述为多个装置（处理单元）的配置可以被集成到单个装置（或处理单元）。除了上面描述的那些配置之外的配置可以被添加到上述的每个装置（或每个处理单元）。而且，特定装置（或处理单元）的配置的一部分可以被结合在另一装置（处理单元）的配置中，只要这种改变保证整个系统的配置或操作与原来的系统相同就行。而且，本发明不受本技术的实施例的限制，在不背离本技术的精神的情况下可以进行各种改变。

例如，上述的图像编码装置和图像解码装置可以应用于任意电子装置。在下文中，描述其示例。

<4.第四实施例>

[电视机]

图37是示出使用图像解码装置200的电视机的主配置的示例的框图。

图37所示的电视接收机1000包括陆地调谐器1013、视频解码器1015、视频信号处理电路1018、图形生成电路1019、面板驱动电路1020和显示面板1021、

陆地调谐器1013通过天线接收陆地模拟广播的广播波信号，并解调该信号以获取视频信号，并将其提供给视频解码器1015。视频解码器1015将陆地调谐器1013提供的视频信号解码，并将所获得的数字分量信号提供给视频信号处理电路1018。

视频信号处理电路1018对视频解码器1015提供的视频数据执行预定处理，如噪声减小等，并将所获得的视频数据提供给图形生成电路1019。

图形生成电路1019生成要通过显示面板1021显示的广播节目的视频数据、基于通过网络提供的应用的特定处理获得的图像数据等等，并将所生成的视频数据和图像数据提供给面板驱动电路1020。而且，图形生成电路1019例如针对项目的选择而适当地执行生成用于显示用户要使用的画面的视频数据（图形）的处理，并将通过将所生成的视频数据叠加在广播节目的视频数据上而获得的视频数据提供给面板驱动电路1020。

面板驱动电路1020基于图形生成电路1019提供的数据来驱动显示面板1021，并在显示面板1021上显示广播节目或上述各种画面的视频。

显示面板1021包括LCD（液晶显示器）等等，并在面板驱动电路1020的控制下显示广播节目等的视频。

而且，电视接收机1000还包括音频A/D（模拟/数字）转换器电路1014、音频信号处理电路1022、回波消除/音频合成电路、音频放大器电路1024和扬声器1025。

陆地调谐器1013通过解调所接收到的广播信号，不仅获取视频信号还获取音频信号。陆地调谐器1013将所获取到的音频信号提供到音频A/D转换器电路1014。

音频A/D转换器电路1014将陆地调谐器1013所提供的音频信号从模拟转换为数字，并将所获得的数字音频信号提供给音频信号处理电路1022。

音频信号处理电路1022对音频A/D转换器电路1014提供的音频数据执行预定处理，如噪声减少等，并将所获得的音频信号提供给回波消除/音频合成电路1023。

回波消除/音频合成电路1023将音频信号处理电路1022所提供的音频信号提供给音频放大器电路1024。

音频放大器电路1024对回波消除/音频合成电路1023提供的音频数据执行D/A转换处理和放大处理，将音频数据调整到预定音量，并使得从扬声器1025输出音频。

电视接收机1000还包括数字调谐器1016和MPEG解码器1017。

数字调谐器1016通过天线接收数字广播（陆地数字广播和BS（广播卫星）/CS（通信卫星）数字广播）的广播波信号，并调制该信号以获取MPEG-TS（运动图片专家组-传输流），并将其提供给MPEG解码器1017。

MPEG解码器1017消除给予数字调谐器1016所提供的MPEG-TS的扰频（scramble），并提取包括作为再生对象（观看对象）的节目的数据的流。MPEG解码器1017对所提取的流的音频数据包解码并将所获得的音频数据提供给音频信号处理电路1022，并且对流的图像数据包解码并将所获得的视频数据提供给视频信号处理电路1018。而且，MPEG解码器1017通过路径（未示出）将从MPEG-TS中提取的EPG（电子节目导航）数据提供给CPU 1032。

以该方式，电视接收机1000将上述图像解码装置200用作对视频数据包解码的MPEG解码器1017。广播站传送的MPEG-TS等被图像编码装置100所编码。

MPEG解码器1017类似于图像解码装置200的情况，通过根据预测模式的出现频率来执行自适应性地编号分配，再生在图像编码装置100中采用的编号分配方法。因此，MPEG解码器1017可以按照图像编码装置100将具有更小值的编号分配给具有更高出现频率的预测模式的方式，适当地对所生成的编码数据进行解码。结果，MPEG解码器1017可以提高编码数据的编码效率。

类似于视频解码器1015所提供的视频数据的情况，MPEG解码器1017所提供的视频数据在视频信号处理电路1018中受到预定处理，适当地叠加在图形生成电路1019所生成的数据上，并在之后通过面板驱动电路1020提供到显示面板1021。结果，显示图像。

类似于音频A/D转换器电路1014所提供的音频数据的情况，MPEG解码器1017提供的音频数据在音频信号处理电路1022中受到预定处理，通过回波消除/音频合成电路1023提供给音频放大器电路1024，并受到D/A转换处理和放大处理，结果，从扬声器1025输出调整到特定音量的音频。

而且，电视接收机1000还包括麦克风1026和A/D转换器电路1027。

A/D转换器电路1027接收用户对着麦克风1026说的以用于在电视接收机1000中进行语音对话的语音的信号，将所接收到的音频信号经过A/D转换处理，并将所获得的数字音频数据提供给回波消除/音频合成电路1023。

当通过A/D转换器电路1027提供电视接收机1000的用户（用户A）的语音的数据时，回波消除/音频合成电路1023使得通过将用户A的语音受到回波消除并使其与不同音频信号合成而获得的音频数据通过音频放大电路1024从扬声器1025输出。

此外，电视接收机1000包括音频压缩器/解压缩器（CODEC）1028、内部总线1029、SDRAM（同步动态随机访问存储器）1030、闪存1031、CPU 1032、USB（通用串行总线）I/F 1033和网络I/F 1034。

A/D转换器电路1027接收通过安装在电视接收机1000中的用于语音对话的麦克风1026引入的用户的语音信号，对所接收到的音频信号执行A/D转换处理，并将所获得的数字音频信号提供给音频CODEC 1028。

音频CODEC 1028将A/D转换器电路1027提供的音频数据转换为适合于通过网络传输的预定格式的数据，并通过内部总线1029将经转换的数据提供至网络I/F 1034。

网络I/F 1034经由附接到网络端子1035的线缆连接到网络。例如，网络I/F 1034将音频CODEC 1028提供的音频数据传送到与网络连接的其他装置。而且，网络I/F 1034例如通过网络端子1035接收经由网络与其连接的其他装置传送的音频数据，并通过内部总线1029将其提供给音频CODEC 1028。

音频CODEC 1028将从网络I/F 1034提供的音频数据转换为预定格式的数据，并将其提供给回波消除/音频合成电路1023。

回波消除/音频合成电路1023对从音频CODEC 1028提供的音频数据执行回波消除，将所得到的音频数据与不同的音频数据合成以产生音频数据，并使得通过音频放大器电路1024从扬声器1025输出音频数据。

SDRAM 1030存储CPU 1032所执行的处理所需的各种数据。

闪存1031存储CPU 1032所执行的程序。CPU 1032在预定定时（例如，在启动电视接收器1000时）读取在闪存1031中所存储的程序。闪存1031还存储通过数字广播获取到的EPG数据、通过网络从预定服务器获取的数据等等。

例如，包括在CPU 1032的控制下通过网络从预定服务器获取到的内容数据在内的MPEG-TS被存储在闪存1031中。闪存1031通过CUP 1032的控制通过内部总线1029将MPEG-TS提供给MPEG解码器1017。

类似于数字调谐器1016提供的MPEG-TS的情况，MPEG解码器1017处理MPEG-TS。电视接收机1000通过网络接收包含视频数据、音频数据等等在内的内容数据，并利用MPEG解码器1017对其进行解码，使得它可以显示视频并输出音频。

而且，电视接收机1000包括光接收单元1037，其接收遥控器1051发出的红外线信号。

光接收单元1037接收来自遥控器1051的红外线，并将控制码输出到CPU 1032，控制码表示通过对该红外线进行解调获得的用户的操作的内容。

CPU 1032执行存储在闪存1031中的程序，并根据从光接收单元1037提供的控制码等来控制电视接收机1000的整体操作。CPU 1032和电视接收机1000的每个单元都通过路径（未示出）相互连接。

USB I/F 1033与放置在电视接收机1000外部的并通过附接到USB端子1036的USB线缆连接到电视接收机1000的外部设备交换数据。网络I/F 1034通过附接到网络端子1035的线缆连接到网络，并因此与连接到网络的各种装置交换甚至是音频数据以外的数据。

电视接收机1000将图像解码装置200用作MPEG解码器1017，能够提高通过天线接收到的广播信号或通过网络获取到的内容数据的编码效率。

<5.第五实施例>

[移动电话]

图38是示出利用图像编码装置100和图像解码装置200的移动电话的主要配置的框图。

图38中所示的移动电话1100包括总体控制各个单元的主控制器1150、电源电路单元1151、操作输入控制器1152、图像编码器1153、摄像机I/F单元1154、LCD控制器1155、图像解码器1156、解复用器1157、记录/再生单元1162、调制/解调电路单元1158和音频CODEC 1159。这些单元通过总线1160相互连接。

而且，移动电话1100包括操作键1119、CCD（电荷耦合器件）摄像机1116、液晶显示器1118、存储单元1123、发射/接收电路单元1163、天线1114、麦克风（麦克）1121和扬声器1117。

当通过用户的操作接通呼叫结束键或电源键时，电源电路1151使电力从电池组提供至每个单元，从而移动电话1100进入可操作状态。

移动电话1100基于由CPU、ROM、RAM等构成的主控制器1150的控制，按照各种模式如语音通信模式、数据通信模式，执行各种操作，如发射/接收音频信号、发射/接收电子邮件和图像数据、捕获图像、和记录数据。

例如，在语音呼叫模式中，移动电话1100利用音频CODEC 1159将麦克风（麦克）1121采集到的音频信号转换为数字音频信号，利用调制/解调电路单元1158使该信号受到展频处理，并利用发射/接收电路单元1163使所得到的数据受到D/A转换处理和频率变换处理。移动电话1100通过天线1114将通过这些处理获得的用于发射的信号发射到基站（未示出）。发射到基站的发射信号（音频信号）通过公共电话网络被提供到预期的呼叫方的移动电话。

而且，例如，在语音呼叫模式下，移动电话1100利用发射/接收电路单元1163对通过电线1114接收到的信号进行放大，使所得到的信号受到频率变换处理和A/D转换，使所得到的信号受到调制/解调电路单元1158所执行的逆展频处理，并利用音频CODEC 1159将所得到的信号转换为模拟音频信号。移动电话1100从扬声器1117输出通过转换获得的模拟语音信号。

此外，例如，当在数据通信模式下发射电子邮件时，移动电话1100利用操作输入控制器1152接收通过对操作键1119进行操作而输入的电子邮件的文本数据。移动电话1100利用主控制器1150处理文本数据，并通过LCD控制器1155将其显示在液晶显示器1118上作为图像。

而且，移动电话1100基于通过操作输入控制器1152接收到的文本数据、用户的指令等等，利用主控制器1150生成电子邮件数据。移动电话1100使电子邮件受到调制/解调电路单元1158执行的展频处理，并使所得到的结果受到发射/接收电路单元1163执行的D/A转换处理和频率变换处理。移动电话1100通过天线1114将通过这些处理获得的供发射的信号发射到基站（未示出）。发射到基站的发射信号（电子邮件）通过网络、邮件服务器等提供给规定的地址。

而且，例如，当在数据通信模式下接收到电子邮件时，移动电话1100通过天线1114接收基站所发射的信号，放大该信号，并使该信号受到发射/接收电路单元1163所执行的频率变换处理和A/D转换。移动电话1100通过使所接收到的信号受到调制/解调电路单元1158所执行的逆展频处理，从接收到的信号中恢复原始电子邮件。移动电话1100通过LCD控制器1155在液晶显示器1118上显示恢复的电子邮件数据。

移动电话1100还通过利用记录/再生单元1162将所接收到的电子邮件数据记录（存储）在存储单元1123中。

存储单元1123是可写的任意存储介质。存储单元1123可以是例如半导体存储器如RAM和内置闪存，或者可以是硬盘。它也可以是可移除介质，如磁盘、磁光盘、光盘、USB存储器和存储器卡。当然，它们可以是这些存储器以外的存储器。

此外，例如，当以数据通信模式发射图像数据时，移动电话1100通过利用CCD摄像机1116捕获图像来生成图像数据。CCD摄像机1116包括光学器件如透镜和膜片、以及用作光电转换元件的CCD，获取对象的图像，将所接收到的光的强度转换为电信号，并生成该对象的图像的图像数据。CCD摄像机1116通过摄像机I/F单元1154利用图像编码器1153对图像数据进行编码，从而将图像数据转换为编码的图像数据。

移动电话1100利用上述图像编码装置100作为执行该处理的图像编码器1153。类似于图像编码装置100的情况，图像编码器1153根据预测模式的出现频率来自适应性地分配编号。即，图像编码器1153可以将具有更小值的编号分配给在帧内预测期间在紧邻的前一切片（帧）中出现频率更高的预测模式。结果，图像编码器1153可以提高编码数据的编码效率。

而且，在上述处理的同时，移动电话1100在CCD摄像机1116执行图像捕获之时利用音频CODEC 1159对麦克风1121采集到的声音执行A/D转换，然后对其进行编码。

移动电话1100利用复用器1157根据预定方案复用音频CODEC 1159提供的数字音频数据和图像编码器1153提供的编码图像数据。移动电话1100使作为结果获得的复用数据受到调制/解调电路单元1158执行的展频处理，并使结果受到发射/接收电路单元1163执行的D/A转换处理和频率变换处理。移动电话1100通过天线1114将通过这些处理获得的供发射的信号发射到基站（未示出）。发射到基站的发射信号（图像数据）通过网络等被提供到呼叫方。

当图像数据不是要被发射时，移动电话1100可以通过LCD控制器1155在液晶显示器1118上显示利用CCD摄像机1116生成的图像数据，而不使所生成的图像经过图像编码器1153。

而且，例如，当以数据通信模式接收到链接至临时主页的运动图像文件的数据时，移动电话1100通过天线1114接收基站发射来的信号，放大该信号，并使该信号受到发射/接收电路单元1163执行的频率变换处理和A/D转换。移动电话1100通过使所接收到的信号受到调制/解调电路单元1158执行的逆展频处理，从接收到的信号恢复复用数据。移动电话1100利用解复用器1157将复用数据分离为编码的图像数据和编码的音频数据。

移动电话1100利用图像解码器1156对编码的图像数据进行解码以生成再生运动图像数据，并通过LCD控制器1155将其显示在液晶显示器1118上。结果，例如，包括在链接到临时主页的移动图像文件中的移动图像数据被显示在液晶显示器1118上。

移动电话1100将上述图像解码装置200用作执行该处理的图像解码器1156。即，与图像解码装置200的情况类似，图像解码器1156通过根据预测模式的出现频率来执行自适应性编号分配，再生在图像编码装置100中采用的编号分配方法。因此，图像解码器1156通过向具有更小值的编号分配具有更高出现频率的预测模式，能够正确地对图像编码装置100生成的编码数据进行解码。结果。图像解码器1156能够提高编码数据的编码效率。

此处，与该处理的同时，移动电话1100通过利用音频CODEC 1159价格数字音频数据转换为模拟音频信号，并从扬声器1117输出该信号。结果，例如，再生在链接到临时主页的运动图像文件中所包括的音频数据。

与电子邮件的情况类似，移动电话1100还可以通过利用记录/再生单元1162将所接收到的链接到临时主页的数据记录（存储）在存储单元1123中。

而且，移动电话1100对通过利用CCD摄像机1116捕获和获得的二维码进行分析，并能够通过利用主控制器1150来获取在该二维码中记录的信息。

此外，移动电话1100可以通过IR通信单元1181通过红外线与外部装置通信。

移动电话1100通过在对CCD摄像机1116生成的图像数据进行编码和发射时将图像编码装置100用作图像编码器1153来提高编码数据的编码效率。

移动电话1100通过将图像解码装置200用作图像解码器1156，能够提高例如链接到临时主页的移动图像的数据（编码数据）等等的编码效率。

而且，尽管关于利用CCD摄像机1116的移动电话1100的情况进行了描述，但是也可以使用采用CMOS（互补金属氧化物半导体）的图像传感器（CMOS图像传感器）代替CCD摄像机1116。即使在该情况下，移动电话1100仍能够类似于利用CCD摄像机1116的情况，拍摄对象并生成该对象的图像的图像数据。

而且，尽管已经关于作为示例的移动电话1100进行了上述描述，但是图像编码设备100和图像解码设备200可以应用于与移动电话1100的方式相同的任何设备，只要该设备具有与移动电话1100类似的图像捕获功能和通信功能就行。该设备的示例可以包括PDA（个人数字助理）、智能电话、UMPC（超级移动个人计算机）、网络书和笔记本型个人计算机。

<6.第六实施例>

[硬盘记录器]

图39是示出使用了图像编码装置100和图像解码装置200的硬盘记录器的主要配置的框图。

图39中示出的硬盘记录器（HDD记录器1200）是这样的设备，该设备将从卫星、或地面上的天线发射来的并被调谐器接收到的广播波信号（电视信号）中所包括的广播节目的音频数据和视频数据保留在内置的硬盘中，并在按照用户的指示的定时将所保留的数据提供给用户。

硬盘记录器1200从广播波信号中提取例如音频数据和视频数据，并适当地对它们解码，并且可以将它们存储在内置硬盘中。硬盘记录器1200可以例如通过网络从其他装置获取音频数据和视频数据，适当地对它们解码，并将它们存储在内置硬盘中。

此外，硬盘记录器1200可以对例如记录在内置硬盘中的音频数据和视频数据进行解码，并将它们提供给监视器1260，从而其图像可以被显示在监视器1260的屏幕上，而其音频可以从监视器1260的扬声器输出出去。而且，硬盘记录器1200还可以对从调谐器获取到的广播波信号中提取的音频数据和视频数据、或者通过网络从其他装置获取到的音频数据和视频数据进行解码，并将解码的数据提供给监视器1260，从而其图像可以被显示在监视器1260的屏幕上，而其音频可以从监视器1260的扬声器输出出去。

当然，其他类型的操作也是可能的。

如图39所示，硬盘记录器1200包括接收单元1221、解调器1222、解复用器1223、音频解码器1224、视频解码器1225和记录器控制器1226。此外，硬盘记录器1200还包括EPG数据存储器1227、程序存储器1228、工作存储器1229、显示转换器1230、OSD（屏幕上显示）控制器1231、显示控制器1232、记录/再生单元1233、D/A转换器1234和通信单元1235。

而且，显示转换器1230包括视频编码器1241。记录/再生单元1233包括编码器1251和解码器1252。

接收单元1221从遥控器（未示出）接收红外信号，将其转换为电信号，并输出到记录器控制器1226。记录器控制器1226被配置为例如微处理器，并根据存储在程序存储器1228中的程序执行各种处理。此时，如果需要的话，记录器控制器1226使用工作存储器1229。

通信单元1235连接到网络，并通过网络与其他装置执行通信处理。例如，通信单元1235受记录器控制器1226的控制，与调谐器（未示出）通信，并主要向调谐器输出频道选择控制信号。

解调器1222对调谐器提供的信号进行解调，并将其输出到解复用器1223。解复用器1223将从解调器1222提供的数据分离为音频数据、视频数据和EPG数据，并分别将它们输出到音频解码器1224、视频解码器1225和记录器控制器1226。

音频解码器1224对输入的音频数据进行解码并输出到记录/再生单元1233。视频解码器1225对输入的视频数据进行解码，并输出到显示转换器1230。记录器控制器1226将输入的EPG数据提供到EPG数据存储器1227以被存储。

例如，显示转换器1230利用视频编码器1241将视频解码器1225或记录器控制器1226提供的视频数据编码为NTSC（国家电视标准委员会）格式的视频数据，并输出到记录/再生单元1233。而且，显示转换器1230将视频解码器1225或记录器控制器1266提供的视频数据的屏幕的大小转换为对监视器1260的尺寸对应的尺寸，并利用视频编码器1241将该数据转换为NTSC格式的视频数据，将其转换为模拟信号，并输出到显示控制器1232。

显示控制器1232在记录器控制器1226的控制下，将OSD（屏幕上显示器）控制器1231输出的OSD信号叠加在从显示转换器1230输入的视频信号上，并将结果输出到监视器1260的显示器以进行显示。

视频解码器1224输出的音频数据被D/A转换器1234转换为模拟信号并提供给监视器1260。监视器1260从其自身的内置扬声器输出该音频信号。

记录/再生单元1233包括作为存储介质的硬盘，其中记录有视频数据、音频数据等等。

例如，记录/再生单元1233利用编码器1251对由音频解码器1224提供的音频数据进行编码。而且，记录/再生单元1233利用编码器1251对显示转换器1230的视频编码器1241提供的视频数据进行编码。记录/再生单元1233利用复用器将通过对音频数据进行编码而获得的编码数据和对视频数据进行编码而获得的编码数据合成起来。记录/再生单元1233通过频道编码放大合成数据，并通过记录头将该数据写在硬盘中。

记录/再生单元1233利用再生头再生在硬盘中记录的数据，放大该数据，将利用解复用器将该数据分割为音频数据和视频数据。记录/再生单元1233利用解码器1252对音频数据和视频数据进行解码。记录/再生单元1233将解码的音频数据从数字转换为模拟，并将结果输出到监视器1260的扬声器。而且，记录/再生单元1233将解码的视频数据从数字转换为模拟，并将结果输出到监视器1260的显示器。

记录器控制器1226基于从遥控器提供的并通过接收单元1221接收的红外信号所表示的用户指示，从EPG数据存储器1227读取最新的EPG数据，并将其提供给OSD控制器1231。OSD控制器1231生成与该输入EPG数据对应的图像数据，并将其输出到显示控制器1232。显示控制器1232将从OSD控制器1231输入的视频数据输出到监视器1260的显示器以进行显示。显示控制器1232将从OSD控制器1231输入的视频数据输出到监视器1260的显示器以用于显示。结果，EPG（电子节目导航）被显示在监视器1260的显示器上。

而且，硬盘记录器1200可以通过网络如互联网，获取由其他装置提供的各种数据，如视频数据、音频数据和EPG数据。

通信单元1235受到记录器控制器1226的控制，通过从其他装置经由网络传送来的视频数据、音频数据和EPG数据获得的编码数据，并将其提供给记录器控制器1226。记录器控制器1226将获取到的通过对视频数据和音频数据进行编码获得的编码数据提供到例如记录/再生单元1233，并将其存储在硬盘中。此时，如果需要的话，记录器控制器1226和记录/再生单元1233可以执行如再编码的处理。

而且，记录器控制器1226对获取到的通过对视频数据和音频数据进行编码而获得的编码数据进行解码，并将所获得的视频数据提供到显示转换器1230。显示转换器1230对记录器控制器1226提供的视频数据和视频解码器1225提供的视频数据进行处理，通过显示器控制器1232提供到监视器1260，并显示该图像。

而且，与该图像的显示同步，记录器控制器1226可以通过D/A转换器1234将解码的音频数据提供给监视器1260，从而可以从扬声器输出音频。

此外，记录器控制器1226对获取到的通过对EPG数据进行编码而获得的编码数据进行解码，并将解码的EPG数据提供给EPG数据存储器1227。

上述硬盘记录器1200将图像解码装置200用作视频解码器1225、解码器1252以及记录器控制器1226中的内置解码器。即，视频解码器1225、解码器1252以及记录器控制器1226中的内置解码器类似于图像解码装置200的情况，通过根据预测模式的出现频率来执行自适应性的编号分配，再生在图像编码装置100中采用的编号分配方法。因此，视频解码器1225、解码器1252以及记录器控制器1226中的内置解码器通过将具有更小值的的编号分配给具有更高出现频率的预测模式，可以正确地对图像编码装置100生成的编码数据进行解码。因此，视频解码器1225、解码器1252以及记录器控制器1226中的内置解码器可以提高编码数据的编码效率。

因此，硬盘记录器1200可以提高通过例如调谐器或通信单元1235接收到的视频数据（编码数据）、或者通过记录/再生单元1233再生的的视频数据（编码数据）的编码效率。

而且，硬盘记录器1200将图像编码装置100用作编码器1251。因此，编码器1251类似于图像编码装置100的情况，根据预测模式的出现频率来执行自适应性的编号分配。即，编码器1251可以将具有更小值的编号分配给在帧内预测期间在紧邻的前一切片（帧）中出现频率更高的预测模式。结果，编码器1251可以提高编码数据的编码效率。

因此，硬盘记录器1200可以提高例如要记录在硬盘中的编码数据的编码效率。

而且，尽管上述已经关于在硬盘中记录视频数据和/或音频数据的硬盘记录器1200进行了描述。然而，可以使用任意记录介质。类似于上述硬盘记录器1200的情况，图像编码装置100和图像解码装置200可以应用于使用硬盘以外的记录介质的任何记录器，例如，闪存、光盘或视频带。

<7.第七实施例>

[摄像机]

图40是示出了使用图像编码装置100和图像解码装置200的摄像机的主要配置的示例的框图。

图40所示的摄像机1300获取对象的图像，将对象的图像显示在LCD1316上，或者将它记录在记录介质1333中作为图像数据。

透镜块1311使光（即，对象的图像）入射在CCD/CMOS 1312上。CCD/CMOS 1312是利用CCD或CMOS的图像传感器，将接收到的光的强度转换为电信号，并将其提供给摄像机信号处理单元1313。

摄像机信号处理单元1313将CCD/CMOS 1312提供的电信号转换为Y、Cr和Cd之间的色度信号，并将其提供给图像信号处理单元1314。图像信号处理单元1314在控制器1321的控制下对摄像机信号处理单元1313提供的图像信号执行预定的图像处理，或者利用编码器1341对图像信号进行编码。图像信号处理单元1314将通过对图像信号进行编码生成的编码数据提供给解码器1315。此外，图像信号处理单元1314获取在屏幕上显示器（OSD）1320中生成的用于显示的数据，并将其提供给解码器1315。

在上述处理中，摄像机信号处理单元1313适当地利用通过总线1317连接到其的DRAM（动态随机存取存储器）1318，以在需要的情况下将图像数据、通过对图像数据进行编码而获得的编码数据等等存储在DRAM1318中。

解码器1315对从图像信号处理单元1314提供的编码数据进行解码，并将所获得的图像数据（解码的图像数据）提供至LCD 1316。而且，解码器1315将从图像信号处理单元1314提供的用于显示的数据提供至LCD1316。LCD 1316适当地合成用于显示的数据的图像以及由解码器1315提供的解码的图像数据的图像，并显示所合成的图像。

屏幕上显示器1320在控制器1321的控制下通过总线1317将显示数据（例如，由符号、字符和图表构成的菜单屏幕、图标等等）输出到图像信号处理单元1314。

控制器1321基于表示通过操作单元1322进行的用户指令的内容的信号来执行各种处理，并通过总线1317控制图像信号处理单元1314、DRAM1318、外部接口1319、屏幕上显示器1320、介质驱动器1323等等。使得控制器1321能够执行各种处理所需的程序、数据等等被存储在闪存ROM1324中。

例如，控制器1321能够代替图像信号处理单元1314和解码器1315来对存储在DRAM 1318中的图像数据进行编码或者对存储在DRAM1318中的编码数据进行解码。此时，控制器1321可以利用与图像信号处理单元1314和解码器1315的编码/解码方案相同的方案来执行编码/解码处理，或者可以利用图像信号处理单元1314和解码器1315所支持的方案来执行编码/解码处理。

而且，例如，当从操作单元1322提供开始图像打印操作的指示时，控制器1321从DRAM 1318中读出图像数据，通过总线1317将其提供给连接至外部接口1319的打印机1334以进行打印。

而且，例如，当从操作单元1322提供开始图像记录操作的指示时，控制器1321从DRAM 1318读出图像数据，通过总线1317将其提供给安装在介质驱动器1323中的记录介质1333以进行存储。

记录介质1333是任意的可读/可写的可移除介质，例如，磁盘、磁光盘、光盘、半导体存储器等等。记录介质1333也可以是任意类型的可移除介质。即，它可以是带装置，可以是盘，也可以是存储卡。当然，它可以是无接触型的IC卡等等。

而且，介质驱动器1323和记录介质1333可以集成地形成，如非传输型存储介质，如内置的硬盘驱动器、内置的SSD（固态驱动器）等等。

外部接口1319被配置为例如USB输入/输出端子，并且当打印图像时与打印机1334连接。而且，驱动器1331还在需要时连接至外部接口1319。在需要时，可移除介质1332，如磁盘、光盘、磁光盘或半导体存储器，被适当地安装在外部接口中，使得从其读取的计算机程序可以被安装在闪存ROM 1324中。

此外，外部接口1319包括用于连接至与预定网络（如LAN、互联网等）的网络接口。例如，控制器1321可以根据从操作单元1322提供的指示从DRAM 1318中读取编码数据，并使得编码数据能够从外部接口1319提供至通过网络连接到其的其他外部装置。而且，控制器1321可以通过外部接口1319，通过网络获取其他装置提供的编码数据和/或图像数据，并将其存储在DRAM 1318中，或者将其提供给图像信号处理单元1314。

上述摄像机1300将图像解码装置200用作解码器1315。即，解码器1315类似于图像解码装置200的情况，通过根据预测模式的出现频率来执行自适应性的编号分配，再生在图像编码装置100中采用的编号分配方法。因此，编码器1315可以通过将具有更小值的编号分配给具有更高出现频率的预测模式，来对图像编码装置100生成的编码数据正确地执行解码。结果，解码器1315可以提高编码数据的编码效率。

因此，摄像机1300可以提高在CCD/CMOS 1312中生成的图像数据的编码数据、从DRAM 1318或记录介质1333中读取的视频数据的编码数据、和/或通过网络获取的视频数据的编码数据的编码效率。

而且，摄像机1300将图像编码装置100用作编码器1341。类似于图像编码装置100的情况，编码器1341根据预测模式的出现频率来自适应性地分配编号。即，编码器1341可以将具有更小值的编号分配给在帧内预测期间在紧邻的前一切片（帧）中的出现频率更高的预测模式。结果，编码器1341可以提高编码数据的编码效率。

因此，摄像机1300可以提高例如要被记录在DRAM 1318或记录介质1333中的编码数据和/或要被提供给其他装置的编码数据的编码效率。

而且，图像解码装置200的解码方法可以被应用于控制器1321所执行的解码处理。而且，图像编码装置100的编码方法可以被应用于控制器1321所执行的编码处理。

而且，作为摄像机1300的图像捕获结果的图像数据可以是运动图像或静止图像。

此外，当捕获运动图像的摄像机1300一旦根据用户的操作而停止捕获图像然后恢复图像捕获；针对停止图像捕获时捕获的最后一帧的计数结果（预测模式的出现频率）可以被存储，然后，针对恢复随后的图像捕获时捕获的第一帧，分配通过利用所存储的最后一个计数结果（预测模式的出现频率）来自适应性地设置的编码。

对于摄像机1300，考虑用户频繁地重复开始和停止图像捕获的情况。当在短时间内重复该处理时，帧之间的差与执行连续的图像捕获的情况一样小，并且有这样的可能性，之前图像捕获的最后一帧与之后的图像捕获的第一帧之间的设计的相似度高。例如，甚至考虑以下情况，用户利用摄像机1300捕获特定对象的图像，停止捕获该对象的图像，再次重新开始捕获该对象的图像。

例如，如果每次停止图像捕获时都对码数分配初始化，则很可能因为频繁地重复初始化而消弱了编码效率的提高。因此，如上所述，可以在开始随后的图像捕获时使用之前图像捕获的最后的计数结果，摄像机1300能够更进一步地提高编码效率。

而且，当计数结果被保留的时长有限并且从停止图像捕获起经过了预定时间时，可以消除保留的计数结果，并且在开始随后的图像捕获时可以对码数的分配进行初始化。

当然，图像编码装置100和图像解码装置200可应用于上述设备以外的设备和/或系统。

例如，类似于MPEG和H.26x，该技术可应用于当通过网络介质（如卫星广播）、有线电视、互联网和移动电话接收到通过正交变换（如离散余弦变换）和运动补偿压缩的图像信息（比特流）时所使用的图像编码装置和图像解码装置、以及当在存储介质（如光盘、磁盘和闪存）中执行处理时所使用的图像编码装置和图像解码装置。

本技术能够实现以下配置。

（1）一种图像处理设备，包括：

帧内预测单元，其通过利用多个预测模式执行帧内预测，并基于所获得的预测结果选择最佳预测模式；

更新单元，其更新用于所述帧内预测单元所执行的所述帧内预测的各个预测模式的编号分配，使得更小值被分配给具有更高出现频率的预测模式；以及

编码单元，其对根据所更新的编号分配而分配给所述帧内预测单元所执行的所述帧内预测的预测模式的编号进行编码。

（2）根据（1）所述的图像处理设备，

其中，所述更新单元针对以下预测模式中的至少一个预测模式根据所述出现频率来更新所述编号分配：帧内4×4预测模式、帧内8×8预测模式、帧内16×16预测模式、用于扩展宏块的帧内预测模式、以及用于色度信号的帧内预测模式，其中所述扩展宏块是编码处理单位并被扩展为具有大于16×16像素的尺寸。

（3）根据（1）或（2）所述的图像处理设备，还包括：

IDR切片检测单元，其检测IDR切片并确定当前切片是否为IDR切片，

其中，当所述IDR切片检测单元确定该切片为所述IDR切片时，所述更新单元针对该切片对所述编号分配进行初始化并且将所述编号分配设置为预定的初始值。

（4）根据（3）所述的图像处理设备，

其中，所述编号分配的所述初始值是在AVC编码方案中规定的编号分配方法。

（5）根据（1）至（4）中任一项所述的图像处理设备，还包括：

场景改变检测单元，其检测所述当前切片中的场景改变，

其中，当所述场景改变检测单元确定在该切片中包括场景改变时，所述更新单元针对该切片对所述编号分配进行初始化，并且将所述编号分配设置为预定的初始值。

（6）根据（5）所述的图像处理设备，

其中，所述更新单元将标记信息的值设置为表示所述初始值的值，所述标记信息表示针对该切片的编号分配是所述更新单元更新的编号分配或所述预定的初始值。

（7）根据（1）至（6）中任一项所述的图像处理设备，

其中，在对当前I切片的编码处理完成之后，所述更新单元按照将更小值分配给在该I切片中有更高出现频率的每个预测模式的方式，针对下一I切片更新所述编号分配。

（8）根据（1）至（7）中任一项所述的图像处理设备，

其中，所述更新单元将针对在P切片或B切片中包括的帧内宏块的编号分配设置为所述预定的初始值。

（9）根据（1）至（7）中任一项所述的图像处理设备，

其中，所述更新单元将针对在P切片或B切片中包括的帧内宏块的编号分配更新为针对紧邻的前一I切片设置的编号分配。

（10）根据（1）至（7）中任一项所述的图像处理设备，

其中，当在P切片或B切片中包括的帧内宏块的数量大于预定参考值时，所述更新单元按照更小值被分配给具有更高出现频率的预测模式的方式，更新针对在所述P切片或所述B切片中包括的所述帧内宏块的编号分配。

（11）根据（1）至（10）中任一项所述的图像处理设备，

其中，所述更新单元根据所述模式的出现频率来甚至更新用于运动补偿分割模式的编号分配。

（12）一种图像处理设备的图像处理方法，包括：

通过帧内预测单元通过利用多个预测模式执行帧内预测，并基于所获得的预测结果选择最佳预测模式；

通过更新单元来更新用于所述帧内预测的各个预测模式的编号分配，使得更小值被分配给具有更高出现频率的预测模式；以及

通过编码单元对根据所更新的编号分配而分配给所述帧内预测单元所执行的所述帧内预测的预测模式的编号进行编码。

（13）一种图像处理设备，包括：

解码单元，其对用于帧内预测的预测模式的编号进行解码；

更新单元，其更新用于所述帧内预测的各个预测模式的编号分配，以使得更小值被分配给具有更高出现频率的预测模式；以及

帧内预测单元，其根据所述更新单元所更新的编号分配，按照与所述解码单元所解码的编号对应的预测模式来执行所述帧内预测。

（14）一种图像处理设备的图像处理方法，包括：

通过解码单元对用于帧内预测的预测模式的编号进行解码；

通过更新单元更新用于所述帧内预测的各个预测模式的编号的分配，以使得更小值被分配给具有更高出现频率的预测模式；以及

通过帧内预测单元根据所更新的编号分配，按照与所解码的编号对应的预测模式来执行所述帧内预测。

参考标号列表

100 图像编码装置

114 帧内预测单元

121 编号分配单元

151 IDR检测单元

152 场景改变检测单元

153 编号确定单元

154 预测模式缓冲器

155 预测模式计数单元

200 图像解码装置

211 帧内预测单元

221 编码分配单元

251 IDR检测单元

252 标记确定单元

253 编码确定单元

254 预测模式缓冲器

255 预测模式计数单元

Claims

1.一种图像处理设备，包括：

编码单元，其对根据所述更新单元所更新的编号分配而分配给所述帧内预测单元所执行的所述帧内预测的预测模式的编号进行编码。

2.根据权利要求1所述的图像处理设备，

3.根据权利要求1所述的图像处理设备，还包括：

其中，当该切片被所述IDR切片检测单元的检测确定为所述IDR切片时，所述更新单元针对该切片对所述编号分配进行初始化并且将所述编号分配设置为预定的初始值。

4.根据权利要求3所述的图像处理设备，

5.根据权利要求1所述的图像处理设备，还包括：

场景改变检测单元，其检测所述当前切片中的场景改变，

6.根据权利要求5所述的图像处理设备，

其中，当所述场景改变检测单元确定在该切片中包括所述场景改变时，所述更新单元将标记信息的值设置为表示所述初始值的值，所述标记信息表示针对该切片的编号分配是所述更新单元更新的编号分配或所述预定的初始值。

7.根据权利要求1所述的图像处理设备，

8.根据权利要求1所述的图像处理设备，

其中，所述更新单元将针对在P切片或B切片中包括的帧内宏块的编号分配设置为预定的初始值。

9.根据权利要求1所述的图像处理设备，

10.根据权利要求1所述的图像处理设备，

其中，当在P切片或B切片中包括的帧内宏块的数量大于预定参考值时，所述更新单元更新针对在所述P切片或所述B切片中包括的帧内宏块的编号分配，以使得更小值被分配给具有更高出现频率的预测模式。

11.根据权利要求1所述的图像处理设备，

12.一种图像处理设备的图像处理方法，包括：

通过编码单元对用于所执行的帧内预测的预测模式的编号进行编码，所述编号是根据所更新的编号分配来分配的。

13.一种图像处理设备，包括：

解码单元，其对用于帧内预测的预测模式的编号进行解码；

14.一种图像处理设备的图像处理方法，包括：

通过解码单元对用于帧内预测的预测模式的编号进行解码；

通过更新单元更新用于所述帧内预测的各个预测模式的编号分配，以使得更小值被分配给具有更高出现频率的预测模式；以及