[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN103636214B - 图像处理设备及图像处理方法 - Google Patents

图像处理设备及图像处理方法 Download PDF

Info

Publication number
CN103636214B
CN103636214B CN201280030984.7A CN201280030984A CN103636214B CN 103636214 B CN103636214 B CN 103636214B CN 201280030984 A CN201280030984 A CN 201280030984A CN 103636214 B CN103636214 B CN 103636214B
Authority
CN
China
Prior art keywords
unit
coding
prediction
parameter
mpm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201280030984.7A
Other languages
English (en)
Other versions
CN103636214A (zh
Inventor
近藤健治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN103636214A publication Critical patent/CN103636214A/zh
Application granted granted Critical
Publication of CN103636214B publication Critical patent/CN103636214B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/463Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本技术涉及一种图像处理设备以及一种图像处理方法,使得可以提高编码效率。图像处理设备包括:控制单元,通过基于预测单元的大小和形状、即预测处理单元中的区域,选择表和设置上下文概率模型来控制与帧内预测相关的各种参数的编码;以及编码单元,根据控制单元来对参数进行编码。本公开能够应用于图像处理设备。

Description

图像处理设备及图像处理方法
技术领域
本公开涉及一种图像处理设备及图像处理方法,具体涉及一种能够提高编码效率的图像处理设备和图像处理方法。
背景技术
近年来,符合MPEG(运动图像专家组)方案等的设备在分发信息的广播站和接收信息的普通家庭二者中越来越广泛,其中,MPEG方案将图像信息处理为数字的,并且为了高效传输和存储信息,通过正交变换诸如离散余弦变换或运动补偿同时利用特定于图像信息的冗余度来对信息进行压缩。
具体地,MPEG-2(ISO(标准化国际组织)/IEC(国际电工委员会)13818-2)被定义为通用图像编码系统,其是覆盖了隔行扫描图像和顺序扫描图像、以及标准分辨率图像和高分辨率图像的标准。MPEG-2现在被专业使用应用和家用应用广泛使用。通过对具有720×480像素的标准分辨率的隔行扫描图像分配4到8Mbps的代码量(比特率)、或对具有1920×1088像素的高分辨率的隔行扫描图像分配18到22Mbps的代码量(比特率),使用MPEG-2压缩方案能够实现高压缩率和满意的图像质量。
MPEG-2的目的在于主要适用于广播的高图像质量编码,但是不适合于代码量(比特率)低于MPEG-1的代码量的编码系统,即,具有较高压缩率的编码系统。随着移动终端越来越普及,预期在未来会增加对这样的编码系统的需求。作为回应,已使MPEG-4编码系统标准化。关于图像编码系统,该标准在1998年12月被批准为国际标准ISO/IEC14496-2。
此外,近年来,起初意在用于对视频会议中所使用的图像进行编码的称作H.26((ITU-T)国际电信联盟电信标准化部门)Q6/16VCEG(视频编码专家组)的标准正在变得标准化。虽然H.26L与传统的编码系统诸如MPEG-2和MPEG-4相比在编码和解码方面需要较大的计算量,但是已知H.26L实现了更高的编码效率。而且,作为与MPEG-4有关的动作的一部分,通过使用H.26L作为基础并结合不被H.26L支持的功能来实现更高编码效率的标准化目前正在作为增强压缩视频编码的联合模型而进行。
关于标准化时间表,该标准在2003年3月变为以H.264和MPEG-4部分10(高级视频编码;在后文中表示为AVC)命名的国际标准。
此外,作为延伸动作,已在2005年2月完成了包括商业用途所需的编码工具(诸如RGB、4:2:2、或4:4:4)、由MPEG-2规定的8×8DCT(离散余弦变换)和量化矩阵的FRExt(保真度范围扩展)的标准化,因此AVC能够被用作能够适当地表达甚至电影中所包括的影片噪声的编码系统,并且已被用于诸如蓝光盘(注册商标)等的广泛应用。
然而,当前,增加了对更高压缩编码的需求,诸如意在压缩具有大约4000×2000像素的图像,其是高清电视图像的四倍,或者可替代地,增加了对更高压缩编码的需求,诸如意在在具有有限的传输能力的环境如互联网内分发高清图像。因此,ITU-T控制下的上述VCEG(视频编码专家组)不断在进行与提高编码效率有关的研究。
然而,考虑的是,针对将成为下一代编码系统的目标的以UHD(超高清;4000像素×2000像素)提供的大图像帧,16像素×16像素的宏块大小不是最佳的。
因此,为了进一步提高通过AVC(涉及例如非专利文献1)实现的编码效率,为由ITU-T和ISO/IEC形成的联合标准化组的JCTVC(视频编码联合协作小组)目前正在工作来使称为HEVC(高效视频编码)的编码系统标准化。
HEVC编码系统将编码单元(CU)限定为与AVC中所使用的宏块类似的处理单元。与AVC中所使用的宏块不同的是,CU的大小未被固定成16像素×16像素,而是以每个序列在图像压缩信息内指定。
顺便提及,在HEVC中能够使用称为最可能模式(MPM)的编码系统。在此模式下,编码器将指定MPM是否被用于待处理的关注PU(预测单元)的标记mpm_flag和表示相邻PU的哪个帧内预测方向被应用于关注PU的mpm_lr_flag包括在流中。
相比之下,当不使用MPM时,编码器将指示关注PU的帧内预测的预测方向的intra_dir_mode包括在流中。
解码器对流进行解码,并且通过与编码系统对应的解码方法基于该信息来对编码数据进行解码。
引用列表
非专利文献
非专利文献1:Thomas Wiegand,Woo-Jin Han,Benjamin Bross,Jens-RainerOhm,Gary J.Sullivan,"Working Draft1of High-EfficiencyVideo Coding",JCTVC-C403,Joint Collaborative Teamonvideo Coding(JCT-VC)of ITU-T SG16WP3and ISO/IEC JTCl/SC29/WG113rd Meeting:广州,中国,2010年10月7日至15日。
发明内容
本发明要解决的问题
然而,在此情况下,需要对信息诸如mpm_flag、mpm_lr_flag和intra_dir_mode进行编码从而将其包括在流中,因此,考虑的是,这些信息片段会降低编码效率。然而,在不考虑这些值的特性的情况下进行编码,因此难于获得足够的编码效率。
鉴于前面所述作出了本公开,并且目的是抑制编码效率的降低。
针对问题的解决方案
本公开内容的一个方面为一种图像处理设备,包括:控制单元,根据预测处理单元中的区域来控制对与帧内预测相关的参数的编码;以及编码单元,根据控制单元的控制来对参数进行编码。
控制单元能够控制对参数的编码以降低参数的代码量。
控制单元能够选择用于向参数的每个值分配代码编号的表,以及编码单元能够使用控制单元选择的表来将参数的值转换并编码成代码编号。
控制单元能够选择编码单元的算术编码的上下文概率模型,以及编码单元能够使用控制单元选择的上下文概率模型来对参数进行编码。
参数能够包括指定最可能模式(MPM)是否被使用的标记。
控制单元能够根据区域的大小和形状来控制对指定MPM是否被使用的标记的编码。
参数能够包括指定要在最可能模式(MPM)中参考的周围区域的标记。
控制单元能够根据区域的形状和ID来控制对指定要在MPM中被参考的周围区域的标记的编码。
参数能够包括表示帧内预测的预测方向的标记。
控制单元能够根据区域的大小和形状来控制对表示帧内预测的预测方向的标记的编码。
还能够包括发送编码单元编码的参数的发送单元。
本公开的一个方面是一种图像处理设备中处理图像的方法,其中,控制单元根据预测处理单元中的区域来控制对与帧内预测相关的参数的编码,以及编码单元根据所述控制来对参数进行编码。
本公开内容的另一个方面为图像处理设备,包括:接收单元,被配置成接收与帧内预测相关的参数的编码数据;控制单元,被配置成根据预测处理单元中的区域来控制对接收单元接收到的编码数据的解码;以及解码单元,被配置成根据控制单元的控制来对编码数据进行解码。
本公开的又一方面是一种图像处理设备中处理图像的方法,其中,接收单元接收与帧内预测相关的参数的编码数据,控制单元根据预测处理单元中的区域来控制接收到的编码数据的解码,以及解码单元根据所述控制对编码数据进行解码。
在本公开的一个方面中,根据预测处理单元中的区域来控制对与帧内预测相关的参数的编码,以及对与帧内预测相关的参数进行编码。
在本公开内容的另一个方面中,接收与帧内预测相关的参数的编码数据,根据预测处理单元中的区域来控制对接收到的编码数据的解码,以及根据控制来对编码数据进行解码。
发明效果
根据本公开,能够处理图像。尤其地,能够抑制编码效率的降低。
附图说明
图1为示出了图像编码装置的主要配置的示例的框图。
图2为示出了编码单元的配置的示例的图。
图3为示出了角预测帧内预测系统的示例的图。
图4为示出了任意方向帧内预测系统的示例的图。
图5为示出了PU的分区类型的示例的图。
图6为示出了最可能模式的图。
图7为示出了无损编码单元和分配控制单元的主要配置的示例的框图。
图8为示出了预测方向的示例的图。
图9为示出了mpm_flag的可变长度编码(VLC)表的示例的图。
图10为示出了mpm_lr_flag的VLC表的示例的图。
图11为示出了intra_dir_mode的VLC表的示例的图。
图12为示出了表A的示例的图。
图13为示出了表B的示例的图。
图14为示出了表C的示例的图。
图15为示出了表D的示例的图。
图16为示出了表E的示例的图。
图17为示出了编码处理的流程的示例的流程图。
图18为示出了无损编码处理的流程的示例的流程图。
图19为示出了编码分配控制处理的流程的流程图。
图20为示出了图像解码装置的主要配置的示例的框图。
图21为示出了无损解码单元和分配控制单元的主要配置的示例的框图。
图22为示出了解码处理的流程的示例的流程图。
图23为示出了预测处理的流程的示例的流程图。
图24为示出了解码分配控制处理的流程的流程图。
图25为示出了无损编码单元和分配控制单元的另一个配置示例的框图。
图26为示出了无损编码处理的流程的示例的流程图。
图27为示出了编码分配控制处理的流程的示例的流程图。
图28为示出了无损解码单元和分配控制单元的另一个配置示例的图。
图29为示出了无损解码处理的流程的另一个示例的流程图。
图30为示出了解码分配控制处理的流程的另一个示例的流程图。
图31为示出了个人计算机的主要配置的示例的框图。
图32为示出了电视装置的示意性配置的示例的框图。
图33为示出了移动电话的示意性配置的示例的框图。
图34为示出了记录/再现装置的示意性配置的示例的框图。
图35为示出了成像装置的示意性配置的示例的框图。
具体实施方式
下面将描述用于实现本公开的具体实施方式(在后文中称为实施方式)。将按照以下顺序来提供描述。
1.第一实施方式(图像编码装置)
2.第二实施方式(图像解码装置)
3.第三实施方式(上下文概率模型的控制)
4.第四实施方式(计算机)
5.第五实施方式(电视机)
6.第六实施方式(移动电话)
7.第七实施方式(记录/再现装置)
8.第八实施方式(成像装置)
<1.第一实施方式>
[图像编码装置]
图1为示出了作为图像处理设备的图像编码装置的主要配置的示例的框图。
图1中示出的图像编码装置100在使用如诸如H.264或MPEG(运动图像专家组)4部分10(AVC(高级视频编码))的编码系统中所执行的预测处理的情况下对图像数据进行编码。
如图1所示,图像编码装置100包括A/D(模拟/数字)转换单元101、图片重布置缓冲器102、计算器103、正交变换单元104、量化单元105、无损编码单元106和存储缓冲器107。此外,图像编码装置100包括解量化单元108、逆正交变换单元109、计算器110、环路滤波器111、帧存储器112、选择单元113、帧内预测单元114、运动预测/补偿单元115、预测图像选择单元116和速率控制单元117。
图像编码装置100还包括分配控制单元121。
A/D转换单元101对输入图像数据执行A/D转换,并将转换的图像数据(数字数据)提供给图片重布置缓冲器102,以便在该图片重布置缓冲器102中存储转换的图像数据。图片重布置缓冲器102根据GOP(图片组)将所存储的图像中按照显示顺序布置的帧重新布置成用于编码的顺序,之后将具有重新布置的帧顺序的图像提供给计算器103。图片重布置缓冲器102还将具有重新布置的帧顺序的图像提供给帧内预测单元114和运动预测/补偿单元115。
计算器103从读取自图片重布置缓冲器102的图像中减去经由预测图像选择单元116由帧内预测单元114或运动预测/补偿单元115提供的预测图像,并将差信息输出到正交变换单元104。
例如,在经历帧内编码的图像的情况下,计算器103从读取自图片重布置缓冲器102的图像中减去从帧内预测单元114提供的预测图像。当图像经历帧间编码时,例如,计算器103从读取自图片重布置缓冲器102的图像中减去由运动预测/补偿单元115提供的预测图像。
正交变换单元104对从计算器103提供的差信息执行正交变换,诸如离散余弦变换或Karhunen-Loeve变换。注意,任意选择正交变换方法。然后,正交变换单元104将变换系数提供给量化单元105。
量化单元105对从正交变换单元104提供的变换系数进行量化。即,量化单元105基于从速率控制单元117提供的与代码量的目标值有关的信息来设置量化参数,并执行量化。注意,任意选择该量化的方法。然后,量化单元105将量化的变换系数提供给无损编码单元106。
无损编码单元106通过使用任意编码系统来对在量化单元105中量化的变换系数进行编码。由于在速率控制单元117的控制下对系数数据进行量化,所以代码量对应于由速率控制单元117设置的目标值(或接近该目标值)。
无损编码单元106还从帧内预测单元114获得包括表示帧内预测模式的信息等的帧内预测信息,并从运动预测/补偿单元115获得包括表示帧间预测模式的信息和运动向量信息等的帧间预测信息。无损编码单元106还获取环路滤波器111中使用的滤波器系数等。
无损编码单元106通过任意编码系统对这些各种信息片段进行编码,并使其成为编码数据的头部信息的一部分(即,复用)。然后,无损编码单元106将通过编码获得的编码数据提供给存储缓冲器107并在该存储缓冲器107中储存该数据。
无损编码单元106能够使用例如可变长度编码或算术编码作为编码系统。例如,能够使用H.264/AVC方案中所规定的CAVLC(上下文-自适应可变长度编码)作为可变长度编码。例如,能够使用CABAC(上下文-自适应二进制算术编码)作为算术编码。
存储缓冲器107暂时保存从无损编码单元106提供的编码数据。存储缓冲器107以预定定时将被保存在其中的编码数据输出至未被示出但设置在随后的级中的记录装置(记录介质)或传输路径。即,将经编码的各种类型的信息提供给解码侧。
还将在量化单元105中量化的变换系数提供给解量化单元108。解量化单元108通过与由量化单元105所执行的量化对应的方法来对经量化的变换系数进行解量化。解量化方法可以为任何方法,只要其与由量化单元105所执行的量化处理对应即可。解量化单元108将所获得的变换系数提供给逆正交变换单元109。
逆正交变换单元109通过与由正交变换单元104所执行的正交变换处理对应的方法来对从解量化单元108提供的变换系数执行逆正交变换。逆正交变换方法可以为任何方法,只要其与由正交变换单元104所执行的正交变换处理对应即可。将经逆正交变换的输出(本地解码的差信息)提供给计算器110。
计算器110将通过预测图像选择单元116从帧内预测单元114或运动预测/补偿单元115提供的预测图像加到从逆正交变换单元109提供的逆正交变换结果、即本地解码的差信息,以获得本地重构图像(在后文中,称为重构图像)。将重构图像提供给环路滤波器111或帧存储器112。
包括解块滤波器和自适应环路滤波器的环路滤波器111适当地对从计算器110提供的解码图像执行滤波处理。环路滤波器111例如通过对解码图像执行去块滤波处理来去除解码图像中的块失真。通过使用例如维纳滤波器来对去块滤波处理的结果(块失真已从其中被去除的解码图像)执行环路滤波处理,环路滤波器111还提高了图像质量。
注意,环路滤波器111可以适用于对解码图像执行任意滤波处理。环路滤波器111还能够在需要时将诸如在滤波处理中使用的滤波系数的信息提供给无损编码单元106以便对该信息进行编码。
环路滤波器111将滤波处理结果(在后文中,称为解码图像)提供给帧存储器112。
帧存储器112分别存储从计算器110提供的重构图像和从环路滤波器111提供的解码图像。帧存储器112以预定定时或基于来自外部诸如帧内预测单元114的请求,通过选择单元113将存储在其中的重构图像提供给帧内预测单元114。帧存储器112还以预定定时或基于来自外部诸如运动预测/补偿单元115的请求通过选择单元113将存储在其中的解码图像提供给运动预测/补偿单元115。
选择单元113指示从帧存储器112输出的图像的提供目的地。例如,在帧内预测的情况下,选择单元113从帧存储器112读出未经历滤波处理的图像(重构图像),并将其作为周围图像提供给帧内预测单元114。
另外,例如,在帧间预测的情况下,选择单元113从帧存储器112读出经历了滤波处理的图像(解码图像),并将其作为参考图像提供给运动预测/补偿单元115。
当帧内预测单元114从帧存储器112获取位于待处理的关注PU周围的周围PU的图像(周围图像)时,帧内预测单元114执行帧内预测(画面中预测),以使用周围图像的像素值来生成关注PU的预测图像。帧内预测单元114以预先准备的多种模式(帧内预测模式)来执行此帧内预测。
帧内预测单元114以所有的候选帧内预测模式来生成预测图像,通过使用从图片重布置缓冲器102提供的输入图像来评估每个预测图像的代价函数值,并选择最佳模式。当选择最佳帧内预测模式时,帧内预测单元114将以最佳模式生成的预测图像提供给预测图像选择单元116。
另外,帧内预测模式114将包括与帧内预测相关的信息诸如最佳帧内预测模式的帧内预测信息适当地提供给无损编码单元106,并使无损编码单元106能够对该信息进行编码。
运动预测/补偿单元115作为基本处理单元通过使用从图片重布置缓冲器102提供的输入图像和通过选择单元113从帧存储器112提供的参考图像来对PU执行运动预测(帧间预测),根据所检测到的运动向量来执行运动补偿处理,并生成预测图像(帧间预测图像信息)。运动预测/补偿单元115以预先准备的多种模式(帧间预测模式)来执行该帧间预测。
运动预测/补偿单元115以所有的候选帧间预测模式来生成预测图像,评估每个预测图像的代价函数值,并选择最佳模式。当选择最佳帧间预测模式时,运动预测/补偿单元115将以最佳模式生成的预测图像提供给预测图像选择单元116。
另外,运动预测/补偿单元115将包括与帧间预测相关的信息诸如最佳帧间预测模式的帧间预测信息提供给无损编码单元106,并使无损编码单元106能够对该信息进行编码。此外,当选择帧间预测作为最佳预测模式时,运动预测/补偿单元115将最佳帧间预测模式的信息通知给帧内预测单元114。
预测图像选择单元116选择预测图像从其被提供给计算器103和计算器110的源。例如,在帧内编码的情况下,预测图像选择单元116选择帧内预测单元114作为预测图像的提供源,并将从帧内预测单元114提供的预测图像提供给计算器103和计算器110。当执行帧间预测时,例如,预测图像选择单元116选择运动预测/补偿单元115作为从其提供预测图像的源,并将从运动预测/补偿单元115提供的预测图像提供给计算器103和计算器110。
速率控制单元117基于存储缓冲器107中累积的编码数据的代码量来控制通过量化单元105所执行的量化操作的速率,以使得不导致上溢或下溢。
在执行与帧内预测相关的信息诸如mpm_flag、mpm_lr_flag和intra_dir_mode的算术编码过程中,分配控制单元121控制要分配给值得代码编号。具体地,例如,分配控制单元121选择用于将mpm_flag、mpm_lr_flag和intra_dir_mode的值转换成代码编号的VLC表(可变长度编码表)。此时,分配控制单元121根据待预测的关注PU的大小或形状来选择VLC表。
[编码单元]
这里,将描述HEVC编码系统。首先,将描述在HEVC编码系统中所限定的编码单元。
还参照编码树块(CTB),编码单元(CU)为图片单元中的图像的部分区域,并起到与AVC中宏块的作用相似的作用。后者具有16×16像素的固定大小,而前者的大小不固定,从而以每个序列在图像压缩信息中指定。
具体地,具有最大大小的CU称作最大编码单元(LCU),以及具有最小大小的CU称为最小编码单元(SCU)。例如,这些区域的大小在图像压缩信息所包括的序列参数集中指定,其中该大小限于方形并用2的幂来表达。
图2示出了HEVC中限定的编码单元的示例。在图2所示的示例中,LCU为128×128像素大小,同时最大层次深度为5。当split_flag的值为“1”时,将具有2N×2N像素大小的CU划分成具有N×N像素大小的CU,其在层次上低一级。
还将CU划分成是待作为用于帧内预测或帧间预测的处理单元的区域(图片单元中的图像的部分区域)的预测单元(PU),并且然后划分成作为用于正交变换的处理单元的区域(图片单元中的图像的部分区域)的变换单元(TU)。
注意,在后文中,将使用处理单元(CU和PU等)来给出描述。然而,明显地是,例如,处理单元还适用于类似区域,比如AVC的宏块或子宏块。
[HEVC帧内预测系统]
接下来,将描述在HEVC中所限定的帧内预测系统。
在HEVC中,用于帧内预测的PU的单元为4×4、8×8、16×16、32×32或64×64。
针对4×4的大小,执行与AVC类似的帧内预测处理。
针对8×8的大小,基于以下所述称为角预测的系统来执行帧内预测处理。
针对16×16、32×32和64×64的大小,基于以下所述称为任意方向帧内(ADI)的系统来执行帧内预测处理。
此外,为了在帧内预测之前提高编码效率,将使用系数(1、2、1)的低通滤波处理应用于周围图像值。针对每个PU将与应用/不应用相关的信息发送给图像压缩信息。
在后文中,将描述在HEVC编码系统中所限定的角预测帧内预测系统。
[角预测帧内预测系统]
图3为示出了角预测帧内预测系统的图。
即,角预测中图3的A中所示出的角度的帧内预测处理。
另外,为了执行图3的A中所示出的角度的帧内预测,需要使用如图3的B所示的周围图像中的像素值。因此,在角预测中,能够执行1/8像素精度的线性内插处理。
[任意方向帧内(ADI)预测系统]
接下来,将描述在HEVC编码系统中所限定的任意方向帧内(ADI)预测系统。
图4示出了用于描述任意方向帧内(ADI)预测系统的图。
在任意方向帧内(ADI)预测系统中,如图4的A所示,使用位于左下方的相邻像素值。
类似于AVC编码系统的情况,限定了垂直、水平、DC、对角下-左。对角下-右、垂直-右、水平-下、垂直-左和水平-上的每个预测模式。对于其他模式,将(dx,dy)发送给图像压缩信息作为编码信息,如图4的B所示。
[预测单元与帧内预测之间的相关性]
在HEVC中,准备2N×2N、N×N、hN×2N和2N×hN作为帧内预测模式的预测单元(PU)的分区类型,如图5所示。在图5中,每个方形表示PU,而数字表示分区ID(分区id)。这里,N指编码单元(CU)的大小的1/2。此外,hN指N的1/2(hN=N/2)。例如,在CU为16×16的情况下,2N×2N、N×N、hN×2N和2N×hN分别为16×16、8×8、4×16和16×8。
如图5所示,在2N×2N的情况下,针对一个CU形成一个PU。此外,在N×N的情况下,针对一个CU形成在纵向上为两个和在横向上为两个(总共四个)的PU。此外,在hN×2N的情况下,针对一个CU形成在纵向上为一个和在横向上为四个(总共四个)的PU。此外,在2N×hN的情况下,针对一个CU形成在纵向上为四个和在横向上为一个(总共四个)的PU。即,PU的大小取决于CU的大小。
图像编码装置100按照每个分区类型来执行预测处理和编码,计算代价函数值,并基于代价函数值来确定使用哪个分区类型。即,基于编码效率和图像质量的评估来选择分区类型。另外,类似地确定CU大小(即,PU的大小)。
图像编码装置100将表示帧内预测方向的标记intra_dir_mode包括在比特流中,并发送该比特流。另外,图像编码装置100将与PU相关的信息诸如CU大小、分区类型和分区ID包括在流中,并发送该流。注意,根据LCU的大小和位置的信息及split_flag等来确定CU的大小。
如上所述,PU的大小和形状(方形、和矩形等)依赖于待编码的图像的内容。顺便提及,还基于代价函数值从多个方向中选择帧内预测的最佳预测方向。即,帧内预测的预测方向还依赖于图像的内容。即,帧内预测的预测方向与PU的大小和形状具有不可忽略的相关性。
将更详细地给出描述。例如,假定在水平方向上具有高相关性并在垂直方向上具有低相关性的图像诸如水平条纹为待处理的图像。
如上所述,根据代价函数值来确定PU的大小和形状。该代价函数值基本上受正交变换处理的结果影响。通常,在正交变换中,如果针对连续(高相关性)图像处理单元扩大,则能够容易地提高能量集中度,并能够容易地改善性能(能够在量化和编码过程中容易地获得高效率,并且更有可能降低代价函数值)。相比之下,如果针对不连续(低相关性)图像处理单元被增大,则能量集中度不提高。即,如果针对不连续(低相关性)图像缩小处理单元并执行处理,则能够容易地改善性能(更有可能降低代价函数值)。
即,如果在处理单元为在水平方向上长且在垂直方向上短的情况下执行正交变换,则针对如上述水平条纹的纹理能够容易地获得有利结果。因此,在水平条纹图像的情况下,更有可能选择使水平方向作为纵向方向的PU。即,更有可能选择2N×hN的分区类型。
相比之下,在帧内预测中,如显而易见的,通过在具有高相关性的方向上执行预测提高了预测精度。即,在水平条纹图像的情况下,更有可能选择具有高相关性的水平方向作为预测方向。
由于类似的原因,在垂直条纹图像为待处理的图像的情况下,更有可能选择其中垂直方向为纵向方向的PU(hN×2N的分区类型),并且更有可能选择垂直方向作为预测方向。
如上所述,存在更有可能选择PU的纵向方向作为帧内预测的预测方向的高概率。即,存在根据PU的大小和形状在帧内预测方向的生成频率上产生偏差的高概率。
实际图像是不同的,并且帧内预测的预测方向和PU的纵向方向不一定彼此对应。然而,如上所述,这些方向与待处理的图像的内容具有不可忽略的相关性。因此,往往选择更接近PU的纵向方向的方向作为帧内预测的预测方向。即,在intra_dir_mode的每个值的生成频率(生成概率)上产生取决于PU的大小和形状的偏差。
此外,在HEVC中,准备称为最可能模式(MPM)的编码系统。在此MPM下,如图6所示,与在待处理的关注PU(x)左侧的PU(L)或在待处理的关注PU(x)上方的PU(U)相同的预测方向被应用于关注PU(x)。即,在MPM的情况下,关注PU(x)的帧内预测模式的发送被省略以用于提高编码效率。
代替地,发送指定MPM是否用于关注PU(x)的标记mpm_flag和表示周围PU(L)的帧内预测方向和周围PU(U)的帧内预测方向中哪个用于关注PU(x)的标记mpm_lr_flag。即,在MPM的情况下,图像编码装置100将mpm_flag和mpm_lr_flag包括在比特流中并发送,而在不是MPM的情况下,图像编码装置100将mpm_flag和intra_dir_mode包括在比特流中并发送。
通常,当PU较大时,PU之间(例如,PU的中心之间)的距离变得较大,从而更有可能降低图像之间的相关性。因此,通常,当PU变得较大时,不太可能使用MPM。即,mpm_flag的值与PU的大小具有不可忽略的相关性。换言之,更有可能在mpm_flag的每个值的生成频率(生成概率)上产生取决于PU的大小和形状的偏差。
此外,在MPM中,按照代价函数值来确定使用左侧PU(L)的预测方向和上方PU(U)的哪个预测方向作为关注PU(x)的预测方向。即,mpm_lr_flag的值与PU的形状具有不可忽略的相关性。换言之,更有可能在mpm_lr_flag的每个值的生成频率(生成概率)上产生取决于PU的大小和形状的偏差。
与图像编码装置100对应的图像解码装置基于包括在比特流中的信息诸如mpm_flag、mpm_lr_flag、intra_dir_mode、CU大小、分区类型和分区ID(分区id)来对编码数据进行解码。
这些信息片段在无损编码单元106中被转换成代码编号(被二值化),然后经历算术编码诸如CABAC,并包括在比特流中。因此,这些信息片段降低了编码效率。然而,在传统的方法中,在不考虑代码量增加的情况下通过预定的一种方法(原样使用初始值)执行将代码编号分配给这些信息片段。
例如,当生成大量的小PU时,增加了针对每个PU生成的信息量。此外,例如,在量化参数较大情况下,即,在低比特率的情况下,这些信息片段与比特流的比例变得较大。因此,尤其在这样的情况下,存在编码效率由于信息诸如mpm_flag、mpm_lr_flag、intra_dir_mode、CU大小、分区类型和分区ID(分区id)而产生的降低变得更显著的可能性。
如上所述,在传统方法中,可能难以获得足够的编码效率。
因此,本技术关注于PU的大小和形状与帧内预测的每个参数的值之间的相关性。即,本技术的目的是抑制编码效率的降低,并利用了如下事实:如上所述,更有可能在帧内预测的每个参数的值上产生取决于PU的大小和形状的偏差。
具体地,图像编码装置100根据PU的大小和形状来将代码编号分配给每个参数的值,以便提高编码效率。即,图像编码装置100根据PU的大小和形状来选择向其分配代码编号的VLC表。
[无损编码单元和分配控制单元]
图7为示出了图1的无损编码单元106和分配控制单元121的主要配置的示例的框图。
如图7所示,无损编码单元106包括编码单元131、比特流生成单元132、VLC表转换单元133、算术编码单元134、VLC表转换单元135、算术编码单元136、VLC表转换单元137和算术编码单元138。
此外,分配控制单元121包括表选择单元141至143。
编码单元131对各种类型的信息比如从量化单元105提供的量化系数数据、从环路滤波器111提供的滤波系数、从运动预测/补偿单元115提供的最佳模式信息和从帧内预测单元114提供的最佳模式信息进行编码,并将编码数据提供给比特流生成单元132。
VLC表转换单元133从帧内预测单元114获取mpm_flag,并使用表选择单元141选择的VLC表来将该值转换成代码编号。VLC表转换单元133将代码编号提供给算术编码单元134。
算术编码单元134对从VLC表转换单元133提供的代码编号应用算术编码,并将编码数据提供给比特流生成单元132。
VLC表转换单元135从帧内预测单元114获取mpm_lr_flag,并使用表选择单元142选择的VLC表来将该值转换成代码编号。VLC表转换单元135将代码编号提供给算术编码单元136。
算术编码单元136对从VLC表转换单元135提供的代码编号应用算术编码,并将编码数据提供给比特流生成单元132。
VLC表转换单元137从帧内预测单元114获取intra_dir_mode,并使用表选择单元143选择的VLC表来将该值转换成代码编号。VLC表转换单元137将代码编号提供给算术编码单元138。
算术编码单元138对从VLC表转换单元137提供的代码编号应用算术编码,并将编码数据提供给比特流生成单元132。
比特流生成单元132使用从编码单元131、从算术编码单元134、算术编码单元136和算术编码单元138提供的编码数据来生成比特流,并将比特流提供给存储缓冲器107。
表选择单元141基于从帧内预测单元114提供的CU大小和分区类型来选择要用在VLC表转换单元133中的VLC表。即,表选择单元141存储要用在VLC表转换单元133中的VLC表的多个候选,基于从帧内预测单元114提供的信息来从多个候选中选择一个,并且将其提供给VLC表转换单元133。VLC表转换单元133使用从表选择单元141提供的VLC表来将mpm_flag转换成代码编号。表选择单元141针对每个PU选择VLC表。
注意,可以将表示表选择单元141选择的VLC表的信息提供给VLC表转换单元133,而不是将选择的VLC表原样提供给VLC表转换单元133。在此情况下,VLC表转换单元133预先存储待作为候选(与存储在表选择单元141中的VLC表相同的VLC表)的多个VLC表,根据从表选择单元141提供的信息来从多个VLC表中选择一个,并将其用在转换处理中。
表选择单元142基于从帧内预测单元114提供的分区类型和分区ID(分区id)来选择待用在VLC表转换单元135中的VLC表。即,表选择单元142存储待用在VLC表转换单元135中的VLC表的多个候选,并基于从帧内预测单元114提供的信息来从多个候选中选择一个,且将其提供给VLC表转换单元135。VLC表转换单元135使用从表选择单元142提供的VLC表来将mpm_lr_flag转换成代码编号。表选择单元142针对每个PU选择VLC表。
注意,可以将表示表选择单元142选择的VLC表的信息提供给VLC表转换单元135,而不是将选择的VLC表原样提供给VLC表转换单元135。在此情况下,VLC表转换单元135预先存储待作为候选(与存储在表选择单元142中的VLC表相同的VLC表)的多个VLC表,根据从表选择单元142提供的信息来从多个VLC表中选择一个,并将其用在转换处理中。
表选择单元143表基于从帧内预测单元114提供的CU大小和分区类型来选择待用在VLC表转换单元137中的VLC表。即,表选择单元143存储待用在VLC表转换单元137中的VLC表的多个候选,并基于从帧内预测单元114提供的信息来从多个候选中选择一个,且将其提供给VLC表转换单元137。VLC表转换单元137使用从表选择单元143提供的VLC表来将intra_dir_mode转换成代码编号。表选择单元143针对每个PU选择VLC表。
注意,可以将表示表选择单元143选择的VLC表的信息提供给VLC表转换单元137,而不是将选择的VLC表原样提供给VLC表转换单元137。在此情况下,VLC表转换单元137预先存储待作为候选(与存储在表选择单元143中的VLC表相同的VLC表)的多个VLC表,根据从表选择单元143提供的信息来从多个VLC表中选择一个,并将其用在转换处理中。
通常,当代码编号较小时,代码量变得较小。因此,表选择单元141至143将较小代码编号分配给具有较高的生成可能性的值,以使得代码量降低的可能性变得较高(代码量变得较小)。
[帧内预测方向]
针对图像编码装置100准备与HEVC类似的帧内预测模式。即,如图8所示,针对图像编码装置100的帧内预测准备33个预测方向和DC模式。图8所示的示例中的每个箭头表示方形的关注PU的右下像素的预测方向,该关注PU为待被预测的PU(将参考该关注PU的相邻像素的方向)。此外,如图8所示,将标识信息(编号)分配给每个预测方向和DC模式。例如,当帧内预测方向为0时,下右像素参考在垂直方向上的最接近的相邻像素,即,紧在上方的像素。
帧内预测单元114针对关注PU从图8所示的帧内预测方向中选择使编码效率最大化的方向。在此选择过程中,常常使用D+λR的代价函数。这里,D为输入图像与帧内预测图像之间的差且为失真量,R为帧内预测编码所需的代码量,并且λ为连接失真量和代码量的变换系数。确定帧内预测方向以使得代价函数变得较小。例如,帧内预测单元114通过与非专利文献1中所描述的HEVC类似的方法来计算代价函数值,并确定帧内预测方向。
[mpm_flag的VLC表]
接下来,将描述被分配控制单元121控制的VLC表。首先,将描述对mpm_flag的VLC表的控制。
表选择单元141根据CU大小和分区类型来选择如图9所示的表的VLC表。在图9所示的表中,左侧两列的每行表示VLC表。即,表选择单元141选择用于将mpm_flag=0和mpm_flag=1的每个状态转换成代码编号的表。在此情况下,代码编号为0或1(即,1比特)。代码编号0的代码量小于代码编号1的代码量。
通常,当CU大小变得较大时,周围PU变得远离关注PU。例如,相互的中心之间的距离变得较大。通常,随着距离变得较大,降低了相关性。因此,降低了应用MPM的可能性(降低了频率)。注意,即使CU大小较大,关注PU与周围PU在hN方向上的距离也较小。
因此,表选择单元141利用该特性,并在对mpm_flag应用VLC表转换之后选择VLC表以使得符号0的编号变大。即,表选择单元141根据CU大小和分区类型来选择VLC表以使得符号0的编号在转换之后变大。
例如,当CU大小较大并且关注PU为方形时,关注PU与周围PU之间的距离在任意方向上变得较大。即,不太可能选择MPM。因此,容易生成mpm_flag=0。在此情况下,表选择单元141将具有高可能性的mpm_flag=0转换成具有小代码量的代码编号0。
相比之下,当CU大小较小或关注PU为矩形时,在短距离内存在周围PU,从而更有可能选择MPM。因此,在此情况下,表选择单元141将具有较高发生可能性的mpm_flag=1转换成具有小代码量的代码编号0。
在图9的示例中,当CU大小为32或更大并且分区类型为N×N或2N×2N时,表选择单元141选择将mpm_flag=0转换成代码编号0并且将mpm_flag=1转换成代码编号1的表。
此外,当CU大小为32或更大并且分区类型为2N×hN或hN×2N时,表选择单元141选择将mpm_flag=0转换成代码编号1并且将mpm_flag=1转换成代码编号0的表。
此外,当CU大小小于32时,表选择单元141不管分区类型(PU的形状)来选择将mpm_flag=0转换成代码编号1并且将mpm_flag=1转换成代码编号0的表。
如上所述,针对mpm_flag的VLC表被选择,表选择单元141能够抑制由于mpm_flag的编码效率的降低。
[mpm_lr_flag的VLC表]
接下来,将描述对mpm_lr_flag的VLC表的控制。
表选择单元142根据分区ID和分区类型来选择如图10所示的表的VLC表。在图10所示的表中,左侧两列的每行是VLC表。即,表选择单元142选择用于将mpm_lr_flag=0和mpm_lr_flag=1的每个状态转换成代码编号的表。在此情况下,代码编号为0或1(即,1比特)。代码编号0的代码量小于代码编号1的代码量。注意,将在以下描述“-”的项。
首先,将描述具有分区ID为0的PU。如上所示,当关注PU与周围PU之间的距离变得较小时,关注PU与周围PU之间的相关性变得较高。因此,在PU为矩形的情况下,与纵向方向上的周围PU相比更有可能选择短方向(非纵向方向的方向)上的周围PU。相比之下,当关注PU为方形时,从关注PU到上方相邻PU的距离和到左侧相邻PU的距离相等。因此,周围PU二者具有大约相同的被选择可能性。
因此,表选择单元142使用此特性,并在对mpm_lr_flag应用VLC表转换之后选择VLC表以使得符号0的编号变大。即,表选择单元142根据分区ID和分区类型来选择VLC表,以使得符号0的编号在转换之后变大。
在图10的示例中,当分区ID为0并且PU为方形(分区类型为2N×2N或N×N)时,表选择单元142优先考虑上方相邻PU,并将mpm_lr_flag=0转换成具有较小代码量的代码编号0。
此外,在图10的示例中,当分区ID为0并且PU为水平较长的矩形(分区类型为2N×hN)时,表选择单元142优先考虑上方相邻PU,并将mpm_lr_flag=0转换成具有较小代码量的代码编号0。
此外,在图10的示例中,当分区ID为0并且PU为垂直较长的矩形(分区类型为hN×2N)时,表选择单元142优先考虑左侧相邻PU,并将mpm_lr_flag=1转换成具有较小代码量的代码编号0。
此外,在图10的示例中,当分区ID为除0之外的数并且PU为方形(分区类型为N×N)时,表选择单元142优先考虑上方相邻PU,并将mpm_lr_flag=0转换成具有较小代码量的代码编号0。注意,当分区类型为2N×2N时,不存在分区ID为除0之外的数的情况。即,在此情况下,不选择VLC表(-)。
此外,在图10的示例中,当分区ID为除0之外的数并且PU为矩形时,选择与具有分区ID为0的PU相同的代码编号。即,在此情况下,不选择VLC表(-)。
如上所述,针对mpm_lr_flag的VLC表被选择,表选择单元142能够抑制由于mpm_lr_flag的编码效率的降低。
[intra_dir_mode的VLC表]
接下来,将描述对intra_dir_mode的VLC表的控制。
表选择单元143根据分区ID和分区类型来选择如图11所示的表的VLC表。在图11所示的表中,左侧两列的每行为VLC表。即,表选择单元143根据分区类型和CU大小来选择表A至E。
在intra_dir_mode的情况下,类似于其他情况,控制代码编号的分配以使得转换之后的代码量变得较小。即,将较小的代码编号分配给具有较高发生可能性的模式。
当关注PU为方形时,关注PU在水平方向上的大小和在垂直方向上的大小是相同的。因此,存在不产生预测方向的发生频率由于关注PU的大小和形状产生偏差的高可能性。因此,如图11所示,表选择单元143在分区类型为2N×2N或N×N时不管CU大小而选择表A。
图12中示出了表A的示例。在图12的示例中,执行将代码编号分配给每个预测方向,以使得在水平方向上和在垂直方向上的偏差变得较小。注意,MPM为在以上MPM中选择的帧内预测方向,并表示VER-4的示例。如果MPM为DC,则用MPM来取代DC的代码编号,并根据紧在下方的代码编号来取代代码编号使得代码编号被取下。即,省略将代码编号分配给MPM的预测方向。因此,可以向其他方向分配较小的代码编号。因此,能够提高编码效率。同样应用于以下描述的其他表。
在图12的示例中,分配给大多数预测方向的代码编号的代码长度为5。即,在表A中,即使发生哪个预测方向,代码长度也不存在大的差异。
相比之下,如图11所示,当PU为水平较长的矩形时,即,当分区类型为2N×hN时,如果CU大小为较小(当32或更小时),则表选择单元143选择表B。
图13中示出了表B的示例。如图13所示,在此表B中,将具有较小值(具有较短代码长度)的代码编号分配给与作为关注PU的纵向方向的水平方向更接近的预测方向。即,将具有较小代码量的代码编号分配给与在考虑发生频率由于关注PU的大小和形状产生偏差的情况下具有较高发生可能性的水平方向更接近的预测方向。在表B的情况下,分配了具有代码长度4至7的代码编号。
相比之下,如图11所示,当PU为垂直较长的矩形时,即,当分区类型为hN×2N时,在CU大小为较小时(在32或更小时),表选择单元143选择表C。
图14中示出了表C的示例。如图14所示,在此表C中,将具有较小值(具有较短代码长度)的代码编号分配给与作为关注PU的纵向方向的垂直方向更接近的预测方向。即,将具有较小代码量的代码编号分配给与在考虑发生频率由于关注PU的大小和形状产生偏差的情况下具有较高发生可能性的垂直方向更接近的预测方向。在表C的情况下,类似于表B的情况,分配了具有代码长度4至7的代码编号。
注意,通常,当CU大小较大时,每个预测方向的发生可能性的偏差变得较大。因此,如图11所示,当CU大小较大时,表选择单元143选择与CU大小为较小的情况不同的表。例如,当PU为水平较长的矩形(当分区类型为2N×hN时)并且CU大小为较大(当大于32时)时,表选择单元143选择表D而非表B。
图15中示出了表D的示例。如图15所示,在此表D中,将代码编号分配给预测方向的顺序(将较小代码编号分配给预测方向的顺序)与表B相同。然而,代码长度的偏差大于表B的该偏差。在图15的示例中,分配了具有代码长度3至10的代码编号。即,在表D的情况下,与水平方向更接近的预测方向的发生可能性高于表B的该发生可能性,分配了具有比表B的代码长度短的代码长度的代码编号。分配给与垂直方向更接近的预测方向的代码编号的代码长度变得较长。然而,发生可能性低于表B的该发生可能性,因此,总体上,代码量降低的可能性为高。
相比之下,例如,当PU为垂直较长的矩形(当分区类型为hN×2N时)并且CU大小为较大(当大于32时)时,表选择单元143选择表E而非表C。
图16中示出了表E的示例。如图16所示,在此表E中,将代码编号分配给预测方向的顺序(将较小代码编号分配给预测方向的顺序)与表C相同。然而,代码长度的偏差大于表C的该偏差。在图16的示例中,分配了具有代码长度3至10的代码编号。即,在表E的情况下,与水平方向更接近的预测方向的发生可能性高于表C的该发生可能性。因此,分配具有比表C的代码编号的代码长度更短的代码长度的代码编号。因此,分配给更接近垂直方向的预测方向的代码编号的代码长度变长。然而,发生可能性低于表C的该发生可能性,因此,总体上,代码量降低可能性为高。
如上所述,选择了针对intra_dir_mode的VLC表,表选择单元143能够抑制由于intra_dir_mode的编码效率的降低。
[编码处理流程]
现在将描述通过前述图像编码装置100所执行的每个处理流程。首先,将参照图17所示的流程图来描述编码处理的流程的示例。
在步骤S101中,A/D转换单元101对输入图像执行A/D转换。在步骤S102中,图片重布置缓冲器102存储经A/D转换的图像,并从显示顺序到编码顺序来重新布置每幅图片的顺序。
在步骤S103中,帧内预测单元114执行帧内预测处理。在步骤S104中,运动预测/补偿单元115执行帧间运动预测处理。在步骤S105中,预测图像选择单元116选择通过帧内预测生成的预测图像或通过帧间预测生成的预测图像。
在步骤S106中,计算器103计算在步骤S103中执行的处理中所重新布置的图像与通过步骤S105中执行的处理所选择的预测图像之间的差(生成差图像)。与原始图像相比降低了所生成的差图像的数据量。因此,与按照原样对图像进行编码时相比能够压缩数据量。
在步骤S107中,正交变换单元104对通过步骤S106中执行的处理所生成的差图像执行正交变换。具体地,执行诸如离散余弦变换或Karhunen-Loeve变换的正交变换以使得输出变换系数。在步骤S108中,量化单元105对通过步骤S107中执行的处理所获得的正交变换系数进行量化。
如下来对通过步骤S108中执行的处理所量化的差图像进行本地解码。换言之,在步骤S109中,解量化单元108对步骤S108的量化处理中所生成的量化的正交变换系数(还称为量化系数)进行解量化。在步骤S110中,逆正交变换单元109通过与正交变换单元104的特性对应的特性来对通过步骤S109中执行的逆正交处理所获得的正交变换系数执行逆正交变换。因此,恢复了差图像。
在步骤S111中,计算器110将步骤S105中所选择的预测图像加到步骤S110中所生成的差图像以生成本地解码的图像(重构图像)。在步骤S112中,环路滤波器111针对通过步骤S111的处理所获得的重构图像来适当地执行解块滤波处理和包括自适应环路滤波处理等的环路滤波处理,并生成解码图像。
在步骤S113中,帧存储器112存储通过步骤S112的处理所生成的解码图像或通过步骤S111的处理所生成的重构图像。
在步骤S114中,无损编码单元106对通过步骤S107中执行的处理所量化的正交变换系数进行编码。即,对差图像执行诸如可变长度编码或算术编码的无损编码。注意,无损编码单元106对与预测相关的信息、与量化相关的信息和与滤波处理相关的信息等进行编码,并将编码数据加到比特流。
在步骤S115上,存储缓冲器107存储通过步骤S114的处理所获得的比特流。存储缓冲器107中累积的编码数据适当地读出并通过传输路径和记录介质被传输到解码侧。
在步骤S116中,速率控制单元117基于通过步骤S115中执行的处理在存储缓冲器107中累积的编码数据的代码量(生成的代码量)来控制量化单元105的量化操作的速率,以便不产生上溢或下溢。
在完成了步骤S116中所执行的处理之后,编码处理完成。
[无损编码处理的流程]
接下来,将参照图18所示的流程图来描述图17中步骤S114所执行的无损编码处理的流程的示例。
当开始无损编码处理时,在步骤S131中,编码单元131对经量化的系数数据进行编码。在步骤S132中,编码单元131对滤波系数和最佳模式信息等进行编码。
在步骤S133中,分配控制单元121控制编码分配。
在步骤S134中,VLC表转换单元133使用通过步骤S133的处理所选择的VLC表来将mpm_flag转换成代码编号。在步骤S135中,算术编码单元134对通过步骤S134的处理被转换成代码编号的mpm_flag应用算术编码。
在步骤S136中,VLC表转换单元135使用通过步骤S133的处理所选择的VLC表来将mpm_lr_flag转换成代码编号。在步骤S137中,算术编码单元136对通过步骤S136的处理被转换成代码编号的mpm_lr_flag应用算术编码。
在步骤S138中,VLC表转换单元137使用通过步骤S133的处理所选择的VLC表来将intra_dir_mode转换成代码编号。在步骤S139中,算术编码单元138对通过步骤S138的处理被转换成代码编号的intra_dir_mode应用算术编码。
在步骤S140中,比特流生成单元132对通过步骤S131、S135、S137和S139的处理所获得的编码数据进行合成以生成比特流。
当完成步骤S140的处理时,比特流生成单元132终止无损编码处理,并使处理返回至图17。
[编码分配控制处理的流程]
接下来,将参照图19的流程图来描述图18的步骤S133中所执行的编码分配控制处理的流程的示例。
当开始编码分配控制处理时,在步骤S161中,分配控制单元121的表选择单元141根据CU大小和分区类型来选择针对mpm_flag的VLC表。
在步骤S162中,表选择单元142根据分区ID和分区类型来选择针对mpm_lr_flag的VLC表。
在步骤S163中,表选择单元143根据CU大小和分区类型来选择针对intra_dir_mode的VLC表。
当完成步骤S163的处理之后,表选择单元143终止编码分配控制处理,并使处理返回至图18。
如上所述,通过执行所述处理,分配控制单元121能够使用与帧内预测相关的诸如mpm_flag、mpm_lr_flag和intra_dir_mode等的参数的值的生成频率的偏差来分配代码编号以提高编码效率。即,分配控制单元121能够通过根据PU的大小和形状控制对代码编号的分配,来抑制编码效率由于与帧内预测相关的参数所产生的降低。
此外,无损编码单元106根据该分配将参数诸如mpm_flag、mpm_lr_flag和intra_dir_mode等转换并编码成代码编号。
因此,图像编码装置100能够抑制编码效率由于与帧内预测相关的参数诸如mpm_flag、mpm_lr_flag和intra_dir_mode所产生的降低。
<2.第二实施方式>
[图像解码装置]
现在将描述对以前述方式编码的数据进行解码的处理。图20为示出了作为与图1的图像编码装置100对应的图像处理设备的图像解码装置的主要配置的示例的框图。
图20中示出的图像解码装置200通过与编码方法对应的解码方法来对通过图像编码装置100所生成的编码数据进行解码。
如图20所示,图像解码装置200包括存储缓冲器201、无损解码单元202、解量化单元203、逆正交变换单元204、计算器205、环路滤波器206、图片重布置缓冲器207和D/A转换单元208。此外,图像解码装置200包括帧存储器209、选择单元210、帧内预测单元211、运动预测/补偿单元212和选择单元213。
另外,图像解码装置200包括分配控制单元221。
存储缓冲器201保存被发送的编码数据,并以预定定时将编码数据提供给无损解码单元202。无损解码单元202通过与无损编码单元106使用的编码系统对应的解码方案来对图1所示的无损编码单元106编码并从存储缓冲器201提供的信息进行解码。无损解码单元202将通过解码所获得的差图像的经量化的系数数据提供给解量化单元203。
此外,无损解码单元202参考与通过对编码数据进行解码所获得的最佳预测模式相关的信息,并确定选择帧内预测模式还是选择帧间预测模式用于最佳预测模式。即,无损解码单元202确定用在被发送的编码数据中的预测模式为帧内预测还是帧间预测。
无损解码单元202基于确定结果来将与预测模式相关的信息提供给帧内预测单元211或运动预测/补偿单元212。例如,当在图像编码装置100中选择帧内预测模式作为最佳预测模式时,无损解码单元202将作为与从编码侧提供的选择的帧内预测模式相关的信息的帧内预测信息提供给帧内预测单元211。此外,例如,当在图像编码装置100中选择帧间预测模式作为最佳预测模式时,无损解码单元202将作为与从编码侧提供的选择的帧间预测模式相关的信息的帧间预测信息提供给运动预测/补偿单元212。
此外,无损解码单元202将与PU的大小和形状相关的信息诸如CU大小、分区类型和分区ID提供给分配控制单元221。
解量化单元203对通过无损解码单元202解码所获得的量化的系数数据进行解量化。即,解量化单元203通过与图1的量化单元105的量化系统对应的系统来执行解量化。解量化单元203将通过解量化所获得的系数数据提供给逆正交变换单元204。
逆正交变换单元204通过与图1所示的正交变换单元104使用的正交变换方案对应的方案来对从解量化单元203提供的系数数据执行逆正交变换。逆正交变换单元204通过逆正交变换处理来获得与在图像编码装置100中正交变换之前的差图像对应的差图像。
将通过逆正交变换所获得的差图像提供给计算器205。还通过选择单元213将来自帧内预测单元211或运动预测/补偿单元212的预测图像提供给计算器205。
计算器205将差图像和预测图像相加,从而获得与图像编码装置100的计算器103减去预测图像之前的图像对应的重构图像。计算器205将该重构图像提供给环路滤波器206。
环路滤波器206对所提供的重构图像适当地应用解块滤波处理和包括自适应环路滤波处理等的环路滤波处理以生成解码图像。例如,环路滤波器206通过对重构图像执行解块滤波处理来去除块失真。通过使用例如维纳滤波器来对解块滤波处理的输出(块失真已从其中被去除的重构图像)执行环路滤波处理,环路滤波器206还提高了图像质量。
注意,环路滤波器206执行的滤波处理的类型为任意类型,并且可以执行除上述处理之外的滤波处理。环路滤波器206还可以通过使用从图1所示的图像编码装置100提供的滤波系数来执行滤波处理。
环路滤波器206将作为滤波处理结果的解码图像提供给图片重布置缓冲器207和帧存储器209。注意,能够省略环路滤波器206的滤波处理。即,计算器205的输出能够在不经历滤波处理的情况下存储在帧存储器209中。例如,帧内预测单元211使用图像中包括的像素的像素值作为周围图像的像素值。
图片重布置缓冲器207重新布置被提供的解码图像。即,被布置成图1所示的图片重布置缓冲器102的编码顺序的帧的顺序现在被重新布置回原始的显示顺序。D/A转换单元208对从图片重布置缓冲器207提供的解码图像应用D/A转换,并将转换的图像输出并显示在显示器(未示出)上。
帧存储器209存储被提供的重构图像和解码图像。另外,帧存储器209以预定定时或基于来自外部诸如帧内预测单元211和运动预测/补偿单元212的请求,通过选择单元210将所存储的重构图像和解码图像提供给帧内预测单元211和运动预测/补偿单元212。
帧内预测单元211基本上执行与图1的帧内预测单元114相似的处理。注意,帧内预测单元211仅对其中在编码过程中通过帧内预测生成了预测图像的区域执行帧内预测。
运动预测/补偿单元212基于从无损解码单元202提供的帧间预测信息来执行帧间运动预测处理以生成预测图像。注意,运动预测/补偿单元212基于从无损解码单元202提供的帧间预测信息,仅对其中在编码过程中执行了帧间预测的区域执行帧间运动预测处理。
帧内预测单元211或运动预测/补偿单元212按预测处理单元中的每个区域来通过选择单元213将生成的预测图像提供给计算器205。
选择单元213将从帧内预测单元211提供的预测图像或从运动预测/补偿单元212提供的预测图像提供给计算器205。
分配控制单元221控制待在通过例如无损解码单元202对与mpm_flag、mpm_lr_flag和intra_dir_mode相关的信息的代码编号应用算术解码的过程中分配给代码编号的每个参数的值。具体地,例如,分配控制单元221选择将mpm_flag、mpm_lr_flag和intra_dir_mode的值转换成代码编号的VLC表(可变长度编码表)。此时,分配控制单元221根据与从编码侧提供的与待预测的关注PU的大小和形状相关的信息,来选择VLC表。无损解码单元202使用分配控制单元221选择的VLC表来执行其中使代码编号返回到原始值的VLC表逆转换处理。
[无损解码单元和分配控制单元]
图21为示出了无损解码单元202和分配控制单元221的主要配置的示例的框图。
如图21所示,无损解码单元202包括提取单元231、解码单元232、算术解码单元233、VLC表逆转换单元234、算术解码单元235、VLC表逆转换单元236、算术解码单元237和VLC表逆转换单元238。
此外,分配控制单元221包括表选择单元241至243。
提取单元231从自存储缓冲器201提供的比特流中提取从mpm_flag转换的代码编号的编码数据、从mpm_lr_flag转换的代码编号的编码数据和从intra_dir_mode转换的代码编号的编码数据。
提取单元231将所提取的从mpm_flag转换的代码编号的编码数据提供给算术解码单元233。此外,提取单元231将所提取的从mpm_lr_flag转换的代码编号的编码数据提供给算术解码单元235。此外,提取单元231将所提取的从intra_dir_mode转换的代码编号的编码数据提供给算术解码单元237。
另外,提取单元231将剩余的比特流提供给解码单元232。
解码单元232对提供的比特流进行解码以获得量化的系数数据、滤波信息和在最佳模式为帧间预测时的最佳模式信息等,这些信息从编码侧发送。解码单元232将量化的系数数据提供给解量化单元203。另外,当最佳模式为帧间预测时,解码单元232将最佳模式信息提供给运动预测/补偿单元212。此外,解码单元232将已被用在编码侧的包括滤波系数等的滤波信息提供给环路滤波器206。
此外,解码单元232对被提供的比特流进行解码以获得在最佳模式为帧内预测时的最佳模式信息等。解码单元232将最佳模式信息提供给帧内预测单元211。
另外,解码单元232将已通过对被提供的比特流进行解码所获得的与PU的大小和形状相关的信息诸如CU大小(CU大小)、分区类型和分区ID(分区id)提供给分配控制单元221。
算术解码单元233对从提取单元231提供的从mpm_flag转换的代码编号的编码数据应用算术解码以获得从mpm_flag转换的代码编号。算术解码的方法对应于算术编码单元134的算术编码的方法。算术解码单元233将通过被解码所获得的从mpm_flag转换的代码编号提供给VLC表逆转换单元234。
算术解码单元235对从提取单元231提供的从mpm_lr_flag转换的代码编号的编码数据应用算术解码以获得从mpm_lr_flag转换的代码编号。算术解码的方法对应于算术编码单元136的算术编码的方法。算术解码单元235将通过被解码所获得的从mpm_lr_flag转换的代码编号提供给VLC表逆转换单元236。
算术解码单元237对从提取单元231提供的从intra_dir_mode转换的代码编号的编码数据应用算术解码以获得从intra_dir_mode转换的代码编号。算术解码的方法对应于算术编码单元138的算术编码的方法。算术解码单元237将通过被解码所获得的从intra_dir_mode转换的代码编号提供给VLC表逆转换单元238。
表选择单元241根据CU大小和分区类型来选择待用在VLC表逆转换单元234中的逆转换处理中的VLC表。即,表选择单元241存储待用在VLC表逆转换单元234中的VLC表的多个候选,基于从解码单元232提供的信息从多个候选中选择一个,并将其提供给VLC表逆转换单元234。注意,此表选择方法与表选择单元141的表选择方法类似。表选择单元241针对每个PU选择VLC表。
注意,可以将表示表选择单元241选择的VLC表的信息提供给VLC表逆转换单元234,而并非将选择的VLC表原样提供给VLC表逆转换单元234。在此情况下,VLC表逆转换单元234预先存储待作为候选(与存储在表选择单元241中的VLC表相同的VLC表)的多个VLC表,根据从表选择单元241提供的信息来从多个VLC表中选择一个,并将其用在转换处理中。
表选择单元242根据CU大小和分区类型来选择待用在VLC表逆转换单元236中的逆转换处理中的VLC表。即,表选择单元242存储待用在VLC表逆转换单元236中的VLC表的多个候选,基于从解码单元232提供的信息从多个候选中选择一个,并将其提供给VLC表逆转换单元236。注意,该表选择方法与表选择单元142的表选择方法类似。表选择单元242针对每个PU选择VLC表。
注意,可以将表示表选择单元242选择的VLC表的信息提供给VLC表逆转换单元236,而并非将选择的VLC表原样提供给VLC表逆转换单元236。在此情况下,VLC表逆转换单元236预先存储待作为候选(与存储在表选择单元242中的VLC表相同的VLC表)的多个VLC表,根据从表选择单元242提供的信息来从多个VLC表中选择一个,并将其用在转换处理中。
表选择单元243根据CU大小和分区类型来选择待用在VLC表逆转换单元238中的逆转换处理中的VLC表。即,表选择单元243存储待用在VLC表逆转换单元238中的VLC表的多个候选,基于从解码单元232提供的信息从多个候选中选择一个,并将其提供给VLC表逆转换单元238。注意,该表选择方法与表选择单元143的表选择方法类似。表选择单元243针对每个PU选择VLC表。
注意,可以将表示表选择单元243选择的VLC表的信息提供给VLC表逆转换单元238,而并非将选择的VLC表原样提供给VLC表逆转换单元238。在此情况下,VLC表逆转换单元238预先存储待作为候选(与存储在表选择单元243中的VLC表相同的VLC表)的多个VLC表,根据从表选择单元243提供的信息来从多个VLC表中选择一个,并将其用在转换处理中。
VLC表逆转换单元234使用表选择单元241选择的VLC表来对从算术解码单元233提供的从mpm_flag转换的代码编号进行逆转换以获得mpm_flag。即,VLC表逆转换单元234对VLC表转换单元133的VLC表转换执行逆处理。VLC表逆转换单元234将通过逆转换处理所获得的mpm_flag提供给帧内预测单元211。
此外,VLC表逆转换单元236使用表选择单元242选择的VLC表来对从算术解码单元235提供的从mpm_lr_flag转换的代码编号进行逆转换以获得mpm_lr_flag。即,VLC表逆转换单元236对VLC表转换单元135的VLC表转换执行逆处理。VLC表逆转换单元236将通过逆转换处理所获得的mpm_lr_flag提供给帧内预测单元211。
此外,VLC表逆转换单元238使用表选择单元243选择的VLC表来对从算术解码单元237提供的从intra_dir_mode转换的代码编号进行逆转换以获得intra_dir_mode。即,VLC表逆转换单元238对VLC表转换单元137的VLC表转换执行逆处理。VLC表逆转换单元238将通过逆转换处理所获得的intra_dir_mode提供给帧内预测单元211。
如上所述,算术解码单元233、算术解码单元235和算术解码单元237分别执行与通过图7的算术编码单元134、算术编码单元136和算术编码单元138所执行的算术编码对应的算术解码。
此外,表选择单元241至243通过与表选择单元141至143的VLC表选择方法类似的方法来选择表。
此外,VLC表逆转换单元234、VLC表逆转换单元236和VLC表逆转换单元238分别对通过VLC表转换单元133、VLC表转换单元135和VLC表转换单元137所执行的VLC表转换执行逆处理。
因此,无损解码单元202能够对无损编码单元106的编码的比特流进行正确解码。因此,图像解码装置200能够使用与帧内预测相关的参数诸如mpm_flag、mpm_lr_flag和intra_dir_mode的每个值的生成频率(生成概率)的偏差来抑制编码效率的降低。
[解码处理流程]
现在将描述通过前述图像解码装置200所执行的每个处理的流程。首先,将参照图22所示的流程图来描述解码处理的流程的示例。
在步骤S201中,在解码处理已开始时,存储缓冲器201累积被发送的比特流。在步骤S202中,无损解码单元202对从存储缓冲器201提供的比特流(编码的差图像信息)进行解码。此时,还对包括在比特流中的除差图像信息之外的各种类型的信息诸如与预测模式信息相关的信息进行解码。
在步骤S203中,解量化单元203对通过步骤S202中执行的处理所获得的量化的正交变换系数进行解量化。在步骤S204中,逆正交变换单元204对在步骤S203中被解量化的正交变换系数执行逆正交变换。
在步骤S205中,帧内预测单元211或运动预测/补偿单元212使用被提供的信息来执行预测处理。在步骤S206中,计算器205将在步骤S205中所生成的预测图像加到通过步骤S204中执行的逆正交变换所获得的差图像信息。因此,生成了重构图像。
在步骤S207中,环路滤波器206对在步骤S206中获得的重构图像适当地执行包括解块滤波处理和自适应环路滤波处理的环路滤波处理。
在步骤S208中,图片重布置缓冲器207对通过经历步骤S207中的滤波处理所生成的解码图像进行重新布置。即,被重新布置以用于图像编码装置100中的图片重布置缓冲器102的编码的帧顺序被重新布置回原始的显示顺序。
在步骤S209中,D/A转换单元208对其帧顺序已被重新布置的解码图像应用D/A转换。将解码图像输出并显示在显示器(未示出)上。
在步骤S210中,帧存储器209存储通过经历步骤S207中的滤波处理所获得的解码图像。该解码图像被用作帧间预测处理中的参考图像。
当完成了步骤S210中的处理时,解码处理完成。
[无损解码处理的流程]
接下来,将参照图23的流程图来描述图22中步骤S202中所执行的无损解码处理的流程的示例。
当开始无损解码处理时,在步骤S231中,提取单元231从比特流中提取mpm_flag、mpm_lr_flag和intra_dir_mode的编码数据。
在步骤S232中,解码单元232对量化的系数数据的编码数据进行解码。在步骤S233中,解码单元232对滤波信息和最佳模式信息等的编码数据进行解码。
在步骤S234中,分配控制单元221控制解码分配。
在步骤S235中,算术解码单元233对在步骤S231中所提取的mpm_flag的编码数据应用算术解码。在步骤S236中,VLC表逆转换单元234使用通过步骤S234的处理所选择的VLC表来对通过经历步骤S235中的算术解码所获得的mpm_flag的代码编号(符号)进行逆转换以获得mpm_flag。
在步骤S237中,算术解码单元235对在步骤S231中所提取的mpm_lr_flag的编码数据应用算术解码。在步骤S238中,VLC表逆转换单元236使用通过步骤S234的处理所选择的VLC表来对通过经历步骤S237中的算术解码所获得的mpm_lr_flag的代码编号(符号)进行逆转换以获得mpm_lr_flag。
在步骤S239中,算术解码单元237对在步骤S231中所提取的intra_dir_mode的编码数据应用算术解码。在步骤S240中,VLC表逆转换单元238使用通过步骤S234的处理所选择的VLC表来对通过经历步骤S239中的算术解码所获得的intra_dir_mode的代码编号(符号)进行逆转换以获得intra_dir_mode。
当完成步骤S240的处理时,VLC表逆转换单元238终止无损解码处理,并将处理返回至图22。
[解码分配控制处理的流程]
接下来,将参照图24的流程图来描述图23的步骤S234中所执行的解码分配控制处理的流程的示例。
当开始解码分配控制处理时,在步骤S261中,表选择单元241根据从编码侧提供的CU大小和分区类型来选择针对mpm_flag的VLC表。
在步骤S262中,表选择单元242根据从编码侧提供的分区ID和分区单元来选择针对mpm_lr_flag的VLC表。
在步骤S263中,表选择单元243根据从编码侧提供的CU大小和分区单元来选择针对intra_dir_mode的VLC表。当完成步骤S263的处理时,表选择单元243终止解码分配控制处理,并将处理返回至图23。
通过执行如上所述的处理,无损解码单元202能够对无损编码单元106的编码比特流进行正确解码。因此,图像解码装置200能够使用与帧内预测相关的参数诸如mpm_flag、mpm_lr_flag和intra_dir_mode的每个值的生成频率(生成概率)的偏差来抑制编码效率的降低。
<3.第三实施方式>
[上下文概率模型的控制]
在以上描述中,为了提高编码效率,根据PU的大小和形状来控制待分配给与帧内预测相关的参数诸如mpm_flag、mpm_lr_flag和intra_dir_mode的值的代码编号。然而,可以通过除VLC表之外的形式来执行对代码量的控制。
即,在本技术中重要的是,使用由PU的大小和形状所产生的与MPM或预测方向相关的标记值的生成概率的偏差来抑制代码量。因此,可以类似于第一实施方式和第二实施方式中所描述的示例来控制任意处理或参数,只要能够降低代码量即可。
例如,可以根据PU的大小或形状来切换算术编码的上下文概率模型。
[无损编码单元和分配控制单元]
图25为示出了在以上情况下的无损编码单元106和分配控制单元121的主要配置的示例的框图。
如图25所示,在此情况下,分配控制单元121包括上下文概率模型选择单元301至303以取代表选择单元141至143。
上下文概率模型选择单元301基于从帧内预测单元114提供的CU大小和分区类型(与PU的大小和形状相关的信息)来控制待用在算术编码单元134中的上下文概率模型。具体地,上下文概率模型选择单元301预先存储待被算术编码单元134使用的上下文概率模型的多个候选,并基于与PU的大小和形状相关的信息来从多个候选中选择具有mpm_flag的最小代码量的最高可能性的模型,且将其提供给算术编码单元134。
在此情况下,不执行VLC表的选择。VLC表转换单元133使用预定的VLC转换表来执行mpm_flag的VLC表转换。算术编码单元134使用上下文概率模型选择单元301选择的上下文概率模型来对通过在VLC表转换单元133中对mpm_flag的转换所获得的代码编号应用算术编码以生成编码数据。算术编码单元134将编码数据提供给比特流生成单元132。
注意,算术编码单元134可以预先存储上下文概率模型的多个候选,上下文概率模型选择单元301可以选择待被使用的上下文概率模型并将表示选择的上下文概率模型的信息提供给算术编码单元134,以及算术编码单元134可以从该候选中选择通过该信息所指示的上下文概率模型并使用该上下文概率模型。
上下文概率模型选择单元302基于从帧内预测单元114提供的分区ID和分区类型(与PU的形状相关的信息)来控制待用在算术编码单元136中的上下文概率模型。具体地,上下文概率模型选择单元302预先存储待被算术编码单元136使用的上下文概率模型的多个候选,并基于与PU的大小和形状相关的信息来从多个候选中选择具有mpm_lr_flag的最小代码量的最高可能性的模型,且将其提供给算术编码单元136。
在此情况下,不执行VLC表的选择。VLC表转换单元135使用预定的VLC转换表来执行mpm_lr_flag的VLC表转换。算术编码单元136使用上下文概率模型选择单元302选择的上下文概率模型来对通过在VLC表转换单元135中对mpm_lr_flag的转换所获得的代码编号应用算术编码以生成编码数据。算术编码单元136将编码数据提供给比特流生成单元132。
注意,算术编码单元136可以预先存储上下文概率模型的多个候选,上下文概率模型选择单元302可以选择待被使用的上下文概率模型并将表示选择的上下文概率模型的信息提供给算术编码单元136,以及算术编码单元136可以从该候选中选择通过该信息所指定的上下文概率模型并使用该上下文概率模型。
上下文概率模型选择单元303基于从帧内预测单元114提供的分区ID和分区类型(与PU的形状相关的信息)来控制待用在算术编码单元138中的上下文概率模型。具体地,上下文概率模型选择单元303预先存储待被算术编码单元138使用的上下文概率模型的多个候选,并基于与PU的大小和形状相关的信息来从多个候选中选择具有intra_dir_mode的最小代码量的最高可能性的模型,且将其提供给算术编码单元138。
在此情况下,不执行VLC表的选择。VLC表转换单元137使用预定的VLC转换表来执行intra_dir_mode的VLC表转换。算术编码单元138使用上下文概率模型选择单元303选择的上下文概率模型来对通过在VLC表转换单元137中对intra_dir_mode的转换所获得的代码编号应用算术编码以生成编码数据。算术编码单元138将编码数据提供给比特流生成单元132。
注意,算术编码单元138可以预先存储上下文概率模型的多个候选,上下文概率模型选择单元303可以选择待被使用的上下文概率模型并将表示选择的上下文概率模型的信息提供给算术编码单元138,以及算术编码单元138可以从多个候选中选择通过该信息所指定的上下文概率模型并使用该上下文概率模型。
[无损编码处理的流程]
接下来,将参照图26所示的流程图来描述在此情况下的无损编码处理的流程的示例。
当开始无损编码处理时,在步骤S301中,编码单元131对量化的系数数据进行编码。在步骤S302中,编码单元131对滤波系数和最佳模式信息等进行编码。
在步骤S303中,分配控制单元121控制编码分配。
在步骤S304中,VLC表转换单元133将mpm_flag转换成代码编号。在步骤S305中,算术编码单元134使用通过步骤S303的处理所选择的上下文概率模型来对通过步骤S304的处理被转换成代码编号的mpm_flag应用算术编码。
在步骤S306中,VLC表转换单元135将mpm_lr_flag转换成代码编号。在步骤S307中,算术编码单元136使用通过步骤S303的处理所选择的上下文概率模型来对通过步骤S306的处理被转换成代码编号的mpm_lr_flag应用算术编码。
在步骤S308中,VLC表转换单元137将intra_dir_mode转换成代码编号。在步骤S309中,算术编码单元138使用通过步骤S303的处理所选择的上下文概率模型来对通过步骤S308的处理被转换成代码编号的intra_dir_mode应用算术编码。
在步骤S310中,比特流生成单元132对通过步骤S301、S302、S305、S307和S309的处理所获得的编码数据进行合成以生成比特流。
当完成步骤S310的处理时,比特流生成单元132终止无损编码处理,并使处理返回至图17。
[编码分配控制处理的流程]
接下来,将参照图27的流程图来描述图26的步骤S303所执行的编码分配控制处理的流程的示例。
当开始编码分配控制处理时,在步骤S331中,分配控制单元121的上下文概率模型选择单元301根据CU大小和分区类型来选择针对mpm_flag的上下文概率模型。
在步骤S302中,上下文概率模型选择单元302根据分区ID和分区类型来选择针对mpm_lr_flag的上下文概率模型。
在步骤S303中,上下文概率模型选择单元303根据CU大小和分区类型来选择针对intra_dir_mode的上下文概率模型。
当完成步骤S303的处理之后,上下文概率模型选择单元303终止编码分配控制处理,并使处理返回至图26。
通过执行如上所述的处理,分配控制单元121能够基于PU的大小和形状来选择用于算术编码的上下文概率模型,以便根据参数诸如mpm_flag、mpm_lr_flag和intra_dir_mode的值的生成频率来提高编码效率。此外,无损编码单元106能够使用上下文概率模型来对参数诸如mpm_flag、mpm_lr_flag和intra_dir_mode的代码编号应用算术编码。
因此,图像编码装置100能够抑制编码效率由于与帧内预测相关的参数诸如mpm_flag、mpm_lr_flag和intra_dir_mode所产生的降低。
[无损解码单元和分配控制单元]
图28为示出了与图25的示例的图像编码装置100对应的图像解码装置200的无损解码单元202和分配控制单元221的主要配置的示例的框图。
如图28所示,在此情况下,分配控制单元221包括上下文概率模型选择单元401至403以取代表选择单元241至243。
类似于上下文概率模型选择单元301的情况,上下文概率模型选择单元401基于从编码侧发送的CU大小和分区类型(与PU的大小和形状相关的信息)来控制待用在算术解码单元233中的上下文概率模型。
类似于上下文概率模型选择单元302的情况,上下文概率模型选择单元402基于从编码侧发送的CU大小和分区类型(与PU的大小和形状相关的信息)来控制待用在算术解码单元235中的上下文概率模型。
类似于上下文概率模型选择单元303的情况,上下文概率模型选择单元403基于从编码侧发送的CU大小和分区类型(与PU的大小和形状相关的信息)来控制待用在算术解码单元237中的上下文概率模型。
因此,算术解码单元233、算术解码单元235和算术解码单元237分别使用上下文概率模型选择单元401、上下文概率模型选择单元402和上下文概率模型选择单元403选择的上下文概率模型来执行算术解码。
在此情况下,类似于图25的情况,VLC表逆转换单元234、VLC表逆转换单元236和VLC表逆转换单元238在不切换VLC表的情况下(使用预定VLC表)执行逆转换处理。
明显地,还在此情况下,类似于图25的情况,可以仅将表示上下文概率模型选择单元401至403分别选择的上下文概率模型的信息提供给算术解码单元233、算术解码单元235和算术解码单元237。
[无损解码处理的流程]
接下来,将参照图29的流程图来描述在此情况下的无损解码处理的流程的示例。
当开始无损解码处理时,在步骤S401中,提取单元231从比特流中提取mpm_flag、mpm_lr_flag和intra_dir_mode的编码数据。
在步骤S402中,解码单元232对量化的系数数据的编码数据进行解码。在步骤S403中,解码单元232对滤波信息和最佳模式信息等的编码数据进行解码。
在步骤S404中,分配控制单元221控制解码分配。
在步骤S405中,算术解码单元233使用通过步骤S404的处理所选择的上下文概率模型来对在步骤S401中所提取的mpm_flag的编码数据应用算术解码。在步骤S406中,VLC表逆转换单元234对通过经历步骤S405中的算术解码所获得的mpm_flag的代码编号(符号)进行逆转换以获得mpm_flag的值。
在步骤S407中,算术解码单元235使用通过步骤S404的处理所选择的上下文概率模型来对在步骤S401中所提取的mpm_lr_flag的编码数据应用算术解码。在步骤S408中,VLC表逆转换单元236对通过经历步骤S407中的算术解码所获得的mpm_lr_flag的代码编号(符号)进行逆转换以获得mpm_lr_flag的值。
在步骤S409中,算术解码单元237使用通过步骤S404的处理所选择的上下文概率模型来对在步骤S401中所提取的intra_dir_mode的编码数据应用算术解码。在步骤S410中,VLC表逆转换单元238对通过经历步骤S409中的算术解码所获得的intra_dir_mode的代码编号(符号)进行逆转换以获得intra_dir_mode的值。
当完成步骤S410的处理时,VLC表逆转换单元238终止无损解码处理,并将处理返回至图22。
[解码分配控制处理的流程]
接下来,将参照图30的流程图来描述图29的步骤S404中所执行的解码分配控制处理的流程的示例。
当开始解码分配控制处理时,在步骤S431中,上下文概率模型选择单元401根据从编码侧提供的CU大小和分区类型来选择针对mpm_flag的上下文概率模型。
在步骤S432中,上下文概率模型选择单元402根据从编码侧提供的分区ID和分区单元来选择针对mpm_lr_flag的上下文概率模型。
在步骤S433中,上下文概率模型选择单元403根据从编码侧提供的CU大小和分区单元来选择针对intra_dir_mode的VLC上下文概率模型。当完成步骤S433的处理时,上下文概率模型选择单元403终止解码分配控制处理,并将处理返回至图29。
通过执行如上所述的处理,无损解码单元202能够对无损编码单元106的编码比特流进行正确解码。因此,图像解码装置200能够抑制编码效率由于与帧内预测相关的参数诸如mpm_flag、mpm_lr_flag和intra_dir_mode所产生的降低。
注意,上述参数值和预测参数的偏差为示例,并且该偏差可以与上述不同,只要其已知即可。即,可以使用已知偏差,只要能够根据该已知偏差执行代码编号的分配和上下文概率模型的选择即可。例如,可以这样考虑:在矩形PU中,与更接近纵向方向的预测方向的生成频率相比,更接近短方向(与纵向方向垂直的方向)的预测方向的生成频率提高。甚至在这样的情况下,VLC表将较小的代码编号分配给与PU的短方向更接近的预测方向,只要偏差已知即可。同样应用于控制上下文概率模型的情况。
即,VLC表的代码编号的上述分配方法为示例,并且可以使用任意方法,只要代码编号的分配能够根据参数值的生成频率而进一步降低代码量即可。此外,代码编号的比特长度不限于上述示例。
注意,在确定PU的大小和形状的过程中(在确定预测模式的过程中),即,在生成代价函数值的过程中,可以如上所述来控制代码编号和上下文概率模型等的分配。
此外,在以上描述中,描述了控制mpm_flag、mpm_lr_flag和intra_dir_mode的值的情况。然而,控制代码量的参数可以为任意参数,并且可以为除以上所述之外的任意参数。
如同MPEG和H.26x一样,例如,本技术能够被应用于在通过网络介质诸如卫星广播、有线电视、互联网或移动电话来接收通过正交变换诸如离散余弦变换和运动补偿所压缩的图像信息(比特流)的过程中使用的图像编码装置和图像解码装置。本技术还能够被应用于在对存储介质诸如光盘、磁盘或闪存执行处理的过程中使用的图像编码装置和图像解码装置。此外,本技术能够被应用于包括在这些图像编码装置和图像解码装置中的运动预测补偿装置。
<4.第四实施方式>
[计算机]
能够通过硬件或软件来实现上述一系列处理。当通过软件执行该系列处理时将构成软件的程序安装至计算机。这里,计算机包括合并到专用硬件中的计算机和通过安装各种程序能够执行各种功能的通用个人计算机。
如图31所示,个人计算机500的CPU(中央处理单元)501根据存储在ROM(只读存储器)502中的程序或从存储单元513加载到RAM(随机存取存储器)503的程序来执行各种处理。RAM503还适当地存储CPU501执行各种处理所需的数据等。
CPU501、ROM502和RAM503经由总线504相互连接。输入/输出接口510还连接至总线504。
输入单元511、输出单元512、存储单元513和通信单元514连接至输入/输出接口510,输入单元511包括键盘和鼠标,输出单元512包括CRT(阴极射线管)或LCD(液晶显示器)显示器和扬声器,存储单元513包括硬盘等,以及通信单元514包括调制解调器等。通信单元514通过包括互联网的网络来执行通信处理。
而且,在需要时,驱动器515连接至输入/输出接口510,同时可移除介质521诸如磁盘、光盘、磁光盘或半导体存储器适当地安装至驱动器,以使得在需要时将从介质读出的计算机程序安装至存储单元513。
当通过软件来执行上述一系列处理时,从网络或记录介质安装配置软件的程序。
如图31中示例所示,例如,记录介质被配置为:可移除介质521,程序被记录在该可移除介质521中,该可移除介质521独立于装置本身被分发以将程序传送给用户,所述可移除介质521包括磁盘(包括软盘)、光盘(包括CD-ROM(压缩盘-只读存储器)和DVD(数字多功能盘))、磁光盘(包括MD(迷你盘))或半导体存储器;ROM502,在该ROM502中记录程序,并且该ROM502在被预先合并在装置本身中的情况下被传送给用户;以及包括在存储单元513中的硬盘。
注意,计算机执行的程序可以为以按照本文中所描述的顺序的时间序列的方式执行处理的程序、或为并行地或在需要的定时例如在被调用时执行处理的程序。
此外,示出了在本文中记录在记录介质中的程序的步骤不仅包括以按照所描述的顺序的时间序列的方式执行的处理,而且包括并行地或单独地执行的处理。
本文中的系统表示包括多个装置的整体装置。
以上被描述为一个装置(或处理单元)的配置可以被划分为多个装置(或处理单元)。相反,以上被描述为多个装置(或处理单元)的配置可以被集成为一个装置(或处理单元)。而且,除了前述配置之外的配置可以被确定地添加到每个装置(或处理单元)的配置。此外,一些装置(或处理单元)的配置的一部分可以包括在其他装置(或其他处理单元)的配置中,只要整个系统的配置及操作基本上相同即可。即,本技术不限于前述实施方式,而能够在不偏离本技术的范围的情况下进行各种变化。
根据前述实施方式的图像编码装置和图像解码装置能够应用于各种电子装置,该电子装置包括:发送器或接收器,该发送器或接收器被用在诸如卫星广播和有线TV的有线广播、互联网上的分发、或在蜂窝通信中向终端的分发中;记录装置,该记录装置将图像记录在介质比如光盘、磁盘或闪存中;以及再现装置,该再现装置对来自这些存储介质的图像进行再现。以下将描述四个应用示例。
<5.第五实施方式>
[第一应用示例:电视机]
图32为示出了应用前述实施方式的电视装置的示意性配置的示例的图。电视装置900包括天线901、调谐器902、解复用器903、解码器904、视频信号处理单元905、显示器906、音频信号处理单元907、扬声器908、外部接口909、控制单元910、用户接口911和总线912。
调谐器902从通过天线901接收到的广播信号中提取期望频道的信号并对所提取的信号进行解调。调谐器902然后将通过解调所获得的编码比特流输出至解复用器903。即,在电视装置900中,调谐器902具有接收其中编码有图像的编码流的传输装置的作用。
解复用器903从编码比特流中将待被观看的节目中的视频流和音频流分离,并将分离的流中的每个流输出至解码器904。解复用器903还从编码比特流中提取辅助数据诸如EPG(电子节目指南),并将所提取的数据提供给控制单元910。这里,解复用器903可以在编码比特流被扰频时对其进行解扰。
解码器904对从解复用器903输入的视频流和音频流进行解码。然后,解码器904将通过解码处理所生成的视频数据输出至视频信号处理单元905。此外,解码器904将通过解码处理所生成的音频数据输出至音频信号处理单元907。
视频信号处理单元905对从解码器904输入的视频数据进行再现,并在显示器906上显示视频。视频信号处理单元905还可以在显示器906上显示通过网络所提供的应用画面。视频信号处理单元905还可以根据设置对视频数据执行另外的处理,比如噪声降低。此外,视频信号处理单元905可以生成GUI(图形用户界面)诸如菜单、按钮或光标的图像,并将生成的图像叠加到输出图像上。
显示器906被视频信号处理单元905提供的驱动信号驱动,并在显示装置(诸如液晶显示器、等离子体显示器或OELD(有机电致发光显示器))的视频画面上显示视频或图像。
音频信号处理单元907对从解码器904输出的音频数据执行再现处理诸如D/A转换和放大,并从扬声器908输出音频。音频信号处理单元907还可以对音频数据执行另外的处理诸如噪声降低。
外部接口909为将电视装置900与外部装置或网络连接的接口。例如,解码器904可以对通过外部接口909接收到的视频流或音频流进行解码。这意味着,在电视装置900中,外部接口909还具有接收其中编码有图像的编码流的传输装置的作用。
控制单元910包括处理器诸如CPU和存储器诸如RAM和ROM。存储器存储被CPU执行的程序、节目数据、EPG数据和通过网络获取的数据。例如,存储在存储器中的程序在电视装置启动时被CPU读取并执行。例如,通过执行该程序,CPU根据从用户接口911输入的操作信号来控制电视装置900的操作。
用户接口911连接至控制单元910。例如,用户接口911包括用于用户操作电视装置900的按钮和开关以及接收远程控制信号的接收部。用户接口911通过这些部件检测用户操作,生成操作信号,并将生成的操作信号输出至控制单元910。
总线912相互地连接调谐器902、解复用器903、解码器904、视频信号处理单元905、音频信号处理单元907、外部接口909和控制单元910。
以前述方式配置的电视装置900中的解码器904具有根据前述实施方式的图像解码装置的功能。因此,在通过电视装置900对图像进行解码的过程中能够提高编码效率。
<6.第六实施方式>
[第二应用示例:移动电话]
图33为示出了应用前述实施方式的移动电话的示意性配置的示例的图。移动电话920包括天线921、通信单元922、音频编解码器923、扬声器924、麦克风925、摄像装置单元926、图像处理单元927、解复用单元928、记录/再现单元929、显示器930、控制单元931、操作单元932和总线933。
天线921连接至通信单元922。扬声器924和麦克风925连接至音频编解码器923。操作单元932连接至控制单元931。总线933相互地连接通信单元922、音频编解码器923、摄像装置单元926、图像处理单元927、解复用单元928、记录/再现单元929、显示器930和控制单元931。
移动电话920执行操作,比如发送/接收音频信号、发送/接收电子邮件或图像数据、拍摄图像、或以各种操作模式记录数据,该操作模式包括音频通话模式、数据通信模式、摄像模式和视频电话模式。
在音频通话模式中,通过麦克风925生成的模拟音频信号被提供给音频编解码器923。然后,音频编解码器923将模拟音频信号转换成音频数据,对转换的音频数据执行A/D转换,并压缩数据。之后,音频编解码器923将压缩的音频数据输出到通信单元922。通信单元922对音频数据进行编码和调制以生成发送信号。然后,通信单元922通过天线921将生成的发送信号发送至基站(未示出)。此外,通信单元922对通过天线921接收的无线电信号进行放大,转换信号的频率,并获取接收信号。之后,通信单元922对接收信号进行解调和解码以生成音频数据,并将生成的音频数据输出至音频编解码器923。音频编解码器923扩展音频数据,对数据执行D/A转换,并生成模拟音频信号。然后,音频编解码器923通过将生成的音频信号提供给扬声器924来输出音频。
在数据通信模式中,例如,控制单元931根据通过操作单元932的用户操作来生成构成电子邮件的字符数据。控制单元931还在显示器930上显示字符。而且,控制单元931根据用户通过操作单元932的发送指令来生成电子邮件数据,并将生成的电子邮件数据输出至通信单元922。通信单元922对电子邮件数据进行编码和调制以生成发送信号。然后,通信单元922通过天线921将生成的发送信号发送到基站(未示出)。此外,通信单元922对通过天线921接收到的无线电信号进行放大,转换信号的频率,并获取接收信号。之后,通信单元922对接收信号进行解调和解码,恢复电子邮件数据,并将恢复的电子邮件数据输出至控制单元931。控制单元931将电子邮件的内容显示在显示器930上以及将电子邮件数据存储在记录/再现单元929的存储介质中。
记录/再现单元929包括为可读和可写的任意存储介质。例如,存储介质可以为内置存储介质诸如RAM或闪存,或可以为外部安装式存储介质诸如硬盘、磁盘、磁光盘、光盘、USB(未分配空间位图)存储器或存储卡。
在摄像模式中,例如,摄像装置单元926对物体成像,生成图像数据,并将生成的图像数据输出至图像处理单元927。图像处理单元927对从摄像装置单元926输入的图像数据进行编码,并将编码流存储在存储/再现单元929的存储介质中。
在视频通话模式中,例如,解复用单元928对通过图像处理单元927所编码的视频流和从音频编解码器923输入的音频流进行复用,并将复用流输出至通信单元922。通信单元922对流进行编码和调制以生成发送信号。然后,通信单元922通过天线921将生成的发送信号发送至基站(未示出)。此外,通信单元922放大通过天线921接收到的无线电信号,转换信号的频率,并获取接收信号。发送信号和接收信号能够包括编码的比特流。然后,通信单元922对接收信号进行解调和解码以恢复流,并将恢复的流输出至解复用单元928。解复用单元928从输入流中分离视频流和音频流,并分别将视频流和音频流输出至图像处理单元927和音频编解码器923。图像处理单元927对视频流进行解码以生成视频数据。然后,视频数据被提供给显示一系列图像的显示器930。音频编解码器923对音频流进行扩展并执行D/A转换以生成模拟音频信号。然后,音频编解码器923通过将生成的音频信号提供给扬声器924来输出音频。
以前述方式配置的移动电话920中的图像处理单元927具有根据前述实施方式的图像编码装置和图像解码装置的功能。因此,在通过移动电话920对图像进行编码和解码的过程中能够提高编码效率。
<7.第七实施方式>
[第三应用示例:记录/再现装置]
图34为示出了应用前述实施方式的记录/再现装置的示意性配置的示例的图。例如,记录/再现装置940对接收到的广播节目的音频数据和视频数据进行编码,并将数据记录到记录介质中。例如,记录/再现装置940还可以对从其他装置获取的音频数据和视频数据进行编码,并将数据记录在记录介质中。例如,记录/再现装置940响应于用户指令在监视器和扬声器上再现被记录在记录介质中的数据。这时,记录/再现装置940对音频数据和视频数据进行解码。
记录/再现装置940包括调谐器941、外部接口942、编码器943、HDD(硬盘驱动器)944、盘驱动器945、选择器946、解码器947、OSD(屏上显示器)948、控制单元949和用户接口950。
调谐器941从通过天线(未示出)接收到的广播信号中提取期望频道的信号并对所提取的信号进行解调。调谐器941然后将通过解调所获得的编码比特流输出至选择器946。即,在记录/再现装置940中,调谐器841具有发送装置的作用。
外部接口942为将将记录/再现装置940与外部装置或网络连接的接口。例如,外部接口942可以为IEEE1394接口、网络接口、USB接口或闪存接口。例如,通过外部接口942接收到的视频数据和音频数据被输入至编码器943。即,在记录/再现装置940中,外部接口942具有发送装置的作用。
当从外部接口942输入的视频数据和音频数据未被编码时,编码器943对该视频数据和音频数据进行编码。之后,编码器943将编码的比特流输出至选择器946。
HDD944将其中压缩有诸如视频和音频的内容数据的编码的比特流、各种程序和其他数据记录到内部硬盘中。当再现视频和音频时,HDD944从硬盘中读取这些数据。
盘驱动器945将数据记录到被安装至盘驱动器的记录介质中并从该记录介质中读取数据。安装至盘驱动器945的记录介质可以为例如DVD盘(诸如DVD-视频、DVD-RAM、DVD-R、DVD-RW、DVD+R或DVD+RW)或蓝光(注册商标)盘。
当记录视频和音频时,选择器946选择从调谐器941或编码器943输入的编码比特流,并将选择的编码比特流输出至HDD944或盘驱动器945。另一方面,当再现视频和音频时,选择器946将从HDD944或盘驱动器945输入的编码比特流输出至解码器947。
解码器947对编码比特流进行解码以生成视频数据和音频数据。然后,解码器947将生成的视频数据输出至OSD948。另外,解码器904将生成的音频数据输出至外部的扬声器。
OSD948再现从解码器947输入的视频数据并显示视频。OSD948还可以将GUI诸如菜单、按钮或光标的图像叠加到所显示的视频上。
控制单元949包括处理器诸如CPU和存储器诸如RAM和ROM。存储器存储被CPU执行的程序以及节目数据。例如,存储在存储器中的程序在记录/再现装置940启动时被CPU读取并执行。例如,通过执行该程序,CPU根据从用户接口950输入的操作信号来控制记录/再现装置940的操作。
用户接口950连接至控制单元949。例如,用户接口950包括用于用户操作记录/再现装置940的按钮和开关以及接收远程控制信号的接收部。用户接口950通过这些部件检测用户操作,生成操作信号,并将生成的操作信号输出至控制单元949。
以前述方式配置的记录/再现装置940中的编码器943具有根据前述实施方式的图像编码装置的功能。另一方面,解码器947具有根据前述实施方式的图像解码装置的功能。因此,能够提高在通过记录/再现装置940对图像进行编码和解码的过程中的编码效率。
<8.第八实施方式>
[第四应用示例:成像装置]
图35为示出了应用前述实施方式的成像装置的示意性配置的示例的图。成像装置960对物体成像,生成图像,对图像数据进行编码,并将数据记录到记录介质中。
成像装置960包括光学块961、成像单元962、信号处理单元963、图像处理单元964、显示器965、外部接口966、存储器967、媒体驱动器968、OSD969、控制单元970、用户接口971和总线972。
光学块961连接至成像单元962。成像单元962连接至信号处理单元963。显示器965连接至图像处理单元964。用户接口971连接至控制单元970。总线972相互地连接图像处理单元964、外部接口966、存储器967、媒体驱动器968、OSD969和控制单元970。
光学块961包括聚焦透镜和光圈机构。光学块961使物体的光学图像形成在成像单元962的成像表面上。成像单元962包括图像感测器诸如CCD(电荷耦合装置)或CMOS(互补金属氧化物半导体),并执行光电转换以将形成在成像表面上的光学图像转换成作为电信号的图像信号。随后,成像单元962将图像信号输出至信号处理单元963。
信号处理单元963对从成像单元962输入的图像信号执行各种摄像装置信号处理,诸如拐点校正、伽马校正和颜色校正。信号处理单元963将已对其执行了摄像装置信号处理的图像数据输出至图像处理单元964。
图像处理单元964对从信号处理单元963输入的图像数据进行编码,并生成编码数据。然后,图像处理单元964将所生成的编码数据提供给外部接口966或媒体驱动器968。图像处理单元964还对从外部接口966或媒体驱动器968输入的编码数据进行解码以生成图像数据。然后,图像处理单元964将所生成的图像数据输出至显示器965。而且,图像处理单元964可以将从信号处理单元963输入的图像数据输出至显示器965以显示图像。此外,图像处理单元964可以将从OSD969获取的显示数据叠加到在显示器965上输出的图像上。
OSD969生成GUI诸如菜单、按钮或光标的图像,并将生成的图像输出至图像处理单元964。
例如,外部接口966被配置为USB输入/输出端子。例如,在打印图像时,外部接口966将成像装置960与打印机连接。而且,驱动器在需要时连接至外部接口966。例如,可移除介质诸如磁盘或光盘被安装至驱动器,以使得从可移除介质读取的程序能够被安装至成像装置960。外部接口966还可以被配置为与网络诸如LAN或互联网连接的网络接口。即,在成像装置960中,外部接口966具有发送装置的作用。
安装至媒体驱动器968的记录介质可以为可读可写的任意可移除介质,诸如磁盘、磁光盘、光盘或半导体存储器。此外,例如,记录介质可以被固定地安装至媒体驱动器968,以使得构成非传输型存储单元诸如内置硬盘驱动器或SSD(固态驱动器)。
控制单元970包括处理器诸如CPU和存储器诸如RAM和ROM。存储器存储被CPU执行的程序以及节目数据。存储在存储器中的程序在成像装置960启动时被CPU读取并然后执行。例如,通过执行该程序,CPU根据从用户接口971输入的操作信号来控制成像装置960的操作。
用户接口971连接至控制单元970。例如,用户接口971包括用于用户操作成像装置960的按钮和开关。用户接口971通过这些部件检测用户操作,生成操作信号,并将生成的操作信号输出至控制单元970。
以前述方式配置的成像装置960中的图像处理单元964具有根据前述实施方式的图像编码装置和图像解码装置的功能。因此,在成像装置960中在对图像进行编码和解码的过程中能够提高编码效率。
注意,在本说明书中,描述了如下示例,其中,各种类型的信息诸如阈值被复用到编码流的头部并从编码侧被发送到解码侧。然而,发送这些信息片段的方法不限于这样的示例。例如,这些信息片段可以在未被复用到编码比特流的情况下被发送或记录为与编码比特流相关联的单独数据。这里,术语“相关联”意味着使包括在比特流中的图像(可以为图像的一部分诸如切片或块)和与当前图像对应的信息在解码时建立链接。即,可以将信息在与图像(或比特流)不同的传输路径上进行传输。还可以将信息记录在与图像(或比特流)不同的记录介质(或相同记录介质中的不同记录区域)中。此外,信息和图像(或比特流)可以通过诸如多个帧、一个帧或帧内的一部分的任意单元来彼此相关联。
虽然已参照附图详细描述了本公开内容的优选实施方式,但是本公开不限于这样的示例。明显地,本公开所属领域内的普通技术人员能够在权利要求所描述的技术构思的范围内作出各种变化或修改,从而应当理解,这些变化或修改应当属于本公开的技术范围。
注意,本技术还能够使用诸如如下所述的配置。
(1)一种图像处理设备,包括:
控制单元,被配置成根据预测处理单元中的区域来控制对与帧内预测相关的参数的编码;以及
编码单元,被配置成根据所述控制单元的控制来对所述参数进行编码。
(2)根据(1)所述的图像处理设备,其中,所述控制单元控制对所述参数的编码以降低所述参数的代码量。
(3)根据(1)或(2)所述的图像处理设备,其中,所述控制单元选择用于向所述参数的每个值分配代码编号的表,以及
所述编码单元使用所述控制单元选择的所述表来将所述参数的每个值转换并编码成所述代码编号。
(4)根据(1)至(3)中的任意一项所述的图像处理设备,其中,所述控制单元选择用于所述编码单元的算术编码的上下文概率模型,以及
所述编码单元使用所述控制单元选择的所述上下文概率模型来对所述参数进行编码。
(5)根据(1)至(4)中的任意一项所述的图像处理设备,其中,所述参数包括指定是否使用最可能模式MPM的标记。
(6)根据(5)所述的图像处理设备,其中,所述控制单元根据所述区域的大小和形状来控制对指定是否使用所述MPM的标记的编码。
(7)根据(1)至(6)中的任意一项所述的图像处理设备,其中,所述参数包括指定要在最可能模式MPM中参考的周围区域的标记。
(8)根据(7)所述的图像处理设备,其中,所述控制单元根据所述区域的形状和ID来控制对指定要在所述MPM中参考的周围区域的标记的编码。
(9)根据(1)至(8)中的任意一项所述的图像处理设备,其中,所述参数包括表示所述帧内预测的预测方向的标记。
(10)根据(9)所述的图像处理设备,其中,所述控制单元根据所述区域的大小和形状来控制对表示所述帧内预测的预测方向的标记的编码。
(11)根据(1)至(10)中的任意一项所述的图像处理设备,还包括:
发送单元,被配置成发送所述编码单元编码的所述参数。
(12)一种图像处理设备中处理图像的方法,其中,
控制单元根据预测处理单元中的区域来控制对与帧内预测相关的参数的编码,以及
编码单元根据所述控制来对所述参数进行编码。
(13)一种图像处理设备,包括:
接收单元,被配置成接收与帧内预测相关的参数的编码数据;
控制单元,被配置成根据预测处理单元中的区域来控制对所述接收单元接收到的所述编码数据的解码;以及
解码单元,被配置成根据所述控制单元的控制来对所述编码数据进行解码。
(14)一种图像处理设备中处理图像的方法,其中,
接收单元接收与帧内预测相关的参数的编码数据,
控制单元根据预测处理单元中的区域来控制对接收到的所述编码数据的解码,以及
解码单元根据所述控制对所述编码数据进行解码。
附图标记列表
100 图像编码装置
106 无损编码单元
121 分配控制单元
133、135和137 VLC表转换单元
141至143 表选择单元
200 图像解码装置
202 无损解码单元
221 分配控制单元
234、236和238 VLC表逆转换单元
241 至243 表选择单元
301 至303 上下文概率模型选择单元
401 至403 上下文概率模型选择单元

Claims (13)

1.一种图像处理设备,包括:
控制单元,被配置成根据预测处理单元中的多个区域的区域的大小和形状来控制对与帧内预测相关的参数的编码,其中所述控制单元根据针对每个区域的所述参数的生成频率控制针对每个区域的所述参数的编码以降低所述参数的编码量;以及
编码单元,被配置成根据所述控制单元的控制来对所述参数进行编码。
2.根据权利要求1所述的图像处理设备,其中,所述控制单元根据所述预测处理单元中的所述区域的大小和形状选择用于向所述参数的每个值分配代码编号的表,以及
所述编码单元使用所述控制单元选择的所述表来将所述参数的每个值转换并编码成所述代码编号。
3.根据权利要求1所述的图像处理设备,其中,所述控制单元根据所述预测处理单元中的所述区域的大小和形状选择用于所述编码单元的算术编码的上下文概率模型,以及
所述编码单元使用所述控制单元选择的所述上下文概率模型来对所述参数进行编码。
4.根据权利要求1所述的图像处理设备,其中,所述参数包括指定是否使用最可能模式MPM的标记。
5.根据权利要求4所述的图像处理设备,其中,所述控制单元根据所述预测处理单元中的所述区域的大小和形状来控制对指定是否使用所述MPM的标记的编码。
6.根据权利要求1所述的图像处理设备,其中,所述参数包括指定要在最可能模式MPM中参考的周围区域的标记。
7.根据权利要求6所述的图像处理设备,其中,所述控制单元根据所述预测处理单元中的所述区域的形状和ID来控制对指定要在所述MPM中参考的周围区域的标记的编码。
8.根据权利要求1所述的图像处理设备,其中,所述参数包括表示所述帧内预测的预测方向的标记。
9.根据权利要求8所述的图像处理设备,其中,所述控制单元根据所述预测处理单元中的所述区域的大小和形状来控制对表示所述帧内预测的预测方向的标记的编码。
10.根据权利要求1所述的图像处理设备,还包括:
发送单元,被配置成发送所述编码单元编码的所述参数。
11.一种图像处理设备中处理图像的方法,其中,
控制单元根据预测处理单元中的多个区域的每个区域的大小和形状来控制对与帧内预测相关的参数的编码,其中根据针对每个区域的所述参数的生成频率控制针对每个区域的所述参数的编码以降低所述编码的编码量,以及
编码单元根据所述控制来对所述参数进行编码。
12.一种图像处理设备,包括:
接收单元,被配置成接收与帧内预测相关的参数的编码数据;
控制单元,被配置成根据预测处理单元中的多个区域的每个区域的大小和形状来控制对所述接收单元接收到的所述编码数据的解码,其中针对每个区域的所述参数的编码数据的编码量基于针对每个区域的所述参数的生成频率;以及
解码单元,被配置成根据所述控制单元的控制来对所述编码数据进行解码。
13.一种图像处理设备中处理图像的方法,其中,
接收单元接收与帧内预测相关的参数的编码数据,
控制单元根据预测处理单元中的多个区域的每个区域的大小和形状来控制对接收到的所述编码数据的解码,其中针对每个区域的所述参数的编码数据的编码量基于针对每个区域的所述参数的生成频率,以及
解码单元根据所述控制对所述编码数据进行解码。
CN201280030984.7A 2011-06-30 2012-06-21 图像处理设备及图像处理方法 Expired - Fee Related CN103636214B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011-145566 2011-06-30
JP2011145566A JP2013012995A (ja) 2011-06-30 2011-06-30 画像処理装置および方法
PCT/JP2012/065819 WO2013002110A1 (ja) 2011-06-30 2012-06-21 画像処理装置および方法

Publications (2)

Publication Number Publication Date
CN103636214A CN103636214A (zh) 2014-03-12
CN103636214B true CN103636214B (zh) 2017-09-26

Family

ID=47424007

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280030984.7A Expired - Fee Related CN103636214B (zh) 2011-06-30 2012-06-21 图像处理设备及图像处理方法

Country Status (4)

Country Link
US (1) US10104372B2 (zh)
JP (1) JP2013012995A (zh)
CN (1) CN103636214B (zh)
WO (1) WO2013002110A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6212890B2 (ja) * 2013-03-22 2017-10-18 富士通株式会社 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム
JP6540132B2 (ja) * 2015-03-20 2019-07-10 カシオ計算機株式会社 復号装置、復号方法、及び、プログラム
US10841593B2 (en) 2015-06-18 2020-11-17 Qualcomm Incorporated Intra prediction and intra mode coding
US10142627B2 (en) * 2015-06-18 2018-11-27 Qualcomm Incorporated Intra prediction and intra mode coding
US11463689B2 (en) 2015-06-18 2022-10-04 Qualcomm Incorporated Intra prediction and intra mode coding
FI20175006A1 (en) * 2017-01-03 2019-02-15 Nokia Technologies Oy Video and image coding using wide-angle intra-prediction
JP6956543B2 (ja) * 2017-07-03 2021-11-02 日本放送協会 決定装置、符号化装置、復号装置及びプログラム
US10652534B2 (en) * 2018-03-08 2020-05-12 Tencent America LLC Methods and apparatus for directional intra prediction in video compression
WO2019216608A1 (ko) * 2018-05-07 2019-11-14 엘지전자 주식회사 컨텍스트 기반 인트라 예측 모드 정보 코딩을 이용한 영상 코딩 방법 및 그 장치
US11277644B2 (en) 2018-07-02 2022-03-15 Qualcomm Incorporated Combining mode dependent intra smoothing (MDIS) with intra interpolation filter switching
US11303885B2 (en) 2018-10-25 2022-04-12 Qualcomm Incorporated Wide-angle intra prediction smoothing and interpolation
CN111277824B (zh) * 2020-02-12 2023-07-25 腾讯科技(深圳)有限公司 图像预测处理方法、装置、终端及计算机可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003324731A (ja) * 2002-04-26 2003-11-14 Sony Corp 符号化装置、復号装置、画像処理装置、それらの方法およびプログラム
CN101502124A (zh) * 2006-07-28 2009-08-05 株式会社东芝 图像编码和解码的方法以及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2255585B1 (en) * 2008-03-16 2019-05-08 LG Electronics Inc. Method and apparatus for acquiring resource allocation of control channel
KR20090129926A (ko) * 2008-06-13 2009-12-17 삼성전자주식회사 영상 부호화 방법 및 그 장치, 영상 복호화 방법 및 그 장치
JPWO2011125313A1 (ja) * 2010-04-09 2013-07-08 三菱電機株式会社 動画像符号化装置および動画像復号装置
JP2011259361A (ja) 2010-06-11 2011-12-22 Sony Corp 画像処理装置および方法
JP2012023613A (ja) * 2010-07-15 2012-02-02 Mitsubishi Electric Corp 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003324731A (ja) * 2002-04-26 2003-11-14 Sony Corp 符号化装置、復号装置、画像処理装置、それらの方法およびプログラム
CN101502124A (zh) * 2006-07-28 2009-08-05 株式会社东芝 图像编码和解码的方法以及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TE6 subset a:Bidirectional intra prediction;Taichiro Shiodera等;《JCT-VC of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 3rd Meeting:Guangzhou》;20101015;第2-4页 *

Also Published As

Publication number Publication date
US10104372B2 (en) 2018-10-16
JP2013012995A (ja) 2013-01-17
US20140079122A1 (en) 2014-03-20
WO2013002110A1 (ja) 2013-01-03
CN103636214A (zh) 2014-03-12

Similar Documents

Publication Publication Date Title
CN103636214B (zh) 图像处理设备及图像处理方法
US20210344965A1 (en) Image processing device and image processing method
CN103563364B (zh) 图像处理设备及方法
CN103891293B (zh) 用于色度分量的自适应环路滤波的方法及设备
CN105723707B (zh) 用于视频译码的色彩残差预测
CN104471944B (zh) 图像处理装置和方法
RU2731125C2 (ru) Устройство и способ обработки изображений
CN103563374B (zh) 图像处理设备及方法
CN103444173B (zh) 图像处理设备和方法
CN104662901B (zh) 图像处理装置及方法
CN104380732A (zh) 图像处理装置及方法
CN102714734A (zh) 图像处理设备和方法
CN102812708A (zh) 图像处理设备和方法
CN104641646A (zh) 图像处理设备和图像处理方法
CN105915905A (zh) 图像编码装置和方法以及图像解码装置和方法
CN103548355A (zh) 图像处理装置及方法
CN103535041A (zh) 图像处理装置和方法
CN103636219A (zh) 图像处理装置和方法
JP2013074416A (ja) 画像処理装置および方法
CN103339942A (zh) 图像处理装置和方法
CN104885464A (zh) 图像处理装置和方法
CN103891286A (zh) 图像处理装置和方法
CN102160383A (zh) 图像处理装置和方法
CN103597836A (zh) 图像处理设备和方法
CN104885466A (zh) 图像处理装置和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170926

CF01 Termination of patent right due to non-payment of annual fee