[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN107770557A - 图像处理设备及方法 - Google Patents

图像处理设备及方法 Download PDF

Info

Publication number
CN107770557A
CN107770557A CN201710877494.5A CN201710877494A CN107770557A CN 107770557 A CN107770557 A CN 107770557A CN 201710877494 A CN201710877494 A CN 201710877494A CN 107770557 A CN107770557 A CN 107770557A
Authority
CN
China
Prior art keywords
aberration
image
adaptability
migration processing
offset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710877494.5A
Other languages
English (en)
Other versions
CN107770557B (zh
Inventor
佐藤数史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN107770557A publication Critical patent/CN107770557A/zh
Application granted granted Critical
Publication of CN107770557B publication Critical patent/CN107770557B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/1883—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)

Abstract

一种图像解码装置包括亮度适应性偏移处理部分和色差适应性偏移处理部分。亮度适应性偏移处理部分对于待解码的图像的亮度信号执行亮度适应性偏移处理。色差适应性偏移处理部分基于由亮度适应性偏移处理部分执行的亮度适应性偏移处理所产生的数据，对于色差信号执行色差适应性偏移处理以产生解码图像。

Description

图像处理设备及方法
本申请是同一申请人的申请日为2012年6月21日、申请号为201280030343.1(PCT/JP2012/004016)、发明名称为“图像处理设备及方法”的中国发明专利申请的分案申请。
技术领域
相关申请的交叉引用
本申请基于并根据35U.S.C§119规定要求2011年6月28日在日本专利局提交的日本优先权专利申请2011-143248的优先权，在此引用全部内容作为参考。
本发明涉及一种图像处理设备及方法，更特别地，涉及一种能够提高关于色差信号的编码效率图像处理设备及方法。
背景技术
近几年，其中图像信息作为数字进行处理且通过使用编码方法而对图像进行压缩和编码的设备得到广泛传播，该编码方法为了实现高效的信息传输、存储的目标，在进行处理时利用作为图像信息特征的冗长性通过离散余弦变换等正交变换和运动补偿等来进行压缩。在这种编码格式中，示例如MPEG(动态图像专家组)等。
特别地，MPEG2(ISO/IEC 13818-2)被定义为一种通用图像编码标准，并且是一种包括了交织扫描图像和按序扫描图像、标准分辨率图像和高精确度图像的标准。例如，MPEG2目前被广泛用于例如专业目的和消费者目的。通过使用MPEG2压缩方法，例如，如果具有使用720×480像素的标准分辨率交织图像，则分配4至8Mbps的编码量(比特率)。另外，通过使用MPEG2压缩方法，例如，如果具有使用1920×1088像素的标准分辨率的交织图像，则分配18至22Mbps的编码量(比特率)。因此，高效率和优越的图像质量的实现成为可能。
MPEG2主要具有适于以广播为目标的高质量图像编码，但不能支持比MPEG1(也即具有更高压缩率的编码格式)的比特率更低的编码量(比特率)的编码格式。由于移动电话的传播，今后对这种编码方法的需求将有望增加，并且据此进行MPEG4编码方法的标准化。关于图像编码格式，1998年12月的ISO/IEC 14496-2标准被认定为国际标准。
对于标准化日程，在2003年3月有H.264以及MPEG-4第10部分(高级视频码，以下用H.264/AVC代替)的国际标准。
另外，作为H.264/AVC的延伸，在2005年2月完成了FRExt(保真度范围延伸)标准，其包括RGB的管理所需的4:2:2和4:4:4的编码工具，以及MPEG-2中规定的8×8DCT和量化矩阵。从而，FRExt成为一种能使得包含在使用H.264/AVC的视频中的影片噪音能够优质地呈现出来的编码方法，并且这种编码方法变为被广泛用于例如蓝光光盘(注册商标)的应用中的载体。
然而，最近对于更高压缩率编码的需求增加，例如，压缩具有大约4000×2000个像素的分辨率(该分辨率是高清(Hi-Vision)图像的四倍)的压缩图像，以及在具有受限传播能力的环境(例如互联网)中发布高清图像。因此，上述的ITU-T下的VCEG(视频编码专家组)仍在继续对于提高编码效率进行研究。
作为编码效率的一项改善，提出了一种方法，其中在运动补偿循环中有FIR滤波器(例如参考NPL1)。可以将压缩参考图像的劣化抑制到最小并改善图像压缩信息的编码效率，其中，图像压缩信息通过确定编码设备中的FIR滤波器系数以使得使用FIR滤波器和输入图像之间的误差最小化而输出的。
目前，为了进一步提高使用H.264/AVC的编码效率的目标，由于作为由ITU-T和ISO/IEC构成的联合标准体的JCTVC(联合标准体联合合作团队-视频编码)，被称作HEVC(高效视频码)的编码方法的标准化正取得进展。NPL2已由HEVC作为初稿发布。
编码单位(CU)已在HEVC中定义为与AVC中的宏块相同处理单位。CU被指定给每个序列中的图像压缩信息，而不需要像AVC中的宏块一样将大小固定为16×16像素。
CU被构造为来自LCU(最大编码单位)的层结构，相对于SCU(最小编码单位)来说，LCU是最大的。也即，可以认为LCU等同于AVC的宏块，在LCU的下层(小于LCU的CU)中的CU等同于AVC中的子宏块。
此处，在HEVC中采用的方法采用在NPL3中提出的适应性偏移滤波器。HEVC中的适应性偏移滤波器被提供在去块滤波器和适应性循环滤波器之间。
作为偏移滤波器的类型，有称为带偏移的两种类型的偏移，以及称为边缘偏移的六种类型的偏移，另外，也可能不采用偏移。然后，可能将图像分成四叉树，并选择是否在每个区域中使用上述适应性偏移的类型来编码。使用该方法可以提高编码效率。
引用清单
非专利文献
NPL1：Takeshi Chujoh,Goki Yasuda,Naofumi Wada,Takashi Watanabe,TomooYamakage,“Block-based Adaptive Loop Filter”,VCEG-AI18,ITU–电信标准部门学习组16问题6视频编码专家组(VCEG)第35次会议：德国柏林，2008年7月，16-18
NPL 2:Thomas Wiegand,Woo-jin Han,Benjamin Bross,Jens-Rainer Ohm,GaryJ.Sullivian,"WD3:Working Draft3of High-Efficiency Video Coding",JCTVc-E603,2011年3月
NPL 3:"CE8Subtest 3:Picture Quality Adaptive Offset",JCTVC-D122,2011年1月
发明内容
本发明解决的问题
然而，NPL3中提出的方法仅相对于亮度信号实施，并不在色差信号上实施。因此，支持色差信号是有必要的。
本发明考虑到这些情况，并能够相对于色差信号来提高编码效率。
解决问题的手段
本发明主要包括图像解码和编码装置，以及图像解码和编码方法。在一个实施例中，图像解码装置包括亮度适应性偏移处理部分和色差适应性偏移处理部分。亮度适应性偏移处理部分对于待解码的图像的亮度信号执行亮度适应性偏移处理。色差适应性偏移处理部分基于由亮度适应性偏移处理部分执行的亮度适应性偏移处理所产生的数据，对于色差信号执行色差适应性偏移处理以产生解码图像。
附图说明
[fig.1]图1是示出了使用H.264/AVC方法的图像编码设备的主要构成示例的方块图。
[fig.2]图2是示出了使用H.264/AVC方法的图像解码设备的主要构成示例的方块图。
[fig.3]图3是示出了应用适应性循环滤波器的图像编码设备的主要构成示例的方块图。
[fig.4]图4是示出了应用适应性循环滤波器的图像解码设备的主要构成示例的方块图。
[fig.5]图5是示出了去块滤波器的操作原理的示意图。
[fig.6]图6是示出了定义BS的方法的示意图。
[fig.7]图7是示出了示出了去块滤波器的操作原理的示意图。
[fig.8]图8是指数A和B以及α和β的值之间的对应关系的示例的示意图。
[fig.9]图9是BS与指数A和tC0之间的对应关系的示例的示意图。
[fig.10]图10是示出了编码单位的构成示例的示意图。
[fig.11]图11是示出了在HEVC方法中适应性偏移处理的示意图。
[fig.12]图12是示出了四叉树结构的示意图。
[fig.13]图13是示出了带偏移的示意图。
[fig.14]图14是示出了边缘偏移的示意图。
[fig.15]图15是示出了边缘偏移的规则列表的示意图。
[fig.16]图16是示出了根据本发明的图像编码设备的主要构成示例的方块图。
[fig.17]图17是示出了适应性偏移部分和色差适应性偏移部分的构成示例的示意图。
[fig.18]图18是示出了编码处理的示例的流程图。
[fig.19]图19是示出了适应性偏移处理的示例的流程图。
[fig.20]图20是示出了图像解码设备的主要构成示例的方块图。
[fig.21]图21是示出了适应性偏移部分和色差适应性偏移部分的构成示例的方块图。
[fig.22]图22是示出了解码处理的流程示例的流程图。
[fig.23]图23是示出了适应性偏移处理的示例的流程图。
[fig.24]图24是示出了个人计算机的主要构成的示例的方块图。
[fig.25]图25是示出了电视设备的示意构成的示例的方块图。
[fig.26]图26是示出了移动电话部分的示意构成的示例的方块图。
[fig.27]图27是示出了记录和再现设备的示意构成的示例的方块图。
[fig.28]图28是示出了成像设备的示意构成的示例的方块图。
具体实施方式
如下将描述实施本发明的实施例。此处，说明将按照以下顺序执行。
1.第一实施例(图像编码设备)
2.第二实施例(图像解码设备)
3.第三实施例(个人计算机)
4.第四实施例(电视接收部分)
5.第五实施例(移动电话部分)
6.第六实施例(硬盘记录器)
7、第七实施例(相机)
<1.第一实施例>
[H.264/AVC图像编码设备]
图1表示了图像编码设备的实施例的构成，其使用H.264和MPEG(移动图像专家组)4第10部分(AVC(高级视频码))的编码方法来编码图像。以下将H.264和MPEG的编码方法简称为H.264/AVC。
在图1所示的实施例中，图像编码设备1被构成为包括A/D转换部分11、图像重排缓冲器12、计算部分13、正交变换部分14、量化部分15、无损编码部分16、累积缓冲器17、逆向量化部分18、逆向正交变换部分19、计算部分20。另外，图像编码设备1构造为还包括去块滤波器21、帧存储器22、选择部分23、帧内预测部分24、运动预测和补偿部分25、预测图像选择部分26和速率控制部分27。
该A/D转换部分11为输入图像数据进行A/D转换，并输出到图像重排缓冲器12中，并存储。图像重排缓冲器102将所存储的、以播放顺序排列的图像帧重新排列，以按照GOP(图像组)结构编码。图像重排缓冲器12将帧顺序已重新排列的图像提供给计算部分13。另外，图像重排缓冲器12还将帧顺序已经重新排列的图像提供给帧内预测部分24以及运动预测和补偿部分25。
算法计算部分13从读取自图像重排缓冲器12的图像减去预测图像，该预测图像从帧内预测部分24或运动预测和补偿部分25通过预测图像选择部分26提供，并将差分信息输出到正交变换部分14。
例如，当对图像进行帧内编码时，计算部分13从读取自图像重排缓冲器12的图像减去由帧内预测部分24提供的预测图像。另外，例如，当对图像执行帧间编码时，计算部分13从读取自图像重排缓冲器12的图像减去由运动预测和补偿部分25提供的预测图像。
正交变换部分14在由计算部分13提供的差分信息上执行正交变换，例如，离散余弦变换或Karhunen-Loeve变换，并将变换系数提供给量化部分15。
量化部分15将从正交变换部分14输出的变换系数量化。量化部分15基于由速率控制部分27提供的编码量的目标值相关的信息来设置量化参数。量化部分15将已经量化的变换系数提供给无损编码部分16。
无损编码部分16对已经量化的变换系数执行无损编码，例如变长编码或算法编码。由于系数数据在速率控制部分27的控制下被量化，所以由速率控制部分27设定的编码量变成目标(或接近目标值)。
无损编码部分16从帧内预测部分24获取表示帧内预测等的信息，并从运动预测/补偿部分25获取表示帧间预测模式、运动矢量信息及类似的信息。此处，表示帧内预测(屏幕内预测)的信息在下文也称为帧内预测模式信息。另外，表示帧间预测(屏幕间预测)的信息在下文也成为帧间预测模式信息。
无损编码部分16对已经量化的变换系数进行编码，还将各种信息(例如滤波器系数、帧内预测模式信息、帧间预测模式信息、和量化参数)作为编码数据(多层)的头信息的一部分。无损编码部分16通过将通过编码所获得的编码后的数据提供给累积缓冲器17中来将其储存。
例如，在无损编码部分106中执行无损编码处理，例如变长编码或算法编码。对于变长编码，可以是使用H.264/AVC等方法来确定的CAVLC(上下文自适应的变长码)。对于算法编码，可以是CABAC(上下文自适应的二进制算法码)等。
累积缓冲器17暂时存储由无损编码部分16提供的编码数据，并将其作为使用H.264/AVC方法编码的编码图像输出给例如录制设备或在后续步骤中在预定的时间输出给传输路径(未示出)。
另外，在量化部分15中量化的变换系数也被提供给逆向量化部分18。该逆向量化部分18使用对应于量化部分15执行的量化的方法进行已经量化的变换系数的逆向量化。量化部分18将所得的变换系数提供给逆向正交变换部分19。
逆向正交变换部分19将对应于正交变换部分14执行的正交变换的方法所提供的变换系数执行逆向正交变换。已经执行了逆向正交变换(已经被解码的差分信息)的输出被提供给计算部分20。
计算部分20将由帧内预测部分24或运动预测和补偿部分25通过预测图像选择部分26提供的预测图像与由逆向正交变换部分19提供的逆向正交变换结果(即，重构的差分信息)相加，并且获取本地解码图像(解码的图像)。
例如，当差分信息对应于对其执行帧内编码的图像时，计算部分20将帧内预测部分24提供的预测图像与差分信息相加。另外，例如，当差分信息对应于对其执行帧间编码的图像时，计算部分20将运动预测和补偿部分25提供的预测图像与差分信息相加。
计算结果被提供给去块滤波器21或帧存储器22。
去块滤波器21通过适当地执行去块滤波操作而移除解码图像的块失真。去块滤波器21将滤波处理结果提供给帧存储器22。此处，由计算部分20输出的解码图像能被提供给帧存储器22，而不需要通过去块滤波器21。也即，有可能省略去块滤波器21的去块滤波处理。
帧存储器22存储所提供的解码图像，并在预定的时间通过选择部分23将解码图像输出至帧内预测部分24或运动预测/补偿部分25，解码图像作为参考图像存储。
例如，当执行帧内编码时，帧存储器22通过选择部分23将参考图像提供给帧内预测部分24。另外，例如，当执行帧间编码时，帧存储器22通过选择部分23将参考图像提供给运动预测和补偿部分25。
当帧存储器22所提供的参考图像是待执行帧内解码的图像时，选择部分23将该参考图像提供给帧内预测部分24。此外，当帧存储器22所提供的参考图像是待执行帧间解码的图像时，选择部分23将该参考图像提供给运动预测和补偿部分25。
帧内预测部分24通过使用由帧存储器22提供的处理中的目标图片的像素值执行帧内预测(屏幕内预测)以产生预测图像。帧内预测部分24以多种模式(帧内预测模式)执行帧内预测。
在H.264/AVC方法中，帧内4×4预测模式、帧内8×8预测模式和帧内16×16预测模式被相对于亮度信号来定义。另外，相对于色差信号，可以为每个宏块定义独立于亮度信号的预测模式。相对于每个4×4亮度块有帧间4×4预测模式，相对于每个8×8亮度块有帧内8×8预测模式，且一种帧内预测模式被定义。相对于16×16预测模式和色差信号，为其中的每个相对于一个宏块定义了一种预测模式。
帧内预测部分24使用所有帧内预测模式作为备选产生预测图像，使用由图像重排缓冲器12提供的输入图像来评估每个预测图像的成本函数，并选择最佳模式。在选择了最佳帧内预测模式时，帧内预测部分24把以最佳预测模式所产生的预测图像通过预测图像选择部分26提供给计算部分13或计算部分20。
另外，如上所述的，帧内预测部分24还把信息，例如，表示出所采用的帧内预测模式的帧内预测模式，合适地提供给无损编码部分16。
相对于执行帧间编码的图像，通过使用由图像重排缓冲器12提供的输入图像以及通过选择部分23由帧存储器22提供的参考图像，运动预测和补偿部分25在待帧间编码的图像上执行运动预测。运动预测和补偿部分25根据探测到的运动矢量执行补偿处理，从而产生预测图像(帧间预测图像信息)。运动预测和补偿部分25以使用提前准备的多种模式(帧间预测模式)的方式执行帧间预测。
运动预测和补偿部分25使用所有帧间预测模式作为备选产生预测图像，评估每个预测图像的成本函数值，并选择最佳模式。运动预测和补偿部分25通过选择部分26将产生的预测图像提供给计算部分13或计算部分20。
另外，运动预测和补偿部分25将表示出所采用的帧间预测模式的帧间预测模式信息以及表示出计算所得的运动矢量的运动矢量信息提供给无损编码部分16。
当在图像上执行帧内编码时，选择部分26将帧内预测部分24的输出提供给计算部分13或计算部分20，并且当在图像上执行帧间编码时，选择部分26将运动预测和补偿部分25的输出提供给计算部分13或计算部分20。
基于在累积缓冲器17中积累的压缩图像，速率控制部分27控制量化部分15的量化操作的速率，从而不会产生溢位或不足。
<H.264/AVC方法图像解码方法>
图2示出了使用离散余弦变换或Karhunen-Loeve变换等的正交变换信息和运动补偿的图像解码设备的主要构成的示例的方块图。图2所示的图像解码设备31是对应于图1的图像编码设备的解码设备。
通过任意的路径，例如，传输路径或记录介质，由图像编码设备1所编码的数据被提供给对应于图像编码部分1的图像解码设备31并被其解码。
如图2所示的，图像解码设备31包括累积缓冲器41、无损解码部分42、逆向量化部分43、逆向正交变换部分44、计算部分45、去块滤波器46、图像重排缓冲器47以及D/A转换部分48。另外，图像解码设备31具有帧存储器49、选择部分50、帧内预测部分51、运动补偿部分52和图像选择部分53。
累积缓冲器41累积传输的编码数据。编码数据已由图像编码设备1编码。在预定的时间，通过与图1所示的无损编码部分16所使用的编码方法相兼容的方法，无损解码部分42对从累积缓冲器41读取的编码数据进行解码。
另外，在对帧进行帧内编码的情况下，帧内预测模式信息被储存在编码数据的头部部分中。无损解码部分42对于帧内预测模式信息和提供给帧内预测部分51的信息进行解码。相对于此，在对帧进行帧间编码的情况下，运动矢量信息被存储在编码数据的头部部分中。无损解码部分对运动矢量信息和提供给运动矢量部分52的信息进行解码。
通过使用对应于图1所示的量化部分15的量化方法的方法，逆向量化部分43对通过使用无损解码部分42解码而获得的系数数据(量化的系数)进行逆向量化。也即，逆向量化部分43用与图1所示的逆向量化部分18相同的方法对所得的量化系数执行逆向量化。
逆向量化部分43将已经量化的系数数据，也即，正交变换系数，提供给逆向量化变换部分44。通过使用对应于图1所示的正交变换部分14的正交变换方法的方法(该方法与图1的逆向正交变换部分的方法相同)，逆向正交变换部分44执行正交变换系数的逆向正交变换，并获取对应于图像编码设备1执行正交变换之前的残余误差数据的解码的残余误差数据。例如，实施四次逆向正交变换。
通过逆向正交变换而得到的解码的残余误差数据被提供给法计算部分45。另外，预测图像也通过图像选择部分53从计算部分45被提供给部分帧内预测部分51或运动补偿部分52。
计算部分45将解码的残余误差数据与预测图像相加，并且得到与使用图像编码设备1的计算部分13减去预测图像的在先图像数据相对应的解码图像数据。计算部分45将解码的图像数据提供给去块滤波器46。
在块失真被移除之后，去块滤波器46将提供的解码图像提供给图像重排缓冲器47。
图像重排缓冲器47执行图像重排。也即，由图1所示的图像重排缓冲器12排列成编码顺序的帧序列被重排成原始的播放顺序。D/A转换部分48对由图像重排缓冲器47所提供的图像执行D/A转换，并将其至显示器(未示出)并显示。
去块滤波器46的输出被进一步提供给帧存储器49。
帧存储器49、选择部分50、帧内预测部分51、运动补偿部分52以及图像选择部分53各自对应于图像编码设备1的帧存储器22、选择部分23、帧内预测部分24、运动预测和补偿部分25以及预测图像选择部分26。
选择部分50从帧存储器49读取执行帧间处理的图像和被参考的图像，并将这些图像提供给运动补偿部分52。另外，选择部分50还从帧存储器49读取用于帧内预测的图像，并将该图像提供给帧内预测部分51。
在帧内预测部分51中，通过解码头部信息等信息所获得的、指示出帧内预测模式的信息被从无损解码部分42适当地提供。基于该信息，帧内预测部分51根据从帧存储器49获得的参考图像产生预测图像，并将产生的预测图像提供给选择部分53。
运动补偿部分52从无损解码部分42获取通过解码头部信息所得到的信息(预测模式信息、运动矢量信息、参考帧信息、标志、各种类型的参数等)。
基于从无损解码部分42提供的信息，运动补偿部分52根据从帧存储器49获取的参考图像产生预测图像，并将产生的图像提供给图像选择部分53。
图像选择部分53对运动补偿部分52所产生的预测图像或帧内预测部分51所产生的预测图像进行选择，并将所选择的预测图像提供给计算部分45。
<适应性循环滤波器的细节>
接下来描述PTL1中提出的适应性循环滤波器(ALF)。
图3是示出了应用适应性循环滤波器的图像编码设备的构成示例的方块图。此处，在图3的例子中，为了方便描述，图1的A/D转换部分11、图像重排缓冲器12、累积缓冲器17、选择部分23、帧内预测部分24、预测图像选择部分26和速率控制部分27被省略。另外，箭头等也适当省略。相对应的，在图3的例子的情况下，来自帧存储器22的参考图像被直接输入到运动预测和补偿部分25并且来自运动预测和补偿部分25的预测图像被直接输入到计算部分13和20。
也即，图3的图像编码设备61与图1的图像编码设备1的唯一区别点为在去块滤波器21和帧存储器22之间加入了适应性循环滤波器71。
适应性循环滤波器71执行适应性循环滤波系数的计算，使得来自图像重排缓冲器12(图中被省略)的原始图像的残余被最小化，并使用适应性循环滤波系数在来自去块滤波器21的解码图像上执行滤波处理。滤波器例如可以使用Wiener滤波器。
另外，适应性循环滤波器71将计算的适应性循环滤波系数传送给无损编码部分16。在无损编码部分16中，无损编码处理(例如，变长编码或算术编码)在插入在压缩图像的头部部分的适应性循环滤波系数上执行。
图4是示出了对应于图3的图像编码设备的图像解码设备的构成示例的方块图。此处，在图4的例子中，为了方便描述，图2的累积缓冲器41、图像重排缓冲器47、D/A转换部分48、选择部分50、帧内预测部分51和图像选择部分53被省略。另外，箭头等也适当省略。相对应的，在图4的例子的情况下，来自帧存储器49的参考图像被直接输入到运动预测和补偿部分52并且来自运动预测和补偿部分52的预测图像被直接输入到计算部分45。
也即，图4的图像解码设备81与图2的图像编码设备31的唯一区别点为在去块滤波器46和帧存储器49之间加入了适应性循环滤波器91。
来自无损解码部分42的被解码的、并从头部中提取的适应性循环滤波系数被提供给适应性循环滤波器91。适应性循环滤波器91使用提供的适应性循环滤波系数在来自去块滤波器46的解码图像上执行滤波处理。作为滤波器，例如可以使用Wiener滤波器。
因此，提高解码图像的图像质量以及提高参考信号的图像质量成为可能。
<去块滤波器>
接下来描述H.264/AVC的去块滤波器。去块滤波器21被包括在运动补偿循环中，且移除解码图像中的块失真，也即，处理单元中的区域中的失真。结果，防止了块失真传递到在运动补偿处理中参照的图像。
作为去块滤波器的处理，可以使用包括在图片参数组RBSP(原始字节序列负荷)中的deblocking_filter_control_present_flag(去块滤波器控制存在标志)，以及包含在解码数据中的片段头部(Slice Header)中的disable_deblocking_filter_dic的两个参数选择一下(a)至(c)中的方法。
(a)在块边界或宏块边界执行
(b)仅在宏块边界执行
(c)不执行
对于量化参数QP，当以下处理对于亮度信号实施时使用QPY，并且当以下处理对于色差信号执行时使用QPC。另外，相对于运动矢量解码、帧内预测和熵编码(CAVLC/CABAC)，属于不同片段的像素值被处理为“不可用”。然而，在去块滤波处理中，属于不同片段但属于相同图片的像素值被处理为“可用”。
下面，如图5所示的，去块滤波处理之前的像素值被设置为p0至p3和q0至q3，处理后的像素值被设置为p0'至p3'和q0'至q3'。
首先，在去块滤波处理之前，作为块边界强度数据的Bs(边界强度)被对于图5中的每个像素p和q定义，如图6中的表所示。
如图6所示，当像素p或q中任一个属于已实施帧内编码的宏块且该像素位于宏块之间的边界上时，指示出最高的滤波强度的“4”被分配给Bs。
当像素p或q中任一个属于已实施帧内编码的宏块且该像素不位于宏块之间的边界上时，指示出在“4”之后最高的滤波强度的“3”被分配给Bs。
当像素p和q都属于已实施帧内编码的宏块且其中一个像素具有变换系数时，指示出在“3”之后最高的滤波强度的“2”被分配给Bs。
当像素p和q都不属于已实施帧内编码的宏块时，当任一像素都不具有变换系数的情况得到满足时，以及当参考帧都不同、参考帧的数目不同或运动矢量不同中任意一者得到满足时，“1”被分配给Bs。
当像素p和q都不属于已实施帧内编码的宏块，且两个像素都不具有变换系数但参考帧和运动矢量相同时，“0”被分配给Bs。这里，“0”具有不执行滤波处理的含义。
仅当如下式(1)和式(2)中的两个条件都得到满足时，图5中的去块滤波处理才在(p2,p1,p0,q0,q1,q2)上执行。
Bs>0…(1)
|p0-q0|<α；|p1-p0|<β；|q0-q0|<β···(2)
式(2)中的α和β的值根据如下所示的默认设置中的QP确定，但用户能够由于包含在编码数据的片段头部中的两个参数“slice_alpha_c0_offset_div2”和“slice_beta_offset_div2”来以图中的箭头的方式调整其强度。
此处，图7示出了QP和阈值α之间的关系，并且很明显的可以从曲线上调整滤波强度，该曲线表示了，当在QP上增加偏移量时，沿箭头所示的方向移动的QP和阈值α的关系。
另外，通过使用彼此相邻的块P和块Q各自的量化参数qPp和qPq根据如下所示的式(3)和式(4)来计算“指数A(indexA)”，阈值α由图8的A中的表来确定。以相同的方式，通过使用彼此相邻的块P和块Q各自的量化参数qPp和qPq根据如下所示的式(3)和式(5)来计算“指数B(indexB)”，阈值β由图8的B中的表来确定。“指数A”和“指数A”由如下的式(3)至式(5)定义。
qPaν＝(qPp+qPq+1)>>1···(3)
指数A＝Clip3(0,51,qPaν+FilterOffsetA)···(4)
指数B＝Clip3(0,51,qPaν+FilterOffsetB)···(5)
在式(4)和式(5)中，FilterOffsetA和FilterOffsetB与用户的调整量等同。
如下所述，在Bs<4的情况下和在Bs＝4的情况下，为去块滤波处理定义了彼此不同的方法。
首先，在Bs＜4的情况下，在去块滤波处理之后的像素值p′0和q′0根据如下的式(6)至式(8)计算。
Δ＝Clip3(-tc，tc(((q0-p0)＜＜2)+(p1-q1)+4)＞＞3))···(6)
p′0＝Clip1(p0+Δ)···(7)
q′0＝Clip1(q0+Δ)···(8)
此处，tc按照如下所示的式(9)或式(10)来计算。也即，当chromaEdgeFlag的值是“0”时，tc根据如下的式(9)来计算。
tc＝tc0+((ap＜β)？1：0)+((aq＜β)？1：0)--(9)
另外，除了在chromaEdgeFlag的值是“0”的情况之外，tc根据如下的式(10)来计算。
tc＝tc0+1...(10)
tc0的值根据Bs和“指数A”的值来定义，如图9的A和图9的B的表中所示。
另外，式(9)中ap和aq的值根据如下的式(11)和(12)来计算。
ap＝|p2-p0|···(11)
aq＝|q2-q0|···(12)
在去块滤波处理之后，像素值p′1如下确定。也即，当chromaEdgeFlag的值是“0”且ap的值等于或小于β的情况下，p′1根据如下所示的式(13)来计算。
p′1＝p1+clip3(-tc0，tc0，(p2+((p0+q0+1)＞＞1)-(p1＜＜1))＞＞1)-(13)
另外，当不满足式(13)时，p′1根据如下所示的式(14)来计算。
p′1＝p1···(14)
在去块滤波处理之后，像素值q′1如下确定。也即，当chromaEdgeFlag的值是“0”且aq等于或小于β的情况下，q′1根据如下所示的式(15)来计算。
q′1＝q1+clip3(-tc0，tc0，(q2+((p0+q0+1)＞＞1)-(q1＜＜1))＞＞1)-(15)
另外，当除了建立式(15)的情况之外的情况下，q′1根据如下所示的式(16)来计算。
q′1＝q1···(16)
p′2和q′2的值不从滤波前p2和q2的值改变。也即，p′2根据如下所示的式(17)来确定，并且q′2根据如下所示的式(18)来确定。
p′2＝p2···(17)
q′2＝q2···(18)
接下来，在如下Bs＝4的情况下，在去块滤波处理之后的像素值p′i(i＝0...2)如下计算。当chromaEdgeFlag的值是“0”且下面式(19)所示的条件得到满足的情况下，p′0，p′1和p′2根据以下的式(20)至(22)确定。
ap＜βδδ|p0-q0|＜((α＞＞2)+2)--(19)
p′0＝(p2+2×p1+2×p0+2×q0+q1+4)＞＞3--(20)
p′1＝(p2+p1+p0+q0+2)＞＞2--(21)
p′2＝(2×p3+3×p2+p1+p0+q0+4)＞＞3--(22)
另外，当不满足下面的式(19)的情况下，p′0，p′1和p′2根据以下的式(23)至(25)来计算。
p′0＝(2×p1+p0+q1+2)＞＞2--(23)
p′1＝p1--(24)
p′2＝p2--(25)
接下来，在去块滤波处理后的像素值q′i(i＝0，...，2)如下确定。也即，当chromaEdgeFlag的值是“0”且式(26)所示的条件得到满足的情况下，q′0，q′1和q′2根据以下的式(27)至(29)确定。
aq＜βδδ|p0-q0|＜((α＞＞2)+2)--(26)
q′0＝(p1+2×p0+2×q0+2×q1+q2+4)＞＞3--(27)
q′1＝(p0+q0+q1+q2+2)＞＞2--(28)
q′2＝(2xq3+3xq2+q1+q0+p4+4)＞＞3--(29)
另外，当不满足式(26)的情况下，q′0，q′1和q′2根据以下的式(30)至(32)来计算。
q′0＝(2xq1+q0+p1+2)＞＞2--(30)
q′1＝q1--(31)
q′2＝q2--(32)
<成本函数>
此处，在AVC编码方法中，合适的预测模式的选择对于达到更高的编码效率来说很重要。
在网址http：//iphome.hhi.de/suehring/tml/index.htm中作为选择方法的例子披露了一种方法，其使用软件H.264/MPEG-4AVC(此处成为JM(联合模组))执行。
在JM中，可以选择两种类型的模式确定方法，如下所述的高复杂度模式和低复杂度模式。二者都要计算与每种预测模式相关的成本函数值，并相对于块至宏块，在这些作为最佳模式被最小化的情况下，选择预测模式
在高复杂度模式中，成本函数如下式(33)所示。
此处，Ω是对块至宏块编码的备选模式的整体组，D是在使用预测模式来编码的情况下解码图像与输入图像之间的差分能量。λ是Lagrange未确定的乘数，其作为量化参数的函数来应用。R是在使用包括正交变换系数的模式来编码的情况下的总编码量。
也即，在执行高复杂度模式时，一旦使用所有备选模式，为了计算上述的参数D和R，有必要执行临时编码处理，且更高的计算量是有必要的。
低复杂度模式的成本函数如下式(34)所示。
Cost(Mode∈Ω)＝D+Qp2Quant(QP)*HeaderBit--(34)
此处，D不同于高复杂度模式的情况，是预测图像与输入图像之间的差分能量。QP2Quant(QP)作为量化参数QP的函数应用，HeaderBit是与属于头部的信息(例如运动矢量)以及不包括正交变换系数的模式相关的编码量。
也即，在低复杂度模式中，有必要相对于每种备选模式执行预测处理，但没有必要一直执行直到编码处理，因为没有必要直到解码图像。结果，有可能实现比高复杂度模式更低的计算量。
<编码单元>
接下来将描述在NPL2中介绍的由HEVC(高效视频编码确定的编码单元)编码方法(以下称为HEVC方法)。
在H.264/AVC方法中，一个宏块可以被分割成多个运动补偿块，每个运动补偿块能够具有不同的运动信息。也即，H.264/AVC方法中，规定了一种使用宏块和子宏块的分层结构，但是HEVC(高效视频编码)方法中规定了如图10所示的编码单位(CU)。
CU被称为编码树块(CTB)，并且是与H.264/AVC中的宏块作用相同的图片单位中的图像的部分区域。虽然符合H.264/AVC的宏块的大小被局限在16×16像素，但是编码树块的尺寸并未局限为特定大小，且在每个序列中可以被压缩图像信息指定。
例如，在编码数据中包含的作为输出的序列参数集(SPS)中规定了CU的最大尺寸(LCU(最大的编码单位))和最小的尺寸(SCU(最小的编码单位))。
在每个LCU中，通过在不小于SCU大小的范围内设置split-flag＝1，每个LCU有可能被分成更小大小的多个CU。在图10所示的例子中，LCU的大小是128，最大分层深度是5。当split_flag的值是“1”时，大小为2N×2N的一个CU被分成多个大小为N×N的、低一个等级的多个CU。
进一步的，CU都进一步分割成多个预测单位(PU)，其为帧内或帧间预测的处理单位(以图片单位的图像的部分区域)，另外，每个CU被分成多个变换单元(TU)，其为正交变换的处理单位(图片单位的图像的部分区域)。目前，在HEVC方法中，除了4×4和8×8之外，可以使用16×16和32×32的正交变换。
在下面的HEVC方法中，在CU被定义并且在编码处理中每个处理类型以CU为单位来执行的情况下，在H.264/AVC方法中的宏块可被认为与LCU等同。然而，因为CU具有如图10所示的分层结构，所以最高层的LCU的大小被设置为大于H.264/AVC方法的宏块(例如128×128像素)。
本发明不仅可用于使用在H.264/AVC方法中使用宏块的编码方法，还可以用于使用诸如在HEVC方法中一样的CU、PU、TU等的编码方法。也即，由于示出了作为块、单元或处理单位的区域，使用例如处理单位的区域的术语将在下文合适的位置使用。
然而，在描述H.264/AVC作为例子的情况下，在说明书中使用了块，但是块指示出了作为处理单位并且是HEVC中的单位的区域。相反，在描述HEVC作为例子的情况下，在说明书中使用了单元，但该单元指示出了处理单元的区域，在H.264/AVC方法中是块。
<HEVC方法适应性偏移处理>
接下来将描述HEVC方法中的适应性偏移滤波器。在NPL3中描述的适应性偏移方法的例子在HEVC方法中采用。
如图11所示，适应性偏移滤波器(图片质量适应性偏移：PQAO)被提供在去块滤波器(DB)和适应性循环滤波器(ALF)之间。
对于适应性偏移的类型，存在被称为带偏移的两种类型，被称为边缘偏移的六种类型，并且进一步，可能不适用偏移。然后，有可能将图像分割成四叉树，并在每个区域中选择是否使用上述适应性偏移类型中的哪一种来编码。
对选择信息使用熵编码进行编码来作为PQAO信息，产生比特流，所产生的比特流被传送给解码侧。通过使用该方法来提高编码效率成为可能。
此处，四叉树结构将参考图12进行描述。
例如，在编码侧，计算等级0(分割深度0)的成本函数值J0，其指示出区域0没有如图12的A1所示的分割的状态。另外，计算等级1(分割深度0)成本函数值J1、J2、J3和J4，其指示出区域0被分割成四个区域1至4的状态。
然后，如图A2所示的，比较成本函数值，并且由于J0>(J1+J2+J3+J4)，选择等级1的分割区域(分区)。
以这种方式，如A3所示，计算等级2(分割深度2)的成本函数值J5至J20，其指示出区域0被分割成16个区域5至20的状态。
然后，如A4所示，比较成本函数值，由于J1<(J5+J6+J9+J10)，选择区域1中的等级1的分割区域(分区)。由于J2>(J7+J8+J11+J12)，选择区域2中的等级2的分割区域(分区)。由于J3>(J13+J14+J17+J18)，选择区域3中的等级2的分割区域(分区)。由于J4>(J15+J16+J19+J20)，选择区域4中的等级1的分割区域(分区)。
结果，如A4所示，最终的四叉树区域(分区)由四叉树结构确定。然后，相对于每个由四叉树结构确定的区域的两种类型的带偏移、六种类型的边缘偏移和无偏移的全部，计算成本函数值并确定是否使用其中一种偏移来编码。
例如，在图12的例子中，EO(4)，也即，如白色箭头所示，相对于区域1，确定边缘偏移的第四种类型。OFF，也即，相对于区域7，确定没有偏移。EO(2)，也即，相对于区域8，确定边缘偏移的第二种类型。OFF，也即，相对于区域11和12，确定没有偏移。
另外，BO(1)，也即，相对于区域13，确定带偏移的第一种类型，并且EO(2)，也即，相对于区域14，确定边缘偏移的第二种类型。BO(2)，也即，相对于区域17，确定带偏移的第二种类型，并且BO(1)，也即，相对于区域18，确定带偏移的第一种类型，并且EO(1)，也即，相对于区域14，确定边缘偏移的第一种类型。相对于第四种类型，EO(1)，也即，确定边缘偏移的第一种类型。
接下来，参考图13描述带偏移的细节。
在带偏移中，图13的例子中，一个刻度表示一个带＝八像素，亮度像素值被分成32个带，且每个带具有独立的偏移值。
也即，在图13的例子中，0-255个像素(32个带)中的16个带的中心被分成第一组，并且在每一侧的八个带中的每个被分成第二组。
然后，第一组和第二组中任一组中的仅一个的偏移被编码，并被传送至解码侧。典型的，通常情况下，黑或白被明确定义，或一个区域中有浅色调，在第一组和第二组中的每个都有像素是罕见的。结果，通过仅传送一个偏移，通过传送未被包括在四叉树区域中的每个的值的像素值，编码量的增加被抑制。
此处，当输入信号是由于广播的情况下，亮度信号被限制在16,235的范围内，色差被限制在16,240的范围。此时，相对于应用在图13的较低等级中所示的广播法则并且示出了X标记的每侧的两个带的偏移值未被传送。
接下来参考图14描述边缘偏移的细节。
在边缘偏移中，执行特定像素值和与特定像素值紧挨的相邻像素值之间的比较，且偏移值相对于对应的类别被传送。
在边缘偏移中，有四种一维模式，如图14的A至图14的D所示，以及两种二维模式，如图14的E和图14的F所示，并且偏移为每种模式传送，如图15所示。
在图14的A中，相对于像素C，相邻像素在一维中左右设置。也即，1-D，0度模式被表示为相对于图14的A中的模式是0度。在图14的B中，相对于像素C，相邻像素在一维中上下设置。也即，1-D，90度模式被表示为相对于图14的A的模式是90度。
在图14的C中，相对于像素C，相邻像素在一维中左上、右下设置。也即，1-D，135度模式被表示为相对于图14的A中的模式是135度。在图14的D中，相对于像素C，相邻像素在一维右上、左下设置。也即，1-D，135度模式被表示为相对于图14的A的模式是45度。
在图14的E中，相对于像素C，相邻像素在二维中上下和左右设置。也即，2-D、十字模式被表示为相对于像素C交叉的。在图14的F中，相对于像素C，相邻像素在二维中右上、左下、左上、右下设置。也即，2-D、对角模式被表示为相对于像素C对角交叉。
在图15的A中示出了一维模式的规则列表(1-D模式的分类规则)。图14的A至图14的D的模式被分成五种类型，例如图15的A所示，偏移被根据类别计算并传送给解码部分。
当像素C的像素值小于两相邻像素的像素值的情况下，分类入类别1。当像素C的像素值小于两相邻像素的像素值之一且与另一个相邻像素的像素值相匹配的情况下，分类入类别2。当像素C的像素值大于两相邻像素的像素值之一且与另一相邻像素的像素值相匹配的情况下，分类入类别3。当像素C的像素值大于两相邻像素的像素值的情况下，分类入类别4。不属于上述情况时，分类入类别0。
在图15的B中示出了二维模式的规则列表(2-D模式的分类规则)。图14的E至图14的F的模式被分成七种类型，例如图15的B所示，根据类别，偏移并传送给解码部分。
当像素C的像素值小于四个相邻像素的像素值的情况下，分类入类别1。当像素C的像素值小于三个相邻像素的像素值且与第四个相邻像素的像素值相匹配的情况下，分类入类别2。当像素C的像素值小于三个相邻像素的像素值且大于第四个相邻像素的像素值的情况下，分类入类别3。
当像素C的像素值大于三个相邻像素的像素值且小于第四个相邻像素的像素值的情况下，分类入类别4。当像素C的像素值大于三个相邻像素的像素值且与第四个相邻像素的像素值相匹配的情况下，分类入类别5。当像素C的像素值大于四个相邻像素的像素值的情况下，分类入类别6。不属于上述情况时，分类入类别0。
如上所述的，在边缘偏移中，由于如果一维模式相对于两个相邻像素来执行比较是足够的，所以计算量减小。此处，在高效编码条件下，1比特偏移的值以相比低延迟编码条件的高精度被传送给解码侧。
上述的适应性偏移处理在HEVC方法中仅相对于亮度信号执行。
然而，相对于色差信号来执行的适应性偏移处理与计算量的增加相关联。另外，相比亮度信号来说，特别是在输入是4:2:0和4:2:2的情况下，色差信号的分辨率较低，与亮度信号执行相同的处理是多余的。
考虑到上述情况，在本实施例中，也对色差信号应用适应性偏移滤波器来提高色差信号的编码效率是可能的。
<图像编码设备的构成示例>
图16表示了本发明所应用的图像编码设备作为图像处理设备的实施例。
图16的图像编码设备101与图1的图像编码设备1的相同点在于都提供了A/D转换部分11、图像重排缓冲器12、计算部分13、正交变换部分14、量化部分15、无损编码部分16、累积缓冲器17、逆向量化部分18、逆向正交变换部分19、和计算部分20。图16的图像编码设备101与图1的图像编码设备1的相同点在于都提供了去块滤波器21、帧存储器22、选择部分23、帧内预测部分24、运动预测和补偿部分25、预测图像选择部分26和速率控制部分27。
另外，图16的图像编码设备与图1的图像编码设备不同点在于增加了上述的图3中的适应性循环滤波器71。
进一步，图16的图像编码设备101与图1的图像编码设备不同点在于增加了适应性偏移部分111和色差适应性偏移部分112。
图16所示的图像编码设备101使用预测方法编码图像数据。此处，作为编码方法，例如使用H.264和MPEG(移动图像专家组)4第10部分(AVC(高级视频码))(以下简称为H.264/AVC)、HEVC(高效视频编码)方法等。
也即，适应性偏移部分111和色差适应性偏移部分112在去块滤波器21之后和适应性循环滤波器71之前提供。也即，适应性偏移部分111和色差适应性偏移部分112在运动补偿循环中提供，运动补偿循环由图像重排缓冲器12、计算部分13、正交变换部分14、量化部分15、逆向量化部分18、逆向正交变换部分19、计算部分20、去块滤波器21、适应性循环滤波器71、帧存储器22、选择部分23、帧内预测部分24、运动预测和补偿部分25和预测图像选择部分26构成。也即，图像用来在运动补偿循环中进行循环。
适应性偏移部分111相对于来自去块滤波器21的解码图像的亮度信号执行偏移处理(在本地解码之后的基带信息)。也即，适应性偏移部分111确定上述参考图12的四叉树结构。特别地，适应性偏移部分111根据四叉树、使用亮度信号来执行区域分割，并对于每个被分割的区域从两种类型的带偏移、六种类型的边缘偏移和不偏移中确定偏移类型。另外，适应性偏移部分111通过参考四叉树结构相对于每个被分割的区域的亮度信号来计算偏移值。
适应性偏移部分111相对于已被计算的亮度信号(以下简称为亮度偏移值)将被确定的四叉树结构和偏移值提供给无损编码部分16和色差适应性偏移部分112。
另外，适应性偏移部分111相对于来自去块滤波器21的解码图像的亮度信号、使用被确定的四叉树和亮度偏移值来执行偏移处理。然后，适应性偏移部分111将偏移处理后的亮度信号和已由色差适应性偏移部分112执行过偏移处理后的色差信号提供给适应性循环滤波器71。
色差适应性偏移部分112相对于色差信号、基于来自于适应性偏移部分111的四叉树结构来执行偏移处理。也即，色差适应性偏移部分112相对于色差信号、通过由适应性偏移部分111参考四叉树而被分割的每个区域计算偏移值。色差适应性偏移部分112相对于来自去块滤波器21的解码图像的色差信号、使用已被确定的色差偏移值来执行偏移处理。然后，色差适应性偏移部分112将偏移处理之后的色差提供给适应性偏移部分111。
进一步，色差适应性偏移部分112使用相对于已被确定的色差信号(以下称为色差偏移值)的偏移值来计算色差偏移值的预测残余、亮度偏移值和相关系数，并将其提供给无损编码部分16。
适应性循环滤波器71通过使用Wiener滤波器、相对于适应性偏移部分111所偏移的解码图像来执行循环滤波处理，以执行图像质量改善。
<本发明的适应性偏移处理>
使用图16的适应性偏移部分111和色差适应性偏移部分112执行的适应性偏移处理将在合适的情况下再次参考图12至15来描述。
首先，在图像编码设备101中，应用了对于亮度信号和色差信号的修正，上述参考图12描述的四叉树结构的确定仅对亮度信号执行，且使用亮度信号确定的四叉树结构的区域分割也被应用到色差信号。
因此，由于没有针对亮度信号和色差信号分别执行区域分割，从而抑制计算量的增加成为可能。进一步，因为将涉及区域分割的信息(即亮度和色差的差分)传送至解码侧不是必须的，所以图像压缩信息的编码量不会增加。
此处，基于亮度信号的四叉树结构确定偏移的类型。当然，偏移的类型对于亮度信号和色差信号可以是相同的。另外，例如，分割可以仅根据两种类型的带偏移和边缘偏移相对于色差信号来实施。也即，以及四叉树结构以及带偏移、边缘偏移和无偏移(偏移未执行)的三种类型，相对于色差信号执行处理。
另外，当实施带偏移时，由于分辨率低于亮度信号，所以色差信号传送了具有比亮度信号少32带(例如，16带)的偏移。由此，由于编码量的增加被抑制，有可能提高图像质量。
另外，0具有的意义是没有亮度信号的成分，但128的意义是在8比特的情况下，没有相对于色差的成分。结果，在图13中，当亮度信号中的与第一组相关的信息被传送时，在色差信号中的相关于第二组的信息被传送。相反，当在亮度信号中相关于第二组的信息被传送时，在色差信号中的相关于第一组的信息被传送。这可以是这种情况。
另外，以下式(35)表示的预测残余与相对于色差信号的边缘偏移和带偏移以及未偏移值Oc发送给解码侧。
OC-(α＊OL+β)--(35)
此处，OL是相对于亮度信号的偏移值，α和β是相关系数。α和β可以计算两种类型的带偏移和六种类型的边缘偏移的每个各自独立的值，且可传送至解码侧。可替换的，可以计算两种类型的修正参数α和β，并相对于两种类型的带偏移和六种类型的边缘偏移将二者发送。另外，相关系数α和β可以单独计算，并相对于Cb和Cr发送。
进一步，另外，相对于亮度信号，带偏移有32带，但相对于色差信号，当仅有16带时，如果假设OL对应于OL0和OL1，以下式(36)表示的预测残余可以被发送至解码侧。
OC-(α＊(OL0+OL1+1)/2+β)--(36)
此处，在α＝1且β＝0的情况下，等式(35)和(36)对于亮度偏移值使用与色差信号相同的值。进一步，在图像编码设备101中，相对于色差信号的偏移值(预测残余)可以被量化。
另外，如下所述的，可以使用亮度信号和色差信号来执行类别的对应。也即，例如，在4:2:0的情况下，四个亮度像素被设置为对应于一个色差像素，但是，在四个像素中的所有或三个亮度像素都属于同一类别的情况下，相同的类别也可以应用到色差信号。
在亮度像素的两个属于相同类别的情况下，相对于色差信号，代表哪个类别将被实施的信息的标志被传送。在其他情况下，甚至与色差信号相关的类别信息被如上述的传送。
以这种方式，通过对于色差信号也实施适应性偏移，有可能改善编码效率，而不会增加计算量。
<适应性偏移部分和色差适应性偏移部分的构成示例>
接下来将描述图像编码设备101的每个部分。图17是示出了适应性偏移部分111和色差适应性偏移部分112的构造示例的图。
在图17的例子中，适应性偏移部分111构成为包括四叉树结构确定部分131、亮度偏移计算部分132、亮度偏移部分133和图像缓冲器134。
色差适应性偏移部分112构成为包括色差偏移计算部分141、相关系数计算部分142、色差偏移预测值计算部分143和色差偏移部分144。
在去块滤波器21去块之后的像素值被提供给四叉树结构确定部分131、亮度偏移部分133和色差偏移部分144。
四叉树结构确定部分131通过参考去块之后的亮度信号的像素值来确定上述参考图12描述的四叉树结构。也即，四叉树结构确定部分131将图像分割成四叉树，并确定上述的适应性偏移的类型并使用成本函数值来为每个区域进行编码。
四叉树结构确定部分131将已确定的四叉树结构提供给亮度偏移计算部分132、亮度偏移部分133、色差偏移计算部分141和色差偏移部分144。
亮度偏移计算部分132相对于被分割成与亮度信号相关的四叉树的每个区域执行亮度偏移值的计算。亮度偏移计算部分132将已计算的有关亮度偏移的信息提供给亮度偏移部分133、相关系数计算部分142和色差预测值计算部分143。另外，亮度偏移计算部分132将已计算的有关亮度偏移的信息以及有关四叉树结构的信息提供给无损编码部分16。
亮度偏移部分133相对于去块之后的亮度信号的像素值执行偏移处理。也即，亮度偏移部分133将使用亮度偏移计算部分132计算的亮度偏移值与使用四叉树结构确定部分131被分割为四叉树的每个区域的亮度的像素值相加。亮度偏移部分133将偏移处理后的像素值累积在像素缓冲器134中。
像素缓冲器134等待偏移处理后的亮度信号和色差信号二者的像素值都匹配，并将偏移处理后已经匹配的像素值提供给适应性循环滤波器71。
在色差信号的情况下，色差偏移计算部分141和色差偏移部分144相对于上述的亮度信号的四叉树提前确定分割的数量、带的数量或种类之间的关联。考虑到这一点，色差偏移计算部分141相对于由与色差信号相关的四叉树结构确定部分131被分成四叉树的每个区域计算色差偏移值。色差偏移计算部分141将已计算的有关色差偏移的信息提供给相关系数计算部分142和色差偏移部分144。
相关系数计算部分142使用来自亮度偏移计算部分132的有关亮度偏移的信息以及来自色差偏移计算部分141的有关色差偏移的信息来计算相关系数α和β。相关系数计算部分142将已计算的相关系数α和β的值以及有关色差偏移的信息提供给色差偏移预测值计算部分143。另外，相关系数计算部分142将已计算的相关系数α和β的值提供给无损编码部分16。
色差偏移预测值计算部分143使用来自亮度偏移计算部分132的亮度偏移值来计算预测残余(以下称为色差偏移残余)，来自相关系数计算部分142的相关系数α和β的值以及色差偏移值。此时，例如，使用上述的式(35)和式(36)。色差偏移预测值计算部分143将已计算的色差偏移残余提供给无损编码部分16。
色差偏移部分144相对于去块后的色差信号的像素值执行偏移处理。也即，色差偏移部分144将已由色差偏移计算部分141计算的色差偏移值与由四叉树结构确定部分131所分割的四叉树的每个区域的颜色亮度的像素值相加。色差偏移部分144将偏移处理后的像素值累积在像素缓冲器134中。
<编码处理的流程>
接下来描述上述图像编码设备101执行的每个处理中的流程。首先，参考图18所示的流程图描述编码处理中的一个示例流程。
在步骤S101中，A/D转换器11在输入图像数据上执行A/D转换。在步骤S102中，图像重排缓冲器12存储接受了A/D转换的图像，并把每个图像由播放顺序排列为编码顺序
当作为由图像重排缓冲器12提供的处理目标的图像是已执行了帧内处理的块图像情况下，已完成解码的参考图像从帧存储器22中被读出，并通过选择部分23被提供给帧内预测部分24。
在步骤S103中，基于图像，帧内预测部分24使用在处理目标的块图像上备选的所有帧内预测模式来执行帧内预测。此处，作为完成了解码的参考图像，使用未使用去块滤波器21、适应性偏移部分111、色差适应性偏移部分112或适应性循环滤波器71实施滤波或偏移的图像。
由于该处理，使用备选的所有帧内预测模式来执行帧内预测，并相对于所有备选的帧内预测模式来计算成本函数值。然后，基于计算的成本函数值，选择最佳帧内预测模式，并且由最佳帧内预测模式的帧内预测所产生的预测图像和其成本函数值被提供给预测图像选择部分26。
当图像重排缓冲器12提供的处理目标的图像是已执行了帧内预测的图像的情况下，参考图像被从帧存储器22中读出，并通过选择部分23被提供给运动预测和补偿部分25。基于该图像，在步骤S104中，运动预测和补偿部分25执行运动预测和补偿处理。
由于该处理，运动预测处理使用备选的所有帧间预测模式来执行，并相对于所有备选的帧间预测模式来计算成本函数值，并且基于计算的成本函数值选择最佳帧间预测模式。然后，由最佳帧间预测模式的帧间预测所产生的预测图像和其成本函数值被提供给预测图像选择部分26。
在步骤S105中，基于帧内预测部分24和运动预测和补偿部分25输出的每个的成本函数值，预测图像选择部分26从最佳帧内预测模式和最佳帧间预测模式之一确定最佳预测模式。然后，预测图像选择部分26选择已确定的最佳预测模式的预测图像，并将其提供给计算部分13和20。预测图像在步骤S106和S111的计算中使用，将在后面描述。
此处，预测图像的选择信息被提供给帧内预测部分24或运动预测和补偿部分25。当最佳帧内预测模式的预测图像被选择时，帧内预测部分24将指示出最佳帧内预测模式(即，帧内预测模式信息)的信息提供给无损编码部分16。
当最佳帧间预测模式的预测图像被选择时，运动预测和补偿部分25将指示最佳帧间预测模式的信息以及，进一步如果需要的话，根据最佳帧间预测模式的信息输出给无损编码部分106。根据最佳帧间预测模式的信息可以是运动矢量信息、参考帧信息等。
在步骤S106中，计算部分计算在步骤S102中重新排列的图像以及在步骤S105中选择的预测图像之间的差分。通过预测图像选择部分26，预测图像在执行帧间预测时由运动预测和补偿部分25提供给计算部分13，并且在执行帧内预测时由帧内预测部分24提供提供给计算部分13。
残余数据的数据量小于原始图像数据。因此，相对于图像本身被照原样编码的情况，可以压缩数据量。
在步骤S107中，正交变换部分14对计算部分13所提供的差分信息执行正交变换。特别地，执行例如离散余弦变换或Karhunen-Loeve变换等正交变换，并输出变换系数。
在步骤S108中，量化部分15将正交变换系数进行量化。在量化中，速率被控制如在后续步骤S118中所述的。
上述量化了的差分信息按以下方式进行本地解码。也即，在步骤S109中，通过对应于量化部分15的特征，逆向量化部分18将量化部分15量化后的正交变换系数进行逆向量化。在步骤S110中，通过与正交变换部分14的特征相对应的特征，逆向正交变换部分19在已通过逆向量化部分18执行了逆向量化的变换系数上执行逆向正交变换。
在步骤S111中，计算部分20将通过预测图像选择单元26输入的预测图像与已被本地解码的差分信息相加，并产生本地解码(即，其被本地解码)图像(该图像对应于向算法计算部分13的输入)。
在步骤S112中，去块滤波器21对于由计算部分20输出的图像执行去块滤波处理。以这种方式，块失真被移除。来自去块滤波器21的解码图像被输入至适应性偏移部分111。
在步骤S113中，适应性偏移部分111和色差适应性偏移部分112执行适应性偏移处理。适应性偏移处理的细节将参考图19进行描述。由于该处理，在亮度信号的基础上，四叉树结构被确定，每个偏移值都相对于已被分割成已确定的四叉树的区域的亮度和色差来计算。然后，相对于已被分割成已确定的四叉树的区域的亮度和色差来执行偏移处理。偏移后的像素值被提供给适应性循环滤波器71。
另外，确定相关系数，并使用亮度偏移值和色差偏移值来确定色差偏移残余。确定的色差偏移残余以及关于四叉树结构和亮度偏移的信息被提供给无损编码部分16。另外，相关系数也被提供给无损编码部分16。
在步骤S114中，适应性循环滤波器71相对于偏移处理之后的像素值使用适应性滤波系数来执行适应性循环滤波处理。适应性滤波处理之后的像素值被输出至帧存储器22。
在步骤S115中，帧存储器22存储已执行滤波的图像。此处，在帧存储器22中，使用由计算部分20提供的未使用去块滤波器21、适应性偏移部分111、色差适应性偏移部分112或适应性循环滤波器71实施滤波或偏移的图像并存储。
另一方面，在上述步骤S108中量化的变换系数也被提供给无损编码部分16。在步骤S116中，无损编码部分16对已由量化部分15量化并输出的变换系数进行编码。也即，差分图像接受无损编码，例如，变长编码或算数编码，并压缩。
另外，此时，在上述步骤S105中输入到无损编码部分16的来自帧内预测部分24的最佳帧内预测模式信息、来自运动预测和补偿部分25的对应于最佳帧间预测模式的信息等被编码并加在头部信息上。另外，在上述步骤S113中，输入到无损编码部分16的关于四叉树结构、亮度偏移、色差偏移残余的信息也被编码并加在头部信息上。此处，相关系数被加在片段头部或LCU(最大的编码单位)头部上。
例如，为每个宏块编码指示出帧间预测模式的信息。为作为目标的每个块编码运动矢量信息和参考帧信息。
在步骤S117中，累积缓冲器17累积作为压缩图像的差分图像。累积在累积缓冲器17中的压缩图像被合适地输出，并通过传送路径传送到解码侧。
在步骤S118中，基于累积在累积缓冲器17中的压缩图像，速率控制部分27控制量化部分15的量化操作的速率，从而不会产生溢位或不足。
在步骤S118的操作完成后，编码处理结束。
<适应性偏移处理的流程>
接下来参考图19的流程图描述在图18的步骤S113中执行的适应性偏移处理的流程的示例。
来自于去块滤波器21的去块之后的像素值被提供给四叉树结构确定部分131、亮度偏移部分133和色差偏移部分144。
在步骤S131中，四叉树结构确定部分131通过参考去块之后的亮度信号的像素值来确定上述参考图12的四叉树结构。也即，通过被分割成四叉树的图像以及使用成本函数值为每个区域编码所确定上述适应性偏移的类型中的哪一个用来编码，来确定四叉树结构。已经被确定的四叉树结构被提供给亮度偏移计算部分132、亮度偏移部分133、色差偏移计算部分141和色差偏移部分144。
在步骤S132中，亮度偏移计算部分132相对于被关于亮度信号分割的四叉树的每个区域执行亮度偏移值的计算。已计算的有关亮度偏移的信息被提供给亮度偏移部分133、相关系数计算部分142和色差预测值计算部分143。
另一方面，在步骤S133中，色差偏移计算部分141相对于由四叉树结构确定部分131关于色差信号所分割的每个区域执行色差偏移值的计算。已计算的有关色差偏移的信息被提供给相关系数计算部分142和色差偏移部分144。
在步骤S134中，相关系数计算部分142使用来自亮度偏移计算部分132的有关亮度偏移的信息以及来自色差偏移计算部分141的有关色差偏移的信息来计算相关系数α和β。已计算的相关系数α和β的值以及有关色差偏移的信息被提供给色差偏移预测值计算部分143。
在步骤S135中，色差偏移预测值计算部分143使用式(35)和式(36)来计算色差偏移残余作为预测残余。在色差偏移残余的计算中，使用来自亮度偏移计算部分132的亮度偏移值、来自相关系数计算部分142的相关系数α和β的值以及色差偏移值。
在步骤S136中，适应性偏移部分111和色差适应性偏移部分112将作为适应性偏移参数的四叉树结构、亮度偏移值、相关系数α和β以及色差偏移残余传送给无损编码部分16。也即，亮度偏移计算132将已计算的有关亮度偏移的信息与关于四叉树结构的信息一同提供给无损编码部分16。相关系数计算部分142将已计算的相关系数α和β的值提供给无损编码部分16。色差偏移预测值计算部分143将已计算的色差偏移残余提供给无损编码部分16。此处，色差偏移残余可以由量化部分15进行量化。
适应性偏移参数由无损编码部分16在上述图18的步骤S116中进行编码，并加在头部信息上。
在步骤S137中，相对于去块后的亮度和色差的像素值，亮度偏移部分133和色差偏移部分144的每个执行偏移处理。也即，亮度偏移部分133将由亮度偏移计算部分132计算的偏移值与由四叉树结构确定部分131分割成四叉树的每个区域的亮度的像素值相加。色差偏移部分144将由色差偏移计算部分141所计算的偏移值与由四叉树结构确定部分131分割成四叉树的每个区域的色差的像素值相加。
偏移处理后的像素值被累积在像素缓冲器134中，且亮度和色差在匹配时被提供给适应性循环滤波器71。
如上，由于相对于色差信号的偏移处理是基于由亮度信号确定的四叉树结构被执行的，所以有可能通过抑制计算量的增加而改善编码效率。
另外，由于相对于色差信号使用亮度信号的偏移值来计算的色差偏移的残余和相关系数被发送给解码侧，有可能提高编码效率。
<2.第二实施例>
<图像解码设备>
图20示出了应用本发明的作为图像处理设备的图像编码设备的一个实施例的结构。图20所示的图像解码设备201是对应于图16所示的图像编码设备101的解码设备。
由图像编码设备101所编码的数据通过预定的传输路径被传输至对应于图像编码设备101的图像解码设备201，并进行解码。
如图20的图像解码设备201与图2的图像解码设备31的相同点在于提供了累积缓冲器41、无损解码部分42、逆向量化部分43、逆向正交变换部分44和计算部分45。图20的图像解码设备201与图2的图像解码设备31的相同点在于提供了去块滤波器46、图像重排缓冲器47、D/A转换部分48、帧存储器49、选择部分50、帧内预测部分52、运动补偿部分52和图像选择部分53。
另外，图20的图像解码设备201与图2的图像解码设备31的不同点在于增加了上述图4的适应性循环滤波器91。
进一步，图20的图像解码设备201与图2的图像解码设备31的不同点在于增加了适应性偏移部分211和色差适应性偏移部分212。
也即，使用对应于无损编码部分16的编码方法的方法、以与图2的无损解码部分42相同的方式，无损解码部分42对累积缓冲器41提供的由图16的无损编码部分16编码的信息进行解码。此时，在图20的示例中，运动矢量信息、参考帧信息、预测模式信息(指示出帧内预测的模式或帧间预测模式的信息)、适应性偏移参数等被解码。适应性偏移参数由上述图16的无损编码部分16所编码的四叉树结构、亮度偏移值、相关系数α和β、色差偏移残余等构成。
此处，由于相关系数α和β被附着到片段头部或LCU(最大的编码单位)头部，所以从其获得相关系数α和β。另外，当色差偏移残余被量化的情况下，色差偏移残余在逆向量化部分43实施逆向量化之后被提供给色差适应性偏移部分212。
适应性偏移部分211和色差适应性偏移部分212被设置在去块滤波器46之后、适应性循环滤波器91之前。也即，适应性偏移部分211和色差适应性偏移部分212在运动补偿循环中被提供，运动补偿循环由计算部分45、去块滤波器46、适应性循环滤波器91、帧存储器49、选择部分50、运动补偿部分52以及图像选择部分52构成。也即，通过将图像在运动补偿循环中循环来使用图像。
来自无损解码部分42的适应性偏移参数中的四叉树结构和亮度偏移在适应性偏移部分211中被提供。适应性偏移部分211使用该信息相对于来自去块滤波器46的解码图像的亮度信号的像素值执行偏移函数，且该信息被提供给色差适应性偏移部分212。
另外，适应性偏移部分211将偏移处理之后的亮度信号和已由色差适应性偏移部分212执行了偏移处理的色差信号提供给适应性循环滤波器91。
适应性偏移参数中的相关系数α和β以及色差偏移残余在色差适应性偏移部分212中提供。色差适应性偏移部分212基于来自适应性偏移部分211的四叉树结构，相对于来自去块滤波器46的解码图像的色差信号的像素值执行偏移函数。也即，色差适应性偏移部分212使用来自无损解码部分42的相关系数α和β以及色差偏移残余和来自适应性偏移部分211的四叉树结构以及亮度偏移值来重构色差偏移。色差适应性偏移部分212相对于来自去块滤波器46的解码图像的色差信号的像素值、使用来自适应性偏移部分211的四叉树结构和已经被重构的色差偏移值来执行偏移处理。
适应性循环滤波器91在来自去块滤波器46的解码图像上使用由无损解码部分42提供的适应性滤波系数执行滤波处理。作为滤波器，例如，可使用Wiener滤波器。
<适应性偏移部分和色差适应性偏移部分的构成示例>
接下来将描述图像解码设备201的每个部分。图21是示出了适应性偏移部分211和色差适应性偏移部分212的构成示例的方块图。
在图21的例子中，适应性偏移部分211构成为包括四叉树缓冲器231、亮度偏移缓冲器232、亮度偏移部分233和像素缓冲器234。
色差适应性偏移部分212构造为包括相关系数缓冲器241、色差偏移残余缓冲器242、色差偏移重构部分243和色差偏移部分244。
来自去块滤波器46的去块滤波之后的像素值被提供给亮度偏移部分233和色差偏移部分244。
来自无损解码部分42的四叉树结构的信息被提供给四叉树结构缓冲器231。四叉树结构缓冲器231累积来自无损解码部分42的有关四叉树结构的信息，并且有关四叉树结构的信息被提供给亮度偏移部分233、色差偏移重构部分243和色差偏移部分244。
来自无损解码部分42的有关亮度偏移的信息被提供给亮度偏移缓冲器232。亮度偏移缓冲器232累积来自无损解码部分42的亮度偏移，并且有关亮度偏移的信息被提供给亮度偏移部分233和色差偏移重构部分243。
亮度偏移部分233相对于去块之后的亮度信号的像素值执行偏移处理。也即，亮度偏移部分233将来自亮度偏移缓冲器232的亮度偏移加在由四叉树结构确定部分131分割成四叉树的每个区域的亮度的像素值上。亮度偏移部分233将偏移处理后的像素值累积在像素缓冲器234中。
像素缓冲器234等待偏移处理后的亮度信号和色差信号二者匹配，并将偏移处理后匹配的像素值提供给适应性循环滤波器91。
来自无损解码部分42的相关系数α和β被提供给相关系数缓冲器241。相关系数缓冲器241累积来自无损解码部分42的相关系数α和β，并且累积的相关系数α和β被提供给色差偏移重构部分243。
来自无损解码部分42的色差偏移残余被提供给色差偏移残余缓冲器242。色差偏移残余缓冲器242累积来自无损解码部分42的色差偏移残余，并且已经累积的色差偏移残余被提供给色差偏移重构部分243。
在色差偏移重构部分243中，来自四叉树结构缓冲器231的四叉树结构、来自亮度偏移缓冲器232的亮度偏移、来自相关系数缓冲器241的相关系数以及来自色差偏移残余缓冲器242的色差偏移残余被输入。色差偏移重构部分243使用输入的信息来重构色差偏移，并且被重构的有关色差偏移的信息被提供给色差偏移部分244。
在色差偏移部分244中，以与图17的色差偏移计算部分141和色差偏移部分144相同的方式，关于亮度信号的四叉树，预先确定在上述色差信号的情况下分区的数量、带的数量或种类之间的对应。考虑到这一点，色差偏移部分244相对于去块之后的色差信号的像素值执行偏移处理。也即，色差偏移部分244将已使用色差偏移重构部分243重构的色差偏移值与由四叉树结构确定部分231分割成四叉树的每个区域的亮度的像素值相加。色差偏移部分244将偏移处理后的像素值累积在像素缓冲器234中。
<解码处理的流程>
接下来将描述由图像编码设备201执行的每个处理的流程。首先，解码处理的流程示例将参考流程图22进行描述。
当解码处理开始时，在步骤S201中，累积缓冲器41累积所传输的编码数据。在步骤S202中，无损解码单元42对从累积缓冲器41提供的编码数据进行解码。也即，使用图16的无损编码单元16编码的I图片、P图片和B图片被解码。
此处，运动矢量信息、参考帧信息、预测模式信息(帧内预测模式和帧间预测模式)以及适应性偏移参数的信息被解码。
在预测模式信息是帧内预测模式信息的情况下，预测模式信息被提供给帧内预测单元51。在预测模式信息是帧间预测模式信息的情况下，预测模式信息被提供给运动补偿单元52。另外，适应性偏移参数中的四叉树结构和亮度偏移被提供给适应性偏移部分211。适应性偏移参数中的相关系数α和β以及色差偏移残余被提供给色差适应性偏移部分212。
在步骤S203中，帧内预测部分51或运动补偿52各自执行预测图像产生处理，从而对应于提供自无损解码部分42的预测模式信息。
也即，当帧内预测模式信息由无损解码部分42提供的情况下，帧内预测部分51执行最可能的模式的产生，并使用并行处理产生帧内预测模式的帧内预测图像。帧间预测模式信息由无损解码部分42提供的情况下，运动补偿部分52执行帧间预测模式的运动预测和补偿处理的产生并产生帧间预测图像。
由于该处理，由帧内预测部分51产生的预测图像(帧内预测图像)或由运动补偿部分52产生的预测图像(帧间预测图像)被提供给图像选择部分53。
在步骤S204中，图像选择部分53选择预测图像。也即，由帧内预测部分51产生的预测图像或由运动补偿部分52产生的预测图像被提供。因此，被提供的预测图像被选择，被提供给计算部分45，并与在稍后描述的步骤S206中的逆向正交变换部分44的输出相加。
在上述步骤S202中，由无损解码部分42解码的变换系数也被提供给逆向量化部分43。在步骤S205中，逆向量化部分43在已经由无损解码部分42解码的变换系数上以与图16的量化部分15的特征对应的特征执行逆向量化，。
在步骤S206中，逆向正交部分44以与图16的正交变换部分14的特征对应的特征，对已经由逆向量化部分43执行了逆向量化的变换系数执行逆向正交变换。因此，对应于图16的正交变换部分14的输入(计算部分13的输出)的差分信息被解码。
在步骤S207中，计算部分45将在上述步骤S204中选择并通过图像选择部分53输入的预测图像加在差分信息上。因此，原始图像被确定。在步骤S208中，去块滤波器46相对于计算部分45输入的图像执行去块滤波处理。因此，块失真被移除。
在步骤S209中，适应性偏移部分211和色差适应性偏移部分212执行适应性偏移处理。适应性偏移处理的细节将参考图23在后续描述。由于该处理，在去块之后使用四叉树结构和来自无损解码部分42的亮度偏移的信息在亮度信号上执行了偏移处理。
另外，色差偏移值使用来自无损解码部分42的四叉树结构、亮度偏移值、相关系数和色差偏移残余被重构。然后，使用四叉树结构和色差偏移值，在去块之后色差信号上执行偏移值。偏移之后的像素值被提供给适应性循环滤波器91。
在步骤S210中，适应性循环滤波器91相对于使用适应性滤波系数的偏移值之后的像素值执行适应性循环滤波处理。适应性滤波处理之后的像素值被输出到图像重排缓冲器47和帧存储器49。
在步骤S211中，帧存储器49存储已执行适应性滤波的图像。
在步骤S212中，图像重排缓冲器47在适应性循环滤波器91之后执行图像的重排。也即，由图像编码设备101的图像重排缓冲器12编码的帧的顺序被重排为原始播放顺序。
在步骤S213中，D/A转换部分48在由图像重排缓冲器47提供的图像上执行D/A转换。图像被输出至未示出的显示器并播放。
当步骤S213的处理完成，解码处理完成。
<适应性偏移处理的流程>
记下来将参考图23的流程图描述图22中的步骤S209中执行的适应性偏移处理的流程示例。
关于来自无损解码部分42的四叉树结构的信息被提供给四叉树结构缓冲器231。在步骤S231中，四叉树结构缓冲器231接收来自无损解码部分42的四叉树结构并累积。之后，四叉树结构缓冲器231将有关四叉树结构的信息提供给亮度偏移部分233。
来自无损解码部分42的有关亮度偏移的信息被提供给亮度偏移缓冲器232。在步骤S232中，亮度偏移缓冲器232接收来自无损解码部分42的相对于亮度信号的关于偏移的信息(亮度偏移)并累积。之后，亮度偏移缓冲器232在预定的时间将有关亮度偏移的信息提供给亮度偏移部分233和色差偏移重构部分243。
来自无损解码部分42的相关系数α和β被提供给相关系数缓冲器241。在步骤S233中，相关系数缓冲器241接收来自无损解码部分42的相关系数α和β并累积。相关系数缓冲器241在预定的时间将累积的相关系数α和β提供给色差偏移重构部分243。
来自无损解码部分42的色差偏移残余被提供给色差偏移残余缓冲器242。在步骤S234中，色差偏移残余缓冲器242接收来自无损解码部分42的相对于色差信号的偏移残余(色差偏移残余)并累积。之后，色差偏移残余缓冲器242在预定的时间将累积的色差偏移残余提供给色差偏移重构部分243。
在色差偏移重构部分243中，来自四叉树结构缓冲器231的四叉树结构、来自亮度偏移缓冲器232的亮度偏移、来自相关系数缓冲器241的相关系数以及来自色差偏移残余缓冲器242的色差偏移残余被输入。在步骤S235中，色差偏移重构部分243使用输入的该信息来重构偏移值(色差偏移)，并且被重构的有关色差偏移的信息被提供给色差偏移部分244。
在步骤S236中，亮度偏移部分233和色差偏移部分244相对于去块之后的色差信号执行偏移处理。也即，亮度偏移部分233将来自亮度偏移缓冲器232的亮度偏移与由四叉树结构缓冲器231分割成四叉树的每个区域的亮度的像素值相加。亮度偏移部分233将偏移处理后的像素值累积在像素缓冲器234中。
另外，色差偏移部分244将由色差偏移重构部分243重构的色差偏移与由四叉树结构缓冲器231分割成四叉树的每个区域的亮度的像素值相加。色差偏移部分144将偏移处理后的像素值累积在像素缓冲器234中。
之后，像素缓冲器234等待偏移处理后的亮度信号和色差信号匹配，并将偏移处理后匹配的像素值提供给适应性循环滤波器91，并且适应性偏移处理完成。
如上，由于偏移处理相对于色差信号、在基于亮度信号所确定的四叉树结构的基础上执行，所以有可能在抑制计算量的增加的同时提高编码效率。
另外，相对于色差信号，由于使用亮度信号的偏移值来计算色差偏移的残余，并且相关系数被传送给解码侧，所以有可能提高编码效率。
如上，作为编码方法，H.264/AVC方法被用作基础，但是本发明并不局限于此，且有可能采用另一种包括运动预测和补偿循环的编码方法及解码方法。
例如，此处，本发明能够在当通过卫星广播、有线电视、互联网或例如移动电话单元的网络介质的接收根据正交变换(例如离散余弦变换)和运动补偿来以与MPEG、H.26x等相同的方式压缩的图像信息(比特流)时所用的图像编码设备和图像解码设备上实施。另外，本发明能够在当在记录介质例如光盘或磁盘上处理时应用的图像编码设备和图像解码设备上实施。进一步，本发明能够在包括图像编码设备和图像解码设备的运动预测和补偿设备上应用。
<3.第三实施例>
[个人计算机]
上述的一系列处理可通过硬件执行，也可以通过软件执行。当这些处理由软件执行时，构成软件的程序安装在计算机中。此处，在计算机中，计算机是内嵌特殊目的硬件的计算机，安装有各种软件、能执行一系列功能的通用个人计算机等。
在图24中，个人计算机500的CPU(中央处理部分)501根据存储在ROM(只读存储器)502中的程序或者由存储部分513安装在RAM(随机存取存储器)503中的程序执行各种处理。另外，CPU 501为了执行各种处理等所必须的数据也存储在RAM 503的合适位置中。
CPU 501、ROM 502和RAM 503通过总线504相互连接。输入/输出接口510也连接至总线504。
以下部件连接在输入/输出接口510：由键盘，鼠标等构成的输入部分511；由显示器(例如CRT(阴极射线管)或LCD(液晶显示器))；扬声器等构成的输出部分512；由硬盘等构成的存储部分513；以及由调制解调器等构成的通讯部分514。通讯部分514通过网络，包括互联网，执行通讯。
另外，驱动器515也在需要的情况下连接至输入/输出接口510，并且可移动介质512(例如磁盘、光盘、磁光盘或半导体存储器)按需安装，并且从这种可移动介质读取的计算机程序被按照需要安装在存储部分513中。
在上述处理由软件执行的情况下，构成软件的程序通过网络或记录介质来安装。
此处，如图24所示，该记录介质不仅由独立于该设备主体分发而将程序传送给用户的其上记录有程序的可移动介质521构成，还包括以预先嵌入到设备主体的状态分发给用户的程序的硬盘等的构造，可移动介质521由磁盘(包括软盘)、光盘(包括CD-ROM(压缩盘-只读存储器))或DVD(数字式激光视盘)、磁光盘(包括MD(迷你光盘))或半导体存储器构成，硬盘等包括ROM 502或存储部分513。
由计算机执行的程序可以是与本发明所述的顺序一致的时间顺序而执行处理的程序，或者是并行执行命令的程序，或者是在需要的时候，例如当有命令时执行处理的程序。
这里，在说明书中，记录在记录介质上的程序中描述的步骤可以是按照与上述的顺序一致的时间顺序执行的处理，但是还可以不一定要按时间序列的方式执行，包括以并行或彼此独立的处理。
此外，在说明书中，系统指的是由多个设备构成的设备主体。
另外，在上文中，作为一个设备(或一个处理部分)的任何结构都可以被划分和构造成多个设备(或处理部分)。相反的，作为多个设备(或处理部分)描述的结构可以组合到一起并构成一个设备(或处理部分)。另外，将除了上述每个装置(或处理部分)的构造之外的构造也可以增加。进一步的，如果作为整个系统的结构或动作是相同的，特定设备(或处理部分)的部分结构可以包括在其他设备(或处理部分)的结构中。也即，目前的方法不局限于上述的实施例，可以不脱离该方法的范围而做各种改进。
根据上述实施例的图像编码设备和图像解码设备能用在各种电子装置中，包括：传送单元和接收单元，例如使用卫星广播来分配至终端、有线广播(例如，有线电视)、因特网或蜂窝通信系统的分布、将图像记录在介质上的记录装置，例如光盘，磁盘或闪存或从那些存储介质再现图像的再现装置。下面将描述四种示例应用。
<4.第四实施例>
<第一种应用示例：电视接收单元>
图25示意性的示出了应用上述实施例的电视装置的示例结构。电视装置900包括天线901、调谐器902、多路分用器903、解码器904、视频信号处理部分905、显示器906、音频信号处理部分907、扬声器908、外部接口909、控制部分910、用户接口911和总线912。
调谐器902从经由天线901接收的广播信号提取所需的频道的信号，并调制所提取的信号。之后，调谐器902将调制所获得的编码比特流输出至多路分用器903。也即，调谐器902在电视装置900中具有作为传送方式的功能接收由编码图像构成的编码流。
多路分用器903将作为观看目标的节目的视频流和音频流与编码比特流分离，并输出各个经分离的流至解码器904。另外，多路分用器903还从编码比特流中提取辅助数据，例如EPG(电子节目指南)，并将提取的数据提供给控制部分910。此处，在编码的比特流被扰频的情况下，多路分用器903可以执行解扰。
解码器904将由多路分用器903输入的视频流和音频流进行解码。之后，解码器904输出由解码处理产生的视频数据至视频信号处理部分905。另外，解码器904还将由解码处理产生的视频数据输出至音频信号处理部分907。
视频信号处理部分905再现由解码器904输入的视频数据，并在显示部分906播放视频。另外，视频信号处理部分905可以在显示部分906显示由网络提供的应用图像。并且，视频信号处理部分905可以执行例如附加处理，例如根据设置对视频数据进行噪音移除。进一步的，视频信号处理部分905可以例如产生GUI(图形用户界面)图像，例如菜单和按钮或光标，并在输出图像上覆盖产生的图像。
显示部分906由来自视频信号处理部分905的驱动信号进行驱动，并在显示设备(例如液晶显示器、等离子显示器或OELD(有机电致发光显示))的视频屏幕上显示视频或图像。
音频信号处理部分907执行再现处理，例如D/A转换或放大由解码器904输入的音频数据，并从扬声器908输出声音。另外，音频信号处理部分907可以执行附加处理，例如对音频数据的噪音移除。
外部接口909是连接电视装置900与外部设备或网络的接口。例如，通过外部接口909接收的视频流或音频流可由解码器904进行解码。也即，外部接口909在电视装置900中还具有作为接收由编码图像构成的编码流的传输方式的功能。
控制部分910具有处理器(例如CPU)以及存储器(例如RAM或ROM)。存储器存储将由CPU执行的程序、程序数据、EPG数据、以及通过网络获得的数据等。存储器中存储的程序在例如电视装置900激活的时候由CPU读取，然后执行。通过执行程序，根据由用户接口911所输入的操作信号，CPU控制电视设备900的操作。
用户接口911连接至控制部分910。用户接口911包括按钮和开关，以便用户操作电视装置900，以及接收部分来接收例如远程控制信号。用户接口911通过探测用户通过组成部件的操作来产生操作信号，并输出产生的操作信号至控制部分910。
总线912将调谐器902、多路分用器903、解码器904、视频信号处理部分905、音频信号处理部分907、外部接口909和控制部分910相互连接。
在具有上述结构的电视装置900中，解码器904具有根据上述实施例的图像解码设备的功能。因此，当图像在电视装置900中解码时，能提高色差信号的编码效率。
<5.第五实施例>
<第二种应用示例：移动电话单元>
图26示意性的示出了应用上述实施例的移动电话设备的示例结构。移动电话单元920具有天线921、通信部分922、音频编码解码器923、扬声器924、话筒925、相机部分926、图像处理部分927、多路分用部分928、记录和再现部分929、显示部分930、控制部分931、操作部分932以及总线933。
天线921连接到通信部分922。扬声器924和话筒925连接至音频编码解码器923。操作部分932连接至控制部分931。总线933将通信部分922、音频编码解码器923、相机部分926、图像处理部分927、多路分用部分928、显示部分930、控制部分931互相连接。
移动电话单元920以各种操作模式(包括音频通信模式、数据通信模式、图像模式和视频电话模式)执行操作，例如传输和接收音频信号、传输和接收电子邮件或图像数据、图像处理和数据记录。
在音频通信模式中，由话筒925产生的模拟音频信号被提供给音频编码解码器923。音频编码解码器923将模拟音频信号转换成音频数据，并对转换后的音频数据执行A/D转换，并将已转换的音频数据压缩。然后，音频编码解码器923输出压缩后的音频数据至通信部分922。通信部分922将音频数据编码并调制，产生传输信号。然后，通信部分922将产生的传输信号通过天线921传送至基站(未示出)。此外，通信部分922还对通过天线921所接收的广播信号执行放大和频率转换。之后通信部分922通过对接收信号进行解调和解码以产生音频数据产生音频数据，并将产生的音频数据输出至音频编码解码器923。音频编码解码器923对音频数据执行扩展和D/A转换，并产生模拟音频信号。音频编码解码器923然后将产生的音频信号输出至扬声器924以输出声音。
另外，在数据通信模式中，控制部分931根据用户通过操作部分932的操作而产生组成电子邮件的文本数据。另外，控制部分931在显示部分930显示文本。另外，控制部分931还根据用户通过操作部分932的传输指令产生电子邮件数据，并将产生的电子邮件数据输出至通信部分922。通信部分922将电子邮件数据进行编码和调制，以产生传输信号。然后，通信部分922将产生的传输信号通过天线921传输至基站(未示出)。另外，通信部分922还对由天线921接收的广播信号执行放大和频率转换。之后，通信部分922然后通过将接收信号解调和解码来存储电子邮件数据，并将电子邮件数据输出至控制部分931。控制部分931在显示部分930显示电子邮件的内容，并将电子邮件数据存储在记录/再现部分929的存储介质中。
记录和再现部分929具有任意的可读及可写存储介质。例如，存储介质可以是内部存储介质，例如RAM或闪存，或可以是外部安装类型的存储介质，例如硬盘、磁盘、磁光盘、光盘、USB(未分配的空间位图)存储器或存储卡。
另外，在成像模式中，例如，相机部分926通过对物体成像来产生图像数据，并将产生的图像数据输出至图像处理部分927。图像处理部分927对由相机部分926输入的图像数据编码，并将编码流存储在记录和再现部分929的存储介质中。
另外，在电视电话模式中，例如，多路分用部分928将由图像处理部分927编码的图像流以及音频编码解码器923输入的音频流进行多路分用，并将复用流输出至通信部分922。通信部分922对电子邮件数据进行编码和调制以产生传输信号。之后，通信部分922将产生的传输信号通过天线921传输至基站(未示出)。另外，通信部分922还对由天线921接收的广播信号执行放大和频率转换，并获得接收信号。在传输信号和接收信号中，可以包括编码的比特流。之后，通信部分922通过将接收信号解调和解码来存储电子邮件数据，并将存储的流输出至多路分用部分928。多路分用部分928将输入流与视频流和音频流分开，并将视频流输出至图像处理部分927，将音频流输出至音频编码解码器923。图像处理部分927对视频流解码并产生视频数据。视频数据被提供给显示部分930，由显示部分930显示一系列图像。音频编码解码器923对音频流执行延伸和D/A转换，以产生模拟音频信号。之后，音频编码解码器923通过将产生的音频信号输出至扬声器924以输出声音。
在以上述方式构成的可移动电话设备920中，图像处理部分927具有根据上述实施例的图像编码设备和图像解码设备的功能。因此，当图像在可移动电话设备920中被编码和解码时，能提高色差信号的编码效率。
<6.第六实施例>
<第三种应用示例：记录和再现装置>
图27示意性的示出了应用上述实施例的记录和再现装置的一个示例结构的方块图。记录和再现装置940通过对接收的例如广播节目的音频数据和视频数据编码将其记录在记录介质上。另外，记录/再现装置940可以通过对例如来自其他装置获取的音频和视频数据编码而将其记录在记录介质上。另外，记录/再现装置940还通过监视器或扬声器将数据复制在记录介质上。此时，记录/再现装置对音频和视频数据解码。
记录和再现装置940被提供有调谐器941、外部接口942、解码器943、HDD(硬盘驱动器)944、光盘驱动器945、选择器946、解码器947、OSD(屏上显示)948、控制部分949以及用户接口950。
调谐器941从通过天线(未示出)接收的广播信号中提取所需的频道信号，并调制所提取的信号。之后，调谐器941将调制所获得的编码比特流输出至选择器946。也即，调谐器941在记录/再现装置940中具有作为传输方式的功能，其接收已编码图像的编码流。
外部接口942是用于连接记录和再现装置940与外部设备或网络的接口。外部接口942可以是例如IEEE1394接口、网络接口、USB接口或闪存接口。例如，由外部接口942接收的视频数据和音频数据可输入至解码器943。也即，外部接口942在记录/再现装置940中具有作为传输方式的功能，其接收已编码的图像的编码流。
当从外部接口942所输入的视频数据和音频数据没有被编码的情况下，编码器943对视频数据和音频数据进行编码。编码器943然后将经编码的比特流输出至选择器946。
HDD 944将由压缩内容数据(例如视频和音频)、各种程序及其他数据构成的编码比特流记录在内部硬盘上。另外，当视频和音频进行再现时，HDD 944从硬盘上读取这些数据。
盘驱动器945相对于安装的记录介质执行记录并读取数据。安装在盘驱动器945上的记录介质可以是例如DVD盘(例如DVD-视频盘、DVD-RAM、DVD-R、DVD-RW、DVD+R或DVD+RW)或蓝光(注册商标)盘。
当记录视频图像和声音时，选择器946选择从调谐器941或编码器943输入的编码的比特流。另外，当再现视频和音频时，选择器946将由HDD 944或盘驱动器945所输入的编码比特流输出至解码器947。
解码器947对编码比特流进行解码，并产生视频数据和音频数据。然后，解码器947将产生的视频数据输出至OSD 948。解码器904还将产生的音频数据输出至外部扬声器。
OSD 948再现由解码器947输入的视频数据，并播放视频图像。另外，OSD 948可以在显示的视频图像上覆盖GUI，例如，菜单和按钮或光标。
控制部分949具有处理器，例如CPU，以及存储器，例如RAM或ROM。存储器存储将由CPU执行的程序，程序数据、EPG数据以及通过网络所获得的数据等。使用存储器所存储的程序在例如记录/再现装置940激活的时候由CPU读取，然后执行。通过执行程序，根据例如由用户接口950所输入的操作信号，CPU控制记录/再现装置940的处理。
用户接口950连接至控制部分949。用户接口950包括例如按钮和开关，以便用户操作记录/再现装置940，以及接收部分来接收例如远程控制信号。用户接口950通过探测用户通过这些部件的操作来产生操作信号，并输出产生的操作信号至控制部分949。
在具有上述方式构成的记录/再现装置940中，编码器943具有根据上述实施例的图像编码设备的功能。另外，解码器947具有根据上述实施例的图像解码设备的功能。因此，当图像在记录/再现装置940中被编码和解码时，能提高色差信号的编码效率。
<7.第七实施例>
<第四种应用示例：成像装置>
图28是示意性的示出了应用上述实施例的成像装置的示例结构的方块图。成像装置960通过对物体成像而产生图像，通过编码图像将图像数据存储在存储介质中。
成像装置960被提供有光学块961、成像部分962、信号处理部分963、图像处理部分964、显示部分965、外部接口966、存储器967、介质驱动器968、OSD 969、控制部分970、用户接口971和总线972。
光学块961连接至成像部分962。成像部分962连接至信号处理部分963。显示部分965连接至图像处理部分964。用户接口971连接至控制部分970。总线972将图像处理部分964、外部接口966、存储器967、介质驱动器968、OSD 969和控制部分970相互连接。
光学块961具有聚焦透镜和快门。光学块961在成像部分962的成像表面上形成物体的光学图像。成像部分962具有图像传感器，例如CCD(电荷耦合元件)或CMOS(互补金属氧化物半导体)，并通过光电转换将形成在成像表面的光学图像转换成图像信号作为电信号。然后，成像部分962将图像信号输出给信号处理部分963。
信号处理部分963在由成像部分962输入的图像信号上执行各种相机信号处理，例如拐点校正、gamma校正和颜色校正。信号处理部分963输出图像数据至图像处理部分964进行相机信号处理。
图像处理部分964对信号处理部分963所输入的图像数据进行编码，并产生编码数据。之后，图像处理部分964将产生的编码数据输出至外部接口966或介质驱动器968。另外，图像处理部分964还将由外部接口966或介质驱动器968输入的编码数据进行解码，并产生图像数据。之后，图像处理部分964将产生的图像数据输出至显示部分965。另外，图像处理部分964可以将来自信号处理部分963的图像数据输出至显示部分965以显示图像。另外，图像处理部分964还可以在待输出至显示部分965的图像上覆盖从OSD 969获取的用于显示的数据。
OSD 969产生例如GUI的图像，例如，菜单、按钮或光标，并将产生的图像输出至图像处理部分964。
外部接口966构造为，例如USB输入/输出端口。例如，外部接口966连接到成像装置960和当打印图像时连接至打印机。另外，如果需要，驱动器也连接至外部接口966。在驱动器中，例如，可移动介质，例如磁盘或光盘可安装在其上，从而从可移动介质中读取的程序能安装在成像装置960上。进一步的，外部接口966可以构造为网络接口以连接至网络，例如LAN或因特网。也即，外部接口966在成像装置960上用作传输方式。
安装在介质驱动器968上的记录介质可以是例如可读/可写的任意的可移动介质，例如，磁盘、磁光盘、光盘或半导体存储器。另外，记录介质可以以固定方式安装在介质驱动器968上，例如，不可移动的记录部分，例如，内部硬盘驱动器或SSD(固态驱动器)。
控制部分970具有处理器，例如CPU，以及存储器，例如RAM或ROM。存储器存储将由CPU执行的程序，程序数据等。存储器中存储的程序在例如成像装置960激活的时候由CPU读取，然后执行。通过执行程序，例如根据由用户接口971所输入的操作信号，CPU控制成像装置960的处理。
用户接口971连接至控制部分970。例如，用户接口971包括按钮和开关，以便用户操作成像装置960。用户接口971通过探测用户通过这些部件的操作来产生操作信号，并输出产生的操作信号至控制部分970。
在具有上述结构的成像装置960中，图像处理部分964具有根据上述实施例的图像编码设备和图像解码设备的功能。因此，当图像在成像装置960中被编码和解码时，能提高色差信号的编码效率。
在本说明书中描述了每种信息(例如色差量化参数)在编码流中被多路传输并从编码侧被传送至解码侧的例子。然而，传输信息的方法并不局限于上述示例。例如，信息可以不与编码比特流一起多路复用，但是可以作为与比特流相关联的独立数据被传输或记录。此处，术语“关联”指的是将包含在比特流中的图像(可以是图像的一部分，例如，片段或块)与对应于解码时的图像的信息进行链接。也即，信息可通过与图像(或比特流)不同的传输路径传输。并且，信息可记录在与图像(或比特流)不同的记录介质(或相同记录介质的不同记录区域)上。进一步的，信息和图像(或比特流)可以相互链接，例如，以任意单元，例如多个帧、一帧或部分帧。
虽然本发明已结合附图描述了优选实施例，但本发明并不局限于这些例子。对于本领域的技术人员来说，在此处所声明的技术精神范围内作出各种改变或变型是显而易见的，且这些改变或变型自然被认为是落在了本发明的技术范围之内。
(1)一种图像解码装置包括：
亮度适应性偏移处理部分，其对于待解码的图像的亮度信号执行亮度适应性偏移处理；以及
色差适应性偏移处理部分，其基于由亮度适应性偏移处理部分执行的亮度适应性偏移处理所产生的数据，对于色差信号执行色差适应性偏移处理以产生解码图像。
(2)根据(1)的装置，其中，亮度适应性偏移处理部分将图像分割成多个区域，并对多个区域中的每个区域执行亮度适应性偏移处理，色差适应性偏移处理部分对多个区域中的每个区域执行亮度适应性偏移处理。
(3)根据(2)的装置，其中，亮度适应性偏移处理部分将图像分割成多个区域，从而创建四叉树结构，并对四叉树结构执行亮度适应性偏移处理，色差适应性偏移处理部分对四叉树结构执行亮度适应性偏移处理。
(4)根据(2)的装置，其中，亮度适应性偏移处理部分为多个区域中的每个区域确定偏移的类型，并基于偏移类型对多个区域中的每个区域执行亮度适应性偏移处理，色差适应性偏移处理部分基于偏移类型对多个区域中的一些区域执行亮度适应性偏移处理。
(5)根据(4)的装置，其中，亮度适应性偏移处理部分在三组偏移中确定偏移的类型。
(6)根据(5)的装置，其中，三组偏移是无偏移、带偏移和边缘偏移。
(7)根据(1)至(6)的装置，其中，亮度适应性偏移处理部分为图像中的每个像素确定类别，并基于类别对每个像素执行亮度适应性偏移处理，色差适应性偏移处理部分基于类别对一些像素执行亮度适应性偏移处理。
(8)根据(1)至(7)的装置，其中，亮度适应性偏移处理部分确定偏移的亮度子带的数目，并基于亮度子带的数目执行亮度适应性偏移处理，色差适应性偏移处理部分基于色差子带的数目执行亮度适应性偏移处理，色差子带的数目小于亮度子带的数目。
(9)一种图像编码装置，其中，
亮度适应性偏移处理部分，其对于待编码的图像的亮度信号执行亮度适应性偏移处理；以及
色差适应性偏移处理部分，其基于由亮度适应性偏移处理部分执行的亮度适应性偏移处理所产生的数据，对于色差信号执行色差适应性偏移处理以产生编码图像。
参考符号列表
16 无损编码部分
21 去块滤波器
42 无损解码部分
46 去块滤波器
71 适应性循环滤波器
91 适应性循环滤波器
101 图像编码设备
111 适应性偏移部分
112 色差适应性偏移部分
131 四叉树构造确定部分
132 亮度偏移计算部分
133 亮度偏移部分
134 图像缓冲器
141 色差偏移计算部分
142 相关系数计算部分
143 色差偏移预测值计算部分
144 色差偏移部分
201 图像编码设备
211 适应性偏移部分
212 色差适应性偏移部分
231 四叉树构造缓冲器
232 亮度偏移缓冲器
233 亮度偏移部分
234 像素缓冲器
241 相关系数缓冲器
242 色差偏移残余缓冲器
243 色差偏移重构部分
244 色差偏移部分

Claims (19)

1.一种图像处理装置，包括：
编码部分，生成包含如下信息的比特流：该信息基于由对图像的亮度信号的适应性偏移处理所使用的信息而设定，并且在解码装置对所述图像的色差信号的适应性偏移处理中被使用。
2.根据权利要求1所述的图像处理装置，还包括：
亮度适应性偏移处理部分，进行亮度适应性偏移处理，该亮度适应性偏移处理是对所述图像的亮度信号的适应性偏移处理；以及
色差适应性偏移处理部分，进行色差适应性偏移处理，该色差适应性偏移处理是对所述图像的色差信号的适应性偏移处理。
3.根据权利要求2所述的图像处理装置，还包括：
设定部分，基于由所述亮度适应性偏移处理部分所使用的亮度偏移值，设定在所述适应性偏移处理中使用的信息。
4.根据权利要求3所述的图像处理装置，其中，
在所述适应性偏移处理中使用的信息是关于偏移值的信息。
5.根据权利要求1～4中任一项所述的图像处理装置，其中，
所述编码部分对在所述适应性偏移处理中使用的信息进行编码，并附加到片段头部。
6.根据权利要求1～4中任一项所述的图像处理装置，其中，
所述编码部分对在所述适应性偏移处理中使用的信息进行编码，并附加到LCU头部，所述LCU为最大编码单位。
7.根据权利要求2所述的图像处理装置，其中，
所述色差适应性偏移处理部分基于由所述亮度适应性偏移处理部分所使用的四叉树结构，进行对所述色差信号的所述色差适应性偏移处理。
8.根据权利要求7所述的图像处理装置，其中，
所述色差适应性偏移处理部分基于所述四叉树结构，使用带偏移、边缘偏移和无偏移这三种类型，进行对所述色差信号的所述色差适应性偏移处理。
9.根据权利要求2所述的图像处理装置，其中，
所述色差适应性偏移处理部分使用由所述亮度适应性偏移处理部分所使用的亮度偏移值，进行对所述色差信号的所述色差适应性偏移处理。
10.根据权利要求2所述的图像处理装置，其中，
所述亮度适应性偏移处理部分包括：
四叉树确定部分，使用所述亮度信号的像素值，确定所述四叉树结构；
亮度偏移计算部分，对被分割为由所述四叉树确定部分所确定的所述四叉树结构的区域计算亮度偏移值；以及
亮度偏移处理部分，使用由所述亮度偏移计算部分计算出的所述亮度偏移值，对所述亮度信号的像素值进行偏移处理，
所述色差适应性偏移处理部分包括：
色差偏移计算部分，对被分割为由所述四叉树确定部分所确定的所述四叉树结构的区域计算色差偏移值；以及
色差偏移处理部分，使用由所述色差偏移计算部分计算出的所述色差偏移值，对所述色差信号的像素值进行偏移处理。
11.根据权利要求10所述的图像处理装置，其中，
所述编码部分对色差预测残余和所述亮度偏移值进行编码，该色差预测残余是根据由所述亮度偏移计算部分计算出的所述亮度偏移值以及由所述色差偏移计算部分计算出的所述色差偏移值求出的。
12.根据权利要求11所述的图像处理装置，还包括：
量化部分，对根据所述色差偏移值所求出的所述色差预测残余进行量化。
13.根据权利要求11所述的图像处理装置，其中，
所述色差适应性偏移处理部分还包括：
相关系数计算部分，使用由所述色差偏移计算部分计算出的色差偏移值Oc和由所述亮度偏移计算部分计算出的亮度偏移值OL，计算相关系数α和β以使所述色差预测残余变小；以及
预测残余计算部分，使用由所述相关系数计算部分计算出的所述相关系数α和β，计算所述色差预测残余。
14.根据权利要求13所述的图像处理装置，其中，
所述编码部分对所述相关系数α和β进行编码。
15.根据权利要求13或14所述的图像处理装置，其中，
所述设定部分对Cb和Cr分别设定所述相关系数α和β。
16.根据权利要求13～15中任意一项所述的图像处理装置，其中，
所述设定部分对两种类型的带偏移和六种类型的边缘偏移分别设定所述相关系数α和β。
17.根据权利要求2所述的图像处理装置，还包括：
滤波部分，对所述图像进行去块滤波处理，
所述亮度适应性偏移处理部分和所述色差适应性偏移处理部分以由所述滤波部分进行了去块滤波处理而得到的图像为对象，进行适应性偏移处理。
18.一种图像处理方法，其中，
由图像处理装置生成包含如下信息的比特流：该信息基于由对图像的亮度信号的适应性偏移处理所使用的信息而设定，并且在解码装置对所述图像的色差信号的适应性偏移处理中被使用。
19.一种计算机可读记录介质，记录有使计算机执行权利要求18所述的图像处理方法的程序。
CN201710877494.5A 2011-06-28 2012-06-21 图像处理设备及方法 Active CN107770557B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011143248A JP5907367B2 (ja) 2011-06-28 2011-06-28 画像処理装置および方法、プログラム、並びに記録媒体
JP2011-143248 2011-06-28
CN201280030343.1A CN103621098B (zh) 2011-06-28 2012-06-21 图像处理设备及方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201280030343.1A Division CN103621098B (zh) 2011-06-28 2012-06-21 图像处理设备及方法

Publications (2)

Publication Number Publication Date
CN107770557A true CN107770557A (zh) 2018-03-06
CN107770557B CN107770557B (zh) 2020-11-24

Family

ID=47423681

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201710938871.1A Active CN107770536B (zh) 2011-06-28 2012-06-21 图像处理设备及方法
CN201710877494.5A Active CN107770557B (zh) 2011-06-28 2012-06-21 图像处理设备及方法
CN201280030343.1A Active CN103621098B (zh) 2011-06-28 2012-06-21 图像处理设备及方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201710938871.1A Active CN107770536B (zh) 2011-06-28 2012-06-21 图像处理设备及方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201280030343.1A Active CN103621098B (zh) 2011-06-28 2012-06-21 图像处理设备及方法

Country Status (8)

Country Link
US (1) US10187664B2 (zh)
EP (1) EP2727360A4 (zh)
JP (1) JP5907367B2 (zh)
KR (1) KR20140048885A (zh)
CN (3) CN107770536B (zh)
BR (2) BR122022012727B1 (zh)
RU (2) RU2701715C2 (zh)
WO (1) WO2013001752A1 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7295609B2 (en) 2001-11-30 2007-11-13 Sony Corporation Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information
JP5359657B2 (ja) 2009-07-31 2013-12-04 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
JP5914962B2 (ja) 2010-04-09 2016-05-11 ソニー株式会社 画像処理装置および方法、プログラム、並びに、記録媒体
TWI508534B (zh) 2010-05-18 2015-11-11 Sony Corp Image processing apparatus and image processing method
HUE047906T2 (hu) 2010-06-04 2020-05-28 Sony Corp QP és delta QP kódolása egy minimális méretnél nagyobb képblokkoknál
MX2013006130A (es) 2010-12-07 2013-06-28 Sony Corp Dispositivo de procesamiento de imagenes y metodo de procesamiento de imagenes.
WO2012077607A1 (ja) 2010-12-07 2012-06-14 ソニー株式会社 画像処理装置及び画像処理方法
JP5741076B2 (ja) 2010-12-09 2015-07-01 ソニー株式会社 画像処理装置及び画像処理方法
CN103780912B (zh) 2011-02-10 2017-11-24 威勒斯媒体国际有限公司 图像处理装置和图像处理方法
US9135724B2 (en) 2011-03-11 2015-09-15 Sony Corporation Image processing apparatus and method
TWI530161B (zh) 2011-06-07 2016-04-11 Sony Corp Image processing apparatus and method
CN113347420A (zh) 2011-06-28 2021-09-03 索尼公司 图像处理装置和图像处理方法
US9277194B2 (en) * 2011-11-08 2016-03-01 Texas Instruments Incorporated Method and apparatus for image and video coding using hierarchical sample adaptive band offset
CN103765903B (zh) * 2012-01-18 2017-09-01 松下知识产权经营株式会社 图像解码装置、图像编码装置、图像解码方法及图像编码方法
GB2501535A (en) * 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
TWI595776B (zh) 2012-06-27 2017-08-11 Sony Corp Image processing device and method
CN114697679B (zh) * 2015-09-11 2024-11-08 株式会社Kt 图像解码方法、图像编码方法和包括比特流的设备
JP6634936B2 (ja) * 2016-04-05 2020-01-22 富士通株式会社 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法、画像復号プログラムおよび画像伝送システム
EP3606077A4 (en) 2017-03-22 2021-01-06 Industry - University Cooperation Foundation Hanyang University LOOP FILTERING PROCESS ACCORDING TO AN ADAPTIVE PIXEL CLASSIFICATION STANDARD
CN114342382B (zh) * 2019-09-06 2024-09-20 索尼集团公司 图像处理装置和图像处理方法
US20230156185A1 (en) * 2021-11-15 2023-05-18 Tencent America LLC Generalized sample offset

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101517909A (zh) * 2006-09-15 2009-08-26 飞思卡尔半导体公司 带有选择性色度去块滤波的视频信息处理系统
US20100172583A1 (en) * 2009-01-07 2010-07-08 Sony Corporation Encoding device, encoding method, recording medium, and image processing apparatus

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7295609B2 (en) 2001-11-30 2007-11-13 Sony Corporation Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information
WO2003058945A2 (en) * 2002-01-14 2003-07-17 Nokia Corporation Coding dynamic filters
JP4015934B2 (ja) * 2002-04-18 2007-11-28 株式会社東芝 動画像符号化方法及び装置
US6922492B2 (en) * 2002-12-27 2005-07-26 Motorola, Inc. Video deblocking method and apparatus
CN100562129C (zh) * 2004-11-05 2009-11-18 中兴通讯股份有限公司 视频编码的时域滤波方法
RU2287909C2 (ru) * 2004-12-15 2006-11-20 Московский технический университет связи и информатики Способ преобразования цифрового сигнала изображения и устройство для его реализации
US7606429B2 (en) * 2005-03-25 2009-10-20 Ati Technologies Ulc Block-based image compression method and apparatus
JP4593437B2 (ja) * 2005-10-21 2010-12-08 パナソニック株式会社 動画像符号化装置
JPWO2007094100A1 (ja) * 2006-02-13 2009-07-02 株式会社東芝 動画像符号化／復号化方法及び装置並びにプログラム
KR101266168B1 (ko) * 2006-08-16 2013-05-21 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
JP2009194721A (ja) * 2008-02-15 2009-08-27 Fujitsu Microelectronics Ltd 画像信号処理装置、画像信号処理方法、及び撮像装置
RU2011103915A (ru) * 2008-07-04 2012-08-10 Кабусики Кайся Тосиба (Jp) Способ и устройство кодирования/декодирования движущегося изображения
JP5233897B2 (ja) * 2009-07-31 2013-07-10 ソニー株式会社 画像処理装置および方法
JP5359657B2 (ja) 2009-07-31 2013-12-04 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
JP5344238B2 (ja) 2009-07-31 2013-11-20 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
JP5914962B2 (ja) 2010-04-09 2016-05-11 ソニー株式会社 画像処理装置および方法、プログラム、並びに、記録媒体
TWI508534B (zh) 2010-05-18 2015-11-11 Sony Corp Image processing apparatus and image processing method
HUE047906T2 (hu) 2010-06-04 2020-05-28 Sony Corp QP és delta QP kódolása egy minimális méretnél nagyobb képblokkoknál
MX2013006130A (es) 2010-12-07 2013-06-28 Sony Corp Dispositivo de procesamiento de imagenes y metodo de procesamiento de imagenes.
WO2012077607A1 (ja) 2010-12-07 2012-06-14 ソニー株式会社 画像処理装置及び画像処理方法
JP5741076B2 (ja) 2010-12-09 2015-07-01 ソニー株式会社 画像処理装置及び画像処理方法
CN103780912B (zh) 2011-02-10 2017-11-24 威勒斯媒体国际有限公司 图像处理装置和图像处理方法
US9135724B2 (en) 2011-03-11 2015-09-15 Sony Corporation Image processing apparatus and method
SI3220641T1 (sl) * 2011-04-21 2019-05-31 Hfi Innovation Inc. Postopek in naprava za izboljšano filtriranje v zanki
WO2012155553A1 (en) * 2011-05-16 2012-11-22 Mediatek Inc. Apparatus and method of sample adaptive offset for luma and chroma components
US20120294353A1 (en) * 2011-05-16 2012-11-22 Mediatek Inc. Apparatus and Method of Sample Adaptive Offset for Luma and Chroma Components
TWI530161B (zh) 2011-06-07 2016-04-11 Sony Corp Image processing apparatus and method
PT4135322T (pt) 2011-06-23 2024-09-17 Huawei Tech Co Ltd Dispositivo de descodificação de desvios, dispositivo de codificação de desvios, dispositivo de filtro de imagem e estrutura de dados
CN104980758A (zh) 2011-06-28 2015-10-14 三星电子株式会社 根据像素分类使用偏移调整的视频解码方法及其设备
RU2642364C2 (ru) 2012-06-29 2018-01-24 Вилос Медиа Интернэшнл Лимитед Устройство кодирования и способ кодирования

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101517909A (zh) * 2006-09-15 2009-08-26 飞思卡尔半导体公司 带有选择性色度去块滤波的视频信息处理系统
US20100172583A1 (en) * 2009-01-07 2010-07-08 Sony Corporation Encoding device, encoding method, recording medium, and image processing apparatus

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHIH-MING FU等: "CE13： Sample Adaptive Offset with LCU-Independent Decoding", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC》 *
YU-WEN HUANG: "A Technical Description of Media Tek"s Proposal to the JCT-VC CfP", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING(JCT-VE) OF ITU-T SG16 WP3 AND ISO/IEC》 *

Also Published As

Publication number Publication date
RU2016112491A3 (zh) 2019-07-24
RU2585657C2 (ru) 2016-06-10
EP2727360A4 (en) 2015-03-11
CN107770536A (zh) 2018-03-06
BR112013033187A2 (pt) 2017-03-01
CN107770536B (zh) 2020-04-21
CN103621098A (zh) 2014-03-05
RU2016112491A (ru) 2018-11-27
JP5907367B2 (ja) 2016-04-26
JP2013012845A (ja) 2013-01-17
RU2013156822A (ru) 2015-06-27
US10187664B2 (en) 2019-01-22
WO2013001752A1 (en) 2013-01-03
US20140092958A1 (en) 2014-04-03
KR20140048885A (ko) 2014-04-24
CN103621098B (zh) 2017-12-05
RU2701715C2 (ru) 2019-09-30
BR122022012727B1 (pt) 2023-03-14
BR112013033187B1 (pt) 2022-10-11
EP2727360A1 (en) 2014-05-07
CN107770557B (zh) 2020-11-24

Similar Documents

Publication Publication Date Title
CN103621098B (zh) 图像处理设备及方法
CN106105201B (zh) 使用像素距离的解块滤波
CN104054344B (zh) 对色度数据进行解块以用于视频译码
CN104303501B (zh) 用于视频译码的量化矩阵和解块滤波器
CN103563374B (zh) 图像处理设备及方法
CN104205836B (zh) 用于视频编码中色度切片层级量化参数偏移及解块的方法和产品
CN105284113B (zh) 分量间滤波
CN105532007B (zh) 在视频译码中用于非亮度分量的自适应解块滤波
CN102934429B (zh) 图像处理装置和图像处理方法
CN105379266B (zh) 停用帧内预测滤波
CN106254876B (zh) 图像处理装置和方法
CN104601995B (zh) 图像处理装置和方法
CN103636214B (zh) 图像处理设备及图像处理方法
CN101990099A (zh) 图像处理设备和方法
CN101990098A (zh) 图像处理设备和方法
CN103891284A (zh) 图像处理装置和方法
CN107071468A (zh) 图像处理设备和图像处理方法
US20220215593A1 (en) Multiple neural network models for filtering during video coding
JP2024501331A (ja) ビデオコーディング中にフィルタ処理するための複数のニューラルネットワークモデル
CN103891286A (zh) 图像处理装置和方法
JP6341304B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
US11683528B2 (en) Sub-picture extraction and constraints in video coding
US11671600B2 (en) Signaling intensity dependent deblocking filtering for video coding
JP6094838B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
CN116746146A (zh) 在视频编解码期间用于滤波的多个神经网络模型

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant