[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN108141507B - 利用查找表进行颜色校正 - Google Patents

利用查找表进行颜色校正 Download PDF

Info

Publication number
CN108141507B
CN108141507B CN201680057549.1A CN201680057549A CN108141507B CN 108141507 B CN108141507 B CN 108141507B CN 201680057549 A CN201680057549 A CN 201680057549A CN 108141507 B CN108141507 B CN 108141507B
Authority
CN
China
Prior art keywords
chroma
value
input
lut
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201680057549.1A
Other languages
English (en)
Other versions
CN108141507A (zh
Inventor
贺玉文
叶艳
路易斯·克伦斯基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vid Scale Inc
Original Assignee
Vid Scale Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vid Scale Inc filed Critical Vid Scale Inc
Publication of CN108141507A publication Critical patent/CN108141507A/zh
Application granted granted Critical
Publication of CN108141507B publication Critical patent/CN108141507B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6002—Corrections within particular colour systems
    • H04N1/6005—Corrections within particular colour systems with luminance or chrominance signals, e.g. LC1C2, HSL or YUV
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N11/00—Colour television systems
    • H04N11/24—High-definition television systems
    • H04N11/28—High-definition television systems involving bandwidth reduction, e.g. subsampling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Processing (AREA)
  • Processing Of Color Television Signals (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

可提供通过使用2D查找表(LUT)在高动态范围视频(HDR)内进行的颜色校正。该颜色校正可在解码所述HDR视频信号之后用于解码器。例如，所述颜色校正可在对所述HDR视频信号进行色度上采样之前、期间、或之后被应用。所述2D LUT可包括所述HDR视频信号的颜色空间的表示。所述颜色校正可包括将三角插值法应用至所述颜色空间的颜色分量的样本值。所述2D LUT可由编码器估计且可被用信号传送给解码器。所述编码器可决定重用之前用信号发送的2D LUT或使用新的2D LUT。

Description

利用查找表进行颜色校正
相关申请的交叉引用
本申请要求2015年10月2日递交的美国临时专利申请no.62/236,665的权益，该申请所公开的内容作为参考而被整体结合于此。
技术领域
本发明涉及利用二维(2D)查找表(LUT)进行视频内容处理的系统、方法及工具。
背景技术
目前对于高质量视频内容(诸如，高动态范围(HDR)视频)的需求正在逐步增大。较高的质量对于视频编码及解码带来了新的挑战。例如，相比于标准动态范围(SDR)视频，高动态范围(HDR)视频内容的特征在于非常接近人眼能力的较广色域(color gamut)以及较宽亮度动态范围等。在视频编码和/或解码过程中引入的色度假影(artifact)在SDR显示器上可能是不易察觉的，但可能会显著扭曲视频在HDR显示屏(例如，具有4000烛光(cd)每m2或“尼特”的峰值亮度)上的展示。因此，需要用于对高质量视频内的颜色失真进行校正(例如，在不显著增大视频编解码器复杂度的情况下)的系统、方法及工具。
发明内容
在此描述了用于处理视频内容的系统、方法及工具。编码设备可接收(例如，编码操作的输出)可能未对准(例如，与不同的采样位置相关联)的第一亮度样本及第一色度样本。所述编码设备还可接收用于产生针对第一色度样本的校正色度值的二维(2D)查找表(LUT)。该2D LUT可定义与所述视频内容的2D颜色空间相关联的亮度维度(dimension)及色度维度。所述编码设备可基于所述第一亮度样本和/或第一色度样本(例如，通过经由插值法来对准所述第一亮度样本与所述第一色度样本)，确定至所述2D LUT的输入亮度值及输入色度值。所述编码设备可基于所述2D LUT、所述输入色度值以及所述输入亮度值，产生表示所述第一色度样本的校正值的输出色度值。颜色校正(例如，校正色度值的推导)可在上采样(例如，从4:2:0色度格式至4:4:4色度格式)期间被执行。所述编码设备可使用至少所述输出色度值/校正色度值来重构所述视频内容。
所述视频内容的2D颜色空间可通过具有相应顶点的多个矩形单元来定义。该多个矩形单元可经由四叉树分割(quadtraee partitioning)而被得到。所述2D LUT可包括与所述相应顶点相关联的色度分量值。在产生所述输出色度值/校正色度值的过程中，所述编码设备可从所述多个矩形单元内确定所述输入亮度值及所述输入色度值所属的第一矩形单元，并基于与该第一矩形单元的顶点相关联的色度分量值的子集、所述输入色度值、以及所述输入亮度值，经由三角插值法计算所述输出色度值/校正色度值。所述编码设备可进一步确定所述第一矩形单元内所述输入亮度值及所述输入色度值所属的第一三角形，并基于与该第一三角形的顶点相关联的色度分量值、所述输入色度值、以及所述输入亮度值，应用所述三角插值法。所述编码设备可基于与不同的三顶点(例如，所述输入亮度值及所述输入色度值所不属于的第二三角形的顶点)集合相关联的色度分量值，应用所述三角插值法。
所述2D LUT可基于重构的色度样本值及亮度样本值以及视频内容的原始版本而被估计。该重构的色度样本值及亮度样本值可以在被用于所述估计之前被相位对准(例如，经由插值法)。所述2D LUT可被编码在与所述视频内容相关联的视频比特流内。可在该视频比特流内用信号传输有关基于2D LUT的颜色校正是否被启用、和/或所述2D LUT是否与红色差异色度分量(Cr)或蓝色差异色度分量(Cb)相关联的指示。可应用预测编码以编码所述2D LUT。
附图说明
通过结合以下附图以示例性方式给出的详细描述，可得到对在此所公开实施例的更为详细的理解。
图1提供了BT.2020(UHDTV)、BT.709(HDTV)、与P3(DC)色基(color primary)的示例性比对。
图2示出了针对SDR及HDR展示的线性光值与代码水平(code level)之间的示例性映射。
图3示出了示例性HDR视频编码及解码操作。
图4示出了因转换操作而导致示例性颜色失真。
图5示出了示例性三角插值法，其可用于基于二维查找表得出校正色度值。
图6示出了利用基于LUT的颜色校正进行的示例性HDR编码及解码操作。
图7示出了用于在4:4:4格式内进行LUT参数估计的示例性示意图。
图8示出了利用基于LUT的颜色校正及色度上采样进行的HDR编码及解码操作。
图9示出了用于4:2:0视频内容的示例性采样网格。
图10示出了针对基于LUT的色度上采样及颜色校正进行LUT参数估计的示例性示意图。
图11示出了在4:2:0格式内利用基于LUT的颜色校正进行的示例性HDR编码及解码操作。
图12A是可以实施所公开的一个或多个实施例的例示通信系统的图示。
图12B是可以在图12A所示的通信系统内部使用的例示无线发射/接收单元(WTRU)的系统图示。
图12C是可以在图12A所示的通信系统内部使用的例示无线电接入网络和例示核心网络的系统图示。
图12D是可以在图12A所示的通信系统内部使用的另一个例示无线电接入网络和另一个例示核心网络的系统图示。
图12E是可以在图12A所示的通信系统内部使用的另一个例示无线电接入网络和另一个例示核心网络的系统图示。
具体实施方式
现在将参考不同附图来对说明性实施例的具体实施方式进行描述。虽然该描述提供了关于可能的实施方式的详细示例，然而应该指出的是，这些细节应该是例示性的，并且不会对本申请的范围构成限制。在此所述的说明性实施例可用于各种数字视频压缩技术，和/或可以以能够进行有效数字视频通信、分发及消费为目标而被标准化。该技术和/或标准可包含ISO/IEC及ITU-T所采用的那些技术和/或标准，诸如H.261、MPEG-1、MPEG-2、H.263、MPEG-4part2、以及H.264/MPEG-4part 10AVC。该技术和/或标准还可包含由ITU-T视频编码专家组(VCEG)以及ISO/IEC动画专家组(MPEG)联合开发的高效视频编码(HEVC)，其可实现两倍于H.264/AVC的压缩效率、或可使用一半的比特速率来实现相同的视频质量。
在此描述的说明性实施例可部署在各种数字视频服务内，该各种数字视频服务包括TV服务(例如，通过卫星、线缆和/或陆上广播信道传输的那些)、可能需要在异构型环境内进行视频传输的移动视频服务(例如，视频聊天、移动视频录制及共享、以及视频流)、和/或混合使用场景(例如，已知为3屏或N屏的那些使用场景，其可能涉及诸如PC、智能电话、平板和/或TV等的多消费者设备，且其可能必须容纳可在计算能力、存储器/存储尺寸、显示分辨率、显示帧率、和/或显示色域等等方面具有非常不同的能力的设备上的视频消费)。
在此所述的说明性实施例可部署在在例如分组丢失率、可用信道带宽、和/或突发误码率等方面具有不同特性的网络和/或传输信道。在这些环境中，可在具有复杂底层传输信道特性的有线网络及无线网络的组合上传输视频数据，且可使用可缩放视频编码来在异构型网络上针对运行在具有不同能力的设备上的视频应用提供改善的体验质量。例如，可缩放视频编码可在高展示层(例如，时间分辨率、空间分辨率、和/或质量等)对信号进行一次编码，但可依赖于运行在特定客户端设备上的特定应用所使用的特定速率和/或展示，启用根据视频流的子集进行的解码。在一些场景中，相比于非缩放方案，此类可缩放方案可节省带宽和/或存储。因此，可在其下部署在此描述的说明性实施例的视频标准(例如，MPEG-2视频、H.263、MPEG4视觉、H.264、或HEVC)可具有支持多个缩放模式的工具和/或配置文档(profile)。
在此描述的说明性实施例可用于新的视频格式，诸如针对超高清TV(UHDTV)应用所定义的新的视频格式。如表1所示，UHDTV可支持大空间分辨率(例如，高达4Kx2K或3840x2160、或8Kx4K或7680x432)、高帧率(例如，高达120Hz)、高样本比特深度(例如，10比特至12比特)、和/或宽色域。在此描述的说明性实施方式可支持新的色域，诸如用于例如数字影院应用的P3色域。图1示出了覆盖有CIE 1931颜色空间色度图(例如，马蹄形，其可表示人眼的可视颜色范围)的BT.709(HD)色域(内三角形)以及BT.2020(UHD)色域(外三角形)之间的差异。如图1所示，所述HD色域及所述UHD色域可分别覆盖大约36％及76％的CIE 1931颜色空间。因此，当对比于HD显示器时，UHD显示器能够显著增加可再生颜色的量且能够给观看者带来更鲜艳饱满的颜色。
表1 HDTV(BT.709)与UHDTV(BT.2020)技术规范之间的比对
Figure GDA0002229726080000061
在此描述的说明性实施例可用于高动态范围(HDR)视频。动态范围主要表示在真实场景内或渲染设备内感知或捕获的最小亮度与最大亮度之间的比值。如果按照“f-stop”(或“f-number”)来进行测量，其中一f-stop可对应于双倍的信号动态范围。可以按照每m2烛光(cd)(例如，其可被称之为“尼特”)来测量HDR内的亮度。如，在自然场景中，太阳光可具有大约6×108尼特的动态范围；早上的蓝天可具有4600尼特的范围；以及晚上的天可具有0.005尼特或者更低的范围。自然场景内变化的亮度水平可能会导致大约1亿的动态范围(例如，大约37f-stop)。通过比对，室内通过窗户看见的天可具有大约10,000尼特的动态范围；脸可具有大约50尼特的范围；以及黑色表面可具有大约1尼特的范围。人类视觉能够自我调节以适应可变化将近10个量级的光线环境(例如，从星光到太阳光)。相反，传统的消费者显示器可仅支持100尼特的峰值亮度，其远低于人类视觉所能够捕获的自然场景的动态范围。
HDR可增强观看体验(例如，标准动态范围(SDR)可仅支持0.1至数百尼特的明度范围，并具有小于10f-stop的动态范围)例如，HDR显示器(例如，那些具有1000至4000尼特的峰值亮度的显示器)和/或其他HDR和/或支持广色域(WCG)的电气设备(例如，能够拍摄高达14f-stop的HDR视频的摄像机)可扩展人类艺术表达的极限。在一些情况中(例如，在对于HDR及WCG内容分发及存储存在MPEG需求的情况下)，HDR可对应于多于16f-stop。10至16f-stop之间的动态范围可被视为“中间”或“扩展”动态范围，其显著小于可在现实生活遇到的动态范围且远没有达到人类视觉能力。
HDR视频的目标在于提供接近人类视觉能力的动态范围。可进行各种测试序列以评估HDR技术。例如，原始测试序列可覆盖BT.709及P3的色域，且可被存储在BT.2020及BT.709容器内。相关文件格式可为EXR或TIFF。测试序列的峰值亮度可为大约4000尼特。用于将线性信号转换为非线性信号(例如，出于压缩的目的)的转换函数(TF)可为感知量化器(“PQ”)(例如，替代可用于SDR编码内的伽马函数)。图2示出了用于HDR的示例性感知量化器与用于SDR的示例性通用转换函数之间的一些差异。
针对HDR压缩的客观质量评估可能是很复杂的，例如，因为在HDR压缩视频内，除了常规的模糊、阻塞以及环状假影之外，还存在多种不同类型的失真，诸如色益及色带。这些失真和/或假影是观看者可感知到的(例如，相对于明亮的背景)。可针对HDR及WCG的客观质量评估考虑各种度量。这些度量可包括例如带有转换函数的XYZ域内的峰值信噪比(PSNR)(例如，其可被称之为tPSNR)、伽马等于2.2的线性RGB内的PSNR评估(例如，其可被称之为mPSNR)、通过向原始信号及重构信号应用CIE deltaE2000度量而测量的PSNR(例如，其可被称之为PSNR_DE2000)、视觉差异预测器(VDP2)、视觉信息保真度(VIF)、和/或结构相似度(SSIM)。在给定场景内，可选择特定度量。例如，对于取证(“CfE”)而言，可使用tPSNR、mPSNR以及PSNR_DE2000作为度量(例如，主要度量)。可指定用于HDR CfE评估的主观质量评估过程。例如，可执行原始剪辑视频与测试方法下产生的剪辑视频之间的并排观看比对，且可校准HDR显示器(例如，峰值明度、显示均匀性等)。
针对HDR的测试方法可符合国际标准，诸如国际电信联盟(ITU)推荐BT.500-13DSIS版本I。在该示例性推荐下，可在主观质量评估内使用两种类型的HDR显示器：SIM2与脉冲型。观看者可将注意力集中在HDR视频的不同区域(例如，由于HDR相比于SDR提供了更多的细节)，其可影响主观质量评估的变化。CfE内存在至少三个类别。类别1可有关于编码技术，该编码技术可相对于针对具有BT.709或P3D65色域内容的HDR的HEVC Main 10配置文档提供压缩效率改善。可针对这些编码技术做出规范性改变。类别2可有关于针对具有BT.709或P3D65内容的HDR的反向兼容方案(例如，通过使用层级方案或可缩放方案)。类别3可有关于针对具有BT.709或P3D65色域内容的HDR的现有Main 10配置文档和/或可缩放Main 10配置文档的性能优化(例如，在不引入规范性改变的情况下)。
图3示出了示例性HDR编码/解码工作流。该工作流包含以下一者或多者。该工作流可包括进行预处理以例如将线性信号(例如，线性浮点RGB)转换为适于压缩的信号(例如，10比特YCbCr)。该预处理可包括例如利用转换函数进行的线性至非线性转换(例如，线性RGB至非线性RGB)、颜色空间转换(例如，RGB至YCbCr)、浮点至固定点转换(例如，将浮点值样本值量化为10比特值)、和/或色度格式转换(例如，色度4:4:4至4:2:0)。该工作流可包括利用单层编码器(例如，HEVC Main 10编码器)和/或可缩放编码器(例如，SHVC可缩放Main10编码器)等进行压缩/解压缩。所述工作流可包括后处理以将解压后的信号转换回线性信号(例如，线性浮点RGB)。该后处理可包括例如逆色度格式转换(例如，色度4:2:0至4:4:4)、从固定点至浮点的逆转换(例如，10比特至浮点)、逆颜色空间转换(例如，YCbCr至RGB)、和/或利用逆转换函数进行的非线性至线性转换。
可在图3的A与A’之间执行传统SDR编码技术的评估。可在图3的E与E’之间执行HDR编码的评估(例如，以不同的比特率)。可在图3所示的一个或多个过程(例如，在压缩之前和/或在解压缩之后)内引入对视频信号的扭曲(例如，颜色扭曲)。图3的示例性工作流可涉及格式转换(例如，线性至非线性、一个颜色空间至另一颜色空间、一个色度格式至另一色度格式、和/或样本值范围转换等等)。例如，可通过考虑所涉及的所有过程或过程子集，针对工作流进行客观质量度量计算(例如，tPSNR、mPSNR、和/或PSNR_DE2000)。可提供某些转换及度量计算工具以使得压缩和/或评估更为灵活。所述客观度量计算的输出可依赖于执行该计算的平台(例如，由于使用了浮点计算)。可用信号传输一片或多片信息，该信息包含例如所采用的转换函数和/或颜色空间及频调映射相关信息。图2列出了可用于处理HDR和/或WCG视频内容的示例性工具。
表2有关HDR及WCG的示例性HEVC工具的综述
Figure GDA0002229726080000101
在HDR显示器上(例如，具有4000尼特的峰值量度)，HDR视频内容内的色度假影是可被观看者感知的(例如，在中低比特率时)。所述假影可包括例如一些对象内的色调变化(例如，白墙可看起来是浅红色的/浅蓝色的)、和/或人的皮肤的不自然显示。当场景变得更为明亮时，该场景中的假影可变地更易于感知(例如，当实时播放视频时，颜色相关的假影可能会出现和/或闪烁)。例如，在涉及明亮阳光下的建筑的场景内，色斑会由于上述色度失真而很明显地出现在墙上和/或百叶窗上。
可由一个或多个源生成色度失真。例如，色度失真可在预处理阶段(例如，当在转换函数之后执行RGB至YCbCr转换时，和/或在色度分量Cb/Cr被下采样时)被引入。这可如图4所示。在经过转换函数(TF)之前，视频信号可以是线性的。所述转换函数可将线性信号转换为非线性信号。当非线性信号被转换回线性域(例如，在解码器处)时，非线性域的均匀分布的错误(例如，颜色假影)将在线性域内变成非均匀分布的。例如，假设PL为线性域内的样本值，且PN为非线性域内的对应样本值，则PL与PN之间可存在以下关系：
PN＝TF(PL)
假设PN已出现了均匀分布的色度错误(例如，由于色度下采样和/或上采样)并产生了样本值P′N及P″N(如图4所示)，则可满足以下等式：
||PN-P′N||＝||PN-P″N||
在逆TF之后，P′N及P″N可分别被转换为P′L及P″L，且P′L内的错误可由于转换而变地小于P″L内的错误：
||PL-P′L||＜||PL-P″L||
在此所述的非均匀错误的影响取决于PL自身的值。例如，在所述值很小时(例如，表示场景的黑暗部分)，所述影响可以很大。颜色失真和/或其他类型的颜色相关错误可在预处理阶段被校正。例如，可应用颜色校正技术以通过在线性域内而非非线性域内执行色度下采样，减小在色度下采样期间产生的误差。
附加的或可替换的，颜色校正可考虑压缩处理。可在解码之后应用颜色校正，和/或可使用查找表(LUT)。在一些实施例中(例如其中视频信号以YCbCr进行编码)，与视频信号相关联的颜色空间可被分割为小单元(例如，矩形单元)，且可基于这些单元的特性应用颜色校正。可以以不同的方式对颜色空间进行分割。例如，可在一个维度(例如，蓝色差异色度(Cb)维度、红色差异色度(Cr)维度、或亮度(Y)维度，这依赖于颜色校正所应用的维度)内对颜色空间进行分割。可在两个维度内对颜色空间进行分割(例如，如果将应用针对Cb的颜色校正，则可以是在Y维度及Cb维度内进行分割，或者如果将应用针对Cr的颜色校正，则可以是在Y维度及Cr维度内进行分割)。可使用不同的2D分割方法。例如，可使用四叉树分割方法来在不同维度上对颜色空间进行对称地或非对称地分割。例如，可指定可对维度(例如，亮度或色度维度)进行分割(例如，分解)的最大次数，从而在达到该最大次数时，可停止该维度内的分割。每一分割/分解可与层相关联。例如，层0可表示原始2D颜色空间(例如，在不分割/分解的情况下)。层1可表示被分割一次的2D颜色空间。层2可表示被分割2次的2D颜色空间。以此类推。如果对于两个维度而言，最大分割次数均是相同的，则可实现颜色空间的对称分割。如果一维度内的最大分割次数不同于另一维度内的最大分割次数，则可实现颜色空间的非对称分割。类似于上述方式，可在三个维度内对颜色空间进行分割(例如，在Y、Cb以及Cr维度内)。
可在各种编码/解码操作内使用查找表(LUT)。例如，如下所示，可将3D LUT用于颜色空间转换。将(y,u,v)表示作为基层(BL)的色域内的样本三元组，并将(Y,U,V)表示作为增强层(EL)的色域内的三元组。通过利用3D LUT，可将BL颜色空间的整个范围分段为均等的八分区。3D LUT的输入可为BL色域内的(y，u，v)，而3D LUT的输出可为EL色域内的(Y，U，V)(例如，其可为所映射的三元组)。在转换期间，如果输入(y，u，v)与八分区的顶点之一相重叠，则可通过参考3D LUT项之一来得出输出(Y，U，V)。如果输入(y，u，v)位于八分区之一的内部，则可应用插值处理以得出输出。可使用各种插值法，包括例如三线性及四面体插值法。三线性插值法参考了最近的八个顶点，且可通过使用以下等式而被执行：
Y＝K×∑i＝0，1∑j＝0，1∑k＝0，1si(y)×sj(u)×sk(v)×LUT[yi][uj][vk].Y (A)
U＝K×∑i＝0，1∑j＝0，1∑k＝0，1si(y)×sj(u)×sk(v)×LUT[yi][uj][vk].U (B)
V＝K×∑i＝0，1∑j＝0，1∑k＝0，1si(y)×sj(u)×sk(v)×LUT[yi][uj][vk].V (C)
Figure GDA0002229726080000131
(yi，uj，vk)可表示所述BL色域的顶点(例如，至3D LUT的输入)。LUT[yi][uj][vk]可表示EL色域的顶点(例如，3D LUT在项(yi，uj，vk)的输出)。LUT[yi][uj][vk].Y、LUT[yi][uj][vk].U、以及LUT[yi][uj][vk].V可分别为顶点LUT[yi][uj][vk]的Y、U、及V分量。i，j，k＝{0，1}以及s0(y)＝y1-y，s1(y)＝y-y0，s0(u)＝u1-u，s1(u)＝u-u0，s0(v)＝v1-v，s1(v)＝v-v0可表示权重。另外或可替换的，可使用四面体插值法(例如，以减小计算复杂度)。
可由编码器来估计3D LUT，例如通过使用一颜色空间内的原始信号及另一颜色空间内的对应信号。如果3D LUT插值处理是线性的，则可利用最小二乘法(LS)估计方法来估计3D LUT。还可将基于梯度下降的迭代方法用于所述估计。例如，当将BT.709色域转换至BT.2020色域时，3D LUT估计内的输入信号可为BT.709压缩/解压缩的视频，而输出信号可为BT.2020视频(例如，其可为训练参考或目标)。
色域转换处理可由以下等式(G)示出：
zi(c)＝fP(c)(xi)，i∈[0，N-1] (G)
其中x可代表BT.709内的三元组(y，u，v)形式的输入信号。z(c)可为分量c的输出信号，其中c可为BT.2020内的Y、U或V。P(c)可为将被估计的分量c的参数以及分量c的3DLUT输出。fP(c)可为插值函数，其可为诸如在此所述的三线性或四面体的线性函数。i可为输入像素的索引。N可为输入像素的总数。
所述等式可被改写为矩阵形式：
Figure GDA0002229726080000141
等式(H)内的*可表示矩阵乘法。
Figure GDA0002229726080000142
可为针对第i个输入像素的加权向量，且可被表示为
Figure GDA0002229726080000143
wi，j可为3D LUT的针对第i个输入像素的第j个输出项的权重。例如，wi，j可根据用于进行三线性插值计算的等式(A)-(C)而被计算。P(c)可为将被估计的参数向量。该参数向量可为3D LUT的输出项，且可被表示为P(c)＝[p0 ... pM-1]。M可为3D LUT输出项的数量。例如，对于具有尺寸17x17x17的3D LUT而言，M可为4913。由于可对每一分量的3D LUT进行独立估计，因此以下等式内可省略分量c。当针对像素对等式(H)进行合计时，可获得以下内容。
Z＝W*P (I)
Z＝[z0 ... zN-1]T
Figure GDA0002229726080000144
通过最小二乘法估计，可得到以下内容：
P＝H-1*(WT*Z) (K)
H＝(WT*W) (L)
，其中H为自相关矩阵。
对于至少一些输入视频信号(诸如，BT.709视频信号)而言，使用3D LUT的颜色转换仅利用了20％的3D LUT项。等式(J)内所示的矩阵W可为稀疏矩阵(例如，其可包含一个或多个零元素)。等式(L)内定义的自相关矩阵H也可为稀疏矩阵，且可并非可逆的。等式(K)内提供的解可能不可用于所述自相关矩阵H。为了解决上述一个或多个问题，可对矩阵W进行压缩(例如，可通过仅考虑3D LUT的被参考项)。用于压缩矩阵W的一示例性方法可包括扫描输入视频信号的输入像素(y，u，v)，并对3D LUT插值处理中所使用的3D LUT顶点进行掩模。该方法进一步包括获得压缩参数集P′＝compact(P)(例如，通过移除未使用的顶点)，以及确定可用于在P′已被估计之后重构P的P′至P映射。
例如，可通过使用压缩的P′来计算W′及H′，其中未使用顶点可能已被移除。解决方案可被定义如下：
P′＝H′-1*(W′T*Z) (M)
H′＝(W′T*W′) (N)
通过使用在此所述的示例性方法，可针对3D LUT估计而减小矩阵W的稀疏度。由于H′的尺寸小于H，还可在压缩之后减小用于存储针对3D LUT估计的自相关矩阵H的存储空间。
如此所述，输入视频的颜色分布可能是不均匀的。例如，像素可具有相似的颜色。一些颜色可能比其他颜色出现得更多。具有高出现率的颜色可被称之为主色。颜色的非均匀分布可造成W′内的不平衡。例如，W′的对应于主色的元素可具有较大值。W′的对应于非主色(例如，出现次数较少的颜色)的元素可具有较大值。这样的结果则是自相关矩阵H′内的元素的动态范围可能较大，其会导致H′的转置和/或P′的估计变得不稳定。可提供和/或使用约束来建立估计的准确度与稳定性之间的折中，该约束例如可被表示如下：
H′＝(W′T*W′)+λI，λ≥0 (O)
I可为一元矩阵。λ可为用于平衡估计处理的精确度与稳定性的因子。例如，较大的λ可表示对处理的稳定性给予优先。可基于例如W′内的不平衡程度来确定λ的值。
在已估计压缩参数向量P′之后，可通过如下所示将所估计的顶点从P′映射至P而获得原始参数向量P：
P＝decompact(P′) (P)
P内的未使用顶点可通过经由适于3D LUT编码的插值处理(例如，三线性或四面体插值处理)并使用P′内的对应顶点而被填充。
所分割的颜色空间内的校正后的色度样本可近似为包含亮度维度及色度维度的平面(例如，Cr或Cb)。可使用基于二维(2D)LUT的四叉树分割处理来恢复色度样本(例如，在HDR解码之后)。例如，通过使用三角插值法而非与3D LUT估计相关联插值法，在此描述的3DLUT估计方法可至少部分用于2D LUT估计。
图5示出了沿着亮度维度v及色度维度c(其可为Cr或Cb)对与特定视频内容相关联的颜色空间进行非对称分割。例如，可使用四叉树分割处理(例如，在亮度及色度维度内的最大分解次数/最大层数分别设置为2和3的情况下)来获得如图5所示的这样的分割。如图所示，整个(y，c)空间可被分割为4x8的小矩阵，且可存在总共(4+1)x(8+1)个顶点(例如，9个顶点沿着色度分量轴，5个顶点沿着亮度分量轴)。“c”可指示色度分量，其可为Cb或Cr。“y”可指示亮度分量。可对2D LUT进行估计，该2D LUT可包含与2D颜色空间内的相应顶点相关联的亮度分量及色度分量。所述亮度分量及色度分量可表示2D颜色空间内的校正后的亮度值及色度值。P(y，c)可为将被颜色校正的输入样本点。P(y，c)可包括分别对应于2D LUT的亮度维度及色度维度的亮度样本值及色度样本值。P(y，c)可经由在此所述的相位对准和/或色度上采样而被获得。P(y,c)可位于由四个顶点(P0,P1,P2,P3)所标记的矩阵分割部分内。(dy,dc)可表示P(y,c)相对于点P0的偏移。
如图5所示，P可被封闭在三个顶点(P0,P1,P2)所标记的三角形内侧。“C”表示色度分量的校正后的值。该位于位置P的校正后的色度分量值可被表示为C(P)，且可基于2D LUT及输入样本点P经由三角插值处理而被计算，如下所示：
C(P)＝LUT_c[P0]+dc×(LUT_c[P1]-LUT_c[P0]))/Δc+dy×(LUT_c[P2]-LUT_c[P1])/Δy (1)
LUT_c可表示用于产生校正后的色度值的查找表。LUT_c[Pi],i＝{0,1,2}可表示在相应顶点Pi处的校正后的色度分量值(例如，2D LUT内的项的子集)。Δy及Δc可分别为y维度及c维度内的基础矩阵尺寸。
如果P被封闭在三角形(P0,P3,P2)内侧而非三角形(P0,P1,P2)内侧，则可基于三角形(P0,P3,P2)以及输入样本点P执行插值处理(例如类似于等式(1)所示的方式)，如下所述：
C(P)＝LUT_c[P0]+dy×(LUT_c[P3]-LUT_c[P0]))/Δy+dc×(LUT_c[P2]-LUT_c[P3])/Δc (2)
所述插值处理可首先确定所述输入点位于哪一三角形内，并之后相应地应用等式(1)或(2)(例如，基于所述确定)。在某些实施中(例如为了减小复杂度)，可越过该确定步骤，且可使用等式(1)或(2)中的任意者来计算矩形(P0,P1,P2,P3)内侧的输入点的校正后的色度分量值。在不失一般性的情况下，可假设选择三角形(P0,P1,P2)以计算(P0,P1,P2,P3)内侧的输入点的相应校正后的值。之后，对于位于三角形(P0,P1,P2)外侧的输入P(例如，P可转而位于三角形(P0,P2,P3)内侧)而言，等式(1)可变为外推法而非插值法。
P(y,c)可与2D颜色空间内的顶点之一相重叠。在此情况下，在此所述的插值法/外推法操作依旧可被应用以得出P的校正后的色度值。可替换的，P的校正后的色度值可通过直接参考2D LUT内的与P所重叠的顶点相关联的色度值而被得出。
可在HDR编码处理内的色度上采样之后应用颜色校正。图6示出了用于编码及解码视频信号并在色度4:4:4格式内应用颜色校正的示例图示。在编码阶段，可使用各种估计方法来估计2D LUT，该各种估计方法包括例如在此所述的最小二乘法。所述估计可基于视频内容的原始版本(例如，其可为4:4:4色度格式)和/或视频内容的上采样版本(例如，从可存储在编码器的解码图片缓存(DPB)内重构的4:2:0图片得出的上采样4:4:4图片)而被执行。如在此所提及的，可将最小二乘法及四面体插值法用于3D LUT估计。可将相同的方法用于利用不同插值法(例如，诸如等式(1)或(2)内所示的三角插值法、或者等式(1)及(2)的组合)进行的2D LUT估计。可在与视频内容相关联的输出比特流内用信号传输所得到的查找表。解码器和/或后处理设备可接收所述比特流并解码所述视频内容。所述解码器和/或后处理设备可基于比特流内所包含的LUT表(例如，如在此所述的)将颜色校正应用于解码后的4:4:4格式的视频信号。
图7示出了用于在编码器处估计LUT参数的示例图示。可从编码器的解码图片缓存(DPB)接收包含一个或多个亮度及色度样本的重构的YCbCr 4:2:0图片。该重构的图片可被上采样至4:4:4格式。可以应用各种色度上采样技术和/或滤波器。例如，如下所示，可将在相位1/4及3/4处针对色度分量进行HEVC运动补偿的4-拍(4-tap)插值滤波器用于垂直上采样。可将双线性插值滤波器用于水平上采样。
1/4相位:{-4,54,16,-2}
3/4相位:{-2,16,54,-4}
上采样图片及原始图片(例如，4:4:4格式的)可用于估计查找表(例如，2D LUT)。例如，为了估计包含Y维度及Cb维度的2D LUT的Cb分量，可使用所述上采样图片的Y及Cb分量。为了估计包含包含Y维度及Cr维度的2D LUT的Cr分量，可使用所述上采样图片的Y及Cr分量。当在4:4:4色度格式内应用基于LUT的颜色校正时，可对用于LUT输入及输出的三个分量(例如，输入处的亮度分量及失真色度分量，以及输出处的校正后的色度分量)的采样网格进行对准。因此，可跳过在此描述的相位对准考虑。由于可在上采样之后应用颜色校正，因此这些情形中可灵活进行上采样方法的选择。
基于LUT的颜色校正可包括相位对准操作(例如，对色度及亮度样本的样本位置进行对准)。可在色度上采样期间进行相位对准，从而合并颜色校正与色度上采样操作。该方法可例如减少相关系统、方法和/或工具的复杂度。图8示出了用于编码及解码HDR视频信号以及在色度上采样期间应用基于LUT的颜色校正的示例性图示。至合并的色度上采样及基于LUT的颜色校正处理的输入可为4:2:0格式的重构图片(例如，具有亮度样本及失真色度样本的重构4:2:0图片)。该处理的输出可为4:4:4格式的颜色校正后的图片。在编码阶段，LUT可被估计，该LUT可用于组合的色度上采样及颜色校正。可在输出比特流内用信号发送LUT。解码器和/或后处理设备可接收视频流并解码包含在该视频流内的视频内容。在对视频内容进行上采样(例如，从4:2:0格式至4:4:4格式)的同时，所述解码器和/或后处理设备可基于包含在所述比特流内的查找表(例如，2D LUT)，将颜色校正应用至解码后的视频内容。有关上述处理的更为详细的细节可在此参考各种附图而被提供。
图9示出了示例性的4:2:0采样网格。在该示例中，色度样本(Cr和/或Cb样本)可占用网格内被标记为“Dx”的位置，而亮度样本可占用网格内被标记为“Ux”的位置。色度样本的分辨率可为亮度样本分辨率的1/4。亮度采样位置及色度采样位置可以并非对准的(例如，由于色度子采样)。色度及亮度采样位置的未对准可减小2D LUT估计的精确度。可执行色度上采样及色度-亮度相位对准。在示例性处理中，可使用多个已有的色度样本(例如，来自4:2:0采样网格的Cr或Cb样本)来得出每一亮度采样位置处的色度样本值，从而将色度样本与亮度样本进行对准。例如，可使用c(Dx)表示特定色度采样位置Dx处的色度样本值(例如，Cb或Cr样本值)，并使用c'(Ux)表示亮度采样位置Ux处的色度样本值，该值可通过使用2-tap或4-tap滤波器(如下所示)基于Ux所处的位置(例如，U4、U5、U8或U9)从已有色度样本(例如，重构的和/或接收的色度样本)c(Dx)而被确定：
c'(U4)＝(c(D0)*3+c(D2)+2)/4 (3)
c'(U5)＝((c(D0)+c(D1))*3+(c(D2)+c(D3))+4)/8 (4)
c'(U8)＝(c(D2)*3+c(D0)+2)/4 (5)
c'(U9)＝((c(D2)+c(D3))*3+(c(D0)+c(D1))+4)/8 (6)
如果相关色度采样网格不同于图9所示，则可将不同的滤波器用于相位对准。可使用样本位置Ux处的亮度样本值y及调节后的色度c’对(y,c’)作为至2D LUT的输入(例如，如等式(1)所示那样用于进行插值)。所述2D LUT的输出可为位置Ux处的c分量的被校正的和上采样的值。
可在根据以下公式执行的相位对准内使用最邻近色度样本值：
c'(U4)＝c(D0)
c'(U5)＝c(D0)
c'(U8)＝c(D2)
c'(U9)＝c(D2)
图10示出了用于在编码器处估计2D LUT的示例性示意图。可从DPB取回4:2:0格式的重构图片。该重构图片可包含多个亮度及色度样本。所述色度样本可被上采样和/或与所述亮度样本进行对准。该被上采样和/或对准的色度样本以及相对应的亮度样本(例如，其现在与相应采样位置处的色度样本相对准)可被用作三角插值法的参考值。可使用具有对准的色度及亮度值的上采样重构图片以及4:4:4格式(例如，所述输入视频信号)的原始图片进行LUT参数估计。例如，可通过使用三角插值法将在此结合3D LUT估计描述的最小二乘法应用于2D LUT参数估计。在示例性实施中，公式(G)内的插值函数fP(c)可被替换为公式(1)或(2)内或公式(1)与(2)的组合内描述的三角插值法。公式(G)内被表示为“x”的输入信号可被替换为亮度及色度对(y,c)(例如，色度样本可被上采样或与亮度样本相位对准)。被表示为“z(c)”的输出信号可被替换为4:4:4色度格式中的色度分量c的输出信号。公式(H)至(P)内描述的有关最小二乘法过程的其他操作(包括矩阵压缩及解压、对于矩阵转置过程的稳定性考虑等等)可以以基本类似于3D LUT参数估计过程的方式而被执行。
在此描述的上采样、相位对准、和/或颜色校正技术可降低编码过程和/或系统的复杂度。例如，在一些实施例中，基于2D LUT的技术可针对每一LUT插值执行两个乘法操作。相位对准堪比于两个方向上的2-tap双线性滤波，且可通过比特偏移(例如，可跳过乘法操作)而被实施。
可由单独的设备执行视频解码及后处理。例如，解码器可对视频信号进行解码，且显示设备可执行上采样和/或上采样之后的附加处理。基于2D LUT的颜色校正可在4:2:0色度格式内且在色度上采样之前被执行，以例如最小化显示设备上的变化。
图11示出了用于编码及解码HDR信号以及在色度上采样之前(例如，在4:2:0色度格式内)应用基于2D LUT的颜色校正的示例视图。例如，由于色度子采样，4:2:0采样网格内的亮度及色度位置可能是未对准或相位偏移的(例如，如图9所示及在此所描述的)。该未对准可能会影响LUT参数估计的精确度和/或颜色校正处理的有效性。因此，可获取4:2:0样本网格内针对一个或多个色度采样位置(例如，针对每一色度采样位置)的亮度样本，从而进行亮度与色度对准。最终的亮度及色度样本可用作2D LUT估计的参考和/或颜色校正的输入。可使用2-tap双线性插值滤波器来得出色度位置处的亮度样本。例如，可使用y(Ux)表示亮度采样位置Ux处的亮度样本值。可根据以下得出表示色度采样位置Dx(例如，图9所示的D0)处的亮度样本值的亮度样本y(Dx)：
y(D0)＝(y(U0)+y(U4)+1)/2 (7)
然后，可使用y(D0)以及c(D0)作为2D LUT的输入，以确定色度分量的校正值，其中c(D0)为位置D0处的色度样本值(例如，Cb或Cr)。
在上采样之前应用颜色校正可降低相关处理和/或系统的复杂度，因为色度分辨率较低。在编码器侧，可将4:2:0格式的重构图片以及原始4:2:0图片用于估计2D LUT参数。可在2D LUT参数估计期间，应用诸如在此结合等式(7)描述的相位对准操作(例如，以将亮度样本位置与色度样本位置进行对准)。如在此所描述的，可通过将等式(G)内的插值函数fP(c)替换为等式(1)或(2)或者等式(1)与(2)的组合内所述的三角插值法来执行所述2DLUT参数估计。等式(G)内被表示为“x”的输入信号可被替换为亮度及色度对(y,c)(例如，亮度样本y可与色度样本相位对准)。被表示为“z(c)”的输出信号可被替换为4:2:0色度格式的色度分量c的输出信号。有关等式(H)至(P)内所述的最小二乘法处理的其他操作(包括矩阵压缩及解压缩、对于矩阵转置处理的稳定性考虑等)可以以基本类似于3D LUT参数估计处理相类似的方式被执行。
可通过各种方式用信号传送在此所述的2D LUT。例如，可在序列级(例如，在序列参数集(SPS)内)、在图片级(例如，在图片参数集(PPS)内)、和/或在单独的网络抽象层(NAL)单元分组(例如，在适应性参数集(APS)内)用信号传送所述LUT。可在一个或多个带外消息(诸如，补充增强信息(SEI)消息)内用信号传送所述2D LUT。可在一场景内的多个图片之间共享所述2D LUT。当发生场景变化时，可对所述2D LUT进行更新，因为颜色域的特性可能已经改变(例如，颜色特性可能已受到场景的明度的影响)。编码器可决定当前图片是应该重用之前用信号传送的2D LUT还是应该使用新的2D LUT。例如，假设编码器之前已用信号传送N个LUT(被表示为{Lut_0,Lut_1,…,Lut_N-1})。对于当前图片而言，编码器可基于当前重构图片及原始4:4:4或4:2:0图片，生成新的LUT Lut_new。可计算LUT重用及更新的率失真成本，例如如下所示：
Cost_reuse＝Min(Distortion(CC(curr,Lut_i),orig)),i∈[0，N-1]
Cost_update＝Distortion(CC(curr,Lut_new),orig))+λ*Bit(Lut_new)CC(x,y)可表示利用LUT y向图片x应用颜色校正，以生成颜色校正后的图片。可基于误差平方和(SSE)计算失真。λ可为比特的权重，且可有关于编码内所使用的量化参数。Bits(y)可为用于LUT y的编码比特的数量。基于所述计算，编码器可决定重用LUT并发送LUT索引以指示哪一之前的LUT可被重用于当前图片。编码器可决定使用新的LUT并用信号传送该LUT(例如，通过使用新的索引或重写之前用信号传送的LUT之一)。
表3、4及5示出了可用于基于2D LUT颜色校正和/或该2D LUT编码的示例性语法及定义。如表3所示，可提供指示(例如，CC_LUT_enabled_flag)以指示是否启用基于2D LUT的颜色校正。如果启用该颜色校正，则可定义亮度和/或色度分量的相应输入/输出比特深度。该比特深度可指示相应亮度和/或色度分量的最大值(例如，在所述2D LUT的输入和/或输出处)。例如，变量input_luma_bitdepth_minus8的值为0可指示输入亮度比特深度等于8，而2D LUT的最大输入亮度值为255。类似的，变量input_chroma_bitdepth_minus8的值为0可指示输入色度比特深度等于8，而2D LUT的最大输入色度值为255。在输出处，变量output_chroma_bitdepth_minus8的值为0可指示2D LUT的最大输出色度值可为255(例如，输出色度值可被限制在255处)。输出处的亮度分量的比特深度(例如，output_luma_bitdepth_minus8)可以是可选的(例如，由于2D LUT可仅输出校正后的色度值)。
可提供有关2D LUT是与色度维度的Cb分量相关联(例如，cb_LUT_enabled_flag)还是与色度维度的Cr分量相关联(例如，cr_LUT_enabled_flag)的附加指示。基于该指示，可执行相应的操作以对所述2D LUT进行编码(例如，经由表4所示的2D_LUT(…)函数进行递归地编码)。例如，所述编码过程可起始于四叉树的第一分割层(例如，层0，其可包含图5所示的顶点S0-S3)。之后，所述编码可继续递归通过其它层(例如，图5的P4-P7等)，直至指示已到达最大分割/分解数量的指示(例如，split_flag)。
在示例性实施中，2D LUT的项(例如，与四叉树分割后的2D颜色空间的顶点相关联的校正后的色度值)可被存储在一维阵列内和/或被从一维阵列取回(例如，经由光栅扫描)。在编码期间，可例如经由诸如getVertex2D(comp,layer,y,x,idx)的函数从所述一维阵列取回这些项。例如，对于分割后的2D颜色空间的矩形R而言，输入参数“comp”可指示与2D LUT相关联的相关色度分量(例如，Cb或Cr)。输入参数“y”及“x”可分别指示矩形R的第一顶点的亮度及色度坐标。例如，对于图5所示的顶点S0，y及x值均可为0，指示该顶点位于2D颜色空间的左下角。“layer(层)”可指示矩形R可能属于的四叉树的相关分割水平(例如，获取矩阵R所进行的分解次数)“idx”可指示将被取回的顶点的索引(例如，idx可取0至3之间的值以表示矩形R的四个顶点)。因此，可使用示例性语法内的函数getVertex2D(comp,layer,y,x,idx)来确定矩阵R的第“idx”个顶点(例如，其可位于0至3之间)的位置(例如，在一维阵列内的位置)，其可位于四叉树的第“layer”分割水平上。一旦确定了顶点的位置，则可如在此所述那样对该位置处的相应值进行编码(例如，经由预测编码)。
例如，通过使用以下伪代码示出了getVertex2D()的功能：
Figure GDA0002229726080000251
其中dy及dx可表示顶点从第一顶点(位于位置(y,x)处)的相应偏移。该偏移值可基于最大亮度值(例如，max_value_luma)及最大色度值(例如，max_value[comp])、特定分割水平(或层)以及顶点索引i而被指定(例如，如表5所示)。
表3 2D LUT信令的示例性语法
表4 2D_LUT()的示例性语法元素
Figure GDA0002229726080000271
表5 dy,dx的定义
i dy[i] dx[i]
0 0 0
1 (max_value_luma+1)>>(1+layer) (max_value[comp]+1)>>(1+layer)
示例性语法内使用的变量可被解释如下。可在比特流内用信号发送变量(例如，CC_LUT_enabled_flag)以指示是否启用利用LUT的颜色校正。解码器可基于该变量的值执行不同的操作。例如，如果解码器基于该变量决定不启用颜色校正，则解码器可跳过与基于LUT的颜色校正相关联的操作(例如，由于LUT可能未被用信号发送)。如果基于该变量决定启用颜色校正，则解码器可执行与基于LUT的颜色校正相关联的操作(例如，提取LUT并将其应用于一个或多个样本位置)。
变量(例如，input_luma_bitdepth_minus8)可被用信号发送以指定输入信号的亮度比特深度。可基于该变量得出一个或多个其他变量(例如，input_luma_bitdepth可被计算作为(input_luma_bitdepth_minus8+8))。可用信号发送另一变量(例如，input_chroma_bitdepth_minus8)以指定输入信号的色度比特深度。可基于该变量得出一个或多个其他变量(例如，input_chroma_bitdepth可被计算作为(input_chroma_bitdepth_minus8+8))。
变量(例如，output_luma_bitdepth_minus8)可被用信号发送以指定输出信号的亮度比特深度。可基于该变量得出一个或多个其他变量(例如，output_luma_bitdepth可被计算作为(output_luma_bitdepth_minus8+8))。可用信号发送一变量(例如，output_chroma_bitdepth_minus8)以指定输出信号的色度比特深度。可基于该变量得出一个或多个其他变量(例如，output_chroma_bitdepth可被计算作为(output_chroma_bitdepth_minus8+8))。
变量(例如，LUT_quant_minus1)可被用信号发送以指定残余信号的量化步长。重构的LUT'可被计算作为LUT'＝pred+residual_comp*(LUT_quant_minus1+1)，其中pred可表示从母体矩形(parent rectangle)得出的预测值，而residual_comp可表示编码后的残余值。
变量(例如，cb_LUT_enabled_flag)可被用信号发送以指示是否针对Cb分量启用颜色校正。如果不启用针对Cb的颜色校正，则可不用信号发送针对Cb分量的LUT，且可跳过相关处理。max_layer_idx0[0]可指定针对Cb分量的LUT的四叉树内的亮度分量层的最大数量。max_layer_idx1[0]可指定针对Cb分量的LUT的四叉树内的Cb层的最大数量。
变量(例如，cr_LUT_enabled_flag)可被用信号发送以指示是否针对Cr分量启用颜色校正。如果不启用针对Cr的颜色校正，则可不用信号发送针对Cr分量的LUT，且可跳过相关处理。max_layer_idx0[0]可指定针对Cr分量的LUT的四叉树内的亮度分量层的最大数量。max_layer_idx1[0]可指定针对Cr分量的LUT的四叉树内的Cr层的最大数量。
变量(例如，residual_comp)可被用信号发送以指定顶点处编码后的残余值，且可用于LUT重构。变量(例如，split_flag)可指示当前层处的四叉树是否可被分解。如果split_flag为1，则当前层可被进一步分解。例如，可在一个维度或可在两个维度内对当前层进行分解。如果当前层编号小于维度的最大层数，则可在该维度对当前层进行分解。否则，可不在该维度对当前层进行分解。如果split_flag为0，可不对当前层进行分解。
可使用预测编码来对每一顶点处定义的LUT值进行编码。例如，为了对图5所示的矩形(P0,P1,P2,P3)的P0处的LUT值进行编码，可使用四叉树结构(S0,S1,S2,S3)所表示的母体矩形(例如，包围了矩形(P0,P1,P2,P3)的矩形)来预测P0处的LUT值(例如，由于该结构包含P0且S0,S1,S2,S3处的LUT值可能已经被用信号发送)。可使LUT'表示重构的LUT，可使用双线性插值法来得出P0,P4,P5,P6,P7的预测值，如下所示：
Pred(P0)＝(LUT'(S0)+LUT'(S1)+LUT'(S2)+LUT'(S3)+2)/4 (3)
Pred(P4)＝(LUT'(S0)+LUT'(S1)+1)/2 (4)
Pred(P5)＝(LUT'(S1)+LUT'(S2)+1)/2 (5)
Pred(P6)＝(LUT'(S2)+LUT'(S3)+1)/2 (6)
Pred(P7)＝(LUT'(S0)+LUT'(S3)+1)/2 (7)
P0处的LUT值与Pred(P0)之间的预测残余(例如，差异)可被编码并在比特流内通过信号发送。
图12A是可在其内实施和/或使用一个或多个所公开的实施例的例示通信系统100的图示。该通信系统100可以是为多个无线用户提供语音、数据、视频、消息传递、广播等内容的多址接入系统。该通信系统100通过共享包括无线带宽在内的系统资源来允许多个无线用户访问此类内容。作为示例，通信系统100可以使用一种或多种信道接入方法，例如码分多址(CDMA)、时分多址(TDMA)、频分多址(FDMA)、正交FDMA(OFDMA)、以及单载波FDMA(SC-FDMA)等等。
如图12A所示，通信系统100可以包括无线发射/接收单元(WTRU)102a、102b、102c和/或102d(其通常可被统称为WTRU 102)，无线电接入网络(RAN)103/104/105，核心网络106/107/109，公共交换电话网络(PSTN)108，因特网110以及其他网络112，但是应该了解，所公开的实施例设想了任意数量的WTRU、基站、网络和/或网络部件。每一个WTRU 102a、102b、102c和/或102d可以是被配置成在无线环境中工作和/或通信的任何类型的设备。例如，WTRU 102a、102b、102c和/或102d可以被配置成发射和/或接收无线信号，并且可以包括用户设备(UE)、移动站、固定或移动订户单元、寻呼机、蜂窝电话、个人数字助理(PDA)、智能电话、膝上型计算机、上网本、个人计算机、无线传感器以及消费类电子设备等等。
通信系统100还可以包括基站114a和基站114b。每一个基站114a、114b可以是被配置成通过与WTRU 102a、102b、102c和/或102d中的至少一个无线对接来促使接入一个或多个通信网络的任何类型的设备，所述网络则可以是核心网络106/107/109、因特网110和/或网络112。作为示例，基站114a和/或114b可以是基地收发信台(BTS)、节点B、e节点B、家庭节点B、家庭e节点B、站点控制器、接入点(AP)、无线路由器等等。虽然每一个基站114a、114b都被描述成是单个部件，但是应该了解，基站114a、114b可以包括任何数量的互连基站和/或网络部件。
基站114a可以是RAN 103/104/105的一部分，并且所述RAN还可以包括其他基站和/或网络部件(未显示)，例如基站控制器(BSC)、无线电网络控制器(RNC)、中继节点等等。基站114a和/或基站114b可以被配置成在名为小区(未显示)的特定地理区域内部发射和/或接收无线信号。小区可被进一步划分成小区扇区。例如，与基站114a关联的小区可分为三个扇区。由此，在一个实施例中，基站114a可以包括三个收发信机，也就是说，每一个收发信机对应于小区的一个扇区。在另一个实施例中，基站114a可以使用多输入多输出(MIMO)技术，由此可以为小区的每个扇区使用多个收发信机。
基站114a和/或114b可以经由空中接口115/116/117来与一个或多个WTRU 102a、102b、102c和/或102d进行通信，该空中接口可以是任何适当的无线通信链路(例如射频(RF)、微波、红外线(IR)、紫外线(UV)、可见光等等)。所述空中接口115/116/117可以用任何适当的无线电接入技术(RAT)来建立。
更具体地说，如上所述，通信系统100可以是多址接入系统，并且可以使用一种或多种信道接入方案，例如CDMA、TDMA、FDMA、OFDMA、SC-FDMA等等。举例来说，RAN 103/104/105中的基站114a与WTRU 102a、102b和/或102c可以实施诸如通用移动电信系统(UMTS)陆地无线电接入(UTRA)之类的无线电技术，并且该技术可以使用宽带CDMA(WCDMA)来建立空中接口115/116/117。WCDMA可以包括诸如高速分组接入(HSPA)和/或演进型HSPA(HSPA+)之类的通信协议。HSPA则可以包括高速下行链路分组接入(HSDPA)和/或高速上行链路分组接入(HSUPA)。
基站114a与WTRU 102a、102b和/或102c可以实施演进型UMTS陆地无线电接入(E-UTRA)之类的无线电技术，该技术可以使用长期演进(LTE)和/或先进LTE(LTE-A)来建立空中接口115/116/117。
基站114a与WTRU 102a、102b和/或102c可以实施IEEE 802.16(全球微波接入互操作性(WiMAX))、CDMA2000、CDMA2000 1X、CDMA2000 EV-DO、临时标准2000(IS-2000)、临时标准95(IS-95)、临时标准856(IS-856)、全球移动通信系统(GSM)、用于GSM增强数据速率演进(EDGE)、GSM EDGE(GERAN)等无线电接入技术。
作为示例，图12A中的基站114b可以是无线路由器、家庭节点B、家庭e节点B或接入点，并且可以使用任何适当的RAT来促成局部区域中的无线连接，例如营业场所、住宅、交通工具、校园等等。在一个实施例中，基站114b与WTRU 102c、102d可以通过实施诸如IEEE802.11之类的无线电技术来建立无线局域网(WLAN)。在另一个实施例中，基站114b与WTRU102c、102d可以通过实施诸如IEEE 802.15之类的无线电技术来建立无线个人局域网(WPAN)。在再一个实施例中，基站114b和WTRU 102c、102d可以通过使用基于蜂窝的RAT(例如WCDMA、CDMA2000、GSM、LTE、LTE-A等等)来建立微微小区或毫微微小区。如图12A所示，基站114b可以直接连接到因特网110。由此，基站114b未必需要经由核心网络106/107/109来接入因特网110。
RAN 103/104/105可以与核心网络106/107/109通信，所述核心网络可以是被配置成向一个或多个WTRU 102a、102b、102c和/或102d提供语音、数据、应用和/或借助网际协议的语音(VoIP)服务的任何类型的网络。例如，核心网络106/107/109可以提供呼叫控制、记账服务、基于移动位置的服务、预付费呼叫、因特网连接、视频分发等等，和/或执行用户验证之类的高级安全功能。虽然在图12A中没有显示，但是应该了解，RAN103/104/105和/或核心网络106/107/109可以直接或间接地和其他那些与RAN103/104/105使用相同RAT或不同RAT的RAN进行通信。例如，除了与使用E-UTRA无线电技术的RAN103/104/105连接之外，核心网络106/107/109还可以与别的使用GSM无线电技术的RAN(未显示)通信。
核心网络106/107/109还可以充当供WTRU 102a、102b、102c和/或102d接入PSTN108、因特网110和/或其他网络112的网关。PSTN 108可以包括提供简易老式电话服务(POTS)的电路交换电话网络。因特网110可以包括使用公共通信协议的全球性互联计算机网络设备系统，所述协议可以是TCP/IP互连网协议族中的传输控制协议(TCP)、用户数据报协议(UDP)和网际协议(IP)。网络112可以包括由其他服务供应商拥有和/或运营的有线或无线通信网络。例如，网络112可以包括与一个或多个RAN相连的另一个核心网络，所述一个或多个RAN可以与RAN 103/104/105使用相同RAT或不同RAT。
通信系统100中一些或所有WTRU 102a、102b、102c和/或102d可以包括多模能力，换言之，WTRU 102a、102b、102c和/或102d可以包括在不同无线链路上与不同无线网络通信的多个收发信机。例如，图12A所示的WTRU 102c可以被配置成与使用基于蜂窝的无线电技术的基站114a通信，以及与可以使用IEEE 802无线电技术的基站114b通信。
图12B是例示WTRU 102的系统图示。如图12B所示，WTRU 102可以包括处理器118、收发信机120、发射/接收部件122、扬声器/麦克风124、数字键盘126、显示器/触摸板128、不可移除存储器130、可移除存储器132、电源134、全球定位系统(GPS)芯片组136以及其他周边设备138。应该了解的是，WTRU 102还可以包括前述部件的任何子组合。这里的实施例还设想基站114a和114b和/或基站114a和114b所代表的节点可以包括在图12B中描绘以及在这里描述的一些或所有部件，特别地，基站114a和114b所代表的节点可以是收发信台(BTS)、节点B、站点控制器、接入点(AP)、家庭节点B、演进型家庭节点B(e节点B)、家庭演进型节点B(HeNB)、家庭演进型节点B网关以及代理节点，但其并不局限于此。
处理器118可以是通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核心关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、其他任何类型的集成电路(IC)、状态机等等。处理器118可以执行信号编码、数据处理、功率控制、输入/输出处理和/或其他任何能使WTRU102在无线环境中工作的功能。处理器118可以耦合至收发信机120，收发信机120可以耦合至发射/接收部件122。虽然图12B将处理器118和收发信机120描述成是独立组件，但是应该了解，处理器118和收发信机120可以集成在一个电子组件或芯片中。
发射/接收部件122可以被配置成经由空中接口115/116/117来发射或接收去往或来自基站(例如基站114a)的信号。举个例子，在一个实施例中，发射/接收部件122可以是被配置成发射和/或接收RF信号的天线。在另一个实施例中，作为示例，发射/接收部件122可以是被配置成发射和/或接收IR、UV或可见光信号的放射器/检测器。在再一个实施例中，发射/接收部件122可以被配置成发射和接收RF和光信号。应该了解的是，发射/接收部件122可以被配置成发射和/或接收无线信号的任何组合。
此外，虽然在图12B中将发射/接收部件122描述成是单个部件，但是WTRU 102可以包括任何数量的发射/接收部件122。更具体地说，WTRU 102可以使用MIMO技术。因此，在一个实施例中，WTRU 102可以包括两个或多个经由空中接口115/116/117来发射和接收无线电信号的发射/接收部件122(例如多个天线)。
收发信机120可以被配置成对发射/接收部件122将要发射的信号进行调制，以及对发射/接收部件122接收的信号进行解调。如上所述，WTRU 102可以具有多模能力。因此，收发信机120可以包括允许WTRU 102借助诸如UTRA和IEEE 802.11之类的多种RAT来进行通信的多个收发信机。
WTRU 102的处理器118可以耦合至扬声器/麦克风124、数字键盘126和/或显示器/触摸板128(例如液晶显示器(LCD)显示单元或有机发光二极管(OLED)显示单元)，并且可以接收来自这些部件的用户输入数据。处理器118还可以向扬声器/麦克风124、数字键盘126和/或显示器/触摸板128输出用户数据。此外，处理器118可以从任何适当的存储器(例如不可移除存储器130和/或可移除存储器132)中存取信息，以及将信息存入这些存储器。所述不可移除存储器106可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘或是其他任何类型的记忆存储设备。可移除存储器132可以包括订户身份模块(SIM)卡、记忆棒、安全数字(SD)记忆卡等等。在其他实施例中，处理器118可以从那些并非实际位于WTRU 102的存储器访问信息，以及将数据存入这些存储器，其中举例来说，所述存储器可以位于服务器或家庭计算机(未显示)。
处理器118可以接收来自电源134的电力，并且可以被配置分发和/或控制用于WTRU 102中的其他组件的电力。电源134可以是为WTRU 102供电的任何适当的设备。举例来说，电源134可以包括一个或多个干电池组(如镍镉(Ni-Cd)、镍锌(Ni-Zn)、镍氢(NiMH)、锂离子(Li-ion)等等)、太阳能电池、燃料电池等等。
处理器118还可以与GPS芯片组136耦合，该芯片组可以被配置成提供与WTRU 102的当前位置相关的位置信息(例如经度和纬度)。作为来自GPS芯片组136的信息的补充或替换，WTRU 102可以经由空中接口115/116/117接收来自基站(例如基站114a、114b)的位置信息，和/或根据从两个或多个附近基站接收的信号定时来确定其位置。应该了解的是，WTRU102可以借助任何适当的定位方法来获取位置信息。
处理器118还可以耦合到其他周边设备138，这其中可以包括提供附加特征、功能和/或有线或无线连接的一个或多个软件和/或硬件模块。例如，周边设备138可以包括加速度计、电子指南针、卫星收发信机、数码相机(用于照片或视频)、通用串行总线(USB)端口、振动设备、电视收发信机、免提耳机、
Figure GDA0002229726080000361
模块、调频(FM)无线电单元、数字音乐播放器、媒体播放器、视频游戏机模块、因特网浏览器等等。
图12C是根据一个实施例的RAN 103和核心网络106的系统图示。如上所述，RAN103可以使用E-UTRA无线电技术并经由空中接口115来与WTRU 102a、102b和/或102c进行通信。并且RAN 103还可以与核心网络106通信。如图12C所示，RAN 103可以包括节点B 140a、140b和/或140c，其中每一个节点B都可以包括经由空中接口115与WTRU 102a、102b和/或102c通信的一个或多个收发信机。节点B 140a、140b和/或140c中的每一个都可以关联于RAN 103内部的特定小区(未显示)。RAN 103还可以包括RNC 142a、142b。应该了解的是，在保持与实施例相一致的同时，RAN 103可以包括任何数量的节点B和RNC。
如图12C所示，节点B 140a和/或140b可以与RNC 142a进行通信。此外，节点B 140c还可以与RNC 142b进行通信。节点B 140a、140b和/或140c可以经由Iub接口来与相应的RNC142a、142b进行通信。RNC 142a、142b彼此则可以经由Iur接口来进行通信。每一个RNC142a、142b都可以被配置成控制与之相连的相应节点B 140a、140b和/或140c。另外，每一个RNC 142a、142b都可被配置成执行或支持其他功能，例如外环功率控制、负载控制、许可控制、分组调度、切换控制、宏分集、安全功能、数据加密等等。
图12C所示的核心网络106可以包括媒体网关(MGW)144、移动交换中心(MSC)146、服务GPRS节点交换中心(SGSN)148、和/或网关GPRS支持节点(GGSN)150。虽然前述每个部件都被描述成是核心网络106的一部分，但是应该了解，核心网络运营商之外的其他实体也可以拥有和/或运营这其中的任一部件。
RAN 103中的RNC 142a可以经由IuCS接口连接到核心网络106中的MSC 146。MSC146则可以连接到MGW 144。MSC 146和MGW 144可以为WTRU 102a、102b和/或102c提供针对PSTN 108之类的电路交换网络的接入，以便促成WTRU 102a、102b和/或102c与传统陆线通信设备间的通信。
RAN 103中的RNC 142a还可以经由IuPS接口连接到核心网络106中的SGSN 148。所述SGSN 148则可以连接到GGSN 150。SGSN 148和GGSN 150可以为WTRU 102a、102b和/或102c提供针对因特网110之类的分组交换网络的接入，以便促成WTRU 102a、102b和/或102c与启用IP的设备之间的通信。
如上所述，核心网络106还可以连接到网络112，该网络可以包括其他服务供应商拥有和/或运营的其他有线或无线网络。
图12D是根据一个实施例的RAN 104以及核心网络107的系统图示。如上所述，RAN104可以使用E-UTRA无线电技术并经由空中接口116来与WTRU 102a、102b和/或102c进行通信。此外，RAN 104还可以与核心网络107通信。
RAN 104可以包括e节点B 160a、160b和/或160c，但是应该了解，在保持与实施例相一致的同时，RAN 104可以包括任何数量的e节点B。每一个e节点B 160a、160b和/或160c可以包括一个或多个收发信机，以便经由空中接口116来与WTRU 102a、102b和/或102c通信。在一个实施例中，e节点B 160a、160b和/或160c可以实施MIMO技术。由此，举例来说，e节点B 160a可以使用多个天线来向WTRU 102a发射无线信号，以及接收来自WTRU 102a的无线信号。
每一个e节点B 160a、160b和/或160c可以关联于特定小区(未显示)，并且可以被配置成处理无线电资源管理决策、切换决策、上行链路和/或下行链路中的用户调度等等。如图12D所示，e节点B 160a、160b和/或160c彼此可以在X2接口上进行通信。
图12D所示的核心网络107可以包括移动性管理网关(MME)162、服务网关164以及分组数据网络(PDN)网关166。虽然上述每一个部件都被描述成是核心网络107的一部分，但是应该了解，核心网络运营商之外的其他实体同样可以拥有和/或运营这其中的任一部件。
MME 162可以经由S1接口来与RAN 104中的每一个e节点B 160a、160b和/或160c相连，并且可以充当控制节点。例如，MME 162可以负责验证WTRU 102a、102b和/或102c的用户，激活/去激活承载，在WTRU 102a、102b和/或102c的初始附着过程中选择特定服务网关等等。所述MME 162还可以提供控制平面功能，以便在RAN 104与使用了GSM或WCDMA之类的其他无线电技术的其他RAN(未显示)之间执行切换。
服务网关164可以经由S1接口连接到RAN 104中的每一个e节点B 160a、160b和/或160c。该服务网关164通常可以路由和转发去往/来自WTRU 102a、102b和/或102c的用户数据分组。此外，服务网关164还可以执行其他功能，例如在e节点B间的切换过程中锚定用户面，在下行链路数据可供WTRU 102a、102b和/或102c使用时触发寻呼，管理和存储WTRU102a、102b和/或102c的上下文等等。
服务网关164还可以连接到PDN网关166，该PDN网关可以为WTRU 102a、102b和/或102c提供针对诸如因特网110之类的分组交换网络的接入，以便促成WTRU 102a、102b和/或102c与启用IP的设备之间的通信。
核心网络107可以促成与其他网络的通信。例如，核心网络107可以为WTRU 102a、102b和/或102c提供针对PSTN 108之类的电路交换网络的接入，以便促成WTRU 102a、102b和/或102c与传统陆线通信设备之间的通信。作为示例，核心网络107可以包括IP网关(例如IP多媒体子系统(IMS)服务器)或与之通信，其中所述IP网关充当了核心网络107与PSTN108之间的接口。此外，核心网络107还可以为WTRU 102a、102b和/或102c提供针对网络112的接入，其中该网络可以包括其他服务供应商拥有和/或运营的其他有线或无线网络。
图12E是根据一个实施例的RAN 105和核心网络109的系统图示。RAN 105可以是通过使用IEEE 802.16无线电技术而在空中接口117上与WTRU 102a、102b和/或102c通信的接入服务网络(ASN)。如以下进一步论述的那样，WTRU 102a、102b和/或102c，RAN 105以及核心网络109的不同功能实体之间的通信链路可被定义成参考点。
如图12E所示，RAN 105可以包括基站180a、180b和/或180c以及ASN网关182，但是应该了解，RAN 105可以包括任何数量的基站及ASN网关。每一个基站180a、180b和/或180c都可以关联于RAN 105中的特定小区(未显示)，并且每个基站都可以包括一个或多个收发信机，以便经由空中接口117来与WTRU 102a、102b和/或102c进行通信。在一个实施例中，基站180a、180b和/或180c可以实施MIMO技术。由此，举例来说，基站180a可以使用多个天线来向WTRU 102a发射无线信号，以及接收来自WTRU 102a的无线信号。基站180a、180b和/或180c还可以提供移动性管理功能，例如切换触发、隧道建立、无线电资源管理、业务量分类、服务质量(QoS)策略实施等等。ASN网关182可以充当业务量聚集点，并且可以负责实施寻呼、订户简档缓存、针对核心网络109的路由等等。
WTRU 102a、102b和/或102c与RAN 105之间的空中接口117可被定义成是实施IEEE802.16规范的R1参考点。另外，每一个WTRU 102a、102b和/或102c都可以与核心网络109建立逻辑接口(未显示)。WTRU 102a、102b和/或102c与核心网络109之间的逻辑接口可被定义成R2参考点，该参考点可以用于验证、许可、IP主机配置管理和/或移动性管理。
每一个基站180a、180b和/或180c之间的通信链路可被定义成R8参考点，该参考点包含了用于促成WTRU切换以及基站之间的数据传送的协议。基站180a、180b和/或180c与ASN网关182之间的通信链路可被定义成R6参考点。所述R6参考点可以包括用于促成基于与每一个WTRU 102a、102b和/或102c相关联的移动性事件的移动性管理的协议。
如图12E所示，RAN 105可以连接到核心网络109。RAN 105与核心网络109之间的通信链路可以被定义成R3参考点，作为示例，该参考点包含了用于促成数据传送和移动性管理能力的协议。核心网络109可以包括移动IP家用代理(MIP-HA)184、验证许可记帐(AAA)服务器186以及网关188。虽然前述每个部件都被描述成是核心网络109的一部分，但是应该了解，核心网络运营商以外的实体也可以拥有和/或运营这其中的任一部件。
MIP-HA可以负责实施IP地址管理，并且可以允许WTRU 102a、102b和/或102c在不同的ASN和/或不同的核心网络之间漫游。MIP-HA 184可以为WTRU 102a、102b和/或102c提供针对因特网110之类的分组交换网络的接入，以便促成WTRU 102a、102b和/或102c与启用IP的设备之间的通信。AAA服务器186可以负责实施用户验证以及支持用户服务。网关188可以促成与其他网络的互通。例如，网关188可以为WTRU 102a、102b和/或102c提供对于PSTN108之类的电路交换网络的接入，以便促成WTRU 102a、102b和/或102c与传统陆线通信设备之间的通信。另外，网关188还可以为WTRU 102a、102b和/或102c提供针对网络112的接入，其中该网络可以包括其他服务供应商拥有和/或运营的其他有线或无线网络。
虽然在图12E中没有显示，但是应该了解，RAN 105可以连接到其他ASN，并且核心网络109可以连接到其他核心网络。RAN 105与其他ASN之间的通信链路可被定义成R4参考点，该参考点可以包括用于协调WTRU 102a、102b和/或102c在RAN 105与其他ASN之间的移动的协议。核心网络109与其他核心网络之间的通信链路可以被定义成R5参考点，该参考点可以包括用于促成归属核心网络与被访核心网络之间互通的协议。
虽然在上文中描述了采用特定组合的特征和要素，但是本领域普通技术人员将会认识到，每一个特征或要素既可以单独使用，也可以与其他特征和要素进行任何组合。此外，这里描述的方法可以在引入计算机可读介质中以供计算机或处理器运行的计算机程序、软件或固件中实施。关于计算机可读媒体的示例包括电信号(经由有线或无线连接传送)以及计算机可读存储介质。关于计算机可读存储媒体的示例包括但不局限于只读存储器(ROM)、随机存取存储器(RAM)、寄存器、缓冲存储器、半导体存储设备、磁介质(例如内部硬盘和可拆卸磁盘)、磁光介质、以及光介质(例如CD-ROM碟片和数字多用途碟片(DVD))。与软件关联的处理器可以用于实施用于WTRU、UE、终端、基站、RNC或任何计算机主机的射频收发信机。

Claims (15)

1.一种用于处理视频内容的方法，该方法包括：
接收视频比特流，该视频比特流包括第一亮度样本、第一色度样本、以及与用于产生校正后的色度值的二维查找表2D LUT相关联的多个残余值，其中该2D LUT定义了与所述视频内容的2D颜色空间相关联的亮度维度及色度维度，其中所述2D颜色空间的特征在于与不同分割水平相关联的多个矩形单元，且其中所述残余值与所述矩形单元的相应顶点相关联；
基于所述视频比特流，确定与所述2D颜色空间的第一矩形单元的所述顶点相对应的样本值，所述第一矩形单元与第一分割水平相关联；
确定所述2D LUT的校正后的样本值，其中该确定包括：
通过向与所述第一矩形单元的所述顶点相对应的所述样本值应用双线性插值法，得出与第二分割水平的一个或多个第二矩形单元的所述顶点相对应的预测值，所述一个或多个第二矩形单元被所述第一矩形单元包围；
基于所得出的针对那些矩形单元的所述预测值以及与那些矩形单元相关联的所述残余值，计算所述一个或多个第二矩形单元的所述顶点处的校正后的样本值；基于所述第一亮度样本或所述第一色度样本中的至少一者，确定至所述2D LUT的输入亮度值及输入色度值，其中所述输入亮度值及所述输入色度值被对准至同一采样位置；基于所述2D LUT的所述校正后的样本值、所述输入色度值以及所述输入亮度值，产生输出色度值；以及
使用至少所述输出色度值，重构所述视频内容。
2.根据权利要求1所述的方法，进一步包括：
通过向所述一个或多个第二矩形单元的所述顶点处的所述校正后的样本值应用双线性插值法，得出与第三分割水平的一个或多个第三矩形单元的所述顶点相对应的预测值；以及
基于所得出的针对那些矩形单元的所述预测值及与那些矩形单元相关联的所述残余值，计算所述一个或多个第三矩形单元的所述顶点处的校正后的样本值。
3.根据权利要求1所述的方法，其中所述2D颜色空间的所述多个矩形单元通过使用四叉树分割而被得出。
4.根据权利要求1所述的方法，其中所述产生所述输出色度值包括：
从所述多个矩形单元确定所述输入亮度值及所述输入色度值所属于的矩形单元；以及
基于与所述确定的矩形单元的所述顶点相关联的色度分量值的子集、所述输入色度值、以及所述输入亮度值，经由三角插值法计算所述输出色度值。
5.根据权利要求4所述的方法，其中所述经由三角插值法计算所述输出色度值包括：
确定所述确定的矩形单元内侧所述输入亮度值及所述输入色度值所属于的第一三角形；以及
基于与所述第一三角形的所述顶点相关联的色度分量值、所述输入色度值、以及所述输入亮度值，应用三角插值法。
6.根据权利要求4所述的方法，其中所述经由三角插值法计算所述输出色度值包括：基于与所述确定的矩形单元的三个顶点相关联的色度分量值、所述输入色度值、以及所述输入亮度值，应用三角插值法。
7.根据权利要求1所述的方法，其中所述第一亮度样本及所述第一色度样本与不同的采样位置相关联。
8.一种用于处理视频内容的设备，该设备包括：
处理器，被配置为：
接收视频比特流，该视频比特流包括第一亮度样本、第一色度样本、以及与用于产生校正后的色度值的二维查找表2D LUT相关联的多个残余值，其中该2D LUT定义了与所述视频内容的2D颜色空间相关联的亮度维度及色度维度，其中所述2D颜色空间的特征在于与不同分割水平相关联的多个矩形单元，且其中所述残余值与所述矩形单元的相应顶点相关联；
基于所述视频比特流，确定与所述2D颜色空间的第一矩形单元的所述顶点相对应的样本值，所述第一矩形单元与第一分割水平相关联；
确定所述2D LUT的校正后的样本值，其中该确定包括：
通过向与所述第一矩形单元的所述顶点相对应的所述样本值应用双线性插值法，得出与第二分割水平的一个或多个第二矩形单元的所述顶点相对应的预测值，所述一个或多个第二矩形单元被所述第一矩形单元包围；
基于所得出的针对那些矩形单元的所述预测值以及与那些矩形单元相关联的所述残余值，计算所述一个或多个第二矩形单元的所述顶点处的校正后的样本值；
基于所述第一亮度样本或所述第一色度样本中的至少一者，确定至所述2D LUT的输入亮度值及输入色度值，其中所述输入亮度值及所述输入色度值被对准至同一采样位置；
基于所述2D LUT的所述校正后的样本值、所述输入色度值以及所述输入亮度值，产生输出色度值；以及
使用至少所述输出色度值，重构所述视频内容。
9.根据权利要求8所述的设备，其中所述处理器进一步被配置为：
通过向所述一个或多个第二矩形单元的所述顶点处的所述校正后的样本值应用双线性插值法，得出与第三分割水平的一个或多个第三矩形单元的所述顶点相对应的预测值；以及
基于所得出的针对那些矩形单元的所述预测值及与那些矩形单元相关联的所述残余值，计算所述一个或多个第三矩形单元的所述顶点处的校正后的样本值。
10.根据权利要求8所述的设备，其中所述2D颜色空间的所述多个矩形单元通过使用四叉树分割而被得出。
11.根据权利要求8所述的设备，其中所述处理器被配置为产生所述输出色度值包括所述处理器被配置为：
从所述多个矩形单元确定所述输入亮度值及所述输入色度值所属于的矩形单元；以及
基于与所述确定的矩形单元的所述顶点相关联的色度分量值的子集、所述输入色度值、以及所述输入亮度值，经由三角插值法计算所述输出色度值。
12.根据权利要求11所述的设备，其中所述处理器被配置为经由三角插值法计算所述输出色度值包括所述处理器被配置为：
确定所述确定的矩形单元内侧所述输入亮度值及所述输入色度值所属于的第一三角形；以及
基于与所述第一三角形的所述顶点相关联的色度分量值、所述输入色度值、以及所述输入亮度值，应用三角插值法。
13.根据权利要求11所述的设备，其中所述处理器被配置为经由三角插值法计算所述输出色度值包括所述处理器被配置为：基于与所述确定的矩形单元的三个顶点相关联的色度分量值、所述输入色度值、以及所述输入亮度值，应用三角插值法。
14.根据权利要求8所述的设备，其中所述第一亮度样本及所述第一色度样本与不同的采样位置相关联。
15.根据权利要求8所述的设备，其中所述处理器被进一步配置为接收第二色度样本，其中所述输入亮度值被设置为所述第一亮度样本，以及通过对至少所述第一色度样本及所述第二色度样本进行插值而确定所述输入色度值。
CN201680057549.1A 2015-10-02 2016-10-03 利用查找表进行颜色校正 Expired - Fee Related CN108141507B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562236665P 2015-10-02 2015-10-02
US62/236,665 2015-10-02
PCT/US2016/055143 WO2017059415A1 (en) 2015-10-02 2016-10-03 Color correction with a lookup table

Publications (2)

Publication Number Publication Date
CN108141507A CN108141507A (zh) 2018-06-08
CN108141507B true CN108141507B (zh) 2020-02-07

Family

ID=57218981

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680057549.1A Expired - Fee Related CN108141507B (zh) 2015-10-02 2016-10-03 利用查找表进行颜色校正

Country Status (4)

Country Link
US (1) US10462439B2 (zh)
EP (1) EP3357227A1 (zh)
CN (1) CN108141507B (zh)
WO (1) WO2017059415A1 (zh)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10397443B2 (en) * 2016-03-01 2019-08-27 Qualcomm Incorporated Methods and systems for generating color remapping information supplemental enhancement information messages for video
US10750173B2 (en) * 2016-03-07 2020-08-18 Koninklijke Philips N.V. Encoding and decoding HDR videos
GB2571313B (en) 2018-02-23 2022-09-21 Canon Kk New sample sets and new down-sampling schemes for linear component sample prediction
CN111937404B (zh) * 2018-03-26 2023-12-15 寰发股份有限公司 一种用于视频编码器或解码器的视频编解码方法及装置
WO2019229683A1 (en) 2018-05-31 2019-12-05 Beijing Bytedance Network Technology Co., Ltd. Concept of interweaved prediction
CN110662053B (zh) 2018-06-29 2022-03-25 北京字节跳动网络技术有限公司 使用查找表的视频处理方法、装置和存储介质
CN110662070B (zh) 2018-06-29 2022-03-18 北京字节跳动网络技术有限公司 用于查找表更新的编码的运动信息的选择
TWI744662B (zh) 2018-06-29 2021-11-01 大陸商北京字節跳動網絡技術有限公司 更新查閱資料表（lut）的條件
JP7295231B2 (ja) 2018-06-29 2023-06-20 北京字節跳動網絡技術有限公司 Ｌｕｔとａｍｖｐの間の相互作用
SG11202011714RA (en) 2018-06-29 2020-12-30 Beijing Bytedance Network Technology Co Ltd Partial/full pruning when adding a hmvp candidate to merge/amvp
KR20240005240A (ko) 2018-06-29 2024-01-11 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Lut에서의 모션 후보들의 검사 순서
EP4325860A3 (en) 2018-06-29 2024-03-06 Beijing Bytedance Network Technology Co., Ltd. Update of look up table: fifo, constrained fifo
JP7137008B2 (ja) 2018-06-29 2022-09-13 北京字節跳動網絡技術有限公司 １つまたは複数のルックアップテーブルを使用して、以前コーディングされた動き情報を順に記憶させてそれらを後続のブロックのコーディングに使用する概念
TWI731366B (zh) 2018-07-02 2021-06-21 大陸商北京字節跳動網絡技術有限公司 查找表的使用
CN111064959B (zh) 2018-09-12 2023-09-01 北京字节跳动网络技术有限公司 要检查多少个hmvp候选
CN117915081A (zh) 2019-01-02 2024-04-19 北京字节跳动网络技术有限公司 视频处理的方法
CN113273186A (zh) 2019-01-10 2021-08-17 北京字节跳动网络技术有限公司 Lut更新的调用
CN113383554B (zh) 2019-01-13 2022-12-16 北京字节跳动网络技术有限公司 LUT和共享Merge列表之间的交互
WO2020147772A1 (en) 2019-01-16 2020-07-23 Beijing Bytedance Network Technology Co., Ltd. Motion candidates derivation
CN113615193B (zh) 2019-03-22 2024-06-25 北京字节跳动网络技术有限公司 Merge列表构建和其他工具之间的交互
JP7446339B2 (ja) 2019-06-04 2024-03-08 北京字節跳動網絡技術有限公司 幾何学的分割モードコーディングを用いた動き候補リスト
EP3963890A4 (en) 2019-06-04 2022-11-02 Beijing Bytedance Network Technology Co., Ltd. BUILDING A LIST OF MOVEMENT CANDIDATES USING NEIGHBOR BLOCK INFORMATION
CN117354507A (zh) 2019-06-06 2024-01-05 北京字节跳动网络技术有限公司 视频编解码的运动候选列表构建
WO2020253861A1 (en) 2019-06-21 2020-12-24 Beijing Bytedance Network Technology Co., Ltd. Adaptive in-loop color-space transform for video coding
KR20220030995A (ko) 2019-07-14 2022-03-11 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩에서 변환 블록 크기 제한
US11223809B2 (en) * 2019-09-13 2022-01-11 Google Llc Video color mapping using still image
CN117596389A (zh) 2019-09-28 2024-02-23 北京字节跳动网络技术有限公司 视频编解码中的几何分割模式
CN114556915B (zh) 2019-10-10 2023-11-10 北京字节跳动网络技术有限公司 几何分割模式中被编解码的块的去块
CN117336478A (zh) 2019-11-07 2024-01-02 抖音视界有限公司 视频编解码的自适应环内颜色空间变换的量化特性
JP7453374B2 (ja) 2019-11-30 2024-03-19 北京字節跳動網絡技術有限公司 幾何学的分割を用いた簡易インター予測
CN114868395A (zh) 2019-12-24 2022-08-05 抖音视界(北京)有限公司 采用几何分割进行帧间预测的高级语法
DE202020102590U1 (de) * 2020-05-08 2020-06-05 André Froelian System und Systembox zum Empfangen von Videostreams
CN115706764B (zh) * 2021-08-12 2023-09-19 荣耀终端有限公司 视频处理方法、装置、电子设备和存储介质
CN114363702B (zh) * 2021-12-28 2023-09-08 上海网达软件股份有限公司 Sdr视频转换为hdr视频的方法、装置、设备及存储介质
WO2023244616A1 (en) 2022-06-14 2023-12-21 Dolby Laboratories Licensing Corporation Video delivery system capable of dynamic-range changes
CN115802173B (zh) * 2023-02-06 2023-04-25 北京小米移动软件有限公司 一种图像处理方法、装置、电子设备及存储介质
CN116489378B (zh) * 2023-06-21 2023-08-25 昇显微电子(苏州)股份有限公司 一种基于pca的3d lut数据压缩与解压缩方法和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5510850A (en) * 1989-05-25 1996-04-23 Canon Kabushiki Kaisha Video signal correction device
CN103959785A (zh) * 2011-11-01 2014-07-30 高通股份有限公司 在视频译码中用于色度分量的变换单位分割
WO2014166705A1 (en) * 2013-04-08 2014-10-16 Thomson Licensing Method for encoding and method for decoding a lut and corresponding devices
WO2015103124A1 (en) * 2014-01-02 2015-07-09 Vid Scale, Inc. Color space conversion

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5565931A (en) * 1994-10-31 1996-10-15 Vivo Software. Inc. Method and apparatus for applying gamma predistortion to a color image signal
US8437564B2 (en) * 2007-08-07 2013-05-07 Ntt Docomo, Inc. Image and video compression using sparse orthonormal transforms
US8600159B2 (en) * 2010-08-31 2013-12-03 Apple Inc. Color converting images
CN106942245A (zh) * 2012-01-17 2017-07-14 先正达参股股份有限公司 含螺杂环吡咯烷二酮的杀有害生物混合物
US9659354B2 (en) * 2015-03-20 2017-05-23 Intel Corporation Color matching for imaging systems
US10257526B2 (en) * 2015-05-01 2019-04-09 Disney Enterprises, Inc. Perceptual color transformations for wide color gamut video coding
US10536695B2 (en) * 2015-09-09 2020-01-14 Qualcomm Incorporated Colour remapping information supplemental enhancement information message processing
US20170105014A1 (en) * 2015-10-08 2017-04-13 Qualcomm Incorporated Luma-driven chroma scaling for high dynamic range and wide color gamut contents

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5510850A (en) * 1989-05-25 1996-04-23 Canon Kabushiki Kaisha Video signal correction device
CN103959785A (zh) * 2011-11-01 2014-07-30 高通股份有限公司 在视频译码中用于色度分量的变换单位分割
WO2014166705A1 (en) * 2013-04-08 2014-10-16 Thomson Licensing Method for encoding and method for decoding a lut and corresponding devices
WO2015103124A1 (en) * 2014-01-02 2015-07-09 Vid Scale, Inc. Color space conversion

Also Published As

Publication number Publication date
EP3357227A1 (en) 2018-08-08
US20180288381A1 (en) 2018-10-04
CN108141507A (zh) 2018-06-08
US10462439B2 (en) 2019-10-29
WO2017059415A1 (en) 2017-04-06

Similar Documents

Publication Publication Date Title
CN108141507B (zh) 利用查找表进行颜色校正
JP7448572B2 (ja) マルチレイヤビデオコーディングのコンバインドスケーラビリティ処理
JP6694031B2 (ja) ３次元ベースのカラーマッピングでのモデルパラメータ最適化のためのシステムおよび方法
CN107534769B (zh) 用于高动态范围视频译码的色度增强滤波
TWI764870B (zh) 視訊訊號處理裝置及方法
US10652588B2 (en) Inverse reshaping for high dynamic range video coding
US20180309995A1 (en) High dynamic range video coding
JP2015531569A (ja) ビデオコーディングにおけるクロマ信号強調のためのクロスプレーンフィルタリング

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200207

Termination date: 20201003