CN107995497B

CN107995497B - 高动态范围视频的屏幕自适应解码

Info

Publication number: CN107995497B
Application number: CN201711011667.1A
Authority: CN
Inventors: S·皮拉曼亚加姆; 宋青; 苏冠铭
Original assignee: Dolby Laboratories Licensing Corp
Current assignee: Dolby Laboratories Licensing Corp
Priority date: 2016-10-26
Filing date: 2017-10-26
Publication date: 2021-05-28
Anticipated expiration: 2037-10-26
Also published as: CN107995497A; US10244244B2; US20180115777A1

Abstract

描述了用于具有高动态范围(HDR)的视频的屏幕自适应解码的方法。所述方法将传统的合成和显示管理步骤结合到一个屏幕自适应合成步骤中。给定解码的标准动态范围(SDR)输入数据、与参考动态范围中的输出HDR数据的预测相关的元数据以及目标显示器的动态范围，生成新的输出亮度和色度预测函数，所述函数将输入SDR数据直接映射到目标动态范围中的输出HDR数据，从而消除了显示管理步骤。

Description

高动态范围视频的屏幕自适应解码

技术领域

本发明总体上涉及图像。更具体而言，本发明的实施例涉及通过在解码器中组合合成和显示映射函数来对具有高动态范围的视频信号进行屏幕自适应解码。

背景技术

如本文所使用的，术语“动态范围”(DR)可以涉及人类视觉系统(HVS)感知图像中的强度(例如，光亮度(luminance)、亮度(luma))范围的能力，例如从最暗的灰色(黑色)到最亮的白色(高亮)。在这个意义上，DR涉及“参考场景”的强度。DR还可以涉及显示设备充分或近似地渲染特定阔度的强度范围的能力。在这个意义上，DR涉及“参考显示器”的强度。除非在本文的描述中的任何点明确地指定特定意义具有特定意思，否则应当推断该术语可以在任一意义上(例如，可互换地)使用。

如本文所使用的，术语“高动态范围(HDR)”涉及跨越人类视觉系统(HVS)的大约14-15个数量级的DR阔度。在实践中，人类可以同时感知强度范围中的广泛阔度的DR可以相对于HDR稍微被截短。如本文所使用的，术语“增强动态范围(EDR)”或“视觉动态范围(VDR)”可以单独或可互换地涉及由包括眼睛运动在内的人类视觉系统(HVS)在场景或图像中可感知到的DR，从而允许场景或图像上的一些光适应变化。如本文所使用的，EDR可以涉及跨越5至6个数量级的DR。因此，虽然可能比真正参考场景的HDR稍微较窄，但是EDR仍然表示宽DR宽度并且也可以被称为HDR。

在实践中，图像包括一个或多个颜色分量(例如，亮度Y以及色度Cb和Cr)，其中每个颜色分量由每像素n位(例如，n＝8)的精度表示。使用线性光亮度编码，其中n≤8的图像(例如，彩色24位JPEG图像)被认为是标准动态范围的图像，而n>8的图像可以被认为是增强动态范围的图像。还可以使用高精度(例如，16位)浮点格式(诸如由工业光魔(IndustrialLight and Magic)开发的OpenEXR文件格式)来存储和分发EDR和HDR图像。

如本文所使用的，术语“元数据”涉及作为编码位流的一部分被发送并且协助解码器渲染经解码的图像的任何辅助信息。这种元数据可以包括但不限于颜色空间或色域信息、预测参数、参考显示参数和辅助信号参数，如本文所述的那些。

大多数消费者桌面显示器目前支持200至300cd/m²或尼特的光亮度。大多数消费者的HDTV的范围从300到500尼特，新型号达到1000尼特(cd/m²)。因此，这种常规显示器代表相对于HDR或EDR的较低动态范围(LDR)，也称为标准动态范围(SDR)。由于捕获装备(例如，相机)和HDR显示器(例如，来自杜比实验室的PRM-4200专业参考监视器)的进步，HDR内容的可用性增加，因此HDR内容可以被颜色分级并显示在支持较高动态范围(例如，从1000尼特到5000尼特或更多)的HDR显示器上。一般而言，非限制性地，本公开的方法涉及高于SDR的任何动态范围。

如本文所使用的，术语“重塑(reshaping)”是指对HDR图像的预处理操作，诸如缩放、量化等，以将其从其原始位深度映射到相同或更低位深度的图像，以允许使用现有的编码标准和设备进行更高效的编码。编码器使用的“前向重塑”参数可以作为编码位流的一部分通过使用元数据被传送到接收器，使得兼容的解码器可以应用“反向”或“后向重塑”操作来在其全动态范围内重建原始信号。重塑可以应用于HDR信号的任何一个或全部颜色分量。在一些实施例中，为了在解码的图像上保留原件的艺术意图，重塑也可以受要求的约束，例如，就颜色或“外观”的准确性而言，如在导演的监督下由着色师指定的那样。

在现有的视频后期制作工作流程管道(workflow pipeline)中，视频内容可以在与输出视频将被呈现的显示器非常不同的参考显示器上进行颜色分级。例如，工作室可以在高端的4000尼特显示器上对电影进行颜色分级；但是，最终用户(或目标)显示器可以仅为100尼特、200尼特或1000尼特。在典型的解码器中，在“组合器(composer)”中合成或重建4000尼特的HDR视频之后，单独的显示管理处理可以将4000尼特的HDR视频映射到目标显示器的高动态范围(比如，500尼特)。对于便携式设备或其它低端显示设备，这个处理可能太过计算密集。为了改进现有的解码方案，如本发明人认识到的，需要用于HDR内容的屏幕自适应解码的改进技术。

本节中描述的方法是可以追求的方法，但不一定是以前构想或追求的方法。因此，除非另有指示，否则不应当仅仅由于本节中描述的任何方法被包括在本节中而认为它们是现有技术。类似地，除非另有指示，否则关于一种或多种方法认定的问题不应当基于本节而认为已经在任何现有技术中被认定。

附图说明

在附图中示例性地而非限制性地示出了本发明的实施例，并且附图中相同的标号是指相似的要素，其中：

图1描绘了用于视频递送管道的示例过程；

图2描绘了根据本发明的实施例的HDR视频的屏幕自适应解码的示例；

图3描绘了根据本发明的实施例的、用于亮度分量的屏幕自适应映射的示例；

图4A描绘了根据本发明的实施例计算的能量比值与亮度值的示例；

图4B描绘了仅依赖于光亮度并且根据本发明的实施例生成的、用于屏幕自适应色度重新缩放的饱和度缩放函数的示例；

图4C描绘了依赖于光亮度和色度两者并且根据本发明的实施例生成的、用于屏幕自适应色度重新缩放的饱和度缩放函数的示例；以及

图5描绘了根据本发明的实施例的、用于亮度和色度分量两者的屏幕自适应映射的示例。

具体实施方式

本文描述了用于解码高动态范围(HDR)图像的屏幕自适应技术。在下面的描述中，为了解释的目的，阐述了许多具体细节，以便提供对本发明的透彻理解。但是，显而易见的是，可以在没有这些具体细节的情况下实践本发明。在其它情况下，没有详细描述众所周知的结构和设备，以便避免不必要的阻塞、模糊或混淆本发明。

概述

本文描述的示例实施例涉及用于解码HDR图像的屏幕自适应技术。在利用处理器的屏幕自适应解码的方法中，在解码器中，处理器接收包括第一动态范围(例如SDR)中的亮度分量和一个或多个色度分量的输入图像。它还接收与输入图像相关联的元数据，其中元数据包括与输入亮度预测函数和输入色度预测函数相关联的输入参数，其中输入亮度预测函数和输入色度预测函数将来自第一动态范围的像素值映射为第二动态范围(例如，HDR)中的像素值，其中第二动态范围高于第一动态范围。处理器接收用于目标显示器的目标动态范围值，该目标动态范围值典型地在第一和第二动态范围之间。它访问光亮度显示映射函数，其中光亮度显示映射函数将第二动态范围中的光亮度像素值映射到目标动态范围中的光亮度像素值。它基于输入亮度预测函数和光亮度显示映射函数的参数来生成输出亮度预测函数，其中输出亮度预测函数将来自第一动态范围的亮度分量中的像素值映射为目标动态范围中的像素值。处理器基于目标动态范围、参数转换矩阵和饱和度缩放函数生成用于输出色度预测函数的输出参数，其中输出色度预测函数将来自第一动态范围的色度分量中的像素值映射为目标动态范围中的像素值，并且它基于输入图像、输出亮度预测函数和输出色度预测函数来生成目标动态范围中的输出图像。

示例视频递送处理管道

图1描绘了常规视频递送管道(100)的示例过程，示出了从视频捕获到视频内容显示的各个阶段。使用图像生成块(105)捕获或生成视频帧(102)的序列。视频帧(102)可以被(例如，数码相机)数字地捕获或由计算机(例如，使用计算机动画)生成，以提供视频数据(107)。可替代地，视频帧(102)可以由胶片相机捕获在胶片上。胶片被转换成数字格式，以提供视频数据(107)。在制作阶段(110)中，视频数据(107)被编辑，以提供视频制作流(112)。

然后，制作流(112)的视频数据被提供给在块(115)处的处理器，用于后期制作编辑。后期制作编辑(115)可以包括调整或修改图像的特定区域中的颜色或明亮度，以根据视频创作者的创意意图增强图像质量或实现图像的特定外观。这有时被称为“颜色定时”或“颜色分级”。可以在块(115)处执行其它编辑(例如，情景选择和排序、图像裁剪、计算机生成的视觉特效的添加，等等)，以产生制作的最终版本(117)以供分发。在后期制作编辑(115)期间，视频图像在参考显示器(125)上被观看。

在后期制作(115)之后，最终制作的视频数据(117)可以被递送到编码块(120)，用于向下游递送到解码和回放设备(诸如电视机、机顶盒、电影院等)。在一些实施例中，编码块(120)可以包括音频和视频编码器(诸如由ATSC、DVB、DVD、Blu-Ray和其它递送格式定义的音频和视频编码器)，以生成经编码的位流(122)。经编码的位流(122)可以由单层视频编码位流或多层位流表示。例如，在多层位流中，信号(122)可以包括基本层(例如，SDR层或10位HDR(HDR10)层)和增强层，当增强层与基本层组合时，产生具有比单独的基本层更高的动态范围(例如，12位HDR信号)的HDR位流。除了信号(122)之外，来自编码器的输出位流还可以包括元数据(124)。元数据(124)可以包括预测参数和其它数据，以帮助解码器更好地重建HDR信号。例如，在实施例中，元数据(124)可以包括与需要在解压缩(例如，130)之后对解码信号(例如，132)应用的后向重塑函数相关的参数。

在接收器(100D)中，经编码的位流(122)由解码单元(130)解码，以生成解码信号(132)。给定解码信号(132)(其可以由单层或多层表示)和元数据(124)，取决于目标(或接收器)显示器(150)的能力，组合器(135)生成表示处于标准动态范围或者高动态范围的信号(117)的相同或紧密近似的信号(137)。例如，在双层编码信号的实施例中，组合器可以使用元数据来导出预测函数、基于基本层生成HDR预测数据，然后将HDR预测数据与增强层组合，以生成输出HDR信号。在经重塑的单层信号的实施例中，组合器可以使用元数据重建反向(或后向)重塑函数，组合器可以对接收信号(132)应用此反向(或后向)重塑函数以生成输出HDR信号。

目标显示器(150)可以具有与参考显示器(125)完全不同的特性。例如，非限制性地，参考显示器(125)可以是4000尼特显示器，而目标显示器可以是500尼特显示器。在这种情况下，使用显示器信息(152)和数据元数据(124)，显示管理模块(140)可以通过生成显示映射的信号(142)而被用来将解码信号(137)的动态范围映射到目标显示器(140)的特性。如本文所使用的，术语“显示管理”表示将第一动态范围(例如，1000尼特)的输入视频信号映射到第二动态范围(例如，500尼特)的显示器所需的处理(例如，色调和色域映射)。

由于组合器输出(137)可能从来都不被观看并且仅用作中间结果，因此，在具有有限计算资源的设备(诸如移动电话、电子平板电脑或低端显示器)中，减少接收器中的计算负荷并将组合器(135)和显示管理处理(140)组合成单个屏幕自适应组合器可能是有益的。图2中描绘了这种实施例的示例。

如图2中所描绘的，在实施例中，在解码器中，原始组合器(135)和显示管理单元(140)被在计算上更简单的元数据变换器(220)和屏幕自适应组合器(210)替代。如将要更详细地描述的，通过考虑目标显示器(150)的特性来变换输入元数据(124)，以生成变换后的元数据(222)，变换后的元数据(222)与输入数据(132)相结合而生成针对目标显示器(150)的特性优化的视频输出(212)。

命名法

在本说明书的剩余部分中，以下记号可能被使用：

和

表示对于第j帧中的第i个像素，按照亮度(y)和色度(u，v)表达(例如YCbCr)的编码器(例如，117)中的原始高动态范围(HDR)输入。非限制性地，值可以归一化在0和1之间。这个输入可以在具有最大可能的动态范围(比如，4000尼特)的参考显示器(125)上进行颜色分级。

和

表示按照亮度(y)和色度(u，v)表达(例如，YCbCr)的解码器(例如，132)处重建的标准动态范围(SDR)输入，通常已针对典型SDR动态范围(例如，100cd/m²)的目标SDR显示器进行颜色分级或调整。值可以归一化在0和1之间。在编码器中，可以使用前向重塑、色调映射、颜色分级等从HDR输入v_ji样本生成

样本。

和

表示来自组合器(例如，137)的经估计的、经重建的HDR输出。值可以归一化在0和1之间。

和

表示针对具有n尼特动态范围的目标显示器(150)重新格式化的SDR亮度和色度值。值可以归一化在0和1之间。

和

表示针对具有n尼特动态范围的显示器颜色分级的参考亮度和色度SDR值。值可以归一化在0和1之间。在理想情况下，对于相同的图片，计算出的

值应当尽可能接近

值。

100→4k：该符号意味着从一个显示器明亮度到另一个明亮度的转换；例如从100cd/m²(尼特)到4000cd/m²(尼特)。

对于亮度的屏幕自适应组合器

在接收器(例如，200)中，在解码(130)之后，以下数据可以是可用的：

●经解码的SDR样本数据(例如，

)(132)，其中亮度和色度特性已针对参考SDR显示器(比如，100尼特)进行了优化。

●与以下有关的输入元数据(124)：

○输入参考HDR显示器(例如，125)的特性；

○输入数据的光亮度特性(例如，对于每一帧或对于情景，它们的最小、最大以及平均或中间明亮度值)；

○亮度预测或后向重塑函数(由g_LB()表示)或相关联的查找表(LUT_LB)，当应用于解码的SDR数据时，可以在参考高动态范围(比如，4000尼特)生成HDR数据。例如，在一些实施例中，g_LB()函数可以作为使用线性或二阶多项式段的分段多项式发送到解码器。

ο与从对应的SDR亮度和/或色度像素值预测HDR和宽色域色度像素值有关的元数据。

●用于接收器显示器(150)的元数据(152)，其表征接收器显示器(例如，显示器的最低、平均和最高明亮度值)。

此外，接收器(200)还可以访问亮度显示管理(DM)函数(由g_LD()或LUT_LD表示)，该函数将来自参考高动态范围(比如，4000尼特)的输入值映射到目标动态范围(比如，400尼特)。

在一些实施例中，解码的SDR到参考DR HDR的映射函数g_LB()可以仅针对在有效SMPTE范围(例如，16到235)内的像素值定义，表示为g_B()，而DM函数可以针对全范围定义。在这种场景中，在实施例中，归一化的SMPTE范围(例如，对于8位数据，16/255至235/255)可以使用简单的重新缩放来重新缩放到全(0,1)范围，诸如：

g_LB(x)＝(g_B(x)-16/256)*(256/(235-16)) (1)

给定所有这些信息，屏幕自适应组合器(210)的目的是生成将光亮度SDR值映射到在目标显示动态范围的输出HDR值的新映射函数(由g_LF()表示)。在实施例中，这种映射函数可以被生成为：

对于(0,1)中的x，g_LF(x)＝g_LD(g_LB(x)) (2)

在实践当中，目标是生成表示为LUT_LF(Y)的查找表，其将解码的SDR光亮度值映射到用于目标显示器的HDR光亮度值。令bsdr(例如，bsdr＝10)表示SDR位深度。为了计算LUT_LF(Y)，可以将所有可能的(2^bsdr)个SDR值都传递给g_LB()函数和g_LD()函数；但是，这种映射会是非常计算密集的。可替代地，可以仅为输入值的子集生成LUT_LF(Y)，然后使用LUT_LF值之间的简单插值。在通过分段多项式定义g_LB()的实施例中，为了减少计算的次数，可以仅在枢轴点处(即，在每个段的边界点处)计算LUT_LF值的集合(例如，对于8段多项式，是9个点)。然后，可以通过简单的线性插值来生成剩余的值。

图3描绘了根据实施例的、用于亮度分量的屏幕自适应合成(或映射)函数的示例。函数(305)描绘了g_B()映射的示例，将SDR值(在SMPTE范围内)映射到参考HDR值。在g_B()的重新缩放之后(例如使用等式(1))，函数(310)描绘了在全(0,1)范围内的对应的g_LB()函数。对于k个选定的点，优选地但非限制地，(310)中的枢轴点(例如，s1、s2、s3)，a)计算

hi＝g_LB(si)，对于i＝1，2，...，k，

b)然后，计算

ai＝g_LD(hi)，对于i＝1，2，...，k，

最后，根据等式(2)将输入的si个点映射到输出的ai个值，以生成g_LF(si)样本值，从而将输入SDR值映射到目标HDR值。给定g_LF(si)样本值，可以使用线性或非线性插值来生成最终的g_LF()(或LUT_LF)映射函数(320)。

对于色度的屏幕自适应组合器

在实施例中，在解码器中，使用解码的SDR输入来生成HDR输出的色度分量可以基于多变量多元回归(MMR)表达。如由G-M.Su等人的美国专利8,811,490“Multiple colorchannel multiple regression predictor”中首先讨论的，基于MMR的预测允许基于SDR输入中的所有其它颜色分量(例如，Y、Cb和Cr)的组合来预测HDR输出的一个颜色分量(比如Cb)。例如，在实施例中，使用具有叉积MMR表示的二阶，其中将HDR u或v色度分量被建模为SDR y、u或v值的函数

其中，对于k＝0，1，...，9，

和

表示作为位流的一部分(例如，作为元数据)从编码器发送到解码器的MMR多项式系数。

类似地，具有叉积(cross-product)MMR预测多项式的第三阶，其中每个HDR色度分量被建模为SDR y、u或v值的函数，并且可以表示为：

在等式(3)和(4)中，i表示像素索引值，j表示帧索引值，y表示亮度(例如，Y)，并且u和v表示色度(例如，Cb、Cr)。

表示用于将参考SDR值(例如，在100尼特)转换成参考HDR(例如，在4k尼特)的第k个MMR系数。虽然在分级HDR内容时值100和4k是相当常见的，但是在这里给出仅仅是作为记号示例给出，而不作为限制。通常，通过一些优化技术(诸如使用参考SDR流在输入HDR值和预测的HDR值之间的最小二乘法最小化)，对于视频的每个帧或情景，在编码器处生成MMR系数。然后将系数作为元数据与SDR图像一起发送。在解码器处，这些系数被用来将SDR色度转换成HDR色度。要注意的是，系数的数量取决于正使用的亮度和色度的阶数。作为示例而非限制，对于双通道MMR方案，色度通道对于Cb通道具有10个MMR系数并且对于Cr通道具有10个MMR系数(例如，参见等式(3))。对于三通道MMR模型，正在使用22个MMR系数(例如，参见等式4))。在本讨论的其余部分中，实施例将使用双通道MMR模型；但是，这里描述的方法可以容易地适应于三通道MMR模型或者任何其它线性或非线性预测模型。

令

是表示将色度SDR转换成色度(Cb，Cr)HDR的MMR系数的向量，即，对于双通道MMR模型，

令

表示具有与j帧中的每个像素i的SDR像素值对应的元素的向量，于是，对于双通道MMR模型

并且，使用向量记号，等式(3a)和(3b)可以表示为

等式(7)假设目标(接收器)显示器(150)匹配参考显示器(125)的特性(例如，其具有4000尼特的动态范围)。如果情况不是这样，那么，如发明人所认识到的那样，SDR到HDR的映射需要通过缩放因子(也称为饱和度缩放因子)进行调整。这样做是为了增加输出图像的饱和度并改进其整体视频质量。根据主观测试，发明人发现可表示为亮度的函数或亮度和色度这两者的函数的饱和度缩放因子的效果最好。与缩放因子的推导相关的细节在后面的部分中给出。要注意的是，以其最一般的形式，缩放因子可以是SDR和/或HDR通道的任何多项式函数。作为示例，本文描述了用于作为亮度和色度分量的多项式函数的饱和度缩放因子的MMR转换。每个色度分量可以具有其自己的饱和度缩放函数，例如，如果表示为

和

那么

在实施例中，f^u,n函数可以由二阶多项式函数建模。继续向前，仅针对u色度通道(例如，Cb)示出推导。但是，类似的方法也可以用于第二色度通道(例如，v或Cr)。

令

其中

(k＝0至5)表示饱和度缩放函数的参数。将等式(9)和(7a)代入等式(8a)，得到

在扩展和重新分组之后，其可以表示为

其中向量

包含所有的亮度和色度项，并且

包含多项式和MMR系数：

其中，为了简单起见，MMR系数中的上标未示出。

项

可以表示为包含缩放多项式系数的矩阵和MMR向量的乘法，如下所示：

其中符号4000→n表示所预测的HDR输出值从参考动态范围(例如，4000尼特)到目标显示器的动态范围(例如，n)的映射，并且矩阵A^4000→n基于饱和度缩放函数

的多项式系数(例如，a₀,a₁,..,a₅)；例如，

将等式(12)代入等式(10)，在帧j的像素i处的色度值变成

现在，令

表示其中每行由用于帧j中每个像素(0，1，2，...，d-1)的SDR项组成的矩阵，并且令

表示具有第j帧中的所有SDR色度值的向量，于是上面的等式变换成

其中

其中d表示帧j中的像素的总数。

要注意的是，如果存在从参考SDR动态范围(例如，100cd/m²)转换成目标亮度(例如，n)的可用MMR系数

那么目标色度值可以直接从经解码的SDR值获得。在这种场景中，色度值将通过简单地将解码的SDR项与这些系数相乘来获得；即

对于所有像素表示上述等式，方程(16)变为：

其中

让等式(15)和(17)相等，产生

从等式(18)可以通过将

的伪逆乘以等式(18)的左手侧获得，即

在实施例中，由于计算每一帧的逆是计算密集的，并且在计算资源有限的平台(诸如移动设备)中可能不可行，因此可以通过近似来生成等式(19)中的项

例如，在实施例中，可以获取代表性图像的训练集合。给定此图像集合，可以生成以下P₁、P₂数据，以及P的近似。要注意的是，近似是针对数据(这里是：SDR亮度、色度值)的。

从等式(20)，等式(19)可以被简化为

其中，对于给定的训练图像集合，矩阵P对于目标显示器的所有分辨率是相同的。令T^4000→n＝P·A^4000→n表示为MMR系数转换矩阵，于是

给定转换矩阵(T^4000→n)和原始MMR系数

解码器可以生成更新的变换MMR系数

并且直接生成用于目标显示器的动态范围的输出HDR色度分量。

按照与之前相同的过程，也可以为第二(v)颜色分量生成类似的转换矩阵，即

给定变换后的MMR系数(例如，222)，然后，根据等式(7)，在屏幕自适应组合器(210)中，输出(212)的色度分量可以被计算为

设计饱和度缩放函数

令n表示目标显示器的动态范围(DR)。如前面所讨论的(参见等式(8))，实验表明，在接收器中，可以通过采用饱和度缩放函数来改进图像质量(具体而言是色度饱和度)。在实施例中，这种函数是使用训练图像集合凭经验得出的。例如，训练序列可以包括来自多个视频序列的帧，其包括各种感兴趣的颜色(例如，与肤色、天空、云、海、草、花等相关的颜色)。因此，这个测试数据集中的每个图片可以在多个动态范围中可用：参考SDR DR(例如，100尼特)、参考HDR DR(例如，4000尼特)和多个可能的目标显示器动态范围(DR＝n)。非限制性地，对于测试数据库中的每个这样的HDR图片(表示为v_j)，可以计算能量比函数，诸如

其中

和

表示与原始HDR v_j图片对应的第j个图片中的参考SDR第i个像素的u和v颜色分量，但是以n尼特进行颜色分级。作为示例，图4A描绘了在n＝400尼特时用于一个测试图片的

值的图。根据图4A，eⁿ(j,i)值根据输入光亮度而增大。使用计算出的

值，可以根据优化方法(比如，最小二乘法)生成拟合这个数据集的多项式函数。对于n的多个值(例如，对于n＝100，200，300，...，1000尼特)，可以重复相同的过程。作为示例，图4B描绘了对于n＝100尼特(410)、n＝500尼特(420)和n＝1000尼特(430)的饱和度缩放函数。对于具有预计算的饱和度缩放函数不可用的动态范围的显示器，可以简单地在已知的缩放函数之间插值。例如，对于具有850尼特的动态范围的显示器，可以通过在相邻缩放函数(比如，在800和900尼特)之间进行插值来生成缩放函数。

在一些实施例中，代替使用等式(24)，可以使用替代方式来测量SDR和HDR值之间的能量比，诸如

或者

在实施例中，可以使用一阶或更高阶多项式来近似饱和度缩放函数，例如，如

或者

在另一个实施例中，例如，如由等式(9)所表示的，饱和度缩放函数可以表示为亮度和色度这两者的函数。这种函数的推导遵循与之前相同的过程。例如，对于u颜色分量：

●对于训练图像j中的每个像素(i)，生成点

●用面来拟合这些点，比如，使用最小二乘法

●使用多个这样的面，从多个测试图像生成用于具体n值的缩放面

●用多项式近似这个面(参见等式(9))。

然后可以针对第二色度分量(v)重复相同的过程，以生成

或生成取决于两个色度分量的饱和度缩放函数。在图4C中针对n＝500尼特描绘了取决于亮度分量和单个色度分量的饱和度缩放函数的示例。在实施例中，所有饱和度缩放函数都可以被设计为“离线”，因此允许具有低计算资源的接收器简单地存储MMR转换矩阵的小集合。

如前面所提到的，目标显示器的动态范围(DR)有可能与已经为其预先计算出MMR转换矩阵的任何DR值不匹配。例如，令nt表示目标显示器的DR(例如，nt＝450尼特)，并且令n2和n3表示包夹nt的两个最近的可用目标DR值(例如，n2＝400尼特并且n3＝500尼特)。令α和β表示插值因子，于是

α＝(n3-nt)/(n3-n2)， (27)

β＝(nt-n2)/(n3-n2)

然后，可以示出转换矩阵和用于DR＝nt的对应的更新后的MMR系数可以被计算为：

T^4000→nt＝(α·T^4000→n2+β·T^4000→n3)， (28)

要注意的是，对于我们的示例(nt＝450，n2＝400和n3＝500)，根据等式(27)，α＝β＝0.5。

图5描绘了根据实施例的用于亮度和色度分量这两者的屏幕自适应映射的示例。给定输入视频元数据(124)和目标显示器元数据(152)，存在两个单独的处理：一个用于亮度分量，一个用于色度分量。对于亮度，给定原始亮度映射函数(g_LB()(510)和显示映射函数g_LD()(505)，根据等式(2)，构建新的亮度映射函数g_LF()(520)。如前所述，当存在有限的计算资源时，在实施例中，可以为有限的点集合(例如，g_LB()函数的枢轴点))构造g_LF()或其对应的LUT_LF，并且剩余的光亮度映射可以被插值。

对于色度，给定用来基于解码的SDR色度值预测输出HDR色度值(例如，参见等式(7))的原始MMR预测系数集合(525)(例如，

)，存在两步法：a)(步骤530)生成饱和度缩放函数(532)。使用测试图像的数据库并将计算出的能量比数据(例如，如由等式(24)计算的)拟合成2D(比例对亮度)或者3D(比例对亮度和色度)多项式函数来生成饱和度缩放函数。在优选实施例中，测试数据库包括在目标动态范围(n)上颜色分级的SDR数据

b)给定饱和度缩放函数(532)的参数，在步骤535中，可以构造MMR转换矩阵(例如，T^4000→n)。构造这个矩阵要求使用样本SDR数据生成的伪逆。在实施例中，可以基于图像的训练集迭代地预先计算伪逆。最后，将MMR转换矩阵与原始MMR数据相乘，以生成针对目标显示器(例如，具有DR＝n)优化的新MMR系数集合(527)。

要注意的是，计算饱和度缩放函数(532)并将其结合到MMR转换矩阵的设计中可以在“训练”阶段期间离线完成。例如，给定具有动态范围在DR_low和DR_high之间的动态背光的显示器的设备(例如，电视机)，可以使用步骤(532)和(535)来针对M个动态范围值(比如，DR(m)，m＝1，2，...，M)的范围生成MMR转换矩阵(表示为T(m))，其中DR_low≤DR(m)≤DR_high。这些转换矩阵可以存储在设备的存储器中。给定输入数据，如果显示器的动态范围匹配M个预先计算的值(例如，DR(m)，m＝1，2，...，M)之一，那么对应的T(m)表直接被用来计算新的MMR系数(527)。否则，解码器可以使用等式(28)来使用两个预先计算的转换矩阵中的两个来对最终的MMR转换矩阵进行插值(535)。

示例计算机系统实现

本发明的实施例可以利用计算机系统、以电子电路系统和部件配置的系统、诸如微控制器的集成电路(IC)设备、现场可编程门阵列(FPGA)或另一种可配置或可编程逻辑器件(PLD)、离散时间或数字信号处理器(DSP)、专用IC(ASIC)和/或包括一个或多个这种系统、设备或部件的设备来实现。计算机和/或IC可以进行、控制或执行与HDR视频的屏幕自适应解码相关的指令，诸如本文所描述的那些。计算机和/或IC可以计算与本文所述的HDR视频处理的屏幕自适应解码相关的各种参数或值中的任何一个。图像和视频实施例可以在硬件、软件、固件及其各种组合中实现。

本发明的某些实施例包括执行使处理器执行本发明的方法的软件指令的计算机处理器。例如，显示器、编码器、机顶盒、代码转换器等中的一个或多个处理器可以通过执行处理器可访问的程序存储器中的软件指令来实现与上述HDR视频的屏幕自适应解码相关的方法。本发明也可以以程序产品的形式提供。程序产品可以包括携带包括指令的计算机可读信号集合的任何非暂态介质，指令当由数据处理器执行时使数据处理器执行本发明的方法。根据本发明的程序产品可以是各种各样的形式中的任一种。程序产品可以包括例如物理介质(诸如包括软盘、硬盘驱动器的磁性数据存储介质，包括CD ROM、DVD的光学数据存储介质，包括ROM、闪存RAM的电子数据存储介质，等等)。程序产品上的计算机可读信号可以可选地被压缩或加密。

在上面提到部件(例如，软件模块、处理器、组件、设备、电路等)时，除非另有说明，否则对该部件的引用(包括对“装置”的引用)应当被解释为包括该部件的等同物(执行所述部件的功能的任何部件(例如，功能上等同)，包括在结构上与所公开的结构不等同但是执行在所例示的本发明的示例实施例中的功能的部件)。

等同物、扩展、替代方案和杂项

因此，描述了与HDR视频的高效屏幕自适应解码相关的示例实施例。在前面的说明书中，已经参考众多具体细节描述了本发明的实施例，这些细节可以因实现方式不同而有所变化。因此，本发明是什么以及申请人意欲本发明是什么的唯一和排他的指示从本申请发布的一组权利要求，以这种权利要求发布的具体形式，包括任何后续的更正。对于这些权利要求中包含的术语在本文明确阐述的任何定义将决定权利要求中使用的术语的含义。因此，权利要求中没有明确记载的任何限制、要素、性质、特征、优点或属性不应当以任何方式限制这种权利要求的范围。因而，说明书和附图被认为是说明性而不是限制性的。

Claims

1.一种利用处理器进行屏幕自适应解码的方法，所述方法包括：

在解码器中接收包括第一动态范围中的像素的输入图像，其中每个像素包括亮度分量和一个或多个色度分量；

接收与输入图像相关联的元数据，其中该元数据包括与输入亮度预测函数和输入色度预测函数相关联的输入参数，其中所述输入亮度预测函数和所述输入色度预测函数将来自第一动态范围的像素值映射为第二动态范围中的像素值，其中第二动态范围高于第一动态范围；

接收目标显示器的目标动态范围值；

访问光亮度显示映射函数，其中光亮度显示映射函数将第二动态范围中的光亮度像素值映射到目标动态范围中的光亮度像素值；

基于输入亮度预测函数和光亮度显示映射函数的参数生成输出亮度预测函数，其中输出亮度预测函数将来自第一动态范围的亮度分量中的像素值映射到目标动态范围中的像素值；

基于目标动态范围和参数转换矩阵生成用于输出色度预测函数的输出参数，其中输出色度预测函数将来自第一动态范围的色度分量中的像素值映射到目标动态范围中的像素值，所述参数转换矩阵用于转换输入色度预测函数的输入参数；以及

基于输入图像、输出亮度预测函数和输出色度预测函数，生成目标动态范围中的输出图像，

其中所述方法由一个或多个处理器执行。

2.如权利要求1所述的方法，其中生成输出亮度预测函数包括：

使用输入亮度预测函数，将第一动态范围中的两个或更多个输入样本光亮度像素值映射到第二动态范围中的第一输出样本光亮度值；

使用光亮度显示映射函数，将第二动态范围中的第一输出样本光亮度值映射到目标动态范围中的第二输出样本光亮度值；以及

将第一动态范围中的所述两个或更多个样本光亮度像素值映射到目标动态范围中的第二输出样本光亮度值。

3.如权利要求2所述的方法，还包括：

对于第一动态范围中在第一输入样本光亮度像素值和第二输入样本光亮度像素值之间的输入光亮度像素值，通过在与第一输入光亮度像素值和第二输入光亮度像素值对应的第二输出样本光亮度值之间进行插值来生成目标动态范围中的对应的输出光亮度像素值。

4.如权利要求2所述的方法，其中所述输入亮度预测函数包括具有在枢轴点之间确定的函数段的分段线性或非线性函数，并且所述两个或更多个输入样本光亮度像素值与枢轴点中的两个或更多个枢轴点的值对应。

5.如权利要求1所述的方法，其中针对色度分量之一生成用于所述输出色度预测函数的输出参数包括计算：

其中

表示向量，该向量代表对于输入图像j、将第一动态范围中的u色度分量的输入色度像素映射到目标动态范围中的输出色度像素的输出色度预测函数的输出参数，

表示基于输入色度预测函数的输入参数的向量，并且T^secondDR ^→targetDR表示参数转换矩阵。

6.如权利要求5所述的方法，其中生成参数转换矩阵包括计算：

T^{secondDR->targetDR}＝P·A^{secondDR->targetDR}，

其中A^{secondDR->targetDR}表示基于代表饱和度缩放函数的多项式的系数而计算的矩阵，P表示基于第一动态范围中的图像的像素值而计算的矩阵。

7.如权利要求6所述的方法，其中计算所述P矩阵包括计算

其中

和

表示基于输入图像和输入色度预测函数而计算的矩阵。

8.如权利要求6所述的方法，其中计算所述P矩阵中包括计算

其中

和

表示基于测试图像集合中的一个或多个图像的像素值以及色度预测函数而计算的矩阵。

9.如权利要求6所述的方法，其中所述饱和度缩放函数将输入亮度和色度像素值映射为缩放的色度像素值，并且该映射能够被表示为包括一个或多个饱和度缩放函数参数的多项式。

10.如权利要求9所述的方法，其中生成饱和度缩放函数包括：

访问能量比函数，该能量比函数包括目标动态范围中的参考图像中的色度像素值的能量度量与第二动态范围中的参考图像中的对应色度像素值的能量度量之比；

对于在第一、第二和目标动态范围中表示的第一训练参考图像中的两个或更多个像素：

计算(s(i),eⁿ(i))值的第一集合，其中s(i)表示在第一动态范围中像素i的光亮度值，并且eⁿ(i)表示在第二动态范围和目标动态范围n中像素i的色度像素值的对应能量度量的能量比；

根据优化标准生成拟合(s(i),eⁿ(i))数据的第一集合的第一多项式函数；以及

基于第一多项式函数生成饱和度缩放函数。

11.如权利要求10所述的方法，还包括：

生成基于第二训练参考图像生成的(s(i),eⁿ(i))数据的第二集合；

生成拟合(s(i),eⁿ(i))数据的第一集合和第二集合的第二多项式函数；以及

基于第二多项式函数生成饱和度缩放函数。

12.如权利要求10所述的方法，其中计算能量比函数包括计算：

其中对于图像j中的像素i，对于u和v色度分量，

表示在目标动态范围(n)中该图像的u色度像素值，

表示在目标动态范围中该图像的v色度像素值，并且

和

表示在第二动态范围中该图像的对应的u和v色度像素值。

13.如权利要求5所述的方法，其中计算在目标动态范围中输出图像的色度分量的像素值包括计算：

其中u表示色度分量，

表示在目标动态范围中输出图像的u色度分量的第i个像素值，并且

表示基于第一动态范围中的输入像素值而生成的像素值的向量。

14.如权利要求5所述的方法，其中生成用于目标动态范围的参数转换矩阵T^secondDR ^→targetDR包括计算：

T^{secondDR→targetDR}＝(α·T^{secondDR→DR(1)}+β·T^{secondDR→DR(2)})，

其中T^{secondDR→DR(1)}表示用于低于目标动态范围的动态范围DR(1)的预先计算的参数转换矩阵，T^{secondDR→DR(2)}表示用于高于目标动态范围的动态范围DR(2)的预先计算的参数转换矩阵，并且α和β是插值因子，其中

α＝(DR(2)-targetDR)/(DR(2)-DR(1))，

β＝(targetDR-DR(1))/(DR(2)-DR(1))。

15.一种包括处理器并被配置为执行如权利要求1中所述的方法的装置。

16.一种其上存储有计算机可执行指令的非暂态计算机可读存储介质，其中所述计算机可执行指令用于执行如权利要求1所述的方法。