CN101171848A

CN101171848A - 色彩变换亮度校正方法和设备

Info

Publication number: CN101171848A
Application number: CNA2006800158610A
Authority: CN
Inventors: C·A·M·贾斯帕斯
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2005-05-10
Filing date: 2006-05-02
Publication date: 2008-04-30
Also published as: WO2006120606A3; US20080204469A1; EP1886506A2; KR20080015101A; JP2008541598A; WO2006120606A2

Abstract

一种亮度方向上的色彩校正方法，其包括：将色彩变换(T)应用于输入色彩(Ci)，产生变换的色彩(Ct)；根据输入色彩(Ci)的第一显示驱动值表示(Rs5Gs5Bs)和变换的色彩(Ct)的第二显示驱动值表示(Rt5Gt5Rt)来确定换算系数(f)；以及将变换的颜色(Ct)的色彩表示与换算系数(f)相乘以获得输出色彩(Co)。其能够用于减少由该变换(T)所引入的亮度误差。

Description

色彩变换亮度校正方法和设备

技术领域

本发明涉及一种亮度方向上色彩校正的方法，该方法是一种色彩处理领域中的操作。

本发明还涉及一种用于亮度方向上色彩校正的设备，以及包括这种设备的电视信号接收机。

本发明还涉及一种实现该方法的基本步骤的计算机程序产品，该计算机程序产品应用于软件使能的图像处理系统中或者与该图像处理系统协同工作。

背景技术

很久以前就知道可以以多种方式来表现色彩。存在许多与设备无关的(一般的)色空间，如CIE XYZ。对于典型的遵从EBU(欧洲广播联盟)的基于CRT的电视接收机，还存在许多与设备相关的空间，例如RGB空间。

摄像机是一种可变的设备(例如，其彩色滤光器、其图像捕获设备、其可调的参数，......)，因此摄像机也产生与设备相关的色彩描述。但是默认地假定摄像机产生RGB色彩表示，这些RGB色彩表示致使在通常预期的(“标准的”)显示器上的相当精确的再现，这能够例如利用MacBeth色彩校验器(color checker)来进行校验。

电视色度学的基本标准(例如NTSC和PAL，将这些概念转换到(transfer)例如MPEG-2)在二十世纪五十年代得到了发展，从那时起人类的意识中开始有显示器的概念了。

现在，CRT显示器已经具有了完全不同的磷光体，但是更为重要的是，已经为电视观看引入了许多新型的显示技术，如LCD、PDP(等离子体显示板)，而且在将来例如为移动的/便携式的观看器(Viewer)引入电子墨水显示器。

这意味着单一的RGB色彩表示将会导致在不同的显示器上实际上再现出不同的色彩，这不是希望出现的情况。

例如，LCD通常比CRT具有更淡并且稍绿的蓝色，因此，例如[0，0，1]的RGB色彩在这两个显示器上看起来可能非常不同。对于大多数色彩来说这种不同可能尚未使一般的观众感觉不满意(因为在人脑中色觉实际上非常复杂)，但是对于一些关键的色彩(例如白点或肉色)，这可能就令人不快了。

因此，希望应用色彩变换使得在两个显示器上再现大致相同的(或至少更相似的)色彩，在理想中应该是在原始时的色彩(至少在景象照度已经降低时)。

由于在人类视觉的早期处理阶段的色觉是线性的过程，因此在理论上这是能够做到的(甚至对于非线性的再现设备，因为在模型中能够考虑显示器的非线性)，并且在线性光域(例如XYZ，线性的RGB)中，通过应用矩阵(所谓的矩阵化)将例如摄像机的RGB值，即例如从电缆中出来的RGB值(对于本发明来说忽略了向传输色彩系统和来自传输色彩系统的转变)转变成用于特殊显示器的校正的RGB^*值来完成。

但是也存在许多使色彩校正没有变为那么普遍的原因(即，在显示器中不使用矩阵或者使用理论上不正确的矩阵)。

尽管利用显示器的物理行为的知识(当为显示器提供显示驱动值R、G、B并最终为多原色显示器提供诸如Ye的其他显示驱动值(例如对于黄色的原色像素提供0和255之间的值)时不同通道的实际光输出)能够让显示器近似地再现(在特殊的校准精度、稳定性等之内)与标准的预期电视显示器相同的色彩，但是目前仍无法达到原始景象中的色彩再现。

原因之一在于尽管显示器制造商知道他们制造哪一台显示器，但是电视联播网的另一方，即记录一方还未完全标准化，因此这是不能进行补偿的变量。

摄影师可以改变例如其专业摄像机的γ传递函数(transferfunction)形状来确定参数，或者色彩校正器可以引入未知的参数，从而使景象的色彩在所用的演播室再现显示器上看起来足够逼真。但是，在该显示器上是微小差别的可能在另一台显示器上是大的差别，特别因为这些显示器具有通常非线性的γ特性时，这可能将微小的差别放大为大的色差。

在用户位置的再现一侧还存在着许多不可控制的变量，如背景照明(以及相应的观众适应性)，在显示器上的反射等，已经导致一些人完全放弃了色彩校正，因为这些校正可能小于未知的可变误差。

其次，还存在一个色域(gamut)映射的基本问题，即，尽管两个色域(例如对于标准显示器来自摄像机的色彩的源色域，以及实际的显示器色域)可能有许多色彩都是共同的，但总有一些色彩能在一个色域内再现而不能在另一个色域内再现。

特别是，白点的变化是一个公知的问题。具有颜色太黄的自然白点的显示器可能需要再现浅蓝色的白点(预期的图像致使白点产生)。甚至对于理论上可以再现大于1(或者255或者是任何约定的显示器最大驱动值)的通道输出的显示器(如CRT)，颜色系统被构造成使[1，1，1]与通常称为(显示器)白色的最大亮度色彩相对应。

对于根据选择从固定光源输出的光(如LCD显示器的背光)的量而工作的显示器来说，不能够只生成与大于1的显示驱动值相对应的光。

因此，在这种显示器中存在三种任选项：

a)显示具有不正确色度(例如，太黄)的至少近似白色(这些颜色大致是最高亮度间隔的无彩色)

b)显示具有正确色度但亮度削减的近似白色

c)修正至少所述近似白色的亮度。

在专业地进行第三选项时，利用许多现有的色域映射算法中的任何一种都可以实现该第三选项，但是，由于其计算量大，因此在实际的显示器中如果完全地进行修正，就要利用将[1，1，1]输入白色映射到所希望色度的最大可再现亮度的白色的矩阵。

这具有所有色彩变得过暗的缺点。

发明内容

所希望的是获得一种对于色彩变换来说在亮度方向上进行色彩校正的相对简单的方法，其旨在减少由该变换引入的色彩的亮度误差。

这可以通过一种方法来实现，该方法包括：

将色彩变换(T)应用于输入色彩(Ci)，产生已变换的色彩(Ct)；

根据输入色彩(Ci)的第一显示驱动值表示(Rs，Gs，Bs)和已变换的色彩(Ct)的第二显示驱动值表示(Rt，Gt，Bt)来确定换算系数(f)；以及

将已变换的颜色(Ct)的色彩表示与换算系数(f)相乘以获得输出色彩(Co)。

确定色彩的R、G和B分量的最大值是一个很容易的操作，特别是如果已经将色彩在RGB空间中编码，这在电视系统中是通常的。

虽然优选尽可能多地将非线性输入色彩表示线性化(例如通过假定标准γ近似为2.2，在最坏的情况下留下较小的剩余γ)，并在已线性化的RGB色彩表示上应用变换和校正方法，但是该方法也可以应用于非线性的RGB色空间。

该色彩变换也可以在除了RGB的另一个色空间(例如XYZ，其对于计算机和互联网应用可能是引起关注的)中进行，因为该乘法换算在任何线性色空间中都能最好地运行，并且该色彩变换可以应用于几乎任何色空间中。

注意，该方法不限于三维色空间，且其可以例如用于将5原色摄像机信号变换成新的5原色显示。

亮度信息以及因此已变换色彩的亮度中的误差隐含地存在于R、G、B值中，因此可以利用基于这些的亮度相关方程式来校正该亮度。

本发明基于以下理解，即仅仅需要核查输入色彩和最后得到的已变换色彩的亮度相关性，然后可以通过重新换算(rescaling)简单地校正(通常的)亮度降低。

注意，最简单的变型仅仅是将每种色彩确定的固定公式换算系数应用于所有的色彩。但是，也可以例如根据R、G和B值的大小(例如，它们中的最大值，在本文中称为RGBmax)而使该换算具有适应性。按照这种方式，例如可以将该方法具体化为不换算深颜色(具有很小的RGBmax值)。

在该方法的实施例中，确定换算系数(f)包括根据第一显示驱动值表示(Rs，Gs，Bs)的显示驱动值中的最大一个和第二显示驱动值表示(Rt，Gt，Bt)的显示驱动值中的最大一个来确定该换算系数。

该亮度的相当精确的相关性是R、G和B三个分量中的最大值，对于浅蓝色例如是B分量。

例如对于标准显示原色的蓝色再现，输入色彩是[0，0，1]，因此RGBmax(R、G和B的最大驱动值)是1(蓝色显示驱动值的那个值)。

在另一个实施例中，确定换算系数(f)包括将该换算系数确定为以第二显示驱动值表示(Rt，Gt，Bt)的显示驱动值去的最大一个除第一显示驱动值表示(Rs，Gs，Bs)的显示驱动值的最大一个。

最简单的校正仅仅是将输入的和已变换的RGB色彩的RGBmax值分开。如果例如作为用于浅蓝色的三个驱动值中最大值的B值由于矩阵化已从1下降到0.9(即Bt＝0.9*Bi，其中下标I表示输入色彩，t表示矩阵变换的色彩)，那么可以通过用I/0.9与已变换的RGB值相乘来校正所导致的下降，这实际上是两个RGBmax值的除法。

该方法的功能可以在用于亮度方向上的色彩校正的对应设备中实现，其包括：

色彩变换单元(101)，其设置为将色彩变换(T)应用于输入色彩(Ci)，产生已变换的色彩(Ct)；

换算系数确定单元(107)，其设置为根据输入色彩(Ci)的第一显示驱动值表示(Rs，Gs，Bs)和已变换的色彩(Ct)的第二显示驱动值表示(Rt，Gt，Bt)来确定换算系数(f)；以及

色彩换算单元(109)，其设置为将已变换的颜色(Ct)的色彩表示与换算系数(f)相乘以获得输出色彩(Co)。

所有的方法实施例都可以作为相对应的改动的设备来实现，其具有特别设置的单元用以实现其他指定的方法步骤。该方法的功能还可以用包括代码的计算机程序产品来实现，所述代码使处理器能够执行如权利要求1所要求的方法的步骤，所述步骤为：

这可以是其例如起到在p.c.或用户设备(如移动式电话)上运行的例如光修饰(photo-retouching)程序的作用的或者与该光修饰程序合作的软件组成部分，例如插入式的。注意，该变换可以在另外的软件组成部分或程序中实现。然后，该计算机程序产品通常包括(可能已标准化的)接口代码以从变换前后接收或取回色彩数据。

附图说明

根据本发明的用于色彩校正的设备和方法的这些和其他方面，将参考下面所描述的实施方案和实施例以及参考附图而变得明白且得以阐明，附图仅仅是作为举例说明更一般概念的非限制性具体图示说明，且其中虚线用于表示该部件是任选的，非虚线的部件不一定是必要的。

在附图中：

图1示意性地示出如在电视信号接收机中体现的设备；

图2示意性地示出在RGBmax空间中的特殊色彩变换的效果；以及

图3示意性地示出示例性的色彩传输链，其中RGBmax既应用于摄像机侧也应用于显示器侧。

具体实施方式

在图1中，示出了用于在亮度方向上进行色彩校正的设备100，其可以作为例如专用视频处理IC的一部分来实现，或者作为PC运行的图像处理软件(例如在安全应用中在人脸检测之前进行预处理)的一部分来实现。设备100接收来自外面的至少一种色彩，通常是来自一个或多个彩色图像的许多彩色像素。

将色彩变换单元101设置成应用色彩变换，例如在输入的电视色彩Ci(来源于摄像机或诸如光谱仪的其他捕获设备)之间矩阵化，以及为在实际显示器(例如连接于电视信号接收机112的显示器114)上精确地或相当忠实地再现而需要的显示驱动值：

(\begin{matrix} R_{t} \\ G_{t} \\ B_{t} \end{matrix}) = (\begin{matrix} a 11 & a 12 & a 13 \\ a 21 & a 22 & a 23 \\ a 31 & a 32 & a 33 \end{matrix}) (\begin{matrix} R_{i} \\ G_{i} \\ B_{i} \end{matrix})

方程1

通常，在色彩传输系统中根据输入的RGB值的逆γ表示来尽可能好地将输入的RGB值(下标i)线性化，而且矩阵系数可以是使得期望得到正确的色度和亮度(即，如果实际上能够获得驱动值Rt等(例如如果这些值是负的，那么这是不可能的，因为显示器不能生成负的光)，那么作为在“标准显示器”上想要的色彩将会在实际的显示器114上再现)。

注意，色彩变换可以是任何所希望的色彩的变换，线性的(例如，为了用非EBU原色在显示器上获得预期的、几乎正确的色彩)或非线性的(例如用色域映射策略)。

例如，该矩阵可以引入色饱和或颜色丰富性等增加或减少。

这样，为了达到根据一些准则的最佳观看质量，可以例如在变换中映射到具有已经增加的色饱和的增强色域RGB(或甚至多原色)显示器。然后，本发明提供一种亮度改善步骤。

反之亦然，可以将色彩映射到减小的γ显示器，如便携式LC，这种显示器可以具有由于反射外部亮度而引起的额外的减少，所有这些都可以在根据本发明的变换和亮度改善后处理中考虑到。

这种变换的效果在图2的RGBmax空间中示出。对于许多选定的色彩(再现色度和特定亮度相关的所有可能的色彩)，在该空间中所示出的是在垂直轴上R、G和B分量中最大的分量(RGBmax)的值。

如在左边的输入色域G-in，每个色度都已经用其最大亮度来再现，即RGBmax分量等于1(例如，对于红色来说，这对应于色彩[1，0，0]，对于黄色来说，其对应于色彩[1，1，0]，等)。这也可以被看作是没有校正矩阵化的再现，即再现的色彩的色度是不正确的。

在应用方程1的色彩变换之后(G-out)，看到色彩的RGBmax已发生了变化，并且是按照与色彩有关的方式。例如预期的摄像机/标准显示器的白色Wo(例如D93白色)现在已具有大于1的RGBmax。

这会在利用行中系数之和的至少一个大于1的矩阵时发生。它可能在例如显示器114的自然白点太黄时出现，并且需要1以上的蓝色补偿量来再现相同亮度的D93白色(这在例如LCD上是物理上不可能的)。还可以看到红色Ro的RGBmax已显著下降。这可能是由于几个原因引起的，包括红色分量的较低贡献，因为在实际显示器114的新原色系统中其他原色贡献(绿色和/或蓝色)有助于所再现的红色的亮度，且由于RGB驱动值的总体下降而引起的较低贡献能够物理上实现(用在例如LCD上的最大可能亮度)所希望的白点色度。

但是这意味着将要再现的γG-in中的预期红色实际上可以以非常低的亮度再现，这用本发明的设备和方法进行大致地校正(或减缓)。

此外，可以例如利用下面例示性的图1的非常简单的实施例，这可以归纳为所输入的且已变换的色彩的R、G、B坐标的其他函数。

将第一最大分量计算器103设置为计算所输入的色彩Ci的最大值RGBmax。对于示例性的红色Ro来说，该结果将是红色分量，产生等于1的RGBmaxs(Ro)。类似地，第二最大分量计算器105计算与每一个所输入的色彩相对应的已变换的色彩Ct的最大值RGBmaxt。

将换算系数确定单元设置为确定两个RGBmax值的商以产生换算系数f，色彩换算单元109(例如在该简单实施例中是乘法器)将变换的色彩t的三个RGB分量与该换算系数相乘。在线性色彩系统中，这具有以下效果：所再现的色彩的色度保持相同(通过应用色彩变换T进行校正)，但是与原始输入亮度对应的亮度被改变了很多，想要的(理论的)输入色彩Ci的亮度在实际的显示器114上被再现。

换句话说，示例性的设备100的实施例根据下面的乘法方程来产生想要在显示器114上忠实再现输入色彩Ci的输出色彩Co：

f = \frac{\max (R_{s}, G_{s}, B_{s})}{\max (R_{t}, G_{t}, B_{t})}

(\begin{matrix} R_{o} \\ G_{o} \\ B_{o} \end{matrix}) = f (\begin{matrix} R_{t} \\ G_{t} \\ B_{t} \end{matrix})

方程2

其中下标s表示输入的色彩Ci，t表示已变换的色彩Ct，o表示输出色彩，且用例如方程1的方程由所输入的色彩得到已变换的色彩。

这在数学上是非常容易的运算(因此，例如用于相对廉价的电视IC或对于色彩处理仅仅能够节省其资源的有限量的一般处理器)。可以看到，不需要例如确定将白色成比例换算成最大可再现亮度值(利用RGBmaxo等于1)的精确的矩阵，而是可以利用校正所再现的色彩的色度的任何矩阵，因为方程2自动地产生最大可再现的白点。

方程2的简单公式也不需要详细的显示器知识，即，它在任何时候都可以应用。例如，显示器的特定处理(矩阵化)可以存在于一个单元中，然后可以在任何时候应用这种后校正(不管怎样的色彩变换T)。

电视信号接收机112实际上可以以不同的形状来体现，例如其可以是具有内置显示器或机顶盒的通常独立的电视，但其也可以是在例如移动电话的便携式观看设备中的IC。输入信号从电视信号接收单元110接收，例如耦合到接收和解码硬件或软件(未示出)的地上电视天线，或互联网连接等。

图3示出一个示例性实施例，其中摄像机301(在该例子中是宽色域摄像机)也应用RGBmax恒定性(尽管其他“标准”的摄像机也可以应用该RGBmax恒定性来取消它们的由于过滤器、处理等引起的特色，且这种应用可以是在传输侧上的摄像机中或者分立的后处理设备中)。

宽色域摄像机传感器303(例如CCD)能够产生在扩展的范围表示中的色彩(扩展的标准RGB由摄影和成像制造商组织提出作为还会覆盖印刷和其他染色工业PIMA 7667：工作草案1.0中的CRT色域外色彩的空间)。此外，esRGB提供对负值和溢出值进行编码的可能性。

此外，将色彩变换单元305设置为将所测量的无论什么(例如光谱捕获)的变换应用于esRGB规范。利用这种标准传输空间，任何色彩可以与设备无关地被再现，那么无论什么色彩表现(colorrendering)设备(图像生成单元319)都可以连接在接收机侧上。

由于esRGb对于一些色域映射情景仍然过于限制(如用实验方法发现的)，所以RGBmax应用能够给予帮助。特别是从非常宽的色域(三角形)到小得多的色域具有RGB分量的最大值急剧上升的效果。这可以是累积的，随后不得不观看在非常小的色域显示器上的图像，如便携式装置的LCD。最后得到的再现导致不能容忍的削减(clipping)量，这可以通过应用目前的RGBmax校正使其合理地减缓，优选地应用在摄像机上(通过RGBmax单元307，根据方程2的原理来工作)以及应用在显示器302一侧(通过RGBmax单元315，也根据方程2的原理来工作，但是现在通过考虑色彩变换单元313所做的工作，将该色彩变换单元313设置为映射到特定显示器的色域)。

将色调再现变换单元309和315设置为将esRGB标准中所规定的γ函数应用到线性RGB值，并且将色调再现变换单元311设置为应用那个γ函数的逆。

传输路径310可以是图像传送领域中已知的任何路径，如地面电视链路(terrestrial television link)，或其他传输装置，或者经由DVD或其他存储单元上的存储的传输。

本发明可以看作是在亮度正确性(或与合理的色度相结合的至少合理的亮度，这总是一种困难的折衷)和算法简单性之间的折衷方案。电视工程师对提供良好的、逼真和满意的结果的算法感兴趣，而不是对绝对的数学正确性(对于最佳精度其会需要有关周围照明、观众适应性的信息等)感兴趣，本发明通过按照数学上精致的方式看最终显示的再现能力实际上是什么以及看预期的源色彩来达到上述结果。终端用户更喜欢具有饱和的以及高亮度色彩的显示器，当前的算法旨在将其实现，即不损失比必要的更多的光。至少最大分量从它们所参与的算法解出。对于原色，如红色原色，该最大值与色彩亮度高度相关。对于中间色，这仅仅是近似真实的，但是例如在面部色彩中，至少其红色的主要贡献被大致校正。

尽管并不是严格必要的，但是优选将RGBmax校正应用在比色链(colorimetric chain)的末端(饱和处理，白点校正等)。

本文中公开的算法的组成部分在实践中可以(完全地或部分地)实现为硬件(例如专用IC的部分)或者实现为在特别的数字信号处理器或一般处理器等上运行的软件。

该软件可以体现为计算机程序产品，其应该理解为命令集合的任何物理实现，所述命令使一般或专用的处理器在一系列装载步骤(其可以包括中间转换步骤，如翻译成中间语言，和最终的处理器语言)将这些命令装入处理器中之后能够执行本发明的任何特征函数。特别是，该计算机程序产品可以被实现为载体(例如盘或磁带)上的数据、存储器中存在的数据、有线的或无线的网络连接上传输的数据，或者以书面形式的程序代码。除了程序代码之外，该程序所需的特征数据也可以体现为计算机程序产品。

该方法工作所需的一些步骤可以已经存在于处理器的功能中而不是以计算机程序产品来描述，如数据输入和输出步骤。

应该注意，上述实施例是图示说明本发明而非限制本发明。除了如在权利要求中所组合的本发明的元件组合之外，这些元件的其他组合也是可能的。元件的任何组合都能够在单个专用元件中实现。

在权利要求的括号中的任何附图标记都不是想要限制该权利要求。词“包括”不排除在权利要求中没有列出的元件或方面的存在。元件前面的词“一个”不排除存在多个这种元件。

Claims

1.一种亮度方向上的色彩校正方法，其包括：

将色彩变换(T)应用于输入色彩(Ci)，产生已变换的色彩(Ct)；

2.如权利要求1所述的亮度方向上的色彩校正方法，其中确定换算系数(f)包括根据第一显示驱动值表示(Rs，Gs，Bs)的显示驱动值的最大值和第二显示驱动值表示(Rt，Gt，Bt)的显示驱动值的最大值来确定该换算系数。

3.如权利要求2所述的亮度方向上的色彩校正方法，其中确定换算系数(f)包括将该换算系数确定为用第二显示驱动值表示(Rt，Gt，Bt)的显示驱动值的最大值除第一显示驱动值表示(Rs，Gs，Bs)的显示驱动值的最大值。

4.如前面任一项权利要求所述的亮度方向上的色彩校正方法，其中应用色彩变换(T)在显示驱动值表示中进行。

5.一种用于亮度方向上的色彩校正的设备(100)，包括：

6.如权利要求5所述的用于亮度方向上的色彩校正的设备(100)，其中该换算系数确定单元(107)设置为将该换算系数确定为用第二显示驱动值表示(Rt，Gt，Bt)的显示驱动值的最大值除第一显示驱动值表示(Rs，Gs，Bs)的显示驱动值的最大值。

7.一种电视信号接收机(112)，其包括电视信号接收单元(110)和如权利要求5或6所述的设备(100)。

8.一种摄像机(301)，其包括图像捕获设备(303)，该设备设置为向如权利要求5或6所述的设备(100)提供色彩。

9.一种包括代码的计算机程序产品，所述代码使处理器能够执行如权利要求1所述的方法的步骤，所述步骤为：

根据输入色彩(Ci)的第一显示驱动值表示(Rs，Gs，Bs)和已变换的色彩(Ct)的第二显示驱动值表示(Rt，Gt，Bt)来确定换算系数(f)，其中已变换的色彩(Ct)由将色彩变换(T)应用于输入色彩(Ci)而产生；以及