CN105453543A - 动态颜色阴影校正 - Google Patents

Abstract

某些实施例涉及用于动态颜色阴影校正的系统和方法，所述系统和方法可在运作中估计所捕获的图像中的颜色阴影。可从所述所捕获的图像的场景统计估计所述颜色阴影，且所述经估计的阴影可用于颜色阴影校正。所述颜色阴影估计方法可通过颜色阴影分量在梯度域中的唯一特性而将所述颜色阴影分量与实际图像内容分出。

Description

动态颜色阴影校正

技术领域

本文中所揭示的系统和方法大体上涉及图像捕获装置，并且更具体地说，涉及校正所捕获的图像中的颜色失真。

背景技术

使用数码相机所捕获的图像遭受可损害所捕获的照片的质量的亮度及颜色阴影失真。亮度阴影又称为渐晕，其为取决于位置的由光学系统透射的光的量的减少，从而引起边缘附近的影像的暗化。影响胶片与数码相机两者的渐晕是指由在镜头视场(FOV)外围附近的光学系统透射的光的量的减少，从而引起在边缘处的影像的逐渐暗化。可通过校准相机的镜头滚降失真函数来有效地解决渐晕。

颜色阴影实际上是相似的，且显示为传感器边缘附近的颜色的转变。颜色阴影失真特定针对于数码相机。典型电荷耦合装置(CCD)或互补型金属氧化物半导体(CMOS)传感器的在可见光光谱的红色端部处的光谱灵敏度比在光谱的蓝色端部处的光谱灵敏度高，并且还显著扩展至近红外线(IR)光谱中。此类传感器对IR光的相对高敏感度可引起颜色再现的误差。因此，在大多数数字传感器中，IR敏感度受到在传感器的正面处的薄膜反射性IR滤波器限制，所述薄膜反射性IR滤波器在传递可见光时阻挡红外线波长。然而，IR滤波器的透射率在入射于滤波器上的光的角度增加时转变为较短波长。因此，归因于较大入射光线角度，可在图像传感器的边缘处较多地阻挡较长波长(诸如，红光)，从而导致图像中的在空间上的不均匀色温。

按照惯例，通过每单元校准校正颜色阴影伪影，所述每单元校准根据由图像捕获装置在发光体集合中的每一发光体下所捕获的平面场场景的图像测量在所述发光体集合下的个别图像捕获装置的颜色阴影分布。在每一发光体下的颜色阴影的二维分布的反相被存储为校正表以补偿由图像捕获装置所捕获的图像中的颜色阴影伪影。当捕获一影像时，图像捕获装置首先采用白平衡算法以从传感器上的所捕获的数据检测场景发光体且接着选择对应的校正表以补偿颜色阴影失真。

发明内容

所捕获的图像中的颜色阴影伪影可降低图像的质量。然而，用于校正颜色阴影伪影的现有方法为复杂的、计算上昂贵的、取决于传感器的，且不精确地校正以下场景中的颜色阴影伪影：具有多个照明源的场景、具有其表面通过反射改变入射光的波长的目标的场景，或具有不具有对应的经预计算的校正表的照明源的场景。因此，在运作中针对任何图像传感器计算本文中所描述的颜色阴影校正技术，且可基于图像场景的照明源类型以及所捕获的图像中的目标。

渐晕及颜色阴影伪影的严重度可取决于照在成像传感器上的光的主光线角度(CRA)以及其它因素。此因素可使得小型相机中的广角镜头更倾向于阴影失真。虽然可使用光学系统的校准相对容易地解决渐晕，但是颜色阴影为更复杂的现象，其主要由光的入射角与传感器上的红外线(IR)反射性滤波器的相互相用引起。颜色阴影取决于场景发光体的光谱以及经成像的目标的表面反射系数，且因此无法使用预校准技术稳定地解决。

若干因素可造成图像中的颜色阴影伪影。用于阻挡非所需的红外光由图像传感器捕获的红外线滤波器一般在所选择的波长处具有锐截止值。然而，所述截止值存在处的波长取决于入射光线的入射角而变化。举例来说，典型薄膜反射性IR滤波器的截止波长为到达传感器处的光的角度的函数，随着光的入射角的增加，所述截止波长单调地朝向光谱的蓝色端部转变。因此，针对于镜头的主光线角度(CRA)较大的相机视场(FOV)的边缘，IR滤波器比在FOV的中心处截断更多的红光。因此，配备有反射性IR滤波器的成像传感器的响应在空间上不均匀，从而导致所捕获的图像中的视觉上不愉快的颜色阴影。颜色阴影通常对于小型广角光学系统(例如，移动电话中的成像装置)而言更严重。用于移动电话中的与相对广角镜头耦合的相机模块的小型尺寸意味着镜头与图像传感器极接近，所述镜头因此以可在图像的拐角及边缘处变得非常陡的角度接收光。所述结果为跨越图像的颜色响应的显著变化。另外，其它物理现象，例如，镜头渐晕、CRA上的光学空间串扰的相关性及入射光子的波长的像素量子效率的相关性，也可造成颜色阴影伪影。

尽管在一些情况下为有效的，但上文所描述的此每单元校准方法未能提供稳定的解决方案。举例来说，具有不同波长光谱的许多可能发光体存在巨大多样性，使得在所有可能光源下的颜色阴影校正表的校准为昂贵的且时间效率低下的。即使已校准图像捕获装置以补偿在所有可能光源下的阴影，但通过执行对捕获的场景统计的白平衡分析来确定发光体分类可能是不正确的。错误的白平衡确定可导致选择不正确的校正表来补偿颜色阴影，且不正确的校正表可提供阴影假影的仅一部分校正。此外，每单元校准校正方法不能够在混合照明条件中成功地操作。另外，经预校准的每单元校正表仅对于经校准的传感器及其阴影特性并未从经校准的传感器的参考偏离太多的其它传感器为精确的。另外，由于颜色阴影为发光体以及经照明的目标的的波长光谱的函数，因此经预校准的表可不提供高精确校正，此係由于阴影校正及经预校准的表仅解释发光体光谱上的阴影特性的相关性。最后，相对于传感器安装IR滤波器的精确角度经受制造机械公差的扩展，从而可能导致装置与装置间相互不同的偏离中心的阴影。因此，经预校准的表可不提供精确校正，此係由于经预校准的表可为阴影假定与归因于制造而实际上正存于在装置中的中心位置不同的中心位置。

一个方面涉及一种在电子装置中用于校正所捕获的图像中的颜色阴影伪影的方法，所述方法包括：接收包括所述所捕获的图像及场景统计的图像数据，所述场景统计包括所述所捕获的图像的降取样版本；存取参考表，其中所述参考表包括在典型照明下在参考模块上经校准的阴影校正数据；使用所述参考表校正所述场景统计中的颜色阴影；估计所述经校正的场景统计中的颜色阴影；基于所述经估计的颜色阴影更新所述参考表；以及使用所述经更新的参考表校正所述所捕获的图像中的颜色阴影。

另一方面涉及一种动态颜色阴影校正设备，其包括：校正表数据存储库，其经配置以存储参考表，其中所述参考表包括在典型照明下在参考模块上经校准的阴影校正数据；初始颜色阴影校正模块，其经配置以接收包括所捕获的图像及场景统计的图像数据，所述场景统计包括所述所捕获的图像的降取样版本，且经配置以使用所述参考表对所述场景统计执行初步颜色阴影校正；颜色阴影估计模块，其经配置以估计所述场景统计中的颜色阴影；表更新模块，其经配置以从所述参考表及所述经估计的颜色阴影产生经更新的表；以及颜色阴影校正模块，其经配置以使用所述经更新的表校正所述图像数据中的颜色阴影伪影。

另一方面涉及一种迭代颜色阴影估计过程，其包括：从所捕获的图像的场景统计获得多个色调分量，其中所述场景统计表示所述所捕获的图像的降取样版本；初始化解出颜色阴影分量值及本征颜色分量值的迭代问题；执行所述迭代问题的第一迭代；确定所述颜色阴影分量值及所述本征颜色分量值是否已收敛；以及如果所述颜色阴影分量值及所述本征颜色分量值尚未收敛，那么执行所述迭代问题的额外迭代，并且，如果所述颜色阴影分量值及所述本征颜色分量值已收敛，那么输出所述颜色阴影分量。

另一方面涉及一种激进的颜色阴影估计过程，其包括：从所捕获的图像的场景统计获得多个色调分量，其中所述场景统计表示所述所捕获的图像的降取样版本；直接从所述场景统计的至少一个色调分量检测颜色阴影分量的多个部分梯度；以及从所述多个部分梯度重构所述颜色阴影分量。

附图说明

将在下文中结合附图和附录来描述所揭示方面，提供附图和附录是为了说明而不是限制所揭示方面，其中相同符号表示相同元件。

图1A说明以不同主光线角度入射于滤波器上的光的的实例；

图1B说明基于图1A中所说明的入射角经过滤波器的光的透射率的实例转变；

图1C说明由图1B中所说明的透射率转变引起的所捕获的图像的空间颜色不均匀性的灰度近似；

图2说明具有动态颜色阴影校正能力的实例系统的示意性方框图；

图3说明动态颜色阴影校正器的实施例的示意性方框图；

图4说明动态颜色阴影校正过程的实施例；且

图5说明颜色阴影估计过程的实施例。

具体实施方式

简介

实施例涉及用于校正所捕获的数字图像中的颜色阴影的系统和方法。本文中所描述的颜色阴影校正技术向动态颜色阴影校正(DCSC)提供框架，其可在运作中从所捕获的图像的场景统计估计所捕获的图像的颜色阴影且可使用经估计的阴影以用于颜色阴影校正。DCSC框架可使用颜色阴影估计方法以通过颜色阴影分量在梯度域中的唯一特性(例如，颜色阴影分量一般为缓慢变化的函数的特性)将所述颜色阴影分量与实际图像内容分出。DCSC技术可使用颜色阴影估计来更新经预校准的颜色阴影校正表以精确地补偿所捕获的图像中的颜色不均匀性，而不管场景发光体或表面反射系数。由于在运作中从所捕获的图像中的经估计的颜色阴影产生经更新的颜色阴影校正表，因此DCSC框架不假定场景发光体包含于经预校准的校正表中并且其也不依赖于白平衡算法以尝试侦测场景发光体，因此可精确地校正所捕获的图像中的具体颜色不均匀性。DCSC技术为计算上高效的，且可实时提供颜色阴影校正，且在一些实施例中，当实施于移动装置上时所述DCSC技术有效且实时操作。

颜色阴影校正技术的实施例可将在空间上变化且取决于颜色通道的增益应用到图像像素以动态地补偿所捕获的图像中的颜色均匀性的缺乏。通常，与图像中心相距较远的像素倍增较大增益，而在图像中心处的像素得到单位增益。颜色阴影失真在图像中的二维分布取决于到达传感器处的光的光子的实际波长，且因此不仅取决于场景发光体而且还取决于经成像的目标的表面反射系数。因此，应响应于图像场景发光体抑或图像场景内容的改变而更新用于校正图像中的颜色阴影伪影的校正增益。一个实施例具备经预计算的校正表，其在典型照明下在参考装置上经校准。

在以下描述中，给出具体细节以提供对实例的透彻理解。然而，所属领域的技术人员将理解，可在没有这些具体细节的情况下实践所述实例。举例来说，可在方框图中展示电组件/装置，以免用不必要的细节混淆所述实例。在其它情况下，可详细展示此类组件、其它结构和技术以进一步解释所述实例。

还应注意，可将所述实例描述成过程，这个过程被描绘成流程图、流图、有限状态图、结构图或方框图。尽管流程图可将操作描述为连续过程，但是许多操作可并行或同时执行，并且所述过程可重复。另外，操作的顺序可重新安排。过程在其操作完成时终止。过程可对应于方法、功能、过程、子例程、子程序等。当过程对应于软件功能时，过程的终止对应于功能返回到调用功能或主功能。

颜色阴影的概述

图1A说明以不同主光线角度入射于滤波器108上的光的的实例。滤波器108定位在图像传感器110上方。出于说明性目的，光线102A展示为实质上垂直于滤波器108，光线104A比光线102A具有更大的入射角，且光线106A比光线104A具有更大的入射角。波长102B、104B、106B的图形表示说明透射经过滤波器108到传感器110的光的光谱如何在入射角增加时朝向较短波长转变。

图1B说明经过滤波器的光的透射率随着基于图1A中所说明的入射角的波长的实例转变。透射率光谱112对应于与滤波器108实质上成垂直角度的入射光102A，透射率光谱114对应于入射光104A，透射率光谱116对应于入射光106A，且透射率光谱118为通常存在于图像场景中的光的光谱的实例。显而易见，透射经过滤波器的光的前进及截止波长在入射角增加时朝向较短波长转变，且因此传感器110基于传感器的每一部分上的的光的入射角接收在传感器的不同区中的光的不同光谱。

图1C说明由图1B中所说明的透射率转变引起的所捕获的图像的空间颜色不均一性的实例说明的灰度近似。归因于基于入射光角度的透射率转变，中心区132通常比较冷边缘区134具有更暖的颜色色调。

系统概述

图2说明具有动态颜色阴影校正能力的实例系统200的高级方框图，所述系统200具有包含处理器220的一组组件，所述处理器220链接到具有滤波器260的成像传感器215。工作存储器205、存储装置210、电子显示器225及存储器230也与处理器220通信。

系统200可为例如蜂窝电话、数码相机、平板计算机、个人数字助理、或其类似装置的装置。系统200也可为更加固定的装置，例如桌上型个人计算机、视频会议台或使用内部或外部相机来捕获图像的类似装置。系统200也可为图像捕获装置与从所述图像捕获装置接收图像数据的单独处理装置的组合。多个应用可供系统200的用户使用。这些应用可包含传统摄影应用、对静态图像及视频的捕获、动态颜色校正应用及亮度阴影校正应用以及其它应用。

图像捕获系统200包含用于捕获图像的图像传感器215。图像传感器215可为(例如)电荷耦合装置(CCD)、互补金属-氧化物半导体(CMOS)传感器或其类似装置。图像传感器215可耦合到处理器220以将所捕获的图像发射到图像处理器220。滤波器260(例如，经设计以在传递可见光时反射或阻挡中红外线波长的红外线截止滤波器)可在传感器215附近或在传感器215内定位。图像处理器220可经配置以对所接收的所捕获的图像执行各种操作以便输出高质量颜色经校正图像，如将在下文更详细地描述。

处理器220可为通用处理单元或专门设计用于成像应用的处理器。如所展示，处理器220连接到存储器330及工作存储器205。在所说明的实施例中，存储器230存储成像传感器控制模块235、动态颜色阴影校正模块240、捕获控制模块245及操作系统250。这些模块可包含配置处理器以执行各种图像处理和装置管理任务的指令。工作存储器205可由处理器220使用以存储存储器330的模块中所含有的处理器指令的工作集合。或者，工作存储器205还可由处理器220使用以存储在装置200的操作期间产生的动态数据。

如上文所提及，处理器220由存储于存储器230中的若干模块配置。成像传感器控制模块235包含配置处理器320以调整成像传感器215的焦点位置的指令。成像传感器控制模块235还包含配置处理器220以使用成像传感器215捕获图像的指令。因此，处理器220以及图像捕获控制模块235、成像传感器215、滤波器260及工作存储器205表示用于捕获待针对颜色阴影经校正的图像或图像的序列的一个装置。

动态颜色阴影校正模块240包含配置处理器320以校正所捕获的图像中的颜色阴影的指令。举例来说，动态颜色阴影校正模块240可估计所捕获的图像中的颜色阴影分量，且可使用所述经估计的颜色阴影分量以产生校正表以校正图像中的颜色阴影。在一些实施例中，动态颜色阴影校正模块240可存储经预校准的参考表，其经校准以在典型照明下校正参考装置上的颜色阴影。在一些实施例中，经预校准的参考表可存储于数据存储210中。动态颜色阴影校正模块240可使用经估计的颜色阴影以动态地更新经预校准的参考表以校正所捕获的图像中的颜色阴影。

捕获控制模块245可包含控制系统200的总体图像捕获功能的指令。举例来说，在一实施例中，捕获控制模块245可包含调用子例程以配置处理器220以使用成像传感器215捕获目标图像场景的图像数据的指令。捕获控制模块245接着可调用动态颜色阴影校正器模块235以校正归因于滤波器260或其它原因的颜色阴影。捕获控制模块245也可调用其它未经说明的处理模块，例如，渐晕估计及校正模块。

操作系统模块250配置处理器220以管理系统200的存储器及处理资源。举例来说，操作系统模块255可包含装置驱动器以管理硬件资源，例如，电子显示器225、存储装置210或成像传感器215。因此，在一些实施例中，上文所论述的图像处理模块中所含有的指令可不与这些硬件资源直接交互，而是通过位于操作系统组件250中的标准子例程或API交互。操作系统250内的指令可接着与这些硬件组件直接交互。

处理器220可经进一步配置以控制显示器225以向用户显示所捕获的图像。显示器225可在包含图像传感器215的成像装置外部或可为所述成像装置的一部分。显示器225还可经配置以在捕获图像之前向用户提供视图查找器，或可经配置以显示存储在存储器中或最近由用户捕获的所捕获的图像。显示器225可包括LCD或LED屏幕，且可实施触敏式技术。

处理器220可将数据(例如，表示所捕获的图像的数据、颜色阴影估计及校正表数据)写入到存储模块210。虽然存储模块210以图形方式表示为传统磁盘装置，但所属领域的技术人员将理解，存储模块210可经配置为任何存储媒体装置。举例来说，存储模块210可包含：磁盘驱动器，例如，软盘驱动器、硬盘驱动器、光盘驱动器或磁光盘驱动器；或固态存储器，例如，快闪存储器、RAM、ROM及/或EEPROM。存储模块210也可包含多个存储器单元，且存储器单元中的任一者可经配置以处于图像捕获装置200内，或可在图像捕获系统200的外部。举例来说，存储模块210可包含含有存储在图像捕获系统200内的系统程序指令的ROM存储器。存储模块210还可包含经配置以存储所捕获的图像的存储卡或高速存储器，其可从相机移除。

尽管图2描绘包括单独组件以包含处理器、成像传感器和存储器的系统，但所属领域的技术人员将认识到，这些单独组件可以多种方式组合以实现特定的设计目标。举例来说，在一替代实施例中，存储器组件可与处理器组件组合以节省成本并且改进性能。

另外，尽管图2说明两种存储器组件—包括若干模块的存储器组件230及包括工作存储器的单独存储器205，但所属领域的技术人员将认识利用不同存储器结构的若干实施例。举例来说，一种设计可利用ROM或静态RAM存储器来存储实施存储器230中所含有的模块的处理器指令。或者，可在系统启动时从磁盘存储装置读取处理器指令，所述磁盘存储装置集成到系统200中或经由外部装置端口连接。接着可将处理器指令加载到RAM中以便于由处理器执行。举例来说，工作存储器205可为RAM存储器，其具有在由处理器220执行之前被加载到工作存储器205中的指令。

图3说明动态颜色阴影校正器240的实施例的示意性方框图。动态颜色阴影校正器240包含初步校正模块305、颜色阴影估计模块310、表更新模块315及颜色阴影校正模块320。尽管在图像捕获系统200的上下文内论述，但动态颜色阴影校正器240可在适于颜色阴影校正的其它图像捕获系统中实施。

在一实施例中，初步校正模块305接收图像数据及场景统计330。场景统计可为所捕获的图像的降取样版本，且在一些实施例中，可为所捕获的图像的每一拜耳(Bayer)通道—R、Gr、Gb及B—的四个每通道图像的组合。在一个实施例中，动态颜色阴影校正器240可仅接收包含所捕获的图像的图像数据，且可另外包含场景统计模块(未说明)以从所捕获的图像产生场景统计。在一些实施例中，初步校正模块305可经编程以从所捕获的图像的图像数据产生场景统计。

初步校正模块305可使用经预校准的参考表以校正场景统计中的颜色阴影中的至少一些，其中经预校准的参考表于在已知的发光体下捕获平场图像的参考图像捕获装置上计算。经预校准的参考表可存储于校正表数据存储库325中。在一些实施例中，阴影校正在拜耳图像域中执行，且所述表可包含各自与四个拜耳通道中的一者相关联的四个子表。可通过将参考表的每通道子表乘以每一拜耳通道的每通道场景统计来执行校正。

可将经初步校正的场景统计发送到颜色阴影估计模块310。可使用从经校正的场景统计确定颜色阴影分量的指令配置颜色阴影估计模块310。举例来说，RGB经校正的场景统计可变换成色调分量，且可从色调分量估计颜色阴影分量。举例来说，色调分量可表示颜色阴影分量的对数域中的线性组合，所述颜色阴影分量表示所捕获的图像的颜色阴影梯度，且本征颜色分量表示所捕获的图像场景的真实色调内容。颜色阴影估计模块310可为所捕获的图像恢复颜色阴影分量。在校正视频图像中的颜色阴影的实施例中，颜色阴影估计模块310可为视频图像序列中的某一或每一帧恢复颜色阴影分量。在一些实施例中，可使用两个色调通道，且可恢复两个颜色阴影分量。

表更新模块315可从颜色阴影估计模块310接收表示颜色阴影分量或若干分量的数据，且可使用颜色阴影分量来动态地更新经预校准的参考表从而产生针对所捕获的图像的最佳颜色校正。对于图像的视频序列，可动态地更新表以基于每一帧的颜色阴影分量来最佳地校正视频序列中的每一帧。举例来说，在一实施例中，两个颜色阴影分量可各自对应于红色色调通道与蓝色色调通道中的一者。为更新参考表，表更新模块315可将对应于蓝色通道的子表除以蓝色颜色阴影分量，且可将对应于红色通道的子表除以红色颜色阴影分量。经更新的校正表可存储于校正表数据存储库325中。

可将经更新的校正表以及所捕获的图像数据输出到颜色阴影校正模块320。颜色阴影校正模块320可使用经更新的校正表来校正所捕获的图像中的颜色阴影。可通过每通道参考表与每通道场景统计的按元素相乘来针对每一拜耳通道分离地执行此校正。

尽管在图2的系统200的上下文中论述动态颜色阴影校正器240，但其可在其自身上或在适于颜色阴影校正的任何系统中实施。

实例颜色阴影过程的概述

现在转向图4，更详细地描述动态颜色阴影校正(DCSC)过程400的一个实施例。可在图像捕获装置(例如，拍摄静止照片的相机)中或在捕获一连串图像帧的摄像机中实施过程400。过程400可在(例如)包含经集成到图像捕获装置中的处理器的计算系统上实施，或可在从图像捕获装置接收图像数据的单独计算装置上实施。过程400可用于校正由如以下装置的数字图像捕获装置所捕获的图像中的颜色阴影：仅列举数例，例如，数码相机、移动电话相机、网络相机、平板计算机相机及游戏控制台相机。过程400可尤其向具有宽视野的小型相机提供优势。

在方框405处，DCSC方法具备用于在一个发光体下的参考图像传感器的单个经预校准的颜色阴影校正表。在本文中被称作参考表T⁰的单个颜色阴影校正表可在平场典型照明下在参考图像捕获装置上校准。DCSC过程400可在拜耳图像域中执行，且因此阴影校正表可包含四个子表，每一子表与四个拜耳域—R、Gr、Gb及B—中的一者相关联。

接下来，在方框410处，接收图像数据，所述图像数据包括所捕获的图像的场景统计。如本文中所使用的场景统计是指所捕获的图像的降取样版本。在一实施例中，拜耳图像统计X可指示为四个每通道图像—X_R∈R^m×n、X_Gr∈R^m×n、X_Gb∈R^m×n及X_B∈R^m×n的组合。由于颜色阴影可在空间域中极逐渐地变化，因此可足以将对颜色阴影分布的估计基于场景统计上而非基于全分辨率的所捕获的图像，从而显著减少过程的计算复杂性。在一些实施例中，可以比校正表高的空间分辨率捕获图像统计，且在其它实施例中，图像统计与校正表可为相同的分辨率。

过程400接着移动到步骤415，其中参考表用于校正图像统计。在一些实施例中，可通过每通道参考表与每通道场景统计的按元素相乘来针对每一拜耳通道分离地执行此校正。

在方框420处，过程400估计由参考表校正的图像统计中的颜色阴影。颜色阴影估计技术可用于将缓慢变化阴影函数与实际图像内容分出。在一些实施例中，RGB拜耳域中的经校正的场景统计可变换成色调分量。可使用以下变换将经校正的场景统计变换成色调分量H1及H2：

$\begin{array}{c}{H}_1^t\stackrel{\mathrm{\Δ}}{=}\frac{2{\hat{X}}_R^t}{{\hat{X}}_{Gr}^t+{\hat{X}}_{Gb}^t},\\ H_2^t\stackrel{\mathrm{\Δ}}{=}\frac{2{\hat{X}}_B^t}{{\hat{X}}_{Gr}^t+{\hat{X}}_{Gb}^t},\end{array}---\left(1\right)$

其中按元素执行以上等式的集合中的除法操作。每一色调通道表示颜色阴影分量的(对数域中的)线性组合，且本征(实际)颜色分量表示场景的真实色调内容。颜色阴影估计可从所捕获的图像的所观测到的色调分量恢复阴影分量。

在一些实施例中，可执行单通道颜色阴影估计。颜色阴影可为到达图像传感器的光的入射角的平滑函数。由于经预校准的参考表在空间上也是平滑的，因此在使用参考表校正场景统计之后留下的颜色阴影也可为缓慢变化的信号。因此，阴影分量S可为具有致密且小梯度的平滑遮挡。另一方面，场景统计的本征颜色分量I可为含有小数值的非零梯度的分段平滑图案。因此，我们可通过最小化I的非零梯度的数值及S的梯度量值来从所观测到的色调H恢复两个添加分量S及I。在一实施例中，可如以下来定义二维(2D)图Z∈Rmn上的梯度稀疏性的测量值(即，非零梯度分量的数值)：

$C\left(Z\right)\stackrel{\mathrm{\Δ}}{=}\#\left\{i\right|D_{x,i}\stackrel{\→}{Z}\≠0,D_{y,i}\stackrel{\→}{Z}\≠0\},---\left(2\right)$

其中#{}为计数运算符，且指示Z在位置i处的2D部分梯度(附注：D_x,i及D_y,i∈R^m×n×1)。

鉴于色调通道H，颜色阴影可通过执行以下最小化来恢复颜色阴影分量S及本征颜色分量I：

其中λ为直接控制I的梯度稀疏性的有效性的权数参数，且 指示S的梯度量值的平方的总和(SSGM)。因此，颜色阴影估计的一些实施例通过最小化S的梯度量值的平方来推行S的平滑度，同时通过最小化I的非零梯度分量的数值来寻求I的分段平滑度(或梯度稀疏性)。

在颜色阴影估计的另一实施方案中，可由C(I)的两个不同变化形式C₁(I)及C₂(I)来代替稀疏性测量值C(I)，所述C₁(I)及C₂(I)分别定义在梯度量值与部分梯度域中的I的稀疏性：

$\begin{array}{c}{C}_1\left(I\right)\stackrel{\mathrm{\Δ}}{=}\underset{i}{\Σ}\left|\right|\sqrt{{\left(D_{x,i}\stackrel{\→}{I}\right)}^2+{\left(D_{y,i}\stackrel{\→}{I}\right)}^2}|{|}_0,\\ C_2\left(I\right)\stackrel{\mathrm{\Δ}}{=}\underset{i}{\Σ}\left|\right|D_{x,i}\stackrel{\→}{I}|{|}_0+|\left|D_{y,i}\stackrel{\→}{I}\right|{|}_0.\end{array}---\left(4\right)$

其中||||₀指示l₀-范数。

因此，在一些实施例中，可通过最小化本征颜色分量的非零梯度的数值及阴影分量的梯度的量值来从所观测到的色调恢复两个添加分量—阴影分量及本征颜色分量。可通过迭代过程计算一些实施例，且为减少时延，可通过单个迭代计算其它实施例。举例来说，为针对视频序列中的一些或所有帧实时计算颜色阴影校正表，可通过单个迭代估计颜色阴影以便减少运行时间。

在其它实施例中，可执行联合通道颜色阴影估计以按联合方式从两个所观测到的色调通道恢复颜色阴影的R/G及B/G分量。可基于本征颜色分量常常在相同位置处含有非零梯度的事实计算此联合通道颜色阴影估计。在一个实施例中，上文所描述的单独通道颜色阴影估计框架可经扩展以按联合方式从两个所观测到的色调通道恢复颜色阴影的R/G及B/G分量。符号H_i、S_i及I_i(其中i＝1、2)分别用于指R/G及B/G通道中所观测到的色调、颜色阴影及本征图像颜色。联合通道颜色阴影估计可利用本征色彩分量I₁及I₂常常在相同位置处含有非零梯度的事实。鉴于所观测到的色调通道H₁及H₂，联合通道颜色阴影估计技术通过下式恢复其本征的分量(I₁,I₂)及颜色阴影分量(S₁,S₂)：

其中[I₁:I₂]∈R^m×n×2指示由两个2D层I₁及I₂组成的3D立方。联合通道颜色阴影估计的梯度稀疏性测量值标示为：

$\begin{array}{c}{C}_1(\[I_1:I_2\])=\underset{i}{\Σ}\left|\right|\sqrt{\underset{j=1}{\overset{2}{\Σ}}{\left(D_{x,i}{\stackrel{\→}{I}}_j\right)}^2+{\left(D_{y,i}{\stackrel{\→}{I}}_j\right)}^2}|{|}_0,\\ C_2(\[I_1:I_2\])=\underset{i}{\Σ}\underset{j=1}{\overset{2}{\Σ}}\left|\right|D_{x,i}{\stackrel{\→}{I}}_j|{|}_0+|\left|D_{y,i}{\stackrel{\→}{I}}_j\right|{|}_0.\end{array}---\left(6\right)$

接下来，在方框425处，过程400动态地更新参考表。在已经估计阴影分量S1及S2之后，可动态地更新参考表从而产生用于校正图像的最佳校正表。在由一连串图像帧组成的视频序列中，可针对视频序列中的每一第t帧计算校正表，其中t指示所捕获的帧的时间。在用于视频序列中的颜色阴影校正的DCSC过程400的一些实施例中，可根据以下等式的集合更新表，其中可按元素执行除法操作：

$\begin{array}{c}{T}_R^t=\frac{T_R^0}{S_1^t},\\ T_{Gr}^t=T_{Gr}^0,\\ T_{Gb}^t=T_{Gb}^0,\\ T_B^t=\frac{T_B^0}{S_2^t}.\end{array}---\left(7\right)$

在方框430处，过程400使用经更新的参考表来校正所捕获的图像中的颜色阴影。因此，DCSC过程400不需要成本高的每单元校准，且对于模块间的变化形式为稳固的。另外，DCSC过程400既不假定与所捕获的图像相关联的发光体包含于预校准中，也不依赖于白平衡算法以给出对场景发光体的精确检测。

图5说明颜色阴影估计过程500的实施例。过程500的一些实施方案可在图4的方框420处进行。然而，颜色阴影估计过程500可单独实施或作为适于颜色阴影估计或校正的任何技术的一部分实施。此外，尽管在颜色阴影估计模块310的上下文中被论述，但此是出于说明性目的且可由适于颜色阴影估计的任何系统执行过程500。

过程500开始于任选的方框505处，其中颜色阴影估计模块310确定过程500的可允许的时延。举例来说，颜色阴影估计模块310可实时确定输入图像数据是否为经校正的图像的视频序列，其对应于低量的可允许的时延。在(例如)用于静态图像的其它颜色阴影估计应用中，可允许的时延的量可更高。举例来说，在具有分辨率32x16的场景统计的实施方案中，迭代子过程的实施例可在大约200mx到大约300ms的范围内的某处进行，其可被视为动态颜色阴影校正的实时应用的大量时延。此时延可导致使用应用到(视频序列中的)随后帧的当前帧的统计计算的阴影校正表，所述稍后帧的场景统计可能不很好地与当前帧匹配。此可导致被称作拖尾的颜色色泽的不当颜色色泽伪影，其在快速改变的场景中极其严重。因此，在任选的确定方框510处，颜色阴影估计模块310确定执行迭代还是激进的颜色阴影估计子过程。

在一些实施例中，迭代子过程可需要几十个迭代来收敛，从而在动态颜色阴影校正中引起时延，而激进的子过程可在仅一个迭代之后获得有效的解决方案。在一些实施方案中，可针对与较高可允许的时延量、较大处理能力相关联的情形中的较高质量结果或针对联合通道颜色阴影估计执行迭代颜色阴影估计过程。在一些实施方案中，可在与较低可允许的时延量相关联的情形中或在具有较低处理能力的系统中执行激进的颜色阴影估计过程。在一些实施例中，可绕过任选的方框505和510，且颜色阴影估计模块310可经配置以执行迭代且激进的颜色阴影估计子过程中的一者。

迭代颜色阴影估计子过程开始于方框530处，其中颜色阴影估计模块310从表示所捕获的图像的场景统计获得色度分量或若干分量。接下来，在方框535处，颜色阴影估计模块310初始化解出颜色阴影分量及本征颜色阴影分量的迭代问题，例如，如上文在等式(3)中所定义。举例来说，一些实施例可通过引入拉格朗日(Lagrangian)乘数Y∈R^m×n及过度规则化参数β来应用增强的拉格朗日方法以将等式(3)的等式限制因素变换成如以下等式的增强的拉格朗日函数：

其中通过沿着垂直方向串接D_x,I,1≤i≤MN产生D_x∈R^mn×mn，且以相似方式产生D_y∈R^mn×mn。通过引入辅助梯度参数G_x及G_y(其中G_x＝D_xI且G_y＝D_yI)，可如下式重新构成梯度稀疏性测量值：

$\begin{array}{c}{G}_1(G_x,G_y)=\underset{i}{\Σ}\left|\right|\sqrt{{\left(G_{x,i}\right)}^2+{\left(G_{y,i}\right)}^2}|{|}_0,\\ G_2(G_x,G_y)=\underset{i}{\Σ}\left|\right|G_{x,i}|{|}_0+|\left|G_{y,i}\right|{|}_0,\end{array}---\left(9\right)$

可使用如下式的运算符拆分技术简化所述等式：

可通过在以下两个步骤之间进行迭代来最小化经简化的增强拉格朗日函数：

通过最小化解出S^k+1、G_x ^k+1、G_y ^k+1、I^k+1，(11)

更新Y^k+1←Y^k+β(S^k+1+I^k+1-H)。(12)

每一迭代要求通过四个参数S、G_x、G_y及I来精确地最小化增强的拉格朗日函数，此在计算上为昂贵的。幸而这四个参数可分成两组：(1)S、G_x、G_y；(2)I，以使得当一个组固定时存在通过另一参数组最小化增强的拉格朗日函数的封闭式解决方案。因此，一些实施例应用交替的方向方法以最小化其在使用固定的I优化S、G_x、G_y与使用固定的S优化I之间进行迭代。鉴于以足够的速率更新拉格朗日乘数Y，我们可将精确地最小化放宽为一轮通过两组参数的交替优化。

因此，在方框540处，颜色阴影估计模块310可在本征颜色分量I^k及拉格朗日乘数Y^k为固定的情况下分离地优化如等式(11)中所定义的颜色阴影分量S及部分梯度参数G_x及G_y。在一些实施例中，鉴于经初始化值I^k及Y^k，可通过最小化来优化颜色阴影分量S：

且可通过最小化来优化部分梯度G_x及G_y：

在方框545处，颜色阴影估计模块310可根据等式(11)在S^k+1、G_x ^k+1、G_y ^k+1、Y^k为固定的情况下恢复I。在一些实施例中，鉴于经更新的G_x ^k+1、G_y ^k+1及S^k+1，可通过最小化恢复本征颜色分量I：

在方框550处，颜色阴影估计模块310可根据等式(12)更新Y。在确定方框555处，颜色阴影估计模块310可确定S及I是否已收敛。如果S及I尚未收敛，那么过程500循环回到方框540以执行等式(11)及等式(12)的优化的另一迭代。如果S及I已收敛，那么过程500过渡到方框560以输出颜色阴影分量S(例如)以用于颜色阴影校正。

激进的颜色阴影估计子过程开始于方框515处，其中颜色阴影估计模块310从表示所捕获的图像的场景统计获得色度分量或若干分量。通常，本征颜色分量I具有比颜色阴影分量S的梯度量值大的多的梯度量值。此指示在大多数情况下可无需对I的分段平滑度推行与对I的平滑滤光之间的几十个迭代而获得对颜色阴影的大致校正估计。因此，在方框520处，颜色阴影估计模块310根据那些色调通道H的值从所述那些色调通道H直接检测颜色阴影分量S的部分梯度。在一个实施例中，鉴于所观测到的色调通道H，颜色阴影分量S的部分梯度(G_x,G_y)可如下式联合地恢复：

或可如下式分离地恢复：

此假定颜色阴影分量的部分梯度应为小量值，其在图像边界处并非始终是正确的。因此，在一些实施方案中，在底部边界及向右边界处的部分梯度可如下式恢复：

其中(G_x,i,j,G_y,i,j)指示在位置(i,j)处的S的部分梯度。

在方框520处，颜色阴影估计模块310使用所检测到的部分梯度重构颜色阴影分量。在一些实施例中，鉴于经恢复的部分梯度(G_x,G_y)，可通过如等式(19)及等式(20)所展示的两个依序步骤恢复本征分量S：

$S=F^{-1}\left(\frac{D_x^T{\hat{G}}_x+D_y^T{\hat{G}}_y}{{\mathrm{\Σ}}_{i=1}^{2}F\left({\mathrm{PSF}}_i\right)+\mathrm{\τ}}\right)---\left(19\right)$

S＝S-平均值(S)(20)

其中τ被设定为极小的常量(例如，10^-10)，且转变经恢复的颜色阴影分量S以使得其平均值为零，且其中F及F^-1分别指示傅立叶(Fourier)及反傅立叶变换。接下来，过程500过渡到方框525以输出颜色阴影分量S(例如)以用于颜色阴影校正。

结论

本文中所描述的动态颜色阴影校正(DCSC)的框架可在运作中从所捕获的图像的场景统计估计颜色阴影，且使用经估计的阴影以用于颜色阴影校正。在DCSC框架的核心处为颜色阴影估计方法，其通过颜色阴影分量在梯度域中的唯一特性而将颜色阴影分量与实际图像内容分出。迭代颜色阴影估计过程可通过应用交替的方向来解决此问题。在一些实施例中，激进的颜色阴影估计过程可用于将颜色阴影估计的运行时间减少到小于大约10ms，此使得DCSC能够操控动态场景。实验结果及取样装置上的真实实施方案展示：(1)DCSC在多种发光体下移除颜色阴影假影的有效性；及(2)归因于颜色阴影校正的基于预校准的方法的限制，DCSC在当前图像传感器管线中非常合乎需要。

术语

所述技术通过众多其它通用或专用计算系统环境或配置而操作。可适合于供本发明使用的众所周知的计算系统、环境及/或配置的实例包含但不限于个人计算机、服务器计算机、手持型或膝上型装置、多处理器系统、基于处理器的系统、可编程消费型电子装置、网络PC、微型计算机、大型计算机，包含以上系统或装置中的任一者的分布式计算环境，及其类似者。

如本文中所使用，指令涉及用于处理系统中的信息的计算机实施步骤。指令可在软件、固件或硬件中实施，且包含由系统的组件进行的任何类型的经编程步骤。

处理器可为任何常规通用单或多芯片处理器，例如处理器、处理器、Pro处理器、8051处理器、处理器、Power处理器或处理器。另外，处理器可为任何常规专用处理器，例如数字信号处理器或图形处理器。处理器通常具有常规地址线、常规数据线及一或多个常规控制线。

系统是由如详细论述的各种模块构成。如所属领域的技术人员可以了解，所述模块中的每一者包括各种子例程、程序、明确申明及宏。所述模块中的每一者通常被分离地编译且链接到单个可执行程序中。因此，出于便利起见而使用所述模块中的每一者的描述来描述优选系统的功能性。因此，所述模块中的每一者所经历的过程可任意地重新分配给其它模块中的一者、一起组合在单个模块中，或使得可用于(例如)可共享的动态链接库中。

所述系统可结合各种操作系统使用，例如或微软可以例如C、C++、BASIC、Pascal或Java的任何常规编程语言编写所述系统，且在常规操作系统下运行所述系统。C、C++、BASIC、Pascal、Java及FORTRAN是业界标准的编程语言，许多商用编译器可使用其来创建可执行代码。还可以使用例如Perl、Python或Ruby的解译语言来编写系统。

所属领域的技术人员将进一步了解，结合本文所揭示的实施例而描述的各种说明性逻辑块、模块、电路及算法步骤可以实施为电子硬件、计算机软件或两者的组合。为清楚说明硬件与软件的此互换性，上文已大致关于其功能性而描述了各种说明性组件、块、模块、电路及步骤。此类功能性是实施为硬件还是软件取决于特定应用及施加于整个系统的设计约束。熟练的技术人员可针对每一特定应用以不同方式实施所描述的功能性，但此类实施决策不应被解释为会致使偏离本发明的范围。

可使用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件或经设计以执行本文所描述的功能的其任何组合来实施或执行结合本文中所揭示的实施例而描述的各种说明性逻辑块、模块及电路。通用处理器可为微处理器，但在替代方案中，处理器可为任何常规处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合，例如，DSP与微处理器的组合、多个微处理器、结合DSP核心的一或多个微处理器，或任何其它此类配置。

在一或多个实例实施例中，所描述的功能及方法可以以硬件、软件、或在处理器上执行的固件或其任何组合来实施。如果用软件实施，那么可将功能作为一或多个指令或代码存储在计算机可读媒体上或经由计算机可读媒体发射。计算机可读媒体包含计算机存储媒体与通信媒体两者，通信媒体包含促进将计算机程序从一处传送到另一处的任何媒体。存储媒体可为可由计算机存取的任何可用媒体。以实例方式且并非限制，此类计算机可读媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，或可用于载送或存储呈指令或数据结构的形式的所要程序码且可由计算机存取的任何其它媒体。而且，可恰当地将任何连接称作计算机可读媒体。举例来说，如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或例如红外线、无线电及微波的无线技术从网站、服务器或其它远程源发射软件，那么同轴电缆、光纤电缆、双绞线、DSL或例如红外线、无线电及微波的无线技术包含于媒体的定义中。如本文中所使用的磁盘及光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软磁盘及蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘使用激光以光学方式再现数据。上述各者的组合也应包含在计算机可读媒体的范围内。

前文描述详述了本文中所揭示的系统、装置及方法的某些实施例。然而，将了解，不管前述内容在文本中如何详细地显现，皆可以以多种方式实践所述系统、装置及方法。同样如上文所陈述，应注意，在描述本发明的某些特征或方面时使用特定术语不应理解为暗示所述术语在本文中被重新界定以限于包含所述术语所关联的技术的特征或方面的任何特定特性。

所属领域的技术人员将了解，在不脱离所描述的技术的范围的情况下可作出各种修改及改变。此类修改及改变希望落在实施例的范围内。所属领域的技术人员还将了解，在一个实施例中所包含的部分可与其它实施例互换；来自所描绘的实施例的一或多个部分可与其它所描绘的实施例以任何组合包含在一起。举例来说，本文中所描述的及/或图中所描绘的各种组件中的任一者可进行组合、互换或从其它实施例排除。

关于实质上任何复数及/或单数术语在本文中的使用，本领域的技术人员可根据上下文和/或应用适当地将复数转换成单数及/或将单数转换成复数。为清晰起见，本文中可明确地阐述各种单数/复数排列。

所属领域的技术人员将理解，一般来说，本文中所使用的术语一般希望作为“开放”术语(例如，术语“包含(including)”应当解释为“包含但不限于(includingbutnotlimitedto)”，术语“具有”应当解释为“至少具有”，术语“包含(includes)”应当解释为“包含但不限于(includesbutisnotlimitedto)”，等)。所属领域的技术人员将进一步理解，如果希望特定数目的所引入权利要求叙述，那么此意图将明确叙述于所述权利要求中，且在不存在此叙述的情况下，不存在此意图。举例来说，为了辅助理解，以下所附权利要求书可含有介绍性短语“至少一个”及“一或多个”的使用，以便引入权利要求叙述。然而，此类短语的使用不应解释为暗示通过不定冠词“一”引入权利要求叙述将含有如此引入的权利要求叙述的任何特定权利要求限于仅含有一个此类叙述的实施例，即使当同一个权利要求包含介绍性短语“一或多个”或“至少一个”及例如“一”的不定冠词时也如此(例如，“一”通常应解释为意味“至少一个”或“一或多个”)；这同样适用于使用定冠词来引入权利要求叙述的情况。另外，即使明确叙述具体数目的所引入的权利要求叙述，但所属领域的技术人员将认识到，此类叙述通常应当解释为意味着至少所叙述的数目(例如，在没有其它修饰语情况下，“两个叙述”的仅有叙述通常意味至少两个叙述或两个或两个以上的叙述)。此外，在使用类似于“A、B及C中的至少一者等”的惯例的那些情况下，一般来说，此类构造希望以所属领域的技术人员将理解所述惯例的含义来理解(例如，“具有A、B及C中的至少一者的系统”将包含但不限于具有单独A、单独B、单独C、A及B一起、A及C一起、B及C一起及/或A、B及C一起的系统等)。在其中使用类似于“A、B或C等中的至少一者”的惯例的那些情况下，一般来说，此类构造希望以所属领域的技术人员将理解所述惯例的含义来理解(例如，“具有A、B或C中的至少一者的系统”将包含但不限于具有单独A、单独B、单独C、A及B一起、A及C一起、B及C一起及/或A、B及C一起的系统等等)。所属领域内的技术人员将进一步了解，实际上任何呈现两个或两个以上替代性术语的转折性词语和/或短语，无论是在说明书、权利要求书或图式中，都应该理解为涵盖包括所述术语中的一者、所述术语中的任一者或两个术语的可能性。举例来说，短语“A或B”将理解为包含“A”或“B”或“A及B”的可能性。

虽然本文中已经揭示各种方面和实施例，但其它方面及实施例对于所属领域的技术人员将显而易见。本文中所揭示的各种方面及实施例是出于说明的目的且并不打算具有限制性。

Claims (30)

1.一种在电子装置中用于校正所捕获的图像中的颜色阴影伪影的方法，所述方法包括：

接收包括所述所捕获的图像及场景统计的图像数据，所述场景统计包括所述所捕获的图像的降取样版本；

存取参考表，其中所述参考表包括在典型照明下经校准的阴影校正数据；

使用所述参考表校正所述场景统计中的颜色阴影；

估计所述经校正的场景统计中的颜色阴影；

基于所述经估计的颜色阴影更新所述参考表；以及

使用所述经更新的参考表校正所述所捕获的图像中的颜色阴影。

2.根据权利要求1所述的方法，其中估计颜色阴影包括将第一颜色阴影分量与本征颜色分量分离，其中所述本征颜色分量表示所述所捕获的图像的真实色调内容。

3.根据权利要求2所述的方法，其中估计颜色阴影进一步包括将所述场景统计变换成至少一个色调通道以及从所述至少一个色调通道估计所述第一颜色阴影分量。

4.根据权利要求2所述的方法，其进一步包括将第二颜色阴影分量与所述本征颜色分量分离。

5.根据权利要求4所述的方法，其中从R/G色调通道估计所述第一颜色阴影分量，且其中从B/G色调通道估计所述第二颜色阴影分量。

6.根据权利要求1所述的方法，其中使用迭代颜色阴影估计过程执行估计颜色阴影。

7.根据权利要求6所述的方法，其中所述迭代颜色阴影估计过程交替地进行以下操作：使用固定的本征颜色分量值解出颜色阴影分量的值，其中所述本征颜色分量表示所述所捕获的图像的所述真实色调内容；及使用固定的颜色阴影分量值解出所述本征颜色分量的值直到所述颜色阴影分量的所述值与所述本征颜色分量的所述值收敛为止。

8.根据权利要求7所述的方法，其中交替地解出所述颜色阴影分量的所述值及所述本征颜色分量的所述值包括使用增强的拉格朗日函数。

9.根据权利要求7所述的方法，其进一步包括解出多个部分梯度。

10.根据权利要求1所述的方法，其中使用激进的颜色阴影估计过程执行估计颜色阴影。

11.根据权利要求10所述的方法，其中所述激进的颜色阴影估计过程包括直接从所述场景统计的至少一个色度分量检测颜色阴影分量的多个部分梯度。

12.根据权利要求11所述的方法，其中所述激进的颜色阴影估计过程进一步包括从所述多个部分梯度重构所述颜色阴影分量。

13.根据权利要求1所述的方法，其中所述图像数据包括视频序列，所述视频序列包括多个图像帧。

14.根据权利要求13所述的方法，其进一步包括：

估计所述多个图像帧中的每一者中的颜色阴影；

针对所述多个图像帧中的每一者产生经更新的参考表；以及

校正所述多个图像帧中的每一者中的颜色阴影。

15.根据权利要求14所述的方法，其中实时校正所述视频序列中的所述多个图像帧中的所述颜色阴影伪影。

16.根据权利要求1所述的方法，其中所述参考表包括多个子表，其中所述多个子表中的每一者与多个拜耳通道中的一者相关联。

17.一种动态颜色阴影校正设备，其包括：

校正表数据存储库，其经配置以存储参考表，其中所述参考表包括在典型照明下在参考模块上经校准的阴影校正数据；

初始颜色阴影校正模块，其经配置以接收包括所捕获的图像及场景统计的图像数据，所述场景统计包括所述所捕获的图像的降取样版本，且经配置以使用所述参考表对所述场景统计执行初步颜色阴影校正；

颜色阴影估计模块，其经配置以估计所述场景统计中的颜色阴影；

表更新模块，其经配置以从所述参考表及所述经估计的颜色阴影产生经更新的表；以及

颜色阴影校正模块，其经配置以使用所述经更新的表校正所述图像数据中的颜色阴影伪影。

18.根据权利要求17所述的动态颜色阴影校正设备，其中所述校正表数据存储库经进一步配置以存储所述参考表的多个子表，其中所述多个子表中的每一者与多个拜耳通道中的一者相关联。

19.根据权利要求18所述的动态颜色阴影校正设备，其中所述颜色阴影估计模块经进一步配置以估计所述场景统计中的所述多个拜耳通道中的至少一者中的颜色阴影。

20.根据权利要求19所述的动态颜色阴影校正设备，其中所述表更新模块经配置以使用所述多个拜耳通道中的所述至少一者中的对应的经估计的颜色阴影来更新所述多个子表。

21.根据权利要求17所述的动态颜色阴影校正设备，其中所述颜色阴影估计模块经配置以执行迭代颜色阴影估计过程。

22.根据权利要求17所述的动态颜色阴影校正设备，其中所述颜色阴影估计模块经配置以执行激进的颜色阴影估计过程。

23.根据权利要求17所述的动态颜色阴影校正设备，其进一步包括与滤波器相关联的图像传感器。

24.根据权利要求23所述的动态颜色阴影校正设备，其中所述滤波器为反射性红外线截止滤波器。

25.根据权利要求24所述的动态颜色阴影校正设备，其中所述图像传感器包括中心区及多个边缘区，且经由所述红外线截止滤波器传递到所述图像传感器的入射光的不同光谱被透射到所述中心区及所述多个边缘区。

26.一种迭代颜色阴影估计过程，其包括：

从所捕获的图像的场景统计获得多个色调分量，其中所述场景统计表示所述所捕获的图像的降取样版本；

初始化解出颜色阴影分量值及本征颜色分量值的迭代问题；

执行所述迭代问题的第一迭代；

确定所述颜色阴影分量值及所述本征颜色分量值是否已收敛；以及

如果所述颜色阴影分量值及所述本征颜色分量值尚未收敛，那么执行所述迭代问题的额外迭代，并且，如果所述颜色阴影分量值及所述本征颜色分量值已收敛，那么输出所述颜色阴影分量。

27.根据权利要求26所述的迭代颜色阴影估计过程，其中执行所述迭代问题的第一迭代包括使用固定的本征颜色分量值解出所述颜色阴影分量值。

28.根据权利要求27所述的迭代颜色阴影估计过程，其中执行所述迭代问题的第一迭代进一步包括使用固定的颜色阴影分量值解出所述本征颜色分量值。

29.根据权利要求27所述的迭代颜色阴影估计过程，其中执行所述迭代问题的第一迭代进一步包括使用所述固定的本征颜色分量值解出多个部分梯度值。

30.一种激进的颜色阴影估计过程，其包括：

从所捕获的图像的场景统计获得多个色调分量，其中所述场景统计表示所述所捕获的图像的降取样版本；

直接从所述场景统计的至少一个色度分量检测颜色阴影分量的多个部分梯度；以及

从所述多个部分梯度重构所述颜色阴影分量。