CN100361508C - 包含输入图像信号动态范围控制的信号重建方法 - Google Patents
包含输入图像信号动态范围控制的信号重建方法 Download PDFInfo
- Publication number
- CN100361508C CN100361508C CNB038213184A CN03821318A CN100361508C CN 100361508 C CN100361508 C CN 100361508C CN B038213184 A CNB038213184 A CN B038213184A CN 03821318 A CN03821318 A CN 03821318A CN 100361508 C CN100361508 C CN 100361508C
- Authority
- CN
- China
- Prior art keywords
- signal
- dynamic range
- flex point
- convex function
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 73
- 238000004590 computer program Methods 0.000 title description 7
- 238000003384 imaging method Methods 0.000 title description 6
- 238000012545 processing Methods 0.000 claims abstract description 22
- 230000006835 compression Effects 0.000 claims description 31
- 238000007906 compression Methods 0.000 claims description 31
- 230000004087 circulation Effects 0.000 claims description 19
- 230000008859 change Effects 0.000 claims description 9
- 238000011002 quantification Methods 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000012886 linear function Methods 0.000 claims description 3
- 238000012421 spiking Methods 0.000 claims description 2
- 238000012546 transfer Methods 0.000 abstract description 6
- 239000011159 matrix material Substances 0.000 description 58
- 238000006243 chemical reaction Methods 0.000 description 40
- 238000005259 measurement Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 13
- 238000010606 normalization Methods 0.000 description 9
- 230000002349 favourable effect Effects 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 3
- 230000003321 amplification Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000003199 nucleic acid amplification method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 244000287680 Garcinia dulcis Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- 206010043458 Thirst Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000013341 scale-up Methods 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000035922 thirst Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/72—Combination of two or more compensation controls
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
- Picture Signal Circuits (AREA)
Abstract
一种动态范围控制特别关注在黑暗和明亮部分之间具有高对比度的画面。两部分都可以包含细节信息,然而在大多数情况下,在信号重建处理过程中,黑暗部分被给予了优先。在这样一种情况下,画面的黑暗部分被放大到提供了足够可视细节的级别,然而在多数现有的技术中,明亮部分可能超过最大允许信号幅度并且将受到裁剪。在多数情况中,这样一种方法将导致所有最大允许信号幅度级别之上和之外的细节的丢失。特别提出将画面的明亮部分依靠非线性转换函数而压缩以便能考虑输入信号的特别需要。
Description
技术领域
本发明涉及信号重建方法,包括由产生输出图像信号的输入图像信号动态范围控制过程。本发明也涉及一种成像设备,用于包括产生输出图像信号的输入图像信号动态范围控制过程的装置的信号重建。该发明还进一步涉及一种计算机程序产品。
背景技术
一种成像设备通常包括用于产生图像的光学系统和用于将光学图像转换成模拟信号的传感器装置。该模拟信号包括图像信息。传感器装置可以是黑/白传感器或彩色传感器。这样一种传感器通常由排列在阵列中的象素的矩阵组成,它可以作为基于CMOS的设备或CCD类型的设备运行。这样一种设备的模拟信号包括依照由每个象素感应的光信息的信息并且通常为了进一步处理而由模数转换器(ADC,analog-to-digital converter)所转换。
彩色信号可以通过已知的Y-UV系统或RGB系统的标准中的一种来提供。两种系统的亮度和彩色坐标可以通过合适的矩阵变换互相转换。RGB系统中的亮度可以由R,G和B分量得到,而Y-UV系统中的亮度做为Y分量提供。
模拟信号被模数转换器(ADC)转换为数字信号。模拟和数字信息依赖ADC可以在某个比特范围上缩放。这个范围被看作图像的动态范围。一些现有技术方法,例如US2001/0005227A1中披露的一个,提供了一种合适的能够显著增加放大型CMOS图像传感器的动态范围和从小信号到大信号的放大中获取良好图像并防止图像裁剪的成像设备。
更多现在有益的模拟到数字信号的模数转换器的方法,例如由WO99/60524披露的一个,尝试无需迫使增加用于把模拟图像信号转换到数字信号信息的模数转换器的动态范围而增加所得图像的对比度。图像的动态范围可以无需通过在数字信号处理过程中把输入信号的输入范围压缩在输出信号的输出范围的更小比特范围里来增加范围而得到加强。
然而,合适的能够用做转换函数并能够在处理模块的动态范围控制内压缩输入信号的非线性转换特征的规定导致了特别的问题。
例如,动态范围压缩的数量本身可以由与用于感应图像的白色画面的峰值的白峰值检测器结合的自动曝光单元来指定。这允许动态范围压缩的数量可以被确定。然而,在多数情况下,在动态范围控制控制的处理之后,应用十分任意的概念。这经常导致图像放大过程中相当差的图像质量,因为迄今为止仍然不可能特别地使一种动态范围控制过程适应输入图像信号。动态范围控制对于黑暗和明亮部分之间有很高对比度的画面特别重要。两部分都可以含有细节信息,但是在多数情况下,现在的设备对黑暗部分给予了优先。这经常导致的问题是画面的黑暗部分被放大到显现足够可视细节的级别,然而画面的明亮部分处在这样一种情况下超过了最大容许信号幅度并将受到裁剪。这通常导致所有信号幅度最大级别之上和之外的细节都将丢失。一种能够提供特殊且显著的合适的转换函数的概念将是有利的,因为这将允许根据特殊的质量和图像信号的种类而适应控制处理的动态范围的方法。
发明内容
这是本发明的由来,它的目的是指定一种信号重建方法和设备,包括输入图像信号的动态范围控制处理,以基于能够解决指定的输入图像信号的需要的概念而产生输出图像信号。
按照本发明的一种包括对图像输入信号进行动态范围控制处理,以产生图像的输出信号的信号重建方法,该方法包括下列步骤:
-提供输入信号;
-通过下列步骤确定数量:
-指定输入信号的输入范围,和
-指定输出信号的输出范围,
-选择一种凸函数作为能够依照动态范围控制处理的数量压缩输入信号的非线性传输特性;
-处理输入信号,其中借助于凸函数对输入信号进行转换;
-产生作为该处理的结果的输出信号,
据此,凸函数至少由第一和第二部分组成,所述第一和第二部分带有作为第一和第二部分的交叉点的拐点,在其中凸函数的第一部分具有超过第二部分平均斜率的平均斜率,其特征在于凸函数的第一和第二部分的每一个由具有不变斜率的线性函数组成。
关于该设备,该目标通过介绍中特到的成像设备来实现,在其中,依照本发明,该设备包括:
一种输入装置,用于提供输入信号;
用于确定数量的装置,包括:
-用于指定输入信号的输入范围的装置,和
-用于指定输出信号的输出范围的装置;
一种计算装置,用于选择一种凸函数做为能够依照动态范围控制处理的数量压缩输入信号的非线性转换特征,;
一种处理装置,用于依靠该凸函数转换该输入信号;
一种输出装置,用于产生作为由处理装置接收的输出信号。
进一步的,本发明提供了一种能被存储在计算机系统能读取的媒介上的计算机程序产品,包括当该设备在计算机系统上被执行时使计算机系统执行该被提出的方法的软件代码段。
该被提出的概念已经从对于一种在信号重建过程中通过适当处理图像信号来控制动态范围内的信号转换的有益的方法的要求中出现。本发明认识到按照惯例任何类型的转换函数被认为适合在动态范围控制中处理图像信号,如同例如在WO99/62524中所提到的。然而,这样一种普通的方法不能符合解决某些规格,它可以表现为特定的图像。在该被提出的概念后面的主要的思想是提供一种能够压缩输入信号的转换特征,它也可以适应待处理的输入图像的特别需要。依照该被提出的概念,一种凸函数被选择做为一种能够依照确定了的动态范围控制处理的数量压缩输入信号的非线性转换特征。该输入信号被处理,在其中输入信号依照确定了的动态范围控制的数量依靠该凸函数被转换。这样,输出信号被产生,且其中对照黑暗部分,所有细节,特别是明亮部分的细节都显著地被很好地看到。那些用传统方法会丢失的信息,被很好地保存,虽然仍有不可避免的调制深度的减少。
这样一种优点通过至少指定输入信号的输入范围和输出信号的输出范围而确定动态范围控制处理的数量而获得。因此,输入信号依照输入和输出信号的指定需要依靠凸函数被转换。因此,得到了每个输出信号的最好质量。该方法可以依照用于信号重建的设备的限制而被实现。
本发明的进一步引申的实施例由从属权利要求描述。
输入和/或输出范围更优选地依赖从信号得出的峰值和/或曝光平均值来确定。这样的值可以通过测量和/或进行信号的柱状图分析来确定。亮度信号特别适合一种信号。
如果输入信号的峰值超过输出范围,输入信号被便利地压缩。也可以期望仅仅部分的压缩图像,例如图像的明亮画面部分。
依照确定了的动态范围控制处理的数量选择凸函数是最优选的。特别地,该凸函数依靠该输入/输出范围被选择。凸函数通常在顶端弯曲并因而至少有一个负曲率值。
在最优选的实施例中,凸函数至少由带有做为第一和第二部分的交叉点的拐点的第一和第二部分组成。在这种情况下,优选地,凸函数的第一部分具有超出组成凸函数的第二部分的平均斜率。该拐点可以由x和y坐标定义,在其中y坐标对应于拐点值。
拐点优选地位于凸函数上的把第一部分从第二部分分割的指定的拐点值上。凸函数的第一和第二部分的每个都由具有不变斜率的线性函数最有利地组成。这样一种凸函数实施例允许关于信号的特别地有利的函数的适应。该函数本身足够简单以保持低的计算代价且以特别方便的方式适应信号。这些和其他优选实施例将在下面说明。
在第一个可变形式中,该凸函数可以通过改变第二部分的斜率,特别地通过同时保持拐点值不变而被选择。
在第二个可变形式中,该凸函数可以通过改变凸函数的拐点值,特别地通过同时保持第二部分的斜率不变而被选择。
在该优选实施例中,该凸函数依赖动态范围控制处理函数的数量被选择,特别地,依赖输入和/或输出范围,在其中允许把改变第一个可变形式的斜率和改变第二可变形式的拐点值相结合。
选择凸函数的特别的优选的标准如下:如果输入信号的输入范围超过预设的门限值,改变第二部分的斜率是更优选的选择。同样,如果选定的拐点值超过输出范围,改变第二部分的斜率是优选的。
图像信号可以是任何适合在当代的成像设备上描述一种图像的信号。该图像信号特别地具有一些分量,其中可以包括亮度分量和/或一个或多个色度分量,例如图像信号是一种Y-UV信号或一种RGB信号。优选地,动态范围控制处理的数量被Y信号决定,特别地,Y信号从R,G和B分量获得或由R,G和B分量的至少一个分量决定。
上述理论可以在信号重建的处理链中以不同方式实现。输入信号最好是数字信号,将参照有详细说明的图1做更详细的解释。
特别地,数字信号从白信号平衡模块接受,且输出信号被提供到灰度系数控制模块。这样,把压缩范围的数量有益地应用到所有信号分量以便动态范围控制处理和/或依靠通用凸函数处理分量成为可能。
进一步的,输入信号也可以是模拟信号,这将参照有详细说明的图6做更详细的解释。在这种情况下,从感应器,特别是感应器矩阵接收输入信号,且输出信号被特别地提供给模数转换器。在这样的情况下,最优选的是特定的压缩范围的数量被特别地应用到至少一个或所有的信号分量以便动态范围控制处理,和/或每个分量通过依照指定的每个分量的确定了的数量依靠特定的凸函数转换分量来处理。因此,每个分量依照每个分量的有利的要求以独立且特定的方式对待。每个分量可以被用于选择斜率,和/或拐点值,和/或输入范围。然而,普通信号也可以被从特定的亮度信号中选出。更进一步地,斜率和/或拐点值和/或输入范围也可以依照感应器矩阵和/色温每个信号分量,特别是颜色分量的或色温值来选出。
如果输入信号是模拟信号,在进一步扩展的实施例中,输入和/或输出范围也可以通过数字信号被确定,这将参照有详细说明的图10做更详细的解释。
提供测量与动态范围控制处理并行的循环中的曝光测量是特别优选的。与动态范围控制处理并行的提供循环中的白平衡控制也是优选的。在上述进一步扩展的实施例中,有利地提供了一个用于曝光测量的单并行循环。
特别对于进一步扩展的实施例的情况,收回输入信号的原始数据是有益的。因为原始数据对于确定动态范围控制处理的数量是最可靠的,这些被更优选地提供给曝光测量和白平衡控制。原始数据更优选地依靠反转的非线性转换特征被收回。然而,如果柱状图被用于曝光测量,做为选择地或额外地应用柱状图延伸也是可能的。
曝光测量被更优选地控制以便把最大输出信号幅度分配给白峰值。特别地,如果反转非线性转换特征被使用,这样的控制被更优选地提供以便防止在增加画面亮度时的错误。
关于计算机程序产品,它可以包括一种模块,用于动态查找表的计算以便依赖从下面的组中选出的至少一个参数而选择做为非线性转换特征的凸函数,该组包括:峰值,曝光平均值,输入范围,输出范围,和色温值。
计算机程序产品可以特别地包括一种模块,用于计算做为反转非线性转换特征的反转动态查找表。在进一步的实施例中,如果输入信号是模拟信号,计算机程序产品可以包括一种模块,用于计算特定的动态查找表和特定的反转动态查找表,这特别适合输入信号的至少一个分量。
概括来说,特别关于具有黑暗和明亮部分之间有高对比度的画面的动态范围控制已经得到了说明。两种类型的部分都可以含有细节信息,然而,在多数情况下,在信号重建处理过程中黑暗部分被给予了优先。在这样的情况下,画面黑暗部分被放大到显现足够的可视细节的级别,然而在多数现有的技术情况中,明亮部分可以超过最大允许信号幅度且将受到裁剪。这样一种方法将在多数情况下导致所有在最大允许信号幅度级别之上和之外的细节的丢失。特别提出了,画面的明亮部分依靠非线性函数压缩以便输入信号的特定需要能得到考虑。提出了,画面特别是画面的明亮部分在优选的实施例下依靠非线性转换函数被压缩。转换函数被选择为凸函数,它能依照动态范围控制的数量的需要被选择。这样一种方法允许明亮画面部分中的细节能被保留,然而这种方法也导致调制深度的减小。尽管如此,这样的细节没有丢失而被保留并保持可被方便地看到。在第一优选实施例中,在白平衡控制之后且在摄像机的灰度系数控制之前对数字信号执行动态范围控制处理。在这样的情况下,模数转换器应该提供一些额外的比特位以允许动态范围控制处理。在第二优选实施例中,动态范围控制处理在更早的阶段中执行,也就是摄像机中图像处理“之前”,更优选地作用于图像感应器的原始模拟信号。方便地,在这样的情况下,模数转换器可以带有少于第一优选实施例中的比特位而被应用,并且数字信号仍然被方便地量化。对于适当的彩色复制品,凸函数,做为一种非线性转换特征,被更优选地应用于图像信号的至少一个或所有彩色分量。在进一步扩展的实施例中,输入信号也是模拟信号,并且输出范围从数字信号被确定。该被提出的方法被有利地应用到图像传感器的RGB彩色信号的信号。计算机程序通过计算特定适合的查找表(LUT)的模块而特别地被适应。
本发明的优选实施例现在将参照附图被详细的说明。这些图中的图形打算给出例子,以联系优选实施例的详细说明和与以前技术的比较来明确该被提出的概念。虽然相当的本发明的优选实施例被展示并说明,当然应当被理解的是,形式上或细节的多种改变和修改能被容易地做出,而无需脱离本发明的精神和范围。因此要指出的是,本发明可以不被严格的局限在这里展示和描述的形式或细节,也不局限于任何少于本发明这里披露和后面要求的全部。在说明书中描述的特征、图和披露本发明的权利要求,可以被认为独立或者相结合的做为本发明本质。
附图说明
附图显示于:
图1,信号重建方法的第一优选实施例,其中一种自动曝光测量和动态范围控制被应用到模数转换器之后的数字信号,并且之后应用到矩阵模块和白平衡模块;
图2,用于把凸函数选做非线性转换特征的优选方案;
图3,具有固定拐点值和在凸函数的第二部分中有可变压缩的凸函数的第一优选实施例;
图4,具有在凸函数第二部分中的固定压缩和可变拐点值的凸函数的第二优选实施例;
图5,凸函数的示例实施例,其中定义了计算拐点值的模块的参数;
图6,信号重建方法的第二优选实施例,其中自动曝光控制和动态范围控制在模数转换器被应用之前应用于图像传感器的模拟信号;
图7,特定拐点转换函数的集合的示意视图,它的每一个分别作为凸非线性转换特征被用于依照信号重建方法的第二优选实施例处理的图像信号每一个彩色分量;
图8,凸函数的计算出的版本,如已经在图7中的原理所示的那样,用于为了获得更好质量而做为矩阵的改进而被使用;
图9,依照关于参数“拐点值”和“峰值”的第二优选实施例图示了凸函数的处理和选择的流程图;
图10,与图6到8中所示的相仿的信号重建方法的第三优选实施例,其中动态范围控制处理被应用到模拟信号并且自动曝光控制被应用于数字信号;
图11,做为由相应的软件代码计算出的反转动态查找表的例子的示意视图;
图12,一些带有亮度在100%到40%范围中的不同画面的图片的示例柱状图;
图13,与图12相似,带有亮度在40%到100%的范围中的不同画面;
图14,如图6和10中分别所示的方法的第二或第三优选实施例中使用的在半个传感器象素时钟的偶数行中的简化的RGB重建;
图15,在用于图14的RGB重建的偶数行中产生连续RGB测量信号的自动曝光测量的方案;
图16,产生可应用在四分之一传感器时钟速率的连续RGB测量信号的自动曝光测量的进一步方案。
具体实施方式
下面的详细说明参照附图并包括以下章节:
1.在矩阵和白平衡控制后的动态范围控制
1.1.动态范围控制的两类转换特征
2.在模数转换器之前的动态范围控制
2.1.带有用于测量的并行处理循环的动态范围控制
2.1.1.矩阵和白平衡参数对拐点转换的影响
2.1.2.用于RGB传感器信号的动态查找表的计算
2.2.带有用于测量的反转动态查找表的动态范围控制
2.2.1.增加画面亮度的问题
附录:应用于模拟传感器信号的动态范围控制的简化的RGB重建
1.矩阵和白平衡控制后的动态范围控制
图1展示了信号重建方案的模块图,包括位于AWB(Auto WhiteBalance,自动白平衡)控制和灰度系数处理之间的动态范围控制(DRC)。
带有RGB拜尔(Bayer)彩色阵列的图像传感器,之后跟着12位ADC(analog-to-digital converter,模数转换器)。该12位ADC当然是任意的。依赖具体应用,它可以是任何10位到16位转换器之间的转换器,其中假设2或3位为动态范围控制所保留。
提出的包括图像的动态范围控制处理的信号重建方法被更优选地应用在例如每个颜色有10到16位深度的图像上,例如计算机图片。在8位或更低深度的计算机图片上,它可以也可被应用,但是将存在可视质量的风险。
在优选实施例中,具有2位用于动态范围控制的12位ADC已经被选择。通过10位达到了100%的信号幅度。这允许因数为4的最大过度曝光,这对应于400%或12位的信号幅度。
在12位ADC后,由于拜尔彩色阵列,多路复用的数字RGB信号以交替的RG和GB序列的行的形式可用。在RGB重建之后,三个连续RGB信号可用,每个都是12位质量。
依靠传感器矩阵和AWB控制的彩色校正之后的是在并行循环中的自动曝光(AE)测量。这个AE单元确定并控制图像传感器的曝光时间并且也预测DRC参数。为了明确的原因,应该提到,AE控制最好在闭环中执行,虽然DRC是有利地预测控制器。
从ADC到DRC,36位量化RGB信号被应用,每个主要的颜色有12位。在DRC之后,RGB数据每个颜色只包括10位(RGB一共30位),对应100%信号幅度。图3举例说明了4倍的动态范围压缩。
在图1的模块图中,假设AE测量在亮度Y信号上执行,它的任意的RGB权值是依照彩色电视传输协议来选择的:Y=0.3*R+0.59*G+0.11*B。
亮度信号中的RGB权值通常从用于NTSC电视系统中的早期CRT荧光屏的亮度份额得到的。现在荧光屏的亮度输出已经大大的增加了,导致了完全不同的亮度份额(Y=0.22R+0.71G+0.07B),同另一彩色范围一样。对于所有已知技术的摄像机,包括NTSC的国家,例如美国和日本,彩色范围已经适应新的CRT荧光屏。结果是,旧的亮度权重仅仅关心关于电视信号传输的规定。而且,由于摄像机和CRT彩色范围的匹配,它们完全不影响彩色的重现。
在白平衡控制处理之后,RGB信号应该于白色的情况相等。这意味着相同的动态范围转换可以被方便地应用到三个RGB信号的每一个。同样地,可以应用同样的灰度系数转换。如果使用了查找表(LUT),一个信号LUT对于DRC是足够的。查找表将在下面进一步说明。
有许多方式实现AE控制和确定动态压缩的数量。因为AE控制和动态压缩的测量都不是这个报告的主题,可以假设整个画面的平均信号被用于AE控制,且相当任意的白峰探测器被用于确定动态压缩。在这个章节中,假设了四倍压缩(4096/1024)。在DRC之前,这导致的最大白峰幅度是(212-1)=4095。到DRC的大于4095的RGB输入信号,它能被矩阵和AWB控制简单并专有产生,将被限制在最大为(210-1)=1023的输出级别中。12位ADC已经把RGB传感器信号限制在4095的最大值。因为RGB重建加进大于那个数值的假象是基本不可能的,矩阵和AWB控制是剩下的唯一可能导致假象的部分。
1.1.动态范围控制的两类转换特征
拐点值的一种恰当的选择在图2中得到示例说明。该拐点能被当作动态压缩开始的点。一般而言,这是相当任意的,并将在本章进一步讨论。
在通常实践中,动态范围控制(DRC)经常被叫做拐点控制。因而,在白峰值参数之外,DRC参数包含关键字拐点,即极点和拐点压缩。这个压缩的数量被定义为:
拐点压缩=(最大输出级别-拐点值)/(白峰值-拐点值)
依照图2,该最大输出级别是1023,对应于10位输出信号。
有两类独特地有利的拐点转换。这些已经被当作这个申请的普通部分中的第一变量和第二变量而提到,并在这里被称作拐点类型1和拐点类型2。第一拐点类型假设了固定的拐点值,因此拐点值上的衰减将做为如图3中所示的压缩的数量的函数而变化。当考虑被压缩图片的性能时,如果小动态压缩因数的斜曲线被使用,它将非常不利,尤其因为多数画面仅需要非常小数量的压缩。
第二拐点类型假设一种固定的衰减并且,做为结果,是可变的拐点值,它的例子如图4中所示。从图片性能的观点看,这个拐点类型在覆盖了多数实际的图片的小动态压缩因数上有一些优势。然而,在高压缩因数时,具有固定拐点值的第一拐点类型则更有优势。两种拐点转换类型可以被合并。依赖适当的参数,它们中的每一个可以被有利地选择。
两种拐点类型的合并提供了最好的性能并且已经在下面的软件描述中被应用到动态范围控制的计算中。
{声明变量,参看图5}
peakwhite, {没有动态范围压缩的白峰值}
kneetype, {具有固定拐点值的拐点类型1, 具有固定压
缩的类型2}
kneelevel, {优选拐点值}
newkneelevel, {真正应用的拐点值}
refkneecompres,{优选压缩数量}
kneecompres, {实际应用的压缩}
zerointersection {Yin=0的压缩线的交叉点}
{做为拐点类型的函数计算newkneelevel}
if peakwhite>4095 then peakwhite=4095
newkneelevel=1023
if peakwhite>1023 then {期望动态压缩}
begin
{缺省kneetype为2,具有固
定拐点压缩,因此}
kneecompres=refkneecompres
{为线y2找到
zero_intersection(Yin=0),计算:
y2=zero_intersection+
kneecompres*newkneelevel(在
Yin方向)
对于y2线的白峰值,计算:
1023=zero_intersection+
kneecompres*peakwhite,因此}
zero_intersection=1023-(kneecompres*peakwhite)
{在线y1和y2的交叉点找到
newkneelevel,
y1=1.0*newkneelevel
y2=zero_intersection+
kneecpmpres*newkneelevel}
if(1.0-kneecompres)<>0 then {防止除数为0}
newkneelevel=zero_intersection/(1.0-kneecompres)
else newkneelevel=1023
if newkneelevel<kneelevel then {跳过kneetype=1}
begin
newkneelevel=kneelevel {维护拐点值kneelevel,寻
找kneecompres值}
kneecompres=(1023-newkneelevel)/(peakwhite-
newkneelevel)
end
end
2.在ADC之前的动态范围控制
因为达到最新技术水平的IC技术还不能提供有图1所示的足够比特位的ADC,在ADC之前的动态范围控制器成为必需的。如果ADC已经集成在(CMOS)图像传感器或在信号处理芯片中,可能属于上述情形。随着IC技术进一步的精巧,可以希望两种选择能成为现实只是时间问题。然而,在ACD之前即在模拟信号域中起作用的DRC的两种方法,将在这里被考虑。两种方法,就像第一章中说明的那个那样,将做为AE控制的函数预测动态范围压缩的数量并且探测白峰值。使用模拟信号的第一优选实施例使用独立的、并行测量电路。使用模拟信号的第二优选实施例通过非线性DRC完成测量并在矩阵和AWB控制之后使用反转拐点转换器以便为AE控制和白峰值探测再次取得“原始”数据。用于处理模拟信号的第一实施例在2.1章中说明。用于处理模拟信号的第二实施例在2.2章中说明。
2.1.带有用于测量的并行处理循环的动态范围控制
图6展示了带有并行处理和AE循环的DRC模块图,它独立于非线性DRC,因为它使用线性传感器信号。动态范围控制的数量被通过这个AE循环预测。当然,该AE测量能在模拟信号域中被完整地实现,或可能在感应器自身上,就像在DRC和10位ADC的情况一样被完整地实现。然而,这里,展示了简化的数字AE循环(他也能在传感器上被实现)。
这个数字测量循环开始于仅有8位的ADC,它看来足够用于测量目的并且已经被计算机模拟所证明。然后通过合并2×2阵列内的象素把多路复用的RGB传感器信号转换到三个连续RGB信号(图中的“RGB象素”),在附录中给出了上述情况的一个例子。在简化的RGB信号重建之后,与上面的同样的矩阵和AWB控制和真实的信号路径被应用。唯一的区别是在8位信号处理下。RGB信号然后被提供给AE测量电路。对于真实信号路径,10位ACD在模拟DRC后被应用。在灰度系数电路前结束的量化和图1的模块图的一样。
跟在白平衡后的RGB信号对灰色或白色应该相等。从AWB控制向后移动,通过矩阵向模拟DRC前进,将变得清楚的是,在AWB控制后对于白色的三个RGB信号仍然相等是不太可能的。例如,如果画面的色温对应于6500K并且矩阵是归一化矩阵,将是这样的情形。这样,三个拐点通常不得不在用于模拟信号的处理的第一实施例中被提供。
2.1.1.矩阵和白平衡参数对于带有拐点的转换的影响
传感器矩阵使用如下axx参数:白平衡参数与矩阵参数和的乘积成为归一化是必须的。假设下列传感器矩阵
a11 a12 a13
a21 a22 a23
a31 a32 a33
与测量出的白平衡参数awbR和awbB都被给出。在这样的情况下,之前的相等的模拟有拐点的转换若能被获得,仅当:
(a11+a12+a13)*awbR=1
(a21+a22+a23)=1
(a31+a32+a33)*awbB=1
在这样的情况下,反转bxx矩阵被定义为:
b11 b12 b13
b21 b22 b23
b31 b32 b33
它保证:A×B=1;这里1是归一化矩阵。
该awbR和awbB参数是当任意画面色温被给出时被测量出的白平衡参数。依照世界灰度假设方法(WGA),下面始终成立:
awbR=totalGreen/totalRed
awbB=totalGreen/totalBlue
这里total Red,totalGreen和totalBlue表示整个画面测出的RGB彩色幅度的总和。就象在反转矩阵的情况一样,反转白平衡参数也被需要以便为每个主要颜色找到在用于前面的模拟DRC的带拐点的转换。这要求大量的计算能力,因为所谓的∑Xiwb-参数需要先被算出,RGB转换曲线跟在后面。使用到的缩写是:∑是西格马,并且X是R,G或B主要颜色。
∑Riwb=(1/awbR)*b11+b12+(1/awbB)*b13
∑Giwb=(1/awbR)*b21+b22+(1/awbB)*b23
∑Biwb=(1/awbR)*b31+b32+(1/awbB)*b33
图7给出了三个不同的用于在前面的模拟DRC的带拐点的转换的例子。该被应用的矩阵是归一化的并且画面色温大约为4000K(开氏温标)。明显的是,红色带拐点的曲线的输出信号以1.22的因数超过了10位ADC的最大值。这意味着需要应用11位ADC,或者在维持10位版本的情况下,最大输出级别应该被降低到29-1=511,以便1比特位对于做为比6500K白天平均白色色温更低或更高的画面色温的函数的红或蓝曲线再次可用。
在归一化矩阵的例子中,反转矩阵也被归一化。∑Xiwb-参数然后仅被白平衡参数确定。
∑Riwb=1/awbR
∑Giwb=1.0
∑Biwb=1/awbB
3200K的黑体辐射体给出下列主要颜色的比率:
R∶G∶B=1.45∶1.00∶0.37
为了在白平衡控制后取得R=G=B,白平衡参数必须为:
awbR=1/1.45且awbB=1/0.37
结果:
∑Riwb=1.45,∑Giwb=1.0且∑Biwb=0.37
该带拐点的转换的最大RGB输出然后将分别是最大输出1023的1.45,1.0和0.37倍。
对于30000K的色温,下列保持成立:
R∶G∶B=0.85∶1.00∶1.83
这里在带拐点的转换后的蓝色的最大输出将是最大输出1023的1.83倍。这样,在归一化矩阵的例子里,依靠单个额外比特位的增加ADC信号幅度的因数对于从3200K到30000K变化的色温范围将是足够的。如果为ADC假设一个额外的比特位,即一共11位,最大输出值将是211-1=2047。实际上,白平衡控制将开始对相当低(3200K)和相当高(30000K)的色温限制红和蓝增益因数,以便维护原始画面的颜色范围。这样,红和蓝幅度的增加将分别稍微小于1.45和1.83。
在如图6中所示的矩阵和AWB控制之后的最大输出保持1023,然而,因为RGB幅度对于白色要相等。还需要知道的同样重要的是,图7中绿的带拐点的传输对应于如章1中所说明的在矩阵和AWB控制后的DRC的转换。
在用于白平衡参数awbR和awbB要归一化的色温为6500K的情况下,可以写出一个公式,其中反转矩阵参数的和确定了最大ADC值2047是否将被取代。这个特定的情况将对矩阵的适应的可能十分重要,并且将在下面的解释中用到。
对于6500K色温的∑Xiwb-参数的计算:
∑Riwb=b11+b12+b13
∑Giwb=b21+b22+b23 [3]
∑Biwb=b31+b32+b33
为了保持在ADC的11位范围中,改变矩阵的大小可能是必需的。为了这个目的,并且使用一种公式,[1]∑Xiwb-值将算出色温范围的限制,假设在这个例子中是3200K和30000K。∑Xiwb-的最大值应该被采纳。如果它们中的一个大于二,应该通过对整个矩阵成比例的调整把它降低到刚刚低于二。这将保证最大输出值2047不会被超过。相反的,如果对于6500K,∑Giwb-的值(公式[3])比小于一,那么整个矩阵应该以这样的方式被成比例地增加,使得∑Giwb-d1值成为一。这将保证画面信号有更好的质量。然而,第一优先级被给予改变矩阵大小以做为色温范围的限制的函数。
已有矩阵的两个例子将被给出,以明确这个成比例的矩阵调整。
第一个例子:
矩阵1(FT矩阵) 3200K 6500K 30000K
2.000-0.771 0.006 ∑Riwb=1.560∑Riwb=1.454∑Riwb=1.540
-0.238 0.762-0.291 ∑Giwb=2.227∑Giwb=2.490∑Giwb=2.922
0.045-0.384 0.915 ∑Biwb=1.256∑Biwb=2.066∑Biwb=3.155
∑Biwb在30000K时比2大许多,将被调整为1.99,得到下面矩阵以及相应的反转矩阵:
3.171 1.222 0.009 0.363 0.422 0.132
-0.377 1.240-0.461 0.123 1.099 0.349
0.071 -0.609 1.451 0.034 0.440 0.829
如果原始矩阵的增益更小,这将得到同样的结果。通过使用因数3.171/2.000=1.5855再次调整所有矩阵参数,由于封闭AE环,自动曝光增益也将由用于矩阵反转的增益因数而自动适应。例如,如果特别的画面的原始AE增益是2.27,它在矩阵重新调整后将成为3.60。这样,那个画面的AE循环总增益将被保持。
第二个例子:
矩阵2(CMOS矩阵) 3200K 6500K 30000K
1.760-0.599 0.415 ∑Riwb=1.010 ∑Riwb=0.694 ∑Riwb=0.539
-0.460 1.787-0.130 ∑Giwb=0.852 ∑Giwb=0.781 ∑Giwb=0.760
-0.469 -0.496 2.908 ∑Biwb=0.441 ∑Biwb=0.594 ∑Biwb=0.851
∑Xiwb-值中没有一个超过因数二。∑Giwb-在6500K的值比1小,并将被调整为1.0。这将得到下面的矩阵,并且,在额外的检查后,下面色温的∑Xiwb-值限制为:
3200K 6500K 30000K
1.375 -0.468 0.324 ∑Riwb=1.293 ∑Riwb=0.888 ∑Riwb=0.670
-0.359 1.396-0.103 ∑Giwb=0.935 ∑Giwb=1.000 ∑Giwb-0.973
-0.362 -0.388 2.272 ∑Biwb=1.503 ∑Biwb=0.760 ∑Biwb=1.089
额外的检查明确了∑Xiwb-值中没有一个超过因数二。然而存在发生此的矩阵。在这样一种情况下,需要另一个调整。该反转矩阵如下所示:
0.759 0.227 -0.098
0.207 0.787 0.006
0.163 0.172 0.424
图8展示了在矩阵2的调整后带拐点的转换的结果。原始的增益太大。调整了大小的矩阵提供了带拐点的转换,尤其绿色,其在最大RGB输出1023上或与之接近,并且,做为结果,得到更好的量化。
在图7和8中,拐点类型为2被应用到不同的带拐点的转换中。拐点类型为2(固定压缩)带来比拐点类型为1(固定拐点值)稍微更好些的颜色性能。对于拐点类型2,处理过的图片的结果与在矩阵和AWB控制后拐点处理的情况中的一样,如在章1中说明的那样。拐点类型1展示了小的颜色和幅度偏差。进一步的,很明显,传感器矩阵的重量和白平衡的范围都不会影响前面的带拐点处理器的性能。然而,为了执行,知道三个不同带拐点转换需要的范围是重要的。
因为传感器信号是多路复用的信号,三个不同带拐点转换的实现需要为每个颜色控制带拐点的转换的选择开关。优选的实现方式能够通过象由传感器提供的真实颜色的函数一样切换拐点值R(G,B)和峰值R(G,B)来获得。图9展示了三个不同的带拐点的转换如何能通过使用单个“RGB带拐点的转换处理器”来实现的例子,该处理器通过两个与传感器颜色在相位上有关的开关接受拐点值和峰值设定。
2.1.2用于RGB传感器信号的动态查找表的计算
DRC的查找表(lut),在下文中也被称作动态lut,现在必须被算出。因为这个过程也为在章1中说明的DRC计算,需要算出四个动态lut。
{声明变量}
EXi, {用于传统DRC的归一化,否则∑Xiwb为前面
的DRC}
dynamiclut^[k,i],{用于传统DRC(k=0)和用于前面的DRC(k=1
到3)的带拐点转换,参数i表示输入位置}
peakwhite, {没有动态范围压缩的白峰值}
kneetype, {拐点类型为0:没有应用动态lut,具有拐点值
固定的拐点类型为1,和具有压缩固定的拐点类型
为2}
newkneelevel, {如章1.1中已经算出的实际被应用的拐点值}
kneecompres, {实际被应用的压缩}
{动态lut的计算的开始}
if(peakwhite>1023)and(kneetype>0) then {若白峰值小于
1024则不需要带拐点
的转换}
for k=0 to 3 do {用于传统DRC的
k=0,用于前面的DRC
的k=1到3}
begin
case k of
0:EXi=1 {传统DRC}
1:EXi=ERiwb
2:EXi=EGiwb
3:EXi=EBiwb
end{k case}
for i=0 to EXi*peakwhite do {白峰值也必须与
EXi相乘}
begin
if i>EXi*newkneelevel then {压缩的转换部分}
j=EXi*newkneelevel+kneecompres*(i-
EXi*newkneelevel)
else j=i {线性转换部分}
dynamiclut^[k,i]=j
end
for i=EXi*peakwhite+1 to 4095 do
dynamiclut^[k,i]=j {在白峰值+1以上转
换是单调的}
end
else if kneetype=0 then
begin {没有应用动态lut}
for k=0 to 3 do for i=0 to 1023 do dynamiclut^[k,i]=i
for k=0 to 3 do for i=1024 to 4095 do
dynamiclut^[k,i]=2
55
end
{对于如在章2.2
中所说明的模拟
DRC,反转lut将被计
算}
if peakwhite>1023 then InverseDynamicLUT
{关于这个过程参
见章2.2}
对于k=0,在矩阵和AWB控制之后的动态lut是结果,图5中展示了这样的一个例子。如同已经在章1中解释的那样,相同的带拐点的转换被应用到RGB信号。
对于k=1到3,做为依照公式[1]的反转矩阵和反转白平衡参数的函数,三个不同的带拐点转换曲线将产生在前面的RGB传感器矩阵的结果。图7和8展示了那些带拐点的转换的两个例子。因为反转传感器矩阵是固定的,这些模拟带拐点转换曲线每当白平衡参数改变时都必须重新计算。仅在理想的归一化矩阵和归一化白平衡参数的情况下,三个在前面的转换曲线将与在矩阵和AWB控制后应用的动态压缩相匹配。
2.2.具有用于测量的反转动态查找表的动态范围控制
在ACD之前发生作用的模拟DRC的第二优选实施例将在这里考虑。图10的模块图展示出AE测量通过处理路径被执行,从而包括在前面的非线性DRC。
在前面的三个不同的带有拐点的转换将在矩阵和AWB控制后扰乱AE和动态范围测量。因此,亮度信号被与反转动态lut一起在测量发生前被处理。这将取消在前面的非线性转换的影响并且使预测什么将在那里再次发生成为可能。由于反转动态lut,测量结果将与章1和2.1中的结果非常相同。然而,如果画面亮度增加,是成问题的。这将在章2.2.1中阐明。
反转动态LUT的过程已经在前面的章节中被提到。在那之后,说明动态查找表的计算的软件的最后的规则读作:
if peakwhite>1023 then InverseDynamicLUT
这里使用的反转动态LUT的软件过程是可能的计算方法之一,并已经象下面这样实现:
Procedure InverseDynamicLUT
{声明变量}
peakvalue, {1023或在1023和白峰值之间的
值}
maxdynalutvalue, {dynamiclut^[0,i]的最大值}
begin
{计算反转动态lut}
for i=0 to newkneelevel do dynamiclut^[4,i]=i{线性带拐
点转换}
for i=newkneelevel+1 to peakvalue do
begin {dynamiclut[4]的反转部分}
dynamiclut^[4,i]:=newkneelevel+(i-
newkneelevel)/kneecompres
if i=peakvalue then {在峰值后维护
maxdynalutvalue}
maxdynalut=newkneelevel+(peakwhite-
newkneelevel)/kneecompres
end
for i=peakvalue+1 to 4095 do
dynamiclut^[4,i]=maxdynalut
end{反转动态LUT过程结束}
图11展示了反转动态查找表的例子,上面软件模块的变量dynamiclut[4]。传统的动态查找表,如图1所示在灰度系数之前起作用的那个,被上面软件模块的变量dynamiclut[0]表示。如果从变量newkneelevel到变量“peakwhite”的变量dynamiclut[0]的压缩与变量“kneecompres”相等,那么在反转变量dynamiclut[4]的相同部分中的幅度等于1/kneecompres。例如,“dynamiclut[0]”的压缩因数为0.25导致了“dynamiclut[4]”中的增益因数为4。通过使用“dynamiclut[0]”的输出做为“dynamiclut[4]”的输入,达到白峰值的线性转换曲线将再次被获得。
因为在矩阵和AWB控制后的最大亮度输出被限制在1023(输入是“dynamiclut[0]”),在第一看去它足够实现1023的反转动态查找表。因为AE控制在循环中起作用,做为最大亮度输出的值1023也可以被超出。因此,应用稍微超过1023的“峰值”则更好,优选地是在1023和“白峰值”之间。
图11展示了两个反转查找表曲线,一个用于为1023的峰值且一个用于是白峰值的峰值。
应该注意的是,如果已经对AE测量使用了柱状图,把在变量newkneelevel的限制内的柱状图延伸应用到白峰值而不是这里说明的反转dynamiclut也是可能的。该柱状图延伸应该处理直到白峰值的限制,以便能够再次恢复原始柱状图。
2.1.3.增加画面亮度的问题
如在上面指出的那样,为在前面的DRC使用的反转动态查找表的性能与在使用并行测量电路的章节中说明的方法相同。在展示降低画面亮度可能发生什么之前,先要阐明自动曝光循环的普通过程所遵循的一些变量。
{变量声明}
measuredpeakwhite, {画面的测量出的白峰值}
measuredAverage, {画面的测量出的均值}
referenceAverage, {用于控制的参考均值}
measuredAEgain, {来自画面的测量出的自动曝光增益}
AEgain, {控制画面传感器的AEgain和
measuredAEgain的乘积}
peakwhite {与measuredAEgain相乘的测量出的白
峰值}
下面,在8步里,带有前面的DRC的AE控制和反转动态查找表的普通步骤被描述为:
1.由初始化开始:AEgain=1.00,包括反转动态查找表的所有动态查找表,被设置为线性模式。
2.通过在前面的DRC、重建、矩阵和AWB,亮度信号被实现,它的“measuredAverage”和“measuredpeakwhite”值在通过反转查找表伸展亮度信号后被测量出来。“measuredAverage”和“measuredpeakwhite”值也能从画面的亮度柱状图中得到。在那个情况中,反转动态查找表的另一个选择可以是从“newkneelevel”值到“peakwhite”值起作用的柱状图延伸。如果柱状图已经被反转动态查找表测量出,当然不需要柱状图延伸。
3.然后下面的参数被确定:measuredAEgain,AEgain和peakwhite
measuredAEgain=referenceAverage/measuredAver
age
AEgain=AEgain*measuredAEgain
自动曝光控制是一种闭环,它的AEgain最后控制图像传感器的曝光时间。
peakwhite=measuredAEgain*measuredpeakwhite
5.为了防止增加画面亮度中的错误,由于反转动态查找表,需要下面的规则:
if peakwhite<=1023 then
AEgain=measuredAEgain*1023/peakwhite
6.如果peakwhite>1023那么计算newkneelevel,见章1.1
7.如果peakwhite>1023那么计算dynamicluts,见章2.1.2
8.接下来计算反转动态查找表,见章2.2
if peakwhite>1023 then InverseDynamicLUT
最后,AE测量从第二步重新开始,然后继续。
通过图12和上面概述的AE控制的步骤的帮助,接下来解释如果亮度从大约100%减少到40%会发生什么。该结果从原始图中画出,从100%的亮度开始。假设了6500K的色温和归一化的矩阵,导致了等于前面的动态RGB查找表。
在步骤1的初始化中,AEgain=1.00且所有查找表被设置成为线性的。对于图12中所有A到D的情形,对于kneetype=2,referenceAverage=512且kneecompres=0.25。画面的测量出的柱状图展示在图12的上方的A=开始处。亮度柱状图的水平轴表示分为2n段的信号幅度。对于10位ADC,n可以从6到10之间选择,即64和1024个段。纵轴表示全画面的多少象素与水平灰度段匹配。将算出的值加到所有水平段得出画面的象素的总和。在右手边,测量出的和计算出的参数在程序步骤2到8执行后被展示出它们的值。展示的动态查找表也它们经过步骤8后被得到。在步骤3期间,计算如下:
measuredAEgain=512/348=1.47,AEgain=1.00*1.147=1.147和
peakwhite=1.47*1004=1476.
在图12的情形B中所示第二循环中,步骤2到8接着被重复。RGB动态查找表现在已经被激活并且柱状图已经通过反转动态查找表被计算出。AEgain、“peakwhite”和“newkneelevel”参数被维护。只有测量出的参数由于应用了1.47的“AEgain”而已经改变。如果画面亮度没有事情发生,图12的情形B将在下面AE测量循环的周期中被维护。
在图12的情形C中,画面亮度接着被从100%降低到40%。测量出的柱状图在幅度上(水平轴)将缩短2.5倍。做为结果,“measuredAverage”和“measuredpeakwhite”值也将缩小2.5的因数。为了补偿2.5因数的亮度损失,“measuredAEgain”将增加2.5倍,且最后的“AEgain”将成为1.47*2.5=3.68。
在情形D中,亮度的改变已经依靠AEgain得到补偿,并且,在该参数之外,所有其他的都与情形B相同。
总之,为了降低图像亮度,使用反转动态查找表的方法以与章2.1中具有并行AE测量的方法相同的方式运转。
注意,步骤5根本没有被激活,因为“peakwhite”已经大于1023。
然而,在画面亮度增加的情况下,如果普通的AE测量的步骤5暂时被忽略,就会产生问题。这将通过把图形的原始亮度再次从40%增加回到100%而得到解释。
图13从情形D开始,它从图12的情形D复制而来。
在图13的情形E中,亮度增加到100%。由于AEgain仍然是3.69,且动态查找表由反转动态查找表跟随,所有在1476以上的亮度值被限制(裁剪)在该值。因为许多数据被裁剪,大的柱状图段在对应于测量出的白峰值的值1476附近出现。该测量出的平均值也已经变得非常高(988)。步骤2得到下面的参数:
measuredAEgain=988/512=0.52,AEgain=3.69*0.52=1.92且
peakwhite=0.52*1476=768
普通过程的步骤6、7和8没有被激活,因为白峰值没有大于1023。这意味着早先的(反转的)动态查找表将得到维护。
通过省略普通AE过程中的步骤5,中间状态E将最终,也就是已经在两个循环后,变为情形F,它表现为稳定情形。做为结果,动态查找表和所有在情形F右边展示出的其他参数,明显地与渴望的图12中所示的情形B不同。这是由画面数据的部分数据仍然被裁剪的事实导致的。白峰值不是渴望的白峰值,因为柱状图的最后段包含不明确数量的裁剪了的数据。因此,表明多少数据已经被裁剪的解决方法不能被应用。该软件模拟明确了,在步骤6、7和8中白峰值应大于1023的条件的省略导致了AE控制的不稳定。
当然,也有其他可能的解决方法。这里应用的一种把步骤5加到普通AE过程中。象前面概括的那样,在图13的情形E中,步骤6、7和8没有被执行。因为白峰值小于1023,步骤5将被激活:
AEgain=measuredAEgain*1023/peakwhite=0.52*1023/768=0.69
随着步骤5的激活,情形E中的所有参数与步骤5如果被省略时相同。唯一的不同是关于值为1.33的“AEgain”。在下一个循环中,渴望的动态查找表已经被找到,并且做为随后的循环。情形Fp在图13中与其延伸的柱状图一同被示例说明。象能被看到的那样,情形Fp与图12中的情形B非常相似。
最后,下面这些必须得到注意:
1.步骤5在循环中的使用对AE控制具有非常有趣的优点。例如,如果白纸上的文本没有激活步骤5而被测量,那么AEgain将变得稍微大于0.5。对应于白纸的信号幅度将成为5 0%左右,且将进而被做为灰色而不是白纸被显示。激活了步骤5的AEgain将大约是1.0,因此纸的白色将收到100%的信号幅度。
2.“peakwhite”的探测应该在图像传感器的“whiteclip”级别下发生。这个过程可以为AE控制与DRC结合。
没有时间常数被应用到AE控制循环的软件模拟中。
附录:在前面的DRC的简化的RGB重建
图14展示了一种如果模拟DRC被应用在前面,用于并行AE测量的简化的重建。G2象素被当做当前由传感器提供的象素。先前的红象素经过象素延迟被传递,且同时作为G2而可用。先前行的G1象素通过行和象素延迟与G2及时匹配。G1和G2象素被结合为单个绿象素。蓝象素也通过行延迟与G2及时匹配。当G2象素出现时,三个并行RGB信号现在都可用,但仅仅对偶数行和偶数列。依靠采样并以未在图14中展示的象素时钟速率的一半来保存,连续的RGB信号能对偶数行实现。对于奇数行,不产生RGB信号。如图15中所示,AE测量仅仅在偶数行发生。依靠做为奇数行中出现的蓝象素的函数的在延迟元素间的许多开关,在奇数行实现连续RGB信号也是可能的。然而着对于AE测量是多余的。
上述简化的RGB重建能被应用到CCD和CMOS传感器。在额外行延迟的开销上(没有在这里解释),在四分之一的传感器时钟速率上实现一种连续测量信号当然是可能的。相应的连续测量信号在图16中被示出。
Claims (27)
1.一种包括对图像输入信号进行动态范围控制处理,以产生图像的输出信号的信号重建方法,该方法包括下列步骤:
-提供输入信号;
-通过下列步骤确定数量:
-指定输入信号的输入范围,和
-指定输出信号的输出范围,
-选择一种凸函数作为能够依照动态范围控制处理的数量压缩输入信号的非线性传输特性;
-处理输入信号,其中借助于凸函数对输入信号进行转换;
-产生作为该处理的结果的输出信号,
据此,凸函数至少由第一和第二部分组成,所述第一和第二部分带有作为第一和第二部分的交叉点的拐点,在其中凸函数的第一部分具有超过第二部分平均斜率的平均斜率,其特征在于凸函数的第一和第二部分的每一个由具有不变斜率的线性函数组成。
2.如权利要求1所述的方法,其特征在于,至少有从信号取得的峰值和/或曝光平均值被用于确定输入范围和/或输出范围。
3.如权利要求1或2所述的方法,其特征在于,如果输入信号的峰值超过输出范围,输入信号被压缩。
4.如权利要求1所述的方法,其特征在于,关于图像的仅仅一小部分的输入信号被压缩。
5.如权利要求1所述的方法,其特征在于,依赖于输入范围和/或输出范围而选择凸函数。
6.如权利要求1所述的方法,其特征在于,拐点被定位在凸函数上的分割第一和第二部分的指定拐点值上。
7.如权利要求1所述的方法,其特征在于,通过改变第二部分的斜率选择凸函数。
8.如权利要求1所述的方法,其特征在于,通过改变凸函数的拐点值选择凸函数。
9.如权利要求1所述的方法,其特征在于,依赖于输入和/或输出范围而选择凸函数,其中可使用改变斜率和改变拐点值的结合。
10.如权利要求1所述的方法,其特征在于,如果输入信号的输入范围超过预设的门限值,选择改变第二部分的斜率。
11.如权利要求1所述的方法,其特征在于,图像信号包括一些分量。
12.如权利要求11所述的方法,其特征在于,图像信号由Y-UV信号或RGB信号组成。
13.如权利要求1所述的方法,其特征在于,在Y信号上确定动态范围控制处理的数量。
14.如权利要求1所述的方法,其特征在于,输入信号是数字信号。
15.如权利要求14所述的方法,其特征在于,该数字信号从白信号平衡模块接收,并且该输出信号被应用到灰度系数控制模块。
16.如权利要求14所述的方法,其特征在于,压缩范围的数量被共同应用到用于动态范围控制处理的图像信号的所有分量和/或借助于对图像信号的所有分量共用的凸函数而处理所述分量。
17.如权利要求1所述的方法,其特征在于,输入信号是模拟信号。
18.如权利要求1所述的方法,其特征在于,输入信号从传感器接收。
19.如权利要求1所述的方法,其特征在于,依照动态范围控制处理的预设数量,通过借助于特定的凸函数传输至少一个分量来处理图像信号的至少一个分量,该动态范围控制处理的预设数量已经特别地为至少一个分量确定。
20.如权利要求1所述的方法,其特征在于,该斜率和/或拐点值和/或输入范围由特定的信号分量确定并针对所有信号分量进行选择。
21.如权利要求1所述的方法,其特征在于,依照针对信号的每个分量的传感器矩阵和/或图像的色温值选择斜率和/或拐点值和/或输入范围。
22.如权利要求1所述的方法,其特征在于,从数字信号确定输入范围和/或输出范围。
23.如权利要求1所述的方法,其特征在于,在与动态范围控制处理并行的循环中提供曝光测量。
24.如权利要求1所述的方法,其特征在于,在与动态范围控制处理并行的循环中提供白平衡控制。
25.如权利要求23或24中所述的方法,其特征在于,输入信号的原始数据被取回,并且该原始数据被提供给曝光测量和白平衡控制。
26.如权利要求25所述的方法,其特征在于,借助于反转非线性传输特征取回输入信号的原始数据。
27.如权利要求25所述的方法,其特征在于,对曝光测量进行控制以便把最大输出信号幅度分配给白峰值。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP02078667 | 2002-09-09 | ||
EP02078667.9 | 2002-09-09 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1682527A CN1682527A (zh) | 2005-10-12 |
CN100361508C true CN100361508C (zh) | 2008-01-09 |
Family
ID=31970400
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB038213184A Expired - Fee Related CN100361508C (zh) | 2002-09-09 | 2003-07-31 | 包含输入图像信号动态范围控制的信号重建方法 |
Country Status (8)
Country | Link |
---|---|
US (1) | US20060017597A1 (zh) |
EP (1) | EP1540944A1 (zh) |
JP (1) | JP2005538593A (zh) |
KR (1) | KR100965786B1 (zh) |
CN (1) | CN100361508C (zh) |
AU (1) | AU2003253214A1 (zh) |
TW (1) | TWI283988B (zh) |
WO (1) | WO2004023796A1 (zh) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4710403B2 (ja) * | 2005-04-27 | 2011-06-29 | 日産自動車株式会社 | 車両用画像生成装置および方法 |
JP5018770B2 (ja) * | 2006-03-20 | 2012-09-05 | ソニー株式会社 | 画像信号処理装置及び画像信号処理方法 |
JP4131280B2 (ja) * | 2006-04-20 | 2008-08-13 | ソニー株式会社 | 撮像装置と映像信号処理方法 |
US7944485B2 (en) * | 2006-08-30 | 2011-05-17 | Micron Technology, Inc. | Method, apparatus and system for dynamic range estimation of imaged scenes |
US8144214B2 (en) | 2007-04-18 | 2012-03-27 | Panasonic Corporation | Imaging apparatus, imaging method, integrated circuit, and storage medium |
CN101588436B (zh) * | 2008-05-20 | 2013-03-27 | 株式会社理光 | 一种压缩原始图像动态范围的方法、装置和数码相机 |
JP5877693B2 (ja) * | 2011-11-18 | 2016-03-08 | 株式会社キーエンス | 画像処理センサ、画像処理方法及びコンピュータプログラム |
CN103428439B (zh) * | 2013-08-22 | 2017-02-08 | 浙江宇视科技有限公司 | 一种成像设备自动曝光控制方法及装置 |
CN105791659B (zh) * | 2014-12-19 | 2020-10-27 | 联想(北京)有限公司 | 图像处理方法和电子设备 |
ITUB20153503A1 (it) * | 2015-09-09 | 2017-03-09 | St Microelectronics Srl | Procedimento e dispositivo di controllo della dinamica, apparecchiatura e prodotto informatico |
CN105491301B (zh) * | 2015-12-03 | 2018-09-28 | 浙江大华技术股份有限公司 | 一种成像控制方法及装置 |
CN108370442B (zh) | 2015-12-15 | 2020-02-14 | 华为技术有限公司 | 一种高动态范围图像的处理方法、装置及计算机可读存储介质 |
CN108370405B (zh) | 2015-12-23 | 2019-11-26 | 华为技术有限公司 | 一种图像信号转换处理方法、装置及终端设备 |
EP3574583B1 (en) | 2017-03-31 | 2020-12-09 | Dolby International AB | Inversion of dynamic range control |
JP2019178941A (ja) * | 2018-03-30 | 2019-10-17 | リコーエレメックス株式会社 | 検査システムおよび検査方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6101294A (en) * | 1997-06-02 | 2000-08-08 | Sarnoff Corporation | Extended dynamic imaging system and method |
US6141047A (en) * | 1993-12-22 | 2000-10-31 | Canon Kabushiki Kaisha | Image signal processing apparatus and image pickup device |
EP1134698A1 (en) * | 2000-03-13 | 2001-09-19 | Koninklijke Philips Electronics N.V. | Video-apparatus with histogram modification means |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100202344B1 (ko) * | 1990-03-26 | 1999-06-15 | 이데이 노부유끼 | 자동니제어회로 |
US5221963A (en) * | 1990-03-31 | 1993-06-22 | Minolta Camera Kabushiki Kaisha | Video camera having a video signal processing apparatus |
US6219097B1 (en) * | 1996-05-08 | 2001-04-17 | Olympus Optical Co., Ltd. | Image pickup with expanded dynamic range where the first exposure is adjustable and second exposure is predetermined |
KR100265762B1 (ko) * | 1997-12-29 | 2000-09-15 | 윤종용 | 부분 선형 근사법을 이용한 디지탈 비 선형성 보정 방법 및 장치 |
JP2001189893A (ja) * | 1999-12-28 | 2001-07-10 | Toshiba Corp | 固体撮像装置 |
US7088390B2 (en) * | 2000-06-19 | 2006-08-08 | Olympus Optical Co., Ltd. | Imaging apparatus in which exposure control is performed to suppress changes in sensitivity due to changes in gradation mode |
AU2004249123A1 (en) * | 2003-05-20 | 2004-12-29 | Erimos Pharmaceuticals Llc | Methods and compositions for delivery of catecholic butanes for treatment of obesity |
KR100609498B1 (ko) * | 2004-11-10 | 2006-08-09 | 주식회사 잉카솔루션 | 대기전력 제어장치 |
-
2003
- 2003-07-31 CN CNB038213184A patent/CN100361508C/zh not_active Expired - Fee Related
- 2003-07-31 JP JP2004533732A patent/JP2005538593A/ja active Pending
- 2003-07-31 WO PCT/IB2003/003751 patent/WO2004023796A1/en active Application Filing
- 2003-07-31 US US10/526,866 patent/US20060017597A1/en not_active Abandoned
- 2003-07-31 KR KR1020057003951A patent/KR100965786B1/ko not_active IP Right Cessation
- 2003-07-31 EP EP03793965A patent/EP1540944A1/en not_active Ceased
- 2003-07-31 AU AU2003253214A patent/AU2003253214A1/en not_active Abandoned
- 2003-09-05 TW TW092124629A patent/TWI283988B/zh active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6141047A (en) * | 1993-12-22 | 2000-10-31 | Canon Kabushiki Kaisha | Image signal processing apparatus and image pickup device |
US6101294A (en) * | 1997-06-02 | 2000-08-08 | Sarnoff Corporation | Extended dynamic imaging system and method |
EP1134698A1 (en) * | 2000-03-13 | 2001-09-19 | Koninklijke Philips Electronics N.V. | Video-apparatus with histogram modification means |
Also Published As
Publication number | Publication date |
---|---|
WO2004023796A1 (en) | 2004-03-18 |
KR100965786B1 (ko) | 2010-06-24 |
EP1540944A1 (en) | 2005-06-15 |
AU2003253214A1 (en) | 2004-03-29 |
KR20050057261A (ko) | 2005-06-16 |
US20060017597A1 (en) | 2006-01-26 |
TW200414758A (en) | 2004-08-01 |
TWI283988B (en) | 2007-07-11 |
CN1682527A (zh) | 2005-10-12 |
JP2005538593A (ja) | 2005-12-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN100361508C (zh) | 包含输入图像信号动态范围控制的信号重建方法 | |
US10218917B2 (en) | Method and apparatus to create an EOTF function for a universal code mapping for an HDR image, method and process to use these images | |
US11895408B2 (en) | Image pickup system, image pickup method, and computer readable storage medium for generating video signals having first and second dynamic ranges | |
US20050122408A1 (en) | Digital automatic white balance device | |
CN1925622B (zh) | 视频信号处理装置、摄像装置以及视频信号处理方法 | |
US6441870B1 (en) | Automatic gamma correction for multiple video sources | |
CN100525471C (zh) | 用于控制亮度的亮度控制方法和亮度控制设备以及计算机系统 | |
US8064693B2 (en) | Methods of and apparatus for adjusting colour saturation in an input image | |
CN109417588B (zh) | 信号处理设备、信号处理方法、相机系统、视频系统和服务器 | |
CN114866809B (zh) | 视频转换方法、装置、设备、存储介质及程序产品 | |
US7336822B2 (en) | Enhanced color correction circuitry capable of employing negative RGB values | |
CN101729913A (zh) | 影像饱和度的调整方法与系统 | |
US20220239880A1 (en) | Video signal processing method and apparatus | |
US8208037B2 (en) | Digital camera and gain computation method | |
EP2037687A1 (en) | Imaging system and imaging program | |
US7113207B2 (en) | Chrominance signal processing apparatus, image-sensing apparatus and control methods for same | |
US5150206A (en) | Video display system using an improved color signal technique | |
EP0960525A1 (en) | Method of chroma-keying for a digital video compression system | |
KR101137611B1 (ko) | 이미지 데이터 변환 절차를 효과적으로 수행하는 시스템 및 방법 | |
US7262796B2 (en) | Processing of color signals in a color camera | |
JP7300070B2 (ja) | 飽和色のための改善されたhdrカラー処理 | |
US20080253453A1 (en) | Moving picture display apparatus | |
CN106657945B (zh) | 一种非线性分段的伽马校正实现方法 | |
Park et al. | Color and illumination compensation scheme for multi-view video service | |
US8531549B1 (en) | Camera that uses YUV to YUV table-based color correction for processing digital images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20080109 Termination date: 20110731 |