[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN101322416B - 图像信号处理装置及图像信号处理方法 - Google Patents

图像信号处理装置及图像信号处理方法 Download PDF

Info

Publication number
CN101322416B
CN101322416B CN2007800005037A CN200780000503A CN101322416B CN 101322416 B CN101322416 B CN 101322416B CN 2007800005037 A CN2007800005037 A CN 2007800005037A CN 200780000503 A CN200780000503 A CN 200780000503A CN 101322416 B CN101322416 B CN 101322416B
Authority
CN
China
Prior art keywords
signal
rgb
output
unit
curve
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2007800005037A
Other languages
English (en)
Other versions
CN101322416A (zh
Inventor
若木透
出口达也
马场麻贵子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101322416A publication Critical patent/CN101322416A/zh
Application granted granted Critical
Publication of CN101322416B publication Critical patent/CN101322416B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/82—Camera processing pipelines; Components thereof for controlling camera response irrespective of the scene brightness, e.g. gamma correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/85—Camera processing pipelines; Components thereof for processing colour signals for matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H04N5/202—Gamma control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/67—Circuits for processing colour signals for matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种图像信号处理装置及图像信号处理方法。其通过有效地使用固体摄像元件本来具有的输出范围来扩大动态范围，同时获得色调旋转少的图像。利用在高感光度模式下通过较低地设置曝光量，所以直至饱和电荷量为止的富余变大这一点，从而获得包括高亮度侧的被拍摄对象的信号成分的动态范围宽的RGB信号。首先，通过进行接近γ幂的γ校正，色空间转换为亮度信号和色差信号，并对亮度信号进行非线形压缩处理，以便匹配规定的灰度，对色差信号进行基于伽马幂的降低颜色旋转和色差矩阵限幅。

Description

图像信号处理装置及图像信号处理方法
技术领域
本发明涉及一种基于从固体摄像元件等获得的图像信号，在适当的动态范围内输出亮度信号和色差信号(Y/Cr/Cb等)的图像信号处理装置及图像信号处理方法。尤其涉及通过有效地使用固体摄像元件本来具有的输出范围来扩大动态范围，同时获得色调旋转少的图像的图像信号处理装置及图像信号处理方法。
背景技术
照相机作为记录视觉信息的装置具有悠久的历史。最近，作为取代使用胶卷和感光板进行拍摄的卤化银照相机，对通过CCD(Charge Coupled Device，电荷耦合器件)或CMOS(Complementary Mental-Oxide Semiconductor，互补金属氧化物半导体)等的固体摄像元件所捕抓的图像进行数码化的数码照相机被广泛普及。数码照相机，存在以下优点：将被数字编码后的图像存储在存储器中，并可通过计算机来进行图像处理和图像管理，从而不会出现胶卷寿命这样的问题。
CCD传感器通过被排列为2维的各像素(光电二极管)利用光电效应，将光转换为电荷的结构而构成。在各像素的表面上设置有例如红(R)、G(绿)、B(蓝)三色中任一种的滤色器，并将与通过各滤色器的射入光量相对应的信号电荷存储在各像素中。而且，从各像素读出与各色的射入光量相对应的信号电荷，并可从3色的各信号电荷量中再现各像素位置的射入光的颜色。但是，存在以下制约：各像素可存储的信号电荷量具有上限，且无法存储超过构成像素的光电二极管的饱和电荷量的信号电荷。即，从传感器元件具有的噪声电平到传感器元件可以存储的电荷的饱和量为止的范围为动态范围。动态范围以外部分的图像，作为曝光过度、或者曝光不足的现象在摄像图像上被观察到。
人的视觉可以对应光量的位数而感觉亮度，该范围即、动态范围被称为8位。底片的动态范围至少为4位。另一方面，CCD的动态范围例如为2.4位左右，略微不足。近年来，随着微细化技术的不断推进，固体摄像元件的像素数飞越似地增加，分辨率接近卤化银照片，但是另一方面，随像素的尺寸饱和电荷量变小，从而更加加深了动态范围不足的问题。
照相机具有对光圈和快门速度的光量进行校正的功能，例如，若光圈关闭一次，则光量变为一半。若射入照相机的光量为均等的一半，则相对于对数标度，可以仅平行移动0.5该光量。但是，基于照相机的光量校正仅为在动态范围中使被拍摄对象的光量分布平行移动而已，对宽于动态范围的光量分布则没有意义。
而且，公知一种改变快门速度，多重记录并合成，从而扩大动态范围的方法。即，在CCD传感器上通过电子快门控制，获得在高速快门处理中回避饱和的图像、和在低速快门处理中获得充分电子数的低亮度部分图像并加以合成，从而可以确保良好的动态范围。但是，由于为了获得一张图像，需要进行高速快门处理和低速快门处理两次拍摄，所以无法获得移动物体的适当的静态图像。或者，由于需要双重摄像系统，所以装置结构变得复杂。
而且，虽然也考虑在传感器部中交替地配置感光度感光度高的传感器和感光度感光度低的传感器，并合成两个传感器的信息，从而确保动态范围的方法，但是存在传感器构造和传感器输出的信号处理复杂的问题。
例如，公开了一种信号处理方法(例如，参照专利文献1)：对摄像图像的亮度分布进行检波，并将处于逆光、白色丢失(white color loss)、曝光不足状态的亮度分布校正为最佳亮度分布并进行输出。根据该信号处理方法，当输出图像的亮度分布大时，通过B样条插值方法(B-spline interpolation method)等进行校正，以便亮度分布相一致，从而可以控制γ校正的输入输出，并可以获得最佳的图像。
而且，公开了一种自动曝光控制方法(例如，参照专利文献2)：若对输入的图像信号所包括的高亮度被拍摄对象信号进行检测，则对应该高亮度被拍摄对象信号，对用于拍摄动作的曝光量进行控制，同时，根据曝光量对图像信号的γ校正量进行提高低亮度区域上的亮度电平这样的控制，从而例如在逆光状态下，也可从高亮度被拍摄对象和低亮度被拍摄对象共存的影像中获得良好的图像。
而且，也考虑了一种使用γ校正来确保图像信号的动态范围的方法。γ校正是指将拍摄图像输出到监视器等时，将图像等的颜色数据、和实际输出数据时的信号的相对关系进行调整，并为了正确(更为接近自然的显示)再现灰度(亮度)而进行灰度转换的处理。监视器中的灰度(亮度)特性相对于来自CCD的输入信号的电平不是线性，当将输入信号定为x，将监视器的亮度电平定为y时，为y＝xγ的关系。因此，进行相当于该逆函数的处理为γ校正。γ校正曲线是本来幂的函数，通过改变γ系数从而可以确保动态范围。但是，由于γ系数的改变，在从理想的γ曲线偏离的部分的摄像图像上，存在产生彩色平衡被破坏、对比度劣化这样的不良影响的问题。
而且，在基于固体摄像元件的拍摄图像中，当过度曝光时，存在在高亮度部分，产生通过与本来不同的颜色进行表现的色调旋转(color hue rotation)这样的问题。例如，当在射入光中，与红色的射入光量相对应的信号电荷量超过光电二极管的饱和电荷量时，根据未达到饱和电荷量的绿色及蓝色的各信号电荷量和红色的信号电荷量(饱和电荷量)而再现的颜色变为红色程度不足的颜色。尤其由于人眼对肤色较为敏感，所以当通过过度曝光对肤色进行拍摄时，导致肤色变黄较为引人注目。
作为避免该色调旋转的方法，考虑一种例如，在图像颜色旋转(color rotation)开始的高亮度部，抑制色差信号电平本身的方法。这一般被称为“消色差”技术，当亮度信号电平在某阈值以上时，阶段性地进行消色并进行发白处理。但是，会产生由于颜色丢失而导致产生图像发白(be blown out to white)的问题。
而且，作为避免色调旋转的其他方法，也考虑例如，进行限幅，以便在对RGB信号进行色空间转换为亮度信号和色差信号(Y/Cr/Cb)、或者进一步色空间转换为sRGB(standard RGB)之后，色差信号不会旋转为超过颜色区域的信号。虽然该方法是被称为“3D查找表处理的”的常规方法，但是会显著地增大电路规模。
在这些现有的色调旋转回避方法中，存在以下问题：产生基于在高亮度部上的灰度不足的发白的问题、以及无法抑制通过色空间转换为亮度信号和色差信号(Y/Cr/Cb)之前的γ校正而产生RGB信号限幅的结果的颜色旋转(color rotation)。
色调旋转的问题与动态范围不足一样，与像素的饱和电荷量不足相对应。数码照相机的分辨率由于像素数的飞越似的增加而接近卤化银照片，但是在颜色再现性方面不及卤化银照片。
因此，在数码照相机中，大多设置有用于切换相当于卤化银照相机中的ISO感光度的感光度条件的功能。即，为了拍摄即使通过曝光校正也无法获得充分感光度的低光照度被拍摄对象的影像，使用增益增大这样的提高感光度的技术。通过增益增大，由于对CCD等的输出信号进行增幅，并相对地提高亮度范围，所以提高感光度，从而可以拍摄发暗的地方和低光照度被拍摄对象。以ISO100为标准感光度，并准备将后面的ISO200、ISO400等作为高感光度模式。
在此，存在以下问题：大多对每次设置数码照相机的ISO感光度时的传感器输出没有适当设置信号处理范围，也没有有效地活用本来可以使用的固体摄像元件的输出信号范围。下面，对这点进行考虑。
将ISO100、即使用标准增益的通常拍摄中所使用信号振幅的上限设置为s，当此时的增益为a时，将ISO200、即增益增大时的使用信号振幅的上限为s/2，且增益为2a。在增益增大后的高感光度模式下，由于将曝光量设置得低于标准曝光，所以直至饱和电荷量为止的富余变大，从而扩大可摄像的被拍摄对象的高亮度侧的摄像范围，并在该CCD等的输出信号中应该可包括在通常拍摄模式下无法获得高亮度侧的被拍摄对象的信号成分。
在从平均的被拍摄对象的曝光量直至CCD饱和电平没有富余的状态下，一般将CCD的饱和电平作为标准增益、即ISO100的使用信号振幅的上限。例如，当对饱和信号量(最大输出)500mV的CCD传感器输出使用10位进行AD转换时，当为ISO100时，将全部500mV作为1023灰度进行使用(参照图17)。而且，若为JPEG(Joint Picture Experts Group，联合图像专家组)，则通过γ校正，将该1023灰度的RGB图像信号分配为255灰度。另一方面，当为ISO200时，将该一半的传感器输出250mV作为1023灰度(参照图18)，并当增益增大输出时，在1023灰度对信号进行限幅，从而只能使用CCD最大输出、即饱和电荷量的一半。
但是，由于将从250mV直至500mV为止的区域作为CCD传感器输出是有效的，所以应该作为高亮度侧的摄像范围加以活用。因此，即使在高感光度模式中，与标准模式相同地通过γ校正电路进行灰度转换时，以标准模式中的摄像范围界限(在如图17所示的例子中为1023灰度)为基准，对可以灰度转换的被拍摄对象的高亮度侧的摄像范围进行限制，从而无法将在高感光度模式下被扩大的高亮度侧的摄像范围的扩大效果反映在图像上。
与此相对，公开了一种关于摄像装置的技术(例如，参照专利文献3)：通过组合增益增大和灰度转换特性的变更，即通过进行当高增益时，较高地设置灰度转换特性的有效最大输入值这样的灰度转换特性的转换，从而可以将通过增益增大而生成的摄像元件的高亮度侧的摄像范围的扩大效果反映在图像上，并可扩大被拍摄对象的高亮度侧的再现区域。
根据该摄像装置，当为ISO200时，将全部500mV作为2047灰度进行使用，并可以根据“宽的D范围(wide D range)时γ特性”，通过γ校正将2048位的RGB图像信号分配为255灰度。该“宽的D范围时γ特性”被设置为：在直至饱和电荷量的75％为止的低亮度测的区域上与标准γ特性为同一特性，且在这以上的高亮度侧的区域上灰度的压缩程度变高。
但是，在专利文献3等的方法中，不可否认地牺牲了高灰度压缩程度的高亮度区域的再现性。尤其在将RGB信号通过色空间转换为亮度信号和色差信号(Y/Cr/Cb)之前，当通过γ校正进行灰度转换以便匹配规定的灰度时，无法抑制作为RGB信号限幅产生的结果的颜色旋转和发白。在专利文献3中，虽然还公开了一种关于动态范围的改善的方法，但是没有提及有关在色差信号的饱和电平附近上的色调旋转的问题。
专利文献1：日本特开2003-179809号公报
专利文献2：日本特开2004-23605号公报
专利文献3：日本特开2002-33956号公报(图2，0036段)
发明内容
本发明鉴于上述问题，目的在于提供一种卓越的图像信号处理装置及图像信号处理方法，其基于从固体摄像元件等获得的图像信号，可以在动态范围内输出亮度信号和色差信号(Y/Cr/Cb等)。
本发明的另一个目的在于提供一种卓越的图像信号处理装置及图像信号处理方法，其在每次设置数码照相机的感光度时设置适当的信号处理范围，并通过有效地使用固体摄像元件本来具有的输出范围来扩大动态范围，同时，可以获得色调旋转少的图像。
根据本发明的一个方面，提供了一种图像信号处理装置，用于基于被拍摄对象的摄像图像来输出规定的输出位长的亮度信号及色差信号，上述图像信号处理装置包括：图像信号输入单元，用于输入已拍摄的被拍摄对象的图像信号；放大单元，用于对输入的图像信号的动态范围进行扩张；计算单元，基于对上述动态范围进行扩张后的图像信号来计算RGB信号；RGBγ校正单元，对上述RGB信号进行RGBγ校正，作为位扩张大于上述输出位长的信号进行输出；转换单元，基于通过上述RGBγ校正单元进行位扩张后的RGB信号来计算亮度信号及色差信号；以及非线性校正单元，进行非线性校正，以便上述计算出的亮度信号的输出电平匹配上述输出位长。
本发明关于一种图像信号处理装置，其在使用CCD等的固体摄像元件对数字图像进行拍摄的摄像装置中，基于从固体摄像元件获得的图像信号，在适当的动态范围上输出亮度信号和色差信号(Y/Cr/Cb等)。
被称为数码照相机的这种摄像装置可以进行基于计算机的图像处理和图像管理，并进一步具有可以从胶片的寿命这样的问题中解放出来的便利性。最近，随着微细化技术的不断推进，固体摄像元件的像素数飞越似地增加，分辨率迫近卤化银照片，但是由于饱和电荷量的制约，存在动态范围不足、和高亮度区域的色调旋转这样严重的问题，并且，在颜色再现性方面也不及卤化银照片。
与此相对，本发明涉及的图像信号处理装置构成为：着眼于以下这点，当将数码照相机以比最低ISO感光度高的方式来设置ISO感光度时，由于将曝光量设置得比标准曝光低，所以直至饱和电荷量的富余变大，即使在将ISO感光度设置切换为高感光度且增益增大的情况下，不改变使用信号振幅的上限地输入包括由增益增大而产生的固体摄像元件的高亮度侧的输出范围的动态范围宽的的RGB信号，从而有效使用直至饱和电荷量的区域。
具体而言，在最低感光度的ISO100中，将CCD传感器的饱和电荷量500mV分配为AD转换输出的分辨率、即10位(1023灰度)的情况下，即使设置ISO200且增益增大时，将饱和电荷量500mV还是作为设置AD转换输出的分辨率、即10位(1023灰度)，对超过250mV的信号进行RGBγ校正电平(位长)扩张的基础上，发送给后面的处理。
根据本发明涉及的图像信号处理装置，对RGBγ校正处理的输出电平(位长)进行扩张之后制作亮度信号和色差信号。通过扩张RGBγ校正的位长，可以进行具有接近理想的γ曲线特性的RGBγ校正。具体而言，通过具有9位的RGBγ校正输出，使用接近γ1/2.2和sRGBγ的特性来制作色差信号。
在这种情况下，虽然在对位扩张的RGBγ输出进行色差转换的过程中，对色差信号进行限幅，但是通过从基于γ幂(γ1/2.2)的9位RGBγ校正输出中制作8位的色差信号，从而由于基于γ幂(powerγ)的高阶位(high-order bit)扩张而难以进行色差矩阵限幅，所以可以在高亮度区域大幅度地改善色差限幅和色调旋转。
而且，关于亮度信号，为了匹配应该输出8位长、即255灰度，通过非线形校正单元进行与前面的RGBγ校正相对的Δγ校正位置对应的非线形处理，从而可以确保动态范围宽的亮度信号。
上述RGBγ校正单元由于在设置低感光度时，以与现有技术相同的位长来输出RGBγ校正，且未使用从增益增大中扩张的高阶位，所以使用进行与上述输出位长相同的输出的低感光度用RGBγ曲线。另一方面，当设置高感光度时，从低亮度到中亮度根据上述低感光度用RGBγ曲线，使设置低感光度时的拍摄图像与对比度匹配。而且，通过在高亮度区域，使用具有基于γ幂的曲线的高感光度用RGBγ曲线，输出位扩张大于上述输出位长的信号，从而如上所述，可以实现对高亮度区域上的大幅度颜色旋转进行抑制和动态范围的扩大。
而且，上述Δγ校正单元例如，在由RGBγ曲线中从低亮度到中亮度的形成画面γ曲线所构成的区域中，使用设置将Δγ校正输入直接作为Δγ校正输出的直线状。另一方面，以从形成画面γ曲线切换为幂γ1/2.2曲线的切换点为基准，在这以后的高亮度区域中，使用由压缩曲线构成的Δγ曲线以便匹配255灰度，并进行亮度信号的灰度转换，从而可以保持高亮度部的灰度不变地确保动态范围。
在这种情况下，虽然可以在低亮度～中亮度区域设置低感光度时，匹配对比度，但是由于仅在高亮度区域上进行灰度压缩，所以在该区域上，灰度不足且亮度再现性劣化。例如，在包括很多高亮度部分的摄像图像中，恐怕会出现该影响。
因此，上述Δγ校正部通过任意画出Δγ曲线(非线形校正曲线)，也可以实现与亮度信号的动态范围压缩的同时改善亮度信号灰度。具体而言，上述图像信号处理装置还包括：直方图检波单元，对亮度信号进行直方图检波，并确定直方图集中的亮度区域；以及Δγ曲线生成单元，适当地生成Δγ曲线，以便缓和直方图集中的亮度区域上的灰度压缩的程度，上述Δγ校正单元根据从上述Δγ曲线生成单元供给的Δγ曲线来进行亮度信号的灰度转换。在这种情况下，在高亮度部分直方图集中这样的图像中，通过在高亮度侧修正为具有灰度特性的Δγ曲线，从而可以改善高亮度的灰度特性。
另一方面，当进行高感光度用的灰度转换时，在通常的RGBγ表的基础上，还必须装配用于Δγ校正的Δγ表，从而导致电路规模增大。因此，也可以为：上述Δγ校正单元相对于RGBγ曲线，使用Δγ曲线进行亮度信号的灰度转换，其中，上述Δγ曲线，在由从低亮度到中亮度的形成画面γ曲线构成的区域中，是将Δγ校正输入作为Δγ校正直接输出的直线状，在从形成画面γ曲线到γ1/2.2曲线的切换点为基准以后的高亮度区域中，是为了匹配255灰度的近似直线。在这种情况下，由于可以不参照Δγ表，通过简单的函数计算来进行亮度信号的灰度转换，所以可以降低电路规模。
而且，当如本本发明一样地将较宽的动态范围信号灰度转换为输出格式的8位时，存在高亮度侧的灰度感不足的问题。与此相对，例如，通过例如孔阑补偿，从而可以补偿高亮度的分辩特性。
具体而言，在本发明涉及的图像信号处理装置中，还包括：高通滤波器，从基于上述RGBγ校正单元的RGBγ校正前的G信号和γ校正前的RGB信号而计算出的亮度信号、或者基于γ转换输出信号而计算出的亮度信号中的任一个或者两个中获得高频信号；亮度信号电平检测单元，输入Δγ校正之后或者之前的亮度信号，检测例如超过上述Δγ曲线从直线切换为被灰度压缩的曲线的变化点的部分，并在变化点以下的部分将增益值设置为0，在超过变化点的部分对应于亮度信号电平输出增益值0～1。而且，将上述高通滤波器的输出和来自上述电平检测单元的增益值相乘并生成高频补充信号，并与亮度信号相加。由此，可以将高亮度区域上的边缘部分重叠于亮度信号，补偿高亮度的分辨率特性。
通过将本发明涉及的图像信号处理装置安装于数码照相机，从而可当每次设置感光度时设置适当的固体摄像元件的输出信号电平，并可通过有效地使用固体摄像元件本来具有的输出范围来扩大动态范围，同时，可降低饱和电荷量附近的色调旋转。
但是，对RGBγ校正输出进行位扩张并对亮度信号进一步进行Δγ校正这样的高感光度用灰度转换，与通常的灰度转换相比系统控制负荷变高。因此，当将图像信号处理装置安装于摄像装置时，也可以还包括选择输出单元，其在上述静态图像摄影模式下，输出通过上述Δγ校正单元进行灰度转换后的亮度信号，以便匹配输出位长，并在上述监视模式下，直接输出通过上述颜色转换单元制作的亮度信号。
在这种情况下，数码照相机在监视模式下，不使用Δγ校正，输出的亮度信号被限幅在255灰度并除去了高亮度部分的信息，但是由于未保存图像，所以即使优先降低系统控制负荷也没有问题。
根据本发明，可以提供一种卓越的图像信号处理装置及图像信号处理方法，其可以在合适的动态范围内将从固体摄像元件等获得的图像信号转换为由动态范围亮度信号和色差信号(Y/Cr/Cb等)形成的图像信号。
本发明的另一个目的在于提供一种卓越的图像信号处理装置及图像信号处理方法，其在每次设置数码照相机的感光度时设置适当的固体摄像元件的输出信号电平，并通过有效地使用固体摄像元件本来具有的输出范围来扩大动态范围，同时可以获得色调旋转少的图像。
根据本发明，由于可以在对RGBγ校正处理的输出电平(位长)进行扩张后制作亮度信号和色差信号，所以对于色差信号而言，由于不存在基于现有技术中的RGBγ校正的限幅，所以可以改善动态范围和颜色旋转。对于颜色旋转及颜色动态范围而言，虽然在对进行位扩张的RGBγ输出进行色差转换的过程中，对色差信号进行限幅，但是通过具有充分的RGBγ输出电平，从而可以实现大幅度地抑制颜色旋转和动态范围的扩大。而且，关于亮度信号，进一步进行亮度专用的非线形处理从而使输出匹配于255灰度，因此可以获得动态范围宽的亮度信号。
而且，由于亮度信号的高感光度用灰度转换与通常的灰度转换相比，系统控制负荷变高，所以在安装有本发明涉及的图像信号处理的摄影装置中，仅当拍摄静态图像时使用高感光度用灰度转换，而当仅进行取景器输出的监视模式时不使用该高感光度用灰度转换，从而可以降低系统控制负荷。
本发明的其他目的、特征及优点将通过后面本发明的实施例和附图进行的详细说明来加以明示。
附图说明
图1是本发明的一实施例涉及的图像信号处理装置的构成的示意图；
图2是通过γ校正将该1023灰度的RGB图像信号分配为255灰度，以便适合于作为输出格式的JPEG的状态的示意图；
图3是当设置为ISO200且增益增大时，将饱和电荷量500mV直接作为AD转换输出的分辨率、即10位(1023灰度)，并使用超过250mV的信号的状态的示意图；
图4是本发明涉及的图像信号处理装置用于进行当设置为ISO200、ISO400等时的动作的功能的构成的示意图；
图5是AGC4的增益增大的输入输出例的示意图；
图6是γ1/2.2曲线和形成画面γ曲线的示意图；
图7是将10位的增益增大输出作为输入，并输出9位的RGBγ曲线的构成例的示意图；
图8是当设置为ISO200时，用于调整亮度信号的输出位长的Δγ校正曲线的构成例的示意图；
图9是以任意画出Δγ曲线的方式而构成的图像信号处理装置的构成例的示意图；
图10是通过跨越整个亮度区域来进行灰度压缩，从而实现高亮度区域上的灰度改善的Δγ曲线的构成例的示意图；
图11是近似直线的Δγ曲线的构成例的示意图；
图12是构成为通过孔阑补偿来补偿高亮度的分辨特性的图像信号处理装置的构成例的示意图；
图13是电平检测部16的输出特性的示意图；
图14是对亮度信号进行基于孔阑补偿的高频补偿时的高亮度的分辨特性的说明图；
图15是由RGBγ校正部9输出最终255灰度压缩的特性的示意图；
图16是仅在拍摄静态图像时，使用高感光度用灰度转换的图像信号处理装置的构成例的示意图；
图17是当对饱和信号量(最大输出)500mV的CCD传感器输出在10位进行AD转换时，当为ISO100，将全部500mV作为1023灰度使用直至信号振幅的上限的状态的示意图；
图18是当为ISO200时，将饱和电荷量的一半设置为信号振幅的上限，并将传感器输出250mV作为1023灰度并使用输入信号的状态的示意图；
图19A是ISO 100、ISO 200、和ISO 400的感光度分别输出Y亮度信号的总和γ特性的示意图；
图19B是在低频区域使用ISO100γ的曲线、同时在与γ1/2.2曲线交叉以后的高频区域上使用γ1/2.2曲线、形成画面用的ISO200400RGBγ曲线的示意图；以及
图20是当设置为ISO400时，用于调整亮度信号的输出位长的Δγ校正曲线的构成例的示意图。
附图标记
1     CCD传感器
2     CDS(Correlated Double Sampling)电路
3     AD转换器
4     AGC(Automatic Gain Control)
5     AWB(Auto White Balance)
8     去马赛克处理部
9     RGBγ校正部
10    Y矩阵计算部
11    C矩阵计算部
12    Δγ校正部
13    直方图检波部
14    Δγ表生成部
15    高通滤波器
16    电平检测部
具体实施方式
下面，参照附图对本发明的实施例进行详细说明。
在图1中示出了本发明的一实施例涉及的图像信号处理装置的构成。该图像信号处理装置基于对从固体摄像元件等获得的图像进行信号处理而获得的RGB图像信号，输出亮度信号和色差信号(Y/Cr/Cb等)。在图1所示的例子中，示出了用于当设置为ISO100、即最低ISO感光度时的动作的功能构成。
CCD传感器1使用CCD等的固体摄像元件。其将具有光电转换效果的各像素二维排列，例如，在受光侧配置有G方格RB彩色编码板(G checkered RB color coding single plate)。在各像素中存储与通过各滤色器的射入光量相对应的信号电荷，可根据从各像素读出的3色的各信号电荷量来再现该像素位置上的射入光的颜色。
来自CCD传感器1的像素信号，在CDS(Correlated Double Sampling，相关复式取样)电路2中，从CCD传感器1接收的信号的低噪声被高精度地抑制，然后，通过AD转换器3转换成数字信号。并且，在通过AGC(Automatic Gain Control：自动增益控制电路)4进行适当的增益控制后，通过AWB(Auto White Balance：自动白平衡)5进行白平衡增益来再现适当的颜色状态，并通过去马赛克(demosaic)处理部8生成RGB图像信号。
在RGBγ校正部9中，为了在由监视器等输出摄影图像时对灰度进行正确地再现而对RGB信号进行灰度转换。当对CCD传感器1的输出在10位进行AD转换时，通过γ校正对10位(即1023灰度)的RGB图像信号再分配为8位(即255灰度)。
然后，分别在Y矩阵计算部10及C矩阵计算部11中，将RGB图像信号色空间转换为亮度信号和色差信号(Y/Cr/Cb)，并在编码器(未图示)中进行JPEG压缩后，在记录介质(未图示)中保存数据。
在当前从被拍摄对象的平均曝光量直至CCD的饱和电平为止没有富余存在的状态下，当为最低ISO感光度时，将CCD的饱和电平作为标准增益，即作为ISO100中的使用信号振幅的上限。例如，当为ISO100时，将全部500mV作为1023灰度进行使用(参照图17)。而且，通过γ校正将该1023灰度的RGB图像信号分配为255灰度，以便适合作为输出格式的JPEG。在这种情况下，对于饱和电荷量500mV的CCD传感器，当为ISO100时，不能使用超过设置为饱和电荷量的1023灰度的数据(参照图2)。
另一方面，在高于最低ISO感光度的ISO感光度设置中，通过将在CCD输出中所使用的信号量仅减少(缩小)增益部分，从而实现高感光度，并可对在曝光校正中无法获得充分感光度的低光照度被拍摄对象进行拍摄。由于将曝光量设置得低于标准曝光，所以直至饱和电荷量为止的富余变大，另一方面，在现有技术中，由于仅使用信号振幅的上限降低增益部分，所以从该上限到饱和电荷量为止变为未使用的区域。例如，当为ISO200时，将该传感器的一半输出即250mV设置为1023灰度(参照图18)，并仅使用CCD最大输出即饱和电荷量的一半。当为ISO200时，不管超过使用信号振幅的上限250mV的信号作为CCD传感器的输出是有效的，一般都是在1023灰度限幅并不使用1023灰度以上的灰度。
与此相对，在本实施例中，即使当改变ISO感光度设置并进行增益增大时，通过不改变使用信号振幅的上限，有效使用直至饱和电荷量为止的区域，从而扩大动态范围(dynamic range)。具体而言，如图3所示，即使当设置为ISO200并进行增益增大时，将饱和电荷量500mV直接设置为AD转换输出的分辨率、即10位(1023灰度)，对超过250mV的信号进行RGBγ校正电平(位长)扩张并加以输送，并适当地设置非线性处理及这以后的处理，从而可以改善动态范围，同时，可以实现降低颜色旋转，并可获得更为良好的图像。
在图4中示出了本发明涉及的图像信号处理装置用于进行当被设置为ISO200时的动作的功能的构成。在G方格RB的彩色编码板照相机中，对CCD传感器1的输出信号进行CDS处理后进行AD转换而获得的数字信号的部分与如图1所示的结构相同。
在图5中示出了AGC4的增益增大的输入输出例。当设置为ISO100时，将来自AD转换器3的1023灰度的输入×1(即，通过(through))并在1023灰度输出。另一方面，当设置为ISO200时，将相当于ISO感光度部分的6dB施加于1023灰度的输入(参照图5(A))，然后无需如原来那样在1023灰度限幅，而在+6dB的2047灰度这样的较宽范围上输出(参照图5(B))，并直至后面的RGBγ校正为止输出动态范围的较宽信号。
根据如图4所述的构成，可以在对RGBγ校正处理的输出电平(位长)进行扩张后生成亮度信号和色差信号。在这种情况下，对于色差信号而言，由于不存在基于原来的RGBγ校正的限幅，所以可以改善动态范围和颜色旋转。而且，对于亮度信号而言，通过为了匹配作为输出格式的255灰度而进行非线性处理(在本说明书中，被称为“Δγ校正”)，从而可以获得动态范围较宽的亮度信号。将在后面对Δγ校正进行详细说明。
设置为ISO200时与设置为ISO100时的信号处理的主要不同在与以下几点。
(1)对增益控制提升以后的信号电平进行扩张，并将动态范围较宽的信号输送给后续的信号处理。
(2)与RGBγ曲线不同，γ校正输出信号的位长更长。
(3)对亮度信号进行Δγ校正，与信号处理位长不同。
对于颜色旋转及颜色动态范围而言，虽然在对被进行位扩张的RGBγ输出进行色差转换的过程中，对色差信号进行限幅，但是由于具有充分的RGBγ输出电平，从而可以实现大幅度地抑制颜色旋转和动态范围的扩大。
在图5中，举例如下：当为最低ISO感光度100时，将动态范围设置为150％，而作为高感光度模式的ISO200时，将动态范围扩张为300％的2047灰度。但是，理论上，当为ISO400时，扩张为600％的4095灰度，后面同样地当为ISO800时，扩张为8191灰度，当为ISO1600时，扩张为16383灰度这样的情况下，也可以以高感光度来改善动态范围。此外，此处所说的动态范围100％是指输入683而输出255的情况。
在RGBγ校正部9中，当为ISO200时，对来自自动增益控制电路4的11位(＝2047)的RGB图像信号输入进行灰度转换。通常的RGBγ校正曲线的输出为8位，并通过下面的公式来计算亮度信号和色差信号。
公式1
Y＝0.3R+0.59G+0.11B      ...(1)
R-Y＝0.7R-0.59G-0.11B    ...(2)
B-Y＝-0.3R-0.59G+0.89B   ...(3)
理想的RGBγ曲线为γ1/2.2(γ幂)和sRGBγ。但是，当将输出电平匹配8位长时，为了形成实际的画面而使用的γ曲线(下面，称为“形成画面γ”)大多情况都偏离该RGBγ曲线。因此，其结果是，实际形成画面γ曲线的特性偏离理想的γ曲线，从而产生亮度灰度表现不足、色差信号发白(blown out to white)、以及色调旋转等副作用。
在图6中示出了在电视机中，理想的γ1/2.2曲线和形成画面γ曲线的例子。其中，用虚线表示γ1/2.2曲线，用实线表示形成画面γ曲线。当如图6所示地进行设置时，若相对于信号输入“1023”(即，将动态范围设置为150％)画出γ1/2.2，则输出并不取到8位的255灰度，而是使用至305灰度。与此相对，考虑中亮度区域中的对比度间和高亮度区域中的灰度，设计与“255”输出相配合的形成画面γ曲线。其结果是，虽然高亮度灰度可以想办法仅确保输入信号电平，但是由于偏离γ1/2.2，可以观察色差信号发白及色调旋转。为了抑制该副作用，虽然可以考虑一种观察亮度信号电平而消除颜色的系统，但是产生如下问题：由于丢失了颜色所以导致呈现图像发白。一般若由于γ幂曲线偏离，则发生色调旋转。
因此，在本实施例中，通过将RGBγ校正输出以比最终(本图像信号处理装置的输出时)的输出位长更长地扩张的方式进行位扩张，从而进行具有接近理想γ曲线的特性的RGBγ校正，以实现去除颜色转换处理前的色调旋转的主要因素。具体而言，在RGBγ校正部9中，例如，当为ISO200时，通过具有9位的输出，从而对于色差信号，可以通过接近γ1/2.2和sRGBγ的特性来制作色差信号。而且，关于亮度信号Y，通过后面的Δγ校正部12来进行适当的灰度压缩，从而获得8位的输出信号。
接下来，对RGBγ校正部9所使用的RGBγ曲线的构成方法进行说明。
在图7中示出了将11位的增益增大输出作为输入并输出9位的RGBγ校正曲线的构成例。当为最低ISO感光度100时，设置150％的动态范围(1023灰度)，以便当为ISO200时，可以构成为确保300％的动态范围(2047灰度)。
当将感光度模式设置为ISO100时，由于信号输入只到1023，所以相对于1023灰度的γ输入，RGBγ校正部9与现有技术同样地在255灰度进行γ输出(参照图7中的点划线)。在这种情况下，由于未使用从自动增益控制电路4被扩张后的高阶位(即，限幅在1023)，所以不需要对亮度信号进行Δγ校正(参照图1)。
与此相对，当将感光度模式设置为ISO200时，如图5所示，由于在前面的AGC3上通过增益增大来进行位扩张，所以具有ISO100时(假设为150％动态范围)的2倍、即300％动态范围的信号变为向RGBγ校正部9的γ输入。RGBγ校正部9通过使输出从8位进行1位扩张后变为9位这样的RGBγ曲线对该输入信号进行灰度转换。在图7中如实线所示，在高亮度区域，通过例如使用γ1/2.2作为RGBγ曲线，从而降低了色调旋转，同时确保了动态范围。而且，从低亮度直至高亮度，与ISO100同样地使用形成画面γ曲线，匹配对比度。
如图7所示的位扩张后的ISO200用的RGBγ校正曲线在输入信号为100％左右、即形成画面γ曲线和γ1/2.2曲线交叉点，从形成画面γ曲线转换为γ1/2.2曲线。而且，在该高感光度模式的RGBγ校正中，将具有由2047灰度构成的300％的动态范围的γ输入转换为419灰度的γ输出。具有如图7所示的特性的RGBγ表被存储在例如ROM(Read Only Memory，只读存储器)中加以保存。
由RGBγ校正部9的9位输出被输送给后面的Y矩阵计算部10及C矩阵计算部11，进行颜色转换处理。亮度信号Y作为上面公式(1)的运算结果变为9位输出。在后续的Δγ校正部12中，将该9位的亮度信号压缩为输出格式的8位。由此，可以最大限度地产生RGBγ校正输出，并可以确保亮度灰度。
在图8中示出了Δγ校正曲线的构成例。当为ISO100时，如上所述，不进行动态范围的扩张。因此，如图8中的虚线所示，直接将8位的Δγ校正输入作为Δγ校正输出。即，这种情况下的Δγ校正曲线为直线。
另一方面，当为ISO200时，如图7所示，由于RGBγ校正输出为419灰度，所以需要对其进行Δγ校正并压缩为输出格式的8位。如图8所示的Δγ曲线，对于RGBγ曲线中从低亮度到中亮度的形成画面γ曲线所构成的区域，将Δγ校正输入直接输出成为直线状，但是在高亮度区域被画为压缩的曲线，以便收缩在255灰度。由此，可以保持高亮度部的灰度不变地确保动态范围。此处所说的高亮度区域是指在RGBγ曲线上，以从形成画面γ曲线向γ1/2.2曲线切换点(参照图7)为基准，此基准以后的亮度区域。具有如图8所示的特性的Δγ表被存储在例如ROM中加以保存。
在此，作为RGBγ校正部9的输出从8位进行1位扩张到9位时的效果的一例，列举黄色信号处理(黄色为R∶G∶B＝1∶1∶0)，实际的灰度电平的计算结果总结为下表。RGBγ输入150电平(level)在现有例(8位)和本实施例(9位)中均为相同的电平输出。但是，随着输入电平增大为900、1500、2000，在现有例中，γ输出粘贴(sticks)为(R-Y)＝28、(B-Y)＝-227，对于色差没有变化。与此相对，在本实施例中，虽然输入信号为900，且(B-Y)粘贴为255，但是无需粘贴(R-Y)输出地呈线性增加，其结果可以抑制色调旋转。
表1
使用如图8所示的Δγ曲线来进行亮度信号的灰度转换时，在低亮度～中亮度区域中，当设置为ISO100时，可以匹配对比度，同时由于仅进行高亮度区域的灰度压缩，所以在该区域上，高亮度灰度不足。例如，在包括高亮度部分多的摄像图像中，恐怕会出现该影响。
因此，在Δγ校正部12中，通过任意画出Δγ曲线，也可以实现亮度信号的动态范围压缩的同时改善亮度信号灰度。例如，在高亮度部分集中的图像中，通过在高亮度侧对具有灰度特性的Δγ曲线进行修正，从而可以改善高亮度的灰度特性。
在图9中示出了以任意画出Δγ曲线的方式构成的图像信号处理装置的构成例。直方图检波部13对从Y矩阵计算部10输出的亮度信号Y进行直方图检波，并判别直方图集中的亮度区域。在Δγ曲线生成部14中，适当地生成Δγ曲线，以便缓和直方图集中的亮度区域上的灰度压缩的程度，并将此作为Δγ表提供给Δγ校正部12。
在图10中用实线示出了通过直方图检波部13及Δγ表生成部14制作的、通过跨越整个亮度区域来进行灰度压缩，从而实现高亮度区域上的灰度改善的Δγ曲线的构成例。虽然当设置为ISO200时，将具有419灰度的RGBγ校正输出作为Δγ输入，对此进行Δγ校正并压缩为输出格式的8位，但是与如图8所示的Δγ曲线不同，对不仅包括高亮度部，还包括低亮度～中亮度区域进行灰度压缩，开通过平滑的曲线来连接中亮度区域和高亮度区域。
另一方面，当进行高感光度用的灰度转换时，在通常的RGBγ表的基础上，还必须装配由Δγ校正部12所使用的Δγ表，从而导致电路规模增大。因此，当将如图8所示的Δγ曲线替换为通过图11的实线所表示的近似直线特性时，在Δγ校正部12中，由于可以不参照Δγ表，通过简单的函数计算来进行亮度信号的灰度转换，所以可以降低电路规模。
而且，当像本实施例一样地将较宽的动态范围信号灰度转换为输出格式的8位时，虽然高亮度侧的灰度感不足，但是通过例如孔阑补偿，从而可以补偿高亮度的分辩特性。在图12中示出了这种情况下的图像信号处理装置的构成例。
RGBγ校正前的G信号、或者来自通过Y矩阵部10制作的RGB图像信号的亮度信号Y中的一个或者两个输入到高通滤波器(HPF)15，从而获得高频信号。HPF15例如由-1、2-1、3TAP滤波器等构成。
电平检测部16输入Δγ校正后的亮度信号Y，并检测超过Δγ曲线从直线切换为灰度压缩的曲线的变化点的部分，在变化点以下的部分将增益值定为0，在超过变化点的部分，输出与亮度信号电平相对应的增益值0～1。电平检测部16的输出特性如图13所示。
而且，对HPF15的输出和来自电平检测部16的增益值进行相乘后生成高频补偿信号，并将该信号与Δγ校正部12输出的灰度转换后的亮度信号Y进行相加，从而获得最终的亮度信号Y。由此，可以将高亮度区域的边缘部分(edge portion)重叠于亮度信号，并可补偿高亮度的分辩特性。例如，当高亮度区域的边缘如图14(A)所示时，则生成如图14(B)所示的高频补偿信号，并当将他们相加后，如图14(C)所示，变为在边缘部分包括脉冲成分的亮度信号，即使进行灰度压缩也容易残留边缘。
此外，在图12中，虽然将Δγ校正部12的输出与高频补偿信号相加，但是即使将该高频补偿信号与Δγ校正前的亮度信号相加，也可以获得同样的效果。
在图15中示出了：将基于RGBγ校正部9的位扩张的γ校正特性(参照图7)、与通过Δγ校正部12对亮度信号取到输出格式的8位的方式进行Δγ校正的Δγ校正特性(参照图8)进行综合的、ISO100时的1023灰度的γ输入、以及相对于ISO200时的2047灰度的γ输入的最终的255灰度压缩输出的特性。
在图15中，通过虚线表示设置ISO100时的γ曲线。而且，通过点划线来表示在设置ISO200时基于RGBγ校正部9的γ输出。如上所述，在RGBγ曲线上，以从形成画面γ曲线向γ1/2.2曲线切换点为基准，将这以后的高亮度区域作为Δγ压缩区域。而且，在该区域中，进行基于Δγ校正的灰度转换，其结果是，可以获得通过实线所示的最终的255灰度压缩输出的特性。
关于亮度信号Y，对9位的RGBγ校正输出，以上面的公式(1)为基础来进行计算，并适用上述Δγ校正将其压缩为输出格式的8位。
另一方面，关于色差信号，对9位的RGBγ校正输出，以上面的公式(2)～(3)为基础来进行计算，并将该计算结果限幅为8位后作为色差信号加以输出。
在相对于现有技术的8位γ输入进行8位γ输出的RGBγ校正中，形成画面γ曲线从γ幂偏离(参照图6)，并存在由于RGBγ曲线、色差矩阵中的限幅而产生色调旋转和发白这样的问题。
与此相对，在本实施例涉及的图像信号处理中，通过根据γ幂(γ1/2.2)的9位的RGBγ校正输出来制作8位的色差信号，从而由于通过基于γ幂的高阶位扩张而难以进行色差矩阵限幅，所以可以在高亮度区域大幅度地改善色差限幅和色调旋转。
通过将如上所述的图像信号处理装置安装于数码照相机，从而可当每次设置感光度时设置适当的固体摄像元件的输出信号电平，并可通过有效地使用固体摄像元件本来具有的输出范围来扩大动态范围，同时可降低饱和电荷量附近的色调旋转。
但是，对RGBγ校正输出进行位扩张并对亮度信号进一步进行Δγ校正这样的高感光度用灰度转换与通常的灰度转换相比，系统控制负载变高。因此，通过仅当拍摄静态图像时适用高感光度用灰度转换，而当仅进行取景器输出的实时监视(图像确认)时不适用该高感光度用灰度转换，从而也可以降低系统控制负荷。
在图16中示出了在这种情况下的图像信号处理装置的功能构成。如图16所示，在亮度信号Y的输出端，安装有用于对Y矩阵计算部10的输出、或者Δγ校正部12的输出进行择一选择的选择单元，在监视模式下，选择输出前者，当拍摄静态图像时，选择输出后者。在监视模式下，不适用Δγ校正，输出的亮度信号被限幅在255灰度并除去了高亮度部分的信息，但是由于未保存图像，所以即使优先降低系统控制负荷也没有问题。
产业上的可利用性
上面，参照指定实施例对本发明进行了详细的说明。但是，本领域技术人员应该明白：在不脱离本发明宗旨的范围内可以对该实施例进行各种变形、应用。
虽然在本说明书中，通过NTSC(National Television System Committee，国家电视系统委员会)等的电视信号而取一般的γ2.2为例，对γ校正进行说明，但是本发明的主旨并不仅限于此。通过将本发明应用于例如，sRGB和Adobe RGB等其他的格式，从而可以发挥同样的效果。
而且，虽然在本说明书中，列举在作为数码相机的高感光度模式的ISO200时将动态范围扩张为200％的2047灰度的例子，但是也可以在进一步提高ISO感光度时改变γ曲线，并扩大动态范围。理论上，可以在ISO400时400％的4095灰度、以后同样地在ISO800时8191灰度、当为ISO1600时16383灰度这样的方式来改善只是增益部分的动态范围。但是，确保AGC提升以后的信号电平，同时需要准备更大的RGBγ表。
在图19A中示出了各个ISO100、ISO200、ISO400的感光度的Y亮度信号输出总和γ特性。当在最低ISO感光度100时，设置150％的动态范围，则当为ISO400时，通过增益增大来进行位扩张。因此，具有ISO100时4倍(600％)的动态范围的信号变为RGBγ校正的输入。对该输入信号适用输出为8位、即从255灰度变为扩张位长的575灰度的RGBγ曲线。而且，通过在高亮度部适用γ1/2.2，降低色调旋转，并确保动态范围。而且，从低亮度到高亮度，与ISO100同样地使用形成画面γ曲线，匹配对比度。在图19B中示出了在低频适用ISO100γ曲线，同时在与γ1/2.2曲线相交叉以后的高频使用γ1/2.2曲线的、形成画面用的ISO200400RGBγ曲线。
而且，虽然该RGBγ校正输出，以上面公式(1)为基础来计算亮度信号，但是由于当为ISO400时RGBγ校正输出为575灰度，所以需要对此进行Δγ校正并压缩为输出格式的8位。如图20所示，这种情况下的Δγ校正曲线相对于在RGBγ曲线被画为以下这种曲线：在从低亮度到中亮度为止的形成画面γ曲线而构成的区域中，是将Δγ校正输入直接输出的直线状，在以从形成画面γ曲线向γ1/2.2曲线的切换点为基准且该基准以后的高亮度区域上，是进行压缩以便取到255灰度的曲线。由此，可以保持高亮度部的灰度不变来确保动态范围。
综上所述，虽然在例示的实施例中对本发明进行了说明，但是本说明书所记载的内容并不仅限于此。应该参照本发明所要保护的范围来判断本发明的主旨。

Claims (9)

1.一种图像信号处理装置，用于基于被拍摄对象的摄像图像输出规定的输出位长的亮度信号及色差信号，所述图像信号处理装置包括：
图像信号输入单元，用于输入已拍摄的被拍摄对象的图像信号；
放大单元，用于对输入的图像信号的动态范围进行扩张；
计算单元，基于对所述动态范围进行扩张后的图像信号来计算RGB信号；
RGBγ校正单元，对所述RGB信号进行RGBγ校正，并作为位扩张大于所述输出位长的信号进行输出；
转换单元，基于通过所述RGBγ校正单元进行位扩张后的RGB信号，计算亮度信号及色差信号；以及
非线性校正单元，进行非线性校正，以便所述计算出的亮度信号的输出电平匹配所述输出位长。
2.根据权利要求1所述的图像信号处理装置，其特征在于，
所述图像信号输入单元还包括：感光度设置单元，输入通过固体摄像元件拍摄的图像信号，并设置所述输入的图像信号的感光度，
其中，图像信号的被扩张了的动态范围包括由所述感光度设置单元设置高感光度时的增益增大而产生的高亮度侧的输出范围。
3.根据权利要求2所述的图像信号处理装置，其特征在于，所述RGBγ校正单元，
在由所述感光度设置单元设置低感光度时，使用进行匹配于所述输出位长的输出的低感光度用RGBγ曲线，
在由所述感光度设置单元设置高感光度时，使用高感光度用RGBγ曲线，输出位扩张大于所述输出位长的信号，其中，所述高感光度用RGBγ曲线在从低亮度到中亮度基于所述低感光度用RGBγ曲线，同时在高亮度区域具有基于γ幂的曲线。
4.根据权利要求3所述的图像信号处理装置，其特征在于，所述非线性校正单元，相对于RGBγ曲线，使用非线性校正曲线进行亮度信号的灰度转换，其中，所述非线性校正曲线，在由从低亮度到中亮度的形成画面γ曲线构成的区域中，是将向所述非线性校正单元的输入直接作为所述非线性校正单元的输出的直线状，在从形成画面γ曲线到幂γ曲线的切换点以后的高亮度区域中，是为了匹配255灰度的压缩曲线。
5.根据权利要求3所述的图像信号处理装置，其特征在于还包括：
直方图检波单元，对亮度信号进行直方图检波，并确定直方图集中的亮度区域；以及
非线性校正曲线生成单元，适当地生成非线性校正曲线，以便缓和直方图集中的亮度区域上的灰度压缩的程度，
其中，所述非线性校正单元根据从所述非线性校正曲线生成单元供给的非线性校正曲线进行亮度信号的灰度转换。
6.根据权利要求3所述的图像信号处理装置，其特征在于，
所述非线性校正单元，相对于RGBγ曲线，使用非线性校正曲线进行亮度信号的灰度转换，其中，所述非线性校正曲线，在由从低亮度到中亮度的形成画面γ曲线构成的区域中，是将向所述非线性校正单元的输入直接作为所述非线性校正单元的输出的直线状，在从形成画面γ曲线到γ幂曲线的切换点以后的高亮度区域中，是为了匹配255灰度的近似直线。
7.根据权利要求4所述的图像信号处理装置，其特征在于还包括：
高通滤波器，从基于所述RGBγ校正单元的RGBγ校正前的G信号和γ校正前的RGB信号而计算出的亮度信号、或者基于γ转换输出信号而计算出的亮度信号中的任一个或者两个中获得高频信号；
亮度信号电平检测单元，输入非线性校正之后或者之前的亮度信号，检测超过所述非线性校正曲线从直线切换为被灰度压缩的曲线的变化点的部分，并在变化点以下的部分将增益值设置为0，在超过变化点的部分对应于亮度信号电平输出增益值0～1；以及
高亮度分辨率特性补偿单元，将所述高通滤波器的输出和来自所述电平检测单元的增益值相乘并生成高频补偿信号，并将所述高频补偿信号与亮度信号相加。
8.根据权利要求1所述的图像信号处理装置，其特征在于还包括：
选择输出单元，用于安装于具有静态图像拍摄模式和图像确认用的监视模式的摄像装置，
所述选择输出单元，在所述静态图像拍摄模式下，输出通过所述非线性校正单元进行灰度转换后的亮度信号，以便匹配输出位长，并在所述监视模式下，直接输出通过所述转换单元生成的亮度信号。
9.一种图像信号处理方法，用于基于被拍摄对象的摄像图像来输出规定的输出位长的亮度信号及色差信号，所述图像信号处理方法包括以下步骤：
信号输入步骤，用于输入已拍摄的被拍摄对象的图像；
放大步骤，用于对输入的图像信号的动态范围进行扩张；
计算步骤，基于对所述动态范围进行扩张后的图像信号来计算RGB信号；
RGBγ校正步骤，对所述RGB信号进行RGBγ校正，并作为位扩张大于所述输出位长的信号进行输出；
转换步骤，基于通过在所述RGBγ校正步骤中进行位扩张后的RGB信号来计算亮度信号及色差信号；以及
非线性校正步骤，进行非线性校正，以便所述计算出的亮度信号的输出电平匹配所述输出位长。
CN2007800005037A 2006-03-20 2007-03-06 图像信号处理装置及图像信号处理方法 Expired - Fee Related CN101322416B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP076914/2006 2006-03-20
JP2006076914 2006-03-20
PCT/JP2007/054357 WO2007108317A1 (ja) 2006-03-20 2007-03-06 画像信号処理装置及び画像信号処理方法

Publications (2)

Publication Number Publication Date
CN101322416A CN101322416A (zh) 2008-12-10
CN101322416B true CN101322416B (zh) 2010-10-13

Family

ID=38522350

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800005037A Expired - Fee Related CN101322416B (zh) 2006-03-20 2007-03-06 图像信号处理装置及图像信号处理方法

Country Status (7)

Country Link
US (1) US8208038B2 (zh)
EP (1) EP1998571A1 (zh)
JP (1) JP5018770B2 (zh)
KR (1) KR20080102117A (zh)
CN (1) CN101322416B (zh)
TW (1) TW200803532A (zh)
WO (1) WO2007108317A1 (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101719360B (zh) * 2008-10-09 2012-01-11 华硕电脑股份有限公司 明亮度调整法与明亮度调整模块
CN101546547B (zh) * 2009-04-23 2010-12-08 北京德为视讯科技股份有限公司 一种显示器校正方法
CN101540832B (zh) * 2009-04-24 2011-02-09 段江 图像信号的动态范围匹配方法
CN101860675B (zh) * 2010-05-21 2013-07-31 深圳市艾威视数码科技有限公司 宽动态摄像机及其实现宽动态摄像的方法
TWI479898B (zh) 2010-08-25 2015-04-01 Dolby Lab Licensing Corp 擴展影像動態範圍
CN102176247B (zh) * 2010-12-28 2013-09-18 新奥特（北京）视频技术有限公司 一种对彩色图像进行模拟曝光及冲印的方法
WO2013059116A1 (en) 2011-10-20 2013-04-25 Dolby Laboratories Licensing Corporation Method and system for video equalization
JP6092690B2 (ja) * 2012-04-11 2017-03-08 キヤノン株式会社 撮像装置およびその制御方法
JP2013223152A (ja) * 2012-04-18 2013-10-28 Clarion Co Ltd 撮像装置
CN103581634B (zh) * 2013-08-12 2015-07-22 泰邦泰平科技（北京）有限公司 图像的宽动态范围处理方法
JP6399749B2 (ja) * 2013-12-19 2018-10-03 キヤノン株式会社 撮像装置および撮像システム
JP6439418B2 (ja) * 2014-03-05 2018-12-19 ソニー株式会社 画像処理装置及び画像処理方法、並びに画像表示装置
JP6643669B2 (ja) * 2014-06-10 2020-02-12 パナソニックＩｐマネジメント株式会社 表示装置および表示方法
EP2977958A1 (en) 2014-07-22 2016-01-27 Thomson Licensing Method and apparatus for processing image data
CN104660895A (zh) * 2015-01-28 2015-05-27 四川君逸数码科技发展有限公司 一种新型sdi宽动态人脸抓拍摄像机
CA2977204C (en) * 2015-03-05 2023-04-04 Sony Corporation Photoelectric conversion of video data having a predetermined photoelectric conversion characteristic
KR102531222B1 (ko) 2015-08-25 2023-05-10 인터디지털 매디슨 페턴트 홀딩스 에스에이에스 루미넌스 존들에 기초한 역 톤 맵핑
JP6624889B2 (ja) * 2015-10-30 2019-12-25 キヤノン株式会社 映像処理装置、映像処理方法、及び映像処理プログラム
US10242435B2 (en) * 2016-09-07 2019-03-26 Gvbb Holdings S.A.R.L. High dynamic range processing
EP3598733B1 (en) * 2017-03-15 2021-10-20 Sony Group Corporation Imaging device and video signal processing method
JP7226337B2 (ja) * 2018-01-16 2023-02-21 株式会社ニコン 符号化装置、復号装置、符号化方法、復号方法、符号化プログラム、および復号プログラム
KR102546990B1 (ko) 2018-03-16 2023-06-23 엘지전자 주식회사 신호 처리 장치 및 이를 구비하는 영상표시장치
WO2020188669A1 (ja) * 2019-03-15 2020-09-24 株式会社ニコン 符号化装置、復号装置、符号化方法、復号方法、符号化プログラム、および復号プログラム
JP7340772B2 (ja) 2019-04-02 2023-09-08 パナソニックＩｐマネジメント株式会社 撮像装置、および、画像調整方法
CN113472997B (zh) * 2020-03-31 2022-11-04 北京小米移动软件有限公司 图像处理方法及装置、移动终端及存储介质
CN111639588A (zh) * 2020-05-28 2020-09-08 深圳壹账通智能科技有限公司 图像效果调整方法、装置、计算机系统及可读存储介质
CN112218049B (zh) * 2020-09-29 2022-10-11 北京环境特性研究所 一种视频监控装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001189890A (ja) * 1999-12-28 2001-07-10 Fuji Photo Film Co Ltd ディジタルカメラ
CN1388513A (zh) * 2001-05-24 2003-01-01 松下电器产业株式会社 显示方法及显示装置
JP2004363726A (ja) * 2003-06-02 2004-12-24 Fuji Photo Film Co Ltd 画像処理方法及びデジタルカメラ

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0810940B2 (ja) * 1987-01-09 1996-01-31 ソニー株式会社 輝度信号形成回路
US6141047A (en) * 1993-12-22 2000-10-31 Canon Kabushiki Kaisha Image signal processing apparatus and image pickup device
JP4402268B2 (ja) 2000-07-14 2010-01-20 オリンパス株式会社 撮像装置
JP2003284084A (ja) * 2002-03-20 2003-10-03 Sony Corp 画像処理装置および方法、並びに画像処理装置の製造方法
JP4022862B2 (ja) * 2002-06-11 2007-12-19 ソニー株式会社 固体撮像装置及びその制御方法
JP2005538593A (ja) * 2002-09-09 2005-12-15 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 信号復元方法、撮像装置、コンピュータプログラムプロダクト
JP4767525B2 (ja) 2004-11-16 2011-09-07 オリンパス株式会社 撮像システム及び撮像処理プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001189890A (ja) * 1999-12-28 2001-07-10 Fuji Photo Film Co Ltd ディジタルカメラ
CN1388513A (zh) * 2001-05-24 2003-01-01 松下电器产业株式会社 显示方法及显示装置
JP2004363726A (ja) * 2003-06-02 2004-12-24 Fuji Photo Film Co Ltd 画像処理方法及びデジタルカメラ

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CN 1388513 A,全文.

Also Published As

Publication number Publication date
US8208038B2 (en) 2012-06-26
WO2007108317A1 (ja) 2007-09-27
JP5018770B2 (ja) 2012-09-05
JPWO2007108317A1 (ja) 2009-08-06
TW200803532A (en) 2008-01-01
KR20080102117A (ko) 2008-11-24
US20090066816A1 (en) 2009-03-12
CN101322416A (zh) 2008-12-10
EP1998571A1 (en) 2008-12-03

Similar Documents

Publication Publication Date Title
CN101322416B (zh) 图像信号处理装置及图像信号处理方法
US7057653B1 (en) Apparatus capable of image capturing
US7358988B1 (en) Image signal processor for performing image processing appropriate for an output device and method therefor
US8081239B2 (en) Image processing apparatus and image processing method
JP4810473B2 (ja) 画像処理装置および画像処理プログラム
US20060215908A1 (en) Image pickup apparatus and image processing method
KR20110004791A (ko) 화상 처리 장치 및 컴퓨터가 판독 가능한 기록 매체
JP2009153013A (ja) 撮像装置、色ノイズ低減方法および色ノイズ低減プログラム
US20060245008A1 (en) Image processing apparatus, image processing method, electronic camera, and scanner
JP5041886B2 (ja) 画像処理装置、画像処理プログラム、画像処理方法
JP2007094742A (ja) 画像信号処理装置及び画像信号処理プログラム
JP2003304549A (ja) カメラ及び画像信号処理システム
US20100295977A1 (en) Image processor and recording medium
JP2009027619A (ja) 映像処理装置および映像処理プログラム
US7327876B2 (en) Image processing device
JP2005142832A (ja) 輪郭補正回路及び撮像装置
US9635331B2 (en) Image processing apparatus that performs tone correction and edge enhancement, control method therefor, and storage medium
JP2007288573A (ja) クロマサプレス処理装置
JP4767525B2 (ja) 撮像システム及び撮像処理プログラム
JP2001189945A (ja) 撮像装置
US20100165149A1 (en) Opponent Color Detail Enhancement for Saturated Colors
JP2004304635A (ja) 画像処理方法及び画像処理装置
JP2006333113A (ja) 撮像装置
JP2004064227A (ja) 映像信号処理装置
JP3865127B2 (ja) 信号処理装置および方法、記録媒体、並びにプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20101013

Termination date: 20160306