[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN102396235B - 产生具有减轻的移动模糊的全色图像 - Google Patents

产生具有减轻的移动模糊的全色图像 Download PDF

Info

Publication number
CN102396235B
CN102396235B CN201080017071.2A CN201080017071A CN102396235B CN 102396235 B CN102396235 B CN 102396235B CN 201080017071 A CN201080017071 A CN 201080017071A CN 102396235 B CN102396235 B CN 102396235B
Authority
CN
China
Prior art keywords
image
interpolation
panchromatic
filter array
optical filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201080017071.2A
Other languages
English (en)
Other versions
CN102396235A (zh
Inventor
M·库玛
J·E·小亚当斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omnivision Technologies Inc
Original Assignee
Omnivision Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omnivision Technologies Inc filed Critical Omnivision Technologies Inc
Publication of CN102396235A publication Critical patent/CN102396235A/zh
Application granted granted Critical
Publication of CN102396235B publication Critical patent/CN102396235B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computing Systems (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Abstract

本发明揭示一种使用具有多个彩色通道及一个全色通道的彩色滤光片阵列图像来形成全色输出图像的方法，该方法包括：捕捉具有多个彩色通道及一个全色通道的彩色滤光片阵列图像，其中全色通道使用与彩色通道的至少一个者不同的曝光时间来捕捉；从彩色滤光片阵列图像计算经内插彩色图像及经内插全色图像；从经内插彩色图像计算变换关系；及使用经内插全色图像及函数关系形成全色输出图像。

Description

产生具有减轻的移动模糊的全色图像
发明的技术领域
本发明涉及从具有若干彩色通道及一个全色通道的彩色滤光片阵列图像产生具有减轻的移动模糊的全色图像。
背景技术
电子成像系统依靠透镜系统在电子图像传感器上形成图像，以产生视觉图像的电子表示。这种电子图像传感器的示例包含电荷耦合器件(CCD)图像传感器及有源像素传感器(APS)器件(APS器件因在互补金氧半导体工艺中制造它们的能力而经常被称为CMOS传感器)。传感器包括个别图像元素传感器或像素的二维阵列。如Bayer在1976年7月20日获授权的共同授让的美国专利No.3,971,065中所描述的，各像素通常都设置有红色、绿色或蓝色滤光片，使得可产生彩色图像。无论采用哪种电子技术(例如CCD或CMOS)，像素都用作为桶(bucket)，其中在电子成像系统捕捉图像期间累积与撞击像素的光的量成正比的光电子。
并非所有进入电子成像系统的前光学元件的光都会撞击像素。许多光在通过电子成像系统的光学路径时损失。通常，约5％的光由于透镜反射及霾而损失且约60％的光由于彩色滤光片阵列而损失。此外，一些光撞击非光敏感的像素区域。为了采集进行正确曝光所需要的光的量，电子成像传感器采集光持续称为曝光时间的一时间间隔。基于对要成像场景的亮度测量，通常采用自动曝光控制来判定将产生具有有效亮度的图像的适当曝光时间。场景越暗，电子成像系统采集光以进行正确曝光所需要的时间量越大。然而，众所周知，较长的曝光可导致模糊图像。此模糊可为物体在场景内移动的结果。当图像捕捉设备在捕捉期间相对于场景移动(例如由于相机晃动)时，亦可产生模糊。
一种减轻模糊的方法是缩短曝光时间。然而，此方法使电子图像传感器在图像捕捉期间曝光不足，故产生暗图像。可将模拟或数字增益施加至图像信号以使这些暗图像变亮，但是本领域技术人员将理解这将导致噪声图像。
另一种减轻模糊的方法是缩短曝光时间且保留通过光学路径的更多光并将其引导至电子图像传感器的像素。此方法可产生具有减轻的模糊及可接受的噪声电平的图像。然而，电子成像系统的当前产业趋势是：使成像系统变得更小且更便宜。因此，可采集更多光且保留通过光学元件的更多光的具有大孔径的高级光学元件因此是不可行的。
另一种减轻模糊的方法是缩短曝光时间且用摄影闪光灯补充可用光。摄影闪光灯产生持续几分之一秒的强光通量且曝光时间设定为包含该闪光时间。因为摄影闪光灯提供强照明，故可将曝光时间设定为比没有闪光灯时明显更短的时间间隔。因此，减轻曝光期间的模糊。然而，闪光摄影术仅在闪光灯与物体之间的距离相对小的情况下才可行。另外，闪光灯给图像捕捉器件增加额外成本及重量。
2002年8月27日授予Tull的美国专利No.6,441,848描述一种具有电子图像传感器的数码相机，该电子图像传感器藉由监测各像素收集电子的速率来移除物体移动模糊。若光撞击像素的速率变化，则像素正在观看的图像的亮度呈现为在改变。当内建于传感器阵列中的电路检测到图像亮度正在改变时，保留所收集的电荷量且记录检测到亮度改变的时间。藉由线性外推像素值而将在曝光停止处的各像素值调整为合适值，使得该像素值对应于整个图像的动态范围。此方法的一个缺点为当曝光开始时已处于移动中的物体的外推像素值高度不确定。如由传感器所见到的，图像亮度从不具有恒定值，且因此这些外推像素值的不确定性导致具有移动伪像的图像。另一缺点为其使用专门硬件，使得其不可与用于当前商用相机中的常规电子图像传感器一起使用。
另一种减轻模糊的方法是捕捉两个图像，一个使用短曝光时间且一个使用长曝光时间。短曝光时间被选择成产生具有噪声但相对没有移动模糊的图像。长曝光时间被选择成产生几乎没有噪声但可具有明显移动模糊的图像。使用图像处理算法来将两个捕捉组合为一个最终输出图像。这种方法在美国专利No.7,239,342、美国专利申请公开No.2006/0017837、美国专利申请公开No.2006/0187308及美国专利申请公开No.2007/0223831中描述。这些方法的缺点包含对存储多个图像的附加缓冲存储器、处理多个图像的附加复杂性的需要及解决物体移动模糊的困难。
另一种减轻模糊的方法是缩短曝光时间且保留通过彩色滤光片阵列的更多光。对于基于硅的图像传感器，像素组件自身大体上对可见光敏感，从而允许未经滤光的像素适合捕捉单色图像。为捕捉彩色图像，通常在像素图案上制造二维滤光片图案，其中使用不同滤光材料来使个别像素仅对可见光谱的一部分敏感。此种滤光片图案的示例为众所周知的拜耳(Bayer)彩色滤光片阵列图案，如美国专利No.3,971,065中所述。拜耳彩色滤光片阵列具有在典型条件下获得全色图像的优点，但已发现此解决方案具有其缺点。虽然需要滤光片来提供窄频带光谱响应，但是对入射光的任何滤光趋于减少到达各像素的光的量，藉此减小各像素的有效光敏感性且降低像素响应速度。
作为用于改良在变化光条件下的图像捕捉且用于改良成像传感器的整体敏感性的解决方案，已经揭示熟知的拜耳图案的变体。举例而言，Hamilton等人的题为“Capturing Images Under Varying Lighting Conditions”(在变化照明条件下捕捉图像)的共同授让的美国专利申请公开No.2007/0046807与Compton等人的题为“Image Sensor with Improved Light Sensitivity”(具有改良光敏感性的图像传感器)的美国专利申请公开No.2007/0024931两者描述组合以某种方式在空间上交错的彩色滤光片与全色滤光片元件的替代传感器配置。在此类解决方案的情况下，图像传感器的某部分检测色彩，其他全色部分被最优化以针对改良的动态范围及敏感性检测横跨可见频带的光。因此，这些解决方案提供像素图案，一些像素具有彩色滤光片(提供窄频带光谱响应)且一些像素没有彩色滤光片(未经滤光的“全色”像素或经滤光以提供宽频带光谱响应的像素)。然而，因为这些彩色像素仍遭受移动模糊，故此解决方案并不足以允许在低光条件下捕捉无移动模糊的高质量图像。
另一种减轻模糊且在低光场景中捕捉图像的方法(在天体摄影术及远端感测领域中已知)是捕捉两个图像：具有高空间分辨率的全色图像与具有低空间分辨率的多谱图像。这些图像经合并以产生具有高空间分辨率的多谱图像。这些方法在美国专利No.7,340,099、美国专利No.6,011,875及美国专利No.6,097,835中描述。这种方法的缺点包含对存储多个图像的附加缓冲存储器的需要及解决物体移动模糊的困难。
可用于减轻移动模糊的另一种方法是使用图像稳定系统，该图像稳定系统具有可移动的透镜系统或特殊成像器定位硬件。这些系统被设计成使图像保持在传感器上的稳定位置中。然而，这些系统具有复杂且昂贵的缺点。此外，它们未解决场景中的物体正在以不同速度移动的情况。
因此，存在以下需要：在不使用摄影闪光灯的情况下，从具有彩色及全色像素的彩色滤光片阵列图像产生具有减轻的移动模糊的改良彩色图像而不增加图像噪声且无显著的附加成本、复杂性或存储器需求。
发明内容
根据本发明，提供了一种使用具有多个彩色通道及一个全色通道的彩色滤光片阵列图像来形成全色输出图像的方法，该方法包括一个或多个处理器，一个或多个处理器用于提供下列处理：
a)使用彩色滤光片阵列图像传感器捕捉彩色滤光片阵列图像，该彩色滤光片阵列图像具有多个彩色通道及一个全色通道，其中全色通道使用与这些彩色通道的至少之一者不同的曝光时间来捕捉；
b)从彩色滤光片阵列图像计算经内插彩色图像及经内插全色图像；
c)从经内插彩色图像产生合成全色图像；
d)判定合成全色图像与经内插彩色图像之间的变换关系；及
e)藉由使用该变换关系处理经内插全色图像来形成全色输出图像。
本发明的一个优点在于：可产生具有减轻的模糊的改良的全分辨率彩色图像而无需使用摄影闪光灯或长曝光时间来合适地曝光单一图像。
本发明的另一个优点在于：可产生具有减轻的图像捕捉设备引起的模糊的全分辨率彩色图像而无需具有可移动透镜系统或特殊成像器定位硬件的昂贵图像稳定系统。
本发明的再一个优点在于：可产生具有减轻的模糊的全分辨率彩色图像而无需增加用于存储多个图像的缓冲存储器。
从对较佳实施例的下列详细描述及所附权利要求的查阅并且参照附图，将更清楚地理解并了解本发明的这种及其他方面、目的、特征及优点。
附图简单说明
图1是用于实现本发明的数码相机的框图；
图2是本发明的较佳实施例的框图；
图3是可用于本发明的彩色滤光片阵列图案的视图；
图4是展示如何可将邻近行中的像素像元合并在一起从而共用相同浮动扩散组件的示意图；
图5是根据一可能的像元合并策略的来自图像传感器的一部分的像素读出的视图；
图6提供红色、绿色及蓝色像素的代表性光谱量子效率曲线，以及较宽的光谱全色量子效率，全部乘以红外截止滤光片的透射特性；及
图7是更详细地展示图2的步骤214的框图。
本发明的具体描述
在下列描述中，将就通常实现为软件程序而言描述本发明的较佳实施例。本领域技术人员将容易理解亦可在硬件中构建此种软件的等效物。因为图像操纵算法及系统是众所周知的，所以本描述将具体涉及形成根据本发明的系统及方法的部分或更直接地与根据本发明的系统及方法协作的算法及系统。本文未具体展示或描述的这些算法及系统的其他方面及用于产生和以其它方式处理所涉及的图像信号的硬件或软件可选自本领域中已知的这种系统、算法、组件及元件。在下列材料中的如根据本发明所描述的系统的情况下，对本发明的实现有用的在本文中未具体展示、建议或描述的软件是常规的且在本领域的公知技术范围内。
此外，如本文所使用地，可将用于执行本发明的方法的计算机程序存储在计算机可读存储介质中，该介质可包含(例如)诸如磁盘(诸如硬盘或软盘)或磁带的磁性存储介质；诸如光盘、光带或机器可读条码的光学存储介质；诸如随机存取存储器(RAM)或只读存储器(ROM)的固态电子存储器件或用于存储计算机程序的任何其他实体器件或介质。
因为使用成像器件及用于信号捕捉和校正且用于曝光控制的相关电路的数码相机是众所周知的，故本描述将具体涉及构成根据本发明的方法及设备的部分或更直接地与根据本发明的方法及设备协作的元件。本文未具体展示或描述的元件选自本领域中已知的元件。要描述的实施例的某些方面以软件提供。在下列材料中的如根据本发明所展示并描述的系统的情况下，对于本发明的实现有用的在本文中未具体展示、描述或建议的软件是常规的且在本领域中的公知技术范围内。
现在转到图1，展示体现本发明的图像捕捉设备的框图。在此示例中，图像捕捉设备被示为数码相机。然而，虽然现在将解释数码相机，但是本发明显然亦适用于其他类型的图像捕捉设备。在所揭示的相机中，将来自主体场景的光10输入成像台11，其中藉由透镜12聚焦光以在固态彩色滤光片阵列图像传感器20上形成图像。彩色滤光片阵列图像传感器20将入射光转换为各图像元素(像素)的电信号。较佳实施例的彩色滤光片阵列图像传感器20为电荷耦合器件(CCD)类型或有源像素传感器(APS)类型。(APS设备因在互补金氧半导体工艺中制造它们的能力而经常被称为CMOS传感器)。假若具有二维像素阵列的其他类型图像传感器采用本发明的图案，则亦可使用具有二维像素阵列的其他类型图像传感器。用于本发明中的彩色滤光片阵列图像传感器20包括彩色及全色像素的二维阵列，如在描述图1之后将在本说明书的下文中变得明显。
到达彩色滤光片阵列图像传感器20的光的量通过改变孔径的虹膜块14及中性密度(ND)滤光片块13调节，该中性密度(ND)滤光片块13包含插入光学路径中的一个或多个ND滤光片。快门18处于开放的时间亦调节整体的光能级。曝光控制器40对如由亮度传感器块16所计量的在场景中可用的光的量作出响应，并控制这些调节功能的全部三者。
特定相机配置的此描述将为本领域技术人员所熟知，且将显而易见的是，存在许多变体及附加特征。例如，可添加自动聚焦系统，或透镜可为可拆卸且可互换。应了解，本发明可应用于任意类型数码相机，其中替代的组件提供类似的功能。例如，数码相机可为相对简单的对准即拍数码相机，其中快门18为取代较复杂的聚焦平面配置的相对简单的可移动叶片快门或类似物。亦可使用包含于非相机设备(诸如移动电话及机动车)中的成像组件实践本发明。
模拟信号处理器22处理来自彩色滤光片阵列图像传感器20的模拟信号并将其施加至模数(A/D)转换器24。时序产生器26产生各种时钟信号来选择行及像素，并使模拟信号处理器22与A/D转换器24的操作同步。图像传感器级28包含彩色滤光片阵列图像传感器20、模拟信号处理器22、A/D转换器24及时序产生器26。图像传感器台28的组件可为单独制造的集成电路，或可将它们如通常处置CMOS图像传感器地制造为单一集成电路。将来自A/D转换器24的所得数字像素值流存储在与数字信号处理器(DSP)36相关联的数字信号处理器(DSP)存储器32中。
在此实施例中，DSP 36是除系统控制器50及曝光控制器40以外的三个处理器或控制器之一。虽然相机功能控制在多个控制器及处理器之间的划分是典型的，但是可以各种方式组合这些控制器或处理器而不影响相机的功能操作及本发明的应用。这些控制器或处理器可包含一个或多个数字信号处理器设备、微控制器、可编程逻辑器件或其他数字逻辑电路。虽然已经描述这种控制器或处理器的组合，但是应为显而易见的是，一个控制器或处理器可被指派来执行全部所需的功能。所有这些变更可执行相同的功能且落在本发明的范畴内，且用语“处理台”将视需要用于将全部此功能涵盖于一个短语内，例如在图1中的处理台38中。
在所绘示的实施例中，DSP 36根据永久地存储在程序存储器54中并在图像捕捉期间复制到DSP存储器32以供执行的软件程序操纵DSP存储器32中的数字图像数据。DSP 36执行实践图18中所示的图像处理所需的软件。DSP存储器32可为任意类型的随机存取存储器，诸如SDRAM。包含地址及数据信号的路径的总线30将DSP 36连接至其相关的DSP存储器32、A/D转换器24及其他相关设备。
系统控制器50基于存储在程序存储器54中的软件程序控制相机的整体操作，程序存储器54可包含闪存EEPROM或其他非易失性存储器。此存储器亦可用于存储图像传感器校准数据、用户设定选择及在相机关闭时必须保留的其他数据。藉由引导曝光控制器40来操作如先前所述的透镜12、ND滤光器块13、虹膜块14及快门18，引导时序产生器26来操作彩色滤光片阵列图像传感器20及相关联元件，且引导DSP 36来处理所捕捉的图像数据，系统控制器50控制图像捕捉序列。在捕捉并处理图像之后，经由主机接口57将存储在DSP存储器32中的最终图像文件传送至主机计算机，将其存储在可去除存储卡64或其他存储设备上，并为用户显示在图像显示器88上。
系统控制器总线52包含地址、数据及控制信号的路径，并将系统控制器50连接至DSP 36、程序存储器54、系统存储器56、主机接口57、存储卡接口60及其他相关设备。主机接口57提供至个人计算机(PC)或其他主机计算机的高速连接以传送用于显示、存储、操纵或打印的图像数据。此接口可为IEEE1394或USB2.0串行接口或任意其他适当的数字接口。存储卡64通常为插入存储卡插口62并经由存储卡接口60连接至系统控制器50的紧凑型闪存(CF)卡。可利用的其他类型存储器包含而不限于PC卡、多媒体卡(MMC)或安全数字(SD)卡。
经处理的图像被复制到系统存储器56中的显示缓冲器，并经由视频编码器80连续地读出以产生视频信号。此信号从相机直接输出以显示在外部监视器上，或由显示控制器82处理并呈现在图像显示器88上。此显示器通常为有源矩阵彩色液晶显示器(LCD)，但是亦可使用其他类型显示器。
包含取景显示器70、曝光显示器72、状态显示器76、图像显示器88及用户输入74的全部或任意组合的用户接口68由在曝光控制器40及系统控制器50上执行的软件程序的组合控制。用户输入74通常包含按钮、摇臂开关、操纵杆、旋转式拨号盘或触控屏幕的某一组合。曝光控制器40操作光计量、曝光模式、自动聚焦及其他曝光功能。系统控制器50管理呈现在这些显示器的一个或多个上(例如呈现在图像显示器88上)的图形用户接口(GUI)。该GUI通常包含用于做各种选项选择的菜单及用于检查所捕捉图像的查阅模式。
曝光控制器40接受选择曝光模式、透镜孔径、曝光时间(快门速度)及曝光指数或ISO感光速率的用户输入，并相应地引导透镜12及快门18进行后续的捕捉。亮度传感器块16用于测量场景的亮度并提供在手动地设定ISO感光速率、孔径及快门速度时供用户参照的曝光计量功能。在此情况下，随着用户改变一个或多个设定，呈现在取景显示器70上的光计量指示符告诉用户图像将曝光过度或曝光不足到什么程度。在自动曝光模式下，用户改变一个设定，且曝光控制器40自动地改变另一设定以维持正确的曝光，例如对于给定的ISO感光速率，当用户减小透镜孔径时，曝光控制器40自动地增加曝光时间以维持相同的整体曝光。
ISO感光速率为静态数码相机的重要属性。曝光时间、透镜孔径、透镜透射率、场景照明的能级及光谱分散及场景反射率决定静态数码相机的曝光量级。当使用不充分的曝光从静态数码相机获得图像时，藉由增加电子或数字增益可大体上维持合适的色调重现，但是所得图像经常会含有不可接受的噪声量。随着曝光增加，增益减小，且因此可通常将图像噪声减小至可接受量级。若过分增加曝光，则在图像的明亮区域中的所得信号可超过图像传感器或相机信号处理的最大信号电平容量。这可导致修剪图像高亮以形成均匀明亮的区域，或“起晕”至图像的周围区域。因此，重要的是引导用户设定合适曝光。欲将ISO感光速率用作为这样的引导。为了容易被摄影师所理解，静态数码相机的ISO感光速率应直接关于摄影胶片相机的ISO感光速率。例如，若静态数码相机具有ISO 200的ISO感光速率，则对于ISO 200额定胶片/处理系统，相同的曝光时间及孔径应为合适。
欲使ISO感光速率与胶片ISO感光速率协调。然而，电子成像系统与排除精确等效性的基于胶片的成像系统之间存在差异。静态数码相机可包含可变增益，且可在已经捕捉图像数据之后提供数字处理，从而使色调重现能遍及相机曝光范围实现。因此，静态数码相机可能具有一感光速率范围。此范围被定义为ISO感光速率宽容度。为防止混淆，将单一值指定为固有的ISO感光速率，而ISO感光速率宽容度上限及下限指示感光速率范围，亦即包含与固有的ISO感光速率不同的有效感光速率的范围。将此铭记在心，固有的ISO感光速率为为产生指定的相机输出信号特性而从在数字静态相机的聚焦平面处提供的曝光计算的数字值。该固有感光速率通常为产生对于正常场景的给定相机系统的峰值图像质量的曝光指数值，其中曝光指数为与提供至图像传感器的曝光成反比例的数字值。
数码相机的以上描述将为本领域技术人员所熟知。将显而易见的是，此实施例存在许多变体，这些变体是可能的且经选择以降低成本、添加特征或改良相机的性能。下列描述将详细地揭示根据本发明的用于捕捉图像的相机的操作。虽然此描述参照数码相机，但是应了解本发明适用于与具有图像传感器(其具有彩色及全色像素)的任意类型的图像捕捉设备一起使用。
图1中所示的彩色滤光片阵列图像传感器20通常包含在硅基板上制造的感光像素的二维阵列，该感光像素的二维阵列提供将在各像素处的入射光转换为所测量的电信号的方式。当彩色滤光片阵列图像传感器20曝露于光时，自由电子得以产生且在各像素处的电子结构内被捕捉。捕捉这种自由电子持续某一时间周期，且然后测量所捕捉的电子的数量，或测量自由电子的产生速率可测量在各像素处的光能级。在前一种情况下，所累积的电荷移出该像素阵列，移至电荷转电压测量电路(如在电荷耦合器件(CCD)中)，或接近各像素的区域可含有电荷转电压测量电路的元件(如在有源像素传感器(APS或CMOS传感器)中)。
在下列描述中无论何时引用图像传感器，应将其理解为表示来自图1的彩色滤光片阵列图像传感器20。应进一步了解，本说明书中所揭示的本发明的图像传感器架构及像素图案的全部示例及它们的等效物用于彩色滤光片阵列图像传感器20。
在图像传感器的背景下，像素(“图像元素”的缩写)指代离散的光感测区域及与该光感测区域相关联的电荷移位或电荷测量电路。在数字彩色图像的背景下，术语像素通常指代在图像中具有相关联色彩值的特定位置。
图2是本发明的较佳实施例的高级示图，其表示用于执行本发明步骤的处理器。彩色滤光片阵列图像传感器20(图1)捕捉彩色滤光片阵列图像，该彩色滤光片阵列图像含有一个全色通道202及对应于至少两个彩色光响应的彩色通道204。彩色滤光片阵列可含有红色、绿色、蓝色及全色像素，但是诸如青色、紫红色、黄色及全色的其他通道组合是可能的。尤其重要的是包含一个全色通道。以使得全色通道曝光于光持续与这些彩色通道的至少之一不同的时间长度的方式捕捉彩色滤光片阵列图像。全色通道大体上将具有与这些彩色通道的每一个不同的曝光时间。
彩色滤光片阵列(CFA)内插块206从数码相机(图1)所捕捉的彩色滤光片阵列图像产生经内插全色图像208及经内插彩色图像210。经内插彩色图像210用于计算合成全色图像212。在较佳实施例中，合成全色图像212被计算为经内插彩色图像210的红色、绿色及蓝色通道的经加权线性组合。块210所产生的经内插彩色图像的这些红色、绿色及蓝色通道的权重被选择成使得经计算的合成全色图像212与经内插全色图像208相当。
在最终步骤中，经内插全色图像208、经内插彩色图像210及合成全色图像212用于使用形成改良图像块214而产生具有减轻的移动模糊的改良的全色输出图像216。
现在将更详细地描述图2中所概述的各个步骤。最初，数码相机(见图1)捕捉彩色滤光片阵列图像。图3绘示较佳实施例的示例彩色滤光片阵列(CFA)图案301。在此示例中，这些像素的大约一半是全色像素302，而另一半划分为红色像素304、绿色像素306及蓝色像素308。
这些全色像素的曝光时间比彩色像素的曝光时间短，藉此防止这些全色像素的过度的移动模糊，同时亦允许在充分曝光情况下捕捉色彩数据以减少彩色噪声伪像。可藉由调整对于不同类型像素累积电荷的时间量而独立地控制全色像素及彩色像素的曝光时间。
如图4中所示，在图像传感器的读出期间各种像素像元合并方案是可能的。在图4中，展示图像传感器的两个部分行：图像传感器401的第一部分行及图像传感器402的第二部分行。在此实施例中，传感器阵列下面的读出电路使用浮动扩散404，该浮动扩散404一次可切换地连接到一个或多个周围像素。浮动扩散404的实现及使用为数字图像采集技术领域技术人员所熟知。图4展示常规配置，其中各浮动扩散404服务四个周围像素(在一示例中该四个周围像素被示为像素四合体406)。
可以许多组合的任一组合将像素信号切换至浮动扩散404。在第一读出组合408中，四合体406中的各像素将其电荷单独传送至浮动扩散404且由此被个别地读取。在第二读出组合410中，全色像素P被像元合并，亦即这些全色像素P藉由同时将它们所存储的电荷清空至浮动扩散404而共用浮动扩散404；类似地，四合体中的两个彩色(G)像素被像元合并，从而同时将它们的信号切换至浮动扩散404。在第三读出组合412中，全色像素P未被像元合并，但是被单独读取；而这些彩色像素(G)被像元合并。
在本发明的较佳实施例中，全色通道202(图2)的这些全色像素并未被像元合并，而彩色通道204(图2)的彩色像素被像元合并(如在第三读出组合412中)，从而引起图5中所绘示的读出。在图5中，这些全色像素502占有棋盘图案，而这些彩色像素504共同形成低分辨率拜耳图案。
CFA内插块206(图2)使用含有一个全色通道202及多个彩色通道204的彩色滤光片阵列图像产生经内插全色图像208及经内插彩色图像210。用于执行CFA内插的方法是本领域中公知的。举例而言，可使用在美国专利申请公开No.2007/0024934中所描述的CFA内插法，该申请以引用的方式并入本文中。
在CFA内插块206已经产生经内插彩色图像210之后，经内插彩色图像210被用于计算合成全色图像212。用于计算合成全色图像212的运算简便计算藉由L＝R+2G+B给出，其中L是合成全色图像212的像素值，且R、G、B分别为经内插彩色图像210(图2)的红色、绿色及蓝色通道的像素值。在较佳实施例中，如图6中所示，测量这些红色、绿色、蓝色及全色像素的光谱响应，且合成全色图像212被计算为红色、绿色及蓝色的经加权线性组合(L＝a1 R+a2 G+a3 B)，该经加权线性组合给出与全色曲线的最佳拟合。
参照图6的曲线图，其展示在典型相机应用中具有红色、绿色及蓝色滤光片的像素的相对光谱敏感性。图6中的x轴表示以纳米为单位的光波长，波长大约从近紫外线横跨至近红外线，且y轴表示效率(标准化的)。在图6中，带宽滤光片曲线610表示用于阻挡红外光及紫外光到达图像传感器的典型带宽滤光片的光谱透射特性。因为用于图像传感器的彩色滤光片通常不阻挡红外光，故需要这种滤光片，因此这些像素不能区分红外光与在相关联彩色滤光片的通带内的光。带宽滤光片曲线610所展示的红外光阻挡特性由此防止红外光破坏可见光信号。应用红色、绿色及蓝色滤光片的典型硅传感器的光谱量子效率(亦即被捕捉并被转换为可测量电信号的入射光子的比例)被乘以带宽滤光片曲线610所表示的红外阻挡滤光片的光谱透射特性以产生由对于红色通道的红色光响应曲线614、对于绿色通道的绿色光响应曲线616及对于蓝色通道的蓝色光响应曲线618所表示的经组合的系统量子效率。应从这些曲线了解，各色彩的光响应仅对可见光谱的一部分敏感。与之相比，未应用彩色滤光片(但是包含红外阻挡滤光片特性)的相同硅传感器的光响应由对于全色通道的全色光响应曲线612所展示。藉由比较彩色光响应曲线614、616及618与全色光响应曲线612，显然全色光子响应可比这些彩色光子响应的任一个对宽光谱光灵敏二倍至四倍。
在形成改良图像块214(图2)中，经内插全色图像208、经内插彩色图像210及合成全色图像212用于产生具有减轻的移动模糊的改良的全色输出图像。
图7是根据本发明的较佳实施例的来自图2的形成改良图像块214的更详细视图。变换设计步骤702使用经内插彩色图像210(图2)及合成全色图像212(图2)，并产生红色变换704、绿色变换706及蓝色变换708。彩色图像重新构建步骤710使用经内插全色图像208(图2)及在步骤702处所产生的红色、绿色及蓝色变换来产生具有减轻的移动模糊的改良的全色输出图像216(图2)。
在图7中，可以本领域技术人员所知的任一合适方式执行变换设计步骤702。在本发明的较佳实施例中，变换设计步骤702所产生的变换是频域滤光片。使用以下方程(1)至(3)描述形成要用于红色变换704、绿色变换706及蓝色变换708的频域滤光片的一种方法：
H R = F R F synthetic pan - - - ( 1 )
H G = F G F synthetic pan - - - ( 2 )
H B = F B F synthetic pan - - - ( 3 )
其中Fsynthetic pan是合成全色图像212(图2)的傅立叶变换；FR、FG及FB分别是经内插彩色图像210(图2)的红色、绿色及蓝色通道的傅立叶变换；且HR、HG及HB分别是红色、绿色及蓝色变换的频域滤光片。本领域技术人员将理解，亦可使用其他滤光片设计技术来构建这些频域滤光片。
在图7中，可以本领域技术人员所知的任一合适方式执行彩色图像重新构建步骤710。使用以下方程(4)至(6)描述用于执行根据本发明的较佳实施例的彩色图像重新构建步骤710的一种方法：
RNew＝F-1(HRFpan)            (4)
GNew＝F-1(HGFpan)            (5)
BNew＝F-1(HBFpan)            (6)
其中Fpan是经内插全色图像208(图2)的傅立叶变换值；F-1(●)是反傅立叶变换算子；且RNew、BNew及GNew分别是改良的全色输出图像216(图2)的红色、绿色及蓝色通道值。
在本发明的替代实施例中，可将经内插彩色图像210(图2)、合成全色图像212(图2)及经内插全色图像208(图2)细分为若干图像块，且对各图像块执行使用方程(1)至(6)所描述的步骤。此方法具有计算更快且更适合于受约束的计算环境的优点。
可在各种用户背景及环境中采用如在本发明的较佳实施例中所揭示的用于计算具有减轻的移动模糊的改良的全色输出图像的算法。示例性背景及环境包含但不限于：批发数字相片洗印(其涉及示例性处理步骤或阶段，诸如数字图像提交用于批量实现、数字处理、打印输出)、零售数字相片洗印(数字图像提交用于小量实现、数字处理、打印输出)、本地打印(本地数字图像输入、数字处理、打印输出)、桌面软件(将算法应用于数字图像以使它们更佳或甚至仅改变它们的软件)、数字实现(数字图像输入-来自介质或经由web、数字处理、数字图像输出-介质上，经由因特网的数字形式)、独立式终端机服务台(数字图像输入、数字处理、打印或数字介质输出)、移动动设备(例如可用作为处理单元、显示单元或给出处理指令的单元的PDA或蜂窝式电话)及用作为经由万维网所提供的服务。
在各情况下，用于计算具有减轻的移动模糊的改良的全色输出图像的算法可独立，或可为较大的系统解决方案的组件。此外，与算法的接口(例如，输入、数字处理、对用户的显示(若需要)、用户请求或处理指令的输入(若需要)、输出)可各自处在相同或不同的设备及物理位置上，且这些设备与位置之间的通信可以经由公共或私用网络连接或是基于介质的通信。在与本发明的以上揭示内容一致的情况下，这些算法自身可为完全自动，可具有用户输入(完全或部分手动)，可具有用户或操作者查阅以接受/拒绝结果，或可通过元数据辅助(元数据可由用户提供，藉由测量设备(例如在相机中)提供，或藉由算法确定)。此外，算法可与各种工作流程用户接口方案通过接口连接。
根据本发明在本文中揭示的对具有减轻的移动模糊算法的改良全色输出图像的计算可具有内部组件，这些内部组件利用各种数据检测及缩减技术(例如，面部检测、眼睛检测、皮肤检测、闪光检测)。
部件列表
10 来自物体场景的光
11 成像台
12 透镜
13 中性密度(ND)滤光片块
14 虹膜块
16 亮度传感器块
18 快门
20 彩色滤光片阵列影像传感器
22 模拟信号处理器
24 模数(A/D)转换器
26 时序产生器
28 图像传感器级
30 总线
32 数字信号处理器(DSP)存储器
36 数字信号处理器(DSP)
38 处理台
40 曝光控制器
50 系统控制器
52 系统控制器总线
54 程序存储器
56 系统存储器
57 主机接口
60 存储卡接口
62 存储卡插口
64 存储卡
68 用户接口
70 取景显示器
72 曝光显示器
74 用户输入
76 状态显示器
80 视频编码器
82 显示控制器
88 图像显示器
202 全色通道
204 彩色通道
206 彩色滤光片阵列(CFA)内插块
208 经内插全色图像
210 经内插彩色图像
212 合成全色图像
214 形成改良的图像块
216 改良的全彩色输出图像
301 彩色滤光片阵列(CFA)图案
302 全色像素
304 红色像素
306 绿色像素
308 蓝色像素
401 图像传感器的第一部分行
402 图像传感器的第二部分行
404 浮动扩散
406 像素四合体
408 第一读出组合
410 第二读出组合
412 第三读出组合
502 全色像素
504 彩色像素
610 带宽滤光片曲线
612 全色光响应曲线
614 红色光响应曲线
616 绿色光响应曲线
618 蓝色光响应曲线
702 变换设计步骤
704 红色变换
706 绿色变换
708 蓝色变换
710 彩色图像重新建构

Claims (7)

1.一种使用具有多个彩色通道及一个全色通道的彩色滤光片阵列图像来形成全色输出图像的方法，所述方法包括一个或多个处理器，所述一个或多个处理器用于提供下列处理：
a)使用彩色滤光片阵列图像传感器捕捉彩色滤光片阵列图像，所述彩色滤光片阵列图像具有多个彩色通道及一个全色通道，其中所述全色通道使用比所述彩色通道的至少一个短的曝光时间来捕捉，且由此相对于所述至少一个彩色通道具有减轻的移动模糊度；
b)从所述彩色滤光片阵列图像计算经内插彩色图像及经内插全色图像；
c)执行所述经内插彩色图像的多个彩色通道的加权求和以产生合成全色图像，其中在所述加权求和中使用的权重从彩色通道及全色通道的光谱响应决定；
d)分析所述合成全色图像与所述经内插彩色图像以判定使所述合成全色图像与所述经内插彩色图像相关的频域变换；以及
e)藉由使用所述频域变换处理所述经内插全色图像来形成全色输出图像，其中由于所述经内插彩色图像的减轻的移动模糊，所述全色输出图像相对于所述经内插彩色图像具有减轻的移动模糊度。
2.如权利要求1所述的方法，其特征在于，所述经内插彩色图像的彩色通道是红色、绿色及蓝色。
3.如权利要求1所述的方法，其特征在于，所述经内插彩色图像的彩色通道是青色、紫红色及黄色。
4.如权利要求1所述的方法，其特征在于，将所述彩色滤光片阵列图像细分为若干图像块，并且判定各个图像块的频域变换。
5.如权利要求1所述的方法，其特征在于，判定所述经内插彩色图像的各彩色通道的个别频域变换。
6.如权利要求5所述的方法，其特征在于，各彩色通道的个别频域变换由频域滤光片所定义，所述频域滤光片藉由计算经内插彩色图像中的对应彩色通道的傅立叶变换与合成全色图像的傅立叶变换的比率来确定。
7.如权利要求6所述的方法，其特征在于，所述全色输出图像的各彩色通道藉由将经内插全色图像的傅立叶变换乘以对于对应彩色通道所确定的频域滤光片，并且计算反傅立叶变换来形成。
CN201080017071.2A 2009-04-15 2010-04-08 产生具有减轻的移动模糊的全色图像 Active CN102396235B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/423,839 US8045024B2 (en) 2009-04-15 2009-04-15 Producing full-color image with reduced motion blur
US12/423,839 2009-04-15
PCT/US2010/001054 WO2010120348A1 (en) 2009-04-15 2010-04-08 Producing full-color image with reduced motion blur

Publications (2)

Publication Number Publication Date
CN102396235A CN102396235A (zh) 2012-03-28
CN102396235B true CN102396235B (zh) 2014-06-04

Family

ID=42269448

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080017071.2A Active CN102396235B (zh) 2009-04-15 2010-04-08 产生具有减轻的移动模糊的全色图像

Country Status (5)

Country Link
US (1) US8045024B2 (zh)
EP (1) EP2420051B1 (zh)
CN (1) CN102396235B (zh)
TW (1) TWI496463B (zh)
WO (1) WO2010120348A1 (zh)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8224082B2 (en) * 2009-03-10 2012-07-17 Omnivision Technologies, Inc. CFA image with synthetic panchromatic image
US8068153B2 (en) * 2009-03-27 2011-11-29 Omnivision Technologies, Inc. Producing full-color image using CFA image
US8045024B2 (en) 2009-04-15 2011-10-25 Omnivision Technologies, Inc. Producing full-color image with reduced motion blur
US8203633B2 (en) * 2009-05-27 2012-06-19 Omnivision Technologies, Inc. Four-channel color filter array pattern
US8237831B2 (en) 2009-05-28 2012-08-07 Omnivision Technologies, Inc. Four-channel color filter array interpolation
US8125546B2 (en) * 2009-06-05 2012-02-28 Omnivision Technologies, Inc. Color filter array pattern having four-channels
US8253832B2 (en) * 2009-06-09 2012-08-28 Omnivision Technologies, Inc. Interpolation for four-channel color filter array
US8724928B2 (en) * 2009-08-31 2014-05-13 Intellectual Ventures Fund 83 Llc Using captured high and low resolution images
KR101685007B1 (ko) 2010-03-19 2016-12-12 인비사지 테크놀로지스, 인크. 감지성 반도체 다이오드를 채용한 이미지 센서
DE202012013411U1 (de) 2011-04-25 2016-11-15 Terra Bella Technologies Inc. Systeme für Overhead-Bild- und Videoanzeige
GB201117191D0 (en) * 2011-10-04 2011-11-16 Imagination Tech Ltd +Detecting image impairments in an interpolated image
US9692975B2 (en) 2013-04-10 2017-06-27 Microsoft Technology Licensing, Llc Motion blur-free capture of low light high dynamic range images
US9692992B2 (en) * 2013-07-01 2017-06-27 Omnivision Technologies, Inc. Color and infrared filter array patterns to reduce color aliasing
US9667933B2 (en) * 2013-07-01 2017-05-30 Omnivision Technologies, Inc. Color and infrared filter array patterns to reduce color aliasing
US9825074B2 (en) 2014-06-10 2017-11-21 Invisage Technologies, Inc. Layout and operation of pixels for image sensors
WO2015192056A1 (en) 2014-06-13 2015-12-17 Urthecast Corp. Systems and methods for processing and providing terrestrial and/or space-based earth observation video
US9866764B2 (en) * 2014-11-21 2018-01-09 Motorola Mobility Llc Method and apparatus for synchronizing auto exposure between chromatic pixels and panchromatic pixels in a camera system
CA2980920C (en) 2015-03-25 2023-09-26 King Abdulaziz City Of Science And Technology Apparatus and methods for synthetic aperture radar with digital beamforming
US9635276B2 (en) 2015-06-10 2017-04-25 Microsoft Technology Licensing, Llc Determination of exposure time for an image frame
US10615513B2 (en) 2015-06-16 2020-04-07 Urthecast Corp Efficient planar phased array antenna assembly
US10178360B2 (en) 2015-08-03 2019-01-08 Sony Corporation Imaging sensor coupled with layered filters
US20170061586A1 (en) * 2015-08-28 2017-03-02 Nokia Technologies Oy Method, apparatus and computer program product for motion deblurring of image frames
GB2544851B (en) * 2015-09-22 2019-04-17 Motorola Mobility Llc Method and apparatus for synchronizing auto exposure between chromatic pixels and panchromatic pixels in a camera system
WO2017091747A1 (en) 2015-11-25 2017-06-01 Urthecast Corp. Synthetic aperture radar imaging apparatus and methods
US10991281B2 (en) * 2016-02-22 2021-04-27 Dolby Laboratories Licensing Corporation Apparatus and method for encoding high frame rate content in standard frame rate video using temporal interlacing
US11378682B2 (en) 2017-05-23 2022-07-05 Spacealpha Insights Corp. Synthetic aperture radar imaging apparatus and methods for moving targets
WO2018217814A1 (en) 2017-05-23 2018-11-29 Urthecast Corp. Synthetic aperture radar imaging apparatus and methods
US11525910B2 (en) 2017-11-22 2022-12-13 Spacealpha Insights Corp. Synthetic aperture radar apparatus and methods
CN110493583B (zh) * 2018-08-03 2021-12-17 杭州海康威视数字技术股份有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN111835977B (zh) * 2019-04-18 2021-11-02 北京小米移动软件有限公司 图像传感器、图像生成方法及装置、电子设备、存储介质
KR102476968B1 (ko) * 2019-09-09 2022-12-12 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 이미지 센서, 카메라 모듈, 모바일 단말 및 이미지 수집 방법
EP3985729A4 (en) * 2019-09-30 2022-10-05 Guangdong Oppo Mobile Telecommunications Corp., Ltd. IMAGE SENSOR, CAMERA ASSEMBLY AND MOBILE TERMINAL
CN110649057B (zh) * 2019-09-30 2021-03-05 Oppo广东移动通信有限公司 图像传感器、摄像头组件及移动终端
CN114041208A (zh) 2019-09-30 2022-02-11 Oppo广东移动通信有限公司 图像传感器、摄像头组件及移动终端
WO2021138869A1 (en) 2020-01-09 2021-07-15 Huawei Technologies Co., Ltd. Image sensor and device comprising an image sensor
CN111479071B (zh) * 2020-04-03 2021-05-07 Oppo广东移动通信有限公司 高动态范围图像处理系统及方法、电子设备和可读存储介质
CN112118378B (zh) * 2020-10-09 2024-08-02 Oppo广东移动通信有限公司 图像获取方法及装置、终端和计算机可读存储介质
CN113781339B (zh) * 2021-09-02 2023-06-23 中科联芯(广州)科技有限公司 一种硅基多光谱信号处理方法、装置及移动终端

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7298922B1 (en) * 2004-07-07 2007-11-20 Lockheed Martin Corporation Synthetic panchromatic imagery method and system

Family Cites Families (98)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3971065A (en) 1975-03-05 1976-07-20 Eastman Kodak Company Color imaging array
US4437112A (en) 1980-02-15 1984-03-13 Canon Kabushiki Kaisha Solid-state color imaging apparatus
US4896207A (en) 1988-06-17 1990-01-23 Eastman Kodak Company Color imaging apparatus employing a horizontal stripe color filter to reduce rise-time artifacts
US5323233A (en) 1990-07-31 1994-06-21 Canon Kabushiki Kaisha Image signal processing apparatus having a color filter with offset luminance filter elements
US5903388A (en) 1992-06-11 1999-05-11 Sedlmayr Steven R High efficiency electromagnetic beam projector and systems and method for implementation thereof
US5227313A (en) 1992-07-24 1993-07-13 Eastman Kodak Company Process for making backside illuminated image sensors
US5244817A (en) 1992-08-03 1993-09-14 Eastman Kodak Company Method of making backside illuminated image sensors
US5506619A (en) 1995-03-17 1996-04-09 Eastman Kodak Company Adaptive color plan interpolation in single sensor color electronic camera
US5786236A (en) 1996-03-29 1998-07-28 Eastman Kodak Company Backside thinning using ion-beam figuring
US6097835A (en) 1997-07-23 2000-08-01 Lockheed Martin Corporation Projective pan sharpening methods and apparatus
US5914749A (en) 1998-03-31 1999-06-22 Intel Corporation Magenta-white-yellow (MWY) color system for digital image sensor applications
US6011875A (en) * 1998-04-29 2000-01-04 Eastman Kodak Company Process for enhancing the spatial resolution of multispectral imagery using pan-sharpening
US6429036B1 (en) 1999-01-14 2002-08-06 Micron Technology, Inc. Backside illumination of CMOS image sensor
US6168965B1 (en) 1999-08-12 2001-01-02 Tower Semiconductor Ltd. Method for making backside illuminated image sensor
US20010054723A1 (en) 2000-03-17 2001-12-27 Tadashi Narui Image sensor, method of fabricating the same, and exposure apparatus, measuring device, alignment device, and aberration measuring device using the image sensor
US6441848B1 (en) 2000-05-19 2002-08-27 Damon L. Tull Preventing blur caused by motion of the subject in a digital image
US6813046B1 (en) 2000-11-07 2004-11-02 Eastman Kodak Company Method and apparatus for exposure control for a sparsely sampled extended dynamic range image sensing device
US6611380B2 (en) 2001-12-21 2003-08-26 Eastman Kodak Company System and method for calibration of display system with linear array modulator
US7012643B2 (en) 2002-05-08 2006-03-14 Ball Aerospace & Technologies Corp. One chip, low light level color camera
WO2004001667A2 (en) 2002-06-21 2003-12-31 The Trustees Of Columbia University In The City Of New York Systems and methods for de-blurring motion blurred images
US7340099B2 (en) 2003-01-17 2008-03-04 University Of New Brunswick System and method for image fusion
JP3804617B2 (ja) 2003-02-14 2006-08-02 コニカミノルタフォトイメージング株式会社 画像処理装置及び方法
FI20030583A (fi) 2003-04-16 2004-10-17 Upstream Engineering Oy Dataprojektori
JP2004341206A (ja) 2003-05-15 2004-12-02 Olympus Corp 表示装置
US8264576B2 (en) 2007-03-05 2012-09-11 DigitalOptics Corporation Europe Limited RGBW sensor array
JP4349048B2 (ja) 2003-09-22 2009-10-21 セイコーエプソン株式会社 プロジェクタ
JP4046069B2 (ja) 2003-11-17 2008-02-13 ソニー株式会社 固体撮像素子及び固体撮像素子の製造方法
JP2005268738A (ja) 2004-02-17 2005-09-29 Sony Corp 固体撮像素子とその製造方法、及び半導体集積回路装置とその製造方法
US7248268B2 (en) * 2004-04-09 2007-07-24 Clairvoyante, Inc Subpixel rendering filters for high brightness subpixel layouts
JP4211696B2 (ja) 2004-06-30 2009-01-21 ソニー株式会社 固体撮像装置の製造方法
US7880785B2 (en) * 2004-07-21 2011-02-01 Aptina Imaging Corporation Rod and cone response sensor
US8570389B2 (en) 2004-07-22 2013-10-29 Broadcom Corporation Enhancing digital photography
WO2006137866A2 (en) 2004-09-17 2006-12-28 Bedabrata Pain Back- illuminated cmos or ccd imaging device structure
JP2006184567A (ja) 2004-12-27 2006-07-13 Toshiba Corp プロジェクション映像表示装置とその明るさ調整方法
US7238583B2 (en) 2005-02-11 2007-07-03 Sarnoff Corporation Back-illuminated imaging device and method of fabricating same
US7723215B2 (en) 2005-02-11 2010-05-25 Sarnoff Corporation Dark current reduction in back-illuminated imaging sensors and method of fabricating same
US8654201B2 (en) 2005-02-23 2014-02-18 Hewlett-Packard Development Company, L.P. Method for deblurring an image
FR2889358B1 (fr) * 2005-07-27 2009-06-05 Agence Spatiale Europeenne Filtre a elimination de bande a micro-ondes pour multiplexeur de sortie
US7830430B2 (en) 2005-07-28 2010-11-09 Eastman Kodak Company Interpolation of panchromatic and color pixels
US8139130B2 (en) * 2005-07-28 2012-03-20 Omnivision Technologies, Inc. Image sensor with improved light sensitivity
US8274715B2 (en) 2005-07-28 2012-09-25 Omnivision Technologies, Inc. Processing color and panchromatic pixels
US20070046807A1 (en) 2005-08-23 2007-03-01 Eastman Kodak Company Capturing images under varying lighting conditions
US7315014B2 (en) 2005-08-30 2008-01-01 Micron Technology, Inc. Image sensors with optical trench
US20070052050A1 (en) 2005-09-07 2007-03-08 Bart Dierickx Backside thinned image sensor with integrated lens stack
US7978240B2 (en) 2005-10-03 2011-07-12 Konica Minolta Photo Imaging, Inc. Enhancing image quality imaging unit and image sensor
US7872681B2 (en) 2005-10-13 2011-01-18 Rjs Technology, Inc. System and method for a high performance color filter mosaic array
US7836698B2 (en) * 2005-10-20 2010-11-23 General Electric Company Combustor with staged fuel premixer
US20070159542A1 (en) 2006-01-12 2007-07-12 Gang Luo Color filter array with neutral elements and color image formation
US7688368B2 (en) 2006-01-27 2010-03-30 Eastman Kodak Company Image sensor with improved light sensitivity
US7586139B2 (en) 2006-02-17 2009-09-08 International Business Machines Corporation Photo-sensor and pixel array with backside illumination and method of forming the photo-sensor
US7680354B2 (en) 2006-03-22 2010-03-16 Arcsoft, Inc. Image deblur based on two images
JP5000914B2 (ja) 2006-03-30 2012-08-15 日東光学株式会社 映像プロジェクション装置
JP4449936B2 (ja) 2006-03-31 2010-04-14 ソニー株式会社 撮像装置、カメラシステムおよびその駆動方法
JP5011814B2 (ja) 2006-05-15 2012-08-29 ソニー株式会社 撮像装置、および画像処理方法、並びにコンピュータ・プログラム
US7916362B2 (en) * 2006-05-22 2011-03-29 Eastman Kodak Company Image sensor with improved light sensitivity
TW200803482A (en) * 2006-06-01 2008-01-01 Micro Nits Co Ltd Image processing method of indicator input system
US7706022B2 (en) 2006-06-12 2010-04-27 Kabushiki Kaisha Toshiba Image forming apparatus and image forming method
KR100791336B1 (ko) 2006-08-10 2008-01-07 삼성전자주식회사 이미지 센서 제조 방법
US8031258B2 (en) 2006-10-04 2011-10-04 Omnivision Technologies, Inc. Providing multiple video signals from single sensor
WO2008044673A1 (fr) 2006-10-10 2008-04-17 Panasonic Corporation Dispositif de conversion de longueur d'onde et dispositif d'affichage d'images
US20080123997A1 (en) 2006-11-29 2008-05-29 Adams James E Providing a desired resolution color image
US7769229B2 (en) 2006-11-30 2010-08-03 Eastman Kodak Company Processing images having color and panchromatic pixels
US7893976B2 (en) 2006-12-01 2011-02-22 Eastman Kodak Company Light sensitivity in image sensors
JP5085140B2 (ja) 2007-01-05 2012-11-28 株式会社東芝 固体撮像装置
US7733931B2 (en) 2007-01-09 2010-06-08 Seiko Epson Corporation Light source device, projector device, monitor device, and lighting device
US8184926B2 (en) 2007-02-28 2012-05-22 Microsoft Corporation Image deblurring with blurred/noisy image pairs
JP4930109B2 (ja) 2007-03-06 2012-05-16 ソニー株式会社 固体撮像装置、撮像装置
US7622342B2 (en) 2007-03-27 2009-11-24 Sarnoff Corporation Method of fabricating back-illuminated imaging sensors
US8594451B2 (en) 2007-03-30 2013-11-26 Omnivision Technologies, Inc. Edge mapping incorporating panchromatic pixels
US7889921B2 (en) * 2007-05-23 2011-02-15 Eastman Kodak Company Noise reduced color image using panchromatic image
JP4888261B2 (ja) 2007-07-12 2012-02-29 セイコーエプソン株式会社 光源装置、画像表示装置及びモニタ装置
US8896712B2 (en) 2007-07-20 2014-11-25 Omnivision Technologies, Inc. Determining and correcting for imaging device motion during an exposure
US7855740B2 (en) 2007-07-20 2010-12-21 Eastman Kodak Company Multiple component readout of image sensor
CN101408677B (zh) 2007-10-11 2011-07-27 鸿富锦精密工业（深圳）有限公司 立体投影光学系统
US7871165B2 (en) 2007-11-30 2011-01-18 Eastman Kodak Company Stereo projection apparatus using polarized solid state light sources
JP5213670B2 (ja) 2008-01-16 2013-06-19 三洋電機株式会社 撮像装置及びぶれ補正方法
US7999870B2 (en) 2008-02-01 2011-08-16 Omnivision Technologies, Inc. Sampling and readout of an image sensor having a sparse color filter array pattern
WO2009105120A1 (en) 2008-02-19 2009-08-27 Sarnoff Corporation Method and device for reducing crosstalk in back illuminated imagers
US8164651B2 (en) 2008-04-29 2012-04-24 Omnivision Technologies, Inc. Concentric exposure sequence for image sensor
US8035711B2 (en) 2008-05-22 2011-10-11 Panavision Imaging, Llc Sub-pixel array optical sensor
US20100006908A1 (en) 2008-07-09 2010-01-14 Brady Frederick T Backside illuminated image sensor with shallow backside trench for photodiode isolation
US8017426B2 (en) 2008-07-09 2011-09-13 Omnivision Technologies, Inc. Color filter array alignment mark formation in backside illuminated image sensors
US7915067B2 (en) 2008-07-09 2011-03-29 Eastman Kodak Company Backside illuminated image sensor with reduced dark current
US7859033B2 (en) 2008-07-09 2010-12-28 Eastman Kodak Company Wafer level processing for backside illuminated sensors
US8130278B2 (en) 2008-08-01 2012-03-06 Omnivision Technologies, Inc. Method for forming an improved image using images with different resolutions
US8164682B2 (en) 2008-10-14 2012-04-24 Omnivision Technologies, Inc. Dithered focus evaluation
US8111307B2 (en) 2008-10-25 2012-02-07 Omnivision Technologies, Inc. Defective color and panchromatic CFA image
US8073246B2 (en) 2008-11-07 2011-12-06 Omnivision Technologies, Inc. Modifying color and panchromatic channel CFA image
US20100149396A1 (en) 2008-12-16 2010-06-17 Summa Joseph R Image sensor with inlaid color pixels in etched panchromatic array
US8224082B2 (en) 2009-03-10 2012-07-17 Omnivision Technologies, Inc. CFA image with synthetic panchromatic image
US8068153B2 (en) 2009-03-27 2011-11-29 Omnivision Technologies, Inc. Producing full-color image using CFA image
US8218068B2 (en) * 2009-04-01 2012-07-10 Omnivision Technologies, Inc. Exposing pixel groups in producing digital images
US8045024B2 (en) 2009-04-15 2011-10-25 Omnivision Technologies, Inc. Producing full-color image with reduced motion blur
US8203633B2 (en) 2009-05-27 2012-06-19 Omnivision Technologies, Inc. Four-channel color filter array pattern
US8237831B2 (en) 2009-05-28 2012-08-07 Omnivision Technologies, Inc. Four-channel color filter array interpolation
US20100309340A1 (en) 2009-06-03 2010-12-09 Border John N Image sensor having global and rolling shutter processes for respective sets of pixels of a pixel array
US8125546B2 (en) 2009-06-05 2012-02-28 Omnivision Technologies, Inc. Color filter array pattern having four-channels
US8253832B2 (en) 2009-06-09 2012-08-28 Omnivision Technologies, Inc. Interpolation for four-channel color filter array

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7298922B1 (en) * 2004-07-07 2007-11-20 Lockheed Martin Corporation Synthetic panchromatic imagery method and system

Also Published As

Publication number Publication date
EP2420051B1 (en) 2013-08-14
US20100265370A1 (en) 2010-10-21
WO2010120348A1 (en) 2010-10-21
EP2420051A1 (en) 2012-02-22
TW201106684A (en) 2011-02-16
TWI496463B (zh) 2015-08-11
CN102396235A (zh) 2012-03-28
US8045024B2 (en) 2011-10-25

Similar Documents

Publication Publication Date Title
CN102396235B (zh) 产生具有减轻的移动模糊的全色图像
CN102365860B (zh) 利用彩色滤光片阵列图像产生全彩图像
CN102369721B (zh) 具有合成全色图像的彩色滤光器阵列(cfa)图像
CN104301635B (zh) 产生数字图像的方法及成像系统
CN102484721B (zh) 四通道滤色片阵列图案
CN105046668B (zh) 产生高动态范围图像的方法
CN102007761B (zh) 用于图像传感器的同心曝光序列
US8452082B2 (en) Pattern conversion for interpolation
CN102461175B (zh) 用于四通道彩色滤光片阵列的内插
CN101755463B (zh) 图像传感器的多分量读出
JP5543616B2 (ja) 色フィルタアレイ画像反復デノイズ
US20090051984A1 (en) Image sensor having checkerboard pattern
CN102450020A (zh) 四通道滤色器阵列内插

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: American California

Patentee after: OmniVision Technologies, Inc.

Address before: American California

Patentee before: Omnivision Technologies, Inc.

CP01 Change in the name or title of a patent holder