[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN116582736A - 图像处理装置和使用图像处理装置的图像处理方法 - Google Patents

图像处理装置和使用图像处理装置的图像处理方法 Download PDF

Info

Publication number
CN116582736A
CN116582736A CN202310130155.6A CN202310130155A CN116582736A CN 116582736 A CN116582736 A CN 116582736A CN 202310130155 A CN202310130155 A CN 202310130155A CN 116582736 A CN116582736 A CN 116582736A
Authority
CN
China
Prior art keywords
pixel
group
convert
pixels
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310130155.6A
Other languages
English (en)
Inventor
闵桐基
金廷姸
边根荣
王泰植
柳钟珉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN116582736A publication Critical patent/CN116582736A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/745—Circuitry for generating timing or clock signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

提供了图像处理装置和使用图像处理装置的图像处理方法。所述图像处理装置包括：图像传感器，包括单元组，单元组包括各自包括像素和滤色器的参考组和转换组，并且图像传感器被配置为使用像素生成图像数据；以及图像信号处理器，被配置为计算图像数据的散列，并且选择与所述散列对应的滤波器来执行滤波，其中，图像信号处理器包括：像素索引转换器，被配置为基于所述像素之间的位置关系来转换所述像素的索引，像素特性转换器，被配置为转换所述像素的特性并且在所述转换之前转换散列，以及滤波器系数转换器，被配置为基于相应的转换后的像素索引和相应的转换后的像素特性来转换所述像素的滤波器系数。

Description

图像处理装置和使用图像处理装置的图像处理方法
本申请要求于2022年2月9日在韩国知识产权局提交的第10-2022-0016855号韩国专利申请的优先权，所述韩国专利申请的公开通过引用全部包含于此。
技术领域
本公开涉及图像处理装置和使用图像处理装置的图像处理方法。
背景技术
图像传感器是一种被配置为将光学信息转换为电信号的半导体元件。这样的图像传感器可包括电荷耦合器件(CCD)图像传感器或互补金属氧化物半导体(CMOS)图像传感器。
由于图像传感器感测光的亮度信息，因此，可针对图像传感器的每个像素放置允许特定颜色组分通过的滤色器阵列(CFA)，以检测颜色组分的信息。由于针对图像传感器的每个像素获取与特定滤色器对应的一个颜色组分的信息，因此，图像信号处理器可通过插值来从外围像素的颜色信息计算像素的基本上所有其他类型的颜色组分信息。
最近，随着对高分辨率图像的兴趣增加，已经开发了用于具有较高图像质量的高分辨率成像的各种技术。在这种情况下，在去马赛克处理中使用的滤波器的数量可增加，因此，期望通过减少滤波器的数量来减少用于存储滤波器系数的存储器。
发明内容
本公开的实施例可提供使用相对小的存储器生成相对高质量的图像的图像处理装置。
本公开的实施例可提供用于使用相对小的存储器生成相对高质量的图像的图像处理方法。
根据本公开的实施例，一种图像处理装置包括：图像传感器，具有多个单元组，每个单元组包括各自包括多个像素和多个滤色器的转换组和参照组，图像传感器被配置为使用所述多个像素来生成图像数据；以及图像信号处理器，被配置为计算所述图像数据的散列，并且选择与所述散列对应的滤波器来执行滤波，其中，图像信号处理器包括：像素索引转换器，被配置为基于所述多个像素之间的位置关系来转换所述多个像素的索引，像素特性转换器，被配置为转换所述散列和所述多个像素的特性，以及滤波器系数转换器，被配置为基于相应的转换后的像素索引和相应的转换后的像素特性来转换所述多个像素的滤波器系数。
根据本公开的实施例，一种图像处理装置包括：图像传感器，包括多个单元组，所述多个单元组包括各自包括多个像素和多个滤色器的中心组和外围组；以及图像信号处理器，被配置为基于从所述多个像素生成的原始图像的亮度或斜率信息来计算像素特性的散列，其中，图像信号处理器包括像素索引转换器、像素特性转换器和滤波器系数转换器，像素索引转换器被配置为使用所述多个像素之间的位置关系来转换所述多个像素的索引，像素特性转换器被配置为转换所述多个像素的特性，滤波器系数转换器被配置为基于相应的转换后的像素索引和相应的转换后的像素特性来转换所述多个像素的滤波器系数，其中，中心组的与计算的散列对应的滤波器被配置为应用于转换后的像素索引和像素特性以执行滤波。
根据本公开的实施例，一种图像处理装置的图像处理方法包括：图像传感器，由各自包括多个像素和多个滤色器的参考组和转换组构成；图像信号处理器，基于从所述多个像素生成的原始图像的亮度或斜率信息来计算像素特性的散列，以执行滤波；其中，图像信号处理器基于所述多个像素之间的位置关系将转换组的像素索引转换为参考组的像素索引，其中，图像信号处理器基于所述多个像素之间的位置关系，将转换组的多个像素的像素特性转换为参考组的多个像素的像素特性，并且其中，图像信号处理器基于相应的转换后的像素索引和相应的转换后的像素特性来转换所述多个像素的滤波器系数。
然而，本公开的实施例不限于本文阐述的那些实施例。通过参考下面给出的本公开的具体实施方式，本公开的以上和其他实施例对于本公开所属领域的普通技术人员将变得更加清楚。
附图说明
通过参照附图详细描述本公开的实施例，本公开的以上和其他实施例将变得更加清楚，其中：
图1是用于解释根据一些实施例的图像处理装置的框图；
图2是用于解释图1的图像处理装置的图像信号处理器的框图；
图3是用于解释根据一些实施例的像素阵列和滤色器阵列的布图；
图4是用于解释图3的像素阵列的像素索引的设置的布图；
图5是用于解释转换根据一些实施例的像素阵列的像素索引的布图；
图6是用于解释由图2的像素特性转换器转换的像素特性的布图；
图7是用于解释根据一些实施例的图像处理方法的流程图；
图8是用于解释转换根据一些实施例的像素阵列的像素索引的布图；
图9是用于解释根据一些实施例的像素阵列和滤色器阵列的布图；
图10是用于解释根据一些实施例的像素阵列和滤色器阵列的布图；
图11是用于解释根据一些实施例的图像传感器的示意图；以及
图12是用于解释根据一些实施例的图像传感器的示意图。
具体实施方式
在下文中，将参照附图详细描述本公开的实施例。将参照图1至图6描述图像处理装置。
参照图1来解释根据一些实施例的图像处理装置。参照图2来解释图1的图像处理装置的图像信号处理器。参照图3来解释根据一些实施例的像素阵列和滤色器阵列。参照图4来解释图3的像素阵列的像素索引的设置。参照图5来解释根据一些实施例的像素阵列的像素索引被转换。参照图6来解释由图2的像素特性转换器转换的像素特性。
参照图1，根据实施例的图像处理装置1可包括图像传感器100和应用处理器(AP)200。图像处理装置1可被实现为便携式电子装置(例如，数码相机、摄像机、移动电话、智能电话、平板PC(平板个人计算机)、PDA(个人数字助理)、移动互联网装置(MID)、可穿戴计算机、物联网(IoT)装置或万物联网(IoE)装置。
图像传感器100可通过应用处理器200的控制来感测通过透镜103成像的对象101。图像传感器100可使用光敏元件(或光电转换元件)将通过透镜103入射的对象101的光信号转换为电信号，基于电信号生成图像数据，并输出图像数据。
图像传感器100可包括像素阵列112、行驱动器120、相关双采样(CDS)块130、模数转换器(ADC)块140、斜坡信号发生器150、定时发生器160、控制寄存器块170和缓冲器180。
像素阵列112可包括以矩阵形式布置的多个像素。多个像素中的每个可使用光敏元件感测光，并将感测到的光转换为作为电信号的像素信号。例如，光敏元件可以是光电二极管、光电晶体管、光电门、钉扎光电二极管(PPD)或它们的组合。多个感光元件中的每个可具有包括光电二极管、传送晶体管、重置晶体管、放大晶体管和选择晶体管的4晶体管结构。根据实施例，多个光敏元件中的每个可具有1晶体管结构、3晶体管结构或5晶体管结构，或者其中多个像素共享一些晶体管的结构。
滤色器阵列114可放置在像素阵列112上。
行驱动器120可根据定时发生器160的控制来激活多个像素中的每个。例如，行驱动器120可以以行为单位驱动在像素阵列112上实现的像素。例如，行驱动器120可生成控制信号，控制信号可控制包括在多个行中的每行中的多个像素的操作。
从多个像素的每个输出的像素信号根据控制信号被发送给相关双采样块130。
相关双采样块130可包括多个相关双采样(CDS)电路。多个CDS电路中的每个响应于从定时发生器160输出的至少一个切换信号，对从在像素阵列112上实现的多条列线中的每条输出的像素值执行相关双采样，并且可通过将相关双采样的像素值与从斜坡信号发生器150输出的斜坡信号进行比较来输出多个比较信号。
模数转换器块140可将从相关双采样块130输出的多个比较信号中的每个转换为数字信号，并且将多个数字信号输出给缓冲器180。
定时发生器160可生成用作图像传感器100的各种组件的操作时序的参考的信号。由定时发生器160生成的操作时序参考信号可被传送给行驱动器120、相关双采样块130、模数转换器块140和斜坡信号发生器150。
控制寄存器块170通常可控制图像传感器100的操作。控制寄存器块170可控制斜坡信号发生器150、定时发生器160和缓冲器180的操作。
缓冲器180可输出与从模数转换器块140输出的多个数字信号对应的原始图像数据RIMG。
应用处理器200可包括相机接口210、图像信号处理器220、缓冲器230和处理器240。
应用处理器200可通过相机接口210接收原始图像数据RIMG作为输入图像数据。相机接口210可支持图像传感器100和应用处理器200之间的数据移动。
图像信号处理器220可处理从图像传感器100提供的原始图像数据RIMG，并将输出图像数据OIMG输出。图像信号处理器220可通过对原始图像数据RIMG执行各种至少一种计算来将输出图像数据OIMG输出。例如，至少一种计算可包括串扰补偿、坏像素校正、多个曝光像素的合并或重建、去马赛克、降噪、图像锐化、图像稳定、颜色空间转换、压缩等。然而，本公开的范围不限于此。
在一些实施例中，原始图像数据RIMG可涉及从多个像素生成的原始图像的亮度信息。图像信号处理器220可基于信息(诸如，原始图像的亮度或斜率)来计算图像数据的散列(或哈希)(hash)(例如，关于像素特性的散列)，并将散列应用于插值滤波器。
缓冲器230可提供可临时存储数据的空间。例如，图像信号处理器220可根据需要将图像数据临时存储在缓冲器230中。此外，缓冲器230可加载有由处理器240执行的程序，或者可存储由程序使用的数据。
缓冲器230可由例如SRAM(静态随机存取存储器)、DRAM(动态随机存取存储器)等实现，但是本公开的范围不限于此，并且它可根据需要被实现为非易失性存储器。
处理器240通常可控制应用处理器200。具体地，处理器240可执行包括用于操作图像信号处理器220以及应用处理器200的各种元件的指令的程序。
尽管处理器240可被实现为例如CPU(中央处理器)、GPU(图形处理器)等，但是本公开的范围不限于此。
内部总线250可用作允许应用处理器200内部的元件(即,相机接口210、图像信号处理器220、缓冲器230、处理器240等)彼此交换数据的通道。尽管内部总线250可被实现为例如根据例如AMBA(高级微控制器总线架构)的AXI(高级可扩展接口)，但是本公开的范围不限于此。
参照图2，图像信号处理器220可包括像素索引转换器221、像素特性转换器222和滤波器系数转换器223。
像素索引转换器221可使用多个像素PX之间的位置关系来转换多个像素PX的索引。像素索引转换器221可使用上述位置关系将转换组CG的像素PX索引转换为参考组RG的像素PX索引。
例如，位置关系可以是x翻转、y翻转和旋转关系中的任何一个或它们的组合。例如，图像信号处理器220可被实现为硬件(诸如，CPU(中央处理器)和GPU(图形处理器))。此外，例如，图像信号处理器220可被实现为软件。在这种情况下，软件可被存储在计算机可读非暂时可读记录介质上。此外，在这种情况下，软件可由OS(操作系统)提供，或者可由预定应用提供。
参照图3，根据实施例的阵列组件300包括像素阵列112a，像素阵列112a可包括包含多个像素PX的多个单元组UG1至UG4。例如，多个单元组UG1至UG4可沿着第一方向X和/或第二方向Y规则地布置。在一些实施例中，第一方向X可表示X轴方向，并且第二方向Y可表示Y轴方向。
滤色器阵列114a可放置在像素阵列112a上。滤色器阵列114a可包括多个单元组UG1、UG2、UG3和UG4。单元组UG1、UG2、UG3和UG4中的每个可包括以M×N矩阵布置的相同颜色的滤色器，其中，M和N是正整数。例如，单元组UG1、UG2、UG3和UG4中的每个可包括以4×4矩阵布置的相同颜色的滤色器。每个滤色器可被放置为与各个多个像素PX对应。例如，单元组UG1、UG2、UG3和UG4中的每个可放置在多个像素PX之中的以4×4矩阵布置的像素PX上。
多个单元组UG1、UG2、UG3和UG4可包括例如在第一方向X上彼此相邻的第一单元组UG1和第二单元组UG2以及在第一方向X上彼此相邻的第三单元组UG3和第四单元组UG4。第一单元组UG1和第三单元组UG3可在第二方向Y上彼此相邻，并且第二单元组UG2和第四单元组UG4可在第二方向Y上彼此相邻。第二方向Y可与第一方向X相交。第一单元组UG1包括第一滤色器Gr，第二单元组UG2包括第二滤色器R，第三单元组UG3包括第三滤色器B，并且第四单元组UG4可包括第四滤色器Gb。第一滤色器Gr和第四滤色器Gb可以是绿色滤色器，第二滤色器R可以是红色滤色器，并且第三滤色器B可以是蓝色滤色器。
另一方面，在一些实施例中，尽管彩色像素被描述为RGB像素，但是彩色像素不一定限于RGB像素。作为彩色像素，除了RGB像素之外，也可使用CMY像素。此外，也可使用具有红外线阻挡功能或红外线通过功能的白色像素。
多个微透镜可放置在多个像素PX上。每个微透镜可覆盖每个像素PX。
参照图4，阵列组件400包括可针对多个单元组UG1至UG4的多个像素PX中的每个设置的像素索引PX1至PX64。可针对像素索引PX1至PX64中的每个计算像素PX特性中的每个(例如，如稍后描述的斜率特性)。图像信号处理器220可量化与像素索引PX1至PX64对应的像素PX特性，并且将量化后的特性分配给特定散列。
例如，可将与图4的第十七像素索引PX17对应的量化后的像素特性分配给特定散列(即，第一散列)。另一方面，如稍后将描述的，由于多个单元组UG1至UG4的滤色器的布置可不同，因此，多个像素PX的数量和将被设置的像素索引PX1至PX64的数量也可与图4中所示的不同。
参照图5，阵列组件500包括多个单元组UG1至UG4，多个单元组UG1至UG4可包括中心部分的参考组RG和外围部分的转换组CG。在一些实施例中，参考组RG可被称为中心组，并且转换组CG可被称为外围组。
第一单元组UG1可包括第一转换组CG1的基本上所有像素PX和参考组RG的一些像素PX。第二单元组UG2可包括第二转换组CG2的基本上所有像素PX和参考组RG的一些像素PX。第三单元组UG3可包括第三转换组CG3的基本上所有像素PX和参考组RG的一些像素PX。第四单元组UG4可包括第四转换组CG4的基本上所有像素PX和参考组RG的一些像素PX。
每个转换组CG可包括多个转换区。具体地，第一转换组CG1可包括第一_1至第一_3转换区CG1_1、CG1_2和CG1_3。第二转换组CG2可包括第二_1至第二_3转换区CG2_1、CG2_2和CG2_3。第三转换组CG3可包括第三_1至第三_3转换区CG3_1、CG3_2和CG3_3。第四转换组CG4可包括第四_1至第四_3转换区CG4_1、CG4_2和CG4_3。
第一_1至第四_1转换区CG1_1、CG2_1、CG3_1和CG4_1可以是使用第一位置关系(x-翻转)执行转换的区域。第一_2至第四_2转换区CG1_2、CG2_2、CG3_2和CG4_2可以是使用第二位置关系(y-翻转)执行转换的区域。第一_3到第四_3转换区CG1_3、CG2_3、CG3_3和CG4_3可以是使用第三位置关系(x-翻转和y-翻转)执行转换的区域。
像素索引转换器221可使用像素PX之间的位置关系将转换组CG的像素索引转换为参考组RG的相应像素索引。
具体地，像素索引转换器221可使用第一位置关系至第三位置关系(x-翻转、y-翻转、x-翻转和y-翻转)将第一转换组CG1的每个像素索引转换为参考组RG的相应像素索引。更详细地，像素索引转换器221可使用第一位置关系(x-翻转)将第一转换组CG1的第一_1转换区CG1_1的任何一个像素索引转换为参考组RG的相应像素索引。像素索引转换器221可使用第二位置关系(y-翻转)将第一转换组CG1的第一_2转换区CG1_2的任何一个像素索引转换为参考组RG的相应像素索引。像素索引转换器221可使用第三位置关系(x-翻转和y-翻转)将第一转换组CG1的第一_3转换区CG1_3的任何一个像素PX索引转换为参考组RG的相应像素索引。另一方面，可使用模函数(modulo function)来执行这样的像素索引的转换。
例如，可使用如图5中所示的第二位置关系(y-翻转)将图4的第一转换组CG1的第十七像素索引PX17转换为作为参考组RG的相应像素索引的第二十像素索引PX20。
类似地，像素索引转换器221可使用第一位置关系至第三位置关系(x-翻转，y-翻转，x-翻转和y-翻转)将第二转换组至第四转换组CG2、CG3和CG4中的每个的像素PX索引转换为参考组RG的相应像素PX索引。
像素特性转换器222可转换多个像素PX的特性。像素特性转换器222可使用上面提及的位置关系将转换组CG的像素PX特性转换为参考组RG的像素PX特性。
参照图6，阵列组件600包括像素阵列112a′。像素特性转换器222可对与包括在多个单元组UG1、UG2、UG3和UG4中的像素PX中心值的梯度向量相关的多个像素PX的特性进行转换。例如，像素PX的特性可表示梯度向量的特性(即，方向特性、强度特性和/或相干性特性)。可选地，像素PX的特性可包括亮度特性。
例如，可如下计算像素PX的特性。可通过聚合在图6的包括多个单元组UG1′至UG9′的像素阵列112a′的特定尺寸的窗口310中计算的n个梯度向量(例如，图6的g1至g25)，如以下公式(1)中那样生成一个向量。
考虑到中心梯度向量的权重来计算2×2的矩阵GTWG(W是n×n的对角加权矩阵)，并且可计算特征值λ1，λ2(λ1≥λ2)及其对应的特征向量φ1＝[φx1，φy1]T和φ2＝[φx2，φy2]T。由特定尺寸的窗口310表示的梯度向量的特性(即，向量的方向θ、强度δ和相干性μ可通过以下公式(2)来计算。
θ＝arctan(φy1，φx1)
图像信号处理器220可通过使用特定参考对以这样的方式计算的像素PX特性进行量化来计算散列。
滤波器系数转换器223可根据转换后的像素PX索引和转换后的像素PX特性来转换多个像素PX的滤波器系数。滤波器系数转换器223可使用上面提及的位置关系将转换组CG的滤波器系数转换为参考组RG的滤波器系数。
参照图7，流程图700用于解释根据实施例的图像处理方法。
首先，图像信号处理器220可接收从图像传感器100输入的采样的原始图像RIMG(操作S100)。
图像信号处理器220可设置包括在原始图像RIMG的特定内核或窗口中的像素PX索引，量化像素PX特性，并将PX特性分配给特定散列(操作S200)。具体地，图像信号处理器220可找到并设置转换组CG的特定像素PX的像素索引(i)(操作S201)。图像信号处理器220可计算并量化像素PX特性(例如，斜率特性)(操作S202)。图像信号处理器220可将量化后的斜率特性(j)分配给第一散列(操作S203)。
之后，图像信号处理器220可使用散列来选择滤波器(操作S300)。具体地，像素索引转换器221可使用特定的位置关系将转换组CG的像素PX索引(i)转换为参考组RG的像素PX索引(ic)(操作S301)。像素特性转换器222可使用特定的位置关系将转换组CG的斜率特性(j)转换为参考组RG的斜率特性(jc)(操作S302)。此时，还可使用特定的位置关系将第一散列转换为第二散列(例如，与转换后的斜率特性(jc)对应的第二散列)。之后，使用上述特定的位置关系，第二散列可被计算并被重新分配为第一散列。滤波器系数转换器223可根据转换后的像素索引(ic)和转换后的斜率特性(jc)来转换像素PX的滤波器系数(操作S303)。
图像信号处理器220可将参考组RG的与计算出的第一散列(例如，重新分配后的第一散列)对应的滤波器应用于转换后的像素索引(ic)和转换后的斜率特性(jc)。图像信号处理器220可通过从N个滤波器之中选择针对特定散列而优化的滤波器以应用插值滤波器来执行滤波。在这种情况下，可由选择器410选择针对特定散列而优化的滤波器。之后，转换后的结果可被聚合并且被存储在应用处理器200内部的存储器中(操作S400)。
之后，输出图像OIMG可由应用处理器200输出(操作S500)。
在一些实施例中，可提供基于机器学习的图像处理装置，基于机器学习的图像处理装置基于信息(诸如，从像素PX生成的原始图像的亮度或斜率)生成散列，基于散列选择滤波器，并且使用这样的滤波器来执行去马赛克处理。在这种情况下，像素PX的每个特性或散列需要大量的滤波器，并且可能期望减少滤波器的数量以减少存储器的数量。
根据一些实施例，可通过使用参考组RG对去马赛克处理中使用的滤波器循环再用，来减少滤波器的数量。具体地，可通过利用参考组RG和转换组CG的多个像素PX之间的位置关系来减少滤波器的数量。例如，当单元组UG1、UG2、UG3和UG4中的每个包括以4×4矩阵布置的相同颜色的滤色器时，滤波器的数量可从传统的64个减少到16个。结果，可提供当使用少量存储器时生成相同质量的图像的图像处理装置和图像处理方法。
参照图8，阵列组件800用于解释如何转换根据实施例的像素阵列的像素索引。为了便于解释，可省略或简化使用图1至图7描述的基本相似的部分或内容的重复描述。
像素索引转换器221可使用参考组RG的多个像素PX的内部位置关系来转换像素PX的索引。具体地，像素索引转换器221可使用与使用图1至图7描述的位置关系不同的位置关系将参考组RG的第一像素索引转换为参考组RG的第二像素索引。
像素索引转换器221可使用基于对角线方向A的位置关系来转换参考组RG的多个像素PX的索引。例如，可将基于对角线方向A位于一侧的像素PX的索引转换为位于另一侧的像素PX的索引。在这种情况下，分别地，可参考第十九像素索引PX19来转换第四十六像素索引PX46，可参考第二十一像素索引PX21来转换第三十像素索引PX30，并且可参考第三十五像素索引PX35来转换第四十四像素索引PX44。
在这种情况下，滤波器的数量可从常规的64个进一步减少到10个。
图9用于解释根据实施例的像素阵列和滤色器阵列。图10用于解释根据一些实施例的像素阵列和滤色器阵列。为了便于解释，可省略或简化使用图1至图8描述的基本相似的部分或内容的重复描述。
参照图9，滤色器阵列114b可放置在像素阵列112b上，阵列组件900包括多个单元组UG1至UG4，单元组UG1至UG4可包括以3×3矩阵布置的滤色器。每个滤色器可被放置为与各个多个像素PX对应。例如，单元组UG1至UG4中的每个可放置在多个像素PX之中的以3×3矩阵布置的像素PX上。
可针对多个单元组UG1至UG4的多个像素PX中的每个设置像素索引。在这种情况下，可针对三十六个像素索引中的每个计算每个像素特性(例如，斜率特性)。图像信号处理器220可量化与三十六个像素索引中的每个对应的像素特性，并且将量化后的特性分配给特定散列。
多个单元组UG1至UG4可包括中心部分的参考组RG和外围部分的转换组CG。每个转换组CG可包括多个转换区。像素索引转换器221可使用像素PX之间的位置关系将每个转换组CG的像素索引转换为参考组RG的相应像素索引。例如，像素索引转换器221可使用第一位置关系至第三位置关系(x-翻转、y-翻转或x-翻转和y-翻转)将第一转换组CG1的每个像素索引转换为参考组RG的相应像素索引。类似地，像素索引转换器221可使用第一位置关系至第三位置关系(x-翻转、y-翻转或x-翻转和y-翻转)将第二转换组至第四转换组CG2、CG3和CG4的每个像素索引转换为参考组RG的相应像素索引。
参照图10，滤色器阵列114c可放置在像素阵列112c上，阵列组件1000包括多个单元组UG1至UG4，多个单元组UG1至UG4可包括以2×2矩阵布置的滤色器。每个滤色器可被放置为与各个多个像素PX对应。例如，单元组UG1至UG4中的每个可放置在多个像素PX之中的以2×2矩阵布置的像素PX上。
可针对多个单元组UG1至UG4的多个像素PX中的每个设置像素索引。在这种情况下，可针对十六个像素索引中的每个计算每个像素特性(例如，斜率特性)。图像信号处理器220可量化与十六个像素索引对应的每个像素特性，并且将量化后的像素特性分配给特定散列。
多个单元组UG1至UG4可包括中心部分的参考组RG和外围部分的转换组CG。每个转换组CG可包括多个转换区。像素索引转换器221可使用像素PX之间的位置关系将每个转换组CG的像素索引转换为参考组RG的相应像素索引。例如，像素索引转换器221可使用第一位置关系至第三位置关系(x-翻转、y-翻转或x-翻转和y-翻转)将第一转换组CG1的每个像素索引转换为参考组RG的相应像素索引。类似地，像素索引转换器221可使用第一位置关系至第三位置关系(x-翻转、y-翻转或x-翻转和y-翻转)将第二转换组至第四转换组CG2、CG3和CG4的每个像素索引转换为参考组RG的相应像素索引。
图11是用于解释根据一些实施例的图像传感器的框图。
参照图11，根据实施例的图像传感器100可包括堆叠的第一芯片10和第二芯片20。第二芯片20可例如在第三方向Z上堆叠在第一芯片10上。第一芯片10和第二芯片20可彼此电连接。从第一芯片10传送的像素信号(数据)可被传送给逻辑电路区LC。
第一芯片10可包括像素阵列110(与图1的112对应)。第二芯片20可包括逻辑电路区LC、存储区等。逻辑电路区LC可包括用于驱动像素信号(数据)的多个元件。逻辑电路区LC可包括例如图1的行驱动器120、相关双采样块130、斜坡信号发生器150、、定时发生器160、控制寄存器块170、缓冲器180等。
图12是用于解释根据一些实施例的图像传感器的框图。
为了便于解释，将主要描述与参照图11描述的点不同的点。
参照图12，图像传感器100′还可包括第三芯片30。第三芯片30、第二芯片20和第一芯片10可在第三方向Z上顺序地堆叠。第三芯片30可包括存储器装置。例如，第三芯片30可包括易失性存储器装置(诸如，DRAM或SRAM)。第三芯片30可从第一芯片10和第二芯片20接收信号，并且通过存储器装置处理信号。
总结具体实施方式，相关领域的普通技术人员将理解，在实质上不脱离本公开的原理的情况下，可对描述的实施例进行许多变化和修改。因此，本公开的描述的实施例在一般和描述性意义上使用，而不是为了限制的目的。

Claims (20)

1.一种图像处理装置，包括：
图像传感器，具有多个单元组，每个单元组包括各自包括多个像素和多个滤色器的转换组和参考组，图像传感器被配置为使用所述多个像素来生成图像数据；以及
图像信号处理器，被配置为计算所述图像数据的散列，并且选择与所述散列对应的滤波器来执行滤波，
其中，图像信号处理器包括：
像素索引转换器，被配置为基于所述多个像素之间的位置关系来转换所述多个像素的索引，
像素特性转换器，被配置为转换所述散列和所述多个像素的特性，以及
滤波器系数转换器，被配置为基于相应的转换后的像素索引和相应的转换后的像素特性来转换所述多个像素的滤波器系数。
2.根据权利要求1所述的图像处理装置，其中，像素索引转换器被配置为基于第一位置关系将转换组的像素索引转换为参考组的像素索引。
3.根据权利要求2所述的图像处理装置，其中，转换组包括第一转换区至第三转换区，
像素索引转换器被配置为：
基于第一_1位置关系将第一转换区的第一_1像素索引转换为参考组的二_1像素索引，
基于第一_2位置关系将第二转换区的第一_2像素索引转换为参考组的第二_2像素索引，并且
基于第一_3位置关系将第三转换区的第一_3像素索引转换为参考组的第二_3像素索引。
4.根据权利要求1所述的图像处理装置，其中，像素索引转换器被配置为基于第二位置关系将参考组的第一像素索引转换为参考组的第二像素索引。
5.根据权利要求1所述的图像处理装置，其中，像素特性转换器被配置为基于斜率特性来转换所述多个像素的特性，并且在转换所述特性之后转换所述散列。
6.根据权利要求1所述的图像处理装置，其中，像素特性转换器被配置为基于所述位置关系将转换组的像素特性转换为参考组的像素特性，并且在对转换组的像素特性进行转换之后转换所述散列。
7.根据权利要求1所述的图像处理装置，其中，滤波器系数转换器被配置为基于所述位置关系将转换组的滤波器系数转换为参考组的滤波器系数。
8.根据权利要求1所述的图像处理装置，其中，图像信号处理器量化与转换组的第一像素索引对应的第一斜率特性，并将第一斜率特性分配给第一散列，
像素索引转换器被配置为基于第一位置关系将第一像素索引转换为参考组的像素索引，并且
像素特性转换器被配置为基于第一位置关系将第一斜率特性转换为参考组的第二斜率特性，并且将第一散列转换为与第二斜率特性对应的第二散列。
9.根据权利要求8所述的图像处理装置，其中，图像信号处理器被配置为将参考组的滤波器应用于转换后的第一像素索引和转换后的第一斜率特性，以执行滤波。
10.根据权利要求1至权利要求9中的任意一项所述的图像处理装置，其中，所述多个单元组包括以M×N矩阵布置的相同滤色器，其中，M和N是正整数。
11.一种图像处理装置，包括：
图像传感器，包括多个单元组，所述多个单元组包括各自包括多个像素和多个滤色器的中心组和外围组；以及
图像信号处理器，被配置为基于从所述多个像素生成的原始图像的亮度或斜率信息来计算像素特性的散列，
其中，图像信号处理器包括像素索引转换器、像素特性转换器和滤波器系数转换器，像素索引转换器被配置为使用所述多个像素之间的位置关系来转换所述多个像素的索引，像素特性转换器被配置为转换所述多个像素的特性，滤波器系数转换器被配置为基于相应的转换后的像素索引和相应的转换后的像素特性来转换所述多个像素的滤波器系数，
其中，中心组的与计算的散列对应的滤波器被配置为应用于转换后的像素索引和转换后的像素特性以执行滤波。
12.根据权利要求11所述的图像处理装置，其中，像素索引转换器被配置为基于所述位置关系将外围组的像素索引转换为中心组的像素索引。
13.根据权利要求11所述的图像处理装置，其中，像素特性转换器被配置为使用所述位置关系将外围组的像素特性转换为中心组的像素特性，并且在转换外围组的像素特性之后转换所述散列。
14.根据权利要求11所述的图像处理装置，其中，滤波器系数转换器被配置为基于所述位置关系将外围组的滤波器系数转换为中心组的滤波器系数。
15.根据权利要求11所述的图像处理装置，其中，图像信号处理器量化与外围组的第一像素索引对应的第一斜率特性，并将第一斜率特性分配给第一散列，
像素索引转换器被配置为基于第一位置关系将第一像素索引转换为中心组的像素索引，并且
像素特性转换器被配置为使用第一位置关系将第一斜率特性转换为中心组的第二斜率特性，并且将第一散列转换为与第二斜率特性对应的第二散列。
16.根据权利要求15所述的图像处理装置，其中，图像信号处理器被配置为将中心组的滤波器应用于转换后的第一像素索引和转换后的第一斜率特性以执行所述滤波。
17.根据权利要求11至权利要求16中的任意一项所述的图像处理装置，其中，所述多个单元组包括以M×N矩阵布置的相同滤色器，其中，M和N是正整数。
18.一种图像处理装置的图像处理方法，包括：
图像传感器，由各自包括多个像素和多个滤色器的参考组和转换组构成；
图像信号处理器，基于从所述多个像素生成的原始图像的亮度或斜率信息来计算像素特性的散列，以使用参考组的与计算的散列对应的滤波器执行滤波；
其中，图像信号处理器基于所述多个像素之间的位置关系将转换组的像素索引转换为参考组的像素索引，
其中，图像信号处理器基于所述多个像素之间的位置关系，将转换组的多个像素的像素特性转换为参考组的多个像素的像素特性，并且
其中，图像信号处理器基于相应的转换后的像素索引和相应的转换后的像素特性来转换所述多个像素的滤波器系数。
19.根据权利要求18所述的图像处理方法，其中，图像信号处理器量化与像素索引对应的像素特性。
20.根据权利要求18所述的图像处理方法，其中，图像信号处理器将参考组的与计算的散列对应的滤波器应用于转换后的像素索引和转换后的像素特性，以执行所述滤波。
CN202310130155.6A 2022-02-09 2023-02-08 图像处理装置和使用图像处理装置的图像处理方法 Pending CN116582736A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020220016855A KR20230120371A (ko) 2022-02-09 2022-02-09 이미지 처리 장치 및 이를 이용한 이미지 처리 방법
KR10-2022-0016855 2022-02-09

Publications (1)

Publication Number Publication Date
CN116582736A true CN116582736A (zh) 2023-08-11

Family

ID=87520707

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310130155.6A Pending CN116582736A (zh) 2022-02-09 2023-02-08 图像处理装置和使用图像处理装置的图像处理方法

Country Status (3)

Country Link
US (1) US12035055B2 (zh)
KR (1) KR20230120371A (zh)
CN (1) CN116582736A (zh)

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008042391A (ja) * 2006-08-03 2008-02-21 Matsushita Electric Ind Co Ltd 画像処理装置および画像処理方法
JP5062846B2 (ja) 2008-07-04 2012-10-31 株式会社リコー 画像撮像装置
US8593483B2 (en) * 2009-10-20 2013-11-26 Apple Inc. Temporal filtering techniques for image signal processing
JP5438579B2 (ja) * 2010-03-29 2014-03-12 キヤノン株式会社 画像処理装置及びその制御方法
JP5891916B2 (ja) 2012-04-09 2016-03-23 大日本印刷株式会社 画像拡大処理装置
JP2015201724A (ja) 2014-04-07 2015-11-12 キヤノン株式会社 画像処理装置および画像処理方法
JP6468751B2 (ja) 2014-08-01 2019-02-13 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP6006389B1 (ja) * 2015-08-26 2016-10-12 オリンパス株式会社 撮像装置、撮像方法及び撮像プログラム
CN108370415B (zh) 2015-12-17 2019-06-14 富士胶片株式会社 图像处理装置及图像处理方法
US9996902B2 (en) 2016-01-19 2018-06-12 Google Llc Image upscaling

Also Published As

Publication number Publication date
US12035055B2 (en) 2024-07-09
KR20230120371A (ko) 2023-08-17
US20230254594A1 (en) 2023-08-10

Similar Documents

Publication Publication Date Title
US8582007B2 (en) Image sensor for outputting RGB Bayer signal through internal conversion and image processing apparatus including the same
US20230319430A1 (en) Image sensor
US7924330B2 (en) Methods and apparatuses for double sided dark reference pixel row-wise dark level non-uniformity compensation in image signals
US20220345649A1 (en) Image sensor controlling a conversion gain imaging device having the same, and method of operating the same
KR20170006206A (ko) 넓은 다이나믹 레인지를 갖는 이미지 센서, 이미지 센서의 픽셀 회로 및 이미지 센서의 동작방법
US20220086381A1 (en) Image sensing system
US9661241B2 (en) Solid-state imaging device and electronic apparatus
CN113747022B (zh) 图像传感器、摄像头组件和移动终端
KR20220079123A (ko) 이미지 장치 및 이미지 장치의 동작 방법
KR20220000761A (ko) 이미지 센서 및 이미지 센서의 비닝 방법
US20220150450A1 (en) Image capturing method, camera assembly, and mobile terminal
US12035055B2 (en) Image processing device and image processing method using the same
US11546565B2 (en) Image sensing device and operating method thereof
CN117954462A (zh) 图像感测装置和包括其的成像装置
WO2018062561A1 (ja) 撮像素子およびカメラ
US12047691B2 (en) Image sensor, image processing apparatus, and image processing method
KR20210133800A (ko) 이미지 압축 방법, 인코더, 및 인코더를 포함하는 카메라 모듈
US12118735B2 (en) Image processing system and image processing method
US20240273781A1 (en) Electronic device and method of image processing
US20240107195A1 (en) Image sensor and image processing device including the same
US20240292120A1 (en) Image sensor
CN118118805A (zh) 图像信号处理器和处理图像的方法
KR20220148423A (ko) 이미지의 노이즈를 감소하는 노이즈 저감 방법 및 노이즈 저감 장치
CN118264928A (zh) 图像传感器、图像处理系统及其操作方法
KR20200052853A (ko) 신호 처리 장치 및 신호 처리 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication