[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR100999218B1 - Apparatus For Processing Image Siganl, Method For Reducing Noise Of Image Signal Processing Apparatus And Recorded Medium For Performing Method Of Reducing Noise - Google Patents

Apparatus For Processing Image Siganl, Method For Reducing Noise Of Image Signal Processing Apparatus And Recorded Medium For Performing Method Of Reducing Noise Download PDF

Info

Publication number
KR100999218B1
KR100999218B1 KR1020080135235A KR20080135235A KR100999218B1 KR 100999218 B1 KR100999218 B1 KR 100999218B1 KR 1020080135235 A KR1020080135235 A KR 1020080135235A KR 20080135235 A KR20080135235 A KR 20080135235A KR 100999218 B1 KR100999218 B1 KR 100999218B1
Authority
KR
South Korea
Prior art keywords
color
value
color correction
data
intensity
Prior art date
Application number
KR1020080135235A
Other languages
Korean (ko)
Other versions
KR20100077319A (en
Inventor
이호영
Original Assignee
엠텍비젼 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엠텍비젼 주식회사 filed Critical 엠텍비젼 주식회사
Priority to KR1020080135235A priority Critical patent/KR100999218B1/en
Publication of KR20100077319A publication Critical patent/KR20100077319A/en
Application granted granted Critical
Publication of KR100999218B1 publication Critical patent/KR100999218B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/646Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/641Multi-purpose receivers, e.g. for auxiliary information

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Processing (AREA)
  • Color Image Communication Systems (AREA)

Abstract

이미지의 컬러 보정 과정에서 발생하는 컬러 노이즈를 최대한 억제할 수 있는 이미지 신호 처리 장치, 이미지 신호 처리 장치의 컬러 보정 방법 및 컬러 보정 방법이 기록된 기록 매체가 개시된다. 이미지 신호 처리 장치는 이미지 센서로부터 제공된 이미지 데이터에 대한 컬러 보간을 수행하는 컬러 보간부 및 컬러 보간이 수행된 데이터에 대해 컬러 보정을 수행하고, 컬러 보간이 수행된 데이터에 기초하여 휘도값을 획득한 후, 획득한 휘도값에 기초하여 컬러 보정 강도를 설정하고, 설정된 컬러 보정 강도에 기초하여 컬러 보정된 데이터에 포함된 노이즈를 제거하는 컬러 보정부를 포함한다. 따라서, 컬러 보정 과정에서 발생하는 컬러 노이즈를 효율적으로 제거할 수 있고, 특히, 이미지의 어두운 영역에서 발생할 수 있는 컬러 노이즈를 효율적으로 제거할 수 있다.Disclosed is an image signal processing apparatus capable of maximally suppressing color noise generated during a color correction process of an image, a recording medium in which a color correction method and a color correction method of an image signal processing apparatus are recorded. The image signal processing apparatus performs color correction on the color interpolation unit for performing color interpolation on the image data provided from the image sensor and the color interpolated data, and obtains a luminance value based on the data on which color interpolation is performed. Thereafter, a color correction unit is set based on the obtained luminance value, and a color correction unit removes noise included in the color corrected data based on the set color correction intensity. Therefore, color noise generated in the color correction process can be efficiently removed, and in particular, color noise that can occur in dark areas of the image can be efficiently removed.

이미지, 노이즈, 컬러 보정, CSP, ISP, 강도, 영역 Image, noise, color correction, CSP, ISP, intensity, area

Description

이미지 신호 처리 장치, 이미지 신호 처리 장치의 컬러 보정 방법 및 컬러 보정 방법이 기록된 기록 매체{Apparatus For Processing Image Siganl, Method For Reducing Noise Of Image Signal Processing Apparatus And Recorded Medium For Performing Method Of Reducing Noise}Apparatus For Processing Image Siganl, Method For Reducing Noise Of Image Signal Processing Apparatus And Recorded Medium For Performing Method Of Reducing Noise}

본 발명은 신호 처리 장치에 관한 것으로, 더욱 상세하게는 촬상된 이미지를 처리하는 신호 처리 장치에 적용될 수 있는 이미지 신호 처리 장치, 이미지 신호 처리 장치의 컬러 보정 방법 및 컬러 보정 방법이 기록된 기록 매체에 관한 것이다.The present invention relates to a signal processing device, and more particularly, to a recording medium in which an image signal processing device, a color correction method and a color correction method of an image signal processing device, which can be applied to a signal processing device for processing a captured image, are recorded. It is about.

CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal Oxide Semiconductor) 등과 같은 이미지 센서는 미세한 화소(pixel)가 2차원적으로 집적된 형태로 구성되고 입사된 빛의 밝기에 상응하는 전기 신호를 디지털 신호로 변환하여 출력한다. 여기서, 이미지 센서는 베이어(Bayer) 패턴으로 구성될 수 있고, 베이터 패턴으로 입사된 빛의 밝기에 상응하는 베이어 이미지 데이터를 제공한다.Image sensors such as Charge Coupled Device (CCD) or Complementary Metal Oxide Semiconductor (CMOS) are composed of two-dimensional integrated pixels and convert electrical signals corresponding to the brightness of incident light into digital signals. To print. Here, the image sensor may be configured in a Bayer pattern, and provides Bayer image data corresponding to brightness of light incident on the Bayer pattern.

이미지 센서로부터 제공된 베이터 이미지 데이터는 이미지 신호 처리 장치를 통해 컬러 보간, 휘도 처리, 색채 처리, 컬러 포맷 변환 등과 같은 다양한 신호 처 리를 거쳐 휘도 신호 및 색차 신호로 출력된다.Batter image data provided from an image sensor is output as a luminance signal and a color difference signal through various signal processing such as color interpolation, luminance processing, color processing, color format conversion, and the like through an image signal processing apparatus.

도 1은 일반적인 이미지 신호 처리 장치의 구성을 나타내는 블록도이다.1 is a block diagram showing the configuration of a general image signal processing apparatus.

도 1을 참조하면, 일반적인 이미지 신호 처리 장치는 원시 데이터 처리부(10), 컬러 보간부(20), 컬러 보정부(30), 감마 보정부(40) 및 포맷 변환부(50)를 포함한다.Referring to FIG. 1, a general image signal processing apparatus includes a raw data processor 10, a color interpolator 20, a color corrector 30, a gamma corrector 40, and a format converter 50.

원시 데이터 처리부(10)는 이미지 센서로부터 베이터 패턴의 원시 데이터(RAW) 즉, 베이어 이미지 데이터를 제공받고, 이미지 센서에 존재하는 결점의 보정(defect correction)이나 렌즈의 짧은 초점 거리로 인해 발생하는 쉐이딩 보정(shading correction) 등과 같은 전처리 과정을 수행한다.The raw data processing unit 10 receives raw data (RAW), that is, Bayer image data of a Bayer pattern, from an image sensor, and shading caused by defect correction or short focal length of a lens present in the image sensor. Perform preprocessing such as shading correction.

컬러 보간부(20)는 원시 데이터 처리부(10)에서 전처리가 수행된 데이터를 제공받고, 보간(interpolation)을 통하여 하나의 채널 성분을 가지는 각각의 화소 성분을 R(Red), G(Green), B(Blue) 성분으로 분리한 후 이들을 결합하여 각각의 화소가 R, G, B의 세가지 채널 성분을 가지는 이미지 데이터를 생성한다.The color interpolator 20 receives data preprocessed by the raw data processor 10, and interpolates each pixel component having one channel component through R (Red), G (Green), After separation into B (Blue) components, these pixels are combined to generate image data in which each pixel has three channel components of R, G, and B.

컬러 보간부(20)로부터 출력된 이미지 데이터는 혼색을 많이 포함하고 있다. 컬러 보정부(30)는 컬러 보간부(20)로부터 제공된 이미지 데이터가 표준 컬러 공간(color space)인 sRGB 또는 Adobe RGB 규격에 근사한 출력이 되도록 이미지 데이터의 분광 특성을 sRGB 또는 Adobe RGB 분광 특성에 근접하도록 보정한다.The image data output from the color interpolator 20 includes a lot of mixed colors. The color correction unit 30 approximates the spectral characteristics of the image data to the sRGB or Adobe RGB spectral characteristics so that the image data provided from the color interpolation unit 20 is an output close to the sRGB or Adobe RGB standard, which is a standard color space. Correct it to

감마 보정부(40)는 인간의 시각이 밝기에 대해 비선형적으로 반응한다는 점을 고려하여 비선형 전달 함수를 사용하여 빛의 강도 신호를 비선형적으로 변형한다.The gamma correction unit 40 non-linearly transforms the intensity signal of the light by using a nonlinear transfer function in consideration of the fact that human vision reacts non-linearly to brightness.

포맷 변환부(50)는 RGB 영역의 이미지 데이터를 밝기(Luminance) 성분인 Y 성분과 색차(Chrominance) 성분인 Cb, Cr 성분으로 변환한다.The format converter 50 converts the image data of the RGB region into a Y component, which is a luminance component, and a Cb and Cr component, which is a chrominance component.

그러나, 도 1에 도시된 바와 같은 종래의 이미지 신호 처리 장치는 컬러 보정부(30)가 컬러 보간부(20)로부터 제공된 RGB 이미지 전체에 대하여 일괄적으로 컬러 보정을 수행하기 때문에 이미지의 어두운 영역에서 의도하지 않은 컬러 노이즈(color noise,색 잡음)가 발생하는 단점이 있다. However, in the conventional image signal processing apparatus as shown in FIG. 1, since the color correction unit 30 performs color correction on the entire RGB image provided from the color interpolation unit 20, the image correction unit 30 performs a color correction in the dark region of the image. Inadvertent color noise (color noise) is a disadvantage that occurs.

특히, 상기와 같이 이미지의 어두운 영역에 생성된 컬러 노이즈는 얼룩진 모양으로 보이기 때문에 이미지의 밝은 부분에 포함된 색 잡음보다 더 보기가 좋지 않은 문제가 있다.In particular, since the color noise generated in the dark area of the image as shown above is in a stained shape, there is a problem in that it is more difficult to see than the color noise included in the bright part of the image.

따라서, 본 발명의 제1 목적은 컬러 보정 과정에서 발생하는 컬러 노이즈를 최대한 억제할 수 있는 이미지 신호 처리 장치를 제공하는 것이다.Accordingly, a first object of the present invention is to provide an image signal processing apparatus capable of maximally suppressing color noise generated during a color correction process.

또한, 본 발명의 제2 목적은 컬러 보정 과정에서 발생하는 컬러 노이즈를 최대한 억제할 수 있는 컬러 보정 방법을 제공하는 것이다.In addition, a second object of the present invention is to provide a color correction method capable of maximally suppressing color noise generated in the color correction process.

또한, 본 발명의 제3 목적은 컬러 보정 과정에서 발생하는 컬러 노이즈를 최대한 억제할 수 있는 컬러 보정 방법이 기록된 기록 매체를 제공하는 것이다.Further, a third object of the present invention is to provide a recording medium on which a color correction method is recorded, which can suppress color noise generated in the color correction process to the maximum.

상술한 본 발명의 제1 목적을 달성하기 위한 본 발명의 일 측면에 따른 이미지 신호 처리 장치는, 이미지 센서로부터 제공된 이미지 데이터에 대한 컬러 보간 을 수행하는 컬러 보간부 및 상기 컬러 보간이 수행된 데이터에 대해 컬러 보정을 수행하고, 상기 컬러 보간이 수행된 데이터에 기초하여 휘도값을 획득한 후, 상기 획득한 휘도값에 기초하여 컬러 보정 강도를 설정하고, 상기 설정된 컬러 보정 강도에 기초하여 컬러 보정된 데이터에 포함된 노이즈를 제거하는 컬러 보정부를 포함한다. 상기 컬러 보정부는 상기 컬러 보간이 수행된 데이터에 대해 컬러 보정을 수행하는 컬러 재생부와, 상기 컬러 보간이 수행된 데이터에 기초하여 휘도값을 획득하는 휘도 신호 생성부와, 상기 획득한 휘도값이 미리 설정된 영역 경계값보다 작은 경우 컬러 보정 강도를 미리 설정된 최대 강도값 및 미리 설정된 최소 강도값 사이의 값 중에서 상기 휘도값에 대응되는 값으로 설정하는 컬러 보정 강도 생성부 및 상기 설정된 컬러 보정 강도에 기초하여 컬러 보정된 데이터에 포함된 노이즈를 제거하는 노이즈 제거부를 포함할 수 있다. 상기 컬러 보정 강도 생성부는, 상기 획득한 휘도값이 미리 설정된 영역 경계값 이상인 경우에는 상기 컬러 보정 강도를 상기 최소 강도값으로 설정할 수 있다. 상기 컬러 보정 강도 생성부는, 수학식 Strength=((threshold-Yi)×Str1 + Yi×Str2)/threshold)(여기서, Strength는 상기 컬러 보정 강도, threshold는 영역 경계값, Str1은 상기 최대 강도값, Str2는 상기 최소 강도값, Yi는 상기 휘도값을 의미함)에 의해 상기 컬러 보정 강도를 설정할 수 있다. 상기 노이즈 제거부는, 상기 컬러 재생부로부터 제공된 컬러 보정에 의해 획득된 데이터값과 상기 컬러 보간부로부터 제공된 컬러 보간에 의해 획득한 데이터값 사이의 값들 중에서 상기 컬러 보정 강도에 상응하는 데이터값을 노이즈 제거 데이터로 획득함으로써 상기 컬러 보정된 데이터에 포함된 노이즈를 제거할 수 있다. 상기 노이즈 제거부는, 수학식 Ro=((Norm-Strength)×Rc+Strength×Ri)/Norm, Go=((Norm-Strength)×Gc+Strength×Gi)/Norm, Bo=((Norm-Strength)×Bc+Strength×Bi)/Norm (여기서, Ro,Go 및 Bo는 상기 노이즈 제거 데이터, Rc,Gc 및 Bc는 상기 컬러 보정에 의해 획득된 데이터값, Ri,Gi 및 Bi는 상기 컬러 보간에 의해 획득된 데이터값, Strength는 컬러 보정 강도, Norm는 정규화 변수를 의미)을 이용하여 상기 컬러 보정된 데이터에 포함된 노이즈를 제거할 수 있다.An image signal processing apparatus according to an aspect of the present invention for achieving the first object of the present invention described above comprises a color interpolation unit for performing color interpolation on image data provided from an image sensor and a data interpolation unit. Perform color correction on the color, obtain a luminance value based on the data on which the color interpolation is performed, set a color correction intensity based on the obtained luminance value, and perform color correction on the basis of the set color correction intensity. It includes a color correction unit for removing the noise contained in the data. The color correction unit may include a color reproducing unit performing color correction on the data on which the color interpolation has been performed, a luminance signal generating unit obtaining a luminance value based on the data on which the color interpolation has been performed, and the obtained luminance value. A color correction intensity generation unit for setting a color correction intensity to a value corresponding to the luminance value among a value between a preset maximum intensity value and a preset minimum intensity value when smaller than a preset area boundary value, and based on the set color correction intensity It may include a noise removing unit for removing the noise contained in the color-corrected data. The color correction intensity generation unit may set the color correction intensity as the minimum intensity value when the obtained luminance value is equal to or greater than a preset area boundary value. The color correction intensity generating unit may be represented by a formula: Strength = ((threshold-Y i ) × Str1 + Y i × Str2) / threshold), where Strength is the color correction intensity, threshold is an area boundary value, and Str1 is the maximum intensity. Value, Str2 is the minimum intensity value, and Y i represents the luminance value). The noise removing unit removes noise from data values corresponding to the color correction intensity among values between data values obtained by color correction provided from the color reproduction unit and data values obtained by color interpolation provided from the color interpolation unit. By acquiring the data, noise included in the color corrected data may be removed. The noise removing unit is expressed by the formula R o = ((Norm-Strength) × R c + Strength × R i ) / Norm, G o = ((Norm-Strength) × G c + Strength × G i ) / Norm, B o = ((Norm-Strength) × B c + Strength × B i ) / Norm (where R o , G o and B o are the noise reduction data, R c , G c and B c are determined by the color correction The obtained data values, R i , G i and B i are data values obtained by the color interpolation, Strength means color correction intensity, and Norm means normalization variable. Can be removed.

또한, 본 발명의 제2 목적을 달성하기 위한 본 발명의 일 측면에 따른 컬러 보정 방법은, 이미지 센서로부터 제공된 이미지 데이터에 대한 컬러 보간을 수행하는 단계와, 상기 컬러 보간이 수행된 데이터에 기초하여 휘도값을 획득하는 단계와, 상기 컬러 보간이 수행된 데이터에 대해 컬러 보정을 수행하는 단계와, 상기 획득한 휘도값이 미리 설정된 영역 경계값보다 작은 경우 컬러 보정 강도를 미리 설정된 최대 강도값 및 미리 설정된 최소 강도값 사이의 값 중에서 상기 휘도값에 대응되는 값으로 설정하는 단계 및 상기 설정된 컬러 보정 강도에 기초하여 컬러 보정된 데이터에 포함된 노이즈를 제거하는 단계를 포함한다. 상기 컬러 보정 방법은, 상기 획득한 휘도값이 미리 설정된 영역 경계값 이상인 경우에는 상기 컬러 보정 강도를 상기 최소 강도값으로 설정하는 단계를 더 포함할 수 있다. 상기 획득한 휘도값이 미리 설정된 영역 경계값보다 작은 경우 컬러 보정 강도를 미리 설정된 최대 강도값 및 미리 설정된 최소 강도값 사이의 값 중에서 상기 휘도값에 대응되 는 값으로 설정하는 단계는, 수학식 Strength=((threshold-Yi)×Str1 + Yi×Str2)/threshold)(여기서, Strength는 상기 컬러 보정 강도, threshold는 영역 경계값, Str1은 상기 최대 강도값, Str2는 상기 최소 강도값, Yi는 상기 휘도값을 의미함)에 의해 설정될 수 있다. 상기 설정된 컬러 보정 강도에 기초하여 컬러 보정된 데이터에 포함된 노이즈를 제거하는 단계는, 상기 컬러 보정에 의해 획득된 데이터값과 상기 컬러 보간에 의해 획득한 데이터값 사이의 값들 중에서 상기 컬러 보정 강도에 상응하는 데이터값을 노이즈 제거 데이터로 획득함으로써 상기 컬러 보정된 데이터에 포함된 노이즈를 제거할 수 있다. 상기 설정된 컬러 보정 강도에 기초하여 컬러 보정된 데이터에 포함된 노이즈를 제거하는 단계는, 수학식 Ro=((Norm-Strength)×Rc+Strength×Ri)/Norm, Go=((Norm-Strength)×Gc+Strength×Gi)/Norm, Bo=((Norm-Strength)×Bc+Strength ×Bi)/Norm(여기서, Ro,Go,Bo는 상기 노이즈 제거 데이터, Rc,Gc,Bc는 상기 컬러 보정에 의해 획득된 데이터값, Ri,Gi,Bi는 상기 컬러 보간에 의해 획득된 데이터값, Strength는 컬러 보정 강도, Norm는 정규화 변수를 의미)을 이용하여 상기 컬러 보정된 데이터에 포함된 노이즈를 제거할 수 있다.In addition, the color correction method according to an aspect of the present invention for achieving the second object of the present invention, performing a color interpolation on the image data provided from the image sensor, and based on the data on which the color interpolation is performed Obtaining a luminance value, performing color correction on the color interpolated data, and when the obtained luminance value is smaller than a preset area boundary value, the color correction intensity is preset to a maximum intensity value and a preset value. Setting a value corresponding to the luminance value among values among the set minimum intensity values and removing noise included in the color corrected data based on the set color correction intensity. The color correction method may further include setting the color correction intensity to the minimum intensity value when the obtained luminance value is greater than or equal to a preset area boundary value. When the obtained luminance value is smaller than a preset area boundary value, setting the color correction intensity to a value corresponding to the luminance value from among values between a preset maximum intensity value and a preset minimum intensity value, = ((threshold-Y i ) × Str1 + Y i × Str2) / threshold) (where Strength is the color correction intensity, threshold is an area boundary value, Str1 is the maximum intensity value, Str2 is the minimum intensity value, Y i denotes the luminance value). The step of removing noise included in the color corrected data based on the set color correction intensity may be performed based on the color correction intensity from among values between the data value obtained by the color correction and the data value obtained by the color interpolation. The noise included in the color corrected data may be removed by acquiring a corresponding data value as the noise removing data. The step of removing noise included in the color corrected data based on the set color correction intensity may be performed by the following equation: Ro = ((Norm-Strength) × Rc + Strength × Ri) / Norm, Go = ((Norm-Strength) × Gc + Strength × Gi) / Norm, Bo = ((Norm-Strength) × Bc + Strength × Bi) / Norm (where R o , G o , B o are the noise reduction data, R c , G c , B c is the data value obtained by the color correction, R i , G i , B i is the data value obtained by the color interpolation, Strength is the color correction intensity, Norm means a normalization variable) Noise included in the corrected data can be removed.

또한, 본 발명의 제3 목적을 달성하기 위한 본 발명의 일 측면에 따른 컬러 보정 방법이 기록된 기록 매체는 이미지 센서로부터 제공된 이미지 데이터에 대한 컬러 보간을 수행하는 단계와, 상기 컬러 보간이 수행된 데이터에 기초하여 휘도값 을 획득하는 단계와, 상기 컬러 보간이 수행된 데이터에 대해 컬러 보정을 수행하는 단계와, 상기 획득한 휘도값이 미리 설정된 영역 경계값보다 작은 경우 컬러 보정 강도를 미리 설정된 최대 강도값 및 미리 설정된 최소 강도값 사이의 값 중에서 상기 휘도값에 대응되는 값으로 설정하는 단계 및 상기 설정된 컬러 보정 강도에 기초하여 컬러 보정된 데이터에 포함된 노이즈를 제거하는 단계를 수행하는 프로그램이 기록된다.In addition, the recording medium recorded with the color correction method according to an aspect of the present invention for achieving the third object of the present invention is to perform a color interpolation on the image data provided from the image sensor, and the color interpolation is performed Acquiring a luminance value based on data, performing color correction on the data on which color interpolation is performed, and when the obtained luminance value is smaller than a preset area boundary value, a color correction intensity is preset to a maximum value. A program for setting a value corresponding to the luminance value among the value between the intensity value and the preset minimum intensity value and removing noise included in the color corrected data based on the set color correction intensity do.

상기와 같은 이미지 신호 처리 장치, 이미지 신호 처리 장치의 컬러 보정 방법 및 컬러 보정 방법이 기록된 기록 매체에 따르면, 컬러 보정부가 컬러 보간부로부터 제공된 보간된 데이터(Ri, Gi, Bi)에 기초하여 휘도값(Yi)을 생성하고, 시스템으로부터 제공된 영역 경계값에 기초하여 휘도값(Y)을 두 개의 영역으로 구분한 후 상기 생성된 휘도값(Yi)에 기초하여 적응적으로 컬러 보정 강도값(Strength)을 생성한 후 생성된 컬러 보정 강도값(Strength)에 기초하여 컬러 보정과정에서 발생된 컬러 노이즈를 제거한다.The image signal processing apparatus, according to the color correction method and a color-correcting method is recorded the recording medium in the image signal processing apparatus, as provided by the color correction portion color interpolating interpolated data (R i, G i, B i), such as the color is adaptively based on the after base to generate a luminance value (Y i), and based on the region border value provided by the system separates the luminance (Y) into two regions the generated luminance value (Y i) After generating the correction intensity value, the color noise generated in the color correction process is removed based on the generated color correction intensity value.

따라서, 컬러 보정 과정에서 발생하는 컬러 노이즈를 효율적으로 제거할 수 있고, 특히, 이미지의 어두운 영역에서 발생할 수 있는 컬러 노이즈를 효율적으로 제거할 수 있다.Therefore, color noise generated in the color correction process can be efficiently removed, and in particular, color noise that can occur in dark areas of the image can be efficiently removed.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. As the invention allows for various changes and numerous embodiments, particular embodiments will be illustrated in the drawings and described in detail in the written description. However, this is not intended to limit the present invention to specific embodiments, it should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention. Like reference numerals are used for like elements in describing each drawing.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다. The terms first, second, etc. may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component. And / or < / RTI > includes any combination of a plurality of related listed items or any of a plurality of related listed items.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. When a component is referred to as being "connected" or "connected" to another component, it may be directly connected to or connected to that other component, but it may be understood that other components may be present in between. Should be. On the other hand, when a component is said to be "directly connected" or "directly connected" to another component, it should be understood that there is no other component in between.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르 게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular example embodiments only and is not intended to be limiting of the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In this application, the terms "comprise" or "have" are intended to indicate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, and one or more other features. It is to be understood that the present invention does not exclude the possibility of the presence or the addition of numbers, steps, operations, components, components, or a combination thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art. Terms such as those defined in the commonly used dictionaries should be construed as having meanings consistent with the meanings in the context of the related art and shall not be construed in ideal or excessively formal meanings unless expressly defined in this application. Do not.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.Hereinafter, with reference to the accompanying drawings, it will be described in detail a preferred embodiment of the present invention. In the following description of the present invention, the same reference numerals are used for the same elements in the drawings and redundant descriptions of the same elements will be omitted.

도 2는 본 발명의 일 실시예에 따른 이미지 신호 처리 장치의 구성을 나타내는 블록도로서, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 도시를 생략하였다.FIG. 2 is a block diagram illustrating a configuration of an image signal processing apparatus according to an exemplary embodiment of the present invention, and descriptions of well-known functions and configurations that may unnecessarily obscure the subject matter of the present invention are omitted.

도 2를 참조하면, 이미지 신호 처리 장치는 전처리부(100), 컬러 보간부(200) 및 컬러 보정부(300)를 포함할 수 있다.2, the image signal processing apparatus may include a preprocessor 100, a color interpolator 200, and a color corrector 300.

전처리부(100)는 이미지 센서로부터 제공된 베이어 이미지 데이터에 대해 이미지 센서에 존재하는 결점의 보정(defect correction) 및/또는 렌즈의 짧은 초점거리로 인해 발생하는 쉐이딩 보정(shading correction)을 수행한다.The preprocessing unit 100 performs shading correction caused by defect correction and / or short focal length of the lens on the Bayer image data provided from the image sensor.

컬러 보간부(200)는 보간(interpolation)을 통하여 베이어 이미지 데이터에 포함된 각각의 화소 성분을 R(Red), G(Green), B(Blue) 성분으로 분리한 후 이들을 결합하여 각각의 화소가 R, G, B의 세가지 채널 성분을 가지는 이미지 데이터를 생성한 후, 생성된 데이터(Ri, Gi, Bi)를 컬러 보정부(300)에 제공한다.The color interpolator 200 separates each pixel component included in the Bayer image data into R (Red), G (Green), and B (Blue) components through interpolation, and combines the pixels to combine the pixels. R, G, and then generate image data having the three-channel component of B, the resulting data (R i, G i, B i) and provides the color correction section 300.

컬러 보정부(300)는 컬러 보간부(200)로부터 제공된 보간된 데이터(Ri, Gi, Bi)에 기초하여 휘도값(Yi)을 생성하고, 시스템으로부터 제공된 영역 경계값에 기초하여 휘도값(Y)을 두 개의 영역으로 구분한 후 상기 생성된 휘도값(Yi)에 기초하여 적응적으로 컬러 보정 강도값(Strength)을 생성한 후 생성된 컬러 보정 강도값(Strength)에 기초하여 컬러 보정과정에서 발생된 컬러 노이즈를 제거한다.The color corrector 300 generates a luminance value Y i based on the interpolated data Ri, Gi, Bi provided from the color interpolator 200, and generates a luminance value ( i ) based on an area boundary value provided from the system. After dividing Y) into two regions, adaptively generating a color correction intensity value based on the generated luminance value Y i and then correcting the color based on the generated color correction intensity value Eliminate color noise generated in the process.

구체적으로, 컬러 보정부(300)는 컬러 재생부(310), 휘도 신호 생성부(330), 컬러 보정 강도 생성부(350) 및 노이즈 제거부(370)를 포함할 수 있다.In detail, the color corrector 300 may include a color reproducer 310, a luminance signal generator 330, a color correction intensity generator 350, and a noise remover 370.

컬러 재생부(310)는 컬러 보간부(200)로부터 보간된 데이터(Ri, Gi, Bi)를 제공받고, 제공받은 보간 데이터(Ri, Gi, Bi)에 컬러 재생 이득(color reproduction gain)을 곱하여 보간된 데이터의 분광 특성을 sRGB 또는 Adobe RGB의 분광 특성에 근접하게 보정한 후 컬러 보정된 데이터(Rc, Gc, Bc)를 출력한다.Color reproduction gain to the color reproducing unit 310 includes a color interpolator 200. The data (R i, G i, B i) interpolated data (R i, G i, B i) provided under, provide interpolated from ( By multiplying the color reproduction gain, the spectral characteristics of the interpolated data are corrected to be close to those of sRGB or Adobe RGB, and then the color corrected data R c , G c , and B c are output.

컬러 재생부(310)는 수학식 1을 통해 컬러 보정을 수행할 수 있다.The color reproduction unit 310 may perform color correction through Equation 1.

Figure 112008089621277-pat00001
Figure 112008089621277-pat00001

수학식 1에서 Gxx(x는 R, G 또는 B)는 컬러 재생 이득을 의미한다.In Equation 1, G xx (x is R, G or B) denotes a color reproduction gain.

휘도 신호 생성부(330)는 컬러 보간부(200)로부터 제공된 보간된 데이터(Ri, Gi, Bi)에 기초하여 휘도값(Yi)을 생성한 후 생성된 휘도값(Yi)을 컬러 보정 강도 생성부(350)에 제공한다.Luminance signal generation unit 330 then generates a luminance value (Y i) on the basis of the color interpolator (200) the data (R i, G i, B i) interpolation supplied from the generated luminance value (Y i) To the color correction intensity generator 350.

여기서, 휘도 신호 생성부(330)는 수학식 2를 통해 휘도값(Yi)을 생성할 수 있다.Here, the luminance signal generator 330 may generate the luminance value Y i through Equation 2.

Yi=0.299×Ri+0.587×Gi+0.114×Bi Y i = 0.299 × R i + 0.587 × G i + 0.114 × B i

컬러 보정 강도 생성부(350)는 휘도 신호 생성부(330)로부터 휘도값(Yi)을 제공받고, 휘도값(Yi)에 따라 컬러 보정 강도값(Strength)을 적응적으로 생성한다.The color correction intensity generator 350 receives the luminance value Y i from the luminance signal generator 330 and adaptively generates the color correction intensity value Strength according to the luminance value Y i .

구체적으로, 컬러 보정 강도 생성부(350)는 이미지 신호 처리 장치가 장착된 시스템의 제어부(미도시)로부터 영역 경계값(threshold), 최대 강도값(Str1) 및 최 소 강도값(Str2)을 제공받고, 영역 경계값(threshold)에 따라 휘도값(Y)을 제1 영역 및 제2 영역으로 구분한다.In detail, the color correction intensity generator 350 provides an area threshold, a maximum intensity value Str1, and a minimum intensity value Str2 from a control unit (not shown) of a system in which an image signal processing apparatus is mounted. The luminance value Y is divided into a first region and a second region according to an area threshold.

컬러 보정 강도 생성부(350)는 휘도 신호 생성부(330)로부터 제공된 휘도값(Yi)이 제1 영역에 속하는 경우는 수학식 3에 따라 휘도값(Yi)에 대응되는 컬러 보정 강도값(Strength)을 최대 강도값(Str1)과 최소 강도값(Str2) 사이에서 적응적으로 생성하고, 휘도값(Yi)이 제2 영역에 속하는 경우는 최소 강도값(Str2)을 컬러 보정 강도값(Strength)으로 생성(즉, Strength=Str2)한다. When the luminance value Y i provided from the luminance signal generation unit 330 belongs to the first region, the color correction intensity generation unit 350 corresponds to the color correction intensity value corresponding to the luminance value Y i according to Equation 3 below. (Strength) is adaptively generated between the maximum intensity value Str1 and the minimum intensity value Str2, and when the luminance value Y i belongs to the second region, the minimum intensity value Str2 is defined as the color correction intensity value. Create (Strength) (ie Strength = Str2).

Strength=((threshold-Yi)×Str1 + Yi×Str2)/threshold)Strength = ((threshold-Y i ) × Str1 + Y i × Str2) / threshold)

노이즈 제거부(370)는 컬러 보간부(200)로부터 보간된 데이터(Ri, Gi, Bi)와, 컬러 재생부(310)로부터 컬러 보정된 데이터(Rc, Gc, Bc)를 제공받고, 컬러 보정 강도 생성부(350)로부터 컬러 보정 강도값(Strength)을 제공받은 후, 보간된 데이터(Ri, Gi, Bi)와 컬러 보정된 데이터(Rc, Gc, Bc) 사이의 값 중 컬러 보정 강도값(Strength)에 상응하는 값을 노이즈 제거 데이터(Ro, Go, Bo)로 출력한다.The noise removing unit 370 is interpolated from the color interpolation unit 200 (R i , G i , B i ), and the color corrected data from the color reproduction unit 310 (R c , G c , B c ) After receiving the color correction intensity value (Strength) from the color correction intensity generation unit 350, the interpolated data (R i , G i , B i ) and the color corrected data (R c , G c , Among the values between B c ), a value corresponding to the color correction intensity value (Strength) is output as noise reduction data Ro , G o , and B o .

노이즈 제거부(370)는 수학식 4에 의해 노이즈 제거 데이터(Ro, Go, Bo)를 획득할 수 있다.The noise removing unit 370 may obtain noise removing data Ro , G o , and B o by Equation 4.

Ro=((Norm-Strength)×Rc+Strength×Ri)/NormR o = ((Norm-Strength) × R c + Strength × R i ) / Norm

Go=((Norm-Strength)×Gc+Strength×Gi)/NormG o = ((Norm-Strength) × G c + Strength × G i ) / Norm

Bo=((Norm-Strength)×Bc+Strength×Bi)/NormB o = ((Norm-Strength) × B c + Strength × B i ) / Norm

수학식 4에서, Norm은 정규화(normalize) 변수로 노이즈 제거 데이터(Ro, Go, Bo)를 소정 값으로 정규화하기 위해 사용된다. 예를들어, 정규화 변수는 255가 될 수 있다.In Equation 4, Norm is used to normalize the noise reduction data Ro , G o , B o to a predetermined value as a normalization variable. For example, the normalization variable can be 255.

도 3은 도 2에 도시된 컬러 보정 강도 생성부의 기능을 설명하기 위한 개념도이다.FIG. 3 is a conceptual diagram for describing a function of the color correction intensity generation unit illustrated in FIG. 2.

도 3을 참조하면, 컬러 보정 강도 생성부(350)는 제공된 영역 경계값(threshold)을 기준으로 휘도값(Y)을 영역 1 및 영역 2의 두 개의 영역으로 구분하고, 휘도 신호 생성부(330)로부터 제공된 휘도값(Yi)이 영역 1에 포함되는 경우(즉, Yi<threshold)에는 수학식 3에 기초하여 컬러 보정 강도값(Strength)을 최대 강도값(Str1)과 최소 강도값(Str2) 사이에서 적응적으로 생성하고, 휘도값(Yi)이 영역 2에 포함되는 경우(즉, Yi≥threshold)에는 최소 강도값(Str2)를 컬러 보정 강도값(Strength)으로 생성한다.Referring to FIG. 3, the color correction intensity generator 350 divides the luminance value Y into two regions of region 1 and region 2 based on the provided region threshold, and generates the luminance signal generator 330. In the case where the luminance value Y i provided from) is included in the area 1 (that is, Y i <threshold), the color correction intensity value Strength is converted into the maximum intensity value Str1 and the minimum intensity value Str2) is adaptively generated, and when the luminance value Y i is included in the region 2 (that is, Y i ≥ threshold), the minimum intensity value Str2 is generated as the color correction intensity value Strength.

즉, 본 발명의 일 실시예에 따른 컬러 보정 과정에서는 이미지의 휘도값(Yi)이 영역 경계값(threshold)보다 작은 영역(즉, 영역 1)인 암부에서는 컬러 보정 강도를 높이고, 이미지의 휘도값(Yi)이 영역 경계값(threshold)보다 큰 영역(즉, 영역 2)인 명부에서는 컬러 보정 강도를 낮게 하여 컬러 보정 과정에서 발생되는 컬러 노이즈를 효과적으로 제거한다.That is, in the color correction process according to an embodiment of the present invention, in the dark part where the luminance value Y i of the image is smaller than the region threshold (that is, region 1), the color correction intensity is increased and the luminance of the image is increased. In an area where the value Y i is larger than the area threshold (that is, area 2), the color correction intensity is lowered to effectively remove color noise generated during the color correction process.

또한, 이미지의 휘도값(Yi)이 영역 경계값(threshold)보다 작은 경우에는 수학식 3에 기초하여 설정된 최대 강도값(Str1)과 최소 강도값(Str2) 사이에서 휘도값(Yi)에 상응하는 컬러 보정 강도값(Strength)을 적응적으로 결정한다.Further, when the luminance values in the image (Y i) is smaller than the area threshold value (threshold), the luminance values between the maximum intensity value (Str1) and minimum strength value (Str2) is set on the basis of Equation 3 (Y i) The corresponding color correction intensity value is adaptively determined.

상기 영역 경계값(threshold), 최대 강도값(Str1), 및 최소 강도값(Str2)은 반복적인 실험을 통하여 이미지의 휘도에 상응하는 파라미터 값을 결정한 후 룩업 테이블 형식으로 시스템에 저장한 후, 시스템의 제어부가 이미지의 휘도에 따라 해당 파라미터값을 컬러 보정 강도 생성부(350)에 제공하도록 구성될 수 있다.The region threshold value, the maximum intensity value Str1, and the minimum intensity value Str2 determine the parameter values corresponding to the luminance of the image through an iterative experiment, and store them in the lookup table format. The controller of may be configured to provide the parameter value to the color correction intensity generator 350 according to the brightness of the image.

도 4는 도 2에 도시된 노이즈 제거부의 기능을 설명하기 위한 개념도이다.4 is a conceptual diagram for describing a function of the noise removing unit illustrated in FIG. 2.

도 4를 참조하면, 본 발명의 일 실시예에 따른 컬러 보정 과정에서는 도 3에 도시된 바와 같이 이미지의 휘도값에 따라 적응적으로 컬러 보정 강도값(Strength)을 결정하고, 수학식 4를 이용하여 컬러 보정 강도값(Strength)에 상응하는 값을 노이즈 제거 데이터(Ro, Go, Bo)로 출력함으로써 컬러 보정 과정에서 발생하는 노이즈를 제거한다.Referring to FIG. 4, in the color correction process according to the exemplary embodiment of the present invention, as shown in FIG. 3, the color correction intensity value (Strength) is adaptively determined according to the luminance value of the image, and Equation 4 is used. By outputting the value corresponding to the color correction intensity (Strength) as noise removal data (R o , G o , B o ) to remove the noise generated during the color correction process.

예를 들어, 컬러 보정 강도값(Strength)이 '0'인 경우(즉, 노이즈 제거를 수행하지 않는 경우)에는 컬러 재생부(310)에서 컬러 보정된 데이터(Rc, Gc, Bc)를 노 이즈 제거 데이터(Ro, Go, Bo)로 출력함으로써 컬러 보정된 데이터에 대해 노이즈 제거를 수행하지 않는다.For example, when the color correction intensity (Strength) is '0' (that is, when no noise reduction is performed), the color corrected data R c , G c , and B c in the color reproducing unit 310 are performed. By outputting to the noise canceling data (R o , G o , B o ), noise canceling is not performed on color corrected data.

또는, 컬러 보정 강도값(Strength)이 '255'인 경우(즉, 컬러 보정 강도로 최대로 높인 경우)에는 컬러 보간부(200)에서 컬러 보간된 데이터(Ri, Gi, Bi)를 노이즈 제거 데이터(Ro, Go, Bo)로 출력한다.Alternatively, the color correction intensity value (Strength) is the "255" if the (that is, the maximum increased by the color correction intensity), the color interpolating the color interpolation in the 200 data (R i, G i, B i) Output as noise reduction data (R o , G o , B o ).

또는, 컬러 보정 강도값(Strength)이 '0'과'255'사이에 해당하는 경우에는 수학식 4에 기초하여 컬러 보간된 데이터(Ri, Gi, Bi)값과 컬러 보정된 데이터(Rc, Gc, Bc)값 사이에서 컬러 보정 강도값(Strength)에 상응하는 데이터 값을 노이즈 제거 데이터(Ro, Go, Bo)로 출력한다.Alternatively, the color correction intensity value (Strength) is "0" and "255" that is the color interpolated data (R i, G i, B i) values and the color correction data based on Equation 4. When between ( The data value corresponding to the color correction intensity value (Strength) between R c , G c , and B c ) values is output as noise reduction data Ro , G o , and B o .

도 5는 본 발명의 일 실시예에 따른 컬러 보정 과정을 나타내는 흐름도이다.5 is a flowchart illustrating a color correction process according to an embodiment of the present invention.

먼저, 이미지 신호 처리 장치는 이미지 센서로부터 제공된 베이어 이미지 데이터에 대해 이미지 센서에 존재하는 결점의 보정(defect correction) 및/또는 렌즈의 짧은 초점거리로 인해 발생하는 쉐이딩 보정(shading correction) 등과 같은 전처리를 수행한다(단계 501).First, the image signal processing apparatus performs preprocessing such as shading correction caused by defect correction and / or short focal length of the lens with respect to Bayer image data provided from the image sensor. Perform (step 501).

이후, 이미지 신호 처리 장치는 전처리가 수행된 베이어 이미지 데이터에 포함된 각각의 화소 성분을 R, G, B 성분으로 분리한 후 이들을 결합하여 각각의 화소가 R, G, B의 세가지 채널 성분을 가지는 컬러 보간된 이미지 데이터(Ri, Gi, Bi)를 생성한다(단계 503).Thereafter, the image signal processing apparatus divides each pixel component included in the pre-processed Bayer image data into R, G, and B components, and combines them to have each of the three channel components R, G, and B. to produce an interpolated color image data (R i, G i, B i) ( step 503).

이미지 신호 처리 장치는 컬러 보간된 데이터(Ri, Gi, Bi)의 분광 특성이 sRGB 또는 Adobe RGB의 분광 특성에 근접하도록 컬러를 보정하여 컬러 보정된 데이터(Rc, Gc, Bc)를 출력한다(단계 505).The image signal processing apparatus corrects color such that the spectral characteristics of the color interpolated data (R i , G i , B i ) are close to the spectral characteristics of sRGB or Adobe RGB, and the color corrected data (R c , G c , B c). ) Is output (step 505).

또한, 이미지 신호 처리 장치는 컬러 보간된 데이터(Ri, Gi, Bi)에 대해 수학식 2를 적용하여 휘도값(Yi)을 생성한다(단계 507).Further, the image signal processing apparatus generates by applying the equation (2) for the interpolated color data (R i, G i, B i) the luminance value (Y i) (step 507).

또한, 이미지 신호 처리 장치는 시스템 제어부로부터 노이즈 제거를 위한 파라미터값인 영역 경계값(threshold), 최대 강도값(Str1) 및 최소 강도값(Str2)을 제공받는다(단계 509).In addition, the image signal processing apparatus receives an area threshold value, a maximum intensity value Str1 and a minimum intensity value Str2 that are parameter values for removing noise from the system controller (step 509).

이후, 이미지 신호 처리 장치는 단계 507에서 생성된 휘도값(Yi)과 단계 509에서 제공 받은 영역 경계값(threshold)를 비교하고(단계 511), 상기 휘도값(Yi)이 상기 영역 경계값(threshold) 보다 작은 경우(즉, 휘도값이 영역 1에 포함되는 경우)에는, 수학식 3을 이용하여 컬러 보정 강도값(Strength)을 최대 강도값(Str1)과 최소 강도값(Str2) 사이에서 적응적으로 생성한다(단계 513).Thereafter, the image signal processing apparatus compares the luminance value Y i generated in step 507 with the region threshold provided in step 509 (step 511), and the luminance value Y i is the region boundary value. If smaller than (threshold) (i.e., the luminance value is included in the area 1), the color correction intensity value Strength is expressed between the maximum intensity value Str1 and the minimum intensity value Str2 using Equation 3. Generate adaptively (step 513).

단계 511에서, 상기 휘도값(Yi)이 상기 영역 경계값(threshold) 보다 큰 경우(즉, 휘도값이 영역 2에 포함되는 경우)에는, 이미지 신호 처리 장치는 컬러 보정 강도값(Strength)을 최소 강도값(Str2)으로 설정한다(단계 515).In step 511, when the luminance value Y i is greater than the region threshold (that is, when the luminance value is included in the region 2), the image signal processing apparatus may adjust the color correction intensity value (Strength). The minimum intensity value Str2 is set (step 515).

이후, 이미지 신호 처리 장치는 수학식 4를 이용하여 보간된 데이터(Ri, Gi, Bi)와 컬러 보정된 데이터(Rc, Gc, Bc) 사이의 값 중 단계 513 또는 단계 515에서 생성된 컬러 보정 강도값(Strength)에 상응하는 값을 노이즈 제거 데이터(Ro, Go, Bo)로 출력한다(단계 517).Then, the image signal processing apparatus includes phase of the values between the interpolated using equation (4) data (R i, G i, B i) and the color-correction data (R c, G c, B c) 513 or step 515 A value corresponding to the color correction intensity value (Strength) generated in step C is output as the noise removal data Ro , G o , and B o (step 517).

도 6은 본 발명의 일 실시예에 따라 컬러 보정 방법이 적용된 이미지의 컬러 보정 결과를 나타내는 것으로, 도 6의 (a)는 컬러 보간부(200)에서 컬러 보간된 이미지를 나타내고, 도 6의 (b)는 종래의 컬러 보정 방법에 따라 컬러 보정된 이미지를 나타낸다. 또한, 도 6의 (c)는 본 발명의 실시예에 따라 컬러 보정된 이미지를 나타낸다.6 is a view illustrating a color correction result of an image to which a color correction method is applied according to an embodiment of the present invention. FIG. 6A illustrates an image that is color interpolated by the color interpolator 200. b) shows a color corrected image according to a conventional color correction method. 6C shows the color corrected image according to the embodiment of the present invention.

도 6에 도시된 바와 같이, 종래의 컬러 보정 방법은, 이미지 전체에 대하여 일괄적인 컬러 보정 강도를 적용하여 컬러 보정을 수행하기 때문에 어두운 영역(601)에서 의도하지 않은 컬러 노이즈가 발생한다.As shown in FIG. 6, in the conventional color correction method, color correction is performed by applying collective color correction intensities to an entire image, so that undesired color noise occurs in the dark region 601.

그러나, 본 발명의 일 실시예에 따른 컬러 보정 방법에서는 설정된 영역 경계값에 따라 이미지의 휘도 영역을 두 개의 영역으로 구분하고 어두운 영역에서는 컬러 보정 강도값(Strength)을 계산에 의해 획득한 휘도값(Yi)에 따라 적응적으로 적용하여 노이즈를 제거하고, 밝은 영역에서는 최소 강도값(Str2)을 적용하여 노이즈를 제거하기 때문에 도 6의 (c)에 도시된 바와 같이 컬러 보정 과정에서 발생하는 컬러 노이즈를 효율적으로 제거할 수 있다.However, in the color correction method according to the exemplary embodiment of the present invention, the luminance region of the image is divided into two regions according to the set region boundary value, and in the dark region, the luminance value obtained by calculating the color correction intensity value (Strength) ( Y i ) to remove noise by adaptively applying and to remove noise by applying the minimum intensity value Str2 in bright areas, as shown in FIG. Noise can be removed efficiently.

이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although described with reference to the embodiments above, those skilled in the art will understand that the present invention can be variously modified and changed without departing from the spirit and scope of the invention as set forth in the claims below. Could be.

도 1은 일반적인 이미지 신호 처리 장치의 구성을 나타내는 블록도이다.1 is a block diagram showing the configuration of a general image signal processing apparatus.

도 2는 본 발명의 일 실시예에 따른 이미지 신호 처리 장치의 구성을 나타내는 블록도이다.2 is a block diagram illustrating a configuration of an image signal processing apparatus according to an embodiment of the present invention.

도 3은 도 2에 도시된 컬러 보정 강도 생성부의 기능을 설명하기 위한 개념도이다.FIG. 3 is a conceptual diagram for describing a function of the color correction intensity generation unit illustrated in FIG. 2.

도 4는 도 2에 도시된 컬러 보정부의 기능을 설명하기 위한 개념도이다.FIG. 4 is a conceptual diagram for describing a function of the color corrector shown in FIG. 2.

도 5는 본 발명의 일 실시예에 따른 컬러 보정 과정을 나타내는 흐름도이다.5 is a flowchart illustrating a color correction process according to an embodiment of the present invention.

도 6은 본 발명의 일 실시예에 따라 컬러 보정 방법이 적용된 이미지의 컬러 보정 결과를 나타낸다.6 illustrates a color correction result of an image to which a color correction method is applied according to an embodiment of the present invention.

<도면의 주요 부분에 대한 부호의 설명><Explanation of symbols for the main parts of the drawings>

100 : 전처리부 200 : 컬러 보간부100: preprocessing unit 200: color interpolation unit

300 : 컬러 보정부 310 : 컬러 재생부300: color correction unit 310: color reproduction unit

330 : 휘도 신호 생성부 350 : 컬러 보정 강도 생성부330: luminance signal generator 350: color correction intensity generator

370 : 컬러 보정부 370: color correction unit

Claims (12)

컬러 보정을 수행하는 이미지 신호 처리 장치에 있어서,An image signal processing apparatus for performing color correction, 이미지 센서로부터 제공된 이미지 데이터에 대한 컬러 보간을 수행하는 컬러 보간부; 및A color interpolator for performing color interpolation on image data provided from an image sensor; And 상기 컬러 보간이 수행된 데이터에 대해 컬러 보정을 수행하고, 상기 컬러 보간이 수행된 데이터에 기초하여 휘도값을 획득한 후, 상기 획득한 휘도값이 미리 설정된 영역 경계값 보다 작은 경우, 수학식 Strength=((threshold-Yi)×Str1 + Yi×Str2)/threshold) (여기서, Strength는 상기 컬러 보정 강도, threshold는 영역 경계값, Str1은 최대 강도값, Str2는 최소 강도값, Yi는 상기 휘도값을 의미함)에 의해 상기 컬러 보정 강도를 설정하고, 상기 획득한 휘도값이 미리 설정된 영역 경계값 보다 큰 경우 Strength=Str2 (여기서, Str2는 상기 최소 강도값을 의미함)에 대해 상기 컬러 보정 강도를 설정하고, 상기 설정된 컬러 보정 강도에 기초하여 컬러 보정된 데이터에 포함된 노이즈를 제거하는 컬러 보정부를 포함하는 이미지 신호 처리 장치.When color correction is performed on the data on which the color interpolation is performed and the luminance value is obtained based on the data on which the color interpolation is performed, when the obtained luminance value is smaller than a preset area boundary value, = ((threshold-Y i ) × Str1 + Y i × Str2) / threshold) (where Strength is the color correction intensity, threshold is the area boundary value, Str1 is the maximum intensity value, Str2 is the minimum intensity value, and Y i is The color correction intensity, and when the obtained luminance value is larger than a preset area boundary value, the strength is equal to the strength value of Str2 (where Str2 represents the minimum intensity value). And a color correction unit for setting a color correction intensity and removing noise included in the color corrected data based on the set color correction intensity. 제1항에 있어서, 상기 컬러 보정부는The method of claim 1, wherein the color correction unit 상기 컬러 보간이 수행된 데이터에 대해 컬러 보정을 수행하는 컬러 재생부;A color reproduction unit for performing color correction on the data on which the color interpolation has been performed; 상기 컬러 보간이 수행된 데이터에 기초하여 휘도값을 획득하는 휘도 신호 생성부;A luminance signal generator which obtains a luminance value based on the data on which color interpolation is performed; 상기 획득한 휘도값이 미리 설정된 영역 경계값보다 작은 경우 컬러 보정 강도를 미리 설정된 최대 강도값 및 미리 설정된 최소 강도값 사이의 값 중에서 상기 휘도값에 대응되는 값으로 설정하는 컬러 보정 강도 생성부; 및A color correction intensity generator configured to set a color correction intensity to a value corresponding to the luminance value among a value between a preset maximum intensity value and a preset minimum intensity value when the obtained luminance value is smaller than a preset area boundary value; And 상기 설정된 컬러 보정 강도에 기초하여 컬러 보정된 데이터에 포함된 노이즈를 제거하는 노이즈 제거부를 포함하는 것을 특징으로 하는 이미지 신호 처리 장 치.And a noise removing unit for removing noise included in color corrected data based on the set color correction intensity. 제2항에 있어서, 상기 컬러 보정 강도 생성부는,The method of claim 2, wherein the color correction intensity generating unit, 상기 획득한 휘도값이 미리 설정된 영역 경계값 이상인 경우에는 상기 컬러 보정 강도를 상기 최소 강도값으로 설정하는 것을 특징으로 하는 이미지 신호 처리 장치.And the color correction intensity is set to the minimum intensity value when the obtained luminance value is equal to or greater than a preset area boundary value. 삭제delete 제2항에 있어서, 상기 노이즈 제거부는,The noise canceling unit of claim 2, 상기 컬러 재생부로부터 제공된 컬러 보정에 의해 획득된 데이터값과 상기 컬러 보간부로부터 제공된 컬러 보간에 의해 획득한 데이터값 사이의 값들 중에서 상기 컬러 보정 강도에 상응하는 데이터값을 노이즈 제거 데이터로 획득함으로써 상기 컬러 보정된 데이터에 포함된 노이즈를 제거하는 것을 특징으로 하는 이미지 신호 처리 장치.The data value corresponding to the color correction intensity is obtained as noise reduction data from among values between the data value obtained by color correction provided from the color reproducing unit and the data value obtained by color interpolation provided from the color interpolation unit. The image signal processing device, characterized in that to remove the noise contained in the color-corrected data. 제5항에 있어서, 상기 노이즈 제거부는, 수학식The method of claim 5, wherein the noise removing unit, Ro=((Norm-Strength)×Rc+Strength×Ri)/NormR o = ((Norm-Strength) × R c + Strength × R i ) / Norm Go=((Norm-Strength)×Gc+Strength×Gi)/NormG o = ((Norm-Strength) × G c + Strength × G i ) / Norm Bo=((Norm-Strength)×Bc+Strength×Bi)/NormB o = ((Norm-Strength) × B c + Strength × B i ) / Norm (여기서, Ro,Go 및 Bo는 상기 노이즈 제거 데이터, Rc,Gc 및 Bc는 상기 컬러 보정에 의해 획득된 데이터값, Ri,Gi 및 Bi는 상기 컬러 보간에 의해 획득된 데이터값, Strength는 컬러 보정 강도, Norm는 정규화 변수를 의미)을 이용하여 상기 컬러 보정된 데이터에 포함된 노이즈를 제거하는 것을 특징으로 하는 이미지 신호 처리 장치.Where R o , G o and B o are the noise reduction data, R c , G c and B c are data values obtained by the color correction, and R i , G i and B i are obtained by the color interpolation. And a noise value included in the color corrected data by using the acquired data value, Strength means color correction intensity, and Norm means normalization variable. 이미지 신호 처리 장치의 컬러 보정 방법에 있어서,In the color correction method of the image signal processing apparatus, 이미지 센서로부터 제공된 이미지 데이터에 대한 컬러 보간을 수행하는 단계;Performing color interpolation on image data provided from the image sensor; 상기 컬러 보간이 수행된 데이터에 기초하여 휘도값을 획득하는 단계;Obtaining a luminance value based on the data on which the color interpolation has been performed; 상기 컬러 보간이 수행된 데이터에 대해 컬러 보정을 수행하는 단계;Performing color correction on the data on which the color interpolation has been performed; 상기 획득한 휘도값이 미리 설정된 영역 경계값 보다 작은 경우, 수학식 Strength=((threshold-Yi)×Str1 + Yi×Str2)/threshold) (여기서, Strength는 상기 컬러 보정 강도, threshold는 영역 경계값, Str1은 최대 강도값, Str2는 최소 강도값, Yi는 상기 휘도값을 의미함)에 의해 상기 컬러 보정 강도를 설정하고, 상기 획득한 휘도값이 미리 설정된 영역 경계값 보다 큰 경우 Strength=Str2 (여기서, Str2는 상기 최소 강도값을 의미함)에 대해 상기 컬러 보정 강도를 설정하는 단계; 및When the obtained luminance value is smaller than a predetermined region boundary value, the formula Strength = ((threshold-Y i ) × Str1 + Y i × Str2) / threshold) (where Strength is the color correction intensity and threshold is an area). The color correction intensity is set by a threshold value, Str1 is a maximum intensity value, Str2 is a minimum intensity value, and Y i is the luminance value), and when the obtained luminance value is larger than a preset area boundary value, Setting the color correction intensity for = Str2, where Str2 means the minimum intensity value; And 상기 설정된 컬러 보정 강도에 기초하여 컬러 보정된 데이터에 포함된 노이즈를 제거하는 단계를 포함하는 컬러 보정 방법.And removing noise included in the color corrected data based on the set color correction intensity. 제7항에 있어서, 상기 컬러 보정 방법은,The method of claim 7, wherein the color correction method, 상기 획득한 휘도값이 미리 설정된 영역 경계값 이상인 경우에는 상기 컬러 보정 강도를 상기 최소 강도값으로 설정하는 단계를 더 포함하는 것을 특징으로 하는 컬러 보정 방법.And setting the color correction intensity to the minimum intensity value when the obtained luminance value is equal to or larger than a preset area boundary value. 삭제delete 제7항에 있어서, 상기 설정된 컬러 보정 강도에 기초하여 컬러 보정된 데이터에 포함된 노이즈를 제거하는 단계는,The method of claim 7, wherein the removing of the noise included in the color corrected data based on the set color correction intensity comprises: 상기 컬러 보정에 의해 획득된 데이터값과 상기 컬러 보간에 의해 획득한 데이터값 사이의 값들 중에서 상기 컬러 보정 강도에 상응하는 데이터값을 노이즈 제거 데이터로 획득함으로써 상기 컬러 보정된 데이터에 포함된 노이즈를 제거하는 것을 특징으로 하는 컬러 보정 방법.The noise included in the color corrected data is removed by acquiring a data value corresponding to the color correction intensity among the values between the data value obtained by the color correction and the data value obtained by the color interpolation as noise removal data. Color correction method characterized in that. 제10항에 있어서, 상기 설정된 컬러 보정 강도에 기초하여 컬러 보정된 데이터에 포함된 노이즈를 제거하는 단계는, 수학식The method of claim 10, wherein the removing of noise included in the color corrected data based on the set color correction intensity is performed by the following equation. Ro=((Norm-Strength)×Rc+Strength×Ri)/NormR o = ((Norm-Strength) × R c + Strength × R i ) / Norm Go=((Norm-Strength)×Gc+Strength×Gi)/NormG o = ((Norm-Strength) × G c + Strength × G i ) / Norm Bo=((Norm-Strength)×Bc+Strength×××NormB o = ((Norm-Strength) × B c + Strength ××× Norm (여기서, Ro,Go 및 Bo는 상기 노이즈 제거 데이터, Rc,Gc 및 Bc는 상기 컬러 보정에 의해 획득된 데이터값, Ri,Gi 및 Bi는 상기 컬러 보간에 의해 획득된 데이터값, Strength는 컬러 보정 강도, Norm는 정규화 변수를 의미)을 이용하여 상기 컬러 보정된 데이터에 포함된 노이즈를 제거하는 것을 특징으로 하는 컬러 보정 방법.Where R o , G o and B o are the noise reduction data, R c , G c and B c are data values obtained by the color correction, and R i , G i and B i are obtained by the color interpolation. And a noise value included in the color corrected data by using the acquired data value, Strength means color correction intensity, and Norm means normalization variable. 이미지의 컬러 보정을 수행하는 디지털 처리 장치에 의해 실행될 수 있는 명령어의 프로그램이 유형적으로 구현되어 있으며, 상기 디지털 처리 장치에 의해 판독될 수 있는 프로그램을 기록한 기록매체에 있어서,In the recording medium on which a program of instructions that can be executed by a digital processing apparatus that performs color correction of an image is tangibly implemented, and which records a program that can be read by the digital processing apparatus, 이미지 센서로부터 제공된 이미지 데이터에 대한 컬러 보간을 수행하는 단계;Performing color interpolation on image data provided from the image sensor; 상기 컬러 보간이 수행된 데이터에 기초하여 휘도값을 획득하는 단계;Obtaining a luminance value based on the data on which the color interpolation has been performed; 상기 컬러 보간이 수행된 데이터에 대해 컬러 보정을 수행하는 단계;Performing color correction on the data on which the color interpolation has been performed; 상기 획득한 휘도값이 미리 설정된 영역 경계값 보다 작은 경우, 수학식 Strength=((threshold-Yi)×Str1 + Yi×Str2)/threshold) (여기서, Strength는 상기 컬러 보정 강도, threshold는 영역 경계값, Str1은 최대 강도값, Str2는 최소 강도값, Yi는 상기 휘도값을 의미함)에 의해 상기 컬러 보정 강도를 설정하고, 상기 획득한 휘도값이 미리 설정된 영역 경계값 보다 큰 경우 Strength=Str2 (여기서, Str2는 상기 최소 강도값을 의미함)에 대해 상기 컬러 보정 강도를 설정하는 단계; 및When the obtained luminance value is smaller than a predetermined region boundary value, the formula Strength = ((threshold-Y i ) × Str1 + Y i × Str2) / threshold) (where Strength is the color correction intensity and threshold is an area). The color correction intensity is set by a threshold value, Str1 is a maximum intensity value, Str2 is a minimum intensity value, and Y i is the luminance value), and when the obtained luminance value is larger than a preset area boundary value, Setting the color correction intensity for = Str2, where Str2 means the minimum intensity value; And 상기 설정된 컬러 보정 강도에 기초하여 컬러 보정된 데이터에 포함된 노이즈를 제거하는 단계를 수행하는 프로그램을 기록한 기록매체.And recording a program for removing noise included in color corrected data based on the set color correction intensity.
KR1020080135235A 2008-12-29 2008-12-29 Apparatus For Processing Image Siganl, Method For Reducing Noise Of Image Signal Processing Apparatus And Recorded Medium For Performing Method Of Reducing Noise KR100999218B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080135235A KR100999218B1 (en) 2008-12-29 2008-12-29 Apparatus For Processing Image Siganl, Method For Reducing Noise Of Image Signal Processing Apparatus And Recorded Medium For Performing Method Of Reducing Noise

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080135235A KR100999218B1 (en) 2008-12-29 2008-12-29 Apparatus For Processing Image Siganl, Method For Reducing Noise Of Image Signal Processing Apparatus And Recorded Medium For Performing Method Of Reducing Noise

Publications (2)

Publication Number Publication Date
KR20100077319A KR20100077319A (en) 2010-07-08
KR100999218B1 true KR100999218B1 (en) 2010-12-10

Family

ID=42638692

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080135235A KR100999218B1 (en) 2008-12-29 2008-12-29 Apparatus For Processing Image Siganl, Method For Reducing Noise Of Image Signal Processing Apparatus And Recorded Medium For Performing Method Of Reducing Noise

Country Status (1)

Country Link
KR (1) KR100999218B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003224861A (en) 2002-01-29 2003-08-08 Fuji Photo Film Co Ltd Image pick-up device
JP2005175718A (en) 2003-12-09 2005-06-30 Olympus Corp Imaging system and image processing program
JP2005318137A (en) * 2004-04-28 2005-11-10 Victor Co Of Japan Ltd Color correction circuit
JP2007049341A (en) 2005-08-09 2007-02-22 Victor Co Of Japan Ltd Image correction device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003224861A (en) 2002-01-29 2003-08-08 Fuji Photo Film Co Ltd Image pick-up device
JP2005175718A (en) 2003-12-09 2005-06-30 Olympus Corp Imaging system and image processing program
JP2005318137A (en) * 2004-04-28 2005-11-10 Victor Co Of Japan Ltd Color correction circuit
JP2007049341A (en) 2005-08-09 2007-02-22 Victor Co Of Japan Ltd Image correction device

Also Published As

Publication number Publication date
KR20100077319A (en) 2010-07-08

Similar Documents

Publication Publication Date Title
JP5045421B2 (en) Imaging apparatus, color noise reduction method, and color noise reduction program
JP5206796B2 (en) Image input device
JP4837365B2 (en) Image processing system and image processing program
US7697044B2 (en) Image processing apparatus and image processing method
JP4003399B2 (en) Image processing apparatus and method, and recording medium
JP5397788B2 (en) Image input device
JP5080934B2 (en) Image processing apparatus and method, and imaging apparatus
US9936172B2 (en) Signal processing device, signal processing method, and signal processing program for performing color reproduction of an image
JP2012165204A (en) Signal processing apparatus, signal processing method, imaging apparatus, and imaging processing method
US8427560B2 (en) Image processing device
GB2456492A (en) Image processing method
JP3969836B2 (en) Signal processing apparatus and imaging signal processing method
JP4040171B2 (en) Signal processing device
KR100989760B1 (en) Apparatus For Processing Image Siganl, Method For Reducing Noise Of Image Signal Processing Apparatus And Recorded Medium For Performing Method Of Reducing Noise
JP4936686B2 (en) Image processing
US9071803B2 (en) Image processing apparatus, image pickup apparatus, image processing method and non-transitory computer-readable storage medium storing image processing program
JP4767525B2 (en) Imaging system and imaging processing program
KR100999218B1 (en) Apparatus For Processing Image Siganl, Method For Reducing Noise Of Image Signal Processing Apparatus And Recorded Medium For Performing Method Of Reducing Noise
JP4240261B2 (en) Image processing apparatus and method, and recording medium
KR100999888B1 (en) Apparatus for Processing Image Siganls, Method for Reducing luminence Noise in the Image Signal Processing Apparatus and Record Medium for Performing Method of Reducing luminence Noise
KR100999885B1 (en) Apparatus for Processing Image Siganls, Method for Reducing Chrominamce Noise in the Image Signal Processing Apparatus and Record Medium for Performing Method of Reducing Chrominance Noise
JP2010147800A (en) Image processing apparatus
JP2004064227A (en) Video signal processing apparatus
JP6318497B2 (en) Image processing apparatus, imaging apparatus, and program
JP2004096444A (en) Image processor and method thereof

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20131127

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20151127

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20171128

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20181126

Year of fee payment: 9