[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR101488074B1 - Image sensorand method for generating binning image using the same - Google Patents

Image sensorand method for generating binning image using the same Download PDF

Info

Publication number
KR101488074B1
KR101488074B1 KR20130012259A KR20130012259A KR101488074B1 KR 101488074 B1 KR101488074 B1 KR 101488074B1 KR 20130012259 A KR20130012259 A KR 20130012259A KR 20130012259 A KR20130012259 A KR 20130012259A KR 101488074 B1 KR101488074 B1 KR 101488074B1
Authority
KR
South Korea
Prior art keywords
image
binning
pixel
vertical
unit
Prior art date
Application number
KR20130012259A
Other languages
Korean (ko)
Other versions
KR20140099625A (en
Inventor
한용인
Original Assignee
주식회사 동부하이텍
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 동부하이텍 filed Critical 주식회사 동부하이텍
Priority to KR20130012259A priority Critical patent/KR101488074B1/en
Priority to US13/827,875 priority patent/US9137452B2/en
Publication of KR20140099625A publication Critical patent/KR20140099625A/en
Application granted granted Critical
Publication of KR101488074B1 publication Critical patent/KR101488074B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/447Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by preserving the colour pattern with or without loss of information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • H04N25/581Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

본 발명은 이미지의 해상도를 개선할 수 있는 이미지 센서와 이를 이용한 비닝 이미지 생성 방법에 관한 것이다.
이를 위하여 본 발명의 실시 예에 따른 이미지 센서는 피사체의 광학적 신호를 전기적인 신호로 변환하여 베이어 패턴을 출력하는 픽셀부와, 베이어 패턴의 각 로우 영역에 설정된 가중치 정보를 기반으로 베이어 패턴의 수직 방향 픽셀 값을 합하거나 평균하여 수직 방향 비닝 이미지를 생성하는 수직 보간부와, 베이어 패턴의 각 콜럼(column) 영역에 설정된 가중치 정보를 기반으로 베이어 패턴의 수평 방향의 픽셀 값을 합하거나 평균하여 수평 방향 비닝 이미지를 생성하는 수평 보간부와, 수직 및 수평 방향 비닝 이미지를 합성하여 가중치 기반의 비닝 이미지를 생성하는 이미지 합성부를 포함할 수 있다.
The present invention relates to an image sensor capable of improving the resolution of an image and a binning image generating method using the same.
The image sensor according to an embodiment of the present invention includes a pixel unit for converting an optical signal of an object into an electrical signal and outputting a Bayer pattern, A vertical interpolation unit for generating a vertical direction binning image by summing or averaging the pixel values of the Bayer pattern; and a horizontal interpolation unit for adding or averaging pixel values in the horizontal direction of the Bayer pattern based on the weight information set in each column area of the Bayer pattern, A horizontal interpolating unit for generating a binning image, and an image synthesizing unit for synthesizing vertical and horizontal binning images to generate a weighted binning image.

Description

이미지 센서와 이를 이용한 비닝 이미지 생성 방법{IMAGE SENSORAND METHOD FOR GENERATING BINNING IMAGE USING THE SAME}TECHNICAL FIELD The present invention relates to an image sensor and a method of generating a binning image using the image sensor.

본 발명은 이미지 센서에 관한 것으로, 더욱 상세하게는 가중치 기반의 비닝(binning)을 통해 이미지의 해상도를 향상시킬 수 있는 이미지 센서와 이를 이용한 비닝 이미지 생성 방법에 관한 것이다.
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image sensor, and more particularly, to an image sensor capable of enhancing the resolution of an image through weighted binning and a method of generating a binning image using the image sensor.

최근 이미지 센서 분야에서 많이 요구되는 성능 중 하나가 고감도이다. 고감도 센서는 빛이 어두운 상태에서도 양질의 영상을 얻을 수 있을 뿐만 아니라 빠르게 움직이는 물체를 촬영하기 위해 프레임 속도를 증가시켰을 때에도 상대적으로 고 품질의 영상을 얻을 수 있다.One of the high performance requirements of image sensors in recent years is high sensitivity. High sensitivity sensors not only provide high quality images even in low light conditions, but also provide relatively high quality images even when the frame rate is increased to capture fast moving objects.

고감도 센서를 위해 많이 채용되는 기술이 비닝(binning) 기법이다. 비닝 기법은 기본적으로 인접 픽셀들의 값을 합쳐서 고품질 고감도의 영상을 얻는 방법이다. 비닝 동작은 인접한 픽셀의 신호 값을 픽셀 안에서 누적된 전하(charge)를 합치는 동작을 구현할 수도 있고, 컬럼(column) 회로에서 픽셀의 아날로그 출력값을 합치는 동작으로도 구현할 수 있다. 또는 비닝은 디지털 영상 처리부에서 수행될 수도 있다.A binning technique is often employed for high sensitivity sensors. The binning method basically combines the values of adjacent pixels to obtain a high-quality, high-sensitivity image. The binning operation may be implemented by combining the signal value of the adjacent pixel with the accumulated charge in the pixel or by combining the analog output value of the pixel in the column circuit. Or binning may be performed in the digital image processing unit.

일반적으로, 비닝 기법은 베이어 패턴을 이용하며, 베이어 영상 단계에서 2개 이상의 동일 색상 픽셀을 합하거나 평균하는 방법으로 화면의 해상도를 낮추고 SNR을 개선한다. In general, the binning method uses a Bayer pattern and lowers the resolution of the screen and improves the SNR by adding or averaging two or more same-color pixels at the Bayer image stage.

이하, 첨부된 도면을 참조하여 종래의 비닝 기법에 대해 설명한다.Hereinafter, a conventional binning technique will be described with reference to the accompanying drawings.

베이어 패턴을 이용하는 이미지 센서에서 일반적으로 사용하는 2:1 비닝 기법은, 도 1a 내지 도 1d에 도시된 바와 같다. 즉, 2:1 비닝 기법은 도 1a에 도시된 바와 같은 베이어 패턴을 입력받아 동일한 색상을 갖는 픽셀들을 수직 및 수평 방향으로 짝을 지어 값을 1:1의 비율로 합하거나 평균하여 픽셀의 값을 결정하여 도 1b 및 도 1c에 도시된 바와 같은 수직 및 수평 방향의 비닝 이미지를 생성한 후 이를 이용하여 도 1d에 도시된 바와 같이, 픽셀들의 위치가 균일하게 놓이지 않고, 무리(cluster)가 지는 것과 같은 형태로 변형된 이미지를 획득한다. The 2: 1 binning technique generally used in an image sensor using a Bayer pattern is as shown in Figs. 1A to 1D. That is, in the 2: 1 binning method, a Bayer pattern as shown in FIG. 1A is input, and pixels having the same color are paired vertically and horizontally, and the values are summed or averaged at a ratio of 1: To generate a binning image in the vertical and horizontal directions as shown in Figs. 1B and 1C, and then using this, the positions of the pixels are not uniformly positioned, as shown in Fig. 1D, Obtain a transformed image in the same form.

상기와 같은 과정을 통해 얻어진 픽셀들의 위치와 일반적으로 사용되는 디모자이킹(demosaicing) 기법에서 가정하는 이상적인 샘플링의 위치를 비교하면, 도 2a 및 도 2b와 같다. 도 2a는 일반적은 비닝 기반에 따라 획득한 이미지를 도시한 도면이며, 도 2b는 디모자이킹 기법에 의해 획득한 이미지를 도시한 도면이다. 여기에서, 디모자이킹 기법은 하나의 픽셀에 RGB 중 하나의 칼라 값만이 주어지는 베이어 패턴 영상으로부터 모든 픽셀에 대해 RGB 전체 칼라를 복원하는 방법이다. The positions of the pixels obtained through the above process are compared with the positions of ideal sampling assumed in a commonly used demosaicing technique, as shown in FIGS. 2A and 2B. FIG. 2A is a view showing an image acquired according to a general binning scheme, and FIG. 2B is a diagram illustrating an image obtained by a demosaicing technique. Here, the demosaicing method is a method of restoring the RGB full color for all pixels from a Bayer pattern image in which only one color value of RGB is given to one pixel.

상기와 같은 비닝 기법을 수행하지 않고, 디모자이킹 기법만을 적용한 후 일반적인 스케일 기법을 통해 획득한 영상은, 도 3a에 도시된 바와 같이, 화질면에서 우수하나 원래의 화면으로 ISP 처리를 수행한 후 사이즈를 줄이기 때문에 전력 소모가 많은 문제점이 있다.As shown in FIG. 3A, the image obtained through the general scale technique after applying the demosaicing technique without performing the binning technique as described above is excellent in image quality but performs ISP processing on the original screen There is a problem that power consumption is large because the size is reduced.

한편, 상기와 같은 비닝 기법을 수행한 후 디모자이킹 기법을 적용한 경우에는, 도 3b에 도시된 바와 같이, 비닝 영상의 나뭇가지 등 기울어진 에지(edge)가 거칠게 표현, 즉 "jagged edge" 현상이 발생되는 것을 알 수 있다. 이는 비닝에 의해 샘플링의 위치가 불규칙하게 변하면서 발생되는 현상이다.When the demosaicing technique is applied after performing the binning technique described above, as shown in FIG. 3B, the inclined edges such as the branches of the binning image are roughly expressed as a "jagged edge" phenomenon As shown in FIG. This is a phenomenon that occurs when the position of sampling is irregularly changed by binning.

상기와 같은 문제점을 해결하기 위해 비닝 후 디모자이킹을 적용하기 전 샘플링 위치를 보정하기 위한 보정 필터를 사용하는 방법이 있다. 즉, 도 4에 도시된 바와 같이, 보정 필터를 통해 "jagged edge" 현상이 완화되었으나, 화면의 해상도가 저하되는 것을 알 수 있다.
In order to solve the above problem, there is a method of using a correction filter for correcting the sampling position before applying binning demosaicing. That is, as shown in FIG. 4, although the "jagged edge" phenomenon is alleviated through the correction filter, the resolution of the screen is lowered.

상기와 같은 문제점을 해결하기 위해 안출된 것으로서, 본 발명의 목적은 이미지의 해상도를 개선할 수 있는 이미지 센서와 이를 이용한 비닝 이미지 생성 방법을 제공하는데 있다.It is an object of the present invention to provide an image sensor capable of improving an image resolution and a method of generating a binning image using the image sensor.

또한, 본 발명은 가중치 기반의 비닝을 수행한 후 선형 보정을 통해 다이나믹 레인지를 확장할 수 있는 이미지 센서와 이를 이용한 비닝 이미지 생성 방법을 제공하는데 있다.The present invention also provides an image sensor capable of expanding a dynamic range through linear correction after binarizing based on weights, and a method of generating a binning image using the image sensor.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
The objects of the present invention are not limited to the above-mentioned objects, and other objects not mentioned can be clearly understood by those skilled in the art from the following description.

본 발명의 일 측면에 따르면, 본 발명의 실시 예에 따른 이미지 센서는 피사체의 광학적 신호를 전기적인 신호로 변환하여 베이어 패턴을 출력하는 픽셀부와, 상기 베이어 패턴의 각 로우 영역에 설정된 가중치 정보를 기반으로 상기 베이어 패턴의 수직 방향 픽셀 값을 합하거나 평균하여 수직 방향 비닝 이미지를 생성하는 수직 보간부와, 상기 베이어 패턴의 각 콜럼(column) 영역에 설정된 가중치 정보를 기반으로 상기 베이어 패턴의 수평 방향의 픽셀 값을 합하거나 평균하여 수평 방향 비닝 이미지를 생성하는 수평 보간부와, 상기 수직 및 수평 방향 비닝 이미지를 합성하여 가중치 기반의 비닝 이미지를 생성하는 이미지 합성부를 포함할 수 있다.According to an aspect of the present invention, an image sensor according to an exemplary embodiment of the present invention includes a pixel unit for converting an optical signal of an object into an electrical signal and outputting a Bayer pattern; A vertical interpolation unit for summing or averaging vertical pixel values of the Bayer pattern to generate a vertical direction binning image based on weight information of the Bayer pattern, A horizontal interpolation unit for summing or averaging the pixel values of the vertical and horizontal directional images to generate a horizontal directional binning image, and an image synthesis unit for synthesizing the vertical and horizontal directional binning images to generate a weighted binning image.

본 발명의 실시 예에 따른 이미지 센서에서 상기 픽셀부는 레드 픽셀 및 그린 픽셀이 교대로 배열되는 어느 하나의 라인과, 블루 픽셀 및 그린 픽셀이 교대로 배열되는 다음 라인으로 구성된 베이어 패턴으로 배열되는 것을 특징으로 한다.In the image sensor according to the embodiment of the present invention, the pixel portion is arranged in a Bayer pattern composed of one line in which red pixels and green pixels are alternately arranged and a next line in which blue pixels and green pixels are alternately arranged .

본 발명의 실시 예에 따른 이미지 센서는 상기 베이어 패턴의 로우 영역 또는 콜럼 영역 각각 대해 가중치를 설정할 수 있는 인터페이스를 제공하며, 상기 인터페이스를 통해 설정된 가중치를 상기 수직 또는 수평 보간부에 제공하는 가중치 설정부를 더 포함할 수 있다.The image sensor according to an embodiment of the present invention provides an interface for setting a weight for each of the row region or the column region of the Bayer pattern and a weight setting unit for providing a weight value set through the interface to the vertical or horizontal interpolation unit .

본 발명의 실시 예에 따른 이미지 센서에서 상기 가중치 설정부는, 상기 로우 영역 또는 콜럼 영역의 어느 하나의 라인과 다음 라인이 1:3 또는3:1 비율을 갖도록 상기 가중치를 설정하는 것을 특징으로 한다.In the image sensor according to the embodiment of the present invention, the weight setting unit may set the weight so that any one of the row region and the column region and the next line have a 1: 3 or 3: 1 ratio.

본 발명의 다른 측면에 따르면, 본 발명의 실시 예에 따른 이미지 센서는 각 로우 및 콜럼 영역에 설정된 가중치에 의거하여 상기 각 로우 및 콜럼 영역의 노출 시간을 제어하는 노출 시간 제어부와, 상기 노출 시간에 따른 베이어 패턴을 출력하는 픽셀부와, 상기 베이어 패턴에서 수직 방향의 픽셀 값을 합하거나 평균하는 방법으로 수직 방향 비닝 이미지를 생성하는 수직 보간부와, 상기 베이어 패턴에서 수평 방향의 픽셀 값을 합하거나 평균하는 방법으로 수평 방향 비닝 이미지를 생성하는 수평 보간부와, 상기 수직 및 수평 비닝 이미지를 합성하여 가중치 기반의 비닝 이미지를 생성하는 이미지 합성부를 포함할 수 있다.According to another aspect of the present invention, an image sensor according to an exemplary embodiment of the present invention includes an exposure time control unit for controlling an exposure time of each of the row and column areas based on weights set in respective row and column areas, A vertical interpolating unit for generating a vertical binning image by summing or averaging pixel values in the vertical direction in the Bayer pattern; and a vertical interpolator for summing pixel values in the horizontal direction in the Bayer pattern A horizontal interpolating unit for generating a horizontal binning image by averaging and an image synthesizing unit for synthesizing the vertical and horizontal binning images to generate a weighted binning image.

본 발명의 실시 예에 따른 이미지 센서는 상기 노출 시간 제어부에 의해 설정된 노출 시간에 따라 상기 픽셀부 내 각 픽셀을 노출시키는 노출부를 더 포함할 수 있다.The image sensor according to an embodiment of the present invention may further include an exposure unit that exposes each pixel in the pixel unit according to the exposure time set by the exposure time control unit.

본 발명의 실시 예에 따른 이미지 센서는 상기 수직 방향 비닝 이미지의 픽셀 값과 기 설정된 값간의 비교를 통해 상기 수직 방향 비닝 이미지 내 각 픽셀 값을 보정하여 보정된 수평 방향 비닝 이미지를 생성하는 선형 보정부를 더 포함하는 것을 특징으로 한다.The image sensor according to an exemplary embodiment of the present invention includes a linear correction unit that generates a corrected horizontal direction binning image by correcting each pixel value in the vertical direction binning image through comparison between a pixel value of the vertical direction binning image and a predetermined value And further comprising:

본 발명의 실시 예에 따른 이미지 센서에서 상기 기 설정된 값은, 상기 픽셀부의 최대 픽셀 값에 의해 결정되는 것을 특징으로 한다.In the image sensor according to the embodiment of the present invention, the preset value is determined by the maximum pixel value of the pixel portion.

본 발명의 실시 예에 따른 이미지 센서에서 상기 선형 보정부는, 상기 수직 방향 비닝 이미지의 픽셀 값이 상기 기 설정된 값 이상인 경우 상기 수직 방향 비닝 이미지의 픽셀 값을 상기 픽셀부의 최대 픽셀 값을 이용하여 보정하고, 그렇지 않을 경우 상기 수직 방향 비닝 이미지의 픽셀 값을 유지시키는 것을 특징으로 한다.In the image sensor according to the embodiment of the present invention, when the pixel value of the vertical direction binning image is equal to or greater than the predetermined value, the linearity correction unit corrects the pixel value of the vertical direction binning image using the maximum pixel value of the pixel unit And if not, maintains the pixel value of the vertical binning image.

본 발명의 실시 예에 따른 이미지 센서에서 상기 가중치 설정부는, 상기 로우 영역별 또는 콜럼 영역별에 대한 조도 정보를 기반으로 상기 로우 영역 또는 콜럼 영역별 가중치를 설정하는 것을 특징으로 한다.In the image sensor according to the exemplary embodiment of the present invention, the weight setting unit sets a weight for each row region or each column region based on illuminance information for each row region or each column region.

본 발명의 또 다른 측면에 따르면, 본 발명의 실시 예에 따른 이미지 센서의 비닝 이미지 생성 방법은 로우 영역별 또는 콜럼 영역별로 설정된 가중치에 의거하여 상기 로우 영역별 또는 콜럼 영역별 노출 시간을 설정하는 단계와, 상기 설정된 노출 시간에 따라 픽셀부로부터 노출 시간이 상이한 베이어 패턴을 제공받는 단계와, 상기 베이어 패턴에서 동일 색상을 갖는 수직 방향의 두 픽셀 값을 합하거나 평균하여 수직 방향 비닝 이미지를 생성하는 단계와, 상기 베이어 패턴에서 동일한 색상을 갖는 수평 방향의 두 픽셀 값을 합하거나 평균하여 수평 방향 비닝 이미지를 생성하는 단계와, 상기 수직 및 수평 방향 비닝 이미지를 이용하여 가중치 기반의 비닝 이미지를 생성하는 단계를 포함할 수 있다.According to another aspect of the present invention, there is provided a method of generating a binning image of an image sensor, comprising: setting an exposure time for each row region or a column region based on weight values set for each row region or each column region; Receiving a Bayer pattern having a different exposure time from the pixel unit according to the set exposure time, generating a vertical direction binning image by summing or averaging the two pixel values in the vertical direction having the same color in the Bayer pattern Generating a horizontal binning image by summing or averaging two pixel values in the horizontal direction having the same hue in the Bayer pattern; and generating a weighted binning image using the vertical and horizontal direction binning images . ≪ / RTI >

본 발명의 실시 예에 따른 이미지 센서의 비닝 이미지 생성 방법은 상기 로우 영역별 또는 콜럼 영역별 가중치를 설정하는 단계를 더 포함할 수 있다.The method of generating a binning image of an image sensor according to an exemplary embodiment of the present invention may further include setting a weight for each row region or each column region.

본 발명의 실시 예에 따른 이미지 센서의 비닝 이미지 생성 방법에서 상기 가중치를 설정하는 단계는, 상기 로우 영역 또는 콜럼 영역의 어느 하나의 라인과 동일한 색상을 갖는 다음 라인이 1:3 또는 3:1 비율의 갖도록 가중치를 설정하는 것을 특징으로 한다.In the method of generating a binning image of an image sensor according to an exemplary embodiment of the present invention, the step of setting the weights may include the step of setting a ratio of 1: 3 or 3: 1 And the weight is set to have a weight.

본 발명의 실시 예에 따른 이미지 센서의 비닝 이미지 생성 방법은 상기 가중치를 설정하는 단계는, 상기 픽셀부의 로우 및 콜럼 영역에 대한 조도 정보를 추출하는 단계와, 상기 추출된 조도 정보를 기반으로 상기 로우 영역별 또는 콜럼 영역별 상기 가중치를 설정하는 단계를 포함하는 것을 특징으로 한다.In the method of generating a binning image of an image sensor according to an embodiment of the present invention, the step of setting the weights may include extracting illuminance information on a row and a column area of the pixel unit, And setting the weight for each region or for each column region.

본 발명의 실시 예에 따른 이미지 센서의 비닝 이미지 생성 방법은 상기 수직 방향 비닝 이미지의 픽셀 값과 기 설정된 값간의 비교를 통해 상기 수직 방향 비닝 이미지 내 각 픽셀 값을 보정하는 단계를 더 포함하며, 상기 가중치 기반의 비닝 이미지를 생성하는 단계는, 상기 보정을 통해 생성된 수직 방향 비닝 이미지와 상기 수평 방향 비닝 이미지를 이용하여 생성하는 것을 특징으로 한다.The method of generating a binning image of an image sensor according to an exemplary embodiment of the present invention may further include the step of correcting each pixel value in the vertical binning image through comparison between a pixel value of the vertical binning image and a preset value, The weighting-based binning image is generated by using the vertical binning image and the horizontal binning image generated through the correction.

본 발명의 실시 예에 따른 이미지 센서의 비닝 이미지 생성 방법에서 상기 보정하는 단계는, 상기 수직 방향 비닝 이미지의 픽셀 값과 상기 기 설정된 값과 비교하는 단계와, 상기 비교 결과, 상기 수직 방향 비닝 이미지의 픽셀 값이 상기 기 설정된 값 이상인 경우 상기 수직 비닝 이미지의 픽셀 값을 상기 픽셀부의 최대 픽셀 값을 이용하여 보정하는 단계와, 상기 비교 결과, 상기 수직 방향 비닝 이미지의 픽셀 값이 상기 기 설정된 값 미만인 경우 상기 수직 방향 비닝 이미지의 픽셀 값을 유지시키는 단계를 통해 상기 수직 방향 비닝 이미지의 픽셀 값들을 보정하는 것을 특징으로 한다.In the method of generating a binned image of an image sensor according to an exemplary embodiment of the present invention, the step of correcting may include: comparing a pixel value of the vertical binning image with the preset value; And correcting the pixel value of the vertical binning image using the maximum pixel value of the pixel unit when the pixel value is equal to or greater than the preset value; and if the pixel value of the vertical binning image is less than the preset value And correcting pixel values of the vertical direction binning image by maintaining a pixel value of the vertical direction binning image.

본 발명의 실시 예에 따른 이미지 센서의 비닝 이미지 생성 방법에서 상기 픽셀부의 최대 픽셀 값을 이용하여 보정하는 단계는, 수학식((PWB_org - M) * 4, M은 픽셀부의 최대 픽셀 값, PWB_org는 수직 방향 비닝에 합해진 픽셀 값)에 의거하여 상기 수직 비닝 이미지의 픽셀 값을 보정하는 것을 특징으로 한다.In the method of generating a binned image of an image sensor according to an exemplary embodiment of the present invention, the step of correcting using the maximum pixel value of the pixel unit may be performed using Equation ((PWB_org - M) * 4, M is the maximum pixel value of the pixel portion, PWB_org The pixel value of the vertical binning image is corrected on the basis of the pixel value of the vertical binning image.

본 발명은 가중치 기반으로 수직 방향 비닝 이미지와 수평 방향 비닝 이미지를 생성한 후 이를 합성하여 비닝 이미지를 생성함으로써, 종래의 비닝 기법에 의해 해상도 저하를 막을 수 있다.In the present invention, a vertical binning image and a horizontal binning image are generated based on weights, and then a binning image is generated by combining the binning images and the horizontal binning images, thereby preventing resolution degradation by a conventional binning technique.

또한, 본 발명은 가중치 기반의 비닝을 수행한 후 선형 보정을 통해 다이나믹 레인지를 확장할 수 있다.
In addition, the present invention can extend the dynamic range through linear correction after performing weighted binning.

도 1a 내지 도 1d는 일반적인 비닝 방법을 설명하기 위한 도면,
도 2a는 일반적인 비닝 후 샘플 위치를 도시한 도면,
도 2b는 디모자이킹 기법 후 샘플 위치를 도시한 도면,
도 3a는 일반적인 디모지아킹 기법 후 스케일링 과정을 거친 이미지 예시도,
도 3b는 일반적인 비닝 이후 디모자이킹 과정을 거친 이미지 예시도,
도 4는 일반적인 비닝 후 샘플링 위치 보정과 디모자이킹 과정을 거친 이미지 예시도,
도 5는 본 발명의 일 실시 예에 따른 이미지 센서의 블록도,
도 6a는 본 발명의 일 실시 예에서 이용되는 베이어 패턴을 도시한 도면,
도 6b는 본 발명의 일 실시 예에 따라 수직 방향 비닝 이미지를 도시한 도면,
도 6c는 본 발명의 일 실시 예에 따라 수평 방향 비닝 이미지를 도시한 도면,
도 7은 본 발명의 다른 실시 예에 따른 이미지 센서를 도시한 블록도,
도 8a는 종래의 비닝 방법을 수행한 후 이미지를 도시한 도면,
도 8b는 비닝 후 샘플링 보정 방법을 수행하고, 디모자이킹 과정을 수행한 이미지를 도시한 도면,
도 8c는 본 발명의 실시 예에 따른 가중치 기반의 비닝 이미지를 이용한 이미지이다.
1A to 1D are views for explaining a general binning method,
2A shows a general post-binning sample location,
Figure 2b shows sample locations after the demosaicing technique,
FIG. 3A is an exemplary image after scaling process after a general demo ging technique,
FIG. 3B is a diagram illustrating an image after demagnetizing process after normal binning,
FIG. 4 is a diagram illustrating an image obtained by performing post-binning sampling position correction and demosaicing,
5 is a block diagram of an image sensor in accordance with an embodiment of the present invention;
6A is a diagram illustrating a Bayer pattern used in an embodiment of the present invention,
FIG. 6B illustrates a vertically oriented binning image in accordance with an embodiment of the present invention,
Figure 6c illustrates a horizontal orientation image in accordance with an embodiment of the present invention,
7 is a block diagram illustrating an image sensor according to another embodiment of the present invention.
8A is a view showing an image after performing a conventional binning method,
8B is a diagram illustrating an image obtained by performing the post-binning sampling correction method and performing the demosaicing process,
8C is an image using a weighted binning image according to an embodiment of the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention and the manner of achieving them will become apparent with reference to the embodiments described in detail below with reference to the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as being limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the concept of the invention to those skilled in the art. Is provided to fully convey the scope of the invention to those skilled in the art, and the invention is only defined by the scope of the claims. Like reference numerals refer to like elements throughout the specification.

이하, 본 발명의 실시 예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

또한, 이하에서는 첨부 도면을 참조하여 설명함에 있어서 동일하거나 대응하는 구성 요소는 도면 부호에 상관없이 동일한 참조번호를 부여하여 설명하기로 한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the same or corresponding components will be described with reference to the accompanying drawings.

도 5는 본 발명의 일 실시 예에 따른 이미지 센서의 블록도이며, 도 6a는 본 발명의 일 실시 예에서 이용되는 베이어 패턴을 도시한 도면이며, 도 6b는 본 발명의 일 실시 예에 따라 수직 방향 비닝 이미지를 도시한 도면이며, 도 6c는 본 발명의 일 실시 예에 따라 수평 방향 비닝 이미지를 도시한 도면이다.FIG. 5 is a block diagram of an image sensor according to an embodiment of the present invention, FIG. 6A is a diagram illustrating a Bayer pattern used in an embodiment of the present invention, and FIG. FIG. 6C is a view showing a horizontal direction binning image according to an embodiment of the present invention. FIG.

도 5에 도시된 바와 같이, 본 발명의 일 실시 예에 따른 이미지 센서는 픽셀부(100), 보간부(120) 및 이미지 합성부(130)를 포함할 수 있다. 여기에서, 보간부(120)는 수직 보간부(122) 및 수평 보간부(124)로 구성될 수 있다.5, the image sensor according to an exemplary embodiment of the present invention may include a pixel unit 100, an interpolation unit 120, and an image synthesis unit 130. [ Here, the interpolator 120 may be composed of a vertical interpolator 122 and a horizontal interpolator 124.

픽셀부(100)는 렌즈를 통해 입력되는 광학적 피사체의 신호를 전기적 신호로 출력하는 기능을 수행할 수 있다. 이러한 픽셀부(100)에는 동일한 피사체에 해상도면에서 유리한 베이어 패턴이 사용되며, 각 픽셀마다 하나의 색 정보를 갖는 이미지 데이터가 출력된다. 예를 들어 , R 패턴에 해당하는 픽셀에서는 R 성분만을 가지는 이미지 데이터가 출력되고, G 패턴에 해당하는 픽셀에서는 G 성분만을 가지는 이미지 데이터가 출력되며, B 패턴에 해당하는 픽셀에서는 B 성분만을 가지는 이미지 데이터가 출력될 수 있다. 베이어 패턴에 상응하여 각각 하나의 색상 성분만을 가지는 이미지 데이터가 출력된 예가 도 6a에 예시되어 있다. 물론, 픽셀부(100)에 의해 출력되는 아날로그 이미지 데이터를 디지털 이미지 데이터로 변환하여 출력하는 A/D 변환부(미도시)가 픽셀부(100)에 연결된다. 즉, A/D 변환부는 픽셀부(410)를 통해 출력된 아날로그 베이어 이미지 데이터를 디지털 베이어 이미지 데이터로 변환하여 보간부(120)로 전달한다.The pixel unit 100 may perform a function of outputting a signal of an optical subject input through a lens as an electrical signal. In this pixel unit 100, a Bayer pattern favorable in resolution is used for the same subject, and image data having one color information for each pixel is output. For example, image data having only the R component is output in the pixel corresponding to the R pattern, image data having only the G component is output in the pixel corresponding to the G pattern, and image data having only the B component Data can be output. An example of outputting image data having only one color component corresponding to the Bayer pattern is illustrated in FIG. 6A. Of course, an A / D conversion unit (not shown) for converting the analog image data output by the pixel unit 100 into digital image data and outputting the digital image data is connected to the pixel unit 100. That is, the A / D converter converts the analog Bayer image data output through the pixel unit 410 into digital Bayer image data, and transmits the digital Bayer image data to the interpolator 120.

예를 들어, 다수의 픽셀부(100)가 배열되어 있는 경우 각각의 픽셀부(100)는 하나의 포토다이오드와 포토다이오드에 모인 전하를 읽기 위한 MOS 트랜지스터로 이루어진다. 이와 같은 픽셀부(100)는 연속적으로 이미지를 읽어내기 위해서 컬럼 또는 로우별로 빛에 노출을 시키어 즉시 읽어내는 방법을 사용한다.For example, when a plurality of pixel units 100 are arranged, each pixel unit 100 is composed of one photodiode and a MOS transistor for reading charges collected in the photodiode. In order to read an image continuously, the pixel unit 100 uses a method of immediately reading the image by exposing it to light for each column or row.

가중치 설정부(110)는 픽셀부(100)의 라인(row)별 또는 콜럼(column)별 가중치를 설정할 수 있는 인터페이스를 제공하며, 인터페이스를 통해 설정된 라인별 가중치를 보간부(120)에 제공할 수 있다. 즉, 가중치 설정부(110)는 픽셀의 로우 또는 콜럼 영역 각각에 대한 가중치 정보, 예컨대 1:3 또는 3:1의 가중치 정보를 보간부(120)에 제공할 수 있다.The weight setting unit 110 provides an interface for setting weights for each row or column of the pixel unit 100 and provides a weight for each line set through the interface to the interpolator 120 . That is, the weight setting unit 110 may provide the interpolator 120 with weight information for each of the row or column areas of the pixel, for example, 1: 3 or 3: 1 weight information.

한편, 가중치 설정부(110)는 조도 정보를 기반으로 로우별 또는 콜럼별 가중치를 설정할 수 있다.On the other hand, the weight setting unit 110 may set a weight for each row or column based on illumination information.

보간부(120)는 픽셀부(100)로부터 도 6a에 도시된 바와 같은 베이어 패턴(600)을 입력받고, 가중치 설정부(110)에서 설정된 가중치 정보를 기반으로 베이어 패턴(600)에 대한 수직 및 수평 비닝을 수행하여 수직 및 수평 비닝 이미지로 변환한 후 이를 이미지 합성부(130)에 출력한다. 이를 위하여 보간부(120)는 수직 및 수평 보간부(122, 124)를 포함할 수 있다.The interpolation unit 120 receives the Bayer pattern 600 as shown in FIG. 6A from the pixel unit 100 and calculates the vertical and vertical directions of the Bayer pattern 600 based on the weight information set by the weight setting unit 110. [ Horizontal binning, converts the image into a vertical and horizontal binning image, and outputs the image to the image synthesizing unit 130. For this purpose, the interpolator 120 may include vertical and horizontal interpolators 122, 124.

수직 보간부(122)는 가중치 설정부(110)로부터 제공받은 로우 영역별 가중치 정보를 기반으로 베이어 패턴(600)에서 수직 방향으로 두 픽셀 값을 합하거나 평균할 때 로우 영역의 픽셀에 따라 서로 다른 가중치를 부여하는 방식으로 두 픽셀 값을 합하거나 평균한다. 예를 들어, 동일한 색상은 갖는 라인과 그 사이 라인에 대해 3:1(또는 1:3)의 가중치가 부여된 경우 동일한 색상을 갖는 수직 방향의 두 픽셀 값을 합하거나 평균하는 방법으로 도 6b에 도시된 바와 같은 수직 방향 비닝 이미지(610)를 생성할 수 있다. 이렇게 생성된 수직 방향 비닝 이미지(610)는 이미지 합성부(130)에 출력된다. 다시 말해서, 도 6a의 베이어 패턴(600)에서 동일 색상을 갖는 수직 방향의 77과 78에서 출력되는 픽셀 값에 3:1 또는 1:3의 가중치를 부여한 후 이를 합하거나 평균하여 하나의 픽셀을 결정하고, 78과 79의 픽셀 값에3:1 또는 1:3의 가중치를 부여하여 합하거나 평균하는 방식으로 수직 방향 비닝 이미지(610)를 생성할 수 있다.The vertical interpolator 122 calculates the vertical weight of the pixel in the Bayer pattern 600 based on the weight information for each row area provided from the weight setting unit 110, The two pixel values are summed or averaged in a weighted manner. For example, in a case where a weight of 3: 1 (or 1: 3) is given to a line having the same color and a line therebetween, a method of summing or averaging two pixel values in the vertical direction having the same color, A vertical binning image 610 as shown can be generated. The vertical binning image 610 thus generated is output to the image composing unit 130. In other words, weights of 3: 1 or 1: 3 are given to pixel values output at 77 and 78 in the vertical direction having the same hue in the Bayer pattern 600 of FIG. 6A, and a sum of the weights is summed or averaged to determine one pixel And a vertical binning image 610 may be generated by adding or averaging the pixel values 78 and 79 by weighting 3: 1 or 1: 3.

수평 보간부(124)는 가중치 설정부(110)로부터 제공받은 콜럼 영역별 가중치 정보를 기반으로 베이어 패턴(600)에서 수평 방향으로 두 픽셀 값을 합하거나 평균하는 방식으로 수평 방향 비닝 이미지를 생성한다. 예를 들어, 동일한 색상은 갖는 콜럼과 그 사이 콜럼에 대해 3:1(또는 1:3)의 가중치가 부여된 경우 동일한 색상을 갖는 수평 방향의 두 픽셀 값을 합하거나 평균하는 방법으로 도 6c에 도시된 바와 같은 수평 방향 비닝 이미지(620)를 생성할 수 있다. 이렇게 생성된 수평 방향 비닝 이미지(620)는 이미지 합성부(130)에 출력된다. 다시 말해서, 도 6a의 베이어 패턴(600)에서 동일 색상을 갖는 수평 방향의 77과 78에서 출력되는 픽셀 값에 3:1 또는 1:3의 가중치를 부여한 후 이를 합하거나 평균하여 하나의 픽셀을 결정하고, 78과 79의 픽셀 값에 3:1 또는 1:3의 가중치를 부여하여 합하거나 평균하는 방식으로 수평 방향 비닝 이미지(620)를 생성할 수 있다.다.The horizontal interpolation unit 124 generates a horizontal direction binning image by summing or averaging the two pixel values in the horizontal direction in the Bayer pattern 600 based on the weight information for each column region provided from the weight setting unit 110 . For example, when a weight of 3: 1 (or 1: 3) is given to a column having the same color and a column between the columns, a method of summing or averaging the values of two pixels in the horizontal direction having the same color, A horizontal binning image 620 as shown can be generated. The horizontal direction binning image 620 thus generated is output to the image composing unit 130. In other words, weights of 3: 1 or 1: 3 are given to pixel values output from 77 and 78 in the horizontal direction having the same hue in the Bayer pattern 600 of FIG. 6A, and a sum of the weights is summed or averaged to determine one pixel And a horizontal binning image 620 can be generated by adding or averaging the pixel values 78 and 79 by weighting 3: 1 or 1: 3.

이미지 합성부(130)는 수직 방향의 비닝 이미지와 수평 방향의 비닝 이미지 데이터를 합성하여 가중치 기반의 비닝 이미지를 출력한다.The image combining unit 130 combines the binning image in the vertical direction and the binning image data in the horizontal direction to output a binning image based on the weights.

상기와 같은 구성을 갖는 이미지 센서가 가중치 기반의 비닝 이미지를 생성하는 과정에 대해 설명하면 아래와 같다.A process of generating a binning-based binning image by the image sensor having the above-described configuration will be described below.

먼저, 픽셀부(100)는 노출 시간이 동일한 상태에서 도 6a에 도시된 바와 같은 베이어 패턴(600)을 보간부(120)에 출력한다. 더불어 가중치 설정부(110)에 의해 설정된 가중치 정보가 보간부(120)에 입력된다. 여기에서, 동일한 색상을 갖는 첫 번째 로우(콜럼) 영역과 세 번째 로우(콜럼) 영역 및 다섯 번째 로우(콜럼) 영역과 일곱 번째 로우(콜럼) 영역의 가중치는 0.75:0.25이며, 두 번째 로우(콜럼) 영역과 네 번째 로우(콜럼) 영역 및 여섯 번째 로우(콜럼) 영역과 여덟 번째 로우(콜럼) 영역의 가중치는 0.25:0.75이다.First, the pixel unit 100 outputs the Bayer pattern 600 as shown in FIG. 6A to the interpolator 120 under the condition that the exposure time is the same. In addition, the weight information set by the weight setting unit 110 is input to the interpolator 120. [ Here, the weights of the first row (column) region, the third row (column) region, the fifth row (column) region and the seventh row (column) region having the same color are 0.75: 0.25 and the second row (Column) region, the fourth row (column) region, the sixth row (column) region, and the eighth row (column) region are 0.25: 0.75.

이에 따라, 보간부(120)의 수직 보간부(122)는 로우 영역별 가중치 정보를 기반으로 베이어 패턴에서 수직 방향으로 동일한 색상을 갖는 픽셀 값을 합하거나 평균하여 수직 방향 비닝 이미지의 픽셀 값을 결정한다. 즉, 수직 보간부(122)는 도 6a의 첫 번째 로우 영역의 첫 번째 픽셀 1에 대해 가중치 0.75를 부여하고, 세 번째 로우 영역의 첫 번째 픽셀에 3에 대해 0.25의 가중치를 부여한 후 이를 합하거나 합한 평균을 산출하는 방식으로 도 6b에 도시된 바와 같은 수직 방향 비닝 이미지(610)의 첫 번째 픽셀 20의 값을 계산하며, 두 번째 로우 영역의 첫 번째 픽셀 2에 대해 0.25의 가중치를 부여하고, 네 번째 로우 영역의 첫 번째 픽셀 4에 대해 가중치 0.75를 부여하여 수직 방향 비닝 이미지의 두 번째 로우 영역의 첫 번째 픽셀 21의 값을 계산한다. 이런 방식으로 수직 방향 비닝 이미지(610)의 각 픽셀에 대한 값을 계산할 수 있다.Accordingly, the vertical interpolator 122 of the interpolator 120 adds or averages the pixel values having the same color in the vertical direction in the Bayer pattern, based on the weight information for each row area, thereby determining the pixel value of the vertical direction binning image do. That is, the vertical interpolator 122 assigns a weight of 0.75 to the first pixel 1 of the first row area of FIG. 6A, assigns a weight of 0.25 to the first pixel of the third row area, Calculates the value of the first pixel 20 of the vertically oriented binning image 610 as shown in Figure 6b in a manner that yields the summed average, gives a weight of 0.25 for the first pixel 2 of the second row region, A weight of 0.75 is assigned to the first pixel 4 of the fourth row region to calculate the value of the first pixel 21 of the second row region of the vertical direction binning image. In this manner, values for each pixel of the vertically oriented binning image 610 can be calculated.

수평 보간부(124)는 콜럼 영역별 가중치 정보를 기반으로 베이어 패턴에서 수평 방향으로 동일한 색상을 갖는 픽셀 값을 합하거나 평균하여 수직 방향 비닝 이미지의 픽셀 값을 결정한다. 즉, 수평 보간부(124)는 도 6a의 첫 번째 콜럼 영역의 첫 번째 픽셀 1에 대해 가중치 0.75를 부여하고, 세 번째 콜럼 영역의 첫 번째 픽셀에 3에 대해 0.25의 가중치를 부여한 후 이를 합하거나 합한 평균을 산출하는 방식으로 도 6c에 도시된 바와 같은 수직 방향 비닝 이미지(620)의 첫 번째 픽셀 40의 값을 계산한다. 이런 방식으로 수평 방향 비닝 이미지(620)의 각 픽셀에 대한 값을 계산할 수 있다.The horizontal interpolator 124 adds or averages the pixel values having the same color in the horizontal direction in the Bayer pattern based on the weight information for each column region to determine the pixel value of the vertical direction binning image. That is, the horizontal interpolator 124 assigns a weight of 0.75 to the first pixel 1 of the first column area of FIG. 6A, adds a weight of 0.25 to the first pixel of the third column area, And calculates the value of the first pixel 40 of the vertically oriented binning image 620 as shown in Figure 6C in a manner that yields the summed average. In this manner, values for each pixel of the horizontal binning image 620 can be calculated.

상술한 바와 같은 과정을 통해 생성된 수직 및 수평 방향 비닝 이미지(610, 620)는 이미지 합성부(130)에 의해 합성됨으로써, 가중치 기반의 비닝 이미지가 생성될 수 있다.The binarized images 610 and 620 generated through the above-described processes are synthesized by the image synthesizer 130, so that a weighted binning image can be generated.

도 7은 본 발명의 다른 실시 예에 따른 이미지 센서를 도시한 블록도이다.7 is a block diagram illustrating an image sensor according to another embodiment of the present invention.

도 7에 도시된 바와 같이, 본 발명의 다른 실시 예에 따른 이미지 센서는 픽셀부(100), 가중치 설정부(110), 노출 시간 제어부(200), 노출부(210), 보간부(120) 및 선형 보정부(220) 등을 포함할 수 있다.7, the image sensor according to another embodiment of the present invention includes a pixel unit 100, a weight setting unit 110, an exposure time control unit 200, an exposure unit 210, an interpolation unit 120, And a linear correction unit 220 and the like.

가중치 설정부(110)는 픽셀부(100)의 라인(row)별 또는 콜럼(column)별 가중치를 설정할 수 있는 인터페이스를 제공하며, 인터페이스를 통해 설정된 라인별 가중치를 노출 시간 제어부(200)에 제공할 수 있다. 즉, 가중치 설정부(110)는 픽셀의 로우 또는 콜럼 영역 각각에 대한 가중치 정보, 예컨대 1:3 또는 3:1의 가중치 정보를 노출 시간 제어부(200)에 제공할 수 있다.The weight setting unit 110 provides an interface for setting weights for each row or column of the pixel unit 100 and provides a weight for each line set through the interface to the exposure time control unit 200 can do. That is, the weight setting unit 110 may provide the exposure time control unit 200 with weight information for each of the row or column areas of the pixel, for example, 1: 3 or 3: 1 weight information.

한편, 가중치 설정부(110)는 로우별 또는 콜럼별 조도 정보를 기반으로 가중치를 설정할 수 있으며, 설정된 가중치를 노출 시간 제어부(200)에 제공할 수 있다.Meanwhile, the weight setting unit 110 may set weights based on rough or star illumination information, and may provide the set weights to the exposure time control unit 200.

노출 시간 제어부(200)는 가중치에 따라 로우별 또는 콜럼별로 서로 다른 노출 시간을 갖도록 노출부(210)를 제어한다. 즉, 노출 시간 제어부(200)는 가중치 설정부(110)로부터 제공받은 가중치에 의거하여 로우별 또는 콜럼별 노출 시간 값을 설정한 후 이를 기반으로 노출부(210)를 제어한다.The exposure time control unit 200 controls the exposure unit 210 to have different exposure times for each row or each column according to the weight values. That is, the exposure time control unit 200 sets exposure time values for each row or column based on the weights provided from the weight setting unit 110, and controls the exposure unit 210 based on the exposure time values.

노출부(210)는 노출 시간 제어부(200)의 제어에 따라 로우별 또는 콜럼별로 빛의 노출 시간을 조절하기 위한 것으로서, 그 예로 셔터를 들 수 있으며, 이에 한정하지 않는다.The exposure unit 210 is for controlling the exposure time of light for each row or each column according to the control of the exposure time control unit 200. For example, the exposure unit 210 is not limited thereto.

이에 따라, 픽셀부(100)는 노출 시간이 서로 상이한 베이어 패턴을 보간부(120)에 출력한다.Accordingly, the pixel unit 100 outputs a Bayer pattern having different exposure times to the interpolation unit 120. [

보간부(120)는 상이한 베이어 패턴에 대해 수직 및 수평 방향으로 비닝을 수행하여 수직 및 수평 방향 비닝 이미지를 생성할 수 있으며, 이를 위하여 수직 보간부(122) 및 수평 보간부(124)로 구성될 수 있다.The interpolator 120 can bin and binarize the different Bayer patterns to generate vertical and horizontal binning images. For this purpose, the interpolator 120 includes a vertical interpolator 122 and a horizontal interpolator 124 .

수직 보간부(122)는 서로 상이한 베이어 패턴에서 수직 방향으로 두 픽셀 값을 합하거나 평균한다. 즉, 수직 보간부(122)는 동일한 색상을 갖는 두 픽셀의 값을 합하거나 평균하는 방법으로 수직 방향 비닝 이미지를 생성할 수 있다. 이렇게 생성된 수직 방향 비닝 이미지는 선형 보정부(220)에 출력된다.The vertical interpolator 122 sums or averages two pixel values in a vertical direction in different Bayer patterns. That is, the vertical interpolator 122 may generate a vertical binning image by summing or averaging the values of two pixels having the same color. The vertical binning image thus generated is output to the linear correction unit 220.

선형 보정부(220)는 컬러 처리를 위한 선형성(linearity)을 확보하기 위한 것으로, 아래와 같은 수학식 1에 의해 보정을 수행한다.The linear correction unit 220 is used for ensuring linearity for color processing, and performs correction according to Equation (1) below.

Figure 112013010180570-pat00001
Figure 112013010180570-pat00001

상기의 수학식 1에서 PWB_org는 수직 방향 비닝 과정에 합해진 픽셀 값, M은 수직 보간부(122)에 의해 비닝되기 이전의 오리지널 픽셀의 최대 값, PWB_corr는 선형성을 갖도록 보정된 픽셀의 값이다. 여기에서, M은 픽셀이 10비트일 경우 1023이다.In Equation 1, PWB_org is a pixel value added to the vertical direction binning process, M is a maximum value of an original pixel before being binned by the vertical interpolator 122, and PWB_corr is a pixel value corrected to have linearity. Here, M is 1023 when the pixel is 10 bits.

즉, 선형 보정부(220)는 PWB_org가 "M/3" 보다 작은 경우 수직 방향 비닝 과정에서 합해진 픽셀 값인 PWB_org를 유지하고, 그렇지 않을 경우 상기의 수학식 1에서 "(PWB_org - M) * 4"를 이용하여 보정된 값을 PWB_corr를 계산한다.That is, when the PWB_org is smaller than "M / 3", the linear correction unit 220 maintains PWB_org, which is a summed pixel value in the vertical direction binning process. Otherwise, "(PWB_org - M) * 4" To calculate the corrected value PWB_corr.

선형 보정부(220)에서 보정 과정을 거친 수직 방향 비닝 이미지는 이미지 합성부(130) 또는 수평 보간부(124)에 입력된다.The vertical binning image that has undergone the correction process in the linear correction unit 220 is input to the image composing unit 130 or the horizontal interpolating unit 124.

수평 보간부(124)는 서로 상이한 베이어 패턴에서 수평 방향으로 두 픽셀 값을 합하거나 평균한다. 즉, 수평 보간부(124)는 동일한 색상을 갖는 수평 방향의 두 픽셀 값을 합하거나 평균하는 방법으로 수평 방향 비닝 이미지를 생성할 수 있다. 이렇게 생성된 수평 방향 비닝 이미지는 이미지 합성부(130)에 출력된다.The horizontal interpolator 124 sums or averages the two pixel values in the horizontal direction in different Bayer patterns. That is, the horizontal interpolation unit 124 may generate a horizontal direction binning image by summing or averaging two pixel values in the horizontal direction having the same color. The horizontal binning image thus generated is output to the image composing unit 130. [

이미지 합성부(130)는 보정된 수직 방향의 비닝 이미지와 수평 방향 비닝 이미지를 합성한 후 결과 이미지를 출력한다.The image synthesizer 130 synthesizes the corrected vertical and horizontal binning images, and outputs the resultant image.

상기와 같은 구성을 갖는 이미지 센서가 가중치 기반의 비닝 이미지를 생성하는 과정에 대해 설명하면 아래와 같다.A process of generating a binning-based binning image by the image sensor having the above-described configuration will be described below.

먼저, 가중치 설정부(110)에 의해 설정된 가중치에 의거하여 노출 시간 제어부(200)는 각 로우 영역 또는 각 콜럼 영역에 대한 노출 시간을 제어하기 위한 제어 신호를 노출부(210)에 출력한다. 여기에서, 가중치 설정부(110)는 픽셀부(100)의 로우 및 콜럼 영역에 대한 조도 정보를 추출하고, 추출된 조도 정보를 기반으로 로우 영역별 또는 콜럼 영역별 가중치를 설정할 수 있다.First, the exposure time controller 200 outputs a control signal to the exposure unit 210 for controlling the exposure time for each row region or each column region, based on the weight value set by the weight setting unit 110. [ Here, the weight setting unit 110 may extract illumination information for the row and column areas of the pixel unit 100, and may set weights for the row areas or the column areas based on the extracted illumination information.

노출부(210)는 제어 신호에 의거하여 각 로우 영역 또는 각 콜럼 영역에 대한 노출 시간을 제어하며, 이에 따라 픽셀부(100)는 노출 시간이 상이한 베이어 패턴을 보간부(120)에 출력한다.The exposure unit 210 controls exposure time for each row region or each column region based on a control signal, and accordingly, the pixel unit 100 outputs a Bayer pattern having a different exposure time to the interpolator 120.

보간부(120)의 수직 보간부(122)는 픽셀부(100)로부터 입력받은 상이한 베이어 패턴에서 수직 방향으로 동일한 색상을 갖는 픽셀 값을 합하거나 평균하여 수직 방향 비닝 이미지의 픽셀 값을 결정한다. 이러한 과정을 통해 생성된 수직 방향 비닝 이미지는 선형 보정부(220)에 입력된다.The vertical interpolator 122 of the interpolator 120 adds or averages the pixel values having the same color in the vertical direction in the different Bayer pattern input from the pixel unit 100 to determine the pixel value of the vertical binning image. The vertical direction binning image generated through the above process is input to the linear correction unit 220.

이후, 선형 보정부(220)는 상기의 수학식 1과 같이 PWB_org가 "M/3" 보다 작은 경우 수직 방향 비닝 과정에서 합해진 픽셀 값인 PWB_org를 유지하고, 그렇지 않을 경우 상기의 수학식 1에서 "(PWB_org - M) * 4"를 이용하여 보정된 값을 PWB_corr를 계산한 후 계산된 PWB_corr를 이용하여 PWB_org 값을 보정한다. 이러한 보정 과정을 통해 선형 보정부(220)는 보정된 수평 방향 비닝 이미지를 이미지 합성부(130)에 출력한다.If the PWB_org is smaller than "M / 3" as shown in Equation (1), the linear correction unit 220 maintains the sum of the pixel values PWB_org in the vertical direction binning process, PWB_org - M) * 4 "is used to calculate the corrected PWB_corr and then the PWB_corr is used to correct the PWB_org value. Through this correction process, the linear correction unit 220 outputs the corrected horizontal direction binning image to the image synthesis unit 130. [

수평 보간부(124)는 픽셀부(100)로부터 입력받은 상이한 베이어 패턴에서 수평 방향으로 동일한 색상을 갖는 픽셀 값을 합하거나 평균하여 수직 방향 비닝 이미지의 픽셀 값을 결정하는 방식으로 수직 방향 비닝 이미지를 생성한 후 이를 이미지 합성부(130)에 출력한다.The horizontal interpolating unit 124 adds or averages the pixel values having the same color in the horizontal direction in the different Bayer pattern received from the pixel unit 100 to determine the pixel value of the vertical direction binning image, And outputs it to the image synthesis unit 130. [

상술한 바와 같은 과정을 통해 생성된 수직 및 수평 방향 비닝 이미지는 이미지 합성부(130)에 의해 합성됨으로써, 가중치 기반의 비닝 이미지가 생성될 수 있다.The binarization images based on the weights can be generated by combining the vertical and horizontal binning images generated through the above-described processes by the image composer 130. [

또한, 수직 방향 비닝 과정을 수행한 후 보정을 통해 선형성을 확보함으로서, 다이나믹 레인지를 3배 이상 확장시킬 수 있다.In addition, the dynamic range can be extended three times or more by securing the linearity through the correction after performing the vertical direction binning process.

상술한 바와 같은 이미지 센서를 이용하여 가중치 기반의 비닝 이미지와 일반적인 비닝 방법을 통해 생성된 비닝 이미지간의 차이점에 대해 도 8a 내지 도 8c를 참조하여 설명한다.The difference between the binning image based on the weight and the binning image generated through the normal binning method using the image sensor as described above will be described with reference to FIGS. 8A to 8C.

도 8a는 종래의 비닝 방법을 수행한 후 이미지이며, 도 8b는 비닝 후 샘플링 보정 방법을 수행하고, 디모자이킹 과정을 수행한 이미지이며, 도 8c는 본 발명의 실시 예에 따른 가중치 기반의 비닝 이미지를 이용한 이미지이다.FIG. 8A is an image after performing the conventional binning method, FIG. 8B is an image in which a post-binning sampling correction method is performed and a demosaicing process is performed, and FIG. 8C is a weight- It is an image using an image.

도 8a 및 도 8b와 도 8c를 비교해 보면, 도 8c의 가중치 기반 비닝 이미지가 종래의 도 8a 및 도 8b의 영상에 비해 종래의 "jagged edge"와 해상도 면에서 모두 개선되는 것을 알 수 있다.8A and 8B and 8C, it can be seen that the weighted binning image of FIG. 8C is improved in both the conventional "jagged edge" and resolution as compared to the images of the prior art FIGS. 8A and 8B.

이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.
While the present invention has been described in connection with what is presently considered to be practical exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, You will understand.

100 : 픽셀부
110 : 가중치 설정부
120 : 보간부
122 : 수직 보간부
124 : 수평 보간부
130 : 이미지 합성부
200 : 노출 시간 제어부
210 : 노출부
220 : 선형 보정부
100:
110: Weight setting unit
120: interpreter
122: Vertical interpolation section
124: Horizontal interpolation section
130:
200: Exposure time control section
210:
220: Linear correction unit

Claims (20)

피사체의 광학적 신호를 전기적인 신호로 변환하여 베이어 패턴을 출력하는 픽셀부와,
상기 베이어 패턴의 각 로우(row) 영역에 설정된 가중치 정보를 기반으로 상기 베이어 패턴의 수직 방향 픽셀 값을 합하거나 평균하여 수직 방향 비닝 이미지를 생성하는 수직 보간부와,
상기 베이어 패턴의 각 콜럼(column) 영역에 설정된 가중치 정보를 기반으로 상기 베이어 패턴의 수평 방향의 픽셀 값을 합하거나 평균하여 수평 방향 비닝 이미지를 생성하는 수평 보간부와,
상기 수직 및 수평 방향 비닝 이미지를 합성하여 가중치 기반의 비닝 이미지를 생성하는 이미지 합성부와,
상기 수직 방향 비닝 이미지의 픽셀 값과 기 설정된 값간의 비교를 통해 상기 수직 방향 비닝 이미지 내 각 픽셀 값을 보정하여 보정된 수평 방향 비닝 이미지를 생성하는 선형 보정부를 포함하고,
상기 선형 보정부는,
상기 수직 방향 비닝 이미지의 픽셀 값이 상기 기 설정된 값 이상인 경우 상기 수직 방향 비닝 이미지의 픽셀 값을 상기 픽셀부의 최대 픽셀 값을 이용하여 보정하고, 그렇지 않을 경우 상기 수직 방향 비닝 이미지의 픽셀 값을 유지시키는 것을 특징으로하는
이미지 센서.
A pixel unit for converting an optical signal of a subject into an electrical signal and outputting a Bayer pattern;
A vertical interpolator for summing or averaging vertical pixel values of the Bayer pattern on the basis of weight information set in each row area of the Bayer pattern to generate a vertical direction binning image;
A horizontal interpolator for summing or averaging pixel values in the horizontal direction of the Bayer pattern on the basis of weight information set in each column area of the Bayer pattern to generate a horizontal direction binning image;
An image synthesizer for synthesizing the vertical and horizontal binning images to generate a weighted binning image,
And a linear correction unit that corrects each pixel value in the vertical direction binning image by comparing the pixel value of the vertical direction binning image with a preset value to generate a corrected horizontal direction binning image,
Wherein the linear correction unit comprises:
If the pixel value of the vertical direction binning image is greater than or equal to the predetermined value, correcting the pixel value of the vertical direction binning image using the maximum pixel value of the pixel unit, and if not, maintaining the pixel value of the vertical direction binning image Characterized by
Image sensor.
제 1 항에 있어서,
상기 픽셀부는 레드 픽셀 및 그린 픽셀이 교대로 배열되는 어느 하나의 라인과, 블루 픽셀 및 그린 픽셀이 교대로 배열되는 다음 라인으로 구성된 베이어 패턴으로 배열되는 것을 특징으로 하는
이미지 센서.
The method according to claim 1,
Wherein the pixel portion is arranged in a Bayer pattern composed of any one line in which red pixels and green pixels are alternately arranged and a next line in which blue pixels and green pixels are alternately arranged
Image sensor.
제 2 항에 있어서,
상기 베이어 패턴의 로우 영역 또는 콜럼 영역 각각 대해 가중치를 설정할 수 있는 인터페이스를 제공하며, 상기 인터페이스를 통해 설정된 가중치를 상기 수직 또는 수평 보간부에 제공하는 가중치 설정부를 더 포함하는
이미지 센서.
3. The method of claim 2,
Further comprising a weight setting unit for providing an interface capable of setting a weight for each of the row areas or the column areas of the Bayer pattern and for providing a weight value set through the interface to the vertical or horizontal interpolation unit
Image sensor.
제 3 항에 있어서,
상기 가중치 설정부는, 상기 로우 영역 또는 콜럼 영역의 어느 하나의 라인과 다음 라인이 1:3 또는 3:1 비율을 갖도록 상기 가중치를 설정하는 것을 특징으로 하는
이미지 센서.
The method of claim 3,
Wherein the weight setting unit sets the weight so that any one line of the row region or the column region and the next line have a ratio of 1: 3 or 3: 1
Image sensor.
각 로우 및 콜럼 영역에 설정된 가중치에 의거하여 상기 각 로우 및 콜럼 영역의 노출 시간을 제어하는 노출 시간 제어부와,
상기 노출 시간에 따른 베이어 패턴을 출력하는 픽셀부와,
상기 베이어 패턴에서 수직 방향의 픽셀 값을 합하거나 평균하는 방법으로 수직 방향 비닝 이미지를 생성하는 수직 보간부와,
상기 베이어 패턴에서 수평 방향의 픽셀 값을 합하거나 평균하는 방법으로 수평 방향 비닝 이미지를 생성하는 수평 보간부와,
상기 수직 및 수평 비닝 이미지를 합성하여 가중치 기반의 비닝 이미지를 생성하는 이미지 합성부와,
상기 수직 방향 비닝 이미지의 픽셀 값과 기 설정된 값간의 비교를 통해 상기 수직 방향 비닝 이미지 내 각 픽셀 값을 보정하여 보정된 수평 방향 비닝 이미지를 생성하는 선형 보정부를 포함하고,
상기 선형 보정부는,
상기 수직 방향 비닝 이미지의 픽셀 값이 상기 기 설정된 값 이상인 경우 상기 수직 방향 비닝 이미지의 픽셀 값을 상기 픽셀부의 최대 픽셀 값을 이용하여 보정하고, 그렇지 않을 경우 상기 수직 방향 비닝 이미지의 픽셀 값을 유지시키는 것을 특징으로하는
이미지 센서.
An exposure time control unit for controlling an exposure time of each of the row and column areas based on weights set in the respective row and column areas,
A pixel unit for outputting a Bayer pattern according to the exposure time;
A vertical interpolator for generating a vertical binning image by summing or averaging pixel values in the vertical direction in the Bayer pattern;
A horizontal interpolation unit for generating a horizontal direction binning image by summing or averaging pixel values in the horizontal direction in the Bayer pattern;
An image synthesizer for synthesizing the vertical and horizontal binning images to generate a weighted binning image,
And a linear correction unit that corrects each pixel value in the vertical direction binning image by comparing the pixel value of the vertical direction binning image with a preset value to generate a corrected horizontal direction binning image,
Wherein the linear correction unit comprises:
If the pixel value of the vertical direction binning image is greater than or equal to the predetermined value, correcting the pixel value of the vertical direction binning image using the maximum pixel value of the pixel unit, and if not, maintaining the pixel value of the vertical direction binning image Characterized by
Image sensor.
제 5 항에 있어서,
상기 픽셀부는, 레드 픽셀 및 그린 픽셀이 교대로 배열되는 어느 하나의 라인과, 블루 픽셀 및 그린 픽셀이 교대로 배열되는 다음 라인으로 구성되는 것을 특징으로 하는
이미지 센서.
6. The method of claim 5,
Wherein the pixel portion is constituted by any one line in which red pixels and green pixels are alternately arranged and a next line in which blue pixels and green pixels are alternately arranged
Image sensor.
제 5 항에 있어서,
상기 노출 시간 제어부에 의해 설정된 노출 시간에 따라 상기 픽셀부 내 각 픽셀을 노출시키는 노출부를 더 포함하는
이미지 센서.
6. The method of claim 5,
And an exposure unit for exposing each pixel in the pixel unit according to the exposure time set by the exposure time control unit
Image sensor.
삭제delete 제 5 항에 있어서,
상기 기 설정된 값은, 상기 픽셀부의 최대 픽셀 값에 의해 결정되는 것을 특징으로 하는
이미지 센서.
6. The method of claim 5,
Wherein the predetermined value is determined by a maximum pixel value of the pixel portion.
Image sensor.
삭제delete 제 5 항에 있어서,
상기 각 로우 및 콜럼 영역의 가중치를 설정할 수 있는 인터페이스를 제공하며, 상기 설정된 가중치를 상기 노출 시간 제어부에 제공하는 가중치 설정부를 더 포함하는
이미지 센서.
6. The method of claim 5,
And a weight setting unit for providing an interface capable of setting weights of the respective rows and columns and providing the set weights to the exposure time controller
Image sensor.
제 11 항에 있어서,
상기 가중치 설정부는, 상기 로우 영역별 또는 콜럼 영역별에 대한 조도 정보를 기반으로 상기 로우 영역 또는 콜럼 영역별 가중치를 설정하는 것을 특징으로 하는
이미지 센서.

12. The method of claim 11,
Wherein the weight setting unit sets weights for the row region or the column region based on illuminance information for each row region or each column region,
Image sensor.

제 11 항에 있어서,
상기 가중치 설정부는, 상기 로우 영역 또는 콜럼 영역의 어느 하나의 라인과 다음 라인이 1:3 또는 3:1 비율을 갖도록 상기 가중치를 설정하는 것을 특징으로 하는
이미지 센서.
12. The method of claim 11,
Wherein the weight setting unit sets the weight so that any one line of the row region or the column region and the next line have a ratio of 1: 3 or 3: 1
Image sensor.
로우 영역별 또는 콜럼 영역별로 설정된 가중치에 의거하여 상기 로우 영역별 또는 콜럼 영역별 노출 시간을 설정하는 단계와,
상기 설정된 노출 시간에 따라 픽셀부로부터 노출 시간이 상이한 베이어 패턴을 제공받는 단계와,
상기 베이어 패턴에서 동일 색상을 갖는 수직 방향의 두 픽셀 값을 합하거나 평균하여 수직 방향 비닝 이미지를 생성하는 단계와,
상기 베이어 패턴에서 동일한 색상을 갖는 수평 방향의 두 픽셀 값을 합하거나 평균하여 수평 방향 비닝 이미지를 생성하는 단계와,
상기 수직 및 수평 방향 비닝 이미지를 이용하여 가중치 기반의 비닝 이미지를 생성하는 단계와,
상기 수직 방향 비닝 이미지의 픽셀 값과 기 설정된 값간의 비교를 통해 상기 수직 방향
비닝 이미지 내 각 픽셀 값을 보정하는 단계를 포함하고,
상기 보정하는 단계는,
상기 수직 방향 비닝 이미지의 픽셀 값과 상기 기 설정된 값과 비교하는 단계와,
상기 비교 결과, 상기 수직 방향 비닝 이미지의 픽셀 값이 상기 기 설정된 값 이상인 경우 상기 수직 비닝 이미지의 픽셀 값을 상기 픽셀부의 최대 픽셀 값을 이용하여 보정하는 단계와,
상기 비교 결과, 상기 수직 방향 비닝 이미지의 픽셀 값이 상기 기 설정된 값 미만인 경우 상기 수직 방향 비닝 이미지의 픽셀 값을 유지시키는 단계를 통해 상기 수직 방향 비닝 이미지의 픽셀 값들을 보정하는 것을 특징으로 하는
이미지 센서의 비닝 이미지 생성 방법.
Setting an exposure time for each row region or each column region based on a weight value set for each row region or each column region;
Receiving a Bayer pattern having a different exposure time from the pixel unit according to the set exposure time,
Summing or averaging two vertical pixel values having the same hue in the Bayer pattern to generate a vertical direction binning image;
Summing or averaging two pixel values in the horizontal direction having the same color in the Bayer pattern to generate a horizontal direction binning image;
Generating a weighted binning image using the vertical and horizontal direction binning images;
And comparing the pixel value of the vertically oriented binned image with a predetermined value,
And correcting each pixel value in the binning image,
Wherein the correcting comprises:
Comparing the pixel value of the vertically oriented binning image with the predetermined value;
Correcting the pixel value of the vertical binning image using the maximum pixel value of the pixel unit when the pixel value of the vertical binning image is equal to or greater than the predetermined value as a result of the comparison;
And when the pixel value of the vertical direction binning image is less than the preset value, correcting the pixel values of the vertical direction binning image by maintaining the pixel value of the vertical direction binning image as a result of the comparison
A method of generating a binning image of an image sensor.
제 14 항에 있어서,
상기 로우 영역별 또는 콜럼 영역별 가중치를 설정하는 단계를 더 포함하는
이미지 센서의 비닝 이미지 생성 방법.
15. The method of claim 14,
Further comprising setting a weight for each row region or each column region
A method of generating a binning image of an image sensor.
제 15 항에 있어서,
상기 가중치를 설정하는 단계는, 상기 로우 영역 또는 콜럼 영역의 어느 하나의 라인과 동일한 색상을 갖는 다음 라인이 1:3 또는 3:1 비율의 갖도록 가중치를 설정하는 것을 특징으로 하는
이미지 센서의 비닝 이미지 생성 방법.
16. The method of claim 15,
Wherein the weight setting step sets a weight so that the next line having the same hue as any one of the row region or the column region has a ratio of 1: 3 or 3: 1
A method of generating a binning image of an image sensor.
제 15 항에 있어서,
상기 가중치를 설정하는 단계는, 상기 픽셀부의 로우 및 콜럼 영역에 대한 조도 정보를 추출하는 단계와,
상기 추출된 조도 정보를 기반으로 상기 로우 영역별 또는 콜럼 영역별 상기 가중치를 설정하는 단계를 포함하는 것을 특징으로 하는
이미지 센서의 비닝 이미지 생성 방법.
16. The method of claim 15,
The weighting step may include extracting illumination information for the row and column areas of the pixel unit,
And setting the weight value for each row region or each column region based on the extracted illuminance information
A method of generating a binning image of an image sensor.
제 14 항에 있어서,
상기 가중치 기반의 비닝 이미지를 생성하는 단계는, 상기 보정을 통해 생성된 수직 방향 비닝 이미지와 상기 수평 방향 비닝 이미지를 이용하여 생성하는 것을 특징으로 하는
이미지 센서의 비닝 이미지 생성 방법.
15. The method of claim 14,
Wherein the generating of the weighted based binning image is performed using the vertical binning image and the horizontal binning image generated through the correction,
A method of generating a binning image of an image sensor.
삭제delete 제 14 항에 있어서,
상기 픽셀부의 최대 픽셀 값을 이용하여 보정하는 단계는,
수학식((PWB_org - M) * 4, M은 픽셀부의 최대 픽셀 값, PWB_org는 수직 방향 비닝에 합해진 픽셀 값)에 의거하여 상기 수직 비닝 이미지의 픽셀 값을 보정하는 것을 특징으로 하는
이미지 센서의 비닝 이미지 생성 방법.
15. The method of claim 14,
Wherein the step of correcting using the maximum pixel value of the pixel unit comprises:
Wherein the pixel value of the vertical binning image is corrected on the basis of the formula ((PWB_org - M) * 4, M is the maximum pixel value of the pixel portion, and PWB_org is the pixel value added to the vertical direction binning)
A method of generating a binning image of an image sensor.
KR20130012259A 2013-02-04 2013-02-04 Image sensorand method for generating binning image using the same KR101488074B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR20130012259A KR101488074B1 (en) 2013-02-04 2013-02-04 Image sensorand method for generating binning image using the same
US13/827,875 US9137452B2 (en) 2013-02-04 2013-03-14 Image sensor and method of generating binning image using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130012259A KR101488074B1 (en) 2013-02-04 2013-02-04 Image sensorand method for generating binning image using the same

Publications (2)

Publication Number Publication Date
KR20140099625A KR20140099625A (en) 2014-08-13
KR101488074B1 true KR101488074B1 (en) 2015-01-29

Family

ID=51258935

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130012259A KR101488074B1 (en) 2013-02-04 2013-02-04 Image sensorand method for generating binning image using the same

Country Status (2)

Country Link
US (1) US9137452B2 (en)
KR (1) KR101488074B1 (en)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9711553B2 (en) 2014-04-28 2017-07-18 Samsung Electronics Co., Ltd. Image sensor including a pixel having photoelectric conversion elements and image processing device having the image sensor
JP2015216454A (en) * 2014-05-08 2015-12-03 株式会社ソシオネクスト Image processing device and image processing method
KR101585978B1 (en) * 2014-07-29 2016-01-15 주식회사 동부하이텍 A image sensor
US10109037B1 (en) * 2015-06-02 2018-10-23 Marvell International Ltd. Systems and methods for Bayer image scaling based on edge detection
KR20170089535A (en) * 2016-01-27 2017-08-04 주식회사 동부하이텍 Image sensor
CN109314749B (en) * 2016-06-28 2022-04-05 索尼公司 Imaging apparatus, imaging method, and program
US10306191B2 (en) * 2016-11-29 2019-05-28 Cista System Corp. System and method for high dynamic range image sensing
US10638054B2 (en) * 2017-01-25 2020-04-28 Cista System Corp. System and method for visible and infrared high dynamic range sensing
WO2018140788A1 (en) * 2017-01-27 2018-08-02 Canon U.S.A. Inc. Apparatus, system and method for dynamic in-line spectrum compensation of an image
JP7063199B2 (en) * 2018-08-31 2022-05-09 コニカミノルタ株式会社 Radiation imaging system
WO2020111369A1 (en) * 2018-11-30 2020-06-04 엘지전자 주식회사 Image sensor and control method therefor
KR102648747B1 (en) * 2019-01-18 2024-03-20 삼성전자주식회사 Imaging system for generating hdr image and operating method thereof
US11544873B2 (en) * 2019-03-05 2023-01-03 Artilux, Inc. High resolution 3D image processing apparatus and method thereof
WO2020196934A1 (en) * 2019-03-22 2020-10-01 엘지전자 주식회사 Image sensor and control method therefor
JP7261642B2 (en) * 2019-03-29 2023-04-20 株式会社ソニー・インタラクティブエンタテインメント Image processing method, image processing device, and head mounted display
EP3869793B1 (en) * 2020-02-19 2022-10-12 Sick IVP AB Method for reducing effects of laser speckles
US11350045B2 (en) 2020-03-10 2022-05-31 Samsung Electronics Co., Ltd. Image sensing apparatus and image binning method thereof
KR20210135380A (en) 2020-05-04 2021-11-15 삼성전자주식회사 Image sensor
KR20220000761A (en) 2020-06-26 2022-01-04 삼성전자주식회사 Image sensor and binning method thereof
KR20220053320A (en) 2020-10-22 2022-04-29 삼성전자주식회사 Image sensor and operation method of the same
RU2757667C1 (en) * 2020-12-02 2021-10-20 Федеральное государственное унитарное предприятие «Государственный научно-исследовательский институт авиационных систем» (ФГУП «ГосНИИАС») Method for increasing sensitivity and frame rate of video cameras
US11778337B2 (en) 2021-11-09 2023-10-03 Samsung Electronics Co., Ltd. Image sensor and method for sensing image
US11678067B1 (en) * 2022-02-17 2023-06-13 Omnivision Technologies, Inc. System and method for maintaining pixel intensity when rounding

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070099238A (en) * 2006-04-04 2007-10-09 엠텍비젼 주식회사 Image sensor for expanding wide dynamic range and output bayer-pattern image
KR20090035204A (en) * 2007-10-05 2009-04-09 삼성전자주식회사 Improved solid state image sensing device, method for arranging pixels and processing signals for the same
KR20100086987A (en) * 2007-10-26 2010-08-02 옴니비전 테크놀러지즈 인코포레이티드 High dynamic range image sensor with reduced line memory for color interpolation

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3392564B2 (en) * 1995-02-27 2003-03-31 三洋電機株式会社 Single-panel color video camera
US6611287B1 (en) * 1997-11-28 2003-08-26 Sony Corporation Camera signal processing apparatus and camera signal processing method
JP2008187615A (en) * 2007-01-31 2008-08-14 Canon Inc Imaging device, imaging apparatus, control method, and program
JP4946581B2 (en) * 2007-04-05 2012-06-06 ソニー株式会社 Image processing device
JP5574615B2 (en) * 2009-04-20 2014-08-20 キヤノン株式会社 Image processing apparatus, control method thereof, and program
US8780238B2 (en) * 2011-01-28 2014-07-15 Aptina Imaging Corporation Systems and methods for binning pixels
JP2012175600A (en) * 2011-02-24 2012-09-10 Sony Corp Imaging apparatus, imaging apparatus control method, and program
JP2012253624A (en) * 2011-06-03 2012-12-20 Sony Corp Solid-state imaging device and camera system
JP5634331B2 (en) * 2011-06-07 2014-12-03 株式会社東芝 Image processing device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070099238A (en) * 2006-04-04 2007-10-09 엠텍비젼 주식회사 Image sensor for expanding wide dynamic range and output bayer-pattern image
KR20090035204A (en) * 2007-10-05 2009-04-09 삼성전자주식회사 Improved solid state image sensing device, method for arranging pixels and processing signals for the same
KR20100086987A (en) * 2007-10-26 2010-08-02 옴니비전 테크놀러지즈 인코포레이티드 High dynamic range image sensor with reduced line memory for color interpolation

Also Published As

Publication number Publication date
KR20140099625A (en) 2014-08-13
US20140218567A1 (en) 2014-08-07
US9137452B2 (en) 2015-09-15

Similar Documents

Publication Publication Date Title
KR101488074B1 (en) Image sensorand method for generating binning image using the same
JP5935876B2 (en) Image processing apparatus, imaging device, image processing method, and program
JP6584131B2 (en) Imaging apparatus, imaging system, and signal processing method
US7668391B2 (en) Image signal processor and image signal processing method
EP3093819B1 (en) Imaging apparatus, imaging system, and signal processing method
JP4985584B2 (en) Imaging apparatus and video signal processing method
US7970231B2 (en) Image processing method
US20110234864A1 (en) Imaging device
JP2007288439A (en) Image processing apparatus and method therefor
JP2005136766A (en) Image processor and image processing method
JP2009005232A (en) Image processor, image processing method, program and image pick-up device
KR20190100792A (en) Image sensing device
KR100731812B1 (en) Color deviation compensating apparatus and method, image processor using it, recorded medium
US9270954B2 (en) Imaging device
US8896731B2 (en) Image processing apparatus, image processing method, and camera module
JP2009100150A (en) Device, method, and program for image processing
KR20070099238A (en) Image sensor for expanding wide dynamic range and output bayer-pattern image
JP2013207427A (en) Image pickup device and image pickup method
JP4635769B2 (en) Image processing apparatus, image processing method, and imaging apparatus
JP2009033699A (en) Image processing apparatus, image processing method, program, and imaging apparatus
JP4478981B2 (en) Color noise reduction method and color imaging apparatus
JP4197821B2 (en) Image processing device
KR101204921B1 (en) Image processing device and method for processing image data of the same
US20240273781A1 (en) Electronic device and method of image processing
JP4253095B2 (en) Image data filtering apparatus and method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181221

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20191219

Year of fee payment: 6