KR101488074B1 - Image sensorand method for generating binning image using the same - Google Patents
Image sensorand method for generating binning image using the same Download PDFInfo
- Publication number
- KR101488074B1 KR101488074B1 KR20130012259A KR20130012259A KR101488074B1 KR 101488074 B1 KR101488074 B1 KR 101488074B1 KR 20130012259 A KR20130012259 A KR 20130012259A KR 20130012259 A KR20130012259 A KR 20130012259A KR 101488074 B1 KR101488074 B1 KR 101488074B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- binning
- pixel
- vertical
- unit
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 76
- 238000012935 Averaging Methods 0.000 claims abstract description 22
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 8
- 230000003287 optical effect Effects 0.000 claims abstract description 4
- 238000005286 illumination Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 10
- 238000005070 sampling Methods 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
- H04N25/447—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by preserving the colour pattern with or without loss of information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/58—Control of the dynamic range involving two or more exposures
- H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
- H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
본 발명은 이미지의 해상도를 개선할 수 있는 이미지 센서와 이를 이용한 비닝 이미지 생성 방법에 관한 것이다.
이를 위하여 본 발명의 실시 예에 따른 이미지 센서는 피사체의 광학적 신호를 전기적인 신호로 변환하여 베이어 패턴을 출력하는 픽셀부와, 베이어 패턴의 각 로우 영역에 설정된 가중치 정보를 기반으로 베이어 패턴의 수직 방향 픽셀 값을 합하거나 평균하여 수직 방향 비닝 이미지를 생성하는 수직 보간부와, 베이어 패턴의 각 콜럼(column) 영역에 설정된 가중치 정보를 기반으로 베이어 패턴의 수평 방향의 픽셀 값을 합하거나 평균하여 수평 방향 비닝 이미지를 생성하는 수평 보간부와, 수직 및 수평 방향 비닝 이미지를 합성하여 가중치 기반의 비닝 이미지를 생성하는 이미지 합성부를 포함할 수 있다.The present invention relates to an image sensor capable of improving the resolution of an image and a binning image generating method using the same.
The image sensor according to an embodiment of the present invention includes a pixel unit for converting an optical signal of an object into an electrical signal and outputting a Bayer pattern, A vertical interpolation unit for generating a vertical direction binning image by summing or averaging the pixel values of the Bayer pattern; and a horizontal interpolation unit for adding or averaging pixel values in the horizontal direction of the Bayer pattern based on the weight information set in each column area of the Bayer pattern, A horizontal interpolating unit for generating a binning image, and an image synthesizing unit for synthesizing vertical and horizontal binning images to generate a weighted binning image.
Description
본 발명은 이미지 센서에 관한 것으로, 더욱 상세하게는 가중치 기반의 비닝(binning)을 통해 이미지의 해상도를 향상시킬 수 있는 이미지 센서와 이를 이용한 비닝 이미지 생성 방법에 관한 것이다.
BACKGROUND OF THE
최근 이미지 센서 분야에서 많이 요구되는 성능 중 하나가 고감도이다. 고감도 센서는 빛이 어두운 상태에서도 양질의 영상을 얻을 수 있을 뿐만 아니라 빠르게 움직이는 물체를 촬영하기 위해 프레임 속도를 증가시켰을 때에도 상대적으로 고 품질의 영상을 얻을 수 있다.One of the high performance requirements of image sensors in recent years is high sensitivity. High sensitivity sensors not only provide high quality images even in low light conditions, but also provide relatively high quality images even when the frame rate is increased to capture fast moving objects.
고감도 센서를 위해 많이 채용되는 기술이 비닝(binning) 기법이다. 비닝 기법은 기본적으로 인접 픽셀들의 값을 합쳐서 고품질 고감도의 영상을 얻는 방법이다. 비닝 동작은 인접한 픽셀의 신호 값을 픽셀 안에서 누적된 전하(charge)를 합치는 동작을 구현할 수도 있고, 컬럼(column) 회로에서 픽셀의 아날로그 출력값을 합치는 동작으로도 구현할 수 있다. 또는 비닝은 디지털 영상 처리부에서 수행될 수도 있다.A binning technique is often employed for high sensitivity sensors. The binning method basically combines the values of adjacent pixels to obtain a high-quality, high-sensitivity image. The binning operation may be implemented by combining the signal value of the adjacent pixel with the accumulated charge in the pixel or by combining the analog output value of the pixel in the column circuit. Or binning may be performed in the digital image processing unit.
일반적으로, 비닝 기법은 베이어 패턴을 이용하며, 베이어 영상 단계에서 2개 이상의 동일 색상 픽셀을 합하거나 평균하는 방법으로 화면의 해상도를 낮추고 SNR을 개선한다. In general, the binning method uses a Bayer pattern and lowers the resolution of the screen and improves the SNR by adding or averaging two or more same-color pixels at the Bayer image stage.
이하, 첨부된 도면을 참조하여 종래의 비닝 기법에 대해 설명한다.Hereinafter, a conventional binning technique will be described with reference to the accompanying drawings.
베이어 패턴을 이용하는 이미지 센서에서 일반적으로 사용하는 2:1 비닝 기법은, 도 1a 내지 도 1d에 도시된 바와 같다. 즉, 2:1 비닝 기법은 도 1a에 도시된 바와 같은 베이어 패턴을 입력받아 동일한 색상을 갖는 픽셀들을 수직 및 수평 방향으로 짝을 지어 값을 1:1의 비율로 합하거나 평균하여 픽셀의 값을 결정하여 도 1b 및 도 1c에 도시된 바와 같은 수직 및 수평 방향의 비닝 이미지를 생성한 후 이를 이용하여 도 1d에 도시된 바와 같이, 픽셀들의 위치가 균일하게 놓이지 않고, 무리(cluster)가 지는 것과 같은 형태로 변형된 이미지를 획득한다. The 2: 1 binning technique generally used in an image sensor using a Bayer pattern is as shown in Figs. 1A to 1D. That is, in the 2: 1 binning method, a Bayer pattern as shown in FIG. 1A is input, and pixels having the same color are paired vertically and horizontally, and the values are summed or averaged at a ratio of 1: To generate a binning image in the vertical and horizontal directions as shown in Figs. 1B and 1C, and then using this, the positions of the pixels are not uniformly positioned, as shown in Fig. 1D, Obtain a transformed image in the same form.
상기와 같은 과정을 통해 얻어진 픽셀들의 위치와 일반적으로 사용되는 디모자이킹(demosaicing) 기법에서 가정하는 이상적인 샘플링의 위치를 비교하면, 도 2a 및 도 2b와 같다. 도 2a는 일반적은 비닝 기반에 따라 획득한 이미지를 도시한 도면이며, 도 2b는 디모자이킹 기법에 의해 획득한 이미지를 도시한 도면이다. 여기에서, 디모자이킹 기법은 하나의 픽셀에 RGB 중 하나의 칼라 값만이 주어지는 베이어 패턴 영상으로부터 모든 픽셀에 대해 RGB 전체 칼라를 복원하는 방법이다. The positions of the pixels obtained through the above process are compared with the positions of ideal sampling assumed in a commonly used demosaicing technique, as shown in FIGS. 2A and 2B. FIG. 2A is a view showing an image acquired according to a general binning scheme, and FIG. 2B is a diagram illustrating an image obtained by a demosaicing technique. Here, the demosaicing method is a method of restoring the RGB full color for all pixels from a Bayer pattern image in which only one color value of RGB is given to one pixel.
상기와 같은 비닝 기법을 수행하지 않고, 디모자이킹 기법만을 적용한 후 일반적인 스케일 기법을 통해 획득한 영상은, 도 3a에 도시된 바와 같이, 화질면에서 우수하나 원래의 화면으로 ISP 처리를 수행한 후 사이즈를 줄이기 때문에 전력 소모가 많은 문제점이 있다.As shown in FIG. 3A, the image obtained through the general scale technique after applying the demosaicing technique without performing the binning technique as described above is excellent in image quality but performs ISP processing on the original screen There is a problem that power consumption is large because the size is reduced.
한편, 상기와 같은 비닝 기법을 수행한 후 디모자이킹 기법을 적용한 경우에는, 도 3b에 도시된 바와 같이, 비닝 영상의 나뭇가지 등 기울어진 에지(edge)가 거칠게 표현, 즉 "jagged edge" 현상이 발생되는 것을 알 수 있다. 이는 비닝에 의해 샘플링의 위치가 불규칙하게 변하면서 발생되는 현상이다.When the demosaicing technique is applied after performing the binning technique described above, as shown in FIG. 3B, the inclined edges such as the branches of the binning image are roughly expressed as a "jagged edge" phenomenon As shown in FIG. This is a phenomenon that occurs when the position of sampling is irregularly changed by binning.
상기와 같은 문제점을 해결하기 위해 비닝 후 디모자이킹을 적용하기 전 샘플링 위치를 보정하기 위한 보정 필터를 사용하는 방법이 있다. 즉, 도 4에 도시된 바와 같이, 보정 필터를 통해 "jagged edge" 현상이 완화되었으나, 화면의 해상도가 저하되는 것을 알 수 있다.
In order to solve the above problem, there is a method of using a correction filter for correcting the sampling position before applying binning demosaicing. That is, as shown in FIG. 4, although the "jagged edge" phenomenon is alleviated through the correction filter, the resolution of the screen is lowered.
상기와 같은 문제점을 해결하기 위해 안출된 것으로서, 본 발명의 목적은 이미지의 해상도를 개선할 수 있는 이미지 센서와 이를 이용한 비닝 이미지 생성 방법을 제공하는데 있다.It is an object of the present invention to provide an image sensor capable of improving an image resolution and a method of generating a binning image using the image sensor.
또한, 본 발명은 가중치 기반의 비닝을 수행한 후 선형 보정을 통해 다이나믹 레인지를 확장할 수 있는 이미지 센서와 이를 이용한 비닝 이미지 생성 방법을 제공하는데 있다.The present invention also provides an image sensor capable of expanding a dynamic range through linear correction after binarizing based on weights, and a method of generating a binning image using the image sensor.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
The objects of the present invention are not limited to the above-mentioned objects, and other objects not mentioned can be clearly understood by those skilled in the art from the following description.
본 발명의 일 측면에 따르면, 본 발명의 실시 예에 따른 이미지 센서는 피사체의 광학적 신호를 전기적인 신호로 변환하여 베이어 패턴을 출력하는 픽셀부와, 상기 베이어 패턴의 각 로우 영역에 설정된 가중치 정보를 기반으로 상기 베이어 패턴의 수직 방향 픽셀 값을 합하거나 평균하여 수직 방향 비닝 이미지를 생성하는 수직 보간부와, 상기 베이어 패턴의 각 콜럼(column) 영역에 설정된 가중치 정보를 기반으로 상기 베이어 패턴의 수평 방향의 픽셀 값을 합하거나 평균하여 수평 방향 비닝 이미지를 생성하는 수평 보간부와, 상기 수직 및 수평 방향 비닝 이미지를 합성하여 가중치 기반의 비닝 이미지를 생성하는 이미지 합성부를 포함할 수 있다.According to an aspect of the present invention, an image sensor according to an exemplary embodiment of the present invention includes a pixel unit for converting an optical signal of an object into an electrical signal and outputting a Bayer pattern; A vertical interpolation unit for summing or averaging vertical pixel values of the Bayer pattern to generate a vertical direction binning image based on weight information of the Bayer pattern, A horizontal interpolation unit for summing or averaging the pixel values of the vertical and horizontal directional images to generate a horizontal directional binning image, and an image synthesis unit for synthesizing the vertical and horizontal directional binning images to generate a weighted binning image.
본 발명의 실시 예에 따른 이미지 센서에서 상기 픽셀부는 레드 픽셀 및 그린 픽셀이 교대로 배열되는 어느 하나의 라인과, 블루 픽셀 및 그린 픽셀이 교대로 배열되는 다음 라인으로 구성된 베이어 패턴으로 배열되는 것을 특징으로 한다.In the image sensor according to the embodiment of the present invention, the pixel portion is arranged in a Bayer pattern composed of one line in which red pixels and green pixels are alternately arranged and a next line in which blue pixels and green pixels are alternately arranged .
본 발명의 실시 예에 따른 이미지 센서는 상기 베이어 패턴의 로우 영역 또는 콜럼 영역 각각 대해 가중치를 설정할 수 있는 인터페이스를 제공하며, 상기 인터페이스를 통해 설정된 가중치를 상기 수직 또는 수평 보간부에 제공하는 가중치 설정부를 더 포함할 수 있다.The image sensor according to an embodiment of the present invention provides an interface for setting a weight for each of the row region or the column region of the Bayer pattern and a weight setting unit for providing a weight value set through the interface to the vertical or horizontal interpolation unit .
본 발명의 실시 예에 따른 이미지 센서에서 상기 가중치 설정부는, 상기 로우 영역 또는 콜럼 영역의 어느 하나의 라인과 다음 라인이 1:3 또는3:1 비율을 갖도록 상기 가중치를 설정하는 것을 특징으로 한다.In the image sensor according to the embodiment of the present invention, the weight setting unit may set the weight so that any one of the row region and the column region and the next line have a 1: 3 or 3: 1 ratio.
본 발명의 다른 측면에 따르면, 본 발명의 실시 예에 따른 이미지 센서는 각 로우 및 콜럼 영역에 설정된 가중치에 의거하여 상기 각 로우 및 콜럼 영역의 노출 시간을 제어하는 노출 시간 제어부와, 상기 노출 시간에 따른 베이어 패턴을 출력하는 픽셀부와, 상기 베이어 패턴에서 수직 방향의 픽셀 값을 합하거나 평균하는 방법으로 수직 방향 비닝 이미지를 생성하는 수직 보간부와, 상기 베이어 패턴에서 수평 방향의 픽셀 값을 합하거나 평균하는 방법으로 수평 방향 비닝 이미지를 생성하는 수평 보간부와, 상기 수직 및 수평 비닝 이미지를 합성하여 가중치 기반의 비닝 이미지를 생성하는 이미지 합성부를 포함할 수 있다.According to another aspect of the present invention, an image sensor according to an exemplary embodiment of the present invention includes an exposure time control unit for controlling an exposure time of each of the row and column areas based on weights set in respective row and column areas, A vertical interpolating unit for generating a vertical binning image by summing or averaging pixel values in the vertical direction in the Bayer pattern; and a vertical interpolator for summing pixel values in the horizontal direction in the Bayer pattern A horizontal interpolating unit for generating a horizontal binning image by averaging and an image synthesizing unit for synthesizing the vertical and horizontal binning images to generate a weighted binning image.
본 발명의 실시 예에 따른 이미지 센서는 상기 노출 시간 제어부에 의해 설정된 노출 시간에 따라 상기 픽셀부 내 각 픽셀을 노출시키는 노출부를 더 포함할 수 있다.The image sensor according to an embodiment of the present invention may further include an exposure unit that exposes each pixel in the pixel unit according to the exposure time set by the exposure time control unit.
본 발명의 실시 예에 따른 이미지 센서는 상기 수직 방향 비닝 이미지의 픽셀 값과 기 설정된 값간의 비교를 통해 상기 수직 방향 비닝 이미지 내 각 픽셀 값을 보정하여 보정된 수평 방향 비닝 이미지를 생성하는 선형 보정부를 더 포함하는 것을 특징으로 한다.The image sensor according to an exemplary embodiment of the present invention includes a linear correction unit that generates a corrected horizontal direction binning image by correcting each pixel value in the vertical direction binning image through comparison between a pixel value of the vertical direction binning image and a predetermined value And further comprising:
본 발명의 실시 예에 따른 이미지 센서에서 상기 기 설정된 값은, 상기 픽셀부의 최대 픽셀 값에 의해 결정되는 것을 특징으로 한다.In the image sensor according to the embodiment of the present invention, the preset value is determined by the maximum pixel value of the pixel portion.
본 발명의 실시 예에 따른 이미지 센서에서 상기 선형 보정부는, 상기 수직 방향 비닝 이미지의 픽셀 값이 상기 기 설정된 값 이상인 경우 상기 수직 방향 비닝 이미지의 픽셀 값을 상기 픽셀부의 최대 픽셀 값을 이용하여 보정하고, 그렇지 않을 경우 상기 수직 방향 비닝 이미지의 픽셀 값을 유지시키는 것을 특징으로 한다.In the image sensor according to the embodiment of the present invention, when the pixel value of the vertical direction binning image is equal to or greater than the predetermined value, the linearity correction unit corrects the pixel value of the vertical direction binning image using the maximum pixel value of the pixel unit And if not, maintains the pixel value of the vertical binning image.
본 발명의 실시 예에 따른 이미지 센서에서 상기 가중치 설정부는, 상기 로우 영역별 또는 콜럼 영역별에 대한 조도 정보를 기반으로 상기 로우 영역 또는 콜럼 영역별 가중치를 설정하는 것을 특징으로 한다.In the image sensor according to the exemplary embodiment of the present invention, the weight setting unit sets a weight for each row region or each column region based on illuminance information for each row region or each column region.
본 발명의 또 다른 측면에 따르면, 본 발명의 실시 예에 따른 이미지 센서의 비닝 이미지 생성 방법은 로우 영역별 또는 콜럼 영역별로 설정된 가중치에 의거하여 상기 로우 영역별 또는 콜럼 영역별 노출 시간을 설정하는 단계와, 상기 설정된 노출 시간에 따라 픽셀부로부터 노출 시간이 상이한 베이어 패턴을 제공받는 단계와, 상기 베이어 패턴에서 동일 색상을 갖는 수직 방향의 두 픽셀 값을 합하거나 평균하여 수직 방향 비닝 이미지를 생성하는 단계와, 상기 베이어 패턴에서 동일한 색상을 갖는 수평 방향의 두 픽셀 값을 합하거나 평균하여 수평 방향 비닝 이미지를 생성하는 단계와, 상기 수직 및 수평 방향 비닝 이미지를 이용하여 가중치 기반의 비닝 이미지를 생성하는 단계를 포함할 수 있다.According to another aspect of the present invention, there is provided a method of generating a binning image of an image sensor, comprising: setting an exposure time for each row region or a column region based on weight values set for each row region or each column region; Receiving a Bayer pattern having a different exposure time from the pixel unit according to the set exposure time, generating a vertical direction binning image by summing or averaging the two pixel values in the vertical direction having the same color in the Bayer pattern Generating a horizontal binning image by summing or averaging two pixel values in the horizontal direction having the same hue in the Bayer pattern; and generating a weighted binning image using the vertical and horizontal direction binning images . ≪ / RTI >
본 발명의 실시 예에 따른 이미지 센서의 비닝 이미지 생성 방법은 상기 로우 영역별 또는 콜럼 영역별 가중치를 설정하는 단계를 더 포함할 수 있다.The method of generating a binning image of an image sensor according to an exemplary embodiment of the present invention may further include setting a weight for each row region or each column region.
본 발명의 실시 예에 따른 이미지 센서의 비닝 이미지 생성 방법에서 상기 가중치를 설정하는 단계는, 상기 로우 영역 또는 콜럼 영역의 어느 하나의 라인과 동일한 색상을 갖는 다음 라인이 1:3 또는 3:1 비율의 갖도록 가중치를 설정하는 것을 특징으로 한다.In the method of generating a binning image of an image sensor according to an exemplary embodiment of the present invention, the step of setting the weights may include the step of setting a ratio of 1: 3 or 3: 1 And the weight is set to have a weight.
본 발명의 실시 예에 따른 이미지 센서의 비닝 이미지 생성 방법은 상기 가중치를 설정하는 단계는, 상기 픽셀부의 로우 및 콜럼 영역에 대한 조도 정보를 추출하는 단계와, 상기 추출된 조도 정보를 기반으로 상기 로우 영역별 또는 콜럼 영역별 상기 가중치를 설정하는 단계를 포함하는 것을 특징으로 한다.In the method of generating a binning image of an image sensor according to an embodiment of the present invention, the step of setting the weights may include extracting illuminance information on a row and a column area of the pixel unit, And setting the weight for each region or for each column region.
본 발명의 실시 예에 따른 이미지 센서의 비닝 이미지 생성 방법은 상기 수직 방향 비닝 이미지의 픽셀 값과 기 설정된 값간의 비교를 통해 상기 수직 방향 비닝 이미지 내 각 픽셀 값을 보정하는 단계를 더 포함하며, 상기 가중치 기반의 비닝 이미지를 생성하는 단계는, 상기 보정을 통해 생성된 수직 방향 비닝 이미지와 상기 수평 방향 비닝 이미지를 이용하여 생성하는 것을 특징으로 한다.The method of generating a binning image of an image sensor according to an exemplary embodiment of the present invention may further include the step of correcting each pixel value in the vertical binning image through comparison between a pixel value of the vertical binning image and a preset value, The weighting-based binning image is generated by using the vertical binning image and the horizontal binning image generated through the correction.
본 발명의 실시 예에 따른 이미지 센서의 비닝 이미지 생성 방법에서 상기 보정하는 단계는, 상기 수직 방향 비닝 이미지의 픽셀 값과 상기 기 설정된 값과 비교하는 단계와, 상기 비교 결과, 상기 수직 방향 비닝 이미지의 픽셀 값이 상기 기 설정된 값 이상인 경우 상기 수직 비닝 이미지의 픽셀 값을 상기 픽셀부의 최대 픽셀 값을 이용하여 보정하는 단계와, 상기 비교 결과, 상기 수직 방향 비닝 이미지의 픽셀 값이 상기 기 설정된 값 미만인 경우 상기 수직 방향 비닝 이미지의 픽셀 값을 유지시키는 단계를 통해 상기 수직 방향 비닝 이미지의 픽셀 값들을 보정하는 것을 특징으로 한다.In the method of generating a binned image of an image sensor according to an exemplary embodiment of the present invention, the step of correcting may include: comparing a pixel value of the vertical binning image with the preset value; And correcting the pixel value of the vertical binning image using the maximum pixel value of the pixel unit when the pixel value is equal to or greater than the preset value; and if the pixel value of the vertical binning image is less than the preset value And correcting pixel values of the vertical direction binning image by maintaining a pixel value of the vertical direction binning image.
본 발명의 실시 예에 따른 이미지 센서의 비닝 이미지 생성 방법에서 상기 픽셀부의 최대 픽셀 값을 이용하여 보정하는 단계는, 수학식((PWB_org - M) * 4, M은 픽셀부의 최대 픽셀 값, PWB_org는 수직 방향 비닝에 합해진 픽셀 값)에 의거하여 상기 수직 비닝 이미지의 픽셀 값을 보정하는 것을 특징으로 한다.In the method of generating a binned image of an image sensor according to an exemplary embodiment of the present invention, the step of correcting using the maximum pixel value of the pixel unit may be performed using Equation ((PWB_org - M) * 4, M is the maximum pixel value of the pixel portion, PWB_org The pixel value of the vertical binning image is corrected on the basis of the pixel value of the vertical binning image.
본 발명은 가중치 기반으로 수직 방향 비닝 이미지와 수평 방향 비닝 이미지를 생성한 후 이를 합성하여 비닝 이미지를 생성함으로써, 종래의 비닝 기법에 의해 해상도 저하를 막을 수 있다.In the present invention, a vertical binning image and a horizontal binning image are generated based on weights, and then a binning image is generated by combining the binning images and the horizontal binning images, thereby preventing resolution degradation by a conventional binning technique.
또한, 본 발명은 가중치 기반의 비닝을 수행한 후 선형 보정을 통해 다이나믹 레인지를 확장할 수 있다.
In addition, the present invention can extend the dynamic range through linear correction after performing weighted binning.
도 1a 내지 도 1d는 일반적인 비닝 방법을 설명하기 위한 도면,
도 2a는 일반적인 비닝 후 샘플 위치를 도시한 도면,
도 2b는 디모자이킹 기법 후 샘플 위치를 도시한 도면,
도 3a는 일반적인 디모지아킹 기법 후 스케일링 과정을 거친 이미지 예시도,
도 3b는 일반적인 비닝 이후 디모자이킹 과정을 거친 이미지 예시도,
도 4는 일반적인 비닝 후 샘플링 위치 보정과 디모자이킹 과정을 거친 이미지 예시도,
도 5는 본 발명의 일 실시 예에 따른 이미지 센서의 블록도,
도 6a는 본 발명의 일 실시 예에서 이용되는 베이어 패턴을 도시한 도면,
도 6b는 본 발명의 일 실시 예에 따라 수직 방향 비닝 이미지를 도시한 도면,
도 6c는 본 발명의 일 실시 예에 따라 수평 방향 비닝 이미지를 도시한 도면,
도 7은 본 발명의 다른 실시 예에 따른 이미지 센서를 도시한 블록도,
도 8a는 종래의 비닝 방법을 수행한 후 이미지를 도시한 도면,
도 8b는 비닝 후 샘플링 보정 방법을 수행하고, 디모자이킹 과정을 수행한 이미지를 도시한 도면,
도 8c는 본 발명의 실시 예에 따른 가중치 기반의 비닝 이미지를 이용한 이미지이다.1A to 1D are views for explaining a general binning method,
2A shows a general post-binning sample location,
Figure 2b shows sample locations after the demosaicing technique,
FIG. 3A is an exemplary image after scaling process after a general demo ging technique,
FIG. 3B is a diagram illustrating an image after demagnetizing process after normal binning,
FIG. 4 is a diagram illustrating an image obtained by performing post-binning sampling position correction and demosaicing,
5 is a block diagram of an image sensor in accordance with an embodiment of the present invention;
6A is a diagram illustrating a Bayer pattern used in an embodiment of the present invention,
FIG. 6B illustrates a vertically oriented binning image in accordance with an embodiment of the present invention,
Figure 6c illustrates a horizontal orientation image in accordance with an embodiment of the present invention,
7 is a block diagram illustrating an image sensor according to another embodiment of the present invention.
8A is a view showing an image after performing a conventional binning method,
8B is a diagram illustrating an image obtained by performing the post-binning sampling correction method and performing the demosaicing process,
8C is an image using a weighted binning image according to an embodiment of the present invention.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention and the manner of achieving them will become apparent with reference to the embodiments described in detail below with reference to the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as being limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the concept of the invention to those skilled in the art. Is provided to fully convey the scope of the invention to those skilled in the art, and the invention is only defined by the scope of the claims. Like reference numerals refer to like elements throughout the specification.
이하, 본 발명의 실시 예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
또한, 이하에서는 첨부 도면을 참조하여 설명함에 있어서 동일하거나 대응하는 구성 요소는 도면 부호에 상관없이 동일한 참조번호를 부여하여 설명하기로 한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the same or corresponding components will be described with reference to the accompanying drawings.
도 5는 본 발명의 일 실시 예에 따른 이미지 센서의 블록도이며, 도 6a는 본 발명의 일 실시 예에서 이용되는 베이어 패턴을 도시한 도면이며, 도 6b는 본 발명의 일 실시 예에 따라 수직 방향 비닝 이미지를 도시한 도면이며, 도 6c는 본 발명의 일 실시 예에 따라 수평 방향 비닝 이미지를 도시한 도면이다.FIG. 5 is a block diagram of an image sensor according to an embodiment of the present invention, FIG. 6A is a diagram illustrating a Bayer pattern used in an embodiment of the present invention, and FIG. FIG. 6C is a view showing a horizontal direction binning image according to an embodiment of the present invention. FIG.
도 5에 도시된 바와 같이, 본 발명의 일 실시 예에 따른 이미지 센서는 픽셀부(100), 보간부(120) 및 이미지 합성부(130)를 포함할 수 있다. 여기에서, 보간부(120)는 수직 보간부(122) 및 수평 보간부(124)로 구성될 수 있다.5, the image sensor according to an exemplary embodiment of the present invention may include a
픽셀부(100)는 렌즈를 통해 입력되는 광학적 피사체의 신호를 전기적 신호로 출력하는 기능을 수행할 수 있다. 이러한 픽셀부(100)에는 동일한 피사체에 해상도면에서 유리한 베이어 패턴이 사용되며, 각 픽셀마다 하나의 색 정보를 갖는 이미지 데이터가 출력된다. 예를 들어 , R 패턴에 해당하는 픽셀에서는 R 성분만을 가지는 이미지 데이터가 출력되고, G 패턴에 해당하는 픽셀에서는 G 성분만을 가지는 이미지 데이터가 출력되며, B 패턴에 해당하는 픽셀에서는 B 성분만을 가지는 이미지 데이터가 출력될 수 있다. 베이어 패턴에 상응하여 각각 하나의 색상 성분만을 가지는 이미지 데이터가 출력된 예가 도 6a에 예시되어 있다. 물론, 픽셀부(100)에 의해 출력되는 아날로그 이미지 데이터를 디지털 이미지 데이터로 변환하여 출력하는 A/D 변환부(미도시)가 픽셀부(100)에 연결된다. 즉, A/D 변환부는 픽셀부(410)를 통해 출력된 아날로그 베이어 이미지 데이터를 디지털 베이어 이미지 데이터로 변환하여 보간부(120)로 전달한다.The
예를 들어, 다수의 픽셀부(100)가 배열되어 있는 경우 각각의 픽셀부(100)는 하나의 포토다이오드와 포토다이오드에 모인 전하를 읽기 위한 MOS 트랜지스터로 이루어진다. 이와 같은 픽셀부(100)는 연속적으로 이미지를 읽어내기 위해서 컬럼 또는 로우별로 빛에 노출을 시키어 즉시 읽어내는 방법을 사용한다.For example, when a plurality of
가중치 설정부(110)는 픽셀부(100)의 라인(row)별 또는 콜럼(column)별 가중치를 설정할 수 있는 인터페이스를 제공하며, 인터페이스를 통해 설정된 라인별 가중치를 보간부(120)에 제공할 수 있다. 즉, 가중치 설정부(110)는 픽셀의 로우 또는 콜럼 영역 각각에 대한 가중치 정보, 예컨대 1:3 또는 3:1의 가중치 정보를 보간부(120)에 제공할 수 있다.The
한편, 가중치 설정부(110)는 조도 정보를 기반으로 로우별 또는 콜럼별 가중치를 설정할 수 있다.On the other hand, the
보간부(120)는 픽셀부(100)로부터 도 6a에 도시된 바와 같은 베이어 패턴(600)을 입력받고, 가중치 설정부(110)에서 설정된 가중치 정보를 기반으로 베이어 패턴(600)에 대한 수직 및 수평 비닝을 수행하여 수직 및 수평 비닝 이미지로 변환한 후 이를 이미지 합성부(130)에 출력한다. 이를 위하여 보간부(120)는 수직 및 수평 보간부(122, 124)를 포함할 수 있다.The
수직 보간부(122)는 가중치 설정부(110)로부터 제공받은 로우 영역별 가중치 정보를 기반으로 베이어 패턴(600)에서 수직 방향으로 두 픽셀 값을 합하거나 평균할 때 로우 영역의 픽셀에 따라 서로 다른 가중치를 부여하는 방식으로 두 픽셀 값을 합하거나 평균한다. 예를 들어, 동일한 색상은 갖는 라인과 그 사이 라인에 대해 3:1(또는 1:3)의 가중치가 부여된 경우 동일한 색상을 갖는 수직 방향의 두 픽셀 값을 합하거나 평균하는 방법으로 도 6b에 도시된 바와 같은 수직 방향 비닝 이미지(610)를 생성할 수 있다. 이렇게 생성된 수직 방향 비닝 이미지(610)는 이미지 합성부(130)에 출력된다. 다시 말해서, 도 6a의 베이어 패턴(600)에서 동일 색상을 갖는 수직 방향의 77과 78에서 출력되는 픽셀 값에 3:1 또는 1:3의 가중치를 부여한 후 이를 합하거나 평균하여 하나의 픽셀을 결정하고, 78과 79의 픽셀 값에3:1 또는 1:3의 가중치를 부여하여 합하거나 평균하는 방식으로 수직 방향 비닝 이미지(610)를 생성할 수 있다.The
수평 보간부(124)는 가중치 설정부(110)로부터 제공받은 콜럼 영역별 가중치 정보를 기반으로 베이어 패턴(600)에서 수평 방향으로 두 픽셀 값을 합하거나 평균하는 방식으로 수평 방향 비닝 이미지를 생성한다. 예를 들어, 동일한 색상은 갖는 콜럼과 그 사이 콜럼에 대해 3:1(또는 1:3)의 가중치가 부여된 경우 동일한 색상을 갖는 수평 방향의 두 픽셀 값을 합하거나 평균하는 방법으로 도 6c에 도시된 바와 같은 수평 방향 비닝 이미지(620)를 생성할 수 있다. 이렇게 생성된 수평 방향 비닝 이미지(620)는 이미지 합성부(130)에 출력된다. 다시 말해서, 도 6a의 베이어 패턴(600)에서 동일 색상을 갖는 수평 방향의 77과 78에서 출력되는 픽셀 값에 3:1 또는 1:3의 가중치를 부여한 후 이를 합하거나 평균하여 하나의 픽셀을 결정하고, 78과 79의 픽셀 값에 3:1 또는 1:3의 가중치를 부여하여 합하거나 평균하는 방식으로 수평 방향 비닝 이미지(620)를 생성할 수 있다.다.The
이미지 합성부(130)는 수직 방향의 비닝 이미지와 수평 방향의 비닝 이미지 데이터를 합성하여 가중치 기반의 비닝 이미지를 출력한다.The
상기와 같은 구성을 갖는 이미지 센서가 가중치 기반의 비닝 이미지를 생성하는 과정에 대해 설명하면 아래와 같다.A process of generating a binning-based binning image by the image sensor having the above-described configuration will be described below.
먼저, 픽셀부(100)는 노출 시간이 동일한 상태에서 도 6a에 도시된 바와 같은 베이어 패턴(600)을 보간부(120)에 출력한다. 더불어 가중치 설정부(110)에 의해 설정된 가중치 정보가 보간부(120)에 입력된다. 여기에서, 동일한 색상을 갖는 첫 번째 로우(콜럼) 영역과 세 번째 로우(콜럼) 영역 및 다섯 번째 로우(콜럼) 영역과 일곱 번째 로우(콜럼) 영역의 가중치는 0.75:0.25이며, 두 번째 로우(콜럼) 영역과 네 번째 로우(콜럼) 영역 및 여섯 번째 로우(콜럼) 영역과 여덟 번째 로우(콜럼) 영역의 가중치는 0.25:0.75이다.First, the
이에 따라, 보간부(120)의 수직 보간부(122)는 로우 영역별 가중치 정보를 기반으로 베이어 패턴에서 수직 방향으로 동일한 색상을 갖는 픽셀 값을 합하거나 평균하여 수직 방향 비닝 이미지의 픽셀 값을 결정한다. 즉, 수직 보간부(122)는 도 6a의 첫 번째 로우 영역의 첫 번째 픽셀 1에 대해 가중치 0.75를 부여하고, 세 번째 로우 영역의 첫 번째 픽셀에 3에 대해 0.25의 가중치를 부여한 후 이를 합하거나 합한 평균을 산출하는 방식으로 도 6b에 도시된 바와 같은 수직 방향 비닝 이미지(610)의 첫 번째 픽셀 20의 값을 계산하며, 두 번째 로우 영역의 첫 번째 픽셀 2에 대해 0.25의 가중치를 부여하고, 네 번째 로우 영역의 첫 번째 픽셀 4에 대해 가중치 0.75를 부여하여 수직 방향 비닝 이미지의 두 번째 로우 영역의 첫 번째 픽셀 21의 값을 계산한다. 이런 방식으로 수직 방향 비닝 이미지(610)의 각 픽셀에 대한 값을 계산할 수 있다.Accordingly, the
수평 보간부(124)는 콜럼 영역별 가중치 정보를 기반으로 베이어 패턴에서 수평 방향으로 동일한 색상을 갖는 픽셀 값을 합하거나 평균하여 수직 방향 비닝 이미지의 픽셀 값을 결정한다. 즉, 수평 보간부(124)는 도 6a의 첫 번째 콜럼 영역의 첫 번째 픽셀 1에 대해 가중치 0.75를 부여하고, 세 번째 콜럼 영역의 첫 번째 픽셀에 3에 대해 0.25의 가중치를 부여한 후 이를 합하거나 합한 평균을 산출하는 방식으로 도 6c에 도시된 바와 같은 수직 방향 비닝 이미지(620)의 첫 번째 픽셀 40의 값을 계산한다. 이런 방식으로 수평 방향 비닝 이미지(620)의 각 픽셀에 대한 값을 계산할 수 있다.The
상술한 바와 같은 과정을 통해 생성된 수직 및 수평 방향 비닝 이미지(610, 620)는 이미지 합성부(130)에 의해 합성됨으로써, 가중치 기반의 비닝 이미지가 생성될 수 있다.The
도 7은 본 발명의 다른 실시 예에 따른 이미지 센서를 도시한 블록도이다.7 is a block diagram illustrating an image sensor according to another embodiment of the present invention.
도 7에 도시된 바와 같이, 본 발명의 다른 실시 예에 따른 이미지 센서는 픽셀부(100), 가중치 설정부(110), 노출 시간 제어부(200), 노출부(210), 보간부(120) 및 선형 보정부(220) 등을 포함할 수 있다.7, the image sensor according to another embodiment of the present invention includes a
가중치 설정부(110)는 픽셀부(100)의 라인(row)별 또는 콜럼(column)별 가중치를 설정할 수 있는 인터페이스를 제공하며, 인터페이스를 통해 설정된 라인별 가중치를 노출 시간 제어부(200)에 제공할 수 있다. 즉, 가중치 설정부(110)는 픽셀의 로우 또는 콜럼 영역 각각에 대한 가중치 정보, 예컨대 1:3 또는 3:1의 가중치 정보를 노출 시간 제어부(200)에 제공할 수 있다.The
한편, 가중치 설정부(110)는 로우별 또는 콜럼별 조도 정보를 기반으로 가중치를 설정할 수 있으며, 설정된 가중치를 노출 시간 제어부(200)에 제공할 수 있다.Meanwhile, the
노출 시간 제어부(200)는 가중치에 따라 로우별 또는 콜럼별로 서로 다른 노출 시간을 갖도록 노출부(210)를 제어한다. 즉, 노출 시간 제어부(200)는 가중치 설정부(110)로부터 제공받은 가중치에 의거하여 로우별 또는 콜럼별 노출 시간 값을 설정한 후 이를 기반으로 노출부(210)를 제어한다.The exposure
노출부(210)는 노출 시간 제어부(200)의 제어에 따라 로우별 또는 콜럼별로 빛의 노출 시간을 조절하기 위한 것으로서, 그 예로 셔터를 들 수 있으며, 이에 한정하지 않는다.The
이에 따라, 픽셀부(100)는 노출 시간이 서로 상이한 베이어 패턴을 보간부(120)에 출력한다.Accordingly, the
보간부(120)는 상이한 베이어 패턴에 대해 수직 및 수평 방향으로 비닝을 수행하여 수직 및 수평 방향 비닝 이미지를 생성할 수 있으며, 이를 위하여 수직 보간부(122) 및 수평 보간부(124)로 구성될 수 있다.The
수직 보간부(122)는 서로 상이한 베이어 패턴에서 수직 방향으로 두 픽셀 값을 합하거나 평균한다. 즉, 수직 보간부(122)는 동일한 색상을 갖는 두 픽셀의 값을 합하거나 평균하는 방법으로 수직 방향 비닝 이미지를 생성할 수 있다. 이렇게 생성된 수직 방향 비닝 이미지는 선형 보정부(220)에 출력된다.The
선형 보정부(220)는 컬러 처리를 위한 선형성(linearity)을 확보하기 위한 것으로, 아래와 같은 수학식 1에 의해 보정을 수행한다.The
상기의 수학식 1에서 PWB_org는 수직 방향 비닝 과정에 합해진 픽셀 값, M은 수직 보간부(122)에 의해 비닝되기 이전의 오리지널 픽셀의 최대 값, PWB_corr는 선형성을 갖도록 보정된 픽셀의 값이다. 여기에서, M은 픽셀이 10비트일 경우 1023이다.In
즉, 선형 보정부(220)는 PWB_org가 "M/3" 보다 작은 경우 수직 방향 비닝 과정에서 합해진 픽셀 값인 PWB_org를 유지하고, 그렇지 않을 경우 상기의 수학식 1에서 "(PWB_org - M) * 4"를 이용하여 보정된 값을 PWB_corr를 계산한다.That is, when the PWB_org is smaller than "M / 3", the
선형 보정부(220)에서 보정 과정을 거친 수직 방향 비닝 이미지는 이미지 합성부(130) 또는 수평 보간부(124)에 입력된다.The vertical binning image that has undergone the correction process in the
수평 보간부(124)는 서로 상이한 베이어 패턴에서 수평 방향으로 두 픽셀 값을 합하거나 평균한다. 즉, 수평 보간부(124)는 동일한 색상을 갖는 수평 방향의 두 픽셀 값을 합하거나 평균하는 방법으로 수평 방향 비닝 이미지를 생성할 수 있다. 이렇게 생성된 수평 방향 비닝 이미지는 이미지 합성부(130)에 출력된다.The
이미지 합성부(130)는 보정된 수직 방향의 비닝 이미지와 수평 방향 비닝 이미지를 합성한 후 결과 이미지를 출력한다.The
상기와 같은 구성을 갖는 이미지 센서가 가중치 기반의 비닝 이미지를 생성하는 과정에 대해 설명하면 아래와 같다.A process of generating a binning-based binning image by the image sensor having the above-described configuration will be described below.
먼저, 가중치 설정부(110)에 의해 설정된 가중치에 의거하여 노출 시간 제어부(200)는 각 로우 영역 또는 각 콜럼 영역에 대한 노출 시간을 제어하기 위한 제어 신호를 노출부(210)에 출력한다. 여기에서, 가중치 설정부(110)는 픽셀부(100)의 로우 및 콜럼 영역에 대한 조도 정보를 추출하고, 추출된 조도 정보를 기반으로 로우 영역별 또는 콜럼 영역별 가중치를 설정할 수 있다.First, the
노출부(210)는 제어 신호에 의거하여 각 로우 영역 또는 각 콜럼 영역에 대한 노출 시간을 제어하며, 이에 따라 픽셀부(100)는 노출 시간이 상이한 베이어 패턴을 보간부(120)에 출력한다.The
보간부(120)의 수직 보간부(122)는 픽셀부(100)로부터 입력받은 상이한 베이어 패턴에서 수직 방향으로 동일한 색상을 갖는 픽셀 값을 합하거나 평균하여 수직 방향 비닝 이미지의 픽셀 값을 결정한다. 이러한 과정을 통해 생성된 수직 방향 비닝 이미지는 선형 보정부(220)에 입력된다.The
이후, 선형 보정부(220)는 상기의 수학식 1과 같이 PWB_org가 "M/3" 보다 작은 경우 수직 방향 비닝 과정에서 합해진 픽셀 값인 PWB_org를 유지하고, 그렇지 않을 경우 상기의 수학식 1에서 "(PWB_org - M) * 4"를 이용하여 보정된 값을 PWB_corr를 계산한 후 계산된 PWB_corr를 이용하여 PWB_org 값을 보정한다. 이러한 보정 과정을 통해 선형 보정부(220)는 보정된 수평 방향 비닝 이미지를 이미지 합성부(130)에 출력한다.If the PWB_org is smaller than "M / 3" as shown in Equation (1), the
수평 보간부(124)는 픽셀부(100)로부터 입력받은 상이한 베이어 패턴에서 수평 방향으로 동일한 색상을 갖는 픽셀 값을 합하거나 평균하여 수직 방향 비닝 이미지의 픽셀 값을 결정하는 방식으로 수직 방향 비닝 이미지를 생성한 후 이를 이미지 합성부(130)에 출력한다.The
상술한 바와 같은 과정을 통해 생성된 수직 및 수평 방향 비닝 이미지는 이미지 합성부(130)에 의해 합성됨으로써, 가중치 기반의 비닝 이미지가 생성될 수 있다.The binarization images based on the weights can be generated by combining the vertical and horizontal binning images generated through the above-described processes by the
또한, 수직 방향 비닝 과정을 수행한 후 보정을 통해 선형성을 확보함으로서, 다이나믹 레인지를 3배 이상 확장시킬 수 있다.In addition, the dynamic range can be extended three times or more by securing the linearity through the correction after performing the vertical direction binning process.
상술한 바와 같은 이미지 센서를 이용하여 가중치 기반의 비닝 이미지와 일반적인 비닝 방법을 통해 생성된 비닝 이미지간의 차이점에 대해 도 8a 내지 도 8c를 참조하여 설명한다.The difference between the binning image based on the weight and the binning image generated through the normal binning method using the image sensor as described above will be described with reference to FIGS. 8A to 8C.
도 8a는 종래의 비닝 방법을 수행한 후 이미지이며, 도 8b는 비닝 후 샘플링 보정 방법을 수행하고, 디모자이킹 과정을 수행한 이미지이며, 도 8c는 본 발명의 실시 예에 따른 가중치 기반의 비닝 이미지를 이용한 이미지이다.FIG. 8A is an image after performing the conventional binning method, FIG. 8B is an image in which a post-binning sampling correction method is performed and a demosaicing process is performed, and FIG. 8C is a weight- It is an image using an image.
도 8a 및 도 8b와 도 8c를 비교해 보면, 도 8c의 가중치 기반 비닝 이미지가 종래의 도 8a 및 도 8b의 영상에 비해 종래의 "jagged edge"와 해상도 면에서 모두 개선되는 것을 알 수 있다.8A and 8B and 8C, it can be seen that the weighted binning image of FIG. 8C is improved in both the conventional "jagged edge" and resolution as compared to the images of the prior art FIGS. 8A and 8B.
이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.
While the present invention has been described in connection with what is presently considered to be practical exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, You will understand.
100 : 픽셀부
110 : 가중치 설정부
120 : 보간부
122 : 수직 보간부
124 : 수평 보간부
130 : 이미지 합성부
200 : 노출 시간 제어부
210 : 노출부
220 : 선형 보정부100:
110: Weight setting unit
120: interpreter
122: Vertical interpolation section
124: Horizontal interpolation section
130:
200: Exposure time control section
210:
220: Linear correction unit
Claims (20)
상기 베이어 패턴의 각 로우(row) 영역에 설정된 가중치 정보를 기반으로 상기 베이어 패턴의 수직 방향 픽셀 값을 합하거나 평균하여 수직 방향 비닝 이미지를 생성하는 수직 보간부와,
상기 베이어 패턴의 각 콜럼(column) 영역에 설정된 가중치 정보를 기반으로 상기 베이어 패턴의 수평 방향의 픽셀 값을 합하거나 평균하여 수평 방향 비닝 이미지를 생성하는 수평 보간부와,
상기 수직 및 수평 방향 비닝 이미지를 합성하여 가중치 기반의 비닝 이미지를 생성하는 이미지 합성부와,
상기 수직 방향 비닝 이미지의 픽셀 값과 기 설정된 값간의 비교를 통해 상기 수직 방향 비닝 이미지 내 각 픽셀 값을 보정하여 보정된 수평 방향 비닝 이미지를 생성하는 선형 보정부를 포함하고,
상기 선형 보정부는,
상기 수직 방향 비닝 이미지의 픽셀 값이 상기 기 설정된 값 이상인 경우 상기 수직 방향 비닝 이미지의 픽셀 값을 상기 픽셀부의 최대 픽셀 값을 이용하여 보정하고, 그렇지 않을 경우 상기 수직 방향 비닝 이미지의 픽셀 값을 유지시키는 것을 특징으로하는
이미지 센서.
A pixel unit for converting an optical signal of a subject into an electrical signal and outputting a Bayer pattern;
A vertical interpolator for summing or averaging vertical pixel values of the Bayer pattern on the basis of weight information set in each row area of the Bayer pattern to generate a vertical direction binning image;
A horizontal interpolator for summing or averaging pixel values in the horizontal direction of the Bayer pattern on the basis of weight information set in each column area of the Bayer pattern to generate a horizontal direction binning image;
An image synthesizer for synthesizing the vertical and horizontal binning images to generate a weighted binning image,
And a linear correction unit that corrects each pixel value in the vertical direction binning image by comparing the pixel value of the vertical direction binning image with a preset value to generate a corrected horizontal direction binning image,
Wherein the linear correction unit comprises:
If the pixel value of the vertical direction binning image is greater than or equal to the predetermined value, correcting the pixel value of the vertical direction binning image using the maximum pixel value of the pixel unit, and if not, maintaining the pixel value of the vertical direction binning image Characterized by
Image sensor.
상기 픽셀부는 레드 픽셀 및 그린 픽셀이 교대로 배열되는 어느 하나의 라인과, 블루 픽셀 및 그린 픽셀이 교대로 배열되는 다음 라인으로 구성된 베이어 패턴으로 배열되는 것을 특징으로 하는
이미지 센서.
The method according to claim 1,
Wherein the pixel portion is arranged in a Bayer pattern composed of any one line in which red pixels and green pixels are alternately arranged and a next line in which blue pixels and green pixels are alternately arranged
Image sensor.
상기 베이어 패턴의 로우 영역 또는 콜럼 영역 각각 대해 가중치를 설정할 수 있는 인터페이스를 제공하며, 상기 인터페이스를 통해 설정된 가중치를 상기 수직 또는 수평 보간부에 제공하는 가중치 설정부를 더 포함하는
이미지 센서.
3. The method of claim 2,
Further comprising a weight setting unit for providing an interface capable of setting a weight for each of the row areas or the column areas of the Bayer pattern and for providing a weight value set through the interface to the vertical or horizontal interpolation unit
Image sensor.
상기 가중치 설정부는, 상기 로우 영역 또는 콜럼 영역의 어느 하나의 라인과 다음 라인이 1:3 또는 3:1 비율을 갖도록 상기 가중치를 설정하는 것을 특징으로 하는
이미지 센서.
The method of claim 3,
Wherein the weight setting unit sets the weight so that any one line of the row region or the column region and the next line have a ratio of 1: 3 or 3: 1
Image sensor.
상기 노출 시간에 따른 베이어 패턴을 출력하는 픽셀부와,
상기 베이어 패턴에서 수직 방향의 픽셀 값을 합하거나 평균하는 방법으로 수직 방향 비닝 이미지를 생성하는 수직 보간부와,
상기 베이어 패턴에서 수평 방향의 픽셀 값을 합하거나 평균하는 방법으로 수평 방향 비닝 이미지를 생성하는 수평 보간부와,
상기 수직 및 수평 비닝 이미지를 합성하여 가중치 기반의 비닝 이미지를 생성하는 이미지 합성부와,
상기 수직 방향 비닝 이미지의 픽셀 값과 기 설정된 값간의 비교를 통해 상기 수직 방향 비닝 이미지 내 각 픽셀 값을 보정하여 보정된 수평 방향 비닝 이미지를 생성하는 선형 보정부를 포함하고,
상기 선형 보정부는,
상기 수직 방향 비닝 이미지의 픽셀 값이 상기 기 설정된 값 이상인 경우 상기 수직 방향 비닝 이미지의 픽셀 값을 상기 픽셀부의 최대 픽셀 값을 이용하여 보정하고, 그렇지 않을 경우 상기 수직 방향 비닝 이미지의 픽셀 값을 유지시키는 것을 특징으로하는
이미지 센서.
An exposure time control unit for controlling an exposure time of each of the row and column areas based on weights set in the respective row and column areas,
A pixel unit for outputting a Bayer pattern according to the exposure time;
A vertical interpolator for generating a vertical binning image by summing or averaging pixel values in the vertical direction in the Bayer pattern;
A horizontal interpolation unit for generating a horizontal direction binning image by summing or averaging pixel values in the horizontal direction in the Bayer pattern;
An image synthesizer for synthesizing the vertical and horizontal binning images to generate a weighted binning image,
And a linear correction unit that corrects each pixel value in the vertical direction binning image by comparing the pixel value of the vertical direction binning image with a preset value to generate a corrected horizontal direction binning image,
Wherein the linear correction unit comprises:
If the pixel value of the vertical direction binning image is greater than or equal to the predetermined value, correcting the pixel value of the vertical direction binning image using the maximum pixel value of the pixel unit, and if not, maintaining the pixel value of the vertical direction binning image Characterized by
Image sensor.
상기 픽셀부는, 레드 픽셀 및 그린 픽셀이 교대로 배열되는 어느 하나의 라인과, 블루 픽셀 및 그린 픽셀이 교대로 배열되는 다음 라인으로 구성되는 것을 특징으로 하는
이미지 센서.
6. The method of claim 5,
Wherein the pixel portion is constituted by any one line in which red pixels and green pixels are alternately arranged and a next line in which blue pixels and green pixels are alternately arranged
Image sensor.
상기 노출 시간 제어부에 의해 설정된 노출 시간에 따라 상기 픽셀부 내 각 픽셀을 노출시키는 노출부를 더 포함하는
이미지 센서.
6. The method of claim 5,
And an exposure unit for exposing each pixel in the pixel unit according to the exposure time set by the exposure time control unit
Image sensor.
상기 기 설정된 값은, 상기 픽셀부의 최대 픽셀 값에 의해 결정되는 것을 특징으로 하는
이미지 센서.
6. The method of claim 5,
Wherein the predetermined value is determined by a maximum pixel value of the pixel portion.
Image sensor.
상기 각 로우 및 콜럼 영역의 가중치를 설정할 수 있는 인터페이스를 제공하며, 상기 설정된 가중치를 상기 노출 시간 제어부에 제공하는 가중치 설정부를 더 포함하는
이미지 센서.
6. The method of claim 5,
And a weight setting unit for providing an interface capable of setting weights of the respective rows and columns and providing the set weights to the exposure time controller
Image sensor.
상기 가중치 설정부는, 상기 로우 영역별 또는 콜럼 영역별에 대한 조도 정보를 기반으로 상기 로우 영역 또는 콜럼 영역별 가중치를 설정하는 것을 특징으로 하는
이미지 센서.
12. The method of claim 11,
Wherein the weight setting unit sets weights for the row region or the column region based on illuminance information for each row region or each column region,
Image sensor.
상기 가중치 설정부는, 상기 로우 영역 또는 콜럼 영역의 어느 하나의 라인과 다음 라인이 1:3 또는 3:1 비율을 갖도록 상기 가중치를 설정하는 것을 특징으로 하는
이미지 센서.
12. The method of claim 11,
Wherein the weight setting unit sets the weight so that any one line of the row region or the column region and the next line have a ratio of 1: 3 or 3: 1
Image sensor.
상기 설정된 노출 시간에 따라 픽셀부로부터 노출 시간이 상이한 베이어 패턴을 제공받는 단계와,
상기 베이어 패턴에서 동일 색상을 갖는 수직 방향의 두 픽셀 값을 합하거나 평균하여 수직 방향 비닝 이미지를 생성하는 단계와,
상기 베이어 패턴에서 동일한 색상을 갖는 수평 방향의 두 픽셀 값을 합하거나 평균하여 수평 방향 비닝 이미지를 생성하는 단계와,
상기 수직 및 수평 방향 비닝 이미지를 이용하여 가중치 기반의 비닝 이미지를 생성하는 단계와,
상기 수직 방향 비닝 이미지의 픽셀 값과 기 설정된 값간의 비교를 통해 상기 수직 방향
비닝 이미지 내 각 픽셀 값을 보정하는 단계를 포함하고,
상기 보정하는 단계는,
상기 수직 방향 비닝 이미지의 픽셀 값과 상기 기 설정된 값과 비교하는 단계와,
상기 비교 결과, 상기 수직 방향 비닝 이미지의 픽셀 값이 상기 기 설정된 값 이상인 경우 상기 수직 비닝 이미지의 픽셀 값을 상기 픽셀부의 최대 픽셀 값을 이용하여 보정하는 단계와,
상기 비교 결과, 상기 수직 방향 비닝 이미지의 픽셀 값이 상기 기 설정된 값 미만인 경우 상기 수직 방향 비닝 이미지의 픽셀 값을 유지시키는 단계를 통해 상기 수직 방향 비닝 이미지의 픽셀 값들을 보정하는 것을 특징으로 하는
이미지 센서의 비닝 이미지 생성 방법.
Setting an exposure time for each row region or each column region based on a weight value set for each row region or each column region;
Receiving a Bayer pattern having a different exposure time from the pixel unit according to the set exposure time,
Summing or averaging two vertical pixel values having the same hue in the Bayer pattern to generate a vertical direction binning image;
Summing or averaging two pixel values in the horizontal direction having the same color in the Bayer pattern to generate a horizontal direction binning image;
Generating a weighted binning image using the vertical and horizontal direction binning images;
And comparing the pixel value of the vertically oriented binned image with a predetermined value,
And correcting each pixel value in the binning image,
Wherein the correcting comprises:
Comparing the pixel value of the vertically oriented binning image with the predetermined value;
Correcting the pixel value of the vertical binning image using the maximum pixel value of the pixel unit when the pixel value of the vertical binning image is equal to or greater than the predetermined value as a result of the comparison;
And when the pixel value of the vertical direction binning image is less than the preset value, correcting the pixel values of the vertical direction binning image by maintaining the pixel value of the vertical direction binning image as a result of the comparison
A method of generating a binning image of an image sensor.
상기 로우 영역별 또는 콜럼 영역별 가중치를 설정하는 단계를 더 포함하는
이미지 센서의 비닝 이미지 생성 방법.
15. The method of claim 14,
Further comprising setting a weight for each row region or each column region
A method of generating a binning image of an image sensor.
상기 가중치를 설정하는 단계는, 상기 로우 영역 또는 콜럼 영역의 어느 하나의 라인과 동일한 색상을 갖는 다음 라인이 1:3 또는 3:1 비율의 갖도록 가중치를 설정하는 것을 특징으로 하는
이미지 센서의 비닝 이미지 생성 방법.
16. The method of claim 15,
Wherein the weight setting step sets a weight so that the next line having the same hue as any one of the row region or the column region has a ratio of 1: 3 or 3: 1
A method of generating a binning image of an image sensor.
상기 가중치를 설정하는 단계는, 상기 픽셀부의 로우 및 콜럼 영역에 대한 조도 정보를 추출하는 단계와,
상기 추출된 조도 정보를 기반으로 상기 로우 영역별 또는 콜럼 영역별 상기 가중치를 설정하는 단계를 포함하는 것을 특징으로 하는
이미지 센서의 비닝 이미지 생성 방법.
16. The method of claim 15,
The weighting step may include extracting illumination information for the row and column areas of the pixel unit,
And setting the weight value for each row region or each column region based on the extracted illuminance information
A method of generating a binning image of an image sensor.
상기 가중치 기반의 비닝 이미지를 생성하는 단계는, 상기 보정을 통해 생성된 수직 방향 비닝 이미지와 상기 수평 방향 비닝 이미지를 이용하여 생성하는 것을 특징으로 하는
이미지 센서의 비닝 이미지 생성 방법.
15. The method of claim 14,
Wherein the generating of the weighted based binning image is performed using the vertical binning image and the horizontal binning image generated through the correction,
A method of generating a binning image of an image sensor.
상기 픽셀부의 최대 픽셀 값을 이용하여 보정하는 단계는,
수학식((PWB_org - M) * 4, M은 픽셀부의 최대 픽셀 값, PWB_org는 수직 방향 비닝에 합해진 픽셀 값)에 의거하여 상기 수직 비닝 이미지의 픽셀 값을 보정하는 것을 특징으로 하는
이미지 센서의 비닝 이미지 생성 방법.15. The method of claim 14,
Wherein the step of correcting using the maximum pixel value of the pixel unit comprises:
Wherein the pixel value of the vertical binning image is corrected on the basis of the formula ((PWB_org - M) * 4, M is the maximum pixel value of the pixel portion, and PWB_org is the pixel value added to the vertical direction binning)
A method of generating a binning image of an image sensor.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20130012259A KR101488074B1 (en) | 2013-02-04 | 2013-02-04 | Image sensorand method for generating binning image using the same |
US13/827,875 US9137452B2 (en) | 2013-02-04 | 2013-03-14 | Image sensor and method of generating binning image using the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20130012259A KR101488074B1 (en) | 2013-02-04 | 2013-02-04 | Image sensorand method for generating binning image using the same |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20140099625A KR20140099625A (en) | 2014-08-13 |
KR101488074B1 true KR101488074B1 (en) | 2015-01-29 |
Family
ID=51258935
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR20130012259A KR101488074B1 (en) | 2013-02-04 | 2013-02-04 | Image sensorand method for generating binning image using the same |
Country Status (2)
Country | Link |
---|---|
US (1) | US9137452B2 (en) |
KR (1) | KR101488074B1 (en) |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9711553B2 (en) | 2014-04-28 | 2017-07-18 | Samsung Electronics Co., Ltd. | Image sensor including a pixel having photoelectric conversion elements and image processing device having the image sensor |
JP2015216454A (en) * | 2014-05-08 | 2015-12-03 | 株式会社ソシオネクスト | Image processing device and image processing method |
KR101585978B1 (en) * | 2014-07-29 | 2016-01-15 | 주식회사 동부하이텍 | A image sensor |
US10109037B1 (en) * | 2015-06-02 | 2018-10-23 | Marvell International Ltd. | Systems and methods for Bayer image scaling based on edge detection |
KR20170089535A (en) * | 2016-01-27 | 2017-08-04 | 주식회사 동부하이텍 | Image sensor |
CN109314749B (en) * | 2016-06-28 | 2022-04-05 | 索尼公司 | Imaging apparatus, imaging method, and program |
US10306191B2 (en) * | 2016-11-29 | 2019-05-28 | Cista System Corp. | System and method for high dynamic range image sensing |
US10638054B2 (en) * | 2017-01-25 | 2020-04-28 | Cista System Corp. | System and method for visible and infrared high dynamic range sensing |
WO2018140788A1 (en) * | 2017-01-27 | 2018-08-02 | Canon U.S.A. Inc. | Apparatus, system and method for dynamic in-line spectrum compensation of an image |
JP7063199B2 (en) * | 2018-08-31 | 2022-05-09 | コニカミノルタ株式会社 | Radiation imaging system |
WO2020111369A1 (en) * | 2018-11-30 | 2020-06-04 | 엘지전자 주식회사 | Image sensor and control method therefor |
KR102648747B1 (en) * | 2019-01-18 | 2024-03-20 | 삼성전자주식회사 | Imaging system for generating hdr image and operating method thereof |
US11544873B2 (en) * | 2019-03-05 | 2023-01-03 | Artilux, Inc. | High resolution 3D image processing apparatus and method thereof |
WO2020196934A1 (en) * | 2019-03-22 | 2020-10-01 | 엘지전자 주식회사 | Image sensor and control method therefor |
JP7261642B2 (en) * | 2019-03-29 | 2023-04-20 | 株式会社ソニー・インタラクティブエンタテインメント | Image processing method, image processing device, and head mounted display |
EP3869793B1 (en) * | 2020-02-19 | 2022-10-12 | Sick IVP AB | Method for reducing effects of laser speckles |
US11350045B2 (en) | 2020-03-10 | 2022-05-31 | Samsung Electronics Co., Ltd. | Image sensing apparatus and image binning method thereof |
KR20210135380A (en) | 2020-05-04 | 2021-11-15 | 삼성전자주식회사 | Image sensor |
KR20220000761A (en) | 2020-06-26 | 2022-01-04 | 삼성전자주식회사 | Image sensor and binning method thereof |
KR20220053320A (en) | 2020-10-22 | 2022-04-29 | 삼성전자주식회사 | Image sensor and operation method of the same |
RU2757667C1 (en) * | 2020-12-02 | 2021-10-20 | Федеральное государственное унитарное предприятие «Государственный научно-исследовательский институт авиационных систем» (ФГУП «ГосНИИАС») | Method for increasing sensitivity and frame rate of video cameras |
US11778337B2 (en) | 2021-11-09 | 2023-10-03 | Samsung Electronics Co., Ltd. | Image sensor and method for sensing image |
US11678067B1 (en) * | 2022-02-17 | 2023-06-13 | Omnivision Technologies, Inc. | System and method for maintaining pixel intensity when rounding |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20070099238A (en) * | 2006-04-04 | 2007-10-09 | 엠텍비젼 주식회사 | Image sensor for expanding wide dynamic range and output bayer-pattern image |
KR20090035204A (en) * | 2007-10-05 | 2009-04-09 | 삼성전자주식회사 | Improved solid state image sensing device, method for arranging pixels and processing signals for the same |
KR20100086987A (en) * | 2007-10-26 | 2010-08-02 | 옴니비전 테크놀러지즈 인코포레이티드 | High dynamic range image sensor with reduced line memory for color interpolation |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3392564B2 (en) * | 1995-02-27 | 2003-03-31 | 三洋電機株式会社 | Single-panel color video camera |
US6611287B1 (en) * | 1997-11-28 | 2003-08-26 | Sony Corporation | Camera signal processing apparatus and camera signal processing method |
JP2008187615A (en) * | 2007-01-31 | 2008-08-14 | Canon Inc | Imaging device, imaging apparatus, control method, and program |
JP4946581B2 (en) * | 2007-04-05 | 2012-06-06 | ソニー株式会社 | Image processing device |
JP5574615B2 (en) * | 2009-04-20 | 2014-08-20 | キヤノン株式会社 | Image processing apparatus, control method thereof, and program |
US8780238B2 (en) * | 2011-01-28 | 2014-07-15 | Aptina Imaging Corporation | Systems and methods for binning pixels |
JP2012175600A (en) * | 2011-02-24 | 2012-09-10 | Sony Corp | Imaging apparatus, imaging apparatus control method, and program |
JP2012253624A (en) * | 2011-06-03 | 2012-12-20 | Sony Corp | Solid-state imaging device and camera system |
JP5634331B2 (en) * | 2011-06-07 | 2014-12-03 | 株式会社東芝 | Image processing device |
-
2013
- 2013-02-04 KR KR20130012259A patent/KR101488074B1/en active IP Right Grant
- 2013-03-14 US US13/827,875 patent/US9137452B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20070099238A (en) * | 2006-04-04 | 2007-10-09 | 엠텍비젼 주식회사 | Image sensor for expanding wide dynamic range and output bayer-pattern image |
KR20090035204A (en) * | 2007-10-05 | 2009-04-09 | 삼성전자주식회사 | Improved solid state image sensing device, method for arranging pixels and processing signals for the same |
KR20100086987A (en) * | 2007-10-26 | 2010-08-02 | 옴니비전 테크놀러지즈 인코포레이티드 | High dynamic range image sensor with reduced line memory for color interpolation |
Also Published As
Publication number | Publication date |
---|---|
KR20140099625A (en) | 2014-08-13 |
US20140218567A1 (en) | 2014-08-07 |
US9137452B2 (en) | 2015-09-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101488074B1 (en) | Image sensorand method for generating binning image using the same | |
JP5935876B2 (en) | Image processing apparatus, imaging device, image processing method, and program | |
JP6584131B2 (en) | Imaging apparatus, imaging system, and signal processing method | |
US7668391B2 (en) | Image signal processor and image signal processing method | |
EP3093819B1 (en) | Imaging apparatus, imaging system, and signal processing method | |
JP4985584B2 (en) | Imaging apparatus and video signal processing method | |
US7970231B2 (en) | Image processing method | |
US20110234864A1 (en) | Imaging device | |
JP2007288439A (en) | Image processing apparatus and method therefor | |
JP2005136766A (en) | Image processor and image processing method | |
JP2009005232A (en) | Image processor, image processing method, program and image pick-up device | |
KR20190100792A (en) | Image sensing device | |
KR100731812B1 (en) | Color deviation compensating apparatus and method, image processor using it, recorded medium | |
US9270954B2 (en) | Imaging device | |
US8896731B2 (en) | Image processing apparatus, image processing method, and camera module | |
JP2009100150A (en) | Device, method, and program for image processing | |
KR20070099238A (en) | Image sensor for expanding wide dynamic range and output bayer-pattern image | |
JP2013207427A (en) | Image pickup device and image pickup method | |
JP4635769B2 (en) | Image processing apparatus, image processing method, and imaging apparatus | |
JP2009033699A (en) | Image processing apparatus, image processing method, program, and imaging apparatus | |
JP4478981B2 (en) | Color noise reduction method and color imaging apparatus | |
JP4197821B2 (en) | Image processing device | |
KR101204921B1 (en) | Image processing device and method for processing image data of the same | |
US20240273781A1 (en) | Electronic device and method of image processing | |
JP4253095B2 (en) | Image data filtering apparatus and method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E90F | Notification of reason for final refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20181221 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20191219 Year of fee payment: 6 |