KR20010043406A - Solid-state color imager - Google Patents
Solid-state color imager Download PDFInfo
- Publication number
- KR20010043406A KR20010043406A KR1020007012440A KR20007012440A KR20010043406A KR 20010043406 A KR20010043406 A KR 20010043406A KR 1020007012440 A KR1020007012440 A KR 1020007012440A KR 20007012440 A KR20007012440 A KR 20007012440A KR 20010043406 A KR20010043406 A KR 20010043406A
- Authority
- KR
- South Korea
- Prior art keywords
- color
- correlation
- pixels
- pixel
- signal
- Prior art date
Links
- 230000005540 biological transmission Effects 0.000 claims abstract description 89
- 238000000926 separation method Methods 0.000 claims abstract description 41
- 238000003384 imaging method Methods 0.000 claims description 58
- 238000000034 method Methods 0.000 claims description 50
- 239000007787 solid Substances 0.000 claims description 39
- 238000004364 calculation method Methods 0.000 claims description 35
- 230000002093 peripheral effect Effects 0.000 claims description 30
- 230000008569 process Effects 0.000 claims description 23
- 230000002194 synthesizing effect Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 21
- 230000000694 effects Effects 0.000 description 17
- 238000005070 sampling Methods 0.000 description 17
- 230000003287 optical effect Effects 0.000 description 13
- 230000006866 deterioration Effects 0.000 description 8
- 230000014509 gene expression Effects 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 6
- 239000003086 colorant Substances 0.000 description 6
- 238000001514 detection method Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 238000002156 mixing Methods 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 238000002834 transmittance Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2209/00—Details of colour television systems
- H04N2209/04—Picture signal generators
- H04N2209/041—Picture signal generators using solid-state devices
- H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
- H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
- H04N2209/046—Colour interpolation to calculate the missing colour values
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Color Television Image Signal Generators (AREA)
- Image Processing (AREA)
Abstract
종횡으로 인접하는 4화소를 1개의 배열 패턴으로 하는 색 분리 필터로서, 상부 2화소는 좌측부터 순서대로 전체색 투과 필터, 시안색 투과 필터, 하부 2화소는 좌측부터 순서대로 황색 투과 필터, 전체색 투과 필터로 되는 반복 패턴을 갖는 색 분리 필터 부착 고체 촬상 소자(2)와, 상기 각 화소가 출력하는 색 신호를 각각 취입하여 기억하는 수단(5)과, 상기 기억수단에 기억된 시안색 신호 화소 및 황색 신호 화소를 피보간 화소로써, 상기 피보간 화소 주변에 있는 복수개의 화소에 대한 상관도를 산출하는 상관도 산출 수단(6)과, 상관도가 큰 방향으로부터 보간을 실행하고 상기 피보간 화소 위치의 전체색 투과 신호를 계산하는 보간 처리 수단(7)을 구비한 것으로 하였다.Wherein the upper two pixels are a total color transmission filter and a cyan color transmission filter in order from the left side, and the lower two pixels are yellow transmission filters in order from the left side, A solid-state image pickup element (2) with a color separation filter having a repeating pattern as a transmission filter, means (5) for respectively fetching and storing the color signals outputted by the respective pixels, (6) for calculating a degree of correlation with respect to a plurality of pixels around the interpolated pixel, the interpolation pixel calculating means (6) And an interpolation processing means (7) for calculating an entire color transmission signal at the position.
Description
영상 신호는 통상 적색(R),녹색(G),청색(B)의 빛의 3원색으로 나타내어지는 경우가 많고, 그 이외에도 휘도 신호(Y), 2종류의 색차 신호(R-Y, B-Y)로 나타내는 경우도 많다. RGB의 3원색은 통상 컴퓨터용의 모니터로의 입력 신호의 형태로 되고, 휘도 및 색차는 TV계의 기기에 있어서의 디지털 부분의 형태로 된다. 또, 최근, 고체 컬러 촬상 장치의 영상 신호는 화상 표시뿐만 아니라 디지털 기록이나 기기 사이의 영상 통신에 이용되고 있다. 영상 신호는 정보량이 많고, 기록 용량이나 통신 용량의 제약에 의해 통상적으로 화상 압축 처리가 실행된다. 이 때 취해지는 영상 신호의 형식은 4:2:0 또는 4:1:1 형식으로 불리우며, 종래부터 이용되는 4:2:2 형식에 비해서 색 정보는 절반으로 되는 경우가 많다.The video signal is usually represented by the three primary colors of red (R), green (G), and blue (B). In addition, the luminance signal Y and the two kinds of color difference signals RY and BY There are many cases. The three primary colors of RGB are usually in the form of input signals to a monitor for a computer, and the luminance and chrominance are in the form of digital parts in a TV system. In recent years, video signals of solid-state color imaging devices have been used not only for image display but also for digital recording and video communication between devices. The video signal has a large amount of information, and image compression processing is typically performed due to the limitation of the recording capacity and the communication capacity. In this case, the format of the image signal is called 4: 2: 0 or 4: 1: 1 format, and the color information is often halved compared to the conventionally used 4: 2: 2 format.
이하, 종래의 고체 컬러 촬상 장치에 대해서 도 2를 참조하면서 설명한다.Hereinafter, a conventional solid-state color imaging device will be described with reference to Fig.
도 2a는 종래의 고체 컬러 촬상 장치를 도시한 것으로서, 참조부호 1은 피사체를 고체 촬상 소자 표면상에 결상시키는 광학계, 참조부호 2는 결상된 피사체상(광학상)을 화상 신호(전기 신호)로 변환하는 색 분리 필터 부착 고체 촬상 소자, 참조부호 3은 고체 촬상 소자에 의해 변환된 화상 신호를 디지털 화상 신호로 변환하는 AD 변환기, 참조부호 4는 디지털 화상 신호로부터 휘도 신호와 색차 신호로 변환하는 화상 신호 처리 회로이다. 상기 고체 촬상 소자(2)의 표면상에 구비하는 색 분리 필터는 마젠타색(Mg:Magenta), 녹색(G), 시안색(Cy:Cyan), 황색(Ye)으로 이루어지는 도 2b에 도시한 보색 체크무늬 패턴의 색 분리 필터가 이용되는 경우가 많다.FIG. 2A shows a conventional solid-state color imaging device. In FIG. 2A, reference numeral 1 denotes an optical system for forming an image of a subject on the surface of a solid-state imaging device, 2 denotes an image of a subject (optical image) Reference numeral 3 denotes an AD converter for converting an image signal converted by the solid-state image pickup device into a digital image signal; 4 denotes an image to be converted from a digital image signal into a luminance signal and a color difference signal; Signal processing circuit. The color separation filter provided on the surface of the solid-state image pickup device 2 is a complementary color filter shown in Fig. 2B made up of magenta (Mg), green (G), cyan (Cy) A color separation filter of a checkered pattern is often used.
이상과 같이 구성되는 고체 컬러 촬상 장치의 동작을 이하에 설명한다.The operation of the solid-state color imaging device constructed as described above will be described below.
도 2에 있어서, 피사체상(광학상)은 광학계(1)에 의해 고체 촬상 소자(2) 상에 결상된다. 고체 촬상 소자(2)는 결상된 피사체상을 색 분리 필터에 의해서 색분해한 화상 신호로서 출력한다. 화상 신호는 AD 변환기(3)에 의해 디지털 신호로 변환되어 신호 처리 회로(4)로 공급되고, 휘도 신호 Y와 2종류의 색차 신호로 변환되어 컬러 영상 신호로 된다. 화상 신호 처리 회로에서는 Mg, G, Cy, Ye의 보색계 4화소로부터 1화소분의 휘도 신호(Y) 및 1쌍의 색차 신호(R-Y, B-Y)를 만든다.2, the object image (optical image) is imaged on the solid-state image sensor 2 by the optical system 1. [ The solid-state image pickup device 2 outputs an image of an object on which an image has been formed as an image signal separated by a color separation filter. The image signal is converted into a digital signal by the AD converter 3 and supplied to the signal processing circuit 4, and is converted into a luminance signal Y and two kinds of color difference signals into a color image signal. In the image signal processing circuit, a luminance signal (Y) for one pixel and a pair of color difference signals (R-Y, B-Y) are generated from four complementary pixels of Mg, G, Cy and Ye.
이하에 그 휘도 신호의 생성 과정의 일례를 나타내면, Y(h,v)는Hereinafter, an example of the process of generating the luminance signal will be described. Y (h, v)
로 되고, 고체 촬상 소자의 4화소의 출력으로부터 휘도 신호가 생성된다.And a luminance signal is generated from the output of four pixels of the solid-state image pickup device.
색차 신호 R-Y(h,v)는The color difference signal R-Y (h, v)
로 되고, B-Y(h,v)는, And B-Y (h, v)
로 된다..
출력되는 휘도 및 1쌍의 색차 신호는 고체 촬상 소자의 화소수와 동수로 되고, 4:4:4 형식으로 된다. 대상으로 되는 출력 기기에 맞춰 4:2:2 형식, 4:2:0, 4:1:1 형식으로의 변환이 실행된다.The luminance to be outputted and the pair of color difference signals become the same number as the number of pixels of the solid-state image pickup element, resulting in a 4: 4: 4 format. Conversion to the 4: 2: 2 format, 4: 2: 0, and 4: 1: 1 format is performed in accordance with the target output device.
또, 휘도의 에지부에는 위색이 발생하기 때문에 상기 합성된 휘도 신호의에지 신호로부터 에지 판정을 실행하고, 에지라고 판정된 화소에 대응하는 색차 신호의 이득(gain)을 낮추는 것에 의해 위색 억제을 실행하고 있었다.Since a false color is generated in the edge portion of the luminance, the edge determination is executed from the edge signal of the synthesized luminance signal, and the gain of the color difference signal corresponding to the pixel determined to be edge is lowered to perform the false color suppression there was.
그러나, 종래의 고체 컬러 촬상 장치에 있어서는 화상 압축에 대해서는 전혀 고려되어 있지 않으며, 색 분리 필터는 4:4:4 형식의 출력이 전제로 되어, 4:2:0형식, 4:1:1형식과 같은 화상 압축을 전제로 한 기기로 출력하는 경우에 색 정보에 대해서는 3/4의 정보가 불필요해진다. 또, 휘도 신호는 4화소 평균이 실행되어, 예를 들어, 도 2b에 있어서의 Y(0,0)와 Y(0,1)을 만드는 경우에는 G(1,0)과 Ye(1,1)이 중복되어 이용되기 때문에 휘도 신호가 순수하게 샘플링 정보로 되지 않아, 수직과 수평 방향 모두 저역 통과 필터를 통과한 것으로 되기 때문에, 순수하게 화소 단위의 샘플링을 실행하는 3판 방식의 고체 촬상 소자 등에 비하면 해상도가 열화된다. 색차 신호에 대해서도 인접 4화소로부터 변환되어 있어 순수한 샘플링 정보가 아니라 수직, 수평 방향 모두 저역 통과 필터를 통과한 것으로 되며, 마찬가지로 해상도가 열화한다.However, in the conventional solid-state color image pickup device, no consideration is given to image compression. The color separation filter is a 4: 2: 0 format, a 4: 1: 1 format The information of 3/4 is not required for the color information. When the Y (0, 0) and Y (0, 1) in FIG. 2B are generated by performing a four pixel average, ) Are used in a redundant manner, the luminance signal does not become pure sampling information, and both the vertical and horizontal directions have passed through the low-pass filter. Therefore, the three-plate type solid-state image pickup device The resolution is deteriorated. The color difference signal is also converted from four neighboring pixels and passes through the low pass filter in both the vertical and horizontal directions instead of the pure sampling information and the resolution is likewise deteriorated.
상기 과제를 해결하기 위해, 본 발명의 고체 컬러 촬상 장치에서는 고체 촬상 소자 표면상의 색 분리 필터를 전체색(全色) 투과 필터 2개, 시안색 투과 필터 1개, 황색 투과 필터 1개의 4화소를 1개의 배열 패턴으로 하고 상기 배열 패턴을 반복하는 구성으로 하여, 상기 배열 패턴으로부터 4개의 휘도 정보와 2종류의 색 정보 각 1개를 출력하도록 하고, 또, 휘도 신호 및 색차 신호로의 변환시에 상관 검출 처리에 의해서 그 피사체가 결상되는 화소의, 주변 화소와의 관계를 구하여, 상관이 높은 방향에 존재하는 화소를 연산에 이용해서 휘도 신호와 색차 신호로 변환하도록 한 것이다.In order to solve the above problem, in the solid-state color imaging device of the present invention, the color separation filter on the surface of the solid-state image sensing device is divided into four color filters, that is, two color filters, one cyan color filter and one yellow color filter One arrangement pattern is used and the arrangement pattern is repeated so as to output four luminance information and one each of two types of color information from the arrangement pattern and also to output one luminance information and two kinds of color information at the time of conversion into a luminance signal and a color difference signal The relationship between the subject pixel and the neighboring pixels is obtained by the detection process and pixels existing in a direction with a high correlation are used for calculation to convert the luminance signal and the color difference signal.
또, 이러한 본 발명의 고체 촬상 소자에서는 복수색의 색 투과 필터에 의해 복수개의 색 신호가 출력된다. 이 색 신호는 각 색마다 신호가 독립되어 있고, 특정한 색 신호에 주목하면, 그 샘플링 레이트는 전체 신호의 샘플링 레이트보다 저하되어 있다. 이 때문에, 각 색의 신호에는 각각 앨리어싱(aliasing)이 발생하고 반환 왜곡을 가진 주파수 성분을 포함하고 있을 가능성이 있다.In the solid-state imaging device of the present invention, a plurality of color signals are output by the color transmission filters of a plurality of colors. In this color signal, signals are independent for each color, and when attention is paid to a specific color signal, the sampling rate is lower than the sampling rate of the entire signal. For this reason, there is a possibility that aliasing occurs in the signals of the respective colors and includes frequency components having return distortion.
도 15에 특정한 색 신호를 보간한 경우의 반환 왜곡 상태를 도시한다. 도 15에 있어서, 횡축은 주파수로서 2π가 전체 신호의 샘플링 주파수를 나타내고, 종축이 신호의 진폭을 나타내고 있다. 또, 실선으로 색 신호를, 점선으로 반환 왜곡 성분을 나타내고 있다. 고주파 성분을 포함한 색 신호를 이용해서 색차 신호를 보간 합성하는 경우, 반환 왜곡 성분이, 도 15에 도시한 바와 같이, π/2까지의 통과 대역에 포함되어 버린다. 이 때문에, 보간 정밀도가 좋지 않아 위색 신호를 발생한다는 새로운 과제가 발생한다.Fig. 15 shows a return distortion state in the case where a specific color signal is interpolated. In Fig. 15, the axis of abscissa indicates the sampling frequency of the entire signal, and the axis of ordinate indicates the amplitude of the signal. In addition, a solid line represents a color signal and a dotted line represents a return distortion component. When interpolating and synthesizing a color difference signal using a color signal including a high frequency component, the return distortion component is included in the pass band up to? / 2 as shown in FIG. For this reason, a new problem arises that the interpolation precision is not good and a false color signal is generated.
상기한 과제를 해결하기 위해, 본 발명에 따른 고체 컬러 촬상 장치는 주파수 특성 조정 수단에 의해 전체색 투과, 시안색 투과, 황색 투과의 각 색 분리 필터를 이용한 고체 촬상 소자로부터 출력하는 각 색 신호의 주파수 특성을 조정하고, 그 특성 조정을 실시한 색 신호를 이용해서 색차 신호를 보간합성하는 것을 특징으로 한 것이다.In order to solve the above problems, a solid-state color image pickup apparatus according to the present invention is a solid-state color image pickup apparatus in which, by frequency-characteristic adjusting means, a color signal of each color signal outputted from a solid-state image pickup device using each color separation filter of full color transmission, The frequency characteristic is adjusted, and the color difference signal is interpolated and synthesized using the color signal subjected to the characteristic adjustment.
또, 상관 검출 처리에 있어서 에지 판정 기능을 갖게 하고, 색차 신호에 부가할 이득을 결정하여 대응하는 색차 신호에 부가함으로써 가짜색 억제를 실행하도록 한 것이다.The edge detection function is provided in the correlation detection processing, and a gain to be added to the color difference signal is determined and added to the corresponding color difference signal to perform false color suppression.
이에 따라, 본 발명에 있어서는 휘도 해상도의 열화가 적고 위색이 적은 고체 컬러 촬상 장치를 제공할 수 있다.Thus, in the present invention, it is possible to provide a solid-state color imaging device with less deterioration in luminance resolution and less false color.
본 발명은 전체 화소 판독 고체 촬상 소자에 관한 것으로, 특히 색 분리 필터로부터의 정보를 매트릭스 계산할 때에 발생하는 휘도 신호의 해상도 열화를 적게 하기 위한 색 분리 필터의 배치 방법 및 매트릭스 계산 방법에 관한 것이다. 또, 특히, 화소간의 보간 처리를 실행해서 고해상도를 얻는 고체 컬러 촬상 장치의 신호 처리 방법에 관한 것으로서, 고체 촬상 소자에서 출력하는 색 신호로부터 색차 신호를 합성하는 경우에, 각 색 신호에 대해서 색 분리 필터의 색마다 주파수 특성을 조정하고 위색(僞色)의 원인으로 되는 반환 왜곡을 포함한 주파수 성분을 저감하는 특징을 갖는 것이다.More particularly, the present invention relates to a method of arranging a color separation filter and a matrix calculation method for reducing resolution deterioration of a luminance signal generated by matrix calculation of information from a color separation filter. In particular, the present invention relates to a signal processing method for a solid-state color image pickup device that performs interpolation processing between pixels to obtain a high resolution. In the case of synthesizing a color difference signal from a color signal output from a solid- Adjusts the frequency characteristic for each color of the filter, and reduces the frequency component including the return distortion which causes the false color.
도 1a는 본 발명의 고체 컬러 촬상 장치의 블럭도,1A is a block diagram of a solid-state color imaging device of the present invention,
도 1b는 도 1a의 고체 촬상 소자 상에 배치하는 색 분리 필터의 패턴도,Fig. 1B is a pattern of a color separation filter disposed on the solid-state image sensor of Fig. 1A,
도 1c는 도 1a의 고체 촬상 소자 상에 배치하는 색 분리 필터의 패턴도,Fig. 1C is a pattern of a color separation filter disposed on the solid-state image sensor of Fig. 1A,
도 2a는 종래의 고체 컬러 촬상 장치의 블럭도,2A is a block diagram of a conventional solid-state color imaging device,
도 2b는 도 2a의 고체 촬상 소자 상에 배치하는 색 분리 필터의 패턴도,FIG. 2B is a pattern of a color separation filter disposed on the solid-state image sensor of FIG. 2A,
도 3a는 본 발명의 실시예 1에 있어서의 고체 컬러 촬상 장치의 4:2:0 형식의 휘도 색차 신호의 위치를 도시한 도면,3A is a diagram showing the positions of luminance color difference signals in the 4: 2: 0 format of the solid-state color image pickup device according to Embodiment 1 of the present invention,
도 3b는 본 발명의 실시예 2에 있어서의 고체 컬러 촬상 장치의 4:1:1 형식의 휘도 색차 신호의 위치를 도시한 도면,FIG. 3B is a diagram showing the position of a 4: 1: 1 type luminance color difference signal in the solid color image pickup device according to Embodiment 2 of the present invention,
도 4는 본 발명의 실시예 1에 있어서의 4:2:0 형식으로 출력하기 위해서 적합한 색 분리 필터 배열 패턴도의 예를 나타내는 도면,4 is a diagram showing an example of a color separation filter arrangement pattern diagram suitable for output in the 4: 2: 0 format in the embodiment 1 of the present invention,
도 5는 본 발명의 실시예 2에 있어서의 4:1:1 형식으로 출력하기 위해서 적합한 색 분리 필터 배열 패턴도의 예를 나타내는 도면,5 is a diagram showing an example of a color separation filter arrangement pattern diagram suitable for output in the 4: 1: 1 format in the second embodiment of the present invention,
도 6은 본 발명의 실시예 3∼실시예 7에 따른 고체 컬러 촬상 장치의 설명도로서, a는 고체 컬러 촬상 장치의 구성도, b는 고체 촬상 소자 상의 색 분리 필터의 구성도,Fig. 6 is an explanatory diagram of a solid color imaging device according to the third to seventh embodiments of the present invention, wherein a is a configuration diagram of a solid color imaging device, b is a configuration diagram of a color separation filter on a solid-
도 7은 본 발명의 실시예 6에 있어서의 상관도 산출, 상관 방향(종방향, 횡방향) 및 보간 처리를 설명하는 도면,Fig. 7 is a view for explaining the correlation degree calculation, the correlation direction (longitudinal direction and lateral direction) and the interpolation process in the sixth embodiment of the present invention,
도 8은 본 발명의 실시예 8에 있어서의 상관도 산출, 상관 방향(우하측 경사방향, 좌하측 경사방향) 및 보간 처리를 설명하는 도면,Fig. 8 is a view for explaining the correlation degree calculation, the correlation direction (lower right side slope direction, lower left side slope direction) and interpolation processing in the eighth embodiment of the present invention,
도 9는 본 발명의 실시예 5에 있어서의 상관도 산출, 상관 방향(L자 4방향) 및 보간 처리를 설명하는 도면,9 is a view for explaining the correlation degree calculation, correlation direction (L-character 4-direction) and interpolation processing in the fifth embodiment of the present invention,
도 10는 본 발명의 실시예 9에 있어서의 상관도와 색차 신호에 부가하는 이득의 관계를 설명하는 도면,10 is a view for explaining a relationship between a correlation and a gain added to a color difference signal in the ninth embodiment of the present invention,
도 11은 본 발명의 실시예 9에 있어서의 상관도와 색차 신호에 부가하는 이득의 관계를 설명하는 도면,11 is a view for explaining a relationship between a correlation in a ninth embodiment of the present invention and a gain added to a color difference signal,
도 12는 본 발명의 실시예 10에 따른 고체 컬러 촬상 장치의 구성도,12 is a configuration diagram of a solid color imaging device according to Embodiment 10 of the present invention,
도 13은 본 발명의 실시예 10에 있어서의 주파수 특성 조정 동작을 설명하는 도면,13 is a view for explaining the frequency characteristic adjusting operation in the tenth embodiment of the present invention,
도 14는 본 발명의 실시예 10에 있어서의 주파수 특성 조정 동작을 설명하는 도면,14 is a view for explaining the frequency characteristic adjusting operation in the tenth embodiment of the present invention,
도 15는 본 발명의 실시예 10에 있어서의 주파수 특성 조정 동작을 설명하는 도면,15 is a view for explaining the frequency characteristic adjusting operation in the tenth embodiment of the present invention,
도 16은 본 발명의 실시예 11에 따른 고체 컬러 촬상 장치의 구성도이다.16 is a configuration diagram of a solid color imaging device according to Embodiment 11 of the present invention.
상기한 과제를 해결하기 위해서, 본 발명의 청구항 제 1 항에 따른 고체 컬러 촬상 장치는 종횡으로 인접하는 4화소를 1개의 배열 패턴으로 하는 색 분리 필터를 갖고, 상기 배열 패턴의 색 분리 필터는 2화소가 전체색 투과 필터, 1화소가 시안색 투과 필터, 1화소가 황색 투과 필터이며, 상기 4화소의 배열 패턴을 종횡 모두 반복하는 구성이고, 또한 상기 색 분리 필터의 각 화소마다의 정보를 개별적으로 추출하는 수단을 갖는 고체 촬상 소자, 및 상기 고체 촬상 소자로부터 개별적으로 추출된 화상 정보 중 상기 배열 패턴의 1개에 대해서 4개의 휘도 신호와 2종류의 색차 신호를 추출하고, 이 때, 상기 4개의 휘도 신호 중 2개를 상기 전체색 투과 필터만의 정보로 작성하고, 나머지의 2개를 상기 전체색 투과 필터의 정보와 해당 종횡으로 인접하는 4화소의 주변 화소 정보로 작성하고, 상기 2종류의 색차 신호를 상기 시안색 또는 황색 투과 필터의 정보와 상기 주변 화소 정보로 작성하는 신호 처리 회로를 구비한 것을 특징으로 하는 것이다. 이에 따라, 휘도 신호 4개에 대하여 2개는 전체색 투과 필터만의 정보로 작성하므로, 휘도 해상도가 향상한다는 작용을 갖는다.In order to solve the above problems, the solid color imaging device according to Claim 1 of the present invention has a color separation filter having four arrangement pixels of four pixels vertically and horizontally adjacent to each other, The arrangement is such that the pixel is a full-color transmission filter, one pixel is a cyan transmission filter, and one pixel is a yellow transmission filter, and the arrangement pattern of the four pixels is repeated in both the vertical and horizontal directions, And four luminance signals and two kinds of color difference signals are extracted for one of the arrangement patterns among the image information individually extracted from the solid state image pickup device, Two of the luminance signals are formed by the information of only the entire color transmission filter and the remaining two are formed by the information of the entire color transmission filter, Written in the pixel information service, and will, characterized in that a signal processing circuit for writing the color difference signal of the two kinds of information with the peripheral pixel information of the cyan or yellow transmitting filter. Accordingly, since two of the four luminance signals are formed by only information of the entire color transmission filter, the effect of improving the luminance resolution is obtained.
또, 본 발명의 청구항 제 2 항에 따른 고체 컬러 촬상 장치는, 상기 청구항 제 1 항에 따른 고체 컬러 촬상 장치에 있어서, 종횡으로 인접하는 4화소를 1개의 배열 패턴으로 하는 상기 색 분리 필터가 세로에 2화소, 가로에 2화소로 되는 구성이며, 상기 배열 패턴에서 추출되는 정보로부터 4개의 휘도 신호와 2종류의 색차 신호가 각 1개로 이루어지는 합계 6개의 신호를 만들어 4:2:0 방식의 기기로 출력하는 것을 특징으로 하는 것이다. 이에 따라, 4:2:0 방식의 기기에 있어서 휘도 해상도가 향상된다는 작용을 갖는다.In the solid color imaging device according to claim 2 of the present invention, in the solid color imaging device according to claim 1, the color separation filter having one arrangement pattern of four pixels vertically and horizontally adjacent to each other, And a total of six signals in which four luminance signals and two kinds of color difference signals are each formed from the information extracted from the arrangement pattern to form a signal in a 4: 2: 0 system And outputs the output signal. This has the effect that the luminance resolution is improved in the 4: 2: 0 system.
또, 본 발명의 청구항 제 3 항에 따른 고체 컬러 촬상 장치는, 상기 청구항 제 1 항에 따른 고체 컬러 촬상 장치에 있어서, 종횡으로 인접하는 4화소를 1개의 배열 패턴으로 하는 상기 색 분리 필터가 세로에 1화소, 가로에 4화소로 되는 구성이며, 상기 배열 패턴에서 추출되는 정보로부터 4개의 휘도 신호와 2종류의 색차 신호가 각 1개로 이루어지는 합계 6개의 신호를 만들어 4:1:1 방식의 기기로 출력하는 것을 특징으로 하는 것이다. 이에 따라, 4:1:1 방식의 기기에 있어서 휘도 해상도가 향상한다는 작용을 갖는다.In the solid color imaging device according to claim 3 of the present invention, in the solid color imaging device according to claim 1, the color separation filter having one arrangement pattern of four pixels vertically and horizontally adjacent to each other, A total of six signals including four luminance signals and two kinds of color difference signals are generated from the information extracted from the arrangement pattern to form a signal in a 4: 1: 1 system And outputs the output signal. This has the effect of improving the luminance resolution in a 4: 1: 1 system.
또, 본 발명의 청구항 제 4 항에 따른 고체 컬러 촬상 장치는, 상기 청구항 제 1 항에 따른 고체 컬러 촬상 장치에 있어서, 종횡으로 인접하는 4화소를 1개의 배열 패턴으로 하는 상기 색 분리 필터가, 상부 2화소는 좌측부터 순서대로 전체색 투과 필터, 시안색 투과 필터, 하부 2화소는 좌측부터 순서대로 황색 투과 필터, 전체색 투과 필터로 되는 반복 패턴을 갖는 것이고, 상기 고체 촬상 소자의 각 화소가 출력하는 색 신호를 각각 취입하여 기억하는 기억 수단과, 상기 기억수단에 기억된 시안색 신호 화소 및 황색 신호 화소를 피보간 화소로써 상기 각 피보간 화소의, 상기 각 피보간 화소의 주변에 있는 복수개의 화소에 대한 상관도를 산출하는 상관도 산출 수단, 및 상기 산출된 상관도가 큰 방향에 있어서 화소의 보간을 실행하고, 상기 피보간 화소의 위치의 전체색 투과 신호를 계산하는 보간 처리 수단을 구비한 것을 특징으로 하는 것이다. 이에 따라, 입력 화상을 상관이 높은 화소로 보간을 한 후에 휘도 신호로 변환하기 때문에, 휘도 해상도의 열화를 저감하는 작용을 갖는다.The solid-color imaging device according to claim 4 of the present invention is the solid-state color imaging device according to claim 1, wherein the color-separation filter having one arrangement pattern of four pixels vertically and horizontally adjacent to each other, The upper two pixels have a repeating pattern consisting of an entire color transmission filter and a cyan transmission filter in order from the left side and a yellow transmission filter and an entire color transmission filter in order from the left side in the lower two pixels, A plurality of cyan color signal pixels and a yellow signal pixel stored in the storage means are used as interpolating pixels to extract a plurality of And calculating a degree of correlation with respect to pixels of the interpolated pixel in a direction in which the calculated degree of correlation is large, And interpolation processing means for calculating an entire color transmission signal of the position. Accordingly, since the input image is converted into the luminance signal after interpolation by the pixel having high correlation, it has an effect of reducing deterioration of the luminance resolution.
또, 본 발명의 청구항 제 5 항에 따른 고체 컬러 촬상 장치는, 상기 청구항 제 4 항에 따른 고체 컬러 촬상 장치에 있어서, 상기 상관도 산출 수단은 상기 피보간 화소와 그 주변에 있는 화소에 있어서의, 피보간 화소를 포함하는 횡 방향 또는 종 방향의 상관도를 산출하는 것을 특징으로 하는 것이다. 이에 따라, 종방향 및 횡방향의 휘도 해상도의 열화를 저감하는 작용을 갖는다.In the solid color imaging apparatus according to claim 5 of the present invention, in the solid color imaging apparatus according to claim 4, the correlation degree calculating means calculates the degree of correlation between the interpolated pixel and the surrounding pixels , And calculates the correlation in the horizontal or vertical direction including the interpolated pixel. This has an effect of reducing the degradation of the luminance resolution in the vertical and horizontal directions.
또, 본 발명의 청구항 제 6 항에 따른 고체 컬러 촬상 장치는 상기 청구항 제 4 항에 따른 고체 컬러 촬상 장치에 있어서, 상기 상관도 산출 수단은 상기 피보간 화소와 그의 주변에 있는 화소에 있어서의, 피보간 화소를 포함하는 횡방향 또는 종방향의 상관도, 및 경사방향의 상관도를 더 산출하는 것을 특징으로 하는 것이다. 이에 따라, 종방향, 횡방향 및 경사방향의 휘도 해상도의 열화를 저감하는 작용을 갖는다.In the solid color imaging apparatus according to claim 6 of the present invention, in the solid color imaging apparatus according to claim 4, the correlation degree calculating means calculates the degree of correlation between the interpolated pixel and the surrounding pixels, And further calculates the correlation in the horizontal or vertical direction including the interpolated pixel and the correlation in the slant direction. Thus, it has an effect of reducing deterioration in the luminance resolution in the longitudinal direction, the lateral direction and the oblique direction.
또, 본 발명의 청구항 제 7 항에 따른 고체 컬러 촬상 장치는, 상기 청구항 제 4 항에 따른 고체 컬러 촬상 장치에 있어서, 상기 상관도 산출 수단은 상기 피보간 화소와 그 주변에 있는 화소에 있어서의, 피보간 화소를 포함하는 횡방향 또는 종방향의 상관도, 및 우측 상방향, 또는 우측 하방향, 또는 좌측 상방향, 또는 좌측 하방향의 상관도를 산출하는 것을 특징으로 하는 것이다. 이에 따라, 종방향, 횡방향 및 우측 상단의 L자 방향, 우측 하단의 L자 방향, 좌측 상단의 L자 방향, 좌측 하단의 L자 방향의 휘도 해상도의 열화를 저감하는 작용을 갖는다.In the solid color imaging device according to claim 7 of the present invention, in the solid-state color imaging device according to claim 4, the correlation degree calculating means calculates the degree of correlation between the interpolated pixel and the surrounding pixels , A correlation in the horizontal direction or the vertical direction including the interpolated pixel, and a correlation in the right upward direction, the right downward direction, the left upward direction, or the left downward direction. Thus, it has the effect of reducing the deterioration of the luminance resolution in the L-letter direction in the longitudinal direction, the transverse direction and the upper right, the L letter direction in the lower right, the L letter in the upper left, and the L letter in the lower left.
또, 본 발명의 청구항 제 8 항에 따른 고체 컬러 촬상 장치는, 상기 청구항 제 4 항에 따른 고체 컬러 촬상 장치에 있어서, 상기 상관도 산출 수단은 상기 피보간 화소와 그 주변에 있는 화소에 있어서의, 피보간 화소를 포함하는 횡방향 또는 종방향의 상관도, 경사방향의 상관도, 및 우측 상방향, 또는 우측 하방향, 또는 좌측 상방향, 또는 좌측 하방향의 상관도를 더 산출하는 것을 특징으로 하는 것이다. 이에 따라, 종방향, 횡방향, 경사방향 및 우측 상단의 L자 방향, 우측 하단의 L자 방향, 좌측 상단의 L자 방향, 좌측 하단의 L자 방향의 휘도 해상도의 열화를 저감하는 작용을 갖는다.In the solid color imaging device according to claim 8 of the present invention, in the solid color imaging device according to claim 4, the correlation degree calculating means calculates the degree of correlation between the interpolated pixel and the surrounding pixels , Correlation in the horizontal or vertical direction including the interpolated pixel, correlation in the oblique direction, and correlation in the right upward direction or the right downward direction, the left upward direction, or the downward left direction is further calculated . Thus, it has the effect of reducing the deterioration of the luminance resolution in the L-letter direction in the longitudinal direction, the lateral direction, the oblique direction and the right upper end, the L letter direction in the lower right side, the L letter direction in the left upper end, and the L letter direction in the lower left .
또, 본 발명의 청구항 제 9 항에 따른 고체 컬러 촬상 장치는, 상기 청구항 제 4 항에 따른 고체 컬러 촬상 장치에 있어서, 상기 상관도 산출 수단은 상기 피보간 화소와 그 주변에 있는 화소간에 있어서의, 동색 신호끼리의 연산에 의해서 상관도를 산출하는 것을 특징으로 하는 것이다. 이에 따라, 동색 신호로 상관도를 산출함으로써, 상관도의 산출 정밀도가 향상된다는 작용을 갖는다.The solid-color imaging device according to Claim 9 of the present invention is the solid-state color imaging device according to Claim 4, wherein the correlation calculating means calculates the degree of correlation between the interpolated pixel and the surrounding pixels , And calculating the degree of correlation by calculation of the same-color signals. Thus, calculating the correlation with the same-color signal has the effect of improving the accuracy of calculation of the degree of correlation.
또, 본 발명의 청구항 제 10 항에 따른 고체 컬러 촬상 장치는, 상기 청구항 제 4 항에 따른 고체 컬러 촬상 장치에 있어서, 상기 상관도 산출 수단은 상기 피보간 화소의 주변에 있는 화소간에 있어서의, 이색(異色) 신호로 되는 인접 화소간의 연산에 의해서 상관도를 산출하는 것을 특징으로 하는 것이다. 이에 따라, 피보간 화소에 의해 가까운 인접 화소로 산출함으로써, 이색 신호이더라도 상관도의 산출 정밀도가 향상된다는 작용을 갖는다.The solid-color imaging device according to Claim 10 of the present invention is the solid-state color imaging device according to Claim 4, wherein the correlation-degree calculation means calculates the degree of correlation between pixels in the periphery of the interpolated pixel, And calculates the degree of correlation by calculation between adjacent pixels in a different color signal. Thus, the calculation is performed on the adjacent pixels closer to the interpolated pixel, so that the calculation accuracy of the degree of correlation is improved even with the dichroic signal.
또, 본 발명의 청구항 제 11 항에 따른 고체 컬러 촬상 장치는, 상기 청구항 제 4 항에 따른 고체 컬러 촬상 장치에 있어서, 상기 보간 처리 수단은 상기 상관도 산출 수단에 의해서 산출된 상관도가 큰 방향에 있어서의, 피보간 화소의 색 신호를 이용하지 않고 상기 피보간 화소 주변의, 생성하고자 하는 색 신호와 동색의 신호만을 이용해서 보간 처리를 실시하는 것을 특징으로 하는 것이다. 이에 따라, 보간 정밀도가 향상되고 휘도 해상도가 향상된다는 작용을 갖는다.The solid-color imaging device according to claim 11 of the present invention is the solid-state color imaging device according to claim 4, wherein the interpolation processing means includes: Interpolation processing is performed using only a signal of the same color as the color signal to be generated around the interpolated pixel without using the color signal of the interpolated pixel in the interpolation pixel. This has the effect that the interpolation precision is improved and the luminance resolution is improved.
또, 본 발명의 청구항 제 12 항에 따른 고체 컬러 촬상 장치는, 상기 청구항 제 4 항에 따른 고체 컬러 촬상 장치에 있어서, 상기 보간 처리 수단은 상기 상관도 산출 수단에 의해서 산출된 상관도가 큰 방향에 있어서의, 피보간 화소의 색 신호를 이용해서 생성하고자 하는 색 신호의 부족분을 상기 피보간 화소 주변의 화소에서 산출하고, 보간 처리를 실시하는 것을 특징로 하는 것이다. 이에 따라, 부족한 색 성분만을 보간하고 다른 성분은 피보간 화소점의 색 신호 성분을 이용함으로써 보간 처리가 실시되므로, 보간 정밀도가 향상되고 휘도 해상도가 열화되기 어렵다고 하는 작용을 갖는다.The solid-color image pickup device according to Claim 12 of the present invention is the solid-color image pickup device according to Claim 4, wherein the interpolation processing means has a correlation degree calculation means In the vicinity of the pixel to be interpolated, a shortage of the color signal to be generated by using the color signal of the interpolated pixel in the interpolation pixel, and performs interpolation processing. Accordingly, interpolation processing is performed by interpolating only a deficient color component and using the color signal component of the interpolated pixel point for the other components, so that the interpolation accuracy is improved and the luminance resolution is hardly deteriorated.
또, 본 발명의 청구항 제 13 항에 따른 고체 컬러 촬상 장치는, 상기 청구항 제 5 항 내지 청구항 제 10 항 중 어느 하나에 따른 고체 컬러 촬상 장치에 있어서, 상기 보간 처리 수단은 상기 상관도 산출 수단에 의해 산출된 상관도가 주어진 임계값보다 작으면, 그 화소에 대응하는 색차 신호의 이득을 낮추는 처리를 실시하는 것을 특징으로 하는 것이다. 이에 따라, 휘도 신호의 에지부에 발생하는 위색을 저감한다는 작용을 갖는다.In a solid color image pickup device according to claim 13 of the present invention, in the solid color image pickup device according to any one of claims 5 to 10, the interpolation processing means Is smaller than a given threshold value, a process of lowering the gain of the color difference signal corresponding to the pixel is performed. This has the effect of reducing the false color occurring at the edge portion of the luminance signal.
또, 본 발명의 청구항 제 14 항에 따른 고체 컬러 촬상 장치는, 상기 청구항 제 5 항 내지 청구항 제 10 항 중 어느 하나에 기재된 고체 컬러 촬상 장치에 있어서, 상기 보간 처리 수단은 상기 상관도 산출 수단에 의해 산출된 상관도가 주어진 임계값보다 작으면, 그 화소에 대응하는 색차 신호의 이득을 상기 상관도에 따라 단계적으로 낮추는 처리를 실시하는 것을 특징으로 하는 것이다. 이에 따라, 휘도 신호의 에지부에 발생하는 위색을 적응적으로 저감한다는 작용을 갖는다.A solid color imaging apparatus according to claim 14 of the present invention is the solid color imaging apparatus according to any one of claims 5 to 10, wherein the interpolation processing means When the degree of correlation calculated by the weighting unit is smaller than a given threshold value, performs a process of stepwise lowering the gain of the color-difference signal corresponding to the pixel in accordance with the degree of correlation. This has the effect of adaptively reducing the false color occurring in the edge portion of the luminance signal.
또, 본 발명의 청구항 제 15 항에 따른 고체 컬러 촬상 장치는, 상기 청구항 제 4 항에 따른 고체 컬러 촬상 장치에 있어서, 상기 보간 처리 수단은 상기 고체 촬상 소자에서 출력되는 각 색 신호의 주파수 특성을 조정하는 주파수 특성 조정 수단을 구비하고, 그 주파수 특성 조정을 실시한 색 신호를 이용해서 색차 신호를 보간합성하는 것을 특징으로 하는 것이다. 이에 따라, 고주파 성분을 포함한 색 신호를 이용한 보간에 의해 색차 신호를 보간합성했을 때에 나타나는 위색 신호를 저감한다는 작용을 갖는다.In the solid color imaging apparatus according to claim 15 of the present invention, in the solid color imaging apparatus according to claim 4, the interpolation processing means sets the frequency characteristics of the respective color signals output from the solid- And the color difference signal is interpolated and synthesized using the color signal subjected to the frequency characteristic adjustment. This has the effect of reducing the false signal appearing when the color difference signal is interpolated and synthesized by the interpolation using the color signal including the high frequency component.
또, 본 발명의 청구항 제 16 항에 따른 고체 컬러 촬상 장치는, 상기 청구항 제 15 항에 따른 고체 컬러 촬상 장치에 있어서, 상기 보간 처리 수단은 상기 고체 촬상 소자에서 출력되는 각 색 신호의 주파수 특성을 조정하는 주파수 특성 조정 수단을 구비하고, 그 주파수 특성 조정을 실시한 색 신호를 이용해서 시안색 투과 필터 위치에 R-Y 색차 신호를, 황색 투과 필터 위치에 B-Y 색차 신호를 보간합성하는 것을 특징으로 하는 것이다. 이에 따라, 고주파 성분을 포함한 색 신호를 이용한 보간에 의해 색차 신호를 보간합성했을 때에 나타나는 위색 신호를 저감한다는 작용을 갖는다.The solid-state color imaging apparatus according to claim 16 of the present invention is the solid-state color imaging apparatus according to claim 15, wherein the interpolation processing means calculates the frequency characteristics of the respective color signals output from the solid- And an interpolation synthesis unit for interpolating the RY color difference signal to the cyan transmission filter position and the BY color difference signal to the yellow transmission filter position using the color signal subjected to the frequency characteristic adjustment. This has the effect of reducing the false signal appearing when the color difference signal is interpolated and synthesized by the interpolation using the color signal including the high frequency component.
또, 본 발명의 청구항 제 17 항에 따른 고체 컬러 촬상 장치는, 상기 청구항 제 15 항에 따른 고체 컬러 촬상 장치에 있어서, 상기 보간 처리 수단은 상기 상관도 산출 수단에 의해 산출된 상관도로부터 상관 방향을 판정하고, 상관이 큰 방향이 있을 때에는 주파수 특성 조정을 실행하고, 상관이 큰 방향이 없을 때에는 주파수 특성 조정을 실행하지 않는 것을 특징으로 하는 것이다. 이에 따라, 상관 방향이 없는 색 신호를 이용한 색차의 보간합성에 있어서 주파수 성분이 보존되고, 화상의 색 재현성이 유지된다는 작용을 갖는다.The solid-color image pickup device according to claim 17 of the present invention is the solid-color image pickup device according to claim 15, wherein the interpolation processing means calculates a correlation direction from the correlation degree calculated by the correlation degree calculation means The frequency characteristic adjustment is executed when there is a direction with a large correlation and the frequency characteristic adjustment is not executed when there is no direction with a large correlation. This has the effect that the frequency component is preserved in the interpolation synthesis of the color difference using the color signal having no correlation direction and the color reproducibility of the image is maintained.
또, 본 발명의 청구항 제 18 항에 따른 고체 컬러 촬상 장치는, 상기 청구항 제 16 항에 따른 고체 컬러 촬상 장치에 있어서, 상기 보간 처리 수단은 상기 상관도 산출 수단에 의해 산출된 상관도로부터 상관 방향을 판정하고, 상관이 큰 방향이 있을 때에는 주파수 특성 조정을 실행하고, 상관이 큰 방향이 없을 때에는 주파수 특성 조정을 실행하지 않는 것을 특징으로 하는 것이다. 이에 따라, 상관 방향이 없는 색 신호를 이용한 색차의 보간합성에 있어서 주파수 성분이 보존되어, 화상의 색의 재현성이 유지된다는 작용을 갖는다.The solid-color imaging device according to claim 18 of the present invention is the solid-state color imaging device according to claim 16, wherein the interpolation processing means calculates the correlation direction from the correlation degree calculated by the correlation degree calculation means The frequency characteristic adjustment is executed when there is a direction with a large correlation and the frequency characteristic adjustment is not executed when there is no direction with a large correlation. Thereby, the frequency component is preserved in the interpolation synthesis of the color difference using the color signal having no correlation direction, and the reproducibility of the color of the image is maintained.
이상과 같이, 본 발명은 고체 촬상 소자 표면의 색 분리 필터의 인접하는 종횡 4화소 중에 전체색 투과 필터 2개, 시안색 투과 필터 1개, 황색 투과 필터 1개를 갖고, 그 4화소를 반복하는 패턴을 갖으며, 그 반복 패턴인 4화소로부터 휘도 정보 4개, 색 정보 2개를 추출하는 회로를 마련함으로써, 휘도 해상감이 높고, 색 해상도에 있어서도 열화가 없는 우수한 고체 컬러 촬상 장치를 실현할 수 있는 것이다. 또, 상기 장치에 각 화소가 출력하는 신호를 각각 취입하여 기억하는 수단과, 상기 기억수단에 기억된 시안색 신호 화소 및 황색 신호 화소를 피보간 화소로써 상기 피보간 화소 주변에 있는 복수개의 화소에 대한 상관도를 산출하는 상관도 산출 수단, 및 상관도가 큰 방향에 있어서 보간을 실행하고 상기 피보간 화소의 위치의 전체색 투과 신호를 계산하는 수단을 부가함으로써, 휘도 해상도의 열화를 저감할 수 있고, 또 휘도 신호의 에지부에 발생하는 위색을 억제하는 처리를 큰 처리 회로의 추가없이 실현할 수 있는 고체 컬러 촬상 장치를 제공하는 것이 가능하게 된다.As described above, the present invention has two color filters, one cyan color filter and one yellow color filter among four vertically and horizontally adjacent pixels of the color separation filter on the surface of the solid-state image sensor, It is possible to realize an excellent solid-state color image pickup device having a high luminance resolution and no deterioration in color resolution by providing a circuit for extracting four pieces of luminance information and two pieces of color information from the four pixels as the repeated pattern It is. Means for fetching and storing signals output from the respective pixels to the apparatus; and means for storing the cyan color signal pixel and the yellow signal pixel stored in the storage means as a picolitic pixel, to a plurality of pixels around the interpolative pixel And a means for calculating the total color transmission signal at the position of the interpolated pixel by performing interpolation in a direction having a large correlation degree is added so that the deterioration of the luminance resolution can be reduced And it is also possible to provide a solid color imaging device capable of realizing a process for suppressing the false color occurring at the edge portion of the luminance signal, without adding a large processing circuit.
이하, 본 발명의 실시예에 대해서 설명한다.Hereinafter, an embodiment of the present invention will be described.
(실시예 1)(Example 1)
이하, 본 발명의 청구항 제 1 항, 청구항 제 2 항에 대응하는 실시예 1에 대해서 설명한다.Hereinafter, a first embodiment corresponding to claim 1 and claim 2 of the present invention will be described.
도 1a는 본 발명의 실시예 1에 따른 고체 컬러 촬상 장치를 나타낸다. 도면에 있어서, 참조부호 1은 피사체를 고체 촬상 소자 표면 상에 결상시키는 작용을 실행하는 것으로서, 렌즈 등으로 구성되어 있는 광학계이다. 참조부호 2는 결상된 피사체상(광학상)을 화상 신호(전기 신호)로 변환하는 작용을 실행하는 것으로서, 색 분리 필터 부착 고체 촬상 소자로 구성되어 있다. 참조부호 3은 고체 촬상 소자에서 얻어지는 화상 신호를 디지털 화상 신호로 변환하는 작용을 실행하는 것으로서, AD 변환기로 구성되어 있다. 참조부호 4는 AD 변환기에서 얻어지는 디지털 화상 신호를 휘도 신호와 색차 신호로 변환하는 작용을 실행하는 것으로서, 화상 신호 처리 회로로 구성되어 있다.1A shows a solid-state color imaging apparatus according to Embodiment 1 of the present invention. In the figure, reference numeral 1 denotes an optical system configured to form an image of a subject on a surface of a solid-state imaging device, which is composed of a lens or the like. Reference numeral 2 denotes a solid-state image pickup device with a color separation filter, which performs an action of converting a formed object image (optical image) into an image signal (electric signal). Reference numeral 3 denotes an AD converter for converting an image signal obtained by the solid-state image pickup device into a digital image signal. Reference numeral 4 denotes an image signal processing circuit for converting the digital image signal obtained by the AD converter into a luminance signal and a color difference signal.
도 1b는 도 1a에 있어서의 고체 촬상 소자(2)의 표면에 부수하는 고체 컬러 촬상 소자의 색 분리 필터를 도시한 도면으로서, 세로 2화소, 가로 2화소로 반복되는 일례의 패턴을 나타내며, 필터의 배치는, 상부 2화소는 좌측부터 순서대로 전체색 투과 필터, 시안색 투과 필터, 하부 2화소는 좌측부터 순서대로 황색 투과 필터, 전체색 투과 필터로 구성되어 있다.Fig. 1B is a diagram showing a color separation filter of a solid color imaging element attached to the surface of the solid-state imaging element 2 in Fig. 1A, and shows an example of a pattern repeated two pixels in the vertical direction and two pixels in the horizontal direction, The upper two pixels are composed of a full-color transmission filter, a cyan transmission filter, and a lower two pixels, in order from the left, in order from the left side, and a yellow transmission filter and an all-color transmission filter in this order.
도 3a는 본 실시예 1의 도 1a에 있어서의 화상 신호 처리 회로(4)의 입출력 신호를 도시한 도면이다.Fig. 3A is a diagram showing input / output signals of the image signal processing circuit 4 in Fig. 1A of the first embodiment.
도 1a에 있어서, 광학계(1)을 통해서 피사체를 고체 촬상 소자 표면 상에 결상시키고, 색 분리 필터 부착 고체 촬상 소자(2)에 의해 결상된 피사체상(광학상)을 화상 신호(전기 신호)로 변환하고, AD 변환기(3)에 의해 고체 촬상 소자에서 얻어지는 화상 신호를 디지털 화상 신호로 변환하며, 화상 신호 처리 회로(4)에 의해 AD 변환기에서 얻어지는 디지털 화상 신호를 휘도 신호와 색차 신호로 변환한다. 또, 고체 촬상 소자(2)에 부수하는 색 분리 필터의 배열이, 도 1b에 도시한 바와 같이, 세로 2화소, 가로 2화소의 패턴을 반복하는 구성이고, 이 패턴의 색 분리 필터는, 상부 2화소가 좌측부터 전체색 투과 필터, 시안색 투과 필터로, 하부 2화소가 좌측부터 황색 투과 필터, 전체색 투과 필터로 되는, 4화소 중 2화소가 전체색 투과 필터를 갖고, 다른 2화소가 시안색 투과 필터, 황색 투과 필터로 되는 구성으로 한다. 이 때, 고체 촬상 소자에서 얻어지는 화상 신호는 전체색 정보 2개, 시안색 정보 1개, 황색 정보 1개의 합계 4개로 되고, 이 4개를 매트릭스 계산해서 화상 신호 처리 회로(4)로부터는 휘도 신호 4개, R-Y 색차 신호 1개, B-Y 색차 신호 1개를 출력한다.1A, a subject is imaged on the surface of a solid-state imaging device through an optical system 1, and a subject image (optical image) formed by a solid-state imaging device 2 with a color separation filter is converted into an image signal Converts the image signal obtained by the AD converter 3 into a digital image signal by the AD converter 3 and converts the digital image signal obtained by the AD converter by the image signal processing circuit 4 into a luminance signal and a color difference signal . 1B, the arrangement of color separation filters attached to the solid-state image sensor 2 repeats the pattern of 2 pixels in the vertical direction and 2 pixels in the horizontal direction. Two pixels out of the four pixels in which two pixels are made of a full color transmission filter and a cyan color transmission filter and the lower two pixels are made of a yellow transmission filter and a whole color transmission filter from the left side, A cyan transmission filter, and a yellow transmission filter. At this time, the image signals obtained by the solid-state image pickup device are total of four, that is, two total color information, one cyan color information and one yellow color information. The four signals are subjected to matrix calculation, Four RY color difference signals, and one BY color difference signal.
이하에, 화상 신호 처리 회로(4)에서의 휘도 신호, 색차 신호로의 변환 동작에 대해서 도 3a를 참조하면서 설명한다.Hereinafter, the operation of converting the luminance signal and the color difference signal in the image signal processing circuit 4 will be described with reference to Fig. 3A.
각 투과 필터를 빛의 원색 성분(적색, 녹색, 청색, 각각 R, G, B)으로 나타내면, 통상은 W=R+G+B, Cy=G+B, Ye=R+G로 된다. 휘도 정보가 R, G, B 성분 모두로 이루어져 있고, 전체색 투과 필터가 있는 위치의 휘도 신호 Y에 대해서는 순수한 샘플링 정보로 되는 전체색 투과 필터로부터의 신호만으로 만들고,R + G + B, Cy = G + B, and Ye = R + G, respectively, when the respective transmission filters are represented by the primary color components of light (red, green and blue respectively R, G and B). The luminance signal Y is composed of all the R, G, and B components, and only the signal from the entire color transmission filter, which is pure sampling information, is used for the luminance signal Y at the position where the full-
로 근사(近似)된다. 여기서, a는 다이나믹(동적) 범위를 조정하기 위한 계수로 하고, h+v는 도 3a의 예에 있어서는 항상 우수로 된다.(Approximate). Here, a is a coefficient for adjusting the dynamic range, and h + v is always excellent in the example of FIG. 3A.
또, 전체색 투과 필터가 없는 위치의 휘도 신호 Y에 대해서는 주변 위치의 정보도 이용해서 작성하고, 간단한 작성 방법으로서는The luminance signal Y at the position where the entire color transmission filter is absent is created by using the information of the peripheral position,
로 근사된다. 여기서, a는 다이나믹 범위를 조정하기 위한 계수로 하고, h+v는 도 3a의 예에 있어서는 항상 기수로 된다.. Here, a is a coefficient for adjusting the dynamic range, and h + v is always an odd number in the example of Fig. 3A.
또는, 순수한 샘플링 정보인 해당 위치의 색 정보를 활용해서, 시안색 필터가 있는 위치의 휘도 신호 Y이면, Cy가 휘도 신호 성분 중의 R성분이 없기 때문에 주변 화소로부터 보간하여,Alternatively, if the luminance signal Y at the position of the cyan filter is Cy utilizing the color information of the corresponding position, which is pure sampling information, because Cy has no R component in the luminance signal component,
로 근사된다. 황색 필터가 있는 위치의 휘도 신호 Y이면, Ye가 휘도 신호 성분 중의 B성분이 없기 때문에 주변 화소로부터 보간하여,. In the case of the luminance signal Y at the position where the yellow filter is present, since Ye does not have the B component in the luminance signal component,
로 근사된다. 여기서, b, c는 다이나믹 범위를 조정하기 위한 계수로 하고, h+v는 도 3a의 예에 있어서는 항상 기수로 되며, 시안색 필터가 있는 위치의 h는 기수, v는 우수로 되고, 황색 필터가 있는 위치의 h는 우수, v는 기수로 된다.. In the example of FIG. 3A, h + v is always the radix, h at the position where the cyan filter is present is radix, v is excellent, and the yellow filter , H is an odd number, and v is an odd number.
Cy 화소 및 Ye 화소에서 구한 휘도 신호 Y는 R 및 B 성분은 주변 화소의 정보를 이용한 보간에 의해 작성하였으며 고체 촬상 소자에 의한 순수한 샘플링 정보에서 구한 것으로는 되지 않는다. 그러나, Cy 화소에 대해서는 G+B 성분이, 또 Ye 화소에 대해서는 R+G 성분이 순수한 샘플링 정보로서 남아 있고, 보간되는 R 및 B 성분은 휘도 신호 Y 중에서 최대 3분의 1로서 영향이 적어 높은 해상도를 유지한 채로의 휘도 신호 Y로 된다.The luminance signal Y obtained by the Cy pixel and the Ye pixel is generated by interpolation using the information of the peripheral pixels and the R and B components are not obtained from the pure sampling information by the solid state image pickup device. However, the G + B component remains for the Cy pixel and the R + G component for the Ye pixel remain pure sampling information, and the R and B components to be interpolated are at most one third of the luminance signal Y, And becomes the luminance signal Y while maintaining the resolution.
또, 색차 신호(R-Y, B-Y)에 대해서는 휘도 신호 4개에 대해서 각 1개의 정보를 추출하고 휘도 신호의 세로 2화소, 가로 2화소를 1개의 패턴으로 하여, 간단한 계산 방법으로서는 우선 R, G, B로 변환한다. 색차 신호 변환용의 R, B 성분은As for the color difference signals RY and BY, one information is extracted for each of the four luminance signals, and two pixels in the vertical direction and two pixels in the horizontal direction of the luminance signal are used as one pattern. B. The R and B components for color-difference signal conversion are
로 한다. 또, G는. In addition, G
로 한다. 이 RGB로부터 색차 신호는 근사적으로. From this RGB, the color difference signals are approximated
로 근사된다. 여기서, a, b, c는 다이나믹 범위를 조정하기 위한 계수로 하고, div는 정수의 제산의 몫만을 추출하여 절사하는 계산을 나타내며, *는 승산을 나타낸다.. Here, a, b, and c represent coefficients for adjusting the dynamic range, and div represents a calculation for extracting and truncating only the division of an integer, and * represents multiplication.
이렇게 해서 얻어진 1쌍의 색차 신호는 인접하는 다른 색차 신호에 대해서 고체 촬상 소자의 출력을 중복해서 변환되지 않기 때문에 색 해상감은 향상된다.The pair of color difference signals thus obtained are not converted to overlap with the output of the solid-state image pickup element with respect to adjacent color difference signals, so that the color resolution is improved.
이상의 연산을 실행함으로써, 도 3a에 도시한 바와 같이, 세로 2화소, 가로 2화소의 4개의 휘도 신호 Y에 대해 2종류의 색차 신호 R-Y, B-Y 각 1개가 얻어지게 되고, 도 3a에 도시한 4:2:0 형식의 기기로의 입력 신호로서 적합한 형태의 것이 얻어지게 된다.As shown in FIG. 3A, two types of color difference signals RY and BY are obtained for four luminance signals Y of two pixels in the vertical direction and two pixels in the horizontal direction, : An input signal to a 2: 0 type device is obtained in a suitable form.
또한, 상기한 것에 부가해서, 또 전체색 투과 필터의 투과율을 R에 대해서는 0.3, B에 대해서는 0.59, G에 대해서는 0.11의 비율로 설정함으로써, 상기 전체색 투과 필터의 투과율의 비는 휘도 신호 Y의 원색 혼합비와 동등한 것이므로, 순수한 휘도 신호가 얻어져 해상감을 더욱 향상시킬 수 있다. 즉, 통상은 각 투과 필터를 원색 성분(적색, 녹색, 청색, 각각 R, G, B)로 나타내면, W= R+G+B, Cy=G+B, Ye=R+G로 되지만, 상기한 설정을 실행하면, 휘도 신호 Y의 RGB의 혼합비는In addition to the above, the transmittance ratio of the whole color transmission filter is set to 0.3, R is 0.59, and G is 0.11, Is equal to the primary color mixing ratio, a pure luminance signal can be obtained and the resolution can be further improved. That is, in general, W = R + G + B, Cy = G + B and Ye = R + G are obtained when the respective transmission filters are represented by the primary color components (red, green and blue respectively R, G and B) When one setting is performed, the RGB mixing ratio of the luminance signal Y is
로 표시되게 되고, 본 실시예 1에 있어서 이용하는 각 투과 필터는 투과율을 조정하여,And the transmittance of each of the transmittable filters used in the first embodiment is adjusted,
로 한다..
이 때, 전체색 투과 필터가 있는 위치의 휘도 신호 Y에 대해서는 순수한 샘플링 정보로 되는 전체색 투과 필터로부터의 신호만으로 만들고,At this time, the luminance signal Y at the position of the entire color transmission filter is made only of the signal from the entire color transmission filter which is pure sampling information,
로 한다. 여기서, a는 다이나믹 범위를 조정하기 위한 계수로 하고, h+v는 도 3a의 예에 있어서는 항상 우수로 된다. 또, 전체색 투과 필터가 없는 위치의 휘도 신호 Y에 대해서는 주변 위치의 정보도 이용해서 작성하고, 간단한 작성 방법으로서는. Here, a is a coefficient for adjusting the dynamic range, and h + v is always excellent in the example of FIG. 3A. The luminance signal Y at the position where the entire color transmission filter is absent is created by using the information of the peripheral position,
로 한다. 또는, 순수한 샘플링 정보인 해당 위치의 색 정보를 활용해서, 시안색 필터가 있는 위치의 휘도 신호 Y이면,. Alternatively, utilizing the color information of the corresponding position, which is pure sampling information, if the luminance signal Y at the position of the cyan filter,
황색 필터가 있는 위치의 휘도 신호 Y이면,If the luminance signal Y at the position where the yellow filter is present,
로 해도 좋다. 여기서, b, c는 다이나믹 범위를 조정하기 위한 계수로 하고, h+v는 도 3a의 예에 있어서는 항상 기수로 되고, 시안색 필터가 있는 위치의 h는 기수, v는 우수로 되며, 황색 필터가 있는 위치의 h는 우수, v는 기수로 된다.. In the example of FIG. 3A, h + v is always the radix, h at the position of the cyan filter is radix, v is excellent, and the yellow filter , H is an odd number, and v is an odd number.
또, 색차 신호(R-Y, B-Y)에 대해서는 휘도 신호 4개에 대해서 각 1개의 정보를 추출하고, 휘도 신호의 세로 2화소, 가로 2화소를 1개의 패턴으로 하며, 간단한 계산 방법으로서는For each of the color difference signals (R-Y, B-Y), one piece of information is extracted for each of the four luminance signals, and two pixels in the vertical direction and two pixels in the horizontal direction of the luminance signal are used as one pattern.
로 한다. 또는, 색차 신호의 샘플링 위치를 고려하여. Alternatively, in consideration of the sampling position of the color difference signal
로 해도 좋다..
또, 상기 실시예 1에서는 전체색 필터의 배치는 체크무늬 배치로 되도록 설정했지만, 도 4a와 같이 세로 2화소, 가로 2화소의 반복 패턴 중의 상부 2화소를 전체색 투과 필터, 하부 2화소를 시안색 투과 필터, 황색 투과 필터로 하여, 전체색 투과 필터가 가로로 연속되는 배치로 해도 좋고, 이점으로서는 수평 해상감이 향상된다. 또, 전체색 필터의 배치는 도 4b와 같이 세로 2화소, 가로 2화소의 반복 패턴 중의 상부 2화소는 좌측부터 전체색 투과 필터, 시안색 투과 필터의 반복 패턴을 갖고, 하부 2화소는 좌측부터 전체색 투과 필터, 황색 투과 필터로 하고, 전체색 투과 필터가 세로로 연속되는 배치로 해도 좋고, 이점으로서는 수직 해상도가 향상된다는 효과가 얻어진다. 또, 상기 4화소의 패턴을 패턴마다 교체하는 구조로 해도 동일한 해상감이 얻어진다.In the first embodiment, the arrangement of all the color filters is set to be a checkered arrangement. However, as shown in FIG. 4A, the upper two pixels in the repeating pattern of two pixels in the vertical direction and the two pixels in the horizontal direction are set as the full color transmission filter, The color transmission filter and the yellow transmission filter may be arranged so that the entire color transmission filters are continuously arranged in the horizontal direction. As a result, the horizontal resolution is improved. 4B, the upper two pixels of the repeating pattern of 2 pixels in the vertical direction and 2 pixels in the horizontal direction have a repeating pattern of the entire color transmission filter and the cyan transmission filter from the left side, An entire color transmission filter and a yellow transmission filter may be used, and the entire color transmission filters may be arranged vertically successively. As an advantage, an effect that the vertical resolution is improved can be obtained. In addition, even if the pattern of the four pixels is changed for each pattern, the same resolution can be obtained.
또, 상기 실시예 1에서는 4:2:0 출력을 실행하는 경우에 대해서 설명했지만, 색차 신호 변환 시에 색 해상감은 떨어지지만 주변 화소의 이용 방법에 따라 어느 위치에도 R, G, B 성분을 배치할 수 있기 때문에, 이 4:2:0 출력뿐만 아니라 4:4:4, 4:2:2, 4:1:1 출력을 실행하는 것도 가능하다.Although the description has been given of the case where 4: 2: 0 output is performed in the first embodiment, the R, G, and B components are arranged at any positions depending on the method of using peripheral pixels It is also possible to execute 4: 4: 4, 4: 2: 2, 4: 1: 1 output as well as this 4: 2: 0 output.
또, 상기 실시예 1에서는 전체색 투과 필터 이외를 시안색 투과 필터 및 황색 투과 필터로 했지만, 이 전체색 투과 필터 이외는 적색 투과 필터, 청색 투과 필터로 해도 무방하다. 이점은 R성분 및 B성분을 필터에서 추출할 필요가 없어 계산을 간략화할 수 있다는 점이다. 결점은 녹색 성분 G가 적색 필터, 청색 필터에는 포함되지 않기 때문에 G성분도 주변 화소에서 보충하게 되므로, 휘도 정보의 해상감이 떨어지게 된다는 점이다.In the first embodiment, the cyan transmission filter and the yellow transmission filter are used in place of the entire color transmission filter, but the red transmission filter and the blue transmission filter may be used in place of the entire color transmission filter. The advantage is that it is not necessary to extract the R component and the B component from the filter, so that the calculation can be simplified. The drawback is that since the green component G is not included in the red filter and the blue filter, the G component is also supplemented in the surrounding pixels, so that the resolution of the luminance information is reduced.
또, 상기 실시예 1에 있어서의 설명에서는 세로 2화소, 가로 2화소의 색 분리 필터를, 상부 2화소는 좌측부터 순서대로 전체색 투과 필터, 시안색 투과 필터, 하부 2화소는 좌측부터 순서대로 황색 투과 필터, 전체색 투과 필터로 구성한 예를 설명했지만, 그 밖의 필터의 투과색은 그대로이고 배열 방법을 바꾼 구성, 또는 전체색 투과 필터 2개는 그대로이고 시안색과 황색의 투과 필터의 투과색을 시안색과 마젠타색이나 마젠타색과 황색으로, 또는 적색과 청색이나 적색과 녹색이나 녹색과 청색으로 바꾼 구성에 대해서도 마찬가지로 실시 가능하다.In the description of the first embodiment, a color separation filter of two pixels in the vertical direction and two pixels in the horizontal direction is used. In the upper two pixels, the entire color transmission filter and the cyan transmission filter are arranged in order from the left, Yellow transmissive filter and full color transmissive filter. However, in the configuration in which the transmission color of the other filters remains unchanged and the arrangement method is changed, or the configuration in which the two color transmissive filters are intact and the transmissive color of the cyan- For example, cyan, magenta, magenta, and yellow, or red and blue, red and green, and green and blue.
(실시예 2)(Example 2)
이하, 본 발명의 청구항 제 1 항, 청구항 제 3 항에 대응하는 실시예 2에 대해서 설명한다.Hereinafter, a second embodiment corresponding to claim 1 and claim 3 of the present invention will be described.
도 1c는 도 1a에 있어서의 고체 촬상 소자(2)의 표면에 부수하는 고체 컬러 촬상 소자의 색 분리 필터를 도시한 도면으로서, 세로 1화소, 가로 4화소로 반복되는 일례의 패턴을 나타내며, 필터의 배치는 좌측부터 순서대로 전체색 투과 필터, 시안색 투과 필터, 전체색 투과 필터, 황색 투과 필터로 구성되어 있다.1C is a diagram showing a color separation filter of a solid color imaging element attached to the surface of the solid-state imaging element 2 in Fig. 1A, showing an example of a pattern repeated in a vertical 1 pixel and a horizontal 4 pixel, Is composed of an entire color transmission filter, a cyan transmission filter, an all-color transmission filter, and a yellow transmission filter in order from the left.
도 3b는 본 실시예 2에 있어서의 도 1a의 화상 신호 처리 회로(4)의 입출력 신호를 도시한 도면이다.Fig. 3B is a diagram showing input / output signals of the image signal processing circuit 4 of Fig. 1A in the second embodiment.
도 1a에 있어서, 광학계(1)을 통해서 피사체를 고체 촬상 소자 표면 상에 결상시키고, 색 분리 필터 부착 고체 촬상 소자(2)에 의해 결상된 피사체상(광학상)을 화상 신호(전기 신호)로 변환하고, AD 변환기(3)에 의해 고체 촬상 소자에서 얻어지는 화상 신호를 디지털 화상 신호로 변환하며, 화상 신호 처리 회로(4)에 의해 AD 변환기에서 얻어지는 디지털 화상 신호를 휘도 신호와 색차 신호로 변환한다. 또, 고체 촬상 소자(2)에 부수하는 색 분리 필터의 배열이, 도 1c에 도시한 바와 같이, 세로 1화소, 가로 4화소의 패턴을 반복하는 구성이고, 이 패턴의 색 분리 필터는 좌측부터 전체색 투과 필터, 시안색 투과 필터, 전체색 투과 필터, 황색 투과 필터로 되는, 4화소 중 2화소가 전체색 투과 필터를 갖고 다른 2화소가 시안색 투과 필터, 황색 투과 필터로 되는 구성으로 한다. 이 때, 고체 촬상 소자에서 얻어지는 화상 신호는 전체색 정보 2개, 시안색 정보 1개, 황색 정보 1개의 합계 4개로 되고, 이 4개를 매트릭스 계산해서 화상 신호 처리 회로(4)로부터는 휘도 신호 4개, R-Y 색차 신호 1개, B-Y 색차 신호 1개를 출력한다.1A, a subject is imaged on the surface of a solid-state imaging device through an optical system 1, and a subject image (optical image) formed by a solid-state imaging device 2 with a color separation filter is converted into an image signal Converts the image signal obtained by the AD converter 3 into a digital image signal by the AD converter 3 and converts the digital image signal obtained by the AD converter by the image signal processing circuit 4 into a luminance signal and a color difference signal . 1C, the arrangement of the color separation filters attached to the solid-state image pickup device 2 repeats the pattern of 1 pixel in the vertical direction and 4 pixels in the horizontal direction. Two pixels out of four pixels constituted of a full-color transmissive filter, a cyan transmissive filter, a full-color transmissive filter and a yellow transmissive filter have the entire color transmissive filter and the other two pixels constitute a cyan transmissive filter and a yellow transmissive filter . At this time, the image signals obtained by the solid-state image pickup device are total of four, that is, two total color information, one cyan color information and one yellow color information. The four signals are subjected to matrix calculation, Four RY color difference signals, and one BY color difference signal.
이하에 화상 신호 처리 회로에서의 휘도 신호, 색차 신호로의 변환 동작에 대해서 도 3b를 참조하면서 설명한다.Hereinafter, a conversion operation into a luminance signal and a color difference signal in the image signal processing circuit will be described with reference to FIG. 3B.
각 투과 필터를 빛의 원색 성분(적색, 녹색, 청색, 각각 R, G, B)로 나타내면, 통상은 W= R+G+B, Cy=G+B, Ye=R+G로 된다. 휘도 정보가 R, G, B 성분 모두로 이루어져 있고, 전체색 투과 필터가 있는 위치의 휘도 신호 Y에 대해서는 순수한 샘플링 정보로 되는 전체색 투과 필터로부터의 신호만으로 만들어,R + G + B, Cy = G + B, and Ye = R + G, respectively, when the respective transmission filters are represented by the primary color components of light (red, green and blue, respectively R, G and B). The luminance signal Y is composed of all the R, G, and B components, and only the signal from the entire color transmission filter, which is pure sampling information, is used for the luminance signal Y at the position where the full-
로 근사된다. 여기서, a는 다이나믹 범위를 조정하기 위한 계수로 하고, h는 도 3b의 예에 있어서는 항상 우수로 된다.. Here, a is a coefficient for adjusting the dynamic range, and h is always excellent in the example of Fig. 3B.
또, 전체색 투과 필터가 없는 위치의 휘도 신호 Y에 대해서는 주변 위치의 정보도 이용해서 작성하고, 간단한 작성 방법으로서는The luminance signal Y at the position where the entire color transmission filter is absent is created by using the information of the peripheral position,
로 근사된다. 여기서, a는 다이나믹 범위를 조정하기 위한 계수로 하고, h는 도 3b의 예에 있어서는 항상 기수로 된다.. Here, a is a coefficient for adjusting the dynamic range, and h is always the radix in the example of Fig. 3B.
또는, 순수한 샘플링 정보인 해당 위치의 색 정보를 활용해서, 시안색 필터가 있는 위치의 휘도 신호 Y이면, Cy가 휘도 신호 성분 중의 R성분이 없기 때문에 주변 화소로부터 보간하고,Alternatively, if the luminance signal Y at the position of the cyan filter is Cy utilizing the color information of the corresponding position, which is pure sampling information, since Cy has no R component in the luminance signal component,
로 근사되며, 황색 필터가 있는 위치의 휘도 신호 Y이면, Ye가 휘도 신호 성분 중의 B성분이 없기 때문에 주변 화소로부터 보간하여,And Ye is a luminance signal Y at a position where the yellow filter is present, since Ye does not have a B component in the luminance signal component,
로 근사되어도 좋다. 여기서, b, c는 다이나믹 범위를 조정하기 위한 계수로 하고, mod를 정수의 제산의 잉여만을 추출하는 계산이라고 하면, 시안색 필터가 있는 위치의 h는 (h mod 4)=1로 되고, 황색 필터가 있는 위치의 h는 (h mod 4)=3으로 된다.. Here, supposing that b and c are coefficients for adjusting the dynamic range, and mod is a calculation for extracting only a remainder of division of an integer, h (h mod 4) = 1 at a position where the cyan filter is located is 1, H at the position of the filter becomes (h mod 4) = 3.
Cy 화소 및 Ye 화소에서 상기 휘도 신호 Y를 구할 때에 필요한 R 및 B성분은 주변 화소의 정보를 이용한 보간에 의해 작성하고 있고, 따라서, 상기 휘도 신호 Y는 고체 촬상 소자에 의한 순수한 샘플링 정보로부터 구한 것으로는 되지 않는다. 그러나, Cy 화소에 대해서는 G+B 성분이, Ye화소에 대해서는 R+G 성분이 순수한 샘플링 정보로서 남아 있고, 보간되는 R 및 B성분은 휘도 신호 Y 중에서 최대 3분의 1로서 영향이 적어 높은 해상도를 유지한 채로의 휘도 신호 Y로 된다.The R and B components required for obtaining the luminance signal Y in the Cy pixel and the Ye pixel are created by interpolation using the information of the peripheral pixels and therefore the luminance signal Y is obtained from the pure sampling information by the solid- . However, the G + B component remains for the Cy pixel and the R + G component for the Ye pixel remain pure sampling information, and the R and B components to be interpolated remain at most one third of the luminance signal Y, The luminance signal Y is maintained.
또, 색차 신호(R-Y, B-Y)에 대해서는 휘도 신호 4개에 대해서 각 1개의 정보를 추출하고, 휘도 신호의 세로 1화소, 가로 4화소를 1개의 패턴으로 하며, 간단한 계산 방법으로서는 우선 R, G, B로 변환한다.As for the color-difference signals RY and BY, one information is extracted for each of the four luminance signals, and one vertical pixel and four horizontal pixels of the luminance signal are used as one pattern. As a simple calculation method, R, G , And B, respectively.
색차 신호 변환용의 R, B 성분은The R and B components for color-difference signal conversion are
로 한다. 또 G는. Also,
로 한다. 이 RGB로부터 색차 신호는 근사적으로. From this RGB, the color difference signals are approximated
로 근사된다. 여기서, a, b, c는 다이나믹 범위를 조정하기 위한 계수로 한다.. Here, a, b, and c are coefficients for adjusting the dynamic range.
이렇게 해서 얻어진 1쌍의 색차 신호는 인접하는 다른 색차 신호에 대해서 고체 촬상 소자의 출력을 중복해서 변환하고 있지 않기 때문에 색 해상감은 향상한다.Since the pair of color difference signals thus obtained do not overlap and convert the output of the solid-state image pickup element to adjacent color difference signals, the color resolution is improved.
이상의 연산을 실행함으로써, 도 3b에 도시한 바와 같이, 세로 1화소, 가로 4화소의 4개의 휘도 신호 Y에 대해 2종류의 색차 신호 R-Y, B-Y 각 1개가 얻어지게 되고, 도 3b에 도시한 4:1:1 형식의 기기로의 입력 신호로서 적합한 형태의 것이 얻어지게 된다.3B, two kinds of color difference signals RY and BY are obtained for four luminance signals Y of four pixels in the vertical direction and four pixels in the horizontal direction, : An input signal to a 1: 1 type device is obtained in a suitable form.
또한, 상기한 것에 부가해서, 또 전체색 투과 필터의 투과율을 R에 대해서는 0.3, B에 대해서는 0.59, G에 대해서는 0.11의 비율로 설정함으로써, 상기 전체색 투과 필터의 투과율의 비는 휘도 신호 Y의 원색 혼합비와 동등한 것이므로, 순수한 휘도 신호가 얻어져 해상감을 더욱 향상시킬 수 있다. 이것에 대해서는 실시예 1과 매트릭스는 다르지만, 마찬가지의 방법으로 계산할 수 있다.In addition to the above, the transmittance ratio of the whole color transmission filter is set to 0.3, R is 0.59, and G is 0.11, Is equal to the primary color mixing ratio, a pure luminance signal can be obtained and the resolution can be further improved. This is different from the matrix in Example 1, but can be calculated by the same method.
또, 상기 실시예 1과 마찬가지로, 색차 신호 변환 시에 색 해상감은 떨어지지만, 주변 화소의 이용 방법에 따라 어떤 위치에도 R, G, B 성분을 배치할 수 있기 때문에, 4:1:1 출력뿐만 아니라 4:4:4, 4:2:2, 4:2:0 출력을 실행하는 것도 가능하다.As in the first embodiment, the R, G, and B components can be arranged at any position according to the method of using the peripheral pixels although the color resolution is reduced at the time of color-difference signal conversion. It is also possible to execute 4: 4: 4, 4: 2: 2, 4: 2: 0 output.
또한, 전체색 필터의 배치는 도 1c, 도 3a의 배치에 대해서 도 5a와 같이 세로 1화소, 가로 4화소의 반복 패턴의 종방향의 반복 시에 투과 필터를 1화소씩 어긋나게 해서 전체색 투과 필터를 체크무늬 형상으로 배치함으로써, 휘도 신호의 경사의 해상도를 향상시킬 수 있다. 또, 도 5b에 도시한 바와 같이 도 1c의 전체색 투과 필터와 전체색 이외의 투과 필터의 배치를 교체하고, 또 시안색과 황색의 투과 필터를 교체한 8화소의 패턴의 반복 배치로 함으로써, 세로 1화소, 가로 4화소의 4:1:1 방식, 세로 2화소, 가로 2화소의 4:2:0 방식의 양쪽에 대응하는 색 해상감이 있는 필터 배치를 실현할 수 있다.As shown in FIG. 5A, the arrangement of the entire color filters is such that the transmission filter is displaced by one pixel at the time of repeating the longitudinal direction of the repeating pattern of vertical 1 pixel and horizontal 4 pixels, It is possible to improve the resolution of the inclination of the luminance signal. In addition, as shown in Fig. 5B, by arranging the arrangement of the entire color transmission filter and the transmission filters other than the entire color in Fig. 1C and replacing the cyan and yellow transmission filters, It is possible to realize a filter arrangement having a color resolution corresponding to both the 4: 1: 1 system of vertical 1 pixel and horizontal 4 pixel, the vertical 2 pixel, and the horizontal 2 pixel 4: 2: 0 system.
또, 실시예 2에 있어서의 설명에서는 세로 1화소, 가로 4화소의 색 분리 필터를 좌측부터 순서대로 전체색 투과 필터, 시안색 투과 필터, 전체색 투과 필터, 황색 투과 필터로 구성한 것을 예로 설명했지만, 그 밖에 필터의 투과색은 그대로이고 배열 방법을 바꾼 구성, 또는 전체색 투과 필터 2개는 그대로이고 시안색과 황색의 투과 필터의 투과색을 시안색과 마젠타색이나 마젠타색과 황색, 또는 적색과 청색이나 적색과 녹색이나 녹색과 청색으로 바꾼 구성에 대해서도 마찬가지로 실시 가능하다. 투과 필터의 반복 패턴에 있어서, 4화소를 반복 패턴으로 해서 전체색 투과 필터 2개와 전체색이 아닌 색을 투과하는 필터 2종류 각 1개를 배치하면, 동일한 효과가 얻어진다. 또, 세로 1화소, 가로 4화소의 색 분리 필터의 패턴을 종방향으로 4패턴 준비하고, 그 4패턴의 색 분리 필터의 배열 방법이 각기 다른 구성에 대해서도 마찬가지로 실시 가능하다.In the description of the second embodiment, an example has been described in which the color separation filters of vertical 1 pixel and horizontal 4 pixel are constituted by a full-color transmission filter, a cyan transmission filter, a full-color transmission filter and a yellow transmission filter in order from the left , Or a configuration in which the transmission color of the filter is maintained as it is and the arrangement method is changed, or the configuration in which the two color filters are intact and the transmission colors of the cyan and yellow transmission filters are cyan and magenta, magenta and yellow, And blue, red, green, green, and blue. In the repetitive pattern of the transmissive filter, the same effect can be obtained by arranging, as a repetition pattern, four pixels as two repeating patterns and two filters for transmitting two colors as a whole and a non-entire color. Four patterns of color separation filters of vertical one pixel and four horizontal pixels are prepared in the longitudinal direction, and the arrangement method of the four color separation filters is also applicable to the different configurations.
(실시예 3)(Example 3)
이하, 본 발명의 청구항 제 4 항, 제 5 항, 제 9 항, 제 12 항에 대응하는 실시예 3에 대해서 도 6, 도 7을 이용해서 설명한다.Hereinafter, a third embodiment corresponding to claims 4, 5, 9, and 12 of the present invention will be described with reference to Figs. 6 and 7. Fig.
도 6a에 있어서, 참조부호 1은 광학계로서 피사체상을 고체 촬상 소자형상으로 결상시키는 작용을 실행하는 것이고, 렌즈 등으로 구성되어 있다. 참조부호 2는 색 분리 필터 부착 고체 촬상 소자로서, 결상된 피사체상(광학상)을 화상 신호(전기 신호)로 변화시키는 작용을 실행한다. 참조부호 3은 AD 변환기로서, 고체 촬상 소자(2)에서 얻어지는 화상 신호를 디지털 화상 신호로 변환한다. 참조부호 5는 기억 회로로서, AD 변환기(3)에 의해 변환된 디지털 화상 신호를 1화면분 기억한다. 참조부호 6은 상관도 산출 회로로서, 기억 회로(5)에 축적된 디지털 화상 신호의 임의의 화소에 있어서의 주변 화소와의 상관도를 산출한다. 참조부호 7은 보간 처리 회로로서, 상관도 산출 회로(6)에서 산출된 상관도에 따라서 보간 처리를 실행하고, 휘도 신호와 색차 신호를 출력한다. 이들 광학계(1), 색 분리 필터 부착 고체 촬상 소자(2), AD 변환기(3), 기억 회로(5), 상관도 산출 회로(6), 보간 처리 회로(7)의 각 회로에 의해 휘도 신호와 색차 신호를 만들어 낸다.In Fig. 6A, reference numeral 1 denotes an optical system that performs an action of imaging a subject image in the form of a solid-state image sensor, and is constituted by a lens or the like. Reference numeral 2 denotes a solid-state image pickup device with a color separation filter, which performs an action of changing an image of a subject (optical image) that has been formed into an image signal (electric signal). Reference numeral 3 denotes an AD converter which converts an image signal obtained by the solid-state image pickup device 2 into a digital image signal. Reference numeral 5 denotes a storage circuit which stores the digital image signal converted by the AD converter 3 for one screen. Reference numeral 6 denotes a correlation degree calculating circuit which calculates a degree of correlation with peripheral pixels in arbitrary pixels of the digital image signal stored in the storage circuit 5. [ Reference numeral 7 denotes an interpolation processing circuit which performs interpolation processing in accordance with the degree of correlation calculated by the correlation degree calculating circuit 6 and outputs a luminance signal and a color difference signal. The respective circuits of the optical system 1, the solid-state image pickup device 2 with the color separation filter, the AD converter 3, the storage circuit 5, the correlation degree calculating circuit 6 and the interpolation processing circuit 7, And color difference signals.
도 6b에 고체 촬상 소자(2) 상의 색 분리 필터의 구성을 도시한다. 종횡으로 인접하는 4화소를 1개의 배열 단위로 하고, 필터의 배치는, 상부 2화소는 좌측부터 순서대로 전체색 투과 필터, 시안색 투과 필터로, 하부 2화소는 좌측부터 순서대로 황색 투과 필터, 전체색 투과 필터로 구성되어 있다. 이 배열 단위가 종횡 방향으로 연속해서 반복 배치되어 있다.6B shows a configuration of the color separation filter on the solid-state image pickup device 2. In Fig. Four pixels vertically and horizontally adjacent to each other are arranged as one array unit and the arrangement of the filters is such that the upper two pixels are arranged in order from the left side as the whole color transmission filter and the cyan transmission filter and the lower two pixels as yellow transmission filter, It is composed of an entire color transmission filter. These array units are repeatedly arranged in the vertical and horizontal directions continuously.
기억 회로(도시하지 않음)에 취입된 W화소, Cy화소, Ye화소를 RGB 성분으로 나타내면 W=(R+G+B)/3, Cy=(G+B)/3, Ye=(R+B)/3으로 표현할 수 있고, W화소를 W≒Y라고 하면 W화소의 출력 신호를 그대로 휘도 신호로 표현할 수 있다. Cy화소, 및 Ye화소에 대해서는 보간 연산에 의해 R성분과 B성분을 구하고, 각각 Cy화소, Ye화소에 부가함으로써 휘도 신호를 표현할 수 있게 된다. 보간에는 주변 화소의 신호를 이용하지만, 보간에 이용하는 주변 화소는 상관도 산출 회로(6)에 의해 피보간 화소와의 상관도를 산출해서 결정한다. 우선 먼저, 상관도의 산출 방법에 대해서 설명한다.(R + G + B) / 3, Cy = (G + B) / 3, and Ye = (R + B) / 3, and let W? Y be the W pixel, the output signal of the W pixel can be expressed as a luminance signal as it is. The Cy pixel, and the Ye pixel are obtained by an interpolation operation, and the R component and the B component are obtained and added to the Cy pixel and the Ye pixel, respectively, so that the luminance signal can be expressed. The signals of the peripheral pixels are used for the interpolation, but the peripheral pixels used for the interpolation are determined by calculating the correlation with the interpolated pixel by the correlation calculating circuit 6. First, a method of calculating the degree of correlation will be described.
도 7은 시안색 화소 Cyn을 피보간 화소로 한 경우에 주변 화소의 배치를 도시한 도면으로서, ●표와 ○표는 이 화소 Cyn의 보간 처리에서 필요로 하지 않는 Ye화소와 W화소이다. 도 7에 도시한 ①-①′방향인 종방향의 상관도를 Vc, ②-②′방향인 횡방향의 상관도를 Hc로 하고, 각각 다음식을 이용해서 산출한다.Fig. 7 is a diagram showing the arrangement of peripheral pixels when the cyan pixel Cyn is the interpolated pixel. The? And? Tables are Ye pixels and W pixels which are not required in interpolation processing of the pixel Cyn. Vc is the correlation in the longitudinal direction in the direction of? -①? Shown in FIG. 7, and Hc is the correlation in the transverse direction in the direction of? -2? '.
이 결과를 이용해서 다음 조건식에 의해 상관 방향을 결정한다.Using this result, the correlation direction is determined by the following conditional expression.
또한, Th는 임계값으로서 특정 정수이다. 상관 방향은 수학식 3이 성립된 경우에는 종방향, 수학식 4가 성립된 경우에는 횡방향이라고 판단한다. 수학식 3, 수학식 4의 양쪽 모두 성립되지 않은 경우에는 상관 방향 없슴이라고 판단한다.Th is a certain integer as a threshold value. The correlation direction is determined to be the longitudinal direction when Equation (3) is established, and the lateral direction when Equation (4) is established. When both of the equations (3) and (4) are not satisfied, it is determined that there is no correlation direction.
다음에, 보간 처리에 대해서 설명한다.Next, the interpolation processing will be described.
상관 방향이 종방향이라고 판단된 경우에는 보간 처리에 이용하는 화소는 피보간 화소 Cyn에 대해서 종방향만의 주변 화소를 이용하고, 부족 성분 RCy를 다음식을 이용해서 산출한다.When it is determined that the direction of correlation is the longitudinal direction, the pixels used for the interpolation processing use peripheral pixels only in the longitudinal direction with respect to the interpolation pixel Cyn, and calculate the insufficient component RCy using the following equation.
횡방향이라고 판단된 경우에는 보간 처리에 이용하는 화소는 피보간 화소 Cyn에 대해서 횡방향만의 주변 화소를 이용하고, 부족 성분 RCy를 다음식을 이용해서 산출한다.In the case where it is judged to be the horizontal direction, the pixel used for the interpolation processing uses the peripheral pixels only in the transverse direction with respect to the interpolated pixel Cyn, and calculates the insufficient component RCy using the following equation.
또, 상관 방향 없슴이라고 판단된 경우에는 피보간 화소 Cyn에 대해서 횡방향 및 종방향 양쪽의 주변 화소를 이용하고, 부족 성분 RCy를 다음식을 이용해서 산출한다.If it is determined that there is no correlation direction, peripheral pixels on both the horizontal direction and the vertical direction are used for the interpolation pixel Cyn, and the insufficient component RCy is calculated using the following equation.
수학식 5∼수학식 7에 의해서 얻어진 부족 성분 RCy를 이용해서, 다음식에 의해 피보간 화소 Cyn의 W성분을 W′= Cyn+RCy로 구할 수 있다.The W component of the interpolated pixel Cyn can be obtained as W '= Cyn + RCy by using the insufficient component RCy obtained by the equations (5) to (7).
모든 피보간 화소 Cyn에 대해 마찬가지로 해서 상기한 조작에 의해 W′를 산출한다.Similarly for all the interpolated pixels Cyn, W 'is calculated by the above-described operation.
Ye 화소가 피보간 화소인 경우에는 수학식 1∼수학식 2의 수학식 중의 Cy를 Ye로 치환해서 상관도 산출을 실행할 수 있고, 수학식 5∼수학식 7의 수학식 중의 우변의 Cy를 Ye로 치환해서 부족 성분 BYe를 구한다. 구해지는 부족 성분은 R성분이 아니라 B성분으로 바뀔 뿐이고, W′= Yen+BYe로 함으로써 Ye 화소의 W성분을 구할 수 있다. 모든 피보간 화소 Yen에 대해 마찬가지로 해서 상기한 조작을 실행한다.When the Ye pixel is a pixel to be interpolated, the degree of correlation Cy may be replaced with Ye in the equations (1) to (2) to calculate the degree of correlation. Cy of the right side in the equations (5) To obtain the deficient component BYe. The obtained underexposed component is changed to the B component instead of the R component, and the W component of the Ye pixel can be obtained by setting W '= Yen + BYe. The above-described operation is similarly performed for all interpolated pixels Yen.
이 보간 처리를 실시함으로써, Cy화소 및 Ye화소에서의 휘도 W′가 구해져 모든 휘도 신호를 얻을 수 있다. 이 방법에서는 W화소의 신호는 그대로 이용하고, Cy화소와 Ye화소에서는 각각 상관이 높은 주변 화소에 의해 보간하고 있으므로, 해상도의 저하를 저감할 수 있다.By performing this interpolation processing, the luminance W 'in Cy pixel and Ye pixel can be obtained to obtain all luminance signals. In this method, the signal of the W pixel is used as it is and the Cy pixel and the Ye pixel are interpolated by peripheral pixels having high correlation, respectively, so that the reduction in resolution can be reduced.
이상과 같이, 본 실시예 3에서는 피보간 화소와 그 주변에 있는 화소에 있어서의, 피보간 화소를 포함하는 종방향 및 횡방향의 상관도를 검출하고 보간을 실행하도록 했으므로, 고정밀도의 휘도 신호를 얻는 수 있어 해상도의 저하를 방지할 수 있다.As described above, in the third embodiment, since the interpolation is performed by detecting the correlation in the vertical direction and the horizontal direction including the interpolated pixel in the interpolated pixel and the surrounding pixels, It is possible to prevent degradation of resolution.
(실시예 4)(Example 4)
다음에, 본 발명의 청구항 제 6 항에 대응하는 실시예 4에 대해서 도 8을 이용해서 설명한다.Next, a fourth embodiment corresponding to claim 6 of the present invention will be described with reference to Fig.
본 실시예 4의 구성은 기본적으로 상기 실시예 3의 구성과 동일하며, 본 실시예 4에 있어서는 상관도 산출 회로(6)에서의 상관도 산출에 경사방향의 상관도도 산출하는 처리가 부가되고, 또한 보간 처리 회로(7)에 경사방향 상관 시의 보간 처리가 더 부가되어 있다.The configuration of the fourth embodiment is basically the same as that of the third embodiment. In the fourth embodiment, a process of calculating the degree of correlation in the oblique direction is also added to the calculation of the degree of correlation in the correlation degree calculating circuit 6 , And the interpolation processing circuit 7 is further subjected to interpolation processing in the oblique direction correlation.
이하, 우선, 상관도의 산출 방법에 대해서 설명한다.First, a calculation method of the degree of correlation will be described.
도 8은 시안색 화소 Cyn을 피보간 화소로 한 경우의 주변 화소의 배치를 도시한 도면으로서, ●표와 ○표는 이 화소 Cyn의 보간 처리에서 필요로 하지 않는 Ye화소와 W화소이다.Fig. 8 is a diagram showing the arrangement of neighboring pixels when the cyan pixel Cyn is the interpolated pixel. The? And? Tables are Ye pixels and W pixels which are not needed in interpolation processing of the pixel Cyn.
상기 실시예 3에 있어서는 도 7에 도시한 ①-①′방향과 ②-②′방향의 상관도만을 구했다. 여기서는 또 도 8에 도시한 ③-③′방향인 우하측 경사방향의 상관도를 Nr, ④-④′방향인 좌하측 경사방향의 상관도를 Nl로 하고, 각각 다음식을 이용해서 산출한다.In the third embodiment, only the correlation between the directions of (1) - (1) 'and (2 - 2)' shown in FIG. 7 is obtained. Here, Nr is the correlation in the right-side downward direction, which is the ③-③ 'direction shown in FIG. 8, and Nl is the left-side downward directional correlation in the ④-④' direction.
이 결과와 수학식 1∼수학식 2에서 구한 Vc, Hc를 이용해서 다음 조건식에 의해 상관 방향을 결정한다.Using this result and Vc and Hc obtained from equations (1) to (2), the correlation direction is determined by the following conditional expression.
또한, Th는 임계값으로서 특정 정수, min은 괄호 안의 각 요소 내의 최소값을 취하는 함수이다. 상관 방향은 수학식 10이 성립된 경우에는 종방향, 수학식 11이 성립한 경우에는 횡방향, 수학식 12가 성립된 경우에는 우하측 경사방향, 수학식 13이 성립된 경우에는 좌하측 경사방향이라고 판단한다. 수학식 10∼수학식 13 중의 어느 것도 성립하지 않는 경우에는 상관 방향 없슴이라고 판단한다.Th is a specific integer as a threshold value, and min is a function that takes a minimum value in each element in parentheses. The correlation direction is a vertical direction when Equation (10) is established, a horizontal direction when Equation (11) is established, a rightward inclination direction when Equation (12) is satisfied, . When none of the expressions (10) to (13) is satisfied, it is determined that there is no correlation direction.
다음에, 보간 처리에 대해서 설명한다.Next, the interpolation processing will be described.
상기 실시예 3에서는 상관 방향이 종횡이라고 판단된 경우와 상관 방향 없슴이라고 판단된 경우의 보간 처리에 대해 설명했지만, 여기서는 또 상관 방향이 경사방향이라고 판단된 경우의 처리가 더 추가된다.In the third embodiment, interpolation processing in the case where it is determined that the correlation direction is vertical / horizontal and no correlation direction has been described.
상관 방향이 우하측 경사방향이라고 판단된 경우에는 피보간 화소 Cyn에 대해서 우하측 경사방향만의 주변 화소를 이용하고, 부족 성분 RCy를 다음식을 이용해서 산출한다.If it is determined that the correlation direction is the right-downward slope direction, peripheral pixels only in the right-downward slope direction with respect to the interpolation pixel Cyn are used and the insufficient component RCy is calculated using the following equation.
좌하측 경사방향이라고 판단된 경우에는 피보간 화소 Cyn에 대해서 좌하측 경사방향만의 주변 화소를 이용하고, 부족 성분 RCy를 다음식을 이용해서 산출한다.If it is determined that the direction is the lower left side direction, peripheral pixels only in the lower left oblique direction with respect to the interpolation pixel Cyn are used, and the insufficient component RCy is calculated using the following equation.
이 이하는 상기 실시예 3과 마찬가지로 해서 보간 처리를 실행하여 모든 휘도 신호를 얻는다.The interpolation processing is performed in the same manner as in the third embodiment to obtain all the luminance signals.
본 실시예 4에서는 이와 같이 종횡뿐만 아니라 경사방향의 상관도 검출하여 보간을 실행함으로써, 종횡뿐만 아니라 경사방향의 해상도의 저하도 저감할 수 있다.In the fourth embodiment, not only the vertical and horizontal but also the decline in resolution in the oblique direction can be reduced by performing the interpolation by detecting the correlation in the oblique direction as well as in the vertical direction.
(실시예 5)(Example 5)
다음에, 본 발명의 청구항 제 7 항에 대응하는 실시예 5에 대해서 도 9를 이용해서 설명한다.Next, a fifth embodiment corresponding to claim 7 of the present invention will be described with reference to Fig.
본 실시예 5의 구성은 기본적으로 상기 실시예 3의 구성과 동일하며, 본 실시예 5에 있어서는 상관도 산출 회로(6)에서의 상관도 산출에 L자 방향의 상관도도 산출하는 처리가 부가되고, 보간 처리 회로(7)에 L자 방향 상관 시의 보간 처리가 더 부가되어 있다.The configuration of the fifth embodiment is basically the same as the configuration of the third embodiment. In the fifth embodiment, the process of calculating the degree of correlation in the L-letter direction in the calculation of the degree of correlation in the correlation degree calculating circuit 6 And the interpolation processing circuit 7 is further subjected to interpolation processing in the L-directional correlation.
우선, 상관도의 산출 방법에 대해서 설명한다.First, the calculation method of the degree of correlation will be described.
도 9는 시안색 화소 Cyn을 피보간 화소로 한 경우에 주변 화소의 배치를 도시한 도면으로서, ●표와 ○표는 이 화소 Cyn의 보간 처리에서 필요로 하지 않는 Ye화소와 W화소이다.Fig. 9 is a diagram showing the arrangement of neighboring pixels when the cyan pixel Cyn is the interpolated pixel. The? And? Tables are Ye pixels and W pixels that are not needed in interpolation processing of the pixel Cyn.
상기 실시예 3에서는 도 7에 도시한 ①-①′방향과 ②-②′방향의 상관도만을 구했다. 여기서는 또, 도 9에 도시한 ⑤-⑤′방향인 좌상측 L자 방향의 상관도를 Lul, ⑥-⑥′방향인 우상측 L자 방향의 상관도를 Lur, ⑦-⑦′방향인 좌하측 L자 방향의 상관도를 Ldl, ⑧-⑧′방향인 우하측 L자 방향의 상관도를 Ldr로 하고, 각각 다음식을 이용해서 산출한다.In the third embodiment, only the correlation between the directions (1) - (1) 'and (2 - 2)' shown in FIG. 7 is obtained. Here, it is assumed that the correlation in the left upper L-letter direction, which is the ⑤-⑤ 'direction shown in Fig. 9, is referred to as Lul, the correlation in the L letter direction on the upper right side in the ⑥-⑥' direction is referred to as Lur, Let Ldl be the correlation in the L direction, and Ldr be the correlation in the L direction on the lower right side in the direction of the [8] - [8] '.
이 결과와 수학식 1∼수학식 2에서 구한 Vc, Hc를 이용해서 다음 조건식에 의해 상관 방향을 결정한다.Using this result and Vc and Hc obtained from equations (1) to (2), the correlation direction is determined by the following conditional expression.
또한, Th는 임계값으로서 특정 정수, min은 괄호안의 각 요소 중 최소값을 취하는 함수이다. 상관 방향은 수학식 20이 성립한 경우에는 종방향, 수학식 21이 성립한 경우에는 횡방향, 수학식 22가 성립한 경우에는 좌상측 L자 방향, 수학식 23이 성립한 경우에는 우상측 L자 방향, 수학식 24가 성립한 경우에는 좌하측 L자 방향, 수학식 25가 성립한 경우에는 우하측 L자 방향이라고 판단한다. 수학식 20∼수학식 25 중의 어느 것도 성립하지 않는 경우에는 상관 방향 없슴이라고 판단한다.Th is a specific integer as a threshold value, and min is a function that takes a minimum value among the respective elements in parentheses. The correlation direction is a vertical direction when Equation (20) is established, a lateral direction when Equation (21) is established, an upper left L direction when Equation (22) is satisfied, Direction, the lower left L-letter direction when Equation (24) is established, and the lower right L direction when Equation (25) is established. If none of the expressions (20) to (25) is satisfied, it is determined that there is no correlation direction.
다음에, 보간 처리에 대해서 설명한다.Next, the interpolation processing will be described.
상기 실시예 3에서는 상관 방향이 종횡이라고 판단된 경우와 상관 방향 없슴이라고 판단된 경우의 보간 처리에 대해 설명했지만, 여기서는 상관 방향이 L 방향이라고 판단된 경우의 처리가 더 추가된다.In the third embodiment, interpolation processing in the case where it is determined that the correlation direction is vertical / horizontal and no correlation direction is described, but processing in the case where the correlation direction is determined as the L direction is further added.
상관 방향이 좌상측 L자 방향이라고 판단된 경우에는 피보간 화소 Cyn에 대해서 좌상측 L자 방향만의 주변 화소를 이용하고, 부족 성분 Rcy를 다음식을 이용해서 산출한다.When it is determined that the correlation direction is the upper left L direction, peripheral pixels only in the upper left L direction are used for the interpolation pixel Cyn, and the insufficient element Rcy is calculated using the following equation.
우상측 L자 방향이라고 판단된 경우에는 피보간 화소 Cyn에 대해서 우상측 L자 방향만의 주변 화소를 이용하고, 부족 성분 RCy를 다음식을 이용해서 산출한다.When it is determined that the direction is the L direction on the upper right side, peripheral pixels only in the L direction on the upper right side with respect to the interpolation pixel Cyn are used, and the insufficient component RCy is calculated using the following equation.
좌하측 L자 방향이라고 판단된 경우에는 피보간 화소 Cyn에 대해서 좌하측 L자 방향만의 주변 화소를 이용하고, 부족 성분 RCy를 다음식을 이용해서 산출한다.If it is determined that the direction is the lower left L direction, peripheral pixels only in the lower left L direction are used for the interpolation pixel Cyn, and the insufficient component RCy is calculated using the following equation.
우하측 L자 방향이라고 판단된 경우에는 피보간 화소 Cyn에 대해서 우하측 L자 방향만의 주변 화소를 이용하고 부족 성분 RCy를 다음식을 이용해서 산출한다.When it is judged that the direction is the L direction on the lower right side, peripheral pixels only in the lower right direction in the interpolation pixel Cyn are used and the insufficient component RCy is calculated using the following equation.
이 이하는 상기 실시예 3과 마찬가지로 해서 보간 처리를 실행하여 모든 휘도 신호를 얻는다.The interpolation processing is performed in the same manner as in the third embodiment to obtain all the luminance signals.
본 실시예 5에서는 이와 같이 종횡뿐만 아니라 L자 방향의 상관도 검출하여 보간을 실행함으로써, 종횡뿐만 아니라 L자 방향의 해상도의 저하도 저감할 수 있다.In the fifth embodiment, not only the vertical and horizontal but also the lowering of the resolution in the L direction can be reduced by performing the interpolation by detecting the correlation in the L direction as well as the vertical and horizontal directions.
(실시예 6)(Example 6)
다음에, 본 발명의 청구항 제 8 항에 대응하는 실시예 6에 대해서 설명한다.Next, a sixth embodiment corresponding to claim 8 of the present invention will be described.
본 실시예 6의 구성은 기본적으로 상기 실시예 3과 동일하며, 상관도 산출 회로(6)에서의 상관도 산출에 경사방향과 L자 방향의 상관도도 산출하는 처리가 부가되고, 보간 처리 회로(7)의 처리에 경사방향 상관 시와 L자 방향 상관 시의 보간 처리가 부가되어 있다.The configuration of the sixth embodiment is basically the same as that of the third embodiment, and a process of calculating the degree of correlation between the oblique direction and the L-direction is also added to the correlation degree calculation in the correlation degree calculating circuit 6, An interpolation process in the case of the oblique direction correlation and the L-direction correlation is added to the process of (7).
우선, 상관도의 산출 방법에 대해서 설명한다.First, the calculation method of the degree of correlation will be described.
상기 실시예 3에서는 도 7에 도시한 ①-①′방향과 ②-②′방향의 상관도 Vc, Hc 만을 구했다. 여기서는 또 도 8에 도시한 ③-③′방향인 우하측 경사방향의 상관도 Nr 및 ④-④′방향인 좌하측 경사방향의 상관도 Nl을 상기 실시예 4와 마찬가지로 구하고, 도 9에 도시한 ⑤-⑤′방향인 좌상측 L자 방향의 상관도 Lul, ⑥-⑥′방향인 우상측 L자 방향의 상관도 Lur, ⑦-⑦′방향인 좌하측 L자 방향의 상관도 Ldl, ⑧-⑧′방향인 우하측 L자 방향의 상관도 Ldr을 상기 실시예 5와 마찬가지로 구한다.In the third embodiment, only the correlations Vc and Hc in the directions of (1) - (1) 'and (2 - 2)' shown in FIG. 7 are obtained. Here, the correlation Nr in the right-side downward slope direction, which is the direction of? -③ 'shown in FIG. 8, and the left-side slope direction correlation degree Nl in the? -④' direction are obtained in the same manner as in the fourth embodiment, The correlation Lur of the upper left side L direction, the correlation Lur of the upper left side L direction, the correlation Lur of the upper left side L direction, the correlation Ld of the left lower side L direction which is the direction of the ⑦-⑦ ' 8 ", the correlation Ldr in the lower-right direction is obtained in the same manner as in the fifth embodiment.
이 결과를 이용해서 다음 조건식에 의해 상관 방향을 결정한다.Using this result, the correlation direction is determined by the following conditional expression.
또한, Th는 임계값으로서 특정 정수, min은 괄호안의 각 요소 중 최소값을 취하는 함수이다. 상관 방향은 수학식 30이 성립한 경우에는 종방향, 수학식 31이 성립한 경우에는 횡방향, 수학식 32가 성립한 경우에는 우하측 경사방향, 수학식 33이 성립한 경우에는 좌하측 경사방향, 수학식 34가 성립한 경우에는 좌상측 L자 방향, 수학식 35가 성립한 경우에는 우상측 L자 방향, 수학식 36이 성립한 경우에는 좌하측 L자 방향, 수학식 37이 성립한 경우에는 우하측 L자 방향이라고 판단한다. 수학식 30∼수학식 37 중의 어느 것도 성립하지 않는 경우에는 상관 방향 없슴이라고 판단한다.Th is a specific integer as a threshold value, and min is a function that takes a minimum value among the respective elements in parentheses. The correlation direction is a vertical direction when Equation (30) is established, a horizontal direction when Equation (31) is established, a rightwardly downward inclination direction when Equation (32) is satisfied, , When the equation (34) is satisfied, the left-side L-letter direction, when the equation (35) is true, the right-side L letter direction, when the equation (36) is true, It is determined that the direction is the rightward L-letter direction. If none of the expressions (30) to (37) is satisfied, it is determined that there is no correlation direction.
다음에, 보간 처리에 대해서 설명한다.Next, the interpolation processing will be described.
상기 실시예 3에서는 상관 방향이 종횡이라고 판단된 경우와 상관 방향 없슴이라고 판단된 경우의 보간 처리에 대해서 설명했지만, 여기서는 또 상관 방향이 경사방향 및 L자 방향이라고 판단된 경우의 처리가 더 추가된다.In the third embodiment, interpolation processing in the case where it is determined that the correlation direction is vertical / horizontal and no correlation direction has been described, but further processing in the case where it is determined that the correlation direction is the slant direction and the L direction is further added .
상관방향이 우하측 경사방향이라고 판단된 경우에는 피보간 화소 Cyn에 대해서 우하측 경사방향만의 주변 화소를 이용하고 부족 성분 RCy를 수학식 14를 이용해서 산출한다. 좌하측 경사방향이라고 판단된 경우에는 피보간 화소 Cyn에 대해서 좌하측 경사방향만의 주변 화소를 이용하고 부족 성분 RCy를 수학식 15를 이용해서 산출한다. 상관 방향이 좌상측 L자 방향이라고 판단된 경우에는 피보간 화소 Cyn에 대해서 좌상측 L자 방향만의 주변 화소를 이용하고 부족 성분 RCy를 수학식 26을 이용해서 산출한다. 우상측 L자 방향이라고 판단된 경우에는 피보간 화소 Cyn에 대해서 우상측 L자 방향만의 주변 화소를 이용하고 부족 성분 RCy를 수학식 27을 이용해서 산출한다. 좌하측 L자 방향이라고 판단된 경우에는 피보간 화소 Cyn에 대해서 좌하측 L자 방향만의 주변 화소를 이용하고 부족 성분 RCy를 수학식 28을 이용해서 산출한다. 우하측 L자 방향이라고 판단된 경우에는 피보간 화소 Cyn에 대해서 우하측 L자 방향만의 주변 화소를 이용하고, 부족 성분 RCy를 수학식 29를 이용해서 산출한다.When it is determined that the correlation direction is the right-side downward slope direction, peripheral pixels only in the downward slope direction with respect to the interpolated pixel Cyn are used and the under-scarce component RCy is calculated using the equation (14). If it is determined that the direction is the left-hand side downward direction, peripheral pixels only in the left-downward slanting direction are used for the interpolated pixel Cyn, and the insufficient element RCy is calculated using the equation (15). When it is determined that the correlation direction is the left upper L-direction, peripheral pixels only in the left upper L-direction are used for the interpolated pixel Cyn and the insufficient component RCy is calculated using the equation (26). When it is determined to be the L-direction on the upper right side, peripheral pixels only in the L-direction on the upper right side with respect to the interpolated pixel Cyn are used and the insufficient component RCy is calculated using the equation (27). If it is determined that the direction is L-lower left, the surrounding pixels only in the lower left L-direction are used for the interpolated pixel Cyn and the insufficient component RCy is calculated using the equation (28). If it is determined that the right side is the L-letter direction, peripheral pixels only in the right-side L-letter direction are used for the interpolated pixel Cyn, and the insufficient element RCy is calculated using the expression (29).
이 이하는 상기 실시예 3과 마찬가지로 해서 보간 처리를 실행하여 모든 휘도 신호를 얻는다.The interpolation processing is performed in the same manner as in the third embodiment to obtain all the luminance signals.
본 실시예 6에서는 이와 같이 종횡뿐만 아니라 경사방향 및 L자 방향의 상관도 검출하여 보간을 실행함으로써, 종횡뿐만 아니라 경사방향 및 L자 방향의 해상도의 저하도 저감할 수 있다.In the sixth embodiment, not only vertical and horizontal but also correlation in the oblique direction and the L-letter direction are detected and interpolation is performed, so that it is possible to reduce not only the vertical and horizontal but also the degradation of the resolution in the oblique direction and the L direction.
(실시예 7)(Example 7)
다음에, 본 발명의 청구항 제 10 항에 대응하는 실시예 7에 대해서 설명한다.Next, a seventh embodiment corresponding to claim 10 of the present invention will be described.
본 실시예 7의 구성은 상기 실시예 3∼6의 구성과 동일하며, 상관도 산출 회로(6)에서의 상관도 산출 방법이 그들과 다를 뿐이다. 상기 실시예 3∼6에 있어서 구한 종방향 상관도 Vc, 횡방향 상관도 Hc, 우하측 경사방향의 상관도 Nr, 좌하측 경사방향의 상관도 Nl, 좌상측 L자 방향의 상관도 Lul, 우상측 L자 방향의 상관도 Lur, 좌하측 L자 방향의 상관도 Ldl, 우하측 L자 방향의 상관도 Ldr에서는 동색 화소끼리 연산하였지만, 여기서는 인접하는 이색 화소와의 연산에 의해 이하에 나타내는 수학식을 이용해서 구한다.The configuration of the seventh embodiment is the same as that of the third to sixth embodiments, and the correlation degree calculating method in the correlation degree calculating circuit 6 is different from those of the third to sixth embodiments. The longitudinal correlation degree Vc, the lateral correlation degree Hc, the correlation degree Nr in the right downward slope direction, the correlation degree Nl in the left downward slope direction, the correlation degree Lul in the left upper-side direction, The correlation value Lur in the side L direction, the correlation degree Ldl in the left lower direction L direction, and the correlation degree Ldr in the right lower direction are used to calculate the same color pixels. Here, .
이 이하는 상관 방향의 판단과 보간 처리에 대해서는 상기 실시예 3∼6에 있어서의 그것과 동일하다.The determination of the correlation direction and the interpolation processing are the same as those in the third to sixth embodiments.
이와 같은 본 실시예 7에서는 인접하는 이색 화소와의 연산에 의해 상관도를 구할 수 있기 때문에, 상관도의 산출 정밀도를 향상시킬 수 있다.In this seventh embodiment, since the degree of correlation can be obtained by calculation with adjacent two different color pixels, the calculation accuracy of the degree of correlation can be improved.
(실시예 8)(Example 8)
다음에, 본 발명의 청구항 제 11 항에 대응하는 실시예 8에 대해서 설명한다.Next, an eighth embodiment corresponding to claim 11 of the present invention will be described.
본 실시예 8의 구성은 상기 실시예 3∼6의 구성과 동일하며, 보간 처리 회로(7)에 있어서의 보간 처리 방법이 그들과 다를 뿐이다.The configuration of the eighth embodiment is the same as that of the third to sixth embodiments, and the interpolation processing method in the interpolation processing circuit 7 is different from those of the third to sixth embodiments.
즉, 본 실시예 8은 상기 실시예 3∼6에 있어서 구한 피보간 화소 Cyn에 관해서 보간 처리에 있어서 해당 피보간 화소 Cyn의 휘도 W′를 구할 때에 Cyn 자신은 이용하지 않고, 주변 W화소만을 이용해서 다음식과 같이 해서 보간을 실행하는 것이다.That is, in the eighth embodiment, when calculating the luminance W 'of the interpolated pixel Cyn in the interpolation process with respect to the interpolated pixel Cyn obtained in the third to sixth embodiments, Cyn itself is not used but only the peripheral W pixel is used Then, interpolation is performed as shown in the following equation.
상관 방향이 종방향인 경우에는When the direction of correlation is the longitudinal direction
상관 방향이 횡방향인 경우에는When the direction of correlation is the lateral direction
상관 방향이 좌상측 L자 방향인 경우에는When the correlation direction is the upper left L direction
상관 방향이 좌하측 L자 방향인 경우에는When the correlation direction is the left lower L direction
상관 방향이 우상측 L자 방향의 경우에는When the correlation direction is the upper right L direction
상관 방향이 우하측 L자 방향의 경우에는When the correlation direction is the right-side L-letter direction
상관 방향이 상기한 것 이외인 경우에는If the direction of correlation is other than the above
로서 보간을 실행한다.And performs interpolation.
이와 같은 본 실시예 8에 있어서는 W만을 이용해서 휘도 신호를 산출하기 때문에, 보간 정밀도가 향상되고 휘도 불균일이 없는 고해상도의 화상을 얻을 수 있다.In the eighth embodiment, since the luminance signal is calculated using only W, interpolation accuracy is improved and a high-resolution image free from luminance unevenness can be obtained.
(실시예 9)(Example 9)
다음에, 본 발명의 청구항 제 13 항 및 청구항 제 14 항에 대응하는 실시예 9에 대해서 도 10, 도 11을 이용해서 설명한다.Next, a ninth embodiment corresponding to claim 13 and claim 14 of the present invention will be described with reference to Figs. 10 and 11. Fig.
본 실시예 9는 상술한 실시예에 있어서의 상관도 검출에 의해서 그 피보간 화소가, 특정 방향에 상관이 있다고 판정된 경우, 그 상관도에 의존하지 않고 그 피보간 화소의 위치의 색차 신호(R-Y, B-Y)에 1이하의 이득을 부가하도록 처리한 것이다.In the ninth embodiment, when it is determined by the correlation degree detection in the above-described embodiment that the interpolated pixel has correlation with a specific direction, the color difference signal at the position of the interpolated pixel RY, BY) of 1 or less.
도 10에 가장 상관이 강하다고 판정된 방향의 상관도와 색차 신호에 부가하는 이득의 관계를 도시한다. 휘도의 에지부에는 위색신호가 나타나기 쉽지만, 상기 1이하의 이득을 부가하는 처리를 보간 처리 회로(7)에서 실시하도록 함으로써 휘도의 에지부에 발생하는 위색을 억제할 수 있다. 또, 상관도 검출 회로(6)이 에지 검출 기능을 겸하게 할 수 있으므로, 별도로 휘도 에지 검출 회로를 부가하는 일 없이 위색 억제 처리를 실시할 수 있다.FIG. 10 shows the relationship between the correlation in the direction determined to be strongest in correlation and the gain added to the color difference signal. The upper color signal tends to appear at the edge of the luminance. However, by performing the process of adding the gain of 1 or less to the interpolation processing circuit 7, the false color occurring at the edge of the luminance can be suppressed. In addition, since the correlation detecting circuit 6 can also serve as an edge detecting function, the false color suppressing process can be performed without adding a luminance edge detecting circuit separately.
또, 가장 상관이 강하다고 판정된 방향의 상관도의 크기에 따라서 색차 신호에 부가하는 이득을 변화시키도록 해도 좋다. 도 11에 이 경우의 가장 상관이 강하다고 판정된 방향의 상관도와 색차 신호에 부가하는 이득의 관계의 일례를 도시한다. 단, 여기서는 상관이 강할 수록 상관도는 작아진다.It is also possible to change the gain added to the color difference signal according to the magnitude of the correlation degree in the direction in which the correlation is determined to be strongest. Fig. 11 shows an example of the relationship between the correlation in the direction determined to be strongest in this case and the gain added to the color-difference signal. However, the more the correlation is strong, the smaller the correlation.
도 11에서는 상관도에 대해서 임의의 폭 Th1을 부여하고, 이 폭마다 색차에 부가하는 이득을 서서히 작게 하고 있다. 일반적으로, 휘도의 단차가 큰 에지부일 수록 짙은 위색으로 된다. 즉, 상관이 없어질수록 짙은 위색이 나타날 가능성이 크기 때문에, 그 가능성에 따라서 색차 신호의 레벨을 낮출 수 있어 효율적으로 위색을 억제할 수 있다.In Fig. 11, an arbitrary width Th1 is given to the degree of correlation, and the gain added to the color difference for each width is gradually reduced. In general, the edge portion having a larger step difference in luminance becomes darker and wider. That is, since the dark color is more likely to appear as the correlation is lost, the level of the color difference signal can be lowered according to the possibility, and the false color can be effectively suppressed.
(실시예 10)(Example 10)
이하에, 본 발명의 청구항 제 15 항 및 청구항 제 16 항에 대응하는 실시예 10에 대해서 도 12, 도 13, 도 14, 도 15를 이용해서 설명한다. 또한, 상술한 실시예와 동일 구성에 대해서는 동일한 부호를 이용하고, 설명을 생략한다.Hereinafter, a tenth embodiment according to claims 15 and 16 will be described with reference to Figs. 12, 13, 14, and 15. Fig. The same components as those of the above-described embodiment are denoted by the same reference numerals, and a description thereof will be omitted.
도 12는 본 실시예 10에 의한 고체 컬러 촬상 장치의 구성을 도시한 도면으로서, 기본적으로는 도 6에 도시한 구성과 동일하며, 주파수 특성 조정 회로(10)가 도 6의 구성에 추가된 구성으로 되어 있다. 도 6의 보간 처리 회로(7)은 도 12에 있어서는 휘도 신호 보간 처리 회로(8)과 색차 신호 보간 처리 회로(9)로 분해해서 도시되어 있고, 색차 신호 보간 처리 회로(9)의 전단에 주파수 특성 조정 회로(10)이 삽입된 구성으로 되어 있다. 기억 회로(5)에 기억되어 있는 화상 신호는 그 주파수 특성이 주파수 특성 조정 회로(10)에 있어서 조정되어 색차 신호 보간 처리 회로(9)에 입력된다.6 is basically the same as the configuration shown in Fig. 6, and the frequency characteristic adjustment circuit 10 is a configuration added to the configuration of Fig. 6 Respectively. The interpolation processing circuit 7 in Fig. 6 is shown in Fig. 12 as being decomposed into a luminance signal interpolation processing circuit 8 and a color difference signal interpolation processing circuit 9, The characteristic adjusting circuit 10 is inserted. The frequency characteristics of the image signal stored in the memory circuit 5 are adjusted in the frequency characteristic adjustment circuit 10 and input to the color difference signal interpolation processing circuit 9. [
도 13은 주파수 특성 조정 회로(10)에 있어서의 주파수 대역을 저역 통과로 제한하고, 색 신호의 주파수 특성을 조정하는 동작을 설명하기 위한 모식도이다. 저역 통과 필터 처리를 행하는 주파수 특성 조정은 종방향, 횡방향, 종횡방향 및 경사방향으로 실행할 수 있다. 종방향으로 저역 통과 필터 처리를 하기 위해서는 피주파수 특성 조정 화소를 중심으로 해서 종방향의 동색 신호 2n+1점(n=1, 2···)을 이용해서 각 점에 필터의 특성을 결정하는 계수를 부가한 것의 평균을 산출한다. 예를 들어, 도 13의 Cy23을 피주파수 특성 조정 화소로 해서 종방향의 동색 신호 3점을 이용하여 저역 통과 필터 처리를 한 경우의 주파수 특성 조정 회로(10)의 출력 신호 Cy23′는 수학식 53과 같이 표현된다.13 is a schematic diagram for explaining the operation of limiting the frequency band in the frequency characteristic adjusting circuit 10 to low pass and adjusting the frequency characteristic of the color signal. The frequency characteristic adjustment for performing the low-pass filter processing can be performed in the longitudinal direction, the transverse direction, the longitudinal and transverse direction, and the oblique direction. In order to perform the low-pass filtering in the longitudinal direction, the characteristic of the filter is determined for each point by using the same color signal 2n + 1 points (n = 1, 2, ...) in the longitudinal direction with the frequency- The average of the coefficients added is calculated. For example, the output signal Cy23 'of the frequency characteristic adjustment circuit 10 in the case where Cy23 in FIG. 13 is the frequency characteristic adjustment pixel and the low-pass filter process is performed using three points of the same color signals in the longitudinal direction is expressed by Equation 53 .
마찬가지로, 횡방향으로 저역 통과 필터를 통과시키기 위해서는 피주파수 특성 조정 화소를 중심으로 해서 횡방향의 동색 신호 2n+1점(n=1, 2···)을 이용해서 각 점에 필터의 특성을 결정하는 계수를 부가한 것의 평균을 산출한다. 예를 들어, 도 13의 Cy23을 피주파수 특성 조정 화소로써 횡방향의 동색 신호 3점을 이용하여 계수를 모두 1로 하면, 저역 통과 필터 처리를 한 경우의 주파수 특성 조정 회로(10)의 출력 신호 Cy23′는 수학식 54와 같이 표현된다.Similarly, in order to pass the low-pass filter in the lateral direction, the characteristic of the filter is set at each point by using the same color signal 2n + 1 (n = 1, 2, ...) The average of the coefficients added with the determining coefficients is calculated. For example, when all the coefficients are set to 1 by using three points of the same color signals in the lateral direction as the frequency characteristic adjustment pixels, Cy23 in Fig. 13 is used as the output signal of the frequency characteristic adjustment circuit 10 in the case of performing the low- Cy23 'is expressed by Equation (54).
마찬가지로, 종횡 방향으로 저역 통과 필터를 통과시키기 위해서는 피주파수 특성 조정 화소를 중심으로 해서 종횡 방향의 동색 신호(2n+1)×(2m+1)점(n,m=1, 2···)을 이용해서 각 점에 필터의 특성을 결정하는 계수를 부가한 것의 평균을 산출한다. 예를 들어, 도 13의 Cy23을 피주파수 특성 조정 화소로써 종횡 방향의 동색 신호 9점을 이용해서 계수를 모두 1로 하면, 저역 통과 필터 처리를 한 신호는 수학식 55와 같이 표현된다.(2n + 1) x (2m + 1) points (n, m = 1, 2, ...) in the vertical and horizontal directions around the frequency-controlled characteristic adjustment pixel in order to pass the low- And a coefficient for determining the characteristic of the filter is added to each point. For example, if Cy23 in FIG. 13 is a frequency-tuned pixel and nine coefficients of the same color signal in the vertical and horizontal directions are used to set all the coefficients to 1, the signal subjected to the low-pass filter processing is expressed by Equation (55).
마찬가지로, 경사방향으로 저역 통과 필터 처리를 하기 위해서는 피주파수 특성 조정 화소를 중심으로 해서 종횡 십자 방향의 동색 성분 2n+2m+1점(n,m=1,2···)을 이용해서 각 점에 필터 특성을 결정하는 계수를 부가한 것의 평균을 산출한다. 예를 들어, 도 13의 Cy23을 피주파수 특성 조정 화소로써 종횡 십자 방향의 동색 신호 5점을 이용해서 계수를 모두 1로 하면, 저역 통과 필터 처리를 한 신호는 수학식 56과 같이 표현된다.Likewise, in order to perform the low-pass filtering process in the oblique direction, it is necessary to use the same color component 2n + 2m + 1 points (n, m = 1, 2, And a coefficient for determining the filter characteristic is added to the average value. For example, if all of the coefficients are set to 1 using five identical color signals in the crosswise direction as the frequency characteristic adjustment pixels of Cy23 in Fig. 13, the signal subjected to the low-pass filter processing is expressed as shown in Equation (56).
이 주파수 특성을 조정하는 조작은 색차 신호를 보간합성하기 위해 필요한 모든 색 신호에 대해서 실행한다.The operation for adjusting the frequency characteristic is performed for all the color signals necessary for interpolating and synthesizing the color difference signals.
예를 들어, Cy23을 피보간 화소로써 W22와 W24의 주변 화소를 이용하여 색차 신호를 합성하는 경우, 종횡 방향으로 저역 통과 필터 처리를 하기 위해서는 수학식 57, 수학식 58, 수학식 59와 같이 해서 보간에 필요한 색 신호를 산출한다.For example, in the case of synthesizing a color difference signal using the peripheral pixels of W22 and W24 as interpolation pixels of Cy23, in order to perform the low-pass filter processing in the vertical and horizontal directions, Equation 57, Equation 58, and Equation 59 And calculates a color signal necessary for interpolation.
도 12의 색차 신호 보간 처리 회로(9)에 있어서, 상기 Cy23′, W22′, W24′를 이용해서 다음식에 의해 R-Y 색차 신호를 출력한다.In the color difference signal interpolation processing circuit 9 of Fig. 12, the R-Y color difference signal is outputted by the following equation using Cy23 ', W22', W24 '.
여기서, A, B는 화이트 밸런스 등에 의해 결정되는 정수이다. Ye 위치에 있어서도 마찬가지의 위치관계로 상기한 주파수 특성 조정과 색차 신호 보간 처리를 실시함으로써 B-Y 색차 신호를 출력할 수 있다.Here, A and B are constants determined by white balance and the like. The B-Y color difference signal can be outputted by performing the frequency characteristic adjustment and the color difference signal interpolation process in the same positional relationship at the Ye position.
도 14에 색 신호의 주파수 특성 조정으로서 3점 평균을 이용했을 때의 진폭 특성(11)과 색차 신호의 보간 처리로서 직선 보간을 이용했을 때의 진폭 특성(12)를 합친 것을 실선으로 나타낸다. 횡축은 주파수로서 각각의 색 신호의 샘플링 주파수가 π로 표시되어 있다. 도 14에 도시한 바와 같이, 주파수 특성 조정을 실시한 색 신호를 이용해서 직선 보간하면, 도 15 중에 점선으로 도시한 색 신호의 π/2 부근에 포함되어 있는 반환 왜곡을 포함한 주파수 성분이 저감되어 보간된다.14 shows the sum of the amplitude characteristic 11 when the three-point average is used as the frequency characteristic adjustment of the color signal and the amplitude characteristic 12 when the linear interpolation is used as the interpolation process of the color difference signal. The horizontal axis represents the frequency, and the sampling frequency of each color signal is denoted by pi. As shown in Fig. 14, when linear interpolation is performed using the color signal subjected to frequency characteristic adjustment, the frequency components including the return distortion included in the vicinity of? / 2 of the color signal shown by the dotted line in Fig. 15 are reduced, do.
본 실시예 10에서는 이러한 구성에 의해 기억 회로(5)에 기억되어 있는 색 신호에 고주파 성분이 포함되어 있는 경우, 주파수 특성 조정 회로(10)에 의해 반환 왜곡을 포함한 주파수 성분이 저감되고, 색차 신호 보간 처리 회로(9)에 의해 이 주파수 특성 조정된 색 신호를 이용해서 색차 신호가 보간합성되므로, 위색신호가 저감된다.In the tenth embodiment, when the high-frequency component is included in the color signal stored in the storage circuit 5 by this configuration, the frequency component including the returning distortion is reduced by the frequency characteristic adjustment circuit 10, The color difference signals are interpolated and synthesized by the interpolation processing circuit 9 using the color signals whose frequency characteristics are adjusted, so that the above color signals are reduced.
(실시예 11)(Example 11)
이하에, 본 발명의 청구항 제 17 항 및 청구항 제 18 항에 따른 발명의 실시예에 대해서 도 16을 이용해서 설명한다. 또한, 상술한 실시예와 동일한 구성에 대해서는 동일한 부호를 이용하고, 설명을 생략한다.Hereinafter, an embodiment of the invention according to claim 17 and claim 18 of the present invention will be described with reference to Fig. The same reference numerals are used for the same components as those in the above-described embodiment, and a description thereof will be omitted.
도 16은 본 실시예 11에 의한 고체 컬러 촬상 장치의 구성을 도시한 도면으로서, 기본적으로는 도 12에 도시한 구성과 동일하며, 주파수 특성 조정 회로(10)이 상관도 검출 회로(6)의 출력에 의해 제어되도록 구성되어 있다.12 is basically the same as the configuration shown in Fig. 12, except that the frequency characteristic adjustment circuit 10 sets the frequency characteristic adjustment circuit 10 of the correlation degree detection circuit 6 And is controlled by the output.
이러한 구성에 따르면, 상관도 검출 회로(6)에 있어서 상관 방향 있슴이라고 판정된 경우, 피보간 화소의 색 신호는 주파수 특성 조정 회로(10)에 있어서 주파수 특성이 조정된다. 또, 주파수 특성이 조정된 상기 피보간 화소의 색 신호를 이용해서 색차 신호 보간 처리 회로(9)에 의해 색차 신호가 연산된다. 이 경우의 처리는 상기 실시예 10의 그것과 완전히 동일하다.According to such a configuration, when it is determined in the correlation detection circuit 6 that the correlation direction exists, the frequency characteristic adjustment circuit 10 adjusts the frequency characteristic of the color signal of the interpolated pixel. The color difference signal interpolation processing circuit 9 calculates a color difference signal using the color signal of the interpolated pixel whose frequency characteristics are adjusted. The processing in this case is completely the same as that in the tenth embodiment.
반대로, 상관도 검출 회로(6)에 있어서 상관 방향 없슴이라고 판정된 경우, 피보간 화소의 색 신호는 주파수 특성 조정 회로(10)에서는 아무런 처리도 실행되지 않고 그대로 색차 신호 보간 처리 회로(9)로 출력되고, 휘도 신호 보간 처리 회로(8)로부터의 휘도 신호를 이용해서 색차 신호가 보간 연산된다.Conversely, when it is determined in the correlation detection circuit 6 that there is no correlation direction, no processing is performed on the color signal of the interpolated pixel by the frequency characteristic adjustment circuit 10 and the color signal is directly output to the color difference signal interpolation processing circuit 9 And a color difference signal is interpolated using the luminance signal from the luminance signal interpolation processing circuit 8. [
이와 같이, 본 실시예 11에서는 고주파 성분을 포함한 상관 방향이 있는 색 신호는 주파수 특성 조정 회로(10)에 의해서 그 주파수 특성이 조정되고, 상기 실시예 10에서 설명한 바와 같이 위색신호의 발생이 저감된다. 한편, 상관 방향이 없는 색 신호에서는 원래 위색 성분을 포함하지 않기 때문에 주파수 특성을 조정할 필요가 없고, 색 신호의 주파수 성분은 주파수 특성 조정에 의해서 감쇠되지 않기 때문에 색의 재현성이 유지된다.As described above, in the eleventh embodiment, the frequency characteristic adjusting circuit 10 adjusts the frequency characteristic of the color signal having the correlation direction including the high-frequency component, and the generation of the color signal is reduced as described in the tenth embodiment . On the other hand, the color signal without the correlation direction does not contain the original false color component, so there is no need to adjust the frequency characteristic, and the frequency component of the color signal is not attenuated by the frequency characteristic adjustment, so that the reproducibility of the color is maintained.
이상과 같이, 본 발명에 따른 고체 컬러 촬상 장치는 고체 촬상 소자 표면의 색 분리 필터의 인접하는 종횡 4화소에서 휘도 정보 4개, 색 정보 2개를 취출함으로써, 휘도 해상도가 높고 색 해상도에 있어서도 열화를 적게 할 수 있으며, 화소간의 보간 처리를 실행하여 고해상도를 얻는 고체 컬러 촬상 장치의 신호 처리 방법으로서 유용하다.As described above, by extracting four pieces of luminance information and two pieces of color information from four vertically and horizontally adjacent pixels of the color separation filter on the surface of the solid-state image sensing device according to the present invention, the luminance resolution is high, And it is useful as a signal processing method of a solid-state color imaging apparatus that performs interpolation processing between pixels to obtain a high resolution.
Claims (18)
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP12567798 | 1998-05-08 | ||
| JP98-125677 | 1998-05-08 | ||
| JP99-67003 | 1999-03-12 | ||
| JP6700399 | 1999-03-12 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20010043406A true KR20010043406A (en) | 2001-05-25 |
| KR100398564B1 KR100398564B1 (en) | 2003-09-19 |
Family
ID=26408208
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR10-2000-7012440A KR100398564B1 (en) | 1998-05-08 | 1999-05-07 | Solid-state color imager |
Country Status (5)
| Country | Link |
|---|---|
| KR (1) | KR100398564B1 (en) |
| CN (1) | CN1171462C (en) |
| ID (1) | ID28202A (en) |
| TW (1) | TW420956B (en) |
| WO (1) | WO1999059345A1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100721338B1 (en) * | 2004-12-30 | 2007-05-28 | 엘지전자 주식회사 | Color interpolation algorithm of digital camera |
| US7356199B2 (en) | 2004-03-29 | 2008-04-08 | Curitel Communications, Inc. | Mobile communication terminal equipped with camera having image distortion compensation function |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3458080B2 (en) | 1999-10-19 | 2003-10-20 | 松下電器産業株式会社 | Color imaging device |
| EP1337115B1 (en) | 2000-09-07 | 2010-03-10 | Nikon Corporation | Image processor and colorimetric system converting method |
| EP2056607B1 (en) | 2001-03-05 | 2010-12-29 | Nikon Corporation | Image processing apparatus and image processing program |
| KR101081000B1 (en) * | 2003-10-23 | 2011-11-09 | 소니 가부시키가이샤 | Image processing apparatus and image processing method, and recording medium |
| CN1326088C (en) * | 2004-02-10 | 2007-07-11 | 华晶科技股份有限公司 | Interpolation method for complementing pixel color |
| CN100399834C (en) * | 2004-05-17 | 2008-07-02 | 华晶科技股份有限公司 | Method and apparatus for determining edge trend of an interested pixel |
| US7830430B2 (en) * | 2005-07-28 | 2010-11-09 | Eastman Kodak Company | Interpolation of panchromatic and color pixels |
| US8274715B2 (en) | 2005-07-28 | 2012-09-25 | Omnivision Technologies, Inc. | Processing color and panchromatic pixels |
| JP4389865B2 (en) * | 2005-11-17 | 2009-12-24 | ソニー株式会社 | SIGNAL PROCESSING DEVICE FOR SOLID-STATE IMAGING ELEMENT, SIGNAL PROCESSING METHOD, AND IMAGING DEVICE |
| JP5085140B2 (en) | 2007-01-05 | 2012-11-28 | 株式会社東芝 | Solid-state imaging device |
| JP4930109B2 (en) | 2007-03-06 | 2012-05-16 | ソニー株式会社 | Solid-state imaging device, imaging device |
| US8068173B2 (en) | 2009-09-30 | 2011-11-29 | Kabushiki Kaisha Toshiba | Color difference signal format conversion device and method |
| JP5507362B2 (en) | 2010-06-30 | 2014-05-28 | パナソニック株式会社 | Three-dimensional imaging device and light transmission plate |
| JP4665061B1 (en) * | 2010-09-08 | 2011-04-06 | 株式会社東芝 | Color difference signal format conversion apparatus and method |
| JPWO2017119134A1 (en) * | 2016-01-08 | 2018-11-01 | オリンパス株式会社 | Image processing apparatus, image processing method, and program |
| CN106162110B (en) * | 2016-07-29 | 2018-02-06 | 广东欧珀移动通信有限公司 | Image color processing method, device and terminal device |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0488782A (en) * | 1990-07-31 | 1992-03-23 | Canon Inc | Image pickup device |
| US5305096A (en) * | 1990-07-31 | 1994-04-19 | Canon Kabushiki Kaisha | Image signal processing apparatus using color filters and an image pick-up device providing, interlaced field signals |
| JP3663777B2 (en) * | 1996-10-02 | 2005-06-22 | 松下電器産業株式会社 | Color signal interpolation method |
-
1999
- 1999-05-07 TW TW088107438A patent/TW420956B/en not_active IP Right Cessation
- 1999-05-07 ID IDW20002297A patent/ID28202A/en unknown
- 1999-05-07 WO PCT/JP1999/002385 patent/WO1999059345A1/en active IP Right Grant
- 1999-05-07 CN CNB998059358A patent/CN1171462C/en not_active Expired - Fee Related
- 1999-05-07 KR KR10-2000-7012440A patent/KR100398564B1/en not_active IP Right Cessation
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7356199B2 (en) | 2004-03-29 | 2008-04-08 | Curitel Communications, Inc. | Mobile communication terminal equipped with camera having image distortion compensation function |
| KR100721338B1 (en) * | 2004-12-30 | 2007-05-28 | 엘지전자 주식회사 | Color interpolation algorithm of digital camera |
Also Published As
| Publication number | Publication date |
|---|---|
| KR100398564B1 (en) | 2003-09-19 |
| TW420956B (en) | 2001-02-01 |
| CN1171462C (en) | 2004-10-13 |
| CN1300505A (en) | 2001-06-20 |
| WO1999059345A1 (en) | 1999-11-18 |
| ID28202A (en) | 2001-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6697110B1 (en) | Color sample interpolation | |
| RU2556022C2 (en) | Colour image forming apparatus | |
| KR20010043406A (en) | Solid-state color imager | |
| US7577315B2 (en) | Method and apparatus for processing image data of a color filter array | |
| US7973831B2 (en) | Solid-state image sensor and imaging apparatus using the same | |
| KR100657772B1 (en) | Image processing apparatus, image processing method and camera | |
| US7400332B2 (en) | Hexagonal color pixel structure with white pixels | |
| US9013611B1 (en) | Method and device for generating a digital image based upon a selected set of chrominance groups | |
| US5712687A (en) | Chrominance resampling for color images | |
| US7760255B2 (en) | Method and apparatus for interpolation of interlaced CMYG color format | |
| US8144221B2 (en) | Image sensor apparatus and methods employing unit pixel groups with overlapping green spectral content | |
| EP2152010B1 (en) | Luminance signal generation apparatus, luminance signal generation method, and image capturing apparatus | |
| US7773157B2 (en) | Digital video signal processing apparatus and method for adaptive Y/C separation | |
| US6727945B1 (en) | Color signal interpolation | |
| KR100421348B1 (en) | Color image pickup apparatus | |
| US6900838B1 (en) | Method of processing image signal from solid-state imaging device, image signal processing apparatus, image signal generating apparatus and computer program product for image signal processing method | |
| US7305141B2 (en) | Contour filter for image sensor output signals | |
| US6747698B2 (en) | Image interpolating device | |
| US6400403B1 (en) | Solid-state imaging device having improved resolution without generating a pseudo signal | |
| JP3450374B2 (en) | Color imaging device | |
| KR101515957B1 (en) | Color interpolation device and color interpolation method | |
| JP3450366B2 (en) | Color imaging device | |
| JP3452712B2 (en) | Single color video camera | |
| JP2650062B2 (en) | Color imaging device | |
| JPH06133319A (en) | Color image pickup device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20070823 Year of fee payment: 5 |
|
| LAPS | Lapse due to unpaid annual fee |