KR102362805B1 - Filter Apparatus for Expanding Mobile Digital Image and Method Thereof - Google Patents
Filter Apparatus for Expanding Mobile Digital Image and Method Thereof Download PDFInfo
- Publication number
- KR102362805B1 KR102362805B1 KR1020200071393A KR20200071393A KR102362805B1 KR 102362805 B1 KR102362805 B1 KR 102362805B1 KR 1020200071393 A KR1020200071393 A KR 1020200071393A KR 20200071393 A KR20200071393 A KR 20200071393A KR 102362805 B1 KR102362805 B1 KR 102362805B1
- Authority
- KR
- South Korea
- Prior art keywords
- filter
- image
- equation
- resolution
- low
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000012549 training Methods 0.000 claims description 18
- 230000000694 effects Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 8
- 238000001914 filtration Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
모바일 디지털 이미지 확대 필터 장치 및 방법은 최소 제곱 회귀 모형(Least Squares Regression Model)을 이용하여 컬러 필터를 생성하고, 이 중 가장 복원 성능이 좋은 필터를 선택하여 영상 보간을 수행함으로써 다른 영상 필터와 비교하여 탁월한 성능을 제공하고, 시각적으로 최상의 평균 보간 성능을 수행할 수 있는 효과가 있다.Mobile digital image magnification filter device and method generate a color filter using a least squares regression model, select a filter with the best restoration performance among them, and perform image interpolation to compare it with other image filters. It provides excellent performance and has the effect of visually performing the best average interpolation performance.
Description
본 발명은 영상 필터 장치에 관한 것으로서, 더욱 상세하게는 최소 제곱 회귀 모형(Least Squares Regression Model)을 이용하여 컬러 필터를 생성하고, 이 중 가장 복원 성능이 좋은 필터를 선택하여 영상 보간을 수행하는 컬러 영상 복원을 위한 모바일 디지털 이미지 확대 필터 장치 및 방법에 관한 것이다.The present invention relates to an image filter apparatus, and more particularly, a color filter that generates a color filter using a least squares regression model, and selects a filter with the best restoration performance among them to perform image interpolation It relates to a mobile digital image magnification filter apparatus and method for image restoration.
카메라에는 가시광선 이미지 센서와 적외선 이미지 센서가 모두 장착되어 있다.The camera is equipped with both a visible light image sensor and an infrared image sensor.
이러한 두 가지 유형의 센서는 가시광선 이미지와 적외선 이미지를 각각 캡처할 수 있다.These two types of sensors can capture visible and infrared images respectively.
가시광선 이미지는 풍부한 텍스쳐(Texture) 정보가 포함되어 있으며, 가시광선 이미지 센서는 환경에 영향을 받기 쉽다.The visible light image contains rich texture information, and the visible light image sensor is easily affected by the environment.
예를 들어, 가시광선 이미지에서 특정 물체가 어둡거나 짙은 안개 상태에서 보이지 않을 수 있다.For example, in a visible light image, a certain object may not be visible in a dark or dense fog state.
반대로 적외선 이미지는 열 복사에 따라 캡처된다. 따라서, 모든 조건에서 24 시간 내 안정적으로 작동될 수 있다.Conversely, infrared images are captured by thermal radiation. Therefore, it can be operated stably within 24 hours under all conditions.
그러나 적외선 이미지에는 종종 텍스쳐 정보가 부족한 단점이 있다.However, infrared images often lack texture information.
현재까지도 CCTV 카메라와 같이, 정밀한 이미지 생성을 해야 하는 분야에서 해상도가 떨어져 객체 검출이 용이하지 않는 문제점이 있다. 이에 따라 다양한 분야(군사, 범인 검거의 경찰 등)에서 부족한 이미지가 생성되어 객체 검출을 하지 못하므로 문제 해결을 하지 못하는 문제점이 계속적으로 발생하고 있다.Even now, there is a problem in that object detection is not easy due to low resolution in fields requiring precise image generation, such as CCTV cameras. As a result, insufficient images are generated in various fields (military, criminal arrest police, etc.) and object detection is not possible, so the problem that the problem cannot be solved continues to occur.
이와 같은 문제점을 해결하기 위하여, 본 발명은 최소 제곱 회귀 모형(Least Squares Regression Model)을 이용하여 컬러 필터를 생성하고, 이 중 가장 복원 성능이 좋은 필터를 선택하여 영상 보간을 수행하는 모바일 디지털 이미지 확대 필터 장치 및 방법을 제공하는데 그 목적이 있다.In order to solve this problem, the present invention generates a color filter using a least squares regression model, and selects a filter with the best restoration performance among them to perform image interpolation. It is an object to provide a filter device and method.
상기 목적을 달성하기 위한 본 발명의 특징에 따른 모바일 디지털 이미지 확대 필터 장치는,A mobile digital image enlargement filter device according to a feature of the present invention for achieving the above object,
원본 영상인 저해상도 영상을 입력받는 영상 입력부;an image input unit for receiving a low-resolution image that is an original image;
상기 영상 입력부로부터 입력된 저해상도 영상을 최소 제곱 회귀 모형(Least Squares Regression Model)을 이용하여 하나 이상의 컬러 필터를 생성하는 필터 생성부;a filter generator for generating one or more color filters using a least squares regression model for the low-resolution image input from the image input unit;
상기 필터 생성부로부터 생성된 복수의 컬러 필터 중에서 복원 성능을 기초로 하나의 필터를 결정하는 필터 결정부; 및a filter determining unit that determines one filter based on restoration performance among the plurality of color filters generated by the filter generating unit; and
상기 저해상도 영상로부터 생성된 저해상도 컬러 필터 어레이(imCFA)를 상기 결정된 필터로 영상 보간하여 복원 영상을 생성하는 영상 복원부를 포함하는 것을 특징으로 한다.and an image restoration unit configured to generate a restored image by image interpolating the low-resolution color filter array (im CFA ) generated from the low-resolution image using the determined filter.
본 발명의 특징에 따른 모바일 디지털 이미지 확대 필터 방법은,Mobile digital image enlargement filter method according to a feature of the present invention,
영상 입력부는 원본 영상인 저해상도 영상을 입력받는 단계;The image input unit comprising: receiving a low-resolution image that is an original image;
필터 생성부는 상기 영상 입력부로부터 입력된 저해상도 영상을 최소 제곱 회귀 모형(Least Squares Regression Model)을 이용하여 하나 이상의 컬러 필터를 생성하는 단계;generating, by a filter generating unit, one or more color filters using a least squares regression model on the low-resolution image input from the image input unit;
필터 결정부는 상기 필터 생성부로부터 생성된 복수의 컬러 필터 중에서 복원 성능을 기초로 하나의 필터를 결정하는 단계; 및determining, by a filter determining unit, one filter based on restoration performance among a plurality of color filters generated by the filter generating unit; and
영상 복원부는 상기 저해상도 영상로부터 생성된 저해상도 컬러 필터 어레이(imCFA)를 상기 결정된 필터로 영상 보간하여 복원 영상을 생성하는 단계를 포함하는 것을 특징으로 한다.The image restoration unit may interpolate a low-resolution color filter array (im CFA ) generated from the low-resolution image using the determined filter to generate a restored image.
전술한 구성에 의하여, 본 발명은 다른 영상 필터와 비교하여 탁월한 성능을 제공하고, 시각적으로 최상의 평균 보간 성능을 수행할 수 있는 효과가 있다.According to the above-described configuration, the present invention provides superior performance compared to other image filters and has the effect of visually performing the best average interpolation performance.
도 1은 본 발명의 실시예에 따른 컬러 영상 복원을 위한 영상 복원 장치의 구성을 간략하게 나타낸 블록도이다.
도 2는 본 발명의 실시예에 따른 최소 제곱 회귀의 훈련 절차(A)와 디모자이킹 절차(B)를 나타낸 도면이다.
도 3은 본 발명의 실시예에 따른 4개의 훈련 필터()의 주파수 응답을 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 4개의 훈련 필터()의 필터 계수를 나타낸 도면이다.
도 5는 본 발명의 실시예에 따른 서로 다른 크기의 필터 간의 주파수 응답의 차이를 나타낸 도면이다.
도 6은 본 발명의 실시예에 따른 컬러 영상과 휘도 영상의 LC 데이터 시트를 나타낸 도면이다.
도 7은 본 발명의 실시예에 따른 7가지 보간 방법에 대한 PSNR 결과를 나타낸 도면이다.1 is a block diagram schematically illustrating the configuration of an image restoration apparatus for color image restoration according to an embodiment of the present invention.
2 is a diagram illustrating a training procedure (A) and demosaicing procedure (B) of least squares regression according to an embodiment of the present invention.
3 shows four training filters ( ) is a diagram showing the frequency response.
4 shows four training filters ( ) is a diagram showing the filter coefficients.
5 is a diagram illustrating a difference in frequency response between filters of different sizes according to an embodiment of the present invention.
6 is a diagram illustrating an LC data sheet of a color image and a luminance image according to an embodiment of the present invention.
7 is a diagram illustrating PSNR results for seven interpolation methods according to an embodiment of the present invention.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when a part "includes" a certain element, it means that other elements may be further included, rather than excluding other elements, unless otherwise stated.
도 1은 본 발명의 실시예에 따른 모바일 디지털 이미지 확대 필터 장치의 구성을 간략하게 나타낸 블록도이고, 도 2는 본 발명의 실시예에 따른 최소 제곱 회귀의 훈련 절차(A)와 디모자이킹 절차(B)를 나타낸 도면이다.1 is a block diagram schematically showing the configuration of a mobile digital image magnification filter device according to an embodiment of the present invention, and FIG. 2 is a least squares regression training procedure (A) and demosaicing procedure according to an embodiment of the present invention. It is a figure which shows (B).
본 발명의 실시예에 따른 모바일 디지털 이미지 확대 필터 장치(100)는 영상 입력부(110), 필터 생성부(120), 필터 결정부(130), 영상 복원부(140) 및 영상 출력부(150)를 포함한다.The mobile digital image
영상 입력부(110)는 원본 영상인 저해상도 영상을 입력받는다.The
필터 생성부(120)는 영상 입력부(110)로부터 입력된 저해상도 영상을 최소 제곱 회귀 모형(Least Squares Regression Model)을 이용하여 하나 이상의 컬러 필터를 생성한다.The
필터 결정부(130)는 필터 생성부(120)로부터 생성된 복수의 컬러 필터 중에서 최적의 복원 성능을 가진 필터를 결정한다.The filter determiner 130 determines a filter having an optimal restoration performance from among the plurality of color filters generated by the
영상 복원부(140)는 저해상도 영상로부터 생성된 저해상도 컬러 필터 어레이(imCFA)를 상기 결정된 필터에 적용하여 복원 영상을 생성한다.The
영상 출력부(150)는 영상 복원부(140)에서 생성된 복원 영상을 출력한다.The
최소 제곱 회귀 모형(Least Squares Regression Model)은 파라미터의 선형 결합을 포함할 때, 선형 모델이다.A Least Squares Regression Model is a linear model when it includes a linear combination of parameters.
최소 제곱 회귀 모형의 기본 형태는 수학식 1과 같다.The basic form of the least squares regression model is shown in
여기서, 는 정규 유클리드 규범(Normal Eucclidean norm)이고, 는 X의 전치라고 설명된다. 이러한 문제는 C가 독립 컬럼(Independent Column)이고, 가 뒤집을 수 없다라는 특이한 답을 가진다.here, is the Normal Eucclidean norm, is described as the transpose of X. This problem is that C is an independent column, has a peculiar answer that is irreversible.
d는 원본 영상이고, C는 구하고자 하는 필터 계수이며, x는 원본 영상을 강제로 저해상도로 만든 영상이다. 즉, x1, d1와, x2, d2 등을 다수 사용한다.d is the original image, C is the filter coefficient to be obtained, and x is the image that is forcibly reduced to the original image. That is, x1, d1, x2, d2, and the like are used a lot.
수학식 1은 저해상도 영상 x에 C를 내적했을 때 결과가 Cx가 되며, 이것이 d와 일치하도록 하는 것이 목표이다.In
수학식 1의 min의 의미는 Cx와 d를 최대한 같게 만들어 차분치 값을 0에 근접하게 만드는 것이다.The meaning of min in
본 발명은 저해상도 영상을 가지고 있다고 할 때, C를 내적해서 최적의 영상을 만들 수 있다.In the present invention, when a low-resolution image is obtained, an optimal image can be created by dot product C.
수학식 2는 Cx-d를 0에 근접하게 만든 후, 하기의 수학식 3과 같이 재배열할 수 있다. ▽은 Cx-d가 0인 아닌 경우 차분치를 의미한다. Cx-d를 0이 되는 것이 가장 이상적인 경우이다.Equation 2 can be rearranged as shown in Equation 3 below after making Cx-d close to 0. ▽ means a difference value when Cx-d is not 0. It is ideal for Cx-d to be zero.
이러한 정규식(수학식 3)은 가 뒤집을 수 없기 때문에 x에 대한 특이한 답을 갖는다. 그러면, 최소 제곱 추정치()가 수학식 4에 의해 계산된다는 것을 알 수 있다.This regular expression (Equation 3) is has a peculiar answer for x because is not reversible. Then, the least squares estimate ( ) is calculated by Equation (4).
영상 입력부(110)는 Column Matrix C와 d라는 저해상도 입력 영상을 입력받고, 필터 생성부(120), 필터 결정부(130), 영상 복원부(140)는 이러한 2개의 입력값을 이용하고, 영상 출력부(150)는 최소 제곱 추정치()이라는 고해상도 출력 영상을 만든다.The
Column Matrix C는 본 발명의 훈련(Training)을 통해 얻어지고, d는 사용자의 입력하는 입력 영상이다.Column Matrix C is obtained through training of the present invention, and d is an input image input by the user.
다시 말해, 최소 제곱 추정치()는 복원된 출력 결과 영상이다.In other words, the least squares estimate ( ) is the restored output image.
이러한 수학식 4는 디모자이킹(Demosaicking)에 적용할 수 있다. 최소 제곱 방법은 원본 영상과 복원 영상 간의 차이를 최소화하는 것이다.Equation 4 can be applied to demosaicing. The least squares method minimizes the difference between the original image and the reconstructed image.
필터 계수는 훈련 과정에서 최소 제곱 방법에 의해 계산된다.The filter coefficients are calculated by the least squares method during the training process.
3개의 영상인 원본 영상(imo), 저해상도 CFA 영상(imCFA), 복원 영상(imR)를 고려할 때, 저해상도 CFA 이미지가 다른 이미지들보다 작으며, 하나의 색상 채널만 있다.When considering three images, the original image (imo), the low-resolution CFA image (im CFA ), and the reconstructed image (im R ), the low-resolution CFA image is smaller than the other images, and there is only one color channel.
그런 다음, 각 픽셀은 세 가지 색상구성 요소 중 하나로부터 나오고, 이후에 결과 이미지(imR)는 하기의 수학식 5에 의해 계산된다.Then, each pixel comes from one of three color components, and thereafter, the resulting image (im R ) is calculated by
여기서, 는 훈련 과정에서 획득한 필터이다. 다음으로, 필터는 하기의 수학식 6에 의해 계산된다.here, is the filter obtained during the training process. Next, the filter is calculated by Equation 6 below.
필터 생성부(120)는 하기의 수학식 6의 원본 영상과 복원 영상 간의 차이를 계산하는 비용 함수를 이용하여 컬러 필터를 생성한다.The
여기서, h는 익명의 후보 필터이고, 매개 변수()는 imO와 imR 간의 차이를 계산하는 비용 함수이다.where h is the anonymous candidate filter, and the parameter ( ) is a cost function that computes the difference between im O and im R .
최소 제곱 추정치()는 수학식 6에 의해 생성되는 컬러 필터를 계산하는데 상기 최소 제곱 추정치를 이용할 수 있다.least squares estimate ( ) can use the least squares estimate to calculate the color filter generated by Equation (6).
본 발명은 5×5 훈련 필터, 7×7 훈련 필터, 9×9 훈련 필터, 11×11 훈련 필터에 의해 훈련 과정을 수행한다. 필터의 크기가 클수록 이미지 품질이 좋아지고, 복잡성이 높아진다.In the present invention, the training process is performed by a 5×5 training filter, a 7×7 training filter, a 9×9 training filter, and an 11×11 training filter. The larger the filter size, the better the image quality and the higher the complexity.
도 3의 (A), (B), (C), (D)는 4개의 훈련 필터()의 주파수 응답을 나타내고, 도 4는 4개의 훈련 필터()의 필터 계수를 나타낸다.3 (A), (B), (C), (D) are four training filters ( ), and Figure 4 shows the four training filters ( ) represents the filter coefficients.
도 5의 (A)는 의 주파수 응답을 보여주고, 도 5의 (B-D)는 와 사이에 주파수 응답 차이를 보여준다.Figure 5 (A) is shows the frequency response of, (BD) of Figure 5 is Wow shows the difference in frequency response between
도 3과 도 5를 표시하기 위하여 MATLAB 명령어 을 사용한다.MATLAB command to display Figures 3 and 5 use
는 2차원 공간 필터이고, F는 2차원에 해당하는 주파수 도메인 필터이다. 파라미터 r과 c는 각각 행 번호와 열 번호이다. is a two-dimensional spatial filter, and F is a frequency domain filter corresponding to two dimensions. Parameters r and c are row and column numbers, respectively.
예를 들어, r=5, c=5 일 때, 가 얻어진다. 일반적으로 공간 영역에서의 필터링은 주파수 영역에서의 필터링보다 적은 계산을 필요로 한다.For example, when r=5, c=5, is obtained In general, filtering in the spatial domain requires less computation than filtering in the frequency domain.
그러나 필터 크기가 증가로 곱셈과 덧셈의 증가로 인하여 주파수 영역에서의 필터링이 더 효율적이 된다.However, as the filter size increases, the filtering in the frequency domain becomes more efficient due to the increase in multiplication and addition.
주파수 응답은 자극에 반응하는 결과 이미지의 스펙트럼의 측정 가능한 용량이며, 시스템 활동을 설명하는데 사용된다.Frequency response is the measurable capacity of the spectrum of the resulting image in response to a stimulus and is used to describe system activity.
입력 영상과 비교하여 주파수 함수로서 영상의 크기와 위상의 두 가지 측정이 있다. 도 3의 (A)는 의 주파수 응답을 보여준다.There are two measures of image magnitude and phase as a function of frequency compared to the input image. 3 (A) is shows the frequency response of
모든 필터의 크기()는 (u,v)=(0,0)일 때 4.0이다. 이는 필터가 주어진 컬러 필터 어레이 이미지보다 4배 더 밝은 결과 이미지를 반환함을 의미한다.size of all filters ( ) is 4.0 when (u,v)=(0,0). This means that the filter returns the resulting image 4 times brighter than the given color filter array image.
그러나 (u,v)≠(0,0)인 경우, 각 필터에서 주파수 응답이 다르다. 예를 들어, 의 주파수 응답에는 의 주파수 응답보다 저주파 정보가 많은 반면, 고주파수 정보가 적게 포함되어 있다.However, when (u,v)≠(0,0), the frequency response of each filter is different. For example, The frequency response of While there is more low-frequency information than the frequency response of , it contains less high-frequency information.
또한, 의 주파수 응답에는 모든 훈련 필터들의 상세 내용이 있음을 알 수 있다. 이는 더 큰 필터를 사용한 훈련이 상세한 주파수 응답을 조사할 수 있음을 의미한다.Also, It can be seen that there are details of all training filters in the frequency response of . This means that training with larger filters can investigate detailed frequency responses.
실험은 다른 방법의 성능을 평가하기 위해서 수행하였다. 피크 신호 대 잡음비(peak signal-to-noise ratio, PSNR)는 보간 접근법의 성능을 평가하기 위해 중요성을 두고 이용한다.Experiments were performed to evaluate the performance of different methods. The peak signal-to-noise ratio (PSNR) is used with great importance to evaluate the performance of the interpolation approach.
각 접근법의 PSNR을 평가하기 위해 LC 데이터 세트에서 선택된 25개의 이미지를 사용한다. 이러한 영상은 도 6에 도시된 바와 같이, 720×540의 해상도를 갖는다.We use 25 images selected from the LC data set to evaluate the PSNR of each approach. As shown in FIG. 6 , this image has a resolution of 720×540.
도 6의 (A)는 컬러 영상을 나타내고, 도 9의 (B)는 휘도 영상을 나타낸다. 벤치마크 방법은 각 이미지의 휘도 채널에서 테스트된다.6A shows a color image, and FIG. 9B shows a luminance image. The benchmark method is tested on the luminance channel of each image.
서로 다른 필터 크기를 가진 본 발명은 NN(Nearest Neighbor), BI(Bilinear), BC(Bicubic) 방법과 비교한다.The present invention having different filter sizes is compared with NN (Nearest Neighbor), BI (Bilinear), and BC (Bicubic) methods.
PSNR 메트릭(Metric)은 복원 이미지의 품질을 계산할 수 있다. PSNR과 MSE 공식은 하기의 수학식 9와 수학식 10과 같다.The PSNR metric may calculate the quality of the reconstructed image. PSNR and MSE formulas are as shown in
여기서, 매개 변수 R과 C는 이미지의 행 및 열 크기이고, 매개 변수 P는 피크 강도값 255이다.Here, the parameters R and C are the row and column sizes of the image, and the parameter P is the peak intensity value of 255.
매개 변수 imO와 imR는 원본 이미지 및 복원 이미지이며, 매개 변수 r과 c는 행 및 열 방향의 픽셀 위치이다.The parameters im O and im R are the original and reconstructed images, and the parameters r and c are the pixel positions in the row and column directions.
다음의 표 1은 휘도 채널에 대한 다양한 방법의 PSNR 값을 보여준다.Table 1 below shows the PSNR values of various methods for the luminance channel.
표 1은 NN 방법, BI 방법, BC 방법, 5×5 사이즈 필터, 7×7 사이즈 필터, 9×9 사이즈 필터, 11×11 사이즈 필터의 PSNR 결과이다. 즉, 필터 사이즈가 크면 대부분 결과가 좋아짐을 나타낸다.Table 1 shows the PSNR results of the NN method, the BI method, the BC method, a 5x5 size filter, a 7x7 size filter, a 9x9 size filter, and an 11x11 size filter. In other words, the larger the filter size, the better the results.
그레이 채널만 조사한 이유는 YCbCr의 휘도 정보가 인간 시각 시스템에 가장 중요한 채널이기 때문이다. PSNR이 가장 높은 숫자는 굵게 표시된다.The reason why only the gray channel was investigated is that the luminance information of YCbCr is the most important channel for the human visual system. The number with the highest PSNR is bold.
표 1에서 두 번째로 높은 PSNR을 가진 숫자는 italic으로 표시된다. 표 1에서는 더 큰 필터가 더 나은 성능을 제공함을 알 수 있다. 물론, 일반적으로 필터 사이즈가 커지면 성능이 좋고, 계산량이 늘어나지만, 경우에 따라서 필터 사이즈가 작은데 오히려 성능이 좋은 경우도 있다.In Table 1, the number with the second highest PSNR is indicated by italic. Table 1 shows that larger filters provide better performance. Of course, in general, as the filter size increases, the performance is good and the amount of calculation is increased.
예를 들어, 의 평균 PSNR 결과는 29.8018로 가장 좋은 필터이고, 그 다음으로 29.7783을 가진 이다.For example, The average PSNR result of is 29.8018, which is the best filter, followed by 29.7783. to be.
최상의 필터와 나머지 필터의 차이는 이다.The difference between the best filter and the rest is to be.
필터는 대부분의 영상에서 최상의 성능을 보였지만, 일부 영상(#3, #6, #8, #16, #17, #19, #22, #23, #24)에서 이 더 나은 성능을 보여준다. The filter performed best on most images, but on some images (#3, #6, #8, #16, #17, #19, #22, #23, #24). This shows better performance.
는 모든 영상에 대해서 최상의 성능을 보였고, 평균 성능 측면에서 는 보다 성능이 뛰어났다. showed the best performance for all images, and in terms of average performance, Is performance was better.
본 발명의 영상 복원 방법은 테스트된 방법 중 최고의 평균 PSNR 성능을 보였으며, 도 7에서 7가지 보간 방법에 대한 PSNR 결과를 보여주었다.The image reconstruction method of the present invention showed the highest average PSNR performance among the tested methods, and FIG. 7 shows the PSNR results for 7 interpolation methods.
이상에서 본 발명의 실시예는 장치 및/또는 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하기 위한 프로그램, 그 프로그램이 기록된 기록 매체 등을 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.In the above, the embodiment of the present invention is not implemented only through an apparatus and/or method, and may be implemented through a program for realizing a function corresponding to the configuration of the embodiment of the present invention, a recording medium in which the program is recorded, etc. And, such an implementation can be easily implemented by an expert in the technical field to which the present invention belongs from the description of the above-described embodiment.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.Although the embodiments of the present invention have been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improvements by those skilled in the art using the basic concept of the present invention as defined in the following claims are also provided. is within the scope of the right.
100: 모바일 디지털 이미지 확대 필터 장치
110: 영상 입력부
120: 필터 생성부
130: 필터 결정부
140: 영상 복원부
150: 영상 출력부100: mobile digital image enlargement filter device
110: video input unit
120: filter generating unit
130: filter decision unit
140: image restoration unit
150: video output unit
Claims (9)
상기 영상 입력부로부터 입력된 저해상도 영상을 최소 제곱 회귀 모형(Least Squares Regression Model)을 이용하여 하나 이상의 컬러 필터를 생성하는 필터 생성부;
상기 필터 생성부로부터 생성된 복수의 컬러 필터 중에서 복원 성능을 기초로 하나의 필터를 결정하는 필터 결정부; 및
상기 저해상도 영상로부터 생성된 저해상도 컬러 필터 어레이(imCFA)를 상기 결정된 필터로 영상 보간하여 복원 영상을 생성하는 영상 복원부를 포함하며,
상기 필터 생성부는 하기의 수학식 1의 상기 원본 영상과 상기 복원 영상 간의 차이를 계산하는 비용 함수를 이용하여 상기 컬러 필터를 생성하는 것을 특징으로 하는 모바일 디지털 이미지 확대 필터 장치.
[수학식 1]
여기서, h는 익명의 후보 필터이고, 매개 변수()는 imO와 imR 간의 차이를 계산하는 비용 함수임.an image input unit for receiving a low-resolution image that is an original image;
a filter generator for generating one or more color filters using a least squares regression model for the low-resolution image input from the image input unit;
a filter determining unit that determines one filter based on restoration performance among the plurality of color filters generated by the filter generating unit; and
and an image restoration unit for generating a restored image by image interpolating the low-resolution color filter array (im CFA ) generated from the low-resolution image with the determined filter,
The filter generator generates the color filter by using a cost function for calculating a difference between the original image and the reconstructed image of Equation 1 below.
[Equation 1]
where h is the anonymous candidate filter, and the parameter ( ) is a cost function that computes the difference between im O and im R .
상기 영상 복원부는 상기 생성한 컬러 필터를 저해상도 컬러 필터 어레이(imCFA)에 적용하여 상기 복원 영상(imR)을 생성하는 것을 특징으로 하는 모바일 디지털 이미지 확대 필터 장치.
[수학식 2]
여기서, 는 훈련 과정에서 획득한 필터임.The method of claim 1,
The image restoration unit applies the generated color filter to a low-resolution color filter array (im CFA ) to generate the restored image (im R ).
[Equation 2]
here, is the filter obtained during the training process.
상기 필터 생성부는 필터 크기가 5×5 필터, 7×7 필터, 9×9 필터, 11×11 필터의 4개의 필터()를 생성하고, 상기 필터 결정부는 상기 크기가 다른 4개의 필터 중에서 피크 신호 대 잡음비(peak signal-to-noise ratio)가 가장 높은 필터를 상기 복원 영상을 생성하는 필터로 결정하는 것을 특징으로 하는 모바일 디지털 이미지 확대 필터 장치.According to claim 1,
The filter generating unit has a filter size of 4 filters (5×5 filter, 7×7 filter, 9×9 filter, 11×11 filter) ), and the filter determining unit determines a filter having the highest peak signal-to-noise ratio among the four filters having different sizes as the filter generating the reconstructed image. Digital image magnification filter device.
상기 필터 생성부는 최소 제곱 회귀 모형인 하기의 수학식 3과 수학식 4의 해를 계산하고, 하기의 수학식 4를 Cx-d를 0으로 근접하게 만들어 재배열하면 하기의 수학식 5와 같이 표현되고, 최소 제곱 추정치()를 하기의 수학식 6에 의해 계산하며, 하기의 수학식 7에 의해 생성되는 상기 컬러 필터를 계산하는데 상기 최소 제곱 추정치를 이용하는 것을 특징으로 하는 모바일 디지털 이미지 확대 필터 장치.
[수학식 3]
여기서, 는 정규 유클리드 규범(Normal Eucclidean norm), 는 X의 전치, d는 원본 영상, C는 구하고자 하는 필터 계수, x는 원본 영상을 강제로 저해상도로 만든 영상
[수학식 4]
여기서, ▽은 Cx-d가 0인 아닌 경우 차분치임.
[수학식 5]
[수학식 6]
[수학식 7]
여기서, h는 익명의 후보 필터이고, 매개 변수()는 imO와 imR 간의 차이를 계산하는 비용 함수임.The method of claim 1,
The filter generator calculates the solutions of Equations 3 and 4, which are least squares regression models, and rearranges Equation 4 to make Cx-d close to 0, and is expressed as Equation 5 below. , and the least squares estimate ( ) is calculated by the following equation (6), and the least squares estimate is used to calculate the color filter generated by the following equation (7).
[Equation 3]
here, is the Normal Eucclidean norm, is the transpose of X, d is the original image, C is the filter coefficient to find, and x is the image whose original image is forcibly reduced to a lower resolution.
[Equation 4]
Here, ▽ is a difference value when Cx-d is not 0.
[Equation 5]
[Equation 6]
[Equation 7]
where h is the anonymous candidate filter, and the parameter ( ) is a cost function that computes the difference between im O and im R .
필터 생성부는 상기 영상 입력부로부터 입력된 저해상도 영상을 최소 제곱 회귀 모형(Least Squares Regression Model)을 이용하여 하나 이상의 컬러 필터를 생성하는 단계;
필터 결정부는 상기 필터 생성부로부터 생성된 복수의 컬러 필터 중에서 복원 성능을 기초로 하나의 필터를 결정하는 단계; 및
영상 복원부는 상기 저해상도 영상로부터 생성된 저해상도 컬러 필터 어레이(imCFA)를 상기 결정된 필터로 영상 보간하여 복원 영상을 생성하는 단계를 포함하며,
상기 컬러 필터를 생성하는 단계는,
상기 필터 생성부는 하기의 수학식 1의 상기 원본 영상과 상기 복원 영상 간의 차이를 계산하는 비용 함수를 이용하여 상기 컬러 필터를 생성하는 단계를 더 포함하는 것을 특징으로 하는 모바일 디지털 이미지 확대 필터 방법.
[수학식 1]
여기서, h는 익명의 후보 필터이고, 매개 변수()는 imO와 imR 간의 차이를 계산하는 비용 함수임.The image input unit comprising: receiving a low-resolution image that is an original image;
generating, by a filter generating unit, one or more color filters using a least squares regression model on the low-resolution image input from the image input unit;
determining, by a filter determining unit, one filter based on restoration performance among a plurality of color filters generated by the filter generating unit; and
The image restoration unit comprises the step of generating a restored image by image interpolating the low-resolution color filter array (im CFA ) generated from the low-resolution image with the determined filter,
Creating the color filter comprises:
The filter generating unit generates the color filter by using a cost function for calculating a difference between the original image and the reconstructed image of Equation 1 below.
[Equation 1]
where h is the anonymous candidate filter, and the parameter ( ) is a cost function that computes the difference between im O and im R .
상기 복원 영상을 생성하는 단계는,
상기 복원 영상부는 상기 생성한 컬러 필터를 저해상도 컬러 필터 어레이(imCFA)에 적용하여 상기 복원 영상(imR)을 생성하는 것을 특징으로 하는 모바일 디지털 이미지 확대 필터 방법.
[수학식 2]
여기서, 는 훈련 과정에서 획득한 필터임.7. The method of claim 6,
The step of generating the restored image comprises:
The reconstructed image unit applies the generated color filter to a low-resolution color filter array im CFA to generate the reconstructed image im R .
[Equation 2]
here, is the filter obtained during the training process.
상기 필터 생성부는 필터 크기가 5×5 필터, 7×7 필터, 9×9 필터, 11×11 필터의 4개의 필터()를 생성하고, 상기 필터 결정부는 상기 크기가 다른 4개의 필터 중에서 피크 신호 대 잡음비(peak signal-to-noise ratio)가 가장 높은 필터를 상기 복원 영상을 생성하는 필터로 결정하는 단계를 더 포함하는 것을 특징으로 하는 모바일 디지털 이미지 확대 필터 방법.
7. The method of claim 6,
The filter generating unit has a filter size of 4 filters (5×5 filter, 7×7 filter, 9×9 filter, 11×11 filter) ), and the filter determining unit further comprising the step of determining a filter having the highest peak signal-to-noise ratio among the four filters having different sizes as a filter generating the reconstructed image Mobile digital image enlargement filter method, characterized in that.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200071393A KR102362805B1 (en) | 2020-06-12 | 2020-06-12 | Filter Apparatus for Expanding Mobile Digital Image and Method Thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200071393A KR102362805B1 (en) | 2020-06-12 | 2020-06-12 | Filter Apparatus for Expanding Mobile Digital Image and Method Thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20210154409A KR20210154409A (en) | 2021-12-21 |
KR102362805B1 true KR102362805B1 (en) | 2022-02-11 |
Family
ID=79165322
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200071393A KR102362805B1 (en) | 2020-06-12 | 2020-06-12 | Filter Apparatus for Expanding Mobile Digital Image and Method Thereof |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102362805B1 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101692748B1 (en) | 2015-03-24 | 2017-01-04 | 인천대학교 산학협력단 | Method for interpolating color filter array based on inter-channel correlation |
KR101882739B1 (en) * | 2017-07-18 | 2018-07-27 | 인천대학교 산학협력단 | Images Upsampling and Pattern Assignment Apparatus and Method thereof |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101710883B1 (en) * | 2009-11-04 | 2017-02-28 | 삼성전자주식회사 | Apparatus and method for compressing and restoration image using filter information |
KR20160082199A (en) * | 2014-12-31 | 2016-07-08 | 인천대학교 산학협력단 | Method for verifying a performance of different color filter array |
KR101975186B1 (en) | 2018-07-04 | 2019-05-07 | 광운대학교 산학협력단 | Apparatus and method of data generation for object detection based on generative adversarial networks |
-
2020
- 2020-06-12 KR KR1020200071393A patent/KR102362805B1/en active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101692748B1 (en) | 2015-03-24 | 2017-01-04 | 인천대학교 산학협력단 | Method for interpolating color filter array based on inter-channel correlation |
KR101882739B1 (en) * | 2017-07-18 | 2018-07-27 | 인천대학교 산학협력단 | Images Upsampling and Pattern Assignment Apparatus and Method thereof |
Also Published As
Publication number | Publication date |
---|---|
KR20210154409A (en) | 2021-12-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Gunturk et al. | Demosaicking: color filter array interpolation | |
Chang et al. | Effective use of spatial and spectral correlations for color filter array demosaicking | |
US7515747B2 (en) | Method for creating high resolution color image, system for creating high resolution color image and program creating high resolution color image | |
JP4385282B2 (en) | Image processing apparatus and image processing method | |
EP0640232B1 (en) | Method for fusing images and apparatus therefor | |
US8068700B2 (en) | Image processing apparatus, image processing method, and electronic appliance | |
Li et al. | Color filter array demosaicking using high-order interpolation techniques with a weighted median filter for sharp color edge preservation | |
US8698906B2 (en) | Image processing device, imaging device, information storage medium, and image processing method | |
KR101633397B1 (en) | Image restoration device, image restoration method and image restoration system | |
US20030086606A1 (en) | Electronic image colour plane reconstruction | |
JP2001101398A (en) | Method and device for processing image and recording medium | |
JP2010034964A (en) | Image composition apparatus, image composition method and image composition program | |
CN102663703B (en) | Treelet-based Bayer type CFA image denoising method | |
CN113454687A (en) | Image processing method, apparatus and system, computer readable storage medium | |
US20070247530A1 (en) | Interpolation Method for Captured Color Image Data | |
Wang et al. | Image demosaicking for Bayer-patterned CFA images using improved linear interpolation | |
JP3908169B2 (en) | Method and system for sensing and interpolating color image data | |
KR102362805B1 (en) | Filter Apparatus for Expanding Mobile Digital Image and Method Thereof | |
Amba et al. | Random color filter arrays are better than regular ones | |
JP2004519156A (en) | Contour filter for output signal of image detector | |
Rathi et al. | A New Generic Progressive Approach based on Spectral Difference for Single-sensor Multispectral Imaging System. | |
JP2009194721A (en) | Image signal processing apparatus, image signal processing method, and imaging apparatus | |
Zhang et al. | Joint denoising and demosaicking of noisy cfa images based on inter-color correlation | |
Chang et al. | Adaptive color filter array demosaicing with artifact suppression | |
US20050031222A1 (en) | Filter kernel generation by treating algorithms as block-shift invariant |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20200612 |
|
PA0201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20211129 Patent event code: PE09021S01D |
|
PG1501 | Laying open of application | ||
E701 | Decision to grant or registration of patent right | ||
PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20220207 |
|
GRNT | Written decision to grant | ||
PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20220209 Patent event code: PR07011E01D |
|
PR1002 | Payment of registration fee |
Payment date: 20220209 End annual number: 3 Start annual number: 1 |
|
PG1601 | Publication of registration | ||
PR1001 | Payment of annual fee |
Payment date: 20250123 Start annual number: 4 End annual number: 4 |