KR102091521B1

KR102091521B1 - Apparatus and method for ramp distribution based image processing

Info

Publication number: KR102091521B1
Application number: KR1020180108536A
Authority: KR
Inventors: 이승연; 김성권; 이현아; 조동식
Original assignee: 국방과학연구소
Priority date: 2018-09-11
Filing date: 2018-09-11
Publication date: 2020-03-20
Also published as: KR20200029928A

Abstract

본 발명은 영상처리 장치 및 영상처리 방법에 관한 것이다. 본 발명에 따른 경사분포 기반 영상처리 장치는, 영상을 입력받는 영상 입력부; 상기 입력받은 영상에 대한 히스토그램을 계산하는 입력 히스토그램 계산부; 정렬 알고리즘을 이용하여 상기 히스토그램을 정렬하는 히스토그램 정렬부; 상기 정렬한 히스토그램에 대한 경사 분포를 계산하는 경사분포 계산부; 상기 계산된 경사 분포를 통해 목표 히스토그램을 계산하는 목표 히스토그램 계산부; 및 상기 목표 히스토그램을 재 정렬하여 전달함수를 계산하고, 상기 전달함수를 이용하여 대조비가 개선된 영상을 출력하는 대조비 개선부;를 포함한다. The present invention relates to an image processing apparatus and an image processing method. An image processing apparatus based on a gradient distribution according to the present invention includes: an image input unit receiving an image; An input histogram calculator calculating a histogram of the received image; A histogram sorting unit to sort the histogram using a sorting algorithm; An inclination distribution calculator for calculating an inclination distribution for the sorted histogram; A target histogram calculation unit calculating a target histogram through the calculated gradient distribution; And a contrast ratio improvement unit for re-sorting the target histogram to calculate a transfer function, and outputting an image with an improved contrast ratio using the transfer function.

Description

Gradient distribution-based image processing device and image processing method {APPARATUS AND METHOD FOR RAMP DISTRIBUTION BASED IMAGE PROCESSING}

본 발명은 영상처리 장치 및 영상처리 방법에 관한 것으로, 특히 적외선 열상 장치(Infrared Thermal Imaging System)의 대조비를 처리하기 위한 방법에 관한 것이다.The present invention relates to an image processing apparatus and an image processing method, and more particularly, to a method for processing a contrast ratio of an infrared thermal imaging system.

통상적으로 적외선 열상 장치는 물체의 주위 환경에서 방출하는 열을 적외선 감지센서(Detector)를 통해 전자신호로 변환하여, 사람이 눈으로 볼 수 있는 화면을 구성해 준다. 이러한 적외선 열상 장치는 주간에만 영상획득이 가능한 가시광 센서(CCD: Charge Coupled Device)와 달리 야간에도 영상을 얻을 수 있고, 특히 발열이 많은 표적을 쉽게 탐지 할 수 있어 감시/정찰 목적의 야간 감시 장비, 전차/장갑차의 조준경 등 군사적 목적에 이용될 수 있다. 또한, 최근에는 자동차의 야간 주행 시 보행자, 동물들을 사전 탐지 및 경보해주는 운전 보조 장비로도 사용되고 있다. In general, an infrared thermal imaging device converts heat emitted from the surrounding environment of an object into an electronic signal through an infrared sensor, thereby forming a screen that can be seen by a human eye. This infrared thermal imaging device, unlike a visible light sensor (CCD: Charge Coupled Device), which can acquire images only during the day, can acquire images even at night, and can easily detect targets with a lot of heat. It can be used for military purposes such as tank / armor sighting. In addition, recently, it is also used as a driving assistance device that pre-detects and alerts pedestrians and animals when driving a car at night.

도 1은 종래의 적외선 열상 장치의 실시 예를 설명하기 위한 블록도이다. 1 is a block diagram illustrating an embodiment of a conventional infrared thermal imaging device.

도 1을 참조하면, 통상적인 적외선 열상 장치는, 임의의 물체로부터 방출되는 적외선을 감지하여 12bit∼14bit의 적외선 영상신호를 검출하는 적외선 검출부(110)와, 적외선 검출부에 의해 검출된 영상신호의 불균일보정, 노이즈 제거, 대조비 개선 등을 수행하는 영상 신호 처리부(120)와, 영상 신호 처리부(120)에 의해 신호처리가 행해진 영상 신호를 출력하는 영상 출력부(130)로 구성된다. Referring to FIG. 1, a typical infrared thermal imaging device includes an infrared detection unit 110 that detects infrared rays emitted from an arbitrary object and detects an infrared image signal of 12 to 14 bits, and a non-uniformity of the image signal detected by the infrared detection unit It is composed of an image signal processor 120 that performs correction, noise reduction, contrast enhancement, and the like, and an image output unit 130 that outputs an image signal processed by the image signal processor 120.

도 2는 도 1에 따른 종래의 적외선 열상 장치에 의해 생성되는 적외선 영상의 실시 예를 설명하기 위한 도면이다. 2 is a view for explaining an embodiment of the infrared image generated by the conventional infrared thermal imaging device according to FIG.

도 3은 도 2의 히스토그램을 나타낸 그래프이다. 3 is a graph showing the histogram of FIG. 2.

도 2를 참조하면, 적외선 검출부(110)에 의해 생성되는 적외선 영상은 가시광 영상보다 흐릿해 보이고, 대부분의 원거리에서 방사된 적외선(도 2의 녹색 화살표)은 적외선 검출센서에서 비슷한 화소 값을 가진다. Referring to FIG. 2, the infrared image generated by the infrared detection unit 110 looks blurry than the visible light image, and infrared rays emitted from most of the long distance (green arrow in FIG. 2) have similar pixel values in the infrared detection sensor.

이는 물체로부터 방출되는 열이 대기를 투과하면서 수분입자에 흡수되거나 산란 또는 반사되기 쉬운 속성에 기인한다. 따라서 적외선 검출부(110)으로 부터 얻어진 12bit∼14bit의 적외선 영상의 히스토그램은 도 3의 녹색 부분과 같이 대부분 하나의 높고 좁은 값을 가지게 된다. This is due to the property that heat emitted from an object is easily absorbed, scattered or reflected by moisture particles while passing through the atmosphere. Therefore, the histograms of the 12-bit to 14-bit infrared images obtained from the infrared detection unit 110 have mostly one high and narrow value as shown in the green portion of FIG. 3.

또한, 관심을 가진 목표물(도 2의 빨간색 화살표)은 히스토그램에서 작은 빈도를 가지고 넓은 영역에 걸쳐 형성된다(도 3의 빨간색 박스). 다시 말하면, 적외선 검출부(110)를 통해 획득한 적외선 영상은 대조비가 상당히 낮다. Also, the target of interest (red arrow in FIG. 2) is formed over a large area with a small frequency in the histogram (red box in FIG. 3). In other words, the infrared image obtained through the infrared detection unit 110 has a very low contrast ratio.

따라서 영상 신호 처리부(120)에서 상기 적외선 영상의 대조비 개선이 필수적이다. 대조비 개선시 적외선 검출부(110)에 의해 검출된 12bit∼14bit의 높은 동적 범위(High Dynamic Range)를 영상 출력부(130)에서 사용가능한 8bit 으로 변환하는 것이 바람직하다.Therefore, it is necessary to improve the contrast ratio of the infrared image in the image signal processing unit 120. When improving the contrast ratio, it is preferable to convert a high dynamic range of 12 bits to 14 bits detected by the infrared detection unit 110 into 8 bits usable by the image output unit 130.

상기 영상 신호 처리부(120)의 대조비를 개선하기 위한 종래 기법으로는 히스토그램 스트레칭(Histogram Stretching), 히스토그램 평활화(Histogram Equalization), 그리고 플래토 평활화(Plateau Equalization)가 대표적으로 사용된다. Histogram Stretching, Histogram Equalization, and Plateau Equalization are typically used as conventional techniques for improving the contrast ratio of the image signal processor 120.

히스토그램 스트레칭 기법은 AGC(Automatic Gain Control) 라고도 불린다. 이는 히스토그램의 가장자리 극값을 제거하고 높은 동적범위를 8bit 도메인으로 선형 압축하는 것이다. 그러나 이 방법은 열 영상의 세부 영역을 효과적으로 표현하지 못하는 한계를 가진다. The histogram stretching technique is also called AGC (Automatic Gain Control). This eliminates the extreme values of the histogram and linearly compresses the high dynamic range into the 8-bit domain. However, this method has a limitation of not being able to effectively express the detailed area of the thermal image.

히스토그램 평활화 기법은 입력 누적분포함수(CDF: Cumulative Distribution Function)로부터 출력 누적분포함수로의 매핑을 계산한다. 히스토그램 평활화는 입력 히스토그램에 높은 피크가 존재할 경우 과도한 대조비 개선이 이루어져 노이즈가 많고 물에 씻긴 듯한 출력영상을 만들어낸다. The histogram smoothing technique calculates the mapping from the input cumulative distribution function (CDF) to the output cumulative distribution function. Histogram smoothing results in excessive contrast improvement when a high peak is present in the input histogram, resulting in a noisy, washed-out output image.

플랫토 평활화 기법은 입력히스토그램의 높은 피크값을 문턱치로 제거하여 평탄한 영역에서의 노이즈 증폭을 줄이는 기법이다. 이 방법은 입력 히스토그램의 분포를 고려하지 않는다. 따라서 출력 영상은 히스토그램에서 동일한 문턱치를 사용하게 됨으로 부자연스럽게 된다. The flatto smoothing technique is a technique that reduces noise amplification in a flat region by removing the high peak value of the input histogram as a threshold. This method does not take into account the distribution of the input histogram. Therefore, the output image becomes unnatural because it uses the same threshold in the histogram.

본 발명은 전술한 문제 및 다른 문제를 해결하는 것을 목적으로 한다. 또 다른 목적은, 12bit∼14bit의 높은 동적 범위를 가진 적외선 또는 가시광 영상을 8bit으로 변환하는 과정에서, 또는 대조비가 낮은 적외선, 또는 가시광 영상의 대조비를 개선하는 과정에 있어 인위성이 없는 보기에 좋고 자연스러운 출력 영상을 실시간으로 산출하기 위한 대조비 개선 방법을 수행하는 경사분포 기반 영상처리 장치 및 영상처리 방법을 제공하는 것을 그 목적으로 한다.The present invention aims to solve the above and other problems. Another object is good for viewing without artificiality in the process of converting an infrared or visible light image with a high dynamic range of 12bit to 14bit into 8bit, or in the process of improving the contrast of infrared light with low contrast or visible light. It is an object of the present invention to provide an image processing method and a gradient distribution based image processing method for performing a contrast ratio improvement method for calculating a natural output image in real time.

상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따르면, 영상을 입력받는 영상 입력부; 상기 입력받은 영상에 대한 히스토그램을 계산하는 입력 히스토그램 계산부; 정렬 알고리즘을 이용하여 상기 히스토그램을 정렬하는 히스토그램 정렬부; 상기 정렬한 히스토그램에 대한 경사 분포를 계산하는 경사분포 계산부; 상기 계산된 경사 분포를 통해 목표 히스토그램을 계산하는 목표 히스토그램 계산부; 및 상기 목표 히스토그램을 재 정렬하여 전달함수를 계산하고, 상기 전달함수를 이용하여 대조비가 개선된 영상을 출력하는 대조비 개선부;를 포함하는 것을 특징으로 하는 경사분포 기반 영상처리 장치를 포함한다. According to an aspect of the present invention to achieve the above or another object, an image input unit for receiving an image; An input histogram calculator calculating a histogram of the received image; A histogram sorting unit to sort the histogram using a sorting algorithm; An inclination distribution calculator for calculating an inclination distribution for the sorted histogram; A target histogram calculation unit calculating a target histogram through the calculated gradient distribution; And a contrast ratio improvement unit that rearranges the target histogram to calculate a transfer function, and outputs an image with an improved contrast ratio using the transfer function.

실시 예에 있어서, 상기 히스토그램 정렬부는, 상기 입력 히스토그램 계산부가 계산한 히스토그램을 상기 정렬 알고리즘을 이용하여 오름차순으로 정렬할 수 있다. In an embodiment, the histogram sorting unit may sort the histogram calculated by the input histogram calculator in ascending order using the sorting algorithm.

또 다른 실시 예에 있어서, 상기 경사분포 계산부는, 상기 입력받은 영상의 가로 픽셀 수와 세로 픽셀 수, 고유한 픽셀 값의 총 개수에 근거하여, 상기 경사 분포를 계산할 수 있다. In another embodiment, the gradient distribution calculator may calculate the gradient distribution based on the total number of horizontal pixels, vertical pixels, and unique pixel values of the input image.

또 다른 실시 예에 있어서, 상기 목표 히스토그램 계산부는, 상기 정렬한 히스토그램과 상기 경사 분포 간에 가중치를 적용하여 상기 목표 히스토그램을 계산할 수 있다. In another embodiment, the target histogram calculator may calculate the target histogram by applying a weight between the aligned histogram and the slope distribution.

또 다른 실시 예에 있어서, 상기 목표 히스토그램 계산부는, 상기 정렬한 히스토그램과 상기 경사 분포를 비교하여, 작은 값을 상기 목표 히스토그램으로 계산할 수 있다. In another embodiment, the target histogram calculation unit may calculate a small value as the target histogram by comparing the aligned histogram and the slope distribution.

또 다른 실시 예에 있어서, 상기 대조비 개선부는, 상기 히스토그램 정렬부에서 계산된 매핑 테이블을 통해 재 정렬하여 상기 전달함수를 계산할 수 있다. 이때 전달함수는 누적분포함수(Cumulative Distribution Function)를 이용할 수 있다. In another embodiment, the contrast enhancement unit may calculate the transfer function by rearranging through the mapping table calculated by the histogram sorting unit. At this time, the cumulative distribution function can be used as the transfer function.

또한, 본 발명의 다른 측면에 따르면, 영상을 입력받는 단계; 상기 입력받은 영상에 대한 히스토그램을 계산하는 단계; 정렬 알고리즘을 이용하여 상기 히스토그램을 정렬하는 단계; 상기 정렬한 히스토그램에 대한 경사 분포를 계산하는 단계; 상기 계산된 경사 분포를 통해 목표 히스토그램을 계산하는 단계; 및 상기 목표 히스토그램을 재 정렬하여 전달함수를 계산하고, 상기 전달함수를 이용하여 대조비가 개선된 영상을 출력하는 단계;를 포함하는 것을 특징으로 하는 경사분포 기반 영상처리방법을 제공한다. In addition, according to another aspect of the present invention, receiving an image; Calculating a histogram for the input image; Sorting the histogram using a sorting algorithm; Calculating a slope distribution for the sorted histogram; Calculating a target histogram through the calculated gradient distribution; And re-sorting the target histogram to calculate a transfer function, and outputting an image with an improved contrast ratio by using the transfer function.

실시 예에 있어서, 상기 히스토그램을 정렬하는 단계;는, 상기 입력받은 영상에 대해 계산한 히스토그램을 상기 정렬 알고리즘을 이용하여 오름차순으로 정렬하는 단계;를 포함할 수 있다. In an embodiment, sorting the histogram may include sorting the histogram calculated for the input image in ascending order using the sorting algorithm.

또 다른 실시 예에 있어서, 상기 경사분포를 계산하는 단계;는, 상기 입력받은 적외선 영상의 가로 픽셀 수와 세로 픽셀 수, 고유한 픽셀 값의 총 개수에 근거하여, 상기 경사 분포를 계산하는 단계;를 포함할 수 있다. In another embodiment, the calculating of the gradient distribution may include: calculating the gradient distribution based on the total number of horizontal and vertical pixels, and unique pixel values of the received infrared image; It may include.

또 다른 실시 예에 있어서, 상기 목표 히스토그램을 계산하는 단계;는, 상기 정렬한 히스토그램과 상기 경사 분포 간에 가중치를 적용하여 상기 목표 히스토그램을 계산하는 단계;를 포함할 수 있다. In another embodiment, calculating the target histogram may include calculating the target histogram by applying a weight between the aligned histogram and the gradient distribution.

또 다른 실시 예에 있어서, 상기 목표 히스토그램을 계산하는 단계;는, 상기 정렬한 히스토그램과 상기 경사 분포를 비교하여, 작은 값을 상기 목표 히스토그램으로 계산하는 단계;를 포함할 수 있다. In another embodiment, calculating the target histogram may include comparing the ordered histogram with the gradient distribution, and calculating a small value as the target histogram.

또 다른 실시 예에 있어서, 상기 대조비가 개선된 영상을 출력하는 단계;는, 상기 히스토그램 정렬단계에서 계산된 매핑 테이블을 통해 재 정렬하여 상기 전달함수를 계산하는 단계;를 포함할 수 있다. 이때 전달함수는 누적분포함수(Cumulative Distribution Function)를 이용할 수 있다. In another embodiment, the step of outputting the image with the improved contrast ratio; calculating the transfer function by re-sorting through the mapping table calculated in the histogram sorting step. At this time, the cumulative distribution function can be used as the transfer function.

본 발명에 따른 경사분포 기반 영상처리 장치 및 영상처리방법의 효과에 대해 설명하면 다음과 같다.When explaining the effects of the image processing method and the gradient distribution based image processing according to the present invention are as follows.

본 발명의 실시 예들 중 적어도 하나에 의하면, 적외선 열상 장비 또는 가시광 영상장비에서 입력 디지털 영상 신호의 대조비를 처리할 때, 경사 분포를 이용함으로써 고품질의 디스플레이를 가능하게 할 수 있다는 장점이 있다.According to at least one of the embodiments of the present invention, when processing a contrast ratio of an input digital image signal in an infrared thermal imaging device or a visible light imaging device, there is an advantage that a high-quality display can be enabled by using a gradient distribution.

본 발명의 적용 가능성의 추가적인 범위는 이하의 상세한 설명으로부터 명백해질 것이다. 그러나 본 발명의 사상 및 범위 내에서 다양한 변경 및 수정은 당업자에게 명확하게 이해될 수 있으므로, 상세한 설명 및 본 발명의 바람직한 실시 예와 같은 특정 실시 예는 단지 예시로 주어진 것으로 이해되어야 한다.Further scope of applicability of the present invention will become apparent from the following detailed description. However, various changes and modifications within the spirit and scope of the present invention may be clearly understood by those skilled in the art, and thus, it should be understood that specific embodiments such as detailed description and preferred embodiments of the present invention are given as examples only.

도 1은 종래의 적외선 열상 장치의 실시 예를 설명하기 위한 블록도이다.
도 2는 도 1에 따른 종래의 적외선 열상 장치에 의해 생성되는 적외선 영상의 실시 예를 설명하기 위한 도면이다.
도 3은 도 2의 히스토그램을 나타낸 그래프이다.
도 4는 본 발명에 따른 경사분포 기반 영상처리 장치의 실시 예를 설명하기 위한 블록도이다.
도 5는 본 발명에 따른 경사분포 기반 영상처리 방법의 실시 예를 설명하기 위한 흐름도이다.
도 6은 정렬된 히스토그램 및 목표 히스토그램의 실시 예를 설명하기 위한 그래프이다.
도 7은 히스토그램 매칭 기반 목표 히스토그램의 실시 예를 설명하기 위한 그래프이다.
도 8은 전달함수의 실시 예를 설명하기 위한 그래프이다. 1 is a block diagram illustrating an embodiment of a conventional infrared thermal imaging device.
2 is a view for explaining an embodiment of the infrared image generated by the conventional infrared thermal imaging device according to FIG.
3 is a graph showing the histogram of FIG. 2.
4 is a block diagram illustrating an embodiment of an image processing apparatus based on a gradient distribution according to the present invention.
5 is a flow chart for explaining an embodiment of a gradient distribution-based image processing method according to the present invention.
6 is a graph for explaining an embodiment of an aligned histogram and a target histogram.
7 is a graph for explaining an example of a histogram matching-based target histogram.
8 is a graph for explaining an embodiment of the transfer function.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소에는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. Hereinafter, exemplary embodiments disclosed herein will be described in detail with reference to the accompanying drawings, but the same reference numerals will be assigned to the same or similar elements regardless of reference numerals, and redundant descriptions thereof will be omitted. The suffixes "modules" and "parts" for the components used in the following description are given or mixed only considering the ease of writing the specification, and do not have meanings or roles distinguished from each other in themselves. In addition, in describing the embodiments disclosed in this specification, detailed descriptions of related well-known technologies are omitted when it is determined that they may obscure the gist of the embodiments disclosed herein. In addition, the accompanying drawings are only for easy understanding of the embodiments disclosed in the present specification, and the technical spirit disclosed in the specification is not limited by the accompanying drawings, and all modifications included in the spirit and technical scope of the present invention , It should be understood to include equivalents or substitutes.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.Terms including ordinal numbers such as first and second may be used to describe various components, but the components are not limited by the terms. The terms are used only for the purpose of distinguishing one component from other components.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.When an element is said to be "connected" or "connected" to another component, it is understood that other components may be directly connected to or connected to the other component, but other components may exist in the middle. It should be. On the other hand, when a component is said to be "directly connected" or "directly connected" to another component, it should be understood that no other component exists in the middle.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. Singular expressions include plural expressions unless the context clearly indicates otherwise.

본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.In this application, the terms "comprises" or "have" are intended to indicate the presence of features, numbers, steps, actions, components, parts or combinations thereof described herein, one or more other features. It should be understood that the existence or addition possibilities of fields or numbers, steps, operations, components, parts or combinations thereof are not excluded in advance.

이하, 첨부된 도면을 참조하여 본 발명을 더욱 상세하게 기술할 것이다. 이하의 설명에서 본 발명의 모든 실시형태가 개시되는 것은 아니다. 본 발명은 매우 다양한 형태로 구현될 수 있으며, 여기에 개시되는 실시형태에 한정되는 것으로 해석되어서는 안 된다. 본 실시형태들은 출원을 위한 법적 요건들을 충족시키기 위해 제공되는 것이다. 동일한 구성요소에는 전체적으로 동일한 참조부호가 사용된다.Hereinafter, the present invention will be described in more detail with reference to the accompanying drawings. Not all embodiments of the present invention are disclosed in the following description. The invention can be implemented in a wide variety of forms, and should not be construed as limited to the embodiments disclosed herein. These embodiments are provided to meet legal requirements for filing. The same reference numerals are used throughout the same components.

본 발명에 따른 경사분포 기반 영상처리 장치 및 영상처리방법은, 적외선 열상장치, 가시광 카메라 등의 경우에 모두 적용될 수 있다. 이하, 실시 예로, 적외선 열상장치 위주로 설명하고자 하나 이에 한정되는 것은 아니다. The inclined distribution-based image processing apparatus and image processing method according to the present invention can be applied to both infrared thermal imaging devices and visible light cameras. Hereinafter, as an example, an infrared thermal imager is mainly described, but is not limited thereto.

도 4는 본 발명에 따른 경사분포 기반 영상처리 장치의 실시 예를 설명하기 위한 블록도이다. 4 is a block diagram illustrating an embodiment of an image processing apparatus based on a gradient distribution according to the present invention.

도 4를 참조하면, 본 발명에 따른 경사분포 기반 영상처리 장치는, 영상 입력부(410), 입력 히스토그램 계산부(420), 히스토그램 정렬부(430), 경사분포 계산부(440), 목표 히스토그램 계산부(450) 및 대조비 개선부(460)를 포함할 수 있다. 4, the gradient distribution-based image processing apparatus according to the present invention includes an image input unit 410, an input histogram calculation unit 420, a histogram alignment unit 430, a gradient distribution calculation unit 440, and a target histogram calculation. It may include a portion 450 and the contrast ratio improving unit 460.

영상 입력부(410)는, 일 예로, 적외선 영상을 입력받을 수 있다. 일 예로, 12bit∼14bit의 적외선 영상을 입력받을 수 있으나, 이에 한정되는 것은 아니다. 즉, 다양한 비트를 갖는 적외선 영상을 입력받을 수 있다. 또한, 다양한 비트를 갖는 일반 가시광 카메라에 의한 영상을 입력받을 수도 있다. The image input unit 410 may receive, for example, an infrared image. For example, 12-bit to 14-bit infrared images may be input, but are not limited thereto. That is, an infrared image having various bits can be input. Also, an image by a general visible light camera having various bits may be input.

입력 히스토그램 계산부(420)는, 상기 입력받은 영상에 대한 히스토그램을 계산한다. The input histogram calculation unit 420 calculates a histogram for the input image.

히스토그램 정렬부(430)는, 정렬 알고리즘을 이용하여 상기 히스토그램을 정렬한다. The histogram sorting unit 430 sorts the histogram using a sorting algorithm.

경사분포 계산부(440)는, 상기 정렬한 히스토그램에 대한 경사 분포를 계산한다. The gradient distribution calculator 440 calculates a gradient distribution for the sorted histogram.

목표 히스토그램 계산부(450)는, 상기 계산된 경사 분포를 통해 목표 히스토그램을 계산한다. The target histogram calculator 450 calculates the target histogram through the calculated gradient distribution.

대조비 개선부(460)는, 상기 목표 히스토그램을 재 정렬하여 전달함수를 계산하고, 상기 전달함수를 이용하여 대조비가 개선된 영상을 출력한다. The contrast ratio improvement unit 460 rearranges the target histogram to calculate a transfer function, and outputs an image with an improved contrast ratio using the transfer function.

실시 예에 있어서, 상기 히스토그램 정렬부(430)는, 상기 입력 히스토그램 계산부(420)가 계산한 히스토그램을 상기 정렬 알고리즘을 이용하여 오름차순으로 정렬할 수 있다. In an embodiment, the histogram sorter 430 may sort the histogram calculated by the input histogram calculator 420 in ascending order using the sort algorithm.

또 다른 실시 예에 있어서, 상기 경사분포 계산부(440)는, 상기 입력받은 영상의 가로 픽셀 수와 세로 픽셀 수, 고유한 픽셀 값의 총 개수에 근거하여, 상기 경사 분포를 계산할 수 있다. In another embodiment, the gradient distribution calculation unit 440 may calculate the gradient distribution based on the total number of horizontal pixels, vertical pixels, and unique pixel values of the input image.

또 다른 실시 예에 있어서, 상기 목표 히스토그램 계산부(450)는, 상기 정렬한 히스토그램과 상기 경사 분포 간에 가중치를 적용하여 상기 목표 히스토그램을 계산할 수 있다. In another embodiment, the target histogram calculator 450 may calculate the target histogram by applying a weight between the aligned histogram and the slope distribution.

또 다른 실시 예에 있어서, 상기 목표 히스토그램 계산부(450)는, 상기 정렬한 히스토그램과 상기 경사 분포를 비교하여, 작은 값을 상기 목표 히스토그램으로 계산할 수 있다. In another embodiment, the target histogram calculator 450 may compare the sorted histogram with the slope distribution to calculate a small value as the target histogram.

또 다른 실시 예에 있어서, 상기 대조비 개선부(460)는, 상기 히스토그램 정렬부(430)에서 계산된 매핑 테이블을 통해 재 정렬하여 상기 전달함수를 계산할 수 있다. In another embodiment, the contrast improvement unit 460 may calculate the transfer function by re-sorting through the mapping table calculated by the histogram sorting unit 430.

도 5는 본 발명에 따른 경사분포 기반 영상처리방법의 실시 예를 설명하기 위한 흐름도이다. 5 is a flowchart for explaining an embodiment of an image processing method based on a gradient distribution according to the present invention.

도 6은 정렬된 히스토그램 및 목표 히스토그램의 실시 예를 설명하기 위한 그래프이다. 6 is a graph for explaining an embodiment of an aligned histogram and a target histogram.

도 7은 히스토그램 매칭 기반 목표 히스토그램의 실시 예를 설명하기 위한 그래프이다. 7 is a graph for explaining an example of a histogram matching based target histogram.

도 8은 전달함수의 실시 예를 설명하기 위한 그래프이다. 8 is a graph for explaining an embodiment of the transfer function.

도 5를 참조하면, 적외선 영상을 입력받는 단계(S510)가 진행된다. Referring to FIG. 5, a step (S510) of receiving an infrared image is performed.

구체적으로, 적외선 검출부(110)으로부터 수신된 12bit ~ 14bit의 높은 동적 범위를 가진 적외선 영상을 입력받을 수 있다. 이는 일 실시 예로서, 이에 한정되는 것은 아니다. 즉, 다양한 비트를 갖는 적외선 영상, 일반 가시광 카메라에 의해 획득된 영상을 입력받을 수 있다. Specifically, an infrared image having a high dynamic range of 12 to 14 bits received from the infrared detection unit 110 may be input. This is an embodiment, and is not limited thereto. That is, an infrared image having various bits and an image obtained by a general visible light camera may be received.

영상 입력부(410)는 상기 적외선 검출부(110)에서 출력한 12 ~ 14bit의 적외선 영상을 프레임 메모리에 저장하여 영상처리를 가능하게 해 준다. 앞서 설명한 바와 같이, 12bit ~ 14bit에 한정되는 것은 아니다. The image input unit 410 stores 12 to 14 bit infrared images output from the infrared detection unit 110 in a frame memory to enable image processing. As described above, it is not limited to 12 bits to 14 bits.

이어서, 입력 히스토그램을 계산하는 단계(S520)가 진행된다. Subsequently, a step S520 of calculating an input histogram is performed.

입력 히스토그램 계산부(420)는 프레임 메모리에 매 프레임 주기마다 저장된 입력 디지털 영상 신호에 대한 히스토그램 분포를 계산한다. 도 3에는 적외선 열상 장비의 영상 입력에 대한 히스토그램 분포도가 나타나 있다. 도 3을 참조하면, 적외선 열상 장비의 입력 디지털 영상신호는 전 대역에 걸쳐 골고루 분포되어 있지 않고, 일정 대역에 집중하여 분포하는 것이 특징이다. The input histogram calculator 420 calculates a histogram distribution for the input digital image signal stored in each frame period in the frame memory. 3 shows a histogram distribution chart for image input of infrared thermal imaging equipment. Referring to FIG. 3, the input digital image signal of the infrared thermal imaging equipment is not evenly distributed over the entire band, but is characterized by being concentrated and distributed in a certain band.

그리고, 정렬 알고리즘을 이용하여 히스토그램을 정렬하는 단계(S530)가 진행된다. Then, a step (S530) of sorting the histogram using the sorting algorithm is performed.

히스토그램 정렬부(430)는 상기 입력 히스토그램 계산부(420)에서 계산된 히스토그램을 정렬 알고리듬을 이용하여 오름차순으로 정렬한다. 도 6에는 오름차순으로 정렬된 히스토그램 분포도가 나타나 있다. (도 6의 파란색 그래프, Sorted, Target) 여기서, 오름차순으로 정렬할 때, 히스토그램 분포가 ‘0’인 값은 제거하여 고유한 픽셀 값(그레이 레벨)만 정렬되도록 한다. The histogram sorter 430 sorts the histogram calculated by the input histogram calculator 420 in ascending order using a sorting algorithm. 6 shows a histogram distribution chart arranged in ascending order. (Blue graph in FIG. 6, Sorted, Target) Here, when sorting in ascending order, the value whose histogram distribution is '0' is removed so that only unique pixel values (gray levels) are sorted.

그 다음으로, 정렬된 히스토그램을 사용하여 경사 분포를 계산하는 단계(S540)가 진행된다.Next, a step (S540) of calculating the slope distribution using the aligned histogram is performed.

경사분포 계산부(440)에서는 상기 히스토그램 정렬부(430)의 정렬된 히스토그램을 사용하여 경사 분포를 계산한다. 여기서 경사 분포는 일정한 기울기를 가지고 증가하는 분포이며, 다음의 수학식 1과 같이 계산할 수 있다. The gradient distribution calculation unit 440 calculates the gradient distribution using the aligned histogram of the histogram alignment unit 430. Here, the slope distribution is a distribution that increases with a constant slope, and can be calculated as in Equation 1 below.

[수학식 1][Equation 1]

,

여기서,

은 경사 분포이며, W는 영상의 가로 픽셀 수, H는 세로 픽셀 수, L은 고유한 픽셀 값의 총 개수이다. here,

Is a gradient distribution, W is the number of horizontal pixels in the image, H is the number of vertical pixels, and L is the total number of unique pixel values.

이후, 계산된 경사 분포를 통해 목표 히스토그램을 계산하는 단계(S550)가 진행된다. Thereafter, a step (S550) of calculating a target histogram through the calculated gradient distribution is performed.

목표 히스토그램 계산부(450)에서는 상기 계산된 경사 분포를 통해 목표 히스토그램을 계산한다. 목표 히스토그램 계산 시 다양한 방법을 사용할 수 있다. 본 발명에서는 최적화기법을 이용한 목표히스토그램 계산 방법과 히스토그램 매칭을 이용한 목표히스토그램 계산 방법을 설명하고자 한다. The target histogram calculator 450 calculates the target histogram through the calculated gradient distribution. Various methods can be used to calculate the target histogram. In the present invention, a method for calculating a target histogram using an optimization technique and a method for calculating a target histogram using histogram matching will be described.

첫째로 최적화기법을 이용한 목표히스토그램 계산방법은, 다음의 수학식 2와 같이 경사 분포와 정렬된 히스토그램의 가중치를 통해서 목표 히스토그램을 계산한다. First, in the method of calculating the target histogram using the optimization technique, the target histogram is calculated through the weight of the slope distribution and the aligned histogram as shown in Equation 2 below.

[수학식 2][Equation 2]

여기서,

는 목표 히스토그램이며,

는 정렬된 히스토그램(Hs)과 경사 분포 간의 가중치이다.

가 0 이면 목표 히스토그램은 정렬된 히스토그램 분포와 동일하며(도 6에서 파란색 그래프, Sorted),

가 커질수록 경사 분포를 따라가게 된다. (도 6에서 자주색과 하늘색 그래프,

가 1 또는 2일 때)here,

Is the target histogram,

Is the weight between the ordered histogram (Hs) and the slope distribution.

If is 0, the target histogram is the same as the sorted histogram distribution (blue graph in FIG. 6, Sorted),

As it increases, it follows the slope distribution. (Purple and sky blue graph in FIG. 6,

Is 1 or 2)

둘째로 히스토그램 매칭을 이용한 목표 히스토그램 계산방법은, 정렬된 히스토그램과 경사 분포와의 비교를 통해 작은 값을 사용하여 목표 히스토그램을 계산한다.(도 7에서 심홍색 점선 그래프) Second, in the method of calculating the target histogram using histogram matching, the target histogram is calculated using a small value through comparison between the aligned histogram and the inclined distribution.

이때, 경사 분포의 기울기

에 가중치

를 반영하여 다양한 목표 히스토그램을 얻을 수도 있다. 가중치

가 커질수록 히스토그램 평활화와 동일한 영상을 만들어 낸다. (도 7에서 초록색 그래프, Target2)At this time, the slope of the slope distribution

Weight on

It is also possible to obtain various target histograms by reflecting. weight

As it increases, it creates the same image as the histogram smoothing. (Green graph in Figure 7, Target2)

그 다음으로, 대조비가 개선된 영상을 출력하는 단계(S560)가 진행된다. Next, a step (S560) of outputting an image with an improved contrast ratio proceeds.

대조비 개선부(460)에서는 상기 목표 히스토그램 계산부(450)에서 계산된 목표 히스토그램을 상기 히스토그램 정렬부(430)에서 계산된 매핑 테이블을 통해 재 정렬하여 전달함수를 계산(도 8 참고)하고, 전달함수를 이용하여 대조비가 개선된 영상을 출력한다. 이때 전달함수는 누적분포함수(Cumulative Distribution Function)를 이용할 수 있다. The contrast ratio improvement unit 460 recalculates the target histogram calculated by the target histogram calculation unit 450 through the mapping table calculated by the histogram alignment unit 430 to calculate a transfer function (refer to FIG. 8), and delivers Using the function, an image with improved contrast is output. At this time, the cumulative distribution function can be used as the transfer function.

상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.The above detailed description should not be construed as limiting in all respects, but should be considered illustrative. The scope of the present invention should be determined by rational interpretation of the appended claims, and all changes within the equivalent scope of the present invention are included in the scope of the present invention.

Claims

An image input unit that receives an image;
An input histogram calculator calculating a histogram of the received image;
A histogram sorter that generates a mapping table for the histogram and sorts the histogram using a sorting algorithm;
An inclination distribution calculator for calculating an inclination distribution for the sorted histogram;
A target histogram calculator calculating a target histogram using the sorted histogram and the calculated slope distribution; And
And a contrast ratio improvement unit for rearranging the target histogram using the mapping table and outputting an image with an improved contrast ratio using a transfer function that converts the rearranged target histogram into an image. Based image processing device.

According to claim 1,
The histogram alignment unit,
An image processing apparatus based on a gradient distribution, characterized in that the histogram calculated by the input histogram calculation unit is sorted in ascending order using the sorting algorithm.

According to claim 1,
The gradient distribution calculation unit,
A gradient distribution-based image processing apparatus characterized in that the gradient distribution is calculated based on the number of horizontal pixels, vertical pixels, and the total number of unique pixel values of the input image.

According to claim 1,
The target histogram calculation unit,
An image processing apparatus based on a gradient distribution, wherein the target histogram is calculated by applying a weight between the aligned histogram and the gradient distribution.

According to claim 1,
The target histogram calculation unit,
Comparing the sorted histogram and the gradient distribution, a gradient distribution-based image processing apparatus characterized by calculating a small value as the target histogram.

delete

Receiving an image;
Calculating a histogram for the input image;
Generating a mapping table related to the histogram;
Sorting the histogram using a sorting algorithm;
Calculating a slope distribution for the sorted histogram;
Calculating a target histogram using the aligned histogram and the calculated slope distribution;
Rearranging the target histogram using the mapping table; And
And outputting an image with an improved contrast ratio by using the transfer function that converts the re-aligned target histogram into an image.

The method of claim 7,
Sorting the histogram;
And sorting the histogram calculated for the received image in ascending order using the sorting algorithm.

The method of claim 7,
Computing the gradient distribution;
And calculating the gradient distribution based on the number of horizontal pixels, vertical pixels, and the total number of unique pixel values of the received image.

The method of claim 7,
Computing the target histogram;
And calculating the target histogram by applying a weight between the aligned histogram and the gradient distribution.

The method of claim 7,
Computing the target histogram;
And comparing the ordered histogram and the gradient distribution to calculate a small value as the target histogram.

delete