KR102601288B1

KR102601288B1 - Camera module and image operating method performed therein

Info

Publication number: KR102601288B1
Application number: KR1020190039694A
Authority: KR
Inventors: 이규태
Original assignee: 엘지이노텍 주식회사
Priority date: 2019-04-04
Filing date: 2019-04-04
Publication date: 2023-11-13
Also published as: KR20200117507A

Abstract

실시 예에 따른 카메라 장치는 복수의 카메라 모듈; 상기 복수의 카메라 모듈을 통해 획득된 복수의 제1 이미지를 수신하고, 상기 복수의 제1 이미지를 합성하여 제2 이미지를 생성하는 이미지 처리부; 상기 복수의 카메라 모듈의 초점 거리 및 주점 정보를 포함한 내부 파라미터를 산출하고, 상기 산출된 내부 파라미터를 기반하여 상기 제2 이미지가 생성되도록 하는 제어부;를 포함하며, 상기 복수의 카메라 모듈은, 외부로부터 입사되는 적외선 신호를 통과시키는 복수의 단위 렌즈부를 포함하는 어레이 렌즈부; 및 상기 복수의 단위 렌즈부와 광축상에서 정렬되는 복수의 단위 센서부를 포함하는 어레이 센서부를 포함하고, 상기 제어부는, 상기 복수의 카메라 모듈에 대해 각각 캘리브레이션을 진행하여 상기 내부 파라미터를 산출하고, 상기 복수의 카메라 모듈의 내부 파라미터를 이용하여 상기 복수의 카메라 모듈 사이의 상대 위치 정보를 획득하며, 상기 획득된 내부 파라미터 및 상기 상대 위치 정보를 이용하여 상기 제2 이미지가 생성되도록 한다.A camera device according to an embodiment includes a plurality of camera modules; an image processor that receives a plurality of first images acquired through the plurality of camera modules and generates a second image by combining the plurality of first images; A control unit that calculates internal parameters including focal length and main point information of the plurality of camera modules and generates the second image based on the calculated internal parameters, wherein the plurality of camera modules are configured to operate from the outside. An array lens unit including a plurality of unit lens units that allow incident infrared signals to pass through; and an array sensor unit including the plurality of unit lens units and a plurality of unit sensor units aligned on an optical axis, wherein the control unit performs calibration for each of the plurality of camera modules to calculate the internal parameters, and the plurality of camera modules are configured to calculate the internal parameters. Relative position information between the plurality of camera modules is obtained using internal parameters of the camera module, and the second image is generated using the acquired internal parameters and the relative position information.

Description

Camera device and method of operating the same {CAMERA MODULE AND IMAGE OPERATING METHOD PERFORMED THEREIN}

실시 예는 카메라 장치에 관한 것으로, 특히 초해상도(Super Resolution) 이미지를 제공할 수 있는 생성할 수 있는 카메라 장치 및 이의 동작 방법에 관한 것이다.The embodiment relates to a camera device, and in particular, to a camera device capable of providing a super resolution image and a method of operating the same.

휴대용 장치의 사용자는 초해상도를 가지며 크기가 작고 다양한 촬영 기능[광학 줌 기능(zoom-in/zoom-out), 오토포커싱(Auto-Focusing, AF) 기능, 손떨림 보정 내지 영상 흔들림 방지(Optical Image Stabilizer, OIS) 기능 등]을 가지는 광학 기기를 원하고 있다. 이러한 촬영 기능은 여러 개의 렌즈를 조합해서 직접 렌즈를 움직이는 방법을 통해 구현될 수 있으나, 렌즈의 수를 증가시킬 경우 광학 기기의 크기가 커질 수 있다.Users of portable devices benefit from super-resolution, small size, and various shooting functions [optical zoom function (zoom-in/zoom-out), auto-focusing (AF) function, image stabilization or optical image stabilization (Optical Image Stabilizer). , OIS) functions, etc.]. This shooting function can be implemented by combining multiple lenses and directly moving the lenses, but if the number of lenses is increased, the size of the optical device may increase.

오토 포커스와 손떨림 보정 기능은, 렌즈 홀더에 고정되어 광축이 정렬된 여러 개의 렌즈 모듈이, 광축 또는 광축의 수직 방향으로 이동하거나 틸팅(Tilting)하여 수행되고, 렌즈 모듈을 구동시키기 위해 별도의 렌즈 구동 장치가 사용된다. 그러나 렌즈 구동 장치는 전력 소모가 높으며, 이를 보호하기 위해서 카메라 모듈과 별도로 커버 글라스를 추가해야 함에 따른 두께 증가 문제를 가진다.The autofocus and image stabilization functions are performed by moving or tilting several lens modules with aligned optical axes fixed to a lens holder in the optical axis or the direction perpendicular to the optical axis, and a separate lens drive is used to drive the lens modules. The device is used. However, the lens driving device consumes high power and has the problem of increasing thickness due to the need to add a cover glass separate from the camera module to protect it.

또한, 고품질 이미지에 대한 수요자의 요구가 증대됨에 따라, 초해상도 이미지를 촬영할 수 있는 이미지 센서가 요구되고 있다. 그러나, 이를 위해 이미지 센서에 포함되는 픽셀의 수가 증가될 수 밖에 없는데, 이는 이미지 센서의 크기를 증가시키게 되고 소모 전력이 낭비되는 결과를 초래할 수 있다.In addition, as consumer demand for high-quality images increases, there is a demand for image sensors capable of shooting super-resolution images. However, for this purpose, the number of pixels included in the image sensor must increase, which increases the size of the image sensor and may result in wasted power consumption.

즉, 기존의 카메라 모듈은 복수의 어레이의 데이터를 그대로 사용하므로, 이미지 센서의 물리적 분해능만큼의 해상도를 갖는 한계가 있다. 또한, 초해상도의 이미지를 생성하기 위해서는 다수의 카메라를 사용해야 하는 제약이 따른다.In other words, existing camera modules use data from multiple arrays as is, so there is a limit to having a resolution equal to the physical resolution of the image sensor. Additionally, there is a limitation in that multiple cameras must be used to generate super-resolution images.

실시 예에서는 이미지 센서의 픽셀 수를 증가시키지 않고 초해상도 이미지를 생성할 수 있는 카메라 장치 및 이의 동작 방법을 제공할 수 있도록 한다.The embodiment provides a camera device that can generate a super-resolution image without increasing the number of pixels of the image sensor and a method of operating the same.

또한, 실시 예에서는 어레이 구조를 가진 어레이 렌즈부 및 어레이 센서부를 통해 획득된 복수의 이미지를 이용하여 초해상도의 이미지를 제공할 수 있는 카메라 장치 및 이의 동작 방법을 제공할 수 있도록 한다.In addition, the embodiment provides a camera device capable of providing super-resolution images using a plurality of images acquired through an array lens unit and an array sensor unit having an array structure, and a method of operating the same.

실시 예에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The technical problems to be achieved in the embodiment are not limited to the technical problems mentioned above, and other technical problems not mentioned will be clearly understood by those skilled in the art from the description below. You will be able to.

또한, 상기 복수의 카메라 모듈을 통해 획득되는 제1 이미지는 제1 해상도를 가지고, 상기 제2 이미지는, 상기 제1 해상도보다 높은 제2 해상도를 가진다.Additionally, the first image acquired through the plurality of camera modules has a first resolution, and the second image has a second resolution that is higher than the first resolution.

또한, 상기 복수의 카메라 모듈은, 상기 상대 위치 정보에 대응하는 서로 다른 시차를 가지며, 상기 복수의 제1 이미지는, 상기 복수의 카메라 모듈을 통해 동일 시점에 획득된다.Additionally, the plurality of camera modules have different parallaxes corresponding to the relative position information, and the plurality of first images are acquired at the same time through the plurality of camera modules.

또한, 상기 제어부는, 상기 복수의 제1 이미지 내에서 피사체의 특징점들을 각각 검출하고, 상기 검출된 특징점들의 무게 중심을 산출하며, 상기 상대 위치 정보에 기반하여, 상기 복수의 제1 이미지 사이의 상기 무게 중심의 델타 값을 이용하여 상기 피사체와의 거리를 산출한다.In addition, the control unit detects each feature point of the subject within the plurality of first images, calculates the center of gravity of the detected feature points, and, based on the relative position information, determines the distance between the plurality of first images. The distance to the subject is calculated using the delta value of the center of gravity.

또한, 상기 제어부는, 상기 산출한 피사체와의 거리를 이용하여 상기 피사체의 방사율을 보정한다.Additionally, the control unit corrects the emissivity of the subject using the calculated distance to the subject.

또한, 상기 복수의 카메라 모듈의 내부 파라미터, 상기 상대 위치 정보 및 피사체와의 거리에 따른 방사율 보정 정보를 저장하는 저장부를 포함한다.Additionally, it includes a storage unit that stores internal parameters of the plurality of camera modules, the relative position information, and emissivity correction information according to the distance to the subject.

또한, 상기 제어부는, 상기 상대 위치 정보에 기반하여, 상기 제2 이미지 내에서의 상기 복수의 제1 이미지의 위치를 각각 결정한다.Additionally, the control unit determines the positions of the plurality of first images within the second image, respectively, based on the relative position information.

또한, 상기 이미지 처리부는, 상기 복수의 제1 이미지를 가우시안 필터링하는 전처리 필터부; 상기 상대 위치 정보 및 상기 보정된 방사율에 기반하여, 상기 전처리 필터부를 통해 필터링된 복수의 제1 이미지를 합성하여 제2 이미지를 생성하는 이미지 생성부; 및 상기 이미지 생성부를 통해 생성된 제2 이미지를 라플라시안 필터링하는 후처리 필터부를 포함한다.Additionally, the image processing unit may include a pre-processing filter unit that performs Gaussian filtering on the plurality of first images; an image generator that generates a second image by combining the plurality of first images filtered through the pre-processing filter unit, based on the relative position information and the corrected emissivity; and a post-processing filter unit that performs Laplacian filtering on the second image generated through the image generator.

또한, 상기 전처리 필터부는, 0.1보다 크고, 1보다 작은 범위 내에서의 시그마 값을 적용하여 상기 복수 개의 이미지 프레임을 가우시안 필터링한다.Additionally, the pre-processing filter unit performs Gaussian filtering on the plurality of image frames by applying a sigma value within a range greater than 0.1 and less than 1.

한편, 실시 예에 따른 카메라 장치의 동작 방법은 어레이 렌즈부 및 어레이 센서부로 구성된 복수의 카메라 모듈의 초점 거리 및 주점 정보를 포함한 내부 파라미터를 산출하는 단계; 상기 복수의 카메라를 통해 피사체에 대한 복수의 제1 이미지를 획득하는 단계; 및 상기 산출한 내부 파라미터에 기반하여, 상기 복수의 제1 이미지를 합성하여 제2 이미지를 생성하는 단계를 포함하고, 상기 산출하는 단계는, 상기 복수의 카메라 모듈에 대해 각각 캘리브레이션을 진행하여 상기 복수의 카메라 모듈에 대한 내부 파라미터를 각각 산출하는 단계; 및 상기 복수의 카메라 모듈의 내부 파라미터를 이용하여 상기 복수의 카메라 모듈 사이의 상대 위치 정보를 획득하는 단계;를 포함하고, 상기 제2 이미지는, 상기 획득된 내부 파라미터 및 상기 상대 위치 정보에 기반하여 생성되며, 상기 제1 이미지는 제1 해상도를 가지고, 상기 제2 이미지는, 상기 제1 해상도보다 높은 제2 해상도를 가진다.Meanwhile, a method of operating a camera device according to an embodiment includes calculating internal parameters including focal length and main point information of a plurality of camera modules composed of an array lens unit and an array sensor unit; acquiring a plurality of first images of a subject through the plurality of cameras; and generating a second image by compositing the plurality of first images based on the calculated internal parameters, wherein the calculating step involves calibrating each of the plurality of camera modules to obtain the plurality of first images. Calculating internal parameters for each camera module; and obtaining relative position information between the plurality of camera modules using internal parameters of the plurality of camera modules, wherein the second image is generated based on the acquired internal parameters and the relative position information. Generated, the first image has a first resolution, and the second image has a second resolution higher than the first resolution.

또한, 상기 복수의 제1 이미지는, 동일 시점에 획득된 서로 다른 시차를 가지는 이미지이다.Additionally, the plurality of first images are images with different parallaxes acquired at the same time.

또한, 상기 피사체와의 거리를 산출하는 단계; 및 상기 산출된 피사체와의 거리에 기반하여 상기 피사체의 방사율을 보정하는 단계를 포함한다.Additionally, calculating the distance to the subject; and correcting the emissivity of the subject based on the calculated distance to the subject.

또한, 상기 거리를 산출하는 단계는, 상기 복수의 제1 이미지 내에서 피사체의 특징점들을 각각 검출하는 단계; 상기 검출된 특징점들의 무게 중심을 산출하는 단계; 및, 상기 상대 위치 정보에 기반하여, 상기 복수의 제1 이미지 사이의 상기 무게 중심의 델타 값을 이용하여 상기 피사체와의 거리를 산출하는 단계를 포함한다.In addition, calculating the distance may include detecting each feature point of the subject within the plurality of first images; calculating the center of gravity of the detected feature points; And, based on the relative position information, calculating the distance to the subject using the delta value of the center of gravity between the plurality of first images.

또한, 상기 제2 이미지를 생성하는 단계는, 상기 상대 위치 정보에 기반하여, 상기 제2 이미지 내에서의 상기 복수의 제1 이미지의 위치를 각각 결정하는 단계를 포함한다.Additionally, generating the second image includes determining the positions of each of the plurality of first images within the second image based on the relative position information.

또한, 상기 제2 이미지를 생성하는 단계는, 상기 복수의 제1 이미지를 가우시안 필터링하는 단계; 상기 상대 위치 정보 및 상기 보정된 방사율에 기반하여, 상기 가우시안 필터링된 복수의 제1 이미지를 합성하여 제2 이미지를 생성하는 단계; 및 상기 제2 이미지를 라플라시안 필터링하는 단계를 포함한다.Additionally, generating the second image may include Gaussian filtering the plurality of first images; generating a second image by combining the plurality of Gaussian filtered first images based on the relative position information and the corrected emissivity; and Laplacian filtering the second image.

실시 예에서는 어레이 렌즈부 및 어레이 센서부를 포함하는 카메라 모듈에서, 각 카메라부별로 캘리브레이션을 진행하여 각 카메라부가 가지는 초점 거리 및 주점 정보를 포함한 위치 좌표 정보를 추출한다. 그리고, 실시 예에서는 상기 위치 좌표 정보를 이용하여 각 카메라부 사이의 시차(parallax) 정보를 획득한다. 상기와 같은 실시 예에 따르면 각각의 카메라부별로 캘리브레이션을 진행하기 때문에, 상기 카메라부에서 획득된 이미지를 이용하여 정확한 거리 정보를 추출할 수 있다. In an embodiment, in a camera module including an array lens unit and an array sensor unit, calibration is performed for each camera unit to extract position coordinate information including the focal length and main point information of each camera unit. And, in the embodiment, parallax information between each camera unit is obtained using the position coordinate information. According to the above embodiment, since calibration is performed for each camera unit, accurate distance information can be extracted using the image acquired from the camera unit.

또한, 실시 예에서는 상기 위치 좌표 정보에 기반하여 각각의 카메라부의 틀어짐 정도를 정확히 알 수 있으며, 이를 토대로 하나의 초해상도의 이미지 내에서 각각의 저해상도 이미지의 위치를 정확히 설정할 수 있어 초해상도 이미지 생성에 대한 정확도 및 신뢰성을 향상시킬 수 있다.In addition, in the embodiment, the degree of distortion of each camera unit can be accurately known based on the position coordinate information, and based on this, the position of each low-resolution image within one super-resolution image can be accurately set, allowing for super-resolution image generation. Accuracy and reliability can be improved.

또한, 실시 예에서는 어레이 센서부를 통해 획득된 이미지를 이용하여, 하나의 센서부가 가지는 물리적 분해능보다 높은 초해상도를 갖는 이미지를 얻을 수 있다.Additionally, in an embodiment, an image having a higher super-resolution than the physical resolution of one sensor unit can be obtained using an image acquired through an array sensor unit.

또한, 실시 예에 의하면, 시간적으로 다른 시점에 획득된 프레임이 아닌, 동일 시점에 획득된 프레임을 이용하여 초해상도의 합성 프레임을 생성함으로써, 프레임 레이트의 저하를 방지할 수 있다.Additionally, according to an embodiment, a decrease in frame rate can be prevented by generating a super-resolution composite frame using a frame acquired at the same time point rather than a frame acquired at a temporally different point in time.

실시 예에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The effects that can be obtained in the embodiment are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the description below.

도 1은 실시 예에 따른 카메라 장치의 구성을 나타낸 블록도이다.
도 2는 도1의 카메라부의 일 구성 예이다.
도 3은 도1의 이미지 처리부의 상세 구성을 나타낸 블록도이다.
도 4는 실시 예에 따른 카메라 장치의 구조를 나타낸 도면이다.
도 5는 실시 예에 따른 카메라 장치의 동작 방법을 단계별로 설명하기 위한 흐름도이다.
도 6은 내부 파라미터 추출을 위해 제공되는 이미지를 나타낸 도면이다.
도 7 및 8은 서로 다른 거리에 위치한 피사체로부터 획득된 영상으로부터의 델타 값 변화를 나타낸다.
도 9는 일반적인 카메라 장치에서의 초해상도 이미지를 생성하기 위한 동작 방법을 나타낸 도면이다.
도 10은 실시 예에 따른 센서부를 통해 생성된 이미지 프레임을 나타낸 도면이다.
도 11은 실시 예에 따른 전처리 필터부에서 필터링된 이미지 프레임을 나타낸 도면이다.
도 12는 실시 예에 따른 이미지 생성부에서 생성된 초해상도 이미지 프레임을 나타낸 도면이다.
도 13은 실시 예에 따른 후처리 필터부에서 필터링된 이미지 프레임을 나타낸 도면이다. 1 is a block diagram showing the configuration of a camera device according to an embodiment.
Figure 2 is an example of a configuration of the camera unit of Figure 1.
FIG. 3 is a block diagram showing the detailed configuration of the image processing unit of FIG. 1.
Figure 4 is a diagram showing the structure of a camera device according to an embodiment.
Figure 5 is a flowchart for step-by-step explaining a method of operating a camera device according to an embodiment.
Figure 6 is a diagram showing an image provided for extracting internal parameters.
7 and 8 show changes in delta values from images acquired from subjects located at different distances.
Figure 9 is a diagram showing an operation method for generating a super-resolution image in a general camera device.
Figure 10 is a diagram showing an image frame generated through a sensor unit according to an embodiment.
Figure 11 is a diagram showing an image frame filtered in a pre-processing filter unit according to an embodiment.
Figure 12 is a diagram showing a super-resolution image frame generated by an image generator according to an embodiment.
Figure 13 is a diagram showing an image frame filtered in a post-processing filter unit according to an embodiment.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the attached drawings.

다만, 본 발명의 기술 사상은 설명되는 일부 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 기술 사상 범위 내에서라면, 실시 예들간 그 구성 요소들 중 하나 이상을 선택적으로 결합, 치환하여 사용할 수 있다.However, the technical idea of the present invention is not limited to some of the described embodiments, but may be implemented in various different forms, and as long as it is within the scope of the technical idea of the present invention, one or more of the components may be optionally used between the embodiments. It can be used by combining and replacing.

또한, 본 발명의 실시 예에서 사용되는 용어(기술 및 과학적 용어를 포함)는, 명백하게 특별히 정의되어 기술되지 않는 한, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 일반적으로 이해될 수 있는 의미로 해석될 수 있으며, 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미를 고려하여 그 의미를 해석할 수 있을 것이다. 또한, 본 발명의 실시예에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다.In addition, terms (including technical and scientific terms) used in the embodiments of the present invention, unless specifically defined and described, are generally understood by those skilled in the art to which the present invention pertains. It can be interpreted as meaning, and the meaning of commonly used terms, such as terms defined in a dictionary, can be interpreted by considering the contextual meaning of the related technology. Additionally, the terms used in the embodiments of the present invention are for describing the embodiments and are not intended to limit the present invention.

본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함할 수 있고, "A 및(와) B, C중 적어도 하나(또는 한 개 이상)"로 기재되는 경우 A, B, C로 조합할 수 있는 모든 조합 중 하나 이상을 포함 할 수 있다. 또한, 본 발명의 실시 예의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다.In this specification, the singular may also include the plural unless specifically stated in the phrase, and when described as "at least one (or more than one) of A and B and C", it is combined with A, B, and C. It can contain one or more of all possible combinations. Additionally, when describing the components of an embodiment of the present invention, terms such as first, second, A, B, (a), and (b) may be used.

이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등으로 한정되지 않는다. 그리고, 어떤 구성 요소가 다른 구성요소에 '연결', '결합' 또는 '접속'된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결, 결합 또는 접속되는 경우 뿐만아니라, 그 구성 요소와 그 다른 구성요소 사이에 있는 또 다른 구성 요소로 인해 '연결', '결합' 또는 '접속＇되는 경우도 포함할 수 있다.These terms are only used to distinguish the component from other components, and are not limited to the essence, sequence, or order of the component. And, when a component is described as being 'connected', 'coupled' or 'connected' to another component, the component is not only directly connected, combined or connected to that other component, but also is connected to that component. It may also include cases where other components are 'connected', 'coupled', or 'connected' by another component between them.

또한, 각 구성 요소의 " 상(위) 또는 하(아래)"에 형성 또는 배치되는 것으로 기재되는 경우, 상(위) 또는 하(아래)는 두개의 구성 요소들이 서로 직접 접촉되는 경우뿐만 아니라 하나 이상의 또 다른 구성 요소가 두 개의 구성 요소들 사이에 형성 또는 배치되는 경우도 포함한다. 또한, "상(위) 또는 하(아래)"으로 표현되는 경우 하나의 구성 요소를 기준으로 위쪽 방향뿐만 아니라 아래쪽 방향의 의미도 포함할 수 있다.In addition, when described as being formed or disposed "on top or bottom" of each component, top or bottom refers not only to cases where two components are in direct contact with each other, but also to one component. This also includes cases where another component described above is formed or placed between two components. In addition, when expressed as "top (above) or bottom (bottom)", it may include not only the upward direction but also the downward direction based on one component.

도 1은 실시 예에 따른 카메라 장치의 구성을 나타낸 블록도이고, 도 2는 도1의 카메라부의 일 구성 예이며, 도 3은 도1의 이미지 처리부의 상세 구성을 나타낸 블록도이다.FIG. 1 is a block diagram showing the configuration of a camera device according to an embodiment, FIG. 2 is a configuration example of the camera unit of FIG. 1, and FIG. 3 is a block diagram showing the detailed configuration of the image processing unit of FIG. 1.

도 1 및 도 2를 참조하면, 카메라 장치는 카메라부(110), 이미지 처리부(120), 저장부(120) 및 제어부(140)를 포함한다.Referring to FIGS. 1 and 2 , the camera device includes a camera unit 110, an image processing unit 120, a storage unit 120, and a control unit 140.

카메라부(110)는 어레이 렌즈(111) 및 어레이 센서(112)를 포함한다.The camera unit 110 includes an array lens 111 and an array sensor 112.

그리고, 어레이 렌즈(111)는 어레이로 구성된 복수의 단위 렌즈부를 포함한다. 예를 들어, 어레이 렌즈(111)는 제1 내지 제N 단위 렌즈를 포함할 수 있다. And, the array lens 111 includes a plurality of unit lens units configured as an array. For example, the array lens 111 may include first to Nth unit lenses.

또한, 어레이 센서(112)는 어레이로 구성된 복수의 단위 센서를 포함할 수 있다. 예를 들어, 어레이 센서(112)는 어레이 렌즈(111)에 대응하게 배치되는 제1 내지 제N 단위 센서부를 포함할 수 있다. Additionally, the array sensor 112 may include a plurality of unit sensors configured as an array. For example, the array sensor 112 may include first to Nth unit sensor units disposed to correspond to the array lens 111.

이때, 어레이 렌즈(111)를 구성하는 각각의 단위 렌즈부는, 어레이 센서(112)는 구성하는 각각의 단위 센서부와 광축상에서 정렬되어 배치될 수 있다. 예를 들어, 제1 단위 센서부는 제1 단위 렌즈부와 광축상에서 정렬되어 배치될 수 있다. 그리고, 제2 단위 센서부는 제2 단위 렌즈부와 광축상에서 정렬되어 배치될 수 있다. 이와 마찬가지로, 제N 단위 렌즈부는 제N 단위 센서부와 광축 상에서 정렬되어 배치될 수 있다. 즉, 상기 어레이 렌즈(111)는 광축과는 다른 방향으로 배열되는 복수의 단위 렌즈부를 포함한다. 그리고, 어레이 센서(112)는 상기 복수의 단위 렌즈부와 광축상에서 각각 정렬되는 복수의 단위 센서부를 포함할 수 있다.At this time, each unit lens unit constituting the array lens 111 and the array sensor 112 may be arranged to be aligned with each unit sensor unit constituting the optical axis. For example, the first unit sensor unit may be arranged to be aligned with the first unit lens unit on the optical axis. Also, the second unit sensor unit may be arranged to be aligned with the second unit lens unit on the optical axis. Likewise, the N-th unit lens unit may be arranged to be aligned with the N-th unit sensor unit on the optical axis. That is, the array lens 111 includes a plurality of unit lens units arranged in a direction different from the optical axis. Additionally, the array sensor 112 may include the plurality of unit lens units and a plurality of unit sensor units respectively aligned on the optical axis.

어레이 렌즈(111)는 외부로부터 입사되는 광을 통과시켜 어레이 센서부(112)에 광 신호를 전달할 수 있다. 바람직하게, 어레이 렌즈(111)를 구성하는 각각의 단위 렌즈부는, 광축 상에서 정렬된 각각의 단위 센서부로 상기 광 신호를 전달할 수 있다. The array lens 111 can pass light incident from the outside and transmit an optical signal to the array sensor unit 112. Preferably, each unit lens unit constituting the array lens 111 can transmit the optical signal to each unit sensor unit aligned on the optical axis.

한편, 상기 어레이 렌즈(111)는 제1 어레이 렌즈부 및 제2 어레이 렌즈부를 포함할 수 있다. 즉, 어레이 렌즈(111)는 복수의 층으로 구성된 렌즈 영역을 포함할 수 있다. 이에 따라, 상기 복수의 단위 렌즈부 각각은, 상기 제1 및 제2 어레이 렌즈부에 대응하여, 광축 상에서 정렬된 복수의 렌즈를 포함할 수 있다. 이때, 각각의 단위 렌즈부에 포함되는 복수의 렌즈들은 하나의 광학계를 형성하고, 각각의 단위 센서부의 광축을 중심으로 정렬되어 배치될 수 있다. Meanwhile, the array lens 111 may include a first array lens unit and a second array lens unit. That is, the array lens 111 may include a lens area composed of multiple layers. Accordingly, each of the plurality of unit lens units may include a plurality of lenses aligned on the optical axis, corresponding to the first and second array lens units. At this time, the plurality of lenses included in each unit lens unit form one optical system, and may be aligned and arranged around the optical axis of each unit sensor unit.

이때, 상기 각각의 단위 렌즈부는 피사체에서 발생하는 적외선 파장 대역을 검출하기 위한 적외선 대역의 렌즈들을 포함할 수 있다. At this time, each unit lens unit may include lenses in the infrared band for detecting the infrared wavelength band generated from the subject.

즉, 실시 예에 따른 카메라 장치는 열화상 카메라 장치이다. 이에 따라, 단위 렌즈부를 구성하는 렌즈들은 피사체에서 발생하는 적외선 복사를 감지하기 위해, 일반적인 카메라 모듈에서 사용되는 가시광 대역의 렌즈가 아닌 적외선 복사 에너지 파장 대역을 통과하면서 가시광 대역은 통과되지 않는 게르마늄(Ge) 또는 실리콘(Si)으로 구성된 렌즈를 사용할 수 있다. 또한, 단위 렌즈부는 반사 코팅층이 형성될 수 있고, 이에 따라 적외선 복사 에너지의 반사를 방지하면서 상기 적외선 복사 에너지가 모두 통과되도록 할 수 있다.That is, the camera device according to the embodiment is a thermal imaging camera device. Accordingly, in order to detect infrared radiation generated from the subject, the lenses constituting the unit lens unit are made of germanium (Ge) that passes through the infrared radiation energy wavelength band but does not pass through the visible light band, rather than the visible light band lens used in general camera modules. ) or a lens made of silicon (Si) can be used. Additionally, a reflective coating layer may be formed on the unit lens unit, thereby preventing reflection of infrared radiant energy and allowing all infrared radiant energy to pass through.

즉, 단위 렌즈부는 피사체로부터 방출되는 적외선을 투과시키기 위해, 칼코게나이드 글라스(Chalcogenide glass) 소재의 PGM (Precision Glass Molding) 가공된 렌즈를 포함할 수 있다. That is, the unit lens unit may include a PGM (Precision Glass Molding) processed lens made of chalcogenide glass to transmit infrared rays emitted from the subject.

또한, 어레이 렌즈(111)는 전방에 렌즈를 보호하기 위한 적외선 투과 윈도우(도시하지 않음)를 더 포함할 수 있다. 적외선 투과 윈도우는 CaF2, BaF2 또는 폴리에틸렌(Polyethylene) 등의 재질로 제작될 수 있다.Additionally, the array lens 111 may further include an infrared transmission window (not shown) on the front side to protect the lens. Infrared transmission windows can be made of materials such as CaF2, BaF2, or polyethylene.

어레이 센서(112)는 적외선 복사 에너지에 대하여 감응하는 소자를 포함할 수 있다. 즉, 어레이 센서(112)는 상기 소자를 이용하여 상기 적외선 복사 에너지에 대응하는 에너지를 검출할 수 있다. 바람직하게, 어레이 센서(112)는 단위 렌즈부를 통해 각각 입사되는 적외선 복사 에너지의 결과를 전기적 신호로 만들어주는 역할을 하는 복수의 단위 센서부를 포함할 수 있다.Array sensor 112 may include an element that is sensitive to infrared radiant energy. That is, the array sensor 112 can detect energy corresponding to the infrared radiant energy using the device. Preferably, the array sensor 112 may include a plurality of unit sensor units that convert the result of infrared radiant energy incident through each unit lens unit into an electrical signal.

바람직하게, 단위 센서부는 단위 렌즈부를 통해 투과된 적외선으로부터 피사체의 온도를 감지하여 대응하는 물리적 특성 변화(아날로그 신호)를 출력한다. 이와 같은 단위 센서부는 마이크로볼로미터 어레이(MBA: MicroBolometer Array)가 사용될 수 있다.Preferably, the unit sensor unit detects the temperature of the subject from infrared light transmitted through the unit lens unit and outputs a corresponding change in physical characteristics (analog signal). For this unit sensor unit, a microbolometer array (MBA: MicroBolometer Array) may be used.

이때, 상기 어레이 렌즈(111) 및 어레이 센서(112)는 각각 m*n 어레이일 수 있다. 예를 들어, 상기 어레이 센서(112) 및 어레이 센서(112)는 2*2 어레이를 구성할 수 있다. 이와 같은 경우, 단위 렌즈부도 2*2로 배치되어 시차를 가지는 4개의 광을 각각의 단위 센서부로 통과시킬 수 있다. 또한, 단위 센서부도 단위 렌즈부에 대응하여 2*2로 배치되고, 그에 따라 단위 렌즈부를 통과한 광에 기반하여 이미지를 생성할 수 있다. At this time, the array lens 111 and the array sensor 112 may each be an m*n array. For example, the array sensor 112 and the array sensor 112 may form a 2*2 array. In this case, the unit lens units are also arranged in a 2*2 arrangement so that four lights with parallax can pass through each unit sensor unit. Additionally, the unit sensor unit is also arranged in a 2*2 arrangement corresponding to the unit lens unit, and thus an image can be generated based on the light passing through the unit lens unit.

한편, 본 발명에서는 저해상도 이미지를 합성하여 하나의 초해상도 이미지를 생성하며, 이를 위해 상기 m과 n은 2 이상의 자연수로 구성되는 것이 바람직하다. 예를 들어, 상기 어레이 렌즈(111) 및 어레이 센서(112)가 2*2로 구성되는 경우, 상기 초해상도 이미지는 4장의 저해상도 이미지의 합성에 의해 형성될 수 있다. 또한, 더욱 높은 해상도를 가지는 이미지를 생성하기 위해, 상기 어레이 렌즈(111) 및 어레이 센서(112)의 어레이 수는 더 증가할 수 있다. Meanwhile, in the present invention, one super-resolution image is created by combining low-resolution images, and for this purpose, m and n are preferably composed of natural numbers of 2 or more. For example, when the array lens 111 and the array sensor 112 are configured as 2*2, the super-resolution image may be formed by combining four low-resolution images. Additionally, in order to generate images with higher resolution, the number of array lenses 111 and array sensors 112 may be further increased.

도 2에 도시된 바와 같이, 어레이 렌즈(111) 및 어레이 센서(112)는 4*4 어레이로 구성될 수 있다. 이에 따라, 어레이 렌즈(111)는 제1 내지 제16 단위 렌즈부(111a)를 포함할 수 있다. 또한, 이와 대응되게 어레이 센서(112)는 제1 내지 제16 단위 센서부(112b)를 포함할 수 있다.As shown in FIG. 2, the array lens 111 and the array sensor 112 may be configured in a 4*4 array. Accordingly, the array lens 111 may include first to sixteenth unit lens units 111a. Additionally, correspondingly, the array sensor 112 may include first to sixteenth unit sensor units 112b.

이미지 처리부(120)는 어레이 센서(112)의 출력 신호를 수신하고, 이를 이미지 처리(예를 들어, 보간, 프레임 합성 등)를 수행하는 이미지 프로세서일 수 있다. 특히, 이미지 처리부(120)는 시차(관측 위치에 따른 피사체의 위치나 방향의 차이, parallax)를 가지는 복수의 프레임의 이미지 신호를 합성하여, 하나의 초해상도의 이미지 신호를 생성할 수 있다. 이때, 복수의 프레임의 이미지 신호는 각각의 단위 센서부의 출력신호일 수 있다. 그리고, 어레이 센서(112)가 2*2 어레이인 경우, 상기 복수의 이미지 프레임은 제1 내지 제4 이미지 프레임을 포함할 수 있다.The image processing unit 120 may be an image processor that receives the output signal of the array sensor 112 and performs image processing (eg, interpolation, frame synthesis, etc.) on it. In particular, the image processing unit 120 can generate one super-resolution image signal by combining image signals of a plurality of frames with parallax (difference in the position or direction of the subject depending on the observation position, parallax). At this time, the image signals of the plurality of frames may be output signals of each unit sensor unit. Also, when the array sensor 112 is a 2*2 array, the plurality of image frames may include first to fourth image frames.

카메라부((110)는 상기 어레이 렌즈(111) 및 어레이 센서(112)를 통해 각각의 단위 렌즈부 및 단위 센서부 사이의 간격(보다 명확하게는, 각각의 단위 렌즈부 및 단위 센서부 사이의 위치 좌표 정보)에 대응하는 시차를 가지는 복수의 이미지를 획득할 수 있다.The camera unit (110) detects the distance between each unit lens unit and the unit sensor unit (more specifically, the distance between each unit lens unit and the unit sensor unit) through the array lens 111 and the array sensor 112. A plurality of images with parallax corresponding to location coordinate information) can be obtained.

저장부(130)는 제어부(140)의 처리 또는 제어를 위한 프로그램 등 카메라 장치의 전반의 동작을 위한 다양한 데이터를 저장할 수 있다.The storage unit 130 may store various data for the overall operation of the camera device, such as programs for processing or controlling the control unit 140.

예를 들어, 저장부(130)는 카메라부를 구성하는 각 카메라 모듈의 위치 좌표 정보를 저장할 수 있다. 즉, 저장부(130)는 각 카메라 모듈의 초점 거리 및 주점 정보를 저장할 수 있다. For example, the storage unit 130 may store location coordinate information of each camera module constituting the camera unit. That is, the storage unit 130 can store the focal length and main point information of each camera module.

또한, 저장부(130)는 거리에 따라 변화하는 피사체의 방사율에 대한 보정 정보를 저장할 수 있다. 저장부(130)는 하드웨어적으로, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기 일 수 있다.Additionally, the storage unit 130 may store correction information for the emissivity of the subject that changes with distance. The storage unit 130 may be a variety of hardware storage devices such as ROM, RAM, EPROM, flash drive, hard drive, etc.

제어부(140)는 카메라 장치의 전반적인 동작을 제어할 수 있다. The control unit 140 can control the overall operation of the camera device.

우선적으로, 제어부(140)는 카메라부의 캘리브레이션 동작을 제어할 수 있다. 이때, 제어부(140)는 카메라 모듈별로 각각 캘리브레이션 동작이 진행되도록 할 수 있다. 즉, 카메라부는 복수의 단위 렌즈부 및 복수의 단위 센서부를 포함한다. 그리고, 복수의 단위 렌즈부 중 제1 단위 렌즈부는 복수의 단위 센서부 중 제1 단위 센서부와 광축 상에서 정렬될 수 있다. 이때, 상기 제1 렌즈부와 상기 제1 단위 센서부는 제1 이미지를 생성하는 제1 카메라 모듈일 수 있다. 그리고, 상기 어레이 수에 따라 상기 카메라 모듈은 N개로 구성될 수 있다. 예를 들어, 도 2와 같이 어레이가 구성된 경우, 상기 카메라부는 제1 내지 제16 카메라 모듈을 포함할 수 있다.First, the control unit 140 can control the calibration operation of the camera unit. At this time, the control unit 140 may allow a calibration operation to be performed for each camera module. That is, the camera unit includes a plurality of unit lens units and a plurality of unit sensor units. Also, the first unit lens unit among the plurality of unit lens units may be aligned with the first unit sensor unit among the plurality of unit sensor units on the optical axis. At this time, the first lens unit and the first unit sensor unit may be a first camera module that generates the first image. And, depending on the number of arrays, the camera module may be composed of N pieces. For example, when the array is configured as shown in FIG. 2, the camera unit may include first to sixteenth camera modules.

제어부(140)는 상기 각각의 카메라 모듈별로 캘리브레이션을 진행하여, 각 카메라 모듈이 가지는 초점 거리 및 주점 정보를 추출한다. 그리고, 상기 추출된 각 카메라 모듈의 초점 거리 및 주점 정보는 저장부(120)에 저장될 수 있다.The control unit 140 performs calibration for each camera module and extracts the focal length and main point information of each camera module. In addition, the extracted focal length and main point information of each camera module may be stored in the storage unit 120.

이를 토대로, 제어부(140)는 카메라 모듈의 캘리브레이션을 통한 각 카메라 모듈 간의 시차 정보를 획득할 수 있다. 상기 시차 정보는 카메라 모듈에서 각각 획득한 이미지에서의 피사체의 특징점을 이용하여 상기 피사체의 거리를 추출하는 과정에서, 보다 정확한 거리 추출이 가능하도록 할 수 있다.Based on this, the control unit 140 can obtain time difference information between each camera module through calibration of the camera module. The parallax information can enable more accurate distance extraction in the process of extracting the distance of the subject using feature points of the subject in each image acquired from the camera module.

또한, 상기 시차 정보는 상기 카메라 모듈에서 각각 획득한 이미지를 합성하여 하나의 초해상도 이미지를 생성할 때, 상기 초해상도 이미지 내에서 상기 카메라 모듈에서 획득한 각각의 이미지가 배치될 정확한 위치 지정이 가능하게 된다.In addition, the parallax information allows the precise location of each image acquired from the camera module within the super-resolution image when generating one super-resolution image by combining the images obtained from the camera module. I do it.

이때, 상기 카메라 모듈에서 각각 획득한 이미지를 단위 이미지라고 하고, 상기 복수의 단위 이미지를 합성하여 생성된 초해상도 이미지를 합성 이미지라고 한다.At this time, each image acquired from the camera module is called a unit image, and a super-resolution image created by combining the plurality of unit images is called a composite image.

또한, 제어부(140)는 상기 각각의 단위 이미지에서의 피사체의 특징점을 추출하고, 상기 특징점의 무게 중심을 추출한다. 그리고, 제어부(140)는 상기 각각의 단위 이미지에서 추출한 무게 중심의 위치 값을 비교하여, 상기 피사체와의 거리를 추출할 수 있다.Additionally, the control unit 140 extracts the feature point of the subject in each unit image and extracts the center of gravity of the feature point. Additionally, the control unit 140 may extract the distance to the subject by comparing the position values of the center of gravity extracted from each unit image.

또한, 제어부(140)는 상기 추출한 거리 정보를 반영하여, 상기 이미지 처리부(120)에서 합성 이미지가 생성되도록 할 수 있다. 즉, 피사체는 거리에 따라 방사율이 변화하게 된다. 이때, 상기 거리를 반영하여 상기 방사율을 보정하지 않는 경우, 상기 피사체의 정확한 온도 정보를 검출할 수 없다. 따라서, 실시 예에서는상기 카메라부를 통해 상기 피사체와의 거리정보까지 추출하고, 이를 토대로 상기 피사체의 방사율을 보정하며, 상기 보정된 방사율이 반영된 합성 이미지가 생성되도록 한다.Additionally, the control unit 140 may reflect the extracted distance information and allow the image processing unit 120 to generate a composite image. In other words, the emissivity of the subject changes depending on the distance. At this time, if the emissivity is not corrected by reflecting the distance, accurate temperature information of the subject cannot be detected. Therefore, in the embodiment, distance information to the subject is extracted through the camera unit, the emissivity of the subject is corrected based on this, and a composite image reflecting the corrected emissivity is generated.

도 3을 참조하면, 이미지 처리부(120)는 전처리 필터부(121), 이미지 생성부(122) 및 후처리 필터부(123)를 포함할 수 있다.Referring to FIG. 3, the image processing unit 120 may include a pre-processing filter unit 121, an image generating unit 122, and a post-processing filter unit 123.

전처리 필터부(121)는 단위 센서부를 통해 각각 획득되는 이미지 프레임을 수신할 수 있다. 즉, 전처리 필터부(121)는 제1 단위 센서부로부터 제1 이미지 프레임(F1)을 수신할 수 있다. 또한, 전처리 필터부(121)는 제2 단위 센서부로부터 제2 이미지 프레임(F2)을 수신할 수 있다. 또한, 전처리 필터부(121)는 제3 단위 센서부로부터 제3 이미지 프레임(F3)을 수신할 수 있다. 또한, 전처리 필터부(121)는 제4 단위 센서부로부터 제4 이미지 프레임(F4)을 수신할 수 있다. The pre-processing filter unit 121 may receive image frames each obtained through the unit sensor unit. That is, the pre-processing filter unit 121 may receive the first image frame F1 from the first unit sensor unit. Additionally, the pre-processing filter unit 121 may receive the second image frame F2 from the second unit sensor unit. Additionally, the pre-processing filter unit 121 may receive the third image frame F3 from the third unit sensor unit. Additionally, the pre-processing filter unit 121 may receive the fourth image frame F4 from the fourth unit sensor unit.

이때, 상기 제1 이미지 프레임(F1)은 제1 위치에 존재하는 제1 단위 센서부를 통해 획득된 이미지일 수 있다. At this time, the first image frame F1 may be an image acquired through the first unit sensor unit present at the first location.

또한, 상기 제2 이미지 프레임(F2)은 상기 제1 단위 센서부로부터 X축 방향으로 제1 픽셀 거리만큼 떨어진 제2 단위 센서부에서 획득된 이미지일 수 있다. Additionally, the second image frame F2 may be an image acquired from a second unit sensor unit spaced apart from the first unit sensor unit by a first pixel distance in the X-axis direction.

또한, 제3 이미지 프레임(F3)은 상기 제2 단위 센서부로부터 Y축 방향으로 제1 픽셀 거리만큼 떨어진 제3 단위 센서부에서 획득된 이미지일 수 있다.Additionally, the third image frame F3 may be an image acquired from a third unit sensor unit spaced apart from the second unit sensor unit by a first pixel distance in the Y-axis direction.

도한, 제4 이미지 프레임(F3)은 상기 제3 단위 센서부로부터 X축 방향으로 제1 픽셀 거리만큼 떨어진 제4 단위 센서부에서 획득된 이미지일 수 있다.Additionally, the fourth image frame F3 may be an image acquired by a fourth unit sensor unit that is separated from the third unit sensor unit by a first pixel distance in the X-axis direction.

그리고, 전처리 필터부(121)는 상기 단위 센서부를 통해 획득된 제1 내지 제4 이미지 프레임에 대해 가우시안 필터링을 진행할 수 있다. 여기에서, 가우시안 필터링(Gaussian Filtering)이란, 원본 영상을 흐리게 해주는 필터링 기법을 말하는 것으로서, 포토샵 같은 영상 애플리케이션 툴 등에서 사용되는 영상 흐림 기법(Blur Filtering)을 말한다. 가우시안 필터링을 거치게 되면, 영상의 주파수 중에서 저주파와 고주파를 통과되지 않게 되어 영상이 뿌옇게 보이게 된다. 즉, 전처리 필터부(121)는 상기 단위 센서부를 통해 각각 획득된 제1 내지 제4 이미지 프레임의 고주파 영역을 무너뜨려 블러링 효과를 적용함으로써, 상기 제1 내지 제4 이미지 프레임에 포함된 노이즈를 제거하도록 한다.Additionally, the pre-processing filter unit 121 may perform Gaussian filtering on the first to fourth image frames obtained through the unit sensor unit. Here, Gaussian Filtering refers to a filtering technique that blurs the original image, and refers to an image blurring technique (Blur Filtering) used in image application tools such as Photoshop. When Gaussian filtering is performed, low and high frequencies among the frequencies of the image are not passed through, making the image appear blurry. That is, the pre-processing filter unit 121 applies a blurring effect by breaking down the high-frequency regions of the first to fourth image frames each obtained through the unit sensor unit, thereby reducing the noise included in the first to fourth image frames. Make sure to remove it.

이때, 실시 예에서와 같은, 열화상 카메라를 통해 획득된 이미지 프레임에 대해 가우시안 필터링을 적용하는 경우, 이의 제어 팩터 설정이 중요한 요소로 작용하게 된다. 여기에서, 제어 팩터는 가우시안 필터에서 가우시안 블러를 이루는 가우시안 분포의 넓이 변수를 의미하는 σ(시그마) 값을 포함할 수 있다. 이때, 상기 시그마 값에 기반하여 이미지 처리부(120)에서 최종 출력되는 이미지의 화질이 크게 변화할 수 있다. At this time, when Gaussian filtering is applied to an image frame acquired through a thermal imaging camera, as in the embodiment, the control factor setting becomes an important factor. Here, the control factor may include a σ (sigma) value, which means the area variable of the Gaussian distribution that forms Gaussian blur in the Gaussian filter. At this time, the image quality of the image finally output from the image processing unit 120 may change significantly based on the sigma value.

이에 따라, 실시 예에서는 상기 전처리 필터부(121)를 구성하는 가우시안 필터의 제어 팩터를 구성하는 시그마 값을 다음의 식1과 같이 설정하도록 한다.Accordingly, in the embodiment, the sigma value constituting the control factor of the Gaussian filter constituting the pre-processing filter unit 121 is set as shown in Equation 1 below.

0.1 < σ < 1 ----- 식10.1 < σ < 1 ----- Equation 1

이때, 상기 시그마 값에 따라 상기 제1 내지 제4 이미지 프레임의 블러링 정도가 변화한다. 여기에서, 상기 시그마 값이 1보다 크게 되면, 상기 블러링의 정도가 심하게 되어, 이에 따른 열화상 이미지에 해당하는 제1 내지 제4 이미지 프레임 내에서의 경계가 무너지게 된다. 또한, 상기 시그마 값이 0.1보다 작으면 상기 제1 내지 제4 이미지 프레임에서의 블러링 정도가 너무 작아짐에 따라 노이즈가 정상적으로 제거되지 않을 수 있다. 따라서, 열화상 이미지에 대응하는 제1 내지 제4 이미지 프레임의 전처리를 위한 가우시안 필터링에서는, 제어 팩터에 해당하는 시그마 값을 0.1보다는 크고, 1보다는 작게 설정하도록 한다.At this time, the degree of blurring of the first to fourth image frames changes depending on the sigma value. Here, when the sigma value is greater than 1, the degree of blurring becomes severe, and the boundaries within the first to fourth image frames corresponding to the thermal image accordingly collapse. Additionally, if the sigma value is less than 0.1, the degree of blurring in the first to fourth image frames becomes too small and noise may not be removed properly. Therefore, in Gaussian filtering for preprocessing of the first to fourth image frames corresponding to the thermal image, the sigma value corresponding to the control factor is set to be greater than 0.1 and less than 1.

이미지 생성부(122)는 상기 전처리 필터부(121)를 통해 가우시안 필터링된 제1 내지 제4 이미지 프레임을 합성하여 합성 프레임을 생성한다. The image generator 122 generates a composite frame by synthesizing the first to fourth image frames that have been Gaussian filtered through the pre-processing filter unit 121.

이미지 생성부(122)는 상기 가우시안 필터링된 제1 내지 제4 프레임을 합성함으로써 NxM의 픽셀 어레이가 아닌 2Nx2M의 픽셀 어레이가 획득한 이미지를 생성할 수 있다. 이미지 생성부(122)가 제1 내지 제4 프레임을 합성하는 방법은, 제1 내지 제4 프레임을 각 픽셀의 위치에 따라 단순 병합(예를 들어, 첫 번째 행의 경우 A1의 픽셀 신호, B1의 픽셀 신호, A2의 픽셀 신호, B2의 픽셀 신호로 배열하여 하나의 프레임으로 생성)하는 방법, 또는 인접하는 픽셀의 경우 픽셀 장면이 오버랩됨을 이용하여 어느 하나의 픽셀(예컨대, C1)의 픽셀 신호를 인접하는 픽셀(예컨대, A1, B1, A2, D1, D2, A3, B3, A4)의 픽셀 신호를 이용해 보정하는 방법 등이 이용될 수 있으나, 실시 예의 범위는 이에 한정되지 않고 다양한 초해상도 이미지 생성 방법이 이용될 수 있다. The image generator 122 may generate an image obtained by a 2Nx2M pixel array rather than an NxM pixel array by combining the Gaussian filtered first to fourth frames. The method for the image generator 122 to synthesize the first to fourth frames is to simply merge the first to fourth frames according to the position of each pixel (for example, in the case of the first row, the pixel signal of A1 and B1 a method of generating one frame by arranging the pixel signal of A2, the pixel signal of B2, or in the case of adjacent pixels, the pixel signal of one pixel (e.g., C1) by using the pixel scene overlap. A method of correcting using pixel signals of adjacent pixels (e.g., A1, B1, A2, D1, D2, A3, B3, A4) may be used, but the scope of the embodiment is not limited to this and various super-resolution images A creation method may be used.

이때, 이미지 생성부(122)는 제어부(140)의 제어신호에 따라 상기 저장부(130)에 저장된 위치 좌표 정보에 기반하여, 상기 합성 이미지 내에서 상기 제1 내지 제4 프레임이 배열될 위치를 정확히 지정할 수 있다.At this time, the image generator 122 determines the position where the first to fourth frames will be arranged in the composite image based on the position coordinate information stored in the storage unit 130 in accordance with a control signal from the controller 140. You can specify it precisely.

후처리 필터부(123)는 이미지 생성부(122)를 통해 생성된 초해상도 이미지 프레임에 대해 후처리를 진행한다. The post-processing filter unit 123 performs post-processing on the super-resolution image frame generated through the image generation unit 122.

바람직하게, 후처리 필터부(123)는 상기 이미지 생성부(122)를 통해 생성된 초해상도 이미지 프레임에 대해 라플라시안 필터링을 진행한다.Preferably, the post-processing filter unit 123 performs Laplacian filtering on the super-resolution image frame generated through the image generation unit 122.

즉, 이미지 생성부(122)를 통해 초해상도 이미지 프레임이 생성되면, 후처리 필터부(123)를 라플라시안 필터링을 진행하여, 상기 초해상도 이미지 프레임에 대해 에지를 선명화하는 이미지 후처리를 진행할 수 있다. That is, when a super-resolution image frame is generated through the image generator 122, Laplacian filtering is performed in the post-processing filter unit 123, and image post-processing to sharpen the edges of the super-resolution image frame can be performed. there is.

바람직하게, 상기 후처리 필터부(123)는 라플라시안 필터를 포함할 수 있다. 이때, 라플라시안 필터는 일정 마스크 사이즈 내에서 필터링을 진행할 수 있다. 여기에서, 라플라시안 필터의 마스크 사이즈는 3*3 또는 5*5일 수 있다.Preferably, the post-processing filter unit 123 may include a Laplacian filter. At this time, the Laplacian filter can perform filtering within a certain mask size. Here, the mask size of the Laplacian filter may be 3*3 or 5*5.

한편, 실시 예에서는 상기 획득된 제1 내지 제4 프레임에 대해, 점확산 함수(PSF, Point Spread Function)을 적용하여 이미지 처리를 진행할 수 있다. Meanwhile, in the embodiment, image processing may be performed by applying a point spread function (PSF) to the obtained first to fourth frames.

즉, 일반적으로, 카메라 모듈은 적어도 하나의 렌즈로 이루어진 광학계를 구비한다. 카메라 모듈에 의해 얻어진 이미지는 실제 이미지와는 차이가 있게 되는데, 이는 카메라 모듈의 해상력이 수차(Aberration, 收差)에 의한 영향을 받기 때문이다. 수차(Aberration, 收差)란 빛이 광학계를 통과한 다음, 한 점에 모이지 않아 이미지가 흐려 보이거나 빛깔이 있어 보이거나 일그러지는 현상이 나타나는 것을 말한다. 수차에는 일정한 파장의 단색광을 사용했을 때 나타나는 단색 수차와 광학계의 굴절률이 빛의 파장에 따라 다르기 때문에 나타나는 색수차가 있다.That is, generally, a camera module has an optical system consisting of at least one lens. The image obtained by the camera module may differ from the actual image because the resolution of the camera module is affected by aberration. Aberration refers to a phenomenon in which light does not converge at one point after passing through an optical system, causing the image to appear blurred, discolored, or distorted. Aberrations include monochromatic aberration, which appears when monochromatic light of a certain wavelength is used, and chromatic aberration, which appears because the refractive index of the optical system varies depending on the wavelength of light.

여기서, 단색 수차는 구면 수차, 코마 수차, 비점 수차, 만곡 수차 및 왜곡 수차뿐만 아니라, 틸트(Tilt) 수차, 초점 흐림(Defocus) 수차를 더 포함하는 의미로 이해될 수 있다. 본 명세서에서 수차는 단색 수차 및 색 수차 중 적어도 하나를 포함하는 의미로 이해될 수 있다. 한편, 일반적으로 휴대용 전자기기에 사용되는 카메라 모듈의 경우 슬림화의 요구로 인하여 수차가 증가하는 경향이 있으며, 이러한 수차의 증가로 인하여 블러(Blur) 현상이 발생함에 따라 카메라 모듈의 해상력이 감소되는 문제점이 발생할 수 있다.Here, monochromatic aberration may be understood to include not only spherical aberration, coma aberration, astigmatism, curvature aberration, and distortion aberration, but also tilt aberration and defocus aberration. In this specification, aberration may be understood to include at least one of monochromatic aberration and chromatic aberration. Meanwhile, in the case of camera modules generally used in portable electronic devices, aberrations tend to increase due to the demand for slimness, and the resolution of the camera module decreases as a blur phenomenon occurs due to this increase in aberrations. This can happen.

블러(Blur)는 수차로 인하여 원 이미지의 한 픽셀의 밝기가 주변 픽셀의 밝기를 왜곡시키는 현상으로, 블러(Blur)는 블러의 정도를 나타내는 PSF(Point Spread Function, 점확산 함수)로 표현될 수 있다. PSF가 상대적으로 좁은 분포를 가지면 해상력이 높게 표현되고, 반대로 PSF가 상대적으로 넓은 분포를 가지면 해상력은 낮게 표현될 수 있다. 카메라 모듈로 피사체를 촬영시, 획득되는 블러 이미지(Blur_Image)는 원본 이미지(Clear_Image)와 PSF(Point Spread Function)의 컨벌루션에 의해 하기의 식2와 같이 모델링 될 수 있다.Blur is a phenomenon in which the brightness of one pixel in the original image distorts the brightness of surrounding pixels due to aberration. Blur can be expressed as a PSF (Point Spread Function) that indicates the degree of blur. there is. If the PSF has a relatively narrow distribution, the resolution may be expressed as high, and conversely, if the PSF has a relatively wide distribution, the resolution may be expressed as low. When photographing a subject with a camera module, the obtained blur image (Blur_Image) can be modeled as shown in Equation 2 below by convolution of the original image (Clear_Image) and PSF (Point Spread Function).

Blur_Image = PSF * Clear_Image (*: Convolution) ---- 식2Blur_Image = PSF * Clear_Image (*: Convolution) ---- Equation 2

이 때, PSF가 산출되는 경우, 디컨벌루션(Deconvolution)을 통해 블러 이미지으로부터 원본 이미지를 복원할 수 있다. 또한, 블러 이미지에서 PSF를 정확하게 산출할 수 있도록 정밀한 PSF를 추정하고, 추정된 PSF를 저장부(130)에 저장할 수 있다.At this time, when the PSF is calculated, the original image can be restored from the blurred image through deconvolution. In addition, a precise PSF can be estimated so that the PSF can be accurately calculated from the blur image, and the estimated PSF can be stored in the storage unit 130.

도 4는 실시 예에 따른 카메라 장치의 구조를 나타낸 도면이다.Figure 4 is a diagram showing the structure of a camera device according to an embodiment.

도 4를 참조하면, 카메라 모듈(200)은 홀더(210), 렌즈 배럴(220), 렌즈부(230), 필터부(240), 기판(250), 센서부(260) 및 데이터 처리 소자(270)를 포함할 수 있으며, 이들 중 적어도 어느 하나의 구성은 생략되거나 서로 상하 배치 관계가 변경될 수도 있다. Referring to FIG. 4, the camera module 200 includes a holder 210, a lens barrel 220, a lens unit 230, a filter unit 240, a substrate 250, a sensor unit 260, and a data processing element ( 270), and at least one of these components may be omitted or the vertical arrangement relationship may be changed.

홀더(210)는 렌즈 배럴(220)과 결합되어 렌즈 배럴(220)을 지지하고, 센서부(260)가 부착된 기판(250)에 결합될 수 있다. 또한, 홀더(210)는 렌즈 배럴(220) 하부에 유동 플레이트부(240)가 부착될 수 있는 공간을 구비할 수 있다. 홀더(210)는 나선형 구조를 포함할 수 있다. 또한, 렌즈 배럴(220)도 상기 홀더(210)에 대응되는 나선형 구조를 포함할 수 있으며, 이에 따라 렌즈 배럴(220)과 홀더(210)는 상호 회전 결합할 수 있다. 그러나, 이는 예시적인 것이며, 홀더(210)와 렌즈 배럴(220)은 접착제(예를 들어, 에폭시 등의 접착용 수지)를 통해 결합되거나, 홀더(210)와 렌즈 배럴(220)이 일체형으로 형성될 수도 있다.The holder 210 is coupled to the lens barrel 220 to support the lens barrel 220, and may be coupled to the substrate 250 to which the sensor unit 260 is attached. Additionally, the holder 210 may have a space where the moving plate portion 240 can be attached to the lower part of the lens barrel 220. Holder 210 may include a spiral structure. Additionally, the lens barrel 220 may also include a spiral structure corresponding to the holder 210, and accordingly, the lens barrel 220 and the holder 210 may be rotationally coupled to each other. However, this is an example, and the holder 210 and the lens barrel 220 are coupled through an adhesive (e.g., an adhesive resin such as epoxy), or the holder 210 and the lens barrel 220 are formed as one piece. It could be.

이때, 렌즈부(230)는 도1에 도시된 어레이 형태의 복수의 단위 렌즈부를 포한하는 어레이 렌즈(111)일 수 있다. At this time, the lens unit 230 may be an array lens 111 including a plurality of unit lens units in the form of an array shown in FIG. 1.

렌즈 배럴(220)은 홀더(210)와 결합되며, 내부에 렌즈부(230)를 수용할 수 있는 공간을 구비할 수 있다. 렌즈 배럴(220)은 렌즈부(230)와 회전 결합될 수 있으나, 이는 예시적인 것이며 접착제를 이용한 방식 등의 다른 방식으로도 결합될 수 있을 것이다.The lens barrel 220 is coupled to the holder 210 and may have a space therein to accommodate the lens unit 230. The lens barrel 220 may be rotationally coupled to the lens unit 230, but this is an example and may be coupled in other ways, such as using an adhesive.

렌즈부(230)는 피사체로부터 방사되는 적외선을 통과시키는 적외선 렌즈일 수 있다. 즉, 렌즈부(230)는 피사체로부터 방출되는 적외선을 투과시키기 위해, 칼코게나이드 글라스(Chalcogenide glass) 소재의 PGM (Precision Glass Molding) 가공된 렌즈를 포함할 수 있다. The lens unit 230 may be an infrared lens that passes infrared rays emitted from a subject. That is, the lens unit 230 may include a lens processed by Precision Glass Molding (PGM) made of chalcogenide glass to transmit infrared rays emitted from the subject.

또한, 렌즈부(230)는 전방에 렌즈를 보호하기 위한 적외선 투과 윈도우(도시하지 않음)를 더 포함할 수 있다. 적외선 투과 윈도우는 CaF2, BaF2 또는 폴리에틸렌(Polyethylene) 등의 재질로 제작될 수 있다.Additionally, the lens unit 230 may further include an infrared transmission window (not shown) on the front side to protect the lens. Infrared transmission windows can be made of materials such as CaF2, BaF2, or polyethylene.

센서부(260)는 기판(250) 상에 장착될 수 있고, 렌즈부(230) 및 유동 플레이트부(240)를 통과한 적외선 신호(적외선 복사 에너지)를 이미지 신호로 변환하는 기능을 수행할 수 있다. 즉, 센서부(260)는 적외선 복사 에너지에 대하여 감응하는 소자를 포함할 수 있다. 즉, 센서부(260)는 상기 소자를 이용하여 상기 적외선 복사 에너지에 대응하는 에너지를 검출할 수 있다. 바람직하게, 센서부(260)는 렌즈부(230)를 통해 입사된 적외선 복사 에너지의 결과를 전기적 신호로 만들어주는 역할을 할 수 있다. 여기에서, 센서부(260)는 도1에 도시된 어레이 형태의 복수의 단위 센서부를 포한하는 어레이 센서(112)일 수 있다. The sensor unit 260 may be mounted on the substrate 250 and may perform the function of converting an infrared signal (infrared radiant energy) passing through the lens unit 230 and the flow plate unit 240 into an image signal. there is. That is, the sensor unit 260 may include an element that is sensitive to infrared radiant energy. That is, the sensor unit 260 can detect energy corresponding to the infrared radiant energy using the device. Preferably, the sensor unit 260 may serve to convert the result of infrared radiant energy incident through the lens unit 230 into an electrical signal. Here, the sensor unit 260 may be an array sensor 112 including a plurality of unit sensor units in the form of an array shown in FIG. 1.

바람직하게, 센서부(260)는 렌즈부(230)를 통해 투과된 적외선으로부터 피사체의 온도를 감지하여 대응하는 물리적 특성 변화(아날로그 신호)를 출력한다. 이와 같은 센서부(230)는 마이크로볼로미터 어레이(MBA: MicroBolometer Array)가 사용될 수 있다.Preferably, the sensor unit 260 detects the temperature of the subject from infrared light transmitted through the lens unit 230 and outputs a corresponding change in physical characteristics (analog signal). As this sensor unit 230, a microbolometer array (MBA: MicroBolometer Array) may be used.

기판(250)은 홀더(210)의 하부에 배치될 수 있고, 이미지 합성부(120) 및 제어부(150)와 함께 각 구성간의 전기 신호의 전달을 위한 배선을 포함할 수 있다. 또한, 기판(250)에는 카메라 모듈(100)의 외부의 전원 또는 기타 다른 장치(예를 들어, 애플리케이션 프로세서)와 전기적으로 연결하기 위한 커넥터(미도시)가 연결될 수 있다. The substrate 250 may be disposed below the holder 210 and may include the image synthesis unit 120 and the control unit 150 as well as wiring for transmitting electrical signals between each component. Additionally, a connector (not shown) may be connected to the board 250 to electrically connect an external power source of the camera module 100 or another device (eg, an application processor).

기판(250)은 RFPCB(Rigid Flexible Printed Circuit Board)로 구성되고 카메라 모듈(200)이 장착되는 공간이 요구하는 바에 따라 벤딩(bending)될 수 있으나, 실시 예는 이에 한정되지 않는다.The substrate 250 is composed of a Rigid Flexible Printed Circuit Board (RFPCB) and can be bent as required by the space in which the camera module 200 is mounted, but the embodiment is not limited thereto.

센서부(260)와 렌즈부(230) 사이에는 필터(240)가 배치될 수 있다. 필터(240)는 상기 렌즈부(230)를 통과한 적외선 신호를 상기 센서부(260)로 제공할 수 있다.A filter 240 may be disposed between the sensor unit 260 and the lens unit 230. The filter 240 may provide an infrared signal that has passed through the lens unit 230 to the sensor unit 260.

도 5는 실시 예에 따른 카메라 장치의 동작 방법을 단계별로 설명하기 위한 흐름도이고, 도 6은 내부 파라미터 추출을 위해 제공되는 이미지를 나타낸 도면이며, 도 7 및 8은 서로 다른 거리에 위치한 피사체로부터 획득된 영상으로부터의 델타 값 변화를 나타낸다.Figure 5 is a flowchart for step-by-step explaining the operation method of the camera device according to the embodiment, Figure 6 is a diagram showing images provided for extracting internal parameters, and Figures 7 and 8 are obtained from subjects located at different distances. Indicates the change in delta value from the image.

도 5를 참조하면, 제어부(140)는 내부 파라미터를 추출한다(S110). 이때, 상기 내부 파라미터는 위치 좌표 정보일 수 있다.Referring to FIG. 5, the control unit 140 extracts internal parameters (S110). At this time, the internal parameter may be location coordinate information.

실시 예에서는 각각의 카메라 모듈별로 캘리브레이션을 진행하고, 상기 캘리브레이션의 진행 결과에 기반하여 각각의 카메라 모듈의 초점 거리 및 주점 정보와 같은 내부 파라미터를 산출한다. In an embodiment, calibration is performed for each camera module, and internal parameters such as focal length and main point information of each camera module are calculated based on the calibration results.

그리고, 제어부(140)는 상기 각 카메라 모듈에 대한 내부 파라미터가 산출되면, 상기 각각의 카메라 모듈의 내부 파라미터를 이용하여 각 카메라 모듈 사이의 시차를 획득할 수 있다. Then, when the internal parameters for each camera module are calculated, the control unit 140 can obtain the time difference between each camera module using the internal parameters of each camera module.

이때, 내부 파라미터 추출 단계는, 각각의 카메라 모듈 사이의 기하하적 관계를 계산하는 단계라고도 할 수 있다. At this time, the internal parameter extraction step can also be said to be a step of calculating the geometric relationship between each camera module.

이를 위해, 도 6에 도시된 바와 같이, 실시 예에서는 각각의 카메라 모듈에 대해서, 다양한 시점에서 촬영한 체스판 영상을 획득하고, 이를 이용하여, 각각의 카메라 모듈에 대한 호로그래피를 구할 수 있다. To this end, as shown in FIG. 6, in the embodiment, chessboard images taken from various viewpoints are acquired for each camera module, and using these, horography for each camera module can be obtained.

이때, 실시 예에서는 소실점 좌표를 이용하여 내부 파라미터를 산출할 수 있다.At this time, in the embodiment, the internal parameters can be calculated using the vanishing point coordinates.

여기에서, 카메라 캘리브레이션은 크게 카메라 자체의 기구적 특성을 파악하는 내부 파라미터 캘리브레이션 과정과 카메라 의 설치 위치 및 자세정보(방향각) 등의 기구 외적인 특성을 파악하는 외부 파라미터 캘리브레이션 과정으로 구분된다. 카메라의 내부 파라미터에는 초점거리(focal length), 카메라 주점(principal point), 렌즈 왜곡계수 등이 있으며 카메라의 외부 파라미터에는 기준 좌표계(월드 좌표계)를 기준으로 한 카메라의 3차원 위치정보(x, y, z 등 카메라의 설치위치)와 자세정보(pan, tilt, roll 등의 방향각)가 있다.Here, camera calibration is largely divided into an internal parameter calibration process that identifies the mechanical characteristics of the camera itself, and an external parameter calibration process that identifies external characteristics of the mechanism, such as the camera's installation location and attitude information (orientation angle). The camera's internal parameters include focal length, camera principal point, and lens distortion coefficient, and the camera's external parameters include the camera's three-dimensional position information (x, y) based on the reference coordinate system (world coordinate system). , z, etc., camera installation location) and attitude information (direction angles such as pan, tilt, roll, etc.).

여기에서, 실시 예에 따른 내부 파라미터에는 크게 각 카메라 모듈의 초점거리 f와 주점 정보에 대한 영상좌표 (cx, cy)를 포함할 수 있다.Here, the internal parameters according to the embodiment may largely include the focal length f of each camera module and image coordinates (cx, cy) for main point information.

초점거리는 각 단위 렌즈부의 중심에서 각 단위 센서부까지의 거리를 픽셀단위로 표현한 것이며, 주점 정보는 각 단위 렌즈부의 광학축(optical axis)과 각 단위 센서부와의 교점에 대한 픽셀좌표를 의미할 수 있다.The focal length is expressed in pixels as the distance from the center of each unit lens unit to each unit sensor unit, and the principal point information refers to the pixel coordinates of the intersection between the optical axis of each unit lens unit and each unit sensor unit. You can.

이와 같은 내부 파라미터를 추정하기 위한 사전 단계로서 물리좌표를 영상좌As a preliminary step to estimate such internal parameters, physical coordinates are converted into image coordinates.

표로 변환하기 위한 호모그래피 행렬을 계산할 수 있다. 이 때, 호모그래피란, 한 평면을 다른 평면에 투영(projection)시켰을 때 원래 평면의 점과 투영된 대응점들 사이에 성립하는 변환관계를 지칭할 수 있다. 호모그래피는 3 x 3 행렬로 표현될 수 있으며, 대응점들의 동차좌표(homogeneous coordinate) 표현에 대해 성립하는 변환관계일 수 있다.You can calculate the homography matrix for conversion to a table. At this time, homography may refer to the transformation relationship established between the points on the original plane and the projected corresponding points when one plane is projected onto another plane. Homography can be expressed as a 3 x 3 matrix, and can be a transformation relationship established for the homogeneous coordinate expression of corresponding points.

한편, 실시 예에서는 소실점 좌표를 이용하여 내부 파라미터의 값을 산출할 수 있다.Meanwhile, in the embodiment, the value of the internal parameter can be calculated using the vanishing point coordinates.

또한, 카메라 좌표계에서 픽셀 이미지 좌표계로 변환하는 행력식은 다음의 식 3과 같이 정의되며, 내부 파라미터 모델을 형성할 수 있다. In addition, the linear equation for converting from the camera coordinate system to the pixel image coordinate system is defined as Equation 3 below, and an internal parameter model can be formed.

------식 3 ------Equation 3

여기서, f는 카메라의 초점거리, dx, dy는 각각의 단위 센서부가 가지는 폭과 높이, cx, cy는 이미지 좌표계에서 주점의 영상 좌표를 의미한다.Here, f is the focal length of the camera, dx, dy are the width and height of each unit sensor unit, and cx, cy are the image coordinates of the main point in the image coordinate system.

이때, 상기 카메라 장치의 캘리브레이션을 진행하는 과정은 이미 공지된 기술이므로 이에 대한 상세한 설명은 생략한다.At this time, since the process of calibrating the camera device is already a known technology, detailed description thereof will be omitted.

한편, 실시 예에서는 상기와 같이 각 카메라 모듈에 대한 내부 파라미터 값이 산출되면, 이를 이용하여 각 카메라 모듈 사이의 시차를 구할 수 있다.Meanwhile, in the embodiment, if the internal parameter values for each camera module are calculated as above, the time difference between each camera module can be obtained using this.

예를 들어, 어레이가 3*3으로 구성된 경우, 실시 예에서는 9개의 카메라 모듈 중 하나의 카메라 모듈을 기준 카메라 모듈로 결정할 수 있다. 그리고, 제어부(140)는 9개의 카메라 모듈에 대해 각각 초점 거리 및 주점 정보를 포함한 내부 파라미터를 추출할 수 있다. 그리고, 제어부(140)는 상기 9개의 카메라 모듈 중 기준 카메라 모듈로부터 나머지 다른 카메라 모듈 사이의 내부 파리미터 값의 차이에 기반하여, 상기 기준 카메라 모듈을 기준으로 나머지 다른 카메라 모듈의 상대 위치를 파악할 수 있다.For example, if the array is configured as 3*3, in the embodiment, one camera module among nine camera modules may be determined as the reference camera module. Additionally, the control unit 140 can extract internal parameters including focal length and main point information for each of the nine camera modules. In addition, the control unit 140 can determine the relative positions of the remaining camera modules with respect to the reference camera module, based on the difference in internal parameter values between the reference camera module and the remaining camera modules among the nine camera modules. .

그리고, 상기 상대 위치는, 추후 피사체와의 거리를 산출하는 과정이나, 합성 이미지를 생성하는 과정에서 활용할 수 있다.In addition, the relative position can be used later in the process of calculating the distance to the subject or in the process of generating a composite image.

상기와 같이, 내부 파라미터가 추출되면, 상기 제어부(140)는 상기 각각의 카메라 모듈에서 획득된 이미지 내에서 특징점을 추출하고, 상기 추출한 특징점에 대한 무게 중심을 추출할 수 있다(S120).As described above, when the internal parameters are extracted, the control unit 140 can extract feature points from the images acquired from each camera module and extract the center of gravity for the extracted feature points (S120).

이를 위해 제어부(140)는 각각의 카메라 모듈로부터 이미지가 획득되면, 상기 이미지 내에서의 특징점들을 검출할 수 있다. To this end, when an image is acquired from each camera module, the control unit 140 can detect feature points within the image.

이때, 상기 특징점은 영상의 코너 검출을 통해 이루어질 수 있으며, 이와 같은 경우, 몇개 지점의 픽셀 정보만으로 효율적인 영상 처리 수행이 가능하다.At this time, the feature point can be created through corner detection of the image, and in this case, efficient image processing can be performed with only pixel information of a few points.

또한, 상기 특징점은 헤리스 코너 검출기를 통해 이루어질 수 있다. 헤리스 코너 검출기는 1988년 헤리스에 의해 개발되었으며, 간단한 구조와 빠른 속도로 많이 사용되는 방법 중 하나이다. Additionally, the feature point may be obtained through a Harris corner detector. The Harris corner detector was developed by Harris in 1988 and is one of the most widely used methods due to its simple structure and high speed.

구체적으로, 상기 특징점은 코너 응답 함수에 기반하여 검출될 수 있으며, 이는 각 픽셀이 얼마나 꼭지점(코너)의 특징을 가지고 있는지 나타내는 함수이며, 미분값 행렬의 고유 백터의 수직 정도에 의해 판단할 수 있다. Specifically, the feature point can be detected based on the corner response function, which is a function that indicates how many vertex (corner) features each pixel has, and can be determined by the vertical degree of the unique vector of the differential value matrix. .

즉, 실시 예에서는 카메라 모듈에 의해 각각 획득된 이미지 내에서, 해리스 코너 검출기(Harris corner detector) 등과 같은 코너 검출 방법(corner detection), SIFT(Scale Invariant Feature Transform), SURF(Speed-up Robust Feature) 등과 같은 기존의 알고리즘을 이용하여 특징점을 찾게 된다.That is, in the embodiment, within the images each acquired by the camera module, a corner detection method such as Harris corner detector, Scale Invariant Feature Transform (SIFT), and Speed-up Robust Feature (SURF) are used. Feature points are found using existing algorithms such as.

그리고, 상기 특징점이 검출되면, 상기 특징점들의 무게 중심을 검출한다.Then, when the feature points are detected, the center of gravity of the feature points is detected.

이를 위해, 제어부(140)는 복수개의 특징점들을 복수개의 클러스터(cluster)들로 분류할 수 있다. 즉, 제어부(140)는 복수 개의 특징점들을 메이저 클러스터(major cluster) 및 마이너 클러스터(minor cluster)로 분류할 수 있다. 메이저 클러스터(major cluster)는 50%보다 많은 특징점들을 포함하고, 마이너 클러스터(minor cluster)는 50%보다 적은 특징점들을 포함한다. 이와 같이, 메이저 클러스터는 마이너 클러스터보다 많은 특징점들을 포함하기 때문에 마이너 클러스터보다 넓게 설정될 수 있다. 특징점들을 복수 개의 클러스터들로 분류하기 위하여 케이민 클러스터링(k-mean clustering) 방식과 SVM(Support Vector Machine) 방식을 이용할 수 있다.To this end, the control unit 140 may classify a plurality of feature points into a plurality of clusters. That is, the control unit 140 may classify a plurality of feature points into a major cluster and a minor cluster. A major cluster contains more than 50% of feature points, and a minor cluster contains less than 50% of feature points. In this way, the major cluster can be set wider than the minor cluster because it includes more feature points than the minor cluster. To classify feature points into a plurality of clusters, the k-mean clustering method and the SVM (Support Vector Machine) method can be used.

이후, 제어부(140)는 상기 특징점들의 무게중심을 검출한다. 이를 위해 제어부(140)는 상기 분류된 메이저 클러스터의 무게중심과 마이너 클러스터의 무게중심을 검출한다. 그리고, 제어부(140)는 메이저 클러스터의 무게중심과 마이너 클러스터의 무게중심의 평균값을 산출하여 각 카메라 모듈에서 획득한 이미지에 대한 무게중심을 검출한다. Afterwards, the control unit 140 detects the center of gravity of the feature points. To this end, the control unit 140 detects the center of gravity of the classified major cluster and the center of gravity of the minor cluster. Then, the control unit 140 calculates the average value of the center of gravity of the major cluster and the center of gravity of the minor cluster to detect the center of gravity for the image acquired from each camera module.

이와 같이 상기 무게 중심이 검출되면, 상기 제어부(140)는 각각의 카메라 모듈에서 촬영된 이미지의 무게 중심 사이의 위치 값을 기준으로 피사체와의 거리를 검출한다(S130).When the center of gravity is detected in this way, the control unit 140 detects the distance to the subject based on the position value between the centers of gravity of the images captured by each camera module (S130).

이때, 제어부(140)는 각 카메라 모듈에서 촬영된 이미지의 무게 중심 사이의 거리 차이를 가지고 상기 피사체와의 거리를 검출할 수 있다. 즉, 실시 예에서는 카메라 장치가 어레이 카메라로 구성되며, 이는 복수의 렌즈 및 복수의 센서가 패키지 형태로 정렬되어 있다. At this time, the control unit 140 may detect the distance to the subject using the distance difference between the centers of gravity of the images captured by each camera module. That is, in the embodiment, the camera device is configured as an array camera, which has a plurality of lenses and a plurality of sensors arranged in a package form.

이를 토대로, 실시 예에서는 각각의 카메라 모듈은 일정 거리(h)만큼 이격된 피사체에 대한 이미지를 각각 획득할 수 있다. Based on this, in the embodiment, each camera module can acquire images of subjects spaced apart by a certain distance (h).

이때, 상기 획득된 이미지는, 상기 피사체와의 거리에 따라 서로 다른 영상이 촬영된다. 또한, 이는 각각의 단위 렌즈부 및 단위 센서부에서 촬영된 영상에 대해 무게 중심점을 중심으로 정렬시키고, 이에 따라 좌측 및 우측에 대한 영상의 시작 지점과, 종료 지점에 대한 거리를 나타내는 델타(Δ)로 정의될 수 있다.At this time, different images are captured in the acquired image depending on the distance from the subject. In addition, this aligns the images captured by each unit lens unit and unit sensor unit around the center of gravity, and accordingly creates a delta (Δ) that represents the distance to the start and end points of the image on the left and right sides. It can be defined as:

도 7 및 8은 이에 대한 서로 다른 거리에 위치한 피사체로부터 획득된 영상으로부터의 델타 값 변화를 나타낸다.Figures 7 and 8 show changes in delta values from images acquired from subjects located at different distances from each other.

도 7은 제 1 위치에 위치한 피사체에 대응하는 델타 값을 정의하고 있고, 도 5는 제 2 위치에 위치한 피사체에 대응하는 델타 값을 정의하고 있다.FIG. 7 defines a delta value corresponding to a subject located at a first position, and FIG. 5 defines a delta value corresponding to a subject located at a second position.

도 7 및 8을 참조하면, 피사체와의 거리(h)가 증가할수록 상기 델타 값이 감사하는 것을 알 수 있다. 이에 따라, 상기 각각의 카메라 모듈을 통해 획득되는 복수의 이미지를 이용하여, 상기 피사체와의 거리 정보를 획득할 수 있다. 이때, 실시 예에서는 상기와 같이 카메라 모듈에 대해 개별적으로 캘리브레이션을 진행하고, 이를 토대로 각각의 단위모듈 사이의 상대 위치 정보를 획득하여 저장부에 저장해놓는다.Referring to Figures 7 and 8, it can be seen that the delta value increases as the distance (h) to the subject increases. Accordingly, distance information to the subject can be obtained using a plurality of images acquired through each camera module. At this time, in the embodiment, the camera modules are individually calibrated as described above, and based on this, relative position information between each unit module is obtained and stored in the storage unit.

그리고, 상기 거리 정보를 획득할 때, 상기 델타 값 뿐 아니라, 상기 상대 위치 정보도 반영하며, 이를 토대로 보다 정확한 거리 정보가 획득될 수 있도록 한다.And, when acquiring the distance information, not only the delta value but also the relative position information is reflected, so that more accurate distance information can be obtained based on this.

이후, 제어부(140)는 상기 이미지 처리부를 통해 상기 상대 위치 정보 및 거리 정보에 기반한 합성 이미지가 생성될 수 있도록 한다(S140). 이를 위해, 제어부(140)는 상기 각각의 카메라 모듈에서 획득된 이미지에 대해 이미지 처리가 진행되도록 한다.Thereafter, the control unit 140 allows a composite image to be generated based on the relative position information and distance information through the image processing unit (S140). To this end, the control unit 140 allows image processing to be performed on the images acquired from each camera module.

이하에서는 상기 합성 이미지의 생성 동작에 대해 구체적으로 설명하기로 한다.Hereinafter, the creation operation of the composite image will be described in detail.

도 9는 일반적인 카메라 장치에서의 초해상도 이미지를 생성하기 위한 동작 방법을 나타낸 도면이다.Figure 9 is a diagram showing an operation method for generating a super-resolution image in a general camera device.

종래에는 별도의 틸팅 모듈을 구비하고, 이를 이용하여 적외선 신호를 틸팅시킴으로써 서로 다른 시차를 가지는 복수의 이미지를 생성하였다. 이때, 상기 시차를 가지는 복수의 이미지는 동일 시점이 아닌 일정 시간차를 가지고 순차적으로 생성될 수 있다. In the past, a separate tilting module was provided and a plurality of images with different parallaxes were generated by tilting the infrared signal using this. At this time, the plurality of images having the time difference may be generated sequentially with a certain time difference rather than at the same time point.

이때, 센서부의 픽셀 어레이는 NxM의 매트릭스 형태로 배치된 복수의 픽셀들을 포함할 수 있다. 이하의 설명에서는 설명의 편의상 도 9에서와 같이 픽셀 어레이가 2*2의 매트릭스 형태로 배치된 복수의 픽셀들(A1 내지 A4)을 포함한다고 가정하기로 한다.At this time, the pixel array of the sensor unit may include a plurality of pixels arranged in an NxM matrix. In the following description, for convenience of explanation, it will be assumed that the pixel array includes a plurality of pixels (A1 to A4) arranged in a 2*2 matrix as shown in FIG. 9.

각 픽셀(A1 내지 A4)은 렌즈부를 통해 전달되는 적외선 신호를 통해 각 픽셀 장면(PS1 내지 PS4)에 대한 이미지 정보(즉, 적외선 신호에 대응하는 아날로그 픽셀 신호)를 생성할 수 있다.Each pixel (A1 to A4) may generate image information (i.e., an analog pixel signal corresponding to the infrared signal) for each pixel scene (PS1 to PS4) through an infrared signal transmitted through the lens unit.

x축 방향(또는 y축 방향)으로 인접하는 픽셀 간의 거리(예를 들어 픽셀 중심 간의 거리)를 1 PD(픽셀 거리)라 할 때, 그 절반은 0.5 PD에 해당한다. 여기서, 제1 내지 제4 픽셀이동(A 내지 D)을 정의하기로 한다.When the distance between adjacent pixels in the x-axis direction (or y-axis direction) (for example, the distance between pixel centers) is 1 PD (pixel distance), half of it corresponds to 0.5 PD. Here, the first to fourth pixel movements (A to D) will be defined.

제1 픽셀이동(A)은 각 픽셀(A1 내지 A4)을 +x축 방향을 따라 우측으로 0.5 PD 만큼 이동시키는 것을 의미하며, 제1 픽셀이동(A)이 완료된 후의 픽셀은 B1 내지 B4이다. The first pixel movement (A) means moving each pixel (A1 to A4) to the right by 0.5 PD along the +x-axis direction, and the pixels after the first pixel movement (A) is completed are B1 to B4.

제2 픽셀이동(B)은 각 픽셀(B1 내지 B4)을 +y축 방향을 따라 아래로 0.5 PD 만큼 이동시키는 것을 의미하며, 제2 픽셀이동(B)이 완료된 후의 픽셀은 C1 내지 C4이다.The second pixel movement (B) means moving each pixel (B1 to B4) downward by 0.5 PD along the +y-axis direction, and the pixels after the second pixel movement (B) is completed are C1 to C4.

제3 픽셀이동(C)은 각 픽셀(C1 내지 C4)을 -x축 방향을 따라 좌측으로 0.5 PD 만큼 이동시키는 것을 의미하며, 제3 픽셀이동(C)이 완료된 후의 픽셀은 D1 내지 D4이다.The third pixel movement (C) means moving each pixel (C1 to C4) to the left along the -x axis direction by 0.5 PD, and the pixels after the third pixel movement (C) is completed are D1 to D4.

제4 픽셀이동(D)은 각 픽셀(D1 내지 D4)을 -y축 방향을 따라 위로 0.5 PD 만큼 이동시키는 것을 의미하며, 제4 픽셀이동(D)이 완료된 후의 픽셀은 A1 내지 A4이다.The fourth pixel movement (D) means moving each pixel (D1 to D4) upward by 0.5 PD along the -y-axis direction, and the pixels after the fourth pixel movement (D) is completed are A1 to A4.

여기서, 픽셀 이동은 픽셀 어레이의 픽셀의 물리적 위치를 이동시키는 것이 아니라, 두 픽셀(예를 들어, A1과 A2) 사이의 가상의 픽셀(예를 들어, B1)이 픽셀 장면을 획득할 수 있도록 유동 플레이트부(140)를 이용하여 적외선 신호의 입사 경로를 조정하는 동작을 의미한다.Here, pixel movement does not move the physical position of a pixel in the pixel array, but rather moves a virtual pixel (e.g., B1) between two pixels (e.g., A1 and A2) to obtain a pixel scene. This refers to an operation of adjusting the incident path of an infrared signal using the plate unit 140.

결론적으로, 제4 픽셀 이동(D)에 대응하는 픽셀 A1 내지 A4은 상기 유동 플레이트부(140)가 픽셀 중심에 대응하는 제1 위치에 위치한 상태에서의 픽셀을 의미할 수 있다.In conclusion, pixels A1 to A4 corresponding to the fourth pixel movement D may mean pixels when the moving plate unit 140 is located at the first position corresponding to the pixel center.

상기와 같이, 종래에는 복수의 이미지를 획득하기 위해 별도의 틸팅 모듈을 구비하고 있으며, 이에 따라 서로 다른 시차를 가진 복수의 이미지를 획득하였다. 그러나, 상기 복수의 이미지는 모두 동일한 시점에서 촬영된 이미지가 아니라, 상기 틸팅 모듈의 틸팅 주기에 대응하는 시간차를 가지고 생성된 이미지이다. 따라서, 종래에는 초해상도 이미지에 대한 신뢰성이 낮았다.As described above, in the related art, a separate tilting module is provided to acquire a plurality of images, and thus a plurality of images with different parallaxes are acquired. However, the plurality of images are not images taken at the same point in time, but are images generated with a time difference corresponding to the tilting cycle of the tilting module. Therefore, conventionally, the reliability of super-resolution images was low.

이에 반하여, 실시 예에서는 상기와 같은 픽셀 이동이 아니라, 각각의 카메라 모듈 자체에서 상호 다른 시차를 가진 이미지를 동일 시점에 획득한다. 이에 따라, 실시 예에서는 종래 대비 초해상도 이미지에 대한 신뢰성을 향상시킬 수 있다. In contrast, in the embodiment, rather than moving pixels as described above, images with different parallaxes are acquired from each camera module itself at the same time. Accordingly, in the embodiment, reliability of super-resolution images can be improved compared to the prior art.

이하에서는 실시 예에 따라 생성되는 각각의 이미지 프레임에 대해 설명하기로 한다.Hereinafter, each image frame generated according to the embodiment will be described.

도 10은 실시 예에 따른 센서부를 통해 생성된 이미지 프레임을 나타낸 도면이다. 도 11은 실시 예에 따른 전처리 필터부에서 필터링된 이미지 프레임을 나타낸 도면이다. 도 12는 실시 예에 따른 이미지 생성부에서 생성된 초해상도 이미지 프레임을 나타낸 도면이다. 도 13은 실시 예에 따른 후처리 필터부에서 필터링된 이미지 프레임을 나타낸 도면이다. Figure 10 is a diagram showing an image frame generated through a sensor unit according to an embodiment. Figure 11 is a diagram showing an image frame filtered in a pre-processing filter unit according to an embodiment. Figure 12 is a diagram showing a super-resolution image frame generated by an image generator according to an embodiment. Figure 13 is a diagram showing an image frame filtered in a post-processing filter unit according to an embodiment.

도 10을 참조하면, 각각의 단위 센서부는 단위 렌즈부를 통해 입사되는 적외선 신호에 대한 이미지 프레임을 생성할 수 있다.Referring to FIG. 10, each unit sensor unit can generate an image frame for an infrared signal incident through the unit lens unit.

예를 들어, 제1 단위 센서부는 제1 위치에서, 제1 단위 렌즈부를 통해 입사되는 적외선 신호에 대한 제1 이미지 프레임(F1)을 생성할 수 있다. 제2 단위 센서부는 제2 위치에서, 제2 단위 렌즈부를 통해 입사되는 적외선 신호에 대한 제2 이미지 프레임(F2)을 생성할 수 있다. 제3 단위 센서부는 제3 위치에서, 제3 단위 렌즈부를 통해 입사되는 적외선 신호에 대한 제3 이미지 프레임(F3)을 생성할 수 있다. 제4 단위 센서부는 제4 위치에서, 제4 단위 렌즈부를 통해 입사되는 적외선 신호에 대한 제4 이미지 프레임(F4)을 생성할 수 있다. 이때, 상기 제1 내지 제4 이미지 프레임(F1~F4)은 시간차를 가지고 생성되는 이미지 프레임이 아닌, 동일 시점에 획득되는 이미지 프레임이다.For example, the first unit sensor unit may generate a first image frame F1 for an infrared signal incident through the first unit lens unit at a first position. The second unit sensor unit may generate a second image frame F2 for an infrared signal incident through the second unit lens unit at the second position. The third unit sensor unit may generate a third image frame F3 for the infrared signal incident through the third unit lens unit at the third position. The fourth unit sensor unit may generate a fourth image frame F4 for an infrared signal incident through the fourth unit lens unit at the fourth position. At this time, the first to fourth image frames (F1 to F4) are not image frames generated with a time difference, but are image frames acquired at the same time.

도 11을 참조하면, 전처리 필터부(121)는 각각의 카메라 모듈을 통해 획득된 제1 내지 제4 이미지 프레임에 대해 각각 전처리를 진행할 수 있다. 즉, 전처리 필터부(121)는 제1 내지 제4 이미지 프레임에 대해 가우시안 필터링을 진행할 수 있다. 이를 위해, 전처리 필터부(121)는 가우시안 필터를 포함할 수 있다. Referring to FIG. 11, the pre-processing filter unit 121 may perform pre-processing on the first to fourth image frames obtained through each camera module. That is, the pre-processing filter unit 121 may perform Gaussian filtering on the first to fourth image frames. For this purpose, the preprocessing filter unit 121 may include a Gaussian filter.

여기에서, 가우시안 필터링(Gaussian Filtering)이란, 원본 영상을 흐리게 해주는 필터링 기법을 말하는 것으로서, 포토샵 같은 영상 애플리케이션 툴 등에서 사용되는 영상 흐림 기법(Blur Filtering)을 말한다. 가우시안 필터링을 거치게 되면, 영상의 주파수 중에서 저주파와 고주파를 통과되지 않게 되어 영상이 뿌옇게 보이게 된다. 즉, 전처리 필터부(121)는 상기 카메라 모듈을 통해 획득된 제1 내지 제4 이미지 프레임의 고주파 영역을 무너뜨려 블러링 효과를 적용함으로써, 상기 제1 내지 제4 이미지 프레임에 포함된 노이즈를 제거하도록 한다.Here, Gaussian Filtering refers to a filtering technique that blurs the original image, and refers to an image blurring technique (Blur Filtering) used in image application tools such as Photoshop. When Gaussian filtering is performed, low and high frequencies among the frequencies of the image are not passed through, making the image appear blurry. That is, the pre-processing filter unit 121 removes noise included in the first to fourth image frames by applying a blurring effect by breaking down the high frequency region of the first to fourth image frames obtained through the camera module. Let's do it.

이에 따라, 실시 예에서는 상기 전처리 필터부(121)를 구성하는 가우시안 필터의 제어 팩터를 구성하는 시그마 값이 0.1보다는 크면서 1보다는 작도록 한다.Accordingly, in the embodiment, the sigma value constituting the control factor of the Gaussian filter constituting the pre-processing filter unit 121 is set to be greater than 0.1 and less than 1.

이후, 도 12를 참조하면, 이미지 생성부(122)는 상기 전처리 필터부(121)를 통해 가우시안 필터링된 제1 내지 제4 이미지 프레임을 합성하여 합성 프레임을 생성한다. Next, referring to FIG. 12, the image generator 122 generates a composite frame by synthesizing the first to fourth image frames that have been Gaussian filtered through the pre-processing filter unit 121.

이미지 생성부(122)는 상기 가우시안 필터링된 제1 내지 제4 프레임을 합성함으로써 NxM의 픽셀 어레이가 아닌 2Nx2M의 픽셀 어레이가 획득한 이미지를 생성할 수 있다. 이미지 생성부(122)가 제1 내지 제4 프레임을 합성하는 방법은, 제1 내지 제4 프레임을 각 픽셀의 위치에 따라 단순 병합하는 방법, 또는 인접하는 픽셀의 경우 픽셀 장면이 오버랩됨을 이용하여 어느 하나의 픽셀의 픽셀 신호를 인접하는 픽셀의 픽셀 신호를 이용해 보정하는 방법 등이 이용될 수 있으나, 실시 예의 범위는 이에 한정되지 않고 다양한 초해상도 이미지 생성 방법이 이용될 수 있다. The image generator 122 may generate an image obtained by a 2Nx2M pixel array rather than an NxM pixel array by combining the Gaussian filtered first to fourth frames. The method for the image generator 122 to synthesize the first to fourth frames is by simply merging the first to fourth frames according to the position of each pixel, or by using the pixel scene overlap in the case of adjacent pixels. A method of correcting the pixel signal of one pixel using the pixel signal of an adjacent pixel may be used, but the scope of the embodiment is not limited to this and various super-resolution image generation methods may be used.

이때, 실시 예에서는 상기 각각의 카메라 모듈 사이의 상대 위치 정보를 저장하고 있기 때문에, 상기 합성 이미지 내에서 상기 제1 내지 제4 프레임의 배열 위치를 정확하게 지정할 수 있으며, 이를 토대로 합성 이미지의 신뢰성을 향상시킬 수 있다.At this time, in the embodiment, since the relative position information between each camera module is stored, the arrangement positions of the first to fourth frames within the composite image can be accurately specified, and based on this, the reliability of the composite image is improved. You can do it.

이후, 도 13을 참조하면, 후처리 필터부(123)는 이미지 생성부(122)를 통해 생성된 초해상도 이미지 프레임에 대해 후처리를 진행한다. Next, referring to FIG. 13, the post-processing filter unit 123 performs post-processing on the super-resolution image frame generated through the image generating unit 122.

실시 예와 관련하여 전술한 바와 같이 몇 가지만을 기술하였지만, 이외에도 다양한 형태의 실시가 가능하다. 앞서 설명한 실시 예들의 기술적 내용들은 서로 양립할 수 없는 기술이 아닌 이상은 다양한 형태로 조합될 수 있으며, 이를 통해 새로운 실시형태로 구현될 수도 있다.Although only a few examples have been described as described above, various other forms of implementation are possible. The technical contents of the above-described embodiments can be combined in various forms unless they are incompatible technologies, and through this, can be implemented as a new embodiment.

본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.It is obvious to those skilled in the art that the present invention can be embodied in other specific forms without departing from the spirit and essential features of the present invention. Accordingly, the above detailed description should not be construed as restrictive in all respects and should be considered illustrative. The scope of the present invention should be determined by reasonable interpretation of the appended claims, and all changes within the equivalent scope of the present invention are included in the scope of the present invention.

Claims

A camera unit including an array lens including a plurality of unit lenses and an array sensor including a plurality of unit sensors respectively aligned with the plurality of unit lenses in an optical axis direction;
an image processing unit that receives a plurality of first images obtained through the camera unit and generates a second image by combining the plurality of first images; and
The image processing unit calculates internal parameters including the focal length and principal point of the camera unit based on the calibration result of the camera unit, and generates the second image based on the calculated internal parameters. It includes a control unit that controls,
The camera unit is divided into a plurality of cameras by a combination of unit lenses and unit sensors aligned in the mutual optical axis direction,
The plurality of first images are images acquired from each of the plurality of cameras,
The control unit,
Calculate each of the plurality of cameras to calculate the internal parameters,
Obtain relative position information between the plurality of cameras using the internal parameters,
Determining the positions of the plurality of first images within the second image using the obtained internal parameters and the relative position information, respectively,
Camera device.

According to paragraph 1,
The first image is
Images having different parallaxes corresponding to the relative position information and having a first resolution acquired at the same viewpoint through the plurality of cameras,
The second image is,
An image having a second resolution higher than the first resolution,
Camera device.

According to claim 1 or 2,
The control unit,
Detecting each feature point of the subject within the plurality of first images,
Calculate the center of gravity of the detected feature points,
Calculating the distance to the subject using the relative position information and the delta value of the center of gravity between the plurality of first images.
Camera device.

According to paragraph 3,
The control unit,
Correcting the emissivity of the subject using the calculated distance to the subject,
Storing the internal parameters of the plurality of cameras, the relative position information, and emissivity correction information according to the distance to the subject in a storage unit.
Camera device.

According to paragraph 4,
The image processing unit,
a pre-processing filter unit that performs Gaussian filtering on the plurality of first images;
an image generator that generates a second image by combining the plurality of first images filtered through the pre-processing filter unit, based on the relative position information and the corrected emissivity; and
A post-processing filter unit that performs Laplacian filtering on the second image generated through the image generator.
Camera device.

According to clause 5,
The pre-processing filter unit,
Gaussian filtering of the plurality of image frames by applying a sigma value within a range greater than 0.1 and less than 1.
Camera device.

delete