KR20050091583A

KR20050091583A - The apparatus and method for vergence control of a parallel-axis camera system using auxiliary image

Info

Publication number: KR20050091583A
Application number: KR1020040017078A
Authority: KR
Inventors: 허남호; 안충현; 이수인
Original assignee: 한국전자통신연구원
Priority date: 2004-03-12
Filing date: 2004-03-12
Publication date: 2005-09-15

Abstract

1. 청구범위에 기재된 발명이 속한 기술분야1. TECHNICAL FIELD OF THE INVENTION

본 발명은 보조 영상을 이용한 주시각 제어 장치 및 그 방법과 그를 이용한 평행축 입체 카메라 시스템에 관한 것임.The present invention relates to a device for controlling a viewing angle using an auxiliary image, a method thereof, and a parallel axis stereoscopic camera system using the same.

2. 발명이 해결하려고 하는 기술적 과제2. The technical problem to be solved by the invention

본 발명은 종래의 평행축 입체 카메라에 보조 영상 획득수단을 추가하여 영상 획득수단을 보완하고, 획득한 영상을 수평 신호처리하여 주시각을 제어하기 위한, 보조 영상을 이용한 주시각 제어 장치 및 그 방법과 상기 주시각 제어 장치를 이용한 평행축 입체 카메라 시스템을 제공하는데 그 목적이 있음.The present invention is to supplement the image acquisition means by adding an auxiliary image acquisition means to a conventional parallel axis stereoscopic camera, and to control the viewing angle by horizontal signal processing the acquired image, the apparatus for controlling the angle of view using the auxiliary image and its method And a parallel axis stereoscopic camera system using the above-described angle control device.

3. 발명의 해결방법의 요지3. Summary of Solution to Invention

본 발명은, 보조 영상을 이용한 주시각 제어 장치에 있어서, 외부 기기로부터 주 영상과 보조 영상을 입력받아 저장하기 위한 저장수단; 상기 저장수단에 저장한 주 영상에 대하여 수평 방향으로의 이동 픽셀 수를 결정하기 위한 이동 픽셀 수 결정수단; 상기 저장수단으로부터의 주 영상 및 보조 영상을 상기 이동 픽셀 수 결정수단으로부터의 이동 픽셀 수를 이용하여 수평방향 신호처리를 수행하기 위한 수평방향 신호처리수단; 및 상기 수평방향 신호처리수단에서 신호 처리한 주 영상과 보조 영상을 입력받아 접합하기 위한 영상 접합수단을 포함함.According to an aspect of the present invention, there is provided an apparatus for controlling a viewing angle using an auxiliary image, comprising: storage means for receiving a main image and an auxiliary image from an external device; Moving pixel number determining means for determining the moving pixel number in the horizontal direction with respect to the main image stored in the storage means; Horizontal signal processing means for performing horizontal signal processing on the main image and the auxiliary image from the storage means using the number of moving pixels from the moving pixel number determining means; And image joining means for receiving and joining the main image and the auxiliary image processed by the horizontal signal processing means.

Description

Perspective control device using auxiliary image and its method and parallel axis stereoscopic camera system using same

본 발명은 보조 영상을 이용한 주시각 제어 장치 및 그 방법과 그를 이용한 평행축 입체 카메라 시스템에 관한 것으로, 더욱 상세하게는 신호 처리 과정에서 영상의 왜곡 현상이 발생하는 종래의 평행축 입체 카메라에, 광각 보조 카메라를 추가하여 종래의 평행축 입체 카메라에서 획득한 주 영상과 상기 광각 보조 카메라에서 획득한 보조 영상을 수평 신호처리하여 주시각 제어 효과를 향상시키기 위한, 보조 영상을 이용한 주시각 제어 장치 및 그 방법과 그를 이용한 평행축 입체 카메라 시스템에 관한 것이다.The present invention relates to a viewing angle control device using an auxiliary image, a method thereof, and a parallel axis stereoscopic camera system using the same, and more particularly, to a conventional parallel axis stereoscopic camera in which image distortion occurs in a signal processing process. An apparatus for controlling the angle of view using an auxiliary image to improve the control of the angle of view by adding a secondary camera to horizontally process a main image obtained by a conventional parallel axis stereoscopic camera and an auxiliary image obtained by the wide-angle auxiliary camera, and an auxiliary image. A method and a parallel axis stereoscopic camera system using the same are provided.

일반적으로 입체 카메라는 특성이 동일한 두 대의 카메라를 배치하여 사람의 눈과 같이 좌우 양안 영상을 획득한다. 이 경우, 카메라의 간격과 초점거리 및 관측물체의 위치에 따라 영상 평면에 촬상되는 관측물체의 픽셀 좌표가 각기 다르게 표현된다. 이러한 차이를 시차(parallax)라고 하며, 그 위치의 차이를 시차량이라고 한다. 이 때, 수직시차가 없는 경우 이 시차는 곧 수평시차(horizontal parallax)가 된다. In general, a stereoscopic camera arranges two cameras having the same characteristics to acquire left and right binocular images like a human eye. In this case, the pixel coordinates of the observation object captured in the image plane are expressed differently according to the distance between the camera, the focal length, and the position of the observation object. This difference is called parallax, and the difference in position is called parallax. At this time, when there is no vertical parallax, this parallax becomes a horizontal parallax.

사람의 눈은 물체를 관측하고자 할 경우 관측물체의 시차량이 0이 되도록 좌, 우 눈동자를 움직이며 물체를 관측한다. 이렇게 시차량을 조절하는 것을 주시각 제어(vergence control)라 한다. When the human eye wants to observe an object, the object is observed by moving the left and right eyes so that the parallax of the object becomes zero. This adjustment of the parallax amount is called vergence control.

주시각 제어가 되지 않는 카메라로부터 얻은 입체 영상을 관측자가 보게 될 경우에는 시차량이 매우 크게 나타나 심한 피로감을 느끼게 된다. 이러한 관측 피로를 줄이기 위해서는 관측물체의 위치 변화에 상관없이 일정한 시차가 유지되도록 좌, 우 카메라의 관측 방향을 제어하는 주시각 제어 기능이 필수적이다. When the observer sees a stereoscopic image obtained from a camera without the control of the viewing angle, the amount of parallax is very large, resulting in severe fatigue. In order to reduce the observation fatigue, it is necessary to control the viewing angle of the left and right cameras so that a constant parallax is maintained regardless of the position change of the object.

현재 사용되고 있는 입체 카메라는 구조에 따라 크게 교차축(toed-in), 평행축으로 구분되며, 평행축 입체 카메라는 다시 영상소자의 이동 유무에 따라 수평 이동축, 평행축으로 구분된다.Currently used stereo cameras are largely divided into toed-in and parallel axes according to the structure, and parallel axis stereo cameras are further divided into horizontal moving axes and parallel axes according to the movement of image elements.

먼저, 교차축 입체 카메라는 카메라의 광축을 회전시킬 수 있는 구조로 관측물체의 거리 변화에 따라 영상소자의 광축을 회전시켜 항상 물체의 상이 좌, 우 영상소자의 중심에 맺히도록 주시각을 제어한다. 이는 가까운 물체를 볼 때 안쪽으로 모이고 멀리있는 물체를 볼 때 벌어지는 사람의 눈동자 움직임을 모방한 것이다. First, the cross-axis three-dimensional camera is a structure that can rotate the optical axis of the camera to control the viewing angle so that the image of the object is always in the center of the left and right image element by rotating the optical axis of the image element according to the change of the distance of the observation object. . It mimics the eye movements of a person when gathering inward when seeing a close object and when seeing a distant object.

그러나, 교차축 방식의 경우 영상소자를 교차시켜 주시각을 제어하기 때문에 주시각 제어에 따른 영상소자간의 간격 변화가 심하여 입체 영상 재생 시 왜곡이 심하며, 카메라 광축의 회전으로 주시각 제어를 해야 하기 때문에 소형화가 어렵다는 문제점이 있었다.However, in the case of the cross-axis method, since the viewing angle is controlled by crossing the image elements, the intervals between the image elements are severely changed according to the control of the viewing angle, so that the distortion is severe when the stereoscopic image is reproduced. There was a problem that miniaturization is difficult.

한편, 수평 이동축 입체 카메라는 교차축 방식과 같이 관측물체의 거리 변화에 따라 카메라의 주시각 제어가 가능한 카메라이다. On the other hand, the horizontal moving axis stereoscopic camera is a camera capable of controlling the viewing angle of the camera according to the change in the distance of the observation object, such as the cross-axis method.

그러나, 교차축 방식과는 달리 영상소자를 분리시킨 후, 렌즈에 대해서 영상소자가 평행하게 수평으로 움직이게 하여 주시각을 조절하도록 설계되어 있다. 이러한 영상소자의 평행 이동에 의한 주시각 제어 방식은 좌, 우 영상소자 사이의 간격 변화량이 작아 교차축 방식에 비해 상대적인 영상 왜곡이 작다는 장점이 있지만, 렌즈와 영상소자를 분리시키고 영상소자를 이동하면서 주시각 제어를 해야 하므로 실제 입체 카메라 제작에 많은 어려움이 있다는 문제점이 있다.However, unlike the cross-axis method, after separating the image elements, they are designed to adjust the viewing angle by moving the image elements in parallel and horizontally with respect to the lens. Although the angle of view control method by the parallel movement of the image elements has the advantage that the amount of change in the distance between the left and right image elements is small, the relative image distortion is smaller than that of the cross axis method, but the lens and the image elements are separated and the image elements are moved. There is a problem that there is a lot of difficulty in producing a real three-dimensional camera, because you need to control the viewing angle.

한편, 평행축 입체 카메라는 양안식 입체 영상 카메라 중 가장 단순한 형태로서, 두 대의 영상소자를 사람의 눈 간격과 비슷한 거리로 평행하게 고정시켜 두고 영상을 획득할 수 있게 설계되어 있다. On the other hand, the parallel axis stereoscopic camera is the simplest form of binocular stereoscopic cameras, and is designed to acquire images while fixing two image elements in parallel at a distance similar to a human eye distance.

그러나, 평행축 방식은 주시각 제어 기능이 없어 관측물체의 거리 변화에 따른 시차량을 조절할 수 없다는 문제점이 있다. However, the parallel axis method has a problem that the parallax amount cannot be adjusted according to the change of the distance of the observation object because there is no vergence control function.

최근, 상기 수평 이동축 입체 카메라의 단점을 보완하기 위해 대한민국 공개특허 제 10-2002-0037097 호로 "신호 처리를 이용한 주시각 제어 장치 및 그 방법과 그를 이용한 입체 카메라 시스템"이 출원되었다. Recently, in order to make up for the shortcomings of the horizontal moving axis stereoscopic camera, Korean Patent Laid-Open Publication No. 10-2002-0037097 has been filed "Original Control Device Using Signal Processing and Its Method and Stereoscopic Camera System Using the Same".

하지만, 이러한 종래 기술은 신호 처리 과정에서 좌우 원 영상의 일부가 사라지는 문제점과 함께 원 영상 크기로 확대하는 과정에서 불필요한 왜곡 현상이 발생하는 문제점이 있다. However, such a prior art has a problem in that a part of the left and right original images disappear in the signal processing and unnecessary distortion occurs in the process of enlarging to the original image size.

본 발명은 상기 문제점을 해결하기 위하여 제안된 것으로, 종래의 평행축 입체 카메라에 보조 영상 획득수단을 추가하여 영상 획득수단을 보완하고, 획득한 영상을 수평 신호처리하여 주시각을 제어하기 위한, 보조 영상을 이용한 주시각 제어 장치 및 그 방법을 제공하는데 그 목적이 있다.The present invention has been proposed to solve the above problems, and supplementing the image capturing means by adding an auxiliary image capturing means to a conventional parallel axis stereoscopic camera, and for controlling the viewing angle by horizontally processing the obtained image. An object of the present invention is to provide a device for controlling a viewing angle using an image and a method thereof.

또한, 본 발명은 상기 주시각 제어 장치를 이용한 평행축 입체 카메라 시스템을 제공하는데 다른 목적이 있다. In addition, another object of the present invention is to provide a parallel axis stereoscopic camera system using the vergence control device.

상기 목적을 달성하기 위한 본 발명의 장치는, 보조 영상을 이용한 주시각 제어 장치에 있어서, 외부 기기로부터 주 영상과 보조 영상을 입력받아 저장하기 위한 저장수단; 상기 저장수단에 저장한 주 영상에 대하여 수평 방향으로의 이동 픽셀 수를 결정하기 위한 이동 픽셀 수 결정수단; 상기 저장수단으로부터의 주 영상 및 보조 영상을 상기 이동 픽셀 수 결정수단으로부터의 이동 픽셀 수를 이용하여 수평방향 신호처리를 수행하기 위한 수평방향 신호처리수단; 및 상기 수평방향 신호처리수단에서 신호 처리한 주 영상과 보조 영상을 입력받아 접합하기 위한 영상 접합수단을 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided an apparatus for controlling a viewing angle using an auxiliary image, comprising: storage means for receiving and storing a main image and an auxiliary image from an external device; Moving pixel number determining means for determining the moving pixel number in the horizontal direction with respect to the main image stored in the storage means; Horizontal signal processing means for performing horizontal signal processing on the main image and the auxiliary image from the storage means using the number of moving pixels from the moving pixel number determining means; And image joining means for receiving and bonding the main image and the auxiliary image processed by the horizontal signal processing means.

또한, 본 발명의 방법은, 보조 영상을 이용한 주시각 제어 장치에 적용되는 주시각 제어 방법에 있어서, 주 영상과 보조 영상을 저장하기 위한 영상 저장단계; 상기 저장한 주 영상에 대하여 수평 방향으로의 이동 픽셀 수를 결정하는 이동 픽셀 수 결정단계; 상기 저장한 주 영상 및 보조 영상을 상기 결정한 이동 픽셀 수를 이용하여 수평방향 신호처리를 수행하는 수평방향 신호처리단계; 및 상기 수평방향 신호처리한 주 영상과 보조 영상을 접합하는 영상 접합단계를 포함하는 것을 특징으로 한다.In addition, the method of the present invention, a vergence control method applied to a vergence control apparatus using an auxiliary image, the image storage step for storing the main image and the auxiliary image; A moving pixel number determining step of determining a moving pixel number in a horizontal direction with respect to the stored main image; A horizontal signal processing step of performing horizontal signal processing on the stored main image and the auxiliary image by using the determined number of moving pixels; And an image splicing step of splicing the main image and the sub image processed by the horizontal signal.

한편, 상기 다른 목적을 달성하기 위한 본 발명의 시스템은, 주시각 제어 기능을 갖는 평행축 입체 카메라 시스템에 있어서, 좌우 양안 영상을 획득하기 위한 주 영상 촬영 장치; 상기 주 영상 촬영 장치와 별도로 보조 영상을 획득하기 위한 보조 영상 촬영 장치; 및 상기 주 영상 촬영 장치 및 상기 보조 영상 촬영 장치에서 촬영한 주 영상 및 보조 영상에 대하여 상기 주 영상에서 계산한 이동 픽셀 수를 이용하여 수평방향 신호처리를 한 후 접합하기 위한 주시각 제어 장치를 포함하는 것을 특징으로 한다.On the other hand, the system of the present invention for achieving the above another object, the parallel axis stereoscopic camera system having a vergence control function, the main image photographing apparatus for acquiring left and right binocular images; An auxiliary image capturing apparatus for acquiring an auxiliary image separately from the main image capturing apparatus; And a gaze control device for performing horizontal signal processing on the main image and the sub image captured by the main image capturing apparatus and the sub image capturing apparatus, and then performing horizontal signal processing on the main image and the sub image. Characterized in that.

상술한 목적, 특징들 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다.The above objects, features and advantages will become more apparent from the following detailed description taken in conjunction with the accompanying drawings. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1 은 종래의 평행축 입체 카메라 시스템에서의 시차량 조절 과정에 대한 일예시도이다. 1 is an exemplary view illustrating a parallax amount adjusting process in a conventional parallel axis stereoscopic camera system.

여기서 f, D, D_V, B는 각각 카메라 초점거리, 점 P(x, y, z)의 z축 거리 성분, 수평시차가 0이 되는 주시거리, 카메라 간격을 의미한다.Here, f, D, D _V , and B denote a camera focal length, a z-axis distance component of a point P (x, y, z), a viewing distance at which horizontal parallax is zero, and a camera interval, respectively.

도 1 의 (a)는 종래의 평행축 입체 카메라의 관측물체 촬영 과정을 나타낸다. 한 지점 P에 있는 물체를 촬영하는 경우에 종래의 평행축 입체 카메라에서는 영상소자가 고정되어 있기 때문에 영상 평면에 맺히는 점 P가 영상 평면 중심에서 d_L, d_R만큼 좌, 우로 벗어나게 된다. 여기서, 영상소자의 중심을 영상 좌표계(u,v)의 원점으로 가정하면 공간상의 점 P(x,y,z)는 영상 좌표계에서 다음과 같은 u축 좌표 값을 가지게 된다.Figure 1 (a) shows the observation of the observation object of the conventional parallel axis stereoscopic camera. In the case of photographing an object at a point P, since the image device is fixed in the conventional parallel axis stereoscopic camera, the point P formed on the image plane is shifted left and right by d _L and d _R from the center of the image plane. Here, if the center of the image element is assumed as the origin of the image coordinate system (u, v), the point P (x, y, z) in space has the following u-axis coordinate values in the image coordinate system.

그리고, 수직시차가 없다고 가정하고 수평시차 d를 d_L-d_R과 같이 정의하면, 도 1 의 (a)에서 수평시차는 상기 [수학식 1]과 [수학식 2]를 이용하면 다음과 같이 표현할 수 있다.In addition, if there is no vertical parallax and the horizontal parallax d is defined as d _L -d _R , the horizontal parallax in FIG. 1 (a) is as follows when [Equation 1] and [Equation 2] are used. I can express it.

상기 [수학식 3]에서 일반적으로 초점거리 f와 카메라 간격 B는 0이 아니므로 수평시차가 0이 되는 경우는 점 P가 무한대에 존재할 때이다.In Equation 3, since the focal length f and the camera distance B are not generally 0, the horizontal parallax becomes 0 when the point P is at infinity.

즉, 편안하게 입체 영상을 보기 위해서는 좌, 우 영상소자에 맺히는 점이 영상 평면의 중심에 위치해야 하는데, 영상 소자가 고정되어 영상 평면 중심에 상이 맺히지 못하고 좌, 우로 벗어나 입체 영상을 관측할 경우 심한 피로감을 느끼게 된다. That is, in order to comfortably view stereoscopic images, the points formed on the left and right image elements should be located at the center of the image plane. Will feel.

도 1 의 (b)는 영상소자를 수평방향으로 이동시킨 후 고정한 평행축 입체 카메라의 촬영 과정을 나타낸다. 여기서, 평행축 입체 카메라는 점 P에 대해서는 수평시차를 0으로 만들었으나 점 P가 이동할 경우 영상 평면 중심에 상을 맺히게 할 수 없다. 수평축 입체 카메라와 같이 영상소자를 좌, 우로 이동시키면서 영상 평면 중심에 점 P의 상이 맺히게 할 수 없으므로 영상신호처리 방식을 이용해 점 P에 대한 수평시차를 실시간으로 조절해 주어야 한다. FIG. 1B illustrates a photographing process of a parallel axis stereoscopic camera fixed after moving an image device in a horizontal direction. In this case, the parallel axis stereoscopic camera makes the horizontal parallax to be zero with respect to the point P, but when the point P moves, the image cannot be formed at the center of the image plane. Like the horizontal three-dimensional camera, the image element cannot be formed at the center of the image plane by moving the image elements left and right. Therefore, the horizontal parallax with respect to the point P must be adjusted in real time using an image signal processing method.

즉, [수학식 1]과 [수학식 2]에 해당하는 픽셀만큼 영상소자를 좌우로 이동하면 점 P는 좌우 영상 평면의 u축 중심에 맺히게 되고 d_L과 d_R이 0이 되어 수평시차 d는 0이 된다. 이 때, 점 P보다 관측물체가 앞에 있으면 양의 수평시차를 가지게 되고, 뒤에 있으면 음의 수평시차를 가지게 된다.That is, if the image elements are moved left and right by the pixels corresponding to [Equation 1] and [Equation 2], the point P is formed at the center of the u axis of the left and right image planes, and d _L and d _R become 0, so that the horizontal parallax d Becomes zero. At this time, if the object is in front of the point P, it has a positive horizontal parallax, and if it is behind it, it has a negative horizontal parallax.

도 2 는 종래의 평행축 입체 카메라 시스템에서 신호 처리를 이용한 주시각 제어 과정을 설명하기 위한 도면이다. 2 is a view for explaining a vergence control process using signal processing in a conventional parallel axis stereoscopic camera system.

도 2 의 (a)는 좌, 우 원 영상을 나타내며, 도 2 의 (b), (c), (d)는 관측물체의 이동시 영상소자가 이동한 것과 같은 영상을 생성하는 과정을 나타낸다. 영상소자의 직접 이동에 의해 나타나지 않게 될 영상의 영역을 계산하여 수평, 수직 신호를 제거하고 최초 영상의 크기에 맞춰 확대하는 것이다. 즉, 관측물체의 이동으로 주시거리가 변화할시 좌 영상은 좌측으로 s만큼, 우 영상은 우측으로 s만큼 이동시킨 후 가로세로비(aspect ratio)를 보존하기 위해 위쪽과 아래쪽 일부를 함께 제거하고 본 영상의 크기만큼 확대한다.2 (a) shows left and right images, and FIGS. 2 (b), 2 (c) and 3 (d) show a process of generating an image in which an image device is moved when an object is moved. By calculating the area of the image that will not appear due to the direct movement of the imager, the horizontal and vertical signals are removed and enlarged to the size of the original image. That is, when the viewing distance changes due to the movement of the observation object, the left image is moved by s to the left and the right image by s to the right, and then the upper and lower portions are removed together to preserve the aspect ratio. Zoom in by the size of the video.

이러한 종래의 평행축 입체 카메라 시스템에서 신호 처리를 이용한 주시각 제어 과정은 원 영상의 일부가 사라지고, 확대하는 과정에서 불필요한 주시각 왜곡 현상이 발생한다. In this conventional parallel axis stereoscopic camera system, in the vergence control process using signal processing, part of the original image disappears, and unnecessary vergence distortion occurs in the process of enlarging.

도 3 은 본 발명에 따른 평행축 입체 카메라 시스템에서 주시각 제어를 위해 이동시켜야 할 픽셀 수를 계산하는 과정을 설명하기 위한 일실시예 도면이다. FIG. 3 is a diagram for explaining a process of calculating the number of pixels to be moved for the vergence control in the parallel axis stereoscopic camera system according to the present invention.

여기서, 주시거리 변화량이 라고 하면 도 3 과 [수학식 3]으로부터 다음과 같이 수평방향 영상 이동 픽셀 수 s에 관한 식을 유도할 수 있다.Here, the change in viewing distance In this case, the equation for the horizontal image shift pixel number s can be derived from Equation 3 and Equation 3 as follows.

즉, 관측물체의 이동으로 주시거리가 만큼 변화될 경우 [수학식 4]의 s만큼 좌우 영상을 이동시키면 된다. 이 때, 좌우 영상 평면에 맺힌 점 P는 수평시차가 변한 것과 같다.In other words, the observation distance is If it is changed by, the left and right images are moved by s in [Equation 4]. At this time, the point P formed on the left and right image planes is equal to the change in the horizontal parallax.

도 4 는 본 발명에 따른 보조 영상을 이용한 평행축 입체 카메라 시스템을 설명하기 위한 일실시예 도면이다. 4 is a diagram for describing a parallel axis stereoscopic camera system using an auxiliary image according to the present invention.

도 4 에 도시된 바와 같이, 본 발명에 따른 보조 영상을 이용한 평행축 입체 카메라 시스템은 종래의 평행축 입체 카메라와 달리 광각 보조 카메라 한 대를 추가로 사용한다. 여기서, f_w는 광각 보조 카메라의 초점거리로 기존 평행축 입체 카메라의 초점거리 f보다 훨씬 작아야 한다. 즉, 좌우 카메라보다 보조 카메라는 훨씬 더 넓은 영역에 대한 영상 정보를 획득할 수 있다.As shown in FIG. 4, unlike the conventional parallel axis stereoscopic camera, the parallel axis stereoscopic camera system using the auxiliary image according to the present invention additionally uses a wide angle auxiliary camera. Here, f _w is the focal length of the wide-angle auxiliary camera and should be much smaller than the focal length f of the conventional parallel axis stereoscopic camera. That is, the auxiliary camera can acquire image information for a much wider area than the left and right cameras.

이 때, 좌우 카메라 간격 B가 너무 작아 광각 보조 카메라를 중앙에 배치할 수 없을 경우, 수직 높이를 달리하여 배치할 수 있다. 수직 오프셋의 범위는 광각 보조 카메라 렌즈 화각에 따라 결정되며, 수직 오프셋은 주시각 조절 알고리즘에서 별도로 보정해 줄 수 있다. At this time, when the left and right camera intervals B are too small to place the wide-angle auxiliary camera in the center, they may be arranged with different vertical heights. The vertical offset range is determined according to the angle of view of the wide-angle auxiliary camera lens, and the vertical offset can be separately corrected by the vergence adjustment algorithm.

만약, 좌우 카메라 역시 화각이 큰 광각 카메라인 경우에는 보조 카메라의 수를 늘리거나 또는 보조 카메라의 수평 오프셋을 달리해 평행축 입체 카메라를 구현할 수도 있다. If the left and right cameras are also wide-angle cameras having a large angle of view, a parallel axis stereoscopic camera may be implemented by increasing the number of auxiliary cameras or by changing horizontal offsets of the auxiliary cameras.

도 5 는 본 발명에 따른 보조 영상을 이용한 주시각 제어 장치 및 그를 이용한 평행축 입체 카메라 시스템의 일실시예 구성도이다. 5 is a configuration diagram of an apparatus for controlling a viewing angle using an auxiliary image and a parallel axis stereoscopic camera system using the same according to an exemplary embodiment of the present invention.

도 5 에 도시된 바와 같이, 본 발명에 따른 주시각 제어 기능을 갖는 평행축 입체 카메라 시스템은, 좌우 양안 영상을 획득하기 위한 좌우측 카메라(101, 103), 상기 좌우측 카메라(101, 103)와 별도로 보조 영상을 획득하기 위한 광각 보조 카메라(102), 상기 좌우측 카메라(101, 103)와 광각 보조 카메라(102)에서 촬영한 주 영상 및 보조 영상에 대하여 상기 주 영상에서 계산한 이동 픽셀 수를 이용하여 수평방향 신호처리를 한 후 접합하기 위한 주시각 제어 장치(200)를 포함한다.As shown in FIG. 5, the parallel axis stereoscopic camera system having a vergence control function according to the present invention is separate from the left and right cameras 101 and 103 and the left and right cameras 101 and 103 for acquiring left and right binocular images. By using the number of moving pixels calculated from the main image for the main image and the auxiliary image photographed by the wide-angle auxiliary camera 102, the left and right cameras 101 and 103, and the wide-angle auxiliary camera 102 to obtain the auxiliary image. And a vergence control device 200 for bonding after performing horizontal signal processing.

그리고, 도 5 에 도시된 바와 같이, 본 발명에 따른 보조 영상을 이용한 주시각 제어 장치(200)는, 좌우측 카메라(101, 103)와 광각 보조 카메라(102)로부터 제공되는 주 영상과 보조 영상을 저장하기 위한 저장부(210), 상기 저장부(210)에 저장한 주 영상의 수평 방향으로의 이동 픽셀 수를 결정하기 위한 이동 픽셀 수 결정부(220), 상기 저장부(210) 및 상기 이동 픽셀 수 결정부(220)로부터 주 영상과 보조 영상 및 이동 픽셀 수를 입력받아 수평방향 신호처리를 수행하기 위한 수평방향 신호처리부(230) 및 상기 수평방향 신호처리부(230)에서 신호 처리한 주 영상과 보조 영상을 입력받아 접합하기 위한 영상 접합부(240)를 포함한다.As shown in FIG. 5, the apparatus for controlling the angle of view 200 using the auxiliary image according to the present invention includes the main image and the auxiliary image provided from the left and right cameras 101 and 103 and the wide angle auxiliary camera 102. A storage unit 210 for storing, a moving pixel number determining unit 220 for determining a moving pixel number in a horizontal direction of the main image stored in the storage unit 210, the storage unit 210, and the moving unit The main image, the horizontal signal processor 230, and the horizontal signal processor 230, which receive the main image, the auxiliary image, and the number of moving pixels from the pixel number determiner 220, perform horizontal signal processing. And an image bonding unit 240 for receiving and bonding the auxiliary image.

상기 주시각 제어 장치(200)의 각 구성요소의 동작을 상세히 살펴보면 다음과 같다. Looking at the operation of each component of the gaze control device 200 in detail as follows.

상기 좌우측 카메라(101, 103)와 광각 보조 카메라(102)로부터 발생된 신호는 좌 영상 버퍼(211), 보조 영상 버퍼(212), 우 영상 버퍼(213)에 각각 저장된다. 이 때, 관측물체의 위치 이동으로 인해 주시거리가 변할 경우 이동 픽셀 수 결정부(220)는 초기 카메라 파라미터(f, f_w, B), 초기 주시거리(D_V) 및 주시거리 변화량()을 이용하여 상기 [수학식 4]와 같이 주 영상의 이동 픽셀 수를 결정한다. 상기 저장부(210)에 저장한 영상과 상기 이동 픽셀 수 결정부(220)에서 결정한 이동 픽셀 수는 수평방향 신호처리부(230)로 입력된다.The signals generated from the left and right cameras 101 and 103 and the wide angle auxiliary camera 102 are stored in the left image buffer 211, the auxiliary image buffer 212, and the right image buffer 213, respectively. At this time, when the eye due to the shift of the position of the observation object distance can vary the pixel movement determination unit 220 is the initial camera parameter (f, f _w, B), the initial eye distance (D _V), and give the distance change amount ( ) To determine the number of moving pixels of the main image as shown in [Equation 4]. The image stored in the storage unit 210 and the moving pixel number determined by the moving pixel number determiner 220 are input to the horizontal signal processor 230.

이 때, 상기 이동 픽셀 수 결정부(220)에서는 초기 카메라 파라미터, 주시거리 및 주시거리 변화량을 이용하여 수학적으로 이동 픽셀 수를 계산하는 방식을 사용하거나, 또는 스테레오 정합과 같은 영상 신호처리에 의하여 이동 픽셀 수를 결정하는 방식을 사용하거나, 또는 인위적인 사용자 입력 방식을 통하여 이동 픽셀 수를 결정한다.In this case, the moving pixel number determination unit 220 may use a method of mathematically calculating the moving pixel number using an initial camera parameter, a gaze distance, and a gaze change amount, or move by image signal processing such as stereo matching. The number of moving pixels may be determined using a method of determining the number of pixels or through an artificial user input method.

상기 수평방향 신호처리부(230)는 좌우 영상 이동처리기(231, 234)를 이용하여 상기 저장부(210)로부터 입력받은 좌우 영상을 이동 픽셀 수 s만큼 좌, 우로 이동시키며, 좌우 보조 영상 처리기(232, 233)를 이용하여 상기 저장부(210)로부터 입력받은 보조 영상에서 주 영상의 사라진 부분의 보상 영상을 추출하고 좌우 영상과 동일한 크기로 확대한다. The horizontal signal processor 230 moves the left and right images received from the storage 210 to the left and right by the number of moving pixels s using the left and right image moving processors 231 and 234, and the left and right auxiliary image processors 232. 233 extracts the compensation image of the missing part of the main image from the auxiliary image received from the storage unit 210 and enlarges it to the same size as the left and right images.

이 때, 상기 수평방향 신호처리부(230)에서 보조 영상의 일부를 추출할 때 카메라의 기하학적인 구조에 따라 확대 비율과 특정한 위치 등을 미리 설정해 필터 설계나 추출 과정에 필요한 계산을 단순화한 방식을 사용하거나, 복잡한 영상 신호 처리에 의하여 보조 영상을 추출한다.In this case, when the horizontal signal processor 230 extracts a part of the auxiliary image, the method of simplifying the calculation required for the filter design or the extraction process by presetting an enlargement ratio and a specific position according to the geometrical structure of the camera is used. Alternatively, the auxiliary image is extracted by complex video signal processing.

상기 수평방향 신호처리부(230)에서 좌, 우로 이동한 주 영상과 사라진 주 영상을 보상하기 위해 추출한 보상 영상은 영상 접합부(240)로 입력되며, 영상 접합부(240)는 아래의 [수학식 5]와 같은 기능을 수행한다.The compensation image extracted to compensate for the main image moved left and right and the main image disappeared by the horizontal signal processor 230 is input to the image junction 240, and the image junction 240 is represented by Equation 5 below. It performs the same function as

여기서, 는 주시각 제어가 완료된 최종 좌우 영상, 와 는 좌우로 이동한 좌우 영상, 와 는 광각 보조 카메라에서 추출한 보상 영상을 의미한다.here, Is the final left and right images where the vergence control is completed, Wow Left and right video moved left and right, Wow Denotes a compensation image extracted from the wide-angle auxiliary camera.

이렇게 함으로써 영상 접합부(240)에서 주시각이 제어된 입체 영상을 얻게 된다.In this way, a stereoscopic image obtained by controlling the viewing angle at the image splicing unit 240 is obtained.

도 6 은 본 발명에 따른 보조 영상을 이용한 평행축 입체 카메라 시스템에 있어서 보조 영상을 이용한 주시각 제어 과정을 설명하기 위한 도면이다.FIG. 6 is a view for explaining a viewing angle control process using an auxiliary image in the parallel axis stereoscopic camera system using the auxiliary image according to the present invention.

도 6 의 (a)는 좌우측 카메라(101, 103)와 광각 보조 카메라(102)에서 얻어진 영상으로서, 가운데 아래쪽에 있는 영상이 광각 보조 카메라(102)에서 얻어진 영상을 나타낸다. 6A is an image obtained by the left and right cameras 101 and 103 and the wide-angle auxiliary camera 102, and the image in the lower center shows the image obtained by the wide-angle auxiliary camera 102. As shown in FIG.

도 6 의 (b)는 이동 픽셀 수 결정부(220)에서 결정한 이동 픽셀 수만큼 좌우측 카메라의 주 영상을 이동한 영상을 나타낸다. FIG. 6B illustrates an image in which the main image of the left and right cameras is moved by the number of moving pixels determined by the moving pixel number determiner 220.

도 6 의 (c)는 상기 도 6 의 (b)에서 사라진 주 영상 부분을 보상하기 위해 광각 보조 카메라(102)에서 얻어진 영상에서 사라진 주 영상 부분을 추출하여 접합하는 과정을 나타낸다. FIG. 6C illustrates a process of extracting and joining the missing main image portion from the image obtained by the wide-angle auxiliary camera 102 to compensate for the main image portion disappeared in FIG. 6B.

도 6 의 (d)는 상기 도 6 의 (c)에서 접합되어 주시각 제어가 이루어진 좌우 주 영상을 나타낸다. FIG. 6 (d) shows the left and right main images which are bonded in FIG.

한편, 좌우측 카메라에 사용되는 렌즈와 광각 보조 카메라 렌즈의 화각과 초점거리가 서로 다르므로 영상의 크기를 맞추기 위해 부가 필터링이 요구된다. 기존 의 평행축 입체 카메라에서는 축소된 영상을 원 영상 크기로 확대하기 위해 부가 필터링 방법을 사용하였으나, 본 발명에서는 광각 보조 카메라 영상의 일부를 추출해 좌우 주 영상에 채우는 과정에서 부가 필터링 방법을 사용한다. On the other hand, since the angle of view and the focal length of the lens used for the left and right cameras and the wide-angle auxiliary camera lens are different from each other, additional filtering is required to adjust the size of the image. In the conventional parallel axis stereoscopic camera, an additional filtering method is used to enlarge the reduced image to the original image size, but the present invention uses an additional filtering method in the process of extracting a part of the wide-angle auxiliary camera image and filling the left and right main images.

이 때, 기존 신호 처리에 의한 주시각 제어 과정보다 본 발명에 의한 주시각 제어 과정에서 감소되는 픽셀 수가 더 작다. In this case, the number of pixels reduced in the vergence control process according to the present invention is smaller than that of the vergence control process by the existing signal processing.

도 7 은 본 발명에 따른 보조 영상을 이용한 주시각 제어 방법에 대한 일실시예 흐름도이다.7 is a flowchart illustrating a gaze control method using an auxiliary image according to the present invention.

먼저, 좌우측 카메라(101, 103)와 광각 보조 카메라(102)에 의해 촬영한 주 영상과 보조 영상을 저장부(210)에 저장한다(701).First, the main image and the auxiliary image captured by the left and right cameras 101 and 103 and the wide-angle auxiliary camera 102 are stored in the storage 210 (701).

이후, 상기 저장부(210)에 저장한 주 영상의 수평 방향으로의 이동 픽셀 수를 결정한다(702).Thereafter, the number of moving pixels in the horizontal direction of the main image stored in the storage unit 210 is determined (702).

이후, 상기 저장부(210) 및 이동 픽셀 수 결정부(220)로부터 주 영상과 보조 영상 및 이동 픽셀 수를 입력받아 수평방향 신호처리를 수행한다. 이 때, 좌우 주 영상을 이동 픽셀 수만큼 이동시키며, 이동 후 사라진 부분에 대한 영상을 보조 영상에서 추출한다(703). Thereafter, the main image, the auxiliary image, and the moving pixel number are received from the storage unit 210 and the moving pixel number determination unit 220 to perform horizontal signal processing. In this case, the left and right main images are moved by the number of moving pixels, and an image of a portion disappeared after the movement is extracted from the auxiliary image (703).

이후, 상기 수평방향 신호처리 과정에서 이동시킨 좌우 주 영상과 상기 추출한 보조 영상을 접합한다(704). Thereafter, the left and right main images moved in the horizontal signal processing and the extracted auxiliary image are bonded (704).

이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형, 및 변경이 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.The present invention described above is not limited to the above-described embodiments and the accompanying drawings, and various substitutions, modifications, and changes can be made without departing from the technical spirit of the present invention. It will be apparent to those of ordinary skill in Esau.

상기와 같은 본 발명은, 평행축 입체 카메라의 단점인 주시각 제어의 문제를 보조 영상을 이용하여 해결함으로써, 교차축 입체 카메라의 키스톤 왜곡과 종래의 영상 신호 처리를 이용한 주시각 제어 과정에서 발생하는 좌우 영상 손실 및 영상 확대 과정에서 발생하는 불필요한 왜곡 현상을 방지할 수 있는 효과가 있다. As described above, the present invention solves the problem of viewing angle control, which is a disadvantage of the parallel axis stereoscopic camera, by using an auxiliary image, thereby generating the keystone distortion of the cross-axis stereoscopic camera and the viewing angle control process using conventional image signal processing. There is an effect that can prevent the left and right image loss and unnecessary distortion that occurs during the image magnification process.

도 1 은 종래의 평행축 입체 카메라 시스템에서의 시차량 조절 과정에 대한 일예시도.1 is an exemplary view illustrating a parallax amount adjusting process in a conventional parallel axis stereoscopic camera system.

도 2 는 종래의 평행축 입체 카메라 시스템에서 신호 처리를 이용한 주시각 제어 과정을 설명하기 위한 도면.2 is a view for explaining a vergence control process using signal processing in a conventional parallel axis stereoscopic camera system.

도 3 은 본 발명에 따른 평행축 입체 카메라 시스템에서 주시각 제어를 위해 이동시켜야 할 픽셀 수를 계산하는 과정을 설명하기 위한 일실시예 도면.FIG. 3 is a diagram for explaining a process of calculating a number of pixels to be moved for a vergence control in a parallel axis stereoscopic camera system according to the present invention; FIG.

도 4 는 본 발명에 따른 보조 영상을 이용한 평행축 입체 카메라 시스템을 설명하기 위한 일실시예 도면.Figure 4 is an embodiment for explaining a parallel axis stereoscopic camera system using an auxiliary image according to the present invention.

도 5 는 본 발명에 따른 보조 영상을 이용한 주시각 제어 장치 및 그를 이용한 평행축 입체 카메라 시스템의 일실시예 구성도.Figure 5 is a configuration diagram of an embodiment of a control device using the auxiliary image according to the present invention and a parallel axis stereoscopic camera system using the same.

도 6 은 본 발명에 따른 보조 영상을 이용한 평행축 입체 카메라 시스템에 있어서 보조 영상을 이용한 주시각 제어 과정을 설명하기 위한 도면.6 is a view for explaining a perspective control process using an auxiliary image in a parallel axis stereoscopic camera system using an auxiliary image according to the present invention;

도 7 은 본 발명에 따른 보조 영상을 이용한 주시각 제어 방법에 대한 일실시예 흐름도.7 is a flowchart illustrating a gaze control method using an auxiliary image according to the present invention;

* 도면의 주요 부분에 대한 부호의 설명* Explanation of symbols for the main parts of the drawings

100 : 평행축 입체 카메라 101 : 좌측 카메라100: parallel axis stereoscopic camera 101: left camera

102 : 광각 보조 카메라 103 : 우측 카메라102: wide-angle auxiliary camera 103: right camera

200 : 주시각 제어 장치 210 : 저장부200: vertex control device 210: storage unit

211 : 좌 영상 버퍼 212 : 보조 영상 버퍼211: left image buffer 212: auxiliary image buffer

213 : 우 영상 버퍼 220 : 이동 픽셀 수 결정부213: right image buffer 220: moving pixel number determination unit

230 : 수평방향 신호처리부 231 : 좌 영상 이동 처리기230: horizontal signal processor 231: left image movement processor

232 : 좌 보조 영상 처리기 233 : 우 보조 영상 처리기232: left auxiliary image processor 233: right auxiliary image processor

234 : 우 영상 이동 처리기 240 : 영상 접합부234: right image moving processor 240: video junction

Claims

In the viewing angle control device using an auxiliary image,

Storage means for receiving a main image and an auxiliary image from an external device;

Moving pixel number determining means for determining the moving pixel number in the horizontal direction with respect to the main image stored in the storage means;

Horizontal signal processing means for performing horizontal signal processing on the main image and the auxiliary image from the storage means using the number of moving pixels from the moving pixel number determining means; And

Image joining means for receiving and joining the main image and the sub-image processed by the horizontal signal processing means;

View control device using an auxiliary image comprising a.

The method of claim 1,

The moving pixel number determining means,

The main image using the auxiliary image, characterized in that the number of moving pixels of the main image is determined using the initial camera parameter, the gaze distance, and the gaze distance change so that the amount of parallax with respect to the feature point of the main image stored in the storage means becomes '0'. Visual control device.

The method according to claim 1 or 2,

The horizontal signal processing means,

And shifts the main image from the storage means horizontally by the number of moving pixels determined by the moving pixel number determining means, and extracts and enlarges the image part disappeared in the moving process from the auxiliary image from the storage means. Vergence Control Device Using Image.

The method of claim 3, wherein

The signal joining processing means,

And a zoomed-in control device using an auxiliary image, wherein the enlarged image extracted from the auxiliary image is bonded to a missing portion of the main image moved in the horizontal direction by the horizontal signal processing means.

In the vergence control method applied to a vergence control device using an auxiliary image,

An image storing step of storing the main image and the auxiliary image;

A moving pixel number determining step of determining a moving pixel number in a horizontal direction with respect to the stored main image;

A horizontal signal processing step of performing horizontal signal processing on the stored main image and the auxiliary image by using the determined number of moving pixels; And

Image splicing step of conjugating the main image and the auxiliary image processed the horizontal signal

Vertex control method using an auxiliary image comprising a.

The method of claim 5,

The determining of the number of moving pixels,

Using the auxiliary image, the number of moving pixels of the main image is determined using the initial camera parameter, the gaze distance, and the gaze distance variation so that the parallax amount of the feature point of the main image stored in the image storing step becomes '0'. Penetration control method.

The method according to claim 5 or 6,

The horizontal signal processing step,

Moving the main image stored in the image storing step horizontally by the number of moving pixels determined in the moving pixel number determining step, and extracting and enlarging the image part disappeared in the moving process from the auxiliary image stored in the image storing step Penetration control method using an auxiliary image characterized in that.

The method of claim 7, wherein

The image bonding step,

And a zoomed-out control method using an auxiliary image, wherein the enlarged image extracted from the auxiliary image is joined to a missing portion of the main image moved in the horizontal direction in the horizontal signal processing step.

In a parallel axis stereoscopic camera system having a vergence control function,

A main imaging apparatus for acquiring left and right binocular images;

An auxiliary image capturing apparatus for acquiring an auxiliary image separately from the main image capturing apparatus; And

Vertex control device for bonding the main image and the sub-image taken by the main image capturing apparatus and the sub image capturing apparatus after horizontal signal processing using the number of moving pixels calculated from the main image

Parallel axis stereoscopic camera system comprising a.

The method of claim 9,

The auxiliary video recording device,

Parallel axis stereoscopic camera system, characterized in that to use a wide angle or a plurality of cameras to obtain image information for a wider area than the left and right binocular image.

The method according to claim 9 or 10,

The vertex control device,

Storage means for receiving and storing an image photographed by the main image photographing apparatus and the sub image photographing apparatus;

Moving pixel number determination means for determining the moving pixel number in the horizontal direction with respect to the main image stored in the storage means;

Image splicing means for receiving the main image and the auxiliary image processed by the signal processing means in the horizontal direction

Parallel axis stereoscopic camera system comprising a.