KR100686525B1

KR100686525B1 - Projector-camera system and focusing method for augmented reality environment

Info

Publication number: KR100686525B1
Application number: KR1020050013973A
Authority: KR
Inventors: 이기혁; 심재원
Original assignee: 한국정보통신대학교 산학협력단
Priority date: 2005-02-21
Filing date: 2005-02-21
Publication date: 2007-02-26
Also published as: KR20050029172A

Abstract

본 발명은 프로젝터 카메라 시스템에서 프로젝터와 카메라가 하나의 광학 좌표를 공유하여 증강현실을 구현하는 것으로, 이를 위하여 본 발명은, 프로젝션 기능을 갖는 프로젝터 카메라 시스템에서 프로젝터와 카메라가 다른 각도로 프로젝션 면을 바라보기 때문에 프로젝터와 카메라 각각의 좌표 변환을 수행하는 종래와는 달리, 프로젝터를 이용한 영상 투사를 통해 영상을 디스플레이하는 프로젝터 카메라 시스템에서 프로젝션하고자 하는 영상을 교번적으로 온/오프 디스플레이시키고, 교번적으로 디스플레이되는 영상을 렌즈를 통해 외부 프로젝션 측으로 투사하며, 디스플레이되는 영상이 오프일 때, 렌즈를 통해 외부 프로젝터 측으로부터 전달되는 외부 영상을 촬상하고, 촬상된 외부 영상을 이용하여 프로젝션하고자 하는 영상의 포커싱을 제어함으로써, 프로젝션 기능을 갖는 프로젝터 카메라 시스템에서 프로젝터와 카메라가 동일한 광학 시스템을 가지기 때문에 촬상된 외부 영상을 이용하여 투사 영상을 포커싱을 효과적으로 제어하고, 프로젝터와 카메라 각각의 좌표 변환을 수행하는 보정없이 프로젝션 기반의 증강현실을 구현할 수 있는 것이다.The present invention implements augmented reality by sharing a single optical coordinates of the projector and the camera in the projector camera system, for the present invention, in the projector camera system having a projection function, the projector and the camera facing the projection plane at different angles Unlike the conventional method of performing coordinate conversion of the projector and the camera because of the view, the projector camera system displaying the image by projecting the image using the projector alternately turns on / off the image to be projected on and off alternately. Project the image to the external projection side through the lens, and when the displayed image is off, capture the external image transmitted from the external projector side through the lens, and use the captured external image to defocus the image to be projected. In other words, in a projector camera system having a projection function, since the projector and the camera have the same optical system, the projection image is effectively controlled by using the captured external image, and the projection is performed without correction to perform coordinate conversion of the projector and the camera. It can be implemented based on augmented reality.

Description

PROJECTOR-CAMERA SYSTEM AND FOCUSING METHOD FOR AUGMENTED REALITY ENVIRONMENT}

도 1은 종래의 프로젝터 카메라 시스템에서 카메라와 프로젝터가 다른 각도로 구성된 경우 촬상 영상과 투사 영상을 예시한 도면,1 is a view illustrating a captured image and a projection image when a camera and a projector are configured at different angles in a conventional projector camera system;

도 2는 본 발명에 따라 카메라 입력과 프로젝터 출력이 동일한 광학축을 공유하여 촬상 영상을 통해 투사 영상의 포커싱을 제어하는데 적합한 프로젝터 카메라 시스템의 구성도,2 is a configuration diagram of a projector camera system suitable for controlling focusing of a projection image through a captured image by sharing the same optical axis of the camera input and the projector output according to the present invention;

도 3은 본 발명에 따라 프로젝터 카메라 시스템에서 카메라 입력과 프로젝터 출력이 동일한 광학축을 공유할 경우 촬상 영상과 투사 영상을 예시한 도면,3 is a view illustrating a captured image and a projected image when a camera input and a projector output share the same optical axis in a projector camera system according to the present invention;

도 4는 본 발명의 일 실시 예에 따라 프로젝터 카메라 시스템에서 카메라 입력과 프로젝터 출력이 동일한 광학축을 공유하여 촬상 영상을 통해 투사 영상의 포커싱을 제어하는 과정을 도시한 플로우차트.4 is a flowchart illustrating a process of controlling focusing of a projected image through a captured image by sharing a same optical axis of a camera input and a projector output in a projector camera system according to an exemplary embodiment of the present invention.

<도면의 주요부분에 대한 부호의 설명><Description of the symbols for the main parts of the drawings>

202 : 제어 수단 204 : 광원202 control means 204 light source

206 : LCD 패널 208 : 영상 경로 굴절 수단206: LCD panel 208: image path refraction means

210 : 프로젝션 줌 렌즈 212 : 스크린210: Projection zoom lens 212: Screen

214 : 카메라214: camera

본 발명은 프로젝터 카메라 시스템에서 영상의 포커싱을 제어하는 장치 및 방법에 관한 것으로, 더욱 상세하게는 프로젝션(projection) 기능을 갖는 프로젝터 카메라 시스템에서 프로젝터와 카메라간의 광학축을 공유하여 자동으로 포커싱하는데 적합한 증강 현실 구현을 위한 프로젝터 카메라 시스템 및 포커싱 방법에 관한 것이다.The present invention relates to an apparatus and method for controlling focusing of an image in a projector camera system, and more particularly, to augmented reality suitable for automatically focusing by sharing an optical axis between a projector and a camera in a projector camera system having a projection function. Projector camera system and focusing method for implementation.

잘 알려진 바와 같이, 프로젝션 기반의 증강 현실 구현(Augmented Reality Embodiment)은 HCI(Human-Computer Interaction)의 여러 분야에서 연구, 응용되어 왔으며, 이러한 일 예로서 프로젝션 기능을 갖는 프로젝터 카메라 시스템이 구현되어 있다.As is well known, augmented reality implementation based on projection has been researched and applied in various fields of human-computer interaction (HCI), and as an example, a projector camera system having a projection function is implemented.

이러한 프로젝션 기능이 부가된 프로젝터 카메라 시스템은 일반적인 카메라의 뷰 파인더(view finder)에 설치된 LCD(Liquid Crystal Display)를 이용하여 영상신호를 프로젝션하도록 한 것으로 카메라 촬영 시에는 뷰 파인더로 현재 촬영되고 있는 피사체의 화면을 촬영자가 볼 수 있도록 하고, 저장 매체(예를 들면, 자기 테이프, 하드디스크 등)에 기록된 영상 신호를 재생시켜 스크린상에 디스플레이하고자할 때는 뷰 파인더의 LCD를 이용하여 재생된 영상 신호가 LCD에 디스플레이되도록 하고 디스플레이된 영상신호를 프로젝션시켜 스크린상에 디스플레이 시킬 수 있도록 한 것이다.Projector camera system with this projection function is to project the video signal using LCD (Liquid Crystal Display) installed in the view finder of general cameras. If you want to make the screen visible to the photographer and play back the video signal recorded on the storage media (e.g. magnetic tape, hard disk, etc.) and display it on the screen, the video signal played back using the viewfinder's LCD It is to be displayed on the LCD and to project the displayed video signal to be displayed on the screen.

하지만, 이러한 프로젝터 카메라 시스템은 카메라와 프로젝터가 소정 각도로 구성 되어 프로젝션면(스크린)을 바라보고 있어 프로젝터에 의하여 투사되는 영상의 좌표와 카메라를 통해 촬상된 영상의 좌표를 일치시키는 변환 과정이 필요하다.However, such a projector camera system requires a conversion process that matches the coordinates of the image projected by the projector with the coordinates of the image projected by the projector because the camera and the projector are configured at a predetermined angle to face the projection plane (screen). .

그래서, 소프트웨어적인 방법으로 소정의 보정을 수행하지만 정확하게 일치시키기 어렵고, 프로젝션면이 변할 경우 카메라와 프로젝터의 상대적인 위치를 조정하여 보정을 다시 해야하는 번거로움이 있었다.Therefore, although a predetermined correction is performed by a software method, it is difficult to exactly match it, and when the projection surface changes, it is cumbersome to adjust the relative position of the camera and the projector again.

또한, 도 1 에 도시한 바와 같이 프로젝터 카메라 시스템에서 프로젝션면과 피사체를 카메라로 촬상할 때 프로젝션되는 화면의 영상까지 촬상되는 문제점이 있었다.In addition, as illustrated in FIG. 1, when the projection surface and the subject are photographed by the camera in the projector camera system, there is a problem of imaging the image of the projected screen.

따라서, 본 발명은 상기한 종래 기술의 문제점을 해결하기 위한 것으로, 프로젝션 기능을 갖는 프로젝터 카메라 시스템에서 카메라의 입력과 프로젝터 출력이 동일한 광학축을 공유할 때 외부 영상을 이용하여 프로젝션하고자 하는 영상의 포커싱을 제어할 수 있는 증강 현실 구현을 위한 프로젝터 카메라 시스템 및 포커싱 방법을 제공하는데 그 목적이 있다.Accordingly, the present invention is to solve the above-mentioned problems of the prior art, in the projection camera system having a projection function when the input of the camera and the projector output share the same optical axis to focus the image to be projected using an external image An object of the present invention is to provide a projector camera system and a focusing method for controlling augmented reality.

상기 목적을 달성하기 위한 일 관점에서 본 발명은, 프로젝터를 이용한 영상 투사를 통해 영상을 디스플레이하는 프로젝터 카메라 시스템의 포커싱을 제어하는 장치로서, 기 설정된 주기로 온/오프되는 조사광에 응답하여, 프로젝션하고자 하는 영상의 디스플레이를 상기 기 설정된 주기로 온/오프하는 수단과, 상기 디스플레이 온된 영상을 렌즈를 통해 외부 프로젝션 측으로 투사하는 수단과, 상기 조사광이 오프일 때, 상기 렌즈를 통해 상기 외부 프로젝션 측으로부터 전달되는 외부 영상을 촬상하는 카메라 수단과, 상기 촬상된 외부 영상을 이용하여 상기 프로젝션하고자 하는 영상의 포커싱을 제어하는 수단을 포함하는 증강 현실 구현을 위한 프로젝터 카메라 시스템을 제공한다.In one aspect to achieve the above object, the present invention is a device for controlling the focusing of the projector camera system for displaying an image by projecting the image using a projector, in order to project in response to the irradiation light on / off at a predetermined period Means for turning on / off the display of an image at the predetermined period, means for projecting the displayed on-image through the lens to the external projection side, and when the irradiation light is off, transmitted from the external projection side through the lens It provides a projector camera system for implementing augmented reality comprising a camera means for capturing the external image, and means for controlling the focusing of the image to be projected using the captured external image.

또한, 상기 목적을 달성하기 위한 다른 관점에서 본 발명은, 프로젝터를 이용한 영상 투사를 통해 영상을 디스플레이하는 프로젝터 카메라 시스템의 포커싱을 제어하는 방법으로서, 프로젝션하고자 하는 영상을 교번적으로 온/오프 디스플레이시키는 과정과, 교번적으로 디스플레이되는 영상을 렌즈를 통해 외부 프로젝션 측으로 투사하는 과정과, 상기 영상이 오프일 때, 상기 렌즈를 통해 상기 외부 프로젝터 측으로부터 전달되는 외부 영상을 촬상하는 과정과, 상기 촬상된 외부 영상을 이용하여 상기 프로젝션하고자 하는 영상의 포커싱을 제어하는 과정을 포함하는 증강 현실 구현을 위한 프로젝터 카메라 시스템의 포커싱 방법을 제공한다.In another aspect, the present invention provides a method of controlling the focusing of a projector camera system for displaying an image by projecting an image using a projector, which alternately turns on / off an image to be projected. A process of projecting an alternately displayed image to an external projection side through a lens; and imaging an external image transmitted from the external projector side through the lens when the image is off; A focusing method of a projector camera system for augmented reality including a process of controlling focusing of an image to be projected by using an external image.

본 발명의 상기 및 기타 목적과 여러 가지 장점은 이 기술분야에 숙련된 사람들에 의해 첨부된 도면을 참조하여 하기에 기술되는 본 발명의 바람직한 실시 예로부터 더욱 명확하게 될 것이다.The above and other objects and various advantages of the present invention will become more apparent from the preferred embodiments of the present invention described below with reference to the accompanying drawings by those skilled in the art.

이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예에 대하여 상세하게 설명한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

본 발명의 핵심 기술요지는, 프로젝션 기능을 갖는 프로젝터 카메라 시스템에서 프로젝터와 카메라가 다른 각도로 프로젝션 면을 바라보기 때문에 프로젝터와 카메라 각각의 좌표 변환을 수행하는 종래 방법과는 달리, 프로젝터를 이용한 영상 투사를 통해 영상을 디스플레이하는 프로젝터 카메라 시스템에서 프로젝션하고자 하는 영 상을 교번적으로 온/오프 디스플레이시키고, 교번적으로 디스플레이되는 영상을 렌즈를 통해 외부 프로젝션 측으로 투사하며, 디스플레이되는 영상이 오프일 때, 렌즈를 통해 외부 프로젝터 측으로부터 전달되는 외부 영상을 촬상하고, 촬상된 외부 영상을 이용하여 프로젝션하고자 하는 영상의 포커싱을 제어한다는 것으로, 이러한 기술적 수단을 통해 본 발명에서 목적으로 하는 바를 쉽게 달성할 수 있다.A key technical aspect of the present invention is to project an image using a projector, unlike a conventional method of performing coordinate transformation of the projector and the camera because the projector and the camera look at the projection plane at different angles in the projector camera system having a projection function. In the projector camera system displaying an image through the display, images to be projected alternately on / off are alternately displayed, and the alternately displayed images are projected to the external projection side through the lens, and when the displayed image is off, the lens By capturing the external image transmitted from the external projector side through, and controlling the focusing of the image to be projected by using the captured external image, it is easy to achieve the purpose of the present invention through such technical means.

도 2는 본 발명에 따라 카메라 입력과 프로젝터 출력이 동일한 광학축을 공유하여 촬상 영상을 통해 투사 영상의 포커싱을 제어하는데 적합한 프로젝터 카메라 시스템의 구성도로서, 제어 수단(202), 광원(204), LCD 패널(206), 영상 경로 굴절 수단(208), 프로젝션 줌 렌즈(210), 스크린(212) 및 카메라(214)를 포함한다.2 is a configuration diagram of a projector camera system suitable for controlling the focusing of a projection image through a captured image by sharing the same optical axis of the camera input and the projector output according to the present invention, wherein the control means 202, the light source 204, and the LCD are shown. A panel 206, an image path refraction means 208, a projection zoom lens 210, a screen 212 and a camera 214.

도 2를 참조하면, 제어 수단(202)은 예를 들면, 마이크로 프로세서 등을 포함하여 프로젝터 카메라 시스템의 전반적인 동작 제어를 수행하는 것으로, 광원(204)을 기 설정된 주기(예를 들면, 75Hz 등)에 따라 교번적으로 온/오프시키고, 이에 따라 프로젝션하고자 하는 영상을 LCD 패널(206)로 전달하여 이러한 영상이 기 설정된 주기에 따라 교번적으로 디스플레이되도록 제어한다. 여기에서, 기 설정된 주기는 사람이 눈으로 인식할 수 없을 정도 즉. 70Hz이상의 주기를 의미한다.Referring to FIG. 2, the control means 202 performs overall operation control of the projector camera system, including a microprocessor, for example, and sets the light source 204 at a predetermined period (eg, 75 Hz, etc.). Alternately on / off, and accordingly transfers an image to be projected to the LCD panel 206 so that such images are alternately displayed according to a predetermined period. Here, the preset period is such that the human can not recognize the eye. It means the period above 70Hz.

또한, 제어 수단(202)에서는 LCD 패널(206)을 통해 디스플레이되는 영상이 온 될 때 이 영상을 영상 경로 굴절 수단(208)을 투과시키고, 프로젝션 줌 렌즈(210)를 통해 스크린(212) 상에 영상이 투사되도록 제어한다.In addition, the control means 202 transmits the image through the image path refraction means 208 when the image displayed through the LCD panel 206 is turned on, and on the screen 212 through the projection zoom lens 210. Control the image to be projected.

한편, 제어 수단(202)에서는 LCD 패널(206)을 통해 디스플레이되는 영상이 오프 될 때, 카메라(214)를 통해 촬상된 영상을 제공받아 이러한 촬상 영상(즉, 외부 영상) 의 포커싱을 제어하고, 이에 따라 LCD 패널(206)에 디스플레이되는 프로젝션하고자 하는 영상(즉, 투사 영상)의 포커싱을 제어하는 등의 기능을 수행한다. On the other hand, the control means 202 receives an image captured by the camera 214 when the image displayed through the LCD panel 206 is turned off, and controls the focusing of the captured image (ie, an external image), Accordingly, a function of controlling focusing of an image to be projected (that is, a projected image) displayed on the LCD panel 206 is performed.

즉, 프로젝션하고자 하는 영상의 투사와 카메라(214)를 통해 촬상하는 외부 영상의 입력이 시간분할 방식으로 교번적으로 수행된다.That is, projection of an image to be projected and input of an external image captured by the camera 214 are alternately performed in a time division manner.

그리고, 광원(204)은 예를 들면, LED인 것으로, 카메라(214)와 동기화되어 기 설정된 주기(예를 들면, 70 Hz 등)에 따라 교번적으로 온/오프되고, 이에 따라 LCD 패널(206)을 통해 프로젝션하고자 하는 영상이 기 설정된 주기에 따라 교번적으로 디스플레이된다.The light source 204 is, for example, an LED, and is alternately turned on / off according to a preset period (for example, 70 Hz, etc.) in synchronization with the camera 214, and thus the LCD panel 206. ), Images to be projected are alternately displayed at preset intervals.

다음에, 영상 경로 굴절 수단(208)은 예를 들면, 광학 빔 스플리터인 것으로, LCD 패널(206)로부터 전달되는 프로젝션하고자 하는 영상을 투과시켜 프로젝터 줌 렌즈(210)로 전달하고, 프로젝션 줌 렌즈를 통해 입력되는 외부 영상(즉, 스크린상의 영상)을 임의의 각도로 굴절시켜 카메라(214)로 유도한다.Next, the image path refraction means 208 is, for example, an optical beam splitter, which transmits the image to be projected from the LCD panel 206 to the projector zoom lens 210 and transmits the projection zoom lens. The external image (that is, the image on the screen) input through the image is refracted at an arbitrary angle to guide the camera 214.

다음에, 프로젝터 줌 렌즈(210)는 영상 경로 굴절 수단(208)으로부터 전달되는 프로젝션하고자 하는 영상을 확대하여 스크린(212) 상에 투사하고, 스크린(212) 상의 외부 영상을 축소하여 영상 경로 굴절 수단(208)으로 전달한다. 여기에서, 프로젝션하고자 하는 영상(즉, 투사 영상)이 투사되는 광학축과 외부 영상이 전달되는 광학축은 동일한 광학축을 공유하게 된다. 즉, 카메라 입력과 프로젝터 출력이 동일한 광학축을 공유하게 된다.Next, the projector zoom lens 210 enlarges and projects the image to be projected transmitted from the image path refraction means 208 on the screen 212, and reduces the external image on the screen 212 to reduce the image path refraction means. Forward to 208. Here, the optical axis to which the image to be projected (that is, the projected image) is projected and the optical axis to which the external image is transmitted share the same optical axis. In other words, the camera input and the projector output share the same optical axis.

일 예로서, 도 3은 본 발명에 따라 프로젝터 카메라 시스템에서 카메라 입력과 프로젝터 출력이 동일한 광학축을 공유할 경우 촬상 영상과 투사 영상을 예시한 도면 이다.As an example, FIG. 3 is a diagram illustrating a captured image and a projected image when the camera input and the projector output share the same optical axis in the projector camera system according to the present invention.

한편, 카메라(214)는 광원(204)과 동기화되어 영상 경로 굴절 수단(208)을 통해 유도된 외부 영상을 촬상한 후에 이를 제어 수단(202)으로 제공한다.On the other hand, the camera 214 is synchronized with the light source 204 to capture the external image guided through the image path refraction means 208 and provide it to the control means 202.

다음에, 상술한 바와 같은 구성을 갖는 프로젝터 카메라 시스템에서 프로젝터 출력과 카메라입력이 동일한 광학축을 공유하며, 카메라와 광원을 동기시킨 상태에서 교번적으로 온/오프하는 광원에 따라 카메라에 촬상되는 외부 영상을 이용하여 프로젝터 출력 영상의 포커싱을 제어하는 과정에 대해 설명한다.Next, in the projector camera system having the above-described configuration, the projector output and the camera input share the same optical axis, and the external image captured by the camera according to the light source alternately turned on / off while the camera and the light source are synchronized. A process of controlling the focusing of the projector output image using the following will be described.

도 4는 본 발명의 일 실시 예에 따라 프로젝터 카메라 시스템에서 카메라 입력과 프로젝터 출력이 동일한 광학축을 공유하여 촬상되는 외부 영상을 통해 투사 영상의 포커싱을 제어하는 과정을 도시한 플로우차트이다.FIG. 4 is a flowchart illustrating a process of controlling focusing of a projected image through an external image captured by a camera input and a projector output sharing the same optical axis in a projector camera system according to an exemplary embodiment.

도 4를 참조하면, 프로젝터를 이용한 영상 투사를 통해 영상을 디스플레이하는 프로젝터 카메라 시스템의 작동 모드에서(단계402), 제어 수단(202)에서 광원(204)을 기 설정된 주기(예를 들면, 75Hz 등)에 따라 교번적으로 온/오프시키고, 이에 따라 프로젝션하고자 하는 영상을 LCD 패널(206)로 전달하면 이러한 영상이 기 설정된 주기에 따라 교번적으로 디스플레이된다(단계404).Referring to FIG. 4, in the operation mode of the projector camera system for displaying an image through image projection using a projector (step 402), the control unit 202 sets the light source 204 to a preset period (for example, 75 Hz or the like). By alternately turning on / off, and accordingly transfers the image to be projected to the LCD panel 206, such image is displayed alternately according to a predetermined period (step 404).

여기에서, 광원(204)은 예를 들면, LED를 의미하며, 기 설정된 주기는 사람이 눈으로 인식할 수 없을 정도의 주기 즉. 70 Hz이상의 주기를 의미하고, 광원(204)과 카메라(214)는 동기화 되어 광원(204)의 온/오프에 따라 카메라(214)를 통한 외부 영상의 촬상이 오프/온 된다.Herein, the light source 204 means, for example, an LED, and the preset period is a period that is not recognized by the human eye. It means a period of 70 Hz or more, the light source 204 and the camera 214 is synchronized so that the imaging of the external image through the camera 214 is turned on / off in accordance with the on / off of the light source 204.

그리고, LCD 패널(206)을 통해 기 설정된 주기에 따라 교번적으로 디스플레 이되는 투사 영상(즉, 프로젝션하고자 하는 영상)은 영상 경로 굴절 수단(208)을 투과하고, 이러한 영상은 프로젝터 줌 렌즈(210)를 통해 확대되어 스크린(212) 상에 투사된다(단계406). 여기에서, 영상 경로 굴절 수단(208)은 예를 들면, 광학 빔 스플리터를 의미한다.In addition, a projection image (that is, an image to be projected) alternately displayed through a predetermined period through the LCD panel 206 passes through the image path refraction means 208, and the image is projected by the projector zoom lens 210. And is projected onto the screen 212 (step 406). Here, the image path refraction means 208 means, for example, an optical beam splitter.

한편, 스크린(212) 상에 영상이 투사되는 중에 제어 수단(202)에서는 광원(204)의 오프에 따른 프로젝션하고자 하는 영상의 투사가 오프되는지를 체크한다(단계408). 즉, 제어 수단(202)에서는 기 설정된 주기(예를 들면, 75 Hz 등)가 되는지를 체크한다.On the other hand, while the image is being projected on the screen 212, the control means 202 checks whether the projection of the image to be projected due to the off of the light source 204 is turned off (step 408). In other words, the control means 202 checks whether or not a predetermined period (for example, 75 Hz) is reached.

상기 단계(408)에서의 체크 결과, 프로젝션하고자 하는 영상의 투사가 오프될 때 스크린(212) 상의 외부 영상을 프로젝터 줌 렌즈(210)를 통해 축소하여 영상 경로 굴절 수단(208)으로 전달되고, 이러한 영상은 영상 경로 굴절 수단(208)을 통해 임의의 각도로 굴절되어 카메라(214)로 유도되며, 유도된 외부 영상은 카메라(214)를 통해 촬상된다(단계410).As a result of the check in step 408, when the projection of the image to be projected is turned off, the external image on the screen 212 is reduced through the projector zoom lens 210 and transferred to the image path refraction means 208. The image is refracted at an angle through the image path refraction means 208 and guided to the camera 214, and the induced external image is captured by the camera 214 (step 410).

이어서, 카메라(214)를 통해 촬상되는 외부 영상은 제어 수단(202)으로 전달되고, 제어 수단(202)에서는 촬상된 외부 영상의 포커싱을 제어한다(단계412). 즉, 촬상된 외부 영상에 따라 프로젝터 줌 렌즈(210)를 조절하여 외부 영상의 포커싱을 제어한다.Then, the external image captured by the camera 214 is transferred to the control means 202, and the control means 202 controls the focusing of the captured external image (step 412). That is, the focusing of the external image is controlled by adjusting the projector zoom lens 210 according to the captured external image.

이 후에, 포커싱이 제어된 외부 영상을 이용하여 프로젝션하고자 하는 영상의 포커싱을 제어한다(단계414). 여기에서, 촬상되는 외부 영상의 입력과 프로젝션하고자 하는 영상의 투사가 동일한 광학축을 공유하기 때문에 카메라(214)를 통해 촬상되는 외부 영상에 따라 포커싱을 제어하면 스크린(212) 상에 투사되는 영상의 포커싱이 자동으로 제어된다.Thereafter, the focusing of the image to be projected is controlled by using the focused external image (step 414). Here, since the input of the captured external image and the projection of the image to be projected share the same optical axis, the focusing of the image projected on the screen 212 is controlled by controlling the focusing according to the external image captured by the camera 214. This is controlled automatically.

따라서, 프로젝터를 이용한 영상 투사를 통해 영상을 디스플레이하는 프로젝터 카메라 시스템에서 카메라 입력과 프로젝터 출력이 동일한 광학축 및 렌즈를 공유할 때, 카메라를 통해 촬상되는 외부 영상의 포커싱을 제어하여 이에 따라 프로젝션하고자 하는 영상의 포커싱을 자동으로 제어할 수 있다.Therefore, when a camera input and a projector output share the same optical axis and lens in a projector camera system displaying an image by projecting an image using a projector, the focusing of the external image captured by the camera is controlled and projected accordingly. The focusing of the image can be controlled automatically.

한편, 상술한 본 발명에서는 스크린 상에 영상을 투사하고, 스크린 상의 외부 영상을 촬상하는 것으로 하여 설명하였으나, 프로젝션 면이 변할 경우에도 카메라를 통해 촬상되는 외부 영상을 이용하여 프로젝션하고자 하는 영상의 포커싱을 제어할 수 있다.Meanwhile, in the present invention described above, the image is projected on the screen and the external image on the screen has been described. However, even when the projection plane is changed, the focusing of the image to be projected using the external image captured by the camera is performed. Can be controlled.

이상 설명한 바와 같이 본 발명은, 프로젝션 기능을 갖는 프로젝터 카메라 시스템에서 프로젝터와 카메라가 다른 각도로 프로젝션 면을 바라보기 때문에 프로젝터와 카메라 각각의 좌표 변환을 수행하는 종래 방법과는 달리, 프로젝터를 이용한 영상 투사를 통해 영상을 디스플레이하는 프로젝터 카메라 시스템에서 프로젝션하고자 하는 영상을 교번적으로 온/오프 디스플레이시키고, 교번적으로 디스플레이되는 영상을 렌즈를 통해 외부 프로젝션 측으로 투사하며, 디스플레이되는 영상이 오프일 때, 렌즈를 통해 외부 프로젝터 측으로부터 전달되는 외부 영상을 촬상하고, 촬상된 외부 영상을 이용하여 프로젝션하고자 하는 영상의 포커싱을 제어함으로써, 프로젝션 기능을 갖는 프로젝터 카메라 시스템에서 촬상 영상과 투사 영상이 동일한 광학축을 공유하기 때문에 촬상된 외부 영상을 이용하여 투사 영상의 포커싱을 효과적으로 제어할 수 있다.As described above, the present invention is different from the conventional method of performing coordinate transformation of the projector and the camera because the projector and the camera look at the projection plane at different angles in the projector camera system having the projection function. In the projector camera system displaying an image through the display, the image to be projected alternately on / off is displayed, and the alternately displayed image is projected to the external projection side through the lens, and when the displayed image is off, By capturing the external image transmitted from the external projector side and controlling the focusing of the image to be projected by using the captured external image, the captured image and the projected image are the same optical axis in the projector camera system having the projection function. By using the external video image capture because they share it it is possible to effectively control the focusing of the projected image.

따라서, 프로젝션 기능을 갖는 프로젝터 카메라 시스템에서 프로젝터와 카메라 각각의 좌표 변환을 수행하는 보정없이 프로젝션 기반의 증강현실을 구현할 수 있다. Accordingly, in the projector camera system having a projection function, projection-based augmented reality may be implemented without correction for performing coordinate transformation of the projector and the camera.

Claims

delete

A projector camera system for displaying an image by projecting an image using a projector,

Means for turning on / off the display of an image to be projected at the predetermined period in response to the irradiation light turned on / off at a predetermined period;

Means for projecting the displayed image onto an external projection side through a lens;

An image path refraction means for refraction of an external image transmitted from the external projection side through the lens to an arbitrary angle when the irradiation light is off;

Camera means for capturing an external image derived from the image path refraction means;

Means for controlling focusing of the image to be projected using the captured external image

Projector camera system for augmented reality implementation comprising a.

An optical beam splitter for refracting an external image transmitted from the external projection side through the lens at an arbitrary angle when the irradiation light is off;

Camera means for capturing an external image derived from the optical beam splitter;

Projector camera system for augmented reality implementation comprising a.

Including;

The optical axis to which the image to be projected is projected and the optical axis to which the external image is transmitted are the same optical axis, and the coordinates of the projected image and the image captured by the camera coincide with each other. Projector Camera System.

delete