KR20190102111A

KR20190102111A - Stereoscopic image reproduction apparatus based on optical fiber screen

Info

Publication number: KR20190102111A
Application number: KR1020180021703A
Authority: KR
Inventors: 홍현주; 오진호; 한봉훈; 김범준; 정순규; 박명환; 엄준열
Original assignee: (주)온넷시스템즈코리아; 주식회사 엘지유플러스
Priority date: 2018-02-23
Filing date: 2018-02-23
Publication date: 2019-09-03

Abstract

본 발명은 광섬유 스크린 기반의 입체영상 재현 장치에 관한 것으로, 사용자 단말로부터 사용자 영상을 수신하는 사용자 영상 수신부, 상기 사용자 영상의 입체감을 획득하여 사용자 입체영상을 생성하는 사용자 입체영상 생성부 및 상기 사용자 입체영상에 따라 광섬유 스크린의 색상 및 깊이를 물리적으로 제어하는 광섬유 스크린 제어부를 포함한다. 따라서, 본 발명은 실시간으로 수신한 입체영상을 광섬유 스크린에 재생할 수 있다.The present invention relates to an apparatus for reproducing a stereoscopic image based on an optical fiber screen, comprising: a user image receiving unit receiving a user image from a user terminal, a user stereoscopic image generating unit generating a stereoscopic image of the user image, and a user stereoscopic image; And an optical fiber screen controller for physically controlling the color and depth of the optical fiber screen according to the image. Therefore, the present invention can reproduce the stereoscopic image received in real time on the optical fiber screen.

Description

Optical screen-based stereoscopic image reproduction device {STEREOSCOPIC IMAGE REPRODUCTION APPARATUS BASED ON OPTICAL FIBER SCREEN}

본 발명은 입체영상 재현 기술에 관한 것으로, 보다 상세하게는 실시간으로 수신한 입체영상을 광섬유 스크린에 재생하는 광섬유 스크린 기반의 입체영상 재현 장치에 관한 것이다.The present invention relates to a stereoscopic image reproducing technology, and more particularly, to a stereoscopic image reproducing apparatus based on an optical fiber screen for reproducing a stereoscopic image received in real time on an optical fiber screen.

핀스크린은 3차원 입체 정보를 표시할 수 있는 디스플레이 장치에 해당한다. 핀스크린은 동일 평면 상에 평행하게 나열된 복수 개의 핀들로 구성되며, 각각의 핀들의 높이를 수동 또는 자동으로 조절함으로써 입체 정보를 표현할 수 있다. 2차원 이미지를 이용하여 3차원 정보로 변환하는 다양한 방법이 존재하고, 2차원 이미지로부터 추출된 3차원 정보를 이용하면 2차원 이미지를 핀스크린을 통해 입체 정보로서 표현하는 것이 가능하다.The pin screen corresponds to a display device capable of displaying three-dimensional stereoscopic information. The pin screen is composed of a plurality of pins arranged in parallel on the same plane, and can represent stereoscopic information by manually or automatically adjusting the height of each pin. There are various methods of converting two-dimensional images into three-dimensional information, and by using three-dimensional information extracted from two-dimensional images, it is possible to express two-dimensional images as stereoscopic information through a pin screen.

한국공개특허 제10-2009-0038656(2009.04.21)호는 핀 디스플레이 장치와, 이를 이용한 디스플레이 방법에 관한 것으로, 피사체의 이미지가 2D 디스플레이에서 3D 디스플레이로 변환되면서 입체 표현이 가능하여 손의 촉감만으로 이미지의 형태를 느낄 수 있고, 마치 점자와 같이 표현되기 때문에 시각 장애인에게도 피사체 이미지를 촬상하는 즐거움을 줄 수가 있다.Korean Patent Laid-Open No. 10-2009-0038656 (2009.04.21) relates to a pin display device and a display method using the same. A three-dimensional representation is possible by converting an image of a subject from a 2D display to a 3D display, thereby allowing only a hand to touch. The shape of the image can be felt, and because it is expressed like a braille, it can give the visually impaired the pleasure of capturing the subject image.

한국공개특허 제10-2009-0038656(2009.04.21)호Korean Patent Publication No. 10-2009-0038656 (2009.04.21)

본 발명의 일 실시예는 실시간으로 수신한 입체영상을 광섬유 스크린에 재생하는 광섬유 스크린 기반의 입체영상 재현 장치를 제공하고자 한다.An embodiment of the present invention is to provide an optical fiber screen-based stereoscopic image reproducing apparatus for reproducing a stereoscopic image received in real time on an optical fiber screen.

본 발명의 일 실시예는 실시간 영상을 구성하는 복수의 영상 프레임별로 깊이 및 색상 정보를 추출하여 실시간으로 광섬유 스크린을 통해 표시하는 광섬유 스크린 기반의 입체영상 재현 장치를 제공하고자 한다.An embodiment of the present invention is to provide a three-dimensional image reproducing apparatus based on the optical fiber screen to extract the depth and color information for each of the plurality of image frames constituting the real-time image to display through the optical fiber screen in real time.

본 발명의 일 실시예는 연속된 영상 프레임 간에 광섬유 핀의 급격한 깊이 변화를 방지하거나 미세한 깊이 변화를 생략하여 광섬유 스크린의 오작동을 예방할 수 있는 광섬유 스크린 기반의 입체영상 재현 장치를 제공하고자 한다.An embodiment of the present invention is to provide a three-dimensional image reproducing apparatus based on the optical fiber screen that can prevent the malfunction of the optical fiber screen by preventing a sudden depth change of the optical fiber pins or successive minute depth change between successive image frames.

실시예들 중에서, 광섬유 스크린 기반의 입체영상 재현 장치는 사용자 단말로부터 사용자 영상을 수신하는 사용자 영상 수신부, 상기 사용자 영상의 입체감을 획득하여 사용자 입체영상을 생성하는 사용자 입체영상 생성부 및 상기 사용자 입체영상에 따라 광섬유 스크린의 색상 및 깊이를 물리적으로 제어하는 광섬유 스크린 제어부를 포함한다.Among the embodiments, an apparatus for reproducing a stereoscopic image based on a fiber optic screen may include a user image receiver configured to receive a user image from a user terminal, a user stereoscopic image generator for obtaining a stereoscopic sense of the user image, and a user stereoscopic image generator; And a fiber optic screen controller for physically controlling the color and depth of the fiber optic screen.

상기 사용자 입체영상 생성부는 상기 사용자 영상을 구성하는 복수의 2차원 영상 프레임을 기초로 2차원 영상 프레임에 영향을 주는 광원을 추출하고 상기 2차원 영상 프레임을 구성하는 각 픽셀에 대해 상기 광원에 의한 효과를 제거한 색상 및 깊이 정보를 포함하는 3차원 입체 이미지를 생성할 수 있다.The user stereoscopic image generating unit extracts a light source that affects a 2D image frame based on a plurality of 2D image frames constituting the user image, and effects of the light source on each pixel constituting the 2D image frame. The 3D stereoscopic image including the color and the depth information may be generated.

상기 광섬유 스크린 제어부는 상기 사용자 입체영상을 구성하는 복수의 3차원 입체 이미지를 기초로 시간 순서에 따라 상기 광섬유 스크린의 색상 및 깊이를 물리적으로 제어할 수 있다.The optical fiber screen controller may physically control the color and depth of the optical fiber screen in a time sequence based on the plurality of three-dimensional stereoscopic images constituting the user stereoscopic image.

상기 사용자 입체영상 생성부는 상기 복수의 2차원 영상 프레임에 대해 음영을 제거하거나 또는 경계를 명확히 하는 색상 보정을 수행한 후 깊이만을 포함하는 상기 3차원 입체 이미지를 생성할 수 있다.The user stereoscopic image generating unit may generate the 3D stereoscopic image including only depth after removing a shadow or performing color correction to clarify a boundary of the plurality of 2D image frames.

상기 광섬유 스크린 제어부는 상기 2차원 영상 프레임의 보정 전 색상을 기초로 상기 광섬유 스크린의 색상을 제어하고 상기 3차원 입체 이미지의 깊이를 기초로 상기 광섬유 스크린의 깊이를 제어할 수 있다.The optical fiber screen controller may control the color of the optical fiber screen based on the color before correction of the 2D image frame and control the depth of the optical fiber screen based on the depth of the 3D stereoscopic image.

상기 광섬유 스크린 제어부는 상기 사용자 입체영상을 구성하는 복수의 영상 프레임 각각에 대해 복수의 부분 영상 프레임으로 분할하여 상기 광섬유 스크린을 구성하는 복수의 광섬유 핀에 대응시킨 후 상기 복수의 광섬유 핀에 대한 색상 및 깊이를 제어할 수 있다.The optical fiber screen control unit divides each of the plurality of image frames constituting the user stereoscopic image into a plurality of partial image frames to correspond to the plurality of optical fiber pins constituting the optical fiber screen, and then the colors of the plurality of optical fiber pins and You can control the depth.

상기 광섬유 스크린 제어부는 상기 복수의 영상 프레임 중 시간 순서로 연속된 특정 영상 프레임 간에 동일 위치에 대응하는 상기 광섬유 핀의 깊이가 제1 임계 값을 초과하여 변하는 경우 상기 광섬유 핀의 깊이 변화를 상기 제1 임계 값으로 제한할 수 있다.The optical fiber screen controller may be configured to change the depth of the optical fiber pin when the depth of the optical fiber pin corresponding to the same position is changed to exceed the first threshold value among specific image frames consecutive in the chronological order among the plurality of image frames. You can limit it to a threshold.

상기 광섬유 스크린 제어부는 상기 복수의 영상 프레임 중 시간 순서로 연속된 특정 영상 프레임 간에 동일 위치에 대응하는 상기 광섬유 핀의 깊이가 제2 임계 값 미만으로 변하는 경우 상기 광섬유 핀의 깊이를 동일한 값으로 유지할 수 있다.The optical fiber screen controller may maintain the depth of the optical fiber pins at the same value when the depth of the optical fiber pins corresponding to the same position is changed to less than a second threshold value among specific image frames consecutive in the chronological order among the plurality of image frames. have.

개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.The disclosed technique can have the following effects. However, since a specific embodiment does not mean to include all of the following effects or only the following effects, it should not be understood that the scope of the disclosed technology is limited by this.

본 발명의 일 실시예에 따른 광섬유 스크린 기반의 입체영상 재현 장치는 실시간 영상을 구성하는 복수의 영상 프레임별로 깊이 및 색상 정보를 추출하여 실시간으로 광섬유 스크린을 통해 표시할 수 있다.An apparatus for reproducing a stereoscopic image based on an optical fiber screen according to an embodiment of the present invention may extract depth and color information for each of a plurality of image frames constituting a real-time image and display the same through a fiber optic screen in real time.

본 발명의 일 실시예에 따른 광섬유 스크린 기반의 입체영상 재현 장치는 연속된 영상 프레임 간에 광섬유 핀의 급격한 깊이 변화를 방지하거나 미세한 깊이 변화를 생략하여 광섬유 스크린의 오작동을 예방할 수 있다.An apparatus for reproducing a stereoscopic image based on an optical fiber screen according to an embodiment of the present invention may prevent a malfunction of the optical fiber screen by preventing a sudden depth change of the optical fiber pins between consecutive image frames or omitting a minute depth change.

도 1은 본 발명의 일 실시예에 따른 광섬유 스크린 기반의 입체영상 재현 시스템을 설명하는 도면이다.
도 2는 도 1에 있는 입체영상 재현 장치를 설명하는 블록도이다.
도 3은 도 1에 있는 입체영상 재현 장치에서 수행되는 광섬유 스크린 기반의 입체영상 재현 과정을 설명하는 흐름도이다.
도 4는 입체영상 재현 장치에서 영상 프레임을 복수의 부분 영상 프레임으로 분할하여 복수의 광섬유 핀에 대응시키는 과정을 설명하는 예시도이다.
도 5는 입체영상 재현 장치에서 연속된 영상 프레임 간에 동일한 광섬유 핀의 급격한 깊이 변화를 제어하는 일 실시예를 설명하는 예시도이다.
도 6은 입체영상 재현 장치에서 연속된 영상 프레임 간에 동일한 광섬유 핀의 미세한 깊이 변화를 제어하는 일 실시예를 설명하는 예시도이다.1 is a view illustrating a stereoscopic image reproduction system based on an optical fiber screen according to an embodiment of the present invention.
FIG. 2 is a block diagram illustrating a stereoscopic image reproducing apparatus of FIG. 1.
FIG. 3 is a flowchart illustrating a process of reproducing a stereoscopic image based on an optical fiber screen performed in the stereoscopic image reproducing apparatus of FIG. 1.
FIG. 4 is an exemplary diagram illustrating a process of dividing an image frame into a plurality of partial image frames and corresponding the plurality of optical fiber pins in the stereoscopic image reproducing apparatus.
5 is an exemplary view for explaining an embodiment of controlling a sudden depth change of the same optical fiber pin between successive image frames in the stereoscopic image reproducing apparatus.
FIG. 6 is an exemplary view for explaining an embodiment of controlling a minute depth change of the same optical fiber pin between successive image frames in the stereoscopic image reproducing apparatus.

본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.Description of the present invention is only an embodiment for structural or functional description, the scope of the present invention should not be construed as limited by the embodiments described in the text. That is, since the embodiments may be variously modified and may have various forms, the scope of the present invention should be understood to include equivalents capable of realizing the technical idea. In addition, the objects or effects presented in the present invention does not mean that a specific embodiment should include all or only such effects, the scope of the present invention should not be understood as being limited thereby.

한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.On the other hand, the meaning of the terms described in the present application should be understood as follows.

"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.Terms such as "first" and "second" are intended to distinguish one component from another component, and the scope of rights should not be limited by these terms. For example, the first component may be named a second component, and similarly, the second component may also be named a first component.

어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.When a component is referred to as being "connected" to another component, it should be understood that there may be other components in between, although it may be directly connected to the other component. On the other hand, when a component is referred to as being "directly connected" to another component, it should be understood that there is no other component in between. On the other hand, other expressions describing the relationship between the components, such as "between" and "immediately between" or "neighboring to" and "directly neighboring to", should be interpreted as well.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Singular expressions should be understood to include plural expressions unless the context clearly indicates otherwise, and terms such as "comprise" or "have" refer to a feature, number, step, operation, component, part, or feature thereof. It is to be understood that the combination is intended to be present and does not exclude in advance the possibility of the presence or addition of one or more other features or numbers, steps, operations, components, parts or combinations thereof.

각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.In each step, an identification code (e.g., a, b, c, etc.) is used for convenience of description, and the identification code does not describe the order of the steps, and each step clearly indicates a specific order in context. Unless stated otherwise, they may occur out of the order noted. That is, each step may occur in the same order as specified, may be performed substantially simultaneously, or may be performed in the reverse order.

본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.The present invention can be embodied as computer readable code on a computer readable recording medium, and the computer readable recording medium includes all kinds of recording devices in which data can be read by a computer system. . Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, and the like. The computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.

여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.All terms used herein have the same meaning as commonly understood by one of ordinary skill in the art unless otherwise defined. Generally, the terms defined in the dictionary used are to be interpreted to coincide with the meanings in the context of the related art, and should not be interpreted as having ideal or excessively formal meanings unless clearly defined in the present application.

핀스크린은 스크린 평면에 대해 수직으로 일정 범위를 왕복 이동할 수 있는 복수의 핀을 통해 입체적인 정보를 표현할 수 있는 디스플레이 장치에 해당할 수 있다. 일반적으로 핀스크린은 물리적인 화소로서 동작하는 복수의 핀, 복수의 핀이 나열되어 화면을 구성하는 스크린부, 복수의 핀을 이동시키는 구동부 및 핀스크린의 전체적인 동작을 제어하는 제어부를 포함하여 구성될 수 있다.The pin screen may correspond to a display device capable of expressing three-dimensional information through a plurality of pins capable of reciprocating a predetermined range vertically with respect to the screen plane. In general, the pin screen may include a plurality of pins operating as physical pixels, a screen unit in which a plurality of pins are arranged to form a screen, a driving unit for moving the plurality of pins, and a controller for controlling the overall operation of the pin screen. Can be.

도 1은 본 발명의 일 실시예에 따른 광섬유 스크린 기반의 입체영상 재현 시스템을 설명하는 도면이다.1 is a view illustrating a stereoscopic image reproduction system based on an optical fiber screen according to an embodiment of the present invention.

도 1을 참조하면, 광섬유 스크린 기반의 입체영상 재현 시스템(100)은 사용자 단말(110), 입체영상 재현 장치(130) 및 데이터베이스(150)를 포함할 수 있다.Referring to FIG. 1, a stereoscopic image reproducing system 100 based on an optical fiber screen may include a user terminal 110, a stereoscopic image reproducing apparatus 130, and a database 150.

사용자 단말(110)은 광섬유 스크린을 통해 재생하려는 영상정보를 제공할 수 있는 컴퓨팅 장치에 해당할 수 있고, 스마트폰, 노트북 또는 컴퓨터로 구현될 수 있으며, 반드시 이에 한정되지 않고, 태블릿 PC 등 다양한 디바이스로도 구현될 수 있다. 사용자 단말(110)은 입체영상 재현 장치(130)와 네트워크를 통해 연결될 수 있고, 복수의 사용자 단말(110)은 입체영상 재현 장치(130)와 동시에 연결될 수 있다.The user terminal 110 may correspond to a computing device capable of providing image information to be reproduced through an optical fiber screen, and may be implemented as a smartphone, a notebook, or a computer, and is not limited thereto, and various devices such as a tablet PC. It can also be implemented. The user terminal 110 may be connected with the stereoscopic image reproducing apparatus 130 through a network, and the plurality of user terminals 110 may be simultaneously connected with the stereoscopic image reproducing apparatus 130.

일 실시예에서, 사용자 단말(110)은 사용자 영상을 촬영할 수 있는 카메라를 포함할 수 있다. 여기에서, 사용자 영상은 사용자의 모습을 촬영한 2차원 이미지 또는 사용자의 움직임을 촬영한 동영상에 해당할 수 있다. 카메라는 3차원 깊이 정보를 획득할 수 있는 깊이 카메라에 해당할 수 있다. 사용자 단말(110)은 카메라를 통해 촬영된 2차원 이미지 또는 동영상을 입체영상 재현 장치(130)에 제공할 수 있다.In an embodiment, the user terminal 110 may include a camera capable of capturing a user image. Here, the user image may correspond to a 2D image photographing the user's state or a video photographing the user's movement. The camera may correspond to a depth camera capable of acquiring three-dimensional depth information. The user terminal 110 may provide the 3D image reproducing apparatus 130 with the 2D image or the video captured by the camera.

일 실시예에서, 사용자 단말(110)은 사용자 음성을 녹음할 수 있는 마이크를 포함할 수 있다. 여기에서, 사용자 음성은 사용자의 음성 뿐만 아니라 사용자의 행동을 통해 발생하는 주변 환경 소리를 포함하는 오디오 데이터에 해당할 수 있다. 다른 실시예에서, 사용자 단말(110)은 카메라에 포함된 내부 마이크를 통해 오디오 데이터가 포함된 사용자 영상을 생성할 수 있다. 사용자 단말(110)은 마이크를 통해 녹음된 오디오 데이터를 입체영상 재현 장치(130)에 제공할 수 있다.In one embodiment, the user terminal 110 may include a microphone capable of recording a user voice. Here, the user's voice may correspond to audio data including not only the user's voice but also the ambient sound generated through the user's action. In another embodiment, the user terminal 110 may generate a user image including audio data through an internal microphone included in the camera. The user terminal 110 may provide audio data recorded through a microphone to the stereoscopic image reproducing apparatus 130.

입체영상 재현 장치(130)는 사용자 단말(110)로부터 수신한 사용자 영상을 기초로 광섬유 스크린을 통해 입체영상을 재생할 수 있는 컴퓨터 또는 프로그램에 해당하는 서버로 구현될 수 있다. 입체영상 재현 장치(130)는 사용자 단말(110)과 블루투스, WiFi 등을 통해 무선으로 연결될 수 있고, 네트워크를 통해 사용자 단말(110)과 데이터를 주고 받을 수 있다.The stereoscopic image reproducing apparatus 130 may be implemented as a server corresponding to a computer or a program capable of reproducing stereoscopic images through an optical fiber screen based on the user image received from the user terminal 110. The 3D image reproducing apparatus 130 may be wirelessly connected to the user terminal 110 through Bluetooth, WiFi, or the like, and may exchange data with the user terminal 110 through a network.

일 실시예에서, 입체영상 재현 장치(130)는 광섬유 스크린(도 1에 미도시함.)을 포함하여 구현될 수 있고, 광섬유 스크린과 독립적으로 구현될 수 있다. 광섬유 스크린과 독립적으로 구현된 경우 입체영상 재현 장치(130)는 광섬유 스크린과 네트워크로 연결되어 광섬유 스크린의 동작을 제어할 수 있다. 광섬유 스크린은 핀스크린에 해당할 수 있고 광섬유로 제작한 복수의 광섬유 핀으로 구현될 수 있다. 광섬유 핀은 다양한 색상을 표현할 수 있고, 광섬유 외에 다양한 색상 표현이 가능한 재질로 구현된 핀으로 대체될 수 있다.In one embodiment, the stereoscopic image reproducing apparatus 130 may be implemented by including an optical fiber screen (not shown in FIG. 1), and may be implemented independently of the optical fiber screen. When implemented independently of the optical fiber screen, the stereoscopic image reproducing apparatus 130 may be connected to the optical fiber screen and the network to control the operation of the optical fiber screen. The optical fiber screen may correspond to a pin screen and may be implemented by a plurality of optical fiber pins made of optical fibers. The optical fiber pins can express various colors and can be replaced with pins made of a material capable of expressing various colors in addition to the optical fiber.

입체영상 재현 장치(130)는 데이터베이스(150)를 포함하여 구현될 수 있고, 데이터베이스(150)와 독립적으로 구현될 수 있다. 데이터베이스(150)와 독립적으로 구현된 경우 입체영상 재현 장치(130)는 데이터베이스(150)와 유선 또는 무선으로 연결되어 데이터를 주고 받을 수 있다.The stereoscopic image reproducing apparatus 130 may be implemented including a database 150 and may be implemented independently of the database 150. When implemented independently of the database 150, the stereoscopic image reproducing apparatus 130 may be connected to the database 150 by wire or wirelessly to exchange data.

데이터베이스(150)는 광섬유 스크린을 통한 입체영상 재생을 위해 필요한 다양한 정보들을 저장할 수 있는 저장장치이다. 데이터베이스(150)는 사용자 단말(110)로부터 수신한 사용자 영상을 저장할 수 있고, 입체영상 재현 장치(130)가 입체영상 재생을 위해 사용자 영상으로부터 생성한 사용자 입체영상 정보를 저장할 수 있다. 데이터베이스(150)는, 반드시 이에 한정되지 않고, 광섬유 스크린을 통한 입체영상 재생과 관련하여 다양한 형태로 수집 또는 가공된 정보들을 저장할 수 있다.The database 150 is a storage device capable of storing various information required for stereoscopic image reproduction through an optical fiber screen. The database 150 may store the user image received from the user terminal 110, and store the user stereoscopic image information generated by the stereoscopic image reproducing apparatus 130 from the user image for stereoscopic image reproduction. The database 150 is not limited thereto, and may store information collected or processed in various forms in connection with stereoscopic image reproduction through an optical fiber screen.

데이터베이스(150)는 특정 범위에 속하는 정보들을 저장하는 적어도 하나의 독립된 서브-데이터베이스들로 구성될 수 있고, 적어도 하나의 독립된 서브-데이터베이스들이 하나로 통합된 통합 데이터베이스로 구성될 수 있다. 적어도 하나의 독립된 서브-데이터베이스들로 구성되는 경우에는 각각의 서브-데이터베이스들은 블루투스, WiFi 등을 통해 무선으로 연결될 수 있고, 네트워크를 통해 상호 간의 데이터를 주고 받을 수 있다. 데이터베이스(150)는 통합 데이터베이스로 구성되는 경우 각각의 서브-데이터베이스들을 하나로 통합하고 상호 간의 데이터 교환 및 제어 흐름을 관리하는 제어부를 포함할 수 있다.The database 150 may be composed of at least one independent sub-databases that store information belonging to a specific range, and may be configured as an integrated database in which at least one independent sub-databases are integrated into one. When composed of at least one independent sub-database, each sub-database may be wirelessly connected through Bluetooth, WiFi, and the like, and may exchange data with each other through a network. When the database 150 is configured as an integrated database, the database 150 may include a control unit for integrating respective sub-databases into one and managing data exchange and control flow between them.

도 2는 도 1에 있는 입체영상 재현 장치를 설명하는 블록도이다.FIG. 2 is a block diagram illustrating a stereoscopic image reproducing apparatus of FIG. 1.

도 2를 참조하면, 입체영상 재현 장치(130)는 사용자 영상 수신부(210), 사용자 입체영상 생성부(230), 광섬유 스크린 제어부(250) 및 제어부(270)를 포함할 수 있다.Referring to FIG. 2, the stereoscopic image reproducing apparatus 130 may include a user image receiver 210, a user stereoscopic image generator 230, an optical fiber screen controller 250, and a controller 270.

사용자 영상 수신부(210)는 사용자 단말(110)로부터 사용자 영상을 수신할 수 있다. 사용자 영상은 사용자 단말(110)에 포함된 카메라를 이용하여 촬영된 이미지 또는 영상에 해당할 수 있다. 일 실시예에서, 사용자 영상 수신부(210)는 사용자 단말(110)에 포함된 카메라를 통해 촬영된 영상을 실시간으로 수신하여 데이터베이스(150)에 저장할 수 있다.The user image receiver 210 may receive a user image from the user terminal 110. The user image may correspond to an image or an image photographed using a camera included in the user terminal 110. In an embodiment, the user image receiver 210 may receive an image captured by a camera included in the user terminal 110 in real time and store the image in the database 150.

사용자 입체영상 생성부(230)는 사용자 영상 수신부(210)를 통해 수신한 사용자 영상의 입체감을 획득하여 사용자 입체영상을 생성할 수 있다. 여기에서, 사용자 영상의 입체감은 2차원 이미지를 분석하여 추출할 수 있는 깊이 정보 및 음영, 광원 효과 등이 반영된 색상 정보를 포함하는 3차원 정보에 해당할 수 있다.The user stereoscopic image generating unit 230 may generate a stereoscopic image of the user image received through the user image receiving unit 210 to generate a user stereoscopic image. Here, the three-dimensional effect of the user image may correspond to three-dimensional information including depth information that can be extracted by analyzing a two-dimensional image, and color information reflecting a shadow, a light source effect, and the like.

일 실시예에서, 사용자 입체영상 생성부(230)는 사용자 영상을 구성하는 복수의 2차원 영상 프레임을 기초로 색상 및 깊이를 포함하는 3차원 입체 이미지를 생성할 수 있다. 사용자 입체영상 생성부(230)는 사용자 영상이 동영상인 경우 동영상으로부터 2차원 이미지에 해당하는 복수의 영상 프레임을 추출할 수 있고, 각각의 영상 프레임을 분석하여 3차원 입체 이미지를 생성할 수 있다. 3차원 입체 이미지는 2차원 영상 프레임에 대응하여 각 픽셀별로 깊이 정보 및 색상 정보를 포함할 수 있다.In one embodiment, the user stereoscopic image generator 230 may generate a 3D stereoscopic image including color and depth based on a plurality of 2D image frames constituting the user image. When the user image is a video, the user stereoscopic image generation unit 230 may extract a plurality of image frames corresponding to the 2D image from the video, and generate a 3D stereoscopic image by analyzing each image frame. The 3D stereoscopic image may include depth information and color information for each pixel corresponding to the 2D image frame.

일 실시예에서, 사용자 입체영상 생성부(230)는 복수의 2차원 영상 프레임에 대해 음영을 제거하거나 또는 경계를 명확히 하는 색상 보정을 수행한 후 깊이만을 포함하는 3차원 입체 이미지를 생성할 수 있다. 광섬유 스크린을 구성하는 복수의 광섬유 핀은 광섬유의 특성상 광섬유 핀의 끝부분에서의 색상만을 표현할 수 있기 때문에, 입체영상 재현 장치(130)는 2차원 영상 프레임의 색상을 그대로 이용하여 광섬유 핀 각각의 색상을 제어하고, 3차원 입체 이미지를 이용하여 광섬유 핀에 대한 깊이만을 제어할 수 있다.According to an embodiment, the user stereoscopic image generator 230 may generate a 3D stereoscopic image including only depth after removing a shadow or performing color correction for clarifying a boundary of the plurality of 2D image frames. . Since the plurality of optical fiber pins constituting the optical fiber screen can express only the color at the end of the optical fiber pin due to the characteristics of the optical fiber, the stereoscopic image reproducing apparatus 130 uses the color of the two-dimensional image frame as it is and the color of each of the optical fiber pins. The depth of the optical fiber fin can be controlled using the 3D stereoscopic image.

사용자 입체영상 생성부(230)는 2차원 영상 프레임에 대해 정확한 깊이를 획득하기 위해 음영을 제거할 수 있고, 경계의 구분이 명확하지 않은 부분에 대해 색상을 보정하여 경계가 명확해 지도록 할 수 있다. 사용자 입체영상 생성부(230)는 색상 보정이라는 사전 처리를 통해 보다 명확한 입체표현이 가능하도록 할 수 있고, 색상 표현은 별도의 처리없이 2차원 영상 프레임의 색상 정보를 그대로 이용하여 처리할 수 있다.The user stereoscopic image generating unit 230 may remove the shadow to obtain the correct depth for the 2D image frame, and the boundary may be clear by correcting the color of the part where the boundary is not clearly defined. . The user stereoscopic image generating unit 230 may enable more precise stereoscopic representation through preprocessing of color correction, and the color representation may be processed using color information of the 2D image frame as it is without additional processing.

일 실시예에서, 사용자 입체영상 생성부(230)는 2차원 영상 프레임에 대해 정확한 색상을 획득하기 위해 사용자 영상을 구성하는 복수의 2차원 영상 프레임을 기초로 2차원 영상 프레임에 영향을 주는 광원을 추출할 수 있고, 2차원 영상 프레임을 구성하는 각 픽셀에 대해 해당 광원에 의한 효과를 제거한 색상 및 깊이 정보를 포함하는 3차원 입체 이미지를 생성할 수 있다.In one embodiment, the user stereoscopic image generation unit 230 generates a light source that affects the two-dimensional image frame based on the plurality of two-dimensional image frame constituting the user image in order to obtain the correct color for the two-dimensional image frame A three-dimensional stereoscopic image including color and depth information from which an effect of a corresponding light source is removed may be generated for each pixel constituting the two-dimensional image frame.

입체영상 재현 장치(130)는 사용자 입체영상 생성부(230)에 의해 생성된 3차원 입체 이미지를 이용하여 광섬유 스크린 제어부(250)를 통해 광섬유 스크린에 입체영상을 재생할 수 있다. 입체영상 재현 장치(130)는 3차원 입체 이미지에 포함된 광원 효과를 제거한 색상 정보를 기초로 광원 효과가 제거된 촬영 대상물의 본연의 색상을 표현할 수 있고, 해당 색상 정보에 동일한 광원 효과를 적용하거나 또는 다른 광원 효과를 적용하여 입체영상의 색상을 다양하게 표현할 수 있다.The stereoscopic image reproducing apparatus 130 may reproduce the stereoscopic image on the optical fiber screen through the optical fiber screen controller 250 using the 3D stereoscopic image generated by the user stereoscopic image generating unit 230. The stereoscopic image reproducing apparatus 130 may express the natural color of the object to be photographed from which the light source effect is removed based on color information from which the light source effect included in the 3D stereoscopic image is removed, and apply the same light source effect to the corresponding color information. Alternatively, the color of the stereoscopic image may be variously applied by applying another light source effect.

광섬유 스크린 제어부(250)는 사용자 입체영상에 따라 광섬유 스크린의 색상 및 깊이를 물리적으로 제어할 수 있다. 광섬유 스크린을 구성하는 복수의 광섬유 핀에 대해 깊이를 조정하여 입체적 형상을 표현하고 광섬유 핀의 색상을 조정함으로써 입체적 형상에 원근감 또는 입체감을 부여할 수 있다.The optical fiber screen controller 250 may physically control the color and depth of the optical fiber screen according to the user stereoscopic image. By adjusting the depth of the plurality of optical fiber pins constituting the optical fiber screen to express a three-dimensional shape and by adjusting the color of the optical fiber pins can be given perspective or three-dimensional feeling to the three-dimensional shape.

일 실시예에서, 광섬유 스크린 제어부(250)는 사용자 입체영상을 구성하는 복수의 3차원 입체 이미지를 기초로 시간 순서에 따라 광섬유 스크린의 색상 및 깊이를 물리적으로 제어할 수 있다. 보다 구체적으로, 광섬유 스크린 제어부(250)는 특정 3차원 입체 이미지를 기초로 광섬유 핀의 깊이 및 색상을 조정할 수 있고, 시간 순서에 따라 연속된 다음 3차원 입체 이미지를 기초로 광섬유 핀의 깊이 및 색상을 조정함으로써 광섬유 스크린에 사용자 영상을 재생할 수 있다.In one embodiment, the optical fiber screen controller 250 may physically control the color and depth of the optical fiber screen in time order based on the plurality of three-dimensional stereoscopic images constituting the user stereoscopic image. More specifically, the optical fiber screen controller 250 may adjust the depth and color of the optical fiber fins based on a specific three-dimensional stereoscopic image, and the depth and color of the optical fiber fins based on the subsequent three-dimensional stereoscopic images in chronological order. You can play the user image on the optical fiber screen by adjusting the.

일 실시예에서, 광섬유 스크린 제어부(250)는 2차원 영상 프레임의 보정 전 색상을 기초로 광섬유 스크린의 색상을 제어하고 3차원 입체 이미지의 깊이를 기초로 광섬유 스크린의 깊이를 제어할 수 있다. 사용자 입체영상 생성부(230)는 2차원 영상 프레임을 사전 보정함으로써 입체적 형상을 보다 명확히 광섬유 스크린에 표현할 수 있다. 사용자 입체영상 생성부(230)는 사전 보정을 통해 음영을 제거하거나 또는 경계를 명확히 할 수 있다.In one embodiment, the optical fiber screen controller 250 may control the color of the optical fiber screen based on the color before correction of the 2D image frame and control the depth of the optical fiber screen based on the depth of the 3D stereoscopic image. The user stereoscopic image generating unit 230 may express the stereoscopic shape more clearly on the optical fiber screen by pre-correcting the 2D image frame. The user stereoscopic image generator 230 may remove the shadow or clarify the boundary through pre-correction.

일 실시예에서, 광섬유 스크린 제어부(250)는 사용자 입체영상을 구성하는 복수의 영상 프레임 각각에 대해 복수의 부분 영상 프레임으로 분할하여 광섬유 스크린을 구성하는 복수의 광섬유 핀에 대응시킨 후 복수의 광섬유 핀에 대한 색상 및 깊이를 제어할 수 있다. 이에 대해서는 도 4의 설명 부분에서 보다 자세히 설명한다.In one embodiment, the optical fiber screen controller 250 divides each of the plurality of image frames constituting the user stereoscopic image into a plurality of partial image frames to correspond to the plurality of optical fiber pins constituting the optical screen, and then the plurality of optical fiber pins. You can control the color and depth for. This will be described in more detail in the description of FIG. 4.

일 실시예에서, 광섬유 스크린 제어부(250)는 복수의 영상 프레임 중 시간 순서로 연속된 특정 영상 프레임 간에 동일 위치에 대응하는 광섬유 핀의 깊이가 제1 임계 값을 초과하여 변하는 경우 광섬유 핀의 깊이 변화를 제1 임계 값으로 제한할 수 있다. 이에 대해서는 도 5의 설명 부분에서 보다 자세히 설명한다.In an exemplary embodiment, the optical fiber screen controller 250 may change the depth of the optical fiber pin when the depth of the optical fiber pin corresponding to the same position is changed between the specific image frames consecutive in time order among the plurality of image frames by exceeding the first threshold value. May be limited to the first threshold value. This will be described in more detail in the description of FIG. 5.

일 실시예에서, 광섬유 스크린 제어부(250)는 복수의 영상 프레임 중 시간 순서로 연속된 특정 영상 프레임 간에 동일 위치에 대응하는 광섬유 핀의 깊이가 제2 임계 값 미만으로 변하는 경우 광섬유 핀의 깊이를 동일한 값으로 유지할 수 있다. 이에 대해서는 도 6의 설명 부분에서 보다 자세히 설명한다.In one embodiment, the optical fiber screen control unit 250 equals the depth of the optical fiber pins when the depth of the optical fiber pins corresponding to the same position among specific image frames consecutive in time order among the plurality of image frames changes below the second threshold value. It can be kept at a value. This will be described in more detail in the description of FIG. 6.

일 실시예에서, 광섬유 스크린 제어부(250)는 광섬유 스크린의 설치 장소의 광원 효과를 고려하여 3차원 입체 이미지에 포함된 색상을 보정함으로써 광섬유 스크린의 색상을 물리적으로 제어할 수 있다. 보다 구체적으로, 광섬유 스크린 제어부(250)는 광섬유 스크린의 설치 장소의 조명 등 주변 환경을 고려하여 3차원 입체 이미지에 포함된 각 픽셀의 색상 정보를 보정한 후 광섬유 핀의 색상을 제어함으로써 촬영 대상물의 본연의 색상을 그대로 재현하도록 할 수 있다.In one embodiment, the optical fiber screen controller 250 may physically control the color of the optical fiber screen by correcting the color included in the 3D stereoscopic image in consideration of the light source effect of the installation place of the optical fiber screen. More specifically, the optical fiber screen controller 250 corrects the color information of each pixel included in the 3D stereoscopic image in consideration of the surrounding environment such as the illumination of the installation place of the optical fiber screen, and then controls the color of the optical fiber pin to control the color of the photographing object. It is possible to reproduce the original color as it is.

일 실시예에서, 광섬유 스크린 제어부(250)는 색상 보정과 관련하여 미리 설정된 파라미터를 기초로 광섬유 스크린의 색상을 물리적으로 제어할 수 있다. 입체영상 재현 장치(130)는 색상 보정 파라미터를 미리 설정할 수 있고, 광섬유 스크린 제어부(250)는 3차원 입체 이미지에 포함된 색상 정보에 색상 보정 파라미터를 적용하여 보정된 색상을 기초로 광섬유 스크린의 색상을 전체적으로 제어할 수 있다.In one embodiment, the optical fiber screen controller 250 may physically control the color of the optical fiber screen based on a preset parameter with respect to color correction. The stereoscopic image reproducing apparatus 130 may preset color correction parameters, and the optical fiber screen controller 250 may apply the color correction parameters to the color information included in the 3D stereoscopic image, based on the color corrected on the optical fiber screen. Can be controlled globally.

제어부(270)는 입체영상 재현 장치(130)의 전체적인 동작을 제어하고, 사용자 영상 수신부(210), 사용자 입체영상 생성부(230) 및 광섬유 스크린 제어부(250) 간의 제어 흐름 또는 데이터 흐름을 관리할 수 있다.The controller 270 controls the overall operation of the stereoscopic image reproducing apparatus 130 and manages a control flow or data flow between the user image receiving unit 210, the user stereoscopic image generating unit 230, and the optical fiber screen control unit 250. Can be.

일 실시예에서, 입체영상 재현 장치(130)는 오디오 재생 제어부(도면에 미도시함.)를 더 포함할 수 있다. 입체영상 재현 장치(130)는 사용자 영상 수신부(210)를 통해 사용자 단말(110)로부터 오디오 데이터를 포함하는 사용자 영상을 수신할 수 있고 사용자 영상과 별개로 오디오 데이터만을 수신할 수 있다. In one embodiment, the stereoscopic image reproducing apparatus 130 may further include an audio reproduction control unit (not shown). The stereoscopic image reproducing apparatus 130 may receive a user image including audio data from the user terminal 110 through the user image receiving unit 210 and receive only audio data separately from the user image.

오디오 재생 제어부는 광섬유 스크린 제어부(250)와 동기화 할 수 있고 광섬유 스크린의 입체영상 재생에 맞춰 오디오 데이터의 재생을 제어할 수 있다. 일 실시예에서, 오디오 재생 제어부는 광섬유 스크린 제어부(250)와의 동기화를 통해 주기적으로 광섬유 스크린 제어부(250)로부터 입체영상 재생 싱크 정보를 수신할 수 있다. 오디오 재생 제어부는 입체영상 재생 싱크 정보를 기초로 오디오 데이터의 재생을 제어할 수 있다.The audio reproduction control unit may synchronize with the optical fiber screen control unit 250 and control the reproduction of the audio data in accordance with the reproduction of the stereoscopic image of the optical fiber screen. In one embodiment, the audio reproduction control unit may periodically receive stereoscopic image reproduction sync information from the optical fiber screen control unit 250 through synchronization with the optical fiber screen control unit 250. The audio reproduction controller may control the reproduction of the audio data based on the stereoscopic image reproduction sync information.

일 실시예에서, 오디오 재생 제어부는 입체영상 싱크 정보 및 오디오 재생 싱크 정보 간의 시간 차이가 특정 임계 시간을 초과하는 경우 오디오 재생 싱크 값을 입체영상 싱크 값으로 변경할 수 있다. 예를 들어, 오디오 재생 제어부는 입체영상 재생 싱크가 오디오 재생 싱크보다 1초 이상 빠른 경우이거나 또는 1초 이상 느린 경우에 오디오 재생 싱크 값을 입체영상 재생 싱크 값으로 변경하여 오디오 데이터가 광섬유 스크린의 입체영상 재생에 맞춰 재생될 수 있도록 할 수 있다.In one embodiment, the audio reproduction control unit may change the audio reproduction sync value to the stereoscopic image sync value when the time difference between the stereoscopic image sync information and the audio reproduction sync information exceeds a specific threshold time. For example, the audio reproduction control unit changes the audio reproduction sync value to the stereoscopic reproduction sync value when the stereoscopic image reproduction sink is 1 second or more faster than the audio reproduction sink or is slower by 1 second or more. Can be played in accordance with the video playback.

도 3은 도 1에 있는 입체영상 재현 장치에서 수행되는 광섬유 스크린 기반의 입체영상 재현 과정을 설명하는 흐름도이다.FIG. 3 is a flowchart illustrating a process of reproducing a stereoscopic image based on an optical fiber screen performed in the stereoscopic image reproducing apparatus of FIG. 1.

도 3을 참조하면, 입체영상 재현 장치(130)는 사용자 영상 수신부(210)를 통해 사용자 단말(110)로부터 사용자 영상을 수신할 수 있다(단계 S310). 사용자 영상 수신부(210)는 사용자 단말(110)에 포함된 카메라를 통해 촬영된 2차원 이미지 또는 동영상을 사용자 영상으로서 수신할 수 있고, 데이터베이스(150)에 저장할 수 있다.Referring to FIG. 3, the 3D image reproducing apparatus 130 may receive a user image from the user terminal 110 through the user image receiving unit 210 (step S310). The user image receiving unit 210 may receive a 2D image or a video captured by a camera included in the user terminal 110 as a user image, and may be stored in the database 150.

입체영상 재현 장치(130)는 사용자 입체영상 생성부(230)를 통해 사용자 영상의 입체감을 획득하여 사용자 입체영상을 생성할 수 있다(단계 S330). 사용자 입체영상 생성부(230)는 2차원 데이터인 사용자 영상을 분석하여 3차원 정보에 해당하는 사용자 입체영상을 생성할 수 있다. 사용자 입체영상은 광섬유 스크린 재생을 위해 필요한 깊이 및 색상 정보를 포함할 수 있다.The 3D image reproducing apparatus 130 may generate a 3D image of the user image through the 3D image generating unit 230 to generate a 3D image of the user (step S330). The user stereoscopic image generator 230 may generate a user stereoscopic image corresponding to 3D information by analyzing the user image that is 2D data. The user stereoscopic image may include depth and color information necessary for reproducing the optical fiber screen.

입체영상 재현 장치(130)는 광섬유 스크린 제어부(250)를 통해 사용자 입체영상에 따라 광섬유 스크린의 색상 및 깊이를 물리적으로 제어할 수 있다(단계 S350). 광섬유 스크린 제어부(250)는 사용자 입체영상에 포함된 깊이 및 색상 정보를 기초로 해당 위치에 대응하는 광섬유 핀의 깊이 및 색상을 제어할 수 있다. 광섬유 스크린에 포함된 구동 모듈은 광섬유 핀의 깊이 변경을 직접적으로 수행할 수 있고, 채색 모듈은 광섬유 핀의 색상 변경을 직접적으로 수행할 수 있다. 광섬유 스크린 제어부(250)는 구동 모듈 및 채색 모듈에 대한 제어를 담당할 수 있다.The stereoscopic image reproducing apparatus 130 may physically control the color and depth of the optical fiber screen according to the user stereoscopic image through the optical fiber screen controller 250 (step S350). The optical fiber screen controller 250 may control the depth and color of the optical fiber pin corresponding to the corresponding position based on the depth and color information included in the user stereoscopic image. The driving module included in the optical fiber screen may directly change the depth of the optical fiber pins, and the coloring module may directly change the color of the optical fiber pins. The optical fiber screen controller 250 may be in charge of controlling the driving module and the coloring module.

일 실시예에서, 입체영상 재현 장치(130)는 사용자 단말(110)로부터 실시간으로 사용자 영상을 수신할 수 있고, 사용자 영상 분석으로 통해 획득한 3차원 입체 이미지를 기초로 광섬유 스크린에 사용자 영상을 실시간으로 재생할 수 있다.In one embodiment, the stereoscopic image reproducing apparatus 130 may receive the user image from the user terminal 110 in real time, and real-time user image on the optical fiber screen based on the three-dimensional stereoscopic image obtained through the user image analysis Can be played with.

일 실시예에서, 광섬유 스크린 제어부(250)는 복수의 3차원 입체 이미지 중 특정 시간 간격에 따라 선택된 특정 3차원 입체 이미지를 기초로 광섬유 스크린의 색상 및 깊이를 물리적으로 제어할 수 있다. 광섬유 스크린 제어부(250)는 모든 3차원 입체 이미지에 대해 시간 순서에 따라 광섬유 스크린을 통해 표시할 수도 있지만, 3차원 입체 이미지들 중 일정한 시간 간격에 따라 선택된 3차원 입체 이미지들에 대해서만 광섬유 스크린을 통해 표시할 수도 있다.In one embodiment, the optical fiber screen controller 250 may physically control the color and depth of the optical fiber screen based on the specific three-dimensional stereoscopic image selected according to a specific time interval among the plurality of three-dimensional stereoscopic images. Although the optical fiber screen controller 250 may display all three-dimensional stereoscopic images through the optical fiber screen in chronological order, only the three-dimensional stereoscopic images selected at regular time intervals among the three-dimensional stereoscopic images may be displayed through the optical fiber screen. Can also be displayed.

일 실시예에서, 광섬유 스크린 제어부(250)는 복수의 3차원 입체 이미지 중 다음의 수학식 1을 통해 산출된 시간 주기에 따라 선택된 특정 3차원 입체 이미지를 기초로 광섬유 스크린의 색상 및 깊이를 물리적으로 제어할 수 있다.In one embodiment, the optical fiber screen controller 250 physically adjusts the color and depth of the optical fiber screen based on a specific three-dimensional stereoscopic image selected according to a time period calculated through Equation 1 of the plurality of three-dimensional stereoscopic images. Can be controlled.

[수학식 1][Equation 1]

T = k * U * S * (1/N)T = k * U * S * (1 / N)

여기에서, T는 시간 주기를, k는 비례 계수를, U는 현재 시점에서 입체영상 재현 장치(130)의 연산량을, S는 광섬유 스크린의 해상도를, N은 사용자 단말(110) 및 입체영상 재현 장치(130) 간의 네트워크 속도를 의미한다. 시간 주기 T는 사용자 입체영상을 구성하는 복수의 3차원 입체 이미지에서 광섬유 스크린으로의 출력이 생략되는 입체 이미지의 수로 표현될 수 있다. 예를 들어, 시간 주기 T = 5인 경우 광섬유 스크린 제어부(250)는 시간 순서에 따라 연속된 복수의 3차원 입체 이미지에서 5의 간격으로 정렬된 입체 이미지에 대해서만 광섬유 스크린의 색상 및 깊이를 제어할 수 있다. 즉, 광섬유 스크린 제어부(250)는 첫 번째 입체 이미지를 기초로 광섬유 스크린의 색상 및 깊이를 변경한 경우 다음 변경을 위해 6번째 입체 이미지를 사용할 수 있고, 그 다음 변경을 위해 11번째 입체 이미지를 사용할 수 있다.Here, T denotes a time period, k denotes a proportional coefficient, U denotes an amount of calculation of the stereoscopic image reproducing apparatus 130 at the present time point, S denotes a resolution of the optical fiber screen, and N denotes a user terminal 110 and stereoscopic image reproduction. The network speed between the devices 130. The time period T may be expressed as the number of stereoscopic images in which output to the optical fiber screen is omitted from the plurality of three-dimensional stereoscopic images constituting the user stereoscopic image. For example, when the time period T = 5, the optical fiber screen controller 250 controls the color and depth of the optical fiber screen only for stereoscopic images arranged at intervals of 5 in a plurality of consecutive three-dimensional stereoscopic images in time order. Can be. That is, when the color and depth of the optical fiber screen is changed based on the first stereoscopic image, the optical fiber screen controller 250 may use the sixth stereoscopic image for the next change, and use the eleventh stereoscopic image for the next change. Can be.

광섬유 스크린의 해상도 S는 광섬유 스크린을 구성하는 광섬유 핀의 총 수로 표현될 수 있다. 예를 들어, 광섬유 스크린이 총 200개의 광섬유 핀으로 구성된 경우 해당 광섬유 스크린의 해상도 S = 200으로 표현될 수 있다. 현재시점에서 입체영상 재현 장치(130)의 연산량 U는 연산량이 많을수록 큰 값을 가질 수 있고, 사용자 단말(110) 및 입체영상 재현 장치(130) 간의 네트워크 속도 N은 네트워크 속도가 빠를수록 큰 값을 가질 수 있다.The resolution S of the optical fiber screen can be expressed as the total number of optical fiber pins constituting the optical fiber screen. For example, if the optical fiber screen is composed of a total of 200 optical fiber pins, it may be represented by the resolution S = 200 of the optical fiber screen. The amount of computation U of the stereoscopic image reproducing apparatus 130 may have a larger value at the present time, and the network speed N between the user terminal 110 and the stereoscopic image reproducing apparatus 130 may have a larger value. Can have

시간 주기는 현재 시점에서의 입체영상 재현 장치(130)의 연산량이 많을수록, 광섬유 스크린의 해상도가 클수록, 사용자 단말(110) 및 입체영상 재현 장치(130) 간의 네트워크 속도가 느릴수록 길어질 수 있다. 즉, 시간 주기는 입체영상 재현 장치(130)의 연산량 및 광섬유 스크린의 해상도에 비례할 수 있고, 사용자 단말(110) 및 입체영상 재현 장치(130) 간의 네트워크 속도에 반비례할 수 있다.The time period may be longer as the amount of calculation of the stereoscopic image reproducing apparatus 130 at the present time increases, the larger the resolution of the optical fiber screen is, and the slower the network speed between the user terminal 110 and the stereoscopic image reproducing apparatus 130 is. That is, the time period may be proportional to the calculation amount of the stereoscopic image reproducing apparatus 130 and the resolution of the optical fiber screen, and may be inversely proportional to the network speed between the user terminal 110 and the stereoscopic image reproducing apparatus 130.

일 실시예에서, 광섬유 스크린 제어부(250)는 부분 영상 프레임 별로 대응되는 광섬유 핀에 대한 색상 및 깊이를 산출할 수 있다. 광섬유 스크린 제어부(250)는 부분 영상 프레임에 대해 해당 부분 영상 프레임의 평균 색상 및 평균 깊이를 해당 영상 프레임의 색상 및 깊이로서 산출할 수 있다. 광섬유 스크린 제어부(250)는 부분 영상 프레임에 대해 복수의 부분 영역으로 재분할 할 수 있고, 재분할된 복수의 부분 영역 중 대표 영역을 추출한 후 대표 영역에 대한 색상 및 깊이를 해당 부분 영상 프레임에 대한 색상 및 깊이로서 산출할 수 있다.In one embodiment, the optical fiber screen controller 250 may calculate the color and depth of the optical fiber pin corresponding to each partial image frame. The optical fiber screen controller 250 may calculate the average color and the average depth of the partial image frame as the color and the depth of the corresponding image frame with respect to the partial image frame. The optical fiber screen controller 250 may subdivide the partial image frame into a plurality of partial regions. After extracting the representative region from the plurality of subdivided partial regions, the color and depth of the representative region may be divided into color and depth of the partial image frame. It can calculate as depth.

일 실시예에서, 광섬유 스크린 제어부(250)는 복수의 영상 프레임 중 시간 순서로 연속된 특정 영상 프레임 간에 동일 위치에 대응하는 광섬유 핀의 깊이가 제1 임계 값을 초과하여 변하는 경우 광섬유 핀의 깊이 변화를 제1 임계 값으로 제한할 수 있다.In an exemplary embodiment, the optical fiber screen controller 250 may change the depth of the optical fiber pin when the depth of the optical fiber pin corresponding to the same position is changed between the specific image frames consecutive in time order among the plurality of image frames by exceeding the first threshold value. May be limited to the first threshold value.

일 실시예에서, 광섬유 스크린 제어부(250)는 다음의 수학식 2를 통해 제1 임계 값을 자동으로 산출할 수 있다.In one embodiment, the optical fiber screen controller 250 may automatically calculate the first threshold value through Equation 2 below.

[수학식 2][Equation 2]

C₁ = k₁ * (1/ln S) * L * TC ₁ = k ₁ * (1 / ln S) * L * T

여기에서, C₁은 제1 임계 값을, k₁은 비례 계수를, S는 광섬유 스크린의 해상도를, L은 광섬유 핀의 이동 가능 거리를, T는 광섬유 스크린을 갱신하는 시간 주기를 의미한다. 광섬유 스크린 S는 광섬유 핀의 총 수로 표현될 수 있고, 광섬유 스크린을 갱신하는 시간 주기 T는 사용자 입체영상을 구성하는 복수의 3차원 입체 이미지에서 광섬유 스크린으로의 출력이 생략되는 입체 이미지의 수로 표현될 수 있다.Here, C ₁ denotes a first threshold value, k ₁ denotes a proportional coefficient, S denotes a resolution of an optical fiber screen, L denotes a movable distance of an optical fiber pin, and T denotes a time period for updating the optical fiber screen. The optical fiber screen S may be expressed as the total number of optical fiber pins, and the time period T for updating the optical fiber screen may be expressed as the number of stereoscopic images in which output from the plurality of three-dimensional stereoscopic images constituting the user stereoscopic image is omitted. Can be.

제1 임계 값은 광섬유 스크린의 해상도가 작을수록, 광섬유 핀의 이동 가능 거리가 길수록, 광섬유 스크린을 갱신하는 시간 주기가 길수록 커질 수 있다. 즉, 제1 임계 값은 광섬유 핀의 이동 가능 거리 및 광섬유 스크린을 갱신하는 시간 주기에 비례하고, 광섬유 스크린의 해상도의 로그 값에 반비례할 수 있다.The first threshold value may be greater as the resolution of the optical fiber screen is smaller, the longer the movable distance of the optical fiber pin is, and the longer the time period for updating the optical fiber screen. That is, the first threshold value is proportional to the movable distance of the optical fiber pin and the time period for updating the optical fiber screen, and may be inversely proportional to the log value of the resolution of the optical fiber screen.

일 실시예에서, 광섬유 스크린 제어부(250)는 복수의 영상 프레임 중 시간 순서로 연속된 특정 영상 프레임 간에 동일 위치에 대응하는 광섬유 핀의 깊이가 제2 임계 값 미만으로 변하는 경우 광섬유 핀의 깊이를 동일한 값으로 유지할 수 있다.In one embodiment, the optical fiber screen control unit 250 equals the depth of the optical fiber pins when the depth of the optical fiber pins corresponding to the same position among specific image frames consecutive in time order among the plurality of image frames changes below the second threshold value. It can be kept at a value.

일 실시예에서, 광섬유 스크린 제어부(250)는 다음의 수학식 3를 통해 제2 임계 값을 자동으로 산출할 수 있다.In one embodiment, the optical fiber screen controller 250 may automatically calculate the second threshold value through Equation 3 below.

[수학식 3][Equation 3]

C₂ = k₂ * ln S * L * (1/T)C ₂ = k ₂ * ln S * L * (1 / T)

여기에서, C₂은 제2 임계 값을, k₂은 비례 계수를, S는 광섬유 스크린의 해상도를, L은 광섬유 핀의 이동 가능 거리를, T는 광섬유 스크린을 갱신하는 시간 주기를 의미한다.Here, C ₂ denotes a second threshold value, k ₂ denotes a proportional coefficient, S denotes a resolution of the optical fiber screen, L denotes a movable distance of the optical fiber pin, and T denotes a time period for updating the optical fiber screen.

제2 임계 값은 광섬유 스크린의 해상도가 클수록, 광섬유 핀의 이동 가능 거리가 길수록, 광섬유 스크린을 갱신하는 시간 주기가 짧을수록 커질 수 있다. 즉, 제2 임계 값은 광섬유 스크린의 해상도의 로그 값 및 광섬유 핀의 이동 가능 거리에 비례할 수 있고, 광섬유 스크린을 갱신하는 시간 주기에 반비례할 수 있다.The second threshold value may be larger as the resolution of the optical fiber screen is larger, the longer the movable distance of the optical fiber pin is, and the shorter the time period for updating the optical fiber screen. That is, the second threshold value may be proportional to the log value of the resolution of the optical fiber screen and the movable distance of the optical fiber pin, and may be inversely proportional to the time period for updating the optical fiber screen.

도 4는 입체영상 재현 장치에서 영상 프레임을 복수의 부분 영상 프레임으로 분할하여 복수의 광섬유 핀에 대응시키는 과정을 설명하는 예시도이다.FIG. 4 is an exemplary diagram illustrating a process of dividing an image frame into a plurality of partial image frames and corresponding the plurality of optical fiber pins in the stereoscopic image reproducing apparatus.

도 4를 참조하면, 입체영상 재현 장치(130)는 사용자 단말(110)로부터 수신한 사용자 영상을 구성하는 복수의 영상 프레임 중 특정 영상 프레임(410)에 대해 복수의 부분 영상 프레임(411)으로 분할할 수 있다. 입체영상 재현 장치(130)는 광섬유 스크린(430)을 구성하는 복수의 광섬유 핀(431) 각각을 복수의 부분 영상 프레임(411)과 대응시킬 수 있다.Referring to FIG. 4, the 3D image reproducing apparatus 130 is divided into a plurality of partial image frames 411 for a specific image frame 410 among a plurality of image frames constituting a user image received from the user terminal 110. can do. The stereoscopic image reproducing apparatus 130 may correspond to each of the plurality of partial image frames 411 with each of the plurality of optical fiber pins 431 constituting the optical fiber screen 430.

보다 구체적으로, 입체영상 재현 장치(130)는 광섬유 스크린(430)을 구성하는 광섬유 핀(431)의 배열 정보를 기초로 광섬유 스크린(430)의 해상도를 산출할 수 있고, 해상도에 맞춰 영상 프레임(410)을 복수의 부분 영상 프레임(411)으로 분할할 수 있다. 여기에서, 광섬유 핀(431)의 배열 정보는 n*m (n 및 m은 자연수)의 2차원 배열에 해당할 수 있다. 입체영상 재현 장치(130)는 배열 정보에 기초하여 행 우선 또는 열 우선 순서에 따라 부분 영상 프레임(411)과 광섬유 핀(431)을 차례대로 대응시킬 수 있다.More specifically, the stereoscopic image reproducing apparatus 130 may calculate the resolution of the optical fiber screen 430 based on the arrangement information of the optical fiber pins 431 constituting the optical fiber screen 430, and adjust the image frame according to the resolution. 410 may be divided into a plurality of partial image frames 411. Herein, the array information of the optical fiber pin 431 may correspond to a two-dimensional array of n * m (n and m are natural numbers). The stereoscopic image reproducing apparatus 130 may correspond to the partial image frame 411 and the optical fiber pin 431 in order according to the row priority or column priority order based on the array information.

도 5는 입체영상 재현 장치에서 연속된 영상 프레임 간에 동일한 광섬유 핀의 급격한 깊이 변화를 제어하는 일 실시예를 설명하는 예시도이다.5 is an exemplary view for explaining an embodiment of controlling a sudden depth change of the same optical fiber pin between successive image frames in the stereoscopic image reproducing apparatus.

도 5를 참조하면, 복수의 영상 프레임 중 시간 순서로 연속된 특정 영상 프레임 간에 동일 위치에 대응하는 광섬유 핀(511, 513)에 있어서, 변경 전 광섬유 핀(511)의 깊이에서 변경 후 광섬유 핀(513)의 깊이의 변경 거리(533)가 제1 임계 거리(531)보다 큰 경우 광섬유 스크린 제어부(250)는 해당 광섬유 핀의 깊이 변화를 제1 임계 거리(531)로 제한할 수 있다.Referring to FIG. 5, in the optical fiber pins 511 and 513 corresponding to the same position among specific image frames consecutive in chronological order among the plurality of image frames, the optical fiber pin after the change in the depth of the optical fiber pin 511 before the change If the depth change distance 533 of the depth 513 is greater than the first threshold distance 531, the optical fiber screen controller 250 may limit the depth change of the corresponding optical fiber pin to the first threshold distance 531.

광섬유 스크린 제어부(250)는 연속된 영상 프레임 간의 동일 광섬유 핀의 깊이가 급격하게 변하는 것을 방지함으로써 해당 광섬유 핀의 깊이를 변화시키기 위한 구동 모듈의 과부하를 예방할 수 있고, 나아가 광섬유 스크린(510)의 오작동을 사전에 방지할 수 있다. 광섬유 핀의 급격한 깊이 변화를 방지하기 위한 제1 임계 거리(531)는 입체영상 재현 장치(130)를 통해 사전에 자동 또는 수동으로 설정될 수 있다.The optical fiber screen controller 250 may prevent the overload of the driving module for changing the depth of the corresponding optical fiber pins by preventing the depth of the same optical fiber pins from being rapidly changed between successive image frames, and further, malfunction of the optical fiber screen 510. Can be prevented in advance. The first critical distance 531 for preventing sudden change in depth of the optical fiber pin may be automatically or manually set in advance through the stereoscopic image reproducing apparatus 130.

도 6은 입체영상 재현 장치에서 연속된 영상 프레임 간에 동일한 광섬유 핀의 미세한 깊이 변화를 제어하는 일 실시예를 설명하는 예시도이다.FIG. 6 is an exemplary view for explaining an embodiment of controlling a minute depth change of the same optical fiber pin between successive image frames in the stereoscopic image reproducing apparatus.

도 6를 참조하면, 복수의 영상 프레임 중 시간 순서로 연속된 특정 영상 프레임 간에 동일 위치에 대응하는 광섬유 핀(611, 613)에 있어서, 변경 전 광섬유 핀(611)의 깊이에서 변경 후 광섬유 핀(613)의 깊이의 변경 거리(633)가 제2 임계 거리(631)보다 작은 경우 광섬유 스크린 제어부(250)는 해당 광섬유 핀의 깊이 변화가 없는 것으로 처리할 수 있다. 보다 구체적으로, 동일 광섬유 핀의 깊이 변경 거리(633)가 제2 임계 거리(631)보다 작은 경우 광섬유 스크린 제어부(250)는 해당 광섬유 핀에 대한 깊이 변화를 위한 제어 동작을 수행하지 않고 기존의 깊이를 그대로 유지할 수 있다.Referring to FIG. 6, in the optical fiber pins 611 and 613 corresponding to the same position among specific image frames consecutive in chronological order among the plurality of image frames, the optical fiber pin after the change in the depth of the optical fiber pin 611 before the change When the depth change distance 633 of the depth 613 is smaller than the second threshold distance 631, the optical fiber screen controller 250 may process that there is no depth change of the corresponding optical fiber pin. More specifically, when the depth change distance 633 of the same optical fiber pin is smaller than the second threshold distance 631, the optical fiber screen controller 250 does not perform a control operation for changing the depth of the corresponding optical fiber pin and does not perform the existing depth. Can be kept as it is.

광섬유 스크린 제어부(250)는 연속된 영상 프레임 간의 동일 광섬유 핀의 깊이가 미세하게 변하는 경우 해당 광섬유 핀의 깊이를 변화시키기 위한 구동 모듈의 동작을 생략함으로써 구동 모듈의 과부하를 예방할 수 있고, 나아가 광섬유 스크린(610)의 오작동을 사전에 방지할 수 있다. 광섬유 핀의 미세한 깊이 변경을 생략하기 위한 제2 임계 거리(631)는 입체영상 재현 장치(130)를 통해 사전에 자동 또는 수동으로 설정될 수 있다.The optical fiber screen controller 250 may prevent the overload of the driving module by omitting the operation of the driving module to change the depth of the corresponding optical fiber pin when the depth of the same optical fiber pin between the successive image frames is minutely changed. Malfunction of 610 can be prevented in advance. The second critical distance 631 may be set automatically or manually in advance through the stereoscopic image reproducing apparatus 130 so as to omit the minute depth change of the optical fiber pin.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although described above with reference to a preferred embodiment of the present invention, those skilled in the art will be variously modified and changed within the scope of the invention without departing from the spirit and scope of the invention described in the claims below I can understand that you can.

100: 광섬유 스크린 기반의 입체영상 재현 시스템
110: 사용자 단말 130: 입체영상 재현 장치
150: 데이터베이스
210: 사용자 영상 수신부 230: 사용자 입체영상 생성부
250: 광섬유 스크린 제어부 270: 제어부
410: 영상 프레임 411: 부분 영상 프레임
430: 광섬유 스크린 431: 광섬유 핀
510: 광섬유 스크린 511: 변경 전 광섬유 핀
513: 변경 후 광섬유 핀 531: 제1 임계 거리
533: 변경 거리
610: 광섬유 스크린 611: 변경 전 광섬유 핀
613: 변경 후 광섬유 핀 631: 제2 임계 거리
633: 변경 거리100: 3D image reproduction system based on optical fiber screen
110: user terminal 130: stereoscopic image reproduction apparatus
150: database
210: user image receiving unit 230: user stereoscopic image generating unit
250: optical fiber screen control unit 270: control unit
410: video frame 411: partial video frame
430: optical fiber screen 431: optical fiber pin
510: optical fiber screen 511: optical fiber pin before change
513: fiber pin after change 531: first critical distance
533: change distance
610: optical fiber screen 611: optical fiber pin before change
613: fiber pin 631 after change: second critical distance
633: change distance

Claims

A user image receiver configured to receive a user image from a user terminal;
A user stereoscopic image generation unit for generating a stereoscopic image of the user image and generating a stereoscopic image of the user; And
And an optical fiber screen controller which physically controls color and depth of the optical fiber screen according to the user stereoscopic image.

The method of claim 1, wherein the user stereoscopic image generating unit
Color and depth information from which a light source affecting a 2D image frame is extracted based on a plurality of 2D image frames constituting the user image, and the effect of the light source is removed for each pixel constituting the 2D image frame. 3D stereoscopic image reproducing apparatus, characterized in that for generating a three-dimensional stereoscopic image comprising a.

The optical fiber screen control unit of claim 2, wherein
3. The apparatus of claim 3, wherein the color and depth of the optical fiber screen are physically controlled based on a plurality of 3D stereoscopic images constituting the user stereoscopic image.

The method of claim 2, wherein the user stereoscopic image generating unit
And generating a three-dimensional stereoscopic image including depth only after performing color correction to remove a shadow or to clarify a boundary of the plurality of two-dimensional image frames.

The optical fiber screen control unit of claim 4, wherein
And controlling the color of the optical fiber screen based on the color before correction of the 2D image frame and controlling the depth of the optical fiber screen based on the depth of the 3D stereoscopic image. .

The optical fiber screen controller of claim 1, wherein
And controlling color and depth of the plurality of optical fiber pins after dividing the plurality of partial image frames into a plurality of partial image frames to correspond to the plurality of optical fiber pins constituting the optical fiber screen. It is a 3D image reproducing device based on optical fiber screen.

The optical fiber screen controller of claim 6, wherein
Limiting a depth change of the optical fiber pin to the first threshold value when the depth of the optical fiber pin corresponding to the same position between the specific image frames consecutive in time order among the plurality of image frames changes beyond the first threshold value An apparatus for reproducing stereoscopic images based on optical fiber screens.

The optical fiber screen controller of claim 6, wherein
Wherein the depth of the optical fiber pin is maintained at the same value when the depth of the optical fiber pin corresponding to the same position among specific image frames consecutive in time order among the plurality of image frames changes to be less than a second threshold value. Screen-based stereoscopic image reproduction device.