KR20170096082A

KR20170096082A - 2 Dimension video generating device and method for controlling the same

Info

Publication number: KR20170096082A
Application number: KR1020160017319A
Authority: KR
Inventors: 이원범; 김호수; 우해나
Original assignee: 엘지전자 주식회사
Priority date: 2016-02-15
Filing date: 2016-02-15
Publication date: 2017-08-23

Abstract

본 발명은 2차원 비디오 생성 장치 및 그 제어 방법으로, 360도 비디오를 분석하여 중요도가 높은 360도 비디오를 기초로 2차원 비디오를 생성하는 2차원 비디오 생성 장치 및 그 제어 방법을 제공하는 것을 목적으로, 360도 비디오를 공간 분리, 시간 분리를 하고, 360도 비디오의 중요도를 결정하고, 결정 결과에 대응되는 프레임을 기초로 특정 경로를 추출하고, 추출된 상기 특정 경로를 기초로 2차원 비디오를 생성하는 것을 그 요지로 한다. The present invention relates to a two-dimensional video generating apparatus and a control method thereof, and a two-dimensional video generating apparatus for analyzing 360-degree video and generating a two-dimensional video based on 360-degree video having a high degree of importance and a control method thereof , Spatial separation of the 360 degree video, time separation, determination of the importance of the 360 degree video, extraction of a specific path based on the frame corresponding to the determination result, generation of the two dimensional video on the basis of the extracted specific path That is the point.

Description

2. Description of the Related Art [0002] A two-dimensional video generating device and a method for generating the two-

본 발명은 2차원 비디오 생성 장치 및 그 생성 방법에 관한 것으로서, 360도 비디오를 분석하여 중요도를 결정하고, 중요도가 높은 360도 영상으로부터 2차원 비디오를 생성하는 2차원 비디오 생성 장치 및 그 생성 방법에 관한 기술이다.The present invention relates to a two-dimensional video generating apparatus and a generating method thereof, and more particularly, to a two-dimensional video generating apparatus for analyzing 360-degree video to determine importance and generating a two-dimensional video from a 360- .

360도 영상(360 degree VR video)이란 동영상 재생 중 사용자가 보고 싶은 방향, 시점(view), 지점을 키보드, 마우스 등으로 선택하여 시청할 수 있는 영상을 말한다. 360 degree video (360 degree VR video) refers to an image that can be viewed by selecting a direction, a view, and a point that a user wants to view by using a keyboard, a mouse, and the like during a video reproduction.

기존 동영상에서는 시점(view)이 촬영자가 선택한대로 고정되고 사용자가 영상을 시청하는 동안에는 시점을 변경할 수 없었다. 그러나, 360도 영상에서는 동영상 재생 도중에 키보드, 마우스 등으로 사용자가 보고 싶은 방향, 지점, 시점을 선택할 수 있는 것이 특징이다. 즉, 360도 영상에서는, 동영상을 360도로 회전시키며 볼 수 있다. In the existing video, the view was fixed as selected by the photographer, and the viewpoint could not be changed while the user watched the video. However, in the 360-degree video, it is possible to select a direction, a point, and a viewpoint that the user wants to see with a keyboard, a mouse, etc. during the video reproduction. That is, in a 360-degree image, the moving image can be rotated by 360 degrees.

그런데, 종래의 360도 영상에서는 전체 영상 중 사용자의 관심 영역을 선택할 수 없고, 또한, 360도 영상 서비스가 지원되지 않는 디바이스에서는 영상 자체를 볼 수 없어 사용자가 불편함을 느끼는 문제점이 있었다. However, in the conventional 360-degree image, the user can not select the region of interest of the entire image. In addition, in a device that does not support the 360-degree image service, the user can not view the image itself.

본 발명의 일 실시 예는, 360도 비디오를 분석하여 중요도가 높은 360도 비디오를 기초로 2차원 비디오를 생성하는 2차원 비디오 생성 장치 및 그 생성 방법을 제공하는 것을 목적으로 한다. An embodiment of the present invention is to provide a two-dimensional video generating apparatus for generating a two-dimensional video based on 360-degree video having a high degree of importance by analyzing 360-degree video and a method of generating the same.

본 발명의 다른 일 실시 예는, 360도 비디오에서 사용자의 관심 영역을 자동으로 선택하여 2차원 비디오를 생성하는 2차원 비디오 생성 장치 및 그 생성 방법을 제공하는 것을 목적으로 한다. Another object of the present invention is to provide a two-dimensional video generating apparatus and method for automatically generating a two-dimensional video by automatically selecting a region of interest of a user in 360-degree video.

본 발명의 또 다른 일 실시 예는, 360도 비디오를 단일 프레임이 포함하는 정보의 양과 연속된 프레임에서 특정 오브젝트의 움직임 변화량을 기초로 중요도를 산출하고, 산출된 중요도를 기초로 2차원 비디오를 생성하는 2차원 비디오 생성 장치 및 그 생성 방법을 제공하는 것을 목적으로 한다.According to another embodiment of the present invention, a degree of importance is calculated on the basis of the amount of information including a single frame in a 360-degree video and a variation amount of movement of a specific object in a continuous frame, and a two- And a method for generating the two-dimensional video.

본 발명에서 이루고자 하는 기술적 과제는 상기 언급한 기술적 과제로 제한되지 않으며, 언급하지 않은 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The technical problem to be solved by the present invention is not limited to the above-described technical problems and other technical problems which are not mentioned can be clearly understood by those skilled in the art from the following description .

본 발명의 일 실시 예에 따른 2차원 비디오 생성 방법은, 360도 비디오를 외부 디바이스로부터 수신하는 단계; 수신된 상기 360도 비디오를 공간 분리하는 단계; 공간 분리된 상기 360도 비디오를 시간 분리하는 단계; 시간 분리된 상기 360도 비디오의 중요도를 결정하는 단계; 결정 결과에 대응되는 프레임을 기초로 특정 경로를 추출하는 단계; 및 추출된 상기 특정 경로를 기초로 2차원 비디오를 생성하는 단계를 포함한다. A method of generating a two-dimensional video according to an embodiment of the present invention includes: receiving 360-degree video from an external device; Space-separating the received 360-degree video; Temporally separating the 360 degree video separated in space; Determining the importance of the 360 degrees of time-separated video; Extracting a specific path based on a frame corresponding to the determination result; And generating a two-dimensional video based on the extracted specific path.

본 발명의 다른 실시 예에 따른 2차원 비디오 생성 장치는, 외부 디바이스와 데이터를 송수신하는 통신 모듈; 사용자의 시선을 감지하는 센서 모듈; 360도 비디오를 상기 통신 모듈을 통하여 외부 디바이스로부터 수신하고, 수신된 상기 360도 비디오를 감지된 상기 사용자의 시선을 기초로 상기 센서 모듈을 통하여 공간 분리하고, 공간 분리된 상기 360도 비디오를 시간 분리하고, 시간 분리된 상기 360도 비디오의 중요도를 결정하고, 결정 결과에 대응되는 프레임을 기초로 특정 경로를 추출하고, 추출된 상기 특정 경로를 기초로 2차원 비디오를 생성하는 컨트롤러; 및 상기 컨트롤러로부터의 제어 명령에 따라 생성된 상기 2차원 비디오를 디스플레이하는 디스플레이 모듈을 포함한다. According to another aspect of the present invention, there is provided a two-dimensional video generation apparatus comprising: a communication module for transmitting and receiving data to and from an external device; A sensor module for sensing a user's gaze; 360 degrees video from an external device through the communication module, space-separates the received 360-degree video through the sensor module based on the sensed user's gaze, A controller for determining the importance of the 360-degree video separated in time, extracting a specific path based on a frame corresponding to the determination result, and generating a two-dimensional video based on the extracted specific path; And a display module for displaying the two-dimensional video generated according to a control command from the controller.

본 발명의 일 실시 예에 따르면, 360도 비디오를 분석하여 360도 비디오의 중요 부분을 기초로 2차원 비디오를 생성해서, 360도 비디오를 지원하지 않는 디바이스에서도 생성된 2차원 비디오를 재생할 수 있으므로 사용자 편의성이 향상된다. According to an embodiment of the present invention, a 360-degree video is analyzed to generate a 2-dimensional video based on an important part of 360-degree video, so that a 2-dimensional video generated in a device that does not support 360- The convenience is improved.

본 발명의 다른 일 실시 예에 따르면, 360도 비디오에서 사용자의 관심 영역을 자동으로 선택하여 2차원 비디오를 생성해서, 사용자가 관심 영역을 마우스로 끌어야만 하는 종래의 문제점을 해결할 수 있으므로 사용자 편의성이 향상된다. According to another embodiment of the present invention, since the conventional problem that the user must drag the region of interest with the mouse is generated by automatically selecting the region of interest of the user in the 360-degree video to generate the 2D video, .

본 발명의 또 다른 일 실시 예는, 360도 비디오를 단일 프레임이 포함하는 정보의 양과 연속된 프레임에서 특정 오브젝트의 움직임 변화량을 기초로 중요도를 산출하고, 산출된 중요도를 기초로 2차원 비디오를 생성해서, 프레임 단위로 공간적, 시간적 연속성을 유지하며 동시에 중요도를 최대로 할 수 있는 특정 경로를 추출할 수 있으므로 사용자 편의성이 향상된다. According to another embodiment of the present invention, a degree of importance is calculated on the basis of the amount of information including a single frame in a 360-degree video and a variation amount of movement of a specific object in a continuous frame, and a two- Thus, it is possible to extract a specific route that can maintain spatial and temporal continuity in frame units and at the same time maximize importance, thereby improving user convenience.

도 1은 본 발명의 일 실시 예에 따른 2차원 비디오 생성 장치의 구성도이다.
도 2는 본 발명의 일 실시 예에 따른 2차원 비디오 생성 방법의 순서도를 도시한 도면이다.
도 3은 본 발명의 다른 실시 예에 따른 360도 비디오를 공간 분리하는 것을 도시한 도면이다.
도 4는 본 발명의 다른 실시 예에 따른 360도 비디오를 시간 분리하는 것을 도시한 도면이다.
도 5는 본 발명의 다른 실시 예에 따른 360도 비디오의 중요도를 프레임 이미지의 색상, 프레임 이미지의 명도, 프레임 이미지의 오리엔테이션 중 적어도 하나를 기초로 결정하는 것을 도시한 도면이다.
도 6은 본 발명의 다른 실시 예에 따른 360도 비디오의 중요도를 프레임 이미지의 해상도를 변경하여 결정하는 것을 도시한 도면이다.
도 7은 본 발명의 다른 실시 예에 따른 360도 비디오의 중요도를 기초로 특정 경로를 추출하는 것을 도시한 도면이다.
도 8은 본 발명의 다른 실시 예에 따른 특정 경로를 기초로 2차원 비디오를 생성하는 것을 도시한 도면이다.
도 9는 본 발명의 다른 실시 예에 따른 중요도가 기준값보다 높다고 판단되는 시점(view)을 암시하는 인디케이터를 제공하는 것을 도시한 도면이다.
도 10은 본 발명의 다른 실시 예에 따른 2차원 비디오 생성 장치에서 메타 데이터를 외부 디바이스로 전송하는 것을 도시한 도면이다. 1 is a block diagram of a two-dimensional video generating apparatus according to an embodiment of the present invention.
2 is a flowchart illustrating a method of generating a two-dimensional video according to an exemplary embodiment of the present invention.
3 is a diagram illustrating spatial separation of 360 degree video according to another embodiment of the present invention.
FIG. 4 is a time-division diagram of 360-degree video according to another embodiment of the present invention.
FIG. 5 is a diagram illustrating determination of importance of 360-degree video according to another embodiment of the present invention based on at least one of a color of a frame image, a brightness of a frame image, and an orientation of a frame image.
FIG. 6 is a diagram showing how importance of 360-degree video according to another embodiment of the present invention is determined by changing resolution of a frame image.
7 is a diagram illustrating extracting a specific path based on importance of 360-degree video according to another embodiment of the present invention.
8 is a diagram illustrating generation of 2D video based on a specific path according to another embodiment of the present invention.
FIG. 9 is a view illustrating an indicator for indicating a view that a degree of importance according to another embodiment of the present invention is higher than a reference value.
FIG. 10 is a diagram illustrating transmission of metadata to an external device in a two-dimensional video generation apparatus according to another embodiment of the present invention.

이하에서는 도면을 참조하여 본 발명에 따른 디지털 디바이스 및 상기 디지털 디바이스에서 애플리케이션 데이터 처리 방법의 다양한 실시 예(들)을 상세하게 설명한다.Hereinafter, various embodiments (s) of a digital device according to the present invention and a method of processing application data in the digital device will be described in detail with reference to the drawings.

본 명세서에서 사용되는 구성요소에 대한 접미사 "모듈", "부" 등은 단지 명세서 작성의 용이함을 고려하여 부여되는 것으로서, 필요에 따라 양자는 혼용될 수도 있다. 또한, "제1-", "제2-" 등과 같이 서수로 기술한 경우에도 그것이 순서를 의미하기보다는 해당 용어의 설명 편의를 위한 것일 뿐, 그러한 용어나 서수에 한정되는 것은 아니다.The suffix "module "," part ", and the like for components used in the present specification are given only for ease of specification, and both may be used as needed. Also, even when described in ordinal numbers such as " 1st ", "2nd ", and the like, it is not limited to such terms or ordinal numbers.

또한, 본 명세서에서 사용되는 용어도, 본 발명의 기술 사상에 따른 기능을 고려하여 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 다만, 특정한 경우는 출원인이 임의로 선정한 용어도 있으나, 이에 대해서는 관련 설명 부분에서 그 의미를 기술할 것이다. 따라서, 해당 용어를 단지 그 명칭이 아니라 그가 가진 실질적인 의미와 본 명세서 전반에 걸쳐 기술된 내용을 토대로 해석되어야 함을 밝혀 둔다.In addition, although the terms used in the present specification have been selected from the general terms that are widely used in the present invention in consideration of the functions according to the technical idea of the present invention, they are not limited to the intentions or customs of the artisan skilled in the art, It can be different. However, in certain cases, some terms are arbitrarily selected by the applicant, which will be described in the related description section. Accordingly, it should be understood that the term is to be interpreted based not only on its name but on its practical meaning as well as on the contents described throughout this specification.

한편, 본 명세서 또는/및 도면에 기술된 내용은, 본 발명에 따른 바람직한 일 실시 예로서 그에 한정되지 않으며, 그 권리범위는 특허청구범위를 통해 결정되어야 한다.It is to be noted that the contents of the present specification and / or drawings are not intended to limit the scope of the present invention.

도 1은 본 발명의 일 실시 예에 따른 2차원 비디오 생성 장치의 구성도이다.1 is a block diagram of a two-dimensional video generating apparatus according to an embodiment of the present invention.

2차원 비디오 생성 장치(100)는 통신 모듈(110), 센서 모듈(120), 컨트롤러(130), 디스플레이 모듈(140), 메모리(150)를 포함한다. The two-dimensional video generation apparatus 100 includes a communication module 110, a sensor module 120, a controller 130, a display module 140, and a memory 150.

통신 모듈(110)은 외부 디바이스(200)와 데이터를 송수신한다. The communication module 110 transmits / receives data to / from the external device 200.

센서 모듈(120)는 사용자의 시선을 감지한다. The sensor module 120 senses the user's gaze.

컨트롤러(130)는 360도 비디오를 통신 모듈(110)을 통하여 외부 디바이스(200)로부터 수신하고, 수신된 360도 비디오를 감지된 사용자의 시선을 기초로 센서 모듈(120)을 통하여 공간 분리하고, 공간 분리된 360도 비디오를 시간 분리하고, 시간 분리된 360도 비디오의 중요도를 결정하고, 결정 결과에 대응되는 프레임을 기초로 특정 경로를 추출하고, 추출된 상기 특정 경로를 기초로 2차원 비디오를 생성한다. The controller 130 receives the 360-degree video from the external device 200 via the communication module 110, separates the received 360-degree video space through the sensor module 120 based on the sensed user's gaze, Dimensional video is temporally separated from the 360 degree video separated from the space, the importance of the 360 degree video separated in time is determined, a specific path is extracted based on the frame corresponding to the determination result, .

디스플레이 모듈(140)은 컨트롤러(130)로부터의 제어 명령에 따라 생성된 2차원 비디오를 디스플레이한다. The display module 140 displays the generated two-dimensional video according to a control command from the controller 130. [

메모리(150)는 360도 비디오의 중요도의 결정 결과, 추출된 특정 경로, 생성된 2차원 비디오를 저장한다. The memory 150 stores the result of determination of importance of the 360-degree video, the extracted specific path, and the generated two-dimensional video.

도 2는 본 발명의 일 실시 예에 따른 2차원 비디오 생성 방법의 순서도를 도시한 도면이다. 본 발명은 컨트롤러(130)에 의하여 수행된다. 2 is a flowchart illustrating a method of generating a two-dimensional video according to an exemplary embodiment of the present invention. The present invention is performed by a controller (130).

먼저, 360도 비디오를 외부 디바이스로부터 수신한다(S210). First, 360-degree video is received from an external device (S210).

수신된 360도 비디오를 공간 분리한다(S220).The received 360-degree video is space-separated (S220).

공간 분리된 360도 비디오를 시간 분리한다(S230).The 360 degree video separated from the space is temporally separated (S230).

시간 분리된 360도 비디오의 중요도를 결정한다(S240).The importance of the time-separated 360 degree video is determined (S240).

결정 결과에 대응되는 프레임을 기초로 특정 경로를 추출한다(S250).A specific route is extracted based on the frame corresponding to the determination result (S250).

추출된 특정 경로를 기초로 2차원 비디오를 생성한다(S260).Dimensional video on the basis of the extracted specific path (S260).

도 3은 본 발명의 다른 실시 예에 따른 360도 비디오를 공간 분리하는 것을 도시한 도면이다. 3 is a diagram illustrating spatial separation of 360 degree video according to another embodiment of the present invention.

도 3을 참조하면, 컨트롤러(130)는 수신된 360도 비디오(300)를 기설정된 각도를 기준으로 2차원 비디오 프레임으로 분리한다. Referring to FIG. 3, the controller 130 separates the received 360-degree video 300 into two-dimensional video frames based on a predetermined angle.

360도 비디오(300)는 a0 프레임(310), a1 프레임(320), a2 프레임(330), a3 프레임(340), a4 프레임(350), a5 프레임(360)을 포함한다. 여기서, a0 프레임(310) 내지 a5 프레임(360)은 모두 2차원 비디오 프레임이다. 360 degree video 300 includes a0 frame 310, a1 frame 320, a2 frame 330, a3 frame 340, a4 frame 350, and a5 frame 360. Here, the a0 frame 310 to the a5 frame 360 are all two-dimensional video frames.

예를 들면, 컨트롤러(130)는 360 도 비디오(300)를 소정 각도 간격으로 2차원 비디오 비디오 프레임으로 분리한다. For example, the controller 130 separates the 360 degree video 300 into two dimensional video and video frames at predetermined angular intervals.

여기서, 소정 각도는 사용자 설정에 의하여 조정될 수 있다. 소정 각도는 15도, 30도, 45도, 60도, 72도, 90도 등이 될 수 있다. Here, the predetermined angle can be adjusted by user setting. The predetermined angle may be 15 degrees, 30 degrees, 45 degrees, 60 degrees, 72 degrees, 90 degrees, and the like.

도 4는 본 발명의 다른 실시 예에 따른 360도 비디오를 시간 분리하는 것을 도시한 도면이다. FIG. 4 is a time-division diagram of 360-degree video according to another embodiment of the present invention.

도 4를 참조하면, 컨트롤러(130)는 공간 분리된 360도 비디오(300) 중 현재 프레임과 이전 프레임 사이의 변화율이 기설정된 임계값 이상인 프레임을 분리한다. Referring to FIG. 4, the controller 130 separates a frame in which the rate of change between the current frame and the previous frame is equal to or greater than a preset threshold value among the 360 degrees of the separated spatial video 300.

예를 들어, 시간 T = t + 2 인 경우, 현재 프레임은 a3 프레임(340), a4 프레임(350)이 된다. T = t + 3 인 경우, 현재 프레임은 a0 프레임(310), a1 프레임(320)이 된다. For example, when the time T = t + 2, the current frame becomes the a3 frame 340 and the a4 frame 350. When T = t + 3, the current frame becomes the a0 frame 310 and the a1 frame 320, respectively.

따라서, t+3을 기준으로 이전 프레임(10)은 a3 프레임(340), a4 프레임(350)이 되고, 현재 프레임(20)은 a0 프레임(310), a1 프레임(320)이 된다. 여기서, 현재 프레임(20)은 연속된 프레임이 될 수 있고, 이전 프레임(10)도 연속된 프레임이 될 수 있다. Therefore, the previous frame 10 becomes the a3 frame 340 and the a4 frame 350 on the basis of t + 3, and the current frame 20 becomes the a0 frame 310 and the a1 frame 320, respectively. Here, the current frame 20 may be a continuous frame, and the previous frame 10 may be a continuous frame.

현재 프레임(20), 즉, a0 프레임(310), a1 프레임(320)의 화면 내용은 풍경이고, 이전 프레임(10), 즉, a3 프레임(340), a4 프레임(350)의 화면 내용은 사람이다. The screen contents of the current frame 20, that is, the a0 frame 310 and the a1 frame 320 are scenery, and the screen contents of the previous frame 10, that is, the a3 frame 340 and the a4 frame 350, to be.

따라서, 이전 프레임(10)과 현재 프레임(20)을 비교하면, 화면 내용이 사람에서 풍경으로 크게 변경된 것을 알 수 있다. Therefore, when the previous frame 10 is compared with the current frame 20, it can be seen that the screen content has largely changed from person to landscape.

이와 같이, 컨트롤러(130)는 편집 등에 의해 화면 내용이 크게 변경된 프레임을 검출한다. 구체적으로, 컨트롤러(130)는 장면 전환 검출 기법을 이용하여 화면 내용이 크게 변경된 프레임을 검출한다. In this manner, the controller 130 detects a frame in which the content of the screen has been largely changed by editing or the like. Specifically, the controller 130 detects a frame whose screen content has been largely changed using a scene change detection technique.

예를 들어, 화면 내의 오브젝트가 동일하고, 배경만 약간 변경된 경우, 현재 프레임(20)과 이전 프레임(10) 사이의 변화율은 기설정된 임계값 50 보다 낮은 30 이 될 수 있다. For example, when the objects in the screen are the same and only the background is slightly changed, the rate of change between the current frame 20 and the previous frame 10 may be 30, which is lower than the preset threshold value 50. [

여기서, 변화율은 0 내지 100 의 값을 가질 수 있다. 0은 현재 프레임과 이전 프레임이 동일한 프레임인 것을 의미하고, 100은 현재 프레임과 이전 프레임이 완전히 다른 프레임을 의미한다. Here, the rate of change may have a value from 0 to 100. [ 0 means that the current frame and the previous frame are the same frame, and 100 means the frame completely different from the current frame and the previous frame.

화면 내의 배경이 동일하고, 오브젝트만 변경된 경우, 현재 프레임(20)과 이전 프레임(10) 사이의 변화율이 기설정된 임계값 50 보다 큰 55가 될 수 있다. The rate of change between the current frame 20 and the previous frame 10 may be 55, which is greater than a preset threshold value 50, when the background in the screen is the same and only the object is changed.

화면 내의 배경이 변경되고, 오브젝트도 변경된 경우, 현재 프레임(20)과 이전 프레임(10) 사이의 변화율은 기설정된 임계값 50 보다 더 큰 80이 될 수 있다. The rate of change between the current frame 20 and the previous frame 10 may be 80, which is greater than a preset threshold value 50, when the background in the screen is changed and the object is also changed.

본 발명에 따르면, 시간 분리를 실행하면, 프레임 단위로 연속성을 보장한다. 예를 들어, 360도 비디오 중 제 1 프레임, 제 2 프레임, 제 3 프레임, 제 4 프레임이 연속된 경우, 사용자가 제 1 프레임을 보다가, 제 3 프레임을 본 경우, 컨트롤러(130)는 제 1 프레임과 제 3 프레임을 연결한다. 즉, 편집에 의하여 장면이 변경된 경우, 현재 프레임과 이전 프레임이 공간적으로 가깝지 않아도 된다는 것을 의미한다. According to the present invention, when time separation is performed, continuity is ensured on a frame-by-frame basis. For example, if the first frame, the second frame, the third frame, and the fourth frame of the 360-degree video are consecutive, the controller 130 looks up the first frame and the third frame, One frame and the third frame are connected. That is, when the scene is changed by editing, it means that the current frame and the previous frame need not be spatially close.

도 5는 본 발명의 다른 실시 예에 따른 360도 비디오의 중요도를 프레임 이미지의 색상, 프레임 이미지의 명도, 프레임 이미지의 오리엔테이션 중 적어도 하나를 기초로 결정하는 것을 도시한 도면이다. FIG. 5 is a diagram illustrating determination of importance of 360-degree video according to another embodiment of the present invention based on at least one of a color of a frame image, a brightness of a frame image, and an orientation of a frame image.

도 5를 참조하면, 컨트롤러(130)는 시간 분리된 360도 비디오의 중요도를 프레임 이미지의 색상, 프레임 이미지의 명도, 프레임 이미지의 오리엔테이션 중 적어도 하나를 기초로 결정한다. Referring to FIG. 5, the controller 130 determines the importance of the time-separated 360 degree video based on at least one of the color of the frame image, the brightness of the frame image, and the orientation of the frame image.

예를 들어, 프레임 이미지가 특정 오브젝트를 포함한 경우에 대하여 설명한다. For example, a case where a frame image includes a specific object will be described.

프레임 이미지(510)는 표지판 오브젝트(512), 우체통 오브젝트(513)와 같은 특정 오브젝트를 포함한다. The frame image 510 includes a specific object such as a signboard object 512, a mailbox object 513, and the like.

프레임 이미지(520)를 참조하면, 컨트롤러(130)는 360도 비디오의 중요도를 프레임 이미지(510)의 색상을 기초로 결정한다. Referring to the frame image 520, the controller 130 determines the importance of the 360 degree video based on the color of the frame image 510.

먼저, 표지판 오브젝트(512), 우체통 오브젝트(513) 는 주위 배경과 상이하다. 따라서, 배경이 숲인 경우, 컨트롤러(130)는 배경과 비슷한 나무 오브젝트를 검은 색으로 디스플레이하고, 나무 오브젝트의 중요도를 낮게 결정한다. First, the signboard object 512 and the mailbox object 513 are different from the surrounding background. Accordingly, when the background is a forest, the controller 130 displays a tree object similar to the background in black, and determines the importance of the tree object to be low.

특정 오브젝트가 배경과 다른 표지판 오브젝트(512), 우체통 오브젝트(513)인 경우, 컨트롤러(130)는 표지판 오브젝트(512), 우체통 오브젝트(513)를 흰색으로 디스플레이하고, 표지판 오브젝트(512), 우체통 오브젝트(513)의 중요도를 높게 결정한다. The controller 130 displays the signboard object 512 and the mailbox object 513 in white and displays the signboard object 512 and the mailbox object 513 in the case where the specific object is a signboard object 512 and a mailbox object 513 different from the background, (513) is determined to be high.

프레임 이미지(530)를 참조하면, 컨트롤러(130)는 360도 비디오의 중요도를 프레임 이미지(510)의 오리엔테이션을 기초로 결정한다. 여기서, 오리엔테이션은 특정 오브젝트의 각도 방향을 의미한다. Referring to the frame image 530, the controller 130 determines the importance of the 360 degree video based on the orientation of the frame image 510. Here, the orientation means the angular direction of a specific object.

배경이 숲인 경우, 표지판 오브젝트(512), 우체통 오브젝트(513)는 주위 배경과 각도 방향이 상이해서, 표지판 오브젝트(512), 우체통 오브젝트(513)는 주위 배경과 각도 방향 차이가 소정 범위 이상이 된다. When the background is a forest, the signboard object 512 and the mailbox object 513 are different in angular direction from the surrounding background, and the signboard object 512 and the mailbox object 513 are different in angular direction from the surrounding background to a predetermined range or more .

또한, 나무 오브젝트는 배경과 각도 방향 차이가 소정 범위 이내가 된다. 컨트롤러(130)는 나무 오브젝트를 검은 색으로 디스플레이하고, 나무 오브젝트의 중요도는 낮게 판단한다. The difference between the background and the angular direction of the tree object is within a predetermined range. The controller 130 displays the tree object in black and determines the importance of the tree object to be low.

컨트롤러(130)는 표지판 오브젝트(512), 우체통 오브젝트(513)를 흰색으로 디스플레이하고, 표지판 오브젝트(512), 우체통 오브젝트(513)의 중요도를 높게 결정한다. The controller 130 displays the signboard object 512 and the mailbox object 513 in white and determines the importance of the signboard object 512 and the mailbox object 513 to be high.

또한, 컨트롤러(130)는 한 장의 프레임 이미지(510) 만으로도 프레임 이미지 내부의 오브젝트의 각도를 측정할 수 있다. In addition, the controller 130 can measure the angle of an object in the frame image with only one frame image 510. [

프레임 이미지(550)을 참조하면, 컨트롤러(130)는 시간 분리된 360도 비디오의 중요도를 프레임 이미지의 색상(520), 프레임 이미지의 명도(530), 프레임 이미지의 오리엔테이션(540) 중 적어도 하나를 기초로 결정한다. Referring to the frame image 550, the controller 130 determines the importance of the time-separated 360 degree video to at least one of the color 520 of the frame image, the brightness 530 of the frame image, and the orientation 540 of the frame image It is decided based on.

예를 들어, 컨트롤러(130)는 프레임 이미지의 색상(520), 프레임 이미지의 명도(530), 프레임 이미지의 오리엔테이션(540)을 종합하여 프레임 이미지(550)를 생성한다. For example, the controller 130 generates a frame image 550 by combining the color 520 of the frame image, the brightness 530 of the frame image, and the orientation 540 of the frame image.

프레임 이미지(550)에서, 컨트롤러(130)는 오브젝트의 중요도가 높을수록 밝은 흰색으로 디스플레이하고, 오브젝트의 중요도가 낮을수록 어두운 검은색으로 디스플레이한다. In the frame image 550, the controller 130 displays bright white as the importance of the object is high, and dark black as the importance of the object is low.

따라서, 어두운 색상으로 디스플레이되는 배경과 비교할 때, 오브젝트의 색상이 밝을수록 오브젝트의 중요도가 높음을 알 수 있다. Therefore, when compared with the background displayed in dark color, it can be seen that the higher the color of the object, the higher the importance of the object.

본 발명에 따르면, 컨트롤러(130)는 360도 비디오의 중요도를 프레임 이미지의 색상, 프레임 이미지의 명도, 프레임 이미지의 오리엔테이션 중 적어도 하나를 기초로 결정함으로써, 프레임 이미지 내에서 중요한 오브젝트를 배경과 다른 색으로 표현하여, 사용자는 360도 비디오의 중요도를 보다 객관적이고 직관적으로 알 수 있으므로 사용자 편의성이 향상된다. According to the present invention, the controller 130 determines the importance of the 360 degree video based on at least one of the color of the frame image, the brightness of the frame image, and the orientation of the frame image, So that the user can know the importance of the 360-degree video more objectively and intuitively, thereby improving the user's convenience.

본 발명의 다른 실시 예에 따르면, 컨트롤러(130)는 시간 분리된 360도 비디오의 중요도를 프레임 이미지 중요도와 프레임 내 오브젝트의 이동량을 기초로 결정한다. According to another embodiment of the present invention, the controller 130 determines the importance of the time-separated 360-degree video based on the frame image importance and the movement amount of the object in the frame.

구체적으로, 프레임 이미지 중요도는 하나의 프레임이 포함하는 정보량을 의미한다. 이미지 중요도는 0 내지 100까지 규준화할 수 있다. 이미지 중요도가 0 인 경우, 배경만 있고, 오브젝트가 없는 경우를 의미하고, 이미지 중요도가 100 인 경우는 프레임 이미지가 중요 오브젝트를 포함하는 경우를 의미한다. Specifically, the frame image importance means an amount of information included in one frame. The image importance can be normalized from 0 to 100. When the image importance is 0, it means that there is only background and there is no object. When the image importance is 100, it means that the frame image includes the important object.

프레임 내 오브젝트 이동량은 복수의 프레임 중에서 복수의 프레임이 공통적으로 포함하는 특정 오브젝트의 변화 정도, 즉 특정 오브젝트의 이동량을 의미한다. The amount of object movement in a frame means the degree of change of a specific object commonly contained in a plurality of frames among a plurality of frames, that is, the amount of movement of a specific object.

본 발명의 일 실시 예에 따르면, 중요도를 사용자의 접속 횟수로 결정할 수 있다. According to an embodiment of the present invention, the importance degree can be determined as the number of connections of the user.

구체적으로, 컨트롤러(130)는 시간 분리된 360도 비디오의 중요도를 적어도 한 명의 사용자의 VR 비디오 시청 시 접속 횟수를 기초로 결정할 수 있다. Specifically, the controller 130 can determine the importance of the time-separated 360-degree video based on the number of connections when viewing at least one user's VR video.

예를 들어, 기준값을 특정 횟수로 했을 때, 특정 프레임에 대한 적어도 한 명의 사용자 접속 횟수가 기준값 이하인 경우, 컨트롤러(1300)는 특정 프레임의 중요도를 낮게 결정한다. For example, when the reference value is a specific number of times, the controller 1300 determines the importance of a specific frame to be low when at least one user connection count for a specific frame is less than or equal to the reference value.

특정 프레임에 대한 적어도 한 명의 사용자 접속 횟수가 기준값 이상인 경우, 컨트롤러(1300)는 특정 프레임의 중요도를 높게 결정한다. 여기서, 기준값은 사용자 설정으로 조절할 수 있다. When at least one user connection count for a specific frame is equal to or greater than the reference value, the controller 1300 determines the importance of a specific frame to be high. Here, the reference value can be adjusted to a user setting.

본 발명에 따르면, 사용자의 360 도 비디오 시청할 때 사용자가 방문한 프레임의 횟수를 계산하여 사용자가 자주 방문한 프레임을 중요하다고 판단함으로써, 프레임의 중요도를 보다 객관적으로 결정할 수 있으므로 사용자 편의성이 향상된다. According to the present invention, the number of frames visited by a user when viewing a 360-degree video of a user is calculated and it is determined that the frame frequently visited by the user is important, so that the importance of the frame can be more objectively determined.

도 6은 본 발명의 다른 실시 예에 따른 360도 비디오의 중요도를 프레임 이미지의 해상도를 변경하여 결정하는 것을 도시한 도면이다. FIG. 6 is a diagram showing how importance of 360-degree video according to another embodiment of the present invention is determined by changing resolution of a frame image.

도 6을 참조하면, 컨트롤러(130)는 시간 분리된 360도 비디오의 중요도를 프레임 이미지의 해상도를 변경하여 결정한다. Referring to FIG. 6, the controller 130 determines the importance of the time-separated 360-degree video by changing the resolution of the frame image.

실시 예(610)를 참조하면, 컨트롤러(130)는 프레임 이미지(510)의 해상도를 SD 로 설정하고 프레임 이미지(510)의 중요도를 결정한다. Referring to embodiment 610, the controller 130 sets the resolution of the frame image 510 to SD and determines the importance of the frame image 510.

실시 예(620)를 참조하면, 컨트롤러(130)는 프레임 이미지(510)의 해상도를 HD 로 설정하고 프레임 이미지(510)의 중요도를 결정한다. Referring to embodiment 620, the controller 130 sets the resolution of the frame image 510 to HD and determines the importance of the frame image 510.

실시 예(630)를 참조하면, 컨트롤러(130)는 프레임 이미지(510)의 해상도를 FHD 로 설정하고 프레임 이미지(510)의 중요도를 결정한다. Referring to embodiment 630, the controller 130 sets the resolution of the frame image 510 to FHD and determines the importance of the frame image 510.

일반적으로, 프레임 이미지(510)의 해상도가 높을 수록, 컨트롤러(130)는 프레임 이미지(510)의 중요도를 정확하게 결정할 수 있다. 그러나, 프레임 이미지(510)의 해상도가 높게 되면, 프레임 이미지(510)에 노이즈 성분이 많아지고, 픽셀수가 많아짐에 따라 연산량이 증가하고 중요도 결정 시간이 길어지는 문제점이 있다. In general, the higher the resolution of the frame image 510, the more accurately the controller 130 can determine the importance of the frame image 510. However, when the resolution of the frame image 510 is increased, noise components are increased in the frame image 510, and the number of operations increases and the importance determination time becomes longer as the number of pixels increases.

본 발명에 따르면, 노이즈 성분, 픽셀수, 연산 시간, 정확성 등을 고려하여 컨트롤러(130)는 프레임 이미지(510)의 해상도를 SD, HD, FHD 로 변환하여 프레임 이미지(510)의 중요도를 판단함으로써, 보다 합리적인 방법으로 프레임 이미지(510)의 중요도를 결정할 수 있다. The controller 130 converts the resolution of the frame image 510 into SD, HD, and FHD in consideration of the noise component, the number of pixels, the computation time, and the accuracy, and determines the importance of the frame image 510 , The importance of the frame image 510 can be determined in a more rational manner.

도 7은 본 발명의 다른 실시 예에 따른 360도 비디오의 중요도를 기초로 특정 경로를 추출하는 것을 도시한 도면이다. 7 is a diagram illustrating extracting a specific path based on importance of 360-degree video according to another embodiment of the present invention.

도 7을 참조하면, 360도 비디오(300)는 a0 프레임(310), a1 프레임(320), a2 프레임(330), a3 프레임(340), a4 프레임(350), a5 프레임(360)을 포함한다. 여기서, a0 프레임(310) 내지 a5 프레임(360)은 모두 2차원 비디오 프레임이다. Referring to FIG. 7, the 360-degree video 300 includes a a0 frame 310, a1 frame 320, a2 frame 330, a3 frame 340, a4 frame 350, and a5 frame 360 do. Here, the a0 frame 310 to the a5 frame 360 are all two-dimensional video frames.

S1은 제 1 장면을 의미하고, S2는 제 2 장면을 의미한다. 360도 비디오의 중요도는 규준화된 값으로 0 내지 100 의 값을 갖는다. 중요도가 0 인 경우는 360 도 비디오가 중요한 오브젝트, 배경을 포함하지 않아서 중요하지 않다는 것을 의미하고, 중요도가 100 인 경우는 360도 비디오가 중요한 오브젝트, 배경을 포함해서 중요하다는 것을 의미한다. S1 denotes a first scene, and S2 denotes a second scene. The importance of the 360 degree video is a normalized value of 0 to 100. A significance of 0 means that 360 degrees video is not important because it does not include an important object, background, and a significance of 100 means that 360 degrees video is important, including important objects and backgrounds.

T= t 인 경우, a2 프레임(330)의 중요도는 23이 되고, a3 프레임(340)의 중요도는 91이 되고, a4 프레임(350)의 중요도는 18이 된다. When T = t, the importance of the a2 frame 330 is 23, the importance of the a3 frame 340 is 91, and the importance of the a4 frame 350 is 18.

a3 프레임(340)의 중요도가 가장 높고, a3 프레임(340)에 인접한 프레임 중 다음으로 중요도가 높은 프레임은 a2 프레임(330)이 된다. the a3 frame 340 is the most important and the next most important frame among the frames adjacent to the a3 frame 340 becomes the a2 frame 330. [

따라서, 컨트롤러(130)는 a2 프레임(330), a3 프레임(340)을 경로로 설정한다. Accordingly, the controller 130 sets the a2 frame 330 and the a3 frame 340 as paths.

T= t + 1 인 경우, a3 프레임(340)의 중요도는 94가 되고, a2 프레임(330)의 중요도는 13이 되고, a4 프레임(350)의 중요도는 17이 된다. When T = t + 1, the importance of the a3 frame 340 is 94, the importance of the a2 frame 330 is 13, and the importance of the a4 frame 350 is 17.

a3 프레임(340)의 중요도가 가장 높고, a3 프레임(340)에 인접한 프레임 중 다음으로 중요도가 높은 프레임은 a4 프레임(350)이 된다. the a3 frame 340 is the most important and the next most important frame among the frames adjacent to the a3 frame 340 becomes the a4 frame 350. [

따라서, 컨트롤러(130)는 a3 프레임(340), a4 프레임(350)을 경로로 설정한다. Accordingly, the controller 130 sets the a3 frame 340 and the a4 frame 350 as a path.

T= t + 2 인 경우, a3 프레임(340)의 중요도는 92가 되고, a2 프레임(330)의 중요도는 10이 되고, a4 프레임(350)의 중요도는 16이 된다. When T = t + 2, the importance of the a3 frame 340 is 92, the importance of the a2 frame 330 is 10, and the importance of the a4 frame 350 is 16.

T = t + 2 와 t + 3 사이에서, 컨트롤러(130)는 장면 전환을 검출한다. 여기서, 장면 전환은 사용자의 시선에 대응하는 장면이 제 1 장면(S1)에서 제 2 장면(S2)으로 전환되었음을 의미한다. 장면 전환이 검출되었으므로, 컨트롤러(130)는 a0 프레임(310), a1 프레임(320)을 선택할 수 있다. Between T = t + 2 and t + 3, the controller 130 detects a scene change. Here, the scene change indicates that the scene corresponding to the user's sight has been switched from the first scene S1 to the second scene S2. Since the scene change has been detected, the controller 130 can select the a0 frame 310, the a1 frame 320, and so on.

T= t + 3 인 경우, a0 프레임(310)의 중요도는 68이 되고, a1 프레임(320)의 중요도는 57이 되고, a2 프레임(330)의 중요도는 38이 된다. When T = t + 3, the importance of the a0 frame 310 is 68, the importance of the a1 frame 320 is 57, and the importance of the a2 frame 330 is 38.

a0 프레임(310)의 중요도가 가장 높고, a0 프레임(310)에 인접한 프레임 중 다음으로 중요도가 높은 프레임은 a1 프레임(320)이 된다. the frame having the highest importance of the a0 frame 310 and the frame having the next highest importance among the frames adjacent to the a0 frame 310 become the a1 frame 320. [

따라서, 컨트롤러(130)는 a0 프레임(310), a1 프레임(320)을 경로로 설정한다. Accordingly, the controller 130 sets the a0 frame 310 and the a1 frame 320 as a path.

T= t + 4 인 경우, a0 프레임(310)의 중요도는 70이 되고, a1 프레임(320)의 중요도는 58이 되고, a2 프레임(330)의 중요도는 40이 된다. In the case of T = t + 4, the importance of the a0 frame 310 is 70, the importance of the a1 frame 320 is 58, and the importance of the a2 frame 330 is 40. [

T= t + 5 인 경우, a0 프레임(310)의 중요도는 72가 되고, a1 프레임(320)의 중요도는 60이 되고, a2 프레임(330)의 중요도는 39가 된다. In the case of T = t + 5, the importance of the a0 frame 310 becomes 72, the importance of the a1 frame 320 becomes 60, and the importance of the a2 frame 330 becomes 39.

이하, 경로에 대하여 설명한다. Hereinafter, the path will be described.

T= t 일 때, 경로는 a2 프레임(330), a3 프레임(340)이 된다. When T = t, the path becomes the a2 frame 330 and the a3 frame 340.

T= t + 1 일 때, 경로는 a3 프레임(340), a4 프레임(350)이 된다. When T = t + 1, the path becomes an a3 frame 340 and an a4 frame 350.

T= t + 2 일 때, 경로는 a3 프레임(340), a4 프레임(350)이 된다. When T = t + 2, the path becomes an a3 frame 340 and an a4 frame 350.

t + 2 < T < t + 3 인 경우, 컨트롤러(130)는 장면 전환을 검출한다. 즉, 센서 모듈(120)은 사용자의 시선이 a3 프레임(340)에서 a0 프레임(310)으로 이동한 것을 감지한다. 또한, T 가 t 내지 t + 2 인 경우, 경로는 a3 프레임(340)을 포함하여 시간적 공간적 연속성을 유지함을 알 수 있다. When t + 2 < T < t + 3, the controller 130 detects a scene change. That is, the sensor module 120 detects that the user's eyes move from the a3 frame 340 to the a0 frame 310. Also, if T is from t to t + 2, the path includes temporal and spatial continuity including a3 frame 340.

T= t + 3 일 때, 경로는 a0 프레임(310), a1 프레임(320)이 된다. When T = t + 3, the path becomes the a0 frame 310 and the a1 frame 320.

T= t + 4 일 때, 경로는 a0 프레임(310), a1 프레임(320)이 된다. When T = t + 4, the path becomes the a0 frame 310 and the a1 frame 320, respectively.

T= t + 5 일 때, 경로는 a0 프레임(310), a1 프레임(320)이 된다. When T = t + 5, the path becomes the a0 frame 310 and the a1 frame 320. [

또한, T 가 t + 3 내지 t + 5 인 경우, 경로는 a0 프레임(310), a1 프레임(320)을 포함하여 시간적 공간적 연속성을 유지함을 알 수 있다. Also, when T is from t + 3 to t + 5, it can be seen that the path maintains temporal and spatial continuity including the a0 frame 310 and the a1 frame 320. [

본 발명에 따르면, 360도 비디오의 중요도를 결정하고, 결정 결과에 대응되는 프레임을 기초로 특정 경로를 추출함으로써, 프레임 단위로 시간적 공간적 연속성을 유지하고 동시에 중요도를 최대로 만드는 경로를 추출할 수 있다. According to the present invention, it is possible to extract a route that determines the importance of 360-degree video and extracts a specific route based on the frame corresponding to the determination result, thereby maintaining temporal and spatial continuity on a frame-by-frame basis and at the same time maximizing importance .

도 8은 본 발명의 다른 실시 예에 따른 특정 경로를 기초로 2차원 비디오를 생성하는 것을 도시한 도면이다. 8 is a diagram illustrating generation of 2D video based on a specific path according to another embodiment of the present invention.

도 8을 참조하면, 컨트롤러(130)는 T= t 내지 T= t + 5 까지의 경로를 기초로 2차원 비디오를 생성한다. 컨트롤러(130)는 2차원 비디오를 생성할 때, 재생 디바이스의 종류에 관계없이 생성할 수 있도록 특정 포맷으로 2차원 비디오를 생성한다. 여기서, 특정 포맷은 mp4가 될 수 있다. 또한, 2차원 비디오 파일 형식은 avi, mp4, mkv, wmv 등을 포함할 수 있다. Referring to FIG. 8, the controller 130 generates a two-dimensional video based on the path from T = t to T = t + 5. When generating the two-dimensional video, the controller 130 generates the two-dimensional video in a specific format so that it can be generated regardless of the type of the reproducing device. Here, the specific format may be mp4. In addition, the 2D video file format may include avi, mp4, mkv, wmv, and the like.

도 7을 참조하여, 경로에 대하여 설명한다. Referring to Fig. 7, the path will be described.

따라서, 컨트롤러(130)는 T= t 내지 T= t + 5 의 경로를 기초로 2차원 비디오를 생성한다.Accordingly, the controller 130 generates a two-dimensional video based on the path from T = t to T = t + 5.

도 9는 본 발명의 다른 실시 예에 따른 중요도가 기준값보다 높다고 판단되는 시점(view)을 암시하는 인디케이터를 제공하는 것을 도시한 도면이다. FIG. 9 is a view illustrating an indicator for indicating a view that a degree of importance according to another embodiment of the present invention is higher than a reference value.

도 9를 참조하면, 컨트롤러(130)는 센서 모듈(120)을 통하여 감지된 사용자의 시선이, 중요도가 기준값보다 낮은 360도 비디오에 있는 경우, 중요도가 기준값보다 높은 360도 비디오의 위치를 암시하는 인디케이터(910)를 디스플레이한다. Referring to FIG. 9, when the user's gaze sensed through the sensor module 120 is in a 360-degree video whose importance is lower than the reference value, the controller 130 implies a position of the 360-degree video whose importance is higher than the reference value An indicator 910 is displayed.

예를 들어, 360도 비디오(300)는 a0 프레임(310), a1 프레임(320), a2 프레임(330), a3 프레임(340), a4 프레임(350), a5 프레임(360)을 포함한다. 여기서, 기준 중요도는 50이 될 수 있다. a1 프레임(320)의 중요도는 20이 되고, a3 프레임(340)는 80이 될 수 있다. For example, the 360 degree video 300 includes an a0 frame 310, an a1 frame 320, an a2 frame 330, an a3 frame 340, an a4 frame 350, and an a5 frame 360. Here, the criterion importance can be 50. [ the importance of the a1 frame 320 may be 20, and the a3 frame 340 may be 80.

구체적으로, a3 프레임(340)는 배경과 더불어 사람 오브젝트를 포함하고, a1 프레임(320)는 배경만 포함하고 오브젝트를 포함하지 않으므로, a3 프레임(340)의 중요도는 a1 프레임(320)의 중요도보다 높다. The a3 frame 340 includes a human object in addition to the background and the a1 frame 320 includes only the background and does not include the object so that the importance of the a3 frame 340 is greater than the importance of the a1 frame 320. [ high.

컨트롤러(130)는 센서 모듈(120)을 통하여 감지된 사용자의 시선이 중요도가 기준값 50 보다 낮은 a1 프레임(320)에 있는 경우, 중요도가 기준값 50 보다 높은 a3 프레임(340)의 위치를 암시하는 인디케이터(910)를 디스플레이한다. When the user's sight line detected through the sensor module 120 is in the a1 frame 320 whose importance is lower than the reference value 50, the controller 130 controls the indicator 130 indicating the position of the a3 frame 340 whose importance is higher than the reference value 50 (910).

본 발명의 다른 실시 예에 따르면, 컨트롤러(130)는 센서 모듈(120)을 통하여 감지된 사용자의 시선이 중요도가 기준값 보다 낮은 a1 프레임(320)에 있는 경우, 중요도가 기준값 보다 높은 a3 프레임의 위치를 암시하는 안내 방송을 스피커(미도시)를 통하여 출력한다. According to another embodiment of the present invention, when the user's sight line sensed through the sensor module 120 is located in the a1 frame 320 whose importance is lower than the reference value, the controller 130 determines the position of the a3 frame whose importance is higher than the reference value Through a speaker (not shown).

본 발명의 또 다른 실시 예에 따르면, 컨트롤러(130)는 센서 모듈(120)을 통하여 감지된 사용자의 시선이 중요도가 기준값 보다 낮은 a1 프레임(320)에 있는 경우, 중요도가 기준값 보다 높은 a3 프레임(340)의 위치를 암시하는 진동을 햅틱 모듈(미도시)를 통하여 생성한다. According to another embodiment of the present invention, when the user's sight line sensed through the sensor module 120 is in the a1 frame 320 whose importance level is lower than the reference value, the controller 130 determines that the a3 frame 340 through a haptic module (not shown).

본 발명에 따르면, 사용자의 시선이 360도 비디오 중 중요도가 낮은 프레임에 있는 경우, 중요도가 높은 프레임을 알려주는 직관적인 인디케이터를 제공함으로써 사용자가 용이하게 중요도가 높은 프레임을 집중해서 시청할 수 있으므로, 사용자 편의성이 향상된다.According to the present invention, when the user's line of sight is in a low-importance frame of 360-degree video, since the intuitive indicator indicating the high-importance frame is provided, the user can easily view the high- The convenience is improved.

본 발명의 일 실시 예에 따르면, 컨트롤러(130)는 사용자의 시선에 대응되는 360도 비디오를 기초로 2차원 비디오를 생성할 수 있다. According to an embodiment of the present invention, the controller 130 may generate a two-dimensional video based on the 360-degree video corresponding to the user's line of sight.

도 9를 참조하면, 컨트롤러(130)는 센서 모듈(120)를 통하여 감지된 사용자의 시선에 대응되는 360도 비디오를 기초로 2차원 비디오를 생성한다. Referring to FIG. 9, the controller 130 generates a two-dimensional video based on the 360-degree video corresponding to the user's gaze sensed through the sensor module 120.

예를 들어, 사용자의 시선은 a1 프레임(320), a3 프레임(340), a5 프레임(360)에 시간 순서대로 머물 수 있다. 여기서, 사용자가 고개를 돌리면, a1 프레임(320), a2 프레임(330), a3 프레임(340), a4 프레임(350), a5 프레임(360)에서, 센서 모듈(120)는 사용자의 시선을 감지한다. 이 중, a1 프레임(320), a3 프레임(340), a5 프레임(360)에서, 센서 모듈(120)은 사용자의 시선을 소정 시간 이상 감지한다. a2 프레임(330), a4 프레임(350)에서, 센서 모듈(120)은 사용자의 시선을 소정 시간 미만 동안 감지한다. For example, the user's gaze may stay in time sequence in a1 frame 320, a3 frame 340, and a5 frame 360. [ Here, when the user turns his or her head, the sensor module 120 detects the user's gaze at the a1 frame 320, the a2 frame 330, the a3 frame 340, the a4 frame 350, and the a5 frame 360 do. In the a1 frame 320, the a3 frame 340, and the a5 frame 360, the sensor module 120 senses the user's gaze for a predetermined time or longer. In the a2 frame 330 and the a4 frame 350, the sensor module 120 detects the user's line of sight for less than a predetermined time.

컨트롤러(130)는 센서 모듈(120)이 사용자의 시선을 소정 시간 이상 감지한 프레임을 사용자의 시선에 대응된다고 판단한다. The controller 130 determines that the frame detected by the sensor module 120 for a predetermined time or longer corresponds to the user's gaze.

따라서, 컨트롤러(130)는 사용자의 시선에 대응되는 a1 프레임(320), a3 프레임(340), a5 프레임(360)을 기초로 2차원 비디오를 생성한다. Accordingly, the controller 130 generates a two-dimensional video based on the a1 frame 320, the a3 frame 340, and the a5 frame 360 corresponding to the user's line of sight.

본 발명에 따르면, 3차원 비디오 중 사용자의 시청한 프레임을 기초로 2차원 비디오를 생성할 수 있어, 360도 비디오에서 사용자의 관심 영역을 자동으로 선택하여 2차원 비디오를 생성할 수 있고, 사용자는 관심 영역만을 편집하여 이를 다시 시청할 수 있으므로 사용자 편의성이 향상된다. According to the present invention, a two-dimensional video can be generated based on a frame viewed by a user among three-dimensional video, and a two-dimensional video can be generated by automatically selecting a region of interest of a user in a 360-degree video, It is possible to edit only the region of interest and view it again, thus improving user convenience.

도 10은 본 발명의 다른 실시 예에 따른 2차원 비디오 생성 장치에서 메타 데이터를 외부 디바이스로 전송하는 것을 도시한 도면이다. FIG. 10 is a diagram illustrating transmission of metadata to an external device in a two-dimensional video generation apparatus according to another embodiment of the present invention.

도 10을 참조하면, 2차원 비디오 생성 장치(100)의 컨트롤러(130)는 생성된 2차원 영상으로부터 메타 데이터(50)를 추출하고, 추출된 메타 데이터를 통신 모듈을 통하여 외부 디바이스(200)로 전송한다. 10, the controller 130 of the two-dimensional video generating apparatus 100 extracts the metadata 50 from the generated two-dimensional image and transmits the extracted metadata to the external device 200 through the communication module send.

외부 디바이스(200)는 수신된 메타 데이터(50)를 기초로 2차원 영상을 재생할 수 있다. The external device 200 can reproduce the two-dimensional image based on the received metadata 50. [

본 발명에 따르면, 2차원 비디오 생성 장치(100)에서 생성된 2차원 영상의 메타 데이터를 외부 디바이스(200)로 전송함으로써, 사용자가 다른 사용자에게 자신이 본 360도 비디오를 공유하고 싶은데, 다른 사용자의 디바이스는 360도 비디오 재생 기능이 없는 경우, 메타 데이터를 이용하여 2차원 비디오를 다른 사용자와 공유할 수 있으므로, 사용자 편의성이 향상된다. According to the present invention, by transmitting the metadata of the two-dimensional image generated by the two-dimensional video generation apparatus 100 to the external device 200, the user wants to share his / her 360-degree video to another user, The device of the present invention can share the two-dimensional video with other users by using the metadata in the case where there is no 360-degree video playback function, thereby improving user convenience.

한편, 본 명세서에서 개시된 디지털 디바이스의 동작방법은 디지털 디바이스에 구비된 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 디바이스를 포함한다. 프로세서가 읽을 수 있는 기록 매체의 예로는 ROM(Read Only Memory), RAM(Random Access Memory), CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장디바이스 등이 있으며, 인터넷을 통한 전송 등과 같은 캐리어-웨이브(carrier-wave)의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.Meanwhile, the operation method of the digital device disclosed in this specification can be implemented as a code readable by a processor in a recording medium readable by a processor included in the digital device. The processor-readable recording medium includes all kinds of recording devices in which data that can be read by the processor is stored. Examples of the recording medium readable by the processor include ROM (Read Only Memory), RAM (Random Access Memory), CD-ROM, magnetic tape, floppy disk, optical data storage device, And may be implemented in the form of a carrier-wave. In addition, the processor-readable recording medium may be distributed over network-connected computer systems so that code readable by the processor in a distributed fashion can be stored and executed.

한편, 본 명세서에서는 첨부된 도면을 참조하여 설명하였으나, 이는 실시 예일 뿐 특정 실시 예에 한정되지 아니하며, 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 변형실시가 가능한 다양한 내용도 청구범위에 따른 권리범위에 속한다. 또한, 그러한 변형실시들이 본 발명의 기술 사상으로부터 개별적으로 이해되어서는 안 된다.
While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it will be understood by those of ordinary skill in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. Of the right. Further, such modifications are not to be understood individually from the technical idea of the present invention.

100 : 2차원 비디오 생성 장치
110 : 통신 모듈
120 : 센서 모듈
130 : 컨트롤러
140 : 디스플레이 모듈
150 : 메모리
200 : 외부 디바이스100: a two-dimensional video generating apparatus
110: communication module
120: Sensor module
130: controller
140: Display module
150: Memory
200: External device

Claims

Receiving 360 degree video from an external device;
Space-separating the received 360-degree video;
Temporally separating the 360 degree video separated in space;
Determining the importance of the 360 degrees of time-separated video;
Extracting a specific path based on a frame corresponding to the determination result; And
Generating a two-dimensional video based on the extracted specific path
Dimensional video.

The method of claim 1, wherein the step of spatially separating the received 360 degree video
Separating the received 360-degree video into two-dimensional video frames based on a predetermined angle
Dimensional video generation method.

The method of claim 1, wherein temporally separating the 360 degree video
And separating the frame in which the rate of change between the current frame and the previous frame is equal to or greater than a predetermined threshold value
Dimensional video generation method.

2. The method of claim 1, wherein determining the importance of the time-
The importance of the 360 degree video separated in time is determined based on the importance of the frame image and the movement amount of the object in the frame
Dimensional video generation method.

2. The method of claim 1, wherein determining the importance of the time-
Determining the importance of the time-separated 360-degree video based on the number of times of connection when viewing at least one user's VR video
A method for automatically generating two-dimensional video.

A communication module for transmitting and receiving data to and from an external device;
A sensor module for sensing a user's gaze;
360 degrees video from an external device through the communication module, space-separates the received 360-degree video through the sensor module based on the sensed user's gaze, A controller for determining the importance of the 360-degree video separated in time, extracting a specific path based on a frame corresponding to the determination result, and generating a two-dimensional video based on the extracted specific path; And
A display module for displaying the two-dimensional video generated according to a control command from the controller
Dimensional video data.

7. The apparatus of claim 6, wherein the controller
Determining the importance of the time-separated 360-degree video based on at least one of a color of the frame image, a brightness of the frame image, and an orientation of the frame image
/ RTI >

7. The apparatus of claim 6, wherein the controller
Determining the degree of importance of the 360-degree video time-separated by changing the resolution of the frame image
/ RTI >

7. The apparatus of claim 6, wherein the controller
And displaying an indicator indicating a position of the 360-degree video whose importance is higher than the reference value when the user's gaze sensed through the sensor module is in a 360-degree video whose importance is lower than the reference value
/ RTI >

7. The apparatus of claim 6, wherein the controller
Dimensional video on the basis of the 360-degree video corresponding to the line of sight of the user sensed through the sensor unit
/ RTI >

7. The apparatus of claim 6, wherein the controller
Extracting the metadata from the generated two-dimensional image, and transmitting the extracted metadata to the external device through the communication module
/ RTI >