KR20120064556A

KR20120064556A - Method and apparatus for contents service interworking receiving terminal and broadcast terminal

Info

Publication number: KR20120064556A
Application number: KR1020100125836A
Authority: KR
Inventors: 오봉진; 배유석; 백의현
Original assignee: 한국전자통신연구원
Priority date: 2010-12-09
Filing date: 2010-12-09
Publication date: 2012-06-19

Abstract

PURPOSE: Method and apparatus for providing contents service using the interworking of a receiving terminal and a broadcasting terminal are provided to enable users to receive high quality augmented reality-type advertisements or data service using the low class broadcasting terminal. CONSTITUTION: A method apparatus for providing contents service using the interworking of a receiving terminal and a broadcasting terminal comprises the following steps: transferring an encrypted terminal information message to the broadcasting terminal using the receiving terminal(550); analyzing the encrypted terminal information message using the broadcasting terminal interworking with the receiving terminal(560); receiving encrypted AR(augmented reality) information and controlling message, and outputting the obtained AR information on the receiving terminal(590, 600); and outputting audio and video information through the broadcasting terminal(610).

Description

A method and apparatus for content service interworking a receiving terminal and a broadcasting terminal {Method and Apparatus for Contents service interworking Receiving terminal and Broadcast terminal}

본 발명은 광고 또는 데이터 서비스 방법에 관한 것으로, 더욱 상세하게는 증강현실(AR : Augmented Reality) 서비스에 적용될 수 있는 수신 단말과 방송 단말을 연동한 콘텐츠 서비스 방법 및 장치에 관한 것이다.The present invention relates to an advertisement or data service method, and more particularly, to a content service method and apparatus interworking a reception terminal and a broadcast terminal that can be applied to an Augmented Reality (AR) service.

현재의 데이터 방송 서비스는 자바 기반의 애플리케이션을 영상과 함께 송출하여 방송 단말에서 애플리케이션을 추출하여 관리하고 있다가, 사용자가 빨간색 버튼을 누르면 화면에 출력하는 형태로 되어 있거나, 별도의 웹 브라우저를 기본 화면으로 하고 위젯(Widget) 등을 다운로드하여 화면 특정 영역에 계속 출력되도록 하는 형태로 되어있다. 또한, 광고 서비스의 경우에도 특정 버튼을 누르고 메뉴를 띄운 후 정보를 검색하여 쇼핑이 이루어지는 형태를 취하고 있고, 이는 과도한 광고 노출로 인하여 사용자의 프로그램 시청에 방해가 되는 것을 방지하기 위하여 사용자의 의도와 상관없이 화면에 광고를 오버레이하여 노출시키는 것을 법적으로 규제하고 있는 것이다.The current data broadcasting service transmits a Java-based application along with video to extract and manage the application from the broadcasting terminal, and then outputs it to the screen when the user presses a red button or a separate web browser is displayed on the basic screen. It is configured to download widgets and the like and to continuously output them in a specific area of the screen. In addition, even in the case of advertising services, shopping is performed by searching for information after pressing a specific button and displaying a menu, which is related to the intention of the user in order to prevent the user from watching the program due to excessive advertisement exposure. It is legally regulated to overlay advertisements on the screen without exposure.

상술한 바와 같이 현재의 광고 서비스는 사용자가 버튼을 누르도록 화면에 메시지를 출력하는 것 이외에는 광고를 바로 화면에 출력할 수 없어 사용자가 광고 메뉴로 진입하는 것 자체가 쉽지 않고, 대부분의 방송 프로그램과 관련된 광고는 메뉴를 띄우고 검색하는 방식이라 리모콘을 가지고 접근하기는 불편할 뿐만 아니라 광고에 관심이 없는 복수의 사람과 동시에 시청하는 경우에는 시도 자체가 불가능할 수도 있다. 또한, 현재의 방송 단말은 서비스 사업자가 배포하는 것이 대부분이고 배포된 방송 단말은 저가로 고성능의 리소스나 성능을 기대하기가 어렵다. 이러한 이유로 그래픽이나 애니매이션이 뛰어난 데이터 서비스를 하기는 어렵고 간단히 정보를 화면에 출력하거나 2D정도의 간단한 이미지를 기반으로 서비스를 할 수 밖에 없다.As described above, the current advertisement service cannot output an advertisement directly on the screen except for displaying a message on the screen so that the user presses a button, and thus it is not easy for the user to enter the advertisement menu itself. Since related advertisements are menu-based and searchable, it is inconvenient to access with a remote control, and it may not be possible to try it when watching simultaneously with a plurality of people who are not interested in the advertisement. In addition, current broadcast terminals are mostly distributed by service providers, and it is difficult to expect high-performance resources and performance at low cost. For this reason, it is difficult to provide data services with excellent graphics or animation, and it is necessary to simply output information on the screen or provide services based on simple images of 2D or so.

상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 방송 단말의 리소스나 성능과는 상관없이 증강현실(AR)을 이용한 광고 또는 데이터 서비스를 제공할 수 있는 수신 단말과 방송 단말을 연동한 데이터 서비스 방법 및 장치를 제공하는데 있다.An object of the present invention for solving the above problems, regardless of the resources or capabilities of the broadcast terminal, a data service interworking with the broadcast terminal and the receiving terminal that can provide an advertising or data service using AR (AR) To provide a method and apparatus.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.Technical problems of the present invention are not limited to the technical problems mentioned above, and other technical problems not mentioned will be clearly understood by those skilled in the art from the following description.

상기한 본 발명의 목적을 달성하기 위한 본 발명의 일 측면에 따른 수신 단말과 방송 단말을 연동한 데이터 서비스 방법 및 장치는 방송 단말이 방송 데이터를 수신하는 단계와, 방송 단말이 수신된 상기 방송 데이터를 처리하여 증강현실 정보 및 디지털 방송 정보로 분리하는 단계와, 분리된 상기 증강현실 정보를 상기 수신 단말로 전송하는 단계를 포함하여 구성될 수 있다.According to an aspect of the present invention, there is provided a data service method and apparatus in which a reception terminal and a broadcast terminal are interworked, and a broadcast terminal receives broadcast data, and the broadcast terminal receives the broadcast data. Processing to separate the augmented reality information and digital broadcast information, and transmitting the separated augmented reality information to the receiving terminal.

상기와 같은 본 발명에 따른 수신 단말과 방송 단말을 연동한 데이터 서비스 방법 및 장치에 따르면, 수신 단말은 방송 단말과의 연동을 위한 연동승인요청 메시지를 방송하고, 방송 단말이 연동을 위한 키(Key)를 방송 단말에 영상으로 출력하면, 수신 단말이 연동을 위한 키(Key)의 영상을 획득하여 인식하고, 연동을 위한 키(Key)를 이용하여 수신 단말의 단말정보 메시지를 암호화하여 방송 단말로 전송하고, 방송 단말이 암호화된 단말정보 메시지를 분석하여 연동을 위한 키(Key)와 상응된다면 연동승인 메시지를 전송하여 수신 단말과 연동되고, 암호화된 증강현실(AR) 정보 및 제어메시지 등을 전송하여 수신 단말의 현재 화면에 출력되는 영상과 동기화하여 증강현실(AR) 정보를 출력할 수 있다.According to the data service method and apparatus for interworking a receiving terminal and a broadcasting terminal according to the present invention, the receiving terminal broadcasts an interworking approval request message for interworking with the broadcasting terminal, and the broadcasting terminal is a key for interworking. ) As a video to the broadcast terminal, the receiving terminal acquires and recognizes an image of a key for interworking, and encrypts the terminal information message of the receiving terminal by using the key for interlocking to the broadcast terminal. And if the broadcast terminal analyzes the encrypted terminal information message and corresponds to a key for interworking, transmits an interworking approval message to interwork with the receiving terminal and transmits encrypted AR information and control messages. The AR information may be output by synchronizing with the image output on the current screen of the receiving terminal.

이를 통해 수신 단말을 이용하여 방송 단말과 안전하게 연동할 수 있고, 저사양의 방송 단말로도 고품질 증강현실(AR) 형태의 광고 또는 데이터 서비스를 쉬운 인터페이스를 통하여 제공될 수 있으며, 여러 명의 사용자가 하나의 방송 단말을 통해 서로 다른 데이터 서비스를 동시에 받을 수 있는 장점이 있다.Through this, the receiving terminal can be safely linked with the broadcasting terminal, and even a low-specified broadcasting terminal can be provided with a high quality augmented reality (AR) type advertisement or data service through an easy interface. There is an advantage that can simultaneously receive different data services through the broadcast terminal.

도 1은 본 발명의 일 실시예에 따른 수신 단말과 방송 단말을 연동한 데이터 서비스 방법 및 장치의 개략적인 개념을 설명하기 위한 개념도이다.
도 2는 본 발명의 일 실시예에 따른 방송 단말의 처리되는 데이터 구조를 나타낸다.
도 3은 본 발명의 일 실시예에 따른 방송 단말의 계층 구조를 나타내는 구조도이다.
도 4는 본 발명의 일 실시예에 따른 수신 단말과 방송 단말 간의 연동 환경을 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따른 수신 단말과 방송 단말을 연동한 데이터 서비스 방법을 나타내는 순서도이다.1 is a conceptual diagram illustrating a schematic concept of a data service method and apparatus in which a receiving terminal and a broadcasting terminal are linked according to an embodiment of the present invention.
2 illustrates a data structure processed by a broadcast terminal according to an embodiment of the present invention.
3 is a structural diagram showing a hierarchical structure of a broadcast terminal according to an embodiment of the present invention.
4 is a diagram illustrating an interworking environment between a receiving terminal and a broadcasting terminal according to an embodiment of the present invention.
5 is a flowchart illustrating a data service method in which a receiving terminal and a broadcasting terminal are linked according to an embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. As the invention allows for various changes and numerous embodiments, particular embodiments will be illustrated in the drawings and described in detail in the written description. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention. Like reference numerals are used for like elements in describing each drawing.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다. The terms first, second, A, B, etc. may be used to describe various elements, but the elements should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component. And / or < / RTI > includes any combination of a plurality of related listed items or any of a plurality of related listed items.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. When a component is referred to as being "connected" or "connected" to another component, it may be directly connected to or connected to that other component, but it may be understood that other components may be present in between. Should be. On the other hand, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that there are no other elements in between.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular example embodiments only and is not intended to be limiting of the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In this application, the terms "comprise" or "have" are intended to indicate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, and one or more other features. It is to be understood that the present invention does not exclude the possibility of the presence or the addition of numbers, steps, operations, components, components, or a combination thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art. Terms such as those defined in the commonly used dictionaries should be construed as having meanings consistent with the meanings in the context of the related art and shall not be construed in ideal or excessively formal meanings unless expressly defined in this application. Do not.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 수신 단말과 방송 단말을 연동한 데이터 서비스 방법 및 장치의 개략적인 개념을 설명하기 위한 개념도이다.1 is a conceptual diagram illustrating a schematic concept of a data service method and apparatus in which a receiving terminal and a broadcasting terminal are linked according to an embodiment of the present invention.

도 1을 참조하면, 방송 단말(100)은 방송국 또는 복수개의 데이터 서버 중 적어도 하나에서 비디오 정보, 오디오 정보, 방송 서비스 정보, 애플리케이션 정보, AR(Augmented Reality) 정보, 웹 콘텐츠 등을 제공받을 수 있고, 상기 방송 단말(100)은 디지털 방송 네트워크(Digital Broadcast Network)로 방송국과 연결될 수 있고, 클라우드(Cloud)/소셜(Social) 네트워크 등을 통해 데이터 서버들과 연결될 수 있다. 여기서, 데이터 서버들은 SNS 서버, 미디어 서버, 포털 서버 등을 포함할 수 있다.Referring to FIG. 1, the broadcast terminal 100 may receive video information, audio information, broadcast service information, application information, Augmented Reality (AR) information, web content, and the like from at least one of a broadcasting station or a plurality of data servers. The broadcast terminal 100 may be connected to a broadcasting station through a digital broadcast network, and may be connected to data servers through a cloud / social network. Here, the data servers may include an SNS server, a media server, a portal server, and the like.

방송 단말(100)은 TV 네트워크 프로토콜 또는 DLNA(Digital Living Network Alliance) 네트워크 프로토콜 등의 홈 네트워크 프로토콜을 통해 복수개의 수신 단말들(200, 300, 400)과 유무선 매체로 연결될 수 있고, 복수개의 수신 단말들(200, 300, 400)은 TV 네트워크 프로토콜 또는 DLNA 네트워크 프로토콜 등의 홈 네트워크 프로토콜을 통해 유무선 매체로 방송 단말(100)로부터 증강현실(AR) 정보 등을 제공받는다. The broadcast terminal 100 may be connected to a plurality of receiving terminals 200, 300, and 400 via a wired or wireless medium through a home network protocol such as a TV network protocol or a digital living network alliance (DLNA) network protocol. The fields 200, 300, and 400 receive AR information from the broadcast terminal 100 through wired or wireless media through a home network protocol such as a TV network protocol or a DLNA network protocol.

여기서, 수신 단말들(200, 300, 400)은 스마트폰(smart phone), 휴대폰(mobile phone), 아이패드(i-pad), 타블렛 PC, 노트북, PC 등 카메라 기능을 갖고 있고, 카메라 기능을 통하여 방송 단말(100)의 화면을 실시간으로 촬영하고, 촬영된 영상을 표시할 수 있는 형태로 구성될 수 있다. Here, the receiving terminals 200, 300, and 400 have a camera function such as a smart phone, a mobile phone, an i-pad, a tablet PC, a notebook, a PC, and the like. Through the screen of the broadcast terminal 100 in real time, it may be configured in a form that can display the captured image.

방송 단말(100)은 셋톱박스(STB), 셋톱박스가 내장된 TV, DTV, PC 등 데이터 방송 정보 등을 송수신할 수 있는 방송 단말의 형태로 구성될 수 있다. The broadcast terminal 100 may be configured in the form of a broadcast terminal capable of transmitting and receiving data broadcast information such as a set-top box (STB), a TV with a set-top box, a DTV, a PC, and the like.

또한, 방송 단말(100)은 수신한 데이터 방송 정보를 표시할 수 있는 기능을 포함하거나 또는 수신한 데이터 방송 정보를 표시할 수 있는 기능을 포함하지 않는 단말 모두가 될 수 있고, 수신한 데이터 방송 정보를 표시할 수 있는 기능을 포함하지 않을 경우에는 유무선으로 연결된 DTV 등과 같은 데이터 방송 정보를 표시할 수 있는 단말의 화면으로 데이터 방송 정보를 출력할 수 있다.In addition, the broadcast terminal 100 may be both terminals including a function of displaying received data broadcast information or not including a function of displaying received data broadcast information, and the received data broadcast information. If it does not include a function for displaying the data broadcasting information can be output to the screen of the terminal capable of displaying data broadcasting information, such as DTV connected via wired or wireless.

따라서, 방송 단말(100)은 방송국 또는 복수개의 데이터 서버 중 적어도 하나에서 비디오 정보, 오디오 정보, 방송 서비스 정보, 애플리케이션 정보, 증강현실(AR) 정보, 웹 콘텐츠 등의 데이터를 MPEG-2 TS형태로 다중화된 스트림을 수신한다. Accordingly, the broadcast terminal 100 converts data such as video information, audio information, broadcast service information, application information, augmented reality (AR) information, web content, and the like into at least one of a broadcasting station or a plurality of data servers in the form of MPEG-2 TS. Receive the multiplexed stream.

방송 단말(100)은 수신한 다중화된 스트림을 비디오 정보, 오디오 정보, 방송 서비스 정보, 애플리케이션 정보, 증강현실(AR) 정보, 웹 콘텐츠 등의 데이터로 역다중화하고, 이중 증강현실(AR) 정보를 수신 단말들(200, 300, 400)로 제공하고, 오디오 정보, 비디오 정보 등의 데이터 방송 정보는 방송 단말(100)의 오디오/비디오 디코더로 제공하여 데이터 방송 정보를 표시할 수 있는 기능을 포함하고 있는 방송 단말(100)의 화면으로 출력하거나 또는 수신한 데이터 방송 정보를 표시할 수 있는 기능을 포함하지 않는 방송 단말(100)의 경우에는 유무선으로 연결된 DTV 등과 같은 데이터 방송 정보를 표시할 수 있는 단말의 화면으로 데이터 방송 정보를 출력할 수 있다. The broadcast terminal 100 demultiplexes the received multiplexed stream into data such as video information, audio information, broadcast service information, application information, augmented reality (AR) information, web content, and the like, and doubles augmented reality (AR) information. It provides to the receiving terminals (200, 300, 400), and the data broadcasting information such as audio information, video information, and the like to provide a function to display the data broadcasting information by providing to the audio / video decoder of the broadcast terminal 100 In the case of the broadcast terminal 100 that does not include a function of outputting to the screen of the broadcast terminal 100 or displaying the received data broadcast information, the terminal capable of displaying data broadcast information such as DTV or the like connected by wire or wireless The data broadcast information can be output to the screen of.

수신 단말들(200, 300, 400)은 방송 단말(100)의 화면에 출력되는 영상 정보를 수신 단말들(200, 300, 400)의 카메라 기능을 이용하여 실시간으로 촬영하고, 촬영된 영상을 수신 단말들(200, 300, 400)의 화면으로 볼 수 있고, 수신 단말들(200, 300, 400)의 화면 위에 방송 단말(100)로부터 전송된 증강현실(AR) 정보 등을 해당 위치에 출력함으로써 증강현실(AR) 광고나 증강현실(AR) 데이터 서비스가 가능하게 된다.
The receiving terminals 200, 300, and 400 capture image information output on the screen of the broadcasting terminal 100 in real time using a camera function of the receiving terminals 200, 300, and 400, and receive the captured image. By viewing the screen of the terminals (200, 300, 400), by outputting the AR information transmitted from the broadcasting terminal 100 on the screen of the receiving terminals (200, 300, 400), etc. in the corresponding position Augmented reality (AR) advertising or augmented reality (AR) data services will be available.

도 2는 본 발명의 일 실시예에 따른 방송 단말의 처리되는 데이터 구조를 나타낸다.2 illustrates a data structure processed by a broadcast terminal according to an embodiment of the present invention.

도 2를 참조하면, 증강현실(AR) 정보는 비디오 정보, 오디오 정보, 서비스 정보(Service Information), 애플리케이션 정보 등과 별도의 패킷으로 MPEG-2 TS 형태로 다중화되거나 또는 서비스 정보나 애플리케이션 정보에 포함되어 MPEG-2 TS 형태로 다중화될 수 있다. Referring to FIG. 2, the AR information is multiplexed in the form of MPEG-2 TS in a separate packet such as video information, audio information, service information, service information, or application information, or is included in service information or application information. Multiplexed in MPEG-2 TS format.

방송 단말(100)은 사용자가 원하는 방송 채널을 내장된 튜너(Tuner)를 통해 선택하여 원하는 방송 채널의 다중화된 방송 스트림을 RF(Radio Frequency)나 IP(Internet Protocol) 네트워크 등을 통해 수신할 수 있다. The broadcast terminal 100 may select a broadcast channel desired by a user through a built-in tuner and receive a multiplexed broadcast stream of the desired broadcast channel through a radio frequency (RF) or an internet protocol (IP) network. .

상기 방송 단말(100)은 다중화된 방송 스트림을 역다중화하여 비디오 정보, 오디오 정보, 서비스 정보, 애플리케이션 정보, 증강현실(AR) 정보 등의 개별 정보로 분리한다. The broadcast terminal 100 demultiplexes the multiplexed broadcast stream into separate information such as video information, audio information, service information, application information, augmented reality (AR) information, and the like.

상기 방송 단말(100)은 비디오 정보와 상기 오디오 정보를 방송 단말(100)의 비디오/오디오 디코더로 전달할 수 있고, 상기 서비스 정보, 애플리케이션 정보, 증강현실(AR) 정보 등은 방송 단말의 미들웨어(Middleware)로 전달하어 소프트웨어적으로 처리할 수 있다. The broadcast terminal 100 may transmit video information and the audio information to a video / audio decoder of the broadcast terminal 100, and the service information, application information, augmented reality (AR) information, and the like may be middleware of the broadcast terminal. Can be processed in software.

상기 증강현실(AR) 정보는 사용자가 증강현실(AR) 애플리케이션을 이용하여 증강현실(AR) 정보를 요구하면 증강현실(AR) 정보를 화면에 나타낼 수 있다.
The augmented reality (AR) information may display augmented reality (AR) information on the screen when the user requests augmented reality (AR) information by using an augmented reality (AR) application.

도 3은 본 발명의 일 실시예에 따른 방송 단말의 계층 구조를 나타내는 구조도이다.3 is a structural diagram showing a hierarchical structure of a broadcast terminal according to an embodiment of the present invention.

도 3을 참조하면, 방송 단말의 계층 구조는 하드웨어(H/W)계층, CPS(Command Service Platform)계층, ACAP-J(Advanced Common Applicaation Protocol-Java) 미들웨어계층, 데이터방송 API(Application Programming Interface)계층 및 애플리케이션계층을 포함하여 구성될 수 있다. Referring to FIG. 3, the hierarchical structure of a broadcast terminal includes a hardware (H / W) layer, a command service platform (CPS) layer, an advanced common application protocol-Java (ACAP-J) middleware layer, and a data broadcasting application programming interface (API). It may be configured to include a layer and an application layer.

상기 하드웨어계층은 방송 단말의 하드웨어 부분을 의미하며, 상기 CPS(Command Service Platform)계층은 일반적인 서비스 플랫폼으로 오디오/비디오 제어 컴포넌트, 셋톱박스(STB) 제어 컴포넌트 및 AR, SI, JAVA의 파싱(Parsing) 및 관리의 기능을 수행하는 컴포넌트를 포함하여 구성될 수 있다. The hardware layer refers to a hardware portion of a broadcast terminal, and the command service platform (CPS) layer is a general service platform, which is an audio / video control component, a set-top box (STB) control component, and parsing of AR, SI, and JAVA. And it may be configured to include a component that performs the function of management.

상기 ACAP-J 미들웨어계층은 자바(JAVA) 기반의 애플리케이션과 그 애플리케이션이 운영되는 환경 간에 원만한 통신이 이루어질 수 있게 하는 기능을 수행할 수 있고, ACAP-J(Advanced Common Applicaation Protocol-Java) 미들웨어계층은 DVB-SI(Digital Video Broadcasting Service Information) 컴포넌트, AR(Augmented Reality) 컴포넌트, DSM-CC(Digital Storage Media Command and Control) 컴포넌트, HAVi UI(Home Audio Video Interoperability User Interface) 컴포넌트, DAVIC(Digital Audio Visual Council) 컴포넌트, Java TV 컴포넌트, Event Manager 컴포넌트, AM(Amplitude Modulation) 컴포넌트 등을 포함하여 구성될 수 있다.The ACAP-J middleware layer may perform a function to enable smooth communication between a Java (JAVA) -based application and an environment in which the application operates, and the ACAP-J (Advanced Common Applicaation Protocol-Java) middleware layer Digital Video Broadcasting Service Information (DVB-SI) component, Augmented Reality (AR) component, Digital Storage Media Command and Control (DSM-CC) component, Home Audio Video Interoperability User Interface (HAVi UI) component, Digital Audio Visual Council ), A Java TV component, an Event Manager component, an AM (Amplitude Modulation) component, and the like.

상기 DVB-SI 컴포넌트, 상기 DSM-CC 컴포넌트, 상기 HAVi UI 컴포넌트, 상기 DAVIC 컴포넌트, 상기 Java TV 컴포넌트, 상기 Event Manager 컴포넌트, 상기 AM 컴포넌트들은 방송 단말 미들웨어의 일반적인 컴포넌트들 일 수 있다. The DVB-SI component, the DSM-CC component, the HAVi UI component, the DAVIC component, the Java TV component, the Event Manager component, the AM components may be general components of a broadcast terminal middleware.

상기 증강현실(AR) 컴포넌트는 사용자가 증강현실(AR) 애플리케이션을 이용하여 증강현실(AR) 정보를 요구하면 증강현실(AR) 정보에 접근하여 증강현실(AR) 정보가 화면에 나타낼 수 있도록 증강현실(AR) 정보를 관리하는 기능을 수행할 수 있다.The augmented reality (AR) component is augmented so that augmented reality (AR) information can be displayed on the screen by accessing the augmented reality (AR) information when the user requests augmented reality (AR) information by using an augmented reality (AR) application A function of managing reality information may be performed.

상기 데이터방송 API(Application Programming Interface)계층은 데이터 방송에서 사용될 수 있도록 운영체제나 프로그래밍 언어가 제공하는 기능을 제어할 수 있도록 만든 인터페이스를 의미할 수 있고, 화상 처리 등을 위한 인터페이스를 제공할 수 있다. The data broadcasting API (Application Programming Interface) layer may mean an interface made to control a function provided by an operating system or a programming language to be used in data broadcasting, and may provide an interface for image processing.

상기 애플리케이션 계층은 EPG 애플리케이션, 증강현실(AR) 애플리케이션, 방송 애플리케이션 등을 포함하여 구성될 수 있다. The application layer may include an EPG application, an AR application, a broadcast application, and the like.

상기 EPG 애플리케이션인 전자 프로그램 가이드(EPG)는 텔레비전 방송 프로그램의 편성표를 텔레비전 화면상에 표시하는 기능으로 텔레비전을 시청하는 사람은 이 편성표를 통해 원하는 프로그램을 선택하거나 시간, 제목, 채널, 장르 등의 기준을 통해 원하는 프로그램을 검색할 수 있는 기능을 제공하는 애플리케이션을 의미한다.The EPG application, an electronic program guide (EPG), is a function of displaying a program table of a television broadcast program on a television screen, and a viewer watching the program selects a desired program or selects a program based on time, title, channel, genre, etc. This refers to an application that provides a function to search for a desired program through.

상기 증강현실(AR) 애플리케이션은 실제환경과 가상의 객체를 혼합한 증강현실기술(AR)을 이용한 애플리케이션으로서 사용자가 실제환경을 볼 수 있게 하여 보다 나은 현실감과 부가 정보를 제공할 수 있는 데이터 방송 서비스나 광고 서비스를 제공하는 애플리케이션을 의미할 수 있고, 사용자가 증강현실(AR) 애플리케이션을 통하여 증강현실(AR) 정보를 요구하면 상기 증강현실(AR) 컴포넌트를 통하여 증강현실(AR) 정보에 접근하여 증강현실(AR) 정보를 화면에 그래픽 계층으로 영상 위에 오버레이하여 출력하는 기능을 수행할 수 있다.The augmented reality (AR) application is an application using augmented reality technology (AR) that mixes a real environment and a virtual object, and allows a user to see the real environment, thereby providing a better reality and additional information. Or an application that provides an advertisement service, and when a user requests augmented reality (AR) information through an augmented reality (AR) application, the augmented reality (AR) information is accessed through the augmented reality (AR) component. The AR information may be overlaid and output on the screen as a graphic layer on the screen.

상기 방송 애플리케이션은 텔레비전 문자 다중 방송, 팩스 방송, 데이터 방송, 정지 화상 방송, 고선명 텔레비전 방송(HDTV), 펄스부호변조(PCM)음성방송, 디지털 텔레비전 방송, 위성을 이용한 위성 방송 등의 방송서비스를 제공하는 애플리케이션을 의미할 수 있다.
The broadcasting application provides broadcasting services such as television teletext, fax broadcasting, data broadcasting, still image broadcasting, high definition television broadcasting (HDTV), pulse code modulation (PCM) voice broadcasting, digital television broadcasting, and satellite broadcasting using satellites. It can mean an application.

도 4는 본 발명의 일 실시예에 따른 수신 단말과 방송 단말 간의 연동환경을 나타내는 도면이다.4 is a diagram illustrating an interworking environment between a receiving terminal and a broadcasting terminal according to an embodiment of the present invention.

도 4를 참조하면, 방송 단말(100)은 방송국으로부터 송출된 데이터 방송 신호 중 원하는 신호의 전파만을 튜너(Tuner)를 이용하여 선택할 수 있다. 상기 선택된 신호는 비디오 정보, 오디오 정보, 서비스 정보, 애플리케이션 정보, 증강현실(AR) 정보 등을 포함하며 하나의 방송 스트림으로 다중화되어 있다. Referring to FIG. 4, the broadcast terminal 100 may select only a radio wave of a desired signal among data broadcast signals transmitted from a broadcast station using a tuner. The selected signal includes video information, audio information, service information, application information, augmented reality (AR) information, and the like and is multiplexed into one broadcast stream.

상기 방송 단말(100)은 상기 다중화된 방송 스트림을 역다중화하여, 비디오 정보, 오디오 정보, 서비스 정보, 애플리케이션 정보, 증강현실(AR) 정보들로 분리하여 그 중 증강현실(AR) 정보를 추출할 수 있다. 상기 방송 단말(100)은 상기 추출된 증강현실(AR) 정보, 방송 단말(100)과 수신 단말들(200, 300, 400)의 연결을 위한 제어정보 등을 수신 단말들(200, 300, 400)에 송수신할 수 있다. 다만, 수신 단말들이(200, 300, 400) MPEG-2 TS 스트림의 역다중화가 가능하다면 다중화된 방송 스트림 자체를 전달할 수도 있다.The broadcast terminal 100 demultiplexes the multiplexed broadcast stream to separate video information, audio information, service information, application information, augmented reality (AR) information, and extract augmented reality (AR) information therefrom. Can be. The broadcast terminal 100 receives the extracted augmented reality (AR) information, control information for connecting the broadcast terminal 100 and the receiving terminals (200, 300, 400), and the like. Send and receive). However, if the terminal 200 (300, 400) can demultiplex the MPEG-2 TS stream, the receiving terminals may deliver the multiplexed broadcast stream itself.

예를 들어, 상기 방송 단말(100)이 상기 추출된 증강현실(AR) 정보, 방송 단말(100)과 수신 단말(200, 300)의 연결을 위한 제어정보 등을 TV 네트워크 프로토콜로 RF를 이용하여 AP(Access Point)와 상관없이 수신 단말들(200,300)에 직접 송수신할 수 있다. For example, the broadcast terminal 100 uses the extracted augmented reality (AR) information, control information for connection between the broadcast terminal 100 and the receiving terminals 200 and 300 using RF as a TV network protocol. Regardless of an access point (AP), it may directly transmit and receive to the receiving terminals 200 and 300.

또한, 상기 방송 단말(100)은 상기 추출된 증강현실(AR) 정보, 방송 단말(100)과 수신 단말(400)의 연결을 위한 제어정보 등을 인터넷 등의 네트워크와 유무선으로 연결된 유무선 AP(Access Point)로 전송할 수 있고, 상기 수신 단말(400)은 상기 추출된 증강현실(AR) 정보, 방송 단말(100)과 수신 단말(400)의 연결을 위한 제어정보 등을 예를 들어, DLNA와 같은 홈네트워크 프로토콜을 이용하여 유무선 AP(Access Point)로부터 송수신할 수 있다. In addition, the broadcast terminal 100 is connected to the wired and wireless AP (Access) connected to the network, such as the Internet, such as the extracted AR information, the control information for connecting the broadcast terminal 100 and the receiving terminal 400, etc. Point), the receiving terminal 400 is augmented reality (AR) information, the control information for connecting the broadcast terminal 100 and the receiving terminal 400, such as, for example, DLNA The home network protocol may be used to transmit / receive from a wired or wireless access point (AP).

여기서, 상기 홈네트워크 프로토콜은 DLNA(Digital Living Network Alliance) 등이 포함될 수 있다.
Here, the home network protocol may include a digital living network alliance (DLNA).

도 5는 본 발명의 일 실시예에 따른 수신 단말과 방송 단말을 연동한 데이터 서비스 방법을 나타내는 순서도이다.5 is a flowchart illustrating a data service method in which a receiving terminal and a broadcasting terminal are linked according to an embodiment of the present invention.

도 5를 참조하면, 수신 단말(200)이 방송 단말(100)로 방송 단말(100)과의 연동을 위한 연동승인요청 메시지를 방송하면(단계 510), 방송 단말(100)은 상기 연동승인요청 메시지를 수신하고, 연동을 위한 키(Key)를 표시 기능을 포함하고 있는 방송 단말의 화면에 영상으로 출력하거나 또는 표시 기능을 포함하지 않는 방송 단말의 경우에는 유무선으로 연결된 DTV 등과 같은 표시 기능을 포함하고 있는 단말의 화면에 영상으로 출력한다(단계 520). Referring to FIG. 5, when the receiving terminal 200 broadcasts an interworking approval request message for interworking with the broadcast terminal 100 to the broadcast terminal 100 (step 510), the broadcast terminal 100 requests the interworking approval request. In the case of a broadcast terminal that receives a message and outputs a key for interworking on a screen of a broadcast terminal including a display function or does not include a display function, the broadcast terminal includes a display function such as a DTV connected through a wired or wireless connection. The image is outputted on the screen of the terminal (step 520).

또한, 상기 연동을 위한 키(Key) 기존의 HTTPS에서 사용되는 SSL이나 공인 인증서를 이용한 방법 등의 공개된 보호 알고리즘의 키(Key)로 사용될 수 있다.In addition, the key for interworking may be used as a key of a public protection algorithm such as a method using SSL or a public certificate used in the existing HTTPS.

상기 수신 단말(200)은 상기 방송 단말(100)이 영상으로 출력한 연동을 위한 키(Key)를 카메라 기능을 이용하여 연동을 위한 키(Key)의 영상을 획득하고 인식한다(단계 530). 또는, 사용자가 수신 단말(200)에 아이디(ID)를 입력하게 하거나 또는 수신 단말(200)이 아이디를 자동으로 인식하도록 하여 수신 단말(200)과 방송 단말(100)이 자동으로 연동될 수 있다.The receiving terminal 200 acquires and recognizes an image of a key for interworking using a camera function from a key for interworking output by the broadcast terminal 100 as an image (step 530). Alternatively, the receiving terminal 200 and the broadcasting terminal 100 may be automatically linked by allowing a user to input an ID to the receiving terminal 200 or allowing the receiving terminal 200 to automatically recognize the ID. .

상기 수신 단말(200)은 상기 방송 단말(100)과의 연동을 위해 수신 단말의 단말정보 메시지를 상기 획득한 키(Key)를 이용하여 암호화하고(단계 540), 상기 수신 단말(200)은 방송 단말(100)로 암호화된 수신 단말(200)의 단말정보 메시지를 전송한다(단계 550). 상기 단말정보 메시지에는 방송 단말(100)이 수신 단말(200)을 인식할 수 있게 하는 수신 단말 주소 등이 포함될 수 있다.The receiving terminal 200 encrypts the terminal information message of the receiving terminal using the obtained key for interworking with the broadcasting terminal 100 (step 540), and the receiving terminal 200 broadcasts. The terminal 100 transmits the encrypted terminal information message to the terminal 100 (step 550). The terminal information message may include a receiving terminal address and the like for allowing the broadcasting terminal 100 to recognize the receiving terminal 200.

상기 방송 단말(100)은 상기 수신 단말(200)로부터 제공받은 상기 암호화된 수신 단말의 단말정보 메시지를 분석하여 분석결과가 연동을 위한 키(Key)와 상응된다면(단계 560), 수신 단말(200)로 연동 승인 메시지를 전송한다(단계 570).The broadcast terminal 100 analyzes the terminal information message of the encrypted receiving terminal provided from the receiving terminal 200, and if the analysis result corresponds to a key for interlocking (step 560), the receiving terminal 200 In step 570, the interworking approval message is transmitted.

상기 방송 단말(100)은 수신 단말과 연동되고(단계 580), 연동을 위한 키(Key)를 이용하여 증강현실(AR) 정보 및 제어메시지 등을 암호화하여 수신 단말(200)로 전송한다(단계 590). 상기 수신 단말(200)은 암호화된 증강현실(AR) 정보 및 제어메시지를 수신하고 현재의 수신 단말(200)의 화면에 출력되고 있는 영상과 동기화되어 증강현실(AR) 정보를 출력한다(단계 600). 또한, 상기 방송 단말(100)은 오디오 정보, 비디오 정보를 출력한다(단계 610). 상기 제어메시지는 현재의 수신 단말(200)의 화면에 출력되고 있는 영상과 동기화하는데 필요한 시간정보, 출력위치정보 등이 포함될 수 있다.The broadcast terminal 100 is interlocked with the receiving terminal (step 580), and encrypts AR information and control messages using a key for interworking and transmits the encrypted information to the receiving terminal 200 (step). 590). The receiving terminal 200 receives the encrypted augmented reality (AR) information and control messages and outputs the augmented reality (AR) information in synchronization with the image being output on the screen of the current receiving terminal 200 (step 600). ). In addition, the broadcast terminal 100 outputs audio information and video information (step 610). The control message may include time information, output location information, etc. necessary for synchronizing with the image being output on the screen of the current receiving terminal 200.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the present invention as defined by the following claims It can be understood that

100 : 방송 단말 200 : 수신 단말
300 : 수신 단말 400 : 수신 단말 100: broadcast terminal 200: receiving terminal
300: receiving terminal 400: receiving terminal

Claims

In a data service method in which a receiving terminal and a broadcasting terminal are interlocked,
Receiving, by the broadcast terminal, broadcast data;
Processing the broadcast data received by the broadcast terminal and separating the broadcast data into augmented reality information and digital broadcast information; And
And transmitting the separated augmented reality information to the receiving terminal.