[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR20100040545A - 구조화된 리치 미디어 데이터 기반의 사용자 인터페이스를 제공하기 위한 장치 및 방법 - Google Patents

구조화된 리치 미디어 데이터 기반의 사용자 인터페이스를 제공하기 위한 장치 및 방법 Download PDF

Info

Publication number
KR20100040545A
KR20100040545A KR1020080099720A KR20080099720A KR20100040545A KR 20100040545 A KR20100040545 A KR 20100040545A KR 1020080099720 A KR1020080099720 A KR 1020080099720A KR 20080099720 A KR20080099720 A KR 20080099720A KR 20100040545 A KR20100040545 A KR 20100040545A
Authority
KR
South Korea
Prior art keywords
user interface
information
rich media
terminal
scene
Prior art date
Application number
KR1020080099720A
Other languages
English (en)
Inventor
황서영
박경모
송재연
이국희
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020080099720A priority Critical patent/KR20100040545A/ko
Priority to US12/576,758 priority patent/US20100095228A1/en
Priority to CN200980139814.0A priority patent/CN102177484B/zh
Priority to PCT/KR2009/005767 priority patent/WO2010041887A2/en
Priority to EP09819394.9A priority patent/EP2335135A4/en
Publication of KR20100040545A publication Critical patent/KR20100040545A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 리치 미디어 데이터 기반의 사용자 인터페이스를 제공하는 장치 및 그 방법에 관한 것으로, 단말의 성능이나 특징, 단말 및 사용자의 서비스 환경이나 상태에 따라 다양한 상황에서 멀티미디어 요소들을 이용하여 자유로운 표현과 사용자와의 상호작용을 지원할 수 있다. 또한, 본 발명은 수신 단말이 구조화된 사용자 인터페이스 데이터를 수신하고, 특정 조건을 확인하여 상황 적응적 사용자 인터페이스를 제공하는 과정을 포함한다.
사용자 인터페이스, MPEG-4, BIFS, LASeR, 데이터 포맷, 패키지

Description

구조화된 리치 미디어 데이터 기반의 사용자 인터페이스를 제공하기 위한 장치 및 방법{ APPARATUS AND METHOD FOR PROVIDING USER INTERFACE BASED STRUCTURED RICH MEDIA DATA}
본 발명은 사용자 인터페이스를 제공하기 위한 방법 및 장치에 관한 것으로, 특히 사용자 인터페이스를 구성하기 위해서 사용되는 다양한 멀티미디어와 상호작용을 포함하는 리치미디어 데이터들에 대한 정보를 포함하는 구조화된 사용자 인터페이스 포맷을 생성하여 상황 적응적 사용자 인터페이스를 제공하는 방법 및 장치에 관한 것이다.
종래 사용자 인터페이스는 사용자와 시스템(특히 기계, 컴퓨터 프로그램 등) 사이에서 의사소통을 할 수 있도록 일시적 또는 영구적인 접근을 목적으로 만들어진 물리적, 가상적 매개체를 뜻하며, 사용자가 시스템을 조작하는 입력과 시스템이 그로 인한 결과를 보이는 출력을 의미한다. 또한, 생산자가 만들어 제공하는 인터페이스는 생산자가 지정한 하나의 장치에서만 동작하며, 재가공이나 수정할 수 없 는 고정된 도구였다.
그러나, 사용자 단말 및 서비스 주체의 다양화를 비롯하여, 영상, 음성, 데이터 등 종류가 다른 미디어나 단말기가 네트워크에 관계없이 융합되어 새로운 서비스 만들어내기 시작하면서, 인터페이스는 하나의 장치에서만 기능들 만을 수행한다는 기존의 관념을 뛰어 넘어 이기종 장치 혹은 원격의 장치에서도 사용자가 다루기 쉬운 인터페이스를 제공할 것을 요구 받고 있다. 여기서 사용자가 다루기 쉬운 인터페이스란 단순한 인터페이스를 의미하는 것이 아니라 사용자가 기기 및 서비스를 소비함에 있어 어려움이 없이, 처음 접하는 사람을 포함해 누구나 쉽게 사용할 수 있는 인터페이스가 제공 되어야 함을 뜻한다.
또한, 사용자와 단말 간의 상호작용이 뜻하는 바는 사용자와 단말 사이에 있는 사용자 인터페이스에서 발현되는 동작을 의미하는 것이었으나, 이제는 실제 사용자의 환경을 이해하여 사용자나 단말의 능력과 상황에 맞추어 사용자를 중심으로 하는 인터페이스, 서비스 및 제품을 만들어 사용자로 하여금 단말이나 기능에 맞추어 적응하거나 학습하도록 하는 것이 아니라, 사용자가 무엇을 할 수 있고, 원하고, 할 필요가 있는지 인지할 수 있는 서비스를 제공할 수 있어야 한다. 향후 사용자 인터페이스의 정의가 상황 인식(context-aware)라는 주변 상황에까지 확장 되어야 함을 의미한다.
한편, 현재의 기술 추세에 따르면 컨텐츠를 서비스하는데 있어 텍스트, 오디오, 비디오, 폰트, 이미지, 그래픽 등 여러 가지 미디어를 혼합된 형태로 제공하는 리치미디어(Rich-media) 서비스 형태로 발전하고 있다. 상기 리치미디어 서비스를 제공하기 위한 국제표준 규격으로는 ISO/IEC 14496-20 (MPEG-4 part 20)인 LASeR (Lightweight Application Scene Representation), ISO/IEC 14496-11 (MPEG-4 part 11)인 BIFS(Binary Format for Scene)등이 있다.
상기 리치미디어 서비스는 장면 기술(scene description), 비디오(video), 오디오(audio), 이미지(image), 폰트(font), 텍스트(text), 메타데이터(metadata), 스크립트(script)와 같은 데이터들을 이용하여 다양한 멀티미디어 요소들을 이용한 자유로운 표현과 사용자와의 상호작용을 통하여 보다 풍부한 사용자 서비스를 제공한다.
도 1은 종래 기술에 따라 리치미디어 서비스를 수신한 단말의 동작을 도시한 도면이다.
도 1을 참조하면, 단말은 100 단계에서 서비스 콘텐츠를 수신하고, 110 단계에서 상기 수신된 서비스 콘텐츠를 복호화(Decoding)한다. 단말은 120단계에서 상기 복호화된 서비스 콘텐츠를 사용자에게 제공 가능한 형태로 구성하는 서비스 구성 동작을 수행하는데, 명령어들을 확인하여 실행하거나 이벤트들을 처리하는 동작 등이 포함될 수 있다. 단말은 130 단계에서 상기 구성된 서비스를 사용자에게 제공하기 위해, 영상 또는 음향을 지원하는 사용자 인터페이스 수단을 통해 상기 구성된 서비스를 출력한다.
상술한 리치미디어 서비스 콘텐츠의 일 예인, LASeR 콘텐츠는 하기의 <표 1>의 구문(syntax)으로 표현될 수 있다.
<NewScene> <svg> … </svg> <NewScene>
상기의 <표 1>에 의하면, 단말은 명령어가 수행될 때마다 LASeR 명령어 중 하나로 새로운 장면을 그리라는 의미를 가지는 명령어인 'NewScene' 내에 포함된 장면(<svg>…</svg>)을 구성하여 디스플레이 한다.
종래의 사용자 인터페이스는 단말과 사용자간의 상호작용을 위한 도구일 뿐이었으므로, 버튼을 누르거나 키를 누르는 것으로 상호작용이 이루어졌다. 그러나 머지않아 사용자의 시각, 촉각, 음성 등의 오감뿐만 아니라, 행동까지도 상호작용을 위한 도구로 사용될 수 있을 것이다. 또한 단순한 그래픽 유저 인터페이스 뿐만 아니라, 사용자가 직접 인터페이스를 꾸미고, 편집하여 사용하는 WYSWYG(what you see is what you get)의 방법도 넘어선, 사용자 인터페이스 자체가 사용자가 소비할 수 있는 컨텐츠가 될 수 있어야 한다.
따라서 단말의 성능이나 특징, 단말 및 사용자의 서비스 환경이나 상태에 따라 다양한 상황에부합하며, 리치미디어 기술을 이용하여 보다 다양한 멀티미디어 요소들을 이용한 자유로운 표현과 사용자와의 상호작용을 지원할 수 있는 리치미디어 사용자 인터페이스를 제공하는 방법 및 장치가 요구된다.
상술한 바와 같은 문제점을 극복하기 위한 본 발명의 목적은 사용자 인터페이스를 수신하는 사용자나 단말의 성능 및 상황에 적응하며 풍부한 데이터의 표현을 제공할 수 있는 구조화된 리치 미디어 사용자 인터페이스의 제공 장치 및 그 방법을 제공함에 있다.
본 발명에 따른 리치미디어 사용자 인터페이스를 제공하기 위한 방법은, 단말이 접속된 통신네트워크의 송신단에서 사용자 인터페이스의 종류 및 식별 정보 등 사용자 인터페이스를 제공하기 위한 기본 설정 정보와 상기 사용자 인터페이스를 제공하기 위하여 사용되는 다양한 멀티미디어와 상호작용을 포함하는 리치미디어 데이터들에 대한 정보를 포함하는 사용자 인터페이스 장면 정보, 상기 사용자 인터페이스의 기능과 관련된 정보, 단말 및 사용자 정보를 포함하는 사용자 인터페이스 포맷을 생성하는 과정과, 상기 생성된 리치미디어 사용자 인터페이스를 인코딩하는 과정과, 상기 인코딩된 리치미디어 사용자 인터페이스를 상기 단말로 전송하는 과정을 포함한다.
본 발명에 따른 리치미디어 사용자 인터페이스를 제공하는 방법은, 단말이 접속된 통신네트워크의 송신단으로부터 서비스하고자 하는 사용자 인터페이스의 종류 및 식별 정보 등 사용자 인터페이스를 제공하기 위한 기본 설정 정보와 상기 사 용자 인터페이스를 제공하기 위하여 사용되는 다양한 멀티미디어와 상호작용을 포함하는 리치미디어 데이터들에 대한 정보를 포함하는 사용자 인터페이스 장면 정보, 상기 사용자 인터페이스의 기능과 관련된 정보, 단말 및 사용자 정보를 포함하는 사용자 인터페이스 포맷를 수신하여 디코딩하는 과정과, 상기 디코딩된 리치미디어 사용자 인터페이스를 사용자 인터페이스 모듈의 판단에 따라 서비스 및 사용자 상황에 부합하도록 제공하는 과정을 포함한다.
본 발명에 따른 리치미디어 사용자 인터페이스를 제공하기 위한 장치는, 단말이 접속된 통신네트워크의 송신단에서 사용자 인터페이스의 종류 및 식별 정보 등 상기 사용자 인터페이스를 제공하기 위한 기본 설정 정보와 상기 사용자 인터페이스를 제공하기 위하여 사용되는 다양한 멀티미디어와 상호작용을 포함하는 리치미디어 데이터들에 대한 정보를 포함하는 사용자 인터페이스 장면 정보, 사용자 인터페이스의 기능과 관련된 정보, 단말 및 사용자 정보를 포함하는 사용자 인터페이스 포맷을 생성하는 사용자 인터페이스 포맷 생성부와, 상기 생성된 리치미디어 사용자 인터페이스를 인코딩하는 인코딩 부와, 상기 인코딩된 리치미디어 사용자 인터페이스를 상기 단말로 전송하는 전송부를 포함한다.
본 발명에 따른 리치미디어 사용자 인터페이스를 제공하는 장치는, 단말이 접속된 통신네트워크의 송신단으로부터 서비스하고자 하는 사용자 인터페이스의 종류 및 식별 정보 등 상기 사용자 인터페이스를 제공하기 위한 기본 설정 정보와 상기 사용자 인터페이스를 제공하기 위하여 사용되는 다양한 멀티미디어와 상호작용을 포함하는 리치미디어 데이터들에 대한 정보를 포함하는 사용자 인터페이스 장면 정보, 상기 사용자 인터페이스의 기능과 관련된 정보, 단말 및 사용자 정보를 포함하는 사용자 인터페이스 포맷를 수신하여 디코딩하는 디코딩부와, 상기 디코딩된 리치미디어 사용자 인터페이스를 서비스 및 사용자 상황에 맞추어 제공하기 위한 작업을 수행하는 사용자 인터페이스를 서비스 및 사용자 상황에 맞추어 제공하기 위한 작업을 수행하는 사용자 인터페이스 모듈과 사용자 인터페이스를 출력하는 출력부 및 상호작용을 처리하기 위한 입력부를 포함한다.
본 발명에서 제시하는 구조화된 리치미디어 사용자 인터페이스 포맷에 따르면, 단말의 성능이나 특징, 단말 및 사용자의 서비스 환경이나 상태에 따라 다양한 상황에서 멀티미디어 요소들을 이용하여 자유로운 표현과 사용자와의 상호작용을 지원할 수 있다. 또한, 구조화된 리치미디어 사용자 인터페이스를 다양한 단말 및 사용자에 전송하거나 적용할 수 있으며, 사용자 인터페이스의 실시간 전송, 갱신을 통해 유연하며, 동적인 사용자 인터페이스의 제공이 가능하다.
이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예에 대한 동작 원리를 상세히 설명한다. 하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서 의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 발명의 실시예는 네트워크에 연결된 다수의 장치를 제어하는 리치 미디어 데이터 기반의 사용자 인터페이스를 제공하는 방법에 관한 것이다. 본 발명의 실시예에서는 리치 미디어 데이터 기반의 사용자 인터페이스 구성에 관해, UI 구성을 UI-Header > UI-Command > UI-Scene > UI-Event 등으로 모듈별로 구조화한다. 그리고 각 모듈의 구조화의 구체적인 설계 예시와 이를 통한 단말에서의 다양한 사용자 인터페이스 표현 동작을 제공한다. 그리고 이런 다양한 사용자 인터페이스 표현은 현재 진행 중인 LASeR 표준 형식에 부합되도록 설계하였으며, 이에 따른 단말의 동작을 제안한다.
본 발명에서 설명하는 사용자 인터페이스 정보는 로컬 혹은 원격 데이터의 디스플레이와 업데이트 및 상호 동작을 위한 사용자 응용 프로그램, 예를 들어 위젯(Widget) 및 DISCO (DIstributed Scene Component Object)등을 포함한다.
본 발명에서는 리치미디어 엔진(Rich Media Engine, 이하 'RME'라 칭함)중 LASeR 엔진을 기반으로 하는 단말을 실시 예로 들어 설명하며, 그 외의 RME 기반 단말에서는 상기 LASeR 엔진을 기반으로 하는 단말의 실시 예를 바탕으로 동일하게 적용 가능하다. 다만 상기 단말에 적용되는 RME 혹은 시스템이 바뀌는 경우에는, 상기 LASeR 엔진 이외에 각 RME 혹은 시스템에서 고유하게 사용하는 명칭으로의 엔진의 전환이 필요하며 이는 당업자에게 자명하므로 본 발명에서는 다루지 않기로 한다.
먼저 본 발명의 제1실시예는 기본적인 리치미디어 사용자 인터페이스 포맷을 정의한다. 상기 리치미디어 사용자 인터페이스 포맷은 헤더(Header)와 장면(Scene)으로 구성될 수 있으며, 최상위 노드인 'UI' 노드는 리치미디어 사용자 인터페이스의 아이디, 버전정보, 가로 및 세로의 길이 등의 정보를 더 포함할 수 있다.
상기 헤더는 리치미디어 사용자 인터페이스 헤더는 초기정보, 설정정보, 레이아웃 정보 등을 포함할 수 있다. 상기 헤더의 초기 정보는 포맷 생성시간(creationTime), 마지막 업데이트 시간, 버전정보, 통신프로토콜 정보, 압축여부 및 컨텐츠의 타입, 디지털 시그니처 정보 및 설정정보를 확인할 수 있는 정보 등을 포함할 수 있다. 상기 헤더의 설정정보는 이름, 설명, 제작자, 파일 확장자, 리치미디어 사용자 인터페이스 포맷의 아이콘, 장면 구성에 사용되는 장면 표현 기술 정보를 포함하는 실제 사용자 인터페이스 데이터 정보, 접속관련 정보, 라이센스, 업데이트 또는 수정 가능 여부, 사용언어 등의 정보 등을 포함될 수 있다. 상기 헤더의 레이아웃 정보는 리치미디어 사용자 인터페이스 포맷의 헤더 영역에 포함될 수도 있고, 장면 데이터 영역에 포함될 수도 있다. 상기 레이아웃 정보는 'root_Layout'과 영역(region) 정보를 포함할 수 있다. 'root_Layout'은 전체 사용자 인터페이스를 포함하는 영역의 크기를 포함하는 것일 수 있다.
상기 리치미디어 사용자 인터페이스의 장면 데이터는 실제 사용자 인터페이스를 구성하는 데이터를 설명한다. 상기 장면 데이터는 장면 표현 기술의 네임스페이스, 타입 정보, 상기 리치미디어 사용자 인터페이스 포맷의 헤더 영역의 정보에 서 설명한 디코더 정보 및 레이아웃 정보 등이 더 포함될 수도 있다. 리치미디어 사용자 인터페이스의 장면 데이터는 사용자 인터페이스 장면 헤더와 장면 유닛으로 구분할 수도 있으며, 이렇게 구분할 경우, 장면 표현 데이터의 헤더 정보는 사용자 인터페이스 장면 헤더 유닛에 포함되고, 실제 장면 데이터는 사용자 인터페이스 장면 유닛에 포함될 수 있다. 미디어 데이터는 장면 유닛에 포함될 수도 있고, 각각 리치미디어 사용자 인터페이스의 별도의 미디어 헤더와 미디어 유닛에 포함될 수도 있다. 사용자 인터페이스의 장면 유닛은 사용자 인터페이스 명령어와 이벤트 유닛으로 구분할 수도 있다. 사용자 인터페이스 명령어 유닛은 따로 지정하지 않을 수도 있다. 사용자 인터페이스 명령어는 사용자 인터페이스의 동작과 관련한 명령들이 설정될 수 있으며, 사용자 인터페이스 명령어 내부에 사용자 인터페이스의 장면 구성 데이터의 명령어를 포함하는 장면 구성데이터들이 포함될 수 있다. 이벤트 유닛에는 사용자 인터페이스와 관련한 이벤트에 대한 설명과 이벤트 발생시 해당 이벤트를 처리하는 방법에 대한 내용이 포함될 수 있다. 이벤트 유닛은 상기 예제에서와 같이 따로 구성될 수도 있고, 장면 유닛에 포함될 수도 있다. 상기 장면 표현 유닛과 미디어 유닛은 상기 예제에서 보여지는 바와 같이 장면 유닛안에 포함될수도 있고, 각기 별도의 장면 유닛안에 포함될 수도 있다.
두 번째로 본 발명의 제2실시예는 리치미디어 사용자 인터페이스 포맷의 장면 표현 방법을 정의하며, 리치미디어 장면 표현 기술인 LASeR를 예를 들어 설명한다.
단말은 수신되는 사용자 인터페이스 정보의 헤더를 확인하여, 사용자 인터페 이스를 구성하기 위한 기본정보를 확인하고, 사용자 인터페이스를 위한 리치미디어 데이터를 확인한 후 장면을 해석한다. 이때, 사용자 인터페이스 데이터의 장면정보와 이벤트 정보를 구분하기 위한 새로운 엘리먼트를 리치미디어 요소로 SceneUnit, EventDescriptor, EventHandler등과 같이 새로이 정의할 수 있다. 장면을 해석한 후, 사용자에게 제공 가능한 형태로 구성하는 서비스 구성 동작을 수행하는데, 명령어들을 확인하여 실행하거나 이벤트들을 처리하는 동작 등이 포함될 수 있다.
세 번째로 본 발명의 제3실시예는 단말에서 LASeR 컨텐츠의 처리 방법을 정의한다.
LASeR 콘텐츠는 여러 개의 논리적인 미디어 스트림을 하나의 물리적인 스트림으로 다중화하여 서비스할 수 있으며, 이를 위한 포맷이 상기 통합포맷(SAF)으로 LASeR 스트림(Elementary Stream:ES)을 다중화 및 동기화하기 위해 개발된 기술이다. 이때, 각 스트림은 AU 단위로 처리될 수 있으며, AU는 LASeR콘텐츠(혹은 스트림)를 다중화하여 서비스하는 경우, 같은 시간에 처리되어야 하는 데이터의 기본 단위이다. 단말은 수신된 SAF 스트림을 확인하는데, 이는 UIConfigurationUnit'의 정보를 확인하는 것이다. 단말은 사용자 인터페이스를 구성하는 데이터들을 복호하고, 상기 복호화된 데이터 필요한 각각의 모듈 즉, 리치미디어 엔진, 구조데이터 참조, 사용자 인터랙션 수행 등을 통하여 사용자 인터페이스 서비스를 제공한다.
따라서 본 발명의 실시예에 따라 송신측에서 리치미디어 사용자 인터페이스를 제공하기 위한 방법은, 단말이 접속된 통신네트워크의 송신단에서 사용자 인터페이스의 종류 및 식별 정보 등 사용자 인터페이스를 제공하기 위한 기본 설정 정 보와 상기 사용자 인터페이스를 제공하기 위하여 사용되는 다양한 멀티미디어와 상호작용을 포함하는 리치미디어 데이터들에 대한 정보를 포함하는 사용자 인터페이스 장면 정보, 상기 사용자 인터페이스의 기능과 관련된 정보, 단말 및 사용자 정보를 포함하는 사용자 인터페이스 포맷을 포함하는 리치미디어 컨텐츠를 생성하는 과정과, 상기 생성된 리치미디어 사용자 인터페이스를 인코딩하는 과정과, 상기 인코딩된 리치미디어 사용자 인터페이스를 상기 단말로 전송하는 과정을 포함한다.
그리고 본 발명의 실시예에 따라 송신측에서 전송되는 리치미디어 사용자 인터페이스를 수신측이 처리하는 방법은, 접속된 통신네트워크의 송신단으로부터 서비스하고자 하는 사용자 인터페이스의 종류 및 식별 정보 등 사용자 인터페이스를 제공하기 위한 기본 설정 정보와 상기 사용자 인터페이스를 제공하기 위하여 사용되는 다양한 멀티미디어와 상호작용을 포함하는 리치미디어 데이터들에 대한 정보를 포함하는 사용자 인터페이스 장면 정보, 상기 사용자 인터페이스의 기능과 관련된 정보, 단말 및 사용자 정보를 포함하는 사용자 인터페이스 포맷를 수신하여 디코딩하는 과정과, 상기 디코딩된 리치미디어 사용자 인터페이스를 사용자 인터페이스 모듈의 판단에 따라 서비스 및 사용자 상황에 부합하도록 제공하는 과정을 포함한다.
본 발명의 실시예에 따라 송신측에서 리치미디어 사용자 인터페이스를 제공하기 위한 장치는, 단말이 접속된 통신네트워크의 송신단에서 사용자 인터페이스의 종류 및 식별 정보 등 상기 사용자 인터페이스를 제공하기 위한 기본 설정 정보와 상기 사용자 인터페이스를 제공하기 위하여 사용되는 다양한 멀티미디어와 상호작 용을 포함하는 리치미디어 데이터들에 대한 정보를 포함하는 사용자 인터페이스 장면 정보, 사용자 인터페이스의 기능과 관련된 정보, 단말 및 사용자 정보를 포함하는 사용자 인터페이스 포맷을 생성하는 사용자 인터페이스 포맷 생성부와, 상기 생성된 리치미디어 사용자 인터페이스를 인코딩하는 인코딩 부와, 상기 인코딩된 리치미디어 사용자 인터페이스를 상기 단말로 전송하는 전송부를 포함한다.
또한 본 발명의 실시예에 따라 송신측에서 제공하는 리치미디어 사용자 인터페이스를 처리하는 수신측 장치는, 단말이 접속된 통신네트워크의 송신단으로부터 서비스하고자 하는 사용자 인터페이스의 종류 및 식별 정보 등 상기 사용자 인터페이스를 제공하기 위한 기본 설정 정보와 상기 사용자 인터페이스를 제공하기 위하여 사용되는 다양한 멀티미디어와 상호작용을 포함하는 리치미디어 데이터들에 대한 정보를 포함하는 사용자 인터페이스 장면 정보, 상기 사용자 인터페이스의 기능과 관련된 정보, 단말 및 사용자 정보를 포함하는 사용자 인터페이스 포맷를 수신하여 디코딩하는 디코딩부와, 상기 디코딩된 리치미디어 사용자 인터페이스를 서비스 및 사용자 상황에 맞추어 제공하기 위한 작업을 수행하는 사용자 인터페이스 모듈과 사용자 인터페이스를 출력하는 출력부 및 상호작용을 처리하기 위한 입력부를 포함한다.
<제 1 실시 예>
본 발명의 일 실시예에서는 기본적인 리치미디어 사용자 인터페이스 포맷을 예를 들어 설명한다.
<UI xmlns="urn:2009:mpeg:uif"> <!-- UIHeader --> <UIHeader> … </UIHeader> <!-- UIScene --> <UIScene id="Scene01" xmlns:lsr="urn:2008:mpeg:LASeR" ref_region="pl" > … </UIScene> </UI>
상기 <표 2>의 예를 보면, 리치미디어 사용자 인터페이스 포맷은 헤더(Header)와 장면(Scene)으로 구성될 수 있다. 최상위 노드인 'UI' 노드는 리치미디어 사용자 인터페이스의 아이디, 버전정보, 가로 및 세로의 길이 등의 정보를 더 포함하여, <UI xmlns="urn:2009:mpeg:uif" id="widget01" version="1.0" height="200" width="200">와 같이 구성할 수도 있다. 상기 헤더에는 다음의 <표 3>과 같은 정보가 더 포함될 수 있다.
<!-- UI HEADER --> <InitialInfomation> … </InitialInfomation> <UIConfigDescriprion id=" "> … </UIConfigDescriprion> <Layout type="UI_layout_01"> … </Layout>
상기 <표 3>의 예를 보면, 리치미디어 사용자 인터페이스 헤더는 초기정보, 설정정보, 레이아웃 정보 등을 더 포함할 수 있다. 초기 정보와 설정정보는 하나의 설정정보로 구성될 수도 있고, 설정정보는 리치미디어 사용자 인터페이스 포맷과 별도의 데이터로 구성되어, 초기 정보에서 설정정보를 참조하기 위한 정보를 확인할 수 있도록 구성할 수도 있다. 초기 정보에는 포맷 생성시간(creationTime), 마지막 업데이트 시간, 버전정보, 통신프로토콜 정보, 압축여부 및 컨텐츠의 타입, 디지털 시그니처 정보 및 설정정보를 확인할 수 있는 정보 등을 담을 수 있다. 상기 압축여부 및 컨텐츠 타입의 정보는 리치미디어 사용자 인터페이스 포맷의 데이터 타입, 예를 들어 마임타입(MIME Type)등을 통하여 해당 포맷을 검증하는 정보로 사용될 수도 있다, 예를 들어, 수신한 데이터의 컨텐츠 타입이 알 수 없는 것이면, 해당 데이터는 수행되지 못한다. 상기 리치미디어 사용자 인터페이스 포맷의 디지털 시그니처 정보 및 설정정보는 해당 정보는 참조하기 위한 정보를 제공할 수도 있고, 해당 정보 자체를 포함할 수도 있다.
하기 <표 4>에서 설명하는 설정 정보는 표 3에서 설명한 초기 정보를 포함하는 것이 될 수도 있다. 또한 상기 설정 정보는 리치미디어 데이터 포맷과 별도로 생성되어 제공될 수도 있다.
<UIConfigDescriprion id=" "> <name> MPEG Rich UI </name> <description> MPEG Rich Media UI </description> <creator url=" " email=" " langCode=" "> <name> SeoYoung </name> <organization> Samsung </organization> <description/> </creator> <extension xmlns="urn:2008:mpeg:uif" type=".rui"/> <icon idref ="a.jpg" width="" height="" drop_shadow="true"/> <contents content-type="application/LASeR" src=" " IDRef="Scene01"> <UIDecoderConfigDescriptor objectTypeIndication="0" streamType="0" upstream="false" bufferSizeDB="0" maxBitrate="0" avgBitrate="0"> <DecoderSpecificInfo type="xml/laser" xmlns="urn:2008:mpeg:LASeR"> <param name=" " value=" "/> </DecoderSpecificInfo> <profileLevelIndicationIndexDescr> - </profileLevelIndicationIndexDescr> </UIDecoderConfigDescriptor> </contents> <access local="true" network="true" plugin="true" system="true"> <accessSpecificInfo protocol=" "host="" port="" path=""/> </access> <license> - </license> <allowModification allow="false"/> <language> <lang id="" title="" code="" font-type="" font_src="" default="true"/> </language> <privateData> manifest format, manifest extension, UI Markup(Mime), host runtime, security model </privateData> </UIConfigDescriprion>
상기 <표 4>의 예를 보면, 리치미디어 사용자 인터페이스 포맷의 설정정보에는 이름, 설명, 제작자, 파일 확장자, 리치미디어 사용자 인터페이스 포맷의 아이콘, 장면 구성에 사용되는 장면 표현 기술 정보를 포함하는 실제 사용자 인터페이스 데이터 정보, 접속관련 정보, 라이센스, 업데이트 또는 수정 가능 여부, 사용언어 등의 정보 등의 더 포함될 수 있다. 상기 언급한 설정정보로 포함될 수 있는 정보들 중 파일 확장자 정보는 본 발명의 리치미디어 사용자 인터페이스 포맷의 네임스페이스, 파일 확장자 명 등이 포함될 수 있다. 상기 언급한 설정정보로 포함될 수 있는 정보들 중 아이콘 정보는 리치미디어 사용자 인터페이스의 아이콘으로 사용될 수 있는 이미지, 애니매이션 등에 대한 정보가 될 수 있으며, 아이콘으로 사용될 데이터의 컨텐츠 타입, 가로 및 세로의 크기, 표현하는데 있어 사용할 수 있는 효과, 예를 들어 'drop shadow' 정보 등을 더 포함할 수 있다. 상기 아이콘 정보는 사용자 인터페이스를 간소화하여 표현하기 위한 정보로도 사용될 수 있다. 상기 설정정보 중 컨텐츠 정보는 실제 사용자 인터페이스의 데이터에 대한 정보를 담고 있을 수 있으며, 리치미디어 사용자 인터페이스의 장면 구성 정보로 사용되는 장면 표현 기술의 컨텐츠 타입, 참조 정보 등이 더 포함될 수 있다. 상기 컨텐츠 정보는 장면 표현 기술에 대한 디코더 정보를 더 포함할 수도 있는데, 이는 설정정보가 아닌, 사용자 인터페이스 장면 데이터 영역에 포함되도록 리치미디어 사용자 인터페이스 포맷을 설계할 수도 있다. 장면 데이터 영역의 설계 구조에 따라 장면 데이터 영역의 헤더에 들어갈 수도 있고, 다른 부분에 포함될 수도 있다. 상기 접속 정보는 데이터를 주고받기 위한 접속에 대한 제한 사항에 대한 것으로, 예를 들어, 로컬에서의 데이터 교환 가능 여부, 네트워크를 통한 데이터 교환 가능 여부, 플러그인의 사용가능 여부, 시스템에의 접근 가능 여부 등의 정보를 포함한다. 상기 접속 정보는 데이터 교환이 가능한 프로토콜 정보, 호스트 주소, 포트 넘버, 경로 정보 등을 더 포함할 수 있다. 상기 사용언어 정보는 리치미디어 사용자 인터페이스 포맷에서 사용할 수 있는 언어정보를 더 포함할 수 있다. 예를 들어, 언어 코드, 폰트 관련 정보, 디폴트로 사용되는지 여부 등이 더 포함될 수 있다. 상기 설정정보에는 수신한 리치미디어 사용자 인터페이스가 한번 시용하고 마는 것인지, 다운로드해야하는 것인지, 인스톨해야하는 것인지 등의 정보가 더 포함될 수도 있다.
하기 <표 5>에서 설명하는 레이아웃 정보는 <표 3>에서와 같이 리치미디어 사용자 인터페이스 포맷의 헤더 영역에 포함될 수도 있고, 장면 데이터 영역에 포함될 수도 있다.
<Layout type="UI_layout_01"> <root_Layout width=" " height=" " bgColor="red" transparency="100%"/> <region id="p1" title="circle" geometry_type="" left="10" top="10" width="110" height="130" fit="center|fill|meet|scroll|slice" z-index=" "/> </Layout>
상기 <표 5>의 예를 보면, 레이아웃 정보는 'root_Layout'과 영역(region) 정보를 포함할 수 있다. 'root_Layout'은 전체 사용자 인터페이스를 포함하는 영역의 크기를 포함하는 것일 수 있다. 영역 정보는 사용자 인터페이스 각각이 각기 하나씩 해당 영역 정보를 참조하여 사용할 수도 있고, 사용자 인터페이스의 각 부분이 해당 영역을 참조하여 사용할 수도 있다. 또한 각기 영역이 사용자 인터페이스 컨텐츠를 참조할 수도 있다. 영역정보는 영역의 모양, 크기, 위치, 해당영역에서 사용자 인터페이스가 위치하는 형태, 예를 들어 한가운데 위치하든지, 영역 전체를 채우도록 하든지, 스크롤이 생기도록 설정하든지, 영역보다 사용자 인터페이스의 크기가 커도 영역에 맞추지 않고 보여준다든지 등이 될 수 있다. 또한 해당 영역의 레이어 계층 구조에서의 순서를 표현할 수도 있다. 예를 들어 레이어 계층 구조에서 순서을 표현하는 'z-index' 속성의 숫자가 가장 작은 영역의 사용자 인터페이스는 항상 맨 위에 보이게 된다.
<!-- UIScene --> <UIScene id="Scene01" xmlns:lsr="urn:2008:mpeg:LASeR" ref_region="pl" > <UISceneHeader> … </UISceneHeader> <UIMediaHeader> … </MediaHeader> <UIMediaUnit/> <UISceneUnit> <UICommand> …</UICommand> <EventUnit> <EventDescription IDRef=""> </EventDescription> <EventHandler> … </EventHandler> </EventUnit> </UISceneUnit> </UIScene>
상기 <표 6>에서는 리치미디어 사용자 인터페이스의 장면 데이터 즉, 실제 사용자 인터페이스를 구성하는 데이터를 설명한다. 상기 장면 데이터는 장면 표현 기술의 네임스페이스, 타입 정보, 상기 리치미디어 사용자 인터페이스 포맷의 헤더 영역의 정보에서 설명한 디코더 정보 및 레이아웃 정보 등이 더 포함될 수도 있다.
리치미디어 사용자 인터페이스의 장면 데이터는 사용자 인터페이스 장면 헤더와 장면 유닛으로 구분할 수도 있으며, 이렇게 구분할 경우, 장면 표현 데이터의 헤더 정보는 사용자 인터페이스 장면 헤더 유닛에 포함되고, 실제 장면 데이터는 사용자 인터페이스 장면 유닛에 포함될 수 있다. 미디어 데이터는 장면 유닛에 포함될 수도 있고, 각각 리치미디어 사용자 인터페이스의 별도의 미디어 헤더와 미디어 유닛에 포함될 수도 있다. 사용자 인터페이스의 장면 유닛은 사용자 인터페이스 명령어와 이벤트 유닛으로 구분할 수도 있다. 사용자 인터페이스 명령어 유닛은 따로 지정하지 않을 수도 있다. 사용자 인터페이스 명령어는 사용자 인터페이스의 동작과 관련한 명령들이 설정될 수 있으며, 사용자 인터페이스 명령어 내부에 사용자 인터페이스의 장면 구성 데이터의 명령어를 포함하는 장면 구성데이터들이 포함될 수 있다. 이벤트 유닛에는 사용자 인터페이스와 관련한 이벤트에 대한 설명과 이벤트 발생시 해당 이벤트를 처리하는 방법에 대한 내용이 포함될 수 있다. 이벤트 유닛은 상기 예제에서와 같이 따로 구성될 수도 있고, 장면 유닛에 포함될 수도 있다.
상기 예제에서 장면 표현 유닛과 미디어 유닛은 상기 예제에서 보여지는 바와 같이 장면 유닛안에 포함될수도 있고, 각기 별도의 장면 유닛안에 포함될 수도 있다.
상기 사용자 인터페이스의 장면 표현 기술로 LASeR, BIFS, SVG 등 다양한 정보들이 활용될 수 있으며, 설정정보의 컨텐츠 정보 등을 통하여, 사용되는 장면 표현 기술에 대한 기본 정보를 획득할 수 있다.
하기 <표7>에서는 사용자 인터페이스와 관련있는 기능들에 대한 정보를 설명한다.
<UIFunctionDescriptor> <FunctionList id="photo_album_function"> <Function id="01" name="move"> <action ref="action();"/> </Function> </FunctionList> </UIFunctionDescriptor>
상기 <표 7>의 예를 보면, 기능 정보는 각 기능에 대한 이름과 해당 기능이 참조하는 실제 동작에 대한 정보를 포함할 수 있다. 기능 정보는 장면 정보와 서로 참조하는 형태로 구성될 수 있다. 예를 들면, 장면 번호 #1인 리치미디어 사용자 인터페이스의 장면이 데이터 복사(copy) 에 대한 정보나 이벤트 정보를 담고 있으면, 데이터 복사(copy) 기능을 설명하는 상기 기능 정보를 참조할 수 있다. 혹은 해당 기능 정보에 참조 가능한 장면 구성 정보에 대한 참조정보를 포함할 수도 있다. 또는 기능 정보는 사용자 인터페이스 자체와 서로 연계 및 참조하도록 설계될 수도 있다.
하기 <표8>에서는 사용자 인터페이스와 관련 있는 사용자, 단말, 네트워크 및 서비스 정보 등을 설명한다.
<UIProfile id="Profile01"> <UserProfile/> <UIDeviceProfile id="" ref_UIpresenation="UI_w3300"> <BasicInformation> <manufacture/> <ModelName/> <SerialNumber/> </BasicInformation> <UIDeviceCapability> <DisplaySize/> <Sound/> <additional> <camera/> <external_memory/> </additional> </UIDeviceCapability> <UIDeviceInputType/> <Service_List id="UI_w3300_ServiceList"> <Service/> <Service/> </Service_List> </UIDeviceProfile> <NetworkProfile/> <ServiceProfile/> </UIProfile>
상기 <표 8>의 예에서 단말에 대한 정보는 단말에 대한 기본 정보인 생산자 정보, 단말 모델명, 시리얼 넘버등의 구체적인 내용에서부터, 단말의 디스플레이 사이즈, 사운드, 메모리, 카메라 등의 단말의 능력, 사용자와의 상호작용을 위한 단말의 입력 장치 정보, 단말에서 제공하는 서비스 리스트 정보등이 포함될 수 있다. 상기 정보들은 제품에 맞춘 단말에 구체화된 특정 장면 유닛과 연계되어 사용될 수 있다.
또는 상기 단말, 사용자, 네트워크, 서비스에 대한 정보는 리치미디어 사용자 인터페이스의 참조정보로, 제공되는 사용자 인터페이스를 장면을 제공하기 위해 요구되는 단말의 사양 및 성능, 사용자 인터페이스의 레벨, 서비스 리스트 정보등이 포함될 수도 있다.
상기 본 발명의 제 1실시예서 설명한 리치미디어 사용자 인터페이스 포맷은 지금까지 설명한 각각의 유닛들을 포함하고 있을 수도 있고, 각각의 유닛정보들을 참조할 수 있는 정보들만을 포함하고 있을 수도 있다.
<제 2 실시 예>
본 발명의 제2 실시예에서는 리치미디어 사용자 인터페이스 포맷의 장면 표현 방법을 리치미디어 장면 표현 기술인 LASeR를 예를 들어 설명한다.
도 2는 리치미디어 사용자 인터페이스 데이터를 수신한 단말의 동작을 도시한 도면이다.
도 2를 참조하면, 단말은 200 단계에서 서비스 콘텐츠를 수신하고, 210단계에서 상기 수신된 서비스 콘텐츠를 복호화(Decoding)한다. 단말은 220단계에서 상기 복호화된 사용자 인터페이스 정보의 헤더를 확인하여 사용자 인터페이스를 구성하기 위한 기본정보를 확인하며, 230단계에서 상기 사용자 인터페이스 명령어를 확인한다. 상기 230단계의 사용자 인터페이스 명령어를 확인하는 과정은 데이터의 구성 포맷에 따라 수행하지 않을 수도 있다. 이후 상기 단말은 240단계에서 사용자 인터페이스를 위한 리치미디어 데이터를 확인하여 리치미디어 엔진에게 전달하면, 리치미디어 엔진이 장면을 해석한다. 이때, 사용자 인터페이스 데이터의 장면정보와 이벤트 정보를 구분하기 위한 새로운 엘리먼트를 리치미디어 요소로 하기 <표 9>의 SceneUnit, EventDescriptor, EventHandler등과 같이 새로이 정의할 수 있다. 장면을 해석한 후, 상기 단말은 250단계에서 사용자에게 제공가능한 형태로 구성하는 서비스 구성 동작을 수행하는데, 명령어들을 확인하여 실행하거나 이벤트들을 처리하는 동작 등이 포함될 수 있다.
하기 <표 9>는 도 2에서 설명한 동작을 수행하는 LASeR 컨텐츠의 예이다.
<UIHeader xmlns:ui="mpeg:2008:MPEG" version="1.0" height="100" width="100" config="ui_config.xml"/> <ui:Command> <LASeRHeader … /> <NewScene> <svg> <ui:sceneUnit> <image id="photo01" … xlink:href="a/aa/aaa/01.jpg"/> <image id="photo02" … xlink:href="a/aa/aaa/02.jpg"/> <image id="photo03" … xlink:href="a/aa/aaa/03.jpg"/> </ui:SceneUnit> <ui:EventUnit> <ui:EventDescription xlink:href=""> <ev:listener id="SelectItem" event="activate" handler="#selectItemScript"/> </ui:EventDescription> <ui:EventHandler> <script id="SelectItemScript"> ... </script> </ui:EventHandler> </ui:EventUnit> </svg> </NewScene> </ui:Command>
<제 3 실시 예>
LASeR 콘텐츠는 여러 개의 논리적인 미디어 스트림을 하나의 물리적인 스트림으로 다중화하여 서비스할 수도 있다. 이를 위한 포맷이 상기 통합포맷(SAF: Simple Aggregation Format)으로, LASeR 스트림(Elementary Stream:ES)을 다중화 및 동기화 하기 위해 개발된 기술이다. 이때, 각 스트림은 AU 단위로 처리될 수 있다. 상기 AU(Access Unit)는 LASeR콘텐츠(혹은 스트림)를 다중화하여 서비스하는 경우, 같은 시간에 처리되어야 하는 데이터의 기본 단위이다.
도 3은 본 발명의 제 3 실시 예에 따른 단말의 동작을 도시한 흐름도이다.
도 3을 참조하면, 310 단계에서 단말은 서비스 데이터 스트림을 수신하며, 320단계에서 상기 수신된 SAF 스트림을 복호화한다. 그리고 상기 단말은 330 단계에서 상기 복호된 SAF 스트림을 확인하는데, 이는 본 발명의 제 3 실시예에서 정의하는 'UIConfigurationUnit'의 정보를 확인하는 것이다. 이후 상기 단말은 340 단계에서 사용자 인터페이스를 구성하는 데이터들을 복호화(Decoding)하고, 350단계에서 상기 복호화된 데이터 필요한 각각의 모듈 즉, 리치미디어 엔진, 구조데이터 참조, 사용자 인터랙션 수행 등을 통하여 사용자 인터페이스 서비스를 제공한다.
하기 <표 10>의 예제는 리치미디어사용자 인터페이스 데이터를 통합포맷을 이용하여 전달하기 위하여 사용자 인터페이스 데이터의 정보를 전달하기 위한 새로운 통합 포맷 접근 단위 타입인 'UIConfigurationUnit'을 정의한 것이다. 단말은 'UIConfigurationUnit'을 수신하면, 리치미디어 사용자 인터페이스 데이터를 수신함을 인지할 수 있어, 'UIConfigurationUnit'의 다음부터 수신되는 '0x04' 즉 데이터 타입의 Payload는 사용자 인터페이스 해석기로 전달하는 등의 동작을 수행할 수도 있다.
Class UIConfigurationUnit { bit(8) objectTypeIndication bit(8) streamType; if(streamType == 0xFF && objectTypeIndication == 0xFF) { bit(16) mimeTypeLength; byte mimeType[mimeTypeLength]; } bit(16) version; bit(1) updateData; bit(1) permanent; bit(16) urlLengh byte url[urlLength]; SimpleDecoderSpecificInfo decSpecificInfo[0 …1];
상기 <표 10>의 예를 보면, 수신하는 사용자 인터페이스 'objectTypeIndication' 과 'streamType'을 통하여 데이터의 타입을 확인하고, 'mimeType'을 이용하여 컨텐츠 타입을 확인하여, 수신한 데이터가 단말에서 처리가능한 사용자 인터페이스 데이터 타입인지 확인한다. 그리고, 'version' 정보를 확인하여, 수신한 데이터의 버전정보를 확인한다. 'updateData'는 'UIConfigurationUnit' 이후로 전달되는 데이터가 update를 위한 데이터인지 확인하기 위한 flag 정보이다. 'permanent' 정보가 참이면, 해당 사용자 인터페이스 데이터는 단말에 저장되는 데이터임을 뜻한다. url 정보를 이용하여 간소화된 사용자 인터페이스 또는 아이콘으로 사용할 수 있는 사용자 인터페이스의 정보를 참조할 수 있다. 'SimpleDecoderSpecificInfo'에는 사용자 인터페이스 데이터의 헤더 유닛에 들어갈 수 있는 정보들이 포함될 수 있다. 상기 <표 10>의 예제는 하기 <표 11>과 같이 변형할 수도 있다.
Class UIConfigurationUnit { if(streamType == 0xFF && objectTypeIndication == 0xFF) { bit(16) mimeTypeLength; byte mimeType[mimeTypeLength]; } bit(16) version; bit(1) updateData; bit(1) permanent; bit(16) urlLengh byte url[urlLength];
'UIConfigurationUnit'에서는 상기 정보들을 수신하고, 실제 사용자 인터페이스 헤더 정보는 통합포맷의 헤더타입 접근단위에 포함시켜 전달하는 것이다. 이때, ObjectTypeIndicator 나 MimeType 관련 필드들의 정보를 이용하여, 수신한 헤더 정보가 사용자 인터페이스 헤더 정보임을 확인할 수 있다.
상기한 바와 같이 본 발명의 실시예는 네트워크에 연결된 다수의 장치를 제어하는 리치 미디어 데이터 기반의 사용자 인터페이스를 제공하는 방법에 관한 것이다. 본 발명의 실시예에서는 리치 미디어 데이터 기반의 사용자 인터페이스 구성에 관해, UI 구성을 UI-Header > UI-Command > UI-Scene > UI-Event 등으로 모듈별로 구조화한다. 그리고 각 모듈의 구조화의 구체적인 설계 예시와 이를 통한 단말에서의 다양한 사용자 인터페이스 표현 동작을 제공한다. 그리고 이런 다양한 사용자 인터페이스 표현은 현재 진행 중인 LASeR 표준 형식에 부합되도록 설계하였으며, 이에 따른 단말의 동작을 제안한다.
상기 UI 구성의 계층화는 파일 혹은 스트리밍 형태로 전송이 가능하며, 다수의 UI 파일을 합성 또는 분할하여 처리할 수 있다. 이는 한 화면에서 복수개의 화상을 보는 것과 동일하며, 사용자 인터페이스를 표현하는 방법에서는 CODEC동작에서 차별성(단말에서 발생한 사용자 이벤트를 어떤 방식으로 장치에게 전달하는 방법 등)이 존재한다. 본 발명의 실시예에서의 계층화 구조는 네트워크로 연결된 다수의 장치 제어를 위해서 단말에게 m개의 n계층의 구조로 사용자 인터페이스를 제공할 수 있다.
도 4는 본 발명의 실시 예에 따른 송신기를 나타낸 블록도이다.
도 4를 참조하면, 컨텐츠 생성부(400)는 본 발명의 실시 예에서 설명한 사용자 인터페이스의 종류 및 식별 정보 등 사용자 인터페이스를 제공하기 위한 기본 설정 정보와, 사용자 인터페이스를 제공하기 위하여 사용되는 다양한 멀티미디어와 상호작용을 포함하는 리치미디어 데이터들에 대한 정보를 포함하는 사용자 인터페이스 장면 정보, 사용자 인터페이스의 기능과 관련된 정보 및 사용자 인터페이스와 관련된 단말 및 사용자 정보를 포함하는 사용자 인터페이스 포맷을 생성한다. 상기 컨텐츠 생성부(400)는 생성된 사용자 인터페이스 포맷을 인코더(410)로 전달한다. 그러면 상기 인코더(410)는 상기 컨텐츠 생성부(400)로부터 전달받은 사용자 인터페이스 포맷을 인코딩하며, 상기 인코딩된 사용자 인터페이스 포맷을 컨텐츠 전송부(420)로 전송한다. 상기 컨텐츠 전송부(420)는 상기 인코더(410)로부터 전달받은 인코딩된 사용자 인터페이스 포맷를 단말로 전송한다.
도 5는 본 발명의 실시 예에 따른 수신기를 나타낸 블록도이다.
도 5를 참조하면, 단말이 수신한 사용자 인터페이스 포맷은 디코더(500)으로 전달된다. 그리고 상기 디코더(500)는 수신된 사용자 인터페이스 포맷을 디코딩하여 사용자 인터페이스 매니저(510)로 전달한다. 그러면 상기 사용자 인터페이스 매니저 (510)는 본 발명의 실시 예에서 설명한 사용자 인터페이스의 종류 및 식별 정보 등 사용자 인터페이스를 제공하기 위한 기본 설정 정보와 사용자 인터페이스를 제공하기 위하여 사용되는 다양한 멀티미디어와 상호작용을 포함하는 리치미디어 데이터들에 대한 정보를 포함하는 사용자 인터페이스 장면 정보, 사용자 인터페이스의 기능과 관련된 정보 및 사용자 인터페이스와 관련된 단말 및 사용자 정보를 포함하는 사용자 인터페이스 포맷을 확인한다. 먼저, 설정정보를 확인하여, 사용자 인터페이스를 구성하는데 필요한 기본정보들을 확인하고, 사용자 인터페이스 장면 표현 기술에 따라 장면 유닛을 리치미디어 엔진(520)에 전달한다. 그러면 상기 리치미디어 엔진(520)은 장면 구성요소 정보를 해석하며, 이를 렌더러(Renderer)(530)로 전달한다. 상기 렌더러(530)는 전달된 장면 구성 정보들에 따라 사용자 인터페이스를 구성하여 출력한다. 이때, 수신한 사용자 인터페이스 포맷 정보에서 사용자 인터페이스의 장면 정보가 없을 경우, 사용자 인터페이스 포맷이 참조하는 장면 정보 혹은 기능 정보를 해석하여, 기능 정보에 따른 사용자 인터페이스 장면 정보를 원격의 또는 로컬에서 찾아 적용시킬 수 있다.
한편, 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해서 설명하였으나 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 당해 분야에서 통상의 지식을 가진 자에게 있어서 자명하다 할 것이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐 아니라 이 특허청구의 범위와 균등한 것들에 의해서 정해져야 한다.
도 1은 종래 기술에 따라 리치미디어 서비스를 수신한 단말의 동작을 도시한 도면
도 2는 종래 기술에 따라 리치미디어 사용자 인터페이스 데이터를 수신한 단말의 동작을 도시한 도면
도 3은 본 발명의 제 3 실시 예에 따른 단말의 동작을 도시한 흐름도
도 4는 본 발명의 실시 예에 따른 송신기를 나타낸 블록도
도 5는 본 발명의 실시 예에 따른 수신기를 나타낸 블록도

Claims (4)

  1. 통신시스템의 송신단에서 리치미디어 사용자 인터페이스를 제공하기 위한 방법에 있어서,
    사용자 인터페이스 종류 및 식별정보를 포함 하는 기본 설정 정보를 생성하는 단계와,
    상기 사용자 인터페이스와 상호 작용 하여 멀티미디어 컨텐츠를 제공하기 위해 리치미디어 데이터들에 대한 정보를 포함한 사용자 인터페이스 장면 정보를 생성하는 단계와,
    상기 사용자 인터페이스 기능, 단말 정보, 사용자 정보를 포함하는 사용자 인터페이스 포맷 정보를 생성하는 단계와,
    상기 포맷 정보를 인코딩 하여 상기 단말로 전송하는 단계로 이루어짐을 특징으로 하는 상기 리치미디어 사용자 인터페이스 처리 방법
  2. 통신시스템에서 전송되는 리치미디어 사용자 인터페이스를 수신하여 처리하는 방법에 있어서,
    수신되는 사용자 인터페이스의 종류 및 식별 정보 등 사용자 인터페이스를 제공하기 위한 기본 설정 정보와 상기 사용자 인터페이스를 제공하기 위하여 사용되는 다양한 멀티미디어와 상호작용을 포함하는 리치미디어 데이터들에 대한 정보 를 포함하는 사용자 인터페이스 장면 정보, 상기 사용자 인터페이스의 기능과 관련된 정보, 단말 및 사용자 정보를 포함하는 사용자 인터페이스 포맷를 수신하여 디코딩하는 과정과,
    상기 디코딩된 리치미디어 사용자 인터페이스를 사용자 인터페이스 모듈의 판단에 따라 서비스 및 사용자 상황에 부합하도록 제공하는 과정으로 이루어짐을 특징으로 하는 리치미디어 사용자 인터페이스 처리 방법.
  3. 통신시스템의 송신측에서 리치미디어 사용자 인터페이스를 제공하는 장치에 있어서,
    단말이 접속된 통신네트워크의 송신단에서 사용자 인터페이스의 종류 및 식별 정보 등 상기 사용자 인터페이스를 제공하기 위한 기본 설정 정보와 상기 사용자 인터페이스를 제공하기 위하여 사용되는 다양한 멀티미디어와 상호작용을 포함하는 리치미디어 데이터들에 대한 정보를 포함하는 사용자 인터페이스 장면 정보, 사용자 인터페이스의 기능과 관련된 정보, 단말 및 사용자 정보를 포함하는 사용자 인터페이스 포맷을 생성하는 컨텐츠 생성부와,
    상기 생성된 리치미디어 사용자 인터페이스를 인코딩하는 인코딩 부와,
    상기 인코딩된 리치미디어 사용자 인터페이스를 상기 단말로 전송하는 전송부로 구성된 것을 특징으로 하는 리치미디어 사용자 인터페이스 처리 장치.
  4. 통신시스템에서 전송되는 리치미디어 사용자 인터페이스를 수신하여 처리하는 장치에 있어서,
    수신되는 리치미디어 사용자 인터페이스를 디코딩하는 디코더와,
    상기 디코딩된 사용자 인터페이스의 종류 및 식별 정보 등 사용자 인터페이스를 제공하기 위한 기본 설정 정보와 상기 사용자 인터페이스를 제공하기 위하여 사용되는 다양한 멀티미디어와 상호작용을 포함하는 리치미디어 데이터들에 대한 정보를 포함하는 사용자 인터페이스 장면 정보, 상기 사용자 인터페이스의 기능과 관련된 정보, 단말 및 사용자 정보를 확인하는 사용자 인터페이스 매니저와,
    상기 사용자 인터페이스 매니저의 출력에서 장면 구성 정보를 해석하는 리치미디어 엔진과,
    상기 장면 구성 정보들에 따라 사용자 인터페이스를 구성하여 출력하는 렌더러로 구성된 것을 하는 리치미디어 사용자 인터페이스 처리 장치.
KR1020080099720A 2008-10-10 2008-10-10 구조화된 리치 미디어 데이터 기반의 사용자 인터페이스를 제공하기 위한 장치 및 방법 KR20100040545A (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020080099720A KR20100040545A (ko) 2008-10-10 2008-10-10 구조화된 리치 미디어 데이터 기반의 사용자 인터페이스를 제공하기 위한 장치 및 방법
US12/576,758 US20100095228A1 (en) 2008-10-10 2009-10-09 Apparatus and method for providing user interface based on structured rich media data
CN200980139814.0A CN102177484B (zh) 2008-10-10 2009-10-09 提供基于结构化富媒体数据的用户界面的装置和方法
PCT/KR2009/005767 WO2010041887A2 (en) 2008-10-10 2009-10-09 Apparatus and method for providing ui based on structured rich media data
EP09819394.9A EP2335135A4 (en) 2008-10-10 2009-10-09 APPARATUS AND METHOD FOR PROVIDING A USER INTERFACE BASED ON HIGHLY STRUCTURED MULTIMEDIA DATA

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080099720A KR20100040545A (ko) 2008-10-10 2008-10-10 구조화된 리치 미디어 데이터 기반의 사용자 인터페이스를 제공하기 위한 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20100040545A true KR20100040545A (ko) 2010-04-20

Family

ID=42100023

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080099720A KR20100040545A (ko) 2008-10-10 2008-10-10 구조화된 리치 미디어 데이터 기반의 사용자 인터페이스를 제공하기 위한 장치 및 방법

Country Status (5)

Country Link
US (1) US20100095228A1 (ko)
EP (1) EP2335135A4 (ko)
KR (1) KR20100040545A (ko)
CN (1) CN102177484B (ko)
WO (1) WO2010041887A2 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012033591A2 (en) * 2010-09-08 2012-03-15 Microsoft Corporation Content signaturing user interface
KR20120117312A (ko) * 2011-04-15 2012-10-24 한국전자통신연구원 통신 단말 장치, 콘텐츠 제공 장치 및 방법, 전자책 저작 시스템 및 방법
US8984577B2 (en) 2010-09-08 2015-03-17 Microsoft Technology Licensing, Llc Content signaturing

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10514940B2 (en) * 2010-03-17 2019-12-24 Microsoft Technology Licensing, Llc Virtual application package reconstruction
KR20120034550A (ko) * 2010-07-20 2012-04-12 한국전자통신연구원 스트리밍 컨텐츠 제공 장치 및 방법
CN102486794B (zh) * 2010-12-06 2015-03-18 腾讯科技（深圳）有限公司 一种获取富媒体文件的方法、装置及系统
KR102069538B1 (ko) * 2012-07-12 2020-03-23 삼성전자주식회사 멀티미디어 요소의 배치를 위한 마크업을 구성하는 방법

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6751623B1 (en) * 1998-01-26 2004-06-15 At&T Corp. Flexible interchange of coded multimedia facilitating access and streaming
US6654931B1 (en) * 1998-01-27 2003-11-25 At&T Corp. Systems and methods for playing, browsing and interacting with MPEG-4 coded audio-visual objects
US7934008B2 (en) * 2000-10-20 2011-04-26 Sony Corporation Delivery of multimedia descriptions using access units
JP2002268999A (ja) * 2001-03-09 2002-09-20 Toshiba Corp コンテンツ再生方法及び装置
US7401221B2 (en) * 2002-09-04 2008-07-15 Microsoft Corporation Advanced stream format (ASF) data stream header object protection
US7251277B2 (en) * 2002-12-04 2007-07-31 International Business Machines Corporation Efficient means for creating MPEG-4 textual representation from MPEG-4 intermedia format
JP2007525759A (ja) * 2004-03-10 2007-09-06 ノキア コーポレイション コンテンツロケーション情報の格納
EP1594287B1 (en) * 2004-04-12 2008-06-25 Industry Academic Cooperation Foundation Kyunghee University Method, apparatus and medium for providing multimedia service considering terminal capability
US7634793B2 (en) * 2004-06-03 2009-12-15 Hillcrest Laboratories, Inc. Client-server architectures and methods for zoomable user interfaces
JP4189857B2 (ja) * 2004-09-27 2008-12-03 ヤマハ株式会社 ミキサ構成編集プログラム
US20060174026A1 (en) * 2005-01-05 2006-08-03 Aaron Robinson System and method for a remote user interface
CN101243675B (zh) * 2005-06-27 2016-05-11 核心无线许可有限公司 用于动态丰富媒体场景的传送机制
US20090184970A1 (en) * 2006-07-11 2009-07-23 Ye-Sun Joung Method and apparatus for displaying the laser contents
US8719861B2 (en) * 2006-10-02 2014-05-06 At&T Intellectual Property I, Lp System and method for distributing dynamic event data in an internet protocol television system
US9813531B2 (en) * 2007-01-22 2017-11-07 Sisvel International S.A. System and method for screen orientation in a rich media environment
WO2008104926A2 (en) * 2007-02-26 2008-09-04 Nokia Corporation Script-based system to perform dynamic updates to rich media content and services
KR101446939B1 (ko) * 2007-03-30 2014-10-06 삼성전자주식회사 원격 제어 장치 및 그 제어 방법
US8595634B2 (en) * 2007-11-30 2013-11-26 Red Hat, Inc. Distributed hosting of web application styles
KR101560183B1 (ko) * 2008-04-17 2015-10-15 삼성전자주식회사 사용자 인터페이스를 제공/수신하는 방법 및 장치
KR20090110202A (ko) * 2008-04-17 2009-10-21 삼성전자주식회사 개인화된 사용자 인터페이스를 디스플레이하는 방법 및 장치
KR101531165B1 (ko) * 2008-04-17 2015-06-25 삼성전자주식회사 클라이언트의 특성을 고려한 사용자 인터페이스를 제공, 수신하는 방법 및 장치

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012033591A2 (en) * 2010-09-08 2012-03-15 Microsoft Corporation Content signaturing user interface
WO2012033591A3 (en) * 2010-09-08 2012-05-03 Microsoft Corporation Content signaturing user interface
US8984577B2 (en) 2010-09-08 2015-03-17 Microsoft Technology Licensing, Llc Content signaturing
KR20120117312A (ko) * 2011-04-15 2012-10-24 한국전자통신연구원 통신 단말 장치, 콘텐츠 제공 장치 및 방법, 전자책 저작 시스템 및 방법

Also Published As

Publication number Publication date
US20100095228A1 (en) 2010-04-15
CN102177484A (zh) 2011-09-07
CN102177484B (zh) 2014-05-07
EP2335135A4 (en) 2014-04-16
EP2335135A2 (en) 2011-06-22
WO2010041887A2 (en) 2010-04-15
WO2010041887A3 (en) 2010-06-24

Similar Documents

Publication Publication Date Title
US11875140B2 (en) Application support for network devices
JP2008512012A (ja) デジタルテレビで双方向サービスを提供する方法及びシステム
KR20100040545A (ko) 구조화된 리치 미디어 데이터 기반의 사용자 인터페이스를 제공하기 위한 장치 및 방법
US9250871B2 (en) Method and apparatus for processing user interface composed of component objects
KR20120089980A (ko) 복수개의 그래픽 데이터 처리가 가능한 오퍼레이팅 시스템을 탑재하고 있는 멀티미디어 디바이스 및 그 제어 방법
KR20100127240A (ko) 상호작용형 컨텐츠 식별을 위하여 비디오에 트리거를 사용하는 방법
KR101525248B1 (ko) 리치미디어 서비스를 제공하는 방법 및 장치
Pedrosa et al. A multimodal interaction component for digital television
KR101298674B1 (ko) 장면표현언어를 이용한 디지털 아이템 기술 및 처리 장치및 그 방법
KR101166226B1 (ko) 스케일러블 애플리케이션 저작 도구 프로그램이 설치된 디지털 기기
KR100519807B1 (ko) 상황정보 전달을 위한 동적 메타데이터 생성/소비 장치 및그 방법
dos Santos et al. Multidevice Support in the Next Generation of the Brazilian Terrestrial TV System
US12045631B2 (en) Page loading method and display apparatus
KR101834358B1 (ko) 스케일러블 어플리케이션 서비스를 위한 저작 장치 및 방법
KR100882360B1 (ko) 부가데이터 실시간 저작/제공 장치 및 그 동작방법
Carvalho Marques Neto et al. A tool to simulate the transmission, reception, and execution of interactive TV applications
Pihkala Extensions to the SMIL multimedia language
Ghisi et al. An extensible architecture for DTV middleware
Rodriguez-Alsina et al. Analysis of the TV interactive content convergence and cross-platform adaptation
Smart Technical Specification Version 2.5
Yim et al. A study of GUI representation based on BIFs for enhanced mobile TV

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application