[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR101863965B1 - 적응적 멀티미디어 서비스를 제공하는 장치 및 방법 - Google Patents

적응적 멀티미디어 서비스를 제공하는 장치 및 방법 Download PDF

Info

Publication number
KR101863965B1
KR101863965B1 KR1020110057681A KR20110057681A KR101863965B1 KR 101863965 B1 KR101863965 B1 KR 101863965B1 KR 1020110057681 A KR1020110057681 A KR 1020110057681A KR 20110057681 A KR20110057681 A KR 20110057681A KR 101863965 B1 KR101863965 B1 KR 101863965B1
Authority
KR
South Korea
Prior art keywords
information
media data
layer
lower layer
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020110057681A
Other languages
English (en)
Other versions
KR20120138310A (ko
Inventor
황승오
서덕영
박경모
이용헌
김준오
송재연
Original Assignee
삼성전자주식회사
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 경희대학교 산학협력단 filed Critical 삼성전자주식회사
Priority to KR1020110057681A priority Critical patent/KR101863965B1/ko
Priority to EP12799819.3A priority patent/EP2721834A4/en
Priority to EP19202832.2A priority patent/EP3618449A1/en
Priority to PCT/KR2012/004618 priority patent/WO2012173364A2/en
Priority to US13/495,480 priority patent/US10057614B2/en
Publication of KR20120138310A publication Critical patent/KR20120138310A/ko
Application granted granted Critical
Publication of KR101863965B1 publication Critical patent/KR101863965B1/ko
Priority to US16/105,505 priority patent/US10750222B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data
    • H04N21/25891—Management of end-user data being end-user preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/54—Store-and-forward switching systems 
    • H04L12/56—Packet switching systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23602—Multiplexing isochronously with the video sync, e.g. according to bit-parallel or bit-serial interface formats, as SDI
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23608—Remultiplexing multiplex streams, e.g. involving modifying time stamps or remapping the packet identifiers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23611—Insertion of stuffing data into a multiplex stream, e.g. to obtain a constant bitrate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2401—Monitoring of the client buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2407—Monitoring of transmitted content, e.g. distribution time, number of downloads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2408—Monitoring of the upstream path of the transmission network, e.g. client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25825—Management of client data involving client display capabilities, e.g. screen resolution of a mobile phone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6131—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via a mobile phone network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6156—Network physical structure; Signal processing specially adapted to the upstream path of the transmission network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6156—Network physical structure; Signal processing specially adapted to the upstream path of the transmission network
    • H04N21/6175—Network physical structure; Signal processing specially adapted to the upstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6156—Network physical structure; Signal processing specially adapted to the upstream path of the transmission network
    • H04N21/6181—Network physical structure; Signal processing specially adapted to the upstream path of the transmission network involving transmission via a mobile phone network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/633—Control signals issued by server directed to the network components or client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/633—Control signals issued by server directed to the network components or client
    • H04N21/6338—Control signals issued by server directed to the network components or client directed to network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6371—Control signals issued by the client directed to the server or network components directed to network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6373—Control signals issued by the client directed to the server or network components for rate control, e.g. request to the server to modify its transmission rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

본 발명의 실시 예에 따른 통신 시스템에서, 네트워크에 의해 멀티미디어 서비스를 제공하는 방법은, 하위 계층에서 서비스 품질(QoS) 정보를 측정하는 과정과, 상기 하위 계층으로부터 어플리케이션 계층으로 상기 QoS 정보를 제공하는 과정과, 상기 QoS 정보를 기반으로 미디어 데이터의 전달을 최적화하기 위한 미디어 데이터 품질을 결정하는 과정과, 상기 미디어 데이터 품질을 기반으로 상기 미디어 데이터를 처리하는 과정을 포함하며, 상기 QoS 정보는 지연 관련 정보 및 손실 관련 정보를 포함하고, 네트워크 환경들(network environments)을 지원하기 위해 추상화된 방식(abstracted manner)으로 표현되고(represented), 상기 하위 계층과 상기 어플리케이션 계층은 상기 네트워크 엔터티에 포함되며, 상기 QoS 정보는 상기 하위 계층과 상기 어플리케이션 계층 간의 계층 인터페이스를 이용하여 수신됨을 특징으로 한다.

Description

적응적 멀티미디어 서비스를 제공하는 장치 및 방법{APPARATUS AND METHOD FOR PROVIDING ADAPTIVE MULTIMEDIA SERVICE}
본 발명은 적응적 멀티미디어 서비스를 제공하기 위한 장치 및 방법에 관한 것으로, 특히 사용자 선호도, 네트워크 상태 정보 및 기기 용량들을 고려하여 적응적 멀티미디어 서비스를 제공하는 장치 및 방법에 관한 것이다.
멀티미디어 서비스란 화상전화와 같은 대화형 서비스, 주문형 비디오(Video On Demand: VOD) 서비스와 같은 스트리밍 서비스와, 멀티캐스트 및 브로드캐스트 서비스를 말한다. 한편, 실시간 멀티미디어 서비스는 서비스의 형태에 따라 대화형 서비스, 인터랙티브 서비스, 스트리밍 서비스로 나눌 수 있다. 또한, 실시간 멀티미디어 서비스는 참여하는 사용자의 수에 따라 유니캐스트, 멀티캐스트, 브로드캐스트로 나눌 수 있다.
여기서, 상기 대화형 서비스와 VOD 서비스와 같은 멀티미디어 서비스를 지원하기 위해서는 네트워크의 상태에 따라 적응적으로 QoS/QoE(Quality of Service/Quality Experience)를 조절해야한다. 이러한 멀티미디어 서비스를 지원하기 위한 네트워크 상태 정보는 가용 비트율(available bitrate), 패킷 손실율(Packet Loss Ratio), 지연(delay), 지터(jitter), 라우터 버퍼 또는 수신 버퍼의 상태 정보 등을 포함할 수 있다. 일 예로 실시간 제어 패킷 전송 프로토콜인 RTCP(Real Time Transport Protocol)의 결과로 측정된 지연과 패킷 손실율, 또는, WLAN(Wireless Local Area Network)의 MAC(Medium Access Control) 계층이나 3GPP(3rd Generation Partnership Project) RAN에서 측정된 결과가 포함될 수 있다.
네트워크 상태(network-aware) 정보를 표시하는 방법은 이미 활용되고 있으며, 현재는 RTCP를 이용한 네트워크 상태 정보를 활용하는 것이 일반적이다. 그러나, RTCP은 MAC/PHY 계층 등 하위 계층의 상태에 의해 일어난 결과를 측정하는 것이므로 피드백(feedback) 시 지연이 크고, 측정된 값도 네트워크의 상태를 나타내기에는 부정확하다. 이러한 이유로 MAC/PHY 계층 정보를 직접 이용하는 것이 현재 사용되고 있는 RTCP를 이용한 네트워크 상태 정보를 획득하는 것보다 효과적이다. MAC/PHY 계층은 전체 서비스 종단 경로(end-to-end path)의 일부라는 단점이 있으나 전체 서비스 품질이 마지막 링크의 품질에 의해서 결정되므로 마지막 링크의 정보가 우세(dominant)하다. 현재 많이 활용되고 있는 와이파이(WiFi), 3G, 4G 및 와이맥스(WiMAX) 등의 MAC/PHY 계층은 매우 피드백이 빠르고, 정확한 정보를 제공하지만 제공되는 네트워크 상태 정보가 통일되어 있지 않다.
본 발명은 통합 추상화 계층 정보에 대한 정의와 표현 방식을 통해 네트워크 상태 정보를 통일하여 효과적으로 적응적 멀티미디어 서비스를 제공하는 장치 및 방법을 제공한다.
또한 본 발명은 응용계층과 하위계층과 정보를 교환할 수 있는 통합 추상 계층을 제공하여 효과적으로 적응적 멀티미디어 서비스를 제공하는 장치 및 방법을 제공한다.
또한 본 발명은 사용자 선호도, 네트워크 상태 정보 및 기기 용량들을 고려하여 적응적 멀티미디어 서비스를 제공하는 장치 및 방법을 제공한다.
본 발명의 실시 예에 따른 통신 시스템에서, 네트워크에 의해 멀티미디어 서비스를 제공하는 방법은, 하위 계층에서 서비스 품질(QoS) 정보를 측정하는 과정과, 상기 하위 계층으로부터 어플리케이션 계층으로 상기 QoS 정보를 제공하는 과정과, 상기 QoS 정보를 기반으로 미디어 데이터의 전달을 최적화하기 위한 미디어 데이터 품질을 결정하는 과정과, 상기 미디어 데이터 품질을 기반으로 상기 미디어 데이터를 처리하는 과정을 포함하며, 상기 QoS 정보는 지연 관련 정보 및 손실 관련 정보를 포함하고, 네트워크 환경들(network environments)을 지원하기 위해 추상화된 방식(abstracted manner)으로 표현되고(represented), 상기 하위 계층과 상기 어플리케이션 계층은 상기 네트워크 엔터티에 포함되며, 상기 QoS 정보는 상기 하위 계층과 상기 어플리케이션 계층 간의 계층 인터페이스를 이용하여 수신됨을 특징으로 한다.
또한 본 발명의 실시 예에 따른 통신 시스템에서, 멀티미디어 서비스를 제공하는 네트워크는, 미디어 데이터를 송수신하는 송수신부와, 하위 계층에서 서비스 품질(QoS) 정보를 측정하고, 상기 하위 계층으로부터 어플리케이션 계층으로 상기 QoS 정보를 제공하고, 상기 QoS 정보를 기반으로 상기 미디어 데이터의 전달을 최적화하기 위한 미디어 데이터 품질을 결정하고, 상기 미디어 데이터 품질을 기반으로 상기 미디어 데이터를 처리하는 제어부를 포함하며, 상기 QoS 정보는 지연 관련 정보 및 손실 관련 정보를 포함하고, 네트워크 환경들(network environments)을 지원하기 위해 추상화된 방식(abstracted manner)으로 표현되고(represented), 상기 하위 계층과 상기 어플리케이션 계층은 상기 네트워크 엔터티에 포함되며, 상기 QoS 정보는 상기 하위 계층과 상기 어플리케이션 계층 간의 계층 인터페이스를 이용하여 수신됨을 특징으로 한다.
본 발명의 구성에 따른 대표적인 효과는 다음과 같다.
본 발명에서는 모든 적응적 멀티 미디어 서비스에 가능한 통합 컨텍스트(context-aware) 정보를 제공하여 미디어 데이터의 사용자와 사용자의 기기 그리고 네트워크의 상태나 요구조건을 반영하여 적응적인 멀티미디어 서비스를 제공할 수 있다.
또한 상위 프로토콜 계층과 하위 프로토콜 계층 간의 정보 교환을 위하여 서로 다른 MAC/PHY 계층들이 제공하는 정보들를 추상화할 수 있는 통합 네트워크 추상화 계층을 제공하여 상호 계층 최적화(cross-layer-optimization)를 통한 통신 자원을 효율적으로 사용할 수 있다.
도 1은 본 발명의 실시 예에 따라 적응적 멀티미디어 서비스를 제공하는 방법을 나타낸 도면,
도 2는 본 발명의 실시 예에 따른 cross-layer QoS 방법을 나타낸 도면,
도 3은 본 발명의 실시 예에 따른 상위 계층과 하위 계층 간의 NAMB의 정보를 교환하는 과정을 나타낸 도면,
도 4는 본 발명의 실시 예에 따른 적응적 멀티미디어 서비스 제공 방법을 나타낸 도면.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예를 상세하게 설명한다. 사용되는 용어들은 실시예에서의 기능을 고려하여 선택된 용어들로서, 그 용어의 의미는 사용자, 운용자의 의도 또는 판례 등에 따라 달라질 수 있다. 그러므로 후술하는 실시예들에서 사용된 용어의 의미는, 본 명세서에 구체적으로 정의된 경우에는 그 정의에 따르며, 구체적인 정의가 없는 경우는 당업자들이 일반적으로 인식하는 의미로 해석되어야 할 것이다.
본 발명에서는 MAC/PHY 계층 정보를 추상화하여 통일 된 변수들의 종류와 그것을 표시하는 방식을 제시한다. 이와 더불어 본 발명에서 제공하는 네트워크 추상(Network Abstraction for MPEG Media Transport, NAM) 정보를 이용하면 상호 계층 최적화(Cross Layer Optimization: CLO)가 가능하다. 상기 상호 계층 최적화란 네트워크 상태를 인식하여 비디오 부호화를 수행(network-aware video coding)하여 적응적인 멀티미디어 서비스를 제공하는 것을 말한다. 또한 본 발명에서는 사용자 선호도(user-preference-aware) 정보와 기기 용량(device-capability-aware) 정보의 변수의 표시하는 방식을 통일하는 방법을 제시한다.
MPEG(Moving Picture Experts Group)에서 표준화 활동 중인 DASH(Dynamic Adaptive Streaming over HTTP)와 같이 사용자가 미디어 QoS를 제어한다면, 사용자는 상기 추상화된 cross-layer QoS 파라미터들을 이용할 수 있다. 만약 서버가 미디어 QoS를 제어한다면, 상기 추상화된 cross-layer QoS 파라미터들은 RTSP 확장 헤더(extended header)를 통해 다른 기기로 전달될 수 있다. 또한, user-preference-aware 정보 중 하나인 바이트 별 유닛 가격(unit price per byte)의 정보의 제공을 통해 네트워크 자원(network resource)을 효율적으로 분배 할 수 있다.
본 발명이 제공하는 추상화된 cross-layer QoS 방법은 NAMB(Bulletin Board for Network Abstraction for MMT)라는 명칭으로 현재 MPEG의 시스템 그룹에서 표준화를 진행중에 있다. MMT(MPEG Media Transport)는 2013년 1월 MPEG-H의 Part. 1(system part)에 표준으로 들어갈 예정이며, 현재 본 발명이 제공하는 NAMB와 함께 여러 기술들이 활발한 표준화 진행 중이다.
본 발명의 상세한 설명에 앞서 도 1을 참조하여 본 발명의 기본 개념을 설명한다.
본 발명의 주요한 요지는 적응적 멀티미디어 서비스 데이터 생성을 위한 device-capability-aware 정보, network-aware 정보 및 user-preference-aware 정보를 제공하며, 서로 다른 context-aware 정보가 상관성이 있을 때 이를 통합하는 방식을 제공한다.
도 1은 본 발명의 실시 예에 따라 적응적 멀티미디어 서비스를 제공하는 방법을 보이고 있다.
도 1을 참조하면, 메모리(즉, 컨텍스트 풀(context-pool)(110)에는 모든 적응적 멀티미디어 데이터 생성을 위한 정보를 포함하는 device-capability-aware 정보, network-aware 정보 및 user-preference-aware 정보를 포함하는 context-aware 정보들이 저장된다. 그리고, 제어부(130)는 상기 device-capability-aware 정보, network-aware 정보 및 user-preference-aware 정보를 통합하여 사용자에게 적응적 멀티미디어 서비스를 제공한다.
이하, 상기 network-aware 정보, device-capability-aware 정보 및 user-preference-aware 정보를 정의하는 변수들에 대하여 설명하기로 한다.도 2는 본 발명의 실시 예에 따른 cross-layer QoS 방법을 나타낸 도면이다. 즉, 도 2에서는하위 MAC/PHY 계층에 의해서 추상화된 network-aware 정보들을 사용하는 과정을 보여주고 있다. 여기서, 하위 계층으로부터 정보를 전달받는 방법은 이하 도 3에 관한 설명에서 상세하게 설명하기로 한다.
각각의 다른 네트워크 정보(Wifi, WiMAX, 3G, etc)들은 각각의 추상화 과정을 거쳐 통합된 파라미터들로 cross-layer QoS 파라미터로 추상화된다. 추상화 과정은 각각의 네트워크에서 고유한 방법으로 이루어 지며, 응용 계층에서는 네트워크의 종류에 상관없이 추상화된 cross-layer QoS 파라미터들을 활용한다. 여기서, 추상화된 cross-layer QoS 파라미터들은 호환성 유지를 위해 기존 기술에서 사용하고 있는 tSpec의 파라미터 또는 RTCP의 파라미터들로 통합된다.
상기 상호 계층(cross-layer) QoS의 방식을 사용하기 위해서는 상위 계층인 미디어 계층과 하위 계층인 네트워크간의 인터페이스가 MAC/PHY 계층 방식에 따라 서로 다른 점을 보완하여야 하는데, 본 발명은 상호 계층간의 인터페이스가 다른 문제점을 tSpec의 파라미터들의 형태로 제공함으로써 극복한다. 더 자세하게는 네트워크 측면의 상기 추상화된 cross-layer QoS 파라미터들은 각기 다른 네트워크 채널(e.g. WiFi, 3GPP, WiMAX, etc)들이 제공하는 파라미터들(e.g. SNR, SINR, CNR, CINR) 대신에 IETF(Internet Engineering Task Force)의 RSVP(ReSourcereserVation Protocol)의 tSpec의 토큰 버켓율(token bucket rate), 피크 데이터율(peak data rate), 프레임 사이즈(frame size) 등의 형태로 추상화된 것을 제공받는다. 추상화 과정은 각 네트워크 채널에 따라 다르며, 본 발명에서는 추상화된 변수의 신텍스(syntax)와 의미(semantics)를 제안한다. 본 발명에서는 상기 추상화된 cross-layer QoS 파라미터들을 저장하는 장소를 NAMB라고 명한다. 상기 NAMB는 위에서 언급하였듯이 현재 MPEG의 시스템 파트에서 활발히 표준화를 진행 중 이다.
본 발명이 제공하는 cross-layer QoS 파라미터에는 가용 비트율, 지터, 라우터 버퍼 또는 수신 버퍼의 상태 정보와 멀티미디어 서비스를 하기 위해 민감한 파라미터인 지연(delay)과 손실(loss) 파라미터들 중 적어도 하나를 포함한다. 여기서, 지연과 손실에 대한 파라미터는 RTCP에서 정의된 것을 사용하여 호환성을 유지한다.
상기 NAMB에서 호환성을 위해 활용하는 하는 tSpec parameters와 RTCP parameterssyntax는 아래의 <표 1>와 같이 정의하고 있으며, <표 1>에서 정의하고 있는 semantics는 아래와 같다. 하기의 각 필드의 이름, 크기 및 각 필드를 표현하는 변수의 종류는 앞서 기술한 바와 같이 실시예에서의 기능을 고려하여 선택되었으므로 사용자, 운용자의 의도 또는 판례 등에 따라 달라질 수 있다. 그러나 각 필드의 의미는 본 명세서에서 제공하는 정의를 따라야 한다.
Field Type size (bits)
channel_id unsigned integer 6
token_bucket_rate float 32
token_bucket_size float 32
peak_data_rate float 32
maximum_delay float 32
frame_size unsigned integer 32
frame_loss_ratio / lost_frame_number float / unsigned integer 32
- channel_id : 각 전송 네트워크 및 세션을 구분하기 위한 식별자(identifier)
- token_bucket_rate : MAC/PHY 계층에서 보장할 수 있는 평균 비트레이트 정보를 나타내는 필드로써 초당 킬로비트(kilobits per seconds) 단위로 표현한다.
- token_bucket_size : MAC/PHY 계층에 존재하는 버퍼의 토큰 버켓 뎁스(token bucket depth)를 킬로비트(kilobits) 단위로 표현한다.
- peak_data_rate : MAC/PHY 계층에서 제공할 수 있는 순간 최대 가용 대역폭을 의미한다.
- maximum_delay : 최대 전송 지연 시간을 나타내는 필드로써 밀리세컨드(milliseconds) 단위로 표현한다.
- frame_size : MAC/PHY 계층에서의 전송 단위인 프레임(frame)의 크기를 나타내는 필드로써 킬로비트(kilobits) 단위로 표현한다.
- frame_loss_ratio/ lost_frame_number : MAC/PHY 계층에서 측정된 프레임(frame) 단위의 손실률(또는 손실된 프레임 수)을 나타내는 필드
한편, 상기 네트워크 상태 정보를 구성하는 상기 정보들을 나타내는 방식은 크게 3가지가 있다. 첫 번째는 절대값을 이용하는 방법이다. Token_bucket_size를 예로 들어 설명하면 token_bucket_size을 kilobits단위로 쓰는 것이다. 두번째는 기준값에 대한 상대값으로 표시하는 방식이며, 일 예로 token_bucket_size가 500kilobits에서 400kilobits로 바뀌었다면 token_bucket_size의 표시를 "80%"로 하는 방식이다. 세번째는 해당 정보의 변화율을 사용하는 방식이다. 즉, 이전 시점의 해당 정보에 대하여 어느 정도 변화하였는가를 표시하는 방식이다.
위의 NAMB에서 호환성을 위해 활용하는 하는 tSpec parameters와 RTCP parameters를 변화율/변화량으로 표기하였을 때의 syntax를 아래의 <표 2>와 같이 정의하고 있으며, <표 2>에서 정의하고 있는 semantics는 아래와 같다.
Field Type(difference/differential rate) size (bits)
changed_token_bucket_size float/float 32
changed_data_rate float/float 32
changed_maximum_delay float/float 32
changed_frame_size unsigned integer/float 32
changed_frame_loss_ratio / changed_lost_frame_number float/float
// unsigned integer /float		 32
changed_token_bucket_size : 변화된 MAC/PHY 계층 버퍼의 token bucket depth를 변화율(%) 혹은 변화량으로 표현한다.
changed_data_rate : 변화된 MAC/PHY 계층에서 제공할 수 있는 가용 대역폭을 변화율(%) 혹은 변화량으로 표현한다.
changed_maximum_delay : 변화된 전송 지연 시간을 변화율로 표현한다.
Changed_frame_size : 변화된 MAC/PHY 계층에서의 전송 단위인 프레임(frame)의 크기를 변화율(%) 혹은 변화량으로표현한다.
Changed_frame_loss_ratio/ changed_lost_frame_number변화된 MAC/PHY 계층의 frame 단위 손실률(또는 손실된 프레임 수)을 변화율(%)혹은 변화량으로 표현한다.
상기 추상화된 network-aware 정보는 사용자가 멀티미디어 서비스를 받을때의 네트워크의 상태에 관한 정보로서 네트워크의 종류나 상황에 따라 멀티미디어 데이터 서비스의 방식을 달리 함으로써 적응적인 멀티미디어 전송 서비스를 달리 할 수 있다. 본 발명에서의 핵심적인 발명요소로는 상기 추상화된 cross-layer QoS parameter의 개념으로 MAC/PHY 계층에서 각각 다른 채널(e.g. WiFi, 3GPP, WiMAX, ect)들이 제공하는 각각 다른 파라미터들을 cross-layer design의 개념의 도입과 추상화의 개념을 도입하여 추상화된 cross-layer QoS 파라미터들로 상기 각각 다른 채널의 각각 다른 파라미터들을 현재 널리 쓰이고 있는 QoS 파라미터들과 통일화 함으로써 호환성을 유지한다. RSVP의 TSpec parameter들인 토큰 버켓율(token bucket rate), 피크 데이터율(peak data rate), 프레임 사이즈(frame size) 등의 형태로 상기 각각 다른 채널의 MAC/PHY QoS parameter들을 추상화 함으로써 상기 현재 널리쓰이고 있는 QoS 파라미터들과 동일하게 사용한다.
일 실시예로는 상위 계층에서 네트워크 상태를 알기 위해 상위 계층에서는 사용하는 변수들이 정해져 있다. 하지만 이러한 변수들과 네트워크의 변수들과의 상이한 점 때문에 네트워크의 상황을 정확히 알 수 있는 방법이 묘연하다. 이러한 점을 보안하기 위해서는 상기 추상화된 네트워크 정보 형태로 통일함으로써 하위 MAC/PHY 계층의 종류에 상관없이 상위계층에서 하위 계층 정보(네트워크 상태)를 바로 알 수 있게 한다.
상기 context-aware 정보는 모든 적응적 멀티미디어 서비스를 제공하기 위해 필요한 정보들을 포함하지만, 상황에 따라 일부 파라미터들만 사용하여 적응적 멀티미디어 서비스를 지원할 수 있다.
또한, 상기 NAMB의 정보는 스트림별 또는 서비스(또는 세션) 별로 생성될 수 있다. 서비스(세션) 단위로 생성되는 경우에는 NAMB 레지스터를 포함하는 엔터티는 세션 별로 별도의 NAMB 레지스터로 구비할 것이고, NAMB 정보가 스트림 단위로 설정되는 경우에는 상기 NAMB 레지스터는 스트림 별로 구성될 수 있다. NAMB 레지스터를 이용하는 대신에 NAMB 패킷을 전송하는 경우에도 세션별 또는 스트림별로 NAMB 패킷을 전송할 수 있다.
한편, 하위 계층으로부터 정보를 전달받는 방법은 API(Application Program Interface)를 이용하여 직접 측정을 시작하는 방법과 지정된 레지스터에 하위 계층이 정기적 또는 비정기적으로 측정값을 저장하고, 응용 계층에서는 원하는 시간에 저장되어있는 값을 읽어오는 방법이 있다. 본 발명에서는 이렇게 교환되는 변수들의 종류를 정의하고, 그것을 표현하는 방식을 제시한다. 또한, 서로 다른 컨텍스트가 상관성이 있을 때 이를 종합하는 방식을 제공한다.
도 3은 본 발명의 실시 예에 따른 상위 계층과 하위 계층 간의 NAMB의 정보를 교환하는 과정을 보이고 있다. 상기 NAMB의 정보는 주기적 또는 비주기적으로 생성될 수 있다. 만일 하위 계층에서 NAMB의 정보가 주기적으로 생성된다면 상위 계층에서도 정기적으로 NAMB의 정보를 확인할 수 있다. 상기 NAMB의 정보가 비주기적으로 생성된다면 상위 계층에서도 비주기적으로 확인할 것이다. 도 3의 a)에서 설명한 바와 같이 상위 계층에서는 NAMB 레지스터의 내용을 주기적으로 확인 할 수 있고, 도 3의 b)에서 설명 한 것처럼 상위 계층에서 이 정보가 필요할 때만, 이정보를 가져올 수도 있다. 그리고 도 3의 c)에서 설명한 것처럼 채널 상황이 급변할 경우 하위 계층에서는 비주기적으로 정보를 NAMB 레지스터에 쓸 수 있고, 이 비주기 NAMB의 정보는 상위 계층으로 전달 된다.
상기 NAMB의 정보외에도 network-aware 정보로는 unit_price_per_byte정보를 이용하여 사용자가 사용 가능한 각 채널의 멀티미디어 서비스 제공시 드는 비용을 제공하여 줌으로써 사용자의 멀티미디어 서비스 선택시 도움을 준다.
상기 device-capability-aware정보를 정의하는 변수들의 종류와 의미는 아래와 같다.
- display_size : 기기의 물리적인 크기(Hd, Vd)를 나타낸다.Vd는 라인수를 말하고 Hd는 라인당 픽셀수를 말한다.
- number_of_audio : 사용가능한 오디오의 종류(Cd)를 나타낸다.
- available_channel_mode : 사용가능한 채널모드(CH)들을 나타낸다(e.g. 3G, WiFi, WiMAX, Bluetooth etc.)
기기의 디스플레이 사이즈(device의 physical한 크기 -
Figure 112011044991812-pat00001
)로 기기에서 수용 가능한 비디오의 크기를 알 수 있으며, number of audio channels(
Figure 112011044991812-pat00002
)정보를 통해 기기에서 수용 가능한 오디오 종류를 앎으로서 적합한 서비스를 가능하게 할 수 있고, 기기의 이용가능한 통신 채널 모드들(available communication channel modes)(CH: 3G, Wifi, WiMAX, Bluetooth, etc.)의 정보들을 통해 기기가 지원하는 네트워크의 종류를 알 수 있다.
상기 user-preference-aware 정보를 정의하는 변수들의 종류와 의미는 아래와 같다.
- expected_price : 멀티미디어 서비스에서 사용자가 원하는 비용을 나타낸다.
- relative_quality_delta : 사용자가 비용을 고려하여 비디오 화질을 상향/하향 조절하기 위한 변수를 나타낸다.
- selection_of_video_size : 사용자가 선택한 디스플레이 사이즈(display size)를 나타내기 위한 변수(Hu, Vu)를 나타낸다. 이 변수는 기기가 지원하는 디스플레이 사이즈(display size)를 (Hd, Vd) 넘을 수 없다.
- selection_of_audio : 사용자가 선택한 오디오의 종류(Cu) 를 나타낸다.기기가 지원하는 오디오의 종류(Cd)를 넘을 수 없다.
- Selection_of_temporal_location : random access, fast forward, rewind, pause등과 같은 트릭 모드(trick mode) 지원하기 위한 변수를 나타낸다.
- Selection_of_spatial_location : 파노라마 이미지(panorama image)에서 랜덤(random), 위, 아래, 오른쪽 왼쪽으로 위치(position)를 이동하기 위해 정의하는 변수를 나타낸다(navigation panorama image).
사용자가 한 멀티미디어 서비스를 제공 받기 위해 얼마만큼의 지출을 원하는지 알기 위해 예상된 가격(expected price)의 정보를 제공하며, 이와 유사하게 사용자는 relative quality delta(positive delta: enhancing quality, negative delta: degrading quality) 정보를 통하여 가격을 고려한 비디오 화질의 향상/낮춤(enhance/degrade)를 요구할 수 있다. 사용자의 선호도에 따라 비디오 질의 선택(selection of video quality) 정보를 통해 비디오 화질을 선택(chosen display window size(
Figure 112011044991812-pat00003
) cannot be larger than (
Figure 112011044991812-pat00004
수 있으며, 오디오 질의 선택(selection of audio quality) 정보를 이용하여 오디오 채널을 선택(number of chosen audio channels(
Figure 112011044991812-pat00005
) cannot be larger
Figure 112011044991812-pat00006
)할 수 있다. 시간 위치의 선택(Selection of temporal location) 정보를 이용하여 트릭 모드(trick mode)(예를 들면, random access, ff, rewind, pause etc.)를 수행할 수 있으며, 공간 위치의 선택(selection of spatial location)(navigation panorama image) 정보를 이용하여 화면의 원하는 곳을 지정(move to random position, move left/right, move up/down, zoom in/out)하여 볼 수 있다.
도 4는 본 발명의 실시 예에 따른 적응적 멀티미디어 서비스 제공 방법을 보이고 있다.
도 4를 참조하면, 410 단계에서 컨텍스트 풀(즉, 메모리(110))에는 상기에서 설명한 변수를 가지는 네트워크 상태(network-aware) 정보(403), 사용자 선호도(user-preference-aware) 정보(401) 및 기기 용량(device-capability-aware) 정보(402)가 저장된다. 이하, 설명의 편의를 위해 도면에 도시한 바와 같이, 네트워크 상태(network-aware) 정보를 NAMB, 사용자 선호도(user-preference-aware) 정보를 Uf(User preference), 기기 용량(device-capability-aware) 정보를 DI(Device limit), 결정된 파라미터들을 Dp(Determined paramiter)로 정의하여 설명하기로 한다.
그리고 420 단계 내지 480 단계에서 제어부(130)는 메모리(110)에 저장된 정보들을 이용하여 적응적 멀티미디어 서비스를 제공한다.
즉, 420 단계에서 제어부(130)는 메모리(110)에 저장된 Uf, NAMB 및 DI가 상호 연관성이 있는지 판단하여, 상관성이 있는 경우 430 단계로 진행하고, 상호 연관성이 없는 경우 480 단계로 진행하여 미리 결정된 파라미터들에 따라 멀티미디어 서비스를 제공한다.
상기 430 단계에서 제어부(130)는 Uf와 NAMB가 DI에 만족되는지 확인하여, 만족되는 경우 450 단계로 진행하고, 만족되지 않은 경우 460 단계로 진행하여 DI에 따라 멀티미디어 서비스에 제공될 파라미터들을 결정한다.
상기 450 단계에서 제어부(130)는 Uf가 NAMB에 만족되는지 확인하여, 만족되는 경우 470 단계에서 Uf에 따라 멀티미디어 서비스에 제공될 파라미터들을 결정하고, 만족되지 않은 경우 460 단계에서 NAMB에 따라 멀티미디어 서비스에 제공될 파라미터들을 결정한다.
이에 480 단계에서 제어부(130)는 상기 각 단계에서 결정된 파라미터들에 따라 적응적으로 멀티미디어 서비스를 사용자에게 제공한다.
일 실시예로는 한 사용자가 멀티미디어 서비스를 받고 있다. 하지만 사용자는 멀티미디어 서비스에 지출되는 비용이 비싸다고 생각한다. 이때 서비스의 지출되는 비용에 관한 정보는 network-aware 정보 중 바이트별 유닛 가격(unit price per byte) 변수로 제공된다. 이 정보를 보고 사용자는 받는 서비스의 품질(relative quality delta)이나 예상 가격(expected price)을 조절하여 멀티미디어 서비스에 지출되는 비용을 임의로 조절 할 수 있다. 또한, 사용자가 멀티미디어 서비스를 받을 시 빨리 감기나 뒤로 감기 같은 트릭 모드(trick mode)를 요구할 시에는 시간 위치의 선택(selection of temporal location) 변수를 이용할 수 있고, 이와 유사하게 사용자가 파노라마 영상의 서비스를 받고 있을 때, 사용자가 원하는 곳의 영상 혹은 확대/축소 같은 기능을 공간 위치의 선택(selection of spatial location) 변수를 이용하여 선택할 수 있다.
상기 context-aware 정보는 사용자 측이 요청하는 QoS 품질정보가 될 수 도 있다. 예를 들어, 사용자의 단말 상태가 고품질 QoS의 서비스를 제공받기에 부적절한 사용자는 저품질의 패킷 서비스를 요청할 수 있다. 이 경우 상기 context-aware 정보는 상기 사용자의 요청에 따라 사용자 단말에 의하여 생성된 정보가 된다.
Context-aware 정보중 서로 상관성이 있는 정보를 종합하는 예로는 사용자는 제공받는 비디오의 크기를 원하는 비디오의 크기(Hu, Vu)로 조절 할 수 있다. 하지만 이때, 사용자가 선택한 비디오의 크기는 기기가 지원하는 비디오의 크기(Hd, Vd)를 넘길 수 없으며, 이를 수식으로 표현하면, min{(
Figure 112011044991812-pat00007
), (
Figure 112011044991812-pat00008
)}로 표현 할 수 있다. 또한, 사용자는 원하는 오디오 정보(Cu)를 선택할 수 있지만 이는 서비스가 제공되는 오디오의 선택 범위(Cd)에 한해서 가능하며, 이를 수식으로 표현하면 min(
Figure 112011044991812-pat00009
)로 표현 할 수 있다. 또한 사용자의 선택과 디바이스가 지원하는 bit-rate(처리량)는 abstracted network가 지원하는 bit-rate parameter를 넘길 수 없으며, 수식으로 표현하면
Figure 112011044991812-pat00010
로 표현 할 수 있다. 이와 유사하게 사용자는 기기가 제공 할 수 있는 통신 채널(e.g. 3G, WiFi, WiMAX, Bluetooth and etc)을 임의로 선택할 수 있다. 이처럼 network-aware 정보, device-capability-aware 정보, user-preference-aware 정보 들중 상호 연관성이 있는 변수들은 위의 예와 같이 비슷한 룰로 종합될 수 있다.
한편 상기 context-aware(device-capability, network-aware, user-preference)의 정보와 관련된 파라미터들은 적응적인 멀티미디어 서비스 데이터 생성하기 위한 정보들로서 RTCP 또는 RTSP 확장 헤더를 통해 서비스 제공자에게 전달 될 수 있다.
한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며 후술하는 특허 청구의 범위뿐만 아니라 이 특허 청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims (10)

  1. 통신 시스템에서, 네트워크에 의해 멀티미디어 서비스를 제공하는 방법에 있어서,
    하위 계층에서 이종 네트워크들 각각에 상응하는 채널 상황들 및 가용 비트율들과, 지터와, 라우터 버퍼 및 수신 버퍼의 상태를 기반으로 서비스 품질(qualityof service : QoS) 정보를 측정하는 과정과,
    상기 하위 계층으로부터 어플리케이션 계층으로 상기 QoS 정보를 제공하는 과정과,
    상기 어플리케이션 계층에서 상기 제공된 QoS 정보를 기반으로 상기 이종 네트워크들 중 타겟 네트워크에서의 미디어 데이터의 전달을 최적화하기 위한 미디어 데이터 품질을 결정하는 과정과,
    상기 어플리케이션 계층으로부터 하위 계층으로 상기 미디어 데이터 품질을 제공하는 과정과,
    상기 하위 계층에서 상기 제공된 미디어 데이터 품질을 기반으로 상기 미디어 데이터를 생성하는 과정과,
    상기 하위 계층에서 상기 타겟 네트워크를 통해 상기 생성된 미디어 데이터를 송신하는 과정을 포함하며,
    상기 채널 상황들은 상기 이종 네트워크들 각각에서의 지연 및 손실의 정도를 나타내며,
    상기 QoS 정보는 지연 관련 정보 및 손실 관련 정보를 포함하고, 네트워크 환경들(network environments)을 지원하기 위해 추상화된 방식(abstracted manner)으로 표현되고(represented),
    상기 하위 계층과 상기 어플리케이션 계층은 미디어 데이터의 송신을 위한 네트워크 엔터티에 포함되며,
    상기 QoS 정보는 상기 하위 계층과 상기 어플리케이션 계층 간의 계층 인터페이스를 이용하여 수신됨을 특징으로 하는 멀티미디어 서비스 제공 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 통신 시스템에서, 멀티미디어 서비스를 제공하는 네트워크에 있어서,
    미디어 데이터를 송수신하는 송수신부와,
    하위 계층에서 이종 네트워크들 각각에 상응하는 채널 상황들 및 가용 비트율들과, 지터와, 라우터 버퍼 및 수신 버퍼의 상태를 기반으로 서비스 품질(qualityof service : QoS) 정보를 측정하고, 상기 하위 계층으로부터 어플리케이션 계층으로 상기 QoS 정보를 제공하고, 상기 어플리케이션 계층에서 상기 제공된 QoS 정보를 기반으로 상기 이종 네트워크들 중 타겟 네트워크에서의 미디어 데이터의 전달을 최적화하기 위한 미디어 데이터 품질을 결정하고, 상기 어플리케이션 계층으로부터 하위 계층으로 상기 미디어 데이터 품질을 제공하고, 상기 하위 계층에서 상기 제공된 미디어 데이터 품질을 기반으로 상기 미디어 데이터를 생성하고, 상기 하위 계층에서 상기 타겟 네트워크를 통해 상기 생성된 미디어 데이터를 송신하는 제어부를 포함하며,
    상기 채널 상황들은 상기 이종 네트워크들 각각에서의 지연 및 손실의 정도를 나타내며,
    상기 QoS 정보는 지연 관련 정보 및 손실 관련 정보를 포함하고, 네트워크 환경들(network environments)을 지원하기 위해 추상화된 방식(abstracted manner)으로 표현되고(represented),
    상기 하위 계층과 상기 어플리케이션 계층은 미디어 데이터의 송신을 위한 네트워크 엔터티에 포함되며,
    상기 QoS 정보는 상기 하위 계층과 상기 어플리케이션 계층 간의 계층 인터페이스를 이용하여 수신됨을 특징으로 하는 네트워크.
  6. 삭제
  7. 삭제
  8. 삭제
  9. 제 1 항에 있어서, 상기 QoS 정보는,
    주기적으로 또는 상기 어플리케이션 계층의 요청에 따라, 상기 하위 계층에서 측정되고, 상기 어플리케이션 계층으로 제공됨을 특징으로 하는 멀티미디어 서비스 제공 방법.
  10. 제 5 항에 있어서, 상기 QoS 정보는,
    주기적으로 또는 상기 어플리케이션 계층의 요청에 따라, 상기 하위 계층에서 측정되고, 상기 어플리케이션 계층으로 제공됨을 특징으로 하는 네트워크.
KR1020110057681A 2011-06-14 2011-06-14 적응적 멀티미디어 서비스를 제공하는 장치 및 방법 Expired - Fee Related KR101863965B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020110057681A KR101863965B1 (ko) 2011-06-14 2011-06-14 적응적 멀티미디어 서비스를 제공하는 장치 및 방법
EP12799819.3A EP2721834A4 (en) 2011-06-14 2012-06-12 DEVICE AND METHOD FOR PROVIDING AN ADAPTIVE MULTIMEDIA SERVICE
EP19202832.2A EP3618449A1 (en) 2011-06-14 2012-06-12 Apparatus and method for providing adaptive multimedia service
PCT/KR2012/004618 WO2012173364A2 (en) 2011-06-14 2012-06-12 Apparatus and method for providing adaptive multimedia service
US13/495,480 US10057614B2 (en) 2011-06-14 2012-06-13 Apparatus and method for providing adaptive multimedia service
US16/105,505 US10750222B2 (en) 2011-06-14 2018-08-20 Apparatus and method for providing adaptive multimedia service

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110057681A KR101863965B1 (ko) 2011-06-14 2011-06-14 적응적 멀티미디어 서비스를 제공하는 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20120138310A KR20120138310A (ko) 2012-12-26
KR101863965B1 true KR101863965B1 (ko) 2018-06-08

Family

ID=47354841

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110057681A Expired - Fee Related KR101863965B1 (ko) 2011-06-14 2011-06-14 적응적 멀티미디어 서비스를 제공하는 장치 및 방법

Country Status (4)

Country Link
US (2) US10057614B2 (ko)
EP (2) EP3618449A1 (ko)
KR (1) KR101863965B1 (ko)
WO (1) WO2012173364A2 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102869003A (zh) * 2012-08-28 2013-01-09 中兴通讯股份有限公司 一种异构网络下业务内容分发的方法、业务管理平台
RU2663187C2 (ru) * 2013-10-28 2018-08-02 Сони Корпорейшн Устройство и способ подачи содержания, программа, устройство терминала и система подачи содержания
KR102105567B1 (ko) 2014-01-09 2020-04-28 한국전자통신연구원 Ｍｍｔ 시그널링 메시지를 처리하는 장치 및 방법
US10779035B2 (en) * 2014-01-09 2020-09-15 Samsung Electronics Co., Ltd. Method and apparatus of transmitting media data related information in multimedia transmission system
WO2015106225A1 (en) * 2014-01-10 2015-07-16 Futurewei Technologies, Inc. Client behavior control in adaptive streaming file
US10165028B2 (en) * 2014-03-25 2018-12-25 Intel Corporation Context-aware streaming of digital content
US10666863B2 (en) * 2018-05-25 2020-05-26 Microsoft Technology Licensing, Llc Adaptive panoramic video streaming using overlapping partitioned sections
US10764494B2 (en) 2018-05-25 2020-09-01 Microsoft Technology Licensing, Llc Adaptive panoramic video streaming using composite pictures
CN114520789B (zh) * 2022-02-21 2023-11-21 北京浩瀚深度信息技术股份有限公司 基于令牌桶的共享缓存报文处理方法、装置、设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020147828A1 (en) * 2001-04-09 2002-10-10 Chen Xiaobao X. Providing quality of service in telecommunications systems such as UMTS or other third generation systems
KR20050023583A (ko) * 2003-08-28 2005-03-10 삼성전자주식회사 콘텐츠 추천방법 및 시스템
KR100757057B1 (ko) * 2006-11-02 2007-09-10 고려대학교 산학협력단 이동형 단말기에서 사용자 환경을 고려한 서비스 품질보장형 디엠비 시스템
US20080037521A1 (en) * 2006-07-31 2008-02-14 Motorola, Inc. Apparatus and Method for End-to-End Adaptive Frame Packing and Redundancy in a Heterogeneous Network Environment
US20090154426A1 (en) * 2005-08-09 2009-06-18 Freescale Semiconductor, Inc. Handover based on a quality of service metric obtained from a mac layer of a received signal
KR20110061505A (ko) * 2009-12-01 2011-06-09 삼성전자주식회사 상호 계층 최적화를 이용한 멀티미디어 데이터 패킷을 송신하는 방법 및 장치

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10006245A1 (de) * 2000-02-11 2001-08-30 Siemens Ag Verfahren zum Verbessern der Qualität einer Audioübertragung über ein paketorientiertes Kommunikationsnetz und Kommunikationseinrichtung zur Realisierung des Verfahrens
ATE236489T1 (de) 2000-09-11 2003-04-15 Mediabricks Ab Verfahren zur bereitstellung von medieninhalt über ein digitales netzwerk
DE50014591D1 (de) * 2000-11-27 2007-10-04 Siemens Ag Bandbreitenreservierung in Datennetzwerken
JP4395662B2 (ja) * 2003-06-12 2010-01-13 キャミアント，インク． Ｐｃｍｍアプリケーションマネージャ
US20050052996A1 (en) * 2003-09-09 2005-03-10 Lucent Technologies Inc. Method and apparatus for management of voice-over IP communications
EP1678920B1 (en) * 2003-10-15 2007-04-18 NTT DoCoMo, Inc. Apparatus and method for controlling an operation of a plurality of communication layers in a layered communication scenario
CN1957612A (zh) * 2004-01-26 2007-05-02 皇家飞利浦电子股份有限公司 提供个人化广播服务的方法
KR100655452B1 (ko) * 2004-05-17 2006-12-08 전자부품연구원 사용자 친화형 멀티미디어 재생 장치 및 그 방법
US7784076B2 (en) * 2004-10-30 2010-08-24 Sharp Laboratories Of America, Inc. Sender-side bandwidth estimation for video transmission with receiver packet buffer
US7587454B2 (en) * 2004-12-08 2009-09-08 Nice Systems Ltd. Video streaming parameter optimization and QoS
US7509124B2 (en) * 2005-09-16 2009-03-24 At&T Intellectual Property I, L.P. Methods, systems, and computer program products for providing multimedia information services over a communication network
US20070217339A1 (en) * 2006-03-16 2007-09-20 Hitachi, Ltd. Cross-layer QoS mechanism for video transmission over wireless LAN
KR20080114496A (ko) * 2007-06-26 2008-12-31 삼성전자주식회사 레이저 콘텐츠를 이용하여 장면을 구성하는 방법 및 장치
WO2009032214A2 (en) * 2007-08-29 2009-03-12 The Regents Of The University Of California Network and device aware video scaling system, method, software, and device
US20100217888A1 (en) * 2008-07-17 2010-08-26 Panasonic Corporation Transmission device, reception device, rate control device, transmission method, and reception method
US20100020756A1 (en) * 2008-07-24 2010-01-28 Adapt4, Llc Dynamically transformed channel set quality of service
KR101672454B1 (ko) * 2009-10-30 2016-11-04 삼성전자 주식회사 컨텐트 이용 이력에 기반한 네트워크 컨텐트 서비스 관리 방법 및 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020147828A1 (en) * 2001-04-09 2002-10-10 Chen Xiaobao X. Providing quality of service in telecommunications systems such as UMTS or other third generation systems
KR20050023583A (ko) * 2003-08-28 2005-03-10 삼성전자주식회사 콘텐츠 추천방법 및 시스템
US20090154426A1 (en) * 2005-08-09 2009-06-18 Freescale Semiconductor, Inc. Handover based on a quality of service metric obtained from a mac layer of a received signal
US20080037521A1 (en) * 2006-07-31 2008-02-14 Motorola, Inc. Apparatus and Method for End-to-End Adaptive Frame Packing and Redundancy in a Heterogeneous Network Environment
KR100757057B1 (ko) * 2006-11-02 2007-09-10 고려대학교 산학협력단 이동형 단말기에서 사용자 환경을 고려한 서비스 품질보장형 디엠비 시스템
KR20110061505A (ko) * 2009-12-01 2011-06-09 삼성전자주식회사 상호 계층 최적화를 이용한 멀티미디어 데이터 패킷을 송신하는 방법 및 장치

Also Published As

Publication number Publication date
US20190007723A1 (en) 2019-01-03
EP2721834A2 (en) 2014-04-23
US10750222B2 (en) 2020-08-18
US20120324490A1 (en) 2012-12-20
KR20120138310A (ko) 2012-12-26
EP2721834A4 (en) 2015-01-28
WO2012173364A3 (en) 2013-03-28
US10057614B2 (en) 2018-08-21
WO2012173364A2 (en) 2012-12-20
EP3618449A1 (en) 2020-03-04

Similar Documents

Publication Publication Date Title
KR101863965B1 (ko) 적응적 멀티미디어 서비스를 제공하는 장치 및 방법
US8230105B2 (en) Adaptive bitrate management for streaming media over packet networks
JP5658762B2 (ja) コンテンツ配信システム、コンテンツ配信システムにおいて用いられるゲートウェイ、コンテンツを配信する方法、およびコンピュータ・プログラム
US10251178B2 (en) QoE provisioning method and apparatus for mobile video application
KR101912072B1 (ko) 하이퍼텍스트 전송 프로토콜을 통한 품질 인식 적응 스트리밍을 위한 방법
CN104956631B (zh) 用于执行链路感知自适应流传输的设备和方法
EP2415234B1 (en) Adaptive bitrate management for streaming media over packet networks
US10433239B2 (en) Cross-layer optimized adaptive HTTP streaming
US20140181266A1 (en) System, streaming media optimizer and methods for use therewith
US7940653B2 (en) Audiovisual data transport protocol
US9197559B1 (en) Adaptive streaming using non-local information
US20150163273A1 (en) Media bit rate estimation based on segment playback duration and segment data length
KR101718127B1 (ko) 상황 인지 스트리밍 서비스를 위한 콘텐츠 패키징 시스템 및 스트리밍 방법
KR102280168B1 (ko) 콘텐츠 송수신 장치 및 방법
Kim et al. Context-aware multimedia quality adaptation for smart streaming
KR20130007944A (ko) 멀티미디어 서비스를 위해 생성되는 데이터에 관한 정보를 제공하는 방법 및 장치
JP2011239232A (ja) 送信装置、送信方法、並びにプログラム
WO2021144139A1 (en) Method, apparatus and computer program product providing for signaling of viewport orientation timing in panoramic video delivery
HK1232042A1 (en) Methods for quality-aware adaptive streaming over hypertext transfer protocol
HK1170605A (en) Adaptive bitrate management for streaming media over packet networks

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20110614

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20160614

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20110614

Comment text: Patent Application

AMND Amendment
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20170724

Patent event code: PE09021S01D

AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20180130

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20170724

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

Patent event date: 20170131

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20180130

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20170925

Comment text: Amendment to Specification, etc.

Patent event code: PX09012R01I

Patent event date: 20170328

Comment text: Amendment to Specification, etc.

PX0701 Decision of registration after re-examination

Patent event date: 20180314

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20180302

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20180130

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

Patent event date: 20170925

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20170328

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20180528

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20180528

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20210429

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20220428

Start annual number: 5

End annual number: 5

PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20250309