[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR101718127B1 - 상황 인지 스트리밍 서비스를 위한 콘텐츠 패키징 시스템 및 스트리밍 방법 - Google Patents

상황 인지 스트리밍 서비스를 위한 콘텐츠 패키징 시스템 및 스트리밍 방법 Download PDF

Info

Publication number
KR101718127B1
KR101718127B1 KR1020160022173A KR20160022173A KR101718127B1 KR 101718127 B1 KR101718127 B1 KR 101718127B1 KR 1020160022173 A KR1020160022173 A KR 1020160022173A KR 20160022173 A KR20160022173 A KR 20160022173A KR 101718127 B1 KR101718127 B1 KR 101718127B1
Authority
KR
South Korea
Prior art keywords
content
streaming
network
information
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020160022173A
Other languages
English (en)
Inventor
정광수
박지우
김명우
Original Assignee
광운대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광운대학교 산학협력단 filed Critical 광운대학교 산학협력단
Priority to KR1020160022173A priority Critical patent/KR101718127B1/ko
Application granted granted Critical
Publication of KR101718127B1 publication Critical patent/KR101718127B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/251Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computing Systems (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

상황 인지 적응적 스트리밍 서비스를 위한 콘텐츠 패키징 시스템 및 스트리밍 방법이 개시된다. 상기 시스템은 네트워크에서 끊김 없는 비디오 서비스를 제공하고 사용자 체감 품질을 높이기 위해 적응적 비디오 스트리밍 기술을 적용하여 콘텐츠 생성 완료 시 또는 외부 입력 시 상황 인지 기반 적응적 스트리밍 서비스를 위한 트랜스코딩 및 세그먼트 기능을 포함하고, 적응적 스트리밍 형식으로 변환하여 네트워크, 재생 장치, 콘텐츠의 상황 정보를 분석 후에 비디오 콘텐츠를 트랜스코딩하고, 상황 정보를 기반으로 트랜스스코딩하며, 트랜스코딩 된 콘텐츠들을 세그먼팅 수행 후 각 세그먼팅 된 콘텐츠들의 콘텐츠 정보 및 URL을 표시하는 메타데이터를 생성하고, 그리고 트랜스코딩된 세그먼팅이 완료된 비디오 콘텐츠의 메타데이터와 식별자(ID)를 포함하는 상황 정보를 삽입하여 전달하는 적응적 비디오 스트리밍 서버; 및 유무선 네트워크를 통해 단말, 네트워크, 콘텐츠의 상황 정보를 수집하고 메타데이터의 서버의 네트워크 특성, 재생 장치 자체 정보, 콘텐츠 특성을 분석하여 네트워크 인지, 재생 장치 인지, 및 콘텐츠 인지를 통해 측정된 네트워크 대역폭, 재생 가능한 콘텐츠 목록, 및 콘텐츠 특성을 기반으로 끊김 없는 스트리밍을 수행하기 위한 적절한 품질의 세그먼트를 요청하여 미디어 서비스의 품질(QoS/QoE)을 보장하는 상황 인지 기반 적응적 비디오 스트리밍 재생 장치를 포함한다.

Description

상황 인지 스트리밍 서비스를 위한 콘텐츠 패키징 시스템 및 스트리밍 방법{Content packaging system and streaming method for context aware streaming service}
본 발명은 상황 인지 스트리밍 서비스를 위한 콘텐츠 패키징 시스템 및 스트리밍 방법에 관한 것으로, 보다 상세하게는 적응적 스트리밍 서비스에서 네트워크 대역폭 낭비 및 비디오의 끊김 현상을 방지하여 높은 사용자 체감 품질 향상을 위해 콘텐츠 특성(비트율, 프레임율, 단위 세그먼트당 크기), 재생 장치 특성(해상도, 코덱 성능, 장치 유형, 주 기억 장치 성능, 중앙 처리 장치 성능), 그리고 네트워크 특성(서버 최대 대역폭, 최소 대역폭, 재생 장치 최대 연결 가능 수, 재생 장치 측정 대역폭)을 고려하여 원본 콘텐츠를 적응적 비디오 스트리밍 형식으로 변환하는 패키징 시스템과 재생 장치에서 콘텐츠를 재생할 때 상기 상황 정보를 이용하여 서비스 품질(QoS)을 높이기 위해 네트워크 인지, 재생 장치 인지, 그리고 콘텐츠 인지 기반 비디오 스트리밍 서비스 제공 방법 및 그 시스템을 제공하는, 상황 인지 적응적 비디오 스트리밍 서비스를 위한 콘텐츠 패키징 시스템 및 스트리밍 방법에 관한 것이다.
최근, 스마트폰과 태블릿 PC의 스마트 기기의 보급이 증가하면서 비디오 콘텐츠 또는 비디오 스트리밍 서비스가 꾸준히 증가하고 있다. 시스코가 발간한 시스코 비주얼 네트워킹 인덱스(VNI) 보고서에 따르면 2019년 전 세계 IP 트래픽은 연간 164 엑사바이트에 이를 예정이라고 보고하고 있고 2019년 비디오 관련 트래픽은 전체 트래픽의 72퍼센트로써 약 118 엑사바이트로 추정하고 있다. 이에 비디오 서비스 관련 업체들은 비디오 트래픽을 최소화하고 사용자 체감 품질 향상을 위해 효율적으로 비디오 데이터를 전달 할 수 있는 기술들을 개발하고 있다.
스마트 단말의 급속한 보급으로 IP 트래픽은 더욱 더 증가하고 있다. 스마트 단말은 접속된 네트워크의 특징 또는 해상도 등과 같은 다양한 환경을 가지고 있어 서버에서 동일한 비디오를 전송한다면 효율성이 저하될 것이며, 고품질 영상의 경우 사용자들이 모두 같은 영상을 시청한다면 사용자 체감 품질이 크게 달라지지 않아 효율성이 저하될 것이다. 이를 방지하기 위해 MVO(Mobile Video Optimization) 기술을 적용한 장비를 제공하거나 HAS(HTTP Adaptive Streaming) 방식으로 비디오를 전송하여 대역폭 낭비를 효율적으로 방지하는 등의 비디오 서비스를 위한 기술에 대해 연구가 활발히 진행되고 있다.
비디오 스트리밍 서비스 제공 시스템은 네트워크 수용능력 이상으로 과부하 트래픽이 발생하는 경우 패킷 지연(packet delay), 패킷 로스(packet loss), 지터(jitter) 등에 의해 비디오의 서비스품질(QoS)가 떨어져 재생 장치에서 이를 시청하는 사용자 체감 품질을 떨어뜨리게 된다.
이를 해결하기 위해 선행기술1의 한국 특허등록번호 10-118284에서는 "복합 상황 정보를 이용한 스마트 스트리밍 서비스 제공 장치 및 방법"이 개시되어 있으며, 단위 서비스를 제공하는 복수 개의 단위 서비스 서버와 네트워크를 통해 연결된 스마트 스트리밍 서비스 제공 장치는, 사용자, 사용자 단말 및 단위 서비스에 대한 정보를 포함하는 복합 상황 정보를 이용하여, 복수 개의 단위 서비스 서버 중에서, 현재 사용자에 대한 복합 상황에 적합한 적어도 하나의 단위 서비스를 제공하기 위한 적어도 하나의 단위 서비스 서버를 선택하고, 선택된 적어도 하나의 단위 서비스 서버의 조합을 나타내는 서비스 경로 정보를 생성하는 서비스 경로 선택부와, 생성된 서비스 경로 정보에 따라서, 선택된 적어도 하나의 단위 서비스서버가 제공하는 단위 서비스 정보를 처리하여, 사용자에게 스마트 스트리밍 서비스를 제공하는 서비스 경로 처리부를 포함한다.
선행기술2의 한국 특허공개번호 10-2013-0063413에서는 "멀티미디어 컨텐트 전송 시스템에서 적응적 스트리밍을 이용한 트래픽 제어 방법 및 장치"가 개시되어 있으며, 클라이언트에 의한 트래픽 선점을 방지하기 위해, 망사업자가 서버와 클라이언트 사이에서 트래픽을 조절할 수 있는 방법을 제안한다.
선행 기술3의 한국 특허등록번호 10-156951에서는 "적응적 실시간 트랜스코딩 방법 및 이를 위한 스트리밍 서버"가 개시되어 있으며, 미디어 스트리밍 서비스 상에서 트랜스코딩 연산의 설정 값을 네트워크 환경에 맞게 적응적으로 변화하여, 모바일 기기와 같은 환경에서 영상의 끊김을 최소로 줄여 서비스 질을 향상시키기 위한 적응적 실시간 트랜스코딩 방법 및 이를 위한 스트리밍 서버에 관한 것이다.
적응적 실시간 트랜스코딩 방법은, 스트리밍 서버에서 분할 및 트랜스코딩 된 미디어 데이터의 세그먼트를 네트워크를 통해 클라이언트 단으로 순차 전송하기 위한 실시간 트랜스코딩 방법이며, 전송된 미디어 데이터 세그먼트들의 재생 시간의 합과 스트리밍 개시 시점으로부터의 경과 시간을 비교함으로써 클라이언트 단의 플레이-백 버퍼 충진 정도를 판별하는 단계; 상기 판별된 플레이-백 버퍼 충진 정도를 기초로 상기 클라이언트 단으로 전송되지 않은 미디어 데이터 세그먼트의 화질을 결정하는 단계; 및 결정된 화질에 따라 전송되지 않은 미디어 데이터 세그먼트를 트랜스코딩하는 단계를 포함한다.
최근, 비디오 스트리밍 서비스에 대한 수요가 증가함에 따라 대역폭이 제한된 이기종 네트워크에서 끊김 없는 비디오를 제공하고 사용자 체감 품질을 높이기 위해 네트워크 인지 기술을 사용하는 적응적 비디오 스트리밍 기술이 등장하였다.
적응적 비디오 스트리밍 서버는 다양한 비트율의 비디오를 세그먼트 단위로 분할하여 저장하고 각 세그먼트의 URL 및 비디오 정보를 메타데이터(metadata)로 정의한다. 적응적 비디오 스트리밍 재생 장치는 초기 스트리밍 세션에서 메타데이터를 수신하고 이를 분석하여 네트워크 상황에 적절한 세그먼트를 요청한다.
그러나, 기존 적응적 비디오 스트리밍 서비스는 품질 선택 시 대역폭 측정값과 재생 장치의 버퍼만을 고려하므로 콘텐츠 특성 및 재생 장치 특성을 고려하지 않아 대역폭 낭비 또는 비디오 끊김 현상이 발생할 수 있다. 대역폭 낭비 문제는 재생 장치가 표현할 수 있는 픽셀 및 비트율을 초과하는 비디오를 요청하는 경우 발생한다. 비디오 끊김 현상은 변화하는 프레임이 많은 콘텐츠의 경우 순간 비트율이 높아 해당 세그먼트 수신 시 높은 지연이 발생하여 끊김 현상이 발생한다. 비디오 스트리밍 서비스를 이용하는 사용자의 체감 품질을 향상시키기 위해서 콘텐츠, 재생 장치, 네트워크 특징을 이용하여 끊김 없는 스트리밍 서비스를 제공하는 기술이 요구된다.
(001) 특허등록번호 10-118284, 등록 일자 2012.09.07 (002) 특허공개번호 10-2013-0063413, 공개 일자 2013.06.14 (003) 특허등록번호 10-156951, 등록 일자 2015.11.10
종래 기술의 문제점을 해결하기 위한 본 발명의 목적은 콘텐츠 특성, 재생 장치 특성, 그리고 네트워크 특성을 고려하고 콘텐츠를 적응적 비디오 스트리밍 형식으로 변환하는 패키징 시스템을 이용하여 사용자 체감 품질을 향상시키는 데 있다. 이를 위해 콘텐츠를 적응적 스트리밍 서비스 형식으로 변환하는 과정에서 콘텐츠 특성, 재생 장치 특성, 그리고 스트리밍 서버의 대역폭을 고려한 정보를 콘텐츠 메타데이터에 적용하는 패키징 시스템과 재생 장치에서 콘텐츠 메타데이터를 분석하여 적절한 품질의 영상을 결정하는 스트리밍 서비스 방법을 제공하는, 상황 인지 기반 적응적 스트리밍 서비스를 위한 콘텐츠 패키징 시스템을 제공하는 것이다.
본 발명의 다른 목적은 상황 인지 적응적 스트리밍 서비스를 위한 콘텐츠 패키징 및 스트리밍 방법을 제공하는 것이다.
본 발명의 목적을 달성하기 위해, 상황 인지 적응적 스트리밍 서비스를 위한 콘텐츠 패키징 시스템은 적응적 비디오 스트리밍 기술을 적용하여 콘텐츠 생성 완료 시 또는 외부 입력 시 상황 인지 기반 적응적 스트리밍 서비스를 위한 트랜스코딩 및 세그먼트 기능을 포함하고, 적응적 스트리밍 형식으로 변환하여 네트워크, 재생 장치, 콘텐츠의 상황 정보를 분석 후에 비디오 콘텐츠를 트랜스코딩하고, 상황 정보를 기반으로 트랜스스코딩하며, 트랜스코딩 된 콘텐츠들을 세그먼팅 수행 후 각 세그먼팅 된 콘텐츠들의 콘텐츠 정보 및 URL을 표시하는 메타데이터를 생성하고, 그리고 트랜스코딩된 세그먼팅이 완료된 비디오 콘텐츠의 메타데이터와 식별자(ID)를 포함하는 상황 정보를 삽입하여 전달하는 적응적 비디오 스트리밍 서버; 및 유무선 네트워크를 통해 단말, 네트워크, 콘텐츠의 상황 정보를 수집하고 메타데이터의 서버의 네트워크 특성, 재생 장치 자체 정보, 콘텐츠 특성을 분석하여 네트워크 인지, 재생 장치 인지, 및 콘텐츠 인지를 통해 측정된 네트워크 대역폭, 재생 가능한 콘텐츠 목록, 및 콘텐츠 특성을 기반으로 끊김 없는 스트리밍을 수행하기 위한 적절한 품질의 세그먼트를 요청하여 미디어 서비스의 품질(QoS/QoE)을 보장하는 상황 인지 기반 적응적 비디오 스트리밍 재생 장치를 포함하며,
상기 메타데이터는 상황 인지 적응적 스트리밍 서비스를 위한 서버의 URL, 서버의 최대 대역폭, 최소 대역폭, 재생 장치 최대 연결 가능 수를 포함하는 서버의 네트워크 정보와, 콘텐츠의 비트율, 프레임율, 세그먼트 크기를 포함하는 콘텐츠 정보와, 그리고 재생 장치의 최대 해상도, 최소 해상도, 재생 장치 유형을 포함하는 재생 장치 정보를 포함하고,
상기 상황 정보는 서버와 네트워크 상에 연결된 라우터의 IP 주소와 네트워크 정보, 재생 장치의 IP 주소와 재생 장치 정보, 콘텐츠 ID와 콘텐츠 정보를 포함하며,
상기 상황 인지 기반 적응적 비디오 스트리밍 재생 장치는 재생 장치의 종류, 재생 장치의 해상도, 장치 유형, 해상도, 주 기억 장치 성능, 중앙 처리 장치 성능을 포함하는 재생 장치 특성과, 콘텐츠 ID, 세그먼트 크기, 비트율, 프레임율을 포함하는 콘텐츠 특성과, 그리고 서버의 URL, 서버의 최대 대역폭, 최소 대역폭, 재생 장치 연결 가능 수를 포함하는 서버의 네트워크 특성을 분석하는 것을 특징으로 한다.
본 발명의 다른 목적을 달성하기 위해, 상황 인지 적응적 스트리밍 서비스를 위한 콘텐츠 패키징 및 스트리밍 방법은 (a) 적응적 비디오 스트리밍 서버가 적응적 비디오 스트리밍 기술을 적용하여 콘텐츠 생성 완료 시 또는 외부 입력 시 상황 인지 기반 적응적 스트리밍 서비스를 위한 트랜스코딩 및 세그먼트 기능을 포함하고, 적응적 스트리밍 형식으로 변환하여 네트워크, 재생 장치, 콘텐츠의 상황 정보를 분석 후에 비디오 콘텐츠를 트랜스코딩하고, 상황 정보를 기반으로 트랜스스코딩하며, 트랜스코딩 된 콘텐츠들을 세그먼팅 수행 후 각 세그먼팅 된 콘텐츠들의 콘텐츠 정보 및 URL을 표시하는 메타데이터를 생성하고, 그리고 트랜스코딩된 세그먼팅이 완료된 비디오 콘텐츠의 메타데이터와 식별자(ID)를 포함하는 상황 정보를 삽입하여 전달하는 1단계; 및 (b) 상황 인지 기반 적응적 비디오 스트리밍 재생 장치가 유무선 네트워크를 통해 단말, 네트워크, 콘텐츠의 상황 정보를 수집하고 메타데이터의 서버의 네트워크 특성, 재생 장치 자체 정보, 콘텐츠 특성을 분석하여 네트워크 인지, 재생 장치 인지, 및 콘텐츠 인지를 통해 측정된 네트워크 대역폭, 재생 가능한 콘텐츠 목록, 및 콘텐츠 특성을 기반으로 끊김 없는 스트리밍을 수행하기 위한 적절한 품질의 세그먼트를 요청하여 미디어 서비스의 품질(QoS/QoE)을 보장하는 2단계를 포함하며,
상기 메타데이터는 상황 인지 기반 적응적 스트리밍 서비스를 위한 서버의 URL, 서버의 최대 대역폭, 최소 대역폭, 재생 장치 최대 연결 가능 수를 포함하는 서버의 네트워크 정보와, 콘텐츠의 비트율, 프레임율, 세그먼트 크기를 포함하는 콘텐츠 정보와, 그리고 재생 장치의 최대 해상도, 최소 해상도, 재생 장치 유형을 포함하는 재생 장치 정보를 포함하고,
상기 상황 정보는 서버와 네트워크 상에 연결된 라우터의 IP 주소와 네트워크 정보, 재생 장치의 IP 주소와 재생 장치 정보, 콘텐츠 ID와 콘텐츠 정보를 포함하며,
상기 상황 인지 기반 적응적 비디오 스트리밍 재생 장치는 재생 장치의 종류, 재생 장치의 해상도, 장치 유형, 해상도, 주 기억 장치 성능, 중앙 처리 장치 성능을 포함하는 재생 장치 특성과, 콘텐츠 ID, 세그먼트 크기, 비트율, 프레임율을 포함하는 콘텐츠 특성과, 그리고 서버의 URL, 서버의 최대 대역폭, 최소 대역폭, 재생 장치 연결 가능 수를 포함하는 서버의 네트워크 특성을 분석하는 것을 특징으로 한다.
본 발명에 의하면, 상황 인지 적응적 스트리밍 서비스를 위한 콘텐츠 패키징 시스템 및 스트리밍 방법은 콘텐츠 특성, 네트워크 특성, 그리고 재생 장치 특성을 기반으로 재생 장치가 적절한 품질을 결정하므로 끊김 현상을 방지하고 사용자 체감 품질을 향상시킬 수 있다. 또한 콘텐츠를 적응적 비디오 스트리밍 형식으로 변환할 때 재생 장치, 서버의 네트워크 특성, 그리고 콘텐츠 특성을 고려하여 변환하므로 사용자 환경에 맞는 최적 품질의 콘텐츠를 제공할 수 있다.
기존에는 적응적 비디오 스트리밍 서비스는 품질 선택 시 대역폭 측정값과 재생 장치의 버퍼만을 고려하므로 콘텐츠 특성 및 재생 장치 특성을 고려하지 않아 대역폭 낭비 또는 비디오 끊김 현상이 발생할 수 있다. 이를 해결하기 위해, 본 시스템은 콘텐츠 특성, 재생 장치 특성, 그리고 네트워크 특성을 기반으로 콘텐츠를 적응적으로 트랜스코딩 및 세그먼팅을 수행하고 재생 장치에서는 준비된 콘텐츠를 스트리밍 함으로써 사용자 체감 품질을 향상할 수 있다. 본 기술의 진행 단계로는 서버에서 적응적인 트랜스코딩 기능, 세그먼팅 기능, 그리고 상황 정보 삽입 기능을 구성하였고 재생 장치에서는 상황 정보를 분석하고 적응적으로 품질을 결정하는 기능을 구성하였다.
스마트 기기의 보편화로 다양한 네트워크 환경에서 비디오 스트리밍 서비스에 대한 수요가 급격하게 증가하고 있다. 2013년 미국의 비디오 트래픽 규모는 대표적인 비디오 스트리밍 서비스 제공 업체인 넷플릭스(Netflix)에서 전체 다운스트림 트래픽의 37.05%를 기록하였고 10억명 이상 이용하고 전체 인터넷 사용자의 1/3을 차지하고 있는 YouTube는 17.85%의 트래픽을 차지하였다. 네트워크를 통한 비디오 스트리밍은 지속적으로 시장규모가 증가할 것으로 예상되며 최근 4K 콘텐츠를 제공함에 따라 비디오 트래픽은 급격하게 증가될 것으로 예상된다. 최근 150Mbps급의 높은 전송속도를 지원하는 LTE-A 서비스와 근 시일 안에 최소 10배에서 최대 1000배 빠른 속도를 지원하는 5G 서비스가 등장하면 비디오 스트리밍 서비스 제공 환경이 개선될 것으로 예상하고 있다. 그러나 비디오 서비스를 제공하는 업체의 서버는 한정적인 네트워크 자원을 사용하고 있으므로 사용자들이 고품질 영상을 시청할 때 서비스 품질이 감소할 수 있다. 이에 따라 폭증하는 비디오 트래픽을 처리하기 위한 네트워크 최적화 기술과 네트워크 상태에 따라 콘텐츠의 품질을 적응적으로 조절하는 비디오 스트리밍 서비스 영역이 개선될 것으로 예상된다.
도 1은 종래의 스트리밍 서버, 클라이언트 단 및 소스 미디어를 포함하는 스트리밍 서비스 제공 환경을 설명하기 위한 도면이다.
도 2는 본 발명에 따른 상황 인지 기반 적응적 비디오 스트리밍 서비스의 구성도이다.
도 3은 도 1에서의 적응적 비디오 스트리밍 서버의 패키징 방법을 설명하는 순서도이다.
도 4는 본 발명에 따른 상황 인지 기반 적응적 비디오 스트리밍 메타데이터 구성도이다.
도 5는 도 1에서의 적응적 비디오 스트리밍 재생 장치의 스트리밍 수행 방법을 설명한 순서도이다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 발명의 구성 및 동작을 상세하게 설명한다.
도 2는 본 발명에 따른 상황 인지 기반 적응적 비디오 스트리밍 서비스의 개념도이다.
본 발명의 상황 인지 스트리밍 서비스를 위한 콘텐츠 패키징 시스템 및 스트리밍 방법은 적응적 스트리밍 서비스에서 네트워크 대역폭 낭비 및 비디오의 끊김 현상을 방지하여 높은 사용자 체감 품질 향상을 위해 콘텐츠 특성(비트율, 프레임율, 단위 세그먼트당 크기), 재생 장치 특성(해상도, 코덱 성능, 장치 유형, 주 기억 장치 성능, 중앙 처리 장치 성능), 그리고 네트워크 특성(서버 최대 대역폭, 최소 대역폭, 재생 장치 최대 연결 가능 수, 재생 장치 측정 대역폭)을 고려하여 원본 콘텐츠를 적응적 비디오 스트리밍 형식으로 변환하는 패키징 시스템과 재생 장치에서 콘텐츠를 재생할 때 상기 상황 정보를 이용하여 서비스 품질(QoS, Quality of Service)을 높이기 위해 네트워크 인지, 재생 장치 인지, 그리고 콘텐츠 인지 기반 비디오 스트리밍 서비스 제공 방법 및 그 시스템을 제공한다.
본 발명인 상황 인지 스트리밍 서비스를 위한 콘텐츠 패키징 시스템 및 스트리밍 방법은 상황 정보를 기반으로 스트리밍을 수행하기 위해 콘텐츠를 적응적 스트리밍 형식으로 변환하는 과정에서 콘텐츠 특성, 재생 장치 특성, 그리고 네트워크 특성을 적용하고 재생 장치에서 이를 분석하여 적절한 품질의 세그먼트를 서버에 요청하는 방법으로 구성된다.
첫 번째로, 본 발명의 상황 인지 기반 적응적 비디오 스트리밍 서버는 콘텐츠 특성, 네트워크 특성, 그리고 재생 장치 특성 인지를 위한 상황 정보 분석 모듈, 상황 정보를 기반으로 적응적으로 스트리밍을 수행하기 위해 콘텐츠를 다양한 품질로 나누는 콘텐츠 트랜스코딩 모듈, 다양한 품질로 트랜스코딩 된 콘텐츠를 품질 별로 세그먼팅을 수행하고 콘텐츠의 정보를 정의하는 메타데이터 생성 작업을 수행하는 콘텐츠 세그먼팅 모듈, 그리고 콘텐츠 메타데이터에 콘텐츠 특성, 네트워크 특성, 재생 장치 특성과 같은 상황 정보를 삽입하는 상황 정보 삽입 모듈로 구성된 것을 특징으로 한다.
두 번째로, 본 발명의 상황 인지 기반 적응적 비디오 스트리밍 재생 장치는 재생 장치의 해상도, 주 기억 장치 성능, 중앙 처리 장치 성능, 장치 유형, 그리고 코덱 성능과 같은 재생 장치의 특성을 분석하는 재생 장치 특성 인지 모듈, 스트리밍 세션 초기에 콘텐츠를 스트리밍하기 위해 콘텐츠의 정보가 정의되어 있는 메타데이터를 요청 및 수신 수행 후 분석하는 메타데이터 분석 모듈, 분석한 메타데이터의 정보를 기반으로 세그먼트의 크기, 비트율, 프레임율을 분석하는 콘텐츠 특성 인지 모듈, 세그먼트(segment)를 요청 및 수신할 때마다 대역폭을 측정하는 네트워크 인지 모듈, 그리고 측정한 네트워크 대역폭을 기반으로 재생 장치에서 지원 가능하고 세그먼트 크기, 비트율, 그리고 프레임율이 대역폭보다 낮을 때 적절한 품질의 세그먼트를 요청하는 세그먼트 요청 모듈로 구성된 것을 특징으로 한다.
나) 기능 및 작용
도 2는 본 발명에 따른 상황 인지 기반 적응적 비디오 스트리밍 서비스의 구성도이다.
상황 인지 기반 적응적 스트리밍 서비스를 위한 콘텐츠 패키징 시스템은
네트워크에서 끊김 없는 비디오 서비스를 제공하고 사용자 체감 품질을 높이기 위해 적응적 비디오 스트리밍 기술을 적용하여 콘텐츠 생성 완료 시 또는 외부 입력 시 상황 인지 기반 적응적 스트리밍 서비스를 위한 트랜스코딩 및 세그먼트 기능을 포함하고, 적응적 스트리밍 형식으로 변환하여 네트워크, 재생 장치, 콘텐츠의 상황 정보를 분석 후에 비디오 콘텐츠를 트랜스코딩하고, 상황 정보를 기반으로 트랜스스코딩하며, 트랜스코딩 된 콘텐츠들을 세그먼팅 수행 후 각 세그먼팅 된 콘텐츠들의 콘텐츠 정보 및 URL을 표시하는 메타데이터를 생성하고, 그리고 트랜스코딩된 세그먼팅이 완료된 비디오 콘텐츠의 메타데이터와 식별자(ID)를 포함하는 상황 정보를 삽입하여 전달하는 적응적 비디오 스트리밍 서버(100); 및
유무선 네트워크를 통해 단말, 네트워크, 콘텐츠의 상황 정보를 수집하고 메타데이터의 서버의 네트워크 특성, 재생 장치 자체 정보, 콘텐츠 특성을 분석하여 네트워크 인지, 재생 장치 인지, 및 콘텐츠 인지를 통해 측정된 네트워크 대역폭, 재생 가능한 콘텐츠 목록, 및 콘텐츠 특성을 기반으로 끊김 없는 스트리밍을 수행하기 위한 적절한 품질의 세그먼트를 요청하여 미디어 서비스의 품질(QoS/QoE)을 보장하는 상황 인지 기반 적응적 비디오 스트리밍 재생 장치(200)를 포함한다.
적응적 비디오 스트리밍 재생 장치(200)는 이동통신 단말기, 스마트폰, 태블릿 PC, IPTV 단말기(STB+TV) 등이 사용된다.
적응적 비디오 스트리밍 서버(100)는 상황 정보 분석 모듈(110), 상황 정보 삽입 모듈(120), 콘텐츠 트랜스코딩 모듈(130), 그리고 콘텐츠 세그먼팅 모듈(140)을 포함한다.
상황 정보 분석 모듈(110)은 서버의 최대 대역폭, 최소 대역폭, 그리고 서버에 연결할 수 있는 최대 재생 장치의 개수를 분석하는 네트워크 특성 인지 기능, 트랜스코딩 및 세그먼팅 수행이 완료된 콘텐츠의 프레임율, 비트율, 단위 세그먼트 당 크기를 분석하는 콘텐츠 특성 인지 기능, 그리고 재생 장치가 적절한 품질의 콘텐츠를 재생할 수 있도록 사전에 입력된 재생 장치들에서의 최대 해상도, 최소 해상도, 그리고 재생 장치들의 유형을 분석하는 재생 장치 특성 인지 기능을 수행한다.
상황 정보 삽입 모듈(120)은 트랜스코딩 및 세그먼팅이 완료된 콘텐츠의 메타데이터에 추가적인 상황 정보[네트워크 식별자(서버의 네트워크의 라우터 IP 주소), 재생 장치 식별자(재생 장치의 IP주소), 콘텐츠 식별자(콘텐츠 ID(VID, Video ID))]를 삽입한다. 상황 정보 삽입은 콘텐츠가 세그먼팅까지 완료되어 메타데이터가 생성된 시점에서 수행된다.
콘텐츠 트랜스코딩 모듈(130)은 상황 정보 분석 모듈(110)에서 분석한 네트워크 특성, 콘텐츠 특성, 그리고 재생 장치 특성을 고려하여 가장 높은 품질의 원본 콘텐츠에서 상대적으로 낮은 품질들의 콘텐츠를 트랜스코딩한다.
콘텐츠 세그먼팅 모듈(140)은 트랜스코딩 된 콘텐츠들을 세그먼팅하고 각 세그먼팅 된 콘텐츠들의 콘텐츠 정보 및 URL을 표시하는 메타데이터를 생성한다.
상황 인지 기반 적응적 비디오 스트리밍 재생 장치(200)는 재생 장치 특성 인지 모듈 (210), 콘텐츠 특성 인지 모듈(220), 네트워크 인지 모듈(230), 메타데이터 분석 모듈(240), 그리고 세그먼트 요청 모듈(250)로 구성된다.
재생 장치 특성 인지 모듈(210)은 스트리밍 세션 초기에 서버에게 메타데이터를 요청하여 수신하고 재생 장치의 해상도, 장치 유형, 그리고 코덱 성능을 분석하여 재생 장치의 해상도 및 코덱 성능을 초과하는 품질의 비디오를 제외한 콘텐츠들의 목록을 생성한다. 스트리밍 수행 중에는 주 기억 장치 성능 및 중앙 처리 장치 성능을 모니터링 하여 렌더링 작업을 수행하기 어려운 콘텐츠를 요청할 수 없도록 목록에서 제거한다.
콘텐츠 특성 인지 모듈(220)은 분석한 메타데이터 정보를 기반으로 세그먼트의 크기, 비트율, 그리고 프레임율을 분석한다.
네트워크 인지 모듈(230)은 스트리밍 수행 중에 세그먼트를 요청 및 수신 할 때마다 세그먼트의 크기와 수신 시 발생하는 지연으로 대역폭을 측정한다.
메타데이터 분석 모듈(240)은 스트리밍 세션 초기에 콘텐츠의 메타데이터를 요청하고 수신하여 그 메타데이터를 버퍼에 저장한다.
세그먼트 요청 모듈(250)은 네트워크 인지 모듈(230)에서 측정한 네트워크 대역폭, 재생 장치 특성 인지 모듈(210)에서 재생 가능한 콘텐츠 목록, 그리고 콘텐츠 특성 인지 모듈(220)에서 분석한 콘텐츠 특성을 기반으로 끊김 없는 스트리밍을 수행하기 위한 적절한 품질의 세그먼트를 요청한다.
다) 실시예
도 3은 본 발명에 따른 상황 인지 기반 적응적 스트리밍 서비스에서 적응적 비디오 스트리밍 서버의 패키징 방법에 대한 순서도이다.
도 3을 참조하면, 본 발명에 따른 적응적 비디오 스트리밍 서버의 패키징 방법은, 단계 S11에서는 상황 정보 분석 모듈(110)의 기능에 따라 서버의 최대 대역폭, 최소 대역폭, 그리고 서버에 연결할 수 있는 최대 재생 장치의 개수를 분석하는 네트워크 특성 인지 기능, 트랜스코딩 및 세그먼팅 수행이 완료된 콘텐츠의 프레임율, 비트율, 단위 세그먼트 당 크기를 분석하는 콘텐츠 특성 인지 기능, 그리고 재생 장치가 적절한 품질의 콘텐츠를 재생할 수 있도록 사전에 입력된 재생 장치들에서의 최대 해상도, 최소 해상도, 그리고 재생 장치들의 유형을 분석하는 재생 장치 특성 인지 기능을 수행하여 상황 정보를 분석한다. 단계 S12에서는 콘텐츠 트랜스코딩 모듈(130)의 기능에 따라 상황 정보를 기반으로 트랜스코딩을 수행한다. 단계 S13에서는 콘텐츠 세그먼팅 모듈(140)의 기능에 따라 트랜스코딩 된 콘텐츠를 세그먼팅 수행하고 콘텐츠의 정보를 표시하는 메타데이터를 생성한다. 단계 S14에 상황 정보 삽입 모듈(120)의 기능에 따라 생성된 메타데이터에 분석한 상황 정보를 삽입한다.
도 4는 본 발명에 따른 상황 인지 기반 적응적 스트리밍 서비스에서 적응적 비디오 스트리밍 서버(100)가 원본 콘텐츠를 상황 인지 기반 적응적 비디오 스트리밍 형식으로 변경했을 때 생성된 메타데이터 형식이다.
도 4를 참조하면, 메타데이터는 네트워크 정보, 재생 장치 정보, 그리고 콘텐츠 정보를 포함하며, XML형태로 구성되어 있다.
메타데이터는 상황 인지 기반 적응적 스트리밍 서비스를 위한 서버의 네트워크 정보(서버의 URL, 서버의 최대 대역폭, 최소 대역폭, 재생 장치 최대 연결 가능 수), 콘텐츠 정보(콘텐츠의 비트율, 프레임율, 세그먼트 크기), 그리고 재생 장치 정보(재생 장치의 최대 해상도, 최소 해상도, 재생 장치 유형)를 포함한다.
상황 정보는 서버와 네트워크 상에 연결된 라우터의 IP 주소와 네트워크 정보, 재생 장치의 IP 주소와 재생 장치 정보, 콘텐츠 ID와 콘텐츠 정보를 포함한다.
적응적 비디오 스트리밍 재생 장치(200)는 메타데이터를 수신하여 그 특성을 분석하는 기능을 수행한다.
적응적 비디오 스트리밍 서버(100)는 상황 인지 기반 적응적 스트리밍 서비스의 정보를 포함하고 있는 메타데이터에 상황 인지 기반 적응적 스트리밍 서비스를 위한 상황 정보를 삽입하는 것을 특징으로 한다.
상기 상황 인지 기반 적응적 비디오 스트리밍 재생 장치(200)는 재생 장치 특성(재생 장치의 종류, 재생 장치의 해상도, 장치 유형, 해상도, 주 기억 장치 성능, 중앙 처리 장치 성능), 콘텐츠 특성(콘텐츠 ID, 세그먼트 크기, 비트율, 프레임율), 그리고 서버의 네트워크 특성(서버의 URL, 서버의 최대 대역폭, 최소 대역폭, 재생 장치 연결 가능 수)을 분석하는 것을 특징으로 한다.
상기 상황 인지 기반 적응적 스트리밍 재생 장치(200)에서 분석한 메타데이터, 재생 장치 자체 정보(해상도, 주 기억 장치 서능, 중앙 처리 장치 성능, 장치 유형, 코덱 성능), 서버의 네트워크 특성(서버의 최대 대역폭, 최소 대역폭, 재생 장치 연결 가능 수), 콘텐츠 특성(세그먼트 크기, 비트율, 프레임율), 그리고 측정된 대역폭을 기반으로 최적의 영상 품질을 결정하는 것을 특징으로 한다.
도 5는 본 발명에 따른 상황 인지 기반 적응적 비디오 스트리밍 재생 장치(200)의 스트리밍 수행 방법에 대한 흐름도이다.
도 5를 참조하면, 본 발명에 따른 적응적 비디오 스트리밍 재생 장치의 스트리밍 수행 방법은, 단계 S21에서는 적응적 비디오 스트리밍 재생 장치(200)의 메타데이터 분석 모듈(240)에서 요청한 콘텐츠의 메타데이터를 수신하여 네트워크 특성, 콘텐츠 특성, 및 재생 장치 특성을 분석하는 과정이다. 단계 S22에서는 콘텐츠 특성 인지 모듈(220)의 기능에 따라 콘텐츠의 비트율, 프레임율, 그리고 세그먼트의 크기를 분석한다. 단계 S23에서는 재생 장치 특성 인지 모듈(210)의 기능에 따라 스트리밍 세션 초기에 재생 장치의 해상도, 장치 유형, 그리고 코덱 성능을 분석하여 재생 장치의 성능을 초과하는 품질의 콘텐츠를 제외한 콘텐츠들의 목록을 생성한다. 단계 S24에서는 네트워크 인지 모듈(230)의 기능에 따라 스트리밍 수행 중에 요청한 세그먼트를 수신하고 세그먼트를 수신 할 때마다 발생하는 지연과 세그먼트 크기를 기반으로 네트워크 대역폭을 측정한다. 단계 S25과 S26에서는 세그먼트 요청 모듈(250)의 기능에 따라 콘텐츠의 세그먼트 품질을 결정하고 결정한 품질의 세그먼트를 요청한다. 단계 S27은 재생하고 있는 비디오가 종료되었는지 확인하여 비디오가 종료되지 않았으면 재생 장치 특성 인지 모듈(240)의 기능에 따라 주 기억 장치 성능 및 중앙 처리 장치 성능을 모니터링하고 렌더링 작업을 수행하기 어려운 비디오는 목록에서 제외시키며 요청한 세그먼트에 따라 네트워크 대역폭을 재측정한다.
본 발명의 상황 인지 스트리밍 서비스를 위한 콘텐츠 패키징 및 스트리밍 방법은 (a) 적응적 비디오 스트리밍 서버가 적응적 비디오 스트리밍 기술을 적용하여 콘텐츠 생성 완료 시 또는 외부 입력 시 상황 인지 기반 적응적 스트리밍 서비스를 위한 트랜스코딩 및 세그먼트 기능을 포함하고, 적응적 스트리밍 형식으로 변환하여 네트워크, 재생 장치, 콘텐츠의 상황 정보를 분석 후에 비디오 콘텐츠를 트랜스코딩하고, 상황 정보를 기반으로 트랜스스코딩하며, 트랜스코딩 된 콘텐츠들을 세그먼팅 수행 후 각 세그먼팅 된 콘텐츠들의 콘텐츠 정보 및 URL을 표시하는 메타데이터를 생성하고, 그리고 트랜스코딩된 세그먼팅이 완료된 비디오 콘텐츠의 메타데이터와 식별자(ID)를 포함하는 상황 정보를 삽입하여 전달하는 1단계; 및 (b) 상황 인지 기반 적응적 비디오 스트리밍 재생 장치가 유무선 네트워크를 통해 단말, 네트워크, 콘텐츠의 상황 정보를 수집하고 메타데이터의 서버의 네트워크 특성, 재생 장치 자체 정보, 콘텐츠 특성을 분석하여 네트워크 인지, 재생 장치 인지, 및 콘텐츠 인지를 통해 측정된 네트워크 대역폭, 재생 가능한 콘텐츠 목록, 및 콘텐츠 특성을 기반으로 끊김 없는 스트리밍을 수행하기 위한 적절한 품질의 세그먼트를 요청하여 미디어 서비스의 품질(QoS/QoE)을 보장하는 2단계를 포함한다.
상기 1단계는 (a1) 상황 정보 분석 모듈에 의해 서버의 최대 대역폭, 최소 대역폭, 그리고 서버에 연결할 수 있는 최대 재생 장치의 개수를 분석하는 네트워크 특성 인지 기능, 트랜스코딩 및 세그먼팅 수행이 완료된 콘텐츠의 프레임율, 비트율, 단위 세그먼트 당 크기를 분석하는 콘텐츠 특성 인지 기능, 그리고 재생 장치가 적절한 품질의 콘텐츠를 재생할 수 있도록 사전에 입력된 재생 장치들에서의 최대 해상도, 최소 해상도, 그리고 재생 장치들의 유형을 분석하는 재생 장치 특성 인지 기능을 수행하는 단계; (a2) 상황 정보 삽입 모듈에 의해 트랜스코딩 및 세그먼팅이 완료된 콘텐츠의 메타데이터에 추가적인 상황 정보를 삽입하며, 상황 정보 삽입은 콘텐츠가 세그먼팅까지 완료되어 메타데이터가 생성된 시점에서 수행되는 단계; (a3) 콘텐츠 트랜스코딩 모듈에 의해 상기 상황 정보 분석 모듈에서 분석한 네트워크 특성, 콘텐츠 특성, 그리고 재생 장치 특성을 고려하여 가장 높은 품질의 원본 콘텐츠에서 상대적으로 낮은 품질들의 콘텐츠를 트랜스코딩하는 단계; 및 (a4) 콘텐츠 세그먼팅 모듈에 의해 트랜스코딩 된 콘텐츠들을 세그먼팅하고 각 세그먼팅 된 콘텐츠들의 콘텐츠 정보 및 URL을 표시하는 메타데이터를 생성하는 단계를 포함한다.
상기 2단계는 (b1) 재생 장치 특성 인지 모듈에 의해 스트리밍 세션 초기에 상기 서버에게 메타데이터를 요청하여 수신하고 재생 장치의 해상도, 장치 유형, 및 코덱 성능을 분석하여 재생 장치의 해상도 및 코덱 성능을 초과하는 품질의 비디오를 제외한 콘텐츠들의 목록을 생성하며, 스트리밍 수행 중에는 주 기억 장치 성능 및 중앙 처리 장치 성능을 모니터링하여 렌더링 작업을 수행하기 어려운 콘텐츠를 요청할 수 없도록 목록에서 제거하는 단계; (b2) 콘텐츠 특성 인지 모듈에 의해 분석한 메타데이터 정보를 기반으로 세그먼트의 크기, 비트율, 및 프레임율을 분석하는 단계; (b3) 네트워크 인지 모듈에 의해 스트리밍 수행 중에 세그먼트를 요청 및 수신 할 때마다 세그먼트의 크기와 수신 시 발생하는 지연으로 대역폭을 측정하는 단계; (b4) 메타데이터 분석 모듈에 의해 스트리밍 세션 초기에 콘텐츠의 메타데이터를 요청하고 수신하여 그 메타데이터 버퍼에 저장하는 단계; 및 (b5) 세그먼트 요청 모듈에 의해 상기 네트워크 인지 모듈에서 측정한 네트워크 대역폭, 상기 재생 장치 특성 인지 모듈에서 재생 가능한 콘텐츠 목록, 그리고 상기 콘텐츠 특성 인지 모듈에서 분석한 콘텐츠 특성을 기반으로 끊김 없는 스트리밍을 수행하기 위한 적절한 품질의 세그먼트를 요청하는 단계를 포함한다.
상기 메타데이터는 상황 인지 기반 적응적 스트리밍 서비스를 위한 서버의 네트워크 정보(서버의 URL, 서버의 최대 대역폭, 최소 대역폭, 재생 장치 최대 연결 가능 수), 콘텐츠 정보(콘텐츠의 비트율, 프레임율, 세그먼트 크기), 그리고 재생 장치 정보(재생 장치의 최대 해상도, 최소 해상도, 재생 장치 유형)를 포함한다.
상기 상황 정보는 서버와 네트워크 상에 연결된 라우터의 IP 주소와 네트워크 정보, 재생 장치의 IP 주소와 재생 장치 정보, 콘텐츠 ID와 콘텐츠 정보를 포함한다.
본 시스템은 네트워크, 단말, 그리고 콘텐츠 등의 상황 인지 모니터링 기술 및 적응적인 상황 인지형 스트리밍 기술을 연구하였으며, 네트워크, 단말, 및 콘텐츠 등 미디어 전달 및 재현에 관련된 상황 정보들을 인지하고 이를 분석하는 기술과 주변 상황 정보에 적응적으로 콘텐츠의 품질 및 전송률을 조절하는 스트리밍 기술과 서비스 품질을 보장하는 QoS/QoE 기술을 보유하고 있다.
상황인지 기반의 라이프미디어 콘텐츠 패키징, 전달 및 능동형 표현 기술의 개발은 예를들면, 라이프미디어 콘텐츠 패키징 및 전달 기술의 요구 사항을 분석하여 라이프미디어 콘텐츠 전달을 위한 콘텐츠 패키징 기술 및 다중 플랫폼 지원을 위한 멀티미디어 전달 기술을 설계 및 개발하였다.
또한, 단말, 네트워크, 콘텐츠 등의 상황 정보를 수집 및 분석하여 라이프미디어 서비스의 QoS를 보장하기 위한 적응적 콘텐츠 패키징 및 전달 기술을 개발하였다.
전술한 바와 같이 본 발명의 방법은 프로그램으로 구현되어 컴퓨터의 소프트웨어를 이용하여 읽을 수 있는 형태로 기록매체(CD-ROM, RAM, ROM, 메모리 카드, 하드 디스크, 광자기 디스크, 스토리지 디바이스 등)에 저장될 수 있다.
이상에서 설명한 바와 같이, 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진자가 하기의 특허청구범위에 기재된 본 발명의 기술적 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 또는 변형하여 실시할 수 있음을 이해할 수 있을 것이다.
100: 적응적 스트리밍 비디오 서버 110: 상황 정보 분석 모듈
120: 상황 정보 삽입 모듈 130: 콘텐츠 트랜스코딩 모듈
140: 콘텐츠 세그먼팅 모듈
200: 적응적 비디오 스트리밍 재생 장치
210: 재생 장치 특성 인지 모듈 220: 콘텐츠 특성 인지 모듈
230: 네트워크 인지 모듈 240: 메타데이터 분석 모듈
250: 세그먼트 요청 모듈

Claims (13)

  1. 적응적 비디오 스트리밍 기술을 적용하여 콘텐츠 생성 완료 시 또는 외부 입력 시 상황 인지 기반 적응적 스트리밍 서비스를 위한 트랜스코딩 및 세그먼트 기능을 포함하고, 적응적 스트리밍 형식으로 변환하여 네트워크, 재생 장치, 콘텐츠의 상황 정보를 분석 후에 비디오 콘텐츠를 트랜스코딩하고, 상황 정보를 기반으로 트랜스스코딩하며, 트랜스코딩 된 콘텐츠들을 세그먼팅 수행 후 각 세그먼팅 된 콘텐츠들의 콘텐츠 정보 및 URL을 표시하는 메타데이터를 생성하고, 그리고 트랜스코딩된 세그먼팅이 완료된 비디오 콘텐츠의 메타데이터와 식별자(ID)를 포함하는 상황 정보를 삽입하여 전달하는 적응적 비디오 스트리밍 서버; 및
    유무선 네트워크를 통해 단말, 네트워크, 콘텐츠의 상황 정보를 수집하고 메타데이터의 서버의 네트워크 특성, 재생 장치 자체 정보, 콘텐츠 특성을 분석하여 네트워크 인지, 재생 장치 인지, 및 콘텐츠 인지를 통해 측정된 네트워크 대역폭, 재생 가능한 콘텐츠 목록, 및 콘텐츠 특성을 기반으로 끊김 없는 스트리밍을 수행하기 위한 적절한 품질의 세그먼트를 요청하여 미디어 서비스의 품질(QoS/QoE)을 보장하는 상황 인지 기반 적응적 비디오 스트리밍 재생 장치를 포함하며,
    상기 메타데이터는 상황 인지 기반 적응적 스트리밍 서비스를 위한 서버의 URL, 서버의 최대 대역폭, 최소 대역폭, 재생 장치 최대 연결 가능 수를 포함하는 서버의 네트워크 정보와, 콘텐츠의 비트율, 프레임율, 세그먼트 크기를 포함하는 콘텐츠 정보와, 그리고 재생 장치의 최대 해상도, 최소 해상도, 재생 장치 유형을 포함하는 재생 장치 정보를 포함하고,
    상기 상황 정보는 서버와 네트워크 상에 연결된 라우터의 IP 주소와 네트워크 정보, 재생 장치의 IP 주소와 재생 장치 정보, 콘텐츠 ID와 콘텐츠 정보를 포함하며,
    상기 상황 인지 기반 적응적 비디오 스트리밍 재생 장치는 재생 장치의 종류, 재생 장치의 해상도, 장치 유형, 해상도, 주 기억 장치 성능, 중앙 처리 장치 성능을 포함하는 재생 장치 특성과, 콘텐츠 ID, 세그먼트 크기, 비트율, 프레임율을 포함하는 콘텐츠 특성과, 그리고 서버의 URL, 서버의 최대 대역폭, 최소 대역폭, 재생 장치 연결 가능 수를 포함하는 서버의 네트워크 특성을 분석하는, 상황 인지 적응적 스트리밍 서비스를 위한 콘텐츠 패키징 시스템.
  2. 제1항에 있어서,
    상기 적응적 비디오 스트리밍 서버는
    서버의 최대 대역폭, 최소 대역폭, 그리고 서버에 연결할 수 있는 최대 재생 장치의 개수를 분석하는 네트워크 특성 인지 기능, 트랜스코딩 및 세그먼팅 수행이 완료된 콘텐츠의 프레임율, 비트율, 단위 세그먼트 당 크기를 분석하는 콘텐츠 특성 인지 기능, 그리고 재생 장치가 적절한 품질의 콘텐츠를 재생할 수 있도록 사전에 입력된 재생 장치들에서의 최대 해상도, 최소 해상도, 그리고 재생 장치들의 유형을 분석하는 재생 장치 특성 인지 기능을 수행하는 상황 정보 분석 모듈;
    트랜스코딩 및 세그먼팅이 완료된 콘텐츠의 메타데이터에 추가적인 상황 정보를 삽입하며, 상황 정보 삽입은 콘텐츠가 세그먼팅까지 완료되어 메타데이터가 생성된 시점에서 수행되는 상황 정보 삽입 모듈;
    상기 상황 정보 분석 모듈에서 분석한 네트워크 특성, 콘텐츠 특성, 그리고 재생 장치 특성을 고려하여 가장 높은 품질의 원본 콘텐츠에서 상대적으로 낮은 품질들의 콘텐츠를 트랜스코딩하는 콘텐츠 트랜스코딩 모듈; 및
    트랜스코딩 된 콘텐츠들을 세그먼팅하고 각 세그먼팅 된 콘텐츠들의 콘텐츠 정보 및 URL을 표시하는 메타데이터를 생성하는 콘텐츠 세그먼팅 모듈;
    을 포함하는 상황 인지 적응적 스트리밍 서비스를 위한 콘텐츠 패키징 시스템.
  3. 제1항에 있어서,
    상기 상황 인지 기반 적응적 비디오 스트리밍 재생 장치는
    스트리밍 세션 초기에 상기 서버에게 메타데이터를 요청하여 수신하고 재생 장치의 해상도, 장치 유형, 및 코덱 성능을 분석하여 재생 장치의 해상도 및 코덱 성능을 초과하는 품질의 비디오를 제외한 콘텐츠들의 목록을 생성하며, 스트리밍 수행 중에는 주 기억 장치 성능 및 중앙 처리 장치 성능을 모니터링하여 렌더링 작업을 수행하기 어려운 콘텐츠를 요청할 수 없도록 목록에서 제거하는 재생 장치 특성 인지 모듈;
    분석한 메타데이터 정보를 기반으로 세그먼트의 크기, 비트율, 및 프레임율을 분석하는 콘텐츠 특성 인지 모듈;
    스트리밍 수행 중에 세그먼트를 요청 및 수신 할 때마다 세그먼트의 크기와 수신 시 발생하는 지연으로 대역폭을 측정하는 네트워크 인지 모듈;
    스트리밍 세션 초기에 콘텐츠의 메타데이터를 요청하고 수신하여 그 메타데이터 버퍼에 저장하는 메타데이터 분석 모듈; 및
    상기 네트워크 인지 모듈에서 측정한 네트워크 대역폭, 상기 재생 장치 특성 인지 모듈에서 재생 가능한 콘텐츠 목록, 그리고 상기 콘텐츠 특성 인지 모듈에서 분석한 콘텐츠 특성을 기반으로 끊김 없는 스트리밍을 수행하기 위한 적절한 품질의 세그먼트를 요청하는 세그먼트 요청 모듈;
    을 포함하는 상황 인지 적응적 스트리밍 서비스를 위한 콘텐츠 패키징 시스템.
  4. 삭제
  5. 삭제
  6. 제1항에 있어서,
    상기 적응적 비디오 스트리밍 서버는
    상황 인지 기반 적응적 스트리밍 서비스의 정보를 포함하고 있는 메타데이터에 상황 인지 기반 적응적 스트리밍 서비스를 위한 상황 정보를 삽입하는 것을 특징으로 하는 상황 인지 적응적 스트리밍 서비스를 위한 콘텐츠 패키징 시스템.
  7. 삭제
  8. 제1항에 있어서,
    상기 상황 인지 기반 적응적 스트리밍 재생 장치에서 분석한 메타데이터, 재생 장치 자체 정보(해상도, 주 기억 장치 서능, 중앙 처리 장치 성능, 장치 유형, 코덱 성능), 서버의 네트워크 특성(서버의 최대 대역폭, 최소 대역폭, 재생 장치 연결 가능 수), 콘텐츠 특성(세그먼트 크기, 비트율, 프레임율), 및 측정된 대역폭을 기반으로 최적의 영상 품질을 결정하는 것을 특징으로 하는 상황 인지 적응적 스트리밍 서비스를 위한 콘텐츠 패키징 시스템.
  9. (a) 적응적 비디오 스트리밍 서버가 적응적 비디오 스트리밍 기술을 적용하여 콘텐츠 생성 완료 시 또는 외부 입력 시 상황 인지 기반 적응적 스트리밍 서비스를 위한 트랜스코딩 및 세그먼트 기능을 포함하고, 적응적 스트리밍 형식으로 변환하여 네트워크, 재생 장치, 콘텐츠의 상황 정보를 분석 후에 비디오 콘텐츠를 트랜스코딩하고, 상황 정보를 기반으로 트랜스스코딩하며, 트랜스코딩 된 콘텐츠들을 세그먼팅 수행 후 각 세그먼팅 된 콘텐츠들의 콘텐츠 정보 및 URL을 표시하는 메타데이터를 생성하고, 그리고 트랜스코딩된 세그먼팅이 완료된 비디오 콘텐츠의 메타데이터와 식별자(ID)를 포함하는 상황 정보를 삽입하여 전달하는 1단계; 및
    (b) 상황 인지 기반 적응적 비디오 스트리밍 재생 장치가 유무선 네트워크를 통해 단말, 네트워크, 콘텐츠의 상황 정보를 수집하고 메타데이터의 서버의 네트워크 특성, 재생 장치 자체 정보, 콘텐츠 특성을 분석하여 네트워크 인지, 재생 장치 인지, 및 콘텐츠 인지를 통해 측정된 네트워크 대역폭, 재생 가능한 콘텐츠 목록, 및 콘텐츠 특성을 기반으로 끊김 없는 스트리밍을 수행하기 위한 적절한 품질의 세그먼트를 요청하여 미디어 서비스의 품질(QoS/QoE)을 보장하는 2단계를 포함하며,
    상기 메타데이터는 상황 인지 기반 적응적 스트리밍 서비스를 위한 서버의 URL, 서버의 최대 대역폭, 최소 대역폭, 재생 장치 최대 연결 가능 수를 포함하는 서버의 네트워크 정보와, 콘텐츠의 비트율, 프레임율, 세그먼트 크기를 포함하는 콘텐츠 정보와, 그리고 재생 장치의 최대 해상도, 최소 해상도, 재생 장치 유형을 포함하는 재생 장치 정보를 포함하고,
    상기 상황 정보는 서버와 네트워크 상에 연결된 라우터의 IP 주소와 네트워크 정보, 재생 장치의 IP 주소와 재생 장치 정보, 콘텐츠 ID와 콘텐츠 정보를 포함하며,
    상기 상황 인지 기반 적응적 비디오 스트리밍 재생 장치는 재생 장치의 종류, 재생 장치의 해상도, 장치 유형, 해상도, 주 기억 장치 성능, 중앙 처리 장치 성능을 포함하는 재생 장치 특성과, 콘텐츠 ID, 세그먼트 크기, 비트율, 프레임율을 포함하는 콘텐츠 특성과, 그리고 서버의 URL, 서버의 최대 대역폭, 최소 대역폭, 재생 장치 연결 가능 수를 포함하는 서버의 네트워크 특성을 분석하는, 상황 인지 적응적 스트리밍 서비스를 위한 콘텐츠 패키징 및 스트리밍 방법.
  10. 제9항에 있어서,
    상기 1단계는,
    (a1) 상황 정보 분석 모듈에 의해 서버의 최대 대역폭, 최소 대역폭, 그리고 서버에 연결할 수 있는 최대 재생 장치의 개수를 분석하는 네트워크 특성 인지 기능, 트랜스코딩 및 세그먼팅 수행이 완료된 콘텐츠의 프레임율, 비트율, 단위 세그먼트 당 크기를 분석하는 콘텐츠 특성 인지 기능, 그리고 재생 장치가 적절한 품질의 콘텐츠를 재생할 수 있도록 사전에 입력된 재생 장치들에서의 최대 해상도, 최소 해상도, 그리고 재생 장치들의 유형을 분석하는 재생 장치 특성 인지 기능을 수행하는 단계;
    (a2) 상황 정보 삽입 모듈에 의해 트랜스코딩 및 세그먼팅이 완료된 콘텐츠의 메타데이터에 추가적인 상황 정보를 삽입하며, 상황 정보 삽입은 콘텐츠가 세그먼팅까지 완료되어 메타데이터가 생성된 시점에서 수행되는 단계;
    (a3) 콘텐츠 트랜스코딩 모듈에 의해 상기 상황 정보 분석 모듈에서 분석한 네트워크 특성, 콘텐츠 특성, 그리고 재생 장치 특성을 고려하여 가장 높은 품질의 원본 콘텐츠에서 상대적으로 낮은 품질들의 콘텐츠를 트랜스코딩하는 단계; 및
    (a4) 콘텐츠 세그먼팅 모듈에 의해 트랜스코딩 된 콘텐츠들을 세그먼팅하고 각 세그먼팅 된 콘텐츠들의 콘텐츠 정보 및 URL을 표시하는 메타데이터를 생성하는 단계;
    를 포함하는 상황 인지 적응적 스트리밍 서비스를 위한 콘텐츠 패키징 및 스트리밍 방법.
  11. 제9항에 있어서,
    상기 2단계는
    (b1) 재생 장치 특성 인지 모듈에 의해 스트리밍 세션 초기에 상기 서버에게 메타데이터를 요청하여 수신하고 재생 장치의 해상도, 장치 유형, 및 코덱 성능을 분석하여 재생 장치의 해상도 및 코덱 성능을 초과하는 품질의 비디오를 제외한 콘텐츠들의 목록을 생성하며, 스트리밍 수행 중에는 주 기억 장치 성능 및 중앙 처리 장치 성능을 모니터링하여 렌더링 작업을 수행하기 어려운 콘텐츠를 요청할 수 없도록 목록에서 제거하는 단계;
    (b2) 콘텐츠 특성 인지 모듈에 의해 분석한 메타데이터 정보를 기반으로 세그먼트의 크기, 비트율, 및 프레임율을 분석하는 단계;
    (b3) 네트워크 인지 모듈에 의해 스트리밍 수행 중에 세그먼트를 요청 및 수신 할 때마다 세그먼트의 크기와 수신 시 발생하는 지연으로 대역폭을 측정하는 단계;
    (b4) 메타데이터 분석 모듈에 의해 스트리밍 세션 초기에 콘텐츠의 메타데이터를 요청하고 수신하여 그 메타데이터 버퍼에 저장하는 단계; 및
    (b5) 세그먼트 요청 모듈에 의해 상기 네트워크 인지 모듈에서 측정한 네트워크 대역폭, 상기 재생 장치 특성 인지 모듈에서 재생 가능한 콘텐츠 목록, 그리고 상기 콘텐츠 특성 인지 모듈에서 분석한 콘텐츠 특성을 기반으로 끊김 없는 스트리밍을 수행하기 위한 적절한 품질의 세그먼트를 요청하는 단계;
    를 포함하는 상황 인지 적응적 스트리밍 서비스를 위한 콘텐츠 패키징 및 스트리밍 방법.
  12. 삭제
  13. 삭제
KR1020160022173A 2016-02-24 2016-02-24 상황 인지 스트리밍 서비스를 위한 콘텐츠 패키징 시스템 및 스트리밍 방법 Expired - Fee Related KR101718127B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160022173A KR101718127B1 (ko) 2016-02-24 2016-02-24 상황 인지 스트리밍 서비스를 위한 콘텐츠 패키징 시스템 및 스트리밍 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160022173A KR101718127B1 (ko) 2016-02-24 2016-02-24 상황 인지 스트리밍 서비스를 위한 콘텐츠 패키징 시스템 및 스트리밍 방법

Publications (1)

Publication Number Publication Date
KR101718127B1 true KR101718127B1 (ko) 2017-03-20

Family

ID=58502847

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160022173A Expired - Fee Related KR101718127B1 (ko) 2016-02-24 2016-02-24 상황 인지 스트리밍 서비스를 위한 콘텐츠 패키징 시스템 및 스트리밍 방법

Country Status (1)

Country Link
KR (1) KR101718127B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101907794B1 (ko) 2017-06-21 2018-12-07 연세대학교 산학협력단 360도 영상 전송 장치 및 방법
KR20190049111A (ko) * 2017-11-01 2019-05-09 삼성전자주식회사 스트리밍 서비스 제공 방법 및 장치
KR101982290B1 (ko) 2018-02-27 2019-05-24 광운대학교 산학협력단 적응적 스트리밍 서비스의 체감 품질 향상을 위한 콘텐츠 특성 기반 스트리밍 시스템 및 방법
CN113497722A (zh) * 2020-03-20 2021-10-12 阿里巴巴集团控股有限公司 数据处理、数据下载、流媒体控制方法、设备及介质
CN115314723A (zh) * 2022-06-17 2022-11-08 百果园技术(新加坡)有限公司 一种初始档位视频流传输方法、装置、设备及存储介质
CN115623246A (zh) * 2021-07-12 2023-01-17 中移(杭州)信息技术有限公司 视频优化方法、播放设备、网关设备、存储介质和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0118284B1 (ko) 1994-11-25 1997-09-30 김태구 운전자의 흉부 압박충격방지장치
KR0156951B1 (ko) 1991-12-18 1998-12-01 에릭 에스. 딕커 탄성중합체성 제품으로부터 잔류 첨가제를 제거하는 방법
KR20120076294A (ko) * 2010-09-01 2012-07-09 한국전자통신연구원 스트리밍 컨텐츠 제공 장치 및 방법
KR20130063413A (ko) 2011-12-06 2013-06-14 삼성전자주식회사 멀티미디어 컨텐트 전송 시스템에서 적응적 스트리밍을 이용한 트래픽 제어 방법 및 장치
KR20140115354A (ko) * 2012-01-19 2014-09-30 브이아이디 스케일, 인크. 시청 조건에 대한 적응을 지원하는 비디오 전송 방법 및 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0156951B1 (ko) 1991-12-18 1998-12-01 에릭 에스. 딕커 탄성중합체성 제품으로부터 잔류 첨가제를 제거하는 방법
KR0118284B1 (ko) 1994-11-25 1997-09-30 김태구 운전자의 흉부 압박충격방지장치
KR20120076294A (ko) * 2010-09-01 2012-07-09 한국전자통신연구원 스트리밍 컨텐츠 제공 장치 및 방법
KR20130063413A (ko) 2011-12-06 2013-06-14 삼성전자주식회사 멀티미디어 컨텐트 전송 시스템에서 적응적 스트리밍을 이용한 트래픽 제어 방법 및 장치
KR20140115354A (ko) * 2012-01-19 2014-09-30 브이아이디 스케일, 인크. 시청 조건에 대한 적응을 지원하는 비디오 전송 방법 및 시스템

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101907794B1 (ko) 2017-06-21 2018-12-07 연세대학교 산학협력단 360도 영상 전송 장치 및 방법
KR20190049111A (ko) * 2017-11-01 2019-05-09 삼성전자주식회사 스트리밍 서비스 제공 방법 및 장치
KR102385447B1 (ko) * 2017-11-01 2022-04-14 삼성전자주식회사 스트리밍 서비스 제공 방법 및 장치
KR101982290B1 (ko) 2018-02-27 2019-05-24 광운대학교 산학협력단 적응적 스트리밍 서비스의 체감 품질 향상을 위한 콘텐츠 특성 기반 스트리밍 시스템 및 방법
CN113497722A (zh) * 2020-03-20 2021-10-12 阿里巴巴集团控股有限公司 数据处理、数据下载、流媒体控制方法、设备及介质
CN115623246A (zh) * 2021-07-12 2023-01-17 中移(杭州)信息技术有限公司 视频优化方法、播放设备、网关设备、存储介质和系统
CN115314723A (zh) * 2022-06-17 2022-11-08 百果园技术(新加坡)有限公司 一种初始档位视频流传输方法、装置、设备及存储介质
CN115314723B (zh) * 2022-06-17 2023-12-12 百果园技术(新加坡)有限公司 一种初始档位视频流传输方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
KR101826916B1 (ko) 하이퍼텍스트 전송 프로토콜을 통한 품질 인식 적응 스트리밍을 위한 방법
KR101718127B1 (ko) 상황 인지 스트리밍 서비스를 위한 콘텐츠 패키징 시스템 및 스트리밍 방법
EP3183884B1 (en) Video quality of experience based on video quality estimation
US9118738B2 (en) Systems and methods for controlling access to a media stream
US9294531B2 (en) Signaling and processing content with variable bitrates for adaptive streaming
US9042449B2 (en) Systems and methods for dynamic transcoding of indexed media file formats
US10320869B2 (en) Network-capacity optimized adaptive HTTP streaming
US8838824B2 (en) Method and apparatus for delivery of adapted media
KR101500818B1 (ko) 콘텐츠 배포 시스템
US20150163273A1 (en) Media bit rate estimation based on segment playback duration and segment data length
KR101982290B1 (ko) 적응적 스트리밍 서비스의 체감 품질 향상을 위한 콘텐츠 특성 기반 스트리밍 시스템 및 방법
EP2360923A1 (en) Method for selectively requesting adaptive streaming content and a device implementing the method
KR20170032431A (ko) 비디오 품질 향상
US20140189141A1 (en) Real-time content transcoding method, apparatus and system, and real-time content receiving method and apparatus
Mushtaq et al. Quality of experience paradigm in multimedia services: application to OTT video streaming and VoIP services
Kesavan et al. Rate adaptation performance and quality analysis of adaptive HTTP streaming methods
Klink et al. Video quality assessment in the DASH technique
Diallo et al. Adaptation of audiovisual contents and their delivery means
KR20140086801A (ko) 실시간 콘텐츠 트랜스코딩 방법, 장치 및 시스템, 및 실시간 콘텐츠 수신 장치 및 방법
Oyman et al. Quality of experience for http adaptive streaming services
HK1232042A1 (en) Methods for quality-aware adaptive streaming over hypertext transfer protocol

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20160224

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20170215

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
GRNT Written decision to grant
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20170314

PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20170314

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20170314

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PC1903 Unpaid annual fee
PR0401 Registration of restoration

Patent event code: PR04011E01D

Patent event date: 20201120

Comment text: Registration of Restoration

PR1001 Payment of annual fee

Payment date: 20201120

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20210302

Start annual number: 5

End annual number: 5

PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20221225

Termination category: Default of registration fee

Termination date: 20201120