[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR102656605B1 - 복수의 단말기들 간의 화면 공유를 제어하는 방법, 장치 및 기록 매체 - Google Patents

복수의 단말기들 간의 화면 공유를 제어하는 방법, 장치 및 기록 매체 Download PDF

Info

Publication number
KR102656605B1
KR102656605B1 KR1020150152530A KR20150152530A KR102656605B1 KR 102656605 B1 KR102656605 B1 KR 102656605B1 KR 1020150152530 A KR1020150152530 A KR 1020150152530A KR 20150152530 A KR20150152530 A KR 20150152530A KR 102656605 B1 KR102656605 B1 KR 102656605B1
Authority
KR
South Korea
Prior art keywords
terminal
relay device
terminals
screen image
information
Prior art date
Application number
KR1020150152530A
Other languages
English (en)
Other versions
KR20160053795A (ko
Inventor
김용태
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US15/524,993 priority Critical patent/US10671336B2/en
Priority to PCT/KR2015/011630 priority patent/WO2016072675A1/ko
Priority to CN201580072552.6A priority patent/CN107211158B/zh
Priority to EP15856594.5A priority patent/EP3217278A1/en
Priority to EP19204400.6A priority patent/EP3620907A1/en
Publication of KR20160053795A publication Critical patent/KR20160053795A/ko
Application granted granted Critical
Publication of KR102656605B1 publication Critical patent/KR102656605B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G06F3/1462—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay with means for detecting differences between the image stored in the host and the images displayed on the remote displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5061—Network service management, e.g. ensuring proper service fulfilment according to agreements characterised by the interaction between service providers and their network customers, e.g. customer relationship management
    • H04L41/5067—Customer-centric QoS measurements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2350/00—Solving problems of bandwidth in display systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/08—Power processing, i.e. workload management for processors involved in display operations, such as CPUs or GPUs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

본 개시는 센서 네트워크(Sensor Network), 사물 통신(Machine to Machine, M2M), MTC(Machine Type Communication) 및 사물 인터넷(Internet of Things, IoT)을 위한 기술과 관련된 것이다. 본 개시는 상기 기술을 기반으로 하는 지능형 서비스(스마트 홈, 스마트 빌딩, 스마트 시티, 스마트 카 혹은 커넥티드 카, 헬스 케어, 디지털 교육, 소매업, 보안, 재난망 통신 및 안전 관련 서비스 등)에 활용될 수 있다. 본 개시는 릴레이 장치가 제 1 단말기로부터 제 1 단말기의 화면 이미지를 수신하여 적어도 하나의 제 2 단말기에 수신한 화면 이미지를 송신하는 복수의 단말기들간의 화면 공유를 제어하는 방법에 관한 것이다.

Description

복수의 단말기들 간의 화면 공유를 제어하는 방법, 장치 및 기록 매체{Method and apparatus to control sharing screen between plural devices and recording medium thereof}
개시된 실시예는 복수의 단말기들 간의 화면 공유를 제어하는 방법, 복수의 단말기들 간의 화면 공유를 제어하는 장치 및 복수의 단말기들 간의 화면 공유를 제어하는 방법을 수행하는 프로그램이 기록된 컴퓨터 판독이 가능한 기록매체에 관한 것이다.
인터넷은 인간이 정보를 생성하고 소비하는 인간 중심의 연결 망에서, 사물 등 분산된 구성 요소들 간에 정보를 주고 받아 처리하는 IoT(Internet of Things, 사물인터넷) 망으로 진화하고 있다. 클라우드 서버 등과의 연결을 통한 빅데이터(Big data) 처리 기술 등이 IoT 기술에 결합된 IoE (Internet of Everything) 기술도 대두되고 있다. IoT를 구현하기 위해서, 센싱 기술, 유무선 통신 및 네트워크 인프라, 서비스 인터페이스 기술, 및 보안 기술과 같은 기술 요소 들이 요구되어, 최근에는 사물간의 연결을 위한 센서 네트워크(sensor network), 사물 통신(Machine to Machine, M2M), MTC(Machine Type Communication)등의 기술이 연구되고 있다.
IoT 환경에서는 연결된 사물들에서 생성된 데이터를 수집, 분석하여 인간의 삶에 새로운 가치를 창출하는 지능형 IT(Internet Technology) 서비스가 제공될 수 있다. IoT는 기존의 IT(information technology)기술과 다양한 산업 간의 융합 및 복합을 통하여 스마트홈, 스마트 빌딩, 스마트 시티, 스마트 카 혹은 커넥티드 카, 스마트 그리드, 헬스 케어, 스마트 가전, 첨단의료서비스, 재난망 통신 등의 분야에 응용될 수 있다.
개시된 실시예는 복수의 단말기들 간의 화면 공유시, 릴레이 장치를 통해 화면 이미지를 송신함으로써, QoE(Quality of Experioence)를 향상시킬 수 있는 시키는 복수의 단말기들간의 화면 공유를 제어하는 방법 및 이를 위한 장치를 제공하고자 한다.
일 실시예에 따라 복수의 단말기들간의 화면 공유를 제어하는 방법은, 릴레이 장치가 화면 이미지를 송신하는 제 1 단말기의 화면 이미지 송신에 관한 성능 정보 및 화면 이미지를 수신하는 적어도 하나의 제 2 단말기가 포함된 네트워크의 상황 정보를 획득하는 단계; 성능 정보 및 네트워크의 상황 정보에 기초하여 제 1 단말기의 화면 이미지에 대한 인코딩 품질을 결정하는 단계; 결정된 인코딩 품질에 기초하여 제 1 단말기에서 인코딩된 화면 이미지를 수신하는 단계; 및 수신된 화면 이미지를 적어도 하나의 제 2 단말기에 송신하는 단계를 포함한다.
일 실시예에 따라 복수의 단말기들간의 화면 공유를 제어하는 방법은, 결정된 인코딩 품질에 관한 정보를 제 1 단말기에 송신하는 단계를 더 포함한다.
일 실시예에 따라 복수의 단말기들간의 화면 공유를 제어하는 방법에 있어서, 화면 이미지의 인코딩 품질을 결정하는 단계는, 네트워크의 상황 정보에 기초하여, 적어도 하나의 제 2 단말기에 화면 이미지를 송신하기 위한 비트레이트를 결정하고, 결정된 비트레이트에 기초하여, 해상도 및 프레임 레이트 중 적어도 하나를 포함하는 인코딩 품질을 결정하는 단계를 포함한다.
일 실시예에 따라 복수의 단말기들간의 화면 공유를 제어하는 방법에 있어서, 릴레이 장치는, 제 1 단말기의 화면 이미지를 수신하는 복수의 제 2 단말기들 각각의 성능 정보 및 복수의 제 2 단말기들 각각이 포함된 네트워크의 상황 정보에 기초하여 제 1 단말기에서 선택된다.
일 실시예에 따라 복수의 단말기들간의 화면 공유를 제어하는 방법은 릴레이 장치의 성능 및 릴레이 장치가 포함된 네트워크의 상황이 기 설정된 기준 범위를 벗어난 경우, 복수의 제 2 단말기들 중 성능 및 네트워크의 상황이 기 설정된 기준 범위에 대응되는 제 2 단말기가 새로운 릴레이 장치로 선택됨을 알리는 메시지를 제 1 단말기로부터 수신하는 단계; 및 선택된 제 2 단말기에서 결정된 인코딩 품질에 따라 제 1 단말기에서 인코딩된 화면 이미지를 선택된 제 2 단말기로부터 수신하는 단계를 더 포함한다.
일 실시예에 따라 복수의 단말기들간의 화면 공유를 제어하는 방법은 제 1 단말기로부터 적어도 하나의 제 2 단말기의 식별 정보를 획득하는 단계; 및 획득한 식별 정보를 기초로 적어도 하나의 제 2 단말기와 통신 세션을 설정하는 단계를 더 포함한다.
일 실시예에 따라 복수의 단말기들간의 화면 공유를 제어하는 방법은 제 1 단말기 및 적어도 하나의 제 2 단말기의 식별 정보를 서버로부터 획득하는 단계; 및 획득한 식별 정보를 기초로 제 1 단말기 및 적어도 하나의 제 2 단말기와 통신 세션을 설정하는 단계를 더 포함한다.
일 실시예에 따라 복수의 단말기들간의 화면 공유를 제어하는 방법은 제 1 단말기의 화면 이미지를 적어도 하나의 제 2 단말기에 송신하는 릴레이 장치로부터, 제 1 단말기의 화면 이미지 송신에 관한 성능 정보 및 적어도 하나의 제 2 단말기가 포함된 네트워크의 상황 정보에 기초하여 결정된 제 1 단말기의 화면 이미지의 인코딩 품질에 관한 정보를 획득하는 단계; 획득된 인코딩 품질에 관한 정보에 기초하여, 제 1 단말기의 화면 이미지를 인코딩하는 단계; 및 인코딩된 화면 이미지를 릴레이 장치에 송신하는 단계를 포함하고, 인코딩된 화면 이미지는, 릴레이 장치를 통해 제 2 단말기에 송신된다.
일 실시예에 따라 복수의 단말기들간의 화면 공유를 제어하는 방법은, 릴레이 장치에 제 1 단말기의 화면 이미지 송신에 관한 성능 정보를 송신하는 단계를 더 포함한다.
일 실시예에 따라 복수의 단말기들간의 화면 공유를 제어하는 방법은 제 1 단말기의 화면 이미지를 수신하는 복수의 제 2 단말기들 각각의 성능 정보 및 복수의 제 2 단말기들 각각이 포함된 네트워크의 상황 정보에 기초하여, 복수의 제 2 단말기들 중 적어도 하나를 릴레이 장치로 선택하는 단계; 및 릴레이 장치의 선택을 알리는 메시지를 복수의 제 2 단말기들 각각에 송신하는 단계를 더 포함한다.
일 실시예에 따라 복수의 단말기들간의 화면 공유를 제어하는 방법은 릴레이 장치의 성능 및 릴레이 장치가 포함된 네트워크의 상황이 기 설정된 기준 범위를 벗어난 경우, 복수의 제 2 단말기들 중 성능 및 네트워크의 상황이 기 설정된 기준 범위에 대응되는 다른 제 2 단말기를 릴레이 장치로 재선택하는 단계를 더 포함한다.
일 실시예에 따라 복수의 단말기들간의 화면 공유를 제어하는 방법은 제 1 단말기의 화면 이미지를 수신하는 제 2 단말기가 제 2 단말기가 포함된 네트워크의 상황에 관한 정보를 릴레이 장치에 송신하는 단계; 및 릴레이 장치에서 결정된 인코딩 품질에 따라, 제 1 단말기에서 인코딩된 화면 이미지를 릴레이 장치로부터 수신하는 단계를 포함하고, 인코딩 품질은 릴레이 장치가 획득한 제 1 단말기의 화면 이미지 송신에 관한 성능 정보 및 릴레이 장치를 통해 제 1 단말기의 화면 이미지를 수신하는 적어도 하나의 제 2 단말기가 포함된 네트워크의 상황 정보에 기초하여 결정된다.
일 실시예에 따라 복수의 단말기들간의 화면 공유를 제어하는 릴레이 장치는, 화면 이미지를 송신하는 제 1 단말기의 화면 이미지 송신에 관한 성능 정보 및 화면 이미지를 수신하는 적어도 하나의 제 2 단말기가 포함된 네트워크의 상황 정보를 획득하는 통신부; 및 성능 정보 및 네트워크의 상황 정보에 기초하여 제 1 단말기의 화면 이미지에 대한 인코딩 품질을 결정하는 제어부를 포함하고, 통신부는, 결정된 인코딩 품질에 기초하여 제 1 단말기에서 인코딩된 화면 이미지를 수신하고, 수신된 화면 이미지를 적어도 하나의 제 2 단말기에 송신한다.
일 실시예에 따라 복수의 단말기들간의 화면 공유를 제어하는 릴레이 장치에 있어서, 통신부는, 결정된 인코딩 품질에 관한 정보를 제 1 단말기에 송신한다.
일 실시예에 따라 복수의 단말기들간의 화면 공유를 제어하는 릴레이 장치에 있어서, 제어부는, 네트워크의 상황 정보에 기초하여, 적어도 하나의 제 2 단말기에 화면 이미지를 송신하기 위한 비트레이트를 결정하고, 결정된 비트레이트에 기초하여, 해상도 및 프레임 레이트 중 적어도 하나를 포함하는 인코딩 품질을 결정한다.
일 실시예에 따라 복수의 단말기들간의 화면 공유를 제어하는 릴레이 장치에 있어서, 릴레이 장치는, 제 1 단말기의 화면 이미지를 수신하는 복수의 제 2 단말기들 각각의 성능 정보 및 복수의 제 2 단말기들 각각이 포함된 네트워크의 상황 정보에 기초하여, 제 1 단말기에서 선택된다.
일 실시예에 따라 복수의 단말기들간의 화면 공유를 제어하는 릴레이 장치에 있어서, 통신부는, 릴레이 장치의 성능 및 릴레이 장치가 포함된 네트워크의 상황이 기 설정된 기준 범위를 벗어난 경우, 복수의 제 2 단말기들 중 성능 및 네트워크의 상황이 기 설정된 기준 범위에 대응되는 제 2 단말기가 새로운 릴레이 장치로 선택됨을 알리는 메시지를 제 1 단말기로부터 수신하고, 선택된 제 2 단말기에서 결정된 인코딩 품질에 따라 제 1 단말기에서 인코딩된 화면 이미지를 선택된 제 2 단말기로부터 수신한다.
일 실시예에 따라 복수의 단말기들간의 화면 공유를 제어하는 릴레이 장치에 있어서, 통신부는, 제 1 단말기로부터 적어도 하나의 제 2 단말기의 식별 정보를 획득하고, 제어부는, 획득한 식별 정보를 기초로 적어도 하나의 제 2 단말기와 통신 세션을 설정한다.
일 실시예에 따라 복수의 단말기들간의 화면 공유를 제어하는 릴레이 장치에 있어서, 통신부는, 제 1 단말기 및 적어도 하나의 제 2 단말기의 식별 정보를 서버로부터 획득하고, 제어부는, 획득한 식별 정보를 기초로 제 1 단말기 및 적어도 하나의 제 2 단말기와 통신 세션을 설정한다.
일 실시예에 따라 복수의 단말기들간의 화면 공유를 제어하는 제 1 단말기는, 제 1 단말기의 화면 이미지를 적어도 하나의 제 2 단말기에 송신하는 릴레이 장치로부터, 제 1 단말기의 화면 이미지 송신에 관한 성능 정보 및 적어도 하나의 제 2 단말기가 포함된 네트워크의 상황 정보에 기초하여 결정된 제 1 단말기의 화면 이미지의 인코딩 품질에 관한 정보를 획득하는 통신부; 획득된 인코딩 품질에 관한 정보에 기초하여, 제 1 단말기의 화면 이미지에 대한 인코딩 품질을 결정하는 제어부; 및 결정된 인코딩 품질에 따라, 제 1 단말기의 화면 이미지를 인코딩하는 인코딩부를 포함하고, 통신부는, 인코딩된 화면 이미지를 릴레이 장치에 송신하고, 인코딩된 화면 이미지는 릴레이 장치를 통해 제 2 단말기에 송신된다.
일 실시예에 따라 복수의 단말기들간의 화면 공유를 제어하는 제 1 단말기에 있어서, 통신부는, 릴레이 장치에 제 1 단말기의 화면 이미지 송신에 관한 성능 정보를 송신한다.
일 실시예에 따라 복수의 단말기들간의 화면 공유를 제어하는 제 1 단말기에 있어서, 제어부는, 제 1 단말기의 화면 이미지를 수신하는 복수의 제 2 단말기들 각각의 성능 정보 및 복수의 제 2 단말기들 각각이 포함된 네트워크의 상황 정보에 기초하여, 복수의 제 2 단말기들 중 적어도 하나를 릴레이 장치로 선택하고, 통신부는, 릴레이 장치의 선택을 알리는 메시지를 복수의 제 2 단말기들 각각에 송신한다.
일 실시예에 따라 복수의 단말기들간의 화면 공유를 제어하는 제 1 단말기에 있어서, 제어부는, 릴레이 장치의 성능 및 릴레이 장치가 포함된 네트워크의 상황이 기 설정된 기준 범위를 벗어난 경우, 복수의 제 2 단말기들 중 성능 및 네트워크의 상황이 기 설정된 기준 범위에 대응되는 다른 제 2 단말기를 릴레이 장치로 재선택한다.
일 실시예에 따라 복수의 단말기들간의 화면 공유를 제어하는 제 2 단말기는 제 1 단말기의 화면 이미지를 수신하는 제 2 단말기가 제 2 단말기가 포함된 네트워크의 상황 정보를 획득하는 제어부; 및 획득된 네트워크의 상황 정보를 릴레이 장치에 송신하고, 릴레이 장치에서 결정된 인코딩 품질에 따라, 제 1 단말기에서 인코딩된 화면 이미지를 릴레이 장치로부터 수신하는 통신부를 포함하고, 인코딩 품질은 릴레이 장치가 획득한 제 1 단말기의 화면 이미지 송신에 관한 성능 정보 및 릴레이 장치를 통해 제 1 단말기의 화면 이미지를 수신하는 적어도 하나의 제 2 단말기가 포함된 네트워크의 상황 정보에 기초하여 결정된다.
도 1은 일 실시예에 따라 복수의 단말기들간의 화면 공유를 제어하는 통신 시스템을 설명하기 위한 도면이다.
도 2는 일 실시예에 따라 릴레이 장치가 복수의 단말기들간의 화면 공유를 제어하는 방법을 설명하기 위한 순서도이다.
도 3은 일 실시예에 따른 릴레이 장치가 복수의 단말기들간의 화면 공유를 제어하는 방법을 보다 상세하기 설명하기 위한 흐름도이다.
도 4는 일 실시예에 따른 제 1 단말기가 복수의 단말기들 간의 화면 공유를 제어하는 방법을 설명하기 위한 흐름도이다.
도 5는 일 실시예에 따른 제 2 단말기가 복수의 단말기들간의 화면 공유를 제어하는 방법을 설명하기 위한 흐름도이다.
도 6은 일 실시예에 따른 복수의 단말기들간의 화면 공유를 제어하는 통신 시스템의 동작을 설명하기 위한 흐름도이다.
도 7은 일 실시예에 따라 AP장치가 릴레이 장치로서 복수의 단말기들 간의 화면 공유를 제어하는 방법을 설명하기 위한 도면이다.
도 8은 일 실시예에 따른 통신 시스템에서 PTT서비스가 수행되는 경우, 릴레이 서버가 복수의 단말기들간의 화면 공유를 제어하는 방법을 설명하기 위한 도면이다.
도 9는 일 실시예에 따른 통신 시스템에서 복수의 AP 장치들과 유선으로 연결된 릴레이 장치가 복수의 단말기들간의 화면 공유를 제어하는 방법을 설명하기 위한 도면이다.
도 10은 일 실시예에 따른 통신 시스템에서 제 1 단말기가 복수의 제 2 단말기들 중 적어도 하나를 릴레이 장치로 선택하여, 선택된 릴레이 장치를 통해 제 1 단말기의 화면 이미지를 송신하는 방법을 설명하기 위한 흐름도이다.
도 11은 일 실시예에 따른 통신 시스템에서 복수의 제 2 단말기들 각각의 성능 및 복수의 제 2 단말기들 각각이 포함된 네트워크의 상황에 따라, 릴레이 장치를 재선택하는 방법을 보다 설명하기 위한 흐름도이다.
도 12는 일 실시예에 따라 제 1 단말기의 화면 이미지를 수신하는 복수의 제 2 단말기들 중 선택된 제 2 단말기가 릴레이 장치로서 제 1 단말기의 화면 이미지를 다른 제 2 단말기들에 송신하는 방법을 설명하기 위한 흐름도이다.
도 13은 일 실시예에 따라 릴레이 장치가 변경되는 경우 제 1 단말기의 화면 이미지를 복수의 제 2 단말기들 간에 공유하는 방법을 설명하기 위한 흐름도이다.
도 14는 일 실시예에 따른 릴레이 장치의 블록도이다.
도 15 및 도 16은 일 실시예에 따른 제 1 단말기의 블록도이다.
도 17 및 도 18은 일 실시예에 따른 제 2 단말기의 블록도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 일 실시예에 따라 복수의 단말기들(100, 300a, 300b, 300c)간의 화면 공유를 제어하는 통신 시스템(10, 이하, 통신 시스템)을 설명하기 위한 도면이다.
일 실시예에 따른 통신 시스템(10)은 복수의 단말기들(100, 300a, 300b, 300c) 및 릴레이 장치(200)를 포함할 수 있다.
도 1에 도시된 통신 시스템(10)에는 본 실시예와 관련된 구성 요소들만이 도시되어 있다. 따라서, 도 1에 도시된 구성 요소들 외에 다른 범용적인 구성 요소들이 더 포함될 수 있음을 본 실시예와 관련된 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다. 예를 들어, 도 1에 도시된 통신 시스템(10)은 복수의 단말기들(100, 300a, 300b, 300c) 및 릴레이 장치(200) 이외에도 서버 또는 다른 단말기를 더 포함할 수 있다.
복수의 단말기들(100, 300a, 300b, 300c) 중 제 1 단말기(100)는 복수의 제 2 단말기들(300a, 300b, 300c)과의 화면 공유 시, 공유 대상이 되는 화면 이미지를 송신하는 단말기이다. 여기에서, 화면 이미지는 제 1 단말기(100)의 화면에 출력되는 이미지를 나타낸다. 일 실시예에 따른 제 1 단말기(100)는 제 1 단말기(100)의 화면에 출력되는 이미지를 캡쳐하여 화면 이미지를 생성할 수 있다.
또한, 다른 실시예에 따라, 화면 이미지는 제 1 단말기(100)와 연결된 외부 디바이스의 화면에 출력되는 이미지일 수도 있다. 이러한 경우, 제 1 단말기(100)는 외부 디바이스로부터 외부 디바이스의 화면을 캡쳐한 이미지를 수신할 수 있다.
한편, 제1 단말기(100)는 화면 이미지를 특정 인코딩 품질에 따라, 인코딩할 수 있다. 여기에서, 인코딩 품질은 프레임 레이트 및 해상도 중 적어도 하나를 포함할 수 있다. 다만, 이는 일 실시예일 뿐, 다른 예에 따라, 인코딩 품질에는 프레임 레이트 및 해상도 뿐만 아니라 비트레이트, FEC(Forward Error Correction) 레이트 및 인트라 리프레쉬(Intra Refresh) 적용 여부 등의 코덱 설정 정보가 더 포함될 수도 있다.
한편, 제 1 단말기(100)는 릴레이 장치(200)로부터 화면 이미지의 인코딩 품질에 관한 정보를 수신할 수 있다. 제 1 단말기(100)는 릴레이 장치(200)로부터 수신한 인코딩 품질에 관한 정보에 기초하여, 제 1 단말기의 화 이미지를 인코딩할 수 있다.
일 실시예에 따른 제 1 단말기(100)는 인코딩된 화면 이미지를 릴레이 장치(200)에 송신할 수 있다. 예를 들어, 제 1 단말기(100)는 패킷 및 세그먼트 등의 데이터 단위로 인코딩된 화면 이미지를 릴레이 장치(200)에 송신할 수 있다.
복수의 단말기들(100, 300a, 300b, 300c)간의 화면 공유를 제어하는 릴레이 장치(200)는 제 1 단말기(100)로부터 인코딩된 화면 이미지를 수신할 수 있다. 또한, 릴레이 장치(200)는 수신한 화면 이미지를 복수의 제 2 단말기들(300a, 300b, 300c)에 각각 송신할 수 있다.
한편, 릴레이 장치(200)는 제 1 단말기(100)에서 인코딩되는 제 1 단말기(100)의 화면 이미지의 인코딩 품질을 결정할 수 있다. 일 실시예에 따라, 릴레이 장치(200)는 제 1 단말기(100)의 성능 및 복수의 제 2 단말기들(300a, 300b, 300c) 각각이 포함된 네트워크의 상황에 기초하여, 제 1 단말기(100)의 화면 이미지에 대한 인코딩 품질을 결정할 수 있다.
여기에서, 제 1 단말기(100)의 화면 이미지 송신에 관한 성능 정보는 제 1 단말기(100)의 CPU 사용량, 인코딩 처리 시간 및 프레임 레이트 등에 관한 정보를 포함할 수 있다. 또한, 복수의 제 2 단말기들(300a, 300b, 300c) 각각이 포함된 네트워크의 상황 정보에는 RTT(Round Trip Time), 데이터 송수신 지연 시간 및 데이터 손실률 등에 관한 정보가 포함될 수 있다. 다만, 이는 일 실시예일 뿐, 복수의 제 2 단말기들(300a, 300b, 300c) 각각이 포함된 네트워크의 상황 정보에는 제 2 단말기들(300a, 300b, 300c)이 포함된 네트워크의 혼잡도(congestion)를 나타낼 수 있는 다른 정보들이 더 포함될 수도 있다.
한편, 다른 실시예에 따라, 릴레이 장치(100)는 제 1 단말기(100)의 화면 이미지 송신에 관한 성능 정보, 제 1 단말기(100)가 포함된 네트워크의 상황 정보 및 복수의 제 2 단말기들(300a, 300b, 300c) 각각이 포함된 네트워크의 상황 정보에 기초하여 제 1 단말기(100)의 화면 이미지에 관한 인코딩 품질을 결정할 수도 있다. 예를 들어, 릴레이 장치(100)와 제 1 단말기(100) 간에 무선 통신이 설정된 경우, 릴레이 장치(100)는 제 1 단말기(100)가 포함된 네트워크의 상황 정보를 고려함으로써, 릴레이 장치(100)와 제 1 단말기(100) 간의 네트워크에서 혼잡이 발생하는 것을 방지할 수 있다.
일 실시예에 따른 복수의 제 2 단말기들(300a, 300b, 300c)은 제 1 단말기(100)와의 화면 공유 시, 공유 대상이 되는 화면 이미지를 수신하는 단말기이다. 복수의 제 2 단말기들(300a, 300b, 300c) 각각은 릴레이 장치(200)로부터 제 1 단말기(100)의 화면 이미지를 수신할 수 있다. 복수의 제 2 단말기들(300a, 300b, 300c) 각각이 제 1 단말기(100)의 화면 이미지를 수신하게 되면, 복수의 제 2 단말기들(300a, 300b, 300c) 각각은 제 1 단말기(100)의 화면 이미지에 대응되는 이미지를 공유할 수 있다.
한편, 일 실시예에 따른 복수의 단말기들(100, 300a, 300b, 300c)은 PC(Personal Computer), 스마트폰, 태블릿 및 웨어러블 디바이스 등을 포함할 수 있다. 또한, 릴레이 장치(200)는 서버, PC(Personal Computer), 스마트폰, 태블릿 및 웨어러블 디바이스 등을 포함할 수 있다.
도 2는 일 실시예에 따라 릴레이 장치가 복수의 단말기들간의 화면 공유를 제어하는 방법을 설명하기 위한 순서도이다.
단계 S210에서, 릴레이 장치는 화면 이미지를 송신하는 제 1 단말기의 화면 이미지 송신에 관한 성능 정보 및 화면 이미지를 수신하는 적어도 하나의 제 2 단말기가 포함된 네트워크의 상황 정보를 획득한다.
일 실시예에 따른 릴레이 장치는 제 1 단말기로부터 제 1 단말기의 화면 이미지 송신에 관한 성능 정보를 획득할 수 있다. 예를 들어, 릴레이 장치는 제 1 단말기(100)의 CPU 사용량, 인코딩 처리 시간 및 프레임 레이트 등에 관한 정보를 획득할 수 있다. 릴레이 장치가 제 1 단말기의 화면 이미지 송신에 관한 성능 정보를 획득하는 데에는 RTCP(Real Time Control Protocol), RTP(Real Time Protocol), SIP(Session Initiation Protocol) 및 XMPP(Extensible Messaging and Presence Protocol) 중 적어도 하나의 프로토콜이 이용될 수 있다.
또한, 일 실시예에 따른 릴레이 장치는 제 1 단말기의 화면 이미지를 수신하는 적어도 하나의 제 2 단말기로부터 적어도 하나의 제 2 단말기가 포함된 네트워크의 상황 정보를 획득할 수 있다. 예를 들어, 릴레이 장치는 적어도 하나의 제 2 단말기가 포함된 네트워크의 RTT, 데이터 송수신 지연 시간 및 데이터 손실률 중 적어도 하나에 관한 정보를 획득할 수 있다. 릴레이 장치는 RTCP, RTP Extension, SIP 및 XMPP 중 적어도 하나의 프로토콜에 기초하여, 적어도 하나의 제 2 단말기가 포함된 네트워크의 상황 정보를 수신할 수 있다.
단계 S220에서, 릴레이 장치는 성능 정보 및 네트워크의 상황 정보에 기초하여, 제 1 단말기의 화면 이미지에 대한 인코딩 품질을 결정한다.
일 실시예에 따른 릴레이 장치는 적어도 하나의 제 2 단말기로부터 수신한 네트워크의 상황 정보에 기초하여, 적어도 하나의 제 2 단말기가 포함된 네트워크에 혼잡(congestion)을 발생시키지 않을 수 있는 제 1 단말기의 화면 이미지 송신을 위한 비트레이트를 결정할 수 있다. 여기에서, 릴레이 장치에는 네트워크의 상황 정보에 포함된 RTT, 데이터 송수신 지연 시간 및 데이터 손실률 중 적어도 하나의 값에 따라 기 설정된 비트레이트 값이 미리 저장될 수 있다. 릴레이 장치는 미리 저장된 정보를 기초로 수신한 네트워크의 상황 정보에 따라 제 1 단말기의 화면 이미지 송신을 위한 비트레이트를 결정할 수 있다.
또한, 릴레이 장치는 결정된 비트레이트 및 제 1 단말기의 화면 이미지 송신에 관한 성능 정보를 이용하여, 제 1 단말기에서 인코딩되는 화면 이미지의 인코딩 품질을 결정할 수 있다. 예를 들어, 릴레이 장치는 결정된 비트레이트에 따라 설정된 프레임 레이트가 fps_1이고, 제 1 단말기에서 송신 가능한 프레임 레이트가 fps_2인 경우, fps_1 및 fps_2 중 더 낮은 프레임 레이트를 선택할 수 있다.
다만, 이는 일 실시예일 뿐, 릴레이 장치는 결정된 비트레이트에 기초하여, 제 1 단말기에서 인코딩되는 화면 이미지의 해상도, FEC 레이트 및 인트라 리프레쉬 적용 여부 등을 결정할 수도 있다.
일 실시예에 따른 릴레이 장치는 적어도 하나의 제 2 단말기가 포함된 네트워크의 상황 정보 뿐만 아니라, 제 1 단말기의 화면 이미지 송신에 관한 성능 정보를 고려하여 인코딩 품질을 결정함으로써, 허용된 네트워크 망의 범위 내에서 최대 화질의 화면 이미지가 공유될 수 있도록 복수의 단말기들 간의 화면 이미지의 송수신을 제어할 수 있다.
단계 S230에서, 릴레이 장치는 결정된 인코딩 품질에 기초하여, 제 1 단말기에서 인코딩된 화면 이미지를 수신한다.
일 실시예에 따른 릴레이 장치는 결정된 인코딩 품질에 관한 정보를 제 1 단말기에 송신할 수 있다. 여기에서, 릴레이 장치는 제 1 단말기로부터 화면 이미지를 수신하는 채널과 별도로 인코딩 품질에 관한 정보를 제 1 단말기에 송신하기 위한 채널을 설정할 수 있다. 다만, 이는 일 실시예일 뿐, 릴레이 장치는 제 1 단말기로부터 화면 이미지를 수신하는 채널을 이용하여, 제 1 단말기에 결정된 인코딩 품질에 관한 정보를 송신할 수도 있다.
제 1 단말기는 릴레이 장치로부터 수신한 인코딩 품질에 관한 정보에 기초하여, 제 1 단말기의 화면 이미지를 인코딩하기 위한 프레임 레이트, 해상도, FEC 레이트 및 인트라 리프레쉬 적용 여부 중 적어도 하나를 결정할 수 있다.
일 실시예에 따른 릴레이 장치는 제 1 단말기로부터 인코딩 품질에 관한 정보에 따라 인코딩된 화면 이미지를 수신할 수 있다. 예를 들어, 릴레이 장치는 제 1 단말기로부터 패킷 및 세그먼트 등의 데이터 단위에 따라 인코딩된 화면 이미지를 수신할 수 있다.
단계 S240에서, 릴레이 장치는 수신된 화면 이미지를 적어도 하나의 제 2 단말기에 송신한다.
일 실시예에 따른 릴레이 장치는 수신된 화면 이미지를 적어도 하나의 제 2 단말기에 각각 송신할 수 있다. 적어도 하나의 제 2 단말기는 릴레이 장치로부터 화면 이미지를 수신함에 따라, 제 1 단말기의 화면 이미지와 대응되는 화면 이미지를 공유할 수 있다.
도 3은 일 실시예에 따른 릴레이 장치가 복수의 단말기들간의 화면 공유를 제어하는 방법을 보다 상세하기 설명하기 위한 흐름도이다.
단계 S310에서, 릴레이 장치는 화면 이미지를 송신하는 제 1 단말기의 화면 이미지 송신에 관한 성능 정보 및 화면 이미지를 수신하는 적어도 하나의 제 2 단말기가 포함된 네트워크의 상황 정보를 획득할 수 있다.
단계 S310은 도 2를 참조하여 전술한 단계 S210과 대응될 수 있다.
단계 S320에서, 릴레이 장치는 적어도 하나의 제 2 단말기의 네트워크 상황 정보에 기초하여, 적어도 하나의 제 2 단말기에 제 1 단말기의 화면 이미지를 송신하기 위한 비트레이트를 결정할 수 있다.
일 실시예에 따른 릴레이 장치는 적어도 하나의 제 2 단말기의 네트워크 상황 정보에 포함된 RTT, 데이터 송수신 지연 시간 및 데이터 손실률 중 적어도 하나에 관한 정보에 기초하여, 적어도 하나의 제 2 단말기가 포함된 네트워크의 혼잡도를 예측할 수 있다. 릴레이 장치는 예측된 네트워크의 혼잡도에 기초하여, 적어도 하나의 제 2 단말기가 포함된 네트워크에 혼잡을 발생시키지 않을 수 있는 비트레이트를 결정할 수 있다.
단계 S330에서, 릴레이 장치는 결정된 비트레이트 및 제 1 단말기의 화면 이미지 송신에 관한 성능 정보에 기초하여, 제 1 단말기의 화면 이미지에 대한 인코딩 품질을 결정할 수 있다.
릴레이 장치가 결정된 비트레이트에 기초하여, 제 1 단말기의 화면 이미지에 대한 프레임 레이트를 15fps로 설정한 경우, 제 1 단말기의 성능이 설정된 프레임 레이트를 처리하지 못하는 경우가 발생할 수 있다. 일 실시예에 따른 릴레이 장치는 제 1 단말기의 화면 이미지 송신에 관한 성능 정보에 기초하여, 제 1 단말기의 화면 이미지에 대한 인코딩 품질을 결정함으로써, 복수의 단말기들간에 공유되는 화면 이미지의 품질이 열화되는 것을 방지할 수 있다.
예를 들어, 릴레이 장치는 결정된 비트레이트에 따른 프레임 레이트가 15fps이고, 제 1 단말기에서 처리 가능한 화면 이미지의 프레임 레이트가 3fps인 경우, 제 1 단말기의 화면 이미지가 인코딩 되는 프레임 레이트를 3fps로 선택할 수 있다.
한편, 릴레이 장치는 프레임 레이트 뿐만 아니라, 해상도, FEC 레이트, 인프라 리프레쉬 적용 여부 등에 관한 코덱 설정 정보를 결정된 비트레이트 및 제 1 단말기의 화면 이미지 송신에 관한 성능 정보에 기초하여 결정할 수 있다.
단계 S340에서, 릴레이 장치는 결정된 인코딩 품질에 관한 정보를 제 1 단말기에 송신할 수 있다.
일 실시예에 따른 릴레이 장치는 결정된 인코딩 품질에 관한 정보를 RTCP, RTP Extension, SIP 및 XMPP 중 적어도 하나의 프로토콜에 기초하여, 제 1 단말기에 송신할 수 있다.
단계 S350에서, 릴레이 장치는 결정된 인코딩 품질에 기초하여 인코딩 된 화면 이미지를 제 1 단말기로부터 수신할 수 있다.
일 실시예에 따른 릴레이 장치는 인코딩된 화면 이미지를 패킷 및 세그먼트 등의 데이터 단위에 따라 제 1 단말기로부터 수신할 수 있다.
단계 S360에서, 릴레이 장치는 수신된 화면 이미지를 적어도 하나의 제 2 단말기에 송신할 수 있다.
단계 S360은 도 2를 참조하여 전술한 단계 S240과 대응될 수 있다.
도 4는 일 실시예에 따른 제 1 단말기가 복수의 단말기들 간의 화면 공유를 제어하는 방법을 설명하기 위한 흐름도이다.
단계 S410에서, 제 1 단말기는 제 1 단말기의 화면 이미지를 적어도 하나의 제 2 단말기에 송신하는 릴레이 장치로부터 제1 단말기의 화면 이미지의 인코딩 품질에 관한 정보를 획득한다. 여기에서, 제 1 단말기는 화면 이미지를 공유하는 복수의 단말기들 중에서 화면 이미지를 송신하는 단말기이다.
일 실시예에 따른 제 1 단말기는 릴레이 장치로부터 제 1 단말기의 화면 이미지 송신에 관한 성능 정보 및 제 1 단말기의 화면 이미지를 수신하는 적어도 하나의 제 2 단말기가 포함된 네트워크의 상황 정보에 기초하여 결정된 인코딩 품질에 관한 정보를 획득할 수 있다.
단계 S420에서, 제 1 단말기는 획득된 인코딩 품질에 관한 정보에 기초하여, 제 1 단말기의 화면 이미지를 인코딩한다.
일 실시예에 따른 제 1 단말기는 제 1 단말기의 화면에 출력되는 이미지를 캡쳐하여 화면 이미지를 생성할 수 있다. 또한, 제 1 단말기는 인코딩 품질에 관한 정보에 기초하여 특정된 프레임 레이트에 따라 화면 이미지를 인코딩할 수 있다. 다만, 이는 일 실시예일 뿐, 제 1 단말기는 인코딩 품질에 관한 정보에 기초하여, 해상도, FEC 레이트 및 인프라 리프레쉬 적용 여부 중 적어도 하나를 결정할 수도 있다.
단계 S430에서, 제 1 단말기는 인코딩된 화면 이미지를 릴레이 장치에 송신한다.
일 실시예에 따른 제 1 단말기는 패킷 및 세그먼트 등의 데이터 단위로 릴레이 장치에 화면 이미지를 송신할 수 있다.
한편, 제 1 단말기는 제 1 단말기와 화면 이미지를 공유하는 적어도 하나의 제 2 단말기가 포함된 네트워크의 상황이 변함에 따라, 릴레이 장치에서 변경되는 인코딩 품질에 관한 정보를 실시간으로 피드백 받을 수 있다. 제 1 단말기는 인코딩 품질이 변경된 경우, 변경된 인코딩 품질에 따라 인코딩된 화면 이미지를 릴레이 장치에 송신할 수 있다.
도 5는 일 실시예에 따른 제 2 단말기가 복수의 단말기들간의 화면 공유를 제어하는 방법을 설명하기 위한 흐름도이다.
단계 S510에서, 제 2 단말기는 제 2 단말기의 네트워크 상황에 관한 정보를 릴레이 장치에 송신한다.
일 실시예에 따른 제 2 단말기는 RTCP, RTP Extension, SIP 및 XMPP 중 적어도 하나의 프로토콜에 기초하여, 제 2 단말기가 포함된 네트워크의 상황 정보를 릴레이 장치에 송신할 수 있다. 여기에서, 제 2 단말기가 포함된 네트워크의 상황 정보에는 RTT, 데이터 송수신 지연 시간 및 데이터 손실률 중 적어도 하나에 관한 정보가 포함될 수 있다.
단계 S520에서, 제 2 단말기는 릴레이 장치에서 결정된 인코딩 품질에 따라, 제 1 단말기에서 인코딩된 화면 이미지를 릴레이 장치로부터 수신할 수 있다.
일 실시예에 따른 제 2 단말기는 릴레이 장치로부터 패킷 및 세그먼트 등의 데이터 단위에 따라 제 1 단말기에서 인코딩된 화면 이미지를 수신할 수 있다.
도 6은 일 실시예에 따른 복수의 단말기들간의 화면 공유를 제어하는 통신 시스템의 동작을 설명하기 위한 흐름도이다.
도 6에서는 설명의 편의를 위해, 하나의 제 2 단말기에 대한 동작만을 설명하였으나, 이는 일 실시예일 뿐, 통신 시스템 내에 복수의 제 2 단말기들이 포함될 수 있다. 복수의 제 2 단말기들이 통신 시스템에 포함된 경우, 복수의 제 2 단말기들 각각의 동작은 도 6을 참조하여 설명한 제 2 단말기의 동작과 대응될 수 있다.
단계 S610에서, 제 1 단말기는 제 1 단말기의 화면 이미지 송신에 관한 성능 정보를 릴레이 장치에 송신할 수 있다.
일 실시예에 따른 제 1 단말기는 릴레이 장치에 화면 이미지를 송신하기 위한 채널 이외에, 성능 정보를 송신하기 위한 채널을 별도로 설정할 수 있다. 다만, 이는 일 실시예일 뿐, 제 1 단말기는 릴레이 장치에 화면 이미지를 송신하는 채널을 통해, 성능 정보를 송신할 수도 있다.
단계 S620에서, 제 2 단말기는 제 2 단말기가 포함된 네트워크 상황의 정보를 릴레이 장치에 송신할 수 있다.
한편, 단계 S610 및 S620가 실행되는 순서는 서로 변경될 수 있다.
단계 S630에서, 릴레이 장치는 제 1 단말기의 화면 이미지 송신에 관한 성능 정보 및 제 2 단말기가 포함된 네트워크 상황의 정보에 기초하여 제 1 단말기의 화면 이미지의 인코딩 품질을 결정할 수 있다.
단계 S640에서, 릴레이 장치는 결정된 인코딩 품질에 관한 정보를 제 1 단말기에 송신할 수 있다.
단계 S650에서, 제 1 단말기는 인코딩 품질에 관한 정보에 기초하여, 제 1 단말기의 화면 이미지를 인코딩할 수 있다.
예를 들어, 제 1 단말기는 인코딩 품질에 관한 정보에 포함된 프레임 레이트 및 해상도에 기초하여 제 1 단말기의 화면 이미지를 인코딩할 수 있다.
단계 S660에서, 제 1 단말기는 인코딩된 화면 이미지를 릴레이 장치에 송신할 수 있다.
단계 S670에서, 릴레이 장치는 수신된 화면 이미지를 제 2 단말기에 송신할 수 있다.
일 실시예에 따른 릴레이 장치에서 수신된 화면 이미지를 제 2 단말기에 송신함에 따라, 제 1 단말기 및 제 2 단말기는 서로 대응되는 화면 이미지를 공유할 수 있다.
도 7은 일 실시예에 따라 AP(Access Point) 장치가 릴레이 장치로서 복수의 단말기들 간의 화면 공유를 제어하는 방법을 설명하기 위한 도면이다.
도 7의 일 실시예에서는 AP 장치(720)가 도 2를 참조하여 전술한 릴레이 장치와 대응되는 동작을 수행할 수 있다.
화면 이미지를 공유하는 복수의 단말기들(710, 730a, 730b, 730c) 중에서, 화면 이미지를 송신하는 제 1 단말기(710)는 화면 이미지를 수신하는 복수의 제 2 단말기들(730a, 730b, 730c)의 IP 정보를 AP 장치(720)에 송신할 수 있다. 또한, 제 1 단말기(710)는 제 1 단말기(710)의 화면 이미지 송신에 관한 성능 정보를 AP 장치(720)에 송신할 수 있다. 제 1 단말기(710)의 화면 이미지 송신에 관한 성능 정보는 AP 장치(720)에서 제 1 단말기(710)의 화면 이미지의 인코딩 품질을 결정하는데 이용될 수 있다.
한편, 일 실시예에 따른 AP 장치(720)는 복수의 제 2 단말기들(730a, 730b, 730c) 각각으로부터 복수의 제 2 단말기들(730a, 730b, 730c)이 각각 포함된 네트워크의 상황 정보를 수신할 수 있다. 예를 들어, AP 장치(720)는 RTCP 프로토콜을 통해 복수의 제 2 단말기들(730a, 730b, 730c) 각각으로부터 복수의 제 2 단말기들(730a, 730b, 730c)각각이 포함된 네트워크의 상황 정보를 수신할 수 있다.
AP 장치(720)는 제 1 단말기(710)의 화면 이미지 송신에 관한 성능 정보 및 복수의 제 2 단말기들(730a, 730b, 730c) 각각이 포함된 네트워크 상황 정보에 기초하여, 제 1 단말기(710)의 화면 이미지의 인코딩 품질을 결정할 수 있다. AP 장치(720)는 결정된 인코딩 품질에 관한 정보는 제 1 단말기(710)에 송신할 수 있다.
제 1 단말기(710)는 AP장치(720)로부터 수신한 인코딩 품질에 관한 정보에 기초하여, 제 1 단말기(710)의 화면 이미지를 인코딩할 수 있다. 제 1 단말기(710)는 인코딩된 화면 이미지를 AP 장치(720)에 송신할 수 있다.
일 실시예에 따른 AP 장치(720)는 제 1 단말기(710)로부터 수신한 화면 이미지를 복수의 제 2 단말기들(730a, 730b, 730c) 각각에 송신할 수 있다. AP 장치(720)는 제 1 단말기(710)로부터 미리 수신된 IP 정보를 기초로 복수의 제 2 단말기들 각각에 제 1 단말기(710)로부터 수신한 화면 이미지를 송신할 수 있다.
도 8은 일 실시예에 따른 통신 시스템(800)에서 PTT(Push To Talk) 서비스가 수행되는 경우, 릴레이 서버(820)가 복수의 단말기들(810, 830a, 830b, 830c) 간의 화면 공유를 제어하는 방법을 설명하기 위한 도면이다.
일 실시예에 따른 통신 시스템(800)은 복수의 단말기들(810, 830a, 830b, 830c), 시그널링 서버(815) 및 릴레이 서버(820)를 포함할 수 있다.
도 8에 도시된 통신 시스템(800)에는 본 실시예와 관련된 구성 요소들만이 도시되어 있다. 따라서, 도 8에 도시된 구성 요소들 외에 다른 범용적인 구성 요소들이 더 포함될 수 있음을 본 실시예와 관련된 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
도 8을 참조하면, 통신 시스템(800)에서 수행되는 PTT 서비스는 단방향 영상 송신 서비스로서, 제 1 단말기(810)의 화면 이미지가 릴레이 서버(830)를 통해 복수의 제 2 단말기들(830a, 830b, 830c) 각각에 송신될 수 있다.
한편, 통신 시스템(800)에서 시그널링 서버(815)는 제 1 단말기(810) 및 복수의 제 2 단말기들(830a, 830b, 830c)의 식별 정보를 획득할 수 있다. 여기에서, 식별 정보는 IP 정보 및 포트 정보 중 적어도 하나를 포함할 수 있다. 또한, 시그널링 서버(815)는 획득한 제 1 단말기(810) 및 복수의 제 2 단말기들(830a, 830b, 830c)의 식별 정보를 릴레이 서버(820)에 제공할 수 있다.
일 실시예에 따른 릴레이 서버(820)는 시그널링 서버(815)로부터 제공받은 제 1 단말기(810) 및 복수의 제 2 단말기들(830a, 830b, 830c)의 식별 정보에 기초하여, 제 1 단말기(810)로부터 수신한 제 1 단말기(810)의 화면 이미지를 복수의 제 2 단말기들(830a, 830b, 830c) 각각에 송신할 수 있다.
한편, 일 실시예에 따른 릴레이 서버(820)는 제 1 단말기(810)의 화면 이미지 송신에 관한 성능 정보를 제 1 단말기(810)로부터 수신할 수 있다. 또한, 릴레이 서버(820)는 복수의 제 2 단말기들(830a, 830b, 830c) 각각으로부터 복수의 제 2 단말기들(830a, 830b, 830c)이 각각 포함된 네트워크의 상황 정보를 수신할 수 있다. 예를 들어, 릴레이 서버(820)는 RTCP 프로토콜을 통해 복수의 제 2 단말기들(830a, 830b, 830c) 각각으로부터 복수의 제 2 단말기들(830a, 830b, 830c)각각이 포함된 네트워크의 상황 정보를 수신할 수 있다.
릴레이 서버(820)는 제 1 단말기(810)의 화면 이미지 송신에 관한 성능 정보 및 복수의 제 2 단말기들(830a, 830b, 830c) 각각이 포함된 네트워크 상황 정보에 기초하여, 제 1 단말기(810)의 화면 이미지의 인코딩 품질을 결정할 수 있다. 릴레이 서버(820)는 결정된 인코딩 품질에 관한 정보를 제 1 단말기(810)에 송신할 수 있다.
제 1 단말기(810)는 릴레이 서버(820)로부터 수신한 인코딩 품질에 관한 정보에 기초하여, 제 1 단말기(810)의 화면 이미지를 인코딩할 수 있다. 제 1 단말기(810)는 인코딩된 화면 이미지를 릴레이 서버(820)에 송신할 수 있다. 릴레이 서버(820)는 제 1 단말기(810)로부터 수신한 화면 이미지를 시그널링 서버(815)로부터 제공 받은 복수의 제 2 단말기들(830a, 830b, 830c) 각각의 식별 정보에 기초하여, 복수의 제 2 단말기들(830a, 830b, 830c)에 각각 송신할 수 있다.
도 9는 일 실시예에 따른 통신 시스템(900)에서 복수의 AP 장치들(915, 925)과 유선으로 연결된 릴레이 장치(920)가 복수의 단말기들(910, 930a, 930b, 930c) 간의 화면 공유를 제어하는 방법을 설명하기 위한 도면이다.
일 실시예에 따른 통신 시스템(900)은 복수의 단말기들(910, 930a, 930b, 930c), 복수의 AP 장치들(915, 925) 및 릴레이 장치(920)를 포함할 수 있다.
도 9에 도시된 통신 시스템(900)에는 본 실시예와 관련된 구성 요소들만이 도시되어 있다. 따라서, 도 9에 도시된 구성 요소들 외에 다른 범용적인 구성 요소들이 더 포함될 수 있음을 본 실시예와 관련된 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
도 9를 참조하면, 통신 시스템(900)에서 릴레이 장치(920)는 제 1 AP 장치(915) 및 제 2 AP 장치(925)와 유선으로 연결될 수 있다.
일 실시예에 따른 통신 시스템(900)에서, 제 1 AP 장치(915)에는 제 1 단말기(910)의 IP 주소 정보가 미리 설정될 수 잇다. 제 1 AP 장치(915)는 제 1 단말기(910)의 IP 주소 정보를 기초로 제 1 단말기(910)와 통신 세션을 설정할 수 있다. 제 1 AP 장치(915)는 제 1 단말기(910)와 통신 세션이 설정됨에 따라, 제 1 단말기(910)로부터 인코딩 된 제 1 단말기(910)의 화면 이미지를 수신할 수 있다. 제 1 AP 장치(915)는 수신한 화면 이미지를 릴레이 장치(920)에 송신할 수 있다.
일 실시예에 따른 릴레이 장치(920)는 수신한 화면 이미지를 제 2 AP 장치(925)를 통해 복수의 제 2 단말기들(930a, 930b, 930c) 각각에 송신할 수 있다. 제 2 AP 장치(925)에는 복수의 제 2 단말기들(930a, 930b, 930c) 각각의 IP 주소 정보가 미리 설정될 수 있다. 제 2 AP 장치(925)는 복수의 제 2 단말기들(930a, 930b, 930c) 각각의 IP 주소 정보에 기초하여, 릴레이 장치(920)로부터 수신한 제 1 단말기(910)의 화면 이미지를 복수의 제 2 단말기들(930a, 930b, 930c)에 각각 송신할 수 있다.
한편, 일 실시예에 따른 릴레이 장치(920)는 제 1 단말기(910)의 화면 이미지 송신에 관한 성능 정보를 제 1 AP 장치(915)를 통해 제 1 단말기(910)로부터 수신할 수 있다. 또한, 릴레이 장치(920)는 복수의 제 2 단말기들(930a, 930b, 930c)이 각각 포함된 네트워크의 상황 정보를 제 2 AP 장치(925)를 통해 복수의 제 2 단말기들(930a, 930b, 930c) 각각으로부터 수신할 수 있다.
릴레이 서버(920)는 제 1 단말기(910)의 화면 이미지 송신에 관한 성능 정보 및 복수의 제 2 단말기들(930a, 930b, 930c) 각각이 포함된 네트워크 상황 정보에 기초하여, 제 1 단말기(910)의 화면 이미지의 인코딩 품질을 결정할 수 있다. 릴레이 서버(920)는 결정된 인코딩 품질에 관한 정보를 제 1 AP 장치(915)를 통해, 제 1 단말기(910)에 송신할 수 있다.
한편, 일 실시예에 따른 통신 시스템(900)에서 릴레이 장치(920)는 제 1 AP 장치(915) 및 제 2 AP 장치(925)와 각각 유선 통신을 수행할 수 있다. 릴레이 장치(920)가 제 1 AP 장치(915) 및 제 2 AP 장치(925)와 각각 유선 통신을 수행함에 따라, 복수의 단말기들(910, 930a, 930b, 930c) 간의 화면 공유를 제어하는데 필요한 무선 네트워크 망의 대역폭 사용을 줄일 수 있다.
도 10은 일 실시예에 따른 통신 시스템에서 제 1 단말기가 복수의 제 2 단말기들 중 적어도 하나를 릴레이 장치로 선택하여, 선택된 릴레이 장치를 통해 제 1 단말기의 화면 이미지를 송신하는 방법을 설명하기 위한 흐름도이다.
단계 S1010에서, 제 1 단말기는 제 1 단말기의 화면 이미지를 수신하는 복수의 제 2 단말기들의 성능 정보 및 복수의 제 2 단말기들 각각이 포함된 네트워크 상황 정보에 기초하여 복수의 제 2 단말기들 중 어느 하나를 릴레이 장치로 선택할 수 있다.
일 실시예에 따른 제 1 단말기는 제 1 단말기의 화면 이미지를 복수의 제 2 단말기들에 각각 송신할 수 있다. 여기에서, 제 1 단말기는 미리 설정된 송신 대역폭의 범위 내에서 복수의 제 2 단말기들에 각각 제 1 단말기의 화면 이미지를 송신할 수 있다.
한편, 일 실시예에 따른 제 1 단말기는 화면 이미지를 송신하는데 필요한 대역폭이 기 설정된 대역폭을 초과하는 경우, 복수의 제 2 단말기들 중 적어도 하나를 릴레이 장치로 선택할 수 있다. 예를 들어, 화면 이미지의 데이터량이 증가하거나 제 1 단말기의 화면 이미지를 수신하는 제 2 단말기의 수가 증가하는 경우, 화면 이미지를 송신하는데 필요한 대역폭이 기 설정된 대역폭을 초과할 수 있다. 이러한 경우, 제 1 단말기는 복수의 제 2 단말기들 중에서 선택된 릴레이 장치를 통해, 다른 제 2 단말기들에 각각 제 1 단말기의 화면 이미지를 송신할 수 있다.
제 1 단말기는 복수의 제 2 단말기들로부터 획득한 복수의 제 2 단말기들의 성능 정보 및 복수의 제 2 단말기들 각각이 포함된 네트워크의 상황 정보를 기초로, 릴레이 장치를 선택할 수 있다.
예를 들어, 제 1 단말기는 획득된 복수의 제 1 단말기들의 성능 정보 및 제 2 단말기들 각각이 포함된 네트워크의 상황 정보에 기초하여, 성능 및 네트워크의 상황이 기 설정된 기준 범위에 대응되는 적어도 하나의 제 2 단말기를 릴레이 장치로 선택할 수 있다. 여기에서, 기준 범위는 RTT, 데이터 송수신 지연 시간, 데이터 손실률, 프레임 레이트, 해상도 및 인코더의 처리 시간 등에 관해 설정될 수 있다.
또한, 다른 예에 따라 제 1 단말기는 복수의 제 2 단말기들에 대해 성능 및 네트워크의 상황에 따라, 순위를 결정하고, 순위가 높은 일부 제 2 단말기들을 릴레이 장치로 선택할 수 있다. 여기에서, 제 1 단말기는 RTT, 데이터 송수신 지연 시간, 데이터 손실률, 프레임 레이트, 해상도 및 인코더의 처리 시간 등에 따라 복수의 제 2 단말기들 각각의 순위를 결정할 수 있다.
한편, 제 1 단말기는 복수의 제 2 단말기들의 수(N), 제 2 단말기에서 송신 가능한 화면 이미지의 쓰루풋(throughput, TH) 및 화면 이미지의 최대 비트레이트(Bmax) 등을 기초로 릴레이 장치의 개수(M)를 선택할 수 있다. 예를 들어, 제 1 단말기는 다음의 수학식 1에 의해 결정된 범위 내에서 릴레이 장치의 개수(M)를 선택할 수 있다.
[수학식 1]
Bmax * N/TH < M < TH/Bmax
또한, 다른 실시예에 따라 제 1 단말기는 제 1 단말기와 연결되는 릴레이 장치의 개수와 릴레이 장치 별로 연결되는 제 2 단말기의 개수를 동일하게 설정하기 위해, 다음의 수학식 2를 통해 릴레이 장치의 개수를 결정할 수도 있다.
[수학식 2]
N/M=M
한편, 전술한 예는 제 1 단말기에서 릴레이 장치의 개수를 선택하기 위한 일 예일 뿐, 본 발명이 이에 한정되는 것은 아니다.
단계 S1020에서, 제 1 단말기는 릴레이 장치가 선택됨을 알리는 메시지를 복수의 제 2 단말기들 각각에 송신할 수 있다. 여기에서, 릴레이 장치가 선택됨을 알리는 메시지에는 선택된 릴레이 장치에 관한 식별 정보 및 화면 공유의 모드가 제 1 단말기의 화면 이미지가 릴레이 장치를 통해 송신되는 릴레이 모드로 전환됨을 알리는 모드 정보가 포함될 수 있다. 릴레이 장치에 관한 식별 정보에는 릴레이 장치의 IP 주소 및 포트 번호 중 적어도 하나에 관한 정보가 포함될 수 있다. 다만, 이는 일 실시예일 뿐, 릴레이 장치에 관한 식별 정보가 이에 한정되는 것은 아니다.
단계 S1030에서, 제 1 단말기는 선택된 릴레이 장치에 제 1 단말기의 화면 이미지를 송신할 수 있다. 일 실시예에 따라, 제 1 단말기로부터 송신된 화면 이미지는 선택된 릴레이 장치를 통해 복수의 제 2 단말기들 각각에 송신될 수 있다.
일 실시예에 따른 제 1 단말기는 복수의 제 2 단말기들 각각이 릴레이 장치가 선택됨을 알리는 메시지를 수신하였음을 확인한 시점으로부터, 기 설정된 시간 이후에 제 1 단말기의 화면 이미지를 송신할 수 있다. 예를 들어, 제 1 단말기는 릴레이 장치가 선택됨을 알리는 메시지가 복수의 제 2 단말기들 각각에 수신되었다는 응답 메시지를 수신한 이후로부터, A ms 이후에 제 1 단말기의 화면 이미지를 릴레이 장치에 송신할 수 있다.
한편, 제 1 단말기는 제 1 단말기의 화면 이미지의 인코딩 품질에 관한 정보를 선택된 릴레이 장치로부터 수신할 수 있다. 릴레이 장치는 제 1 단말기로부터 획득한 제 1 단말기의 화면 이미지 송신에 관한 성능 정보 및 다른 제 2 단말기들이 각각 포함된 네트워크의 상황 정보에 기초하여 제 1 단말기의 화면 이미지의 인코딩 품질을 결정할 수 있다. 릴레이 장치에서 제 1 단말기의 화면 이미지의 인코딩 품질을 결정하는 방법은 도 3을 참조하여 전술한 바와 대응될 수 있다.
일 실시예에 따른 제 1 단말기는 복수의 제 2 단말기들 중 릴레이 장치를 선택하는 경우, 화면 이미지의 재생 시간에 관한 정보를 복수의 제 2 단말기들에 각각 송신할 수 있다. 이에 따라, 통신 시스템에서 릴레이 장치를 통해 제 1 단말기의 화면 이미지가 송신되는 경우, 릴레이 장치로 선택된 제 2 단말기와 다른 제 2 단말기들 간에 공유되는 화면 이미지의 싱크(sync)를 맞출 수 있다.
일 실시예에 따른 제 1 단말기는 복수의 제 2 단말기들 중 선택된 릴레이 장치를 통해 다른 제 2 단말기들에 각각 화면 이미지를 송신하는 릴레이 모드 및 복수의 제 2 단말기들에 각각 화면 이미지를 송신하는 다이렉트 모드 중 어느 하나를 선택하여, 제 1 단말기의 화면 이미지를 복수의 제 2 단말기들과 공유할 수 있다. 예를 들어, 제 1 단말기는 제 1 단말기의 화면 이미지를 수신하는 제 2 단말기들의 수가 임계값 이상으로 증가하는 경우, 릴레이 모드를 선택하고, 제 1 단말기의 화면 이미지를 수신하는 제 2 단말기들의 수가 임계값 미만으로 감소하는 경우, 다이렉트 모드를 선택할 수 있다.
한편, 제 1 단말기는 복수의 제 2 단말기들 중 적어도 하나를 릴레이 장치로 선택한 이후에도, 선택되지 않는 제 2 단말기들과의 통신 세션을 유지함으로써, 릴레이 모드와 다이렉트 모드를 선택적으로 이용하여 제 1 단말기의 화면 이미지를 복수의 제 2 단말기들과 공유할 수 있다.
또한, 릴레이 모드와 다이렉트 모드가 변경되는 구간인 트랜스퍼(transfer) 구간에서는 릴레이 장치와 복수의 제 2 단말기들 각각에 제 1 단말기의 화면 이미지를 모두 송신함으로써, 모드 전환에 따라 제 1 단말기의 화면 이미지가 송신되는 것을 방지할 수 있다.
도 11은 일 실시예에 따른 통신 시스템에서 복수의 제 2 단말기들 각각의 성능 및 복수의 제 2 단말기들 각각이 포함된 네트워크의 상황에 따라, 릴레이 장치를 재선택하는 방법을 보다 설명하기 위한 흐름도이다.
단계 S1110에서, 제 1 단말기는 제 1 단말기의 화면 이미지를 수신하는 복수의 제 2 단말기들의 성능 정보 및 복수의 제 2 단말기들 각각이 포함된 네트워크의 상황 정보에 기초하여 복수의 제 2 단말기들 중 어느 하나를 릴레이 장치로 선택할 수 있다.
한편, 단계 S1110은 도 10을 참조하여 전술한 단계 S1010과 대응될 수 있다.
단계 S1120에서, 제 1 단말기는 릴레이 장치가 선택됨을 알리는 메시지를 복수의 제 2 단말기들 각각에 송신할 수 있다. 여기에서, 복수의 제 2 단말기들 중 릴레이 장치로 선택되지 않는 제 2 단말기들은 릴레이 장치가 선택됨을 알리는 메시지에 포함된 릴레이 장치의 식별 정보를 통해, 릴레이 장치와 통신 세션을 설정할 수 있다.
한편, 단계 S1120은 도 10을 참조하여 전술한 단계 S1020과 대응될 수 있다.
단계 S1130에서, 제 1 단말기는 선택된 릴레이 장치에 제 1 단말기의 화면 이미지를 송신할 수 있다. 제 1 단말기는 기 설정된 인코딩 품질에 따라, 인코딩된 제 1 단말기의 화면 이미지를 선택된 릴레이 장치에 송신할 수 있다.
한편, 제 1 단말기의 화면 이미지에 대한 인코딩 품질은 릴레이 장치로부터 수신되는 인코딩 품질에 관한 정보에 기초하여 갱신될 수 있다. 릴레이 장치는 제 1 단말기의 화면 이미지를 수신하는 제 2 단말기가 포함된 네트워크 상황 정보 및 제 1 단말기의 화면 이미지 송신에 관한 성능 정보에 기초하여 인코딩 품질을 결정할 수 있다. 또한, 제 2 단말기가 포함된 네트워크 상황이 변경됨에 따라, 릴레이 장치에서 결정되는 인코딩 품질이 변경될 수 있다.
단계 S1140에서, 제 1 단말기는 선택된 릴레이 장치의 성능 및 네트워크 상황이 기 설정된 기준 범위에 대응되는지 여부를 판단할 수 있다.
일 실시예에 따른 제 1 단말기는 선택된 릴레이 장치의 성능 및 선택된 릴레이 장치가 포함된 네트워크의 상황에 관한 정보를 피드백 받을 수 있다. 여기에서, 릴레이 장치가 포함된 네트워크의 상황은 시간에 따라 변경될 수 있다. 예를 들어, 릴레이 장치와 연결된 제 2 단말기들 간의 네트워크 상황이 혼잡도가 증가되거나, 릴레이 장치의 전원이 오프되는 경우 네트워크 상황이 변경될 수 있다. 또한, 릴레이 장치가 네트워크 범위를 벗어나는 경우에도 네트워크 상황이 변경될 수 있다. 또한, 릴레이 장치에 연결된 제 2 단말기가 추가됨으로써, 릴레이 장치가 화면 이미지를 송신하는데 필요한 대역폭이 릴레이 장치에 기 설정된 대역폭을 초과하는 경우에도 네트워크 상황이 변경될 수 있다.
제 1 단말기는 피드백 받은 정보를 기초로 릴레이 장치의 성능 및 릴레이 장치가 포함된 네트워크의 상황이 기 설정된 기준 범위에 대응되는지 여부를 판단할 수 있다. 여기에서, 기 설정된 기준 범위는 RTT, 데이터 송수신 지연 시간, 데이터 손실률, 프레임 레이트, 해상도 및 인코더의 처리 시간 등에 관해 결정될 수 있다.
단계 S1150에서, 제 1 단말기는 복수의 제 2 단말기들의 성능 정보 및 복수의 제 2 단말기들 각각이 포함된 네트워크의 상황 정보에 기초하여 복수의 제 2 단말기들 중 어느 하나를 새로운 릴레이 장치로 선택할 수 있다.
일 실시예에 따른 제 1 단말기는 선택된 릴레이 장치의 성능 및 네트워크 상황이 기 설정된 기준 범위에 대응되지 않는 경우, 다른 제 2 단말기들 중 어느 하나를 새로운 릴레이 장치로 선택할 수 있다. 제 1 단말기는 다른 제 2 단말기들 중 성능 및 네트워크의 상황이 기 설정된 기준 범위에 대응되는 제 2 단말기를 새로운 릴레이 장치로 선택할 수 있다.
단계 S1160에서, 제 1 단말기는 새로운 릴레이 장치가 선택됨을 알리는 메시지를 복수의 제 2 단말기들 각각에 송신할 수 있다.
일 실시예에 따른 제 1 단말기는 새로운 릴레이 장치가 선택됨에 따라, 새로운 릴레이 장치에 관한 식별 정보를 포함하는 메시지를 복수의 제 2 단말기들 각각에 송신할 수 있다. 여기에서, 새로운 릴레이 장치에 관한 식별 정보에는 새로운 릴레이 장치의 IP 주소 정보 및 포트 번호 중 적어도 하나가 포함될 수 있다.
단계 S1170에서, 제 1 단말기는 선택된 릴레이 장치에 제 1 단말기의 화면 이미지를 송신할 수 있다. 릴레이 장치에 송신된 제 1 단말기의 화면 이미지는 복수의 제 2 단말기들 중 선택되지 않은 다른 제 2 단말기들 각각에 릴레이 장치를 통해 송신될 수 있다.
도 12는 일 실시예에 따라 제 1 단말기의 화면 이미지를 수신하는 복수의 제 2 단말기들 중 선택된 제 2 단말기가 릴레이 장치로서 제 1 단말기의 화면 이미지를 다른 제 2 단말기들에 송신하는 방법을 설명하기 위한 흐름도이다.
단계 S1210에서, 제 1 단말기의 화면 이미지를 수신하는 복수의 제 2 단말기들 중 어느 하나인 제 2 단말기는 릴레이 장치로 선택됨을 알리는 메시지를 제 1 단말기로부터 수신할 수 있다. 여기에서, 메시지에는 릴레이 장치에 관한 식별 정보가 포함될 수 있다. 또한, 다른 예에 따라 메시지에는 릴레이 장치에 관한 식별 정보와 함께 복수의 제 2 단말기들 중 릴레이 장치로 선택되지 않은 다른 제 2 단말기들에 관한 식별 정보가 포함될 수도 있다. 릴레이 장치로 선택된 제 2 단말기는 메시지에 포함된 다른 제 2 단말기들에 관한 식별 정보를 이용하여, 다른 제 2 단말기들과 각각 통신 세션을 설정할 수 있다.
단계 S1220에서, 릴레이 장치는 제 1 단말기로부터 수신한 제 1 단말기의 화면 이미지를 릴레이 장치로 선택되지 않은 제 2 단말기에 송신할 수 있다.
일 실시예에 따라 메시지에 포함된 식별 정보에 대응되는 제 2 단말기는 릴레이 장치로 선택될 수 있다. 릴레이 장치는 릴레이 장치로 선택되지 않는 다른 제 2 단말기들과 통신 세션을 설정할 수 있다. 릴레이 장치는 설정된 통신 세션을 통해 다른 제 2 단말기들에 각각 제 1 단말기로부터 수신한 화면 이미지를 송신할 수 있다. 여기에서, 제 1 단말기의 화면 이미지는 제 1 단말기에서 기 설정된 프레임 레이트 및 해상도에 따라 인코딩될 수 있다.
단계 S1230에서, 릴레이 장치는 화면 이미지를 송신하는 제 1 단말기의 화면 이미지 송신에 관한 성능 정보 및 화면 이미지를 수신하는 적어도 하나의 제 2 단말기가 포함된 네트워크 상황 정보를 획득할 수 있다.
한편, 단계 S1230은 도 2을 참조하여 전술한 단계 S210과 대응될 수 있다.
단계 S1240에서, 릴레이 장치는 성능 정보 및 네트워크의 상황 정보에 기초하여 제 1 단말기의 화면 이미지에 관한 인코딩 품질을 결정할 수 있다.
한편, 단계 S1230은 도 2을 참조하여 전술한 단계 S220과 대응될 수 있다.
단계 S1250에서, 릴레이 장치는 결정된 인코딩 품질에 기초하여 제 1 단말기에서 인코딩된 화면 이미지를 수신할 수 있다.
한편, 단계 S1230은 도 2을 참조하여 전술한 단계 S230과 대응될 수 있다.
단계 S1260에서, 릴레이 장치는 수신된 화면 이미지를 릴레이 장치로 선택되지 않은 제 2 단말기에 송신할 수 있다.
한편, 단계 S1230은 도 2을 참조하여 전술한 단계 S240과 대응될 수 있다.
도 13은 일 실시예에 따라 릴레이 장치가 변경되는 경우 제 1 단말기의 화면 이미지를 복수의 제 2 단말기들 간에 공유하는 방법을 설명하기 위한 흐름도이다.
단계 S1310에서, 제 1 단말기의 화면 이미지를 수신하는 복수의 제 2 단말기들 중 어느 하나인 제 2 단말기는 릴레이 장치로 선택됨을 알리는 메시지를 제 1 단말기로부터 수신할 수 있다.
한편, 단계 S1310은 도 12를 참조하여 전술한 단계 S1210과 대응될 수 있다.
단계 S1320에서, 릴레이 장치는 제 1 단말기로부터 수신한 제 1 단말기의 화면 이미지를 복수의 제 2 단말기들 중 릴레이 장치로 선택되지 않은 제 2 단말기에 송신할 수 있다.
한편, 단계 S1320은 도 12를 참조하여 전술한 단계 S1220과 대응될 수 있다.
단계 S1330에서, 릴레이 장치는 제 1 단말기로부터 새로운 릴레이 장치가 선택됨을 알리는 메시지를 수신할 수 있다.
일 실시예에 따른 릴레이 장치의 성능 및 릴레이 장치가 포함된 네트워크의 상황이 기 설정된 기준 범위에 대응되지 않는 경우, 제 1 단말기는 복수의 제 2 단말기들 중 릴레이 장치로 선택된 제 2 단말기와 다른 제 2 단말기를 새로운 릴레이 장치로 선택할 수 있다. 릴레이 장치는 새로운 릴레이 장치가 선택됨에 따라, 새로운 릴레이 장치가 선택됨을 알리는 메시지를 제 1 단말기로부터 수신할 수 있다. 여기에서, 새로운 릴레이 장치가 선택됨을 알리는 메시지는 제 1 단말기로부터 화면 이미지를 수신하는 복수의 제 2 단말기들 각각에 송신될 수 있다. 또한, 새로운 릴레이 장치가 선택됨을 알리는 메시지에는 새로운 릴레이 장치의 식별 정보가 포함될 수 있다.
단계 S1340에서, 릴레이 장치는 새로운 릴레이 장치로부터 제 1 단말기의 화면 이미지를 수신할 수 있다.
일 실시예에 따른 릴레이 장치는 새로운 릴레이 장치가 선택됨에 따라, 릴레이 장치로서의 역할을 종료할 수 있다. 릴레이 장치는 제 1 단말기의 화면 이미지를 수신하는 제 2 단말기로서, 새로운 릴레이 장치를 통해 제 1 단말기의 화면 이미지를 수신할 수 있다.
도 14는 일 실시예에 따른 릴레이 장치(1400)의 블록도이다.
도 14에 도시된 릴레이 장치(1400)에는 본 실시예와 관련된 구성 요소들만이 도시되어 있다. 도 14에 도시된 바와 같이, 일 실시예에 따른 릴레이 장치(1400)는, 통신부(1410) 및 제어부(1420)를 포함할 수 있다. 그러나 도시된 구성요소 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 릴레이 장치(1400)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 릴레이 장치(1400)는 구현될 수 있다. 예를 들어, 릴레이 장치(1400)는 메모리(미도시)를 더 포함할 수 있다.
통신부(1410)는 릴레이 장치(1400)와 제 1 단말기 또는 릴레이 장치(1400)와 적어도 하나의 제 2단말기 간의 통신을 수행하기 위한 모듈을 포함할 수 있다. 예를 들어, 통신부(1410)는 근거리 통신부(미도시) 및 이동 통신부(미도시)를 포함할 수 있다.
근거리 통신부(short-range wireless communication unit)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
이동 통신부는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
통신부(1410)는 화면 이미지를 송신하는 제 1 단말기의 화면 이미지 송신에 관한 성능 정보 및 화면 이미지를 수신하는 적어도 하나의 제 2 단말기가 포함된 네트워크의 상황 정보를 획득한다.
또한, 통신부(1410)는 성능 정보 및 네트워크의 상황 정보에 기초하여 결정된 인코딩 품질에 따라, 인코딩된 제 1 단말기의 화면 이미지를 제 1 단말기로부터 수신한다. 통신부(1410)는 수신한 화면 이미지를 적어도 하나의 제 2 단말기에 송신한다.
일 실시예에 따른 통신부(1410)는 결정된 인코딩 품질에 관한 정보를 제 1 단말기에 송신할 수 있다. 통신부(1410)는 제 1 단말기로부터 적어도 하나의 제 2 단말기의 식별 정보를 획득할 수 있다. 이에 따라, 릴레이 장치와 적어도 하나의 제 2 단말기 간에 통신 세션이 설정될 수 있다. 또한, 다른 예에 따라, 통신부(1410)는 제 1 단말기 및 적어도 하나의 제 2 단말기의 식별 정보를 서버로부터 획득할 수도 있다.
제어부(1420)는 성능 정보 및 네트워크의 상황 정보에 기초하여 제 1 단말기의 화면 이미지에 대한 인코딩 품질을 결정할 수 있다. 일 실시예에 따른 제어부(1420)는 네트워크의 상황 정보에 기초하여, 적어도 하나의 제 2 단말기에 화면 이미지를 송신하기 위한 비트레이트를 결정할 수 있다. 또한, 제어부(1420)는 결정된 비트레이트에 기초하여, 해상도 및 프레임 레이트 중 적어도 하나를 포함하는 인코딩 품질을 결정할 수 있다.
일 실시예에 따른 제어부는(1420)는 통신부(1410)에서 획득한 적어도 하나의 제 2 단말기의 식별 정보를 기초로 적어도 하나의 제 2 단말기와 통신 세션을 설정할 수 있다.
다른 실시예에 따라, 릴레이 장치(1400)는 제 1 단말기의 화면 이미지를 수신하는 복수의 제 2 단말기들 각각의 성능 정보 및 복수의 제 2 단말기들 각각이 포함된 네트워크의 상황 정보에 기초하여, 제 1 단말기에서 선택될 수 있다. 이러한 경우, 통신부(1410)는 릴레이 장치로 선택됨을 알리는 메시지를 수신할 수 있다.
또한, 통신부(1410)는, 릴레이 장치의 성능 및 릴레이 장치가 포함된 네트워크의 상황이 기 설정된 기준 범위를 벗어난 경우, 복수의 제 2 단말기들 중 성능 및 네트워크의 상황이 기 설정된 기준 범위에 대응되는 제 2 단말기가 새로운 릴레이 장치로 선택됨을 알리는 메시지를 제 1 단말기로부터 수신할 수 있다. 이에 따라, 통신부(1410)는 선택된 제 2 단말기에서 결정된 인코딩 품질에 따라 제 1 단말기에서 인코딩된 화면 이미지를 선택된 제 2 단말기로부터 수신할 수 있다.
메모리(미도시)는, 제어부(1420)의 처리 및 제어를 위한 프로그램을 저장할 수도 있고, 입/출력되는 데이터들(예컨대, 적어도 하나의 제 2 단말기의 식별 정보, 제 1 단말기의 식별 정보 등)을 저장할 수도 있다.
메모리(미도시)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 릴레이 장치(1400)는 인터넷(internet)상에서 메모리(미도시)의 저장 기능을 수행하는 웹 스토리지(web storage) 또는 클라우드 서버를 운영할 수도 있다.
도 15 및 도 16은 일 실시예에 따른 제 1 단말기(1500)의 블록도이다.
도 15에 도시된 제 1 단말기(1500)에는 본 실시예와 관련된 구성 요소들만이 도시되어 있다. 도 15에 도시된 바와 같이, 일 실시예에 따른 제 1 단말기(1500)는, 통신부(1510), 제어부(1520) 및 인코딩부(1530)를 포함할 수 있다. 그러나 도시된 구성요소 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 제 1 단말기(1500)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 제 1 단말기(1500)는 구현될 수 있다. 예를 들어, 도 16에 도시된 바와 같이, 제 1 단말기(1500)는 통신부(1510), 제어부(1520) 및 인코딩부(1530) 이외에도 출력부(1540) 및 메모리(1550)를 더 포함할 수 있다.
통신부(1510)는 제 1 단말기(1500)와 릴레이 장치 또는 제 1 단말기(1500)와 적어도 하나의 제 2단말기 간의 통신을 수행하기 위한 모듈을 포함할 수 있다. 예를 들어, 통신부(1510)는 근거리 통신부(미도시) 및 이동 통신부(미도시)를 포함할 수 있다.
근거리 통신부(short-range wireless communication unit)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
이동 통신부는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
통신부(1510)는 제 1 단말기의 화면 이미지를 적어도 하나의 제 2 단말기에 송신하는 릴레이 장치로부터, 제 1 단말기의 화면 이미지 송신에 관한 성능 정보 및 적어도 하나의 제 2 단말기가 포함된 네트워크의 상황 정보에 기초하여 결정된 제 1 단말기의 화면 이미지의 인코딩 품질에 관한 정보를 획득한다. 통신부(1510)는 인코딩된 화면 이미지를 릴레이 장치에 송신한다. 여기에서, 인코딩된 화면 이미지는, 릴레이 장치를 통해 제 2 단말기에 송신된다.
또한, 일 실시예에 따른 통신부(1510)는 제어부(1520)에서 릴레이 장치를 선택함에 따라, 릴레이 장치의 선택을 알리는 메시지를 복수의 제 2 단말기들 각각에 송신할 수 있다.
제어부(1520)는 획득된 제 1 단말기의 화면 이미지의 인코딩 품질에 관한 정보에 기초하여, 제 1 단말기의 화면 이미지의 인코딩 품질을 결정할 수 있다. 일 실시예에 따라, 제어부(1520)는 제 1 단말기의 화면 이미지를 수신하는 복수의 제 2 단말기들 각각의 성능 정보 및 복수의 제 2 단말기들 각각이 포함된 네트워크의 상황 정보에 기초하여, 복수의 제 2 단말기들 중 적어도 하나를 릴레이 장치로 선택할 수 있다.
일 실시예에 따른 제어부(1520)는 릴레이 장치의 성능 및 릴레이 장치가 포함된 네트워크의 상황이 기 설정된 기준 범위를 벗어난 경우, 복수의 제 2 단말기들 중 성능 및 네트워크의 상황이 기 설정된 기준 범위에 대응되는 다른 제 2 단말기를 릴레이 장치로 재선택할 수 있다.
인코딩부(1530)는 획득된 인코딩 품질에 관한 정보에 기초하여, 제 1 단말기의 화면 이미지를 인코딩한다. 일 실시예에 따른 인코딩부(1530)는 제어부(1520)에서 인코딩 품질에 관한 정보를 기초로 결정된 프레임 레이트 및 해상도에 따라, 제 1 단말기의 화면 이미지를 인코딩할 수 있다. 또한, 인코딩부(1530)는 인코딩된 제 1 단말기의 화면 이미지에 대한 FEC 패킷을 생성할 수도 있다.
출력부(1540)는 제 1 단말기(1500)에서 실행되는 컨텐트를 출력할 수 있다. 출력부(1540)에 표시되는 이미지를 제어부(1520)에서 캡쳐하여 제 1 단말기(1500)의 화면 이미지를 생성할 수 있다.
다만, 이는 일 실시예일 뿐, 출력부(1540)는 제 1 단말기(1500)의 외부의 디바이스에 포함될 수도 있다. 이러한 경우, 외부의 디바이스는 제어부(1520)의 캡쳐 명령에 따라, 출력부(1540)에 표시되는 이미지를 캡쳐하여 제 1 단말기(1500)에 제공할 수 있다.
메모리(1550)는, 제어부(1520)의 처리 및 제어를 위한 프로그램을 저장할 수도 있고, 입/출력되는 데이터들(예컨대, 릴레이 장치의 식별 정보, 제 1 단말기의 식별 정보, 제 1 단말기의 화면 이미지의 인코딩 품질에 관한 정보 등)을 저장할 수도 있다.
메모리(1550)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 제 1 단말기(1500)는 인터넷(internet)상에서 메모리(1550)의 저장 기능을 수행하는 웹 스토리지(web storage) 또는 클라우드 서버를 운영할 수도 있다.
도 17 및 도 18은 일 실시예에 따른 제 2 단말기(1700)의 블록도이다.
도 17에 도시된 제 2 단말기(1700)에는 본 실시예와 관련된 구성 요소들만이 도시되어 있다. 도 17에 도시된 바와 같이, 일 실시예에 따른 제 2 단말기(1700)는, 통신부(1710) 및 제어부(1720)를 포함할 수 있다. 그러나 도시된 구성요소 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 제 2 단말기(1700)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 제 2 단말기(1700)는 구현될 수 있다. 예를 들어, 도 17에 도시된 바와 같이, 제 2 단말기(1700)는 통신부(1710) 및 제어부(1720) 이외에도 출력부(1730) 및 메모리(1740)를 더 포함할 수 있다.
통신부(1710)는 제 2 단말기(1700)와 릴레이 장치 또는 제 2 단말기(1700)와 제 1 단말기 간의 통신을 수행하기 위한 모듈을 포함할 수 있다. 예를 들어, 통신부(1710)는 근거리 통신부(미도시) 및 이동 통신부(미도시)를 포함할 수 있다.
근거리 통신부(short-range wireless communication unit)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
이동 통신부는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
통신부(1710)는 제 2 단말기(1700)가 포함된 네트워크의 상황에 관한 정보를 릴레이 장치에 송신한다. 또한, 통신부(1710)는 릴레이 장치에서 결정된 인코딩 품질에 따라, 제 1 단말기에서 인코딩된 화면 이미지를 릴레이 장치로부터 수신한다.
또한, 일 실시예에 따른 통신부(1710)는 제 1 단말기에서, 릴레이 장치를 선택함에 따라, 릴레이 장치의 선택을 알리는 메시지를 수신할 수 있다.
한편, 제 2 단말기(1700)가 릴레이 장치로 선택된 경우, 통신부(1710)는 제 1 단말기로부터 수신한 화면 이미지를 다른 제 2 단말기들에 각각 송신할 수 있다.
제어부(1720)는 제 2 단말기(1700)가 포함된 네트워크의 상황에 관한 정보를 획득할 수 있다. 예를 들어, 제어부(1720)는 릴레이 장치로부터 화면 이미지를 수신하는 경우, RTT, 데이터 손실률 및 데이터 지연률에 관한 정보를 획득할 수 있다.
일 실시예에 따른 제어부(1720)는 제 1 단말기로부터 릴레이 장치의 선택을 알리는 메시지를 수신하는 경우, 수신된 메시지에 포함된 릴레이 장치에 관한 식별 정보가 제 2 단말기(1700)의 식별 정보와 대응되는지 여부를 판단할 수 있다. 제어부(1720)는 릴레이 장치에 관한 식별 정보와 제 2 단말기(1700)의 식별 정보가 대응되는 경우, 릴레이 장치로서 동작할 수 있다. 예를 들어, 제어부(1720)는 릴레이 장치의 선택을 알리는 메시지에 포함된 다른 제 2 단말기들의 식별 정보를 이용하여, 다른 제 2 단말기들과 통신 세션을 설정하도록 통신부(1710)를 제어할 수 있다.
출력부(1730)는 릴레이 장치로부터 수신된 제 1 단말기의 화면 이미지를표시할 수 있다. 다만, 이는 일 실시예일 뿐, 출력부(1540)는 제 2 단말기(1700)의 외부의 디바이스에 포함될 수도 있다.
메모리(1740)는, 제어부(1720)의 처리 및 제어를 위한 프로그램을 저장할 수도 있고, 입/출력되는 데이터들(예컨대, 릴레이 장치의 식별 정보, 제 2 단말기(1700)가 포함된 네트워크의 상황 정보 등)을 저장할 수도 있다.
메모리(1740)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 제 2 단말기(1700)는 인터넷(internet)상에서 메모리(1740)의 저장 기능을 수행하는 웹 스토리지(web storage) 또는 클라우드 서버를 운영할 수도 있다.
본 발명의 일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
1500: 제 1 단말기
1510: 통신부
1520: 제어부
1530: 인코딩부

Claims (25)

  1. 릴레이 장치가 복수의 단말기들간의 화면 공유를 제어하는 방법에 있어서,
    화면 이미지를 송신하는 제 1 단말기로 상기 릴레이 장치의 성능 정보 및 상기 릴레이 장치가 포함된 네트워크의 상황 정보를 전송하는 단계;
    상기 제1 단말기로부터 릴레이 장치로 선택되었음을 나타내는 메시지를 수신하는 단계;
    상기 제 1 단말기의 화면 이미지 송신에 관한 성능 정보 및 상기 화면 이미지를 수신하는 적어도 하나의 제 2 단말기가 각각 포함된 네트워크의 상황 정보를 획득하는 단계;
    상기 성능 정보 및 상기 네트워크의 상황 정보에 기초하여 상기 제 1 단말기의 화면 이미지에 대한 인코딩 품질을 결정하는 단계;
    상기 결정된 인코딩 품질에 기초하여 상기 제 1 단말기에서 인코딩된 화면 이미지를 수신하는 단계; 및
    상기 수신된 화면 이미지를 상기 적어도 하나의 제 2 단말기에 송신하는 단계를 포함하고,
    상기 방법은,
    상기 릴레이 장치의 성능 및 상기 릴레이 장치가 포함된 네트워크의 상황이 기 설정된 기준 범위를 벗어난 경우, 상기 복수의 제 2 단말기들 중 성능 및 네트워크의 상황이 상기 기 설정된 기준 범위에 대응되는 제 2 단말기가 새로운 릴레이 장치로 선택됨을 알리는 메시지를 상기 제 1 단말기로부터 수신하는 단계; 및
    상기 선택된 새로운 릴레이 장치에서 결정된 인코딩 품질에 따라 상기 제 1 단말기에서 인코딩된 화면 이미지를 상기 새로운 릴레이 장치로부터 수신하는 단계를 더 포함하는 복수의 단말기들간의 화면 공유를 제어하는 방법.
  2. 제 1항에 있어서,
    상기 결정된 인코딩 품질에 관한 정보를 상기 제 1 단말기에 송신하는 단계를 더 포함하는 복수의 단말기들간의 화면 공유를 제어하는 방법.
  3. 제 1항에 있어서, 상기 화면 이미지의 인코딩 품질을 결정하는 단계는,
    상기 네트워크의 상황 정보에 기초하여, 상기 적어도 하나의 제 2 단말기에 상기 화면 이미지를 송신하기 위한 비트레이트를 결정하는 단계;
    상기 결정된 비트레이트에 기초하여, 해상도 및 프레임 레이트 중 적어도 하나를 포함하는 상기 인코딩 품질을 결정하는 단계를 포함하는 복수의 단말기들간의 화면 공유를 제어하는 방법.
  4. 제 1항에 있어서, 상기 릴레이 장치는,
    상기 제 1 단말기의 화면 이미지를 수신하는 복수의 제 2 단말기들 각각의 성능 정보 및 상기 복수의 제 2 단말기들 각각이 포함된 네트워크의 상황 정보에 기초하여 상기 제 1 단말기에서 선택되는, 복수의 단말기들간의 화면 공유를 제어하는 방법.
  5. 삭제
  6. 제 1항에 있어서,
    상기 제 1 단말기로부터 상기 적어도 하나의 제 2 단말기의 식별 정보를 획득하는 단계; 및
    상기 획득한 식별 정보를 기초로 상기 적어도 하나의 제 2 단말기와 통신 세션을 설정하는 단계를 더 포함하는 복수의 단말기들간의 화면 공유를 제어하는 방법.
  7. 제 1항에 있어서,
    상기 제 1 단말기 및 상기 적어도 하나의 제 2 단말기의 식별 정보를 서버로부터 획득하는 단계; 및
    상기 획득한 식별 정보를 기초로 상기 제 1 단말기 및 상기 적어도 하나의 제 2 단말기와 통신 세션을 설정하는 단계를 더 포함하는 복수의 단말기들간의 화면 공유를 제어하는 방법.
  8. 제 1 단말기가 복수의 단말기들간의 화면 공유를 제어하는 방법에 있어서,
    화면 이미지를 수신하는 복수의 제 2 단말기 각각에 대한 성능 정보 및 상기 화면 이미지를 수신하는 상기 복수의 제 2 단말기 각각이 포함된 네트워크의 상황 정보를 획득하는 단계;
    상기 성능 정보 및 상기 네트워크의 상황 정보에 기초하여 상기 복수의 제 2 단말기 중 하나를 릴레이 장치로 선택하는 단계;
    상기 선택된 릴레이 장치로 릴레이 장치로 선택되었음을 나타내는 메시지를 전송하는 단계;
    상기 제 1 단말기의 화면 이미지 송신에 관한 성능 정보를 상기 릴레이 장치로 전송하는 단계;
    상기 릴레이 장치로부터, 상기 성능 정보 및 상기 적어도 하나의 제 2 단말기가 각각 포함된 네트워크의 상황 정보에 기초하여 결정된 상기 제 1 단말기의 화면 이미지의 인코딩 품질에 관한 정보를 획득하는 단계;
    상기 획득된 인코딩 품질에 관한 정보에 기초하여, 상기 제 1 단말기의 화면 이미지를 인코딩하는 단계; 및
    상기 인코딩된 화면 이미지를 상기 릴레이 장치에 송신하는 단계를 포함하고,
    상기 방법은,
    상기 선택된 릴레이 장치의 성능 및 상기 선택된 릴레이 장치가 포함된 네트워크 상황이 기 설정된 기준 범위를 벗어난 경우, 상기 복수의 제2 단말기들 중 다른 하나를 새로운 릴레이 장치로서 선택하는 단계;
    상기 새로운 릴레이 장치로 릴레이 장치로 선택되었음을 나타내는 메시지를 전송하는 단계; 및
    상기 새로운 릴레이 장치로부터 상기 제 1 단말기의 화면 이미지에 대한 인코딩 품질을 수신하는 단계를 더 포함하는, 복수의 단말기들간의 화면 공유를 제어하는 방법.
  9. 삭제
  10. 제 8항에 있어서,
    상기 릴레이 장치의 선택을 알리는 메시지를 상기 복수의 제 2 단말기들 각각에 송신하는 단계를 더 포함하는 복수의 단말기들간의 화면 공유를 제어하는 방법.
  11. 삭제
  12. 삭제
  13. 복수의 단말기들간의 화면 공유를 제어하는 릴레이 장치에 있어서,
    통신부, 및
    제어부를 포함하고,
    상기 제어부는,
    상기 통신부를 통해, 화면 이미지를 송신하는 제 1 단말기로 상기 릴레이 장치의 성능 정보 및 상기 릴레이 장치가 포함된 네트워크의 상황 정보를 전송하고,
    상기 통신부를 통해, 상기 제1 단말기로부터 릴레이 장치로 선택되었음을 나타내는 메시지를 수신하고,
    상기 통신부를 통해, 상기 제 1 단말기의 화면 이미지 송신에 관한 성능 정보 및 상기 화면 이미지를 수신하는 적어도 하나의 제 2 단말기가 각각 포함된 네트워크의 상황 정보를 획득하고,
    상기 성능 정보 및 상기 네트워크의 상황 정보에 기초하여 상기 제 1 단말기의 화면 이미지에 대한 인코딩 품질을 결정하고,
    상기 통신부를 통해, 상기 결정된 인코딩 품질에 기초하여 상기 제 1 단말기에서 인코딩된 화면 이미지를 수신하고,
    상기 통신부를 통해, 상기 수신된 화면 이미지를 상기 적어도 하나의 제 2 단말기에 송신하고,
    상기 릴레이 장치의 성능 및 상기 릴레이 장치가 포함된 네트워크의 상황이 기 설정된 기준 범위를 벗어난 경우, 상기 복수의 제 2 단말기들 중 성능 및 네트워크의 상황이 상기 기 설정된 기준 범위에 대응되는 제 2 단말기가 새로운 릴레이 장치로 선택됨을 알리는 메시지를 상기 통신부를 통해 상기 제 1 단말기로부터 수신하고, 및
    상기 선택된 새로운 릴레이 장치에서 결정된 인코딩 품질에 따라 상기 제 1 단말기에서 인코딩된 화면 이미지를 상기 새로운 릴레이 장치로부터 수신하는, 복수의 단말기들간의 화면 공유를 제어하는 릴레이 장치.
  14. 제 13항에 있어서, 상기 제어부는 상기 통신부를 통해,
    상기 결정된 인코딩 품질에 관한 정보를 상기 제 1 단말기에 송신하는 복수의 단말기들간의 화면 공유를 제어하는 릴레이 장치.
  15. 제 13항에 있어서, 상기 제어부는,
    상기 네트워크의 상황 정보에 기초하여, 상기 적어도 하나의 제 2 단말기에 상기 화면 이미지를 송신하기 위한 비트레이트를 결정하고, 상기 결정된 비트레이트에 기초하여, 해상도 및 프레임 레이트 중 적어도 하나를 포함하는 상기 인코딩 품질을 결정하는 복수의 단말기들간의 화면 공유를 제어하는 릴레이 장치.
  16. 제 13항에 있어서,
    상기 제 1 단말기의 화면 이미지를 수신하는 복수의 제 2 단말기들 각각의 성능 정보 및 상기 복수의 제 2 단말기들 각각이 포함된 네트워크의 상황 정보에 기초하여, 상기 제 1 단말기에서 선택되는 복수의 단말기들간의 화면 공유를 제어하는 릴레이 장치.
  17. 삭제
  18. 제 13항에 있어서, 상기 제어부는,
    상기 통신부를 통해, 상기 제 1 단말기로부터 상기 적어도 하나의 제 2 단말기의 식별 정보를 획득하고,
    상기 획득한 식별 정보를 기초로 상기 적어도 하나의 제 2 단말기와 통신 세션을 설정하는, 복수의 단말기들간의 화면 공유를 제어하는 릴레이 장치.
  19. 제 13항에 있어서, 상기 제어부는,
    상기 통신부를 통해, 상기 제 1 단말기 및 상기 적어도 하나의 제 2 단말기의 식별 정보를 서버로부터 획득하고,
    상기 획득한 식별 정보를 기초로 상기 제 1 단말기 및 상기 적어도 하나의 제 2 단말기와 통신 세션을 설정하는, 복수의 단말기들간의 화면 공유를 제어하는 릴레이 장치
  20. 복수의 단말기들간의 화면 공유를 제어하는 제 1 단말기에 있어서,
    통신부,
    제어부, 및
    인코딩부를 포함하고,
    상기 제어부는,
    상기 통신부를 통해, 화면 이미지를 수신하는 복수의 제 2 단말기 각각에 대한 성능 정보 및 상기 화면 이미지를 수신하는 상기 복수의 제 2 단말기 각각이 포함된 네트워크의 상황 정보를 획득하고,
    상기 성능 정보 및 상기 네트워크의 상황 정보에 기초하여 상기 복수의 제 2 단말기 중 하나를 릴레이 장치로 선택하고,
    상기 통신부를 통해, 상기 선택된 릴레이 장치로 릴레이 장치로 선택되었음을 나타내는 메시지를 전송하고,
    상기 통신부를 통해, 상기 제 1 단말기의 화면 이미지 송신에 관한 성능 정보를 상기 릴레이 장치로 전송하고,
    상기 통신부를 통해 상기 릴레이 장치로부터, 상기 성능 정보 및 상기 적어도 하나의 제 2 단말기가 각각 포함된 네트워크의 상황 정보에 기초하여 결정된 상기 제 1 단말기의 화면 이미지의 인코딩 품질에 관한 정보를 획득하고,
    상기 획득된 인코딩 품질에 관한 정보에 기초하여, 상기 제 1 단말기의 화면 이미지에 대한 인코딩 품질을 결정하고,ㅡ
    상기 선택된 릴레이 장치의 성능 및 상기 선택된 릴레이 장치가 포함된 네트워크 상황이 기 설정된 기준 범위를 벗어난 경우, 상기 복수의 제2 단말기들 중 다른 하나를 새로운 릴레이 장치로서 선택하고,
    상기 통신부를 통해, 상기 새로운 릴레이 장치로 릴레이 장치로 선택되었음을 나타내는 메시지를 전송하고,
    상기 통신부를 통해, 상기 새로운 릴레이 장치로부터 상기 제 1 단말기의 화면 이미지에 대한 인코딩 품질을 수신하고,
    상기 결정된 인코딩 품질에 따라, 상기 제 1 단말기의 화면 이미지를 인코딩하고,
    상기 통신부를 통해, 상기 인코딩된 화면 이미지를 상기 릴레이 장치에 송신하는, 복수의 단말기들간의 화면 공유를 제어하는 제 1 단말기.
  21. 삭제
  22. 제 20항에 있어서, 상기 제어부는,
    상기 통신부를 통해, 상기 릴레이 장치의 선택을 알리는 메시지를 상기 복수의 제 2 단말기들 각각에 송신하는, 복수의 단말기들간의 화면 공유를 제어하는 제 1 단말기.
  23. 삭제
  24. 삭제
  25. 제 1항 내지 제 4항, 제 6항 내지 제 8항, 및 제 10항 중 어느 한 항의 방법을 수행하는 프로그램이 기록된 컴퓨터 판독이 가능한 기록매체.
KR1020150152530A 2014-11-05 2015-10-30 복수의 단말기들 간의 화면 공유를 제어하는 방법, 장치 및 기록 매체 KR102656605B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US15/524,993 US10671336B2 (en) 2014-11-05 2015-11-02 Method and device for controlling screen sharing among plurality of terminals, and recording medium
PCT/KR2015/011630 WO2016072675A1 (ko) 2014-11-05 2015-11-02 복수의 단말기들 간의 화면 공유를 제어하는 방법, 장치 및 기록 매체
CN201580072552.6A CN107211158B (zh) 2014-11-05 2015-11-02 用于控制在多个终端当中的屏幕共享的方法和设备、以及记录介质
EP15856594.5A EP3217278A1 (en) 2014-11-05 2015-11-02 Method and device for controlling screen sharing among plurality of terminals, and recording medium
EP19204400.6A EP3620907A1 (en) 2014-11-05 2015-11-02 Method and device for controlling screen sharing among plurality of terminals, and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201462075380P 2014-11-05 2014-11-05
US62/075,380 2014-11-05

Publications (2)

Publication Number Publication Date
KR20160053795A KR20160053795A (ko) 2016-05-13
KR102656605B1 true KR102656605B1 (ko) 2024-04-12

Family

ID=56023565

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150152530A KR102656605B1 (ko) 2014-11-05 2015-10-30 복수의 단말기들 간의 화면 공유를 제어하는 방법, 장치 및 기록 매체

Country Status (4)

Country Link
US (1) US10671336B2 (ko)
EP (2) EP3620907A1 (ko)
KR (1) KR102656605B1 (ko)
CN (1) CN107211158B (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10470000B2 (en) * 2016-02-12 2019-11-05 Samsung Electronics Co., Ltd. Methods and apparatus for enhanced MBMS content provisioning and content ingestion
CN108900878A (zh) * 2018-06-27 2018-11-27 福建天泉教育科技有限公司 一种实现无线投影的方法及系统
KR102615305B1 (ko) * 2018-10-10 2023-12-15 에스케이텔레콤 주식회사 Vmi 화면공유 방법 및 장치
CN110177399A (zh) * 2019-04-30 2019-08-27 深圳市鹰硕技术有限公司 一种同屏网络连接方法、装置、智能设备及存储介质
CN110225491A (zh) * 2019-05-20 2019-09-10 超讯通信股份有限公司 一种通信方法、服务器及终端设备
JP7400316B2 (ja) * 2019-10-04 2023-12-19 株式会社リコー 通信システム、データ共有方法、プログラム、通信端末
CN116405631A (zh) * 2020-07-08 2023-07-07 华为技术有限公司 屏幕共享方法、终端和存储介质
WO2022109771A1 (en) * 2020-11-24 2022-06-02 Orange Methods and systems to monitor remote-rendering of transmitted content
CN113179555A (zh) * 2021-05-19 2021-07-27 北京小米移动软件有限公司 投屏方法、投屏设备、投屏系统、电子设备、存储介质
CN113992967B (zh) 2021-10-25 2022-11-01 北京字节跳动网络技术有限公司 一种投屏数据传输方法、装置、电子设备及存储介质
KR102515372B1 (ko) * 2022-11-22 2023-03-30 불곰소프트 주식회사 원격 화면 출력을 구현하는 전자 서비스 제공 시스템, 방법, 프로그램, 컴퓨터 판독 가능한 기록매체
KR20240151418A (ko) * 2023-04-11 2024-10-18 임철수 교육시스템 및 그 운영방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004259163A (ja) * 2003-02-27 2004-09-16 Sony Corp 表示画面共有システム，送信側端末装置，受信側端末装置，プログラム，表示画面共有方法
CN102883135A (zh) 2012-11-01 2013-01-16 成都飞视美视频技术有限公司 屏幕共享及控制方法
US20130205002A1 (en) 2012-02-02 2013-08-08 Cisco Technology, Inc. Wide area network optimization
JP2014090231A (ja) * 2012-10-29 2014-05-15 Ricoh Co Ltd 通信端末、遠隔会議システムおよびプログラム
US20140289423A1 (en) * 2013-03-25 2014-09-25 Samsung Electronics Co., Ltd. Method and apparatus for improving quality of experience in sharing screen among devices, and recording medium thereof

Family Cites Families (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7248560B1 (en) 2002-06-04 2007-07-24 Cisco Technology, Inc. Method and system for router redundancy in a wide area network
WO2004003724A2 (en) 2002-06-27 2004-01-08 Axeda Systems Operating Company, Inc. Screen sharing
ATE344583T1 (de) * 2003-07-21 2006-11-15 France Telecom Zugriffsregelung für eine multimedia-sitzung gemäss netzwerk-betriebsmittelverfügbarkeit
US20070112938A1 (en) * 2005-11-17 2007-05-17 Nokia Corporation Intermediary, source and methods for sharing content
US9686183B2 (en) * 2005-12-06 2017-06-20 Zarbaña Digital Fund Llc Digital object routing based on a service request
US7940653B2 (en) * 2006-08-29 2011-05-10 Verizon Data Services Llc Audiovisual data transport protocol
EP2084864A1 (en) * 2006-10-24 2009-08-05 Medianet Innovations A/S Method and system for firewall friendly real-time communication
WO2008137432A2 (en) * 2007-05-01 2008-11-13 Dyyno Sharing of information and formatting information for transmission over a communication network
US20120233644A1 (en) * 2007-06-05 2012-09-13 Bindu Rama Rao Mobile device capable of substantially synchronized sharing of streaming media with other devices
US20090006533A1 (en) * 2007-06-28 2009-01-01 Yahoo! Inc. Server-aided approach to improve media negotiation efficiency
US9282297B2 (en) * 2008-01-24 2016-03-08 Micropower Technologies, Inc. Video delivery systems using wireless cameras
US8144187B2 (en) * 2008-03-14 2012-03-27 Microsoft Corporation Multiple video stream capability negotiation
US20140032735A1 (en) 2008-06-17 2014-01-30 Abhinav Kapoor Adaptive rate of screen capture in screen sharing
CN101365125B (zh) * 2008-09-27 2012-03-21 腾讯科技（深圳）有限公司 多路视频通信方法与系统
US8537699B2 (en) * 2009-06-16 2013-09-17 Qualcomm Incorporated Managing video adaptation algorithms
US8862762B1 (en) * 2009-10-01 2014-10-14 Skype Real-time consumption of a live video stream transmitted from a mobile device
US8611271B2 (en) * 2009-11-02 2013-12-17 Polytechnic Institute Of New York University Robust cooperative relaying in a wireless LAN: cross-layer design
US20150039998A1 (en) 2013-07-31 2015-02-05 Clearslide, Inc. Screen sharing using scripting computer language code directly executable by web browser
US8805342B2 (en) * 2010-01-27 2014-08-12 Microsoft Corporation Content sharing for mobile devices
US8312164B2 (en) * 2010-04-14 2012-11-13 Adobe Systems Incorporated Media quality enhancement among connected media communication devices
WO2011153194A1 (en) * 2010-06-02 2011-12-08 Onmobile Global Limited Method and apparatus for adapting media
BR112013001376A8 (pt) * 2010-07-20 2017-10-17 Sharp Kk dispositivo de distribuição de conteúdo, dispositivo de reprodução de conteúdo, sistema de distribuição de conteúdo, método de controle de um dispositivo de distribuição de conteúdo, programa de controle, e meio de gravação
US9270784B2 (en) * 2011-02-16 2016-02-23 Masque Publishing, Inc. Peer-to-peer communications
CN103621145B (zh) * 2011-04-20 2017-03-29 英派尔科技开发有限公司 移动内容体验质量的实时全参考计算方法、装置
EP2523145A1 (en) * 2011-05-11 2012-11-14 Alcatel Lucent Method for dynamically adapting video image parameters for facilitating subsequent applications
US20120304240A1 (en) * 2011-05-27 2012-11-29 Romulus Pereira Method and apparatus for selecting audiovisual content for streaming
US20120307078A1 (en) * 2011-06-03 2012-12-06 Microsoft Corporation Automatic sharing and replacement of content based on network connectivity
US20140129676A1 (en) * 2011-06-28 2014-05-08 Nokia Corporation Method and apparatus for live video sharing with multimodal modes
WO2013000171A1 (zh) * 2011-06-30 2013-01-03 北京邮电大学 基于非再生中继方式的中继转发的控制方法和装置
US9465803B2 (en) 2011-09-16 2016-10-11 Nasdaq Technology Ab Screen sharing presentation system
US20130304934A1 (en) * 2011-09-29 2013-11-14 Avvasi Inc. Methods and systems for controlling quality of a media session
EP2761881A4 (en) * 2011-09-30 2015-06-17 Intel Corp EXPERIENCE QUALITY IMPROVEMENTS BETWEEN WIRELESS NETWORKS
US9118801B2 (en) * 2011-10-24 2015-08-25 T-Mobile Usa, Inc. Optimizing video-call quality of service
US9055043B2 (en) * 2011-11-10 2015-06-09 Qualcomm Incorporated Adaptive media sharing
US20130125009A1 (en) * 2011-11-16 2013-05-16 International Business Machines Corporation Remote desktop localized content sharing
US20130129142A1 (en) 2011-11-17 2013-05-23 Microsoft Corporation Automatic tag generation based on image content
WO2013077525A1 (ko) * 2011-11-24 2013-05-30 엘지전자 주식회사 제어 방법 및 그를 이용한 장치
CA2797986C (en) * 2011-12-06 2017-08-22 Aastra Technologies Limited Collaboration system and method
US9503497B2 (en) * 2011-12-10 2016-11-22 LogMeln, Inc. Optimizing transfer to a remote access client of a high definition (HD) host screen image
US9588652B2 (en) * 2011-12-12 2017-03-07 International Business Machines Corporation Providing feedback for screen sharing
US9232244B2 (en) * 2011-12-23 2016-01-05 Cisco Technology, Inc. Efficient frame forwarding in large scale real-time screen content sharing meetings
US9525998B2 (en) * 2012-01-06 2016-12-20 Qualcomm Incorporated Wireless display with multiscreen service
US11089343B2 (en) * 2012-01-11 2021-08-10 Microsoft Technology Licensing, Llc Capability advertisement, configuration and control for video coding and decoding
US8842159B2 (en) 2012-02-13 2014-09-23 Microsoft Corporation Encoding processing for conferencing systems
US20130286227A1 (en) * 2012-04-30 2013-10-31 T-Mobile Usa, Inc. Data Transfer Reduction During Video Broadcasts
US9973729B2 (en) * 2012-12-31 2018-05-15 T-Mobile Usa, Inc. Display and service adjustments to enable multi-tasking during a video call
US20140189064A1 (en) * 2012-12-31 2014-07-03 Bruce R. Cilli Method and system for adaptive video transmission
US9369671B2 (en) * 2013-02-11 2016-06-14 Polycom, Inc. Method and system for handling content in videoconferencing
FR3004879A1 (fr) * 2013-04-19 2014-10-24 France Telecom Procede, dispositif et systeme de detection de probleme de qualite de service
US9104241B2 (en) * 2013-07-17 2015-08-11 Tangome, Inc. Performing multiple functions by a mobile device during a video conference
US9226137B2 (en) * 2013-09-30 2015-12-29 Qualcomm Incorporated Method and apparatus for real-time sharing of multimedia content between wireless devices
US9106887B1 (en) * 2014-03-13 2015-08-11 Wowza Media Systems, LLC Adjusting encoding parameters at a mobile device based on a change in available network bandwidth
CN103944743A (zh) 2014-04-24 2014-07-23 梁科 一种群组通信的方法及装置
US10771736B2 (en) * 2014-06-30 2020-09-08 Microsoft Technology Licensing, Llc Compositing and transmitting contextual information during an audio or video call

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004259163A (ja) * 2003-02-27 2004-09-16 Sony Corp 表示画面共有システム，送信側端末装置，受信側端末装置，プログラム，表示画面共有方法
US20130205002A1 (en) 2012-02-02 2013-08-08 Cisco Technology, Inc. Wide area network optimization
JP2014090231A (ja) * 2012-10-29 2014-05-15 Ricoh Co Ltd 通信端末、遠隔会議システムおよびプログラム
CN102883135A (zh) 2012-11-01 2013-01-16 成都飞视美视频技术有限公司 屏幕共享及控制方法
US20140289423A1 (en) * 2013-03-25 2014-09-25 Samsung Electronics Co., Ltd. Method and apparatus for improving quality of experience in sharing screen among devices, and recording medium thereof

Also Published As

Publication number Publication date
EP3217278A4 (en) 2017-09-13
EP3217278A1 (en) 2017-09-13
US10671336B2 (en) 2020-06-02
EP3620907A1 (en) 2020-03-11
US20180285054A1 (en) 2018-10-04
CN107211158A (zh) 2017-09-26
KR20160053795A (ko) 2016-05-13
CN107211158B (zh) 2020-09-29

Similar Documents

Publication Publication Date Title
KR102656605B1 (ko) 복수의 단말기들 간의 화면 공유를 제어하는 방법, 장치 및 기록 매체
EP3993436B1 (en) Data processing method and apparatus, computer-readable storage medium, and electronic device
US8730298B2 (en) Method, device, terminal and system for switching video resolution
US10194180B2 (en) Systems and methods for transmitting video data over a network
US9288328B2 (en) Communication terminal and non-transitory computer readable medium storing program
US20200169774A1 (en) Control method and device
KR102020363B1 (ko) 적응형 스트리밍을 이용한 미디어 세그먼트 송수신 방법 및 장치
CN105635128B (zh) 视频流传输的系统及方法
EP2879337B1 (en) Communication system, method, and program
WO2016003344A1 (en) Priority of uplink streams in video switching
US9553815B2 (en) Remote communication system, server apparatus, remote communication method, and program
US9538132B2 (en) Methods, devices, and systems for controlling audio and video transmission
US10278031B2 (en) Information processing method and information processing apparatus
JP2016506206A (ja) エラー制御のための再送およびフレーム同期
US10855737B2 (en) Control of media transcoding during a media session
US9936164B2 (en) Media control method and device
KR102307447B1 (ko) 네트워크 환경 모니터링에 기반하는 http 적응적 스트리밍 서버, 방법, 및 클라이언트 단말
JP2016149648A5 (ja) 通信装置、通信方法、及びプログラム
US20170214970A1 (en) Setting data rates in a video camera system
US11240161B2 (en) Data communication apparatus for high-speed identification of adaptive bit rate, communication system, data communication method, and program
CN114584520B (zh) 用于多路复用数据的方法和设备
CN115499693B (zh) 多屏异显的控制方法及装置、系统、存储介质、电子设备
KR102050416B1 (ko) 네트워크 카메라 장치 및 이의 영상 스트리밍 제공 방법
US20180020227A1 (en) Communication apparatus, communication system, communication method, and recording medium
JP6677061B2 (ja) 通信装置、通信システム、及びプログラム

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20151030

PG1501 Laying open of application
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20201030

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20151030

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20230919

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20240109

PG1601 Publication of registration