KR102279730B1 - 실시간 IoT 기반 메타정보를 갖는 영상의 다중 전송 스트리밍 방법, 이를 수행하기 위한 기록 매체, 장치 및 시스템 - Google Patents
실시간 IoT 기반 메타정보를 갖는 영상의 다중 전송 스트리밍 방법, 이를 수행하기 위한 기록 매체, 장치 및 시스템 Download PDFInfo
- Publication number
- KR102279730B1 KR102279730B1 KR1020200151659A KR20200151659A KR102279730B1 KR 102279730 B1 KR102279730 B1 KR 102279730B1 KR 1020200151659 A KR1020200151659 A KR 1020200151659A KR 20200151659 A KR20200151659 A KR 20200151659A KR 102279730 B1 KR102279730 B1 KR 102279730B1
- Authority
- KR
- South Korea
- Prior art keywords
- packet
- image data
- wireless network
- picture
- lte
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000005540 biological transmission Effects 0.000 claims abstract description 60
- 239000011159 matrix material Substances 0.000 claims 1
- 238000004891 communication Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 8
- 238000012544 monitoring process Methods 0.000 description 7
- 230000006641 stabilisation Effects 0.000 description 6
- 238000011105 stabilization Methods 0.000 description 6
- 230000035945 sensitivity Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 229920006395 saturated elastomer Polymers 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
- H04N21/2381—Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
-
- H04L29/08954—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
- H04L67/61—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources taking into account QoS or priority requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/23605—Creation or processing of packetized elementary streams [PES]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
- H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4343—Extraction or processing of packetized elementary streams [PES]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
- H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
- H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
- H04N21/4381—Recovering the multiplex stream from a specific network, e.g. recovering MPEG packets from ATM cells
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44209—Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Databases & Information Systems (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
영상의 다중 전송 스트리밍 방법은, 영상 센서로부터 수신한 영상 데이터를 인코딩하는 단계; 인코딩된 바이트 스트림을 전송하기 위해 다중구분, 픽쳐번호, 패킷번호 및 데이터를 포함하는 하나의 전송단위로 영상 데이터 패킷을 생성하는 패킷타이징 단계; 상기 영상 데이터 패킷의 다중 전송을 위해 LTE와 서로 다른 대역폭을 갖는 제1 와이파이(WiFi) 및 제2 와이파이를 포함하는 무선 네트워크를 동시에 사용하여 통신할 수 있도록 네트워크 모듈을 구성하는 단계; 상기 각 무선 네트워크의 신호대잡음비를 분석하여, 상기 LTE, 상기 제1 와이파이 및 상기 제2 와이파이 중 적어도 하나의 무선 네트워크를 패킷 스케줄러에 무선 네트워크로 추가하는 패킷 스케줄링 단계; 상기 패킷 스케줄러에 추가된 무선 네트워크가 복수개인 경우, 상기 추가된 무선 네트워크별로 전송할 영상 데이터 패킷을 결정하는 단계; 및 상기 무선 네트워크가 상기 패킷 스케줄러에 추가된 무선 네트워크로 상기 영상 데이터 패킷을 전송하는 단계를 포함하는 영상 데이터 패킷만을 전송하는 단계를 포함한다. 이에 따라, 이동체 카메라로부터 안정적인 영상을 수신할 수 있다.
Description
본 발명은 실시간 IoT 기반 메타정보를 갖는 영상의 다중 전송 스트리밍 방법, 이를 수행하기 위한 기록 매체, 장치 및 시스템에 관한 것으로, 보다 상세하게는, 네트워크 환경이 열악한 급경사지, 하천 등의 재난/재해 가능 지역에 사용하거나 무인 비행체나 선박, 차량(소방, 경찰 등)등 이동체에 탑재되는 IP 기반 카메라의 메타정보를 갖는 영상을 실시간 전송 서비스를 제공할 수 있도록 하기 위하여, 촬영된 메타정보를 갖는 영상을 다채널 무선 인터넷망으로 전송하는 스트리밍 서비스를 위한 것이다.
최근에 국내 시장뿐만 아니라 해외시장에서도 각 분야의 융합이 이루어지고 있고, 스마트 폰의 등장으로 텍스트 기반의 서비스가 영상 기반으로 급속히 바뀌어가고 있다. 이러한 환경에서 기존 CCTV 영상 감시가 주로 건물 내부를 중앙에서 감시하거나 PC로 원격 감시하는 정도의 국한된 시장인 반면, 점차 이동체를 통한 카메라 영상의 실시간 모니터링 요구가 증대하고 있다.
또한, 무선 이동 통신 네트워크 인프라의 비약적인 발전과 스마트 폰, 태블릿 PC 등의 발달로 실시간 동시 접속의 요구가 증대하고 있으며, 고성능 임베디드 CPU 발전을 통한, 사물 인터넷형 초소형 영상 안정화 처리가 필요하다.
예를 들어, 비디오 카메라 및 스마트 폰에서 획득한 영상을 기반으로 스테레오스코픽(stereoscopic) 영상을 자동 생성하거나 새로운 경로에서 다른 시점에서 바라보는 실감 가상현실(virtual reality; VR) 영상을 재생성하는 수요가 증대하고 있다.
특히, 최근 드론을 활용하여 기존에는 경험해보지 못했던 시점에서 물체를 조망하는 영상을 제작하고자 하는 수요가 증대하고 있다. 이에 따라, 드론을 이용한 항공 촬영과 관련된 연구들이 활발하게 진행되고 있다. 또한, 차량, 선박, 군사, 항공, 항만, 산불감시, 건물감시 등을 위해 다양한 분야에서 영상이 촬영되고 있다.
이에 따라, 이동체에 영상장비를 탑재하여 실시간으로 영상의 끈김 없이 영상 정보를 전송하여, 실시간 관제 및 정찰을 할 수 있어야 한다.
이에, 본 발명의 기술적 과제는 이러한 점에서 착안된 것으로 본 발명의 목적은 실시간 IoT 기반 메타정보를 갖는 영상의 다중 전송 스트리밍 방법을 제공하는 것이다.
본 발명의 다른 목적은 상기 실시간 IoT 기반 메타정보를 갖는 영상의 다중 전송 스트리밍 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 기록 매체를 제공하는 것이다.
본 발명의 또 다른 목적은 상기 실시간 IoT 기반 메타정보를 갖는 영상의 다중 전송 스트리밍 방법을 수행하기 위한 장치를 제공하는 것이다.
본 발명의 더욱 또 다른 목적은 상기 실시간 IoT 기반 메타정보를 갖는 영상의 다중 전송 스트리밍 서비스를 위한 영상의 다중 전송 스트리밍 장치를 포함하는 시스템을 제공하는 것이다.
상기한 본 발명의 목적을 실현하기 위한 일 실시예에 따른 영상의 다중 전송 스트리밍 방법은, 영상 센서로부터 수신한 영상 데이터를 인코딩하는 단계; 인코딩된 바이트 스트림을 전송하기 위해 다중구분, 픽쳐번호, 패킷번호 및 데이터를 포함하는 하나의 전송단위로 영상 데이터 패킷을 생성하는 패킷타이징 단계; 상기 영상 데이터 패킷의 다중 전송을 위해 LTE와 서로 다른 대역폭을 갖는 제1 와이파이(WiFi) 및 제2 와이파이를 포함하는 무선 네트워크를 동시에 사용하여 통신할 수 있도록 네트워크 모듈을 구성하는 단계; 상기 각 무선 네트워크의 신호대잡음비를 분석하여, 상기 LTE, 상기 제1 와이파이 및 상기 제2 와이파이 중 적어도 하나의 무선 네트워크를 패킷 스케줄러에 무선 네트워크로 추가하는 패킷 스케줄링 단계; 상기 패킷 스케줄러에 추가된 무선 네트워크가 복수개인 경우, 상기 추가된 무선 네트워크별로 전송할 영상 데이터 패킷을 결정하는 단계; 및 상기 무선 네트워크가 상기 패킷 스케줄러에 추가된 무선 네트워크로 상기 영상 데이터 패킷을 전송하는 단계를 포함하는 영상 데이터 패킷만을 전송하는 단계를 포함한다.
본 발명의 실시예에서, 상기 적어도 하나의 무선 네트워크를 패킷 스케줄러에 무선 네트워크로 추가하는 패킷 스케줄링 단계는, 상기 각 무선 네트워크의 신호대잡음비를 분석하는 단계; 상기 제1 와이파이의 신호대잡음비가 제1 임계값 이상이면, 상기 제1 와이파이만 상기 패킷 스케줄러에 무선 네트워크로 추가하는 단계; 상기 제2 와이파이의 신호대잡음비가 상기 제1 임계값 이상이면, 상기 제2 와이파이만 상기 패킷 스케줄러에 무선 네트워크로 추가하는 단계; 상기 제1 와이파이의 신호대잡음비가 제2 임계값 이상 제1 임계값 미만이면, 상기 제1 와이파이 및 상기 LTE를 상기 패킷 스케줄러에 무선 네트워크로 추가하는 단계; 및 상기 제2 와이파이 중 신호대잡음비가 상기 제2 임계값 이상이면, 상기 제2 와이파이 및 상기 LTE를 상기 패킷 스케줄러에 무선 네트워크로 추가하는 패킷 스케줄링 단계를 포함할 수 있다.
본 발명의 실시예에서 상기 추가된 무선 네트워크별로 전송할 영상 데이터 패킷을 결정하는 단계는, 상기 추가된 무선 네트워크가 상기 제1 와이파이 및 상기 제2 와이파이 중 하나이면서 상기 LTE인 경우, 전체 영상 데이터 패킷 중 기설정된 조건에 의해 선택된 패킷번호를 포함하는 영상 데이터 패킷을 상기 LTE로 전송할 영상 데이터 패킷으로 결정하고, 나머지 영상 데이터 패킷은 상기 제1 와이파이 또는 상기 제2 와이파이로 전송할 영상 데이터 패킷으로 결정할 수 있다.
본 발명의 실시예에서 상기 추가된 무선 네트워크별로 전송할 영상 데이터 패킷을 결정하는 단계는, 상기 추가된 무선 네트워크가 상기 제1 와이파이, 상기 제2 와이파이 및 상기 LTE인 경우, 전체 영상 데이터 패킷 중 기설정된 조건에 의해 선택된 픽쳐번호를 포함하는 영상 데이터 패킷을 상기 LTE로 전송할 영상 데이터 패킷으로 결정하고, 남은 영상 데이터 패킷 중 기설정된 패킷번호를 포함하는 영상 데이터 패킷을 상기 제1 와이파이 및 상기 제2 와이파이 중 우선순위가 높은 와이파이로 전송할 영상 데이터 패킷으로 결정하며, 나머지 영상 데이터 패킷은 상기 우선순위가 낮은 와이파이로 전송할 영상 데이터 패킷으로 결정할 수 있다.
본 발명의 실시예에서 상기 우선순위는, 전송속도, 포화도 및 신호간섭도 순으로 설정될 수 있다.
본 발명의 실시예에서, 상기 다중 구분은 상기 LTE, 상기 제1 와이파이 및 상기 제2 와이파이의 무선 네트워크를 구분하는 정보를 포함하고, 상기 픽쳐번호는 초당 30프레임으로 인코딩된 영상의 한 프레임을 하나의 픽쳐로 표시하며 각 픽쳐를 구분하기 위한 번호 정보를 포함하고, 상기 패킷번호는 하나의 픽쳐를 크기에 따라 n개의 패킷으로 나누어진 각 패킷을 구분하기 위한 패킷번호 정보를 포함할 수 있다.
본 발명의 실시예에서, 상기 제1 와이파이는 24GHz의 대역폭을 지원하고, 상기 제2 와이파이는 50GHz의 대역폭을 지원할 수 있다.
본 발명의 실시예에서, 상기 제1 임계값은 50dBm이고, 상기 제2 임계값은 20dBm일 수 있다.
본 발명의 실시예에서, 상기 영상 센서로부터 수신한 영상 데이터를 인코딩하는 것은, 센서로부터 입력된 영상 데이터를 H264 코덱 포맷으로 인코딩할 수 있다.
상기한 본 발명의 다른 목적을 실현하기 위한 일 실시예에 따른 컴퓨터 프로그래밍이 기록된 컴퓨터로 판독 가능한 저장 매체에는, 영상의 다중 전송 스트리밍 방법을 수행하기 위한 컴퓨터 프로그램이 기록되어 있다.
상기한 본 발명의 다른 목적을 실현하기 위한 일 실시예에 따른 IP 기반 이동체에 구비되는 영상의 다중 전송 스트리밍 장치는, 영상 센서로부터 수신한 영상 데이터를 인코딩하는 인코딩부; 인코딩된 바이트 스트림을 전송하기 위해 다중구분, 픽쳐번호, 패킷번호 및 데이터를 포함하는 하나의 전송단위로 영상 데이터 패킷을 생성하는 패킷타이징부; 상기 영상 데이터 패킷의 다중 전송을 위해 LTE와 서로 다른 대역폭을 갖는 제1 와이파이(WiFi) 및 제2 와이파이를 포함하는 무선 네트워크를 지원하는 다중 무선 모뎀; 상기 각 무선 네트워크의 신호대잡음비를 분석하여, 상기 제1 와이파이의 신호대잡음비가 제1 임계값 이상이면 상기 제1 와이파이만 패킷 스케줄러에 무선 네트워크로 추가하고, 상기 제2 와이파이의 신호대잡음비가 상기 제1 임계값 이상이면 상기 제2 와이파이만 상기 패킷 스케줄러에 무선 네트워크로 추가하고, 상기 제1 와이파이 및 상기 제2 와이파이 중 신호대잡음비가 제2 임계값 이상 제1 임계값 미만인 상기 제1 와이파이 및 상기 제2 와이파이 중 적어도 하나와 상기 LTE를 상기 패킷 스케줄러에 무선 네트워크로 추가하는 패킷 스케줄러; 상기 패킷 스케줄러에 추가된 무선 네트워크가 복수개인 경우, 상기 추가된 무선 네트워크별로 전송할 영상 데이터 패킷을 결정하는 패킷 결정부; 및 상기 패킷 스케줄러에 추가된 무선 네트워크로 상기 영상 데이터 패킷을 전송하는 패킷 다중 전송부를 포함한다.
본 발명의 실시예에서, 상기 패킷 결정부는, 상기 패킷 스케줄러에서 추가된 무선 네트워크가 상기 제1 와이파이 및 상기 제2 와이파이 중 하나이면서 상기 LTE인 경우, 전체 영상 데이터 패킷 중 기설정된 조건에 의해 선택된 패킷번호를 포함하는 영상 데이터 패킷을 상기 LTE로 전송할 영상 데이터 패킷으로 결정하고, 나머지 영상 데이터 패킷은 상기 제1 와이파이 또는 상기 제2 와이파이로 전송할 영상 데이터 패킷으로 결정할 수 있다.
본 발명의 실시예에서, 상기 패킷 결정부는, 상기 패킷 스케줄러에서 추가된 무선 네트워크가 상기 제1 와이파이, 상기 제2 와이파이 및 상기 LTE인 경우, 전체 영상 데이터 패킷 중 기설정된 조건에 의해 선택된 픽쳐번호를 포함하는 영상 데이터 패킷을 상기 LTE로 전송할 영상 데이터 패킷으로 결정하고, 남은 영상 데이터 패킷 중 기설정된 패킷번호를 포함하는 영상 데이터 패킷을 상기 제1 와이파이 및 상기 제2 와이파이 중 우선순위가 높은 와이파이로 전송할 영상 데이터 패킷으로 결정하며, 나머지 영상 데이터 패킷은 상기 우선순위가 낮은 와이파이로 전송할 영상 데이터 패킷으로 결정할 수 있다.
본 발명의 실시예에서 상기 우선순위는, 전송속도, 포화도 및 신호간섭도 순으로 높게 설정할 수 있다.
본 발명의 실시예에서, 상기 다중 구분은 상기 LTE, 상기 제1 와이파이 및 상기 제2 와이파이의 무선 네트워크를 구분하는 정보를 포함하고, 상기 픽쳐번호는 초당 30프레임으로 인코딩된 영상의 한 프레임을 하나의 픽쳐로 표시하며 각 픽쳐를 구분하기 위한 번호 정보를 포함하고, 상기 패킷번호는 하나의 픽쳐를 크기에 따라 n개의 패킷으로 나누어진 각 패킷을 구분하기 위한 패킷번호 정보를 포함할 수 있다.
본 발명의 실시예에서, 상기 제1 와이파이는 24GHz의 대역폭을 지원하고, 상기 제2 와이파이는 50GHz의 대역폭을 지원할 수 있다.
본 발명의 실시예에서, 상기 제1 임계값은 50dBm이고, 상기 제2 임계값은 20dBm일 수 있다.
본 발명의 실시예에서, 상기 인코딩부는 센서로부터 입력된 영상 데이터를 H264 코덱 포맷으로 인코딩할 수 있다.
상기한 본 발명의 더욱 또 다른 목적을 실현하기 위한 일 실시예에 따른 시스템은, IP 기반 이동체에 구비되는 영상의 다중 전송 스트리밍 장치 및 상기 다중 전송 스트리밍 장치로부터 전송되는 영상 데이터 패킷을 수신하는 스트리밍 서버를 포함하고, 상기 영상의 다중 전송 스트리밍 장치는, 영상 센서로부터 수신한 영상 데이터를 인코딩하는 인코딩부; 인코딩된 바이트 스트림을 전송하기 위해 다중구분, 픽쳐번호, 패킷번호 및 데이터를 포함하는 하나의 전송단위로 영상 데이터 패킷을 생성하는 패킷타이징부; 상기 영상 데이터 패킷의 다중 전송을 위해 LTE와 서로 다른 대역폭을 갖는 제1 와이파이(WiFi) 및 제2 와이파이를 포함하는 무선 네트워크를 지원하는 다중 무선 모뎀; 상기 각 무선 네트워크의 신호대잡음비를 분석하여, 상기 제1 와이파이의 신호대잡음비가 제1 임계값 이상이면 상기 제1 와이파이만 패킷 스케줄러에 무선 네트워크로 추가하고, 상기 제2 와이파이의 신호대잡음비가 상기 제1 임계값 이상이면 상기 제2 와이파이만 상기 패킷 스케줄러에 무선 네트워크로 추가하고, 상기 제1 와이파이 및 상기 제2 와이파이 중 신호대잡음비가 제2 임계값 이상 제1 임계값 미만인 상기 제1 와이파이 및 상기 제2 와이파이 중 적어도 하나와 상기 LTE를 상기 패킷 스케줄러에 무선 네트워크로 추가하는 패킷 스케줄러; 상기 패킷 스케줄러에 추가된 무선 네트워크가 복수개인 경우, 상기 추가된 무선 네트워크별로 전송할 영상 데이터 패킷을 결정하는 패킷 결정부; 및 상기 패킷 스케줄러에 추가된 무선 네트워크로 상기 영상 데이터 패킷을 전송하는 패킷 다중 전송부를 포함한다.
본 발명의 실시예에서, 상기 스트리밍 서버는, 상기 다중 전송 스트리밍이 전송한 영상 데이터 패킷이 도착한 시간에 따라 데이터베이스에 저장하는 다중 패킷 수신부; 저장된 영상 다중 데이터에서 동일한 픽쳐번호 및 패킷번호를 갖는 영상데이터에 대해 다중구분 값이 다를 경우, 도착 우선 순위 시간에 따라 먼저 데이터베이스에 저장된 영상 데이터를 선정하고 선정되지 않은 영상 데이터는 폐기하는 패킷 재구성 모듈; 및 재구성된 패킷을 사용자 단말기로 전송할 때, 다중구분 및 패킷번호 필드를 제거하여 영상 데이터를 전송하는 패킷 전송부를 포함할 수 있다.
이와 같은 실시간 IoT 기반 메타정보를 갖는 영상의 다중 전송 스트리밍 방법에 따르면, 상용 서비스 중인 차세대 무선 통신인 LTE/LTE-m 및 WiFi 네트워크 망의 사업자와 협업하여, 안정적인 유/무선 통신 연결을 제공하며, 클라우드 기반 스트리밍 서비스를 통해 안정적인 영상을 고객에게 실시간 이용할 수 있도록 지원할 수 있다. 특히, LTE(사설 무선망) 낮은 데이터 대역의 변동에서도 안정적인 영상을 수신할 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상의 다중 전송 스트리밍을 위한 다중 전송 스트리밍 시스템의 개념도이다.
도 2는 본 발명의 일 실시예에 따른 영상의 다중 전송 스트리밍을 위한 다중 전송 스트리밍 시스템의 블록도이다.
도 3은 본 발명의 영상의 다중 전송을 위한 TCP/IP 세그먼트 및 전송 패킷의 개념도이다.
도 4는 패킷 손실, 도착 우선순위 시간에 의한 패킷 재구성 개념도이다.
도 5는 본 발명의 일 실시예에 따른 영상의 다중 전송 스트리밍을 위한 다중 전송 스트리밍 방법의 흐름도이다.
도 6은 도 5의 패킷 스케줄링에 대한 상세 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 영상의 다중 전송 스트리밍을 위한 다중 전송 스트리밍 시스템의 블록도이다.
도 3은 본 발명의 영상의 다중 전송을 위한 TCP/IP 세그먼트 및 전송 패킷의 개념도이다.
도 4는 패킷 손실, 도착 우선순위 시간에 의한 패킷 재구성 개념도이다.
도 5는 본 발명의 일 실시예에 따른 영상의 다중 전송 스트리밍을 위한 다중 전송 스트리밍 방법의 흐름도이다.
도 6은 도 5의 패킷 스케줄링에 대한 상세 흐름도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이를 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실싱예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하, 도면들을 참조하여 본 발명의 바람직한 실싱예들을 보다 상세하게 설명하기로 한다.
먼저, 도 1은 본 발명의 일 실시예에 따른 영상의 다중 전송 스트리밍을 위한 다중 전송 스트리밍 시스템의 개념도이고, 그리고 도 2는 본 발명의 일 실시예에 따른 영상의 다중 전송 스트리밍을 위한 다중 전송 스트리밍 시스템의 블록도이다.
본 발명에 따른 영상의 다중 전송 스트리밍 시스템(1, 이하 시스템)은 영상의 다중 전송 스트리밍 장치(10, 이하 장치), 스트리밍 서버(30), 사용자 단말기(50)를 포함하며, 상기 장치(10)로부터 수신한 영상 데이터를 상기 스트리밍 서버(30)를 통해 상기 사용자 단말기(50)에 안정적으로 제공한다.
이상의 영상 데이터는 상기 장치(10)로부터 수집되는 데이터를 의미하는 것으로, 본 발명의 일 실시예에서는 영상 데이터를 기준으로 설명하였으나, 음향을 비롯하여 사물인터넷을 기반으로 하는 수집센서로부터 수집되는 데이터일 수 있다.
상기 장치(10)는 영상 데이터를 수집하는 IP 기반 이동체 카메라에 구비되거나 통신될 수 있음은 물론, 사물 인터넷(Internet of Things, 패킷번호)을 기반으로 하는 IP 기반 고정카메라에 구비되거나 통신될 수 있다. 예를 들어, 상기 장치(10)는 드론, 차량, 선박, 군사, 항공, 항만 등에 탑재된 영상장비에 포함될 수 있다.
본 발명에서는 이동체에 탑재되는 IP 기반 카메라의 영상을 안정적으로 실시간 전송 서비스를 제공 할 수 있도록 하기 위하여, 촬영된 영상을 LTE와 와이파이(WiFi)를 통해 다중으로 전송한다.
도 1 및 도 2를 참조하면, 본 발명에 따른 장치(10)는 인코딩부(110), 패킷 타이징부(120), 다중 무선 모뎀(130), 패킷 스케줄러(140), 패킷 결정부(150) 및 패킷 다중 전송부(160)를 포함한다.
본 발명의 상기 장치(10)는 실시간 IoT 기반 메타정보를 갖는 영상의 다중 전송 스트리밍을 수행하기 위한 소프트웨어(애플리케이션)가 설치되어 실행될 수 있으며, 상기 인코딩부(110), 상기 패킷타이징부(120), 상기 다중 무선 모뎀(130), 상기 패킷 스케줄러(140), 상기 패킷 결정부(150) 및 상기 패킷 다중 전송부(160)의 구성은 상기 장치(10)에서 실행되는 상기 실시간 IoT 기반 메타정보를 갖는 영상의 다중 전송 스트리밍을 수행하기 위한 소프트웨어에 의해 제어될 수 있다.
상기 장치(10)는 별도의 단말이거나 또는 단말의 일부 모듈일 수 있다. 또한, 상기 인코딩부(110), 상기 패킷타이징부(120), 상기 다중 무선 모뎀(130), 상기 패킷 스케줄러(140), 상기 패킷 결정부(150) 및 상기 패킷 다중 전송부(160)의 구성은 통합 모듈로 형성되거나, 하나 이상의 모듈로 이루어 질 수 있다. 그러나, 이와 반대로 각 구성은 별도의 모듈로 이루어질 수도 있다.
상기 장치(10)는 이동성을 갖거나 고정될 수 있다. 상기 장치(10)는, 서버(server) 또는 엔진(engine) 형태일 수 있으며, 디바이스(device), 기구(apparatus), 단말(terminal), UE(user equipment), MS(mobile station), 무선기기(wireless device), 휴대기기(handheld device) 등 다른 용어로 불릴 수 있다.
상기 장치(10)는 운영체제(Operation System; OS), 즉 시스템을 기반으로 다양한 소프트웨어를 실행하거나 제작할 수 있다. 상기 운영체제는 소프트웨어가 장치의 하드웨어를 사용할 수 있도록 하기 위한 시스템 프로그램으로서, 안드로이드 OS, iOS, 윈도우 모바일 OS, 바다 OS, 심비안 OS, 블랙베리 OS 등 모바일 컴퓨터 운영체제 및 윈도우 계열, 리눅스 계열, 유닉스 계열, MAC, AIX, HP-UX 등 컴퓨터 운영체제를 모두 포함할 수 있다.
상기 인코딩부(110)는 영상 센서(예를 들어, 카메라)로부터 수신한 영상 데이터를 인코딩한다. 상기 인코딩부(110)는 입력된 영상 데이터를 코덱 포맷으로 인코딩할 수 있고, 예를 들어, H.264 포맷으로 인코딩할 수 있다.
상기 패킷타이징부(120)는 인코딩된 바이트 스트림을 전송하기 위해 하나의 전송단위로 영상 데이터 패킷을 생성한다.
도 3은 본 발명의 영상 데이터 다중 전송을 위한 TCP/IP 세그먼트 및 전송 패킷의 개념도로, 도 3에 도시된 바와 같이, 상기 패킷타이징부(120)는 TCP/IP의 헤더 40바이트와 페이로드의 1460바이트를 더해 1500바이트를 하나의 전송단위로 정할 수 있다. 상기 페이로드의 1460바이트는, 1바이트의 다중구분, 2바이트의 픽쳐번호, 2바이트의 패킷번호 및 1455바이트의 데이터를 포함한다.
상기 다중구분에는 상기 LTE, 상기 제1 와이파이 및 상기 제2 와이파이의 무선 네트워크를 구분하는 정보를 포함하고, 상기 픽쳐번호는 초당 30프레임으로 인코딩된 영상의 한 프레임을 하나의 픽쳐로 표시하며 각 픽쳐를 구분하기 위한 번호 정보를 포함하고, 상기 패킷번호는 하나의 픽쳐를 크기에 따라 n개의 패킷으로 나누어진 각 패킷을 구분하기 위한 패킷번호 정보를 포함한다.
이 때, 패킷번호는 기설정된 기준으로 부여될 수 있다.
예를 들면, 하나의 픽쳐가 사각형이고 하나의 픽쳐를 크기에 따라 9x9의 격자형식으로 구성되는 경우, 첫번째 행에 위치하는 패킷들은 모두 1로 시작하여 해당 열의 순서대로 연속되는 숫자를 부여하는 방식일 수 있다.
구체적으로, 첫번째 행의 첫번째 열에 위치한 패킷의 패킷번호는 101, 첫번째 행의 두번째 열에 위치한 패킷의 패킷번호는 102이며, 다섯번째 행의 다선번째 열에 위치한 패킷의 패킷번호는 505로 부여되는 방식이다.
물론 이는 구체적인 예시일 뿐 이에 국한되는 것은 아니며, 필요에 의해 적합한 패킷번호 설정기준을 마련하여 각 패킷에 패킷번호를 부여하거나 순차적으로 패킷번호를 부여할 수도 있을 것이다.
상기 다중 무선 모뎀(130)은 생성된 영상 데이터 패킷의 이중 전송을 위해 LTE와 서로 다른 대역폭을 갖는 제1 와이파이(WiFi) 및 제2 와이파이를 포함하는 무선 네트워크를 동시에 사용하여 통신할 수 있도록 네트워크 모듈을 구성한다.
상기 다중 무선 모뎀(130)은 상기 장치(10)가 세가지 무선 네트워크를 동시에 사용하여 통신할 수 있도록 네트워크 모듈을 구성하는 것이다.
상기 제1 와이파이는 24GHz의 대역폭을 지원하고, 상기 제2 와이파이는 50GHz의 대역폭을 지원하는 무선 네트워크일 수 있다. Wifi 24GHz의 경우 범위(커버리지)가 넓은 반면, 거의 포화 상태이므로 신호간섭이 있을 수 있다. Wifi5GHz는 속도가 Wifi 24GHz보다 빠르나, 범위(커버리지)가 좁고, 직진성이 강해서 코너에 약하다는 특징이 있다.
그러나, 이는 일례에 불과하고 필요에 따라 다른 대역폭을 지원하는 무선 네트워크거나, 다른 대역폭을 지원하는 무선 네트워크를 추가할 수 있다.
상기 패킷 스케줄러(140)는 전송 성공률을 최대화하고 네트워크 카메라 및 스트리밍 서버의 리소스를 줄이기 위해 각각의 무선 네트워크의 감도를 분석하여 신호대잡음비 감도에 따라 최적의 패킷을 스케줄링한다.
이를 위해, 상기 패킷 스케줄러(140)는 상기 각 무선 네트워크의 신호대잡음비를 분석하여, 상기 LTE, 상기 제1 와이파이 및 상기 제2 와이파이 중 적어도 하나의 무선 네트워크를 패킷 스케줄러에 무선 네트워크로 추가한다.
구체적으로, 상기 제1 와이파이의 신호대잡음비가 제1 임계값 이상이면 상기 제1 와이파이만 패킷 스케줄러에 무선 네트워크로 추가하고, 상기 제2 와이파이의 신호대잡음비가 상기 제1 임계값 이상이면 상기 제2 와이파이만 상기 패킷 스케줄러에 무선 네트워크로 추가한다.
반면, 상기 제1 와이파이 및 상기 제2 와이파이 중 신호대잡음비가 상기 제1 임계값 미만이면서 제2 임계값 이상인 상기 제1 와이파이 및 상기 제2 와이파이 중 적어도 하나와 상기 LTE를 상기 패킷 스케줄러에 무선 네트워크로 추가한다.
다시 말해, 상기 제1 와이파이의 신호대잡음비가 상기 제1 임계값 미만이면서 상기 제2 임계값 이상이면, 상기 제1 와이파이 및 상기 LTE를 상기 패킷 스케줄러에 무선 네트워크로 추가한다.
또한, 상기 제2 와이파이의 신호대잡음비가 상기 제1 임계값 미만이면서 상기 제2 임계값 이상이면, 상기 제2 와이파이 및 상기 LTE를 상기 패킷 스케줄러에 무선 네트워크로 추가한다.
만약, 상기 제1 와이파이 및 상기 제2 와이파이의 신호대잡음비가 모두 상기 제1 임계값 미만이면서 제2 임계값 이상이면, 상기 제1 와이파이 및 상기 제2 와이파이와 상기 LTE가 모두 상기 패킷 스케줄러에 무선 네트워크에 추가된다.
예를 들어, 상기 제1 임계값은 50dBm이고, 상기 제2 임계값은 20dBm일 수 있다.
한편, 상기 패킷 결정부(150)는 상기 패킷 스케줄러(140)에 추가된 무선 네트워크가 복수개인 경우, 추가된 무선 네트워크별로 전송할 영상 데이터 패킷을 결정할 수 있다.
이를 위해 상기 추가된 무선 네트워크가 상기 제1 와이파이 및 상기 제2 와이파이 중 하나이면서 상기 LTE인 경우, 생성된 영상 데이터 패킷 전체 중 기설정된 조건에 의해 선택된 패킷번호를 포함하는 영상 데이터 패킷을 상기 LTE로 전송할 영상 데이터 패킷으로 결정하고, 나머지 영상 데이터 패킷은 상기 제1 와이파이 또는 상기 제2 와이파이로 전송할 영상 데이터 패킷으로 결정한다.
여기서 기설정된 조건이라 함은 한 프레임을 n개의 패킷으로 나누었을 때, 영상 데이터의 수집 목적, 영상 데이터의 종류 등을 기반으로 패킷의 위치에 따라 중요도를 부여해 필수로 전송되어야 하는 패킷을 결정하거나, 하나의 픽쳐에 포함되는 전체 패킷의 수를 기준으로 전송할 영상 데이터 패킷을 결정하는 것이다.
이는 후술할 패킷 재구성 모듈(330)에서 저장된 패킷을 중복여부에 따라 재구성하는 실시예와는 다르게 설정에 따라 영상 데이터 패킷이 중복되지 않게 전송하여 패킷을 재구성하는데 소요되는 시간을 단축하기 위함이다.
예를 들어 사용자 단말기(50)의 네트워크 상태 및 설정에 따라 영상 데이터 수신 시 지연시간 없이 저해상도의 영상 데이터를 수신하고자 하는 경우에 실시될 수 있을 것이다.
구체적으로, 패킷번호가 상술한 예시와 같이 하나의 픽쳐가 사각형이고 하나의 픽쳐를 크기에 따라 9x9의 격자형식으로 구성되는 경우, 첫번째 행에 위치하는 패킷들은 모두 1로 시작하여 열의 순서대로 연속되는 숫자를 부여하는 방식으로, 첫번째 행의 첫번째 열에 위치한 패킷의 패킷번호는 101, 첫번째 행의 두번째 열에 위치한 패킷의 패킷번호는 102이며, 다섯번째 행의 다선번째 열에 위치한 패킷의 패킷번호는 505로 부여되는 방식인 경우를 예시로 설명하기로 한다.
만약, 추가된 무선 네트워크가 상기 제1 와이파이 및 상기 LTE이고, 영상 데이터의 하나의 픽쳐 내에서 5번째 행부터 8번째 행까지에 위치된 패킷번호를 포함하는 영상데이터 패킷의 중요도가 높은 것으로 설정하는 경우, 생성된 영상 데이터 패킷 전체 중 501부터 809까지의 패킷번호를 포함하는 영상 데이터 패킷은 LTE로 전송할 영상 데이터 패킷으로 결정하고, 나머지 패킷번호인 101부터 409까지 그리고 901부터 909까지의 패킷번호를 포함하는 영상 데이터 패킷은 제1 와이파이로 전송할 영상 데이터 패킷으로 결정할 수 있다.
또는, 추가된 무선 네트워크가 상기 제1 와이파이 및 상기 LTE이고, 패킷의 중요도와 관계없이 단순히 패킷을 나누어 전송되도록 설정하는 경우, 홀수 행의 짝수 열(102,104, …, 906, 908) 및 짝수 행의 홀수 열(201, 203, …, 807,809)인 패킷번호를 포함하는 영상 데이터 패킷은 LTE로 전송할 영상 데이터 패킷으로 결정하고, 나머지 패킷번호인 홀수 행의 홀수 열(101, 103, …, 907, 909) 및 짝수 행의 짝수 열(202, 204, …,806, 808)인 패킷번호를 포함하는 영상 데이터 패킷은 제1 와이파이로 전송할 영상 데이터 패킷으로 결정하는 방식일 수도 있다.
또한 상기 패킷 결정부(150)는, 상기 추가된 무선 네트워크가 상기 제1 와이파이, 상기 제2 와이파이 및 상기 LTE인 경우, 전체 영상 데이터 패킷 중 기설정된 조건에 의해 선택된 픽쳐번호를 포함하는 영상 데이터 패킷을 상기 LTE로 전송할 영상 데이터 패킷으로 결정할 수 있다.
그리고, 상기 패킷 결정부(150)는, 상기 선택된 픽쳐번호를 포함하지 않는 영상 데이터 패킷 중 기설정된 조건에 의해 선택된 패킷번호를 포함하는 영상 데이터 패킷을 제1 와이파이 및 제2 와이파이 중 우선순위가 높은 와이파이로 전송할 영상데이터 패킷으로 결정할 수 있다.
또한, 상기 패킷 결정부(150)는, 나머지 영상 데이터 패킷은 우선순위가 낮은 와이파이로 전송할 영상 데이터 패킷으로 결정할 수 있다.
여기서 픽쳐번호를 선택하는 기설정된 조건이라함은, 영상의 한 프레임을 하나의 픽쳐로 표시했을 때 영상 데이터의 수집 목적, 영상 데이터의 종류 등을 기반으로 픽쳐의 순번에 따라 결정하는 것일 수 있다.
구체적으로 기설정된 픽쳐번호 선택조건은 홀수에 해당하는 픽쳐번호이고, 나머지 픽쳐번호에 대해서는 상술한 바와 같이 단순히 패킷을 나누어 전송되도록 설정된 경우로 예를 들면, 홀수에 해당하는 픽쳐번호(1, 3, …, 27, 29)를 포함하는 영상 데이터 패킷은 모두 LTE로 전송할 영상 데이터 패킷으로 결정하고, 짝수에 해당하는 픽쳐번호(2, 4, …, 28, 30)를 포함하는 영상 데이터 패킷은 다시 패킷번호를 기준으로 홀수 행의 짝수 열(102,104, …, 906, 908) 및 짝수 행의 홀수 열(201, 203, …, 807,809)인 패킷번호를 포함하는 영상 데이터 패킷은 제1 와이파이로 전송할 영상 데이터 패킷으로 결정하고, 나머지 패킷번호인 홀수 행의 홀수 열(101, 103, …, 907, 909) 및 짝수 행의 짝수 열(202, 204, …,806, 808)인 패킷번호를 포함하는 영상 데이터 패킷은 제2 와이파이로 전송할 영상 데이터 패킷으로 결정하는 방식일 수 있다.
이상의 예시는 제1 와이파이 및 제2 와이파이의 우선순위와 관계없이 전송되는 경우로, 우선순위에 대해서는 후술하기로 한다.
또는, 수집되는 영상의 목적에 따라 초당 30프레임으로 구성되는 영상 중 5의 배수에 해당하는 픽쳐번호로 표시되는 프레임의 중요도가 높을 경우에는 5의 배수에 해당하는 픽쳐번호를 포함하는 영상 데이터 패킷은 LTE로 전송할 영상 데이터 패킷으로 결정하고, 나머지 픽쳐번호를 포함하는 영상 데이터의 패킷은 다시 패킷번호를 기준으로 제1 와이파이 및 제2 와이파이로 전송할 영상 데이터 패킷으로 결정하는 방식으로 실시할 수도 있다.
또한, 이상에서 LTE로 전송되는 영상 데이터 패킷을 제외한 나머지 영상 데이터 패킷을 제1 와이파이 및 제2 와이파로 전송할 때, 상술한 바와 같이 프레임 내에 특정 위치에 위치한 패킷의 중요도가 높은 것으로 설정된 경우라면, 중요도가 높은 패킷번호를 포함하는 영상 데이터 패킷은 우선순위가 높은 와이파이로 전송하도록 한다.
본 발명에서 제1 와이파이 및 제2 와이파이의 우선순위는 전송속도, 포화도 및 신호간섭도 순으로 높게 설정될 수 있다.
따라서 패킷 결정부(150)는 최우선적으로 전송속도를 고려하여 제2 와이파이보다 제1 와이파이의 전송속도가 더 빠른 경우에는, 중요도가 높은 패킷번호를 포함하는 영상 데이터 패킷을 제1 와이파이로 전송할 영상 데이터 패킷으로 결정하고, 중요도가 높은 패킷번호를 포함하지 않는 영상 데이터 패킷은 제2 와이파이로 전송할 영상 데이터 패킷으로 결정할 수 있다.
또한 패킷 결정부(150)는 제1 와이파이 및 제2 와이파이의 전송속도를 비교한 결과 전송속도 차이가 정해진 범위 이내에 있을 경우, 차순위인 포화도를 비교한다.
패킷 결정부(150)가 포화도의 비교 결과 제1 와이파이보다 제2 와이파이의 포화도가 낮으면, 중요도가 높은 패킷번호를 포함하는 영상 데이터 패킷을 제2 와이파이로 전송할 영상 데이터 패킷으로 결정하고, 중요도가 높은 패킷번호를 포함하지 않는 영상 데이터 패킷은 제1 와이파이로 전송할 영상 데이터 패킷으로 결정할 수 있다.
그리고 패킷 결정부(150)는 제1 와이파이 및 제2 와이파이 간의 포화도를 비교한 결과 포화도 차이가 정해진 범위 이내에 있을 경우, 다음 순위인 신호간섭도를 비교한다.
패킷 결정부(150)는 제1 와이파이보다 제2 와이파이의 신호간섭도가 낮으면, 중요도가 높은 패킷번호를 포함하는 영상 데이터를 제2 와이파이로 전송할 영상 데이터 패킷으로 결정하고, 중요도가 높은 패킷번호를 포함하지 않는 영상 데이터 패킷은 제1 와이파이로 전송할 영상 데이터 패킷으로 결정할 수 있다.
만약 제1 와이파이와 제2 와이파이 간의 전송속도, 포화도 및 신호간섭도의 비교결과가 모두 정해진 범위 이내에 있을 경우, 패킷 결정부(150)는 우선순위가 가장 높은 전송속도를 기준으로 전송속도가 높은 와이파이로 중요도가 높은 패킷번호를 포함하는 영상 데이터 패킷을 전송하도록 결정할 수 있다.
다른 실시예로 패킷 결정부(150)는 제1 와이파이와 제2 와이파이 간의 전송 속도, 포화도 및 신호간섭도의 비교결과가 모두 정해진 범위 이내에 있을 경우, 각 우선순위 간의 비교결과를 비교하여 그 비교값들을 비교하여 가장 큰 차이가 나는 항목에 해당하는 우선순위를 선택하여 해당 와이파이로 중요도가 높은 패킷번호를 포함하는 영상 데이터 패킷을 전송하도록 결정할 수 있다.
구체적으로, 제1 와이파이와 제2 와이파이 간의 전송속도, 포화도 및 신호간섭도 간의 비교결과에 있어 차이가 없다고 판단하는 기준을 10%로 상정하고, 제1 와이파이 및 제2 와이파이 간의 비교결과 전송속도 차이가 5% 이고, 포화도는 8%이며, 신호간섭도가 4%인 경우, 패킷 결정부(150)는 가장 높은 수치로 차이가 있는 포화도를 기준으로 더 낮은 포화도를 갖는 와이파이로 중요도가 높은 패킷번호를 포함하는 영상 데이터 패킷을 전송하도록 결정할 수 있다.
또 다른 실시예로 패킷 결정부(150)는 제1 와이파이와 제2 와이파이 간의 전송속도, 포화도 및 신호간섭도의 비교결과가 모두 정해진 범위 이내에 있을 경우,중요도가 높은 패킷번호를 포함하는 영상 데이터를 제1 와이파이 및 제2 와이파이 중 랜덤으로 하나를 선택하여 선택된 와이파이로 전송할 영상 데이터 패킷으로 결정하고, 중요도가 높은 패킷번호를 포함하지 않는 영상 데이터는 선택되지 않은 와이파이로 전송할 영상 데이터 패킷으로 결정할 수 있다.
이러한 우선순위의 비중은 장치(10)가 설치되는 환경 등을 기반으로 변경될 수도 있음은 물론이다. 또한 전송속도, 포화도, 신호간섭도를 감지하거나 비교 및 판단하기 위한 구성은 패킷 결정부(150)에 구비될 수도 있고, 패킷 스케줄러(170)에 구비되거나 이외의 별도의 모듈로 이루어질 수도 있을 것이다.
이에 의해, 본 실시예에서는 패킷번호가 중복되지 않게 영상 데이터 패킷을 전송할 수 있게 되므로 상기 패킷 재구성 모듈(330)에서 단순히 저장된 모든 영상 데이터 패킷을 취합하면되므로 영상 데이터 패킷의 재구성을 위해 소요되는 시간을 단축시킬 수 있게 된다.
또한, 각각의 무선 네트워크가 영상 데이터 패킷의 전체를 전송하는 것이 아닌 각 무선네트워크 별로 선택된 영상 데이터 패킷만 전송하게 되므로, 각 무선 네트워크별로 전송해야 하는 데이터량도 줄어들어 데이터를 전송하는데 소요되는 시간 역시 단축시킬 수 있게 될 것이다.
그리고 상기 패킷 결정부(150)는 생성된 영상 데이터 패킷 전체를 상기 추가된 무선 네트워크별로 각각 전송할 영상 데이터 패킷으로 결정할 수 있다.
한편, 본 발명의 다른 실시예에 따른 패킷 결정부(150)는 상기 추가된 무선 네트워크가 상기 LTE, 상기 제1 와이파이 및 상기 제2 와이파이이고, 픽쳐번호로 표시되는 프레임의 중요도가 다르게 설정된 경우, 전체 데이터 패킷을 상기 LTE로 전송할 영상 데이터 패킷으로 결정하고, 상기 제1 와이파이 및 제2 와이파이로 전송할 영상 데이터 패킷은 중요도가 높은 픽쳐번호를 포함하는 영상 데이터 패킷만을 전송할 영상 데이터 패킷으로 결정할 수 있다.
예를 들어 5의 배수에 해당되는 픽쳐번호에 중요도가 높게 설정되어 있는 경우, 전체 데이터 패킷을 상기 LTE로 전송할 영상 데이터 패킷으로 결정하고, 5의 배수에 해당되는 픽쳐번호(5,10,15,20,25,30)를 포함하는 영상 데이터 패킷은 상기 제1 와이파이 및 상기 제2 와이파이로 전송할 데이터 패킷으로 결정하는 것이다.
한편, 상기 패킷 다중 전송부(160)는 상기 패킷 스케줄러에 추가된 무선 네트워크로 상기 영상 데이터 패킷을 전송한다.
상기 스트리밍 서버(30)는 클라우드(cloud) 기반 동시 다중 전송 플랫폼(LTE, WiFi)을 제공하는 클라우드 플랫폼(300), 다중 패킷 수신부(310), 패킷 재구성 모듈(330) 및 패킷 전송부(350)를 포함한다. 또한, 상기 스트리밍 서버(30)는 이동체/단말 접속 상태 관리(360), 로그 관리 및 동시접속 관리(370) 및 리눅스 또는 윈도우 등의 OS(운영체제)(380) 등을 더 포함할 수 있다.
상기 다중 패킷 수신부(310)는 상기 다중 전송 스트리밍이 전송한 영상 데이터 패킷이 도착한 시간에 따라 데이터베이스(320)에 저장한다.
상기 패킷 재구성 모듈(330)은 저장된 영상 다중 데이터에서 동일한 픽쳐번호와 패킷번호를 갖는 영상 데이터에 대해 다중구분 값이 다를 경우, 도착 우선 순위 시간에 따라 먼저 데이터베이스에 저장된 영상 데이터를 선정하고 선정되지 않은 영상 데이터는 폐기한다.
한편 도 4는 패킷 손실, 도착 우선순위 시간에 의한 패킷 재구성 개념도이다.
도 4에 도시된 바와 같이, 상기 패킷 재구성 모듈(330)은 상기 데이터베이스(320)에 저장된 영상 데이터에서 동일한 픽쳐번호와 패킷번호는 영상 스트림에서 동일한 영상 데이터를 나타내므로, 다중 전송에 의해 반복 수신된 영상 데이터에서 수신지연이 가장 적은 영상 데이터를 선정하고 선정되지 않은 영상 데이터는 폐기한다.
이에 따라, 도 4에 도시된 재구성된 패킷에는 픽쳐번호와 각 픽쳐번호를 구성하는 패킷번호 순서로 배열되고, 무선 네트워크를 구분하는 다중구분의 정보를 참조하면, LTE와 와이파이에서 수신된 패킷들이 혼합되어 구성되는 것을 알 수 있다.
이에 따라, 선정된 영상 데이터를 모아 새로운 영상 스트림으로 재구성하여 사용자 단말기(50)에 전송한다.
한편, 도 4에서와는 달리 상기 패킷 재구성 모듈(330)은 저장된 영상 다중 데이터에서 상기 다중구분 값, 상기 픽쳐번호 및 상기 패킷번호가 모두 상이할 경우, 상기 데이터베이스(320)에 저장된 영상 다중 데이터를 모두 선정할 수 있다.
이는 패킷 결정부(150)에 의해 추가된 네트워별로 전송되는 영상 데이터 패킷을 결정하는 과정에서 전송되는 영상 데이터 패킷이 중복되지 않게 전송되는 경우일 것이다.
또한, 본 발명의 다른 실시예에 따른 상기 패킷 재구성 모듈(330)은 상기 데이터베이스(32)에 저장된 영상 데이터에서 중요도가 높은 픽쳐번호를 포함하는 영상 데이터 패킷이 반복 수신되므로 이상에서와 같이 반복 수신된 영상 데이터에서 수신지연이 가장 적은 영상 데이터를 선정하고 선정되지 않은 영상 데이터는 폐기하며, 중요도가 높은 픽쳐번호를 포함하지 않는 영상 데이터 패킷은 반복 수신되지 않으므로 별도의 폐기과정없이 모두 취합하여 재구성할 수 있다.
상기 패킷 전송부(350)는 재구성된 패킷을 사용자 단말기(50)로 전송 시 다중구분 및 패킷번호 필드를 제거하여 영상 데이터를 전송한다.
상기 패킷 전송부(350)는 네트워크 대역폭을 줄이기 위해 상기 장치(10)에서 패킷타이징 시 다중화에 사용되었던 다중구분 및 패킷번호를 제거하여 더 많은 영상 데이터를 전송할 수 있도록 한다.
한편, 상기 패킷 결정부(150)에 의해 추가된 무선 네트워크별로 전송되는 영상 데이터 패킷이 중복 수신되지 않는 경우에는, 필요에 따라 상기 데이터베이스(320)에 저장된 영상 다중 데이터가 상기 패킷 재구성 모듈(330)에 의해 재구성되는 과정을 거치지 않고 상기 패킷 전송부(350)를 통해 다중구분 및 패킷번호 필드만 제거하여 영상데이터를 사용자 단말기(50)로 전송할 수도 있다.
상기 사용자 단말기(50)는 무선 네트워크를 지원하는 무선 모뎀(510), 패킷 수신부(530) 및 디코딩부(550)를 포함하여 상기 스트리밍 서버(30)로부터 수신된 영상을 안정적으로 제공받을 수 있다.
이에 따라, 클라우드 기반 스트리밍 서비스를 통해 안정적인 영상을 고객에게 실시간 이용할 수 있도록 지원할 수 있다. 특히, LTE(사설 무선망) 낮은 데이터 대역의 변동에서도 안정적인 영상을 수신할 수 있다.
도 5는 본 발명의 일 실시예에 따른 영상의 다중 전송 스트리밍 방법의 흐름도이고, 그리고 도 6은 도 5의 패킷 스케줄링에 대한 상세 흐름도이다.
본 실시예에 따른 영상 안정화 서비스를 위한 다중 전송 스트리밍 방법은, 도 1의 장치(10)와 실질적으로 동일한 구성에서 진행될 수 있다. 따라서, 도 1의 장치(10)와 동일한 구성요소는 동일한 도면부호를 부여하고, 반복되는 설명은 생략한다. 또한, 본 실시예에 따른 영상 안정화 서비스를 위한 다중 전송 스트리밍 방법은 영상 안정화 서비스를 위한 다중 전송 스트리밍을 수행하기 위한 소프트웨어(애플리케이션)에 의해 실행될 수 있다.
본 발명에서는 이동체에 탑재되는 IP 기반 카메라의 영상을 안정적으로 실시간 전송 서비스를 제공 할 수 있도록 하기 위하여, 촬영된 영상을 LTE와 와이파이(WiFi)를 통해 이중으로 전송한다. 상기 이동체는 드론, 차량, 선박, 군사, 항공, 항만 등일 수 있다.
도 5를 참조하면, 본 실시예에 따른 영상 안정화 서비스를 위한 다중 전송 스트리밍 방법은, 영상 센서로부터 수신한 영상 데이터를 인코딩한다.(단계 S10) 이때, 입력된 영상 데이터를 코덱 포맷으로 인코딩할 수 있고, 예를 들어, H.264 포맷으로 인코딩할 수 있다.
인코딩된 바이트 스트림을 전송하기 위해 다중구분, 픽쳐번호, 패킷번호 및 데이터를 포함하는 하나의 전송단위로 영상 데이터 패킷을 생성하는 패킷타이징을 수행한다(단계 S20)
TCP/IP의 헤더 40바이트와 페이로드의 1460바이트를 더해 1500바이트를 하나의 전송단위로 정할 수 있다. 상기 페이로드의 1460바이트는, 1바이트의 다중구분, 2바이트의 픽쳐번호, 2바이트의 패킷번호 및 1455바이트의 데이터를 포함한다.
상기 다중구분에는 상기 LTE, 상기 제1 와이파이 및 상기 제2 와이파이의 무선 네트워크를 구분하는 정보를 포함하고, 상기 픽쳐번호는 초당 30프레임으로 인코딩된 영상의 한 프레임을 하나의 픽쳐로 표시하며 각 픽쳐를 구분하기 위한 번호 정보를 포함하고, 상기 패킷번호는 하나의 픽쳐를 크기에 따라 n개의 패킷으로나누어진 각 패킷을 구분하기 위한 패킷번호 정보를 포함한다(도 3 참조)
생성된 영상 데이터 패킷의 이중 전송을 위해 LTE와 서로 다른 대역폭을 갖는 제1 와이파이(WiFi) 및 제2 와이파이를 포함하는 무선 네트워크를 동시에 사용하여 통신할 수 있도록 네트워크 모듈을 구성한다.(단계 S30)
이때, 세가지 무선 네트워크를 동시에 사용하여 통신할 수 있도록 네트워크 모듈을 구성하는 것이다.
상기 제1 와이파이는 24GHz의 대역폭을 지원하고, 상기 제2 와이파이는 50GHz의 대역폭을 지원하는 무선 네트워크일 수 있다. Wifi 24GHz의 경우 범위(커버리지)가 넓은 반면, 거의 포화 상태이므로 신호간섭이 있을 수 있다. Wifi5GHz는 속도가 Wifi 24GHz보다 빠르나, 범위(커버리지)가 좁고, 직진성이 강해서 코너에 약하다는 특징이 있다.
그러나, 이는 일례에 불과하고 필요에 따라 다른 대역폭을 지원하는 무선 네트워크거나, 다른 대역폭을 지원하는 무선 네트워크를 추가할 수 있다.
상기 각 무선 네트워크의 신호대잡음비를 분석하여, 상기 LTE, 상기 제1 와이파이 및 상기 제2 와이파이 중 적어도 하나의 무선 네트워크를 패킷 스케줄러에 무선 네트워크로 추가하는 패킷 스케줄링을 수행한다.(단계 S40)
단계 S40에서는 전송 성공률을 최대화하고 네트워크 카메라 및 스트리밍 서버의 리소스를 줄이기 위해 각각의 무선 네트워크의 감도를 분석하여 신호대잡음비 감도에 따라 최적의 패킷을 스케줄링한다.
이를 위해, 상기 각 무선 네트워크의 신호대잡음비를 분석하여, 상기 LTE, 상기 제1 와이파이 및 상기 제2 와이파이 중 적어도 하나의 무선 네트워크를 패킷 스케줄러에 무선 네트워크로 추가한다.
구체적으로, 상기 제1 와이파이의 신호대잡음비가 제1 임계값 이상이면 상기 제1 와이파이만 패킷 스케줄러에 무선 네트워크로 추가하고, 상기 제2 와이파이의 신호대잡음비가 상기 제1 임계값 이상이면 상기 제2 와이파이만 상기 패킷 스케줄러에 무선 네트워크로 추가한다.
반면, 상기 제1 와이파이 및 상기 제2 와이파이 중 신호대잡음비가 상기 제1 임계값 미만이면서 제2 임계값 이상인 상기 제1 와이파이 및 상기 제2 와이파이 중 적어도 하나와 상기 LTE를 상기 패킷 스케줄러에 무선 네트워크로 추가한다.
다시 말해, 상기 제1 와이파이의 신호대잡음비가 상기 제1 임계값 미만이면서 상기 제2 임계값 이상이면, 상기 제1 와이파이 및 상기 LTE를 상기 패킷 스케줄러에 무선 네트워크로 추가한다.
또한, 이상에서와 마찬가지로 상기 제2 와이파이의 신호대잡음비가 상기 제1 임계값 미만이면서 상기 제2 임계값 이상이면, 상기 제2 와이파이 및 상기 LTE를 상기 패킷 스케줄러에 무선 네트워크로 추가한다.
만약, 상기 제1 와이파이 및 상기 제2 와이파이의 신호대잡음비가 모두 상기 제1 임계값 미만이면서 제2 임계값 이상이면, 상기 제1 와이파이 및 상기 제2 와이파이와 상기 LTE가 모두 상기 패킷 스케줄러에 무선 네트워크에 추가된다.
이하에서는 단계 S40의 패킷 스케줄링을 도 6을 참조하여 설명한다. 여기서, 상기 제1 와이파이는 24GHz의 대역폭을 지원하는 Wifi 24GHz 무선 네트워크, 상기 제2 와이파이는 50GHz의 대역폭을 지원하는 Wifi 50GHz 무선 네트워크로 설명한다.
또한, 제1 임계값은 50dBm이고, 제2 임계값은 20dBm인 것을 예로 설명한다.
도 6을 참조하면, 상기 각 무선 네트워크의 신호대잡음비를 분석하고(단계 S41), Wifi 24GHz의 신호대잡음비가 50dBm 이상인지 확인한다(단계 S42) Wifi24GHz의 신호대잡음비가 50dBm 이상인 경우, Wifi 24GHz만 패킷 스케줄러에 무선 네트워크로 추가한다.(단계 S43)
반면, 상기 Wifi 24GHz의 신호대잡음비가 50dBm 미만인 경우, Wifi 50GHz의 신호대잡음비가 50dBm 이상인지 확인한다(단계 S44) 상기 Wifi 50GHz 의 신호대잡음비가 50dBm 이상인 경우, 상기 Wifi 50GHz 만 패킷 스케줄러에 무선 네트워크로 추가한다.(단계 S45)
반면, 상기 Wifi 50GHz 의 신호대잡음비가 50dBm 미만인 경우, 상기 Wifi 24GHz의 신호대잡음비가 20dBm 이상인지 확인한다(단계 S51) 상기 Wifi 24GHz의 신호대잡음비가 20dBm 이상인 경우, 상기 Wifi 24GHz를 패킷 스케줄러에 무선 네트워크로 추가하고(단계 S52), 다음 단계로 진행한다.
상기 Wifi 24GHz의 신호대잡음비가 20dBm 미만인 경우, 상기 Wifi 50GHz의 신호대잡음비가 20dBm 이상인지 확인한다(단계 S53) 상기 Wifi 50GHz의 신호대잡음비가 20dBm 이상인 경우, 상기 Wifi 50GHz를 패킷 스케줄러에 무선 네트워크로 추가하고(단계 S54), 다음 단계로 진행한다.
이후, 상기 LTE를 상기 패킷 스케줄러에 무선 네트워크로 추가한다(단계 S55)
그리고 최종적으로 추가된 무선 네트워크가 복수개인지 확인하고, (단계 S56) 복수개가 아닌 경우, 바로 상기 패킷 스케줄러에 추가된 무선 네트워크로 상기 영상 데이터 패킷을 전송한다.(단계 S90)
반면, 최종적으로 추가된 무선 네트워크가 복수개인 경우(단계 S56-Yes), 추가된 무선 네트워크별로 전송할 영상 데이터 패킷을 결정하고,(단계 S70) 다음 단계로 진행한다.
이후, 상기 패킷 스케줄러에 추가된 무선 네트워크로 결정된 영상 데이터 패킷을 전송한다.(단계 S90)
단계 S70에서는, 상기 패킷 스케줄링 단계(단계 S40)에서 추가된 무선 네트워크가 복수개인 경우, 추가된 무선 네트워크별로 전송할 영상 데이터 패킷을 결정할 수 있다.
이를 위해 상기 추가된 무선 네트워크가 상기 제1 와이파이 및 상기 제2 와이파이 중 하나이면서 상기 LTE인 경우, 상기 패킷 타이징부(120)에서 생성된 영상 데이터 패킷 전체 중 기설정된 조건에 의해 선택된 패킷번호를 포함하는 영상 데이터 패킷을 상기 LTE로 전송할 영상 데이터 패킷으로 결정하고, 나머지 영상 데이터 패킷은 상기 제1 와이파이 또는 상기 제2 와이파이로 전송할 영상 데이터 패킷으로 결정한다.
전송할 영상 데이터 패킷을 결정하는 기준은 영상 데이터의 수집 목적, 영상 데이터의 종류 등을 기반으로 픽쳐 또는 패킷의 위치에 따라 중요도를 부여해 필수로 전송되어야하는 픽쳐 또는 패킷을 결정하거나, 하나의 픽쳐에 포함되는 전체 패킷의 수를 분배하여 전송할 영상 데이터 패킷을 결정하는 것이다.
이는 영상 데이터 패킷을 중복여부에 따라 재구성하는 것과는 달리 영상 데이터 패킷이 중복되지 않게 전송하여 영상 데이터 패킷을 재구성하는데 소요되는 시간을 단축하기 위함으로, 예를 들어 사용자 단말기(50)의 네트워크 상태 및 설정에 따라 영상 데이터 수신 시 지연시간 없이 저해상도의 영상 데이터를 수신하고자 하는 경우에 실시될 수 있다.
그리고 상기 추가된 무선 네트워크가 상기 제1 와이파이, 상기 제2 와이파이 및 상기 LTE인 경우, 전체 영상 데이터 패킷 중 기설정된 조건에 의해 선택된 픽쳐번호를 포함하는 영상 데이터 패킷을 상기 LTE로 전송할 영상 데이터 패킷으로 결정하고, 상기 선택된 픽쳐번호를 포함하지 않는 영상 데이터 패킷 중 기설정된 조건에 의해 선택된 패킷번호를 포함하는 영상 데이터 패킷을 상기 제1 와이파이로 전송할 영상 데이터 패킷으로 결정하고, 나머지 영상 데이터 패킷은 상기 제2 와이파이로 전송할 영상 데이터 패킷으로 결정할 수 있다.
한편 본 발명의 다른 실시예로, 상기 추가된 무선 네트워크가 상기 LTE, 상기 제1 와이파이 및 상기 제2 와이파이이고, 픽쳐번호로 표시되는 프레임의 중요도가 다르게 설정된 경우, 전체 데이터 패킷을 상기 LTE로 전송할 영상 데이터 패킷으로 결정하고, 상기 제1 와이파이 및 제2 와이파이로 전송할 영상 데이터 패킷은 중요도가 높은 픽쳐번호를 포함하는 영상 데이터 패킷만을 전송할 영상 데이터 패킷으로 결정할 수 있다.
IP기반 이동체 카메라에서 송신한 영상 데이터를 망에 따라 각기 수신하여 수신버퍼에 도착한 시간에 따라 데이터베이스에 저장한다.
이를 수신한 스트리밍 서버는 전송된 영상 데이터 패킷을 도착한 시간에 따라 데이터베이스에 저장한다. 데이터베이스에 저장된 영상 데이터에서 동일한 픽쳐번호와 패킷번호는 영상 스트림에서 동일한 영상 데이터를 나타내므로 다중 전송에 의해 반복 수신된 영상 데이터에서 수신지연이 가장 적은 영상 데이터를 선정하고 선정되지 않은 영상데이터는 폐기한다.
선정된 영상 데이터를 모아 새로운 영상 스트림으로 재구성하여 사용자 단말기에 전송한다. 영상 스트림 재구성시에는 네트워크 대역폭을 줄이기 위해 IP기반 이동체 카메라부에서 패킷타이징시 다중화에 사용되었던 다중구분 및 패킷번호를 제거하여 더 많은 영상 데이터를 전송할 수 있도록 한다.
이에 따라, LTE 및 Wifi의 이중 전송을 이용하여 안정적인 유/무선 통신 연결을 제공하며, 클라우드 기반 스트리밍 서비스를 통해 안정적인 영상을 고객에게 실시간 이용할 수 있도록 지원할 수 있다. 특히, LTE(사설 무선망) 낮은 데이터 대역의 변동에서도 안정적인 영상을 수신할 수 있다.
이와 같은, 영상 안정화 서비스를 위한 다중 전송 스트리밍 방법은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
본 발명은 차량, 선박, 군사, 항공, 항만, 산불감시, 건물감시 등 다양한 시장에서 본 발명에 따른 서비스 솔루션을 기업 및 기관에 맞게 플랫폼을 고객화하여 판매할 수 있다.
또한, 본 발명의 기술을 활용하여서 신규시장인 이동체(무인비행체, 선박, 특수 차량) 등에서도 가시성을 확보하여 기존의 디지털 카메라나 캠코더를 이용하는 시장을 대체 할 수 있으며, 이동 통신망을 이용한 클라우드형 시스템으로 실시간으로 현장의 상황을 협업 관제할 수 있는 신규시장을 창출 할 수 있다.
10 : 다중 전송 스트리밍 장치 110 : 인코딩부
120 : 패킷타이징부 130 : 다중무선모뎀
140 : 패킷 스케줄러 150 : 패킷 결정부
160 : 패킷 다중 전송부 30 : 스트리밍 서버
300 : 클라우드 플랫폼 310 : 다중 패킷 수신부
320 : 데이터베이스 330 : 패킷 재구성 모듈
350 : 패킷 전송부
360 : 이동체/단말 접속 상태 관리
370 : 로그 관리 및 동시접속 관리
380 : 리눅스 또는 윈도우 등의 OS
50 : 사용자 단말기 510 : 무선 모뎀
530 : 패킷 수신부 550 : 디코딩부
120 : 패킷타이징부 130 : 다중무선모뎀
140 : 패킷 스케줄러 150 : 패킷 결정부
160 : 패킷 다중 전송부 30 : 스트리밍 서버
300 : 클라우드 플랫폼 310 : 다중 패킷 수신부
320 : 데이터베이스 330 : 패킷 재구성 모듈
350 : 패킷 전송부
360 : 이동체/단말 접속 상태 관리
370 : 로그 관리 및 동시접속 관리
380 : 리눅스 또는 윈도우 등의 OS
50 : 사용자 단말기 510 : 무선 모뎀
530 : 패킷 수신부 550 : 디코딩부
Claims (20)
- 영상 센서로부터 수신한 영상 데이터를 인코딩하는 단계;
인코딩된 바이트 스트림을 전송하기 위해 다중구분, 픽쳐번호, 패킷번호 및 데이터를 포함하는 하나의 전송단위로 영상 데이터 패킷을 생성하는 패킷타이징 단계;
상기 영상 데이터 패킷의 다중 전송을 위해 LTE와 서로 다른 대역폭을 갖는 제1 와이파이(WiFi) 및 제2 와이파이를 포함하는 무선 네트워크를 동시에 사용하여 통신할 수 있도록 네트워크 모듈을 구성하는 단계;
상기 각 무선 네트워크의 신호대잡음비를 분석하여, 상기 LTE, 상기 제1 와이파이 및 상기 제2 와이파이 중 적어도 하나의 무선 네트워크를 패킷 스케줄러에 무선 네트워크로 추가하는 패킷 스케줄링 단계;
상기 패킷 스케줄러에 추가된 무선 네트워크가 복수개인 경우, 상기 추가된 무선 네트워크별로 전송할 영상 데이터 패킷을 결정하는 단계; 및
상기 패킷 스케줄러에 추가된 무선 네트워크로 상기 영상 데이터 패킷을 전송하는 단계를 포함하고,
상기 픽쳐번호는 초당 30프레임으로 인코딩된 영상의 한 프레임을 하나의 픽쳐로 표시하며 각 픽쳐를 구분하기 위한 번호 정보를 포함하고,
상기 패킷번호는 하나의 픽쳐를 크기에 따라 n개의 패킷으로 나누어진 각 패킷을 구분하기 위한 패킷번호 정보를 포함하며,
상기 추가된 무선 네트워크별로 전송할 영상 데이터 패킷을 결정하는 단계는,
상기 추가된 무선 네트워크가 상기 제1 와이파이 및 상기 제2 와이파이 중 하나이면서 상기 LTE인 경우,
전체 영상 데이터 패킷 중 기설정된 조건에 의해 선택된 패킷번호를 포함하는 영상 데이터 패킷을 상기 LTE로 전송할 영상 데이터 패킷으로 결정하고, 나머지 영상 데이터 패킷은 상기 제1 와이파이 또는 상기 제2 와이파이로 전송할 영상 데이터 패킷으로 결정하되,
상기 기설정된 조건에 따라 상기 패킷번호가 선택되는 것은,
상기 영상 데이터의 수집 목적 및 영상 데이터의 종류에 기초하여 상기 픽쳐 내에서 상기 패킷의 위치 별로 중요도를 부여하여 필수로 전송되어야 하는 상기 패킷번호를 결정하는 것이고,
상기 추가된 무선 네트워크가 상기 제1 와이파이, 상기 제2 와이파이 및 상기 LTE인 경우,
전체 영상 데이터 패킷 중 기설정된 조건에 의해 선택된 픽쳐번호를 포함하는 영상 데이터 패킷을 상기 LTE로 전송할 영상 데이터 패킷으로 결정하고,
남은 영상 데이터 패킷 중 기설정된 패킷번호를 포함하는 영상 데이터 패킷을 상기 제1 와이파이 및 상기 제2 와이파이 중 우선순위가 높은 와이파이로 전송할 영상 데이터 패킷으로 결정하며,
나머지 영상 데이터 패킷은 상기 우선순위가 낮은 와이파이로 전송할 영상 데이터 패킷으로 결정하되,
상기 기설정된 조건에 따라 상기 픽쳐번호가 선택되는 것은, 상기 영상 데이터의 수집 목적 및 영상 데이터의 종류에 기초하여 상기 픽쳐의 순번에 따라 결정하는 것이고,
상기 남은 영상 데이터 패킷 중 기설정된 패킷번호를 포함하는 영상 데이터 패킷은, 선택된 픽쳐번호를 제외한 픽쳐번호를 포함하는 영상 데이터 패킷 중에서 정해진 규칙에 따라 특정되는 행렬에 해당하는 패킷번호를 포함하는 패킷인 것을 특징으로 하는, 영상의 다중 전송 스트리밍 방법.
- 제1항에 있어서,
상기 적어도 하나의 무선 네트워크를 패킷 스케줄러에 무선 네트워크로 추가하는 패킷 스케줄링 단계는,
상기 각 무선 네트워크의 신호대잡음비를 분석하는 단계;
상기 제1 와이파이의 신호대잡음비가 제1 임계값 이상이면, 상기 제1 와이파이만 상기 패킷 스케줄러에 무선 네트워크로 추가하는 단계;
상기 제2 와이파이의 신호대잡음비가 상기 제1 임계값 이상이면, 상기 제2 와이파이만 상기 패킷 스케줄러에 무선 네트워크로 추가하는 단계;
상기 제1 와이파이의 신호대잡음비가 제2 임계값 이상 제1 임계값 미만이면, 상기 제1 와이파이 및 상기 LTE를 상기 패킷 스케줄러에 무선 네트워크로 추가하는 단계; 및
상기 제2 와이파이의 신호대잡음비가 상기 제2 임계값 이상 제1 임계값 미만이면, 상기 제2 와이파이 및 상기 LTE를 상기 패킷 스케줄러에 무선 네트워크로 추가하는 패킷 스케줄링 단계를 포함하는, 영상의 다중 전송 스트리밍 방법.
- 삭제
- 삭제
- 제1항에 있어서,
상기 우선순위는,
전송속도, 포화도 및 신호간섭도 순으로 설정되는 것을 특징으로 하는, 영상의 다중 전송 스트리밍 방법.
- 제1항에 있어서,
상기 다중 구분은 상기 LTE, 상기 제1 와이파이 및 상기 제2 와이파이의 무선 네트워크를 구분하는 정보를 포함하는, 영상의 다중 전송 스트리밍 방법.
- 제1항에 있어서,
상기 제1 와이파이는 24GHz의 대역폭을 지원하고, 상기 제2 와이파이는 50GHz의 대역폭을 지원하는, 영상의 다중 전송 스트리밍 방법. - 제2항에 있어서,
상기 제1 임계값은 50dBm이고, 상기 제2 임계값은 20dBm인, 영상의 다중 전송 스트리밍 방법.
- 제1항에 있어서,
상기 영상 센서로부터 수신한 영상 데이터를 인코딩하는 것은,
센서로부터 입력된 영상 데이터를 H264 코덱 포맷으로 인코딩하는, 영상의 다중 전송 스트리밍 방법.
- 제1항, 제2항 및 제5항 내지 제9항 중 어느 하나의 항에 따른 영상의 다중 전송 스트리밍 방법을 수행하기 위한, 컴퓨터 프로그래밍이 기록된 컴퓨터로 판독 가능한 기록 매체.
- IP 기반 이동체에 구비되는 영상의 다중 전송 스트리밍 장치로서,
영상 센서로부터 수신한 영상 데이터를 인코딩하는 인코딩부;
인코딩된 바이트 스트림을 전송하기 위해 다중구분, 픽쳐번호, 패킷번호 및 데이터를 포함하는 하나의 전송단위로 영상 데이터 패킷을 생성하는 패킷타이징부;
상기 영상 데이터 패킷의 다중 전송을 위해 LTE와 서로 다른 대역폭을 갖는 제1 와이파이(WiFi) 및 제2 와이파이를 포함하는 무선 네트워크를 지원하는 다중 무선 모뎀;
상기 각 무선 네트워크의 신호대잡음비를 분석하여, 상기 제1 와이파이의 신호대잡음비가 제1 임계값 이상이면 상기 제1 와이파이만 패킷 스케줄러에 무선 네트워크로 추가하고, 상기 제2 와이파이의 신호대잡음비가 상기 제1 임계값 이상이면 상기 제2 와이파이만 상기 패킷 스케줄러에 무선 네트워크로 추가하고, 상기 제1 와이파이 및 상기 제2 와이파이 중 신호대잡음비가 제2 임계값 이상 제1 임계값 미만인 상기 제1 와이파이 및 상기 제2 와이파이 중 적어도 하나와 상기 LTE를 상기 패킷 스케줄러에 무선 네트워크로 추가하는 패킷 스케줄러;
상기 패킷 스케줄러에 추가된 무선 네트워크가 복수개인 경우, 상기 추가된 무선 네트워크별로 전송할 영상 데이터 패킷을 결정하는 패킷 결정부; 및
상기 패킷 스케줄러에 추가된 무선 네트워크로 상기 영상 데이터 패킷을 전송하는 패킷 다중 전송부를 포함하고,
상기 픽쳐번호는 초당 30프레임으로 인코딩된 영상의 한 프레임을 하나의 픽쳐로 표시하며 각 픽쳐를 구분하기 위한 번호 정보를 포함하고,
상기 패킷번호는 하나의 픽쳐를 크기에 따라 n개의 패킷으로 나누어진 각 패킷을 구분하기 위한 패킷번호 정보를 포함하며,
상기 패킷 결정부는,
상기 패킷 스케줄러에서 추가된 무선 네트워크가 상기 제1 와이파이 및 상기 제2 와이파이 중 하나이면서 상기 LTE인 경우,
전체 영상 데이터 패킷 중 기설정된 조건에 의해 선택된 패킷번호를 포함하는 영상 데이터 패킷을 상기 LTE로 전송할 영상 데이터 패킷으로 결정하고, 나머지 영상 데이터 패킷은 상기 제1 와이파이 또는 상기 제2 와이파이로 전송할 영상 데이터 패킷으로 결정하되,
상기 기설정된 조건에 따라 상기 패킷번호가 선택되는 것은,
상기 영상 데이터의 수집 목적 및 영상 데이터의 종류에 기초하여 상기 픽쳐 내에서 상기 패킷의 위치에 따라 중요도를 부여하여 필수로 전송되어야 하는 상기 패킷번호를 결정하는 것이고,
상기 패킷 스케줄러에서 추가된 무선 네트워크가 상기 제1 와이파이, 상기 제2 와이파이 및 상기 LTE인 경우,
전체 영상 데이터 패킷 중 기설정된 조건에 의해 선택된 픽쳐번호를 포함하는 영상 데이터 패킷을 상기 LTE로 전송할 영상 데이터 패킷으로 결정하고,
남은 영상 데이터 패킷 중 기설정된 패킷번호를 포함하는 영상 데이터 패킷을 상기 제1 와이파이 및 상기 제2 와이파이 중 우선순위가 높은 와이파이로 전송할 영상 데이터 패킷으로 결정하되,
상기 기설정된 조건에 따라 상기 픽쳐번호가 선택되는 것은, 상기 영상 데이터의 수집 목적 및 영상 데이터의 종류에 기초하여 상기 픽쳐 내의 순번에 따라 결정하는 것이고,
상기 남은 영상 데이터 패킷 중 기설정된 패킷번호를 포함하는 영상 데이터 패킷은, 상기 선택된 픽쳐번호를 제외한 픽쳐번호를 포함하는 영상 데이터 패킷 중에서 홀수 행의 짝수 열 및 짝수 행의 홀수 열인 패킷번호를 포함하는 패킷인 것을 특징으로 하는, 영상의 다중 전송 스트리밍 장치.
- 삭제
- 삭제
- 제11항에 있어서,
상기 우선순위는,
전송속도, 포화도 및 신호간섭도 순으로 높게 설정하는 것을 특징으로 하는, 영상의 다중 전송 스트리밍 장치.
- 제11항에 있어서,
상기 다중 구분은 상기 LTE, 상기 제1 와이파이 및 상기 제2 와이파이의 무선 네트워크를 구분하는 정보를 포함하는, 영상의 다중 전송 스트리밍 장치.
- 제11항에 있어서,
상기 제1 와이파이는 24GHz의 대역폭을 지원하고, 상기 제2 와이파이는 50GHz의 대역폭을 지원하는, 영상의 다중 전송 스트리밍 장치. - 제11항에 있어서,
상기 제1 임계값은 50dBm이고, 상기 제2 임계값은 20dBm인, 영상의 다중 전송 스트리밍 장치.
- 제11항에 있어서,
상기 인코딩부는 센서로부터 입력된 영상 데이터를 H264 코덱 포맷으로 인코딩하는, 영상의 다중 전송 스트리밍 장치.
- IP 기반 이동체에 구비되는 영상의 다중 전송 스트리밍 장치 및 상기 다중 전송 스트리밍 장치로부터 전송되는 영상 데이터 패킷을 수신하는 스트리밍 서버를 포함하는 시스템에 있어서, 상기 영상의 다중 전송 스트리밍 장치는,
영상 센서로부터 수신한 영상 데이터를 인코딩하는 인코딩부;
인코딩된 바이트 스트림을 전송하기 위해 다중구분, 픽쳐번호, 패킷번호 및 데이터를 포함하는 하나의 전송단위로 영상 데이터 패킷을 생성하는 패킷타이징부;
상기 영상 데이터 패킷의 다중 전송을 위해 LTE와 서로 다른 대역폭을 갖는 제1 와이파이(WiFi) 및 제2 와이파이를 포함하는 무선 네트워크를 지원하는 다중 무선 모뎀;
상기 각 무선 네트워크의 신호대잡음비를 분석하여, 상기 제1 와이파이의 신호대잡음비가 제1 임계값 이상이면 상기 제1 와이파이만 패킷 스케줄러에 무선 네트워크로 추가하고, 상기 제2 와이파이의 신호대잡음비가 상기 제1 임계값 이상이면 상기 제2 와이파이만 상기 패킷 스케줄러에 무선 네트워크로 추가하고, 상기 제1 와이파이 및 상기 제2 와이파이 중 신호대잡음비가 제2 임계값 이상 제1 임계값 미만인 상기 제1 와이파이 및 상기 제2 와이파이 중 적어도 하나와 상기 LTE를 상기 패킷 스케줄러에 무선 네트워크로 추가하는 패킷 스케줄러;
상기 패킷 스케줄러에 추가된 무선 네트워크가 복수개인 경우, 상기 추가된 무선 네트워크별로 전송할 영상 데이터 패킷을 결정하는 패킷 결정부; 및
상기 패킷 스케줄러에 추가된 무선 네트워크로 상기 영상 데이터 패킷을 전송하는 패킷 다중 전송부를 포함하고,
상기 픽쳐번호는 초당 30프레임으로 인코딩된 영상의 한 프레임을 하나의 픽쳐로 표시하며 각 픽쳐를 구분하기 위한 번호 정보를 포함하고,
상기 패킷번호는 하나의 픽쳐를 크기에 따라 n개의 패킷으로 나누어진 각 패킷을 구분하기 위한 패킷번호 정보를 포함하며,
상기 패킷 결정부는,
상기 패킷 스케줄러에서 추가된 무선 네트워크가 상기 제1 와이파이 및 상기 제2 와이파이 중 하나이면서 상기 LTE인 경우,
전체 영상 데이터 패킷 중 기설정된 조건에 의해 선택된 패킷번호를 포함하는 영상 데이터 패킷을 상기 LTE로 전송할 영상 데이터 패킷으로 결정하고, 나머지 영상 데이터 패킷은 상기 제1 와이파이 또는 상기 제2 와이파이로 전송할 영상 데이터 패킷으로 결정하되,
상기 기설정된 조건에 따라 상기 패킷번호가 선택되는 것은,
상기 영상 데이터의 수집 목적 및 영상 데이터의 종류에 기초하여 상기 픽쳐 내에서 상기 패킷의 위치에 따라 중요도를 부여하여 필수로 전송되어야 하는 상기 패킷번호를 결정하는 것이고,
상기 패킷 스케줄러에서 추가된 무선 네트워크가 상기 제1 와이파이, 상기 제2 와이파이 및 상기 LTE인 경우,
전체 영상 데이터 패킷 중 기설정된 조건에 의해 선택된 픽쳐번호를 포함하는 영상 데이터 패킷을 상기 LTE로 전송할 영상 데이터 패킷으로 결정하고,
남은 영상 데이터 패킷 중 기설정된 패킷번호를 포함하는 영상 데이터 패킷을 상기 제1 와이파이 및 상기 제2 와이파이 중 우선순위가 높은 와이파이로 전송할 영상 데이터 패킷으로 결정하되,
상기 기설정된 조건에 따라 상기 픽쳐번호가 선택되는 것은, 상기 영상 데이터의 수집 목적 및 영상 데이터의 종류에 기초하여 상기 픽쳐 내의 순번에 따라 결정하는 것이고,
상기 남은 영상 데이터 패킷 중 기설정된 패킷번호를 포함하는 영상 데이터 패킷은, 상기 선택된 픽쳐번호를 제외한 픽쳐번호를 포함하는 영상 데이터 패킷 중에서 홀수 행의 짝수 열 및 짝수 행의 홀수 열인 패킷번호를 포함하는 패킷인 것을 특징으로 하는, 시스템.
- 제19항에 있어서, 상기 스트리밍 서버는,
상기 다중 전송 스트리밍이 전송한 영상 데이터 패킷이 도착한 시간에 따라 데이터베이스에 저장하는 다중 패킷 수신부;
저장된 영상 다중 데이터에서 동일한 픽쳐번호 및 패킷번호를 갖는 영상데이터에 대해 다중구분 값이 다를 경우, 도착 우선 순위 시간에 따라 먼저 데이터베이스에 저장된 영상 데이터를 선정하고 선정되지 않은 영상 데이터는 폐기하는 패킷 재구성 모듈; 및
재구성된 패킷을 사용자 단말기로 전송할 때, 다중구분 및 패킷번호 필드를 제거하여 영상 데이터를 전송하는 패킷 전송부를 포함하는 것을 특징으로 하는, 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200151659A KR102279730B1 (ko) | 2020-11-13 | 2020-11-13 | 실시간 IoT 기반 메타정보를 갖는 영상의 다중 전송 스트리밍 방법, 이를 수행하기 위한 기록 매체, 장치 및 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200151659A KR102279730B1 (ko) | 2020-11-13 | 2020-11-13 | 실시간 IoT 기반 메타정보를 갖는 영상의 다중 전송 스트리밍 방법, 이를 수행하기 위한 기록 매체, 장치 및 시스템 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102279730B1 true KR102279730B1 (ko) | 2021-07-20 |
Family
ID=77127208
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200151659A KR102279730B1 (ko) | 2020-11-13 | 2020-11-13 | 실시간 IoT 기반 메타정보를 갖는 영상의 다중 전송 스트리밍 방법, 이를 수행하기 위한 기록 매체, 장치 및 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102279730B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113890977A (zh) * | 2021-10-13 | 2022-01-04 | 中国电子科技集团公司第三研究所 | 机载视频处理装置及具有其的无人机 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160070922A (ko) | 2014-12-10 | 2016-06-21 | (주)위아이티 | 지하철 객실 감시 cctv시스템 및 그것을 이용한 지하철 객실정보 전송방법 |
| KR20160072971A (ko) | 2014-12-16 | 2016-06-24 | 주식회사 에이젠 | 이동통신망을 이용한 차량 관제시스템 |
| KR101670767B1 (ko) * | 2016-08-02 | 2016-10-31 | (주)와이즈콘 | 영상 안정화 서비스를 위한 이중화 전송 스트리밍 방법, 이를 수행하기 위한 기록 매체, 장치 및 시스템 |
| KR20180118290A (ko) * | 2017-04-21 | 2018-10-31 | 삼성전자주식회사 | 이동 통신 네트워크 내 다중 링크 상에서의 패킷 분배 방법 및 장치 |
-
2020
- 2020-11-13 KR KR1020200151659A patent/KR102279730B1/ko active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160070922A (ko) | 2014-12-10 | 2016-06-21 | (주)위아이티 | 지하철 객실 감시 cctv시스템 및 그것을 이용한 지하철 객실정보 전송방법 |
| KR20160072971A (ko) | 2014-12-16 | 2016-06-24 | 주식회사 에이젠 | 이동통신망을 이용한 차량 관제시스템 |
| KR101670767B1 (ko) * | 2016-08-02 | 2016-10-31 | (주)와이즈콘 | 영상 안정화 서비스를 위한 이중화 전송 스트리밍 방법, 이를 수행하기 위한 기록 매체, 장치 및 시스템 |
| KR20180118290A (ko) * | 2017-04-21 | 2018-10-31 | 삼성전자주식회사 | 이동 통신 네트워크 내 다중 링크 상에서의 패킷 분배 방법 및 장치 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113890977A (zh) * | 2021-10-13 | 2022-01-04 | 中国电子科技集团公司第三研究所 | 机载视频处理装置及具有其的无人机 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10560865B2 (en) | Systems and methods for electronic news gathering | |
| KR102395395B1 (ko) | 뷰포트 의존성 비디오 스트리밍 이벤트 | |
| KR20200014355A (ko) | 가상 현실(vr) 콘텐츠를 전송하기 위한 방법과 시스템 | |
| CN115038126A (zh) | 一种通信方法及设备 | |
| KR102279730B1 (ko) | 실시간 IoT 기반 메타정보를 갖는 영상의 다중 전송 스트리밍 방법, 이를 수행하기 위한 기록 매체, 장치 및 시스템 | |
| US20140298394A1 (en) | Image processing device, image processing method, and computer program | |
| GB2568020A (en) | Transmission of video content based on feedback | |
| KR101670767B1 (ko) | 영상 안정화 서비스를 위한 이중화 전송 스트리밍 방법, 이를 수행하기 위한 기록 매체, 장치 및 시스템 | |
| US11516702B2 (en) | Methods, systems and devices for determining buffer status report | |
| CN115474236A (zh) | 传输处理方法、装置、接入网节点及核心网节点 | |
| CN116114254A (zh) | 一种通信方法及装置 | |
| WO2022126437A1 (zh) | 通信方法及装置 | |
| CN116711370A (zh) | 一种通信方法与装置 | |
| CN116584081A (zh) | 一种调度传输方法及装置 | |
| CN114257820A (zh) | 数据传输方法及相关装置 | |
| WO2023088155A1 (zh) | 一种服务质量QoS管理方法以及装置 | |
| WO2023286342A1 (ja) | 通信装置、通信方法及び通信システム | |
| US20240048501A1 (en) | Method and system for transmitting data by radio signals | |
| US20240048603A1 (en) | Synchronicity for virtual reality/augmented reality interactive sessions in wireless networks | |
| US12058039B2 (en) | Packet validity time enhancement for quality of service flows | |
| US11729813B1 (en) | Multimedia service over an extended range wireless local area network (WLAN)using a modulation and coding scheme with symbol repetition for higher priority portions of media for data | |
| WO2024060991A1 (zh) | 一种多路径的数据流引流方法及装置 | |
| WO2023186301A1 (en) | Apparatus and methods therein, in a communications network | |
| Son et al. | Split Rendering with L4S Over 5G for Latency Critical Interactive XR Applications | |
| CN118509137A (zh) | 上行链路控制信息的发送方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |