[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN112188246B - 一种视频云存储方法 - Google Patents

一种视频云存储方法 Download PDF

Info

Publication number
CN112188246B
CN112188246B CN202011065179.0A CN202011065179A CN112188246B CN 112188246 B CN112188246 B CN 112188246B CN 202011065179 A CN202011065179 A CN 202011065179A CN 112188246 B CN112188246 B CN 112188246B
Authority
CN
China
Prior art keywords
file
video
cloud storage
data
storage method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011065179.0A
Other languages
English (en)
Other versions
CN112188246A (zh
Inventor
张猛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Gwelltimes Technology Co ltd
Original Assignee
Shenzhen Gwelltimes Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Gwelltimes Technology Co ltd filed Critical Shenzhen Gwelltimes Technology Co ltd
Priority to CN202011065179.0A priority Critical patent/CN112188246B/zh
Publication of CN112188246A publication Critical patent/CN112188246A/zh
Application granted granted Critical
Publication of CN112188246B publication Critical patent/CN112188246B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明公开一种视频云存储方法，包括将设备端录制的视频数据加密上传至第三方的对象存储服务器，并将对应视频文件索引存至内部服务器，内部服务器可通过该文件索引生成对应时段的m3u8文件，APP可通过内部服务提供的api接口随时访问生成的m3u8文件，解密播放对应设备上传的录制视频，以一个位标志某个时间点是否存在ts文件，将时标用位按照一定比例进行压缩，实现快速索引ts文件。本发明通过服务端与设备端文件上传约定，将对应文件索引信息按天存储至redis中，在节约存储成本的同时也大大提高了查询效率。

Description

一种视频云存储方法
技术领域
本发明涉及视频存储领域，特别涉及一种视频云存储方法。
背景技术
m3u8是一种索引文件，使用m3u8文件实际上是通过它来解析对应的放在服务器上的视频网络地址，从而实现在线播放，表格存储(Tablestore)是阿里云自研的NoSQL多模型数据库，文件索引是指文件在第三方资源服务器存储的相对路径。现有技术中通过阿里云表格存储来存储设备上传的视频文件索引，设备每4秒钟左右会上传一个ts文件，同时服务端会为该文件产生一条数据记录。当APP访问对应时段的云回放时，服务端通过查询表格存储数据来生成对应m3u8播放文件。现有方案缺点：设备每4秒产生一条记录，随着后续设备量增加，存储记录条数也将会越来越多，APP访问对应时段视频索引列表的效率将会降低。
发明内容
针对现有技术存在的问题，本发明提供一种视频云存储方法。
为实现上述目的，本发明的具体方案如下：
一种视频云存储方法，包括将设备端录制的视频数据加密上传至第三方的对象存储服务器，并将对应视频文件索引存至内部服务器，内部服务器可通过该文件索引生成对应时段的m3u8文件，APP可通过内部服务提供的api接口随时访问生成的m3u8文件，解密播放对应设备上传的录制视频，以一个位标志某个时间点是否存在ts文件，将时标用位按照一定比例进行压缩，实现快速索引ts文件。
优选地，具体包括如下步骤：
S1：直接将云存记录定期存储在redis中，类型为String；
S2：redis存储数据Key为设备ID+日期；
S3：redis存储数据Val为：固定长度的头部，为实现功能扩展而作了预留，原始数据区存储固定长度的ts标志位，对于已经不需要更新的记录采用压缩存储；
S4：利用redis本身提供的GetRange/SetRange/GetBit/SetBit来操作；
S5：利用redis本身的过期机制，自动删除已过期的key；
S6：查询数据，根据起始时间及设备ID，计算出key列表，命令读取到本地mget key列表，通过解压/拼接、去头/去尾进行本地数据处理；
S7：更新伪代码；
S8：数据压缩处理，每天执行一次，压缩前一天的数，从缓冲区刷新数据。
优选地，每个ts文件的视频数据长度为4s。
优选地，设备生成ts文件时，ts文件名与实际时标一致。
优选地，ts文件的utc起始时标是4的整数倍。
优选地，云存保存天数固定。
优选地，对象存储路径保持不变。
优选地，文件名和时标一致，无需保存云存文件名。
采用本发明的技术方案，具有以下有益效果：
本发明通过服务端与设备端文件上传约定，将对应文件索引信息按天存储至redis中，在节约存储成本的同时也大大提高了查询效率，并且具有如下优点：低成本，100W设备redis访问QPS约为50W，且每次请求数据量很小，普通redis集群即可满足需求；高性能，查询非常快；技术上，所有的操作都是原子的，不存在数据不一致的风险；网络开销可以很小，渲染及m3u8文件的生成，可以放在端侧来做；没有对特定云厂商的依赖。
附图说明
图1为本发明流程图。
具体实施方式
以下结合附图和具体实施例，对本发明进一步说明。
参照图1，本发明提供一种视频云存储方法，包括将设备端录制的视频数据加密上传至第三方的对象存储服务器，并将对应视频文件索引存至内部服务器，内部服务器可通过该文件索引生成对应时段的m3u8文件，APP可通过内部服务提供的api接口随时访问生成的m3u8文件，解密播放对应设备上传的录制视频，以一个位标志某个时间点是否存在ts文件，将时标用位按照一定比例进行压缩，实现快速索引ts文件。具体包括如下步骤：
S1：直接将云存记录定期存储在redis中，类型为String；
S2：redis存储数据Key为设备ID+日期，例如devid_20200408；
S3：redis存储数据Val为：固定长度的头部(例如8字节)，为实现功能扩展而作了预留，原始数据区存储固定长度的ts标志位(21600位/2700字节)，对于已经不需要更新的记录(非当天)，可采用压缩存储；
S4：利用redis本身提供的GetRange/SetRange/GetBit/SetBit来操作；
S5：利用redis本身的过期机制，自动删除已过期的key；
S6：查询数据，根据起始时间(可跨天)及设备ID，计算出key列表，命令读取到本地mget key列表，通过解压/拼接、去头/去尾进行本地数据处理；
S7：更新伪代码；
S8：数据压缩处理，每天执行一次，压缩前一天的数，从缓冲区刷新数据。
约定及前提：每个ts文件的视频数据长度为4s，设备生成ts文件时，ts文件名与实际时标一致，ts文件的utc起始时标是4的整数倍，云存保存天数固定(例如7天)，对象存储路径保持不变。
文件名和时标一致，无需保存云存文件名。以一个位标志某个时间点是否存在ts文件，1天总的数据存储原始数据大小为2.7kb，一般情况下这2.7kb的数据非常有规律，历史数据可进行压缩存储，假设压缩比约为6：
非压缩存储(7天)：2.7[kB]*8[天]＝21.6(kB)
非压缩存储(30天)：2.7[kB]*31[天]＝83.7(kB)
压缩处理(7天)：2.7[kB]*2[天]+(2.7[kB]*6[天])/6[压缩比]＝8.1(kB)
压缩处理(30天)：2.7[kB]*2[天]+(2.7[kB]*29[天])/6[压缩比]＝18.45(kB)
100万设备7天非压缩存储空间：21.6G
100万设备30天非压缩存储空间：83.7G
100万设备7天压缩最大存储空间：8.1G
100万设备30天压缩最大存储空间：18.45G
本发明可使用nosql数据库分库分表存储设备上传的文件索引，方案上可行，但是查询效率不及当前方案，存储空间也会增加。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的保护范围内。

Claims (7)

1.一种视频云存储方法，包括将设备端录制的视频数据加密上传至第三方的对象存储服务器，并将对应视频文件索引存至内部服务器，内部服务器可通过该文件索引生成对应时段的m3u8文件，APP可通过内部服务提供的api接口随时访问生成的m3u8文件，解密播放对应设备上传的录制视频，其特征在于，以一个位标志某个时间点是否存在ts文件，将时标用位按照一定比例进行压缩，实现快速索引ts文件；该视频云存储方法具体包括如下步骤：
S1：直接将云存记录定期存储在redis中，类型为String；
S2：redis存储数据Key为设备ID+日期；
S3：redis存储数据Val为：固定长度的头部，为实现功能扩展而作了预留，原始数据区存储固定长度的ts标志位，对于已经不需要更新的记录采用压缩存储；
S4：利用redis本身提供的GetRange、SetRange、GetBit、SetBit来操作；
S5：利用redis本身的过期机制，自动删除已过期的key；
S6：查询数据，根据起始时间及设备ID，计算出key列表，命令读取到本地mget key列表，通过解压、拼接、去头和去尾进行本地数据处理；
S7：更新伪代码；
S8：数据压缩处理，每天执行一次，压缩前一天的数，从缓冲区刷新数据。
2.根据权利要求1所述的视频云存储方法，其特征在于，每个ts文件的视频数据长度为4s。
3.根据权利要求2所述的视频云存储方法，其特征在于，设备生成ts文件时，ts文件名与实际时标一致。
4.根据权利要求3所述的视频云存储方法，其特征在于，ts文件的utc起始时标是4的整数倍。
5.根据权利要求4所述的视频云存储方法，其特征在于，云存保存天数固定。
6.根据权利要求5所述的视频云存储方法，其特征在于，对象存储路径保持不变。
7.根据权利要求6所述的视频云存储方法，其特征在于，文件名和时标一致，无需保存云存文件名。
CN202011065179.0A 2020-09-30 2020-09-30 一种视频云存储方法 Active CN112188246B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011065179.0A CN112188246B (zh) 2020-09-30 2020-09-30 一种视频云存储方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011065179.0A CN112188246B (zh) 2020-09-30 2020-09-30 一种视频云存储方法

Publications (2)

Publication Number Publication Date
CN112188246A CN112188246A (zh) 2021-01-05
CN112188246B true CN112188246B (zh) 2022-03-22

Family

ID=73948137

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011065179.0A Active CN112188246B (zh) 2020-09-30 2020-09-30 一种视频云存储方法

Country Status (1)

Country Link
CN (1) CN112188246B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113407770A (zh) * 2021-06-24 2021-09-17 深圳智多豚物联技术有限公司 基于redis的云回放索引服务方法及系统
CN114449196B (zh) * 2021-12-21 2023-08-04 天翼云科技有限公司 一种云视频监控数据存储方法、装置及电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103686246A (zh) * 2013-11-26 2014-03-26 小米科技有限责任公司 传输流视频选时播放方法、装置、设备及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3908691B2 (ja) * 2003-04-28 2007-04-25 株式会社東芝 情報記録媒体、録画前処理方法、情報記録方法、情報再生方法、情報記録装置および情報再生装置
EP2424240A4 (en) * 2009-04-22 2013-04-10 Lg Electronics Inc METHOD FOR MODIFYING REFERENCE COPY LISTS FOR A MORE VIEWED VIDEO
CN105808546A (zh) * 2014-12-30 2016-07-27 中国电信股份有限公司 一种视频文件索引管理平台、系统及其方法
CN106777159B (zh) * 2016-12-20 2020-04-28 西安交通大学 一种基于内容的视频片段检索及定位方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103686246A (zh) * 2013-11-26 2014-03-26 小米科技有限责任公司 传输流视频选时播放方法、装置、设备及系统

Also Published As

Publication number Publication date
CN112188246A (zh) 2021-01-05

Similar Documents

Publication Publication Date Title
WO2018076952A1 (zh) 一种视频文件的存储、定位播放方法及装置
CN112188246B (zh) 一种视频云存储方法
US8886896B2 (en) Storage format for media streams
EP2965189B1 (en) Managing operations on stored data units
AU2014226446B2 (en) Managing operations on stored data units
US10334302B2 (en) Method and system for segment based recording
JP4598627B2 (ja) コンテンツ編集装置及びその再生装置
CN1414482A (zh) 加密方法、解码方法和装置以及信息记录介质
CN111291235A (zh) 一种基于时序数据库的元数据存储方法及装置
CN110928899A (zh) 一种通用数据库备份方法及系统
CN108694331A (zh) 一种数据存储方法、装置、系统及计算机可读存储介质
EP2297959B1 (en) Linear hint video streaming
CN110493324A (zh) 下载方法、下载器及计算机可读存储介质
CN101572633B (zh) 网络取证方法及系统
WO2022223540A1 (en) System and method for encoding audio data
US9070403B2 (en) Processing of scalable compressed video data formats for nonlinear video editing systems
CN111414341B (zh) 一种物联网环境下的数据归一化描述方法
CN103929447B (zh) 一种基于PEEK操作的解析HTTP chunked编码数据的方法
US8988258B2 (en) Hardware compression using common portions of data
CN113438503B (zh) 视频文件还原方法、装置、计算机设备和存储介质
CN111813965B (zh) 多媒体文件的加密方法、解密方法、存储介质和电子设备
CN110262752B (zh) 一种用于存储流媒体数据的方法、装置、存储介质
KR100896830B1 (ko) 셋톱박스에서의 ｖｏｄ 데이터 갱신 방법 및 그 셋톱박스
CN112040239A (zh) 一种基于avi格式文件结构的文件修复方法及装置
CN111814182A (zh) 一种文件加密方法、解密方法、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant