CN107277561A

CN107277561A - 内容分发网络

Info

Publication number: CN107277561A
Application number: CN201610215447.XA
Authority: CN
Inventors: 孙振岗
Original assignee: BEIJING UNION VOOLE TECHNOLOGY Co Ltd
Current assignee: BEIJING UNION VOOLE TECHNOLOGY Co Ltd
Priority date: 2016-04-08
Filing date: 2016-04-08
Publication date: 2017-10-20

Abstract

本申请提供了一种内容分发网络，包括通过网络连接的内容发布节点、核心存储节点、中心管理节点、中心数据库和二个以上的边缘缓存节点，其中：内容发布节点用于接收需要发布的介质数据，获取并将其属性参数信息和缓存节点推送列表保存到中心数据库，并将介质数据发送到核心存储节点；核心存储节点用于接收并存储介质数据；中心管理节点用于接收并将用户的服务请求重定向到合适的边缘缓存节点；边缘缓存节点用于根据缓存节点推送列表下载并缓存介质数据，以及将本地缓存或回源下载的介质数据返回用户。本申请通过上述手段，可较大程度的降低核心存储的复杂度。

Description

内容分发网络

技术领域

本申请涉及信息技术领域，特别地，涉及一种内容分发网络。

背景技术

随着互联网的快速发展，智能电视的普及，网络数据流量成倍增长，会出现网络拥塞并出现影响业务应用体验的情况。内容分发网络（CDN，Content Delivery Network）作为一种能够提高互联网内容传输效率的系统，特别针对视频等多媒体内容传输的服务质量效率能得到很大提升，得到越来越广泛的应用。CDN是基于网络和部署在各地的边缘服务器，利用中心平台的负载均衡、内容分发、调度等功能模块，使用户就近获取所需内容，从而降低网络拥塞，提高用户访问的响应速度和命中率。

在现有CDN系统中，为了实现用户能够就近访问边缘服务器获取所需内容的目的，中心平台需要管理和维护介质数据的下载状态，不仅需要记录哪些边缘服务器已经下载并缓存了介质数据，还需要维护管理边缘服务器的下载异常等，较大程度了提高了系统中心平台的管理复杂性，在一定程度上会降低中心平台的服务性能。

发明内容

本申请提供一种内容分发网络，用于解决现有中心存储管理复杂度高而影响系统服务性能的问题。

本申请公开的一种内容分发网络，包括通过网络连接的内容发布节点、核心存储节点、中心管理节点、中心数据库和二个以上的边缘缓存节点，所述内容发布节点分别与核心存储节点和中心数据库连接，所述边缘缓存节点分别与中心管理节点、核心存储节点和中心数据库连接，所述中心管理节点与核心存储节点连接；其中：所述内容发布节点用于接收需要发布的介质数据，将扫描所述介质数据获取的所述介质数据的属性参数信息，以及根据预设的节点推送策略确定的所述介质数据的缓存节点推送列表，发送到中心数据库中，并将所述介质数据发送到核心存储节点；所述核心存储节点用于接收并存储所述内容发布节点上传的介质数据；所述中心管理节点用于接收用户通过客户端发出的服务请求，并根据各边缘缓存节点上报的负载情况以及预设的负载均衡策略，将所述服务请求重定向到合适的边缘缓存节点；以及，接收所述边缘缓存节点的回源下载请求，为所述边缘缓存节点提供核心存储节点的下载地址；所述中心数据库用于接收并保存所述内容发布节点接收的所述介质数据的属性参数信息及其缓存节点推送列表；所述边缘缓存节点用于根据所述中心数据库保存的缓存节点推送列表从所述核心存储节点下载所述介质数据，并缓存在本地，更新所述中心数据库的缓存节点推送列表；以及，根据所述中心管理节点重定向的客户端服务请求将本地缓存的介质数据或回源下载的介质数据返回给客户端。

优选的，还包括设置在所述核心存储节点和所述边缘缓存节点之间的一层以上的中间缓存节点，所述中间缓存节点与核心存储节点、边缘缓存节点形成以核心存储节点为根节点、以边缘缓存节点为叶节点的树状存储结构；所述中间缓存节点用于根据所述中心数据库保存的缓存节点推送列表从所述核心存储节点下载所述介质数据，并按预设的介质缓存策略缓存到本地，更新所述中心数据库的缓存节点推送列表；以及，当边缘缓存节点或下层的中间缓存节点需要回源下载的介质数据时，直接从本地返回或从上层的节点回源下载所述介质数据。

优选的，所述边缘缓存节点还用于发布介质数据；当所述介质数据通过边缘缓存节点发布时，所述边缘缓存节点将待发布的介质数据通过其上层中间缓存节点逐级上传至核心存储节点，并将所述介质数据的属性参数及其缓存节点推送列表保存至中心数据库。

优选的，所述边缘缓存节点直接为客户端提供内容服务，具体包括区域负载均衡器、推送服务器、本地数据库、一个以上的介质缓存节点及其对应的流媒体服务器；其中：所述区域负载均衡器用于获取并向所述中心管理节点上报所述边缘缓存节点中各流媒体服务器的状态，以及根据各流媒体服务器的状态将所述中心管理节点重定向的客户端的服务请求分配给合适的流媒体服务器；所述推送服务器用于根据所述中心数据库保存的缓存节点推送列表从所述核心存储节点下载介质数据，并根据预设的介质缓存策略缓存到相应的介质缓存节点，更新所述中心数据库的缓存节点推送列表；所述流媒体服务器用于把所述介质缓存节点缓存的介质数据或回源下载的介质数据返回给客户端；所述本地数据库采用与中心数据库相同的数据库管理系统，用于同步中心数据库的内容，为所述推送服务器提供数据服务。

优选的，所述核心存储节点设置有内容索引节点和一个以上的内容存储节点；所述内容索引节点用于管理和分配内容存储节点，当收到内容发布节点发出的介质数据存储请求时，内容索引节点根据当前所有内容存储节点的存储状态为所述介质数据分配一个内容存储节点；该内容存储节点接收并存储所述介质数据后，向所述内容索引节点上报存储信息变更情况。

优选的，所述中心管理节点具体包括通过网络连接的状态采集服务器和全局负载均衡器，其中：所述状态采集服务器与核心存储节点的内容索引节点和边缘缓存节点的区域负载均衡器连接，用于获取核心存储节点的介质存储情况以及各边缘缓存节点的状态；以及用于接收所述边缘缓存节点的回源下载请求，并根据内容索引节点上报的各内容存储节点的存储状态为所述边缘缓存节点提供下载地址；所述全局负载均衡器与因特网域名服务器连接，采用动态可扩容的方式分布式部署，用于接收用户的服务请求，并根据所述状态采集服务器获取的各边缘缓存节点的状态以及预设的负载均衡策略，将所述服务请求重定向到合适的边缘缓存节点。

优选的，所述预设的介质缓存策略包括：所述介质数据以预设的数据块尺寸分片存储；根据本地介质缓存节点的个数和数据块的编号，采用一致性哈希算法计算所述介质数据的各数据块与本地介质缓存节点的缓存映射关系；判断本地介质缓存节点的可用数量是否出现变动，若是，则采用一致性哈希算法重新计算所述缓存映射关系。

优选的，所述推送服务器具体包括：列表查询模块，用于按预设的推送时间周期查询中心数据库的缓存节点推送列表中与本节点相关的介质推送记录；下载队列维护模块，用于将所述介质推送记录根据推送优先级和发布日期排序后加入下载队列，通知所述介质缓存节点执行介质数据下载过程；其中，执行所述介质数据下载时根据时段选择并发下载方式；下载数据监控模块，用于在下载完成后检查所述介质数据的完整性，并更新所述中心数据库的缓存节点推送列表。

优选的，所述内容发布节点具体包括介质验证单元、介质扫描单元和介质存储单元，其中：所述介质验证单元用于接收并检测需要发布的介质数据的完整性；所述介质扫描单元用于对所述介质数据进行扫描，获取所述介质数据的属性参数信息，并根据预设的节点推送策略确定所述介质数据的缓存节点推送列表，并将所述属性参数信息和缓存节点推送列表保存到中心数据库中；所述介质存储单元用于向核心存储节点的内容索引节点发出介质存储请求，与所述内容索引节点返回的内容存储节点连接并上传所述介质数据。

优选的，所述内容索引节点还用于按预设的备份时间周期巡检各个介质数据的备份情况，当有介质数据需要备份时，指定一个内容存储节点备份其他内容存储节点的介质数据；和/或，所述内容分发网络还包括系统配置节点，分别与所述内容发布节点和中心管理节点通过网络连接，用于为各节点配置和存储统一编号、IP地址、地理位置和运营商，为所述内容发布节点配置和管理节点推送策略，为所述中心管理节点配置和管理负载均衡策略，所述负载均衡策略包括节点筛选条件及其组合方式、筛选顺序。

与现有技术相比，本申请具有以下优点：

本申请优选实施例中，中心数据库存储有缓存节点推送列表，该缓存节点推送列表的更新由边缘缓存节点执行，可较大程度的降低核心存储的复杂度；另外，由于介质数据发布后各边缘缓存节点即可主动获取介质数据，可有效避免大量用户下载同一介质时回源压力大的问题，较大程度的降低了核心存储的带宽压力。

附图说明

图1为本申请实施例中一种内容分发网络的结构示意图；

图2为本申请实施例中另一种内容分发网络的结构示意图；

图3为本申请实施例中介质发布流程示意图；

图4为本申请实施例中介质推送流程示意图；

图5为本申请实施例中SCS与其他节点连接关系示意图；

图6为本申请实施例中中心管理节点的组成结构及其与其他节点连接关系示意图；

图7为本申请实施例中介质数据存储结构示意图。

具体实施方式

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。

参照图1，示出了本申请实施例中一种内容分发网络的结构示意图，包括内容发布节点11、核心存储节点12、中心管理节点13、中心数据库14和二个以上的边缘缓存节点20，上述节点之间通过网络连接，其中：

内容发布节点11用于接收需要发布的介质数据，扫描获取所述介质数据的属性参数信息，根据预设的节点推送策略确定的缓存节点推送列表保存到中心数据库中，并将所述介质数据存储到核心存储节点；

本优选实施例中的内容发布节点11具体可以包括介质验证单元、介质扫描单元和介质存储单元，其中：介质验证单元用于接收并检测需要发布的介质数据的完整性；介质扫描单元用于对所述介质数据进行扫描，获取所述介质数据的属性参数信息，并根据预设的节点推送策略确定所述介质数据的缓存节点推送列表，将所述属性参数信息和缓存节点推送列表保存到中心数据库14中；介质存储单元用于向核心存储节点12发出介质存储请求，与核心存储节点12返回的地址和端口连接并上传所述介质数据。

本申请方案中，介质数据可以由第三方上传到内容发布节点11进行发布，也可以由系统维护人员在本地发布，还可以采用其他介质数据发布方式。

上述第三方发布方式与本地发布方式的主要区别在于，第三方发布方式不需要编码系统重新编码，本地发布方式需要为介质文件重新编码，生成统一的文件标识（FID，File Identity）。

下面，以本地发布方式为例，说明本申请介质数据的发布流程，如图3所示，具体包括：

（1）发布人员向编码系统发出文件编码请求；

（2）编码系统为待发布介质文件生成统一的文件标识FID；

（3）编码系统将编码后的文件上传（优选采用ftp协议上传文件）至介质发布节点；

（4）介质发布节点检测到有新上传的介质数据后，检查介质数据是否已经上传完成，并且验证介质完整性；

（5）当介质上传完成后，介质发布节点会对介质数据进行扫描，生成m3u8、index索引等文件，并把介质的各个属性参数写入到中心数据库中；

（6）中心数据库完成插入操作后，把介质数据上传到核心存储节点；

（7）完成上传后，介质发布节点通知中心管理节点，介质数据正式介入管理；

（8）根据预设的节点推送策略设置需要推送的缓存节点（如边缘缓存节点），更新中心数据库中介质数据的状态，进行介质数据预推送。

核心存储节点12用于根据内容发布节点11发出的介质数据存储请求，接收并在硬盘中存储内容发布节点12上传的介质数据；

具体实施时，核心存储节点12可以设置有一个内容索引节点（CIN，Content Index Node）和一个或多个内容存储节点（CSN，Content Storage Node）。CIN负责管理和分配CSN及其存储的介质数据，内容发布节点11在上传介质数据时，首先向CIN发出请求，CIN根据当前所有CSN的存储情况返回一个CSN点，供上传介质数据使用；当介质数据上传完成后，CSN会上报到CIN；之后，CIN会指定另外一个CSN去当前CSN上备份介质数据。

中心管理节点13用于接收用户通过客户端发出的服务请求，并根据各边缘缓存节点20上报的负载情况以及预设的负载均衡策略，将所述服务请求重定向（如HTTP重定向方式）到合适的边缘缓存节点20；以及，接收所述边缘缓存节点20的回源下载请求（即边缘缓存节点20向核心存储节点12发出的介质数据下载请求），为相应的边缘缓存节点20提供核心存储节点12的下载地址；

中心数据库14用于保存内容发布节点11接收的介质数据的属性参数信息及其缓存节点推送列表；

边缘缓存节点20用于根据中心数据库14保存的缓存节点推送列表从核心存储节点12下载介质数据，并缓存在本地，之后，更新中心数据库14中的缓存节点推送列表；以及，根据中心管理节点13重定向的客户端服务请求将本地缓存的介质数据或回源下载的介质数据返回给客户端。

本优选实施例中，预设的介质缓存策略具体可以包括：

（1）介质数据在缓存节点（CACHE）中以预设的数据块尺寸（下面以64M为例进行说明）分片存储；

（2）根据本地CACHE节点的个数和数据块的编号，采用一致性哈希算法计算所述介质数据的各数据块与本地CACHE节点的缓存映射关系；

具体实施时，可以根据介质数据文件的惟一标识（FID）以及数据块的编号计算出哈希（Hash）值，建立该数据块与CACHE节点的缓存映射关系。

上述fid可以通过对介质数据文件的属性值进行MD5运算的方式获得，存储基于fid的文件索引，同样的文件只会存一份，不仅能节省存储空间，还可以方便对文件内容进行校验。

（3）判断本地CACHE节点的可用数量是否出现变动（如某个CACHE节点宕机、添加一个新的CACHE节点等），若是，则采用一致性哈希算法重新计算所述缓存映射关系。

上述缓存映射策略下发到本地各CACHE节点，各CACHE节点根据文件fid+64M片号计算出的哈希（Hash）值，映射（Map）到缓存映射策略中，即可定位到本地某个CACHE节点；当有介质缓存任务时，64M块会按照策略存储在不同的CACHE节点上。

介质数据在缓存节点中以预设的数据块尺寸分片存储，由于每一分片存储在集群中不同的缓存节点上，可以避免大量热点介质访问产生的单盘IO性能瓶颈。

参照图2，示出了本申请实施例中另一种内容分发网络的结构示意图，与上述图1所示的实施例的主要区别在于：本优选实施例中核心存储节点12和边缘缓存节点20之间还设置有一层以上的中间缓存节点30，所述中间缓存节点30与核心存储节点12、边缘缓存节点20形成以核心存储节点12为根节点、以边缘缓存节点20为叶节点的树状存储结构。

本优选实施例中的中间缓存节点30用于根据中心数据库14保存的缓存节点推送列表从核心存储节点12下载介质数据，并按预设的介质缓存策略缓存到本地，更新中心数据库14的缓存节点推送列表；以及，当边缘缓存节点20或下层的中间缓存节点30需要回源下载的介质数据时，直接从本地返回或从上层节点回源下载所述介质数据。

当CDN系统用于视频分发时，由于视频类介质数据的数据量大，边缘缓存节点无法存储所有的介质数据（否则成本会大幅度上升），所以在实际运行过程中，回源下载的概率非常大。在用户量超过一定规模时，核心存储的压力会非常的大。本优选实施例通过上述分层存储的技术手段，可有效降低核心存储压力及其带宽，节省系统运行成本；另外，由于采用多级备份方式（即介质数据除保存在核心存储节点外，还在各级节点中存储），边缘缓存节点可以从本地的上层节点下载数据，可较大程度的提高介质下载速度，给用户提供更流畅的服务，用户使用体验会更好。

需要说明的是，在本优选实施例中，当系统维护人员采用通过边缘缓存节点20上传的方式发布介质数据时，可以直接将介质数据上传至内容发布节点11，也可以通过中间缓存节点30逐级将介质数据上传至内容发布节点。

在进一步的优选实施例中，CDN系统还可以包括系统配置节点（CMS，CDN Management System），用于为各节点的服务器配置统一编号和IP地址，管理IP地址段、运营商、地区信息（或地理位置）等；配置和管理全局负载均衡器所需的导向覆盖配置策略、负载均衡策略以及内容发布节点所需的节点推送策略等。

在另一进一步的优选实施例中，核心存储节点12具体可以包括一个内容索引节点和二个以上的内容存储节点，其中：

内容索引节点（CIN，Content Index Node）的主要功能包括：

（1）为CSN提供注册，CSN把本地存储的所有介质信息发送给CIN，CIN记录所有介质存储状况；

（2）向中心管理节点（CCN，Content Center Node）注册，向CCN提供CIN本身的IP地址和端口，供CCN下发给各缓存节点；

（3）为中间缓存节点或边缘缓存节点的介质缓存节点（CACHE）提供查询介质，CACHE回源下载数据时，CIN将返回对应的CSN节点；

（4）按预设的备份时间周期定时巡检本地缓存节点内各个介质的备份情况，当有介质需要备份时，指定某一个CSN备份其他CSN的介质数据。

内容存储节点（CSN，Content Storage Node）的主要功能包括：

（1）向CIN注册，当CSN启动时，扫描本地硬盘并把介质信息全部上报到CIN，同时提供本机的服务IP地址和端口，当本地介质有增加或减少的情况通知CIN信息变更；

（2）接收并保存上传的介质数据，发布的介质最终存储在CSN的硬盘中；

（3）为中间缓存节点或边缘缓存节点提供下载服务，当接收到介质下载请求时，为其提供数据下载；

（4）执行CIN发送的备份指令。

进一步的，中心管理节点13作为CDN系统的全局负载均衡节点，具体可以包括通过网络连接的状态采集服务器（SCS，State Collection Service）和一个或多个全局负载均衡器（GSLB，Global Service Load Balance），其中：

状态采集服务器SCS与其他节点的连接关系如图5所示，其主要功能包括：

（1）为CIN、中间缓存节点（或二级缓存节点）和边缘缓存节点的区域负载均衡器（SLB，Service Load Balance）提供注册；

（2）为SLB提供上层节点验证，并返回CIN信息给SLB；

（3）采集并转发SLB的状态给GSLB；其中，GSLB具体可以分为GSLB-CONF、GSLB-HTTP、GSLB-VVCP、GSLB-P2SP等几类；

（4）接收中间缓存节点（包括有二级SLB和多个CACHE节点）和边缘缓存节点（包括SLB和多个CACHE节点及其VSS节点）的回源下载请求，并根据CIN上报的各CSN的存储状态提供下载地址和下载端口等信息。

全局负载均衡器（GSLB，Global Service Load Balance）与因特网域名服务系统（DNS，Domain Name System）连接，如图6所示，采用动态可扩容的方式分布式部署，其主要功能包括：

（1）连接SCS获取全网所有SLB的状态；

（2）为整个CDN系统提供对外服务的窗口，以公开的域名和端口方式，对外提供服务，接受用户终端的服务请求，并将用户终端的服务请求导向（重定向）到合适的服务节点（边缘缓存节点）。

本优选实施例采用上述将SCS和GSLB分离设置的技术手段，其有益效果包括：可避免因单业务故障而影响全系统服务的问题；可增强系统的集群服务能力；设置在外围的GSLB可通过DNS实现灵活扩展，遇到攻击时可以最大限度避免故障；采用分布式负载均衡方式，每个GSLB都可以承担负载均衡任务，避免出现单点GSLB高负载情况。

进一步的，中心数据库14保存有内容发布节点11上传发布的介质数据的属性参数信息；当完成上传介质数据到核心存储节点后，会写入推送列表，推送给中间缓存节点和边缘缓存节点，之后由中间缓存节点和边缘缓存节点执行推送任务；当每个缓存节点完成推送任务后会在中心数据库中写入完成状态（即更新缓存节点推送列表），供本组缓存或下级缓存请求介质时使用。中心数据库可以采用成熟的数据库管理系统（如MySQL）提供管理服务。

进一步的，中间缓存节点30作为边缘缓存节点20和核心存储节点12中间的缓存服务节点，具体可以包括SLB、推送服务器（PUSH）、一个或多个介质缓存节点（CACHE）和本地数据库（DB），主要用于承载边缘缓存节点的回源压力，通过核心存储节点的推送功能，先把介质数据推送到中间缓存节点（一级或多级中间缓存），当边缘缓存节点需要回源下载数据时，中间缓存节点直接把数据返回给边缘缓存节点，从而减轻核心存储节点的压力。

中间缓存节点30在为下层节点（下层中间缓存节点或边缘缓存节点）提供服务过程中，对于需要回源下载的介质数据（即本地没有缓存的介质数据），采用边下载边缓存的方式，如可以采用16K为最小分片单位进行下载和缓存，只要下载过的数据就会被缓存下来，使网络得以充分利用。

边缘缓存节点20作为直接为客户端提供内容服务的节点，具体可以包括区域负载均衡器（SLB，Service Load Balance）、推送服务器（PUSH）、一个或多个介质缓存节点（CACHE）及其对应的流媒体服务器（VSS，Streaming Server）、本地数据库（DB），由SLB调度使用，通过VSS直接把本地CACHE中缓存的数据或回源下载的数据返回给客户端。

边缘缓存节点20在为用户提供服务过程中，对于需要回源下载的介质数据（即本地没有缓存的介质数据），优选采用边下载边缓存的方式，如可采用16K为最小分片单位进行下载和缓存，只要下载过的数据就会被缓存下来，使网络得以充分利用，另一方面，还能够提高服务效率。

进一步的，在边缘缓存节点回源下载数据期间，如果收到同样的介质数据服务请求，该边缘缓存节点对该同样的介质数据服务请求不会产生新的向上层节点回源下载的请求，而是等收到上层节点返回的介质数据后，同时返回给需要此介质数据的所有用户，这种合并请求处理的方式能进一步节省分发带宽。相应的，中间缓存节点在进行回源下载数据时，也可以采用上述合并请求处理的方式节省网络带宽。

区域负载均衡器（SLB，Local Load Balance）的主要功能包括：

（1）向CCN注册，提供本机服务IP和端口，并汇报本组流媒体服务器（VSS）的负载情况；

（2）接收本地CACHE注册，CACHE节点注册到SLB，并搜集管理CACHE汇报的信息，管理本组CACHE节点；

（3）提供流媒体服务器列表，客户端请求在SLB时，会提供可用的流媒体服务器地址列表给客户端；

（4）管理介质缓存策略，如可以把介质按照64M分块，根据一致性哈希算法，下发给本组内的CACHE节点，当组内CACHE节点变动时，重新计算下发；

（5）服务请求的重定向，当有CACHE下载请求时，重定向到本组CACHE节点；

（6）客户端请求的负载均衡，如果客户端是单连接请求，SLB会根据组内负载大小，返回负载小的点给客户端。

介质缓存节点（CACHE）主要用于：

（1）向SLB注册，定时汇报流媒体服务器的状态，接收SLB下发的一致性哈希策略和上层节点、核心存储地址信息；

（2）接收流媒体服务器注册，流媒体服务器登录到CACHE后，定时汇报自身负载信息；

（3）向CIN、SLB查询介质，CACHE在下载介质时需要向CIN或SLB查询介质下载地址；

（4）提供下载介质功能，流媒体服务器下载介质时，通过CACHE获取介质数据；

（5）提供流媒体服务器缓存；

（6）CACHE可以去CDN平台中任何可达到的存储节点或缓存节点下载数据。

推送服务器（PUSH）主要用于：

（1）定时检查部署在缓存节点上的数据库，判断是否有介质需要推送；

（2）发现有推送介质要求时，启动下载，通知本节点内的CACHE下载介质；

（3）完成介质推送时，更新数据库中的缓存节点推送列表。

推送服务器PUSH具体可以包括如下功能模块：

列表查询模块，用于按预设的推送时间周期（如1分钟）查询中心数据库的缓存节点推送列表中与本节点相关的介质推送记录；

下载队列维护模块，用于将所述介质推送记录根据推送优先级和发布日期排序后加入下载队列，通知所述介质缓存节点CACHE执行介质数据下载过程；其中，执行所述介质数据下载时可以根据时段选择并发下载方式；

状态更新模块，用于在下载完成后检查所述介质数据的完整性，并更新所述中心数据库的缓存节点推送列表。

本地数据库（DB），采用与中心数据库相同的数据库管理系统，用于同步中心数据库的内容，为本地PUSH提供数据服务。

流媒体服务器（VSS，Streaming Server），支持主流传输协议，主要用于：（1）向本地CACHE注册，上报本机负载和连接数等信息；（2）接收客户端播放请求，支持流式播放；（3）对用户播放认证鉴权；（4）向CACHE获取介质数据，接收CACHE发送的重定向信息。

下面，结合图4说明上述中间缓存节点30和边缘缓存节点20的介质数据推送的过程，具体包括：

（1）按预设的推送时间周期（如1分钟）查询中心数据库中与本节点相关的介质推送记录（当中间缓存节点30或边缘缓存节点20设置有与中心数据库采用主从发生同步的本地数据库时，可以直接从本地数据库获取）。

（2）将上述介质推送记录根据推送优先级和发布日期排序后加入下载队列，通知CACHE节点执行介质数据下载过程；其中，执行所述介质数据下载时，可根据时段选择并发下载方式；如在网络空闲时段，可选用高并发下载方式；在网络访问人员多的时段，可选用低并发下载方式。

本申请优选采用如图7所示的存储结构形式，以核心存储为顶点，逐步向下发送介质数据，形成近似树状结构。

当执行推送过程的缓存节点（中间缓存节点或边缘缓存节点）包括有上层中间缓存节点时，首先向上层中间缓存节点发出下载请求；如果该上层中间缓存节点保存有该介质数据，则直接返回介质文件；否则，向核心存储节点回源下载该介质数据。

由于CDN多用于视频分发，对应介质数据大，边缘缓存节点不可能存储所有的介质数据，所以在实际的播放过程中，回源下载的概率非常大，如果是以星状分布，当用户量增大后，加重核心存储压力。本申请采用上述分层结构存储，具有如下优点：减少核心存储压力；降低核心存储机房带宽，节省成本；实现多级备份，介质数据不仅存储在核心存储节点，还在各级节点中存储；能够加快下载速度，边缘缓存节点从上层节点下载，能加快介质数据下载速度，为用户提供更流畅的服务。

（3）下载完成后检查所述介质文件的完整性，之后更新中心数据库中缓存节点推送列表。

本申请通过上述技术手段，一方面，可以使核心存储节点不需要维护介质状态及其下载状态（如异常下载等），减少核心存储管理的复杂度；另一方面，将介质数据主动推送到边缘节点后，用户可以直接下载，减少回源频率降低核心存储的网络压力；另外，提前下发介质数据后，可以减少网络拥塞现象的发生，特别是可以避免大量用户下载同一个介质时产生的回源压力问题。

本申请为进一步解决核心存储节点过少和带宽不足的问题，还提供了一种通过边缘缓存节点20发布介质数据的方案，具体包括：

（1）介质发布人员或其他人员通过边缘缓存节点上传介质文件；

（2）边缘缓存节点扫描获取介质文件的属性参数信息，根据预设的节点推送策略生成缓存节点推送列表；

（3）边缘缓存节点将上述介质文件直接上传至核心存储节点（或通过上层中间缓存节点逐级上传至核心存储节点），同时将该介质文件的属性参数及其缓存节点推送列表保存至中心数据库。

本申请通过上述手段，不仅可以减小核心存储节点的压力和带宽限制，节省成本（可以尽可能少的设置核心存储的数量），还可以实现高并发介质发布，加快介质发布速度，上传到任意边缘缓存节点的介质都可以实现全网下载；另外，基于上述技术手段，还可以基于CDN系统实现网盘业务，为用户提供云存储服务。

需要说明的是，上述系统实施例属于优选实施例，所涉及的单元和模块并不一定是本申请所必须的。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

以上对本申请所提供的一种内容分发网络，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims

1.一种内容分发网络，其特征在于，包括通过网络连接的内容发布节点、核心存储节点、中心管理节点、中心数据库和二个以上的边缘缓存节点，所述内容发布节点分别与核心存储节点和中心数据库连接，所述边缘缓存节点分别与中心管理节点、核心存储节点和中心数据库连接，所述中心管理节点与核心存储节点连接；其中：

所述内容发布节点用于接收需要发布的介质数据，将扫描所述介质数据获取的所述介质数据的属性参数信息，以及根据预设的节点推送策略确定的所述介质数据的缓存节点推送列表，发送到中心数据库中，并将所述介质数据发送到核心存储节点；

所述核心存储节点用于接收并存储所述内容发布节点上传的介质数据；

所述中心管理节点用于接收用户通过客户端发出的服务请求，并根据各边缘缓存节点上报的负载情况以及预设的负载均衡策略，将所述服务请求重定向到合适的边缘缓存节点；以及，接收所述边缘缓存节点的回源下载请求，为所述边缘缓存节点提供核心存储节点的下载地址；

所述中心数据库用于接收并保存所述内容发布节点接收的所述介质数据的属性参数信息及其缓存节点推送列表；

所述边缘缓存节点用于根据所述中心数据库保存的缓存节点推送列表从所述核心存储节点下载所述介质数据，并缓存在本地，更新所述中心数据库的缓存节点推送列表；以及，根据所述中心管理节点重定向的客户端服务请求将本地缓存的介质数据或回源下载的介质数据返回给客户端。

2.根据权利要求1所述的内容分发网络，其特征在于，还包括设置在所述核心存储节点和所述边缘缓存节点之间的一层以上的中间缓存节点，所述中间缓存节点与核心存储节点、边缘缓存节点形成以核心存储节点为根节点、以边缘缓存节点为叶节点的树状存储结构；

所述中间缓存节点用于根据所述中心数据库保存的缓存节点推送列表从所述核心存储节点下载所述介质数据，并按预设的介质缓存策略缓存到本地，更新所述中心数据库的缓存节点推送列表；以及，当边缘缓存节点或下层的中间缓存节点需要回源下载介质数据时，直接从本地返回或从上层的节点回源下载所述介质数据。

3.根据权利要求2所述的内容分发网络，其特征在于，所述边缘缓存节点还用于发布介质数据；当所述介质数据通过边缘缓存节点发布时，所述边缘缓存节点将待发布的介质数据通过其上层中间缓存节点逐级上传至核心存储节点，并将所述介质数据的属性参数及其缓存节点推送列表保存至中心数据库。

4.根据权利要求1所述的内容分发网络，其特征在于，所述边缘缓存节点直接为客户端提供内容服务，具体包括区域负载均衡器、推送服务器、本地数据库、一个以上的介质缓存节点及其对应的流媒体服务器；其中：

所述区域负载均衡器用于获取并向所述中心管理节点上报所述边缘缓存节点中各流媒体服务器的状态，以及根据各流媒体服务器的状态将所述中心管理节点重定向的客户端的服务请求分配给合适的流媒体服务器；

所述推送服务器用于根据所述中心数据库保存的缓存节点推送列表从所述核心存储节点下载介质数据，并根据预设的介质缓存策略缓存到相应的介质缓存节点，更新所述中心数据库的缓存节点推送列表；

所述流媒体服务器用于把所述介质缓存节点缓存的介质数据或回源下载的介质数据返回给客户端；

所述本地数据库采用与中心数据库相同的数据库管理系统，用于同步中心数据库的内容，为所述推送服务器提供数据服务。

5.根据权利要求4所述的内容分发网络，其特征在于，所述核心存储节点设置有内容索引节点和一个以上的内容存储节点；所述内容索引节点用于管理和分配内容存储节点，当收到内容发布节点发出的介质数据存储请求时，内容索引节点根据当前所有内容存储节点的存储状态为所述介质数据分配一个内容存储节点；该内容存储节点接收并存储所述介质数据后，向所述内容索引节点上报存储信息变更情况。

6.根据权利要求5所述的内容分发网络，其特征在于，所述中心管理节点具体包括通过网络连接的状态采集服务器和全局负载均衡器，其中：

所述状态采集服务器与核心存储节点的内容索引节点和边缘缓存节点的区域负载均衡器连接，用于获取核心存储节点的介质存储情况以及各边缘缓存节点的状态；以及用于接收所述边缘缓存节点的回源下载请求，并根据内容索引节点上报的各内容存储节点的存储状态为所述边缘缓存节点提供下载地址；

所述全局负载均衡器与因特网域名服务器连接，采用动态可扩容的方式分布式部署，用于接收用户的服务请求，并根据所述状态采集服务器获取的各边缘缓存节点的状态以及预设的负载均衡策略，将所述服务请求重定向到合适的边缘缓存节点。

7.根据权利要求4所述的内容分发网络，其特征在于，所述预设的介质缓存策略包括：

所述介质数据以预设的数据块尺寸分片存储；

根据本地介质缓存节点的个数和数据块的编号，采用一致性哈希算法计算所述介质数据的各数据块与本地介质缓存节点的缓存映射关系；

判断本地介质缓存节点的可用数量是否出现变动，若是，则采用一致性哈希算法重新计算所述缓存映射关系。

8.根据权利要求4所述的内容分发网络，其特征在于，所述推送服务器具体包括：

列表查询模块，用于按预设的推送时间周期查询中心数据库的缓存节点推送列表中与本节点相关的介质推送记录；

下载队列维护模块，用于将所述介质推送记录根据推送优先级和发布日期排序后加入下载队列，通知所述介质缓存节点执行介质数据下载过程；其中，执行所述介质数据下载时根据时段选择并发下载方式；

下载数据监控模块，用于在下载完成后检查所述介质数据的完整性，并更新所述中心数据库的缓存节点推送列表。

9.根据权利要求5所述的内容分发网络，其特征在于，所述内容发布节点具体包括介质验证单元、介质扫描单元和介质存储单元，其中：

所述介质验证单元用于接收并检测需要发布的介质数据的完整性；

所述介质扫描单元用于对所述介质数据进行扫描，获取所述介质数据的属性参数信息，并根据预设的节点推送策略确定所述介质数据的缓存节点推送列表，并将所述属性参数信息和缓存节点推送列表保存到中心数据库中；

所述介质存储单元用于向核心存储节点的内容索引节点发出介质存储请求，与所述内容索引节点返回的内容存储节点连接并上传所述介质数据。

10.根据权利要求6所述的内容分发网络，其特征在于：

所述内容索引节点还用于按预设的备份时间周期巡检各个介质数据的备份情况，当有介质数据需要备份时，指定一个内容存储节点备份其他内容存储节点的介质数据；

和/或，

所述内容分发网络还包括系统配置节点，分别与所述内容发布节点和中心管理节点通过网络连接，用于为各节点配置和存储统一编号、IP地址、地理位置和运营商，为所述内容发布节点配置和管理节点推送策略，为所述中心管理节点配置和管理负载均衡策略，所述负载均衡策略包括节点筛选条件及其组合方式、筛选顺序。