CN111245949A - 文件归档传输方法、装置及设备 - Google Patents
文件归档传输方法、装置及设备 Download PDFInfo
- Publication number
- CN111245949A CN111245949A CN202010062629.4A CN202010062629A CN111245949A CN 111245949 A CN111245949 A CN 111245949A CN 202010062629 A CN202010062629 A CN 202010062629A CN 111245949 A CN111245949 A CN 111245949A
- Authority
- CN
- China
- Prior art keywords
- file
- target
- server
- target file
- transmitting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Transfer Between Computers (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种文件归档传输方法、装置及设备,涉及文件管理技术领域。本发明可以通过获取目标文件,将所述目标文件进行切片,得到所述目标文件对应的文件切片,并按照预设传输速度,将所述目标文件对应的文件切片传输至服务端,可以使得银行网点文件分片分时传输时,可根据网点交易带宽占用情况对预设传输速度进行调整,从而实现通过控制切片传输速度,而对文件归档传输进行流量控制。相对现有技术而言,可以在更小粒度的层面实现控制应用下的某一个上传或下载的功能。
Description
技术领域
本发明涉及文件管理技术领域,具体而言,涉及一种文件归档传输方法、装置及设备。
背景技术
在当今大数据时代下,各行各业都在使用大数据技术,银行各个网点每天会有大量的非结构化文件需要同时上传到大数据集中平台。但银行网点带宽较小,不管是夜间还是日间,都有重要交易需与总行或其他分行系统交互,因此网点上传下载大文件的功能比如音视频,图像压缩包等,需控制网速,不能影响网点其他更重要的交易。
现有技术技术中,一般通过路由器,交换机等硬件,实现基于源地址、目的地址、源端口、目的端口以及协议类的流量控制,以解决如何控制网速,保证不影响网点其他更重要的交易的问题。
但是,上述现有的流量控制技术,都是基于硬件层面的。若仅通过交换机、路由器等硬件设备进行流量控制,则会存在控制粒度过大的问题。例如,若通过交换机来控制网速时,则会控制通过交换机的所有应用,导致所有应用均会被限速,并不能够在更小粒度的层面实现控制应用下的某一个上传或下载的功能。
发明内容
本发明提供一种文件归档传输方法、装置及设备,可以对银行网点的文件传输归档进行流量控制。
第一方面,本发明实施例提供一种文件归档传输方法,所述方法应用于客户端,所述客户端与服务端连接,所述方法包括:获取目标文件;将所述目标文件进行切片,得到所述目标文件对应的文件切片;按照预设传输速度,将所述目标文件对应的文件切片传输至服务端。
可选地,所述按照预设传输速度,将所述文件切片传输至服务端之前,所述方法还包括:读取所述目标文件的文件信息;根据所述文件信息,并采用预设算法计算获取所述目标文件的校验值;根据所述校验值和所述文件信息向服务端发起文件查询请求,所述文件查询请求用于请求查询所述服务端中以所述校验值生成的缓存目录下是否存在断点续传文件;接收服务端根据所述文件查询请求返回的文件查询结果;相应地,所述按照预设传输速度,将所述目标文件对应的文件切片传输至服务端,包括:根据所述文件查询结果,并按照预设传输速度,将所述目标文件对应的文件切片传输至服务端。
可选地,所述根据所述文件查询结果,并按照预设传输速度,将所述目标文件对应的文件切片传输至服务端,包括:若所述文件查询结果指示不存在断点续传文件,则将所述目标文件对应的文件切片传输至服务端。
可选地,所述根据所述文件查询结果,并按照预设传输速度,将所述目标文件对应的文件切片传输至服务端,还包括:若所述文件查询结果指示存在断点续传文件,且已缓存的文件大小大于实际文件大小,则删除已缓存文件,将所述目标文件对应的文件切片重新传输至服务端。
可选地,所述根据所述文件查询结果,并按照预设传输速度,将所述目标文件对应的文件切片传输至服务端,还包括:若所述文件查询结果指示存在断点续传文件,且已缓存的文件大小小于实际文件大小,则根据已缓存的文件大小,定位断点位置;根据所述断点位置,将所述目标文件对应的剩余文件切片继续传输至服务端。
可选地,所述根据所述文件查询结果,并按照预设传输速度,将所述目标文件对应的文件切片传输至服务端,还包括:若所述文件查询结果指示存在断点续传文件,且已缓存的文件大小等于实际文件大小,则判断已缓存文件的校验值和所述目标文件的校验值是否一致;若不一致,则删除已缓存文件,将所述目标文件对应的文件切片重新传输至服务端。
第二方面,本发明实施例还提供一种文件归档传输方法,所述方法应用于服务端,所述服务端与客户端连接,所述方法包括:接收客户端按照预设传输速度传输的目标文件对应的文件切片;根据所述目标文件对应的文件切片,组合得到所述目标文件;将所述目标文件归档至大数据集群。
第三方面,本发明实施例提供一种文件归档传输装置,所述装置应用于客户端,所述客户端与服务端连接,所述装置包括:获取模块,用于获取目标文件;切片模块,用于将所述目标文件进行切片,得到所述目标文件对应的文件切片;传输模块,用于按照预设传输速度,将所述目标文件对应的文件切片传输至服务端。
可选地,所述装置还包括:读取模块、计算模块、查询模块、以及第一接收模块;所述传输模块按照预设传输速度,将所述文件切片传输至服务端之前,读取模块,用于读取所述目标文件的文件信息;计算模块,用于根据所述文件信息,并采用预设算法计算获取所述目标文件的校验值;查询模块,用于根据所述校验值和所述文件信息向服务端发起文件查询请求,所述文件查询请求用于请求查询所述服务端中以所述校验值生成的缓存目录下是否存在断点续传文件;第一接收模块,用于接收服务端根据所述文件查询请求返回的文件查询结果;相应地,所述传输模块,具体用于根据所述文件查询结果,并按照预设传输速度,将所述目标文件对应的文件切片传输至服务端。
可选地,所述传输模块,具体用于若所述文件查询结果指示不存在断点续传文件,则将所述目标文件对应的文件切片传输至服务端。
可选地,所述传输模块,具体还用于若所述文件查询结果指示存在断点续传文件,且已缓存的文件大小大于实际文件大小,则删除已缓存文件,将所述目标文件对应的文件切片重新传输至服务端。
可选地,所述传输模块,具体还用于若所述文件查询结果指示存在断点续传文件,且已缓存的文件大小小于实际文件大小,则根据已缓存的文件大小,定位断点位置;根据所述断点位置,将所述目标文件对应的剩余文件切片继续传输至服务端。
可选地,所述传输模块,具体还用于若所述文件查询结果指示存在断点续传文件,且已缓存的文件大小等于实际文件大小,则判断已缓存文件的校验值和所述目标文件的校验值是否一致;若不一致,则删除已缓存文件,将所述目标文件对应的文件切片重新传输至服务端。
第四方面,本发明实施例还提供一种文件归档传输装置,所述装置应用于服务端,所述服务端与客户端连接,所述装置包括:接收模块,用于接收客户端按照预设传输速度传输的目标文件对应的文件切片;组合模块,用于根据所述目标文件对应的文件切片,组合得到所述目标文件;归档模块,用于将所述目标文件归档至大数据集群。
第五方面,本发明实施例提供一种文件归档传输设备,包括:处理器、存储介质和总线,所述存储介质存储有所述处理器可执行的机器可读指令,当所述文件归档传输设备运行时,所述处理器与所述存储介质之间通过所述总线通信,所述处理器执行所述机器可读指令,以执行如第一方面或第二方面所述的文件归档传输方法。
第六方面,本发明实施例还提供一种存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如第一方面或第二方面所述的文件归档传输方法。
本发明的有益效果是:
本发明实施例可以通过获取目标文件,将所述目标文件进行切片,得到所述目标文件对应的文件切片,并按照预设传输速度,将所述目标文件对应的文件切片传输至服务端,可以使得银行网点文件分片分时传输时,可根据网点交易带宽占用情况对预设传输速度进行调整,从而实现通过控制切片传输速度,而对文件归档传输进行流量控制。相对现有技术而言,可以在更小粒度的层面实现控制应用下的某一个上传或下载的功能。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例提供的文件归档传输方法的流程示意图;
图2示出了本发明实施例提供的文件切片示意图;
图3示出了本发明实施例提供的文件归档传输方法的另一流程示意图;
图4示出了本发明实施例提供的文件归档传输方法的又一流程示意图;
图5示出了本发明实施例提供的文件归档传输方法的又一流程示意图;
图6示出了本发明实施例提供的文件归档传输装置的结构示意图;
图7示出了本发明实施例提供的文件归档传输装置的另一结构示意图;
图8示出了本发明实施例提供的文件归档传输装置的又一结构示意图;
图9示出了本发明实施例提供的文件归档传输设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。还需要说明,“第一”、“第二”、“第三”等描述在本发明中仅仅用于区分功能,而不能表示相对重要性。
本发明实施例提供一种文件归档传输方法,可以对银行网点的文件传输归档进行流量控制。该文件归档传输方法的执行主体可以是服务器或计算机,或者,也可以是服务器或计算机中的某一个或多个处理器等,本发明对此不作限制。该文件归档传输方法可以应用于客户端,所述客户端与服务端连接。其中,客户端可以是银行网点的电脑、手机等设备,服务端可以是银行网点的服务器。
图1示出了本发明实施例提供的文件归档传输方法的流程示意图。
如图1所示,该文件归档传输方法,可以包括:
S101、获取目标文件。
其中,目标文件可以是银行网点中需要传输的数据文件。
S102、将所述目标文件进行切片,得到所述目标文件对应的文件切片。
图2示出了本发明实施例提供的文件切片示意图。
如图2所示,若目标文件的大小为1兆(M),在可以按照每个切片大小为128千字节(K)对目标文件进行切片。
S103、按照预设传输速度,将所述目标文件对应的文件切片传输至服务端。
其中,预设传输速度可以是每秒N个切片,N可以是1、2、3、5等数值,本发明对此不作限制。对于预设传输速度的具体大小,可根据网络传输需求进行调节。
请继续参照图2所示,若设置一秒传输2个切片,则0.2s传输完2个切片后,不再继续上传,此时传输空闲,其他银行网点可发起归档。也即,通过控制预设传输速度的大小,可以对银行网点中的文件传输归档进行流量控制。
可选地,还可以对切片大小进行设置,通过弹性的设置文件切片大小和文件传输速度,可以有利于各网点根据自身的设施和业务合理的分配和利用资源。
由上所述,本发明实施例可以通过获取目标文件,将所述目标文件进行切片,得到所述目标文件对应的文件切片,并按照预设传输速度,将所述目标文件对应的文件切片传输至服务端,可以使得银行网点文件分片分时传输时,可根据网点交易带宽占用情况对预设传输速度进行调整,从而实现通过控制切片传输速度,而对文件归档传输进行流量控制。相对现有技术而言,可以在更小粒度的层面实现控制应用下的某一个上传或下载的功能。
图3示出了本发明实施例提供的文件归档传输方法的另一流程示意图。
可选地,如图3所示,所述按照预设传输速度,将所述文件切片传输至服务端之前,该文件归档传输方法,还可以包括:
S301、读取所述目标文件的文件信息。
文件信息可以包括文件名、文件大小、文件内容等。
S302、根据所述文件信息,并采用预设算法计算获取所述目标文件的校验值。
例如,预设算法可以是消息摘要算法(Message Digest Algorithm MD5),对文件名和文件内容进行MD5计算,可以得到MD5值作为前述校验值。
S303、根据所述校验值和所述文件信息向服务端发起文件查询请求。
所述文件查询请求可以用于请求查询所述服务端中以所述校验值生成的缓存目录下是否存在断点续传文件。
例如,服务端可以根据文件名和文件大小校验以文件名的MD5值生成的服务器缓存目录下是否存在续传文件,并将结果返回给客户端。
S304、接收服务端根据所述文件查询请求返回的文件查询结果。
相应地,上述按照预设传输速度,将所述目标文件对应的文件切片传输至服务端,可以包括:根据所述文件查询结果,并按照预设传输速度,将所述目标文件对应的文件切片传输至服务端。
可选地,上述根据所述文件查询结果,并按照预设传输速度,将所述目标文件对应的文件切片传输至服务端的步骤,具体可以包括:若所述文件查询结果指示不存在断点续传文件,则将所述目标文件对应的文件切片传输至服务端。
可选地,上述根据所述文件查询结果,并按照预设传输速度,将所述目标文件对应的文件切片传输至服务端的步骤,具体还可以包括:若所述文件查询结果指示存在断点续传文件,且已缓存的文件大小大于实际文件大小,则删除已缓存文件,将所述目标文件对应的文件切片重新传输至服务端。
可选地,上述根据所述文件查询结果,并按照预设传输速度,将所述目标文件对应的文件切片传输至服务端的步骤,具体还可以包括:若所述文件查询结果指示存在断点续传文件,且已缓存的文件大小小于实际文件大小,则根据已缓存的文件大小,定位断点位置;根据所述断点位置,将所述目标文件对应的剩余文件切片继续传输至服务端。
可选地,上述根据所述文件查询结果,并按照预设传输速度,将所述目标文件对应的文件切片传输至服务端的步骤,具体还可以包括:若所述文件查询结果指示存在断点续传文件,且已缓存的文件大小等于实际文件大小,则判断已缓存文件的校验值和所述目标文件的校验值是否一致;若不一致,则删除已缓存文件,将所述目标文件对应的文件切片重新传输至服务端。
本发明实施例还提供一种文件归档传输方法,所述方法应用于服务端,所述服务端与客户端连接。
图4示出了本发明实施例提供的文件归档传输方法的又一流程示意图。
如图4所示,该文件归档传输方法,可以包括:
S401、接收客户端按照预设传输速度传输的目标文件对应的文件切片。
S402、根据所述目标文件对应的文件切片,组合得到所述目标文件。
可选地,每个文件切片均具有对应的切片标识(如:ID),文件切片到达服务端后,服务端可以根据切片标识不断将所有切片标识组合在一起,形成目标文件。
S403、将所述目标文件归档至大数据集群。
例如,大数据集群可以是Hadoop,服务端接收文件切片后直接将文件切片组合,文件切片接收完整后,服务端还可以基于校验值校验目标文件的完整性,再调用Hadoop的接口,将文件进行归档至Hadoop。
下面以一种具体实施方式,对本发明实施例提供的文件归档传输方法作以说明:
图5示出了本发明实施例提供的文件归档传输方法的又一流程示意图。
如图5所示,该文件归档传输方法具体可以如下:
1)客户端读取文件信息,对文件名和文件内容进行MD5计算,并将MD5值和文件元数据信息发送到服务端进行第一次请求,根据文件名和文件大小校验以文件名的MD5值生成的服务器缓存目录下是否存在续传文件,并将结果返回给客户端。
2)客户端接收第一次请求结果为不存在断点续传文件,则按照指定的文件切片大小和文件传输速度根据步骤3)将文件内容发送到服务端。
3)将文件分片追加到服务器缓存目录的文件中,追加过程中根据指定的文件传输速度值如10kb/s,若10kb的字节流传输完用时900ms未达到1s,则需再等待100ms达到1s后再继续追加分片上传。
4)客户端接收第一次请求结果为存在断点续传文件,缓存中已存在的文件大小大于实际文件,则删除缓存文件并根据步骤3)重新分片上传。
5)客户端接收第一次请求结果为存在断点续传文件,且缓存中已存在的文件大小小于实际文件,并将文件大小返回给客户端,根据文件大小定位断点位置,将剩余文件内容根据步骤3)分片上传。
6)客户端接收第一次请求结果为存在断点续传文件,且缓存中已存在的文件大小等于实际文件,则校验已存在文件内容的MD5值是否与客户端传入文件内容的MD5值是否一致,若不一致,则删除重新上传。
7)文件全部上传到服务缓存地址后,校验文件内容的MD5值,若一致则将文件上传到大数据集群中。
基于前述方法实施例中所述的文件归档传输方法,本发明实施例还对应提供一种文件归档传输装置,所述装置应用于客户端,所述客户端与服务端连接。
图6示出了本发明实施例提供的文件归档传输装置的结构示意图。
如图6所示,该文件归档传输装置可以包括:获取模块10,用于获取目标文件;切片模块20,用于将所述目标文件进行切片,得到所述目标文件对应的文件切片;传输模块30,用于按照预设传输速度,将所述目标文件对应的文件切片传输至服务端。
图7示出了本发明实施例提供的文件归档传输装置的另一结构示意图。
可选地,如图7所示,该文件归档传输装置还可以包括:读取模块40、计算模块50、查询模块60、以及第一接收模块70;所述传输模块30按照预设传输速度,将所述文件切片传输至服务端之前,读取模块40,用于读取所述目标文件的文件信息;计算模块50,用于根据所述文件信息,并采用预设算法计算获取所述目标文件的校验值;查询模块60,用于根据所述校验值和所述文件信息向服务端发起文件查询请求,所述文件查询请求用于请求查询所述服务端中以所述校验值生成的缓存目录下是否存在断点续传文件;第一接收模块70,用于接收服务端根据所述文件查询请求返回的文件查询结果;相应地,所述传输模块30,具体用于根据所述文件查询结果,并按照预设传输速度,将所述目标文件对应的文件切片传输至服务端。
可选地,所述传输模块30,具体用于若所述文件查询结果指示不存在断点续传文件,则将所述目标文件对应的文件切片传输至服务端。
可选地,所述传输模块30,具体还用于若所述文件查询结果指示存在断点续传文件,且已缓存的文件大小大于实际文件大小,则删除已缓存文件,将所述目标文件对应的文件切片重新传输至服务端。
可选地,所述传输模块30,具体还用于若所述文件查询结果指示存在断点续传文件,且已缓存的文件大小小于实际文件大小,则根据已缓存的文件大小,定位断点位置;根据所述断点位置,将所述目标文件对应的剩余文件切片继续传输至服务端。
可选地,所述传输模块30,具体还用于若所述文件查询结果指示存在断点续传文件,且已缓存的文件大小等于实际文件大小,则判断已缓存文件的校验值和所述目标文件的校验值是否一致;若不一致,则删除已缓存文件,将所述目标文件对应的文件切片重新传输至服务端。
基于前述方法实施例中所述的文件归档传输方法,本发明实施例还对应提供一种文件归档传输装置,所述装置应用于服务端,所述服务端与客户端连接。
图8示出了本发明实施例提供的文件归档传输装置的又一结构示意图。
如图8所示,该文件归档传输装置可以包括:接收模块110,用于接收客户端按照预设传输速度传输的目标文件对应的文件切片;组合模块120,用于根据所述目标文件对应的文件切片,组合得到所述目标文件;归档模块130,用于将所述目标文件归档至大数据集群。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置的具体工作过程,可以参考前述方法实施例中方法的对应过程,本发明中不再赘述。
本发明实施例提供的文件归档传输装置对应于前述方法实施例中所述的文件归档传输方法,因此,装置实施例中所述的文件归档传输装置,具有前述方法实施例中所述的文件归档传输方法所具备的全部有益效果,在此亦不再赘述。
本发明实施例还提供一种文件归档传输设备,该文件归档传输设备可以是服务器或计算机,图9示出了本发明实施例提供的文件归档传输设备的结构示意图。
如图9所示,该文件归档传输设备可以包括:处理器100、存储介质200和总线(图中未标出),存储介质200存储有处理器100可执行的机器可读指令,当文件归档传输设备运行时,处理器100与存储介质200之间通过总线通信,处理器100执行机器可读指令,以执行如前述任一方法实施例中所述的文件归档传输方法。具体实现方式和技术效果类似,在此不再赘述。
为了便于说明,在上述文件归档传输设备中仅描述了一个处理器。然而,应当注意,本发明中的文件归档传输设备还可以包括多个处理器,因此本发明中描述的一个处理器执行的步骤也可以由多个处理器联合执行或单独执行。例如,文件归档传输设备的处理器执行步骤A和步骤B,则应该理解,步骤A和步骤B也可以由两个不同的处理器共同执行或者在一个处理器中单独执行。例如,第一处理器执行步骤A,第二处理器执行步骤B,或者第一处理器和第二处理器共同执行步骤A和B等。
在一些实施例中,处理器可以包括一个或多个处理核(例如,单核处理器(S)或多核处理器(S))。仅作为举例,处理器可以包括中央处理单元(Central Processing Unit,CPU)、专用集成电路(Application Specific Integrated Circuit,ASIC)、专用指令集处理器(Application Specific Instruction-set Processor,ASIP)、图形处理单元(Graphics Processing Unit,GPU)、物理处理单元(Physics Processing Unit,PPU)、数字信号处理器(Digital Signal Processor,DSP)、现场可编程门阵列(Field ProgrammableGate Array,FPGA)、可编程逻辑器件(Programmable Logic Device,PLD)、控制器、微控制器单元、简化指令集计算机(Reduced Instruction Set Computing,RISC)、或微处理器等,或其任意组合。
本发明实施例还提供一种存储介质,存储介质上存储有计算机程序,计算机程序被处理器运行时执行如前述任一方法实施例中所述的文件归档传输方法。具体实现方式和技术效果类似,在此同样不再赘述。
可选地,该存储介质可以是U盘、移动硬盘、ROM、RAM、磁碟或者光盘等。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种文件归档传输方法,其特征在于,所述方法应用于客户端,所述客户端与服务端连接,所述方法包括:
获取目标文件;
将所述目标文件进行切片,得到所述目标文件对应的文件切片;
按照预设传输速度,将所述目标文件对应的文件切片传输至服务端。
2.根据权利要求1所述的方法,其特征在于,所述按照预设传输速度,将所述文件切片传输至服务端之前,所述方法还包括:
读取所述目标文件的文件信息;
根据所述文件信息,并采用预设算法计算获取所述目标文件的校验值;
根据所述校验值和所述文件信息向服务端发起文件查询请求,所述文件查询请求用于请求查询所述服务端中以所述校验值生成的缓存目录下是否存在断点续传文件;
接收服务端根据所述文件查询请求返回的文件查询结果;
相应地,所述按照预设传输速度,将所述目标文件对应的文件切片传输至服务端,包括:
根据所述文件查询结果,并按照预设传输速度,将所述目标文件对应的文件切片传输至服务端。
3.根据权利要求2所述的方法,其特征在于,所述根据所述文件查询结果,并按照预设传输速度,将所述目标文件对应的文件切片传输至服务端,包括:
若所述文件查询结果指示不存在断点续传文件,则将所述目标文件对应的文件切片传输至服务端。
4.根据权利要求3所述的方法,其特征在于,所述根据所述文件查询结果,并按照预设传输速度,将所述目标文件对应的文件切片传输至服务端,还包括:
若所述文件查询结果指示存在断点续传文件,且已缓存的文件大小大于实际文件大小,则删除已缓存文件,将所述目标文件对应的文件切片重新传输至服务端。
5.根据权利要求4所述的方法,其特征在于,所述根据所述文件查询结果,并按照预设传输速度,将所述目标文件对应的文件切片传输至服务端,还包括:
若所述文件查询结果指示存在断点续传文件,且已缓存的文件大小小于实际文件大小,则根据已缓存的文件大小,定位断点位置;
根据所述断点位置,将所述目标文件对应的剩余文件切片继续传输至服务端。
6.根据权利要求5所述的方法,其特征在于,所述根据所述文件查询结果,并按照预设传输速度,将所述目标文件对应的文件切片传输至服务端,还包括:
若所述文件查询结果指示存在断点续传文件,且已缓存的文件大小等于实际文件大小,则判断已缓存文件的校验值和所述目标文件的校验值是否一致;
若不一致,则删除已缓存文件,将所述目标文件对应的文件切片重新传输至服务端。
7.一种文件归档传输方法,其特征在于,所述方法应用于服务端,所述服务端与客户端连接,所述方法包括:
接收客户端按照预设传输速度传输的目标文件对应的文件切片;
根据所述目标文件对应的文件切片,组合得到所述目标文件;
将所述目标文件归档至大数据集群。
8.一种文件归档传输装置,其特征在于,所述装置应用于客户端,所述客户端与服务端连接,所述装置包括:
获取模块,用于获取目标文件;
切片模块,用于将所述目标文件进行切片,得到所述目标文件对应的文件切片;
传输模块,用于按照预设传输速度,将所述目标文件对应的文件切片传输至服务端。
9.一种文件归档传输装置,其特征在于,所述装置应用于服务端,所述服务端与客户端连接,所述装置包括:
接收模块,用于接收客户端按照预设传输速度传输的目标文件对应的文件切片;
组合模块,用于根据所述目标文件对应的文件切片,组合得到所述目标文件;
归档模块,用于将所述目标文件归档至大数据集群。
10.一种文件归档传输设备,其特征在于,包括:处理器、存储介质和总线,所述存储介质存储有所述处理器可执行的机器可读指令,当所述文件归档传输设备运行时,所述处理器与所述存储介质之间通过所述总线通信,所述处理器执行所述机器可读指令,以执行如权利要求1-7任一项所述的文件归档传输方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010062629.4A CN111245949A (zh) | 2020-01-19 | 2020-01-19 | 文件归档传输方法、装置及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010062629.4A CN111245949A (zh) | 2020-01-19 | 2020-01-19 | 文件归档传输方法、装置及设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111245949A true CN111245949A (zh) | 2020-06-05 |
Family
ID=70876531
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010062629.4A Pending CN111245949A (zh) | 2020-01-19 | 2020-01-19 | 文件归档传输方法、装置及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111245949A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112199052A (zh) * | 2020-11-04 | 2021-01-08 | 江苏特思达电子科技股份有限公司 | 一种文件下载方法、装置及计算机设备 |
CN114520807A (zh) * | 2022-02-24 | 2022-05-20 | 深圳壹账通智能科技有限公司 | 文件上传下载方法、装置、计算机设备及存储介质 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102710630A (zh) * | 2012-05-29 | 2012-10-03 | 新华网股份有限公司 | 一种多线程分片的云上传下载方法及系统 |
CN102801690A (zh) * | 2011-05-25 | 2012-11-28 | 华为技术有限公司 | 流媒体的处理方法、分发服务器、客户端及系统 |
CN103973421A (zh) * | 2013-02-06 | 2014-08-06 | 腾讯科技(深圳)有限公司 | 文件传送方法及装置 |
CN104022852A (zh) * | 2014-06-25 | 2014-09-03 | 北京奇艺世纪科技有限公司 | 一种文件传输方法及装置 |
CN104185216A (zh) * | 2013-05-28 | 2014-12-03 | 腾讯科技(深圳)有限公司 | 一种文件的传输方法和装置 |
CN106302589A (zh) * | 2015-05-27 | 2017-01-04 | 腾讯科技(深圳)有限公司 | 文件传输方法及终端 |
CN108401012A (zh) * | 2018-01-31 | 2018-08-14 | 山东汇贸电子口岸有限公司 | 一种文件断点续传方法 |
CN108881461A (zh) * | 2018-07-02 | 2018-11-23 | 深圳市茁壮网络股份有限公司 | 一种数据传输方法、装置及系统 |
CN109831506A (zh) * | 2019-01-31 | 2019-05-31 | 百度在线网络技术(北京)有限公司 | 文件上传方法、装置、终端、服务器及可读存储介质 |
CN110011952A (zh) * | 2018-01-05 | 2019-07-12 | 中国移动通信有限公司研究院 | 一种数据传输的方法、服务集群及客户端 |
CN110213623A (zh) * | 2019-06-03 | 2019-09-06 | 上海哔哩哔哩科技有限公司 | 视频上传方法、视频上传装置及计算机可读存储介质 |
-
2020
- 2020-01-19 CN CN202010062629.4A patent/CN111245949A/zh active Pending
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102801690A (zh) * | 2011-05-25 | 2012-11-28 | 华为技术有限公司 | 流媒体的处理方法、分发服务器、客户端及系统 |
CN102710630A (zh) * | 2012-05-29 | 2012-10-03 | 新华网股份有限公司 | 一种多线程分片的云上传下载方法及系统 |
CN103973421A (zh) * | 2013-02-06 | 2014-08-06 | 腾讯科技(深圳)有限公司 | 文件传送方法及装置 |
CN104185216A (zh) * | 2013-05-28 | 2014-12-03 | 腾讯科技(深圳)有限公司 | 一种文件的传输方法和装置 |
CN104022852A (zh) * | 2014-06-25 | 2014-09-03 | 北京奇艺世纪科技有限公司 | 一种文件传输方法及装置 |
CN106302589A (zh) * | 2015-05-27 | 2017-01-04 | 腾讯科技(深圳)有限公司 | 文件传输方法及终端 |
CN110011952A (zh) * | 2018-01-05 | 2019-07-12 | 中国移动通信有限公司研究院 | 一种数据传输的方法、服务集群及客户端 |
CN108401012A (zh) * | 2018-01-31 | 2018-08-14 | 山东汇贸电子口岸有限公司 | 一种文件断点续传方法 |
CN108881461A (zh) * | 2018-07-02 | 2018-11-23 | 深圳市茁壮网络股份有限公司 | 一种数据传输方法、装置及系统 |
CN109831506A (zh) * | 2019-01-31 | 2019-05-31 | 百度在线网络技术(北京)有限公司 | 文件上传方法、装置、终端、服务器及可读存储介质 |
CN110213623A (zh) * | 2019-06-03 | 2019-09-06 | 上海哔哩哔哩科技有限公司 | 视频上传方法、视频上传装置及计算机可读存储介质 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112199052A (zh) * | 2020-11-04 | 2021-01-08 | 江苏特思达电子科技股份有限公司 | 一种文件下载方法、装置及计算机设备 |
CN114520807A (zh) * | 2022-02-24 | 2022-05-20 | 深圳壹账通智能科技有限公司 | 文件上传下载方法、装置、计算机设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108924250B (zh) | 基于区块链的业务请求处理方法、装置和计算机设备 | |
CN113535648B (zh) | 一种基于ipfs的分布式云存储方法、设备及存储介质 | |
EP2704398A1 (en) | A method for content change notification in a cloud storage system, a corresponding cloud broker and cloud agent | |
EP2773080A1 (en) | Sharing control system and method for network resources download information | |
EP3820107B1 (en) | Method and device for transmitting data, and method and apparatus for receiving data | |
TW201301053A (zh) | 基於雲端儲存的檔案處理方法,系統及伺服器叢集系統 | |
CN113485962B (zh) | 日志文件的存储方法、装置、设备和存储介质 | |
CN110572422B (zh) | 数据下载方法、装置、设备和介质 | |
US20170185615A1 (en) | Data processing method and device | |
US9075722B2 (en) | Clustered and highly-available wide-area write-through file system cache | |
WO2020147403A1 (zh) | 基于云存储的文件处理方法、系统及计算机设备 | |
CN106339267A (zh) | 一种对象查询方法及服务端 | |
CN111245949A (zh) | 文件归档传输方法、装置及设备 | |
CN115694699A (zh) | 时延参数采集方法、装置、电子设备及存储介质 | |
CN113360815B (zh) | 一种请求重试方法和装置 | |
CN112969198A (zh) | 数据传输方法、终端及存储介质 | |
CN108021459B (zh) | 跨进程发送打点日志的方法及装置 | |
CN112688905B (zh) | 数据传输方法、装置、客户端、服务器及存储介质 | |
CN113900990A (zh) | 文件分片存储方法、装置、设备及存储介质 | |
CN113194330A (zh) | 一种碎片化多云视频资源管理方法及系统 | |
CN110677497A (zh) | 一种网络介质分发方法及装置 | |
CN114765606B (zh) | 容器镜像传输方法、装置、设备及存储介质 | |
CN114172945B (zh) | 一种模拟实现全双工即时通信方法与设备 | |
CN115174679A (zh) | 一种网络文件缓存方法、装置、电子设备及存储介质 | |
CN113271343A (zh) | 一种数据下载、上传的方法及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200605 |
|
RJ01 | Rejection of invention patent application after publication |