CN109783463A - 文件同步方法、装置及计算机可读存储介质 - Google Patents
文件同步方法、装置及计算机可读存储介质 Download PDFInfo
- Publication number
- CN109783463A CN109783463A CN201811523014.6A CN201811523014A CN109783463A CN 109783463 A CN109783463 A CN 109783463A CN 201811523014 A CN201811523014 A CN 201811523014A CN 109783463 A CN109783463 A CN 109783463A
- Authority
- CN
- China
- Prior art keywords
- file
- change
- target
- action
- changed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000008859 change Effects 0.000 claims abstract description 215
- 230000009471 action Effects 0.000 claims abstract description 113
- 238000012545 processing Methods 0.000 claims abstract description 52
- 230000008569 process Effects 0.000 claims abstract description 14
- 238000004458 analytical method Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 6
- 230000001360 synchronised effect Effects 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 6
- 238000003491 array Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提出一种文件同步方法、装置及计算机可读存储介质,其中,方法包括:获取源文件中发生变化的变化文件信息,其中,变化文件信息包括变化文件标识、文件变化动作标识和文件变化内容;将变化文件信息发送至预设的分布式消息处理系统;按照预设周期从分布式消息处理系统中读取变化文件信息,根据变化文件信息,确定目的文件目录中与变化文件标识对应的目标文件;确定目标文件中与文件变化动作标识对应的目标变化动作;根据目标变化动作中与文件变化内容对目标文件进行处理,以实现目的端和源文件端的文件同步。由此,解决了当源文件端或者目的端的服务器出现接收故障时,导致源文件端和目的端的文件无法同步的技术问题。
Description
技术领域
本发明涉及信息处理技术领域,尤其涉及一种文件同步方法、装置及计算机可读存储介质。
背景技术
通常,两个目录下的文件同步,指的是将源文件目录发生的新增文件、更新文件、删除文件事件全部实时同步到目的文件目录,从而保持两个文件目录中的内容完全一致的功能。这种文件同步常被应用于文件备份场景中。
相关技术中,在同步的过程当中,如果源文件的服务器或者目的文件的服务器发生死机等造成服务中断的情况,会造成同步中断或者服务重启后两个目录内容不一致的情况。
发明内容
本发明提供一种文件同步方法、装置及计算机可读存储介质,以解决现有技术中,当源文件端或者目的端的服务器出现接收故障时,导致与源文件端和目的端的文件无法同步的技术问题。
本发明一方面实施例提供一种文件同步方法,包括以下步骤:获取源文件中发生变化的变化文件信息,其中,所述变化文件信息包括变化文件标识、文件变化动作标识和文件变化内容;将所述变化文件信息发送至预设的分布式消息处理系统;按照预设周期从所述分布式消息处理系统中读取所述变化文件信息,根据所述变化文件信息,确定目的文件目录中与所述变化文件标识对应的目标文件;确定所述目标文件中与所述文件变化动作标识对应的目标变化动作;根据所述目标变化动作对与所述文件变化内容对应的所述目标文件进行处理,以实现所述目的端和所述源文件端的文件同步。
本发明另一方面实施例提供一种文件同步装置,包括:获取模块,用于获取源文件中发生变化的变化文件信息,其中,所述变化文件信息包括变化文件标识、文件变化动作标识和文件变化内容;发送模块,用于将所述变化文件信息发送至预设的分布式消息处理系统;第一确定模块,用于按照预设周期从所述分布式消息处理系统中读取所述变化文件信息,根据所述变化文件信息,确定目的文件目录中与所述变化文件标识对应的目标文件;第二确定模块,用于确定所述目标文件中与所述文件变化动作标识对应的目标变化动作;处理模块,用于根据所述目标变化动作对与所述文件变化内容对应的所述目标文件进行处理,以实现所述目的端和所述源文件端的文件同步。
本发明又一方面实施例提供一种非临时性计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上述实施例所述的文件同步方法。
获取源文件中发生变化的变化文件信息,其中,变化文件信息包括变化文件标识、文件变化动作标识和文件变化内容,将变化文件信息发送至预设的分布式消息处理系统,进而,按照预设周期从分布式消息处理系统中读取变化文件信息,根据变化文件信息,确定目的文件目录中与变化文件标识对应的目标文件,最后,确定目标文件中与文件变化动作标识对应的目标变化动作,并根据目标变化动作中与文件变化内容对应的目标文件进行处理,以实现目的端和源文件端的文件同步。由此,解决了当源文件端或者目的端的服务器出现接收故障时,导致与源文件端和目的端的文件无法同步的技术问题,实现了文件同步场景下的文件断点续传。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为本发明实施例所提供的一种文件同步方法的流程示意图;
图2为本发明实施例所提供的一种文件同步方法的应用场景示意图;
图3为本发明实施例所提供的另一种文件同步方法的应用场景示意图;
图4为本发明实施例所提供的另一种文件同步方法的流程示意图;
图5为本发明实施例所提供的又一种文件同步方法的流程示意图;
图6是根据本发明一个实施例的文件同步装置的结构示意图;
图7是根据本发明另一个实施例的文件同步装置的结构示意图;以及
图8是根据本发明又一个实施例的文件同步装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的文件同步方法和装置。针对上述背景技术中提到的如果源文件的服务器或者目的文件的服务器发生死机等造成服务中断的情况,会造成同步中断或者服务重启后目录内容不一致的情况,本发明提供了一种新的文件同步方法,在该方法中,引入中间服务器设备对源文件的文件变化进行同步写入,从而,即使源文件的服务器或者目的文件的服务器发生死机等造成服务中断的情况,也可以通过中间服务器中保存的文件变化信息实现断点续传。其中,为了描述的方便,中间服务器设备在本实施例中为Apache Kafka(以下简称Kafka)分布式消息处理系统。
具体而言,图1为本发明实施例所提供的一种文件同步方法的流程示意图。该方法的执行主体可以是上述提到的中间服务器设备。
如图1所示,该文件同步方法包括以下步骤:
步骤101,获取源文件中发生变化的变化文件信息,其中,变化文件信息包括变化文件标识、文件变化动作标识和文件变化内容。
其中,变化文件信息用于指示发生变化的具体文件以及文件的具体变化内容(包括增加的文件内容、减少的文件内容、删除的文件内容等),在实际执行过程中,变化文件信息的表达方式根据应用场景的不同而不同,比如,可以使用“变化文件标识-文件变化动作标识-文件变化内容”字符串表示,比如“test.txt_新增_文件内容”,其中,文件变化标识用于指示变化的文件,可以包括文件名称、文件ID等,文件变化动作标识用于指示文件变化类型,可以为“删除”、“增加”等文字表示,也可以是代表文件变化类型的预设字符串或者标识符等,文件变化内容对应于文件变化指示的文件内容,比如为增加的文件内容或者删除的文件内容等,其中,为了减轻存储压力,文件变化内容可以包括变化的文件内容所在存储位置的存储路径等。
需要说明的是,在不同的应用场景下,获取源文件中发生变化的变化文件信息的方式不同,作为一种可能的实现方式,实时将历史源文件与当前源文件进行比对,根据比对结果发现变化文件信息,作为另一种可能的实现方式,定位出文件发生变化时所调用的文件更改函数,检测该文件更改函数是否被调用,比如将文件更改函数设置相关函数,当文件更改函数被调用时,相关函数被触发,从而获知到文件更改函数被调用,若该文件更改函数被调用,则截获对应的更改动作,以识别出源文件中发生变化的变化文件信息。
步骤102,将变化文件信息发送至预设的分布式消息处理系统。
具体地,在本发明的实施例中,如图2所示,将变化的文件信息发送至预设的分布式消息处理系统,而不是将变化文件信息直接发送到目的端,从而,即使目的端的服务器发生死机等问题,也可以在恢复后从分布式消息处理系统获取到变化文件信息,或者,即使源文件端的服务器发生死机等故障,由于变化文件信息已经被保存至分布式消息处理系统,因而,目的端也可以从分布式消息处理系统中获取到对应的变化文件信息。
步骤103,按照预设周期从分布式消息处理系统中读取变化文件信息,根据变化文件信息,确定目的文件目录中与变化文件标识对应的目标文件。
具体地,按照预设周期从分布式消息处理系统中读取变化文件信息,根据变化文件信息,确定目的文件目录中与变化文件标识对应的目标文件,即定位出目标文件目录中对应需要伴随变化的目标文件,当然,当变化文件信息是新文件的首次新增时,则可以直接在目的文件目录中添加对应的文件。
其中,上述预设周期可以根据文件目的端的当前网络情况调整,当目的端的当前网络情况不稳定时,该预设周期可以调整为相对较大的周期,当目的端的当前网路稳定时,该预设周期可以调整为较小的周期。
步骤104,确定目标文件中与文件变化动作标识对应的目标变化动作。
步骤105,根据目标变化动作中与文件变化内容对应的目标文件进行处理,以实现目的端和源文件端的文件同步。
具体地,为了实现目标文件与源文件的同步,确定目标文件中与文件变化动作标识对应的目标变化动作,并根据目标变化动作与文件变化内容对目标文件进行处理,实现目的端和源文件端的文件同步,比如,如图3所示,确定目标文件中与文件变化动作标识对应的目标变化动作为对目标文件1增加文件内容a,则目的端实现对目标文件1增加文件内容a的操作,该操作不依赖于源文件对其的数据同步,而是依赖于从分布式消息处理系统中的信息读取。
在一些可能的实施例中,当目的端与源文件端不处于同一个地理位置时,比如一个处于办公室,另一个处于家里,则为了保证用户在源文件端操作文件时,对目的端的文件进行同步变化不被别人看到,目的端在接收到分布式消息处理系统发送的变化文件信息后,对变化文件消息采用隐藏显示的方式,当接收到用户输入的预设解除隐藏的操作后,才对新增的变化文件信息进行显现,其中,在一些可能的实施例中,当变化文件消息对应于文件新增或者文件删除这种整个文件变化的操作,则隐藏显示的方式为:在新增文件时,隐藏显示新增的文件,在删除文件时,对删除的文件不采取取消显示操作,而是在用户在有关界面输入预设解除隐藏的操作后,比如,在显示界面用鼠标滑出预设的运动轨迹后,才显示同步的结果,当变化消息对应于目的端中原有文件的内容的添加或删除时,则隐藏显示的方式为隐藏显示新添加的文件内容等。
在另一些可能的实施例中,为了明确此次文件同步变化的文件信息,便于用户的查看,还可以采用添加标识的方式以使得此次变化的文件信息更加直观,比如,对新增的文件采用其他颜色的标识进行标注,又比如,对文件中新增加的内容使用标亮方式突出显示,其中,当检测到用户在目的端操作文件时,对上述添加的标识自动去除。
在实际执行过程中,可能存在针对同一个目标文件的多个变化动作较为连续,因而,为了进一步优化本发明实施例的文件同步灵活性,在本发明的一个实施例中,对针对同一个目标文件的多个连续的目标变化动作进行整合。
具体而言,如图4所示,上述步骤“根据目标变化动作中与文件变化内容对应的目标文件进行处理”,包括:
步骤201,获取目标变化动作的变化时间。
具体地,可以记录目标变化动作的变化时间,比如,在源文件端当检测到目标文件变化时,记录变化时间,并将该变化时间和文件变化信息绑定发送至分布式消息处理系统,从而,可以基于变化动作所绑定的变化时间获取目标变化动作对应的变化时间。
步骤202,确定属于预设时间范围内的属于同一个目标文件的候选目标变化动作。
可以理解,变化时间较为相近的目标变化动作为连续的变化动作,因而,在本实施例中,基于预设时间范围确定出属同一个目标文件的候选目标动作,其中,预设时间范围基于系统处理能力以及同步时间需求而定,当系统处理能力较低以及同步时间需求较低时,预设时间范围越大,反之,预设时间范围越小。
步骤203,根据预设的动作解析策略,确定目标变化动作中的有效变化动作,根据有效变化动作对目标文件进行处理。
具体地,基于连续变化的目标变化动作进行整合,确定出目标变化动作中的有效变化动作,根据有效变化动作对目标文件进行处理。
为了使得本领域的技术人员对上述预设的动作解析策略更加清楚,下面结合示例进行举例说明,说明如下:
在一些可能的示例中,当候选目标变化动作均为更新动作时,则不难理解的是,最后的一次更新操作影响了目标文件的最终状态,因而,以最近一次变化时间对应的更新动作作为有效更新动作,当候选目标变化动作均为更新动作时,以最近一次变化时间对应的更新动作作为有效更新动作。
在另一些可能的示例中,当最近一次变化时间对应的候选目标变化动作为删除操作时,则不难理解,无论前面的变化动作是什么,都不会被体现在目标文件中,因而,确定删除操作为有效变化动作,根据有效变化动作对目标文件进行删除处理,其中,当删除操作之前的变化动作为新增操作时,则认为该文件没有新增过,删除操作找不到对应的目标文件从而不进行任何操作。
需要说明的是,在相关技术中,基于相关软件实现源文件端到目的端的文件同步,在源文件的服务器发生大文件的变化或者短时间多个源文件变化时,可能会由于软件资源不足的原因导致软件崩溃。
因而,在本发明的实施例中,当变化文件信息为多个时,采用分布式处理机制进行处理,以提高处理效率,避免发生堵塞等。
具体而言,在本发明的一个实施例中,当变化文件信息为多个时,如图5所示,上述将变化文件信息发送至预设的分布式消息处理系统的步骤,包括:
步骤301,预先设置多个发送线程,其中,发送线程用于向分布式消息处理系统发送变化文件信息。
可以理解,在本发明的实施例中,将变化文件信息拆分为多个线程进行发送。因而,根据系统资源预先设置多个发送线程。
步骤302,根据预设的拆分策略确定与每个变化文件信息对应的发送线程。
需要说明的是,根据应用场景的不同,预设的拆分策略不同,示例如下:
在本示例中,获取每个变化文件信息对应的变化时间,比如,查询每个变化文件信息在源文件端中产生的时间,进而,根据该变化时间确定对应的拆分标志,比如将变化时间的时间点的秒数作为拆分标识,举例而言,对变化时间“2018-08-01 12:30:28”个位秒数是8,则确定拆分标识为8,对变化时间“2018-08-01 12:00:00”个位秒数是0,则确定拆分标识为0;比如,将变化时间的时间点的分数和秒数的差值的绝对值的个位数作为拆分标识等。
进而,根据预存的拆分标识和发送线程的对应关系,确定与每个变化信息对应的发送线程,比如,对发送线程进行标号,当预存的对应关系为拆分标识对应的数值即为对应标号的发送线程,举例来说,当对发送线程标号为1-10时,将拆分标识为0的变化信息通过标号为0的发送线程发送等。
当然,在实际执行过程中,上述发送线程的确定方式,可能存在某些发送线程较为拥堵,因而,还可以在存在发送线程上待发送的变化文件信息的数量较多时,将其中的部分变化文件信息调整至相对发送压力小的发送线程上发送。或者,可以根据当前待发送的变化文件信息的数量设置对应数量的发送线程,而不是预先设置发送线程。
需要说明的是,上述示例以变化文件信息为多个时为例进行的说明,实际上,在一些示例中,还可以针对同一个变化文件信息也可以拆分为多个线程进行发送,其发送方式同上,在此不再赘述。
步骤303,通过与每个变化文件信息对应的发送线程发送每个变化文件信息。
在本实施例中,基于与每个变化文件信息对应的发送线程发送每个变化文件信息,提高了发送效率和成功率。
综上,本发明实施例的文件同步方法,获取源文件中发生变化的变化文件信息,其中,变化文件信息包括变化文件标识、文件变化动作标识和文件变化内容,将变化文件信息发送至预设的分布式消息处理系统,进而,按照预设周期从分布式消息处理系统中读取变化文件信息,根据变化文件信息,确定目的文件目录中与变化文件标识对应的目标文件,最后,确定目标文件中与文件变化动作标识对应的目标变化动作,并根据目标变化动作中与文件变化内容对应的目标文件进行处理,以实现目的端和源文件端的文件同步。由此,解决了当源文件端或者目的端的服务器出现接收故障时,导致与源文件端和目的端的文件无法同步的技术问题,实现了文件同步场景下的文件断点续传。
为了实现上述实施例,本发明还提出了一种文件同步装置,图6是根据本发明一个实施例的文件同步装置的结构示意图,如图6所示,该文件同步装置包括获取模块100、发送模块200、第一确定模块300、第二确定模块400和处理模块500。
其中,获取模块100,用于获取源文件中发生变化的变化文件信息,其中,变化文件信息包括变化文件标识、文件变化动作标识和文件变化内容。
发送模块200,用于将变化文件信息发送至预设的分布式消息处理系统。
在本发明的一个实施例中,如图7所示,发送模块200包括设置单元210、第一确定单元220和发送单元230。
其中,设置单元210,用于预先设置多个发送线程,其中,发送线程用于向分布式消息处理系统发送变化文件信息。
第一确定单元220,用于根据预设的拆分策略确定与每个变化文件信息对应的发送线程。
发送单元230,用于通过与每个变化文件信息对应的发送线程发送每个变化文件信息。
第一确定模块300,用于按照预设周期从分布式消息处理系统中读取变化文件信息,根据变化文件信息,确定目的文件目录中与变化文件标识对应的目标文件。
第二确定模块400,用于确定目标文件中与文件变化动作标识对应的目标变化动作。
处理模块500,用于根据目标变化动作对与文件变化内容对应的目标文件进行处理,以实现目的端和源文件端的文件同步。
在本发明的一个实施例中,如图8所示,处理模块500包括获取单元510、第二确定单元520和处理单元530。其中,
获取单元510,用于获取目标变化动作的变化时间。
第二确定单元520,用于确定属于预设时间范围内的属于同一个目标文件的候选目标变化动作。
处理单元530,用于根据预设的动作解析策略,确定目标变化动作中的有效变化动作,根据有效变化动作对目标文件进行处理。
需要说明的是,前述实施例中对文件同步方法的解释说明,也适用于本发明实施例的文件同步装置,其实现原理类似,在此不再赘述。
为了实现上述实施例,本发明还提出了一种非临时性计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现如上述实施例的文件同步方法。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如,如果用硬件来实现和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种文件同步方法,其特征在于,包括以下步骤:
获取源文件中发生变化的变化文件信息,其中,所述变化文件信息包括变化文件标识、文件变化动作标识和文件变化内容;
将所述变化文件信息发送至预设的分布式消息处理系统;
按照预设周期从所述分布式消息处理系统中读取所述变化文件信息,根据所述变化文件信息,确定目的文件目录中与所述变化文件标识对应的目标文件;
确定所述目标文件中与所述文件变化动作标识对应的目标变化动作;
根据所述目标变化动作对与所述文件变化内容对应的所述目标文件进行处理,以实现所述目的端和所述源文件端的文件同步。
2.如权利要求1所述的方法,其特征在于,当所述变化文件信息为多个时,所述将所述变化文件信息发送至预设的分布式消息处理系统,包括:
预先设置多个发送线程,其中,所述发送线程用于向所述分布式消息处理系统发送所述变化文件信息;
根据预设的拆分策略确定与每个变化文件信息对应的发送线程;
通过与所述每个变化文件信息对应的发送线程发送所述每个变化文件信息。
3.如权利要求2所述的方法,其特征在于,所述根据预设的拆分策略确定与每个变化文件信息对应的发送线程,包括:
获取所述每个变化文件信息对应的变化时间,获取与所述变化时间对应的拆分标识;
根据预存的拆分标识与发送线程的对应关系,确定与每个变化文件信息对应的发送线程。
4.如权利要求1所述的方法,其特征在于,所述根据所述目标变化动作对与所述文件变化内容对应的所述目标文件进行处理,包括:
获取所述目标变化动作的变化时间;
确定属于预设时间范围内的属于同一个目标文件的候选目标变化动作;
根据预设的动作解析策略,确定所述目标变化动作中的有效变化动作,根据所述有效变化动作对所述目标文件进行处理。
5.如权利要求4所述的方法,其特征在于,所述根据预设的动作解析策略,确定所述目标变化动作中的有效变化动作,根据所述有效变化动作对所述目标文件进行处理,包括:
当所述候选目标变化动作均为更新动作时,以最近一次变化时间对应的更新动作作为有效更新动作;
根据所述有效更新动作对所述目标文件进行更新处理。
6.如权利要求4所述的方法,其特征在于,所述根据预设的动作解析策略,确定所述目标变化动作中的有效变化动作,根据所述有效变化动作对所述目标文件进行处理,包括:
当最近一次变化时间对应的候选目标变化动作为删除操作时,确定删除操作为有效变化动作;
根据所述有效变化动作对所述目标文件进行删除处理。
7.一种文件同步装置,其特征在于,包括:
获取模块,用于获取源文件中发生变化的变化文件信息,其中,所述变化文件信息包括变化文件标识、文件变化动作标识和文件变化内容;
发送模块,用于将所述变化文件信息发送至预设的分布式消息处理系统;
第一确定模块,用于按照预设周期从所述分布式消息处理系统中读取所述变化文件信息,根据所述变化文件信息,确定目的文件目录中与所述变化文件标识对应的目标文件;
第二确定模块,用于确定所述目标文件中与所述文件变化动作标识对应的目标变化动作;
处理模块,用于根据所述目标变化动作对与所述文件变化内容对应的所述目标文件进行处理,以实现所述目的端和所述源文件端的文件同步。
8.如权利要求7所述的装置,其特征在于,当所述变化文件信息为多个时,所述发送模块,包括:
设置单元,用于预先设置多个发送线程,其中,所述发送线程用于向所述分布式消息处理系统发送所述变化文件信息;
第一确定单元,用于根据预设的拆分策略确定与每个变化文件信息对应的发送线程;
发送单元,用于通过与所述每个变化文件信息对应的发送线程发送所述每个变化文件信息。
9.如权利要求7所述的装置,其特征在于,当所述变化文件信息为多个时,所述处理模块,包括:
获取单元,用于获取所述目标变化动作的变化时间;
第二确定单元,用于确定属于预设时间范围内的属于同一个目标文件的候选目标变化动作;
处理单元,用于根据预设的动作解析策略,确定所述目标变化动作中的有效变化动作,根据所述有效变化动作对所述目标文件进行处理。
10.一种非临时性计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-6中任一所述的文件同步方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811523014.6A CN109783463A (zh) | 2018-12-13 | 2018-12-13 | 文件同步方法、装置及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811523014.6A CN109783463A (zh) | 2018-12-13 | 2018-12-13 | 文件同步方法、装置及计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109783463A true CN109783463A (zh) | 2019-05-21 |
Family
ID=66496890
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811523014.6A Pending CN109783463A (zh) | 2018-12-13 | 2018-12-13 | 文件同步方法、装置及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109783463A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111026724A (zh) * | 2019-11-24 | 2020-04-17 | 山东中创软件商用中间件股份有限公司 | 一种基于分布式系统的文件同步方法、装置、设备及介质 |
CN111262883A (zh) * | 2020-02-28 | 2020-06-09 | 浪潮软件股份有限公司 | 一种基于cmsp的文件同步系统、同步方法及文件系统 |
CN111856249A (zh) * | 2020-07-24 | 2020-10-30 | 安测半导体技术(江苏)有限公司 | 一种芯片测试监控方法、客户端及系统 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101281543A (zh) * | 2008-05-13 | 2008-10-08 | 华为技术有限公司 | 文件同步方法及装置 |
CN101620624A (zh) * | 2009-08-13 | 2010-01-06 | 公安部第一研究所 | 一种物理隔离条件下不同数据库间数据同步的方法 |
CN102045400A (zh) * | 2010-12-29 | 2011-05-04 | 北京世纪互联工程技术服务有限公司 | 一种文件内容同步方法和系统 |
CN102479109A (zh) * | 2010-11-23 | 2012-05-30 | 腾讯科技(深圳)有限公司 | 一种前后台数据同步方法及装置 |
CN103258018A (zh) * | 2013-04-27 | 2013-08-21 | 北京金和软件股份有限公司 | 一种精确监控目录文件夹中文件变化的文件同步方法 |
CN103559319A (zh) * | 2013-11-21 | 2014-02-05 | 华为技术有限公司 | 分布式集群文件系统的缓存同步方法和设备 |
CN104994177A (zh) * | 2015-08-06 | 2015-10-21 | 上海爱数软件有限公司 | 网盘系统的同步方法、终端设备和网盘系统 |
CN106503158A (zh) * | 2016-10-31 | 2017-03-15 | 深圳中兴网信科技有限公司 | 数据同步方法及装置 |
CN108763234A (zh) * | 2018-02-01 | 2018-11-06 | 宝付网络科技(上海)有限公司 | 一种数据实时同步方法及系统 |
-
2018
- 2018-12-13 CN CN201811523014.6A patent/CN109783463A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101281543A (zh) * | 2008-05-13 | 2008-10-08 | 华为技术有限公司 | 文件同步方法及装置 |
CN101620624A (zh) * | 2009-08-13 | 2010-01-06 | 公安部第一研究所 | 一种物理隔离条件下不同数据库间数据同步的方法 |
CN102479109A (zh) * | 2010-11-23 | 2012-05-30 | 腾讯科技(深圳)有限公司 | 一种前后台数据同步方法及装置 |
CN102045400A (zh) * | 2010-12-29 | 2011-05-04 | 北京世纪互联工程技术服务有限公司 | 一种文件内容同步方法和系统 |
CN103258018A (zh) * | 2013-04-27 | 2013-08-21 | 北京金和软件股份有限公司 | 一种精确监控目录文件夹中文件变化的文件同步方法 |
CN103559319A (zh) * | 2013-11-21 | 2014-02-05 | 华为技术有限公司 | 分布式集群文件系统的缓存同步方法和设备 |
CN104994177A (zh) * | 2015-08-06 | 2015-10-21 | 上海爱数软件有限公司 | 网盘系统的同步方法、终端设备和网盘系统 |
CN106503158A (zh) * | 2016-10-31 | 2017-03-15 | 深圳中兴网信科技有限公司 | 数据同步方法及装置 |
CN108763234A (zh) * | 2018-02-01 | 2018-11-06 | 宝付网络科技(上海)有限公司 | 一种数据实时同步方法及系统 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111026724A (zh) * | 2019-11-24 | 2020-04-17 | 山东中创软件商用中间件股份有限公司 | 一种基于分布式系统的文件同步方法、装置、设备及介质 |
CN111026724B (zh) * | 2019-11-24 | 2023-09-01 | 山东中创软件商用中间件股份有限公司 | 一种基于分布式系统的文件同步方法、装置、设备及介质 |
CN111262883A (zh) * | 2020-02-28 | 2020-06-09 | 浪潮软件股份有限公司 | 一种基于cmsp的文件同步系统、同步方法及文件系统 |
CN111856249A (zh) * | 2020-07-24 | 2020-10-30 | 安测半导体技术(江苏)有限公司 | 一种芯片测试监控方法、客户端及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20170249328A1 (en) | A Method, Cloud Synchronization Function Means and File System for Handling Files and Directories in a Cloud Storage Service | |
US11188560B2 (en) | Synchronizing object in local object storage node | |
CN109542529B (zh) | 基于函数名称的埋点方法、装置、计算机设备及存储介质 | |
CN104283956A (zh) | 强一致性分布式数据存储方法、装置及系统 | |
US20170031948A1 (en) | File synchronization method, server, and terminal | |
EP2378437A1 (en) | Data synchronization methods in communication systems | |
CN108306956A (zh) | 信息推送方法、装置、服务器及计算机可读介质 | |
CN106874281B (zh) | 实现数据库读写分离的方法和装置 | |
JP2016533609A (ja) | モバイルデバイス上での、クラウドベースのコンテンツマネージメントシステムへのアクセスの提供 | |
CN110046062B (zh) | 分布式数据处理方法及系统 | |
US20150227605A1 (en) | Information processing terminal, synchronization control method, and computer-readable recording medium | |
US9690796B2 (en) | Non-transitory computer-readable media storing file management program, file management apparatus, and file management method | |
CN106445643B (zh) | 克隆、升级虚拟机的方法及设备 | |
CN109783463A (zh) | 文件同步方法、装置及计算机可读存储介质 | |
US20190347245A1 (en) | Determining when a change set was delivered to a workspace or stream and by whom | |
US10983718B2 (en) | Method, device and computer program product for data backup | |
RU2643429C2 (ru) | Способ управления синхронизацией файлов (варианты), электронное устройство (варианты) и машиночитаемый носитель | |
CN114981796A (zh) | 数据同步方法、装置、数据存储系统及计算机可读介质 | |
CN112363980B (zh) | 一种分布式系统的数据处理方法及装置 | |
CN113918648A (zh) | 数据同步方法、装置、电子设备及存储介质 | |
CN111147226B (zh) | 数据存储方法、装置及存储介质 | |
EP3035217A1 (en) | Computer-readable storage medium and method for cross-platform synchronizing attributes of files | |
KR20190143228A (ko) | 추적 식별자를 이용한 객체 관리 방법, 장치, 컴퓨터 프로그램 및 그 기록 매체 | |
CN112751693A (zh) | 分布式存储系统的数据处理方法、装置及电子设备 | |
CN110990360A (zh) | 基于网络存储设备的文件同步方法及相关组件 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190521 |