CN112965805B - 基于内存映射文件的跨进程异步任务处理方法及系统 - Google Patents
基于内存映射文件的跨进程异步任务处理方法及系统 Download PDFInfo
- Publication number
- CN112965805B CN112965805B CN202110321934.5A CN202110321934A CN112965805B CN 112965805 B CN112965805 B CN 112965805B CN 202110321934 A CN202110321934 A CN 202110321934A CN 112965805 B CN112965805 B CN 112965805B
- Authority
- CN
- China
- Prior art keywords
- task
- storage
- asynchronous
- module
- task information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 86
- 238000013507 mapping Methods 0.000 title claims abstract description 26
- 238000003672 processing method Methods 0.000 title claims description 7
- 230000008569 process Effects 0.000 claims abstract description 53
- 238000012545 processing Methods 0.000 claims abstract description 43
- 230000010365 information processing Effects 0.000 claims abstract description 26
- 238000005516 engineering process Methods 0.000 claims description 10
- 230000007246 mechanism Effects 0.000 abstract description 4
- 230000005540 biological transmission Effects 0.000 abstract description 2
- 238000004891 communication Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 230000002688 persistence Effects 0.000 description 4
- 230000007547 defect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
- G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
- G06F12/0866—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches for peripheral storage systems, e.g. disk cache
- G06F12/0871—Allocation or management of cache space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
- G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
- G06F12/0866—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches for peripheral storage systems, e.g. disk cache
- G06F12/0873—Mapping of cache memory to specific storage devices or parts thereof
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种基于内存映射文件的跨进程异步任务处理方法及系统，包括：步骤S1：主交易进程调用异步任务信息记录模块将需要处理的异步任务写入任务存储模块中；步骤S2：异步任务信息处理模块从任务存储模块中读取待处理的异步任务进行处理。本发明通过采用内存映射文件记录待处理任务的机制，实现跨进程任务登记和处理，主交易进程高效登记待处理任务，任务处理进程异步处理任务，既解决了额外附加的操作处理，又不影响主交易的性能，解决了各种高并发交易的附加操作，如日志记录、流量统计、异步消息发送等业务场景。
Description
技术领域
本发明涉及计算机通信技术领域，具体地，涉及一种基于内存映射文件的跨进程异步任务处理解决方案。
背景技术
目前解决高并发异步处理任务比较流程的办法为消息队列，一般做法为主交易作为消息生产者将需要做的任务发送到消息队列，由消息消费者异步处理任务，这种方式需要消息中间件支撑，有以下缺点：
1.消息中间件过于庞大，需要单独部署，对整个系统架构带来额外开销，不适合体量较小的应用，且消息中间件本身技术复杂，需要专门的人员对其进行调优，技术成本比较大
2.消息中间件一般消息的发送和接收均需要通过网络通讯，其性能低于本方案采用的内存映射文件读写
3.消息中间件需要开启持久化来保障可靠性，进一步影响了消息发送接收的性能，本方案采用内存映射存储，既满足了持久化可靠性，又不影响读写性能。
专利文献CN109254845A(申请号：201810847512.X)公开了一种应用于分布式通信计算服务端的线性扩展实现方法，该方法充分的将Server主进程的各种功能拆分出来，采用微服务的方式，使每一种功能形成一个进程，进程内再根据不同功能的特点，划分出若干多线程，来处理具体的逻辑任务，进程彼此之间是独立运行的，互不干扰，进程间通信使用需要传送的必要数据作为上下文，进程之间使用Socket进行通信。本发明通过CPU占用率、网络宽带使用情况、用户在线数，提供一个合理的负载均衡算法；通过复用Socket实现了跨进程的通信，隔离了多个用户的同时操作，极大地缓解了单进程模型的压力；通过线程池，充分的利用了硬件上的所有CPU资源，极大地降低了服务器部署成本。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于内存映射文件的跨进程异步任务处理方法及系统。
根据本发明提供的一种基于内存映射文件的跨进程异步任务处理方法，包括：
步骤S1：主交易进程调用异步任务信息记录模块将需要处理的异步任务写入任务存储模块中；
步骤S2：异步任务信息处理模块从任务存储模块中读取待处理的异步任务进行处理。
优选地，所述步骤S1中任务存储模块包括：N个存储组，每个存储组包括任务信息存储文件和任务信息索引文件；
所述任务信息存储文件被格式化成多个存储单元，每个存储单元存储一个任务信息，占用固定的空间；
所述任务信息索引文件记录每个存储单元的状态，组成一个循环链表按顺序存储待处理的任务信息。
优选地，所述步骤S1包括：锁定任务存储模块中一个存储组，查找存储组的任务信息索引文件的循环链表，在待处理单元后面最近的空闲存储单元进行记录，记录后将当前存储单元设置为待处理。
优选地，所述步骤S2包括：在异步任务处理进程中，当前异步任务处理进程与主交易进程运行在同一个服务器中。
优选地，所述步骤S2包括：针对任务存储模块中每一个存储组创建一个线程，当前线程负责顺序读取存储组的任务信息索引文件的循环链表，查找最前面的状态为待处理的任务，任务处理线程池执行最前面的状态为待处理的任务，在处理完成后将任务存储单元状态设置为空闲。
优选地，还包括：异步任务信息记录模块和异步任务信息处理模块均采用内存映射文件技术奖任务存储模块的存储文件映射到内存进行读写。
根据本发明提供的一种基于内存映射文件的跨进程异步任务处理系统，包括：
任务存储模块：主交易进程调用异步任务信息记录模块将需要处理的异步任务写入任务存储模块中；
异步任务信息处理模块：异步任务信息处理模块从任务存储模块中读取待处理的异步任务进行处理。
优选地，所述任务存储模块包括：N个存储组，每个存储组包括任务信息存储文件和任务信息索引文件；
所述任务信息存储文件被格式化成多个存储单元，每个存储单元存储一个任务信息，占用固定的空间；
所述任务信息索引文件记录每个存储单元的状态，组成一个循环链表按顺序存储；
所述任务存储模块包括：锁定任务存储模块中一个存储组，查找存储组的任务信息索引文件的循环链表，在待处理单元后面最近的空闲存储单元进行记录，记录后将当前存储单元设置为待处理。
优选地，所述异步任务信息处理模块包括：在异步任务处理进程中，当前异步任务处理进程与主交易进程运行在同一个服务器中；
所述异步任务信息处理模块包括：针对任务存储模块中每一个存储组创建一个线程，当前线程负责顺序读取存储组的任务信息索引文件的循环链表，查找最前面的状态为待处理的任务，任务处理线程池执行最前面的状态为待处理的任务，在处理完成后将任务存储单元状态设置为空闲。
优选地，还包括：异步任务信息记录模块和异步任务信息处理模块均采用内存映射文件技术奖任务存储模块的存储文件映射到内存进行读写。
与现有技术相比，本发明具有如下的有益效果：
1、本发明通过采用内存映射文件记录待处理任务的机制，实现跨进程任务登记和处理，主交易进程高效登记待处理任务，任务处理进程异步处理任务，既解决了额外附加的操作处理，又不影响主交易的性能，解决了各种高并发交易的附加操作，如日志记录、流量统计、异步消息发送等业务场景，实现了功能解耦。
2、本发明采用内存映射文件记录待处理任务的机制，在任务信息读取写入均通过内存操作，不依赖任何外部设备和环境，其性能远远高于网络、数据库进行跨进程交互，大大降低了部署维护成本。
3、本发明采用内存映射文件记录待处理任务的机制，可以起到任务缓冲及持久化作用，在任务处理进程忙不过来的情况下，不影响主交易登记性能，同时也不会造成待处理任务丢失，而且随着存储文件越多，能够缓冲持久化的任务也越多。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为基于内存映射文件的跨进程异步任务处理系统示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
实施例1
根据本发明提供的一种基于内存映射文件的跨进程异步任务处理方法，包括：
步骤S1：主交易进程调用异步任务信息记录模块将需要处理的异步任务写入任务存储模块中；
具体地，所述步骤S1中任务存储模块包括：N个存储组，每个存储组包括任务信息存储文件和任务信息索引文件；
所述任务信息存储文件被格式化成多个存储单元，每个存储单元存储一个任务信息，占用固定的空间；
所述任务信息索引文件记录每个存储单元的状态，组成一个循环链表按顺序存储待处理的任务信息。
具体地，所述步骤S1包括：锁定任务存储模块中一个存储组，查找存储组的任务信息索引文件的循环链表，在待处理单元后面最近的空闲存储单元进行记录，记录后将当前存储单元设置为待处理。
步骤S2：异步任务信息处理模块从任务存储模块中读取待处理的异步任务进行处理。
具体地，所述步骤S2包括：在异步任务处理进程中，当前异步任务处理进程与主交易进程运行在同一个服务器中。
具体地，所述步骤S2包括：针对任务存储模块中每一个存储组创建一个线程，当前线程负责顺序读取存储组的任务信息索引文件的循环链表，查找最前面的状态为待处理的任务，任务处理线程池执行最前面的状态为待处理的任务，在处理完成后将任务存储单元状态设置为空闲。
具体地，还包括：异步任务信息记录模块和异步任务信息处理模块均采用内存映射文件技术奖任务存储模块的存储文件映射到内存进行读写。
根据本发明提供的一种基于内存映射文件的跨进程异步任务处理系统，包括：
任务存储模块：主交易进程调用异步任务信息记录模块将需要处理的异步任务写入任务存储模块中；
具体地，所述任务存储模块包括：N个存储组，每个存储组包括任务信息存储文件和任务信息索引文件；
所述任务信息存储文件被格式化成多个存储单元，每个存储单元存储一个任务信息，占用固定的空间；
所述任务信息索引文件记录每个存储单元的状态，组成一个循环链表按顺序存储待处理的任务信息；
所述任务存储模块包括：锁定任务存储模块中一个存储组，查找存储组的任务信息索引文件的循环链表，在待处理单元后面最近的空闲存储单元进行记录，记录后将当前存储单元设置为待处理。
异步任务信息处理模块：异步任务信息处理模块从任务存储模块中读取待处理的异步任务进行处理。
具体地，所述异步任务信息处理模块包括：在异步任务处理进程中，当前异步任务处理进程与主交易进程运行在同一个服务器中；
所述异步任务信息处理模块包括：针对任务存储模块中每一个存储组创建一个线程，当前线程负责顺序读取存储组的任务信息索引文件的循环链表，查找最前面的状态为待处理的任务，任务处理线程池执行最前面的状态为待处理的任务，在处理完成后将任务存储单元状态设置为空闲。
具体地，还包括：异步任务信息记录模块和异步任务信息处理模块均采用内存映射文件技术奖任务存储模块的存储文件映射到内存进行读写。
实施例2
实施例2是实施例1的优选例
在高并发高吞吐应用的交易线程中需要进行一些额外的操作，如登记日志、统计流量等，但我们不希望这些操作影响交易线程本身逻辑处理和性能，本发明主要负责高效可靠的处理这些额外操作，而不影响交易线程本身逻辑处理和性能。
本方案分为两个进程，三个模块，包括：
任务存储模块，负责存储待处理的任务，其包括N个存储组，每个存储组包括两个文件，一个为任务信息存储文件，一个为任务信息索引文件。任务信息存储文件被格式化成多个存储单元，每个存储单元存储一个任务信息，占用固定的空间，如1K，任务信息索引文件记录了每个存储单元的状态(0-空闲，1-待处理)，这样就组成了一个循环链表按顺序存储待处理的任务信息。假如一个任务单元占用1K空间，那么一个20M的任务信息存储文件可以存储20M/1K＝20480个任务信息，N个存储组就可以支撑N*20480个任务信息的存储，支撑N个线程同时登记任务信息。
异步任务信息记录模块，在主交易进程中运行，负责将需要额外处理的操作封装成一个任务信息，记录到任务存储模块中，其记录规则为：先锁定一个存储组，然后查找存储组的任务信息索引文件的循环链表，找出待处理单位后面最近的空闲存储单元0进行记录，记录后将该存储单元设置为待处理1，为了保障性能，这里采用内存映射文件技术将任务信息存储文件及索引文件映射到内存进行记录，同时保持住下一个空闲单元的指针，避免每次都查找空闲位置。
异步任务信息处理模块，在任务处理进程中运行，该进程与主交易进行运行在同一个服务器中，其针对每一个存储组创建一个线程，该线程负责顺序读取存储组的任务信息索引文件的循环链表，找出最前面的状态为待处理1的任务，然后交给任务处理线程池执行真正的操作(如记录日志、统计流程等)，在处理完成后将任务存储单元状态设置为空闲0。为了保障性能，这里采用内存映射文件技术将任务信息存储文件和任务信息索引文件映射到内存进行读取和状态更新。
如图1所示，任务信息索引文件1和任务信息存储文件1组成一个任务存储组，记录器1、读线程1分别归属任务信息记录模块和任务信息处理模块、负责读写对应的任务存储组文件，这样可以组成N个任务存储组及其对应的读写线程，支撑N个业务线程并发记录待处理任务。
按照以上三个模块的逻辑，主交易进程调用异步任务信息记录模块将需要处理的任务写入到任务存储模块中即可，而异步任务信息处理模块负责从任务存储模块读取待处理的任务进行处理，这样往复循环可以实现高效的异步任务处理，既处理了任务，也保障了交易进程的性能。为了保障读写性能，异步任务信息记录模块和异步任务信息处理模块均采用内存映射文件技术将任务存储模块的存储文件映射到内存进行读写。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。
Claims (4)
1.一种基于内存映射文件的跨进程异步任务处理方法，其特征在于，包括：
步骤S1：主交易进程调用异步任务信息记录模块将需要处理的异步任务写入任务存储模块中；
步骤S2：异步任务信息处理模块从任务存储模块中读取待处理的异步任务进行处理；
所述步骤S1中任务存储模块包括：N个存储组，每个存储组包括任务信息存储文件和任务信息索引文件；
所述任务信息存储文件被格式化成多个存储单元，每个存储单元存储一个任务信息，占用固定的空间；
所述任务信息索引文件记录每个存储单元的状态，组成一个循环链表按顺序存储；
所述步骤S1包括：锁定任务存储模块中一个存储组，查找存储组的任务信息索引文件的循环链表，在待处理单元后面最近的空闲存储单元进行记录，记录后将当前存储单元设置为待处理；
所述步骤S2包括：针对任务存储模块中每一个存储组创建一个线程，当前线程负责顺序读取存储组的任务信息索引文件的循环链表，查找最前面的状态为待处理的任务，任务处理线程池执行最前面的状态为待处理的任务，在处理完成后将任务信息索引文件存储单元状态设置为空闲。
2.根据权利要求1所述的基于内存映射文件的跨进程异步任务处理方法，其特征还包括：异步任务信息记录模块和异步任务信息处理模块在两个进程中，运行在同一个服务器中，且均采用内存映射文件技术将任务存储模块的存储文件映射到内存进行读写，以便于提高性能及跨进程数据数据同步。
3.一种基于内存映射文件的跨进程异步任务处理系统，其特征在于，包括：
任务存储模块：主交易进程调用异步任务信息记录模块将需要处理的异步任务写入任务存储模块中；
异步任务信息处理模块：异步任务信息处理模块从任务存储模块中读取待处理的异步任务进行处理；
所述任务存储模块包括：N个存储组，每个存储组包括任务信息存储文件和任务信息索引文件；
所述任务信息存储文件被格式化成多个存储单元，每个存储单元存储一个任务信息，占用固定的空间；
所述任务信息索引文件记录每个存储单元的状态，组成一个循环链表按顺序存储；
所述任务存储模块包括：锁定任务存储模块中一个存储组，查找存储组的任务信息索引文件的循环链表，在待处理单元后面最近的空闲存储单元进行记录，记录后将当前存储单元设置为待处理；
所述异步任务信息处理模块包括：在异步任务处理进程中，当前异步任务处理进程与主交易进程运行在同一个服务器中；
所述异步任务信息处理模块包括：针对任务存储模块中每一个存储组创建一个线程，当前线程负责顺序读取存储组的任务信息索引文件的循环链表，查找最前面的状态为待处理的任务，任务处理线程池执行最前面的状态为待处理的任务，在处理完成后将任务存储单元状态设置为空闲。
4.根据权利要求3所述的基于内存映射文件的跨进程异步任务处理系统，其特征在于，还包括：异步任务信息记录模块和异步任务信息处理模块均采用内存映射文件技术奖任务存储模块的存储文件映射到内存进行读写。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110321934.5A CN112965805B (zh) | 2021-03-25 | 2021-03-25 | 基于内存映射文件的跨进程异步任务处理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110321934.5A CN112965805B (zh) | 2021-03-25 | 2021-03-25 | 基于内存映射文件的跨进程异步任务处理方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112965805A CN112965805A (zh) | 2021-06-15 |
| CN112965805B true CN112965805B (zh) | 2023-12-05 |
Family
ID=76278575
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110321934.5A Active CN112965805B (zh) | 2021-03-25 | 2021-03-25 | 基于内存映射文件的跨进程异步任务处理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112965805B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115934581B (zh) * | 2023-03-08 | 2023-05-05 | 北京微步在线科技有限公司 | 一种跨进程内存的处理方法及系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030026373A (ko) * | 2001-09-06 | 2003-04-03 | 오정석 | 메모리 관리장치를 구비한 전송서버 및 그 방법 |
| WO2015070705A1 (zh) * | 2013-11-14 | 2015-05-21 | 华为技术有限公司 | 一种业务流程调度的计算机设备、方法和装置 |
| KR20190008673A (ko) * | 2017-07-17 | 2019-01-25 | 주식회사 코난테크놀로지 | 비동기 방식을 사용하는 파일 색인장치 및 그 방법 |
| CN109359005A (zh) * | 2018-09-14 | 2019-02-19 | 厦门天锐科技股份有限公司 | 一种跨进程的数据采集处理方法 |
| WO2019148734A1 (zh) * | 2018-02-01 | 2019-08-08 | 平安科技（深圳）有限公司 | 统一线程池处理方法、应用服务器及计算机可读存储介质 |
| CN111414134A (zh) * | 2020-02-20 | 2020-07-14 | 上海交通大学 | 面向持久内存文件系统的事务写优化框架的方法及系统 |
| CN112486913A (zh) * | 2020-11-12 | 2021-03-12 | 思创数码科技股份有限公司 | 一种基于集群环境下的日志异步存储方法和设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10067969B2 (en) * | 2015-05-29 | 2018-09-04 | Nuodb, Inc. | Table partitioning within distributed database systems |
-
2021
- 2021-03-25 CN CN202110321934.5A patent/CN112965805B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030026373A (ko) * | 2001-09-06 | 2003-04-03 | 오정석 | 메모리 관리장치를 구비한 전송서버 및 그 방법 |
| WO2015070705A1 (zh) * | 2013-11-14 | 2015-05-21 | 华为技术有限公司 | 一种业务流程调度的计算机设备、方法和装置 |
| KR20190008673A (ko) * | 2017-07-17 | 2019-01-25 | 주식회사 코난테크놀로지 | 비동기 방식을 사용하는 파일 색인장치 및 그 방법 |
| WO2019148734A1 (zh) * | 2018-02-01 | 2019-08-08 | 平安科技（深圳）有限公司 | 统一线程池处理方法、应用服务器及计算机可读存储介质 |
| CN109359005A (zh) * | 2018-09-14 | 2019-02-19 | 厦门天锐科技股份有限公司 | 一种跨进程的数据采集处理方法 |
| CN111414134A (zh) * | 2020-02-20 | 2020-07-14 | 上海交通大学 | 面向持久内存文件系统的事务写优化框架的方法及系统 |
| CN112486913A (zh) * | 2020-11-12 | 2021-03-12 | 思创数码科技股份有限公司 | 一种基于集群环境下的日志异步存储方法和设备 |
Non-Patent Citations (4)
| Title |
|---|
| Read/write shared memory abstraction on top of asynchronous Byzantine message-passing systems;Damien Imbs et al.;Journal of Parallel and Distributed Computing;全文 * |
| 基于内存映射的大文件处理方法研究;张帮亮等;中文科技期刊数据库（全文版）工程技术;全文 * |
| 差量存储的集中式文件级连续数据保护方法;生拥宏;刘川意;鞠大鹏;汪东升;;计算机科学与探索(第04期);全文 * |
| 管理代理与监控模块通信设计;康松林;樊晓平;施荣华;;计算机应用研究(第05期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112965805A (zh) | 2021-06-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9619430B2 (en) | Active non-volatile memory post-processing | |
| CN111897878B (zh) | 主辅数据同步方法及系统 | |
| US20120137094A1 (en) | Snapshot based replication | |
| US20120331333A1 (en) | Stream Data Processing Failure Recovery Method and Device | |
| CN102937964B (zh) | 基于分布式系统的智能数据服务方法 | |
| CN110648178A (zh) | 一种增加kafka消费能力的方法 | |
| CN111562885A (zh) | 数据处理方法、装置、计算机设备及存储介质 | |
| CN104699723A (zh) | 数据交换适配器、异构系统之间数据同步系统和方法 | |
| CN102968339A (zh) | 基于云计算架构实现复杂事件处理的系统及其方法 | |
| CN113076304A (zh) | 一种分布式版本管理方法、装置和系统 | |
| CN112965805B (zh) | 基于内存映射文件的跨进程异步任务处理方法及系统 | |
| CN116302574B (zh) | 一种基于MapReduce的并发处理方法 | |
| US7600074B2 (en) | Controller of redundant arrays of independent disks and operation method thereof | |
| CN111651302A (zh) | 分布式数据库备份方法，装置及系统 | |
| US20160203032A1 (en) | Series data parallel analysis infrastructure and parallel distributed processing method therefor | |
| CN115408391A (zh) | 一种数据库表变更方法、装置、设备和存储介质 | |
| CN112202862B (zh) | 一种基于kafka的集群数据以及文件的同步方法及装置 | |
| CN117827284B (zh) | 向量处理器访存指令处理方法、系统、设备及存储介质 | |
| CN110222017A (zh) | 实时数据的处理方法、装置、设备及计算机可读存储介质 | |
| CN112541816A (zh) | 互联网金融消费信贷批量业务分布式流计算处理引擎 | |
| Membrey et al. | A disk based stream oriented approach for storing big data | |
| CN118113766A (zh) | 批量数据处理方法、装置、设备及介质 | |
| CN111208953A (zh) | 一种分布式存储方法及其装置 | |
| CN115495265A (zh) | 一种基于hadoop提高kafka消费能力的方法 | |
| CN113961566A (zh) | 一种交易流水的处理方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |