CN103514028B

CN103514028B - 一种处理分布式事务的方法和装置

Info

Publication number: CN103514028B
Application number: CN201210198935.6A
Authority: CN
Inventors: 李春雷
Original assignee: Beijing Feinno Communication Technology Co Ltd
Current assignee: Beijing Feinno Communication Technology Co Ltd
Priority date: 2012-06-14
Filing date: 2012-06-14
Publication date: 2016-12-21
Anticipated expiration: 2032-06-14
Also published as: CN103514028A

Abstract

本发明公开一种处理分布式事务的方法和装置，所述方法包括：事务管理器依据应用启动事务；事务协调器将事务拆分为多个任务，将各个事务的同类型的任务分配给同一个任务处理器，并依据任务执行顺序向相应任务处理器发送执行指示；任务处理器对于接收到的执行指示对应的任务，依据执行时间将同类型的任务合并，通过资源适配器调用资源执行合并的任务，并将执行结果反馈给事务协调器；事务协调器依据反馈的执行结果，通知事务管理器结束事务，或调用任务处理器回滚已经执行的任务，并在回滚完成后通知事务管理器结束事务。本发明能够解决多个同类型事务的整体执行时间过长的问题。

Description

一种处理分布式事务的方法和装置

技术领域

本发明涉及计算机领域，特别涉及一种处理分布式事务的方法和装置。

背景技术

X/Open组织（即现在的Open Group）定义了分布式事务处理模型。X/Open DTP（Distributed Transaction Processing，分布式事物处理）模型（1994）包括应用程序（AP）、事务管理器（TM）、资源管理器（RM）、通信资源管理器（CRM）四部分。一般，常见的事务管理器（TM）是交易中间件，常见的资源管理器（RM）是数据库，常见的通信资源管理器（CRM）是消息中间件。其中，事务（Transaction）是并发控制的单位，为用户定义的一个操作序列。这些操作要么都做，要么都不做，是一个可以分割的工作单元。分布式事务处理是指一个事务可能涉及多个操作。

通常情况下，交易中间件与数据库通过XA接口规范(XA就是X/OpenDTP定义的交易中间件与数据库之间的接口规范（即接口函数），交易中间件用它来通知数据库事务的开始、结束以及提交、回滚等)，使用两阶段提交来完成一个全局事务，XA规范的基础是两阶段提交协议。

在第一阶段，交易中间件请求所有相关数据库准备提交（预提交）各自的事务分支，以确认是否所有相关数据库都可以提交各自的事务分支。当某一数据库收到预提交指令后，如果可以提交属于自己的事务分支，则将自己在该事务分支中所做的操作固定记录下来，并给交易中间件一个同意提交的应答，此时数据库将不能再在该事务分支中加入任何操作，但此时数据库并没有真正提交该事务，数据库对共享资源的操作还未释放（处于上锁状态）。如果由于某种原因数据库无法提交属于自己的事务分支，它将回滚自己的所有操作，释放对共享资源上的锁，并返回给交易中间件失败应答。

在第二阶段，交易中间件审查所有数据库返回的预提交结果，如所有数据库都可以提交，交易中间件将要求所有数据库做正式提交，这样该全局事务被提交。而如果有任一数据库预提交返回失败，交易中间件将要求所有其它数据库回滚其操作，这样该全局事务被回滚。

现有分布式事务技术存在如下缺陷：

从性能角度看，首先因为在现有技术中，一个事务中的各个操作通常是顺序执行的，因此事务的总持续时间通常是各实例操作时间之和，这样事务的响应时间就会大大增加。

其次，一般应用的事务都不大，单机操作时间也就几毫秒甚至不到1毫秒，一旦涉及到分布式事务，提交时节点（包括数据库和事务管理器）间的网络通信往返过程也为毫秒级别，对事务响应时间的影响也不可忽视。

由于事务持续时间延长，事务对相关资源的锁定时间也相应增加，从而可能严重增加了并发冲突，进而影响到系统吞吐率。

发明内容

本发明提供的一种处理分布式事务的方法和装置，以解决多个同类型事务的整体执行时间过长的问题。

本发明公开了一种处理分布式事务的方法，所述方法包括：

事务管理器依据应用启动事务；

事务协调器将事务拆分为多个任务，将各个事务的同类型的任务分配给同一个任务处理器，并依据任务执行顺序向相应任务处理器发送执行指示；

任务处理器对于接收到的执行指示对应的任务，依据执行时间将同类型的任务合并，通过资源适配器调用资源执行合并的任务，并将执行结果反馈给事务协调器；

事务协调器依据反馈的执行结果，通知事务管理器结束事务，或调用任务处理器回滚已经执行的任务，并在回滚完成后通知事务管理器结束事务。

较佳的，所述依据反馈的执行结果，通知事务管理器结束事务或调用任务处理器回滚已经执行的任务具体包括：

对于每个事务，在所述事务的所有任务的执行结果都为成功时，通知事务管理器结束所述事务，在所述事务的任何一个任务的执行结果为失败时，调用任务处理器回滚该事务已经执行的任务。

较佳的，在所述事务协调器调用任务处理器回滚已经执行的任务后还包括：

任务处理器接收到事务协调器发送的回滚指示后，根据回滚时间将待回滚的同类型任务进行合并，通过资源适配器对合并的任务进行回滚。

较佳的，所述依据执行时间将同类型的任务合并具体包括：

将执行时间在预设时长内的同类型任务进行合并。

较佳的，所述依据执行时间将同类型的任务合并具体包括：

将执行时间在预设时长内、数量在预设数值内的同类型任务进行合并。

较佳的，所述将执行时间在预设时长内、数量在预设数值内的同类型任务进行合并，通过资源适配器调用资源执行合并的任务具体包括：

当经过时间到达预设时长或待处理的同类型任务的数量到达预设数值时，将待处理的同类型任务进行合并，通过资源适配器调用资源执行合并的任务。

较佳的，所述依据任务执行顺序向任务处理器发送执行指示具体包括：

当执行顺序在先的任务完成后，向跟在所述完成的任务之后执行的任务所在的任务处理器发送处理该之后执行的任务的执行指示。

较佳的，所述将执行结果反馈给事务协调器具体包括：

对于合并处理中合并的每个任务，将合并后处理的结果作为所述任务对应的事务的所述任务的执行结果反馈给事务协调器。

本发明还公开了一种处理分布式事务的装置，所述装置包括：事务管理器、事务协调器、多个任务处理器、资源适配器；

所述事务管理器，用于依据应用启动事务；

所述事务协调器，用于将事务拆分为多个任务，将各个事务的同类型的任务分配给同一个任务处理器，依据任务执行顺序向相应的任务处理器发送执行指示；还用于依据任务处理器反馈的执行结果，通知事务管理器结束事务或调用任务处理器回滚已经执行的任务，并在回滚完成后通知所述事务管理器结束事务；

所述任务处理器，用于对于接收到的执行指示对应的任务，依据执行时间将同类型的任务合并，通过资源适配器调用资源执行合并的任务，并将执行结果反馈给事务协调器；

所述资源适配器，用于调用资源。

较佳的，所述事务协调器在依据反馈的执行结果，通知事务管理器结束事务或调用任务处理器回滚已经执行的任务时具体用于对于每个事务，在所述事务的所有任务的执行结果都为成功时，通知事务管理器结束所述事务，在所述事务的任何一个任务的执行结果为失败时，调用任务处理器回滚该事务已经执行的任务。

本发明实施例的有益效果是：通过将多个同类型的事务的同类型任务合并后，统一调用资源进行处理，能够提高整体性能，提高整体效率，并减少交互次数，降低并发冲突的可能。

附图说明

图1为本发明处理分布式事务的方法的流程图；

图2为本发明处理分布式事务的方法一具体实施方式的流程图；

图3为本发明处理分布式事务的方法另一具体实施方式的流程图；

图4为本发明处理分布式事务的方法实施例的流程图；

图5为本发明处理分布式事务的装置的结构图；

图6为本发明处理分布式事务的装置的实施例的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

参见图1，为本发明处理分布式事务的方法的流程。

所述方法包括如下步骤。

步骤S100，事务管理器依据应用启动事务。

步骤S200，事务协调器将事务拆分为多个任务，将各个事务的同类型的任务分配给同一个任务处理器，并依据任务执行顺序向相应任务处理器发送执行指示。

步骤S300，任务处理器对于接收到的执行指示对应的任务，依据执行时间将同类型的任务合并，通过资源适配器调用资源执行合并的任务，并将执行结果反馈给事务协调器。

步骤S400，事务协调器依据反馈的执行结果，通知事务管理器结束事务，或调用任务处理器回滚已经执行的任务，并在回滚完成后通知事务管理器结束事务。

在一较佳的实施方式中，所述依据反馈的执行结果，通知事务管理器结束事务，或调用任务处理器回滚已经执行的任务具体包括：对于每个事务，在所述事务的所有任务的执行结果都为成功时，通知事务管理器结束所述事务，在所述事务的任何一个任务的执行结果为失败时，调用任务处理器回滚该事务已经执行的任务。

采取该方法，保证分布式处理过程中数据的一致性。

在一较佳的实施方式中，所述任务处理器通过资源适配器调用资源执行分配的任务具体包括：任务处理器调用资源适配器，资源适配器调用资源程序使用资源执行分配的任务。

所述一较佳的实施方式如图2所示，将预设时长范围内的预设数量内的任务进行合并，进而提高多个同类型事务的整体执行效率。该实施方式包括如下步骤。

步骤S210，事务管理器依据应用启动事务。

步骤S220，事务协调器将事务拆分为多个任务，将各个事务的同类型的任务分配给同一个任务处理器，当执行顺序在先的任务完成后，向跟在该完成的任务之后执行的任务所在的任务处理器，发送处理该之后执行的任务的执行指示。

步骤S230，任务处理器对于接收到的执行指示对应的任务，将执行时间在预设时长内、数量在预设数值内的同类型任务进行合并，通过资源适配器调用资源执行合并的任务，并将执行结果反馈给事务协调器。

所述将执行时间在预设时长内、数量在预设数值内的同类型任务进行合并，通过资源适配器处理合并的任务具体包括：当经过时间到达预设时长或待处理的同类型任务的数量到达预设数值时，将待处理的同类型任务进行合并，通过资源适配器对合并的任务进行处理。

所述将执行结果反馈给事务协调器具体包括：对于合并处理中合并的每个任务，将合并后处理的结果作为该任务对应的事务的该任务的执行结果反馈给事务协调器。

在此种操作下，合并处理中一个任务失败，导致合并处理的任务对应的事务的任务回滚，因此在该种操作下，本发明适合在任务执行失败概率较低的系统中使用。

步骤S240，事务协调器依据反馈的执行结果，通知事务管理器结束事务，或调用任务处理器回滚已经执行的任务，并在回滚完成后通知所述事务管理器结束事务。

在一较佳的实施方式中，当进行回滚时对同类型的任务进行合并后回滚，以提高整体的执行效率。

步骤S310，事务管理器依据应用启动事务。

步骤S320，事务协调器将事务拆分为多个任务，将各个事务的同类型的任务分配给同一个任务处理器，并依据任务执行顺序向相应任务处理器发送执行指示。

步骤S330，任务处理器对于接收到的执行指示对应的任务，依据执行时间将同类型的任务合并，通过资源适配器调用资源执行合并的任务，并将执行结果反馈给事务协调器。

举例而言，依据执行时间将同类型的任务合并具体包括：将多个数据包合并为一个数据包后进行处理。

例如，一个网络传输包的包头为2个字节，包体为8个字节，那么这个包的网络传输的效率是8/(2+8)=80%。

采用合并处理的方式后，将100个网络传输包合并发送，网络传输效率就是8×100/(8×100+2)=99.75%。

举例而言，所述依据执行时间将同类型的任务合并具体包括：将多个插入操作合并为一个批量插入操作。

例如，执行1000次的数据库插入（insert）操作，和将这1000条纪录合并执行一次批量插入（bulk insert）的操作，性能相差近百倍。

步骤S340，事务协调器对于每个事务，在事务的所有任务的执行结果都为成功时，执行步骤S360，在所述事务的任务的执行结果中存在失败时，调用任务处理器回滚所述事务已经执行的任务，执行步骤S350。

步骤S350，任务处理器接收到事务协调器的回滚指示后，根据回滚时间将待回滚的同类型任务进行合并，通过资源适配器对合并的任务进行回滚，将回滚结果通知事务协调器。

具体而言，当经过时间到达预设时长或待回滚的同类型任务的数量到达预设数值时，将待回滚的同类型任务进行合并，通过资源适配器对合并的任务进行处理。

步骤S360，事务协调器通知事务管理器结束所述事务。

事务协调器在通知中会告知事务执行为成功或失败。

在该具体实施方式中，针对事务对相关资源的锁的并发冲突，采用合并处理的方式，将多个相同类型的任务合并处理，减少了交互次数，降低了锁并发冲突的可能。

实施例

本发明中应用为一具体的应用程序，在应用程序中事务定义如下。

表示该事务由三个任务组成，任务1先执行，任务2和任务3待任务1执行成功之后执行。并且，需要处理多个该种类型任务。

步骤S401，应用程序发起一个分布式事务的调用。

步骤S402，事务管理器依据定义启动一个事务，并传送给事务协调器。

步骤S403，事务协调器按照事务的定义，将该事务拆分成多个任务。

步骤S404，事务协调器将拆分的多个任务分配给不同的任务处理器，并依据任务执行顺序向相应任务处理器发送执行指示。

步骤S405，任务处理器将接收多个指示对应的多个事务的同类型的任务合并。

步骤S406，任务处理器调用资源适配器执行合并的任务。

步骤S407，资源适配器调用资源管理程序处理合并的任务。

步骤S408，资源管理程序将处理的结果返回给资源适配器。

步骤S409，资源适配器将处理的结果返回给任务处理器。

步骤S410，任务处理器对于合并处理中合并的每个任务，将合并后处理的结果作为该任务对应的事务的该任务的执行结果反馈给事务协调器。

步骤S411，事务协调器对于每个事务，在所述事务的所有任务的执行结果都为成功时，执行步骤S412，否则，执行步骤S413。

步骤S412，事务协调器向事务管理器回复执行成功，事务管理器执行步骤S421。

步骤S413，事务协调器对于每个事务，在事务的任何一个任务的执行结果为失败时，调用任务处理器回滚已经执行的该事务的任务。

步骤S414，任务处理器将接收的待回滚的任务合并。

步骤S415，任务处理器调用资源适配器，回滚合并的任务。

步骤S416，资源适配器调用资源管理程序，执行回滚操作。

步骤S417，资源管理程序回滚执行结束后返回回滚结果。

步骤S418，资源适配器将回滚结果返回给任务处理器。

步骤S419，任务处理器将回滚结果返回给事务协调器。

步骤S420，事务协调器依据回滚结果向事务管理器返回操作失败。

如果回滚失败，则纪录日志，需要人工干预。

步骤S421，事务管理器依据事务协调器的回复，回复应用程序。

一种处理分布式事务的装置如图5所示，所述装置包括：事务管理器100、事务协调器200、多个任务处理器300、资源适配器400。

所述事务管理器100，用于依据应用启动事务；

所述事务协调器200，用于将事务拆分为多个任务，将各个事务的同类型的任务分配给同一个任务处理器300，并依据任务执行顺序向相应任务处理器300发送执行指示；还用于依据任务处理器300反馈的执行结果，通知事务管理器结束事务，或调用任务处理器回滚已经执行的任务，并在回滚完成后通知所述事务管理器结束事务；

所述任务处理器300，用于对于接收到的执行指示对应的任务，依据执行时间将同类型的任务合并，通过资源适配器400调用资源执行分配的任务，并将执行结果反馈给事务协调器；

所述资源适配器400，用于调用资源。

其中，所述事务协调器200在依据反馈的执行结果，通知事务管理器结束事务或调用任务处理器300回滚已经执行的任务时具体用于对于每个事务，在所述事务的所有任务的执行结果都为成功时，通知事务管理器结束所述事务，在所述事务的任何一个任务的执行结果为失败时，调用任务处理器300回滚该事务已经执行的任务。

在一较佳的实施方式中，所述任务处理器300还用于在任务处理器300接收到回滚指示后，根据回滚时间将待回滚的同类型任务进行合并，通过资源适配器400对合并的任务进行回滚。

在一较佳的实施方式中，所述任务处理器300具体用于将执行时间在预设时长内的同类型任务进行合并。

在一较佳的实施方式中，所述任务处理器300具体用于将执行时间在预设时长内的数量在预设数值内的同类型任务进行合并。

其中，所述将执行时间在预设时长内的数量在预设数值内的同类型任务进行合并，通过资源适配器执行合并的任务具体包括：当经过时间到达预设时长或待处理的同类型任务的数量到达预设数值时，将待处理的同类型任务进行合并，通过资源适配器调用资源执行合并的任务。

在一较佳的实施方式中，所述事务协调器200在依据任务执行顺序向任务处理器300发送执行指示时具体用于：当执行顺序在先的任务完成后，向跟在所述完成的任务之后执行的任务所在的任务处理器300发送处理该之后执行的任务的执行指示。

在一较佳的实施方式中，所述任务处理器300在将执行结果反馈给事务协调器200时具体用于：对于合并处理中合并的每个任务，将合并后处理的结果作为该任务对应的事务的该任务的执行结果反馈给事务协调器200。

本发明一种处理分布式事务的装置200A的实施例如图6所示。

应用程序100A中定义事务。

事务管理器100用于定义一个事务中所包含的任务，以及接收应用程序的调用启动事务，和根据事务协调器200的反馈停止事务。

事务协调器200用于将事务管理器100开始执行的事务拆分成多个任务，并将该些任务分配给任务处理器300进行处理。

事务协调器200还用于如果一个事务的所有任务都成功，通知事务管理器100结束事务。如果一个事务的所有任务中存在至少一个失败，则执行回滚，回滚完成后结束本事务。回滚为整个事务的回滚，一个事务中已经执行的任务回滚，没执行的任务不用执行回滚。

事务协调器200相当于XA中的交易中间件。

任务处理器300用于处理完某个任务之后，将反馈结果给事务协调器200。

任务处理器300负责处理某个事务中拆分出来的某个特定任务，任务处理器300针对多个事务中相同类型的任务进行合并，比如将100条Insert语句合并成Bulk Insert执行，有效提高了数据库执行的效率，并减少了锁冲突的可能；或者将100次网络调用合并成1次网络调用，提高网络传输效率。

任务处理器300批量执行任务，执行具体任务，该模块被剥离出来，能够合并执行，提高性能。

任务处理器300既能处理任务的提交，也能处理任务的回滚。当回滚时，对于合并处理，将合并处理进行回滚。

资源适配器400是分布式系统与外部资源的通信管道组件，比如数据库驱动组件或者调用远程服务的RPC调用组件等。

与现有技术的通信资源管理器差不多，主要目的在于支持对不同资源的使用。例如可以支持Mysql数据库也可以支持Oracle数据库，也可以支持一个服务。

资源管理程序300A为分布式事务需要调用的某个资源，可以是数据库管理系统比如Oracle、Sql Server、Mysql等，也可以是某个服务或其他资源。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims

1.一种处理分布式事务的方法，其特征在于，所述方法包括：

事务管理器依据应用启动事务；

事务协调器依据反馈的执行结果，通知事务管理器结束事务，或调用任务处理器回滚已经执行的任务，并在回滚完成后通知事务管理器结束事务；

在所述事务协调器调用任务处理器回滚已经执行的任务后还包括：

2.根据权利要求1所述的方法，其特征在于，

所述依据反馈的执行结果，通知事务管理器结束事务，或调用任务处理器回滚已经执行的任务具体包括：

3.根据权利要求1所述的方法，其特征在于，

所述依据执行时间将同类型的任务合并具体包括：

将执行时间在预设时长内的同类型任务进行合并。

4.根据权利要求1所述的方法，其特征在于，

所述依据执行时间将同类型的任务合并具体包括：

5.根据权利要求4所述的方法，其特征在于，

所述将执行时间在预设时长内、数量在预设数值内的同类型任务进行合并，通过资源适配器调用资源执行合并的任务具体包括：

6.根据权利要求1所述的方法，其特征在于，

所述依据任务执行顺序向任务处理器发送执行指示具体包括：

7.根据权利要求1所述的方法，其特征在于，

所述将执行结果反馈给事务协调器具体包括：

8.一种处理分布式事务的装置，其特征在于，所述装置包括：事务管理器、事务协调器、多个任务处理器、资源适配器；

所述事务管理器，用于依据应用启动事务；

所述事务协调器，用于将事务拆分为多个任务，将各个事务的同类型的任务分配给同一个任务处理器，依据任务执行顺序向相应的任务处理器发送执行指示；还用于依据任务处理器反馈的执行结果，通知事务管理器结束事务或调用任务处理器回滚已经执行的任务，并在回滚完成后通知所述事务管理器结束事务；其中，任务处理器接收到事务协调器发送的回滚指示后，根据回滚时间将待回滚的同类型任务进行合并，通过资源适配器对合并的任务进行回滚；

所述资源适配器，用于调用资源。

9.根据权利要求8所述的装置，其特征在于，

所述事务协调器在依据反馈的执行结果，通知事务管理器结束事务或调用任务处理器回滚已经执行的任务时具体用于对于每个事务，在所述事务的所有任务的执行结果都为成功时，通知事务管理器结束所述事务，在所述事务的任何一个任务的执行结果为失败时，调用任务处理器回滚该事务已经执行的任务。