CN105243125B - PrestoDB集群的运行方法、装置、集群及查询数据方法和装置 - Google Patents

Abstract

本发明公开了一种PrestoDB集群的运行方法、装置、集群及查询数据方法和装置。PrestoDB集群的运行方法包括：ZooKeeper集群接收至少两个协调节点发送来的各自的IP地址和端口；将第一个接收到的IP地址和端口表示的协调节点确定为存活协调节点，存活协调节点以外的协调节点作为备用协调节点，将存活协调节点通知给计算节点；在执行查询的过程中，检测存活协调节点当前的存活性；如果检测到存活协调节点出现故障，则在备用协调节点中选举出一个协调节点，作为新的存活协调节点，将该新的存活协调节点通知给计算节点。本发明提高了PrestoDB集群的可使用效率，实现了PrestoDB集群的高可用。

Description

PrestoDB集群的运行方法、装置、集群及查询数据方法和装置

技术领域

本发明实施例涉及计算机技术，尤其涉及一种PrestoDB集群的运行方法、装置、PrestoDB集群及PrestoDB集群查询数据的方法和装置。

背景技术

伴随着大数据的兴起，互联网公司的业务数据量逐年上升，因此各大互联网公司都在内部推行大数据技术，并且针对核心业务系统建设数据仓库，目前数据仓库分为两种类型：离线数据仓库和实时数据仓库。其中，离线数据仓库的代表产品就是hive，该产品由于底层计算框架是MapReduce，因此适合于超大数据集的离线分析和计算，对于实时性要求比较高的数据分析和计算并不适合；实时数据仓库的代表产品是PrestoDB，该产品由FaceBook开发，采用了PipeLine的分布式数据计算和传输模式，对于大数据的分析和计算能够满足在100毫秒-20分钟之内，满足了实时数据分析和计算的要求。

由于PrestoDB是一个基于内存的分布式计算框架，在进行数据分析和计算的时候，PrestoDB集群中的所有计算(Worker)节点进行实际的数据处理和计算，而协调(Coordinator)节点主要进行查询任务的调度、与各个节点之间进行心跳检测以及各个Worker节点上运行的计算任务的状态和信息汇总和统计。因此Coordinator节点相当于是整个PrestoDB集群的管理节点，用于统管所有的Worker节点以及查询和计算任务。

现有技术中，PrestoDB集群只能指定一个Coordinator节点，这样就会导致Coordinator节点存在单点故障：一旦Coordinator节点所在的服务器发生硬件故障，则需要将PrestoDB集群停止服务、修改PrestoDB集群配置文件重新指定一个新的服务器作为Coordinator节点，再启动集群。经过上述一系列的操作之后PrestoDB集群才可以再次正常提供服务，但是这样操作会导致PrestoDB集群在一段时间之内是停止提供服务的，降低了PrestoDB集群的可使用效率。

发明内容

有鉴于此，本发明实施例提供一种PrestoDB集群的运行方法、装置、PrestoDB集群及PrestoDB集群查询数据的方法和装置，以提高PrestoDB集群的可使用效率。

第一方面，本发明实施例提供了一种PrestoDB集群的运行方法，所述方法包括：

ZooKeeper集群接收至少两个协调节点发送来的各自的IP地址和端口；

ZooKeeper集群将第一个接收到的IP地址和端口表示的协调节点确定为存活协调节点，所述存活协调节点以外的协调节点作为备用协调节点，将所述存活协调节点通知给计算节点，由所述存活协调节点受理查询命令并将计算任务下发给计算节点；

在执行查询的过程中，ZooKeeper集群检测所述存活协调节点当前的存活性；

如果ZooKeeper集群检测到所述存活协调节点出现故障，则在所述备用协调节点中选举出一个协调节点，作为新的存活协调节点，将该新的存活协调节点通知给计算节点。

第二方面，本发明实施例还提供了一种PrestoDB集群的运行装置，所述装置包括：

地址接收模块，用于接收至少两个协调节点发送来的各自的IP地址和端口；

节点确定模块，用于将第一个接收到的IP地址和端口表示的协调节点确定为存活协调节点，所述存活协调节点以外的协调节点作为备用协调节点，将所述存活协调节点通知给计算节点，由所述存活协调节点受理查询命令并将计算任务下发给计算节点；

存活检测模块，用于在执行查询的过程中，检测所述存活协调节点当前的存活性；

选举模块，用于如果检测到所述存活协调节点出现故障，则在所述备用协调节点中选举出一个协调节点，作为新的存活协调节点，将该新的存活协调节点通知给计算节点。

第三方面，本发明实施例还提供了一种PrestoDB集群，包括至少两个协调节点、计算节点和ZooKeeper集群；

所述ZooKeeper集群包括本发明任一实施例所述的PrestoDB集群的运行装置。

第四方面，本发明实施例还提供了一种PrestoDB集群查询数据的方法，采用本发明任一实施例所述的PrestoDB集群来执行，所述方法包括：

客户端指定ZooKeeper集群的IP地址和端口；

客户端接收查询命令，并从所述ZooKeeper集群中获取当前的存活协调节点；

客户端将所述查询命令提交给所述存活协调节点，由所述存活协调节点对所述查询命令进行处理得到计算任务并将计算任务下发给计算节点进行查询计算；

客户端从所述存活协调节点获取查询结果。

第五方面，本发明实施例还提供了一种PrestoDB集群查询数据的装置，所述装置包括：

地址指定模块，用于指定ZooKeeper集群的IP地址和端口；

查询接收模块，用于接收查询命令，并从所述ZooKeeper集群中获取当前的存活协调节点；

查询提交模块，用于将所述查询命令提交给所述存活协调节点，由所述存活协调节点对所述查询命令进行处理得到计算任务并将计算任务下发给计算节点进行查询计算；

结果获取模块，用于从所述存活协调节点获取查询结果。

本发明实施例提供的PrestoDB集群的运行方法、装置、PrestoDB集群及PrestoDB集群查询数据的方法和装置，通过在PrestoDB集群中配置至少两个协调节点、计算节点和ZooKeeper集群，由ZooKeeper集群在所述至少两个协调节点中选举一个协调节点作为存活协调节点，其他协调节点作为备用协调节点，并在执行查询的过程中，检测该存活协调节点当前的存活性，一旦检测到所述存活协调节点出现故障，则在所述备用协调节点中重新选举一个协调节点作为新的存活协调节点，避免了PrestoDB集群在协调节点出现故障后停止服务，提高了PrestoDB集群的可使用效率，实现了PrestoDB集群的高可用。

附图说明

图1是本发明实施例一提供的一种PrestoDB集群的运行方法的流程图；

图2是本发明实施例二提供的一种PrestoDB集群的运行装置的结构示意图；

图3是本发明实施例三提供的一种PrestoDB集群的部署示意图；

图4是本发明实施例四提供的一种PrestoDB集群查询数据的方法的流程图；

图5是本发明实施例五提供的一种PrestoDB集群查询数据的装置的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。

在本发明实施例中，在PrestoDB集群的配置文件中指定至少两个协调节点的地址和ZooKeeper集群的地址。当包括两个协调节点、ZooKeeper集群包括三台服务器时，配置规范如：协调节点地址＝IP地址1：端口1；IP地址2：端口2，即指定了IP地址为地址1和地址2的两个节点作为候选的协调节点，端口分别为端口1和端口2。ZooKeeper地址＝IP地址1：端口1；IP地址2：端口2；IP地址3：端口3，即指定了IP地址1、IP地址2和IP地址3三台服务器组成的ZooKeeper集群，而端口1、端口2和端口3一般情况下都是相等的。这样指定协调节点和ZooKeeper集群的地址后，便于后续各个节点之间的通信。在配置文件中指定至少两个协调节点和ZooKeeper集群的地址可以通过添加配置项来实现，即添加两个配置项，一个配置项用于指定至少两个协调节点的IP地址和端口，另一个配置项用于指定ZooKeeper集群的IP地址和端口。

实施例一

图1是本发明实施例一提供的一种PrestoDB集群的运行方法的流程图，本实施例可适用于在PrestoDB集群中的存活协调节点出现故障时选举新的存活协调节点的情况，该方法可以由ZooKeeper集群来执行，具体包括如下步骤：

步骤110，ZooKeeper集群接收至少两个协调节点发送来的各自的IP地址和端口。

在本实施例中，PrestoDB集群包括至少两个协调节点、多个计算节点和ZooKeeper集群。其中，在PrestoDB集群中配置至少两个协调节点，便于存活协调节点出现宕机等故障后，从另外的协调节点中选举出新的存活协调节点，不必停止PrestoDB集群的服务，从而保证PrestoDB集群的高可用性。在PrestoDB集群中优选配置两个协调节点即可实现上述功能。

协调节点启动后，向ZooKeeper集群发送自身的IP地址和端口，ZooKeeper集群接收到协调节点发送来的IP地址和端口后，将该IP地址和端口保存到协调节点列表中，便于后续对存活协调节点的选举。

其中，ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，其目标是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。在部署ZooKeeper集群时，优选部署奇数个节点，因为ZooKeeper集群是以宕机个数过半才会让整个集群宕机的。

步骤120，ZooKeeper集群将第一个接收到的IP地址和端口表示的协调节点确定为存活协调节点，所述存活协调节点以外的协调节点作为备用协调节点，将所述存活协调节点通知给计算节点，由所述存活协调节点受理查询命令并将计算任务下发给计算节点。

ZooKeeper集群开始选举存活协调节点时，将第一个接收到的IP地址和端口表示的协调节点确定为存活协调节点，将后续接收到的IP地址和端口表示的协调节点确定为备用协调节点，将所述存活协调节点通知给计算节点，由所述存活协调节点受理查询命令并对查询命令进行处理得到计算任务，将计算任务下发给计算节点，由计算节点执行具体的计算任务。

步骤130，在执行查询的过程中，ZooKeeper集群检测所述存活协调节点当前的存活性。

在PrestoDB集群执行查询的过程中，ZooKeeper集群通过与存活协调节点的通信交互实时检测所述存活协调节点当前的存活性。

其中，ZooKeeper集群检测所述存活协调节点当前的存活性优选包括：

ZooKeeper集群接收所述存活协调节点每隔设定时间发送的状态信息；

如果到达所述设定时间ZooKeeper集群没有接收到所述存活协调节点的状态信息，则延长至第二设定时间，如果到达所述第二设定时间，没有接收到所述状态信息，则确定所述存活协调节点出现故障。

存活协调节点每隔设定时间向ZooKeeper集群发送一次自己的状态信息，在到达设定时间时，ZooKeeper集群接收到存活协调节点发送的状态信息，认为存活协调节点正在正常工作，没有故障；在到达设定时间时，ZooKeeper集群没有接收到所述存活协调节点发送的状态信息，则延长接收状态信息的时间至第二设定时间，如果到达所述第二设定时间，仍没有接收到存活协调节点发送的状态信息，则确定所述存活协调节点出现故障。

步骤140，如果ZooKeeper集群检测到所述存活协调节点出现故障，则在所述备用协调节点中选举出一个协调节点，作为新的存活协调节点，将该新的存活协调节点通知给计算节点。

当ZooKeeper集群检测到所述存活协调节点出现宕机等故障时，在所述备用协调节点中选举出一个协调节点，将该协调节点作为新的存活协调节点，将该新的存活协调节点通知给PrestoDB集群中的计算节点，后续由该新的存活协调节点受理查询命令并负责计算任务的下发。

本实施例通过ZooKeeper集群接收至少两个协调节点发送来的各自的IP地址和端口，将第一个接收到的IP地址和端口表示的协调节点确定为存活协调节点，所述存活协调节点以外的协调节点作为备用协调节点，将所述存活协调节点通知给计算节点，由所述存活协调节点受理查询命令并将计算任务下发给计算节点，在执行查询的过程中，ZooKeeper集群检测所述存活协调节点当前的存活性，如果所述存活协调节点出现故障，则在备用协调节点中选举出一个协调节点，作为新的存活协调节点，将该新的存活协调节点通知给计算节点，一旦检测到存活协调节点出现故障，立即从备用协调节点中选举出一个新的存活协调节点，避免了PrestoDB集群在协调节点出现故障后停止服务，提高了PrestoDB集群的可使用效率，实现了PrestoDB集群的高可用。

在上述技术方案的基础上，在将该新的存活协调节点通知给计算节点之后，还包括：

ZooKeeper集群指示计算节点强制失败通过出现故障的存活协调节点提交的计算任务。

ZooKeeper集群在选举出新的存活协调节点后，将该新的存活协调节点通知给计算节点，并指示计算节点强制失败通过出现故障的存活协调节点即前存活协调节点提交的计算任务，以避免计算节点继续执行该计算任务，从而节省计算节点的内存空间，进一步提高PrestoDB集群的可使用效率。

实施例二

图2是本发明实施例二提供的一种PrestoDB集群的运行装置的结构示意图，如图2所示，本实施例所述的PrestoDB集群的运行装置配置于ZooKeeper集群中，包括：地址接收模块210、节点确定模块220、存活检测模块230和选举模块240。

其中，地址接收模块210用于接收至少两个协调节点发送来的各自的IP地址和端口；

节点确定模块220用于将第一个接收到的IP地址和端口表示的协调节点确定为存活协调节点，所述存活协调节点以外的协调节点作为备用协调节点，将所述存活协调节点通知给计算节点，由所述存活协调节点受理查询命令并将计算任务下发给计算节点；

存活检测模块230用于在执行查询的过程中，检测所述存活协调节点当前的存活性；

选举模块240用于如果检测到所述存活协调节点出现故障，则在所述备用协调节点中选举出一个协调节点，作为新的存活协调节点，将该新的存活协调节点通知给计算节点。

优选的，还包括：

指示模块，用于在将该新的存活协调节点通知给计算节点之后，指示计算节点强制失败通过出现故障的存活协调节点提交的计算任务。

优选的，所述检测模块包括：

接收单元，用于接收所述存活协调节点每隔设定时间发送的状态信息；

确定单元，用于如果到达所述设定时间没有接收到所述存活协调节点的状态信息，则延长至第二设定时间，如果到达所述第二设定时间，没有接收到所述状态信息，则确定所述存活协调节点出现故障。

上述产品可执行本发明任意实施例所提供的PrestoDB集群的运行方法，具备执行方法相应的功能模块和有益效果。

实施例三

图3是本发明实施例三提供的一种PrestoDB集群的部署示意图，如图3所示，本实施例所述的PrestoDB集群包括：至少两个协调节点310、计算节点320和ZooKeeper集群330。

其中，ZooKeeper集群330包括本发明任一实施例所述的PrestoDB集群，ZooKeeper集群用于在所述至少两个协调节点中选举存活协调节点，并检测所述存活协调节点的存活性，在检测到所述存活协调节点出现故障，再选举一个协调节点作为新的存活协调节点，并将该新的存活协调节点通知给计算节点。所述ZooKeeper集群优选包括至少三台服务器。

在执行查询时，存活协调节点用于调度查询任务、与各个计算节点之间进行心跳检测并汇总和统计各个计算节点上运行的计算任务的状态和信息；计算节点用于进行数据处理和计算。

本实施例通过在PrestoDB集群中配置至少两个协调节点、计算节点和ZooKeeper集群，可以实现PrestoDB集群的高可用，提高PrestoDB集群的可使用效率。

实施例四

图4是本发明实施例四提供的一种PrestoDB集群查询数据的方法的流程图，本实施例可适用于根据本发明任一实施例所述的PrestoDB集群查询数据的情况，该方法可以由客户端来执行，具体包括如下步骤：

步骤410，客户端指定ZooKeeper集群的IP地址和端口。

客户端在提交查询的时候，需要指定ZooKeeper集群的IP地址和端口，便于后续从ZooKeeper集群获取到存活协调节点。

步骤420，客户端接收查询命令，并从所述ZooKeeper集群中获取当前的存活协调节点。

客户端接收用户输入的查询命令，根据ZooKeeper集群的IP地址和端口，从所述ZooKeeper集群中获取当前的存活协调节点。

步骤430，客户端将所述查询命令提交给所述存活协调节点，由所述存活协调节点对所述查询命令进行处理得到计算任务并将计算任务下发给计算节点进行查询计算。

客户端将所述查询命令提交给所述存活协调节点，所述存活协调节点解析所述查询命令得到查询执行计划，根据所述查询执行计划生产查询执行阶段，将所述查询执行阶段分隔成多个计算任务，将多个计算任务下发给计算节点，由计算节点根据计算任务进行查询计算，所述存活协调节点对计算节点的查询计算结果进行汇总和统计，得到查询结果。

步骤440，客户端从所述存活协调节点获取查询结果。

客户端从所述存活协调节点中获取最终的查询结果。

本实施例通过客户端指定ZooKeeper集群的IP地址和端口，在接收到查询命令后，从ZooKeeper集群中获取当前的存活协调节点，将查询命令提交给所述存活协调节点，由存活协调节点对所述查询命令进行处理得到计算任务并将计算任务下发给计算节点进行查询计算，从所述存活协调节点获取查询结果，实现了根据PrestoDB集群查询数据，保证了PrestoDB集群的高可用性，提高了PrestoDB集群的可使用效率。

实施例五

图5是本发明实施例五提供的一种PrestoDB集群查询数据的装置的结构示意图，如图5所示，本实施例所述的PrestoDB集群查询数据的装置配置于客户端中，包括：地址指定模块510、查询接收模块520、查询提交模块530和结果获取模块540。

其中，地址指定模块510用于指定ZooKeeper集群的IP地址和端口；

查询接收模块520用于接收查询命令，并从所述ZooKeeper集群中获取当前的存活协调节点；

查询提交模块530用于将所述查询命令提交给所述存活协调节点，由所述存活协调节点对所述查询命令进行处理得到计算任务并将计算任务下发给计算节点进行查询计算；

结果获取模块540用于从所述存活协调节点获取查询结果。

上述产品可执行本发明实施例四所提供的方法，具备执行方法相应的功能模块和有益效果。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种PrestoDB集群的运行方法，其特征在于，所述PrestoDB集群包括至少两个协调节点、多个计算节点和ZooKeeper集群，所述方法包括：

ZooKeeper集群接收至少两个协调节点发送来的各自的IP地址和端口；

ZooKeeper集群将第一个接收到的IP地址和端口表示的协调节点确定为存活协调节点，所述存活协调节点以外的协调节点作为备用协调节点，将所述存活协调节点通知给计算节点，由所述存活协调节点受理查询命令并将计算任务下发给计算节点；

在执行查询的过程中，ZooKeeper集群检测所述存活协调节点当前的存活性；

如果ZooKeeper集群检测到所述存活协调节点出现故障，则在所述备用协调节点中选举出一个协调节点，作为新的存活协调节点，将该新的存活协调节点通知给计算节点。

2.根据权利要求1所述的方法，其特征在于，在将该新的存活协调节点通知给计算节点之后，还包括：

ZooKeeper集群指示计算节点强制失败通过出现故障的存活协调节点提交的计算任务。

3.根据权利要求1或2所述的方法，其特征在于，ZooKeeper集群检测所述存活协调节点当前的存活性包括：

ZooKeeper集群接收所述存活协调节点每隔设定时间发送的状态信息；

如果到达所述设定时间ZooKeeper集群没有接收到所述存活协调节点的状态信息，则延长至第二设定时间，如果到达所述第二设定时间，没有接收到所述状态信息，则确定所述存活协调节点出现故障。

4.一种PrestoDB集群的运行装置，其特征在于，所述PrestoDB集群包括至少两个协调节点、多个计算节点和ZooKeeper集群，所述装置包括：

地址接收模块，用于接收至少两个协调节点发送来的各自的IP地址和端口；

节点确定模块，用于将第一个接收到的IP地址和端口表示的协调节点确定为存活协调节点，所述存活协调节点以外的协调节点作为备用协调节点，将所述存活协调节点通知给计算节点，由所述存活协调节点受理查询命令并将计算任务下发给计算节点；

存活检测模块，用于在执行查询的过程中，检测所述存活协调节点当前的存活性；

选举模块，用于如果检测到所述存活协调节点出现故障，则在所述备用协调节点中选举出一个协调节点，作为新的存活协调节点，将该新的存活协调节点通知给计算节点。

5.根据权利要求4所述的装置，其特征在于，还包括：

指示模块，用于在将该新的存活协调节点通知给计算节点之后，指示计算节点强制失败通过出现故障的存活协调节点提交的计算任务。

6.根据权利要求4或5所述的装置，其特征在于，所述检测模块包括：

接收单元，用于接收所述存活协调节点每隔设定时间发送的状态信息；

确定单元，用于如果到达所述设定时间没有接收到所述存活协调节点的状态信息，则延长至第二设定时间，如果到达所述第二设定时间，没有接收到所述状态信息，则确定所述存活协调节点出现故障。

7.一种PrestoDB集群，其特征在于，包括至少两个协调节点、计算节点和ZooKeeper集群；

所述ZooKeeper集群包括权利要求4-6任一所述的PrestoDB集群的运行装置。

8.根据权利要求7所述的PrestoDB集群，其特征在于，所述ZooKeeper集群包括至少三台服务器。

9.一种PrestoDB集群查询数据的方法，采用权利要求7或8所述的PrestoDB集群来执行，其特征在于，所述方法包括：

客户端指定ZooKeeper集群的IP地址和端口；

客户端接收查询命令，并从所述ZooKeeper集群中获取当前的存活协调节点；

客户端将所述查询命令提交给所述存活协调节点，由所述存活协调节点对所述查询命令进行处理得到计算任务并将计算任务下发给计算节点进行查询计算；

客户端从所述存活协调节点获取查询结果。

10.一种PrestoDB集群查询数据的装置，其特征在于，包括：

地址指定模块，用于指定ZooKeeper集群的IP地址和端口；

查询接收模块，用于接收查询命令，并从所述ZooKeeper集群中获取当前的存活协调节点；

查询提交模块，用于将所述查询命令提交给所述存活协调节点，由所述存活协调节点对所述查询命令进行处理得到计算任务并将计算任务下发给计算节点进行查询计算；

结果获取模块，用于从所述存活协调节点获取查询结果。