CN112116468B - 一种基于流式计算引擎的结构化风控实现方法和系统 - Google Patents

Abstract

本发明公开了一种基于流式计算引擎的结构化风控实现方法和系统，这种风控业务实现模型开放且结构化，降低了业务实现难度，有利于让对编程不熟悉的业务人员更深入的参与到风控业务的实现当中来。其技术方案为：本发明基于流式计算引擎CEP，通过编写类SQL的脚本语言交由CEP规则引擎执行，以完成各项风控指标的计算控制，本发明的这种通过动态加载业务规则的实现方式提供了一种开放的、结构化的风控业务实现模型，降低了业务实现难度，有利于让对编程不熟悉的业务人员更深入的参与到风控业务的实现当中来。

Description

一种基于流式计算引擎的结构化风控实现方法和系统

技术领域

本发明涉及一种结构化的风控实现技术，具体涉及一种基于流式计算引擎来实现的结构化风控方法和系统。

背景技术

随着金融行业的发展，证券交易的实时性要求越来越高，交易报单的频率也在不断提升，那么如何在这种高频、高速的交易中，做好业务相对复杂、切变化相对较多的风控业务，就成为了一个重要的课题。

传统的风控实现都封闭在系统内部，不利于业务人员接触和了解。同时各家开发商的实现都对自家的框架有较大依赖，难以独立运行，不符合“开放、共享”的生态化发展潮流。

发明内容

以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之序。

本发明的目的在于解决上述问题，提供了一种基于流式计算引擎的结构化风控实现方法和系统，这种风控业务实现模型开放且结构化，降低了业务实现难度，有利于让对编程不熟悉的业务人员更深入的参与到风控业务的实现当中来。

本发明的技术方案为：本发明揭示了一种基于流式计算引擎的结构化风控实现系统，系统包括事件接入模块、预处理模块、CEP规则引擎模块、数据接入模块、事件分发路由模块、EPL解析模块、规则管理模块和执行模块，事件接入模块的输出端连接预处理模块，数据接入模块和预处理模块的输出端均连接到CEP规则引擎模块，CEP规则引擎模块的输出端分别连接规则管理模块和事件分发路由模块，EPL解析模块的输出端连接规则管理模块，事件分发路由模块的输出端和规则管理模块的输出端均连接到执行模块，其中：

事件接入模块，用于将事件消息接入到预处理模块；

预处理模块，用于将事件依据字段内容进行处理，并将处理结果传输到CEP规则引擎模块；

数据接入模块，用于从外部接收和采集数据，并接入到CEP规则引擎模块；

CEP规则引擎模块，用于找出事件之间的关联，将查询出的事件序列传输到事件分发路由模块和规则管理模块；

EPL解析模块，用于将CEP规则中的EPL语言解析为CEP规则引擎模块能够理解的语言，将解析后的结果传输到规则管理模块；

规则管理模块，用于注册和管理业务规则，CEP规则引擎模块通过规则管理模块完成包括对业务规则的注册、查找和调用在内的操作；

事件分发路由模块，用于将已经发现的复合事件发派到负责处理的执行模块中；

执行模块，用于对复合事件按照规则计划进行执行处理。

根据本发明的基于流式计算引擎的结构化风控实现系统的一实施例，事件接入模块接入事件消息的方式是通过面向服务的架构、企业服务总线、消息中间件、读取日志来实现的。

根据本发明的基于流式计算引擎的结构化风控实现系统的一实施例，CEP规则引擎模块是基于动态环境中事件流的分析，通过分析事件间的关系，利用过滤、关联、聚合的技术，根据事件间的时序关系和聚合关系制定检测规则，持续地从事件流中查询出符合要求的事件序列。

本发明还揭示了一种基于流式计算引擎的结构化风控实现方法，方法在如上所述的系统上实施，方法包括：

步骤1：先对数据模型进行定义；

步骤2：对数据模型中涉及到的数据进行序列化处理；

步骤3：对业务规则进行动态加载；

步骤4：对序列化处理后的数据进行数据适配处理；

步骤5：采用CEP模型对数据进行计算；

步骤6：将计算结果的输出进行转换处理.

根据本发明的基于流式计算引擎的结构化风控实现方法的一实施例，在步骤1中，数据模型在结构化风控中定义的内容包括用于计算客户持仓数据的委托和成交数据，以及用于计算市值类指标的行情数据。

根据本发明的基于流式计算引擎的结构化风控实现方法的一实施例，在步骤4中，数据适配处理是指对接外部数据协议，转换成CEP规则引擎内部的使用结构。

根据本发明的基于流式计算引擎的结构化风控实现方法的一实施例，在步骤6中，转换处理是指由调用方实现输出适配接口，CEP规则引擎在完成计算之后对结果数据调用输出适配接口，完成计算结果的输出。

根据本发明的基于流式计算引擎的结构化风控实现方法的一实施例，在步骤3中，业务规则可预先定义，由CEP规则引擎在运行时动态载入业务规则，业务规则是由SQL-Based语法来描述，业务规则变动无需重新编译程序。

本发明对比现有技术有如下的有益效果：本发明的方法和系统基于流式计算引擎CEP，通过编写类SQL的脚本语言交由CEP引擎执行，以完成各项风控指标的计算控制，本发明的这种通过动态加载业务规则的实现方式提供了一种开放的、结构化的风控业务实现模型，降低了业务实现难度，有利于让对编程不熟悉的业务人员更深入的参与到风控业务的实现当中来。

附图说明

在结合以下附图阅读本公开的实施例的详细描述之后，能够更好地理解本发明的上述特征和优点。在附图中，各组件不一定是按比例绘制，并且具有类似的相关特性或特征的组件可能具有相同或相近的附图标记。

图1示出了本发明的基于流式计算引擎的结构化风控实现系统的一实施例的原理图。

图2示出了本发明的基于流式计算引擎的结构化风控实现方法的原理图。

具体实施方式

以下结合附图和具体实施例对本发明作详细描述。注意，以下结合附图和具体实施例描述的诸方面仅是示例性的，而不应被理解为对本发明的保护范围进行任何限制。

图1示出了本发明的基于流式计算引擎的结构化风控实现系统的一实施例的原理，请参见图1，本实施例的系统包括：事件接入模块、预处理模块、CEP规则引擎模块、数据接入模块、事件分发路由模块、EPL解析模块、规则管理模块和执行模块。

事件接入模块的输出端连接预处理模块，数据接入模块和预处理模块的输出端均连接到CEP规则引擎模块。CEP规则引擎模块的输出端分别连接规则管理模块和事件分发路由模块。EPL解析模块的输出端连接规则管理模块。事件分发路由模块的输出端和规则管理模块的输出端均连接到执行模块。

事件接入模块用于通过包括SOA(面向服务的架构，一般指企业内部的微服务架构系统)、ESB(企业服务总线，一般指企业内部的总线架构系统)、MOM(消息中间件)、读取日志在内的方式将事件消息接入到预处理模块。

数据接入模块用于从外部接收或采集数据，并接入到CEP规则引擎模块。

预处理模块用于将事件依据字段内容进行处理，使可能来自于不同系统的具有不同格式和协议的外部数据进行数据适配，转化成CEP引擎可处理的格式和协议，并将处理结果传输到CEP规则引擎模块。

CEP规则引擎模块用于找出事件之间的关联，将查询出的事件序列传输到事件分发路由模块和规则管理模块。CEP全称Complex Event Processing，即复杂事件处理系统，是一种基于动态环境中事件流的分析技术，事件在这里通常是有意义的状态变化。CEP规则引擎模块通过分析事件间的关系，利用过滤、关联、聚合等技术，根据事件间的时序关系和聚合关系制定检测规则，持续地从事件流中查询出符合要求的事件序列。

EPL解析模块用于将CEP规则中的EPL语言(Event Processing Language,是一种类似SQL的语言)解析为CEP规则引擎模块能够理解的语言，将解析后的结果传输到规则管理模块。如同一个类SQL的解析器。

规则管理模块用于注册和管理业务规则，CEP规则引擎通过规则管理模块完成包括对业务规则的注册、查找和调用在内的操作。

事件分发路由模块用于将已经发现的复合事件发派到负责处理的执行模块中。前述的事件接入模块从外部输入的都是单一事件，经过业务规则定义后，单一事件之间会产生聚合、关联等关系，并派生出新的事件，称为“复合事件”。复合事件产生于事件流转和计算的过程当中，是由用户通过类SQL脚本制定的业务规则来定义的。

执行模块用于对复合事件按照规则计划(即业务规则中定义的流程)进行执行处理。

图2示出了本发明的基于流式计算引擎的结构化风控实现方法的一实施例的流程。请参见图2，本实施例的结构化风控实现方法的实施步骤如下。

步骤1：先对数据模型进行定义。

在结构化风控领域中，主要需要用到交易的委托和成交相关信息，用于计算客户持仓数据，同时还需要引入行情数据，用于计算市值类指标。

步骤2：对数据模型中涉及到的数据进行序列化处理。

对外部引入的委托、成交、行情以及其他相关基础数据进行序列化操作，屏蔽平台以及网络差异。

步骤3：对业务规则进行动态加载。

业务规则可预先定义，由CEP规则引擎在运行时动态载入业务规则，业务规则是由SQL-Based语法来描述，业务规则变动无需重新编译程序。

步骤4：对序列化处理后的数据进行数据适配处理。

对接外部数据协议，转换成CEP规则引擎内部的使用结构。

步骤5：采用CEP模型对数据进行计算。

CEP规则引擎是一种流式计算引擎，按预先定义好的规则和逻辑，按数据流入作为事件输入，进行相关数据模型的计算。

步骤6：将计算结果的输出进行转换处理。

由调用方实现输出适配接口，CEP规则引擎在完成计算之后，对结果数据调用输出适配接口，完成计算结果的输出。

以下以持仓计算的一个示例来说明。

1.初始持仓：作初始化数据，会将上一日持仓剩余转换为当日初始持仓。

2.在途持仓：已申报但还未成交的订单，其申报量会作为在途的持仓计入持仓变化。

3.成交产生持仓：成交回报回来后，在途的订单会释放已成交的部分，并将这一部分正式计入持仓。

4.撤单回报：分为用户自主撤单以及交易所撤单，收到撤单回报后，会将撤销部分的在途持仓量撤销。

5.错单回报：为交易所打回错单，一般为申报信息不正确或者不满足某些申报条件所致，收到错单回报之后，会将该笔订单产生的在途持仓撤销。

尽管为使解释简单化将上述方法图示并描述为一系列动作，但是应理解并领会，这些方法不受动作的次序所限，因为根据一个或多个实施例，一些动作可按不同次序发生和/或与来自本文中图示和描述或本文中未图示和描述但本领域技术人员可以理解的其他动作并发地发生。

本领域技术人员将进一步领会，结合本文中所公开的实施例来描述的各种解说性逻辑板块、模块、电路、和算法步骤可实现为电子硬件、计算机软件、或这两者的组合。为清楚地解说硬件与软件的这一可互换性，各种解说性组件、框、模块、电路、和步骤在上面是以其功能性的形式作一般化描述的。此类功能性是被实现为硬件还是软件取决于具体应用和施加于整体系统的设计约束。技术人员对于每种特定应用可用不同的方式来实现所描述的功能性，但这样的实现决策不应被解读成导致脱离了本发明的范围。

结合本文所公开的实施例描述的各种解说性逻辑板块、模块、和电路可用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立的门或晶体管逻辑、分立的硬件组件、或其设计成执行本文所描述功能的任何组合来实现或执行。通用处理器可以是微处理器，但在替换方案中，该处理器可以是任何常规的处理器、控制器、微控制器、或状态机。处理器还可以被实现为计算设备的组合，例如DSP与微处理器的组合、多个微处理器、与DSP核心协作的一个或多个微处理器、或任何其他此类配置。

结合本文中公开的实施例描述的方法或算法的步骤可直接在硬件中、在由处理器执行的软件模块中、或在这两者的组合中体现。软件模块可驻留在RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM、或本领域中所知的任何其他形式的存储介质中。示例性存储介质耦合到处理器以使得该处理器能从/向该存储介质读取和写入信息。在替换方案中，存储介质可以被整合到处理器。处理器和存储介质可驻留在ASIC中。ASIC可驻留在用户终端中。在替换方案中，处理器和存储介质可作为分立组件驻留在用户终端中。

在一个或多个示例性实施例中，所描述的功能可在硬件、软件、固件或其任何组合中实现。如果在软件中实现为计算机程序产品，则各功能可以作为一条或更多条指令或代码存储在计算机可读介质上或藉其进行传送。计算机可读介质包括计算机存储介质和通信介质两者，其包括促成计算机程序从一地向另一地转移的任何介质。存储介质可以是能被计算机访问的任何可用介质。作为示例而非限定，这样的计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁存储设备、或能被用来携带或存储指令或数据结构形式的合意程序代码且能被计算机访问的任何其它介质。任何连接也被正当地称为计算机可读介质。例如，如果软件是使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)、或诸如红外、无线电、以及微波之类的无线技术从web网站、服务器、或其它远程源传送而来，则该同轴电缆、光纤电缆、双绞线、DSL、或诸如红外、无线电、以及微波之类的无线技术就被包括在介质的定义之中。如本文中所使用的盘(disk)和碟(disc)包括压缩碟(CD)、激光碟、光碟、数字多用碟(DVD)、软盘和蓝光碟，其中盘(disk)往往以磁的方式再现数据，而碟(disc)用激光以光学方式再现数据。上述的组合也应被包括在计算机可读介质的范围内。

提供对本公开的先前描述是为使得本领域任何技术人员皆能够制作或使用本公开。对本公开的各种修改对本领域技术人员来说都将是显而易见的，且本文中所定义的普适原理可被应用到其他变体而不会脱离本公开的精神或范围。由此，本公开并非旨在被限定于本文中所描述的示例和设计，而是应被授予与本文中所公开的原理和新颖性特征相一致的最广范围。

Claims (8)

1.一种基于流式计算引擎的结构化风控实现系统，其特征在于，系统包括事件接入模块、预处理模块、CEP规则引擎模块、数据接入模块、事件分发路由模块、EPL解析模块、规则管理模块和执行模块，事件接入模块的输出端连接预处理模块，数据接入模块和预处理模块的输出端均连接到CEP规则引擎模块，CEP规则引擎模块的输出端分别连接规则管理模块和事件分发路由模块，EPL解析模块的输出端连接规则管理模块，事件分发路由模块的输出端和规则管理模块的输出端均连接到执行模块，其中：

事件接入模块，用于将事件消息接入到预处理模块；

预处理模块，用于将事件依据字段内容进行处理，并将处理结果传输到CEP规则引擎模块；

数据接入模块，用于从外部接收和采集数据，并接入到CEP规则引擎模块；

CEP规则引擎模块，用于找出事件之间的关联，将查询出的事件序列传输到事件分发路由模块和规则管理模块；

EPL解析模块，用于将CEP规则中的EPL语言解析为CEP规则引擎模块能够理解的语言，将解析后的结果传输到规则管理模块；

规则管理模块，用于注册和管理业务规则，CEP规则引擎模块通过规则管理模块完成包括对业务规则的注册、查找和调用在内的操作；

事件分发路由模块，用于将已经发现的复合事件发派到负责处理的执行模块中；

执行模块，用于对复合事件按照规则计划进行执行处理。

2.根据权利要求1所述的基于流式计算引擎的结构化风控实现系统，其特征在于，事件接入模块接入事件消息的方式是通过面向服务的架构、企业服务总线、消息中间件、读取日志来实现的。

3.根据权利要求1所述的基于流式计算引擎的结构化风控实现系统，其特征在于，CEP规则引擎模块是基于动态环境中事件流的分析，通过分析事件间的关系，利用过滤、关联、聚合的技术，根据事件间的时序关系和聚合关系制定检测规则，持续地从事件流中查询出符合要求的事件序列。

4.一种基于流式计算引擎的结构化风控实现方法，其特征在于，方法在如权利要求1所述的系统上实施，方法包括：

步骤1：先对数据模型进行定义；

步骤2：对数据模型中涉及到的数据进行序列化处理；

步骤3：对业务规则进行动态加载；

步骤4：对序列化处理后的数据进行数据适配处理；

步骤5：采用CEP模型对数据进行计算；

步骤6：将计算结果的输出进行转换处理。

5.根据权利要求4所述的基于流式计算引擎的结构化风控实现方法，其特征在于，在步骤1中，数据模型在结构化风控中定义的内容包括用于计算客户持仓数据的委托和成交数据，以及用于计算市值类指标的行情数据。

6.根据权利要求4所述的基于流式计算引擎的结构化风控实现方法，其特征在于，在步骤4中，数据适配处理是指对接外部数据协议，转换成CEP规则引擎内部的使用结构。

7.根据权利要求4所述的基于流式计算引擎的结构化风控实现方法，其特征在于，在步骤6中，转换处理是指由调用方实现输出适配接口，CEP规则引擎在完成计算之后对结果数据调用输出适配接口，完成计算结果的输出。

8.根据权利要求4所述的基于流式计算引擎的结构化风控实现方法，其特征在于，在步骤3中，业务规则可预先定义，由CEP规则引擎在运行时动态载入业务规则，业务规则是由SQL-Based语法来描述，业务规则变动无需重新编译程序。