CN111552728A

CN111552728A - 区块链的数据处理方法、系统、终端和存储介质

Info

Publication number: CN111552728A
Application number: CN202010336612.3A
Authority: CN
Inventors: 肖光昱; 贺小鹏; 程时钦; 杨红军
Original assignee: Shenzhen Dianlian Technology Co ltd
Current assignee: Shenzhen Dianlian Technology Co ltd
Priority date: 2020-04-24
Filing date: 2020-04-24
Publication date: 2020-08-18
Anticipated expiration: 2040-04-24
Also published as: CN111552728B; WO2021213154A1

Abstract

本发明公开了一种区块链的数据处理方法、系统、终端和存储介质，所述方法包括：搭建区块链底层架构平台，建立所述区块链底层架构平台的数据处理层系统，数据仓库，数据分析和数据应用层；通过所述平台中加载的区块链技术的连接设备采集数据，运用数据处理层系统对采集数据执行处理操作，运用数据分析对处理后的数据分析存储至数据仓库；调用数据仓库存储的数据构建数据模型，运用数据应用层通过数据模型执行场景化应用的操作。解决了传统数字化中台体系平台系统的数据存在可篡改、不可追溯，数据中心化，且数据的中心化容错能力差的技术问题，实现数据不可篡改、可追溯、去中心化以及可见、可用、可运营的技术效果。

Description

区块链的数据处理方法、系统、终端和存储介质

技术领域

本发明涉及区块链技术领域，尤其涉及一种区块链的数据处理方法、系统、终端和存储介质。

背景技术

传统数字化中台体系平台系统是涵盖了数据资产、数据治理、数据模型、垂直数据中心、全域数据中心、萃取数据中心、数据服务等多个层次的体系化建设方法。其现状是通过大数据技术，对海量数据进行采集、计算、存储、加工，同时采用统一标准和口径；数据中台把数据统一之后，会形成标准数据，再进行存储，形成大数据资产层。因此，传统数字化中台体系平台系统的数据存在可篡改、不可追溯，数据中心化，且数据的中心化容错能力差的问题。

上述内容仅用于辅助理解本申请的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明实施例通过提供一种区块链的数据处理方法、系统、终端和存储介质，旨在解决传统数字化中台体系平台系统的数据存在可篡改、不可追溯，数据中心化，且数据的中心化容错能力差的问题。

为实现上述目的，本发明一方面提供一种区块链的数据处理方法，所述方法包括：

搭建区块链底层架构平台，建立所述区块链底层架构平台的数据处理层系统，数据仓库，数据分析和数据应用层；

通过所述平台中加载的区块链技术的连接设备采集数据，运用数据处理层系统对采集数据执行处理操作，运用数据分析对处理后的数据分析存储至数据仓库；

调用数据仓库存储的数据构建数据模型，运用数据应用层通过数据模型执行场景化应用的操作。

可选地，所述通过所述平台中加载的区块链技术的连接设备采集数据，运用数据处理层系统对采集数据执行处理操作，运用数据分析对处理后的数据分析存储至数据仓库的步骤，包括：

通过区块链技术的连接设备采集业务终端的数据；

对所述数据进程执行抽取、清洗和转换的处理操作，将所述处理后的数据通过实时的分类、整理、加工以形成有用信息；

将所述有用信息存储至数据仓库中，并经过数据集市，数据加速，数据建模形成服务化的数据应用。

可选地，所述调用数据仓库存储的数据构建数据模型，运用数据应用层通过数据模型执行场景化应用的操作的步骤包括：

调用数据仓库存储的数据，运用数据分析构建数据模型；

将所述数据应用于业务经营场景中，运用数据应用层通过数据模型执行场景化应用的操作。

可选地，所述通过所述平台中加载的区块链技术的连接设备采集数据，运用数据处理层系统对采集数据执行处理操作，运用数据分析对处理后的数据分析存储至数据仓库的步骤，还包括：

基于所述平台中加载的区块链技术的可追溯性，记录数据处理过程的每一步操作。

可选地，所述运用数据分析对处理后的数据分析存储至数据仓库的步骤，包括：

将运用数据分析所得的数据分成不同的部分，将不同的部分存储至数据仓库的不同位置。

可选地，所述方法，还包括：

通过所述平台中加载的区块链技术执行产业链上下游的协同管理的操作；

根据所述协同管理的操作，对上游的用户开发相应的API服务，对下游的用户提供联动服务。

可选地，所述方法，还包括：

调用数据仓库存储的数据，对所述数据执行计算逻辑的封装操作，生成API服务；

通过API服务执行与上层数据应用的对接操作，以使数据应用至业务场景中。

此外，为实现上述目的，本发明另一方面还提供一种区块链的数据处理系统，所述系统包括：

搭建模块，用于搭建区块链底层架构平台，建立所述区块链底层架构平台的数据处理层系统，数据仓库，数据分析和数据应用层；

运用模块，用于通过所述平台中加载了区块链技术的连接设备采集数据，运用数据处理层系统对采集数据执行处理操作，运用数据分析对处理后的数据分析存储至数据仓库；

调用模块，用于调用数据仓库存储的数据构建数据模型，运用数据应用层通过数据模型执行场景化应用的操作。

此外，为实现上述目的，本发明另一方面还提供一种终端，所述终端包括存储器、处理器及存储在存储器上并可在处理器上运行的区块链的数据处理程序，所述处理器执行所述区块链的数据处理程序时实现以下的步骤：

此外，为实现上述目的，本发明另一方面还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有区块链的数据处理程序，其特征在于，该区块链的数据处理程序被处理器执行时实现以下的步骤：

在本实施例中，通过搭建区块链底层架构平台，建立所述区块链底层架构平台的数据处理层系统，数据仓库，数据分析和数据应用层；通过所述平台中加载的区块链技术的连接设备采集数据，运用数据处理层系统对采集数据执行处理操作，运用数据分析对处理后的数据分析存储至数据仓库；调用数据仓库存储的数据构建数据模型，运用数据应用层通过数据模型执行场景化应用的操作。通过在数据中台体系平台中加入区块链技术，数据来自于业务，并反哺业务，不断循环迭代，实现数据不可篡改、可追溯、去中心化以及可见、可用、可运营。

附图说明

图1为本发明实施例方案涉及的硬件运行环境的终端结构示意图；

图2为本发明区块链的数据处理方法第一实施例的流程示意图；

图3为本发明区块链的数据处理方法第二实施例的流程示意图；

图4为本发明区块链的数据处理方法第三实施例的流程示意图；

图5为本发明区块链的数据处理方法第四实施例的流程示意图；

图6为本发明区块链的数据处理方法第五实施例的流程示意图；

图7为本发明区块链的数据处理系统的模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例的主要解决方案是：搭建区块链底层架构平台，建立所述区块链底层架构平台的数据处理层系统，数据仓库，数据分析和数据应用层；通过所述平台中加载的区块链技术的连接设备采集数据，运用数据处理层系统对采集数据执行处理操作，运用数据分析对处理后的数据分析存储至数据仓库；调用数据仓库存储的数据构建数据模型，运用数据应用层通过数据模型执行场景化应用的操作。

由于传统数字化中台体系平台系统的数据存在可篡改、不可追溯，数据中心化，且数据的中心化容错能力差的问题。因此，本发明通过搭建区块链底层架构平台，建立所述区块链底层架构平台的数据处理层系统，数据仓库，数据分析和数据应用层；通过所述平台中加载的区块链技术的连接设备采集数据，运用数据处理层系统对采集数据执行处理操作，运用数据分析对处理后的数据分析存储至数据仓库；调用数据仓库存储的数据构建数据模型，运用数据应用层通过数据模型执行场景化应用的操作。通过区块链技术，数据来自于业务，并反哺业务，不断循环迭代，实现数据可见、可用、可运营以及可追溯、不可篡改、去中心化的效果。

如图1所示，图1为本发明实施例方案涉及的硬件运行环境的终端结构示意图。

如图1所示，该终端可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

可选地，终端还可以包括摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块、检测器等等。当然，所述终端还可配置陀螺仪、气压计、湿度计、温度传感器等其他传感器，在此不再赘述。

本领域技术人员可以理解，图1中示出的终端结构并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机可读存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及区块链的数据处理程序。

在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的区块链的数据处理程序，并执行以下操作：

进一步地，所述通过所述平台中加载的区块链技术的连接设备采集数据，运用数据处理层系统对采集数据执行处理操作，运用数据分析对处理后的数据分析存储至数据仓库的步骤，包括：

通过区块链技术的连接设备采集业务终端的数据；

进一步地，所述调用数据仓库存储的数据构建数据模型，运用数据应用层通过数据模型执行场景化应用的操作的步骤包括：

调用数据仓库存储的数据，运用数据分析构建数据模型；

进一步地，所述通过所述平台中加载的区块链技术的连接设备采集数据，运用数据处理层系统对采集数据执行处理操作，运用数据分析对处理后的数据分析存储至数据仓库的步骤，还包括：

进一步地，所述运用数据分析对处理后的数据分析存储至数据仓库的步骤，包括：

进一步地，所述方法，还包括：

参考图2，图2为本发明区块链的数据处理方法第一实施例的流程示意图；所述方法包括：

步骤S10，搭建区块链底层架构平台，建立所述区块链底层架构平台的数据处理层系统，数据仓库，数据分析和数据应用层；

在本实施例中，所述区块链是一个分布式的共享账本和数据库，具有去中心化、不可篡改、全程留痕、可以追溯、集体维护、公开透明等特点。

在数字中台体系平台的基础上搭建一个区块链底层架构平台，所述区块链底层架构平台由以太坊技术构建，区块链底层架构由物理层、数据层、网络层、共识层、激励层、应用层组成，其中，所述数据层是区块链底层架中的最底层。基于所述区块链底层架构平台的数据层建立数据处理层系统，数据仓库，数据分析和数据应用层；所述数据处理层系统主要用于对采集的数据执行处理操作；所述数据仓库主要用于存储数据；所述数据分析主要用于分析经过数据处理系统处理后的数据；所述数据应用层主要用于执行数据的场景化应用操作。

步骤S20，通过所述平台中加载的区块链技术的连接设备采集数据，运用数据处理层系统对采集数据执行处理操作，运用数据分析对处理后的数据分析存储至数据仓库；

在本实施例中，通过所述平台中加载的区块链技术的连接器采集数据，所述连接器是指区块链与分布式账本技术是合作机构之间的连接器；运用区块链底层架构中的数据处理层系统对采集数据执行处理操作，例如：数据清洗、数据抽取等；运用区块链底层架构中的数据分析对处理后的数据通过加工、整理和分析等操作，使其转化为信息，并将所述信息通过多维数据库存储、单纯的关系数据库存储等方式存储至数据仓库中。其中，所述数据仓库OLAP(On-line Analytical Processing)是面向特定问题的联机数据访问和分析，它主要用于支持目标明确但比较复杂的查询分析操作。目前数据仓库数据存储的实现主要有三种模式，一是单纯的关系数据库存储，二是多维数据库存储，三是关系数据库和多维数据库的混合型存储。

进一步地，在对所述数据执行采集、分析、处理等操作的过程中还包括以下步骤：

在本实施例中，区块链是一个分散的数据库，而存储数据的就是一个个节点，将数据分散在网络链接的各台计算机上，不受中心化服务器控制；因为有无数个节点，所以区块链的数据存储方式是不可篡改的，可以追踪区块链中的数据，即区块链具有可追溯性。基于区块链的可追溯性，使得数据从采集、流通，以及计算分析等的每一步记录，都可以留在区块链上，从而令数据质量获得强信用背书，同时也保证了数据应用的正确性，保障了数据的相关权益。

步骤S30，调用数据仓库存储的数据构建数据模型，运用数据应用层通过数据模型执行场景化应用的操作。

在本实施例中，所述数据模型是数据特征的抽象，包括：层次数据模型、网状数据模型、关系数据模型等。

通过调用接口访问数据仓库中的数据，其中，所述接口包括：C接口、Java接口等；对所述访问的数据构建数据模型，例如：将访问的数据通过需求分析，获得业务流程图，数据流图和数据字典；根据数据流图和数据字典建立E-R图，再E-R图转换成为物理数据模型，实施物理数据模型构建网状数据模型、关系数据模型等；运用数据应用层通过数据模型执行场景化应用的操作，具体地，根据数据模型分析出当前的应用应当给出怎样的服务。

进一步地，在调用数据仓库存储的数据构建数据模型，基于丰富的数据模型开展场景化应用还包括：

调用数据仓库存储的数据，运用数据分析构建数据模型；

在本实施例中，通过区块链底层架构平台中的数据分析和应用系统，通过数据分析，如产销协同分析、销售分析、采购分析、投资分析等，建立数据模型，实现对数据的应用展现；企业可将数据融入企业集体的业务经营场景中，基于丰富的数据模型开展场景化应用。

在本实施例中，通过搭建区块链底层架构平台，建立所述区块链底层架构平台的数据处理层系统，数据仓库，数据分析和数据应用层；通过所述平台中加载的区块链技术的连接设备采集数据，运用数据处理层系统对采集数据执行处理操作，运用数据分析对处理后的数据分析存储至数据仓库；调用数据仓库存储的数据构建数据模型，运用数据应用层通过数据模型执行场景化应用的操作。通过区块链技术，数据来自于业务，并反哺业务，不断循环迭代，实现数据可见、可用、可运营以及可追溯、不可篡改、去中心化的效果。

进一步地，参考图3，所述通过所述平台中加载的区块链技术的连接设备采集数据，运用数据处理层系统对采集数据执行处理操作，运用数据分析对处理后的数据分析存储至数据仓库的步骤，包括：

步骤S21，通过区块链技术的连接设备采集业务终端的数据；

步骤S22，对所述数据进程执行抽取、清洗和转换的处理操作，将所述处理后的数据通过实时的分类、整理、加工以形成有用信息；

步骤S23，将所述有用信息存储至数据仓库中，并经过数据集市，数据加速，数据建模形成服务化的数据应用。

在本实施例中，通过区块链技术的连接器采集业务终端的数据，所述业务终端的数据包括：ERP、CRM、SRM、HR等；通过应用ETL技术、内存计算等新技术对采集的数据执行抽取、清洗和转换的处理操作；将所述处理后的数据通过运用数据分析实时执行分类、整理、加工的操作，使其成为清晰有序、有条理、有脉络的有用信息，将所述有用信息加载到数据仓库中，并经过并经过独立型数据集市或从属型数据集市，数据加速，如内存加速等；运用正式的数据建模技术，建立信息系统的数据模型，以形成服务化的数据应用。

进一步地，参考图4，所述运用数据分析对处理后的数据分析存储至数据仓库的步骤，包括：

步骤S25，将运用数据分析所得的数据分成不同的部分，将不同的部分存储至数据仓库的不同位置。

在本实施中，应用区块链技术的数字化中台体系平台系统，其数据具有去中心化的特点。将运用数据分析所得的数据分成不同的部分，将不同的部分存储至数据仓库的不同位置，具体的，把运用数据分析所得的数据东西分成小部分并使其分布在一个中台的计算机网络上，即存储在数据仓库的不同位置；由于没有把数据存储在一个地方，有效地排除了中间人，没有使用第三方来处理交易，提升了数据的容错力，保证了系统的安全性以及交易的安全性。

进一步地，参考图5，所述方法，还包括：

步骤S40，通过所述平台中加载的区块链技术执行产业链上下游的协同管理的操作；

步骤S50，根据所述协同管理的操作，对上游的用户开发相应的API服务，对下游的用户提供联动服务。

在本实施例中，通过所述平台中加载的区块链技术执行产业链上下游的协同管理的操作；对上游的供应商开发API服务；对下游的客户实时提供产，促，销联动。具体地，通过价值链、企业链、供需链和空间链的优化配置和提升，使产业链中上下游间实现提高效率、降低成本的多赢局面；对上游供应商通过开发API，如原料、合同、发票及电子签名等，提升供应链效率；对下游客户，实时提供产、促、销联动；其次，由于区块链为供应链提供了交易状态实时、可靠的视图，方便了中介机构基于常用的发票、库存资产等金融工具进行放款，其中，抵押资产的价值将根据现实时间实时更新。这有效提升了供应链上下游交易的透明度，交易状态变得更实时和可靠，最终为建立一个可靠和稳定的供应链金融生态系统提供有力保障。

进一步地，参考图6，所述方法，还包括：

步骤S60，调用数据仓库存储的数据，对所述数据执行计算逻辑的封装操作，生成API服务；

步骤S70，通过API服务执行与上层数据应用的对接操作，以使数据应用至业务场景。

在本实施例中，所述API是应用程序编程接口，云产品之间，应用程序之间，程序与数据之间、服源务端与各种客户端之间，都通过调用API进行交互。API有较强的灵活性度、拓展性和跨平台性，一组API能道支撑一个完整的服务或者功能。

调用数据仓库存储的数据，对所述数据执行计算逻辑的封装操作，生成API服务，例如：生成区块链系统、区块、账户、交易、智能合约到事件的接口服务；通过API服务执行与上层数据应用的对接操作，以使数据应用至业务场景。具体地，对数据进行过滤查询、多维分析和算法推理等计算逻辑的封装，通过所述封装操作生成API接口服务，上层数据应用通过向区块链服务的服务端地址发送HTTP请求，调用API接口，通过所述接口调用接口对应的内容；让数据快速应用到业务场景中，应用区块链技术，保证了数据不可篡改。

此外，参考图7，本发明还提供了一种区块链的数据处理系统，所述系统包括：

搭建模块10，用于搭建区块链底层架构平台，建立所述区块链底层架构平台的数据处理层系统，数据仓库，数据分析和数据应用层；

运用模块20，用于通过所述平台中加载了区块链技术的连接设备采集数据，运用数据处理层系统对采集数据执行处理操作，运用数据分析对处理后的数据分析存储至数据仓库；

调用模块30，用于调用数据仓库存储的数据构建数据模型，运用数据应用层通过数据模型执行场景化应用的操作。

此外，本发明还提供了一种终端，所述终端包括存储器、处理器及存储在存储器上并可在处理器上运行的区块链的数据处理程序，所述处理器执行所述区块链的数据处理程序时实现以下的步骤：

此外，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有区块链的数据处理程序，其特征在于，该区块链的数据处理程序被处理器执行时实现以下的步骤：

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims

1.一种区块链的数据处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的区块链的数据处理方法，其特征在于，所述通过所述平台中加载的区块链技术的连接设备采集数据，运用数据处理层系统对采集数据执行处理操作，运用数据分析对处理后的数据分析存储至数据仓库的步骤，包括：

通过区块链技术的连接设备采集业务终端的数据；

3.根据权利要求1所述的区块链的数据处理方法，其特征在于，所述调用数据仓库存储的数据构建数据模型，运用数据应用层通过数据模型执行场景化应用的操作的步骤包括：

调用数据仓库存储的数据，运用数据分析构建数据模型；

4.根据权利要求1所述的区块链的数据处理方法，其特征在于，所述通过所述平台中加载的区块链技术的连接设备采集数据，运用数据处理层系统对采集数据执行处理操作，运用数据分析对处理后的数据分析存储至数据仓库的步骤，还包括：

5.根据权利要求1或2所述的区块链的数据处理方法，其特征在于，所述运用数据分析对处理后的数据分析存储至数据仓库的步骤，包括：

6.根据权利要求1或2所述的区块链的数据处理方法，其特征在于，所述方法，还包括：

7.根据权利要求1或2所述的区块链的数据处理方法，其特征在于，所述方法，还包括：

8.一种区块链的数据处理系统，其特征在于，所述系统包括：

9.一种终端，其特征在于，包括存储器、处理器及存储在存储器上并能在处理器上运行的区块链的数据处理程序，所述处理器执行所述区块链的数据处理程序时实现权利要求1至7中任一所述的方法的步骤。

10.一种计算机可读存储介质，其特征在于，其上存储有区块链的数据处理程序，其特征在于，该区块链的数据处理程序被处理器执行时实现权利要求1至7中任一所述的方法的步骤。