CN104598623A - 综合传感网分层数据管理系统 - Google Patents

Abstract

一种综合传感网分层数据管理系统，包括分布式的本地数据库用于存储各感知区业务数据，数据中心用于存储核心等级数据的备份。数据处理层完成了业务数据的预处理，有序送往本地数据库，并能够对已存入数据库中大量数据进行统计分析，获得网络状态信息；数据存储层完成了数据的存储，数据库同步接口用于控制本地数据库中核心数据以何种方式备份到数据中心；用户查询层完成了用户对数据库中数据的查询，分布式查询接口实现了用户对各分布式本地数据库中数据的查询，并将用户所查询存在本地数据库中数据同步到数据中心。本发明利用三个层次，保证了全网数据的及时处理和存储、快速查询及信息反馈。

Description

综合传感网分层数据管理系统

技术领域

本发明涉及光传感/通信综合网络技术，特别涉及一种综合传感网的分层数据管理系统。

背景技术

综合传感网是一种可以通过各种传感器(系统)收集、存储并处理业务数据，且可以为用户提供传感相关的多元化业务，具有完整独立感知、传送和业务功能结构的综合性网络。其不仅包含现有传感器网络的功能，还能在统一的网络平台上以统一管理的方式提供综合性的服务，更好地适应于当前不断发展的多元化需求。感知层将各类传感器信息在各节点处汇聚后送到传送层，传送数据经过业务层解析处理后存到数据库。与各类网络最大的不同，综合传感网中的数据呈现多元化、多速化、多类别的特点，如何存储与获取综合传感网中各层数据，建立何种数据平台，显得十分重要。

TinyDB是一个代表性的无线传感器网络数据库的原型系统，由美国加州大学开发，将整个网络的感知信息都散列到指定的节点上进行存储；由于综合传感网传送层支持TCP/IP协议，也存在许多现代计算机网络的数据库可供选择，比如MySQL，Oracle等关系型数据库，PostgerSQL、MongoDB等非关系型数据库，其中MySQL数据库体积小、速度快、性能高，并可方便构建分布式MySQL集群，在处理大数据时具有很大优势。基于数据库中的数据，综合传感网能够为用户提供数据分析服务，Hadoop是现代计算机网络中流行的分布式计算框架。

分布式数据库结构为由不同地域分散局部数据库构成，局部数据库均具有较强的自治功能，适应分布式的管理和控制机构，经济性能优越，局部应用响应速度快，并具有良好的扩展性。集中式数据库是指数据库中的数据集中存储在一台计算机上，数据的处理集中在一台计算机上完成，大多数功能(如修改、备份、查询等)都很容易实现，但是当中心站点的计算机或数据库系统不能运行时，在系统恢复之前所有的用户都不能使用系统。

发明内容

技术问题：本发明提供一种实现综合传感网中数据的有效处理、存储和分析，保证综合传感网中数据的可用性、可靠性和一致性的综合传感网分层数据管理系统。

技术方案：本发明的综合传感网分层数据管理系统，用于全网的数据处理、数据存储及用户查询，包括：

数据处理层，包括业务数据预处理模块和大数据分析模块，所述业务数据预处理模块包括业务等级和状态解析单元、告警处理单元，所述业务等级和状态解析单元用于对业务数据帧格式进行解析，所述告警处理单元用于判断解析的业务数据是否携带告警信息，所述大数据分析模块用于对综合传感网中的业务数据进行分析，提供网络的当前状态信息和将来网络的运行状态；

数据存储层，包括分布式本地数据库、集中式数据中心和数据库同步接口，所述分布式本地数据库用于存储本地的业务数据信息和告警信息，所述集中式数据中心用于存储高优先级的业务数据信息和告警信息，所述数据库同步接口用于将分布式本地数据库数据同步到数据中心；

用户查询层，包括本地业务层软件对本地数据库的查询、中心业务层软件对全网数据库的查询和分布式查询接口，所述分布式查询接口用于用户通过本地业务层软件对本地数据库进行查询。

本发明综合传感网分层数据管理系统的优选方案中，所述分布式本地数据库和数据中心存储中均设置有传感信息库和告警信息库，所述分布式本地数据库中，传感信息库存储所对应感知区的各个等级业务数据，告警信息库存储本地告警数据；所述数据中心中，传感信息库存储高优先级业务数据，告警信息库存储高优先级业务数据的对应告警信息。

本发明综合传感网分层数据管理系统的优选方案中，还包括综合传感网管理平台，用以用户信息管理和网络中管理信息的收取；所述告警处理单元还包括：如果有告警信息，则将告警信息上传到告警信息库，并通知综合传感网管理平台，进而反馈给用户；大数据处理模块还包括：根据数据中心和本地数据库中存储的业务数据，经过分析得到网络的当前状态信息，并根据当前状态信息对网络将来运行状况进行预测，进而反馈给用户。

本发明综合传感网分层数据管理系统的优选方案中，所述数据存储层数据库同步接口包括业务等级控制单元、实时通道和定时通道，所述业务等级控制单元用于确定需要同步的数据的优先级和种类，所述实时通道用于将数据实时同步到数据中心，所述定时通道用于根据用户命令自定义同步时间，定时同步到数据中心。

本发明综合传感网分层数据管理系统的优选方案中，所述用户查询层分布式查询接口包括分布式定位单元、数据存取单元，所述分布式定位单元用于解析用户的查询指令，首先判定数据中心是否有要查询数据，如果有，则直接从数据中心查询所得数据，如果没有则定位到分布式本地数据库，并获取所需数据；

所述数据存取单元用于将查询到的数据取出，并返回给用户。

本发明综合传感网分层数据管理系统的优选方案中，所述分布式查询接口还包括数据同步单元，所述数据同步单元用于将查询得到的分布式的本地数据同步到数据中心，方便下次快速查询。

本发明综合传感网分层数据管理系统的优选方案中，业务数据预处理模块还包括优先级排队单元，所述优先级排序单元对所述业务等级和状态解析单元的解析数据按照优先级顺序进行排队，确定高优先级业务数据，并有序上传到业务数据库。

有益效果：与现有技术相比，本发明具有如下优点：

(1)实时监控业务数据状态，及时处理告警信息。综合传感网中业务数据在上传到数据库前经过业务等级解析处理，获得其业务等级和状态，如果携带告警信息，则直接通知综合传感网管理平台，产生告警信号，并存入告警信息库；在此同时，业务数据依据一定的优先级排队算法，有序存入本地数据库。

(2)自定义数据同步，快速分布式查询。本发明的综合传感网分层数据管理系统以分布式的本地数据库和数据中心为存储基础，并提出了数据库同步接口和分布式查询接口。其中数据库同步接口根据业务等级控制单元，确定需要同步的数据等级和类别，然后经由实时通道或定时通道同步到数据中心；分布式查询接口，通过分布式定位模块、存取模块及数据同步模块，帮助用户快速返回所需数据。

(3)一体化管理平台，完成了数据的处理、存储、分析、查询功能设计。本发明提出了数据处理层、数据存储层及用户查询层，并为各层次设计功能模块，一体化实现了各方面功能。本地业务层软件对本地数据库进行管理，实现了本地数据预理、存储和查询等功能；中心业务层软件对全网的数据统一进行管理，完成了分布式本地数据库和数据中心数据同步和分布式查询；建立了大数据分析平台，能够查看全网的运行状况，并能够根据当前网络运行状况预测将来的网络状态。

附图说明

图1是综合传感网分层数据管理系统架构图；

图2是本地业务数据预处理流程图；

图3是数据同步和分布式查询功能图；

图4是数据同步和分布式查询流程图；

图5是大数据处理模块功能图。

具体实施方式

下面结合实施例和说明书附图对本发明作进一步的说明。

图1示出了本发明中综合传感网分层数据管理系统图，包括：

数据处理层，包括业务数据预处理模块和大数据分析模块，业务数据预处理模块包括业务等级和状态解析单元、优先级排队单元、告警处理单元。业务等级和状态解析单元用于对感知帧格式进行解析，优先级排队单元对解析后的数据按照优先级顺序进行排队，告警处理单元用于判断解析的感知是否携带告警信息，大数据分析模块，用于提供当前和将来网络的运行状态的分析；

数据存储层，包括分布式本地数据库、集中式数据中心和数据库同步接口，分布式本地数据库用于存储本地的感知信息和告警信息，集中式数据中心用于存储高优先级的业务数据信息和告警信息，数据库同步接口用于将分布式的本地数据库数据同步到数据中心；

用户查询层，包括本地业务层软件对本地数据库的查询、中心业务层软件对全网数据库的查询和分布式查询接口，分布式查询接口用于用户通过本地业务层软件对本地数据库进行查询。

图2示出了本发明中综合传感网业务数据预处理流程图。本地业务数据的处理过程包括以下步骤：

步骤201，对业务数据进行等级划分、形成帧格式等数据预处理工作。其中业务数据的帧格式为如下形式：

业务等级

业务状态

时间

数据量

传感器类型

传感器位置

其中业务等级分为七种类型，分别为：听觉业务、嗅觉业务、味觉业务、触觉业务、心灵感知业务和控制业务，以数字1-7表示该业务的优先级，从1-7依次升高，7为最高优先级，在排队上传到数据库中优先进行处理；

其中业务状态分为二种类型，分别为告警状态和正常状态，以True表示该数据处于告警状态，以False表示该数据处于正常状态；

其中时间为业务数据生成的时间，其格式为timestamp；

其中数据量表示所携带数据的大小，数据类型为long long double，数据范围与其其保持一致。

其中传感器类型涵盖了，当今市场上几乎所有传感器类型，比如温度传感器、位移传感器、湿度传感器、压力传感器等传感器类型；

其中传感器位置为传感器所在的感知区位置的一个标识，其格式为感知区N.传感器表示M。因此定义其格式为

Struct Position{

String SensingAreaOfService；

String SensorID；

}PositionOfSensor；

根据以上解释，定义了综合传感网业务数据的数据结构为：

Struct service_data{

int PriorityOfService；//业务等级

timestamp TimeOfData；//业务时间

bool StateOfService；//业务状态

long long double ValueOfData；//业务数据量

PositionOfSensor LocationOfSensor//业务数据位置

}；

因此定义经过业务数据预处理模块后的数据为Service_data servicedata；

步骤202，业务数据经过业务数据状态和解析单元处理后，解析得到servicedata中的各部分数据，PriorityOfService、TimeOfData、StateOfServe、ValueOfData、ValueOfData和LocationOfSensor的值；

步骤203，经过业务数据的解析处理，根据PriorityOfService的值进入优先级排队单元；优先级排队单元是把某采样时间间隔内的数据，按照优先级顺序进行排队。在进行优先级排队的时候采用基于M/G/1的排队论算法；

步骤204，首先判断StateOfServe状态，如果是True则直接发送告警信号综合传感网管理平台，并通知用户；

步骤205，数据上传到传感信息库中。以MySQL数据库为基础，在本地数据库中建立了两个数据库表分别为，Sensor_data、Warning_data，并分别建立了数据表为SensorData、WarningData。建立方法如下：

Create database Sensor_data；

Create table SensorData(

PriorityOfService int,//业务等级

StateOfService bool,//业务状态

TimeOfData timestamp；//业务时间

ValueOfData double,//业务数据量

SensingAreaOfService varchar(100),

SensorID varchar(100)//业务数据位置)

Create database Waring_data；

Create tabale WarningData(

PriorityOfService int,//业务等级

ValueOfData double,//业务数据量

TimeOfData timestamp；//业务时间

SensingAreaOfService varchar(100),

SensorID varchar(100)//业务数据位置

)

步骤206，综合传感网管理平台对传感信息库和告警信息库进行管理，能够对数据库内容进行人为的删除、修改等管理工作。

图3示出了本发明中综合传感网分层数据管理系统数据同步和分布式查询功能图，图4示出了本发明中实现综合传感网分层数据管理系统数据同步和分布式查询的流程图，主要包括以下几个步骤：

步骤401，搭建分布式数据库集群环境和建立数据中心。比如，在同一局域网下，搭建四台MySQL数据库服务器，其中三台作为分布式本地数据库，另外一台作为数据中心。如下表所示：

步骤402，业务数据上传到本地数据库。Slave 1、Slave 2、Slave 3开始接受经过步骤201-205处理后的数据，并上传到数据库中，这样三台服务器中数据开始增加；

步骤403，业务等级控制单元控制了需要上传数据的优先级，只要当业务数据等级到达预定的优先级时，才会打开数据同步通道，进行数据同步；

步骤404，根据步骤403中业务等级控制单元，判断数据是否需要同步，如果需要同步则打开数据同步通道。

步骤405，选择实时通道或者定时通道。为了保证数据在进行同步的时候保证较高优先级的数据优先进行传输，提供了实时数据传送通道供较高优先级数据进行传；如果在某采样时间间隔内，待同步数据优先级较低并且此时实时通道已被占用，则该部分数据通过定时通道传输，定时通道通过设定一定的延时间隔，延迟该部分数据的传输，以保证整个传输过程的效率，数据同步方法采用基于MySQL数据库日志解析的方法，根据数据库增量变更进行同步；

步骤406，数据同步到数据中心。和本地数据库中数据内容相对应，数据中心也有两张数据表分别为Sensor_data、Warning_data，并分别建立了数据表为SensorData、WarningData，建立过程和本地数据库建立过程一样。

步骤407，用户发起查询请求，比如要查询某个感知区一天内温度传感器的变化情况；

步骤408，本地业务层软件解析该请求，并转化为SQL指令之后，然后在数据中心中检索是否有需要的数据，如果有数据则直接从数据中心返回给用户，如果没有则进入步骤409；

步骤409，对于不在数据中心的数据进行分布式定位，路由到该数据的源数据库，并把所需数据从该数据库中取回，然后重复步骤405和步骤406，把该部分数据同步到数据中心，方便用户下次快速的查询。

上述步骤，主要依靠了数据库同步接口完成了分布式数据库的存储，依靠了分布式查询接口完成了用户的全网数据查询。

图5示出了本发明中大数据处理模块功能图，大数据处理模块基于Hadoop处理框架，主要包括以下几个步骤：

搭建分布式Hadoop处理环境，当用户发出一个请求时，首先从数据中心取出应有的数据，上传到Hadoop中HDFS中，然后根据用户自定义编制的Map/Reduce程序，统计出结果。

上述实施例仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和等同替换，这些对本发明权利要求进行改进和等同替换后的技术方案，均落入本发明的保护范围。

Claims (7)

1.一种综合传感网分层数据管理系统，用于全网的数据处理、数据存储及用户查询，其特征在于，该系统包括：

数据处理层，包括业务数据预处理模块和大数据分析模块，所述业务数据预处理模块包括业务等级和状态解析单元、告警处理单元，所述业务等级和状态解析单元用于对业务数据帧格式进行解析，所述告警处理单元用于判断解析的业务数据是否携带告警信息，所述大数据分析模块用于对综合传感网中的业务数据进行分析，提供网络的当前状态信息和将来网络的运行状态；

数据存储层，包括分布式本地数据库、集中式数据中心和数据库同步接口，所述分布式本地数据库用于存储本地的业务数据信息和告警信息，所述集中式数据中心用于存储高优先级的业务数据信息和告警信息，所述数据库同步接口用于将分布式本地数据库的数据同步到集中式数据中心；

用户查询层，包括本地业务层软件对本地数据库的查询、中心业务层软件对全网数据库的查询和分布式查询接口，所述分布式查询接口用于用户通过本地业务层软件对本地数据库进行查询。

2.根据权利要求1所述的综合传感网分层数据管理系统，其特征在于，所述分布式本地数据库和集中式数据中心均设置有传感信息库和告警信息库，所述分布式本地数据库中，传感信息库存储所对应感知区的各个等级业务数据，告警信息库存储本地告警数据；所述数据中心中，传感信息库存储高优先级业务数据，告警信息库存储高优先级业务数据的对应告警信息。

3.根据权利要求1或2所述的综合传感网分层数据管理系统，其特征在于，该系统还包括综合传感网管理平台，用以用户信息管理和网络中管理信息的收取；

所述告警处理单元还包括：如果有告警信息，则将告警信息上传到告警信息库，并通知综合传感网管理平台，进而反馈给用户；

所述大数据处理模块还包括：根据数据中心和本地数据库中存储的业务数据，经过分析得到网络的当前状态信息，并根据当前状态信息对网络将来运行状况进行预测，进而反馈给用户。

4.根据权利要求1或2所述的综合传感网分层数据管理系统，其特征在于，所述数据库同步接口包括业务等级控制单元、实时通道和定时通道，所述业务等级控制单元用于确定需要同步的数据的优先级和种类，所述实时通道用于将数据实时同步到数据中心，所述定时通道用于根据用户命令自定义同步时间，定时同步到数据中心。

5.根据权利要求1或2所述的综合传感网分层数据管理系统，其特征在于，所述分布式查询接口包括分布式定位单元、数据存取单元，所述分布式定位单元用于解析用户的查询指令，首先判定数据中心是否有要查询数据，如果有，则直接从数据中心查询所得数据，如果没有则定位到分布式本地数据库，并获取所需数据；

所述数据存取单元用于将查询到的数据取出，并返回给用户。

6.根据权利要求5所述的综合传感网分层数据管理系统，其特征在于，所述分布式查询接口还包括数据同步单元，所述数据同步单元用于将查询得到的分布式的本地数据同步到数据中心，方便下次快速查询。

7.根据权利要求1或2所述的综合传感网分层数据管理系统，其特征在于，所述业务数据预处理模块还包括优先级排队单元，所述优先级排序单元对所述业务等级和状态解析单元的解析数据按照优先级顺序进行排队，确定高优先级业务数据，并有序上传到本地数据库。