CN111835834B - 考虑通讯异常的智慧物联终端高颗粒度数据提取存储装置 - Google Patents
考虑通讯异常的智慧物联终端高颗粒度数据提取存储装置 Download PDFInfo
- Publication number
- CN111835834B CN111835834B CN202010584505.2A CN202010584505A CN111835834B CN 111835834 B CN111835834 B CN 111835834B CN 202010584505 A CN202010584505 A CN 202010584505A CN 111835834 B CN111835834 B CN 111835834B
- Authority
- CN
- China
- Prior art keywords
- data
- module
- communication
- information
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/565—Conversion or adaptation of application format or content
- H04L67/5651—Reducing the amount or size of exchanged application data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/04—Protocols for data compression, e.g. ROHC
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W24/00—Supervisory, monitoring or testing arrangements
- H04W24/08—Testing, supervising or monitoring using real traffic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W28/00—Network traffic management; Network resource management
- H04W28/02—Traffic management, e.g. flow control or congestion control
- H04W28/06—Optimizing the usage of the radio link, e.g. header compression, information sizing, discarding information
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Telephonic Communication Services (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提供了一种考虑通讯异常的智慧物联终端高颗粒度数据提取存储装置,包括数据采集模块、数据处理模块、信息提取模块、数据存储模块、数据压缩模块、通讯发送处理模块、数据传输模块、通讯状态监测模块。数据采集模块采集物理系统的过程变量相关信号数据,并根据通讯状态检测模块的网络状态选择通道1或通道2的数据处理流程。通过本发明,能够避免通讯异常情况下的采集数据丢失情况,同时充分利用终端设备的计算资源。
Description
技术领域
本发明涉及物联网技术领域,具体地说,涉及一种考虑通讯异常的智慧物联终端高颗粒度数据提取存储装置。
背景技术
物联网利用局部网络或互联网等通信技术把传感器、控制器、机器、人员和物等通过新的方式联在一起,形成人与物、物与物相联,实现信息化、远程管理控制和智能化的网络。物联网是互联网的延伸,它包括互联网及互联网上所有的资源,兼容互联网所有的应用,但物联网中所有的元素(所有的设备、资源及通信等)都是个性化和私有化。技术架构上来看,物联网可分为三层:感知层、网络层和应用层。感知层由各种传感器以及传感器网关构成。感知层是物联网识别物体、采集信息的来源,其主要功能是识别物体,采集信息。网络层由各种私有网络、互联网、有线和无线通信网、网络管理系统和云计算平台等组成,负责传递和处理感知层获取的信息。应用层是与行业需求结合,实现物联网的智能应用。
物联网中无时无刻不在进行着数据采集、数据传输等工作,位于感知层的智慧物联终端,对数据进行采集,并将处理后的数据经网络层传输至平台应用层。当智慧物联终端通过有线网络上传数据时,可能存在交换机、路由器等网络设备故障导致智慧终端中采集到的数据无法传输到云监控平台,从而使得部分时间段内数据丢失。当智慧物联终端通过无线网络上传数据时,可能存在基站等设备故障导致智慧物联终端中采集到的数据无法传输到云监控平台,从而使得部分时间段内数据丢失。
针对通讯异常导致的数据丢失情况,提出一种考虑通讯异常中断的智慧物联终端高颗粒度数据提取存储装置,可以保证通讯异常过程中重要数据不丢失;且智慧物联终端利用自身的计算力对通讯异常过程中产生的历史数据进行信息提取,降低对云平台的计算负荷;通过对数据进行压缩,降低对传输网络的负荷,可以尽快完成历史信息数据在网络中的传输。
发明内容
本发明的目的是解决通讯异常导致部分数据丢失问题,充分利用本地终端设备的计算资源,提出一种考虑通讯异常的智慧物联终端高颗粒度数据提取存储装置。
本发明构建了一种考虑通讯异常的智慧物联终端高颗粒度数据提取存储装置,包括数据采集模块、第一数据处理模块、第二数据处理模块、信息提取模块、数据存储模块、数据压缩模块、通讯发送处理模块、数据传输模块、通讯状态监测模块;
位于智慧物联终端内部的所述数据采集模块,用于采集物理系统的过程变量相关信号数据,并对通讯情况进行判断;
在通讯正常时,将所述过程变量相关信号数据传输至通道1,再经所述第一数据处理模块处理后,发送至数据传输模块;
在通讯异常时,将所述过程变量相关信号数据传输至通道2,再经所述第二数据处理模块处理后,将处理后数据发送至所述信息提取模块,所述信息提取模块将提取后的信息数据发送至所述数据存储模块,待通讯恢复正常后,由所述数据压缩模块将数据压缩后,发送至数据传输模块;
所述数据传输模块将接收到的待传输数据按照有线网络或无线网络的方式发送至云端管控平台。
所述的一种考虑通讯异常的智慧物联终端高颗粒度数据提取存储装置,第一数据处理模块包括第一数据清洗单元、第一数据集成单元、第一数据变换单元及第一数据规约单元;第二数据处理模块包括第二数据清洗单元、第二数据集成单元、第二数据变换单元及第二数据规约单元;其中,第一数据清洗单元和第二数据清洗单元用于删除原始数据集中的无关数据、重复数据,平滑噪声数据,筛除与云端平台无关的数据,处理缺失值和异常值,并检查数据逻辑错误;第一数据集成单元和第二数据集成单元用于依据不同数据集间相同属性,将多个数据集合为一个数据集,增大样本数据量;第一数据变换单元和第二数据变换单元用于改变数据特征,方便计算和发现新的信息;第一数据规约单元和第二数据规约单元用于采用数据聚集、抽样、维规约的方法,减少数据量,降低数据维度,删除冗余信息,提升分析准确性,减少计算量。
所述的一种考虑通讯异常的智慧物联终端高颗粒度数据提取存储装置,信息提取模块包括信息计算单元、信息分析与集成单元;
其中,信息计算单元用于通过分析方法和工具对输入数据进行计算,获取原始信息数据;
信息分析与集成单元用于依据多个信息计算单元输出的原始信息数据,提取有价值的信息数据,形成最终信息数据。
所述的一种考虑通讯异常的智慧物联终端高颗粒度数据提取存储装置,数据存储模块用于将信息分析与集成单元计算的信息数据按照预设组织方式存储在智慧物联终端内部的存储介质中。
所述的一种考虑通讯异常的智慧物联终端高颗粒度数据提取存储装置,数据压缩模块通过对存储介质中待传输数据大小,综合压缩速度、压缩率因素进行分析,选择压缩算法对存储介质中的待传输数据进行压缩。
所述的一种考虑通讯异常的智慧物联终端高颗粒度数据提取存储装置,通讯发送处理模块用于在数据传输模块发送完成第一数据处理模块数据的时间间隙内,合理安排压缩数据发送时间,以保证通讯恢复后,将历史数据发送至云端管控平台,也不影响通讯正常时,将实时数据发送至云端管控平台。
区别于现有技术,本发明提供的一种考虑通讯异常的智慧物联终端高颗粒度数据提取存储装置,包括数据采集模块、数据处理模块、信息提取模块、数据存储模块、数据压缩模块、通讯发送处理模块、数据传输模块、通讯状态监测模块。数据采集模块采集物理系统的过程变量相关信号数据,并根据通讯状态检测模块的网络状态选择通道1或通道2的数据处理流程。通过本发明,能够通讯异常情况下的采集数据丢失情况,同时充分利用终端设备的计算资源。
附图说明
下面将结合附图及实施例对本发明作进一步说明,附图中:
图1为本发明一种考虑通讯异常的智慧物联终端高颗粒度数据提取存储装置的结构示意图。
图2为本发明一种考虑通讯异常的智慧物联终端高颗粒度数据提取存储装置的逻辑示意图。
具体实施方式
为了使本领域的技术人员更好地理解本发明的技术方案,下面结合附图和具体实施例对本发明作进一步详细的描述,需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
如图1和图2所示,本发明一种考虑通讯异常的智慧物联终端高颗粒度数据提取存储装置,包括数据采集模块1、第一数据处理模块2、第二数据处理模块3、信息提取模块4、数据存储模块5、数据压缩模块6、通讯发送处理模块7、数据传输模块8、通讯状态监测模块9;
位于智慧物联终端内部的所述数据采集模块1,用于采集物理系统的过程变量相关信号数据,并通过通讯状态监测模块9对通讯情况进行判断;在判断通讯情况的过程中,通讯状态监测模块9实时的连接到数据传输模块8,并定时提取数据传输模块8在预设的时间间隔内接收到的数据,若在预设时间间隔内接收的数据量大于等于预设的数据量阈值,则说明通讯正常,若在预设时间间隔内接收的数据量小于预设的数据量阈值,则说明通讯异常。在本发明中,默认初始状态通讯情况为正常,则数据采集模块1在采集到数据后,通过第一数据处理模块2进行数据处理,第一数据处理模块2处理完成后,发送至数据传输模块8以向云端管理平台发送数据。
在通讯正常时,将过程变量相关信号数据传输至通道1,再经第一数据处理模块2处理后,发送至数据传输模块8;通讯正常,则数据传输顺畅,则直接将物理系统的过程变量相关信号数据传输到数据传输模块8。
在数据传输模块8传输数据的过程中,通过通讯状态监测模块9进行通讯状态监测。具体的监测过程如上所述,若判定为通讯异常,则向数据采集模块1发送至少包含通讯异常含义信息的指令,数据采集模块1接收指令,将过程变量相关信号数据传输至通道2,再经第二数据处理模块3处理后,将处理后数据发送至所述信息提取模块4,信息提取模块4将提取后的信息数据发送至数据存储模块5,待通讯恢复正常后,由所述数据压缩模块6将数据压缩后,经由通讯发送处理模块7发送至数据传输模块8;
数据传输模块8将接收到的待传输数据按照有线网络或无线网络的方式发送至云端管控平台。
所述的一种考虑通讯异常的智慧物联终端高颗粒度数据提取存储装置,第一数据处理模块2包括第一数据清洗单元21、第一数据集成单元22、第一数据变换单元23及第一数据规约单元24;第二数据处理模块3包括第二数据清洗单元31、第二数据集成单元32、第二数据变换单元33及第二数据规约单元34;其中,第一数据清洗单元21和第二数据清洗单元31用于删除原始数据集中的无关数据、重复数据,平滑噪声数据,筛除与云端平台无关的数据,处理缺失值和异常值,并检查数据逻辑错误;第一数据集成单元22和第二数据集成单元32用于依据不同数据集间相同属性,将多个数据集合为一个数据集,增大样本数据量;第一数据变换单元23和第二数据变换单元33用于改变数据特征,方便计算和发现新的信息;第一数据规约单元24和第二数据规约单元34用于采用数据聚集、抽样、维规约的方法,减少数据量,降低数据维度,删除冗余信息,提升分析准确性,减少计算量。
所述的一种考虑通讯异常的智慧物联终端高颗粒度数据提取存储装置,信息提取模块4包括信息计算单元41、信息分析与集成单元42;
其中,信息计算单元41用于通过分析方法和工具对输入数据进行计算,获取原始信息数据;
信息分析与集成单元42用于依据多个信息计算单元输出的原始信息数据,提取有价值的信息数据,形成最终信息数据。
通讯异常时,需保证重要信息的完整传输,信息计算单元41通过分析计算接收到的数据,将全部数据提取。再由信息分析与集成单元42对其连接的多个信息计算单元41提取的数据进行信息分析,提取有价值的信息数据。有价值信息数据的提取可根据数据类型进行分类,将全部信息数据中的一类或几类设定为有价值信息数据。在不同的数据传输过程中,有价值信息数据的类型可以变更,即设定与前次不同类型的信息数据作为有价值信息数据。
所述的一种考虑通讯异常的智慧物联终端高颗粒度数据提取存储装置,数据存储模块5用于将信息分析与集成单元42计算的信息数据按照预设组织方式存储在智慧物联终端内部的存储介质中。
所述的一种考虑通讯异常的智慧物联终端高颗粒度数据提取存储装置,数据压缩模块6通过对存储介质中待传输数据大小,综合压缩速度、压缩率因素进行分析,选择压缩算法对存储介质中的待传输数据进行压缩。
所述的一种考虑通讯异常的智慧物联终端高颗粒度数据提取存储装置,通讯发送处理模块7用于在数据传输模块8发送完成第一数据处理模块2数据的时间间隙内,合理安排压缩数据发送时间,以保证通讯恢复后,将历史数据发送至云端管控平台,也不影响通讯正常时,将实时数据发送至云端管控平台。
所述的一种考虑通讯异常中断的智慧物联终端高颗粒度数据提取存储装置,其特征在于,所述数据传输模块8将待发送数据以有线或无线的方式传输至云端管控平台。本实施例中,采用4G网络作为传输方式。
所述的一种考虑通讯异常中断的智慧物联终端高颗粒度数据提取存储装置,其特征在于,所述通讯状态监测模块用于监测网络数据传输状态是否出现异常,当出现通讯异常时,则将数据处理流程转入通道2;若通讯正常,则将数据处理流程保持在通道1。
区别于现有技术,本发明提供的一种考虑通讯异常的智慧物联终端高颗粒度数据提取存储装置,包括数据采集模块、数据处理模块、信息提取模块、数据存储模块、数据压缩模块、通讯发送处理模块、数据传输模块、通讯状态监测模块。数据采集模块采集物理系统的过程变量相关信号数据,并根据通讯状态检测模块的网络状态选择通道1或通道2的数据处理流程。通过本发明,能够通讯异常情况下的采集数据丢失情况,同时充分利用终端设备的计算资源。
上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,这些均属于本发明的保护之内。
Claims (6)
1.一种考虑通讯异常的智慧物联终端高颗粒度数据提取存储装置,其特征在于,包括数据采集模块、第一数据处理模块、第二数据处理模块、信息提取模块、数据存储模块、数据压缩模块、通讯发送处理模块、数据传输模块、通讯状态监测模块;
位于智慧物联终端内部的所述数据采集模块,用于采集物理系统的过程变量相关信号数据,并通过通讯状态监测模块对通讯情况进行判断;
在通讯正常时,将所述过程变量相关信号数据传输至通道1,再经所述第一数据处理模块处理后,发送至数据传输模块;
在通讯异常时,将所述过程变量相关信号数据传输至通道2,再经所述第二数据处理模块处理后,将处理后数据发送至所述信息提取模块,所述信息提取模块将提取后的信息数据发送至所述数据存储模块,待通讯恢复正常后,由所述数据压缩模块将数据压缩后,经由通讯发送处理模块发送至数据传输模块;
所述数据传输模块将接收到的待传输数据按照有线网络或无线网络的方式发送至云端管控平台。
2.根据权利要求1所述的考虑通讯异常的智慧物联终端高颗粒度数据提取存储装置,其特征在于,第一数据处理模块包括第一数据清洗单元、第一数据集成单元、第一数据变换单元及第一数据规约单元;第二数据处理模块包括第二数据清洗单元、第二数据集成单元、第二数据变换单元及第二数据规约单元;其中,第一数据清洗单元和第二数据清洗单元用于删除原始数据集中的无关数据、重复数据,平滑噪声数据,筛除与云端平台无关的数据,处理缺失值和异常值,并检查数据逻辑错误;第一数据集成单元和第二数据集成单元用于依据不同数据集间相同属性,将多个数据集合为一个数据集,增大样本数据量;第一数据变换单元和第二数据变换单元用于改变数据特征,方便计算和发现新的信息;第一数据规约单元和第二数据规约单元用于采用数据聚集、抽样、维规约的方法,减少数据量,降低数据维度,删除冗余信息,提升分析准确性,减少计算量。
3.根据权利要求1所述的考虑通讯异常的智慧物联终端高颗粒度数据提取存储装置,其特征在于,所述信息提取模块包括信息计算单元、信息分析与集成单元;
其中,信息计算单元用于通过分析方法和工具对输入数据进行计算,获取原始信息数据;
信息分析与集成单元用于依据多个信息计算单元输出的原始信息数据,提取有价值的信息数据,形成最终信息数据。
4.根据权利要求3所述的考虑通讯异常的智慧物联终端高颗粒度数据提取存储装置,其特征在于,所述数据存储模块用于将信息分析与集成单元计算的信息数据按照预设组织方式存储在智慧物联终端内部的存储介质中。
5.根据权利要求1所述的考虑通讯异常的智慧物联终端高颗粒度数据提取存储装置,其特征在于,所述数据压缩模块通过对存储介质中待传输数据大小,综合压缩速度、压缩率因素进行分析,选择压缩算法对存储介质中的待传输数据进行压缩。
6.根据权利要求1所述的考虑通讯异常的智慧物联终端高颗粒度数据提取存储装置,其特征在于,所述通讯发送处理模块用于在数据传输模块发送完成第一数据处理模块数据的时间间隙内,合理安排压缩数据发送时间,以保证通讯恢复后,将历史数据发送至云端管控平台,也不影响通讯正常时,将实时数据发送至云端管控平台。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010584505.2A CN111835834B (zh) | 2020-06-24 | 2020-06-24 | 考虑通讯异常的智慧物联终端高颗粒度数据提取存储装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010584505.2A CN111835834B (zh) | 2020-06-24 | 2020-06-24 | 考虑通讯异常的智慧物联终端高颗粒度数据提取存储装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111835834A CN111835834A (zh) | 2020-10-27 |
CN111835834B true CN111835834B (zh) | 2023-03-21 |
Family
ID=72898017
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010584505.2A Active CN111835834B (zh) | 2020-06-24 | 2020-06-24 | 考虑通讯异常的智慧物联终端高颗粒度数据提取存储装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111835834B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106790491A (zh) * | 2016-12-14 | 2017-05-31 | 日照职业技术学院 | 面向数据的物联网可移动终端智能平台的实现方法 |
CN109829888A (zh) * | 2018-12-27 | 2019-05-31 | 北京林业大学 | 基于深度卷积神经网络的野生动物监测分析系统及方法 |
CN110766928A (zh) * | 2019-10-22 | 2020-02-07 | 山东思科赛德矿业安全工程有限公司 | 一种基于物联网的矿山智能传感器数据采集方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10410297B2 (en) * | 2014-11-03 | 2019-09-10 | PJS of Texas Inc. | Devices, systems, and methods of activity-based monitoring and incentivization |
US11067973B2 (en) * | 2016-11-30 | 2021-07-20 | Hitachi, Ltd. | Data collection system, abnormality detection method, and gateway device |
-
2020
- 2020-06-24 CN CN202010584505.2A patent/CN111835834B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106790491A (zh) * | 2016-12-14 | 2017-05-31 | 日照职业技术学院 | 面向数据的物联网可移动终端智能平台的实现方法 |
CN109829888A (zh) * | 2018-12-27 | 2019-05-31 | 北京林业大学 | 基于深度卷积神经网络的野生动物监测分析系统及方法 |
CN110766928A (zh) * | 2019-10-22 | 2020-02-07 | 山东思科赛德矿业安全工程有限公司 | 一种基于物联网的矿山智能传感器数据采集方法 |
Non-Patent Citations (3)
Title |
---|
"An On-Demand Energy Requesting Scheme for Wireless Energy Harvesting Powered IoT Networks";Lakshmikanth Guntupalli等;《IEEE Internet of Things Journal》;20180620;全文 * |
"基于GPRS或4G的通信基站电源监控系统的分析与设计";王二超;《通信电源技术》;20180725;全文 * |
"基于物联网技术的智能电力监控系统研究";李焕;《中国优秀硕士学位论文全文数据库》;20200315;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN111835834A (zh) | 2020-10-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111047082B (zh) | 设备的预警方法及装置、存储介质和电子装置 | |
CN109507924B (zh) | 用于油田作业设备的远程监控系统 | |
CN107390650A (zh) | 一种基于物联网的数据采集系统及基于该系统的数据压缩方法 | |
US11201834B2 (en) | Communication control device, communication control method, and communication system | |
KR20200120980A (ko) | 스마트공장 운영 시스템 및 제어 방법 | |
CN112052149B (zh) | 一种大数据信息采集系统及使用方法 | |
CN113810489A (zh) | 一种工业互联网控制系统及方法 | |
CN113364624A (zh) | 基于边缘计算的混合云流量采集方法和系统 | |
CN112732802B (zh) | 一种基于大数据的企业数据挖掘系统及方法 | |
CN114024801A (zh) | 一种工业边缘计算服务网关 | |
CN104933127A (zh) | 基于MariaDB的跨机房数据库同步设备及方法 | |
CN108540304B (zh) | 基于工业大数据的远程采集监视系统及方法 | |
CN112187513A (zh) | 一种基于大数据的医疗物联网云平台方法、系统及存储介质 | |
CN113938306A (zh) | 一种基于数据清洗规则的可信认证方法及系统 | |
CN115776438B (zh) | 一种工控数据传输方法及系统 | |
CN108268329B (zh) | 一种灌浆记录仪网络终端的数据处理方法及装置 | |
CN111835834B (zh) | 考虑通讯异常的智慧物联终端高颗粒度数据提取存储装置 | |
CN105634781B (zh) | 一种多故障数据解耦方法和装置 | |
CN106202509A (zh) | 一种日志信息的处理方法 | |
CN118349363A (zh) | 基于轻量化数据中台的数据处理方法及系统 | |
CN118075314A (zh) | 发电企业智能治安安全监控方法及系统 | |
CN115426363B (zh) | 智能板材加工工厂的数据采集方法及终端 | |
CN117221354A (zh) | 多源异构数据实时采集、存储与分析方法及系统 | |
CN113242160A (zh) | 一种基于状态机的协议识别方法 | |
CN114817671A (zh) | 一种空调物联网的日志分析方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |