CN105426429B - 数据处理方法、感知元件数据处理装置、数据处理系统 - Google Patents
数据处理方法、感知元件数据处理装置、数据处理系统 Download PDFInfo
- Publication number
- CN105426429B CN105426429B CN201510741077.9A CN201510741077A CN105426429B CN 105426429 B CN105426429 B CN 105426429B CN 201510741077 A CN201510741077 A CN 201510741077A CN 105426429 B CN105426429 B CN 105426429B
- Authority
- CN
- China
- Prior art keywords
- induction element
- data
- parsing
- confidence level
- collected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000006698 induction Effects 0.000 title claims abstract description 450
- 238000012545 processing Methods 0.000 title claims abstract description 66
- 238000003672 processing method Methods 0.000 title claims abstract description 20
- 230000008447 perception Effects 0.000 claims description 10
- 238000012216 screening Methods 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 claims description 3
- 235000013399 edible fruits Nutrition 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims 1
- 238000007405 data analysis Methods 0.000 claims 1
- 230000002159 abnormal effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000000717 retained effect Effects 0.000 description 5
- 238000000034 method Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种数据处理方法、感知元件数据处理装置、数据处理系统,属于物联网技术领域,可解决现有的感知元件采集到的数据中包含与理论值或其他采集到的数据差异较大的数据导致的数据可用性降低的问题。本发明的数据处理方法包括:获取感知元件采集到的解析数据,解析数据包括感知元件运行状态;根据感知元件运行状态获取感知元件中运行状态正常的感知元件采集到的解析数据;根据感知元件管理认证装置发送的认证结果从感知元件采集并发送的解析数据中查询出通过认证的感知元件采集到的解析数据,认证结果由感知元件管理认证装置对运行状态正常的感知元件采集到的解析数据进行认证得出;根据通过认证的感知元件采集到的解析数据生成网关数据。
Description
技术领域
本发明属于物联网技术领域,具体涉及一种数据处理方法、感知元件数据处理装置、数据处理系统。
背景技术
典型的物联网的网络结构包括感知层、接入层、网络层、支撑层和应用层,其中,感知层对物理世界进行感知、识别物体、采集信息,其最基础的作用就是对物理世界信息的采集与传输,通过部署众多的传感器、执行器等感知元件采集物理世界的信息,这些感知元件采集数据并将采集到的数据按感知网络支持的协议传输到接入网关,经接入网关通过网络层将数据传输到目标服务器进行存储和分析。
但由于接入物联网中的传感器、执行器等感知元件数目众多,分布广泛,很难对所有感知元件做到定期的维护和监测,同时,数量众多的感知元件采集到的数据不仅杂乱无章、没有条理,而且其中还会存在与理论值或其他采集到的数据差异较大的数据。如果不对这些差异较大的数据加以处理,最终会得到包含这些差异较大的数据的数据集合,从数理逻辑的角度来看,包含这些差异较大的数据的数据集合是包含冲突的、不一致的数据集合。根据不一致的数据集可以得到任何结论,会彻底毁掉数据的可用性。
发明内容
本发明针对现有的感知元件采集到的数据中包含与理论值或其他采集到的数据差异较大的数据导致的数据可用性降低的问题,提供一种能够将感知元件采集到的数据中的与理论值或其他采集到的数据差异较大的数据剔除以提高数据可用性的数据处理方法、感知元件数据处理装置、数据处理系统。
解决本发明技术问题所采用的技术方案是一种数据处理方法,包括:
获取感知元件采集到的解析数据,所述解析数据包括感知元件运行状态;
根据所述感知元件运行状态获取所述感知元件中运行状态正常的感知元件采集到的解析数据;
根据感知元件管理认证装置发送的认证结果从感知元件采集并发送的解析数据中查询出通过认证的感知元件采集到的解析数据,所述认证结果由感知元件管理认证装置对所述运行状态正常的感知元件采集到的解析数据进行认证得出,所述认证结果包括通过认证的感知元件的可信等级和采集特征;
根据所述通过认证的感知元件采集到的解析数据生成网关数据。
其中,所述获取感知元件采集到的解析数据,所述解析数据包括感知元件运行状态包括:
接收感知元件采集并发送的原始数据;
对接收的所述原始数据进行解析,得到与所述原始数据对应的解析数据。
其中,所述解析数据包括感知元件标识和感知元件认证密钥;在所述根据所述感知元件运行状态获取所述感知元件中运行状态正常的感知元件采集到的解析数据之后,还包括:
向所述感知元件管理认证装置发送所述感知元件中运行状态正常的感知元件采集到的解析数据中的感知元件标识和感知元件认证密钥,以供所述感知元件管理认证装置将解析数据中的感知元件标识和感知元件认证密钥与所述感知元件固有的感知元件标识和感知元件认证密钥进行比对,得出所述运行状态正常的感知元件的认证结果;
接收所述认证结果。
其中,所述根据所述通过认证的感知元件采集到的解析数据生成网关数据,包括:
根据第一特征数据对通过认证的感知元件采集到的解析数据进行分组,得出多个分组;
根据所述通过认证的感知元件的可信等级从所述多个分组中查询出可信度最高的分组,从最高的可信等级开始,逐一比较各分组中当前可信等级的感知元件数目,所述可信度最高的分组中存在具有当前可信等级的感知元件,且该可信等级的感知元件唯一,未在其他分组中出现;或者,所述可信度最高的分组中具有当前可信等级的感知元件不唯一,也在其他分组出现,且所述可信度最高的分组中具有当前可信等级的感知元件数量最多;
生成所述可信度最高的分组的网关数据。
其中,所述解析数据的第一特征数据类型为数值型或者非数值型;所述根据第一特征数据对通过认证的感知元件采集到的解析数据进行分组,得出多个分组之前,还包括:
判断所述解析数据的第一特征数据类型为数值型或者非数值型;
所述根据第一特征数据对通过认证的感知元件采集到的解析数据进行分组,得出多个分组包括:
若判断出所述通过认证的感知元件采集到的解析数据的第一特征数据类型为数值型数据时,采用聚类算法根据第一特征数据的数值将所述通过认证的感知元件采集到的解析数据分为多个分组,每个分组对应于一组第一特征数据;或者,若判断出所述通过认证的感知元件采集到的解析数据的第一特征数据类型为非数值型数据时,根据第一特征数据的种类将所述通过认证的感知元件采集到的解析数据分为多个分组,所述分组的数目和所述第一特征数据的种类的数目相同,每个分组中的解析数据具有相同的第一特征数据。
其中,所述生成所述可信度最高的分组的网关数据包括:
所述通过认证的感知元件采集到的解析数据的第一特征数据类型为数值型数据时,通过公式计算出第二特征数据,其中,m为第二特征数据,n为当前分组中数据记录的数量,wj为当前分组中各感知元件的可信等级,vj为当前分组中对应于wj的感知元件采集到的第一特征数据;将所述第二特征数据替换可信度最高的分组中的第一特征数据,作为所述可信度最高的分组的所述网关数据;
或者,所述通过认证的感知元件采集到的解析数据的第一特征数据类型为非数值型数据时,将可信度最高的分组中的第一特征数据作为所述可信度最高的分组的所述网关数据。
作为另一实施方案,本发明还提供一种感知元件数据处理装置,包括:
获取模块,用于获取感知元件采集到的解析数据,所述解析数据包括感知元件运行状态;
筛选模块,用于根据所述感知元件运行状态获取所述感知元件中运行状态正常的感知元件采集到的解析数据;
查询模块,用于根据感知元件管理认证装置发送的认证结果从感知元件采集并发送的解析数据中查询出通过认证的感知元件采集到的解析数据,所述认证结果由感知元件管理认证装置对所述运行状态正常的感知元件采集到的解析数据进行认证得出;
生成模块,用于根据所述通过认证的感知元件采集到的解析数据生成网关数据。
其中,所述解析数据包括感知元件标识和感知元件认证密钥,所述感知元件数据处理装置还包括接收模块、解析模块和发送模块;
所述解析模块,用于对接收的所述原始数据进行解析,得到与所述原始数据对应的解析数据;
所述发送模块,用于向所述感知元件管理认证装置发送所述感知元件中运行状态正常的感知元件采集到的解析数据中的感知元件标识和感知元件认证密钥,以供所述感知元件管理认证装置将解析数据中的感知元件标识和感知元件认证密钥与所述感知元件固有的感知元件标识和感知元件认证密钥进行比对,得出所述运行状态正常的感知元件的认证结果;
所述接收模块,用于接收感知元件采集并发送的原始数据;接收所述认证结果。
其中,所述的感知元件数据处理装置还包括:分组模块和上传模块;
所述分组模块,用于根据第一特征数据对通过认证的感知元件采集到的解析数据进行分组,得出多个分组;
所述获取模块,还用于根据所述通过认证的感知元件的可信等级从所述多个分组中查询出可信度最高的分组,从最高的可信等级开始,逐一比较各分组中当前可信等级的感知元件数目,所述可信度最高的分组中存在具有当前可信等级的感知元件,且该可信等级的感知元件唯一,未在其他分组中出现;或者,所述可信度最高的分组中具有当前可信等级的感知元件不唯一,也在其他分组出现,且所述可信度最高的分组中具有当前可信等级的感知元件数量最多;
所述上传模块,用于将生成的所述可信度最高的分组的网关数据上传到接入网关。
其中,所述分组模块包括判断模块和特征模块;
所述判断模块,用于判断所述解析数据的第一特征数据类型为数值型或者非数值型;
所述特征模块,用于若判断出所述通过认证的感知元件采集到的解析数据的第一特征数据类型为数值型数据时,采用聚类算法根据第一特征数据的数值将所述通过认证的感知元件采集到的解析数据分为多个分组,每个分组对应于一组第一特征数据;或者,若判断出所述通过认证的感知元件采集到的解析数据的第一特征数据类型为非数值型数据时,根据第一特征数据的种类将所述通过认证的感知元件采集到的解析数据分为多个分组,所述分组的数目和所述第一特征数据的种类的数目相同,每个分组中的解析数据具有相同的第一特征数据。
其中,所述生成模块具体用于:
所述通过认证的感知元件采集到的解析数据的第一特征数据类型为数值型数据时,通过公式计算第二特征数据,其中,m为第二特征数据,n为当前分组中数据记录的数量,wj为当前分组中各感知元件的可信等级,vj为当前分组中对应于wj的感知元件采集到的第一特征数据;将计算得出的所述第二特征数据替换可信度最高的分组中的第一特征数据,作为所述可信度最高的分组的所述网关数据;
或者,所述通过认证的感知元件采集到的解析数据的第一特征数据类型为非数值型数据时,将可信度最高的分组中的第一特征数据作为所述可信度最高的分组的所述网关数据。
作为另一技术方案,本发明还提供一种数据处理系统,包括:感知元件数据处理装置、感知元件认证管理装置和感知元件;
所述感知元件数据处理装置,所述感知元件数据处理装置为上述任意一项所述的感知元件数据处理装置;
所述感知元件认证管理装置,用于对所述运行状态正常的感知元件采集到的解析数据进行认证;
所述感知元件,用于向所述感知元件数据处理装置发送采集到的原始数据。
本发明的数据处理方法、感知元件数据处理装置、数据处理系统中,该数据处理方法中,首先根据获取的感知元件运行状态判断感知元件的运行状态是否正常,保留运行状态正常的感知元件的解析数据,去除运行状态不正常的感知元件的解析数据,然后将运行状态正常的感知元件的解析数据发送给感知元件认证管理装置进行认证,保留通过认证的感知元件的解析数据,去除未通过认证的感知元件的解析数据,最后根据通过认证的感知元件的解析数据生成网关数据,以接入网关。
附图说明
图1为本发明的实施例1的数据处理方法的流程示意图;
图2为本发明的实施例2的数据处理方法的流程示意图;
图3为本发明的实施例3的感知元件数据处理装置的结构示意图;
图4为本发明的实施例4的感知元件数据处理装置的结构示意图;
图5为本发明的实施例5的数据处理系统的结构示意图;
其中,附图标记为:1、获取模块;2、筛选模块;3、查询模块;4、生成模块;5、接收模块;6、解析模块;7、发送模块;8、分组模块;81、判断模块;82、特征模块;9、上传模块;100、感知元件;200、感知元件数据处理装置;300、感知元件认证管理装置。
具体实施方式
为使本领域技术人员更好地理解本发明的技术方案,下面结合附图和具体实施方式对本发明作进一步详细描述。
实施例1:
请参照图1,本实施例提供一种数据处理方法,包括:
步骤101,获取感知元件采集到的解析数据,解析数据包括感知元件运行状态。
步骤102,根据感知元件运行状态获取感知元件中运行状态正常的感知元件采集到的解析数据。
步骤103,根据感知元件管理认证装置发送的认证结果从感知元件采集并发送的解析数据中查询出通过认证的感知元件采集到的解析数据,认证结果由感知元件管理认证装置对运行状态正常的感知元件采集到的解析数据进行认证得出,认证结果包括通过认证的感知元件的可信等级和采集特征。
步骤104,根据通过认证的感知元件采集到的解析数据生成网关数据。
本实施例的数据处理方法中,首先根据获取的感知元件运行状态判断感知元件的运行状态是否正常,保留运行状态正常的感知元件的解析数据,去除运行状态不正常的感知元件的解析数据,然后将运行状态正常的感知元件的解析数据发送给感知元件认证管理装置进行认证,保留通过认证的感知元件的解析数据,去除未通过认证的感知元件的解析数据,最后根据通过认证的感知元件的解析数据生成网关数据,以接入网关。
实施例2:
请参照图2,本实施例提供一种数据处理方法,包括:
步骤201,感知元件数据处理装置获取感知元件采集到的解析数据,解析数据包括感知元件运行状态。具体包括:
步骤2011,感知元件数据处理装置接收感知元件采集并发送的原始数据。
为了方便采集,感知元件采集到的原始数据一般不是信息的具体内容,而是以字符串或其他形式的信息,以原始数据是以字符串形式表示的为例,该字符串中某固定位置的字符代表一种数据内容,另一固定位置的字符代表另一种数据内容,字符串的长短由数据内容的种类决定。当然,原始数据的形式并不局限于此,还可以以其他形式表示,在此不再赘述。
步骤2012,感知元件数据处理装置对接收的原始数据进行解析,得到与原始数据对应的解析数据。
根据感知元件所在网络采用的内部协议解析其上传的原始数据,得到的解析数据至少包含以下信息:感知元件标识、感知元件运行状态、感知元件认证密钥、采集时刻等,当然,还可能包括其他信息,在此不再赘述。
步骤202,感知元件数据处理装置根据感知元件运行状态获取感知元件中运行状态正常的感知元件采集到的解析数据。
可以理解的是,感知元件运行状态包括运行状态正常和运行状态不正常两种,根据解析数据中包含的感知元件运行状态信息可以轻易的找出运行状态正常的感知元件,从而获取这些运行状态正常的感知元件采集到的解析数据。
步骤203,感知元件数据处理装置向感知元件管理认证装置发送感知元件中运行状态正常的感知元件采集到的解析数据中的感知元件标识和感知元件认证密钥,以供感知元件管理认证装置将解析数据中的感知元件标识和感知元件认证密钥与感知元件固有的感知元件标识和感知元件认证密钥进行比对,得出运行状态正常的感知元件的认证结果。
可以理解的是,每一个感知元件都有其固有的感知元件标识和感知元件认证密钥,当感知元件数据处理装置向感知元件管理认证装置发送感知元件中运行状态正常的感知元件采集到的解析数据中的感知元件标识和感知元件认证密钥时,感知元件管理认证装置将解析数据中的感知元件标识和感知元件认证密钥与感知元件固有的感知元件标识和感知元件认证密钥进行比对,当解析数据中的感知元件标识和感知元件认证密钥与感知元件固有的感知元件标识和感知元件认证密钥一致时,则记为通过认证;当解析数据中的感知元件标识和感知元件认证密钥与感知元件固有的感知元件标识和感知元件认证密钥不一致时,则记为未通过认证。也就是说,认证结果包括通过认证和未通过认证两种。
步骤204,感知元件数据处理装置接收认证结果。
该认证结果由感知元件管理认证装置发送,对于通过认证的感知元件,该认证结果包括通过认证的感知元件的可信等级和采集特征,当然,感知元件的可信等级和采集特征也是该感知元件的固有属性。
步骤205,感知元件数据处理装置根据感知元件管理认证装置发送的认证结果从感知元件采集并发送的解析数据中查询出通过认证的感知元件采集到的解析数据,认证结果由感知元件管理认证装置对运行状态正常的感知元件采集到的解析数据进行认证得出,认证结果包括通过认证的感知元件的可信等级和采集特征。
由于认证结果包括通过认证和未通过认证两种,因此,感知元件数据处理装置在接收到感知元件管理认证装置发送的认证结果后,查询出通过认证的感知元件,并得到这些通过认证的感知元件采集到的解析数据。
步骤206,感知元件数据处理装置根据通过认证的感知元件采集到的解析数据生成网关数据。其中,解析数据的第一特征数据类型为数值型或者非数值型,第一特征数据为感知元件所采集特征的数据。该步骤具体包括:
步骤2061,感知元件数据处理装置判断解析数据的第一特征数据类型为数值型或者非数值型。
步骤2062,感知元件数据处理装置根据第一特征数据对通过认证的感知元件采集到的解析数据进行分组,得出多个分组。具体包括:
若判断出通过认证的感知元件采集到的解析数据的第一特征数据类型为数值型数据时,采用聚类算法根据第一特征数据的数值将通过认证的感知元件采集到的解析数据分为多个分组,每个分组对应于一组第一特征数据;或者,若判断出通过认证的感知元件采集到的解析数据的第一特征数据类型为非数值型数据时,根据第一特征数据的种类将通过认证的感知元件采集到的解析数据分为多个分组,分组的数目和第一特征数据的种类的数目相同,每个分组中的解析数据具有相同的第一特征数据。
例如,当通过认证的感知元件采集到的解析数据的第一特征数据类型为数值型数据时,包括17、19、20、24、25、26、29、31、33这几个数字,那么,采用聚类算法,根据某度量标准,分组所采用的第一特征数据可能会被分为3组:{17、19、20},{24、25、26},和{29、31、33}。当通过认证的感知元件采集到的解析数据的第一特征数据类型为非数值型数据时,包括“优秀”、“良好”、“中等”、“较差”四种,那么,在进行分组时,将“优秀”分为一组,该组的第一特征数据为“优秀”,将“良好”分为一组,该组的第一特征数据为“良好”,将“中等”分为一组,该组的第一特征数据为“中等”,将“较差”分为一组,该组的第一特征数据为“较差”,分组数目为四个,与第一特征数据的种类相同。当然,分组的数量不宜过多,一般为小于5个,分组数量过多表示采集到的解析数据比较离散,准确率低。
步骤2063,感知元件数据处理装置根据通过认证的感知元件的可信等级从多个分组中查询出可信度最高的分组,从最高的可信等级开始,逐一比较各分组中当前可信等级的感知元件数目,所述可信度最高的分组中存在具有当前可信等级的感知元件,且该可信等级的感知元件唯一,未在其他分组中出现;或者,所述可信度最高的分组中具有当前可信等级的感知元件不唯一,也在其他分组出现,且所述可信度最高的分组中具有当前可信等级的感知元件数量最多。
感知元件的可信等级是感知元件的固有属性,在判断某一分组是否为可信度最高的分组,从最高的可信等级开始,逐一比较各分组中当前可信等级的感知元件数目,需满足:(1)在这一分组中,具有当前可信等级的感知元件不在其他分组出现;或者,(2)在这一分组中,具有当前可信等级的感知元件数量比其他分组中具有的当前可信等级的感知元件数量多。
步骤2064,感知元件数据处理装置生成可信度最高的分组的网关数据。具体包括:
通过认证的感知元件采集到的解析数据的第一特征数据类型为数值型数据时,通过公式计算出第二特征数据,其中,m为第二特征数据,n为当前分组中数据记录的数量,wj为当前分组中各感知元件的可信等级,vj为当前分组中对应于wj的感知元件采集到的第一特征数据;将计算得出的第二特征数据替换可信度最高的分组中的第一特征数据,作为所述可信度最高的分组的网关数据;
或者,通过认证的感知元件采集到的解析数据的第一特征数据类型为非数值型数据时,将可信度最高的分组中的第一特征数据作为可信度最高的分组的网关数据。
例如,当通过认证的感知元件采集到的解析数据的第一特征数据类型为数值型数据时,根据上述公式可以计算出第二特征数据,第二特征数据有可能与该分组的第一特征数据不同,那么,将第二特征数据替换该可信度最高的分组中的第一特征数据,作为可信度最高的分组的网关数据;当通过认证的感知元件采集到的解析数据的第一特征数据类型为非数值型数据时,由于该可信度最高的分组中的解析数据具有相同的第一特征数据,因此,直接将该可信度最高的分组中的第一特征数据作为可信度最高的分组的网关数据。
当然,可以理解的是,获取可信度最高的分组的网关数据后,需将该网管数据上传至接入网端。
本实施例的数据处理方法中,首先根据获取的感知元件运行状态判断感知元件的运行状态是否正常,保留运行状态正常的感知元件的解析数据,去除运行状态不正常的感知元件的解析数据,然后将运行状态正常的感知元件的解析数据发送给感知元件认证管理装置进行认证,保留通过认证的感知元件的解析数据,去除未通过认证的感知元件的解析数据,最后根据通过认证的感知元件的解析数据生成网关数据,以接入网关,该网关数据是通过可信度最高的分组中的解析数据得出的,可以消除采集到的数据中与其他数据差异较大的数据,从而提高采集到的数据的准确性。
实施例3:
请参照图3,本实施例提供一种感知元件数据处理装置,包括:获取模块1、筛选模块2、查询模块3和生成模块4。
获取模块1用于获取感知元件采集到的解析数据,解析数据包括感知元件运行状态。
筛选模块2用于根据感知元件运行状态获取感知元件中运行状态正常的感知元件采集到的解析数据。
查询模块3用于根据感知元件管理认证装置发送的认证结果从感知元件采集并发送的解析数据中查询出通过认证的感知元件采集到的解析数据,认证结果由感知元件管理认证装置对运行状态正常的感知元件采集到的解析数据进行认证得出。
生成模块4用于根据通过认证的感知元件采集到的解析数据生成网关数据。
本实施例提供的感知元件数据处理装置可用于实现上述实施例1的数据处理方法,具体描述可参见上述实施例1。
本实施例的感知元件数据处理装置中,首先根据获取的感知元件运行状态判断感知元件的运行状态是否正常,保留运行状态正常的感知元件的解析数据,去除运行状态不正常的感知元件的解析数据,然后将运行状态正常的感知元件的解析数据发送给感知元件认证管理装置进行认证,保留通过认证的感知元件的解析数据,去除未通过认证的感知元件的解析数据,最后根据通过认证的感知元件的解析数据生成网关数据,以接入网关。
实施例4:
请参照图4,本实施例提供一种感知元件数据处理装置,包括:获取模块1、筛选模块2、查询模块3、生成模块4、接收模块5、解析模块6、发送模块7、分组模块8和上传模块9。
获取模块1用于获取感知元件采集到的解析数据,解析数据包括感知元件运行状态。
筛选模块2用于根据感知元件运行状态获取感知元件中运行状态正常的感知元件采集到的解析数据。
其中,解析数据包括感知元件标识和感知元件认证密钥。
查询模块3用于根据感知元件管理认证装置发送的认证结果从感知元件采集并发送的解析数据中查询出通过认证的感知元件采集到的解析数据,认证结果由感知元件管理认证装置对运行状态正常的感知元件采集到的解析数据进行认证得出。
生成模块4用于根据通过认证的感知元件采集到的解析数据生成网关数据。
解析模块6用于对接收的原始数据进行解析,得到与原始数据对应的解析数据。
发送模块7用于向感知元件管理认证装置发送感知元件中运行状态正常的感知元件采集到的解析数据中的感知元件标识和感知元件认证密钥,以供感知元件管理认证装置将解析数据中的感知元件标识和感知元件认证密钥与感知元件固有的感知元件标识和感知元件认证密钥进行比对,得出运行状态正常的感知元件的认证结果。
接收模块5用于接收感知元件采集并发送的原始数据;接收认证结果。
分组模块8用于根据第一特征数据对通过认证的感知元件采集到的解析数据进行分组,得出多个分组。
其中,分组模块8包括判断模块81和特征模块82。
判断模块81用于判断解析数据的第一特征数据类型为数值型或者非数值型。
特征模块82用于若判断出通过认证的感知元件采集到的解析数据的第一特征数据类型为数值型数据时,采用聚类算法根据第一特征数据的数值将通过认证的感知元件采集到的解析数据分为多个分组,每个分组对应于一组第一特征数据;或者,若判断出通过认证的感知元件采集到的解析数据的第一特征数据类型为非数值型数据时,根据第一特征数据的种类将通过认证的感知元件采集到的解析数据分为多个分组,分组的数目和第一特征数据的种类的数目相同,每个分组中的解析数据具有相同的第一特征数据。
获取模块1还用于根据通过认证的感知元件的可信等级从多个分组中查询出可信度最高的分组,从最高的可信等级开始,逐一比较各分组中当前可信等级的感知元件数目,所述可信度最高的分组中存在具有当前可信等级的感知元件,且该可信等级的感知元件唯一,未在其他分组中出现;或者,所述可信度最高的分组中具有当前可信等级的感知元件不唯一,也在其他分组出现,且所述可信度最高的分组中具有当前可信等级的感知元件数量最多。
生成模块4具体用于:通过认证的感知元件采集到的解析数据的
第一特征数据类型为数值型数据时,通过公式计算第二特征数据,其中,m为第二特征数据,n为当前分组中数据记录的数量,wj为当前分组中各感知元件的可信等级,vj为当前分组中对应于wj的感知元件采集到的第一特征数据;将计算得出的第二特征数据替换可信度最高的分组中的第一特征数据,作为可信度最高的分组的网关数据;或者,通过认证的感知元件采集到的解析数据的第一特征数据类型为非数值型数据时,将可信度最高的分组中的第一特征数据作为可信度最高的分组的网关数据。
上传模块9用于将生成的可信度最高的分组的网关数据上传到接入网关。
本实施例提供的感知元件数据处理装置可用于实现上述实施例2的数据处理方法,具体描述可参见上述实施例2。
本实施例的感知元件数据处理装置中,首先根据获取的感知元件运行状态判断感知元件的运行状态是否正常,保留运行状态正常的感知元件的解析数据,去除运行状态不正常的感知元件的解析数据,然后将运行状态正常的感知元件的解析数据发送给感知元件认证管理装置进行认证,保留通过认证的感知元件的解析数据,去除未通过认证的感知元件的解析数据,最后根据通过认证的感知元件的解析数据生成网关数据,以接入网关,该网关数据是通过可信度最高的分组中的解析数据得出的,可以消除采集到的数据中与其他数据差异较大的数据,从而提高采集到的数据的准确性。
实施例5:
请参照图5,本实施例提供了一种数据处理系统,包括:感知元件数据处理装置200、感知元件认证管理装置300和感知元件100;
感知元件100用于向感知元件数据处理装置200发送采集到的原始数据。
感知元件数据处理装置200为实施例3或4的感知元件数据处理装置。
感知元件认证管理装置300用于对运行状态正常的感知元件采集到的解析数据进行认证。
本实施例的数据处理系统中,首先根据获取的感知元件运行状态判断感知元件的运行状态是否正常,保留运行状态正常的感知元件的解析数据,去除运行状态不正常的感知元件的解析数据,然后将运行状态正常的感知元件的解析数据发送给感知元件认证管理装置进行认证,保留通过认证的感知元件的解析数据,去除未通过认证的感知元件的解析数据,最后根据通过认证的感知元件的解析数据生成网关数据,以接入网关,该网关数据是通过可信度最高的分组中的解析数据得出的,可以消除采集到的数据中与其他数据差异较大的数据,从而提高采集到的数据的准确性。
可以理解的是,以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式,然而本发明并不局限于此。对于本领域内的普通技术人员而言,在不脱离本发明的精神和实质的情况下,可以做出各种变型和改进,这些变型和改进也视为本发明的保护范围。
Claims (12)
1.一种数据处理方法,其特征在于,包括:
获取感知元件采集到的解析数据,所述解析数据包括感知元件运行状态;
根据所述感知元件运行状态获取所述感知元件中运行状态正常的感知元件采集到的解析数据;
根据感知元件管理认证装置发送的认证结果,从感知元件采集并发送的解析数据中查询出通过认证的感知元件采集到的解析数据,所述认证结果由感知元件管理认证装置对所述运行状态正常的感知元件采集到的解析数据进行认证得出,所述认证结果包括通过认证的感知元件的可信等级和采集特征;
根据所述通过认证的感知元件采集到的解析数据生成网关数据。
2.根据权利要求1所述的数据处理方法,其特征在于,所述获取感知元件采集到的解析数据,所述解析数据包括感知元件运行状态包括:
接收感知元件采集并发送的原始数据;
对接收的所述原始数据进行解析,得到与所述原始数据对应的解析数据。
3.根据权利要求1所述的数据处理方法,其特征在于,所述解析数据包括感知元件标识和感知元件认证密钥;在所述根据所述感知元件运行状态获取所述感知元件中运行状态正常的感知元件采集到的解析数据之后,还包括:
向所述感知元件管理认证装置发送所述感知元件中运行状态正常的感知元件采集到的解析数据中的感知元件标识和感知元件认证密钥,以供所述感知元件管理认证装置将解析数据中的感知元件标识和感知元件认证密钥与所述感知元件固有的感知元件标识和感知元件认证密钥进行比对,得出所述运行状态正常的感知元件的认证结果;
接收所述认证结果。
4.根据权利要求1所述的数据处理方法,其特征在于,所述根据所述通过认证的感知元件采集到的解析数据生成网关数据,包括:
根据第一特征数据对通过认证的感知元件采集到的解析数据进行分组,得出多个分组;
根据所述通过认证的感知元件的可信等级从所述多个分组中查询出可信度最高的分组,从最高的可信等级开始,逐一比较各分组中当前可信等级的感知元件数目,所述可信度最高的分组中存在具有当前可信等级的感知元件,且该可信等级的感知元件唯一,未在其他分组中出现;或者,所述可信度最高的分组中具有当前可信等级的感知元件不唯一,也在其他分组出现,且所述可信度最高的分组中具有当前可信等级的感知元件数量最多;
生成所述可信度最高的分组的网关数据。
5.根据权利要求4所述的数据处理方法,其特征在于,所述解析数据的第一特征数据类型为数值型或者非数值型;所述根据第一特征数据对通过认证的感知元件采集到的解析数据进行分组,得出多个分组之前,还包括:
判断所述解析数据的第一特征数据类型为数值型或者非数值型;
所述根据第一特征数据对通过认证的感知元件采集到的解析数据进行分组,得出多个分组包括:
若判断出所述通过认证的感知元件采集到的解析数据的第一特征数据类型为数值型数据时,采用聚类算法根据第一特征数据的数值将所述通过认证的感知元件采集到的解析数据分为多个分组,每个分组对应于一组第一特征数据;或者,若判断出所述通过认证的感知元件采集到的解析数据的第一特征数据类型为非数值型数据时,根据第一特征数据的种类将所述通过认证的感知元件采集到的解析数据分为多个分组,所述分组的数目和所述第一特征数据的种类的数目相同,每个分组中的解析数据具有相同的第一特征数据。
6.根据权利要求4所述的数据处理方法,其特征在于,所述生成所述可信度最高的分组的网关数据包括:
所述通过认证的感知元件采集到的解析数据的第一特征数据类型为数值型数据时,通过公式计算出第二特征数据,其中,m为第二特征数据,n为当前分组中数据记录的数量,wj为当前分组中各感知元件的可信等级,vj为当前分组中对应于wj的感知元件采集到的第一特征数据;将所述第二特征数据替换可信度最高的分组中的第一特征数据,作为所述可信度最高的分组的所述网关数据;
或者,所述通过认证的感知元件采集到的解析数据的第一特征数据类型为非数值型数据时,将可信度最高的分组中的第一特征数据作为所述可信度最高的分组的所述网关数据。
7.一种感知元件数据处理装置,其特征在于,包括:
获取模块,用于获取感知元件采集到的解析数据,所述解析数据包括感知元件运行状态;
筛选模块,用于根据所述感知元件运行状态获取所述感知元件中运行状态正常的感知元件采集到的解析数据;
查询模块,用于根据感知元件管理认证装置发送的认证结果从感知元件采集并发送的解析数据中查询出通过认证的感知元件采集到的解析数据,所述认证结果由感知元件管理认证装置对所述运行状态正常的感知元件采集到的解析数据进行认证得出;
生成模块,用于根据所述通过认证的感知元件采集到的解析数据生成网关数据。
8.根据权利要求7所述的感知元件数据处理装置,其特征在于,所述解析数据包括感知元件标识和感知元件认证密钥,所述感知元件数据处理装置还包括接收模块、解析模块和发送模块;
所述接收模块,用于接收感知元件采集并发送的原始数据;
所述解析模块,用于对接收的所述原始数据进行解析,得到与所述原始数据对应的解析数据;
所述发送模块,用于向所述感知元件管理认证装置发送所述感知元件中运行状态正常的感知元件采集到的解析数据中的感知元件标识和感知元件认证密钥,以供所述感知元件管理认证装置将解析数据中的感知元件标识和感知元件认证密钥与所述感知元件固有的感知元件标识和感知元件认证密钥进行比对,得出所述运行状态正常的感知元件的认证结果;
所述接收模块还用于接收所述认证结果。
9.根据权利要求7所述的感知元件数据处理装置,其特征在于,还包括:分组模块和上传模块;
所述分组模块,用于根据第一特征数据对通过认证的感知元件采集到的解析数据进行分组,得出多个分组;
所述获取模块,还用于根据所述通过认证的感知元件的可信等级从所述多个分组中查询出可信度最高的分组,从最高的可信等级开始,逐一比较各分组中当前可信等级的感知元件数目,所述可信度最高的分组中存在具有当前可信等级的感知元件,且该可信等级的感知元件唯一,未在其他分组中出现;或者,所述可信度最高的分组中具有当前可信等级的感知元件不唯一,也在其他分组出现,且所述可信度最高的分组中具有当前可信等级的感知元件数量最多;
所述上传模块,用于将生成的所述可信度最高的分组的网关数据上传到接入网关。
10.根据权利要求9所述的感知元件数据处理装置,其特征在于,所述分组模块包括判断模块和特征模块;
所述判断模块,用于判断所述解析数据的第一特征数据类型为数值型或者非数值型;
所述特征模块,用于若判断出所述通过认证的感知元件采集到的解析数据的第一特征数据类型为数值型数据时,采用聚类算法根据第一特征数据的数值将所述通过认证的感知元件采集到的解析数据分为多个分组,每个分组对应于一组第一特征数据;或者,若判断出所述通过认证的感知元件采集到的解析数据的第一特征数据类型为非数值型数据时,根据第一特征数据的种类将所述通过认证的感知元件采集到的解析数据分为多个分组,所述分组的数目和所述第一特征数据的种类的数目相同,每个分组中的解析数据具有相同的第一特征数据。
11.根据权利要求9所述的感知元件数据处理装置,其特征在于,所述生成模块具体用于:
所述通过认证的感知元件采集到的解析数据的第一特征数据类型为数值型数据时,通过公式计算第二特征数据,其中,m为第二特征数据,n为当前分组中数据记录的数量,wj为当前分组中各感知元件的可信等级,vj为当前分组中对应于wj的感知元件采集到的第一特征数据;将所述第二特征数据替换可信度最高的分组中的第一特征数据,作为所述可信度最高的分组的所述网关数据;
或者,所述通过认证的感知元件采集到的解析数据的第一特征数据类型为非数值型数据时,将可信度最高的分组中的第一特征数据作为所述可信度最高的分组的所述网关数据。
12.一种数据处理系统,其特征在于,包括:感知元件数据处理装置、感知元件认证管理装置和感知元件;
所述感知元件数据处理装置,所述感知元件数据处理装置为权利要求7至11任意一项所述的感知元件数据处理装置;
所述感知元件认证管理装置,用于对所述运行状态正常的感知元件采集到的解析数据进行认证;
所述感知元件,用于向所述感知元件数据处理装置发送采集到的原始数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510741077.9A CN105426429B (zh) | 2015-11-04 | 2015-11-04 | 数据处理方法、感知元件数据处理装置、数据处理系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510741077.9A CN105426429B (zh) | 2015-11-04 | 2015-11-04 | 数据处理方法、感知元件数据处理装置、数据处理系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105426429A CN105426429A (zh) | 2016-03-23 |
CN105426429B true CN105426429B (zh) | 2019-03-26 |
Family
ID=55504641
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510741077.9A Active CN105426429B (zh) | 2015-11-04 | 2015-11-04 | 数据处理方法、感知元件数据处理装置、数据处理系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105426429B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2003073359A2 (en) * | 2002-02-26 | 2003-09-04 | Canesta, Inc. | Method and apparatus for recognizing objects |
CN102486390A (zh) * | 2010-12-05 | 2012-06-06 | 中国科学院沈阳自动化研究所 | 一种适用于钢铁企业蒸汽管网计量数据校正的方法 |
CN103067171A (zh) * | 2012-12-14 | 2013-04-24 | 无锡华御信息技术有限公司 | 一种基于安全认证的物联网数据安全方法 |
CN103686717A (zh) * | 2013-12-23 | 2014-03-26 | 江苏物联网研究发展中心 | 一种物联网传感系统的密钥管理方法 |
CN104093180A (zh) * | 2014-06-10 | 2014-10-08 | 西北大学 | 一种基于多网关数据传输的无线传感网络路由方法 |
CN104135366A (zh) * | 2013-05-03 | 2014-11-05 | 北大方正集团有限公司 | 数据认证系统和数据认证方法 |
-
2015
- 2015-11-04 CN CN201510741077.9A patent/CN105426429B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2003073359A2 (en) * | 2002-02-26 | 2003-09-04 | Canesta, Inc. | Method and apparatus for recognizing objects |
CN102486390A (zh) * | 2010-12-05 | 2012-06-06 | 中国科学院沈阳自动化研究所 | 一种适用于钢铁企业蒸汽管网计量数据校正的方法 |
CN103067171A (zh) * | 2012-12-14 | 2013-04-24 | 无锡华御信息技术有限公司 | 一种基于安全认证的物联网数据安全方法 |
CN104135366A (zh) * | 2013-05-03 | 2014-11-05 | 北大方正集团有限公司 | 数据认证系统和数据认证方法 |
CN103686717A (zh) * | 2013-12-23 | 2014-03-26 | 江苏物联网研究发展中心 | 一种物联网传感系统的密钥管理方法 |
CN104093180A (zh) * | 2014-06-10 | 2014-10-08 | 西北大学 | 一种基于多网关数据传输的无线传感网络路由方法 |
Also Published As
Publication number | Publication date |
---|---|
CN105426429A (zh) | 2016-03-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106100902B (zh) | 云端指标监控方法和装置 | |
US8572697B2 (en) | Method for statistical object identification | |
CN102171969A (zh) | 用于操作网络的方法,用于其的系统管理设备、网络和计算机程序 | |
CN107292181A (zh) | 基于区块链的数据库系统及使用该系统的使用方法 | |
KR101831604B1 (ko) | 데이터 전송 방법, 인증 방법 및 이를 수행하기 위한 서버 | |
CN109905328B (zh) | 数据流的识别方法和装置 | |
CN109359250A (zh) | 统一资源定位符处理方法、装置、服务器及可读存储介质 | |
CN106060097B (zh) | 一种信息安全竞赛的管理系统及管理方法 | |
CN110445689A (zh) | 识别物联网设备类型的方法、装置及计算机设备 | |
CN107040405B (zh) | 网络环境下被动式多维度主机指纹模型构建方法及其装置 | |
CN113469371B (zh) | 联邦学习方法和装置 | |
CN110138801A (zh) | 文件共享方法、装置、系统、服务器、终端及存储介质 | |
CN109714335A (zh) | 一种信息检测方法及信息检测装置 | |
US20210288884A1 (en) | Fingerprint determination for network mapping | |
Karame et al. | On the security of end-to-end measurements based on packet-pair dispersions | |
CN105426429B (zh) | 数据处理方法、感知元件数据处理装置、数据处理系统 | |
CN107426166A (zh) | 一种信息的获取方法、装置及电子设备 | |
ES2632167B1 (es) | Sistema de monitoreo y extracción de informaciones públicas de usuarios registrados en redes sociales, alojadas en servidores y nubes de datos de redes sociales | |
CN117439799A (zh) | 一种http请求数据防篡改的方法 | |
CN106130764B (zh) | 一种监控视频直播间数据服务是否可用的方法及系统 | |
CN106790160B (zh) | 密级标识与校验方法及装置 | |
CN111522642B (zh) | 风电机组状态监测数据的获取方法、查询方法及电子设备 | |
CN112422589A (zh) | 域名系统请求的识别方法、存储介质及电子设备 | |
CN115146737B (zh) | 匹配模型的建模方法、防护实现方法及相关设备 | |
CN112564928A (zh) | 服务分类方法及设备、互联网系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |