CN110971488A - 一种数据处理方法、装置、服务器和存储介质 - Google Patents

Abstract

本发明公开了一种数据处理方法、装置、服务器和存储介质。该方法包括：接收物联网设备周期性发送的监测数据，获得监测数据序列；根据预设窗口大小，对监测数据序列创建滑动窗口；检测滑动窗口中的目标监测数据是否为异常数据，并删除滑动窗口中的异常数据。通过本发明实施例的技术方案，可以及时删除异常数据，从而可以避免异常数据的存储，提高了内存资源利用率。

Description

一种数据处理方法、装置、服务器和存储介质

技术领域

本发明实施例涉及物联网技术，尤其涉及一种数据处理方法、装置、服务器和存储介质。

背景技术

随着物联网技术的蓬勃发展，物联网设备呈指数级增长，并且物联网设备通常周期性地发送监测数据，从而对接收的大量的监测数据进行有效处理显得尤为重要。

现有技术中，通常是将物联网设备发送的所有监测数据直接存储至数据库中，以使技术人员后续进行数据分析。然而，当物联网设备发生故障时，该物联网设备生成的监测数据为异常数据，若将这些异常无用的数据直接存储至数据库中，会导致数据库存储空间的浪费，从而降低了内存资源利用率，同时也不便于技术人员进行数据分析。

发明内容

本发明实施例提供了一种数据处理方法、装置、服务器和存储介质，可以及时删除异常数据，从而可以避免异常数据的存储，提高了内存资源利用率。

第一方面，本发明实施例提供了一种数据处理方法，包括：

接收物联网设备周期性发送的监测数据，获得监测数据序列；

根据预设窗口大小，对所述监测数据序列创建滑动窗口；

检测所述滑动窗口中的目标监测数据是否为异常数据，并删除所述滑动窗口中的异常数据。

第二方面，本发明实施例还提供了一种数据处理装置，包括：

监测数据接收模块，用于接收物联网设备周期性发送的监测数据，获得监测数据序列；

滑动窗口创建模块，用于根据预设窗口大小，对所述监测数据序列创建滑动窗口；

异常数据检测模块，用于检测所述滑动窗口中的目标监测数据是否为异常数据，并删除所述滑动窗口中的异常数据。

第三方面，本发明实施例还提供了一种服务器，所述服务器包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任意实施例所提供的数据处理方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的数据处理方法。

本发明实施例通过接收物联网设备周期性发送的监测数据，将每次接收的监测数据形成监测数据序列，并在监测数据序列上创建滑动窗口，实时检测位于滑动窗口内的目标监测数据是否为异常数据，从而可以将所述滑动窗口中的异常数据进行及时删除。由于滑动窗口可以在监测数据序列上进行动态滑动，从而可以将监测数据序列中的所有异常数据进行删除，进而可以避免异常数据的存储，从源头杜绝无效数据入库，减少数据冗余，提高了内存资源利用率，同时也便于技术人员后续进行数据分析，保证分析的准确性。

附图说明

图1是本发明实施例一提供的一种数据处理方法的流程图；

图2是本发明实施例一所涉及的一种滑动窗口的示例；

图3是本发明实施例一所涉及的一种确定数据之间的距离的示例；

图4是本发明实施例二提供的一种数据处理方法的流程图；

图5是本发明实施例三提供的一种数据处理装置的结构示意图；

图6是本发明实施例四提供的一种服务器的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一提供的一种数据处理方法的流程图，本实施例可适用于对物联网设备周期性发送的监测数据进行处理的情况。该方法可以由数据处理装置来执行，该装置可以由软件和/或硬件的方式来实现，集成于管理物联网设备的服务器中。该方法具体包括以下步骤：

S110、接收物联网设备周期性发送的监测数据，获得监测数据序列。

其中，物联网设备是指可以采集信息，并进行信息通信的任意设备，比如水位监测设备、油烟监测设备、电气火灾监测设备等。监测数据可以是指物联网设备自身采集的测量数据。

具体地，物联网设备可以每隔一段时间采集一次监测数据，并将每次采集的监测数据周期性地发送至服务器中，从而服务器可以每隔一段时间接收到一次监测数据，使得服务器可以基于接收时间的先后顺序，将每次接收到的监测数据组成一个监测数据序列，获得一个时序数据。需要说明的是，服务器每当接收到一次监测数据时，将当前接收的监测数据放置在监测数据序列的后面，实时更新监测数据序列，使得监测数据序列是随时间动态变化的。

S120、根据预设窗口大小，对监测数据序列创建滑动窗口。

其中，预设窗口大小可以是预先基于业务需求和场景，设置的滑动窗口的大小。本实施例中的预设窗口大小可以利用时间的方式或者包含监测数据个数的方式进行表征。例如，预设窗口大小可以设置为1小时，或者包含k个监测数据。滑动窗口可以是指在监测数据序列上进行滑动的窗口，用于维护k个监测数据。滑动窗口可以是每当接收到一个新的监测数据时滑动一次。例如，假设滑动窗口中的当前监测数据为：{r(t₁)，r(t₂)，…，r(t_k)}，当接收到一个新的监测数据r(t_k+1)时，滑动窗口在监测数据序列上滑动一次，此时滑动窗口中的当前监测数据更新为{r(t₂)，r(t₃)，…，r(t_k+1)}，后续的监测数据以此类推。示例性地，若物联网设备的数据发送周期为每6秒发送一次，预设窗口大小设置为1小时，则滑动窗口中可以包含监测数据序列中的11个监测数据。

具体地，在随时间动态增加的监测数据序列上创建一个滑动窗口，每当接收到一个新的监测数据时，表明最早的监测数据将过期，此时滑动窗口在监测数据序列上滑动一次，用于包含最新的监测数据，并去除滑动窗口中最早的监测数据。

S130、检测滑动窗口中的目标监测数据是否为异常数据，并删除滑动窗口中的异常数据。

其中，目标监测数据可以是指滑动窗口中所包含的每个监测数据。异常数据可以是指因物联网设备出现故障而产生的无效数据。示例性地，异常数据可以是指心跳数据，即波动幅度较大的数据。

具体地，本实施例可以根据滑动窗口中的每个目标监测数据的波动幅度，确定出每个目标监测数据是否为异常数据，从而可以实时获得滑动窗口中所有的异常数据，并将这些异常数据及时进行删除，以避免存储异常数据至数据库，从而可以提高数据库的资源利用率，同时也可以避免技术人员分析异常数据，保证分析结果的准确性。

示例性地，图2给出了一种滑动窗口的示例。如图2所示，预设窗口大小为1小时，每6秒接收一次监测数据，从而滑动窗口中包含11个监测数据。图2中的横坐标为时间，纵坐标为具体的监测值，从图2中可以看出，画圆圈的两个监测值为心跳数据，即异常数据，从而需要将画圆圈的两个监测数据进行删除，以便及时删除异常数据，并将删除异常数据后的监测数据序列存储至数据库中，从而可以提高内存资源利用率。

示例性地，S130可以包括：将滑动窗口中每三个相邻的目标监测数据作为一组监测数据；确定每组监测数据中的中间监测数据与前一监测数据之间的第一距离，以及中间监测数据与后一监测数据之间的第二距离；根据第一距离和第二距离确定每组监测数据中的中间监测数据是否为异常数据。

其中，前一监测数据是基于排序次序，位于中间监测数据的前一个监测数据。后一监测数据是基于排序次序，位于中间监测数据的后一个监测数据。第一距离可以是指中间监测数据与前一监测数据之间的差值；第二距离可以是指中间监测数据与后一监测数据之间的差值。

具体地，可以将滑动窗口中的所有目标监测数据，每三个相邻的目标监测数据划分为一组，作为一组监测数据。例如，滑动窗口中包含5个监测数据，依次为{r(t₁)，r(t₂)，r(t₃)，r(t₄)，r(t₅)}，则对应三组监测数据，分别为：{r(t₁)，r(t₂)，r(t₃)}、{r(t₂)，r(t₃)，r(t₄)}和{r(t₃)，r(t₄)，r(t₅)}。每组监测数据中均包含前一监测数据、中间监测数据和后一监测数据。针对每组监测数据而言，可以基于预设差值方式，确定中间监测数据与前一监测数据之间的第一距离，以及中间监测数据与后一监测数据之间的第二距离。根据第一距离和第二距离可以确定出每组监测数据中的中间监测数据的波动幅度，进而可以确定出是否为异常数据。

示例性地，本实施例可以通过对异常数据的检测，实时监控物联网设备运行状态，从而提高设备有效运行时长。例如，实时检测滑动窗口中是否出现有异常数据，从而可以在检测到异常数据时，表明设备出现故障，此时可以及时通知相关的维护人员进行维修，以保证设备的正常运行，提高设备的有效运行时长。

本实施例的技术方案，通过接收物联网设备周期性发送的监测数据，将每次接收的监测数据形成监测数据序列，并在监测数据序列上创建滑动窗口，实时检测位于滑动窗口内的目标监测数据是否为异常数据，从而可以将滑动窗口中的异常数据进行及时删除。由于滑动窗口可以在监测数据序列上进行动态滑动，从而可以将监测数据序列中的所有异常数据进行删除，进而可以避免异常数据的存储，提高了内存资源利用率，同时也便于技术人员后续进行数据分析，保证分析的准确性。

在上述技术方案基础上，确定每组监测数据中的中间监测数据与前一监测数据之间的第一距离，以及中间监测数据与后一监测数据之间的第二距离，可以包括：将每组监测数据中的中间监测数据减去前一监测数据获得的差值，确定为第一距离，以及将每组监测数据中的中间监测数据减去后一监测数据获得的差值，确定为第一距离。

具体地，图3给出了一种确定数据之间的距离的示例。图3中的V表示中间监测数据的监测值；V₀表示前一监测数据的监测值；V₂表示后一监测数据的监测值；D₁表示第一距离；D₂表示第二距离。例如，第一距离D₁＝V-V₀；第二距离D₂＝V-V₂。

相应地，根据第一距离和第二距离确定每组监测数据中的中间监测数据是否为异常数据，可以包括：将第一距离与第二距离进行相乘，获得每组监测数据中的中间监测数据对应的乘积；若乘积等于或小于0，则确定该中间监测数据为非异常数据；若乘积大于0，则根据该中间监测数据对应的第一距离和第二距离确定该中间监测数据是否为异常数据。

具体地，在确定出每组监测数据中的中间监测数据对应的第一距离和第二距离后，可以将第一距离与第二距离进行相乘，若获得的乘积等于或小于0，则表明第一距离和第二距离是一正一负，即V₀、V和V₂组成的线段是单调增加或减少的，在V点处没有出现心跳波动，此时确定出该组中的中间监测数据为非异常数据。若获得的乘积大于0，则表明第一距离和第二距离是同正或者同负，此时V₀、V和V₂组成的线段不是单调增加或减少的，即在V点处出现心跳波动，此时可以根据第一距离和第二距离的大小确定出相应的波动幅度，进而基于波动幅度可以确定出该组中的中间监测数据是否为异常数据。

需要说明的是，第一距离和第二距离的计算方式可以是但不限于上述方式。例如，也可以将每组监测数据中的中间监测数据减去前一监测数据获得的差值，确定为第一距离，以及将每组监测数据中的后一监测数据减去中间监测数据获得的差值，确定为第一距离，也就是说，第一距离D₁＝V-V₀；第二距离D₂＝V₂-V。针对这种计算方式，后续的检测过程相应地修改为：在将第一距离与第二距离进行相乘获得的乘积大于0，则确定该中间监测数据为非异常数据；若乘积小于或等于0，则根据该中间监测数据对应的第一距离和第二距离确定该中间监测数据是否为异常数据。

示例性地，根据该中间监测数据对应的第一距离和第二距离确定该中间监测数据是否为异常数据，包括：

获取该中间监测数据对应的第一距离的第一绝对值和第二距离的第二绝对值中的最小值，并将最小值确定为该中间监测数据的心跳系数；若检测到该中间监测数据对应的心跳系数满足预设心跳条件，则将该中间监测数据确定为异常数据，否则确定为非异常数据；其中，预设心跳条件根据每组监测数据中的中间监测数据对应的心跳系数预先确定。

其中，心跳系数可以用于表征中间监测数据的跳跃幅度。若心跳系数越大，则表明中间监测数据的跳跃幅度越大。本实施例中的心跳系数为大于0的数值。预设心跳条件可以是指监测数据为心跳数据时所满足的条件，其可以基于每组监测数据中的中间监测数据对应的心跳系数进行确定。示例性地，对各组监测数据中的中间监测数据对应的心跳系数进行统计分析，确定各心跳系数中的中位数m和标准差σ。预设心跳条件可以设置为：心跳系数h的绝对值|h|必须满足|h|>m+3×σ时，确定该心跳系数所对应的中间监测数据是异常数据。

具体地，对于每组监测数据而言，将该组监测数据对应的第一距离和第二距离均取绝对值，分别获得第一绝对值和第二绝对值，若第一绝对值大于或等于第二绝绝对值，则将第二绝对值确定为该组监测数据中的中间监测数据对应的心跳系数。同理，可以确定出每组监测数据中的中间监测数据所对应的心跳系数。对于第一距离与第二距离的乘积大于0的中间监测数据而言，可以根据该中间监测数据对应的心跳系数h判断是否满足预设心跳条件，即|h|>m+3×σ，若满足，则表明该中间监测数据的跳跃幅度较大，此时可以确定为该中间监测数据为异常数据，若不满足，则表明该中间监测数据的跳跃幅度属于正常范围，此时可以确定为该中间监测数据为非异常数据，从而可以确定出滑动窗口中的每个中间监测数据是否为异常数据。

需要说明的是，对于处于滑动窗口中的末端监测数据，可以随着滑动窗口的滑动，处于末端的监测数据也可以成为中间监测数据，从而可以在下一个滑动窗口中对末端监测数据进行异常检测。示例性地，滑动窗口最初还未滑动时，可以基于上述方式对滑动窗口中的每个中间监测数据进行检测，当后续滑动窗口每滑动一次，即移入一个最新的监测数据时，由于之前的监测数据已经被检测过，从而只需对最新的监测数据的前一监测数据进行异常检测即可，从而进一步提高了处理效率。

实施例二

图4为本发明实施例二提供的一种数据处理方法的流程图，本实施例在上述实施例的基础上，在获取物联网设备发送的监测数据之后，对该监测数据进行缺失检测的过程进行了描述。在此基础上，还进一步对缺失监测数据进行补插的过程进行了详细描述。其中与上述各实施例相同或相应的术语的解释在此不再赘述。

参见图4，本实施例提供的数据处理方法具体包括以下步骤：

S210、接收物联网设备周期性发送的监测数据，确定当前接收到的当前监测数据对应的当前数据类型。

具体地，服务器每当接收到一个监测数据时，可以利用数据类型获取函数typeof()，确定出当前接收到的当前监测数据对应的当前数据类型。数据类型获取函数的内部可以基于映射关系进行数据类型的确定。示例性地，若检测到当前监测数据为空数据，则确定当前数据类型为空类型；若检测当前监测数据为数字，则确定当前数据类型为数值类型；若检测当前监测数据为字母，则确定当前数据类型为字符串类型。

S220、若根据当前数据类型确定当前监测数据为缺失数据，则确定当前监测数据的数据标识为预设缺失标识。

其中，缺失数据可以是指空数据。预设缺失标识可以是基于业务需求和场景预先设置的标识，用于区分缺失数据和非缺失数据。例如，预设缺失标识可以设置为“1”；预设非缺失标识可以设置为“0”。

具体地，在确定出当前监测数据对应的当前数据类型时，可以检测当前数据类型是否为空类型，若是，则确定当前监测数据的数据标识为预设缺失标识；若否，则确定当前监测数据的数据标识为预设非缺失标识，从而可以实现缺失数据的检测，以避免因数据缺失而导致异常检测不准确的情况。

S230、获得监测数据序列，并根据预设窗口大小，对监测数据序列创建滑动窗口。

S240、若检测到滑动窗口中存在数据标识为预设缺失标识的缺失监测数据，则根据滑动窗口中的非缺失监测数据，对缺失监测数据进行补插，确定补插后的目标监测数据。

具体地，检测滑动窗口中的每个目标监测数据的数据标识是否为预设缺失标识，若是，则确定该目标监测数据为缺失监测数据，若否，则确定该目标监测数据为非缺失监测数据，从而可以获得滑动窗口中的所有缺失监测数据和所所有非缺失监测数据。为了可以更准确地衡量滑动窗口中的每个监测数据的波动幅度，从而需要对每个缺失监测数据进行补插，获得较为准确的目标监测数据来替代缺失监测数据，从而提高异常检测的准确性。

示例性地，S240可以包括：根据滑动窗口中的非缺失监测数据确定置信区间，并从置信区间中确定出预设数量的待选插补数据；根据每个待选插补数据和非缺失监测数据进行统计分析，从各待选插补数据中确定出目标插补数据，并作为补插后的目标监测数据。

其中，置信区间可以是指真实的缺失监测数据所处于的区间。预设数量可以是指待选插补数据的个数，其可以基于业务需求预先设置。具体地，本实施例可以基于线性回归等方式，对滑动窗口中的所有非缺失监测数据进行分析，确定出缺失监测数据的真实值所处于的置信区间。对于每个缺失监测数据而言，在置信区间中可以随机取出预设数量的待选插补数据，通过模型拟合的方式从所有待选插补数据中确定出最佳目标的插补数据作为补插后的目标监测数据。示例性地，本实施例可以利用但不限于线性回归模型，随机森林和决策树等模型进行统计分析，所有待选插补数据中获得最佳的目标插补数据，从而可以对缺失监测数据进行插补操作，进而提高后续异常检测的准确性。本实施例可以实时对数据进行甄别，对缺失监测数据进行拟合补插，提高数据有效度。

S250、检测滑动窗口中的目标监测数据是否为异常数据，并删除滑动窗口中的异常数据。

本实施例的技术方案，通过实时对当前接收的当前监测数据进行缺失检测，从而可以获得缺失监测数据，并且对缺失监测数据进行补插操作，进而可以避免因数据缺失而导致异常检测不准确的情况，提高了数据处理的准确性。

以下是本发明实施例提供的数据处理装置的实施例，该装置与上述各实施例的数据处理方法属于同一个发明构思，在数据处理装置的实施例中未详尽描述的细节内容，可以参考上述数据处理方法的实施例。

实施例三

图5为本发明实施例三提供的一种数据处理装置的结构示意图，本实施例可适用于对物联网设备周期性发送的监测数据进行处理的情况，该装置具体包括：监测数据接收模块310、滑动窗口创建模块320和异常数据检测模块330。

其中，监测数据接收模块310，用于接收物联网设备周期性发送的监测数据，获得监测数据序列；滑动窗口创建模块320，用于根据预设窗口大小，对监测数据序列创建滑动窗口；异常数据检测模块330，用于检测滑动窗口中的目标监测数据是否为异常数据，并删除滑动窗口中的异常数据。

可选地，异常数据检测模块330，包括：

目标监测数据划分单元，用于将滑动窗口中每三个相邻的目标监测数据作为一组监测数据；

距离确定单元，用于确定每组监测数据中的中间监测数据与前一监测数据之间的第一距离，以及中间监测数据与后一监测数据之间的第二距离；

异常数据检测单元，用于根据第一距离和第二距离确定每组监测数据中的中间监测数据是否为异常数据。

可选地，距离确定单元，具体用于：将每组监测数据中的中间监测数据减去前一监测数据获得的差值，确定为第一距离，以及将每组监测数据中的中间监测数据减去后一监测数据获得的差值，确定为第一距离；

相应地，异常数据检测单元，包括：

距离相乘子单元，用于将第一距离与第二距离进行相乘，获得每组监测数据中的中间监测数据对应的乘积；

非异常数据确定子单元，用于若乘积等于或小于0，则确定该中间监测数据为非异常数据；

异常数据检测子单元，用于若乘积大于0，则根据该中间监测数据对应的第一距离和第二距离确定该中间监测数据是否为异常数据。

可选地，异常数据检测子单元，具体用于：

获取该中间监测数据对应的第一距离的第一绝对值和第二距离的第二绝对值中的最小值，并将最小值确定为该中间监测数据的心跳系数；

若检测到该中间监测数据对应的心跳系数满足预设心跳条件，则将该中间监测数据确定为异常数据，否则确定为非异常数据；

其中，预设心跳条件根据每组监测数据中的中间监测数据对应的心跳系数预先确定。

可选地，该装置还包括：

数据类型确定模块，用于在接收物联网设备周期性发送的监测数据之后，确定当前接收到的当前监测数据对应的当前数据类型；

数据标识确定模块，用于若根据当前数据类型确定当前监测数据为缺失数据，则确定当前监测数据的数据标识为预设缺失标识。

可选地，该装置还包括：

缺失监测数据补插模块，用于在检测滑动窗口中的目标监测数据是否为异常数据之前，若检测到滑动窗口中存在数据标识为预设缺失标识的缺失监测数据，则根据滑动窗口中的非缺失监测数据，对缺失监测数据进行补插，确定补插后的目标监测数据。

可选地，缺失监测数据补插模块，具体用于：

根据滑动窗口中的非缺失监测数据确定置信区间，并从置信区间中确定出预设数量的待选插补数据；

根据每个待选插补数据和非缺失监测数据进行统计分析，从各待选插补数据中确定出目标插补数据，并作为补插后的目标监测数据。

本发明实施例所提供的数据处理装置可执行本发明任意实施例所提供的数据处理方法，具备执行数据处理方法相应的功能模块和有益效果。

值得注意的是，上述数据处理装置的实施例中，所包括的各个模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

实施例四

图6是本发明实施例四提供的一种服务器的结构示意图。参见图6，该服务器包括：

一个或多个处理器410；

存储器420，用于存储一个或多个程序；

当一个或多个程序被一个或多个处理器410执行，使得一个或多个处理器410实现如上述实施例中任意实施例所提供的数据处理方法，该方法包括：

接收物联网设备周期性发送的监测数据，获得监测数据序列；

根据预设窗口大小，对监测数据序列创建滑动窗口；

检测滑动窗口中的目标监测数据是否为异常数据，并删除滑动窗口中的异常数据。

图6中以一个处理器410为例；服务器中的处理器410和存储器420可以通过总线或其他方式连接，图6中以通过总线连接为例。

存储器420作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的数据处理方法对应的程序指令/模块(例如，数据处理装置中的监测数据接收模块310、滑动窗口创建模块320和异常数据检测模块330)。处理器410通过运行存储在存储器420中的软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述的数据处理方法。

存储器420主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据服务器的使用所创建的数据等。此外，存储器420可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器420可进一步包括相对于处理器410远程设置的存储器，这些远程存储器可以通过网络连接至服务器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

本实施例提出的服务器与上述实施例提出的数据处理方法属于同一发明构思，未在本实施例中详尽描述的技术细节可参见上述实施例，并且本实施例具备执行数据处理方法相同的有益效果。

实施例五

本实施例五提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所述的数据处理方法步骤，该方法包括：

接收物联网设备周期性发送的监测数据，获得监测数据序列；

根据预设窗口大小，对所述监测数据序列创建滑动窗口；

检测所述滑动窗口中的目标监测数据是否为异常数据，并删除所述滑动窗口中的异常数据。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

本领域普通技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个计算装置上，或者分布在多个计算装置所组成的网络上，可选地，他们可以用计算机装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件的结合。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种数据处理方法，其特征在于，包括：

接收物联网设备周期性发送的监测数据，获得监测数据序列；

根据预设窗口大小，对所述监测数据序列创建滑动窗口；

检测所述滑动窗口中的目标监测数据是否为异常数据，并删除所述滑动窗口中的异常数据。

2.根据权利要求1所述的方法，其特征在于，检测所述滑动窗口中的目标监测数据是否为异常数据，包括：

将所述滑动窗口中每三个相邻的目标监测数据作为一组监测数据；

确定每组监测数据中的中间监测数据与前一监测数据之间的第一距离，以及中间监测数据与后一监测数据之间的第二距离；

根据所述第一距离和所述第二距离确定每组监测数据中的中间监测数据是否为异常数据。

3.根据权利要求2所述的方法，其特征在于，确定每组监测数据中的中间监测数据与前一监测数据之间的第一距离，以及中间监测数据与后一监测数据之间的第二距离，包括：

将每组监测数据中的中间监测数据减去前一监测数据获得的差值，确定为第一距离，以及将每组监测数据中的中间监测数据减去后一监测数据获得的差值，确定为第一距离；

相应地，根据所述第一距离和所述第二距离确定每组监测数据中的中间监测数据是否为异常数据，包括：

将所述第一距离与所述第二距离进行相乘，获得每组监测数据中的中间监测数据对应的乘积；

若所述乘积等于或小于0，则确定该中间监测数据为非异常数据；

若所述乘积大于0，则根据该中间监测数据对应的所述第一距离和所述第二距离确定该中间监测数据是否为异常数据。

4.根据权利要求3所述的方法，其特征在于，根据该中间监测数据对应的所述第一距离和所述第二距离确定该中间监测数据是否为异常数据，包括：

获取该中间监测数据对应的所述第一距离的第一绝对值和所述第二距离的第二绝对值中的最小值，并将所述最小值确定为该中间监测数据的心跳系数；

若检测到该中间监测数据对应的心跳系数满足预设心跳条件，则将该中间监测数据确定为异常数据，否则确定为非异常数据；

其中，所述预设心跳条件根据每组监测数据中的中间监测数据对应的心跳系数预先确定。

5.根据权利要求1-4任一所述的方法，其特征在于，在接收物联网设备周期性发送的监测数据之后，还包括：

确定当前接收到的当前监测数据对应的当前数据类型；

若根据所述当前数据类型确定所述当前监测数据为缺失数据，则确定所述当前监测数据的数据标识为预设缺失标识。

6.根据权利要求5所述的方法，其特征在于，在检测所述滑动窗口中的目标监测数据是否为异常数据之前，还包括：

若检测到所述滑动窗口中存在数据标识为预设缺失标识的缺失监测数据，则根据所述滑动窗口中的非缺失监测数据，对所述缺失监测数据进行补插，确定补插后的目标监测数据。

7.根据权利要求6所述的方法，其特征在于，根据所述滑动窗口中的非缺失监测数据，对所述缺失监测数据进行补插，确定补插后的目标监测数据，包括：

根据所述滑动窗口中的非缺失监测数据确定置信区间，并从所述置信区间中确定出预设数量的待选插补数据；

根据每个所述待选插补数据和所述非缺失监测数据进行统计分析，从各所述待选插补数据中确定出目标插补数据，并作为补插后的目标监测数据。

8.一种数据处理装置，其特征在于，包括：

监测数据接收模块，用于接收物联网设备周期性发送的监测数据，获得监测数据序列；

滑动窗口创建模块，用于根据预设窗口大小，对所述监测数据序列创建滑动窗口；

异常数据检测模块，用于检测所述滑动窗口中的目标监测数据是否为异常数据，并删除所述滑动窗口中的异常数据。

9.一种服务器，其特征在于，所述服务器包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的数据处理方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的数据处理方法。

Images