CN111223006A - 一种异常用电检测方法及装置 - Google Patents
一种异常用电检测方法及装置 Download PDFInfo
- Publication number
- CN111223006A CN111223006A CN201911358731.2A CN201911358731A CN111223006A CN 111223006 A CN111223006 A CN 111223006A CN 201911358731 A CN201911358731 A CN 201911358731A CN 111223006 A CN111223006 A CN 111223006A
- Authority
- CN
- China
- Prior art keywords
- electricity
- training
- data
- abnormal
- electricity utilization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005611 electricity Effects 0.000 title claims abstract description 244
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 138
- 238000001514 detection method Methods 0.000 title claims abstract description 71
- 238000012549 training Methods 0.000 claims abstract description 103
- 238000000034 method Methods 0.000 claims abstract description 31
- 238000007781 pre-processing Methods 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims description 13
- 238000009499 grossing Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000005856 abnormality Effects 0.000 claims 3
- 230000002457 bidirectional effect Effects 0.000 description 22
- 239000010410 layer Substances 0.000 description 12
- 238000004891 communication Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 238000005070 sampling Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000004088 simulation Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 230000000306 recurrent effect Effects 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000002356 single layer Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
- Y02E40/00—Technologies for an efficient electrical power generation, transmission or distribution
- Y02E40/70—Smart grids as climate change mitigation technology in the energy generation sector
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Business, Economics & Management (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Economics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种异常用电检测方法及装置,包括:从电网中获取原始用电数据作为训练用电数据;对所述训练用电数据进行预处理,得到训练用电数据样本;基于所述训练用电数据样本,构造异常用电数据样本;利用所述训练用电数据样本和所述异常用电数据样本,训练得到用于检测异常用电数据的异常用电检测模型。利用异常用电检测模型能够得到较为准确的用电数据分类结果,能够应用于电网中实现异常用电检测功能,降低异常用电造成的损失。
Description
技术领域
本发明涉及电网检测技术领域,尤其涉及一种异常用电检测方法及装置。
背景技术
非技术性损失(Nontechnical Loss,NTL)是指已经被传送到用户侧使用但是并未被计价的电能,主要由用户窃电或其他欺骗性用电行为造成。传统意义上对用户异常用电的检测主要靠技术人员上门筛查得出,费时费力,检测结果不准确;有些专业的防窃电计量设备具有防窃电功能,但是额外配置,成本过高。
发明内容
有鉴于此,本发明的目的在于提出一种异常用电检测方法及装置,能够利用数据分析方法实现异常用电检测功能。
基于上述目的,本发明提供了一种异常用电检测方法,包括:
从电网中获取原始用电数据作为训练用电数据;
对所述训练用电数据进行预处理,得到训练用电数据样本;
基于所述训练用电数据样本,构造异常用电数据样本;
利用所述训练用电数据样本和所述异常用电数据样本,训练得到用于检测异常用电数据的异常用电检测模型。
可选的,所述异常用电检测模型为深度双向LSTM模型或深度双向GRU模型。
可选的,所述异常用电数据样本包括模拟全部时间窃电数据样本和/或模拟特定时间段窃电数据样本。
可选的,所述基于所述训练用电数据样本,构造异常用电数据样本,包括:
将所述训练用电数据样本划分为第一数据样本和第二数据样本;
基于所述第一数据样本,构造所述异常用电数据样本。
可选的,利用所述训练用电数据样本和所述异常用电数据样本,训练得到用于检测异常用电数据的异常用电检测模型,包括:
利用所述异常用电数据样本和所述第二数据样本,训练得到所述异常用电检测模型。
可选的,对所述训练用电数据进行预处理,得到训练用电数据样本,包括:
对所述训练用电数据依次进行缺失值处理、平滑处理、归一化处理、特征提取处理,得到所述训练用电数据样本。
可选的,所述方法还包括:
从电网中实时获取所述原始用电数据;
对所述原始用电数据进行预处理,得到实时用电数据样本;
将所述实时用电数据样本输入所述异常用电检测模型,得到正常用电数据结果或是异常用电数据结果。
本发明实施例还提供一种异常用电检测装置,包括:
获取模块,用于从电网中获取原始用电数据作为训练用电数据;
预处理模块,用于对所述训练用电数据进行预处理,得到训练用电数据样本;
构造模块,用于基于所述训练用电数据样本,构造异常用电数据样本;
训练模块,用于利用所述训练用电数据样本和所述异常用电数据样本,训练得到用于检测异常用电数据的异常用电检测模型。
可选的,所述异常用电检测模型为深度双向LSTM模型或深度双向GRU模型。
可选的,所述装置还包括:
所述获取模块,用于从电网中实时获取所述原始用电数据;
所述预处理模块,用于对所述原始用电数据进行预处理,得到实时用电数据样本;
检测模块,用于将所述实时用电数据样本输入所述异常用电检测模型,得到正常用电数据结果或是异常用电数据结果。
从上面所述可以看出,本发明提供的异常用电检测方法及装置,从电网中获取原始用电数据作为训练用电数据,对训练用电数据进行预处理,得到训练用电数据样本,基于训练用电数据样本构造异常用电数据样本,利用训练用电数据样本和异常用电数据样本,训练得到用于检测异常用电数据的异常用电检测模型。本发明的异常用电检测模型为深度学习模型,无需提供大量数据样本进行训练,利用异常用电检测模型能够得到较为准确的用电数据分类结果,能够应用于电网中实现异常用电检测功能,降低异常用电造成的损失。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例的方法流程示意图;
图2为本发明另一实施例的方法流程示意图;
图3为本发明实施例的LSTM单元的结构示意图;
图4为本发明实施例的GRU单元的结构示意图;
图5为本发明实施例的深度双向循环神经网络模型结构示意图;
图6为本发明实施例的构造的异常用电数据示意图;
图7为本发明实施例的装置结构框图;
图8为本发明实施例的电子设备的结构框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明进一步详细说明。
需要说明的是,除非另外定义,本发明实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性,而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同,而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电性的连接,不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系,当被描述对象的绝对位置改变后,则该相对位置关系也可能相应地改变。
一些实现方式中,利用数据分析模型能够预测用电数据是否为异常用电数据。例如,基于分类、回归和聚类模型能够依据输入的用电数据检测是否为异常用电数据,但是这几种有监督学习的模型均依赖于大量的数据样本训练得到,由于实际的异常用电数据难以获取,因而这类模型难以在实际的电网中得以应用。
为解决上述问题,本发明实施例提供一种异常用电检测方法及装置,基于获取的原始用电数据构造异常用电数据,利用获取的用电数据和构造的异常用电数据训练得到深度学习架构的异常用电检测模型,利用异常用电检测模型实时检测用电数据是否为异常用电数据。本实施例的异常用电检测方法能够适用于电网中实现用电数据的实时检测分类。
图1为本发明实施例的方法流程示意图。如图所示,本发明实施例提供的异常用电检测方法,包括:
S101:从电网中获取原始用电数据作为训练用电数据;
本实施例中,可利用电网中的电能采集终端采集并获取原始用电数据,将实际获取的原始用电数据作为训练用电数据训练异常用电检测模型。其中,所采集的原始用电数据是按时间顺序排列的用电序列。
S102:对训练用电数据进行预处理,得到训练用电数据样本;
本实施例中,针对所获取的原始用电数据进行预处理,以得到适于模型训练的训练用电数据样本。
S103:基于训练用电数据样本,构造异常用电数据样本;
本实施例中,针对所获取的原始用电数据进行预处理,以得到适于模型训练的训练用电数据样本。
S104:利用训练用电数据样本和异常用电数据样本,训练得到用于检测异常用电数据的异常用电检测模型。
本实施例中,由于异常用电数据难以从实际获取的原始用电数据中分辨出来,为训练得到异常用电检测模型,基于训练用电数据样本,构造异常用电数据样本。然后,利用训练用电数据样本和构造的异常用电数据样本,训练得到异常用电检测模型,后续,电网可直接利用异常用电检测模型对实时获取的用电数据进行检测,以得到用电数据为正常用电数据或是异常用电数据。
图2为本发明另一实施例的方法流程示意图,如图所示,本发明实施例的异常用电检测方法,还包括:
S201:从电网中实时获取原始用电数据;
S202:对原始用电数据进行预处理,得到实时用电数据样本;
S203:将实时用电数据样本输入异常用电检测模型,得到正常用电数据结果或是异常用电数据结果。
本实施例中,将训练得到的异常用电检测模型部署于电网中,电网实时采集获取的原始用电数据经预处理之后,得到的实时用电数据样本,输入用电检测模型中,由异常用电检测模型对数据样本进行分类,输出的分类结果为正常用电数据结果或是异常用电数据结果,能够实现异常用电数据的识别检测。
以下结合具体实施例对本发明实施例的异常用电检测方法进行详细的说明。
于一些实施例中,所述步骤S102中,对训练用电数据进行预处理,得到训练用电数据样本的方法可以是,对训练用电数据依次进行缺失值处理、平滑处理、归一化处理、特征提取处理,以得到训练用电数据样本。具体的:
若训练用电数据为按时间顺序排列的用电数据序列矩阵X=[x1,x2,...,xT],T为采样点个数(也表示时间段),对于没有被记录的第t(0<t<T+1)个时刻的采样点(即缺失值)xt,xt∈NaN且NaN是未定义或不可表示的值,则,缺失值xt可以根据前后时刻的数值计算得到:
如果xt∈NaN,且xt-1orxt+1∈NaN,那么令xt=0。
基于公式(1)得到插入缺失值的用电数据序列X′=[x′1,x′2,…,x′T],为减少噪音点带来的影响,对插入缺失值的用电数据序列采取移动平均进行平滑处理,该序列在时间t上的K项移动平均值为:
其中,MAt是x′t的滑动平均值。
对于平滑处理后的用电数据序列X″=[x″1,x″2,…,x″T],为减少数据中不同采样点用电量大小对计算产生影响,对平滑处理后的用电数据序列进行归一化处理,计算公式为:
本实施例中,可直接将归一化处理后的用电数据序列作为用于模型训练的训练用电数据样本,也可以在归一化处理后的用电数据序列基础上根据实际需要构造所需训练用电数据样本。作为训练用电数据样本的用电数据序列长度相同。
于一些实施例中,所述步骤S103中,基于训练用电数据样本,构造异常用电数据样本,方法可以是,将训练用电数据样本划分为第一数据样本和第二数据样本;基于第一数据样本,构造异常用电数据样本。即,基于预处理后得到的训练用电数据样本,可按照一定的比例划分为第一数据样本和第二数据样本,利用第一数据样本构造异常用电数据样本。
在所述步骤S104中,利用构造的异常用电数据样本和划分出的第二数据样本,训练得到异常用电检测模型。即,将划分出的第二数据样本作为正常用电数据样本,利用正常用电数据样本和异常用电数据样本,训练异常用电检测模型。本实施例中,鉴于异常用电数据难以从实际的用电数据中识别提取出来,在实际的用电数据基础上构造出异常用电数据,利用构造出的异常用电数据和实际的用电数据训练异常用电检测模型。
本实施例中,异常用电数据样本包括模拟全部时间窃电数据样本和/或模拟特定时间段窃电数据样本。
于一些方式中,可构造公式(4)、(5)、(6)、(7)所示四种形式的全部时间窃电数据样本:
h1(xt)=αxt,α=random(0.1,0.8) (4)
设第一数据样本中包括了T时间段之内的用电量,xt是第一数据样本中时刻t的采样点,公式(4)表示将第一数据样本中的所有采样点均乘以0.1-0.8之间的相同的随机数,得到T时间段之内的全部时间窃电数据样本。
h2(xt)=ξtxt ξt=random(0.1,0.8) (5)
公式(5)表示将第一数据样本中的所有采样点均乘以0.1-0.8之间不同的随机数,得到T时间段之内的全部时间窃电数据样本。
h3(xt)=γtmean(x) γt=random(0.1,0.8) (6)
公式(6)表示将第一数据样本中的所有采样点的均值均乘以0.1-0.8之间不同的随机数,得到T时间段之内的全部时间窃电数据样本。
h4(xt)=βmean(x),β=random(0.1,0.8) (7)
公式(7)表示将第一数据样本中的所有采样点的均值均乘以0.1-0.8之间相同的随机数,得到T时间段之内的全部时间窃电数据样本;在用电场景中,可表示调慢电能采集终端或篡改电能采集终端实施窃电的异常用电数据。
于一些方式中,可构造公式(8)、(9)、(10)两种形式的部分时间窃电数据样本:
h5(xt)=δtxt (8)
其中,δt表示为:
公式(8)-(9)表示依靠非正常手段使得电能采集终端在部分时间段(tstart到tend时间段)之内不计用电量或不上传用电量的部分时间窃电数据样本。
h6(xt)=xT-t (10)
公式(10)表示根据分时电价的高低选择时间段实施窃电的部分时间窃电数据样本。
假设有N条用电记录,每条用电记录有T个采样点,可以构建用电记录矩阵X∈RN×T。异常用电检测问题即是一个二分类任务,首先将每条用电记录Xi=[xi1,xi2,...,xiT](0<i≤N)划分到一个预定义的类别中:
其中,yi是用电记录样本Xi的异常用电标记值。
本实施例中,用于异常用电检测的异常用电检测模型为深度双向LSTM模型或深度双向GRU模型异常用电检测模型的整体描述如下:
于一些实施方式中,如图3所示,双向LSTM模型的LSTM单元包含在时刻t存储的信息xt,LSTM单元的状态与输入门it、遗忘门ft、输出门οt的状态有关,每个门的输入向量由输入部分和循环部分组成,遗忘门控制从最后一刻决定放弃的内容,输入门控制存储哪些新信息,输出门控制输出单元状态的哪一部分,循环部分被状态更新并进入下次迭代。
本实施例中,遗忘门ft,输入门it,和输出门οt的定义如下:
ft=σ(Wfht+Ufxt+bf) (13)
it=σ(Wiht-1+Uixt+bi) (14)
ot=σ(Wοht-1+Uοxt+bο) (15)
当前时刻的单元状态值ct计算为:
当前时刻的隐层状态ht为:
ht=ot⊙h(ct) (18)
其中,g和h是非线性函数,例如sigmoid或者tanh。Wi Wf Wο Wz分别是输入门、遗忘门、输出门、单元状态的输入部分的权重矩阵,Ui Uf Uο Uz是输入门、遗忘门、输出门、单元状态的循环部分,bi bf bo bz是偏置向量。σ表示激活函数,如sigmoid。
于一些实施方式中,如图4所示,双向GRU模型的GRU单元包含重置门rt和更新门zt。重置门rt可过滤掉隐藏层不相关的信息,更新门zt可控制多少信息转移到输出门,重置门和更新门共同控制更新多少信息到当前状态。在时刻t,GRU单元的新状态为:
zt=σ(Wzxt+Uzht-1+bz) (20)
其中,更新门rt控制过去状态的信息到候选状态,如果更新门rt是0,那么它遗忘过去状态,重置门的更新方法为:
rt=σ(Wrxt+Urht-1+br) (22)
其中,Wz Wh Wr Uz Uh Ur bz br bh分别是模型参数,σ是激活函数。
深度双向的循环神经网络模型由多个双向循环神经网络(双向LSTM模型或双向GRU模型)堆叠而成。
如图5所示,本发明实施例中,所述异常用电检测模型为基于深度双向对于深度双向LSTM模型或深度双向GRU模型。
对于L层双向模型,输入用电数据样本Xi,第l层(0<l<L+1)的各个单元的输出为:
本实施例将最后一层L的最后一个时间步T的输出作为分类器的输入,令:
深层双向循环神经网络模型输出的g为用电数据的高级特征,后续将高级特征输入分类器,进行分类,得到正常用电数据或是异常用电数据的分类结果。本实施例中,分类器为:
本实施例中,在模型训练过程中使用dropout来防止过拟合,提高模型的泛化能力,dropout是以概率p随机丢弃一定的隐藏层单元。将dropout定义为高级特征g和r的元素相乘,r是概率为p的伯努利随机变量的向量,得到分类器为:
可选的,在一种具体实施例中,异常用电检测模型的训练参数为,RNN隐藏层大小为128,深度L为4,dropout概率p为0.5。训练阶段,batchSize设置为256,学习率为0.001。
可选的,使用Adam进行异常用电检测模型的训练。训练过程中,选取的损失函数为:
于一具体实施例中,获取1000个用户535天的原始用电数据,每天的采样频率为30分钟,每天的采样点个数为48个,对原始用电数据进行预处理得到用电数据样本,从用电数据样本从抽取出20%的样本构造异常用电数据样本,从构造的异常用电数据样本与其余80%的用户数据样本混合的数据样本中,按照6:2:2的比例划分为训练用户数据样本、验证用户数据样本和测试用户数据样本,利用训练用户数据样本训练得到异常用电检测模型,利用测试用户数据样本对训练得到的异常用电检测模型进行评估,利用验证用户数据样本确定超参数,避免过拟合。
同时,本实施例中,基于支持向量机SVM分类器和XGBoost(eXtreme GradientBoosting)分类器两种现有的分类器以及各种RNN模型,包括单层单向的RNN模型:LSTM和GRU,单层双向的RNN模型:BiLSTM和BiGRU,以及本发明实施例的异常用电检测模型即深层双向的RNN模型:DBLSTM和DBGRU,分别对测试用电数据样本进行检测分类,表1是分类结果对比结果:
Methods | Acc | P | R | F1 |
SVM | 0.8700 | 0.7459 | 0.3398 | 0.4669 |
XGBoost | 0.9027 | 0.8697 | 0.4915 | 0.6281 |
LSTM | 0.9379 | 0.8782 | 0.7296 | 0.7970 |
GRU | 0.9401 | 0.9065 | 0.7158 | 0.7999 |
BiLSTM | 0.9394 | 0.9161 | 0.7016 | 0.7946 |
BiGRU | 0.9442 | 0.9150 | 0.7345 | 0.8149 |
DBLSTM | 0.9699 | 0.9586 | 0.8556 | 0.9042 |
DBGRU | 0.9744 | 0.9570 | 0.9974 | 0.9209 |
表1
其中,Acc(Accuracy)是模型的准确率,P(precision)是模型的精度,R(recall)是模型的召回率,F1是精确率和召回率的调和平均值。从表1数据可见,相较于现有的分类模型,基于RNN的模型达到了最佳效果,通过在双向模型的基础上堆叠多层隐藏单元,本发明实施例的异常用电检测模型的分类结果更为准确,利用本实施例的异常用电检测模型,能够从实际的用电数据中准确识别正常用电数据和异常用电数据,适于在电网中应用。
需要说明的是,本发明实施例的方法可以由单个设备执行,例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下,由多台设备相互配合来完成。在这种分布式场景的情况下,这多台设备中的一台设备可以只执行本发明实施例的方法中的某一个或多个步骤,这多台设备相互之间会进行交互以完成所述的方法。
图7为本发明实施例的装置结构框图。如图所示,本发明实施例提供的异常用电检测装置,包括;
获取模块,用于从电网中获取原始用电数据作为训练用电数据;
预处理模块,用于对训练用电数据进行预处理,得到训练用电数据样本;
构造模块,用于基于训练用电数据样本,构造异常用电数据样本;
训练模块,用于利用训练用电数据样本和所述异常用电数据样本,训练得到用于检测异常用电数据的异常用电检测模型。
可选的,异常用电检测模型为深度双向LSTM模型或双向GRU模型。
本实施例中,所述异常用电检测装置还包括:
获取模块,用于从电网中实时获取原始用电数据;
预处理模块,用于对原始用电数据进行预处理,得到实时用电数据样本;
检测模块,用于将实时用电数据样本输入所述异常用电检测模型,得到正常用电数据结果或是异常用电数据结果。
上述实施例的装置用于实现前述实施例中相应的方法,并且具有相应的方法实施例的有益效果,在此不再赘述。
图8示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图,该设备可以包括:处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。
处理器1010可以采用通用的CPU(Central Processing Unit,中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit,ASIC)、或者一个或多个集成电路等方式实现,用于执行相关程序,以实现本说明书实施例所提供的技术方案。
存储器1020可以采用ROM(Read Only Memory,只读存储器)、RAM(Random AccessMemory,随机存取存储器)、静态存储设备,动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序,在通过软件或者固件来实现本说明书实施例所提供的技术方案时,相关的程序代码保存在存储器1020中,并由处理器1010来调用执行。
输入/输出接口1030用于连接输入/输出模块,以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出),也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等,输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口1040用于连接通信模块(图中未示出),以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信,也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线1050包括一通路,在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。
需要说明的是,尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050,但是在具体实施过程中,该设备还可以包括实现正常运行所必需的其他组件。此外,本领域的技术人员可以理解的是,上述设备中也可以仅包含实现本说明书实施例方案所必需的组件,而不必包含图中所示的全部组件。
本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。
所属领域的普通技术人员应当理解:以上任何实施例的讨论仅为示例性的,并非旨在暗示本公开的范围(包括权利要求)被限于这些例子;在本发明的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,步骤可以以任意顺序实现,并存在如上所述的本发明的不同方面的许多其它变化,为了简明它们没有在细节中提供。
另外,为简化说明和讨论,并且为了不会使本发明难以理解,在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外,可以以框图的形式示出装置,以便避免使本发明难以理解,并且这也考虑了以下事实,即关于这些框图装置的实施方式的细节是高度取决于将要实施本发明的平台的(即,这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如,电路)以描述本发明的示例性实施例的情况下,对本领域技术人员来说显而易见的是,可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本发明。因此,这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本发明的具体实施例对本发明进行了描述,但是根据前面的描述,这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如,其它存储器架构(例如,动态RAM(DRAM))可以使用所讨论的实施例。
本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此,凡在本发明的精神和原则之内,所做的任何省略、修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种异常用电检测方法,其特征在于,包括:
从电网中获取原始用电数据作为训练用电数据;
对所述训练用电数据进行预处理,得到训练用电数据样本;
基于所述训练用电数据样本,构造异常用电数据样本;
利用所述训练用电数据样本和所述异常用电数据样本,训练得到用于检测异常用电数据的异常用电检测模型。
2.根据权利要求1所述的方法,其特征在于,所述异常用电检测模型为深度双向LSTM模型或深度双向GRU模型。
3.根据权利要求1所述的方法,其特征在于,所述异常用电数据样本包括模拟全部时间窃电数据样本和/或模拟特定时间段窃电数据样本。
4.根据权利要求1所述的方法,其特征在于,所述基于所述训练用电数据样本,构造异常用电数据样本,包括:
将所述训练用电数据样本划分为第一数据样本和第二数据样本;
基于所述第一数据样本,构造所述异常用电数据样本。
5.根据权利要求4所述的方法,其特征在于,利用所述训练用电数据样本和所述异常用电数据样本,训练得到用于检测异常用电数据的异常用电检测模型,包括:
利用所述异常用电数据样本和所述第二数据样本,训练得到所述异常用电检测模型。
6.根据权利要求1所述的方法,其特征在于,对所述训练用电数据进行预处理,得到训练用电数据样本,包括:
对所述训练用电数据依次进行缺失值处理、平滑处理、归一化处理、特征提取处理,得到所述训练用电数据样本。
7.根据权利要求1所述的方法,其特征在于,还包括:
从电网中实时获取所述原始用电数据;
对所述原始用电数据进行预处理,得到实时用电数据样本;
将所述实时用电数据样本输入所述异常用电检测模型,得到正常用电数据结果或是异常用电数据结果。
8.一种异常用电检测装置,其特征在于,包括:
获取模块,用于从电网中获取原始用电数据作为训练用电数据;
预处理模块,用于对所述训练用电数据进行预处理,得到训练用电数据样本;
构造模块,用于基于所述训练用电数据样本,构造异常用电数据样本;
训练模块,用于利用所述训练用电数据样本和所述异常用电数据样本,训练得到用于检测异常用电数据的异常用电检测模型。
9.根据权利要求8所述的装置,其特征在于,所述异常用电检测模型为深度双向LSTM模型或深度双向GRU模型。
10.根据权利要求8所述的装置,其特征在于,还包括:
所述获取模块,用于从电网中实时获取所述原始用电数据;
所述预处理模块,用于对所述原始用电数据进行预处理,得到实时用电数据样本;
检测模块,用于将所述实时用电数据样本输入所述异常用电检测模型,得到正常用电数据结果或是异常用电数据结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911358731.2A CN111223006A (zh) | 2019-12-25 | 2019-12-25 | 一种异常用电检测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911358731.2A CN111223006A (zh) | 2019-12-25 | 2019-12-25 | 一种异常用电检测方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111223006A true CN111223006A (zh) | 2020-06-02 |
Family
ID=70829203
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911358731.2A Pending CN111223006A (zh) | 2019-12-25 | 2019-12-25 | 一种异常用电检测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111223006A (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111738364A (zh) * | 2020-08-05 | 2020-10-02 | 国网江西省电力有限公司供电服务管理中心 | 一种基于用户负荷与用电参量相结合的窃电检测方法 |
CN111914873A (zh) * | 2020-06-05 | 2020-11-10 | 华南理工大学 | 一种两阶段云服务器无监督异常预测方法 |
CN112398226A (zh) * | 2020-11-13 | 2021-02-23 | 国网山东省电力公司泰安供电公司 | 一种供电系统反窃电方法、系统、终端及存储介质 |
CN113033089A (zh) * | 2021-03-23 | 2021-06-25 | 中国联合网络通信集团有限公司 | 用电量异常用户识别方法和装置 |
CN113191409A (zh) * | 2021-04-20 | 2021-07-30 | 国网江苏省电力有限公司营销服务中心 | 标签数据扩充与深度学习的居民异常用电行为检测方法 |
CN113449795A (zh) * | 2021-06-29 | 2021-09-28 | 国网北京市电力公司 | 用电数据处理方法、装置及电子设备 |
CN114034969A (zh) * | 2021-10-25 | 2022-02-11 | 浙江万胜智能科技股份有限公司 | 一种基于修正算法的能源控制器电流回路事件生成方法 |
CN114841268A (zh) * | 2022-05-06 | 2022-08-02 | 国网江苏省电力有限公司营销服务中心 | 基于Transformer和LSTM融合算法的异常电力客户识别方法 |
CN116052848A (zh) * | 2023-04-03 | 2023-05-02 | 吉林大学 | 一种医学成像质控的数据编码方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103353895A (zh) * | 2013-07-22 | 2013-10-16 | 广西电网公司电力科学研究院 | 一种配电网线损数据的预处理方法 |
US20160034813A1 (en) * | 2014-07-29 | 2016-02-04 | National Chiao Tung University | Method for counting number of people based on appliance usages and monitoring system using the same |
CN109446193A (zh) * | 2018-11-13 | 2019-03-08 | 国网宁夏电力有限公司电力科学研究院 | 反窃电模型生成方法及装置 |
CN109583680A (zh) * | 2018-09-30 | 2019-04-05 | 国网浙江长兴县供电有限公司 | 一种基于支持向量机的窃电辨识方法 |
-
2019
- 2019-12-25 CN CN201911358731.2A patent/CN111223006A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103353895A (zh) * | 2013-07-22 | 2013-10-16 | 广西电网公司电力科学研究院 | 一种配电网线损数据的预处理方法 |
US20160034813A1 (en) * | 2014-07-29 | 2016-02-04 | National Chiao Tung University | Method for counting number of people based on appliance usages and monitoring system using the same |
CN109583680A (zh) * | 2018-09-30 | 2019-04-05 | 国网浙江长兴县供电有限公司 | 一种基于支持向量机的窃电辨识方法 |
CN109446193A (zh) * | 2018-11-13 | 2019-03-08 | 国网宁夏电力有限公司电力科学研究院 | 反窃电模型生成方法及装置 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111914873A (zh) * | 2020-06-05 | 2020-11-10 | 华南理工大学 | 一种两阶段云服务器无监督异常预测方法 |
CN111738364A (zh) * | 2020-08-05 | 2020-10-02 | 国网江西省电力有限公司供电服务管理中心 | 一种基于用户负荷与用电参量相结合的窃电检测方法 |
CN112398226A (zh) * | 2020-11-13 | 2021-02-23 | 国网山东省电力公司泰安供电公司 | 一种供电系统反窃电方法、系统、终端及存储介质 |
CN113033089A (zh) * | 2021-03-23 | 2021-06-25 | 中国联合网络通信集团有限公司 | 用电量异常用户识别方法和装置 |
CN113033089B (zh) * | 2021-03-23 | 2023-07-14 | 中国联合网络通信集团有限公司 | 用电量异常用户识别方法和装置 |
CN113191409A (zh) * | 2021-04-20 | 2021-07-30 | 国网江苏省电力有限公司营销服务中心 | 标签数据扩充与深度学习的居民异常用电行为检测方法 |
CN113449795A (zh) * | 2021-06-29 | 2021-09-28 | 国网北京市电力公司 | 用电数据处理方法、装置及电子设备 |
CN114034969A (zh) * | 2021-10-25 | 2022-02-11 | 浙江万胜智能科技股份有限公司 | 一种基于修正算法的能源控制器电流回路事件生成方法 |
CN114841268A (zh) * | 2022-05-06 | 2022-08-02 | 国网江苏省电力有限公司营销服务中心 | 基于Transformer和LSTM融合算法的异常电力客户识别方法 |
CN116052848A (zh) * | 2023-04-03 | 2023-05-02 | 吉林大学 | 一种医学成像质控的数据编码方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111223006A (zh) | 一种异常用电检测方法及装置 | |
Raju et al. | IOT based online load forecasting using machine learning algorithms | |
CN108563548B (zh) | 异常检测方法及装置 | |
US20200011932A1 (en) | Battery capacity fading model using deep learning | |
CN107358247B (zh) | 一种确定流失用户的方法及装置 | |
EP3346428A1 (en) | Sensor design support apparatus, sensor design support method and computer program | |
CN107633254A (zh) | 建立预测模型的装置、方法及计算机可读存储介质 | |
CN111144451B (zh) | 一种图像分类模型的训练方法、装置及设备 | |
CN110069545A (zh) | 一种行为数据评估方法及装置 | |
CN115660233A (zh) | 光伏功率预测方法、装置、电子设备及存储介质 | |
Liu et al. | Short‐term load forecasting based on LSTNet in power system | |
CN111369258A (zh) | 实体对象类型的预测方法、装置及设备 | |
CN116362823A (zh) | 用于行为稀疏场景的推荐模型训练方法、推荐方法及装置 | |
CN116707331A (zh) | 基于模型预测的逆变器输出电压高精度调节方法及系统 | |
CN107728772B (zh) | 应用程序的处理方法、装置、存储介质及电子设备 | |
CN108256626A (zh) | 时间序列的预测方法及装置 | |
CN116342172A (zh) | 基于线性回归和决策树结合的油价预测方法、装置及设备 | |
CN115099488B (zh) | 基于cnn-agu的空气质量指数预测方法及装置 | |
CN111798263A (zh) | 一种交易趋势的预测方法和装置 | |
CN115879378B (zh) | 一种电芯的膨胀力预测模型的训练方法及装置 | |
CN114448661B (zh) | 慢速拒绝服务攻击检测方法及相关设备 | |
CN117574238A (zh) | 基于多门控专家网络的高频电器识别模型构建方法及系统 | |
CN110909884A (zh) | 一种用于更新参数模型的方法、装置、产品及介质 | |
CN117235633A (zh) | 机构分类方法、装置、计算机设备及存储介质 | |
CN115879031A (zh) | 可调节负荷区域负荷分类方法及相关设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200602 |
|
RJ01 | Rejection of invention patent application after publication |