[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN108319649B - 一种提高水情水调数据质量的系统和方法 - Google Patents

一种提高水情水调数据质量的系统和方法 Download PDF

Info

Publication number
CN108319649B
CN108319649B CN201711443558.7A CN201711443558A CN108319649B CN 108319649 B CN108319649 B CN 108319649B CN 201711443558 A CN201711443558 A CN 201711443558A CN 108319649 B CN108319649 B CN 108319649B
Authority
CN
China
Prior art keywords
data
water
quality
rainfall
regimen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711443558.7A
Other languages
English (en)
Other versions
CN108319649A (zh
Inventor
王建平
李林峰
杨海云
张金华
吴凡
葛瑜
吴善锋
陈建
刘臣亮
陈意
丁琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electric Power Research Institute of State Grid Fujian Electric Power Co Ltd
NARI Group Corp
Original Assignee
Electric Power Research Institute of State Grid Fujian Electric Power Co Ltd
NARI Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electric Power Research Institute of State Grid Fujian Electric Power Co Ltd, NARI Group Corp filed Critical Electric Power Research Institute of State Grid Fujian Electric Power Co Ltd
Priority to CN201711443558.7A priority Critical patent/CN108319649B/zh
Publication of CN108319649A publication Critical patent/CN108319649A/zh
Application granted granted Critical
Publication of CN108319649B publication Critical patent/CN108319649B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2474—Sequence data queries, e.g. querying versioned data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A20/00—Water conservation; Efficient water supply; Efficient water use
    • Y02A20/152—Water filtration

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Testing Or Calibration Of Command Recording Devices (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

本发明公开了一种提高水情水调数据质量的系统和方法，包括SCADA模块、水情水调数据库、数据质量参数率定模块、数据质量判别与分析模块、数据处理模块，水情水调数据库分别与SCADA模块、数据质量参数率定模块、数据处理模块、数据质量判别与分析模块连接，数据质量判别与分析模块与数据处理模块连接。本发明具备数据质量判别参数自动率定和更新、数据异常在线检测、数据自动处理功能，使得数据能够进行在线异常判别和处理，有效减少了水情水调数据质量分析、数据异常处理中的人工工作量，提高水情水调数据的质量和数据质量管理的效率，提高水库管理水平。

Description

一种提高水情水调数据质量的系统和方法
技术领域
本发明涉及水情水调数据处理技术领域，具体涉及一种提高水情水调数据质量的系统和方法。
背景技术
随着信息化技术的发展，各行业信息化资产日益庞大，随着这些信息化资产运行时间的推移，作为信息化资产中的重要部分，数据资产正在呈现快速增长，并且在后续的应用、决策等方面承担越来越重要的角色。如何有效地开发高价值的数据资产，并充分发挥数据资产的经济效益，成为越来越多的数据拥有者所高度重视的问题。数据资产价值的挖掘很大程度决定于数据的质量。
水情水调自动化系统数据的管理主要面向数据的采集、传输、处理、存储和应用等过程，数据质量的变化主要发生在采集、传输、处理、应用这四个过程。目前这些过程中数据质量的判别和处理只是在SCADA(数据采集与监视控制)系统接收软件中进行了简单的判别和处理，采用人工设定阈值、最大无信号时间进行自动判别数据越限和数据缺数报警。在数据处理阶段对数据越限和变化率越限的情况进行处理和报警，越限参数分别是人为设置的，均采用直接将数据剔除的处理方式，根据对数据的分析，人为地设定好数据质量判别参数，参数固定，设置工作量大，且会丢失一些真实数据，局限性较大。而对于数据的及时性、正确性、连续性、一致性则是由值班人员和数据维护人员在不同的时间对不同数据进行人工查询、判断和分析。对出入库流量计算等关键任务有影响时，需要值班人员立即对数据进行排查和修正。日数据、旬数据、月数据、年数据分别需要在次日初、次旬初、次月初、次年初进行对应时段统计数据的整编和质量判别，耗时多，且容易遗漏，对判别的人员要求也很高。
另一方面，目前尚无有效的水情水调数据质量评测标准，数据的质量跟判别人员的经验相关度高，不同人员判别会形成不同的结果，对数据质量的考评困难，导致各单位对数据质量考评方法不同。
发明内容
为解决现有技术中的不足，本发明提供一种提高水情水调数据质量的系统和方法，解决了目前水情水调系统数据质量人工处理导致工作量大、易出错的问题，能够大大减少数据异常检测、分析和处理的人工工作量，有效提高水调数据质量管理效率。
为了实现上述目标，本发明采用如下技术方案：一种提高水情水调数据质量的系统，包括SCADA模块、水情水调数据库、数据质量参数率定模块、数据质量判别与分析模块、数据处理模块，水情水调数据库分别与SCADA模块、数据质量参数率定模块、数据处理模块、数据质量判别与分析模块连接，数据质量判别与分析模块与数据处理模块连接；
SCADA模块用于自动采集水情遥测站监测量，存入水情水调数据库；
水情水调数据库用于各水情站点水情数据、数据质量判别参数的存储和读取管理；
数据质量参数率定模块根据历史水情数据，对数据质量判别的参数进行分析和率定，将率定好的数据质量判别参数存入水情水调数据库，为数据质量判别和分析模块提供数据质量判别参数；
数据质量判别和分析模块用于对水情水调数据库中水情数据进行数据质量检测与判别，如果检测出数据异常，则进行标识，用于供数据处理模块进行数据异常处理；
数据处理模块读取水情水调数据库中的异常数据，并根据数据处理方法进行数据自动处理，处理后的数据进入数据质量判别与分析模块进行判别，直至通过判别，进行标识和存入水情水调数据库。
前述的一种提高水情水调数据质量的系统，其特征是：所述水情遥测站监测量、各水情站点水情数据包括雨量、水位、流量数据。
一种提高水情水调数据质量的方法，其特征是：包括步骤：
(1)数据质量参数率定模块从水情水调数据库中提取水情站点水情数据，分别对进行整理和分析，计算出数据质量判别参数，并更新到水情水调数据库；
(2)数据质量判别和分析模块从水情水调数据库中提取水情数据和数据质量判别参数，分别对水情数据按照数据质量判别参数进行数据质量判别，对通不过判别条件的数据标记可疑数据，存入水情水调数据库；
(3)数据处理模块提取水情水调数据库中数据质量判别后的可疑数据，对其进行自动修订，针对雨量数据采用距离上最近的临近站雨量值代替，针对水位、流量数据采用线性插值方法进行修正处理；
(4)数据处理模块修订后的数据调用数据质量判别和分析模块对其再次进行数据质量判别，如通过判别，则将该数据标识为合理数据，并存入水情水调数据库，如没有通过判别，则返回数据处理模块重复步骤(3)，直至该数据通过判别，如果连续三次没有通过，则将数据标识为待审核数据，并存入水情水调数据库。
前述的一种提高水情水调数据质量的方法，其特征是：所述水情站点水情数据包括雨量数据、水位数据、流量数据。
前述的一种提高水情水调数据质量的方法，其特征是：所述步骤(1)，具体步骤包括：
1)数据质量参数率定模块对雨量数据中最小时间步长雨量数据、小时雨量数据、日雨量数据进行提取，生成各自的雨量时间序列数据Pmi、Phi、Pdi，对此三个序列进行统计分析，取各类雨量数据的最大值Pmmax、Phmax、Pdmax，将Pmmax、Phmax、Pdmax分别作为最小时间步长雨量数据、小时雨量数据、日雨量数据的雨量数据异常阈值判断参数；
2)数据质量参数率定模块将水位实时数据、小时数据、日数据进行提取，分别生成各个时间序列数据Lri、Lhi、Ldi，分别对各水位时间序列数据逐个计算各数据点Li与前一数据点Li-1所形成的水位变化率
Figure BDA0001526972560000041
估计出各类水位变化率数据序列
Figure BDA0001526972560000042
的均值
Figure BDA0001526972560000043
和方差σl，作为水位实时数据、小时数据、日数据连续性数据异常判别参数；
3)数据质量参数率定模块将流量实时数据、小时数据、日数据进行提取，分别生成各个时间序列数据Qri、Qhi、Qdi，分别对各流量时间序列数据逐个计算各数据点Qi与前一数据点Qi-1所形成的变化率
Figure BDA0001526972560000044
分别估计出此变化率数据序列
Figure BDA0001526972560000045
的均值
Figure BDA0001526972560000046
和方差σq，作为流量实时数据、小时数据、日数据连续性数据异常判别参数；
4)将以上阈值或异常判别参数更新存入水情水调数据库中。
前述的一种提高水情水调数据质量的方法，其特征是：所述步骤(2)，具体步骤包括：
1)数据质量判别和分析模块从水情水调数据库中读取最小时间步长雨量数据、小时雨量数据、日雨量数据的异常阈值判断参数Pmmax、Phmax、Pdmax，并从水情水调数据库中读取实时最小时间步长、小时、日雨量数据，对实时雨量数据进行数据质量判别，超过异常阈值判断参数的雨量数据则标识为可疑数据，将可疑数据存入水情水调数据库；
2)数据质量判别和分析模块从水情水调数据库中获取待检水位时间序列数据Li'以及水位实时数据、小时数据、日数据连续性数据异常判别参数，分别为水位实时数据、小时数据、日数据变化率数据序列的均值
Figure BDA0001526972560000047
和方差σl，逐个计算待检水位数据点Li'与前一待检数据点Li'-1所形成的水位变化率
Figure BDA0001526972560000048
若
Figure BDA0001526972560000049
即标识水位数据点Li'为可疑数据，将可疑数据存入水情水调数据库；
3)数据质量判别和分析模块从水情水调数据库中获取待检流量时间序列数据Qi'以及流量实时数据、小时数据、日数据连续性数据异常判别参数，分别为流量实时、小时、日数据变化率数据序列的均值
Figure BDA00015269725600000410
和方差σq，对待检流量时间序列数据Qi'逐个计算数据点Qi'与前一数据点Qi'-1所形成的变化率
Figure BDA0001526972560000051
若
Figure BDA0001526972560000052
则标识流量数据点Qi'为可疑数据。
本发明所达到的有益效果：本发明从水库水电站运行角度建立水情水调数据异常判别和处理系统，提出数据异常检测与判别的方法，具备数据质量判别参数自动率定和更新、数据异常在线检测、数据自动处理功能，使得数据能够进行在线异常判别和处理，有效减少了水情水调数据质量分析、数据异常处理中的人工工作量，提高水情水调数据的质量和数据质量管理的效率，提高水库管理水平。
附图说明
图1是本发明的系统实现结构示意图。
图2是本发明的数据处理模块与数据质量与分析模块关系流程图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
如图1所示，一种提高水情水调数据质量的系统，包括SCADA模块、水情水调数据库、数据质量参数率定模块、数据质量判别与分析模块、数据处理模块，水情水调数据库分别与SCADA模块、数据质量参数率定模块、数据处理模块、数据质量判别与分析模块连接，数据质量判别与分析模块与数据处理模块连接。
SCADA模块用于自动采集水情遥测站监测量(雨量、水位、流量)，并将这些监测量进行异常检测和处理后，存入水情水调数据库；
水情水调数据库用于各水情站点水情数据(雨量、水位、流量数据)、数据质量判别参数的存储和读取管理；
数据质量参数率定模块根据历史水情数据(雨量、水位、流量)，对数据质量判别的参数进行分析和率定，将率定好的数据质量判别参数存入水情水调数据库，为SCADA模块、数据质量判别和分析模块提供数据质量判别参数；
数据质量判别和分析模块用于对水情水调数据库中水情数据进行数据质量检测与判别，如果检测出数据异常，则进行标识，用于供数据处理模块进行数据异常处理；
如图2所示，数据处理模块用于对数据质量判别和分析模块检测出的异常数据进行处理，首先读取水情水调数据库中的异常数据，并根据数据处理方法进行数据自动处理，处理后的数据进入数据质量判别与分析模块进行判别，直至通过判别，进行标识和存入水情水调数据库。
一种提高水情水调数据质量的方法，包括步骤：
(1)数据质量参数率定模块从水情水调数据库中提取水情站点水情数据，分别对雨量数据、水位、流量数据进行整理和分析，计算出数据质量判别参数，并更新到水情水调数据库；
(2)数据质量判别和分析模块从水情水调数据库中提取水情数据和数据质量判别参数，分别对雨量数据、水位、流量数据按照数据质量判别参数进行数据质量判别，对通不过判别条件的数据标记可疑数据，存入水情水调数据库；
(3)数据处理模块提取水情水调数据库中数据质量判别后的可疑数据，对其进行自动修订，针对雨量数据采用距离上最近的临近站雨量值代替，针对水位、流量数据采用线性插值方法进行修正处理；
(4)数据处理模块修订后的数据调用数据质量判别和分析模块对其再次进行数据质量判别，如通过判别，则将该数据标识为合理数据，并存入水情水调数据库，如没有通过判别，则返回数据处理模块重复步骤(3)，直至该数据通过判别，如果连续三次没有通过，则将数据标识为待审核数据，并存入水情水调数据库。
所述步骤(1)，具体步骤包括：
1)数据质量参数率定模块对雨量数据中最小时间步长(通常是5分钟)雨量数据、小时雨量数据、日雨量数据进行提取，生成各自的雨量时间序列数据Pmi、Phi、Pdi，对此三个序列进行统计分析，取各类雨量数据的最大值Pmmax、Phmax、Pdmax，将Pmmax、Phmax、Pdmax分别作为最小时间步长雨量数据、小时雨量数据、日雨量数据的雨量数据异常阈值判断参数；
2)数据质量参数率定模块将水位实时数据、小时数据、日数据进行提取，分别生成各个时间序列数据Lri、Lhi、Ldi，分别对各水位时间序列数据逐个计算各数据点Li与前一数据点Li-1所形成的水位变化率L′i，估计出各类水位变化率数据序列
Figure BDA0001526972560000071
的均值
Figure BDA0001526972560000072
和方差σl，作为水位实时数据、小时数据、日数据连续性数据异常判别参数；
3)数据质量参数率定模块将流量实时数据、小时数据、日数据进行提取，分别生成各个时间序列数据Qri、Qhi、Qdi，分别对各流量时间序列数据逐个计算各数据点Qi与前一数据点Qi-1所形成的变化率
Figure BDA0001526972560000073
分别估计出此变化率数据序列
Figure BDA0001526972560000074
的均值
Figure BDA0001526972560000075
和方差σq，作为流量实时数据、小时数据、日数据连续性数据异常判别参数；
4)将以上阈值或异常判别参数更新存入水情水调数据库中。
所述步骤(2)，具体步骤包括：
1)数据质量判别和分析模块从水情水调数据库中读取最小时间步长雨量数据、小时雨量数据、日雨量数据的异常阈值判断参数Pmmax、Phmax、Pdmax，并从水情水调数据库中读取实时最小时间步长、小时、日雨量数据，对实时雨量数据进行数据质量判别，超过异常阈值判断参数的雨量数据则标识为可疑数据，将可疑数据存入水情水调数据库；
2)数据质量判别和分析模块从水情水调数据库中获取待检水位时间序列数据Li'以及水位实时数据、小时数据、日数据连续性数据异常判别参数(分别为水位实时数据、小时数据、日数据变化率数据序列的均值
Figure BDA0001526972560000076
和方差σl)，逐个计算待检水位数据点Li'与前一待检数据点Li'-1所形成的水位变化率
Figure BDA0001526972560000077
，若
Figure BDA0001526972560000078
即标识水位数据点Li'为可疑数据，将可疑数据存入水情水调数据库；
3)数据质量判别和分析模块从水情水调数据库中获取待检流量时间序列数据Qi'以及流量实时数据、小时数据、日数据连续性数据异常判别参数(分别为流量实时、小时、日数据变化率数据序列的均值
Figure BDA0001526972560000081
和方差σq)，对待检流量时间序列数据Qi'逐个计算数据点Qi'与前一数据点Qi'-1所形成的变化率
Figure BDA0001526972560000082
若
Figure BDA0001526972560000083
则标识流量数据点Qi'为可疑数据。
本发明从水情水调系统数据质量管理角度建立了数据异常判断和处理措施，具备数据质量判别参数自动率定和更新功能，进行质量判断和数据处理，有效减少了水情水调数据质量分析中的人工工作量，提高了水情水调数据质量管理效率。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (4)

1.一种提高水情水调数据质量的系统，其特征在于，包括SCADA模块、水情水调数据库、数据质量参数率定模块、数据质量判别与分析模块、数据处理模块，水情水调数据库分别与SCADA模块、数据质量参数率定模块、数据处理模块、数据质量判别与分析模块连接，数据质量判别与分析模块与数据处理模块连接；
SCADA模块用于自动采集水情遥测站监测量，存入水情水调数据库；
水情水调数据库用于各水情站点水情数据、数据质量判别参数的存储和读取管理；
数据质量参数率定模块根据历史水情数据，对数据质量判别的参数进行分析和率定，将率定好的数据质量判别参数存入水情水调数据库，为数据质量判别和分析模块提供数据质量判别参数；
数据质量判别和分析模块用于对水情水调数据库中水情数据进行数据质量检测与判别，如果检测出数据异常，则进行标识，用于供数据处理模块进行数据异常处理；
数据处理模块读取水情水调数据库中的异常数据，并根据数据处理方法进行数据自动处理，处理后的数据进入数据质量判别与分析模块进行判别，直至通过判别，进行标识和存入水情水调数据库；
所述系统执行以下步骤：
(1)数据质量参数率定模块从水情水调数据库中提取水情站点水情数据，分别对进行整理和分析，计算出数据质量判别参数，并更新到水情水调数据库；
(2)数据质量判别和分析模块从水情水调数据库中提取水情数据和数据质量判别参数，分别对水情数据按照数据质量判别参数进行数据质量判别，对通不过判别条件的数据标记可疑数据，存入水情水调数据库；
(3)数据处理模块提取水情水调数据库中数据质量判别后的可疑数据，对其进行自动修订，针对雨量数据采用距离上最近的临近站雨量值代替，针对水位、流量数据采用线性插值方法进行修正处理；
(4)数据处理模块修订后的数据调用数据质量判别和分析模块对其再次进行数据质量判别，如通过判别，则将该数据标识为合理数据，并存入水情水调数据库，如没有通过判别，则返回数据处理模块重复步骤(3)，直至该数据通过判别，如果连续三次没有通过，则将数据标识为待审核数据，并存入水情水调数据库；
所述步骤(1)，具体步骤包括：
1)数据质量参数率定模块对雨量数据中最小时间步长雨量数据、小时雨量数据、日雨量数据进行提取，生成各自的雨量时间序列数据Pmi、Phi、Pdi，对此三个序列进行统计分析，取各类雨量数据的最大值Pmmax、Phmax、Pdmax，将Pmmax、Phmax、Pdmax分别作为最小时间步长雨量数据、小时雨量数据、日雨量数据的雨量数据异常阈值判断参数；
2)数据质量参数率定模块将水位实时数据、小时数据、日数据进行提取，分别生成各个时间序列数据Lri、Lhi、Ldi，分别对各水位时间序列数据逐个计算各数据点Li与前一数据点Li-1所形成的水位变化率L′i，估计出各类水位变化率数据序列L′i的均值
Figure FDA0003105078600000021
和方差σl，作为水位实时数据、小时数据、日数据连续性数据异常判别参数；
3)数据质量参数率定模块将流量实时数据、小时数据、日数据进行提取，分别生成各个时间序列数据Qri、Qhi、Qdi，分别对各流量时间序列数据逐个计算各数据点Qi与前一数据点Qi-1所形成的变化率Q′i，分别估计出此变化率数据序列Q′i的均值
Figure FDA0003105078600000022
和方差σq，作为流量实时数据、小时数据、日数据连续性数据异常判别参数；
4)将以上阈值或异常判别参数更新存入水情水调数据库中；
所述步骤(2)，具体步骤包括：
1)数据质量判别和分析模块从水情水调数据库中读取最小时间步长雨量数据、小时雨量数据、日雨量数据的异常阈值判断参数Pmmax、Phmax、Pdmax，并从水情水调数据库中读取实时最小时间步长、小时、日雨量数据，对实时雨量数据进行数据质量判别，超过异常阈值判断参数的雨量数据则标识为可疑数据，将可疑数据存入水情水调数据库；
2)数据质量判别和分析模块从水情水调数据库中获取待检水位时间序列数据Li'以及水位实时数据、小时数据、日数据连续性数据异常判别参数，分别为水位实时数据、小时数据、日数据变化率数据序列的均值
Figure FDA0003105078600000031
和方差σl，逐个计算待检水位数据点Li'与前一待检数据点Li'-1所形成的水位变化率L′i'，若
Figure FDA0003105078600000032
即标识水位数据点Li'为可疑数据，将可疑数据存入水情水调数据库；
3)数据质量判别和分析模块从水情水调数据库中获取待检流量时间序列数据Qi'以及流量实时数据、小时数据、日数据连续性数据异常判别参数，分别为流量实时、小时、日数据变化率数据序列的均值
Figure FDA0003105078600000033
和方差σq，对待检流量时间序列数据Qi'逐个计算数据点Qi'与前一数据点Qi'-1所形成的变化率Q'i'，若
Figure FDA0003105078600000034
则标识流量数据点Qi'为可疑数据。
2.根据权利要求1所述的一种提高水情水调数据质量的系统，其特征是：所述水情遥测站监测量、各水情站点水情数据包括雨量、水位、流量数据。
3.一种提高水情水调数据质量的方法，其特征是：包括步骤：
(1)数据质量参数率定模块从水情水调数据库中提取水情站点水情数据，分别对进行整理和分析，计算出数据质量判别参数，并更新到水情水调数据库；
(2)数据质量判别和分析模块从水情水调数据库中提取水情数据和数据质量判别参数，分别对水情数据按照数据质量判别参数进行数据质量判别，对通不过判别条件的数据标记可疑数据，存入水情水调数据库；
(3)数据处理模块提取水情水调数据库中数据质量判别后的可疑数据，对其进行自动修订，针对雨量数据采用距离上最近的临近站雨量值代替，针对水位、流量数据采用线性插值方法进行修正处理；
(4)数据处理模块修订后的数据调用数据质量判别和分析模块对其再次进行数据质量判别，如通过判别，则将该数据标识为合理数据，并存入水情水调数据库，如没有通过判别，则返回数据处理模块重复步骤(3)，直至该数据通过判别，如果连续三次没有通过，则将数据标识为待审核数据，并存入水情水调数据库；
所述步骤(1)，具体步骤包括：
1)数据质量参数率定模块对雨量数据中最小时间步长雨量数据、小时雨量数据、日雨量数据进行提取，生成各自的雨量时间序列数据Pmi、Phi、Pdi，对此三个序列进行统计分析，取各类雨量数据的最大值Pmmax、Phmax、Pdmax，将Pmmax、Phmax、Pdmax分别作为最小时间步长雨量数据、小时雨量数据、日雨量数据的雨量数据异常阈值判断参数；
2)数据质量参数率定模块将水位实时数据、小时数据、日数据进行提取，分别生成各个时间序列数据Lri、Lhi、Ldi，分别对各水位时间序列数据逐个计算各数据点Li与前一数据点Li-1所形成的水位变化率L′i，估计出各类水位变化率数据序列L′i的均值
Figure FDA0003105078600000042
和方差σl，作为水位实时数据、小时数据、日数据连续性数据异常判别参数；
3)数据质量参数率定模块将流量实时数据、小时数据、日数据进行提取，分别生成各个时间序列数据Qri、Qhi、Qdi，分别对各流量时间序列数据逐个计算各数据点Qi与前一数据点Qi-1所形成的变化率Q′i，分别估计出此变化率数据序列Q′i的均值
Figure FDA0003105078600000041
和方差σq，作为流量实时数据、小时数据、日数据连续性数据异常判别参数；
4)将以上阈值或异常判别参数更新存入水情水调数据库中；
所述步骤(2)，具体步骤包括：
1)数据质量判别和分析模块从水情水调数据库中读取最小时间步长雨量数据、小时雨量数据、日雨量数据的异常阈值判断参数Pmmax、Phmax、Pdmax，并从水情水调数据库中读取实时最小时间步长、小时、日雨量数据，对实时雨量数据进行数据质量判别，超过异常阈值判断参数的雨量数据则标识为可疑数据，将可疑数据存入水情水调数据库；
2)数据质量判别和分析模块从水情水调数据库中获取待检水位时间序列数据Li'以及水位实时数据、小时数据、日数据连续性数据异常判别参数，分别为水位实时数据、小时数据、日数据变化率数据序列的均值
Figure FDA0003105078600000051
和方差σl，逐个计算待检水位数据点Li'与前一待检数据点Li'-1所形成的水位变化率L′i'，若
Figure FDA0003105078600000052
即标识水位数据点Li'为可疑数据，将可疑数据存入水情水调数据库；
3)数据质量判别和分析模块从水情水调数据库中获取待检流量时间序列数据Qi'以及流量实时数据、小时数据、日数据连续性数据异常判别参数，分别为流量实时、小时、日数据变化率数据序列的均值
Figure FDA0003105078600000053
和方差σq，对待检流量时间序列数据Qi'逐个计算数据点Qi'与前一数据点Qi'-1所形成的变化率Q'i'，若
Figure FDA0003105078600000054
则标识流量数据点Qi'为可疑数据。
4.根据权利要求3所述的一种提高水情水调数据质量的方法，其特征是：所述水情站点水情数据包括雨量数据、水位数据、流量数据。
CN201711443558.7A 2017-12-27 2017-12-27 一种提高水情水调数据质量的系统和方法 Active CN108319649B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711443558.7A CN108319649B (zh) 2017-12-27 2017-12-27 一种提高水情水调数据质量的系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711443558.7A CN108319649B (zh) 2017-12-27 2017-12-27 一种提高水情水调数据质量的系统和方法

Publications (2)

Publication Number Publication Date
CN108319649A CN108319649A (zh) 2018-07-24
CN108319649B true CN108319649B (zh) 2021-09-14

Family

ID=62892585

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711443558.7A Active CN108319649B (zh) 2017-12-27 2017-12-27 一种提高水情水调数据质量的系统和方法

Country Status (1)

Country Link
CN (1) CN108319649B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109255478A (zh) * 2018-08-27 2019-01-22 南京河海南自水电自动化有限公司 异常数据兼容模式下水情测报和水调自动化系统及方法
CN110031917B (zh) * 2019-04-03 2021-06-18 殷健 一种雨情监测方法
CN110044423B (zh) * 2019-04-03 2021-02-26 殷健 一种水流量监测方法
CN110378369B (zh) * 2019-06-06 2020-06-26 特斯联（北京）科技有限公司 应用人工智能分析的广域水务状态可视化系统及方法
CN110649957B (zh) * 2019-08-26 2023-08-01 西安空间无线电技术研究所 降低星载微波辐射计滑环传输误码率的方法、系统及介质
CN111984930A (zh) * 2020-08-19 2020-11-24 河海大学 一种地下水水位监测数据异常值识别方法及系统
CN112445839B (zh) * 2020-11-09 2023-09-19 长江生态环保集团有限公司 一种水情自动测报系统数据可用度统计方法
CN112816023A (zh) * 2020-12-23 2021-05-18 中国船舶重工集团有限公司第七一0研究所 一种水量采集滤波方法及水量采集方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106054844A (zh) * 2016-07-12 2016-10-26 河海大学 一种农业智能远程管理系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003333584A (ja) * 2002-05-16 2003-11-21 Fujitsu Ltd 監視システム
US8200775B2 (en) * 2005-02-01 2012-06-12 Newsilike Media Group, Inc Enhanced syndication
CN102651093A (zh) * 2012-03-31 2012-08-29 上海海洋大学 一种基于时间序列异常检测技术的海洋信息管理系统
CN104298841B (zh) * 2013-07-16 2018-04-13 浙江贵仁信息科技股份有限公司 一种基于历史数据的洪水预报方法和系统
CN104281779A (zh) * 2014-09-26 2015-01-14 宁波绮耘软件有限公司 一种异常数据判定与处理方法及装置
CN106373070B (zh) * 2016-08-29 2019-04-16 西安理工大学 一种应对城市暴雨内涝的四预方法
CN106950614B (zh) * 2017-02-28 2019-03-22 中船重工鹏力（南京）大气海洋信息系统有限公司 一种区域自动气象站小时雨量数据质量控制方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106054844A (zh) * 2016-07-12 2016-10-26 河海大学 一种农业智能远程管理系统

Also Published As

Publication number Publication date
CN108319649A (zh) 2018-07-24

Similar Documents

Publication Publication Date Title
CN108319649B (zh) 一种提高水情水调数据质量的系统和方法
CN108446864B (zh) 基于大数据分析的轨道交通设备的故障预警系统及方法
CN110929743B (zh) 基于时间序列关联与聚类分析的水质污染物变化监测系统
CN111160791A (zh) 一种基于gbdt算法及因素融合的异常用户识别方法
CN114201374A (zh) 基于混合机器学习的运维时序数据异常检测方法及系统
CN110855012A (zh) 一种台区实时线损智能分析系统
CN115842847B (zh) 一种基于物联网的水表智能控制方法、系统及介质
CN115994692B (zh) 基于5g和大数据的智慧河湖管理平台
CN117649752A (zh) 供水管网的监测预警处置方法、装置、设备及介质
CN115222303B (zh) 基于大数据的行业风险数据分析方法、系统及存储介质
CN118334563B (zh) 一种基于监控环境下电力设备异常检测分析方法及系统
CN113791186B (zh) 一种选择水质异常报警监测因子的方法及其系统
CN113934536A (zh) 面向边缘计算的数据采集方法
CN113362630A (zh) 一种智慧城市建设道路交通信号设备故障分析处理方法、系统及计算机存储介质
CN112633819A (zh) 一种基于大数据特征识别的智能配电网安全运行管理系统
CN118413265A (zh) 一种卫星在线状态监测系统及方法
CN116911807B (zh) 一种智慧燃气数据中心流程可视化管理方法和物联网系统
CN116845863A (zh) 基于时空轨迹的末端电网异常设备接入告警方法及装置
CN117154716A (zh) 一种分布式电源接入配电网的规划方法及系统
CN116679650A (zh) 一种运用于工业自动化设备的远程控制系统
CN115187880A (zh) 基于图像识别的通信光缆缺陷检测方法、系统及存储介质
CN115439265A (zh) 一种保险行业智能赔付异常交易风险控制系统
CN117726959B (zh) 基于智能图像识别的无人机电力线路安全巡检系统及方法
CN112668948A (zh) 基于多源信息融合的林业生态环境人机交互系统及方法
CN114401296B (zh) 一种基于物联网的城市环境下田园管理远程光信号处理方法、系统和可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant