CN115587542A - 基于强化学习的地下水反演仿真方法、系统、设备及介质 - Google Patents
基于强化学习的地下水反演仿真方法、系统、设备及介质 Download PDFInfo
- Publication number
- CN115587542A CN115587542A CN202211361345.0A CN202211361345A CN115587542A CN 115587542 A CN115587542 A CN 115587542A CN 202211361345 A CN202211361345 A CN 202211361345A CN 115587542 A CN115587542 A CN 115587542A
- Authority
- CN
- China
- Prior art keywords
- well
- reinforcement learning
- data
- prediction model
- model based
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000002787 reinforcement Effects 0.000 title claims abstract description 91
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 89
- 238000004088 simulation Methods 0.000 title claims abstract description 57
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000012544 monitoring process Methods 0.000 claims abstract description 65
- 239000003673 groundwater Substances 0.000 claims abstract description 41
- 239000012530 fluid Substances 0.000 claims abstract description 9
- 239000013598 vector Substances 0.000 claims description 83
- 238000004590 computer program Methods 0.000 claims description 19
- 239000000126 substance Substances 0.000 claims description 14
- 238000005457 optimization Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 11
- 239000002689 soil Substances 0.000 claims description 9
- 238000003860 storage Methods 0.000 claims description 6
- VEXZGXHMUGYJMC-UHFFFAOYSA-M Chloride anion Chemical compound [Cl-] VEXZGXHMUGYJMC-UHFFFAOYSA-M 0.000 claims description 3
- KRHYYFGTRYWZRS-UHFFFAOYSA-M Fluoride anion Chemical compound [F-] KRHYYFGTRYWZRS-UHFFFAOYSA-M 0.000 claims description 3
- QAOWNCQODCNURD-UHFFFAOYSA-L Sulfate Chemical compound [O-]S([O-])(=O)=O QAOWNCQODCNURD-UHFFFAOYSA-L 0.000 claims description 3
- 229910052769 Ytterbium Inorganic materials 0.000 claims description 3
- 239000002253 acid Substances 0.000 claims description 3
- 238000005273 aeration Methods 0.000 claims description 3
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 3
- XKMRRTOUMJRJIA-UHFFFAOYSA-N ammonia nh3 Chemical compound N.N XKMRRTOUMJRJIA-UHFFFAOYSA-N 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 238000001704 evaporation Methods 0.000 claims description 3
- 230000008020 evaporation Effects 0.000 claims description 3
- 230000035699 permeability Effects 0.000 claims description 3
- 238000001556 precipitation Methods 0.000 claims description 3
- 150000003839 salts Chemical class 0.000 claims description 3
- 239000002349 well water Substances 0.000 claims description 3
- 235000020681 well water Nutrition 0.000 claims description 3
- NAWDYIZEMPQZHO-UHFFFAOYSA-N ytterbium Chemical compound [Yb] NAWDYIZEMPQZHO-UHFFFAOYSA-N 0.000 claims description 3
- 230000004888 barrier function Effects 0.000 claims description 2
- 239000013589 supplement Substances 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 10
- 230000003068 static effect Effects 0.000 description 5
- 238000010276 construction Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 238000010219 correlation analysis Methods 0.000 description 4
- 238000003895 groundwater pollution Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 239000007788 liquid Substances 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000013456 study Methods 0.000 description 2
- 238000003911 water pollution Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- -1 bedrock Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013210 evaluation model Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000012502 risk assessment Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012731 temporal analysis Methods 0.000 description 1
- 238000000700 time series analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
- G06F2119/08—Thermal analysis or thermal optimisation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A20/00—Water conservation; Efficient water supply; Efficient water use
- Y02A20/152—Water filtration
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Tourism & Hospitality (AREA)
- Geometry (AREA)
- General Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Data Mining & Analysis (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了基于强化学习的地下水反演仿真方法、系统、设备及介质，该方法包括：根据地下水基础数据，构建基于动态数字孪生的水文地质模型；通过地下水监测站点，实时采集各个监测井的水质数据；并将所述水质数据与监测井液位数据和/或气温数据整合，形成多个单井数据序列；根据所述基于动态数字孪生的水文地质模型和所述单井数据序列，构建基于强化学习的井群网络预测模型；并对所述基于强化学习的井群网络预测模型进行动态优化，得到优化后的基于强化学习的井群网络预测模型；采用优化后的基于强化学习的井群网络预测模型，对待监测的监测井进行模拟反演，得到仿真结果。本发明能够实现更精准的水文地质建模和污染源溯源。
Description
技术领域
本发明涉及计算机领域中的人工智能技术领域，具体涉及基于强化学习的地下水反演仿真方法、系统、设备及介质。
背景技术
现有对于地下水的建模技术，主要依据地质图及以往地勘资料进行建模，已经可以实现地下水污染预测预警和地下水智能评价，包括了对灰色预测、时间序列分析预测模型的管理，单项预警、综合预警模型的管理，对地下水水质、含水层固有脆弱性、污染源荷载风险分析、污染危害性、污染风险的智能评价分析，通过对预警模型以及智能评价模型对地下水污染的防治溯源。
然而，现有地下水的仿真方法是基于监测井数据建立污染源溯源等功能，监测井密度不足导致水文地质模型的分辨率较低，不能对细微的地下水文变化做出相应判断。同时，基础水文地质模型是手动建立的，受人为干扰较大，且只能对离散的地下水监测井进行数据监控，仿真不精准，且后期无法进行自我修正。
发明内容
本发明所要解决的技术问题是现有地下水的仿真方法是依赖认为预设构建模型，仿真不精准，且存在无法反演修正的问题。本发明目的在于提供基于强化学习的地下水反演仿真方法、系统、设备及介质，克服原有模型建立依赖人为预设，分辨率较低，无法自学习反演修正的问题，实现更精准的水文地质建模和污染源溯源。
本发明通过下述技术方案实现：
第一方面，本发明提供了基于强化学习的地下水反演仿真方法，该方法包括：
根据地下水基础数据，构建基于动态数字孪生的水文地质模型；
通过地下水监测站点，实时采集各个监测井的水质数据；并将所述水质数据与监测井液位数据和/或气温数据等数据整合，形成多个单井数据序列；所述水质数据包括PH和COD等水质指标；
根据所述基于动态数字孪生的水文地质模型和所述单井数据序列，构建基于强化学习的井群网络预测模型；并对所述基于强化学习的井群网络预测模型进行动态优化，得到优化后的基于强化学习的井群网络预测模型；
采用优化后的基于强化学习的井群网络预测模型，对待监测的监测井进行模拟反演，得到仿真结果。
进一步地，所述基于动态数字孪生的水文地质模型是将地下水系统中任意一个时空对象(水、基岩、砂石等)和过程描述为若干基本时空对象的组合，每个所述基本时空对象均包含空间位置、属性和时间等信息；及通过聚合、组合或关联等方式将所述基本时空对象联系在一起形成最终的水文地质模型。
进一步地，所述基于动态数字孪生的水文地质模型的构建步骤为：
步骤A，将地下水基础数据附着在WEBGIS上来构建三维基础空间模型，对多年降水量、蒸发量、气温、地表岩性和土壤类型等数据进行标签分层划分，形成表观特征向量(apparent vector)；
步骤B，在所述三维基础空间模型上附着水文地质数据，将各特征标签整合，形成隐含特征向量(implicit vector)；所述隐含特征向量的数据代表从学科观点出发对地下水情况的推断；在模型自优化过程中，将所述隐含特征向量进行动态调整，形成基于动态数字孪生的水文地质模型；
其中，所述地下水基础数据包括气象、水文和土壤数据；所述特征标签包括区域地貌类型与分区、地层岩性、地质构造、包气带岩性、厚度与结构，地下水系统结构、岩性、厚度，含水层、隔水层的岩性结构及空间分布和地下水补径排条件等。
进一步地，所述地下水监测站点是通过将传感器悬吊于目标监测水层，对地下水物理化学特性及土壤情况进行监测。
进一步地，所述根据所述基于动态数字孪生的水文地质模型和所述单井数据序列，构建基于强化学习的井群网络预测模型；并对所述基于强化学习的井群网络预测模型进行动态优化，得到优化后的基于强化学习的井群网络预测模型，包括：
将所述基于动态数字孪生的水文地质模型抽象化，形成拓扑网状结构；
在所述拓扑网状结构中，每个网络节点代表一个监测井，并对单网络节点赋予单井数据序列，即实时单井向量；两个网络节点之间赋予实时关联向量；其中，所述实时关联向量是根据单监测井每次上传的单井数据序列，对周围一圈的监测井分别进行计算两者之间的关联数据，作为实时关联向量；
输入实时单井向量至基于强化学习的井群网络预测模型中，基于静态关联特征向量输出计算关联向量；
根据所述计算关联向量和所述实时关联向量，对所述基于强化学习的井群网络预测模型进行自学习的动态优化，得到优化后的优化后的基于强化学习的井群网络预测模型。
进一步地，所述实时单井向量是通过监测井液位数据和水化学参数数据描述监测井的理化特性；所述水化学参数数据包括pH、总硬度、硫酸盐、氯化物、高镒酸盐指数、氨氮、氟化物和总大肠菌群等；
所述实时关联向量是通过流通参数和化学传导参数描述监测井之间的相关性；所述流通参数包括监测井透水层关联性及水流方向，所述化学传导参数包括水化学参数的相互的关联度。
第二方面，本发明又提供了基于强化学习的地下水反演仿真系统，该系统支持所述的基于强化学习的地下水反演仿真方法；该系统包括：
水文地质模型构建单元，用于根据地下水基础数据，构建基于动态数字孪生的水文地质模型；
井数据序列获取单元，用于通过地下水监测站点，实时采集各个监测井的水质数据；并将所述水质数据与监测井液位数据和/或气温数据等数据整合，形成多个单井数据序列；所述水质数据包括PH和COD等水质指标；
基于强化学习的井群网络预测模型构建及优化单元，用于根据所述基于动态数字孪生的水文地质模型和所述单井数据序列，构建基于强化学习的井群网络预测模型；并对所述基于强化学习的井群网络预测模型进行动态优化，得到优化后的基于强化学习的井群网络预测模型；
模拟反演单元，用于采用优化后的基于强化学习的井群网络预测模型，对待监测的监测井进行模拟反演，得到仿真结果，实现污染源溯源和流通性关联分析。
进一步地，所述基于强化学习的井群网络预测模型构建及优化单元的执行过程为：
将所述基于动态数字孪生的水文地质模型抽象化，形成拓扑网状结构；
在所述拓扑网状结构中，每个网络节点代表一个监测井，并对单网络节点赋予单井数据序列，即实时单井向量；两个网络节点之间赋予实时关联向量；其中，所述实时关联向量是根据单监测井每次上传的单井数据序列，对周围一圈的监测井分别进行计算两者之间的关联数据，作为实时关联向量；
输入实时单井向量至基于强化学习的井群网络预测模型中，基于静态关联特征向量输出计算关联向量；
根据所述计算关联向量和所述实时关联向量，对所述基于强化学习的井群网络预测模型进行自学习的动态优化，得到优化后的优化后的基于强化学习的井群网络预测模型。
第三方面，本发明又提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的基于强化学习的地下水反演仿真方法。
第四方面，本发明又提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述的基于强化学习的地下水反演仿真方法。
本发明与现有技术相比，具有如下的优点和有益效果：
本发明基于强化学习的地下水反演仿真方法、系统、设备及介质，克服原有模型建立依赖人为预设，分辨率较低的缺陷，无法自学习反演修正的问题，实现更精准的水文地质建模和污染源溯源。本发明通过对地下水网进行反演、建模，动态了解地下水系的相互关联关系，实现数据分析研判、地下水污染预警、地下水污染成因分析和溯源等功能。对于地下水环境保护、污染源控制、水源地保护有强力支持作用。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：
图1为本发明基于强化学习的地下水反演仿真方法流程图。
图2为本发明基于强化学习的地下水反演仿真系统结构示意图。
图3为本发明实施例1形成的拓扑网状结构示意图。
图4为本发明实施例1仿真结果示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
实施例1
如图1所示，本发明基于强化学习的地下水反演仿真方法，该方法包括：
步骤1，根据地下水基础数据，构建基于动态数字孪生的水文地质模型；
本发明为实现对地下水系统时空过程的高效表达，构建一套基于动态数字孪生的水文地质模型，该模型使用三维数字孪生技术，在将地下水系统中任意一个时空对象(水、基岩、砂石等)和过程描述为若干基本时空对象的组合，每个所述基本时空对象均包含空间位置、属性和时间等信息；该模型通过聚合、组合或关联等方式将所述基本时空对象联系在一起形成最终的水文地质模型。
本实施例中，基于动态数字孪生的水文地质模型的构建步骤为：
步骤A，将气象、水文和土壤数据附着在WEBGIS上来构建三维基础空间模型，对多年降水量、蒸发量、气温、地表岩性和土壤类型等数据进行标签分层划分，形成表观特征向量(apparent vector)；
步骤B，在所述三维基础空间模型上附着水文地质数据，将区域地貌类型与分区、地层岩性、地质构造、包气带岩性、厚度与结构，地下水系统结构、岩性、厚度，含水层、隔水层的岩性结构及空间分布和地下水补径排条件各特征标签整合，形成隐含特征向量(implicit vector)；所述隐含特征向量的数据代表从学科观点出发对地下水情况的推断，在模型自优化过程中，这一隐含特征向量会进行动态调整，形成基于动态数字孪生的水文地质模型；
步骤2，通过地下水监测站点，实时采集各个监测井的水质数据；并将所述水质数据与监测井液位数据和/或气温数据等数据整合，形成多个单井数据序列；
本实施例中，所述地下水监测站点能独立完成监测井的实时监测及数据采集，对地下水物理化学特性及土壤情况进行监测。通过将传感器悬吊于目标监测水层，采集PH、COD等水质指标，将水质数据与液位数据和/或气温数据等数据整合，形成多个单井数据序列(well vector)，保存上传。
步骤3，根据所述基于动态数字孪生的水文地质模型和所述单井数据序列，构建基于强化学习的井群网络预测模型；并对所述基于强化学习的井群网络预测模型进行动态优化，得到优化后的基于强化学习的井群网络预测模型；包括：
步骤31，将所述基于动态数字孪生的水文地质模型抽象化，形成拓扑网状结构；如图3所示。
步骤32，在所述拓扑网状结构中，每个网络节点代表一个监测井，并对单网络节点赋予单井数据序列，即实时单井向量；两个网络节点之间赋予实时关联向量；其中，所述实时关联向量是根据单监测井每次上传的单井数据序列，对周围一圈的监测井分别进行计算两者之间的关联数据，作为实时关联向量，计算公式为：
conn vecij＝Corr(well vec seriesi,well vec seriesj)
式中，conn vec为井群图网络的关联向量；conn vecij为井i和井j的关联系数；
well vec seriesi为井i的静态水位(海拔)。
具体地，所述实时单井向量(well vector)是通过监测井液位数据和水化学参数数据描述监测井的理化特性；所述水化学参数数据包括pH、总硬度、硫酸盐、氯化物、高镒酸盐指数、氨氮、氟化物和总大肠菌群等；
所述实时关联向量(connect vector)是通过流通参数和化学传导参数描述监测井之间的相关性；所述流通参数包括监测井透水层关联性及水流方向，所述化学传导参数包括水化学参数的相互的关联度。
步骤33，输入实时单井向量至基于强化学习的井群网络预测模型中，基于静态关联特征向量输出计算关联向量；
具体地，基于强化学习的井群网络预测模型是基于DQL(deep Q learning)建立，是一个井群网络预测模型，对于任意一个单井，与周围井群有关联特征向量，即关联特征向量，这一向量为任意两井的基础关联信息。
步骤34，根据所述计算关联向量和所述实时关联向量，对所述基于强化学习的井群网络预测模型进行自学习的动态优化，得到优化后的优化后的基于强化学习的井群网络预测模型。
具体地，计算关联向量与实时关联向量即是基于强化学习的井群网络预测模型优化的目标函数。每次数据集汇总，即会对基于强化学习的井群网络预测模型进行自学习动态调优。
步骤4，采用优化后的基于强化学习的井群网络预测模型，对待监测的监测井进行模拟反演，得到仿真结果，实现污染源溯源和流通性关联分析。
具体地，本发明利用优化后的基于强化学习的井群网络预测模型，该模型输入“单井向量”(液位及水化学参数)，该模型输出对应的井群网络参数，实现污染源溯源和流通性关联分析。
具体实施时，本发明实施于西藏地下水自动监测网及污染溯源，在西藏阿里地区设置32口监测井，实现当地的水文地质模型反演和构造。具体通过基于动态数字孪生的水文地质模型建立→监测井接入→基于强化学习的井群网络预测模型的运行优化→决策支持。最后得到的仿真结果如图4所示。
本发明通过基于动态数字孪生的水文地质模型，对于地下水系统的时空模块进行水位、水质模拟，形成连通拓扑和流向模拟。基于强化学习的井群网络预测模型使用上述模拟，对监测网数据生成仿真数据，若仿真数据与真实数据偏差较大，则惩罚该模型，从而实现自学习和修正，最终实现地质模型反演和污染溯源。
本发明通过对地下水网进行反演、建模，动态了解地下水系的相互关联关系，实现数据分析研判、地下水污染预警、地下水污染成因分析和溯源等功能。对于地下水环境保护、污染源控制、水源地保护有强力支持作用。
实施例2
如图2所示，本实施例与实施例1的区别在于，本实施例提供了基于强化学习的地下水反演仿真系统，该系统支持实施例1所述的基于强化学习的地下水反演仿真方法；该系统包括：
水文地质模型构建单元，用于根据地下水基础数据，构建基于动态数字孪生的水文地质模型；
井数据序列获取单元，用于通过地下水监测站点，实时采集各个监测井的水质数据；并将所述水质数据与监测井液位数据和/或气温数据等数据整合，形成多个单井数据序列；所述水质数据包括PH和COD等水质指标；
基于强化学习的井群网络预测模型构建及优化单元，用于根据所述基于动态数字孪生的水文地质模型和所述单井数据序列，构建基于强化学习的井群网络预测模型；并对所述基于强化学习的井群网络预测模型进行动态优化，得到优化后的基于强化学习的井群网络预测模型；
模拟反演单元，用于采用优化后的基于强化学习的井群网络预测模型，对待监测的监测井进行模拟反演，得到仿真结果，实现污染源溯源和流通性关联分析。
作为进一步地实施，所述基于强化学习的井群网络预测模型构建及优化单元的执行过程为：
将所述基于动态数字孪生的水文地质模型抽象化，形成拓扑网状结构；
在所述拓扑网状结构中，每个网络节点代表一个监测井，并对单网络节点赋予单井数据序列，即实时单井向量；两个网络节点之间赋予实时关联向量；其中，所述实时关联向量是根据单监测井每次上传的单井数据序列，对周围一圈的监测井分别进行计算两者之间的关联数据，作为实时关联向量；
输入实时单井向量至基于强化学习的井群网络预测模型中，基于静态关联特征向量输出计算关联向量；
根据所述计算关联向量和所述实时关联向量，对所述基于强化学习的井群网络预测模型进行自学习的动态优化，得到优化后的优化后的基于强化学习的井群网络预测模型。
各个单元的执行过程按照实施例1所述的基于强化学习的地下水反演仿真方法流程步骤执行即可，此实施例中不再一一赘述。
同时，本发明又提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现实施例1所述的基于强化学习的地下水反演仿真方法。
同时，本发明又提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现实施例1所述的基于强化学习的地下水反演仿真方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.基于强化学习的地下水反演仿真方法，其特征在于，该方法包括：
根据地下水基础数据，构建基于动态数字孪生的水文地质模型；
通过地下水监测站点，实时采集各个监测井的水质数据；并将所述水质数据与监测井液位数据和/或气温数据整合，形成多个单井数据序列；
根据所述基于动态数字孪生的水文地质模型和所述单井数据序列，构建基于强化学习的井群网络预测模型；并对所述基于强化学习的井群网络预测模型进行动态优化，得到优化后的基于强化学习的井群网络预测模型；
采用优化后的基于强化学习的井群网络预测模型，对待监测的监测井进行模拟反演，得到仿真结果。
2.根据权利要求1所述的基于强化学习的地下水反演仿真方法，其特征在于，所述基于动态数字孪生的水文地质模型是将地下水系统中任意一个时空对象和过程描述为若干基本时空对象的组合，每个所述基本时空对象均包含空间位置、属性和时间信息；及通过聚合、组合或关联方式将所述基本时空对象联系在一起形成最终的水文地质模型。
3.根据权利要求2所述的基于强化学习的地下水反演仿真方法，其特征在于，所述基于动态数字孪生的水文地质模型的构建步骤为：
步骤A，将地下水基础数据附着在WEBGIS上来构建三维基础空间模型，对多年降水量、蒸发量、气温、地表岩性和土壤类型数据进行标签分层划分，形成表观特征向量；
步骤B，在所述三维基础空间模型上附着水文地质数据，将各特征标签整合，形成隐含特征向量；及在模型自优化过程中，将所述隐含特征向量进行动态调整，形成基于动态数字孪生的水文地质模型；
其中，所述地下水基础数据包括气象、水文和土壤数据；所述特征标签包括区域地貌类型与分区、地层岩性、地质构造、包气带岩性、厚度与结构，地下水系统结构、岩性、厚度，含水层、隔水层的岩性结构及空间分布和地下水补径排条件。
4.根据权利要求1所述的基于强化学习的地下水反演仿真方法，其特征在于，所述地下水监测站点是通过将传感器悬吊于目标监测水层，对地下水物理化学特性及土壤情况进行监测。
5.根据权利要求1所述的基于强化学习的地下水反演仿真方法，其特征在于，所述根据所述基于动态数字孪生的水文地质模型和所述单井数据序列，构建基于强化学习的井群网络预测模型；并对所述基于强化学习的井群网络预测模型进行动态优化，得到优化后的基于强化学习的井群网络预测模型，包括：
将所述基于动态数字孪生的水文地质模型抽象化，形成拓扑网状结构；
在所述拓扑网状结构中，每个网络节点代表一个监测井，并对单网络节点赋予单井数据序列，即实时单井向量；两个网络节点之间赋予实时关联向量；其中，所述实时关联向量是根据单监测井的单井数据序列，对周围一圈的监测井分别进行计算两者之间的关联数据，作为实时关联向量；
输入实时单井向量至基于强化学习的井群网络预测模型中，输出计算关联向量；
根据所述计算关联向量和所述实时关联向量，对所述基于强化学习的井群网络预测模型进行自学习的动态优化，得到优化后的优化后的基于强化学习的井群网络预测模型。
6.根据权利要求5所述的基于强化学习的地下水反演仿真方法，其特征在于，所述实时单井向量是通过监测井液位数据和水化学参数数据描述监测井的理化特性；所述水化学参数数据包括pH、总硬度、硫酸盐、氯化物、高镒酸盐指数、氨氮、氟化物和总大肠菌群；
所述实时关联向量是通过流通参数和化学传导参数描述监测井之间的相关性；所述流通参数包括监测井透水层关联性及水流方向，所述化学传导参数包括水化学参数的相互的关联度。
7.基于强化学习的地下水反演仿真系统，其特征在于，该系统支持如权利要求1至6中任一所述的基于强化学习的地下水反演仿真方法；该系统包括：
水文地质模型构建单元，用于根据地下水基础数据，构建基于动态数字孪生的水文地质模型；
井数据序列获取单元，用于通过地下水监测站点，实时采集各个监测井的水质数据；并将所述水质数据与监测井液位数据和/或气温数据整合，形成多个单井数据序列；
基于强化学习的井群网络预测模型构建及优化单元，用于根据所述基于动态数字孪生的水文地质模型和所述单井数据序列，构建基于强化学习的井群网络预测模型；并对所述基于强化学习的井群网络预测模型进行动态优化，得到优化后的基于强化学习的井群网络预测模型；
模拟反演单元，用于采用优化后的基于强化学习的井群网络预测模型，对待监测的监测井进行模拟反演，得到仿真结果。
8.根据权利要求7所述的基于强化学习的地下水反演仿真系统，其特征在于，所述基于强化学习的井群网络预测模型构建及优化单元的执行过程为：
将所述基于动态数字孪生的水文地质模型抽象化，形成拓扑网状结构；
在所述拓扑网状结构中，每个网络节点代表一个监测井，并对单网络节点赋予单井数据序列，即实时单井向量；两个网络节点之间赋予实时关联向量；其中，所述实时关联向量是根据单监测井的单井数据序列，对周围一圈的监测井分别进行计算两者之间的关联数据，作为实时关联向量；
输入实时单井向量至基于强化学习的井群网络预测模型中，输出计算关联向量；
根据所述计算关联向量和所述实时关联向量，对所述基于强化学习的井群网络预测模型进行自学习的动态优化，得到优化后的优化后的基于强化学习的井群网络预测模型。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的基于强化学习的地下水反演仿真方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的基于强化学习的地下水反演仿真方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211361345.0A CN115587542B (zh) | 2022-11-02 | 2022-11-02 | 基于强化学习的地下水反演仿真方法、系统、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211361345.0A CN115587542B (zh) | 2022-11-02 | 2022-11-02 | 基于强化学习的地下水反演仿真方法、系统、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115587542A true CN115587542A (zh) | 2023-01-10 |
| CN115587542B CN115587542B (zh) | 2023-06-16 |
Family
ID=84781816
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211361345.0A Active CN115587542B (zh) | 2022-11-02 | 2022-11-02 | 基于强化学习的地下水反演仿真方法、系统、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115587542B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117252111A (zh) * | 2023-11-15 | 2023-12-19 | 中国电建集团贵阳勘测设计研究院有限公司 | 一种堤坝隐患和险情区域主动监测方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190107643A1 (en) * | 2017-10-11 | 2019-04-11 | Beyond Limits, Inc. | Static engine and neural network for a cognitive reservoir system |
| CN111161410A (zh) * | 2019-12-30 | 2020-05-15 | 中国矿业大学(北京) | 一种矿井数字孪生模型及其构建方法 |
| CN113356916A (zh) * | 2021-07-08 | 2021-09-07 | 长安大学 | 一种基于数字孪生技术的矿井风流调控虚拟系统及智能调控方法 |
| CN113919219A (zh) * | 2021-10-08 | 2022-01-11 | 西安石油大学 | 基于测井大数据的地层评价方法及系统 |
| CN114000907A (zh) * | 2021-12-10 | 2022-02-01 | 重庆邮电大学 | 一种基于数字孪生技术的矿井通风设备智能调控系统 |
| CN114398817A (zh) * | 2021-08-31 | 2022-04-26 | 中国石油大学(北京) | 天然气井筒生产运行工况动态估计方法及装置 |
| CN114529110A (zh) * | 2020-11-03 | 2022-05-24 | 中国石油天然气集团有限公司 | 一种基于深度神经网络模型的岩相反演方法及系统 |
| CN114997541A (zh) * | 2022-08-03 | 2022-09-02 | 浙江远算科技有限公司 | 一种基于数字孪生技术的城市内涝预测方法及预警平台 |
-
2022
- 2022-11-02 CN CN202211361345.0A patent/CN115587542B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190107643A1 (en) * | 2017-10-11 | 2019-04-11 | Beyond Limits, Inc. | Static engine and neural network for a cognitive reservoir system |
| CN111161410A (zh) * | 2019-12-30 | 2020-05-15 | 中国矿业大学(北京) | 一种矿井数字孪生模型及其构建方法 |
| CN114529110A (zh) * | 2020-11-03 | 2022-05-24 | 中国石油天然气集团有限公司 | 一种基于深度神经网络模型的岩相反演方法及系统 |
| CN113356916A (zh) * | 2021-07-08 | 2021-09-07 | 长安大学 | 一种基于数字孪生技术的矿井风流调控虚拟系统及智能调控方法 |
| CN114398817A (zh) * | 2021-08-31 | 2022-04-26 | 中国石油大学(北京) | 天然气井筒生产运行工况动态估计方法及装置 |
| CN113919219A (zh) * | 2021-10-08 | 2022-01-11 | 西安石油大学 | 基于测井大数据的地层评价方法及系统 |
| CN114000907A (zh) * | 2021-12-10 | 2022-02-01 | 重庆邮电大学 | 一种基于数字孪生技术的矿井通风设备智能调控系统 |
| CN114997541A (zh) * | 2022-08-03 | 2022-09-02 | 浙江远算科技有限公司 | 一种基于数字孪生技术的城市内涝预测方法及预警平台 |
Non-Patent Citations (1)
| Title |
|---|
| 蒋云钟;冶运涛;赵红莉;梁犁丽;曹引;顾晶晶;: "水利大数据研究现状与展望", 水力发电学报, no. 10 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117252111A (zh) * | 2023-11-15 | 2023-12-19 | 中国电建集团贵阳勘测设计研究院有限公司 | 一种堤坝隐患和险情区域主动监测方法 |
| CN117252111B (zh) * | 2023-11-15 | 2024-02-23 | 中国电建集团贵阳勘测设计研究院有限公司 | 一种堤坝隐患和险情区域主动监测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115587542B (zh) | 2023-06-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105046454A (zh) | 流域水基环境管理决策支持系统 | |
| CN103559375B (zh) | 调度工程水质改善的数值模拟及可视化仿真系统 | |
| CN106780089B (zh) | 基于神经网络元胞自动机模型的永久性基本农田划定方法 | |
| CN115688227A (zh) | 数字孪生水利工程运行安全监测系统及运行方法 | |
| CN113283095A (zh) | 一种进化式数字孪生流域构建方法 | |
| CN107119657B (zh) | 一种基于视觉测量基坑监测方法 | |
| CN109978235A (zh) | 一种基于样本学习的积涝水位预测方法 | |
| CN104469833A (zh) | 一种基于用户感知的异构网络运维管理方法 | |
| CN104270773B (zh) | 基于遗传算法多目标优化的流域传感器覆盖网优化方法 | |
| CN117688844B (zh) | 一种基于深度神经网络的城市内涝实时模拟方法及系统 | |
| CN114004141B (zh) | 一种河流流域地下水超采区预测决策平台 | |
| CN113989431A (zh) | 一种地下水资源三维可视化动态监测结构模型的构建方法 | |
| CN110072183A (zh) | 基于群智感知的被动式定位指纹库构建方法 | |
| CN115587542B (zh) | 基于强化学习的地下水反演仿真方法、系统、设备及介质 | |
| CN113297663B (zh) | 一种基于bim技术的园区水流可视化分析方法 | |
| Qiu et al. | A novel spatiotemporal data model for river water quality visualization and analysis | |
| CN117892167B (zh) | 一种替代数值模拟的城市内涝代理模型构建方法 | |
| CN114492093A (zh) | 一种城市可视化方法及系统 | |
| Li-Juan et al. | Applications of RS, GIS and GPS technologies in research, inventory and management of wetlands in China | |
| CN105718705B (zh) | 油气田动态分析方法 | |
| CN114241299A (zh) | 一种基于遗传算法的区块链水域垃圾密度检测方法及系统 | |
| CN118364543B (zh) | 一种富水区边坡稳定性及排水状况预警方法及系统 | |
| Mancarella et al. | Data assimilation of forecasted errors in hydrodynamic models using inter‐model correlations | |
| Zhou | Sponge City Design Based on Intelligent Displacement Optimization | |
| CN112699110B (zh) | 一种基于大数据的油田生产动态分析方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: Room 201-208, 2nd Floor, Unit 3, Building 3, No. 68 Bailuwan 1st Street, Jinjiang District, Chengdu City, Sichuan Province, 610000 Patentee after: Sichuan Aotu Technology Co.,Ltd. Country or region after: China Address before: Group 8, Shiling Village, Qinglong Township, Chenghua District, Chengdu, Sichuan 610000 Patentee before: Sichuan Aotu Water Treatment System Engineering Co.,Ltd. Country or region before: China |