CN106646593B - 一种跨节点并行的三维起伏地表声波正演模拟方法 - Google Patents
一种跨节点并行的三维起伏地表声波正演模拟方法 Download PDFInfo
- Publication number
- CN106646593B CN106646593B CN201610768430.7A CN201610768430A CN106646593B CN 106646593 B CN106646593 B CN 106646593B CN 201610768430 A CN201610768430 A CN 201610768430A CN 106646593 B CN106646593 B CN 106646593B
- Authority
- CN
- China
- Prior art keywords
- calculating
- node
- parallel
- communication
- relief surface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 230000008569 process Effects 0.000 claims abstract description 34
- 238000004891 communication Methods 0.000 claims abstract description 28
- 241001269238 Data Species 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 230000000903 blocking effect Effects 0.000 abstract description 7
- 238000013508 migration Methods 0.000 description 6
- 230000005012 migration Effects 0.000 description 6
- 238000004088 simulation Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005755 formation reaction Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004513 sizing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
- G01V1/00—Seismology; Seismic or acoustic prospecting or detecting
- G01V1/28—Processing seismic data, e.g. for interpretation or for event detection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
- G01V2210/00—Details of seismic processing or analysis
- G01V2210/60—Analysis
- G01V2210/62—Physical property of subsurface
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
- G01V2210/00—Details of seismic processing or analysis
- G01V2210/60—Analysis
- G01V2210/64—Geostructures, e.g. in 3D data cubes
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Acoustics & Sound (AREA)
- Environmental & Geological Engineering (AREA)
- Geology (AREA)
- General Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Geophysics (AREA)
- Geophysics And Detection Of Objects (AREA)
Abstract
本发明涉及地球物理勘探技术领域，尤其是一种跨节点并行的三维起伏地表声波正演模拟方法，包括以下步骤，将模型网格沿着内存中最慢的维度划分成不同的区域，不同的MPI进程处理不同区域内的计算；在每一步的时间推进时，首先由各个节点发起非阻塞点对点通信的请求，以供相邻的MPI进程交换区域边界的波场数据；每个进程在非阻塞通信请求返回后，立即开始进行PML区域的计算，其中涉及的三维空间循环采用OpenMP实现多线程并行计算；本发明的方法采用了非阻塞通信实现数据交换，利用计算掩盖通信延迟，达到比较高的并行效率。
Description
技术领域
本发明涉及地球物理勘探技术领域，尤其是一种跨节点并行的三维起伏地表声波正演模拟方法。
背景技术
地震勘探是首先利用人工的方法引起地壳振动，然后利用地震波从地下地层界面反射回来的旅行时间和波形变化的信息，推断地下的地层构造和岩性的一种方法。经典的地震勘探理论往往假设地表是水平的，基于这种近似假设的地震数据处理和偏移成像技术，在很多符合近似条件的地区得到了非常好的应用。随着地震勘探技术的不断发展，油气地震勘探的重点正转向起伏地表条件和复杂地质条件的区域。这些地区地表起伏大、地下构造复杂，并不符合水平地表的近似假设。因此，研究起伏地表条件下的偏移成像技术具有重要的意义。目前主流的偏移成像技术有Kirchhoff偏移、单程波深度偏移、逆时偏移等。其中逆时偏移由于直接求解双程波方程，利用了全部的波场信息，是最为精确的成像方法，其核心算法就是地震正演模拟算法。
随着野外地震数据采集技术的发展，地震数据的数据量越来越大，使得油气勘探对高性能计算环境的内存需求和数据处理应用软件的性能需求日益增长，尤其是以逆时偏移和全波形反演为代表的基于波动方程的处理技术的应用，更是对地震正、反演算法的跨节点并行方案设计提出了极大的挑战。
发明内容
为了克服上述技术问题，本发明提供一种跨节点并行的三维起伏地表声波正演模拟方法，在节点内部采用基于共享内存的并行结构，以避免启动多个MPI进程造成的额外开销，并且减少节点内不必要的进程间通信开销。在节点间，本发明的方法采用了非阻塞通信实现数据交换，利用计算掩盖通信延迟，达到比较高的并行效率。
本发明解决其技术问题所采用的技术方案是：一种跨节点并行的三维起伏地表声波正演模拟方法，包括以下步骤：
(1)将模型网格沿着内存中最慢的维度划分成不同的区域，不同的MPI进程处理不同区域内的计算。
(2)在每一步的时间推进时，首先由各个节点发起非阻塞点对点通信的请求，以供相邻的MPI进程交换区域边界的波场数据。
(3)每个进程在非阻塞通信请求返回后，立即开始进行PML区域的计算，其中涉及的三维空间循环采用OpenMP实现多线程并行计算，该步骤的具体实现为：
1.首先利用高阶中心差分格式计算：
例如4阶的中心差分格式为：
2.更新θxu
3.更新ηxu
4.更新ψxu
5.计算偏导数
此时，数据通信和吸收边界的计算同时进行，这样每个进程进行密集的计算任务来掩盖通信的延迟，以提高多节点的并行效率。
(4)每个进程等待数据通信完成后，利用高阶中心差分格式计算空间偏导数的近似值
然后更新下一时刻的波场，
若空间位置位于起伏地表以上，则将该处的波场值置为0。
(5)在边界区域采用PML区域计算的结果对波场进行修正。该部分涉及的所有循环也采用OpenMP实现并行。
(6)最后以交换指针的方式，交换新旧时刻的波场，并且将需要输出的数据规约到主进程上。
(7)随后所有进程进入下一个时间步的计算。
(8)完成所有时间步的计算后，输出地震记录。
本发明的有益效果是，相比纯MPI的并行方法，本发明的方法在节点内部采用基于共享内存的并行结构，以避免启动多个MPI进程造成的额外开销，并且减少节点内不必要的进程间通信开销。在节点间，本发明的方法采用了非阻塞通信实现数据交换，利用计算掩盖通信延迟，达到比较高的并行效率。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1是本方法的强可扩展性测试结果；
图2是本方法的弱可扩展性测试结果；
图3是本方法在不同节点下的并行加速曲线；
图4是本方法的弱可扩展性曲线。
具体实施方式
实施例1
(1)首先在配置文件中配置正演模拟的参数：
(2)利用Madagascar软件生成标准雷克子波时间点列作为震源：
(3)利用Madagascar软件生成用于正演模拟的速度场：
(4)配置观测系统的参数：
然后利用Madagascar软件生成观测系统的输入文件：
(5)准备好步骤(1)、(2)、(3)中的正演参数后，编写程序运行脚本
和并行任务提交脚本
其中N为节点数，n为进程数，在本测试中，将不断增加N和n的数目，统计正演模拟所需的时间，观察程序运行时间随着节点数目的变化曲线。运行任务提交脚本后依据本发明提出的方法实现的正演程序就开始进行模拟，即：
(6)模型网格沿着内存中最慢的维度被划分成不同的区域，不同的MPI进程处理不同区域内的计算。
(7)在每一步的时间推进时，首先由各个节点发起非阻塞点对点通信的请求，以供相邻的MPI进程交换区域边界的波场数据。
(8)每个进程在非阻塞通信请求返回后，立即开始进行PML区域的计算，其中涉及的三维空间循环采用OpenMP实现多线程并行计算，该步骤的具体实现为：
1.首先利用高阶中心差分格式计算：
例如4阶的中心差分格式为：
2.更新θxu
3.更新ηxu
4.更新ψxu
5.计算偏导数
此时，数据通信和吸收边界的计算同时进行，这样每个进程进行密集的计算任务来掩盖通信的延迟，以提高多节点的并行效率。
(9)每个进程等待数据通信完成后，利用高阶中心差分格式计算空间偏导数的近似值
然后更新下一时刻的波场
若空间位置位于起伏地表以上，则将该处的波场值置为0。
(10)在边界区域采用PML区域计算的结果对波场进行修正。该部分涉及的所有循环也采用OpenMP实现并行。
(11)最后以交换指针的方式，交换新旧时刻的波场，并且将需要输出的数据规约到主进程上。
(12)所有进程进入下一个时间步的计算。
(13)完成所有时间步的计算后，输出地震记录。
实施例2
(1)首先在配置文件中配置正演模拟的参数：
T＝1.0
dt＝0.001
f0＝15
order＝8
jdata＝2
jsnap＝2
fm＝2.5＊f0
dx＝0.01
dy＝0.01
dz＝0.01
nxx＝1000
nyy＝300
nzz＝1000
在本测试中，将不断增加问题的规模(即增加y方向采样点的数目nyy)，同时增加进程数目，保证每个进程分配到的计算网格大小一致，然后统计正演模拟所需的时间，观察程序运行时间随着的变化曲线。
(2)利用Madagascar软件生成标准雷克子波时间点列作为震源：
(3)利用Madagascar软件生成用于正演模拟的速度场：
(4)配置观测系统的参数：
然后利用Madagascar软件生成观测系统的输入文件：
(5)准备好步骤(1)、(2)、(3)中的正演参数后，编写程序运行脚本
和并行任务提交脚本
其中N为节点数，n为进程数，本测试中进程数目n将根据速度模型网格规模的大小来决定。运行任务提交脚本后依据本发明提出的方法实现的正演程序就开始进行模拟，即：
(6)模型网格沿着内存中最慢的维度被划分成不同的区域，不同的MPI进程处理不同区域内的计算。
(7)在每一步的时间推进时，首先由各个节点发起非阻塞点对点通信的请求，以供相邻的MPI进程交换区域边界的波场数据。
(8)每个进程在非阻塞通信请求返回后，立即开始进行PML区域的计算，其中涉及的三维空间循环采用OpenMP实现多线程并行计算，该步骤的具体实现为：
1.首先利用高阶中心差分格式计算：
例如4阶的中心差分格式为：
2.更新θxu
3.更新ηxu
4.更新ψxu
5.计算偏导数
此时，数据通信和吸收边界的计算同时进行，这样每个进程进行密集的计算任务来掩盖通信的延迟，以提高多节点的并行效率。
(9)每个进程等待数据通信完成后，利用高阶中心差分格式计算空间偏导数的近似值，
然后更新下一时刻的波场，
若空间位置位于起伏地表以上，则将该处的波场值置为0。
(10)在边界区域采用PML区域计算的结果对波场进行修正。该部分涉及的所有循环也采用OpenMP实现并行。
(11)最后以交换指针的方式，交换新旧时刻的波场，并且将需要输出的数据规约到主进程上。
(12)所有进程进入下一个时间步的计算。
(13)完成所有时间步的计算后，输出地震记录。
Claims (1)
1.一种跨节点并行的三维起伏地表声波正演模拟方法，其特征在于，包括以下步骤：
(1)将模型网格沿着内存中最慢的维度划分成不同的区域，不同的MPI进程处理不同区域内的计算；
(2)在每一步的时间推进时，首先由各个节点发起非阻塞点对点通信的请求，以供相邻的MPI进程交换区域边界的波场数据；
(3)每个进程在非阻塞点对点通信请求返回后，立即开始进行PML区域的计算，其中涉及的三维空间循环采用OpenMP实现多线程并行计算；
(4)每个进程等待数据通信完成后，利用高阶中心差分格式计算空间偏导数的近似值，然后更新下一时刻的波场，若空间位置位于起伏地表以上，则将该处的波场值置为0；
(5)在边界区域采用PML区域计算的结果对波场进行修正，该部分涉及的所有循环也采用OpenMP实现并行；
(6)最后以交换指针的方式，交换新旧时刻的波场，并且将需要输出的数据规约到主进程上；
(7)所有进程进入下一个时间步的计算；
(8)完成所有时间步的计算后，输出地震记录。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610768430.7A CN106646593B (zh) | 2016-08-30 | 2016-08-30 | 一种跨节点并行的三维起伏地表声波正演模拟方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610768430.7A CN106646593B (zh) | 2016-08-30 | 2016-08-30 | 一种跨节点并行的三维起伏地表声波正演模拟方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106646593A CN106646593A (zh) | 2017-05-10 |
| CN106646593B true CN106646593B (zh) | 2018-10-26 |
Family
ID=58853089
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610768430.7A Active CN106646593B (zh) | 2016-08-30 | 2016-08-30 | 一种跨节点并行的三维起伏地表声波正演模拟方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106646593B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107561585A (zh) * | 2017-09-19 | 2018-01-09 | 北京大学 | 一种多核多节点并行三维地震波场生成方法和系统 |
| CN111766623B (zh) * | 2020-05-25 | 2023-01-31 | 国家超级计算天津中心 | 一种基于mpi进程拓扑的地震波场三维正演模拟方法 |
| CN113239522B (zh) * | 2021-04-20 | 2022-06-28 | 四川大学 | 一种基于计算机集群的大气污染物扩散模拟方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6687659B1 (en) * | 2000-03-24 | 2004-02-03 | Conocophillips Company | Method and apparatus for absorbing boundary conditions in numerical finite-difference acoustic applications |
| JP2008234335A (ja) * | 2007-03-20 | 2008-10-02 | Tokyo Metropolitan Univ | 電磁界解析装置、電磁界解析方法、電磁界解析プログラムおよび場解析装置。 |
| CN103278848A (zh) * | 2013-04-22 | 2013-09-04 | 中山大学 | 基于mpi并行预条件迭代的地震成像正演方法 |
| CN105277980A (zh) * | 2014-06-26 | 2016-01-27 | 中石化石油工程地球物理有限公司胜利分公司 | 高精度空间和时间任意倍数可变网格有限差分正演方法 |
| CN105717539A (zh) * | 2016-01-28 | 2016-06-29 | 中国地质大学（北京） | 一种基于多gpu计算的三维tti介质逆时偏移成像方法 |
-
2016
- 2016-08-30 CN CN201610768430.7A patent/CN106646593B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6687659B1 (en) * | 2000-03-24 | 2004-02-03 | Conocophillips Company | Method and apparatus for absorbing boundary conditions in numerical finite-difference acoustic applications |
| JP2008234335A (ja) * | 2007-03-20 | 2008-10-02 | Tokyo Metropolitan Univ | 電磁界解析装置、電磁界解析方法、電磁界解析プログラムおよび場解析装置。 |
| CN103278848A (zh) * | 2013-04-22 | 2013-09-04 | 中山大学 | 基于mpi并行预条件迭代的地震成像正演方法 |
| CN105277980A (zh) * | 2014-06-26 | 2016-01-27 | 中石化石油工程地球物理有限公司胜利分公司 | 高精度空间和时间任意倍数可变网格有限差分正演方法 |
| CN105717539A (zh) * | 2016-01-28 | 2016-06-29 | 中国地质大学（北京） | 一种基于多gpu计算的三维tti介质逆时偏移成像方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于GPU集群的大规模三维有限差分正演模拟并行策略;廉西猛 等;《物探与化探》;20150630;第39卷(第3期);第615-620页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106646593A (zh) | 2017-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Abdelkhalek et al. | Fast seismic modeling and reverse time migration on a GPU cluster | |
| CN104614763B (zh) | 基于反射率法的多波avo储层弹性参数反演方法及系统 | |
| CN110031896A (zh) | 基于多点地质统计学先验信息的地震随机反演方法及装置 | |
| CN106646593B (zh) | 一种跨节点并行的三维起伏地表声波正演模拟方法 | |
| WO2022078514A1 (zh) | 一种结构和波速随机布设的三维速度地质建模方法 | |
| WO2017162731A1 (en) | Method of operating a data-processing system for the simulation of the acoustic wave propagation in the transversely isotropic media comprising an hydrocarbon reservoir | |
| WO2021194524A1 (en) | Method and system for automated velocity model updating using machine learning | |
| CN108181653A (zh) | 针对vti介质逆时偏移方法、设备及介质 | |
| Rietmann et al. | Newmark local time stepping on high-performance computing architectures | |
| CN113917560A (zh) | 一种三维重磁电震多参数协同反演方法 | |
| CN109633745A (zh) | 一种三维构造图的制图方法及装置 | |
| CN105005072A (zh) | 利用cuda的pml边界三维地震波传播模拟方法 | |
| CN106226841A (zh) | 一种河流相三维沉积相模型确定性建模方法 | |
| CN111638551A (zh) | 地震初至波走时层析方法及装置 | |
| CN106662665B (zh) | 用于更快速的交错网格处理的重新排序的插值和卷积 | |
| CN109709602A (zh) | 一种远探测声波偏移成像方法、装置及系统 | |
| CN108983290B (zh) | 一种三维横向各向同性介质中旅行时确定方法及系统 | |
| CN106501851B (zh) | 一种地震属性优化方法及装置 | |
| CN107526104A (zh) | 基于多机多核的裂缝介质地震波场数值模拟方法 | |
| CN111273346B (zh) | 去除沉积背景的方法、装置、计算机设备及可读存储介质 | |
| Weinbub et al. | Shared-memory parallelization of the fast marching method using an overlapping domain-decomposition approach | |
| US11686870B2 (en) | Interpretive-guided velocity modeling seismic imaging method and system, medium and device | |
| Käser et al. | SeisSol–a software for seismic wave propagation simulations | |
| CN115880455A (zh) | 基于深度学习的三维智能插值方法 | |
| CN108802821B (zh) | 一种三维起伏地表地震资料偏移成像方法、装置及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |