[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN112632005A - 基于mpi的地震数据计算方法及系统 - Google Patents

基于mpi的地震数据计算方法及系统 Download PDF

Info

Publication number
CN112632005A
CN112632005A CN201910950908.1A CN201910950908A CN112632005A CN 112632005 A CN112632005 A CN 112632005A CN 201910950908 A CN201910950908 A CN 201910950908A CN 112632005 A CN112632005 A CN 112632005A
Authority
CN
China
Prior art keywords
seismic data
calculation
data
node
calculated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910950908.1A
Other languages
English (en)
Other versions
CN112632005B (zh
Inventor
杨尚琴
洪承煜
许自龙
王小青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Petroleum and Chemical Corp
Sinopec Geophysical Research Institute
Original Assignee
China Petroleum and Chemical Corp
Sinopec Geophysical Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Petroleum and Chemical Corp, Sinopec Geophysical Research Institute filed Critical China Petroleum and Chemical Corp
Priority to CN201910950908.1A priority Critical patent/CN112632005B/zh
Publication of CN112632005A publication Critical patent/CN112632005A/zh
Application granted granted Critical
Publication of CN112632005B publication Critical patent/CN112632005B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/172—Caching, prefetching or hoarding of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Geophysics And Detection Of Objects (AREA)

Abstract

公开了一种基于MPI的地震数据计算方法及系统。该方法可以包括：确定待计算地震数据的多个最小计算数据单元，获得地震数据文件处理记录表；将多个最小计算数据单元分配至多个计算节点进行计算，获得计算完成数据；对比计算完成数据与地震数据文件处理记录表是否匹配，若是，则待计算地震数据计算完成，若否，则计算节点重新计算，直至计算完成数据与地震数据文件处理记录表匹配。本发明通过对比计算完成数据与数据记录表，快速辨别计算出现错误的计算节点，提高计算效率。

Description

基于MPI的地震数据计算方法及系统
技术领域
本发明涉及石油地球物理勘探领域，更具体地，涉及一种基于MPI的地震数据计算方法及系统。
背景技术
当前，在地震数据密集型和计算密集型的高性能计算中，MPI是一种常用的节点间地震数据传递的高效方法，但由于MPI没有相应的负载平衡功能，所以使用MPI时的负载平衡由使用者自己解决，这给专业的方法人员带来了困难。在目前大多数的计算集群中，读写地震数据存储设备往往是整个计算的瓶颈，特别是在多个写请求存储设备时，I/O的效率会成倍的下降。因此，有必要开发一种基于MPI的地震数据计算方法及系统。
公开于本发明背景技术部分的信息仅仅旨在加深对本发明的一般背景技术的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。
发明内容
本发明提出了一种基于MPI的地震数据计算方法及系统，其能够通过对比计算完成数据与数据记录表，快速辨别计算出现错误的计算节点，提高计算效率。
根据本发明的一方面，提出了一种基于MPI的地震数据计算方法。所述方法可以包括：确定待计算地震数据的多个最小计算数据单元，获得地震数据文件处理记录表；将所述多个最小计算数据单元分配至多个计算节点进行计算，获得计算完成数据；对比所述计算完成数据与所述地震数据文件处理记录表是否匹配，若是，则所述待计算地震数据计算完成，若否，则所述计算节点重新计算，直至所述计算完成数据与所述地震数据文件处理记录表匹配。
优选地，所述地震数据文件处理记录表存储于地震数据节点缓冲区。
优选地，还包括：所述计算节点计算完成后，将每个计算节点对应的计算数据从计算节点缓冲区传输至所述地震数据节点缓冲区。
优选地，还包括：根据所述计算完成数据与所述地震数据文件处理记录表，确定所述计算完成数据的保存位置并保存。
优选地，当存储设备在主节点时，所述地震数据节点缓存区设置于主节点。
优选地，当存储设备在单独的节点时，所述地震数据节点缓存区设置于存储设备节点上。
根据本发明的另一方面，提出了一种基于MPI的地震数据计算系统，其特征在于，该系统包括：处理器，执行以下步骤：确定待计算地震数据的多个最小计算数据单元，获得地震数据文件处理记录表；将所述多个最小计算数据单元分配至多个计算节点进行计算，获得计算完成数据；对比所述计算完成数据与所述地震数据文件处理记录表是否匹配，若是，则所述待计算地震数据计算完成，若否，则所述计算节点重新计算，直至所述计算完成数据与所述地震数据文件处理记录表匹配；多个计算节点，用于计算最小计算数据单元的数据；多个计算节点缓冲区，用于存储对应计算节点的计算数据；地震数据节点缓冲区，用于存储所述计算完成数据与所述地震数据文件处理记录表。
优选地，还包括：所述处理器根据所述计算完成数据与所述地震数据文件处理记录表，确定所述计算完成数据的保存位置并保存。
优选地，当存储设备在主节点时，所述地震数据节点缓存区设置于主节点。
优选地，当存储设备在单独的节点时，所述地震数据节点缓存区设置于存储设备节点上。
本发明的方法和装置具有其它的特性和优点，这些特性和优点从并入本文中的附图和随后的具体实施方式中将是显而易见的，或者将在并入本文中的附图和随后的具体实施方式中进行详细陈述，这些附图和具体实施方式共同用于解释本发明的特定原理。
附图说明
通过结合附图对本发明示例性实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显，其中，在本发明示例性实施例中，相同的参考标号通常代表相同部件。
图1示出了根据本发明的基于MPI的地震数据计算方法的步骤的流程图。
具体实施方式
下面将参照附图更详细地描述本发明。虽然附图中显示了本发明的优选实施例，然而应该理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了使本发明更加透彻和完整，并且能够将本发明的范围完整地传达给本领域的技术人员。
图1示出了根据本发明的基于MPI的地震数据计算方法的步骤的流程图。
在该实施例中，根据本发明的基于MPI的地震数据计算方法可以包括：步骤101，确定待计算地震数据的多个最小计算数据单元，获得地震数据文件处理记录表；步骤102，将多个最小计算数据单元分配至多个计算节点进行计算，获得计算完成数据；步骤103，对比计算完成数据与地震数据文件处理记录表是否匹配，若是，则待计算地震数据计算完成，若否，则计算节点重新计算，直至计算完成数据与地震数据文件处理记录表匹配。
在一个示例中，地震数据文件处理记录表存储于地震数据节点缓冲区。
在一个示例中，还包括：计算节点计算完成后，将每个计算节点对应的计算数据从计算节点缓冲区传输至地震数据节点缓冲区。
在一个示例中，还包括：根据计算完成数据与地震数据文件处理记录表，确定计算完成数据的保存位置并保存。
在一个示例中，当存储设备在主节点时，地震数据节点缓存区设置于主节点。
在一个示例中，当存储设备在单独的节点时，地震数据节点缓存区设置于存储设备节点上。
具体地，根据本发明的基于MPI的地震数据计算方法可以包括：
确定待计算地震数据的多个最小计算数据单元，获得地震数据文件处理记录表，存储于地震数据节点缓冲区，当存储设备在主节点时，地震数据节点缓存区设置于主节点，当存储设备在单独的节点时，地震数据节点缓存区设置于存储设备节点上。如果地震数据文件处理记录表太大，会被写到临时文件中
将多个最小计算数据单元分配至多个计算节点进行计算，获得计算完成数据，计算节点计算完成后，将每个计算节点对应的计算完成数据从计算节点缓冲区传输至地震数据节点缓冲区。
对比计算完成数据与地震数据文件处理记录表是否匹配，若是，则待计算地震数据计算完成，若否，则未完成匹配的计算节点重新计算，直至计算完成数据与地震数据文件处理记录表匹配。根据地震数据文件处理记录表记录的数据类型，确定计算完成数据的保存位置并保存。
本方法通过对比计算完成数据与数据记录表，快速辨别计算出现错误的计算节点，提高计算效率。
应用示例
为便于理解本发明实施例的方案及其效果，以下给出一个具体应用示例。本领域技术人员应理解，该示例仅为了便于理解本发明，其任何具体细节并非意在以任何方式限制本发明。
根据本发明的基于MPI的地震数据计算方法可以包括：
确定待计算segy地震数据的多个最小计算数据单元，获得segy地震数据文件处理记录表，存储于地震数据节点缓冲区，当存储设备在主节点时，地震数据节点缓存区设置于主节点，当存储设备在单独的节点时，地震数据节点缓存区设置于存储设备节点上。如果segy地震数据文件处理记录表太大，会被写到临时文件中
将多个最小计算数据单元分配至多个计算节点进行计算，获得计算完成数据，计算节点计算完成后，将每个计算节点对应的计算完成数据从计算节点缓冲区传输至地震数据节点缓冲区。
对比计算完成数据与segy地震数据文件处理记录表是否匹配，若是，则待计算地震数据计算完成，若否，则未完成匹配的计算节点重新计算，直至计算完成数据与segy地震数据文件处理记录表匹配。根据segy地震数据文件处理记录表记录的数据类型，确定计算完成数据的保存位置并保存。
综上所述，本发明通过对比计算完成数据与数据记录表，快速辨别计算出现错误的计算节点，提高计算效率。
本领域技术人员应理解，上面对本发明的实施例的描述的目的仅为了示例性地说明本发明的实施例的有益效果，并不意在将本发明的实施例限制于所给出的任何示例。
根据本发明的实施例，提供了一种基于MPI的地震数据计算系统，其特征在于，该系统包括：处理器，执行以下步骤：确定待计算地震数据的多个最小计算数据单元，获得地震数据文件处理记录表；将多个最小计算数据单元分配至多个计算节点进行计算，获得计算完成数据；对比计算完成数据与地震数据文件处理记录表是否匹配，若是，则待计算地震数据计算完成，若否，则计算节点重新计算，直至计算完成数据与地震数据文件处理记录表匹配；多个计算节点，用于计算最小计算数据单元的数据；多个计算节点缓冲区，用于存储对应计算节点的计算数据；地震数据节点缓冲区，用于存储计算完成数据与地震数据文件处理记录表。
在一个示例中，还包括：处理器根据计算完成数据与地震数据文件处理记录表，确定计算完成数据的保存位置并保存。
在一个示例中，当存储设备在主节点时，地震数据节点缓存区设置于主节点。
在一个示例中，当存储设备在单独的节点时，地震数据节点缓存区设置于存储设备节点上。
具体地，基于MPI的地震数据计算系统包括：
处理器，执行以下步骤：确定待计算地震数据的多个最小计算数据单元，获得地震数据文件处理记录表；将多个最小计算数据单元分配至多个计算节点进行计算，获得计算完成数据；对比计算完成数据与地震数据文件处理记录表是否匹配，若是，则待计算地震数据计算完成，若否，则计算节点重新计算，直至计算完成数据与地震数据文件处理记录表匹配；根据计算完成数据与地震数据文件处理记录表，确定计算完成数据的保存位置并保存；
多个计算节点，用于计算最小计算数据单元的数据；
多个计算节点缓冲区，用于存储对应计算节点的计算数据；
地震数据节点缓冲区，用于存储计算完成数据与地震数据文件处理记录表，当存储设备在主节点时，地震数据节点缓存区设置于主节点，当存储设备在单独的节点时，地震数据节点缓存区设置于存储设备节点上。
本系统通过对比计算完成数据与数据记录表，快速辨别计算出现错误的计算节点，提高计算效率。
本领域技术人员应理解，上面对本发明的实施例的描述的目的仅为了示例性地说明本发明的实施例的有益效果，并不意在将本发明的实施例限制于所给出的任何示例。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。

Claims (10)

1.一种基于MPI的地震数据计算方法，其特征在于，包括：
确定待计算地震数据的多个最小计算数据单元，获得地震数据文件处理记录表；
将所述多个最小计算数据单元分配至多个计算节点进行计算，获得计算完成数据；
对比所述计算完成数据与所述地震数据文件处理记录表是否匹配，若是，则所述待计算地震数据计算完成，若否，则所述计算节点重新计算，直至所述计算完成数据与所述地震数据文件处理记录表匹配。
2.根据权利要求1所述的基于MPI的地震数据计算方法，其中，所述地震数据文件处理记录表存储于地震数据节点缓冲区。
3.根据权利要求2所述的基于MPI的地震数据计算方法，其中，还包括：
所述计算节点计算完成后，将每个计算节点对应的计算数据从计算节点缓冲区传输至所述地震数据节点缓冲区。
4.根据权利要求3所述的基于MPI的地震数据计算方法，其中，还包括：
根据所述计算完成数据与所述地震数据文件处理记录表，确定所述计算完成数据的保存位置并保存。
5.根据权利要求2所述的基于MPI的地震数据计算方法，其中，当存储设备在主节点时，所述地震数据节点缓存区设置于主节点。
6.根据权利要求2所述的基于MPI的地震数据计算方法，其中，当存储设备在单独的节点时，所述地震数据节点缓存区设置于存储设备节点上。
7.一种基于MPI的地震数据计算系统，其特征在于，该系统包括：
处理器，执行以下步骤：
确定待计算地震数据的多个最小计算数据单元，获得地震数据文件处理记录表；
将所述多个最小计算数据单元分配至多个计算节点进行计算，获得计算完成数据；
对比所述计算完成数据与所述地震数据文件处理记录表是否匹配，若是，则所述待计算地震数据计算完成，若否，则所述计算节点重新计算，直至所述计算完成数据与所述地震数据文件处理记录表匹配；
多个计算节点，用于计算最小计算数据单元的数据；
多个计算节点缓冲区，用于存储对应计算节点的计算数据；
地震数据节点缓冲区，用于存储所述计算完成数据与所述地震数据文件处理记录表。
8.根据权利要求7所述的基于MPI的地震数据计算系统，其中，还包括：
所述处理器根据所述计算完成数据与所述地震数据文件处理记录表，确定所述计算完成数据的保存位置并保存。
9.根据权利要求7所述的基于MPI的地震数据计算系统，其中，当存储设备在主节点时，所述地震数据节点缓存区设置于主节点。
10.根据权利要求7所述的基于MPI的地震数据计算系统，其中，当存储设备在单独的节点时，所述地震数据节点缓存区设置于存储设备节点上。
CN201910950908.1A 2019-10-08 2019-10-08 基于mpi的地震数据计算方法及系统 Active CN112632005B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910950908.1A CN112632005B (zh) 2019-10-08 2019-10-08 基于mpi的地震数据计算方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910950908.1A CN112632005B (zh) 2019-10-08 2019-10-08 基于mpi的地震数据计算方法及系统

Publications (2)

Publication Number Publication Date
CN112632005A true CN112632005A (zh) 2021-04-09
CN112632005B CN112632005B (zh) 2024-01-23

Family

ID=75283430

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910950908.1A Active CN112632005B (zh) 2019-10-08 2019-10-08 基于mpi的地震数据计算方法及系统

Country Status (1)

Country Link
CN (1) CN112632005B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040225443A1 (en) * 2003-05-08 2004-11-11 Moac Llc Systems and methods for processing complex data sets
CN102411520A (zh) * 2011-09-21 2012-04-11 电子科技大学 一种基于数据单元的地震数据的灾难恢复方法
US20120316792A1 (en) * 2011-06-10 2012-12-13 International Business Machines Corporation Rtm seismic imaging without scratch data storage system and method
CN102880658A (zh) * 2012-08-31 2013-01-16 电子科技大学 基于地震数据处理的分布式文件管理系统
US20140086010A1 (en) * 2007-09-21 2014-03-27 Fairfield Industries Incorporated Land based seismic data acquisition unit
CN104280764A (zh) * 2013-07-01 2015-01-14 中国石油化工股份有限公司 一种基于三维gis的地震勘探辅助数据质量控制方法
WO2015160652A1 (en) * 2014-04-17 2015-10-22 Saudi Arabian Oil Company Generating subterranean imaging data based on vertical seismic profile data
CN106796540A (zh) * 2014-07-29 2017-05-31 沙特阿拉伯石油公司 用于分布式计算的主动故障恢复模型
CN107526104A (zh) * 2017-08-28 2017-12-29 电子科技大学 基于多机多核的裂缝介质地震波场数值模拟方法
CN109344135A (zh) * 2018-10-18 2019-02-15 中国海洋石油集团有限公司 一种自动负载均衡的文件锁并行地震处理作业调度方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040225443A1 (en) * 2003-05-08 2004-11-11 Moac Llc Systems and methods for processing complex data sets
US20140086010A1 (en) * 2007-09-21 2014-03-27 Fairfield Industries Incorporated Land based seismic data acquisition unit
US20120316792A1 (en) * 2011-06-10 2012-12-13 International Business Machines Corporation Rtm seismic imaging without scratch data storage system and method
CN102411520A (zh) * 2011-09-21 2012-04-11 电子科技大学 一种基于数据单元的地震数据的灾难恢复方法
CN102880658A (zh) * 2012-08-31 2013-01-16 电子科技大学 基于地震数据处理的分布式文件管理系统
CN104280764A (zh) * 2013-07-01 2015-01-14 中国石油化工股份有限公司 一种基于三维gis的地震勘探辅助数据质量控制方法
WO2015160652A1 (en) * 2014-04-17 2015-10-22 Saudi Arabian Oil Company Generating subterranean imaging data based on vertical seismic profile data
CN106796540A (zh) * 2014-07-29 2017-05-31 沙特阿拉伯石油公司 用于分布式计算的主动故障恢复模型
CN107526104A (zh) * 2017-08-28 2017-12-29 电子科技大学 基于多机多核的裂缝介质地震波场数值模拟方法
CN109344135A (zh) * 2018-10-18 2019-02-15 中国海洋石油集团有限公司 一种自动负载均衡的文件锁并行地震处理作业调度方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GABRIEL FABIEN: "Time-domain seismic modeling in viscoelastic media for full waveform inversion on heterogeneous computing platforms with OpenCL", 《COMPUTERS & GEOSCIENCES》, vol. 100, pages 142 - 155, XP029896508, DOI: 10.1016/j.cageo.2016.12.004 *
刘永江;邵庆;: "基于道集流的地震数据并行输入输出方法", 东北石油大学学报, no. 06 *

Also Published As

Publication number Publication date
CN112632005B (zh) 2024-01-23

Similar Documents

Publication Publication Date Title
CN104765693B (zh) 一种用于存储数据的方法、装置和系统
CN107610770B (zh) 用于自动化诊断的问题生成系统和方法
CN102937922B (zh) 查询和修复数据
JP6756079B2 (ja) 人工知能に基づく三元組チェック方法、装置及びコンピュータプログラム
US20180067857A1 (en) Efficient data caching management in scalable multi-stage data processing systems
CN110096227B (zh) 数据存储方法、数据处理方法、装置、电子设备及计算机可读介质
US6728791B1 (en) RAID 1 read mirroring method for host adapters
US20030105923A1 (en) Raid system and mapping method thereof
CN106104502B (zh) 用于存储系统事务的系统、方法和介质
US20140181406A1 (en) System, method and computer-readable medium for spool cache management
US20100037226A1 (en) Grouping and dispatching scans in cache
US20070118689A1 (en) Rebalancing of striped disk data
US9928004B2 (en) Assigning device adaptors to use to copy source extents to target extents in a copy relationship
WO2020244238A1 (zh) 多层块链式账本的数据存储方法、装置及设备
CN102810116B (zh) 一种基于数据库连接的自动路由和负载均衡的方法及系统
US9727260B2 (en) Method and system for simultaneously achieving capacity balancing and data striping in a storage system
US20150153958A1 (en) Electronic device and method for memory allocation in electronic device
CN106462481A (zh) 使用循环冗余校验的重复数据
US20080209253A1 (en) Selection of data arrays
US8751739B1 (en) Data device spares
US20110161609A1 (en) Information processing apparatus and its control method
US20130219119A1 (en) Writing new data of a first block size to a second block size using a write-write mode
US7886097B2 (en) Bus arbitration system, medium, and method
US20100185993A1 (en) Method for scalable derivation of an implication-based reachable state set overapproximation
US20090150616A1 (en) System and method of using threads and thread-local storage

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant