CN106330622B - 一种数据捕捉方法、装置及通信网关机 - Google Patents
一种数据捕捉方法、装置及通信网关机 Download PDFInfo
- Publication number
- CN106330622B CN106330622B CN201610872963.XA CN201610872963A CN106330622B CN 106330622 B CN106330622 B CN 106330622B CN 201610872963 A CN201610872963 A CN 201610872963A CN 106330622 B CN106330622 B CN 106330622B
- Authority
- CN
- China
- Prior art keywords
- data
- module
- log file
- message
- monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/04—Processing captured monitoring data, e.g. for logfile generation
- H04L43/045—Processing captured monitoring data, e.g. for logfile generation for graphical visualisation of monitoring data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0677—Localisation of faults
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/06—Generation of reports
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Environmental & Geological Engineering (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明涉及一种数据捕捉方法、装置及通信网关机，在数据流过网关机的路径上设立多个监测点，将每个监测点采集的数据写入日志文件并通过消息的方式发送给客户端，客户端收到消息后通过不同的数据模型将数据的传输过程在界面上进行动态展示。该数据捕捉方法实现了通信网关机与调度主站及间隔层装置之间通信过程中数据流的动态可视化的目的，通信过程中出现异常情况时可以快速定位故障位置并及时处理，提高故障排查的工作效率。
Description
技术领域
本发明属于智能变电站数据通信领域，具体涉及一种数据捕捉方法、装置及通信网关机。
背景技术
随着电网调控一体化运行的深入开展，智能变电站厂站端与调度主站端交互的信息越来越多，数据通信网关机的功能也越来越丰富，它包含多个远传系统，如远动工作站、保信子站、计量系统和视频系统等，这些系统包含的信息是智能调度的重要数据源，因此有必要针对数据通信网关机的功能扩展进行深入的研究分析，以全面支撑调控一体化运行。
目前，对于数据网关机的使用者与开发者来说，智能变电站的数据通信网关机从间隔层装置中接收的数据、网关机内部处理的数据及与调度主站交互的数据在整个通信过程中产生的数据流仍属于黑匣子状态，无法知道网关机中数据传输的过程及数据所处的状态，尤其是当数据通信网关机与调度主站或厂站的间隔层装置在通信过程中出现非预期或者异常情况时，如间隔层装置的告警信号无法及时上送、调度主站的遥控命令无法下达到间隔层装置等，无法在现场快速准确的定位问题的原因及故障点，导致问题的查找及解决进度变得异常困难并且难以控制，大大降低了工作效率。
发明内容
本发明的目的是提供一种数据捕捉方法、装置及通信网关机，用于解决通信网关机与调度主站端及厂站端进行数据交互时产生的数据流无法可视化的问题。
为解决上述技术问题，本发明提出一种数据捕捉方法，包括以下步骤：
在网关机相应的模块中设置监测点，实时追踪流经所述相应模块的监测点数据，对该数据进行动态捕捉；根据捕捉的数据状态信息和监测点位置生成包括消息类型和消息内容的消息信息，将该消息信息通过动态展示界面显示监测点捕捉的数据状态信息。
进一步，记录包含消息类型和消息内容的消息信息，并生成日志文件。
进一步，所述动态展示界面为独立的客户端，所述客户端通过订阅与日志文件相应的消息类型对日志文件进行调阅查看，或者通过日志文件的名称或日志文件的生成时间对日志文件进行调阅查看。
为解决上述技术问题，本发明还提出一种数据捕捉装置，包括控制模块和用于监测相应数据路径监测点的监测模块，所述监测模块实时追踪监测点的数据，并对该数据进行动态捕捉，所述控制模块根据捕捉的数据状态信息和监测点位置生成包括消息类型和消息内容的消息信息，将该消息信息通过动态展示界面显示监测点捕捉的数据状态信息。
进一步，还包括用于记录包含消息类型和消息内容的消息信息，并生成日志文件的模块。
进一步，所述动态展示界面为独立的客户端，所述客户端通过订阅与日志文件相应的消息类型对日志文件进行调阅查看，或者通过日志文件的名称或日志文件的生成时间对日志文件进行调阅查看。
为解决上述技术问题，本发明还提出一种通信网关机，包括用于传输上行数据的接口和传输下行数据的接口，其特征在于，在传输上行数据路径的相应模块中设置上行数据监测点，在传输下行数据路径的相应模块中设置下行数据监测点，实时追踪上行数据监测点和下行数据监测点监测的数据，并对这些数据进行动态捕捉；根据捕捉的数据状态信息和监测点位置生成包括消息类型和消息内容的消息信息，将该消息信息通过动态展示界面显示监测点捕捉的数据状态信息。
进一步，还包括用于记录包含消息类型和消息内容的消息信息，并生成日志文件的模块。
进一步，所述动态展示界面为独立的客户端，所述客户端通过订阅与日志文件相应的消息类型对日志文件进行调阅查看，或者通过日志文件的名称或日志文件的生成时间对日志文件进行调阅查看。
本发明的有益效果是：本发明提出一种数据捕捉方法、装置及通信网关机，对流经网关机的数据进行实时追踪、捕捉、记录及动态展示，使用户可以通过查看日志以及界面展示的内容对数据流在网关机内部的各个阶段和整个过程有一个直观的把握及认识，为解决异常情况下问题的定位、查找提供了便利条件，同时提高了故障排查的工作效率、节省故障排查时间。
附图说明
图1是数据通信网关机数据流可视化架构图；
图2是数据通信网关机数据追踪的示意图；
图3是数据通信网关机数据捕捉示意图；
图4是数据通信网关机数据流的界面示意图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步的说明。
本发明的一种通信网关机的实施例：
为了实现将数据通信网关机与调度主站端及厂站端通信过程中所产生的数据流通过界面进行展示，达到可视化的目的，需要对数据从流入、流出网关机的整个过程进行数据追踪、数据捕捉、发布消息、日志记录，最终通过客户端实现数据通信网关机数据流的动态展示。
如图1所示，作为调度主站端与厂站端的间隔层装置通信的纽带，本发明的一种通信网关机包括用于传输上行数据的接口和传输下行数据的接口，在传输上行数据路径的相应模块中设置上行数据监测点，在传输下行数据路径的相应模块中设置下行数据监测点，实时追踪上行数据监测点和下行数据监测点监测的数据，并对这些数据进行动态捕捉；然后根据捕捉的数据状态信息和监测点位置生成包括消息类型和消息内容的消息信息，将该消息信息通过动态展示界面显示监测点捕捉的数据状态信息。同时，记录包含消息类型和消息内容的消息信息，并生成日志文件存于网关机的记录模块中。
本实施例中的动态展示界面实际是独立的客户端，该客户端通过订阅与日志文件相应的消息类型对日志文件进行调阅查看，或者通过日志文件的名称或日志文件的生成时间对日志文件进行调阅查看。
具体的，网关机中传输上行或下行数据的数据捕捉方法包括以下步骤：
在网关机相应的模块中设置监测点，当上行数据或下行数据流经数据通信网关机时，在网关机中运行的数据接收、数据处理、数据存储、数据发送模块中设立监测点，每个监测点对数据在网关机内的传输过程进行追踪及捕捉，并负责对数据进行全程监控，如图4所示，对于上行数据来说，在接收数据模块的接收数据、发送变化消息处，数据处理模块的比较数据处，数据存储模块的存储数据即日志记录处，数据发送模块的接受变化消息即转出变化数据处分别设立监测点。下行数据监测点的设立与上行数据相同，分别在数据接收、数据处理、数据存储、数据发送模块处设立相应的监测点，并最终对流经的数据进行动态捕捉并做出相应处理。
上述监测点的数据捕捉是各个监测点对流经的数据进行识别、描述、记录的过程，如图3所示，当数据流过监测点时，根据数据状态信息和监测点位置组织成消息信息，包括消息类型与消息内容，消息类型由唯一的无符号整型数据表示，消息内容包括时间、模块名称、数据参引、数据描述、监测点描述等内容，其中数据参引为数据点在数据库中的唯一字符串标识。消息信息组织完毕后通过TCP包的形式发送至订阅此消息类型的客户端，客户端收到此消息信息后进行消息结构的解析和显示。
消息发送完毕后进行日志的记录操作，根据捕捉的数据状态信息和监测点位置生成日志文件，日志文件名为数据的参引，日志内容与发送的消息内容相同，包括：时间、模块名称、数据参引、数据描述和监测点描述。日志以文本文件存储在磁盘的/log目录下，客户端除了能通过界面动态展示数据流，同样可以通过订阅日志的消息类型对日志文件进行调阅查看，还可以通过日志文件的名称或日志文件生成的时间等条件对日志文件进行调阅，还可以通过日志文件的名称及日志文件生成的时间等条件进行组合过滤查找。
因此，日志文件详细完整的记录了数据从流入数据通讯网关机到流出的整个经过。另外，日志文件由网关机中独立运行的日志模块负责定期维护及清理。
对于用来动态展示数据流的客户端而言，需要通过网络接收来自数据通信网关机发送的消息内容进行展示，客户端与网关机的通信采用面向服务的架构，即消息的订阅/发布机制，发布方会发布不同的消息类型，订阅方则根据自身的需要订阅相应的消息类型。具体的，网关机对追踪捕捉到的数据通过消息信息的方式进行发布，客户端则对此消息信息的消息类型进行订阅操作，接收网关机发送的消息内容，最终将数据流的整个流程动态展示到界面上。
客户端的界面展示内容会根据不同数据类型所建立的数据模型有所差异，数据模型的内容主要由不同监测点所组成的数据传输路径组成。例如上行数据与下行数据的处理流程有所不同，因此根据上行数据与下行数据分别建立上行数据模型和下行数据模型，如图4所示。会有所差异，而以遥控为主的下行数据又分为直控与选控两种处理模式，其中选控指的是调度主站首先对被控对象进行选择操作，当被控对象回复选择成功后方可继续进行控制操作，直控则是指调度主站直接对被控对象进行控制操作，所以，根据这两种处理模式以建立的数据模型又不相同，如图4所示。
本实施例中流经网关机内监测点的数据是通信网关机分别与调度主站端和厂站端之间进行传输的数据，监测点的追踪任务包括数据接收、数据处理、数据存储、消息发送，消息接收、数据发送等。监测点具体的追踪内容根据不同的数据类型有所差异，按照数据传输的类型大致分为上行数据与下行数据。
其中，下行数据主要包括由调度主站对间隔层装置发起的远程控制命令，上行数据主要包括由间隔层装置主动发起的变化数据上送给调度主站，因此在数据通信网关机内设置多个监测点，对流经自身的两种数据流进行实时追踪，并在每个监测点对收到的数据进行动态捕捉。
如图2所示，监测点分布在数据通信网关机运行的不同模块中，根据不同的功能大致分为“规约接入模块”和“规约转出模块”，前者主要负责接收来自间隔层装置的数据，后者则负责与调度主站通信。数据的流向过程为：上行数据首先流入“规约接入模块”，从“规约转出模块”流出，途中经过的各个监测点对数据进行实时追踪；下行数据则相反，首先流入“规约转出模块”，从“规约接入模块”流出，途中经过的各个监测点对数据进行实时追踪。因此，根据不同的数据类型及功能模块建立不同的监测点可以有效的达到数据追踪的目的。
本发明的一种通信网关机中的数据流的监测点在客户端的界面显示如图4所示，监测点默认为灰色，当客户端收到网关机发来的消息时根据具体的消息内容点亮界面中对应的监测点，表示数据流过此监测点，如果没有点亮，则表示数据没有流过此处。
客户端的界面通过显示每个监测点的颜色变化可以清晰的观察数据在网关机中的流动过程，如果想要了解某个监测点的详细信息，可以用鼠标点击此监测点以查看相关内容。
本发明的一种数据捕捉装置的实施例：
包括控制模块和用于监测相应数据路径监测点的监测模块，所述监测模块实时追踪监测点的数据，并对该数据进行动态捕捉，所述控制模块根据捕捉的数据状态信息和监测点位置生成包括消息类型和消息内容的消息信息，将该消息信息通过动态展示界面显示监测点捕捉的数据状态信息。还包括用于记录包含消息类型和消息内容的消息信息，并生成日志文件的模块。
本实施例中的动态展示界面实际上是独立的客户端，该客户端通过订阅与日志文件相应的消息类型对日志文件进行调阅查看，或者通过日志文件的名称或日志文件的生成时间对日志文件进行调阅查看。
本发明的一种数据捕捉方法的实施例：
在网关机相应的模块中设置监测点，实时追踪流经所述相应模块的监测点数据，对该数据进行动态捕捉；根据捕捉的数据状态信息和监测点位置生成包括消息类型和消息内容的消息信息，将该消息信息通过动态展示界面显示监测点捕捉的数据状态信息。
本发明的数据捕捉方法已经在上述一种数据网关机的实施例中进行了详细的介绍，这里不再对数据捕捉方法的实施例进行详细描述。
Claims (9)
1.一种数据捕捉方法，其特征在于，包括以下步骤：
在网关机运行的数据接收、数据处理、数据存储、数据发送模块中设置监测点，实时追踪流经所述相应模块的监测点数据，对该数据进行动态捕捉；根据捕捉的数据状态信息和监测点位置生成包括消息类型和消息内容的消息信息，将该消息信息通过动态展示界面显示监测点捕捉的数据状态信息；
对于上行数据，在接收数据模块的接收数据、发送变化消息处，数据处理模块的比较数据处，数据存储模块的存储数据处，数据发送模块的接收变化消息处分别设立监测点；下行数据监测点的设立与上行数据相同，分别在数据接收、数据处理、数据存储、数据发送模块处设立相应的监测点；下行数据包括由调度主站对间隔层装置发起的远程控制命令，上行数据包括由间隔层装置主动发起的变化数据上送给调度主站。
2.根据权利要求1所述的数据捕捉方法，其特征在于，记录包含消息类型和消息内容的消息信息，并生成日志文件。
3.根据权利要求2所述的数据捕捉方法，其特征在于，所述动态展示界面为独立的客户端，所述客户端通过订阅与日志文件相应的消息类型对日志文件进行调阅查看，或者通过日志文件的名称或日志文件的生成时间对日志文件进行调阅查看。
4.一种数据捕捉装置，其特征在于，包括控制模块和用于监测网关机运行的数据接收、数据处理、数据存储、数据发送模块中数据路径监测点的监测模块，所述监测模块实时追踪监测点的数据，并对该数据进行动态捕捉，所述控制模块根据捕捉的数据状态信息和监测点位置生成包括消息类型和消息内容的消息信息，将该消息信息通过动态展示界面显示监测点捕捉的数据状态信息；
对于上行数据，在接收数据模块的接收数据、发送变化消息处，数据处理模块的比较数据处，数据存储模块的存储数据处，数据发送模块的接收变化消息处分别设立监测点；下行数据监测点的设立与上行数据相同，分别在数据接收、数据处理、数据存储、数据发送模块处设立相应的监测点；下行数据包括由调度主站对间隔层装置发起的远程控制命令，上行数据包括由间隔层装置主动发起的变化数据上送给调度主站。
5.根据权利要求4所述的数据捕捉装置，其特征在于，还包括用于记录包含消息类型和消息内容的消息信息，并生成日志文件的模块。
6.根据权利要求5所述的数据捕捉装置，其特征在于，所述动态展示界面为独立的客户端，所述客户端通过订阅与日志文件相应的消息类型对日志文件进行调阅查看，或者通过日志文件的名称或日志文件的生成时间对日志文件进行调阅查看。
7.一种通信网关机，包括用于传输上行数据的接口和传输下行数据的接口，其特征在于，在传输上行数据路径的数据接收、数据处理、数据存储、数据发送模块中设置上行数据监测点，在传输下行数据路径的数据接收、数据处理、数据存储、数据发送模块中设置下行数据监测点，实时追踪上行数据监测点和下行数据监测点监测的数据，并对这些数据进行动态捕捉；根据捕捉的数据状态信息和监测点位置生成包括消息类型和消息内容的消息信息，将该消息信息通过动态展示界面显示监测点捕捉的数据状态信息；
对于上行数据，在接收数据模块的接收数据、发送变化消息处，数据处理模块的比较数据处，数据存储模块的存储数据处，数据发送模块的接收变化消息处分别设立监测点；下行数据监测点的设立与上行数据相同，分别在数据接收、数据处理、数据存储、数据发送模块处设立相应的监测点；下行数据包括由调度主站对间隔层装置发起的远程控制命令，上行数据包括由间隔层装置主动发起的变化数据上送给调度主站。
8.根据权利要求7所述的通信网关机，其特征在于，还包括用于记录包含消息类型和消息内容的消息信息，并生成日志文件的模块。
9.根据权利要求8所述的通信网关机，其特征在于，所述动态展示界面为独立的客户端，所述客户端通过订阅与日志文件相应的消息类型对日志文件进行调阅查看，或者通过日志文件的名称或日志文件的生成时间对日志文件进行调阅查看。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610872963.XA CN106330622B (zh) | 2016-09-30 | 2016-09-30 | 一种数据捕捉方法、装置及通信网关机 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610872963.XA CN106330622B (zh) | 2016-09-30 | 2016-09-30 | 一种数据捕捉方法、装置及通信网关机 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106330622A CN106330622A (zh) | 2017-01-11 |
| CN106330622B true CN106330622B (zh) | 2020-02-21 |
Family
ID=57820699
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610872963.XA Active CN106330622B (zh) | 2016-09-30 | 2016-09-30 | 一种数据捕捉方法、装置及通信网关机 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106330622B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110995794B (zh) * | 2019-11-19 | 2022-07-15 | 许继集团有限公司 | 一种电力数据的远程获取方法 |
| CN110996346B (zh) * | 2020-02-28 | 2020-06-12 | 武汉慧联无限科技有限公司 | 一种下行报文轨迹追踪方法、装置及计算机可读存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104242465A (zh) * | 2014-10-11 | 2014-12-24 | 重庆邮电大学 | 一种基于b/s的变电站远程监控系统及方法 |
| CN105245444A (zh) * | 2015-11-06 | 2016-01-13 | 国家电网公司 | 一种变电站通信网关机与调度主站系统的混合通信方法 |
| CN105959214A (zh) * | 2016-06-17 | 2016-09-21 | 国网浙江省电力公司绍兴供电公司 | 一种变电站端i区数据通信网关机 |
-
2016
- 2016-09-30 CN CN201610872963.XA patent/CN106330622B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104242465A (zh) * | 2014-10-11 | 2014-12-24 | 重庆邮电大学 | 一种基于b/s的变电站远程监控系统及方法 |
| CN105245444A (zh) * | 2015-11-06 | 2016-01-13 | 国家电网公司 | 一种变电站通信网关机与调度主站系统的混合通信方法 |
| CN105959214A (zh) * | 2016-06-17 | 2016-09-21 | 国网浙江省电力公司绍兴供电公司 | 一种变电站端i区数据通信网关机 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106330622A (zh) | 2017-01-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110733038A (zh) | 工业机器人远程监控及数据处理系统 | |
| CN103283208B (zh) | 基于云计算的远程实时监控系统 | |
| US8478714B2 (en) | Integrated distribution management system channel adapter | |
| CN102215265B (zh) | 实现远程虚拟桌面访问统一管理和监控的系统及方法 | |
| CN102497427B (zh) | 实现可再生能源监测系统数据采集服务的方法和装置 | |
| CN110995859A (zh) | 一种基于泛在物联网的变电站智能支撑平台系统 | |
| CN103067230A (zh) | 一种通过植入监控代码实现对http服务监控的方法 | |
| CN112698593A (zh) | 一种物联网平台管理系统 | |
| CN112132538A (zh) | 一种基于NB-IoT的光伏发电管理系统 | |
| CN103095498A (zh) | 话单采集方法和系统 | |
| CN110163484A (zh) | 基于互联网的盾构设备智能运维管理系统及方法 | |
| CN114827140A (zh) | 一种用于风洞现场的实时数据集中管控系统 | |
| CN106330622B (zh) | 一种数据捕捉方法、装置及通信网关机 | |
| CN115480542A (zh) | 生产线运行状态及相关工艺数据采集系统 | |
| CN111083047B (zh) | 一种基于物联网多协议通信的网关 | |
| CN116488985A (zh) | 多源异构物联网数据的处理方法 | |
| CN103064353A (zh) | 针织横机远程控制方法 | |
| CN111525689B (zh) | 一种精准双定位配电终端监测管理系统 | |
| CN103414595B (zh) | 电力调度数据网链路监测系统拓扑图生成方法 | |
| CN106506207A (zh) | 基于树型结构的电力通信报文监视分析方法及系统 | |
| CN202339500U (zh) | 一种对大型设备进行远程监测诊断的系统 | |
| CN114466036B (zh) | 一种结合鹰眼防误的智能管控平台 | |
| CN113867293A (zh) | 一种SIS系统下沉到DCS系统的h型架构 | |
| CN107896240A (zh) | 基于Internet的单片机与组态软件远程通讯系统 | |
| CN108334012A (zh) | 基于gis的海量物联网设备的监测管理系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |