CN107391686A - 一种可视化配置数据采集系统实现方法 - Google Patents
一种可视化配置数据采集系统实现方法 Download PDFInfo
- Publication number
- CN107391686A CN107391686A CN201710607917.1A CN201710607917A CN107391686A CN 107391686 A CN107391686 A CN 107391686A CN 201710607917 A CN201710607917 A CN 201710607917A CN 107391686 A CN107391686 A CN 107391686A
- Authority
- CN
- China
- Prior art keywords
- data
- index
- configuration
- module
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 18
- 230000000007 visual effect Effects 0.000 title claims abstract description 13
- 238000009826 distribution Methods 0.000 claims abstract description 7
- 238000013500 data storage Methods 0.000 claims description 3
- 238000012384 transportation and delivery Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000013079 data visualisation Methods 0.000 abstract description 3
- 241000208340 Araliaceae Species 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/248—Presentation of query results
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明公开了一种可视化配置数据采集系统实现方法，属于数据可视化技术领域，首先对数据源配置指标和指标参数，然后对组件模块绑定指标，再然后将场景中配置的指标添加到取数服务器的任务队列，最后数据获取模块根据配置的指标获取数据；本发明可以提高数据源配置效率，指标一次配置，可供多个组件调用；本发明采用数据分发技术，每个指标获取到数据后，会将数据分发给使用了此指标的组件模块，减少指标从数据源的获取次数，提高获取效率，有绑定组件模块的指标才会去调用，没有绑定组件模块的指标不会执行，本发明采用Redis缓存技术，当数据获取失败时，可使用缓存数据，增加系统稳定性。
Description
技术领域
本发明属于数据可视化技术领域，特别涉及一种可视化配置数据采集系统实现方法。
背景技术
数据可视化系统需要将第三方的数据抽取到客户端，再由客户端使用可视化组件显示到大屏上，供决策分析用，在大屏上显示的数据可能来自不同的业务系统，这时需要将不同业务系统的数据提取到本地，分析处理后再显示到大屏上。
现有技术中的不足为：
1：在配置文件中配置连接的数据源，一个系统只可以连接一个数据源，大屏显示时只能从这个数据源取数。
2：可以连接多个数据源，一个数据集在多个地方显示时，需要查询多次。
发明内容
本发明的目的是提供一种可视化配置数据采集系统实现方法，解决了将不同的数据源上的数据按需获取到展示平台上展示的问题。
为实现上述目的，本发明采用以下技术方案：
一种可视化配置数据采集系统实现方法，包括如下步骤：
步骤1：建立用于获取数据源的数据获取模块，建立用于对数据源进行配置的配置模块，配置模块包括配置库和配置服务器，配置服务器对所有数据源配置指标，指标为结合数据源、取数语句或接口，用于取到具体数据的标志值，所述标志值为数据表格或单个数值；
配置服务器对所有指标配置相应的指标参数，同一个指标配置一个或多个指标参数，指标参数为用来存储可变数据的变量，用于在不同的过滤条件下，映射检索到同一个指标；
配置库用于存储数据源的指标和指标参数；
步骤2：建立客户端，在客户端中建立多个组件模块，不同的组件模块显示的数据不同，每一个组件模块均绑定一个或多个指标，对于任意一个组件模块，只能调用与其绑定的指标；
步骤3：建立取数服务器，在客户端建立查询数据源的场景，并在场景中输入指标，取数服务器将所在场景中输入的指标添加到取数服务器的任务队列中；
步骤4：取数服务器将任务列表传输给数据获取模块，数据获取模块根据任务列表获取数据源，每个指标对应一个数据集，数据集中包含与该指标对应的数据源，数据获取模块将数据集添加到一个定义好的数据对象中；数据集再将数据对象转换为Json文本传递给客户端；客户端收到Json文本后，再将Json文本转换为数据对象；客户端将获取到的数据对象传递给组件模块，组件模块根据自身绑定的指标显示相应的数据源。
所述数据获取模块、配置模块、配置库均为服务器集群或服务器。
在执行步骤3时，在所述场景中可以更改指标参数。
在执行步骤3时，不需要取数的指标不添加到任务队列。
本发明所述的一种可视化配置数据采集系统实现方法，解决了将不同的数据源上的数据按需获取到展示平台上展示的问题；本发明可以提高数据源配置效率，指标一次配置，可供多个组件调用；本发明采用数据分发技术，每个指标获取到数据后，会将数据分发给使用了此指标的组件模块，减少指标从数据源的获取次数，提高获取效率；有绑定组件模块的指标才会去调用，没有绑定组件模块的指标不会执行；本发明采用Redis缓存技术，当数据获取失败时，可使用缓存数据，增加系统稳定性。
附图说明
图1为本发明的系统示意图。
具体实施方式
如图1所示的一种可视化配置数据采集系统实现方法，包括如下步骤：
步骤1：建立用于获取数据源的数据获取模块，建立用于对数据源进行配置的配置模块，配置模块包括配置库和配置服务器，配置服务器对所有数据源配置指标，指标为结合数据源、取数语句或接口，用于取到具体数据的标志值，所述标志值为数据表格或单个数值；
配置服务器对所有指标配置相应的指标参数，同一个指标配置一个或多个指标参数，指标参数为用来存储可变数据的变量，用于在不同的过滤条件下，映射检索到同一个指标；
配置库用于存储数据源的指标和指标参数；
步骤2：建立客户端，在客户端中建立多个组件模块，不同的组件模块显示的数据不同，每一个组件模块均绑定一个或多个指标，对于任意一个组件模块，只能调用与其绑定的指标；
步骤3：建立取数服务器，在客户端建立查询数据源的场景，并在场景中输入指标，取数服务器将所在场景中输入的指标添加到取数服务器的任务队列中；
步骤4：取数服务器将任务列表传输给数据获取模块，数据获取模块根据任务列表获取数据源，每个指标对应一个数据集，数据集中包含与该指标对应的数据源，数据获取模块将数据集添加到一个定义好的数据对象中；数据集再将数据对象转换为Json文本传递给客户端；客户端收到Json文本后，再将Json文本转换为数据对象；客户端将获取到的数据对象传递给组件模块，组件模块根据自身绑定的指标显示相应的数据源。
取数服务器根据任务列表获取数据源时，采用Redis缓存技术，没有绑定组件的指标不会执行。
所述数据获取模块、配置模块、配置库均为服务器集群或服务器。
在执行步骤3时，在所述场景中可以更改指标参数。
在执行步骤3时，不需要取数的指标不添加到任务队列。
所述数据源包括数据库、Webservice、Excel和其他文本，数据源配置支持各种数据，如Mysql、SqlServer、Oracle、DM数据库和webservice等。
所述客户端为大屏幕显示屏或者触摸屏，所述客户端可以设立多个。
所述配置服务器提供配置界面，用户可在配置界面中输入指标和指标参数。
本发明所述的一种可视化配置数据采集系统实现方法，将不同的数据源上的数据按需获取到展示平台上展示的问题；本发明可以提高数据源配置效率，指标一次配置，可供多个组件调用；本发明采用数据分发技术，每个指标获取到数据后，会将数据分发给使用了此指标的组件模块，减少指标从数据源的获取次数，提高获取效率，本发明采用Redis缓存技术，有绑定组件模块的指标才会去调用，没有绑定组件模块的指标不会执行。
Claims (4)
1.一种可视化配置数据采集系统实现方法，其特征在于：包括如下步骤：
步骤1：建立用于获取数据源的数据获取模块，建立用于对数据源进行配置的配置模块，配置模块包括配置库和配置服务器，配置服务器对所有数据源配置指标，指标为结合数据源、取数语句或接口，用于取到具体数据的标志值，所述标志值为数据表格或单个数值；
配置服务器对所有指标配置相应的指标参数，同一个指标配置一个或多个指标参数，指标参数为用来存储可变数据的变量，用于在不同的过滤条件下，映射检索到同一个指标；
配置库用于存储数据源的指标和指标参数；
步骤2：建立客户端，在客户端中建立多个组件模块，不同的组件模块显示的数据不同，每一个组件模块均绑定一个或多个指标，对于任意一个组件模块，只能调用与其绑定的指标；
步骤3：建立取数服务器，在客户端建立查询数据源的场景，并在场景中输入指标，取数服务器将所在场景中输入的指标添加到取数服务器的任务队列中；
步骤4：取数服务器将任务列表传输给数据获取模块，数据获取模块根据任务列表获取数据源，每个指标对应一个数据集，数据集中包含与该指标对应的数据源，数据获取模块将数据集添加到一个定义好的数据对象中；数据集再将数据对象转换为Json文本传递给客户端；客户端收到Json文本后，再将Json文本转换为数据对象；客户端将获取到的数据对象传递给组件模块，组件模块根据自身绑定的指标显示相应的数据源。
2.如权利要求1所述的一种可视化配置数据采集系统实现方法，其特征在于:所述数据获取模块、配置模块、配置库均为服务器集群或服务器。
3.如权利要求1所述的一种可视化配置数据采集系统实现方法，其特征在于:在执行步骤3时，在所述场景中更改指标参数。
4.如权利要求1所述的一种可视化配置数据采集系统实现方法，其特征在于:在执行步骤3时，不需要取数的指标不添加到任务队列。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710607917.1A CN107391686A (zh) | 2017-07-24 | 2017-07-24 | 一种可视化配置数据采集系统实现方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710607917.1A CN107391686A (zh) | 2017-07-24 | 2017-07-24 | 一种可视化配置数据采集系统实现方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107391686A true CN107391686A (zh) | 2017-11-24 |
Family
ID=60336691
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710607917.1A Pending CN107391686A (zh) | 2017-07-24 | 2017-07-24 | 一种可视化配置数据采集系统实现方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107391686A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109522303A (zh) * | 2018-11-13 | 2019-03-26 | 深圳市思迪信息技术股份有限公司 | 基于Excel配置的数据采集方法、装置及计算机设备 |
| CN109635022A (zh) * | 2018-10-31 | 2019-04-16 | 成都四方伟业软件股份有限公司 | 一种可视化的ElasticSearch数据采集方法及装置 |
| CN113553620A (zh) * | 2021-07-23 | 2021-10-26 | 中信银行股份有限公司 | 生产数据获取过程中留存服务本地的敏感信息防护方法、装置、设备及存储介质 |
| CN115033897A (zh) * | 2021-03-05 | 2022-09-09 | 山东汉鑫科技股份有限公司 | 一种车路协同多源异构信息的智能决策控制方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120066363A1 (en) * | 2010-09-15 | 2012-03-15 | Oracle International Corporation | System and method for using a gridlink data source to connect an application server with a clustered database |
| CN103077246A (zh) * | 2013-01-18 | 2013-05-01 | 国网电力科学研究院 | 一种基于Netty的大屏可视化平台数据推送系统 |
| CN104679827A (zh) * | 2015-01-14 | 2015-06-03 | 北京得大信息技术有限公司 | 一种基于大数据的公开信息关联方法及挖掘引擎 |
| CN105677468A (zh) * | 2016-01-06 | 2016-06-15 | 北京京东尚科信息技术有限公司 | 缓存及其设计方法以及利用该缓存的调度方法和调度装置 |
| CN105930516A (zh) * | 2016-05-18 | 2016-09-07 | 广东源恒软件科技有限公司 | 一种对多个数据库中的纳税数据进行综合分析的方法 |
| CN106708918A (zh) * | 2016-06-29 | 2017-05-24 | 国家计算机网络与信息安全管理中心 | 一种网络大数据可视化信息系统 |
| CN106875110A (zh) * | 2017-02-06 | 2017-06-20 | 泰康保险集团股份有限公司 | 业务指标分层计算方法及装置、分布式计算方法及系统 |
-
2017
- 2017-07-24 CN CN201710607917.1A patent/CN107391686A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120066363A1 (en) * | 2010-09-15 | 2012-03-15 | Oracle International Corporation | System and method for using a gridlink data source to connect an application server with a clustered database |
| CN103077246A (zh) * | 2013-01-18 | 2013-05-01 | 国网电力科学研究院 | 一种基于Netty的大屏可视化平台数据推送系统 |
| CN104679827A (zh) * | 2015-01-14 | 2015-06-03 | 北京得大信息技术有限公司 | 一种基于大数据的公开信息关联方法及挖掘引擎 |
| CN105677468A (zh) * | 2016-01-06 | 2016-06-15 | 北京京东尚科信息技术有限公司 | 缓存及其设计方法以及利用该缓存的调度方法和调度装置 |
| CN105930516A (zh) * | 2016-05-18 | 2016-09-07 | 广东源恒软件科技有限公司 | 一种对多个数据库中的纳税数据进行综合分析的方法 |
| CN106708918A (zh) * | 2016-06-29 | 2017-05-24 | 国家计算机网络与信息安全管理中心 | 一种网络大数据可视化信息系统 |
| CN106875110A (zh) * | 2017-02-06 | 2017-06-20 | 泰康保险集团股份有限公司 | 业务指标分层计算方法及装置、分布式计算方法及系统 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109635022A (zh) * | 2018-10-31 | 2019-04-16 | 成都四方伟业软件股份有限公司 | 一种可视化的ElasticSearch数据采集方法及装置 |
| CN109522303A (zh) * | 2018-11-13 | 2019-03-26 | 深圳市思迪信息技术股份有限公司 | 基于Excel配置的数据采集方法、装置及计算机设备 |
| CN109522303B (zh) * | 2018-11-13 | 2021-06-15 | 深圳市思迪信息技术股份有限公司 | 基于Excel配置的数据采集方法、装置及计算机设备 |
| CN115033897A (zh) * | 2021-03-05 | 2022-09-09 | 山东汉鑫科技股份有限公司 | 一种车路协同多源异构信息的智能决策控制方法 |
| CN113553620A (zh) * | 2021-07-23 | 2021-10-26 | 中信银行股份有限公司 | 生产数据获取过程中留存服务本地的敏感信息防护方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11836440B1 (en) | Web browsing | |
| CN111177231B (zh) | 报表生成方法和报表生成装置 | |
| CN107391686A (zh) | 一种可视化配置数据采集系统实现方法 | |
| US10096072B1 (en) | Method and system for reducing the presentation of less-relevant questions to users in an electronic tax return preparation interview process | |
| CN109726074A (zh) | 日志处理方法、装置、计算机设备和存储介质 | |
| CN104410720B (zh) | 一种基于web图形的实时监控平台系统及其方法 | |
| US9959607B2 (en) | Automatic verification of graphic rendition of JSON data | |
| US20150006973A1 (en) | Enhanced error detection with behavior profiles | |
| WO2015085103A1 (en) | Pattern matching across multiple input data streams | |
| CN104661093B (zh) | 用于确定视频教程的更新的方法和系统 | |
| US10268690B2 (en) | Identifying correlated content associated with an individual | |
| CN103425692B (zh) | 数据导出方法和装置 | |
| US10031901B2 (en) | Narrative generation using pattern recognition | |
| CN102693242A (zh) | 一种网络评论信息的共享方法和系统 | |
| CN110019116A (zh) | 数据追溯方法、装置、数据处理设备及计算机存储介质 | |
| CN110738038A (zh) | 合同文本的生成方法、装置、设备及计算机可读存储介质 | |
| CN109299174A (zh) | 一种多源情报数据聚合处理方法及装置 | |
| CN111985197A (zh) | 一种基于医疗信息的模板生成方法 | |
| CN113760834A (zh) | 文件分类方法、装置、设备及介质 | |
| CN102333114A (zh) | 一种基于云服务的数据处理方案 | |
| CN110688827B (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| CN110659540A (zh) | 一种交通灯检测方法和装置 | |
| CN103914465A (zh) | 基于用户兴趣图谱实现智能化订制收听音频的系统和方法 | |
| CN109359794A (zh) | 业务接入方法、装置、电子设备及计算机可读存储介质 | |
| CN108647333A (zh) | 一种信息共享方法、装置及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20171124 |
|
| RJ01 | Rejection of invention patent application after publication |