CN112699096A - 一种基于大数据的数据访问权限控制的方法 - Google Patents
一种基于大数据的数据访问权限控制的方法 Download PDFInfo
- Publication number
- CN112699096A CN112699096A CN202011611616.4A CN202011611616A CN112699096A CN 112699096 A CN112699096 A CN 112699096A CN 202011611616 A CN202011611616 A CN 202011611616A CN 112699096 A CN112699096 A CN 112699096A
- Authority
- CN
- China
- Prior art keywords
- data
- token
- layer
- authority
- ods
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 230000007246 mechanism Effects 0.000 claims abstract description 13
- 238000013500 data storage Methods 0.000 claims description 6
- 230000004931 aggregating effect Effects 0.000 claims description 3
- 230000009191 jumping Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Storage Device Security (AREA)
Abstract
本发明提供了一种基于大数据的数据访问权限控制的方法，其方法包括：S1、通过数据采集，将各类数据归集至数据仓库；S2、对ODS层数据进行ETL处理，生成DW层数据，将机构层级表融入数据中；S3、通过数据权限配置中心，根据业务需求配置各用户的权限，返回字段；S4、对调用方鉴权；S5、返回对应权限范围的数据。通过token采用身份认证机制，识别数据获取方的真实身份，提高了数据访问的安全性；减少了表关联，可直接查询宽表数据，提升了查询性能，数据保存在分布式数据库的数据仓库，满足大数据量取数需求，数据访问层级横向平铺，满足大数据量的吞吐量性能要求。
Description
技术领域
本发明涉及数据访问技术领域，具体的，本发明涉及一种基于大数据的数据访问权限控制的方法。
背景技术
目前很多企业已建立自己的数据仓库，存储大量有价值的商业机密信息，数据安全对企业生存发展有着举足轻重的影响，数据资产的外泄、破坏都会导致企业无可挽回的经济损失和核心竞争力缺失。
访问控制是按用户身份及其所归属的某项定义组来限制用户对某些信息项的访问，或限制对某些控制功能的使用的一种技术，而现有的数据访问控制的安全性不够，且处理大数据的访问权限时，性能不足，效率较低。
发明内容
为了克服现有技术的不足，本发明提供了一种基于大数据的数据访问权限控制的方法，以解决上述的技术问题。
本发明解决其技术问题所采用的技术方法是：一种基于大数据的数据访问权限控制的方法，其改进之处在于：包括以下的步骤：S1、通过数据采集，将各类数据归集至数据仓库；S2、对ODS层数据进行ETL处理，生成DW层数据，将机构层级表融入DW层数据中，ODS即Operational Data Store，即操作数据存储，ETL即Extract Transform Load，指将数据从来源端经过抽取extract、转换transform，加载load至目的端的过程，DW即数据仓库的主体；S3、通过数据权限配置中心，根据业务需求配置各用户的权限，返回字段；S4、对调用方鉴权；S5、返回对应权限范围的数据。
在上述方法中，步骤S1，包括以下的步骤：
S11、将业务数据及埋点数据在服务器上生成文件；
S12、通过Flume和Filebeat拉取文件，发送到指定的Kafka集群，Flume是高可用、高可靠和分布式的海量日志采集、聚合和传输的系统，Filebeat是本地文件的日志数据采集器；
S13、消费Kafka集群上面的数据，保存到各类数据库的表中，数据存放在ODS层，存储在分布式存储平台的数据仓库；
S14、将业务数据写入Oracle数据库，使用OGG同步至数据存储平台，OGG即Oracle公司的数据同步工具。
在上述方法中，步骤S2，包括以下的步骤：
S21、收集ODS层的数据，完善数据仓库的数据；
S22、将ODS层的数据进行ETL处理，使ODS层的多个表关联后保存成一张表，形成DW层的数据；
S23、加入机构层级表，将机构层级表的数据融入到DW层的表中。
在上述方法中，步骤S3，包括以下的步骤：
S31、通过数据权限配置中心配置角色对应的权限；
S32、对调用方用户进行白名单标记，生成token,token即令牌。
在上述方法中，步骤S4，包括以下的步骤：
S41、应用方生成token，并调用接口；
S42、与调用方的token内容进行对比，当验证token合法时，则查询相应调用方的数据查询权限，跳转至步骤S5；当验证token不合法时，则返回失败结果，操作结束。
在上述方法中，步骤S22中，将ODS层的数据进行ETL处理，通过SQL的定时程序完成。
本发明的有益效果是：通过token采用身份认证机制，识别数据获取方的真实身份，提高数据访问的安全性；减少了表关联，可直接查询宽表数据，提升了查询性能；数据保存在分布式数据库的数据仓库，满足大数据量取数需求，数据访问层级横向平铺，满足大数据量的吞吐量性能要求。
附图说明
附图1为本发明的一种基于大数据的数据访问权限控制的方法的流程图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整地描述，以充分地理解本发明的目的、特征和效果。显然，所描述的实施例只是本发明的一部分实施例，而不是全部实施例，基于本发明的实施例，本领域的技术人员在不付出创造性劳动的前提下所获得的其他实施例，均属于本发明保护的范围。另外，专利中涉及到的所有联接/连接关系，并非单指构件直接相接，而是指可根据具体实施情况，通过添加或减少联接辅件，来组成更优的联接结构。本发明创造中的各个技术特征，在不互相矛盾冲突的前提下可以交互组合。
参照图1所示，本发明的一种基于大数据的数据访问权限控制的方法，包括以下的步骤：
S1、通过数据采集，将各类数据归集至数据仓库，将所有能收集到的数据全部都收集至统一的数据仓库里面，然后由数据仓库提供数据服务。
具体的，步骤S1，包括以下的步骤：
S11、将业务数据及埋点数据在服务器上生成文件；
S12、通过Flume和Filebeat拉取文件，发送到指定的Kafka集群，Flume是高可用、高可靠和分布式的海量日志采集、聚合和传输的系统，Filebeat是本地文件的日志数据采集器；
S13、消费Kafka集群上面的数据，保存到各类数据库的表中，数据存放在ODS层，存储在分布式存储平台的数据仓库，ODS即Operational Data Store，操作数据存储；
S14、将业务数据写入Oracle数据库，使用OGG同步至数据存储平台，OGG即Oracle公司的数据同步工具。
S2、对ODS层数据进行ETL处理，生成DW层数据，将机构层级表融入DW层数据中，ETL即Extract Transform Load，指将数据从来源端经过抽取extract、转换transform，加载load至目的端的过程，DW即数据仓库的主体，
具体的，步骤S2包括以下步骤：
S21、收集ODS层的数据，完善数据仓库的数据；
S22、将ODS层的数据进行ETL处理，使ODS层的多个表关联后保存成一张表，形成DW层的数据；
S23、加入机构层级表，将机构层级表的数据融入到DW层的表中，减少表关联，提升查询性能。
所述步骤S22中，所述将ODS层的数据进行ETL处理是通过SQL的定时程序完成的，定时程序的离线定时是一般是24小时，实时定时一般是1秒。
S3、通过数据权限配置中心，根据业务需求配置各用户的权限，返回字段。
具体的，步骤S3包括以下步骤：
S31、通过数据权限配置中心配置角色对应的权限；
S32、对调用方用户进行白名单标记，生成token,token即令牌。实现了用户管理的规范化和数据流程化，避免了其他部门或者分公司在未经我们允许的情况下就调用接口，避免了数据泄露的问题。
S4、对调用方鉴权。
具体的，步骤S4包括如下步骤：
S41、应用方生成token，并调用接口；
S42、与调用方的token内容进行对比，当验证token合法时，则查询相应调用方的数据查询权限，并跳转至步骤S5；当验证token不合法时，则返回失败结果，操作结束。
S5、返回对应权限范围的数据给调用方。
本发明通过token采用身份认证机制，识别数据获取方的真实身份，提高了数据访问的安全性；减少了表关联，可直接查询宽表数据，提升了查询性能；数据保存在分布式数据库的数据仓库，满足大数据量取数需求，数据访问层级横向平铺，满足大数据量的吞吐量性能要求。
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (6)
1.一种基于大数据的数据访问权限控制的方法，其特征在于：包括以下的步骤：
S1、通过数据采集，将各类数据归集至数据仓库；
S2、对ODS层数据进行ETL处理，生成DW层数据，将机构层级表融入DW层数据中，ODS即Operational Data Store，即操作数据存储，ETL即Extract Transform Load，指将数据从来源端经过抽取extract、转换transform，加载load至目的端的过程，DW即数据仓库的主体；
S3、通过数据权限配置中心，根据业务需求配置各用户的权限，返回字段；
S4、对调用方鉴权；
S5、返回对应权限范围的数据。
2.如权利要求1所述的一种基于大数据的数据访问权限控制的方法，其特征在于：所述步骤S1，包括以下的步骤：
S11、将业务数据及埋点数据在服务器上生成文件；
S12、通过Flume和Filebeat拉取文件，发送到指定的Kafka集群，Flume是高可用、高可靠和分布式的海量日志采集、聚合和传输的系统，Filebeat是本地文件的日志数据采集器；
S13、消费Kafka集群上面的数据，保存到各类数据库的表中，数据存放在ODS层，存储在分布式存储平台的数据仓库；
S14、将业务数据写入Oracle数据库，使用OGG同步至数据存储平台，OGG即Oracle公司的数据同步工具。
3.如权利要求1所述的一种基于大数据的数据访问权限控制的方法，其特征在于：所述步骤S2，包括以下的步骤：
S21、收集ODS层的数据，完善数据仓库的数据；
S22、将ODS层的数据进行ETL处理，使ODS层的多个表关联后保存成一张表，形成DW层的数据；
S23、加入机构层级表，将机构层级表的数据融入到DW层的表中。
4.如权利要求1所述的一种基于大数据的数据访问权限控制的方法，其特征在于：所述步骤S3，包括以下的步骤：
S31、通过数据权限配置中心配置角色对应的权限；
S32、对调用方用户进行白名单标记，生成token,token即令牌。
5.如权利要求1所述的一种基于大数据的数据访问权限控制的方法，其特征在于：所述步骤S4，包括以下的步骤：
S41、应用方生成token，并调用接口；
S42、与调用方的token内容进行对比，当验证token合法时，则查询相应调用方的数据查询权限，跳转至步骤S5；当验证token不合法时，则返回失败结果，操作结束。
6.如权利要求3所述的一种基于大数据的数据访问权限控制的方法，其特征在于：所述步骤S22中，所述将ODS层的数据进行ETL处理，通过SQL的定时程序完成。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011611616.4A CN112699096A (zh) | 2020-12-30 | 2020-12-30 | 一种基于大数据的数据访问权限控制的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011611616.4A CN112699096A (zh) | 2020-12-30 | 2020-12-30 | 一种基于大数据的数据访问权限控制的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112699096A true CN112699096A (zh) | 2021-04-23 |
Family
ID=75512522
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011611616.4A Pending CN112699096A (zh) | 2020-12-30 | 2020-12-30 | 一种基于大数据的数据访问权限控制的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112699096A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113504950A (zh) * | 2021-07-07 | 2021-10-15 | 中国建设银行股份有限公司 | 一种基于Flume的实时数据加载方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101587566A (zh) * | 2008-05-22 | 2009-11-25 | 许新朋 | 基于SOA、Web2.0和BI的信息处理方法及系统 |
| CN108280084A (zh) * | 2017-01-06 | 2018-07-13 | 上海前隆信息科技有限公司 | 一种数据仓库的构建方法、系统及服务器 |
| CN111753034A (zh) * | 2020-05-20 | 2020-10-09 | 广东省国土资源测绘院 | 一种一站式地理大数据平台 |
| CN111882203A (zh) * | 2020-07-24 | 2020-11-03 | 山东管理学院 | 一种中医药云服务实验系统 |
| CN112069049A (zh) * | 2020-09-09 | 2020-12-11 | 阳光保险集团股份有限公司 | 数据监控管理方法、装置、服务器及可读存储介质 |
-
2020
- 2020-12-30 CN CN202011611616.4A patent/CN112699096A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101587566A (zh) * | 2008-05-22 | 2009-11-25 | 许新朋 | 基于SOA、Web2.0和BI的信息处理方法及系统 |
| CN108280084A (zh) * | 2017-01-06 | 2018-07-13 | 上海前隆信息科技有限公司 | 一种数据仓库的构建方法、系统及服务器 |
| CN111753034A (zh) * | 2020-05-20 | 2020-10-09 | 广东省国土资源测绘院 | 一种一站式地理大数据平台 |
| CN111882203A (zh) * | 2020-07-24 | 2020-11-03 | 山东管理学院 | 一种中医药云服务实验系统 |
| CN112069049A (zh) * | 2020-09-09 | 2020-12-11 | 阳光保险集团股份有限公司 | 数据监控管理方法、装置、服务器及可读存储介质 |
Non-Patent Citations (5)
| Title |
|---|
| KETTLE教程学习: "KETTLE多表关联的同步一张表的两种实现方式", 《CSDN博客》, 12 December 2019 (2019-12-12) * |
| MB5FDB0A6739180: "数仓项目03：数据采集层", 《51CTO博客》, 8 March 2017 (2017-03-08) * |
| QWER1030274531: "Web开发必须掌握的三个技术：Token、Cookie、Session", 《ITPUB博客》, 9 September 2020 (2020-09-09), pages 2 - 3 * |
| 刘何秀等: "《数据采集技术 初级》", 30 September 2020, 北京：机械工业出版社, pages: 9 - 10 * |
| 樊重俊等: "《大数据分析与应用》", 31 January 2016, 上海：立信会计出版社, pages: 85 - 87 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113504950A (zh) * | 2021-07-07 | 2021-10-15 | 中国建设银行股份有限公司 | 一种基于Flume的实时数据加载方法及系统 |
| CN113504950B (zh) * | 2021-07-07 | 2025-07-04 | 中国建设银行股份有限公司 | 一种基于Flume的实时数据加载方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103532754B (zh) | 一种通过高速内存、分布式处理海量日志的系统及方法 | |
| CN101944114B (zh) | 内存数据库和物理数据库间的数据同步方法 | |
| CN102902752B (zh) | 一种日志监控方法及系统 | |
| CN110175213A (zh) | 一种基于SCN方式的Oracle数据库同步系统及方法 | |
| CN105335479B (zh) | 一种基于sql的文本数据统计实现方法 | |
| CN102915336A (zh) | 一种基于时间戳和日志的增量数据捕获和抽取方法 | |
| CN106202346A (zh) | 一种数据加载清洗引擎、调度与存储系统 | |
| CN105975502A (zh) | 一种基于cdc方式实现增量抽取数据的方法 | |
| CN113901279A (zh) | 一种图数据库的检索方法和装置 | |
| CN101853287A (zh) | 数据压缩快速检索文件系统及其方法 | |
| CN104008199B (zh) | 一种数据查询方法 | |
| CN104699860A (zh) | 一种共享型主数据的数据加工存储方法 | |
| CN111563130A (zh) | 一种基于区块链技术的数据可信数据治理方法和系统 | |
| CN104850509A (zh) | 一种银行业务数据内存缓存的操作方法及系统 | |
| CN112965979B (zh) | 一种用户行为分析方法、装置及电子设备 | |
| CN106815326A (zh) | 一种检测无主键数据表一致性的系统及方法 | |
| CN110928906A (zh) | 基于flink仅一次写入carbonData的方法 | |
| CN102467525A (zh) | 单据关联方法及系统 | |
| CN107609151A (zh) | 基于Redis实现XBRL实例文档缓存的方法 | |
| CN112699096A (zh) | 一种基于大数据的数据访问权限控制的方法 | |
| CN102136004B (zh) | 工作流系统中业务的获取方法 | |
| CN105868365A (zh) | 一种基于Hadoop的传统网管数据处理方法 | |
| CN111695879A (zh) | 一种基于大数据oa系统 | |
| CN110196875B (zh) | 一种基于配置实现数据交互的方法 | |
| CN115686497A (zh) | 业务开发数据管理方法、开发引擎、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |