CN114254081B - 企业大数据搜索系统、方法及电子设备 - Google Patents
企业大数据搜索系统、方法及电子设备 Download PDFInfo
- Publication number
- CN114254081B CN114254081B CN202111583102.7A CN202111583102A CN114254081B CN 114254081 B CN114254081 B CN 114254081B CN 202111583102 A CN202111583102 A CN 202111583102A CN 114254081 B CN114254081 B CN 114254081B
- Authority
- CN
- China
- Prior art keywords
- data
- searched
- request
- preset
- theme
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000013475 authorization Methods 0.000 claims description 63
- 238000012545 processing Methods 0.000 claims description 53
- 238000001514 detection method Methods 0.000 claims description 27
- 239000008280 blood Substances 0.000 claims description 25
- 210000004369 blood Anatomy 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 8
- 230000002159 abnormal effect Effects 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 5
- 238000013075 data extraction Methods 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 description 14
- 238000004891 communication Methods 0.000 description 11
- 238000007726 management method Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000011161 development Methods 0.000 description 6
- 230000008878 coupling Effects 0.000 description 5
- 238000010168 coupling process Methods 0.000 description 5
- 238000005859 coupling reaction Methods 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 238000011960 computer-aided design Methods 0.000 description 4
- 238000012015 optical character recognition Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000009191 jumping Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000008569 process Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/338—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/34—Browsing; Visualisation therefor
- G06F16/345—Summarisation for human users
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及数据搜索技术领域，公开了一种企业大数据搜索系统、方法及电子设备，该系统通过获取业务数据并对业务数据配置主题标签得到主题数据，并根据主题数据确定指标数据，对包括业务数据、主题数据、指标数据的待搜索数据配置预设数据权限，并获取各待搜索数据之间的数据血缘关系，根据预设数据权限从各待搜索数据中确定授权数据，根据数据血缘关系从授权数据中确定与请求数据相关的关联结果，进而根据请求数据和关联结果生成搜索结果，由于通过对待搜索数据配置预设数据权限以提供直观的权限查询，通过获取各待搜索数据之间的数据血缘关系，进而通过预设数据权限和数据血缘关系得到搜索结果，提高了业务数据的搜索效率。
Description
技术领域
本发明涉及数据搜索技术领域，尤其涉及一种企业大数据搜索系统、方法及电子设备。
背景技术
在企业业务管理场景中，需要针对企业海量的业务数据进行搜索，以进行快速查阅，进而将企业业务数据进行多个维度、多个业务线进行分析。
目前，由于缺乏对业务数据的统一管理方法，业务划分不明确，使得业务数据比较零散，造成数据查询不便捷，权限查询不直观，进而导致企业业务数据的搜索效率较低，不便于根据企业业务数据提供决策分析以及指导企业发展。
发明内容
为了对披露的实施例的一些方面有基本的理解，下面给出了简单的概括。所述概括不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围，而是作为后面的详细说明的序言。
鉴于以上所述现有技术的缺点，本发明公开了一种企业大数据搜索系统、方法及电子设备，以提高炉缸侵蚀数据的可靠性。
本发明公开了一种企业大数据搜索系统，包括：数据处理模块，用于获取业务数据并对所述业务数据配置主题标签得到主题数据，以及分别根据至少一部分主题数据确定一个或多个指标数据，将所述业务数据、所述主题数据、所述指标数据中的至少一种作为待搜索数据；权限配置模块，用于对各所述待搜索数据配置预设数据权限；数据关系获取模块，用于获取各所述待搜索数据之间的数据血缘关系；搜索模块，用于响应于接收到的用户搜索请求，所述用户搜索请求包括请求数据权限和请求数据标识，根据所述请求数据权限和所述预设数据权限从各所述待搜索数据中确定授权数据，根据所述请求数据标识确定请求数据，若所述授权数据中包括所述请求数据，根据所述数据血缘关系从所述授权数据中确定与所述请求数据相关的关联结果，并根据所述请求数据和关联结果生成搜索结果。
可选地，所述待搜索数据包括多个待搜索子数据，所述企业大数据搜索系统还包括数据提取模块，所述数据提取模块用于：获取各所述待搜索子数据的数据格式；根据各所述数据格式将各所述待搜索子数据划分为多个格式小组，所述格式小组包括若干相同数据格式的分类子数据。
可选地，根据所述请求数据和关联结果生成搜索结果，包括：若所述授权数据与所述请求数据之间的关联结果为有关联，则将与所述请求数据相关的授权数据确定为相关数据；将所述请求数据、所述相关数据、所述请求数据对应的分类子数据、所述相关数据对应的分类子数据中的至少一种确定为搜索结果。
可选地，所述企业大数据搜索系统还包括展示模块，所述展示模块用于以下至少一种：生成所述待搜索数据对应的数据展示文件，并根据所述请求数据权限和所述预设数据权限从各所述待搜索数据中确定授权数据之后，从所述数据展示文件中确定所述授权数据对应的授权展示文件，并展示所述授权展示文件，其中，所述数据展示文件包括主题菜单名称、所述业务数据的数据路径、所述业务数据对应的主题小组名称、所述指标数据对应的指标名称、各所述待搜索数据之间的数据血缘关系中的至少一种；根据所述请求数据和关联结果生成搜索结果之后，展示搜索结果中的非结构化数据。
可选地，所述企业大数据搜索系统还包括敏感数据检测模块，所述敏感数据检测模块用于根据预设敏感词库确定所述待搜索数据中的敏感数据，并从所述待搜索数据中屏蔽所述敏感数据。
可选地，所述企业大数据搜索系统还包括纠错模块，所述纠错模块用于以下至少一种：生成各所述待搜索数据的数据来源信息，响应于接收到任一数据处理模块发送的任务失败信息，根据所述数据来源信息和所述处理错误信息生成错误数据追踪日志；响应于接收到任一数据处理模块发送的任务失败信息，生成并反馈数据处理指令，所述数据处理指令包括不再执行、按照预设次数重新执行；响应于接收到任一数据处理模块发送的任务失败信息，向预设客户端发送失败提醒信息；其中，数据处理模块包括数据处理模块、权限配置模块、数据关系获取模块、搜索模块中的至少一种。
可选地，所述数据处理模块还用于以下至少一种：根据预设采集时间频率获取新的源数据，并将所述源数据添加到所述业务数据中；根据预设主题更新时间频率重新获取最新业务数据，并根据所述最新业务数据更新各所述主题小组；根据预设指标更新时间频率根据各所述主题小组中的至少一部分业务数据重新确定各所述指标数据；根据预设统计时间频率获取历史数据，并根据所述待搜索数据和所述历史数据生成数据变化统计信息；根据预设历史数据更新时间频率将所述待搜索数据添加入所述历史数据。
可选地，所述数据处理模块还用于：将所述待搜索数据加载至缓冲层，得到缓冲层数据；对所述缓冲层数据进行数据质量检测，得到检测结果，其中，所述数据质量检测包括数据缺失检测、数据格式检测、数据值范围检测中的至少一种；根据所述检测结果从所述待搜索数据中确定异常数据，并从所述待搜索数据中删除所述异常数据。
本发明公开了一种企业大数据搜索方法，包括：获取业务数据并对所述业务数据配置主题标签得到主题数据；根据至少一部分主题数据确定一个或多个指标数据，将所述业务数据、所述主题数据、所述指标数据中的至少一种作为待搜索数据；对各所述待搜索数据配置预设数据权限，并获取各所述待搜索数据之间的数据血缘关系；响应于接收到的用户搜索请求，所述用户搜索请求包括请求数据权限和请求数据标识，根据所述请求数据权限和所述预设数据权限从各所述待搜索数据中确定授权数据，根据所述请求数据标识确定请求数据；若所述授权数据中包括所述请求数据，根据所述数据血缘关系从所述授权数据中确定与所述请求数据相关的关联结果，并根据所述请求数据和关联结果生成搜索结果。
本发明公开了一种电子设备，包括：处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述电子设备包上述的方法。
本发明的有益效果：通过获取业务数据并对所述业务数据配置主题标签得到主题数据，以及根据至少一部分主题数据确定一个或多个指标数据，将业务数据、主题数据、指标数据中的至少一种作为待搜索数据，对各待搜索数据配置预设数据权限并获取各待搜索数据之间的数据血缘关系，响应于接收到的用户搜索请求，根据请求数据权限和预设数据权限从各待搜索数据中确定授权数据，并根据请求数据标识确定请求数据，根据数据血缘关系从授权数据中确定与请求数据相关的关联结果，进而根据请求数据和关联结果生成搜索结果。这样，通过对包含业务数据、主题数据、指标数据的待搜索数据配置预设数据权限以提供直观的权限查询，通过获取各待搜索数据之间的数据血缘关系以便于数据查询，进而通过预设数据权限和数据血缘关系得到用户搜索请求对应的搜索结果，进而提高了业务数据的搜索效率。
附图说明
图1是本发明实施例中一个企业大数据搜索系统的结构示意图；
图2是本发明实施例中一个企业大数据搜索方法的流程示意图；
图3是本发明实施例中另一个企业大数据搜索方法的流程示意图；
图4是本发明实施例中一个电子设备的结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的子样本可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
在下文描述中，探讨了大量细节，以提供对本发明实施例的更透彻的解释，然而，对本领域技术人员来说，可以在没有这些具体细节的情况下实施本发明的实施例是显而易见的，在其他实施例中，以方框图的形式而不是以细节的形式来示出公知的结构和设备，以避免使本发明的实施例难以理解。
本公开实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开实施例的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。
除非另有说明，术语“多个”表示两个或两个以上。
本公开实施例中，字符“/”表示前后对象是一种“或”的关系。例如，A/B表示：A或B。
术语“和/或”是一种描述对象的关联关系，表示可以存在三种关系。例如，A和/或B，表示：A或B，或，A和B这三种关系。
结合图1所示，本公开实施例提供一种企业大数据搜索系统，包括数据处理模块101，权限配置模块102，数据关系获取模块103，搜索模块104。数据处理模块101用于获取业务数据并对业务数据配置主题标签得到主题数据，以及根据至少一部分主题数据确定一个或多个指标数据，将业务数据、主题数据、指标数据中的至少一种作为待搜索数据。权限配置模块102用于对各待搜索数据配置预设数据权限。数据关系获取模块103用于获取各待搜索数据之间的数据血缘关系。搜索模块104用于响应于接收到的用户搜索请求，用户搜索请求包括请求数据权限和请求数据标识，根据请求数据权限和预设数据权限从各待搜索数据中确定授权数据，根据请求数据标识确定请求数据，若授权数据中包括请求数据，根据数据血缘关系从授权数据中确定与请求数据相关的关联结果，并根据请求数据和关联结果生成搜索结果。
采用本公开实施例提供的企业大数据搜索系统，通过获取业务数据并对所述业务数据配置主题标签得到主题数据，以及根据至少一部分主题数据确定一个或多个指标数据，将业务数据、主题数据、指标数据中的至少一种作为待搜索数据，对各待搜索数据配置预设数据权限并获取各待搜索数据之间的数据血缘关系，响应于接收到的用户搜索请求，根据请求数据权限和预设数据权限从各待搜索数据中确定授权数据，并根据请求数据标识确定请求数据，根据数据血缘关系从授权数据中确定与请求数据相关的关联结果，进而根据请求数据和关联结果生成搜索结果。这样，通过对包含业务数据、主题数据、指标数据的待搜索数据配置预设数据权限以提供直观的权限查询，通过获取各待搜索数据之间的数据血缘关系以便于数据查询，进而通过预设数据权限和数据血缘关系得到用户搜索请求对应的搜索结果，使得业务数据之间的关系更加直观，进而提高了业务数据的搜索效率。
在一些实施例中，将本公开实施例应用于企业大数据BI(BusinessIntelligence，商业智能)系统中。
可选地，数据处理模块还包括收集企业系统需求；配置业务数据源、数据处理任务模板；将数据处理任务与任务模板进行关联，以搭建任务队列。
可选地，获取业务数据，包括：通过预设业务数据源获取业务数据，其中，预设接口包括关系型数据库、多维数据库、API(Application Programming Interface，应用程序接口)接口、FTP(File Transfer Protocol，文件传输协议)文件等中的一种或多种。
可选地，业务数据包括结构化数据、半结构化数据、非结构化数据，其中，结构化数据包括通过数据库获取到的数据库数据等，半结构化数据包括JSON(JavaScript ObjectNotation,JS对象简谱)数据等，非结构化数据包括Word格式数据、Excel格式数据、PDF(Portable Document Format，可携带文档格式)格式数据、PPT(PowerPoint，演示文稿)格式数据、CAD(Computer Aided Design，计算机辅助设计)格式数据、MSG(Message，Windows程序结构体)格式数据、XML(Extensible Markup Language，可扩展标记语言)格式数据、HTML(Hyper Text Markup Language，超文本标记语言)格式数据、网页格式数据、纯文本格式数据、图片格式数据、音频格式数据、视频格式数据、压缩文件格式数据等中的至少一种。
可选地，对业务数据配置主题标签得到主题数据，包括：将业务数据加载至贴源层，得到贴源层数据；获取贴源层数据的数据来源信息，并根据数据来源信息对贴源层数据配置主题标签，得到主题数据。
可选地，业务数据配置一个或多个主题标签，其中，若业务数据配置多个主题标签，则得到各主题标签对应的主题数据。
在一些实施例中，主题标签包括经营主题、财务主题、营销主题、采购主题、项目主题、人力主题、部门主题、公共基础数据等中的一种或多种。
在一些实施例中，主题标签和主题数据根据企业发展需要进行增加、删除、修改、调整和配置。
可选地，根据至少一部分主题数据确定一个或多个指标数据，包括：获取企业运营管理指标；根据企业运营管理指标建立若干指标模型，指标模型用于输入至少一部分主题数据并输出指标数据；根据各指标模型确定一个或多个指标数据。
可选地，根据企业运营管理指标建立若干指标模型，还包括：对指标模型进行重新组合，得到新的指标模型，并根据新的指标模型确定新的指标数据，以不断适应企业发展的管理要求。
在一些实施例中，企业运营管理指标包括企业战略发展方向、经营管理重点聚焦面、职能部门特别关注点等中的至少一种。
在一些实施例中，结合各主题数据之间的耦合性和关联性建立企业运营管理指标对应的若干指标模型。
可选地，对各待搜索数据配置预设数据权限，包括：获取包括若干授权用户信息的权限矩阵；根据权限矩阵匹配各待搜索数据，得到各待搜索数据唯一映射的预设数据权限。这样，由于有些企业的待搜索数据的数据量巨大，同时待搜索数据的权限管理复杂、权限调整频率较高，通过权限矩阵自动得到各待搜索数据唯一映射的预设数据权限，实现了对待搜索数据的权限的扁平化处理。
可选地，将待搜索数据、预设数据权限、数据血缘关系加载至预设云搜索引擎，以为预设云搜索引擎提供数据支撑。
可选地，待搜索数据包括多个待搜索子数据，企业大数据搜索系统还包括数据提取模块，数据提取模块用于：获取各待搜索子数据的数据格式；根据各数据格式将各待搜索子数据划分为多个格式小组，格式小组包括若干相同数据格式的分类子数据。这样，根据数据格式从待搜索数据中提取出各类数据格式的待搜索子数据，使得待搜索数据被细化，进而通过对包含业务数据、主题数据、指标数据的待搜索数据配置预设数据权限以提供直观的权限查询，通过获取各待搜索数据之间的数据血缘关系以便于数据查询，相较于通过零散的业务数据进行搜索，能够有效降低待搜索子数据之间的耦合性，使得数据之间的关系更加直观，提高了业务数据的搜索效率。
可选地，待搜索子数据对应一个或多个格式小组。
可选地，获取各待搜索子数据的数据格式，包括：通过文字识别引擎识别文字格式的待搜索子数据，其中，文字识别引擎包括指标扫描器、内容提取器、OCR(OpticalCharacter Recognition，光学字符识别)引擎等中的一种或多种；对图片识别引擎配置识别策略，并通过图片识别引擎识别图片格式的待搜索子数据，其中，图片识别引擎包括OCR引擎；对压缩文件识别引擎配置递归寻找策略，并通过压缩文件识别引擎识别压缩文件格式的待搜索子数据。这样，通过OCR引擎识别图片格式或文字格式的待搜素子数据，能够有效降低待搜索子数据之间的耦合性，防止单一的待搜索数据过大。
在一些实施例中，数据格式包括Word格式、Excel格式、PDF格式、PPT格式、CAD格式、MSG格式、XML格式、HTML格式、网页格式、纯文本格式、图片格式、音频格式、视频格式、压缩文件格式等。
可选地，根据请求数据和关联结果生成搜索结果，包括：若授权数据与请求数据之间的关联结果为有关联，则将与请求数据相关的授权数据确定为相关数据；将请求数据、相关数据、请求数据对应的分类子数据、相关数据对应的分类子数据中的至少一种确定为搜索结果。这样，根据数据格式从待搜索数据中提取出各类数据格式的分类子数据，使得待搜索数据被细化，进而通过对包含业务数据、主题数据、指标数据的待搜索数据配置预设数据权限以提供直观的权限查询，通过获取各待搜索数据之间的数据血缘关系以便于数据查询，通过预设数据权限和数据血缘关系得到用户搜索请求对应的搜索结果，使得搜索结果包含分类子数据，相较于通过零散的业务数据进行搜索，使得数据之间的关系更加直观，提高了业务数据的搜索效率。
可选地，根据请求数据和关联结果生成搜索结果，还包括：若授权数据与请求数据之间的关联结果没有关联，将请求数据、请求数据对应的分类子数据中的至少一种确定为搜索结果
可选地，企业大数据搜索系统还包括展示模块，展示模块用于以下至少一种：生成待搜索数据对应的数据展示文件，并根据请求数据权限和预设数据权限从各待搜索数据中确定授权数据之后，从数据展示文件中确定授权数据对应的授权展示文件，并展示授权展示文件，其中，数据展示文件包括主题菜单名称、业务数据的数据路径、业务数据对应的主题小组名称、指标数据对应的指标名称、各待搜索数据之间的数据血缘关系中的至少一种；根据请求数据和关联结果生成搜索结果之后，展示搜索结果中的非结构化数据。这样，根据用户的授权数据建立一条包含整条数据之间关系的授权展示文件，进而对授权展示文件进行展示，使得授权数据的展示更加直观，进而便于用户根据浏览到的授权数据提供决策分析以及指导企业发展。
在一些实施例中，数据展示文件还包括主题数据名称、主题展示文件路径、指标名称、指标下钻连接路径文件等中的至少一种。
可选地，企业大数据搜索系统还包括敏感数据检测模块，敏感数据检测模块用于根据预设敏感词库确定待搜索数据中的敏感数据，并从待搜索数据中屏蔽敏感数据。这样，能够屏蔽企业的待搜索数据中的敏感数据，防止数据泄密，提高了数据安全性。
在一些实施例中，预设敏感词库包括预设敏感词、预设屏蔽词、预设停用词等中的至少一种。
可选地，企业大数据搜索系统还包括纠错模块，纠错模块用于以下至少一种：生成各待搜索数据的数据来源信息，响应于接收到任一数据处理模块发送的任务失败信息，根据数据来源信息和处理错误信息生成错误数据追踪日志；响应于接收到任一数据处理模块发送的任务失败信息，生成并反馈数据处理指令，数据处理指令包括不再执行、按照预设次数重新执行；响应于接收到任一数据处理模块发送的任务失败信息，向预设客户端发送失败提醒信息；其中，数据处理模块包括数据处理模块、权限配置模块、数据关系获取模块、搜索模块中的至少一种。这样，通过生成的数据来源信息得到错误数据追踪日志，并发送失败提醒信息，能够对任务失败信息对应的数据进行溯源，进而便于用户进行错误排查，并且，根据任务失败信息自动反馈数据处理指令，提高人性化。
可选地，生成各待搜索数据的数据来源信息，包括：根据预设语义化定义规则匹配各待搜索数据，得到各待搜索数据的数据来源信息。
可选地，任务失败信息通过以下方式获取：若数据处理模块的任务处理脚本发生错误，则生成任务失败信息。
在一些实施例中，预设次数包括1-3次。
在一些实施例中，数据处理指令还包括单机串行、丢弃本次、覆盖上次等。
可选地，数据处理模块还用于以下至少一种：根据预设采集时间频率获取新的源数据，并将源数据添加到业务数据中；根据预设主题更新时间频率重新获取最新业务数据，并根据最新业务数据更新主题数据；根据预设指标更新时间频率根据至少一部分最新主题数据重新确定各指标数据；根据预设统计时间频率获取历史数据，并根据待搜索数据和历史数据生成数据变化统计信息；根据预设历史数据更新时间频率将待搜索数据添加入历史数据。这样，由于有些企业的数据量巨大，同时业务数据、主题数据、指标数据等数据的控制和搜索较为复杂，调整频率较高，定时更新业务数据、主题数据、指标数据，能够保证数据的时效性，同时，将待搜索数据添加入历史数据，并据待搜索数据和历史数据生成数据变化统计信息，便于用户查看数据变化统计信息，进而对整个数据变化趋势进行合理监管和预测，并根据数据变化统计信息提供决策分析以及指导企业发展。
在一些实施例中，预设采集时间频率、预设主题更新时间频率、预设指标更新时间频率、预设统计时间频率、预设历史数据更新时间频率分别为1-7天的任一时间段。
可选地，数据处理模块还用于：将待搜索数据加载至缓冲层，得到缓冲层数据；对缓冲层数据进行数据质量检测，得到检测结果，其中，数据质量检测包括数据缺失检测、数据格式检测、数据值范围检测中的至少一种；根据检测结果从待搜索数据中确定异常数据，并从待搜索数据中删除异常数据。这样，减少待搜索数据的异常数据，进而减少了待搜索数据，不仅降低待搜索数据的存储空间，同时提高了待搜索数据的搜索效率。
在一些实施例中，数据处理模块还用于对数据处理任务按照业务需要进行配置，其中，数据处理任务包括数据采集、数据加工、数据清洗、数据管理等，对数据处理任务进行增、删、改、查，同时，修改数据处理任务对应的执行策略、容错策略、异常策略等。
结合图2所示，本公开实施例提供一种企业大数据搜索方法，包括：
步骤S201，获取业务数据并对业务数据配置主题标签得到主题数据；
步骤S202，根据至少一部分主题数据确定一个或多个指标数据，将业务数据、主题数据、指标数据中的至少一种作为待搜索数据；
步骤S203，对各待搜索数据配置预设数据权限，并获取各待搜索数据之间的数据血缘关系；
步骤S204，响应于接收到的用户搜索请求，用户搜索请求包括请求数据权限和请求数据标识，根据请求数据权限和预设数据权限从各待搜索数据中确定授权数据，根据请求数据标识确定请求数据；
步骤S205，若授权数据中包括请求数据，根据数据血缘关系从授权数据中确定与请求数据相关的关联结果，并根据请求数据和关联结果生成搜索结果。
采用本公开实施例提供的企业大数据搜索方法，通过获取业务数据并对所述业务数据配置主题标签得到主题数据，以及根据至少一部分主题数据确定一个或多个指标数据，将业务数据、主题数据、指标数据中的至少一种作为待搜索数据，对各待搜索数据配置预设数据权限并获取各待搜索数据之间的数据血缘关系，响应于接收到的用户搜索请求，根据请求数据权限和预设数据权限从各待搜索数据中确定授权数据，并根据请求数据标识确定请求数据，根据数据血缘关系从授权数据中确定与请求数据相关的关联结果，进而根据请求数据和关联结果生成搜索结果。这样，通过对包含业务数据、主题数据、指标数据的待搜索数据配置预设数据权限以提供直观的权限查询，通过获取各待搜索数据之间的数据血缘关系以便于数据查询，进而通过预设数据权限和数据血缘关系得到用户搜索请求对应的搜索结果，使得业务数据之间的关系更加直观，进而提高了业务数据的搜索效率。
在一些实施例中，将该企业大数据搜索方法应用于企业大数据BI系统中。
结合图3所示，本公开实施例提供了一种企业大数据搜索方法，包括：
步骤S301，获取业务数据；
步骤S302，对所述业务数据配置主题标签得到主题数据；
步骤S303，根据至少一部分主题数据确定一个或多个指标数据；
步骤S304，将业务数据、主题数据、指标数据中的至少一种作为待搜索数据；
其中，待搜索数据包括多个待搜索子数据；
步骤S305，对各待搜索数据配置预设数据权限，获取各待搜索数据之间的数据血缘关系，从待搜索数据中屏蔽敏感数据，生成待搜索数据对应的数据展示文件，并根据各待搜索子数据的数据格式将各待搜索子数据划分为多个格式小组；
其中，格式小组包括若干相同数据格式的分类子数据，数据展示文件包括主题菜单名称、业务数据的数据路径、业务数据对应的主题小组名称、指标数据对应的指标名称、各待搜索数据之间的数据血缘关系中的至少一种；
步骤S306，响应于接收到的用户搜索请求，根据请求数据权限和预设数据权限从各待搜索数据中确定授权数据，并根据请求数据标识确定请求数据；
其中，用户搜索请求包括请求数据权限和请求数据标识；
步骤S307，从数据展示文件中确定授权数据对应的授权展示文件，并展示授权展示文件；
步骤S308，若授权数据中包括请求数据，根据数据血缘关系从授权数据中确定与请求数据相关的关联结果；
步骤S309，判断授权数据与请求数据之间的关联结果是否为有关联；若是，跳转步骤S310；若否，跳转步骤S311；
步骤S310，将与请求数据相关的授权数据确定为相关数据，并将请求数据、相关数据、请求数据对应的分类子数据、相关数据对应的分类子数据中的至少一种确定为搜索结果，跳转步骤S312；
步骤S311，将请求数据、请求数据对应的分类子数据中的至少一种确定为搜索结果，跳转步骤S312；
步骤S312，展示搜索结果中的结构化数据和非结构化数据。
采用本公开实施例提供的企业大数据搜索方法，通过获取业务数据并对所述业务数据配置主题标签得到主题数据，以及根据至少一部分主题数据确定一个或多个指标数据，将业务数据、主题数据、指标数据中的至少一种作为待搜索数据，对各待搜索数据配置预设数据权限并获取各待搜索数据之间的数据血缘关系，响应于接收到的用户搜索请求，根据请求数据权限和预设数据权限从各待搜索数据中确定授权数据，并根据请求数据标识确定请求数据，根据数据血缘关系从授权数据中确定与请求数据相关的关联结果，进而根据请求数据和关联结果生成搜索结果。这样，通过对包含业务数据、主题数据、指标数据的待搜索数据配置预设数据权限以提供直观的权限查询，通过获取各待搜索数据之间的数据血缘关系以便于数据查询，进而通过预设数据权限和数据血缘关系得到用户搜索请求对应的搜索结果，使得业务数据之间的关系更加直观，进而提高了业务数据的搜索效率。
结合图4所示，本实施例公开了一种电子设备，包括：处理器(processor)400及存储器(memory)401；存储器用于存储计算机程序，处理器用于执行存储器存储的计算机程序，以使终端执行本实施例中任一项方法。可选地，该电子设备还可以包括通信接口(Communication Interface)402和总线403。其中，处理器400、通信接口402、存储器401可以通过总线403完成相互间的通信。通信接口402可以用于信息传输。处理器400可以调用存储器401中的逻辑指令，以执行上述实施例中的方法。
此外，上述的存储器401中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
存储器401作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令/模块。处理器400通过运行存储在存储器401中的程序指令/模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。
存储器401可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器401可以包括高速随机存取存储器，还可以包括非易失性存储器。
利用本公开实施例提供的电子设备，通过获取业务数据并对所述业务数据配置主题标签得到主题数据，以及根据至少一部分主题数据确定一个或多个指标数据，将业务数据、主题数据、指标数据中的至少一种作为待搜索数据，对各待搜索数据配置预设数据权限并获取各待搜索数据之间的数据血缘关系，响应于接收到的用户搜索请求，根据请求数据权限和预设数据权限从各待搜索数据中确定授权数据，并根据请求数据标识确定请求数据，根据数据血缘关系从授权数据中确定与请求数据相关的关联结果，进而根据请求数据和关联结果生成搜索结果。这样，通过对包含业务数据、主题数据、指标数据的待搜索数据配置预设数据权限以提供直观的权限查询，通过获取各待搜索数据之间的数据血缘关系以便于数据查询，进而通过预设数据权限和数据血缘关系得到用户搜索请求对应的搜索结果，使得业务数据之间的关系更加直观，进而提高了业务数据的搜索效率。
本实施例公开的电子设备，包括处理器、存储器、收发器和通信接口，存储器和通信接口与处理器和收发器连接并完成相互间的通信，存储器用于存储计算机程序，通信接口用于进行通信，处理器和收发器用于运行计算机程序，使电子设备执行如上方法的各个步骤。
在本实施例中，存储器可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
以上描述和附图充分地示出了本公开的实施例，以使本领域的技术人员能够实践它们。其他实施例可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施例的部分和子样本可以被包括在或替换其他实施例的部分和子样本。而且，本申请中使用的用词仅用于描述实施例并且不用于限制权利要求。如在实施例以及权利要求的描述中使用的，除非上下文清楚地表明，否则单数形式的“一个”(a)、“一个”(an)和“所述”(the)旨在同样包括复数形式。类似地，如在本申请中所使用的术语“和/或”是指包含一个或一个以上相关联的列出的任何以及所有可能的组合。另外，当用于本申请中时，术语“包括”(comprise)及其变型“包括”(comprises)和/或包括(comprising)等指陈述的子样本、整体、步骤、操作、元素，和/或组件的存在，但不排除一个或一个以上其它子样本、整体、步骤、操作、元素、组件和/或这些的分组的存在或添加。在没有更多限制的情况下，由语句“包括一个…”限定的要素，并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。本文中，每个实施例重点说明的可以是与其他实施例的不同之处，各个实施例之间相同相似部分可以互相参见。对于实施例公开的方法、产品等而言，如果其与实施例公开的方法部分相对应，那么相关之处可以参见方法部分的描述。
本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，可以取决于技术方案的特定应用和设计约束条件。所述技术人员可以对每个特定的应用来使用不同方法以实现所描述的功能，但是这种实现不应认为超出本公开实施例的范围。所述技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本文所披露的实施例中，所揭露的方法、产品(包括但不限于装置、设备等)，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，可以仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些子样本可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例。另外，在本公开实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
附图中的流程图和框图显示了根据本公开实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。在附图中的流程图和框图所对应的描述中，不同的方框所对应的操作或步骤也可以以不同于描述中所披露的顺序发生，有时不同的操作或步骤之间不存在特定的顺序。例如，两个连续的操作或步骤实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
Claims (10)
1.一种企业大数据搜索系统，其特征在于，包括：
数据处理模块，用于获取业务数据，对所述业务数据配置主题标签得到主题数据，以及根据至少一部分主题数据确定一个或多个指标数据，将所述业务数据、所述主题数据、所述指标数据中的至少一种作为待搜索数据；
权限配置模块，用于对各所述待搜索数据配置预设数据权限；
数据关系获取模块，用于获取各所述待搜索数据之间的数据血缘关系；
搜索模块，用于响应于接收到的用户搜索请求，所述用户搜索请求包括请求数据权限和请求数据标识，根据所述请求数据权限和所述预设数据权限从各所述待搜索数据中确定授权数据，根据所述请求数据标识确定请求数据，若所述授权数据中包括所述请求数据，根据所述数据血缘关系从所述授权数据中确定与所述请求数据相关的关联结果，并根据所述请求数据和关联结果生成搜索结果。
2.根据权利要求1所述的系统，其特征在于，所述待搜索数据包括多个待搜索子数据，所述企业大数据搜索系统还包括数据提取模块，所述数据提取模块用于：
获取各所述待搜索子数据的数据格式；
根据各所述数据格式将各所述待搜索子数据划分为多个格式小组，所述格式小组包括若干相同数据格式的分类子数据。
3.根据权利要求2所述的系统，其特征在于，根据所述请求数据和关联结果生成搜索结果，包括：
若所述授权数据与所述请求数据之间的关联结果为有关联，则将与所述请求数据相关的授权数据确定为相关数据；
将所述请求数据、所述相关数据、所述请求数据对应的分类子数据、所述相关数据对应的分类子数据中的至少一种确定为搜索结果。
4.根据权利要求2所述的系统，其特征在于，所述企业大数据搜索系统还包括展示模块，所述展示模块用于以下至少一种：
生成所述待搜索数据对应的数据展示文件，并根据所述请求数据权限和所述预设数据权限从各所述待搜索数据中确定授权数据之后，从所述数据展示文件中确定所述授权数据对应的授权展示文件，并展示所述授权展示文件，其中，所述数据展示文件包括主题菜单名称、所述业务数据的数据路径、所述业务数据对应的主题小组名称、所述指标数据对应的指标名称、各所述待搜索数据之间的数据血缘关系中的至少一种；
根据所述请求数据和关联结果生成搜索结果之后，展示搜索结果中的非结构化数据。
5.根据权利要求1至4任一项所述的系统，其特征在于，所述企业大数据搜索系统还包括敏感数据检测模块，所述敏感数据检测模块用于根据预设敏感词库确定所述待搜索数据中的敏感数据，并从所述待搜索数据中屏蔽所述敏感数据。
6.根据权利要求1至4任一项所述的系统，其特征在于，所述企业大数据搜索系统还包括纠错模块，所述纠错模块用于以下至少一种：
生成各所述待搜索数据的数据来源信息，响应于接收到任一数据处理模块发送的任务失败信息，根据所述数据来源信息和处理错误信息生成错误数据追踪日志；
响应于接收到任一数据处理模块发送的任务失败信息，生成并反馈数据处理指令，所述数据处理指令包括不再执行、按照预设次数重新执行；
响应于接收到任一数据处理模块发送的任务失败信息，向预设客户端发送失败提醒信息；
其中，数据处理模块包括数据处理模块、权限配置模块、数据关系获取模块、搜索模块中的至少一种。
7.根据权利要求1至4任一项所述的系统，其特征在于，所述数据处理模块还用于以下至少一种：
根据预设采集时间频率获取新的源数据，并将所述源数据添加到所述业务数据中；
根据预设主题更新时间频率重新获取最新业务数据，并根据所述最新业务数据更新主题数据；
根据预设指标更新时间频率根据最新主题数据重新确定各所述指标数据；
根据预设统计时间频率获取历史数据，并根据所述待搜索数据和所述历史数据生成数据变化统计信息；
根据预设历史数据更新时间频率将所述待搜索数据添加入所述历史数据。
8.根据权利要求1至4任一项所述的系统，其特征在于，所述数据处理模块还用于：
将所述待搜索数据加载至缓冲层，得到缓冲层数据；
对所述缓冲层数据进行数据质量检测，得到检测结果，其中，所述数据质量检测包括数据缺失检测、数据格式检测、数据值范围检测中的至少一种；
根据所述检测结果从所述待搜索数据中确定异常数据，并从所述待搜索数据中删除所述异常数据。
9.一种企业大数据搜索方法，其特征在于，包括：
获取业务数据，对所述业务数据配置主题标签得到主题数据；
根据至少一部分主题数据确定一个或多个指标数据，将所述业务数据、所述主题数据、所述指标数据中的至少一种作为待搜索数据；
对各所述待搜索数据配置预设数据权限，并获取各所述待搜索数据之间的数据血缘关系；
响应于接收到的用户搜索请求，所述用户搜索请求包括请求数据权限和请求数据标识，根据所述请求数据权限和所述预设数据权限从各所述待搜索数据中确定授权数据，根据所述请求数据标识确定请求数据；
若所述授权数据中包括所述请求数据，根据所述数据血缘关系从所述授权数据中确定与所述请求数据相关的关联结果，并根据所述请求数据和关联结果生成搜索结果。
10.一种电子设备，其特征在于，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述电子设备包括如权利要求9所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111583102.7A CN114254081B (zh) | 2021-12-22 | 2021-12-22 | 企业大数据搜索系统、方法及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111583102.7A CN114254081B (zh) | 2021-12-22 | 2021-12-22 | 企业大数据搜索系统、方法及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114254081A CN114254081A (zh) | 2022-03-29 |
| CN114254081B true CN114254081B (zh) | 2024-06-04 |
Family
ID=80794371
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111583102.7A Active CN114254081B (zh) | 2021-12-22 | 2021-12-22 | 企业大数据搜索系统、方法及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114254081B (zh) |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109241358A (zh) * | 2018-08-14 | 2019-01-18 | 中国平安财产保险股份有限公司 | 元数据管理方法、装置、计算机设备及存储介质 |
| CN109408689A (zh) * | 2018-10-24 | 2019-03-01 | 北京金山云网络技术有限公司 | 数据获取方法、装置、系统及电子设备 |
| CN109739893A (zh) * | 2018-12-28 | 2019-05-10 | 上海连尚网络科技有限公司 | 一种元数据管理方法、设备及计算机可读介质 |
| CN110232056A (zh) * | 2019-05-21 | 2019-09-13 | 苏宁云计算有限公司 | 一种结构化查询语言的血缘解析方法及其工具 |
| CN110795509A (zh) * | 2019-09-29 | 2020-02-14 | 北京淇瑀信息科技有限公司 | 一种数据仓库的指标血缘关系图的构建方法、装置和电子设备 |
| CN111078729A (zh) * | 2019-12-19 | 2020-04-28 | 医渡云（北京）技术有限公司 | 医疗数据溯源方法、装置、系统、存储介质以及电子设备 |
| CN111522922A (zh) * | 2020-03-26 | 2020-08-11 | 浙江口碑网络技术有限公司 | 日志信息查询方法、装置、存储介质及计算机设备 |
| CN112115315A (zh) * | 2020-09-25 | 2020-12-22 | 平安国际智慧城市科技股份有限公司 | 血缘数据查询方法、装置、计算机设备及存储介质 |
| CN112699175A (zh) * | 2021-01-15 | 2021-04-23 | 广州汇智通信技术有限公司 | 一种数据治理系统及其方法 |
| CN113076305A (zh) * | 2021-04-20 | 2021-07-06 | 广东电网有限责任公司 | 一种数据处理方法、装置、电子设备及存储介质 |
| CN113297139A (zh) * | 2021-04-28 | 2021-08-24 | 上海淇玥信息技术有限公司 | 元数据查询方法、系统及电子设备 |
| CN113343072A (zh) * | 2021-05-07 | 2021-09-03 | 深圳市酷开网络科技股份有限公司 | 标签查询方法、装置、设备及存储介质 |
| WO2021174945A1 (zh) * | 2020-10-21 | 2021-09-10 | 平安科技（深圳）有限公司 | 数据成本计算方法、系统、计算机设备和存储介质 |
| CN113495978A (zh) * | 2020-03-18 | 2021-10-12 | 中电长城网际系统应用有限公司 | 一种数据检索方法及装置 |
| CN113535677A (zh) * | 2021-06-29 | 2021-10-22 | 平安国际融资租赁有限公司 | 数据分析查询管理方法、装置、计算机设备及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6681222B2 (en) * | 2001-07-16 | 2004-01-20 | Quip Incorporated | Unified database and text retrieval system |
-
2021
- 2021-12-22 CN CN202111583102.7A patent/CN114254081B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109241358A (zh) * | 2018-08-14 | 2019-01-18 | 中国平安财产保险股份有限公司 | 元数据管理方法、装置、计算机设备及存储介质 |
| CN109408689A (zh) * | 2018-10-24 | 2019-03-01 | 北京金山云网络技术有限公司 | 数据获取方法、装置、系统及电子设备 |
| CN109739893A (zh) * | 2018-12-28 | 2019-05-10 | 上海连尚网络科技有限公司 | 一种元数据管理方法、设备及计算机可读介质 |
| CN110232056A (zh) * | 2019-05-21 | 2019-09-13 | 苏宁云计算有限公司 | 一种结构化查询语言的血缘解析方法及其工具 |
| CN110795509A (zh) * | 2019-09-29 | 2020-02-14 | 北京淇瑀信息科技有限公司 | 一种数据仓库的指标血缘关系图的构建方法、装置和电子设备 |
| CN111078729A (zh) * | 2019-12-19 | 2020-04-28 | 医渡云（北京）技术有限公司 | 医疗数据溯源方法、装置、系统、存储介质以及电子设备 |
| CN113495978A (zh) * | 2020-03-18 | 2021-10-12 | 中电长城网际系统应用有限公司 | 一种数据检索方法及装置 |
| CN111522922A (zh) * | 2020-03-26 | 2020-08-11 | 浙江口碑网络技术有限公司 | 日志信息查询方法、装置、存储介质及计算机设备 |
| CN112115315A (zh) * | 2020-09-25 | 2020-12-22 | 平安国际智慧城市科技股份有限公司 | 血缘数据查询方法、装置、计算机设备及存储介质 |
| WO2021174945A1 (zh) * | 2020-10-21 | 2021-09-10 | 平安科技（深圳）有限公司 | 数据成本计算方法、系统、计算机设备和存储介质 |
| CN112699175A (zh) * | 2021-01-15 | 2021-04-23 | 广州汇智通信技术有限公司 | 一种数据治理系统及其方法 |
| CN113076305A (zh) * | 2021-04-20 | 2021-07-06 | 广东电网有限责任公司 | 一种数据处理方法、装置、电子设备及存储介质 |
| CN113297139A (zh) * | 2021-04-28 | 2021-08-24 | 上海淇玥信息技术有限公司 | 元数据查询方法、系统及电子设备 |
| CN113343072A (zh) * | 2021-05-07 | 2021-09-03 | 深圳市酷开网络科技股份有限公司 | 标签查询方法、装置、设备及存储介质 |
| CN113535677A (zh) * | 2021-06-29 | 2021-10-22 | 平安国际融资租赁有限公司 | 数据分析查询管理方法、装置、计算机设备及存储介质 |
Non-Patent Citations (4)
| Title |
|---|
| BRIAN P.EDDY ETAL..TOWARD AN UNDERSTANDING OF THE RELATIONSHIP BETWEEN IDENTIFIER AND COMMENT LEXICONS.ACM-SE'11:PROCEEDINGS OF THE 49TH ANNUAL SOUTHEAST REGIONAL CONFERENCE.2011,342-343. * |
| 基于图数据库的在线族谱编录系统;姜洋;彭智勇;彭煜玮;;计算机应用;20150110(第01期);131-136 * |
| 探析公共安全视图智能分析系统的数据血缘;叶隽毅;左志兆;陈龙云;;中国安防;20200601(第06期);110-113 * |
| 面向数据字段的血缘关系分析;李旭风;罗强;;中国金融电脑;20160707(第07期);11-18 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114254081A (zh) | 2022-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110807067B (zh) | 关系型数据库和数据仓库的数据同步方法、装置及设备 | |
| CN107506451B (zh) | 用于数据交互的异常信息监控方法及装置 | |
| Schintler et al. | Encyclopedia of big data | |
| CA2919878C (en) | Refining search query results | |
| CN111913860B (zh) | 一种操作行为分析方法及装置 | |
| CN111709527A (zh) | 运维知识图谱库的建立方法、装置、设备及存储介质 | |
| CN113760891B (zh) | 一种数据表的生成方法、装置、设备和存储介质 | |
| US20190073406A1 (en) | Processing of computer log messages for visualization and retrieval | |
| US9928288B2 (en) | Automatic modeling of column and pivot table layout tabular data | |
| US20150032743A1 (en) | Analyzing files using big data tools | |
| CN111831750A (zh) | 一种区块链数据分析方法、装置、计算机设备及存储介质 | |
| Alghushairy et al. | Data storage | |
| Ahsaan et al. | Big data analytics: challenges and technologies | |
| CN117407414A (zh) | 结构化查询语句的处理方法、装置、设备、介质 | |
| Huang | Data processing | |
| US9984108B2 (en) | Database joins using uncertain criteria | |
| US20200110815A1 (en) | Multi contextual clustering | |
| CN114254081B (zh) | 企业大数据搜索系统、方法及电子设备 | |
| CN111400369A (zh) | 一种基于大数据分析的政策信息服务系统及方法 | |
| US20230319062A1 (en) | System and method for predicting investigation queries based on prior investigations | |
| CN116860311A (zh) | 脚本分析方法、装置、计算机设备及存储介质 | |
| KR102349495B1 (ko) | 가상 서버들로부터 대용량 로그 파일들을 프로세싱하는 컴퓨터 시스템 및 방법. | |
| CN115827122A (zh) | 操作引导方法、装置、电子设备及存储介质 | |
| CN114742051A (zh) | 日志处理方法、装置、计算机系统及可读存储介质 | |
| Wen | Data sharing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 401329 No. 5-6, building 2, No. 66, Nongke Avenue, Baishiyi Town, Jiulongpo District, Chongqing Applicant after: MCC CCID information technology (Chongqing) Co.,Ltd. Address before: 401329 No. 5-6, building 2, No. 66, Nongke Avenue, Baishiyi Town, Jiulongpo District, Chongqing Applicant before: CISDI CHONGQING INFORMATION TECHNOLOGY Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |