[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN115168361A - 一种标签管理方法和装置 - Google Patents

一种标签管理方法和装置 Download PDF

Info

Publication number
CN115168361A
CN115168361A CN202210847895.7A CN202210847895A CN115168361A CN 115168361 A CN115168361 A CN 115168361A CN 202210847895 A CN202210847895 A CN 202210847895A CN 115168361 A CN115168361 A CN 115168361A
Authority
CN
China
Prior art keywords
label
tag
static
dynamic
sql
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210847895.7A
Other languages
English (en)
Inventor
陈华松
邹鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Electronic System Technology Co ltd
CLP Cloud Digital Intelligence Technology Co Ltd
Original Assignee
China Electronic System Technology Co ltd
CLP Cloud Digital Intelligence Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Electronic System Technology Co ltd, CLP Cloud Digital Intelligence Technology Co Ltd filed Critical China Electronic System Technology Co ltd
Priority to CN202210847895.7A priority Critical patent/CN115168361A/zh
Publication of CN115168361A publication Critical patent/CN115168361A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/221—Column-oriented storage; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2308—Concurrency control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2433—Query languages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/547—Remote procedure calls [RPC]; Web services

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及标签管理技术领域，提供一种标签管理方法和装置，本发明的标签管理方法，包括：创建主体对象，后端对应地在ClickHouse仓库创建标签存储表；获取外部数据源，通过FLinkX将需要打标的数据库表结构以及数据映射到CLickHouse中，并与主体对象关联；在主体对象下创建静态标签；在主体对象下通过SQL或者拖拽模式创建动态标签；将主体对象下的动态标签和静态标签发布成API接口。根据本发明示例性实施例的标签管理方法及装置，可以加快标签数据生产速度；加快标签数据的就绪速度；减小查询请求平均响应时长；支持标签数据准实时更新；标签表达式和查询SQL对用户来说比较友好，提升系统的易维护性；打标和查询都在ClickHouse内处理，可以节约一半硬件资源。

Description

一种标签管理方法和装置
技术领域
本发明涉及标签管理技术领域，尤其涉及一种标签管理方法和装置。
背景技术
标签是对平台业务数据的一种语义化表达，其既可以是对象的基础属性，也可以表示由原始数据进行计算、分析后得到的描述对象的某一特征属性。标签广泛运用于用户画像、产品画像等应用场景。
现有标签管理平台通过可视化的方式在界面上定义标签的计算过程，并通过大数据spark、hive、hbase等技术实现在pb级别数据中计算出复合业务需求的标签数据，进一步为用户分群、用户标签提供数据基础。标签管理平台是标签全生命周期管理平台，总体架构分为标签管理层、标签库、标签服务层三层。标签的生命周期分为创建、存储和查询。标签管理层以标签引擎为支撑，面向需求分析师提供拖拽、圈选、轻量级脚本等可视化标签规则定义模式，标签引擎自动解析标签规则，自动打标并落表，同时提供完备的标签管理及计量统计功能，实现标签的全生命周期管理。标签库是标签的载体，实现价值数据的沉淀，同时为标签对外服务提供资源支撑。标签服务层包含标签API服务、动态打标服务等一系列面向终端应用的服务，实现价值数据的快速服务化。
目前，领域内主要基于数据同步引擎(DataX)+大数据存储(Hive)+搜索引擎(ElasticSearch)，实现标签创建过程的数据同步和数据存储、标签搜索，在实际应用中，标签创建过程步骤多、耗时长，并且存在以下缺陷：
1、数据同步效率低，创建标签依赖Datax平台将原始数据同步到标签存储引擎库，在大数据量场景下，同步速度较慢；标签创建成功后，需要再次借助DataX平台将数据同步至ElasticSearch，增加了系统的复杂性，降低了标签数据的使用效率。主体下标签数决定静态标签表的列数，当静态标签表列数过多，数据同步成为瓶颈。
2、数据实时性差，标签创建之前，需要根据创建规则预览部分标签数据，标签数据通过创建API服务的方式提供给外部平台使用，这要求查询响应时间不能太慢。标签存储到hive库，以用户标签为例，存储表结构为：创建一张userid为主键的画像表，表的其他字段为画像的特征字段，将圈选的人群与画像表进行in操作，然后group by操作，当增加或者删除特征字段时，画像表的表结构需要修改；当圈选的人群数量比较大时，涉及到大记录集的group by运算，hive语句执行性能差、执行延迟较高，不能快速获取查询结果，不适应实时场景。另一方面，生成的标签检索是通过将标签存储在ElasticSearch的大宽表中的，大宽表的结构是：在向大宽表插入数据时，需要等待业务的数据都准备好后才能跑关联表操作，然后将关联的结果插入到ElasticSearch。经常遇到某个业务方的任务延迟，导致插入ElasticSearch的关联任务无法执行，运营人员无法及时使用最新的画像数据。
3、数据冗余，数据规则为每个对象对应的每个标签的值占用一行存储空间，导致标签名称、标签值等数据项的大量冗余，标签打标会在静态标签表和动态标签表存储多条冗余数据。
4、标签语义单调，只能基于原始静态数据创建标签，不具备基于已有标签的聚合操作创建新标签的功能，单个标签所能描述的特征范围较小。打标过程完全依赖库表sql语句，一个主体对象只能选择一个数据源下的同一个数据库，不能用于不同源的不同库表关联查询打标。
因此，如何构建各种维度和语义的标签，并实现可以实时快速查询的标签管理平台是亟需解决的问题。
因此，如何提供一种高效、适用面更广的标签管理方法，成为亟待解决的技术问题。
发明内容
有鉴于此，本发明主要解决的是。
一方面，本发明提供一种标签管理方法，包括：
步骤S1：创建主体对象，后端对应地在ClickHouse仓库创建标签存储表；
步骤S2：获取外部数据源，通过FLinkX将需要打标的数据库表结构以及数据映射到CLickHouse中，并与主体对象关联；
步骤S3：在主体对象下创建静态标签；
步骤S4：在主体对象下通过SQL或者拖拽模式创建动态标签；
步骤S5：将主体对象下的动态标签和静态标签发布成API接口。进一步地，本发明标签管理方法的步骤S1中，标签存储表包括静态标签存储表和动态标签存储表，其中，静态标签存储表用于存储对象基本属性对应的数据，动态标签存储表用于存储经静态标签计算、聚合得到的能描述一批对象的标签。
进一步地，本发明标签管理方法的步骤S2，包括：
步骤S21：获取并保存外部数据源，从外部数据源中选择一张数据表作为标签数据源表；
步骤S22：获取标签数据源表中的字段信息并映射为ClickHouse字段类型；
步骤S23：根据字段组装建表语句，建立目标表并执行目标表中的建表语句；
步骤S24：将标签数据源表和目标表组装为FlinkX任务执行参数并提交至ClickHouse进行数据同步。
进一步地，本发明标签管理方法的步骤S3，包括：
步骤S31：选择已添加数据源表的一列或者多列作为标签数据来源；
步骤S32：静态标签存储表新增静态标签列；
步骤S33：组装打标SQL语句；
步骤S34：复制静态标签存储表的结构，创建新表；
步骤S35：执行打标SQL语句，将标签数据写入新表，删除被复制的静态标签存储表；
步骤S36：将新表表名称修改为被复制的静态标签存储表的名称。
进一步地，本发明标签管理方法的步骤S4，包括：结合SQL运算符对静态标签进行集合运算，创建动态标签。
进一步地，本发明标签管理方法的步骤S4，包括：
步骤S41：建立动态标签创建规则；
步骤S42：前端组装为一个json格式的表达式，后端将json转换为对象并校验表达式是否符合动态标签创建规则；
步骤S43：结合SQL运算符对静态标签进行集合运算，创建动态标签；解析表达式，构建动态标签的打标SQL并执行动态标签的打标SQL；
步骤S44：检查动态标签的打标SQL的执行状态，为动态标签生产值域分布情况。
进一步地，本发明标签管理方法的步骤S4，还包括：通过拖拽动态标签和静态标签并结合判断条件和过滤条件，创建新的动态标签。
进一步地，本发明标签管理方法的步骤S5，包括：根据主体对象下的动态标签或者静态标签作为入参或出参，拖拉生成API接口供第三方调用。
进一步地，本发明标签管理方法的步骤S5，还包括：通过拖拽主体对象到SQL编辑页，自动带出主体对象对应的静态标签存储表和动态标签存储表以及字段，编写SQL生成API接口，供第三方平台调用。
另一方面，本发明提供一种标签管理装置，包括：
标签存储表创建模块，用于创建主体对象，后端对应地在ClickHouse仓库创建标签存储表，其中，静态标签存储表用于存储对象基本属性对应的数据，动态标签存储表用于存储经静态标签计算、聚合得到的能描述一批对象的标签；
数据同步模块，用于获取并保存外部数据源，从外部数据源中选择一张数据表作为标签数据源表；获取标签数据源表中的字段信息并映射为ClickHouse字段类型；根据字段组装建表语句，建立目标表并执行目标表中的建表语句；将标签数据源表和目标表组装为FlinkX任务执行参数并提交至ClickHouse进行数据同步；
静态标签创建模块，用于选择已添加数据源表的一列或者多列作为标签数据来源；静态标签存储表新增静态标签列；组装打标SQL语句；复制静态标签存储表的结构，创建新表；执行打标SQL语句，将标签数据写入新表，删除被复制的静态标签存储表；将新表表名称修改为被复制的静态标签存储表的名称；
动态标签创建模块，用于建立动态标签创建规则；前端组装为一个json格式的表达式，后端将json转换为对象并校验表达式是否符合动态标签创建规则；结合SQL运算符对静态标签进行集合运算，创建动态标签；解析表达式，构建动态标签的打标SQL并执行动态标签的打标SQL；检查动态标签的打标SQL的执行状态，为动态标签生产值域分布情况；还用于通过拖拽动态标签和静态标签并结合判断条件和过滤条件，创建新的动态标签；
标签发布模块，用于根据主体对象下的动态标签或者静态标签作为入参或出参，拖拉生成API接口供第三方调用；还用于通过拖拽主体对象到SQL编辑页，自动带出主体对象对应的静态标签存储表和动态标签存储表以及字段，编写SQL生成API接口，供第三方平台调用。
本发明标签管理方法及装置，具有以下有益效果：
1)通过并行构建标签数据，加快标签数据生产速度；
2)通过将HDFS文件并发导入ClickHouse，加快标签数据的就绪速度；
3)减小查询请求平均响应时长；
4)支持标签数据准实时更新；
5)标签表达式和查询SQL对用户来说比较友好，提升系统的易维护性；
6)打标和查询都在ClickHouse内处理，可以节约一半硬件资源。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明示例性第一实施例标签管理方法的流程图。
图2为本发明示例性第二实施例标签管理方法的流程图。
图3为本发明示例性第三实施例标签管理方法的流程图。
图4为本发明示例性第四实施例标签管理方法的流程图。
图5为本发明示例性第八实施例标签管理装置的架构图。
具体实施方式
下面结合附图对本发明实施例进行详细描述。
需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合；并且，基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
图1为根据本发明示例性第一实施例的一种标签管理方法的流程图，如图1所示，本实施例方法，包括：
步骤S1：创建主体对象，后端对应地在ClickHouse仓库创建标签存储表；
步骤S2：获取外部数据源，通过FLinkX将需要打标的数据库表结构以及数据映射到CLickHouse中，并与主体对象关联；
步骤S3：在主体对象下创建静态标签；
步骤S4：在主体对象下通过SQL或者拖拽模式创建动态标签；
步骤S5：将主体对象下的动态标签和静态标签发布成API接口。
本实施例方法的步骤S1中，标签存储表包括静态标签存储表和动态标签存储表，其中，静态标签存储表用于存储对象基本属性对应的数据，动态标签存储表用于存储经静态标签计算、聚合得到的能描述一批对象的标签。
图2为根据本发明示例性第二实施例的一种标签管理方法的流程图，本实施例是图1所示方法的优选实施例，如图2所示，本实施例方法的步骤S2，包括：
步骤S21：获取并保存外部数据源，从外部数据源中选择一张数据表作为标签数据源表；
步骤S22：获取标签数据源表中的字段信息并映射为ClickHouse字段类型；
步骤S23：根据字段组装建表语句，建立目标表并执行目标表中的建表语句；
步骤S24：将标签数据源表和目标表组装为FlinkX任务执行参数并提交至ClickHouse进行数据同步。
图3为根据本发明示例性第三实施例的一种标签管理方法的流程图，本实施例是图1所示方法的优选实施例，如图3所示，本实施例方法的步骤S3，包括：
步骤S31：选择已添加数据源表的一列或者多列作为标签数据来源；
步骤S32：静态标签存储表新增静态标签列；
步骤S33：组装打标SQL语句；
步骤S34：复制静态标签存储表的结构，创建新表；
步骤S35：执行打标SQL语句，将标签数据写入新表，删除被复制的静态标签存储表；
步骤S36：将新表表名称修改为被复制的静态标签存储表的名称。
图4为根据本发明示例性第四实施例的一种标签管理方法的流程图，本实施例是图1所示方法的优选实施例，如图4所示，本实施例方法的步骤S4，包括：结合SQL运算符对静态标签进行集合运算，创建动态标签。
本实施例方法的步骤S4，包括：
步骤S41：建立动态标签创建规则；
步骤S42：前端组装为一个json格式的表达式，后端将json转换为对象并校验表达式是否符合动态标签创建规则；
步骤S43：结合SQL运算符对静态标签进行集合运算，创建动态标签；解析表达式，构建动态标签的打标SQL并执行动态标签的打标SQL；
步骤S44：检查动态标签的打标SQL的执行状态，为动态标签生产值域分布情况。
本发明示例性第五实施例提供一种标签管理方法，本实施例是图1所示方法的优选实施例，本实施例方法的步骤S4，还包括：通过拖拽动态标签和静态标签并结合判断条件和过滤条件，创建新的动态标签。本实施例的标签管理方法，可以通过可视化编辑界面拖拽标签，图形化设置与、或者、且等连接条件和大小、比较等判断条件进行组装成新的标签。
本发明示例性第六实施例提供一种标签管理方法，本实施例是图1所示方法的优选实施例，本实施例方法的步骤S5，包括：根据主体对象下的动态标签或者静态标签作为入参或出参，拖拉生成API接口供第三方调用。
本发明示例性第七实施例提供一种标签管理方法，本实施例是图1所示方法的优选实施例，本实施例方法的步骤S5，包括：通过拖拽主体对象到SQL编辑页，自动带出主体对象对应的静态标签存储表和动态标签存储表以及字段，编写SQL生成API接口，供第三方平台调用。
图5为根据本发明示例性第八实施例的一种标签管理装置的架构图，如图5所示，本实施例的标签管理装置，包括：
标签存储表创建模块，用于创建主体对象，后端对应地在ClickHouse仓库创建标签存储表，其中，静态标签存储表用于存储对象基本属性对应的数据，动态标签存储表用于存储经静态标签计算、聚合得到的能描述一批对象的标签；
数据同步模块，用于获取并保存外部数据源，从外部数据源中选择一张数据表作为标签数据源表；获取标签数据源表中的字段信息并映射为ClickHouse字段类型；根据字段组装建表语句，建立目标表并执行目标表中的建表语句；将标签数据源表和目标表组装为FlinkX任务执行参数并提交至ClickHouse进行数据同步；
静态标签创建模块，用于选择已添加数据源表的一列或者多列作为标签数据来源；静态标签存储表新增静态标签列；组装打标SQL语句；复制静态标签存储表的结构，创建新表；执行打标SQL语句，将标签数据写入新表，删除被复制的静态标签存储表；将新表表名称修改为被复制的静态标签存储表的名称；
动态标签创建模块，用于建立动态标签创建规则；前端组装为一个json格式的表达式，后端将json转换为对象并校验表达式是否符合动态标签创建规则；结合SQL运算符对静态标签进行集合运算，创建动态标签；解析表达式，构建动态标签的打标SQL并执行动态标签的打标SQL；检查动态标签的打标SQL的执行状态，为动态标签生产值域分布情况；还用于通过拖拽动态标签和静态标签并结合判断条件和过滤条件，创建新的动态标签；
标签发布模块，用于根据主体对象下的动态标签或者静态标签作为入参或出参，拖拉生成API接口供第三方调用；还用于通过拖拽主体对象到SQL编辑页，自动带出主体对象对应的静态标签存储表和动态标签存储表以及字段，编写SQL生成API接口，供第三方平台调用。
在实际应用中，本实施例的标签管理装置具有以下特点：
1)通过并行构建标签数据，加快标签数据生产速度；避免了当认为超过一定数量时数据同步需要排队的不足。
2)通过将HDFS文件并发导入ClickHouse，直接通过ClickHouse表引擎关联hdfs直接打标加快标签数据的就绪速度。
3)通过单表以及多表关联查询，查询请求平均响应时长在2秒以下，复杂查询在5秒以下。
4)支持标签数据准实时更新；直接在ClickHouse打标和查询，实时生成api结果；避免现有技术中，打标数据先同步到es后，第2天才能通过api接口查询的不足。
5)标签表达式和查询SQL对用户来说比较友好，提升系统的易维护性；通过列式存储，基于bitmap交集、并集以及差集的逻辑计算，处理脚本简洁高效。避免现有技术的后端查询SQL需要写复杂行列转换的不足。
6)打标和查询都在ClickHouse内处理，相对于先将数据存储到hive在同步es后对外发布API的方式，可以节约一半硬件资源。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种标签管理方法，其特征在于，所述标签管理方法，包括：
步骤S1：创建主体对象，后端对应地在ClickHouse仓库创建标签存储表；
步骤S2：获取外部数据源，通过FLinkX将需要打标的数据库表结构以及数据映射到CLickHouse中，并与主体对象关联；
步骤S3：在主体对象下创建静态标签；
步骤S4：在主体对象下通过SQL或者拖拽模式创建动态标签；
步骤S5：将主体对象下的动态标签和静态标签发布成API接口。
2.根据权利要求1所述的标签管理方法，其特征在于，步骤S1中，标签存储表包括静态标签存储表和动态标签存储表，其中，静态标签存储表用于存储对象基本属性对应的数据，动态标签存储表用于存储经静态标签计算、聚合得到的能描述一批对象的标签。
3.根据权利要求1所述的标签管理方法，其特征在于，步骤S2，包括：
步骤S21：获取并保存外部数据源，从外部数据源中选择一张数据表作为标签数据源表；
步骤S22：获取标签数据源表中的字段信息并映射为ClickHouse字段类型；
步骤S23：根据字段组装建表语句，建立目标表并执行目标表中的建表语句；
步骤S24：将标签数据源表和目标表组装为FlinkX任务执行参数并提交至ClickHouse进行数据同步。
4.根据权利要求1所述的标签管理方法，其特征在于，步骤S3，包括：
步骤S31：选择已添加数据源表的一列或者多列作为标签数据来源；
步骤S32：静态标签存储表新增静态标签列；
步骤S33：组装打标SQL语句；
步骤S34：复制静态标签存储表的结构，创建新表；
步骤S35：执行打标SQL语句，将标签数据写入新表，删除被复制的静态标签存储表；
步骤S36：将新表表名称修改为被复制的静态标签存储表的名称。
5.根据权利要求1所述的标签管理方法，其特征在于，步骤S4，包括：结合SQL运算符对静态标签进行集合运算，创建动态标签。
6.根据权利要求5所述的标签管理方法，其特征在于，步骤S4，包括：
步骤S41：建立动态标签创建规则；
步骤S42：前端组装为一个json格式的表达式，后端将json转换为对象并校验表达式是否符合动态标签创建规则；
步骤S43：结合SQL运算符对静态标签进行集合运算，创建动态标签；解析表达式，构建动态标签的打标SQL并执行动态标签的打标SQL；
步骤S44：检查动态标签的打标SQL的执行状态，为动态标签生产值域分布情况。
7.根据权利要求1所述的标签管理方法，其特征在于，步骤S4，还包括：通过拖拽动态标签和静态标签并结合判断条件和过滤条件，创建新的动态标签。
8.根据权利要求1所述的标签管理方法，其特征在于，步骤S5，包括：根据主体对象下的动态标签或者静态标签作为入参或出参，拖拉生成API接口供第三方调用。
9.根据权利要求1所述的标签管理方法，其特征在于，步骤S5，还包括：通过拖拽主体对象到SQL编辑页，自动带出主体对象对应的静态标签存储表和动态标签存储表以及字段，编写SQL生成API接口，供第三方平台调用。
10.一种标签管理装置，其特征在于，所述标签管理装置，包括：
标签存储表创建模块，用于创建主体对象，后端对应地在ClickHouse仓库创建标签存储表，其中，静态标签存储表用于存储对象基本属性对应的数据，动态标签存储表用于存储经静态标签计算、聚合得到的能描述一批对象的标签；
数据同步模块，用于获取并保存外部数据源，从外部数据源中选择一张数据表作为标签数据源表；获取标签数据源表中的字段信息并映射为ClickHouse字段类型；根据字段组装建表语句，建立目标表并执行目标表中的建表语句；将标签数据源表和目标表组装为FlinkX任务执行参数并提交至ClickHouse进行数据同步；
静态标签创建模块，用于选择已添加数据源表的一列或者多列作为标签数据来源；静态标签存储表新增静态标签列；组装打标SQL语句；复制静态标签存储表的结构，创建新表；执行打标SQL语句，将标签数据写入新表，删除被复制的静态标签存储表；将新表表名称修改为被复制的静态标签存储表的名称；
动态标签创建模块，用于建立动态标签创建规则；前端组装为一个json格式的表达式，后端将json转换为对象并校验表达式是否符合动态标签创建规则；结合SQL运算符对静态标签进行集合运算，创建动态标签；解析表达式，构建动态标签的打标SQL并执行动态标签的打标SQL；检查动态标签的打标SQL的执行状态，为动态标签生产值域分布情况；还用于通过拖拽动态标签和静态标签并结合判断条件和过滤条件，创建新的动态标签；
标签发布模块，用于根据主体对象下的动态标签或者静态标签作为入参或出参，拖拉生成API接口供第三方调用；还用于通过拖拽主体对象到SQL编辑页，自动带出主体对象对应的静态标签存储表和动态标签存储表以及字段，编写SQL生成API接口，供第三方平台调用。
CN202210847895.7A 2022-07-19 2022-07-19 一种标签管理方法和装置 Pending CN115168361A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210847895.7A CN115168361A (zh) 2022-07-19 2022-07-19 一种标签管理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210847895.7A CN115168361A (zh) 2022-07-19 2022-07-19 一种标签管理方法和装置

Publications (1)

Publication Number Publication Date
CN115168361A true CN115168361A (zh) 2022-10-11

Family

ID=83495649

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210847895.7A Pending CN115168361A (zh) 2022-07-19 2022-07-19 一种标签管理方法和装置

Country Status (1)

Country Link
CN (1) CN115168361A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117331513A (zh) * 2023-12-01 2024-01-02 蒲惠智造科技股份有限公司 基于Hadoop架构的数据精简方法和系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117331513A (zh) * 2023-12-01 2024-01-02 蒲惠智造科技股份有限公司 基于Hadoop架构的数据精简方法和系统
CN117331513B (zh) * 2023-12-01 2024-03-19 蒲惠智造科技股份有限公司 基于Hadoop架构的数据精简方法和系统

Similar Documents

Publication Publication Date Title
CN109101652B (zh) 一种标签创建和管理系统
CN108027818B (zh) 基于图的查询
CN106547809B (zh) 将复合关系表示在图数据库中
JP5008878B2 (ja) データベース・オブジェクトへのファイル・システム・モデルのマッピング
US9026901B2 (en) Viewing annotations across multiple applications
CN111966677B (zh) 数据报表的处理方法、装置、电子设备及存储介质
CN111506621B (zh) 一种数据统计方法及装置
CN113312392A (zh) 轻量级的规则引擎处理方法及装置
CN104035754A (zh) 一种基于xml的自定义代码生成方法及生成器
CN106294695A (zh) 一种面向实时大数据搜索引擎的实现方法
Kongdenfha et al. Rapid development of spreadsheet-based web mashups
CN101488086A (zh) 一种基于领域模型的软件生成方法及装置
CN116361487A (zh) 一种多源异构政策知识图谱构建和存储方法及系统
CN115033646B (zh) 一种基于Flink&Doris构建实时数仓系统的方法
CN104199978A (zh) 基于NoSQL实现元数据缓存与分析的系统及方法
CN110737729A (zh) 基于知识图谱理念和技术的工程图谱数据信息管理方法
CN117520514A (zh) 一种问答任务处理方法、装置、设备及可读存储介质
CN114820080A (zh) 基于人群流转的用户分群方法、系统、装置及介质
CN110232028A (zh) 一种测试用例自动化运行方法及系统
CN115168361A (zh) 一种标签管理方法和装置
CN111666344A (zh) 异构数据同步方法及装置
CN112527918B (zh) 一种数据处理的方法和装置
CN111125045B (zh) 一种轻量级etl处理平台
CN115952203B (zh) 数据查询方法、设备、系统及存储介质
CN114895875B (zh) 一种零代码可视化信息系统元数据的生产应用方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination