CN110647527B

CN110647527B - 基于大数据的无效标签清除方法及装置、设备与可读介质

Info

Publication number: CN110647527B
Application number: CN201910813433.1A
Authority: CN
Inventors: 王翰琦; 王志清; 崔轩
Original assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Current assignee: Xiamen Zhonglian Century Co ltd
Priority date: 2019-08-30
Filing date: 2019-08-30
Publication date: 2022-11-01
Anticipated expiration: 2039-08-30
Also published as: CN110647527A

Abstract

本发明提供一种基于大数据的无效标签清除方法及装置、设备与可读介质。其方法包括：在标签引擎系统中，从各用户持有的标签信息记录中，获取用户标识与持有的标签的对应关系；基于所述用户标识与持有的标签的对应关系，对所述标签引擎系统中的所有标签进行扫描，获取不存在各所述用户的所述对应关系中的标签，作为无效标签；对所述无效标签进行清除。本发明通过采用上述技术方案，能够完全自动化实现对标签引擎系统中的无效标签进行清除，清除范围覆盖全量的执行任务，能够完全清除冗余无效的标签。与现有技术的人工清理相比，不仅能够有效地节省人力成本，而且整个过程耗时更短，与人工清理的结果相比，准确性更高。

Description

基于大数据的无效标签清除方法及装置、设备与可读介质

【技术领域】

本发明涉及计算机应用技术领域，尤其涉及一种基于大数据的无效标签清除方法及装置、设备与可读介质。

【背景技术】

近年来，随着用户对互联网的依赖，基于互联网所产生的大数据的量级越来越高。

现有技术中，为了方便对存储的大数据进行访问、搜索和管理等操作，在用户与存储大数据的存储系统之间建立有相应的标签引擎系统，并设置相应的数据计算处理引擎。用户可以通过在标签引擎系统中设置标签任务，并基于标签任务和存储的大数据中的数据的属性，从大数据中获取相应的数据，并通过数据计算处理引擎进行计算处理。例如，本实施例的标签任务可以基于大数据中的数据属性直接建立，或者也可以经过对大数据中的数据属性进行分析而建立。现有的标签引擎系统，通常情况下，单用户持有自己创建的独用的标签任务。但是在有些场景下也需要提供共享服务，为了使得其他共享用户的正常使用，创建标签任务的用户在使用完创建的标签任务后，仅在用户态做停止标识符变更，而在标签引擎系统中，其他用户还是可以调用该标签，此时该标签任务还是继续存在的。另外，开发人员的一些未知操作，也会造成的没有用户使用的标签任务插入。

基于以上所述，可以知道现有技术的存储大数据的存储系统中，会存在许多冗余的无效标签，造成大量的资源浪费。为了清除这些无效标签，现有技术中通过人工介入，采用人工清理的方式清除无效标签，但是，人工清理过程中，不仅费时费力，而且准确性较差，无效保证100％的准确操作。

【发明内容】

本发明提供了一种基于大数据的无效标签清除方法及装置、设备与可读介质，用于提高无效标签清除效率和准确性。

本发明提供一种基于大数据的无效标签清除方法，所述方法包括：

在标签引擎系统中，从各用户持有的标签信息记录中，获取用户标识与持有的标签的对应关系；

基于所述用户标识与持有的标签的对应关系，对所述标签引擎系统中的所有标签进行扫描，获取不存在各所述用户的所述对应关系中的标签，作为无效标签；

对所述无效标签进行清除。

进一步可选地，如上所述的方法中，对所述无效标签进行清除，包括：

按照预设的清除策略，对所述无效标签进行清除。

进一步可选地，如上所述的方法中，所述预设的清除策略包括在预设的固定时间清除所述无效标签，或者在检测到所述标签引擎系统的性能参数小于预设阈值时对所述无效标签进行清除。

进一步可选地，如上所述的方法中，基于所述用户标识与持有的标签的对应关系，对所述标签引擎系统中的所有标签进行扫描，获取不存在所述对应关系的标签，作为无效标签之后，所述方法还包括：

将所述无效标签存储在一无效标签集合中；

对所述无效标签进行清除，具体包括：

对所述无效标签集合中的所有标签进行清除。

本发明提供一种基于大数据的无效标签清除装置，所述装置包括：

获取模块，用于在标签引擎系统中，从各用户持有的标签信息记录中，获取用户标识与持有的标签的对应关系；

扫描模块，用于基于所述用户标识与持有的标签的对应关系，对所述标签引擎系统中的所有标签进行扫描，获取不存在各所述用户的所述对应关系中的标签，作为无效标签；

清除模块，用于对所述无效标签进行清除。

进一步可选地，如上所述的装置中，所述清除模块，用于：

按照预设的清除策略，对所述无效标签进行清除。

进一步可选地，如上所述的装置中，所述预设的清除策略包括在预设的固定时间清除所述无效标签，或者在检测到所述标签引擎系统的性能参数小于预设阈值时对所述无效标签进行清除。

进一步可选地，如上所述的装置中，所述装置还包括存储模块；

所述存储模块，用于将所述无效标签存储在一无效标签集合中；

所述清除模块，用于对所述存储模块中存储的所述无效标签集合中的所有标签进行清除。

本发明还提供一种计算机设备，所述设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上所述的基于大数据的无效标签清除方法。

本发明还提供一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的基于大数据的无效标签清除方法。

本发明的基于大数据的无效标签清除方法及装置、设备与可读介质，通过采用上述技术方案，能够完全自动化实现对标签引擎系统中的无效标签进行清除，清除范围覆盖全量的执行任务，能够完全清除冗余无效的标签。与现有技术的人工清理相比，不仅能够有效地节省人力成本，而且整个过程耗时更短，与人工清理的结果相比，准确性更高。因此，本发明的技术方案，能够有效地提高无效标签清除的效率和准确性。同时，通过采用本发明的技术方案，对无效标签进行清除后，还可以有效地减少标签引擎系统中的计算资源和存储资源的浪费，使得资源利用更加有效，变得更加具有竞争力。

【附图说明】

图1为本发明的基于大数据的标签清除方法实施例的流程图。

图2为本发明的基于大数据的无效标签清除装置实施例一的结构图。

图3为本发明的基于大数据的无效标签清除装置实施例二的结构图。

图4为本发明的计算机设备实施例的结构图。

图5为本发明提供的一种计算机设备的示例图。

【具体实施方式】

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。

图1为本发明的基于大数据的标签清除方法实施例的流程图。如图1所示，本实施例的基于大数据的标签清除方法，具体可以包括如下步骤：

S100、在标签引擎系统中，从各用户持有的标签信息记录中，获取用户标识与持有的标签的对应关系；

本实施例的基于大数据的标签清除方法的执行主体可以为基于大数据的标签清除装置，该装置可以为一独立的电子实体，或者也可以为采用软件简称的应用。该装置可以与标签引擎系统和存储大数据的存储系统进行通信连接，以通过访问标签引擎系统和存储系统中的信息，实现对存储系统中的无效标签进行清除。

具体地，在标签引擎系统中，各用户在创建标签任务时，对应建立用户标识与持有的标签的对应关系，并将该对应关系存储在标签信息记录中。也就是说，在该标签信息记录中存储的对应关系中，都是用户所持有的有效标签。而若用户运行标签对应的任务之后，不想再继续维护该标签，此时在用户的层面上，用户可以从标签信息记录中相应的对应关系中，删除该标签。实际应用中，一个用户可同时持有多个有效的标签。

本实施例中，通过对每个用户持有的标签信息记录进行访问，获取每个用户的用户标识与持有的标签的对应关系。每个用户的对应关系中的标签均为有效标签。

S101、基于用户标识与持有的标签的对应关系，对标签引擎系统中的所有标签进行扫描，获取不存在各用户的对应关系中的标签，作为无效标签；

实际应用中，对于共享标签任务时，如某个标签的创建用户在用户态层面上对其持有的某个标签删除了，但是该标签可能还由其他共享用户在使用，所以，在标签引擎系统中的系统态层面上，该标签还是存在的。只是该标签已经没有持有者，即在用户的标签信息记录中，用户标识与标签的对应关系中没有该标签。另外，对于开发者执行的一些未知操作也会造成的没有用户使用的标签插入。由此可知，在标签引擎系统中还是存在一些没有持有用户的标签。本实施例中，在标签引擎系统中，除了维护用户态层面的各用户持有的标签信息记录。同时还维护有系统态层面的所有标签。此时，可以对标签引擎系统中的所有标签进行扫描，并在扫描过程中，基于用户标识与持有的标签的对应关系，获取不存在各用户的对应关系中的标签，作为无效标签。

S102、对无效标签进行清除。

本实施例中，最后对扫描后获取到的无效标签进行清除，去除冗余，以节省系统的资源。例如，本实施例中，可以按照预设的清除策略，对无效标签进行清除。可选地，本实施例的预设的清除策略包括在预设的固定时间清除无效标签，或者在检测到存储大数据的存储系统的吞吐量小于预设阈值时对无效标签进行清除。

其中，预设的固定时间可以为按照时间周期选择的一些低谷期，这样可以降低系统的开销，避免标签清除过程中对其他正常业务的影响。

其中，本实施例的性能参数可以为吞吐量、内存占用比例或者其他性能参数等，在检测到标签引擎系统的的性能参数小于预设阈值时，也可以认为是标签引擎系统较空闲的时间，此时可以启动对无效标签进行清除，同样可以降低系统的开销，避免标签清除过程中对其他正常业务的影响。

另外，可选地，本实施例中，若无效标签数量较多时，为了便于对无效标签进行管理，本实施例中，可以在步骤S101基于用户标识与持有的标签的对应关系，对标签引擎系统中的所有标签进行扫描，获取不存在各用户的对应关系中的标签，作为无效标签之后，将该无效标签存储在一无效标签集合中。通过不断地检测，可以检测到标签引擎系统中的所有无效标签，均存储在无效标签集合中。最后按照上述实施例的步骤S102对无效标签进行清除，具体可以为：对无效标签集合中的所有标签进行清除。此时不用依次删除单个无效标签，可以直接对无效标签集合中的所有无效标签全部清除，进一步提高无效标签清除的效率。

本实施例的基于大数据的标签清除方法，通过采用上述技术方案，能够完全自动化实现对标签引擎系统中的无效标签进行清除，清除范围覆盖全量的执行任务，能够完全清除冗余无效的标签。与现有技术的人工清理相比，不仅能够有效地节省人力成本，而且整个过程耗时更短，与人工清理的结果相比，准确性更高。因此，本实施例的技术方案，能够有效地提高无效标签清除的效率和准确性。同时，通过采用本实施例的技术方案，对无效标签进行清除后，还可以有效地减少标签引擎系统中的计算资源和存储资源的浪费，使得资源利用更加有效，变得更加具有竞争力。

图2为本发明的基于大数据的无效标签清除装置实施例一的结构图。如图2所示，本实施例的基于大数据的无效标签清除装置，具体可以包括：

获取模块10用于在标签引擎系统中，从各用户持有的标签信息记录中，获取用户标识与持有的标签的对应关系；

扫描模块11用于基于获取模块10获取的用户标识与持有的标签的对应关系，对标签引擎系统中的所有标签进行扫描，获取不存在各用户的对应关系中的标签，作为无效标签；

清除模块12用于对扫描模块11扫描得到的无效标签进行清除。

本实施例的基于大数据的无效标签清除装置，通过采用上述模块实现基于大数据的无效标签清除的实现原理以及技术效果与上述相关方法实施例的实现相同，详细可以参考上述相关方法实施例的记载，在此不再赘述。

图3为本发明的基于大数据的无效标签清除装置实施例二的结构图。如图3所示，本实施例的基于大数据的无效标签清除装置，在上述图2所示实施例的技术方案的基础上，进一步更加详细地描述本发明的技术方案。

本实施例的基于大数据的无效标签清除装置中，清除模块12具体用于：

按照预设的清除策略，对无效标签进行清除。

进一步可选地，预设的清除策略包括在预设的固定时间清除无效标签，或者在检测到标签引擎系统的性能参数小于预设阈值时对无效标签进行清除。

进一步可选地，如图3所示，本实施例的基于大数据的无效标签清除装置中，还包括存储模块13。

存储模块13用于将扫描模块11扫描得到的无效标签存储在一无效标签集合中；

清除模块12用于对存储模块13中存储的无效标签集合中的所有标签进行清除。

图4为本发明的计算机设备实施例的结构图。如图4所示，本实施例的计算机设备，包括：一个或多个处理器30，以及存储器40，存储器40用于存储一个或多个程序，当存储器40中存储的一个或多个程序被一个或多个处理器30执行，使得一个或多个处理器30实现如上图1所示实施例的基于大数据的无效标签清除方法。图4所示实施例中以包括多个处理器30为例。

例如，图5为本发明提供的一种计算机设备的示例图。图5示出了适于用来实现本发明实施方式的示例性计算机设备12a的框图。图5显示的计算机设备12a仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图5所示，计算机设备12a以通用计算设备的形式表现。计算机设备12a的组件可以包括但不限于：一个或者多个处理器16a，系统存储器28a，连接不同系统组件(包括系统存储器28a和处理器16a)的总线18a。

总线18a表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

计算机设备12a典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12a访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器28a可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30a和/或高速缓存存储器32a。计算机设备12a可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34a可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18a相连。系统存储器28a可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明上述图1-图3各实施例的功能。

具有一组(至少一个)程序模块42a的程序/实用工具40a，可以存储在例如系统存储器28a中，这样的程序模块42a包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42a通常执行本发明所描述的上述图1-图3各实施例中的功能和/或方法。

计算机设备12a也可以与一个或多个外部设备14a(例如键盘、指向设备、显示器24a等)通信，还可与一个或者多个使得用户能与该计算机设备12a交互的设备通信，和/或与使得该计算机设备12a能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22a进行。并且，计算机设备12a还可以通过网络适配器20a与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20a通过总线18a与计算机设备12a的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备12a使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理器16a通过运行存储在系统存储器28a中的程序，从而执行各种功能应用以及数据处理，例如实现上述实施例所示的基于大数据的无效标签清除方法。

本发明还提供一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例所示的基于大数据的无效标签清除方法。

本实施例的计算机可读介质可以包括上述图5所示实施例中的系统存储器28a中的RAM30a、和/或高速缓存存储器32a、和/或存储系统34a。

随着科技的发展，计算机程序的传播途径不再受限于有形介质，还可以直接从网络下载，或者采用其他方式获取。因此，本实施例中的计算机可读介质不仅可以包括有形的介质，还可以包括无形的介质。

本实施例的计算机可读介质可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims

1.一种基于大数据的无效标签清除方法，其特征在于，所述方法包括：

对所述无效标签进行清除。

2.根据权利要求1所述的方法，其特征在于，对所述无效标签进行清除，包括：

按照预设的清除策略，对所述无效标签进行清除。

3.根据权利要求2所述的方法，其特征在于，所述预设的清除策略包括在预设的固定时间清除所述无效标签，或者在检测到所述标签引擎系统的性能参数小于预设阈值时对所述无效标签进行清除。

4.根据权利要求1所述的方法，其特征在于，基于所述用户标识与持有的标签的对应关系，对所述标签引擎系统中的所有标签进行扫描，获取不存在所述对应关系的标签，作为无效标签之后，所述方法还包括：

将所述无效标签存储在一无效标签集合中；

对所述无效标签进行清除，具体包括：

对所述无效标签集合中的所有标签进行清除。

5.一种基于大数据的无效标签清除装置，其特征在于，所述装置包括：

清除模块，用于对所述无效标签进行清除。

6.根据权利要求5所述的装置，其特征在于，所述清除模块，用于：

按照预设的清除策略，对所述无效标签进行清除。

7.根据权利要求6所述的装置，其特征在于，所述预设的清除策略包括在预设的固定时间清除所述无效标签，或者在检测到所述标签引擎系统的性能参数小于预设阈值时对所述无效标签进行清除。

8.根据权利要求5所述的装置，其特征在于，所述装置还包括存储模块；

9.一种计算机设备，其特征在于，所述设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-4中任一所述的方法。

10.一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-4中任一所述的方法。