[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN113515522A - 一种基于数据挖掘技术的标签自动分类方法 - Google Patents

一种基于数据挖掘技术的标签自动分类方法 Download PDF

Info

Publication number
CN113515522A
CN113515522A CN202110812540.XA CN202110812540A CN113515522A CN 113515522 A CN113515522 A CN 113515522A CN 202110812540 A CN202110812540 A CN 202110812540A CN 113515522 A CN113515522 A CN 113515522A
Authority
CN
China
Prior art keywords
information
label
olp
classification
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110812540.XA
Other languages
English (en)
Other versions
CN113515522B (zh
Inventor
邹传琴
黄哲
黄嘉诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Vocational College Of Information Technology
Original Assignee
Nanjing Vocational College Of Information Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Vocational College Of Information Technology filed Critical Nanjing Vocational College Of Information Technology
Priority to CN202110812540.XA priority Critical patent/CN113515522B/zh
Publication of CN113515522A publication Critical patent/CN113515522A/zh
Application granted granted Critical
Publication of CN113515522B publication Critical patent/CN113515522B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2228Indexing structures
    • G06F16/2246Trees, e.g. B+trees
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465Query processing support for facilitating data mining operations in structured databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/26Visual data mining; Browsing structured data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/284Relational databases
    • G06F16/285Clustering or classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/951Indexing; Web crawling techniques
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于数据挖掘技术的标签自动分类方法,包括:获取观影记录日志信息,通过jieba分词技术提取信息中的语义关键字;基于资料库和标签规则库,根据语义关键字获取到OLP信息;判断获取到的OLP信息是否完整;构建OLP关系树,并且根据OLP关系树构建标签目类结构树,结束分类;对OLP信息进行相似度查询,判断OLP信息是否是噪声内容,如果是,剔除噪声关键字信息,完成分类流程;如果不是,通过网络爬虫信息获取到无法识别的关键字信息,且设定为待定义标签信息,根据待定义标签信息和历史库中的标签信息的相似度,对待定义标签信息进行定义处理。本发明实现了对于标签的自动识别分类以及标签体系的及时更新,大幅提高了分类效率以及分类的实时性。

Description

一种基于数据挖掘技术的标签自动分类方法
技术领域
本发明属于标签自动分类领域,具体涉及一种基于数据挖掘技术的标签自动分类方法。
背景技术
目前针对标签体系的设计,多是通过人工的方式进行标签的归类,不但消耗的时间过长,费时费力,分类效率低下,而且由于人工方式存在的局限,导致标签体系往往过于陈旧且无法及时更新,无法满足实时的标签建设需求。
发明内容
发明目的:为了克服现有技术中存在的不足,提供一种基于数据挖掘技术的标签自动分类方法,其实现了对于标签的自动识别分类以及标签体系的及时更新,大幅提高了分类效率以及分类的实时性。
技术方案:为实现上述目的,本发明提供一种基于数据挖掘技术的标签自动分类方法,包括如下步骤:
S1:获取观影记录日志信息,通过jieba分词技术提取信息中的语义关键字;
S2:基于资料库和标签规则库,根据语义关键字获取到OLP信息;
S3:判断获取到的OLP信息是否完整,如果完整,进入步骤S4,如果不完整,进入步骤S5;
S4:构建OLP关系树,并且根据OLP关系树构建标签目类结构树,结束分类;
S5:基于历史信息标签库,对OLP信息进行相似度查询,判断OLP信息是否是噪声内容,如果是,剔除噪声关键字信息,完成分类流程;如果不是,通过网络爬虫信息获取到无法识别的关键字信息,且设定为待定义标签信息,根据待定义标签信息和历史库中的标签信息的相似度,对待定义标签信息进行定义处理。
进一步地,所述步骤S2中OLP信息的获取方式为:根据语义关键字在资料库和标签规则库中进行查询,获取到对应的OLP信息。OLP信息包括主体、客体、属性的关系。
进一步地,所述步骤S4中构建OLP关系树,并且根据OLP关系树构建标签目类结构树的具体方式为:资料库包括人员库和影片库,如果在人员库匹配出来,确定主体的信息完整;如果在影片库匹配出来,确定客体的信息完整;根据影片的名称确定影片的类型;根据观影时间、影片分类等信息,利用OLP信息规则自动创建人员的标签。
进一步地,所述步骤S5中待定义标签信息的获取方法为:通过网络爬虫信息将无法识别的关键字的信息接入互联网获取分类,并将自动分类为待定义的标签信息。
进一步地,所述步骤S5中对待定义标签信息进行定义处理的方式为:将待定义的标签信息于历史库中的标签信息做余弦相似度计算,将相似度大于设定值的待定义标签信息直接维护到标签规则库中,相似度低于设定值的待定义标签信息通过人工进行判定和维护,再维护到标签规则库中。
本发明分类方法有效的解决了对数据中的主体、客体、动作、属性、关联关系的自动构建,利用语义识别技术有效的将内容进行解析,获取内容中的关键词。通过检索技术匹配关键词对应的标签规则,通过网络爬虫技术对未匹配的内容进行二次规整,并通过历史规整的记录信息的相似度进行归纳,通过此方法可以快速构建标签体系,达到实时数据标签分类的目的。
有益效果:本发明与现有技术相比,通过数据挖掘技术对观影日志进行智能化分类,能够根据不同账户的观影记录进行语义解析构建OLP关系,实现了对于标签的自动识别分类以及标签体系的及时更新,解决了现有人工分类方式存在的分类强度大、效率低以及标签体系过于陈旧的问题,大大减少了人工维护工作量,能够满足实时的标签建设需求。
附图说明
图1为本发明分类方法的流程示意图;
图2为实施例中OLP信息示意图。
具体实施方式
下面结合附图和具体实施例,进一步阐明本发明,应理解这些实施例仅用于说明本发明而不用于限制本发明的范围,在阅读了本发明之后,本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
本实施例提供一种基于数据挖掘技术的标签自动分类方法,为了便于理解,对分类过程中涉及的名词进行如下解释:
1、OLP:以一种高度抽象的方式,将各种数据拆分、重组、连接的方法,具体包括Object实体对象,Property属性,Link实体之间的关联关系。
2、jieba分词:“结巴”分词是一个Python中文分词组,可以对中文文本进行分词、词性标注、关键词抽取等功能,并且支持自定义词典。
3、网络爬虫:网络爬虫是一个自动提取网页的程序,它为搜索引擎从万维网上下载网页,是搜索引擎的重要部分。
4、标签目类树:以标签和标签对象构成的层次结构。树的节点是具体的属性,树的非叶子节点是标签的名称,目录树表达了对象的链接方式,显示了从一个对象到另一个对象的路径。
5、数据挖掘:是指从大量的数据中通过算法搜索隐藏于其中信息的过程,算法种类很多,包含语义解析算法,爬虫算法,归类,聚类等。
如图1所示,本实施例提供的一种基于数据挖掘技术的标签自动分类方法,其具体包括如下步骤:
S1:获取观影记录日志信息,通过jieba分词技术提取信息中的语义关键字;
S2:基于资料库和标签规则库,根据语义关键字获取到OLP信息:
根据语义关键字在资料库和标签规则库中进行查询,获取到对应的OLP信息。OLP信息包括主体、客体、属性的关系。
S3:判断获取到的OLP信息是否完整,如果完整,进入步骤S4,如果不完整,进入步骤S5;
S4:构建OLP关系树,并且根据OLP关系树构建标签目类结构树,结束分类:
资料库包括人员库(主题库)和影片库(客体库)等,如果在人员库匹配出来,确定主体的信息完整;如果在影片库匹配出来,确定客体的信息完整;根据影片的名称确定影片的类型;根据观影时间、影片分类等信息,利用OLP信息规则自动创建人员的标签。
S5:基于历史信息标签库,对OLP信息进行相似度查询,判断OLP信息是否是噪声内容,如果是,剔除噪声关键字信息,完成分类流程;如果不是,通过网络爬虫信息获取到无法识别的关键字信息,且设定为待定义标签信息,根据待定义标签信息和历史库中的标签信息的相似度,对待定义标签信息进行定义处理。
待定义标签信息的获取方法为:通过网络爬虫信息将无法识别的关键字的信息接入互联网获取分类,并将自动分类为待定义的标签信息。
待定义标签信息进行定义处理的方式为:将待定义的标签信息于历史库中的标签信息做余弦相似度计算,将相似度大于70%的待定义标签信息直接维护到标签规则库中,相似度低于70%的待定义标签信息通过人工进行判定和维护,再维护到标签规则库中。
如图2所示,本实施例中步骤S2获取的OLP信息为:
账号000001在2020-06-0210:20:23观看钢铁侠,通过分词技术后切分成
账号000001/在/2020-06-0210:20:23/观看/钢铁侠。
提取OLP关系Object的实体对象000001、客体对象钢铁侠、Link关系在、
Property属性,时间属性2020-06-0210:20:23
根据资料库和标签规则库构建隐藏Property属性。
本实施例还提供一种基于数据挖掘技术的标签自动分类系统,该系统包括网络接口、存储器和处理器;其中,网络接口,用于在与其他外部网元之间进行收发信息过程中,实现信号的接收和发送;存储器,用于存储能够在所述处理器上运行的计算机程序指令;处理器,用于在运行计算机程序指令时,执行上述共识方法的步骤。
本实施例还提供一种计算机存储介质,该计算机存储介质存储有计算机程序,在处理器执行所述计算机程序时可实现以上所描述的方法。所述计算机可读介质可以被认为是有形的且非暂时性的。非暂时性有形计算机可读介质的非限制性示例包括非易失性存储器电路(例如闪存电路、可擦除可编程只读存储器电路或掩膜只读存储器电路)、易失性存储器电路(例如静态随机存取存储器电路或动态随机存取存储器电路)、磁存储介质(例如模拟或数字磁带或硬盘驱动器)和光存储介质(例如CD、DVD或蓝光光盘)等。计算机程序包括存储在至少一个非暂时性有形计算机可读介质上的处理器可执行指令。计算机程序还可以包括或依赖于存储的数据。计算机程序可以包括与专用计算机的硬件交互的基本输入/输出系统(BIOS)、与专用计算机的特定设备交互的设备驱动程序、一个或多个操作系统、用户应用程序、后台服务、后台应用程序等。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

Claims (6)

1.一种基于数据挖掘技术的标签自动分类方法,其特征在于,包括如下步骤:
S1:获取观影记录日志信息,通过jieba分词技术提取信息中的语义关键字;
S2:基于资料库和标签规则库,根据语义关键字获取到OLP信息;
S3:判断获取到的OLP信息是否完整,如果完整,进入步骤S4,如果不完整,进入步骤S5;
S4:构建OLP关系树,并且根据OLP关系树构建标签目类结构树,结束分类;
S5:基于历史信息标签库,对OLP信息进行相似度查询,判断OLP信息是否是噪声内容,如果是,剔除噪声关键字信息,完成分类流程;如果不是,通过网络爬虫信息获取到无法识别的关键字信息,且设定为待定义标签信息,根据待定义标签信息和历史库中的标签信息的相似度,对待定义标签信息进行定义处理。
2.根据权利要求1所述的一种基于数据挖掘技术的标签自动分类方法,其特征在于,所述步骤S2中OLP信息的获取方式为:根据语义关键字在资料库和标签规则库中进行查询,获取到对应的OLP信息。
3.根据权利要求1所述的一种基于数据挖掘技术的标签自动分类方法,其特征在于,所述步骤S4中构建OLP关系树,并且根据OLP关系树构建标签目类结构树的具体方式为:资料库包括人员库和影片库,如果在人员库匹配出来,确定主体的信息完整;如果在影片库匹配出来,确定客体的信息完整;根据影片的名称确定影片的类型;根据观影时间、影片分类信息,利用OLP信息规则自动创建人员的标签。
4.根据权利要求1所述的一种基于数据挖掘技术的标签自动分类方法,其特征在于,所述步骤S5中待定义标签信息的获取方法为:通过网络爬虫信息将无法识别的关键字的信息接入互联网获取分类,并将自动分类为待定义的标签信息。
5.根据权利要求1所述的一种基于数据挖掘技术的标签自动分类方法,其特征在于,所述步骤S5中对待定义标签信息进行定义处理的方式为:将待定义的标签信息于历史库中的标签信息做余弦相似度计算,将相似度大于设定值的待定义标签信息直接维护到标签规则库中,相似度低于设定值的待定义标签信息通过人工进行判定和维护,再维护到标签规则库中。
6.根据权利要求1所述的一种基于数据挖掘技术的标签自动分类方法,其特征在于,所述步骤S2中OLP信息包括主体、客体、属性的关系。
CN202110812540.XA 2021-07-19 2021-07-19 一种基于数据挖掘技术的标签自动分类方法 Active CN113515522B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110812540.XA CN113515522B (zh) 2021-07-19 2021-07-19 一种基于数据挖掘技术的标签自动分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110812540.XA CN113515522B (zh) 2021-07-19 2021-07-19 一种基于数据挖掘技术的标签自动分类方法

Publications (2)

Publication Number Publication Date
CN113515522A true CN113515522A (zh) 2021-10-19
CN113515522B CN113515522B (zh) 2024-05-24

Family

ID=78067323

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110812540.XA Active CN113515522B (zh) 2021-07-19 2021-07-19 一种基于数据挖掘技术的标签自动分类方法

Country Status (1)

Country Link
CN (1) CN113515522B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107844548A (zh) * 2017-10-30 2018-03-27 北京锐安科技有限公司 一种数据标签方法和装置
KR20180129001A (ko) * 2017-05-24 2018-12-05 한국과학기술원 다언어 특질 투영된 개체 공간 기반 개체 요약본 생성 방법 및 시스템
CN109635171A (zh) * 2018-12-13 2019-04-16 成都索贝数码科技股份有限公司 一种新闻节目智能标签的融合推理系统和方法
CN109657013A (zh) * 2018-11-30 2019-04-19 杭州数澜科技有限公司 一种系统化生成标签的方法和系统
CN110444259A (zh) * 2019-06-06 2019-11-12 昆明理工大学 基于实体关系标注策略的中医电子病历实体关系提取方法
CN110489395A (zh) * 2019-07-27 2019-11-22 西南电子技术研究所(中国电子科技集团公司第十研究所) 自动获取多源异构数据知识的方法
CN111444334A (zh) * 2019-01-16 2020-07-24 阿里巴巴集团控股有限公司 数据处理方法、文本识别方法、装置及计算机设备
CN111967262A (zh) * 2020-06-30 2020-11-20 北京百度网讯科技有限公司 实体标签的确定方法和装置
CN112307303A (zh) * 2020-10-29 2021-02-02 扆亮海 基于云计算的网络页面高效精准去重系统
CN112541066A (zh) * 2020-12-11 2021-03-23 清华大学 基于文本结构化的医技报告检测方法及相关设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180129001A (ko) * 2017-05-24 2018-12-05 한국과학기술원 다언어 특질 투영된 개체 공간 기반 개체 요약본 생성 방법 및 시스템
CN107844548A (zh) * 2017-10-30 2018-03-27 北京锐安科技有限公司 一种数据标签方法和装置
CN109657013A (zh) * 2018-11-30 2019-04-19 杭州数澜科技有限公司 一种系统化生成标签的方法和系统
CN109635171A (zh) * 2018-12-13 2019-04-16 成都索贝数码科技股份有限公司 一种新闻节目智能标签的融合推理系统和方法
CN111444334A (zh) * 2019-01-16 2020-07-24 阿里巴巴集团控股有限公司 数据处理方法、文本识别方法、装置及计算机设备
CN110444259A (zh) * 2019-06-06 2019-11-12 昆明理工大学 基于实体关系标注策略的中医电子病历实体关系提取方法
CN110489395A (zh) * 2019-07-27 2019-11-22 西南电子技术研究所(中国电子科技集团公司第十研究所) 自动获取多源异构数据知识的方法
CN111967262A (zh) * 2020-06-30 2020-11-20 北京百度网讯科技有限公司 实体标签的确定方法和装置
CN112307303A (zh) * 2020-10-29 2021-02-02 扆亮海 基于云计算的网络页面高效精准去重系统
CN112541066A (zh) * 2020-12-11 2021-03-23 清华大学 基于文本结构化的医技报告检测方法及相关设备

Also Published As

Publication number Publication date
CN113515522B (zh) 2024-05-24

Similar Documents

Publication Publication Date Title
CN110851598B (zh) 文本分类方法、装置、终端设备及存储介质
CN113760891B (zh) 一种数据表的生成方法、装置、设备和存储介质
US11907659B2 (en) Item recall method and system, electronic device and readable storage medium
WO2018121153A1 (zh) 一种裁判文书的检索方法及装置
CN109145110B (zh) 标签查询方法和装置
KR20100106464A (ko) 데이터 클러스터와 유의어의 탐색과 수정에 대한 방법 및 시스템
CN111061742B (zh) 用于标记数据的方法、装置及其服务系统
US10936637B2 (en) Associating insights with data
CN111382184A (zh) 一种对药品文档进行校验的方法和药品文档校验系统
CN114091426A (zh) 一种处理数据仓库中字段数据的方法和装置
WO2019200700A1 (zh) 一种公文处理的方法、装置、终端设备及存储介质
CN111553556A (zh) 业务数据分析方法、装置、计算机设备及存储介质
CN112907358A (zh) 贷款用户信用评分方法、装置、计算机设备和存储介质
WO2019179408A1 (zh) 机器学习模型的构建
CN113065018A (zh) 一种音视频的索引库创建和检索方法、装置及电子设备
CN110879799A (zh) 管理技术元数据的方法和装置
CN117667841A (zh) 一种企业数据管理平台及方法
CN113515522A (zh) 一种基于数据挖掘技术的标签自动分类方法
CN110399431A (zh) 一种关联关系构建方法、装置及设备
CN110019783B (zh) 属性词聚类方法及装置
US20230004873A1 (en) System and method for artificial intelligence driven document analysis, including automated reuse of predictive coding rules based on management and curation of datasets or models
CN110941952A (zh) 一种完善审计分析模型的方法及装置
CN114328844A (zh) 一种文本数据集管理方法、装置、设备及存储介质
JP2017010376A (ja) マートレス検証支援システムおよびマートレス検証支援方法
CN114860898A (zh) 一种软件开发知识库构建与应用方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant