CN113822315A - 属性图的处理方法、装置、电子设备及可读存储介质 - Google Patents
属性图的处理方法、装置、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN113822315A CN113822315A CN202110671978.0A CN202110671978A CN113822315A CN 113822315 A CN113822315 A CN 113822315A CN 202110671978 A CN202110671978 A CN 202110671978A CN 113822315 A CN113822315 A CN 113822315A
- Authority
- CN
- China
- Prior art keywords
- graph
- node
- nodes
- feature representation
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003860 storage Methods 0.000 title claims abstract description 25
- 238000003672 processing method Methods 0.000 title abstract description 17
- 239000011159 matrix material Substances 0.000 claims abstract description 205
- 238000012549 training Methods 0.000 claims abstract description 167
- 238000003062 neural network model Methods 0.000 claims abstract description 89
- 238000000034 method Methods 0.000 claims abstract description 74
- 238000009826 distribution Methods 0.000 claims description 63
- 238000013528 artificial neural network Methods 0.000 claims description 60
- 238000012545 processing Methods 0.000 claims description 53
- 238000004590 computer program Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 11
- 238000013473 artificial intelligence Methods 0.000 abstract description 11
- 230000006870 function Effects 0.000 description 15
- 239000013598 vector Substances 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 12
- 230000036961 partial effect Effects 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000013527 convolutional neural network Methods 0.000 description 9
- 238000010801 machine learning Methods 0.000 description 9
- 238000007726 management method Methods 0.000 description 8
- 238000012544 monitoring process Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 241000282414 Homo sapiens Species 0.000 description 3
- 230000004913 activation Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 235000019800 disodium phosphate Nutrition 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000012550 audit Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000003064 k means clustering Methods 0.000 description 2
- 238000007477 logistic regression Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000012954 risk control Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000007794 visualization technique Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Probability & Statistics with Applications (AREA)
- Medical Informatics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请实施例提供了一种属性图的处理方法、装置、电子设备及可读存储介质,涉及人工智能及区块链技术领域。该方法包括:获取训练数据集,训练数据集中的每个样本包括一个样本属性图的邻接矩阵和各节点的初始特征表示,一个节点的初始特征表示表征了节点的属性信息;对于每个样本属性图,基于原始信息中的至少一项确定图的初始图结构特征,并基于图中各节点的初始特征表示,确定图中各节点之间的第一相似度;基于训练数据集对初始的图卷积神经网络模型重复执行训练操作,直至训练损失值满足训练结束条件,得到训练好的图卷积神经网络模型。在本申请中所得到的目标特征表示中保留了原始图结构信息以及各节点之间的相似度。
Description
技术领域
本申请涉及人工智能及区块链技术领域,具体而言,本申请涉及一种属性图的处理方法、装置、电子设备及可读存储介质。
背景技术
目前对属性图聚类方法大多以图卷积神经网络为基础,通过重构邻接矩阵的方法,将节点维度较高的特征表示(可称之为高维特征表示)压缩到维度较低的特征表示(可称之为低维特征表示),最后在低维特征表示的基础上应用传统的聚类算法(如K-Means,K均值聚类算法),产生最终聚类结果。
但是,由于属性图的图结构可以分为低阶(较低层级)的信息部分和高阶(较深层级)的信息部分,而现有技术中节点的低维特征表示并没有保留高维特征表示中各节点之间的相似度信息,导致最终得到的聚类结果不准确。
发明内容
本申请涉及一种属性图的处理方法、装置、电子设备及可读存储介质,能够使所得到的目标特征表示中依然能够保留属性图的原始图结构信息以及图中各节点之间的属性信息的相似度。
一方面,本申请实施例提供了一种属性图的处理方法,方法包括:
获取训练数据集,训练数据集中的每个样本包括一个样本属性图的原始信息,原始信息包括样本属性图的邻接矩阵和样本属性图中各节点的初始特征表示,一个节点的初始特征表示表征了节点的属性信息;
对于每个样本属性图,基于原始信息中的至少一项确定图的初始图结构特征,并基于图中各节点的初始特征表示,确定图中各节点之间的第一相似度;
基于训练数据集对初始的图卷积神经网络模型重复执行以下训练操作,直至训练损失值满足训练结束条件,得到训练好的图卷积神经网络模型:
对于每个样本属性图,将原始信息输入至图卷积神经网络模型中,得到图中各节点的目标特征表示,并基于图中各节点的目标特征表示,确定图的目标图结构特征以及图中各节点之间的第二相似度;
对于每个样本属性图,确定图的初始图结构特征和目标图结构特征之间的第一差异、以及图中各节点之间的第一相似度和第二相似度之间的第二差异;
基于各样本属性图对应的第一差异和第二差异,确定图卷积神经网络模型的训练损失值,若训练损失值不满足训练结束条件,则调整图卷积神经网络的模型参数。
另一方面,本申请实施例提供了一种属性图的处理方法,包括:
获取待处理属性图以及待处理属性图中各节点的属性信息;
确定待处理属性图的邻接矩阵;
对于每个节点,基于节点的属性信息确定节点的初始特征表示;
将邻接矩阵和各节点的初始特征表示输出至图卷积神经网络模型中,得到各节点的目标特征表示,其中,图卷积神经网络模型是基于前文中所描述的对图卷积神经网络模型进行训练的方式训练得到的。
可选的,该方法还包括:
基于各节点的目标特征表示,对待处理属性图中的各节点进行分类处理,得到各节点的分类结果。
再一方面,本申请实施例提供了一种属性图的处理装置,装置包括:
数据获取模块,用于获取训练数据集,训练数据集中的每个样本包括一个样本属性图的原始信息,原始信息包括样本属性图的邻接矩阵和样本属性图中各节点的初始特征表示,一个节点的初始特征表示表征了节点的属性信息;
初始信息确定模块,用于对于每个样本属性图,基于原始信息中的至少一项确定图的初始图结构特征,并基于图中各节点的初始特征表示,确定图中各节点之间的第一相似度;
模型训练模块,用于基于训练数据集对初始的图卷积神经网络模型重复执行以下训练操作,直至训练损失值满足训练结束条件,得到训练好的图卷积神经网络模型:
对于每个样本属性图,将原始信息输入至图卷积神经网络模型中,得到图中各节点的目标特征表示,并基于图中各节点的目标特征表示,确定图的目标图结构特征以及图中各节点之间的第二相似度;
对于每个样本属性图,确定图的初始图结构特征和目标图结构特征之间的第一差异、以及图中各节点之间的第一相似度和第二相似度之间的第二差异;
基于各样本属性图对应的第一差异和第二差异,确定图卷积神经网络模型的训练损失值,若训练损失值不满足训练结束条件,则调整图卷积神经网络的模型参数。
可选的,对于每个样本属性图,模型训练模块在将原始信息输入至图卷积神经网络模型中,得到图中各节点的目标特征表示,并基于图中各节点的目标特征表示时,具体用于:
基于原始信息,通过初始图神经网络模型执行以下操作,得到图中各节点的目标特征表示:
基于图的邻接矩阵,得到该图对应于至少两个层级的第一图结构特征;
对于每个层级的第一图结构特征,基于图的初始特征矩阵和层级的第一图结构特征,得到该图对应于层级的第一特征矩阵,初始特征矩阵中包含图的各节点的初始特征表示,第一特征矩阵中包含该图的各节点的第一特征表示;
对于图中每个节点,通过融合至少两个层级中各个层级的节点的第一特征表示,得到节点的第二特征表示;
基于样本属性图中各节点的第二特征表示,提取得到图中各节点的目标特征表示。
可选的,模型训练模块在基于图的邻接矩阵,得到该图对应于至少两个层级的第一图结构特征时,具体用于:
获取图的度矩阵;
基于图的邻接矩阵和单位矩阵相加,得到处理后的邻接矩阵;
基于图的度矩阵对处理后的邻接矩阵进行标准化处理,得到标准化的邻接矩阵;
将标准化的邻接矩阵作为图的一个层级的第一图结构特征,并对标准化的邻接矩阵进行至少一次自相乘运算,得到图对应于至少一个层级的第一图结构特征,其中,每次相乘处理的自相乘幂次不同。
可选的,对于每个样本属性图,模型训练模块在基于图中各节点的目标特征表示,确定图的目标图结构特征时,具体用于:
基于图中各节点的目标特征表示,确定图中各节点之间的第三相似度;
基于图中各节点之间的第三相似度,确定图的目标图结构特征。
可选的,对于每个样本属性图,模型训练模块在基于原始信息中的至少一项确定图的初始图结构特征时,具体用于以下任一项:
基于图的邻接矩阵,确定图的初始图结构特征;
基于原始信息,通过预训练好的特征提取模型,提取得到图中各节点的第三特征表示,并基于各节点的第三特征表示,确定图的初始图结构特征。
可选的,模型训练模块在基于各节点的第三特征表示,确定图的初始图结构特征时,具体用于:
基于各节点之间的第三特征表示,确定图中各节点之间的第四相似度;
基于图中各节点之间的第四相似度,确定图的初始图结构特征。
可选的,对于每个样本属性图,初始信息确定模块在基于图中各节点的初始特征表示,确定各节点之间的第一相似度时,具体用于:
对于图中的每两个节点,基于图中两个节点的初始特征表示,确定节点之间的基于标准高斯分布的第一联合分布概率,第一联合分布概率表征了两个节点之间的第一相似度;
对于每个样本属性图,模型训练模块在基于图中各节点的目标特征表示,确定图中各节点之间的第二相似度时,具体用于:
对于图中的每两个节点,基于图中两个节点的目标特征表示,确定两个节点之间的基于t分布随机邻居嵌入的第二联合分布概率,第二联合分布概率表征了两个节点之间的第二相似度。
可选的,在每执行预设次数的训练操作之后,对于每个样本属性图,将原始信息输入至图卷积神经网络模型中,得到图中各节点的目标特征表示之后,初模型训练模块还用于:
基于图中各节点的目标特征表示,将图中的各节点划分为至少两个类别;
对于至少两个类别中的每个类别,基于属于类别的各节点的目标特征表示,确定属于类别的节点之间的类内差异,并基于属于类别的各节点的目标特征表示和属于其他类别中每个类别的各节点的目标特征表示,确定不同类别之间的类间差异,其他类别是至少两个类中除类别之外的类别;
模型训练模块在基于各样本属性图对应的第一差异和第二差异,确定图卷积神经网络模型的训练损失值时,具体用于:
基于各样本属性图对应第一差异、第二差异、类内差异以及类间差异,确定图卷积神经网络模型的训练损失值。
可选的,对于至少两个类别中的每个类别,模型训练模块在基于属于类别的各节点的目标特征表示,确定属于类别的节点之间的类内差异,并基于属于类别的各节点的目标特征表示和属于其他类别中每个类别的各节点的目标特征表示,确定不同类别之间的类间差异时,具体用于:
确定类别的类别特征表示;
对于属于类别的每个节点,确定节点的目标特征表示和类别的类别特征表示之间的第三差异,基于属于类别的各节点对应的第三差异,得到属于类别的节点之间的类内差异;
对于属于类别的每个节点,确定节点的目标特征表示与其他类别中每个类别的类别特征标识之间的第四差异,基于属于类别的各节点对应的第四差异,得到类别与其他类别中各类别之间的类间差异。
可选的,模型训练模块还用于:
获取第一差异、第二差异和类别差异各自对应的权重,其中,类别差异包括类内差异和类间差异;
基于第一差异、第二差异和类别差异各自对应的权重对第一差异、第二差异和类别差异加权;
对各样本属性图对应的加权后的第一差异、加权后的第二差异和加权后的类别差异的求和,将和作为训练损失值。
又一方面,本申请实施例提供了一种属性图的处理装置,该装置包括:
待处理数据获取模块,用于获取待处理属性图以及待处理属性图中各节点的属性信息;
邻接矩阵确定模块,用于确定待处理属性图的邻接矩阵;
初始特征表示确定模块,用于对于每个节点,基于节点的属性信息确定节点的初始特征表示;
目标特征表示确定模块,用于将邻接矩阵和各节点的初始特征表示输出至图卷积神经网络模型中,得到各节点的目标特征表示,其中,图卷积神经网络模型是基于前文中所描述的对图卷积神经网络模型进行训练的方式训练得到的。
该装置还包括分类模块,用于:
基于各节点的目标特征表示,对待处理属性图中的各节点进行分类处理,得到各节点的分类结果。
另一方面,本申请实施例提供了一种电子设备,包括处理器以及存储器:存储器被配置用于存储计算机程序,计算机程序在由处理器执行时,使得处理器执行上述中的属性图的处理方法。
再一方面,本申请实施例还提供了一种计算机可读存储介质,计算机可读存储介质用于存储计算机程序,当计算机程序在计算机上运行时,使得计算机执行属性图的处理方法。
本申请提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述本申请任一可选实施例中提供的属性图的处理方法。
本申请实施例提供的技术方案带来的有益效果是:
在本申请实施例中,对于一个样本属性图而言,由于该图的初始图结构特征表征了该图的原始图结构信息,图中每个节点的初始特征表示了该节点的属性信息,因此,该图中各节点的之间的第一相似度表征了该图中各节点之间的属性信息的相似性,此时通过样本属性图的初始图结构特征和目标图结构特征之间的差异,以及图中各节点之间的第一相似度和第二相似度之间的差异,来约束模型的训练,可以使最终训练得到的图卷积神经网络模型在预测属性图中各节点的目标特征表示时,所得到的目标特征表示中依然能够保留属性图的原始图结构信息以及图中各节点之间的属性信息的相似度,从而在基于节点的目标特征表示进行分类处理时,可以有效的提升分类结果的准确度。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对本申请实施例描述中所需要使用的附图作简单地介绍。
图1为本申请实施例提供的一种属性图的处理方法的流程示意图;
图2为本申请实施例提供的一种对初始的图卷积神经网络模型执行训练操作的流程示意图;
图3为本申请实施例提供的两种图卷积神经网络的计算原理示意图;
图4本申请实施例提供的一种训练图卷积神经网络的架构示意图;
图5本申请实施例提供的P分布和Q分布的示意图;
图6为本申请实施例提供的另一种属性图的处理方法的流程示意图;
图7为本申请实施例提供的一种属性图的处理装置的结构示意图;
图8为本申请实施例提供的一种属性图的处理装置的结构示意图;
图9为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本申请,而不能解释为对本申请的限制。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
首先对本申请中可能涉及的几个名词进行介绍和解释:
1.属性图:每个节点都有自己的属性(也可以称之为特征)的图结构。
2.聚类:将图中的节点划分为不同的簇,使得簇内的节点尽可能相似,而簇间的节点尽尽可能差异性比较大。
3.属性图聚类:结合属性图的图结构信息以及属性图中节点的属性信息来做聚类。
4.PS(Parameter Server):参数服务器,用于机器学习领域分布式地存储(更新)超大规模参数。
5.Angel:一个基于参数服务器(Parameter Server)理念开发的高性能分布式机器学习平台。
6.Spark:一个专为大规模数据处理而设计的快速通用的计算引擎。
7.Spark on Angel(SONA):一个将Angel强大的参数服务器功能与Spark的大规模数据处理能力相结合的高性能分布式计算平台,其支持传统机器学习、深度学习和各类图算法。
目前,在对属性图进行聚类时,大多是以图卷积神经网络为基础,通过重构邻接矩阵的方法,将原先节点的高维特征表示压缩到低维空间,最后在低维向量表示的基础上应用传统的聚类算法产生最终聚类结果。但是,经发明人研究发明,目前在对属性图进行聚类时,至少存在以下问题:
(1)由于属性图的图结构可以分为低阶信息部分和高阶信息部分,而现有技术只能利用到1阶的图结构信息,即哪些节点是直接相连的,而没有利用到高阶图结构信息。比如拥有相似的邻居的两个节点显然应该拥有类似的低维特征表示,但现有方法在训练过程中并不存在使得这两个节点的低维特征表示尽量相似的约束,从而丢失了这部分信息。
(2)除了图结构信息之外,属性图的输入还包括节点的特征表示,节点的高维特征表示相似的节点有更高的概率属于同一个簇,因此保持高维特征表示中的相似度信息对于聚类结果也是有益的。而现有技术对高维特征表示中的相似度信息的处理相当于只挑选了一部分置信度较高的正样本(即相连节点,可称之为“假”正样本),但是,这一方法存在两方面的问题,一方面,这些正样本中存在属于不同簇的节点对,对这些“假”正样本的训练会导致最终聚类效果的下滑;另一方面,不同的正样本之间应该是存在差异的,而从现有技术认为所有相连节点属于同一个簇的概率都为1,这一做法显然是存在缺陷的;
(3)在实际应用中,属性图中的边可以被分成两类,一类是簇内的边,一类是簇间的边,而现有技术中对于进行聚类的节点的特征表示是一个相对泛化的低维节点表示,并没有对聚类任务做相应的优化,并且由于“假”正样本的存在,导致各个簇之间的界限会趋于模糊,聚类结果不准确。
基于此,本申请实施例提供一种属性图处理方法、装置、电子设备及可读存储介质,旨在解决现有技术中的部分或全部技术问题。
可选的,本申请实施例中可以对获取到的初始图神经网络模型进行训练,得到训练后的图神经网络,并基于训练后的图神经网络得到待处理属性图中各节点的目标特征表示。其中,在对初始图神经网络模型进行训练时具体涉及到人工智能技术中的机器学习技术。
其中,人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
而机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
可选的,对于本申请实施例中所涉及到得到数据处理/计算(如确定各节点之间的相似度的计算)可以基于云计算的方式得到。而云计算(cloud computing)是一种计算模式,它将计算任务分布在大量计算机构成的资源池上,使各种应用系统能够根据需要获取计算力、存储空间和信息服务。提供资源的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的,并且可以随时获取,按需使用,随时扩展,按使用付费。
作为云计算的基础能力提供商,会建立云计算资源池(简称云平台,一般称为IaaS(Infrastructure as a Service,基础设施即服务)平台,在资源池中部署多种类型的虚拟资源,供外部客户选择使用。云计算资源池中主要包括:计算设备(为虚拟化机器,包含操作系统)、存储设备、网络设备。按照逻辑功能划分,在IaaS(Infrastructure as a Service,基础设施即服务)层上可以部署PaaS(Platform as a Service,平台即服务)层,PaaS层之上再部署SaaS(Software as a Service,软件即服务)层,也可以直接将SaaS部署在IaaS上。PaaS为软件运行的平台,如数据库、web容器等。SaaS为各式各样的业务软件,如web门户网站、短信群发器等。一般来说,SaaS和PaaS相对于IaaS是上层。
可选的,本申请实施例中对于训练图神经网络模型的训练样本可以基于区块链的方式进行存储。其中,区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层。
区块链底层平台可以包括用户管理、基础服务、智能合约以及运营监控等处理模块。其中,用户管理模块负责所有区块链参与者的身份信息管理,包括维护公私钥生成(账户管理)、密钥管理以及用户真实身份和区块链地址对应关系维护(权限管理)等,并且在授权的情况下,监管和审计某些真实身份的交易情况,提供风险控制的规则配置(风控审计);基础服务模块部署在所有区块链节点设备上,用来验证业务请求的有效性,并对有效请求完成共识后记录到存储上,对于一个新的业务请求,基础服务先对接口适配解析和鉴权处理(接口适配),然后通过共识算法将业务信息加密(共识管理),在加密之后完整一致的传输至共享账本上(网络通信),并进行记录存储;智能合约模块负责合约的注册发行以及合约触发和合约执行,开发人员可以通过某种编程语言定义合约逻辑,发布到区块链上(合约注册),根据合约条款的逻辑,调用密钥或者其它的事件触发执行,完成合约逻辑,同时还提供对合约升级注销的功能;运营监控模块主要负责产品发布过程中的部署、配置的修改、合约设置、云适配以及产品运行中的实时状态的可视化输出,例如:告警、监控网络情况、监控节点设备健康状态等。
平台产品服务层提供典型应用的基本能力和实现框架,开发人员可以基于这些基本能力,叠加业务的特性,完成业务逻辑的区块链实现。应用服务层提供基于区块链方案的应用服务给业务参与方进行使用。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本申请的实施例进行描述。
可选的,本申请所提供的方法可以通过任一电子设备来执行,如该电子设备可以是服务器、也可以是终端设备。其中该服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云计算服务的云服务器。终端设备可以是智能手机、平板电脑、笔记本电脑、台式计算机等,但并不局限于此。终端设备以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
图1示出了本申请实施例中所提供的一种属性图的处理方法的流程示意图。如图1所示,该方法包括:
步骤S101,获取训练数据集,训练数据集中的每个样本包括一个样本属性图的原始信息,原始信息包括样本属性图的邻接矩阵和样本属性图中各节点的初始特征表示,一个节点的初始特征表示表征了节点的属性信息。
训练数据集指的是用于训练初始图卷积神经网络模型的数据集,该训练数据集中包括大量的训练样本。本申请实施例中,一个样本属性图的原始信息作为训练数据集中的一个样本。其中,一个样本属性图的原始信息可以包括该样本属性图的邻接矩阵和该样本属性图中各节点的初始特征表示,一个节点的初始特征表示表征了该节点的属性信息,样本属性图中各节点的初始特征表示可以组成初始特征矩阵,此时该初始特征矩阵中的每行可以代表一个节点的初始特征表示(也就是初始特征向量),矩阵的行数等于样本属性图中节点的总数,列数则为初始特征表示的特征维度,或者,该矩阵的列数等于节点的总数,每列代表一个节点的初始特征表示,行数则为初始特征表示的特征维度。
一般的,属性图中各节点的初始特征表示通常是一个高维的特征向量,为了后续的图处理任务,如对图中包含的节点进行分类,需要对图中各节点的初始特征向量进行处理,生成低维的节点表示(即目标特征表示)。需要说明的是,上述高维和低维是相对的概念,比如,一个节点的初始特征表示和目标特征表示的维度可以是不同的数量级的特征向量,如初始特征表示的特征维度是几十维的(即特征向量是一个包含几十个特征值的向量),目标特征表示的特征维度是几维的(即特征向量是一个包含几个特征值的向量)。
对于一个属性图而言,可以用一个一维数组存放图中所有顶点数据,用一个二维数组存放顶点间关系(边或弧)的数据,此时得到的二维数组称为该属性图的邻接矩阵,即将图的多对多的非线性结构用矩阵的方式表示,具体表示图中节点的连接情况。可以理解的是,对于不同的应用场景,上述样本属性图中的节点以及节点间的连边的含义很可能是不同的。比如,对于一个社交类应用而言,样本属性图可以是该应用中的用户对应的图结构,图中的每个节点对应于该应用的一个用户,如果两个用户之间具有关联关系(如进行过信息交互,如相互发送过信息),则两个用户对应的节点之间具有连边,每个节点对应的属性信息可以是该节点对应的用户的属性信息,如用户的年龄、性别、喜好等等。
步骤S102,对于每个样本属性图,基于原始信息中的至少一项确定图的初始图结构特征,并基于图中各节点的初始特征表示,确定图中各节点之间的第一相似度。
图结构是一种比树形结构更复杂的非线性结构(即离散结构),图的基本构成包括图中的节点和节点之间的连边。对于一个图而言,图结构特征(即图的结构特征)是指可以表征该图的整体结构的特征向量。由于图中各节点的初始特征表示代表了该图中各节点的属性信息,而图的邻接矩阵是基于该图中各节点的属性信息和节点之间的连接关系得到的,因此,对于一个样本属性图而言,可以基于该样本属性图的邻接矩阵或该图中各节点的初始特征表示中的至少一项确定该图的初始图结构特征。
对于一个样本属性图,基于该图中各节点的初始特征表示,确定各节点之间的第一相似度的具体方式,本申请实施例不做限定。比如,对于图中的任意两个节点,可以通过计算这两个节点的初始特征表示之间的距离(如欧式距离)来确定两个节点之间的相似度。
步骤S103,基于训练数据集对初始的图卷积神经网络模型重复执行以下训练操作,直至训练损失值满足训练结束条件,得到训练好的图卷积神经网络模型。
其中,上述对初始的图卷积神经网络模型重复执行的训练操作如图2所示,可以包括步骤S201至步骤S203:
步骤S201,对于每个样本属性图,将原始信息输入至图卷积神经网络模型中,得到图中各节点的目标特征表示,并基于图中各节点的目标特征表示,确定该图的目标图结构特征以及图中各节点之间的第二相似度。
步骤S202,对于每个样本属性图,确定图的初始图结构特征和目标图结构特征之间的第一差异、以及图中各节点之间的第一相似度和第二相似度之间的第二差异。
步骤S203,基于各样本属性图对应的第一差异和第二差异,确定图卷积神经网络模型的训练损失值,若训练损失值不满足训练结束条件,则调整图卷积神经网络的模型参数。
在获取到训练数据集后,可以将训练数据集中每个样本(即每个样本属性图的原始信息)分别输入至图卷积神经网络模型中,图卷积神经网络模型可以输出每个样本属性图中各节点的目标特征表示。其中,目标特征表示即通过模型预测得到的各节点的特征向量,其中,一个节点的目标特征表示的维度小于该节点的初始特征表示。
对于每个样本属性图,在得到该图中各节点的目标特征表示后,可以基于该图中各节点的目标特征表示,确定该图的目标图结构特征,并基于该图中各节点的目标特征表示确定该图中各节点之间的相似度(即第二相似度)。
对于一个样本属性图而言,由于该图的初始图结构特征表征了该图的原始图结构信息,由于图中每个节点的初始特征表示了该节点的属性信息,因此,该图中各节点的之间的第一相似度表征了该图中各节点之间的属性信息的相似性。为了使最终训练得到的图卷积神经网络模型在预测属性图中各节点的目标特征表示时,使目标特征表示中依然能够保留属性图的原始图结构信息以及图中各节点之间的属性信息的相似度,可以通过样本属性图的初始图结构特征和目标图结构特征之间的差异,以及图中各节点之间的第一相似度和第二相似度之间的差异,来约束模型的训练。
其中,训练结束条件可以根据实际需求预先设置,如可以设置为训练损失值小于预设阈值等,本申请实施例不进行限定,如训练结束条件还可以包括训练次数达到设定次数等。在基于所有样本属性图对应的第一差异和第二差异计算得到图卷积神经网络的训练损失值之后,如果训练损失值不满足训练结束条件,则说明当前的图卷积神经网络的模型参数还不满足要求,仍需要对图卷积神经网络继续进行训练,则可以对图卷积神经网络的模型参数进行调整,并基于训练数据集对模型参数调整后的图卷积神经网络继续重复上述训练操作,直至训练损失值满足训练结束条件。
在实际应用中,不同的应用场景和应用需求,对图卷积神经网络模型的模型性能的需求也可能是不同的,比如,对于上述图结构信息和图中节点之间的属性信息的相似性这两个层面,有些场景中可能更关注于图结构信息,有些场景中可能更关注于图中节点之间的属性信息之间的相似性。为了更好的满足这些应用需求,不同层面的训练损失可以赋予不同的权重。可选的,上述基于各样本属性图对应的第一差异和第二差异,确定图卷积神经网络模型的训练损失值,可以包括:
获取第一差异对应的第一权重,以及第二差异对应的第二权重;
根据第一权重对各样本属性图的第一差异进行加权,根据第二权重对各样本属性图的第二差异进行加权;
对各样本属性图对应的加权后的第一差异和第二差异求和,基于求和结果得到图卷积神经网络模型的训练损失值。
可选的,在不同层面的训练损失可以赋予不同的权重时,可以获取第一差异对应的第一权重,以及第二差异对应的第二权重,然后根据第一权重对各样本属性图的第一差异进行加权以及根据第二权重对对各样本属性图的第二差异进行加权,然后将加权后所得到的第一差异和第二差异求和,此时所得到的和为图卷积神经网络模型的训练损失值。
在本申请实施例中,对于一个样本属性图而言,由于该图的初始图结构特征表征了该图的原始图结构信息,图中每个节点的初始特征表示了该节点的属性信息,因此,该图中各节点的之间的第一相似度表征了该图中各节点之间的属性信息的相似性,此时通过样本属性图的初始图结构特征和目标图结构特征之间的差异,以及图中各节点之间的第一相似度和第二相似度之间的差异,来约束模型的训练,可以使最终训练得到的图卷积神经网络模型在预测属性图中各节点的目标特征表示时,所得到的目标特征表示中依然能够保留属性图的原始图结构信息以及图中各节点之间的属性信息的相似度,从而在基于节点的目标特征表示进行分类处理时,可以有效的提升分类结果的准确度。
在本申请可选的实施例中,对于每个样本属性图,将将原始信息输入至图卷积神经网络模型中,得到图中各节点的目标特征表示,并基于图中各节点的目标特征表示,包括:
基于原始信息,通过初始图神经网络模型执行以下操作,得到图中各节点的目标特征表示:
基于图的邻接矩阵,得到该图对应于至少两个层级的第一图结构特征;
对于每个层级的第一图结构特征,基于图的初始特征矩阵和层级的第一图结构特征,得到图对应于层级的第一特征矩阵,初始特征矩阵中包含图的各节点的初始特征表示,第一特征矩阵中包含图的各节点的第一特征表示;
对于图中每个节点,通过融合至少两个层级中各个层级的节点的第一特征表示,得到节点的第二特征表示;
基于样本属性图中各节点的第二特征表示,提取得到图中各节点的目标特征表示。
图的邻接矩阵是根据图中各节点的属性信息和各节点的属性信息之间关联关系得到的,此时图的邻接矩阵可以作为图的一个基础的图结构特征,即可以作为一个低阶(即低层级)的图结构信息,而图中的节点的初始特征表示是节点的一个初始的特征向量,因此,可以通过包含图结构信息的邻接矩阵和图中各节点的初始特征表示通过图卷积神经网络模型获取到同时融合了节点的属性信息和节点之间关联关系的目标特征表示。
由前文的描述可知,由于图的邻接矩阵利用到了图中低阶的图结构信息,即图中哪些节点之间是直接相连的,而没有利用到了图中高阶的图结构信息,而为了获取到具有更好的特征表达能力的节点的目标特征,可以基于图的邻接矩阵,来获取图的高阶图结构信息,并基于图中各节点的初始特征表示和每个层级的图结构特征,得到各节点对应于各个层级的特征表示(即第一特征表示),之后,对于图中每个节点,可以通过融合至少两个层级中各个层级的该节点的特征表示能够得到同时融合了多个层级的图结构信息以及节点的属性信息的第二特征表示,进一步基于该样本属性图中各节点的第二特征表示,可以提取得到该图中各节点的目标特征表示。
可见,在本申请实施例中,对于每个节点的第二特征表示是融合了至少两个层级的第一图结构特征,而至少两个层级的第一图结构特征表征了不同层级的图结构特征,从而在基于该样本属性图中各节点的第二特征表示,提取得到该图中各节点的目标特征表示时,所得到的各节点的目标特征表示所表征的信息将会更加丰富,具有更好的特征表达能力,而在基于该目标特征表示进行进一步处理时,可以进一步的提升了处理效果。
在本申请可选的实施例中,基于图的邻接矩阵,得到该图对应于至少两个层级的第一图结构特征,包括:
获取图的度矩阵;
基于图的邻接矩阵和单位矩阵相加,得到处理后的邻接矩阵;
基于图的度矩阵对处理后的邻接矩阵进行标准化处理,得到标准化的邻接矩阵;
将标准化的邻接矩阵作为图的一个层级的第一图结构特征,并对标准化的邻接矩阵进行至少一次自相乘运算,得到该图对应于至少一个层级的第一图结构特征,其中,每次相乘处理的自相乘幂次不同。
其中,对于一个样本属性图,图的度矩阵指的是用于描述图中每个节点的度的矩阵,节点的度表示与节点相连的边的数量,度矩阵是一个对角矩阵。
可选的,对于一个样本属性图,因为该图的邻接矩阵的对角都是0,其和特征矩阵内积相当于将邻接矩阵做了加权和,此时节点特征的值成为了邻接矩阵的权,自身的特征被忽略。为避免这种情况,可以以将单位矩阵和该图的邻接矩阵和单位矩阵相加,得到处理后的邻接矩阵,此时处理后的邻接矩阵的对角元素变成1。但是,由于邻接矩阵A没有经过归一化处理,难以将数据限制在一定范围内,此时可以通过归一化处理将数据变得具有可比性,但又相对保持数据之间的关系。因此,为了避免邻接矩阵和特征矩阵内积相乘改变特征原本的分布,此时需要对基于该图的度矩阵对处理后的邻接矩阵进行标准化处理,得到标准化的邻接矩阵,此时所得到的标准化的邻接矩阵即可视为该图的一个层级的第一图结构特征。进一步的,为了得到更多层级的第一图结构特征,可以对标准化的邻接矩阵进行至少一次幂次不同的自相乘运算,得到至少一个运算结果,此时所得到的每一个运算结果视为该图对应于一个层级的第一图结构特征。例如,对于标准化的邻接矩阵,可以对该对标准化的邻接矩阵进行3次至少一次幂次不同的自相乘运算,此时对该对标准化的邻接矩阵进行一次幂的自相乘运算可以视为第一层级的第一图结构特征,对该对标准化的邻接矩阵进行二次幂的自相乘运算可以视为第而层级的第一图结构特征,而对该对标准化的邻接矩阵进行三次幂的自相乘运算可以视为第三层级的第一图结构特征。
在本申请可选的实施例中,对于每个样本属性图,基于图中各节点的目标特征表示,确定图的目标图结构特征,包括:
基于图中各节点的目标特征表示,确定图中各节点之间的第三相似度;
基于图中各节点之间的第三相似度,确定图的目标图结构特征。
对于一个样本属性图,图中任意两个节点的相似度越高,说明这两个节点在该图中对应的图结构越相似,因此,可以基于该属性图中各节点之间的第三相似度,确定该图的目标图结构特征。可选的,可以将该样本属性图对应的相似度矩阵,作为该图的目标图结构特征,或者是对该相似度矩阵中的元素值(也就是第三相似度)进行归一化处理,将归一化处理后的相似度矩阵作为该图的目标图结构特征,其中,该相似度矩阵中包含该样本属性图中各节点之间的第三相似度。
其中,基于各节点的目标特征表示确定节点之间的第三相似度的具体方式本申请实施例不做限定,如可以使用两个节点的目标特征表示之间的余弦相似度来度量两个节点之间的第三相似度。可选的,对于任一样本属性图,假设以Z表示该图的目标特征矩阵,该矩阵中包含该图中各节点的目标特征表示(如每行对应一个节点的目标特征表示),则该样本属性图的目标图结构特征可以表示如下:
在本申请可选的实施例中,对于每个样本属性图,基于原始信息中的至少一项确定图的初始图结构特征,包括以下任一项:
基于图的邻接矩阵,确定图的初始图结构特征;
基于原始信息,通过预训练好的特征提取模型,提取得到图中各节点的第三特征表示,并基于各节点的第三特征表示,确定图的初始图结构特征。
可选的,对于一个样本属性图的初始图结构特征可以基于不同的方式来确定,一种可选的方式为直接基于该图的邻接矩阵确定该样本属性图的初始图结构特征,如,可以将该样本属性图的邻接矩阵作为该样本属性图的初始图结构特征,或者,可以对该样本属性图的邻接矩阵进行进一步的处理得到,比如,可以是对该样本属性图的邻接矩阵进行标准化处理,将标准化处理后的邻接矩阵作为该样本属性图的初始图结构特征,或者是对标准化后的邻接矩阵进行自相乘处理,得到该样本属性图的初始图结构特征,其中,对标准化后的邻接矩阵进行自相乘处理的幂次本申请实施例不做限定,上述对该样本属性图的邻接矩阵进行标准化处理的方式可以是将该样本属性图的邻接矩阵和单位矩阵相加,得到处理后的邻接矩阵,并基于该样本属性图的度矩阵对处理后的邻接矩阵进行标准化处理,得到标准化的邻接矩阵。
另一种可选的实施方式为,可以获取预训练好的特征提取模型,然后将该样本属性图的原始信息输入至该特征提取模型,通过该特征提取模型对该样本属性图的原始信息进行特征提取,得到该样本属性图中各节点的第一特征表示,然后提取得到的基于各节点的第三特征表示,确定该样本属性图的初始图结构特征。其中,特征提取模型可以指的是能够再次提取得到高阶图结构信息的模型,其中,特征提取模型的具体模型结构本申请实施例不做限定,如可以为DeepWalk(深度游走)模型等。
在本申请可选的实施例中,基于各节点的第三特征表示,确定图的初始图结构特征,包括:
基于各节点之间的第三特征表示,确定图中各节点之间的第四相似度;
基于图中各节点之间的第四相似度,确定图的初始图结构特征。
对于一个样本属性图,图中任意两个节点的相似度越高,说明这两个节点在该图中对应的图结构越相似,因此,可以基于各节点之间的第三特征表示,确定该图中各节点之间的第四相似度,并基于该属性图中各节点之间的第四相似度,确定该图的初始图结构特征。可选的,可以将该样本属性图对应的相似度矩阵,作为该图的初始图结构特征,或者是对该相似度矩阵中的元素值(也就是第四相似度)进行归一化处理,将归一化处理后的相似度矩阵作为该图的初始图结构特征,其中,该相似度矩阵中包含该样本属性图中各节点之间的第四相似度。
本申请可选的实施例中,对于每个样本属性图,基于图中各节点的初始特征表示,确定各节点之间的第一相似度,包括:
对于图中的每两个节点,基于图中两个节点的初始特征表示,确定节点之间的基于标准高斯分布的第一联合分布概率,第一联合分布概率表征了两个节点之间的第一相似度;
对于每个样本属性图,基于图中各节点的目标特征表示,确定图中各节点之间的第二相似度,包括:
对于图中的每两个节点,基于图中两个节点的目标特征表示,确定两个节点之间的基于t分布随机邻居嵌入的第二联合分布概率,第二联合分布概率表征了两个节点之间的第二相似度。
可选的,在确定各节点之间的相似度时,可以把节点之间的欧氏距离转化为联合概率分布,以联合概率分布中的各概率值来表示各节点之间的相似度。此时对于每个样本属性图,对于该图中的每两个节点,可以基于两个节点的初始特征表示,确定节点之间的基于标准高斯分布(即P分布)的第一联合分布概率,该第一联合分布概率表征了该两个节点之间的第一相似度,而在得到该图中各节点的目标特征表示后,对于该图中的每两个节点,可以基于该图中各节点的目标特征表示,确定两个节点之间的基于t分布随机邻居嵌(即后文中的Q分布)入的第二联合分布概率,此时第二联合分布概率可以视为两个节点之间的第二相似度。
在本申请可选的实施例中,在每执行预设次数的训练操作之后,对于每个样本属性图,将原始信息输入至图卷积神经网络模型中,得到图中各节点的目标特征表示之后,还包括:
基于图中各节点的目标特征表示,将图中的各节点划分为至少两个类别;
对于至少两个类别中的每个类别,基于属于类别的各节点的目标特征表示,确定属于类别的节点之间的类内差异,并基于属于类别的各节点的目标特征表示和属于其他类别中每个类别的各节点的目标特征表示,确定不同类别之间的类间差异,其他类别是至少两个类中除类别之外的类别;
基于各样本属性图对应的第一差异和第二差异,确定图卷积神经网络模型的训练损失值,包括:
基于各样本属性图对应第一差异、第二差异、类内差异以及类间差异,确定图卷积神经网络模型的训练损失值。
可选的,对于每个样本属性图,在得到该图中各节点的目标特征表示后,可以基于各节点的目标特征表示对该图中各节点进行类别划分,将各节点划分为至少两个类别。其中,在对该图中各节点进行类别划分时可以根据需求选择预设的聚类算法进行聚类,如可以采用K-Means算法等,本申请实施例不限定。
进一步的,对于划分得到的每个类别,可以确定属于该类型内的各节点之间的差异性,即确定该类别的类内差异,该类内差异可以基于属于该类别的各节点的目标特征表示来确定。同理,对于不同的类别,也可以确定不同类别之间的差异(即类间差异),此时在确定某一个类别与其它类别之间的类间差异时,可以基于属于该类别的各节点的目标特征表示和属于该其他类别中每个类别的各节点的目标特征表示来确定。
相应的,在确定出各样本属性图对应的每个类别的类内差异以及不同类别之间的类间差异后,可以基于各样本属性图对应第一差异、第二差异、类内差异以及类间差异,确定图卷积神经网络模型的训练损失值。
在本申请可选的实施例中,对于至少两个类别中的每个类别,基于属于类别的各节点的目标特征表示,确定属于类别的节点之间的类内差异,并基于属于类别的各节点的目标特征表示和属于其他类别中每个类别的各节点的目标特征表示,确定不同类别之间的类间差异,包括:
确定类别的类别特征表示;
对于属于类别的每个节点,确定节点的目标特征表示和类别的类别特征表示之间的第三差异,基于属于类别的各节点对应的第三差异,得到属于类别的节点之间的类内差异;
对于属于类别的每个节点,确定节点的目标特征表示与其他类别中每个类别的类别特征标识之间的第四差异,基于属于类别的各节点对应的第四差异,得到类别与其他类别中各类别之间的类间差异。
其中,类别的类别特征表示用于表示一个类别的类别特征向量,表征了属于该类别的各节点之间的共性,一个类别的类别特征表示可以理解为该类别的中心特征向量即类中心(也就是簇中心或簇质心,每个类可以称为一个簇)。
可选的,在确定一个类别的类内差异时,可以确定该类别的类别特征表示,类别的类别特征可以根据属于这个类的节点的目标特征表示确定的,也可以是对各节点进行类别划分的过程中就确定出的。然后可以确定属于该类别的每个节点的目标特征表示和该类别的类别特征表示之间的第三差异,进一步的基于每个节点的目标特征表示和该类别的类别特征表示之间的第三差异,即可得到属于该类别的各节点之间的类内差异。而在确定一个类别和其他类别中各类别之间的类间差异时,可以确定该属于该类别的每个节点的目标特征表示与其他类别中每个类别的类别特征标识之间的差异性(即第四差异),然后基于属于该类别的各节点对应的第四差异,得到该类别与其他类别中各类别之间的类间差异。
在本申请可选的实施例中,该方法还包括:
获取第一差异、第二差异和类别差异各自对应的权重,其中,类别差异包括类内差异和类间差异;
基于第一差异、第二差异和类别差异各自对应的权重对第一差异、第二差异和类别差异加权;
对各样本属性图对应的加权后的第一差异、加权后的第二差异和加权后的类别差异的求和,将和作为训练损失值。
在实际应用中,不同的应用场景和应用需求,对图卷积神经网络模型的模型性能的需求也可能是不同的,比如,对于上述图结构信息、图中节点之间的属性信息的相似性以及类别结果这三个层面,有些场景中可能更关注于图结构信息,有些场景中可能更关注于各类别结果内的差异性以及各类别结果之间的差异性。为了更好的满足这些应用需求,不同层面的训练损失可以赋予不同的权重。
可选的,可以将类内差异和类间差异划分为类别差异,此时可以获取第一差异、第二差异以及类别差异各自的权重值,然后基于第一差异、第二差异和类别差异各自对应的权重对第一差异、第二差异和类别差异加权,然后对对各样本属性图对应的加权后的第一差异、加权后的第二差异和加权后的类别差异进行求和处理,将得到的和作为训练损失值。
为了更好理解本申请实施例中对于图卷积神经网络模型进行训练的过程,下面对该训练方法进行详细说明。现有技术中,图卷积神经网络的输入为属性图的邻接矩阵以及属性图中各节点的初始特征表示,其中,图卷积神经网络公式如下所示:
其中,X(l)和X(l+1)分别为基于图卷积神经网络中的第l层和第l+1层得到的包含各节点的目标特征表示的目标特征矩阵,当l=1时,X(l)为包括属性图中各节点的初始特征表示的初始特征矩阵,IN为单位矩阵,为度矩阵,表示中第i行第i列的元素值,j表示中的列数,表示对中第i行的元素按列求和,A为属性图的邻接矩阵,W(l)为第l层的权重矩阵(即模型参数),σ表示非线性激活函数。此时通过该公式可知,若图卷积神经网络包括K层,此时通过该图卷积神经网络所得到各节点的目标特征表示则可以捕获K层以内的图信息。
但是,由于每一个节点在图卷积神经网络的每一层的训练过程中都需要许多别的节点的特征表示,此时将会存在可拓展性比较弱,在面对规模较大的属性图时效率较低的问题。因此,解耦的图卷积神经网络被提了出来,基于图卷积神经网络公式可以看出,未解耦的图卷积神经网的每一层都可以分为两个过程,第一步是左乘即实现聚集邻居节点的特征表示(Propagation,简写为P),第二步是右乘权重矩阵W(l),即实现一次维度变换(Transformation,简写为T),而解耦的图卷积神经网络则可以把这两个步骤分解开来,先做完所有的左乘的操作,然后再接一个普通的逻辑回归(即维度变换),此时解耦的图卷积神经网络和未解耦的图卷积神经网络的区别可以如图3所示,通过图3可知,未解耦的图卷积神经网中的P与T依次相邻,即每次先进行左乘再右乘权重矩阵W(l),而解耦的图卷积神经网中的所有的P依次相邻后再与所有的T相邻,即实现所有的左乘的操作,然后再接一个普通的逻辑回归。相应的,解耦以后的图卷积神经网络的训练成本相比未解耦的图卷积神经网络要小得多,有更强的可拓展性,在面对规模较大的属性图时仍能拥有不错的效率。如假设未解耦的图卷积神经网络有k层,那么解耦的图卷积神经网络公式则如下所示:
其中,Z表示包含属性图中各节点的目标特征表示的目标特征矩阵,表示对进k次幂运算,该可以基于前文中关于公式计算得到,在此不再赘述,X表示包括属性图中各节点的初始特征表示的初始特征矩阵,W表示权重矩阵(即模型参数),σ表示非线性激活函数。
可选的,本示例中的图卷积神经网络模型可以为解耦的图卷积神经网络,也可以为未解耦的图卷积神经网络中,下面以图卷积神经网络模型为解耦的图卷积神经网络为例,对该解耦的图卷积神经网络进行训练的过程进行详细说明。
如图4所示,本申请实施例提供一种训练该解耦的图卷积神经网络的架构示意图。可选的,在训练该解耦的图卷积神经网络时,可以基于Angel通过PS采用spark训练框架对该解耦的图卷积神经网络进行训练,得到训练后的图卷积神经网络,或者通过高性能分布式计算平台Spark on Angel(SONA)对该解耦的图卷积神经网络进行训练,得到训练后的图卷积神经网络,然后基于训练后的图卷积神经网络得到属性图中各节点的目标特征表示。
在本示例中,获取到的样本属性图的原始信息包括样本属性图的邻接矩阵A以及包括样本属性图中各节点的初始特征表示的初始特征矩阵X,其中,样本属性图中各节点的初始特征表示以及样本属性图的邻接矩阵可以基于信息提取器对样本属性图进行信息提取得到。进一步的,可以将每个样本属性图的原始信息输入至解耦的图卷积神经网络中,得到每个样本属性图中各节点的目标特征表示。进一步可以基于样本属性图中各节点的目标特征表示得到样本属性图对应的目标特征矩阵Z,然后基于各样本属性图对应的目标特征矩阵Z、各样本属性图对应的初始特征矩阵X,各样本属性图对应的邻接矩阵A分别确定节点特征表示部分损失(通过Ls表示)、自监督训练部分损失(通过Lc表示)以及图结构部分损失(Lp表示)来实现对该解耦的图卷积神经网络展开训练,直至对应的训练损失值收敛。其中,进行节点特征表示部分损失时,指的是可以基于各样本属性图对应的目标特征矩阵Z以及各样本属性图对应的初始特征矩阵X计算P分布的联合分布概率和Q分布的联合分布概率,然后基于得到的结果对该解耦的图卷积神经网络展开训练;进行自监督训练部分损失时指的是基于各样本属性图对应的目标特征矩阵Z进行聚类,得到聚类结果,然后基于得到的聚类结果以及各样本属性图对应的目标特征矩阵Z对该解耦的图卷积神经网络展开训练;进行图结构部分损失时,指的是可以基于各样本属性图对应的目标特征矩阵Z确定采用目标特征表示时各节点之间的相似度,以及基于各样本属性图的邻接矩阵A确定采用初始特征表示时各节点之间的相似度,然后基于得到的相似度差异对该解耦的图卷积神经网络展开训练。
可选的,对于每个样本属性图,可以获取该图的度矩阵然后将该图的邻接矩阵A和单位矩阵IN相加,得到处理后的邻接矩阵并基于该样本属性图的度矩阵对处理后的邻接矩阵进行标准化处理,得到标准化的邻接矩阵进一步对标准化的邻接矩阵进行k次自相乘运算,得到该图分别对应于k个层级的第一图结构特征对于每个节点,可以将初始特征矩阵X和每个层级的第一图结构特征分别进行融合,得到该节点的第一特征表示然后可以拼接各个层级的该节点的第一特征表示,得到该节点的第二特征表示并入至前文中解耦的图卷积神经网络公式,得到节点的目标特征表示Z,此时解耦的图卷积神经网络公式可以表示为
具体的,下面对通过确定节点特征表示部分损失(通过Ls表示)、自监督训练部分损失(通过Lc表示)以及图结构部分损失(Lp表示)来实现对该解耦的图卷积神经网络展开训练的过程进行详细说明。
(1)确定图结构部分损失:
具体的,对于每个样本属性图,可以基于该图的邻接矩阵A确定该的初始图结构特征(具体可以采用表征),而的计算方式可参见前文描述,在此就不再赘述。进一步的,可以基于该图中各节点的目标特征表示Z,确定该图的目标图结构特征。其中,在确定目标图结构特征时,具体可以通过下列公式确定:
进一步的,可以确定该图的初始图结构特征和目标图结构特征之间的第一差异作为图结构部分损失,具体可以基于下列公式确定:
可选的,在确定该图的初始图结构特征时,还可以将该图的邻接矩阵A以及该图中各节点的初始特征表示输入至能预训练好的其它模型,得包含该图中各节点的第三特征表示的矩阵ZDW,然后将ZDW代入公式中,得到初始图结构特征SDW,进一步的,可以确定该图的初始图结构特征SDW和目标图结构特征S之间的第一差异作为图结构部分损失,具体可以基于下列公式确定:
在本申请实施例中,的k次幂包含了解耦的图卷积神经网络中k层之内的图结构信息,对于的第i行,当的取值越大,说明节点i和节点j在k层之内的图结构上越相似。而本示例中通过利用邻接矩阵的幂次,或预训练好的其它模型确定初始图结构特征和目标图结构特征之间的差异性来对模型进行训练,能够使通过该解耦的图卷积神经网络获取到的各节点的目标特征表示保留了初始特征表示中的图结构信息。
(2)确定节点特征表示部分损失:
在实际应用中,由于节点的初始特征表示与最后得到的目标特征表示在维度上有比较大的差距(一般为一到两个数量级),而目标特征表示的容量比初始特征表示要大得多,对于采用目标特征表示的一个节点来说,可以把所有其它节点按照离该节点距离的远近抽象地分为3类:近节点、中等距离节点和远节点,此时由于在采用目标特征表示和在采用初始特征表示时容量的巨大差异,原本在采用初始特征表示时的一部分中等距离节点在采用目标特征表示时可能就变成了远节点,从而破坏了在采用初始特征表示时的聚类结构,增加了聚类的难度。基于此,在本申请实施例中,可以模仿经典的可视化方法t-SNE的做法,把样本属性图中各节点之间的欧氏距离转化为联合概率分布,以此来表示各节点之间的相似度。具体的,在采用初始特征表示中,可以基于高斯分布联合分布概率表示各节点之间的相似度(即第一相似度),而在采用目标特征表示中,可以基于重尾分布”之一的t分布(即图4中的Q分布)联合分布概率表示各节点之间的相似度(即第二相似度),具体可以如图5所示。基于该图5可知,当t分布的自由度设为1(即df=1)相比于自由度设为10(即df=10)时,该分布与标准高斯分布比较相似,且概率分布函数后半段下降较为缓慢,此时Q分布能够尽量接近P分布(即高斯分布),保证了各节点的目标特征表示中保留了各节点的初始特征时的相似度信息。
其中,高斯分布联合分布概率可以通过下列公式得到:
其中,pij表示节点i的初始特征表示和节点j的初始特征表示之间的相似度,Xi表示节点i的初始特征表示,Xj表示节点j的初始特征表示,Xk表示节点k的初始特征表示,Xl表示节点l的初始特征表示,σ表示非线性激活函数。
Q分布联合分布概率可以通过下列公式得到:
其中,qij表示节点i的目标特征表示和节点j的目标特征表示之间的相似度,Zi表示节点i的目标特征表示,Zj表示节点j的目标特征表示,Zk表示节点k的目标特征表示,Zl表示节点l的目标特征表示。
进一步的,可以确定样本属性图中各节点之间的高斯分布联合分布概率和Q分布联合分布概率之间的差异(即第二差异),并作为节点特征表示部分损失,对该解耦的图卷积神经网络进行训练。
在本实例中,可以使用KL散度作为节点特征表示部分损失,具体可以如下列公式所示:
Ls=KL(P||Q)。
其中,Ls表示节点特征表示部分损失的值,P表示各节点的高斯联合分布概率,Q表示各节点的Q分布联合分布概率。
(3)确定自监督训练部分损失:
具体的,在得到样本属性图中各节点的目标特征表示后,可以基于得到的样本属性图中各节点的目标特征表示,在隔固定的迭代间隔(5次或10次迭代)后运行一遍K-Means聚类算法,将样本属性图中的各节点划分为至少两个类别。进一步的,可以基于所划分得到的类别结果,以及每个类别中所属的节点的目标特征表示得到类别结果对应的类别差异并作为自监督训练部分损失。其中,类别结果对应的类别差异包括可以每个类别内的各节点之间的类内差异、以及每个类别与其他类别中各类别之间的类间差异,具体可以基于下列公式来确定自监督训练部分损失的值:
其中,表示每个类别与其他类别中各类别之间的类间差异,表示每个类别内各节点之间的类内差异,γ表示超参数,N表示节点数量,Cj表示类别j中作为质心的节点,表示类别j中作为质心的节点的目标特征表示,Zi表示节点i的目标特征表示,Yi表示节点i所属的类别中作为质心的节点,节点i所属的类别中作为质心的节点的目标特征表示,k表示该解耦的图卷积神经网络包括的层数。
在本申请实施例中,在基于该自监督训练部分损失对模型进行训练时,对于每个节点,可以在基于得到的分类结果的基础上最小化该节点到所在类别的质心的距离,最大化该节点到所有其它类别的距离,即相当于产生了两股力量,一股力量让每个点更加地靠近自己所属的类别,另一股力量让每个点更加地远离别的类别,这两股力量使得各个类别之间的界限趋于清晰。此外,通过自监督训练的方法,也可以使得该解耦的图卷积神经网络针对聚类任务进行了一定的优化,进一步发掘了该解耦的图卷积神经网络针对聚类任务的潜能。
进一步的,在得到节点特征表示部分损失、自监督训练部分损失以及图结构部分损失后,可以基于节点特征表示部分损失、自监督训练部分损失以及图结构部分损失,得到该解耦的图卷积神经网络的损失函数的值,然后基于损失函数的值对该解耦的图卷积神经网络进行训练,直至满足训练结束条件,得到训练后的图卷积神经网络。其中,该解耦的图卷积神经网络的损失函数的值如下所示:
L=Ls+αLp+βLc
其中,L表示解耦的图卷积神经网络的损失函数的值,α和β表示权重值,其可以根据不同的数据集进行调整,Ls表示节点特征表示部分损失的值、Lp表示图结构部分损失的值、Lc表示自监督训练部分损失的值。
在本申请中,对于属性图中各节点的图结构和属性图中各节点的初始特征表示这两部分的处理过程重新设计了损失函数对图卷积神经网络模型进行训练,此时基于训练好的图神经网络模型得到的各节点的目标特征表示中保留了各节点的初始特征表示中各节点之间的相似度信息,并且由于还引入了自监督的训练方法,减少了簇间的边带来的副作用,进一步开发了图卷积神经网络模型在聚类任务上的潜能,并且可以基于端到端的训练模式对图卷积神经网络模型进行训练。
图6示出了本申请实施例中所提供的一种属性图处理方法的流程示意图。如图6所示,该方法包括:
步骤S601,获取待处理属性图以及待处理属性图中各节点的属性信息。
步骤S602,确定待处理属性图的邻接矩阵。
步骤S603,对于每个节点,基于节点的属性信息确定该节点的初始特征表示。
其中,待处理属性图中可以包括各节点的属性信息,此时对于所包括的每个节点,可以该节点的属性信息确定该节点的初始特征表示,即一个节点的属性信息可以基于初始特征表示来表征。进一步的,可以确定该待处理属性图的邻接矩阵,该邻接矩阵可以通过待处理属性图的图结构来确定。例如,假设邻接矩阵是一个n*n的矩阵,此时如果节点i和节点j之间有边相连,那么就在第i行第j列和第j行第i列填1,其余地方都填0,基于同样的道理确定n*n的矩阵中的每个特征值,从而得到邻接矩阵。
步骤S604,将邻接矩阵和各节点的初始特征表示输出至图卷积神经网络模型中,得到各节点的目标特征表示,其中,图卷积神经网络模型是基于对初始图卷积神经网络模型进行训练后得到的。
具体的,在得到待处理属性图的邻接矩阵以及所包括的各节点的初始特征表示后,可以将邻接矩阵和各节点的初始特征表示输出至图卷积神经网络模型中,得到各节点的目标特征表示,此时对于一个节点来说,该节点的目标特征表示的维度小于该节点的初始特征表示的维度,且该待处理属性图中的各节点的目标特征表示中保留了各节点的初始特征中的相似度信息。其中,关于该图卷积神经网络模型的训练方法已在前文详细说明,具体可以参见前文描述,再次就不再赘述。
在本申请可选的实施例中,该方法还包括:
基于各节点的目标特征表示,对待处理属性图中的各节点进行分类处理,得到各节点的分类结果。
可选的,在得到各节点的目标特征表示后,可以基于各节点的目标特征表示,对待处理属性图中的各节点进行分类处理,得到各节点的分类结果。例如,在对图像进行分类时,所有的待分类图像可以视为一个待处理属性图,每个待分类图像可以视为该待处理属性图中的一个节点,此时可以获取每个待分类图像的属性信息,并基于待分类图像的属性信息确定每个待分类图像的初始特征表示,以及确定该待处理属性图的邻接矩阵,然后将邻接矩阵和每个待分类图像的初始特征表示输入至图卷积神经网络模型中,得到每个待分类图像的目标特征表示,最后基于每个待分类图像的目标特征表示采用聚类算法进行分类,得到各分类结果。
可以理解的是,本申请实施例中所提供的该属性图处理方法可应用的应用场景包括但不限于图像分类,任何属于大规模属性问题的高效处理场景均可适用,例如节点分类、链路预测、商业推荐以及知识图谱等。
其中,当应用在链路预测中时,属性图中的各节点即为链路中需要连边的各节点,此时可以基于本申请实施例中所提供的该属性图处理方法得到需要连边的各节点的目标特征表示,然后基于需要连边的各节点的目标特征表示进行分类处理,得到各分类结果,进一步可以将属于同一分类结果的各节点进行连边,得到各链路;当应用在商业推荐中时,属性图中的各节点即为待推荐的商业信息,此时可以基于本申请实施例中所提供的该属性图处理方法得到各待推荐的商业信息的目标特征表示,然后基于各待推荐的商业信息的目标特征表示表示进行分类处理,得到各分类结果,进一步可以将属于同一分类结果的待推荐的商业信息作为同一类型的信息向用户进行推荐;而应用在知识图谱中时,属性图中的各节点即为各知识信息,此时可以基于本申请实施例中所提供的该属性图处理方法得到各知识信息的目标特征表示,然后基于各知识信息的目标特征表示表示进行分类处理,得到各分类结果,此时可以对属于同一分类结果的知识信息建立关联关系,从而得到各知识信息组成的知识图谱。
本申请实施例提供了一种属性图的处理装置,如图7所示,属性图的处理装置70可以包括:数据获取模块701、初始信息确定模块702以及模型训练模块703,其中,
数据获取模块701,用于获取训练数据集,训练数据集中的每个样本包括一个样本属性图的原始信息,原始信息包括样本属性图的邻接矩阵和样本属性图中各节点的初始特征表示,一个节点的初始特征表示表征了节点的属性信息;
初始信息确定模块702,用于对于每个样本属性图,基于原始信息中的至少一项确定图的初始图结构特征,并基于图中各节点的初始特征表示,确定图中各节点之间的第一相似度;
模型训练模块703,用于基于训练数据集对初始的图卷积神经网络模型重复执行以下训练操作,直至训练损失值满足训练结束条件,得到训练好的图卷积神经网络模型:
对于每个样本属性图,将原始信息输入至图卷积神经网络模型中,得到图中各节点的目标特征表示,并基于图中各节点的目标特征表示,确定图的目标图结构特征以及图中各节点之间的第二相似度;
对于每个样本属性图,确定图的初始图结构特征和目标图结构特征之间的第一差异、以及图中各节点之间的第一相似度和第二相似度之间的第二差异;
基于各样本属性图对应的第一差异和第二差异,确定图卷积神经网络模型的训练损失值,若训练损失值不满足训练结束条件,则调整图卷积神经网络的模型参数。
可选的,对于每个样本属性图,模型训练模块在将原始信息输入至图卷积神经网络模型中,得到图中各节点的目标特征表示,并基于图中各节点的目标特征表示时,具体用于:
基于原始信息,通过初始图神经网络模型执行以下操作,得到图中各节点的目标特征表示:
基于图的邻接矩阵,得到该图对应于至少两个层级的第一图结构特征;
对于每个层级的第一图结构特征,基于图的初始特征矩阵和层级的第一图结构特征,得到图对应于层级的第一特征矩阵,初始特征矩阵中包含图的各节点的初始特征表示,第一特征矩阵中包含图的各节点的第一特征表示;
对于图中每个节点,通过融合至少两个层级中各个层级的节点的第一特征表示,得到节点的第二特征表示;
基于样本属性图中各节点的第二特征表示,提取得到图中各节点的目标特征表示。
可选的,模型训练模块在基于该图的邻接矩阵,得到该图对应于至少两个层级的第一图结构特征时,具体用于:
获取图的度矩阵;
基于图的邻接矩阵和单位矩阵相加,得到处理后的邻接矩阵;
基于图的度矩阵对处理后的邻接矩阵进行标准化处理,得到标准化的邻接矩阵;
将标准化的邻接矩阵作为图的一个层级的第一图结构特征,并对标准化的邻接矩阵进行至少一次自相乘运算,得到图对应于至少一个层级的第一图结构特征,其中,每次相乘处理的自相乘幂次不同。
可选的,对于每个样本属性图,模型训练模块在基于图中各节点的目标特征表示,确定图的目标图结构特征时,具体用于:
基于图中各节点的目标特征表示,确定图中各节点之间的第三相似度;
基于图中各节点之间的第三相似度,确定图的目标图结构特征。
可选的,对于每个样本属性图,模型训练模块在基于原始信息中的至少一项确定图的初始图结构特征时,具体用于以下任一项:
基于图的邻接矩阵,确定图的初始图结构特征;
基于原始信息,通过预训练好的特征提取模型,提取得到图中各节点的第三特征表示,并基于各节点的第三特征表示,确定图的初始图结构特征。
可选的,模型训练模块在基于各节点的第三特征表示,确定图的初始图结构特征时,具体用于:
基于各节点之间的第三特征表示,确定图中各节点之间的第四相似度;
基于图中各节点之间的第四相似度,确定图的初始图结构特征。
可选的,对于每个样本属性图,初始信息确定模块在基于图中各节点的初始特征表示,确定各节点之间的第一相似度时,具体用于:
对于图中的每两个节点,基于图中两个节点的初始特征表示,确定节点之间的基于标准高斯分布的第一联合分布概率,第一联合分布概率表征了两个节点之间的第一相似度;
对于每个样本属性图,模型训练模块在基于图中各节点的目标特征表示,确定图中各节点之间的第二相似度时,具体用于:
对于图中的每两个节点,基于图中两个节点的目标特征表示,确定两个节点之间的基于t分布随机邻居嵌入的第二联合分布概率,第二联合分布概率表征了两个节点之间的第二相似度。
可选的,在每执行预设次数的训练操作之后,对于每个样本属性图,将原始信息输入至图卷积神经网络模型中,得到图中各节点的目标特征表示之后,初模型训练模块还用于:
基于图中各节点的目标特征表示,将图中的各节点划分为至少两个类别;
对于至少两个类别中的每个类别,基于属于类别的各节点的目标特征表示,确定属于类别的节点之间的类内差异,并基于属于类别的各节点的目标特征表示和属于其他类别中每个类别的各节点的目标特征表示,确定不同类别之间的类间差异,其他类别是至少两个类中除类别之外的类别;
模型训练模块在基于各样本属性图对应的第一差异和第二差异,确定图卷积神经网络模型的训练损失值时,具体用于:
基于各样本属性图对应第一差异、第二差异、类内差异以及类间差异,确定图卷积神经网络模型的训练损失值。
可选的,对于至少两个类别中的每个类别,模型训练模块在基于属于类别的各节点的目标特征表示,确定属于类别的节点之间的类内差异,并基于属于类别的各节点的目标特征表示和属于其他类别中每个类别的各节点的目标特征表示,确定不同类别之间的类间差异时,具体用于:
确定类别的类别特征表示;
对于属于类别的每个节点,确定节点的目标特征表示和类别的类别特征表示之间的第三差异,基于属于类别的各节点对应的第三差异,得到属于类别的节点之间的类内差异;
对于属于类别的每个节点,确定节点的目标特征表示与其他类别中每个类别的类别特征标识之间的第四差异,基于属于类别的各节点对应的第四差异,得到类别与其他类别中各类别之间的类间差异。
可选的,模型训练模块还用于:
获取第一差异、第二差异和类别差异各自对应的权重,其中,类别差异包括类内差异和类间差异;
基于第一差异、第二差异和类别差异各自对应的权重对第一差异、第二差异和类别差异加权;
对各样本属性图对应的加权后的第一差异、加权后的第二差异和加权后的类别差异的求和,将和作为训练损失值。
本申请实施例提供了一种属性图的处理装置,如图8所示,属性图的处理装置80可以包括:待处理数据获取模块801、邻接矩阵确定模块802、初始特征表示确定模块803以及目标特征表示确定模块804,其中,
待处理数据获取模块801,用于获取待处理属性图以及待处理属性图中各节点的属性信息;
邻接矩阵确定模块802,用于确定待处理属性图的邻接矩阵;
初始特征表示确定模块803,用于对于每个节点,基于节点的属性信息确定节点的初始特征表示;
目标特征表示确定模块804,用于将邻接矩阵和各节点的初始特征表示输出至图卷积神经网络模型中,得到各节点的目标特征表示,其中,图卷积神经网络模型是基于前文中所描述的对图卷积神经网络模型进行训练的方式训练得到的。
该装置还包括分类模块,用于:
基于各节点的目标特征表示,对待处理属性图中的各节点进行分类处理,得到各节点的分类结果。
本申请实施例的属性图的处理装置可执行本申请实施例提供的一种属性图的处理方法,其实现原理相类似,此处不再赘述。
属性图的处理装置可以是运行于计算机设备中的一个计算机程序(包括程序代码),例如该属性图的处理装置为一个应用软件;该装置可以用于执行本申请实施例提供的方法中的相应步骤。
在一些实施例中,本发明实施例提供的属性图的处理装置可以采用软硬件结合的方式实现,作为示例,本发明实施例提供的属性图的处理装置可以是采用硬件译码处理器形式的处理器,其被编程以执行本发明实施例提供的属性图的处理方法,例如,硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC,Application SpecificIntegrated Circuit)、DSP、可编程逻辑器件(PLD,Programmable Logic Device)、复杂可编程逻辑器件(CPLD,Complex Programmable Logic Device)、现场可编程门阵列(FPGA,Field-Programmable Gate Array)或其他电子元件。
本申请实施例提供了一种电子设备,如图9所示,图9所示的电子设备2000包括:处理器2001和存储器2003。其中,处理器2001和存储器2003相连,如通过总线2002相连。可选地,电子设备2000还可以包括收发器2004。需要说明的是,实际应用中收发器2004不限于一个,该电子设备2000的结构并不构成对本申请实施例的限定。
其中,处理器2001应用于本申请实施例中,用于实现图7和图8所示的各模块的功能。
处理器2001可以是CPU,通用处理器,DSP,ASIC,FPGA或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框,模块和电路。处理器2001也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,DSP和微处理器的组合等。
总线2002可包括一通路,在上述组件之间传送信息。总线2002可以是PCI总线或EISA总线等。总线2002可以分为地址总线、数据总线、控制总线等。为便于表示,图9中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
存储器2003可以是ROM或可存储静态信息和计算机程序的其他类型的静态存储设备,RAM或者可存储信息和计算机程序的其他类型的动态存储设备,也可以是EEPROM、CD-ROM或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储或以数据结构形式的期望的计算机程序并能够由计算机存取的任何其他介质,但不限于此。
存储器2003用于存储执行本申请方案的应用程序的计算机程序,并由处理器2001来控制执行。处理器2001用于执行存储器2003中存储的应用程序的计算机程序,以实现图7和图8所示实施例提供的属性图的处理装置的动作。
本申请实施例提供了一种电子设备,包括处理器以及存储器:存储器被配置用于存储计算机程序,计算机程序在由所述处理器执行时,使得所述处理器上述实施例中的任一项方法。
本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质用于存储计算机程序,当所述计算机程序在计算机上运行时,使得计算机可以执行上述实施例中的任一项方法。
本申请实施例提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各种可选实现方式中提供的方法。
本申请中的一种计算机可读存储介质所涉及的名词及实现原理具体可以参照本申请实施例中的一种属性图的处理方法,在此不再赘述。
应该理解的是,虽然附图的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述仅是本申请的部分实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。
Claims (15)
1.一种属性图的处理方法,其特征在于,包括:
获取训练数据集,所述训练数据集中的每个样本包括一个样本属性图的原始信息,所述原始信息包括所述样本属性图的邻接矩阵和所述样本属性图中各节点的初始特征表示,一个节点的初始特征表示表征了所述节点的属性信息;
对于每个所述样本属性图,基于所述原始信息中的至少一项确定所述图的初始图结构特征,并基于所述图中各节点的初始特征表示,确定所述图中各节点之间的第一相似度;
基于所述训练数据集对初始的图卷积神经网络模型重复执行以下训练操作,直至训练损失值满足训练结束条件,得到训练好的图卷积神经网络模型:
对于每个所述样本属性图,将所述原始信息输入至图卷积神经网络模型中,得到所述图中各节点的目标特征表示,并基于所述图中各节点的目标特征表示,确定所述图的目标图结构特征以及所述图中各节点之间的第二相似度;
对于每个所述样本属性图,确定所述图的初始图结构特征和目标图结构特征之间的第一差异、以及所述图中各节点之间的第一相似度和第二相似度之间的第二差异;
基于各所述样本属性图对应的第一差异和第二差异,确定所述图卷积神经网络模型的训练损失值,若所述训练损失值不满足所述训练结束条件,则调整图卷积神经网络的模型参数。
2.根据权利要求1所述的方法,其特征在于,对于每个所述样本属性图,所述将所述原始信息输入至图卷积神经网络模型中,得到所述图中各节点的目标特征表示,并基于所述图中各节点的目标特征表示,包括:
基于所述原始信息,通过所述初始图神经网络模型执行以下操作,得到所述图中各节点的目标特征表示:
基于所述图的邻接矩阵,得到所述图对应于至少两个层级的第一图结构特征;
对于每个层级的第一图结构特征,基于所述图的初始特征矩阵和所述层级的第一图结构特征,得到所述图对应于所述层级的第一特征矩阵,所述初始特征矩阵中包含所述图的各节点的初始特征表示,所述第一特征矩阵中包含所述图的各节点的第一特征表示;
对于所述图中每个节点,通过融合所述至少两个层级中各个层级的所述节点的第一特征表示,得到所述节点的第二特征表示;
基于所述样本属性图中各节点的第二特征表示,提取得到所述图中各节点的目标特征表示。
3.根据权利要求2所述的方法,其特征在于,所述基于所述图的邻接矩阵,得到所述图对应于至少两个层级的第一图结构特征,包括:
获取所述图的度矩阵;
基于所述图的邻接矩阵和单位矩阵相加,得到处理后的邻接矩阵;
基于所述图的度矩阵对所述处理后的邻接矩阵进行标准化处理,得到标准化的邻接矩阵;
将所述标准化的邻接矩阵作为所述图的一个层级的第一图结构特征,并对所述标准化的邻接矩阵进行至少一次自相乘运算,得到所述图对应于至少一个层级的第一图结构特征,其中,每次相乘处理的自相乘幂次不同。
4.根据权利要求1所述的方法,其特征在于,对于每个所述样本属性图,所述基于所述图中各节点的目标特征表示,确定所述图的目标图结构特征,包括:
基于所述图中各节点的目标特征表示,确定所述图中各节点之间的第三相似度;
基于所述图中各节点之间的第三相似度,确定所述图的目标图结构特征。
5.根据权利要求1所述的方法,其特征在于,对于每个所述样本属性图,所述基于所述原始信息中的至少一项确定所述图的初始图结构特征,包括以下任一项:
基于所述图的邻接矩阵,确定所述图的初始图结构特征;
基于所述原始信息,通过预训练好的特征提取模型,提取得到所述图中各节点的第三特征表示,并基于各节点的第三特征表示,确定所述图的初始图结构特征。
6.根据权利要求5所述的方法,其特征在于,所述基于各节点的第三特征表示,确定所述图的初始图结构特征,包括:
基于各节点之间的第三特征表示,确定所述图中各节点之间的第四相似度;
基于所述图中各节点之间的第四相似度,确定所述图的初始图结构特征。
7.根据权利要求1所述的方法,其特征在于,对于每个所述样本属性图,所述基于所述图中各节点的初始特征表示,确定各节点之间的第一相似度,包括:
对于所述图中的每两个节点,基于所述图中所述两个节点的初始特征表示,确定所述节点之间的基于标准高斯分布的第一联合分布概率,所述第一联合分布概率表征了所述两个节点之间的第一相似度;
对于每个所述样本属性图,所述基于所述图中各节点的目标特征表示,确定所述图中各节点之间的第二相似度,包括:
对于所述图中的每两个节点,基于所述图中所述两个节点的目标特征表示,确定所述两个节点之间的基于t分布随机邻居嵌入的第二联合分布概率,所述第二联合分布概率表征了所述两个节点之间的第二相似度。
8.根据权利要求1所述的方法,其特征在于,在每执行预设次数的所述训练操作之后,对于每个所述样本属性图,所述将所述原始信息输入至图卷积神经网络模型中,得到所述图中各节点的目标特征表示之后,还包括:
基于所述图中各节点的目标特征表示,将所述图中的各节点划分为至少两个类别;
对于所述至少两个类别中的每个类别,基于属于所述类别的各节点的目标特征表示,确定属于所述类别的节点之间的类内差异,并基于属于所述类别的各节点的目标特征表示和属于其他类别中每个类别的各节点的目标特征表示,确定不同类别之间的类间差异,所述其他类别是所述至少两个类中除所述类别之外的类别;
所述基于各所述样本属性图对应的第一差异和第二差异,确定图卷积神经网络模型的训练损失值,包括:
基于各所述样本属性图对应第一差异、第二差异、类内差异以及类间差异,确定所述图卷积神经网络模型的训练损失值。
9.根据权利要求8所述的方法,其特征在于,对于所述至少两个类别中的每个类别,所述基于属于所述类别的各节点的目标特征表示,确定属于所述类别的节点之间的类内差异,并基于属于所述类别的各节点的目标特征表示和属于其他类别中每个类别的各节点的目标特征表示,确定不同类别之间的类间差异,包括:
确定所述类别的类别特征表示;
对于属于所述类别的每个节点,确定所述节点的目标特征表示和所述类别的类别特征表示之间的第三差异,基于属于所述类别的各节点对应的第三差异,得到属于所述类别的节点之间的类内差异;
对于属于所述类别的每个节点,确定所述节点的目标特征表示与其他类别中每个类别的类别特征标识之间的第四差异,基于属于所述类别的各节点对应的第四差异,得到所述类别与其他类别中各类别之间的类间差异。
10.根据权利要求9所述的方法,其特征在于,所述方法还包括:
获取所述第一差异、所述第二差异和所述类别差异各自对应的权重,其中,所述类别差异包括所述类内差异和所述类间差异;
基于所述第一差异、所述第二差异和所述类别差异各自对应的权重对所述第一差异、所述第二差异和所述类别差异加权;
对各所述样本属性图对应的加权后的第一差异、加权后的第二差异和加权后的类别差异的求和,将所述和作为所述训练损失值。
11.一种属性图的处理方法,其特征在于,包括:
获取待处理属性图以及所述待处理属性图中各节点的属性信息;
确定所述待处理属性图的邻接矩阵;
对于每个节点,基于所述节点的属性信息确定所述节点的初始特征表示;
将所述邻接矩阵和各节点的初始特征表示输出至图卷积神经网络模型中,得到各节点的目标特征表示,其中,所述图卷积神经网络模型是基于权利要求1-10中任一项所述的方式训练得到的。
12.一种属性图的处理装置,其特征在于,包括:
数据获取模块,用于获取训练数据集,所述训练数据集中的每个样本包括一个样本属性图的原始信息,所述原始信息包括样本属性图的邻接矩阵和样本属性图中各节点的初始特征表示,一个节点的初始特征表示表征了所述节点的属性信息;
初始信息确定模块,用于对于每个所述样本属性图,基于所述原始信息中的至少一项确定所述图的初始图结构特征,并基于所述图中各节点的初始特征表示,确定所述图中各节点之间的第一相似度;
模型训练模块,用于基于所述训练数据集对初始的图卷积神经网络模型重复执行以下训练操作,直至训练损失值满足训练结束条件,得到训练好的图卷积神经网络模型:
对于每个所述样本属性图,将所述原始信息输入至图卷积神经网络模型中,得到所述图中各节点的目标特征表示,并基于所述图中各节点的目标特征表示,确定所述图的目标图结构特征以及所述图中各节点之间的第二相似度;
对于每个所述样本属性图,确定所述图的初始图结构特征和目标图结构特征之间的第一差异、以及所述图中各节点之间的第一相似度和第二相似度之间的第二差异;
基于各所述样本属性图对应的第一差异和第二差异,确定所述图卷积神经网络模型的训练损失值,若所述训练损失值不满足所述训练结束条件,则调整图卷积神经网络的模型参数。
13.一种属性图的处理装置,其特征在于,包括:
待处理数据获取模块,用于获取待处理属性图以及所述待处理属性图中各节点的属性信息;
邻接矩阵确定模块,用于确定所述待处理属性图的邻接矩阵;
初始特征表示确定模块,用于对于每个节点,基于所述节点的属性信息确定所述节点的初始特征表示;
目标特征表示确定模块,用于将所述邻接矩阵和各节点的初始特征表示输出至图卷积神经网络模型中,得到各节点的目标特征表示,其中,所述图卷积神经网络模型是基于权利要求1-10中任一项所述的方式训练得到的。
14.一种电子设备,其特征在于,包括处理器以及存储器:
所述存储器被配置用于存储计算机程序,所述计算机程序在由所述处理器执行时,使得所述处理器执行权利要求1-10中任一项所述的方法,或者执行权利要求11中任一项所述的方法。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质用于存储计算机程序,当所述计算机程序在计算机上运行时,使得计算机执行权利要求1-10中任一项所述的方法,或者执行权利要求11中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110671978.0A CN113822315A (zh) | 2021-06-17 | 2021-06-17 | 属性图的处理方法、装置、电子设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110671978.0A CN113822315A (zh) | 2021-06-17 | 2021-06-17 | 属性图的处理方法、装置、电子设备及可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113822315A true CN113822315A (zh) | 2021-12-21 |
Family
ID=78912559
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110671978.0A Pending CN113822315A (zh) | 2021-06-17 | 2021-06-17 | 属性图的处理方法、装置、电子设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113822315A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113987522A (zh) * | 2021-12-30 | 2022-01-28 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 一种用于源代码漏洞检测的代码属性图压缩方法及装置 |
CN114399028A (zh) * | 2022-01-14 | 2022-04-26 | 马上消费金融股份有限公司 | 信息处理方法、图卷积神经网络训练方法及电子设备 |
CN114511024A (zh) * | 2022-01-28 | 2022-05-17 | 腾讯科技(深圳)有限公司 | 节点分类方法、装置、设备、介质和计算机程序产品 |
CN115965058A (zh) * | 2022-12-28 | 2023-04-14 | 连连(杭州)信息技术有限公司 | 神经网络训练方法、实体信息分类方法、装置及存储介质 |
CN116757262A (zh) * | 2023-08-16 | 2023-09-15 | 苏州浪潮智能科技有限公司 | 图神经网络的训练方法、分类方法、装置、设备及介质 |
CN117932314A (zh) * | 2024-03-25 | 2024-04-26 | 腾讯科技(深圳)有限公司 | 模型训练方法、装置、电子设备、存储介质及程序产品 |
CN118138273A (zh) * | 2024-01-15 | 2024-06-04 | 深圳信息职业技术学院 | 一种基于物联网的数据加密方法 |
-
2021
- 2021-06-17 CN CN202110671978.0A patent/CN113822315A/zh active Pending
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113987522A (zh) * | 2021-12-30 | 2022-01-28 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 一种用于源代码漏洞检测的代码属性图压缩方法及装置 |
CN113987522B (zh) * | 2021-12-30 | 2022-05-03 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 一种用于源代码漏洞检测的代码属性图压缩方法及装置 |
CN114399028A (zh) * | 2022-01-14 | 2022-04-26 | 马上消费金融股份有限公司 | 信息处理方法、图卷积神经网络训练方法及电子设备 |
CN114399028B (zh) * | 2022-01-14 | 2023-04-18 | 马上消费金融股份有限公司 | 信息处理方法、图卷积神经网络训练方法及电子设备 |
CN114511024A (zh) * | 2022-01-28 | 2022-05-17 | 腾讯科技(深圳)有限公司 | 节点分类方法、装置、设备、介质和计算机程序产品 |
CN115965058A (zh) * | 2022-12-28 | 2023-04-14 | 连连(杭州)信息技术有限公司 | 神经网络训练方法、实体信息分类方法、装置及存储介质 |
CN115965058B (zh) * | 2022-12-28 | 2024-03-29 | 连连(杭州)信息技术有限公司 | 神经网络训练方法、实体信息分类方法、装置及存储介质 |
CN116757262A (zh) * | 2023-08-16 | 2023-09-15 | 苏州浪潮智能科技有限公司 | 图神经网络的训练方法、分类方法、装置、设备及介质 |
CN116757262B (zh) * | 2023-08-16 | 2024-01-12 | 苏州浪潮智能科技有限公司 | 图神经网络的训练方法、分类方法、装置、设备及介质 |
CN118138273A (zh) * | 2024-01-15 | 2024-06-04 | 深圳信息职业技术学院 | 一种基于物联网的数据加密方法 |
CN117932314A (zh) * | 2024-03-25 | 2024-04-26 | 腾讯科技(深圳)有限公司 | 模型训练方法、装置、电子设备、存储介质及程序产品 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111537945B (zh) | 基于联邦学习的智能电表故障诊断方法及设备 | |
CN113822315A (zh) | 属性图的处理方法、装置、电子设备及可读存储介质 | |
Liu et al. | Keep your data locally: Federated-learning-based data privacy preservation in edge computing | |
Liang et al. | Survey of graph neural networks and applications | |
CN111667022A (zh) | 用户数据处理方法、装置、计算机设备和存储介质 | |
US11423307B2 (en) | Taxonomy construction via graph-based cross-domain knowledge transfer | |
CN111898703B (zh) | 多标签视频分类方法、模型训练方法、装置及介质 | |
CN112200266B (zh) | 基于图结构数据的网络训练方法、装置以及节点分类方法 | |
CN112231592B (zh) | 基于图的网络社团发现方法、装置、设备以及存储介质 | |
Gadepally et al. | Ai enabling technologies: A survey | |
CN112446888B (zh) | 图像分割模型的处理方法和处理装置 | |
CN112446310B (zh) | 基于区块链的年龄识别系统、方法及装置 | |
CN111368926B (zh) | 图像筛选方法、装置和计算机可读存储介质 | |
Li et al. | Federated anomaly detection on system logs for the internet of things: A customizable and communication-efficient approach | |
Bagirov et al. | A novel piecewise linear classifier based on polyhedral conic and max–min separabilities | |
Li et al. | Explain graph neural networks to understand weighted graph features in node classification | |
Concolato et al. | Data science: A new paradigm in the age of big-data science and analytics | |
CN116797850A (zh) | 基于知识蒸馏和一致性正则化的类增量图像分类方法 | |
CN113822130A (zh) | 模型训练方法、场景识别方法、计算设备和介质 | |
Kalifullah et al. | Retracted: Graph‐based content matching for web of things through heuristic boost algorithm | |
Du et al. | Structure tuning method on deep convolutional generative adversarial network with nondominated sorting genetic algorithm II | |
CN111309923A (zh) | 对象向量确定、模型训练方法、装置、设备和存储介质 | |
CN109697511B (zh) | 数据推理方法、装置及计算机设备 | |
CN111737319B (zh) | 用户集群的预测方法、装置、计算机设备和存储介质 | |
Thonglek et al. | Automated quantization and retraining for neural network models without labeled data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |