[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN111738317A - 一种基于图卷积神经网络的特征选择与分类方法、装置和计算机可读存储介质 - Google Patents

一种基于图卷积神经网络的特征选择与分类方法、装置和计算机可读存储介质 Download PDF

Info

Publication number
CN111738317A
CN111738317A CN202010530319.0A CN202010530319A CN111738317A CN 111738317 A CN111738317 A CN 111738317A CN 202010530319 A CN202010530319 A CN 202010530319A CN 111738317 A CN111738317 A CN 111738317A
Authority
CN
China
Prior art keywords
graph
nodes
region
feature
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010530319.0A
Other languages
English (en)
Inventor
吴强
崔晓萌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202010530319.0A priority Critical patent/CN111738317A/zh
Publication of CN111738317A publication Critical patent/CN111738317A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于图卷积神经网络的特征选择与分类方法，用于对磁共振图像进行分析，利用提取到的特征对每个对象的磁共振影像进行分子标记物的五分类。该方法首先，对磁共振影像数据进行预处理，提取具有目标对象的区域即感兴趣区域，如肿瘤所在区域；其次，对感兴趣区域进行非纹理特征、纹理特征、小波变换后纹理特征提取并进行特征归一化处理；再次，对归一化后的特征进行8近邻图构造；最后，将特征放入图卷积神经网络进行分类，获取最终结果。我们利用BraTS2017数据集进行验证，与传统的特征提取方法及分类方法相比，基于图卷积神经网络的特征选择与分类方法具有相对较好的结果。

Description

一种基于图卷积神经网络的特征选择与分类方法、装置和计 算机可读存储介质
技术领域
本发明涉及了一种基于图卷积神经网络的特征选择与分类方法、装置和计算机可读存储介质，属于图像处理与分析技术领域。
背景技术
图像的分类是计算机视觉中重要的基本问题之一，其目标是根据图像的像素特征及其他特征对图像所属类别进行非人为的区分，以利于后续人为对图像的分析。图像分类在自然语言处理、信息检索、手写体辨识、智能医疗等领域得到广泛利用。近年来，计算机硬件设备及计算能力的发展，为机器学习的发展带来了新的前景，以神经网络为基础的深度学习技术得以发展和应用，进一步推动了图像分类的发展。
2016年世界卫生组织首次提出，基于分子标记物的脑胶质瘤分类；随着医学图像在临床诊断、医学研究等领域的广泛应用，利用机器学习等分析方法对医学图像进行分析处理成为研究的热点。通过对图像的分类，可以对图像进行定量分析从而实现诊断辅助与预后评估，为后续的诊断以及方案的选择提供了一定的帮助。
传统的分类方法一般先利用方差(Variance，VAR)、互信息(Mutual Information，MI)、主成分分析(Principal Component Analysis，PCA)、最大互信息系数(MaximalInformation Coefficient,MIC)进行特征选择，再利用支持向量机(Support VectorMachine，SVM)、K最近邻(K-Nearest Neighbor，KNN)、随进森林(Random Forest，RF)、多层感知器(Multilayer Perceptron，MLP)等分类器进行分类。传统机器学习的分类方法将特征选择与分类分开进行，神经网络的发展，将特征提取与图像分类融为一个模型，但是，传统意义上的分类方法缺少对图像特征图卷积神经网络的分析，因此需要对该问题进行解决。
发明内容
传统机器学习的分类方法将特征选择与分类分开进行，神经网络将这两个步骤同时进行，但是，传统意义上的卷积神经网络分类方法缺少对图像特征间图理论的分析。针对以上问题，本发明提出用图卷积神经网络进行特征选择同时进行分类，以此通过构建特征之间的图结构，对图形式的特征进行分析并得出分类结果，从而提高图像分类的准确率。
本发明的技术方案：
一种基于图卷积神经网络的特征选择与分类方法，对感兴趣区域特征进行特征选择并实现最终分类，具体步骤包括：
(一)数据预处理：首先，对每个分类对象进行标签的标记，其次，对磁共振图像的T1、T2、Flair、T1c四个模态进行感兴趣区域的提取；
(二)感兴趣区域特征提取：首先，对图像感兴趣区域进行三方面的特征提取，分别为：非纹理特征、纹理特征、小波变换后纹理特征，其次，对所提特征进行归一化处理，如下式所述
Figure BDA0002535156810000011
X为感兴趣区域所提特征，μ为数据的均值，σ为数据的方差，X′为归一化处理后的数据；
(三)构造特征图：构建基于二维网格的8近邻相似图，8近邻相似图两个节点间的权重计算如下式所述：
Figure BDA0002535156810000021
其中zi是像素i的二维坐标；
(四)特征图粗糙化处理：即将原特征图利用图聚类获得粗糙图，根据粗糙图进行反向生成，获得精细特征图，粗糙图最终为平衡二叉树形式，包括三种结构：常规节点有两个常规节点、常规节点有一个单节点和一个假节点、假节点的两个子节点为假节点，其中常规节点是原特征图的节点，假节点是为构建精细特征图中所添加的节点；
(五)图信号傅里叶变换：定义无向连接图
Figure BDA0002535156810000022
其中
Figure BDA0002535156810000023
表示顶点集合
Figure BDA0002535156810000024
n为顶点个数，ε表示边的集合，
Figure BDA0002535156810000025
是表示两个顶点之间连接权重的加权邻接矩阵，信号x：
Figure BDA0002535156810000026
为图的节点，则该节点向量为
Figure BDA0002535156810000027
xi是x第i个节点的值，定义
Figure BDA0002535156810000028
为图拉普拉斯算子，其中，
Figure BDA0002535156810000029
是对角度矩阵
Figure BDA00025351568100000210
归一化定义为L＝In-D-l/2WD-1/2，其中In是单位矩阵，L的完整正交特征向量集合
Figure BDA00025351568100000211
为图傅里叶模式，与正交特征向量一一对应的是被定义为图频谱的非负特征值
Figure BDA00025351568100000212
因此有拉普拉斯算子的傅里叶基
Figure BDA00025351568100000213
可使L进行对角化L＝UΛUT，其中
Figure BDA00025351568100000214
Figure BDA00025351568100000215
对特征图进行图信号的傅里叶变换，则有变换公式如下式所述
Figure BDA00025351568100000216
因此，定义图傅里叶变换作为滤波器的基本操作；
(六)分类：将根据步骤(三)至(五)所获得的经傅里叶变换后的特征图放入神经网络中进行分类。
在对模型的训练中，需要对多模态数据进行顺序的打乱，将所有数据平均分成k份，取其中的一份作为验证集，剩下的k-1份作为训练集进行k折交叉验证，获得最终结果。
本发明还包括一种图像处理装置，该装置包括数据预处理部件、存储器和处理器，
其中，所述数据预处理部件用于对数据集进行数据标签的标记、感兴趣区域的提取、感兴趣区域特征提取及其归一化处理；
所述存储器存储有相关计算机程序，程序被处理器执行时能够实现如前所述方法的步骤(三)至步骤(六)。
本发明还包括一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被执行时实现上述方法的步骤。
附图说明
图1是本发明基于图卷积神经网络的特征选择与分类方法示意框图；
图2是本发明图粗化举例示意图；
图3是本发明图像处理装置示意图。
具体实施方式
下面结合附图对本发明技术进行具体说明。
如图1所示，本发明基于图卷积神经网络的特征选择与分类方法示意框图如下文所述：
(一)数据预处理模块：首先，对每个分类对象进行标签的标记，例如，如果是进行分子标记物分类，有以下标记，对于低级别胶质瘤而言，其IDH突变且1p/19q联合缺失标记为0，其IDH突变且1p/19q非联合缺失标记为1，其IDH野生型标记为3，对于胶质母细胞瘤而言，其IDH野生型标记为3，其IDH突变标记为4，其次，进行感兴趣区域的提取，例如，针对磁共振图像而言，可以根据数据集的分割标记将肿瘤区域进行提取；
(二)感兴趣区域特征提取及其归一化：首先，利用步骤(一)所获得的感兴趣区域，提取3个非纹理特征，43个纹理特征，其次，为增加特征数量，还需要对感兴趣区域进行小波变换，并对其小波域的图像进行纹理特征的提取，由于所用数据为三维数据，因此可获得8个小波变换后图像，再次，由于数据集是多模态数据，因此需要对多个模态分别进行前述特征提取步骤，最终提取1560个感兴趣区域特征，最后，对所提取到的1560个特征进行归一化处理；
(三)图卷积神经网络：首先，将步骤(一)所得到的特征构建基于二维网格的8近邻图，其次，将该图结构的特征进行特征图粗糙化处理，主要是进行创建平衡二叉树、重新排列顶点两个步骤，再次，对所获得的特征图及其傅里叶基进行图傅里叶变换作为图卷积操作，最后，对傅里叶变换后的特征放入神经网络中实现分类，该神经网络包括一层池化操作，一层全连接操作，一层过拟合，最后进行线性操作作为最终的分类准确率。
如图2所示，本发明图粗化举例示意图具体如下所述：
(一)创建平衡二叉树：一个平衡二叉树有以下结构：(1)常规节点有两个常规节点，或者(2)一个单节点和一个假节点作为子节点；(3)假节点式中有两个假节点作为子节点。输入信号在假节点处用中立值初始化，如使用带有最大池化的ReLU时为0。由于这些节点不相连，因此滤波不会影响初始中立值；
(二)重新排列顶点：在最粗化级即
Figure BDA0002535156810000031
的节点随机排序，之后反向传播这些排序到最精细级别及
Figure BDA0002535156810000041
如节点k有子节点2k和2k+1，在最精细级别生成一个规则排序，即相邻节点在较粗级别上按层次进行合并。对如此一个重新排序的图信号池化与常规一维信号的池化类似。该图左图所示为8节点图进行图粗化过程，类似于该图右图所示的两层核为2的最大池化操作。
图3包括三个主要部件，数据预处理部件、处理器及存储器，其中数据预处理部件能够实现上述图1、图2的所有步骤；处理器可用于执行所述图1中的步骤(一)至步骤(三)及图2中的步骤(一)至步骤(二)；存储器部分用于存储所有步骤中用到的计算机程序、处理后的数据、并且可以存储最终的训练模型。
本发明的效果可以通过实验结果进一步说明。
实验用的数据集为BraTS2017及TCGA数据集，共有165个对象的多模态数据，将数据平均分为5份，其中1份作为验证集共有验证集数据33个，剩下的132个数据作为训练集，对数据感兴趣区域进行非纹理特征、纹理特征及小波变换后纹理特征的提取，并利用图卷积神经网络进行特征选择及分类，表1是通过与传统特征提取方法VAR、PCA、MI、MIC及SVM进行分类后准确率与标准差的对比。
表1
实验方法 实验结果
MI-SVM 66.67±8.8348
VAR-SVM 67.27±8.4087
PCA-SVM 68.48±9.2412
MIC-SVM 70.91±7.9021
GraphCNN 73.94±5.9376

Claims (3)

1.一种基于图卷积神经网络的特征选择与分类方法，对感兴趣区域特征进行特征选择并实现最终分类，具体步骤包括：
(一)数据预处理：首先，对每个分类对象进行标签的标记，其次，对磁共振图像的T1、T2、Flair、T1c四个模态进行感兴趣区域的提取；
(二)感兴趣区域特征提取：首先，对图像感兴趣区域进行三方面的特征提取，分别为：非纹理特征、纹理特征、小波变换后纹理特征，其次，对所提特征进行归一化处理，如下式所述
Figure FDA0002535156800000011
X为感兴趣区域所提特征，μ为数据的均值，σ为数据的方差，X′为归一化处理后的数据；
(三)构造特征图：构建基于二维网格的8近邻相似图，8近邻相似图两个节点间的权重计算如下式所述：
Figure FDA0002535156800000012
其中zi是像素i的二维坐标；
(四)特征图粗糙化处理：即将原特征图利用图聚类获得粗糙图，根据粗糙图进行反向生成，获得精细特征图，粗糙图最终为平衡二叉树形式，包括三种结构：常规节点有两个常规节点、常规节点有一个单节点和一个假节点、假节点的两个子节点为假节点，其中常规节点是原特征图的节点，假节点是为构建精细特征图中所添加的节点；
(五)图信号傅里叶变换：定义无向连接图
Figure FDA0002535156800000013
其中
Figure FDA0002535156800000014
表示顶点集合
Figure FDA0002535156800000015
n为顶点个数，ε表示边的集合，
Figure FDA0002535156800000016
是表示两个顶点之间连接权重的加权邻接矩阵，信号
Figure FDA0002535156800000017
为图的节点，则该节点向量为
Figure FDA0002535156800000018
xi是x第i个节点的值，定义
Figure FDA0002535156800000019
Figure FDA00025351568000000110
为图拉普拉斯算子，其中，
Figure FDA00025351568000000111
是对角度矩阵Dii＝∑jWij，归一化定义为L＝In-D-1/2WD-1/2，其中In是单位矩阵，L的完整正交特征向量集合
Figure FDA00025351568000000112
为图傅里叶模式，与正交特征向量一一对应的是被定义为图频谱的非负特征值
Figure FDA00025351568000000113
因此有拉普拉斯算子的傅里叶基
Figure FDA00025351568000000114
可使L进行对角化L＝UΛUT，其中
Figure FDA00025351568000000115
Figure FDA00025351568000000116
对特征图进行图信号的傅里叶变换，则有变换公式如下式所述
Figure FDA00025351568000000117
因此，定义图傅里叶变换作为滤波器的基本操作；
(六)分类：将根据步骤(三)至(五)所获得的经傅里叶变换后的特征图放入神经网络中进行分类。
2.一种图像处理装置，该装置包括数据预处理部件、存储器和处理器，
其中，所述数据预处理部件用于对数据集进行数据标签的标记、感兴趣区域的提取、感兴趣区域特征提取及其归一化处理；
所述存储器存储有计算机程序，程序被处理器执行时能够实现如权利要求1所述方法的步骤(三)至步骤(六)。
3.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被执行时实现如权利要求1所述方法的步骤。
CN202010530319.0A 2020-06-11 2020-06-11 一种基于图卷积神经网络的特征选择与分类方法、装置和计算机可读存储介质 Pending CN111738317A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010530319.0A CN111738317A (zh) 2020-06-11 2020-06-11 一种基于图卷积神经网络的特征选择与分类方法、装置和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010530319.0A CN111738317A (zh) 2020-06-11 2020-06-11 一种基于图卷积神经网络的特征选择与分类方法、装置和计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN111738317A true CN111738317A (zh) 2020-10-02

Family

ID=72648885

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010530319.0A Pending CN111738317A (zh) 2020-06-11 2020-06-11 一种基于图卷积神经网络的特征选择与分类方法、装置和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111738317A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113642712A (zh) * 2021-08-17 2021-11-12 成都视海芯图微电子有限公司 一种基于深度学习的点云数据处理器及方法
CN114821157A (zh) * 2022-04-01 2022-07-29 山东大学 基于混合模型网络的多模态影像分类方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106897538A (zh) * 2017-03-14 2017-06-27 中国人民解放军军械工程学院 基于卷积神经网络的地磁图方向适配性计算方法
CN108171742A (zh) * 2017-12-26 2018-06-15 太原理工大学 一种基于灰度梯度特征实现碳纤维复合材料表面形貌三维评定的方法
WO2019183191A1 (en) * 2018-03-22 2019-09-26 Michael Bronstein Method of news evaluation in social media networks

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106897538A (zh) * 2017-03-14 2017-06-27 中国人民解放军军械工程学院 基于卷积神经网络的地磁图方向适配性计算方法
CN108171742A (zh) * 2017-12-26 2018-06-15 太原理工大学 一种基于灰度梯度特征实现碳纤维复合材料表面形貌三维评定的方法
WO2019183191A1 (en) * 2018-03-22 2019-09-26 Michael Bronstein Method of news evaluation in social media networks

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MICHAËL DEFFERRARD: ""Convolutional Neural Networks on Graphs with Fast Localized Spectral Filtering"", 《NIPS 2016》 *
周靖宇: "基于 MRI 的乳腺癌计算机辅助检测与诊断系统的应用和进展", 《功能与分子医学影像学》 *
李冉: "改进 GCNs 在指静脉特征表达中的应用", 《信号处理》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113642712A (zh) * 2021-08-17 2021-11-12 成都视海芯图微电子有限公司 一种基于深度学习的点云数据处理器及方法
CN113642712B (zh) * 2021-08-17 2023-08-08 成都视海芯图微电子有限公司 一种基于深度学习的点云数据处理器及方法
CN114821157A (zh) * 2022-04-01 2022-07-29 山东大学 基于混合模型网络的多模态影像分类方法

Similar Documents

Publication Publication Date Title
CN107066559B (zh) 一种基于深度学习的三维模型检索方法
Lazebnik et al. Affine-invariant local descriptors and neighborhood statistics for texture recognition
H Mohamed et al. Improved white blood cells classification based on pre-trained deep learning models
Lillywhite et al. A feature construction method for general object recognition
Duchenne et al. Segmentation by transduction
Montazer et al. An improved radial basis function neural network for object image retrieval
CN105243139B (zh) 一种基于深度学习的三维模型检索方法及其检索装置
Zuniga et al. Gabor wavelets combined with volumetric fractal dimension applied to texture analysis
CN112528928B (zh) 一种基于自注意力深度网络的商品识别方法
Scherer Computer vision methods for fast image classification and retrieval
Roshtkhari et al. Human activity recognition in videos using a single example
CN104616316A (zh) 基于阈值矩阵和特征融合视觉单词的人物行为识别方法
Islam et al. A CNN based approach for garments texture design classification
Chawathe Rice disease detection by image analysis
Jia et al. The facial expression recognition method of random forest based on improved PCA extracting feature
Giraddi et al. Flower classification using deep learning models
Hadid et al. An overview of content-based image retrieval methods and techniques
Subramanian et al. Content‐Based Image Retrieval Using Colour, Gray, Advanced Texture, Shape Features, and Random Forest Classifier with Optimized Particle Swarm Optimization
CN111738317A (zh) 一种基于图卷积神经网络的特征选择与分类方法、装置和计算机可读存储介质
Vora et al. Iterative spectral clustering for unsupervised object localization
CN112784722B (zh) 基于YOLOv3和词袋模型的行为识别方法
Yang et al. Bag of feature with discriminative module for non-rigid shape retrieval
Huang et al. High-order topology modeling of visual words for image classification
CN105844299A (zh) 一种基于词袋模型的图像分类方法
Yang et al. Learning online structural appearance model for robust object tracking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20201002