CN110473140B - 一种基于图嵌入的极限学习机的图像降维方法 - Google Patents

Abstract

本发明提出一种基于图嵌入的极限学习机的图像降维方法，属于机器学习和数据挖掘领域。该方法首先选取原始图像样本集合，利用原始图像样本的样本间距离和标签信息构建样本关系矩阵；之后根据构建的样本关系矩阵，首先对输入的向量化图像样本进行随机映射，随后通过最小化加权样本重构误差，来学习特征提取矩阵。最终使用所学习到的特征提取矩阵对向量化图像数据实现数据降维。本发明训练时间短，数据压缩高效，有效提升数据的压缩质量和降维的稳定性。

Description

一种基于图嵌入的极限学习机的图像降维方法

技术领域

本发明属于机器学习和数据挖掘领域，具体涉及一种基于图嵌入的极限学习机的图像降维方法。

背景技术

随着大数据时代的到来，当今数据的数据量和数据维度都呈现出了快速上升的趋势，高数据维度问题在图像数据方面变得尤为明显。而在进行数据分析和处理的时候，面对这些高维数据，数据压缩能可以有效避免“维数爆炸”的问题，同时减轻存储负担；另外，数据压缩可以有效移除原始数据中的冗余特征，提升后期数据处理性能。数据压缩的一个重要分支就是降维算法。

主成分分析(PCA)，线性判别方法(LDA),局部线性嵌入方法(LLE)等传统的降维算法在机器学习领域被广泛应用。而随着数据的复杂程度升高，非线性特征加强，这些传统算法的数据挖掘能力遇到了瓶颈，其压缩结果特征丢失量大，不同类别区分度变低。相比传统降维算法，基于人工神经网络的降维方法(也称自编码器)大大提升了数据压缩的质量。然而，这类方法在实际使用的过程中消耗过长，计算开销大，同时，全局最优解难以寻找。因此，基于人工神经网络的降维方法的加速显得尤为重要。

极限学习机(ELM)作为一种单隐层神经网络，与自编码器有相同的网络结构。不同的是由于前层权重通过随机生成，第二层的权重可以通过最小二乘法直接求得，因此该方法拥有的很好泛化性能和很快的训练速度。因此研究人员提出了基于极限学习机的自编码器。实验表明，相比传统的自编码器，基于极限学习机的自编码器在可以保证提取低维特征的质量的基础上，大大缩短降维算法的训练时间。然而当今的大部分基于极限学习机的自编码器都是从无监督学习的角度出发的，即只使用了数据本身，而忽略了大量有价值的标签信息。除此之外，传统的基于极限学习机的自编编码器在提取初期使用随机矩阵对原始样本进行投影，这使得原始样本之间的距离关系可能被破坏，导致自编码器性能不够稳定。

发明内容

本发明的目的是为克服已有技术的不足之处，提出一种基于图嵌入的极限学习机的图像降维方法。本发明训练时间短，数据压缩高效，该方法利用标签信息和原始数据构建样本关系矩阵，再根据关系矩阵内元素，通过最小化样本加权重构误差来得到数据压缩矩阵，以此来提升数据的压缩质量和降维的稳定性。

本发明提出一种基于图嵌入的极限学习机的图像降维方法，其特征在于，包括以下步骤：

1)选取原始图像样本集合，记为X′∈{x′₁,x′₂,...,x′_N}，X′中每个原始图像样本

X′中所有原始图像样本对应的标签数据组成集合{y₁,y₂,...,y_N}，其中y_i∈{1,2,…,M}为样本x′_i对应的标签，N表示X′中原始图像样本总数量，S表示图像通道数，H表示图像高度，W表示图像宽度，M为样本的总类别数；

2)初始化；具体步骤如下：

2-1)将X′中每张原始图像样本从矩阵转化为列向量，即

其中D＝S×H×W为初始维度；转化后的图像样本集合为

X中每个图像样本

2-2)计算每个类别对应图像样本的个数，用向量P＝[p₁,…,p_M]表示，其中P向量的第k个元素p_k表示第k个类别所包含的图像样本数；计算步骤如下：

2-2-1)令i＝1；向量P中所有元素初始值为0；

2-2-2)对y_i进行判定：若y_i＝k，则令p_k＝p_k+1；

2-2-3)令i＝i+1，然后重新返回步骤2-2-2)；直至i＝N，得到计算完毕的向量P；

2-3)确定目标维度L；L＜＜D；

3)建立关系矩阵S；具体步骤如下：

3-1)计算所有图像样本两两间欧式距离的中位数并记为ω；其中图像样本

与图像样本

的欧式距离计算表达式如下：

b_ij＝||x_i-x_j||

3-2)计算近邻数

3-3)令i＝1；

3-4)对图像样本x_i，记y_i＝m，寻找与x_i欧式距离最近的

个样本，所述

个样本下标组成x_i的近邻样本集和，记为

3-5)在步骤3-4)得到的集合

中，令对应样本的标签值等于m的下标组成的集合为x_i的近邻同类样本集，记为

即

3-6)在步骤3-4)得到的集合

中，统计对应样本的标签值不等于m的下标个数，记为

3-7)生成矩阵S的第i行：

3-8)令i＝i+1，然后重新返回步骤3-4)；直至i＝N，矩阵S生成完毕；

4)求解特征提取矩阵β；具体步骤如下：

4-1)生成关系对角矩阵U：具体步骤如下：

4-1-1)令i＝1；

4-1-2)对U的第i列，求解对角元素，即

第i列剩余位置填0；

4-1-3)令i＝i+1，然后重新返回步骤4-1-2)；直至i＝N，U生成结束；

4-2)生成随机矩阵

对X计算随机特征映射结果H：

H＝g(XA)；

其中函数g为sigmoid函数，矩阵H为X的随机特征映射；

4-3)求解特征提取矩阵β：

β＝(H^TUH+10I_L)^-1H^TSX

5)利用特征提取矩阵β对转化后的图像样本集合X进行压缩，压缩数据表示为Z：

Z＝g(Xβ^T)；

Z为转化后的图像样本集合X的降维结果。

本发明的特点及有益效果在于：

本发明提出的特征提取方法继承了自编码器和极限学习机的优点，数据压缩能力强，可以挖掘数据的本质特征，同时有着较快的训练速度。本发明从有监督学习的角度出发，充分利用了原始数据的标签信息来指导特征提取的过程，因此压缩数据拥有更强的类间区分度，有利于后续的分析处理。图嵌入技术使得数据标签信息能有效的被引入所提出压缩算法中，算法的稳定性得到了保障。

1)相比传统的线性降维方法，本发明属于一种非线性降维方法，因此数据特征提取能力更强。由于利用了神经网络结构，原始数据的本质特征可以充分被发掘，因此有效提升了压缩数据的质量。

2)相比传统的自编码器方法，本发明拥有较快的训练速度，同时不会陷入局部最优解，因此特征提取的效率得到了大幅度提升。

3)相比其他基于极限学习机的自编码器，本发明充分利用了自编码器结构和标签信息，原始样本之间的距离关系信息和流行信息得到了保留，利用标签信息，能有效提升压缩数据的类间区分度，提升降维质量，使得本发明提取到的特征在保证了本质信息的同时，拥有更好的区分度，利于后期的聚类，分类等数据分析。

4)相比其他基于极限学习机的自编码器，本发明充分利用了图嵌入技术来修正传统极限学习机自编码器可能存在的样本距离丢失的问题，保证压缩数据的特征质量，提升算法稳定性，使得特征提取的性能和效果更为稳定。

5)本发明方法融合了自编码器、极限学习机与图嵌入技术，特征提取效果好，实行方案简单，运行速度快，能够从高维数据中发掘样本的本质特征，在图像处理，人脸识别，图像分类等领域中有着很好的应用前景。

附图说明

图1是本发明方法的整体流程图

图2是本发明实施例中对图像数据进行降维和数据恢复测试结果示意图。

具体实施方式

本发明提出一种基于图嵌入的极限学习机的图像降维方法，下面结合附图和具体实施例对本发明进一步详细说明如下。

本发明提出一种基于图嵌入的极限学习机的图像降维方法(GDR-ELM)，包括四个阶段：自编码器初始化、建立图嵌入矩阵、计算择特征提取矩阵和特征提取。本发明的技术解决方案为：首先，利用原始图像样本的样本间距离和标签信息来构建样本关系矩阵；之后根据构建的样本关系矩阵，首先对输入的向量化图像进行随机映射，随后通过最小化加权样本重构误差，来学习特征提取矩阵。最终使用所学习到的特征提取矩阵对向量化图像数据实现数据降维。该方法整体流程如图1所示，包括以下步骤：

1)选取原始图像样本集合，记为X′∈{x′₁,x′₂,...,x′_N}，X′中每个原始图像样本

X′中所有原始图像样本对应的标签数据组成集合{y₁,y₂,...,y_N}，其中y_i∈{1,2,…,M}为样本x′_i对应的标签，N表示X′中原始图像样本总数量，S表示图像通道数(灰度图为1，RGB为3)，H表示图像高度，W表示图像宽度，X′中所有原始图像样本C,H,W取值相同，M为样本的总类别数。标签数据y_i表示样本x′_i属于的类别，即，若样本x′_i属于第m类，则y_i值为m。

2)初始化；具体步骤如下：

2-1)原始图像向量化：将X′中每张原始图像样本从矩阵转化为列向量，即

其中D＝S×H×W为初始维度。转化后的图像样本集合可由

表示，X中每个图像样本可由

表示，转化后每个图像样本对应的标签保持不变；

2-2)计算每个类别对应图像样本的个数，用向量P＝[p₁,…,p_M]表示，其中P向量的第k个元素p_k表示第k个类别所包含的图像样本数；计算步骤如下：

2-2-1)令i＝1；向量P中所有元素初始值为0；

2-2-2)对y_i进行判定：若y_i＝k，则令P向量的第k个元素元素加1，即，p_k＝p_k+1；

2-2-3)令i＝i+1，然后重新返回步骤2-2-2)；直至i＝N，得到计算完毕的向量P；

2-3)确定目标维度L；可以是小于原始维度D的任意正整数，满足0<L＜＜D即可。L越小压缩程度越高，但数据原始信息丢失越严重。其目标维数取值在后续验证中取值如表1所示。

表1：实际验证中目标维度取值

数据集	目标维数(L)
		Oral	50，100
YaleB	50，100
		UMIST	50，100
COIL20	30，50
		USPST	10，30
MNISTsub	30，50

3)建立关系矩阵S；具体步骤如下：

3-1)计算所有图像样本两两间欧式距离的中位数并记为ω；其中图像样本

与图像样本

的欧式距离可由下式计算：

b_ij＝||x_i-x_j||

3-2)计算近邻数

3-3)令i＝1；

3-4)对图像样本x_i，记y_i＝m，寻找与x_i欧式距离最近的

个样本，所述

个样本下标组成x_i的近邻样本集和，记为

3-5)在步骤3-4)得到的集合

中，；令对应样本的标签值等于m的下标组成的集合为x_i的近邻同类样本集，记为

即

3-6)在步骤3-4)得到的集合

中，统计对应样本的标签值不等于m的下标个数，记为

3-7)生成矩阵S的第i行：

3-8)令i＝i+1，然后重新返回步骤3-4)；直至i＝N，矩阵S生成完毕；

4)求解特征提取矩阵β；具体步骤如下：

4-1)生成关系对角矩阵U：具体步骤如下：

4-1-1)令i＝1；

4-1-2)对U的第i列，求解对角元素，即

第i列剩余位置填0；

4-1-3)令i＝i+1，然后重新返回步骤4-1-2)；直至i＝N，U生成结束；

4-2)生成随机矩阵

对X计算随机特征映射结果H：

H＝g(XA)；

其中函数g为sigmoid函数，矩阵H为向量化的图像样本集合X的随机特征映射；

4-3)求解特征提取矩阵β：

β＝(H^TUH+10I_L)^-1H^TSX

5)利用特征提取矩阵β对转化后的图像样本集合X进行压缩，压缩数据表示为Z：

X＝g(Xβ^T)；

X为转化后的图像样本集合X的降维结果，可供后续的数据处理，分析，分类等任务的使用。数据恢复可以通过：

表示恢复后的向量化图像样本集合。

本发明实施例的有效性验证

本发明所提出的一种基于图嵌入的极限学习机的图像降维方法的性能分析如下所示，所有实验均以MATLAB 2016a为实验平台，计算机性能参数为：Intel(R)Core(TM)i7-4770K CPU@3.50GH，计算机内存32GB。

有效性验证首先测试了本发明方法的数据压缩能力和重构能力。为了测试数据压缩后的类间区分度，我们在多个图像数据集上利用不同的降维方法提取特征后进行分类任务，通过分类准确率来测试降维方法的性能，分类准确率越高代表所提取到的特征质量越好。

1)数据压缩能力和重构能力测试；

为了更好的观测到所提出方法的稳定性，本实验使用MNIST手写数字数据集的一个子集进行压缩能力和数据恢复测试，其实验图2所示。测试中使用MNIST子集进行验证，包含5000张手写数字灰度图像(原始图像大小为1x28x28，即S＝1，H＝28，W＝28)，该5000张图像根据图像内容，被分为10类，分别表示数字0到9，向量化后初始数据长度为784(即D＝784)，图像数据表示为

我们使用所提出算法进行数据压缩，使其数据长度变为100，即数据长度变为原来的12.76％。压缩后我们对压缩数据进行重构，得到重构数据。从实验结果可以看出虽然重构数据相对原始数据存在一定的信息损失，但原始图像得到了基本的恢复。

2)与其他降维方法的性能分析对比

为了验证本发明所提出方法(GDR-ELM)的有效性，我们使用了4种不同的其他降维方法作为对比，验证所提出方法的性能。其他降维方法包括基于极限学习机的自编码器(ELM-AE)，极限学习机迭代自编码器(ELM-AEIF)和主成分分析(PCA)。所使用的验证数据集均为机器学习标准数据集，包括：Oral人脸数据集；YaleB人脸数据集；UMIST人脸数据集；COIL20物体分类数据集，UPSPT手写数字分类数据集，MNIST手写数字数据集子集(MNISTsub)。其数据集相关信息见表2。

表2：验证数据集信息

在验证实验中，我们使用原始的训练样本作为所提出方法的训练样本，并对其进行划分，划分为训练集和验证集，在得到最终的特征提取矩阵后，使用该矩阵对测试样本进行特征提取并利用最小二乘分类器进行分类。对数据集分别进行十次独立实验，实验结果的准确率和标准差如表3所示，其中最高的准确率被标为了粗体。

表3验证实验结果

从表3可以得出以下结论：

a)相比其他基于极限学习机的自编码器(ELM-AE和ELM-AEIF)，所提出方法在大部分实验中都取得了更好的实验结果。其中，所提出方法的分类准确率在大部分实验中高于其他两种基于极限学习机的自编码器，这说明了引入标签信息有效提升了所提取的低维特征的区分度，因此后续的分类结果得到了提升。另一方面，所提出方法的实验结果方差更低，性能更稳定，这说明引入标签信息有效修正了之前提到的样本距离损失问题，因此所提出方法的稳定性得到了保障。

b)所提出方法的准确率在大部分实验中优于主成分分析算法(PCA)。一方面，这两种方法属于线性方法，特征提取的能力相比较弱，同时由于没有使用标签信息，特征的区分度较弱。另外，PCA仅仅关注了特征的整体统计特性，而忽略了特征的局部特性，相比之下，所提出方法可以顾全两者，因此有着更好的特征提取能力。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (1)

1.一种基于图嵌入的极限学习机的图像降维方法，其特征在于，包括以下步骤：

1)选取原始图像样本集合，记为X′∈{x'₁,x'₂,...,x'_N}，X′中每个原始图像样本

X′中所有原始图像样本对应的标签数据组成集合{y₁,y₂,...,y_N}，其中y_i∈{1,2,…,M}为样本x'_i对应的标签，N表示X′中原始图像样本总数量，S表示图像通道数，H表示图像高度，W表示图像宽度，M为样本的总类别数；

2)初始化；具体步骤如下：

2-1)将X′中每张原始图像样本从矩阵转化为列向量，即

其中D＝S×H×W为初始维度；转化后的图像样本集合为

X中每个图像样本

2-2)计算每个类别对应图像样本的个数，用向量P＝[p₁,…,p_M]表示，其中P向量的第k个元素p_k表示第k个类别所包含的图像样本数；计算步骤如下：

2-2-1)令i＝1；向量P中所有元素初始值为0；

2-2-2)对y_i进行判定：若y_i＝k，则令p_k＝p_k+1；

2-2-3)令i＝i+1，然后重新返回步骤2-2-2)；直至i＝N，得到计算完毕的向量P；

2-3)确定目标维度L；L＜＜D；

3)建立关系矩阵S；具体步骤如下：

3-1)计算所有图像样本两两间欧式距离的中位数并记为ω；其中图像样本

与图像样本

的欧式距离计算表达式如下：

b_ij＝||x_i-x_j||

3-2)计算近邻数

3-3)令i＝1；

3-4)对图像样本x_i，记y_i＝m，寻找与x_i欧式距离最近的

个样本，所述

个样本下标组成x_i的近邻样本集和，记为

3-5)在步骤3-4)得到的集合

中，令对应样本的标签值等于m的下标组成的集合为x_i的近邻同类样本集，记为

即

3-6)在步骤3-4)得到的集合

中，统计对应样本的标签值不等于m的下标个数，记为

3-7)生成矩阵S的第i行：

3-8)令i＝i+1，然后重新返回步骤3-4)；直至i＝N，矩阵S生成完毕；

4)求解特征提取矩阵β；具体步骤如下：

4-1)生成关系对角矩阵U：具体步骤如下：

4-1-1)令i＝1；

4-1-2)对U的第i列，求解对角元素，即

第i列剩余位置填0；

4-1-3)令i＝i+1，然后重新返回步骤4-1-2)；直至i＝N，U生成结束；

4-2)生成随机矩阵

对X计算随机特征映射结果H：

H＝g(XA)；

其中函数g为sigmoid函数，矩阵H为X的随机特征映射；

4-3)求解特征提取矩阵β：

β＝(H^TUH+10I_L)^-1H^TSX

5)利用特征提取矩阵β对转化后的图像样本集合X进行压缩，压缩数据表示为Z：

Z＝g(Xβ^T)；

Z为转化后的图像样本集合X的降维结果。

Images