CN103514369B - 一种基于主动学习的回归分析系统及方法 - Google Patents

Abstract

本发明提供了一种基于主动学习的回归分析系统及方法，其中：数据采集模块收集回归学习所需的未标注数据，并进行预处理；训练集构建模块构建回归学习所需的训练数据，包括：初始阶段，从存储的未标注数据中随机挑选部分样本进行人工标注，构建初始训练集。迭代阶段，调用回归学习模块已经构建的回归模型，执行主动学习方法选择最有信息的样本进行标注，扩展已有的训练集；将标注后的数据存于存储模块；回归学习模块调用数据存储模块中的有标注的数，训练回归模型；上述训练集构建模块和回归学习模块，交互迭代进行；预测模块在主动学习迭代结束后，调用回归学习模块建立的回归模型，对因变量进行预测。本发明可以提高回归系统的数据分析的准确性。

Description

一种基于主动学习的回归分析系统及方法

技术领域

本发明属于机器学习领域和数据挖掘领域，具体是一种基于主动学习的回归分析系统及方法。

背景技术

在自然科学和经济社会中，各种现象之间互相联系互相影响是一个普遍规律。一些因素（称之为自变量）的变化会导致与之相联系的因素（称之为因变量）产生相应的变化。回归分析系统是在分析自变量和因变量之间相关关系的基础上，建立回归方程，并将回归方程作为对未来因变量的预测模型。根据自变量与因变量的相关关系，回归分析可以分为线性回归和非线性回归。回归分析已广泛应用于各个行业（如工业生产，生物医学，金融市场，计算机人脸识别，语音识别等）的数据分析，也出现了很多利用回归分析技术的专利申请。

如已授权的中国专利102313722A（申请号201110260869.6），该专利提供一种基于多元线性回归的煤质工业分析方法，该方法综合利用了对各工业分析指标具有显著贡献的相关元素的谱线信息，简化了由LIBS分析燃煤工业分析指标的过程，提高了定量分析的速度和精确度。又如已授权的中国专利1101515409A（申请号200910026146.2），该专利提供一种通过管制工作负荷回归分析确定空域容量的方法，能够更为准确地衡量空域容量,对管制工作负荷预测和未来空域容量的评估更为直观,缩短了空域容量评估时间,保证空中交通的安全和高效。

回归分析属于监督学习，与其他的监督学习任务相似，回归模型的性能与训练集的质量高度相关。在实际的回归系统中，由于数据标注的代价巨大，因此，无法对收集到的海量无标注数据进行人工标注。目前广泛采用的方法是从海量未标注数据中随机挑选一部分数据进行标注，以此保持数据分布的特性。但是其不足之处在于，由于忽略训练集与回归模型之间的关系，因此，所构建的训练集难以保证回归模型的性能，从而导致回归系统的预测准确度不高，难以满足实际的需求。

发明内容

针对现有技术的不足，本发明的目的在于提供一种基于主动学习的回归分析系统，旨在充分利用训练集和回归模型之间的关系，提高回归系统的预测准确性，更好满足实际数据分析的需求。

为实现上述目的，本发明采用了以下技术方案：

本发明提供一种基于主动学习的回归分析系统，该系统包括：数据采集模块，训练集构建模块，回归学习模块，预测模块及数据存储模块，其中：

所述数据采集模块，收集回归学习所需的未标注数据，并对数据进行预处理，存于数据存储模块；

所述训练集构建模块，构建回归学习所需的训练数据，包括以下两个阶段：初始阶段，从存储的未标注数据中随机挑选部分数据进行人工标注，构建初始训练集；迭代阶段，调用回归学习模块已经构建的回归模型，执行主动学习方法，从未标注数据中选择最有信息的样本进行标注，扩展已有的训练集；将标注后的数据存于数据存储模块；

所述回归学习模块，调用数据存储模块中的有标注的数据，训练回归模型，包括线性回归模型和非线性回归模型；

所述的训练集构建模块和回归学习模块，交互迭代进行，从而充分利用训练集和回归模型之间的关系，提高回归系统的预测准确性。迭代终止条件包括多种：人工设置迭代次数，回归系统的预测性能满足实际需求等；

所述预测模块，主动学习迭代结束后，调用回归学习模块建立的回归模型，包括线性回归模型和非线性回归模型，对因变量进行预测，将预测结果展示给使用者；

所述数据存储模块，存储两部分数据：一部分存储未标注的数据，另一部分存储有标注的数据。其中，未标注数据被训练集构建模块调用，用于样本选择，当被选中标注后，转存为有标注数据。有标注数据被回归学习模块调用，用于训练回归模型。

本发明的另一目的在于提供一种用于上述系统的面向回归的主动学习方法，旨在选择最有信息的样本，更好解决已有技术的存在的上述不足之处。

所述一种面向回归的主动学习方法，具体包括如下步骤：

第一步骤，调用回归模型用Bootstrap方法获得未标注样本的预测值分布；

第二步骤，，获得当前回归模型对未标注样本x的预测值分布之后，对于每一个预测值，计算出该样本在当前回归模型下的预测误差；

第三步骤，得到样本的预测误差后，根据模型参数更新原则即按照预测误差的负梯度方向进行迭代更新，计算误差的梯度和模；

第四步骤，得到样本的K个梯度模之后，根据预测值的分布，计算梯度模的期望值，计算出期望值之后，根据此期望值主动选择构建回归模型的样本：选取期望值最大的样本。

与现有技术相比，本发明具有以下有益效果：

本发明上述的系统通过各模块之间的协调工作，充分利用回归模型和训练集之间的相互关系，能够选择出最有信息的样本，从而训练出高性能的回归模型，实现回归系统准确预测的目的。本发明应用于工业生产数据和农业数据的回归分析，结果准确度提升明显，可以更好的满足实际需求。

附图说明

图1是本发明中基于主动学习的回归分析系统框架图；

图2是本发明中面向回归的主动学习流程图；

图3是本发明中基于主动学习的回归分析系统与现有技术的性能比较图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

本实施例构建了一个基于主动学习的回归分析系统，。本发明的回归系统应用于工业生产和农业中的真实数据分析（包括水泥抗压强度数据,红葡萄酒质量数据和白葡萄酒质量数据）。在本发明的回归分析系统中，本实施例选取当前最重要的评价指标RMSE（RootMeanSquaredError，均方根误差）进行效果评价，并且与已有的具有代表性的技术进行了比较。可以充分测试本发明的效果。需说明的是，本发明的系统也可以应用于金融数据分析，计算机人脸识别，语音识别等各种实际应用。

表1给出了用于一个回归分析的水泥抗压强度数据的示例，自变量有水泥含量，水含量，塑化剂含量等，单位是公斤/立方米，因变量是水泥的抗压强度，为0～100的连续数值。回归系统需要依据已有的数据（前5行样本），分析第6行样本水泥的抗压强度，以此对工业中新生产出的水泥进行识别和分类。

表1水泥抗压强度数据

本实施例所述系统包括：

数据采集模块：收集回归学习所需的未标注数据，在回归系统中，每一个数据样本用一个特征向量表示，如表1所示的水泥抗压强度数据，第一行数据样本用特征向量可以表示为：<540.0，162.0，2.5>，该示例数据有3个特征：水泥含量，水含量，塑化剂含量。对数据的每一个特征按照以下公式进行归一化预处理：

${f_i}^N=\frac{f_i-\min \{f_i,i\&Element;n\}}{\max \{f_i,i\&Element;n\}-\min \{f_i,i\&Element;n\}}$

其中，max{f_i,i∈n}表示样本中特征是f_i的最大值，min{f_i,i∈n}表示样本中特征是f_i的最小值，对数据特征归一化后，存于数据存储模块中的未标注数据部分。

训练集构建模块：负责构建回归学习所需要的训练数据。由于对数据进行人工标注代价巨大，因此无法对存储的海量未标注数据全部进行标注。本发明构建训练集包括以下两个阶段。在初始阶段，即没有任何训练数据的情况下，从所存储的海量数据中随机挑选部分数据进行人工标注，作为初始训练集，并调用回归学习模块开始训练初始的回归模型。之后，训练集迭代构建。在迭代阶段，执行主动学习方法，对选择出的最有信息的样本数据进行标注。如表1的示例水泥抗压强度数据，假设选中第一行样本数据，人工标注因变量：抗压强度：61.89。将标注后的数据存于数据存储模块中的有标注数据部分。

回归学习模块：调用数据存储模块中的有标注的训练数据，训练回归模型，本发明回归系统中使用了2种回归模型：线性回归模型和非线性回归模型，作为回归方程。

■线性回归模型：f(x)＝θ^Tx，参数θ通过训练样本的梯度下降法获取最优解。

■非线性回归模型：每一个h_m(x)为一个基方程，通过样本特征空

间划分构建，参数{λ₁,λ₂,...,λ_M}用梯度法获得最优解。本实施例中，M=100。

以上所述的训练集构建模块和回归学习模块，交互迭代进行，从而可以充分利用训练集和回归模型之间的关系，实现回归分析系统准确预测的目的。迭代终止条件可以有以下几种方式：人工设置迭代次数，回归系统性能满足用户需求等。本实施例中，迭代终止条件为：人工设置迭代次数：10次。

预测模块：以上迭代结束之后，调用回归学习模块建立的回归模型：线性回归模型或者非线性回归模型，对因变量进行预测，将预测结果展示给使用者。如表1所示的水泥抗压数据，系统调用训练好的回归模型，对第6行样本进行抗压强度分析识别，例如识别结果分别为：42.0。

数据存储模块：存储两部分数据，一部分顺序存储样本的特征向量，以此为未标注数据。另一部分顺序存储样本的特征向量及其标注，以此为有标注的数据。其中，未标注数据被训练集构建模块调用，用于执行初始阶段的样本选择，以及迭代阶段的主动学习方法。当被选中标注后，转存为有标注数据。有标注数据被回归学习模块调用，用于训练回归模型。

本发明的面向回归的主动学习方法，在训练集构建模块的迭代阶段中执行，选择最有信息的未标注样本。详述如下：

第一步骤，调用回归模型用Bootstrap方法计算未标注样本的预测值分布

对初始训练集按照训练集大小进行有放回的采样生成Bootstrap数据集，重复这种采样方式K次，即可以生成K个Bootstrap数据集。在每一个Bootstrap数据集上调用回归学习模块训练回归模型，可以获得K个回归模型。用获得的K个模型对存储的未标注样本x进行预测，可获得未标注样本的预测值分布。K一般取值在4-8之间。在本实施例中，K=4。

第二步骤，获得当前回归模型对未标注样本x的预测值分布之后，对于每一个预测值，计算出该样本在当前回归模型下的预测误差：

$\mathrm{err}=\frac{1}{2}{(f\left(x\right)-y_i)}^2$

其中，f(x)为当前回归模型的预测值，yi为Bootstrap的预测值(共有K个)。每一个未标注样本，都可以计算出K个预测误差。

第三步骤，得到样本的预测误差后，根据模型参数更新原则(按照预测误差的负梯度方向进行迭代更新),计算误差的梯度和模。

■线性回归模型：样本x预测误差的梯度计算为：(f(x)-y_i)x。共有K个梯度，相应的，可以计算K个模。

■非线性回归模型：首先为样本x做特征映射变换：Φ(x)＝[h₁(x),...,h_M(x)]^T，得到变换的特征后，预测误差的梯度计算为：(f(x)-y_i)Φ(x)。同样的有K个梯度，并相应的可以计算出K个模。

第四步骤，得到样本的K个梯度模之后，根据预测值的分布，计算梯度模的期望值。计算出期望值之后，根据此期望值主动选择构建回归模型的样本：选取期望值最大的样本。

实施效果

依据上述技术方案，在工业生产和农业数据（包括水泥抗压强度数据,白葡萄酒质量数据和红葡萄酒质量数据）上应用本发明的回归分析系统进行预测，本发明的回归系统选取RMSE（RootMeanSquaredError，均方根误差）进行效果评价，并且与已有的具有代表性的技术进行了比较。

为了充分测试本发明带来的技术效果，减少系统的随机误差。回归分析系统的每一项性能比较测试，都独立实验10次并计算平均结果，并以此平均值作为最终的性能指标。EMCM代表本发明的回归分析系统，其余3种是目前具有代表性的技术，分别记为QBC，Greedy和RAND。表2和表3给出了系统的性能比较结果(线性回归模型和非线性回归模型)，可以看出本发明的回归系统，结果误差明显的低于已有的技术。如表3所示的水泥抗压强度对比结果中，本发明与目前广泛使用的技术RAND相比，准确度提高了约8%。

表2回归分析系统预测误差比较（线性）

表3回归分析系统预测误差比较（非线性）

为了进一步验证本发明带来的性能提升，在训练集构建模块的主动学习方法的执行迭代过程中，每一步迭代后均进行了回归系统性能对比测试，图3给出了迭代过程中系统的分析误差对比结果。横坐标表示回归系统中主动学习方法的迭代次数，纵坐标是回归系统的性能评价指标，RMSE分值越低，表明回归系统的预测误差越小，即，预测越准确。可以看出，在迭代构建训练集过程中，绝大部分情况下本发明的回归系统的性能均持续好于目前具有代表性的技术。值得提出的是，本发明不仅可以提升回归系统的分析精度，还可以同时减少对样本进行标注的代价，从而具有更加实用的价值。例如图3(a)所示，本发明只需迭代5步即可达到最低的误差，从而只需标注少量样本，减少样本标注所耗费的巨大代价。

从以上测试可以看出，利用本发明的基于主动学习的回归分析系统及方法，能够显著的提升回归分析系统的数据分析性能，并在工业生产和农业数据上带来了明显的技术效果，能够更好的满足实际的需要。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (3)

1.一种基于主动学习的回归分析系统，其特征在于，该系统包括：数据采集模块，训练集构建模块，回归学习模块，预测模块及数据存储模块，其中：

所述数据采集模块，收集回归学习所需的未标注数据，并对数据进行预处理，存于数据存储模块；

所述训练集构建模块，构建回归学习所需的训练数据，包括以下两个阶段：初始阶段，从存储的未标注数据中随机挑选部分数据进行人工标注，构建初始训练集；迭代阶段，调用回归学习模块已经构建的回归模型，执行主动学习方法，从未标注数据中选择最有信息的样本进行标注，扩展已有的训练集；将标注后的数据存于数据存储模块；其中所述主动学习方法先调用回归模型用Bootstrap方法计算未标注样本的预测值分布，再计算样本的预测误差，然后计算预测误差的梯度和模，最后根据预测值的分布计算梯度模的期望值，选择期望值最大的样本；

所述回归学习模块，调用数据存储模块中的有标注的数据，训练回归模型，所述回归模型包括线性回归模型和非线性回归模型；

上述训练集构建模块和回归学习模块，交互迭代进行，从而充分利用训练集和回归模型之间的关系，提高回归系统的预测准确性；

所述预测模块，主动学习迭代结束后，调用回归学习模块建立的回归模型，包括线性回归模型和非线性回归模型，对因变量进行预测，将预测结果展示给使用者；

所述数据存储模块，存储两部分数据：一部分存储未标注的数据，另一部分存储有标注的数据，其中，未标注数据被训练集构建模块调用，用于样本选择，当被选中标注后，转存为有标注数据；有标注数据被回归学习模块调用，用于训练回归模型；

所述数据采集模块收集回归学习所需的未标注数据，在回归系统中，每一个数据样本用一个特征向量表示，对数据的每一个特征按照以下公式进行归一化预处理：

$f_i^N=\frac{f_i-\min \{f_i,i\&Element;n\}}{\max \{f_i,i\&Element;n\}-\min \{f_i,i\&Element;n\}}$

其中，max{f_i,i∈n}表示样本中特征是f_i的最大值，min{f_i,i∈n}表示样本中特征是f_i的最小值，对数据特征归一化后，存于数据存储模块中的未标注数据部分。

2.根据权利要求1所述的基于主动学习的回归分析系统，其特征在于，所述回归学习模块，调用数据存储模块中的有标注的数据，训练回归模型，所述回归模型包括线性回归模型和非线性回归模型：

线性回归模型：f(x)＝θ^Tx，参数θ通过训练样本的梯度下降法获取最优解；

非线性回归模型：每一个h_m(x)为一个基方程，通过样本特征空间划分构建，参数{λ₁,λ₂,...,λ_M}用梯度法获得最优解。

3.一种用于权利要求1所述回归分析系统的面向回归的主动学习方法，其特征在于，具体包括如下步骤：

第一步骤，调用回归模型用Bootstrap方法获得未标注样本的预测值分布

对初始训练集按照训练集大小进行有放回的采样生成Bootstrap数据集，重复这种采样方式K次，即生成K个Bootstrap数据集，在每一个Bootstrap数据集上调用回归学习模块训练回归模型获得K个回归模型，用获得的K个模型对存储的未标注样本x进行预测，可获得未标注样本的预测值分布；K取值在4-8之间；

第二步骤，获得当前回归模型对未标注样本x的预测值分布之后，对于每一个预测值，计算出该样本在当前回归模型下的预测误差；

第三步骤，得到样本的预测误差后，根据模型参数更新原则即按照预测误差的负梯度方向进行迭代更新，计算误差的梯度和模：

线性回归模型：样本x预测误差的梯度计算为：(f(x)-y_i)x，共有K个梯度，相应的，计算K个模，其中，f(x)为当前回归模型的预测值，y_i为Bootstrap的预测值；

非线性回归模型：首先为样本x做特征映射变换：Φ(x)＝[h₁(x),...,h_M(x)]^T，得到变换的特征后，预测误差的梯度计算为：(f(x)-y_i)Φ(x)，同样的有K个梯度，并相应的计算出K个模；其中，h₁(x),...,h_M(x)为非线性模型的基函数；

第四步骤，得到样本的K个梯度模之后，根据预测值的分布，计算梯度模的期望值，计算出期望值之后，根据此期望值主动选择构建回归模型的样本：选取期望值最大的样本。