CN107111786B - 用于预测信息的系统、方法 - Google Patents

Abstract

系统具备：存储学习对象的学习对象存储部；存储学习结果的学习结果存储部；以及与输入部连接的控制部。控制部计算由所述输入部指定的处理对象的第1特征矢量的主成分系数矢量，使用被存储于所述学习结果存储部的主成分基础矢量，来计算第2特征矢量的主成分系数矢量，使用所述第2特征矢量的主成分系数矢量，来计算所述处理对象的第2特征矢量。

Description

用于预测信息的系统、方法

技术领域

本发明涉及用于根据第1特征矢量来预测第2特征矢量的系统、方法以及程序。

背景技术

可能有如下情况：学习2个信息之间的关系，利用该学习结果而针对处理对象信息预测新的信息。例如在超分辨技术中，由低分辨率的原图像生成高分辨率的图像。这种超分辨技术随着显示器装置的高分辨率化而受到注目，逐渐被各种设备等采用。在这种超分辨技术中，类推失去的高频成分。例如在将某个图像数据的像素尺寸沿横向和纵向放大的情况下，计算相邻的2个像素的中间值，用该中间值的像素来填补这些像素之间。在该计算方法中，失去的高频成分不再现，放大图像的边界线变得模糊。另一方面，在超分辨技术中，分析像素的图案，计算认为适当的像素，用计算出的像素填补原图像的相邻的像素彼此之间，从而类推高频成分。

在超分辨技术中，将补片超分辨率和高频成分预测结合(例如参照非专利文献1)。在该文献中记载的技术中，作为从低频成分预测高频成分的方法，将低频和高频使用PCA降低维度，使用回归分析来预测高分辨图像。在这种情况下，作为后处理而采用双向过滤器。

另外，使用较少的硬件资源来高速地进行处理的技术也正在研究(例如，参照专利文献1)。在该文献中记载的技术中，首先将作为处理对象的图像分为场面。使用适合场面的字典表，对字典进行树检索，从而类推失去的高频成分。为了使字典表的检索高速化，使用主成分分析，将作为检索关键而使用的序号位表(index bitmap)变换成作为标量值的第一主成分以及第二主成分，并且由第一主成分和第二主成分进行分组，计算其平均值。

现有技术文献

专利文献

专利文献1：日本特开2013-26659号公报

非专利文献

非专利文献1：Columbia University，Wei Liu1，其他，「Hallucinating Faces：TensorPatch Super-Resolution and Coupled Residue Compensation」、[online]、Columbia University、2014年9月23日検索、互联网<http://www.ee.columbia.edu/-wliu/CVPR05_LiuWei1.pdf>

发明内容

发明所要解决的课题

如上所述，在超分辨技术中，进行了用于高速化、高画质化的各种尝试。但是，在非专利文献1所述的技术中，虽然进行主成分分析，但是高分辨率图像是通过回归分析进行预测。在这种情况下，当针对每个主成分系数独立地回归学习低分辨率和高分辨率之间的关系时，良好精度的主成分系数和较差的精度的主成分系数混在一起，所以有时整体精度出现问题。

另外，在专利文献1所述的技术中，为了削减字典数据的数据量和检索高速化而进行主成分分析，但是没有考虑主成分系数的方差。

本发明的目的在于提供一种用于根据第1信息、即特征矢量来有效地预测第2信息、即特征矢量的系统、方法以及程序。

用于解决课题的手段

在本发明的一个方式中，提供用于预测信息的系统。该系统具备：存储学习对象的学习对象存储部；存储学习结果的学习结果存储部；以及与输入部连接的控制部。所述控制部执行学习处理，在该学习处理中，针对被存储于所述学习对象存储部的每个学习对象计算第1特征矢量以及第2特征矢量，将所述第1特征矢量的主成分系数矢量和第2特征矢量的主成分系数矢量除以表示所述主成分系数矢量的偏差的指标，从而生成行矢量，使用所有的学习对象的所述行矢量进行主成分分析，从而由第1特征矢量的主成分系数矢量和第2特征矢量的主成分系数矢量生成主成分基础矢量，将所述主成分基础矢量与所述第1特征矢量的平均矢量以及第2特征矢量的平均矢量一起存储于所述学习结果存储部。另外，所述控制部执行预测处理，在该预测处理中，计算被所述输入部指定的处理对象的第1特征矢量的主成分系数矢量，使用被存储于所述学习结果存储部的所述主成分基础矢量，计算第2特征矢量的主成分系数矢量，使用所述第2特征矢量的主成分系数矢量，计算所述处理对象的第2特征矢量。由此，能有效地且准确地预测第2特征矢量。

在一个实施方式中，所述控制部能将所述主成分基础矢量和所述第1特征矢量的成分正交化，并存储于所述学习结果存储部。由此，利用正交化，能使计算高速化。

在一个实施方式中，所述控制部执行后处理，在所述后处理中，将计算出的高分辨率信息(第2特征矢量)压缩，计算已压缩的高分辨率信息和所述处理对象的低分辨率信息(第1特征矢量)的差分，将所述差分与基准值进行比较，在所述差分大于所述基准值的情况下，将所述差分放大，从所述高分辨率信息减去放大的差分。由此，能纠正预测时产生的误差。

在一个实施方式中，表示所述偏差的指标能设定成所述主成分系数矢量的标准偏差。由此，各系数的尺度变得相等，能有效地利用主成分分析的优点。

在其他方式中，提供用于使用所述系统预测信息的方法。

此外，在其他方式中，提供存储有用于使用所述系统来预测信息的程序的非临时性计算机可读存储介质。

发明效果

根据本发明，能根据第1特征矢量来有效地预测第2特征矢量。

附图说明

图1是本实施方式的图像处理系统的说明图。

图2是图1的系统的处理步骤的说明图，图2(a)是第1学习处理的说明图，图2(b)是第2学习处理的说明图。

图3是图1的系统的处理步骤的说明图。

图4是图1的系统的处理步骤的说明图。

图5是图1的系统的超分辨率处理的处理步骤的概要说明图。

图6是图1的系统的处理步骤的说明图。

图7是图1的系统的处理步骤的说明图。

图8是图1的系统的处理步骤的说明图。

图9是图1的系统的处理步骤的说明图。

图10是图1的系统的优点的说明图。

图11是图1的系统的优点的说明图。

图12是图1的系统的优点的说明图。

图13是图1的系统的优点的说明图。

图14是图1的系统的优点的说明图。

具体实施方式

以下，参照图1-图14说明将本发明具体化的系统的一个实施方式。在本实施方式中，对适用到提高面部图像的分辨率的超分辨技术的情况进行说明。

如图1所示，在本实施方式中，采用图像处理系统20。在该图像处理系统20连接有输入部10和输出部15。输入部10由键盘、指示器构成，取得由负责人输入的信息。输出部15由显示器构成，输出各种信息。

图像处理系统20是用于进行超分辨率处理的计算机系统。该图像处理系统20具备：控制部21；作为学习对象存储部的面部图像存储部22；以及学习结果存储部23。

控制部21具备控制单元(CPU、RAM、ROM等)，进行后述的处理(学习阶段、超分辨率阶段、第1预测阶段、第2预测阶段、后处理阶段、特征点抽出阶段、网格划分阶段、正规化阶段、特征图像抽出阶段、主成分分析阶段等的各种处理等)。通过执行上述程序，如图1所示，控制部21作为学习部210、超分辨率部215、第1预测部216、第2预测部217、后处理部218、特征点抽出部21a、网格划分部21b、正规化部21c、特征图像抽出部21d、主成分分析部21e而发挥作用。

学习部210执行使用高分辨率图像和与该高分辨率图像对应的低分辨率图像，来生成超分辨率处理所需要的信息的处理。

超分辨率部215执行提高处理对象图像(输入图像)的分辨率的超分辨率处理。超分辨率部215具备存储器，在存储器中存储有处理对象图像以及计算中的图像。

第1预测部216在主成分矢量正交化的情况下，执行计算高分辨率补片的最优解的处理。

第2预测部217在主成分矢量没有正交化的情况下，进行检索高分辨率补片的最优解的处理。第2预测部217保持有与检索主成分系数的最优解时轻微移动的摆动宽度相关的数据。

后处理部218执行使用生成的超分辨率图像来调整误差的处理。在本实施方式中，采用IBP(iterative back projection：迭代反投影)法。该后处理部218保持有与用于判断超分辨率结果的妥当性的阈值相关的数据。

特征点抽出部21a执行在处理对象图像中抽出特征点的处理。在本实施方式中，通过图案识别来抽出代表面部图像的特征点(例如，面部的轮廓、面部的要素位置)。

网格划分部21b执行基于抽出的特征点，将处理对象图像划分为规定形状的网格的处理。在本实施方式中，采用三角剖分(Delaunay)法，生成三角形状的网格。该三角剖分法是将空间内的点连结而生成三角形的组，使相对于该三角形的所有的角度的最小角度变得最大的方法。

正规化部21c执行以处理对象图像中的特征点配置在预先规定的位置的方式使网格变形的处理。在本实施方式中，作为预先规定的位置，采用平均面部的配置。因此，正规化部21c预先保持有与平均面部的配置图案相关的数据。此外，正规化部21c执行使变形的网格复原的复原处理。因此，正规化部21c存储有为了正规化而变形时的变换信息。

特征图像抽出部21d执行抽出为了从正规化的处理对象图像生成超分辨率图像所需要的特征量的处理。在本实施方式中，作为特征量，采用图像的高频成分。另外，如后述的那样，也可以采用处理对象图像本身(原图像)，作为特征量。

主成分分析部21e执行主成分分析处理，在主成分分析处理中，在多个数据中以具有大方差的方向的顺序计算正交矢量。主成分分析部21e通过进行主成分分析处理，从而计算固有值和固有矢量(基础矢量)。在此，固有值表示方差。另外，基础矢量以具有大方差的方向的顺序排列。由于越是下级的主成分信息就越少，所以在达到规定的累计贡献率(正规化固有值的累计)的时刻舍去之后的矢量，也就是说从考虑中排除，从而对维度进行限定以减轻计算负荷。

接着，说明各存储部所存储的信息。

面部图像存储部22存储与用于学习的面部图像(学习对象)相关的学习用图像数据。该学习图像数据在登记为了超分辨率处理而进行的学习中使用的数据的情况下被存储。在该面部图像数据中，与数据号码进行关联地存储有多个面部图像。

学习结果存储部23存储有通过耦合学习而生成的主成分基础矢量和平均矢量。在此，第i个的耦合补片矢量的平均矢量可以表示为如下。

(式1)

第i个耦合补片矢量的平均矢量

另外，第i个的耦合补片矢量(patch vector)的、第n个的主成分的主成分基础矢量可以表示为如下。

(式2)

第i个耦合补片矢量的第n个主成分基础矢量

以下，说明在上述图像处理系统20中生成超分辨率图像的处理。该处理由学习处理和超分辨率处理构成。

(学习处理)

首先，使用图2说明学习处理。该学习处理包括第1学习处理和第2学习处理。在第1学习处理中，生成以调整尺寸、面部要素(parth)的位置的方式正规化的高分辨率和低分辨率的一对面部图像。在第2学习处理中，将高分辨率和低分辨率的一对面部图像分别划分成规定形状(例如，四角形)的要素(补片)。以补片单位通过主成分分析来耦合学习“低分辨率、高分辨率”的关系。

(第1学习处理)

首先，使用图2(a)说明第1学习处理。

在此，图像处理系统20的控制部21在被存储于面部图像存储部22的面部图像数据中，依次确定处理对象的数据，反复进行以下处理。

首先，控制部21执行特征点抽出处理(步骤S1-1)。具体地讲，控制部21的学习部210利用特征点抽出部21a，来确定面部的轮廓、面部要素的特征点。在本实施方式中，采用主要用于面部表情的跟踪、面部的识别等的AAM(Active Appearance Models：主动外观模型)法的自动抽出。在该AAM法中，将对象物体(人的面部)以有限个顶点模型化，将该模型拟合到输入图像，从而抽出对象物体的特征点。

接着，控制部21执行网格划分处理(步骤S1-2)。具体地讲，学习部210利用网格划分部21b将配置了已抽出的特征点的面部图像进行网格划分。

接着，控制部21执行正规化处理(步骤S1-3)。具体地讲，学习部210利用正规化部21c使各网格的方格移动到预先规定的网格位置(例如、平均面部)，使由网格构成的三角形变形。由此，能生成所有的面部图像的特征点的位置一致的面部图像数据。

如上，针对被存储于面部图像存储部22的所有的面部图像数据反复进行第1学习处理，直到结束为止。

(第2学习处理)

接着，使用图2(b)说明第2学习处理。

在此，首先，控制部21确定处理对象的分辨率(低分辨率、高分辨率)，并针对每个分辨率反复进行以下处理。

在此，在被存储于面部图像存储部22的面部图像数据中依次确定处理对象的数据，反复进行以下处理。

首先，控制部21对目标图像执行调整大小处理(步骤S2-1)。具体地讲，控制部21将目标图像变换为用于后述的耦合学习的图像尺寸(低分辨率图像、高分辨率图像)。

接着，控制部21执行特征量抽出处理(步骤S2-2)。具体地讲，学习部210利用特征图像抽出部21d从正规化的目标图像抽出超分辨率所需要的特征量。后面详细叙述该处理。

接着，控制部21执行补片分割处理(步骤S2-3)。具体地讲，学习部210将目标图像划分为预先规定的个数(规定个数)的补片。在本实施方式中，例如生成(25*25)像素的补片。

接着，控制部21确定处理对象的补片，针对每个补片反复进行以下处理。

在此，控制部21执行矩阵的生成处理(步骤S2-4)。具体地讲，学习部210针对处理对象的补片，生成2维补片数据。在此，生成将处理对象补片中的RGB值按每个像素排列的2维补片数据。学习部210将生成的2维补片数据变换为一维行补片矢量(pij)。在此，“i”是补片位置，“j”是确定面部图像数据的变量。学习部210将一维行补片矢量(pij)储存于矩阵Di。

在此，与低分辨率补片相关的数据矩阵Dli可以表现为如下。

(式3)

另外，与高分辨率补片相关的数据矩阵Dhi可以表现为如下。

(式4)

直到针对处理对象的面部图像数据中的所有的补片的处理结束为止反复执行。

将以上的处理反复执行，直到针对所有的面部图像数据的处理结束为止。

接着，控制部21执行主成分分析处理(步骤S2-5)。具体地讲，学习部210利用主成分分析部21e针对每个补片，使用数据矩阵(Dli、数据矩阵Dhi)进行主成分分析。

在这种情况下，针对低分辨率，计算出以下的主成分系数、主成分基础矢量。

(式5)

数据号码j的第i个低分辨率补片矢量的第n个主成分系数

(式6)

第i个低分辨率补片矢量的第n个主成分基础矢量

另外，针对每个高分辨率，计算出以下的主成分系数、主成分基础矢量。

(式7)

数据号码j的第i个高分辨率补片矢量的主成分系数

(式8)

第i个高分辨率补片矢量的第n个主成分基础矢量

在此，将补片矢量的平均矢量可以表现为如下。

(式9)

第i个低分辨率补片矢量的平均矢量

(式10)

第i个高分辨率补片矢量的平均矢量

在这种情况下，低分辨率的面部图像数据“j”的第“i”个补片矢量可以表现为如下。

(式11)

另外，高分辨率的面部图像数据“j”的第“i”个补片矢量可以表示为如下。

(式12)

另外，nmax(i)通过限制为累计贡献率98％程度的主成分，从而能将维数减少到100左右。

直到针对所有的分辨率(低分辨率图像、高分辨率图像)的处理结束为止反复执行。

接着，控制部21执行耦合学习处理(步骤S2-6)。具体地讲，学习部210针对将低分辨率补片和高分辨率补片的主成分系数合并的矢量，再次针对每个补片进行主成分分析，从而学习相关关系。后面详细叙述该处理。

(特征量抽出处理)

接着，使用图3说明特征量抽出处理(步骤S2-2)。

首先，控制部21执行原图像的缩小处理(步骤S3-1)。具体地讲，控制部21的特征图像抽出部21d将处理对象的面部图像压缩而将尺寸缩小化。由此，面部图像的高频成分被除去。

接着，控制部21执行低频成分的计算处理(步骤S3-2)。具体地讲，特征图像抽出部21d将缩小化的面部图像数据放大成原来的尺寸。在这种情况下，以原来的尺寸生成由低频成分构成的图像数据(低频成分图像)。

接着，控制部21执行高频成分的计算处理(步骤S3-3)。具体地讲，特征图像抽出部21d从原来的面部图像删除低频成分图像，从而抽出高频成分。

(耦合学习处理)

接着，使用图4说明耦合学习处理。在此，将低分辨率补片的主成分系数和高分辨率补片的主成分系数耦合而生成一个行矢量(一维矢量)。将生成的行矢量存储于矩阵，再次进行主成分分析。通过将低分辨率补片的信息和高分辨率补片的信息耦合而进行主成分分析，从而学习低分辨率补片和高分辨率补片之间的关系。

首先，控制部21执行行矢量的生成处理(步骤S4-1)。具体地讲，学习部210生成将低分辨率补片的主成分系数和高分辨率补片的主成分系数耦合的矢量P(m)ij。

(式13)

在此，“Sin”是以下的比例因数。

(式14)

第i个低分辨率补片矢量的第n个主成分系数的比例因数

(式15)

第i个高分辨补片矢量的第n个主成分系数的比例因数

该比例因数Sin使用第i个的低分辨率补片矢量的第n个主成分系数Cijn的标准偏差。

接着，控制部21执行矩阵的生成处理(步骤S4-2)。具体地讲，学习部210使用一维行补片矢量Pij，生成耦合补片矢量的数据矩阵Dmi。该数据矩阵Dmi可以表示为如下。

(式16)

接着，控制部21执行对每个补片的主成分分析处理(步骤S4-3)。具体地讲，控制部21的主成分分析部21e使用数据矩阵Dmi，进行主成分分析。

在这种情况下，计算以下的主成分系数、主成分基础矢量。

(式17)

数据号码j的第i个耦合补片矢量的第n个主成分系数

(式18)

第i个耦合补片矢量的第n个主成分基础矢量

在此，主成分基础矢量Uin可以表示为如下。

(式19)

(式20)

中的前半部分的低分辨率部分

(式21)

中的后半部分的高分辨率部分

接着，控制部21执行正交化处理(步骤S4-4)。具体地讲，学习部210通过革栏-施密特法将低分辨率成分(〔式20〕)正交化。在这种情况下，高分辨率成分(〔式21〕)也使用低分辨率成分中的正交化系数进行变换。

接着，控制部21执行是否能利用正交化矢量的判断处理(步骤S4-5)。具体地讲，学习部210确认即使进行正交化而将主成分矢量的个数限定为「nmax(l，i)」个，在精度上是否有问题。具体地讲，计算在将主成分矢量的个数限定为「nmax(l，i)」个的情况下的高分辨率主成分矢量的累计贡献率。在该累计贡献率到达规定值(例如，98％)时，判断为能利用正交化矢量。

在判断为精度上没有问题且能利用正交化矢量的情况下(在步骤S4-5为“是”的情况下)，控制部21执行正交化的耦合矢量、平均矢量的存储处理(步骤S4-6)。具体地讲，学习部210将正交化的耦合矢量、平均矢量存储到学习结果存储部23。

另一方面，在判断为精度上有问题且不能利用正交化矢量的情况下(在步骤S4-5中为“否”的情况下)，控制部21执行原来的耦合矢量、平均矢量的存储处理(步骤S4-7)。具体地讲，学习部210将原来的耦合矢量、平均矢量存储到学习结果存储部23。

在此，耦合补片矢量的平均矢量可以表示为以下式。

(式22)

第i个耦合补片矢量的平均矢量

在这种情况下，数据“j”的第“i”个一维行补片矢量Pij可以表示为如下。

(式23)

(式24)

(超分辨率处理)

接着，使用图5-图9说明超分辨率处理。

首先，使用图5说明超分辨率处理的概要。

从输入图像取得由低分辨率补片的主成分系数构成的补片矢量V10。从学习结果存储部23取得耦合补片矢量的主成分基础矢量的低分辨率部分V21和耦合补片矢量的平均矢量的低分辨率部分V22。计算主成分系数Cij，主成分系数Cij用于用平均矢量的低分辨率部分V22、主成分基础矢量的低分辨率部分V21来表示补片矢量V10。

从学习结果存储部23取得耦合补片矢量的主成分基础矢量的高分辨率部分V31和耦合补片矢量的平均矢量的高分辨率部分V32。使用计算出的主成分系数Cij、主成分基础矢量的高分辨率部分V31以及平均矢量的高分辨率部分V32，来生成输入图像的超分辨率。

接着，使用图6具体地说明超分辨率处理。

首先，控制部21执行面部图像输入处理(步骤S5-1)。具体地讲，控制部21的超分辨率部215取得由输入部10指定的输入图像。

接着，控制部21执行面部特征点抽出处理(步骤S5-2)。具体地讲，超分辨率部215利用特征图像抽出部21d与步骤S1-1同样地抽出特征点。

接着，控制部21执行网格划分处理(步骤S5-3)。具体地讲，超分辨率部215利用网格划分部21b与步骤S1-2同样地网格划分面部图像。

接着，控制部21执行正规化处理(步骤S5-4)。具体地讲，与步骤S1-3同样地，超分辨率部215使各网格的格子移动到预先规定的网格位置(例如，平均面部)，变形由网格构成的三角形。

接着，控制部21执行特征量抽出处理(步骤S5-5)。具体地讲，超分辨率部215通过特征图像抽出部21d，与步骤S2-2同样地，从正规化的输入图像抽出超分辨率所需的特征量。

接着，控制部21执行补片分割处理(步骤S5-6)。具体地讲，超分辨率部215与步骤S2-3同样地，分割为预先规定的个数。

接着，控制部21确定处理对象的补片，针对每个补片反复进行以下处理。

在此，控制部21执行超分辨率补片的预测处理(步骤S5-7)。具体地讲，超分辨率部215针对超分辨率补片进行第1预测处理或者第2预测处理。在此，在主成分矢量被正交化的情况下进行第1预测处理，在主成分矢量没有被正交化的情况下进行第2预测处理。后面详细叙述该处理。

反复地执行上述处理，直到针对处理对象图像的所有的补片的处理结束为止。

接着，控制部21执行后处理(步骤S5-8)。后面详细叙述该处理。

接着，控制部21执行将正规化图像恢复到原图像形状的处理(步骤S5-9)。具体地讲，超分辨率部215是通过使各网格的格子向与步骤S5-4的移动方向相反的方向移动，从而复原各网格格子的配置。

(第1预测处理)

使用图7，说明针对超分辨率补片的第1预测处理。该处理在主成分矢量被正交化且想要更高速地进行处理的情况下进行。

首先，控制部21执行内积处理(步骤S6-1)。具体地讲，控制部21的第1预测部216使用以下式计算内积。

(式25)

在此，Uin、Pit为如下。

(式26)

正交的耦合主成分矢量的低分辨率部分

(式27)

从输入算出的低分辨率补片系数矢量

接着，控制部21执行高分辨率补片的计算处理(步骤S6-2)。具体地讲，第1预测部216使用以下式在各补片中生成高分辨率补片系数矢量，将其存储于超分辨率部215的存储器。

(式28)

(第2预测处理)

使用图8说明针对超分辨率补片的第2预测处理。该处理在主成分矢量没有被正交化的情况或者在需要考虑nmax(1，i)以上的主成分矢量的情况下进行。

首先，执行基于主成分分析的低分辨率补片系数矢量的计算处理(步骤S7-1)。具体地讲，超分辨率部215使用主成分分析部21e计算低分辨率补片系数矢量。

(式29)

从输入算出的低分辨率补片系数矢量

接着，控制部21执行主成分系数的临时设定处理(步骤S7-2)。具体地讲，控制部21的第2预测部217与步骤S6-1同样地计算出内积，从而计算输入图像(数据号码：t)的主成分系数Ci、t、n。另外，由于主成分矢量没有被正交化，所以将计算出的主成分系数Ci、t、n设定为初始值，进行后述的最优解检索。

接着，控制部21执行基于临时设定的主成分系数的低分辨率补片系数矢量的计算处理(步骤S7-3)。具体地讲，第2预测部217从学习结果存储部23取得以下的平均矢量、主成分基础矢量。

(式30)

中的前半部分的低分辨率部分

(式31)

中的前半部分的低分辨率部分

在这种情况下，输入图像(数据号码：t)的低分辨率图像的各补片中的耦合矢量的低分辨率成分(低分辨率补片系数矢量)使用临时设定的主成分系数Ci、t、n，表示为如下。

(式32)

(式33)

将低分辨率补片的主成分系数和高分辨率补片的主成分系数

耦合的矢量中的前半部分的低分辨率部分

接着，控制部21执行差分的计算处理(步骤S7-4)。具体地讲，第2预测部217使用以下式计算在步骤S7-1中计算的低分辨率补片系数矢量和在步骤S7-3中计算的低分辨率补片系数矢量的差分。

(式34)

第2预测部217将计算出的差分与临时设定的低分辨率补片系数矢量进行关联，并存储于存储器。

接着，控制部21执行对反复是否结束进行判断的判断处理(步骤S7-5)。具体地讲，第2预测部217在差分成为最小值的情况下，判定为反复结束。

在判断为差分具有减少倾向且反复还未结束的情况下(在步骤S7-5中为“否”的情况下)，控制部21使临时设定的主成分系数在斜度低的方向上以微小的摆动宽度移动位置，反复进行步骤S7-3之后的处理。

另一方面，在判断为差分反转为增加倾向且反复结束的情况下(在步骤S7-5中为“是”的情况下)，控制部21执行确定差分的最小值的主成分系数的确定处理(步骤S7-6)。具体地讲，第2预测部217确定差分成为最小值的主成分系数。

接着，控制部21执行高分辨率补片的计算处理(步骤S7-7)。具体地讲，第2预测部217从学习结果存储部23取得以下的平均矢量、主成分基础矢量。

(式35)

中的后半部分的高分辨率部分

(式36)

中的后半部分的高分辨率部分

第2预测部217将差分成为最小值的主成分系数适用到以下式，计算出高分辨率补片系数矢量，并存储于超分辨率部215的存储器。

(式37)

(后处理)

使用图9说明后处理。在此，使用IBP(iterative back projection：迭代反投影)法，减小将计算出的超分辨率缩小为输入图像的尺寸时的图像和输入图像的误差。

首先，控制部21执行取得超分辨率结果的取得处理(步骤S8-1)。具体地讲，超分辨率部215通过后处理部218调出由被存储于超分辨率部215的存储器的高分辨率补片系数矢量构成的图像。

接着，控制部21执行超分辨率结果的缩小处理(步骤S8-2)。具体地讲，控制部21的后处理部218生成将调出的超分辨率图像缩小为输入图像的尺寸的压缩图像。

接着，控制部21执行计算压缩图像和原图像的差分的计算处理(步骤S8-3)。具体地讲，后处理部218将压缩图像和输入图像进行比较，计算出差分。

接着，控制部21执行判断差分是否为阈值以下的判断处理(步骤S8-4)。具体地讲，后处理部218将计算出的差分与能容许的阈值进行比较。

在判定出差分为阈值以下的情况下(在步骤S8-4中“是”的情况下)，控制部21执行超分辨率结果的输出处理(步骤S8-5)。具体地讲，后处理部218将被存储于存储器的超分辨率图像作为超分辨率处理结果而输出。

另一方面，在判定为差分不是阈值以下的情况下(在步骤S8-4中“否”的情况下)，控制部21执行差分的放大处理(步骤S8-6)。具体地讲，后处理部218生成将计算出的差分放大为超分辨率图像的分辨率的差分图像。

接着，控制部21执行超分辨率结果的补正处理(步骤S8-7)。具体地讲，后处理部218生成从被存储于存储器的图像删除差分图像后的图像，存储于存储器并进行更新。

控制部21反复进行超分辨率结果的缩小处理(步骤S8-2)之后的处理。

以上，根据本实施方式，能得到以下所示的效果。

(1)在本实施方式中，使用低分辨率图像和高分辨率图像，进行基于主成分分析的耦合学习。在通过针对每个主成分系数独立地进行回归分析而学习了低分辨率和高分辨率之间的关系的情况下，由于高精度的主成分系数和低精度的主成分系数混在一起，所以有时整体的精度产生问题。另一方面，在本实施方式中，由于以系数矢量单位进行学习，所以主成分系数整体的精度一致，能实现整体精度的提高。

与进行图像数据基础检索的手法相比，排除累计贡献率低的主成分矢量，将维度设定得小，从而能高速地生成高分辨率图像。此外，与进行图像数据基础检索的方法相比，能特别减少数据容量。另外，由于采用多个图像进行学习处理，所以能生成高画质的高分辨率图像。

如图10所示，在放大输入图像的情况下，产生锯齿现象，但是在进行了本实施方式的超分辨率处理的超分辨率结果中能再现高分辨率。能实现接近于低分辨率的输入图像的原图像(高分辨率)、即“正解”的分辨率。

(2)在本实施方式中，控制部21执行特征量抽出处理(步骤S2-2)。在此，使用高频成分来计算出特征量，从而能实现比较良好的超分辨率。

如图11所示，对在抽出特征量时采用“原图像”的情况和采用“高频成分”的情况进行比较。在低分辨率特征量、高分辨率特征量的计算中，在均采用“原图像”的情况下，在轮廓部分产生块噪声。另一方面，在低分辨率特征量、高分辨率特征量的计算中，在某一个采用“高频成分”的情况下，能实现良好的超分辨率。(3)在本实施方式中，比例因数Sin采用第i个低分辨率补片矢量的第n个主成分系数Cijn的标准偏差。通常，在将不同的2个信息(特征矢量)耦合而进行主成分分析的情况下，较多地吸收耦合前的2个特征矢量的维度的不同(尺度不同)，所以在一个特征矢量乘以比例因数。在此，当使用固定值的比例因数进行主成分分析时，号码大的高频成分的主成分系数Cijn被号码小的低频成分的主成分系数Cijn的方差掩盖。另一方面，通过除以标准偏差后进行主成分分析，从而各主成分系数的尺度相等，能有效地利用主成分分析的优点。

如图12所示，在没有采用比例因数的以前的方法中，产生超分辨率图像的劣化，但是在本实施方式中，能实现良好的超分辨率。

(4)在本实施方式中，控制部21针对超分辨率补片执行第1预测处理或者第2预测处理。由此，能够根据正交化的情况，分开使用2个预测处理。

在图13中示出采用第1预测处理(最优解检索)的情况和采用第2预测处理(正交化)的情况的比较例。在两者中，正解图像和超分辨率图像的区别几乎不产生。另一方面，计算时间通过正交化而被短缩，能实现与回归分析相等的高速处理。

(5)在本实施方式中，控制部21执行后处理。由此，能抑制误差。

如图14所示，即使在产生块噪声的情况下，通过后处理也能降低影响。

另外，上述实施方式也可以变更为以下方式。

·在上述实施方式中，作为第1特征矢量采用低分辨率矢量，作为第2特征矢量采用高分辨率矢量，从而进行面部图像的超分辨率处理。超分辨率处理的对象并不限定为面部图像，能适用到将具有形状图案的对象物变换为高画质的超分辨率。在该情况下，采用具有特定图案的低分辨率图像和高分辨率图像来进行学习处理。

并且，本发明的方法不仅是超分辨率，还能适用于从第1矢量数据推定第2矢量数据的各种用途。例如，在细分过程中，从表面化的信息抽出潜在化的信息。

在二维图像特征点识别中，作为第1特征矢量采用对象二维图像，作为第2特征矢量采用对象图像的特征点。

在二维图像的细分过程中，作为第1特征矢量采用对象二维图像，作为第2特征矢量采用对象图像的细分。

在三维图像特征点识别中，作为第1特征矢量采用对象三维图像，作为第2特征矢量采用对象图像的特征点。

在三维图像的细分过程中，作为第1特征矢量采用对象三维图像，作为第2特征矢量采用对象图像的细分。

以下，列举信息预测的具体例。

例如在去除图像的残影·模糊过程中，作为第1特征矢量采用“包括残影·模糊的图像矢量”，作为第2特征矢量采用“去除了残影·模糊的图像矢量”。

另外，在安全摄像机动画分析(动作预测)中，作为第1特征矢量采用“预测开始时为止的时间序列的人物动作数据”，作为第2特征矢量采用“预测开始后的人物的时间序列的人物动作数据”。

另外，能应用到除图像以外的信息预测。

例如，在语音的高音质化中，作为第1特征矢量采用“低音质的声音信号”，作为第2特征矢量采用“高音质的声音信号”。在此，采用声音信号的信号本身、或者将高频成分为要素的矢量。

另外，在气象预测中，作为第1特征矢量采用“预测开始时为止的时间序列的气象数据”，作为第2特征矢量采用“预测开始后的时间序列的气象数据”。在此，采用将各种气象数据(天气、气压、气温、湿度、风向、风速等)设为要素的矢量。

另外，在经济预测中，作为第1特征矢量采用“预测开始时为止的时间序列的股价·经济指标数据”，作为第2特征矢量采用“预测开始后的时间序列的股价·经济指标数据”。在此，采用将股价·经济指标数据(各种品种的股价、利息、景气、雇佣统计、物价上升率、贸易等)设为要素的矢量。

另外，在健康预测中，作为第1特征矢量采用“预测开始时为止的时间序列的生物体指标数据”，作为第2特征矢量采用“预测开始后的时间序列的生物体指标数据”。在此，采用将各种生物体指标(体重、身高、各健康诊断值速等)为要素的矢量。

另外，在交通量预测中，作为第1特征矢量采用“关于预测开始时为止的时间序列的交通量的指标数据”，作为第2特征矢量采用“预测开始后的时间序列的交通量数据”。在此，采用将各交通量数据(计测点、车辆数量、车型、车速、目的地等)为要素的矢量。

另外，在消费行为预测中，作为第1特征矢量采用“预测开始时为止的时间序列的消费行为数据”，作为第2特征矢量采用“预测开始后的人物的时间序列的消费行为数据”。在此，采用人物行为数据(品名、消耗量、各种经济指标等)为要素的矢量。

·在上述实施方式中，进行线形的主成分分析，但是也可以进行非线形的核心主成分分析。

·上述实施方式中，比例因数Sin采用了第i个低分辨率补片矢量的第n个主成分系数Cijn的标准偏差。比例因数Sin不限定为标准偏差，可以采用表示主成分系数Cijn的偏差的指标。

·在上述实施方式中，比例因数Sin采用了第i个低分辨率补片矢量的第n个主成分系数Cijn的标准偏差。在此，比例因数Sin不限定为标准偏差，也可以采用表示主成分系数Cijn的方差的统计变量。

Claims (6)

1.一种图像处理系统，由处理对象图像生成高分辨率的图像，所述图像处理系统具备：存储学习对象图像的学习对象存储部；存储学习结果的学习结果存储部；以及与输入部连接的控制部，其中，

所述控制部构成为执行学习处理和超分辨率处理，

在所述学习处理中，针对被存储于所述学习对象存储部的每个学习对象图像分别生成低分辨率图像和高分辨率图像，针对所述低分辨率图像计算第1特征矢量，针对所述高分辨率图像计算第2特征矢量，通过将所述第1特征矢量的主成分系数矢量和第2特征矢量的主成分系数矢量除以表示所述主成分系数矢量的偏差的指标，从而生成行矢量，

使用所有的学习对象图像的所述行矢量进行主成分分析，从而由第1特征矢量的主成分系数矢量和第2特征矢量的主成分系数矢量生成主成分基础矢量，将所述主成分基础矢量与所述第1特征矢量的平均矢量和第2特征矢量的平均矢量一起作为所述学习结果存储于所述学习结果存储部；

在所述超分辨率处理中，针对由所述输入部指定的处理对象图像，根据从所述学习结果存储部取得的所述学习结果进行预测处理，从而生成高分辨率图像，

在所述预测处理中，计算所述处理对象图像的第1特征矢量的主成分系数矢量，使用被存储于所述学习结果存储部的所述主成分基础矢量，计算第2特征矢量的主成分系数矢量，使用所述第2特征矢量的主成分系数矢量，计算所述处理对象图像的第2特征矢量。

2.根据权利要求1所述的图像处理系统，其中，

所述控制部进一步构成为，将所述主成分基础矢量和所述第1特征矢量的成分正交化，并存储于所述学习结果存储部。

3.根据权利要求1所述的图像处理系统，其中，

所述控制部进一步构成为执行后处理，在所述后处理中，对计算出的所述第2特征矢量进行变换，计算出已变换的所述第2特征矢量和所述处理对象图像的所述第1特征矢量的差值，将所述差值与基准值进行比较，在所述差值大于所述基准值的情况下，将所述差值变换，从所述第2特征矢量减去已变换的差值。

4.根据权利要求3所述的图像处理系统，其中，

所述控制部进一步构成为执行后处理，在所述后处理中，将计算出的所述第2特征矢量压缩，计算已压缩的所述第2特征矢量和所述处理对象图像的所述第1特征矢量的差值，将所述差值与基准值进行比较，在所述差值大于所述基准值的情况下，将所述差值放大，从所述第2特征矢量减去放大的差值。

5.根据权利要求1-4中任意一项所述的图像处理系统，其中，

表示所述偏差的指标为所述主成分系数矢量的标准偏差。

6.一种图像处理方法，用于使用图像处理系统由处理对象图像生成高分辨率的图像，该图像处理系统具备：存储学习对象图像的学习对象存储部；存储学习结果的学习结果存储部；以及与输入部连接的控制部，其中，

所述控制部执行学习处理步骤和超分辨率处理步骤，

在学习处理步骤中，针对被存储于所述学习对象存储部的每个学习对象图像分别生成低分辨率图像和高分辨率图像，针对所述低分辨率图像计算第1特征矢量，针对所述高分辨率图像计算第2特征矢量，通过将所述第1特征矢量的主成分系数矢量和第2特征矢量的主成分系数矢量除以表示所述主成分系数矢量的偏差的指标，从而生成行矢量，

使用所有的学习对象图像的所述行矢量进行主成分分析，从而由第1特征矢量的主成分系数矢量和第2特征矢量的主成分系数矢量生成主成分基础矢量，将所述主成分基础矢量与所述第1特征矢量的平均矢量以及第2特征矢量的平均矢量一起作为学习结果存储于所述学习结果存储部；

在所述超分辨率处理步骤中，针对由所述输入部指定的处理对象图像，根据从所述学习结果存储部取得的所述学习结果进行预测处理，从而生成高分辨率图像，

在预测处理步骤中，计算所述处理对象图像的第1特征矢量的主成分系数矢量，使用被存储于所述学习结果存储部的所述主成分基础矢量，计算第2特征矢量的主成分系数矢量，使用所述第2特征矢量的主成分系数矢量计算所述处理对象图像的第2特征矢量。

Images