CN102822822A - 图像管理装置、图像管理方法、程序、记录介质、集成电路 - Google Patents

Abstract

在图像管理装置中，取得图像并进行聚类后（S201），对各图像进行划分而生成块（S202）。接着，按生成的每个块计算该群集的块内重要度（S204），并将计算出的群集的块内重要度累积，从而计算群集的重要度（S205），基于计算出的群集的重要度，计算图像的重要度（S206）。

Description

图像管理装置、图像管理方法、程序、记录介质、集成电路

技术领域

本发明涉及对图像和图像中包含的对象物进行排序的技术。

背景技术

近年来，随着数码相机的普及，用户逐渐保有大量的图像。但是，随着保有的图像的张数增多，选出对用户来说重要的图像越来越困难。

因此，为了能够高效地检索用户所期望的图像，需要将对用户来说重要的图像按顺序排列、即排序（ranking）。

通过对图像进行排序并显示，能够对用户进行支援，以简单地选出所需的图像。

作为与排序有关的技术，已知如下的技术：基于Web网站的页面间的链接，决定各页面的重要度（参照专利文献1、非专利文献1）。

在先技术文献

专利文献

专利文献1：特开2007-183825号公报

非专利文献

非专利文献1：“Exploiting the Block Structure of the Web forComputing PageRank”D.Kamvar，H.Haveliwala，D.Manning，H.Golub，2003年

发明的概要

发明所要解决的课题

然而，作为实现使拍摄有对用户来说重要的人物的图像成为重要的照片的排序的方法，发明人们研究了以下的方法：将图像和图像中拍摄的人物（对象物的一种）以链接构造连结，基于该链接构造，计算图像的重要度及人物的重要度。

在该方法中，生成表示图像的图像节点（node）和表示人物的人物节点，在图像中拍摄有特定的人物的情况下，在这些图像节点和人物节点间设置双方向的链接。

在此，节点间的链接指的是，将该链接源节点的重要度通过链接向链接目标节点传播。此外，从多个节点设置有链接的节点的重要度是将从各个链接传播来的所有重要度相加而得到的重要度。此外，从重要度较高的节点设置有链接的节点的重要度变高。

因此，从大量图像节点设置有链接的人物节点的重要度变高。即，在大量的图像中被拍摄的人物的重要度变高。

此外，从重要度较高的人物节点设置有链接的图像节点的重要度变高。即，拍摄有重要度较高的人物的图像的重要度变高。

通过这样构成链接构造，并使各自的重要度传播，拍摄有在大量的图像中被拍摄的人物的图像的重要度变高。

此外，在该方法中，为了具体地计算重要度，基于所有图像节点及人物节点和节点间的链接构造，制作概率转移矩阵，并求出该矩阵的固有矢量，从而计算图像的重要度。固有矢量表示由各节点持续传播重要度时的收敛值。

但是，在该方法中，随着作为重要度的计算对象的图像和人物的数量变多，矩阵运算所牵涉的资源的负荷变得过大。

即，上述概率转移矩阵是将图像节点及人物节点的数量相加而得到的数量作为行及列而的矩阵。因此，如果图像的数量很庞大，则概率转移矩阵也变得巨大。

举出一例进行说明，图像的数量为100万、人物的数量为1000的情况下，概率转移矩阵约成为（100万＋1000）行×（100万＋1000）列。

尤其是，在用户设备等中，难以将这样的巨大矩阵展开到存储器上并进行运算。该问题不仅是使用矩阵运算的方法，在基于各个要素间的关联性来进行计算的方法中也可能广泛产生。

另外，在专利文献1和非专利文献1中，预先将链接构造归纳为多个组，首先求出组间的重要度，接下来计算组内的重要度，从而能够减轻运算所需要的负荷。

但是，在这些现有的技术中，重要度的计算对象为Web网站，对于计算对象为图像及图像中拍摄的对象物的情况，并没有任何记载。

发明内容

本发明是在这样的背景下做出的，其目的在于，在减轻资源的负荷的基础上，计算图像及该图像中拍摄的对象物的重要度。

解决课题所采用的手段

为了解决上述课题，本发明的图像管理装置基于重要度对多个图像进行排序，其特征在于，具备：图像取得部，取得多个图像；检测部，在取得的各图像中，检测该图像所包含的对象物；提取部，提取检测到的各所述对象物的图像特征量；聚类部，基于各对象物的图像特征量，将检测到的各对象物分类到多个群集中的某一个群集；块生成部，划分由所述图像取得部取得的多个图像，生成多个块；块内重要度计算部，在各块中，基于该块内的图像与该图像所包含的对象物所属的群集的关联性，计算该群集的块内重要度；群集重要度计算部，通过对计算出的各块内的各群集的块内重要度进行累积，计算所述多个图像内的各群集的重要度；以及图像重要度计算部，基于计算出的群集重要度，计算各图像的重要度。

发明效果

根据本发明的图像管理装置，按各块计算群集的重要度，该块与取得的图像的张数相比，由较少的张数构成，所以能够有助于减轻资源负荷。

在此，也可以是，所述块生成部通过划分所述多个图像，对各图像赋予用于识别划分出的块的块ID，并且具备块信息存储部，存储对各图像赋予的块ID，在所述图像取得部新取得了图像的情况下，所述块生成部以该取得的新的图像为对象进行所述划分，但不将所述块信息存储部中存储有块ID的图像作为对象来进行所述划分。

根据该构成，对于在块信息存储部中存储有块ID的图像、即已划分的图像，不作为新的划分的对象。因此，能够减少新的划分所导致的由块内重要度计算部进行的群集的块内重要度的再计算。

在此，也可以是，所述块生成部通过划分所述多个图像，对各图像赋予用于识别划分出的块的块ID，并且具备块信息存储部，存储对各图像赋予的块ID，在所述图像取得部新取得了图像的情况下，所述块生成部将所述块信息存储部中存储有块ID的图像的一部分和该取得的新的图像双方作为对象，进行所述划分。

由此，例如根据图像管理装置的计算处理性能，有助于灵活地使块的划分最优化。

在此，也可以是，具备图表生成部，在各块中，制作表示构成该块的各个图像的图像节点、分别表示所述图像所包含的对象物所属的群集的群集节点、表示所述图像的背景的1个背景节点，设定制作的节点间的链接的值，生成由制作的节点和设定的链接的值构成的图表，所述块内重要度计算部基于生成的图表，计算各节点所示的图像及群集的块内重要度。

此外，也可以是，所述块内重要度计算部基于由所述图表生成部生成的图表信息，生成概率转移矩阵，并求出该概率转移矩阵的固有矢量，由此计算各块内的图像的重要度及群集的块内重要度。

此外，也可以是，所述图表生成部制作伪节点并使该伪节点包含在所述图表中，将该伪节点与所述图像节点之间、该伪节点与群集节点之间、以及该伪节点与所述背景节点之间的链接的值设定为零。

此外，也可以是，所述块内重要度计算部基于表示随机游走（randomwalk）的矩阵，对生成的概率转移矩阵进行修正，对修正后的概率转移矩阵求出固有矢量。

此外，也可以是，所述群集重要度计算部在各块中，用块内的群集的块内重要度减去块内的伪节点的块内重要度，从而对该群集的块内重要度进行校正。

在此，可以考虑为在各块内的群集的块内重要度上追加了一定的重要度，该追加的量作为伪节点的块内重要度来表示。

因此，在各块中，通过用群集的块内重要度减去伪节点的块内重要度，能够计算实质的群集的块内重要度。

尤其是，能够防止由于划分的方法不同而群集的重要度变化。

此外，也可以是，具备重要度正规化部，基于各个块内的伪节点的块内重要度的值，对由所述群集重要度计算部计算的各块内的各群集的块内重要度进行正规化，所述群集重要度计算部基于正规化后的群集的块内重要度，计算所述多个图像内的群集的重要度。

由此，能够防止多个图像内的群集的重要度由于划分的方法不同而变化。

此外，也可以是，所述群集重要度计算部通过将计算出的各块内的群集的块内重要度相加，计算所述多个图像内的群集的重要度。

此外，也可以是，还具备重要度正规化部，根据块内所包含的图像数及群集数，对由所述群集重要度计算部计算出的各块内的群集的重要度进行正规化，所述群集重要度计算部将正规化后的群集的重要度相加。

根据构成，例如即使在块内所包含的图像数和群集数在块间不一致的情况下，也能够在块间对实质的群集的块内重要度进行调整。

此外，也可以是，所述聚类部从外部装置取得在该外部装置中分类的群集的特征量，并对取得的特征量和分类后的各群集的特征量进行比较，从而确定所取得的特征量与分类后的各群集中的哪个群集对应，所述群集重要度计算部从所述外部装置取得所确定的群集的重要度，用于所述累积。

此外，也可以是，所述块生成部基于表示能够用于生成块的资源的资源信息，决定应该生成的各块的大小，并以各块成为所决定的大小的方式生成所述多个块。

此外，也可以是，所述资源信息表示能够利用的存储器大小。

此外，本发明的图像管理方法基于重要度对多个图像进行排序，其特征在于，包括以下步骤：图像取得步骤，取得多个图像；检测步骤，在取得的各图像中，检测该图像所包含的对象物；提取步骤，提取检测到的各所述对象物的图像特征量；聚类步骤，基于各对象物的图像特征量，将检测到的各对象物分类到多个群集中的某一个群集；块生成步骤，划分由所述图像取得步骤取得的多个图像，生成多个块；块内重要度计算步骤，在各块中，基于构成该块的图像与该图像所包含的对象物所属的群集的关联性，计算该群集的块内重要度；群集重要度计算步骤，通过对计算出的各块内的各群集的块内重要度进行累积，计算所述多个图像内的各群集的重要度；以及图像重要度计算步骤，基于计算出的群集重要度，计算各图像的重要度。

此外，本发明的程序使计算机执行包含图像管理步骤的处理，其特征在于，所述图像管理步骤包括：图像取得步骤，取得多个图像；检测步骤，在取得的各图像中，检测该图像所包含的对象物；提取步骤，提取检测到的各所述对象物的图像特征量；聚类步骤，基于各对象物的图像特征量，将检测到的各对象物分类到多个群集中的某一个群集；块生成步骤，划分由所述图像取得步骤取得的多个图像，生成多个块；块内重要度计算步骤，在各块中，基于构成该块的图像与该图像所包含的对象物所属的群集的关联性，计算该群集的块内重要度；群集重要度计算步骤，通过对计算出的各块内的群集的块内重要度进行累积，计算所述多个图像内的群集的重要度；以及图像重要度计算步骤，基于计算出的群集重要度，计算各图像的重要度。

此外，本发明的记录介质是记录有上述程序的记录介质。

此外，本发明的集成电路基于重要度对多个图像进行排序，其特征在于，具备：图像取得部，取得多个图像；检测部，在取得的各图像中，检测该图像所包含的对象物；提取部，提取检测到的各所述对象物的图像特征量；聚类部，基于各对象物的图像特征量，将检测到的各对象物分类到多个群集中的某一个群集；块生成部，划分由所述图像取得部取得的多个图像，生成多个块；块内重要度计算部，在各块中，基于构成该块的图像与该图像所包含的对象物所属的群集的关联性，计算该群集的块内重要度；群集重要度计算部，通过对计算出的各块内的群集的块内重要度进行累积，计算所述多个图像内的群集的重要度；以及图像重要度计算部，基于计算出的群集重要度，计算各图像的重要度。

附图说明

图1是实施方式1中的图像管理装置100的功能框图。

图2是表示基于从摄像装置130取得的图像，将排序显示在显示装置140上为止的处理的流程的流程图。

图3是表示从图像取得到聚类为止的处理的详细情况的流程图。

图4是表示从摄像装置130取得的图像组和图像组所包含的对象物的一例的图。

图5是表示对象物信息500的一例的图。

图6是详细表示块ID赋予的处理的流程图。

图7是表示块信息的一例的图。

图8是详细表示块的图表信息生成的处理的流程图。

图9A是表示块1的图表信息900的一例的图。

图9B是表示块1的图表信息901的一例的图。

图10是详细表示块内的重要度计算的处理的流程图。

图11是表示概率转移矩阵M1100的一例的图。

图12是表示随机游走矩阵X1200的一例的图。

图13是表示固有矢量1300的一例的图。

图14是表示概率矢量化后的固有矢量1400的一例的图。

图15是表示块内重要度信息1500的一例的图。

图16是详细表示群集重要度计算的处理的流程图。

图17是表示以节点数将块内重要度信息1501正规化的状况的图。

图18是表示在块内重要度信息1701中，用群集的重要度减去伪节点的重要度的状况的图。

图19是表示块的划分方法相同的情况下的链接构造和该块内的块内重要度的图。

图20是表示块的划分方法不同的情况下的链接构造和该块内的块内重要度的图。

图21是表示群集重要度信息2100的一例的图。

图22是详细表示图像重要度计算的处理的流程图。

图23是表示图像重要度信息2300的一例的图。

图24是表示图像排序信息的一例的图。

图25是表示实施方式2中的块ID赋予的处理的流程图。

图26是表示实施方式3中的群集重要度计算的处理的流程图。

图27是表示以伪节点的重要度正规化后的块内重要度的一例。

图28是说明将块1～3内的群集1的块内重要度相加、而求出所有图像内的群集1的重要度的方法的图。

图29是说明根据群集重要度求出图像的重要度的方法的图。

图30是说明根据新取得的图像制作新的块的方法的图。

图31是说明将新取得的图像和已取得的图像混合而制作新的块的方法的图。

图32是说明将块1～3中的群集1的块内重要度相加、而求出所有图像内的群集1的重要度的方法的图。

图33是说明根据群集重要度求出图像的重要度的方法的图。

图34是表示实施方式4中的处理的示意的图。

图35是表示处理的示意的图。

图36是表示处理的示意的图。

具体实施方式

（实施方式1）

以下，参照附图说明实施方式1的图像管理装置100及图像管理装置100的控制方法。

图1是包含实施方式1中的图像管理装置100及与其相关装置的连接的框图。

图像管理装置100与摄像装置130及显示装置140连接。

摄像装置130是能够对图像进行摄像、并且储存摄像的图像的装置。这里所称的图像，例如可以是照片等静止图像，也可以是运动图像。摄像装置130例如由数码相机构成。

另外，图像管理装置100和摄像装置130例如经由USB（UniversalSerial Bus）线缆连接。

显示装置140例如由数字电视机构成，显示从图像管理装置100输出的图像等影像。显示装置140例如经由HDMI(High-Definition MultimediaInterface)线缆与图像管理装置100连接。

接着，使用图1说明图像管理装置100的内部构成。

如图1所示，图像管理装置100由图像取得部101、对象物检测部102、对象物特征量提取部130、聚类部104、块生成部105、图表生成部106、存储部107、评价部114及显示控制部120构成。

图像取得部101取得摄像装置130所储存的图像，并对取得的图像分别赋予固有的图像ID。

图像取得部101例如由软件构成，该软件对用于插入USB线缆的USB端口及USB驱动器等接口进行控制。

对象物检测部102从图像取得部101取得的图像中检测拍摄有对象物的区域（图像中的坐标），对检测到的对象物分别赋予固有的对象物ID。

这里所称的对象物，例如可以举出人物的面部或一般物体（汽车、房子、食物等）等，但是在以后的说明中，作为对象物而以人物的面部为例进行说明。

此外，对象物检测部102计算与图像的尺寸相对的对象物的大小（以后记为“占有度”）。

对象物特征量提取部103提取由对象物检测部102从图像检测到的面部的图像特征量。

图像特征量表示关于图像中的多个像素的像素值的分布的特征。例如，图像特征量是以表示图像的特征的多个数值为成分的矢量。图像的特征有使用Gabor滤波器得到的图像数据的像素值的分布的周期性或方向性等，在人物的面部的图像特征量的情况下，能够根据像素值的分布的周期性和方向性等，将识别为眼睛的2点间的距离、或识别为鼻子的点与识别为嘴的点之间的距离等的量作为成分。

聚类部104基于由对象物特征量提取部103提取的面部的图像特征量，将类似的面部彼此分类为同一群集。

即，对于由聚类部104分类为同一群集的面部，赋予同一群集ID。根据聚类的结果，能够确认同一群集的面部图像具有类似的图像特征量。作为聚类方法，例如可以使用K-Means法。

另外，由对象物特征量提取部103和聚类部104进行的详细的方法可以利用一般的面部识别技术等，所以简化了上述的说明。

块生成部105在取得的图像中，仅提取拍摄有面部的图像，并将提取的图像划分为若干个块。

对该划分的方法不做特别限定，但是在本实施方式中，以使各块所包含的图像数尽量相等的方式进行。进行划分后，块生成部105对提取的图像分别赋予用于识别划分出的块的块ID。

图表生成部106具有如下的功能：对于由块生成部105生成的每个块，进行下面（1）～（3）的处理。

（1）节点的制作

首先，图表生成部106生成：表示某块所包含的图像的图像节点、表示该图像所包含的人物的群集的群集节点、表示图像的背景的1个背景节点、以及伪节点。

（2）节点间的链接的值的设定

接着，图表生成部106设定制作的节点间的链接的值。

该链接用于传播节点的重要度。具体地说，链接源的节点的重要度与链接的值相乘所得到的值成为链接目标的节点的重要度。例如，设某节点A的重要度为1，从节点A向节点B设置有链接，该链接的值为0.1。这时，节点B的重要度成为1×0.1=0.1。此外，与多个节点存在链接的情况下，将这些值相加而得到的值成为重要度。该设定的详细情况在后面叙述。

（3）生成由节点和链接的值构成的图表

图表生成部106生成表现制作的节点和设定的链接的值的图表。

存储部107由对象物信息存储部108、块信息存储部109、图表信息存储部110、块内重要度存储部111、图像重要度存储部112、以及群集重要度存储部113的子功能块构成。存储部107例如可以由RAM(Random AccessMemory)构成。

各存储部108～113所保存的信息的详细情况在后面叙述。

评价部114由概率转移矩阵生成部115、块内重要度计算部116、重要度正规化部117、群集重要度计算部118、以及图像重要度计算部119的子功能块构成。

概率转移矩阵生成部115基于由图表生成部生成的图表信息，生成概率转移矩阵。

块内重要度计算部116通过求出概率转移矩阵的固有矢量，求出构成概率转移矩阵的图像和群集的各节点的块内重要度。另外，固有矢量的计算方法可以采用幂乘法等一般的方法。

重要度正规化部117为了使最终的重要度不会由于块的划分方法不同而变化，具有对块间的重要度进行调整的功能。具体地说，例如基于该块所包含的节点数来对块内重要度进行正规化。

群集重要度计算部118通过对由重要度正规化部117正规化后的各群集的块内重要度进行累积，计算由图像取得部101取得的图像内的各群集的重要度。另外，该累积的方法有乘法、加法、以及它们的组合等各种方法，但是在本实施方式中作为加法来进行说明。

图像重要度计算部119基于由群集重要度计算部118计算出的每个群集的重要度，计算图像的重要度。例如，对于包含有群集1的图像1，基于群集1的重要度来计算图像1的重要度。

显示控制部120具有经由HDMI输出端子等输出接口使显示装置140执行各种显示的功能。

使用图2的流程图来说明图像管理装置100所进行的动作的概要。

图2的流程图表示如下的动作：根据从摄像装置130输入的图像组，制作图像排序，并将结果显示在显示装置140上。

如图2所示，图像管理装置100首先对取得的图像所包含的对象物进行检测，将特征量类似的对象物作为一个群集（S201）。然后，将取得的图像组分割为各为一定数量的块，并分别赋予块ID（S202）。然后，生成表示链接构造的图表信息，该链接构造由块所包含的图像和该图像所包含的群集构成（S203）。然后，在各块中计算图像及群集的重要度（S204）。然后，基于对各块求出的块内群集重要度，计算群集重要度（S205）。然后，基于群集重要度，计算图像重要度（S206）。最后，按照图像的重要度顺序对图像进行排序（S207），按照上述的顺序进行处理。这些各步骤的详细动作在下面说明。

图3是表示图2中的S201的从图像取得到聚类为止的详细情况的流程图。

图像取得部101取得储存在摄像装置130中的图像组（S301）。在此，图像取得部101对各图像以能够唯一识别的方式赋予图像ID。另外，以下将在步骤S301中取得的图像称为“取得图像”。

接着，对象物检测部102对取得图像所包含的对象物进行检测（S302）。

图4表示取得图像组和该图像中拍摄的对象物的例子。

在此，设对象物为人物的面部，对各对象物赋予唯一的对象物ID。

例如，在图像1中检测到了对象物1（对象物ID=1）的对象物。在图像2中检测到了对象物2及3的对象物。在图像3中检测到了对象物4的对象物。

作为检测对象物的方法，例如有使用与规定的面部区域的剪切有关的学习词典、来将面部区域切出的方法。

对象物的检测结束后，对象物检测部102求出检测到的对象物的占有度（S303）。

该占有度表示对象物占图像整体的大小。例如，在图4的图像1的情况下，拍摄有对象物1。此外，如果设图像1的图像尺寸为600×400、对象物1的面部的大小为200×120，则对象物1的占有度成为(200×120)÷(600×400)=10%。同样地求出图像中拍摄的所有对象物的占有度。

对象物特征量提取部103提取由对象物检测部102检测到的对象物的图像特征量（S304）。

然后，在聚类部104中，基于由对象物特征量提取部103提取的对象物的图像特征量来进行聚类（S305）。

该聚类的方法如上所述，例如有基于图像特征量而使用K-means法的方法。

在图4的例中，由于在图像1中出现的对象物1和在图像2中出现的对象物2这两者的图像特征量类似，所以聚类部104对这些对象物1、2赋予相同的群集1这样的群集ID。

在图5中示出了表示图2的一系列处理的结果的对象物信息500。

如图5所示，对象物信息500是将对象物ID、群集ID、图像ID及占有度的信息建立关联而得到的。该对象物信息500存储在存储部107中的对象物信息存储部108中。

这样，从图像取得到聚类为止的处理结束后（图2：S201），转移到对取得的每个图像赋予块ID的处理（S202）。

图6的流程表示其详细情况。

在此，进行将取得的图像分割为多个块的操作。由此，在以后的处理中实现了对象物的重要度的计算所需的存储器等资源的减少。

首先，在块生成部105中，在基于对象物信息500（参照图5）提取所取得的图像中包含有对象物的图像，并计算其图像数（S601）。

例如，在图4的例中，图像组所包含的图像为10张，其中，不包含对象物的图像为图像6和图像10这2张。这种情况下，包含有对象物的图像数为10-2=8张。

这样，包含有对象物的图像数能够通过从取得的图像数减去不包含对象物的图像数来计算。

接着，块生成部105将包含有对象物的图像划分为多个块（S602），并对划分的块赋予块ID（S603）。

该步骤S602～S603的处理为，例如首先规定每1个块的图像数的上限数，将图像ID按升序排列，并按升序分配块ID，直到成为上限数。

例如设上限数为3张，对于图4那样的包含有对象物的8张图像，对图像1～3赋予块1、对图像4、5、7赋予块2、对图像8、9赋予块3这样的块ID。

表示这样对各图像赋予了块ID的结果的块信息700在图7中示出。该块信息700存储在存储部107中的块信息存储部109中。另外，在图7中，对图像6、10未赋予块ID，这是因为在两图像中不包含对象物。

这样的块ID赋予的处理结束后（图2：S202），转移到生成块的图表信息的处理（S203）。

图8的流程表示其详细情况。

图表信息是在作为后续处理的S204中，为了计算块内的重要度而需要的信息，该图表信息包含节点和节点间的链接的值。

作为该节点，包含与每个图像ID对应的图像节点和与每个群集ID对应的群集节点。

此外，特别是在某图像中拍摄有某对象物的情况下，从该图像的图像节点向表示该对象物所属的群集的群集节点，设定有与图像中的对象物的占有度对应的链接的值。相反，从群集节点向图像节点的链接返回一定的链接的值。由此，重要度从各个节点与链接的值相对应地传播。

首先，在图表生成部106中，从取得图像提取特定的块ID的图像（S801）。

接着，图表生成部106提取与根据对象物信息500提取的图像ID对应的信息（S802）。

说明步骤S801、S802的例子，在S801中提取块1的图像1～3后，在S802中根据对象物信息500（参照图5），提取与图像1～3对应的对象物ID、群集ID及占有度。

接着，图表生成部106基于提取的对象物信息的信息，生成图表构造（S803），并将生成的图表构造存储到存储部107的图表信息存储部110中。

该生成的步骤由（1）节点制作、（2）制作的节点间的链接值的设定这2个阶段的处理构成。以下依次进行说明。

＜节点制作＞

首先，生成表示该块所包含的图像的图像节点和表示对该图像所包含的对象物赋予的群集的人物节点。此外，还生成背景节点和伪节点。

背景节点是表示图像所包含的背景的重要度的节点。具体地说，在图像中，将未检测到对象物的区域全部作为背景。

伪节点用于将每个块的群集的重要度校正为适当的值。详细情况在后面叙述。

＜链接值的设定＞

从图像节点向人物节点，根据占有度而设置有链接，但是背景节点也同样地，根据图像所包含的背景的占有度而设置有链接。

另外，背景的占有度是从图像整体减去全部对象物的占有度而得到的值。例如，对于图像2，从图像整体（100%）减去对象物2的占有度（12%）和对象物3的占有度（6%）而得到的值82%（=100-12-6）成为背景的占有度。

然后，按照以下（1）～（6）的规则，设定各节点间的链接的值。

（1）将从图像节点向群集节点的链接的值设为图像所包含的对象物所属的群集的占有度。

（2）将从群集节点向图像节点的链接的值设为任意的固定值（例如0.01）。

（3）将从图像节点向背景节点的链接的值设为从1减去从图像节点向群集节点的链接的值的总和而得到的值。

（4）将从群集节点向背景节点的链接的值设为从1减去从群集节点向图像节点的链接的值的总和而得到的值。

（5）从背景节点向除了伪节点以外的节点的链接的值被均等地分配。

（6）向伪节点的链接及从伪节点发出的链接不存在（将链接的值设定为零）。

图9A表示块1的图表信息900。

图表信息900包含7个节点和在节点间设定的链接的值而构成。

7个节点由表示群集1、2的2个群集节点、表示图像1～3的3个图像节点、背景节点、以及伪节点而构成。

链接的值的设定按照上述(1)～(6)的规则来设定。例如说明图像1与群集1之间的链接，从图像1向群集1的链接的值是图像1中的对象物1的占有度，即10%或0.1。

这样的链接的值是表示重要度以何种程度传播的指标。具体地说，能够作为（链接源的重要度）×（链接的值）＝（链接目标的重要度）来利用。

相对于此，从群集1向图像1的链接成为固定值0.01。

此外，属于群集1的对象物在图像2中也包含，所以在群集1与图像2的节点间也设定有链接。

这样，能够设定图像与群集的节点间的链接。

接下来说明背景节点。例如，从图像1的节点向背景节点的链接的值是从1减去从图像1向所有群集节点的链接的值的总和0.1而得到的值。即，成为1-0.1=0.9。

此外，从群集1的节点向背景节点的链接的值也同样，是从1减去从群集1的节点向图像节点的链接的值的总和0.01*1而得到的值。即成为1-0.01*2=0.98。此外，从背景节点向伪节点的链接的值，除去伪节点而均等地分配。除去伪节点后的全部节点数为3（图像节点数）＋2（群集节点数）＋1（背景节点数）＝6个，所以向各节点的值成为1/6。这是因为，从背景节点向背景节点的链接的值也包含在内。

最后，不制作向伪节点的链接及从伪节点发出的链接。

这样，对每个块设定图像节点、群集节点、背景节点及伪节点的链接构造。

另外，在图表信息900中，除了图9A那样的具有从背景节点向除了伪节点以外的全部节点（图像节点、人物节点、背景节点）的链接的形式，也可以是仅向图像返回链接的形式。这种情况的图表信息901的例子在图9B中示出。在图9B的例子中，与图9A不同，不存在从背景节点向人物节点的链接及从背景节点向自身的节点的链接，仅存在从背景节点向图像节点的链接。此外，向图像节点的链接的加权方法是对各图像节点均等地分配。具体地说，由于图像节点数为3，所以链接的权重分别成为1/3。

以下用于说明的图表信息是以图9A的图表信息900为例来说明的，但是也可以取代于此，而使用图9B的图表信息901。

接着，图表生成部106确认是否在所有块中生成了图表构造（S804）。如果生成了所有块的图表构造则结束，否则生成剩余的块的图表构造。

图10表示块中的各图像及各群集的的重要度计算的详细情况。

说明图10的处理的概要，在此，基于由图表生成部106生成的链接信息，生成概率转移矩阵。在此，概率转移矩阵是表示各节点间的链接关系及链接的值的矩阵。并且，通过求出该概率转移矩阵的该矩阵的固有矢量，计算块内的各图像及各群集的重要度。各节点的重要度随着各种节点间的链接关系而变动，但是最后收敛为一定的值。固有矢量表示各节点的重要度的传播所收敛到的值。

进入图10的处理的详细说明。首先，在评价部114的概率转移矩阵生成部115中，从取得图像提取特定的块（S1001）。例如，在上述的例子中，提取块1。接着，基于提取的块1的图表信息900，生成概率转移矩阵M（S1002）。

概率转移矩阵的求出方法为，将各节点间的链接的值指定为矩阵的要素。例如，生成块1中的概率转移矩阵M的情况下，使用通过图9A生成的图表信息900。

图11表示基于该图表信息900导出的概率转移矩阵M1100。对矩阵中的行及列分配所有节点。在此，按照图像节点、群集节点、伪节点及背景节点的顺序排列。然后，将各节点间的链接的值的信息作为该矩阵的各要素代入。例如，从图像1的节点向群集1的节点的链接的值为0.1。因此，第4行第1列的要素成为0.1。此外，从图像1的节点向背景节点的链接的值为0.9。因此，第7行第1列的要素成为0.9。此外，从图像1向图像1、2、3、或群集2、进而伪节点的链接不存在，所以各个要素成为0。这样，通过代入矩阵中的所有要素，生成概率转移矩阵M1100。

接着，概率转移矩阵生成部115制作随机游走矩阵X（S1003）。该矩阵X用于表示将自节点和其他节点分别以相等的概率转移。

在本方法中，通过求出概率转移矩阵的固有矢量，计算图像和群集的重要度。但是，不具备与图像及群集的链接的伪节点不传播得分，所以无法求出其值。即，随机游走矩阵用于求出伪节点的得分。

随机游走矩阵X对全部节点数均等地分配链接的值，并将该均等地分配的值作为矩阵的各要素。例如，图12表示块1中的随机游走矩阵X1200。矩阵的行和列的排列方式与图11相同。这时，包含伪节点在内的节点数为7个。因此，随机游走矩阵X1200的全部要素成为1/7。

接着，概率转移矩阵生成部115制作概率转移矩阵M’（S1004）。具体地说，基于概率转移矩阵M1100和随机游走矩阵X1200，根据下式来决定。

M’＝αM＋（1-α）X···（式1）

在此，α例如是0.85这样的固定值。

接着，块内重要度计算部116计算概率转移矩阵M’的固有矢量（S1005）。作为矩阵的固有矢量的求出方法，例如有使用幂乘法的方法。在此，固有矢量有时能够取到多个，但是在此成为计算的对象的矢量仅限于固有值的绝对值与1对应的固有矢量。

图13表示根据概率转移矩阵M’求出的固有矢量1300。但是，图13所示的值不是实际计算出的值，而是例示用的假设的数字，所以需要注意。

接着，块内重要度计算部116对通过S1005求出的固有矢量1300进行概率矢量化（S1006）。概率矢量化是指，以使各要素的和成为1的方式进行正规化。概率矢量化之前的固有矢量的范数为1。但是，重要度表示在某时刻存在于各节点的概率。因此，需要进行固有矢量的概率矢量化。具体地说，各要素基于下式求出。

[数1]

${x_i}^{\′}=x_i\×\underset{j}{\overset{n}{\mathrm{\Σ}}}{x}_j$ …（式2）

在此，右边的X_ｉ是固有矢量1300中的第ｉ个要素。此外，左边的X_ｉ’是概率矢量化后的固有矢量中的第ｉ个要素。例如，在图13的固有矢量的情况下，概率矢量化后的固有矢量的第1个要素成为0.3×(0.3+0.4+0.1+0.22+0.15+0.01+0.8)=0.152。同样地，图14表示求出的概率矢量化后的固有矢量1400。

接着，块内重要度计算部116决定块内的各节点的重要度（S1007）。在此，概率矢量化后的固有矢量1400的各要素与原来的概率转移矩阵M1100的各节点对应。

例如，概率转移矩阵M1100中的第1行的节点成为图像1。这种情况下，图像1的块1内的重要度成为概率矢量化后的固有矢量1400的第1行的要素、即0.152。

图15表示各节点的块内重要度信息1500。块内重要度表示在某块中计算出的局部（本块）的重要度。

该块内重要度信息1500包含块1～3的各块内重要度1501～1503，存储在存储部107中的块内重要度信息存储部111中。

在包含有最后取得的图像的所有块中，确认是否计算完成了重要度（S1008）。已计算所有块内的重要度的情况下（S1008：是），处理在这里结束。

与此相对，还有未计算的块的情况下（S1008：否），在该步骤S1001中提取未计算重要度的特定的块，从S1002开始进行同样的处理。

图16是表示图2中的S205的群集重要度的计算的详细情况的流程图。

群集重要度是用于评价群集的好坏的指标。群集的对象物在越多的图像中较大地被拍摄，则该群集的重要度被计算得越高。

群集重要度基于对各块求出的群集的重要度来求出。在群集重要度计算部118中，提取存储在块内重要度信息存储部中的1个块的块内重要度1500（S1601）。

接着，在重要度正规化部117中，将提取的块内重要度以该块所包含的节点数进行正规化（S1602）。在此，进行该处理的目的在于，使具有同一链接构造的节点的块内重要度无论包含在哪个块中都成为同一重要度。即使是具有同一链接构造的节点，由于S1006的概率矢量化的影响，块所包含的节点数越多，则重要度存在变小的趋势。这是因为，概率矢量化是以块内的各节点的重要度全部相加而成为1的方式进行的。在此，为了排除该影响而进行该处理。具体地说，将块内重要度的各要素与该块的全部节点数相乘。

图17表示计算的例子。块1的全部节点数为7个（图像1、2、3、群集1、2、伪、背景）。因此，将块1内的各节点的块内重要度乘以7。例如，以图像1的节点数进行正规化后的值成为0.152×7=1.064。重要度正规化部117同样地对其他块也进行块内重要度的正规化。

基于节点数的正规化结束后，重要度正规化部117从群集节点的块内重要度减去伪节点的块内重要度（S1603）。使用图18进行说明。

如图18所示，在正规化的块内重要度1701中，群集1的块内重要度为0.777。此外，伪节点的块内重要度为0.035。因此，0.777-0.035＝0.742。同样地，在所有群集节点中减去伪节点的块内重要度，求出块内重要度1801。

参照图19、图20说明需要S1603的处理的理由。例如，如图19所示，假设存在具备同样的链接构造的群集A和群集B。在此，为便于说明，设链接的值全部相同。这时，群集A和群集B的块内重要度原本相同，为0.71。即，包含有被分类到某群集中的对象物的图像数及其在图像内的占有度在2个群集中相同的情况下，它们的群集的重要度相同。但是，如图20所示，有时块的划分方法不相同。在此，不计算伪节点的得分。

这时的群集的重要度的求出方法在后面详细说明，将各块所包含的块内重要度相加。例如，由于群集A仅包含在块1中，所以群集A的群集重要度成为块1的块内重要度、即0.72。此外，由于在块1、2、3及4中包含有群集B，所以群集B的群集重要度成为将各自的块内重要度相加而得到的值。即，成为0.56+0.65×3=2.51。从结果可知，由于块的划分方法不同，群集A和群集B的群集重要度不同。其原因在于，与链接构造无关地对节点赋予了重要度。

即，块2～4各自的群集B的重要度0.65这一值，是追加了一定的重要度之后的值。

该一定的重要度作为伪节点所具备的重要度来表示。

因此，在求出不具有向其他节点的连接及来自其他节点的链接的伪节点的重要度之后，将该值从各节点的块内重要度减去，从而在链接构造相同的情况下，能够不取决于块的划分方法，而实现群集重要度相同的结果。

例如，在图20的情况下，群集A的群集重要度成为0.72-0.51=0.21。此外，群集B的群集重要度成为(0.56-0.51)+(0.65-0.563)×3=0.21。

块内重要度计算部116在S1603中求出的值成为该群集的块内重要度。并且，群集重要度计算部118将与每个群集对应地存储的群集重要度和求出的群集的块内重要度相加（S1604）。

最后，评价部115确认是否对所有块计算完了重要度（S1605）。

已计算所有块内的重要度的情况下（S1605：是），输出与每个群集对应地存储的群集重要度，并存储到群集重要度信息存储部113中（S1606）。

相对于此，还存在未计算的块的情况下（S1605：否），在该块中从S1601开始进行同样的处理。如此求出的群集重要度信息2100在图21中示出。

在各块中，通过重复步骤S1604，某群集的重要度成为将各块内的块内重要度相加的大小。

使用图28说明其中的一例。如果设块1～3内的群集1的块内重要度分别为0.742、0、0，则0.742＋0＋0＝0.742成为所取得的所有图像内的群集1的重要度。

另外，图21的群集重要度信息2100存储在存储部107的群集重要度信息存储部113中。

图22是表示图2中的S206的图像重要度的计算的详细情况的流程图。图像重要度是评价图像的好坏的指标。在较多地包含重要度较高的群集的情况下，图像的重要度被计算得较高。图像重要度基于群集重要度信息2100和图表信息来求出。图像重要度计算部119从群集重要度信息存储部提取群集重要度信息2100（S2201）。

然后，图像重要度计算部119提取各块的图表信息（S2202）。

接着，图像重要度计算部119基于图表信息的从群集向图像的链接的值，计算图像重要度(S2203)。

具体地说，将群集的重要度与从群集向图像的链接的值相乘而得到的值成为图像的重要度。此外，从多个群集设置有链接的情况下，采用将这些值相加而得到的值。

以图9A的块1的图表信息和图21的群集重要度信息2100为例进行说明，在块1中包含有图像1～3。因此，能够根据块1的图表信息来计算图像1～33的图像重要度。

具体地说，图像1的图像重要度成为将群集1的群集重要度0.772与从群集1向图像1的链接的值0.01相乘而得到的值、即0.772×0.01=0.00772（参照图29（a））。

同样地，图像2的重要度基于群集1和群集2的群集重要度，成为0.772×0.01+0.527×0.01=0.01299（参照图29（b））。

接着，图像重要度计算部119确认是否对所有块计算了图像重要度（S2204）。已计算了所有块内的重要度的情况下（S2204：是），处理在这里结束。与此相对，还有未计算的图像的情况下（S2204：否），将该S2202的处理对象作为包含未计算重要度的图像的块，重复同样的处理。

这样求出的图像重要度信息2300的例子在图23中示出。该值基于所有块的图表信息而求出。该图像重要度信息2300存储在存储部107的图像重要度信息存储部112中。

按照S207的图像重要度顺序对图像进行排序的结果在图24中示出。由此，用户能够知道图像的顺序。将该结果通过显示控制部120输出至显示装置140。

如以上说明，实施方式1的图像管理装置100将从取得的图像所包含的对象物生成的群集与图像的关系做成图表，并计算图像重要度。此外，为了减小了计算所需的矩阵的尺寸，按照多个块的每一个，对取得的图像计算重要度。

由此，能够减轻图像重要度的计算的处理负荷。

即，在图4的例子中，包含有对象物的图像为8张，群集的种类为6种，所以将伪节点和背景节点的各1个加入后，成为18+6+1+1=26，需要将26行26列的概率转移矩阵作为运算的对象。与此相对，通过将8张图像划分为块1～3，块1成为7行7列的概率转移矩阵M1100（参照图11），块2、3也成为相同行数列数左右的概率转移矩阵。这样，能够将行数列数更少的概率转移矩阵作为运算的对象，尤其能够大幅减轻与固有矢量的计算有关的处理负荷。

此外，设想图像的张数很庞大的情况，例如设图像的张数为100万张，该图像所包含的群集为100种。

这种情况的概率转移矩阵成为(100万+1000)×(100万+1000)以上，如果设存储矩阵的各要素所需的比特数为4byte，则成为4×10¹²byte

需要大容量的存储器。

但是，设块所包含的图像为1万的情况下，概率转移矩阵为(1万+1000)×(1万+1000)左右即可，所以在只有有限的存储器的环境下，也能够计算图像重要度。

（实施方式2）

在实施方式2中，说明不仅对取得的图像，还包含已经储存的图像在内地生成块的方法。另外，在作为实施方式1中的处理流程的图2的流程图中，仅S202的块ID赋予的部分不同。其以外的部分与实施方式1相同，所以在此省略说明。

图25表示图2中的S202的块ID赋予的详细情况。在此，除了取得的图像以外，基于已经储存的图像，进行分割为多个块的操作。由此，在以后的处理中能够减少对象物的重要度的计算所需的存储器。

首先，在块生成部105中，基于对象物信息500，在取得的图像中提取包含有对象物的图像，并计算其图像数（S2501）。接着，在已储存的图像中追加所取得的图像（S2502）。

接着，将包含有对象物的图像分割为多个块（S2503）。这时，即使已经对已储存的图像赋予了块ID，也再次重新分割为块。以后的处理与实施方式1的S602和S603相同，所以省略。

在此，步骤S2503中的块的划分方法有如下3种。

（划分方法1）将已储存的全部图像及取得图像作为块划分的对象而划分。

例如，设已经储存了图像1～8，并块划分为块1（图像1～3）、块2（图像4～6）、块3（图像7～8）。这时，如果新取得了图像9～图像16，则将所有图像、即图像1～16作为对象而重新进行块划分。

（划分方法2）仅将新取得的取得图像作为块划分的对象，已储存的图像不作为块划分的对象。

例如，如图30所示，设已经储存有图像1～300，并且已经进行了块划分。这时，如果新取得了图像301～308，则仅将图像301～图像308作为块划分的对象。

（划分方法3）划分方法3是将划分方法1、2折衷的方法。

例如，如图31所示，设已经储存有图像1～299，并且已经进行了块划分。这时，如果新取得了图像300～303，则将相对于上限张数3张具有余量的块100的图像298～299和图像300～图像303作为块划分的对象。

上述的划分方法1～3并不一定是最好的，各有优缺点，可以根据状況而适当地采用。

即，划分方法1重新进行块划分，所以伴随与此，各块的矩阵运算增加，但是尤其有以下优点：根据新取得的图像的张数和对象物的有无等，容易灵活地将块划分最优化。

具体地说，新取得图像的张数比已储存的图像的张数多、并且需要增大块划分的单位的情况下（例如从10张1块变更为100张1块等），划分方法1是有效的。

相对于此，在划分方法2中，如图30所示，对于已储存的图像的块1～100，块内的群集重要度及图像重要度的值不变化，所以不用进行矩阵运算。因此，仅将新的块101～103作为矩阵运算的对象即可，所以有助于运算量的削減。

（实施方式3）

在实施方式3中，说明如下方法：在实施方式1中的群集重要度的计算中，不使用节点数，而使用伪节点的重要度来进行各块的块内重要度的正规化。

图26表示图2中的S205的群集重要度的计算的详细情况。另外，在作为实施方式1中的处理流程的图16的流程图中，在S1602中以节点数进行正规化，仅这一部分不同。其以外的部分与实施方式1相同，所以在此省略说明。

群集重要度计算部118以伪节点的重要度对各块的块内重要度进行正规化（S2602）。具体地说，将使各块内重要度所包含的伪节点的得分为1的值与所有重要度相乘。图27表示其中的一例。例如，设块1的块内重要度如图所示。这时，伪节点的重要度为0.005。在此，为了使伪节点的重要度成为1，对所有节点的块内重要度乘以1/0.005=200。由于图像1的块内重要度为0.152，所以成为0.152×200=30.4。同样地，对其他节点的块内重要度也进行正规化。

如以上说明，实施方式3的图像管理装置100能够使用与实施方式1不同的正规化的方法，来计算图像的重要度。

（实施方式4）

在实施方式4中，在计算某群集的重要度时，除了块内重要度的累积之外，还对在外部装置中已计算并且与上述群集对应的重要度进行累积，从而能够实现更合适的重要度计算。以下将在外部装置中计算的群集的重要度称为“外部重要度”。

图34所示的图像管理装置3400具备与图像管理装置100同样的功能。即，具备：对象物特征量提取部103那样的从图像提取面部的功能、聚类部104那样的基于提取的面部进行聚类的功能、群集重要度计算部118那样的计算各群集的重要度的功能等。

图像管理装置100与图像管理装置3400之间能够通过线路（有线或无线）进行各种信息的交换。

使用图35、图36说明本实施方式的处理的流程。

首先，图像管理装置100的聚类部104从图像管理装置3400取得特征量（S3501）。

接着，聚类部104对聚类后的各群集的特征量与取得的特征量进行比较（S3502）。在图35的例中，取得群集a1的特征量，并将取得的特征量与群集1～3各自的特征量进行比较。

然后，聚类部104确定取得的特征量与聚类后的各群集中的哪个群集对应（S3503）。该确定的方法，例如可以使用确定特征值的类似度最高者的方法、或根据特征值的类似度是否超过阈值来确定的方法。

接着，聚类部104制作表示通过特征量的比较而确定的群集ID的对应关系的对应表。

例如，在图中的对应表中，示出了图像管理装置100中的群集1与图像管理装置3400中的群集a1对应。

通过这样的对应表，在图像管理装置100和图像管理装置3400的两装置之间共用群集的ID。

这样共用了群集的ID之后，在图像管理装置100中计算群集的重要度时，群集重要度计算部118从图像管理装置3400取得ID所对应的群集的外部重要度（S3505）。

例如，在图像管理装置100中计算群集1的重要度时，参照上述对应表，从图像管理装置3400取得与群集1对应的群集a1的外部重要度。

然后，如图36所示，群集重要度计算部118计算群集1的重要度时，群集重要度计算部118除了块1～3内的群集1的块内重要度之外，还将所取得的外部装置（图像管理装置3400）中的群集a1（与群集1对应）的外部重要度用于累积，计算群集1的重要度。

另外，在图像管理装置3400中，也可以与图像管理装置100同样，将图像划分为多个块，通过将块内重要度相加，求出群集的重要度。

此外，也可以是，不仅与图像管理装置100、3400协作，还与基于云的服务器协作，使该服务器分担处理。

另外，在本实施方式中，在图像管理装置100中制作ID的对应表，但是也可以采用与图像管理装置100的ID相应地重写图像管理装置3400的ID的方法（例如将群集a1重写为群集1）。

此外，图像管理装置100与图像管理装置3400之间的、面部识别的算法大幅不同的情况下等，有时难以使用对特征量进行比较的方法。这种情况下，也可以取代特征量，而取得属于群集的图像。

（实施方式5）

在上述各实施方式中，说明了划分多个图像而生成块的例子，但是若细小地进行块划分，则重要度的传播被阻断的可能性变高，所以优选为各个块的大小尽量大。

但是，若块的大小过大，则与矩阵运算有关的资源的负荷变得过大。

在此，实施方式5能够将块的大小设为与装置的资源相适应的大小。

作为资源的例子，可以举出存储器大小。即，根据能够用于重要度计算的存储器大小，来变更块生成部105所生成的块分别包含的图像数。

例如，能够用于重要度计算的存储器大小为2MB的情况下，将每1块的图像数设为1万，存储器大小为1MB的情况下，将每1块的图像数设为5千。其他情况下，也可以根据存储器大小来设定每1块的图像数的范围（下限值和上限值）。

此外，不限于存储器大小，作为资源的例，可以举出CPU的时钟频率、CPU使用率等。此外，存储部107为HDD的情况下，也可以利用每1分钟的转数（转速）和缓存器大小等。

此外，也可以基于上面举出的项目（存储器大小、CPU的时钟频率、CPU使用率、HDD的转速、HDD的缓存器大小），计算作为重要度计算处理能力的指标的数值，基于该数值来设定块所分别包含的图像数。

＜补充＞

以上说明了本发明的实施方式，但是本发明不限于上述内容，在为了达成本发明的目的和与其关联或附随的目的的各种形态下也能够实施，例如可以是以下形态。

（1）关于根据群集的块内重要度求出群集的重要度的方法

对使用图28简单说明的求出重要度的方法进行补充。

某群集包含在多个块内的情况下，计算出的块内重要度为多个。这种情况下，通过将多个块重要度累积，能够计算最终的群集的重要度。

例如，如图32所示，对于包含在块2及块3的双方中的群集3的重要度，能够将群集3在块1～3内的块内重要度a、b、ｃ相加，并将得到的a＋b＋ｃ作为最终的群集的重要度来计算。

（2）关于图像重要度的计算方法

在图29中，计算图像的重要度的情况下，将该图像所包含的群集的重要度与从群集向图像的链接的固定值0.01相乘，但不限于此。

例如，想要将图像中拍摄的人物的占有度的大小反映到图像的重要度中的情况下，如图33所示，也可以通过将图像所包含的群集的重要度与该图像中的群集的占有度相乘来求出。

由此，能够将较大地拍摄有群集1的人物的图像Y设为比图像X更高的重要度。

（3）关于聚类

在实施方式中，作为聚类部104所进行的聚类的方法，列举了作为非阶层性的方法的k-means法，但是不限于此，也可以使用沃德法(Ward'smethod)等阶层性的方法。

（4）关于对象物

在各实施方式中，作为对象物而列举了人的面部，但是不限于人，也可以将狗（图4：图像10）或猫等动物的面部作为对象物，并作为图像特征量的提取对象。此外，作为图像中拍摄的对象物，不限于面部，也可以是汽车（图4：图像6）、植物、建筑物等各种物体等。

（5）关于背景的节点

在实施方式2中，说明了将全部图像的背景作为1个背景节点来进行图表生成的例子，但是不限于此，也可以制作多个背景的节点，或制作不具有背景的节点的图表。

（6）关于图像特征量

在各实施方式中，作为图像特征量的一例而列举了占有度，但是不限于此。

例如，除了占有度之外，也可以将人物的笑脸的程度、面部的朝向的程度、或人物的对焦的程度作为权重。

作为笑脸的程度，可以想到笑脸的程度越大则将图像设为越高的图像重要度。

此外，面部的朝向的程度的情况下，可以采用越朝向正面则图像重要度越高的计算式。

人物的对焦的程度的情况下，例如人物的对焦越清楚（锐利）则越高地评价，对焦越模糊则越低地评价。

此外，也可以完全不使用占有度，而基于笑脸的程度、面部的朝向的程度、人物的对焦的程度等，计算各对象物的重要度。

总之，只要是表示对象物被拍摄到各图像中的特征的值即可，不限于占有度、笑脸的程度、面部的朝向的程度等，可以使用各种各样的值。

（7）关于取得图像的对象

在各实施方式中，说明了从摄像装置130取得图像，但是取得的对象不限于此。

例如，也可以从便携终端等外部设备取得图像。作为设备彼此的连接的形态，可以是有线（LAN线缆、USB线缆等）或无线（红外线或Bluetooth等）等各种形态。

此外，也可以经由快闪存储器、压缩闪存器（注册商标）、记忆棒、SD存储卡、多媒体卡、CD-R/RW、DVD±R/RW、DVD-RAM、HD-DVD、BD(Blu-rayDisc)等可拆装记录介质的驱动器来取得。

（8）集成电路

各实施方式的图像评价装置典型地可以作为集成电路、即LSI(LargeScale Integration)来实现。可以将各电路单独1芯片化，也可以包含全部电路或一部分的电路地1芯片化。在此记载为LSI，但是根据集成度的不同，有时也称为IC(Integrated Circuit)、系统LSI、超级LSI、特级LSI。此外，集成电路化的方法不限于LSI，也可以通过专用电路或通用处理器来实现。也可以利用在LSI制造后可编程的FPGA（Field Programmable GateArray）、能够将LSI内部的电路单元的连接和设定再构成的可重组处理器。

此外，通过半导体技术的进步或派生的其他技术，如果出现了替换LSI的集成电路化的技术，当然可以使用该技术进行功能块的集成化。生物技术的应用等也存在可能性。

（9）程序

可以将由程序代码构成的控制程序记录在记录介质中，或经由各种通信路流通并颁布，该程序代码用于使计算机等各种设备的处理器及与该处理器连接的各种电路执行各实施方式所示的图像的重要度计算的处理。

这样的记录介质有快闪存储器、压缩闪存器（注册商标）、记忆棒、SD存储卡、多媒体卡、CD-R/RW、DVD±R/RW、DVD-RAM、HD-DVD、BD(Blu-rayDisc)等。

流通并颁布的控制程序通过保存在可由处理器读取的存储器等中来供利用，通过由该处理器执行该控制程序来实现实施方式所示的各种功能。

工业实用性

本发明的图像管理装置能够应用于储存静止图像或运动图像的装置、数码相机、带照相机的便携电话或摄影机等摄像装置、以及PC（PersonalComputer）等。

标记说明

100 图像管理装置

101 图像取得部

102 对象物检测部

103 对象物特征量提取部

104 聚类部

105 块生成部

106 图表生成部

107  存储部

108  对象物信息存储部

109  块信息存储部

110  图表信息存储部

111  块内重要度存储部

112  图像重要度存储部

113  群集重要度存储部

114  评价部

115  概率转移矩阵生成部

116  块内重要度计算部

117  重要度正规化部

118  群集重要度计算部

119  图像重要度计算部

120  显示控制部

130  摄像装置

140  显示装置

400  图像组

500  对象物信息

700  块信息

900  块1的图表信息

901  块1的图表信息

1100 概率转移矩阵M

1200 随机游走矩阵X

1300 固有矢量

1400 概率矢量化后的固有矢量

1500 块内重要度信息

1501 块1内的块内重要度信息

1701 块1内的块内重要度（正规化后）

1801 减去伪节点的重要度之后的群集的块内重要度

2100 群集重要度信息

2300 图像重要度信息

2400 图像排序

2700 以伪节点的重要度进行正规化后的块内重要度

3400 图像管理装置（外部装置）

Claims (18)

1.一种图像管理装置，基于重要度对多个图像进行排序，其特征在于，具备：

图像取得部，取得多个图像；

检测部，在取得的各图像中，检测该图像所包含的对象物；

提取部，提取检测到的各所述对象物的图像特征量；

聚类部，基于各对象物的图像特征量，将检测到的各对象物分类到多个群集中的某一个群集；

块生成部，划分由所述图像取得部取得的多个图像，生成多个块；

块内重要度计算部，在各块中，基于该块内的图像与该块内的图像所包含的对象物所属的群集之间的关联性，计算该块内的图像所包含的对象物所属的群集的块内重要度；

群集重要度计算部，通过对计算出的各块内的各群集的块内重要度进行累积，计算所述多个图像内的各群集的重要度；以及

图像重要度计算部，基于计算出的群集重要度，计算各图像的重要度。

2.如权利要求1所述的图像管理装置，其特征在于，

所述块生成部通过划分所述多个图像，对各图像赋予块ID，该块ID用于识别划分出的块，

该图像管理装置还具备块信息存储部，该块信息存储部存储对各图像赋予的块ID，

在所述图像取得部新取得了图像的情况下，所述块生成部以该取得的新的图像为对象进行所述划分，但不将所述块信息存储部中存储有块ID的图像作为对象来进行所述划分。

3.如权利要求1所述的图像管理装置，其特征在于，

所述块生成部通过划分所述多个图像，对各图像赋予块ID，该块ID用于识别划分出的块，

该图像管理装置还具备块信息存储部，该块信息存储部存储对各图像赋予的块ID，

在所述图像取得部新取得了图像的情况下，所述块生成部将所述块信息存储部中存储有块ID的图像的一部分和该取得的新的图像双方作为对象来进行所述划分。

4.如权利要求1所述的图像管理装置，其特征在于，具备：

图表生成部，在各块中，制作表示构成该块的各个图像的图像节点、分别表示所述图像所包含的对象物所属的群集的群集节点、以及表示所述图像的背景的1个背景节点，设定所制作的节点间的链接的值，生成由制作的节点和设定的链接的值构成的图表；

所述块内重要度计算部基于生成的图表，计算各节点所示的图像及群集的块内重要度。

5.如权利要求4所述的图像管理装置，其特征在于，

所述块内重要度计算部基于由所述图表生成部生成的图表信息，生成概率转移矩阵，求出该概率转移矩阵的固有矢量，由此计算各块内的图像的重要度及群集的块内重要度。

6.如权利要求5所述的图像管理装置，其特征在于，

所述图表生成部制作伪节点并使该伪节点包含在所述图表中，将该伪节点与所述图像节点之间、该伪节点与群集节点之间、以及该伪节点与所述背景节点之间的链接的值设定为零。

7.如权利要求6所述的图像管理装置，其特征在于，

所述块内重要度计算部基于表示随机游走的矩阵，对生成的概率转移矩阵进行修正，对修正后的概率转移矩阵求出固有矢量。

8.如权利要求7所述的图像管理装置，其特征在于，

所述群集重要度计算部在各块中，用块内的群集的块内重要度减去块内的伪节点的块内重要度，从而对该群集的块内重要度进行校正。

9.如权利要求7所述的图像管理装置，其特征在于，具备：

重要度正规化部，基于各个块内的伪节点的块内重要度的值，对由所述群集重要度计算部计算的各块内的各群集的块内重要度进行正规化，

所述群集重要度计算部基于正规化后的群集的块内重要度，计算所述多个图像内的群集的重要度。

10.如权利要求1所述的图像管理装置，其特征在于，

所述群集重要度计算部通过将计算出的各块内的群集的块内重要度相加，计算所述多个图像内的群集的重要度。

11.如权利要求10所述的图像管理装置，其特征在于，还具备：

重要度正规化部，根据块内所包含的图像数及群集数，对由所述群集重要度计算部计算出的各块内的群集的重要度进行正规化；

所述群集重要度计算部将正规化后的群集的重要度相加。

12.如权利要求1所述的图像管理装置，其特征在于，

所述聚类部从外部装置取得在该外部装置中被分类的群集的特征量，并对取得的特征量和分类后的各群集的特征量进行比较，从而确定所取得的特征量与分类后的各群集中的哪个群集对应，

所述群集重要度计算部从所述外部装置取得所确定的群集的重要度，并用于所述累积。

13.如权利要求1所述的图像管理装置，其特征在于，

所述块生成部基于表示能够用于生成块的资源的资源信息，决定应该生成的各块的大小，并以各块成为所决定的大小的方式生成所述多个块。

14.如权利要求13所述的图像管理装置，其特征在于，

所述资源信息表示能够利用的存储器大小。

15.一种图像管理方法，基于重要度对多个图像进行排序，其特征在于，包括：

图像取得步骤，取得多个图像；

检测步骤，在取得的各图像中，检测该图像所包含的对象物；

提取步骤，提取检测到的各所述对象物的图像特征量；

聚类步骤，基于各对象物的图像特征量，将检测到的各对象物分类到多个群集中的某一个群集；

块生成步骤，划分由所述图像取得步骤取得的多个图像，生成多个块；

块内重要度计算步骤，在各块中，基于构成该块的图像与构成该块的图像所包含的对象物所属的群集之间的关联性，计算构成该块的图像所包含的对象物所属的群集的块内重要度；

群集重要度计算步骤，通过对计算出的各块内的各群集的块内重要度进行累积，计算所述多个图像内的各群集的重要度；以及

图像重要度计算步骤，基于计算出的群集重要度，计算各图像的重要度。

16.一种程序，使计算机执行包含图像管理步骤的处理，其特征在于，所述图像管理步骤包括以下各步骤：

图像取得步骤，取得多个图像；

检测步骤，在取得的各图像中，检测该图像所包含的对象物；

提取步骤，提取检测到的各所述对象物的图像特征量；

聚类步骤，基于各对象物的图像特征量，将检测到的各对象物分类到多个群集中的某一个群集；

块生成步骤，划分由所述图像取得步骤取得的多个图像，生成多个块；

块内重要度计算步骤，在各块中，基于构成该块的图像与构成该块的图像所包含的对象物所属的群集之间的关联性，计算构成该块的图像所包含的对象物所属的群集的块内重要度；

群集重要度计算步骤，通过对计算出的各块内的群集的块内重要度进行累积，计算所述多个图像内的群集的重要度；以及

图像重要度计算步骤，基于计算出的群集重要度，计算各图像的重要度。

17.一种记录介质，记录有使计算机执行包含图像管理步骤的处理的程序，其特征在于，所述图像管理步骤包括以下各步骤：

图像取得步骤，取得多个图像；

检测步骤，在取得的各图像中，检测该图像所包含的对象物；

提取步骤，提取检测到的各所述对象物的图像特征量；

聚类步骤，基于各对象物的图像特征量，将检测到的各对象物分类到多个群集中的某一个群集；

块生成步骤，划分由所述图像取得步骤取得的多个图像，生成多个块；

块内重要度计算步骤，在各块中，基于构成该块的图像与构成该块的图像所包含的对象物所属的群集之间的关联性，计算构成该块的图像所包含的对象物所属的群集的块内重要度；

群集重要度计算步骤，通过对计算出的各块内的群集的块内重要度进行累积，计算所述多个图像内的群集的重要度；以及

图像重要度计算步骤，基于计算出的群集重要度，计算各图像的重要度。

18.一种集成电路，基于重要度对多个图像进行排序，其特征在于，具备：

图像取得部，取得多个图像；

检测部，在取得的各图像中，检测该图像所包含的对象物；

提取部，提取检测到的各所述对象物的图像特征量；

聚类部，基于各对象物的图像特征量，将检测到的各对象物分类到多个群集中的某一个群集；

块生成部，划分由所述图像取得部取得的多个图像，生成多个块；

块内重要度计算部，在各块中，基于构成该块的图像与构成该块的图像所包含的对象物所属的群集之间的关联性，计算构成该块的图像所包含的对象物所属的群集的块内重要度；

群集重要度计算部，通过对计算出的各块内的群集的块内重要度进行累积，计算所述多个图像内的群集的重要度；以及

图像重要度计算部，基于计算出的群集重要度，计算各图像的重要度。

Images