CN102857693A - 图像处理设备及其控制方法和存储介质 - Google Patents

Abstract

本发明涉及一种图像处理设备及其控制方法和存储介质。针对假定为难以被错误识别的人物，该图像处理设备能够通过提高识别该人物的频率来提高搜索中的可用性。在所计算出的相似度等于或大于阈值时，识别为该人物的面部对应于所登记人物中任一个的面部。在开始将所拍摄图像记录到非易失性记录介质之后，针对开始记录图像时未被识别的一个所登记人物的面部，将所述阈值设置成大于第一值的第二值，并且针对开始记录图像时已识别出的一个所登记人物的面部，将所述阈值设置成所述第一值和所述第二值之间的第三值。

Description

图像处理设备及其控制方法和存储介质

技术领域

本发明涉及一种图像处理设备及其控制方法和存储介质，尤其涉及一种诸如摄像机等的用于检测被摄体的面部并对所检测到的面部进行个人识别的图像处理设备及其控制方法和存储介质。

背景技术

近年来，出现了设置有个人识别功能的摄像机，其中在该个人识别功能中，在摄像期间周期性检测面部，并且将所检测到的面部与预先所保持的个人信息进行比较来识别是谁的面部。在这类摄像机的个人识别功能中，如果通过与个人信息的比较所计算出的相似度等于或大于预先所设置的阈值，则将该面部识别为特定人的面部。该摄像机还设置有用于记录运动图像并将与记录时变图像期间所识别出的个人有关的信息附加给运动图像的功能。此外，该摄像机设置有用于基于所附加信息对运动图像进行分类的功能。在设置有这些功能的摄像机中，通过指定登记在个人信息中的人物，用户可以仅提取出现该人物的运动图像。

在该摄像机的个人识别功能中，如果在进行个人识别时将通过与个人信息的比较所计算出的相似度有关的阈值设置得较低，则未将某人识别为该人本身的概率(本人拒绝率)下降。然而，同时，如果将与该相似度有关的阈值设置得较低，则将他人识别为上述人本身的概率(他人接受率)升高。因此，如果将与相似度有关的阈值设置得较低，则在记录运动图像期间，容易附加错误识别的结果。

如果将与相似度有关的阈值设置得较高，则将他人错误地识别为本人的他人接受率下降。然而，无法识别本人，并且本人拒绝率升高。因此，如果将与相似度有关的阈值设置得高，则在记录运动图像期间难以附加正确的识别结果。因此，为了以提高用户的可用性这样的方式向运动图像附加个人识别结果，重要的是调整阈值。

在传统的面部对照设备中，提出了一种用于调整阈值以获得适当的个人识别结果的设备(例如，参考日本特开2009-163555)。在该传统的面部对照设备中，对阈值进行调整，以使得与诸如调焦和曝光等的摄像条件以及诸如所登记图像的面部大小和所登记图像的数量等的登记条件无关地，他人接受率、本人拒绝率、以及他人接受率和本人拒绝率彼此相等的概率中的任一个可以是恒定的。也就是说，在传统的面部对照设备中，对阈值进行调整，以使得被识别为本人的频率和被错误地识别的频率对于所有人而言都是恒定的。

然而，在设置有个人识别功能的摄像机中，更希望的是，在再现所记录的时变图像时对期望人物进行搜索的情况下，由于搜索能力较高，因而以特定程度的频率识别出期望人物。然而，从可用性的观点出发，不期望由于优先提高识别频率而导致错误识别的增加。

发明内容

本发明提供如下的一种图像处理设备及其控制方法和存储介质，其中该图像处理设备针对假定为难以被错误识别的人物，能够通过提高识别该人物的频率来提高搜索能力，从而增强搜索可用性。

根据本发明的一个方面，提供一种图像处理设备，包括：摄像单元，用于拍摄图像；记录单元，用于将所拍摄图像记录在非易失性记录介质中；面部检测单元，用于从所拍摄图像中检测人物的面部；特征值提取单元，用于从所述人物的面部中提取作为与容貌有关的信息的特征值；对照单元，用于计算所述特征值提取单元所提取出的人物的面部的特征值和任一个所登记人物的面部的特征值之间的相似度，其中，所述所登记人物各自具有面部的特征值；识别单元，用于在所计算出的相似度等于或大于阈值时，识别出提取了特征值的人物的面部对应于所述任一个所登记人物的面部；以及显示单元，用于显示所述识别单元的识别结果，其中，在开始将所拍摄图像记录到所述非易失性记录介质之前，所述识别单元将所述阈值设置成第一值，以及在所述显示单元显示了所述识别单元的识别结果后开始将所拍摄图像记录到所述非易失性记录介质之后，所述识别单元针对开始记录所拍摄图像时未被识别的所登记人物的面部，将所述阈值设置成大于所述第一值的第二值，并且针对开始记录所拍摄图像时已识别出的所登记人物的面部，将所述阈值设置成等于或大于所述第一值且小于所述第二值的第三值。

根据本发明的另一方面，提供一种图像处理设备的控制方法，其中，所述图像处理设备包括：摄像单元，用于拍摄图像；记录单元，用于将所拍摄图像记录在非易失性记录介质中；面部检测单元，用于从所拍摄图像中检测人物的面部；特征值提取单元，用于从所述人物的面部中提取作为与容貌有关的信息的特征值；对照单元，用于计算所述特征值提取单元所提取出的人物的面部的特征值和任一个所登记人物的面部的特征值之间的相似度，其中，所述所登记人物各自具有面部的特征值；识别单元，用于在所计算出的相似度等于或大于阈值时，识别出提取了特征值的人物的面部对应于所述任一个所登记人物的面部；以及显示单元，用于显示所述识别单元的识别结果，所述控制方法包括以下步骤：在开始将所拍摄图像记录到所述非易失性记录介质之前，将所述阈值设置成第一值；以及在所述显示单元显示了所述识别单元的识别结果后开始将所拍摄图像记录到所述非易失性记录介质之后，针对开始记录所拍摄图像时未被识别的所登记人物的面部，将所述阈值设置成大于所述第一值的第二值，并且针对开始记录所拍摄图像时已识别出的所登记人物的面部，将所述阈值设置成等于或大于所述第一值且小于所述第二值的第三值。

根据本发明的又一方面，一种存储有用于使计算机实现上述图像处理设备的控制方法的程序的非瞬态计算机可读存储介质。

根据本发明，针对假定为难以被错误识别的人物，可以通过提高识别该人物的频率来提高搜索能力，从而增强搜索可用性。

通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

图1是示意性示出根据本发明实施例的图像处理设备的示意性结构的框图。

图2是用于说明预先登记在图1的图像处理设备中的包括人物的面部图像、特征值和姓名的用户个人信息列表的图。

图3是示出图1的图像处理设备所执行的面部检测/识别处理的过程的流程图。

图4是用于说明图3的步骤S302中所更新的被摄体列表的图。

图5是用于说明图3的步骤S305所执行的对照处理的结果的图。

图6A和6B是示出图3的步骤S306所执行的对照判断处理的过程的流程图。

图7是用于说明通过图6A和6B的对照判断处理所获得的与16个帧相对应的时间段内的人物“智(SATOSHI)”的识别结果的图，其中O表示与智的相似度，×表示与森(MASAHIRO)的相似度。

图8是用于说明通过图6A和6B的对照判断处理所获得的与16个帧相对应的时间段内的人物“森”的识别结果的图，其中O表示与智的相似度，×表示与森的相似度。

图9A～9D是用于说明在利用图1的摄像机进行记录时的被摄体列表、“开始记录时已识别人物”和“已识别人物”之间的关系的图。

图10A和10B是示出图6A和6B的对照判断处理的变形例的过程的流程图。

图11是用于说明通过图10A和10B的对照判断处理所获得的与13个帧相对应的时间段内的人物“智”的识别结果的图，其中O表示与智的相似度，×表示与森的相似度。

图12是用于说明通过图10A和10B的对照判断处理所获得的与13个帧相对应的时间段内的人物“森”的识别结果的图，其中O表示与智的相似度，×表示与森的相似度。

具体实施方式

根据本发明实施例的图像处理设备被配置为摄像机，并且该摄像机从拍摄图像进行面部检测，并且进行个人识别。

图1是示意性示出根据本发明实施例的图像处理设备的结构的框图。

在图1中，摄像机100设置有构成控制系统块的CPU 101、RAM 102、ROM 103和操作部104。

CPU 101通过内部总线105与RAM 102、ROM 103和其它各块连接，并且基于存储在ROM 103中的控制程序来控制各块。将该ROM 103配置为诸如闪速存储器等的可重写ROM。

CPU 101使用RAM 102作为工作时的临时数据存储位置。CPU 101从操作部104接收用户通过操作操作部104的各种操纵杆和按钮所输入的指示信号，并且根据用户指示执行各种处理。

摄像机100设置有调焦透镜110、光圈111、CCD图像传感器112、镜头驱动器113和AFE 114，其中这些部件构成用作摄像用的摄像单元的摄像机系统块。

在摄像机100的摄像机系统中，当光穿过调焦透镜110和光圈111以产生CCD图像传感器112的摄像面上所形成的图像时，将摄像面上的光学图像转换成电信号。

在摄像机100中，CPU 101控制镜头驱动器113，以驱动调焦透镜110和光圈111并调节焦点和光圈值。在摄像机100中，AFE 114基于由CPU 101所指定的快门速度来驱动CCD图像传感器112，从而每隔1/30秒读取与一帧相对应的图像信号，并且进行图像信号的采样保持和放大以及向数字信号的转换。

如图1所示，摄像机100设置有构成图像处理系统块的图像处理部120、曝光评价部121、焦点评价部122、缓冲存储器123、面部检测部124、特征值提取部125和记录部130。该特征值提取部125用作用于从人物的面部中提取作为与容貌有关的信息的特征值的特征值提取单元。

图像处理部120受CPU 101的控制，从AFE 114输入图像信号，进行颜色转换处理，并且将图像信号输出至缓冲存储器123。曝光评价部121和焦点评价部122针对从图像处理部120所获得的图像信号中所包括的多个区域，分别评价曝光状态和聚焦状态。此外，面部检测部124用作用于从拍摄图像检测人物面部的面部检测单元。因此，面部检测部124针对每一个帧从缓冲存储器123读出图像信号，并且检测图像中所包括的人物面部的数量以及面部的大小和位置。然后，CPU 101将通过面部检测部124所检测到的面部的位置和大小作为稍后说明的被摄体列表而存储在RAM 102中。

特征值提取部125从缓冲存储器123读出图像信号，并且针对面部检测部124所检测到的面部进行提取处理，其中，该提取处理用于从被摄体列表中提取表示包括诸如眼、鼻和嘴等的面部器官的位置以及肤色等的容貌的特征值。

在摄像机100中，个人识别部126对特征值提取部125所提取出的特征值和存储在ROM 103中的个人信息列表中所登记的人物(所登记人物)的特征值进行对照，并且计算与这些人物中的每一个的相似度。也就是说，个人识别部126用作用于计算特征值提取部125所提取出的人物面部的特征值和所登记人物的面部图像的特征值之间的相似度的对照单元。这里，个人信息列表列出了用户预先所登记的人物的面部图像、特征值和姓名。此外，个人信息列表可以存储在个人计算机或服务器中，其中摄像机100可以访问该个人计算机或服务器以根据需要读取特征值。

在摄像机100中，CPU 101执行用于将所计算出的相似度作为对照结果列表存储在RAM 102中的对照处理。应该注意，稍后将说明该对照结果列表。此外，CPU 101将所计算出的与对照结果列表相对应的相似度同阈值进行比较，并且判断是否将所检测到的面部识别为特定人物的面部。也就是说，如果所计算出的相似度等于或大于该阈值，则CPU 101用作如下的识别单元，其中该识别单元用于判断为由用于计算相似度的面部的特征值所表示的人物是由同样用于计算相似度的所登记人物的特征值所表示的人物，并且识别该人物。

记录部130内部设置有未示出的非易失性半导体存储器。如果用户进行用于开始记录的操作，则记录部130从缓冲存储器123读取图像信号并将所读取的图像信号记录到记录部130内的非易失性半导体存储器中。用作用于将图像记录到记录介质的记录单元的记录部130还将此时的识别结果与图像一起进行记录。此外，如果用户进行用于停止记录的操作，则记录部130停止向记录部130内的非易失性半导体存储器进行记录。应该注意，代替非易失性半导体存储器，记录部130可以将图像信号存储到内部的硬盘驱动器(HDD)或者从外部安装的DVD或CD中。

摄像机100设置有构成显示系统块的绘制部140、合成部141和显示部142。绘制部140根据被摄体列表，绘制与图像的面部位置一致的框。如果将某人识别为本人，则在框的左上部绘制该人的姓名，并且将该框输出给合成部141。合成部141在从缓冲存储器123读出图像信号的情况下，对从绘制部140输出的框与该图像信号进行合成，并且将该图像信号输出给显示部142。摄像机100设置有显示部142，并且显示部142输出利用合成部141合成得到的图像信号。也就是说，该显示部142用作用于显示与被识别为特定人物的人物有关的信息的显示单元，其中该信息是识别单元进行个人识别的识别结果。

图2是用于说明图1的图像处理设备预先登记的包括人物的面部图像、特征值和姓名的用户个人信息列表的图。

在图2所示的个人信息列表中，登记编号是表示元素在列表中位于什么位置的信息。在该说明书中，将列表中的第n元素表示为元素[n]。

在向该个人信息列表添加与新人物有关的个人信息的情况下，用户将示出要添加人物的面部的图像以及要添加人物的姓名登记在ROM 103中。针对该登记，用户操作操作部104的按钮以输入要添加人物的姓名。当完成要添加的姓名的输入时，CPU101利用特征值提取部125从所登记面部图像中提取特征值，向个人信息列表添加新的元素，并且存储姓名和特征值。CPU 101通过在登记编号栏中设置和写入所添加元素位于什么位置，来完成个人信息列表的登记。

图3是示出由图1的图像处理设备所执行的面部检测/识别处理的过程的流程图。通过CPU 101执行图3的处理。

在图3中，当用户对摄像机100进行开始记录之前的记录暂停操作时，开始面部检测/识别处理。应该注意，该记录是指：对摄像机系统块和图像处理系统块进行控制，从而将拍摄图像记录到非易失性存储器以进行存储。另一方面，记录暂停是指在不将拍摄图像记录到非易失性存储器的情况下控制摄像机系统块和图像处理系统块的状态。也就是说，尽管记录和记录暂停之间的不同之处在于记录部130是否使图像信号记录到非易失性存储器中，但除记录部130以外的摄像机系统块、图像处理系统块和显示系统块在记录和记录暂停时进行相同的处理。

在开始面部检测/识别处理时，面部检测部124执行面部检测处理(步骤S301)。接着，基于检测结果以及被摄体列表中的位置和大小，进行跟踪判断处理，并且更新被摄体列表(步骤S302)。

应该注意，如图4所示配置该被摄体列表。该被摄体列表存储在RAM 102中，并且是用于管理与面部检测部124所检测到的面部有关的信息的列表。在该被摄体列表中，存储所检测到的面部的编号、中心位置和大小。图4所示的“编号”是表示元素在该列表中位于什么位置的信息。

在步骤S302所执行的该跟踪判断中，根据面部检测部124所检测到的面部的位置和大小与存储在被摄体列表中的面部的位置和大小之间的相互关系，判断所检测到的面部是否是同一人物的面部。如果判断为面部是同一个人的面部，则更新面部的位置和大小，而如果没有判断为面部是同一个人的面部，则将该面部添加至被摄体列表作为新的元素。从被摄体列表中删除与检测结果没有相互关系因而未被更新的元素。

接着，根据被摄体列表进行识别执行判断处理(步骤S303)。在该识别执行判断处理中，首先判断是否存在个人信息列表中所登记的尚未被识别的人物。应该注意，如果识别了所有所登记人物，则不必进行随后的与步骤S304～S307的识别有关的处理。此外，CPU 101判断被摄体列表中是否存在未被识别的元素。应该注意，在该面部检测/识别处理中，对于已被识别的元素，不再进行与识别有关的处理。

接着，如果被摄体列表中存在尚未被识别的元素，则针对未被识别的元素进行提取处理(步骤S304)。在该提取处理中，特征值提取部125提取该元素的特征值。

接着，进行对照处理(S305)。在对照处理中，个人识别部126将提取处理所提取出的特征值与各所登记人物的特征值进行对照，并且将计算出的相似度(对照结果)存储在对照结果列表中。该对照结果列表按照如图5所示进行配置，并且该对照结果列表存储进行了对照处理的各元素与各所登记人物的相似度。

接着，对于被摄体列表中未被识别的元素进行下述图6A和6B的对照判断处理(步骤S306)。在该对照判断中，从作为对照判断处理的对象的元素与各所登记人物的相似度中选择一个相似度，并且判断所选择的相似度是否大于阈值。应该注意，后面将参考图6A和6B的流程图说明用于选择相似度和阈值的方式。

然后，作为步骤S306的对照判断处理的结果，更新被摄体列表中各元素的“识别候选人物”和“判断次数”。这里，“识别候选人物”是表示向对照判断中相似度超过了阈值的这类所登记人物所赋予的个人信息列表中的登记编号的信息，并且“判断次数”是表示同一所登记人物被连续多少次判断为识别候选人物的信息。

接着，对已进行了对照判断的元素进行识别判断(步骤S307)。这里，如果“判断次数”变为“3”，则将该元素识别为所登记人物。将个人信息列表中所识别出的人物的登记编号添加至存储在RAM 102中的“已识别人物”。此外，在对尚未被识别的元素进行对照判断时，从对象中排除已识别人物。如果没有识别出任何人，则针对“已识别人物”存储“0”。接着，当结束识别判断时，删除对照结果列表中的所有元素，并且结束该面部检测/识别处理。

图6A和6B是示出图3的步骤S306所执行的对照判断处理的过程的流程图。

图6A和6B的对照判断处理对与相似度的选择和阈值的控制有关的被摄体列表进行更新。通过CPU 101执行该处理。

在图6A，进行用于选择相似度的处理操作(步骤S601～S606)。

具体地，将对照结果列表中与要进行对照判断的元素的相似度为最大的这类所登记人物的登记编号设置为所判断人物n(步骤S601)，并且将所判断人物n的相似度设置为所判断相似度x(步骤S602)。

接着，进行如下判断：与其它元素相对于所判断人物n的相似度相比较，所判断相似度x是否为最大(步骤S603)。

作为步骤S603的判断结果，如果存在与所判断人物n的相似度比所判断相似度x更大的另一元素(步骤S603为“否”)，则判断所判断人物n是否是元素中具有最低相似度的元素(步骤S604)。

作为步骤S604的判断结果，如果所判断人物n不具有最低相似度(步骤S604为“否”)，则将具有次最大相似度的人物设置为所判断人物n(步骤S605)，随后进行重复步骤S602及其后步骤的处理。

作为步骤S604的判断结果，如果所判断人物n具有最低相似度(步骤S604为“是”)，则在与所有所登记人物的相似度均没有满足步骤S603的条件的情况下判断为没有相似的人物，将判断次数c复位为“0”(步骤S611)，将识别候选人物l设置为“0”(步骤S612)，随后终止该处理。

作为步骤S603的判断结果，如果与其它元素相对于所判断人物n的相似度相比较，所判断相似度x为最大(步骤S603为“是”)，则根据条件的要求来改变识别所使用的阈值y。

在该阈值改变处理中，首先判断是否正在记录运动图像(步骤S606)。如果判断为尚未开始记录运动图像(步骤S606为“否”)，则对于阈值y，设置相对较低的阈值A(步骤S607)。这里，假定个人识别部126的相似度的值域为0～100，并且例如假定阈值A为80。

作为步骤S606的判断结果，如果正在记录运动图像(步骤S606为“是”)，则判断所判断人物n是否是开始记录时已识别人物m(步骤S608)。这里，开始记录时已识别人物m是由存储在RAM 102中的表示开始记录运动图像时已识别人物的登记编号的信息所识别出的人物。应该注意，当用户通过按钮操作而在开始记录之前的记录暂停状态下开始运动图像的记录时，在使面部检测部124工作之前，存储此时的已识别出的人物的登记编号。如果没有识别出任何人，则存储“0”。在结束记录时，将“开始记录时已识别人物”清除为“0”。

作为步骤S608的判断结果，如果所判断人物n对应于开始记录时已识别人物m(步骤S608为“是”)，则针对阈值y，设置阈值A(步骤S607)，而如果所判断人物n不对应于开始记录时已识别人物m(步骤S608为“否”)，则针对阈值y，设置大于阈值A的阈值B(步骤S609)。这里，例如将阈值B设置成“90”。

接着，判断所判断相似度x是否小于阈值y(步骤S610)。如果所判断相似度x小于阈值y(步骤S610为“否”)，则判断为没有相似的所登记人物，因此将被摄体列表中的“识别候选人物”更新为“0”(步骤S611)，随后将识别候选人物l设置为“0”(步骤S612)，随后终止该处理。

接着，作为步骤S610的判断结果，如果所判断相似度x等于或大于阈值y(步骤S610为“是”)，则判断所判断人物n是否对应于识别候选人物l(步骤S613)。

作为步骤S613的判断结果，如果所判断人物n不对应于识别候选人物l(步骤S613为“否”)，则对所登记人物的识别是新的。因此，将识别候选人物l更新成所判断人物n(步骤S614)。接着，将“判断次数”更新为“1”(步骤S615)，随后终止该处理。

作为步骤S613的判断结果，如果所判断人物n对应于识别候选人物l(步骤S613为“是”)，则使判断次数递增1(步骤S616)，随后终止该处理。

此外，在图6A和6B的对照判断处理中，在使用阈值A作为针对开始记录时已识别人物进行对照判断处理时的阈值的情况下进行了说明。然而，该阈值还可以包括等于或大于阈值A且小于阈值B的阈值C。可以使用开始记录之前(记录暂停状态下)直到进行识别为止的采样时间段内的相似度来确定该阈值C的值。例如，如果在识别之前与同一所登记人物的相似度是85、83和88，即为连续三次超过阈值A的相似度，则使用最小值83作为阈值C。

如上所述，在图6A和6B的对照判断处理中，在开始记录之前的记录暂停状态下，积极进行识别。这是因为预期用户希望：在开始记录之前的记录暂停状态下正确识别出人物之后开始记录运动图像，并且随后将识别结果赋予运动图像。因此，在摄像机100中，将阈值设置得相对较低以增大被识别的机会。此外，即使在错误识别的情况下，也显示识别结果，这防止了用户在没有获知错误识别的情况下开始运动图像的记录。

对于开始记录时已识别人物，用户在确认了识别结果的显示之后开始进行记录的可能性较高，因此，假定识别结果是正确的。因此，对于“开始记录时(开始记录之前的记录暂停状态下)已识别人物”，即使实际上将阈值设置得较低，在此后对其进行正确识别的可能性也较高，这使得即使在已开始记录之后也使得容易进行识别的状态得以持续。然而，对于其他人，由于不存在认为识别结果正确的明确根据，因而将阈值设置得较高以优先防止错误识别。

在图6A和6B的对照判断处理中，在已开始记录之后，利用进行识别之前的相似度来计算开始记录时已识别人物所使用的阈值，这抑制了由于将阈值不必要地降低得过多所引起的对其他人的错误识别的可能性。

接着，将参考图7和8来说明在开始记录的情况下、使用摄像机100拍摄个人信息列表中所登记的人物的图像所进行的具体操作。通过CPU 101执行该操作。

这里，说明了存储在摄像机100的ROM 103中的个人信息列表与图2的个人信息列表相同的情况。在图7和8的图示中，将如下的帧(帧1)当作基准帧，其中在该帧中，对个人信息列表中的登记编号1的人物“智”进行取景并通过面部检测部124首先检测到其面部。

在从帧1～帧8的时间段内通过面部检测部124检测到人物“智”的面部，在帧9和10中未曾检测到该面部，并且在帧11～16中再次检测到该面部。

在帧8中，对个人信息列表中的登记编号2的人物“森”进行取景，并且通过面部检测部124检测到其面部。在帧8及其之后的帧中，通过面部检测部124连续检测到人物“森”。进行如下假定：在与这16个帧相对应的时间段内，在帧4及其之前，用户没有开始记录，而在帧5开始记录并且此后持续进行记录。

图7和8示出在与这16个帧相对应的时间段内通过个人识别部126对“智”和“森”进行对照的结果。在图7所示的帧1中，面部检测部124检测到“智”的面部，向被摄体列表添加元素(元素[1])，并且基于检测结果存储位置和大小。

接着，由于没有识别到任何所登记人物并且没有将元素[1]识别为识别执行判断处理的结果，因此元素[1]满足能够进行提取处理和对照处理的条件，并且更新对照结果列表。

如图7所示，作为对照判断处理的结果，由于与所登记人物“智”的相似度在对照结果列表中的与元素[1]的所有相似度中最大，因此将该相似度与阈值进行比较。由于与帧1～4相对应的时间段是在开始记录之前(开始记录之前的记录暂停状态)，因此使用阈值A作为此时的阈值。

接着，由于在帧1中相似度小于阈值A，因此针对被摄体列表中与“智”相对应的元素[1]的“判断次数”存储“0”，并且针对“识别候选人物”存储“0”。应该注意，由于识别次数为“0”，因此CPU 101在识别判断中不识别元素[1]。

接着，在帧2中，根据面部检测部124的检测结果，通过跟踪判断处理判断为所检测到的面部与元素[1]的面部相同，更新被摄体列表中的元素[1]的位置和大小。类似于前一帧的情况，由于元素[1]满足识别执行判断处理的条件，因此进行提取处理和对照处理，并且更新对照结果列表。

接着，类似于图7所示的帧1的情况，通过对照判断处理将与所登记人物“智”的相似度与阈值A进行比较。在帧2中，由于该相似度超过阈值A，因此CPU 101针对被摄体列表中的元素[1]的“识别候选人物”存储所登记人物“智”的登记编号1，并且针对“判断次数”存储“1”。

接着，同样，在帧3和4中，CPU 101基于面部检测部124的检测结果，通过进行跟踪判断处理来更新被摄体列表中的元素[1]的位置和大小。类似于前一帧的情况，由于元素[1]满足识别执行判断处理的条件，因此进行提取处理和对照处理，并且更新对照结果列表。

接着，在对照判断处理中，如图7所示，当将与所登记人物“智”的相似度与阈值A进行比较时，在帧3和4两者中，该相似度都超过了阈值A。由于所判断人物对应于识别候选人物，因此使判断次数递增1。此时，在帧4的识别判断中，由于判断次数为“3”，因此CPU 101将元素[1]识别为所登记人物“智”，并且将所登记人物“智”的登记编号1添加至“已识别人物”。对于帧4，已更新的被摄体列表、“开始记录时已识别人物”和“已识别人物”如图9A的(A)、(B)和(C)所示。

接着，绘制部140绘制已识别人物的姓名“智”，随后，在帧5中开始记录时，对于“开始记录时已识别人物”存储所识别出的所登记人物“智”的登记编号1。然后，使用通过面部检测部124进行检测处理所获得的检测结果，进行跟踪判断处理，并且更新被摄体列表中的元素[1]的位置和大小。此时，在识别执行判断处理中，由于已识别了元素[1]，并且元素[1]不满足条件，因此不进行随后的处理。对于该帧5，已更新的被摄体列表、“开始记录时已识别人物”和“已识别人物”如图9B的(A)、(B)和(C)所示。

接着，在帧6和7中，基于面部检测部124的检测结果，执行跟踪判断处理，并且更新被摄体列表中的元素[1]的位置和大小。这里，类似于前一帧的情况，由于元素[1]不满足识别执行判断的条件，因此不进行随后的处理。

接着，在帧8中，如图8所示，对“森”进行取景。基于面部检测部124的检测结果进行跟踪判断处理，更新被摄体列表中的元素[1]的位置和大小，并且还添加与“森”相对应的新元素(元素[2])。类似于前一帧的情况，由于元素[1]不满足识别执行判断的条件，因此不进行随后的处理。由于元素[2]没有被识别并且元素[2]满足条件，因此CPU 101仅对元素[2]进行提取处理和对照处理，并且更新对照结果列表。

接着，在对照判断处理中，由于所登记人物“智”是已识别人物，因此在图5所示的对照结果列表中的与元素[2]的相似度中，使用与“森”的相似度。此时，由于正在记录运动图像，并且所判断人物不对应于开始记录时已识别人物，因此使用阈值B作为对照判断处理的阈值。

接着，在帧8中，由于相似度小于阈值B，因此针对被摄体列表中与“森”相对应的元素[2]的“判断次数”存储“0”，并且针对“识别候选人物”存储“0”。这里，由于识别次数为“0”，因此在识别判断中不识别元素[2]。

接着，在帧9中，无法检测到“智”的面部。基于面部检测部124的检测结果进行跟踪判断处理，删除与“智”相对应的元素[1]，并且更新被摄体列表中的元素[2]的位置和大小。此外，从“已识别人物”中删除所登记人物“智”的登记编号。类似于前一帧的情况，由于元素[2]满足识别执行判断的条件，因此进行提取处理和对照处理，并且更新对照结果列表。

接着，在对照判断处理中，如图8所示，类似于帧8的情况，将与所登记人物“森”的相似度与阈值B进行比较。这里，由于该相似度小于阈值，因此元素[2]的“判断次数”和“识别候选人物”继续为“0”。在识别判断处理中，如前一帧的情况一样，不进行识别。对于帧9，已更新的被摄体列表、“开始记录时已识别人物”和“已识别人物”如图9C的(A)、(B)和(C)所示。

接着，在帧10中，基于面部检测部124的检测结果执行跟踪判断处理，并且更新被摄体列表中的元素[2]的位置和大小。如前一帧的情况一样，元素[2]满足识别执行判断的条件，因此进行提取处理和对照处理，并且更新对照结果列表。

接着，在对照判断处理中，如图8所示，如帧8的情况一样，将与所登记人物“森”的相似度与阈值B进行比较。该相似度小于阈值B，因此元素[2]的“判断次数”和“识别候选人物”继续为“0”。

接着，在帧11中，基于面部检测部124的检测结果执行跟踪判断处理，因而更新被摄体列表中的元素[2]的位置和大小。此外，由于可以再次检测到“智”的面部，因此CPU 101添加与“智”相对应的新元素(元素[3])。如前一帧的情况一样，元素[2]满足识别执行判断的条件，并且元素[3]也满足条件。因此，对于元素[2]和[3]进行提取处理和对照处理，并且更新对照结果列表。

接着，在针对元素[2]的对照判断处理中，如图8所示，将与所登记人物“森”的相似度与阈值B进行比较。这里，该相似度小于阈值B，因此元素[2]的“判断次数”和“识别候选人物”继续为“0”。

接着，对与元素[3]相对应的“智”进行对照判断处理。如图7所示，由于与所登记人物“智”的相似度最大，因此将该相似度与阈值进行比较。此时，由于“所判断人物”对应于开始记录时已识别人物，因此使用阈值A作为该阈值。

接着，在帧11中，由于该相似度小于阈值A，因此针对被摄体列表中与“智”相对应的元素[3]的“判断次数”存储“0”，并且针对“识别候选人物”存储“0”。

接着，在帧12中，基于面部检测部124的检测结果执行跟踪判断处理，并且更新被摄体列表中的元素[2]和[3]的位置和大小。如前一帧的情况一样，元素[2]和[3]满足条件，因此CPU 101执行提取处理和对照处理，并且使对照结果列表更新。

接着，在针对元素[2]的对照判断处理中，如图8所示，将与所登记人物“森”的相似度与阈值B进行比较。这里，该相似度小于阈值B，因此元素[2]的“判断次数”和“识别候选人物”继续为“0”。

接着，针对与元素[3]相对应的“智”进行对照判断。如图7所示，如前一帧的情况一样，将与所登记人物“智”的相似度与阈值A进行比较。在该帧12中，相似度超过了阈值A，因此针对被摄体列表中的元素[3]的“识别候选人物”存储所登记人物“智”的登记编号1，并且针对“判断次数”存储“1”。

接着，在帧13中，基于面部检测部124的检测结果执行跟踪判断处理，并且更新被摄体列表中的元素[2]和[3]的位置和大小。如前一帧的情况一样，由于元素[2]和[3]满足条件，因此进行提取处理和对照处理，并且更新对照结果列表。

接着，在针对元素[2]的对照判断处理中，如图8所示，将与所登记人物“森”的相似度与阈值B进行比较。这里，该相似度超过阈值B，因此针对被摄体列表中的元素[2]的“识别候选人物”存储所登记人物“森”的登记编号2，并且针对“判断次数”存储“1”。

接着，针对与元素[3]相对应的“智”进行对照判断处理。如图7所示，CPU 101将与所登记人物“智”的相似度与阈值A进行比较。这里，该相似度超过阈值A，因此CPU 101判断为所判断人物对应于识别候选人物，并且使被摄体列表中的元素[3]的判断次数递增为“2”。

接着，在帧14中，基于面部检测部124的检测结果执行跟踪判断处理，并且更新被摄体列表中的元素[2]和[3]的位置和大小。如前一帧的情况一样，元素[2]和[3]满足条件，因此进行提取处理和对照处理，并且更新对照结果列表。

接着，在针对元素[2]的对照判断处理中，如图8所示，将与所登记人物“森”的相似度与阈值B进行比较。这里，由于该相似度超过阈值B，并且所判断人物对应于识别候选人物，因此将被摄体列表中的元素[2]的判断次数递增为“2”。

接着，针对与元素[3]相对应的“智”进行对照判断处理。如图7所示，将与所登记人物“智”的相似度与阈值A进行比较。这里，由于该相似度超过阈值A，并且所判断人物对应于识别候选人物，因此将被摄体列表中的元素[3]的判断次数递增为“3”。此时，在识别判断中，判断次数为“3”，因此将元素[3]识别为所登记人物“智”，并且将所登记人物“智”的登记编号1添加至“已识别人物”。然后，通过绘制部140来绘制已识别人物的姓名“智”。

接着，在帧15中，基于面部检测部124的检测结果执行跟踪判断处理，并且更新被摄体列表中的元素[2]和[3]的位置和大小。尽管如前一帧的情况一样元素[2]满足条件，但识别出元素[3]。因此，针对与元素[2]相对应的“森”进行提取处理和对照处理，并且更新对照结果列表。

接着，在针对元素[2]的对照判断处理中，如图8所示，将与所登记人物“森”的相似度与阈值B进行比较。这里，由于该相似度超过阈值B，并且所判断人物对应于识别候选人物，因此将被摄体列表中的元素[2]的判断次数递增为“3”。此时，在识别判断中，判断次数为3，因此将元素[2]识别为所登记人物“森”，并且将所登记人物“森”的登记编号2添加至“已识别人物”。然后，对绘制部140进行控制以绘制已识别人物的姓名“森”。对于该帧15，已更新的被摄体列表、“开始记录时已识别人物”和“已识别人物”如图9D的(A)、(B)和(C)所示。

接着，在帧16中，基于面部检测部124的检测结果执行跟踪判断处理，并且更新被摄体列表中的元素[2]和[3]的位置和大小。此时，已识别了所有所登记人物，并且所有所登记人物都不满足识别执行判断的条件，因此针对各元素均不进行提取处理和对照处理。

因此，在开始记录之前(开始记录之前的记录暂停状态下)利用较低阈值进行识别，并且以较低阈值连续识别开始记录时已识别人物。此外，利用比已识别出的人物用的阈值大的阈值，来识别开始记录时未被识别的人物。在以这样的方式进行识别的情况下，即使降低阈值，也能够提高将正确识别的可能性高的这类人识别出的机会，以降低对其他人的错误识别率，从而提高了利用所记录的识别信息所进行的人物搜索的能力。

图10A和10B是示出图6A和6B的对照判断处理的变形例的过程的流程图。

图10A和10B的对照判断处理是上述图6A和6B的对照判断处理中的、用于控制针对开始记录时已识别人物所设置的阈值的方法的变形例。这里所使用的“主被摄体”是指通过面部检测部124所检测到的面部中具有最大优先权的面部。

在图10A和10B的对照判断处理中，可以进行如下设置：根据对操作部104的按钮的操作从所检测到的面部中选择期望面部作为主被摄体还是基于面部检测部124所检测到的面部的位置和大小自动选择任一面部作为主被摄体。例如，当进行如下假定时，选择第一评价值和第二评价值的总和最大的这类面部作为主被摄体：随着面部越大而将第一评价值设置得越大，并且随着面部的位置越接近于图像的中央部分而将第二评价值设置得越大。将被摄体列表中被设置为主被摄体的面部的编号作为用以管理主被摄体是哪个面部的主被摄体信息而存储在RAM 102中(主被摄体设置单元)。当不再检测到被设置为主被摄体的面部时，将主被摄体信息设置为“0”。

图10A和10B的对照判断处理与图6A和6B的对照判断处理的不同在于要被设置为开始记录时已识别人物的人物的判断方法。

在图6A和6B的对照判断处理中，针对开始记录时已识别出的所有所登记人物使用阈值C(将阈值C设置为与阈值A相同的值，因此将阈值C作为阈值A进行处理)。

另一方面，在图10A和10B的对照判断处理中，尽管针对开始记录时已被识别为主被摄体的人物使用阈值C，但针对开始记录时未被识别为主被摄体的人物使用大于阈值C但等于或小于阈值B的阈值D。应该注意，对于开始记录时未被识别的人物，类似于图6A和6B的对照判断处理，使用阈值B。

在图10A和10B的对照判断处理中，步骤S601～S607以及步骤S610～S616的处理与上述图6A和6B的对照判断处理的这些步骤相同，因此省略对其的说明，并且将主要说明不同点。

在图10A和10B的对照判断处理中，在与图6A和6B的对照判断处理的条件不同的条件下，改变运动图像记录期间的识别所用的阈值y。因此，在图10A所示的步骤S606，如果正在记录运动图像(步骤S606为“是”)，则处理进入步骤S1001，在步骤S1001，判断所判断人物n是否对应于开始记录时的主被摄体人物p。

这里，“开始记录时的主被摄体人物”是存储在RAM 102中的表示开始记录运动图像时被识别为主被摄体的人物的登记编号的信息。在图10A和10B的对照判断处理中，在用户通过按钮操作开始运动图像的记录时，在使面部检测部124工作之前，针对开始记录时的“已识别人物”存储此时已识别出的人物的登记编号。当基于主被摄体信息判断为已识别人物中存在主被摄体时，将该人的登记编号存储为开始记录时的主被摄体人物。如果判断为没有设置主被摄体或者判断为没有识别出主被摄体，则存储“0”。当该运动图像记录结束时，将“开始记录时的主被摄体人物”清除为“0”。

作为步骤S1001的判断结果，如果所判断人物n对应于开始记录时的主被摄体人物p(步骤S1001为“是”)，则针对阈值y设置阈值A(步骤S607)。将对照判断所用的阈值C设置为与阈值A相同的值，因此将阈值C作为阈值A进行处理。如果所判断人物n不对应于开始记录时的主被摄体人物p(步骤S1001为“否”)，则判断所判断人物n是否对应于开始记录时已识别人物m(步骤S1002)。

作为步骤S1002的判断结果，如果所判断人物n对应于开始记录时已识别人物m(步骤S1002为“是”)，则针对阈值y设置阈值D(步骤S1003)。如果所判断人物n不对应于开始记录时已识别人物m(步骤S1002为“否”)，则针对阈值y设置阈值B(步骤S1004)。

根据图10A和10B的对照判断处理，根据在开始运动图像的记录之后要提高识别频率的人物是否对应于用户所指定的人物来改变阈值以调节频率，从而使得能够将用户的意图反映到识别结果上以提高运动图像搜索能力。

接着，参考图11和12来说明图10和10B的对照判断处理中所进行的、图1的摄像机100在拍摄个人信息列表中所登记的人物的同时开始进行记录的情况下的具体操作。通过CPU 101执行该操作。

这里假定存储在摄像机100的ROM 103中的个人信息列表与图2相同。将阈值D设置为与阈值B相同的值，因此将阈值D作为阈值B进行处理。

还进行如下假定：在开始摄像时，在个人信息列表中存在所拍摄的登记编号1的人物“智”和登记编号2的人物“森”。图11和12示出与从面部检测部124首先检测到面部的帧(帧1，其中以帧1作为基准帧)开始的13个帧相对应的时间段内个人识别部126针对“智”和“森”所进行的对照的结果。

如图11和12所示，在帧1～帧7期间，通过面部检测部124检测到登记编号1的“智”的面部，在帧8和9中没有检测到该面部，并且在帧10～13中再次检测到该面部。此外，在图11和12中，在帧3中，用户选择“智”作为主被摄体。

如图11和12所示，在帧1～7期间，通过面部检测部124检测到登记编号2的“森”的面部，并且在帧8及其后的帧中，该面部离开画面从而未被检测到。这里，进行如下假定：在与这13帧相对应的时间段内，用户在帧4及其之前没有开始进行记录，而是在帧5中开始持续进行记录。

首先，在帧1中，面部检测部124检测到“智”和“森”的面部，向被摄体列表添加元素(针对“智”为元素[1]以及针对“森”为元素[2])，并且基于检测结果存储位置和大小。

接着，在识别执行判断中，没有识别出任何所登记人物，因此既没有识别出元素[1]也没有识别出元素[2]，元素[1]和[2]满足条件，因此进行提取处理和对照处理，并且更新对照结果列表。

接着，在针对元素[1]的对照判断处理中，如图11所示，由于与所登记人物“智”的相似度最大并且由此如图12所示该相似度大于元素[2]与“智”的相似度，因而将该相似度与阈值进行比较。由于与帧1～4相对应的时间段位于开始记录之前，因此使用阈值A作为此时的阈值。

在帧1中，由于相似度小于阈值A，因此针对被摄体列表中与“智”相对应的元素[1]的“判断次数”存储“0”，并且针对“识别候选人物”存储“0”。接着，针对与元素[2]相对应的“森”进行对照判断。如图12所示，与所登记人物“森”的相似度最大，并且该相似度大于图11所示的元素[1]与“森”的相似度。因此，将该相似度与阈值A进行比较。然后，由于该相似度此时超过阈值A，因此针对被摄体列表中的元素[2]的“识别候选人物”存储所登记人物“森”的登记编号2，并且针对“判断次数”存储“1”。

接着，在帧2中，基于面部检测部124的检测结果执行跟踪判断处理，并且更新被摄体列表中的元素[1]和[2]的位置和大小。如前一帧的情况一样，由于元素[1]和[2]满足条件，因此进行提取处理和对照处理，并且更新对照结果列表。

接着，如图11和12所示，在针对元素[1]的对照判断处理中，将与所登记人物“智”的相似度与阈值A进行比较。然后，由于该相似度超过阈值A，因此针对元素[1]的“识别候选人物”存储所登记人物“智”的登记编号1，并且针对“判断次数”存储“1”。接着，针对与元素[2]相对应的“森”进行对照判断。如图11和12所示，如前一帧的情况一样，将与所登记人物“森”的相似度与阈值A进行比较。这里，由于该相似度超过阈值A，并且所判断人物对应于识别候选人物，因此将被摄体列表中的元素[2]的判断次数递增为“2”。

接着，在帧3中，基于面部检测部124的检测结果进行跟踪判断处理，因此更新被摄体列表中的元素[1]和[2]的位置和大小。如前一帧的情况一样，由于元素[1]和[2]满足条件，因此进行提取处理和对照处理，并且更新对照结果列表。

接着，如图11和12所示，在针对元素[1]的对照判断中，将与所登记人物“智”的相似度与阈值A进行比较。这里，由于该相似度超过阈值A，并且所判断人物对应于识别候选人物，因此将被摄体列表中的元素[1]的判断次数递增为“2”。接着，针对与元素[2]相对应的“森”进行对照判断。如前一帧的情况一样，将图11和12所示的与所登记人物“森”的相似度与阈值A进行比较。这里，由于该相似度超过阈值A，并且所判断人物对应于识别候选人物，因此将被摄体列表中的元素[2]的判断次数递增为“3”。

这里，由于在识别判断处理中判断次数为“3”，因此将元素[2]识别为所登记人物“森”，并且向“已识别人物”添加所登记人物“森”的登记编号2。然后，通过绘制部140来绘制已识别人的姓名“森”。此时，由于用户指定元素[1]作为主被摄体，因此在RAM 102中的主被摄体信息中存储“1”。

接着，在帧4中，基于面部检测部124的检测结果执行跟踪判断，并且更新被摄体列表中的元素[1]和[2]的位置和大小。尽管如前一帧的情况一样元素[1]满足条件，但识别出元素[2]。因此，针对与元素[1]相对应的“智”进行提取处理和对照处理，并且更新对照结果列表。

接着，在针对元素[1]的对照判断中，由于所登记人物“森”是已识别人物，因此将图11所示的与所登记人物“智”的相似度与阈值A进行比较。由于该相似度超过阈值A，并且所判断人物对应于识别候选人物，因此将被摄体列表中的元素[1]的判断次数递增为“3”。这里，由于识别判断中判断次数为“3”，因此将元素[1]识别为所登记人物“智”，并且向“已识别人物”添加所登记人物“智”的登记编号1。然后，通过绘制部140来绘制已识别人物的姓名“智”。

接着，由于在帧5中开始记录，因此针对“开始记录时已识别人物”，存储作为主被摄体的与元素[1]相对应的所识别出的所登记人物“智”的登记编号1。然后，在帧5～7中，通过面部检测部124进行检测处理，基于检测结果执行跟踪判断处理，并且更新被摄体列表中的元素[1]和[2]的位置和大小。此时，由于识别了所有所登记人物，因此针对任一元素既不进行提取处理也不进行对照处理。这里，在帧8和9中，无法检测到“智”和“森”。因此，基于面部检测部124的检测结果执行跟踪判断处理，并且删除与“智”和“森”相对应的元素[1]和[2]。由于在帧8中没有检测到作为主被摄体的“智”，因此将主被摄体信息设置为“0”。

接着，在帧10中可以再次检测到“智”的面部，向被摄体列表添加元素(元素[1])，并且基于检测结果存储位置和大小。然后，针对元素[1]进行提取处理和对照处理，并且更新对照结果列表。

接着，在针对元素[1]的对照判断中，由于图11所示的与所登记人物“森”的相似度最大，因此将该相似度与阈值进行比较。此时，由于所判断人物不对应于开始记录时已识别出的人物，因此使用阈值B作为该阈值。由于此时的相似度小于阈值A，因此针对被摄体列表中与“智”相对应的元素[1]的“判断次数”存储“0”，并且针对“识别候选人物”存储“0”。

接着，在帧11～13中，如前一帧的情况一样，基于面部检测部124的检测结果更新元素[1]的位置和大小，执行提取处理和对照处理，并且更新对照结果列表。在对照判断处理中，由于图11所示的与所登记人物“智”的相似度最大，因此将该相似度与阈值进行比较。此时，由于所判断人物对应于开始记录时已识别人物，因此使用阈值A作为该阈值。由于在所有帧中相似度都超过阈值A，因此CPU 101针对被摄体列表中的元素[1]的“识别候选人物”存储所登记人物“智”的登记编号1，并且使判断次数递增。此时，由于在帧13的识别判断中判断次数为“3”，因此将元素[1]识别为所登记人物“智”，并且向“已识别人物”添加所登记人物“智”的登记编号1。然后，通过绘制部140来绘制已识别人物的姓名“智”。

因此，根据图10A和10B的对照判断处理，针对开始记录时已被识别为主被摄体的人物提高识别的频率，而针对开始记录时未被识别为主被摄体的人物，使识别的频率降低得小于作为主被摄体的人物的识别频率；此外，针对开始记录时未被识别的人物，使错误识别的频率降低得更多，这提高了使用所记录的识别信息所进行的人物搜索的能力。

简言之，将摄像机100配置成将个人识别用的阈值设置成作为较低阈值的第一阈值(第一值)或作为较高阈值的第二阈值(第二值)。在该摄像机100中，从用户操作摄像机100以设置记录暂停时正拍摄的图像中检测人物的面部。在该摄像机100中，为了积极进行识别，将个人识别用的阈值设置成作为较低阈值的第一阈值，以提高将面部识别为人物的面部的概率。尽管此时也增大了错误识别的可能性，但该摄像机处于摄像之前的状态。

这里，用户可以通过观察该摄像机100的显示部上所显示的识别结果的显示来判断是否正确识别出面部。如果判断为正确识别出面部，则用户开始通过该摄像机100进行记录。

如果以这样的方式通过该摄像机100开始进行记录，则进行控制，以使得个人识别用的阈值持续为作为较低阈值的第一阈值，其中，个人识别用的阈值是用于对记录暂停时所识别出的人物的面部进行识别的判断标准。由此，可以认为，用户通过观看识别结果而将开始记录时已识别出的人物的面部判断为是正确的面部，并且开始进行记录。因此，使用小于第二阈值的第三阈值来识别开始记录时已识别出的人物的面部，从而使识别次数提高。该第三阈值可以是等于或大于第一阈值且小于第二阈值的任意阈值(第三值等于或大于第一值且小于第二值)。可以连续使用第一阈值作为第三阈值。

也就是说，在该摄像机100中，在记录暂停时使用较低的第一阈值识别人物的面部，并且显示结果。然后，如果在显示该识别结果期间开始摄像，则判断为包括下面的这类人物作为被摄体：即使利用较低的第一阈值进行识别，该人物的未被错误识别的可能性也较高。然后，在该摄像机100中，在进行摄像时，仅将识别该人物的面部所使用的阈值设置成第三阈值，其中该第三阈值小于针对其他人所设置的第二阈值。

因此，在该摄像机100中，在记录期间，针对未被错误识别的可能性高的人物积极进行个人识别，以使得可以在再现时从所记录的运动图像提取该人物的面部出现的运动图像或场景。

在摄像机100中，还可以将多个人物的面部中的某面部设置为主被摄体，并且当开始记录时，仅将识别主被摄体的面部所使用的阈值设置为第三阈值。此时，将作为用于识别除主被摄体以外的人物(在开始记录时没有存在的人物等)的面部的判断标准的个人识别阈值设置成作为较高阈值的第二阈值，以防止错误识别。应该注意，在该摄像机中，在识别除主被摄体以外的人物的情况下，可以进行设置，以使得不管开始记录之前还是之后始终使用较高的第二阈值。

此外，在该摄像机100中，针对开始记录时已识别出的人物的面部中被设置为主被摄体的面部，设置第三阈值，并且针对未被选择为主被摄体的面部设置第四阈值，其中该第四阈值大于第三阈值且等于或小于第二阈值。也就是说，针对被设置为主被摄体的面部设置第三值，并且针对未被选择为主被摄体的面部设置大于第三值且等于或小于第二值的第四值。可以使用第一阈值作为第三阈值，并且可以使用第二阈值作为第四阈值。

在该摄像机100中，如果记录暂停时识别主被摄体人物的面部所使用的相似度在预定长度的采样时间期间(在判断期间)等于或大于第一阈值但不超过第二阈值，则判断为对象人物不是主被摄体人物。在该摄像机100中，执行用于自动寻找要设置成主被摄体人物的面部的其他人的面部的修正操作。这是因为：如果在采样期间没有超过第二阈值，则错误识别出主被摄体人物的面部的可能性较高。

此外，在该摄像机100中，尽管在记录暂停期间识别并显示主被摄体人物的面部，但如果用户在作为预定时间长度的采样时间(判断期间)经过之前并没有开始记录，则判断为错误识别的可能性较高。可以将该摄像机100配置成执行用于自动寻找要设置成主被摄体人物的面部的其他人的面部的再识别修正操作。

还可以通过读出并执行记录在存储器装置上的程序以进行上述实施例的功能的系统或设备的计算机(或者CPU或MPU等装置)以及通过以下的方法来实现本发明的各方面，其中，系统或设备的计算机通过例如读出并执行记录在存储器装置上的程序以进行上述实施例的功能来进行该方法的各步骤。为了该目的，例如经由网络或者通过用作存储器装置的各种类型的记录介质(例如，计算机可读介质)向计算机提供该程序。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

本申请要求2011年6月30日提交的日本专利申请2011-145590的优先权，其全部内容通过引用包含于此。

Claims (6)

1.一种图像处理设备，包括：

摄像单元，用于拍摄图像；

记录单元，用于将所拍摄图像记录在非易失性记录介质中；

面部检测单元，用于从所拍摄图像中检测人物的面部；

特征值提取单元，用于从所述人物的面部中提取作为与容貌有关的信息的特征值；

对照单元，用于计算所述特征值提取单元所提取出的人物的面部的特征值和任一个所登记人物的面部的特征值之间的相似度，其中，所述所登记人物各自具有面部的特征值；

识别单元，用于在所计算出的相似度等于或大于阈值时，识别出提取了特征值的人物的面部对应于所述任一个所登记人物的面部；以及

显示单元，用于显示所述识别单元的识别结果，

其中，在开始将所拍摄图像记录到所述非易失性记录介质之前，所述识别单元将所述阈值设置成第一值，以及

在所述显示单元显示了所述识别单元的识别结果后开始将所拍摄图像记录到所述非易失性记录介质之后，所述识别单元针对开始记录所拍摄图像时未被识别的所登记人物的面部，将所述阈值设置成大于所述第一值的第二值，并且针对开始记录所拍摄图像时已识别出的所登记人物的面部，将所述阈值设置成等于或大于所述第一值且小于所述第二值的第三值。

2.根据权利要求1所述的图像处理设备，其特征在于，还包括主被摄体设置单元，所述主被摄体设置单元用于设置所述面部检测单元所检测到的面部中的主被摄体，

其中，在开始将所拍摄图像记录到所述非易失性记录介质之前，所述识别单元将所述阈值设置成所述第一值，以及

当在所述显示单元显示了所述识别单元的识别结果之后开始将所拍摄图像记录到所述非易失性记录介质时，所述识别单元针对开始记录所拍摄图像时未被识别的所登记人物的面部，将所述阈值设置成大于所述第一值的所述第二值，并且针对开始记录所拍摄图像时已识别为主被摄体的所登记人物的面部，将所述阈值设置成等于或大于所述第一值且小于所述第二值的所述第三值。

3.根据权利要求2所述的图像处理设备，其特征在于，当在所述显示单元显示了所述识别单元的识别结果之后开始将所拍摄图像记录到所述非易失性记录介质时，所述识别单元针对开始记录所拍摄图像时未被识别为主被摄体的所登记人物的面部，将所述阈值设置成大于所述第三值且等于或小于所述第二值的第四值。

4.根据权利要求2所述的图像处理设备，其特征在于，所述对照单元计算与被设置为主被摄体的人物的面部的相似度，并且如果在开始将所拍摄图像记录到所述非易失性记录介质之前在判断期间、所述识别单元所设置的所述阈值的设置值没有从所述第一阈值变换成所述第二阈值，则所述主被摄体设置单元判断为被设置为主被摄体的人物的面部不对应于主被摄体。

5.一种图像处理设备的控制方法，其中，所述图像处理设备包括：摄像单元，用于拍摄图像；记录单元，用于将所拍摄图像记录在非易失性记录介质中；面部检测单元，用于从所拍摄图像中检测人物的面部；特征值提取单元，用于从所述人物的面部中提取作为与容貌有关的信息的特征值；对照单元，用于计算所述特征值提取单元所提取出的人物的面部的特征值和任一个所登记人物的面部的特征值之间的相似度，其中，所述所登记人物各自具有面部的特征值；识别单元，用于在所计算出的相似度等于或大于阈值时，识别出提取了特征值的人物的面部对应于所述任一个所登记人物的面部；以及显示单元，用于显示所述识别单元的识别结果，

所述控制方法包括以下步骤：

在开始将所拍摄图像记录到所述非易失性记录介质之前，将所述阈值设置成第一值；以及

在所述显示单元显示了所述识别单元的识别结果后开始将所拍摄图像记录到所述非易失性记录介质之后，针对开始记录所拍摄图像时未被识别的所登记人物的面部，将所述阈值设置成大于所述第一值的第二值，并且针对开始记录所拍摄图像时已识别出的所登记人物的面部，将所述阈值设置成等于或大于所述第一值且小于所述第二值的第三值。

6.一种存储有用于使计算机实现根据权利要求5所述的图像处理设备的控制方法的程序的非瞬态计算机可读存储介质。

Images