CN107958202B - 人体检测设备、人体检测设备的控制方法和存储介质 - Google Patents

Abstract

本发明提供一种人体检测设备、人体检测设备的控制方法和存储介质。在检测被摄体区域时，可以与检测区域之间的重叠关系和位置关系无关地对各检测区域进行适当评价。人体检测设备获得摄像单元所拍摄的图像，从所拍摄图像检测预定被摄体区域作为检测区域，并且通过在检测区域中对评价对象检测区域和其它检测区域进行比较来对该评价对象检测区域进行评价。

Description

人体检测设备、人体检测设备的控制方法和存储介质

技术领域

本发明涉及人体检测设备、人体检测设备的控制方法和存储介质。

背景技术

已知用于从图像检测诸如人或汽车等的特定被摄体或者该被摄体的部分区域的技术。还已知用于在从图像检测包括特定被摄体的区域时降低误检测的技术。例如，日本特开2013-061802公开了如下方法：如果所检测到的被摄体区域彼此重叠，则基于重叠状态来判断各检测结果是否表示误检测。日本特开2012-212968公开了如下方法：如果在相对于所检测到的头部区域的预定距离内检测到另一头部区域，则使这些检测结果之一无效。

然而，在日本特开2013-061802所公开的技术中，所检测到的两个或更多被摄体区域需要彼此重叠，以判断所检测到的各被摄体区域是否被误检测。在日本特开2012-212968所公开的技术中，考虑如下：落入相对于关注的头部检测区域的预定范围内的头部检测区域被误检测，因而可能判断为落入上述预定范围内的正确的头部检测区域被误检测。

发明内容

根据本发明的一个方面，提供一种人体检测设备，包括：获得部件，用于获得摄像部件所拍摄的图像；以及检测部件，用于从所拍摄图像检测人体区域作为检测区域，其特征在于，所述人体检测设备还包括：评价部件，用于通过在所述检测部件所检测到的检测区域之中对评价对象检测区域和多个其它检测区域进行比较，来对所述评价对象检测区域进行评价。

根据本发明的另一方面，提供一种人体检测设备的控制方法，包括以下步骤：获得摄像部件所拍摄的图像；以及从所拍摄图像检测预定被摄体区域作为检测区域；其特征在于，所述控制方法还包括以下步骤：通过在所述检测区域之中对评价对象检测区域和其它检测区域进行比较，来对所述评价对象检测区域进行评价。

根据本发明的又一方面，提供一种存储介质，其存储用于使计算机用作人体检测设备的程序，所述人体检测设备包括：获得部件，用于获得摄像部件所拍摄的图像；检测部件，用于从所拍摄图像检测预定被摄体区域作为检测区域；以及其特征在于，所述人体检测设备还包括：评价部件，用于通过在所述检测部件所检测到的检测区域之中对评价对象检测区域和多个其它检测区域进行比较，来对所述评价对象检测区域进行评价。

通过以下(参考附图)对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

图1是用于说明系统的框图；

图2是示出被摄体检测处理的流程图；

图3是示出摄像设备110所获得的拍摄图像的示例的图；

图4是示出拍摄图像中的被摄体检测结果的示例的图；

图5是示出关注的被摄体区域和比较对象被摄体区域的图；以及

图6是示出叠加了各自表示误检测的符号和各自表示无误检测的符号的拍摄图像的示例的图。

具体实施方式

以下参考附图来说明实施例。

第一实施例

第一实施例将说明对图像中所包括的被摄体区域进行检测作为检测区域、并且通过将各检测区域的特征量(例如，大小)进行比较来判断各检测区域是否被误检测的方法。

图1示出根据第一实施例的系统的系统结构和硬件结构的示例。参考图1，摄像设备110进行摄像。用作人体检测设备的客户端设备120驱动摄像设备110，并且获得并分析拍摄图像。输入设备130包括鼠标和键盘等。显示设备140显示从客户端设备120输出的图像。注意，图1将客户端设备120和显示设备140示出为独立设备。然而，本发明不限于此。例如，客户端设备120和显示设备140可以一体化配置，输入设备130和显示设备140可以一体化配置，或者客户端设备120、输入设备130和显示设备140可以一体化配置。

网络150将摄像设备110连接至客户端设备120。网络150包括满足诸如

等的通信标准的多个路由器、网关和线缆。注意，在本实施例中，网络150的通信标准、规模和配置是任意的，只要其可以进行摄像设备110和客户端设备120之间的通信即可。例如，网络150可以包括因特网、有线LAN(局域网)、无线LAN或WAN(广域网)等。

将说明摄像设备110的结构。摄像单元111包括图像传感器和光学系统，并且通过将图像传感器和光学系统的光轴的交点设置为摄像中心来在图像传感器上形成被摄体的图像。作为图像传感器，使用CMOS(互补金属氧化物半导体)或CCD(电荷耦合器件)等。

信号处理单元112对摄像单元111所拍摄的图像信号进行处理。例如，信号处理单元112对摄像单元111所拍摄的图像进行编码。作为编码方法，例如可以使用JPEG(联合图像专家组)。当然，可使用的编码方法不限于此。可以使用诸如H.264/MPEG-4AVC(以下称为H.264)或HEVC(高效视频编码)等的众所周知的编码处理。信号处理单元112可以被配置为使用用户从多个编码方法中所选择的编码方法来进行编码。

驱动控制单元113进行控制，以改变摄像单元111的摄像方向和视角。注意，驱动控制单元113不必具有改变摄像方向和视角这两者的功能。可选地，可以使摄像单元111的摄像方向和视角固定。通信控制单元114向客户端设备120发送在信号处理单元112中进行了处理的拍摄图像。通信控制单元114从客户端设备120接收向摄像设备110的控制命令。

将说明客户端设备120。存储器(存储单元)121保存要由CPU(控制单元)122执行的程序以及要用于CPU 122当前执行的处理的各种数据。通过加载存储器121中所存储的程序并执行该程序，CPU 122例如进行用于显示被摄体检测区域的处理(后述)。输入信息获得单元124接受向输入设备130的用户输入。显示控制单元125根据来自CPU 122的指示来将视频输入至显示设备140。注意，将说明由CPU 122来实现控制单元的示例。然而，控制单元可以使用各种其它处理器来实现。注意，CPU(控制单元)122还用作获得部件、检测部件和评价部件。

接着，将参考图2来说明根据第一实施例的处理过程。图2是示出客户端设备120从摄像设备110获得拍摄图像、检测所获得的拍摄图像中的被摄体区域、并且判断所检测到的各区域(检测区域)是否被误检测的处理的流程图。图2所示的处理是在客户端设备120的CPU 122执行存储器121中所存储的程序时实现的。

首先，CPU 122经由通信控制单元123从摄像设备110获得拍摄图像作为处理对象图像(步骤S200)。图3是示出客户端设备120从摄像设备110所获得的拍摄图像300的图。参考图3，被摄体301～309表示作为根据本实施例的检测对象被摄体的人体。注意，在本实施例中，检测人体作为被摄体。然而，本发明不限于此。代替人体，例如可以检测汽车等。被摄体310表示不是本实施例中的检测对象的被摄体。在本实施例是，非检测对象被摄体310是植物。在本实施例中，通过针对从摄像设备110获得的拍摄图像进行图2所示的处理，针对实时直播视频进行处理。然而，本发明不限于此，例如，可以针对摄像设备110中所保存的运动图像的各帧、或者针对客户端设备120中所保存的运动图像的各帧进行图2所示的处理。可选地，客户端设备120可以访问记录服务器，并针对记录存储器中所保存的运动图像的各帧进行图2所示的处理。

CPU 122进行用于从步骤S200中所获得的拍摄图像300检测预定被摄体区域作为检测区域的被摄体检测处理(步骤S201)。为了进行被摄体检测，在本实施例中，CPU 122以各种大小对拍摄图像300进行缩放。通过进行缩放，可以检测各种大小的人体。接着，CPU122在各缩放比例的拍摄图像中使用特定大小的检测窗来进行激光扫描。CPU 122预先使用学习数据来计算被摄体的特征量，并保持该特征量。如果扫描时在检测窗中所计算出的特征量和基于学习数据的特征量之间的误差小于阈值，则CPU 122判断为被摄体。

图4示出针对拍摄图像300进行被摄体检测的结果。参考图4，检测区域401～409表示检测到被摄体301～309的区域。检测区域410和411表示误检测区域。误检测到的检测区域410是在植物的一部分中包括具有接近检测对象被摄体的特征的部分并且该部分作为小的误检测而出现的情况下所获得的结果。误检测到的检测区域411是密集地包括多个人的区域具有接近检测对象被摄体的特征并且该区域作为大的误检测而出现的示例。

CPU 122创建所检测到的被摄体区域(检测区域)的列表(步骤S202)。列表的各节点存储所检测到的被摄体区域(检测区域)的大小和中心坐标。在图4所示的示例中，列表存储表示检测区域401～411的各矩形的大小和中心坐标。

CPU 122在扫描步骤S202中所创建的列表时判断列表的各检测区域是否被误检测(步骤S203～S208)。判断各检测区域是否被误检测的处理的过程如下。

处理1：关注列表中所存储的其中一个检测区域(步骤S203和S208)。

处理2：通过将关注的检测区域(评价对象检测区域)与多个其它检测区域进行比较，对关注的检测区域进行评价，并且基于评价结果来判断该检测区域是否被误检测(步骤S204)。评价是针对关注的检测区域的预定特征量、基于相对于多个其它检测区域的预定特征量的偏离程度来进行的。在本实施例中，使用各检测区域的大小作为特征量，并且将关注的检测区域的大小与其它检测区域的大小相比较。如果大小存在很大不同，则判断为该检测区域被误检测。

在本实施例中，将大小与关注的检测区域的大小相比较的其它检测区域限制为存在于与关注的检测区域的深度相同的深度处的检测区域。这防止了在判断为关注的检测区域没有被误检测的情况下、在大小方面相对于其它检测区域出现很大差异。在本实施例中，使用相对于关注的检测区域在深度方向上的位置差落入预定范围内的检测区域作为比较对象。在本实施例中，使用相对于关注的检测区域的位置在拍摄图像中的垂直方向上的坐标值的差落入预定范围内的检测区域作为比较对象。更具体地，在本实施例中，在y'表示关注的检测区域的中心的y坐标的情况下，使用中心具有落入y'-β以上且y'+α以下的范围内的y坐标的拍摄图像上的区域，作为存在具有与关注的被摄体区域的深度相同的深度的被摄体区域的区域。

将参考图5来说明上述处理。由图5中的点划线表示的矩形500定义了在关注检测区域410的情况下的用于限制用于比较的其它检测区域的区域。矩形500的上侧位于y'-β的位置，以及矩形500的下侧位于y'+α的位置。矩形500代表表示区域是否存在于与检测区域410的深度相同的深度处的边界。即，判断为中心坐标落入矩形500内的检测区域401～403存在于与检测区域410的深度相同的深度处，以及判断为检测区域404～409和411没有存在于相同深度处。即，在图5中，关注的检测区域是检测区域410，并且大小与检测区域410的大小相比较的其它检测区域是检测区域401～403。

在本实施例中，针对拍摄图像的各y坐标将不同值设置为上述的α和β。作为设置方法，例如，在P表示在拍摄图像的各y坐标处的、实空间中的地板上的点时，预先测量与在照相机侧与P相距5m的点以及在相反侧与P相距5m的点相对应的拍摄图像上的坐标点，并且在表中管理这些坐标点。此时，在A表示与在照相机侧相距5m的点相对应的拍摄图像上的坐标点以及B表示在相反侧相距5m的坐标点的情况下，A的y坐标yA由y'+α给出，以及B的y坐标yB由y'-β给出。注意，上述方法仅是示例，并且本发明不限于此。例如，使用在照相机侧和相反侧与P点相距5m的点。本发明不限于5m，并且到照相机侧和相反侧的点的距离不必彼此相等。此外，与y坐标无关地，可以通过恒定的像素值来确定α和β，并且可以设置为α＝β。例如，与y坐标无关地，可以将α和β各自固定成10个像素。

另外，在本实施例中，作为大小与关注的检测区域的大小相比较的其它检测区域，使用存在于与关注的检测区域的深度相同的深度处的检测区域。然而，本发明不限于此。例如，在通过拍摄台阶所获得的拍摄图像中，与图像中的y坐标无关地，被摄体区域的大小几乎彼此相等。在这种情况下，针对与关注的检测区域相比较的其它检测区域，可以使用除关注的检测区域以外的全部检测区域，或者可以按相对于关注的检测区域的距离的升序顺序来选择预定数量的检测区域并使用这些检测区域。可选地，可以选择落入根据拍摄图像中的关注的检测区域的位置所设置的图形内的检测区域作为用作比较对象的其它检测区域。例如，可以将落入能够通过以关注的检测区域作为中心的圆或椭圆来定义的边界内的检测区域作为比较对象。

如上所述，作为评价结果，对关注的检测区域的预定特征量(在本实施例中为大小)相对于多个其它检测区域的预定特征量的偏离程度进行评价，并且基于评价结果来判断关注的检测区域是否被误检测。在本实施例中，使用标准偏差来评价偏离程度。即，在本实施例中，如果关注的检测区域相对于其它检测区域在大小方面具有大的差异，则判断为关注的检测区域被误检测。对于该判断处理，可以基于标准偏差来进行孤立点检测。更具体地，通过多个其它检测区域(除关注的检测区域以外的检测区域)的大小来生成高斯分布。如果关注的检测区域大小与高斯分布的平均值相差2σ以上，则判断为关注的检测区域被误检测；否则判断为关注的检测区域被正确检测。注意，σ表示标准偏差。

将参考图5来说明上述处理。例如，如果关注检测区域410，则表示各检测区域存在于相同深度处的边界由矩形500来表示。中心坐标落入矩形500内的检测区域401、402、403和410被判断为存在于相同深度处的检测区域。假定检测区域401、402、403和410的大小分别是97、100、103和90。如果关注的检测区域是检测区域410，则剩余检测区域401～403的高斯分布的平均值是100，并且标准偏差σ是2.45。因此，如果关注的检测区域的大小落入95.10以上且104.90以下的范围内，则判断为关注的检测区域没有被误检测。由于检测区域410的大小是90，并且其落到上述范围之外，则判断为检测区域410被误检测。

假定在扫描该列表并关注检测区域401的情况下，判断为剩余检测区域402、403和410存在于相同深度处。在这种情况下，剩余检测区域402、403和410的大小的高斯分布的平均值是97.67，并且标准偏差是5.56。由于关注的检测区域401的大小是97，并且落入86.55以上且108.79以下的范围内，因此判断为检测区域401没有被误检测。

注意，在本实施例中，使用作为进行针对当前进行被摄体检测的图像的检测的结果所获得的检测区域，作为用作其它检测区域的检测区域。然而，本发明不限于此，例如，如果当前进行的被摄体检测的拍摄图像包括少量被摄体，则可以使用进行针对过去图像的检测的结果。这可以通过在过去的拍摄图像中登记所检测到的各检测区域的大小和中心坐标来实现。此外，在本实施例中，基于标准偏差来进行孤立点检测。然而，本发明不限于此。可以使用基于距离(相对于平均值的差)的孤立点检测，或者可以通过机机器学习来从正确的检测数据中获得正确的大小。

作为进行上述处理的结果(步骤S204)，如果判断为关注的检测区域被误检测，则CPU 122在列表中描述关注的检测区域被误检测(步骤S205)；否则，CPU 122在列表中描述关注的检测区域没有被误检测(步骤S206)。CPU 122判断是否关注了列表的最后检测区域(步骤S207)。如果没有关注列表的最后检测区域，则关注下一检测区域(步骤S208)，并且处理返回至步骤S204。这样，顺次判断在列表中所登记的各检测区域是否被误检测。如果在步骤S207中判断为关注了列表的最后检测区域，则判断列表中的各检测区域是否被误检测的处理结束。

之后，在步骤S209中，CPU 122使用显示控制单元125将拍摄图像300连同检测对象被摄体的检测结果一起显示在显示设备140上。例如，如图4所示，CPU 122将各自表示检测区域的框叠加并显示在拍摄图像上。然而，同时，以非显示状态设置被判断为误检测到的检测区域的检测区域的框。例如，在图4中，叠加并显示检测区域401～409的矩形框，并且不显示检测区域410和411的矩形框。注意，各检测区域的框不限于矩形，并且可以使用椭圆形等。

第二实施例

已经以如下模式说明了第一实施例：在呈现拍摄图像中的检测区域的检测结果时，不显示被判断为误检测到的检测区域的检测区域的框。因此，用户可以看到被正确检测到的检测区域，而无法把握是否存在被判断为误检测到的检测区域的检测区域。在第二实施例中，进行显示，以使得用户可以把握误检测的检测区域。

在步骤S209中，参考检测区域的列表，CPU 122在显示设备140上显示判断各检测区域是否被误检测的结果。在第二实施例中，通过利用符号在拍摄图像300上显示判断各检测区域是否被误检测的结果，来表示各检测结果是否表示误检测。

图6示出通过将各自表示各检测区域是否被误检测的符号叠加在拍摄图像300上而获得的拍摄图像600。在图6中，实线矩形601～609是表示正常检测到的没有被误检测的检测区域(没有被判断为误检测的检测区域的检测区域)的符号。此外，虚线距离610～611是表示被误检测的检测区域的符号。注意，在第二实施例中，线的类型表示各检测区域是否被误检测。然而，本发明不限于此，例如，作为表示各检测区域是否被误检测的方法，可以使用不同颜色，或者可以使用要叠加的诸如矩形和椭圆形等的不同框形状。可选地，可以显示表示各检测区域是否被误检测的字符串。

注意，如第一实施例所述，使用标准偏差来判断各检测区域是否被误检测，因而可以定量地判断误检测的程度。因此，例如，可以通过根据关注的检测区域的大小与根据其它检测区域的大小所生成的高斯分布的平均值的差是等于或大于2σ的量、还是等于或大于3σ的量而改变符号的形式，来表示误检测的似然性。可以例如通过在大小相差等于或大于2σ的量的情况下使用黄色、并且在大小相差等于或大于3σ的量的情况下使用红色，利用符号的颜色来表示误检测的似然性。当然，符号的形式的改变不限于颜色。例如，可以使用符号的形状的改变或者表示符号(图形)的边界的线(实线或虚线等)的变化。

如上所述，根据上述实施例中的各实施例，可以通过判断拍摄图像中的各被摄体检测结果是否表示误检测来降低被摄体检测结果的误检测。

尽管已经说明了本发明的优选实施例，但是本发明不限于这些实施例，并且可以在本发明的范围内进行各种修改和改变。例如，可以提供用于输出各自基于步骤S203～S208中的处理的评价结果所修改的检测区域的数量的输出单元。该输出单元例如是用于将修改后的检测区域的数量显示在显示设备140上的显示控制单元125。可选地，该输出单元可以是用于将表示修改后的检测区域的数量的信息输出至外部设备的通信单元。例如，如果在拍摄图像300中所包括的检测区域的数量是10，并且作为步骤S203～S208中的处理的结果判断为两个检测区域被误检测，则输出单元输出表示“8”的输出信息。

其它实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (12)

1.一种人体检测设备，包括：

获得部件，用于获得摄像部件所拍摄的图像；

检测部件，用于从所拍摄图像检测人体区域作为检测区域；

评价部件，用于通过对所述检测区域中所包括的对象检测区域的大小和其它检测区域的大小进行比较，来对所述对象检测区域的偏离程度进行评价；以及

输出部件，用于输出表示所述偏离程度等于或小于预定阈值的所述对象检测区域的信息，其中，所述信息不包括所述偏离程度大于所述预定阈值的所述对象检测区域。

2.根据权利要求1所述的人体检测设备，其中，所述偏离程度是基于标准偏差来判断的。

3.根据权利要求1所述的人体检测设备，其中，

所述输出部件使显示部件显示要叠加在所拍摄图像上的分别表示所述对象检测区域的符号，

所述偏离程度大于所述预定阈值的所述对象检测区域的符号被设置为非显示状态。

4.根据权利要求3所述的人体检测设备，其中，

所述偏离程度大于所述预定阈值的所述对象检测区域的符号和所述偏离程度等于或小于所述预定阈值的所述对象检测区域的符号是不同的符号。

5.根据权利要求1或2所述的人体检测设备，其中，所述评价部件基于所述偏离程度来判断所述对象检测区域被误检测的似然度。

6.根据权利要求5所述的人体检测设备，其中，

所述输出部件使显示部件显示要叠加在所拍摄图像上的分别表示所述对象检测区域的符号，

所述符号根据所述似然度而不同。

7.根据权利要求1或2所述的人体检测设备，其中，所述其它检测区域是相对于所述对象检测区域在深度方向上的位置差落入预定范围内的检测区域。

8.根据权利要求1或2所述的人体检测设备，其中，所述其它检测区域是相对于所述对象检测区域在所拍摄图像中的垂直方向上的坐标值的差落入预定范围内的检测区域。

9.根据权利要求1或2所述的人体检测设备，其中，所述其它检测区域是除了所拍摄图像中的所述对象检测区域以外的检测区域。

10.根据权利要求1或2所述的人体检测设备，其中，所述其它检测区域是在所拍摄图像中以相对于所述对象检测区域的距离的升序顺序而选择的预定数量的检测区域。

11.一种人体检测设备的控制方法，包括以下步骤：

获得摄像部件所拍摄的图像；

从所拍摄图像检测预定被摄体区域作为检测区域；

通过对所述检测区域中所包括的对象检测区域的大小和其它检测区域的大小进行比较，来对所述对象检测区域的偏离程度进行评价；以及

输出表示所述偏离程度等于或小于预定阈值的所述对象检测区域的信息，其中，所述信息不包括所述偏离程度大于所述预定阈值的所述对象检测区域。

12.一种计算机可读存储介质，其存储用于使计算机执行人体检测设备的控制方法的程序，所述人体检测设备的控制方法包括：

获得摄像部件所拍摄的图像；

从所拍摄图像检测预定被摄体区域作为检测区域；

通过对所述检测区域中所包括的对象检测区域的大小和其它检测区域的大小进行比较，来对所述对象检测区域的偏离程度进行评价；以及

输出表示所述偏离程度等于或小于预定阈值的所述对象检测区域的信息，其中，所述信息不包括所述偏离程度大于所述预定阈值的所述对象检测区域。

Images