CN102414719B - 监视摄像机终端 - Google Patents

Abstract

提供一种监视摄像机终端，其能在与其他监视摄像机终端之间，确保追踪的可疑者等人的辨识精度，并且还能抑制成本上升。邻接的两个监视摄像机终端(1)的摄像区域部分重叠。监视摄像机终端(1)将由本终端拍摄到的帧图像中人的位置以及由邻接的其他监视摄像机终端(1)拍摄到的帧图像中的人的位置分别转换为共同的坐标系的位置。而且，根据人之间的脚下位置之间的距离，进行将位于重叠区域的人X、Y一一对应起来的辨识。

Description

监视摄像机终端

技术领域

本发明涉及一种监视摄像机终端，其对拍摄了监视对象区域得到的帧图像进行处理并追踪行为异常的可疑者。

背景技术

以往，在车站、购物中心、繁华街等不确定多数人聚集的场所，使用多个监视摄像机终端检查行为异常的可疑者等(下面简称为可疑者)并追踪所检查出的可疑者。在利用多个监视摄像机终端追踪可疑者时，需要根据该可疑者的移动切换追踪的监视摄像机终端。而且，在切换追踪可疑者的监视摄像机终端时，接管追踪的监视摄像机终端需要辨识该可疑者。如果该可疑者的辨识失败，则追踪的有可能是别人而不是之前追踪的可疑者，即，丢失了所检查出的可疑者，追踪失败。

为了提高该可疑者的辨识精度，提出了以下方案：追踪可疑者的一个监视摄像机终端将检查可疑者时使用的模板信息(template information)通知给接管追踪该可疑者的其他监视摄像机终端，该其他监视摄像机终端使用被通知的模板信息来辨识可疑者(参照专利文献1)。

而且，还提出了以下方案：不仅将模板信息，还将检查可疑者时利用的特征信息也通知给其他监视摄像机终端(参照专利文献2)。该特征信息例如为通过从画面中切出的可疑者的图像数据、形状、颜色、大小等来确定可疑者的信息；或眼、鼻、口等面部器官的形状、位置等。

现有技术文献

专利文献

专利文献1：日本专利第3814779号公报

专利文献2：日本专利第3999561号公报

发明内容

发明所要解决的问题

然而，正在追踪可疑者的一个监视摄像机终端与接管该可疑者的追踪的其他监视摄像机终端相对于作为被摄体的可疑者的角度不同。因此，一个监视摄像机终端所拍摄到的帧图像中的可疑者与其他监视摄像机终端所拍摄到的帧图像中的可疑者相比，可疑者的外形、面部器官的形状、位置等会产生差异。因此，即使将检查可疑者时使用的模板信息、特征信息从一个监视摄像机终端通知给其他监视摄像机终端，但如果在其他监视摄像机终端中不执行考虑了角度差异的对准，则不能确保可疑者的辨识精度。

如果使用作为被摄体的可疑者的三维信息，就能进行考虑了上述角度差异的对准。但是，为了得到可疑者的三维信息，必须使用立体摄像机。因此，随着各个监视摄像机终端的成本上升，监视系统整体的成本也上升。

该发明的目的是提供一种监视摄像机终端，其能在与其他监视摄像机终端之间确保正在追踪的物体的辨识精度，并能充分地抑制成本上升。

解决问题的手段

本发明的监视摄像机终端为了达成上述目的，以如下方式构成。

物体提取单元，对摄像单元拍摄到的、分配给本终端的监视对象区域的帧图像进行处理，并提取拍摄到的物体。这里提到的物体是人或车辆等物体。ID赋予单元对物体提取单元提取出的物体赋予ID。该ID可以是能辨识物体的唯一值。此外，物体映射表生成单元针对物体提取单元提取出的每个物体，生成将赋予该物体的ID与帧图像上的坐标位置对应起来的物体映射表。而且，追踪单元使用物体映射表生成单元生成的物体映射表，追踪位于分配给本终端的监视对象区域内的物体。

此外，物体映射表获取单元与所分配的监视对象区域和本终端的监视对象区域部分重叠的对方侧终端进行数据通信，由此，获取该对方侧终端生成的对方侧物体映射表。此外，坐标转换信息存储单元存储坐标转换信息，该坐标转换信息表示本终端的帧图像的坐标位置与上述对方侧终端的帧图像的坐标位置的相对位置关系。辨识单元使用坐标转换信息存储单元存储的坐标转换信息，将本终端提取出的物体的位置以及对方侧终端提取出的物体的位置转换为共同的坐标系的位置。辨识单元根据该共同的坐标系中、本终端提取出的物体与对方侧终端提取出的物体之间的距离，来辨识位于上述重叠区域的物体。

该共同坐标系可以为任意的坐标系，但优选使用某一方的监视摄像机终端(本终端或对方侧终端)的坐标系。如果这样，由于可以仅对登记于一方的物体映射表的物体进行坐标转换，所以就能抑制坐标转换耗费的处理负载。

通常，即使本终端提取出的物体与对方侧终端提取出的物体为同一物体，在共同的坐标系上的位置也会因角度差异、检查精度等原因多少存在误差但大致一致。因此，能根据本终端提取出的物体与对方侧终端提取出的物体其位置之间的距离，进行高精度辨识。

辨识单元例如根据将位于重叠区域的本终端提取出的物体与对方侧终端提取出的物体一一对应而成的组合中的、对应起来的物体间的距离(共同的坐标系中的位置之间的距离)的总和最小的组合，来辨识位于重叠区域的物体。

此外，可以将共同的坐标系设为两种，也可以根据各种类的总和为最小的组合来辨识位于重叠区域的物体。此时，优选两种共同的坐标系是本终端的帧图像的坐标系和对方侧终端的帧图像的坐标系这两种。

此外，可以针对物体提取单元提取出的每个物体，将该物体的位置设为该物体的接地面上的坐标。

此外，可以设有对准单元，该对准单元根据位于重叠区域的物体间的距离，使物体映射表生成单元生成的本终端的物体映射表与物体映射表取得单元取得的对方侧物体映射表在时间上对准。由此，就能进一步提高辨识精度。

此外，可以如下构成辨识单元，其利用对准单元使本终端的物体映射表与对方侧终端的物体映射表在时间上对准后的多组物体映射表，来辨识位于重叠区域的物体。这样，能进一步提高物体的辨识精度。

此外，辨识单元在本终端提取出的物体与对方侧终端提取出的物体之间的距离的计算中，针对下述的组，在计算位于上述重叠区域的物体间的距离时，加上预定的惩罚距离(penalty distance)，其中在该组中，被上述对准单元在时间上与本终端的物体映射表对准的上述对方侧物体映射表还与本终端的其他物体映射表对准。

进而，物体映射表生成单元对生成的物体映射表附加与生成时刻相关的时间戳。时间戳例如是在本次的物体映射表的生成中使用的帧图像的拍摄时刻或物体映射表生成结束时的时刻等。而且，可以构成为：上述监视摄像机终端具备时刻对齐单元，该时刻对齐单元利用附加于本终端的物体映射表和对方侧终端的物体映射表的时间戳，来校正本终端计时的时刻，所述本终端的物体映射表和对方侧终端的物体映射表由上述对准单元在时间上进行了对准。根据这样的结构，在本终端与对方侧终端之间，能够使计时的时刻同步。

发明的效果

根据该发明，能够充分确保检查出的可疑者等的辨识精度，并且，还能够充分抑制成本上升。

附图说明

图1是示出监视系统的结构的概要图。

图2是示出监视摄像机终端的主要部分的结构的框图。

图3是示出邻接的两个监视摄像机终端的拍摄区域的图。

图4是示出监视摄像机终端的追踪处理的流程图。

图5是说明物体映射表的图。

图6是示出ID确定处理的流程图。

图7是示出决定脚下位置的处理的流程图。

图8是示出其他的ID确定处理的流程图。

图9是示出物体映射表的对应关系的图。

图10是示出时间同步处理的流程图。

具体实施方式

下面，说明使用了本发明实施方式的监视摄像机终端的监视系统。

图1是表示该监视系统的结构的概要图。该监视系统是具有多个监视摄像机终端1(1A～1H)的网络系统。该监视系统例如是Ad-hoc型(点对点模式)的网络系统。在监视摄像机终端1之间直接或者经由其他监视摄像机终端1进行数据通信。该监视摄像机终端1之间的数据通信可以是无线方式也可以是有线方式。

另外，图1是具有8台监视摄像机终端1A～1H的监视系统的例子。但构成本系统的监视摄像机终端1的台数不限于这个台数。此外，连接图1所示的监视摄像机终端1之间的线是链路(link)。此外，在下面的说明中，当不特别区分监视摄像机终端1A～1H时，表示为监视摄像机终端1。

图2是表示监视摄像机终端的主要部分的结构的图。监视摄像机终端1具备：控制部11、摄像部12、图像处理部13、存储部14、计时器15、通信部16。控制部11控制监视摄像机终端1主体各部的动作。摄像部12对分配给本终端的监视对象区域进行拍摄。换言之，摄像部12的拍摄区域是分配给本终端的监视对象区域。摄像部12在1秒期间输出5帧～10帧的拍摄图像(帧图像)。

图像处理部13处理摄像部12拍摄到的监视对象区域的帧图像，并提取出所拍摄的人(物体)。此外，根据时间上连续的多个帧图像，追踪在监视对象区域内移动的人。图像处理部13利用时空MRF(Markov Random Field：马可夫随机场)模型进行提取出的人的提取、追踪。时空MRF模型如所公知的，着眼于时空图像的时间轴方向上的相关关系，是将MRF模型扩展为时空模型而得到的模型。该时空MRF模型是如下的模型：以像素数x像素数(例如，8像素x8像素)的块对作为处理物体的帧图像进行区域分割，定义参考了时间上连续的帧图像间的每个块的动量的时间轴方向的相关关系。

存储部14存储使主体动作的动作程序、在动作时利用的设定数据、动作时产生的处理数据等。计时器15对当前时刻进行计时。通信部16控制与其他监视摄像机终端1之间的数据通信。

该监视系统是追踪有异常行为的可疑者等人的系统。根据该人的移动来切换追踪的监视摄像机终端1。由此，能在较宽区域进行可疑者的追踪。图3示出邻接的两个监视摄像机终端1A、1B的摄像区域(监视对象区域)的图。邻接的两个监视摄像机终端1A、1B的摄像区域(监视对象区域)部分重叠。在这里，将该重叠的摄像区域称为重叠区域。图3中，以邻接的两个监视摄像机终端1A、1B的监视对象区域为例进行说明，但在邻接的其他两个监视摄像机终端1的组合中，监视对象区域的一部分也重叠。监视摄像机终端1在与邻接的其他监视摄像机终端1之间，对位于重叠区域的人X、Y进行一一对应地辨识处理。图3中，人X、Y位于监视摄像机终端1A、1B的重叠区域内，人Z在监视摄像机终端1A的监视对象区域内，且位于与监视摄像机终端1B的重叠区域之外。

另外，此处，将监视对象区域部分重叠的两个监视摄像机终端1称作邻接的监视摄像机终端1。此外，邻接的监视摄像机终端1直接(不经由其他监视摄像机终端1)进行数据通信。

此外，与监视摄像机终端1邻接的其他监视摄像机终端1不限于1台。换言之，也存在邻接的监视摄像机终端1是2台或3台的监视摄像机终端1。但是，每个邻接的其他监视摄像机终端1的重叠区域不同。

各监视摄像机终端1，针对每个邻接的监视摄像机终端1，将坐标转换信息存储在存储部14中，该坐标转换信息表示本终端的摄像部12拍摄到的帧图像的2维坐标系与邻接的对方侧监视摄像机终端1的摄像部12拍摄到的帧图像的2维坐标系之间的相对位置关系。该坐标转换信息是将本终端的摄像部12拍摄到的帧图像的2维坐标系与邻接的对方侧监视摄像机终端1的摄像部12拍摄到的帧图像的2维坐标系投影转换为共同的坐标系的信息。此处，将第1坐标转换参数和第2坐标转换参数作为所述坐标转换信息存储于存储部14，该第1坐标转换参数是将本终端的摄像部12拍摄到的帧图像的2维坐标系投影转换为邻接的对方侧监视摄像机终端1的摄像部12拍摄到的帧图像的2维坐标系的参数，反之，该第2坐标转换参数是将邻接的对方侧监视摄像机终端1的摄像部12拍摄到的帧图像的2维坐标系投影转换为本终端的摄像部12拍摄到的帧图像的2维坐标系的参数。

另外，坐标转换信息可以仅为第1坐标转换参数或第2坐标转换参数中的某一方。

此处，说明第1坐标转换参数以及第2坐标转换参数。该第1坐标转换参数及第2坐标转换参数是在设置监视摄像机终端1时，使用实际拍摄到的帧图像计算出的值。

首先，监视摄像机终端1的设置完成时，使用磁带等在与邻接的对方侧监视摄像机终端1重叠的重叠区域内的地面上标记4点。然后，对本终端的摄像部12拍摄到的帧图像进行处理，并检测该帧图像上所标记的4点的坐标位置(x，y)。同样地，邻接的对方侧监视摄像机终端1从该对方侧终端取得摄像部12拍摄到的帧图像上所标记的4点的坐标位置(X，Y)。然后，将标记出的每个点的坐标位置代入：

X＝(a1x+b1y+c1)/(a0x+b0y+1)

Y＝(a2x+b2y+c2)/(a0x+b0y+1)

得到8元联立方程组。作为该8元联立方程组的解的a0、b0、a1、b1、c1、a2、b2、c2的8个系数是与该邻接的对方侧监视摄像机终端1的第1坐标转换参数。监视摄像机终端1将该第1坐标转换参数存储于存储部14。

同样，将标记出的每个点的坐标位置代入：

x＝(A1X+B1Y+C1)/(A0X+B0Y+1)

y＝(A2X+B2Y+C2)/(A0X+B0Y+1)

得到8元联立方程组。作为该8元联立方程组的解的A0、B0、A1、B1、C1、A2、B2、C2的8个系数是与该邻接的对侧监视摄像机终端1的第2坐标转换参数。监视摄像机终端1将该第2坐标转换参数存储于存储部14。

下面，详细说明该监视系统中的可疑者的追踪。图4是表示各监视摄像机终端的追踪处理的流程图。

监视摄像机终端1将摄像部12拍摄到的监视对象区域的帧图像取入图像处理部13(S1)。图像处理部13对S1中取入的帧图像进行处理，提取出拍摄的人(S2)。图像处理部13将上次处理的帧图像中提取出的人与S2中提取出的人对应关联起来(S3)。图像处理部13使用时空MRF模型，将人提取为以8像素x8像素的块为单位的人物区域。在S3中，通过使上次处理的帧图像中提取出的人与S2中提取出的人对应起来，就能得到本次提取出的人的移动方向和移动量，进行这些人的追踪。

此外，对本次处理中提取出的人、即上次处理中没有提取出的人(即，本次初次提取出的人)赋予临时ID(S4、S5)。

图像处理部13生成针对本次处理的帧图像的物体映射表(S6)。如图5所示，该物体映射表是针对本次提取出的每个人，将对该人赋予的ID(或本次赋予的临时ID)与本次处理过的帧图像上的坐标位置对应起来的信息。此外，监视摄像机终端1对物体映射表赋予时间戳。该时间戳可以是S1中将帧图像取入图像处理部13的时刻，也可以是在赋予时计时器15计时的时刻(当前时刻)。

此外，当在S6中生成物体映射表时，将本次提取出的人与地面相接的位置(下面称作脚下位置)检查为该人的坐标位置。具体为，在得到上述第1坐标转换参数及第2坐标转换参数时，将与通过标记的4点的平面(即地面)相接的人的人物区域的下边中心的坐标检测为该人的坐标位置。下面，将人物区域称作人物的外接长方形。

监视摄像机终端1将S6中生成的物体映射表存储于存储部14，并且向邻接的其他监视摄像机终端1发送本次生成的物体映射表(下面，称作本终端物体映射表)(S7、S8)。

另外，如果物体映射表从邻接的其他监视摄像机终端1被发送至各监视摄像机终端1(下面，称作对方侧物体映射表)，则各监视摄像机终端1将该对方侧物体映射表存储于存储部14。监视摄像机终端1针对每个邻接的对方侧监视摄像机终端1，区分对方侧物体映射表而进行存储。

监视摄像机终端1通过反复进行上述S1～S7的处理，进行位于本终端的监视区域内的人的追踪。

下面，说明S4中确定赋予了临时ID的人的ID确定处理。如上所述，针对物体映射表中登记的人，赋予能确定该人的ID或临时ID。被赋予临时ID的人包含：由其他监视摄像机终端1赋予了ID的人(即，已开始被追踪的人)、当前时刻未被赋予ID的人(即，进入了该监视系统所监视的区域的人)。由于跨越较广的区域追踪可疑者，如果赋予了临时ID的人是已被赋予了ID的人，则该ID确定处理将本次赋予的临时ID设为无效，返回已被赋予的ID。此外，如果赋予了临时ID的人是在当前时刻未被赋予ID的人，则将本次赋予的临时ID确定为该人的ID。

另外，赋予人的ID、临时ID是能确定该人的唯一值。该ID、临时ID可以是数字，也可以是符号，也可以是数字和符号的组合。此外，为了能对各人赋予不同的ID而不在监视摄像机终端1之间通知所发放ID，优选为：使ID中包含所赋予的监视摄像机终端1能够辨识的数字及符号。

图6是示出该ID确定处理的流程图。在生成了如下的物体映射表时进行该ID确定处理，该物体映射表登记有赋予了临时ID的人。首先，在本次赋予了临时ID的人中，判定是否有人位于与邻接的其他监视摄像机终端1重叠的重叠区域内(S11)。当本次赋予了临时ID的人位于重叠区域内时，该人是由监视区域包含该重叠区域的邻接的对方侧监视摄像机终端1所追踪的人。即，是已被赋予ID的人。另一方面，当本次赋予了临时ID的人不位于重叠区域内时，则该人不是由其他监视摄像机终端1追踪的人。即，是在当前时刻未被赋予ID的人。在S11中，如果没有人位于重叠区域内，则监视摄像机终端1针对本次赋予了临时ID的每个人，将赋予的临时ID确定为ID(S12)。

另一方面，如果有人位于重叠区域内，则在本次赋予了临时ID的人中，对于位于重叠区域外的人，将赋予的临时ID确定为ID(S13)。此外，监视摄像机终端1从存储部14读出本次在时间上与登记有临时ID的本终端侧物体映射表对应的对方侧物体映射表(S14)。在S14中，从存储部14中读出被赋予了如下时刻的时间戳的对方侧物体映射表，该时刻是与被赋予本终端侧物体映射表的时间戳的时刻的时间差的绝对值为最小的时刻。

监视摄像机终端1生成将位于本终端侧物体映射表中登记的重叠区域内的人、与位于对方侧物体映射表中登记的重叠区域内的人一一对应关联的组合模式(S15)。例如，如果位于重叠区域内的人是2人，则S15中生成的组合的模式数就是2种，或者，如果位于重叠区域内的人是3人，则S15中生成的组合的模式就是6种。

此外，监视摄像机终端1针对本次生成的本终端侧物体映射表中登记的人中、位于重叠区域内的每个人，使用第1坐标转换参数，将该人的坐标位置转换为对方侧终端的坐标系(S16)。监视摄像机终端1针对S15中生成的每个组合模式，计算第1距离能量(S17)。该第1距离能量是对方侧终端的坐标系中的、对应的组合模式中对应关联的人之间的距离的总和。

此外，监视摄像机终端1针对在S14读出的对方侧物体映射表中登记的人中、位于重叠区域内的每个人，使用第2坐标转换参数，将该人的坐标位置转换为本终端的坐标系(S18)。监视摄像机终端1针对S15中生成的每个组合模式，计算第2距离能量(S19)。该第2距离能量是本终端的坐标系中的、对应的组合模式中对应关联的人之间的距离的总和。

监视摄像机终端1针对S15中生成的每个组合模式，计算综合距离能量(S20)。该综合距离能量是针对每个组合模式、该组合模式的第1距离能量与第2距离能量之和。

监视摄像机终端1将S20中获得的综合距离能量为最小的组合模式判定为位于重叠区域内的人适合的对应关系。然后，根据基于综合距离能量最小的组合模式的人的对应关系，辨识位于重叠区域内的人(S21)。然后，监视摄像机终端1针对赋予了临时ID的人，使被赋予的临时ID无效，确定赋予给辨识出的人的ID(S22)。在S22中，将物体映射表中的临时ID置换为赋予给辨识出的人的ID。

因此，在邻接的监视摄像机终端1之间能够高精度地辨识位于重叠区域内的人，能够跨越较广的区域进行有异常行为的可疑者的追踪。此外，没有必要使用立体摄像机等来获取人的三维信息，能够充分抑制成本增加。

另外，在图6中，为了确保位于重叠区域内的人的辨识精度，将第1距离能量与第2距离能量之和设为综合距离能量，但也可以将第1距离能量或第2距离能量的某一个设为综合距离能量。如果这样，就不需要(S16、S17)或(S18、S19)中某一方的处理，能够降低监视摄像机终端1的处理负载。

此外，由于位于监视对象区域内的人重叠，有时拍摄不到人的脚下。即，有时在帧图像中不能检测人的脚下位置。在这样的情况下，在S6中生成物体映射表时，通过如下所示的处理，也可以决定拍摄的人的脚下位置。可以只对位于重叠区域内的人进行该处理，也可以对位于监视区域内的全部人进行该处理。

首先，图像处理部13设有如下功能：学习与摄像部12所拍摄到的帧图像的进深相对的人的基准高度，并将其存储于存储部14。

图7是表示决定脚下位置的处理的流程图。图像处理部13进行如下判定：在作为提取了要决定脚下位置的目标人物的人物区域的外接长方形下边上，是否与其他人对应的人物区域相接(S31)。在S31中如果与其他人对应的人物区域没有相接，则图像处理部13判定为拍摄到了该人的脚下，将该人的外接长方形下边的中心决定为脚下位置(S32)。

另一方面，如果在S31中与其他人对应的人物区域相接，则图像处理部13检测作为该人物区域的外接长方形的高度(S33)。图像处理部13将针对该人的拍摄位置而存储的基准高度与S33中检测出的高度进行比较(S34)。

如果在S34中判定为比基准高度还高，则进入S32，图像处理部13将该人的外接长方形下边的中心决定为脚下位置。另一方面，如果在S34中判定为比基准高度低，则将比与该人对应的人物区域的外接长方形上边的中心坐标低基准高度的位置，决定为该人的脚下位置(S35)。

由此，由于位于监视对象区域内的人的重叠，即使是未拍摄到脚下的人，也能适当地推断其脚下位置。

在上述说明中，以本终端的计时器15计时的时刻与对方侧终端的计时器15计时的时刻大致同步为前提。下面，考虑该时间的偏差，说明辨识位于重叠区域内的人的处理。

在这种情况下，各监视摄像机终端1也进行图4所示的追踪处理。

图8是表示该情况的ID确定处理的流程图。在生成登记有赋予了临时ID的人的物体映射表时进行该ID确定处理。首先，在本次赋予了临时ID的人中，判定是否有人位于与邻接的其他监视摄像机终端1重叠的区域内(S41)。在S41中如果判定为没有人位于重叠区域内，则监视摄像机终端1针对本次每个赋予了临时ID的人，将赋予的临时ID确定为ID(S42)。S41及S42分别是与上述的S11及S12同样的处理。

另一方面，如果有人位于重叠区域，则在本次赋予了临时ID的人中，仅针对没有位于重叠区域内的人，将赋予的临时ID确定为ID(S43)。S43是与上述S13同样的处理。

然后，监视摄像机终端1针对登记有赋予了临时ID的人的本终端侧的物体映射表之后所生成的规定数目(例如8个)的物体映射表的每个，搜索对应的对方侧物体映射表(S44)。在S44中，针对每个本终端侧物体映射表，进行下面的处理。

首先，对于作为处理物体的本终端侧物体映射表的时间戳，提取出被赋予了规定时间差内(例如-200ms～+200ms)的时间戳的全部对方侧物体映射表。

然后，针对此处提取出的每个对方侧物体映射表，在与本终端侧物体映射表之间，生成将位于重叠区域内的人一一对应起来的组合模式，针对每个生成的组合模式计算出综合距离能量。关于该综合距离能量的计算方法，由于上面已经进行了说明，所以在此省略。然后，将最小的综合距离能量设为与作为本次物体的对方侧物体映射表的综合距离能量。

进而，将综合距离能量最小的对方侧物体映射表决定为与作为本次处理物体的本终端侧物体映射表对应的对方侧物体映射表。

在图9中，示出了具有被附加了时刻T1～T8的时间戳的监视摄像机终端1A、具有对方侧物体映射表的邻接的监视摄像机终端1B、以及监视摄像机终端1A搜索与本终端侧物体映射表对应的对方侧物体映射表的搜索结果的例子。在该例中，当针对时间戳为时刻T1的本终端物体映射表提取出时间戳为t1及t2的两个对方侧物体映射表时，计算出与时间戳为t1的对方侧物体映射表的综合距离能量、以及与时间戳为t2的对方侧物体映射表的综合距离能量。而且，比较时间戳为t1的对方侧物体映射表的综合距离能量与时间戳为t2的对方侧物体映射表的综合距离能量，将具有较小(最小)综合距离能量的、时间戳为t1的对方侧物体映射表与时间戳为时刻T1的本终端侧物体映射表对应起来。

此外，在该处理中，如图9所示，将多个本终端物体映射表(T3与T4、T6与T7)与相同的对方侧物体映射表(t3、t7)对应起来。此外，有时也存在没有对应的本终端侧物体映射表的对方侧物体映射表(t4、t6)。

监视摄线头终端1将本终端物体映射表(图9所示的T3、T4、T6、T7)的综合距离能量更新为加上了预定的惩罚值(Penalty value)的值(S45)，其中，这些本终端物体映射表(图9所示的T3、T4、T6、T7)对应于其他本终端物体映射表也对应的对方侧物体映射表。该惩罚值可以根据设置环境等任意地设定。

在S44中，从对应起来的本终端物体映射表和对方侧物体映射表的组合中，提取出该组合中综合距离能量超过预定的基准距离能量的组合，并予以去除(S46)。该基准距离能量被设定成能够检查如下情况的大小，即，本终端物体映射表和对方侧终端物体映射表的对应不恰当的情况、位于重叠区域内的人的组合未恰当地对应起来的情况等。例如，监视摄像机终端1由于与对方侧监视摄像机终端1的通信不良等，当缺少与本终端物体映射表对应的合适的对方侧物体映射表时，就不能恰当地进行与对方侧物体映射表的对应。

监视摄像机终端1通过本终端物体映射表与对方侧物体映射表的余下的组合，辨识位于重叠区域内的人(S47)。在S47中，例如，从综合距离能量最小的、本终端物体映射表与对方侧物体映射表的组合之中，提取出综合距离能量最小的组合。然后，根据此处提取出的物体映射表的组合中的、位于重叠区域内的人的组合，辨识位于该重叠区域内的人。此外，在本终端物体映射表与对方侧物体映射表的余下的组合中，根据位于重叠区域内的人最多的组合，辨识位于该重叠区域内的人。

然后，监视摄像机终端1针对赋予了临时ID的人，将被赋予的临时ID设为无效，确定赋予已辨识的人的ID(S48)。在S48中，将物体映射表中的临时ID置换为赋予已辨识的人的ID。

由此，即使本终端的计时器15所计时的时刻与对方侧终端的计时器15所计时的时刻有偏差，也能够高精度地辨识位于重叠区域内的人。

此外，在S47中，可以利用位于重叠区域内的人的辨识中所用的本终端物体映射表、与对方侧物体映射表的组合，进行使本终端的计时器15计时的时刻与对方侧监视摄像机终端1的计时器15计时的时刻同步的时刻同步处理。图10是表示该时刻同步处理的流程图。

在S47中，针对位于重叠区域内的人的辨识所用的本终端物体映射表与对方侧物体映射表的每个组合，计算时间戳的时间差(S51)，得到其平均时间差(S52)。然后，监视摄像机终端1以S52中计算出的平均时间差来校正计时器15计时的时刻(S53)。由此，能够与邻接的监视摄像机终端1之间使计时器15计时的时刻同步。

此外，时间戳的时间差也可以构成为，去除与S52中计算出的平均时间差相隔一定时间以上的时间，在其剩余中再次计算平均时间差，并校正计时器15计时的时刻。该处理可以反复进行，直到时间戳的时间差相对于平均时间差隔开一定时间以上的情况消失为止，也可以仅反复进行预定次数。

另外，在上述说明中，以追踪物体为人进行了说明，但该物体不限于人，也可以是车辆等其他种类的移动体。

标号说明

1(1A～1H)-监视摄像机终端

11-控制部

12-摄像部

13-图像处理部

14-存储部

15-计时器

16-通信部

Claims (7)

1.一种监视摄像机终端，其具备：

摄像单元，其拍摄分配给本终端的监视对象区域；

物体提取单元，其处理上述摄像单元拍摄到的帧图像，提取拍摄到的物体；

ID赋予单元，其对上述物体提取单元提取出的物体赋予ID；

物体映射表生成单元，其针对上述物体提取单元提取出的每个物体，生成将赋予该物体的ID与帧图像上的坐标位置对应起来、并且附加了与生成时刻相关的时间戳的物体映射表；以及

追踪单元，其使用上述物体映射表生成单元生成的物体映射表，追踪位于分配给本终端的监视对象区域内的物体，其中，

上述监视摄像机终端还具备：

对方侧物体映射表获取单元，其与所分配的监视对象区域和本终端的监视对象区域部分重叠的对方侧终端进行数据通信，由此，获取该对方侧终端生成的对方侧物体映射表；

坐标转换信息存储单元，其存储坐标转换信息，该坐标转换信息表示本终端的帧图像的坐标位置与上述对方侧终端的帧图像的坐标位置的相对位置关系；

对准单元，其使用上述与生成时刻相关的时间戳，将上述物体映射表生成单元生成的本终端的物体映射表与上述对方侧物体映射表获取单元获取的对方侧物体映射表在时间上对准，以及

辨识单元，其利用由上述对准单元在时间上进行了对准的、上述物体映射表生成单元生成的本终端的物体映射表以及上述对方侧物体映射表获取单元获取的对方侧物体映射表，辨识位于本终端的监视对象区域与对方侧终端的监视对象区域重叠的重叠区域内的本终端提取出的物体和对方侧终端提取出的物体，

上述辨识单元利用上述坐标转换信息存储单元存储的上述坐标转换信息，将本终端提取出的物体的位置以及对方侧终端提取出的物体的位置转换为共同的坐标系的位置，根据该共同的坐标系中、本终端提取出的物体与对方侧终端提取出的物体之间的距离，来辨识位于上述重叠区域的物体。

2.根据权利要求1所述的监视摄像机终端，其中，

上述辨识单元根据位于上述重叠区域的本终端提取出的物体与对方侧终端提取出的物体一一对应而成的组合中的、对应起来的物体间的距离的总和最小的组合，来辨识位于上述重叠区域的物体。

3.根据权利要求1所述的监视摄像机终端，其中，

上述物体映射表生成单元针对上述物体提取单元提取出的每个物体，将该物体的位置设为该物体的接地面上的坐标。

4.根据权利要求1所述的监视摄像机终端，其中：

上述对准单元使用上述与生成时刻相关的时间戳以及位于上述重叠区域的物体间的距离，将上述物体映射表生成单元生成的本终端的物体映射表与上述对方侧物体映射表取得单元取得的对方侧物体映射表在时间上对准。

5.根据权利要求1所述的监视摄像机终端，其中，

上述辨识单元利用由上述对准单元在时间上进行了对准的多组物体映射表，辨识位于上述重叠区域的物体。

6.根据权利要求5所述的监视摄像机终端，其中，

上述辨识单元在本终端提取出的物体与对方侧终端提取出的物体之间的距离的计算中，针对下述组，在计算位于上述重叠区域的物体间的距离时，加上预定的惩罚距离，其中在所述组中，关于被上述对准单元在时间上与本终端的物体映射表对准的上述对方侧物体映射表，还与本终端的其他物体映射表也对准。

7.根据权利要求1所述的监视摄像机终端，其中，

上述监视摄像机终端还具备时刻对齐单元，该时刻对齐单元利用附加于本终端的物体映射表和对方侧终端的物体映射表的时间戳，来校正本终端计时的时刻，所述本终端的物体映射表和对方侧终端的物体映射表由上述对准单元在时间上进行了对准。