[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN103069796B - 用于计数目标的方法和使用多个传感器的装置 - Google Patents

用于计数目标的方法和使用多个传感器的装置 Download PDF

Info

Publication number
CN103069796B
CN103069796B CN201080068622.8A CN201080068622A CN103069796B CN 103069796 B CN103069796 B CN 103069796B CN 201080068622 A CN201080068622 A CN 201080068622A CN 103069796 B CN103069796 B CN 103069796B
Authority
CN
China
Prior art keywords
target
depth
degree
pattern
counting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201080068622.8A
Other languages
English (en)
Other versions
CN103069796A (zh
Inventor
柳在信
金圣珍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN103069796A publication Critical patent/CN103069796A/zh
Application granted granted Critical
Publication of CN103069796B publication Critical patent/CN103069796B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53Recognition of crowd images, e.g. recognition of crowd congestion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30242Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

按照本发明的一个实施例,一种用于计数目标的方法涉及使用图像传感器和深度传感器,并且包括步骤∶从图像传感器获取图像,并且从深度传感器获取深度图,该深度图指示与该图像中的对象有关的深度信息;获取与该图像中的目标有关的边界信息;将边界信息应用于深度图以产生校正的深度图;从校正的深度图中识别目标的深度图案;和计数识别的目标。

Description

用于计数目标的方法和使用多个传感器的装置
技术领域
本发明涉及用于计数目标的方法和装置,尤其是,涉及使用多个传感器计数目标数目的方法和装置。
背景技术
近来,与照相机装置交互工作的监控系统不仅提供展示或者记录有关感兴趣区的图像信息的基本功能,而且提供基于该图像信息跟踪或者计数目标,诸如穿过该感兴趣区的人员的功能。
发明内容
技术问题
因此,本发明的一个目的是提供一种不仅使用基于图像信息由用于计数目标的系统所获取的前景图像,而且使用与图像信息有关的其它信息,来计数目标的方法。
本发明的另一个目的是提供一种在用于计数目标的系统中确定用于计数感兴趣目标的照相机装置是否已经适当地安装在感兴趣区上的方法。
技术方案
为了实现这些目的和其他的优点,和按照本发明的目的,如在此处实施和广泛地描述的,提供了一种使用图像传感器和深度传感器计数感兴趣目标的方法。
该方法包括∶由图像传感器获取图像,并且从深度传感器获取深度图,该深度图指示与图像中对象有关的深度信息;获取图像中的感兴趣目标的边缘信息;通过将边缘信息应用于深度图来产生校正的深度图;从校正的深度图中识别感兴趣目标的深度图案;和计数识别的感兴趣目标。
在识别感兴趣目标的深度图案的步骤中,存储在深度图案数据库中的基准目标的深度图案可以与校正的深度图的深度图案相比较。
该方法可以进一步包括跟踪识别的感兴趣目标的深度图案的移动。
为了实现这些目的和其他的优点,和按照本发明的目的,如在此处实施和广泛地描述的,还提供了一种照相机装置,包括∶图像传感器,配置为产生相对于感兴趣目标捕捉的图像;深度传感器,配置为产生深度图,该深度图指示与图像中的对象有关的深度信息;和控制器,配置为获取与该图像中的感兴趣目标有关的边缘信息,配置为通过将边缘信息应用于深度图来产生校正的深度图,配置为从校正的深度图中识别感兴趣目标的深度图案,和配置为计数识别的感兴趣目标。
该照相机装置可以进一步包括存储器,配置为在其中存储深度图案数据库,该深度图案数据库用于存储不同角度的基准目标的深度图案,和该控制器可以使用不同角度的基准目标的深度图案,从校正的深度图中识别感兴趣目标的深度图案。
为了实现这些目的和其他的优点,和按照本发明的目的,如在此处实施和广泛地描述的,还提供了一种用于计数目标的装置,包括∶收发信机,配置为接收相对于感兴趣目标捕捉的图像以及深度图,该深度图指示与图像中的对象有关的深度信息;和控制器,配置为获取与该图像中的感兴趣目标有关的边缘信息,配置为通过将边缘信息应用于深度图来产生校正的深度图,配置为从校正的深度图中识别感兴趣目标的深度图案,和配置为计数识别的感兴趣目标。
该装置可以进一步包括存储器,配置为在其中存储深度图案数据库,该深度图案数据库用于存储不同角度的基准目标的深度图案,和该控制器可以使用不同角度的基准目标的深度图案,从校正的深度图中识别感兴趣目标的深度图案。
为了实现这些目的和其他的优点,和按照本发明的目的,如在此处实施和广泛地描述的,还提供了一种用于显示具有图像传感器和深度传感器的照相机装置的安装状态的方法。
该方法包括∶由图像传感器获取相对于感兴趣目标捕捉的图像,并且从深度传感器获取深度图,该深度图指示与图像中的对象有关的深度信息;基于深度信息计算照相机装置的安装高度,并且确定安装高度是否适当;基于深度图和深度图案数据库计算图像传感器和深度传感器的安装角度,并且确定安装角度是否适当,其中深度图案数据库在其中存储不同角度的基准目标的深度图案,和其中通过将从深度图中提取的感兴趣目标的深度图案与在深度图案数据库中包括的不同角度的基准目标的深度图案相比较,来计算图像传感器和深度传感器的安装角度;和显示有关安装高度和安装角度是否适当的确定结果。
可以通过将与从图像获取的感兴趣目标有关的边缘信息应用于深度图来产生校正的深度图,以及然后通过从校正的深度图中识别感兴趣目标的深度图案,来提取该感兴趣目标的深度图案。
有关安装高度和安装角度是否适当的确定结果可以被显示在附接到照相机装置的显示器上,或者显示在连接到照相机装置的远程装置的显示器上。
该显示器可以实现为至少一个灯。并且,基于有关安装高度和安装角度是否适当的确定结果,照相机装置可以控制所述至少一个灯的开关状态、闪烁间隔、颜色或者照明度。
为了实现这些目的和其他的优点,和按照本发明的目的,如在此处实施和广泛地描述的,还提供了一种用于由连接到照相机装置的远程装置检测具有图像传感器和深度传感器的照相机装置的安装状态的方法。
该方法包括∶从照相机装置接收相对于感兴趣目标捕捉的图像以及深度图,该深度图指示与图像中的对象有关的深度信息;基于深度信息计算照相机装置的安装高度,并且确定安装高度是否适当;基于深度图和深度图案数据库计算图像传感器和深度传感器的安装角度,并且确定安装角度是否适当,其中深度图案数据库在其中存储不同角度的基准目标的深度图案,和其中通过将从深度图中提取的感兴趣目标的深度图案与在深度图案数据库中包括的不同角度的基准目标的深度图案相比较,来计算图像传感器和深度传感器的安装角度;和显示有关安装高度和安装角度是否适当的确定结果。
该方法可以进一步包括将有关安装高度和安装角度是否适当的确定结果发送给照相机装置。
为了实现这些目的和其他的优点,和按照本发明的目的,如在此处实施和广泛地描述的,还提供了一种照相机装置,包括∶图像传感器,配置为产生相对于感兴趣目标捕捉的图像;深度传感器,配置为产生深度图,该深度图指示与图像中的对象有关的深度信息;存储器,配置为在其中存储深度图案数据库,该深度图案数据库用于存储不同角度的基准目标的深度图案;控制器,配置为基于深度信息计算照相机装置的安装高度,配置为基于深度图和深度图案数据库计算图像传感器和深度传感器的安装角度,和配置为确定安装高度和安装角度是否适当,其中通过将从深度图中提取的感兴趣目标的深度图案与在深度图案数据库中包括的不同角度的基准目标的深度图案相比较,来计算图像传感器和深度传感器的安装角度;和显示器,配置为显示有关安装高度和安装角度是否适当的确定结果。
可以通过将与从图像获取的感兴趣目标有关的边缘信息应用于深度图来产生校正的深度图,以及然后通过从校正的深度图中识别感兴趣目标的深度图案,来提取该感兴趣目标的深度图案。
该显示器可以实现为至少一个灯。并且,基于有关安装高度和安装角度是否适当的确定结果,该控制器可以控制所述至少一个灯的开关状态、闪烁间隔、颜色或者照明度。
为了实现这些目的和其他的优点,和按照本发明的目的,如在此处实施和广泛地描述的,还提供了一种用于计数目标的装置,包括∶收发信机,配置为从照相机装置接收相对于感兴趣目标捕捉的图像以及深度图,该深度图指示与图像中的对象有关的深度信息;存储器,配置为在其中存储深度图案数据库,该深度图案数据库用于存储不同角度的基准目标的深度图案;控制器,配置为基于深度信息计算该装置的安装高度,配置为基于深度图和深度图案数据库计算图像传感器和深度传感器的安装角度,和配置为确定安装高度和安装角度是否适当,其中通过将从深度图中提取的感兴趣目标的深度图案与在深度图案数据库中包括的不同角度的基准目标的深度图案相比较,来计算图像传感器和深度传感器的安装角度;和显示器,配置为显示有关安装高度和安装角度是否适当的确定结果。
可以通过将与从图像获取的感兴趣目标有关的边缘信息应用于深度图来产生校正的深度图,以及然后通过从校正的深度图中识别感兴趣目标的深度图案,来提取该感兴趣目标的深度图案。
该显示器可以实现为至少一个灯。并且,基于有关安装高度和安装角度是否适当的确定结果,该控制器可以控制所述至少一个灯的开关状态、闪烁间隔、颜色或者照明度。
有益效果
本发明可以具有以下的效果。在按照本发明用于计数感兴趣目标的装置中,通过减小从图像信息中检测感兴趣目标的时候所出现的误差,可以以相对较低的差错率计算穿过感兴趣区的目标数目。
在按照本发明用于计数感兴趣目标的装置中,提供了确定照相机装置是否已经适当地安装的功能,以便获取适于检测感兴趣目标的信息。
附图说明
图1是按照本发明用于计数目标的系统的示范示图;
图2是在用于计数目标的系统中处理的图像信息的示范示图;
图3是示出按照本发明在用于计数目标的系统中计数感兴趣目标的方法的流程图;
图4是按照本发明在用于计数目标的系统中为计数感兴趣目标而处理的图像信息的示范示图;
图5是解释用于识别图3的感兴趣目标的深度图案(depthpattern)的图;
图6是示出在按照本发明用于计数目标的系统中,用于显示与是否已经适当地安装了照相机装置有关的确定结果的方法的流程图;和
图7是示出在按照本发明用于计数目标的系统中,用于确定图像传感器和深度传感器的安装角度是否适当的深度图案数据库的原理的图。
具体实施方式
现在将详细地介绍本发明的优选实施例,其例子在伴随的附图中举例说明。对于本领域技术人员来说也显而易见的是,不脱离本发明的精神或者范围可以在本发明中进行各种改进或者变化。因此,想要的是本发明覆盖落在所附权利要求及其等效物的范围内的本发明的改进和变化。
图1是按照本发明用于计数目标的系统示范示图。
如图1所示,按照本发明用于计数目标的系统包括安装在感兴趣区30上的照相机装置10、连接到照相机装置10的远程装置20等等。该照相机装置10被提供有用于获取有关感兴趣区30的图像信息的图像传感器12,和用于获取深度图的深度传感器14,该深度图指示有关包括在该图像信息中的目标的深度信息。用于计数目标的系统被配置去基于从照相机装置10获取的图像信息和深度图,计数在感兴趣区30中穿过基准线32的目标。
图2是在用于计数目标的系统中处理的图像信息的示范示图。
用于计数目标的系统可以通过附接在照相机装置上的图像传感器,获取在图2A中示出的感兴趣区的原始图像110。用于计数目标的系统使用安装在其中的目标检测引擎,从原始图像110中提取图2B的前景图像120,并且计数包括在该前景图像120中的目标,从而计数穿过该感兴趣区的目标。
但是,使用前景图像的这种常规方法不能精确地计数目标,除非其利用附加信息用于目标检测。例如,在前景图像中显示的多个目标相互接近的情形下,该多个目标可以被识别为单个目标(其称作“目标分组”)。参考图2A,用于计数目标的系统被配置去计数感兴趣人物目标。由用于计数目标的系统获取的原始图像110是通过在包括感兴趣目标112、114和116的感兴趣区中捕捉目标作为对象来实现的。用于计数目标的系统可以使用常规目标检测引擎从原始图像110中获取图2B的前景图像120。在前景图像120中,目标112和114相互不同,即使它们相互接近,目标112和114可以作为单个目标122显示。因此,如果系统仅仅基于前景图像120计数感兴趣目标,则可能出现误差。为了解决这种目标分组,可以通过大小信息,诸如目标的宽度来划分在前景图像中目标相互重叠的部分。但是,在这种情况下,可能在精确地计数目标方面仍然会出现误差,因为并非所有相互重叠的目标都是感兴趣目标。
仅仅使用前景图像计数目标的方法可能具有与前面提到的“目标分组”相反的另一个问题,即,“过分割(oversegmentation)”,其中在前景图像中的单个目标由于包括反光的各种原因而被识别为多个目标。仅仅使用前景图像计数目标的方法在检测感兴趣目标方面具有困难,因为在原始图像中具有与邻近目标类似颜色的目标无法被很好地识别,并且因为很难精确地检查目标的轮廓。此外,在从原始图像提取前景图像的过程中,原始图像的一部分,而不是感兴趣目标,诸如背景图像(例如,由于照明出现的阴影等等)可以被识别为感兴趣目标。
将参考图3至5解释按照本发明用于计数目标的方法。如稍后参考图3解释的,在按照本发明用于计数目标的方法中,穿过感兴趣区的感兴趣目标的数目是基于包括以下内容的信息计算的:从图像传感器获取的有关感兴趣区的原始图像、从深度传感器获取的深度图,和感兴趣目标的深度图案。当与前面提到的仅仅使用前景图像计数目标的方法相比较的时候,按照本发明计数目标的方法具有以下的优点。首先,通过深度信息除去背景图像。此外,可以降低由于邻近目标具有与感兴趣目标类似的颜色,和由于感兴趣目标的阴影而出现的误差。
图3是示出按照本发明在用于计数目标的系统中计数感兴趣目标的方法的流程图。
首先,用于计数目标的系统从照相机装置的图像传感器获取感兴趣区的原始图像,并且从照相机装置的深度传感器获取感兴趣区的深度图(S110)。该深度图是指示对象的每个部分距照相机装置的距离的数据(或者深度信息),由具有附接于其的深度传感器的照相机装置来捕捉该对象,诸如深度图中的目标。实现该深度图以便给从用于计数目标的原始信息中所提取的信息提供附加信息。最好是,该深度图和原始图像包括相同的感兴趣区。
接下来,用于计数目标的系统从原始图像中提取边缘信息(边界信息)(S120),并且使用提取的边缘信息补偿深度图(S130)。该边缘信息是有关原始图像中的目标的提取信息。随着该边缘信息被应用于从深度传感器获取的深度图,产生校正的深度图。
接下来,用于计数目标的系统从校正的深度图识别感兴趣目标的深度图案(S140)。感兴趣目标的深度图案是通过相对于感兴趣目标的目标模型化(objectmodeling)而获得的,稍后将参考图5解释它。用于计数目标的系统可以识别感兴趣目标的深度图案。例如,当通过将包括在校正的深度图中的目标的深度图案与感兴趣目标的深度图案相比较而获得的结果值大于规定阈值的时候,该系统确定捕捉的目标为感兴趣目标。
接下来,该系统计数识别的感兴趣目标(S150)。在计数识别的感兴趣目标时,该系统可以以简单方式计数识别的感兴趣目标。作为另一个方法,该系统可以通过使用按照时间流逝由照相机装置连续获取的深度图和原始图像重复地执行前面提到的步骤,经由跟踪识别的感兴趣目标的移动,来更加精确地计数识别的感兴趣目标。在经由跟踪计数感兴趣目标的方法中,通过使用感兴趣目标的类似颜色(其可以从连续获取的原始图像中提取),可以更加精确地计算感兴趣目标的数目。在经由跟踪计数感兴趣目标的方法中,通过使用卡尔曼滤波器(Kalmanfilter)预测从连续获取的原始图像和深度图中获得的下一位置,可以更加精确地计算感兴趣目标的数目。在按照本发明用于计数目标的系统中,通过使用跟踪方法,移动出感兴趣区30的基准线32之外的感兴趣目标,和朝着基准线32移动的感兴趣目标可以相互区别。
在下文中,将解释按照本发明用于计数目标的方法的改进例子。
在按照本发明计数目标的方法中,图3的各个步骤S110~S150可以由系统的照相机装置10执行。
在按照本发明的改进例子的计数目标的方法中,有关由系统的照相机装置10获取的原始图像和深度图的信息可以被发送给连接到照相机装置10的远程控制器20,并且图3的各个步骤S120~S150可以由远程控制器20执行。
在下文中,将参考图4解释由按照本发明用于计数目标的系统处理的信息。
图4是按照本发明在用于计数目标的系统中为计数感兴趣目标而处理的图像信息的示范示图。
参考图4A,用于计数目标的系统被配置去计数感兴趣人物目标。通过在包括感兴趣目标212、214和216的感兴趣区中捕捉目标作为对象,来实现由用于计数目标的系统获取的原始图像210。该原始图像210进一步包括具有区别颜色的背景区218,而不是感兴趣目标212、214和216。
参考图4B,用于计数目标的系统可以从原始图像210中提取边缘信息220。目标212和214相互不同,即使在图4A的原始图像210中它们相互接近,目标212和214可以作为单个目标显示在边缘信息220上。此外,该边缘信息220可以包括有关背景区218的边缘信息,该背景区218具有区别颜色并包括在原始图像210中。因此,指示感兴趣区的深度信息的深度图以及边缘信息220可以被如稍后解释地使用。
参考图4C,用于计数目标的系统可以从照相机装置的深度传感器获取深度图230。该深度图是指示对象的每个部分距照相机装置的距离的数据(或者深度信息),该对象,诸如在深度图中的目标,由具有附接于其的深度传感器的照相机装置捕捉。不能从原始图像210中获取的距离信息可以基于深度图中的深度信息获取。实现深度图以便给从用于计数目标的原始信息提取的信息提供附加信息。最好是,深度图和原始图像包括相同的感兴趣区。在图4C的深度图230中,为了立体感(cubiceffect),按照与感兴趣区中每个区有关的深度信息的大小以不同的颜色显示感兴趣目标。深度图中的深度信息可以与图4C不同地显示。
参考图4D,通过将边缘信息220应用于深度图230,用于计数目标的系统产生校正的深度图240。在基于校正的深度图240识别感兴趣目标的情况下,用于计数目标的系统可以减少仅仅基于原始图像210识别感兴趣目标的时候所出现的误差。例如,用于计数目标的系统可以不考虑颜色来识别感兴趣目标,并且可以除去误差,诸如由于照明出现的阴影。此外,用于计数目标的系统可以获得清楚的目标轮廓,并且可以无需额外的努力而直接识别目标以降低这样的误差。
图5是解释用于识别图3的感兴趣目标的深度图案的示图。参考图5,将解释按照本发明由用于计数目标的系统使用深度图案来识别感兴趣目标的方法。
图5A示意地示出在感兴趣目标410是人体的假设之下,提取感兴趣目标410的深度图案的方法。通常,按照本发明用于计数目标的系统的照相机装置被安装在感兴趣区上。因此,在相对于感兴趣目标执行目标模型化时,可以朝着感兴趣目标410的下侧基于与穿越感兴趣目标410的虚拟平面412a、414a和416a相对应的信息来提取深度图案。也就是说,如图5B所示,对应于虚拟平面412a、414a和416a的多个信息412b、414b和416b指示在各个平面上感兴趣目标的形状。因此,在多个信息412b、414b和416b相互累积的情形下,可以如图5C所示获得感兴趣目标的目标模型,即,深度图案420。
感兴趣目标的深度图案420具有可以与图4D的校正的深度图240中的各个目标的深度图案相比较的信息。在用于识别感兴趣目标的深度图案的图3的S140中,用于计数目标的系统将校正的深度图中的目标的深度图案与感兴趣目标的深度图案420比较。在S140中,包括感兴趣目标的要素,诸如高度和面积的候选区可以被用于深度图案的比较。确定包括在校正的深度图中的目标是否具有多于规定阈值的结果值,该结果值是通过比较校正的深度图中的目标的深度图案与深度图案420而获得的。如果结果值多于规定阈值,则用于计数目标的系统可以将校正的深度图中的目标识别为感兴趣目标。
参考图6和7,将解释确定按照本发明用于计数目标的系统的照相机装置是否已经适当地安装的方法。在这里,照相机装置的适当安装指示照相机装置的位置,该照相机装置被配置为获取用于计数目标的基本信息,被相对于感兴趣目标将穿过的感兴趣区以适当的角度和适当的高度安装。因此,确定照相机装置是否已经适当地安装指的是确定照相机装置的安装高度是否在容许范围之内,以及照相机装置的图像传感器和深度传感器的安装角度是否在误差的发生可以被最小化的容许范围之内。为此,按照本发明用于计数目标的系统基于深度图计算照相机装置的安装高度,并且基于稍后解释的深度图案数据库计算图像传感器和深度传感器的安装角度。
图6是示出在按照本发明用于计数目标的系统中,显示有关是否已经适当地安装了照相机装置的确定结果的方法的流程图。图7是示出在按照本发明用于计数目标的系统中,用于确定图像传感器和深度传感器的安装角度是否适当的深度图案数据库的原理的图。
参考图6,感兴趣区的原始图像是从用于计数目标的系统的照相机装置的图像传感器12获取的,并且相对于感兴趣区的深度图是从照相机装置的深度传感器14获取的(S210)。该原始图像可以包括至少一个感兴趣目标。用于计数目标的系统使用有关基准目标的深度图案数据库,该基准目标具有与感兴趣目标相同的类型。例如,在目标是人体的假设之下计算目标的情况下,用于计数目标的系统使用与人体相关的深度图案数据库。
接下来,用于计数目标的系统基于深度图中的获取的深度信息,计算照相机装置的安装高度(S220)。然后,用于计数目标的系统确定照相机装置的安装高度是否适当(S230)。由于深度图中的深度信息是距离信息,所以照相机装置的安装高度可以是深度图中的深度信息中的一个。
接下来,用于计数目标的系统基于深度图和深度图案数据库来计算图像传感器和深度传感器的安装角度(S240),并且用于计数目标的系统确定安装角度是否适当(S250)。
深度图案数据库用于计算安装角度,在其中存储不同角度的基准目标的深度图案。在基准目标是人体的情形下,相对于基准目标执行目标模型化,以便提取在图5中示出的基准目标的深度图案420。当以多种角度观看的时候,该基准目标的深度图案在不同的角度上具有不同的形状。因此,深度图案数据库可以展示与多种角度相关联的基准目标的深度图案。参考图7,按照本发明用于计数目标的系统包括有关基准目标的深度图案数据库430,从上侧观看并且按照多种角度径向地显示深度图案数据库430。因此,可以通过将感兴趣目标的深度图案与存储在深度图案数据库中的基准目标的深度图案相比较,然后通过选择与基准目标的深度图案类似的目标的深度图案所相对应的角度,来获取图像传感器和深度传感器的安装角度。
可以通过分别确定所计算的安装高度和安装角度是否在容许范围之内来执行有关安装高度和安装角度是否适当的确定。
接下来,用于计数目标的系统显示有关安装高度和安装角度是否适当的确定结果(S260)。有关安装高度和安装角度是否适当的确定结果可以显示在附接到照相机装置的显示器上,或者显示在连接到照相机装置的远程装置的显示器上。
用于显示有关安装高度和安装角度是否适当的确定结果的显示器可以被实现为至少一个灯。并且,基于有关安装高度和安装角度是否适当的确定结果,该照相机装置可以控制所述至少一个灯的开关状态、闪烁间隔、颜色或者照明度。在照相机装置控制开关状态的情形下,如果安装状态是好的,则至少一个灯可以被开启。在照相机装置控制闪烁间隔的情形下,如果安装状态是差的,则至少一个灯可以具有长的闪烁间隔,但是如果安装状态差不多是好的,则可以具有缩短的闪烁间隔。在这种情况下,如果安装状态是好的,则所述至少一个灯可以被持续地开启。
用于显示有关安装高度和安装角度是否适当的确定结果的显示器可以是具有额外的监视器的装置。
在下文中,将解释用于确定按照本发明用于计数目标的系统的照相机装置是否已经被适当地安装的方法的改进。
在显示器被包括在照相机装置中的假设之下通过由照相机装置10执行图6的前述步骤(S110~S150)来实现按照本发明一个优选实施例的用于确定系统的照相机装置是否已经被适当地安装的方法。
可以通过将与系统的照相机装置10所获取的原始图像和深度图有关的信息发送给连接到照相机装置10的远程控制器20,和通过由远程控制器20执行图3的各个步骤S120~S150,来实现按照本发明的修改实施例的用于确定系统的照相机装置是否已经适当地安装的方法。

Claims (7)

1.一种使用图像传感器和深度传感器计数目标的方法,该方法包括∶
由图像传感器获取图像,并且从深度传感器获取深度图,该深度图指示与该图像中的对象有关的深度信息;
获取该图像中的感兴趣目标的边缘信息;
通过将该边缘信息应用于该深度图来产生校正的深度图;
从校正的深度图中提取感兴趣目标的深度图案;
通过比较所述提取的深度图案和存储在数据库中的基准深度图案识别感兴趣的目标中的至少一个有效目标,和
计数识别的有效目标,
其中,提取感兴趣目标的深度图案的步骤包括:
选择感兴趣目标中的一个;以及
基于穿越所选择目标的虚拟平面上的投射信息提取深度图案,同时移向所述选择的目标的下侧。
2.根据权利要求1的方法,其中在识别至少一个有效目标的步骤中,将存储在所述数据库中的基准目标的基准深度图案与校正的深度图的深度图案相比较。
3.根据权利要求1的方法,进一步包括:
跟踪识别的有效目标的移动。
4.一种照相机装置,包括∶
图像传感器,配置为产生相对于感兴趣目标捕捉的图像;
深度传感器,配置为产生深度图,该深度图指示与该图像中的对象有关的深度信息;和
控制器,配置为获取该图像中的感兴趣目标的边缘信息,配置为通过将该边缘信息应用于该深度图来产生校正的深度图,配置为从校正的深度图中提取感兴趣目标的深度图案,配置为通过比较所述提取的深度图案和存储在数据库中的基准深度图案识别感兴趣的目标中的至少一个有效目标,和配置为计数识别的有效目标,
其中,所述控制器进一步配置为:
选择感兴趣目标中的一个;以及
基于穿越所选择目标的虚拟平面上的投射信息提取深度图案,同时移向所述选择的目标的下侧。
5.根据权利要求4的照相机装置,进一步包括:
存储器,配置为在其中存储深度图案数据库,该深度图案数据库用于存储不同角度的基准目标的深度图案,
其中该控制器使用不同角度的基准目标的深度图案,从校正的深度图中识别感兴趣目标的深度图案。
6.一种用于计数目标的装置,包括∶
收发信机,配置为接收相对于感兴趣目标捕捉的图像以及深度图,该深度图指示与该图像中的对象有关的深度信息;和
控制器,配置为获取图像中的感兴趣目标的边缘信息,配置为通过将该边缘信息应用于该深度图来产生校正的深度图,配置为从校正的深度图中提取感兴趣目标的深度图案,配置为通过比较所述提取的深度图案和存储在数据库中的基准深度图案识别感兴趣的目标中的至少一个有效目标,和配置为计数识别的有效目标,
其中,所述控制器进一步配置为:
选择感兴趣目标中的一个;以及
基于穿越所选择目标的虚拟平面上的投射信息提取深度图案,同时移向所述选择的目标的下侧。
7.根据权利要求6的装置,进一步包括:
存储器,配置为在存储器中存储数据库,该数据库用于存储不同角度的基准目标的基准深度图案,
其中该控制器使用不同角度的基准目标的基准深度图案,从校正的深度图中识别感兴趣目标中的所述有效目标。
CN201080068622.8A 2010-08-17 2010-08-17 用于计数目标的方法和使用多个传感器的装置 Expired - Fee Related CN103069796B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2010/005430 WO2012023639A1 (ko) 2010-08-17 2010-08-17 다수의 센서를 이용하는 객체 계수 방법 및 장치

Publications (2)

Publication Number Publication Date
CN103069796A CN103069796A (zh) 2013-04-24
CN103069796B true CN103069796B (zh) 2016-05-11

Family

ID=45605289

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080068622.8A Expired - Fee Related CN103069796B (zh) 2010-08-17 2010-08-17 用于计数目标的方法和使用多个传感器的装置

Country Status (4)

Country Link
US (1) US9087258B2 (zh)
EP (1) EP2608536B1 (zh)
CN (1) CN103069796B (zh)
WO (1) WO2012023639A1 (zh)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8983121B2 (en) * 2010-10-27 2015-03-17 Samsung Techwin Co., Ltd. Image processing apparatus and method thereof
CN103324977B (zh) * 2012-03-21 2016-03-30 日电(中国)有限公司 一种目标数量检测方法和设备
TWI448990B (zh) * 2012-09-07 2014-08-11 Univ Nat Chiao Tung 以分層掃描法實現即時人數計數
GB201217721D0 (en) * 2012-10-03 2012-11-14 Holition Ltd Video image processing
US10009579B2 (en) * 2012-11-21 2018-06-26 Pelco, Inc. Method and system for counting people using depth sensor
JP2014106732A (ja) * 2012-11-27 2014-06-09 Sony Computer Entertainment Inc 情報処理装置および情報処理方法
US9860510B2 (en) * 2013-03-15 2018-01-02 Intuitive Surgical Operations, Inc. Depth based modification of captured images
US9563955B1 (en) * 2013-05-15 2017-02-07 Amazon Technologies, Inc. Object tracking techniques
US9560103B2 (en) * 2013-06-26 2017-01-31 Echostar Technologies L.L.C. Custom video content
WO2015086855A1 (en) * 2013-12-14 2015-06-18 Viacam Sarl Camera-based tracking system for the determination of physical, physiological and/or biometric data and/or for risk assessment
FR3015730B1 (fr) * 2013-12-20 2017-07-21 Thales Sa Procede de detection de personnes et ou d'objets dans un espace
FR3015731B1 (fr) * 2013-12-20 2016-02-05 Thales Sa Procede d'estimation du nombre de personnes et ou d'obets dans un espace
FR3015732B1 (fr) * 2013-12-20 2016-02-05 Thales Sa Procede de detection de personnes et ou d'objets dans un espace
RU2014110361A (ru) * 2014-03-18 2015-09-27 ЭлЭсАй Корпорейшн Процессор изображений, сконфигурированный для эффективной оценки и устранения информации переднего плана на изображениях
TWI537842B (zh) * 2014-09-30 2016-06-11 廣達電腦股份有限公司 人流計數系統
KR20160118783A (ko) * 2015-04-03 2016-10-12 한화테크윈 주식회사 사람 계수 방법 및 장치
US10066933B2 (en) * 2015-05-04 2018-09-04 Facebook, Inc. Camera depth mapping using structured light patterns
US10785393B2 (en) 2015-05-22 2020-09-22 Facebook, Inc. Methods and devices for selective flash illumination
WO2017123920A1 (en) * 2016-01-14 2017-07-20 RetailNext, Inc. Detecting, tracking and counting objects in videos
US10204444B2 (en) * 2016-04-28 2019-02-12 Verizon Patent And Licensing Inc. Methods and systems for creating and manipulating an individually-manipulable volumetric model of an object
EP3261071B1 (en) 2016-06-22 2020-04-01 Outsight Methods and systems for detecting intrusions in a monitored volume
US10630959B2 (en) * 2016-07-12 2020-04-21 Datalogic Usa, Inc. System and method for object counting and tracking
US10582095B2 (en) * 2016-10-14 2020-03-03 MP High Tech Solutions Pty Ltd Imaging apparatuses and enclosures
US10628960B2 (en) * 2016-11-24 2020-04-21 Ricoh Company, Ltd. Information processing apparatus, imaging apparatus, device control system, moving object, information processing method, and recording medium
JP6814053B2 (ja) * 2017-01-19 2021-01-13 株式会社日立エルジーデータストレージ 物体位置検出装置
CN107067468B (zh) * 2017-03-30 2020-05-26 联想(北京)有限公司 一种信息处理方法及电子设备
CN110651310B (zh) 2017-04-05 2023-09-08 卡内基梅隆大学 估计对象密度和/或流量的深度学习方法及相关方法和软件
IT201700064312A1 (it) * 2017-06-09 2018-12-09 Mectho S R L Dispositivo e procedimento di rilevazione
IT201700064301A1 (it) * 2017-06-09 2018-12-09 Mectho S R L Dispositivo e procedimento di rilevazione
IT201700064268A1 (it) * 2017-06-09 2018-12-09 Mectho S R L Dispositivo e procedimento di rilevazione
CA3033030A1 (en) * 2018-02-08 2019-08-08 Flaschebottle Technologies Inc. Estimating a number of containers by digital image analysis
US11128854B2 (en) * 2018-03-13 2021-09-21 Magic Leap, Inc. Image-enhanced depth sensing via depth sensor control
CN109344690B (zh) * 2018-08-09 2022-09-23 上海青识智能科技有限公司 一种基于深度相机的人数统计方法
US10896516B1 (en) * 2018-10-02 2021-01-19 Facebook Technologies, Llc Low-power depth sensing using dynamic illumination
US11048948B2 (en) * 2019-06-10 2021-06-29 City University Of Hong Kong System and method for counting objects
EP3798969A1 (de) * 2019-09-27 2021-03-31 Stemmer Imaging AG Verfahren zur verarbeitung von tiefenbildern, bildverarbeitungsvorrichtung und tiefenkamera
CN117593297B (zh) * 2024-01-18 2024-04-19 福州市展凌智能科技有限公司 一种基于图像处理的治具识别计数系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1647097A (zh) * 2002-07-30 2005-07-27 三菱电机株式会社 对场景中的物体进行分类的系统及其方法
US6940538B2 (en) * 2001-08-29 2005-09-06 Sony Corporation Extracting a depth map from known camera and model tracking data
CN1950722A (zh) * 2004-07-30 2007-04-18 松下电工株式会社 个体检测器和共入检测设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100499830C (zh) * 2001-08-15 2009-06-10 皇家飞利浦电子股份有限公司 3d视频会议站和3d视频会议方法
JP3704706B2 (ja) * 2002-03-13 2005-10-12 オムロン株式会社 三次元監視装置
KR100808543B1 (ko) * 2006-09-15 2008-02-29 한국과학기술연구원 스테레오 비전 센서를 이용한 사람 동작 정보의 획득 장치및 방법
US7965866B2 (en) * 2007-07-03 2011-06-21 Shoppertrak Rct Corporation System and process for detecting, tracking and counting human objects of interest
KR100881230B1 (ko) 2008-08-27 2009-02-09 주식회사 상상돔 스테레오 영상을 이용한 고 정밀 위폐 감별 시스템
US8594425B2 (en) * 2010-05-31 2013-11-26 Primesense Ltd. Analysis of three-dimensional scenes
US9489040B2 (en) * 2010-07-19 2016-11-08 Smart Technologies Ulc Interactive input system having a 3D input space

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6940538B2 (en) * 2001-08-29 2005-09-06 Sony Corporation Extracting a depth map from known camera and model tracking data
CN1647097A (zh) * 2002-07-30 2005-07-27 三菱电机株式会社 对场景中的物体进行分类的系统及其方法
CN1950722A (zh) * 2004-07-30 2007-04-18 松下电工株式会社 个体检测器和共入检测设备

Also Published As

Publication number Publication date
EP2608536A1 (en) 2013-06-26
EP2608536A4 (en) 2015-07-29
US9087258B2 (en) 2015-07-21
US20130136307A1 (en) 2013-05-30
CN103069796A (zh) 2013-04-24
WO2012023639A1 (ko) 2012-02-23
EP2608536B1 (en) 2017-05-03

Similar Documents

Publication Publication Date Title
CN103069796B (zh) 用于计数目标的方法和使用多个传感器的装置
JP6673508B2 (ja) 物体追跡装置、物体追跡システム、物体追跡方法、表示制御装置、物体検出装置、プログラムおよび記録媒体
CN107238834B (zh) 用于自动车辆的使用雷达/视觉融合的目标跟踪系统
EP2426642B1 (en) Method, device and system for motion detection
US9047518B2 (en) Method for the detection and tracking of lane markings
US9251598B2 (en) Vision-based multi-camera factory monitoring with dynamic integrity scoring
US20170248971A1 (en) Method for detecting target object, detection apparatus and robot
US20180067490A1 (en) Pre-tracking sensor event detection and fusion
US9489565B2 (en) Image processing apparatus, image processing method, program, and image processing system
EP3518146B1 (en) Image processing apparatus and image processing method
CN102806913B (zh) 一种车道线偏离检测方法及装置
US20150294496A1 (en) Probabilistic person-tracking using multi-view fusion
CN105608417B (zh) 交通信号灯检测方法及装置
CN105512720A (zh) 一种公交车辆客流统计方法和系统
CN107240124A (zh) 基于时空约束的跨镜头多目标跟踪方法及装置
CN112115913B (zh) 图像处理方法、装置及设备、存储介质
CN106778737A (zh) 一种车牌矫正方法、装置和一种视频采集装置
CN113129339B (zh) 一种目标跟踪方法、装置、电子设备及存储介质
CN111209781B (zh) 一种统计室内人数的方法及装置
CN107341538A (zh) 一种基于视觉的统计数量方法
CN103186773B (zh) 一种基于一维Hough变换和专家系统的早期苗田垄线识别算法
CN104574954A (zh) 一种基于自由流系统的车辆稽查方法、控制设备及系统
CN112150448A (zh) 图像处理方法、装置及设备、存储介质
CN106296708B (zh) 车辆追踪方法和装置
CN105320930A (zh) 对象物识别装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160511