CN111414149B - 背景模型更新的方法与相关装置 - Google Patents

Abstract

一种背景模型更新的方法与相关装置，所述方法用于一影像处理装置，该方法包含：接收至少一背景影像；根据该至少一背景影像中的各个像素的一色彩信息，统计该各个像素的该色彩信息的出现次数，以建立包含该色彩信息与出现次数的一统计信息的一背景模型；接收一当前影像；根据该当前影像的各个像素的一色彩信息，以及一随机数与一阈值的比较结果，决定是否更新该背景模型中对应该当前影像中的该各个像素的该色彩信息的出现次数。

Description

背景模型更新的方法与相关装置

技术领域

本发明涉及一种背景模型更新的方法，特别涉及一种通过随机数产生器来更新背景模型，以减少背景模型所需存储空间的方法。

背景技术

现今影像监控消费性电子产品中，如监控系统、手机、网络摄影机，大多都提供有动作检测(motion detection)功能。简单来说，动作检测的流程包含有：以装置的视频接口提供的影像串流(image stream)作为输入，根据影像的特性与一段时间(连续时间序列)的训练后，建立背景模型(background model)，再通过背景模型与当前影像的每一个像素进行比对，来达到移动物体的检测，且通常输出为二元影像，白色代表正在移动的物体，黑色则为背景(非移动物体)。

然而，传统的背景模型建立方法，如通过高斯混合模型(Gaussian Mixed Model，GMM)或密码本(codebook)来建立背景模型，虽然可以检测到精确的动作影像及滤除周期性移动的物体，避免误判及鬼影现象的发生，但实践在硬件架构上则成本过高。举例来说，高斯混合模型方法中建立模型的浮点数运算量过高且输出效果控制不易，而在密码本的方法中，尽管浮点数运算量小，但需要记录大量的背景数据。值得注意的是，当记录的背景时间越长，虽然可以将移动周期较长的物体记录于背景模型之中，但相对的也需要更大量的暂存空间，导致建立有效的背景模型需要耗费大量的暂存器空间来进行统计，才能达到高精确度，且大量的浮点运算也造成运算的复杂度。

发明内容

因此，本发明的主要目的即在于提供一种背景模型更新的方法，以解决上述问题。

本发明公开一种背景模型更新的方法，用于一影像处理装置，该方法包含：接收至少一背景影像；根据该至少一背景影像中的各个像素的一色彩信息，统计该各个像素的该色彩信息的出现次数，以建立包含该色彩信息与出现次数的一统计信息的一背景模型；接收一当前影像；根据该当前影像的各个像素的一色彩信息，以及一随机数与一阈值的比较结果，决定是否更新该背景模型中对应该当前影像中的该各个像素的该色彩信息的出现次数。

本发明还公开一种影像处理装置，包含有：一处理单元，用来执行一程序码；一存储单元，耦接于该处理单元，用来存储该程序码，其中该程序码指示该处理单元执行以下步骤：接收至少一背景影像；根据该至少一背景影像中的各个像素的一色彩信息，统计该各个像素的该色彩信息的出现次数，以建立包含该色彩信息与出现次数的一统计信息的一背景模型；接收一当前影像；以及根据该当前影像的各个像素的一色彩信息，以及一随机数与一阈值的比较结果，决定是否更新该背景模型中对应该当前影像中的该各个像素的该色彩信息的出现次数。

本发明还公开一种影像处理装置，包含有：一处理单元，用来执行以下步骤：接收至少一背景影像；根据该至少一背景影像中的各个像素的一色彩信息，统计该各个像素的该色彩信息的出现次数，以建立包含该色彩信息与出现次数的一统计信息的一背景模型；接收一当前影像；以及根据该当前影像的各个像素的该色彩信息，以及一随机数与一阈值的比较结果，决定是否更新该背景模型中对应该当前影像中的该各个像素的该色彩信息的出现次数；以及一存储单元，耦接于该处理单元，用来存储该背景影像、该当前影像、该色彩信息及该统计信息。

附图说明

图1为本发明实施例一影像处理装置的示意图。

图2为本发明实施例一影像处理的流程图。

图3为本发明实施例一背景模型更新的流程图。

图4a～图5c为本发明实施例一影像检测结果的示意图。

符号说明

10 影像处理装置

100 处理单元

102 存储单元

104 通信接口单元

30 流程

300～306 步骤

具体实施方式

本发明的目的在于降低运算复杂度的同时减少背景模型所需的存储空间，以低成本的方式于硬件架构上实现背景模型的建立及更新。

请参见图1，其为本发明实施例一影像处理装置10的示意图。影像处理装置10可为个人电脑、笔记本电脑的摄影机，或监控系统、手机、网络摄影机等，其包含一处理单元100、一存储单元102及一通信接口单元104。处理单元100可为一微处理器或一特定应用集成电路(application-specific integrated circuit，ASIC)。存储单元102可为任一数据存储装置，用来存储一程序码、影像及色彩信息，并通过处理单元100读取及执行程序码。举例来说，存储单元102可为用户识别模块(subscriber identity module，SIM)、只读式存储器(read-only memory，ROM)、快闪存储器(flash memory)、随机存取存储器(random-accessmemory，RAM)、光盘只读存储器(CD-ROM/DVD-ROM)、磁带(magnetic tap)、硬盘(hard disk)及光学数据存储装置(optical data storage device)等，但不限于此。通信接口单元104可为一无线或有线收发器，其根据处理单元100的处理结果，与其他影像装置交换影像数据。

请参考图2，其为本发明实施例一影像处理流程图。首先，影像处理装置10针对在连续时间序列(如子帧(frame))内接收到的影像，建立背景模型(此段时间内用于建立背景模型的影像，在本文中称为背景影像)，用来记录背景影像中每个像素的像素信息(如色彩信息)。影像处理装置10接收当前影像的像素信息(如色彩信息)，接着根据背景模型中记录的色彩信息，匹配出最接近的色彩区间(在本文中称为背景模型建立程序)，再通过此色彩区间来进行影像中移动物体的估测(在本文中称为动作检测程序)，最后根据随机数来进行背景模型的更新。关于背景模型建立程序、动作检测程序及背景模型更新程序，详细说明如下。背景模型用来记录影像中各个像素经常出现的色彩信息，故暂存器需存储每个像素在一段时间内，色彩出现次数的统计信息。但在传统方法下，单一像素的色彩出现次数的统计信息(

其中size为大小，pixel为像素)所需的空间过大(色彩每出现一次便会记录下来)，如下述公式1.1，其中c为色彩空间的通道数量、r为单一通道对应的值域，v则为存储出现次数所需的空间。在传统方法中若要在硬件上建立背景模型，r的值域范围必须经过定点化，通常以0至255为常见的值域，而v的值域越大时，可记录到的背景时序(如子帧(frame))越长，拥有更完整的像素信息进行背景的判断。换句话说，当单一通道对应的值域r与存储出现次数所需的空间v愈大时，导致存储空间大幅增加，因而不利于硬件上的实现。

因此，本发明提出一个基于直方图(histogram)来存储色彩出现次数的统计信息的方式，也就是将色彩空间向量化，因此每一像素所需的存储空间即可减少为

如下述公式1.2，其中q为量化步长，q的步长越大，色彩的代表数量越少，因此存储空间便相对减少。举例来说，单一通道的值域为0至255，假设q＝16，则每个色彩向量区间包含16个(256/16＝16)值域，也就是说，0至255的值域会以16个代表色来表示，如第1个代表色范围为0～15、第2个代表色范围为16-31，以此类推。简单来说，对于直方图的背景模型信息而言，每一色彩向量即对应直方图的一个色彩向量区间bin，出现次数则对应色彩向量区间bin的值，如下述公式1.3，其中

代表影像位置(i,j)的像素在通道c的色彩信息，qc代表在通道c的量化步长，

代表出现次数。

由于Y通道影像具备对人眼而言较为明显的特征(亮暗信息)，本文所述像素的色彩信息，仅以YUV色彩空间的Y通道色彩统计信息为例，套用基于直方图的背景模型建立方法于动作检测程序中。但色彩空间的形态如YUV、RGB、HSV等色彩通道的数量以及向量化的方式，本发明并不限于此。

由上述可知，通过引入色彩空间向量化(quantization)的概念以后，可有效压缩色彩范围并节省存储成本。在动作检测程序中，每当有新的影像进入时，我们会根据先前建立的背景模型，针对各个像素的色彩信息找出对应最接近的两个色彩向量区间idx1、idx2，如下述公式1.4，通过取出最接近的两个色彩向量区间来提高模型对色彩向量化误差的容忍度。举例来说，q＝32，当像素的值域I(i,j)＝31时，虽属于第0个代表色(色彩范围为0～31)，但却比较接近第1个代表色(色彩范围为32～63)，亦即，idx1＝0，idx2＝1。而当像素的值域I(i,j)＝65时，虽属于第2个代表色(色彩范围为64～95)，但却比较接近第1个代表色(色彩范围为32～63)，即idx1＝2，idx2＝1。因此，取出最接近的两个色彩向量区间idx1、idx2可有效提高色彩向量化误差的容忍度。

idx2＝idx1+1或idx1-1 (1.4)

接着获取idx1与idx2所对应背景模型中，该最接近的两个色彩向量区间的出现次数

借此进行动作检测的判断。判断的机制由下述公式(2.1)来得到：

其中T为背景阈值。若像素的色彩向量出现次数过于频繁(背景模型信息大于背景阈值)，即判断为背景，反之则为移动像素。

根据本发明实施例的背景模型建立程序，当前影像的影像检测结果可参见图4a～图5c。图4a～图5c中最左边皆为原始影像，中间为q＝32的检测结果，右边则为q＝16的检测结果，可以发现压缩的范围大小会影响检测的灵敏度，压缩范围越小(即代表色较多)，检测的灵敏度越高，如检测结果附图4c及图5c相较于检测结果附图4b及图5b具有较多的细节。反之，当压缩范围越大(即代表色较少)，则检测的灵敏度降低，但能节省的暂存空间愈多。在本发明实施例中，因为硬件所给的配置大小不同会有相应不同的条件，因此需要根据所拥有空间及所需的背景模型灵敏度去设计。

进一步地，本发明的其中一个目的便是减少存储空间的同时确保背景模型信息的有效性。请参考图3，其为本发明实施例一背景模型更新程序30的流程图。背景模型更新程序30可被编译成程序码，存储于存储单元102中，其包含以下步骤：

步骤300：接收至少一背景影像。

步骤302：根据该至少一背景影像中的各个像素的一色彩信息，建立一背景模型，其中该背景模型包含有该各个像素的该色彩信息的出现次数的统计信息。

步骤304：接收一当前影像。

步骤306：根据该当前影像的各个像素的一色彩信息，以及一随机数与一阈值的比较结果，决定是否更新该背景模型中对应该当前影像中的该各个像素的该色彩信息的出现次数。

根据背景模型更新程序30，在建立背景模型之后(如上述的色彩空间向量化的直方图)，影像处理装置10需通过增加当前影像像素的色彩向量出现的区间与减少色彩向量未出现的区间的统计值，来学习与淘汰新与旧的背景信息，一般的背景模型更新如下述公式(3.1)：

其中v_l、v_f都是正的浮点数，分别用来调整学习与遗忘背景的速率。简单来说，若当前影像像素的色彩向量区间属于最接近的两个色彩向量区间idx1、idx2时，则将此像素的色彩向量区间所对应的出现次数增加，反之，若当前影像像素的色彩向量区间不属于最接近的两个色彩向量区间idx1、idx2时，则将此像素的色彩向量区间所对应的出现次数减少，进而实现背景模型的信息更新。

本文提出另一个通过随机数来学习与遗忘背景的方法，可以有效降低存储空间的大小并保留背景模型的高精度效果。为了减少存储背景模型所需的位元数从m位元降至k位元，其中m、k为正整数，且0＜k＜m。通过硬件运算如下述公式(3.2)、(3.3)：

动作检测结果＝背景,如果

或

其中，rand、seed、learn_thd与forget_thd分别为随机数产生器、随机数种子、学习阈值与遗忘阈值，而seed＞0、learn_thd≥0、forget_thd≥0。此外，前述步骤306的阈值包含学习阈值与遗忘阈值。另外，rand(seed)为0≤rand(seed)＜2^r并均匀分布的随机数整数，其中随机数、学习阈值及遗忘阈值为大于或等于零的整数，r为存储随机数的位元数(r越大，随机数的范围可以越广)。根据公式(3.2)、(3.3)，若当前影像像素的色彩向量区间属于最接近的两个色彩向量区间idx1、idx2，且学习阈值learn_thd大于随机数rand(seed)，将此像素的色彩向量区间所对应的出现次数增加1，反之，若当前影像像素的色彩向量区间不属于最接近的两个色彩向量区间idx1、idx2，且遗忘阈值forget_thd大于随机数rand(seed)时，则将此像素的色彩向量区间所对应的出现次数减少1，进而实现背景模型的信息更新。值得注意的是，通过新增随机数、学习阈值learn_thd及遗忘阈值forget_thd之间的比较结果，来决定是否更新当前影像像素的色彩向量区间所对应的出现次数，即表示当前影像像素的色彩向量区间所对应的出现次数不会在每次都被更新。但由上述可知，欲使背景模型拥有更高的精度，影像张数N需要是一个极大数值，意即需要长时间的影像数据来像建立精确的背景模型，因此基于随机数的特性，当记录影像数据的时间愈长时，其所统计的数据结果相较于每次都更新的误差几率愈小，意即愈接近真实的背景模型。

另一方面，当学习阈值learn_thd及遗忘阈值forget_thd的值愈大，由于随机数(rand(seed))小于学习阈值learn_thd或随机数(rand(seed))小于遗忘阈值forget_thd的条件愈容易成立，因此对应色彩向量区间的票数的增加/减少的机率也相对增加，因此所需的存储空间较多。反之，当学习阈值learn_thd及遗忘阈值forget_thd的值愈小，票数的增加/减少的机率降低，因此所需的存储空间较少，但以长时间来看，通过随机数产生器或随机数来更新背景模型中的色彩向量区间的出现次数的方式，能趋近真实影像的统计情况。

在一实施例中，以线性反馈移位暂存器(Linear feedback shift register)作为随机数产生器，该随机数产生器在硬件架构上因为只用位元运算(bit-wise operation)和移位运算(shift operation)，成本相对很低，且相较于线性同余方(linear congruentialgenerator)，在循环周期长的时候可避免大数乘法，但不同运算方法的随机数产生器，不应限制本发明的保护范围。

上述所有步骤，包含所建议的步骤，可通过硬件、固件(即硬件装置与电脑指令的组合，硬件装置中的数据为只读软件数据)或电子系统等方式实现。硬件可包含模拟、数字及混合电路(即微电路、微芯片或硅芯片)。电子系统可包含系统单芯片(system on chip，SOC)、系统封装(system in package，Sip)及电脑模块(computer on module，COM)。举例来说，背景模型更新程序30由一硬件电路(如影像处理模块)来实现，即处理单元100本身为根据上述步骤及公式运算所设计的电路，并将执行结果(如影像、色彩信息/色彩统计信息)存储于存储单元102。

综上所述，本发明提供背景模型更新的方法，用来降低影像数据所需存储空间并维持高精确度效果。详细来说，本公开的背景模型建立是基于色彩空间向量化的直方图，以及背景模型更新是根据随机数方式来决定是否更新色彩向量区间对应的次数信息，因此能减少更新次数，进而减少存储空间。

以上所述仅为本发明的优选实施例，凡依本发明权利要求所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (10)

1.一种背景模型更新的方法，用于一影像处理装置，该方法包含：

接收至少一背景影像；

根据该至少一背景影像中的各个像素的一色彩信息，统计所述各个像素的该色彩信息的出现次数，以建立包含该色彩信息与出现次数的一统计信息的一背景模型；

接收一当前影像；

根据该当前影像的各个像素的该色彩信息，以及一随机数与一阈值的比较结果，决定是否更新该背景模型中对应该当前影像中的所述各个像素的该色彩信息的出现次数。

2.如权利要求1所述的方法，其中该背景模型包含有所述各个像素的该色彩信息在多个色彩向量区间中的出现次数。

3.如权利要求2所述的方法，还包含有：

对该当前影像进行一动作检测程序，其中该动作检测程序用来判断该当前影像中的各个像素为一背景像素或一移动像素，以检测是否有物体移动，该动作检测程序的步骤包含有：

根据该当前影像中的一像素的该色彩信息，获取出最接近该色彩信息的两个色彩向量区间；以及

当该像素的该两个色彩向量区间对应该背景模型中该两个色彩向量区间的出现次数的其中之一，大于一背景阈值时，判断该像素为该背景像素，否则判断该像素为该移动像素。

4.如权利要求3所述的方法，其中该阈值包含一学习阈值及一遗忘阈值，且根据该当前影像的各个像素的该色彩信息，以及该随机数与该阈值的比较结果，决定是否更新该背景模型中对应该当前影像中的所述各个像素的该色彩信息的出现次数的步骤包含有：

判断该当前影像的该像素的该色彩信息所对应的一色彩向量区间是否为该两个色彩向量区间的其中之一；

当该当前影像中的该像素的该色彩信息所对应的该色彩向量区间为该两个色彩向量区间的其中之一，且该随机数小于该学习阈值时，增加该背景模型中对应该当前影像中的该像素的该色彩向量区间的出现次数；以及

当该当前影像中的该像素的该色彩信息所对应的该色彩向量区间不为该两个色彩向量区间的其中之一，以及该随机数小于该遗忘阈值时，减少该背景模型中对应该当前影像中的该像素的该色彩向量区间的出现次数。

5.一种影像处理装置，包含有：

一处理单元，用来执行以下步骤：

接收至少一背景影像；

根据该至少一背景影像中的各个像素的一色彩信息，统计所述各个像素的该色彩信息的出现次数，以建立包含该色彩信息与出现次数的一统计信息的一背景模型；

接收一当前影像；及

根据该当前影像的各个像素的该色彩信息，以及一随机数与一阈值的比较结果，决定是否更新该背景模型中对应该当前影像中的所述各个像素的该色彩信息的出现次数；以及

一存储单元，耦接于该处理单元，用来存储该背景影像、该当前影像、该色彩信息及该统计信息。

6.如权利要求5所述的影像处理装置，其中该背景模型包含有所述各个像素的该色彩信息在多个色彩向量区间中的出现次数。

7.如权利要求6所述的影像处理装置，其中该处理单元还执行以下步骤：

对该当前影像进行一动作检测程序，其中该动作检测程序用来判断该当前影像中的各个像素为一背景像素或一移动像素，以检测是否有物体移动，该动作检测程序的步骤包含有：

根据该当前影像中的一像素的该色彩信息，获取出最接近该色彩信息的两个色彩向量区间；以及

当该像素的该两个色彩向量区间对应该背景模型中该两个色彩向量区间的出现次数的其中之一，大于一背景阈值时，判断该像素为该背景像素，否则判断该像素为该移动像素。

8.如权利要求7所述的影像处理装置，其中该阈值包含一学习阈值及一遗忘阈值，该处理单元还执行以下步骤：

判断该当前影像的该像素的该色彩信息所对应的一色彩向量区间是否为该两个色彩向量区间的其中之一；

当该当前影像中的该像素的该色彩信息所对应的该色彩向量区间为该两个色彩向量区间的其中之一，且该随机数小于该学习阈值时，增加该背景模型中对应该当前影像中的该像素的该色彩向量区间的出现次数；以及

当该当前影像中的该像素的该色彩信息所对应的该色彩向量区间不为该两个色彩向量区间的其中之一，以及该随机数小于该遗忘阈值时，减少该背景模型中对应该当前影像中的该像素的该色彩向量区间的出现次数。

9.如权利要求5所述的影像处理装置，其中该随机数由一随机数产生器产生，以及该随机数产生器包含有一线性反馈移位暂存器。

10.一种影像处理装置，包含有：

一处理单元，用来执行一程序码；

一存储单元，耦接于该处理单元，用来存储该程序码，其中该程序码指示该处理单元执行以下步骤：

接收至少一背景影像；

根据该至少一背景影像中的各个像素的一色彩信息，统计所述各个像素的该色彩信息的出现次数，以建立包含该色彩信息与出现次数的一统计信息的一背景模型；

接收一当前影像；以及

根据该当前影像的各个像素的该色彩信息，以及一随机数与一阈值的比较结果，决定是否更新该背景模型中对应该当前影像中的所述各个像素的该色彩信息的出现次数。

Images