CN103475882B - 监控视频的编码、识别方法和监控视频的编码、识别系统 - Google Patents

Abstract

本发明实施例提供了一种监控视频编码以及识别方法和装置，提高监控视频编码压缩的效率和识别的准确性。其中，本发明实施例提供的监控视频编码包括：建立背景库以及前景对象库；所述背景库中包含有背景图像集合；所述前景对象库中包含前景对象集合；利用背景库和前景对象库中的背景图像和前景对象对视频流进行编码。

Description

监控视频的编码、识别方法和监控视频的编码、识别系统

技术领域

本发明涉及视频监控领域，特别涉及一种监控视频编码、识别方法和监控系统。

背景技术

随着计算机视频监控技术的发展，视频监控系统已被广泛应用于楼宇、建筑及交通安全等领域的安全防范系统中，并可根据实际的安防需要进行大面积、大规模部署，在安全防范系统中起到了至关重要的作用。

现有的视频监控系统，主要由监控视频采集端及监测端两个部分组成。其中，视频图像采集端通过云台等现场视频监控设备，对待监控区域的图像进行实时采集，并将采集后的监控视频，在进行视频压缩后，发送至视频图像监测端。视频图像监测端在对接收到的压缩监控视频文件，进行解压缩后，通过监控视频画面，对待监控区域实行监测。

由此可知，监测端在识别时需要先解码再识别，此过程浪费时间。而且解码后的监控视频已丧失了高频信息并有所失真，因此，也无法作为后续处理的图像使用。

另外，传统的现有监控视频系统的分析识别，是以视频片段为对象(为了通用性，并不假定视频所在场景已知)，相当于让机器在一个并不熟悉环境中当场指认视频中包含的对象及其相互关系，难度可想而知。

同时，现有的监控系统，仍依赖人工进行多路视频进行监控及事发后的人工搜检等操作。而全天候监控视频系统，其本身占用的存储空间非常庞大，因此实时现场人工监视工作量巨大，将耗费大量人力，而且监视人员易疲劳、工作效率很低、漏检风险大。

发明内容

本发明实施例提供了一种监控视频编码、识别方法和装置，能够提高监控视频的压缩效率并提高识别的效率和准确率。

本发明实施例提供了一种监控视频流的编码方法，包括：

建立背景库以及前景对象库；所述背景库中包含有背景图像集合；所述前景对象库中包含前景对象集合；利用背景库和前景对象库中的背景图像和前景对象对视频流进行编码；其中，所述利用背景库的背景图像和/或前景对象库中的前景对象对视频流进行编码包括：获取背景图像在背景库中的编号，将该背景图像的编码编入当前的视频流；和/或获取前景对象在前景对象库中的编号，将该前景对象的编码编入当前的视频流。

本发明实施例提供了一种监控视频识别方法，用于解码接收到的编码码流，所述编码码流包括：根据本发明任一监控视频编码方法所获得的编码码流；所述方法包括：对背景库和前景对象库进行解码，或对视频编码码流所引用的背景图像和前景对象进行解码；根据解码出来的视频编码码流所引用的背景图像和前景对象，对接收到的视频编码码流进行解码。

本发明实施例还提供了一种监控视频流的编码系统，包括：

库建立模块，用于为建立背景库以及前景对象库；所述背景库中包含有背景图像集合；所述前景对象库中包含前景对象集合；

编码模块，用于为利用背景库和前景对象库中的背景图像和前景对象对视频流进行编码；其中，所述利用背景库的背景图像和/或前景对象库中的前景对象对视频流进行编码包括：获取背景图像在背景库中的编号，将该背景图像的编码编入当前的视频流；和/或获取前景对象在前景对象库中的编号，将该前景对象的编码编入当前的视频流。

由此，本发明通过建立前景对象库、背景库，在对监控图像进行采集编码时，参考前景对象库、背景库中的将前景图像、背景图像进行编码用编码表示。从而在对监控图像进行采集后，可从上述前、背景库中，给予前、背景图像的对应提取，并通过提取图像的编号，对监控图像进行监控图像码流编码。因此，监控侧可根据接收到的码流编码中所引用的前景图像和背景图像，进行直接的解码分析，对监控图像在解码后，进行监控图像的提取，从而避免了监控采集画面压缩及解压的过程。同时监控侧根据码流编码的语义描述，可在不调用监控采集画面的情况下，对监控画面给予了解。因此，本发明提高了监控准确性，降低了系统的整体损耗。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种监控视频编码方法的流程示意图。

图2为本发明实施例提供的建立背景库和前景对象库的方法流程图。

图3为本发明实施例提供的一种视频编码方法的流程图。

图4为本发明实施例提供的一种视频编码方法的原理示意图。

图5为本发明实施例提供的一种监控识别方法流程图。

图6为本发明实施例提供的一种视频索引的方法流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明一实施例中，通过采集端对待检测区域中不同场景的图像采集，将图像中的前景及背景进行分离，并分别编码；从而在编码的码流中将背景和前景分离开，前景由相对独立的区域组成，基于该前景区域就可直接进行对象检测、分析和识别，背景不再受对象检测和分割的“干扰”，反而能够辅助前景对象的检测和识别。这样后续识别时可直接从中监测视频画面上获得背景和“基本准确”的前景。

图1为本发明第一实施例提供的监控视频的编码中前景对象库和背景库的建立方法的流程示意图。如图1所示，该方法包括为：

步骤101：将一监控图像与背景库中的背景图像进行比对，判断在背景库中是否能找到最匹配的背景图像，若有，则执行步骤102；否则，执行步骤103；

在本发明一实施例中，将当前监控图像的与背景库中的每一背景图像计算出一个相似度(差异过大的局部区域认为是前景，不参与计算)，如果第一相似度的值与第二相似度的值之比，大于某个阈值，认为第一相似度的背景图像是最匹配图像，否则认为没有找到最匹配背景图像。

步骤102：使用该背景与当前图像做差获取前景对象，送到前景对象库学习模块，判断该前景对象在前景对象库中是否已经存在，若是，则无须更新前景对象库；若否，执行步骤104；

步骤103：使用背景建模的方法构造出背景图像，使用前背景分割的方法分割出前景对象；将背景图像添加至背景库，前景对象送到前景对象库学习模块，判断该前景对象在前景对象库中已经存在，若存在，则无须更新前景对象库；若不存在，则执行步骤104；

步骤104：将该前景对象添加至前景对象库中。

在本发明一实施例中，也可以是初始对待监测区域的静态场景进行图像采集，其中静态场景是指监测区域中固定建筑或静态建筑的场景，如：监测区域场景中的墙壁、门、过道及天花板等；将采集获得的静态场景视频，按帧分离为数个单帧图像，并对每一单帧图像给予分别的编码；将静态场景的单帧采集图像与编码一一对应构建为背景库。

图2为本发明第一实施例提供的监控视频的编码方法的流程示意图。如图2所示，该方法包括为：

步骤201：建立背景库以及前景对象库；所述背景库中包含有背景图像集合；所述前景对象库中包含前景对象集合。

根据连续的图像视频流获得一个连续的背景图像，将该背景图像存入背景图像集合(背景库)中；在当前背景图像完成较大变化时，形成第二个背景图像，将该第二个背景图像再次存入背景库中；依次类推，至此该整个视频流中的每个背景图像都放入背景库。

在本发明一实例中，使用前景提取方法得到前景对象，送到前景对象库学习模块，如果该前景对象在前景对象库中已经存在，则无须更新前景对象库，若不存在，则将该前景对象添加至前景对象库中。

在本发明一实施例中，可以参考图1所述的方法进行背景库以及前景对象库的建立。

步骤202：利用背景库和前景对象库对视频流进行编码。

在对视频流进行编码时，将当前监控图像与背景库中的背景图像进行比对。如果在背景库中能找到最匹配的背景图像，则在编码当前监控图像时，参考背景库中的该背景图像进行编码。否则利用当前监控图像对背景库以及前景对象库进行更新，并在更新后参考背景库中的背景图像进行编码。

本发明实施例提供的适用于视频监控的编码方法，通过图像分析(背景分析和前景分析)将编码和识别统一在一个框架内解决；背景建模用于提高视频编码效率，前景分析用于对象识别和理解。

在本发明一实施例中，背景库中的背景图像基于在采集端基于原始的无压缩图像建模而成。

实际世界中，背景并不是一成不变的，只是相对于前景来说变化得相对缓慢。这些变化包括短期周期性变化(例如背景中树的摇动、旗臶的飘动)、昼夜周期性变化(例如光照变化和阴影偏移)、季节变化(例如草地颜色变化)和偶发性气候(雨、雪、雾、霾等)。对这些变化建模的最简单方法是构造一个代表各种典型场景的背景库，再在此基础上通过参数描述可能的变化。有了这样的背景库，前景检测和识别的难度就会大大降低。

在本发明一实施例中，可以设置不同的采集周期，在不同的采集周期中，对待监测区域的场景进行图像采集，将采集后的图像，根据不同的采集时间进行编码，建立背景库。其中，采集周期可以为12小时、24小时等时间周期。上述步骤中，在获得24小时的静态场景视频后，可按不同的采集时间对24小时的视频帧给予分离，如，以1小时为单位，将分离为24帧。在获得数个单帧图像后，根据不同的采集时间顺序，对每一单帧图像给予顺序编码。最后，将24小时的24个静态场景的单帧采集图像与编码一一对应构建为背景库。同时还可以将“采集时间”作为单帧图像的描述内容给予单独的存储，如可在帧编码的对应行中，添加列用以描述“采集时间”信息。

在本发明一实施例中，还可以通过多监控角度对待监测区域的场景进行图像采集，建立不同采集角度的背景图像。此时，可以在描述内容中增加“采集角度”一项，给予单独的存储，如可在帧的编码对应行中，添加列用以描述“采集角度”的信息。

在本发明一实施例中，可将多监控角度采集后的图像，根据连续监控角度拼合后组成全景图像，将该全景图像进行编码，从而得到“广角全景”的场景，从而得到“广角全景”的背景图像。因此当待监控场景中出现在多个区域，连续运动的前景图像时，将有利于对前景图像的连续监测，从而提高了监测的准确性，避免的监测死角。

在本发明一实施例中，建立的背景库中会包含同一场景不同时间和/或不同季节和/或不同天气和/或不同拍摄角度的背景图像。

如上所述，从长时的视频序列中，通过统计方法(甚至包括利用时间、地点等外部信息)可以获得越来越好的背景模型，而一旦当前的背景模型已知，前景对象的检测跟踪就可以做得更加准确。

在本发明一实施例中，背景库可以采用数据库，或其他数据存储方式给予存储。

在本发明一实施例中，前景对象库也可以模型化。例如，公共汽车会在一个摄像头中每天都出现多次，踩点的犯罪分子也会多次出现在同一摄像头中，利用重复对象检测技术和机器学习的方式可以从视频中找到很多这样的对象，并组成前景对象库。

在本发明一实施例中，前景区域的位置、运动矢量、轮廓、形变、相互关系等信息可以进入前景对象库，区域进而构成对象，对象的描述信息也可以进入前景对象库。

在本发明一实施例中，还可以根据连续采集画面中多个连续前景图像进行分析，获得对象行为数据。

图3所示为本发明实施例一种视频编码方法的流程图。如图3所示，该方法包括：

步骤301：将当前图像与背景库中的背景图像比对，判断背景库中是否存在与当前图像匹配的背景图像；如果是，执行步骤302；否则执行步骤303。

在本发明一实施例中，可以利用SAD算法来实现“背景图像对比”，即通过计算各个像素之间的差值的绝对值和，将绝对值最小的则认为是最匹配的背景图像。

步骤302：获取背景图像的编号，将该背景图像的编码编入当前的视频流。比如，只需要知道当前图像为编码为特定值的背景图像即可。继续执行步骤304。

步骤303：分离当前图像的背景图像以及前景对象；将背景图像加入到背景库，转为执行步骤302；同时，执行步骤305。

步骤304：将采集画面去除背景画面后，提取前景对象；执行步骤305。

步骤305：将分离或提取出的前景对象与前景对象库中的前景对象进行对比，判断前景对象库中是否存在与之相符的前景对象，如果是执行步骤306，否则执行步骤307。

步骤306：获取前景对象的编号，将该前景对象的编码编入当前的视频流。比如，只需要知道当前图像为编码为特定所选值的前景对象即可。继续执行步骤308。

步骤307：将当前前景图像作为新的前景对象添加到前景对象库中；同时转为执行步骤306。

步骤308：对当前图像与的背景图像和/或前景图像的差异部分采取现有技术的编码方式。当然，在某些情况下当前图像没有对应的背景图像和/或前景图像。

依次对视频流中的每一帧进行编码，最后得到整个视频流的编码码流。最后，该编码得到的视频流包含如下部分：背景图像引用信息、前景图像引用信息、残差的编码码流。

背景库和前景对象库以相对独立的码流分别进行编码，并送到解码方，编码方和解码方对两个库的表示和使用要保持一致。

在本发明一实施例中，在进行视频编码码流时，可以为前景对象和/或背景对象库分配更高的码流，使得识别端获得的前景更加清晰，进而后续识别算法能够获得更高的识别性能。在本发明一实施例中，为背景块分配更高可以采取更小的量化参数(QP)编码前景块时，如前景帧只用帧内预测等。

在本发明一实施例中，还可以根据连续采集画面中多个连续前景图像进行分析，获得对象行为数据。

图4为本发明实施例提供的一种视频编码方法的原理示意图。如图4所示，采用基于场景建模的视频编码方法得到的压缩码流的形式是“背景描述+前景描述+残差”的形式。图中左侧部分场景建模过程，实际上就是用历史视频不断更新背景模型库和前景对象库的过程；右侧是视频编码过程，是将当前视频与背景模型库和前景对象库进行比对，对于背景模型库和前景对象库已经存在的背景区域和前景对象，只需少量“背景描述”和“前景描述”比特进行索引性描述即可；而对于模型不能表示的部分，仍然采用传统视频编码标准进行压缩。当然，把场景建模和视频编码分开只是为了清晰地展示这两个过程，实际上两者是一体的：视频编码过程中不能用既有模型表示的视觉对象会送入统计学习模块参与模型库更新。

图5所示为本发明实施例中一种监控识别方法流程图，该方法用于解码识别以上实施例所获得的视频编码码流。解码识别方拥有编码方所拥有的背景库以及前景对象库，或者至少拥有视频编码码流所引用的背景图像和前景图像。如5所示，该方法包括：

步骤501：分别对背景库和前景对象库进行解码，或对视频编码码流所引用的背景图像和前景图像进行解码。

步骤502：根据解码出来的视频编码码流所引用的背景图像和前景图像，对接收到的视频编码码流进行解码。

步骤503：将从解码出的视频编码码流中所获取的“背景”、“前景对象”及“对象行为”的描述信息代入设定语义表达式形成语义表达。语义表达式的格式可以是“在<背景信息>中有<前景对象><对象行为>”。

比如，根据某一段视频编码码流，解码出来的“背景”的描述信息为“下雪的操场”，“前景对象”的描述信息为“人”，“对象行为”的描述信息为“打球”，则最后识别出来的语义表达为“在下雪的操场有人打球”。

在本发明一替代方案中，在识别侧，可以直接利用背景减除识别算法减除背景图像，直接获得前景图像。在不需要完全解码的情况下，利用码流中的信息来提取前景区域，可快速给后续的视频分析、行为检测提供运动对象库。

在本发明一实施例中，进一步可以基于背景库和前景库建立视频的索引和摘要来解决大规模视频监控数据的高效组织、快速访问和高效存储。

图6所示为本发明一实施例提供的视频索引的方法流程图。如图6所示，该方法包括：

步骤601：将各种底层特征和语义信息进行有效的表达与描述，其中基本索引对象包括时空要素图、基元和在此基础上提取的事件或对象。

步骤602：生成视频摘要，在本发明一实施例中，根据视频片段的重要性的计量方法来生成视频摘要。

步骤603：建立索引层描述框架，将所有描述信息置入视频码流不同层次的语法结构中，既可以直接从压缩码流中快速获取所需的监控信息，也可以再经过快速分析处理后得到与监控有关的各种数据。

本发明一实施例提供的一种监控视频流的编码系统，包括：

建立库模块，配置为建立背景库以及前景对象库；背景库中包含有背景图像集合；前景对象库中包含前景对象集合；

编码模块，配置为利用背景库和前景对象库中的背景图像和前景对象对视频流进行编码。

其中，建立库模块，还配置为：

将一监控图像与背景库中的背景图像进行比对；

如果在背景库中能找到最匹配的背景；则使用该背景与当前图像做差获取前景对象，送到前景对象库学习模块，如果该前景对象在前景对象库中已经存在，则无须更新前景对象库；否则将该前景对象添加至前景对象库中；

如果在背景库中能找不到最匹配的背景；则使用背景建模方法构造一个背景图像，并使用该背景与当前图像做差获取前景对象；将背景图像添加至背景库，前景对象送到前景对象库学习模块，如果该前景对象在前景对象库中已经存在，则无须更新前景对象库；否则将该前景对象添加至前景对象库中。

其中，建立库模块，还配置为：将当前监控图像的背景块与背景库中的每一背景图像计算出一个相似度，如果第一相似度的值与第二相似度的值之比，大于某个阈值，则认为第一相似度的背景图像是最匹配图像。

其中，建立库模块，还配置为：设定不同的采集周期，获取不同采集周期的背景图像，则将获得的不同采集周期的背景图像加入到背景库中。

其中，建立库模块，还配置为：建立多监控角度的背景图像，加入背景库中。

其中，将多监控角度采集后的背景图像拼合后组成全景图像，作为全景背景图像加入到背景库中。

其中，建立库模块，还配置为：背景库中包括代表各种场景的背景图像；通过参数描述来识别背景图像。

其中，其特征在于，建立库模块，还配置为：背景库中会包含同一场景不同时间和/或不同季节和/或不同天气和/或不同拍摄角度的背景图像。

其中，编码模块，还配置为：将当前监控图像与背景库中的背景图像以及前景对象库中的前景对象进行比对；如果在背景库中能找到最匹配的背景图像或在前景对象库中中能找到最匹配的前景对象，则在编码当前监控图像时，参考背景库中的背景图像或前景对象库中的前景对象进行编码；否则，

利用当前监控图像对背景库以及前景对象库进行更新；并在更新后参考背景库中的背景图像以及前景对象库中的前景对象。

其中，编码模块用于背景库和前景对象库中的背景图像和前景对象对视频流进行编码包括：获取背景图像在背景库中的编号，将该背景图像的编码编入当前的视频流；或

获取前景对象在前景对象库中的编号，将该前景对象的编码编入当前的视频流。

其中，编码模块，还配置为：对背景库以及前景对象库进行编码。

其中，编码模块，还配置为：对当前监控图像与所选用的背景图像和/或前景图像的差异部分进行编码。

其中，还包括：对象行为获取模块，配置为：根据连续采集画面中多个连续前景图像进行分析，获得对象行为数据。

其中，为前景对象库和/或前景对象分配比背景库和/或背景图像更高的码流。

本发明一实施例提供的一种监控视频识别系统，包括：

解码模块，配置为用于解码接收到的编码码流，编码码流包括：根据本发明编码方法所获得的编码码流；方法包括：

对背景库和前景对象库进行解码，或对视频编码码流所引用的背景图像和前景对象进行解码；

根据解码出来的视频编码码流所引用的背景图像和前景对象，对接收到的视频编码码流进行解码。

其中，解码模块，还配置为：从解码出的视频编码码流中获取“背景图像”、“前景对象”的描述信息；

将“背景图像”、“前景对象”的描述信息代入设定语义表达式形成语义表达。

其中，解码模块，还配置为：从解码出的视频编码码流中所获取“对象行为”的描述信息；

将“对象行为”的描述信息代入设定语义表达式形成语义表达。

其中，解码模块，还配置为：语义表达式的格式为“<背景信息>中<前景对象><对象行为>”。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换等，均应包含在本发明的保护范围之内。

Claims (20)

1.一种监控视频流的编码方法，其特征在于，包括：

建立背景库和前景对象库；所述背景库中包含有背景图像集合；所述前景对象库中包含前景对象集合；

利用背景库的背景图像和前景对象库中的前景对象对视频流进行编码；

其中，所述利用背景库的背景图像和前景对象库中的前景对象对视频流进行编码包括：

获取背景图像在背景库中的编号，将该背景图像的编码编入当前的视频流；和

获取前景对象在前景对象库中的编号，将该前景对象的编码编入当前的视频流。

2.根据权利要求1所述的方法，其特征在于，所述建立背景库包括：

将一监控图像与背景库中的背景图像进行比对；

如果在背景库中能找不到最匹配的背景；则使用背景建模方法构造一个背景图像，将背景图像添加至背景库。

3.根据权利要求1所述的方法，其特征在于，所述建立前景对象库包括：

将一监控图像与背景库中的背景图像进行比对，获得所述监控图像的背景图像；

使用所述监控图像的背景图像与所述监控图像做差获取前景对象；

将所述前景对象发送到前景对象库。

4.根据权利要求3所述的方法，其特征在于，将所述前景对象发送到前景对象库之前，进一步包括：

将所述获取的前景对象送到前景对象库学习模块；

如果前景对象库中不存在所述前景对象，将所述前景对象添加至前景对象库中。

5.根据权利要求2所述的编码方法，其特征在于，将当前监控图像的背景块与背景库中的每一背景图像计算出一个相似度，如果第一相似度的值与第二相似度的值之比，大于某个阈值，则认为第一相似度的背景图像是最匹配图像。

6.根据权利要求1所述的编码方法，其特征在于，所述建立背景库以及前景对象库包括：

设定不同的采集周期，获取不同采集周期的背景图像，则将所述获得的不同采集周期的背景图像加入到背景库中。

7.根据权利要求1所述的方法，其特征在于，所述建立背景库以及前景对象库包括：

建立多监控角度的背景图像，加入背景库中。

8.根据权利要求5所述的方法，其特征在于，所述建立背景库以及前景对象库包括：

将多监控角度采集后的背景图像拼合后组成全景图像，作为全景背景图像加入到背景库中。

9.根据权利要求1所述的方法，其特征在于，所述背景库中包括代表各种场景的背景图像；通过参数描述来识别所述背景图像。

10.根据权利要求1所述的方法，其特征在于，所述背景库中会包含同一场景不同时间，和/或不同季节，和/或不同天气，和/或不同拍摄角度的背景图像。

11.根据权利要求1所述的方法，其特征在于，利用背景库和前景对象库中的背景图像和前景对象对视频流进行编码包括：

将当前监控图像与背景库中的背景图像以及前景对象库中的前景对象进行比对；在背景库中能找到最匹配的背景图像或在前景对象库中能找到最匹配的前景对象；在编码当前监控图像时，参考背景库中的背景图像或前景对象库中的前景对象进行编码。

12.根据权利要求9或10所述的方法，其特征在于，进一步包括：对背景库以及前景对象库进行编码。

13.根据权利要求11所述的方法，其特征在于，进一步包括：对当前监控图像与所选用的背景图像和/或前景图像的差异部分进行编码。

14.根据权利要求1所述的方法，其特征在于，进一步包括：根据连续采集画面中多个连续前景图像进行分析，获得对象行为数据。

15.如权利要求1所述的方法，其特征在于，为前景对象库和/或前景对象分配比背景库和/或背景图像更高的码流。

16.一种监控视频识别方法，其特征在于，用于解码接收到的编码码流，所述编码码流包括：根据权利要求1至13任一方法所获得的编码码流；所述方法包括：

对背景库和前景对象库进行解码，或对视频编码码流所引用的背景图像和前景对象进行解码；

根据解码出来的视频编码的码流所引用的背景图像和前景对象，对接收到的视频编码的码流进行解码。

17.如权利要求16所述的方法，其特征在于，进一步包括：

从解码出的视频编码的码流中获取“背景图像”、“前景对象”的描述信息；

将所述“背景图像”、“前景对象”的描述信息代入设定语义表达式形成语义表达。

18.如权利要求17所述的方法，其特征在于，进一步包括：

从解码出的视频编码的码流中所获取“对象行为”的描述信息；

将所述“对象行为”的描述信息代入设定语义表达式形成语义表达。

19.如权利要求18所述的方法，其特征在于，进一步包括：

所述语义表达式的格式为“<背景信息>中<前景对象><对象行为>”。

20.一种监控视频流的编码系统，其特征在于，包括：

库建立模块，用于建立背景库以及前景对象库；所述背景库中包含有背景图像集合；所述前景对象库中包含前景对象集合；

编码模块，用于利用背景库和前景对象库中的背景图像和前景对象对视频流进行编码；

其中，所述利用背景库和前景对象库中的背景图像和前景对象对视频流进行编码包括：

获取背景图像在背景库中的编号，将该背景图像的编码编入当前的视频流；以及

获取前景对象在前景对象库中的编号，将该前景对象的编码编入当前的视频流。