[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN110826429A - 一种基于景区视频的旅游突发事件自动监测的方法及系统 - Google Patents

一种基于景区视频的旅游突发事件自动监测的方法及系统 Download PDF

Info

Publication number
CN110826429A
CN110826429A CN201911007148.7A CN201911007148A CN110826429A CN 110826429 A CN110826429 A CN 110826429A CN 201911007148 A CN201911007148 A CN 201911007148A CN 110826429 A CN110826429 A CN 110826429A
Authority
CN
China
Prior art keywords
video
emergency
scenic spot
scenic
monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911007148.7A
Other languages
English (en)
Inventor
梁美玉
杜军平
薛哲
寇菲菲
李玲慧
耿月
王旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN201911007148.7A priority Critical patent/CN110826429A/zh
Publication of CN110826429A publication Critical patent/CN110826429A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/14—Travel agencies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明提出了一种基于景区视频的旅游突发事件自动监测的方法及系统，其中，所述方法包括：S1)：对采集到的景区视频进行预处理，以生成视频的动态序列；S2)：基于视频超分辨率重建对所述视频的时空分辨率进行增强，以去除降质因素对所述景区视频中的旅游突发事件监测的干扰，以得到去噪的视频；S3)：对所述去噪的视频进行视频特征提取，以得到视频显著性时空特征；S4)：利用所述视频显著性时空特征，对所述景区视频中的突发事件进行实时检测；S5)：对于检测到的所述突发事件，通过学习所述景区视频中的显著性高层语义特征，以实现所述景区视频中的突发事件自动识别。

Description

一种基于景区视频的旅游突发事件自动监测的方法及系统
技术领域
本发明涉及一种监测领域，特别涉及一种基于景区视频的旅游突发事件自动监测的方法及系统。
背景技术
随着国民经济改革的深入以及人民生活水平的提高，我国旅游业获得了蓬勃发展，已成为国民经济发展中势头最强劲和规模最大的产业之一。旅游业也已成为我国经济发展的支柱产业之一。然而，伴随着旅游业的蓬勃发展，旅游安全问题也日益突显，拥堵、踩踏、打架斗殴等旅游突发事件频发，这给旅游安全敲响了警钟。因此，为了更好地维护景区秩序，保障景区的人群安全，越来越多的监控系统被投入使用，这些视频监控系统在及时响应公共性安全事件和治安保障中起着重要作用，但是大部分离不开人的监视和操作。人工监控需要耗费大量的时间和精力，而且监控视频中的信息众多，仅仅通过人工监控很容易将一些关键信息和需要及时响应处理的事件遗漏。在实际应用中，大多监控视频仅发挥了“事后查询”的作用，并没有发挥智能监控的最大作用。如果监控时可以自动检测出旅游突发事件并识别出突发事件的类型给予及时预警，将有助于相关部门的及时响应和救援，这样不但可以节省很多人力和物力，而且还更加准确高效。因此通过对旅游景区视频全天候全方位的监控，利用视频大数据并结合计算机视觉和视频智能处理技术对旅游监控视频进行实时监控和突发事件检测和识别，构建智能化的旅游突发事件监测系统，以实现对旅游突发事件及时预测和预警，保障旅游安全，具有重要的研究价值和应用前景。
近年来视频中的突发事件检测与识别技术受到国内外学术界和产业界的广泛关注。虽然目前面向视频的突发事件检测与识别方法在简单的场景下效果较好，然而在复杂的运动场景下往往存在着检测率低、误检率较高的问题，景区监控设备所采集到的旅游景区视频数据中往往包含背景混杂、遮挡、噪声干扰、光照变化等复杂的运动场景，并且采集到的视频容易受到噪声、运动模糊、下采样等多种降质因素的影响，视觉分辨率质量和对比度较低，影响旅游突发事件检测精准度，以上问题均给面向视频的旅游突发事件监测带来了极大挑战。此外，面向视频数据的突发事件检测与识别及其在旅游突发事件监测系统中的应用研究才刚刚起步，没有形成一套面向旅游监控视频的智能化、自动化、全方位的旅游突发事件监测系统体系架构，因此需要提出能够适用于旅游景区视频大数据的高效鲁棒性旅游突发事件检测与识别算法，并构建一套面向景区监控视频中旅游突发事件监测的综合处理平台，提升旅游突发事件的预测、预警以及应急决策的自动化、智能化和高效化处理能力，为切实保障旅游安全提供更加有力的数据和技术支撑。
为解决现用技术问题的上述缺陷，有必要提出一种基于景区视频的旅游突发事件自动监测的方法及系统。
发明内容
有鉴于此，本发明的目的是为了提供一种基于景区视频的旅游突发事件自动监测的方法及系统，其能够解决现用技术的缺陷并能够实时监测景区内的旅游突发事件，以为景区的旅游提供安全性。
为实现上述目的，本发明的第一方面提出了一种基于景区视频的旅游突发事件自动监测的方法，其中，所述方法包括：
S1)：对采集到的景区视频进行预处理，以生成视频的动态序列；
S2)：基于视频超分辨率重建对所述视频的时空分辨率进行增强，以去除降质因素对所述景区视频中的旅游突发事件监测的干扰，以得到去噪的视频；
S3)：对所述去噪的视频进行视频特征提取，以得到视频显著性时空特征；
S4)：利用所述视频显著性时空特征，对所述景区视频中的突发事件进行实时检测；
S5)：对于检测到的所述突发事件，通过学习所述景区视频中的显著性高层语义特征，以实现所述景区视频中的突发事件自动识别。
如上所述的基于景区视频的旅游突发事件自动监测的方法，其中，还包括步骤S6，其中，S6)：基于所述景区视频进行运动人群的捕捉，估计出每一帧中运动人群的人数，以对所述景区视频中的人数监测，通过对人群的人数规模进行分析，以判断人群的实际拥挤程度。
如上所述的基于景区视频的旅游突发事件自动监测的方法，其中，根据所述突发事件检测和识别结果以及所述景区的人数预测结果，自动发出预警警报。
如上所述的基于景区视频的旅游突发事件自动监测的方法，其中，所述视频超分辨率重建包括：
对待重建的视频帧进行分块，提取各个图像块，对提取的所述图像块进行稀疏表示，以得到稀疏向量；
对低分辨率的所述图像块映射为相应的高分辨率的所述图像块；
对所述高分辨率的图像块图进行卷积滤波，获取最终的高分辨率视频帧块。
如上所述的基于景区视频的旅游突发事件自动监测的方法，其中，结合3D时空卷积神经网络和深度递归神经网络模型自动学习视频显著性时空特征，利用稀疏组合学习算法构建旅游突发事件自动检测模型，以对所述景区视频中的突发事件进行实时检测。
如上所述的基于景区视频的旅游突发事件自动监测的方法，其中，结合3D时空卷积神经网络和深度递归神经网络学习到的所述突发事件所对应的景区视频的高层语义特征，利用分类器构建景区视频突发事件识别模型，并将特征向量输入到建立好的突发事件识别模型中，以输出旅游突发事件的类型。
本发明的第二方面提出了一种基于景区视频的旅游突发事件自动监测的系统，其中，包括：
景区视频预处理模块，用于对采集到的景区视频进行预处理，以生成视频的动态序列；
景区视频超分辨率重建模块，用于基于视频超分辨率重建对所述视频的时空分辨率进行增强，以去除降质因素对所述景区视频中的旅游突发事件监测的干扰，以得到去噪的视频；
景区视频特征提取模块，用于对所述去噪的视频进行视频特征提取，以得到视频显著性时空特征；
旅游突发事件检测模块，用于利用所述视频显著性时空特征，对所述景区视频中的突发事件进行实时检测；
旅游突发事件识别模块：用于对于检测到的所述突发事件，通过学习所述景区视频中的显著性高层语义特征，以实现所述景区视频中的突发事件自动识别。
如上所述的基于景区视频的旅游突发事件自动监测的系统，其中，还包括：
旅游景区人数自动监测模块，用于基于景区视频进行运动人群的捕捉，估计出每一帧中运动人群的人数，以对所述景区视频中的人数监测，通过对人群的人数规模进行分析，以判断人群的实际拥挤程度。
本发明的第三方面提出了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如上所述的基于景区视频的旅游突发事件自动监测的方法的步骤。
本发明的第四方面提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其中，所述计算机程序被处理器执行时实现如上所述的基于景区视频的旅游突发事件自动监测的方法的步骤。
附图说明
图1为本发明实施例的一种基于景区视频的旅游突发事件自动监测的方法的流程图；
图2为本发明实施例的基于景区视频的旅游突发事件自动监测的系统整体架构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。
下面结合附图详细说明本发明实施例的技术方案。
如图1所示，本发明提出了一种基于景区视频的旅游突发事件自动监测的方法，其中，所述方法包括：
S1)：对采集到的景区视频进行预处理，以生成视频的动态序列；
S2)：基于视频超分辨率重建对视频的时空分辨率进行增强，以去除降质因素对景区视频中的旅游突发事件监测的干扰，以得到去噪的视频；
S3)：对去噪的视频进行视频特征提取，以得到视频显著性时空特征；
S4)：利用所述视频显著性时空特征，对景区视频中的突发事件进行实时检测；
S5)：对于检测到的突发事件，通过学习景区视频中的显著性高层语义特征，以实现所述景区视频中的突发事件自动识别。
现结合图2对本发明的基于景区视频的旅游突发事件自动监测的方法及系统的具体实施例进行详细地描述，以使本发明清楚，其并非旨于对本发明的限制。
本发明设计并实现了基于景区视频的旅游突发事件自动监测系统，通过对旅游视频大数据的全天候、全方位持续监控，自动检测和识别游客的异常行为，是一个集旅游视频实时采集、旅游视频预处理、旅游视频超分辨率重建、旅游视频特征提取、旅游突发事件检测、旅游突发事件识别、旅游景区人数自动监测、旅游突发事件预警等功能于一体的综合处理平台。该平台可以及时发现游客群体中的异常事件，以便进行旅游突发事件预测和预警，从而为及时制定相关应急决策方案提供科学有效的技术和数据支持，为旅游领域的安全高效工作提供有力保障。
基于上述目的，本发明提供基于景区视频的旅游突发事件自动监测系统，包括：
(1)设计基于景区视频的旅游突发事件自动监测系统整体架构，主要包括数据资源层、旅游突发事件监测层和用户层三个逻辑层次。其中数据资源层负责存储通过景区监控设备采集到的视频大数据。旅游突发事件监测层是整个系统的核心部分，实现对数据资源层中的旅游视频中突发事件检测、识别、人数监测和预警等，包含旅游视频预处理、旅游视频超分辨率重建、旅游视频特征提取、旅游突发事件检测、旅游突发事件识别、旅游景区人数自动监测、旅游突发事件预警等功能模块。用户层提供友好的用户界面，实现用户与系统间的交互操作，提供旅游监控视频的浏览以及突发事件检测和识别结果，若检测到突发事件，则进行相应的突发事件预警，并发出预警警报。
(2)对采集和拍摄的旅游景区视频进行预处理，包括对视频进行去噪声和增强等操作。同时为了方便后续处理，生成视频的动态序列，并对视频进行结构化分析和处理，包括镜头分割、提取关键帧等操作。
(3)通过构建基于深度学习和时空特征融合的视频超分辨率重建模型，对视频的时空分辨率进行进一步增强，实现监控视频的视觉分辨率质量和细节清晰度提升，排除噪声干扰、运动或光学模糊、下采样、光照不强或不均等因素对后续旅游突发事件自动监测的影响。综合利用外部深度关联映射学习和内部时空非局部自相似性先验约束，通过两者的优势互补，构建内外部联合约束的视频超分辨率重建机制。构建基于深度卷积神经网络的深度学习模型，建立低分辨率和高分辨率视频帧块间的非线性关联映射，并结合时空特征自相似性匹配与融合来进一步提升超分辨率重建性能。
(4)对旅游景区视频进行特征学习和提取，主要包括视频中显著性运动目标检测以及视频中的时空特征学习两个功能。通过显著性运动目标区域的检测和提取，进行视频中前景目标和杂乱背景分离。通过构建时空感知深度网络模型，结合3D时空卷积神经网络和深度递归神经网络模型自动学习视频中的表观和运动等显著性高层语义特征，并利用主成分分析方法等对特征向量进行降维处理，从而排除复杂的背景对后续突发事件检测和识别的干扰，并且提升旅游突发事件检测和识别的效率和整体性能。
(5)在旅游景区视频显著性时空特征提取的基础上，利用稀疏组合学习算法构建旅游突发事件自动检测模型，实现对旅游景区视频中的突发事件进行实时检测，并自动发出预警警报。
(6)对于检测到的旅游突发事件，通过学习旅游景区视频中的显著性高层语义特征，建立旅游突发事件识别模型，实现旅游景区视频中的突发事件自动识别，对突发事件的类别自动归类，如景区拥堵、踩踏、人群慌乱等突发事件类别。
(7)构建基于深度属性学习的旅游景区人群人数实时估计模型，通过捕捉和分割快速运动人群区域，对景区运动人群进行人数估计，实现景区场景视频中的人数监测，进而通过对人群的人数规模进行分析，从而有效判断人群的实际拥挤程度，从而为景区的管理者提供疏导决策支持，避免出现景区拥堵、踩踏等突发事件发生。
(8)根据旅游突发事件检测和识别结果以及旅游景区人数预测结果，通过设置一定的预警规则，并结合后台推理，实现旅游突发事件自动预警，自动发出预警警报，以方便景区管理者以及相关决策人员及时制定应急决策。
1、基于景区视频的旅游突发事件自动监测系统整体架构设计
本发明设计并实现了基于景区视频的旅游突发事件自动监测系统，通过对旅游视频大数据的全天候、全方位持续监控，自动识别和检测游客的异常行为，及时发现游客群体中的异常事件，以便进行旅游突发事件预测和预警，从而为及时制定相关应急决策方案提供科学有效的技术和数据支持，为旅游领域的安全高效工作提供有力保障。系统整体架构如图2所示，主要包括数据资源层、旅游突发事件监测层和用户层三个逻辑层次。
数据资源层负责存储通过景区监控设备采集到的旅游景区视频大数据。旅游突发事件监测层是整个系统的核心部分，实现对数据资源层中的旅游视频大数据中的突发事件实时检测、识别和预警，主要包含旅游视频预处理、旅游视频超分辨率重建、旅游视频特征提取、旅游突发事件检测、旅游突发事件识别、旅游景区人数自动监测、旅游突发事件预警等功能模块。用户层提供友好的用户界面，实现用户与系统间的交互操作，提供旅游监控视频的浏览以及突发事件检测和识别结果，若检测到突发事件，则进行相应的突发事件预警，并发出预警警报。
旅游景区视频预处理模块：包括对采集到的原始景区视频进行去噪声和增强等操作。同时为了方便后续处理，生成视频的动态序列，并对视频进行结构化分析和处理，包括镜头分割、提取关键帧等操作。
旅游视频超分辨率重建模块：通过构建基于深度学习和时空特征融合的超分辨率重建模型对上述预处理后的视频的时空分辨率进行进一步增强，实现监控视频的视觉分辨率质量和细节清晰度提升，排除噪声、运动或光学模糊、下采样、光照不强或不均等降质因素对景区视频中的旅游突发事件监测的干扰。
旅游视频特征提取模块：主要包括对超分辨率重建后的视频中显著性运动目标检测以及对超分辨率重建后的视频中的时空特征学习两个功能。通过显著性运动目标区域的检测和提取，进行视频中前景目标和杂乱背景分离。通过构建时空感知深度网络模型，结合3D时空卷积神经网络和深度递归神经网络模型自动学习视频中的表观和运动等显著性高层语义特征，并利用主成分分析方法等对特征向量进行降维处理，从而排除复杂的背景对后续突发事件检测和识别的干扰，并且提升旅游突发事件检测和识别的效率和整体性能。
旅游突发事件检测模块：该功能模块利用视频特征提取模块提取到的视频显著性时空特征，通过稀疏组合学习算法建立旅游视频中突发事件检测模型，对旅游景区视频中的突发事件进行实时检测，并自动发出预警警报。
旅游突发事件识别模块：对于检测到的突发事件，该功能模块通过学习预处理和超分辨率重建后的旅游景区视频中的显著性高层语义特征，建立旅游突发事件识别模型，实现旅游景区视频中的突发事件自动识别和归类。
旅游景区人数自动监测模块：构建基于深度属性学习的旅游景区人群人数实时估计模型，通过对一段预处理和超分辨率重建后的旅游景区视频或一个镜头进行快速运动人群的捕捉，估计出每一帧中快速运动人群的人数，实现景区场景视频中的人数监测，进而通过对人群的人数规模进行分析，从而有效判断人群的实际拥挤程度，从而为景区的管理者提供疏导决策支持，避免出现景区拥堵、踩踏等突发事件发生。
旅游突发事件预警模块：根据旅游突发事件检测和识别结果以及旅游景区人数预测结果，通过设置一定的预警规则，并结合后台推理，自动发出预警警报，以方便景区管理者以及相关决策人员及时制定应急决策。
2、旅游景区视频超分辨率重建
针对现有方法由于依赖有限规模的外部训练实例或者内部相似块实例不匹配而产生噪声、过平滑或者视觉瑕疵的问题，本发明提出一种基于深度学习和时空特征融合的视频超分辨率重建模型。综合利用外部深度关联映射学习和内部时空非局部自相似性先验约束，通过两者的优势互补，构建内外部联合约束的视频超分辨率重建机制。构建基于深度卷积神经网络的深度学习模型，建立低分辨率和高分辨率视频帧块间的非线性关联映射，并结合时空特征自相似性匹配与融合来进一步提升超分辨率重建性能。
首先，利用深度卷积神经网络作为深度学习的模型，学习低分辨率(LR)和高分辨率(HR)视频帧之间的端到端非线性关联映射(LR-HR)。所构建的深度网络结构主要包括三层：块提取和稀疏表示层、非线性特征映射层和重建层。
(1)块提取和稀疏表示层
在重建过程中，首先对待重建的视频帧Yv进行分块，提取各个图像块。为了提升算法效率，对提取的图像块进行稀疏表示，实现其稀疏向量表达。该过程形式化表达如下：
F1(Yv)＝max(0,ω1*Yv+β1) (1)
其中ω1和β1分别表示滤波权重和偏差。ω1大小为c×f1×f1×n1，f1为滤波的空间大小，c为视频帧通道数目。β1为n1维向量。在该层中，通过对视频帧Yv进行n1次卷积操作，每次卷积核大小为c×f1×f1，输出n1维特征向量，即对应n1个特征图，作为每个视频帧块的稀疏表达。
(2)非线性特征映射层
该层实现将第一层提取的每个低分辨率块的n1维特征向量映射为相应的高分辨率块的n2维特征向量。该过程形式化表达如下：
F2(Yv)＝max(0,ω2*F1(Yv)+β2) (2)
其中ω2大小为n1×f2×f2×n2，表示对第一层提取到的特征图F1(Yv)执行n2次n1×f2×f2滤波。β2为n2维向量。通过执行该卷积操作，输出n2维特征向量，作为重建过程中高分辨率块的特征图表示。
(3)重建层
在该卷积层中，对上层获取到的高分辨率特征图进行卷积滤波，获取最终的高分辨率视频帧块。该卷积层操作形式化表示如下：
F(Yv)＝ω3*F2(Yv)+β3 (3)
其中ω3大小为n2×f3×f3×c，表示对第二层提取到的特征图F2(Yv)执行c次n2×f3×f3滤波。β3为c维向量。ω3滤波通常为均值滤波。对于重叠的高分辨率块，通过加权平均融合策略获取最终的高分辨率块。
在建立LR和HR图像块间关联映射的深度网络的训练学习阶段，主要是学习和估计出深度网络模型参数μ＝{ω1,ω2,ω3,β1,β2,β3}，进而通过拟合学习到的最优化网络参数进行超分辨率重建。对于网络参数μ的学习，通过最小化重建后图像和原始高分辨率图像之间的损失来获得。基于均方误差定义如下损失函数Loss(μ)：
Figure BDA0002243110160000121
其中Num表示低分辨率-高分辨率(LR-HR)训练图像对的个数。
在基于深度卷积神经网络建立起低分辨率-高分辨率(LR-HR)深度关联映射的基础上，通过结合视频内部在时空域的自相似性结构互补冗余，进一步提升超分辨率重建性能。
在内部时空非局部自相似性计算方面，本发明提出基于区域矩特征相似性和结构相似性实现高精度鲁棒性的时空非局部相似性匹配策略，并以此作为相似性权重，然后通过时空相似性加权融合，获取最终的目标高分辨率估计。为了提升匹配效率，提出基于区域平均能量和结构相似性的自适应区域相关性判断策略。首先对待重建像素(k,l)的非局部时空搜索区域内的所有像素(i,j)对应的邻域区域进行相关性判断，分为相关区域和不相关区域，然后只选择相关的区域参与权重计算，这样可以加快算法速度，同时更有利于利用更为相似的区域块参与权重计算。在区域相关性判断过程中，综合考虑区域平均能量和区域结构相似性两方面因素进行相关性计算，同时利用自适应阈值δadap策略，构建自适应的区域选择机制。若两区域相关，则定义如下：
|AE(k,l)-AE(i,j)|×((1-RSS(D(k,l),D(i,j)))/2)＜δadap (5)
其中D(k,l)和D(i,j)分别表示以像素(k,l)和(i,j)为中心的局部邻域区域。AE(k,l)和AE(i,j)分别表示区域D(k,l)和D(i,j)的平均能量。RSS(D(k,l),D(i,j))表示区域D(k,l)和D(i,j)间的结构相似性。自适应阈值δadap的大小是通过待重建像素(k,l)对应的邻域区域的平均能量AE(k,l)自适应地确定的，计算方法如下：
δadap＝γAE(k,l) (6)
其中γ表示自适应权重调节因子。
基于区域矩特征相似性和结构相似性实现高精度鲁棒性的时空非局部相似性计算，获取相似性权重
Figure BDA0002243110160000132
计算方法如下：
Figure BDA0002243110160000131
其中PZM(k,l)和PZM'(i,j)分别表示待重建像素点(k,l)及其非局部搜索区域Nnonloc(k,l)内像素点(i,j)对应的局部区域内的伪Zernike矩特征向量。RFS(D(k,l),D(i,j))表示区域D(k,l)和D(i,j)间的伪Zernike矩特征相似性。参数δ控制指数函数的衰减率和权重的衰减率。Nor(k,l)表示归一化常数。
单纯依靠视频内部的时空自相似性作为视频超分辨率的先验约束是不够的，例如当视频自身内部相似块不充足的时候，将会由于内部实例的不匹配而引起一些视觉瑕疵。为解决这个问题，提出利用一种新颖的外部非局部相似性先验约束来进一步优化算法性能。在外部相似性计算方面，通过构建一种基于块群的高斯混合模型，并以此来学习外部非局部自相似性先验约束。
在获取了以待重建像素为中心的时空搜索区域内的内部和外部非局部相似性信息之后，通过这些时空相似性信息进行加权融合，获取最终的目标高分辨率估计。
3、旅游景区视频特征提取
对旅游景区视频进行结构化分析和处理，基于加权直方图和帧差法检测镜头边缘进行镜头分割，并通过视觉特征和运动特征提取、聚类分析等技术抽取镜头中的关键帧，排除不相关视频帧的干扰，提高处理效率。然后针对关键帧，结合3D时空卷积神经网络和深度递归神经网络模型，构建时空感知深度网络自动学习视频中的表观和运动特征，从而提高旅游突发事件监测的准确度和抗干扰能力。具体实现步骤如下：
为了充分利用视频在空间域的结构信息以及时间域的运动信息，采用双模态学习方法生成更加鲁棒的视频特征，利用RGB数据流和光流数据流两种模态的相关性和互补性，分别提取对应的特征，并进行双模态特征融合。为了能够从不同空间大小和不同时长的视频片段中提取短时序运动特征，采用基于空域和时域的金字塔池化方法。通过利用多级池化技术，将具有任意输入规格的视频内容映射成固定维度的特征向量。
基于深度递归神经网络将3D片段特征合成为代表行为的表征。由于视频中的行为是具有时序相关性的，为了能够学习完整的行为特征，采用递归神经网络的变体长短期记忆模型(LSTM)实现行为特征关联性嵌入，对学习到的各个行为子状态特征进行融合，生成具有前后情景的特征，最后结合最大池化的方法生成最终的视频中的行为表征。
为了避免旅游景区视频中背景信息的干扰，可在3D时空卷积神经网络和深度递归神经网络模型的基础上，添加显著性注意力机制，提取旅游视频中的显著性时空特征，从而排除与事件或行为不相关的特征，在一定程度上也可以显著提升旅游突发事件监测的效率。
4、旅游景区视频中突发事件检测
本发明构建旅游景区视频突发事件检测模型，实现旅游景区视频进行实时突发事件检测，对正常事件和突发事件进行区分，并标注突发事件发生的区域，从而及时发现和监控旅游突发事件。首先结合3D时空卷积神经网络和深度递归神经网络模型学习视频中的显著性时空特征，然后在此基础上基于稀疏组合学习算法构建旅游景区视频突发事件检测模型，该模型在复杂运动场景下具有良好的鲁棒性和时效性，可以实现旅游景区视频的实时突发事件检测。
虽然传统稀疏表示方法的检测精度高，但是在检测阶段要花费很长时间。其目的是从规模为D的字典中找到合适的规模为Bv的基向量来表示检测数据F。搜索空间很大，而且从D中选Bv个基向量存在不同的组合。因此，本发明结合旅游景区视频的显著性时空特征，利用稀疏组合学习算法建立旅游景区视频的异常事件检测模型，以解决稀疏表示存在的效率问题。
旅游景区视频异常事件检测模型的构建过程中稀疏组合学习的目标是得到M个基础的组合，能够有效地代表原始旅游景区视频特征数据，具有最小的重构误差Er，表示为式(8)。
其中ω＝{ω1,...,ωn}，
Figure BDA0002243110160000152
每个表明第i个组合Si是否被选中来表示数据Fj，
Figure BDA0002243110160000154
是用组合Si来表示Fj的相应的系数，约束和
Figure BDA0002243110160000156
表示只有一个组合可以被选择来表示Fj。
(1)旅游景区视频突发事件检测模型训练过程
为了在自动查找M个组合的同时不广泛增加重构误差Er，给旅游景区视频每个训练特征的误差Er设定一个上界λ。如果重构误差超过了上界，则该子集无法表示该训练数据；反之，如果重构误差小于上界，则可用该子集表示对应的训练数据。通过为S所有子集设置重建误差上限λ，来获得M个稀疏基向量组合，因此，更新式(8)如下：
Figure BDA0002243110160000161
在旅游景区视频异常事件检测模型的构建过程中稀疏组合学习以迭代的方式执行。在每次迭代过程，只更新一个组合，让它能尽可能多的代表旅游景区视频的训练数据。这个过程可以迅速找到最优组合。不能由该组合得到很好表示的剩余训练数据会在下一轮用新的组合来表示。直到所有训练数据满足式(9)这个过程结束。
(2)旅游景区视频突发事件检测过程
在旅游景区视频异常事件检测的训练阶段得到了稀疏基向量组合集S＝{S1,...,SM}。在测试阶段对于一个新的旅游景区视频特征数据F，只要检查是否在S中存在组合使其重构误差小于上界阈值Thr，如果存在，则判断为正常事件，否则为突发事件。这个过程可以通过检查每个Si的最小二乘误差快速实现，如式(10)所示。
Figure BDA0002243110160000162
这是具有最优解的标准二次函数，由拉格朗日公式可计算得到式(11)。
Si的重构误差表示为式(12)。
Figure BDA0002243110160000164
其中Im是一个m×m的单位矩阵，为了进一步简化计算，给每个Ci定义一个辅助矩阵Ai，如式(13)所示。
Figure BDA0002243110160000165
Si的重构误差根据
Figure BDA0002243110160000171
得到，如果重构误差小于上界阈值，则F为正常事件，否则为突发事件。
5、旅游景区视频中突发事件识别
旅游视频突发事件的识别包括对视频数据进行的预处理、特征学习和旅游突发事件识别的过程。其中，视频数据预处理包含对视频头尾及中间无关部分的剪辑和视频格式及画面大小的调整；视频数据特征学习过程结合3D时空卷积神经网络和深度递归神经网络模型自动学习视频中的显著性时空特征；旅游景区视频突发事件识别分为旅游突发事件识别模型训练过程和旅游突发事件识别过程。
在旅游突发事件识别模型训练过程，将输入视频划分为若干个16帧的视频剪辑，相邻视频剪辑间设置了8帧的重叠，目的是为了更好地保持视频帧间的时空相关性。视频剪辑的每帧大小调整为128×171，并进行均值化处理。训练的batch_size大小为20，学习率为0.0001，步长和最大迭代次数均为7000。利用3D时空卷积神经网络和深度递归神经网络在时间和空间域上对视频图像序列进行3D卷积和下采样操作，最终得到蕴含高层语义信息的特征向量。在此基础上，利用softmax分类器建立旅游景区视频突发事件识别模型，实现旅游景区视频中的突发事件识别，区分突发事件的类型。在突发事件识别过程中，首先结合3D时空卷积神经网络和深度递归神经网络学习测试视频的高层语义特征，然后将特征向量输入到建立好的突发事件识别模型中，最终输出旅游突发事件的类型，最终识别结果为正常事件、拥堵事件、慌乱事件等。
6、旅游景区视频中人数自动监测
首先结合3D时空卷积神经网络和深度递归神经网络模型学习旅游视频中的深度特征，由于直接基于这种深度学习特征的单层节点输出层的深度学习网络不太容易准确地预测人群的人数变化，特别是快速运动人群场景，为此本发明结合累积属性学习方法获取对于旅游场景视频中人数语义精确表示的特征表示。累积属性学习的优势是噪声和稀疏的底层视觉特征都被映射进一个累积属性空间，在这个累积属性空间中每一维都是被精心设计的，并给予一个清晰的语义含义，并且能够获取连续变化的变量的输出，例如人数、年龄等。用同样的方式，人群场景的抽象的深度学习特征也能够映射到这种累积的属性空间。这样联合累积属性学习和深度学习就能够提高人群人数估计的性能。对于旅游景区人数估计，就是需要学习一个映射，即从深度特征xi到累积属性ai，再从累积属性ai到人群人数yi这样一个映射。在学习到的累积属性特征空间基础上，利用支持向量回归模型，学习人群人数累积属性空间与人群人数之间的映射hac(·)，实现景区视频中人数监测，从而最终获得人群的人数。
本发明一实施例提供的了一种终端设备。该实施例的终端设备包括：处理器、存储器以及存储在存储器中并可在处理器上运行的计算机程序，例如一种基于景区视频的旅游突发事件自动监测的程序。处理器执行计算机程序时实现上述基于景区视频的旅游突发事件自动监测的方法的实施例中的步骤，例如上述所示的步骤S1至步骤S5。或者，处理器执行计算机程序时实现上述各装置实施例中各模块/单元的功能，例如上述系统的各个模块的功能。
示例性的，计算机程序可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器中，并由处理器执行，以完成本发明。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在终端设备中的执行过程。
终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，其仅仅为终端设备的示例，并不构成对终端设备的限定，可以包括更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其它通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可以是终端设备的内部存储单元，例如终端设备的硬盘或内存。存储器也可以是终端设备的外部存储设备，例如终端设备上配备的插接式硬盘，智能存储卡(SmartMedia Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器还可以既包括终端设备的内部存储单元也包括外部存储设备。存储器用于存储计算机程序以及终端设备所需的其它程序和数据。存储器还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。
另外，为简化说明和讨论，并且为了不会使本发明难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本发明难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本发明的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本发明的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本发明。因此，这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。
本技术领域技术人员可以理解，本发明包括涉及用于执行本申请中所述操作中的一项或多项的设备。这些设备可以为所需的目的而专门设计和制造，或者也可以包括通用计算机中的已知设备。这些设备具有存储在其内的计算机程序，这些计算机程序选择性地激活或重构。这样的计算机程序可以被存储在设备(例如，计算机)可读介质中或者存储在适于存储电子指令并分别耦联到总线的任何类型的介质中，所述计算机可读介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory，只读存储器)、RAM(Random Access Memory，随即存储器)、EPROM(Erasable ProgrammableRead-Only Memory，可擦写可编程只读存储器)、EEPROM(Electrically ErasableProgrammable Read-Only Memory，电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是，可读介质包括由设备(例如，计算机)以能够读的形式存储或传输信息的任何介质。本技术领域技术人员可以理解，可以用计算机程序指令来实现这些结构图和/或框图和/或流图中的每个框以及这些结构图和/或框图和/或流图中的框的组合。本技术领域技术人员可以理解，可以将这些计算机程序指令提供给通用计算机、专业计算机或其他可编程数据处理方法的处理器来实现，从而通过计算机或其他可编程数据处理方法的处理器来执行本发明公开的结构图和/或框图和/或流图的框或多个框中指定的方案。
本技术领域技术人员可以理解，本发明中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本发明中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本发明中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。所属领域的普通技术人员应当理解:以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于景区视频的旅游突发事件自动监测的方法，其特征在于，所述方法包括：
S1)：对采集到的景区视频进行预处理，以生成视频的动态序列；
S2)：基于视频超分辨率重建对所述视频的时空分辨率进行增强，以去除降质因素对所述景区视频中的旅游突发事件监测的干扰，以得到去噪的视频；
S3)：对所述去噪的视频进行视频特征提取，以得到视频显著性时空特征；
S4)：利用所述视频显著性时空特征，对所述景区视频中的突发事件进行实时检测；
S5)：对于检测到的所述突发事件，通过学习所述景区视频中的显著性高层语义特征，以实现所述景区视频中的突发事件自动识别。
2.如权利要求1所述的基于景区视频的旅游突发事件自动监测的方法，其特征在于，还包括步骤S6，其中，S6)：基于所述景区视频进行运动人群的捕捉，估计出每一帧中运动人群的人数，以对所述景区视频中的人数监测，通过对人群的人数规模进行分析，以判断人群的实际拥挤程度。
3.如权利要求2所述的基于景区视频的旅游突发事件自动监测的方法，其特征在于，根据所述突发事件检测和识别结果以及所述景区的人数预测结果，自动发出预警警报。
4.如权利要求1所述的基于景区视频的旅游突发事件自动监测的方法，其特征在于，所述视频超分辨率重建包括：
对待重建的视频帧进行分块，提取各个图像块，对提取的所述图像块进行稀疏表示，以得到稀疏向量；
对低分辨率的所述图像块映射为相应的高分辨率的所述图像块；
对所述高分辨率的图像块图进行卷积滤波，获取最终的高分辨率视频帧块。
5.如权利要求1所述的基于景区视频的旅游突发事件自动监测的方法，其特征在于，结合3D时空卷积神经网络和深度递归神经网络模型自动学习视频显著性时空特征，利用稀疏组合学习算法构建旅游突发事件自动检测模型，以对所述景区视频中的突发事件进行实时检测。
6.如权利要求1所述的基于景区视频的旅游突发事件自动监测的方法，其特征在于，结合3D时空卷积神经网络和深度递归神经网络学习到的所述突发事件所对应的景区视频的高层语义特征，利用分类器构建景区视频突发事件识别模型，并将特征向量输入到建立好的突发事件识别模型中，以输出旅游突发事件的类型。
7.一种基于景区视频的旅游突发事件自动监测的系统，其特征在于，包括：
景区视频预处理模块，用于对采集到的景区视频进行预处理，以生成视频的动态序列；
景区视频超分辨率重建模块，用于基于视频超分辨率重建对所述视频的时空分辨率进行增强，以去除降质因素对所述景区视频中的旅游突发事件监测的干扰，以得到去噪的视频；
景区视频特征提取模块，用于对所述去噪的视频进行视频特征提取，以得到视频显著性时空特征；
旅游突发事件检测模块，用于利用所述视频显著性时空特征，对所述景区视频中的突发事件进行实时检测；
旅游突发事件识别模块：用于对于检测到的所述突发事件，通过学习所述景区视频中的显著性高层语义特征，以实现所述景区视频中的突发事件自动识别。
8.如权利要求7所述的基于景区视频的旅游突发事件自动监测的系统，其特征在于，还包括：
旅游景区人数自动监测模块，用于基于景区视频进行运动人群的捕捉，估计出每一帧中运动人群的人数，以对所述景区视频中的人数监测，通过对人群的人数规模进行分析，以判断人群的实际拥挤程度。
9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的基于景区视频的旅游突发事件自动监测的方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的基于景区视频的旅游突发事件自动监测的方法的步骤。
CN201911007148.7A 2019-10-22 2019-10-22 一种基于景区视频的旅游突发事件自动监测的方法及系统 Pending CN110826429A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911007148.7A CN110826429A (zh) 2019-10-22 2019-10-22 一种基于景区视频的旅游突发事件自动监测的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911007148.7A CN110826429A (zh) 2019-10-22 2019-10-22 一种基于景区视频的旅游突发事件自动监测的方法及系统

Publications (1)

Publication Number Publication Date
CN110826429A true CN110826429A (zh) 2020-02-21

Family

ID=69550007

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911007148.7A Pending CN110826429A (zh) 2019-10-22 2019-10-22 一种基于景区视频的旅游突发事件自动监测的方法及系统

Country Status (1)

Country Link
CN (1) CN110826429A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111353637A (zh) * 2020-02-24 2020-06-30 北京工业大学 一种基于时空序列的大型活动突发事件预测分层架构和方法
CN111402585A (zh) * 2020-03-25 2020-07-10 中南大学 偶发性拥堵路径的探测方法
CN112101382A (zh) * 2020-09-11 2020-12-18 北京航空航天大学 时空联合模型及基于时空联合模型的视频显著性预测方法
CN112380915A (zh) * 2020-10-21 2021-02-19 杭州未名信科科技有限公司 视频监控异常事件的检测方法、系统、设备和存储介质
CN113095247A (zh) * 2021-04-19 2021-07-09 武汉伽域信息科技有限公司 基于视频监控技术的旅游景点游客安全实时在线监测管理系统
CN113420722A (zh) * 2021-07-21 2021-09-21 上海塞嘉电子科技有限公司 一种机场安全管理平台的突发事件联动方法及系统
CN114627413A (zh) * 2022-03-11 2022-06-14 电子科技大学 视频密集事件内容理解方法
CN115830489A (zh) * 2022-11-03 2023-03-21 南京小网科技有限责任公司 一种基于ai识别的智能动态分析系统
CN116310883A (zh) * 2023-05-17 2023-06-23 山东建筑大学 基于遥感图像时空融合的农业灾害预测方法及相关设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106254722A (zh) * 2016-07-15 2016-12-21 北京邮电大学 一种视频超分辨率重建方法和装置
CN109063615A (zh) * 2018-07-20 2018-12-21 中国科学技术大学 一种手语识别方法及系统
CN109272153A (zh) * 2018-09-10 2019-01-25 合肥巨清信息科技有限公司 一种旅游景区人流预警系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106254722A (zh) * 2016-07-15 2016-12-21 北京邮电大学 一种视频超分辨率重建方法和装置
CN109063615A (zh) * 2018-07-20 2018-12-21 中国科学技术大学 一种手语识别方法及系统
CN109272153A (zh) * 2018-09-10 2019-01-25 合肥巨清信息科技有限公司 一种旅游景区人流预警系统

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
李玲慧: "基于深度卷积神经网络和时空特征的视频重建研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *
李玲慧等: "基于时空特征和神经网络的视频超分辨率算法", 《北京邮电大学学报》 *
梁美玉等: "基于时空非局部相似性的视频超分辨率重建", 《系统科学与数学》 *
耿月: "旅游景区视频异常事件检测与识别", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *
董晓栋: "基于双层条件随机场的人体行为识别研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *
贾利民等: "《普通高等教育铁道部规划教材 铁路运输安全工程》", 30 June 2013, 北京：中国铁道出版社 *
高文等: "《数字图书馆 原理与技术实现》", 31 October 2000, 北京：清华大学出版社 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111353637B (zh) * 2020-02-24 2023-11-07 北京工业大学 一种基于时空序列的大型活动突发事件预测分层架构和方法
CN111353637A (zh) * 2020-02-24 2020-06-30 北京工业大学 一种基于时空序列的大型活动突发事件预测分层架构和方法
CN111402585A (zh) * 2020-03-25 2020-07-10 中南大学 偶发性拥堵路径的探测方法
CN112101382B (zh) * 2020-09-11 2022-10-14 北京航空航天大学 时空联合模型及基于时空联合模型的视频显著性预测方法
CN112101382A (zh) * 2020-09-11 2020-12-18 北京航空航天大学 时空联合模型及基于时空联合模型的视频显著性预测方法
CN112380915A (zh) * 2020-10-21 2021-02-19 杭州未名信科科技有限公司 视频监控异常事件的检测方法、系统、设备和存储介质
CN113095247A (zh) * 2021-04-19 2021-07-09 武汉伽域信息科技有限公司 基于视频监控技术的旅游景点游客安全实时在线监测管理系统
CN113095247B (zh) * 2021-04-19 2022-07-26 山东大千管理咨询有限公司 基于视频监控技术的旅游景点游客安全实时在线监测管理系统
CN113420722B (zh) * 2021-07-21 2023-02-17 上海塞嘉电子科技有限公司 一种机场安全管理平台的突发事件联动方法及系统
CN113420722A (zh) * 2021-07-21 2021-09-21 上海塞嘉电子科技有限公司 一种机场安全管理平台的突发事件联动方法及系统
CN114627413A (zh) * 2022-03-11 2022-06-14 电子科技大学 视频密集事件内容理解方法
CN115830489A (zh) * 2022-11-03 2023-03-21 南京小网科技有限责任公司 一种基于ai识别的智能动态分析系统
CN115830489B (zh) * 2022-11-03 2023-10-20 南京小网科技有限责任公司 一种基于ai识别的智能动态分析系统
CN116310883A (zh) * 2023-05-17 2023-06-23 山东建筑大学 基于遥感图像时空融合的农业灾害预测方法及相关设备
CN116310883B (zh) * 2023-05-17 2023-10-20 山东建筑大学 基于遥感图像时空融合的农业灾害预测方法及相关设备

Similar Documents

Publication Publication Date Title
CN110826429A (zh) 一种基于景区视频的旅游突发事件自动监测的方法及系统
CN110807385B (zh) 目标检测方法、装置、电子设备及存储介质
Huang et al. Fire detection in video surveillances using convolutional neural networks and wavelet transform
Amato et al. Deep learning for decentralized parking lot occupancy detection
Kalsotra et al. Background subtraction for moving object detection: explorations of recent developments and challenges
Liu et al. FPCNet: Fast pavement crack detection network based on encoder-decoder architecture
Guo et al. A novel transformer-based network with attention mechanism for automatic pavement crack detection
CN112861690A (zh) 多方法融合的遥感影像变化检测方法及系统
Shijila et al. Simultaneous denoising and moving object detection using low rank approximation
Tao et al. Smoke vehicle detection based on multi-feature fusion and hidden Markov model
CN114529873A (zh) 目标检测方法及应用其的城市违规事件监测方法
Kim et al. Video anomaly detection using cross u-net and cascade sliding window
Hu et al. Parallel spatial-temporal convolutional neural networks for anomaly detection and location in crowded scenes
Srividhya et al. [Retracted] A Machine Learning Algorithm to Automate Vehicle Classification and License Plate Detection
Tao et al. Smoke vehicle detection based on robust codebook model and robust volume local binary count patterns
CN113724286A (zh) 显著性目标的检测方法、检测设备及计算机可读存储介质
Cheng et al. Embankment crack detection in UAV images based on efficient channel attention U2Net
Cano-Ortiz et al. An end-to-end computer vision system based on deep learning for pavement distress detection and quantification
CN110503049B (zh) 基于生成对抗网络的卫星视频车辆数目估计方法
CN116310868A (zh) 一种多层次注意力交互的云雪辩识方法、设备及存储介质
Shit et al. An encoder‐decoder based CNN architecture using end to end dehaze and detection network for proper image visualization and detection
CN114332644B (zh) 一种基于视频卫星数据的大视场交通密度获取方法
Wu et al. Research on asphalt pavement disease detection based on improved YOLOv5s
CN115331162A (zh) 一种跨尺度红外行人检测方法、系统、介质、设备及终端
Anees et al. Deep learning framework for density estimation of crowd videos

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200221