CN112291478B - 一种高空抛坠物的监测方法、装置、设备及存储介质 - Google Patents
一种高空抛坠物的监测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN112291478B CN112291478B CN202011223316.9A CN202011223316A CN112291478B CN 112291478 B CN112291478 B CN 112291478B CN 202011223316 A CN202011223316 A CN 202011223316A CN 112291478 B CN112291478 B CN 112291478B
- Authority
- CN
- China
- Prior art keywords
- local
- point
- dropping
- image
- panoramic monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 168
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000000007 visual effect Effects 0.000 claims abstract description 20
- 238000004590 computer program Methods 0.000 claims description 5
- 238000012806 monitoring device Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 239000013598 vector Substances 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000004886 process control Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Abstract
本发明实施例公开了一种高空抛坠物的监测方法、装置、设备及存储介质，该方法包括：通过全景监控组件获取全景监控视频，若确定全景监控视频中存在抛坠物体，则在全景监控视频中确定抛坠物体的抛坠点；在全景监控视频中，确定局部拍摄组件的局部拍摄图像与抛坠点的相对位置信息；根据相对位置信息，调整局部拍摄组件的拍摄视角，以使局部拍摄组件的局部拍摄图像的中心点与抛坠点重合，并通过局部拍摄组件获取抛坠点的实时图像。本发明实施例提供的技术方案，实现了对监控视频中抛坠物体的有效监测，提高了高空抛坠物的监测时效性，同时，获取到抛掷点的实时图像信息，为抛掷物的定位及后续的责任追究提供了事实依据。
Description
技术领域
本发明实施例涉及监控技术领域，尤其涉及一种高空抛坠物的监测方法、装置、终端设备及存储介质。
背景技术
科技的不断进步使得视频监控技术被广泛应用于社会生活中，伴随着越来越多的高层建筑平地而起，对于抛坠物体的有效监测，成为了保证社会生活安全的重要技术手段。
现有的针对高空抛坠物的监测方案中，通过在楼体外部布设摄像头，对楼体外墙进行实时的视频录像，由工作人员通过人工的方式对监控画面前进行观察，以监测抛坠物体行为的发生，而在抛坠物行为发生后，通常由物业或街道等相关单位对录像进行人工复看，查找抛坠物体发生的录像片段。
但这样的监测方式，不但需要消耗大量的人力成本，而且疲劳和环境噪声等因素极易导致人的注意力分散，存在较大的安全隐患，而在发生高空抛坠物后，人工复看则存在较大的被动性和滞后性，无法及时确定抛坠点的位置信息。
发明内容
本发明实施例提供了一种高空抛坠物的监测方法、装置、设备及存储介质，以对监控视频中的抛坠物进行监测，并及时获取抛坠点的图像信息。
第一方面，本发明实施例提供了一种高空抛坠物的监测方法，包括：
通过全景监控组件获取全景监控视频，并判断所述全景监控视频中是否存在抛坠物体；
若确定所述全景监控视频中存在抛坠物体，则在所述全景监控视频中确定所述抛坠物体的抛坠点；
通过局部拍摄组件获取局部拍摄图像，并在所述全景监控视频中，确定所述局部拍摄图像与所述抛坠点的相对位置信息；
根据所述相对位置信息，调整所述局部拍摄组件的拍摄视角，以使所述局部拍摄组件的局部拍摄图像的中心点与所述抛坠点重合，并通过所述局部拍摄组件获取所述抛坠点的实时图像。
第二方面，本发明实施例提供了一种高空抛坠物的监测装置，包括：
抛坠物体确定模块，用于通过全景监控组件获取全景监控视频，并判断所述全景监控视频中是否存在抛坠物体；
抛坠点获取模块，用于若确定所述全景监控视频中存在抛坠物体，则在所述全景监控视频中确定所述抛坠物体的抛坠点；
相对位置信息获取模块，用于通过局部拍摄组件获取局部拍摄图像，并在所述全景监控视频中，确定所述局部拍摄图像与所述抛坠点的相对位置信息；
实时图像拍摄模块，用于根据所述相对位置信息，调整所述局部拍摄组件的拍摄视角，以使所述局部拍摄组件的局部拍摄图像的中心点与所述抛坠点重合，并通过所述局部拍摄组件获取所述抛坠点的实时图像。
第三方面，本发明实施例还提供了一种终端设备，所述终端设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例所述的高空抛坠物的监测方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例所述的高空抛坠物的监测方法。
本发明实施例提供的技术方案，在确定全景监控视频中存在抛坠物体，并在确定抛掷点位置后，获取局部拍摄组件的局部拍摄图像与所述抛坠点的相对位置信息，进而调整局部拍摄组件的拍摄视角，以使局部拍摄图像的中心点与所述抛坠点重合，并通过局部拍摄组件获取抛坠点的实时图像，实现了对监控视频中抛坠物体的有效监测，提高了高空抛坠物的监测时效性，同时，获取到抛掷点的实时图像信息，为抛掷物的定位及后续的责任追究提供了事实依据。
附图说明
图1A是本发明实施例一提供的一种高空抛坠物的监测方法的流程图；
图1B是本发明实施例一提供的全景监控组件、局部拍摄组件和建筑物的位置示意图；
图1C是本发明实施例一提供的背景差分的计算流程图；
图1D是本发明实施例一提供的二值化标记图像帧的示意图；
图1E是本发明实施例一提供的全景监控视频中抛坠点的位置示意图；
图1F是本发明实施例一提供的全景监控视频中局部拍摄图像和抛坠点的位置示意图；
图1G是本发明实施例一提供的PID算法的流程示意图；
图2是本发明实施例二提供的一种高空抛坠物的监测装置的结构框图；
图3是本发明实施例三提供的一种终端设备的结构框图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1A为本发明实施例一提供的一种高空抛坠物的监测方法的流程图，本实施例可适用于对监控视频中的抛坠物体进行监测，并实时获取抛坠点的图像信息，该方法可以由本发明实施例中的高空抛坠物的监测装置来执行，该装置可以通过软件和/或硬件实现，并集成在终端设备中，典型的，可以集成在连接有全景监控组件和局部拍摄组件的工控计算机中，该方法具体包括如下步骤：
S110、通过全景监控组件获取全景监控视频，并判断所述全景监控视频中是否存在抛坠物体。
如图1B所示，全景监控组件安装于建筑物前方的地面位置，并以一定的倾斜角度(例如，大于等于60度且小于90度的倾斜角度)向上拍摄该建筑物，以获取建筑物的全貌，进而对该建筑物附近的抛坠物体进行监测；局部拍摄组件同样安装于建筑物前方的地面位置，并与拍摄角度调节装置连接，可以通过对拍摄角度调节装置的控制，调节局部拍摄组件的拍摄角度；全景监控组件的拍摄视角为固定视角，局部拍摄组件的拍摄视角为活动视角，且全景监控组件的固定视角可以覆盖局部拍摄组件的所有拍摄视角；全景监控组件可以为广角摄像机，以使拍摄视角能对建筑物全貌进行覆盖，局部拍摄组件可以为长焦相机，以拍摄清晰的建筑物局部图像；拍摄角度调节装置包括由两轴伺服电机拖动的云台，局部拍摄组件安装于云台上，通过对两轴伺服电机的控制，拖动云台转动，进而调节局部拍摄组件的拍摄视角；工控计算机分别连接全景监控组件、局部拍摄组件和两轴伺服电机，用于控制全景监控组件、局部拍摄组件和两轴伺服电机的运行，并对全景监控组件中的全景监控视频和局部拍摄组件中的局部拍摄图像进行图像识别及处理。
在获取到全景监控组件的全景监控视频时，通过图像识别技术，可以对视频中的各视频图像帧进行识别，以确定视频中是否存在抛坠物体。可选的，在本发明实施例中，所述通过全景监控组件获取全景监控视频，并判断所述全景监控视频中是否存在抛坠物体，包括：通过全景监控组件获取全景监控视频，将所述全景监控视频的视频图像帧，与背景图像帧进行背景差分，以获取二值化标记图像帧，并判断所述二值化标记图像帧中是否存在运动区域；若所述二值化标记图像帧中存在运动区域，则确定所述全景监控视频中存在抛坠物体；若所述二值化标记图像帧中不存在运动区域，则继续获取下一个视频图像帧，并与背景图像帧进行背景差分。
背景差分是将获取到的视频图像帧与背景图像帧进行差分运算，以检测运动区域的过程；具体的，如图1C所示，在获取到全景监控视频后，将视频图像帧与背景图像帧进行像素相减，以消除各视频图像帧中的背景图像，并将获取到的相减结果(即差分图像)，与预设像素阈值进行比较，以对各差分图像进行二值化标记，获取二值化标记图像帧；其中，若相减结果大于等于预设像素阈值，则表明该视频图像帧中存在运动物体，将差分图像标记为1，并获取对应的运动区域，即差分图像中像素不为0的区域；若相减结果小于预设像素阈值，则表明该视频图像帧中不存在运动物体，将差分图像标记为0，即差分图像为空白图像，差分图像中任意区域的像素均为0；如图1D所示，为一个包括运动区域的二值化标记图像帧，除了运动区域外，其它区域的像素均为0。
背景图像帧，可以是全景监控视频中的一个指定的视频图像帧，即以静态视频帧的方式，选取固定的视频图像帧作为背景图像帧；也可以根据视频中的场景信息，例如，时间和/或天气，指定不同的视频图像帧分别作为不同场景下的背景图像帧，并组成背景图像帧备选集合，在获取到全景监控视频的视频图像帧后，根据当前的场景信息，在备选集合中选定匹配的背景图像帧，避免不同的场景信息对背景图像的影响；还可以根据一段时间内的历史视频图像帧，构建背景图像帧，以反映过去一段时间内背景图像的变化情况，即以动态模型的方式获取背景图像帧，例如，中值法背景模型，即将一段时间内的连续多帧图像序列中，对应位置的像素点灰度值按从小到大排列，然后取中间值作为背景图像中对应像素点的灰度值；均值法背景模型，即将一段时间内的连续多帧图像序列中，对应位置的像素点取像素平均值作为背景图像中对应像素点的灰度值；卡尔曼滤波器模型，即将前帧图像作为噪声，用基于卡尔曼滤波理论的时域递归低通滤波来预测变化缓慢的背景图像，在利用前帧图像进行背景更新的同时，确保了背景的稳定性，消除了噪声干扰。
S120、若确定所述全景监控视频中存在抛坠物体，则在所述全景监控视频中确定所述抛坠物体的抛坠点。
当确定全景监控视频中存在抛坠物体后，获取该抛坠物体首次出现在全景监控视频中的视频图像帧，并在该视频图像帧中以坐标的形式表示该物体所在位置的中心点，而该物体所在位置的中心点坐标即为抛坠物体的抛坠点；以上述技术方案为例，若在二值化标记图像帧中确定存在运动区域时，可以将该运动区域的中心点坐标，作为抛坠物体的抛坠点。
可选的，在本发明实施例中，所述若确定所述全景监控视频中存在抛坠物体，则在所述全景监控视频中确定所述抛坠物体的抛坠点，包括：若确定所述全景监控视频中存在抛坠物体，则在所述全景监控视频中，通过矩形框标注所述抛坠物体的抛坠位置，并将所述矩形框的中心点作为所述抛坠物体的抛坠点。矩形框可以是完全覆盖抛坠物体的最小矩形，即与抛坠物体的实际尺寸相适应，也可以是固定尺寸，用于直观的显示抛坠物体的具体位置，如图1E所示，全景监控组件的像素为1920×1080，以全景监控视频拍摄图像的左上角为原点(0,0)，右下角坐标信息为(1920,1080)，矩形框标注了左上角坐标(x1,y1)、右下角坐标(x2,y2)以及中心点坐标(x0,y0)，其中，中心点坐标即表示抛坠物体的抛坠点坐标。
S130、通过局部拍摄组件获取局部拍摄图像，并在所述全景监控视频中，确定所述局部拍摄图像与所述抛坠点的相对位置信息。
由于全景监控组件的拍摄视角，已经完全覆盖局部拍摄组件的所有拍摄视角，因此，局部拍摄组件拍摄的图像必定是全景监控视频中的部分图像内容，因此，在获取到局部拍摄组件的局部拍摄图像后，可以在全景监控视频中，通过图像比对的方式，识别出局部拍摄图像对应的区域，例如，如图1F所示，全景监控组件的像素为1920×1080，以全景监控视频拍摄图像的左上角为原点(0,0)，右下角坐标信息为(1920,1080)，在获取到局部拍摄组件的局部拍摄图像后，通过图像比对的方式，识别出局部拍摄图像在全景监控视频中的位置及对应的坐标，其中，局部拍摄图像的中心点、左上角和右下角在全景监控视频中的坐标分别为(x3,y3)、(x4,y4)、(x5,y5)。
可选的，在本发明实施例中，所述在所述全景监控视频中，确定所述局部拍摄图像与所述抛坠点的相对位置信息，包括：根据尺度不变特征变换算法，在所述全景监控视频中，确定所述局部拍摄图像与所述抛坠点的相对位置信息。尺度不变特征变换(Scale-invariant feature transform，SIFT)，是一种图像匹配及定位方法，其通过在图像的不同尺度空间上查找关键点，并计算出关键点的方向，再对关键点进行描述(对关键点附加详细的描述信息，即为关键点附加局部特征的过程，通常是通过附加描述器来描述该局部特征)，进而根据上述关键点及关键点描述，提取图像的SIFT特征向量。
在本发明实时中，在分别获取到全景监控视频图像和局部拍摄图像的SIFT特征向量后，以SIFT特征向量间的欧式距离作为关键点的相似性判定，根据局部拍摄图像的SIFT特征向量，遍历全景监控视频图像，以获取对应的匹配点，进而获取局部拍摄图像在全景监控视频图像中的相对位置信息；由于SIFT中，选取角点、边缘点、暗区的亮点和/或亮区的暗点等特征点作为关键点，因此，不受图像旋转、尺度缩放以及亮度变化的影响，对视角变化、仿射变换和噪声也同样保持较大程度的稳定性，同时，SIFT具有多量性和高速性的特点，图像中包括极少数的物体也可以产生大量的SIFT特征向量，且SIFT的匹配方式也可满足实时匹配的要求，具有较强的普遍适用性。
S140、根据所述相对位置信息，调整所述局部拍摄组件的拍摄视角，以使所述局部拍摄组件的局部拍摄图像的中心点与所述抛坠点重合，并通过所述局部拍摄组件获取所述抛坠点的实时图像。
局部拍摄组件的局部拍摄图像的中心点与所述抛坠点重合，即已完成了对抛掷点的定位，进而通过局部拍摄组件对该定位区域进行拍摄，相比于全景监控视频，局部拍摄组件能够拍摄到该定位区域的详情图像，为后续的抛坠责任追究提供了事实依据。
可选的，在本发明实施例中，所述根据所述相对位置信息，调整所述局部拍摄组件的拍摄视角，以使所述局部拍摄组件的局部拍摄图像的中心点与所述抛坠点重合，包括：根据所述相对位置信息，通过比例积分微分算法，控制伺服电机的转矩，以通过所述伺服电机调整所述局部拍摄组件的拍摄视角，以使所述局部拍摄组件的局部拍摄图像的中心点与所述抛坠点重合。PID(Proportion Integral Differential，比例积分微分)算法，是一种基于连续系统动态品质校正的过程控制方式，具有控制参数独立且控制参数易获取的特点；通过PID的控制方式，可以有效控制两轴伺服电机的转矩，并通过两轴伺服电机带动云台转动，进而调节云台上方的局部拍摄组件的拍摄视角。如图1G所示，将通过SIFT获取到的相对位置信息，即局部拍摄图像的中心点与抛坠点之间的距离差值作为反馈调节信号，不断修正伺服电机的转矩，以使局部拍摄图像的中心点与抛坠点精准匹配。
可选的，在本发明实施例中，所述通过所述局部拍摄组件获取所述抛坠点的实时图像，包括：对所述局部拍摄组件的局部拍摄图像进行人脸识别，若未在所述局部拍摄图像中获取到人脸信息，则对所述局部拍摄组件的焦距进行调节，直至在所述局部拍摄图像中获取到人脸信息，或所述局部拍摄组件的焦距已调节至最大值，将当前局部拍摄图像作为所述抛坠点的实时图像。在将局部拍摄组件的局部拍摄图像的中心点与所述抛坠点重合，即已对抛掷点进行定位后，可以通过人脸识别技术获取图像中的人脸信息，若未获取到人脸信息，则不断调整局部拍摄组件的焦距，以获取更清晰的图像信息，直至获取到人脸信息时，将当前局部拍摄图像作为该抛掷点的实时图像，为高空抛坠物的责任追究提供事实依据；如果将局部拍摄组件的焦距已调节至最大值，仍未获取到人脸信息，则将最大焦距下的当前局部拍摄图像作为该抛掷点的实时图像，以作为抛掷点的位置凭证。
本发明实施例提供的技术方案，在确定全景监控视频中存在抛坠物体，并在确定抛掷点位置后，获取局部拍摄组件的局部拍摄图像与所述抛坠点的相对位置信息，进而调整局部拍摄组件的拍摄视角，以使局部拍摄图像的中心点与所述抛坠点重合，并通过局部拍摄组件获取抛坠点的实时图像，实现了对监控视频中抛坠物体的有效监测，提高了高空抛坠物的监测时效性，同时，获取到抛掷点的实时图像信息，为抛掷物的定位及后续的责任追究提供了事实依据。
实施例二
图2是本发明实施例二所提供的一种高空抛坠物的监测装置的结构框图，该装置具体包括：抛坠物体确定模块210、抛坠点获取模块220、相对位置信息获取模块230和实时图像拍摄模块240；
抛坠物体确定模块210，用于通过全景监控组件获取全景监控视频，并判断所述全景监控视频中是否存在抛坠物体；
抛坠点获取模块220，用于若确定所述全景监控视频中存在抛坠物体，则在所述全景监控视频中确定所述抛坠物体的抛坠点；
相对位置信息获取模块230，用于通过局部拍摄组件获取局部拍摄图像，并在所述全景监控视频中，确定所述局部拍摄图像与所述抛坠点的相对位置信息；
实时图像拍摄模块240，用于根据所述相对位置信息，调整所述局部拍摄组件的拍摄视角，以使所述局部拍摄组件的局部拍摄图像的中心点与所述抛坠点重合，并通过所述局部拍摄组件获取所述抛坠点的实时图像。
本发明实施例提供的技术方案，在确定全景监控视频中存在抛坠物体，并在确定抛掷点位置后，获取局部拍摄组件的局部拍摄图像与所述抛坠点的相对位置信息，进而调整局部拍摄组件的拍摄视角，以使局部拍摄图像的中心点与所述抛坠点重合，并通过局部拍摄组件获取抛坠点的实时图像，实现了对监控视频中抛坠物体的有效监测，提高了高空抛坠物的监测时效性，同时，获取到抛掷点的实时图像信息，为抛掷物的定位及后续的责任追究提供了事实依据。
可选的，在上述技术方案的基础上，所述全景监控组件包括广角摄像组件，所述局部拍摄组件包括长焦相机。
可选的，在上述技术方案的基础上，相对位置信息获取模块230，具体用于根据尺度不变特征变换算法，在所述全景监控视频中，确定所述局部拍摄图像与所述抛坠点的相对位置信息。
可选的，在上述技术方案的基础上，实时图像拍摄模块240，具体用于根据所述相对位置信息，通过比例积分微分算法，控制伺服电机的转矩，以通过所述伺服电机调整所述局部拍摄组件的拍摄视角，以使所述局部拍摄组件的局部拍摄图像的中心点与所述抛坠点重合。
可选的，在上述技术方案的基础上，抛坠点获取模块220，具体用于若确定所述全景监控视频中存在抛坠物体，则在所述全景监控视频中，通过矩形框标注所述抛坠物体的抛坠位置，并将所述矩形框的中心点作为所述抛坠物体的抛坠点。
可选的，在上述技术方案的基础上，实时图像拍摄模块240，具体还用于对所述局部拍摄组件的局部拍摄图像进行人脸识别，若未在所述局部拍摄图像中获取到人脸信息，则对所述局部拍摄组件的焦距进行调节，直至在所述局部拍摄图像中获取到人脸信息，或所述局部拍摄组件的焦距已调节至最大值，将当前局部拍摄图像作为所述抛坠点的实时图像。
可选的，在上述技术方案的基础上，抛坠物体确定模块210，包括：
运动区域获取单元，用于通过全景监控组件获取全景监控视频，将所述全景监控视频的视频图像帧，与背景图像帧进行背景差分，以获取二值化标记图像帧，并判断所述二值化标记图像帧中是否存在运动区域；
抛坠物体确定单元，用于若所述二值化标记图像帧中存在运动区域，则确定所述全景监控视频中存在抛坠物体。
可选的，在上述技术方案的基础上，抛坠点获取模块220，具体还用于若确定所述全景监控视频中存在抛坠物体，则根据所述二值化标记图像帧确定所述抛坠物体的抛坠点。
上述装置可执行本发明任意实施例所提供的高空抛坠物的监测方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明任意实施例提供的方法。
实施例三
图3为本发明实施例三提供的一种终端设备的结构示意图。图3示出了适于用来实现本发明实施方式的示例性设备12的框图。图3显示的设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图3所示，设备12以通用计算设备的形式表现。设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图3未显示，通常称为“硬盘驱动器”)。尽管图3中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。系统存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如系统存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该设备12交互的设备通信，和/或与使得该设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与设备12的其它模块通信。应当明白，尽管图中未示出，可以结合设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明任意实施例提供的高空抛坠物的监测方法。也即：通过全景监控组件获取全景监控视频，并判断所述全景监控视频中是否存在抛坠物体；若确定所述全景监控视频中存在抛坠物体，则在所述全景监控视频中确定所述抛坠物体的抛坠点；通过局部拍摄组件获取局部拍摄图像，并在所述全景监控视频中，确定所述局部拍摄图像与所述抛坠点的相对位置信息；根据所述相对位置信息，调整所述局部拍摄组件的拍摄视角，以使所述局部拍摄组件的局部拍摄图像的中心点与所述抛坠点重合，并通过所述局部拍摄组件获取所述抛坠点的实时图像。
实施例四
本发明实施例四还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所述的高空抛坠物的监测方法；该方法包括：
通过全景监控组件获取全景监控视频，并判断所述全景监控视频中是否存在抛坠物体；
若确定所述全景监控视频中存在抛坠物体，则在所述全景监控视频中确定所述抛坠物体的抛坠点；
通过局部拍摄组件获取局部拍摄图像，并在所述全景监控视频中，确定所述局部拍摄图像与所述抛坠点的相对位置信息；
根据所述相对位置信息，调整所述局部拍摄组件的拍摄视角，以使所述局部拍摄组件的局部拍摄图像的中心点与所述抛坠点重合，并通过所述局部拍摄组件获取所述抛坠点的实时图像。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (9)
1.一种高空抛坠物的监测方法，其特征在于，包括：
通过全景监控组件获取全景监控视频，并判断所述全景监控视频中是否存在抛坠物体；
若确定所述全景监控视频中存在抛坠物体，则在所述全景监控视频中确定所述抛坠物体的抛坠点；
通过局部拍摄组件获取局部拍摄图像，并在所述全景监控视频中，确定所述局部拍摄图像与所述抛坠点的相对位置信息；
根据所述相对位置信息，调整所述局部拍摄组件的拍摄视角，以使所述局部拍摄组件的局部拍摄图像的中心点与所述抛坠点重合，并通过所述局部拍摄组件获取所述抛坠点的实时图像；
其中，所述通过全景监控组件获取全景监控视频，并判断所述全景监控视频中是否存在抛坠物体，包括：
通过全景监控组件获取全景监控视频，将所述全景监控视频的视频图像帧，与背景图像帧进行背景差分，以获取二值化标记图像帧，并判断所述二值化标记图像帧中是否存在运动区域；
若所述二值化标记图像帧中存在运动区域，则确定所述全景监控视频中存在抛坠物体；
所述若确定所述全景监控视频中存在抛坠物体，则在所述全景监控视频中确定所述抛坠物体的抛坠点，包括：
若确定所述全景监控视频中存在抛坠物体，则根据所述二值化标记图像帧确定所述抛坠物体的抛坠点。
2.根据权利要求1所述的方法，其特征在于，所述全景监控组件包括广角摄像组件，所述局部拍摄组件包括长焦相机。
3.根据权利要求1所述的方法，其特征在于，所述在所述全景监控视频中，确定所述局部拍摄图像与所述抛坠点的相对位置信息，包括：
根据尺度不变特征变换算法，在所述全景监控视频中，确定所述局部拍摄图像与所述抛坠点的相对位置信息。
4.根据权利要求1所述的方法，其特征在于，所述根据所述相对位置信息，调整所述局部拍摄组件的拍摄视角，以使所述局部拍摄组件的局部拍摄图像的中心点与所述抛坠点重合，包括：
根据所述相对位置信息，通过比例积分微分算法，控制伺服电机的转矩，以通过所述伺服电机调整所述局部拍摄组件的拍摄视角，以使所述局部拍摄组件的局部拍摄图像的中心点与所述抛坠点重合。
5.根据权利要求1所述的方法，其特征在于，所述若确定所述全景监控视频中存在抛坠物体，则在所述全景监控视频中确定所述抛坠物体的抛坠点，包括：
若确定所述全景监控视频中存在抛坠物体，则在所述全景监控视频中，通过矩形框标注所述抛坠物体的抛坠位置，并将所述矩形框的中心点作为所述抛坠物体的抛坠点。
6.根据权利要求1所述的方法，其特征在于，所述通过所述局部拍摄组件获取所述抛坠点的实时图像，包括：
对所述局部拍摄组件的局部拍摄图像进行人脸识别，若未在所述局部拍摄图像中获取到人脸信息，则对所述局部拍摄组件的焦距进行调节，直至在所述局部拍摄图像中获取到人脸信息，或所述局部拍摄组件的焦距已调节至最大值，将当前局部拍摄图像作为所述抛坠点的实时图像。
7.一种高空抛坠物的监测装置，其特征在于，包括：
抛坠物体确定模块，用于通过全景监控组件获取全景监控视频，并判断所述全景监控视频中是否存在抛坠物体；
抛坠点获取模块，用于若确定所述全景监控视频中存在抛坠物体，则在所述全景监控视频中确定所述抛坠物体的抛坠点；
相对位置信息获取模块，用于通过局部拍摄组件获取局部拍摄图像，并在所述全景监控视频中，确定所述局部拍摄图像与所述抛坠点的相对位置信息；
实时图像拍摄模块，用于根据所述相对位置信息，调整所述局部拍摄组件的拍摄视角，以使所述局部拍摄组件的局部拍摄图像的中心点与所述抛坠点重合，并通过所述局部拍摄组件获取所述抛坠点的实时图像；
其中，所述抛坠物体确定模块，包括：
运动区域获取单元，用于通过全景监控组件获取全景监控视频，将所述全景监控视频的视频图像帧，与背景图像帧进行背景差分，以获取二值化标记图像帧，并判断所述二值化标记图像帧中是否存在运动区域；
抛坠物体确定单元，用于若所述二值化标记图像帧中存在运动区域，则确定所述全景监控视频中存在抛坠物体；
所述抛坠点获取模块，具体还用于若确定所述全景监控视频中存在抛坠物体，则根据所述二值化标记图像帧确定所述抛坠物体的抛坠点。
8.一种终端设备，其特征在于，所述终端设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的高空抛坠物的监测方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的高空抛坠物的监测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011223316.9A CN112291478B (zh) | 2020-11-05 | 2020-11-05 | 一种高空抛坠物的监测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011223316.9A CN112291478B (zh) | 2020-11-05 | 2020-11-05 | 一种高空抛坠物的监测方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112291478A CN112291478A (zh) | 2021-01-29 |
| CN112291478B true CN112291478B (zh) | 2022-08-30 |
Family
ID=74350516
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011223316.9A Active CN112291478B (zh) | 2020-11-05 | 2020-11-05 | 一种高空抛坠物的监测方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112291478B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113158963B (zh) * | 2021-05-06 | 2024-06-07 | 英特灵达信息技术(深圳)有限公司 | 一种高空抛物的检测方法及装置 |
| CN114332777B (zh) * | 2022-03-08 | 2022-05-17 | 南京甄视智能科技有限公司 | 高空抛物检测方法及装置 |
| CN114973124A (zh) * | 2022-05-12 | 2022-08-30 | 普联技术有限公司 | 高空抛物的监测方法、装置、电子设备和可读存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105163067A (zh) * | 2015-08-12 | 2015-12-16 | 武汉大学 | 一种基于数字图像处理技术的高空抛物取证系统 |
| KR101846006B1 (ko) * | 2017-11-15 | 2018-04-05 | 주식회사 에스씨테크원 | 멀티 센서 ｃｃｔｖ 파노라마 영상에서 얼굴 감지 시스템 및 방법 |
| CN108200339A (zh) * | 2017-12-29 | 2018-06-22 | 北京臻迪科技股份有限公司 | 目标追踪定位方法、系统及摄像装置 |
| CN108419014A (zh) * | 2018-03-20 | 2018-08-17 | 北京天睿空间科技股份有限公司 | 利用全景摄像机和多台抓拍摄像机联动抓拍人脸的方法 |
| CN110458866A (zh) * | 2019-08-13 | 2019-11-15 | 北京积加科技有限公司 | 目标追踪方法及系统 |
| CN111163285A (zh) * | 2018-11-08 | 2020-05-15 | 佳维技术有限公司 | 高空抛坠物监测方法及其系统、计算机可读存储介质 |
| CN111539388A (zh) * | 2020-06-22 | 2020-08-14 | 湖南联智科技股份有限公司 | 一种高空抛物监测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1968405A (zh) * | 2005-11-14 | 2007-05-23 | 耿征 | 广角或超广角全方位视觉监控方法和系统 |
-
2020
- 2020-11-05 CN CN202011223316.9A patent/CN112291478B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105163067A (zh) * | 2015-08-12 | 2015-12-16 | 武汉大学 | 一种基于数字图像处理技术的高空抛物取证系统 |
| KR101846006B1 (ko) * | 2017-11-15 | 2018-04-05 | 주식회사 에스씨테크원 | 멀티 센서 ｃｃｔｖ 파노라마 영상에서 얼굴 감지 시스템 및 방법 |
| CN108200339A (zh) * | 2017-12-29 | 2018-06-22 | 北京臻迪科技股份有限公司 | 目标追踪定位方法、系统及摄像装置 |
| CN108419014A (zh) * | 2018-03-20 | 2018-08-17 | 北京天睿空间科技股份有限公司 | 利用全景摄像机和多台抓拍摄像机联动抓拍人脸的方法 |
| CN111163285A (zh) * | 2018-11-08 | 2020-05-15 | 佳维技术有限公司 | 高空抛坠物监测方法及其系统、计算机可读存储介质 |
| CN110458866A (zh) * | 2019-08-13 | 2019-11-15 | 北京积加科技有限公司 | 目标追踪方法及系统 |
| CN111539388A (zh) * | 2020-06-22 | 2020-08-14 | 湖南联智科技股份有限公司 | 一种高空抛物监测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112291478A (zh) | 2021-01-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109242913B (zh) | 采集器相对参数的标定方法、装置、设备和介质 | |
| CN112291478B (zh) | 一种高空抛坠物的监测方法、装置、设备及存储介质 | |
| CN108805917B (zh) | 空间定位的方法、介质、装置和计算设备 | |
| US10339386B2 (en) | Unusual event detection in wide-angle video (based on moving object trajectories) | |
| WO2022135511A1 (zh) | 运动物体的定位方法、装置、电子设备及存储介质 | |
| CN112037266A (zh) | 一种下落物体的识别方法、装置、终端设备及存储介质 | |
| CN112396116A (zh) | 一种雷电检测方法、装置、计算机设备及可读介质 | |
| CN111738240A (zh) | 区域监测方法、装置、设备及存储介质 | |
| JP6551226B2 (ja) | 情報処理システム、情報処理方法及びプログラム | |
| CN112215037B (zh) | 对象追踪方法及装置、电子设备及计算机可读存储介质 | |
| US20200349360A1 (en) | Population density determination from multi-camera sourced imagery | |
| CN111091584B (zh) | 一种目标跟踪方法、装置、设备和存储介质 | |
| CN116582653B (zh) | 一种基于多摄像头数据融合的智能视频监控方法及系统 | |
| CN111401239B (zh) | 一种视频分析方法、装置、系统、设备及存储介质 | |
| US9473745B2 (en) | System and method for providing live imagery associated with map locations | |
| CN108229281B (zh) | 神经网络的生成方法和人脸检测方法、装置及电子设备 | |
| CN112640419B (zh) | 跟随方法、可移动平台、设备和存储介质 | |
| CN114511592B (zh) | 一种基于rgbd相机和bim系统的人员轨迹追踪方法及系统 | |
| CN116453053B (zh) | 一种火灾检测方法、装置、计算机设备及存储介质 | |
| JP5539565B2 (ja) | 撮像装置及び被写体追跡方法 | |
| CN112184766B (zh) | 一种对象的跟踪方法、装置、计算机设备和存储介质 | |
| CN113364968B (zh) | 一种对焦方法、装置、摄像机和可读存储介质 | |
| CN115514887A (zh) | 视频采集的控制方法、装置、计算机设备和存储介质 | |
| CN113989334A (zh) | 一种视频移动对象的跟踪方法、装置、设备及存储介质 | |
| CN113076822A (zh) | 球型摄像机检测区域识别方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: Room 301-1, floor 3, building 10, Zhongguancun Software Park, No. 8, Dongbeiwang West Road, Haidian District, Beijing 100193 Applicant after: Beijing softong Intelligent Technology Co.,Ltd. Address before: 100193 202, floor 2, building 16, East District, No. 10, northwest Wangdong Road, Haidian District, Beijing Applicant before: Beijing Softcom Smart City Technology Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |