[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN109872483A - 一种入侵警戒光电监测系统及方法 - Google Patents

一种入侵警戒光电监测系统及方法 Download PDF

Info

Publication number
CN109872483A
CN109872483A CN201910133621.XA CN201910133621A CN109872483A CN 109872483 A CN109872483 A CN 109872483A CN 201910133621 A CN201910133621 A CN 201910133621A CN 109872483 A CN109872483 A CN 109872483A
Authority
CN
China
Prior art keywords
invasion
target
suspicious object
tracking
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910133621.XA
Other languages
English (en)
Other versions
CN109872483B (zh
Inventor
范强
雷波
张智杰
徐寅
邹尔博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
717th Research Institute of CSIC
Original Assignee
717th Research Institute of CSIC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 717th Research Institute of CSIC filed Critical 717th Research Institute of CSIC
Priority to CN201910133621.XA priority Critical patent/CN109872483B/zh
Publication of CN109872483A publication Critical patent/CN109872483A/zh
Application granted granted Critical
Publication of CN109872483B publication Critical patent/CN109872483B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Closed-Circuit Television Systems (AREA)

Abstract

本发明公开了一种入侵警戒光电监测系统,包括五个可见光数字相机,一个连续可变焦大变倍长焦相机,一个电动云台,一个警戒平台底座,一个中央控制处理单元,一个显示终端,五个可见光数字相机进行全景图像采集,并送回中央控制处理单元进行处理,当监测到入侵可疑目标后,对其进行识别与分类,并依据设定的警戒级别将目标方位通过中央控制处理单元传送至电动云台,使得长焦相机对准入侵可疑目标,进行持续跟踪,同时将识别结果传至显示终端显示。还公开了其入侵可疑目标识别及跟踪方法。本发明方法可以进行水平全景成像并进行目标识别与跟踪,识别准确率高,利用运动区域确定目标监测区域的方法更加快速,易于实现并保证实时性要求。

Description

一种入侵警戒光电监测系统及方法
技术领域
本发明属于可见光图像目标识别领域,涉及地面周视目标监测跟踪与区域警戒,尤其涉及一种入侵警戒光电监测系统,以及入侵可疑目标识别及跟踪方法。
背景技术
重点区域的安全是社会及企业赖以生存和发展的基础,随着科技进步,犯罪手段更为隐蔽。对周围环境的不间断监视并对入侵可疑目标的准确快速判断,有助于预防盗窃,减少巡逻值班人员工作强度,提高效率。一般来说,具有安全威胁的车辆与人员在场景中总是运动的,并有接近警戒区域的运动趋势。
安防警戒技术主要有三种:一种对固定区域内长时间监视,如有入侵可疑目标则抓拍并报警;一种为固定地点不断扫描监视;还有一种为周围环境的全景实时监视。
相比于前两种警戒系统,全景实时监视系统优势明显,利用光电成像设备,可以对需要监控的环境进行周视360°成像,既可以实时对周围的360°场景进行不间断观察,又可以对入侵可疑目标进行告警,是用于重点区域防护的一种有效的方式。
发明内容
本发明的目的之一是针对现有技术中,固定方位监视与巡扫监视难以做到全景区域实时监视、快速捕捉及入侵可疑目标识别错误率高的问题,提供一种能够准确快速对入侵可疑目标监测识别与跟踪的告警系统。
本发明解决其技术问题所采用的技术方案是:一种入侵警戒光电监测系统,包括五个可见光数字相机,用于实现全景图像采集;一个连续可变焦大变倍长焦相机,用于感兴趣目标的跟踪与抓拍;一个电动云台,用于控制长焦相机水平转动和俯仰运动;一个警戒平台底座,用于承载电动云台、长焦相机和可见光数字相机;一个中央控制处理单元,用于图像采集、处理,目标识别、跟踪,以及电动云台的控制;一个显示终端,用于人机交互、图像显示与威胁告警;五个可见光数字相机进行全景图像采集,并送回中央控制处理单元进行处理,当监测到入侵可疑目标后,对其进行识别与分类,并依据设定的警戒级别将目标方位通过中央控制处理单元传送至电动云台,使得长焦相机对准入侵可疑目标,进行持续跟踪,同时将识别结果传至显示终端显示。
本发明的目的之二是提供一种基于上述入侵警戒光电监测系统的入侵可疑目标识别及跟踪方法,包括如下步骤:
S1、将五个可见光数字相机构成的全景相机设于警戒平台底座上,用于获取水平全周视360°范围内的场景图像;将一个长焦相机安装于电动云台上,再置于警戒平台底座上,用于对感兴趣目标进行观察与跟踪;
S2、对监视全景区域进行入侵可疑目标监测,并根据当前拍摄的外界环境设定自适应阈值,当监测到运动目标时,比较相邻帧差分结果与自适应阈值,判定目标区域;
S3、对S2步骤中目标区域内的入侵可疑目标进行可疑目标的识别及分类;
S4、可以依据预先设定的警戒级别,人为或自动对入侵可疑目标进行跟踪;
S5、基于入侵可疑目标的坐标,控制电动云台转动,使长焦相机持续对准入侵可疑目标,并在显示终端上显示图像与告警结果。
所述的入侵可疑目标识别及跟踪方法,其步骤S2中确定运动目标的方法包括如下步骤:
S21、通过全景相机不断对周围环境进行拍摄,建立背景模型,并将该背景模型作为其余帧做差值的标准;
S22、设定阈值,将全景相机拍摄到的当前帧与背景模型进行差分运算,大于阈值的区域判定为运动区域;
S23、由于受到光照、湿度、风力情况导致的晃动等因素影响,持续拍摄的背景变化缓慢,因此设定动态的自适应阈值,以适应多种天气变化导致的背景模板不同;
S24、自适应阈值设置为:
AdpBG(x,y,t)=αL(x,y,t)+βH(x,y,t)+γW(x,y,t)
上式中的AdpBG(x,y,t)表示自适应阈值,受像素点位置及时间的影响,L表示光照因素,α为权重因子,H表示湿度因素,β为权重因子,W表示风力因素,γ为权重因子,所述影响阈值的三个因素,可以通过当时环境情况获得初始值,其范围约束为:
L+H+W=255
α+β+γ=1;
依据每天的早、中、晚三个时间段,及晴天、阴天、雨天等不同天气情况调整光照因素,依据天气湿度变化调整湿度因素和风力情况;
S25、基于设定的自适应阈值,将当前帧图像中像素点与自适应阈值进行差分运算,查找当前帧中满足的区域,将与背景有显著差异的区域确认为目标区域:
D(x,y,t)=|f(x,y,t)-f(x,y,t-1)|
上式中的D(x,y,t)表示差分结果,ROI(x,y,t)表示运动图像,该图像中的非零像素为运动目标所在区域。
所述的入侵可疑目标识别及跟踪方法,其步骤S3中对入侵可疑目标进行识别的方法包括如下步骤:
S31、对选取的ROI区域进一步通过形态学处理,进行区域填充,考虑到全景相机的分辨率一般不低于1920×1080,为了便于目标快速分类,目标区域不宜选择过小;
S32、选取卷积神经网络作为网络模型,并在网络最后添加额外的卷积层,通过卷积层的运算使得特征尺度减小;
S33、以ImageNet图像库中的图像数据为基础,加入其它所需监测的入侵可疑目标,构建自建数据库作为卷积神经网络训练的正样本,通过反向传播算法进行训练,得到入侵可疑目标识别网络模型。
所述的入侵可疑目标识别及跟踪方法,其步骤S4中对入侵可疑目标跟踪的方法包括如下步骤:
S41、对于某个希望可以持续跟踪拍摄的目标物,可以人为选择矩形区域,也可根据预先设定的入侵可疑目标威胁程度,选择优先跟踪的目标;
S42、选定矩形区域后,选择相邻两帧作为全卷积非对称孪生网络的输入,其中第一帧x'为模板图片,下一帧图像z'为测试图片,对应目标物搜索图像,用于在矩形区域内利用滑动窗口进行搜索,从而确定目标物的真正位置;
S43、将这两张图像分别用学习参数为ρ的卷积神经网络CNN处理,而两个CNN网络结构分别由卷积层、归一化层、非线性激活层、池化层、卷积层、归一化层、非线性激活层、池化层、卷积层、非线性激活、卷积层、非线性激活、卷积层、非线性激活构成;
S44、在每帧中重新计算一个新模板,然后将其与前一个移动平均模板结合起来,为了实现实时跟踪,在全卷积非对称孪生网络中一个网络后加入相关滤波,并将网络两个分支做互相关:
hρ,s,b(x',z')=sω(fρ(x'))*fρ(z')+b
上式中的ω=ω(x)为互相关滤波模块,从一个训练特征映射x=fρ(x'),通过在频域中求解岭回归问题,计算一个标准的相关滤波器模板ω;同时需要引入标量参数幅度s和偏置b,使分数范围适合回归,然后进行离线训练;
S45、每两张图像的互相关结果都用一个标签ci的空间映射来表达,其值范围{-1,1},真实对象位置属于正类,用1表示,所有其他属性属于负类,用-1表示;
S46、定义损失函数,并在训练集上最小化损失函数l:
在训练过程中,需要提供一个大区域的相关滤波器,为了减少圆形边界对结果的影响,x'特征映射被预乘以一个余弦窗口,最后对模板进行裁剪,回归的代价函数如下:
上式中的ω是长度为n的向量,不包括截距项的系数θ0;θ是长度为n+1的向量,包括截距项的系数θ0;m为样本数;n为特征数;
S47、训练好网络,做目标跟踪时,只需要基于前向模型进行计算,其特征映射中最大值就是目标位置。
所述的入侵可疑目标识别及跟踪方法,其步骤S5中控制电动云台运动的方法包括如下步骤:
S51、以某一可见光数字相机的图像中心作为方位轴的0°,以其为1号相机,则其顺时针方向第二个可见光数字相机的图像中心为方位轴的72°,则其它几个可见光数字相机的图像中心分别对应方位轴的144°,216°,288°;
S52、由于可见光数字相机水平方向视场大于72°,相邻相机间视场存在重叠,假设水平方向两相邻相机的视场存在n个像素重叠,令相机的分辨率为M×N,其图像上一点p的坐标为(x,y),则k(k=1,2,…,5)号可见光数字相机的x方向坐标与方向角θ与俯仰角的对应关系可按如下确定:
S53、当目标区域小于100×100时,根据目标区域中心坐标计算得到运动目标所在方位角,中央控制处理单元向电动云台发送运动指令,使电动云台上的连续可变焦大变倍长焦相机对准目标区域,同时调节其焦距,使目标区域在100×100与400×400之间,然后按照S2中的步骤进行目标识别,并进行标记。
本发明产生的有益效果是:本发明采用了全景成像与细节观察相结合的方法,利用运动目标监测方法快速发现周围的运动物体,并利用卷积神经网络进行运动目标的识别,并基于预先设定警戒情况选择感兴趣目标实时跟踪,对于远距离目标还能进行放大观察与识别。
与当前的工程化方法相比,本发明方法可以进行水平全景成像并进行目标识别与跟踪,所使用的工程化实现算法与人工特征提取方法相比,识别准确率更高,与SSD等目标监测方法相比,利用运动区域确定目标监测区域的方法更加快速,易于实现并保证实时性要求。
附图说明
图1是本发明实施例的结构示例图;
图2是本发明中央控制处理单元的结构示意图;
图3是本发明实施例入侵可疑目标的监测跟踪流程图。
图中各附图标记为:1—长焦相机,2—电动云台,3—可见光数字相机,4—警戒平台底座,5—单板电脑。
具体实施方式
下面结合附图对本发明作进一步说明。
参照图1所示,本发明公开的一种入侵警戒光电监测系统,包括五个可见光数字相机3,用于实现全景图像采集;一个连续可变焦大变倍长焦相机1,用于感兴趣目标的跟踪与抓拍;一个电动云台2,用于控制长焦相机1水平转动和俯仰运动;一个警戒平台底座4,用于承载电动云台2、长焦相机1和可见光数字相机3(全景相机),可由内设单板电脑5的处理单元机箱替代;一个中央控制处理单元,用于图像采集、处理,目标识别、跟踪,以及电动云台2的控制;一个显示终端,用于人机交互、图像显示与威胁告警;五个可见光数字相机3进行全景图像采集,并送回中央控制处理单元进行处理,当监测到入侵可疑目标后,对其进行识别与分类,并依据设定的警戒级别将目标方位通过中央控制处理单元传送至电动云台2,使得长焦相机1对准入侵可疑目标,进行持续跟踪,同时将识别结果传至显示终端显示。
参照图1、图2所示,本发明的中央控制处理单元用于加载双模警戒目标识别软件,包括顺序连接的图像传感器、图像读取模块、运动感知模块、目标跟踪模块和设备控制模块,所述的目标跟踪模块依次连接目标识别模块、人机交互界面后与图像读取模块连接,所述的目标跟踪模块、目标识别模块和人机交互界面均连接设备控制模块,所述的设备控制模块连接图像传感器,所述的运动感知模块与人机交互界面连接。
参照图3所示,本发明公开的一种入侵警戒光电监测系统的入侵可疑目标识别及跟踪方法,包括如下步骤:
第一步,将五个可见光数字相机3构成的全景相机设于警戒平台底座4上,用于获取水平全周视360°范围内的场景图像;将一个长焦相机1安装于电动云台2上,再置于警戒平台底座4上,用于对感兴趣目标进行观察与跟踪。
第二步,对监视全景区域进行入侵可疑目标监测,并根据当前拍摄外界环境设定自适应阈值,当监测到运动目标时,比较相邻帧差分结果与自适应阈值,判定目标区域。具体方法如下。
S21、通过全景相机不断对周围环境进行拍摄,建立背景模型,并将该背景模型作为其余帧做差值的标准。
S22、设定阈值,将全景相机拍摄到的当前帧与背景模型进行差分运算,大于阈值的区域判定为运动区域。
S23、由于受到光照、湿度、风力情况导致的晃动等因素影响,持续拍摄的背景变化缓慢,因此设定动态的自适应阈值,以适应多种天气变化导致的背景模板不同。
S24、自适应阈值设置为:
AdpBG(x,y,t)=αL(x,y,t)+βH(x,y,t)+γW(x,y,t)
上式中的AdpBG(x,y,t)表示自适应阈值,受像素点位置及时间的影响,L表示光照因素,α为权重因子,H表示湿度因素,β为权重因子,W表示风力因素,γ为权重因子,所述影响阈值的三个因素,可以通过当时环境情况获得初始值,其范围约束为:
L+H+W=255
α+β+γ=1;
依据每天的早、中、晚三个时间段,及晴天、阴天、雨天等不同天气情况调整光照因素,依据天气湿度变化调整湿度因素和风力情况。
S25、基于设定的自适应阈值,将当前帧图像中像素点与自适应阈值进行差分运算,查找当前帧中满足的区域,将与背景有显著差异的区域确认为目标区域:
D(x,y,t)=|f(x,y,t)-f(x,y,t-1)|
上式中的D(x,y,t)表示差分结果,ROI(x,y,t)表示运动图像,该图像中的非零像素为运动目标所在区域。
第三步,对S2步骤中目标区域内的入侵可疑目标进行可疑目标的识别及分类。具体方法如下。
S31、对选取的ROI区域进一步通过形态学处理,进行区域填充,考虑到全景相机的分辨率一般不低于1920×1080,为了便于目标快速分类,目标区域不宜选择过小。
S32、选取卷积神经网络作为网络模型,可选择GoogleNet、VGG16或ResNet等通用分类网络模型,并在网络最后添加额外的卷积层,通过卷积层的运算使得特征尺度减小,为了实现网络的快速学习及预测,输入图像的目标区域不宜过大,综合步骤S31,设定输入图像为500×500像素。
S33、以ImageNet图像库中的图像数据为基础,针对性的加入其它所需监测的入侵可疑目标,构建自建数据库作为卷积神经网络训练的正样本,通过反向传播算法进行训练,得到入侵可疑目标识别网络模型。
第四步,可以依据预先设定的警戒级别,人为或自动对入侵可疑目标进行跟踪。具体方法如下。
S41、对于某个希望可以持续跟踪拍摄的目标物,可以人为选择矩形区域,也可根据预先设定的入侵可疑目标威胁程度,选择优先跟踪的目标。
S42、选定矩形区域后,选择相邻两帧作为全卷积非对称孪生网络的输入,其中第一帧x'为模板图片,下一帧图像z'为测试图片,对应目标物搜索图像,用于在矩形区域内利用滑动窗口进行搜索,从而确定目标物的真正位置。全卷积非对称孪生网络是将对称的孪生网络其中一个分支增加了可微分层,构成了非对称孪生网络结构。该可微分层功能用于实现相关滤波及裁剪。
S43、将这两张图像分别用学习参数为ρ的卷积神经网络CNN处理,而两个CNN网络结构分别由卷积层、归一化层、非线性激活层、池化层、卷积层、归一化层、非线性激活层、池化层、卷积层、非线性激活、卷积层、非线性激活、卷积层、非线性激活构成。
S44、在每帧中重新计算一个新模板,然后将其与前一个移动平均模板结合起来,为了实现实时跟踪,在全卷积非对称孪生网络中一个网络后加入相关滤波,并将网络两个分支做互相关:
hρ,s,b(x',z')=sω(fρ(x'))*fρ(z')+b
上式中的ω=ω(x)为互相关滤波模块,从一个训练特征映射x=fρ(x'),通过在频域中求解岭回归问题,计算一个标准的相关滤波器模板ω;同时需要引入标量参数幅度s和偏置b,使分数范围适合回归,然后进行离线训练。
S45、每两张图像的互相关结果都用一个标签ci的空间映射来表达,其值范围{-1,1},真实对象位置属于正类,用1表示,所有其他属性属于负类,用-1表示。
S46、定义损失函数,并在训练集上最小化损失函数l:
在训练过程中,需要提供一个大区域的相关滤波器,为了减少圆形边界对结果的影响,x'特征映射被预乘以一个余弦窗口,最后对模板进行裁剪,回归的代价函数如下:
上式中的ω是长度为n的向量,不包括截距项的系数θ0;θ是长度为n+1的向量,包括截距项的系数θ0;m为样本数;n为特征数。
S47、训练好网络,做目标跟踪时,只需要基于前向模型进行计算,其特征映射中最大值就是目标位置。
第五步,基于入侵可疑目标的坐标,控制电动云台转动,使长焦相机持续对准可疑目标,并在显示终端上显示图像与告警结果。具体方法如下。
S51、以某一可见光数字相机的图像中心作为方位轴的0°,以其为1号相机,则其顺时针方向第二个可见光数字相机的图像中心为方位轴的72°,则其它几个可见光数字相机的图像中心分别对应方位轴的144°,216°,288°。
S52、由于可见光数字相机水平方向视场大于72°,相邻相机间视场存在重叠,假设水平方向两相邻相机的视场存在n个像素重叠,令相机的分辨率为M×N,其图像上一点p的坐标为(x,y),则k(k=1,2,…,5)号可见光数字相机的x方向坐标与方向角θ与俯仰角的对应关系可按如下确定:
S53、当运动目标区域小于100×100时,根据目标区域中心坐标计算得到运动目标所在方位角,中央控制处理单元向电动云台发送运动指令,使电动云台上的连续可变焦大变倍长焦相机对准目标区域,同时调节其焦距,使目标区域在100×100与400×400之间,然后按照S2中的步骤进行目标识别,并进行标记。
本发明不局限于上述最佳实施方式,任何本领域技术人员在本发明的启示下都可以得出其它变形及改进的产品,但不论在其形状或结构上做任何变化,凡是具有与本申请相同或相近似的技术方案,均落在本发明的保护范围之内。

Claims (6)

1.一种入侵警戒光电监测系统,其特征在于:包括
五个可见光数字相机(3),用于实现全景图像采集;
一个长焦相机(1),用于感兴趣目标的跟踪与抓拍;
一个电动云台(2),用于控制长焦相机(1)水平转动和俯仰运动;
一个警戒平台底座(4),用于承载电动云台(2)、长焦相机(1)和可见光数字相机(3);
一个中央控制处理单元,用于图像采集、处理,目标识别、跟踪,以及电动云台(2)的控制;
一个显示终端,用于人机交互、图像显示与威胁告警;
五个可见光数字相机(3)进行全景图像采集,并送回中央控制处理单元进行处理,当监测到入侵可疑目标后,对其进行识别与分类,并依据设定的警戒级别将目标方位通过中央控制处理单元传送至电动云台(2),使得长焦相机(1)对准入侵可疑目标,进行持续跟踪,同时将识别结果传至显示终端显示。
2.一种如权利要求1所述入侵警戒光电监测系统的入侵可疑目标识别及跟踪方法,其特征在于,包括如下步骤:
S1、将五个可见光数字相机(3)构成的全景相机设于警戒平台底座(4)上,用于获取水平全周视360°范围内的场景图像;将一个长焦相机(1)安装于电动云台(2)上,再置于警戒平台底座(4)上,用于对感兴趣目标进行观察与跟踪;
S2、对监视全景区域进行入侵可疑目标监测,并根据当前拍摄的外界环境设定自适应阈值,当监测到运动目标时,比较相邻帧差分结果与自适应阈值,判定目标区域;
S3、对S2步骤中目标区域内的入侵可疑目标进行识别及分类;
S4、依据预先设定的警戒级别,对入侵可疑目标进行跟踪;
S5、基于入侵可疑目标的坐标,控制电动云台(2)转动,使长焦相机(1)持续对准入侵可疑目标,并在显示终端上显示图像与告警结果。
3.根据权利要求2所述的入侵可疑目标识别及跟踪方法,其特征在于,所述的步骤S2中确定运动目标的方法包括如下步骤:
S21、通过全景相机不断对周围环境进行拍摄,建立背景模型,并将该背景模型作为其余帧做差值的标准;
S22、设定阈值,将全景相机拍摄到的当前帧与背景模型进行差分运算,大于阈值的区域判定为运动区域;
S23、设定动态的自适应阈值,以适应多种天气变化导致的背景模板不同;
S24、自适应阈值设置为:
AdpBG(x,y,t)=αL(x,y,t)+βH(x,y,t)+γW(x,y,t)
上式中的AdpBG(x,y,t)表示自适应阈值,受像素点位置及时间的影响,L表示光照因素,α为权重因子,H表示湿度因素,β为权重因子,W表示风力因素,γ为权重因子,所述影响阈值的三个因素,可以通过当时环境情况获得初始值,其范围约束为:
L+H+W=255
α+β+γ=1;
依据每天的早、中、晚三个时间段,及晴天、阴天、雨天等不同天气情况调整光照因素,依据天气湿度变化调整湿度因素和风力情况;
S25、基于设定的自适应阈值,将当前帧图像中像素点与自适应阈值进行差分运算,查找当前帧中满足的区域,将与背景有显著差异的区域确认为目标区域:
D(x,y,t)=|f(x,y,t)-f(x,y,t-1)|
上式中的D(x,y,t)表示差分结果,ROI(x,y,t)表示运动图像,该图像中的非零像素为运动目标所在区域。
4.根据权利要求3所述的入侵可疑目标识别及跟踪方法,其特征在于,所述的步骤S3中对入侵可疑目标进行识别的方法包括如下步骤:
S31、对选取的ROI区域通过形态学处理,进行区域填充;
S32、选取卷积神经网络作为网络模型,并在网络最后添加额外的卷积层,通过卷积层的运算使得特征尺度减小;
S33、以ImageNet图像库中的图像数据为基础,加入其它所需监测的入侵可疑目标,构建自建数据库作为卷积神经网络训练的正样本,通过反向传播算法进行训练,得到入侵可疑目标识别网络模型。
5.根据权利要求4所述的入侵可疑目标识别及跟踪方法,其特征在于,所述的步骤S4中对入侵可疑目标跟踪的方法包括如下步骤:
S41、对于某个希望可以持续跟踪拍摄的目标物,可以人为选择矩形区域,也可根据预先设定的入侵可疑目标威胁程度,选择优先跟踪的目标;
S42、选定矩形区域后,选择相邻两帧作为全卷积非对称孪生网络的输入,其中第一帧x'为模板图片,下一帧图像z'为测试图片,对应目标物搜索图像,用于在矩形区域内利用滑动窗口进行搜索,从而确定目标物的真正位置;
S43、将这两张图像分别用学习参数为ρ的卷积神经网络CNN处理,而两个CNN网络结构分别由卷积层、归一化层、非线性激活层、池化层、卷积层、归一化层、非线性激活层、池化层、卷积层、非线性激活、卷积层、非线性激活、卷积层、非线性激活构成;
S44、在每帧中重新计算一个新模板,然后将其与前一个移动平均模板结合起来,在全卷积非对称孪生网络中一个网络后加入相关滤波,并将网络两个分支做互相关:
hρ,s,b(x',z')=sω(fρ(x'))*fρ(z')+b
上式中的ω=ω(x)为互相关滤波模块,从一个训练特征映射x=fρ(x'),通过在频域中求解岭回归问题,计算一个标准的相关滤波器模板ω;同时需要引入标量参数幅度s和偏置b,使分数范围适合回归,然后进行离线训练;
S45、每两张图像的互相关结果都用一个标签ci的空间映射来表达,其值范围{-1,1},真实对象位置属于正类,用1表示,所有其他属性属于负类,用-1表示;
S46、定义损失函数,并在训练集上最小化损失函数l:
在训练过程中,需要提供一个大区域的相关滤波器,为了减少圆形边界对结果的影响,x'特征映射被预乘以一个余弦窗口,最后对模板进行裁剪,回归的代价函数如下:
上式中的ω是长度为n的向量,不包括截距项的系数θ0;θ是长度为n+1的向量,包括截距项的系数θ0;m为样本数;n为特征数;
S47、训练好网络,做目标跟踪时,只需要基于前向模型进行计算,其特征映射中最大值就是目标位置。
6.根据权利要求2或3或4或5所述的入侵可疑目标识别及跟踪方法,其特征在于,所述的步骤S5中控制电动云台(2)运动的方法包括如下步骤:
S51、以某一可见光数字相机(3)的图像中心作为方位轴的0°,以其为1号相机,则其顺时针方向第二个可见光数字相机(3)的图像中心为方位轴的72°,则其它几个可见光数字相机(3)的图像中心分别对应方位轴的144°,216°,288°;
S52、由于可见光数字相机(3)水平方向视场大于72°,相邻相机间视场存在重叠,假设水平方向两相邻相机的视场存在n个像素重叠,令相机的分辨率为M×N,其图像上一点p的坐标为(x,y),则k(k=1,2,…,5)号可见光数字相机(3)的x方向坐标与方向角θ与俯仰角的对应关系可按如下确定:
S53、当目标区域小于100×100时,根据目标区域中心坐标计算得到运动目标所在方位角,中央控制处理单元向电动云台(2)发送运动指令,使电动云台(2)上的长焦相机(1)对准目标区域,同时调节其焦距,使目标区域在100×100与400×400之间,然后按照S2中的步骤进行目标识别,并进行标记。
CN201910133621.XA 2019-02-22 2019-02-22 一种入侵警戒光电监测系统及方法 Active CN109872483B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910133621.XA CN109872483B (zh) 2019-02-22 2019-02-22 一种入侵警戒光电监测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910133621.XA CN109872483B (zh) 2019-02-22 2019-02-22 一种入侵警戒光电监测系统及方法

Publications (2)

Publication Number Publication Date
CN109872483A true CN109872483A (zh) 2019-06-11
CN109872483B CN109872483B (zh) 2020-09-29

Family

ID=66919125

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910133621.XA Active CN109872483B (zh) 2019-02-22 2019-02-22 一种入侵警戒光电监测系统及方法

Country Status (1)

Country Link
CN (1) CN109872483B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110443247A (zh) * 2019-08-22 2019-11-12 中国科学院国家空间科学中心 一种无人机地面运动小目标实时检测系统及方法
CN111105429A (zh) * 2019-12-03 2020-05-05 华中科技大学 一种一体化无人机检测方法
CN111639765A (zh) * 2020-05-15 2020-09-08 视若飞信息科技(上海)有限公司 一种使用点轨迹和检测域的交互方法
CN112614163A (zh) * 2020-12-31 2021-04-06 华中光电技术研究所(中国船舶重工集团公司第七一七研究所) 一种融合贝叶斯轨迹推理的目标跟踪方法及系统
CN112896879A (zh) * 2021-02-24 2021-06-04 同济大学 一种用于智能环卫车的环境感知系统
CN114285974A (zh) * 2021-12-24 2022-04-05 中国科学院长春光学精密机械与物理研究所 一种全局观察和主动激光跟踪的全景监控系统
CN115052109A (zh) * 2022-08-16 2022-09-13 北京理工大学 一种基于多类型相机的目标定位方法及系统
CN115359609A (zh) * 2022-08-17 2022-11-18 杭州国巡机器人科技有限公司 一种自主驱赶活体入侵的方法及系统
CN115376257A (zh) * 2022-08-17 2022-11-22 杭州国巡机器人科技有限公司 一种自主识别活体侵入的方法及系统
CN116052081A (zh) * 2023-01-10 2023-05-02 山东高速建设管理集团有限公司 一种场地安全实时监测方法、系统、电子设备及存储介质

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140139681A1 (en) * 2012-11-21 2014-05-22 Nettalon Security Systems, Inc. Method and system for monitoring of friend and foe in a security incident
CN104301669A (zh) * 2014-09-12 2015-01-21 重庆大学 基于双摄像头协同的可疑目标检测跟踪与识别方法
CN104704816A (zh) * 2012-09-25 2015-06-10 Sk电信有限公司 从多个拍摄图像检测事件的设备和方法
CN106707296A (zh) * 2017-01-09 2017-05-24 华中科技大学 一种基于双孔径光电成像系统的无人机检测与识别方法
CN107483889A (zh) * 2017-08-24 2017-12-15 北京融通智慧科技有限公司 智慧工地管控平台的隧道监控系统
US20180121731A1 (en) * 2016-11-03 2018-05-03 Nec Laboratories America, Inc. Surveillance system using adaptive spatiotemporal convolution feature representation with dynamic abstraction for video to language translation
JP6336693B1 (ja) * 2016-12-09 2018-06-06 株式会社日立国際電気 水上侵入検知システムおよびその方法
CN108174165A (zh) * 2018-01-17 2018-06-15 重庆览辉信息技术有限公司 电力安全作业及运维智能监管系统及方法
CN108449545A (zh) * 2018-03-29 2018-08-24 北京环境特性研究所 一种监控系统及其应用方法
CN108509946A (zh) * 2018-07-05 2018-09-07 常州纺织服装职业技术学院 一种基于人脸识别的智能楼宇系统
CN108600701A (zh) * 2018-05-02 2018-09-28 广州飞宇智能科技有限公司 一种基于深度学习判断视频行为的监控系统和方法
CN108647577A (zh) * 2018-04-10 2018-10-12 华中科技大学 一种自适应难例挖掘的行人重识别模型、方法与系统
CN108737793A (zh) * 2010-12-30 2018-11-02 派尔高公司 使用摄像机网络跟踪运动对象
CN108810464A (zh) * 2018-06-06 2018-11-13 合肥思博特软件开发有限公司 一种智能人身识别图像优化跟踪传输方法及系统
CN108829848A (zh) * 2018-06-20 2018-11-16 华中科技大学 一种图像检索方法和系统
CN109785562A (zh) * 2018-12-29 2019-05-21 华中光电技术研究所(中国船舶重工集团有限公司第七一七研究所) 一种立式光电地面威胁警戒系统及可疑目标识别方法

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108737793A (zh) * 2010-12-30 2018-11-02 派尔高公司 使用摄像机网络跟踪运动对象
CN104704816A (zh) * 2012-09-25 2015-06-10 Sk电信有限公司 从多个拍摄图像检测事件的设备和方法
US20140139681A1 (en) * 2012-11-21 2014-05-22 Nettalon Security Systems, Inc. Method and system for monitoring of friend and foe in a security incident
CN104301669A (zh) * 2014-09-12 2015-01-21 重庆大学 基于双摄像头协同的可疑目标检测跟踪与识别方法
US20180121731A1 (en) * 2016-11-03 2018-05-03 Nec Laboratories America, Inc. Surveillance system using adaptive spatiotemporal convolution feature representation with dynamic abstraction for video to language translation
JP6336693B1 (ja) * 2016-12-09 2018-06-06 株式会社日立国際電気 水上侵入検知システムおよびその方法
CN106707296A (zh) * 2017-01-09 2017-05-24 华中科技大学 一种基于双孔径光电成像系统的无人机检测与识别方法
CN107483889A (zh) * 2017-08-24 2017-12-15 北京融通智慧科技有限公司 智慧工地管控平台的隧道监控系统
CN108174165A (zh) * 2018-01-17 2018-06-15 重庆览辉信息技术有限公司 电力安全作业及运维智能监管系统及方法
CN108449545A (zh) * 2018-03-29 2018-08-24 北京环境特性研究所 一种监控系统及其应用方法
CN108647577A (zh) * 2018-04-10 2018-10-12 华中科技大学 一种自适应难例挖掘的行人重识别模型、方法与系统
CN108600701A (zh) * 2018-05-02 2018-09-28 广州飞宇智能科技有限公司 一种基于深度学习判断视频行为的监控系统和方法
CN108810464A (zh) * 2018-06-06 2018-11-13 合肥思博特软件开发有限公司 一种智能人身识别图像优化跟踪传输方法及系统
CN108829848A (zh) * 2018-06-20 2018-11-16 华中科技大学 一种图像检索方法和系统
CN108509946A (zh) * 2018-07-05 2018-09-07 常州纺织服装职业技术学院 一种基于人脸识别的智能楼宇系统
CN109785562A (zh) * 2018-12-29 2019-05-21 华中光电技术研究所(中国船舶重工集团有限公司第七一七研究所) 一种立式光电地面威胁警戒系统及可疑目标识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ROSS GIRSHICK 等: "Rich feature hierarchies for accurate object detection and semantic segmentation", 《2014 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
白冰 等: "融合分层卷积特征和尺度自适应核相关滤波器的目标跟踪", 《小型微型计算机系统》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110443247A (zh) * 2019-08-22 2019-11-12 中国科学院国家空间科学中心 一种无人机地面运动小目标实时检测系统及方法
CN111105429A (zh) * 2019-12-03 2020-05-05 华中科技大学 一种一体化无人机检测方法
CN111105429B (zh) * 2019-12-03 2022-07-12 华中科技大学 一种一体化无人机检测方法
CN111639765A (zh) * 2020-05-15 2020-09-08 视若飞信息科技(上海)有限公司 一种使用点轨迹和检测域的交互方法
CN112614163A (zh) * 2020-12-31 2021-04-06 华中光电技术研究所(中国船舶重工集团公司第七一七研究所) 一种融合贝叶斯轨迹推理的目标跟踪方法及系统
CN112896879A (zh) * 2021-02-24 2021-06-04 同济大学 一种用于智能环卫车的环境感知系统
CN114285974A (zh) * 2021-12-24 2022-04-05 中国科学院长春光学精密机械与物理研究所 一种全局观察和主动激光跟踪的全景监控系统
CN115052109A (zh) * 2022-08-16 2022-09-13 北京理工大学 一种基于多类型相机的目标定位方法及系统
CN115052109B (zh) * 2022-08-16 2022-11-29 北京理工大学 一种基于多类型相机的目标定位方法及系统
CN115359609A (zh) * 2022-08-17 2022-11-18 杭州国巡机器人科技有限公司 一种自主驱赶活体入侵的方法及系统
CN115376257A (zh) * 2022-08-17 2022-11-22 杭州国巡机器人科技有限公司 一种自主识别活体侵入的方法及系统
CN116052081A (zh) * 2023-01-10 2023-05-02 山东高速建设管理集团有限公司 一种场地安全实时监测方法、系统、电子设备及存储介质

Also Published As

Publication number Publication date
CN109872483B (zh) 2020-09-29

Similar Documents

Publication Publication Date Title
CN109872483A (zh) 一种入侵警戒光电监测系统及方法
US11410002B2 (en) Ship identity recognition method based on fusion of AIS data and video data
CN105894702B (zh) 一种基于多摄像机数据融合的入侵检测报警系统及其检测方法
CN111242025B (zh) 一种基于yolo的动作实时监测方法
CN109657575B (zh) 室外施工人员智能视频跟踪算法
CN104123544B (zh) 基于视频分析的异常行为检测方法及系统
CN104754302B (zh) 一种基于枪球联动系统的目标检测跟踪方法
AU2012340862B2 (en) Geographic map based control
CN109887040A (zh) 面向视频监控的运动目标主动感知方法及系统
KR100839090B1 (ko) 영상기반 화재감시시스템
CN113052876B (zh) 一种基于深度学习的视频接力跟踪方法及系统
CN103929592A (zh) 全方位智能监控设备及方法
CN109218667B (zh) 一种公共场所安全预警系统和方法
KR101982751B1 (ko) 멀티 카메라를 이용한 이동경로 추적기술이 적용된 영상감시장치
WO2011032117A1 (en) Method and system for wildfire detection using a visible range camera
CN104820995A (zh) 一种面向大型公共场所的人流密度监测预警方法
KR101832274B1 (ko) 영상 촬영에 의한 지능형 방범 시스템 및 그 수행 방법
CN113507577A (zh) 目标对象检测方法、装置、设备及存储介质
CN109785562A (zh) 一种立式光电地面威胁警戒系统及可疑目标识别方法
CN114220044A (zh) 一种基于ai算法的河道漂浮物检测方法
CN110062150A (zh) 一种自动对焦方法及装置
CN108520615B (zh) 一种基于图像的火灾识别系统和方法
CN114782803A (zh) 一种基于压缩采样和图像识别的监测输电线舞动的方法
JPH0737064A (ja) 侵入物体検出方法および検出装置
Fan et al. A robust target recognition and tracking panoramic surveillance system based on deep learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant