CN116863640A - 基于多目标的行为识别和远程监测的警报系统及方法 - Google Patents
基于多目标的行为识别和远程监测的警报系统及方法 Download PDFInfo
- Publication number
- CN116863640A CN116863640A CN202310799601.2A CN202310799601A CN116863640A CN 116863640 A CN116863640 A CN 116863640A CN 202310799601 A CN202310799601 A CN 202310799601A CN 116863640 A CN116863640 A CN 116863640A
- Authority
- CN
- China
- Prior art keywords
- human body
- video
- remote monitoring
- module
- behavior recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 54
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000006835 compression Effects 0.000 claims abstract description 33
- 238000007906 compression Methods 0.000 claims abstract description 33
- 230000005540 biological transmission Effects 0.000 claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 15
- 238000001514 detection method Methods 0.000 claims description 19
- 238000005516 engineering process Methods 0.000 claims description 12
- 230000002159 abnormal effect Effects 0.000 claims description 6
- 230000006399 behavior Effects 0.000 abstract description 40
- 230000006870 function Effects 0.000 abstract description 26
- 238000013461 design Methods 0.000 abstract description 11
- 238000004422 calculation algorithm Methods 0.000 description 14
- 238000012549 training Methods 0.000 description 11
- 238000011161 development Methods 0.000 description 6
- 230000018109 developmental process Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 210000000988 bone and bone Anatomy 0.000 description 4
- 230000032683 aging Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 206010000117 Abnormal behaviour Diseases 0.000 description 2
- 241000512668 Eunectes Species 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000007635 classification algorithm Methods 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 210000003414 extremity Anatomy 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 208000017667 Chronic Disease Diseases 0.000 description 1
- 206010011985 Decubitus ulcer Diseases 0.000 description 1
- 208000004210 Pressure Ulcer Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 210000003423 ankle Anatomy 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000008717 functional decline Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000004630 mental health Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/0202—Child monitoring systems using a transmitter-receiver system carried by the parent and the child
- G08B21/0205—Specific application combined with child monitoring using a transmitter-receiver system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
- G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
- G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
- G08B21/043—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting an emergency event, e.g. a fall
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
- G08B21/0438—Sensor means for detecting
- G08B21/0476—Cameras to detect unsafe condition, e.g. video cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/78—Television signal recording using magnetic recording
- H04N5/781—Television signal recording using magnetic recording on disks or drums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Emergency Management (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Gerontology & Geriatric Medicine (AREA)
- Child & Adolescent Psychology (AREA)
- Signal Processing (AREA)
- Psychology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Alarm Systems (AREA)
Abstract
本发明公开了基于多目标的行为识别和远程监测的警报系统及方法，系统包括：前端采集部分和后端部分；前端采集部分用于人体图像数据的采集、处理和传输；后端部分用于对处理后的所述人体图像数据进行识别估计，完成对人体姿态的远程监测。本发明主要包括人体姿态识别、应用层的设计与实现、视频图像的采集、压缩和传输的设计与实现、以及微信小程序的云服务以实现远程视频监控功能，具有跨平台远程视频监控、无线传输、高实时性和稳定性、智能化监护报警、智能化行为记录等特点，可以较好地为儿童和老人的安全行为等问题进行鉴别。
Description
技术领域
本发明属于人体姿态识别技术领域，具体涉及基于多目标的行为识别和远程监测的警报系统及方法。
背景技术
日常生活中，常有家长将儿童独自留在家中的情况，儿童自身活泼好动，但认知与行为能力较弱，危险行为高发，儿童独自玩耍时磕碰、烧伤、坠楼等伤害性事件时有发生，保护儿童的安全刻不容缓。随着老年期高龄人口的增多，因老化组织器官功能衰退和老年慢性病所引起的跌倒、压疮、长期卧床等问题越来越严重地威胁着老年人的身心健康。要维护和促进老年人身心健康、实现“健康老龄化”，这些老年期常见问题不容忽视。
人体姿态识别就是通过将图片中已检测到的人体关键点正确的联系起来，从而估计人体姿态。人体关键点通常对应人体上有一定自由度的关节，比如颈、肩、肘、腕、腰、膝、踝等，通过对人体关键点在三维空间相对位置的计算，来估计人体当前的姿态。进一步，增加时间序列，看一段时间范围内人体关键点的位置变化，可以更加准确的检测姿态，估计目标未来时刻姿态，以及做更抽象的人体行为分析，比如判断一个人是否在打电话等等。而open Pose是基于卷积神经网络和监督学习并以caffe为框架写成的开源库，可以实现人的面部表情、躯干和四肢甚至手指的跟踪，不仅适用于单人也适用于多人，同时具有较好的鲁棒性。微信小程序，相对于如今的app、web网页、微信公众号等等，具有，不用下载、不占内存、开发成本低、开发周期短等优点，用户可通过添加或者直接打开微信小程序进行用户登录后查看，实现(查看)实时监控。
因此，本发明设计了基于微信小程序、5G通信技术、人体姿态识别技术、深度学习技术的行为记录及危险行为识别监测警报系统。
发明内容
针对现有技术的不足，本发明提出了基于多目标的行为识别和远程监测的警报系统及方法，主要包括人体姿态识别、应用层的设计与实现、视频图像的采集、压缩和传输的设计与实现、以及微信小程序的云服务以实现远程视频监控功能，具有跨平台远程视频监控、无线传输、高实时性和稳定性、智能化监护报警、智能化行为记录等特点，可以较好地为儿童和老人的安全行为等问题进行鉴别。
为实现上述目的，本发明提供了如下方案：
基于多目标的行为识别和远程监测的警报系统，包括：前端采集部分和后端部分；
所述前端采集部分用于人体图像数据的采集、处理和传输；
所述后端部分用于对处理后的所述人体图像数据进行识别估计，完成对人体姿态的远程监测。
优选的，所述前端采集部分包括：视频采集模块、视频图像压缩模块、视频传输模块和视频图像存储模块；
所述视频采集模块用于视频图像的采集；
所述视频图像压缩模块用于对采集到的视频图像进行逐帧压缩；
所述视频传输模块用于将格式压缩后的视频图像通过TCP协议和应用层协议传输到所述后端部分；
所述视频图像存储模块用于将采集的所述视频图像存储在服务器磁盘中。
优选的，所述后端部分包括：行为识别检测模块和报警模块；
所述行为识别检测模块用于利用openpose的姿态识别技术，对处理后的视频图像进行多目标的人体姿态识别估计；
所述报警模块用于当检测到人体姿态异常情况时，自动报警或者以发短信、邮件形式提醒用户。
本发明还提供了一种小程序显示模块，用于显示基于行为识别和远程监测的警报系统。
本发明还提供了基于多目标的行为识别和远程监测的警报方法，包括以下步骤：
对人体图像数据的采集、处理和传输；
对处理后的所述人体图像数据进行识别估计，完成对人体姿态的远程监测。
优选的，对人体图像数据的采集、处理和传输的方法包括：
采集视频图像并将所述视频图像存储在服务器磁盘中；
对采集到的视频图像进行逐帧压缩；
将格式压缩后的视频图像通过TCP协议和应用层协议进行传输。
优选的，对处理后的所述人体图像数据进行识别估计，完成对人体姿态的远程监测的方法包括：
利用openpose的姿态识别技术，对处理后的视频图像进行多目标的人体姿态识别估计；
当检测到人体姿态异常情况时，自动报警或者以发短信、邮件形式提醒用户。
本发明还提供了一种存储介质，包括：所述存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，所述机器可执行指令促使所述处理器实现基于行为识别和远程监测的警报方法。
与现有技术相比，本发明的有益效果为：
本发明的技术关键主要包括人体姿态识别、应用层的设计与实现、视频图像的采集、压缩和传输的设计与实现。在原有的监控系统基础之上增添了行为识别监测功能，监控系统的智能性得到较大的提高，当系统检测儿童或老人的危险行为时，保存视频截图当作证据图，触发报警功能，并通知远程段的家长(亲友)；运用web技术，实现无线远程监控使家长(亲友)能够通过随身携带的计算机或智能移动设备的Web浏览器，随时掌握儿童或老人的行为轨迹，知道儿童或老人现在和过去一段时间内的行为。当检测到危险行为，及时启动屋内警报，并远程通知家长(亲友)，全方位保护在家儿童或老人的安全。本发明的技术方案和现有技术相比，具有以下优点：采用嵌入式web视频远程监控系统设计，成本更加低廉。基于openpose的人体姿态识别技术，仅仅基于2D图像，廉价的普通摄像头，就可以实现多人的、实时的、鲁棒性很好的人体骨骼关节点提取与姿态检测。
附图说明
为了更清楚地说明本发明的技术方案，下面对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中的基于多目标的行为识别和远程监测的警报系统整体框架图；
图2为本发明实施例中的基于多目标的行为识别和远程监测的警报系统的工作原理示意图；
图3为本发明实施例中的对应18个人体骨骼关键点以及骨架图；
图4为本发明实施例中的小程序实现流程图；
图5为本发明实施例中的视频图像采集流程图；
图6为本发明实施例中的视频传输流程图；
图7为本发明实施例中的骨架信息搭建算法整体流程图；
图8为本发明实施例中的骨架信息搭建的算法结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例一
如图1所示，本发明提供了基于多目标的行为识别和远程监测的警报系统，包括：前端采集部分和后端部分；
前端采集部分用于人体图像数据的采集、处理和传输；
后端部分用于对处理后的人体图像数据进行识别估计，完成对人体姿态的远程监测。
在本实施例中，前端采集部分包括：视频采集模块、视频图像压缩模块、视频传输模块和视频图像存储模块；
视频采集模块用于视频图像的采集；
视频图像压缩模块用于对采集到的视频图像进行逐帧压缩；
视频传输模块用于将格式压缩后的视频图像通过TCP协议和应用层协议传输到后端部分；
视频图像存储模块用于将采集的视频图像存储在服务器磁盘中。
具体的：视频图像采集模块的主要工作为视频采集设备的选型和其相应的驱动程序在主控板上的添加。目前市面上主流的视频采集有CCD和CMOS两种镜头，根据实际需求，本发明视频图像采集模块选用IMX334摄像头模组，满足系统的对于视频采集的需求。驱动利用的是linux系统中的v42l视频源捕获驱动框架来进行视频图像的采集。
在视频图像压缩模块中，对于视频图像的压缩，主要是减小采集的图像文件的大小，由于M-JPEG格式适配大多数的网页浏览器，且对处理的能力需求少，因此本发明采用M-JEPG格式压缩，它的主要原理是对采集到的图像进行逐帧压缩，按照至少达到25帧/秒速度使用JPEG压缩算法压缩视频信号，完成动态视频的压缩。由于作品使用的摄像头为imx334,为cmos摄像头，其对应的原始图像的格式为YUV彩色图像，因此需要使用到libjepg库，将采集到的视频逐帧转化为M-JPEG格式，再对压缩好的图像进行传输。
视频图像传输模块将JPEG格式的图像通过TCP协议和应用层协议传输到远端。
在本实施例中，后端部分包括：行为识别检测模块和报警模块；
行为识别检测模块用于利用openpose的姿态识别技术，对处理后的视频图像进行多目标的人体姿态识别估计；
报警模块用于当检测到人体姿态异常情况时，自动报警或者以发短信、邮件形式提醒用户。
具体的，行为识别检测模块即为计算机处理模块，在本模块中，计算机服务器对采集到的图像进行人体姿态识别估计，通过将采集的图像传入计算机服务器中，计算机服务器调用基于openpose设计的人体姿态识别代码，若发生异常行为则发出警报。
在本实施例中，本发明主要用于家庭日常生活中，检测人体的跌倒等等行为，等同于家用摄像头。硬件平台连接摄像头，之后通过usb网卡将视频数据通过因特网传输给行为识别检测服务器，服务器检测出异常行为之后，通过因特网发出报警信息传送到收信人手机。
基于多目标的行为识别和远程监测的警报系统的工作原理为：如图2所示，
视频采集模块由USB摄像头实时采集图像数据，通过USB接口将数据传输至ARM平台进行去噪、压缩等处理，在ARM平台中使用Web传输方式将图像数据传输至位于PC上的行为识别检测服务器和远程客户端，对应的物理层操作为ARM平台通过USB接口将图像数据传输至USB无线网卡，无线网卡以无线传输方式将图像数据经由5G路由器传输至Internet中的行为识别检测服务器和远程客户端。当前的实时监控数据经过Internet网传输到远端，用户使用家庭的IP地址便可查看当前家庭的监控视频。将家庭PC机作为行为识别检测服务器，对当前的视频监控进行行为检测，发现危险行为，启动屋内警报器制止儿童或老人的危险行为，并通知远程的家长(亲友)。
在行为识别方面，利用openpose的姿态识别技术，以及对不同肢体之间的协调关系来搭建分类算法，并通过不同的分类算法比较，选择出最优模型搭建多目标的分类方法，最终可以实现多个目标的姿态显示、目标检测和分类的实时显示。在此次的模型中通过调用轻量级的openpose模型进行人体姿态识别，其主要的方法是通过openpose获取人体各个骨骼关键点位置，如图3所示，然后通过欧氏距离进行匹配两个骨骼来具体检测到每一个人，对于常见检测中骨骼关键点的缺失可以通过上一帧的骨骼信息进行填充。
实施例二
本发明还提供了一种小程序显示模块，用于显示基于行为识别和远程监测的警报系统。
在本实施例中，小程序显示模块首先将imx334摄像头设备连接到网络上。开发后台服务器，用于接收来自摄像头的视频流数据，并将其转发给微信小程序端。使用TCP协议进行数据传输，需要在后台服务器中开发一个TCP服务器，监听指定端口，并等待客户端连接。在微信小程序中开发视频播放器组件，用于播放从服务器传输过来的视频流。使用wx.createLivePlayerContext()方法创建一个直播播放器上下文，并设置视频源为后台服务器的IP地址和端口号。实现用户登录和权限管理功能，确保只有经过的才能查看视频流。可以使用微信小程序提供的用户登录和认证机制，或者自行开发一套用户管理系统。添加辅助功能，如视频录制、截图、云存储等。
后台服务器的开发流程：
使用Node.js开发一个TCP服务器，监听指定端口，并等待客户端连接。当客户端连接成功后，服务器向客户端发送视频流数据。服务器使用ffmpeg等工具采集摄像头的视频流数据，并将其编码为MJPEG格式。服务器使用node.js的net模块将MJPEG格式的视频流数据发送给客户端。客户端接收到视频流数据后，使用wx.createLivePlayerContext()方法创建一个直播播放器上下文，并设置视频源为服务器的IP地址和端口号，当客户端断开连接时，服务器停止向客户端发送视频流数据。
视频播放器组件的开发流程：
在微信小程序中创建一个自定义组件，用于显示视频播放器。在组件的js文件中，使用wx.createLivePlayerContext()方法创建一个直播播放器上下文，并设置视频源为后台服务器的IP地址和端口号。在组件的wxml文件中，添加一个video标签，用于显示视频画面。在组件的wxss文件中，设置video标签的样式，以适应不同的屏幕大小和分辨率。
如图4所示，小程序实现流程
设备接入：将视频监控设备连接到互联网，可以使用网络摄像头、NVR等设备，并提供相应的接口或协议，以便微信小程序可以访问设备。常见的协议有RTSP、HTTP、ONVIF等。
小程序登录：用户使用微信账号登录小程序，并获取相应的权限和认证信息。可以使用微信官方提供的登录API来实现。
视频预览：在小程序中显示视频监控画面，可以使用小程序提供的视频组件或第三方插件进行实现。其中，视频数据通过网络传输到小程序端，可以使用TCP或UDP协议进行传输。需要注意的是，视频数据量较大，因此需要考虑网络带宽和性能的问题。
远程控制：用户可以通过小程序对视频监控设备进行远程控制，如调整摄像头角度、开关灯光等操作。这个过程需要与设备进行交互，通常使用设备提供的API或协议来实现。
数据传输：视频数据通过网络传输到小程序端，可以使用TCP或UDP协议进行传输。
实施例三
本发明还提供了基于多目标的行为识别和远程监测的警报方法，所述警报方法是基于实施例一基于行为识别和远程监测的警报装置实现的，包括以下步骤：
对人体图像数据的采集、处理和传输；
对处理后的人体图像数据进行识别估计，完成对人体姿态的远程监测。
在本实施例中，对人体图像数据的采集、处理和传输的方法包括：
采集视频图像并将视频图像存储在服务器磁盘中；
对采集到的视频图像进行逐帧压缩；
将格式压缩后的视频图像通过TCP协议和应用层协议进行传输。
具体的，视频图像的采集的设计与实现为基于V4L2的视频采集。在Linux系统中，应用层的操作通过IO控制方式与驱动模块交互，也就是，为驱动模块编写好IO操作接口，应用程序调用IO接口实现对外设的控制。在应用层使用iotcl函数和cmd宏定义向驱动发送控制命令完成对设备的控制。本发明通过调用Linux提供的V4L2接口完成对USB摄像头的视频数据采集的控制，图5是本发明的具体V4L2视频采集过程。
本发明调用V4L2接口采集视频数据的详细流程如下:
(1)接入摄像头，待识别后会在/dev子目录下生成设备文件video0，调用open()函数打开设备文件。
(2)调用ioctl函数，使用VIDIOC_QUERYCAP宏命令查询摄像头是否支持视频采集。
(3)设置图像采集参数，包括采集帧率、图像分辨率、图像格式等。
(4)调用requestbuffers申请帧缓冲区，调用mmap函数将帧缓冲区映射到用户空间，调用ioctl函数，使用VIDIOC_QUERYBUF宏命令获取帧缓冲区地址，将这段内存加入队列。
(5)进行视频数据的采集，采集到的视频数据会被放入循环队列的尾部，应用程序读取循环队列的头部来获取视频数据。循环队列的头部和尾部在写入和读取后会自动调整。
(6)使用VIDIOC_OFF宏命令结束采集。
具体的，视频图像的压缩的设计与实现为基于MJPEG的图像的压缩，视频图像压缩算法中常见的有MJPEG,MPEG-4和H.264，其中MPEG-4和H.264压缩算法在压缩比和图像质量上比较突出，但是这两种算法运算复杂，需要高运算能力的硬件平台支撑，显然这两种算法不适合本发明，MJPEG图像压缩算法是一种动态图像压缩算法，主要是针对视频序列中的每帧图像进行压缩，MJPEG只对每帧图像进行空间上的压缩，而不对帧间时间进行压缩，在实际应用中，需要保证每帧图像信息的完整性。MJPEG算法压缩比不是很高，但是其算法复杂度低，对硬件的运算能力要求不是很高。本发明家用监控系统的硬件平台为ARM9，其CPU频率有限，运算能力一般，因此，本发明选用MJPEG算法作为图像压缩模块的压缩算法。本发明使用的USBCMOS摄像头采集到的原始图像格式为YUV彩色图像，这里将其转换成JPEG压缩格式，需要用到libjpeg库，本发明移植的是libjpeg6.0库。对视频图像进行压缩的过程为：将采集到的每帧YUV格式图像用libjpeg库中compress()函数进行压缩，最终的原始图像转变为JPEG压缩格式，再将JPEG图像传输到远程客户端，这样比传输YUV格式图像速度要快。
具体的，视频图像的传输的设计与实现为基于TCP协议的网络传输，本发明视频图像的Web传输是基于HTTP协议实现的，在OSI七层协议中，HTTP位于最顶层的应用层，TCP/IP协议位于传输层，HTTP是TCP/IP协议的应用层封装，Socket套接字是将TCP和UDP协议封装成一个接口形式，方便开发者调用。Linux系统已经为开发者提供了完善的Socket接口函数，开发者通过调用相关的Socket接口函数便可实现数据的TCP或UDP传输。TCP和UDP是传输层的两大数据交互协议，Socket对二者都有支持，二者的主要区别是：TCP是面向连接的传输协议，客户端和服务器在进行正式的数据传输前必须先建立好连接，此外还有一些数据丢失重发机制，这样保证了数据传输的安全性，而UDP是非连接的，无法保证数据传输的安全性和准确性。为了保证视频数据的安全有效的传输，本发明使用基于TCP传输的HTTP协议进行视频数据传输。使用基于TCP协议的Socket套接字编程分为以下几步，创建TCPSocket连接、绑定IP地址和端口、监听TCP端口、接受或拒绝客户端连接请求、接收和发送数据、断开连接并释放相关内存。基于TCP协议的Socket实现流程如图6所示。
浏览器与Web服务器的HTTP请求/响应的交互过程如下：
(1)首先，嵌入式服务器建立TCPSocket套接字，并且初始化绑定服务器的IP地址和端口号，本发明使用的是Socket的bind()函数，绑定完成后，使用Socket的listen()函数监听客户端发送来的连接请求。
(2)浏览器创建好Socket后，客户端使用Socket的connect()函数，按照服务器的IP地址和端口号发送连接请求，等待服务器接受连接请求。
(3)服务器监听到客户端发送来连接请求，使用Socket中的accept()函数接受连接，建立好TCP连接，客户端向服务器发送HTTP请求数据，服务器对接收到的请求数据进行解析，按照请求发送回应数据，并用HTTP协议封装好，此处使用的是Socket的send()函数进行数据发送。
(4)客户端浏览器对接收到的HTTP协议数据进行解析，例如，HTML格式数据，对应的是浏览器上的界面显示数据。
(5)客户端读写完成后，断开与服务器的连接，下一次连接则跳转到第(3)步重新执行。
具体的，视频图像存储流程为：
接收视频数据：客户端使用TCP协议接收服务器发送的视频数据。
解码视频数据：客户端将接收到的视频数据进行解码，得到原始的视频帧数据。
处理视频帧数据：客户端对视频帧数据进行处理，如调整分辨率、裁剪、旋转等操作。
存储视频帧数据：客户端将处理后的视频帧数据存储到本地设备上，可以使用本地文件系统或数据库等方式进行存储。
播放视频：客户端将存储的视频帧数据读取出来，并使用播放器进行播放。
在本实施例中，对处理后的人体图像数据进行识别估计，完成对人体姿态的远程监测的方法包括：
利用openpose的姿态识别技术，对处理后的视频图像进行多目标的人体姿态识别估计；
当检测到人体姿态异常情况时，自动报警或者以发短信、邮件形式提醒用户。
具体的，对处理后的人体图像数据进行识别估计是通过设计的人体姿态识别代码实现的。
人体姿态识别代码设计流程：
(1)首先是代码环境的搭建：anaconda可以便捷获取包且对包能够进行管理，同时对环境可以统一管理的发行版本。具有开源等优点，因此本发明选用anaconda用来管理对应的python包，代码对应的各个包以及版本分别为python3.65、opencv3.4.2、sklearn0.19.2、tensorflow 2.1.0、keras 2.3.1、scipy 1.5.3。
(2)在本发明使用的代码中，提供了两种神经网络模型以及两种动作识别模型，需要根据实际需求选择合适的模型。两种神经网络模型一种是体积较大但识别精度较高的VGG，这个模型需要去网站下载；另一种是体积较小但识别精度低的mobilenet，这里使用VGG作为训练模型。
(3)接着对训练集中的数据进行预处理，
图像读取：首先需要从数据集中读取图像数据，可以使用Python中的OpenCV库来实现。
图像缩放：由于不同的图像大小不同，因此需要将所有图像进行缩放，使其具有相同的尺寸。可以使用OpenCV库中的resize函数来实现。
数据增强：为了增加数据的多样性和鲁棒性，可以对图像进行旋转、翻转、裁剪等操作。可以使用OpenCV库中的函数来实现。
数据归一化：为了提高模型的训练效果，需要对图像进行归一化处理。通常采用将图像像素值除以255的方式进行归一化。
数据标注：对每张图像进行人体关键点的标注，即将每个关键点的坐标位置标注在图像上。可以使用Openpose提供的工具进行标注。
数据集划分：将数据集划分为训练集、验证集和测试集，并将其保存为numpy数组或者其他格式，以便于后续的训练和测试。
(4)然后是模型的训练
模型构建：根据选择的模型，使用Python编写代码来构建模型，包括输入层、卷积层、池化层、全连接层等。
损失函数选择：选择适合人体姿态识别任务的损失函数，例如均方误差(MSE)损失函数、交叉熵损失函数等。
优化器选择：选择适合人体姿态识别任务的优化器，例如随机梯度下降(SGD)优化器、Adam优化器等。
模型编译：将模型、损失函数和优化器进行编译，并设置相关参数，如学习率、批次大小等。
模型训练：使用准备好的数据集对模型进行训练，可以使用Keras、PyTorch等深度学习框架来实现。
模型评估：使用测试集对训练好的模型进行评估，计算准确率、召回率、F1分数等指标。
模型保存：将训练好的模型保存为.h5或.pb格式，以便于后续的部署和使用。
(5)接着是姿态检测的流程
使用训练好的模型对输入的图像或视频进行姿态检测。OpenPose算法主要分为两个阶段，即人体关键点检测和姿态估计。在人体关键点检测阶段，通过卷积神经网络(CNN)提取特征，然后使用多层高斯滤波器检测出人体关键点，如图7所示。
在计算骨架信息中，图像中人体的数量和位置的变化频率都会对计算量产生较大的影响，考虑到识别的实时性，对处理速度提出了很大的要求，自上而下的方法的处理速度相比于自下而上有很大的提升，其方法是先检测关键点，再将其连接成骨架。图8为整体网络结构。
VGG19的前10层以及两分支网络可以检测出人体关键点，构建出人体骨架。通过VGG网络将待检测图像提取出待检测图像的特征图F，将提取到的特征图输入两分支网络，通过多个阶段的回归之后，可以检测出所有关键点，再使用贪心推理将其连接成人体骨架。
(6)接着是姿态的分析和可视化输出
首先特征的提取，利用openpose遍历数据集下不同分类下的人物的姿态信息进行提取作为动作特征并保存为对应的TXT文档。然后进行特征的整合：将提取的特征信息和对应的图片对应起来整合在一个TXT文件中，同时去除无用的多余数据集。最后整合TXT信息分别作为输入和输出标签csv文件。
将从输入端csv读取的人体骨骼信息作为输入，Y标签的csv文件作为输出，按照0.3的比例划分训练集和验证集，并转为numpy矩阵参与运算。其中模型分类器的选择主要按照决策树、随机森林、神经网络和支持向量机进行测试模型效果。模型的评估则主要根据混淆矩阵、精准率、召回率和F1得分进行评估。
表1
分类器方面主要分为支持向量机SVM分类器、决策树Decision Tree分类器、随机森林RandomForestClassifier分类器、神经网络MLPClassifier分类器。由于SVM分类器在测试中展现出优秀的性能，且是基于结构风险最小化理论建立模型，而达到学习器的全局最优化结果，主要是被用来分析线性可分的情况。所以本系统采用SVM分类器。同时直接调用sklearn框架中搭建好的分类器进行训练，其中设置核函数为线性核函数。惩罚系数C为10，这个惩罚系数的设定一般来说这个系数设置的越大，容错性也就相对小一些，分隔空间的硬度也就更强。
实施例四
本发明还提供了一种存储介质，包括：所述存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，所述机器可执行指令促使所述处理器实现基于行为识别和远程监测的警报方法。
以上所述的实施例仅是对本发明优选方式进行的描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。
Claims (8)
1.基于多目标的行为识别和远程监测的警报系统，其特征在于，包括：前端采集部分和后端部分；
所述前端采集部分用于人体图像数据的采集、处理和传输；
所述后端部分用于对处理后的所述人体图像数据进行识别估计，完成对人体姿态的远程监测。
2.根据权利要求1所述的基于多目标的行为识别和远程监测的警报系统，其特征在于，所述前端采集部分包括：视频采集模块、视频图像压缩模块、视频传输模块和视频图像存储模块；
所述视频采集模块用于视频图像的采集；
所述视频图像压缩模块用于对采集到的视频图像进行逐帧压缩；
所述视频传输模块用于将格式压缩后的视频图像通过TCP协议和应用层协议传输到所述后端部分；
所述视频图像存储模块用于将采集的所述视频图像存储在服务器磁盘中。
3.根据权利要求1所述的基于多目标的行为识别和远程监测的警报系统，其特征在于，所述后端部分包括：行为识别检测模块和报警模块；
所述行为识别检测模块用于利用openpose的姿态识别技术，对处理后的视频图像进行多目标的人体姿态识别估计；
所述报警模块用于当检测到人体姿态异常情况时，自动报警或者以发短信、邮件形式提醒用户。
4.一种小程序显示模块，其特征在于，用于显示权利要求1-3任一项所述的基于行为识别和远程监测的警报系统。
5.基于多目标的行为识别和远程监测的警报方法，其特征在于，包括以下步骤：
对人体图像数据的采集、处理和传输；
对处理后的所述人体图像数据进行识别估计，完成对人体姿态的远程监测。
6.根据权利要求5所述的基于多目标的行为识别和远程监测的警报方法，其特征在于，对人体图像数据的采集、处理和传输的方法包括：
采集视频图像并将所述视频图像存储在服务器磁盘中；
对采集到的视频图像进行逐帧压缩；
将格式压缩后的视频图像通过TCP协议和应用层协议进行传输。
7.根据权利要求5所述的基于多目标的行为识别和远程监测的警报方法，其特征在于，对处理后的所述人体图像数据进行识别估计，完成对人体姿态的远程监测的方法包括：
利用openpose的姿态识别技术，对处理后的视频图像进行多目标的人体姿态识别估计；
当检测到人体姿态异常情况时，自动报警或者以发短信、邮件形式提醒用户。
8.一种存储介质，其特征在于，包括：所述存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，所述机器可执行指令促使所述处理器实现如权利要求5至7任一项所述的基于行为识别和远程监测的警报方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310799601.2A CN116863640A (zh) | 2023-07-03 | 2023-07-03 | 基于多目标的行为识别和远程监测的警报系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310799601.2A CN116863640A (zh) | 2023-07-03 | 2023-07-03 | 基于多目标的行为识别和远程监测的警报系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116863640A true CN116863640A (zh) | 2023-10-10 |
Family
ID=88220999
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310799601.2A Pending CN116863640A (zh) | 2023-07-03 | 2023-07-03 | 基于多目标的行为识别和远程监测的警报系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116863640A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118470906A (zh) * | 2024-05-17 | 2024-08-09 | 南京鼎昱汶信息科技有限公司 | 区域大数据监控报警系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104660711A (zh) * | 2015-03-13 | 2015-05-27 | 华存数据信息技术有限公司 | 一种基于图形处理器虚拟化的远程可视化应用方法 |
| CN108038422A (zh) * | 2017-11-21 | 2018-05-15 | 平安科技（深圳）有限公司 | 摄像装置、人脸识别的方法及计算机可读存储介质 |
| CN110216698A (zh) * | 2019-03-11 | 2019-09-10 | 浙江工业大学 | 一种基于ros的机械臂遥操作系统 |
| CN112991656A (zh) * | 2021-02-04 | 2021-06-18 | 北京工业大学 | 基于姿态估计的全景监控下人体异常行为识别报警系统及方法 |
| WO2021237914A1 (zh) * | 2020-05-27 | 2021-12-02 | 大连成者科技有限公司 | 一种基于单目摄像头坐姿识别技术的坐姿监控系统 |
-
2023
- 2023-07-03 CN CN202310799601.2A patent/CN116863640A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104660711A (zh) * | 2015-03-13 | 2015-05-27 | 华存数据信息技术有限公司 | 一种基于图形处理器虚拟化的远程可视化应用方法 |
| CN108038422A (zh) * | 2017-11-21 | 2018-05-15 | 平安科技（深圳）有限公司 | 摄像装置、人脸识别的方法及计算机可读存储介质 |
| CN110216698A (zh) * | 2019-03-11 | 2019-09-10 | 浙江工业大学 | 一种基于ros的机械臂遥操作系统 |
| WO2021237914A1 (zh) * | 2020-05-27 | 2021-12-02 | 大连成者科技有限公司 | 一种基于单目摄像头坐姿识别技术的坐姿监控系统 |
| CN112991656A (zh) * | 2021-02-04 | 2021-06-18 | 北京工业大学 | 基于姿态估计的全景监控下人体异常行为识别报警系统及方法 |
Non-Patent Citations (4)
| Title |
|---|
| 余胜泉 杨可: "非线性编辑系统", 30 November 2020, 北京广播学院出版社, pages: 218 - 219 * |
| 彭力: "嵌入式物联网技术应用", 31 January 2015, 西安电子科技大学出版社, pages: 162 - 165 * |
| 陈宪 高乾 朱多智: "Visual C++.NET 应用编程实例进阶", 28 February 2023, 中国铁道出版社, pages: 236 - 238 * |
| 马丽洁: "嵌入式Linux应用编程", 31 August 2016, 北京理工大学出版社, pages: 102 - 103 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118470906A (zh) * | 2024-05-17 | 2024-08-09 | 南京鼎昱汶信息科技有限公司 | 区域大数据监控报警系统 |
| CN118470906B (zh) * | 2024-05-17 | 2024-11-08 | 湖北华中电力科技开发有限责任公司 | 区域大数据监控报警系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112991656B (zh) | 基于姿态估计的全景监控下人体异常行为识别报警系统及方法 | |
| US8599271B2 (en) | Apparatus, system, and method of use of imaging assembly on mobile terminal | |
| US20180101966A1 (en) | Real-time remote collaboration and virtual presence using simultaneous localization and mapping to construct a 3d model and update a scene based on sparse data | |
| CN108900801A (zh) | 一种基于人工智能的视频监控方法、系统及云服务器 | |
| US11087140B2 (en) | Information generating method and apparatus applied to terminal device | |
| CN112492297B (zh) | 一种对视频的处理方法以及相关设备 | |
| CN113398578B (zh) | 游戏数据处理方法、系统、装置、电子设备和存储介质 | |
| CN111985281A (zh) | 图像生成模型的生成方法、装置及图像生成方法、装置 | |
| CN113111782A (zh) | 基于显著对象检测的视频监控方法及装置 | |
| CN116863640A (zh) | 基于多目标的行为识别和远程监测的警报系统及方法 | |
| CN113160231A (zh) | 一种样本生成方法、样本生成装置及电子设备 | |
| CN111047824A (zh) | 一种室内儿童看护联动控制预警方法及系统 | |
| CN116310010A (zh) | 图像识别方法、装置、电子设备及存储介质 | |
| CN111062894A (zh) | 人工智能处理器以及人工智能分析设备 | |
| CN111241926A (zh) | 考勤与学情分析方法、系统、设备及可读存储介质 | |
| CN117916773A (zh) | 用于在移动设备中同时重建姿态和参数化3d人体模型的方法和系统 | |
| KR102521694B1 (ko) | 카메라단에서의 기계학습을 활용하여 동물의 행동을 분석하기 위한 방법 | |
| CN112507798A (zh) | 活体检测方法、电子设备与存储介质 | |
| CN106997449A (zh) | 具有人脸识别功能的机器人和人脸识别方法 | |
| CN114241401B (zh) | 异常判定方法、装置、设备、介质及产品 | |
| CN211349420U (zh) | 人工智能分析设备以及人工智能处理器 | |
| TWI391881B (zh) | Dodge image processing capacity of the fall detection and care system | |
| CN112733809B (zh) | 一种用于自然保护区监控系统的智能图像识别方法及系统 | |
| CN115798051A (zh) | 基于3d-cnn的动态手势识别方法、装置、设备以及存储介质 | |
| CN115376198A (zh) | 视线方向估计方法、装置、电子设备、介质及程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |