CN117831136B - 基于远程监控的牛异常行为检测方法 - Google Patents
基于远程监控的牛异常行为检测方法 Download PDFInfo
- Publication number
- CN117831136B CN117831136B CN202410241074.8A CN202410241074A CN117831136B CN 117831136 B CN117831136 B CN 117831136B CN 202410241074 A CN202410241074 A CN 202410241074A CN 117831136 B CN117831136 B CN 117831136B
- Authority
- CN
- China
- Prior art keywords
- cattle
- frames
- edge
- video
- key
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 241000283690 Bos taurus Species 0.000 title claims abstract description 166
- 238000012544 monitoring process Methods 0.000 title claims abstract description 65
- 206010000117 Abnormal behaviour Diseases 0.000 title claims abstract description 46
- 238000001514 detection method Methods 0.000 title claims abstract description 20
- 238000000034 method Methods 0.000 claims abstract description 46
- 230000006399 behavior Effects 0.000 claims abstract description 21
- 230000008859 change Effects 0.000 claims abstract description 17
- 238000012216 screening Methods 0.000 claims abstract description 10
- 230000011218 segmentation Effects 0.000 claims description 38
- 244000144992 flock Species 0.000 claims description 12
- 238000003708 edge detection Methods 0.000 claims description 9
- 238000009826 distribution Methods 0.000 claims description 5
- 238000003064 k means clustering Methods 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 4
- 230000006835 compression Effects 0.000 description 11
- 238000007906 compression Methods 0.000 description 11
- 238000010606 normalization Methods 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 244000025254 Cannabis sativa Species 0.000 description 2
- 244000144980 herd Species 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 206010038743 Restlessness Diseases 0.000 description 1
- 208000028752 abnormal posture Diseases 0.000 description 1
- 230000016571 aggressive behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 239000003651 drinking water Substances 0.000 description 1
- 235000020188 drinking water Nutrition 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000009313 farming Methods 0.000 description 1
- 238000007306 functionalization reaction Methods 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000005802 health problem Effects 0.000 description 1
- 208000030175 lameness Diseases 0.000 description 1
- 244000144972 livestock Species 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图像数据处理技术领域，具体涉及基于远程监控的牛异常行为检测方法，包括：获取一段时间内的牛行为的监控视频，在监控视频中的每张视频帧中分割出若干个牛连通域，根据相邻的视频帧中牛连通域的质心的位置变化，得到每张视频帧的关键程度，根据每张视频帧的关键程度的大小，从所有视频帧中筛选出若干张关键帧，将所有关键帧构成的视频，记为关键视频，根据关键视频中所有关键帧中所有牛连通域的质心，得到牛异常行为的检测结果。本发明通过从监控视频中筛选出关键帧，构成关键视频，通过关键视频进行牛异常行为监测，由此减少了视频量，从而提高了检测效率。
Description
技术领域
本发明涉及图像数据处理技术领域，具体涉及基于远程监控的牛异常行为检测方法。
背景技术
牛异常行为的监测源于对牲畜健康的关切，以及养殖业提高效益和生产质量的迫切需求，通过基于远程监控的技术，能够实时而准确地检测牛的异常行为，例如跛行、异常攻击行为、姿势异常、声音异常、饮食饮水行为改变、异常躺卧等，针对牛的异常行为提供早期识别和处理潜在健康问题的机会。
现有的问题：牛的异常行为需要长时间的监测才可获得，而对于监控画面变化较小，且监控视角的变化情况较少时，监控视频中的背景区域存在大量的冗余，因此需要对监控视频进行压缩处理，以减小存储空间。然而，传统视频帧间压缩使用像素点之间的对比进行压缩，对于牧场的草坪而言，当草坪受到风的干扰时，在不同视频帧之间产生较大的差异和纹理，导致部分背景区域与关键的视频帧对比后被判定为存在变化的区域，可能导致压缩效率降低，从而降低了基于远程监控的牛异常行为检测的效率。
发明内容
本发明提供基于远程监控的牛异常行为检测方法，以解决现有的问题。
本发明的基于远程监控的牛异常行为检测方法采用如下技术方案：
本发明一个实施例提供了基于远程监控的牛异常行为检测方法，该方法包括以下步骤：
获取一段时间内的牛行为的监控视频；在监控视频中的每张视频帧中分割出若干个牛连通域；
根据每张视频帧与相邻的视频帧中牛连通域的质心在每张视频帧中的距离分布情况以及相邻的视频帧中牛连通域的质心的位置变化情况，得到每张视频帧的关键程度；
根据每张视频帧的关键程度的大小，从所有视频帧中筛选出若干张关键帧；将所有关键帧构成的视频，记为关键视频；
根据关键视频中所有关键帧中所有牛连通域的质心，使用质心跟踪算法对关键视频进行运算，获得关键视频中的若干个质心移动速度，根据所述质心移动速度得到牛异常行为的检测结果。
进一步地，所述在监控视频中的每张视频帧中分割出若干个牛连通域，包括的具体步骤如下：
对监控视频中第张视频帧进行灰度化处理，得到第/>张视频帧中每个像素点的灰度值；
根据第张视频帧中所有像素点的灰度值，使用大津分割算法获得第/>张视频帧的分割阈值/>；
将第张视频帧中灰度值小于分割阈值/>的所有像素点构成的区域，记为牛群区域；
根据牛群区域内所有像素点的灰度值，使用Canny边缘检测算法对牛群区域进行边缘检测，得到牛群区域中的若干条边缘线；将牛群区域中的每条边缘线，记为一条弱边缘；
将牛群区域中的每个闭合边界，记为一条强边缘；所述一条强边缘对应一个闭合区域；
根据每条强边缘上相邻像素点的位置，从每条强边缘上筛选出若干个分割点；
将每条强边缘上的任意两个分割点的连线，记为分割线段；
根据每条强边缘对应的闭合区域内的弱边缘与分割线段，得到每条强边缘对应的闭合区域内每条弱边缘为分割边缘的可能性；
根据每条强边缘对应的闭合区域内每条弱边缘为分割边缘的可能性，得到第张视频帧中分割出若干个牛连通域。
进一步地，所述根据每条强边缘上相邻像素点的位置，从每条强边缘上筛选出若干个分割点，包括的具体步骤如下：
将第条强边缘上的第/>个像素点，记为目标点；
将第条强边缘上与目标点相邻的两个像素点，分别记为第一参考点和第二参考点；
将过目标点与第一参考点的直线记为第一直线；
将过目标点与第二参考点的直线记为第二直线；
将第一直线和第二直线的最小夹角值，记为目标点属于分割点的可能性；
将第条强边缘上所有像素点属于分割点的可能性的均值，记为第一阈值；
在第条强边缘上，将属于分割点的可能性小于第一阈值的像素点，记为第/>条强边缘上的分割点。
进一步地，所述根据每条强边缘对应的闭合区域内的弱边缘与分割线段，得到每条强边缘对应的闭合区域内每条弱边缘为分割边缘的可能性，包括的具体步骤如下：
使用最小二乘法对第条强边缘对应的闭合区域内的第/>条弱边缘进行直线拟合，得到所述第/>条弱边缘的拟合直线；
统计第条强边缘对应的第/>条分割线段与所述第/>条弱边缘重叠的像素点数量，将所述重叠的像素点数量与所述第/>条弱边缘上的像素点数量的比值，记为第一比值；
将所述第条弱边缘的拟合直线的斜率与所述第/>条分割线段的斜率的比值，记为第二比值；
计算1与第二比值的差值的绝对值，将所述绝对值的反比例的归一化值，记为第三比值；
将第一比值与第三比值的乘积的归一化值，记为所述第条弱边缘与所述第/>条分割线段的相似性；
将所述第条弱边缘分别与第/>条强边缘对应的所有条分割线段的相似性的最大值，记为所述第/>条弱边缘为分割边缘的可能性。
进一步地，所述根据每条强边缘对应的闭合区域内每条弱边缘为分割边缘的可能性，得到第张视频帧中分割出若干个牛连通域，包括的具体步骤如下：
在第条强边缘对应的闭合区域内，将为分割边缘的可能性大于预设的判断阈值的弱边缘，记为分割边缘；
在第张视频帧中，将第/>条强边缘和第/>条强边缘对应的闭合区域内所有分割边缘使用扫描线填充算法进行填充构成的若干个闭合区域，记为牛连通域。
进一步地，所述根据每张视频帧与相邻的视频帧中牛连通域的质心在每张视频帧中的距离分布情况以及相邻的视频帧中牛连通域的质心的位置变化情况，得到每张视频帧的关键程度，包括的具体步骤如下：
将第张视频帧中每个牛连通域的质心，记为第一质心；
根据视频帧之间像素点一一对应的关系，将第张视频帧中每个牛连通域的质心对应在第/>张视频帧中的像素点，记为第二质心；
以第张视频帧中牛连通域的数量/>为聚类簇的数量，使用/>均值聚类算法对第/>张视频帧中所有第一质心和第二质心进行聚类操作，得到/>个聚类簇；
根据每个聚类簇中第一质心和第二质心的数量以及距离，得到每个聚类簇的判定系数；
将所有聚类簇的判定系数的均值，记为第张视频帧的关键程度。
进一步地，所述根据每个聚类簇中第一质心和第二质心的数量以及距离，得到每个聚类簇的判定系数，包括的具体步骤如下：
当第个聚类簇中第一质心的数量不等于第二质心的数量时，将第/>个聚类簇的判定系数设置为预设的常数；
当第个聚类簇中第一质心的数量等于第二质心的数量时，根据第/>个聚类簇中每个第二质心分别到所有第一质心的距离，得到第/>个聚类簇的判定系数。
进一步地，所述当第个聚类簇中第一质心的数量等于第二质心的数量时，根据第/>个聚类簇中每个第二质心分别到所有第一质心的距离，得到第/>个聚类簇的判定系数，包括的具体步骤如下：
计算第个聚类簇中每个第二质心分别到所有第一质心的距离的均值，将第/>个聚类簇中所有第二质心分别到所有第一质心的距离的均值之和，记为第/>个聚类簇的判定系数。
进一步地，所述根据每张视频帧的关键程度的大小，从所有视频帧中筛选出若干张关键帧，包括的具体步骤如下：
将监控视频中关键程度大于预设的关键阈值的视频帧，记为关键帧。
进一步地，所述根据所述质心移动速度得到牛异常行为的检测结果，包括的具体步骤如下：
当关键视频中的所有质心移动速度的均值大于预设的速度阈值，判定牛出现了异常行为。
本发明的技术方案的有益效果是：
本发明实施例中，获取一段时间内的牛行为的监控视频，在监控视频中的每张视频帧中分割出若干个牛连通域，由此获得准确的每个牛的牛连通域，用以后续通过每个牛的行为变化特征，筛选出关键帧，保障关键帧的重要性，从而提高牛异常行为检测的准确性。根据相邻的视频帧中牛连通域的质心的位置变化，得到每张视频帧的关键程度，根据每张视频帧的关键程度的大小，从所有视频帧中筛选出若干张关键帧，将所有关键帧构成的视频，记为关键视频，根据关键视频中所有关键帧中所有牛连通域的质心，得到牛异常行为的检测结果，由此根据少量且重要的关键视频分析牛的异常行为，在保障视频可信性的情况下，提高了监控视频远程传输的效率，从而提高了牛异常行为检测的效率。至此本发明通过从监控视频中筛选出关键帧，构成关键视频，通过关键视频进行牛异常行为监测，由此减少了视频量，从而提高了检测效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明基于远程监控的牛异常行为检测方法的步骤流程图；
图2为本发明实施例中的关键视频获取流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的基于远程监控的牛异常行为检测方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的基于远程监控的牛异常行为检测方法的具体方案。
请参阅图1，其示出了本发明一个实施例提供的基于远程监控的牛异常行为检测方法的步骤流程图，该方法包括以下步骤：
步骤S001：获取一段时间内的牛行为的监控视频；在监控视频中的每张视频帧中分割出若干个牛连通域。
本实施例的目的是通过远程监控采集牛行为的监控视频，进而根据牛行为视频判断牛是否存在异常行为，因此首先需要采集牛行为的监控视频，具体的，本实施例通过在牧场安装监控摄像头，采集一段时间内的牛行为的监控视频。
传统视频帧间压缩是利用视频在一定时间内部分区域的变化程度较弱来进行的，那么在监控视频的所有帧中选取一部分具有强特征的帧作为关键帧，将关键帧之间的视频帧使用关键帧代替，以此达到视频压缩的作用，从而实现降低视频存储量的效果。而传统帧间压缩主要是通过分析相邻帧之间的差异获得，例如分析像素点的灰度值变化，但该方法不具备针对性，当牧场存在环境干扰，例如风雨天气，会导致牧场的草坪存在细微的变化，若利用灰度值变化进行判断相邻帧之间的差异会导致背景草坪区域被作为存在变化的信息，使得帧间压缩的压缩效率降低。
因此，本实施例通过从每一视频帧中选取属于牛群的区域，并通过分割获得牛群内部的区域信息，根据牛群内部的差异选取监控视频中的关键帧，进而获取关键帧构成的压缩视频，用于牛的异常行为检测。由此需要对视频帧中的牛群进行精准分割，从而在监控视频中将牛群提取出来，进而根据牛群的差异筛选关键帧。
在牛行为的监控视频中，以第张视频帧为例，对监控视频中第/>张视频帧进行灰度化处理，得到第/>张视频帧中每个像素点的灰度值。根据第/>张视频帧中所有像素点的灰度值，使用大津分割算法获得第/>张视频帧的分割阈值/>。在第/>张视频帧中，将灰度值小于分割阈值/>的所有像素点构成的区域，记为牛群区域。其中，灰度化处理和大津分割算法均为公知技术，具体方法在此不做介绍。
由于牛群区域中存在若干头牛，在对于牛的异常行为进行检测分析时，是以每头牛为单位进行分析，因此需要对牛群区域进行进一步的分割，获得每头牛的连通域。
根据牛群区域内所有像素点的灰度值，使用Canny边缘检测算法对第张视频帧中的牛群区域进行边缘检测，得到牛群区域中的若干条边缘线。其中，Canny边缘检测算法为公知技术，具体方法在此不做介绍。所需说明的是：边缘检测的边缘线不包含牛群区域的边界。
将牛群区域中的每个闭合边界，记为一个强边缘，故每个强边缘对应一个闭合区域。将牛群区域中的每条边缘线，记为一个弱边缘。
所需说明的是：由于牛群之间的差异较小，且由于牛身上毛发本身具有纹理，使得边缘检测会产生过多的弱边缘，而弱边缘可能无法与强边缘相连接，进而使得无法将牛群区域内部每个牛准确的分割开，因此需要在所有弱边缘中筛选出真正的牛与牛之间的分割线，再对分割线与强边缘填充连接构成每只牛的连通域。而牛与牛之间的分割边缘呈现一定的趋势性，即仅与两头牛其中一头的边缘呈现连贯性，因此本实施例根据牛群区域内部弱边缘与强边缘的连贯性，实现对弱边缘的保留与连接，进而实现对牛群的进一步分割获得牛的连通域。
已知牛群区域内的一条弱边缘可能是两头牛的分割边缘，而牛和背景会产生强边缘，弱边缘与两头牛其中一头牛的强边缘呈现连贯性，因此本实施例以牛群区域中的第条强边缘上的第/>个像素点为例，将牛群区域中的第/>条强边缘上的第/>个像素点，记为目标点。将牛群区域中的第/>条强边缘上与目标点相邻的两个像素点，分别记为第一参考点和第二参考点。
将过目标点与第一参考点的直线记为第一直线，将过目标点与第二参考点的直线记为第二直线，将第一直线和第二直线的最小夹角值，记为目标点属于分割点的可能性。
所需说明的是：若强边缘上目标点为分割点，那么其相较于整个强边缘所构成的完整连区域呈现为内凹状，则最小夹角值的取值越小，即属于分割点的可能性最大。
按照上述方式，得到第条强边缘上所有像素点属于分割点的可能性，以及每个像素点对应的第一直线和第二直线，将第/>条强边缘上所有像素点属于分割点的可能性的均值，记为第一阈值，在第/>条强边缘上，将属于分割点的可能性小于第一阈值的像素点，记为第/>条强边缘上的分割点。
仍以第张视频帧中的牛群区域中的第/>条强边缘为例，将第/>条强边缘上的任意两个分割点的连线，记为分割线段，由此得到若干条分割线段。
以第条强边缘对应的闭合区域内的第/>条弱边缘为例，使用最小二乘法对第/>条弱边缘进行直线拟合，得到第/>条弱边缘的拟合直线。其中，最小二乘法为公知技术，具体方法在此不做介绍。由此可知第/>条弱边缘为分割边缘的可能性的计算公式为：
；
；
其中为第/>条弱边缘为分割边缘的可能性，/>为第/>条弱边缘与第/>条分割线段的相似性，/>为分割线段的数量，/>为时/>中的最大值，/>为第/>条弱边缘与第/>条分割线段重叠的像素点数量，/>为第/>条弱边缘上的像素点数量，/>为第/>条分割线段的斜率，为第/>条弱边缘的拟合直线的斜率，/>为以自然常数为底的指数函数，本实施例以/>来呈现反比例关系及归一化处理，实施者可根据实际情况设置反比例函数及归一化函数，/>为线性归一化函数，将数据值归一化至/>区间内。/>为第一比值，/>为第二比值，/>为第三比值。
所需说明的是：斜率的获取是以水平向右为横轴，竖轴向上为纵轴的坐标系上获取的。当和/>越接近于1时，说明第/>条弱边缘与第/>条分割线段的重叠程度越大，且延伸方向越相似，因此/>越大，且/>越小时，第/>条弱边缘与第/>条分割线段越相似，因此用/>和/>的乘积的归一化值，表示第/>条弱边缘与第/>条分割线段的相似性，由此所有分割线段中存在不是分割线段的错误连接线段，因此取时/>中的最大值，为第/>条弱边缘为分割边缘的可能性。
按照上述方式，得到第条强边缘对应的闭合区域内的所有条弱边缘为分割边缘的可能性。
本实施例预设的判断阈值为0.7，以此为例进行叙述，其它实施方式中可设置为其它值，本实施例不进行限定。
在第条强边缘对应的闭合区域内，将为分割边缘的可能性大于预设的判断阈值的弱边缘，记为分割边缘，即该分割边缘为每只牛的连通域的分割边缘。
将第条强边缘和所有分割边缘使用扫描线填充算法进行填充构成的若干个闭合区域，记为牛连通域。其中，扫描线填充算法为公知技术，具体方法在此不做介绍。
按照上述方式，得到第张视频帧中的牛群区域中的每条强边缘对应的若干个牛连通域，即得到第/>张视频帧中的所有牛连通域，以及牛行为的监控视频中每张视频帧中的所有牛连通域。
步骤S002：根据每张视频帧与相邻的视频帧中牛连通域的质心在每张视频帧中的距离分布情况以及相邻的视频帧中牛连通域的质心的位置变化情况，得到每张视频帧的关键程度。
视频帧间压缩的核心为选取关键帧，并分析后续帧与关键帧的差异，判断后续帧为关键帧或为普通帧，从而使用关键帧对普通帧进行替换，进而实现消除无关紧要的视频帧，达到压缩的目的。
对于牛异常行为检测，主要依靠的是牛群区域的活动情况进行判断，而非牛群区域为无关区域，那么本实施例根据牛群区域内每头牛的牛连通域与历史视频帧的差异，获得每一帧作为关键帧的关键程度，进而选取关键帧。
通过上述操作获取到了每头牛的牛连通域后，若牛的行为发生改变，那么其连通域的形状会发生相同的改变，连通域的质心会发生位移，若牛的行为导致其连通域的运动范围在可许的范围内时，说明相邻两帧之间的差异较小，则可以使用关键帧对后续变化较小的帧进行替换，从而即保留了关键区域的信息并实现远程监控视频的压缩，因此本实施例根据每头牛的连通域质心的变化，对关键帧进行选取。
在牛行为的监控视频中，仍以第张视频帧为例，将第/>张视频帧中每个牛连通域的质心，记为第一质心，根据视频帧之间像素点一一对应的关系，将第/>张视频帧中每个牛连通域的质心对应在第/>张视频帧中的像素点，记为第二质心。
所需说明的是：监控视频中第一张视频帧不进行关键帧判断。本实施例中通过对连通域内所有像素点的坐标进行平均，得到连通域的质心，此为公知技术。
以第张视频帧中牛连通域的数量/>为聚类簇的数量，使用/>均值聚类算法对第/>张视频帧中所有第一质心和第二质心进行聚类操作，得到/>个聚类簇。其中/>均值聚类算法为公知技术，具体方法在此不做介绍。
由此可知第张视频帧的关键程度的计算方式为：
；
；
其中为第/>张视频帧的关键程度，/>为第/>张视频帧对应的聚类簇数量，为第/>个聚类簇的判定系数，/>为第/>个聚类簇中第一质心的数量，/>为第/>个聚类簇中第二质心的数量，/>为第/>个聚类簇中第/>个第二质心分别到所有第一质心的距离的均值，/>为预设的常数，/>为线性归一化函数，将数据值归一化至/>区间内。本实施例中/>为1，以此为例进行叙述，其它实施方式中可设置为其它值，本实施例不进行限定。
所需说明的是：将第张视频帧中所有第一质心和第二质心划分为/>个聚类簇时，若牛群的移动较小时，每个聚类簇中应只有一个第一质心和一个第二质心，故当时，/>越大，说明在移动较小的情况下，发生了相对较大的变化，而当时，说明牛群的移动较大，直接令/>为1，这是因为对/>进行归一化后，最大值为1，因此取最大值1为/>，本实施例中以此为例进行叙述，其它实施方式中若对进行了其它变换处理，则取变换处理后的最大值为/>，本实施例不进行限定。由此用/>表示第/>张视频帧的关键程度。/>越大，第/>张视频帧越关键。
按照上述方式，得到牛行为的监控视频中每张视频帧的关键程度。
步骤S003：根据每张视频帧的关键程度的大小，从所有视频帧中筛选出若干张关键帧；将所有关键帧构成的视频，记为关键视频。
本实施例预设的关键阈值为0.8，预设的速度阈值为10米每秒，以此为例进行叙述，其它实施方式中可设置为其它值，本实施例不进行限定。
在牛行为的监控视频中，将关键程度大于预设的关键阈值的视频帧，记为关键帧，将所有关键帧构成的视频，记为关键视频。由此舍弃了非关键帧的视频帧，从而完成了监控视频的压缩处理。其中，关键视频的获取流程如图2所示。
步骤S004：根据关键视频中所有关键帧中所有牛连通域的质心，使用质心跟踪算法对关键视频进行运算，获得关键视频中的若干个质心移动速度，根据所述质心移动速度得到牛异常行为的检测结果。
在关键视频中，根据所有关键帧中所有牛连通域的质心，使用质心跟踪算法对关键视频进行运算，获得关键视频中的若干个质心移动速度。
所需说明的是：质心跟踪算法为公知技术，关键视频中的质心移动速度的获取过程为：使用质心跟踪算法计算每一帧中目标物体的质心位置，对于连续的帧，记录质心的坐标随时间的变化。根据质心位置的变化量以及时间间隔，可以计算出目标物体在单位时间内的平均移动速度。故速度等于距离除以时间，其中，距离可以根据质心位置的变化来计算，并且是根据图像中物体的移动距离来获取现实中物体的移动距离，其是一个公知的技术，具体方法在此不做介绍，通常被称为视觉测距或者视觉测量，时间可以通过帧率或时间戳来确定。
当关键视频中的所有质心移动速度的均值大于预设的速度阈值，判定采集的牛行为的监控视频对应的时间段内牛出现了异常行为。
所需说明的是：当牛受惊奔跑时，往往会造成整个牛群出现躁动，因此用所有质心移动速度的均值来判断异常情况，此是对整个牛群的异常行为进行判断的。若为了判断某一个牛是否出现异常，则判断每一个质心移动速度是否大于预设的速度阈值，而每个质心移动速度对应监控视频中的一个牛的牛连通域的质心，由此可判断每个牛的异常行为。
至此，本发明完成。
综上所述，在本发明实施例中，获取一段时间内的牛行为的监控视频，在监控视频中的每张视频帧中分割出若干个牛连通域，根据相邻的视频帧中牛连通域的质心的位置变化，得到每张视频帧的关键程度，根据每张视频帧的关键程度的大小，从所有视频帧中筛选出若干张关键帧，将所有关键帧构成的视频，记为关键视频，根据关键视频中所有关键帧中所有牛连通域的质心，得到牛异常行为的检测结果。本实施例通过从监控视频中筛选出关键帧，构成关键视频，通过关键视频进行牛异常行为监测，由此减少了视频量，从而提高了检测效率。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.基于远程监控的牛异常行为检测方法，其特征在于，该方法包括以下步骤：
获取一段时间内的牛行为的监控视频；在监控视频中的每张视频帧中分割出若干个牛连通域；
根据每张视频帧与相邻的视频帧中牛连通域的质心在每张视频帧中的距离分布情况以及相邻的视频帧中牛连通域的质心的位置变化情况，得到每张视频帧的关键程度；
根据每张视频帧的关键程度的大小，从所有视频帧中筛选出若干张关键帧；将所有关键帧构成的视频，记为关键视频；
根据关键视频中所有关键帧中所有牛连通域的质心，使用质心跟踪算法对关键视频进行运算，获得关键视频中的若干个质心移动速度，根据所述质心移动速度得到牛异常行为的检测结果；
所述根据每张视频帧与相邻的视频帧中牛连通域的质心在每张视频帧中的距离分布情况以及相邻的视频帧中牛连通域的质心的位置变化情况，得到每张视频帧的关键程度，包括的具体步骤如下：
将第张视频帧中每个牛连通域的质心，记为第一质心；
根据视频帧之间像素点一一对应的关系，将第张视频帧中每个牛连通域的质心对应在第/>张视频帧中的像素点，记为第二质心；
以第张视频帧中牛连通域的数量/>为聚类簇的数量，使用K均值聚类算法对第/>张视频帧中所有第一质心和第二质心进行聚类操作，得到/>个聚类簇；
根据每个聚类簇中第一质心和第二质心的数量以及距离，得到每个聚类簇的判定系数；
将所有聚类簇的判定系数的均值，记为第张视频帧的关键程度；
所述根据每个聚类簇中第一质心和第二质心的数量以及距离，得到每个聚类簇的判定系数，包括的具体步骤如下：
当第个聚类簇中第一质心的数量不等于第二质心的数量时，将第/>个聚类簇的判定系数设置为预设的常数；
当第个聚类簇中第一质心的数量等于第二质心的数量时，根据第/>个聚类簇中每个第二质心分别到所有第一质心的距离，得到第/>个聚类簇的判定系数；
所述当第个聚类簇中第一质心的数量等于第二质心的数量时，根据第/>个聚类簇中每个第二质心分别到所有第一质心的距离，得到第/>个聚类簇的判定系数，包括的具体步骤如下：
计算第个聚类簇中每个第二质心分别到所有第一质心的距离的均值，将第/>个聚类簇中所有第二质心分别到所有第一质心的距离的均值之和，记为第/>个聚类簇的判定系数。
2.根据权利要求1所述基于远程监控的牛异常行为检测方法，其特征在于，所述在监控视频中的每张视频帧中分割出若干个牛连通域，包括的具体步骤如下：
对监控视频中第张视频帧进行灰度化处理，得到第/>张视频帧中每个像素点的灰度值；
根据第张视频帧中所有像素点的灰度值，使用大津分割算法获得第/>张视频帧的分割阈值/>；
将第张视频帧中灰度值小于分割阈值/>的所有像素点构成的区域，记为牛群区域；
根据牛群区域内所有像素点的灰度值，使用Canny边缘检测算法对牛群区域进行边缘检测，得到牛群区域中的若干条边缘线；将牛群区域中的每条边缘线，记为一条弱边缘；
将牛群区域中的每个闭合边界，记为一条强边缘；所述一条强边缘对应一个闭合区域；
根据每条强边缘上相邻像素点的位置，从每条强边缘上筛选出若干个分割点；
将每条强边缘上的任意两个分割点的连线，记为分割线段；
根据每条强边缘对应的闭合区域内的弱边缘与分割线段，得到每条强边缘对应的闭合区域内每条弱边缘为分割边缘的可能性；
根据每条强边缘对应的闭合区域内每条弱边缘为分割边缘的可能性，得到第张视频帧中分割出若干个牛连通域。
3.根据权利要求2所述基于远程监控的牛异常行为检测方法，其特征在于，所述根据每条强边缘上相邻像素点的位置，从每条强边缘上筛选出若干个分割点，包括的具体步骤如下：
将第条强边缘上的第/>个像素点，记为目标点；
将第条强边缘上与目标点相邻的两个像素点，分别记为第一参考点和第二参考点；
将过目标点与第一参考点的直线记为第一直线；
将过目标点与第二参考点的直线记为第二直线；
将第一直线和第二直线的最小夹角值，记为目标点属于分割点的可能性；
将第条强边缘上所有像素点属于分割点的可能性的均值，记为第一阈值；
在第条强边缘上，将属于分割点的可能性小于第一阈值的像素点，记为第/>强边缘上的分割点。
4.根据权利要求2所述基于远程监控的牛异常行为检测方法，其特征在于，所述根据每条强边缘对应的闭合区域内的弱边缘与分割线段，得到每条强边缘对应的闭合区域内每条弱边缘为分割边缘的可能性，包括的具体步骤如下：
使用最小二乘法对第强边缘对应的闭合区域内的第/>条弱边缘进行直线拟合，得到所述第/>条弱边缘的拟合直线；
统计第条强边缘对应的第/>条分割线段与所述第/>条弱边缘重叠的像素点数量，将所述重叠的像素点数量与所述第/>条弱边缘上的像素点数量的比值，记为第一比值；
将所述第条弱边缘的拟合直线的斜率与所述第/>条分割线段的斜率的比值，记为第二比值；
计算1与第二比值的差值的绝对值，将所述绝对值的反比例的归一化值，记为第三比值；
将第一比值与第三比值的乘积的归一化值，记为所述第条弱边缘与所述第/>分割线段的相似性；
将所述第条弱边缘分别与第/>条强边缘对应的所有条分割线段的相似性的最大值，记为所述第/>条弱边缘为分割边缘的可能性。
5.根据权利要求2所述基于远程监控的牛异常行为检测方法，其特征在于，所述根据每条强边缘对应的闭合区域内每条弱边缘为分割边缘的可能性，得到第张视频帧中分割出若干个牛连通域，包括的具体步骤如下：
在第条强边缘对应的闭合区域内，将为分割边缘的可能性大于预设的判断阈值的弱边缘，记为分割边缘；
在第张视频帧中，将第/>条强边缘和第/>条强边缘对应的闭合区域内所有分割边缘使用扫描线填充算法进行填充构成的若干个闭合区域，记为牛连通域。
6.根据权利要求1所述基于远程监控的牛异常行为检测方法，其特征在于，所述根据每张视频帧的关键程度的大小，从所有视频帧中筛选出若干张关键帧，包括的具体步骤如下：
将监控视频中关键程度大于预设的关键阈值的视频帧，记为关键帧。
7.根据权利要求1所述基于远程监控的牛异常行为检测方法，其特征在于，所述根据所述质心移动速度得到牛异常行为的检测结果，包括的具体步骤如下：
当关键视频中的所有质心移动速度的均值大于预设的速度阈值，判定牛出现了异常行为。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410241074.8A CN117831136B (zh) | 2024-03-04 | 2024-03-04 | 基于远程监控的牛异常行为检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410241074.8A CN117831136B (zh) | 2024-03-04 | 2024-03-04 | 基于远程监控的牛异常行为检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117831136A CN117831136A (zh) | 2024-04-05 |
| CN117831136B true CN117831136B (zh) | 2024-05-07 |
Family
ID=90515541
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410241074.8A Active CN117831136B (zh) | 2024-03-04 | 2024-03-04 | 基于远程监控的牛异常行为检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117831136B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103473791A (zh) * | 2013-09-10 | 2013-12-25 | 惠州学院 | 监控视频中异常速度事件自动识别方法 |
| CN103942751A (zh) * | 2014-04-28 | 2014-07-23 | 中央民族大学 | 一种视频关键帧提取方法 |
| DE202017103539U1 (de) * | 2017-06-13 | 2018-09-14 | Big Dutchman International Gmbh | Nutztieraktivitätserfassung |
| CN112528823A (zh) * | 2020-12-04 | 2021-03-19 | 燕山大学 | 一种基于关键帧检测和语义部件分割的条斑鲨运动行为分析方法及系统 |
| CN112926522A (zh) * | 2021-03-30 | 2021-06-08 | 广东省科学院智能制造研究所 | 一种基于骨骼姿态与时空图卷积网络的行为识别方法 |
| CN113112519A (zh) * | 2021-04-23 | 2021-07-13 | 电子科技大学 | 基于感兴趣目标分布的关键帧筛选方法 |
| CN113246147A (zh) * | 2021-04-30 | 2021-08-13 | 嘉应学院 | 一种基于视觉处理建立机器人舞蹈动作库的方法 |
| CN114255253A (zh) * | 2020-09-25 | 2022-03-29 | 北京小米移动软件有限公司 | 边缘检测方法、边缘检测装置及计算机可读存储介质 |
| CN115761896A (zh) * | 2022-11-30 | 2023-03-07 | 华智生物技术有限公司 | 一种生猪的异常行为识别方法、系统、设备以及介质 |
| CN115984959A (zh) * | 2022-12-20 | 2023-04-18 | 山东大学 | 基于神经网络与质心跟踪的牛类异常行为检测方法及系统 |
| CN116168329A (zh) * | 2023-03-27 | 2023-05-26 | 南京大学 | 基于关键帧筛选像素块的视频动作检测方法、设备及介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10628700B2 (en) * | 2016-05-23 | 2020-04-21 | Intel Corporation | Fast and robust face detection, region extraction, and tracking for improved video coding |
| US20230168643A1 (en) * | 2022-10-13 | 2023-06-01 | Chengdu Qinchuan Iot Technology Co., Ltd. | Industrial internet of things based on abnormal identification, control method, and storage media thereof |
-
2024
- 2024-03-04 CN CN202410241074.8A patent/CN117831136B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103473791A (zh) * | 2013-09-10 | 2013-12-25 | 惠州学院 | 监控视频中异常速度事件自动识别方法 |
| CN103942751A (zh) * | 2014-04-28 | 2014-07-23 | 中央民族大学 | 一种视频关键帧提取方法 |
| DE202017103539U1 (de) * | 2017-06-13 | 2018-09-14 | Big Dutchman International Gmbh | Nutztieraktivitätserfassung |
| CN114255253A (zh) * | 2020-09-25 | 2022-03-29 | 北京小米移动软件有限公司 | 边缘检测方法、边缘检测装置及计算机可读存储介质 |
| CN112528823A (zh) * | 2020-12-04 | 2021-03-19 | 燕山大学 | 一种基于关键帧检测和语义部件分割的条斑鲨运动行为分析方法及系统 |
| CN112926522A (zh) * | 2021-03-30 | 2021-06-08 | 广东省科学院智能制造研究所 | 一种基于骨骼姿态与时空图卷积网络的行为识别方法 |
| CN113112519A (zh) * | 2021-04-23 | 2021-07-13 | 电子科技大学 | 基于感兴趣目标分布的关键帧筛选方法 |
| CN113246147A (zh) * | 2021-04-30 | 2021-08-13 | 嘉应学院 | 一种基于视觉处理建立机器人舞蹈动作库的方法 |
| CN115761896A (zh) * | 2022-11-30 | 2023-03-07 | 华智生物技术有限公司 | 一种生猪的异常行为识别方法、系统、设备以及介质 |
| CN115984959A (zh) * | 2022-12-20 | 2023-04-18 | 山东大学 | 基于神经网络与质心跟踪的牛类异常行为检测方法及系统 |
| CN116168329A (zh) * | 2023-03-27 | 2023-05-26 | 南京大学 | 基于关键帧筛选像素块的视频动作检测方法、设备及介质 |
Non-Patent Citations (7)
| Title |
|---|
| Cattle segmentation and contour extraction based on Mask R-CNN for precision livestock farming;Yongliang Qiao 等;《Computers and Electronics in Agriculture》;20190821;1-9 * |
| Multi-Target Rumination Behavior Analysis Method of Cows Based on Target Detection and Optical Flow Algorithm;Ronghua Gao 等;《sustainability》;20230921;1-24 * |
| Tomoko SAITOH 等.A Static Video Summarization Approach for the Analysis of Cattle's Movement.《Journal of the Imaging Society of Japen》.2021,第60卷(第1期),9-16. * |
| Video Event Restoration Based on Keyframes for Video Anomaly Detection;Zhiwei Yang 等;《CVPR 2023》;20230508;14592-14601 * |
| 基于视觉语义概念的暴恐视频检测;宋伟 等;《信息网络安全》;20160910;12-17 * |
| 基于视频分析的犊牛基本行为识别;何东健 等;《农业机械学报》;20160620;第47卷(第9期);294-300 * |
| 牛图像识别与分割方法研究;李建春;《内蒙古科技与经济》;20231030;第20卷(第534期);105-107 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117831136A (zh) | 2024-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103164858B (zh) | 基于超像素和图模型的粘连人群分割与跟踪方法 | |
| CN113947731B (zh) | 一种基于接触网安全巡检的异物识别方法及系统 | |
| CN101847265A (zh) | 一种在公交客流统计系统中使用的运动目标提取及多目标分割方法 | |
| CN109145708A (zh) | 一种基于rgb和d信息融合的人流量统计方法 | |
| Kaixuan et al. | Target detection method for moving cows based on background subtraction | |
| US20220128358A1 (en) | Smart Sensor Based System and Method for Automatic Measurement of Water Level and Water Flow Velocity and Prediction | |
| CN117911408B (zh) | 一种道路路面施工质量检测方法及系统 | |
| CN111968159A (zh) | 一种简单通用的鱼群视频图像轨迹追踪方法 | |
| CN117809379B (zh) | 一种基于监控摄像机的智能人形识别报警系统及方法 | |
| CN109254271B (zh) | 一种用于地面监视雷达系统的静止目标抑制方法 | |
| CN111476804A (zh) | 托辊图像高效分割方法、装置、设备及存储介质 | |
| CN112637550B (zh) | 多路4k准实时拼接视频的ptz动目标跟踪方法 | |
| CN117831136B (zh) | 基于远程监控的牛异常行为检测方法 | |
| CN104123569B (zh) | 一种基于有监督学习的视频人数信息统计方法 | |
| CN117037049B (zh) | 基于YOLOv5深度学习的图像内容检测方法及系统 | |
| CN111783720A (zh) | 基于枪球联动的牛反刍行为检测方法 | |
| CN108830169B (zh) | 增氧机工作状态的检测方法和系统 | |
| CN117690086A (zh) | 一种基于5g和ai技术的防汛闸门识别及控制的方法和系统 | |
| CN101943575B (zh) | 一种移动平台用测试方法和测试系统 | |
| CN111382674B (zh) | 一种基于视觉显著性的攻击行为猪的识别方法 | |
| Tan et al. | RTS-LCSS: A New Method for Real-Time Monitoring of Pantograph Structure | |
| CN115719362A (zh) | 一种高空抛物检测方法、系统、设备及存储介质 | |
| CN109002791B (zh) | 一种基于视频自动跟踪奶牛反刍行为的系统及方法 | |
| CN112750145A (zh) | 目标检测与跟踪的方法、装置和系统 | |
| CN118247191B (zh) | 一种基于计算机视觉的图像增强方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |