CN113435355A - 多目标奶牛身份识别方法及系统 - Google Patents
多目标奶牛身份识别方法及系统 Download PDFInfo
- Publication number
- CN113435355A CN113435355A CN202110738381.3A CN202110738381A CN113435355A CN 113435355 A CN113435355 A CN 113435355A CN 202110738381 A CN202110738381 A CN 202110738381A CN 113435355 A CN113435355 A CN 113435355A
- Authority
- CN
- China
- Prior art keywords
- cow
- target
- facial
- video
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 99
- 241000283690 Bos taurus Species 0.000 claims abstract description 442
- 230000001815 facial effect Effects 0.000 claims abstract description 230
- 238000001514 detection method Methods 0.000 claims abstract description 160
- 238000012549 training Methods 0.000 claims abstract description 89
- 235000013365 dairy product Nutrition 0.000 claims abstract description 52
- 239000008267 milk Substances 0.000 claims abstract description 39
- 235000013336 milk Nutrition 0.000 claims abstract description 39
- 210000004080 milk Anatomy 0.000 claims abstract description 39
- 238000000605 extraction Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 9
- 238000003860 storage Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 7
- 238000002372 labelling Methods 0.000 claims description 6
- 230000036541 health Effects 0.000 abstract description 12
- 238000006243 chemical reaction Methods 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 19
- 238000012360 testing method Methods 0.000 description 17
- 238000013528 artificial neural network Methods 0.000 description 13
- 230000004913 activation Effects 0.000 description 9
- 238000009395 breeding Methods 0.000 description 8
- 230000001488 breeding effect Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000003938 response to stress Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000002776 aggregation Effects 0.000 description 3
- 238000004220 aggregation Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000013526 transfer learning Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 244000309464 bull Species 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 244000144972 livestock Species 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 235000015097 nutrients Nutrition 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种多目标奶牛身份识别方法及系统，其中，多目标奶牛身份识别方法，包括：基于待识别视频，确定待识别视频帧集合；其中，待识别视频包括至少一头奶牛的面部图像信息；基于待识别视频帧集合，根据多目标检测跟踪网络，得到并输出多目标奶牛面部图像序列；基于多目标奶牛面部图像序列，根据多目标面部识别网络，得到并输出奶牛身份信息；其中，多目标检测跟踪网络是基于带检测框的样本视频帧集合和对应的奶牛面部图像移动轨迹训练得到的；多目标面部识别网络是基于样本奶牛面部图像数据集和对应的奶牛身份信息训练得到的。能够无接触、自动地同时对多头奶牛进行身份识别，降低人工成本，避免因为奶牛应激反应的发生，保证奶牛健康。
Description
技术领域
本发明涉及禽畜养殖技术领域，尤其涉及一种多目标奶牛身份识别方法及系统。
背景技术
牛奶作为蛋白质等营养物质的重要来源之一，保证其质量和产量对中国畜牧业发展有着深远的影响。因此，发展精准养殖技术对于保证奶牛个体健康具有重要意义。奶牛个体身份识别技术作为奶牛精准养殖技术的重要环节之一，是后续进行行为识别等环节的重要基础。
传统方法对奶牛身份识别依靠人工读取、传感器方式等方法完成。需要将奶牛身份ID书写、打印在耳标上，或在奶牛表面设置传感器。容易引起奶牛的应激反应。并且人工读取方法检测速度慢，传感器识别方法成本高昂。
因此，如何提供一种多目标奶牛身份识别方法及系统，能够无接触、自动地同时对多头奶牛进行身份识别，降低人工成本，避免因为奶牛应激反应的发生，保证奶牛健康，成为亟待解决的问题。
发明内容
针对现有技术中的缺陷，本发明提供一种多目标奶牛身份识别方法及系统。
本发明提供一种多目标奶牛身份识别方法，包括：
基于待识别视频，确定待识别视频帧集合；其中，所述待识别视频包括至少一头奶牛的面部图像信息；
基于所述待识别视频帧集合，根据多目标检测跟踪网络，得到并输出多目标奶牛面部图像序列；
基于所述多目标奶牛面部图像序列，根据多目标面部识别网络，得到并输出奶牛身份信息；
其中，所述多目标检测跟踪网络是基于带检测框的样本视频帧集合和对应的奶牛面部图像移动轨迹训练得到的；所述多目标面部识别网络是基于样本奶牛面部图像数据集和对应的奶牛身份信息训练得到的。
根据本发明提供的多目标奶牛身份识别方法，所述多目标检测跟踪网络包括：特征提取层、检测框确定层、多目标识别层和图像序列确定层；
所述特征提取层，用于处理所述待识别视频帧集合，得到待识别视频帧特征集；
所述检测框确定层，用于根据所述待识别视频帧特征集，确定每一帧待识别视频帧中奶牛面部识别检测框；
所述多目标识别层，用于根据所述每一帧待识别视频帧中奶牛面部识别检测框，确定所述每一帧待识别视频帧中每一目标奶牛的面部图像移动轨迹；
所述图像序列确定层，用于根据所述每一帧待识别视频帧中奶牛面部识别检测框和所述每一目标奶牛的面部图像移动轨迹，确定所述多目标奶牛面部图像序列。
根据本发明提供的多目标奶牛身份识别方法，所述多目标识别层，具体用于：
基于所述待识别视频帧中奶牛面部识别检测框，计算当前视频帧和上一视频帧中奶牛面部识别检测框特征之间的余弦距离；
基于所述余弦距离，对当前视频帧和上一视频帧中来源于同一奶牛的面部图像进行匹配，确定所述每一目标奶牛的面部图像移动轨迹；
根据所述每一帧待识别视频帧中奶牛面部识别检测框和所述每一目标奶牛的面部图像移动轨迹，确定所述多目标奶牛面部图像序列。
根据本发明提供的多目标奶牛身份识别方法，所述多目标面部识别网络包括：面部特征提取层和身份信息识别层；
所述面部特征提取层，用于根据所述多目标奶牛面部图像序列，确定每一目标奶牛的面部信息特征；
所述身份信息识别层，用于根据所述每一目标奶牛的面部信息特征，确定每一目标奶牛对应的身份信息。
根据本发明提供的多目标奶牛身份识别方法，在所述基于所述多目标奶牛面部图像序列，根据多目标面部识别网络，得到并输出奶牛身份信息的步骤之前，还包括：训练所述多目标面部识别网络；
所述训练所述多目标面部识别网络，具体包括：
基于样本视频，获取样本视频关键帧；其中，所述样本视频包括至少一头奶牛的面部图像信息；
基于所述样本视频关键帧，确定样本奶牛面部图像数据集；
将所述样本奶牛面部图像数据集和所述对应的奶牛身份信息，作为训练使用的输入数据对所述多目标面部识别网络进行迭代训练直至所述多目标面部识别网络收敛。
根据本发明提供的多目标奶牛身份识别方法，所述基于所述样本视频关键帧，确定样本奶牛面部图像数据集，具体包括：
基于所述样本视频帧，确定所述样本视频帧集合；
扩充所述样本关键帧集合，确定所述样本奶牛面部图像数据集。
根据本发明提供的多目标奶牛身份识别方法，在所述基于所述待识别视频帧集合，根据多目标检测跟踪网络，得到并输出多目标奶牛面部图像序列的步骤之前，还包括：训练所述多目标检测跟踪网络；
所述训练所述多目标检测跟踪网络，具体包括：
对所述样本视频帧集合中每一帧样本视频帧进行标注，确定标注后的带检测框的样本视频帧集合；其中，所述样本视频包括至少一头奶牛的面部图像信息；
基于所述标注后的带检测框的样本视频帧集合，确定每一目标奶牛的面部图像移动轨迹；
将所述标注后的带检测框的样本视频帧集合和所述每一目标奶牛的面部图像移动轨迹，作为训练使用的输入数据对所述多目标检测跟踪网络进行迭代训练直至所述多目标检测跟踪网络收敛。
本发明还提供一种多目标奶牛身份识别系统，包括：获取单元、检测单元和识别单元；
所述获取单元，用于基于待识别视频，确定待识别视频帧集合；其中，所述待识别视频包括至少一头奶牛的面部图像信息；
所述检测单元，用于基于所述待识别视频帧集合，根据多目标检测跟踪网络，得到并输出多目标奶牛面部图像序列；
所述识别单元，用于基于所述多目标奶牛面部图像序列，根据多目标面部识别网络，得到并输出奶牛身份信息；
其中，所述多目标检测跟踪网络是基于带检测框的样本视频帧集合和对应的奶牛面部图像移动轨迹训练得到的；所述多目标面部识别网络是基于样本奶牛面部图像数据集和对应的奶牛身份信息训练得到的。
本发明还提供一种电子设备，包括存储器和处理器，所述处理器和所述存储器通过总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如上述多目标奶牛身份识别方法的各个步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述多目标奶牛身份识别方法的各个步骤。
本发明提供的多目标奶牛身份识别方法及系统，通过对包含至少一头奶牛的面部图像信息的待识别视频帧集合输入至多目标检测跟踪网络中，得到并输出多目标奶牛面部图像序列，将多目标奶牛面部图像序列输入至多目标面部识别网络中，得到并输出奶牛身份信息。能够有效提取特征，通过视频中的图像特征实现无接触、自动地同时对多头奶牛进行身份识别，降低人工成本，避免因为奶牛应激反应的发生，保证奶牛健康。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的多目标奶牛身份识别方法流程图；
图2为本发明提供的多目标检测跟踪网络结构示意图；
图3为本发明提供的多目标奶牛身份识别方法流程示意图；
图4为本发明提供的多目标奶牛身份识别系统结构示意图；
图5为本发明提供的多目标奶牛身份识别系统设计结构示意图；
图6为本发明提供的电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明提供的多目标奶牛身份识别方法流程图，如图1所示，本发明提供一种多目标奶牛身份识别方法，包括：
步骤S1，基于待识别视频，确定待识别视频帧集合；其中，所述待识别视频包括至少一头奶牛的面部图像信息；
步骤S2，基于所述待识别视频帧集合，根据多目标检测跟踪网络，得到并输出多目标奶牛面部图像序列；
步骤S3，基于所述多目标奶牛面部图像序列，根据多目标面部识别网络，得到并输出奶牛身份信息；
其中，所述多目标检测跟踪网络是基于带检测框的样本视频帧集合和对应的奶牛面部图像移动轨迹训练得到的；所述多目标面部识别网络是基于样本奶牛面部图像数据集和对应的奶牛身份信息训练得到的。
具体的，在进行奶牛身份识别之前，需要事先采集包括有至少一头奶牛的面部图像信息的待识别视频。
例如：将摄像机架设在牛舍或挤奶厅旁，完成奶牛日常活动视频采集工作，以摄像机拍摄到的视频作为待识别视频。或者是需要进行奶牛身份识别时，人为使用摄像头拍摄奶牛视频，或是驱赶奶牛通过设置有摄像头的通道采集视频。具体的待识别视频的采集方式可根据实际情况进行调整，本发明对此不做限定。
可以理解的是，为了保证视频中出现多头奶牛目标和清晰的、多视角的面部信息，拍摄到较为清晰的奶牛活动视频，需要保证摄像机架设距离高度、和合适的焦距等。为了减少布置光源的成本，简化室外拍摄图像的装置搭建，利用自然光进行拍摄。
在获取待识别视频之后，在步骤S1中，提取该待识别视频的视频帧，将视频帧按照时间顺序进行排列，确定待识别视频帧集合。
需要说明的是，在确定待识别视频帧集合时，集合中的视频帧可以是连续的，也可以是经过预处理之后经过采样确定的视频帧。在本发明中由于需要准确地进行目标奶牛面部移动轨迹的跟踪，优选的，采用连续视频帧的识别精度更高。对应的，使用预处理后帧数较少的待识别视频帧集合，能够减少计算量，但会在一定程度上降低识别精度。
在步骤S2中，基于上述确定的待识别视频帧集合输入预先训练好的多目标检测跟踪网络中，得到并输出多目标奶牛面部图像序列。
需要说明的是，在待识别视频帧中可能存在一头或多头不同(多目标)的奶牛，多目标检测跟踪网络用于对待识别视频帧集合中的奶牛面部进行检测，确定奶牛面部检测框，并对相同的奶牛跟踪识别。
在步骤S3中，将确定的多目标奶牛面部图像序列输入预先训练好的多目标面部识别网络，基于相同奶牛对应的面部检测框中的面部特征进行识别，得到并输出与之对应的奶牛身份信息。
需要说明的是，在基于待识别视频帧集合利用多目标检测跟踪网络和多目标面部识别网络进行奶牛身份信息识别之前，需要对两个网络进行训练，并验证其能够正常使用。其中，多目标检测跟踪网络是基于带检测框的样本视频帧集合和对应的奶牛面部图像移动轨迹训练得到的。多目标面部识别网络是基于样本奶牛面部图像数据集和对应的奶牛身份信息训练得到的。
本发明提供的多目标奶牛身份识别方法，通过对包含至少一头奶牛的面部图像信息的待识别视频帧集合输入至多目标检测跟踪网络中，得到并输出多目标奶牛面部图像序列，将多目标奶牛面部图像序列输入至多目标面部识别网络中，得到并输出奶牛身份信息。能够有效提取特征，通过视频中的图像特征实现无接触、自动地同时对多头奶牛进行身份识别，提高奶牛身份识别效率，节约人力成本，避免因为奶牛应激反应的发生，对于确保奶牛健康以及精准养殖技术具有重要的参考价值。
可选的，根据本发明提供的多目标奶牛身份识别方法，所述多目标检测跟踪网络包括：特征提取层、检测框确定层、多目标识别层和图像序列确定层；
所述特征提取层，用于处理所述待识别视频帧集合，得到待识别视频帧特征集；
所述检测框确定层，用于根据所述待识别视频帧特征集，确定每一帧待识别视频帧中奶牛面部识别检测框；
所述多目标识别层，用于根据所述每一帧待识别视频帧中奶牛面部识别检测框，确定所述每一帧待识别视频帧中每一目标奶牛的面部图像移动轨迹；
所述图像序列确定层，用于根据所述每一帧待识别视频帧中奶牛面部识别检测框和所述每一目标奶牛的面部图像移动轨迹，确定所述多目标奶牛面部图像序列。
具体的，图2为本发明提供的奶牛多目标检测跟踪网络结构示意图，如图2所示，以目标检测跟踪网络的骨干网络由使用增强的DLA(Deep Layer Aggregation)对多层特征融合的ResNet-34网络构成为例，对本发明进行说明。依照多目标检测跟踪网络的功能进行划分，多目标检测跟踪网络包括：特征提取层、检测框确定层、多目标识别层和图像序列确定层。
其中，特征提取层用于处理待识别视频帧集合，提取每一帧图像对应的特征，综合得到待识别视频帧特征集。
检测框确定层用于根据待识别视频帧特征集，确定每一帧待识别视频帧中奶牛面部识别检测框。获得检测框的相关信息，如：检测框大小、中心点和偏移量等。
多目标识别层用于根据每一帧待识别视频帧中奶牛面部识别检测框，根据检测框的相关信息，确定检测框的移动规律，即可确定待识别视频帧集合中，每一帧待识别视频帧中每一目标奶牛的面部图像移动轨迹。
需要说明的是，由于待识别视频中可能包括一头或者多头奶牛的面部信息，多目标识别层目的在于对待识别视频帧集合中不同的奶牛个体的面部信息进行精准的跟踪，能够确定同一奶牛在不同图像帧中所在的位置，保证在识别时能够准确地对群体奶牛中的个体实现精准的识别。
图像序列确定层用于根据每一帧待识别视频帧中奶牛面部识别检测框和每一目标奶牛的面部图像移动轨迹，确定多目标奶牛面部图像序列。该图像序列即能够反映视频帧集合中一头或多头奶牛的面部运动信息。
需要说明的是，目标检测跟踪网络的骨干网络由使用增强的DLA(Deep LayerAggregation)对多层特征进行融合的ResNet-34网络构成仅作为一个具体的例子对本发明进行说明。在本发明实际应用过程中，目标检测跟踪网络所具体使用的神经网络架构可根据实际需求进行调整，本发明对此不做限定。
本发明提供的多目标奶牛身份识别方法，通过对包含至少一头奶牛的面部图像信息的待识别视频帧集合输入至多目标检测跟踪网络中，得到并输出多目标奶牛面部图像序列，将多目标奶牛面部图像序列输入至多目标面部识别网络中，得到并输出奶牛身份信息。基于视频分析的计算机视觉技术能够无接触、低成本地记录信息，有效提取特征，通过视频中的图像特征实现无接触、自动地同时对多头奶牛精准的身份识别，降低人工成本，避免因为奶牛应激反应的发生，保证奶牛健康。
可选的，根据本发明提供的多目标奶牛身份识别方法，所述多目标识别层，具体用于：
基于所述待识别视频帧中奶牛面部识别检测框，计算当前视频帧和上一视频帧中奶牛面部识别检测框特征之间的余弦距离；
基于所述余弦距离，对当前视频帧和上一视频帧中来源于同一奶牛的面部图像进行匹配，确定所述每一目标奶牛的面部图像移动轨迹；
根据所述每一帧待识别视频帧中奶牛面部识别检测框和所述每一目标奶牛的面部图像移动轨迹，确定所述多目标奶牛面部图像序列。
具体的，在检测框确定层确定了视频帧中针对奶牛面部的检测框之后，将该检测框输入多目标识别层。多目标识别层，在获取该检测框之后，将比对该检测框与上一视频帧中检测框的关系，确定连续两帧中检测框是否匹配。
多目标识别层基于待识别视频帧中奶牛面部识别检测框，计算当前视频帧和上一视频帧中奶牛面部识别检测框特征之间的余弦距离。
确定余弦距离之后，对当前视频帧和上一视频帧中来源于同一奶牛的面部图像进行匹配，确定每一目标奶牛的面部图像移动轨迹。
例如：根据输入视频帧两帧时间的时间间隔，确定余弦距离阈值，确定余弦距离在余弦距离阈值内的两检测框检测的是同一头奶牛，确定其关联关系。需要说明的是，该方法仅作为一个具体的例子，对本发明中根据余弦距离对视频帧中来源于同一奶牛的检测框进行关联匹配。
在每获得一帧视频后均重复上述对检测框进行关联匹配的步骤，即可确定视频帧集合中，同一奶牛的面部识别框的运动轨迹，即确定奶牛的面部运动轨迹。
根据每一帧待识别视频帧中奶牛面部识别检测框和每一目标奶牛的面部图像移动轨迹，确定多目标奶牛面部图像序列。
本发明提供的多目标奶牛身份识别方法，通过对包含至少一头奶牛的面部图像信息的待识别视频帧集合输入至多目标检测跟踪网络中，得到并输出多目标奶牛面部图像序列，将多目标奶牛面部图像序列输入至多目标面部识别网络中，得到并输出奶牛身份信息。能够有效提取特征，通过视频中的图像特征实现无接触、自动地同时对多头奶牛进行身份识别，降低人工成本，避免因为奶牛应激反应的发生，保证奶牛健康。
可选的，根据本发明提供的多目标奶牛身份识别方法，所述多目标面部识别网络包括：面部特征提取层和身份信息识别层；
所述面部特征提取层，用于根据所述多目标奶牛面部图像序列，确定每一目标奶牛的面部信息特征；
所述身份信息识别层，用于根据所述每一目标奶牛的面部信息特征，确定每一目标奶牛对应的身份信息。
具体的，图3为本发明提供的多目标奶牛身份识别方法流程示意图，如图3所示，待测视频帧集合在输入多目标检测跟踪网络后，输出多目标奶牛面部图像序列，并将其输入多目标面部识别网络中。
多目标面部识别网络包括：面部特征提取层和身份信息识别层。
多目标奶牛面部图像序列输入多目标识别网络的面部特征提取层中，面部特征提取层根据多目标奶牛面部图像序列，进行奶牛面部特征提取，提取图像中每一目标奶牛的面部信息特征。
将提取的奶牛的面部特征信息输入到身份信息识别层中，身份识别层用于根据每一目标奶牛的面部信息特征进行特征识别，确定每一目标奶牛对应的身份信息。
可以理解的是，由于图像中可能包含一头或者多头奶牛，对应的，有多头奶牛的情况下，即分别提取不同奶牛的面部特征信息。根据多头奶牛的面部特征信息分别进行特征识别，识别出每一头奶牛的身份。
需要说明的是，对应的身份信息可以是该奶牛的身份编码或品种等信息，在本发明实际应用中可根据实际情况进行调整，本发明对戏不做限定。
可以理解的是，提取奶牛的面部信息特征，根据面部信息特征进行分类的方法，可以是将获取的特征输入分类器，从而识别奶牛身份。对应的，分类器的输出数量，可由奶牛身份信息的类别对应的数量进行更改。
若目标检测跟踪网络的骨干网络由使用增强的DLA(Deep Layer Aggregation)对多层特征进行融合的ResNet-34网络构，对应的，多目标面部识别网络可同样以ResNet为骨干网络。
除了使用ResNet系列网络外，还可以使用基于ResNet网络改进的IR(ImproveResidual)和SEResNet-IR等网络结构。
其中，IR相较于原有的Residual模块，在第一层之前新增了BatchNorm层，第一个卷积层的步长由2变为1，第二个卷积层的步长由1变为2，而且将ReLU激活函数替换为PReLU激活函数。
而SEResNet-IR相较于IR，则是在Residual模块最后一个BatchNorm层后增加一个SEModule模块，SEModule模块由一层自适应平均池化层，一层全连接层，一层ReLU激活函数，一层全连接层，一层Sigmoid函数构成。
需要说明的是，上述多目标面部识别网络的结构仅作为一个具体的例子对本发明进行说明。在本发明实际应用过程中，目标检测跟踪网络所具体使用的神经网络架构不限于上述例子中的结构，可根据实际需求进行调整，本发明对此不做限定。
本发明提供的多目标奶牛身份识别方法，通过对包含至少一头奶牛的面部图像信息的待识别视频帧集合输入至多目标检测跟踪网络中，得到并输出多目标奶牛面部图像序列，将多目标奶牛面部图像序列输入至多目标面部识别网络中，得到并输出奶牛身份信息。能够有效提取特征，通过视频中的图像特征实现无接触、自动地同时对多头奶牛进行身份识别，降低人工成本，避免因为奶牛应激反应的发生，保证奶牛健康，为实现奶牛行为识别环节提供重要技术和方法基础，对实现奶牛精准养殖具有重要意义。
可选的，根据本发明提供的多目标奶牛身份识别方法，在所述基于所述多目标奶牛面部图像序列，根据多目标面部识别网络，得到并输出奶牛身份信息的步骤之前，还包括：训练所述多目标面部识别网络；
所述训练所述多目标面部识别网络，具体包括：
基于样本视频，获取样本视频关键帧；其中，所述样本视频包括至少一头奶牛的面部图像信息；
基于所述样本视频关键帧，确定样本奶牛面部图像数据集；
将所述样本奶牛面部图像数据集和所述对应的奶牛身份信息，作为训练使用的输入数据对所述多目标面部识别网络进行迭代训练直至所述多目标面部识别网络收敛。
具体的，在使用多目标奶牛面部神经网络之前，还需要对多目标面部识别网络进行训练。
训练多目标面部识别网络的步骤，具体包括：
基于样本视频(包括至少一头奶牛的面部图像信息)，获取样本视频关键帧。由于获取的视频并不是每一帧中均包括了奶牛的面部图像信息，为了能够更充分地利用视频，且减少训练时的无关数据，确定样本数据时，提取样本视频中的关键帧。提取关键帧的算法可根据实际情况进行选择，本发明对此不做限定。
需要说明的是，获取样本视频的方法可以是人为的拍摄奶牛的面部获取对应的视频，还可以是获取设置于牛舍或其他地方摄像头拍摄的奶牛生活视频。具体的样本视频的获取方法可以根据实际情况进行设置，本发明对此不做限定。
可以理解的是，获取的样本视频中，需要保证包含有多视角、以及多目标的奶牛的面部信息，为了保证视频中出现多头奶牛目标和清晰的、多视角的面部信息，拍摄到较为清晰的奶牛活动视频，需要保证摄像机架设距离高度、和合适的焦距等。为了减少布置光源的成本，简化室外拍摄图像的装置搭建，利用自然光进行拍摄。
基于样本视频关键帧，确定样本奶牛面部图像数据集。
可以理解的是，样本视频关键帧的数量可能较少，或者说不同类别的样本的数量不均衡，可以对获取的样本视频关键帧进行预处理，获取复合神经网络训练需要的奶牛面部图像数据集。具体的神经网络训练要求可根据实际需求确定，处理样本视频关键帧的方法本发明不做限定。
将样本奶牛面部图像数据集和对应的奶牛身份信息，作为训练使用的输入数据对多目标面部识别网络进行迭代训练直至多目标面部识别网络收敛。
例如：选择近年来在图像分类领域取得突出成就的ResNet系列模型作为网络主干骨架，并结合近年来在人脸识别领域使用的损失函数，使用奶牛面部身份数据进行训练，使得主干网络能够准确提取牛脸特征，将得到的特征向量作为分类器输入训练得到奶牛身份信息。将多目标检测跟踪网络得到的面部信息作为身份识别网络输入，得到视频中多目标奶牛身份信息。
训练时可利用ResNet的深度网络训练ImageNet图像分类数据集得到的网络模型参数权值或者基于人脸识别的网络模型参数权值进行迁移学习，完成本发明对应网络层参数初始化，这样在使用奶牛数据集进行网络参数的训练过程中，可以提高网络模型学习速度。然后验证不同的batch_size(批大小)，初始学习率等参数对奶牛面部身份识别准确率的影响，进而确定模型的最优参数。
卷积神经网络的激活函数可以被分为两类：饱和激活函数以及非饱和激活函数。其中ReLU函数是非饱和激活函数的一种，其计算是在卷积之后进行的，它具有单侧抑制的特点。ReLU的公式为：
ReLu(x)＝max(0,x)
但是ReLU激活函数会受到学习率的影响，在学习率较大的情况下，无法激活一些梯度较大的神经元。ReLU是将所有的负值都设为零，与之不同的是，Leaky ReLU是对所有负值赋予了一个非零斜率。
PReLU(Parametric ReLU，参数化修正线性单元)可以看作是Leaky ReLU的一个变体。在PReLU中，它不再固定负值部分的斜率，而是在训练过程中不断学习来激活函数，这样做可能会增加一些额外的计算成本，但却可以提高精度。本发明在训练面部信息识别过程中可以使用PReLU激活函数。
可以理解的是，本发明中神经网络使用的具体构架，和所采用的训练方法均可根据实际需求进行调整，本发明对此不做限定。
可选的，根据本发明提供的多目标奶牛身份识别方法，所述基于所述样本视频关键帧，确定样本奶牛面部图像数据集，具体包括：
基于所述样本视频帧，确定所述样本视频帧集合；
扩充所述样本关键帧集合，确定所述样本奶牛面部图像数据集。
具体的，进一步，由于增加样本的数据量有利于网络提取特征，提高网络泛化性能，在提取视频的关键帧之后，还可以对关键帧进行扩充。
基于样本视频关键帧，确定样本奶牛面部图像数据集的步骤，具体包括：
基于获取的所有样本视频帧，确定样本视频帧集合。
由于样本视频帧中，对应类别的样本数据可能还存在不均衡的问题，在确定样本奶牛面部图像数据集时，还可以对样本数据进行均衡处理。选择性地扩充其中数据量较小的样本类别，或采用其他方法，本发明对此不做限定。
扩充所述样本关键帧集合，确定所述样本奶牛面部图像数据集。
需要说明的是，扩充样本关键帧集合的方法可以是图像增强技术，图像增强技术包括随机矩形消除、高斯模糊、旋转等，将样本数据进行扩容能够有效减少模型训练过程中的过拟合现象，保证模型泛化能力。需要说明的是，在本发明的实际应用中，使用的具体方法可根据实际需求进行调整，本发明对此不做限定。
本发明提供的多目标奶牛身份识别方法，通过样本奶牛面部图像数据集训练多目标面部识别网络，根据视频奶牛面部多尺度与多视角的特点，优化调整网络结构，实现奶牛多视角、多尺度下身份识别。通过训练好的多目标面部识别网络，能够实现对包含至少一头奶牛的面部图像信息的待识别视频帧集合输入至多目标检测跟踪网络中，得到并输出多目标奶牛面部图像序列，将多目标奶牛面部图像序列输入至多目标面部识别网络中，得到并输出奶牛身份信息。能够有效提取特征，通过视频中的图像特征实现无接触、自动地同时对多头奶牛进行身份识别，实现监控视频多目标奶牛身份识别，解决视频奶牛目标遮挡、多视角、多尺度等问题。降低人工成本，避免因为奶牛应激反应的发生，保证奶牛健康。
可选的，根据本发明提供的多目标奶牛身份识别方法，在所述基于所述待识别视频帧集合，根据多目标检测跟踪网络，得到并输出多目标奶牛面部图像序列的步骤之前，还包括：训练所述多目标检测跟踪网络；
所述训练所述多目标检测跟踪网络，具体包括：
对所述样本视频帧集合中每一帧样本视频帧进行标注，确定标注后的带检测框的样本视频帧集合；其中，所述样本视频包括至少一头奶牛的面部图像信息；
基于所述标注后的带检测框的样本视频帧集合，确定每一目标奶牛的面部图像移动轨迹；
将所述标注后的带检测框的样本视频帧集合和所述每一目标奶牛的面部图像移动轨迹，作为训练使用的输入数据对所述多目标检测跟踪网络进行迭代训练直至所述多目标检测跟踪网络收敛。
具体的，在使用多目标检测跟踪网络之前，还需要对多目标检测跟踪网络进行训练。
训练多目标检测跟踪网络，具体包括：
对所述样本视频帧集合中每一帧样本视频帧进行标注，确定标注后的带检测框的样本视频帧集合。
例如，利用cvat半自动化标注工具标注奶牛检测框(矩形框)，包括标注框左上角坐标，标注框宽和高，以及奶牛面部检测框的目标轨迹。需要说明的是，上述标注检测框使用的工具、标注的方法，以及标注框形状的选择，仅作为一个具体的例子，除此之外，还可适应性地使用其他方法，本发明对此不做限定。
基于标注后的带检测框的样本视频帧集合，确定每一目标奶牛的面部图像移动轨迹。
例如：采用MOT(Multiple Object Tracking，多目标跟踪)数据集(包含第几帧图像，轨迹的ID，bbox左上角坐标以及宽和高等信息)的格式进行数据导出，并转换为当前帧，bbox中心点相对坐标以及相对宽和高的格式，得到每一目标奶牛的面部图像移动轨迹。
需要说明的是，上述根据带检测框的视频帧集合确定每一目标奶牛的面部图像移动轨迹的方法仅作为一个具体的例子对本发明进行举例说明，在对应调整检测框的标注方法时，确定奶牛面部图像移动轨迹的方法也可进行适应性的调整，本发明对此不做限定。
将标注后的带检测框的样本视频帧集合和每一目标奶牛的面部图像移动轨迹，作为训练使用的输入数据对多目标检测跟踪网络进行迭代训练直至多目标检测跟踪网络收敛。
可以理解的是，选取目标检测跟踪领域目前表现优异的深度网络模型，例如：基于行人的多目标跟踪网络，通过迁移学习，多目标跟踪的参数初始化阶段，利用基于MOT的多目标行人跟踪训练网络参数权值，作为本发明多目标跟踪任务中对应网络层的参数初始化，有助有优化网络模型。根据奶牛活动视频特点，针对视频中存在多目标奶牛的遮挡等问题，对目标检测跟踪网络进行调优。
需要说明的是，本发明中神经网络使用的具体构架，和所采用的训练方法均可根据实际需求进行调整，本发明对此不做限定。
本发明提供的多目标奶牛身份识别方法，通过进行标注的样本视频帧作为样本数据对多目标检测跟踪网络进行训练，相比于传统方法，本发明能够有效的提取特征信息，解决视频奶牛目标遮挡、多视角、多尺度等问题导致特征信息难以准确提取的问题。对包含至少一头奶牛的面部图像信息的待识别视频帧集合输入至训练好的多目标检测跟踪网络中，得到并输出多目标奶牛面部图像序列，将多目标奶牛面部图像序列输入至多目标面部识别网络中，得到并输出奶牛身份信息。能够有效提取特征，通过视频中的图像特征实现无接触、自动地同时对多头奶牛进行身份识别，降低人工成本，避免因为奶牛应激反应的发生，保证奶牛健康。
进一步，在进行神经网络的训练时，可以将样本数据分为训练集和测试集(例如：将样本图像集按照10：1的比例分为训练集和测试集)，在使用训练集对网络进行训练后，使用测试集验证训练后网络的识别能力。将测试集输入到训练好神经网络中，根据神经网络输出，计算测试误差，若测试误差在误差可容忍范围内，则表明神经网络训练成功。
可以理解的是，在进行神经网络的训练时，最终确定最优的网络参数，确定训练好的神经网络。在本发明中，确定停止训练的条件可以是目标函数达到预设阈值，或者网络迭代训练的次数达到预设阈值等，具体的条件可根据实际情况进行选择，本发明对此不做限定。
图4为本发明提供的多目标奶牛身份识别系统结构示意图，如图4所示，本发明还提供一种多目标奶牛身份识别系统，包括：获取单元410、检测单元420和识别单元430；
所述获取单元410，用于基于待识别视频，确定待识别视频帧集合；其中，所述待识别视频包括至少一头奶牛的面部图像信息；
所述检测单元420，用于基于所述待识别视频帧集合，根据多目标检测跟踪网络，得到并输出多目标奶牛面部图像序列；
所述识别单元430，用于基于所述多目标奶牛面部图像序列，根据多目标面部识别网络，得到并输出奶牛身份信息；
其中，所述多目标检测跟踪网络是基于带检测框的样本视频帧集合和对应的奶牛面部图像移动轨迹训练得到的；所述多目标面部识别网络是基于样本奶牛面部图像数据集和对应的奶牛身份信息训练得到的。
具体的，在进行奶牛身份识别之前，需要事先采集包括有至少一头奶牛的面部图像信息的待识别视频。
例如：将摄像机架设在牛舍或挤奶厅旁，完成奶牛日常活动视频采集工作，以摄像机拍摄到的视频作为待识别视频。或者是需要进行奶牛身份识别时，人为使用摄像头拍摄奶牛视频，或是驱赶奶牛通过设置有摄像头的通道采集视频。具体的待识别视频的采集方式可根据实际情况进行调整，本发明对此不做限定。
可以理解的是，为了保证视频中出现多头奶牛目标和清晰的、多视角的面部信息，拍摄到较为清晰的奶牛活动视频，需要保证摄像机架设距离高度、和合适的焦距等。为了减少布置光源的成本，简化室外拍摄图像的装置搭建，利用自然光进行拍摄。
在获取待识别视频之后，获取单元410，用于提取该待识别视频的视频帧，将视频帧按照时间顺序进行排列，确定待识别视频帧集合。
需要说明的是，在确定待识别视频帧集合时，集合中的视频帧可以是连续的，也可以是经过预处理之后经过采样确定的视频帧。在本发明中由于需要准确地进行目标奶牛面部移动轨迹的跟踪，优选的，采用连续视频帧的识别精度更高。对应的，使用预处理后帧数较少的待识别视频帧集合，能够减少计算量，但会在一定程度上降低识别精度。
检测单元420，用于基于上述确定的待识别视频帧集合输入预先训练好的多目标检测跟踪网络中，得到并输出多目标奶牛面部图像序列。
需要说明的是，在待识别视频帧中可能存在一头或多头不同(多目标)的奶牛，多目标检测跟踪网络用于对待识别视频帧集合中的奶牛面部进行检测，确定奶牛面部检测框，并对相同的奶牛跟踪识别。
识别单元430，用于将确定的多目标奶牛面部图像序列输入预先训练好的多目标面部识别网络，基于相同奶牛对应的面部检测框中的面部特征进行识别，得到并输出与之对应的奶牛身份信息。
需要说明的是，在基于待识别视频帧集合利用多目标检测跟踪网络和多目标面部识别网络进行奶牛身份信息识别之前，需要对两个网络进行训练，并验证其能够正常使用。其中，多目标检测跟踪网络是基于带检测框的样本视频帧集合和对应的奶牛面部图像移动轨迹训练得到的。多目标面部识别网络是基于样本奶牛面部图像数据集和对应的奶牛身份信息训练得到的。
本发明提供的多目标奶牛身份识别系统，通过对包含至少一头奶牛的面部图像信息的待识别视频帧集合输入至多目标检测跟踪网络中，得到并输出多目标奶牛面部图像序列，将多目标奶牛面部图像序列输入至多目标面部识别网络中，得到并输出奶牛身份信息。能够有效提取特征，通过视频中的图像特征实现无接触、自动地同时对多头奶牛进行身份识别，提高奶牛身份识别效率，节约人力成本，避免因为奶牛应激反应的发生，对于确保奶牛健康以及精准养殖技术具有重要的参考价值。
需要说明的是，上述多目标奶牛身份识别系统的具体结构和软件设计，仅作为一个具体的实例对本发明进行解释说明，其中应用的装置类型以及装置的具体选型，和软件功能的适应性设计均可根据实际需求进行调整，本发明对此不做限定。
图5为本发明提供的多目标奶牛身份识别系统设计结构示意图，如图5所示，为了满足多目标奶牛面部识别系统的功能需求，系统可以分为：视频图像预处理模块、多目标奶牛面部检测跟踪模块，以及奶牛面部信息识别模块。各个模块的功能如下：
1、视频图像预处理模块：对采集到的奶牛面部图像进行裁剪，以及进行降噪等操作，减少图像不必要的干扰因素。
2、多目标奶牛面部检测跟踪模块：使用奶牛正面活动数据集，进行训练与测试，若测试的目标检测跟踪结果达标，则保存模型。
3、奶牛面部信息识别模块：使用奶牛多视角面部信息进行训练测试，若测试准确率达到要求，保存奶牛多视角面部信息识别模型。
多目标奶牛面部身份识别系统主要面向对象分为研究人员与应用人员。研究人员主要利用该软件完成多目标奶牛面部身份识别方法的训练与测试，并对训练达标的多目标跟踪模型和面部信息识别模型进行保存。应用人员主要利用研究人员测试完成的多目标跟踪模型和面部信息识别模型对新采集的奶牛活动视频进行识别操作。
以下是对这两种用户模式的多目标奶牛身份识别软件平台分别进行介绍。
面向研究人员的多目标奶牛面部身份识别系统功能主要分为两大模块：数据中心和模型中心。数据中心主要完成的是模型训练的前期数据准备工作，模型中心是利用选定的数据集完成多目标跟踪模型和面部信息识别模型训练及测试，以及模型的发布，提供给应用人员使用。
数据集管理：选取本地标记的多目标奶牛面部跟踪数据集和奶牛多视角面部数据集作为创建数据集的基础图像数据，然后设置训练集和测试集的比例。
训练集扩增：输入奶牛多视角面部数据集，点击选取数据集按钮，系统会从所选的基础数据中每类均匀选取足够数量的测试图像放在一个文件夹下。点击选取训练集，系统会根据设定的比例在基础数据中挑选数据，并进行数据扩增。
数据处理：对数据集的奶牛多视角面部数据进行预处理。
训练模型：研究人员从下拉菜单中选取训练的模型，点击开始训练按钮即可开始模型的训练；分别对多目标奶牛面部跟踪模型和奶牛面部身份识别模型进行训练。
校验模型：点击测试按钮，即可出现训练的结果，包括目标跟踪的多目标跟踪准确率、跟踪精确率等，与面部识别的准确率等信息。
发布模型：研究人员根据校验的结果，若测试结果标准达标，则点击发布模型按钮，若不达标，需重新调整相关参数，进行重新训练。
面向应用用户的多目标奶牛面部身份识别系统功能主要分为两大模块：视频采集模块和身份识别模块。视频采集模块主要完成相机参数的设置和视频采集工作；身份识别模块是多目标奶牛面部身份识别模型完成多目标奶牛身份识别。
身份识别：身份识别模块提供了多种奶牛面部身份识别的模型，用户可根据自身需求选择不同的模型，以及多目标奶牛面部识别的结果展示。
本发明提供的多目标奶牛身份识别方法及系统，通过将活动中的奶牛作为对象，在实际养殖环境中架设奶牛视频采集装置，正面采集奶牛活动视频序列。从奶牛活动时，面部存在多目标和多视角等方面考虑，选取基于深度学习的多目标检测跟踪网络和身份识别网络，实现多目标奶牛面部检测跟踪和身份识别，有效解决传统方法难以实现多目标有效跟踪和难以获得多视角下有效身份特征的问题，为实现奶牛精准养殖提供重要技术和方法基础，对于提升奶牛个体信息跟踪效率、保证奶牛健康具有重要意义。
图6为本发明提供的电子设备的实体结构示意图，如图6所示，所述电子设备可以包括：处理器(processor)601、通信接口(communication interface)602、存储器(memory)603和通信总线(bus)604，其中，处理器601，通信接口602，存储器603通过通信总线604完成相互间的通信。处理器601可以调用存储器603中的逻辑指令，以执行上述多目标奶牛身份识别方法，包括：基于待识别视频，确定待识别视频帧集合；其中，所述待识别视频包括至少一头奶牛的面部图像信息；基于所述待识别视频帧集合，根据多目标检测跟踪网络，得到并输出多目标奶牛面部图像序列；基于所述多目标奶牛面部图像序列，根据多目标面部识别网络，得到并输出奶牛身份信息；其中，所述多目标检测跟踪网络是基于带检测框的样本视频帧集合和对应的奶牛面部图像移动轨迹训练得到的；所述多目标面部识别网络是基于样本奶牛面部图像数据集和对应的奶牛身份信息训练得到的。
此外，上述的存储器603中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的多目标奶牛身份识别方法，该方法包括：基于待识别视频，确定待识别视频帧集合；其中，所述待识别视频包括至少一头奶牛的面部图像信息；基于所述待识别视频帧集合，根据多目标检测跟踪网络，得到并输出多目标奶牛面部图像序列；基于所述多目标奶牛面部图像序列，根据多目标面部识别网络，得到并输出奶牛身份信息；其中，所述多目标检测跟踪网络是基于带检测框的样本视频帧集合和对应的奶牛面部图像移动轨迹训练得到的；所述多目标面部识别网络是基于样本奶牛面部图像数据集和对应的奶牛身份信息训练得到的。
又一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的以执行多目标奶牛身份识别方法，该方法包括：基于待识别视频，确定待识别视频帧集合；其中，所述待识别视频包括至少一头奶牛的面部图像信息；基于所述待识别视频帧集合，根据多目标检测跟踪网络，得到并输出多目标奶牛面部图像序列；基于所述多目标奶牛面部图像序列，根据多目标面部识别网络，得到并输出奶牛身份信息；其中，所述多目标检测跟踪网络是基于带检测框的样本视频帧集合和对应的奶牛面部图像移动轨迹训练得到的；所述多目标面部识别网络是基于样本奶牛面部图像数据集和对应的奶牛身份信息训练得到的。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种多目标奶牛身份识别方法，其特征在于，包括：
基于待识别视频，确定待识别视频帧集合；其中，所述待识别视频包括至少一头奶牛的面部图像信息；
基于所述待识别视频帧集合，根据多目标检测跟踪网络，得到并输出多目标奶牛面部图像序列；
基于所述多目标奶牛面部图像序列，根据多目标面部识别网络，得到并输出奶牛身份信息；
其中，所述多目标检测跟踪网络是基于带检测框的样本视频帧集合和对应的奶牛面部图像移动轨迹训练得到的；所述多目标面部识别网络是基于样本奶牛面部图像数据集和对应的奶牛身份信息训练得到的。
2.根据权利要求1所述的多目标奶牛身份识别方法，其特征在于，
所述多目标检测跟踪网络包括：特征提取层、检测框确定层、多目标识别层和图像序列确定层；
所述特征提取层，用于处理所述待识别视频帧集合，得到待识别视频帧特征集；
所述检测框确定层，用于根据所述待识别视频帧特征集，确定每一帧待识别视频帧中奶牛面部识别检测框；
所述多目标识别层，用于根据所述每一帧待识别视频帧中奶牛面部识别检测框，确定所述每一帧待识别视频帧中每一目标奶牛的面部图像移动轨迹；
所述图像序列确定层，用于根据所述每一帧待识别视频帧中奶牛面部识别检测框和所述每一目标奶牛的面部图像移动轨迹，确定所述多目标奶牛面部图像序列。
3.根据权利要求2所述的多目标奶牛身份识别方法，其特征在于，
所述多目标识别层，具体用于：
基于所述待识别视频帧中奶牛面部识别检测框，计算当前视频帧和上一视频帧中奶牛面部识别检测框特征之间的余弦距离；
基于所述余弦距离，对当前视频帧和上一视频帧中来源于同一奶牛的面部图像进行匹配，确定所述每一目标奶牛的面部图像移动轨迹；
根据所述每一帧待识别视频帧中奶牛面部识别检测框和所述每一目标奶牛的面部图像移动轨迹，确定所述多目标奶牛面部图像序列。
4.根据权利要求1所述的多目标奶牛身份识别方法，其特征在于，
所述多目标面部识别网络包括：面部特征提取层和身份信息识别层；
所述面部特征提取层，用于根据所述多目标奶牛面部图像序列，确定每一目标奶牛的面部信息特征；
所述身份信息识别层，用于根据所述每一目标奶牛的面部信息特征，确定每一目标奶牛对应的身份信息。
5.根据权利要求1-4任一项所述的多目标奶牛身份识别方法，其特征在于，在所述基于所述多目标奶牛面部图像序列，根据多目标面部识别网络，得到并输出奶牛身份信息的步骤之前，还包括：训练所述多目标面部识别网络；
所述训练所述多目标面部识别网络，具体包括：
基于样本视频，获取样本视频关键帧；其中，所述样本视频包括至少一头奶牛的面部图像信息；
基于所述样本视频关键帧，确定样本奶牛面部图像数据集；
将所述样本奶牛面部图像数据集和所述对应的奶牛身份信息，作为训练使用的输入数据对所述多目标面部识别网络进行迭代训练直至所述多目标面部识别网络收敛。
6.根据权利要求5所述的多目标奶牛身份识别方法，其特征在于，所述基于所述样本视频关键帧，确定样本奶牛面部图像数据集，具体包括：
基于所述样本视频帧，确定所述样本视频帧集合；
扩充所述样本关键帧集合，确定所述样本奶牛面部图像数据集。
7.根据权利要求1-4任一项所述的多目标奶牛身份识别方法，其特征在于，在所述基于所述待识别视频帧集合，根据多目标检测跟踪网络，得到并输出多目标奶牛面部图像序列的步骤之前，还包括：训练所述多目标检测跟踪网络；
所述训练所述多目标检测跟踪网络，具体包括：
对所述样本视频帧集合中每一帧样本视频帧进行标注，确定标注后的带检测框的样本视频帧集合；其中，所述样本视频包括至少一头奶牛的面部图像信息；
基于所述标注后的带检测框的样本视频帧集合，确定每一目标奶牛的面部图像移动轨迹；
将所述标注后的带检测框的样本视频帧集合和所述每一目标奶牛的面部图像移动轨迹，作为训练使用的输入数据对所述多目标检测跟踪网络进行迭代训练直至所述多目标检测跟踪网络收敛。
8.一种多目标奶牛身份识别系统，其特征在于，包括：获取单元、检测单元和识别单元；
所述获取单元，用于基于待识别视频，确定待识别视频帧集合；其中，所述待识别视频包括至少一头奶牛的面部图像信息；
所述检测单元，用于基于所述待识别视频帧集合，根据多目标检测跟踪网络，得到并输出多目标奶牛面部图像序列；
所述识别单元，用于基于所述多目标奶牛面部图像序列，根据多目标面部识别网络，得到并输出奶牛身份信息；
其中，所述多目标检测跟踪网络是基于带检测框的样本视频帧集合和对应的奶牛面部图像移动轨迹训练得到的；所述多目标面部识别网络是基于样本奶牛面部图像数据集和对应的奶牛身份信息训练得到的。
9.一种电子设备，其特征在于，包括存储器和处理器，所述处理器和所述存储器通过总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至7任一项所述的多目标奶牛身份识别方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述的多目标奶牛身份识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110738381.3A CN113435355A (zh) | 2021-06-30 | 2021-06-30 | 多目标奶牛身份识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110738381.3A CN113435355A (zh) | 2021-06-30 | 2021-06-30 | 多目标奶牛身份识别方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113435355A true CN113435355A (zh) | 2021-09-24 |
Family
ID=77758142
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110738381.3A Pending CN113435355A (zh) | 2021-06-30 | 2021-06-30 | 多目标奶牛身份识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113435355A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114532248A (zh) * | 2022-01-20 | 2022-05-27 | 内蒙古工业大学 | 奶牛的热应激行为监控方法以及监控装置 |
| CN114694186A (zh) * | 2022-06-01 | 2022-07-01 | 南京优牧大数据服务有限公司 | 牛脸识别数据处理方法及装置 |
| CN114913201A (zh) * | 2022-03-11 | 2022-08-16 | 中国科学院自动化研究所 | 多目标跟踪方法、装置、电子设备、存储介质和产品 |
| CN115457593A (zh) * | 2022-07-26 | 2022-12-09 | 南京清湛人工智能研究院有限公司 | 一种牛脸识别方法、系统、存储介质和电子设备 |
| CN115880338A (zh) * | 2023-03-02 | 2023-03-31 | 浙江大华技术股份有限公司 | 标注方法、标注装置及计算机可读存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107742304A (zh) * | 2017-10-10 | 2018-02-27 | 广州视源电子科技股份有限公司 | 移动轨迹的确定方法及装置、移动机器人及存储介质 |
| CN110378259A (zh) * | 2019-07-05 | 2019-10-25 | 桂林电子科技大学 | 一种面向监控视频的多目标行为识别方法及系统 |
| CN110378931A (zh) * | 2019-07-10 | 2019-10-25 | 成都数之联科技有限公司 | 一种基于多摄像头的行人目标移动轨迹获取方法及系统 |
| US20200019758A1 (en) * | 2018-07-16 | 2020-01-16 | Adobe Inc. | Meta-learning for facial recognition |
| CN110751683A (zh) * | 2019-10-28 | 2020-02-04 | 北京地平线机器人技术研发有限公司 | 轨迹预测方法、装置、可读存储介质及电子设备 |
| CN111291683A (zh) * | 2020-02-08 | 2020-06-16 | 内蒙古大学 | 一种基于深度学习的奶牛个体识别系统及其识别方法 |
| CN111626219A (zh) * | 2020-05-28 | 2020-09-04 | 深圳地平线机器人科技有限公司 | 轨迹预测模型生成方法、装置、可读存储介质及电子设备 |
| CN111626222A (zh) * | 2020-05-28 | 2020-09-04 | 深圳市商汤科技有限公司 | 宠物检测方法、装置、设备及存储介质 |
| CN112101333A (zh) * | 2020-11-23 | 2020-12-18 | 四川圣点世纪科技有限公司 | 一种基于深度学习的智慧牛场的监控与识别方法及装置 |
-
2021
- 2021-06-30 CN CN202110738381.3A patent/CN113435355A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107742304A (zh) * | 2017-10-10 | 2018-02-27 | 广州视源电子科技股份有限公司 | 移动轨迹的确定方法及装置、移动机器人及存储介质 |
| US20200019758A1 (en) * | 2018-07-16 | 2020-01-16 | Adobe Inc. | Meta-learning for facial recognition |
| CN110378259A (zh) * | 2019-07-05 | 2019-10-25 | 桂林电子科技大学 | 一种面向监控视频的多目标行为识别方法及系统 |
| CN110378931A (zh) * | 2019-07-10 | 2019-10-25 | 成都数之联科技有限公司 | 一种基于多摄像头的行人目标移动轨迹获取方法及系统 |
| CN110751683A (zh) * | 2019-10-28 | 2020-02-04 | 北京地平线机器人技术研发有限公司 | 轨迹预测方法、装置、可读存储介质及电子设备 |
| CN111291683A (zh) * | 2020-02-08 | 2020-06-16 | 内蒙古大学 | 一种基于深度学习的奶牛个体识别系统及其识别方法 |
| CN111626219A (zh) * | 2020-05-28 | 2020-09-04 | 深圳地平线机器人科技有限公司 | 轨迹预测模型生成方法、装置、可读存储介质及电子设备 |
| CN111626222A (zh) * | 2020-05-28 | 2020-09-04 | 深圳市商汤科技有限公司 | 宠物检测方法、装置、设备及存储介质 |
| CN112101333A (zh) * | 2020-11-23 | 2020-12-18 | 四川圣点世纪科技有限公司 | 一种基于深度学习的智慧牛场的监控与识别方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 明悦: "《多源视觉信息感知与识别》", 31 August 2020, 《北京邮电大学出版社》, pages: 5 - 6 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114532248A (zh) * | 2022-01-20 | 2022-05-27 | 内蒙古工业大学 | 奶牛的热应激行为监控方法以及监控装置 |
| CN114913201A (zh) * | 2022-03-11 | 2022-08-16 | 中国科学院自动化研究所 | 多目标跟踪方法、装置、电子设备、存储介质和产品 |
| CN114694186A (zh) * | 2022-06-01 | 2022-07-01 | 南京优牧大数据服务有限公司 | 牛脸识别数据处理方法及装置 |
| CN115457593A (zh) * | 2022-07-26 | 2022-12-09 | 南京清湛人工智能研究院有限公司 | 一种牛脸识别方法、系统、存储介质和电子设备 |
| CN115880338A (zh) * | 2023-03-02 | 2023-03-31 | 浙江大华技术股份有限公司 | 标注方法、标注装置及计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110059558B (zh) | 一种基于改进ssd网络的果园障碍物实时检测方法 | |
| CN113435355A (zh) | 多目标奶牛身份识别方法及系统 | |
| CN110084173B (zh) | 人头检测方法及装置 | |
| CN110135231B (zh) | 动物面部识别方法、装置、计算机设备和存储介质 | |
| JP6614611B2 (ja) | 画像間類似度を考慮して物体を追跡する装置、プログラム及び方法 | |
| CN111178197A (zh) | 基于Mask R-CNN和Soft-NMS融合的群养粘连猪实例分割方法 | |
| CN111161311A (zh) | 一种基于深度学习的视觉多目标跟踪方法及装置 | |
| CN111553193A (zh) | 一种基于轻量级深层神经网络的视觉slam闭环检测方法 | |
| CN110909618B (zh) | 一种宠物身份的识别方法及装置 | |
| CN111783576A (zh) | 基于改进型YOLOv3网络和特征融合的行人重识别方法 | |
| US20210383149A1 (en) | Method for identifying individuals of oplegnathus punctatus based on convolutional neural network | |
| CN108038515A (zh) | 无监督多目标检测跟踪方法及其存储装置与摄像装置 | |
| CN107967442A (zh) | 一种基于无监督学习和深层网络的指静脉识别方法及系统 | |
| CN114897136B (zh) | 多尺度注意力机制方法及模块和图像处理方法及装置 | |
| CN110599463A (zh) | 一种基于轻量级联神经网络的舌像检测及定位算法 | |
| CN111814690A (zh) | 一种目标重识别方法、装置和计算机可读存储介质 | |
| CN112991280B (zh) | 视觉检测方法、系统及电子设备 | |
| CN117333948A (zh) | 一种融合时空注意力机制的端到端多目标肉鸡行为识别方法 | |
| CN113869098A (zh) | 植物病害识别方法、装置、电子设备及存储介质 | |
| TWI845797B (zh) | 物件辨識裝置及物件辨識方法 | |
| US20160140395A1 (en) | Adaptive sampling for efficient analysis of ego-centric videos | |
| CN112070181A (zh) | 一种基于图像流的协同检测方法及装置、存储介质 | |
| CN111738062A (zh) | 一种基于嵌入式平台的自动再识别方法及系统 | |
| CN117237990A (zh) | 群养猪只体重的估测方法、装置、电子设备及存储介质 | |
| CN106446837B (zh) | 一种基于运动历史图像的挥手检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |