CN113128380A - 鱼体姿态的识别方法、装置、电子设备和存储介质 - Google Patents
鱼体姿态的识别方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN113128380A CN113128380A CN202110368323.6A CN202110368323A CN113128380A CN 113128380 A CN113128380 A CN 113128380A CN 202110368323 A CN202110368323 A CN 202110368323A CN 113128380 A CN113128380 A CN 113128380A
- Authority
- CN
- China
- Prior art keywords
- fish body
- video sample
- sample image
- neural network
- convolutional neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 241000251468 Actinopterygii Species 0.000 title claims abstract description 182
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 101
- 239000013598 vector Substances 0.000 claims abstract description 100
- 239000002131 composite material Substances 0.000 claims abstract description 39
- 238000000605 extraction Methods 0.000 claims abstract description 37
- 238000012549 training Methods 0.000 claims abstract description 31
- 238000012706 support-vector machine Methods 0.000 claims abstract description 28
- 230000004927 fusion Effects 0.000 claims abstract description 12
- 238000003062 neural network model Methods 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims description 33
- 230000006870 function Effects 0.000 claims description 23
- 238000011176 pooling Methods 0.000 claims description 13
- 230000035945 sensitivity Effects 0.000 claims description 11
- 238000010606 normalization Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 7
- 238000012935 Averaging Methods 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 230000036544 posture Effects 0.000 abstract description 62
- 238000009360 aquaculture Methods 0.000 abstract description 13
- 244000144974 aquaculture Species 0.000 abstract description 13
- 230000008901 benefit Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 5
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 238000002790 cross-validation Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000009182 swimming Effects 0.000 description 3
- 210000001015 abdomen Anatomy 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000011144 upstream manufacturing Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000009395 breeding Methods 0.000 description 1
- 230000001488 breeding effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006806 disease prevention Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种鱼体姿态的识别方法、装置、电子设备和存储介质，该方法包括：获取鱼体视频样本图像，根据所述鱼体视频样本图像生成特征向量提取模型，所述特征向量提取模型为复合卷积神经网络模型；通过所述复合卷积神经网络模型对所述鱼体视频样本图像进行特征提取得到多个特征向量，对所述多个特征向量进行融合得到融合特征向量；根据所述融合特征向量训练支持向量机；根据所述支持向量机对目标鱼体图像进行鱼体姿态识别。本发明可以有效地处理目标识别精度低、遮挡时分类性不准确的问题，以便为水产养殖场的养殖人员提供合理有效的决策依据，降低养殖成本，提高养殖效益。
Description
技术领域
本发明涉及机器学习和水产养殖技术领域，尤其涉及一种鱼体姿态的识别方法、装置、电子设备和存储介质。
背景技术
水产养殖是人利用可供养殖的水域，按照养殖对象的生态习性和对水域环境条件的要求，运用水产养殖技术和设施，从事水生经济的养殖。
水产养殖场中对养殖鱼的生活状态观测和疾病预防通常是靠人工观察来完成，很容易受到个人经验的影响。鱼游泳时的行为状态跟其所处的环境有着密切关系，检测和识别鱼的行为姿态有助于判断其健康情况。比如，当鱼浮头的时候，可能是因上下水层温差产生的急剧对流而引起的浮头，或者因水质过肥或败坏而引起的浮头等。
相关技术采用了目标识别方法识别鱼的姿态，但是目前的目标识别方法识别精度较低，无法准确识别鱼的姿态，进而无法为养殖人员提供合理有效的决策依据。
发明内容
本发明提供一种鱼体姿态的识别方法、装置、电子设备和存储介质，用以解决现有技术中通过人工观察或现有的目标识别方法无法准确识别鱼体姿态的缺陷，实现鱼体姿态的准确识别，为水产养殖场的养殖人员提供合理有效的决策依据。
本发明提供一种鱼体姿态的识别方法，包括：获取鱼体视频样本图像，根据所述鱼体视频样本图像生成特征向量提取模型，所述特征向量提取模型为复合卷积神经网络(Convolutional Neural Networks,CNN)模型；通过所述复合卷积神经网络模型对所述鱼体视频样本图像进行特征提取得到多个特征向量，对所述多个特征向量进行融合得到融合特征向量；根据所述融合特征向量训练支持向量机(Support Vector Machine,SVM)；根据所述支持向量机对目标鱼体图像进行鱼体姿态识别。
根据本发明提供的一种鱼体姿态的识别方法，获取鱼体视频样本图像，根据所述鱼体视频样本图像生成特征向量提取模型，包括：获取鱼体视频样本图像，所述鱼体视频样本图像具有鱼体姿态的标注信息；搭建具有不同卷积核的多个卷积神经网络；通过全局平均池化(Global average Pooling，GAP)代替所述多个卷积神经网络的全连接层；将所述鱼体视频样本图像输入到所述多个卷积神经网络模型中进行训练，得到所述复合卷积神经网络模型。
根据本发明提供的一种鱼体姿态的识别方法，将所述鱼体视频样本图像输入到所述多个卷积神经网络模型中进行训练，得到所述复合卷积神经网络模型，包括：对所述鱼体视频样本图像进行灰度化和归一化处理；将灰度化和归一化处理后的鱼体视频样本图像输入到所述多个卷积神经网络模型中进行训练，得到所述复合卷积神经网络模型。
根据本发明提供的一种鱼体姿态的识别方法，所述复合卷积神经网络模型包括第一卷积神经网络模型、第二卷积神经网络模型和第三卷积神经网络模型，所述第一卷积神经网络模型采用3*3卷积核，所述第二卷积神经网络模型采用5*5卷积核，所述第三卷积神经网络模型采用7*7卷积核，所述第一卷积神经网络模型、所述第二卷积神经网络模型和所述第三卷积神经网络模型的卷积核的个数相同。
根据本发明提供的一种鱼体姿态的识别方法，将灰度化和归一化处理后的鱼体视频样本图像输入到所述多个卷积神经网络模型中进行训练时，使用反向传播算法(BackPropagation，BP)更新特征图的权值，并根据灵敏度和更新后的权值求取单个鱼体视频样本图像的误差代价函数对所述灵敏度的偏导，且使用优化器对梯度一阶和二阶矩对学习率进行动态调整。
根据本发明提供的一种鱼体姿态的识别方法，通过所述特征向量提取模型提取所述鱼体视频样本图像的特征向量，并提取的特征向量进行融合得到融合特征向量，包括：通过所述特征向量提取模型对所述鱼体视频样本图像进行特征向量提取得到多个特征向量；对所述多个特征向量的每一维取平均值得到所述融合特征向量。
根据本发明提供的一种鱼体姿态的识别方法，所述支持向量机采用高斯径向基(Radial Basis Function，RBF)函数作为核函数，用网格搜索和交叉验证来对所述核函数的参数和错误代价系数进行优化。
本发明还提供一种鱼体姿态的识别装置，包括：获取模块，用于获取鱼体视频样本图像；控制处理模块，用于根据所述鱼体视频样本图像生成特征向量提取模型，所述特征向量提取模型为复合卷积神经网络模型；所述控制处理模块还用于通过所述复合卷积神经网络模型对所述鱼体视频样本图像进行特征提取得到多个特征向量，对所述多个特征向量进行融合得到融合特征向量；所述控制处理模块还用于根据所述融合特征向量训练支持向量机；识别模块，用于根据所述支持向量机对目标鱼体图像进行鱼体姿态识别。
根据本发明提供的一种鱼体姿态的识别装置，所述鱼体视频样本图像具有鱼体姿态的标注信息；所述控制处理模块用于搭建具有不同卷积核的多个卷积神经网络，并通过全局平均池化代替所述多个卷积神经网络的全连接层；所述控制处理模块还用于将所述鱼体视频样本图像输入到所述多个卷积神经网络模型中进行训练，得到所述复合卷积神经网络模型。
根据本发明提供的一种鱼体姿态的识别装置，所述控制处理模块用于对所述鱼体视频样本图像进行灰度化和归一化处理，进而将灰度化和归一化处理后的鱼体视频样本图像输入到所述多个卷积神经网络模型中进行训练，得到所述复合卷积神经网络模型。
根据本发明提供的一种鱼体姿态的识别装置，所述复合卷积神经网络模型包括第一卷积神经网络模型、第二卷积神经网络模型和第三卷积神经网络模型，所述第一卷积神经网络模型采用3*3卷积核，所述第二卷积神经网络模型采用5*5卷积核，所述第三卷积神经网络模型采用7*7卷积核，所述第一卷积神经网络模型、所述第二卷积神经网络模型和所述第三卷积神经网络模型的卷积核的个数相同。
根据本发明提供的一种鱼体姿态的识别装置，所述控制处理模块用于将灰度化和归一化处理后的鱼体视频样本图像输入到所述多个卷积神经网络模型中进行训练时，使用反向传播算法更新特征图的权值，并根据灵敏度和更新后的权值求取单个鱼体视频样本图像的误差代价函数对所述灵敏度的偏导，且使用优化器对梯度一阶和二阶矩对学习率进行动态调整。
根据本发明提供的一种鱼体姿态的识别装置，所述控制处理模块用于通过所述特征向量提取模型对所述鱼体视频样本图像进行特征向量提取得到多个特征向量，进而对所述多个特征向量的每一维取平均值得到所述融合特征向量。
根据本发明提供的一种鱼体姿态的识别装置，所述支持向量机采用高斯径向基函数作为核函数，用网格搜索和交叉验证来对所述核函数的参数和错误代价系数进行优化。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述鱼体姿态的识别方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述鱼体姿态的识别方法的步骤。
本发明提供的鱼体姿态的识别方法、装置、电子设备和存储介质，通过鱼体视频样本图像训练复合CNN模型，基于复合CNN模型提取鱼行为姿态的特征向量，并用GAP来替代每个卷积神经网络模型的全连接层，将每个GAP取得的特征向量进行融合，经过分类器得到鱼的姿态，通过鱼的姿态进而判断鱼所处水环境。本发明有效地处理目标识别精度低、遮挡时分类性不准确的问题，以便为水产养殖场的养殖人员提供合理有效的决策依据，降低养殖成本，提高养殖效益。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的鱼体姿态的识别方法的流程示意图；
图2是本发明提供的鱼体姿态的识别装置的结构框图；
图3是本发明一个示例中电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应理解，说明书通篇中提到的“实施例”或“一个实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“实施例中”或“在一个实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。
在本发明的描述中，需要理解的是，术语“第一”和“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“连接”应做广义理解，例如，可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
下面结合图1描述本发明的鱼体姿态的识别方法。
图1是本发明提供的鱼体姿态的识别方法的流程示意图。如图1所示，本发明提供的鱼体姿态的识别方法，包括：
S1：获取鱼体视频样本图像，根据鱼体视频样本图像生成特征向量提取模型，特征向量提取模型为复合卷积神经网络模型。
在本发明的一个实施例中，步骤S1包括：
S1-1：获取鱼体视频样本图像，鱼体视频样本图像具有鱼体姿态的标注信息。
具体地，在采集视频图像时，删除一些不需要的图像，比如鱼体缺失，模糊不清的图像。为了提取更多的特征，对原始数据进行水平、垂直镜像翻转；裁剪；调节原图片的亮度、对比度等来扩充数据集。对最后部分样本进行手工标注，标注出鱼的行为姿态类别。将鱼的姿态大体分为浮头、鱼摆尾、鱼侧游、鱼肚朝上、鱼向上游、鱼向下游这六种姿态。
S1-2：搭建具有不同卷积核的多个卷积神经网络。在本实施例中，为三个不同卷积核CNN网络。
S1-3：通过全局平均池化代替多个卷积神经网络的全连接层。
具体地，每个CNN模型的倒数第二个全连接层用GAP来代替，GAP对整个网络在结构上做正则化防止过拟合，实现降维，减少网络参数，鲁棒性更强。
S1-4：将鱼体视频样本图像输入到多个卷积神经网络模型中进行训练，得到复合卷积神经网络模型。
具体地，首先对鱼体视频样本图像进行灰度化和归一化处理，然后将灰度化和归一化处理后的鱼体视频样本图像输入到多个卷积神经网络模型中进行训练，得到复合卷积神经网络模型。
具体地，将灰度化、归一化后的鱼体视频样本图像，输入模型当中，来训练和测试复合CNN模型，由于每个CNN卷积核大小不同，可得三种特征向量。
其中，搭建三个不同卷积核的CNN，第一CNN模型采用3*3卷积核，第二CNN模型采用5*5卷积核，第三CNN模型采用7*7卷积核，且每个CNN的卷积核的个数相同。其中卷积层的计算公式如下：
其中，Ii代表第i层的特征图，Wi代表第i层卷积核的权值向量，
代表特征图与卷积核的卷积运算，bi代表第i层的偏置数。
然后将卷积层得到的结果输入到一个非线性激励函数f(Ii)中激活，再传到下一层形成下一层的神经元，激活函数一般选用ReLu函数。相应的激活函数如下：
f(Ii)＝max(0,Ii-1) (2)
其次，对卷积层输出的特征图进行池化，池化层可以有效降低特征图的维度，在一定程度上可以保持尺度和平移的不变性。池化层公式如下：
Pj＝down(Xj) (3)
式中：Pj代表第j层池化层的输出，Xj代表第j层池化层的输入，down()为所选的池化函数。
对于每张特征图来说，若为矩形，则其尺寸计算公式如下所示：
若为正方形，则其尺寸计算公式如下所示：
式中：Lout、Wout为输出特征图的长和宽，Lin、Win是输入特征图的长和宽，Sout是输出特征图大小，Sin是输入特征图大小，a是卷积核大小，p是特征图填充的圈数，stride是卷积步长。
对于最后一层卷积层来说，对输出特征图进行全局平均池化，其公式如下所示：
式中：Lf和Wf是CNN的最后一个卷积层所输出的特征图的长和宽，当特征图是正方形时，Lf与Wf相等；xij代表的是特征图第i行第j列中的特征值，y为一张特征图中所有特征值的平均值。
训练复合CNN模型，将灰度化、归一化等处理之后的图像输入CNN中进行训练。在训练每个CNN时，前向传播会产生误差。误差公式为：
式中E是总误差，
是第k个鱼体视频样本图像的标签，
是第k个鱼体视频样本图像的输出。
为了使上述的误差更小，采用BP算法使用梯度下降来更新特征图的权值，梯度下降法主要利用误差代价函数对灵敏度参数的梯度。梯度下降法的更新公式如下：
式中
是更新之后的权值，
是更新之前的权值，η是梯度下降的学习率，
是更新之后的偏置，
是更新之前的偏置。
用灵敏度δ来表示对输出的变化率，进而求取单个样本的误差代价函数对参数的偏导：
ul＝wlxl-1+bl (11)
式中δl表示每一层的灵敏度，xl-1是上一层的输出，
表示每个元素相乘。
在训练网络的过程中，使用Adam优化器对梯度一阶和二阶矩对学习率进行动态调整。
S2：通过特征向量提取模型提取鱼体视频样本图像的特征向量，将提取的特征向量进行融合得到融合特征向量。
在本发明的一个实施例中，步骤S2包括：
S2-1：通过特征向量提取模型对鱼体视频样本图像进行特征向量提取得到多个特征向量。
具体地，在训练好复合CNN模型之后，再次把训练样本输入网络中，得到特征向量z1,z2,z3。其中，GAP之后特征向量维数与特征图个数相同，而特征图个数与卷积核个数相同，因此在设计复合CNN时，要保证每个CNN最后一层卷积层的卷积核个数一致，设卷积核个数为n。经过GAP之后，三个CNN所得的特征向量分别为z1＝(y1,y2...yn)，z2＝(y'1,y'2,y'3)，z3＝(y”1,y”2...y”n)。
S2-2：对多个特征向量的每一维取平均值得到融合特征向量。
具体地，将这三个特征向量每一维取平均值，公式如下：
其中，z'就是融合特征向量。
S3：根据融合特征向量训练支持向量机。
具体地，一对一投票策略设计多分类SVM，用融合特征向量训练SVM。其中，持向量机选取高斯RBF作为其核函数，用网格搜索和交叉验证来对RBF核的参数λ和错误代价系数C进行优化。本发明将鱼的姿态分为浮头、鱼摆尾、鱼侧游、鱼肚朝上、鱼向上游、鱼向下游这六种姿态，依次标记为A，B，C，D，E，F。采用一对一投票策略将这六类姿态样本两个两个组合，即(A，B)、(A，C)、(A，D)、(A，E)、(A，F)；(B，C)、(B、D)、(B，E)、(B，F)；(C、D)、(C，E)、(C，F)；(D，E)、(D，F)；(E，F)由此可得到15个SVM二分类器。
将新的特征向量z'作为SVM的输入，来训练SVM分类器。
S4：根据支持向量机对目标鱼体图像进行鱼体姿态识别。
下面对本发明提供的鱼体姿态的识别装置进行描述，下文描述的鱼体姿态的识别装置与上文描述的鱼体姿态的识别方法可相互对应参照。
图2是本发明提供的鱼体姿态的识别装置的结构框图。如图2所示，本发明提供的鱼体姿态的识别装置，包括：获取模块210、控制处理模块220和识别模块230。
其中，获取模块210用于获取鱼体视频样本图像。控制处理模块220用于根据鱼体视频样本图像生成特征向量提取模型，特征向量提取模型为复合卷积神经网络模型。控制处理模块220还用于复合卷积神经网络模型对鱼体视频样本图像进行特征提取得到多个特征向量，对多个特征向量进行融合得到融合特征向量。控制处理模块220还用于根据融合特征向量训练支持向量机。识别模块230用于根据支持向量机对目标鱼体图像进行鱼体姿态识别。
在本发明的一个实施例中，鱼体视频样本图像具有鱼体姿态的标注信息。控制处理模块220用于搭建具有不同卷积核的多个卷积神经网络，并通过全局平均池化代替多个卷积神经网络的全连接层。控制处理模块220还用于将鱼体视频样本图像输入到多个卷积神经网络模型中进行训练，得到复合卷积神经网络模型。
在本发明的一个实施例中，控制处理模块220用于对鱼体视频样本图像进行灰度化和归一化处理，进而将灰度化和归一化处理后的鱼体视频样本图像输入到多个卷积神经网络模型中进行训练，得到复合卷积神经网络模型。
在本发明的一个实施例中，复合卷积神经网络模型包括第一卷积神经网络模型、第二卷积神经网络模型和第三卷积神经网络模型。第一卷积神经网络模型采用3*3卷积核，第二卷积神经网络模型采用5*5卷积核，第三卷积神经网络模型采用7*7卷积核。第一卷积神经网络模型、第二卷积神经网络模型和第三卷积神经网络模型的卷积核的个数相同。
在本发明的一个实施例中，控制处理模块220用于将灰度化和归一化处理后的鱼体视频样本图像输入到所述多个卷积神经网络模型中进行训练时，使用反向传播算法更新特征图的权值，并根据灵敏度和更新后的权值求取单个鱼体视频样本图像的误差代价函数对灵敏度的偏导，且使用优化器对梯度一阶和二阶矩对学习率进行动态调整。
在本发明的一个实施例中，控制处理模块220用于通过特征向量提取模型对鱼体视频样本图像进行特征向量提取得到多个特征向量，进而对多个特征向量的每一维取平均值得到融合特征向量。
在本发明的一个实施例中，支持向量机采用高斯径向基函数作为核函数，用网格搜索和交叉验证来对核函数的参数和错误代价系数进行优化。
需要说明的是，本发明实施例的鱼体姿态的识别装置的具体实施方式与本发明实施例的鱼体姿态的识别方法的具体实施方式类似，具体参见鱼体姿态的识别方法部分的描述，为了减少冗余，不做赘述。
另外，本发明实施例的鱼体姿态的识别装置的其它构成以及作用对于本领域的技术人员而言都是已知的，为了减少冗余，不做赘述。
图3是本发明一个示例中电子设备的结构示意图。如图3所示，该电子设备可以包括：处理器310、通信接口320、存储器330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令，以执行鱼体姿态的识别方法，该方法包括：获取鱼体视频样本图像，根据所述鱼体视频样本图像生成特征向量提取模型，所述征向量提取模型为复合卷积神经网络模型；通过所述复合卷积神经网络模型对所述鱼体视频样本图像进行特征提取得到多个特征向量，对所述多个特征向量进行融合得到融合特征向量；根据所述融合特征向量训练支持向量机；根据所述支持向量机对目标鱼体图像进行鱼体姿态识别。
在本发明实施例中，处理器可以是一种集成电路芯片，具有信号的处理能力。处理器可以是通用处理器、数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。处理器读取存储介质中的信息，结合其硬件完成上述方法的步骤。
此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的鱼体姿态的识别方法，该方法包括：获取鱼体视频样本图像，根据所述鱼体视频样本图像生成特征向量提取模型，所述征向量提取模型为复合卷积神经网络模型；通过所述复合卷积神经网络模型对所述鱼体视频样本图像进行特征提取得到多个特征向量，对所述多个特征向量进行融合得到融合特征向量；根据所述融合特征向量训练支持向量机；根据所述支持向量机对目标鱼体图像进行鱼体姿态识别。
存储介质可以是存储器，例如可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。
其中，非易失性存储器可以是只读存储器(Read-Only Memory，简称ROM)、可编程只读存储器(Programmable ROM，简称PROM)、可擦除可编程只读存储器(Erasable PROM，简称EPROM)、电可擦除可编程只读存储器(Electrically EPROM，简称EEPROM)或闪存。
易失性存储器可以是随机存取存储器(Random Access Memory，简称RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，简称SRAM)、动态随机存取存储器(Dynamic RAM，简称DRAM)、同步动态随机存取存储器(Synchronous DRAM，简称SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，简称DDRSDRAM)、增强型同步动态随机存取存储器(EnhancedSDRAM，简称ESDRAM)、同步连接动态随机存取存储器(Synch Link DRAM，简称SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，简称DRRAM)。
本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时，可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种鱼体姿态的识别方法，其特征在于，包括：
获取鱼体视频样本图像，根据所述鱼体视频样本图像生成特征向量提取模型，所述特征向量提取模型为复合卷积神经网络模型；
通过所述复合卷积神经网络模型对所述鱼体视频样本图像进行特征提取得到多个特征向量，对所述多个特征向量进行融合得到融合特征向量；
根据所述融合特征向量训练支持向量机；
根据所述支持向量机对目标鱼体图像进行鱼体姿态识别。
2.根据权利要求1所述的鱼体姿态的识别方法，其特征在于，获取鱼体视频样本图像，根据所述鱼体视频样本图像生成特征向量提取模型，包括：
获取鱼体视频样本图像，所述鱼体视频样本图像具有鱼体姿态的标注信息；
搭建具有不同卷积核的多个卷积神经网络；
通过全局平均池化代替所述多个卷积神经网络的全连接层；
将所述鱼体视频样本图像输入到所述多个卷积神经网络模型中进行训练，得到所述复合卷积神经网络模型。
3.根据权利要求2所述的鱼体姿态的识别方法，其特征在于，将所述鱼体视频样本图像输入到所述多个卷积神经网络模型中进行训练，得到所述复合卷积神经网络模型，包括：
对所述鱼体视频样本图像进行灰度化和归一化处理；
将灰度化和归一化处理后的鱼体视频样本图像输入到所述多个卷积神经网络模型中进行训练，得到所述复合卷积神经网络模型。
4.根据权利要求3所述的鱼体姿态的识别方法，其特征在于，将灰度化和归一化处理后的鱼体视频样本图像输入到所述多个卷积神经网络模型中进行训练时，使用反向传播算法更新特征图的权值，并根据灵敏度和更新后的权值求取单个鱼体视频样本图像的误差代价函数对所述灵敏度的偏导，且使用优化器对梯度一阶和二阶矩对学习率进行动态调整。
5.根据权利要求1所述的鱼体姿态的识别方法，其特征在于，通过所述特征向量提取模型提取所述鱼体视频样本图像的特征向量，并提取的特征向量进行融合得到融合特征向量，包括：
通过所述特征向量提取模型对所述鱼体视频样本图像进行特征向量提取得到多个特征向量；
对所述多个特征向量的每一维取平均值得到所述融合特征向量。
6.一种鱼体姿态的识别装置，其特征在于，包括：
获取模块，用于获取鱼体视频样本图像；
控制处理模块，用于根据所述鱼体视频样本图像生成特征向量提取模型，所述特征向量提取模型为复合卷积神经网络模型；所述控制处理模块还用于通过所述复合卷积神经网络模型对所述鱼体视频样本图像进行特征提取得到多个特征向量，对所述多个特征向量进行融合得到融合特征向量；所述控制处理模块还用于根据所述融合特征向量训练支持向量机；
识别模块，用于根据所述支持向量机对目标鱼体图像进行鱼体姿态识别。
7.根据权利要求6所述的鱼体姿态的识别装置，其特征在于，所述鱼体视频样本图像具有鱼体姿态的标注信息；所述控制处理模块用于搭建具有不同卷积核的多个卷积神经网络，并通过全局平均池化代替所述多个卷积神经网络的全连接层；所述控制处理模块还用于将所述鱼体视频样本图像输入到所述多个卷积神经网络模型中进行训练，得到所述复合卷积神经网络模型。
8.根据权利要求7所述的鱼体姿态的识别装置，其特征在于，所述控制处理模块用于对所述鱼体视频样本图像进行灰度化和归一化处理，进而将灰度化和归一化处理后的鱼体视频样本图像输入到所述多个卷积神经网络模型中进行训练，得到所述复合卷积神经网络模型。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任一项所述鱼体姿态的识别方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述鱼体姿态的识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110368323.6A CN113128380B (zh) | 2021-04-06 | 2021-04-06 | 鱼体姿态的识别方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110368323.6A CN113128380B (zh) | 2021-04-06 | 2021-04-06 | 鱼体姿态的识别方法、装置、电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113128380A true CN113128380A (zh) | 2021-07-16 |
| CN113128380B CN113128380B (zh) | 2024-04-02 |
Family
ID=76774998
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110368323.6A Active CN113128380B (zh) | 2021-04-06 | 2021-04-06 | 鱼体姿态的识别方法、装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113128380B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113554092A (zh) * | 2021-07-23 | 2021-10-26 | 大连智慧渔业科技有限公司 | 基于R2Net的水下鱼类目标检测方法、装置及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109117826A (zh) * | 2018-09-05 | 2019-01-01 | 湖南科技大学 | 一种多特征融合的车辆识别方法 |
| CN110647912A (zh) * | 2019-08-15 | 2020-01-03 | 深圳久凌软件技术有限公司 | 细粒度图像识别方法、装置、计算机设备及存储介质 |
| CN110766013A (zh) * | 2019-09-25 | 2020-02-07 | 浙江农林大学 | 一种基于卷积神经网络的鱼类识别方法和装置 |
| CN111597937A (zh) * | 2020-05-06 | 2020-08-28 | 北京海益同展信息科技有限公司 | 鱼姿势识别方法、装置、设备及存储介质 |
| CN112464744A (zh) * | 2020-11-09 | 2021-03-09 | 湖北省农业科学院农产品加工与核农技术研究所 | 一种鱼姿态识别方法 |
| CN112580662A (zh) * | 2020-12-09 | 2021-03-30 | 中国水产科学研究院渔业机械仪器研究所 | 一种基于图像特征识别鱼体方向的方法及系统 |
-
2021
- 2021-04-06 CN CN202110368323.6A patent/CN113128380B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109117826A (zh) * | 2018-09-05 | 2019-01-01 | 湖南科技大学 | 一种多特征融合的车辆识别方法 |
| CN110647912A (zh) * | 2019-08-15 | 2020-01-03 | 深圳久凌软件技术有限公司 | 细粒度图像识别方法、装置、计算机设备及存储介质 |
| CN110766013A (zh) * | 2019-09-25 | 2020-02-07 | 浙江农林大学 | 一种基于卷积神经网络的鱼类识别方法和装置 |
| CN111597937A (zh) * | 2020-05-06 | 2020-08-28 | 北京海益同展信息科技有限公司 | 鱼姿势识别方法、装置、设备及存储介质 |
| CN112464744A (zh) * | 2020-11-09 | 2021-03-09 | 湖北省农业科学院农产品加工与核农技术研究所 | 一种鱼姿态识别方法 |
| CN112580662A (zh) * | 2020-12-09 | 2021-03-30 | 中国水产科学研究院渔业机械仪器研究所 | 一种基于图像特征识别鱼体方向的方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| ABDELOUAHID BEN TAMOU等: "Transfer Learning with deep Convolutional Neural Network for Underwater Live Fish Recognition", 《2018 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING，APPLICATIONS AND SYSTEMS (IPAS)》, pages 204 - 209 * |
| SIGAI: "反向传播算法推导-卷积神经网络", <HTTPS://ZHUANLAN.ZHIHU.COM/P/41392664>, pages 1 - 12 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113554092A (zh) * | 2021-07-23 | 2021-10-26 | 大连智慧渔业科技有限公司 | 基于R2Net的水下鱼类目标检测方法、装置及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113128380B (zh) | 2024-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020215557A1 (zh) | 医学影像解释方法、装置、计算机设备及存储介质 | |
| US10311326B2 (en) | Systems and methods for improved image textures | |
| US10318889B2 (en) | Targeted data augmentation using neural style transfer | |
| CN108647742B (zh) | 基于轻量级神经网络的快速目标检测方法 | |
| KR102487825B1 (ko) | 동물의 안면 및 비문 이미지에 기초하여 동물의 개체 정보를 제공하는 컴퓨터 프로그램 및 단말기 | |
| CN110263819A (zh) | 一种用于贝类图像的目标检测方法及装置 | |
| CN109492643A (zh) | 基于ocr的证件识别方法、装置、计算机设备及存储介质 | |
| CN110909618B (zh) | 一种宠物身份的识别方法及装置 | |
| CN109840531A (zh) | 训练多标签分类模型的方法和装置 | |
| CN110110600B (zh) | 眼部oct图像病灶识别方法、装置及存储介质 | |
| CN110414541B (zh) | 用于识别物体的方法、设备和计算机可读存储介质 | |
| CN110826596A (zh) | 一种基于多尺度可变形卷积的语义分割方法 | |
| CN114463675B (zh) | 一种水下鱼类群组活动强度识别方法及装置 | |
| CN107944415A (zh) | 一种基于深度学习算法的人眼注意力检测方法 | |
| CN111553438A (zh) | 一种基于卷积神经网络的图像识别方法 | |
| CN112686234A (zh) | 人脸图像质量评估方法、电子设备和存储介质 | |
| CN113421276A (zh) | 一种图像处理方法、装置及存储介质 | |
| CN110852358A (zh) | 一种基于深度学习的车辆类型判别方法 | |
| CN117253044B (zh) | 一种基于半监督交互学习的农田遥感图像分割方法 | |
| CN113538530B (zh) | 一种耳部医学图像分割方法、装置、电子设备及存储介质 | |
| CN111340051A (zh) | 图片处理方法、装置及存储介质 | |
| CN111626379B (zh) | 肺炎x光图像检测方法 | |
| CN109101984B (zh) | 一种基于卷积神经网络的图像识别方法及装置 | |
| CN113128380B (zh) | 鱼体姿态的识别方法、装置、电子设备和存储介质 | |
| CN107292322B (zh) | 一种图像分类方法、深度学习模型及计算机系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |