CN108428224A - 基于卷积神经网的动物体表温度检测方法及装置 - Google Patents
基于卷积神经网的动物体表温度检测方法及装置 Download PDFInfo
- Publication number
- CN108428224A CN108428224A CN201810019889.6A CN201810019889A CN108428224A CN 108428224 A CN108428224 A CN 108428224A CN 201810019889 A CN201810019889 A CN 201810019889A CN 108428224 A CN108428224 A CN 108428224A
- Authority
- CN
- China
- Prior art keywords
- image
- feature map
- value
- image feature
- animal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 241001465754 Metazoa Species 0.000 title claims abstract description 85
- 238000000034 method Methods 0.000 title claims abstract description 25
- 230000001537 neural effect Effects 0.000 title 1
- 238000001514 detection method Methods 0.000 claims abstract description 43
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 33
- 230000004927 fusion Effects 0.000 claims abstract description 22
- 238000000605 extraction Methods 0.000 claims abstract description 6
- 238000010586 diagram Methods 0.000 claims description 34
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 20
- 230000001788 irregular Effects 0.000 claims description 16
- 238000011176 pooling Methods 0.000 claims description 15
- 230000009466 transformation Effects 0.000 claims description 8
- 238000013519 translation Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000011160 research Methods 0.000 description 5
- 241000282414 Homo sapiens Species 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 241000282887 Suidae Species 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 208000037273 Pathologic Processes Diseases 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009054 pathological process Effects 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种基于卷积神经网络的动物体表温度检测方法及装置。所述方法包括：利用具有仿射不变性的最大稳定极值区域MSER特征描述子对动物的原始图像进行特征提取，获得第一图像特征图；将所述动物的热红外图像与所述第一图像特征图进行配准，获得第二图像特征图；将所述第一图像特征图与所述第二图像特征图进行叠加，根据叠加后的特征融合图获得候选目标区域；将所述候选目标区域输入卷积神经网络，获得动物体表温度的检测结果。本发明能提高动物体表温度检测的准确性和实时性。
Description
技术领域
本发明涉及图像检测技术领域，更具体地，涉及一种基于卷积神经网络的动物体表温度检测方法及装置。
背景技术
地球上的一些动物，在生命活动中的生理和病理过程中与人类有很多相似之处，并可互为参照，尤其是猪作为一种大型动物，与人类关系亲密且具有很多相似之处。因此，研究动物尤其是猪的健康状况对认识人类的生命规律具有重要价值。
近年来，以机器学习为主导的人工智能发展迅速，在众多研究领域中都取得了重大突破。图像检测技术在人工智能领域中是一个重要的研究热点和难点。体表温度作为动物的表型特征之一，可反映出模动物的健康状况，因此动物的体表温度检测是一个重要的研究方向。
由于动物的姿态各异，可见光图像容易受到光照和复杂的饲养环境的影响，以及动物互相遮挡等因素，动物体表温度检测一直是图像检测领域研究的难点，因此研究动物体表温度检测的鲁棒性算法是非常重要的。
发明内容
本发明提供一种克服上述问题或者至少部分地解决上述问题的基于卷积神经网络的动物体表温度检测方法及装置。
根据本发明的一个方面，提供一种动物体表温度检测方法，包括：
利用具有仿射不变性的最大稳定极值区域MSER特征描述子对动物的原始图像进行特征提取，获得第一图像特征图；
将动物的热红外图像与所述第一图像特征图进行配准，获得第二图像特征图；
将所述第一图像特征图与所述第二图像特征图进行叠加，根据叠加后的特征融合图获得候选目标区域；
将所述候选目标区域输入卷积神经网络，获得动物体表温度的检测结果。
进一步，所述利用具有仿射不变性的最大稳定极值区域MSER特征描述子对动物的原始图像进行特征提取，获得第一图像特征图，具体包括：
将所述原始图像转换成第一灰度图像，根据所述第一灰度图像提取最大稳定极值区域，获得不规则区域；
对所述不规则区域进行椭圆拟合，根据拟合的椭圆的中心二阶矩提取特征值，获得所述第一图像特征图。
进一步，所述对所述不规则区域进行椭圆拟合，根据拟合的椭圆的中心二阶矩提取特征值，获得所述第一图像特征图，具体包括：
基于所述不规则区域内的每个像素点，计算每个像素点几何0阶矩和几何1阶矩，获得椭圆的中心(xc,yc)如下：
其中，m00＝∑I(x,y),m01＝∑yI(x,y),m10＝∑xI(x,y)，其中，I(x,y)表示所述不规则区域内的像素点的灰度值，x为x轴方向的灰度值，y为y轴方向的灰度值，m00为几何0阶矩，m01和m10为几何1阶矩；
获取椭圆的每个像素点的中心二阶矩，如下：
其中，
u20＝∑(x-xc)2I(x,y),u02＝∑(y-yc)2I(x,y),u11＝∑(x-xc)(y-yc)I(x,y)；
根据所述中心二阶矩计算每个像素点的两个特征值λ1和λ2，如下：
根据所有像素点的特征值λ1和λ2获得所述第一图像特征图。
进一步，所述将动物的热红外图像与所述第一图像特征图进行配准，获得第二图像特征图，具体包括：
将所述热红外图像转换成第二灰度图像；
通过仿射变换方式对所述第二灰度图像与所述第一图像特征图进行配准，得到所述热红外图像的图像特征图，其中仿射变换的公式为：
其中，x1为第一特征图像的x方向的值、y1为为第一特征图像的y方向的值，x2为第二特征图像的x方向的值、y2为为第二特征图像的y方向的值，tx为x方向的平移值、ty为为y方向的平移值，s为缩放尺度，θ为以(x，y)为轴心逆时针旋转角度。
进一步，所述将所述第一图像特征图与所述第二图像特征图进行叠加，根据叠加后的特征融合图获得候选目标区域，具体包括：
将所述第一图像特征图中像素点灰度值压缩到与所述第二图像特征图一致的灰度值范围；
基于压缩后的所述第一图像特征图与所述第二图像特征图中对应的像素点，选取其中具有较大灰度值的像素点的灰度值作为融合图像对应位置像素点的灰度值；
根据所有的融合图像对应位置像素点的灰度值，获得特征融合图，从而获取获得候选目标区域。
进一步，所述将所述第一图像特征图中像素点灰度值压缩到与所述第二图像特征图一致的灰度值范围，还包括：若所述第一图像特征图压缩后的灰度值为非整数，则通过下式进行近似计算，获得近似后的灰度值Ia(x,y)：
其中，I(x,y)表示压缩前的所述第一图像特征图的像素点的灰度值，I'(x,y)表示所述第二图像特征图的像素点的灰度值。
进一步，所述卷积神经网络三个卷积层，三个池化层，三个全连接层；所述将所述候选目标区域输入卷积神经网络，获得动物体表温度的检测结果，具体包括：
第一层卷积层使用96个卷积核大小为11×11，步长为4的卷积滤波器进行滤波；第二层卷积层使用256个卷积核大小为5×5，步长为1的卷积滤波器进行滤波；第三层卷积层使用384个卷积核大小为3×3，步长为1的卷积滤波器进行滤波；
将所述第一层卷积层、所述第二层卷积层以及所述第三层卷积层的滤波结果送入最大池化层，所述最大池化层设定池化窗口为3×3，步长为2；
将所述最大池化层的输出结果通过三个全连接层得到动物体表温度的检测结果。
根据本发明的另一个方面，还提供一种动物体表温度检测装置，包括：
第一图像特征图模块，用于利用具有仿射不变性的最大稳定极值区域MSER特征描述子对动物的原始图像进行特征提取，获得第一图像特征图；
第二图像特征图模块，用于将所述动物的热红外图像与所述第一图像特征图进行配准，获得第二图像特征图；
候选目标区域模块，用于将所述第一图像特征图与所述第二图像特征图进行叠加，根据叠加后的特征融合图获得候选目标区域；以及
温度检测结果模块，用于将所述候选目标区域输入卷积神经网络，获得动物体表温度的检测结果。
根据本发明的另一个方面，提供一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行本发明基于卷积神经网络的动物体表温度检测方法及其任一可选实施例的方法。
本发明提出一种基于卷积神经网络的动物体表温度检测方法，通过将动物的原始图像提取特征后，与所述动物的热红外图像进行配准，获得所述热红外图像的特征图后，再将两个特征图进行融合即可获得候选区域，然后将所获得的候选区域输入卷积神经网络的判别模型中，以使卷积网络判别模型输出动物体表温度检测结果，能提高动物体表温度检测的准确性和实时性。
附图说明
图1为本发明实施例一种基于卷积神经网络的动物体表温度检测方法流程示意图；
图2为本发明实施例基于卷积神经网络的动物体表温度检测装置示意图；
图3为本发明实施例一种电子设备的框架示意图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
图1为本发明实施例一种基于卷积神经网络的动物体表温度检测方法流程示意图，如图1所示的基于卷积神经网络的动物体表温度检测方法，包括：
S100，利用具有仿射不变性的最大稳定极值区域MSER特征描述子对动物的原始图像进行特征提取，获得第一图像特征图；
本发明实施例是最大稳定极值区域(Maximally Stable Extremal RegionsMSERs)是一种图像结构，它可以在图像平移和旋转后，或者是经历相似仿射变换后，仍可被重复检测出来。所述第一图像特征图是所述原始图像的图像特征图。
S200，将所述动物的热红外图像与所述第一图像特征图进行配准，获得第二图像特征图；
本发明实施例所述热红外图像是通过热红外遥感即通过热红外探测器收集、记录地物辐射出来的人眼看不到的热红外辐射信息的图像，可以利用这种热红外信息来识别动物参数(如温度、发射率、湿度、热惯量等)。
本发明实施例步骤S100和步骤S200中的原始图像和热红外图像，是来自同一动物的图像。所述第二图像特征图是动物的热红外图像与所述原始图像的图像特征图通过仿射变换进行配准，得到所述热红外图像的图像特征图。
S300，将所述第一图像特征图与所述第二图像特征图进行叠加，根据叠加后的特征融合图获得候选目标区域；
S400，将所述候选目标区域输入卷积神经网络，获得动物体表温度的检测结果。
本发明提出一种基于卷积神经网络的动物体表温度检测方法，通过将动物的原始图像提取特征后，与所述动物的热红外图像进行配准，获得所述热红外图像的特征图后，再将两个特征图进行融合即可获得候选区域，然后将所获得的候选区域输入卷积神经网络的判别模型中，以使卷积网络判别模型输出动物体表温度检测结果，能提高动物体表温度检测的准确性和实时性。
在一个可选的实施例中，步骤S100，所述利用具有仿射不变性的最大稳定极值区域MSER特征描述子对动物的原始图像进行特征提取，获得第一图像特征图，具体包括：
S100.1，将所述原始图像转换成第一灰度图像，根据所述第一灰度图像提取最大稳定极值区域，获得不规则区域；
具体的，首先提取所述原始图像的最大稳定极值区域，即不规则区域：令Q1,Q2,...,Qi-1,Qi,...表示一组互相嵌套的极值区域，即若Qi的面积变化率，即
式中，在i处取得局部最小值，称Qi为最稳定极值区域。
S100.2，对所述不规则区域进行椭圆拟合，根据拟合的椭圆的中心二阶矩提取特征值，获得所述第一图像特征图。
在一个可选的实施例中，步骤S100.2，所述对所述不规则区域进行椭圆拟合，根据拟合的椭圆的中心二阶矩提取特征值，获得所述第一图像特征图，具体包括：
首先，基于所述不规则区域内的每个像素点，计算每个像素点几何0阶矩和几何1阶矩，获得椭圆的中心(xc,yc)如下：
其中，m00＝∑I(x,y),m01＝∑yI(x,y),m10＝∑xI(x,y) (3)
其中，I(x,y)表示所述不规则区域内的像素点的灰度值，x为x轴方向的灰度值，y为y轴方向的灰度值，m00为几何0阶矩，m01和m10为几何1阶矩；
然后，获取椭圆的每个像素点的中心二阶矩，如下：
其中，
u20＝∑(x-xc)2I(x,y),u02＝∑(y-yc)2I(x,y),u11＝∑(x-xc)(y-yc)I(x,y) (5)
然后，根据所述中心二阶矩计算每个像素点的两个特征值λ1和λ2，如下：
最后，根据所有像素点的特征值λ1和λ2获得所述第一图像特征图。
本实施例中，通过所述中心二阶矩可以计算椭圆的长半轴，短半轴和角度，所述角度为长半轴与x轴顺时针方向的夹角。具体如下：
式中，a表示长半轴，b表示短半轴，θ表示角度。
在一个可选的实施例中，步骤S200，所述将动物的热红外图像与所述第一图像特征图进行配准，获得第二图像特征图，具体包括：
将所述热红外图像转换成第二灰度图像；
通过仿射变换方式对所述第二灰度图像与所述第一图像特征图进行配准，得到所述热红外图像的图像特征图，其中仿射变换的公式为：
其中，x1为第一特征图像的x方向的值、y1为为第一特征图像的y方向的值，x2为第二特征图像的x方向的值、y2为为第二特征图像的y方向的值，tx为x方向的平移值、ty为为y方向的平移值，s为缩放尺度，θ为以(x，y)为轴心逆时针旋转角度。
在一个可选的实施例中，步骤S300，所述将所述第一图像特征图与所述第二图像特征图进行叠加，根据叠加后的特征融合图获得候选目标区域，具体包括：
将所述第一图像特征图中像素点灰度值压缩到与所述第二图像特征图一致的灰度值范围；
基于压缩后的所述第一图像特征图与所述第二图像特征图中对应的像素点，选取其中具有较大灰度值的像素点的灰度值作为融合图像对应位置像素点的灰度值；
根据所有的融合图像对应位置像素点的灰度值，获得特征融合图，从而获取获得候选目标区域。
本实施例将压缩后的所述第一图像特征图的像素点的灰度值与所述第二图像特征图中对应的像素点的灰度值进行比较，即二个对应的像素点进行比较，所述二个像素点包括第一图像特征图的一个像素点与第二图像特征图上对应的一个像素点；选取二个像素点中具有较大灰度值的像素点的灰度值，作为融合图像对应位置像素点的灰度值。对压缩后的所述第一图像特征图与所述第二图像特征图的所有像素点进行这样比较后，获得所有比较后的较大灰度值的像素点，从而构建融合图像，获得候选目标区域。
进一步，所述将所述第一图像特征图中像素点灰度值压缩到与所述第二图像特征图一致的灰度值范围，还包括：若所述第一图像特征图压缩后的灰度值为非整数，则通过下式进行近似计算，获得近似后的灰度值Ia(x,y)：
其中，I(x,y)表示压缩前的所述第一图像特征图的像素点的灰度值，I'(x,y)表示所述第二图像特征图的像素点的灰度值。
本实施例中，压缩后的第一图像特征图的灰度值很有可能不是整数，对于不是整数的灰度值，通过四舍五入的方法进行近似计算；近似计算后，可以保证压缩后的第一图像特征图的灰度值都是整数，这样便于后面的融合计算。
在一个可选的实施例中，所述卷积神经网络三个卷积层，三个池化层，三个全连接层；步骤S400所述将所述候选目标区域输入卷积神经网络，获得动物体表温度的检测结果，具体包括：
第一层卷积层使用96个卷积核大小为11×11，步长为4的卷积滤波器进行滤波；第二层卷积层使用256个卷积核大小为5×5，步长为1的卷积滤波器进行滤波；第三层卷积层使用384个卷积核大小为3×3，步长为1的卷积滤波器进行滤波；
将所述第一层卷积层、所述第二层卷积层以及所述第三层卷积层的滤波结果送入最大池化层，所述最大池化层设定池化窗口为3×3，步长为2；
将所述最大池化层的输出结果通过三个全连接层得到动物体表温度的检测结果。
本发明实施例通过对原始图像进行处理得到原始图像的图像特征图；同时将热红外图像与原始图像的图像特征图进行配准，得到热红外图像的图像特征图；将原始图像的图像特征图与热红外图像的图像特征图叠加，获得多源图像特征融合图，得到候选目标区域；输入候选目标区域到卷积神经网络的判别模型中，以使卷积网络判别模型输出动物体表温度检测结果。本发明提高了动物体表温度检测的准确性和实时性。
图2为本发明实施例基于卷积神经网络的动物体表温度检测装置示意图，如图2所示的基于卷积神经网络的动物体表温度检测装置，包括：
第一图像特征图模块，用于利用具有仿射不变性的最大稳定极值区域MSER特征描述子对动物的原始图像进行特征提取，获得第一图像特征图；
第二图像特征图模块，用于将所述动物的热红外图像与所述第一图像特征图进行配准，获得第二图像特征图；
候选目标区域模块，用于将所述第一图像特征图与所述第二图像特征图进行叠加，根据叠加后的特征融合图获得候选目标区域；以及
温度检测结果模块，用于将所述候选目标区域输入卷积神经网络，获得动物体表温度的检测结果。
本发明实施例的装置，可用于执行图1所示的基于卷积神经网络的动物体表温度检测方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图3示出了本发明实施例电子设备的框架示意图。
参照图3，所述设备，包括：处理器(processor)601、存储器(memory)602和总线603；其中，所述处理器601和存储器602通过所述总线603完成相互间的通信；
所述处理器601用于调用所述存储器602中的程序指令，以执行上述各方法实施例所提供的方法，例如包括：利用具有仿射不变性的最大稳定极值区域MSER特征描述子对动物的原始图像进行特征提取，获得第一图像特征图；将所述动物的热红外图像与所述第一图像特征图进行配准，获得第二图像特征图；将所述第一图像特征图与所述第二图像特征图进行叠加，根据叠加后的特征融合图获得候选目标区域；将所述候选目标区域输入卷积神经网络，获得动物体表温度的检测结果。
本发明另一实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：利用具有仿射不变性的最大稳定极值区域MSER特征描述子对动物的原始图像进行特征提取，获得第一图像特征图；将所述动物的热红外图像与所述第一图像特征图进行配准，获得第二图像特征图；将所述第一图像特征图与所述第二图像特征图进行叠加，根据叠加后的特征融合图获得候选目标区域；将所述候选目标区域输入卷积神经网络，获得动物体表温度的检测结果。
本发明另一实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：利用具有仿射不变性的最大稳定极值区域MSER特征描述子对动物的原始图像进行特征提取，获得第一图像特征图；将所述动物的热红外图像与所述第一图像特征图进行配准，获得第二图像特征图；将所述第一图像特征图与所述第二图像特征图进行叠加，根据叠加后的特征融合图获得候选目标区域；将所述候选目标区域输入卷积神经网络，获得动物体表温度的检测结果。
本领域普通技术人员可以理解：实现上述设备实施例或方法实施例仅仅是示意性的，其中所述处理器和所述存储器可以是物理上分离的部件也可以不是物理上分离的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (9)
1.一种动物体表温度检测方法，其特征在于，包括：
利用具有仿射不变性的最大稳定极值区域MSER特征描述子对动物的原始图像进行特征提取，获得第一图像特征图；
将所述动物的热红外图像与所述第一图像特征图进行配准，获得第二图像特征图；
将所述第一图像特征图与所述第二图像特征图进行叠加，根据叠加后的特征融合图获得候选目标区域；
将所述候选目标区域输入卷积神经网络，获得动物体表温度的检测结果。
2.根据权利要求1所述的方法，其特征在于，所述利用具有仿射不变性的最大稳定极值区域MSER特征描述子对动物的原始图像进行特征提取，获得第一图像特征图，具体包括：
将所述原始图像转换成第一灰度图像，根据所述第一灰度图像提取最大稳定极值区域，获得不规则区域；
对所述不规则区域进行椭圆拟合，根据拟合的椭圆的中心二阶矩取特征值，获得所述第一图像特征图。
3.根据权利要求2所述的方法，其特征在于，所述对所述不规则区域进行椭圆拟合，根据拟合的椭圆的中心二阶矩提取特征值，获得所述第一图像特征图，具体包括：
基于所述不规则区域内的每个像素点，计算每个像素点几何0阶矩和几何1阶矩，获得椭圆的中心(xc,yc)如下：
其中，m00＝∑I(x,y),m01＝∑yI(x,y),m10＝∑xI(x,y)，其中，I(x,y)表示所述不规则区域内的像素点的灰度值，x为x轴方向的灰度值，y为y轴方向的灰度值，m00为几何0阶矩，m01和m10为几何1阶矩；
获取椭圆的每个像素点的中心二阶矩，如下：
其中，
u20＝∑(x-xc)2I(x,y),u02＝∑(y-yc)2I(x,y),u11＝∑(x-xc)(y-yc)I(x,y)；
根据所述中心二阶矩计算每个像素点的两个特征值λ1和λ2，如下：
根据所有像素点的特征值λ1和λ2获得所述第一图像特征图。
4.根据权利要求1所述的方法，其特征在于，所述将动物的热红外图像与所述第一图像特征图进行配准，获得第二图像特征图，具体包括：
将所述热红外图像转换成第二灰度图像；
通过仿射变换方式对所述第二灰度图像与所述第一图像特征图进行配准，得到所述热红外图像的图像特征图，其中仿射变换的公式为：
其中，x1为第一特征图像的x方向的值、y1为为第一特征图像的y方向的值，x2为第二特征图像的x方向的值、y2为为第二特征图像的y方向的值，tx为x方向的平移值、ty为为y方向的平移值，s为缩放尺度，θ为以(x，y)为轴心逆时针旋转角度。
5.根据权利要求1所述的方法，其特征在于，所述将所述第一图像特征图与所述第二图像特征图进行叠加，根据叠加后的特征融合图获得候选目标区域，具体包括：
将所述第一图像特征图中像素点灰度值压缩到与所述第二图像特征图一致的灰度值范围；
基于压缩后的所述第一图像特征图与所述第二图像特征图中对应的像素点，选取其中具有较大灰度值的像素点的灰度值作为融合图像对应位置像素点的灰度值；
根据所有的融合图像对应位置像素点的灰度值，获得特征融合图，从而获取获得候选目标区域。
6.根据权利要求5所述的方法，其特征在于，所述将所述第一图像特征图中像素点灰度值压缩到与所述第二图像特征图一致的灰度值范围，还包括：若所述第一图像特征图压缩后的灰度值为非整数，则通过下式进行近似计算，获得近似后的灰度值Ia(x,y)：
其中，I(x,y)表示压缩前的所述第一图像特征图的像素点的灰度值，I'(x,y)表示所述第二图像特征图的像素点的灰度值。
7.根据权利要求1所述的方法，其特征在于，所述卷积神经网络三个卷积层，三个池化层，三个全连接层；所述将所述候选目标区域输入卷积神经网络，获得动物体表温度的检测结果，具体包括：
第一层卷积层使用96个卷积核大小为11×11，步长为4的卷积滤波器进行滤波；第二层卷积层使用256个卷积核大小为5×5，步长为1的卷积滤波器进行滤波；第三层卷积层使用384个卷积核大小为3×3，步长为1的卷积滤波器进行滤波；
将所述第一层卷积层、所述第二层卷积层以及所述第三层卷积层的滤波结果送入最大池化层，所述最大池化层设定池化窗口为3×3，步长为2；
将所述最大池化层的输出结果通过三个全连接层得到动物体表温度的检测结果。
8.一种动物体表温度检测装置，其特征在于，包括：
第一图像特征图模块，用于利用具有仿射不变性的最大稳定极值区域MSER特征描述子对动物的原始图像进行特征提取，获得第一图像特征图；
第二图像特征图模块，用于将所述动物的热红外图像与所述第一图像特征图进行配准，获得第二图像特征图；
候选目标区域模块，用于将所述第一图像特征图与所述第二图像特征图进行叠加，根据叠加后的特征融合图获得候选目标区域；以及
温度检测结果模块，用于将所述候选目标区域输入卷积神经网络，获得动物体表温度的检测结果。
9.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至7任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810019889.6A CN108428224B (zh) | 2018-01-09 | 2018-01-09 | 基于卷积神经网的动物体表温度检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810019889.6A CN108428224B (zh) | 2018-01-09 | 2018-01-09 | 基于卷积神经网的动物体表温度检测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108428224A true CN108428224A (zh) | 2018-08-21 |
| CN108428224B CN108428224B (zh) | 2020-05-22 |
Family
ID=63155834
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810019889.6A Expired - Fee Related CN108428224B (zh) | 2018-01-09 | 2018-01-09 | 基于卷积神经网的动物体表温度检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108428224B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109222963A (zh) * | 2018-11-21 | 2019-01-18 | 燕山大学 | 一种基于卷积神经网络的心电异常识别分类方法 |
| CN109798983A (zh) * | 2019-03-12 | 2019-05-24 | 上海达显智能科技有限公司 | 烹饪设施中食材温度测量方法、系统及烹饪设施 |
| CN111121239A (zh) * | 2018-11-01 | 2020-05-08 | 珠海格力电器股份有限公司 | 一种智能家电智能控制方法、控制系统、智能家电 |
| CN111626985A (zh) * | 2020-04-20 | 2020-09-04 | 北京农业信息技术研究中心 | 基于图像融合的家禽体温检测方法及禽舍巡检系统 |
| CN113405674A (zh) * | 2020-03-17 | 2021-09-17 | 杭州海康威视数字技术股份有限公司 | 体温测量方法及摄像设备 |
| CN114170120A (zh) * | 2021-12-06 | 2022-03-11 | 天津职业技术师范大学(中国职业培训指导教师进修中心) | 一种基于多源图像融合的生猪体形特征检测方法 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5396443A (en) * | 1992-10-07 | 1995-03-07 | Hitachi, Ltd. | Information processing apparatus including arrangements for activation to and deactivation from a power-saving state |
| CN101140624A (zh) * | 2007-10-18 | 2008-03-12 | 清华大学 | 图像匹配方法 |
| CN102567983A (zh) * | 2010-12-26 | 2012-07-11 | 浙江大立科技股份有限公司 | 即时红外热图中被监测目标位置的确定方法及应用 |
| CN103884435A (zh) * | 2014-04-03 | 2014-06-25 | 江苏物联网研究发展中心 | 一种电子设备红外监测系统 |
| CN104616280A (zh) * | 2014-11-26 | 2015-05-13 | 西安电子科技大学 | 基于最大稳定极值区域和相位一致性的图像配准方法 |
| CN104809722A (zh) * | 2015-04-13 | 2015-07-29 | 国家电网公司 | 一种基于红外热像的电气设备故障诊断方法 |
| CN105352604A (zh) * | 2015-11-02 | 2016-02-24 | 上海电力学院 | 基于可见光图像配准的红外测温系统云台位置校准方法 |
| CN106600572A (zh) * | 2016-12-12 | 2017-04-26 | 长春理工大学 | 一种自适应的低照度可见光图像和红外图像融合方法 |
| CN106651880A (zh) * | 2016-12-27 | 2017-05-10 | 首都师范大学 | 基于多特征融合的热红外遥感影像的海上动目标检测方法 |
| CN107423709A (zh) * | 2017-07-27 | 2017-12-01 | 苏州经贸职业技术学院 | 一种融合可见光与远红外线的目标检测方法 |
| CN107578432A (zh) * | 2017-08-16 | 2018-01-12 | 南京航空航天大学 | 融合可见光与红外两波段图像目标特征的目标识别方法 |
-
2018
- 2018-01-09 CN CN201810019889.6A patent/CN108428224B/zh not_active Expired - Fee Related
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5396443A (en) * | 1992-10-07 | 1995-03-07 | Hitachi, Ltd. | Information processing apparatus including arrangements for activation to and deactivation from a power-saving state |
| CN101140624A (zh) * | 2007-10-18 | 2008-03-12 | 清华大学 | 图像匹配方法 |
| CN102567983A (zh) * | 2010-12-26 | 2012-07-11 | 浙江大立科技股份有限公司 | 即时红外热图中被监测目标位置的确定方法及应用 |
| CN103884435A (zh) * | 2014-04-03 | 2014-06-25 | 江苏物联网研究发展中心 | 一种电子设备红外监测系统 |
| CN104616280A (zh) * | 2014-11-26 | 2015-05-13 | 西安电子科技大学 | 基于最大稳定极值区域和相位一致性的图像配准方法 |
| CN104809722A (zh) * | 2015-04-13 | 2015-07-29 | 国家电网公司 | 一种基于红外热像的电气设备故障诊断方法 |
| CN105352604A (zh) * | 2015-11-02 | 2016-02-24 | 上海电力学院 | 基于可见光图像配准的红外测温系统云台位置校准方法 |
| CN106600572A (zh) * | 2016-12-12 | 2017-04-26 | 长春理工大学 | 一种自适应的低照度可见光图像和红外图像融合方法 |
| CN106651880A (zh) * | 2016-12-27 | 2017-05-10 | 首都师范大学 | 基于多特征融合的热红外遥感影像的海上动目标检测方法 |
| CN107423709A (zh) * | 2017-07-27 | 2017-12-01 | 苏州经贸职业技术学院 | 一种融合可见光与远红外线的目标检测方法 |
| CN107578432A (zh) * | 2017-08-16 | 2018-01-12 | 南京航空航天大学 | 融合可见光与红外两波段图像目标特征的目标识别方法 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111121239A (zh) * | 2018-11-01 | 2020-05-08 | 珠海格力电器股份有限公司 | 一种智能家电智能控制方法、控制系统、智能家电 |
| CN109222963A (zh) * | 2018-11-21 | 2019-01-18 | 燕山大学 | 一种基于卷积神经网络的心电异常识别分类方法 |
| CN109798983A (zh) * | 2019-03-12 | 2019-05-24 | 上海达显智能科技有限公司 | 烹饪设施中食材温度测量方法、系统及烹饪设施 |
| CN109798983B (zh) * | 2019-03-12 | 2020-10-27 | 上海达显智能科技有限公司 | 烹饪设施中食材温度测量方法、系统及烹饪设施 |
| CN113405674A (zh) * | 2020-03-17 | 2021-09-17 | 杭州海康威视数字技术股份有限公司 | 体温测量方法及摄像设备 |
| CN111626985A (zh) * | 2020-04-20 | 2020-09-04 | 北京农业信息技术研究中心 | 基于图像融合的家禽体温检测方法及禽舍巡检系统 |
| CN114170120A (zh) * | 2021-12-06 | 2022-03-11 | 天津职业技术师范大学(中国职业培训指导教师进修中心) | 一种基于多源图像融合的生猪体形特征检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108428224B (zh) | 2020-05-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108428224B (zh) | 基于卷积神经网的动物体表温度检测方法及装置 | |
| CN110135455B (zh) | 影像匹配方法、装置及计算机可读存储介质 | |
| CN108764024B (zh) | 人脸识别模型的生成装置、方法及计算机可读存储介质 | |
| CN109416727B (zh) | 一种人脸图像中眼镜去除方法及装置 | |
| CN111582207A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN112446270A (zh) | 行人再识别网络的训练方法、行人再识别方法和装置 | |
| CN111199230B (zh) | 目标检测的方法、装置、电子设备及计算机可读存储介质 | |
| CN111832592B (zh) | Rgbd显著性检测方法以及相关装置 | |
| CN111507908B (zh) | 图像矫正处理方法、装置、存储介质及计算机设备 | |
| CN104850857B (zh) | 基于视觉空间显著性约束的跨摄像机行人目标匹配方法 | |
| CN112598597A (zh) | 一种降噪模型的训练方法及相关装置 | |
| CN112418195B (zh) | 一种人脸关键点检测方法、装置、电子设备及存储介质 | |
| CN111062328B (zh) | 一种图像处理方法、装置及智能机器人 | |
| WO2022174523A1 (zh) | 一种提取行人的步态特征的方法、步态识别方法及系统 | |
| CN113159300A (zh) | 图像检测神经网络模型及其训练方法、图像检测方法 | |
| CN111507288A (zh) | 图像检测方法、装置、计算机设备和存储介质 | |
| CN114219855A (zh) | 点云法向量的估计方法、装置、计算机设备和存储介质 | |
| CN113065575A (zh) | 一种图像处理方法及相关装置 | |
| CN111582204A (zh) | 姿态检测方法、装置、计算机设备及存储介质 | |
| CN111126250A (zh) | 一种基于ptgan的行人重识别方法及装置 | |
| CN108388830B (zh) | 基于卷积神经网的动物体形检测方法及装置 | |
| CN117788686A (zh) | 一种基于2d影像的三维场景重建方法、装置及电子设备 | |
| CN116824284A (zh) | 一种图像处理方法以及相关设备 | |
| CN118050087A (zh) | 一种设备测温方法及其相关设备 | |
| CN111160255B (zh) | 一种基于三维卷积网络的捕鱼行为识别方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200522 Termination date: 20210109 |