CN103900972A - 基于多特征融合的肉类新鲜度高光谱图像可视化检测 - Google Patents

Abstract

本发明公开了一种基于多特征融合的肉类新鲜度高光谱图像可视化无损检测方法，克服了传统无损检测方法存在的检测精度稳定性和可靠性差的缺点。该方法的技术方案为：a、采集肉类样本的高光谱反射图像；b、提取高光谱反射图像在不同波段下的光强均值、图像熵、能量均值特征；c、分别建立三种特征和仪器破坏性检测获得的TVB-N的偏最小二乘预测模型，并获得关于TVB-N的无权重融合预估模型；e、采集待测肉样的高光谱图像，输入到建立好的无权重融合模型得到各像素的TVB-N预测结果，实现肉样腐败程度和区域的可视化检测。该方法能够在多数肉样无损的情况下，实现肉类新鲜度的快速可视化检测，具有简单快速度、预测精度高、鲁棒性好的优点。

Description

基于多特征融合的肉类新鲜度高光谱图像可视化检测

技术领域

本方法涉及肉类新鲜度的无损检测方法，尤其涉及一种利用高光谱图像技术，并结合多特征融合方法进行肉类新鲜度可视化无损检测的方法。

背景技术

肉类含有丰富的蛋白质、脂肪、矿物质等，可提供给人体丰富的营业物质，是人类膳食结构的重要组成部分。

肉类在储藏、运输、加工过程中易收到酶、微生物等作用，产生腐败变质。腐败变质的肉不仅营业价值和口感发生变化，甚至会产生有毒物质，危害身体健康，引起安全事故。近年来，我国肉类产品的流通量和流通距离呈不断增长的态势；随之而来的是不断增大的肉类腐败变质风险，以及由此产生的食品安全事故，因此迫切需要解决肉类新鲜度的快速检测问题。

根据国家鲜、冻畜禽肉的卫生标准，对肉类新鲜度的评定主要采用感官指标和理化指标相结合的检验方法。感官检测方法主要是人工对肉类的色泽、弹性、粘度、气味等进行评价，存在着过度依赖检验人员经验，具有主观性和片面性、结果不易量化的缺点。理化指标检测主要是通过各类物理化学方法，对TVB-N(挥发性盐基氮)、PH值、三甲胺等化学指标进行测定，存在着操作步骤繁琐、测定速度慢、破坏检测样品等缺点，无法满足肉类新鲜度快速、无损检测要求。

为了满足肉类新鲜度的快速无损检测要求，多种技术被引入到肉类新鲜度的无损检测中。如我国专利申请号CN200710068733，名称为《多光谱肉类新鲜度人工智能测量方法及系统》提出了一种利用3CCD多光谱相机采集肉类样本在550nm、650nm和800nm三个波段通道的单色图像，并提取其平均亮度、亮度方差、亮度级差作为特征向量，进行肉类新鲜度检测的方法。由于该方法仅利用了3个波段通道的图像信息，存在着分类识别信息缺乏的缺点，导致检测精度收到肉的品种、部位、屠宰方式等因素的较大干扰。为了获得更多的肉类新鲜度检测识别信息，我国专利号CN200610127321，名称为《猪肉新鲜度智能检测装置》提出了一种利用光学测试和气体传感技术相结合的肉类新鲜度检测方法。该方法在利用光学CCD获取肉类在可见光波段下的灰度特征信息同时，利用气体传感器获取肉类的气味信号，并最终完成猪肉新鲜度的识别。但是该方法提取的图像特征有限，且气味传感器存在着交叉敏感性的问题，导致评价精度仍然难以满足实际应用需要。

高光谱图像技术集光谱技术与图像技术的优点于一体，高光谱图像不仅包含了待测对象丰富的光谱信息，还涵盖了待测对象的图像信息。这些丰富的光谱信息和图像信息能够将待测对象的外部特征、内部物理结构以及化学成分充分展现出来。因其具有简便、快速、低成本及非损伤性的特点在近年来备受关注，其已经广泛应用于多个领域，尤其是无损检测领域。

与传统的图像相比，高光谱图像具有丰富的图像信息个光谱信息，但巨大的数据量给数据处理带来了一定的困难，如何挖掘一些有用的信息、并充分利用这些信息一直是个难题。传统的高光谱图像无损检测方法一般只提取单一特征信息来构建无损检测模型，这样不仅大大浪费了高光谱图像带来的丰富信息，而且单一的特征往往受外界影响大，不能充分地反映被测物质的特性，导致检测模型的精度和鲁棒性有限。

发明内容

本发明的目的在于，针对现有肉类新鲜度无损检测方法的不足，提出了多特征融合的肉类新鲜度高光谱图像处可视化检测方法；其具有检测模型的精度高、稳健性好的优点，可实现肉类新鲜度的快速无损可视化检测。

为了实现上述目的，本发明的技术方案，基于多特征融合的肉类新鲜度高光谱图像可视化检测方法，具体步骤包括：

a、共选取S个肉类样本，利用高光谱反射图像采集系统采集每个样本在共P个波段下的高光谱反射图像；

b、分别提取这S个样本在P个波段下的的高光谱反射图像的光强均值、图像熵、及能量均值特征；

c、将采集好高光谱图像的S个肉类样本做破坏性试验，用半微量凯氏定氮法(GB/T5009.44-2003)测定样本的TVB-N(挥发性盐基氮)含量，得到肉样的新鲜度分类结果；

d、利用S个肉样高光谱图像的光强均值、图像熵、及能量均值特征构建对样本的TVB-N值的融合预估模型；

e、利用高光谱反射图像采集系统采集待测样本的高光谱反射图像，并按照步骤(b)获得高光谱图像的特征参数，输入到步骤(d)建立的融合预估模型，最终获得待测样本的TVB-N预测值；

f、根据步骤(d)建立的融合预估模型，获得TVB-N值在肉类表面的分布情况，实现对待测猪肉样本的新鲜度的可视化检测。

在步骤(b)中，高光谱反射图像的光强均值、图像熵、及能量均值由下述步骤获得：

s1、利用标准白板对第s(s≤S)个肉类样本的高光谱图像进行校准，从而得到其在第t(t≤P)个波段下肉类高光谱反射图像的相对光强值A^s，t；

$A^{s,t}=\frac{X^{s,t}-R^t}{{\stackrel{\‾}{R}}^t-R^t}$

其中，X^s，t表示第s个肉类样本在第t个波段下的高光谱图像反射光强值；

为第t个波段下标准白板高光谱反射图像的光强值。R^t为第t个波段下采集的全黑标定图像光强值。

s2、提取第s个样本在第t个波段下的光强均值特征

$A_{\mathrm{sum}}^{s,t}=\underset{i=1}{\overset{m_s}{\mathrm{\Σ}}}\underset{j=1}{\overset{n_s}{\mathrm{\Σ}}}{A}_{(i,j)}^{s,t}$

$A_{\mathrm{mean}}^{s,t}=A_{\mathrm{sum}}^{s,t}/(m_s\·n_s)$

其中

表示第s个肉类样本在第t个波段下高光谱图像矩阵第i行第j列像素的相对光强值，m_s，n_s分别表示第s个样本的高光谱图像矩阵的行数和列数。

s3、提取第s个样本在第t个波段下的图像熵特征

$B_{(i,j)}^{s,t}=-\frac{A_{(i,j)}^{s,t}}{A_{\mathrm{sum}}^{s,t}}{\log }_2\frac{A_{(i,j)}^{s,t}}{A_{\mathrm{sum}}^{s,t}}$

$B_{\mathrm{entropy}}^{s,t}=\underset{i=1}{\overset{m_s}{\mathrm{\Σ}}}\underset{j=1}{\overset{n_s}{\mathrm{\Σ}}}{B}_{(i,j)}^{s,t}/(m_s\·n_s)$

其中

表示第s个样本在第t个波段下高光谱图像矩阵第i行第j列像素的熵值。

s4、提取第s个样本在第t个波段下的能量均值特征

$C_{(i,j)}^{s,t}=\frac{A_{(i,j)}^{s,t}-A_{(i_0,j_0)}^{s,t}}{\sqrt{{(i-i_0)}^2+{(j-j_0)}^2}}$

$C_{\mathrm{power}}^{s,t}=\underset{i=1}{\overset{m_s}{\mathrm{\Σ}}}\underset{j=1}{\overset{n_s}{\mathrm{\Σ}}}{C}_{(i,j)}^{s,t}/(m_s\·n_s)$

其中

表示第s个样本在第t个波段下高光谱图像矩阵第i行第j列像素的能量值。(i₀，j₀)表示光谱图像质心的坐标，

表示光谱图像质心位置对应的相对光强值。

进一步地，在步骤(d)中，利用肉类高光谱图像的光强均值、图像熵及能量均值特征构建对肉类样本TVB-N值的预估融合模型的方法，具体包括：

s1、对于S个肉类样本，分别利用光强均值、图像熵、能量均值特征，建立其与对应样本的TVB-N含量的偏最小二乘预估子模型；

s2、对各偏最小二乘预估子模型的预测输出进行无权重平均，获得最终的TVB-N预估值。

所述步骤(f)中建立待测肉类样本新鲜度的可视化方法。具体步骤包括：

s1、获取待测肉类样本的高光谱反射图像并进行白板校正；

s2、计算校正后的待测肉类样本在第t个波段下高光谱图像矩阵第i行第j列像素的相对光强

熵

和能量特征。

s3、将获取的三种像素特征带入权利要求1中步骤(e)所建立的融合预估模型，得到每一个像素点的TVB-N含量预估值；

s4、将每个像素的TVB-N含量预估值转换为灰度或者伪彩色图像，从而得到得到一幅由TVB-N含量值所构成的图像，即可直观地体现出样本每个像素点的腐败程度，实现可视化检测。

本发明的优点：利用少量样本经破坏性实验获得TVB-N的检测值，建立其与高光谱图像特征的对应评价预估模型；通过评价预估模型和采集的高光谱图像实现肉类新鲜度的检测评价；从而实现对于多数待检测肉类样本新鲜度的快速无损检测和腐败位置的精确定位。

附图说明

图1为本发明所使用的高光谱反射图像采集系统的结构示意图；

图2为本发明检测方法流程图；

图3为本发明中建立多特征融合预估模型流程图；

图4A-图4C分别为新鲜、次新鲜、腐败猪肉样本在623nm波长下的光强分布图(左)以及对应的TVB-N含量分布可视化检测结果(右)。

具体实施方式

下面结合附图和优选实施例对本发明做进一步的阐述。应当理解，此处描述的优选实例仅用于说明和解释本发明，并不用于限定本发明。

图1显示了获取猪肉高光谱反射图像的原理及过程。在图1中，猪肉样本9放置在载物台10上，通过垂直升降台11调整，从而保证猪肉样本9与聚焦透镜7为一预先设定距离；并由水平传送带12带动载物台10水平移动，实现肉样9的全面积图像采集。由线光源2发出的入射光3经猪肉样本吸收、散射等作用后，其表面反射光8经聚焦透镜7聚焦，被光谱仪6分为不同波段下的单色光，并由CCD相机5成像；最终由CCD控制器4将采集所得的高光谱反射图像，传送到计算机内，由计算机对该高光谱反射图像进行相应的处理。为了避免环境光源的干扰，所述的肉样9、线光源2、聚焦透镜7、光谱仪6、CCD相机5、CCD控制器4、载物台10均位于光学屏蔽装置1内。

图2显示了肉类新鲜度高光谱图像可视化检测的重要步骤为高光谱图像特征的提取和检测评估模型的建立。所述多特征融合的肉类新鲜度可视化检测步骤包括：

a、共选取S个肉类样本，利用高光谱反射图像采集系统采集每个样本在共P个波段下的高光谱反射图像；

b、分别提取这S个样本在P个波段下的的高光谱反射图像的光强均值、图像熵、及能量均值特征；

c、将采集好高光谱图像的S个肉类样本做破坏性试验，用半微量凯氏定氮法(GB/T5009.44-2003)测定样本的TVB-N(挥发性盐基氮)含量，得到肉样的新鲜度分类结果；

d、利用S个肉样高光谱图像的光强均值、图像熵、及能量均值特征构建对样本的TVB-N值的融合预估模型；

e、利用高光谱反射图像采集系统采集待测样本的高光谱反射图像，并按照步骤(b)获得高光谱图像的特征参数，输入到步骤(d)建立的融合预估模型，最终获得待测样本的TVB-N预测值；

f、根据步骤(d)建立的融合预估模型，获得TVB-N值在肉类表面的分布情况，实现对待测猪肉样本的新鲜度的可视化检测。

在步骤(b)中，高光谱反射图像的光强均值、图像熵、及能量均值由下述步骤获得：

s1、利用标准白板对第s(s≤S)个肉类样本的高光谱图像进行校准，从而得到其在第t(t≤P)个波段下肉类高光谱反射图像的相对光强值A^s，t；

$A^{s,t}=\frac{X^{s,t}-R^t}{{\stackrel{\‾}{R}}^t-R^t}$

其中，X^s，t表示第s个肉类样本在第t个波段下的高光谱图像反射光强值；

为第t个波段下标准白板高光谱反射图像的光强值。R^t为第t个波段下采集的全黑标定图像光强值。

s2、提取第s个样本在第t个波段下的光强均值特征

$A_{\mathrm{sum}}^{s,t}=\underset{i=1}{\overset{m_s}{\mathrm{\Σ}}}\underset{j=1}{\overset{n_s}{\mathrm{\Σ}}}{A}_{(i,j)}^{s,t}$

$A_{\mathrm{mean}}^{s,t}=A_{\mathrm{sum}}^{s,t}/(m_s\·n_s)$

其中

表示第s个肉类样本在第t个波段下高光谱图像矩阵第i行第j列像素的相对光强值m_s，n_s分别表示第s个样本的高光谱图像矩阵的行数和列数。

s3、提取第s个样本在第t个波段下的图像熵特征

$B_{(i,j)}^{s,t}=-\frac{A_{(i,j)}^{s,t}}{A_{\mathrm{sum}}^{s,t}}{\log }_2\frac{A_{(i,j)}^{s,t}}{A_{\mathrm{sum}}^{s,t}}$

$B_{\mathrm{entropy}}^{s,t}=\underset{i=1}{\overset{m_s}{\mathrm{\Σ}}}\underset{j=1}{\overset{n_s}{\mathrm{\Σ}}}{B}_{(i,j)}^{s,t}/(m_s\·n_s)$

其中

表示第s个样本在第t个波段下高光谱图像矩阵第i行第j列像素的熵值。

s4、提取第s个样本在第t个波段下的能量均值特征

$C_{(i,j)}^{s,t}=\frac{A_{(i,j)}^{s,t}-A_{(i_0,j_0)}^{s,t}}{\sqrt{{(i-i_0)}^2+{(j-j_0)}^2}}$

$C_{\mathrm{power}}^{s,t}=\underset{i=1}{\overset{m_s}{\mathrm{\Σ}}}\underset{j=1}{\overset{n_s}{\mathrm{\Σ}}}{C}_{(i,j)}^{s,t}/(m_s\·n_s)$

其中

表示第s个样本在第t个波段下高光谱图像矩阵第i行第j列像素的能量值。(i₀，j₀)表示光谱图像质心的坐标，

表示光谱图像质心位置对应的相对光强值。

图3给出了利用肉类高光谱图像的光强均值、图像熵及能量均值特征构建对肉类样本TVB-N值的预估融合模型的具体流程，包括：

s1、对于S个肉类样本，分别利用光强均值、图像熵、能量均值特征，建立其与对应样本的TVB-N含量的偏最小二乘预估子模型；

s2、对各偏最小二乘预估子模型的预测输出进行无权重平均，获得最终的TVB-N预估值。

所述步骤(f)中建立待测肉类样本新鲜度的可视化方法。具体步骤包括：

s1、获取待测肉类样本的高光谱反射图像并进行白板校正；

s2、计算校正后的待测肉类样本在第t个波段下高光谱图像矩阵第i行第j列像素的相对光强

熵

和能量

特征。

s3、将获取的三种像素特征带入权步骤(e)所建立的融合预估模型，得到每一个像素点的TVB-N含量预估值；

s4、将每个像素的TVB-N含量预估值转换为灰度或者伪彩色图像，从而得到得到一幅由TVB-N含量值所构成的图像，即可直观地体现出样本每个像素点的腐败程度，实现可视化检测。

图4A-图4C具体给出了新鲜、次新鲜、腐败猪肉样本在623nm波长下的光强分布图(左)以及对应的TVB-N含量分布可视化检测结果(右)。图中直观明了地展现出猪肉的腐败位置和腐败程度，从而实现了基于多特征融合的猪肉新鲜度的高光谱图像可视化检测。

需要说明的是：上述实施例仅为本发明的优选实施例，并非唯一可行的实施例。在以上的叙述过程中通过实施例对本发明作了详细的说明，尽管如此，对于任何熟悉该领域的技术人员都可以上述实施例中所提出的方案进行改动，包括对其中的部分方法进行等同替换。只要在本发明的精神和原则之内，在本发明技术实质的基础上作任何的修改、等同替换、改进等，均包含在本发明的保护范围之内。

Claims (4)

1.基于多特征融合的肉类新鲜度高光谱图像可视化检测方法，其特征在于，所述检测方法包括如下步骤：

a、共选取S个肉类样本，利用高光谱反射图像采集系统采集每个样本在共P个波段下的高光谱反射图像；

b、分别提取这S个样本在P个波段下的的高光谱反射图像的光强均值、图像熵、及能量均值特征；

c、将采集好高光谱图像的S个肉类样本做破坏性试验，用半微量凯氏定氮法(GB/T5009.44-2003)测定样本的TVB-N(挥发性盐基氮)含量，得到肉样的新鲜度分类结果；

d、利用S个肉样高光谱图像的光强均值、图像熵、及能量均值特征构建对样本的TVB-N值的融合预估模型；

e、利用高光谱反射图像采集系统采集待测样本的高光谱反射图像，并按照步骤(b)获得高光谱图像的特征参数，输入到步骤(d)建立的融合预估模型，最终获得待测样本的TVB-N预测值；

f、根据步骤(d)建立的融合预估模型，获得TVB-N在肉类表面的分布情况，实现对待测猪肉样本的新鲜度的可视化检测。

2.根据权利要求1所述的基于多特征融合的肉类新鲜度高光谱图像可视化检测方法，本发明的特征之一在于步骤(b)所描述的多特征提取，具体包括：

s1、利用标准白板对第s(s≤S)个肉类样本的高光谱图像进行校准，从而得到其在第t(t≤P)个波段下肉类高光谱反射图像的相对光强值A^s，t；

$A^{s,t}=\frac{X^{s,t}-R^t}{{\stackrel{\‾}{R}}^t-R^t}$

其中，X^s，t表示第s个肉类样本在第t个波段下的高光谱图像反射光强值；

为第t个波段下标准白板高光谱反射图像的光强值。R^t为第t个波段下采集的全黑标定图像光强值；

s2、提取第s个样本在第t个波段下的光强均值特征

$A_{\mathrm{sum}}^{s,t}=\underset{i=1}{\overset{m_s}{\mathrm{\Σ}}}\underset{j=1}{\overset{n_s}{\mathrm{\Σ}}}{A}_{(i,j)}^{s,t}$

$A_{\mathrm{mean}}^{s,t}=A_{\mathrm{sum}}^{s,t}/(m_s\·n_s)$

其中

表示第s个肉类样本在第t个波段下高光谱图像矩阵第i行第j列像素的相对光强值，m_s，n_s分别表示第s个样本的高光谱图像矩阵的行数和列数；

s3、提取第s个样本在第t个波段下的图像熵特征

$B_{(i,j)}^{s,t}=-\frac{A_{(i,j)}^{s,t}}{A_{\mathrm{sum}}^{s,t}}{\log }_2\frac{A_{(i,j)}^{s,t}}{A_{\mathrm{sum}}^{s,t}}$

$B_{\mathrm{entropy}}^{s,t}=\underset{i=1}{\overset{m_s}{\mathrm{\Σ}}}\underset{j=1}{\overset{n_s}{\mathrm{\Σ}}}{B}_{(i,j)}^{s,t}/(m_s\·n_s)$

其中

表示第s个样本在第t个波段下高光谱图像矩阵第i行第j列像素的熵值；

s4、提取第s个样本在第t个波段下的能量均值特征

$C_{(i,j)}^{s,t}=\frac{A_{(i,j)}^{s,t}-A_{(i_0,j_0)}^{s,t}}{\sqrt{{(i-i_0)}^2+{(j-j_0)}^2}}$

$C_{\mathrm{power}}^{s,t}=\underset{i=1}{\overset{m_s}{\mathrm{\Σ}}}\underset{j=1}{\overset{n_s}{\mathrm{\Σ}}}{C}_{(i,j)}^{s,t}/(m_s\·n_s)$

其中

表示第s个样本在第t个波段下高光谱图像矩阵第i行第j列像素的能量值；(i₀，j₀)表示光谱图像质心的坐标，

表示光谱图像质心位置对应的相对光强值。

3.根据权利要求1所述基于多特征融合的肉类新鲜度高光谱图像可视化检测方法，其特征在于，步骤(d)中利用肉样高光谱图像的光强均值、图像熵及能量均值特征构建对肉样TVB-N值的融合预估模型的方法，具体包括：

s1、对于S个肉类样本，分别利用光强均值、图像熵、能量均值特征，建立其与对应样本的TVB-N含量的偏最小二乘预估子模型；

s2、对各偏最小二乘预估子模型的预测输出进行无权重平均，获得最终的TVB-N预估值。

4.根据权利要求1所述基于多特征融合的肉类新鲜度高光谱图像可视化检测方法，其特征在于步骤(f)所描述的待测肉类样本新鲜度的可视化方法。具体步骤包括：

s1、获取待测肉类样本的高光谱反射图像并进行白板校正；

s2、计算校正后的待测肉类样本在第t个波段下高光谱图像矩阵第i行第j列像素的相对光强和熵

能量

特征；

s3、将获取的三种像素特征带入权利要求1中步骤(e)所建立的融合预估模型，得到每一个像素点的TVB-N含量预估值；

s4、将每个像素的TVB-N含量预估值转换为灰度或者伪彩色图像，从而得到得到一幅由TVB-N含量值所构成的图像，即可直观地体现出样本每个像素点的腐败程度，实现可视化检测。

Images