CN117496240A - 一种光伏面板表面缺陷分类方法及系统 - Google Patents

Abstract

本发明提供了一种光伏面板表面缺陷分类方法及系统，所述方法包括：将光伏面板的彩色图像与其对应的红外图像构造成复合图像作为输入数据，输入训练好的光伏面板缺陷分类模型，得到光伏面板的故障分类；本发明的优势在于：本发明使用光伏面板的红外图像作为额外输入，与彩色图像合成为6通道的新输入数据，在输入端就对两幅图像进行了融合，减小了网络体积，增加了检测速度；本发明采用的是以Vision Transformer为基础的模型，能够对图像的全局信息建模，性能超越了普通的卷积神经网络。本发明还在此基础上加入了可形变卷积，增强了卷积层的变换建模能力，进一步提升了网络性能，增加了检测精度。

Description

一种光伏面板表面缺陷分类方法及系统

技术领域

本发明属于计算机视觉，模式识别领域，具体涉及一种光伏面板表面缺陷分类方法及系统。

背景技术

随着全球光伏发电容量指数级增长，可靠的光伏阵列运维管理及故障诊断变得尤为重要。由于光伏阵列常年曝露在户外，受多变环境影响，光伏面板容易出现破碎、遮挡、溶解、灰尘等各种故障，会对其使用寿命、发电量产生很大影响。而光伏面板表面缺陷分类就显得尤为重要，快速、正确的对故障光伏面板的缺陷进行分类能够让工作人员能够及时对光伏面板做出相应的修复手段，将损失控制在最小范围之内。但是人工对故障光伏面板图像进行分类会耗费大量人力资源和时间。通常无人机采集到的光伏面板图像中含有多余的背景信息，并且图像中不同类别的缺陷之间差别很小，这些对于光伏面板缺陷分类造成了巨大的挑战。这些困难在之前的研究中都尚未得到很好的解决。

发明内容

本发明的目的在于克服人工进行光伏阵列的缺陷检测效率低、成本高的缺陷。

为了实现上述目的，本发明提出了一种光伏面板表面缺陷分类方法，所述方法包括：

将光伏面板的彩色图像与其对应的红外图像构造成复合图像作为输入数据，输入训练好的光伏面板缺陷分类模型，得到光伏面板的故障分类；

所述光伏面板缺陷分类模型的处理过程包括：

步骤1：光伏面板缺陷分类模型接收复合图像，利用红外图像作为指导，多头注意力模块和可形变深度卷积层作为核心，将网络的注意力集中在对光伏面板故障分类有利的区域，去除掉背景和无用的信息；

步骤2：采用可形变卷积的分类头对光伏面板的故障进行分类。

作为上述方法的一种改进，所述光伏面板缺陷分类模型的训练过程包括：

将光伏面板缺陷分类模型生成的分类结果与真实标签计算偏差，采用反向传播算法和随机梯度下降法减小整体预测误差以训练该模型，经过多次迭代训练得到最终的光伏面板缺陷分类模型。

作为上述方法的一种改进，所述将光伏面板红外图像与彩色图像构造成复合图像，具体包括：

将光伏面板的RGB彩色图像及对应的红外图像构造成6通道的输入数据其中，H和W是输入图像的分辨率。

作为上述方法的一种改进，所述光伏面板缺陷分类模型为Vision Transformer可形变深度卷积神经网络模型，包括Transformer编码层和可形变卷积层。

作为上述方法的一种改进，所述步骤1具体包括：

步骤1-1，将输入数据归一化至统一的大小；

步骤1-2，将步骤1-1处理后的数据通过卷积核为P×P，步长为P的卷积层切分为一个个光伏面板图像块其中得到的图像块数量N＝H×W/P²，通过线性映射将每个图像块映射到一维向量得到/>其中/>表示第n个图像块，n∈(1,N)；E表示线性映射，其中D表示图像块需要映射到D维；

步骤1-3，在步骤1-2中得到的多个一维向量中插入一个专门用于光伏面板分类的一维向量x_class，该向量通过训练进行优化；将向量x_class与向量拼接在一起得到一维向量x：/>

步骤1-4，把一维向量x与用于光伏面板位置编码的一维向量E_pos相加，使每个向量都具有自己的位置信息，位置编码向量是可训练的参数；输出张量为其中/>C表示输入图像通道数；

步骤1-5，将张量z₀输入进L个Transformer编码块中进行光伏面板的特征提取；张量输入进每个编码块时进行随机深度的操作；随机深度的公式如下，每一个编码块的生存概率线性衰减：

其中，p_l表示第l层在训练中的生存概率；L表示编码块的总数量；p_L表示最后一个残差块的生存几率；

步骤1-6，当步骤1-5中的张量z₀输入进每个编码块时先进行层归一化操作，将不同变化范围的值映射到相同的固定范围中；随后将归一化后的张量输入进多头自注意力模块中，对光伏面板中每个图像块之间的关联进行建模，注意力提取公式如下：

其中，Q、K、V分别表示查询、索引和内容矩阵，由输入的特征向量经过线性变换得到；T表示矩阵转置；d_k表示索引矩阵的维度；

输出张量z'_l＝MSA(LN(z_l-1))+z_l-1，其中l＝1…L；MSA表示多头自注意力模块，LN()表示层归一化；

步骤1-7，将张量z'_l进行层归一化操作，再次将不同变化范围的值映射到相同的固定范围中；引入可形变卷积层替代原Vision Transformer网络的MLP层进行图像特征的提取；

可形变卷积的公式为：其中，y(p₀)表示输出特征图的某一个点；p₀表示点y(p₀)对应的卷积核在原特征图中作用时的中心点坐标；p_n表示卷积核相对于p₀的坐标；Δp_n表示像素偏移量；w(p_n)表示p_n点对应的卷积核权重；x(p₀+p_n+Δp_n)表示偏移后的像素值；

输出张量z_l＝DC(LN(z'_l))+z'_l，其中l＝1…L，DC表示可形变卷积操作。

作为上述方法的一种改进，所述P优选为16。

作为上述方法的一种改进，所述L优选为12。

作为上述方法的一种改进，所述步骤2具体包括：

将步骤1输出的张量z_l进行层归一化操作；提取出其中的分类向量x_class对应的输出结果将其输入进一个可形变卷积分类层得到最终对于光伏面板故障的分类结果其中DC head表示可形变卷积分类头。

本发明还提供一种光伏面板表面缺陷分类系统，基于上述方法实现，所述系统包括：

数据预处理模块，用于将光伏面板的彩色图像与其对应的红外图像构造成复合图像作为输入数据；

分类模块，用于利用训练好的光伏面板缺陷分类模型处理输入数据，得到光伏面板的故障分类；和

训练模块，用于对光伏面板缺陷分类模型进行训练。

与现有技术相比，本发明的优势在于：

1、本发明使用光伏面板的红外图像作为额外输入，与彩色图像合成为6通道的新输入数据，在输入端就对两幅图像进行了融合，减小了网络体积，增加了检测速度。

2、本发明采用的是以Vision Transformer为基础的模型，Vision Transformer模型融入了自注意力机制，能够对图像的全局信息建模，性能超越了普通的卷积神经网络。本发明还在此基础上加入了可形变卷积，增强了卷积层的变换建模能力，进一步提升了网络性能，增加了检测精度。

3、本发明仅利用无人机采集的光伏面板图像就能够对光伏面板表面的故障进行分类，极大地减少了传统人工故障分类所耗费的人力资源，提高了运维效率。

附图说明

图1所示为光伏面板表面缺陷分类方法流程图；

图2所示为六通道输入数据构造示意图；

图3所示为光伏面板缺陷分类模型结构图；

图4所示为Transformer编码器和可形变卷积结构图。

具体实施方式

下面结合附图对本发明的技术方案进行详细的说明。

本发明的目的是针对现有技术在光伏面板表面缺陷分类问题中遇到的难题，一方面引入了光伏面板的红外影像来提供光伏面板的温度信息，另一方面引入了自注意力机制来对光伏面板每个部分之间的关系进行建模，将注意力集中在对缺陷分类有用的区域，又通过引入可形变深度卷积来替代普通线性层，更好的采样光伏面板的图像特征，最终提取出有利于光伏面板缺陷分类的特征，提高光伏面板表面缺陷分类的准确率。

本发明提供了一种光伏面板表面缺陷分类方法，首先利用红外图像与彩色图像构造6通道输入数据，将该输入送入Vision Transformer可形变深度卷积神经网络模型，然后利用红外图像作为指导，多头注意力模块和可形变深度卷积层作为核心，将网络的注意力集中在对光伏面板故障分类有利的区域，去除掉背景和无用的信息，最后采用可形变卷积的分类头来对光伏面板的故障进行正确的分类。

如图1所示，光伏面板表面缺陷分类方法，具体步骤包括：

步骤S0，将数据集中的RGB光伏面板图像及对应的红外影像构造成6通道的输入数据其中H和W是输入图像的分辨率；如图2所示；

步骤S1，将S0中的光伏面板数据归一化至统一的大小(如224×224×6像素)，然后将该输入送入Vision Transformer可形变深度卷积神经网络，该网络含有数层Transformer编码层和可形变卷积层，如图3所示；

步骤S2，将S1中输入的光伏数据通过卷积核为P×P，步长为P的卷积层切分为一个个光伏面板图像块其中得到的图像块数量N＝H×W/P²，通过线性映射将每个图像块映射到一维向量得到/>其中/>表示第n个图像块，n∈(1,N)，E表示线性映射，其中D表示图像块需要映射到D维；P优选为16；

步骤S3，在S2中得到的多个一维向量中插入一个专门用于光伏面板分类的一维向量x_class，该向量是可以通过训练进行优化的，这里将该向量与S2中的向量拼接在一起，

步骤S4，把S3中得到的多个一维向量与专门用于光伏面板位置编码的一维向量E_pos相加，使每个向量都具有自己的位置信息，位置编码向量也是可训练的参数，输出张量为其中/>其中，C为输入图像通道数；E、E_pos的初始化为随机初始化；

步骤S5，将S4中的张量输入进L(L优选为12)个Transformer编码块中进行光伏面板的特征提取，其中张量输入进每个编码块时会进行随机深度的操作，张量有几率跳过该编码块，这样可以减少编码块对光伏面板中某一特征的依赖，减轻深层网络过拟合的问题，增强网络的泛化性能。随机深度的公式如下，每一个编码块的生存概率线性衰减：

其中，p_l表示第l层在训练中的生存概率，L表示编码块的总数量，因此p_L就是最后一个残差块的生存几率。

步骤S6，当S5中的张量输入进每个编码块时先进行层归一化操作，将不同变化范围的值映射到相同的固定范围中。随后将归一化后的张量输入进多头自注意力模块中，对光伏面板中每个图像块之间的关联进行建模，注意力提取公式如下：

其中，Q、K、V分别是查询、索引和内容矩阵，由输入的特征向量经过线性变换得到；d_k表示索引矩阵的维度；输出张量z'_l＝MSA(LN(z_l-1))+z_l-1，其中l＝1…L；MSA表示多头自注意力模块；LN()表示层归一化；如图4所示；

步骤S7，将S6中的输出的张量进行层归一化操作，再次将不同变化范围的值映射到相同的固定范围中。随后引入可形变卷积层来替代原VisionTransformer网络的MLP层(多层感知器层)进行图像特征的提取。

可形变卷积的公式为：其中y(p₀)代表输出特征图的某一个点；p₀表示这个点对应的卷积核在原特征图中作用时的中心点坐标；p_n是卷积核相对于p₀的坐标；Δp_n表示像素偏移量；w(p_n)表示p_n点对应的卷积核权重；x(p₀+p_n+Δp_n)表示偏移后的像素值；输出张量z_l＝DC(LN(z′_l))+z′_l，其中l＝1…L，DC表示可形变卷积操作；如图4所示；

步骤S8，将S7中输出的张量进行层归一化操作，再次将不同变化范围的值映射到相同的固定范围中。随后提取出其中的分类向量x_class对应的输出结果将其输入进一个可形变卷积分类层得到我们最终对于光伏面板故障的分类结果/> 其中DC head表示可形变卷积分类头。

步骤S9，将S8的分类结果与真实标签计算偏差，采用反向传播算法和随机梯度下降法来减小整体预测误差以训练该模型，经过多次迭代训练得到最终的光伏面板缺陷分类模型，通常需要在整个数据集上迭代300轮，当损失不再下降时停止训练；

步骤S10，将待测试光伏面板样本图像输入进S9得到的光伏面板缺陷分类模型中，输出即为待测试样本的缺陷分类结果。

以某大型光伏面板数据库为例，包含14708张光伏面板图像及对应的红外影像，光伏面板表面缺陷分类方法，具体执行步骤如下：

步骤S0，将数据集中的14708张RGB光伏面板图像及对应的红外影像构造成6通道的输入数据其中H和W是输入图像的分辨率，这样就得到14708个输入数据；

步骤S1，将S0中的光伏面板数据归一化至统一的大小(如224×224×6像素)，然后将该输入送入Vision Transformer可形变深度卷积神经网络，该网络含有数层Transformer编码层和可形变卷积层；

步骤S2，将S1中输入的光伏数据通过卷积核为16×16，步长为16的卷积层切分为一个个光伏面板图像块其中得到的图像块数量N＝H×W/16²，通过线性映射将每个图像块映射到一维向量得到/>其中/>表示第n个图像块，n∈(1,N)，E表示线性映射，/>其中D表示图像块需要映射到D维；

步骤S3，在S2中得到的多个一维向量中插入一个专门用于光伏面板分类的一维向量x_class，该向量是可以通过训练进行优化的，这里将该向量与S2中的向量拼接在一起，

步骤S4，把S3中得到的多个一维向量与专门用于光伏面板位置编码的一维向量E_pos相加，使每个向量都具有自己的位置信息，位置编码向量也是可训练的参数，输出张量为其中/>

步骤S5，将S4中的张量输入进L(L＝12)个Transformer编码块中进行光伏面板的特征提取，其中张量输入进每个编码块时会进行随机深度的操作，张量有几率跳过该编码块，这样可以减少编码块对光伏面板中某一特征的依赖，减轻深层网络过拟合的问题，增强网络的泛化性能。随机深度的公式如下，每一个编码块的生存概率线性衰减：

其中，p_l表示的是第l层在训练中的生存概率，L表示block的总数量，因此p_l就是最后一个残差块的生存几率。

步骤S6，当S5中的张量输入进每个编码块时先进行层归一化操作，将不同变化范围的值映射到相同的固定范围中。随后将归一化后的张量输入进多头自注意力模块中，对光伏面板中每个图像块之间的关联进行建模，注意力提取公式如下：

其中，Q、K、V分别是查询、索引和内容矩阵，由输入的特征向量经过线性变换得到；T表示矩阵转置；d_k表示索引矩阵的维度；

输出张量z'_l＝MSA(LN(z_l-1))+z_l-1，其中l＝1…L；MSA表示多头自注意力模块，LN()表示层归一化；

步骤S7，将S6中的输出的张量进行层归一化操作，再次将不同变化范围的值映射到相同的固定范围中。随后引入可形变卷积层来替代原Vision Transformer网络的MLP层进行图像特征的提取。

可形变卷积的公式为：其中y(p₀)代表输出特征图的某一个点，p₀表示这个点对应的卷积核在原特征图中作用时的中心点坐标，p_n是卷积核相对于p₀的坐标，Δp_n表示像素偏移量，w(p_n)表示p_n点对应的卷积核权重，x(p₀+p_n+Δp_n)表示偏移后的像素值。输出张量z_l＝DC(LN(z'_l))+z'_l，其中l＝1…L，DC表示可形变卷积操作；

步骤S8，将S7中输出的张量进行层归一化操作，再次将不同变化范围的值映射到相同的固定范围中。随后提取出其中的分类向量x_class对应的输出结果将其输入进一个可形变卷积分类层得到我们最终对于光伏面板故障的分类结果/>其中DC head表示可形变卷积分类头。

步骤S9，将S8的分类结果与真实标签计算偏差，采用反向传播算法和随机梯度下降法来减小整体预测误差以训练该模型，经过多次迭代训练得到最终的光伏面板缺陷分类模型，通常需要在整个数据集上迭代300轮，当损失不再下降时停止训练；

步骤S10，将待测试光伏面板样本图像输入进S9得到的光伏面板缺陷分类模型中，输出即为待测试样本的缺陷分类结果。

本发明提供的光伏面板表面缺陷分类方法，首先引进了光伏面板的红外图像作为额外输入，并与彩色图像合成为6通道的新输入数据；然后引入了自注意力机制来将网络注意力放在对光伏面板故障分类更有用的信息上；最后引入了可形变深度卷积来更好的采样光伏面板的信息，增强网络的鲁棒性，排除掉非光伏面板的无用信息，达到去除背景噪声的作用。

本发明还提供一种光伏面板表面缺陷分类，基于上述方法实现，该系统包括：

数据预处理模块，用于将光伏面板的彩色图像与其对应的红外图像构造成复合图像作为输入数据；

分类模块，用于利用训练好的光伏面板缺陷分类模型处理输入数据，得到光伏面板的故障分类；和

训练模块，用于对光伏面板缺陷分类模型进行训练。

本发明还可提供一种计算机设备，包括：至少一个处理器、存储器、至少一个网络接口和用户接口。该设备中的各个组件通过总线系统耦合在一起。可理解，总线系统用于实现这些组件之间的连接通信。总线系统除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。

其中，用户接口可以包括显示器、键盘或者点击设备。例如，鼠标，轨迹球(trackball)、触感板或者触摸屏等。

可以理解，本申请公开实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本文描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。

在一些实施方式中，存储器存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集：操作系统和应用程序。

其中，操作系统，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序，包含各种应用程序，例如媒体播放器(Media Player)、浏览器(Browser)等，用于实现各种应用业务。实现本公开实施例方法的程序可以包含在应用程序中。

在本上述的实施例中，还可通过调用存储器存储的程序或指令，具体的，可以是应用程序中存储的程序或指令，处理器用于：

执行上述方法的步骤。

上述方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现场可编程门阵列(Field Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行上述公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合上述公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

可以理解的是，本发明描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(Application Specific Integrated Circuits，ASIC)、数字信号处理器(Digital SignalProcessing，DSP)、数字信号处理设备(DSP Device，DSPD)、可编程逻辑设备(ProgrammableLogic Device，PLD)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。

对于软件实现，可通过执行本发明的功能模块(例如过程、函数等)来实现本发明技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。

本发明还可提供一种非易失性存储介质，用于存储计算机程序。当该计算机程序被处理器执行时可以实现上述方法实施例中的各个步骤。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (9)

1.一种光伏面板表面缺陷分类方法，所述方法包括：

将光伏面板的彩色图像与其对应的红外图像构造成复合图像作为输入数据，输入训练好的光伏面板缺陷分类模型，得到光伏面板的故障分类；

所述光伏面板缺陷分类模型的处理过程包括：

步骤1：光伏面板缺陷分类模型接收复合图像，利用红外图像作为指导，多头注意力模块和可形变深度卷积层作为核心，将网络的注意力集中在对光伏面板故障分类有利的区域，去除掉背景和无用的信息；

步骤2：采用可形变卷积的分类头对光伏面板的故障进行分类。

2.根据权利要求1所述的光伏面板表面缺陷分类方法，其特征在于，所述光伏面板缺陷分类模型的训练过程包括：

将光伏面板缺陷分类模型生成的分类结果与真实标签计算偏差，采用反向传播算法和随机梯度下降法减小整体预测误差以训练该模型，经过多次迭代训练得到最终的光伏面板缺陷分类模型。

3.根据权利要求1所述的光伏面板表面缺陷分类方法，其特征在于，所述将光伏面板红外图像与彩色图像构造成复合图像，具体包括：

将光伏面板的RGB彩色图像及对应的红外图像构造成6通道的输入数据其中，H和W是输入图像的分辨率。

4.根据权利要求1所述的光伏面板表面缺陷分类方法，其特征在于，所述光伏面板缺陷分类模型为Vision Transformer可形变深度卷积神经网络模型，包括Transformer编码层和可形变卷积层。

5.根据权利要求4所述的光伏面板表面缺陷分类方法，其特征在于，所述步骤1具体包括：

步骤1-1，将输入数据归一化至统一的大小；

步骤1-2，将步骤1-1处理后的数据通过卷积核为P×P，步长为P的卷积层切分为一个个光伏面板图像块其中得到的图像块数量N＝H×W/P²，通过线性映射将每个图像块映射到一维向量得到/>其中/>表示第n个图像块，n∈(1,N)；E表示线性映射，其中D表示图像块需要映射到D维；

步骤1-3，在步骤1-2中得到的多个一维向量中插入一个专门用于光伏面板分类的一维向量x_class，该向量通过训练进行优化；将向量x_class与向量拼接在一起得到一维向量x：

步骤1-4，把一维向量x与用于光伏面板位置编码的一维向量E_pos相加，使每个向量都具有自己的位置信息，位置编码向量是可训练的参数；输出张量为其中/>C表示输入图像通道数；

步骤1-5，将张量z₀输入进L个Transformer编码块中进行光伏面板的特征提取；张量输入进每个编码块时进行随机深度的操作；随机深度的公式如下，每一个编码块的生存概率线性衰减：

其中，p_l表示第l层在训练中的生存概率；L表示编码块的总数量；p_L表示最后一个残差块的生存几率；

步骤1-6，当步骤1-5中的张量z₀输入进每个编码块时先进行层归一化操作，将不同变化范围的值映射到相同的固定范围中；随后将归一化后的张量输入进多头自注意力模块中，对光伏面板中每个图像块之间的关联进行建模，注意力提取公式如下：

其中，Q、K、V分别表示查询、索引和内容矩阵，由输入的特征向量经过线性变换得到；T表示矩阵转置；d_k表示索引矩阵的维度；

输出张量z'_l＝MSA(LN(z_l-1))+z_l-1，其中l＝1…L；MSA表示多头自注意力模块，LN()表示层归一化；

步骤1-7，将张量z'_l进行层归一化操作，再次将不同变化范围的值映射到相同的固定范围中；引入可形变卷积层替代原Vision Transformer网络的MLP层进行图像特征的提取；

可形变卷积的公式为：其中，y(p₀)表示输出特征图的某一个点；p₀表示点y(p₀)对应的卷积核在原特征图中作用时的中心点坐标；p_n表示卷积核相对于p₀的坐标；Δp_n表示像素偏移量；w(p_n)表示p_n点对应的卷积核权重；x(p₀+p_n+Δp_n)表示偏移后的像素值；

输出张量z_l＝DC(LN(z′_l))+z′_l，其中l＝1…L，DC表示可形变卷积操作。

6.根据权利要求5所述的光伏面板表面缺陷分类方法，其特征在于，所述P优选为16。

7.根据权利要求5所述的光伏面板表面缺陷分类方法，其特征在于，所述L优选为12。

8.根据权利要求5所述的光伏面板表面缺陷分类方法，其特征在于，所述步骤2具体包括：

将步骤1输出的张量z_l进行层归一化操作；提取出其中的分类向量x_class对应的输出结果将其输入进一个可形变卷积分类层得到最终对于光伏面板故障的分类结果其中DC head表示可形变卷积分类头。

9.一种光伏面板表面缺陷分类系统，基于权利要求1-8所述任一方法实现，其特征在于，所述系统包括：

数据预处理模块，用于将光伏面板的彩色图像与其对应的红外图像构造成复合图像作为输入数据；

分类模块，用于利用训练好的光伏面板缺陷分类模型处理输入数据，得到光伏面板的故障分类；和

训练模块，用于对光伏面板缺陷分类模型进行训练。