1.本发明属于电力变压器健康状态评估技术领域，更具体地，涉及一种基于多模态神经网络的电力变压器健康状态评估方法。背景技术：2.电网的安全稳定运行是可靠供电的基础。电网一旦发生故障，不仅损坏电力设备，停止供电，影响人民正常生产、生活，严重时还会危害公共安全，造成重大经济损失和不良社会影响。电力变压器是十分重要的电压转换节点，是变电站核心设备，并且电力变压器造价昂贵，突发故障停运会严重危害电力系统的安全。然而变压器在长期运行过程中，受热、电及其他因素影响，出现缺陷的风险逐渐增大，缺陷点会快速发展为故障，造成变压器停运，影响电网的稳定运行，甚至造成大面积停电。3.电力变压器状态评估是判断变压器健康状态的一种有效手段。变压器在运行过程中积累的数据蕴含丰富状态信息，是进行状态评估和故障诊断的有效基础。通过对变压器的某些指标进行检测和分析，能够对电力变压器的健康状况做出准确、可靠的评估和诊断，为后续的处理方式提供有依据的决策。因此，制定有效、可靠的电力变压器状态评估方法已成为国内外学者和工程师们亟需解决的一个问题。目前，故障诊断方法针对单一模态的数据进行故障诊断，但变压器的数据具有多源、异构的特征，新的多模态故障诊断技术仍需要研究。然而在多模态学习应用的实际任务中，由于不同模态数据之间具有相似性，导致不同模态数据提供的信息存在一定的冗余，如果将不同模态的数据提取到的特征进行简单的拼接融合，往往会降低模型在目标任务上的性能。技术实现要素：4.针对现有技术的以上缺陷或改进需求，本发明提出了一种基于多模态神经网络的电力变压器健康状态评估方法，解决现有技术中过于依赖各变量参数的选择、无法评估多变量情形下的健康状态等缺陷，评估效率和准确性更高。5.为实现上述目的，本发明提供了一种基于多模态神经网络的电力变压器健康状态评估方法，包括：6.(1)采集各变电站中的多模态信息，其中，多模态信息包括：各变电站油测试、油中溶解气体和呋喃含量监测信息，以及变压器的红外图像数据；7.(2)对采集到的多模态信息进行数据清洗和数据归一化处理，得到多模态矩阵；8.(3)将多模态矩阵按比例划分为训练集和验证集，以对网络的参数进行训练；9.(4)构建基于一维卷积网络和深度残差神经网络的多模态神经网络，输入训练集和验证集进行多模态神经网络训练，学习变压器多模态数据的特征；10.(5)对实时运行的多模态数据进行健康状态评估，同时对多模态神经网络的权值进行微调，使多模态神经网络持续学习新的特征。11.在一些可选的实施方案中，所述多模态信息包括：运行中变压器以及电力公司记录的数据，其中每一组数据均包括文本数据和图像数据及其对应的变压器的健康状态，文本数据包含九种关键状态的含量：bdv、水含量、酸度、氢气、甲烷、乙烷、乙烯、乙炔、呋喃含量；图像数据包含变压器运行中的红外图像。12.在一些可选的实施方案中，步骤(2)包括：13.(2.1)对多模态信息进行小波阈值去噪，以消除多模态信息中数据存在的噪声；14.(2.2)对去噪后的数据进行归一化处理，得到多模态矩阵。15.在一些可选的实施方案中，步骤(2.1)包括：16.对多模态信息进行两层小波分解获得逼近系数和细节系数，对逼近系数和细节系数分别用中值滤波进行处理；17.对中值滤波后的逼近系数和细节系数进行重构，得到初步处理的光谱信号，将光谱信号进行小波分解，采用软阈值函数与无偏风险估计阈值对二次小波分解获得的逼近系数和细节系数进行去噪处理；18.对去噪处理后的逼近系数和细节系数进行小波逆变换，获得最终去噪后的多模态信息中的数据。19.在一些可选的实施方案中，在步骤(3)中将多模态信息中的数据划分为两部分，其中，若干比例的数据作为训练集，对多模态神经网络进行训练，剩下比例的数据作为测试集验证多模态神经网络对变压器健康状态评估效果。20.在一些可选的实施方案中，步骤(4)包括：21.(4.1)构建一维卷积神经网络和深度残差神经网络的多模态神经网络，对图像数据进行特征提取，其中，深度残差神经网络由输入层、残差模块、softmax层、分类输出层组成；一维卷积神经网络由卷积层、全局平均池化层和激活函数层组成；22.(4.2)利用一维卷积神经网络对文本数据进行特征提取；23.(4.3)利用稀疏注意力机制对文本特征和图像特征进行重要信息提取，并输出变压器的健康状态。24.在一些可选的实施方案中，步骤(4.1)包括：25.残差模块包括归一化层、全局平均池化层、激励层、阈值层和残差相加层，残差模块的组成如下：26.第一层为归一化层，其运用正则化方法对数据进行归一化，在归一化层中，计算所有数据的正则化后，对数据进行变化，使网络能够学习正则化的规律；27.第二层为全局平均池化层，实现对传输中的数据降维，减少网络的训练参数；28.第三层是激励层，目的是捕获通道之间的依赖关系；29.第四层为激活层，第五层为激励层，第六层为激活函数层，第七层为阈值层，通过计算α，然后乘以第一层输出的数据，其中，z是由第六层输出的数据；30.第八层为相加层，将第七层输出的数据与第一层输入的数据相加。31.在一些可选的实施方案中，步骤(4.2)包括：32.一维卷积神经网络的组成如下：第一层为卷积层，第二层为全局平局池化层，第三层为卷积层，第四层为全局平均池化层，第五层为激活函数层。33.在一些可选的实施方案中，步骤(4.3)包括：34.构建稀疏注意力机制对特征进行提取，注意机制将查询和一组键值映射到输出，使用kl发散度来度量查询稀疏性；35.计算并归一化注意权重，注意层使用注意权值输出向量。36.在一些可选的实施方案中，步骤(5)包括：37.对于实时采集的多模态数据，进行数据清洗和数据归一化，然后将清洗和归一化后的数据进行分割为训练集和验证集，对多模态神经网络进行训练，进行健康状态评估，若需要增加新的数据类别或相关影响因素，利用原多模态神经网络作为预训练模型，激活所有层进行训练。38.总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：39.本发明的基于多模态神经网络的电力变压器健康状态评估方法，考虑到典型变压器健康状态评估过程中存在模态单一和精度较低等问题，利用多模态神经网络进行健康状态评估。综合考虑多模态神经网络的参数多和特征提取能力不同，创新性地构建了基于一维卷积神经网络和深度残差神经网络的多模态神经网络的健康评估模型。在此基础上，考虑到工程实际数据中存在噪声和异常数据问题，对模型输入数据进行数据清洗和归一化。附图说明40.图1是本发明实施例提供的一种基于多模态神经网络的电力变压器健康状态评估方法实现流程图；41.图2是本发明实施例提供的一种一维卷积神经网络结构；42.图3是本发明实施例提供的一种残差模块结构；43.图4是本发明实施例提供的一种基于多模态神经网络模型的结构。具体实施方式44.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。45.本发明的目的是为变压器健康状态提供新的评估方法，评估效率和准确性更高，并解决传统方法过于依赖各变量参数的选择、无法评估多变量情形下的健康状态等问题。46.本发明是采用如下技术方案来实现的：47.如图1所示，本发明实施例的基于多模态神经网络的电力变压器健康状态评估方法，包括以下步骤：48.步骤1：首先收集各变电站油测试，油中溶解气体和呋喃含量监测信息；49.其中，步骤1中的数据采集于运行中变压器以及电力公司测试数据，其中每一组数据都包括bdv、水含量、酸度、氢气(h2)、甲烷(ch4)、乙烷(c2h6)、乙烯(c2h4)、乙炔(c2h2)、呋喃含量九种关键状态的含量和变压器的红外图像及其对应的变压器的健康状态。50.步骤2：对采集到的多模态信息进行数据清洗和数据归一化处理，得到多模态矩阵；51.具体地，步骤2可以通过以下方式实现：52.步骤2.1：对步骤1中采集到的多模态信息进行小波阈值去噪，消除数据中存在的噪声；53.首先，对数据进行一次小波分解，对获得逼近系数和细节系数分别用中值滤波进行处理。54.其中，中值滤波是一种非线性平滑处理方法，算法数学模型为：假设滑动窗口的大小为n＝2k+1或者n＝2k，滤波器输出的中值为：[0055][0056]其次，对中值滤波处理后的逼近系数和细节系数进行小波逆变换重构，得到初步处理的信号，将新的信号进行二次小波分解，采用软阈值函数与无偏风险估计阈值对二次小波分解获得的逼近系数和细节系数进行去噪处理。[0057]其中，无偏风险估计阈值公式为：[0058][0059]软阈值函数的数学表达式为：[0060][0061]最后，对新的逼近系数和细节系数进行小波逆变换，获得最终去噪后的多模态信息中的数据。[0062]步骤2.2：对步骤2.1中去噪后的数据进行数据归一化，运用极差变换法，其公式为：[0063][0064]其中，max(x)为样本数据的最大值，min(x)为样本数据的最小值，xi为样本中第i个数据，yi为归一化后的第i个数据。[0065]本实施例参考dl/t 1685-2017油浸式变压器状态评价导则将变压器状态分为如下4个等级：正常、注意、异常和严重，如表1所示：[0066]表1评价等级与相对劣化度对应关系及其状态描述[0067][0068]步骤3：将多模态矩阵按比例划分为训练集和验证集；[0069]将多模态矩阵数据集划分为两部分，其中，80％作为训练集对多模态神经网络进行训练，20％作为测试集验证多模态神经网络对健康状态的分类效果。[0070]步骤4：构建基于一维卷积神经网络和深度残差神经网络的多模态神经网络，输入训练集和验证集进行网络训练；[0071]步骤4中深度残差网络的构建方法为：首先构建一个残差模块，其中残差层由10个残差模块构成，如图3所示，残差模块包括归一化层、全局平均池化层、激励层、阈值层和残差相加层；然后构建一维卷积神经网络，如图2所示；最后，利用稀疏注意力机制对特征进行重要信息提取，其门激活函数为σ，本发明激活函数选择为‘sigmoid’，状态激活函数为‘tanh’，如图4所示。[0072]其中，步骤4具体可以通过以下方式实现：[0073]步骤4.1：构建一维卷积神经网络和深度残差神经网络的多模态神经网络，其中，深度残差神经网络由输入层、残差模块、softmax层、分类输出层组成；一维卷积神经网络由卷积层、全局平均池化层和激活函数层组成；[0074]其中，深度残差神经网络由多个残差模块组成，残差模块的组成如下：[0075]第一层为归一化层，运用正则化方法对数据进行归一化，该层的数据维度为m×n×l；正则化公式如下：[0076][0077]其中，μb是数据的均值，是数据的方差，xi是输入的数据，是输出数据，ε是一个参数，m,n,l分别表示输入数据的尺寸。[0078]在正则化公式中，数据均值的计算公式如下：[0079][0080]在正则化公式中，数据的方差计算公式如下：[0081][0082]其中，m表示输入样本的总个数。[0083]在归一化层中，计算所有数据的正则化后，对数据进行变化，使深度残差网络可以学习正则化的规律，其公式如下：[0084]yi＝γxi+βꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ(8)[0085]其中，γ和β是深度残差神经网络学习的参数；[0086]第二层为全局平均池化层，实现对传输中的数据降维，减少深度残差网络的训练参数，该层的数据维度为m×n×l，计算公式如下：[0087][0088]其中，u(i,j)是输入数据，m和n是数据的维度，zl是输出数据；[0089]第三层是激励层，目的是捕获通道之间的依赖关系，该层的数据维度为m×n×(l/n)，计算公式如下：[0090]sl＝σ(w2δ(w1z))ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ(10)[0091]其中，δ是relu激活函数，σ表示sigmoid激活层，z∈rl，b表示需要压缩的倍数。[0092]第四层为激活层，该层的数据维度为m×n×(l/n)，其公式如下：[0093]xl＝fscale(ul,sl)＝slulꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ(11)[0094]其中，x＝[x1,x2,...,xl]，fscale(ul,sl)计算sl和输入数据的乘积，ul表示输入数据，xl表示输出数据；[0095]第五层为激励层，该层的数据维度为m×n×l；[0096]第六层为激活函数层，用‘sigmoid’作为激活函数，该层的数据维度为m×n×l；[0097]第七层为阈值层，通过如下公式进行计算α，然后乘以第一层输出的数据；[0098][0099]其中，z是由第六层输出的数据；[0100]第八层为残差相加层，将第七层输出的数据与第一层输入的数据相加。[0101]步骤4.2：一维卷积神经网络的组成如下：[0102]第一层为卷积层，其数学表达式为：[0103]y＝a·xꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ(13)[0104]其中，a∈rn×chw,x∈rchw×1，y∈rn×1，n表示输出数据的矩阵维度，chw表示输入数据的矩阵维度。[0105]第二层为全局平局池化层，第三层为卷积层，第四层为全局平均池化层，第五层为激活函数层。[0106]步骤4.3：构建稀疏注意力机制对特征进行提取，注意机制将查询和一组键值映射到输出，输出矩阵可计算为：[0107][0108]其中，是一个与q大小相同的稀疏矩阵，它包含在稀疏度量下的最高测量矩阵m(q,k)，q和k是计算权值系数的矩阵，v是对权重系数求和的矩阵，d表示输入数据的维度。[0109]其中，步骤4.3使用kl发散度来度量查询稀疏性，第i个查询的稀疏性评估公式为：[0110][0111]其中，第一项是所有键的log-sum-exp(lse)，第二项是它们的算术平均值，qi,kj分别表示矩阵q,k中的数据，lk表示矩阵k的长度。[0112]然后，计算并归一化注意权重ai如下：[0113][0114]其中，k(qi,kj)选择非对称指数核a(q,k,v)，l表示从1到lk的数，vj表示矩阵v中的数据。[0115]最后，注意层使用注意权值输出向量ai。[0116][0117]其中，是输入矩阵。[0118]其中，步骤4中利用输入训练集和验证集对构建好的多模态神经网络进行训练。[0119]其中，神经网络的具体训练过程是：使用交叉熵作为误差函数，使用adam优化算法更新多模态神经网络的权值；在使用adam优化算法更新多模态神经网络权值的过程中，若在连续的设定步数范围内均值小于设定的阈值，则停止对多模态神经网络的训练并保存最后一步计算出的深度残差神经网络的权值；[0120]其中，在训练过程中使用的交叉熵函数公式如下：[0121][0122]其中，tj是属于第j类的观测结果的实际概率，nclass是分类结果的总数，yi表示多模态神经网络输出的结果；[0123]在训练过程中adam优化算法的公式如下：[0124][0125][0126][0127][0128]mn＝β1mn-1+(1-β1)gnꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ(23)[0129]其中，β1和β2是两个超参数，ε是辅助常量防止更新崩溃，gn是误差函数的梯度，是gn的第二动量。[0130]网络的超参数设置如表2所示。然后根据实施方式的步骤4进行多模态神经网络的训练和验证，从而获得健康状态评估模型。[0131]表2深度残差网络超参数设置[0132][0133][0134]为了简洁，利用下式计算准确率。实际应用中还可以综合考虑softmax层的输出结果，每一组数据对应每个变压器状态标签的概率，不仅选取最大概率所对应的类型作为诊断结果，当softmax中第二大概率值与最大概率值无显著性区别时，可综合考虑这两种诊断结果。[0135][0136]其中，tp是指正类预测为正类数，fp是指负类预测为正类数，fn是正类预测为负类数。[0137]步骤5：结合实际测试数据进行健康状态评估和神经网络的微调。输入监测得到的变压器数据集进行健康评估。最终的诊断准确率为95.4511％。[0138]步骤5中结合实际测试数据进行健康状态评估和网络参数微调的方法为：对于实时采集的多模态数据，按照步骤2对数据进行数据清洗和数据归一化，然后按照步骤3将数据进行分割为训练集和验证集，对多模态神经网络进行训练，最后按照步骤5的验证集进行健康状态评估，若需要增加新的数据类别或相关影响因素，利用原多模态神经网络作为预训练模型，激活所有层进行训练。[0139]本发明通过采集各变电站中的变压器的油中气体和红外图像；对采集到的监测信息进行数据清洗和数据归一化处理，得到多模态矩阵；将多模态矩阵按比例划分为训练集和验证集；构建基于一维卷积神经网络和深度残差神经网络的多模态神经网络，输入训练集和验证集进行网络训练；利用实时采集的数据经过滤波后得到可训练的数据，进行健康状态评估和网络参数的更新。本发明考虑电力变压器数据存在多源异构的问题，而且多模态的健康评估精度较差，利用一维卷积神经网络从油中气体数据中提取文本特征，深度残差神经网络从红外图像中提取图像特征，最终由稀疏注意力机制从文本特征和图像特征中获得电力变压器统一表征，并得到变压器的健康状态。该神经网络具有准确的评估性能和稳定的鲁棒性。[0140]需要指出，根据实施的需要，可将本技术中描述的各个步骤/部件拆分为更多步骤/部件，也可将两个或多个步骤/部件或者步骤/部件的部分操作组合成新的步骤/部件，以实现本发明的目的。[0141]本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
