摘要
针对燃气调压器故障识别中不平衡数据影响模型识别能力的问题,提出一种一维卷积神经网络(one‑dimensional convolutional neural network,简称1D‑CNN)与注意力机制(squeeze‑and‑excitation,简称SE)相结合的改进深度卷积神经网络(SE‑1DCNN)方法。首先,使用一维卷积核提取故障特征;其次,在交替的卷积层后添加SE模块用于通道加权,选择性地保留所需的重要信息特征,并抑制弱相关的特征;最后,使用类平衡损失函数代替交叉熵损失函数来抵消不平衡分布给网络造成的影响。实验结果表明,根据真实环境中采集的不平衡故障数据,所提改进模型与其他故障识别模型相比有更好的故障识别能力,准确率高达98.17%。
调压器是天然气输配过程中降压、稳压的设备,其运行状况直接影响着燃气输配系统的安全。当前,对调压器的故障诊断多以定时检查为主,导致运行维护困难。随着物联网技术的发展,大量的调压站被改造成为数字调压站,调度中心能采集到调压器运行参数的各种时序数据,用于监测调压器的健康程度,这为实现调压器故障智能诊断提供了数据基础。文献[
随着物联网技术的发展,各种传感器装设在重要机械设备中以监测其运行状态,由此获得了蕴含丰富信息的时序数据,这些数据为基于深度神经网络实现数据驱动的机械智能故障诊断打下了基础。深度学习技术在特征提取和适应性学习方面显示出强大的能
在基于深度学习理论的调压器故障识别方面,文献[
针对以上问题,笔者提出一种结合注意力机制的改进一维卷积神经网络的调压器故障识别方法,并采用真实环境中健康状况不同的调压器出口压力数据。此模型为了最大程度地保留出口压力信号的时序特征,首先,采用一维卷积神经网络进行特征提取;其次,在卷积层之后加入SE模块,自适应地重新校准通道特征响应,选择性地强调重要信息特征,并抑制弱相关的特征;最后,使用类平衡损失函数代替交叉熵损失函数以消除数据不平衡对模型造成的影响。通过以上措施,提高了数据不平衡分布下模型对燃气调压器故障识别的准确率。
CNN是一种多级前馈神经网络,通常由卷积层、池化层和全连接层构成。卷积层的功能是对输入数据进行特征提取,然后将结果传递到非线性激活函数中产生下一层的特征图。卷积神经网络从k-1层到k层的前向传播可以表示为
(1) |
其中:为k层卷积的输出值;为所选取的特征图;为k-1的输出值;为k层的权值;为 k层的偏置值;f为激活函数。
f用来对卷积计算的输出值实现非线性变换,得到输入的非线性表示,从而提高网络的特征学习能力。因为ReLU函数只存在线性关系,其计算速度比sigmoid函数和tanh函数更快,并且当输入为正时不存在梯度饱和问题,所以目前的CNN结构中常用ReLU为激活函数,其公式为
(2) |
池化层的作用是进行空间合并,在保持最重要信息的同时降低特征图的维度,以减少网络中的参数和计算量,同时也抑制过拟合且起到二次提取特征的作用。本研究采用最大池化方法,因为在一维时序任务中最大池化的性能要好于平均池
(3) |
其中:为经过池化后第l+1层的第i个特征图中的元素;为第j个池化区域;为第l层第i个特征图在池化核范围内的元素。
全连接层的作用是将提取到的特征结合在一起进行非线性激活,输出各分类的概率分布再进行分类,其表达式为
(4) |
其中:为神经元经过softmax的概率输出,即输出层第j个神经元的输出值;m为目标分类的数量,即燃气调压器故障类型的数量。
Squeeze‑and‑Excitation模块是一个计算单元,设为传统的卷积结构,X和U分别为的输入和输出,V=[,]表示学习到的一组卷积核,为第C个卷积核的参数。可以将的输出写成U=[],其中
(5) |
其中:*表示卷积;为的一个单通道,作用于对应通道X。
因为输出是由所有通道的和产生的,所以通道依赖性被隐式地嵌入到中,但这些依赖性与卷积操作捕获的空间相关性混合在一起,而SE模块就是为了抽离这种混杂,使得模型直接学习到通道特征关系,其目的是在进入下一层卷积操作之前,通过Squeeze和Excitation操作为各个通道赋予不同的权重。SE模块结构如

图1 SE模块结构
Fig.1 Squeeze‑and‑excitation module
卷积操作只是提取了局部空间的特征,但无法获得通道之间的相关信息。针对此问题,提出挤压操作,采用全局平均池化将一个通道上整个空间特征编码为一个全局特征;也可以采用更复杂的策略,但此时更加强调整体的信息。Fsq(.)为求平均值的策略,由于本研究处理的为一维时序信号,所以Fsq(.)的公式为
(6) |
其中:为卷积之后得到的多个特征图U的第C个特征图的第i个元素;zc为整个特征向量的元素相加取平均。
传统分类任务所采用的数据集一般是由人工构建各类别样本数量相等的均衡数据集,然而从实际中采集的数据集往往服从长尾分布。数据集的不平衡会导致网络在提取拥有大量样本的正常状态特征时过拟合,而尾部故障种类的样本量不足以支撑网络学习比较鲁棒的泛化特征,从而降低分类精度。
针对此问题,目前常用的方法是重采
为解决不平衡数据分类问题,文献[
(9) |
(10) |
其中:为第j类故障样本数量;为第j类故障样本的有效样本数。
为了平衡第j类故障的损失,引入一个反比因子 ,因此类平衡损失函数可以表示为
(11) |
其中:为y类的样本数量;L(p,y)为常用的损失函数。
笔者将损失函数softmax cross‑entropy loss与CBLoss相结合(即)作为损失函数解决不平衡数据问题。对于标签y类且每类有个训练样本的任务,计算公式为
(12) |
燃气调压器调压设备的老化和损耗都是随着运行时间逐渐演化的过程,因此通过压力传感器采集到的原始调压器出口压力信号一般为一维时间序列数据。文献[
通过研究燃气调压器的运行机制与结构参数,并结合其出口压力数据可知,故障类型的判别多以超出稳压精度范围的波段形态为主要判别指标,其他波段虽有影响但作用较少。因此,在卷积操作之后加入SE结构,为各个通道进入下一层卷积之前赋予不同的权重系数。在此识别过程中更加重视提取超出稳压精度范围的特征信息,并抑制对判别影响较小的稳压精度范围之内的特征信息。同时,在交替的卷积层后加入批量规范
使用损失函数代替交叉熵损失函数,利用各类的有效样本量来对损失函数重加权,加权的损失函数可抵消数据不平衡分布给网络造成的影响。
笔者提出的基于SE‑1DCNN的故障识别方法网络结构如

图2 基于SE‑1DCNN的故障识别方法网络结构
Fig.2 Network structure of fault identification method based on SE‑1DCNN
层数 | 类型 | 激活函数 | 输出尺寸 | 卷积核大小 | 过滤器数量 | 步长 | 可训练参数数量 |
---|---|---|---|---|---|---|---|
0 | Input | — | 288×1 | — | — | — | — |
1 | 1D conv Without bias | ReLu | 305×1 | 18×1 | 64 | 1 | 1 152 |
2 | Max‑pooling | — | 152×64 | 2×1 | 64 | 2 | 0 |
3 | 1D conv Without bias | ReLu | 160×32 | 9×1 | 32 | 1 | 288 |
4 | SE | Sigmoid | 160×32 | — | — | — | — |
5 | Max‑pooling | — | 80×32 | 2×1 | 32 | 2 | 0 |
6 | 1D conv | ReLu | 84×4 | 5×1 | 4 | 1 | 20 |
7 | SE | Sigmoid | 84×4 | — | — | — | — |
8 | Max‑pooling | — | 32×4 | 2×1 | 4 | 2 | 0 |
9 | Dense | ReLu | 20 | — | — | — | 2 580 |
10 | Dense | Softmax | 5 | — | — | — | 105 |
本研究实验软件环境为python3.8+tensorflow2.0+ PyCharm,硬件环境为Intel Core i5‑9300H CPU @2.40GHz + NVIDIA GeForce GTX 1650。
本实验数据为上海某燃气公司从现场采集的燃气调压器出口压力数据,包含用气低峰出口压力高、用气高峰出口压力低、关闭压力高、内漏和正常共5种运行状态。该采集系统每隔5 min采集1次调压器的出口压力,将预处理后的调压器出口压力数据分割成时间长度为24 h的样本(即每组样本288个数据点)。将收集到的故障样本按照一定的比例建立平衡(数据集A)、不平衡训练集(数据集B)、平衡测试集(数据集D)、不平衡测试集(数据集C)。状态标签及各数据集样本数如
状态标签 | 训练集样本数 | 测试集样本数 | ||
---|---|---|---|---|
数据集A | 数据集B | 数据集C | 数据集D | |
正常 | 300 | 500 | 180 | 100 |
用气高峰出口压力低 | 300 | 50 | 120 | 100 |
用气低峰出口压力高 | 300 | 50 | 120 | 100 |
关闭压力高 | 300 | 50 | 120 | 100 |
内漏 | 300 | 50 | 120 | 100 |
燃气调压器出口压力是衡量其运行状况的核心指标。在正常运行时,出口压力应该在设定压力为基准的稳压精度上、下限压力范围内波动,因此在判断故障类型时,主要以超出稳压精度压力上、下限的波段形态为依据,来区分故障类型,实现各种故障的标签化,构建实验所需数据集。燃气调压器常见故障类型如





图3 燃气调压器常见故障类型
Fig.3 Common fault types of gas regulators
由
挤压和激励操作可以看成赋予各个通道不同的权重系数,从而使得模型重视所需的重要特征而忽略不相关的特征。实验过程中随着CNN网络层数的加深,最终分类的效果不增反降,甚至在训练集上的准确率也停滞不前。对于燃气体调压器,基本可从超出设定压力基准的稳压精度上、下限数据就能判断调压器是否有故障。文献[
为了验证SE模块提升SE‑1DCNN分类能力的有效性,笔者对添加和未添加SE模块的SE‑1DCNN在不平衡数据上进行了实验。SE模块对分类的影响如

图4 SE模块对分类的影响
Fig.4 The impact of SE modules on classification
CBLoss损失函数在图像分类中能够提升网络对于不平衡数据集的分类性能,为了验证其在处理一维时序出口压力信号中的有效性,笔者将使用损失函数的SE‑1DCNN与使用交叉熵函数的SE‑1DCNN在数据集B上进行测试,其诊断结果对比如


图5 交叉熵函数与函数诊断结果对比
Fig.5 Comparison of cross entropy function and function diagnosis results
由
为验证本方法在故障识别精度上的优势,选用相同的不平衡数据集使用不同的算法模型进行了5组对比实验,每次模型运行10次,迭代次数均为80次。对比实验结果如
实验序号 | 模型名称 | 训练集平均准确率/% | 测试集平均准确率/% | 平均训练时间/s |
---|---|---|---|---|
1 | SE‑1DCNN | 98.63 | 98.17 | 50.68 |
2 | 1‑MsCNN‑SVM | 95.72 | 95.51 | 70.92 |
3 | 1DCNN | 88.32 | 88.13 | 45.32 |
4 | 2DCNN | 85.57 | 85.39 | 27.41 |
5 | SE‑2DCNN | 87.64 | 87.45 | 34.53 |
对比实验1和实验2可以发现,在真实环境采集到的不平衡故障数据集上,SE‑1DCNN模型在精度和训练速度方面都有更好的表现,通过加入SE模块,对现有卷积核提取出的特征图赋予权重,用来区分不同波段的重要程度,比单纯增加卷积核重复提取特征信息更加有效。对比实验3和实验4可以看出,一维卷积网络在处理一维燃气调压器出口压力信号方面比二维卷积网络更具优势。对比实验1和实验5可以发现,相对于二维卷积网络,改进后的一维卷积网络结构保留下更多的时间序列特征,从而提高了模型的识别精度。
不同模型识别准确率和损失值对比分别如图

图6 不同模型识别准确率对比
Fig.6 Comparison of recognition accuracy of different models

图7 不同模型损失值对比
Fig.7 Comparison of loss values of different models
针对数据的不平衡分布对网络识别能力的影响,提出了改进的SE‑1DCNN的深度学习算法,并用于燃气调压器的智能化故障识别。所提方法改进了传统CNN模型的结构,引入注意力机制赋予通道权重,并在交替的卷积层后加入BN层,使用类平衡损失函数替换交叉熵函数。实验结果表明:SE模块可以更高效地提取出最关键的特征信息,同时忽略弱相关特征,提升了模型的识别能力;类平衡损失函数可以消除样本分布差异,提高模型对较少样本类的识别能力;与其他模型相比,所提SE‑1DCNN模型可以明显提高在不平衡数据下的故障识别能力。然而,所提模型仍需要人工构建一定量的居民用户故障样本数据集进行训练,还不能完全适应实际中其他类型用户(如工业、商业等)燃气调压器故障诊断模式。
参考文献
安允, 王亚慧, 章富城. 基于概率神经网络的燃气调压器故障诊断模型[J]. 现代电子技术, 2019, 42(17): 109‑113. [百度学术]
AN Yun, WANG Yahui, ZHANG Fucheng. Gas pressure regulator fault diagnosis model based on probabilistic neural network[J]. Modern Electronics Technique, 2019, 42(17): 109‑113.(in Chinese) [百度学术]
郭裕祺, 朱大令, 何心. 基于自编码器的调压器在线故障诊断方法[J]. 煤气与热力, 2020, 40(1): 20‑23, 45. [百度学术]
GUO Yuqi, ZHU Daling, HE Xin. On‑line fault diagnosis method of voltage regulator based on autoencoder[J]. Gas & Heat, 2020, 40(1): 20‑23, 45.(in Chinese) [百度学术]
TIAN S, BIAN X Y, TANG Z P, et al. Fault diagnosis of gas pressure regulators based on CEEMDAN and feature clustering[J]. IEEE Access, 2019, 7: 132492‑132502. [百度学术]
王莹, 王亚慧, 安允. 基于PSO‑KPCA‑LVQ的燃气调压器故障诊断[J]. 现代电子技术, 2020, 43(24): 67‑71. [百度学术]
WANG Ying, WANG Yahui, AN Yun. Gas pressure regulator fault diagnosis of based on PSO‑KPCA‑LVQ[J]. Modern Electronics Technique, 2020, 43(24): 67‑71.(in Chinese) [百度学术]
HINTON G E, SALAKHUTDINOV R R. Reducing the dimensionality of data with neural networks[J]. Science, 2006, 313(5786): 504‑507. [百度学术]
HINTON G, DENG L, YU D, et al. Deep neural networks for acoustic modeling in speech recognition: the shared views of four research groups[J]. IEEE Signal Processing Magazine, 2012, 29(6): 82‑97. [百度学术]
KRIZHEVSKY A, SUTSKEVER I, HINTON G E. ImageNet classification with deep convolutional neural networks[C]∥Proceedings of the 25th International Conference on Neural Information Processing Systems-Volume 1. NY, USA: Curran Associates Inc., 2012: 1097‑1105. [百度学术]
杜小磊, 陈志刚, 张楠, 等. 基于同步挤压S变换和深度学习的轴承故障诊断[J]. 组合机床与自动化加工技术, 2019(5): 90‑93, 97. [百度学术]
DU Xiaolei, CHEN Zhigang, ZHANG Nan, et al. Faults diagnosis of bearings based on synchrosqueezed S transform and deep learning[J]. Modular Machine Tool & Automatic Manufacturing Technique, 2019(5): 90‑93, 97.(in Chinese) [百度学术]
盛永健, 黄子龙, 刘晨, 等. 基于改进卷积神经网络的燃气调压器故障识别研究[J]. 现代制造工程, 2021(4): 132‑138. [百度学术]
SHENG Yongjian, HUANG Zilong, LIU Chen, et al. Research on fault identification of gas pressure regulator based on improved convolutional neural network[J]. Modern Manufacturing Engineering, 2021(4): 132‑138.(in Chinese) [百度学术]
LESSMEIER C, KIMOTHO J K, ZIMMER D, et al. Condition monitoring of bearing damage in electromechanical drive systems by using motor current signals of electric motors: a benchmark data set for data‑driven classification[C]∥European Conference of the Prognostics and Health Management Society. Bilbao, Spain: Prognostics and Health Management Society, 2016: 1‑17. [百度学术]
JIA F, LEI Y G, LU N, et al. Deep normalized convolutional neural network for imbalanced fault classification of machinery and its understanding via visualization[J]. Mechanical Systems and Signal Processing, 2018, 110: 349‑367. [百度学术]
KANG B, XIE S, ROHRBACH M, et al. Decoupling representation and classifier for long‑tailed recognition[DB/OL]. (2019‑02‑19) [2022‑01‑20]. https:∥arxiv.org/abs/1910.09217. [百度学术]
CAO K D, WEI C, GAIDON A, et al. Learning imbalanced datasets with label‑distribution‑aware margin loss[C]∥Proceedings of the 33rd International Conference on Neural Information Processing System. NY, USA: Curran Associates Inc, 2019: 1567 ‑1578. [百度学术]
陈志, 郭武. 不平衡训练数据下的基于深度学习的文本分类[J]. 小型微型计算机系统, 2020, 41(1): 1‑5. [百度学术]
CHEN Zhi, GUO Wu. Text classification based on depth learning on unbalanced data[J]. Journal of Chinese Computer Systems, 2020, 41(1): 1‑5.(in Chinese) [百度学术]
张立强, 李洋, 侯正阳, 等. 深度学习与遥感数据分析[J]. 武汉大学学报(信息科学版), 2020, 45(12): 1857‑1864. [百度学术]
ZHANG Liqiang, LI Yang, HOU Zhengyang, et al. Deep learning and remote sensing data analysis[J]. Journal of Wuhan University (Information Science Edition), 2020, 45(12): 1857‑1864.(in Chinese) [百度学术]
CUI Y, JIA M L, LIN T Y, et al. Class‑balanced loss based on effective number of samples[C]∥2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Long Beach, CA, USA: IEEE, 2019: 9260‑9269. [百度学术]
赵小强, 张亚洲. 改进CNN的滚动轴承变工况故障诊断[J]. 西安交通大学学报, 2021(12): 1‑11. [百度学术]
ZHAO Xiaoqiang, ZHANG Yazhou. Improved CNN based fault diagnosis of rolling bearings under variable working conditions[J]. Journal of Xi'an Jiaotong University, 2021(12): 1‑11.(in Chinese) [百度学术]
IOFFE S, SZEGEDY C. Batch normalization: accelerating deep network training by reducing internal covariate shift[DB/OL]. (2015‑03‑02) [2021‑11‑12]. https:∥arxiv.org/abs/1502.03167. [百度学术]
BJORCK J, GOMES C, SELMAN B. Unders-tanding batch normalization[DB/OL]. (2018‑11‑30) [2022‑02‑22]. https:∥arxiv.org/abs/1806.02375. [百度学术]
HU J, Li S, SUN G. Squeeze‑and‑excitation networks[C]∥IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, UT, USA: IEEE, 2018: 7132‑7141. [百度学术]