摘要
针对短时间主动热激励作用下煤岩介质表征差异不明显,不易快速、准确识别煤岩界面的难题,提出一种基于改进金字塔场景解析网络(pyramid scene parsing network,简称PSPnet)模型‑MobileNetV2的煤岩界面快速精准识别方法。通过搭建煤岩主动红外试验平台,采集并获取短时主动热激励作用下的煤岩界面红外热图像,构建了煤岩红外图像数据集;对传统PSPnet模型进行改进,采用轻量级网络模型MobileNetV2作为主干网络提取特征,大幅降低了网络模型所占内存和训练时间,同时将注意力机制模块(convolutional block attention module,简称CBAM)与金字塔场景解析(pyramid scene parsing, 简称PSP)模块的上采样特征层和PSPnet网络模型的浅层特征层进行融合,有效提升模型对特征的细化能力。试验结果表明:基于改进的PSPnet‑MobileNetV2网络模型所占内存仅为9.12 MB,较原始PSPnet模型减少了94.88%;煤和岩的交并比为96.52%和96.87%,分别提升了8.29%和7.7%;像素准确度分别为97.25%和99.15%,较原始网络模型分别提升了7.32%和1.64%;测试时间降低了53.70%。该方法为煤岩界面的快速和预先精准识别提供了一种有效技术手段。
实现煤炭绿色智能化高效开采是国家煤炭科技的重要发展目标。随着开采强度的增加,煤炭开采已逐渐向深部和复杂地质构造地区转移,导致综采工作面开采环境及截割工况日益趋于复杂。采煤机一旦截割到硬岩,会降低采煤机的截割效率和开采进度,截割硬岩过程中产生的剧烈振动和冲击还会严重影响采煤机整机的稳定
现有的煤岩界面识别研究中,基于采煤机的滚筒振
为了测试和采集短时间热激励作用下煤岩试件的主动激励红外图像,同时考虑激励距离、激励强度对煤岩界面识别结果的影响,搭建如

图1 煤岩界面主动激励红外图像测试平台
Fig.1 Test platform for active excitation infrared image acquisition of coal rock interface
为了测试采集不同工况下的煤岩体主动红外图像,采用煤、沙子、水泥和粘合剂制备的煤岩体试件如

图2 制备的煤岩体试件
Fig.2 Preparation of coal‑rock specimens
由于过长的激励时间是制约工作效率的关键因素,故试验时间选取4,5,6,7和8 s。由于不同矿区的通道宽度不等,将激励距离划分为1.5,1.75,2,2.25和2.5 m。不同矿区煤岩介质温升速率差异大,在相同激励时间和激励距离条件下,需要采用不同的激励强度。煤矿井下瓦斯浓度高,温度过高时易造成瓦斯爆炸,在能判别煤岩界面分布的情况下,需尽可能降低激励强度。当激励距离较远时,需增大激励强度,选取200,400,600,800和1 000 W 5种状态。为了采集足够的图像数据并提高网络模型对不同工况下的识别能力,分别对激励时间、激励强度和激励距离进行测试。测试因素如
激励强度/W | 激励时间/s | 激励距离/m |
---|---|---|
200 | 4 | 1.50 |
400 | 5 | 1.75 |
600 | 6 | 2.00 |
800 | 7 | 2.25 |
1 000 | 8 | 2.50 |
通过搭建好的试验平台分别对2块煤岩试件进行组合测试,获取相应条件下的红外热图像。为保证试验数据的可靠性,每次测试后进行冷却处理至初始状态。所采集的短时间激励作用下煤岩界面红外图像如

图3 短时间激励作用下煤岩界面红外图像
Fig.3 Infrared image of coal‑rock interface under short‑time excitation
随着激励距离的增加,当激励时间过短时,需要通过增大激励强度才能使得煤岩试件红外表征具有判别性。通过对2块煤岩试件进行试验,共获取600张短时间激励下的红外热图像,图像的最大尺寸为853 mm×460 mm。
通过数据增强方法增加样本数据量,提升网络模型训练效果和泛化能力。对获取的图像进行镜像、随机旋转、添加噪声以及改变亮度等操作得到足够的样本。设定图像变亮为原图的1.2倍,图像变暗为原图的0.9倍,椒盐噪声信噪比为0.1,高斯噪声中高斯函数的标准差为1.5。随机选取一张图像样本进行数据增强,增强后共获得3 900张样本。数据增强图像如

图4 数据增强图像
Fig.4 Data enhancement
采用Labelme工具对所有煤岩界面红外热图像进行手工标注,得到样本标签图,将数据集保存为PASCAL VOC2007数据集文件夹格式,并将所有样本数据按照8∶1∶1划分为训练集、验证集和测试集。
PSPnet的主要特点是采用PSP模块,通过全局池化层得到不同尺度的特征层,经过特征融合得到判别的多尺度特征。对于输入图像,首先调整图像大小为473×473,经过主干特征提取得到一个特征图,随后将初始特征分为2个部分,一部分传入PSP模块中,使用大小不同的池化盒对输入的特征层进行平均池化,不同池化盒的功能是将特征层分成不同区域,分别为1×1,2×2,3×3,6×6区域,将得到的4个平均池化后的结果进行上采样,与初始特征的另一部分特征进行特征融合完成特征提取。
网络模型PSPnet‑MobileNetV2是根据采集的红外热图像煤岩区分度低和边界模糊等特点,在语义分割网络模型PSPnet结构的基础上进行改进,适用于煤矿井下短时间激励作用下的煤岩界面红外热图像的快速准确识别。
PSPnet‑MobileNetV2网络模型基于PSPnet进行了改进:①采用MobileNetV2网络模型作为主干网络,加速模型收敛,提高识别精度;②采用CBAM提升PSPnet对特征的细化能力。改进的PSPnet网络模型如

图5 改进的PSPnet网络模型
Fig.5 Improved PSPnet network model
主干网络主要负责特征提取,主干网络模型的选择对语义分割结果至关重要。研究表明,采用深层次的网络结构可以获得更丰富的语义特征,具有更好的识别效果和识别精度。ResNet是一种残差神经网络,用于在训练深度卷积网络时解决梯度消失问题,而视觉几何图形组(visual geometry group, 简称VGG)是完全基于深度卷积层的卷积神经网络架构。PSPnet通常采用ResNet或VGG作为特征提取的骨干网络。但是,基于ResNet或VGG的网络模型具有很高的复杂性和大量计算。2017年,Google发布的MobileNetV1用深度可分离卷积取代了VGG中的标准卷积层,该方法在保证准确性的同时,有效减少了计算量、参数量和训练时间,但在对MobileNetV1进行实际训练后,在执行低维ReLU操作时可能会发生信息丢失。与MobileNetV1相比,MobileNetV2有显著改进:①MobileNetV2移除了ReLU的最后一层,保留了特征的多样性,增强了网络模型的表达能力;②引入残差结构,增强梯度的传播。MobileNetV2网络模型结构如

图6 MobileNetV2网络模型结构
Fig.6 Structure of MobileNetV2 network model
为了提高短时间激励作用下煤岩界面红外热图像的识别精度,采用MobileNetV2作为PSPnet的骨干特征提取网络。下采样方法为16倍,可降低模型的复杂性和参数,有效提高网络模型的训练速度。
PSPnet网络模型可以提高图像的分割质量,然而对于一些煤岩的红外热图像,在解析过程中会丢失细节,导致模糊的边界分割。为了获得有效、准确的煤岩界面语义分割网络模型,在PSP模块的上采样操作和骨干网络中提取低维特征之后,增加了CBAM。该模块可以在现有网络模型中即插即用,在有效提高网络模型特征提取能力的同时,不会显著增加计算参数和计算量。

图7 CBAM结构图
Fig.7 Structure of CBAM
由于注意力机制模块的权重是随机初始化的,如果将其添加到主干部分,其权重将被破坏,这对提取初始特征有显著影响,导致网络模型的预测效果较差。本研究在加强特征提取部分增加了注意力机制,因此初始特征不会被破坏,网络的预测效果得到保证。如
软硬件试验环境如
配件 | 型号 |
---|---|
中央处理器 | Intel(R) Core(TM) i9‑11900K |
内存 | 64GB |
图形处理单元 | NVIDIA GeForce RTX 3060 |
显存 | 12G |
操作系统 | Window 10 |
开发工具 | Pytorch 1.7,Cuda 11.0,Python 3.7 |
笔者提出的PSPnet‑MobileNetV2网络模型在Adam优化器下进行训练,批处理大小为32,动量因子为0.94,迭代次数为100,最初学习率设为0.001,在50次迭代时衰减为0.000 1,损失函数为交叉熵损失函数。改进的PSPnet网络模型训练曲线如

图8 改进的PSPnet网络模型训练曲线
Fig.8 Training curves of improved PSPnet network model
由于采集图像较多,在测试集中随机选取10组煤岩界面红外图像,分别在改进的PSPnet‑MobileNetV2网络模型、U‑net网络模型、DeeplabV3+网络模型、PSPnet网络模型和TransUnet网络模型上进行语义分割。随机试验识别结果如
原图 | PSPnet‑MobileNetV2 | U‑net | DeeplabV3+ | PSPnet | TransUnet |
---|---|---|---|---|---|
![]() |
![]() |
![]() |
![]() |
![]() |
![]() |
![]() |
![]() |
![]() |
![]() |
![]() |
![]() |
![]() |
![]() |
![]() |
![]() |
![]() |
![]() |
![]() |
![]() |
![]() |
![]() |
![]() |
![]() |
![]() |
![]() |
![]() |
![]() |
![]() |
![]() |
![]() |
![]() |
![]() |
![]() |
![]() |
![]() |
![]() |
![]() |
![]() |
![]() |
![]() |
![]() |
![]() |
![]() |
![]() |
![]() |
![]() |
![]() |
![]() |
![]() |
![]() |
![]() |
![]() |
![]() |
![]() |
![]() |
![]() |
![]() |
![]() |
![]() |
从
为了验证改进的PSPnet‑MobileNetV2网络模型在短时间激励作用下煤岩界面红外热图像的识别精度,分别对改进的PSPnet‑MobileNetV2网络模型、U‑net网络模型、DeeplabV3+网络模型、PSPnet网络模型和TransUnet网络模型进行识别和分割。不同模型测试时间及所占内存如
网络模型 | 每张测试时间/ms | 所占内存/M |
---|---|---|
PSPnet‑MobileNetV2 | 90.99 | 9.12 |
U‑net | 182.97 | 94.96 |
DeeplabV3+ | 99.83 | 22.19 |
PSPnet | 196.53 | 178.21 |
TransUnet | 159.56 | 401.00 |
由
语义分割网络模型大多选用交并比(intersection over union,简称IoU)和像素准确度(pixel accuracy, 简称PA)作为评价指标。
交并比IoU是指网络模型对识别分割中一个类别预测结果和真实值的交集与并集的比值,其计算公式为
(1) |
其中:TP表示一个样本被预测为正样本,且真实标签为正样本;FP表示一个样本被预测为正样本,但真实标签为负样本;FN表示一个样本被预测为负样本,但真实标签为正样本;TN表示一个样本被预测为负样本,且真实标签为负样本。
像素准确度PA是指网络模型预测在类别内像素正确分类的像素数占总像素数的概率,其计算公式为
(2) |
采用IoU和PA对各个网络模型进行评估,
网络模型 | 主干网络 | IoU/% | |
---|---|---|---|
煤 | 岩 | ||
PSPnet+CBAM | MobileNetV2 | 96.52 | 96.87 |
U‑net | Vgg16 | 52.13 | 68.16 |
DeeplabV3+ | MobileNetV2 | 46.69 | 64.90 |
PSPnet | Resnet50 | 88.23 | 89.70 |
TransUnet | Resnet50 | 87.10 | 90.61 |
网络模型 | 主干网络 | PA/% | |
---|---|---|---|
煤 | 岩 | ||
PSPnet+CBAM | MobileNetV2 | 97.25 | 99.15 |
U‑net | Vgg16 | 53.31 | 97.92 |
DeeplabV3+ | MobileNetV2 | 48.70 | 95.90 |
PSPnet | Resnet50 | 89.93 | 97.51 |
TransUnet | Resnet50 | 92.37 | 97.29 |
通过
通过
综上所述,改进的PSPnet‑MobileNetV2网络模型与其他网络模型相比,训练时间大幅度缩短,测试时间、所占内存、交并比和像素准确度等均显著提升。
采用PSPnet‑MobileNetV2作为基本网络,在加强特征提取部分加入CBAM对网络模型进行训练,融合CBAM的测试结果如
网络模型 | 主干网络 | IoU | PA | ||
---|---|---|---|---|---|
煤 | 岩 | 煤 | 岩 | ||
PSPnet | MobileNetV2 | 95.69 | 96.03 | 96.37 | 99.17 |
PSPnet+CBAM | MobileNetV2 | 96.52 | 96.87 | 97.25 | 99.15 |
1) 提出了基于PSPnet‑MobileNetV2轻量级神经网络的煤岩界面快速识别方法。测试结果表明,提出的网络模型在短时间激励作用下的煤岩界面识别达到了较高的精度,煤和岩的IoU值分别达到了96.52%和96.87%,PA值分别达到了97.25%和99.15%,相比于原始的PSPnet网络模型在一定程度上得到了提高。
2) 改进的网络模型所占内存仅为9.12 M,在图形处理单元上每张的测试时间为90.99 ms。内存降低有利于在移动端或嵌入式设备的部署,加入CBAM使网络模型不仅加快了训练和测试速度,且在分割精度上也有一定提升。
3) 采用PSPnet‑MobileNetV2网络模型对短时间激励作用的煤岩界面进行识别,不仅能够准确识别,还达到了较高的识别精度,为煤岩界面的快速精准识别以及采煤机的自动化、智能化开采提供了有效的技术支撑。
参考文献
DEWANGAN S, CHATTOPADHYAYA S, HLOC-H S. Wear assessment of conical pick used in coal cutting operation[J]. Rock Mechanics and Rock Engineering, 2015, 48(5): 2129‑2139. [百度学术]
张强, 王海舰, 井旺, 等. 基于模糊神经网络信息融合的采煤机煤岩识别系统[J]. 中国机械工程, 2016, 27(2): 201‑208. [百度学术]
ZHANG Qiang, WANG Haijian, JING Wang, et al. Shearer's coal‑rock recognition system based on fuzzy neural network information fusion[J]. China Mechanical Engineering, 2016, 27(2): 201‑208. (in Chinese) [百度学术]
汪宝发, 胡祖祥. 煤矿瓦斯爆炸事故现状统计及规律分析[J].煤炭技术, 2022, 41(9): 148‑151. [百度学术]
WANG Baofa, HU Zuxiang. Statistics and regular analysis of current situation of gas explosion accidents in coal mine[J]. Coal Technology, 2022, 41(9): 148‑151. (in Chinese) [百度学术]
ZHANG G X, WANG Z C, ZHAO L. Recognition of rock-coal interface in top coal caving through tail beam vibrations by using stacked sparse autoencoders[J]. Journal of Vibroengineering, 2016, 18(7): 4261‑4275. [百度学术]
姜庆学, 王海舰. 基于有功功率微变检测的采煤机煤岩识别系统研究[J]. 机电产品开发与创新, 2015, 28(4): 110‑112. [百度学术]
JIANG Qingxue, WANG Haijian. Research on shearer coal‑rock recognition system based on active power micro change detection[J]. Development & Innovation of Machinery & Electrical Products, 2015, 28(4): 110‑112. (in Chinese) [百度学术]
郝志勇, 陈志强, 毛君. 采煤机摇臂惰轮轴载荷分析与试验研究[J]. 机械强度, 2017, 39(1): 40‑46. [百度学术]
HAO Zhiyong, CHEN Zhiqiang, MAO Jun. Load analysis and experimental research of idler shaft on rocker arm shearer[J]. Journal of Mechanical Strength, 2017, 39(1): 40‑46. (in Chinese) [百度学术]
褚晋阳. 综采工作面采煤机煤岩自适应截割技术研究[J]. 机械管理开发, 2022, 37(6): 54‑55, 58. [百度学术]
CHU Jinyang. Research on coal rock adaptive cutting technology of coal mining machine in coal mining face[J]. Mechanical Management and Development, 2022, 37(6): 54‑55, 58. (in Chinese) [百度学术]
张强, 王海舰, 王兆, 等. 基于红外热像检测的截齿煤岩截割特性与闪温分析[J]. 传感技术学报, 2016, 29(5): 686‑692. [百度学术]
ZHANG Qiang, WANG Haijian, WANG Zhao, et al. Analysis of coal‑rock's cutting characteristics and flash temperature for peak based on infrared thermal image testing[J]. Chinese Journal of Sensors and Actuators, 2016, 29(5): 686‑692. (in Chinese) [百度学术]
杨文萃, 邱锦波, 张阳, 等. 煤岩界面识别的声学建模[J]. 煤炭科学技术, 2015, 43(3): 100‑103. [百度学术]
YANG Wencui, QIU Jinbo, ZHANG Yang, et al. Acoustic modeling of coal‑rock interface identification[J]. Coal Science and Technology, 2015, 43(3): 100‑103. (in Chinese) [百度学术]
NAN F, LI Y. The application research of coal seam CO source identification based on the D‑S evidence conflict[J]. Applied Mechanics & Materials, 2013, 341(1): 961‑965. [百度学术]
徐旭东, 李博, 南莹浩. 基于地质雷达探测的煤‑岩分界面试验分析[J]. 华北科技学院学报, 2016, 13(6): 78‑81. [百度学术]
XU Xudong, LI Bo, NAN Yinghao. Experimental analysis of coal‑rock intefraec based on geological radar detection[J]. Journal of North China Institute of Science and Technology, 2016, 13(6): 78‑81. (in Chinese) [百度学术]
李力, 魏伟, 唐汝琪. 基于改进S变换的煤岩界面超声反射信号处理[J]. 煤炭学报, 2015, 40(11): 2579‑2586. [百度学术]
LI Li, WEI Wei, TANG Ruqi. Processing of ultrasonic reflection signal from coal‑rock interface using modified s‑transform[J]. Journal of China Coal Society, 2015, 40(11): 2579‑2586. (in Chinese) [百度学术]
XUE G H, HU B H, ZHAO X Y, et al. Study on characteristic extraction of coal and rock at mechanized top coal caving face based on image gray scale[J]. Applied Mechanics & Materials, 2014, 678(10): 193‑196. [百度学术]