摘要
钛合金由于导热率低,在磨削过程中工件表面容易产生烧伤或裂纹。采用图像法进行在线表面烧伤识别时,受到磨削液等现场因素的影响,采集的工件图像存在运动模糊或者目标区域被遮挡等现象,影响深度学习模型的识别效果。针对现场图像受损的问题,采用对偶学习和跳跃连接的方法,设计生成对抗网络的生成器、判别器和损失函数,对细节信息进行修复,重建退化图像。试验结果表明,经过重建的钛合金磨削现场图像的峰值信噪比(peak signal to noise ratio,简称PSNR)平均值达到25以上,结构相似度(structural similarity,简称SSIM)平均值达到0.77以上。采用基于模型微调的方法对重建后图像进行烧伤识别,准确率达到90%以上。
钛合金由于导热率低,工件在磨削过程中会发生严重的砂轮粘附现象,产生的热量会使工件表面出现烧伤甚至裂纹。因此,需要对钛合金磨削现场的工件表面进行在线检测。传统的表面缺陷检测大多基于人工检测,包括酸洗法、显微硬度法、磁粉检测法、涡流检测法、超声波检测法和X射线检测
随着深度学习在目标检测和智能机器人等领域的应用,基于深度学习的图像法识别表面缺陷具有高效、记忆能力和推广能力强等优
传统的图像修复和重建方法主要包括基于偏微分方程的图像修复算法、基于纹理合成的图像修复算法以及基于稀疏表示的图像修复算法等,存在适用范围小、修复区域边缘不一致等局限。为修复区域边缘,文献[
为实现钛合金磨削加工现场表面烧伤的在线识别,笔者进行钛合金磨削试验,分析影响图像质量的主要因素。通过跳跃连
为获取钛合金磨削烧伤现场图像,笔者进行钛合金磨削试验。试验使用的工件材料为20 mm×20 mm×25 mm的TC4钛合金,试验平台为PROFIMATMT408高速平面精密磨床。通过控制钛合金工件的进给速度不变,调整砂轮的线速度和磨削切深,研究磨削烧伤的工艺参数阈值,以获取不同的磨削试样。试验参数如
工件材料 | 砂轮线速度vs/(m · | 磨削深度ap/μm | 工件速度vw/(m · mi |
---|---|---|---|
TC4 | 60~100 | 10~70 | 1.4 |
通过对每组工艺参数组合进行3次重复试验,降低随机因素的干扰,在30组试验中有8组出现了不同程度的烧伤。在此基础上,对出现烧伤的工艺参数组合再进行10次重复试验,获得80件烧伤试样,不同程度烧伤试样如

图1 不同程度烧伤试样
Fig.1 Burn samples of different degrees
在多次磨削试验中,造成现场图像退化的主要原因是相机与工件之间的相对运动和磨削液的遮挡。钛合金的磨削加工方式主要分为干磨和湿磨,干磨采集的图像出现退化的主要原因是相机与工件之间的相对运动造成运动模糊;湿磨采集的图像除了运动模糊之外,还会出现目标区域被磨削液遮挡的情况。
利用现场所得图像建立钛合金磨削加工现场图像数据集,将受干扰图像分为无干扰、磨削液遮挡、运动模糊和严重退化4类。磨削现场图像如

图2 磨削现场图像
Fig.2 Images of grinding site
由于钛合金磨削现场图像退化较为严重,传统的图像修复和重建算法的工作量成倍增长,因此采用基于生成对抗网络的图像重建算法对钛合金磨削现场受干扰图像进行重建。生成对抗网络模型主要是生成器与判别器的零和博弈,在训练过程中激烈对抗使两者达到最优状态。生成对抗网络如

图3 生成对抗网络
Fig.3 Generative adversarial networks
在钛合金磨削现场图像重建问题中,受损或退化图像的浅层信息与真实图像的浅层信息有着较大差异,但两者的底层信息类似。在编码解码网络中,图像底层信息会沿着网络走过所有的网络层,但会丢失很多浅层信息。为了保留浅层特征信息和生成更好质量的图像,在编解码网络的基础上借鉴了跳跃连接结构,建立了生成器模型。跳跃连接的具体操作是在原先编码-解码器网络结构中的对应层之间加入了一个新的跳跃连接,U‑net生成对抗网络(U‑net with generative adversarial networks,简称UGAN)模型结构如

图4 UGAN模型结构
Fig.4 The structure of the UGAN
在钛合金磨削现场同时获取受干扰图像和无干扰图像,需要在每一次磨削进给中采集受干扰图像,然后暂停进给采集对应无干扰图像,整个过程复杂且低效。钛合金磨削现场图像识别主要根据烧伤的颜色和纹理,图像生成算法中基于对偶学习方法的CycleGAN在颜色和纹理方面表现较好。因此,将CycleGAN与UGAN相结合,设计钛合金磨削现场图像的重建模型(U‑net with CycleGAN,简称UCGAN),通过设计生成器网络结构和判别器结构,实现待重建图像数据向无干扰图像数据的转化,UCGAN的训练流程如

图5 UCGAN训练流程
Fig.5 The training process of UCGAN
由
生成器结构包含1个编码器、1个中间残差模块和1个解码器。编码器包含3个卷积层。中间残差模块由多个残差结构组成。解码器含有3个反卷积层。生成器通过在中间层使用多个残差块很好地实现了颜色和纹理细节的重建。残差结构可以使模型更好地学到图像重建前后的差异,对小范围磨削液遮挡的图像重建有很好的效果,但是对于大范围磨削液遮挡、全局运动模糊的情况,只加入残差结构的网络无法对这些图像进行重建。为了能够更大尺度地还原图像的内容信息,笔者提出的UCGAN在残差结构的基础上加入了U‑net的跳跃连接结构,并在3个尺度上使用残差模块,建立了UCGAN生成器网络结构,如

图6 UCGAN生成器网络结构
Fig.6 The structure of the UCGAN network generator
判别器是一个全卷积网络,共由5层卷积构成。输入为2张图像,经过5层的卷积后,输出为单通道的8×8大小的概率图。除了第1层卷积不添加实例标准化外,其余每一层卷积后均添加实例标准化和激活函数LeakyRelu。使用改进的生成对抗网络判别器Patch GAN结构,将输入映射为N×N的矩阵,将矩阵中的每个值加起来求平均,便是Patch GAN的最终输出。UCGAN判别器结构如

图7 UCGAN判别器结构
Fig.7 The structure of the UCGAN discriminator
生成对抗网络的损失函数主要分为2部分:对抗损失和循环一致损失。对抗损失又分为生成器的对抗损失和判别器的对抗损失。由于UCGAN有2个生成器和2个判别器,所以根据生成器和判别器的不同,分为2组对抗损失。
第1组为实现输入图像数据集合X到目标图像数据集合Y的转换需要GXY映射,即输入图像数据集合X中的图像通过生成器GXY转换为目标图像数据集合Y中的图像,然后通过判别器DY判断其是否为真实的图像数据。生成器GXY的对抗损失表达式为
(1) |
判别器DY的对抗损失表达式为
(2) |
第2组为实现目标图像数据集合Y到输入图像数据集合X的转换需要GYX映射,然后通过判别器DX判断其是否为真实的图像数据。生成器GYX的对抗损失表达式为
(3) |
判别器DX的对抗损失表达式为
(4) |
仅有对抗损失会导致网络模型的生成器将输入图像数据集合都映射到目标图像数据集合中的同一张图像。为此,需要在损失函数中引入循环一致损失。循环一致性损失有2个:x与GYX(GXY(x))之间的循环损失以及y与GXY(GYX(y))之间的循环损失。训练的目的是使这2个损失降低到理想区间,即通过训练使某一个集合的数据在进行两次转换后,能生成越来越接近初始数据的分布,实现循环一致。假设输入图像数据集合X和目标图像数据集合Y中的图像数据尺寸均为 (a, b, c),其中:a为高,b为宽,c为图像通道数,则x与GYX(GXY(x))之间的循环损失为
(5) |
y与GXY(GYX(y))之间的循环损失为
(6) |
由于钛合金磨削现场采集的图像数据集中每个类别小于1 000张,属于小样本数据集,所以搭建基于模型微调的TC4钛合金磨削现场图像烧伤识别网络。
采用基于模型微调的方法对现场图像进行烧伤识别,随机选取ImageNet数据集中1 000个类别作为源域训练数据集进行预训练,对预训练模型的分类器作出调整,采用新的全连接层代替预训练模型的全连接层。网络模型的设计思路为选取VGGNet‑16作为预训练网络模型,特定特征层将VGGNet‑16的3个全连接层删除,并用1组新的全连接层代替,其余卷积层和池化层不变,全连接层之间均使用了随机失活层以增强网络的泛化能力。钛合金磨削烧伤识别网络结构如

图8 钛合金磨削烧伤识别网络结构
Fig.8 The network of titanium alloy grinding burn detection
图像重建过程中matpoltlib模块显示的生成器和判别器在训练过程中的损失变化如

图9 训练过程中的损失变化
Fig.9 Loss variation of training
将测试图像输入训练好的UCGAN生成器GXY进行图像重建,UCGAN图像重建结果如

图10 UCGAN图像重建结果
Fig.10 UCGAN image reconstruction results
随机选取100张待重建图像的SSIM均值和PSNR均值,待重建图像评价结果如
图像类型 | SSIM | PSNR |
---|---|---|
磨削液遮挡 | 0.54 | 20.30 |
运动模糊 | 0.33 | 19.34 |
严重退化 | 0.29 | 18.06 |
图像类型 | SSIM | PSNR |
---|---|---|
磨削液遮挡 | 0.78 | 26.30 |
运动模糊 | 0.79 | 25.79 |
严重退化 | 0.77 | 25.40 |
由以上试验结果对比可知,待重建图像的SSIM均值和PSNR均值都偏低,与无干扰图像的差距较大,对后续识别造成了严重影响。经过UCGAN重建后的图像与无干扰图像的结构相似度均值接近0.8,PSNR值都达到了25以上,说明重建后的图像质量得到明显提高。
同时,为了保证钛合金磨削现场图像烧伤识别的及时性,需要对UCGAN的图像重建速度进行评价。对于3种类型磨削现场受干扰的待重建图像,在搭载RTX2080ti显卡的计算机中使用TensorFlow2.1框架分别测试1,100,200张的重建耗时,
图像类型 | 待重建图像数量 | ||
---|---|---|---|
1 | 100 | 200 | |
磨削液遮挡 | 151 | 132 | 129 |
运动模糊 | 130 | 133 | 134 |
严重退化 | 129 | 130 | 128 |
由
使用现场无干扰图像数据集进行训练和测试,试验结果表明,基于模型微调的烧伤识别网络在无干扰图像中的测试集上的准确率达到了97.71%。根据四分类的评价指标公式得到不同烧伤程度上的分类效果,
项目 | 无烧伤 | 轻度烧伤 | 中度烧伤 | 重度烧伤 |
---|---|---|---|---|
检测数量 | 83 | 208 | 517 | 330 |
精确率 | 0.89 | 0.98 | 0.99 | 0.98 |
召回率 | 0.96 | 0.95 | 0.98 | 0.98 |
F1分数 | 0.92 | 0.97 | 0.99 | 0.98 |
由
使用现场图像烧伤检测模型对这3类图像进行识别,
项目 | 无干扰图像 | 待重建图像 | 重建后图像 |
---|---|---|---|
数量 | 100 | 100 | 100 |
精确率 | 0.99 | 0.52 | 0.92 |
召回率 | 0.97 | 0.48 | 0.90 |
F1分数 | 0.98 | 0.50 | 0.91 |
由
1) 使用CycleGAN与U‑netGAN相结合的模型可以在保留钛合金磨削现场图像底层与浅层信息基础上,提高受损图像的重建效率,对于不同类别的受干扰图像重建耗时均在0.1 s左右。
2) 经过对生成器和判别器进行设计的UCGAN模型进行重建的钛合金磨削现场图像的PSNR平均值达到25以上,SSIM平均值达到0.77以上,受干扰图像重建后的纹理颜色等接近无干扰图像。
3) 基于模型微调的钛合金磨削现场烧伤识别网络经过调整预训练器和全连接层之后,对无干扰图像的识别率达到97.71%,同时对重建后图像的烧伤识别准确率达到90%以上。
参 考 文 献
李少波, 杨静, 王铮, 等. 缺陷检测技术的发展与应用研究综述[J]. 自动化学报, 2020, 46(11): 2319-2336. [百度学术]
LI Shaobo, YANG Jing, WANG Zheng, et al. Review of development and application of defect detection technology[J]. Acta Automatica Sinica, 2020, 46(11): 2319-2336. (in Chinese) [百度学术]
YANG J, LI S, GAO Z, et al. Real-time recognition method for 0.8 cm darning needles and KR22 bearings based on convolution neural networks and data increase[J]. Applied Sciences, 2018, 8(10): 1856-1873. [百度学术]
MENG F, REN J, WANG Q, et al. Rubber hose surface defect detection system based on machine vision[J]. IOP Conference, 2018, 108: 022057. [百度学术]
ZHAO J, HUANG W. Transfer learning method for rolling bearing fault diagnosis under different working conditions based on CycleGAN[J]. Measurement Science and Technology, 2022, 33(2):1-14. [百度学术]
田万杉. 基于深度学习的TC4钛合金磨削烧伤图像识别研究[D]. 南京: 南京航空航天大学, 2020. [百度学术]
YANG C, LU X, LIN Z, et al. High-resolution image inpainting using multi-scale neural patch synthesis[C]∥2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Honolulu, HI, USA: IEEE, 2017: 4076-4084. [百度学术]
IIZUKA S, SIMO-SERRA E, ISHIKAWA H. Globally and locally consistent image completion[J]. ACM Transactions on Graphics (TOG), 2017, 36(4): 1-14. [百度学术]
RAMAKRISHNAN S, PACHORI S, GANGOPAD-HYAY A, et al. Deep generative filter for motion deblurring[C]∥2017 IEEE International Conference on Computer Vision Workeshops. Venice, Italy: IEEE, 2017: 2993-3000. [百度学术]
RONNEBERGER O, FISCHER P, BROX T. U-net: Convolutional networks for biomedical image Segmentation[C]∥Medical Image Computing and Computer-Assited Intervention. Cham: Springer International Publishing, 2015: 234-241. [百度学术]
ZHU J T, PARK T, ISOLA P, et al. Unpaired image-to-image translation using cycle-consistent adversarial networks[C]∥IEEE International Conference on Computer Vision. Venice, Italy: IEEE, 2017: 2223-2232. [百度学术]