使用Chrome浏览器效果最佳,继续浏览,你可能不会看到最佳的展示效果,

确定继续浏览么?

复制成功,请在其他浏览器进行阅读

钛合金磨削现场图像重建及烧伤识别  PDF

  • 刘杰
  • 易思广
  • 徐文慧
  • 张其真
  • 卢文壮
南京航空航天大学机电学院 南京,210016

中图分类号: TH133.3

最近更新:2025-02-25

DOI:10.16450/j.cnki.issn.1004-6801.2025.01.024

  • 全文
  • 图表
  • 参考文献
  • 作者
  • 出版信息
目录contents

摘要

钛合金由于导热率低,在磨削过程中工件表面容易产生烧伤或裂纹。采用图像法进行在线表面烧伤识别时,受到磨削液等现场因素的影响,采集的工件图像存在运动模糊或者目标区域被遮挡等现象,影响深度学习模型的识别效果。针对现场图像受损的问题,采用对偶学习和跳跃连接的方法,设计生成对抗网络的生成器、判别器和损失函数,对细节信息进行修复,重建退化图像。试验结果表明,经过重建的钛合金磨削现场图像的峰值信噪比(peak signal to noise ratio,简称PSNR)平均值达到25以上,结构相似度(structural similarity,简称SSIM)平均值达到0.77以上。采用基于模型微调的方法对重建后图像进行烧伤识别,准确率达到90%以上。

引 言

钛合金由于导热率低,工件在磨削过程中会发生严重的砂轮粘附现象,产生的热量会使工件表面出现烧伤甚至裂纹。因此,需要对钛合金磨削现场的工件表面进行在线检测。传统的表面缺陷检测大多基于人工检测,包括酸洗法、显微硬度法、磁粉检测法、涡流检测法、超声波检测法和X射线检测

1。这些方法存在检测速度较慢、破坏工件表面完整性等局限。

随着深度学习在目标检测和智能机器人等领域的应用,基于深度学习的图像法识别表面缺陷具有高效、记忆能力和推广能力强等优

2。Meng3利用图像处理技术对缺陷区域图像进行分割与检测,实现胶管表面缺陷的在线检测。Zhao4采用自适应学习方法,实现跨领域和跨工况的轴承故障诊断。田万5通过优化卷积神经网络模型实现钛合金磨削烧伤识别,对烧伤识别算法的性能差异进行分析。在基于深度学习的图像法检测识别钛合金工件表面烧伤中,由于环境因素的干扰导致图像质量下降,无法对模型进行有效训练。因此,要提高钛合金磨削烧伤识别的效率和精度,需要对受环境干扰的图像进行重建。

传统的图像修复和重建方法主要包括基于偏微分方程的图像修复算法、基于纹理合成的图像修复算法以及基于稀疏表示的图像修复算法等,存在适用范围小、修复区域边缘不一致等局限。为修复区域边缘,文献[

6]提出了一种多尺度神经补片合成的算法,通过图像块的相关性的匹配和调整来获得高频细节。文献[7]提出了一种上下文判别器,用于判定真实图像和修复图像之间的一致性。Ramakrishnan8将pix2pix结构应用到了密集神经网络中,实现了盲去模糊。

为实现钛合金磨削加工现场表面烧伤的在线识别,笔者进行钛合金磨削试验,分析影响图像质量的主要因素。通过跳跃连

9和循环生成对抗网10(cycle generative adversarial networks,简称CycleGAN)对生成对抗网络的生成器、判别器、损失函数等进行设计,重建受环境因素干扰的图像。采用基于模型微调方法构建新的全连接层对钛合金磨削现场图像进行烧伤识别。

1 试验方法

为获取钛合金磨削烧伤现场图像,笔者进行钛合金磨削试验。试验使用的工件材料为20 mm×20 mm×25 mm的TC4钛合金,试验平台为PROFIMATMT408高速平面精密磨床。通过控制钛合金工件的进给速度不变,调整砂轮的线速度和磨削切深,研究磨削烧伤的工艺参数阈值,以获取不同的磨削试样。试验参数如表1所示。

表1  试验参数
Tab.1  Machining parameters
工件材料砂轮线速度vs/(m · s-1)磨削深度ap/μm工件速度vw/(m · min-1)
TC4 60~100 10~70 1.4

通过对每组工艺参数组合进行3次重复试验,降低随机因素的干扰,在30组试验中有8组出现了不同程度的烧伤。在此基础上,对出现烧伤的工艺参数组合再进行10次重复试验,获得80件烧伤试样,不同程度烧伤试样如图1所示。可见,随着磨削烧伤程度的逐渐加剧,工件表面颜色由银灰色向蓝紫色转变,利用HXS‑1000AK型显微硬度计测量工件烧伤表面硬度,发现表面硬度逐渐增加。按照钛合金磨削后表面颜色的变化并结合已加工表面的显微硬度,将磨削试样分为无烧伤、轻度烧伤、中度烧伤和重度烧伤4个类别。

图1  不同程度烧伤试样

Fig.1  Burn samples of different degrees

2 现场图像重建方法与烧伤识别网络

2.1 磨削加工现场图像

在多次磨削试验中,造成现场图像退化的主要原因是相机与工件之间的相对运动和磨削液的遮挡。钛合金的磨削加工方式主要分为干磨和湿磨,干磨采集的图像出现退化的主要原因是相机与工件之间的相对运动造成运动模糊;湿磨采集的图像除了运动模糊之外,还会出现目标区域被磨削液遮挡的情况。

利用现场所得图像建立钛合金磨削加工现场图像数据集,将受干扰图像分为无干扰、磨削液遮挡、运动模糊和严重退化4类。磨削现场图像如图2所示。其中,严重退化图像是指同时出现磨削液遮挡和运动模糊的图像。

图2  磨削现场图像

Fig.2  Images of grinding site

2.2 基于生成对抗网络的图像重建

由于钛合金磨削现场图像退化较为严重,传统的图像修复和重建算法的工作量成倍增长,因此采用基于生成对抗网络的图像重建算法对钛合金磨削现场受干扰图像进行重建。生成对抗网络模型主要是生成器与判别器的零和博弈,在训练过程中激烈对抗使两者达到最优状态。生成对抗网络如图3所示。

图3  生成对抗网络

Fig.3  Generative adversarial networks

在钛合金磨削现场图像重建问题中,受损或退化图像的浅层信息与真实图像的浅层信息有着较大差异,但两者的底层信息类似。在编码解码网络中,图像底层信息会沿着网络走过所有的网络层,但会丢失很多浅层信息。为了保留浅层特征信息和生成更好质量的图像,在编解码网络的基础上借鉴了跳跃连接结构,建立了生成器模型。跳跃连接的具体操作是在原先编码-解码器网络结构中的对应层之间加入了一个新的跳跃连接,U‑net生成对抗网络(U‑net with generative adversarial networks,简称UGAN)模型结构如图4所示。

图4  UGAN模型结构

Fig.4  The structure of the UGAN

在钛合金磨削现场同时获取受干扰图像和无干扰图像,需要在每一次磨削进给中采集受干扰图像,然后暂停进给采集对应无干扰图像,整个过程复杂且低效。钛合金磨削现场图像识别主要根据烧伤的颜色和纹理,图像生成算法中基于对偶学习方法的CycleGAN在颜色和纹理方面表现较好。因此,将CycleGAN与UGAN相结合,设计钛合金磨削现场图像的重建模型(U‑net with CycleGAN,简称UCGAN),通过设计生成器网络结构和判别器结构,实现待重建图像数据向无干扰图像数据的转化,UCGAN的训练流程如图5所示。

图5  UCGAN训练流程

Fig.5  The training process of UCGAN

图5可以看出,UCGAN包含2个生成器(GXYGYX)和2个判别器(DYDX)。对于输入图像数据集合X中的样本x,目标图像数据集合Y中的样本y,生成器GXY将输入图像数据x映射到目标图像数据集合Y,生成器GYX将目标图像数据y映射到输入图像数据集合X,判别器DY是用来分辨其输入数据是目标图像数据y,还是生成器GXY生成的GXYx)。判别器DX是用来分辨其输入数据是目标图像数据x,还是生成器GYX生成的GYXy)。UCGAN在整个网络训练过程中通过判定结果对生成器进行优化,通过不断迭代循环,最终使GYXGXYx))≈xGXYGYXy))≈y成立。

生成器结构包含1个编码器、1个中间残差模块和1个解码器。编码器包含3个卷积层。中间残差模块由多个残差结构组成。解码器含有3个反卷积层。生成器通过在中间层使用多个残差块很好地实现了颜色和纹理细节的重建。残差结构可以使模型更好地学到图像重建前后的差异,对小范围磨削液遮挡的图像重建有很好的效果,但是对于大范围磨削液遮挡、全局运动模糊的情况,只加入残差结构的网络无法对这些图像进行重建。为了能够更大尺度地还原图像的内容信息,笔者提出的UCGAN在残差结构的基础上加入了U‑net的跳跃连接结构,并在3个尺度上使用残差模块,建立了UCGAN生成器网络结构,如图6所示。

图6  UCGAN生成器网络结构

Fig.6  The structure of the UCGAN network generator

判别器是一个全卷积网络,共由5层卷积构成。输入为2张图像,经过5层的卷积后,输出为单通道的8×8大小的概率图。除了第1层卷积不添加实例标准化外,其余每一层卷积后均添加实例标准化和激活函数LeakyRelu。使用改进的生成对抗网络判别器Patch GAN结构,将输入映射为N×N的矩阵,将矩阵中的每个值加起来求平均,便是Patch GAN的最终输出。UCGAN判别器结构如图7所示。

图7  UCGAN判别器结构

Fig.7  The structure of the UCGAN discriminator

生成对抗网络的损失函数主要分为2部分:对抗损失和循环一致损失。对抗损失又分为生成器的对抗损失和判别器的对抗损失。由于UCGAN有2个生成器和2个判别器,所以根据生成器和判别器的不同,分为2组对抗损失。

第1组为实现输入图像数据集合X到目标图像数据集合Y的转换需要GXY映射,即输入图像数据集合X中的图像通过生成器GXY转换为目标图像数据集合Y中的图像,然后通过判别器DY判断其是否为真实的图像数据。生成器GXY的对抗损失表达式为

Lg1=i=1Nlog(1-DY(GXY(x))) (1)

判别器DY的对抗损失表达式为

Ld1=i=1N(log(1-DY(y))+logDY(GXY(x))) (2)

第2组为实现目标图像数据集合Y到输入图像数据集合X的转换需要GYX映射,然后通过判别器DX判断其是否为真实的图像数据。生成器GYX的对抗损失表达式为

Lg2=i=1Nlog(1-DX(GYX(y))) (3)

判别器DX的对抗损失表达式为

Ld2=i=1N(log(1-DX(x))+logDX(GYX(y))) (4)

仅有对抗损失会导致网络模型的生成器将输入图像数据集合都映射到目标图像数据集合中的同一张图像。为此,需要在损失函数中引入循环一致损失。循环一致性损失有2个:xGYXGXYx))之间的循环损失以及yGXYGYXy))之间的循环损失。训练的目的是使这2个损失降低到理想区间,即通过训练使某一个集合的数据在进行两次转换后,能生成越来越接近初始数据的分布,实现循环一致。假设输入图像数据集合X和目标图像数据集合Y中的图像数据尺寸均为 (abc),其中:a为高,b为宽,c为图像通道数,则xGYXGXYx))之间的循环损失为

Lx=1abcc=1cb=1ba=1a(GYX(GXY(x))-x1) (5)

yGXYGYXy))之间的循环损失为

Ly=1abcc=1cb=1ba=1a(GXY(GYX(y))-y1) (6)

2.3 基于模型微调的烧伤识别网络

由于钛合金磨削现场采集的图像数据集中每个类别小于1 000张,属于小样本数据集,所以搭建基于模型微调的TC4钛合金磨削现场图像烧伤识别网络。

采用基于模型微调的方法对现场图像进行烧伤识别,随机选取ImageNet数据集中1 000个类别作为源域训练数据集进行预训练,对预训练模型的分类器作出调整,采用新的全连接层代替预训练模型的全连接层。网络模型的设计思路为选取VGGNet‑16作为预训练网络模型,特定特征层将VGGNet‑16的3个全连接层删除,并用1组新的全连接层代替,其余卷积层和池化层不变,全连接层之间均使用了随机失活层以增强网络的泛化能力。钛合金磨削烧伤识别网络结构如图8所示。

图8  钛合金磨削烧伤识别网络结构

Fig.8  The network of titanium alloy grinding burn detection

3 结果与分析

3.1 图像重建结果与分析

图像重建过程中matpoltlib模块显示的生成器和判别器在训练过程中的损失变化如图9所示。可见,UCGAN在前5 000次迭代训练过程中,生成器和判别器之间进行了激烈的对抗博弈,在此之后,生成器和判别器达到平衡状态,生成器损失虽有波动,但总体保持较低水平。生成器损失和判别器损失的变化是负相关,当判别器损失较大时,说明判别器无法较好地分辨生成图像和真实图像,此时生成器损失则会降低,判别器通过更新参数以降低损失,此时的生成器损失则会增大,当生成器损失较大的时候,说明判别器能较好地分辨生成图像和真实图像,此时的生成器通过更新参数以降低损失。

图9  训练过程中的损失变化

Fig.9  Loss variation of training

将测试图像输入训练好的UCGAN生成器GXY进行图像重建,UCGAN图像重建结果如图10所示。可见,受损图像的整体结构和纹理颜色均得到了较好重建,图像的主观感受已接近无干扰图像,图像重建效果明显。采用计算重建图像和无干扰图像之间的误差值方法进行图像重建质量客观评价。误差越小,意味着被评价的图像和无干扰图像的相似度越高,图像质量也越好。因此,采用PSNR和SSIM对图像进行评价。

图10  UCGAN图像重建结果

Fig.10  UCGAN image reconstruction results

随机选取100张待重建图像的SSIM均值和PSNR均值,待重建图像评价结果如表2中所示。使用训练好的UCGAN生成器GXY对这100张待重建图像进行重建。UCGAN重建后图像评价结果如表3所示。

表2  待重建图像评价结果
Tab.2  The result of the image to be reconstructed
图像类型SSIMPSNR
磨削液遮挡 0.54 20.30
运动模糊 0.33 19.34
严重退化 0.29 18.06
表3  UCGAN重建后图像评价结果
Tab.3  The result of the UCGAN reconstructed image
图像类型SSIMPSNR
磨削液遮挡 0.78 26.30
运动模糊 0.79 25.79
严重退化 0.77 25.40

由以上试验结果对比可知,待重建图像的SSIM均值和PSNR均值都偏低,与无干扰图像的差距较大,对后续识别造成了严重影响。经过UCGAN重建后的图像与无干扰图像的结构相似度均值接近0.8,PSNR值都达到了25以上,说明重建后的图像质量得到明显提高。

同时,为了保证钛合金磨削现场图像烧伤识别的及时性,需要对UCGAN的图像重建速度进行评价。对于3种类型磨削现场受干扰的待重建图像,在搭载RTX2080ti显卡的计算机中使用TensorFlow2.1框架分别测试1,100,200张的重建耗时,表4为图像重建耗时。其中,100张和200张2组中取每张图像重建的平均耗时。

表4  图像重建耗时
Tab.4  Time spent on image reconstruction ( ms )
图像类型待重建图像数量
1100200
磨削液遮挡 151 132 129
运动模糊 130 133 134
严重退化 129 130 128

表4可知,相机在现场采集到受干扰图像后,通过图像重建模型进行图像重建,耗时均在0.1 s左右,能够达到磨削烧伤在线识别的实时性要求。

3.2 烧伤识别结果

使用现场无干扰图像数据集进行训练和测试,试验结果表明,基于模型微调的烧伤识别网络在无干扰图像中的测试集上的准确率达到了97.71%。根据四分类的评价指标公式得到不同烧伤程度上的分类效果,表5为基于模型微调网络的识别结果。

表5  基于模型微调网络的识别结果
Tab.5  The recognition results of the network based on model transfer
项目无烧伤轻度烧伤中度烧伤重度烧伤
检测数量 83 208 517 330
精确率 0.89 0.98 0.99 0.98
召回率 0.96 0.95 0.98 0.98
F1分数 0.92 0.97 0.99 0.98

表5可知,基于模型微调的现场图像烧伤识别网络对于无干扰图像数据集可以达到较高的准确率,为了对比图像重建效果,利用此烧伤识别训练网络对重建图像进行烧伤识别。同时选取100张待重建图像和对应的100张无干扰图像,使用训练好的UCGAN生成器对选取出来的100张待重建图像进行重建,得到100张重建后图像。

使用现场图像烧伤检测模型对这3类图像进行识别,表6为不同图像的识别结果。

表6  不同图像的识别结果
Tab.6  The Recognition results of different images
项目无干扰图像待重建图像重建后图像
数量 100 100 100
精确率 0.99 0.52 0.92
召回率 0.97 0.48 0.90
F1分数 0.98 0.50 0.91

表6可知,受现场环境干扰而产生图像退化的图像在识别网络上的精确率均值、召回率均值和F1分数均值都低于0.5,说明待重建图像在烧伤识别网络上已无法识别,识别网络失效。经过UCGAN生成器重建后的图像的在烧伤识别网络上的精确率均值、召回率均值和F1分数均值都高于0.9,接近于无干扰图像在烧伤识别网络上的表现,说明图像重建取得了良好效果。

4 结 论

1) 使用CycleGAN与U‑netGAN相结合的模型可以在保留钛合金磨削现场图像底层与浅层信息基础上,提高受损图像的重建效率,对于不同类别的受干扰图像重建耗时均在0.1 s左右。

2) 经过对生成器和判别器进行设计的UCGAN模型进行重建的钛合金磨削现场图像的PSNR平均值达到25以上,SSIM平均值达到0.77以上,受干扰图像重建后的纹理颜色等接近无干扰图像。

3) 基于模型微调的钛合金磨削现场烧伤识别网络经过调整预训练器和全连接层之后,对无干扰图像的识别率达到97.71%,同时对重建后图像的烧伤识别准确率达到90%以上。

参 考 文 献

1

李少波杨静王铮. 缺陷检测技术的发展与应用研究综述[J]. 自动化学报20204611): 2319-2336. [百度学术] 

LI ShaoboYANG JingWANG Zhenget al. Review of development and application of defect detection technology[J]. Acta Automatica Sinica20204611): 2319-2336. (in Chinese) [百度学术] 

2

YANG JLI SGAO Zet al. Real-time recognition method for 0.8 cm darning needles and KR22 bearings based on convolution neural networks and data increase[J]. Applied Sciences2018810): 1856-1873. [百度学术] 

3

MENG FREN JWANG Qet al. Rubber hose surface defect detection system based on machine vision[J]. IOP Conference2018108022057. [百度学术] 

4

ZHAO JHUANG W. Transfer learning method for rolling bearing fault diagnosis under different working conditions based on CycleGAN[J]. Measurement Science and Technology2022332):1-14. [百度学术] 

5

田万杉. 基于深度学习的TC4钛合金磨削烧伤图像识别研究[D]. 南京南京航空航天大学2020. [百度学术] 

6

YANG CLU XLIN Zet al. High-resolution image inpainting using multi-scale neural patch synthesis[C]∥2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Honolulu, HI, USAIEEE20174076-4084. [百度学术] 

7

IIZUKA SSIMO-SERRA EISHIKAWA H. Globally and locally consistent image completion[J]. ACM Transactions on Graphics (TOG)2017364): 1-14. [百度学术] 

8

RAMAKRISHNAN SPACHORI SGANGOPAD-HYAY Aet al. Deep generative filter for motion deblurring[C]∥2017 IEEE International Conference on Computer Vision Workeshops. Venice, ItalyIEEE20172993-3000. [百度学术] 

9

RONNEBERGER OFISCHER PBROX T. U-net: Convolutional networks for biomedical image Segmentation[C]∥Medical Image Computing and Computer-Assited Intervention. ChamSpringer International Publishing2015234-241. [百度学术] 

10

ZHU J TPARK TISOLA Pet al. Unpaired image-to-image translation using cycle-consistent adversarial networks[C]∥IEEE International Conference on Computer Vision. Venice, ItalyIEEE20172223-2232. [百度学术]