摘要
为了实现输电塔远距离位移监测,同时满足低成本、无接触、易实施及精确度高等要求,结合输电塔的内轮廓特征和计算机视觉位移识别技术,提出感兴趣区域(region of interest,简称ROI)关键点法。首先,利用N近邻最小能量法进行ROI轮廓搜索提取,并与Harris角点检测算法相结合;其次,通过输电塔台架实验与灰度模板匹配法相比,ROI关键点法位移识别结果的平均误差、均方根误差分别降低了56%和45%,绝对误差小于5 mm和10 mm的准确率提高了61%和3%,计算效率提高了11倍,稳定性及抗噪性能较高;最后,在实验塔对比验证中,ROI关键点法的位移测量值与实际位移的差值百分比在0.0%~11.1%之间。结果表明,ROI关键点法在输电塔结构位移监测中具有较高的准确率、精细度、计算效率、稳定性及鲁棒性。
近年来,我国大量输电塔面临结构老化、健康状态评估困难的问题。输电塔在载荷下的结构应变、关键部位振动等相关数据是评估输电塔结构安全状态、进行结构健康监测的重要数
为了解决在高架桥梁或塔式结构上安装人工标靶,越来越多的学者开始关注虚拟标靶,即将被测物体上的固有特征(颜色、纹理、角点及边缘等)作为标靶进行识别。颜色特征反映图像中某个位置或点的颜色性质,选用其作为标靶比较直观,描述简单,稳定性和抗干扰能力较强,但颜色特征属于全局特征,对于图形内区域或像素点的大小、方向变化等不敏感,不能很好地表征图像中的局部变化信
鉴于人工标靶和虚拟标靶在计算机视觉结构位移监测中均存在一定的局限性,脱离标靶的相关计算和测量方法应运而生。Feng
输电塔一般由三角形和四边形组合而成,位移检测关键点附近的内轮廓一般为三角形,具有典型的内轮廓特征。笔者提出了一种用于输电塔结构的无标靶计算机视觉位移检测方法——ROI关键点法,利用输电塔的内轮廓特征,提取出感兴趣区域,进行关键点监测,实现了输电塔结构关键点位移的识别。该方法对于各类输电塔结构均具有较高的适用性,不需要安装人工标靶,简单易操作,成本低,具有较大的应用潜力。
ROI关键点法是一种基于感兴趣区域的无标靶结构关键点振动位移算法,主要步骤如下:
1) 视频拍摄,搭建摄像设备,拍摄被测输电塔结构因外力产生振动的视频;
2) 感兴趣区域提取,逐帧提取视频图像,对图像进行处理,利用内轮廓的几何特征提取ROI;
3) 关键点检测,检测ROI内轮廓的角点,持续跟踪某特定角点(关键点),计算各帧图像关键点基于第1帧图像的像素差;
4) 坐标转换,基于图像坐标系(单位为像素)的位移与实际坐标系(单位为mm)的比例关系,将关键点像素差转换为实际位移。
为了提取图像的轮廓特征,首先需要将相机拍摄的彩色图像进行灰度化及二值化处理。
灰度化是将24通道红⁃绿⁃蓝(red⁃green⁃blue,简称RGB)彩色图像转换成8位的灰度图像,其转换方法为
Igray=0.114B+0.587G+0.299R | (1) |
其中:Igray为灰度图像; B,G,R分别为图像像素中蓝、绿、红3个通道的色彩强度。
二值化是将拍摄图像的主体和背景分开,一般采用最大类间方差算
(2) |
其中:p1为像素被分为C1类的概率;mG为图像全局均值;m为灰度级k的累加均值。
本研究中,输电塔模型图像预处理如



图1 输电塔模型图像预处理
Fig.1 Image preprocessing of transmission tower model
本研究使用Suzuki轮廓跟踪算
(3) |
其中:Ptigh为紧致度;Parc为轮廓周长;Parea为轮廓面积。

图2 输电塔内轮廓识别结果
Fig.2 Result of inner contour identification of transmission tower
参数 | 轮廓编号 | ||
---|---|---|---|
1 | 2 | 3 | |
二值图 |
![]() |
![]() |
![]() |
面积/pixe | 7 693.0 | 17 037.5 | 41 529.5 |
周长/pixel | 562.5 | 691.4 | 1 035.71 |
紧致度 | 41.13 | 28.06 | 25.8 |
本研究将N近邻搜索方法与最小能量搜索方法相结合,提出N近邻最小能量搜索方法。
1) 采用最小能量搜索法计算轮廓的位置、尺寸和形状特征,将轮廓的重心位置作为轮廓的位置特征,将轮廓的面积作为轮廓的尺寸特征,将轮廓的紧实度作为轮廓的形状特征,计算当前帧的每一个轮廓与上一帧中ROI轮廓的3种特征差的加权值作为能量,能量最小的轮廓即为与上一帧ROI对应的轮廓。能量的计算公式为
(4) |
其中:,,分别为轮廓的位置、尺寸和形状特征的权重;=10;=1;=0.1。
2) 在采用最小能量搜索法进行轮廓搜索时需对图像中所有的轮廓进行计算,既耗费了大量时间,也在实际操作中会出现其他位置轮廓与上一帧ROI轮廓特征相近的情况。因此,引入N近邻搜索方法,按照位置特征,对帧中感兴趣轮廓附近的轮廓进行计算,不仅耗时短,还能准确定位。本研究采用N近邻最小能量搜索法进行ROI提取,具有良好的鲁棒性和实时性。
Harris角点检测算法是对Moravec算法的改进。一幅图像可以分为轮廓内部、边缘及角点等部分,Moravec算子的基本思想是利用图窗在图像上的任意方向进行滑动,比较滑动前后窗口中的像素灰度变化程度。Harris角点检测的3种情况如



图3 Harris角点检测的3种情况
Fig.3 Three cases of Harris corner detection
图窗的表达式为
(5) |
其中:为局部窗口的图像灰度; 为平移后的图像灰度;为窗口函数,其可以对窗口内的每一个像素赋予不同的权重。
利用一阶泰勒展开,可以将
(6) |
其中
(7) |
M矩阵决定了的值,文献[
(8) |
其中:M矩阵的行列式;M矩阵的迹;k为经验值,取值为0.04~0.06;,分别为二级矩阵M的2个特征值。
当R<0时,该像素位于轮廓边缘;R的绝对值很小时,该像素位于轮廓内部;R>0时,该像素位于角点。根据

图4 角点检测结果
Fig.4 Corner detection results
灰度模板匹配算法是基于计算机视觉的结构位移监测方法,其原理是从灰度图中选取部分子图作为模板,将模板图在另一张图像中遍历搜索与模板相似的部分进行匹配,以达到模板搜索的目的。本研究以此法进行对比。
首先,将拍摄的图像按照
(10) |
在安装了人工标靶的视觉结构位移识别问题中,通常将人工标靶作为模板,对于一些特征明显的结构,也可以采用结构的一部分作为模板。
在实验室内搭建输电塔的小比例模型,实验场景如

图5 实验场景
Fig.5 Experimental scene
本研究选用传统的灰度模板匹配方法作为对照,施加外力使模型产生不同形式的振动后,分别应用2种算法进行数据分析,对ROI关键点法的准确性、可靠性和其他性能进行验证。
以HS⁃38实验样本为例,其位移测量实验结果对比如

图6 HS⁃38位移测量实验结果对比
Fig.6 Comparison of displacement experimental results of HS⁃38
由
为了进一步定量分析实验结果,使用平均误差Emean和均方根误差Ermse进行分析,即
(11) |
(12) |
其中:uv为使用视觉方法计算的位移;ul为使用激光传感器测量的位移。
ROI与灰度模板匹配的误差分析如
分类 | Emean/mm | Ermse/mm | 每帧t/s | ||
---|---|---|---|---|---|
ROI | 2.1 | 1.8 | 0.92 | 0.99 | 0.16 |
灰度模 板匹配 | 4.8 | 3.3 | 0.57 | 0.96 | 1.82 |
由
此外,在计算实时性方面,ROI关键点法计算效率为灰度模板匹配方法的11倍,性能提升明显。
为了验证ROI关键点法的鲁棒性,增加2组台架实验进行测试,分别为HS⁃30(频率低、均匀)和HS⁃35(频率高、不规则)。HS⁃30和HS⁃35位移测量实验结果对比如

图7 HS⁃30和HS⁃35位移测量实验结果对比
Fig.7 Comparison of displacement experimental results of HS⁃30 and HS⁃35
由
HS⁃30,HS⁃35和HS⁃38误差分析如
分类 | Emean/mm | Ermse/mm | 每帧t/s | ||
---|---|---|---|---|---|
HS⁃30 | 2.2 | 1.7 | 0.93 | 0.98 | 0.17 |
HS⁃35 | 1.4 | 1.1 | 0.99 | 1.00 | 0.17 |
HS⁃38 | 2.1 | 1.8 | 0.92 | 0.99 | 0.16 |
为验证ROI关键点法的抗噪性能,对HS⁃38台架实验视频施加白噪声,均值为0,方差分别为0.05,0.10和0.15。HS⁃38增加白噪声后效果对比如

图8 HS⁃38增加白噪声后效果对比
Fig.8 Comparison of HS⁃38 with white noise

图9 HS⁃38增加白噪声后位移测量实验结果对比
Fig.9 Comparison of displacement experimental results of HS⁃38 with white noise
由
增加白噪声后HS⁃38误差分析如
分类 | Emean/mm | Ermse/mm | 每帧t/s | ||
---|---|---|---|---|---|
无噪声 | 2.4 | 1.8 | 0.92 | 0.99 | 0.16 |
2.4 | 1.8 | 0.92 | 0.99 | 0.31 | |
0 | 2.5 | 2.0 | 0.91 | 0.99 | 0.40 |
3.1 | 2.4 | 0.83 | 0.98 | 1.03 |
为验证ROI关键点法在实际工程中监测的准确性,对某输电塔原型实验过程进行视频拍摄,并将本方法识别的位移值与实验报告中的位移测量值进行对比。
实验铁塔塔型为SJ1,呼高为24 m,全高为47.12 m。实验铁塔现场及加载示意图如

图10 实验铁塔现场及加载示意图
Fig.10 Scene of test tower and the schematic diagram of loading
由于输电塔原型实验主要测试其静力承载能力,没有振动数据,因此仅对原型实验中各级荷载下的位移值进行对比,对比位置选择为横担端部。实验塔二值图及内轮廓识别结果如

图11 实验塔二值图及内轮廓识别结果
Fig.11 Binary image and result of inner contour identification of test tower

图12 实验塔ROI关键点法位移测量值
Fig.12 Displacement of test tower measured with ROI method
加载/% | ROI/mm | 实测/mm | 差值/mm | 差值百分比/% |
---|---|---|---|---|
50 | 127 | 127 | 0 | 0.0 |
60 | 191 | 203 | 12 | 5.9 |
70 | 215 | 242 | 27 | 11.1 |
80 | 244 | 257 | 13 | 5.1 |
90 | 273 | 271 | 2 | 0.7 |
100 | 290 | 286 | 4 | 1.4 |
110 | 314 | 300 | 14 | 4.7 |
120 | 342 | 326 | 16 | 4.9 |
由
本方法采用视频逐帧进行关键点位移识别,能够实现动力作用下的位移响应识别,并具有与静力作用相同的精度。
ROI关键点法在实际输电塔结构位移识别中具有较高的精确度,但仍然存在一定的误差,主要原因为像素对应尺寸较大、噪声与角点粘连及识别轮廓中断等。
1) 像素对应尺寸较大。由于视频拍摄设备像素的限制,对于实际大尺寸输电塔结构,单个像素对应的实际尺寸与实验室缩尺模型相比差别较大,因此在实际操作中应尽可能选用高像素的拍摄设备,以减小相对误差。
2) 噪声与角点粘连。实际条件下输电塔背景复杂,存在云、树木、房屋等多种噪声来源,噪声与角点连接时会导致两者粘连,在进行角点检测时引起识别误差,但其影响相对较小。
3) 识别轮廓中断。该问题由噪声引起,当输电塔背景噪声较大时,会造成被识别的轮廓特征(重心、面积及紧致度等)发生较大变化,计算能量值变大,导致所需轮廓会被近邻能量较小的轮廓代替,造成识别结果产生跳跃式误差。因此,在实际拍摄中应尽量选择纯净的背景环境以减少噪声干扰。
1) 提出N近邻最小能量搜索方法进行输电塔ROI轮廓提取,该方法具有较高的鲁棒性和实时性。
2) 与灰度模板匹配方法相比,ROI关键点法的平均误差、均方根误差分别降低了约56%和45%,绝对误差小于5 mm的准确率提高了61%,在测量精准度方面具有明显的优势。在计算实时性方面,ROI关键点法计算效率为灰度模板匹配方法的11倍,性能提升明显。
3) 对比了3组台架实验,ROI关键点法的平均误差和均方根误差均保持在1~2 mm之间,准确率和分别在92%和99%以上,误差较小,且稳定性较好。
4) 施加白噪声后,ROI关键点法的位移测量值与激光测距值吻合良好。当施加,的白噪声时,其测量结果基本不受影响;当时,仍能保证一定的准确率。
5) 通过实际实验塔对ROI关键点法进行验证,其位移测量值与实际差值在0~27 mm之间,差值百分比在0.0%~11.1%之间,大多数在5%附近。因此,本研究方法在实际输电塔位移识别中具有较高的精确度,可用于实际输电塔结构的位移检测。
参考文献
张硕. 基于中心帧差法的输电塔结构振动位移响应识别及应用[D]. 哈尔滨: 东北林业大学, 2021. [百度学术]
FEI Q G, ZHOU H G, HAN X L, et al. Structural health monitoring oriented stability and dynamic analysis of a long-span transmission tower-line system[J]. Engineering Failure Analysis, 2012, 20: 80-87. [百度学术]
曹苏岳. 基于结构健康监测系统的输电塔损伤分析[D]. 北京: 华北电力大学, 2016. [百度学术]
MA J, LU B, ZHANG T, et al. Structural health monitoring of transmission tower based on inclinometer sensing system[C]∥ Proceedings of Health Monitoring, Structural and Biological Systems. XV, Washington: SPIE, 2021: 115930. [百度学术]
刘建军, 夏开全, 王景朝, 等. 基于光纤光栅的输电塔健康监测与试验研究[C]∥ 2010国际遥感会议(ICRS 2010)论文集. 杭州: SPIE, 2010: 264-267. [百度学术]
YE X W, DONG C Z, LIU T, et al. A review of machine vision-based structural health monitoring: methodologies and applications[J]. Journal of Sensors, 2016, 2016: 7103039. [百度学术]
SABATO A, NIEZRECKI C, FORTINO G. Wireless MEMS-based accelerometer sensor boards for structural vibration monitoring: a review[J]. IEEE Sensors Journal, 2017, 17(2): 226-235. [百度学术]
叶肖伟, 董传智. 基于计算机视觉的结构位移监测综述[J]. 中国公路学报, 2019, 32(11): 21-39. [百度学术]
YE Xiaowei, DONG Chuanzhi. Review of computer vision-based structural displacement monitoring[J]. China Journal of Highway and Transport, 2019, 32(11): 21-39.(in Chinese) [百度学术]
YE X W, DONG C Z, LIU T. Image-based structural dynamic displacement measurement using different multi-object tracking algorithms[J]. Smart Structures and Systems, 2016, 17(6): 935-956. [百度学术]
TANG Z J, ZHANG X Q, DAI X. Color image feature extraction for robust hash[J]. Energy Procedia, 2011, 13: 5408-5414. [百度学术]
郑庆庆. 纹理特征提取及其在图像分割中的应用研究[D]. 武汉: 华中科技大学, 2011. [百度学术]
GUEGUEN L, PESARESI M. Multi scale harris corner detector based on differential morphological decomposition[J]. Pattern Recognition Letters, 2011, 32(14): 1714-1719. [百度学术]
JIANG Y, WANG P, GAO H, et al. Study on the method for removing boundary burr based on relevance of chain code[C]∥ SHE G, HUANG X. Advanced Research on Electronic Commerce, Web Application, and Communication. Berlin: Springer, 2011: 188-194. [百度学术]
BATISTA J, FREITAS R. An adaptive gradient-based boundary detector for MRI images of the brain[C]∥ Seventh International Conference on Image Processing and Its Applications.Manchester: IEEE, 1999: 440-444. [百度学术]
陈长伟. 基于角点检测与SIFT算法的快速匹配方法[J]. 计算机应用与软件, 2014, 31(7): 214-216, 220. [百度学术]
CHEN Changwei. A fast matching algorithm based on corner detection and SIFT algorithm[J]. Computer Applications and Software, 2014,31(7):214-216, 220.(in Chinese) [百度学术]
李静, 陈桂芬, 丁小奇. 基于改进Canny算法的图像边缘检测方法研究[J]. 计算机仿真, 2021, 38(4): 371-375. [百度学术]
LI Jing, CHEN Guifen, DING Xiaoqi. Research on image edge detection method based on improved Canny algorihm[J]. Computer Simulation, 2021, 38(4): 371-375.(in Chinese) [百度学术]
黄海龙, 王宏, 郭璠, 等. 一种基于数学形态学的多形状多尺度边缘检测算法[J]. 东北大学学报(自然科学版), 2010, 31(10): 1483-1486. [百度学术]
HUANG Hailong, WANG Hong, GUO Fan, et al. A multi-shape and multi-scale edge detection algorithm based on mathematical morphology[J]. Journal of Northeastern University (Natural Science), 2010, 31(10): 1483-1486.(in Chinese) [百度学术]
FENG M Q, FUKUDA Y, FENG D, et al. Nontarget vision sensor for remote measurement of bridge dynamic response[J]. Journal of Bridge Engineering, 2015, 20(12): 04015023. [百度学术]
KHUC T, CATBAS F N. Computer vision-based displacement and vibration monitoring without using physical target on structures[J]. Structure and Infrastructure Engineering, 2017, 13(4): 505-516. [百度学术]
OTSU N. A threshold selection method from Gray-Level histograms[J]. IEEE Transactions on Systems, Man, and Cybernetics, 1979, 9(1): 62-66. [百度学术]
SUZUKI S, BE K. Topological structural analysis of digitized binary images by border following[J]. Computer Vision, Graphics, and Image Processing, 1985, 30(1): 32-46. [百度学术]
HARRIS C, STEPHENS M. A combined croner and edge detector[C]∥Proceedings of the Alvey Vision Conference. Taylor: AVC, 1988: 147-151. [百度学术]
KHUC T, NGUYEN T A, DAO H, et al. Swaying displacement measurement for structural monitoring using computer vision and an unmanned aerial vehicle[J]. Measurement, 2020, 159: 107769. [百度学术]