基于改进Faster R鄄CNN 的钢材表面缺陷检测方法

JournalofJilinUniversity(InformationScienceEdition)Vol.39摇No.4

July2021

文章编号:1671鄄5896(2021)04鄄0409鄄07

基于改进FasterR鄄CNN的钢材表面缺陷检测方法

杨摇莉,张亚楠,王婷婷,刘添翼

(东北石油大学电气信息工程学院,黑龙江大庆163318)

摘要:针对传统FasterR鄄CNN(Region鄄ConvolutionalNeuralNetworks)检测钢材表面小目标性缺陷性能差的问题,提出了一种基于改进FasterR鄄CNN的钢材表面缺陷检测方法。首先引入导向锚点候选区域网络(GA鄄RPN:GuidedAnchoringRegionProposalNetwork)预测锚点的位置和形状,设计可调节机制解决网络锚点形状偏移量超出感兴趣区域的问题,从而解决无关特征的影响;其次,提出多任务FPN(FeaturePyramidNetwork)结构缩短高层特征定位信息映射路径,并能解决相邻层特征融合再采样的不充分特征融合,提高小目标检测性能。将改进的FasterR鄄CNN算法应用于钢材表面缺陷检测。仿真结果表明,改进的网络其召回率与准确率都得到提高,具有更好的检测性能。

关键词:钢材表面缺陷;神经网络;小目标检测;特征融合中图分类号:TP273

文献标识码:A

NewMethodforSteelSurfaceDefectDetectionBasedonImprovedFasterR鄄CNN

(CollegeofElectricalEngineeringandInformation,NortheastPetroleumUniversity,Daqing163318,China)

YANGLi,ZHANGYanan,WANGTingting,LIUTianyi

Abstract:AimingattheproblemofpoorperformanceoftraditionalFasterR鄄CNN(Region鄄ConvolutionalNeuralNetworks)indetectingsmalltargetdefectsonsteelsurface,anewmethodforsteelsurfacedefectdetectionbasedintroducedtopredictthepositionandshapeoftheanchorpoints,andanadjustablemechanismisdesignedtosolvetheproblemthattheshapeoffsetofnetworkanchorsexceedtheregionofinterest,therebysolvingtheonimprovedFasterR鄄CNNisproposed.First,theGA鄄RPN(GuidedAnchoringRegionProposalNetwork)isinfluenceofirrelevantfeatures.Then,amulti鄄taskFPN(FeaturePyramidNetwork)structureisusedtoshorten

thehigh鄄levelfeaturelocationinformationmappingpath,andcansolvetheinsufficientfeaturesfusionofadjacentshowthattherecallrateandaccuracyofthenetworkareimproved.Therefore,thismethodhasbetterperformanceandcaneffectivelydetectsteelsurfacedefects.

Keywords:surfacedefectsofsteel;neuralnetwork;smalltargetdetection;featurefusion

layersfeaturesfusionandre鄄sampling,andtoimprovetheperformanceofsmalltargetdetection.Theresults

0摇引摇言

目前由于钢材产量的快速增长和检测技术的不完善,其表面的任何缺陷,比如残缺、变形等不仅影响

其质量性能,而且还影响企业的形象及产品美观。人工检测是生产过程中最常见的一种传统检测方法,由于缺陷类型的多样性与相似性对员工的敬业度与检测水平有着巨大的考验,而且对于企业,效率与成本

收稿日期:2020鄄09鄄12

基金项目:国家自然科学基金资助项目(51404073);黑龙江省自然科学(青年)基金资助项目(QC2017043);中国博士后科学基金资

助项目(2018M630335);黑龙江省博士后面上(一等)基金资助项目(LBH鄄Z19008);2017年度东北石油大学国家基金培育基金(自然科学类)青年重点基金资助项目(2017PYQZL鄄15);东北石油大学省杰青后备人才基金资助项目(SJQH202002)

作者简介:杨莉(1979—摇),女,黑龙江大庆人,东北石油大学副教授,主要从事人工智能研究,(Tel)86鄄13634663592(E鄄mail)

19696163@qq.com。

410

吉林大学学报(信息科学版)第39卷

更是一个极其敏感的问题,因此人工检测方法不能完全保证检测的稳定性与准确性。而机器视觉则具有稳定、安全、高效、实时和准确等多种优势,该检测方法是企业实现自动化、智能化的有效方式之一[1鄄2]。随着人工智能的迅速发展与深度学习算法的日益成熟,卷积神经网络在人脸识别、图像分类、目标检测等方面具有更加优异的性能比[3鄄4],可以将低层的特征数据提取抽象化为高层的特征表示。边栋梁[5]通过卷积神经网络模型对钢材表面粗糙度的分类准确率高达100%。钢材检测需要网络的加深获得更多的目标特征信息,但随着网络的加深容易导致梯度消失以及梯度爆炸。Wu等[6]通过残差块(ResidualBlock)构建的残差网络(ResNet)突破了网络深度的问题。基于深度学习的目标检测算法主要分为两大类:一类是基于区域建议的二阶段目标检测算法,如SPP鄄Net(SputialPgramidPooling鄄Network)[7]、FastR鄄CNN(Region鄄ConvolutionalNeuralNetworks)[8]、FasterR鄄CNN[9];另一类是基于回归的单阶段目标检测,如YOLO[10]、SDD(ScitehDisplayDoctor)[11]、Retinanet[12]。与二阶段目标检测相比,单阶段目标检测无需提取候选区域,虽然在速度上有很大提升,但检测精度偏低。由于钢材表面缺陷检测精度要求较高,为更好地平衡精度与速度,Cha等[13]用FasterR鄄CNN对钢材裂缝等多种缺陷类型进行检测。该方法首先通过卷积网络进行特征提取,然后通过RPN生成高质量的预选区域,比基于CNN模型有更良好的检测性能,但在训练过程中产生的锚点大多数是无用的,因此网络做了很多的无用计算。软非极大值抑制(Soft鄄NMS:SoftNon鄄Maximum积,将每个采样点增加偏移量(OffsetField)实现任意形状的感兴趣区域;Dong等[16]利用非局部块(Non鄄Suppression)[14]算法可以在候选框进行分类时去除多余的检测框;邓志鹏等[15]利用可形变卷积代替传统卷LocalBlock)捕捉交通监控图像时间、空间上的依赖关系;张珹[17]用GA鄄RPN代替传统RPN提升固件装置的识别效果。Ren等[18]在FasterR鄄CNN引入区域建议网络(FPN:FeaturePyramidNetwork)可以提高图像中的小目标检测率,但FPN底层与高层之间的路径太远,从而影响高层特征样本的定位,同时相邻卷积层融合再采样的融合方式鲁棒性能不强。而Liu等[19]提出的PANet是在FPN的基础上通过增加由底层向上层的路径,从而可以利用浅层的精准定位信息的优点,但未能考虑融合再采样的不充分特征融合。通过比较相关学者的方法以及存在的不足,笔者提出了一种改进FasterR鄄CNN检测方法,通过引入GA鄄RPN代替RPN,加入可调节机制增强形变卷积的效果,并通过提出的多任务FPN不仅可以缩短浅层与高层之间的路径,而且能更有效地融入各层次之间的信息。

1.1摇网络结构

1摇识别方法与网络结构模型

笔者采用ResNet鄄101卷积神经网络结构,根据残差模块将网络结构分为5个卷积阶段,图1为改进后的FasterR鄄CNN网络结构图。首先输入图像通过卷积神经网络进行特征提取;其次在特征融合过程中,多任务FPN将每个阶段最后一层的特征图进行融合,并将得到的特征图输送到GA鄄RPN中生成稀疏形状自适应锚点,同时加入可调节机制优化感兴趣区域(ROI:RegionsOfInterest);最后将生成的ROIs映射到特征图中产生候选框。而传统RPN则是将特征图每个点作为中心点,经过3伊3卷积将根据设置3种大小规格和将候选框区域提取并固定大小为7伊7,再通过两层全连接层进行定位和分类。

3种不同的长宽比得到9个矩形的锚点,缺点是产生了很多无用的锚点。RoIAlign为感兴趣区域池化层,

1.2摇可调节机制

Fig.1摇Structureofnetwork

图1摇网络结构

笔者针对传统RPN产生大量无用锚点,而增加计算消耗问题,引入GA鄄RPN代替RPN生成高质量、

第4期杨莉,等:基于改进FasterR鄄CNN的钢材表面缺陷检测方法

411

低密度的检测框以提高召回率。GA鄄RPN主要分为两个部分:利用图像特征预测中心区域区分正负样本以及预测锚点的形状。图2为正负样本区域比例图,利用ROI重映射规则,将每个人工标注检测框映射到不同的特征图,当标注检测框落入中心区域(C字母代表的矩形面积)则为正样本,当落入灰色部分(N代表的0.2,忽略区域占据比例设为0.5。锚点框进行回归前,首先计算每个位置的9个锚点与人工标注检测框的交并比(IOU:IntersectionOverUnion)值,将最大IOU值作为当前位置的锚点,并通过计算每个位置上的缩放系数预测最优的宽与高。

区域)则为负样本区域,I部分面积为忽略区域,该区域的样本不参与计算。笔者中心区域占据比例设为

虽然引入可变形卷积能更好地预测检测框形状,但其不仅会影响训练速度,而且还会使正样本采样点不能完全集合到感兴趣区域,为此,笔者引入可调节机制,通过权重稀释输入的采样点。在传统卷积过程中,输入特征图位置p的特征经过大小为k伊k的卷积核进行卷积,通过卷积得到的感兴趣区域都是矩形的,因此在同一层特征图中不同形状的物体经过同一个卷积显然是不合理的。可变形卷积可以通过学习到实数偏移量驻pk提高网络的形变建模能力,其中偏移量方向为两个维度(特征图宽度方向和长度方向),当偏移量超过样本的范围时,网络学习的特征将是错误的,通过引入可调节参数调节错误采样点。卷积过程如下

y(p)=

wk·x(p+pk移k=1

K

Fig.2摇Thearearatioofpositiveandnegativesamples

图2摇正负样本区域比例图

+驻pk)·驻mk(1)

其中k为卷积核采样位置个数,pk为卷积核中第k个位置上的数值,驻mk为在可变形卷积中增加的可调节参数,取值范围为[0,1],wk为采样点权重系数,y为输出,x为卷积函数。当可调节参数为0,可以强制性丢弃错误采样点,使网络更加灵活。

在使用Resnet鄄101提取特征时需要经过近百层的卷积,随着网络层数的增加,前景的语义信息容易

1.3摇多任务FPN

丢失,这对小目标检测非常不利。因此通过多尺度特征融合,将网络高层与低层特征相融合,但低层与高层之间距离过长会影响定位的精准性。因此笔者通过提出多任务FPN,结构如图3所示,左侧为FPN采样过程,其中C1~C5分别为5个阶段中最后一层特征图,由于C1尺寸过大,融合过程将占据很多显第1条路径为利用加权平均和算法将FPN输出的4层特征图融合,再通过文献[16]的非局部块进行去噪提纯处理,从而解决了FPN融合后再采样的融合不充分问题;第2条路径为下采样特征融合,用于缩短高层正样本映射到原图的信息路径。

存,因此将其舍弃,通过FPN将其融合得到{P2,P3,P4,P5}。多任务FPN在其基础上增加两条路径:

Fig.3摇Thesamplingprocessofmulti鄄taskFPN

图3摇多任务FPN采样流程

412

吉林大学学报(信息科学版)第39卷

1.3.1摇加权平均和与去噪提纯

通过卷积和池化采样进行特征提取,层数越高分辨率越低,将FPN中的{P2,P3,P4,P5}调整到相同尺寸。笔者采用的方法是当分辨率需要调小时,采用池化减小尺寸,反之用定位差值法将尺寸调大(去噪提纯阶段也采用此方法),之后进行加权平均,计算如下

1

P=移Pl

Ll=lmin

lmax

针对FPN融合再采样的不充分融合,笔者通过加权平均和算法将其优化,根据网络模型的特性,

(2)

其中L为总层数,Pl为l层,lmin和lmax分别为FPN中最低层特征图和最高层特征图,而笔者将4个层数调整成与P4大小相同的尺寸,然后进行加权平均和。将4层的特性有效地结合后需要进一步去噪提纯处理,在提取某处的特征时,非局部块可以利用其局部像素的相似度信息,通过卷积增大感受野以获取1伊1卷积计算某点的特征。计算方式如下

原图上更多的信息,而且不改变输入大小。利用度量函数f计算像素之间相似度,映射函数g(x)通过

yi=

1

移f(xi,xj)g(xj)C(x)j

(3)(4)

其中x为输入,y为输出,i,j则为某个空间位置,C(x)为归一化系数。度量函数如下

f(xi,xj)=hrelu(wTf[w兹xi,w滓xj])

其中hrelu为线性整流函数,wf为可以转化为标量的向量,w兹与w滓为权值参数。通过降噪算法可以集成

1.3.2摇下采样特征融合

更多的特征信息,之后重新调整与FPN中尺寸大小相等的4层特征图{G2,G3,G4,G5}。

笔者在FPN基础上引入一条低层向高层特征融合的路径。图4为下采样特征融合过程中计算示意

图,左侧为浅层向深层方向特征融合方式,其中没有对P2做任何处理,而右侧是融合过程示意图。FPN中深层进行空间大小为增加2倍的上采样,而笔者则采用低层进行3伊3卷积下采样,再与对应FPN的特征为了防止混叠效应的发生,融合后进行步长为1的3伊图进行融合,得到新的4层特征图{N2,N3,N4,N5},3卷积保证特征的稳定。在FPN融合过程中要经过上百层,显然影响回归定位的准确性,而笔者引入新的路径为9层,很大程度上缓解了定位信息丢失的问题。最后去噪提纯后的特征图逐元素对应相加,将两个分支的特征有效地融合。

Fig.4摇Theprocessoffeaturefusion

图4摇下采样特征融合过程

2摇实摇验

笔者将FasterR鄄CNN模型与改进后的网络模型分别对钢材表面缺陷进行检测,通过mAP值与检测实验均使用python3.7、PyTorch、cuda10.0和cudnn7.5作为深度学习库,显卡型号为NVIDA鄄2080ti。

速度两项指标进行评估,并将笔者的模型训练得到的分类、回归的各个损失值与准确率模拟合成曲线。网络输入图像短边像素为960,并将固定的均值和方差进行归一化处理,通过随机梯度下降法更新权重,其中学习率为0.001,动量参数为0.9,权重衰减为0.0005。在训练过程中批量batchsize设为1,训练次数epoch设为50,以提高性能。

笔者使用的钢板表层图像数据来源于N钢集团科技质量部,数据集共5405张像素大小为2560伊

2.1摇数据集

1920的图片,其中训练数据集4805张,测试集600张。通常认定小目标为低于图像分辨率0.15%[20],该数据集小目标的比例为74.95%。图5是抽取的一些样本,共有10种类型的缺陷,分别为不导电(DT0)、擦花(DT1)、角漏(DT2)、桔皮(DT3)、渗漏(DT4)、喷流(DT5)、漆泡(DT6)、起坑(DT7)、

第4期杨莉,等:基于改进FasterR鄄CNN的钢材表面缺陷检测方法

413

杂色(DT8)、脏点(DT9),其中数据集图像单缺陷4584张,多类缺陷821张。

2.2摇研究对比

Fig.5摇Typesofsteelsurfacedefects

图5摇钢材表面缺陷的类型

在完成网络的训练后,笔者的模型与FasterR鄄CNN进行对比,通过图6描绘出两种网路模型中每种

缺陷类型的召回率,IOU值设为0.5。五星折线代表FasterR鄄CNN训练结果,而圆点折线代表笔者改进模型。从图6中可以看出,FasterR鄄CNN中DT7(起坑)召回率很低,是由于起坑目标太小,导致正样本过少而负样本过多,而改进后的模型DT2、DT4、DT6、DT7等缺陷类型的召回率都得到很大的提升,其他缺陷类型也有不同程度的提升。

网络性能指标通过mAP(meanAveragePrecision)与检测速度进行评估,mAP由各类缺陷类型平均检测率(AP)之和除以总缺陷类型数10(10类钢材缺陷模型)计算得到。表1是笔者模型与FasterR鄄CNN性能对比表,可以看到FasterR鄄CNN的mAP值为0.630,0.863s,提高了0.233,这与提升的召回率有很大关联,虽然检测速度仍低于FasterR鄄CNN,但是在实际生产中相邻道次间钢材轧制的时间间隔最短也需要40s左右,因此本网络具有时效性。

单张图片检测时间为0.047s,改进网络mAP值为

摇图6摇各缺陷类型召回率

表1摇FasterRCNN与改进网络的性能对比Tab.1摇PerformancecomparisonofFaster

Network笔者

Fig.6摇Recallrateofeachdefecttype

RCNNandimprovednetwork

0.6300.863mAP

FasterR鄄CNN

Time(s/image)

0.0470.058

2.3摇训练损失值与准确率

在网络训练过程中,通过可视化损失值与准确率判断网络是否有效,如图7所示。

Fig.7摇Curvesoflossvalueandaccuracy

图7摇损失值与准确率曲线

414

吉林大学学报(信息科学版)第39卷

将网络中损失曲线与准确率可视化。图7a表明模型的损失值曲线低于FasterR鄄CNN,从图7b中可看出改进的网络模型准确率曲线较高,表明改进的网络训练方式更加有效,通过比较发现两者的损失值曲线开始大幅度下降之后逐渐收敛稳定,准确率曲线逐渐升高后也逐渐收敛,表明设置的参数合理。

3摇钢材检测效果

图8为网络对随机选取钢材表面缺陷图像的效果图,缺陷的位置由矩形框标记,并在左上角标出置

信度,图8a~图8d均为单一类缺陷的图像,而图8e、图8f为多类型缺陷检测效果图,从效果上都可以成功检测出缺陷位置与类型,说明该网络具有较强的检测能力。

4摇结摇语

Fig.8摇Imagesofsteelsurfacedefectdetection

图8摇钢材表面缺陷类型检测图

传统钢材表面缺陷检测由于依赖于人工检测的准确性,从而影响产品的质量性能和安全性,为此笔

者在FasterR鄄CNN的基础上,通过引入GA鄄RPN稀疏无用的检测框提高效率,在预测锚点形状的同时引入可调节机制增强网络的建模性能。并且提出的多任务FPN,不仅可以缩短低层与高层之间的路径,更好地保留定位信息,而且还能通过加权平均和可以更好地融合多层之间的信息。通过与FasterR鄄CNN对比,mAP提高0.233,在速度与精度方面也达到良好的平衡。今后将在这10种类型中提供更多的缺陷图像,通过训练网络,分析类型缺陷中的不良性能,对网络结构进一步优化。参考文献:

[1]KONGX,LIJ.ImageRegistration鄄BasedBoltLooseningDetectionofSteelJoints[J].Sensors,2018,18(4):1000.

CivilandInfrastructureEngineering,2018,33(9):783鄄799.AcquisitionandProcessing,2016,31(1):1鄄17.

[2]KONGX,LIJ.Vision鄄BasedFatigueCrackDetectionofSteelStructuresUsingVideoFeatureTracking[J].Computer鄄Aided[3]卢宏涛,张秦川.深度卷积神经网络在计算机视觉中的应用研究综述[J].数据采集与处理,2016,31(1):1鄄17.[4]周飞燕,金林鹏,董军.卷积神经网络研究综述[J].计算机学报,2017,40(6):1229鄄1251.

40(6):1229鄄1251.

LUHongtao,ZHANGQinchuan.ApplicationsofDeepConvolutionalNeuralNetworkinComputerVision[J].DataZHOUFeiyan,JINLinpeng,DONGJun.ReviewofConvolutionalNeuralNetwork[J].JournalofComputerScience,2017,

[5]边栋梁.利用光学方法检测表面粗糙度和表面缺陷的研究[D].南京:南京航空航天大学自动化学院,2019.

第4期杨莉,等:基于改进FasterR鄄CNN的钢材表面缺陷检测方法

415

BIANDongliang.StudyontheMeasurementofSurfaceRoughnessandSurfaceDefectsUsingOpticalMethod[D].Nanjing:[6]WUS,ZHONGS,LIUY.DeepResidualLearningforImageSteganalysis[J].MultimediaToolsandApplications,2018,[7]HEK,ZHANGX,RENS,etal.SpatialPyramidPoolinginDeepConvolutionalNetworksforVisualRecognition[J].IEEE[8]GIRSHICKR.(2015)FastR鄄CNN[C]椅2015IEEEInternationalConferenceonComputerVision(ICCV).Santiago,[9]RENS,HEK,GIRSHICKR,etal.FasterR鄄CNN:TowardsReal鄄TimeObjectDetectionwithRegionProposalNetworks[10]REDMONJ,DIVVALAS,GIRSHICKR,etal.YouOnlyLookOnce:Unified,Real鄄timeObjectDetection[C]椅[11]HEK,ZHANGX,RENS,etal.SpatialPyramidPoolinginDeepConvolutionalNetworksforVisualRecognition[J].IEEE[12]LINTY,GOYALP,GIRSHICKR,etal.FocalLossforDenseObjectDetection[J].IEEETransactionsonPatternAnalysis[13]CHAY,CHOIW,SUHG,etal.AutonomousStructuralVisualInspectionUsingRegion鄄BasedDeepLearningforDetecting[14]刘辉,彭力,闻继伟.基于改进全卷积网络的多尺度感知行人检测算法[J].激光与光电子学进展,2018,55(9):

318鄄324.

LIUHui,PENGLi,WENJiwei.Multi鄄ScaleAwarePedestrianDetectionAlgorithmBasedonImprovedFullConvolutionalNetwork[J].Laser&OptoelectronicsProgress,2018,55(9):318鄄324.

MultipleDamageTypes[J].Computer鄄AidedCivilandInfrastructureEngineering,2018,33(9):731鄄747.&MachineIntelligence,2017(99):2999鄄3007.

TransactionsonPatternAnalysisandMachineIntelligence,2015,37(9):1904鄄1916.

ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition.LasVegas:IEEE,2016:779鄄788.[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2017,39(6):1137.Chile:IEEE,2015:1440鄄1448.

TransactionsonPatternAnalysisandMachineIntelligence,2015,37(9):1904鄄1916.77(9):10437鄄10453.

CollegeofAutomationEngineering,NanjingUniversityofAeronauticsandAstronautics,2019.

[15]邓志鹏,孙浩,雷琳,等.基于多尺度形变特征卷积网络的高分辨率遥感影像目标检测[J].测绘学报,2018,

47(9):1216鄄1227.

DENGZhipeng,SUNHao,LEILin,etal.ObjectDetectioninRemoteSensingImagerywithMulti鄄ScaleDeformableConvolutionalNetworks[J].ActaGeodaeticaetCartographicaSinica,2018,47(9):1216鄄1227.

[16]DONGH,WENM,YANGZ.VehicleSpeedEstimationBasedon3DConvNetsandNon鄄LocalBlocks[J].FutureInternet,[17]张珹.高铁接触网支持装置紧固件识别与定位的深度学习方法[J].工程数学学报,2020,37(3):261鄄268.

Devices[J].JournalofEngineeringMathematics,2020,37(3):261鄄268.AppliedSciences,2018,8(5):813.2019,11(6):123.

ZHNAGCheng.DeepLearningMethodsforFastenerIdentificationandLocationofHighSpeedRailwayCatenarySupport

[18]RENY,ZHUC,XIAOS.SmallObjectDetectioninOpticalRemoteSensingImagesviaModifiedFasterR鄄CNN[J].[19]LIUS,QIL,QINH,etal.PathAggregationNetworkforInstanceSegmentation[C]椅ProceedingsoftheIEEEConference[20]李梦莹.复杂背景下的红外小目标检测算法研究[D].长春:吉林大学通信工程学院,2018.

CommunicationEngineerings,JilinUniversity,2018.

onComputerVisionandPatternRecognition.SaltLakeCity,UT,USA:IEEE,2018:8759鄄8768.

LIMengying.ResearchonInfraredSmallTargetDetectionunderVariousComplexBackgrounds[D].Changchun:Collegeof

(责任编辑:刘东亮)