本文针对风电叶片内腔结构复杂、缺陷种类多样、难以准确检测等问题，提出了改进的单次多边界框检测器（SSD）缺陷检测算法，并提出3方面改进：通过将SSD基础网络由可变形卷积神经网络（VGG-16）变成残差网络（ResNet101）以优化预测边界框的回归和分类任务的输入特征；通过加入全卷积空间注意力模块（FCSE）使模型更加关注重要特征，从而提高检测的准确性；通过在损失函数中添加超参数来控制平滑区域，使模型更加稳定。
风电叶片作为风力发电机组的主要核心部件，长期在高空、恶劣的环境中运行，易受到风力、温差、雷击、腐蚀等因素的影响，导致叶片内腔出现裂纹、脱层、开孔等缺陷，严重时会威胁风电机组的安全性和可靠性，其性能和寿命直接影响风电场的运行效率和经济效益（图1）。
因此，对风电叶片内腔进行定期检测和维护，及时发现和修复缺陷，是保障风电场正常运行的重要措施。
图1 风电叶片破损危害目标检测是计算机视觉技术的重要应用方向，其旨在识别图像中的不同目标并给出目标的位置和类别。
卷积神经网络（convolutional neural network，CNN）是一种深度学习模型，可有效提取图像特征并用于目标检测。
基于CNN的目标检测主要分为两阶段方法和单阶段方法。
两阶段方法的原理是先生成候选区域，再对候选区域进行分类和回归，典型代表有RCNN系列（RCNN、Fast-RCNN、Faster-RCNN、Mask-RCNN等）；单阶段方法的原理是直接在整个图像上进行分类和回归，典型代表有YOLO系列（YOLO、YOLOv2、YOLOv3等）和SSD系列（SSD、DSSD等）。
单阶段目标检测方法YOLO系列具有速度快、实时检测等优点，缺点是准确率较低、漏检率高；单次多边界框检测器（single shot multibox detector，SSD）算法平衡了速度和准确率，且能够检测多尺度的物体，但该算法不能充分利用高层语义信息，对于小目标检测效果不够好。
为改善SSD算法针对小尺度目标检测效果不佳的情况，相关研究人员对SSD算法进行了改进。
国外的研究主要集中在以下方面：一是改变基础网络，使用更深层的网络结构来提取更丰富的特征，如DSSD使用残差网络（residual network，ResNet101）代替可变形卷积神经网络（visual geometry group-16，VGG-16）；二是增加特征融合模块，将不同层次的特征图进行有效结合，以增强特征表示能力和检测精度，如RSSD使用特征连接模块，FSSD使用双向连接模块；三是引入注意力机制，使模型能够自适应地关注重要的区域和特征，从而提高检测的准确性和鲁棒性，如ASSD使用空间注意力模块。
国内的研究主要集中在以下方面：一是利用声发射技术来检测风电叶片缺陷，该技术能够实时监测叶片内部的微小裂纹和脱层等缺陷；二是系统梳理了风电叶片检测技术的发展现状和趋势，分析了光电类检测技术和光纤检测技术的优缺点和应用场景；三是评估了风电叶片典型缺陷对叶片性能的影响，并利用小波包分析和BP神经网络实现了对缺陷类型的模式识别。
通过对国内外相关研究的分析可以看出，目前基于SSD算法的风电叶片内腔缺陷检测技术还存在以下3个问题：一是基础网络结构过于复杂，导致模型参数量大、计算量高、存储需求高；二是注意力机制没有充分考虑风电叶片内腔结构的特点，导致模型不能有效地区分背景和目标；三是损失函数没有合理地平衡回归和分类任务之间的权重，导致模型训练不稳定。
针对这些问题，本研究提出改进的SSD缺陷检测算法，并从基础网络、注意力机制及损失函数3个方面对原算法进行改进，以提升风电叶片内腔缺陷的检测效果，同时兼顾检测速度。
1 SSD算法SSD是一种目标检测算法，属于单阶段方法，即在单个网络中完成检测任务。
SSD算法的主要特点是采用多尺度特征图用于检测，采用卷积进行检测，采用先验框匹配真实框。
其主要思想是使用CNN提取特征，在图片的不同位置均匀地进行密集采样。
SSD算法可以使用不同的比例进行采样，同时进行目标分类和边界框回归。
SSD模型整体架构如图2所示，其采用的骨干网络是VGG网络。
SSD借鉴了Faster-RCNN的“anchor”机制，即一个具有可调位置和大小的框。
SSD利用不同深度的多尺度特征图来检测不同大小的目标。
对于小目标，使用分辨率较高的浅层特征图，并在特征图上设置小的先验框；对于大目标，使用分辨率较低的深层特征图，并在特征图上设置大的先验框。
图2 SSD网络结构SSD的默认框生成规则如下：模型使用conv4的第3个卷积及conv7、conv8、conv9、conv10、conv11的第2个卷积的特征进行进一步卷积以获得预测结果。
每个n×n大小的特征图都有n×n个特征图单元，它们生成几个固定大小的默认框。
单个特征图单元生成的默认框数量因不同的特征图而异，默认框的形状根据默认框边长与原始图像边长之比和长宽比确定，以每个特征图单元为中心，生成一系列默认框。
2 改进SSD算法为满足风电叶片内腔缺陷检测的实际需求，平衡SSD模型的检测速度和准确性，提出一种基于改进SSD模型的风电叶片内腔缺陷检测算法。
首先，将基础网络由VGG-16更改为ResNet101，以提高特征提取能力和泛化性能，同时减少模型参数和计算量，加快检测速度和降低内存占用；其次，在传统SSD中添加了全卷积空间注意力模块（fully convolutional spatial excitation，FCSE），以提高模型的检测精度；最后，在损失函数部分，添加超参数来控制平滑区域，使模型更加稳定。
2.1 SSD网络框架改进ResNet是一种深度残差网络，其结构包括恒等映射和残差映射2种映射方式。
其中恒等映射是直接跳过2个权重层，而残差映射则是通过2个权重层，最终输出y=F(x)+x。
如果网络已经达到最优状态，继续加深网络，残差映射将被忽略，只剩下恒等映射，这样可以保持网络处于最优状态，并且随着深度的增加，网络性能会逐渐提高。
本研究采用ResNet101，其网络结构如图3所示，使用第1个1×1卷积将当前特征图的维度降低到64维，最后通过1×1卷积将其恢复到原始维度。
使用ResNet可以将参数计算量降低至原来的1/17，此外可优化SSD算法性能，使其可以处理更复杂的任务，提高SSD模型的检测速度和准确性。
图3 ResNet101网络结构ResNet101使用残差块来解决梯度消失问题，使其在训练时更加稳定。
在选择ResNet101网络替换VGG-16网络后，原SSD网络框架变为图4所示结构。
图4 基于ResNet改进的SSD网络结构本研究对SSD网络框架的主要改动是将基础网络由VGG-16更改为ResNet101。
VGG-16是一种经典的卷积神经网络，其结构简单，但参数量较大，计算量较高，容易出现梯度消失和过拟合等问题。
ResNet101使用1×1卷积来降低和恢复特征图的维度，使网络更加轻量化和高效，使用ResNet101作为基础网络，可以提高特征提取能力和泛化性能，同时减少模型参数和计算量，加快检测速度和降低内存占用。
2.2 注意力机制改进FCSE模块是一种全卷积的压缩激励模块，可以增加SSD模型中有缺陷区域所在的特征图通道的权重，从而提高模型的检测精度。
SEnet在卷积层后添加了squeeze-and-excitation操作，以确定特征映射通道的权重，并增强在特征映射中起到积极作用的通道的权重，在同时保证SSD模型高速检测的条件下，该模块可以提高模型的检测精度。
为了提高模型对信息特征的敏感度，SE模块被添加到所有卷积层的额外特征层之后。
如图5所示，SE块由squeeze和excitation组成。
图5 FCSE模块卷积层的输出是一个W×H×C大小的特征图，然后进行squeeze-and-excitation操作。
这个操作可以增强特征图中有缺陷区域的权重，从而提高模型的检测准确率。
在squeeze压缩部分，由于卷积层的输出X是一个多通道的特征图，通过压缩操作得到每个通道的图片平均特征值Z，压缩操作的公式为在squeeze压缩操作之后，需要进行excitation激励操作，该操作由2个全连接层组成，以获取所有通道的依赖关系。
激励操作的输出值S计算方式为式中，W是全连接层参数，W1是第1个全连接层参数，W2是第2个全连接层参数，σ1(⋅)是ReLu激活函数，σ2(⋅)是Sigmoid激活函数，C是通道数。
为了减少模型的参数，使用2个卷积层conv1和conv2代替上述2个全连接层，形成FCSE模块。
将通过FCSE模块的输出应用到最初卷积层的输出X，得到最终输出Y式中，Sc为压缩激励模块的增益，Xc为最初的卷积层的输出，通过压缩激励模块增强在特征映射中起到积极作用通道的权重，提高模型的检测精度。
2.3 损失函数改进SSD模型框架在训练模型之前，每个预测边界框都会被标记为2种类型的标签。
其中一个标签表示预测边界框中包含的目标类别，另一个标签表示实际边界框相对于预测边界框的偏移量。
当模型训练时，模型首先生成一些预测边界框，并为这些边界框分别预测所含目标的类别以及相对于实际边界框的偏移量，然后模型使用交并比来衡量实际边界框和预测边界框之间的相似度，最后使用非极大值抑制方法来过滤多余的预测边界框，最终产生最相似的预测边界框。
交并比O的计算方法为式中，a和b分别表示不同的边界框，a∩b表示交集，a∪b表示并集。
偏移量R的计算公式为式中，边界框a的中心坐标为（xa，ya），边界框的宽度和高度分别为wa和ha，其分配的真实边界框b的中心坐标为（xb，yb），边界框的宽度和高度分别为wb和hb。
常量的默认值为μx=μy=μw=μh=0，σx=σy=0.1，σw=σh=0.2。
SSD在训练模型时使用2个损失函数，一个用于预测边界框类别的损失，另一个用于测试正类预测边界框的偏移量的损失。
本研究使用交叉熵损失函数，总体损失函数由位置损失和置信度损失的加权和表示式中，N为匹配真实边界框的数量，l为预测边界框，g为真实边界框，c为每个类别的置信度，α是一个权重参数，通常设置为1。
总体损失函数的2个组成部分位置损失函数和置信度损失函数需要分别计算，公式如（8）和（9）所示式中，表示匹配真实类别的回归预测边界框，计算方法如下式中，cx，cy，w，h分别表示预测边界框的坐标和宽高，和分别表示宽高缩放因子，表示偏移大小。
SSD模型框架的损失函数是用L1范数来进行平滑处理，本研究在损失函数中添加了一个超参数来控制平滑区域，修改后的损失公式为式中，σ是添加的超参数，当σ较大时，损失函数类似于L1范数损失。
当σ较小时，损失函数更加平滑，如图6所示。
图6 模拟不同超参数σ对改进的SSD损失函数的影响当风电叶片缺陷检测中的真实框回归到预测框时，改进的损失函数可以更快地降低损失，这种改进加速了目标训练，提升了目标检测预测精度并缩短训练时间。
2.4 风电叶片缺陷检测通过SSD算法的改进，从理论上提高了对风电叶片缺陷检测的能力。
检测的主要步骤如下，首先，使用ResNet101作为基础网络，对输入的风电叶片图像进行特征提取，得到不同深度和分辨率的特征图；其次，在每个特征图上生成一系列默认框，并预测其包含目标的置信度和相对于真实边界框偏移量，其中包含经过人工标注的叶片缺陷；再次，使用FCSE模块对每个特征图进行注意力机制处理，使模型更加关注重要的区域和特征；然后，使用交并比来衡量每个默认框与真实边界框之间的相似度，并根据阈值来判断是否匹配；最后，使用改进损失函数来计算位置损失和置信度损失，并通过反向传播和梯度下降来更新网络参数。
通过这些步骤，本研究提出的改进算法可以有效地找出风电叶片内腔中存在的各种缺陷，如褶皱、脱落、漏光等，并给出其位置和类别。
本研究的算法相比于传统SSD模型和其他基于SSD框架的主流模型，在检测精度、速度、参数量等方面都有明显优势。
3 实验结果与分析3.1 实验平台为验证改进模型的检测效果及检测速度，搭建了实验平台并进行实验验证，实验平台软硬件配置如表1所示。
表1 实验平台软硬件配置3.2 数据集准备首先，采用无人机或者特殊作业机器人采集风电叶片内腔图片或影像，在采集时尽量保证图像的清晰度和光照条件（图7）。
其次，对图像数据进行预处理，包括裁剪、旋转、缩放、去噪等操作，以提高图像的质量和一致性；由专业人员对采集的图像数据进行标注，使用工具如LabelImg或LabelMe，将风电叶片内腔的缺陷区域用矩形框或多边形框标出，并给出相应的类别标签，如褶皱、脱落、漏光等。
再次，对图像数据进行增强，使用方法如翻转、旋转、平移、缩放、裁剪、亮度调整、对比度调整、噪声添加等，以扩大数据集的规模和多样性，防止过拟合现象。
最后，对图像数据进行划分，按照8∶1∶1的比例将数据集分为训练集、验证集和测试集，用于训练、评估和测试模型的性能。
图7 某叶片内腔缺陷图片3.3 模型训练本研究采用的模型训练参数设置为，学习率设置为0.02，权重衰减为0.0001，动量为0.9，训练轮数设置为20，每个GPU同时处理的图片数为4，每个GPU使用的线程数为4。
3.4 评价指标为评价模型的检测效果，在数据分析阶段采用了参数量、平均精度（mean average precision，mAP）和每秒帧数（frames per second，FPS）3个指标进行评价。
其中，参数量反映模型的复杂度，越少越简单；FPS反映模型的检测速度，越高越快；mAP反映模型的检测精度，该值越高越好，计算过程为式中，TP表示正确检测的样本数，FP表示错误检测为正样本的样本数，FN表示错误检测为负样本的样本数，P表示检测准确率，R表示检测召回率，AP表示每一个类别的平均精度，N表示分类的数量。
3.5 消融实验通过5组消融对比实验来验证本研究提出的改进SSD算法的检测效果，具体如下：实验一采用传统的VGG-16网络结构的SSD算法模型；实验二将VGG-16网络结构更新为ResNet101网络结构；实验三在实验二的基础上增加了FCSE全卷积压缩激励模块；实验四在实验二的基础上改进了损失函数，添加了一个超参数控制平滑区域；实验五采用了本研究提出的完整改进方法（表2）。
表2 消融实验对比实验一和实验二比较了VGG和ResNet两种基础模型的性能，结果显示，ResNet的检测精度mAP比VGG高6.7个百分点，但检测速度FPS比VGG低13.9个单位，说明ResNet在目标检测任务上有更好的表现。
ResNet的核心思想是让网络层学习到输入与输出之间的残差映射，而不是直接学习一个映射，残差块的快捷连接提供了一条没有权重的直接路径，可以使梯度直接流过多个层，从而降低梯度消失或爆炸的风险，由于残差学习框架的引入，可以训练更深的网络而不会出现性能下降，更深的网络意味着可以学习更复杂的特征表示，对于提高目标检测任务的精度（mAP）非常有帮助，但同时也需要更多的计算资源。
实验二和实验三比较了是否使用FCSE的影响，结果显示，使用FCSE可以将mAP提高1.2个百分点，但FPS降低2.5个单位。
FCSE模块通过全卷积网络对特征图进行压缩和激励，强化了模型对重要特征的学习能力，该模块通过聚焦于信息丰富的特征，减少了冗余信息的干扰，从而提高了特征的表达能力，FCSE模块使模型能够更加精确地定位和识别目标，使mAP提升1.2个百分点，虽然不是巨大的提升，但在高水平的竞争中，同样具有统计学意义。
FPS的下降表明了计算复杂度的增加，在实时或需要快速响应的应用场景中，这可能是一个需要考虑的因素，FPS降低2.5个单位可能会影响到模型在实际部署时的响应速度，因此需要权衡精度和速度的需求。
实验二和实验四比较了是否使用改进损失函数的影响，结果显示，改进损失函数可以使mAP提高0.6个百分点，同时使FPS提高1.7个单位。
改进损失函数通过对原有损失函数的调整，引入超参数，可以微调模型对于不同任务的敏感度，从而在精度和速度之间找到更好的平衡点，即使mAP有0.6个百分点的提升，对于某些应用也是显著的，特别是在高精度要求的场景下，FPS提升1.7个单位可使模型在有限的硬件资源上运行得更加流畅。
实验五是本研究提出的完整改进方法，结果显示，mAP达到了所有实验中最高的83.6%，但FPS略低于实验四。
这说明FCSE和改进损失函数可以相互配合提升网络性能，但也需要在速度和精度之间折中平衡。
3.6 对比试验为对比本研究提出的方法与传统SSD方法以及其他基于SSD的改进方法（ASSD、DSSD、FSSD）的检测效果，在自建数据集上对小尺度缺陷检测以及整体数据集检测效果进行了2项试验对比。
通过在小尺度缺陷目标检测数据集上的对比实验（表3）可以看出，本研究方法在所有类别上都取得了最高的检测精度，表明算法对于细微特征的捕捉能力更强，本研究方法得到了最高mAP，表明在不同类型的小尺度缺陷检测上具有一致的性能，这是鲁棒性的体现，说明本模型对小尺度缺陷检测具有较强的鲁棒性。
表3 小尺度缺陷目标数据集检测效果对比实验通过本研究改进算法与其他方法的对比实验可以发现（表4），本模型整体数据集检测效果优于其他模型，说明本模型具有较好的泛化能力，泛化能力的提升意味着模型在面对未见过的小尺度缺陷时也能保持较高的检测准确率。
本模型在参数量上远低于其他方法，能够有效降低模型复杂度和存储需求；得到的平均检测精度mAP高于其他方法，相比于传统SSD方法提升9.4个百分点；检测速度FPS值稍低于SSD和FSSD方法，但是高于ASSD和DSSD方法，仍能达到实际工作中检测速度的要求。
表4 整体数据集检测效果对比实验通过图8和图9的检测结果对比可以看出，本研究的改进算法相比SSD方法在风电叶片内腔小缺陷的识别以及整体检测精度上都有较明显的提升，可以准确检测出小尺度缺陷，这在风电叶片内腔缺陷检测中尤为重要。
图8 内腔小缺陷识别检测结果对比图9 叶片整体检测结果对比4 结论通过将SSD算法的基础网络由原来的VGG-16结构优化为ResNet101结构，可以训练更深的网络，并解决梯度消失的问题，因该结构参数量更少，可以使检测准确率和训练速度同步提升；在加入FCSE注意力模块后，可对输入特征图进行通道特征加强，从而提高模型的感知能力和泛化能力；在损失函数方面，通过添加超参数来控制平滑区域，避免过拟合或欠拟合，使模型更加稳定。
实验结果表明，改进后的模型相较于原SSD模型mAP提升了9.4个百分点，同时对风电叶片的小缺陷目标检测效率也有了明显提升，可以较好地满足风电叶片内腔缺陷检测各类工况实际应用需求。
作者简介：郭贺，上海发电设备成套设计研究院有限责任公司，高级工程师，研究方向为新能源提质增效技术、电力电子和电气传动、电力系统自动化及核电1E级电气设备鉴定。
原文发表于《科技导报》2024年第9期，欢迎订阅查看。
内容为【科技导报】公众号原创，欢迎转载白名单回复后台「转载」☟《科技导报》创刊于1980年，中国科协学术会刊，主要刊登科学前沿和技术热点领域突破性的成果报道、权威性的科学评论、引领性的高端综述，发表促进经济社会发展、完善科技管理、优化科研环境、培育科学文化、促进科技创新和科技成果转化的决策咨询建议。
常设栏目有院士卷首语、智库观点、科技评论、热点专题、综述、论文、学术聚焦、科学人文等。
《科技导报》微信公众平台创建于2014年，主要刊登《科技导报》期刊内容要点，报道热点科技问题、科技事件、科学人物，打造与纸刊紧密联系又特色鲜明的新媒体平台。
科技导报公众号聚集了数万名专心学术的未来之星和学术大咖，添加编辑微信，让优秀的你有机会与志趣相同的人相遇。
