【Engineering Applications of Artificial Intelligence 1区TOP】一种用于冷轧钢带表面缺陷检测的高效检测器

内容分享5天前发布
0 0 0

文章目录

一、论文信息摘要1. 引言2. 相关工作2.1. 轧制带钢表面缺陷数据集2.2. 检测器的多尺度特征增强
3. 基于冷轧现场的缺陷数据集建立3.1 数据采集3.2 数据集CR7-DET的建立
4. 方法论4.1. YOLOv5概述4.2. 提出的RTGL-YOLOv5s检测器4.2.1. 多尺度特征提取网络4.2.2. 设计的自适应特征融合PAN的架构4.2.3. Ghost卷积

5. 实验与讨论5.1. 训练细节5.2. 性能指标5.3. 模型参数的确定5.4. 实验结果5.5. 消融实验5.6. 与CR7-DET和GC10-DET上最先进方法的比较
6. 结论References

一、论文信息

论文题目: An efficient detector for detecting surface defects on cold-rolled steel strips中文题目:一种用于冷轧钢带表面缺陷检测的高效检测器发表期刊:Engineering Applications of Artificial Intelligence论文链接:点击跳转代码链接:/核心速览:冷轧钢带因表面精度高、尺寸稳定,广泛应用于汽车、家电等领域,但生产过程中易产生夹杂、凹坑、油斑等缺陷,严重影响产品质量。现有检测方法存在三大痛点:缺陷特征难区分、专用数据集稀缺、高速场景下精度与效率难以兼顾。
论文以 YOLOv5s 为基线,提出 RTGL-YOLOv5s 检测器:1)构建包含 7 类缺陷、4140 张图像的 CR7-DET 数据集;2)优化骨干网络,引入 Res2Net 特征提取模块(RC3)和多注意力模块(C3TR)增强特征捕捉;3)设计自适应特征融合网络(aff-PAN)与轻量化下采样模块(LAD)减少信息损失;4)采用 Ghost 卷积(GSConv)实现模型轻量化。
实验表明,该模型在 CR7-DET 数据集上 mAP 达 87.6%,参数仅 6.85M,FPS 74;在公开数据集 GC10-DET 上 mAP 79.7%,FPS 67,显著优于传统 YOLO 系列及 SOTA 方法,可有效降低工业废品率。

摘要

表面缺陷检测在冷轧钢带制造中至关重要,这是由于生产环境的复杂性和涉及的高速度。此外,冷轧钢带上的缺陷通常具有尺寸小、类型多样以及不同类型之间相似性高的特点,这在平衡检测精度和效率方面构成了重大挑战。为应对这些挑战,我们基于“You Only Look Once version 5(YOLOv5)”设计了一种检测器,以实现对冷轧钢带表面缺陷的精确检测。首先,我们构建了一个包含七种缺陷类型的数据集,命名为冷轧钢带缺陷数据集(CR7-DET)。其次,我们开发了一个基于单残差块内类残差连接(Res2net)的特征提取网络,以增强模型的特征提取能力,同时引入多头注意力模块来聚焦关键信息特征。为减少特征融合过程中的信息损失,我们构建了自适应特征融合路径聚合网络(aff-PAN),并通过设计轻量化自适应下采样模块(LAD)对其进行优化,以扩大特征融合的感受野。Ghost卷积在不影响模型性能的情况下,有效减少了参数数量并提高了速度。最后,我们在自己的CR7-DET和一个公开数据集(GC10-DET)上进行了实验。我们的模型参数数量减少至685万,在CR7-DET上实现了87.6%的平均精度均值(mAP),在GC10-DET上实现了79.7%的mAP。实验结果表明,我们的模型在检测精度和推理效率之间实现了平衡。该模型有望降低由缺陷导致的废品率,提高冷轧钢带的整体表面质量。

1. 引言

冷轧钢带因其相较于热轧钢具有更优异的表面光洁度、尺寸精度和机械性能,在工业生产中得到广泛应用。这些特性使其在汽车面板、家电制造和建筑材料等应用中不可或缺(Li et al., 2024)。在冷轧钢带的制造过程中,许多因素会导致表面缺陷,例如设备故障、参数设置不当以及不可预见的外部影响。此外,早期粗轧和热轧阶段产生的缺陷可能在冷轧钢带中累积,形成凹坑、黄斑等特殊缺陷。这些缺陷具有高度相似性,即使是经验丰富的人员也难以进行人工检测。一旦未被检测到,这些缺陷会显著影响冷轧产品的表面质量,从而降低其整体质量,并可能损害其抗腐蚀、耐磨和抗疲劳性能(He et al., 2024)。目前,表面缺陷已成为钢带制造过程中的主要废品来源。

因此,实现冷轧钢表面缺陷的高精度及时检测已成为一项关键挑战(Jia et al., 2024)。
【Engineering Applications of Artificial Intelligence 1区TOP】一种用于冷轧钢带表面缺陷检测的高效检测器

目前,通常在冷轧现场的酸洗工序之后、进入轧机之前建立表面质量检测中心,如图1所示。如果检测设备故障或检测过程中出现疏漏,一些带钢缺陷可能未被检测到而直接进入轧机,在冷轧过程中缺陷可能会加剧。例如,小凹坑或线性缺陷可能被拉长,导致原本轻微的缺陷扩大。此外,冷轧带钢通常在轧制后卷取,这会将表面缺陷逐层隐藏,使得在交付给客户之前检测缺陷具有挑战性。因此,必须在卷取前对钢带进行全面检测,使操作人员能够提前识别和解决潜在问题,确保最终产品的质量。这种主动方法可以防止产品在后续加工过程中出现问题。

传统的缺陷检测方法通常依赖人工检测,既费时又费力。此外,由于检测人员技能和经验的差异,这种方法容易出错,导致个体之间的检测标准存在差异。近年来,机器视觉在钢铁行业和其他工业领域中越来越多地取代人工视觉检测,提供了更高的精度和效率。缺陷检测方法通常分为两类:监督学习和半监督学习(Jiang et al., 2022)。最近的大多数研究都集中在监督学习上,其中包括使用区域候选网络的两阶段算法(Zhang et al., 2023; Ren et al., 2017; Bharati and Pramanik, 2020; Zou et al., 2023; Bai et al., 2024)和使用卷积神经网络直接进行目标预测的单阶段算法(Redmon et al., 2016; Redmon and Farhadi, 2017; Farhadi and Redmon, 2018; Bochkovskiy et al., 2020; Li et al., 2022; Wang et al., 2022; Reis et al., 2023)。其中,You Only Look Once(YOLO)系列算法结构更简单,从图像到结果的预测一步完成,在推理速度上具有优势。为了进一步提高YOLO算法的检测精度和运行效率,研究人员采用了各种技术,包括提高特征提取能力和优化损失函数以更好地适应工业应用(Hu et al., 2023; Zhang et al., 2022; He and Li, 2023)。然而,在提高网络性能的过程中,提高检测精度往往会导致模型尺寸增大。因此,在精度和效率之间取得平衡仍然是当前算法面临的一项艰巨挑战。

总体而言,检测冷轧带钢表面的缺陷面临着重大挑战。首先,表面缺陷通常尺寸小、类别多,具有高度相似性,这使得有效区分变得复杂。其次,收集冷轧钢的缺陷数据具有挑战性,图像数据的稀缺直接影响模型泛化能力的提升。最后,冷轧带钢的高速轧制(高达45 m/s)对传统方法在现代工业中平衡精度和效率提出了挑战。为应对这些挑战,我们基于深度学习单阶段目标检测算法YOLOv5,针对冷轧带钢数据集的表面缺陷检测建立了RTGL-YOLOv5s。本文的主要贡献包括以下几点:

(1) 由于冷轧钢领域缺陷检测数据集的可用性有限,我们搭建了冷轧带钢图像采集平台,以构建冷轧带钢缺陷数据集(CR7-DET)。它涵盖七种缺陷类型:夹杂、凹痕、油斑、凹坑、冲压孔、线性缺陷和黄斑。该数据集包含4140张图像,标注了11200个目标框。

(2) 建立了基于改进YOLOv5s的高效检测器,以应对缺陷尺寸小、类型多样以及缺陷类型之间相似性带来的挑战。还开发了基于Res2Net的特征提取网络,以及用于聚焦关键信息特征的多头注意力模块。

(3) 为了最大限度地减少特征融合过程中的信息损失,我们引入了自适应特征融合PAN(aff-PAN),并通过轻量化自适应下采样模块(LAD)进行优化,以增强特征融合的感受野实现。此外,Ghost卷积(GSConv)在不影响性能的情况下,有效减少了模型的参数数量并加快了处理速度。

(4) 实验结果表明,我们的模型在检测性能上有显著提升。与原始YOLOv5相比,凹坑等小目标缺陷的平均精度(AP)从70.8%提高到75.0%。对油斑和黄斑等高度相似缺陷的检测精度也显著提高。具体而言,油斑和黄斑的检测精度分别达到91.9%和90.9%,分别比原始算法提高了6.8%和8.8%。此外,我们的模型将参数数量减少到6.85 M,每秒千兆浮点运算(GFLOPs)减少到15.0,同时将F1-score提高到84.3%,每秒帧数(FPS)提高到74。总体而言,在CR7-DET数据集上,我们的模型实现了87.6%的mAP。

(5) 我们在GC10-DET数据集上将我们的方法与其他最先进(SOTA)的方法进行了比较,实现了83.7%的F1-score、79.7%的平均精度均值(mAP)和67的FPS。这些结果验证了我们算法的泛化能力。

本文的其余部分结构如下:第2节对相关文献进行综述。第3节描述数据收集和数据集建立。第4节详细介绍我们提出的模型RTGL-YOLOv5s。第5节详细介绍了一系列实验并证明了我们模型的有效性。最后,第6节给出结论。

2. 相关工作

近年来,目标检测技术在学术界和工业界都受到了广泛关注。钢带表面缺陷检测系统通常采用配备摄像头的检测设备来捕获图像。然后,利用捕获的缺陷图像来训练检测算法,使系统能够准确地定位和分类缺陷(Akhyar et al., 2023)。因此,缺陷检测算法和缺陷图像在系统的有效性中都起着关键作用。

2.1. 轧制带钢表面缺陷数据集

一些学者收集了大量数据集,为该领域的缺陷检测算法训练和测试提供了宝贵资源。用于检测轧制钢带缺陷的主要数据集包括NEU-DET、X-SDD、Kaggle上的一个数据集和GC10-DET。其中,NEU-DET被引用最多,并且是许多高水平研究的基础。此外,Song和Yan(2013)公开发布了NEU-DET数据集,他们选择了一个以50层残差网络(ResNet50)作为预训练网络的两阶段检测框架来有效提取特征,在NEU-DET上实现了81.79%的mAP。2021年,Feng等(2021)引入了一个热轧带钢表面缺陷数据集,名为X-SDD,包含1360张七种典型热轧带钢缺陷类型的缺陷图像。他们采用RepVGG算法结合空间注意力(SA)机制来验证其对X-SDD的影响。此外,2021年,Wang等(2021)利用了Kaggle竞赛“Severstal: Steel Defect Detection”的数据集,该数据集由12568张1600×256像素的钢板灰度图像组成。他们的论文提出了一种将改进的ResNet50与更快的基于区域的卷积神经网络(faster R-CNN)相结合的方法,以减少平均运行时间并提高精度。由Lv等(2020)贡献的GC10-DET是一个专注于冷轧带钢缺陷的数据集,包含2020年冷轧钢的10种常见表面缺陷。该团队提出了一种基于单点多框检测器的缺陷检测网络,并在GC10-DET上进行了验证。

上述数据集中,只有GC10-DET是针对冷轧带钢的数据。目前,大多数研究工作集中在热轧带钢的缺陷检测上,对冷轧带钢的关注相对较少。此外,考虑到冷轧带钢缺陷的独特性,上述算法在专门针对冷轧带钢缺陷的数据集上缺乏全面验证。为了弥补这一空白,我们收集并发布了冷轧带钢表面缺陷的数据集。

2.2. 检测器的多尺度特征增强

多尺度特征通过捕获不同尺寸目标的信息,对提高目标检测精度至关重要。为了提高缺陷检测的准确性,许多学者采用了增强现有算法多尺度特征提取能力的策略。例如,Roy等(2022)通过将密集连接卷积网络(DenseNet)集成到骨干网络中对YOLOv4进行了增强,添加了两个新的残差块以更好地提取特征并降低计算成本,结合空间金字塔池化来扩大感受野,修改路径聚合网络以保留细粒度信息并改进特征融合,从而提高模型精度。2023年,Roy和Bhaduri(2023)引入了DenseSPH-YOLOv5,这是一种用于目标检测的实时深度学习模型。他们将DenseNet块与骨干网络相结合,以更好地处理关键特征。此外,他们添加了卷积块注意力模块(CBAM),以提高对不同尺寸目标的检测能力,同时降低复杂性。上述方法都增强了网络的特征提取能力,并取得了良好的效果。

在钢带缺陷检测领域,一些学者也采用了多尺度特征增强方法来提高算法的有效性。例如,Xie等(2024)提出了一种新型钢铁缺陷检测器LMS-YOLO,该检测器基于YOLOv8构建,在特征提取网络和特征融合结构方面进行了改进。LMS-YOLO在NEU-DET数据集上实现了81%的mAP50和61.3 FPS的速度。Zheng等(2024)开发了一个多通道融合模块,以增强网络提取图像特征的能力。此外,一个动态头块被集成到检测头中,产生了78.2%的mAP50。模型参数为9.0 M,GFLOPs为14.1,FPS为59.5。Wang等(2023)提出了一种基于YOLOv5网络的实时检测器。他们通过结合多尺度探索块和空间注意力机制来增强检测性能。模型参数为22.2 M,GFLOPs为54.1,FPS为192.30,实现了72%的mAP50。Zhang等(2024a)提出了多尺度特征融合策略,有效地结合了浅层和深层特征以增强细节信息。在NEU-DET数据集上,该模型实现了78.5%的mAP50,FPS为54.0,GFLOPs为20.1。在GC10-DET数据集上,mAP50为67.3%,FPS为34,GFLOPs为20.4。此外,Liu等(2023)引入了MSC-DNet,该网络集成了特征增强和选择模块来改进单尺度特征。它在实时多尺度缺陷检测中取得了令人满意的性能,在NEU-DET数据集上达到了79.4%的mAP50和14.1 FPS,在GC10-DET上达到了71.6%的mAP50。此外,Zhang等(2024b)引入了一种增强的YOLOv8算法,该算法集成了一个用于高效处理的新型模块,同时结合了大分离卷积注意力模块和空间金字塔池化快速模块。取得的结果包括78%的mAP50、2.97 M的参数和7.8的GFLOPs。不同方法之间的检测性能比较如表1所示。

【Engineering Applications of Artificial Intelligence 1区TOP】一种用于冷轧钢带表面缺陷检测的高效检测器

这些研究强调了将特征增强集成到基础模型中以提高检测精度的重要性。然而,各种特征增强技术的有效性各不相同,有些技术在提高精度的同时可能会损害效率。值得注意的是,虽然许多模型已经实现了高精度,但在检测效率方面仍有改进的空间,特别是在FPS方面。我们的工作旨在实现检测精度和效率之间的平衡。

3. 基于冷轧现场的缺陷数据集建立

3.1 数据采集

【Engineering Applications of Artificial Intelligence 1区TOP】一种用于冷轧钢带表面缺陷检测的高效检测器

如图2所示,表面检测系统包括表面传感器、控制柜、检测服务器和检测终端。表面传感器捕获数据并发送到控制柜,由控制柜处理信息。然后该数据由检测服务器进行分析。最后,我们在检测终端获取图像数据,接收并存储结果,以便对任何检测到的缺陷进行复查。

3.2 数据集CR7-DET的建立

我们意识到缺陷检测数据集的稀缺性,特别是在冷轧钢领域,因此基于图2所示的缺陷采集系统,从冷轧生产线采集了现场缺陷数据;此外,还建立了一个专门的冷轧钢缺陷数据集。该冷轧钢缺陷数据集命名为CR7-DET,包含从首钢集团获取的冷轧带钢表面缺陷数据。该数据集涵盖七类常见的表面缺陷:夹杂、凹痕、油斑、凹坑、冲压孔、线性缺陷和黄斑。对收集的图像进行了分割和处理。由于分割后图像的原始像素尺寸为(800×128),尝试使用YOLOv5直接训练这些图像会导致压缩引起的失真。为应对这一挑战,我们采用了随机裁剪策略,将数据集缩小到(400×128)像素,并过滤掉错误数据。如图3所示,这些图像经过镜像数据增强(Buslaev et al., 2020),随后归一化为(400×400)像素。这一过程有效消除了压缩可能导致的任何失真,使后续处理和分析能够顺利进行。

该数据集包含4140张图像,标注了11200个目标框。这些缺陷的描述如表2所示。
【Engineering Applications of Artificial Intelligence 1区TOP】一种用于冷轧钢带表面缺陷检测的高效检测器

【Engineering Applications of Artificial Intelligence 1区TOP】一种用于冷轧钢带表面缺陷检测的高效检测器

【Engineering Applications of Artificial Intelligence 1区TOP】一种用于冷轧钢带表面缺陷检测的高效检测器

4. 方法论

4.1. YOLOv5概述

作为基线模型,我们对YOLOv5网络架构进行了深入研究。在可用的五种模型(YOLOv5s、YOLOv5n、YOLOv5m、YOLOv5l和YOLOv5x)中,我们选择了规模最小的YOLOv5s模型作为最终的训练模型,其架构主要由骨干网络、颈部和头部组成,如图4所示。
【Engineering Applications of Artificial Intelligence 1区TOP】一种用于冷轧钢带表面缺陷检测的高效检测器

骨干网络主要用于从输入图像中提取特征信息,包含三个主要组件:卷积-批量归一化- Sigmoid(CBS)、带3个卷积的跨阶段部分连接(CSP)瓶颈(C3)和快速空间金字塔池化(SPPF)。首先,采用一个尺寸为6×6、步长为2、填充为2的卷积层模块对输入图像进行预处理,以实现简单、高效的模型导出。CBS块包括卷积层(Conv)、批量归一化层(BN)和Sigmoid线性单元(SiLU)激活函数。C3块(Park et al., 2018)由三个Conv层和多个瓶颈模块组成,瓶颈模块的数量由YOLOv5 yaml文件中的深度参数决定。结合多个瓶颈模块可以构建深度神经网络,从而提高目标检测的精度和效率。此外,瓶颈模块减少了网络参数的数量,使得模型尺寸更小而不牺牲性能。该层中包含的C3模块数量由C3_x表示。SPPF块提供空间金字塔池化,将不同尺寸的提取特征数据转换为统一的特征向量。颈部模块融合特征信息,结合不同层的特征图生成多尺度特征图,提高目标检测精度。多尺度特征融合通过双向特征金字塔网络(FPN)(Lin et al., 2017)和路径聚合网络(PAN)(Yu et al., 2023)结构实现。FPN允许全局和局部特征表示在不同层级共存。通过上采样实现向下融合通道,以增大特征图的尺度,从而实现与骨干网络特征的融合。通过下采样实现向上融合通道,以获得不同尺度的特征图,促进浅层图形特征与更深层语义特征的更好融合。

预测头由三个输出层组成,分别用于预测小、中、大目标。每个输出层包含一个Conv层和一个特定的锚点,用于预测目标的位置和类别。对于输入图像尺寸为640×640的情况,小、中、大目标的输出特征图尺寸分别为80×80×36、40×40×36、20×20×36。数字36代表扩展的特征通道,计算公式为

(

n

+

5

)

×

(n+5)×

(n+5)×锚点数量。其中,n表示类别信息:夹杂、凹痕、油斑、凹坑、冲压孔、线性缺陷和黄斑;数字5表示位置信息:质心坐标

(

x

,

y

)

(x, y)

(x,y)、高度

h

h

h、宽度

w

w

w和置信度

p

p

p。

4.2. 提出的RTGL-YOLOv5s检测器

带钢表面缺陷通常尺寸较小且分属不同类别,具有高度相似性,这使得有效区分变得复杂。此外,鉴于冷轧带钢的高速轧制,现有方法难以在检测精度和效率之间实现平衡。为解决这些问题,本文提出了RTGL-YOLOv5s模型,该模型主要对骨干网络和颈部网络进行增强。在骨干网络中,设计了一种新型特征提取模块,记为Res2Net-C3(RC3),以增强特征提取能力。随后,我们将多头注意力模块集成到最终的特征提取网络中,以优先关注关键特征信息,提高模型的整体精度。

在颈部部分,引入了一种新型下采样技术LAD,以扩大感受野并可能减少参数数量。此外,还集成了GSConv,以减少因大量多头注意力操作导致的模型参数数量。

4.2.1. 多尺度特征提取网络

【Engineering Applications of Artificial Intelligence 1区TOP】一种用于冷轧钢带表面缺陷检测的高效检测器

在骨干网络中,如图5所示,Res2Net(Gao et al., 2021)块最初被用作我们的关键组件。Res2Net是一种简单、高效的多尺度处理方法,在单个残差块内通过层次结构建立了可比较的残差连接。通过引入子特征图的残差连接和全局残差连接,它增强了多尺度特征提取能力,并有效扩大了网络的感受野。Res2Net块通过在子特征图之间采用残差连接来增强特征提取。1×1卷积将输入特征划分为多个组。一组滤波器最初从特定的输入特征图集合中提取元素。然后,生成的输出特征图与另一组输入特征图一起被转发到下一组滤波器。随后,另一组滤波器对不同的输入特征图集合进行操作。它将前一组的输出特征图与第二组的输入特征图连接起来,然后一起转发到下一组滤波器。最后,所有组的特征图被连接起来,并通过一个额外的1×1滤波器进行全面的信息融合。这个过程在通过3×3滤波器时有效地增加了等效感受野,通过组合效应增强了多个特征尺度。假设

i

{

1

,

,

s

}

i in {1, dots, s}

i∈{1,…,s},第

i

i

i个子特征图的输出由公式(1)表示。

全局残差连接:在Res2Net块中引入了全局残差连接机制。具体来说,模块的输入特征图直接与最后一个子特征图的输出相加,形成最终的输出特征图,如公式(2)所示:

此外,通过残差连接,Res2Net模块可以处理不同尺度的特征图并融合这些特征,从而有效扩大感受野。公式(3)表示感受野的计算公式。

假设输入层大小

R

0

=

1

R_0 = 1

R0​=1,Res2Net和Bottleneck之间的感受野比较如下:

R

l

Res2Net

=

8

R_{l- ext{Res2Net}} = 8

Rl−Res2Net​=8,

R

l

Bottleneck

=

2

R_{l- ext{Bottleneck}} = 2

Rl−Bottleneck​=2。Res2Net增大了感受野,使模型能够更有效地捕捉多尺度特征,从而提高图像处理的精度和准确性。因此,Res2Net-Bottleneck(R-Bottleneck)模块是对传统Bottleneck模块的改进,灵感来自Res2Net的概念。由于其多尺度特征分割与融合、灵活的残差连接以及降低的计算复杂度,R-Bottleneck结构在特征提取和处理效率方面优于传统的Bottleneck设计。它通过引入并行残差连接来改进特征提取,使网络能够在不同的感受野和尺度上捕捉更丰富的信息。这种设计有效增强了网络捕捉图像中不同尺度和复杂度特征的能力,并有助于缓解训练过程中的梯度消失问题。随后,在C3块中,将传统的Bottleneck模块替换为R-Bottleneck模块,形成RC3块,如图6所示。这种增强使RC3块能够通过增加残差连接和多尺度特征获取来扩大其感受野。因此,RC3模块可以更好地捕捉图像中的全局和局部信息,从而提升其特征提取能力。相应地,这种多尺度、多层次的特征提取有助于网络实现更优的性能,特别是在处理复杂场景和识别小目标方面。
【Engineering Applications of Artificial Intelligence 1区TOP】一种用于冷轧钢带表面缺陷检测的高效检测器

此外,受视觉Transformer(Dosovitskiy et al., 2020)的启发,我们将原始YOLOv5版本C3中的某些瓶颈模块替换为Transformer编码器块,以更有效地从特征图中捕捉全面的全局上下文知识。每个Transformer编码器包含两个子层,第一个作为多头注意力层,后者作为全连接层,在子层之间引入残差连接。Transformer编码器块增强了捕捉不同局部信息的能力,同时促进了对自注意力机制的特征表示潜力的探索。多头注意力层由多个自注意力层组合而成。自注意力的输入矩阵

X

X

X使用线性变换矩阵

W

Q

WQ

WQ、

W

K

WK

WK和

W

V

WV

WV计算,分别生成矩阵

Q

Q

Q、

K

K

K和

V

V

V。接下来,我们使用公式(4)计算自注意力输出,该公式计算每个行向量的内积,除法操作防止内积变得过大。之后,对得到的矩阵执行softmax操作,以确定矩阵行向量的注意力系数,确保每一行的和为1。然后,将得到的softmax矩阵与

V

V

V矩阵相乘,得到最终的输出矩阵

Z

Z

Z。

其中

d

k

d_k

dk​表示

Q

Q

Q和

K

K

K矩阵的列数,也是向量的维度。如图7所示,多头注意力包含多个自注意力层。输入

X

X

X首先通过

N

N

N个不同的自注意力层处理,产生

N

N

N个输出矩阵,记为

Z

1

,

,

Z

n

Z_1, dots, Z_n

Z1​,…,Zn​。多头注意力将这些矩阵连接起来,然后传递到线性层以获得最终输出

Z

Z

Z。

【Engineering Applications of Artificial Intelligence 1区TOP】一种用于冷轧钢带表面缺陷检测的高效检测器

基于YOLOv5,我们引入了一种名为C3TR模块的新型增强模块,该模块将多头注意力机制集成到C3模块中。这一添加解决了骨干网络末端特征图分辨率低的挑战,如图8所示。我们旨在通过在该阶段战略性地实施C3TR模块,来减轻与传统注意力机制相关的计算和内存开销。在低分辨率特征图上利用多头注意力机制,使我们能够有效平衡计算复杂度和模型性能。图9展示了我们模型的骨干网络架构,展示了用RC3和C3TR模块对原始C3模块的增强和替换。这构成了应用于我们骨干网络的新型特征提取网络。

【Engineering Applications of Artificial Intelligence 1区TOP】一种用于冷轧钢带表面缺陷检测的高效检测器

4.2.2. 设计的自适应特征融合PAN的架构

我们提出一种自适应特征融合PAN(Aff-PAN)以减少特征融合过程中的信息损失。Aff-PAN集成了一个专门设计的轻量化自适应下采样(LAD)模块,作为PAN结构路径中特征融合的嵌入式组件。所提出的Aff-PAN的结构如图10所示。Aff-PAN架构采用自底向上的路径,在其下层集成了专门设计的LAD模块,以替代传统的卷积层。

【Engineering Applications of Artificial Intelligence 1区TOP】一种用于冷轧钢带表面缺陷检测的高效检测器

为颈部引入了一种名为LAD的新型下采样技术,以扩大感受野,使后续的卷积核能够捕捉更广泛的信息。LAD的结构如图11所示,主要由两个组件组成:注意力机制和下采样卷积。

【Engineering Applications of Artificial Intelligence 1区TOP】一种用于冷轧钢带表面缺陷检测的高效检测器

对于输入特征

X

X

X,我们应用avgpool从输入图像中提取局部特征,然后使用1×1卷积调整特征图的通道数。之后,通过softmax函数生成注意力权重。在YOLOv5中,focus模块在图像切片过程之前集成到骨干网络中。它从图片中每隔一个像素获取一个值,类似于邻域下采样,生成四张在长度上互补且无信息损失的图像。因此,与原始的红-绿-蓝(RGB)三通道模型相比,拼接后的图像包含12个通道,将宽度

(

W

( W

(W)和高度

(

H

( H

(H)信息整合到通道空间中。

最后,新图像经过卷积操作,得到无信息损失的下采样特征图。在下采样过程中,对输入特征图应用分组卷积,使尺寸减半,输出通道数变为四倍。随后,对下采样后的特征图进行重新排列,乘以注意力权重,最后沿最后一个维度求和,生成最终的下采样特征图。LAD的计算通常可由公式(5)表示。

通过引入LAD模块,Aff-PAN架构在特征融合过程中实现了信息的有效保留和特征表示的增强。首先,在参数优化方面,LAD模块采用轻量化设计,导致参数相对较少,降低了模型复杂度。其次,在计算效率方面,LAD模块凭借其精心设计的轻量化结构,在扩大感受野的同时保持了较低的计算开销。总体而言,Aff-PAN架构优化了参数数量和计算效率,确保了模型的卓越性能和高运行效率。

4.2.3. Ghost卷积

特征提取涉及使用多个卷积核对所有输入特征图通道执行卷积映射操作。然而,大量卷积层的使用会导致高参数数量和计算需求,从而产生冗余的特征图。为了应对这一挑战,我们在颈部架构中实现了Ghost卷积(Han et al., 2020)(GSConv)。如图12所示,在GSConv中,首先使用常规卷积获得本征特征图

Y

Y'

Y′,表示为

Y

=

X

×

f

Y' = X imes f'

Y′=X×f′,该过程涉及大量运算。随后,对每个通道的特征图应用线性操作

i

j

emptyset_{ij}

∅ij​以生成Ghost特征图

Y

i

j

=

i

,

j

(

y

i

)

Y_{ij} = emptyset_{i,j}(y_i')

Yij​=∅i,j​(yi′​)。最后,将本征特征图与Ghost特征图(恒等连接)合并,以产生最终的输出结果。因此,我们在颈部架构内的特定位置集成GSConv,以提高特征提取效率,同时解决与冗余特征图相关的挑战。

【Engineering Applications of Artificial Intelligence 1区TOP】一种用于冷轧钢带表面缺陷检测的高效检测器

图13展示了我们模型的颈部网络架构,展示了在特定位置集成LAD和GSConv模块,以实现颈部部分的设计目标。这种集成使后续的卷积核能够捕捉更广泛的信息,同时减少参数数量并提高特征提取效率。如图14所示,提出的模型RTGL-YOLOv5s整合了这些增强功能。接下来,我们通过在公开数据集上的实验验证了该模型的有效性。
【Engineering Applications of Artificial Intelligence 1区TOP】一种用于冷轧钢带表面缺陷检测的高效检测器

5. 实验与讨论

5.1. 训练细节

【Engineering Applications of Artificial Intelligence 1区TOP】一种用于冷轧钢带表面缺陷检测的高效检测器

为确保实验的公正性,本文中呈现的所有测试均在标准化平台上进行。实验设备配备了时钟频率为2.00 GHz的Intel Xeon® Gold 6330 CPU、4096 GB内存和24 GB GPU。所使用的操作系统为Ubuntu 18.0,网络模型采用PyTorch实现。实验的配置细节如表3所示。为便于模型训练和评估,数据集按8:1:1的比例分别划分为训练集、验证集和测试集,每个集合中各类缺陷的图像数量保持均衡,如图15所示。
【Engineering Applications of Artificial Intelligence 1区TOP】一种用于冷轧钢带表面缺陷检测的高效检测器

5.2. 性能指标

我们的测试分类提供了两种结果:针对冷轧钢带表面每一个可能的缺陷点,结果分为阳性和阴性。所使用的评估指标包括真阳性(TP)、假阳性(FP)、真阴性(TN)和假阴性(FN),它们基于目标对象的真实类别与模型预测类别之间的比较,代表了每种缺陷场景下的样本数量。精确率(P)、召回率(R)、假阳性率(FPR)、真阳性率(TPR)和假阴性率(FNR)的定义如下:

从公式(6)、(7)、(8)、(9)和(10)可以看出,P表示在所有被预测为阳性的实例中,正确预测为阳性的实例所占的比例。相反,R表示在所有实际阳性的实例中,正确预测为阳性的实例所占的比例。FPR衡量的是被错误分类为阳性的阴性样本的比例。FNR量化的是被错误分类为阴性的阳性样本的比例。TPR是真阳性预测数与实际阳性实例总数的比率。F1-score可通过P和R之间的关系计算,如公式(11)所示:

AP等于P-R曲线下的面积,AP50是交并比(IoU)阈值为50%时的AP,如公式(12)和(13)所定义。

其中A和B分别表示预测框和实际框的大小。PR曲线下面积大的高AP表明检测模型能准确识别某一目标类别的位置。mAP是所有AP的平均值,如公式(14)所定义。mAP50是IoU阈值为50%时计算的AP的平均值。

5.3. 模型参数的确定

训练过程中使用的一些参数包括批量大小(batch size)、轮次(epoch)、学习率(lr)和权重衰减(wd)。在配置方面,我们根据硬件限制选择批量大小为16,以200轮次进行训练直至收敛。我们的训练输入图像被调整为640×640大小,并使用SGD优化器。lr和wd是RTGL-YOLOv5训练中的关键超参数。lr在训练过程中控制模型的更新,合适的学习率可以加速模型收敛并防止振荡。wd通过在损失函数中引入正则化项来防止过拟合。我们使用网络搜索方法选择合适的lr和wd,其范围如下:

l

r

,

w

d

{

0.0001

,

0.0005

,

0.001

,

0.005

,

0.01

,

0.05

}

lr, wd in {0.0001, 0.0005, 0.001, 0.005, 0.01, 0.05}

lr,wd∈{0.0001,0.0005,0.001,0.005,0.01,0.05}。F1-score和mAP50被用作模型性能的评估指标。

【Engineering Applications of Artificial Intelligence 1区TOP】一种用于冷轧钢带表面缺陷检测的高效检测器

图16(a)展示了不同

l

r

lr

lr在训练轮次中对模型性能的影响。随着

l

r

lr

lr的增加,模型的F1-score和mAP50持续提升,提升速率逐渐降低。当

l

r

lr

lr达到0.01时,mAP50和F1-score均趋于稳定。图16(b)展示了不同

w

d

wd

wd对模型性能的影响。随着

w

d

wd

wd的增加,mAP50和F1-score均逐渐下降,当权重衰减系数为0.0005时达到最优值。最终的

l

r

lr

lr为0.01,最终的

w

d

wd

wd为0.0005。

5.4. 实验结果

YOLOv5s模型在增强前后的一致条件下进行了200轮次的训练。通过监测损失函数的变化,可以全面评估训练过程中模型参数变更导致的潜在过拟合情况。观察到两个模型的损失函数总体趋势相似,如图17(a)所示。然而,所提出的方法在第20轮次左右损失下降更为迅速。随后,损失在20到75轮次之间波动,75轮次后逐渐收敛到较低值。图17(b)展示了两个模型之间mAP50的比较。两个模型在最初的50轮次内均快速收敛,随着训练轮次的增加,mAP50值稳步上升。然而,在50到200轮次之间观察到mAP50值的波动,之后网络趋于稳定。一些钢带表面缺陷检测结果的示例如图18所示。每个检测到的缺陷都用候选框定位,标注出缺陷类别和置信度分数。从这些结果可以看出,我们的模型在CR7-DET数据集上的定位和分类方面都取得了良好的检测性能。

【Engineering Applications of Artificial Intelligence 1区TOP】一种用于冷轧钢带表面缺陷检测的高效检测器

【Engineering Applications of Artificial Intelligence 1区TOP】一种用于冷轧钢带表面缺陷检测的高效检测器
【Engineering Applications of Artificial Intelligence 1区TOP】一种用于冷轧钢带表面缺陷检测的高效检测器

如表4所示,与原始YOLOv5s模型相比,我们的模型mAP50提高了3.4%,召回率(R)提高了4.8%,F1-score提高了1.6%。我们的模型参数减少到6.85 M(减少了0.18M),GFLOPs减少到15.0(减少了0.8)。此外,FPS从70提升到74,推理时间从14.3 ms减少到13.5 ms。这些改进表明,我们的模型在保持紧凑参数规模的同时实现了高精度。

【Engineering Applications of Artificial Intelligence 1区TOP】一种用于冷轧钢带表面缺陷检测的高效检测器

表5展示了在CR7-DET数据集上YOLOv5改进前后各类缺陷的AP,突出了大多数缺陷检测精度的显著提升。与原始YOLOv5相比,改进后的算法将小目标缺陷(如凹坑)的平均精度(AP)从70.8%提高到75%。值得注意的是,对于油斑和黄斑等高度相似的缺陷,检测精度分别达到91.9%和90.9%,分别比原始算法提高了6.8%和8.8%,从而证明了该模型在区分相似缺陷方面的增强能力。

【Engineering Applications of Artificial Intelligence 1区TOP】一种用于冷轧钢带表面缺陷检测的高效检测器

我们采用混淆矩阵来更详细地分析改进前后两个模型的分类性能。混淆矩阵的比较如图19所示。在归一化混淆矩阵中,列对应预测类别,行对应真实类别。对角元素表示真阳性率(TPR),对角线上的值越高,表明模型对该类别的精度越好。假阳性率(FPR)由每列中的非对角元素表示,假阴性率(FNR)由每行中的非对角元素表示。对图19(a)所示的原始YOLOv5s算法和图19(b)所示的RTGL-YOLOv5s算法的比较表明,在所有三类缺陷中,TPR都有显著提升。

具体而言,“凹坑”缺陷、“油斑”和“黄斑”的TPR分别从0.76提高到0.81、从0.77提高到0.88、从0.71提高到0.92。此外,与YOLOv5s相比,RTGL-YOLOv5s模型表现出更低的FPR和FNR。总之,这些发现强调了与YOLOv5s模型相比,RTGL-YOLOv5s模型在准确检测小缺陷和相似缺陷方面的优越性能。

5.5. 消融实验

我们进行了消融实验,以评估不同模块对网络改进的影响。其中,RC3代表用于捕捉全局特征的多尺度机制,C3TR指的是集成在骨干网络末端的多头注意力机制。此外,Aff-PAN表示利用轻量化模块进行下采样,GSConv意味着使用Ghost卷积而非标准卷积。

首先,我们利用热力图分析添加C3TR的有效性。如图20所示,热力图分析——特别是针对冲压孔、油斑和夹杂等缺陷的分析——表明,随着多头注意力机制的引入,模型性能有了显著提升。对于冲压孔缺陷,与原始YOLOv5模型相比,增强后的模型对受影响区域的聚焦更敏锐,定位更准确。类似地,对于油斑和夹杂,热力图可视化突出了模型准确识别和划定这些缺陷区域的增强能力,有效将其与背景元素区分开来。总体而言,热力图分析强调了多头注意力机制在提高模型对特定缺陷类型的敏感性及其整体缺陷检测能力方面的有效性。

【Engineering Applications of Artificial Intelligence 1区TOP】一种用于冷轧钢带表面缺陷检测的高效检测器

【Engineering Applications of Artificial Intelligence 1区TOP】一种用于冷轧钢带表面缺陷检测的高效检测器

接下来,我们评估了这些模块组合的影响。从表6中,在实验编号2、6、7、8、12、13、15中,RC3模块的引入显著提高了F1-score和mAP50,表明该模块对模型性能有积极影响,特别是在精度和检测准确性方面。在实验编号3、6、9、10、12、13、14、15中,C3TR模块的添加使F1-score、mAP50和FPS均得到提升,证明该模块增强了模型的检测能力和运行效率,尤其是在准确性和速度方面。在实验编号4、7、9、11、12、14、15中,Aff-PAN模块的使用略微提高了F1-score和mAP50,并显著提升了FPS。这表明Aff-PAN模块对于优化模型速度至关重要,同时在准确性方面也有一定提升。在实验编号5、8、10、11、13、14、15中,GSConv模块的应用使所有指标均得到提升,尤其是在F1-score和mAP50方面,进一步提高了模型的检测性能。在实验编号6中,RC3 + C3TR模块的组合聚焦于骨干特征提取,使F1-score从82.7%提升至83.4%,mAP50从84.2%提升至85.0%。这证明了多尺度特征提取的有效性。在实验编号11中,针对颈部改进的Aff-PAN + GSConv模块使F1-score和mAP50分别上升至84.6%和86.4%。值得注意的是,该模型实现了111的高FPS,在检测准确性和速度方面均有显著提升。从实验编号15来看,我们的模型集成了所有四个模块(RC3、C3TR、Aff-PAN和GSConv),与原始YOLOv5相比,所有评估指标均有显著提升。F1-score提高至84.3%,mAP50达到87.6%,表明具有更优的精度和检测准确性。此外,该模型保持了74的高FPS,从而在性能和效率方面实现了均衡提升。

5.6. 与CR7-DET和GC10-DET上最先进方法的比较

为进一步评估我们提出的模型的可信度,我们将其与YOLO系列检测器进行了比较。如表7所示,我们的模型具有更优的检测结果,并且在参数数量和精度之间实现了平衡。与其他模型相比,我们的模型实现了最小的参数规模(6.85 M)和最高的mAP50(87.6%)。虽然F1-score比YOLOv7低3.8%,但我们的模型参数数量约为YOLOv7的1/6,且精度更高、GFLOPs更少。与参数数量相近的YOLOv3-tiny和YOLOv5s相比,我们提出的模型具有更高的F1-score和更优的整体性能。虽然推理速度比YOLOv3-tiny慢,但mAP50比其高8%。与YOLOv5系列相比,RTGL-YOLOv5s以最少的参数数量实现了最高的F1-score和mAP50,并且在推理速度方面也具有优势。图21以图形方式展示了GFLOPs、mAP50和参数的情况。位于左上角且圆圈较小的模型代表整体性能更优。我们的模型位于左上区域,且圆圈最小,这表明其在效率和精度方面均具有高性能。

【Engineering Applications of Artificial Intelligence 1区TOP】一种用于冷轧钢带表面缺陷检测的高效检测器

为验证该架构的有效性,我们在GC10-DET上将其与其他最先进(SOTA)方法进行了比较,包括EDDN(Lv et al., 2020)、RDD-YOLO(Zhao et al., 2023)、SCRL-EMD-FR(Hu et al., 2023)、LMS-YOLO(Xie et al., 2024)、MSC-DNet(Liu et al., 2023)、改进的YOLOv5s(Zhang et al., 2024a)、YOLOv5s和YOLOv8s。表8展示了这八个经典模型与所提出模型的实验结果。从表8的实验结果来看,本文提出的网络在三种缺陷(pu、cg和cr)的检测中取得了最佳结果,并且在所有类别中都能获得最佳的F1-score和FPS。此外,我们将mAP50与其他模型进行了比较,结果显示,虽然它比LMS-YOLO低0.8%,但比我们的基线模型YOLOv5s高2.4%。总体而言,考虑到本文中比较的模型,我们的模型在钢带表面缺陷检测的速度和精度方面实现了更优的平衡,并表现出更优的泛化检测性能。
【Engineering Applications of Artificial Intelligence 1区TOP】一种用于冷轧钢带表面缺陷检测的高效检测器
【Engineering Applications of Artificial Intelligence 1区TOP】一种用于冷轧钢带表面缺陷检测的高效检测器

当比较表7和表8的结果时,我们的模型在CR7-DET和GC10-DET数据集上均表现出色。尽管这些数据集在缺陷类型、噪声水平和图像质量方面存在差异,但该模型始终表现出高精确率、召回率和F1-score。这凸显了其强大的特征提取能力,能够在不同条件下有效识别大小缺陷。此外,GSConv和Aff-PAN的集成确保了高效的处理速度,在两个数据集上均未牺牲检测精度,保持了高FPS。

6. 结论

在本研究中,我们解决了冷轧钢带制造中表面缺陷识别这一具有挑战性的任务。鉴于现代生产环境的复杂性以及检测小尺寸、多样且常相似缺陷的固有难度,我们基于YOLOv5s模型开发了一种高效检测器。我们的方法专注于在保持效率的同时提高检测精度,使其适用于工业应用。通过降低表面缺陷导致的废品率,我们的模型最终有助于提高产品质量和优化制造流程,从而提升工业运营的整体盈利能力。我们的结论如下:

(1) 通过建立CR7-DET并实施先进的深度学习技术——包括基于Res2Net的特征提取网络、多头注意力模块、Aff-PAN和GSConv——我们在缺陷检测精度方面取得了显著提升。我们的模型在识别各类缺陷类型方面表现出色,尤其是对于较小目标和相似缺陷类别。

(2) 实验结果展示了显著的提升,小目标缺陷的平均精度有明显提高,高度相似缺陷类别的检测精度也有大幅改善。此外,我们的模型在保持高性能的同时成功减少了参数数量,在CR7-DET数据集上实现了令人印象深刻的87.6%的mAP。

(3) 此外,我们的方法表现出强大的泛化能力,其在GC10-DET数据集上的竞争性能就是证明,实现了83.7%的F1-score、79.7%的mAP和67的FPS。这些结果强调了我们的方法在精度和效率方面的有效性,突出了其实际应用的潜力。

然而,冷轧钢带缺陷种类多样,超出了我们在数据集中识别的类型。我们当前的模型无法检测在数据集收集过程中未遇到的缺陷。处理新缺陷需要昂贵的人工标注和模型再训练,这极大地阻碍了缺陷识别的正常进展。因此,它在实际应用中仍面临重大挑战。

在未来的研究中,我们旨在解决冷轧钢带缺陷种类多样带来的挑战。我们的工作可以在以下方面进行改进:(1) 设计基于半监督学习的缺陷检测方法,以减少对标注样本的依赖;(2) 研究增量学习方法以识别未知缺陷,使模型能够快速适应;(3) 尝试将我们提出的算法嵌入实际生产线的移动设备中。

References

Akhyar, F., Liu, Y., Hsu, C.-Y., Shih, T.K., Lin, C.-Y., 2023. FDD: A deep learning–based steel defect detectors. Int. J. Adv. Manuf. Technol. 126 (3), 1093–1107.Bai, D., Li, G., Jiang, D., Yun, J., Tao, B., Jiang, G., Sun, Y., Ju, Z., 2024. Surface defect detection methods for industrial products with imbalanced samples: A review of progress in the 2020s. Eng. Appl. Artif. Intell. 130, 107697.Bharati, P., Pramanik, A., 2020. Deep learning techniques-R-CNN to mask R-CNN: a survey. In: Computational Intelligence in Pattern Recognition: Proceedings of CIPR 2019. Springer, pp. 657–668.Bochkovskiy, A., Wang, C.-Y., Liao, H.-Y.M., 2020. Yolov4: Optimal speed and accuracy of object detection. arXiv preprint arXiv:2004.10934.Buslaev, A., Iglovikov, V.I., Khvedchenya, E., Parinov, A., Druzhinin, M., Kalinin, A.A., 2020. Albumentations: fast and flexible image augmentations. Information 11 (2), 125.Dosovitskiy, A., Beyer, L., Kolesnikov, A., Weissenborn, D., Zhai, X., Unterthiner, T., Dehghani, M., Minderer, M., Heigold, G., Gelly, S., Uszkoreit, J., Houlsby, N., 2020. An image is worth 16×16 words: Transformers for image recognition at scale. ArXiv abs/2010.11929.Farhadi, A., Redmon, J., 2018. Yolov3: An incremental improvement. In: Computer Vision and Pattern Recognition. Vol. 1804, pp. 1–6.Feng, X., Gao, X., Luo, L., 2021. X-SDD: A new benchmark for hot rolled steel strip surface defects detection. Symmetry 13 (4), 706.Gao, S.-H., Cheng, M.-M., Zhao, K., Zhang, X.-Y., Yang, M.-H., Torr, P., 2021. Res2Net: A new multi-scale backbone architecture. IEEE Trans. Pattern Anal. Mach. Intell. 43 (2), 652–662.Han, K., Wang, Y., Tian, Q., Guo, J., Xu, C., Xu, C., 2020. Ghostnet: More features from cheap operations. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 1580–1589.He, Y., Li, J., 2023. TSRes-YOLO: An accurate and fast cascaded detector for waste collection and transportation supervision. Eng. Appl. Artif. Intell. 126, 106997.He, Y., Li, S., Wen, X., Xu, J., 2024. A high-quality sample generation method for improving steel surface defect inspection. Sensors 24 (8), 2642.Hu, X., Yang, J., Jiang, F., Hussain, A., Dashtipour, K., Gogate, M., 2023. Steel surface defect detection based on self-supervised contrastive representation learning with matching metric. Appl. Soft Comput. 145, 110578.Jia, X., Li, S., Wang, T., Liu, B., Cui, C., Li, W., Wang, G., 2024. High-performance defect detection methods for real-time monitoring of ceramic additive manufacturing process based on small-scale datasets. Processes 12 (4), 633.Jiang, B., Chen, S., Wang, B., Luo, B., 2022. MGLNN: Semi-supervised learning via multiple graph cooperative learning neural networks. Neural Netw. 153, 204–214.Li, C., Li, L., Jiang, H., Weng, K., Geng, Y., Li, L., Ke, Z., Li, Q., Cheng, M., Nie, W., et al., 2022. YOLOv6: A single-stage object detection framework for industrial applications. arXiv preprint arXiv:2209.02976.Li, Z., Wei, X., Hassaballah, M., Li, Y., Jiang, X., 2024. A deep learning model for steel surface defect detection. Complex Intell. Syst. 10 (1), 885–897.Lin, T.-Y., Dollár, P., Girshick, R., He, K., Hariharan, B., Belongie, S., 2017. Feature pyramid networks for object detection. In: 2017 IEEE Conference on Computer Vision and Pattern Recognition. CVPR, pp. 936–944.Liu, R., Huang, M., Gao, Z., Cao, Z., Cao, P., 2023. MSC-DNet: An efficient detector with multi-scale context for defect detection on strip steel surface. Measurement 209, 112467.Lv, X., Duan, F., Jiang, J.-j., Fu, X., Gan, L., 2020. Deep metallic surface defect detection: The new benchmark and detection network. Sensors 20 (6), 1562.Park, H., Yoo, Y.J., Seo, G., Han, D., Yun, S., Kwak, N., 2018. C3: Concentrated-comprehensive convolution and its application to semantic segmentation. In: Computer Vision and Pattern Recognition. arXiv.Redmon, J., Divvala, S., Girshick, R., Farhadi, A., 2016. You only look once: Unified, real-time object detection. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. pp. 779–788.Redmon, J., Farhadi, A., 2017. YOLO9000: better, faster, stronger. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. pp. 7263–7271.Reis, D., Kupec, J., Hong, J., Daoudi, A., 2023. Real-time flying object detection with YOLOv8. ArXiv abs/2305.09972.Ren, S., He, K., Girshick, R., Sun, J., 2017. Faster R-CNN: Towards real-time object detection with region proposal networks. IEEE Trans. Pattern Anal. Mach. Intell. 39 (6), 1137–1149.Roy, A.M., Bhaduri, J., 2023. DenseSPH-YOLOv5: An automated damage detection model based on DenseNet and swin-transformer prediction head-enabled YOLOv5 with attention mechanism. Adv. Eng. Inform. 56, 102007.Roy, A.M., Bose, R., Bhaduri, J., 2022. A fast accurate fine-grain object detection model based on YOLOv4 deep neural network. Neural Comput. Appl. 34 (5), 3895–3921.Song, K., Yan, Y., 2013. A noise robust method based on completed local binary patterns for hot-rolled steel strip surface defects. Appl. Surf. Sci. 285, 858–864.Wang, C.-Y., Bochkovskiy, A., Liao, H.-Y.M., 2022. YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors. arXiv:2207.02696.Wang, L., Liu, X., Ma, J., Su, W., Li, H., 2023. Real-time steel surface defect detection with improved multi-scale YOLO-v5. Processes 11 (5), 1357.Wang, S., Xia, X., Ye, L., Yang, B., 2021. Automatic detection and classification of steel surface defect using deep convolutional neural networks. Metals 11 (3), 388.Xie, W., Sun, X., Ma, W., 2024. A light weight multi-scale feature fusion steel surface defect detection model based on YOLOv8. Meas. Sci. Technol…Yu, H., Li, X., Feng, Y., Han, S., 2023. Multiple attentional path aggregation network for marine object detection. Appl. Intell. 53 (2), 2434–2451.Zhang, H., Li, S., Miao, Q., Fang, R., Xue, S., Hu, Q., Hu, J., Chan, S., 2024a. Surface defect detection of hot rolled steel based on multi-scale feature fusion and attention mechanism residual block. Sci. Rep. 14 (1), 7671.Zhang, J., Qian, S., Tan, C., 2022. Automated bridge surface crack detection and segmentation using computer vision-based deep learning model. Eng. Appl. Artif. Intell. 115, 105225.Zhang, X., Wang, Y., Fang, H., 2024b. Steel surface defect detection algorithm based on ESI-YOLOv8. Mater. Res. Express 11 (5), 056509.Zhang, W., Zhu, Q., Li, Y., Li, H., 2023. MAM faster R-CNN: Improved faster RCNN based on malformed attention module for object detection on X-ray security inspection. Digit. Signal Process. 139, 104072.Zhao, C., Shu, X., Yan, X., Zuo, X., Zhu, F., 2023. RDD-YOLO: A modified YOLO for detection of steel surface defects. Measurement 214, 112776.Zheng, H., Chen, X., Cheng, H., Du, Y., Jiang, Z., 2024. MD-YOLO: Surface defect detector for industrial complex environments. Opt. Lasers Eng. 178, 108170.Zou, Z., Chen, K., Shi, Z., Guo, Y., Ye, J., 2023. Object detection in 20 years: A survey. Proc. IEEE 111 (3), 257–276.

© 版权声明

相关文章

暂无评论

您必须登录才能参与评论!
立即登录
none
暂无评论...