使用深度学习和合成数据的风力涡轮机特征检测.pdfVIP

使用深度学习和合成数据的风力涡轮机特征检测

1111

ArashShahirpour,JakobGebler,ManuelSanders,TimReuscher

1InstituteofAutomaticControl(IRT),RWTHAachenUniversity

ABSTRACT

对于基于自主无人机的风力涡轮机（WT）叶片检查，准确检测WT及其关键特征对安全定位无人机和

避免碰撞至关重要。现有的深度学习方法通常依赖于手动标注的真实世界图像，这在天气条件、光照、涡轮

类型和图像复杂性方面限制了训练数据集的数量和多样性。本文提出了一种生成合成训练数据的方法，允

许控制视觉和环境因素的变化，从而增加多样性和创造具有挑战性的学习场景。此外，我们使用带有修改

损失函数的合成WT图像对YOLOv11[1]特征检测网络进行训练，以检测图像中的WT及其关键特征。最

终得到的网络通过合成图像和一组真实世界的WT图像进行了评估，并在合成数据和真实世界数据上均表

本现出色，在从未见过的真实图像中实现了0.97的PosemAP50-95。

译Keywords:风力涡轮机检查，合成训练数据生成，深度学习

中

11.介绍

v

1

1随着全球对可再生能源需求的增加，风力

6涡轮机（WTs）已经成为过去四十年中增长最

1

2快的可再生能源技术[3]。随着全球范围内风

.

7力涡轮机数量的持续增加，维护已成为该行业

0

5面临的主要挑战之一。由于风力涡轮机容易受

2到恶劣天气条件以及鸟类碰撞和雷击等事件

:

v的影响，因此它们很容易出现表面和结构损坏

i

x

r[4]。因此，减少维护时间和成本已经成为当前

a

维护策略的主要目标[5]。图1显示了这样的

风力涡轮机。定期检查有可能在早期检测到表

面损伤，并尽可能地减少WT停机时间[6]。然

而，当前的检查方法主要依赖于手动技术，如

攀爬设备、手动操作的无人机或地面拍摄的照

图1.预测未见过的真实世界数据中的风力涡轮机关键点。来自[2]

片[4]。由于这些方法成本高昂、耗时且存在安的原始图像，使用了Unsplash许可证。

全问题，因此越来越多地对自动化风力涡轮机

表面检查过程感兴趣[7]。

一种越来越流行的方法，由于其相比手动

技术降低了成本并提高了安全性，是使用自动

化无人机进行检查。除了捕获风力涡轮机表面

数据以执行检查外，这些无人机必须安全导航，并准确地将自己定位在相关的风力涡轮机部件前，同时避

免碰撞。尽管通常配备有全球导航卫星系统（GNSS）天线且已提前知道无风状态下风力涡轮机的位置，但

被风吹偏的风力涡轮机塔筒以及更为重要的是其叶片的实际实时位置通常是不可知的。

本研究的目标是使用RGB（红、绿、蓝）摄像头图像提取运营中的风力涡轮机的关键特征，以便估计

风力涡轮机相对于无人机的位置和偏航角。我们关键点检测结果的预览显示在图1中，展示了我们的方法

定位多个风力涡轮机及其特征的能力。这项研究是AutoFlow项目的一部分（该项目得到德国联邦经济事

务和能源部(BMWE)的支持，项目编号为03EE3064F）。

由于在检查过程中风力涡轮机正在运行，其偏航角度可能会因风向的变化而改变。图2说明了风力涡

轮机可能的旋转情况，并突出了必须从每张图像中提取的七种视觉特征。以下将介绍并讨论该研究领域的

现状。

在如[8]、[9]和[10]等工作中，采用了传统计算机视觉方法首先检测风力涡轮机（WT）的特征，例如

长叶片和塔架线条，最终找到WT塔。虽然这些方法提供了有希望的结果，但它们的应用场景存在局