边缘的自监督学习：标注的成本-计算机科学-可持续人工智能-表示学习-边缘计算.pdf

2025IEEEINTERNATIONALWORKSHOPONMACHINELEARNINGFORSIGNALPROCESSING,AUG.31–SEP.3,2025,ISTANBUL,TURKEY

边缘的自监督学习：标注的成本

RobertoPereiraFernandaFamáAsalRangraziMarcoMiozzo

CharalamposKalalasPaoloDini

SustainableAI,CTTC/CERCA,Spain

BarcelonaSupercomputingCenter(BSC),Spain

{name.surname}@cttc.es{name.surname}@bsc.es

本ABSTRACT算法的需求日益增长[1]。这些设备生成大量未标记的

数据，由于需要人工标注，使得在边缘使用传统的监

译对比学习（CL）最近作为一种替代传统监督机器学习

督学习方法变得不切实际或成本高昂。

中解决方案的方法出现，能够从非结构化和无标签数据

自监督学习（SSL）通过利用数据中的内在结构来

1中生成丰富的表示。然而，CL以及更广泛的自监督学

v习（SSL）方法通常需要大量的数据和计算资源，在学习有用的表示，而无需显式标签，已成为传统监督

3方法的强大替代方案。在SSL方法中，对比学习（CL）

3资源受限的边缘设备上部署时会遇到挑战。在这项工

0技术如SimCLR[2]在图像和信号领域表现出显著的效

7作中，我们探讨了SSL技术在基于边缘的学习中的可

0.行性和效率，重点关注模型性能与能源效率之间的权果。然而，尽管这些方法在提高效率方面取得了进展

7衡。特别地，我们分析了不同的SSL技术如何适应有——例如减少对大批次大小[3]和负样本对[4,5]的需

0求——SSL模型仍然常常需要大量的计算资源和长时

5限的计算、数据和能源预算，并评估它们在资源受限

2间的训练。这些要求对于部署在边缘场景中构成了重

:环境下学习鲁棒表示的有效性。此外，我们也考虑了

v大挑战，在这种场景下，内存、处理能力、数据和能

i标注数据涉及的能量成本，并评估半监督学习可能如

x量的可用性本质上是有限的。

r何帮助减少训练CL模型的整体能耗。通过广泛的实

a现有文献常常将监督学习和自监督学习视为两种

验，我们展示了定制化的SSL策略可以在降低资源消

互不相关的范式，模型要么假设完全访问标记数据，要

耗高达的情况下实现具有竞争力的性能，强调了

它们在边缘进行节能学习的潜力。么根本无法访问。然而，在某些情况下[6]，部分标注

可以通过耗费能源和人工劳动来实现；这些因素经常

IndexTerms—可持续人工智能，能源效率，表被性能评估所忽视。这在能源受限的边缘环境中（例

示学习，边缘计算，普适人工智能。如物联网）尤