利用混合 Transformer-自编码器框架改进实时概念漂移检测.pdfVIP

利用混合Transformer-自编码器框架改进实时

概念漂移检测

11

NHarshitandKMounvik

1SchoolofComputerScienceandEngineering,VelloreInstituteof

Technology(VIT-AP),Amaravati,AndhraPradesh,522237,India.

*Correspondingauthor(s).E-mail(s):

harshit.23bce8703@vitapstudent.ac.in;

本Contributingauthors:mounvik.23bce8843@vitapstudent.ac.in;

译

中摘要

在应用机器学习中，概念漂移（无论是渐进的还是突然的数据分布变化）可能会显

1著降低模型性能。典型的检测方法，如统计测试或基于重构的模型，通常是被动反

v应性的，并且对早期检测不够敏感。我们的研究提出了一种由Transformer和自编

5码器组成的混合框架，用于建模复杂的时态动态并实现在线漂移检测。我们创建了

8

0一个独特的信任分数（TrustScore）方法论，其中包括以下信号：(1)统计和基于

7重构的漂移度量，更具体地说是PSI、JSD、Transformer-AE误差，(2)预测不确

0定性，(3)规则违反情况，以及(4)与信任分数定义的综合指标相一致的分类器误

.差趋势。使用带有合成漂移的时间序列航空公司乘客数据集，我们的提议模型允许

8在整体上和不同的检测阈值下对敏感性和可解释性进行更好的漂移检测，相比基线

0

5方法，并为应用机器学习中的实时漂移检测提供了强大的管道。我们通过一个时间

2序列的航空公司乘客数据集评估了性能，该数据集逐步注入预期中的漂移刺激，例

:如：后期批次中被打乱的票价，分为10个时间段[1]。在这些数据中，我们的结果

v表明，Transform-Autoencoder比文献中常用的自编码器更早且更加灵敏地检测到

i

x漂移，并提高了模型性能以减少错误率和逻辑违规。因此，开发了一个强大的框架

r来可靠地监控概念漂移。

a

Keywords:实时检测，信任分数，概念漂移，CatBoost分类器，自动编码器（AE），转换

器-自动编码器（TAE），人口稳定性指数（PSI），詹森-香农发散度（JSD），预测不确定性，

SHAP可解释性。

1

1介绍

机器学习模型在实际系统中，如航空或金融领域，会因概念漂移而导致性能

和可靠性的下降。概念漂移是指数据分布随时间变化的现象。如果未检测到数据

分布的演变，可能会对后续预测活动的相关信息产生影响。传统漂移检测方法（例

如统计比较方法如t检验或KS检验以及基于重构的方法[2]）通常行动较慢，并

且不一定能考虑到分布在时间维度和特征级别上的复杂动态。

本文概述了一种可能的概念漂移检测混合架构，该架构结合了基于变压器架

构的时间建模和自编码器。基于变压器的模型在特征