快速-VAT：利用 CYTHON 和 NUMBA 加速聚类倾向可视化-计算机科学-机器学习-Numba-性能优化-Python.pdfVIP

快速-VAT：利用CYTHON和NUMBA加速聚类倾向可视化

MSRAvinashIsmaelLachheb

DepartmentofComputerScienceEPITASchoolofEngineeringandComputerScience

PresidencyUniversity,BangaloreParis,France

avinash.mynampati@ismael.lachheb@epita.fr

2025年7月24日

本ABSTRACT

译聚类倾向的视觉评估（VAT）是一种广泛使用的无监督技术，用于在未标记的数据集中进行聚

中类结构的可视化评估。然而，其标准实现由于时间复杂度和低效的内存使用而存在显

1著的性能限制。在这项工作中，我们介绍了一个高性能的VAT算法重新实现版本快速-VAT，

v该版本使用了Python语言，并借助Numba的即时（JIT）编译以及Cython的静态类型和底层内

4存优化。我们的方法在基准实现上提高了高达50倍加速倍的速度，同时保持了原始方法的输

0

9出准确性。我们在一系列真实和合成数据集——包括Iris、MallCustomers和Spotify子集上验

5证了Fast-VAT，并使用Hopkins统计、PCA和t-SNE来确认聚类倾向性。此外，我们将VAT的

1

.结构洞察与DBSCAN和K-Means聚类结果进行比较以确认其可靠性。我们的实现作为一个

7

0开源Python包发布在Apache2.0许可证下：/Ashx098/VAT-Optimized

5

2Keywords聚类倾向，VAT，Cython，Numba，性能优化，Python基准测试

:

v

i

x1介绍

r

a

聚类是无监督学习中使用最广泛的技术之一，其应用范围涵盖数据挖掘、模式识别、异常检测和信息检索。

进行聚类的一个基本前提是评估数据集是否表现出任何内在的分组结构——这一任务被称为聚类倾向分析。

聚类倾向的视觉评估(VAT)算法(1)为此任务提供了一种简单直观的方法。VAT通过计算成对差异矩阵、重

新排序以将相似点分组以及将结果显示为灰度图像来运行。图像中的深色对角块指示潜在的聚类。尽管具有

可解释性和有效性，但由于其二次时间复杂度()，VAT遭受可扩展性差的问题，这是由于成对距离计

算和矩阵重新排序造成的。这使其对于大型数据集或实时使用不切实际。

为了解决这些限制，我们提出了快速-VAT——一个用Python重新实现的高性能VAT算法，并通过Numba的

即时(JIT)编译和Cython的静态类型及C级内存访问进行了增强。这些优化显著减少了执行时间，同时保持

了原始算法的输出保真度。

我们在一组多样化的实际和合成数据集上评估了我们的实现，包括Iris、MallCustomers、Spotify子集、高斯

混合物、moons和blobs。我们通过补充技术（如Hopkins统计、PCA和t-SNE）验证聚类倾向，并将我们的

结果与K-Means和DBSCAN的聚类输出进行比较。

ExchangestudentfromPresidencyUniversity,Bangalore.WorkconductedatEPITASchoolofEngineering