QMoE-一种用于可扩展量子神经网络的量子专家混合框架-计算机科学-量子机器学习-量子神经网络.pdfVIP

QMoE:一种用于可扩展量子神经网络的量子

专家混合框架

Hoang-QuanNguyen,Xuan-BacNguyen,SankalpPandey

SameeU.Khan,IlyaSafro,KhoaLuu

DepartmentofElectricalEngineeringandComputerScience,UniversityofArkansas,AR

DepartmentofElectricalandComputerEngineering,KansasStateUniversity,KS

DepartmentofComputerandInformationSciences,UniversityofDelaware,DE

{hn016,xnguyen,sankalpp,khoaluu}@sameekhan@isafro@

摘要—量子机器学习（QML）在嘈杂中等规模量子（NISQ）[20],[21]选取一组稀疏的专家子集。这种模块化结构使

本时代作为一个有前景的方向出现，通过利用叠加和纠缠提供计算得MoE模型能够在保持计算效率的同时实现高容量，

译和内存优势。然而，由于硬件限制，QML模型经常面临可扩展并最近在大规模深度神经网络系统中带来了显著的性

性和表达力方面的挑战。本文提出了一种新的量子架构——量子

中能提升。

专家混合（QMoE），将专家混合（MoE）范式融入到QML环

1境中。QMoE包含多个参数化的量子电路作为专家模型，并且将MoE原则融入QML为解决QML问题中的两大

v

0配备了一个可学习的量子路由机制，该机制根据输入选择并聚合核心挑战提供了机会，包括模型容量和资源分配。虽然

9专门的量子专家。提出的QMoE在量子分类任务中的实证结果QML模型显示出潜力，但可用量子比特和电路深度的

1

5表明，它始终优于标准的量子神经网络，突显了其在学习复杂数限制往往制约了它们的表现力。通过采用一种受MoE

0据模式方面的有效性。我们的工作为可扩展和可解释的量子学习

.启发的方法，可以将学习分布在多个量子专家之间，每

7框架铺平了道路。

0IndexTerms—量子机器学习，量子神经网络，专家混合。个专家都作为专门的量子电路实现。同时，一个可训练

5的量子动态选择激活哪些专家。这在QML中引入了稀

2

:I.介绍疏性、模块化和专业化，这些都是在硬件限制下扩展量

v

i量子计算由于叠加和纠缠的独特性质，相较于经子模型的关键。

x

r

a典计算，在解决特定问题时提供了指数级加速的潜力在这项工作中，我们介绍了一种新型的量子架构，

[1]–[3]。随着嘈杂中等规模量子（NISQ）时代量子比特名为量子专家混合（QMoE），它结合了经典MoE系统

数量的增长，实现实用的量子优势变得更加可行。在各的效率与量子模型的表现力。QMoE由一组并行参数

种应用中，考虑到其高计算需求和对量子噪声的容忍化量子电路作为专家构成，并通过一个学习到的路由函

度，量子机器学习（QML）是一个有前景的领域。先前数来计算每个输入这些电路的加权聚合。我们的实验表

的研究介绍了类似于经典方法的QML框架，包括量子明，QMoE在分类任务中可以超越标准的QNNs，突显

K近邻[4]、支持向量机[5]、量子聚类[6]–[9]和量子神了QMoE相对于先前QML模型的优势。

经