大语言模型参数高效微调技术综述.pdfVIP

382025，61（16）ComputerEngineeringandApplications计算机工程与应用

大语言模型参数高效微调技术综述

+

秦董洪，李政韬，白凤波，董路宽，张慧，徐晨

广西民族大学人工智能学院，南宁530006

+通信作者E-mail：baif@

摘要：近年来，自然语言处理领域的训练范式和模型规模发生显著变化，从特定任务的监督学习转向全量微调大

规模预训练模型。然而，模型参数的激增导致全量微调计算成本高昂。“参数高效微调”技术应运而生，通过仅微调

部分参数或引入少量新参数，显著降低成本并保持性能。对近年来参数高效微调技术中最具代表性和最前沿的方

法进行了简要介绍和系统分析，涵盖设计理念与核心算法，并对不同方法的特性、优势、不足以及适用场景进行了归

纳和分析，并进一步对比了不同种类中同系列的多种方法，分析了同系列方法在设计理念上的演进趋势，提供了当

前研究现状的全面概述。最后对参数高效微调技术进行整体的分析与展望，提出未来该技术可能的优化方向，并结

合实践提出该技术在实际工程应用中可行的技术方案。

关键词：参数高效微调技术；深度学习；自然语言处理；模型优化

文献标志码：A中图分类号：TP183doi：10.3778/j.issn.1002-8331.2410-0211

ReviewofParameter-EfficientFine-TuningTechnologyforLargeLanguageModels

+

QINDonghong,LIZhengtao,BAIFengbo,DONGLukuan,ZHANGHui,XUChen

CollegeofArtificialIntelligence,GuangxiMinzuUniversity,Nanning530006,China

Abstract：Inrecentyears,significantchangeshaveoccurredinthetrainingparadigmsandmodelscalesinthefieldofnat-

urallanguageprocessing.Theapproachhasshiftedfromthetask-specificsupervisedlearningtothefullfine-tuningof

large-scalepre-trainedmodels.However,thesoaringnumberofmodelparametershasledtoprohibitivelyhighcomputa-

tionalcostsforfullfine-tuning.Toaddressthis,“parameter-efficientfine-tuning”(PEFT)techniqueshaveemerged.These

methodssignificantlyreducecostswhilemaintainingperformancebyfine-tuningonlyasubsetofparametersorintroducing

asmallnumberofnewparameters.Thispaperprovidesabriefintroductionandsystematicanalysisofthemostrepresenta-

tiveandcutting-edgePEFTmethodsdevelopedinrecentyears.Itcoverstheirdesignphilosophiesandcorealgorithms,

summarizesandanalyzesthecharacteristics,strengths,weaknesses,andapplicablescenariosofdifferentmethods,and

furthercomparesvariousapproacheswithinthesamecateg