大模型原理与技术 课件 chap13 基于大模型的智能软件研发.pptx

基于大模型的智能软件研发魏明强、宫丽娜计算机科学与技术学院智周万物?道济天下

o基于大模型的智能软件研发框架o智能软件研发中的大模型及预训练范式l常用大模型l预训练范式o智能软件研发的下游任务l程序语言PL相关任务l自然语言NL相关任务l程序语言与自然语言交互任务o常用数据集l预训练数据集l下游任务数据集o思考 目录2

3 目录o基于大模型的智能软件研发框架o智能软件研发中的大模型及预训练范式l常用大模型l预训练范式o智能软件研发的下游任务l程序语言PL相关任务l自然语言NL相关任务l程序语言与自然语言交互任务o常用数据集l预训练数据集l下游任务数据集o思考

oLLM4SE（LargeLanguageModelforSoftwareEngineering）:使用具有少量标签的软件工程下游任务数据，通过微调已有大模型构建的针对软件研发中各种编程任务的智能模型o具体的构建过程主要包括： 基于大模型的智能软件研发框架4l软件研发任务数据集收集及处理l基于大模型的智能方法构建l模型训练l模型评价

基于大模型的智能软件研发框架o数据收集及处理l从软件工程仓库中收集所需的数据集，如源代码仓库中的代码数据、缺陷跟踪系统的缺陷报告等，对数据集进行标记及预处理，使其符合模型输入的要求。o基于大模型的智能方法构建l根据软件工程具体任务，从大模型池中选取合适的大模型，如CodeGeeX，CodeBERT、GPT-C，基于该大模型构建符合需求的智能方法。o模型微调l使用少量标签数据，选择合适的微调模式来微调大模型，从而构建高性能的LLM4SE模型。o模型评价l通过性能评价指标，评价基于大模型的智能方法在软件研发具体任务中的性能。5

6 目录o基于大模型的智能软件研发框架o智能软件研发中的大模型及预训练范式l常用大模型l预训练范式o智能软件研发的下游任务l程序语言PL相关任务l自然语言NL相关任务l程序语言与自然语言交互任务o常用数据集l预训练数据集l下游任务数据集o思考

常用大模型o通用大模型l一般领域数据集上训练出的大模型，如自然语言处理领域中使用英文维基百科或普通新闻数据集训练出的GPT模型等，以及计算机视觉中使用ImageNet等数据集预训练的ResNet和VGG模型等。o特定领域大模型l软件工程领域特定数据集上训练出的大模型。一般领域数据集训练出的大模型不能很好地适应软件工程领域的文本特性。因此，研究者收集大量的软件工程领域数据集从零训练深度学习模型形成软件工程特定领域大模型，如SeBERT、T5，进而解决软工领域任务。o代码大模型l在源代码数据集上训练出的大模型。为了能够更好地捕获源代码数据中的语法和语义信息，研究者们收集大量的源代码数据集，重新训练深度学信息模型形成软工领域的代码大模型，如CodeGPT、Starcoder、CodeT5等。7

8 常用大模型目前流行的27个源代码大模型

9 目录o基于大模型的智能软件研发框架o智能软件研发中的大模型及预训练范式l常用大模型l预训练范式o智能软件研发的下游任务l程序语言PL相关任务l自然语言NL相关任务l程序语言与自然语言交互任务o常用数据集l预训练数据集l下游任务数据集o思考

预训练—特征表示预训练—微调预训练范式o软件工程领域研究者以在大规模数据集上训练的大模型为基础，构建包含下游任务的智能模型，然后通过少量下游任务数据集对构建的智能模型进行微调训练，最终构建适应下游任务的智能模型。这种模式避免了针对不同任务需要大量数据集从头训练模型。o预训练–微调范式中根据微调的范围又可分为只微调任务层和微调整个智能模型两类。l微调任务层是冻结大模型的特征表示层，通过少量的下游任务数据，只微调模型的任务层参数。l微调整个智能模型是使用下游任务数据集微调基于大模型的智能模型，包括大模型的参数，得到最终的智能模型。o软件工程领域研究者直接使用在大规模数据集上训练的大模型，对软工领域的任务数据集进行编码特征表征，然后通过编码的特征表征，构建较好的分类器等模型，以实现软件工程领域任务。10数据集分类编码模型训练BERT大模型

11 目录o基于大模型的智能软件研发框架o智能软件研发中的大模型及预训练范式l常用大模型l预训练范式o智能软件研发的下游任务l程序语言PL相关任务l自然语言NL相关任务l程序语言与自然语言交互任务o常用数据集l预训练数据集l下游任务数据集o思考