大模型原理与技术 课件 chap6 大模型微调.pptx

大模型微调-第7章;

o大模型微调概述

l研究背景

o参数高效微调技术

l增量式（Addition-based）微调技术

l指定式（Specification-based）微调技术

l重参数化（Reparametrization-based）微调技术

l混合微调技术

o指令微调技术

l指令数据集构建

l指令微调技术

o基于人类反馈的强化学习微调技术

l奖励建模

l强化学习微调-策略优化

l案例讲解

o思考

o习题;

o大模型微调概述

l研究背景

o参数高效微调技术

l增量式（Addition-based）微调技术

l指定式（Specification-based）微调技术

l重参数化（Reparametrization-based）微调技术

l混合微调技术

o指令微调技术

l指令数据集构建

l指令微调技术

o基于人类反馈的强化学习微调技术

l奖励建模

l强化学习微调-策略优化

l案例讲解

o思考

o习题;

o大模型训练包括“预训练”和“微调”两个关键阶段

在预训练阶段，大模型通过在大量数据上进行训练学习，已经掌握了丰富的语言规则、知识信息以及视觉模式。然而，在大规模（公开）数据上通过自监督学习训练出来的模型虽然具有较好的“通识”能力（称为基础模型），却往往难以具备“专业认知”能力（称为专有模型/垂直模型）。

大模型的预训练成本非常昂贵，庞大的计算资源和数据让普通用户难以从头开始训练大模型。充分挖掘这些预训练大模型的潜力，针对特定任务的微调不可或缺。大模型微调是将预训练好的大模型参数作为起点，利用少量有标签的数据进一步调整大模型参数，以适应特定的任务，使得大模型不仅仅停留在理解通用知识的层面，更能够针对特定问题提供精准的解决方案。;

大模型微调;

o大模型微调概述

l研究背景

o参数高效微调技术

l增量式（Addition-based）微调技术

l指定式（Specification-based）微调技术

l重参数化（Reparametrization-based）微调技术

l混合微调技术

o指令微调技术

l指令数据集构建

l指令微调技术

o基于人类反馈的强化学习微调技术

l奖励建模

l强化学习微调-策略优化

l案例讲解

o思考

o习题;

参数高效微调-增量式微调;

参数高效微调-增量式微调

-适配器（Adapter）微调;

参数高效微调-增量式微调-前缀（Prefix）微调;

参??高效微调-增量式微调-前缀（Prefix）微调;

o大模型微调概述

l研究背景

o参数高效微调技术

l增量式（Addition-based）微调技术

l指定式（Specification-based）微调技术

l重参数化（Reparametrization-based）微调技术

l混合微调技术

o指令微调技术

l指令数据集构建

l指令微调技术

o基于人类反馈的强化学习微调技术

l奖励建模

l强化学习微调-策略优化

l案例讲解

o思考

o习题;

参数高效微调-指定式微调;

o大模型微调概述

l研究背景

o参数高效微调技术

l增量式（Addition-based）微调技术

l指定式（Specification-based）微调技术

l重参数化（Reparametrization-based）微调技术

l混合微调技术

o指令微调技术

l指令数据集构建

l指令微调技术

o基于人类反馈的强化学习微调技术

l奖励建模

l强化学习微调-策略优化

l案例讲解

o思考

o习题;

参数高效微调-重参数化微调;

参数高效微调-重参数化微调-LoRA;

参数高效微调-重参数化微调-LoRA变体;

o大模型微调概述

l研究背景

o参数高效微调技术

l增量式（Addition-based）微调技术

l指定式（Specification-based）微调技术

l重参数化（Reparametrization-based）微调技术

l混合微调技术

o指令微调技术

l指令数据集构建

l指令微调技术

o基于人类反馈的强化学习微调技术

l奖励建模

l强化学习微调-策略优化

l案例讲解

o思考

o习题;

参数高效微调-混合微调;

参数高效微调-小结;

参数高效微调-小结;

o大模型微调概述

l研究背景

o参数高效微调技术

l增量式（Addition-based）微调技术

l指定式（Specification-based）微调技术

l重参数化（Reparametrization-based）微调技术

l混合微调技术

o指令微调技术

l指令数据集构建

l指令微调技术

o基于人类反