AI大模型专题：AI大模型技术在电力系统中的应用及发展趋势.docxVIP

报告题目：

AI大模型技术在电力系统中的应用及发展趋势

2025年6月10日

2

01大语言模型与智能体技术简介

人工智能AI近代史：从早期的逻辑程序到神经网络的兴起

决策式Al生成式Al

为

为开

小规模专家知识

浅层机器学习算法

深度机器学习算法

大规模预训练模型

1956年

历史上第一次人工智能研讨会召开，标志着人工智能的诞生

1965年

HerbertSimon和Allen

Newell开发了一个名为LogicTheorist的程序，它可以用逻辑推理的方式解决数学证明问题，这被认为是人工智能领域的一次重大突破

早期萌芽阶段(1950s~1980s)

1986年

GeoffreyHinton等人提出了一种名为Backpropagation的神经网络训练算法，被认为是神经网络技术的一次重大突破

1997年

国际象棋世界冠军Kasparov在与IBM开发的DeepBlue计算机的比赛中失利，标志着人工智能开始在一些传统的思维活动上超越人类

2006年

深度学习技术发明，带来了革命性突破

技术积淀阶段

(1980s~2010年)

2011年

IBM的Watson计算机在美国电视节目Jeopardy中战胜了两位前冠军

2013年

DeepMind提出基于深度学习的强化学习模型

2014年

GAN可生成图像但分辨率有限

2015年

Google的AlphaGo程序在围棋比赛中战胜了世界冠军李世石，标志着人工智能开始

在更复杂的思维活动上超越人类

快速发展阶段

(2011年~2016年)

2017年

Transformer架构提出，大模型发展打下基础

2018年

GPT与BERT模型推出，启“大模型时代“

2022年

ChatGPT推出

2024年

Sora推出

爆发阶段

(2017年~)

“来源；艾瑞2023年AIGC场景应用展望研究报告

什么是语言模型

你好。

你也好。一个前缀输入

你也好。

你好。

V我50。

真实分布你也好。

真实分布

你也好。

建模你好。

建模

V我50。

给定相同前缀，语言模型是输出能近似人类语

给定相同前缀，语言模型是输出能近似人类语言分布的模型。

预测分布

LLM架构与训练：预训练阶段

Figure12-3.Thethreestepsofcreatingahigh-qualityLLM.

学习文字接龙(prefixLM),无需标注，自监督(self-supervised)

“你好美丽。

LLM架构与训练：预训练阶段

预训练模型三要素

·大数据：知识的来源，包含各种语言现象及语义知识，直接决定了模型的学习范围

·大模型：容纳大数据的载体，通常由深度神经网络构成，学习大数据中的统计信息与抽象知识

·大算力：处理大数据和大模型的并行计算集群，通常包含GPU、TPU等高性能运算设备

大数据(无标注文本)大模型

大数据

(无标注文本)

大模型

(深度神经网络)

(并行计算集群)

如何训练自己的LLM?微调训练

直接全量参数微调问题：

LLM参数量巨大，7b=70亿参数

耗费GPU资源多，通常需要A100*8以上(百万RMB)训练时间长，需要数周时间

解决方案：LoRA(Low-RankAdaptationofLargeLanguageModels)

核心优势：

训练参数量少，70亿参数使用LoRA只需要训练百万级别参数

微调效果好，LoRA效果不差于全参数微调，优于其他微调方式GPU要求低，3090*4即可微调7b模型

ModelMethod

#Trainable

ParametersBLEU

E2ENLGChallenge

NISTMETROUGE-LCIDEr

GPT-2M(FT)

GPT-2M(Adapter)

GPT-2M(Adapter)

GPT-2M(Adapter)GPT-2M(FTTp7y

GPT-2M(Prelayer)GPT-2M(LoRA)

354.92M

0.37M

11.09M

11.09M

25.19M0.35M

0.35M

68.28.6246.2

66.38.4145.0

68.98.7146.1

67.3±68.50±746.0±2

68.18.5946.0

69.78.8146.1

70.4±18.85±0246.8±.

71.0

69.8

71.3

70.7±270.8

71.4

7