大语言模型在法律领域的应用探索-35页.pptx

CONTENTS

目录

02训练和评估

01技术背景

03应用框架

04应用案例

法律大语言模型的相关背景

2020年前后，OpenAI发布

了包含1750亿参数的GPT-3模型，展现了卓越的能力

FOUR

2017年前后，

Transformer架构的发布成了BERT、GPT等许多预训

练模型的基础

THREE

20世纪中叶开始发展，在

七八十年代达到鼎盛

ONE

20世纪末自神经网络发展

以来不断发展，包括RNN以及LSTM

TWO

1.法律大模型|语言模型发展阶段

大规模语言模型

预训练语言模型

统计语言模型

神经语言模型

第三阶段

第四阶段

第二阶段

第一阶段

1.法律大模型|语言模型发展阶段

预训练语言模型

神经语言模型

统计语言模型

RNN

•这是文

这是文字这是文字

THREE

ONETW

ChatGPT在两项试题达到了合格率，

其中一项还跟人类水平持平。

GPT-4表现“可与人类相媲美”，其在律师资格考试（UBE）分数超过90%考生。

1.法律大模型|大语言模型在法律领域的表现

1.法律大模型|法律大语言模型

2023年8月，浙江大学、阿里巴巴达摩院和华院计算联合发布了法律大模型。

1.法律大模型|挑战

领域知识融合

知识图谱关联

知识检索增强

法律大语言模型的训练和评估

2.训练与评估|领域数据收集

•收集了多源异构知识数据，不仅包含6种类型的知识：法条类、案例类、

模板类、书籍类、法律考试类、法律日常问答类，我们还以法条和案件为中心节点构建了它们的关系图谱数据。

内容过滤

敏感信息

人工审查

文本抽取

2.训练与评估|

角色扮演

上下文信息

数据筛选数据改造

罪名法条

刑期预测

法院意见

案件事实摘要

领域数据清洗

01

数据去重

02

多轮对话

02

质量管控

03

结构化

多样化指令

标准规范化

法考题解释

庭审问答

规则去重

语义去重

01

2.训练与评估|领域知识融入模型训练

冻结部分参数

增加部分参数

•提升模型性能和泛化能力

•缓解模型的灾难性遗忘

2.训练与评估|参数调优和资源需求

C为Decoder类模型所需计算量，N为模型参数量，D为数据量

资源需求平衡

高效参数微调

重新参数化

•找到资源需求的平衡点

•获得最佳模型性能和资源利用效率

•微调训练需要大量计算资源

•合理规划资源提升训练效率

质量指标

2.训练与评估|法律大语言模型评测指标体系

结构化文书生成

办案报告生成

案情分析

司法决策推理

法律文书摘要

法律要素抽取

法律文书检查

法律法规问答

案件咨询问答

司法程序问答

法律文书生成

证据链分析

法律大模型评估指标体系

处理效率

并发路数

相关度

首字响应时间

F1

完整度

正确性

有效性

可靠性

可维护性

功能指标

性能指标

2.训练与评估|法律大语言模型能力体系

01语言理解

l法律文书检查

l案件要素抽取

l法律文书摘要

02内容生成

l法律文书生成

l办案报告生成

l结构化文本生成

04逻辑推理

l证据链分析

l案情分析

l司法决策推理

法律咨询

法律法规问答案件咨询问答司法程序问答

03

lll

法律大语言模型的应用框架

3.应用框架|系统架构

应用

场景

场景

适配

知识

管理

模型

协同

模型配置

响应策略设定

业务全流程智慧赋能助手

AI律师

AI调解员

AI政务顾问

-特定领域

UniLaw大模型

-通用领域

6-72B大模型

问答对问法拓展

层次化知识管理

40种格式解析

图片摘要汇总

语义文本切分

问答对自动抽取

政策文件

法条法规

法律书籍

司法案件

知识图谱解读

复杂表格处理

国内主流大模型

关键词检索

意图识别

多模态图片检索

agent插件

表格识别

ReRank模型

知识库配置

GPT4-API

多模态理解模型

语义检索

版面分析

调度编排

图文多模态摘要

prompt场景设定

关键词召回模型

BGE向量模型

层次检索

NL2SQL

文字识别

党群

服务

中心

-社会

治理

中心

法院

文档解析模型

场景逻辑设定

检索召回模型

大语言模型

文档解析

检索设定

业务插件

业务协同

知识组织

群众端

业务端

3.应用框架|华院RAG平台——本地专有知识融合

模块化

数据处理模块、模型推理模块、知识管理模块、用户交互模块等。以确保系统的可扩展性