2024 年向量数据库与 RAG 落地思考与实践.pdf

2024年向量数据库与RAG

落地实践与思考

QCon2024全球软件开发北京大会

爱可生苏鹏

苏鹏｜爱可生AI创新事业部负责人

目前在爱可生负责大模型与数据库的创新场景探索，在数据库和算法领

域有着丰富的开发经验。

QCon2024全球软件开发北京大会

Datawhale开源学习社区上海负责人

LFAPACEduSIGmember

公众号「向量检索实验室」主理人

GitHub账号：/SuperSupeng

目录

一、大模型落地过程中的现状和问题

二、技术重点

信息提取/信息检索/LLM交互/RAG评估

QCon2024全球软件开发北京大会

三、电力行业智能化营销实战

业务背景/实现方案/方案效果

四、总结与展望

大模型落地过程中的现状和问题

QCon2024全球软件开发北京大会

大模型落地过程中的现状和问题

大模型有幻觉怎么办？？

大模型这么多，怎么选？新技术层出不穷，如何跟进？

需要多少硬件资源支持？缺失内容

应该项目制还是统一规划？大语言模型安全性

大家都在做长文本对我有什么影响么？关键文档被遗漏

QCon2024全球软件开发北京大会

缺乏具体细节文档长度超过上下文限制

回答不全面提取困难

结构化数据问答格式错误

复杂PDF文档数据提取备用模型策略

大模型落地过程中的现状和问题

基于向量检索的大模型——检索增强生成（RAG）

模型微调

QCon2024全球软件开发北京大会VectorDB

虽然能通过微调的方式进行知识注入，但是存在两个缺陷：

1.模型微调需要专业人才、GPU设备投入较大

通过检索增强生成（RAG）的方式，能够保证定位到必威体育精装版且准确的知识数据，作为上下文输

2.若非私有化部署的模型，微调后有数据泄漏的风险，而且知识不易变更

送给大模型，用低成本（仅普通服务器即可实现高效检索）的方式提升模型效果。

大模型落地过程中的现状和问题

QCon2024全球软件开发北京大会

1.SevenFailurePointsWhenEngineeringaRetrievalAugmentedGenerationSystem