RAG 商业落地实践踩坑.pdf

QCon2024全球软件开发北京大会

xiangmuxueleishi

句子互动

•句子互动联合创始人CTO

•SamAltman在Y-Combinator

带的最后一届校友

QCon2024全球软件开发北京大会

•奇绩创坛S23校友

•2w+star开源社区Wechaty核

心contributor

•前Amazon，Expedia全栈工程

师

句子互动

•需求描述

•踩坑经历

•Demo

QCon2024全球软件开发北京大会

•QA

句子互动

•RAG是RetrivalAugmentGeneration的缩写，直译过来就

是【检索增强生成】

•将大模型比喻成一个高中生，学会了基础学科的知识，有基

础的逻辑和理解能力，RAG就是给这个大学生一个有哪些信誉好的足球投注网站引擎

QCon2024全球软件开发北京大会

•没有有哪些信誉好的足球投注网站引擎之前，问一个高中生什么是数据库死锁，他无

法回答，但是有了有哪些信誉好的足球投注网站引擎，通过有哪些信誉好的足球投注网站相关的知识，这个高

中生就能回答这个问题

句子互动

•大模型配合RAG的时候通常使用Embedding技术来进行文

本内容之间的相似度匹配

•Embedding技术是通过算法将文本转换成数字向量，然后通

过转换后的数字向量之间的距离来判断文本之间的相似程度，

QCon2024全球软件开发北京大会

进而通过这样的方式来有哪些信誉好的足球投注网站找到相关的文本内容

句子互动

•希望搭建一个专家级营养师的IP形象，对外提供自动化的咨

询问答服务

•建立AI知识库，训练AI智能对话的某类型知识来源范围需限

制在知识库内

QCon2024全球软件开发北京大会

•设定某些对话（如激烈的情绪反应、产品活动价格等咨询）

自动转人工客服

•遇到无法回答的问题自动转人工客服

句子互动

•分类器

•RAG

QCon2024全球软件开发北京大会

句子互动

QCon2024全球软件开发北京大会

Theshowbegins

句子互动

•用户希望机器人能够基于产品信息进行回复和推荐

•产品信息是一个SKU表格

QCon2024全球软件开发北京大会

句子互动

•98个SKU

•十余种属性

•结构化数据QCon2024全球软件开发北京大会

句子互动

•结构化检索

•如何根据用户的问题产生结构化检索参数

QCon2024全球软件开发北京大会

问题LLM分析检索参数检索结构化数据LLM生成回答

•链路太长

•浪费LLM资源