大模型在推荐系统中的落地实践.pptx

大模型在推荐系统中的落地实践

CONT目E录NTS01推荐大模型背景02研究现状03生成式推荐大模型04总结与展望

大模型推荐背景

推荐系统推荐系统：从用户历史行为数据中学习用户行为模式，预测未来用户行为亟待解决的问题：推荐数据稀疏，存在大量冷启动用户与物品，模型难以挖掘用户行为模式协同过滤2000年左右2010年左右矩阵分解2015年左右神经网络今天？？？

大模型技术大模型技术急速发展，正在成为AI新范式！

大模型技术优势基础：海量文本的高质量清洗及超大规模语言模型训练大量认知Prompt任务的有监督训练代码、文本数据融合训练人工反馈下的强化学习：注入了人类偏好45TB原始海量文本语料570GB清洗后语料(93%是英文)175GB模型（在GPU显存）40个众包团队标注人类反馈数据96%是英文增强推理激活知识数万个任务Prompt，涉及生成、问答、头脑风暴、闲聊等830GB代码数据数据来源：InstructGPT官方论文上亿活跃用户持续提供数据数学能力涌现能力：模型参数规模超过某个阈值时，模型精度剧烈增长文本生成 语言理解 知识问答 逻辑推理代码能力

推荐系统+大模型大模型推荐vs纯推荐系统模型泛化性：推荐系统难以适应新任务与新场景；而大模型推荐能够依赖零/少样本推理能力，快速适应新的推荐任务，高效跨域泛化表征建模能力：推荐系统缺乏语义信息；而大模型推荐能提取高质量的文本表示，并利用编码的世界知识完善物品理解和用户建模个性化内容生成：推荐系统仅能回答用户对给定候选集中物品的偏好；而大模型推荐具备生成能力，可以生成不受限的个性化内容，且具备较好的可解释性可解释性零/少样本推理世界知识、常识生成能力

研究现状传统大模型推荐生成式推荐大模型

传统大模型推荐大语言模型与推荐模型的结合挖掘用户与物品的深度文本语义关联，增强冷启动场景的推荐能力，可解释性强应用模式：目前大语言模型的推荐以发挥大语言模型的文本能力为主，可根据其应用模式分为三类：大模型生成表征+推荐系统、大模型生成文本+推荐系统、大模型生成推荐结果1).大模型生成表征+推荐系统 2).大模型生成文本+推荐系统 3).大模型生成推荐结果WuL,ZhengZ,QuiZ,eta.lAsuveyr onlager languagemodeslforrecommendaionJ.][t aXvir pepintrr aXv:2305.19860,ir2023.

传统大模型推荐1：大模型生成表征+推荐系统研究背景推荐模型处理文本信息通常依赖文本编码器：编码文本信息能力弱：相比小语言模型，大模型自身对文本编码能力强大，能提供高质量表征难以深入理解文本信息：凭借着丰富的知识与推理能力，大模型能够引入小语言模型不具有的外部知识B与C相关A的嵌入B的嵌入C的大模型嵌入C的传统语言模型(Glove)嵌入C的传统语言模型(BERT)嵌入A与B,C无关大语言模型的编码结果与实际上相关的物品更接近BaoK,ZhangJ,ZhangY,eta.lTalec:rl Anefecivetf andefcentiif tunngi famewokrr toaignl lager languagemodelwthirecommendaionC//Poceedngsir][t ofthe17htACMConeencerf onRecommenderSysems.t 2023:1007-1014.

传统大模型推荐1：大模型生成表征+推荐系统使用判别式模型获得文本嵌入，提高推荐模型嵌入质量大模型嵌入替代或添加进推荐模型嵌入(如BIGRec)：利用大模型获取物品的嵌入，将嵌入替代或添加进推荐嵌入进行后续推荐推荐模型与大模型的嵌入对齐(如CTRL、ClickPrompt)：将大模型生成的嵌入与推荐嵌入通过对比学习、注意力等方法对齐大模型嵌入与推荐模型嵌入拼接嵌入拼接对比学习大模型嵌入与推荐模型嵌入使用对学习对齐LinJ,ChenB,WangH,etal.ClickPrompt:CTRModelsareStrongPromptGeneratorsforAdaptingLanguageModelstoCTRPrediction[C]//ProceedingsoftheACMonWebConference2024.2024:3319-3330.

传统大模型推荐1：大模型生成表征+推荐系统总结与展望训练与推理时延：LLM模型生成嵌入的速度较慢，导致了额外的时间和空间开销大模型存在编码对齐困难的问题：大模型的极大参数