让算力不再成为瓶颈,小红书机器学习异构硬件推理优化之道PPT.docx

让算力不再成为瓶颈,小红书机器学习异构硬件推理优化之道PPT.docx

  1. 1、本文档共30页,其中可免费阅读14页,需付费169金币后方可阅读剩余内容。
  2. 2、本文档内容版权归属内容提供方,所产生的收益全部归内容提供方所有。如果您对本文有版权争议,可选择认领,认领后既往收益都归您。
  3. 3、本文档由用户上传,本站不保证质量和数量令人满意,可能有诸多瑕疵,付费之前,请仔细先通过免费阅读内容等途径辨别内容交易风险。如存在严重挂羊头卖狗肉之情形,可联系本站下载客服投诉处理。
  4. 4、文档侵权举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多

让算力不在成为瓶颈

小红书机器学习异构硬件推理优化之道

演讲人:杜泽宇小红书商业化引擎团队负责人

Contents

目录

背景模型服务GPU优化实践前言

背景

模型服务

GPU优化实践

前言

01前言

前言

?近些年,机器学习领域的视频、图像、文本和推广搜等应用,其模型计算量和参数量远远超过cPU

摩尔定律的增长速度。在此背景下,GPU的算力发展和大模型的发展不谋而合。很多公司都在结合GPU

的算力发展,探索出适合自己的机器学习问题解决方案。例如,小红书在2021年开始进行推广搜模

型的GPU化改造,以提升推理性能和效率。在迁移过程中,我们也面临í些困难,例如如

文档评论(0)

4A方案 + 关注
实名认证
服务提供商

擅长策划,|商业地产|住房地产|暖场活动|美陈|圈层活动|嘉年华|市集|生活节|文化节|团建拓展|客户答谢会

1亿VIP精品文档

相关文档