大数据之上的实时精准推荐.docVIP

腾讯广点通 大数据之上的实时精准推荐 腾讯 数据平台部 精准推荐中心 薛伟 2013.12 目录 ? 简介 ? 数据 ? 算法 ? 系统 目录 ? 简介 ? 数据 ? 算法 ? 系统 广点通简介() ? 广点通是基于腾讯大社交平 台的效果广告营销产品，在 腾讯大社交平台的海量用户 积累的基础上，运用大数据 技术，进行以人为核心的数 据挖掘，实现精准的广告推 荐。 ? 腾讯精准推荐平台是广点通 背后的支撑系统之一 – 数据海量 – 系统实时 – 算法精准 目录 ? 简介 ? 数据 ? 算法 ? 系统 数据的基本特点 ? 典型的大数据 – 大量(Volume): 腾讯QQ月活跃用户超过8亿,在线人际关系链超 1000亿；Qzone空间月活跃用户数超6亿 – 高速(Velocity): Qzone空间日均相册上传超过4亿，日写操作总数 过10亿 – 多样(Varity): 数据种类多（日志、视频、图片、LBS信息等），非 标准化数据比例高 – 价值(Value):价值密度低，商业价值高 从推荐的视角看数据 交叉效应: 用户-物品, 用户-推荐位, 物品-推荐位, 用户-物品－推荐位的相似度 物品 用户 自身属性： 素材特征、文本Tag 类别、价格、成交量 定向规则 、投放预算 生命周期等 派生属性： 归属的行业分类等 推荐引擎 基础数据：年龄、地域、性别 内容： UGC内容：博客、微博内容等 行为：浏览 /收藏/ 喜欢/ 消费/分享等 场景：时间、地点 关系链：好友/朊友/微博关系链 推荐上下文 推荐上下文 属性： 推荐位：首页，IM，详情页… 对应页面内容，页面位置排序… 时间、地点、环境变量等… 用户数据 像 基础属性 兴趣爱好 用户TAG 用户状态 年龄 游戏 iPhone 新婚 性别 APP Nike 育儿 地域 学历 电商 汽车 DNF BMW 付费人群 … 职业 … 600余类目 … 百万TAG … ? 基于社会关系的基础属性校准；基于tag统一化和语义分类的兴趣计 算；定向人群挖掘体系；… 用户数据 QQID用户画像 移动设备用户画像 离线 实时 离线 实时 用户Tag 用户长期兴趣 用户基础属性 … 用户实时Tag 用户实时兴趣 … LBS定位数据 移动app行为 用户长期兴趣 … LBS实时定位数据 移动app实时行为 用户实时兴趣 … 用户画像的移动化和实时化 物品(广告)数据 ? 广告主提供的特征： – 类目，文字描述，价格， 定向规则等 ? 爬取和计算的特征 – 广告素材图片基本特征 （亮度，饱和度，色彩度， 对比度，尖锐度等） – 图像相似度 – 订单类目预测 – DNN发现深度特征 亮度标准差=3 亮度标准差=8 亮度标准差=16 ? 广告特征的实时化 对于同一人群，相似图片CTR接近 上下文数据 ? 推荐位置变量：PC页面、PC客户端、无线侧 ? 环境变量：雾霾、下雨、紫外线 ? 时间变量：早中晚、周末、假日 ? 空间变量：LBS数据 ? 其他变量：实时行为、状态 … 目录 ? 简介 ? 数据 ? 算法 ? 系统 算法-概述 ? 推荐本质上是一种个性化排序 Ranking＝ scoring+sorting+filtering ? 特定场景如广点通，排序准确＋预测值精准 AD Ranking = scoring+PCTR+filtering ECPM=CTR*CPC ? 指导思想：针对丌同的推荐场景，采用丌同的数据和丌同 的算法策略 算法-谱系 规则算法 (重定向， 关联规则，热度，…) ? 用户实时行为 – 关联，重定向 ? 老用户－老广告 基于内容的算法 – 经典模型效果好 ? 老用户－新广告 协同过滤算法 (基于邻域，各种矩阵分解，…) 混合算法 – 借助广告相关的标签，文 本，类目，以及提取的广 告特征等 图算法 (最近邻，各类图挖掘，…) ? 新用户－老广告 – 借助用户分群，转移学习 等 分类算法 (LR，RDT，GBDT，NN，…) ? 新用户－新广告 – 寻找相关信息量 大数据对算法的挑战 ? 挑战－精准投放 – 1 ‰ 用户－广告的评价/行为矩阵过于稀疏，密度千分位，甚至更低 – 1-3 用户看到广告的曝光机会仅有1-3次/天 – 3-9 大部分广告的生命周期仅有3-9天左右 – 50 单次推荐请求控制时间50ms以内 – 10,000 + 通常单个推荐位可投广告在10万级别以上 – 10 bn+ 日均推荐请求量可达100亿次+ ? 应对 – 高性能的学习算法：分布式幵行的LR，邻域CF，MF等算法 – 场景定