2019腾讯广告算法大赛方案分享（冠军） - 知乎.pdfVIP

首发于 ML理论实践 2019腾讯广告算法大赛方案分享（冠军） 鱼遇雨欲… 机器学习/数据挖掘/微信公众号：kaggle竞赛宝典 158 人赞同了该文章 （仅以此图纪念我的个人主页旧封面） 俞士纶（Philip S. Yu）教授的评价“冠军队伍已经在有意无意使用“广度学习”的方法” 评委讲到“这是最接近腾讯真实业务的方案” 写在前面 从初赛冠军、复赛冠军，然后到最佳答辩，一路披荆斩棘，再次感谢队友（哈尔滨工业大学二年级 硕士生刘育源、中山大学微软亚洲研究院联合培养博士生郭达雅）。 赞同 158 14 条评论 分享 首发于 ML理论实践 本文将给出冠军完整方案，全文内容架构将依托于答辩PPT，具体细节也会结合代码进行讲解。当 然，思路为主，代码为辅，希望这篇分享能够给予你更多的启发。 下面就让跟随我一起探索这荣获最高嘉奖的方案 ! 赛题理解 1. 数据 历史日志数据：广告请求时间、用户id、广告位id、竞价广告信息等 用户信息数据：包含用户id、年龄、性别、地域、行为兴趣等 广 告 数 据：广告操作信息、广告静态信息 2. 目标 预测广告的日曝光量 3. 评价指标 评价指标由两部分组成，准确性指标和出价单调性指标。 最终得分是将两个指标组合一起，前者控制准确性，后者控制单调性。 赞同 158 14 条评论 分享 4. 训练目标 首发于 ML理论实践 这里我们对训练目标进行了不断优化，首先是最基本的训练目标，即广告日曝光量。然后考虑到0 会导致梯度不平滑，所以对训练目标做了log变换，保证梯度平滑。 为了符合业务直觉，我们在训练时进行了单调性的考虑，而不是在训练后进行单调性修正。即考虑 了出价变量，保证训练出来的结果符合单调性。 最后将基础曝光的训练目标和考虑单调性的训练目标进行结合，也就得到了最后一个公式，即一个 模型预测基本训练目标，一个模型预测考虑单调性的训练目标。 5. 数据集划分 赞同 158 14 条评论 分享 首发于 ML理论实践 这部分也是我们队伍的一个关键提分点，能从87.6提升到87.8，当然在我刚87.x分段时，能提升4 个千分点。 我们知道复赛A榜训练集和测试集是连续的，即10号-22号训练集，23号为测试集。复赛B榜则是 不连续的，没有给出23号的标签，直接预测24号。 面对这种“跨天”预测，难度是非常大的，因为日期越近的信息是越与当天相近的，因此前一天的 信息是非常重要的。 所以我们利用“远程监督”的方式，就是利用现有的标注数据，即10-22号数据，训练一个模型， 给未标注数据（23号数据）进行标注，然后再将10-22与23号合并成训练集进行训练，预测最终的 结果。 特征工程 1. 特征提取思路 赞同 158 14 条评论 分享 首发于 ML理论实践 提取思路主要从两部分考虑，历史信息和整体信息，更细致些就是前一天、最近五天、五折交叉统 计和除当天外所有天的统计特征。 接下来我们构造了四个基础特征，大部分的统计特征都是围绕着这四个来构造的。当然我这里还考 虑了商品ID和账户ID的构造，代码如下： # 构造基本特征 for col in [ aid,goods_id,account_id]: result = logs.groupby([col,day