2019腾讯广告算法大赛初赛分享-Part3（冠军篇） - 知乎.pdfVIP

首发于 ML理论实践 2019腾讯广告算法大赛初赛分享-Part3（冠军篇） 鱼遇雨欲… 机器学习/数据挖掘/微信公众号：kaggle竞赛宝典 71 人赞同了该文章 复赛A榜就要结束了，在分享初赛思路的同时，本文也将对复赛稍作点拨 更多腾讯广告算法大赛思路分享和特征构造思路可以关注个人知乎live分享（会员免费）： 如何进行一场数据挖掘算法竞赛 写在前面 感谢队友带我carry，有幸拿到初赛的冠军，在这里我也将初赛思路做一下分享，一是帮助进行复 赛的同学扩展些思路，二是帮助大家能从这次比赛中学习到不一样的东西。比赛的目的就是为了学 习，很乐意与大家交流。 赞同 71 26 条评论 分享 接下来将从初始建模、特征工程、模型选择、规则尝试四个方面进行分享。 首发于 ML理论实践 正文 初始建模 这里主要是训练集的构建，我的构建方式一直比较简单，主要选择广告操作表中广告创建时间有出 价，定向人群和投放时段的广告id，这是第一部分的广告id，第二部分是三月份出价唯一的广告 id，然后将这两部分广告id结合起来作为最终训练集广告id，然后再构造每天的曝光量。最终25w 训练样本。也是我得到最高单模分数(86.4)的建模方法。 特征工程 1. 数据预处理 首先删除了异常样本，包括出价异常，ecmp相关异常，pctr异常，这里值的是离群点。然后删除 了重复样本，主键为请求id、请求时间和广告位id。 2. 特征提取 初赛： 虽然题目是预测广告日曝光量的，但是和转化率也有很大的关系，除了目标不同，特征很多都是可 以按ctr问题来构造特征。 一个模型既有细粒度的特征，又有粗粒度的特征，细粒度的特征增强模型的刻画能力，粗粒度的特 征保证模型的泛化能力。细粒度的特征对活跃用户比较好，可以更精细地刻画他的喜好，提供更个 性化的商品排序；而粗粒度的特征是为了服务不活跃用户甚至是新用户，用大数据中总结出的一般 规律来提供商品的排序。有了这样一个认识，我们就可以构造很多特征，粗细结合，整体局部。 构造的特征主要分为三个部分，五折交叉统计、历史平移和CountVectorizer。 使用全局统计用来得到整体情况，然后为了降低过拟合的风险，而是用五折交叉统计。 历史平移用来过去历史信息，比如历史曝光量，历史pctr等。 CountVectorizer是属于常见的特征数值计算类，是一个文本特征提取方法。对于每一个训练文 赞同 71 26 条评论 本，它只考虑每种词汇在该训练文本中出现的频率。对于多值特征，最方便的展开方式就是使用 分享 CountVectorizer。从去年的腾讯比赛，以及很多比赛都会使用到这个操作，简单易用，效果显 首发于 著。 ML理论实践 复赛： 对于建模的思路不同，我们构造的特征也有很大的区别。 模型选择 初赛和复赛我们都使用了nn和lgb。 NN: nn我们选择的是nffm，当然我们对其进行了改进。主要是对数值特征的输入进行修改。(具体方案 复赛结束后分享) nffm 赞同 71 26 条评论 分享 首发于 ML理论实践 改进方法 Lightgbm: 这个没什么好说的，使用起来方便，不需要对特征做过多的