互联网广告算法和系统实践 - 慧知文库.doc

 HYPERLINK  互联网广告算法和系统实践 原文地址：/view/4dba92a1ed07f53a0e7d4b55c8211b91.html 互联网广告算法和系统实践 前言 这两年在招聘过程中，有很多的同学问我“大互联网公司的广告部门是做什么的？”，或者“互联网广告算法都包括哪些？”。有些时候，一些同学还会问的更加细致，比如“DSP的报价算法是怎么设计的？”、“不同公司的有哪些信誉好的足球投注网站广告算法一样吗？”、“海量数据下的模型训练系统是怎么搭建的？”。更有一些焦急的找工作的同学直接了当的问我“我学的专业能否进入广告部门？”。 在解答同学们的问题之余，我开始构思写这个入门短书，本书的定位非常明确，就是力求用简单明了的语言，给入门级的同学介绍一下互联网广告算法的体系。在本书中，有很多的地方没有详细的展开，这是留给同学们去自学的地方，大家可以根据书中的内容，自己去深入挖掘。比如，对于逻辑回归的详细推导，大家可以去找一下相关的书籍和博客；对于ctr prediction的工程优化，大家可以去google上面找找相关论文，扩展一下视野。 本书注重实践，写了一些实践的例子，有些实践是一个方向的深入阐述，有些实践是经验的总结。 希望这本短书能够帮到大家。与人分享，不亦乐乎。 第一部分 互联网广告简介 1.1 广告简介 在今天，如果你问一个人：“什么是广告？”回答可能五花八门，因为现在的广告形式日新月异，已经发生了巨大的变化，渗透到了几乎生活的每一个角落。我们现在在电视上、电影放映前、地铁里、商场里、车站牌上、洗手间里……广告无处不在。以至于有些人预测了一幅未来的人类社会场景：随着显示硬件技术和联网技术的极大发展，所有的公共区域，甚至墙上都布满了显示和输入设备，每个人都可以随意的在街角的一块墙上输入自己的身份，然后登陆完成自己的所有操作，同时也收到了来自各种源的定向广告内容。当然，这只是一种带有科幻色彩的想象，目前的广告形式和广告渠道并没有达到这种大一统的阶段。 William F.Arens在Contemporary Advertising（中文名《当代广告学》）里，给了一个定义： 广告是由已确定的出资人通过各种媒介进行的有关产品（商品、服务和观点）的、有偿的、有组织的、综合的、劝服性的非人员的信息传播活动。 这个定义到现在也不过时，在这个定义里，我们看到了传统广告业务包括了三方角色，分别是：广告主（Advertiser）、媒体（Media）、普通受众（Audience）。这三方的诉求和利益各不相同，共同构成了一个博弈的生态系统。充分理解这个生态系统的构成，对于后面理解广告系统的算法设计、目标设计、平衡之道，具有重要意义。 既然谈到了广告，那么，在这里简单说一下广告的历史。目前认为最早的广告是古希腊的《寻奴》，这是一则寻人启事，描述了一个在逃的奴隶，并悬赏一枚硬币抓捕。古罗马也有早期广告的痕迹，庞贝古城的废墟里面就发现了关于商业信息和政治信息展示物。在古埃及和古阿拉伯，也都有用纸莎草来制作销售信息和贴墙海报的历史。 真正意义的现代广告，随着印刷术在15世纪的广泛应用出现在欧洲。英国出现了世界广告史上第一个纸质的广告——宣传教会图书。随着纸质媒体的发展，广告业务迅速发展，到了1843年，第一家广告代理公司由Volney Palmer创立，专门贩卖广告版面，却并不提供内容。在1869年，Georage P Rowell编写了广告史上第一部报纸索引 Rowells American Newspaper Directory，即《罗威尔美国报纸指南》，后来他又创办了Printer’s Ink，即《印刷商的油墨》，这是第一份广告行业杂志。在1869年，F. Wayland Ayer成立了美国艾尔父子广告公司，这家公司在后来提供了设计、文案、媒体策略等各方 面的服务，是第一个具备现代广告公司基本特征的公司。在大热的美剧《疯狂广告人》里面，描述了美国上世纪60年代，处于黄金时期的传统广告业。剧中展现了令人叹为观止的广告创意和灵感，有些即便放在今天也是经典。 时至今日，中国互联网广告产业已经有了千亿的规模，产品形式丰富多样，每天影响着几亿中国网民，是实实在在的“大产业”。而且，互联网广告可以用算法进行优化，投放效果可以量化评估，这些都是传统广告行业不可比拟的。 1.2 互联网广告简史 在20世纪末的美国，大型互联网公司开始崛起，美国在线（AOL）、雅虎（Yahoo！）开始逐渐成为科技之星，Amazon还只是个网上的小书店。AOL和Yahoo！的巨大的流量（刚开始也只是百万级的pv）并没有转换成巨大的收入。这时，这些互联网公司开始尝试在页面中插入条幅（banner）广告创意，并向广告主收取费用，这种条幅广告就是显示广告（Display Advertising