《数据挖掘现状.docxVIP

数据挖掘：中国互联网未来的十年——专访党书国?[ 卷首 ]本文章被浏览2222次????????门户解决了web0.5时代的信息匮乏；Google解决了web1.0时代的信息泛滥；Fackbook解决了web2.0时代的社交需求；未来是谁的十年？展望web3.0时代，当高效的社交网络趋于信息量爆炸，我们庞大的社交关系也需要一个Google来处理，那就是下一个十年，数据挖掘的十年，网络智能的十年。????????数据挖掘：互联网阶段性产物????????数据挖掘之所以在近几年颇受关注与互联网发展的阶段有关。随着网页的增多，用户量达到一定规模，就产生了大量用户和网页应用交互的行为，这些数据实际上非常有意义。互联网也因此形成了两条主线结构。一种是以信息为对象的，还有一种是以人为对象。但是人与信息之间不是割裂的，而是时时刻刻交织在一起，而且信息是通过人流动的，人也在流动的信息中构建新的关系，这催生了如Facebook这样类型的网站。数据挖掘被频频提及，并不是资本操作的结果，而是随着互联网发展的进一步深化，原本被大家忽略的数据挖掘的价值逐渐凸显，如何使广告投放更加有效，增加广告投放ROI，如何提高网站的转化率以及用户再次购买的能力，这些都需要数据挖掘在背后做支撑，因此这个领域逐渐被大家重视。????????国外数据挖掘的发展要成熟许多。基于历史悠久的邮购业务，国外公司具备目录式的用户库，可以进行数据挖掘。随着互联网的出现，又自然而然过度到网络数据挖掘的阶段。但是中国在互联网出现之前，没有相应的用户库基础，大家对它还没有形成清晰明确的认识，专业人才匮乏，大学里也没有开设数据挖掘的专业。????????从事数据挖掘的人员，我个人认为要备有一定的统计学、社会调查等方面的基本素质，而且要充满好奇心。获取数据并不困难，关键是要具有能挑出金子的能力。比如像微博，通过用户大量的互动行为，产生人与信息的交流，交织，不断变化着向前推进。我发一条微博，被评论，然后被转发，再次被转发，有时候会产生类似蝴蝶效应的情况。数据挖掘可能帮助企业更好的预测信息，甚至还有人在互联网上通过数据挖掘，得出2012要毁灭的结论。????????数据挖掘：从垃圾里捡金子????????数据挖掘的前提是数据量足够庞大。这种大数据是非常诱人的，通过分析可以发现许多含金量很高的信息和趋势。????????目前获得用户数据的方式大致有两种。一种是通过和电信运营商合作，在路由器上截取全网数据。这种方式能够在最大限度上掌握用户数据，但是这种全样本在操作上存在问题，国外一般采用以抽样小样本数据推向全局的做法。另一种方法是以cookie的方式植入到用户的机器里，通过连续性的跟踪，生成用户行为的信息流，经过对这些信息的分析，将有效的广告推送给用户。这种方法的技术不断提高，从文本到动画，越来越难被用户清除，因此可以更加完整地呈现用户在互联网上的行为。????????这两种不同的获取数据的方法并没有优劣之分，抽样数据对于一些现象或者结果的预测并不一定低于全样本数据。获得全样本数据的代价非常大，如果全样本数据没有进行很好的分解，那么就是垃圾数据而已。????????在数据分析结果与预期不符合的情况下，首先要看模型是否设计得合理。比如我经常会遇到自身网站的排名和第三方检测的排名很不一样，这其中有很大程度是因为数据筛选过滤以及模型的差异。通过不同的方法获得的数据结果会有不同，算法不同，实现方法也都会导致数据结果的差异性。????????针对两种不同的数据获取方式的数据分解，采用cookie的会更加容易。特别是对于像Baidu这类公司，用户的行为基本覆盖了它的网络广告范围，因此更容易形成对用户的连续印象。在这种情况下，如果掌握了全网的用户，就可以对每一个用户的特点进行描绘，从而给用户打上相应的标签。为每一位用户定义自身标签是一个非常重要的过程。用户的行为在不断变化，因此在标签老化后，需要进行定期的更新管理，一般三个月更新一次标签。在贴标签的时候，需要对分类进行细化。我曾经看见过将一组用户命名为“农林牧副渔”的情况，这是非常可笑的，这种标签对于研究消费者毫无意义，不能起到指导营销的作用。????????通过获取数据、分解数据以及将数据赋予标签意义的三个步骤，就可以基本上完成数据挖掘的过程。这些经过筛选的“金子”可以应用各种领域。例如广告投放，虽然互联网广告已经比电视广告更加精确，但是仍然存在着高度浪费的情况。实际上很多广告投放仍然是不精确的，因此先要判断用户的类型，才能决定向其推送广告的类型。此外，例如电子商务网站就可以根据不同的用户类型，将网站页面重组，把相应的内容推送给用户，使得电子货架体系随时根据每个人发生变化。数据挖掘不是以单纯的报告形式存在，而是具有非常广泛的市场应用潜力。????????数据挖掘行