大数据、云计算与用户行为分析.PDFVIP

大数据、云服务与情报学纵览专刊 http: // 大数据、云计算与用户行为分析* □ 吴恺 苏新宁 邓三鸿 / 南京大学信息管理学院 南京 210093 摘要：云计算的研究与应用方兴未艾，大数据近两年又成为国内外研究的热点问题和重要方向。文章介绍 了大数据、云计算的概念和内涵，重点分析了大数据和云计算为用户行为分析带来的机遇和挑战。最后文章讨 论了在大数据和云计算的背景下，用户行为分析在行为理论、信息规范、信息整合、分布式数据挖掘和数据可 视化等方面的研究展望。 关键词：大数据，云计算，用户行为分析 DOI ：10.3772/j .issn .1673—2286.2013.06.004 1 引言 D ou g L an ey从三个角度定义了数据增长的挑战与机 遇，即目前被广泛引用的3V模式：数量（Volume）、速 [3] 人类社会已经全面走进了信息时代，随着自动化 度（Velocity）和多样（Var iety） 。Volume是指数据的 机器的广泛使用，越来越多的用户行为信息被记录下 规模远远超过传统数据，例如Twitter和Faceb ook每天 来。如果能够挖掘这些用户行为数据，从中找出行为模 分别新产生7个和10个TB 的数据，传统的数据分析技 式，进而分析用户的需求或预测用户要做的事情，对于 术对这样规模的数据将无能为力。Velocity指数据周转 掌握经济和社会的真实需求规律，为用户提供个性化 的速度，IBM认为大数据是在流动着的数据，我们必须 服务，从而提高生产生活效率，减少无效浪费，无疑具 在数据流动的过程中就开始分析和应用，而不可能等 [2] 有重大的现实意义。 到一批数据结束后才开始分析 。Var iet y指数据的来 现代社会的信息量已经远远超过人们在一二十年 源和类型多样，分析大数据时必须能同时处理结构化 前对信息社会的构想。根据IDC 的研究报告，人类社会 和半结构化，甚至是原始格式的数据。此外，人们还认 的信息量每两年就会翻一番，2011年新产生和复制的数 为大数据的特征还有第四个V （Value），即蕴含巨大价 据总量达到1.8ZB （1.8万亿GB），其中75% 的数据是个 值，对国民经济和社会发展有重大影响。 [1] 人产生的 。人们日常生产生活中使用的网络、手机或 与传统数据的来源不同，大数据的来源不再仅仅 其他电子设备，每天都在不停地产生大量新的数据，超 局限于ER P、CR M等业务数据，还包括机器生成数据 [4 ] 出了以往系统所能分析的能力，这种情况催生了大数据 和社交数据 。机器生成数据 （M a ch in e -g en er at e d （Big Data）的问题。云计算（Cloud Computing ）则为 /sen sor dat a ）包括电话呼叫数据、各类服务器日志、 我们打开大数据的宝藏提供了钥匙，充分利用网络的存 传感器数据等，随着物联网的不断发展和传感器设备 储和计算能力，将是突破数据处理的瓶颈，降低数据 的普及，可获取的传感器数据变得越来越多。社交数 分析成本的可行之路。在