《大数据在商业中的应用前景》大数据暑期调研活动总结.docVIP

大数据 基本介绍： 　 大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。 大数据的4V特点：Volume、Velocity、Variety、Veracity。 从某种程度上说，大数据是数据分析的前沿技术。简言之，从各种各样类型的数据中，快速获得有价值信息的能力，就是大数据技术。 　大数据可分成大数据技术、大数据工程、大数据科学和大数据应用等领域。 大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。且中国物联网校企联盟认为，物联网的发展离不开大数据，依靠大数据提供足够有利的资源。 　 随着云时代的来临，大数据（Big data）也吸引了越来越多的关注。《著云台》的分析师团队认为，大数据（Big data）通常用来形容一个公司创造的大量非结构化和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。 　大数据”这个术语最早期的引用可追溯到apache org的开源项目Nutch。当时，大数据用来描述为更新网络有哪些信誉好的足球投注网站索引需要同时进行批量处理或分析的大量数据集。随着谷歌MapReduce和GoogleFile System （GFS）的发布，大数据不再仅用来描述大量的数据，还涵盖了处理数据的速度。 　从某种程度上说，大数据是数据分析的前沿技术。简言之，从各种各样类型的数据中，快速获得有价值信息的能力，就是大数据技术。明白这一点至关重要，也正是这一点促使该技术具备走向众多企业的潜力。 　大数据可分成大数据技术、大数据工程、大数据科学和大数据应用等领域。目前人们谈论最多的是大数据技术和大数据应用。工程和科学问题尚未被重视。大数据工程指大数据的规划建设运营管理的系统工程；大数据科学关注大数据网络发展和运营过程中发现和验证大数据的规律及其与自然和社会活动之间的关系。 特点： 大数据的4个“V”，或者说特点有四个层面： 第一，数据体量巨大。 第二，数据类型繁多。 第三，价值密度低，商业价值高。 第四，处理速度快。1秒定律。 业界将其归纳为4个“V”——Volume，Variety，Value，Velocity。 数据分析工具——Apache Hadoop介绍： 部分数据分析软件的性能比较： Excel： 优点1、价格便宜，且非常普及 2、易学易用，非常简单，不需要编程 3、强大的公式计算功能 4、输入原始数据非常方便 缺点：1、一些复杂的、经常使用、重复性的计算难以使用 2、无法处理数据制图要求比较高的数据 Matlab： 优点：1、编程效率高 2、高效方便的矩阵和数组运算 3、用户使用方便 4、扩充性强，交互性好 缺点：1、循环运算效率低 2、封装性不好 Origin： 优点：1、高级、易学 2、支持各种各样的2D/3D图形 3、包括统计，信号处理，曲线拟合以及峰值分析 缺点：1、功能较为寻常 2、专案档(.pro)是封闭格式 3、只支援Windows这个操作系统 Mathmatical： 优点：1、符号计算非常强大，能解的方程类型最广泛，自定义性好 2、语言灵活，高度统一 3、图形函数多 4、界面美观 缺点：1、循环比较慢 2、代码调试不是很方便 3、价格较高 数据挖掘十大经典算法： C4.5--一个分类决策树算法 Support vector machines 最大期望(EM)算法 AdaBoost Naive Bayes The k-means algorithm 即K-Means算法 The Apriori algorithm PageRank kNN: k-nearest neighbor classification CART: 分类与回归树 大数据38种商业模式： 1. 大数据基础设施类（NoSQL数据库、Hadoop相关产品、NewSQL数据库、MPP受苦、管理监控等） 2.大数据分析类（分析解决方案、数据可视化、统计计算、社交媒体、舆情分析、分析服务、IT分析等） 3.大数据应用类（广告优化、出版工具、市场营销、行业应用、大数据应用服务提供商