CSDN大数据应用大会PPT——08-吴朱华：海量数据从27小27做起 中小企业Big Data解决之道.pptVIP

上海人云科技 创始人 吴朱华 ikewu83@ 微博ID: peopleyun PeopleY 海量数据从小做起——中小企业Big Data解决之道 上海人云科技团队 上海人云科技团队组建于2010年底，团队的成员主要来自于IBM中国研究院和上海贝尔阿尔卡特等著名IT企业。现在力推的产品是用于海量数据的YunTable，并即将在11月底正式对外发布其企业级版。同时已在2011年中发表《云计算核心技术剖析》一书，此书受到业界极大的关注和好评，并已经印刷万册。 《云计算核心技术剖析》 什么是海量数据？ 海量数据的时代 海量数据的意义 互联网企业； 智能电网； 车联网； 医疗行业； 安全领域。 海量数据的用途和价值 Variety：一般包括结构化、半结构化和非结构化等多类数据，而且它们处理和分析方式有区别; Volume：通过各种设备产生了大量的数据，PB级别是常态； Velocity：要求快速处理，存在时效性； Vitality：分析和处理模型必须快速变化，因为需求在变； Complexity：处理和分析的难度非常大。 海量数据的特点(4V + 1C) 如何从“小”做起？ 认识自己的不足，比如在技术、人力和财力等方面是无法比肩BAT（百度、阿里巴巴和腾讯）； 明确分析自己的需求，比如，数据类型、数据大小、读写量级、读写比例、并发数、延迟度和分析的复杂度等； 要灵活使用现有的工具，比如开源或者是一些可以承受的商业软件，不排斥自建，但是一定要有价值，希望是画龙点睛； 尽量不要走平台思路，应以具体的应用和场景为主； 要进行不断地测试和迭代来进行验证。 主要方针 海量数据的处理流程 简介：利用多种轻型数据库来接收发自客户端的数据，并且用户可以通过这些数据库来进行简单的查询和处理工作； 特点：并发数高； 待选工具：MySQL、Redis、MongoDB和实时数据库。 采集 简介：将海量的来自前端的数据导入到一个集中的大型分布式数据库或者分布式存储集群，并且可以在这个基础上做一些简单的清洗工作； 特点：导入数据量大。 导入/处理 简介：利用分布式数据库来对存储于其内的集中的海量数据进行普通的查询和分类汇总等，以此满足大多数常见的分析需求； 特点：查询涉及的数据量大，查询请求多； 待选工具：Hadoop（包括hive、pig等工具），HBase，Cassandra和Infobright等。 查询 简介：基于前面的查询数据进行数据挖掘，来满足高级别的数据分析需求； 特点：算法复杂，并且计算涉及的数据量和计算量都大； 待选工具：Hadoop Mahout等。 挖掘 YunTable YunTable是在传统的分布式数据库和新的NoSQL技术的基础上发展而来的新一代分布式数据库。通过它能构建一个百台级别的分布式集群来管理PB级别的海量数据。 YunTable最大的特色就是快，它能极快地导入海量的数据，并极快地进行相关的查询；其次是TCO低，整体成本比提供类似性能的Oracle Exadata或者EMC GreenPlum等低很多，并且扩展能力更强。