大数据解决方案v1-段建民.pdfVIP

大数据解决方案 段建民 ：James.duan@ 2013.05.18 一、大数据特点 二、传统DW处理方式的挑战 三、Hadoop 技术简述 四、Oracle 面向大数据的集成解决方案  以下内容仅供参考，不可纳入任何合同。该内容不构成提供任何材料, 代码或 功能的承诺, 并且不应该作为制定购买决策的依据. 所描述的有关Oracle 产品的 任何特性或功能的开发、发布和时间安排均由Oracle 自行决定。 一、大数据特点 1. 大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理 和处理的数据集合”—维基百科 2. 三大特征( 3V ) 1. Volume ：数量大（Twitter1.75亿用户每天创建9500万条微博； Facebook每天在30万台服务器上处理25Tb数据；YouTube每天上传 168Tb视频） 2. Velocity ：时效性要求高（有哪些信誉好的足球投注网站引擎要求几分钟前的新闻能够被用户查 询到） 3. Variety ：种类和来源多样化（结构化/半结构化/非结构化；关系数据 库/数据仓库/互联网网页等） 3. 通常用于分析型的应用场景，如有哪些信誉好的足球投注网站引擎网页处理、用户行为分析、商 业智能（BI ）等 Oracle 对大数据的理解-4V特征 具有4V特性的数据称为大数据 • 巨大的数据量Volume • 集中储存/集中计算已经无法处理巨大的数据量 SOCIAL Volume BLOG 3亿用户，每天 上亿条微博 中型城市每月数十 SMART 亿智能电表数据 METER • 多结构化数据Variety Variety • 文本/ 图片/视频/文档等 2015年全球移动终端产生的数据 • 增长速度很快Velocity 量6300PB Velocity 10110010100100100 11010101010111001 • 海量数据的及时有效分析 01010100100101 • 用户基数庞大/设备数量众多/实时海量/数据指数级别增长 • 价值密度低Value Value • 单条数据并无太多价值，但庞大的数据量蕴含巨大财富 Why Oracle ? Oracle Exadata Volume 101100101001