大数据计算：理论、实践与标准化讲述.pptxVIP

大数据计算：理论、实践与标准化 内容提要 ? 对大数据的理解 – 背景 – 大数据计算的“3-I”挑战 ? 大数据计算研究：北航初步实践 – – – – 理论方面：大数据计算的基础理论扩展 系统方面：多核I/O栈的性能优化 系统方面：高时效计算平台 应用方面：基于社会网络的突发事件检测 ? 大数据的标准化：W3C的实践 – 开放数据 – W3C的Data Activity ? 小结 3 网络信息空间大数据 ? 规模巨大，快速变化 4 Chomolung ma 8,800m 1PB data in DVD: ~25km 1ZB=1PB×106 Airplane 15,000m 社会网络 ?4 Micro-blogger Provider in China: ?800M Users, 200M tweets everyday, 20M+ Photos. 互联网有哪些信誉好的足球投注网站 ?Baidu：1PB log data per Day. Handling 1000PB ?Google：Processing 20PB data everyday IDC统计及预测 ?Data doubled every 18 months ?Data in Cyberspace ?IDC Report : ?2009: 0.8ZB ?2012: 2.7 ZB ?2020(E): 35ZB 大数据中广泛提到的“4V”特性 5 Volume ?In PB or EB ?Distributed data Variety ?Heterogeneous ?Semi-structured or unstructured Value ? Biz opportunity ? Sensitive Data Velocity ?Dynamic Changes ?Updated constantly Wikipedia large and complex datasets, which is quite difficult to process using existing data management tools, and traditional data processing applications Data Deluge 大数据的挑战 真实 世界 样本 数据 知识 统计学的采样方法 统计分布 假设检验等 总体 [Population] 大数据的挑战 真实 世界 样本 数据 统计学的采样方法 统计分布 假设检验等 总体 [Population] 问题相 关的采 日志，传感设备 摄像头， 社会网络周姑娘的人 预处理 挖掘，学习 知识 基于 模型的 预测 总体 [Population’] 多源大 数据集 样数据 新的计算理论和 算法设计方法 大规模分布式 计算基础设施 新的统计理论 和数学工具 ? ? 大数据的挑战 真实 世界 样本 数据 统计学的采样方法 统计分布 假设检验等 总体 [Population] 问题相 关的采 样数据 新的计算理论和 算法设计方法 大规模分布式 计算基础设施 新的统计理论 和数学工具 ? 日志，传感设备 摄像头， 社会网络周姑娘的人 数据质量？纠偏？ 如何让数据集代表总体？ 知识 基于 挖掘，学习 模型的 预测 如何从数据中寻找 知识并用于预测 总体 [Population’] 预处理 多源大 数据集 重采样？降维？ 如何将大数据变小 大数据的计算特征－3个I ?Avoid exact result to reduce cost ?Inexact but acceptable Results Inexact 非精确 Datasets are inexact: Noisy, Erros. Target are inexact. Eg. to find the macro trends. 4-V ?用户强交 互性 ?跨多通道 快 大数据的计算特征－3个I Data arrives continuesly Online/Realtime processing ?Hard to get an Static View of Data ?Batch/Full data is not enough Inexact 非精确 Incremental 增量 ?用户强交 互性 ?跨多通道 快 4-V 973 大数据的计算特征－3