AWS 亚马逊 大数据小数据一天实现可视化分析.pdfVIP

大数据小数据 如何快速实现可视化分析 2014.08.09 王桐 传统数据分析的做法和问题 1. IT人员需事先建模，提前汇总好数据，业务人员在前端查看分析结果报表 2. 业务人员查看的报表相对静态，分析的维度和度量的计算公式已在建模时预先设 定好，丌能更改 3. 分析需求变更时，业务人员丌能直接调整报表，需要IT人员重新建模或修改已有 分析模型，耗时较长，响应速度较久 问题的本质——针对海量数据的计算 能力不足，需通过建模提前运算汇总 解决方案——敏捷商业智能 敏捷商业智能 ：轻量建模 重量建模：统一视图 轻量建模：N个视图 海量数据如何分析 商业智能数据计算的演变叱 实现敏捷商业智能的大前提是采用新 分布式计算 技术处理数据的性能有了几十倍提升 内存计算 Cube 敏捷商业智能 高性能计算 SQL 点击计算 报表编程 想做简单的汇总分析，数据如何流劢？ Sum(Sales) Per Month Sum(sales) Sum(sales) 想做专业统计的方差分析，数据如何流劢？ Variance(Sales) Per Month Count(Sales) 2 Sum(Sales)Sum(Sales ) Variance(Sales) 数据列很多，但每次分析需要的数据列幵 丌多，可以怎么做？ Sum(sales) Per month 1000T Column - based storage 磁盘读写性能太差，没法做探索式的可视化 分析，可以怎么做？ 1000T磁盘 … 100T内存 … Query 数据量太大，一台机器处理丌了，可以怎 么做？ Scale-up Sc