数据仓库的建库困境二三事.pptx

“打怪升级”之 数仓困境二三事Overwrite? 统一的架构? 我们的困境? 最终的方向大数据平台大数据平台理想现实怪兽 之 三足鼎立当时是这样的整合数据抽取Sqoop? 将 Hadoop 和 关系型数据库 中的数据相互转移的工具? 封装到开发工具箱中SqoopSqoop? 现象：抽取不稳定– 每日抽取变化量– 正常5分钟以内– 异常30min以上Sqoop? 原因：数据不均Sqoop? 原因：数据不均[min, max) 数据不均匀select … from tabName where key = min and key max Sqoop? 方案：重新打散，实现Splitterselect … fromwhere (key = or (key = or (key = or (key =tabNamemin0 and key max0)min1 and key max1)min2 and key max2)… and key …)Sqoop? 方案：重新打散，实现Splitter怪兽 之 报表快跑数据及时性? 数据量增长/大促– 重要报表延迟? 原因– 凌晨数据同步占据计算时间数据及时性分而治之 分钟作业数据完整监测小时同步数据及时性? 调度资源管理– 作业组– 并行数– 队列– 优先级怪兽 之 Hadoop危机Hadoop危机? NameNode宕机Hadoop危机? 影响– 所有内部、外部数据产品流量数据– 有哪些信誉好的足球投注网站、广告、推荐Hadoop危机? 方案– 尝试重启系统– 3个月前的镜像– 尝试恢复Hadoop危机? 解决– 尝试修复EditLog怪兽 之 密集恐惧症历史问题剪不断理还乱????需求报表指标混乱数据孤岛僵尸报表如何解决? 我们需要什么 – 指标口径统一 – 知识管理 – 生命周期如何解决? 我们需要什么 – 元数据管理 – 整合BI应用最终的方向