【10页PPT】企业数据治理之数据算力治理方案.pptxVIP

企业数据治理之算力治理方案

算力治理-问题分析存量任务数量多、增长快，平台上有大量异常（或无效）任务新增任务无“查重”检测机制，平台存在冗余或相似任务存在没人使用（无价值）的任务，长期空跑平台缺乏任务治理产品数据倾斜等慢任务，缺乏诊断工具，优化工具 计算引擎以MR/Tez为主，Spark引擎使用占比不足5%，算力利用效率不高缺少算力量化指标，任务价值量化算力使用粗放，资源成本意识弱算力使用需要精细化运营专项一：提高有效算力占比①获取无效任务（异常、冗余）②建立治理规则引擎③效果评估④建立“识别-治理-分析”闭环产品专项二：提升平台计算资源利用效率①Hive-Spark迁移工程②hive优化诊断工具③任务分发④在离线混合部署专项三：建立算力增长可控体系①算力量化、任务价值量化②治理效果评估③算力/任务健康度监测④算力管理、资源拆分

算力治理-整体架构提升有效算例占比提高算力能效集群计算引擎升级 tez spark在离线服务混部在离线物理集群划分分时错峰复用资源调度底层功能算力采集算力量化任务日志收集任务日志解析支撑单任务诊断工具工具链路任务诊断工具功能无效任务下线问题任务识别重复计算识别相似任务识别报警推送系统报警推送任务白名单用户问题任务优化重复计算缓存相似任务合并核心任务保障API数据地图奥丁 ……数据来源任务价值量化功能核心任务保障调度策略编排算力健康度监控看板

算力治理-任务治理流程日志数仓集市业务指标交换Odin数据平台识别引擎（留下有效算力）规则库识别模型（价值分、相似度）成功失败1.进入2.1判定2.2进入计算模型3判定治理策略引擎（治理无效算力）下线修复优化合并收益模型（量化治理效果）用户团队平台4量化治理闭环系统（反馈机制）（治理率、算力收益、健康分、价值分、等效成本）用户参与规则、模型评测平台量化分析5反馈6.1迭代6.3迭代6.2迭代算力量化业务价值数据收集信息采集价值挖掘任务治理规则库沉淀模型治理规则库挖掘价值量化模型完善治理体系规则库迭代识别模型：相似模型、价值量化模型治理策略引擎：优化、合并策略开发收益模型（量化平台/团队/用户治理效果）用户参与/反馈机制规则、计算模型效果评测价值分、健康分治理闭环P1任务价值量化P2完善治理闭环P3冗余计算消除核心举措

算力治理：HiveSQL向SparkSQL迁移

算力治理：Hive优化诊断工具通过调度日志获取任务Applicationid通过Tezui接口获取DAG列表等相关信息LoadingData耗时异常FileMerge耗时异常Map端数据倾斜Reduce端数据倾斜切片耗时异常重复使用大表输入超时任务ID根据问题类型选择优化策略整理制作郎丰利1519

算力治理：在离线混部

算力治理-建立算力增长可控体系1、全局视角：算力使用现状是否健康？2、什么时候该增加机器？3、增加多少机器？算力增长可控的四个阶段：L0-自然增长：无治理，算力不可量化L1-初步可控：任务消耗算力可采集量化，实现治理产品闭环，算力成本可分摊（当前阶段）L2-中等可控：算力增长趋势可预估，算力价值可量化，计算效率大幅提升，算力扩容流程产品化L3-完全可控：算力分配实现自动化弹性伸缩，任务的智能诊断与优化说不清！

算力治理-健康度监测

谢谢聆听整理制作：郎丰利1519制作时间：2023年睿利而行整理制作：郎丰利1519制作时间：2023年睿利而行整理制作：郎丰利1519制作时间：2023年睿利而行