数据资产管理在腾讯游戏的实践.pptxVIP

数据资产管理在游戏的实践单击此处添加副标题汇报人姓名汇报日期

100P+手游300+款端游100+款页游90+款每日传输量：17000亿条，约260TB，总存储量为100PB+，公司占比为20%TDW游戏大数据运营概况流式计算量：2000+万/秒离线计算量：220+万/天13000亿+数据15w+表30w+表4000亿+数据600亿+数据4w+表AggregateMergerBitmapIndexGeneratorBitmapFilterBuilderExecuteEngine多维分析DynamicBitmapIndexCacheDataMapperCol…Col-1Col-1

问题与痛点在游戏大数据管控中，面临着众多问题与痛点04数据质量偏低给数据应用带来的各种挑战05数据标准缺乏结构化管理，集成困难02计算逻辑理解一不致，导致统计结果有偏差07数据价值的评估较为困难08数据安全与合规保障的问题……01数据多样化，缺少统一标准03数据全链路质量问题，层次复杂、不能快速定位问题06数据分散，没有形成完整的成本管理游戏数据管控的问题与难点

2013年2014年2016年2018年2019年游戏大数据资产管理：通过组织、流程、制度、技术等组合手段，确保数据交付的质量、效率、成本和安全，助力业务数据价值提升发展历程构建游戏大数据资产管理体系-历经6年在各阶段解决的关键问题?数据孤岛形成?没有统一数据平台?数据流转架构混乱?数据传输时延高?数据集成效率低?平台组件不够稳定?数据标准缺失?质量参差不齐?数据安全防护差?数据血缘不完整?数据获取效率低?数据成本剧增?指标概念不一?数据合规存在风险?数据生命周期不合理?数据价值难评估?运营效率有待提升数据驱动数据集成数据治理资产运营

产品开发产品运维产品PM数据管理人员安全管理人员产品开发产品运维能力模型——“三好”产品PM产品PM“看好”数据资产“管好”数据资产“用好”数据资产数据字典数据源管理安全策略数据追溯数据审计平台指引线下培训制度管理数据接入数据质量成本管理元数据管理知识图谱数据变更数据检索权限流程数据质量资源调度评估影响数据价值配置管理数据映射安全规范业务管理资源视图成本结算血缘跟踪异常分析数据地图数据血缘数据应用数据热点业务指标数据助手数据管理人员通用模块专属模块

游戏大数据资产管理体系生命周期管理数据采集数据清洗数据传输数据整合数据存储数据标准数据共享价值评估热度分析广度分析收益度分析数据开放资产安全活动营销体系架构资产总览资产治理数据质量成本优化DevAIOps安全管理影响评估数据血缘流程制度数据增值服务资产管理平台元数据管理业务元数据技术元数据元数据标准元数据存储元数据检索元数据开放可视化报表数据治理效果分析资产运营数据集成数据驱动价值评估消息推送渠道管理资产服务战绩查询更多…更多…更多…

元数据管理元数据（Metadata）——描述数据的数据 业务元数据 技术元数据按服务对象划分

更新管理其它元数据存储 DataMoreiData元数据采集转换层模型桥接器元数据应用异构数据源DBMSNoSQL日志文本TDW外部接口业务系统其它…?元数据能力特点 异构适配，集中存储 业务指标，开放共享 描述数据，理解业务 自动构建血缘关系链 扩展能力，辅助运营元数据管理体系技术架构元数据服务接口数据映射桥接器元数据管理 技术元数据数据一体化 业务元数据元数据检索 实时规则资源管理其他应用质量监控图灵备份恢复接口管理日志管理其他管理可视化版本管理用户管理权限管理 更多…同步管理 一体化元数据管理

数据资产目录-某业务视图

TCPUDPHTTPRPCFileI/OKCP服务特性：?单机：UDP：5Wqps;KCP:9w;TCP:10w?单机吞吐量：180Mbps?分布式高可用，双方扩容互不耦合?高可用，高可靠：扩容不丢失数据；WAL双备数据?完整率:99.99~99.9999%?多协议支持；多数据格式支持?专业数据管理、数据运维?周边系统完善支持Web管理端服务