携程用户数据采集与分析系统.PDFVIP

携程用户数据采集与分析系统 分享人 王小波 讲师介绍 姓名 王小波 • 2014年加入携程 • 框架研发部(高级工程师) • 用户数据采集和分析以及相关产品的 设计与开发 1 用户数据采集发展历史 2 前端数据采集SDK实践 目录 3 后端采集服务架构实践 CONTENTS 4 相关的数据分析产品 5 我们踩过的坑  用户数据采集发展历史 • Web/Hybrid/H5 • 只支持手动埋点 • 基于Nginx访问日志 • 基于Storm日志解析 服务 • 基于Nginx的Queue 模块 • 存在的问题 1. 采集数据较单一 2. 采集效率较差 3. 数据有序性较难保证 • 新一代数据采集系统  前端数据采集SDK实践 • 多平台支持 1. iOS、Android、Web、Hybrid、RN、小程 序 • 多种采集方案 1. Tcp + Http(s) 2. 自动化埋点 + 手动埋点 • 采集数据质量保证 1. 数据上下文关联 2. 序列号连续性校验 3. 数据优先级设置 4. 数据发送策略优化 • 自动化埋点 1. 页面PV事件 2. 用户点击事件 3. 应用性能数据（网络、启动时间） 4. 劫持监控数据  后端采集服务架构实践 • 系统架构设计要求 1. 高吞吐、低延时 2. 数据的安全性、有序性 3. 数据灾备、零丢失 • 系统整体架构设计 1. 采集服务基于Netty 2. 存储服务基于Kafka 3. 实时分析基于JStorm • 系统整体架构设计 4. 采集协议Tcp/Http(s) 5. 数据加密压缩传输 • 系统整体架构设计 6. 采集服务实时监控 7. 本地灾备高效存储  相关的数据分析产品 • 数据分析产品看板 • 单用户浏览跟踪 • 页面转化率 • 用户访问流 • 点击热力图 • 采集数据调试 • 性能看板  我们踩过的坑 • Android版数据采集SDK代码混淆导致序列化/反序列化错误 • Android-SDK在多进程环境下数据共享 • Android6.0以上版本WifiManager API获取Mac地址