云客户端测试质量保证体系张恒.pptxVIP

百度云客户端质量保证体系 张恒 综合篇 流程篇 CI技术篇 监控篇 目录 综合篇 历史质量数据 Android端日活: 700万 ios端日活: 390万 pc端日活:450万 小版本数每H基本保持一致，数量较多 ios端千行bug率在人员变动速度上升，现在逐步下降 Android端千行bug率在今年下降较快 线下bug数每H基本保持一致 百度云客户端系统架构图 客户端质量体系全景图 线下迭代流程 线下测试类型 线上监控 缺陷预防，快速迭代 涵盖全部测试类型 高质量用户体验 目标 手段 度量 展现 千行bug率 漏测率 崩溃率 大数据分析 Icafe敏捷空间 icafe bug空间 E家宝case，签章系统icase视图 ET平台 Musi平台 云图 流程篇 敏捷单双迭代解决方案 ET解决方案 用户测试解决方案 用户反馈解决方案 QA Icafe问题闭环 运营人工报警 Hi自动报警 定位工具开发 各角色值班 平均每天3500条来自倾听的用户反馈 平均每天300条来自苹果store的用户评价 评测解决方案 CI技术篇 CI 整体集成方案 Android端整套持续集成和自动化流程 搭建好包含编译\musi性能测试\sonar代码扫描\自动化\monkey在内的整套CI流程框架 积累360+的自动化case,代码1.8W余行，252个公共方法，quick case 覆盖网盘check list70%的主要场景，稳定性100%，slow case稳定性不到50% 覆盖安装半自动化 内存cpu性能自动化case17条，响应时间自动化测试14条 ios端完成编译任务搭建 搭建基于OTA的稳定的一套ios端百度云+大导演的编译工程 搭建提供ota的内外网方案 新增测试包优化需求: 保留提测包历史版本、提供线下包、单分支双任务，适配ios8新特性、兼容ios8系统bug、imagemagick处理图标、区分版本等 混淆/OOM/gradle+multidex/libproj 自动化专项    核心功能 自动化稳定执行 建立文件case (checklist 22条) 按照子模块建测试类 添加case，调优并稳定执行 统计子模块覆盖率(70-80%) 添加核心性能自动化用例 版本对比通过阀值看CPU/内存 代码diff自动定位rd和修改函数 bug内容描述问题路径 一键自动提交bug 56条功能case 稳定性100% 耗时3-4小时 （本地环境） 11条性能case 稳定性不高 （musi环境） 自动化设计框架图 自动化工作流程图 Crash专项 Android端崩溃率降低 崩溃率能够下降到0.1%下降 崩溃率降低topic 1%-0.5% 0.35%-0.3% 0.1%以下 top问题过滤 小流量修复top3-5 下迭代修复top20 Sonar扫描，修复281个问题 ios端崩溃率上升 崩溃率一直在0.1%以下 崩溃率维持正常 top问题过滤 0.1%以下 静态代码扫描 Monkey test 监控篇 端上监控-整体解决方案 端上监控-视频专项之过程 倾听用户反馈 倾听上有较多用户反馈视频卡顿/播放不了等等视频问题 纯用户体验，无参考信息 问题分类，快捷上报 各端的单视频播放增加问题分类的快捷上报入口 分类问题有无法播放/卡顿/音画不同步/花屏/等等 反馈时带文件信息和用户信息，提供寻找bad case定位 端上埋点 解决服务连通性差、服务不稳定 监控端上用户本生播放时状态（网络/手机性能等）为sdk优化做数据支撑 Bad case挖掘提供信息 逻辑梳理和不断优化 制定视频播放体验质量标准，为优化提供数据支撑和效果评估 被动反馈 主动监控 端上监控-视频专项之逻辑梳理（视频服务器） 百度云服务器 网络传输 HTTP/TS 3个单向链表存储 + 15个文件存储 数据PACKET LU LD 数据消耗线程s Socket Buffer 数据 音频PACKET 视频PACKET 字幕PACKET Read_thread/EndOfFile Video_thread Audio_thread Subtitle_thread Caching_end Caching_start http_read_buf 根据码率和分辨率 Read_thread/EndOfFile 缓冲后可播时间 统计缓冲时长、间隔、次数等 预设缓冲值 反馈当前数据消耗速率 实时网速、可播放时长、最近缓冲消耗时间 端上监控-视频专项之逻辑梳理（视频内核缓冲业务） 端上监控-视频专项之逻辑梳理（视频插件下载） 端上监控-视频专项之质量标准 视频插件下载失败率 无法播放失败率 播放卡顿率