压力测试与故障分析.ppt

提纲 网络拓扑图 集群 四层交换 四层交换的会话保持 Weblogic集群 管理与被管 集群间通讯 Session Session容错 容错方式性能比较 Session复制 Session复制状况观察 Session复制的注意事项 SessionID格式 文件句柄数 磁盘缓存 队列与线程池 队列与线程池 数据库 故障定位思路 堆栈分析－空闲线程 堆栈分析－繁忙线程 堆栈分析－堵塞线程 堆栈分析－死锁线程 分布式死锁 压力测试 常用指标 系统负荷观察 GC1 GC2 单案例与混合案例 公司与现网指标 容量评估 QA －－感谢大家－－ 分配空间越大 －》 更大的回收间隔 －》 更大的回收时间 全量回收时系统会停止响应回收时间过大会导致系统堵塞 GC优化原则：最大回收时间在可接受范围（需要考虑用户可接受程度、四层交换的健康检测，尽量控制在5秒以内） 内存泄漏的判定：在压力测试前和测试结束并且用户Session全部超时后作一次全量回收（用户Session会占用大量内存，影响评估结果），若发现回收后的内存占用比测试前有明显增加，则可能有内存泄漏 使用工具（JRocket或JProbe）作压力测试时的内存分析，找出临时内存使用过多的地方并加以优化） 343692.510: [GC 916952K-812304K(1035520K), 0.0273880 secs] 343694.511: [GC 917264K-812369K(1035520K), 0.0270350 secs] 343696.377: [GC 917329K-812449K(1035520K), 0.0266270 secs] 343698.894: [GC 917409K-812625K(1035520K), 0.0266130 secs] 343701.142: [Full GC 917585K-302334K(1035520K), 2.2056290 secs] 混合案例：根据现网实际访问模型各类访问的构成情况构造混合案例，压力结果比较接近现网实际情况，但整理现网访问模型比较麻烦，而且现网访问模型会不断变化，一旦变化则需要重新作压力测试。 单案例：针对现网主要的访问类型单独作该案例的性能测试，得到每个案例所消耗的系统资源情况，然后根据现网访问模型用各单案例测试结果按照比例来折算成现网访问所需的系统资源。此方式第一次需要作的测试比较多，但在现网访问模型发生变化时不用重新作压力测试，只需要根据模型重新计算即可。 公司测试环境从业务数据量级、用户访问模型、外围环境等都比现网简单和理想，所以测试结果会比现网实际结果高 现网的海量业务数据和用户数据很难模拟 不同访问模型消耗的系统资源也不一致 现网除用户正常访问外，还存在各类攻击和恶意请求 真实kernel响应延时 集群、session复制的消耗 现网海量并发用户的情况很难模拟，需要大量测试终端 * * 集群相关内容 故障定位分析与系统优化 压力测试相关内容 问题解答 集群（Cluster）是一组对外提供相同服务的服务器组 集群可以通过软件或硬件实现负载均衡（Load Balance，LB）和高可用 (High Availability，HA) ，提高系统可靠性 集群对客户端是透明的，从客户端的角度来看，集群和单独服务器表现一致 集群具有可伸缩性，可以根据系统负荷变化情况方便的调整服务器数量 四层交换机的基本功能 根据IP和端口转发 内外IP转换 工作在四层的LB和HA Load Balance分发算法：源地址、最小连接数、轮循等 HA机制：基于端口的健康检测 工作在七层的LB和HA 根据Cookie或URL中的SessionID作分发，保证Session黏性 基于脚本的健康检测，可发出HTTP请求并根据HTTP返回码来判断 服务器状态（“/Alteon.jsp”即专为Alteon作健康检测用） 常见的四层交换机：Alteon、RedWare、F5 可以通过BEA提供的软件实现负载均衡（Load Balance，LB）和高可用 (High Availability，HA) Weblogic集群能通过打开Session FailOver来保证用户的会话不被丢失 使用集群可在部署时减少出错的机会 由于集群内的服务器需要相互通讯，所以集群会带来额外的开销，并且会减慢系统的启动速度 管理服务器负责配置和管理被管服务器，不承载业务。 被管服务器启动时通过管理服务器获取配置信息并接受管理服务器控制，被管服务器负责承载业务。 T3 集群内服务器使用T3协议（BEA私有协议，使用）进行点对点的通讯