Ch11-件测试自动化-STMT.ppt

软件测试方法和技术 - Ch.11软件测试自动化 Zhu.Kerry@ 第十一章 软件测试自动化 11.1测试自动化的内涵 手工测试的局限性 手工测试的局限性 （2） 自动测试定义软件系统 功能规格书(Spec)只是从书面上的 一套软件产品是由一套完整的可运行的测试来定义的 测试所有可能情况将遭遇“组合爆炸”问题 Win98, WinME, WinNT, Win2k, WinXP, WinXP TablePC Ed, WinXP MediaCenter Ed, Longhorn, etc English, German, Japanese, Chinese, Arabic, Thai… Office 97, Office2000, Office XP, Office 2003… X86 32-bit, Intel 64-bit, AMD 64-bit, Alpha, MIPS… SQL Server 6.5, SQL Server 7.0, SQL Server 2000… Visual Studio 6, VS .NET, VS .NET 2003, Whidbey… 手工测试的局限性 （2） 代码全部Code Path测试覆盖也几乎不可能 每一个if…else…或switch语句就会把情况增加一倍 许多异常处理代码在正常使用中不会碰到 许多与时序，死锁，资源冲突，多线程有关的错误很难捕捉到 每一个产品都会有不同的版本外加各自的SP与QFE (Quick Fix Engineering, 又称Hot fix) NT4, VS6 SP1~SP5, Windows 2000 SP1-SP4 VS .NET, SQL Server SP1 – SP3 可重复使用的自动测试对产品未来版本与Service Pack的测试将有事半功倍的效果 自动化测试带来的好处 测试自动化项目的本质 定义：利用GUI自动化测试工具来开发和执行测试脚本，从而验证是否满足需求 本质：测试自动化项目本质上是软件开发项目 一个测试自动化项目必须具有： 清晰定义并严格实施的过程 来自组织各级的支持 周密的计划 具体的设计和架构 测试自动化成本/收益分析 各自特点 正确认识测试自动化 不现实的期望注定测试自动化的失败 测试自动化能： 显著降低重复手工测试的时间 建立可靠、重复的测试，减少认为错误 增强测试质量和覆盖率 测试自动化不能： 完全替代手工测试和手工测试工程师 保证100%的测试覆盖率 弥补测试实践的不足 自动化测试的引入和应用 测试自动化的基本结构 测试自动化的原理和方法 脚本技术 自动比较 测试自动化普遍存在的问题 11.2 测试工具的分类和选择 测试工具的研究 测试工具的例子 测试工具的分类 测试工具的选择 11.3 测试工具的主流产品介绍 面向开发的单元测试工具 负载和性能测试工具 GUI功能测试工具 GUI自动化测试 设计测试用例，并手工进行测试。 如果测试未通过，则先改正缺陷，再次执行测试。 如果测试通过，利用测试工具运行该测试过程，捕获运行过程需要检测的屏幕对象，并保存。 在进行回归测试测试，自动利用测试工具运行测试，并比较运行过程的屏幕对象与保存的屏幕对象比较，从而判断测试用例是否通过。 基于Web应用的测试工具 Website性能测试测什么？ 各种操作的响应速度 最大并发用户数 最大数据容量 ACT测试中的常见术语 RPS (Request Per Second) 并发连接数 (Simultaneous Browser Connections) 思考时间 (Thinking Time) RPS + SBC + Thinking Time = Concurrent users? ACT测试的步骤 创建测试脚本 手工编写VBScript 录音并修改 运行测试脚本 设定并发用户数 设定用户身份 运行、观察、获取主观体验 理解结果报告 图表 各项性能统计数字 日志文件 解读ACT测试结果 TTFB, TTLB HTTP错误的含义 401 403 404 500 其他Web负载发生工具 Microsofts Web Application Stress Tool Cyranos OpenSTA Quest Softwares Benchmark Factory Empirixs E-Test Suite 6.0 RadViews WebLoad 5.0 Rational Softwares Rational Robot Mercury Interctives Astra LoadRunner 7.5 Compuwares QA Load 4.7 Segue Softwares SilePerformer