黄修添-基于大模型的文本测试用例生成探索与实践.pdfVIP

基于大模型的文本测试用例生成

探索与实践

黄修添|字节跳动

黄修添

字节跳动-质量工程智能团队算法专家

清华大学硕士毕业，曾就职于蚂蚁集团支付宝技术部及研发效能部。现任

字节跳动算法专家，多年来深耕人工智能领域，专注于NLP与多模态等技

术在质量与效率领域的融合创新。主导多个0到1的质量效能类项目的研

发和落地，擅长利用AI驱动业务质量和效率的提升。

I.背景与目标

目录II.技术方案

CONTENTSIII.落地效果

IV.未来展望

PART01

背景与目标

项目背景需求驱动测试用例设计

QAEngineer

需求文档需求文档评审

提取需求点和功能点分析并制定测试策略编写测试用例

测试用例评审测试用例维护与更新

项目背景

业务需求日益繁杂软件质量保障难度大

•业务规模与复杂度快速提升•用例依赖大量人工编写，耗时耗力

•用例同步更新与维护压力大•难以穷举边界条件，遗漏风险高

•用例质量参差不齐，主观影响大

业务提质效诉求迫切技术变革契机

•测试用例编写与维护成本高•大模型基础理解能力持续提升

•测试用例覆盖率/质量不足•多源多输入数据理解能力增强

•需求变更和上线响应不足

目标

需求文档AI测试用例QAEngineer

降低用例编写成本提升用例生成质量

减少测试人员手动编写测试用例的时间和资源投入自动生成高质量、高覆盖率的测试用例，更贴合复杂业务实际

加速测试流程、提升研发效率支撑多场景业务诉求

测试用例自动生成，实现测试提速，支撑敏捷持续交付满足中、英文等多语言和多业务场景的测试用例需求

挑战

需求文档理解难度大训练数据采集困难，评测难度大

-需求文档中包含图片和表格等多模态数据-不同业务线存在风格、粒度差异，简单拼接数据效果有限

-需求上下文信息依赖跨度可能很大-高质量、标准化的训练用例/需求对齐数据极其稀缺，采集难

-需求文档质量参差不齐，业务差异大-评测标准不统一，人工评测难度大

用例准确率和覆盖度不足业务复杂诉求多

-需求文档有效信息覆盖有限，缺失业务经验知识