大模型专题：大语言模型时代的变异分析.pptxVIP

大语言模型时代的变异分析

王博北京交通大学

北京交通大学计算机与信息技术学院讲师、硕士生导师，CCF专业会员、

CCF系统软件专委执行委员、CCF开源发展委员会执行委员。分别于北京大学、中国科学技术大学和中南大学获得博士、硕士和学士学位。研究兴趣为软件测试与调试，已在ASE、ISSTA、TOSEM、软件学报等发表多篇

论文。担任ASE、FSE、ICST、Internetware等软件工程重要会议PC，担任TSE、TOSEM、TDSC、EMSE、JSS、ASEJ、IETSoftware、JSME、软件学报等多个期刊审稿人。获得ISSTA2017杰出论文奖，全国大学生系统能力大赛优秀指导教师和北京市高校优质教案。

演讲嘉宾

王博

1.背景

2.痛点

3.解决思路

4.具体实现

5.总结与展望

目录

CONTENTS

PART01

背景

•软件缺陷已经导致很多灾难性后果

•保障软件的正确性十分重要

•当我们说软件是正确的：程序的行为符合正确性规约(specification)

软件正确性至关重要

欧空局Ariane5波音737Max坠机

海湾战争中爱国者飞弹

7.23事故

保障正确性的方法

1.形式化方法

形式化方法成本很高

2.软件测试

××

××

输入域

intfoo(inta,intb){

returna+b;

}

FormalMethod:

(a=0b=0)||

(a=0b=0)||

(a=0b=0a+b=0)||

(a=0b=0a+b=0)

Testing:

foo(0,1)=1;

foo(INT_MAX,1)=ERROR;

foo(INT_MAX-1,1)=INT_MAX;foo(INT_MAX,INT_MIN)=-1;

测试是不完备的！

输入域→correct

→correct

测试质量直接影响到软件质量

•核心问题是：我们如何度量测试的好坏？

•测试质量达标的系统才有一定的可信度

•测试集约减

•测试排序

•我们朴素的愿望：希望测试能发现真实缺陷

•但是在发现之前，真实的缺陷对于我们是未知的

•“测试可以非常有效地显示bug存在，但却无法证明bug的不存在”

•我们可以使用一些指标，间接地度量测试质量

•测试覆盖

•变异测试：用人造缺陷发现率估计真实缺陷发现率

程序

生成变异体(mutant):

变异算子(mutationoperator)

变异体

变异测试概览

每个变异体是原始程序的小型文法改动

程序

生成变异体(mutant):

变异算子(mutationoperator)

变异体

测试集

执行测试

被测试集杀死的变异

的比例：

变异分数(Mutation

score)

变异测试概览

变异测试在软件测试中的发展

•变异测试自1971年被DeMillo和Hamlet提出以来，是软件测试中的重要方法

•修改位置：从一阶变异(firstorder)到高阶(higher-order)，支持修改多处

•在单元测试中：

•面向高级语言源码：C、Java、Python、JS…

•面向中间表示：Javabytecode,LLVM-IR

•从桌面应用到Android、MPI、智能合约程序等

•从单元测试扩展到其他测试阶段：

•集成测试

•设计阶段（例如在基于模型的软件开发过程中针对设计FSM的变异）

从变异测试到变异分析

•基于变异的缺陷自动定位（mutation-basedfaultlocalization）是变异测试的衍生技术

•缺陷自动定位：给定测试集（至少有一个未通过测试）和程序，返回程序中的语句出错可疑度分数。

•传统定位方法：基于测试覆盖信息对语句排序（spectrum-basedfaultlocalization）

•基于变异的方法：通过观察变异对测试结果的改变计算可疑度

•若一个变异使失败测试通过了，那更可能是变异了出错语句

从变异测试到变异分析

变异分析

工具和标准程序集

•变异测试

•C语言:

•Proteum(108mutationoperators)

•Milu(Higher-order)

•WinMut(IR-based)

•Java语言: