人工智能安全算法生命周期各阶段安全风险.docxVIP

人工智能安全算法生命周期各阶段安全风险

设计开发阶段的安全风险

性能层面的安全风险

设计开发阶段人工智能算法性能层面的安全风险包括：

算法的正确性无法满足任务需求地风险：算法的正确性是指算法能够生成行为符合预期的人工智能算法。由于不同的任务对于正确性的需求不同，当设计的人工智能算法无法保证符合任务需求的正确性时，该算法在实际应用时将引发安全问题；

算法运行效率无法满足任务需求地风险：算法运行效率是指算法执行时花费的时间。当设计的算法需要花费较长时间，无法满足任务的效率需求时，如设计的算法时间复杂度是指数级，无法满足任务场景的秒级相应等需求，此类算法自身将成为一种安全风险；

算法健壮性风险：由于人工智能算法的训练无法遍历所有目标领域的数据，使得训练得到的算法对外界环境干扰以及恶意攻击的健壮性较差。攻击者能够利用算法的这一脆弱点较容易的构造对抗样本使算法结果出错，从而导致严重安全隐患。

数据层面的安全风险

设计开发阶段人工智能算法数据层面的安全风险包括：

数据集规模不足地风险：不同的人工智能任务需要的数据集规模不同，当数据集规模不够大，不足以支撑人工智能算法的有效学习时，会导致人工智能算法达不到和具体任务相对应的准确度要求，从而影响算法执行时的安全性；

数据集均衡性差地风险：数据集均衡性用来描述数据集中包含不同类别的样本数量。当数据集均衡性差，某些类别样本数量少时，人工智能算法将难以有效学习多种类别的特点，将严重影响人工智能针对部分类别识别的准确性。此外，不均衡数据用于算法学习，将引发算法公平性风险；

数据标注不准确地风险：对于有监督学习类别的算法，数据标注是数据集的重要组成部分，也是影响人工智能安全性的重要因素。然而，大多数数据集的标注是由人工众包形式完成，很难保证所有参与标注的人员都能正确标注，如果出现错标、漏标等情况，将会导致算法很难正确学习，引发错误分类或预测的问题；

数据表示形式不规范地风险：在智能驾驶、智慧金融、智慧医疗等应用场景中，原始数据可能包含大量与任务无关的信息，数据表示形式不恰当或者不规范，将造成人工智能算法无法准确学习关键特征，影响算法的准确性，可能造成算法效率大幅度下降；

数据集被污染地风险：设计开发阶段采集的数据集可能面临数据被恶意污染地风险，即数据投毒。由于恶意行为修改数据集中的数据，造成人工智能算法学习到错误的特征，引发算法出错；

数据过度采集导致隐私数据泄露地风险：个人信息未加密或未脱敏使用时，攻击者很容易从算法中提取数据，造成数据集中个人信息的泄露。

环境层面的安全风险

人工智能算法的环境依赖其选择的框架及第三方库，而框架及第三方库自身存在漏洞会导致算法运行错误等风险：目前人工智能算法的设计和实现往往依赖开发框架的支持，这些框架本身往往使用大量的第三方库，在设计开发阶段使用的框架、第三方库等本身存在的安全漏洞和后门会导致基于开发的人工智能算法也存在相应的安全隐患。此外，操作系统、硬件架构和硬件配置可能引入风险，比如兼容性问题、处理精度问题、安全性问题、计算能力等。

验证测试阶段的安全风险

性能层面的安全风险

验证测试阶段人工智能算法性能层面的安全风险包括：

算法正确性低地风险：不同任务的正确性需求不同。当算法在测试数据集上的正确性无法达到需求，需要重新进行开发；

算法运行效率低地风险：不同任务的效率要求不同。当算法在测试数据集上的效率无法达到需求，需要重新进行开发，优化算法；

算法泄露隐私数据地风险：算法存在可能暴露数据集、通过简单测试办法可获取隐私数据等问题；

算法公平性不足地风险：算法做出存在偏见和违反公平性原则的输出；

算法和算法健壮性差地风险：当测试数据中包含较小的偏差或部分非正常分布的数据，算法的结果受到较大影响，输出发生很大的变化；

算法泛化能力差地风险：当使用和实际场景、任务相关的数据集测试时，算法的泛化能力差，将很难输出正确的结果。

数据层面的安全风险

验证测试阶段人工智能算法数据层面的安全风险包括：

测试数据和训练数据重复度高地风险：当用来测试的数据和训练数据集重复度高时，算法将在测试数据上表现优异，但是无法验证其在未知测试数据集上的性能；

测试数据集规模不足地风险：测试数据如果规模较少，将无法对可能遇到的各种特殊数据进行有效验证，导致算法在特殊数据上判断出错；

测试数据集均衡性差地风险：测试数据均衡性不足，部分类别的测试数据少时，将很难对算法在各类数据上的表现进行验证；

测试数据集合实际任务相关性不足地风险：当未采集和实际应用场景、任务相关的数据进行测试时，将导致算法在实际运行过程中无法正确处理实际数据的问题。

环境层面的安全风险

人工智能算法依托特定的框架进行实现，在验证测试阶段，如果未对框架及第三方库自身的漏洞进行有效测试，将导致算法在运行过程中出现错误。

部署运行阶段