一种基于后门技术的深度强化学习水印框架.pdfVIP

第４０卷第１期福建师范大学学报(自然科学版)Ｖｏｌ４０ꎬＮｏ１

(２０２４年１月)ＪｏｕｒｎａｌｏｆＦｕｊｉａｎＮｏｒｍａｌＵｎｉｖｅｒｓｉｔｙ(ＮａｔｕｒａｌＳｃｉｅｎｃｅＥｄｉｔｉｏｎ)Ｊａｎ２０２４

ＤＯＩ:１０１２０４６/ｊｉｓｓｎ１０００￣５２７７２０２４０１０１１文章编号:１０００￣５２７７(２０２４)０１￣００９６￣１０

一种基于后门技术的深度强化学习水印框架

１１ꎬ２１ꎬ２１ꎬ２１１ꎬ２

陈瑜霖ꎬ姚志强ꎬ金彪ꎬ李璇ꎬ蔡娟娟ꎬ熊金波

(１福建师范大学计算机与网络空间安全学院ꎬ福建福州３５０１１７ꎻ

２福建省大数据分析与应用工程研究中心ꎬ福建福州３５０１１７)

摘要:深度强化学习(ＤＲＬ)已经证明了它在各种复杂任务中的有效性ꎬ因其出色的性能使其商业化

正在急剧加速ꎮ生成一个ＤＲＬ模型需要大量的计算资源和专业知识ꎬ使得一个训练有素的ＤＲＬ模型已经

成为人工智能应用程序和产品的核心知识产权ꎮ基于对ＤＲＬ模型的产权保护ꎬ防止非法抄袭、未经授权的

分发和复制ꎬ提出一种后门技术的ＤＲＬ水印框架ＤｒｌＷＦꎬ并使用一个全新的评价指标水印动作实现比例来

衡量水印性能ꎮ通过向训练状态中添加水印ꎬ并使用带有水印的水印状态训练模型从而实现将水印嵌入至

模型中ꎮ框架中的水印嵌入操作可以通过将水印嵌入到少量的训练数据中(仅需００２５％的训练数据)和

不影响性能的奖励修改来实现ꎮ实验结果证明ꎬ在标准状态下ꎬＤＲＬ模型仍具有良好的性能ꎻ在水印状态

下ꎬＤＲＬ模型性能将急剧下降ꎬ不足原有性能的１％ꎬ且水印动作执行比例达到了９９％ꎮ通过急剧下降的

性能以及模型对水印状态的动作表现ꎬ即可验证模型的所有权ꎮ此外ꎬ该水印具有良好的鲁棒性ꎬ在模型

微调和模型压缩下ꎬ模型依然能够识别出水印ꎬ性能急剧下降且水印动作执行比例依旧达到了９９％以上ꎬ

证明了该ＤＲＬ水印具有良好的鲁棒性ꎮ

关键词:深度强化学习ꎻ知识产权保护ꎻ后门攻击ꎻ神经网络水印ꎻ黑盒模型

中图分类号:ＴＰ１８３文献标志码:Ａ

ＡＤｅｅｐＲｅｉｎｆｏｒｃｅｍｅｎｔＬｅａｒｎｉｎｇＷａｔｅｒｍａｒｋｉｎｇ

ＦｒａｍｅｗｏｒｋＢａｓｅｄｏｎＢａｃｋｄｏｏｒＴｅｃｈｎｏｌｏｇｙ

１１ꎬ２１ꎬ２１ꎬ２１１ꎬ２

ＣＨＥＮＹｕｌｉｎꎬＹＡＯＺｈｉｑｉａｎｇꎬＪＩＮＢｉａｏꎬＬＩＸｕａｎꎬＣＡＩＪｕａｎｊｕａｎꎬＸＩＯＮＧＪｉｎｂｏ

(１ＣｏｌｌｅｇｅｏｆＣｏｍｐｕｔｅｒａｎｄＣｙｂｅｒＳｅｃｕｒｉｔｙꎬＦｕｊｉａｎＮｏｒｍａｌＵｎｉｖｅｒｓｉｔｙꎬＦｕｚｈｏｕ３５０１１７ꎬＣｈｉｎａꎻ

２ＦｕｊｉａｎＰｒｏｖｉｎｃｉａｌＥｎｇｉｎｅｅｒｉｎｇＲｅｓｅａｒｃｈＣｅｎｔｅｒｏｆＢｉｇＤａｔａＡｎａｌｙｓｉｓａｎｄＡｐｐｌｉｃａｔｉｏｎꎬＦｕｚｈｏｕ３５０１１７ꎬＣｈｉｎａ)

Ａｂｓｔｒａｃｔ:ＤｅｅｐＲｅｉｎｆｏｒｃｅｍｅｎｔＬｅａｒｎｉｎｇ(ＤＲＬ)ｈａｓｄｅｍｏｎｓｔｒａｔｅｄｉｔｓｅｆｆｅｃｔｉｖｅｎｅｓｓｉｎｖａｒｉｏｕｓ

ｃｏｍｐｌｅｘｔａｓｋｓ.Ｉｔｓｏｕｔｓｔａｎｄｉｎｇｐｅｒｆｏｒｍａｎｃｅｉｓｒａｐｉｄｌｙａｃｃｅｌｅｒａｔｉｎｇｉｔｓｃｏｍｍｅｒｃｉａｌｉｚａｔｉｏｎ.Ｇｅｎｅｒａｔｉｎｇ