一种隐私保护的语义分割方法使用领域适应技术-计算机科学-语义分割-视觉变换器-图像加密-隐私保护.pdfVIP

一种隐私保护的

语义分割方法

使用领域适应技术

stnd

1HomareSueyoshi2KiyoshiNishikawa

TokyoMetropolitanUniversityTokyoMetropolitanUniversity

6-6,Asahigaoka,Hino,Tokyo,Japan6-6,Asahigaoka,Hino,Tokyo,Japan

sueyoshi-homare@ed.tmu.ac.jpkiyoshi@tmu.ac.jp

rd

3HitoshiKiya

TokyoMetropolitanUniversity

本6-6,Asahigaoka,Hino,Tokyo,Japan

译kiya@tmu.ac.jp

中

1

v摘要—我们提出了一种保护隐私的语义分割方法，除了测试II.相关工作

0

3图像外，还可以将感知加密应用于用于模型训练的图像。该方法在基于云的环境中，对感知加密下模型训练的研究

7还提供了与未使用任何加密的模型几乎相同的准确性。上述性能

2始于图像分类领域[10]。早期研究主要集中在卷积神经

1是通过在视觉变换器（ViT）的嵌入结构上应用领域适应技术实

.现的。所提出的方法的有效性已在使用名为分割变换器的强大语网络模型上，但一个关键问题是使用加密图像导致性

7

0义分割模型时，从语义分割的准确性方面得到了实验验证。能下降。这一问题通过发现各向同性网络（如ViT和

5IndexTerms—语义分割，视觉变压器，图像加密，隐私ConvMixer）得到了显著缓解，这些网络基于块状处理，

2

:保护非常适合于按块加密的图像[2],[10]–[12]。加密数据的

v

i使用在对抗防御[3],[4]和访问控制[5]方面也取得了成

x

r效，除了在隐私保护方面[2],[6],[7]。

a

I.介绍在语义分割中，已经表明使用基于ViT的模型可以

达到与非加密图像相当的准确性，即使使用的是加密图

深度学习模型通常需要大规模数据集和巨大的计像[13]。如图3所示，在该模型框架中，首先由模型提

算资源来进行训练，这常常导致使用云服务器。还有一供商在非加密图像上训练模型。然后对训练好的模型中

种趋势是将训练好的模型部署在云服务器上以提供推的某些参数应用加密。将加密后的模型上传到云端服务

理服务。然而，数据（如图像）通常包含敏感的个人信器，并与终端用户共享使用的加密密钥。用户使用共享

息，并且云服务器并不总是完全值得信赖[1],[2]。因的密钥对其测试图像进行加密，这些加密图像在云中处

此，在使用云服务器时考虑隐私保护是很重要的。我理时视觉信息仍然受到保护。重要的是，密钥和图像的

们提出了一种基于视觉变换器（ViT）[9]的分割变换器详细视觉内容都不会暴露给云服务器。

（SETR）[8]进行隐私保护语义分割的方法。该方法对由于云服务器不一定可信，这种方法要求使用未加

训练和测试图像均应用感知加密，旨在在整个学习和推密的图像在本地执行模型训练。因此，为了在云服务器

理过程中保护视觉信息。