使用预训练的潜扩散模型从 WiFi CSI 生成高分辨率高效图像-计算机科学-神经网络-扩散模型-图像处理.pdfVIP

使用预训练的潜扩散模型从WiFiCSI生成高

分辨率高效图像

EshanRamesh,TakayukiNishio

SchoolofEngineering,InstituteofScienceTokyo

Email:esrh@esrh.me,nishio@ict.eng.isct.ac.jp

摘要—我们提出了LatentCSI，这是一种新颖的方法，可以在这项工作中，我们感兴趣的是从CSI生成高分辨

从WiFiCSI测量数据生成物理环境的图像，该方法利用了预率的RGB相机图像。在人体感知的情况下（这是CSI

训练的潜扩散模型（LDM）。与依赖复杂且计算密集型技术如感知领域的主要关注点），相机图像有效地包含了姿态

GANs的先前方法不同，我们的方法采用轻量级神经网络将CSI

估计和活动分类所获得的信息。图像生成要复杂得多，

幅度直接映射到LDM的潜在空间中。然后，我们在文本引导下

需要良好的感知结构和高的输出维度。

对潜在表示应用LDM的去噪扩散模型，并使用LDM的预训练

本解码器进行解码以获得高分辨率图像。这种设计绕过了像素空鉴于这些挑战，许多先前的研究采用了生成对抗

译间图像生成中的挑战，并避免了传统图像到图像管道通常所需网络（GANs）[2]作为基于CSI的图像生成解决方案。

的显式图像编码阶段，从而实现了高效和高质量的图像合成。我

GAN框架训练两个相互竞争的模型：一个学习目标分

中们在两个数据集上验证了我们的方法：一个是我们使用现成的

布的生成器和一个学习区分生成样本与真实样本的判

2WiFi设备和相机收集的宽频带CSI数据集；另一个是公开可用

v的MM-Fi数据集的一个子集。结果表明，LatentCSI在计算效别器。基于GAN的方法是最早应用于从CSI生成图像

5

0率和感知质量方面都优于直接基于真实图像训练的复杂度相当的一类方法；最早的直接将CSI转换为图像的工作[3]

6的基线模型，并且通过其独特的文本引导可控性还提供了实用开发了一个用于生成64x64RGB图像的GAN。作者

0

1优势。展示了他们的方法能够正确分类物体和定位人体主体，

.

6但他们注意到对运动中的人体表现不佳。后续的研究

0I.介绍

5[4]和[5]应用了GAN框架来使用从CSI确定的信息转

2WiFi信道状态信息通常在使用已知同步字和导频换图像，利用从CSI确定的姿态关键点，这规避了从头

:

v载波对接收符号进行均衡的过程中计算得出。然而，尤开始生成图像的挑战。尽管GAN显示出了前景，但它

i

x其是在多载波系统中，它包含了关于传播环境的丰富们给训练过程带来了显著复杂性，因为需要同时训练

r

a信息。因此，WiFi的普遍性使得CSI成为传感应用中两个模型，并且需要仔细调整以确保稳定性和收敛[6]。

有吸引力的数据来源。从CSI恢复物理信息的数据驱这种复杂性促使探索更简单、具有更直接训练程序的模

动方法已经被广泛研究。借助机器学习技术的力量，研型。最近的一种非GAN方法在[7]中提出了这个问题，

究人员成功地完成了一系列传感任务，包括姿态估计作者提出了一种混合专家变分自编码器（VAE），该模

和活动分类[1]，并且在带宽足够的情况下，甚至可以型同时训练一个基于MLP的CSI编码器和一个真实图

进行如远距离感知人类呼吸这样精细的任务。虽然现像编码器。

有研究表明使用CSI预测低维物理世界指标的可行性，