ATL-Diff: 声音驱动的说话头像生成早期地标引导噪声扩散-计算机科学-音频驱动的说话头像生成-虚拟助手.pdfVIP

ATL-Diff:声音驱动的说话头像生成早期地标引导噪声扩散

1111

SonThanh-HoangVo,Quang-VinhNguyen,SeungwonKim,Hyung-JeongYang,

21

SoonjaYeom,andSoo-HyungKim†

1ChonnamNationalUniversity,Gwangju,RepublicofKorea

2UniversityofTasmania,Hobart,Australia

{hoangsonvothanh,vinhbn28,seungwon.kim,hjyang}@jnu.ac.kr

soonja.yeom@.au

†Correspondingauthor:shkim@jnu.ac.kr

本

译Abstract临实现精确唇音同步和保持面部身份的挑战。直接音

中频到图像生成经常引入噪声，这会妨碍视觉质量并增

1音频驱动的说话头像生成需要面部动画与音频信加计算成本。

v号之间精确同步。本文介绍了ATL-Diff，一种解决同步解决音频驱动的说话人脸生成中的挑战是本文的

4

0限制并减少噪声和计算成本的新方法。我们的框架包主要目标。本文介绍了Audio-DrivenTalkingHeadGen-

8含三个关键组件：一个将音频转换为面部特征点的地erationwithEarlyLandmark-GuidedNoise差异usion

2

1标生成模块、一个根据特征点分布噪声以解耦音频的(ATL-Diff)，这是一种创新的方法，通过隔离音频信号

7.方法，以及一个保留身份特征的3D身份扩散网络。在来防止一般过程中的干扰。本文的主要贡献可以总结

0MEAD和CREMA-D数据集上的实验表明，ATL-Diff如下：

5

2在所有指标上都优于最先进的方法。我们的方法实现•提出了一种新的音频驱动的说话人头生成方法，在

:

v了接近实时处理的高质量动画，计算效率高，并能很好效果上优于其他模型。

i

x地保持面部细节。这一进展为虚拟助手、教育、医疗沟•建立一个从音频信号正确对应视频帧的里程碑序

r

a通和数字平台提供了有前景的应用。源代码可在以下列，使用地标生成模块模块（第2.1节）作为中间步

位置获取：/sonvth/ATL-Diff骤。这在表3中进行了演示。

•我们利用扩散模型的力量，同时引入了一种完全创

新的噪声分布方法称为地标（第2.2节）。在这个方

1.介绍法中，关键点序列指导了扩散模型中的噪声分布。这

种方法显著降低了推理成本，同时保持了高质量的

基于音频的虚拟人物生成旨在从静态身份图像中

输出。表2展示了这与其它方法相比如何有所改进。

合成与语音同步的真实面部动画。这项技术因