展示你的动作：通过将多视角扩散模型适应外部编辑来创建你的 3D 内容.pdfVIP

展示你的动作：通过将多视角扩散模型适应

外部编辑来创建你的3D内容

WeitaoWangHaoranXu

TsinghuaUniversityZhejiangUniversity

JunMeng∗HaoqianWang∗

ZhejiangUniversityTsinghuaUniversity

InputMulti-ViewDiffusion6viewRGB+normalMetrics

本

CLIP

译Similarity

中

0.790.86

1front_rightright*backleftfront_left*

vnaiveours

0

0

71.19

7

0

.wrongview

8MVReward

0+MakeYourMoVe+12sScore

5

2

:

v

i1.68

x

rEditingtool

a

图1:朴素方法只是将编辑后的图像输入多视角扩散模型，可能会导致跨视图的几何不准确和背面视图（视图*

表示其法线贴图）上的错误纹理，这是由于外部编辑工具引入的信息模糊所致。MakeYourMoVe通过一个推

理过程解决了这个问题，在指标上取得了更好的结果（CLIP相似度是在生成的视图之间计算的，MVReward

分数反映了人类偏好）。

摘要生成方法（如多视图扩散模型）中会导致信息丢失，

从而降低最终3D资产的质量。在本文中，我们提出

随着3D生成技术的蓬勃发展，对生成个性化内容的

了一种无需调优的即插即用方案，在单次推理运行中

需求迅速增加。用户越来越多地寻求应用各种编辑方

使编辑后的资产与原始几何形状对齐。我们的方法核

法来润色生成的3D内容，旨在提升其颜色、风格和照

心是一个保持几何结构模块，它引导使用原始输入法

明效果而不损害底层几何形状。然而，大多数现有的

线潜变量进行的多视图生成。此外，还提出了一个注

编辑工具集中在2D领域，直接将这些结果输入到3D