Video+Rewrite中的实时图象变形.pdfVIP

Video Rewrite中的实时图象变形· 刘西川 普建涛董士海 (北京大学计算机科学技术系图形研究室， 北京， 100871) Rewr 摘要videoite是视频音频数据之间对应台成的一种新的视频技术，是图像处理领域 中的热点问题．在网络视频会议、模拟讨论等领域有广泛的应用。其中的一个重要问题就是 R∞r 如何保证实时性。由于Videoite中最花时间的是图像变形算法，本文通过对vid∞ Rewr ite技术中的图像变形算法进行改进。实现了实时的图像变形，从而解决了这一问题。 Rwr 关键词videoite。图像变形．实时 Abs船ctThcncw audio m fe谢te，jsusefU vc‘jf tcdl眦惦留bc豫瑚video柚dcomposidon，vide0 somc 1i：bnet s。ononc ar髓s mccd“g’visual蛐og鲫ditIlport蚍t thc￡ewntedmc．We Probl锄is foundmat山e fm】ch algori山m，we morPh池010J醇3pendsdrr屺11啪ugh如p加咖【lg出cm。‘Ph ac}lievedthc sIlcccss血lly re止衄morph video K叮W0rd Rc啊itc，M。rPh，m划一n“1e 1．引言 vldeo趾umte【”是由cBte出r等人提出的一种全新的由语音驱动的基于图像的嘴形台成 技术，在网络视频会议、模拟讨论等领域有广泛的应用。它使用了诸如光流法、特征点法、 基于特征的变形等多种技术。但是如果要能够广泛使用这种技术，其实时性是一个很重要的 方面，这其中起关键作用的是图像变形(M。rph)的算法．图像变形算法的好坏直接决定合 成的速度。 图像变形是图形学中的一个重要问题，也是一个较为成熟的问题。迄今为止．图像变形 的算法多种多样，有2D的．也有3D的，各有优劣，这里我们注重于2D变形。 最早提出的是网格变形，它是由Ds唧血c于1988年在Indusn“Ⅱ曲哦MA昏c中提出的。 其主要特点是在对应网格之间进行变形，变形时使用线性插值。后来Beief和Nec峙在H中提 出了基于特征(feath“)的变形，其特点是通过用直线定义特征区域，保证了各个特征之间 的过渡。这是两种基本的基于图像的变形方法。它们各有优劣。网格变形不好定义图像的特 征，而且当网格很多时不易控制；特征变形则是速度不太理想。 本文先就系统的实现过程进行介绍，然后提出一种改进的算法，结合网格变形和特征变 形的优点，以达到实时性。 2．系统结构 ‘本文得到国家自然科学基金项目(项目批准号69773u24)压高等学校博士学科点专项科研基叠资助项目 的资助 一74— vid。。耻wntc通过对一段训练的视频数据根据其对应的音素数据进行自动的分割，得到 关于音频和视频帧的对应关系，构造一个模型，然后对于任给的一段语音音素．通过得到的 模型，合成于这段语音对应的视频数据，也就是对嘴形进行合成。 总的说来，vidc0Rewnk要解决以下一些主要问题： 1、如何对语音进行分割? 2、如何对人的头部运动进行跟踪(Tmckiflg)， 3、如何获得嘴形和下巴的形状? 4、如何将不同的嘴形数据进行拼接并将最终的嘴形台成到人脸的图像上? 系统分为如下几个部分： (1)语音的分割 对于训练数据，首先需要对语音进行分割，将其切分为一个个的音素 (phonc