可解决深度冲突的3D字幕的添加方法_熊俊.docVIP

可解决深度冲突的3D字幕的添加方法 熊俊1，周军1，汤毅2 （1.上海交通大学 图像通信与网络工程研究所，上海 200240；2.上海文广科技集团，上海，200072） 摘 要：本文提出了一种3D字幕的混合插入方法，即插入的字幕既能产生立体效果，又能融入到真实的场景中。将字幕以一定的负视差分别添加到左右视图中，并根据场景的深度情况来确认景物与3D字幕的遮挡关系，解决3D图像中字幕与图像深度混乱的问题，让字幕与场景虚实结合，能达到更真实的立体观看效果。 关键词： 3D字幕；视差；增强实现 【中图分类号】TN948；TN949.13 【文献标识码】A A solution of depth cue conflict optimization for inserting 3D subtitles Xiong Jun1, Zhou Jun1, Tang Yi2 （1.Institute of Image Communication, Shanghai Jiao Tong University, Shanghai 200240, China; 2.Shanghai Media and Technology Group, Shanghai 200072, China） Abstract: This paper presents a solution for inserting 3D subtitles in a 3D video. This subtitles could not only produce three-dimensional effect, but also be introduced in a real situation. Author inserts subtitles in left and right images with a certain negative parallax, and confirms the occlusion between subtitles and object according to their depth information to override their depth cue conflicts. Aligning 3D subtitles and real objects could achieve high quality stereo effect. Key words: 3D subtitles; disparity; augmented reality 1　引言 随着3D显示技术的飞速发展与日益进步，市场上出现了越来越多的3D电视、3D显示器、3D投影机等3D显示设备[1]，而3D照片、3D游戏、3D视频的渐渐普及也体现了3D显示技术已成为现代显示技术的必然趋势。 在3D图像显示技术不断发展和成熟的同时，3D内容插入技术也迫切需要革新。这里的插入的内容[2]是指为了丰富观看者需要在图像中插入的字幕、菜单、图标[3]等。拿字幕来说，传统的2D字幕只是将字幕覆盖在图像上，而对于3D图像，在3D视频的播放过程中，立体图像会不断的有景深的变化，如果像2D视频一样直接将字幕显示在银屏上，那么随着视频的播放，观看者在观看时往往会很难同时看清图像和字幕，因为人眼视觉的双目会聚与焦点会产生不一致[4]，并且长时间观看会产生视觉疲劳问题，所以在插入3D字幕时一定要考虑立体图像的深度变化。考虑到观看者观看字幕的习惯与图像深度变化等因素，本文提出了一种3D字幕的混合插入技术，将字幕以3D的显示效果添加到立体图像中，并根据场景的情况来确认景物与3D字幕的遮挡关系，解决3D图像中字幕与图像深度混乱的问题，能达到更好的立体观看效果。 2　3D字幕添加技术分析 在二维视频上插入字幕，只是简单的将其覆盖到图像上，已添加的字幕在视觉上遮挡住了原始图像中的物体，所以字幕会相对于图像上的其他物体显得隔观看者更近。而3D视频是基于立体视觉系统的，为人的双眼提供了一个立体图像对，这个立体图像对中相同物体位置的视差会在人脑中产生一定的深度。在这种情况下，仅仅在左图和右图上叠加字幕是不够的，因为这时的立体图像具有深度信息，它们的深度不仅通过视觉遮挡来反映，而且与左右图像的视差有关。因此，当在3D图像上插入字幕时，要确认字幕和景物的遮挡关系来保证视差和遮挡关系的一致性。为了达到这个目标，有必要知道图像中不同景物的深度。当字幕的深度小于图像的深度时，字幕隔观看者更近，这时字幕会遮挡住图像；当字幕的深度小于图像的深度时，图像隔观看者更近，这时字幕会被图像遮挡住。因此，为了得到一个合适插入的3D字幕，必须要知道图像的深度信息。 现有的立体字幕主要是将字幕直接放置在立体图像的最前面，字幕自始自终浮