基于平衡熵切片的视频流分割算法的研究.docVIP

基于平衡熵切片的视频流分割算法的研究 　　在均衡的熵切片技术的基础上提出了基于流的均衡的熵切片技术。通过UCF运动数据集来评估该方法的有效性。大量实验结果表明这种方法能以在线工作的方式获取更高质量的分割结果，同时花费的时间和内存更少。 　　视频分割 均衡的熵切片 流处理 超体元 　　1 引言 　　随着远程监控系统、无人驾驶系统的大量实际应用，视频分割将在生活中扮演十分重要的角色，如场景的识别感知[1]，阴影/照明的估测[2]，机器人学[3]中已经大量使用到了视频分割技术。在前期的没有长度限制的视频处理中，视频分割技术似乎已经有了一种可靠的方法，它们不像早期的视频分割方法[4]那样需要做一个基于静态的背景假设[4]。视频分割必威体育精装版的研究成果是产生时空的关联性，如文献[5]、文献[6]、文献[7]可以获得十分出色的视频分割结果。有一些方法甚至可以做到在线的流处理，但是在实际应用中还有很多工作要做。 　　2 背景介绍 　　为了详细地说明视频分割的复杂性，本文在总结前人研究成果的基础上提出了以下3个主要挑战： 　　（1）时间相干性：在不考虑时间相干性的情况下，视频可以被一帧一帧地分割。在这种情况下，作为一个连续的方法是不能展现出帧与帧之间很小的变化，但是却能实时地处理视频。如果使用一个树结构去重构整个视频，将会需要占用很大的内存和硬件资源。在一些监控和交互应用中[8]，不可能把整个视频都放到内存中去处理。所以有些学者就提出了基于流的层分割方法的近似框架[9]，每个帧只会被处理一次并且不会改变前面的帧的分割结果。它可以展现出帧与帧之间很小的变化但是效果却没有使用树结构去重构整个视频的好并且仍然具有算法延迟的特性。 　　（2）自动处理：随着时间去追踪区域对分割动态场景中感知相似的区域有很大的影响。与追踪相反，去追踪哪一块区域是很难判断哪些帧有这些区域或者追踪的时间方向（向前或者向后）。 　　（3）可扩展性：如果给出一个视频中的大量的像素点或者特征，视频分割方法将趋向于变慢并且需要很大的内存。最好的方法就是把视频分割成多级的区域，每个区域涉及到时间和空间，并且每个区域也能代表一个物体。 　　视频的层分割方法表现地很好，归因于相似的多尺度区域被作为产生的层被再评估，但是却没有被广泛采用。结果层包含了丰富的视频多尺度信息，但不能片面地取一层，这样做会丢失一些信息。 　　基于上述三个方面的挑战，本文提出了一种新的方法去满足这些问题。此方法在获取了足够的帧后，会开始构建一个基于层结构的树。为了获取一个最优的树切片，就会使用特征标准并且使用一个标准的解决方案（IBM CPLEX）去获取树切片。在完成这些之后，系统会输出结果并保存一些信息，然后开始下一次的处理，并将一直循环处理，直到所有的帧都被处理完。 　　3 基于超体元的视频分割方法 　　视频分割问题在概念上可以想象成一个聚类的问题，就是通过扫描物体移动时通过的空间和时间，把许多超体元聚集成可以展现的更大单元。从另一方面说，本文所描述的超体元都是聚集成时空体的，如果这个时空体改变了，比如物体从场景中消失，就可以视为一个分割。如果有其他的新物体进入到视频的场景中，这将会使问题变得更加复杂。 　　一开始视频分割是尝试去把一个视频分割成时间相干的场景。由于视频的信息量是十分庞大的，如果在像素点或者体像素的级别上去分割视频的话也算是时空等价的。因此，大多数研究者倾向于基于超像素或者超体元的研究。他们是把一些相似或相关的像素聚集在一起形成的，而且都是比像素点和体像素都大的实体，现在的很多视频分割方法不是基于超像素的就是基于体像素的。超像素的本质是空间对象，因为需要考虑物体间时空上的关联，所以无论如何都要把从运动或者颜色对比线索获取的像素点的时间方面考虑进去。动作线索可以考虑成一个像素流，简单地说，就是使用光流算法去计算帧与帧之间像素点的移动。其中光流算法是连接两个视频帧之间相同像素的向量，这是一个可以把运动线索合并到视频中的方法。在本文中，只考虑使用超体元去进行视频分割。 　　3.1 均衡的熵切片技术 　　Felzenszwalb和Huttenlocher提出了一种基于图的图片分割算法[10]，他们的算法被Grundmann扩展成了基于图的视频分割算法（Graph-based Hierarchy Video Segmentation，GBH）[11]。然而GBH在低层会过分割，在高层会欠分割，因此在高层的时候会包含太少的分割域，在低层的时候会包含太多的分割域。所以，需要在这么多层的分割结果中，找到一个平衡，而这是一个十分复杂的过程。因为需要去平衡不同层之间的信息分布，而一个基于熵概念的均衡的熵切片方法[12]可以解决这个问题。 　　均衡的熵切片技术包含一个模型（均衡的熵