关于静态像生成句子描述的问题.docVIP

关于静态图像生成句子描述的问题 进入Computer Vision领域以来，很久之前就有个想法，能否给计算机一幅照片，计算机能够自动的描述图像中的内容，甚至图像中的人物以及正在发生的事情。就像是咱们小时候的看图作文似的。 但是现在已经有文章开始做相关工作了，下面分别描述一下。 第一篇是CMU的小牛Abhinav Gupta同学的CVPR2009的Oral，其实做的视频里的东西。 Understanding Videos, Constructing Plots – Learning a Visually Grounded Storyline Model from Annotated Videos Abhinav Gupta, Praveen Srinivasan, Jianbo Shi and Larry S. DavisIn CVPR 2009 (Oral) (PPT) 这篇文章是通过AND-OR的图模型来叙述视频里面正在发生的运动的各个动作，包括击球、接球、扔球等。因为视频里面含有更多的信息，所以做起来也相对容易一下。 ————– 第二篇是UIUC的Ali Farhadi写的，发在ECCV2010的poster。 Every Picture Tells a Story: Generating Sentences for ImagesAli Farhadi, Mohsen Hejrati, Amin Sadeghi, Peter Young, Cyrus Rashtchian, Julia Hockenmaier, David ForsythIn proceedings of European conference on Computer Vision(ECCV’10), 2010. 大体内容是通过建立图像到已经人工标记的句子的连线，来给图像标注句子。其实是图像标注的改进版。 Ali新发的一篇文章在CVPR2011上，是： Recognition using Visual PhrasesAmin Sadeghi, Ali FarhadiIn proceedings of IEEE Conference on Computer Vision and Pattern Recognition(CVPR’11), 2011. 再一篇文章是UCLA的I2T项目，/~zyyao/projects/I2T.htm： Benjamin Yao, Xiong Yang, Liang Lin, Mun Wai Lee and Song-Chun Zhu I2T: Image Parsing to Text Description, Proceedings of IEEE (invited for the special issue on Internet Vision) [pdf]. 通过上图就可以看出此项目其实还是一种常规的解决方法，每个基础领域都会涉及，用的现有技术，组合起来。有庞大的数据库，有很多元素数据作为基础依托。项目可以参考。 宽带网数字媒体技术实验室Multi-view Multi-lighting Data Sets Chenglei Wu, Yebin Liu , Qionghai Dai and Bennett Wilburn The following are multi-view multi-lighting data sets captured in our lab using our Multi-camera Multi-lighting dome: a set of images, camera parameters and extracted apparent contours of a single rigid object. Two types of data sets are given. One is captured by 20 cameras under 29 directional lightings, while the other is filmed by 20 cameras under 31 (Hadmand) multiplex lightings. The camera resolution is 1024 by 768. For geometry calibration and color calibration, we have developed our own calibration tools. Images are provided in the BMP format. Camera parameters are provided in the same for