图像情感计算综述.docVIP

图像情感计算综述 　　摘 要：相对于底层视觉特征层，人们只能够感知和理解图像、视频的高层语义层，包括认知层和情感层。以往对图像内容分析的工作主要集中在理解图像的认知层，即描述图像的真实内容，如物体检测与识别。然而，公众对数字摄影技术的广泛使用及对图像情感表达的强烈需求，使得对图像最高语义层―情感层的分析变得越来越迫切。对图像情感层的分析，简称图像情感计算，主要目的是理解观察者看完图像后所引起的情感反应。本文首先介绍了情感的定义与描述，然后给出了图像情感计算的问题描述，最后总结了图像情感计算的研究现状。 　　关键词：图像情感；情感计算；情感表示 　　中图分类号：TP391.4 　　1 引言 　　随着社交网络的快速发展和广泛使用，例如Twitter（https：//），Flickr（https：//），YouTube（https：//）和新浪微博（http：//），人们倾向于将自己的所见所闻、兴趣爱好等以文本、图像和视频等多媒体的形式上传至网络来呈现和分享其观点和情感。因此，即会导致文本、图像和视频等多媒体内容的规模正以显示指数级态势发生着爆炸式增长，而针对这些多媒体内容的处理及理解需求则日趋显著与突出。相对于底层视觉特征层，人们只能够感知和理解图像、视频的高层语义层，包括认知层和情感层。以往对视觉内容分析的工作主要集中在理解图像、视频的感知层，即描述图像、视频的真实内容，如物体检测与识别。然而，公众对数字摄影技术的关注热衷及对视觉内容情感表达的强烈需求，使得对图像、视频最高语义层―情感层的分析已然具有高度重要的研究和应用价值。 　　对多媒体内容情感层的分析属于情感计算的一部分。情感计算的概念是由麻省理工学院媒体实验室的Picard教授于1995年首次提出的，而于1997年专著《Affective Computing》则正式出版问世[1]。书中给出了情感计算的定义，即情感计算是指与情感相关、来源于情感或能够对情感施加影响的计算，包含3个部分：情感识别、情感发生和情感表达[1]。 　　基于此，根据需要处理的多媒体数据类型，对多媒体情感层的分析可以分为4种：基于文本的情感分析[2]、基于音频的情感分析[3-5、基于图像的情感分析[6-7]以及基于视频的情感分析[8-11]。其中，基于文本和音频的情感分析比较成熟，图像情感分析中人脸表情识别的研究也相对成熟，而关于普通图像和视频情感分析的研究相对来说，却仍显不足。对图像情感识别的研究最初源始于人脸表情?R别，因为人脸检测和人脸识别的研究相对成熟，心理学对人脸表情的分类也已建立有清晰脉络，此外更有大量的研究机构也成功建立了表情识别的数据库[12-14]。 　　受到情感鸿沟和人类情感感知与评估的主观性等基础现实的制约，普通图像的情感分析进展缓慢。不仅如此，图像情感计算的发展还将需要心理学、艺术学、计算机视觉、模式识别、图像处理、人工智能等领域的共同支持，众多领域学科的交叉使得图像情感计算成为一个富有挑战性的研究课题。本文对图像情感计算的发展研究现状进行了全面论述和分析。 　　1 情感的定义与描述 　　人类具有很强的情感感知和表达的能力，但是由于情感的复杂性和抽象性，人们很难将情感从概念上实现具体化和清晰化。心理学、生理学领域的科学家们早在18世纪就开启了专门情感研究，并且推出了诸多情感理论来解释情感是如何源起于产生的，如1872年的Darwin三原则理论[15]、1884年的James-Lange理论[16]、1927年的Cannon-Bard 理论[17]和1991年的Lazarus理论[18]。但是迄今为止，科学家们也仍未提出一个准确、全面且可得到一致认可的情感定义。 　　心理学中与情感相关的词汇有emotion、affect、sentiment、mood、affective、emotional等，类似的中文词汇有情感、感情、情绪、情感的、感情的等。心理学上认为情感、情绪与感情是3个严格不同的概念[1，19-20]，但计算机学科对此区分并不严格区分，一般只是笼统将其称为情感。wikipedia上给出了一种情感的模糊定义，“情感是对一系列主观认知经验的通称，是多种感觉、思想和行为综合产生的心理和生理状态”。心理学领域主要有2种方式来描述情感：离散情感状态（CES）和维度情感空间（DES），或称为范畴观和维度观[1，19-20] 。 　　1.1 离散情感状态 　　持范畴观的心理学家将情感分成相互独立的范畴，而且在外部表现、生理唤醒模式上都存在一定的差异。近年来，持范畴观的研究人员根据生物进化理论把情感分为基本情感和复合情感。不同的心理学家对基本情感的分类差异很大，从2类到几十类也各有不等，具体的分类方法可以参照文献[1，19-20]。研究中更具代表性的成果主要有：E