面向社交媒体内容的多模态情感特征学习研究-模式识别与智能系统专业论文.docxVIP

优秀毕业论文 精品参考文献资料 厦门大学学位论文著作权使用声明本人同意厦门大学根据《中华人民共和国学位条例暂行实施办法》 厦门大学学位论文著作权使用声明 本人同意厦门大学根据《中华人民共和国学位条例暂行实施办法》 等规定保留和使用此学位论文，并向主管部门或其指定机构送交学位 论文(包括纸质版和电子版)，允许学位论文进入厦门大学图书馆及 其数据库被查阅、借阅。本人同意厦门大学将学位论文加入全国博士、 硕士学位论文共建单位数据库进行检索，将学位论文的标题和摘要汇 编出版，采用影印、缩印或者其它方式合理复制学位论文。 本学位论文属于： ( )1．经厦门大学必威体育官网网址委员会审查核定的必威体育官网网址学位论文， 于 年，月 日解密，解密后适用上述授权。 ／ (、／)2．不必威体育官网网址，适用上述授权。 (请在以上相应括号内打“√”或填上相应内容。必威体育官网网址学位论文应 是已经厦门大学必威体育官网网址委员会审定过的学位论文，未经厦门大学必威体育官网网址委 员会审定的学位论文均为公开学位论文。此声明栏不填写的，默认为 公开学位论文，均适用上述授权。) 声明金c㈣：力主前 沙6年j月婶日7 万方数据 万方数据 摘要社交媒体已成为现代社会舆论交流和信息传递的主要平台。针对社交媒体的 摘要 社交媒体已成为现代社会舆论交流和信息传递的主要平台。针对社交媒体的 情感分析对于舆论监控、商业产品导向和股市预测等都具有重大应用价值。但社 交媒体内容的多模态性(文本、图片等)让传统的单模态情感分析方法面临许多 局限，多模态情感分析技术对跨媒体内容的理解与分析具有重大的理论价值。 多模态情感分析区别于单模态方法的关键问题在于，如何综合利用形态各异 的多模态情感信息，来获取整体的情感倾向性，同时考虑单个模态本身在情感表 达上的性质。针对该问题，利用社交媒体上的多模态内容在情感表达上所具有的 关联性、抽象层级性的特点，提出了一套面向社交媒体的多模态情感特征学习与 融合方法，实现多模态情感分析，主要内容和创新点如下： 1．针对社交媒体多模态信息在情感表达上具有关联性的问题，提出了一种基于 贝叶斯网络的跨模态情感关联模型(Multi-modal Correlation Model，MCM)， 来对社交媒体内容的情感表达进行建模。利用网络中不同模态间的先验和后 验概率，综合考虑了1)各模态自身对情感的贡献；2)不同模态在情感表达 上的相关性。实现了对文本、图片和表情符号等不同模态情感特征的跨模态 融合。实验结果验证了模态关联性对多模态情感分类具有积极效果。 2．针对模态和情感间存在的语义鸿沟问题，结合深度学习算法和人类的先验知 识，提出了一种层级性的情感特征学--j策略(Hierarchical Fine—tlXRO I肋加jng Strategy，HFLS)。从特征学习数据和学习模型的层次结构两方面入手，利用 微调(fine-tune)机制，逐层地学习模态的低层特征、中层情感特征和高层 情感特征。实验结果说明，相比于现有的情感特征学习方法，HFLS能够很 好地减小模态与情感间的语义鸿沟。 3．针对多模态在情感表达上的关联性和层级性问题，结合MCM的分析结论和 HFLS学习策略，提出了一种通用的多模态情感特征学习方法。利用社交媒 体中存在的大规模情感信号，以无监督的方式学习具有强情感关联性，和高 度情感抽象层级的多模态情感特征。实验结果说明了该方法产生的情感特征 优于现有情感特征学习方法、并且具有很好的泛化能力。 关键词：多模态关联； 层级特征；情感信号 AbstractSocial Abstract Social media has become a main platform of public communication and informa60n transmission．Therefore，social media sentiment analysis has great application values in many fields,such as public opinion monitoring，production marking，stock forecasting and SO on．But the multi-modal characteristic of social media content(e．g． texts and images)significantly challenges traditional text-based sentiment analysis approaches，multi-modal sentiment analysis gets great theoretical value for understanding and analysis of multi-moda