多模态数据融合与检索技术教学课件（共4章）第三章多模态数据融合.pptVIP

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 3.3.3 基于图神经网络的融合方法 图神经网络是对图结构数据进行特征提取的重要手段，在多模态特征学习中图神经网络不仅适用于各个模态内的拓扑关系图建模，还适用于多个模态间的拓扑关系建模，因此，图神经网络在多模态融合学习中有着重要作用。 基于谱分析的图神经网络是最常见的一种图神经网络之一，其主要思想是相邻节点的特征传播，其中特征消息传播的一般表达式可以表示为 卷积神经网络（Graph Convolutional Network, GCN）是基于谱分析的图神经网络中具有代表性的模型,其工作原理如下： 首先，图卷积神经网络需要构建关系拓扑图。 然后，利用特征传播算法将图网络各个节点的特征通过相邻关系进行传播。 最后，进行特征间关系提取，将图卷积神经网络输出的特征表示通过池化或级联等方式对关系拓扑图进行特征提取，得到图结构数据在不同阶层的抽象表示。 3.3.3 基于图神经网络的融合方法 图卷积神经网络工作原理 3.3.3 基于图神经网络的融合方法 图神经网络还可以根据任务的不同进行网络结构的修改，除了图卷积神经网络之外还有图注意力网络（Graph Attention Network, GAT），关系图卷积神经网络（Relational Graph Convolutional Network, R-GCN），这些图神经网络结构旨在解决具有不同结构、不同特征关系的图网络特征提取。 跨模共享特定特征传输算法 解决以往的研究中只专注于将不同的模态嵌入到同一个特征空间中来学习共同的表达，而忽视了特征的差异性的问题 根据模态共有特征建立不同模态样本的亲和力模型，然后在模态之间传递模态共有的特征和模态特定的特征 图卷积神经网络举例 主要内容 3.3 多模态融合前沿方法 3.2 多模态融合传统方法 3.1 多模态数据融合介绍 3.4 多模态融合发展方向 3.4 多模态融合的发展方向 解决方案： （1）压缩海量参数问题 具有更强大计算架构的新的学习框架 通过并行算法在云平台等计算密集型架构上执行 结合当前的压缩策略设计新的多模态深度学习压缩方法 3.4 多模态融合的发展方向 解决方案： （2）缓解低质量数据问题 将不完整模态实例进行删除，利用剩余多模态数据实例进行融合 通过缺失值填充对不完整多模态数据进行预处理 通过弱监督学习的模型对噪声数据进行识别与纠正 （3）利用实时数据问题 Thank You！ * * * * * * * * * * * * * * * * * * * * * * * * * 3.2.2 基于分类的融合方法 最大熵模型 在一般情况下，最大熵模型是一种统计分类器，它遵循信息理论的方法，根据它所具有的信息内容预测其属于某个特定类的观测的概率。 最大熵模型假设分类模型是一个条件概率分布 , 为特征， 为输出。 假设满足所有约束条件的模型集合为： 定义在条件概率分布 上的条件熵为： 最大熵模型的目标就是求得使 最大的时候对应的 。通过求最大似然估计可以求得最大熵模型的解。 3.2.2 基于分类的融合方法 最大熵模型举例 Magalhaes等人将这种基于最大熵模型的融合方法用于多媒体语义索引。在这项工作中，他们将基于文本和基于图像的特征融合起来进行查询关键字的检索。 具体而言，他们将文本和图像特征映射到最优特征子空间，然后为每一个查询关键字提出了一个最大熵模型： 为了估计最大熵模型，权重 是唯一需要通过在整个数据集上最小化上述模型的对数似然值来计算的变量： 因为其采用高斯函数来减小过拟合效果，因此对数似然函数的形式为： 3.2.2 基于分类的融合方法 基于分类的融合方法优缺点对比 本节主要介绍了基于分类的融合方法，主要包括支持向量机、贝叶斯推断、D-S理论、动态贝叶斯网络和最大熵模型。每种方法都有其优势与劣势，研究者应该根据实际的场景来酌情使用，以提高模型的效果。 基于概率原理的贝叶斯推断融合方法提供了对新观测的简单集成和先验信息的使用。但是，它们不适合处理相互排斥的假设。此外，由于缺乏合适的先验信息，导致该方法的融合结果不准确。另一方面，D-S理论融合方法善于处理相互排斥的假设。但是，这种方法很难处理大量的假设组合。D-S理论融合方法已用于语音识别、运动视频分析和事件检测等任务。 动态贝叶斯网络被广泛应用于处理时间序列数据。动态贝叶斯网络是使用时间数据的贝叶斯