基于微表情和眼动的谎言识别.pdfVIP

摘要

谎言识别在司法、国家安全以及商贸保险等领域具有十分重要的意义。传统的谎

言识别方法如测谎仪等是通过测量个体在说谎过程中生理指标的变化来实现的，这种

方法需要与被试进行身体接触，会给被试带恐惧和焦虑感。研究表明，微表情和眼动

可以作为谎言识别的重要线索，并提供一种非接触式的谎言识别方法。

本文从微表情和眼动两方面进行谎言识别研究，由于谎言识别问题的复杂性，利

用单模态特征的识别率比较低，而多模态特征可以实现特征互补，提高谎言识别的准

确率，因此本文提出了一种基于多模态生理特征的谎言识别的方法。本文具体的研究

工作如下：

（1）本文首先阐述了谎言识别的研究背景和意义，从不同模态特征总结了谎言识

别的研究现状，同时也介绍了微表情和眼动的研究现状。其次，对谎言识别中常用的

深度学习理论基础进行了介绍。

（2）对于微表情的谎言识别问题，本文首先采用了基于光流特征和长短期记忆网

络的方法去检测视频中包含的微表情间隔。在面部动作编码系统中，微表情可以由人

脸动作单元及其组合进行表示。本文选取了与谎言相关的多个微表情动作单元，提出

了基于3D-Net的多标签动作单元识别模型，利用3D卷积神经网络提取微表情关键帧

的时空特征，并结合2D卷积神经网络提取峰值帧的空间特征。该算法在CAS(ME)2

数据集上的准确率达到了84.47%，具有较好的微表情动作单元识别效果。对于微表情

的谎言识别研究，本文采用了基于微表情动作单元的谎言识别算法，将微表情动作单

元的统计频率构成特征向量，使用卷积神经网络提取相邻特征并进行谎言分类，在

Real-lifeTrial数据集上的识别率为86.6%，验证了该算法具有较高的谎言识别率。

（3）对于眼动的谎言识别研究，本文通过实验获取到眼跳、眨眼、注视和瞳孔直

径等四类共31维眼动统计特征。首先分析了这些眼动特征在说谎者和非说谎者之间的

差异表现，并对单独的眼动特征进行了相关研究。其次，本文利用方差分析和序列浮

动前向选择算法进行特征选择，得到显著性特征集A和B。本文介绍了机器学习中的

支持向量机、对数几率回归、决策树以及随机森林等多种分类模型，在31维眼动特征

和显著性特征集上利用多种分类模型进行对比实验。实验结果表明，在特征集B上利

用支持向量机获得了78.6%的识别率，证明了这些眼动特征在谎言识别中的可行性。

（4）对于多模态谎言识别问题，本文研究了多种多模态特征融合的方法，提出了

基于注意力机制的特征融合方法对微表情和眼动两种特征进行特征融合。实验结果表

明，本文提出的基于注意力机制的特征融合方法优于特征级融合的方法，它能够充分

利用微表情和眼动这两种模态的特征信息，融合后的多模态特征比未融合的单模态特

征在识别谎言中效果更好，在谎言识别中准确率达到了88.4%。两种模态特征的互补

性提高了谎言识别的准确率，证明了本文提出的多模态谎言识别模型的有效性。

关键词：微表情，眼动，多模态，谎言识别

Abstract

Lierecognitionisofgreatsignificanceinthefieldsofjustice,nationalsecurity,and

commercialinsurance.Traditionalliedetectionmethods,suchaspolygraph,arerealizedby

measuringthechangesofphysiologicalindicatorsintheprocessoflying.Thismethod

requiresphysicalcontactwiththesubjects,whichwillbringfearandanxietytothesubjects.

Researchhasshownthatmicro-expressionsandeyemovementcanserveasimportantclues

forlierecognitionandprovideanon-contactmethodforlierecognition.

Thisthesisconducts