面向多模态数据的学习分析应用研究.pdfVIP

互联网+应用

InternetApplication

面向多模态数据的学习分析应用研究

文胡文婷

摘要：随着传感器技术的日趋成熟，多模态数据的学习分析必将成为未来发展的重要趋势。本文从个体的生理、心理

和行为来探讨多模态数据的层次关系，简述了这三个层次多模态学习分析的研究现状，阐述了多模态数据的采集、处理、

分析与可视化技术，以此提出了面向多模态数据的学习分析应用场景，为推进智能教育研究的发展提供研究参考。

关键词：多模态数据；学习分析；智能教育

一、引呈现从里到表的层次关系，生理数据在最底层，心理数

在“智能+”教育时代，人工智能、可穿戴、物联据在中间层，行为数据在最外层。生理数据是指学习者

网等技术与教育教学的深度融合，促进了智能教育发展在学习过程中受到刺激时个人身体结构发生的变化，属

的进程，将学习者的学习情境数据作为信息表征，为研于个体心理和行为的内在映射；心理数据是指学习者在

究教育现象和发展规律提供了新颖的方法。随着多模态学习过程中的心理活动数据，如认知、注意力；行为数

数据采集技术不断地发展，学习者学习行为的获取突破据是学习者在学习过程中的外在行为表达，如手势、姿

了原有数据采集技术的局限，如通过视频采集设备收集态。

学习者在课堂学习的行为数据；通过眼动仪监视学习者（二）多模态学习分析

在线学习过程中的注意力；通过人脸识别设备对学习者学习分析是指通过对学习者的学习数据进行采集、

进行定向跟踪来评估学习状态。尤其是，基于生理感处理、分析和报告，进而理解和优化学习过程。相关研

知数据测量的学习行为及心理特征已成为智能教育研究究论述了学习分析的发展历程、梳理会议报告及论文集，

的发展趋势。生理感知数据是源于人体的生物活动产生表明多模态数据将成为学习分析研究的重要话题，这需

的电信号或磁信号，主要包括眼动、脑电、皮肤电、心要着重发挥学习分析在交叉学科中研究的优势4。因此，

电图等多模态数据，具有客观性、精确性、实时性等优通过多模态数据采集技术捕捉学习者学习过程中的学习

点2。据此，将多模态数据进行融合分析，突破单一模状态并加以分析显得尤为重要。

态数据无法实现整体关联分析的缺陷，能够全面地刻画1.生理数据

学习者的学习行为、情感投人、学习状态等，帮助计算相关研究利用多种传感器采集学习者的眼动、皮肤

机更好地理解学习者真实的学习需求，为其提供精准的电、脑电等生理数据，进行多模态数据融合分析，对学

个性化学习服务。本文通过对智能教育领域的多模态数习状态、学习投人等进行深人的研究。在皮肤电反应方

据和多模态学习分析进行阐述，将多模态数据的学习分面：卢锦运等采集用户浏览动画导航界面的皮肤电信息，

析应用进一步梳理，以期为智能教育领域的研究提供价对用户的皮肤电分析得出用户更喜欢动画页面，能够获

值参考。得更好的舒适体验感[5]。

二、多模态与多模态学习分析在眼动方面：文献从学习者在学习过程中眼动信

（一）多模态数据息人手，针对学习者的眼动数据开展学习分析探讨，为

当前，随着传感器技术、物联网技术等在教育领域学习者提供个性化学习服务的应用模式；文献[7阐述了

的普及，这为多模态数据的来源提供了有力的保障，也眼动跟踪在智能教育中的应用研究。在脑电方面：文献8

为智能教育的大数据分析提供了坚实的基础。多模态数采集学生学习过程中脑电信号，用于深度分析学习者状

据是指于同一现象、过程或环境采用两种或两种以上方态，为学生提供个性化学习服务或自适应学习界面。因

式获取的相关数据。本文所指的多模态数据来自个体此，面向生理感知的多模态数据更能客观且真实地描述

的三个层级，即生理