基于深度学习的学生课堂行为识别研究.pdfVIP

摘要

摘要

随着计算机技术在教育领域的快速发展，越来越多的研究者将目光聚集在

教学上。教学过程中由学生和老师之间的互动组成，为了提高教学质量，研究

学生在课上的表现也是必不可少的一个环节。传统课堂上，教师主要以观察的

方式了解学生的课上表现，但是这种方法不能及时有效的向教师反馈信息。所

以本文研究如何使用深度学习方法识别学生课堂行为。

本文通过使用卷积神经网络和迁移生成对抗网络来学习图像特征，进而进

行学生课堂行为分类。论文主要的工作如下：

(1)制作数据集。现如今网上没有公开的关于学生课堂行为表现的数据集，

所以笔者收集了100位学生的五种课堂行为，共有2024张图像用来构造数据集。

这五种行为分别是看黑板、看书、睡觉、转身、玩手机。同时采用数据预处理

的方式进行数据扩充，得到多种数据集。

(2)基于卷积神经网络的学生课堂行为识别研究。本文根据经典的卷积神经

网络模型结构，在此基础上进行加以改进，设计适合识别学生行为的网络结构。

通过设计参数的对比实验来选择最终的网络参数，确定网络结构。最终实验的

识别准确性达到了80.7%。同时将本模型与传统的CNN网络、LeNet-5网络和

AlexNet网络作对比实验，实验表明本文的网络模型在学生课堂行为识别准确率

上和运算时间上都优于其他的三种网络模型。

(3)基于生成对抗网络学生行为识别研究。本文采用迁移学习方法，将

MARTA-GANs生成对抗模型迁移到本文研究中，使用模型提取图像特征值，改

进模型的分类器。实验表明，该改进之后的模型比原始网络的准确率提高了6.7%，

并且通过大量实验证明改进之后模型的稳定性和鲁棒性较好。

关键词：学生行为识别；深度学习；卷积神经网络；迁移学习；生成对抗

网络

Abstract

Abstract

Withtherapiddevelopmentofcomputertechnologyinthefieldofeducation,

consistsoftheinteractionbetweenstudentsandteachers.Inordertoimprovethe

theclassroombyobservation,butthismethodcannotprovidetimelyandeffective

feedbacktoteachers.Sothisarticlestudieshowtousedeeplearningmethodsto

identifystudentsclassroombehavior.

Thispaperusesconvolutionalneuralnetworksandtransfer-generating

behavior.Themainworkofthepaperisasfollows:

(1)Makingthedataset.Therearenopubliclyavailabledatasetsonstudent

classroombehaviorsontheInternet.Inthispaper,2024imagesoffivekindsof

behaviorsof100studentsarecollectedtoconstructadatabaseofstudent’sclassroom

sleeping,turningaround,andplayingwithamobilephone.Atthesametime,data

preprocessingisusedtoexpandthedatatoobtainmultipledatasets.

(2)Classroombehaviorrecognitionbasedonconvolutionalneuralnetwork.

Basedontheclassicconvolutionalneuralnetworkmodelstructure,thisp