基于视频多目标检测和姿态估计的学生课堂行为识别研究.pdfVIP

目录

摘要I

ABSTRACTII

第一章绪论1

1.1研究背景与意义1

1.2国内外研究现状2

1.3本文主要工作4

1.4论文结构框架5

第二章研究基础7

2.1卷积神经网络基础理论7

2.2目标检测8

2.2.1基于区域建议的目标检测9

2.2.2基于回归框的目标检测11

2.3姿态估计12

2.3.1单人人体姿态估计13

2.3.2多人人体姿态估计13

2.4课堂行为识别数据集构建15

2.4.1数据采集15

2.4.2学生课堂行为分类16

2.4.3数据预处理17

2.4.4标注工作18

2.5本章总结19

第三章基于目标检测网络YOLOv8的课堂行为识别模型21

3.1YOLOv8模型介绍21

3.2优化YOLOv8网络22

3.2.1主干网络的改进22

3.2.2多层次特征融合23

3.3实验与结果分析25

3.3.1样本数据集25

3.3.2评价指标26

3.3.3实验分析27

3.3.4消融实验28

3.4本章总结29

第四章基于高分辨率姿态估计网络的多目标行为识别模型31

4.1多目标检测31

4.1.1模型框架31

4.1.2改进策略32

4.2高分辨率人体关键点检测32

4.2.1残差结构的改进33

4.2.2优化上采样机制35

4.3实验与结果分析36

4.3.1高分辨率人体关键点检测实验分析36

4.3.2基于多目标姿态估计的行为识别实验分析39

4.4本章小结42

第五章学生课堂行为识别系统的设计与实现43

5.1开发工具简介43

5.2系统需求分析43

5.3系统功能设计44

5.4界面展示46

5.4.1系统登录界面46

5.4.2视频上传与查询模块46

5.4.3数据预处理模块47

5.4.4学生行为识别模块48

5.4.5课堂学生行为分析模块48

5.5本章小结49

第六章总结与展望51

6.1总结51

6.2展望52

参考文献53

在学期间取得的科研成果59

致谢61

摘要

随着人工智能技术和智慧教育平台的建设日臻完善，以计算机视觉为支撑的智

慧教育已逐渐取代传统课堂教学模式。学生课堂行为表现是评价智慧教育中教师教

学体系和学生学习状态的重要依据。然而，现有的学生课堂行为识别研究面临着目

标众多检测困难和模型计算复杂度高等问题。针对上述问题，本文采用目标检测网

络和姿态估计网络两种研究思路，围绕学生行为识别的相关问题展开研究。本文工

作如下:

（1）针对该研究领域因涉及隐私保护而缺乏公开数据集的情况，在教育平台

和视频网站上收集公开课视频资料，并部署监控设备记录真实课堂的视频内容。将

收集的视频数据通过图像处理方法,制作成训练数据集TD_Stud和PE_Stud，以用于

目标检测和姿态估计两种模式的训练检测。

（2）基于改进YOLOv8s目标检测算法进行课堂行为识别。在YOLOv8s主干

网络中融入轻量级通道注意力机制，提高模型的特征学习能力；在特征融合模块借

鉴加权双向特征金字塔网络BiFPN与重参数化模块DBB，对YOLOv8s中的特征金

字塔网络PANet进行改进，提高模型的特征整合能力。在中小学生行为状态数据集

TD_Stud上进行训练和测试,结果显示,改进后的模型YOLOv8s-CB比原始模型的平

均精度均值提升了1.7%，其中低头写字、抬头听课和站立的正确识别率均在96%

以上。