基于Python的数据脱敏与可视化分析.docxVIP

?

?

基于Python的数据脱敏与可视化分析

?

?

尹诗玉陈小奎师琳

摘要：为分析高校教学质量，并对其进行评价，本文基于python语言对教务系统导出的原数据进行处理和分析，主要从数据导入，数据预处理，及数据分析三个层面结合实例进行分析。首先利用tkinter库设计出数据导入的界面；其次阐述数据清洗、分组、集成以及脱敏等数据预处理的常用算法，并结合高校教学评价这一实际案例进行了演示，借助pandas库中的dataframe数据类型实现了对“脏数据”的清洗，以及对教师姓名的脱敏；最后利用matplotlib库对处理好的数据进行数据可视化，并结合所得图像对各专业班级及教师的学习和教学状况进行分析与评价。通过本文的数据处理，实现了对教师姓名的脱敏，保护了教师的隐私，并利用图形直观地反映出各教师和班级近几年的成绩分布，使得高校绩效考核更加的方便。

关键词：Python；pandas；数据预处理；数据脱敏；数据可视化

：TP391：A：1009-3044（2019）06-0014-04

DataDesensitizationandVisualAnalysisBasedonPython

YINShi-yu，CHENXiao-kui，SHILin

（AnhuiUniversityofScienceandTechnologyInstituteofMathematicsandBigDate，Huainan232001，China）

Abstract：Inordertoanalyzethequalityofcollegeteachingandevaluateit，thispaperbasedonPythonlanguagetoprocessandanalyzetheoriginaldataderivedfromtheeducationalsystem，mainlyfromthreeaspects：dataimport，datapreprocessing，anddataanalysis.Firstly，thetkinterlibraryisusedtodesigntheinterfaceofdataimport.Secondly，thecommonalgorithmsfordatapreprocessingsuchasdatacleaning，grouping，integrationanddesensitizationaredescribed.Theactualcaseofcollegeteachingevaluationisdemonstrated.Thedataframedatainthepandaslibraryisused.Thetyperealizesthecleaningof“dirtydata”andthedesensitizationoftheteachersname.Finally，thematplotliblibraryisusedtovisualizetheprocesseddata，andtheobtainedimagesareusedtoanalyzethelearningandteachingstatusofeachprofessionalclassandteachers.Throughthedataprocessingofthispaper，thedesensitizationoftheteachersnameisrealized，theprivacyoftheteacherisprotected，andthedistributionofthescoresofteachersandclassesinrecentyearsisvisuallyreflectedbythegraph，whichmakestheperformanceappraisaloftheuniversitymoreconvenient.

Keywords：Python；pandas；datapreprocessing；datadesensitization；datavisualization

1背景

人工智能大數据时代的到来使得数据挖掘与分析日益成为不可或缺的技能。Python是一种面向对象的程序设计语言，