分类回归算法的基础实验大数据技术分析方法课程实验报告.doc

《大数据分析方法》课程实验报告 学号： 姓名： 专业： 计算机科学与技术 班级： 02班 队名： 计算机科学技术学院 2019年10月 目 录 TOC \o 1-3 \h \z \u 目 录 2 实验一 关联规则算法实验 1 一、实验目的 1 二、实验内容 1 三、实验要求 1 四、实验题目 1 五、实验过程 2 1、程序编写 2 2、结果分析 3 附 录 5 1、支持度为30下的频繁二项集 5 2、代码 5 实验二 分类回归算法的基础实验 14 一、实验目的 14 二、实验内容 14 三、实验要求 14 四、实验题目 14 1、朴素贝叶斯Naive Bayes 14 2、决策树Decision Trees 14 五、实验过程 14 1、题目一 14 2、题目一实验结果 16 3、题目二 17 4、题目二结果分析 17 附 录 19 1、题目一 19 2、题目二 23 实验三 分类算法应用实验 25 一、实验目的 25 二、实验内容 25 三、实验要求 25 四、实验题目 25 五、实验过程 25 1 数据介绍 25 2 数据集探索 25 3 数据预处理过程 27 3.1 异常值处理 28 3.2 随机化数据 30 3.3 读入数据 30 4 建立模型 30 5 训练网络 32 5.1 回调函数 32 5.2 实现loss、acc可视化函数 32 5.3 设置超参 32 5.4 adam优化器，lr=0.0001，每次只放开2个block 32 六、实验结果 33 七、实验总结 35 参考文献 36 附 录 37 实验四 分类算法实验 49 一、实验目的 49 二、实验内容 49 三、实验要求 49 四、实验题目 49 五、实验过程 49 1、数据预处理 49 2、聚类算法的建立过程 50 3、结果分析 51 参考文献 54 附 录 55 实验一 关联规则算法实验 一、实验目的 在掌握关联规则算法的原理的基础上，能够应用关联规则算法解决实际问题。 二、实验内容 根据实验数据，采用Apriori等关联规则发现算法，给出相关关联规则。 三、实验要求 给出数据预处理过程、关联规则发现算法及发现关联规则，并对关联规则结果进行分析说明。 四、实验题目 蔬菜的价格会受季节、天气等多方面因素的影响，但许多会出现同涨或者同跌等现象，请根据给出的蔬菜价格数据，采用关联规则发现算法，发现哪些蔬菜之间具有同涨、同跌或者涨跌不同步的现象。数据格式如下： 日期 蔬菜名 价格 肉食禽蛋 批发价格 2009/6/11 大白菜 0.7 精猪肚 28 2009/6/11 青萝卜 1.2 猪口条 28 2009/6/11 胡萝卜 2 猪心 24 2009/6/11 水萝卜 　 猪肝 7 2009/6/11 葱 2.5 猪大肠 22 2009/6/11 芽葱 　 猪蹄 15 2009/6/11 元葱 0.8 猪大排 20 2009/6/11 生姜 3 猪肋排 25 2009/6/11 大蒜 3 精猪肉 17 2009/6/11 土豆 1.3 精牛肉 30 2009/6/11 菠菜 1.4 白条肉 16 2009/6/11 韭菜 1 羊肉片 32 2009/6/11 芹菜 1.5 西装鸡 12 2009/6/11 油菜 1 鸡大腿 12 2009/6/11 苔菜 　 鸡翅 18 2009/6/11 香菜 2 鸡爪 16 2009/6/11 大头菜 0.6 鸡胸肉 14 2009/6/11 芸豆 1.2 翅根 14 2009/6/11 豆角 2 翅中 26.2 五、实验过程 1、程序编写 （1）数据预处理 在编写程序的过程中，具体流程如图5.1.1所示，先对表格中的数据进行整理，以日期为行、单日蔬菜的价格为列，对表格中的特殊数据进行处理。初步对数据进行处理后发现，松花蛋、咸鸭蛋、冻芋头没有数据，相关分析时删除数据列。对缺失值进行取该类蔬菜的平均值填充，将价格按照图5.1.2流程图进行整理，进行下一步的关联分析。 图5.1.1 代码流程图 图5.1.2 数据变化矩阵流程图 （2）算法流程 运用Aprior