网络152_蒋发明_吴宏磊_郑杨子_大数据处理.docxVIP

课 程 设 计 报 告设计（论文）题目： 大数据处理 学 院 名 称： 电子与信息工程学院 专 业 班 级： 网络工程15-2 班 成 员 姓 名： 吴宏磊 学 号 员 姓 名： 郑杨子 学 号 员 姓 名： 蒋发明 学 号 导 教 师： 盛啸涛 年 1 月 6 日目录一、概述31、实验内容32、实验目的43、组员权重：4二、系统设计41、题目分析：42、数据结构设计43、程序流程图54、详细设计5三、实验结果6四、实验总结61、工作日志62、实验心得63、参考文献7五、附件：程序源码7 概述实验内容（1）读取文件中的密码(password)字段，统计密码出现的次数count，写入文件password.txt。不需要排序。格式：每行一条记录，password和count中间用TAB分隔（即C语言中的\t）。（ReadPassword）（2）读取password.txt，对密码出现次数按照降序排序。分别采用：直接插入排序、希尔排序、冒泡排序、快速排序、直接选择排序、堆排序、归并排序、基数排序；求出每种排序方法所需要的绝对时间。屏幕上输出各种各种排序的绝对时间。最后屏幕上输出出现次数最多的20个密码及次数。（RankTimePassword）（3）读取user.txt，使用链表存放，使用顺序查找，随机生成2000个user_id（1～1,230,000之内的），再随机生成20个user_id（大于1,230,000的），输出查找所花总时间。（SearchTimeNode）（4）读取user.txt，按照用户id使用二叉排序树存放，随机生成2000个user_id（1～1,230,000之内的），再随机生成20个user_id（大于1,230,000的），输出查找所花总时间。（SearchTimeTree）（5）读取user.txt，先按照user_id排序，结果写入user_sorted.txt。用不同的排序方法分别输出排序所需时间。（如果所花时间过长，请缩小数据范围，并估算最终所需的大概时间）（RankTimeId）（6）读取user_sorted.txt，使用二分查找，随机生成2000个user_id（1～1,230,000之内的），再随机生成20个user_id（大于1,230,000的），输出查找所花总时间。（只计算查找的时间）（SearchTimeTwo）（7）设计一个哈希存储的方案，用来存放password.txt中的数据（关键字为密码）；设计20个存在的密码和不存在的密码，输出该密码和出现的次数，以及查找所花总时间。（HaxiStore）实验目的通过数据结构课程设计，让我们了解8种排序的方法和运算时间，明白了大数据处理的方法，了解了哈希存储的方案以及所需查找的时间，利用二分查找随机产生的数据所需要的时间，通过这次实验，回顾了以前所学习的知识，更加掌握了数据结构的排序和算法。组员权重：蒋发明：1.2 吴宏磊：0.9 郑杨子：0.9系统设计题目分析：要求对大数据进行处理，每行包含一条记录，每条记录包含：user_id和password中间为TAB分隔。数据结构设计程序流程图 文字描述：主函数主要为while循环，对应的功能号进入对应的功能，0则退出循环，每个功能都是根据学期和班级来进入相应的数据文件。详细设计全局变量有int behind，Term t1,t2，behind用于防止输出成绩单时将未录入的学生成绩输出在程序中定义了三个类：Term，Cls，Stu，运用到了类的嵌套，学生嵌套在班级中，班级嵌套在学期里，学生类中有许多函数用于实现某些功能。在程序中还有readfile读文件函数和writetofile写文件函数，读文件函数设置为inline函数加快程序运行效率。主函数主要为一个while循环，输入相应的功能号进入相应的函数功能模块，输入0为结束，在各个功能模块开始前都会进行一次读文件操作，进行处理后将修改或者录入的数据重新写入到文件中覆盖原有数据。读写文件用到了fstream，istream和ostream。文件为txt文件格式为term1_1.txt用于保存第一学期1班的成绩数据。实验结果实验总结工作日志日期时间内容完成模块12．2613：30-16：30整个程序的规划完成文件的写入12. 2713：30-16：30了解前四个算法完成前四个排序12. 2813：30-16：30了解后四个算法完成后四个排序12. 2913：30-16：30了解链表存放完成链表存放12. 3013：30-16：30了解二分查找完成二分查找1. 0313：30-16：30了解哈希存储完成哈希存储1. 0413：30-16：30答辩程序的测试实验心得本次课