第二组实验报告二.pdfVIP

实验报告 实验名称：用户消费行为分析 学生姓名： 刘芸研 曹新花 安喜莲 史家琪 刘洁 学生学号： 22 24 33 43 47 课程名称： 分布式数据库原理与应用 实 验 室： 大数据实验中心 院 系： 数学与计算机科学学院 专 业： 数据科学与大数据技术 年 级： 2019 级 完成时间： 2021 年 6 月 17 日 一、实验目的： 掌握MapReduce的使用原理，会熟练进行MapReduce操作 任务一：编写MapReduce程序实现数据清洗，将不完整的数据过滤掉，输 出数据以 ‘，’分割。 任务二：使用hive对清洗后的数据进行分析，通过对用户行为数据进行分 析，计算用户消费趋势： 1.每月各用户的消费次数、购买产品数量、消费总额。 2.每月的消费总次数、购买产品总数量、消费总额、消费人数。 结合分析结果，给出消费趋势结论。 二、实验原理： Job：启动提交任务,任务的输入与输出 Map：将大数据任务经过Split成若干小任务，每个小任务由单独的机器处 理 Hive：基于Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为 一张数据表，并提供sql查询功能，可以将sql语句转换为MapReduce任务进行 运行。 三、实验设备： 一台带有IntelliJ IDEA Community Edition 2019.3.4 x64 的笔记本电脑 四、实验过程 （程序清单）： 任务一：编写MapReduce程序实现数据清洗 Map： Reducer： Main： 任务二：使用hive对清洗后的数据进行分析 创建数据库db1 创建内部表t1 加载数据 统计每月各用户的消费次数 统计每月各用户的购买产品数量 统计每月各用户的消费总额 统计每月的消费总次数 统计每月的购买产品总数量 统计每月的消费总额 统计每月的消费人数 五、实验结果： 任务一： 任务二： 统计每月各用户的消费次数 统计每月各用户的购买产品数量 统计每月各用户的消费总额 统计每月的消费总次数 统计每月的购买产品总数量 统计每月的消费总额 统计每月的消费人数 六、实验心得： 通过此次实验，使我们小组掌握了MapReduce的过程和hive的应用。通 过 Mapper 运行的任务读取 HDFS 中的数据文件，然后调用自己的方法，处理数 据，最后输出。Reducer 任务会接收Mapper 任务输出的数据，作为自己的输入 数据，调用自己的方法，最后输出到 HDFS 的文件中。了解了Mapreduce的原理， 通过对任务划分和分而治之的方法，使得大型问题得到迅速地解决。K1,V1其 中K1 是偏移量；Map 的输出是 Reduce 的输入；所有的输入和输出都是 Key,Value形式；其中k2 k3，v3是一个集合，v3的元素就是v2；所有的输入 和输出的数据类型必须是Hadoop 的数据类型，在数据清洗中，K1,V1，K2,V2 完全相同，可以省略掉Reducer过程。Hive是基于Hadoop 的一个数据仓库工具。 可以将结构化的数据文件映射为一张表，并提供完整的sql查询功能底层是将 sql语句转换为MapReduce任务进行运行。Hive提供了一系列的工具，可以用来 进行数据提取、转化、加载 （ETL Extract-Transform-Load ），这是一种可以 存储、查询和分析存储在 Hadoop 中的大规模数据的机制本质上是一种大数据离 线分析工具。