《大数据分析入门》试题与答案.docxVIP

《大数据分析入门》试题与答案

一、单项选择题（每题2分，共20分）

1.下列哪项不属于大数据的“5V”特征？

A.Volume（大量）

B.Velocity（高速）

C.Value（价值）

D.Validity（有效性）

2.以下哪个工具是Hadoop生态中用于结构化数据查询的组件？

A.HBase

B.Hive

C.Spark

D.Flume

3.关于数据清洗，下列描述错误的是？

A.处理缺失值时只能直接删除缺失行

B.异常值可能由测量误差导致

C.需要统一数据格式（如日期格式）

D.重复数据会影响分析结果准确性

4.Spark的核心抽象是？

A.DataFrame

B.RDD（弹性分布式数据集）

C.DataSet

D.DStream

5.以下哪种算法属于无监督学习？

A.逻辑回归

B.K-means聚类

C.决策树

D.支持向量机（SVM）

6.数据仓库（DataWarehouse）的主要特点不包括？

A.面向主题

B.实时更新

C.集成性

D.历史数据存储

7.关于HDFS（Hadoop分布式文件系统），下列说法正确的是？

A.适合存储小文件

B.数据存储为多副本（默认3副本）

C.支持实时随机读写

D.仅支持文本格式数据

8.若要分析用户点击流数据的实时趋势，最适合的计算框架是？

A.MapReduce

B.SparkCore

C.SparkStreaming

D.Hive

9.特征工程中“独热编码（One-HotEncoding）”主要用于处理？

A.连续型数值特征

B.高维稀疏特征

C.类别型特征

D.时间序列特征

10.关联规则分析中，“支持度（Support）”的计算公式是？

A.包含A和B的事务数/总事务数

B.包含A的事务中包含B的比例

C.实际包含B的事务数/预测包含B的事务数

D.（包含A和B的事务数）/包含A的事务数

二、填空题（每题2分，共20分）

1.大数据分析的核心价值在于从海量数据中挖掘__________，驱动决策优化。

2.Hadoop生态中，负责资源管理和任务调度的组件是__________。

3.数据采集阶段常用的工具中，用于实时日志收集的是__________（填写Flume或Sqoop）。

4.数据可视化的作用是将抽象数据转化为__________，帮助用户快速理解数据规律。

5.Spark相比HadoopMapReduce的主要优势是__________（填写“内存计算”或“磁盘计算”）。

6.分类算法中，__________（填写算法名称）通过计算特征与类别的信息增益选择分裂节点。

7.数据仓库的分层架构中，ODS层的全称是__________。

8.处理缺失值的常用方法包括删除法、__________和插值法（如均值填充）。

9.分布式计算中，“分片（Partition）”的作用是将大文件分割为小数据块，便于__________。

10.时间序列分析中，ARIMA模型的三个参数分别代表自回归阶数、差分阶数和__________。

三、简答题（每题8分，共40分）

1.简述大数据分析的完整流程，并说明各阶段的核心任务。

2.对比HadoopMapReduce与Spark的适用场景，举例说明。

3.数据清洗需要处理哪些常见问题？请分别给出解决方法。

4.什么是特征工程？请列举至少4种特征工程的常用技术，并说明其作用。

5.假设你需要分析某电商平台用户的购买行为，目标是找出“高价值用户”，请设计分析思路（包括关键指标、分析方法及输出结果）。

四、应用题（共20分）

1.（10分）给定某网站用户访问日志数据（字段：用户ID、访问时间、页面ID、停留时长），请用Python的Pandas库完成以下操作：

（1）筛选出停留时长超过60秒的记录；

（2）按用户ID分组，计算每个用户的总停留时长；

（3）将结果保存为CSV文件（路径：./user_stay.csv）。

2.（10分）使用SparkRDD实现“统计某社交平台用户的关注数”，输入数据为文本文件，每行格式为“用户ID,关注用户ID1,关注用户ID2,...”（示例：u1,u2,u3,u4）。要求输出结果为（用户ID，关注数）的键值对，按关注数降序排列。

答案

一、单项选择题