大数据技术与应用期末测试题及答案.docxVIP

大数据技术与应用期末测试题及答案

大数据技术与应用期末测试题

考试时间：120分钟满分：100分

一、单项选择题（每题2分，共20分）

下列哪项不属于大数据的“4V”特征？（）

A.海量性（Volume）B.高速性（Velocity）C.真实性（Veracity）D.易处理性（Visibility）

Hadoop生态系统中，负责分布式存储的组件是（）

A.MapReduceB.HDFSC.YARND.Hive

下列哪种数据属于非结构化数据？（）

A.关系数据库中的表数据B.Excel表格中的数值C.微信朋友圈的文本与图片D.CSV文件中的结构化记录

Spark相比MapReduce的核心优势不包括（）

A.支持迭代计算B.基于内存计算C.仅支持批处理D.计算效率更高

数据仓库的核心作用是（）

A.实时存储交易数据B.支持企业决策分析C.替代数据库存储D.处理高并发写入请求

下列哪种算法不属于大数据挖掘中的分类算法？（）

A.决策树B.K-均值（K-Means）C.逻辑回归D.支持向量机（SVM）

Flume的主要用途是（）

A.分布式计算B.日志采集与传输C.数据可视化D.数据库查询优化

关于HBase的描述，正确的是（）

A.基于关系模型的数据库B.适合存储大量结构化数据C.是列存储的分布式数据库D.不支持高并发读写

大数据处理流程中，“数据清洗”的主要目的是（）

A.扩大数据规模B.去除噪声、缺失值等异常数据C.转换数据格式D.加密敏感数据

下列哪种场景最适合使用流计算技术？（）

A.历史销售数据统计分析B.实时交通流量监控C.企业财务报表生成D.用户画像离线构建

二、多项选择题（每题3分，共15分，多选、少选、错选均不得分）

以下属于Hadoop生态系统核心组件的有（）

A.SparkB.HDFSC.MapReduceD.YARNE.Redis

大数据存储技术中，分布式文件系统的特点包括（）

A.高容错性B.可扩展性C.适合小文件存储D.支持并行读写E.依赖单一服务器

数据预处理的主要步骤包括（）

A.数据采集B.数据清洗C.数据集成D.数据转换E.数据规约

实时计算框架的典型代表有（）

A.SparkStreamingB.FlinkC.StormD.MapReduceE.Hive

大数据安全面临的主要挑战包括（）

A.数据泄露风险B.分布式环境下的权限管理C.数据加密技术不成熟D.海量数据的审计困难E.开源组件的安全漏洞

三、简答题（每题8分，共40分）

简述MapReduce的工作原理，包括Map阶段、Shuffle阶段和Reduce阶段的核心任务。

什么是数据湖？它与数据仓库的主要区别是什么？

简述Spark的核心组件及其各自的功能。

大数据应用中，为什么需要进行数据脱敏？常见的数据脱敏方法有哪些？

分布式计算与传统集中式计算的主要区别是什么？分布式计算的优势体现在哪些方面？

四、案例分析题（共25分）

某电商平台每天产生海量的用户行为数据（包括浏览记录、点击记录、下单记录、支付记录等），数据量达到TB级，要求实现以下需求：

实时监控平台的订单成交金额、下单人数等核心指标；

离线分析用户的购买偏好，为商品推荐提供数据支持；

存储历史用户行为数据，支持后续的数据分析与挖掘。

请回答以下问题：

（1）该电商平台的数据处理应采用哪种架构？请说明选择该架构的原因。（10分）

（2）针对实时监控和离线分析需求，分别推荐合适的技术组件，并说明理由。（10分）

（3）在数据存储方面，应如何设计存储方案以满足需求？请说明具体的存储组件及选择依据。（5分）

参考答案及解析

一、单项选择题（每题2分，共20分）

D解析：大数据“4V”特征为海量性（Volume）、高速性（Velocity）、多样性（Variety）、真实性（Veracity），易处理性不属于。

B解析：HDFS负责分布式存储，MapReduce是计算框架，YARN是资源调度器，Hive是数据仓库工具。

C解析：文本、图片、视频等属于非结构化数据，A、B、D均为结构化数据。

C解析：Spark支持批处理、流处理、交互式查询等多种计算模式，MapRed