大数据面试题及答案.docx

大数据面试题及答案

题目：HDFS中块的大小默认是多少？为什么块的大小不能设置得太小或太大？

答案：HDFS中块的大小默认是128MB（不同版本可能略有差异）。

块的大小不能太小的原因：如果块太小，会导致块的数量过多，那么管理这些块的元数据信息也会增多，会增加NameNode的负担，而且在进行数据传输时，寻址时间会相对较长，影响数据读写效率。

块的大小不能太大的原因：当进行数据处理时，比如MapReduce任务，一个块通常由一个Mapper处理，如果块太大，单个Mapper处理的数据量过大，会增加处理时间，而且如果发生块损坏，需要重新传输或处理的数据量也会很大，影响系统的恢复速度。

题目：Spark中的RDD有哪些特性？

答案：Spark中的RDD（弹性分布式数据集）具有以下特性：

弹性：RDD具有容错机制，当数据丢失时可以通过血统（lineage）重新计算恢复数据，并且可以根据需要自动调整分区数量。

分布式：RDD的数据分布在集群的多个节点上，可以并行处理。

不可变性：RDD一旦创建就不能被修改，只能通过转换操作生成新的RDD。

分区：RDD被划分为多个分区，每个分区的数据可以在不同的节点上并行处理，分区的数量可以根据实际情况进行设置和调整。

惰性计算：RDD的转换操作是惰性的，只有当执行行动（Action）操作时，才会触发之前的转换操作的计算。

可持久化：可以将RDD的数据持久化到内存或磁盘中，以便在后续的操作中重复使用，减少计算开销。

题目：Flink的Checkpoint机制和Savepoint机制有什么区别？

答案：Flink的Checkpoint和Savepoint机制的区别主要体现在以下几个方面：

触发方式：Checkpoint是由Flink自动触发的，用于定期保存作业的状态，确保作业在发生故障时能够快速恢复；Savepoint是由用户手动触发的，通常用于有计划的作业重启、升级或迁移等场景。

数据格式：Checkpoint的数据格式可能会随着Flink版本的变化而变化，不保证跨版本兼容性；Savepoint使用统一的、稳定的数据格式，保证了跨版本兼容性。

生命周期：Checkpoint的生命周期由Flink自动管理，当作业正常停止或新的Checkpoint生成时，旧的Checkpoint可能会被自动清理；Savepoint的生命周期由用户控制，只有用户显式删除时才会被移除。

用途：Checkpoint主要用于故障恢复，确保作业的高可用性；Savepoint主要用于作业的有计划维护、版本升级、集群迁移等场景。

题目：什么是数据仓库？它和数据库有什么区别？

答案：数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。

数据仓库和数据库的区别主要有：

面向对象：数据库面向事务处理，主要用于日常的业务操作，如订单处理、库存管理等；数据仓库面向决策分析，用于支持企业的管理决策。

数据特性：数据库中的数据是动态变化的，具有较高的实时性，主要存储当前的数据；数据仓库中的数据是相对稳定的，反映的是历史数据的集合，数据一旦进入数据仓库，通常不会被频繁修改。

数据结构：数据库中的数据通常采用规范化的结构，以减少数据冗余和保证数据一致性；数据仓库中的数据通常采用非规范化的结构，以提高查询和分析的效率。

数据集成：数据库通常只存储单一业务系统的数据；数据仓库则是对多个业务系统的数据进行集成、清洗和转换后形成的数据集合。

题目：在MapReduce中，Combiner的作用是什么？它和Reducer有什么区别？

答案：Combiner的作用是在Map阶段的输出结果进行本地聚合，减少Map任务输出的数据量，从而减少Map任务到Reduce任务之间的数据传输量，提高整个作业的执行效率。

Combiner和Reducer的区别：

运行位置：Combiner运行在Map节点上，对Map任务的输出进行本地聚合；Reducer运行在Reduce节点上，对所有Map任务输出的经过Shuffle后的相同键的数据进行聚合处理。

输入输出：Combiner的输入和输出的键值对类型必须相同，因为它只是对Map输出的局部数据进行聚合；Reducer的输入是Map输出经过Shuffle后的键值对，输出是最终的计算结果，其输入和输出的键值对类型可以不同。

执行次数：Combiner的执行是可选的，并且可能会被执行多次，具体取决于Map任务的输出大小和集群的配置；Reducer是MapReduce作业中必须执行的步骤，每个Reducer处理特定