HDFS技术（大数据）原理与方案（培训）.pdfVIP

下载本文档

5
0
约4.55千字
约 15页
2021-03-04 发布于河北
举报
版权申诉

HDFS技术（大数据）原理与方案（培训）.pdf

1、有哪些信誉好的足球投注网站（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。。
2、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击这里二次下载。
3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
4、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
5、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
6、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
7、VIP文档为合作方或网友上传，每下载1次，网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档

HDFS技术（大数据）原理与方案技术创新，变革未来提纲 2 1 HDFS简介 2 HDFS架构与原理 3 HDFS程序设计 HDFS简介 3 源自于Google的GFS论文 • 发表于2003年10月 • HDFS是GFS 的克隆版 HDFS特点 • 易于扩展的分布式文件系统 • 运行在大量普通廉价机器上，提供容错机制 • 为大量用户提供性能不错的文件存取服务 HDFS优点缺点 4 • 高容错性 • 不适合低延迟数据访问 – 数据自动保存多个副本 – 比如毫秒级 – 副本丢失后，自动恢复 – 低延迟与高吞吐率 • 适合批处理 • 不适合小文件存取 – 移动计算而非数据 – 占用NameNode大量内存 – 数据位置暴露给计算框架 – 寻道时间超过读取时间 • 适合大数据处理 • 不适合并发写入、文件随机修 – TB 、PB级数据改 – 百万规模以上的文件数量 – 一个文件只能有一个写着 – 10K+节点规模 – 仅支持append • 流式文件访问 – 一次性写入，多次读取 – 保证数据一致性 • 可构建在廉价机器上 – 通过多副本提高高可靠性 – 提供了容错和恢复机制提纲 5 1 HDFS简介 2 HDFS架构与原理 3 HDFS程序设计 HDFS设计思想 6 HDFS架构 (1/2) 7 HDFS架构 (2/2) 8 Active NameNode Standby NameNode •主M aster （只有一个） •NameNode的热备 •管理H DF S的名称空间 •定期合并fsim age和fsedits， •管理数据块映射信息并推送给NameNode •配置副本策略