Hadoop培训.pptx

;;Hadoop是开源的、可靠的、可扩展的分布式并行计算框架 Hadoop是Google集群系统的开源实现 -Google集群系统：GFS（Google File System）、MapReduce、BigTable -Hadoop主要由HDFS（Hadoop Distributed File System）、MapReduce、Hbase组成 Hadoop的初衷是为了解决Nutch的海量数据爬取和存储的需要 -Nutch是一个开源的有哪些信誉好的足球投注网站引擎实现 Hadoop于2005年作为Lucene的子项目Nutch的一部分正式引入Apache基金会 作者：Doug Cutting 语言：Java，支持多种开发语言，如：Python，C++，Ruby等 ;高扩展性;HDFS（Hadoop Distributed File System）：分布式文件系统，是根据google发表的论文GFS（Google File System）Google 文件系统的开源实现。 HDFS的特点： 按块存储：将文件划分为固定大小的数据块进行存储，默认块大小为64M。 数据通过多个副本的形式保存在多个数据节点上，默认为3个副本。 运行在通用的服务器上。 适合大数据的处理。 ;NameNode：管理文件系统的命名空间，它维护着文件系统树及整棵树内所有的文件和目录，NameNode也记录着每个文件中各个块所在的数据节点信息。 SecondaryNameNode：是一个小弟，分担大哥NameNode的工作量，是NameNode的冷备份，合并fsimage和edit logs然后再发给NameNode。 ;DataNode：是分布式文件系统中的工作节点，他们根据客户端或者NameNode的指示检索或者存储数据，并且定期向NameNode发送心跳。 ;1、查看指定目录下内容 Hadoop dfs –ls [文件目录] eg: hadoop dfs –ls /user/ 2、打开某个已存在文件 hadoop dfs –cat [file_path] eg:hadoop dfs -cat /user/data.txt 3、将本地文件存储至hadoop hadoop dfs –put [本地地址] [hadoop目录] hadoop dfs –put /home/t/file.txt /user/t 4、将本地文件夹存储至hadoop hadoop fs –put [本地目录] [hadoop目录] hadoop fs –put /home/t/dir_name /user/t 5、将hadoop上某个文件down至本地已有目录下 hadoop dfs -get [文件目录] [本地目录] hadoop dfs -get /user/t/ok.txt /home/t 6、删除hadoop上指定文件 hadoop dfs –rm [文件地址] hadoop dfs –rm /user/t/ok.txt;Map/Reduce编程思想;Map/Reduce编程思想;Map/Reduce编程思想;Map/Reduce实例;Map/Reduce实例