大数据技术原理与应用.pptVIP

8.8.1 编写Storm程序 上述虽然是一个简单的单词统计，但对其进行扩展，便可应用到许多场景中，如微博中的实时热门话题。Twitter也正是使用了Storm框架实现了实时热门话题 Twitter实时热门话题处理流程示意图 8.8.2 安装Storm的基本过程 安装Storm的基本过程如下： 第一步：安装Java环境 第二步：安装 Zookeeper 第三步：安装Storm（单机） 第四步：关闭Storm 本实例中Storm具体运行环境如下： CentOS 6.4 Storm 0.9.6 Java JDK 1.7 ZooKeeper 3.4.6 Python 2.6 备注：CentOS中已默认安装了Python 2.6，我们还需要安装 JDK 环境以及分布式应用程序协调服务 Zookeeper Storm上机实践详细过程，请参考厦门大学数据库实验室建设的 “中国高校大数据课程公共服务平台”中的 “大数据课程学生服务站”中的“学习指南”栏目： 学生服务站地址：/post/4331/ 学习指南栏目中包含了《第八章流计算学习指南》 /blog/767/ 8.8.2 安装Storm的基本过程 第一步：安装Java环境 Storm 运行需要 Java 环境，可选择 Oracle 的 JDK，或是 OpenJDK，现在一般 Linux 系统默认安装的基本是 OpenJDK，如 CentOS 6.4 就默认安装了 OpenJDK 1.7。但需要注意的是，CentOS 6.4 中默认安装的只是 Java JRE，而不是 JDK，为了开发方便，我们还是需要通过 yum 进行安装 JDK $ sudo yum install java-1.7.0-openjdk java-1.7.0-openjdk-devel 接着需要配置一下 JAVA_HOME 环境变量，为方便，可以在 ~/.bashrc 中进行设置 8.8.2 安装Storm的基本过程 第二步：安装Zookeeper 到官网下载Zookeeper，比如下载?“zookeeper-3.4.6.tar.gz”? 下载后执行如下命令进行安装 zookeeper（将命令中 3.4.6 改为你下载的版本）： $ sudo tar -zxf ~/下载/zookeeper-3.4.6.tar.gz -C /usr/local $ cd /usr/local $ sudo mv zookeeper-* zookeeper #修改目录名称方便使用 $ sudo chown -R hadoop:hadoop ./zookeeper # 此处的hadoop为你的用户名 chown命令让hadoop用户拥有zookeeper目录下的所有文件的权限 8.8.2 安装Storm的基本过程 接着执行如下命令进行zookeeper配置： $ cd /usr/local/zookeeper $ mkdir tmp $ cp ./conf/zoo_sample.cfg ./conf/zoo.cfg $ vim ./conf/zoo.cfg 进入zoo.cfg文件编辑状态后，将当中的 dataDir=/tmp/zookeeper 更改为 dataDir=/usr/local/zookeeper/tmp 。接着执行： $ ./bin/zkServer.sh start 第二步：安装Zookeeper（续） 8.8.2 安装Storm的基本过程 第三步：安装Storm（单机） 到官网下载Storm，比如Storm0.9.6 下载后执行如下命令进行安装Storm： $ sudo tar -zxf ~/下载/apache-storm-0.9.6.tar.gz -C /usr/local $ cd /usr/local $ sudo mv apache-storm-0.9.6 storm $ sudo chown -R hadoop:hadoop ./storm # 此处的hadoop为你的用户名 接着执行如下命令进行Storm配置: $ cd /usr/local/storm $ vim ./conf/storm.yaml 备注：storm的运行有两种模式: 本地模式和分布式模式.在本地模式中， storm用一个进程里面的线程来模拟所有的spout和bolt. 本地模式对开发和测试来说比较有用。在分布式模式下， storm由一堆机器组成。当提交topology给master的时候， master负责分发代码并且负责给topolgoy分配工作进程。如果一个工作进程挂掉了， master节点会把它重新分配到其它节点 8.8.2 安装Storm的基本过程 修改其中的 storm.zookeeper.servers 和 n