Storm分布式集群安装

1. 安装Zookeeper集群

Zookeeper集群安装步骤，这里不详述，在另外的文档详细说明，请参考文档

2. 安装Storm依赖

Python、zeromq、jzmq

说明：

Python，在centos系统中已经默认安装，如果在其他linux系统中未安装，请自行安装；

Zeromq，请使用2.1.7版本，其他版本目前没有测试过，可能会有其他问题。可以在wget http://download.zeromq.org/zeromq-2.1.7.tar.gz下载；

jzmq，请在 git clone https://github.com/nathanmarz/jzmq.git下载

3. 安装zeromq

安装依赖libstdc++-devel

安装依赖gcc-c++

安装依赖libuuid-devel

解压缩：tar -zxvf zeromq-2.1.7.tar.gz

进入目录cd zeromq-2.1.7

检查编译环境./configure

编译make

安装make install

4. 安装jzmq

安装依赖autoconf

安装依赖automake

安装依赖libtool

进入目录cd jzmq

自动生成./autogen.sh

检查编译环境./configure

编译make

安装make install

5. 安装storm

下载storm wget http://apache.fayea.com/storm/apache-storm-0.9.4/apache-storm-0.9.4.tar.gz

解压缩tar -zxvf apache-storm-0.9.4.tar.gz

重命名mv apache-storm-0.9.4 storm

修改配置文件vi storm/conf/storm.yaml

storm.zookeeper.servers:

      - "HadoopSlave1"

      - "HadoopSlave2"

      - "HadoopSlave3"

nimbus.host: "HadoopMaster"

    说明：HadoopSlave1、HadoopSlave2、HadoopSlave3分别是zookeeper服务器的主机名。HadoopMaster是storm的主控节点。

    将storm安装文件拷贝到其他slave节点

    scp -r storm  HadoopSlave1:/usr/

       scp -r storm  HadoopSlave2:/usr/

scp -r storm  HadoopSlave3:/usr/

    配置环境变量vi /etc/profile,添加如下内容：

    #set storm path

export STORM_HOME=/usr/storm

export PATH=$PATH:$STORM_HOME/bin

注：storm安装在/usr/目录下。每个节点都需要配置环境变量

使用环境变量生效source /etc/profile

6. 启动Storm集群

启动Zookeeper集群，每个Zookeeper节点上执行zkServer.sh start

主节点上启动storm，storm nimbus > ./nimbus.log 2>&1 &

主节点上启动图形化管理界面进程，storm ui > ./core.log 2>&1 &

子节点上启动storm，storm supervisor > ./supervisor.log 2>&1 &

7. 检查storm集群启动情况

主节点：

子节点：

WebUI管理页面