Hadoop集群高可靠安装
- 下载Hadoop
wget http://apache.fayea.com/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz
- 解压缩
tar –zxvf hadoop-2.6.0.tar.gz
- 重命名
mv hadoop-2.6.0 hadoop
- 设置环境变量
export HADOOP_HOME=/usr/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export CLASSPATH=$CLASSPATH:$HADOOP_HOME/lib
- 修改配置文件
Hadoop的配置文件全部都在$HADOOP_HOME/etc/hadoop目录下
hadoop-env.sh
修改Java环境变量
添加Hadoop本地类库
core-site.xml
添加以下内容
hdfs-site.xml
添加以下内容
mapred-site.xml
添加以下内容
yarn-site.xml
slaves
添加所有datanode节点的主机名
slave1
slave2
slave3
- 将安装文件拷贝到其他节点
scp –r hadoop resourcemanager1:/usr/
scp –r hadoop resourcemanager2:/usr/
scp –r hadoop slave1:/usr/
scp –r hadoop slave2:/usr/
scp –r hadoop slave3:/usr/
- 启动Zookeeper集群，在每个zk节点上启动Zookeeper服务
zkServer.sh start
- 在每个datanode节点上启动journalnode
hadoop-daemon.sh start journalnode
- 格式化HDFS，在namenode（master1）上执行即可，不允许多次格式化，如需重复格式化，需要先删除每个节点的tmp目录，否则id不一致，集群是启动不了的
hdfs namenode -format
10、将master1上的tmp目录拷贝到master2
scp -r tmp master2:/usr/hadoop/
11、格式化Zookeeper，在master1上执行即可
12、启动HDFS，在master1上执行即可
start-dfs.sh
13、启动yarn，在resourcemanager1上执行
start-yarn.sh
在resourcemanager2上执行
yarn-daemon.sh start resourcemanager
参考文献：
http://hadoop.apache.org/docs/r2.4.1/hadoop-yarn/hadoop-yarn-site/ResourceManagerHA.html
http://hadoop.apache.org/docs/r2.4.1/hadoop-yarn/hadoop-yarn-site/ResourceManagerRestart.html