发布于 2017-02-05 01:07:35 | 207 次阅读 | 评论: 0 | 来源: 网友投递
Cloudera Hadoop标准化安装工具
Cloudera为了让Hadoop的配置标准化,可以帮助企业安装,配置,运行hadoop以达到大规模企业数据的处理和分析。
最近在使用Cloudera manager管理hadoop集群。为了方便自动化管理,需要添加开机自动启动。从网上搜了一下,在一个安装教程中找到了一个方法。这里我用的是cloudera-manager-el5-cm5.3.2_x86_64.tar.gz进行的安装。所以默认是在/opt目录下面的。
解决方案:
step1:复制启动脚本 将/opt/cm-5.3.2/etc/init.d/目录下的cloudera-scm-server服务器启动脚本和cloudera-scm-agent代理服务启动脚本复制到/etc/init.d/目录下面。(/etc/init.d/目录用于存放开机启动脚本的目录)
cloudera-scm-server只需要在服务器所在的机子上进行复制就可以了。cloudera-scm-agent需要在集群中所有的机子上进行复制。
step2:添加开机启动
a、然后在服务器机器上添加开机启动:
chkconfig --add cloudera-scm-server
chkconfig cloudera-scm-server on
然后查看状态:
chkconfig --list cloudera-scm-server
如果2-5显示开启表示配置成功。
b、然后在集群所有机子上添加代理开机自动启动:
chkconfig --add cloudera-scm-agent
chkconfig cloudera-scm-agent on
然后查看状态:
chkconfig --list cloudera-scm-agent
如果2-5显示开启表示配置成功。
step3:修改cloudera-scm-server
教程上到这里就配置成功了。其实这里我的也能自动启动了,但是启动的只是这两个服务,集群的hdfs,yarn,zookeeper等它管理的服务并没有启动,找了一下问题,发现是环境变量问题,脚本没有找到一些变量。
a、一个是jdk环境问题,因为是开机启动的时候执行脚本,所以并没有读取我配置的JAVA_HOME.所以需要自己添加。
b、还有一个也是环境问题,没有找到我的cm-5.3.2目录,所以需要手动配置。
进入/etc/init.d/目录:
vim cloudera-scm-server
添加:export JAVA_HOME=/usr/local/jdk/ #你的java安装目录
修改:CMF_DEFAULTS=${CMF_DEFAULTS:-/etc/default} 为:CMF_DEFAULTS=${CMF_DEFAULTS:-/opt/cm-5.3.2/etc/default} #你的cloudera manager安装目录,然后保存退出即可。
这样,开机就能自动启动了。这两个服务以及他们管理的hbase,hdfs等服务都启动起来了。本人已经测试通过了。
以上这篇cloudera manager 设置开机自启的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持PHPERZ。