发布于 2016-04-10 03:55:37 | 359 次阅读 | 评论: 0 | 来源: 分享
Hadoop分布式系统
一个分布式系统基础架构,由Apache基金会所开发。
用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。
hdp2.4是hortonworks最新推出的100%开源的hadoop发行版本,其中包含了最新的spark 1.6,冲着这点,使用离线方式安装最新的2.4版本。
无网络环境安装,主要是访问hortonworks的速度太慢了,而且中间各种不稳定,因此采用离线的方式,能保证安装成功。
# down.sh nohup wget -c http://public-repo-1.hortonworks.com/ambari/ubuntu14/2.x/updates/2.2.1.0/ambari-2.2.1.0-ubuntu14.tar.gz > 1.log 2>&1 & nohup wget -c http://public-repo-1.hortonworks.com/HDP/ubuntu14/2.x/updates/2.4.0.0/HDP-2.4.0.0-ubuntu14-deb.tar.gz > 1.log 2>&1 & nohup wget -c http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.20/repos/ubuntu14/HDP-UTILS-1.1.0.20-ubuntu14.tar.gz > 2.log 2>&1 &
解压三个文件到某个目录,最后,目录中有如下
$ ls AMBARI-2.2.1.0 ambari-2.2.1.0-ubuntu14.tar.gz down.sh HDP HDP-2.4.0.0-ubuntu14-deb.tar.gz HDP-UTILS-1.1.0.20 HDP-UTILS-1.1.0.20-ubuntu14.tar.gz
在目录下运行http服务,不需要Apache,也不需要Nginx以及他们的各种配置,使用一个命令即可:
$ python -m SimpleHTTPServer
看提示,已经开启了8000端口,web的根目录就为当前目录。
wget -nv http://public-repo-1.hortonworks.com/ambari/ubuntu14/2.x/updates/2.2.1.0/ambari.list -O /etc/apt/sources.list.d/ambari.list apt-key adv --recv-keys --keyserver keyserver.ubuntu.com B9733A7A07513CAD
#VERSION_NUMBER=2.2.1.0-161 #deb http://public-repo-1.hortonworks.com/ambari/ubuntu14/2.x/updates/2.2.1.0 Ambari main deb http://1.2.3.4:8000/AMBARI-2.2.1.0/ubuntu14/2.2.1.0-161 Ambari main
其中地址:http://1.2.3.4:8000即是上面的那台开启http的内网机器。后面的目录,可以根据前面下载解压后的目录来修改。
apt-get update apt-get install ambari-server
ambari-server setup
其中自定义jdk版本,填写JAVA_HOME的路径为,根据具体的jdk路径来设置,比如:/opt/jdk
ambari-server start
http://ip:8080 使用默认的admin/admin登录。
# http://public-repo-1.hortonworks.com/HDP/ubuntu14/2.x/updates/2.4.0.0 http://1.2.3.4:8000/HDP/ubuntu14/2.x/updates/2.4.0.0 # http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.20/repos/ubuntu12 http://1.2.3.4:8000/HDP-UTILS-1.1.0.20/repos/ubuntu14
注释的部分为hdp2.4的默认官方源,用自己的内网源替换即可。
配置各机器证书登录,选择安装服务等等后续步骤。
安装好后,关闭前面的http服务即可。
就是这么简单,就是这么方便。走过,路过,请不要跳过,在大数据圈混,迟早有一天用得到的。
最后,如果遇到问题,请留言。