Hadoop多节点集群

发布于 2015-07-14 13:49:42 | 481 次阅读 | 评论: 0 | 来源: 网络整理

本章介绍了在分布式环境中Hadoop多节点集群的设置。

由于整个集群不能表现出来，这里作为示例，我们使用三个系统(一个主机和两个从机)的Hadoop集群环境;下面给出的是其IP地址。

Hadoop 主机: 192.168.1.15 (hadoop-master)
Hadoop 从机: 192.168.1.16 (hadoop-slave-1)
Hadoop 从机: 192.168.1.17 (hadoop-slave-2)

按照下面给出Hadoop的多节点集群设置的步骤。

安装Java

Java是Hadoop的主要先决条件。首先，应该使用 “java -version”在系统上检查 java 是否已经安装。Java version 命令的语法如下。


$ java -version

如果一切正常，它会给出下面的输出。


java version "1.7.0_71" 
Java(TM) SE Runtime Environment (build 1.7.0_71-b13) 
Java HotSpot(TM) Client VM (build 25.0-b02, mixed mode)

如果Java尚未安装系统中，那么可以按照下面给定的步骤来安装Java。

第1步

下载Java（JDK - X64.tar.gz）通过访问以下链接 http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html

那么jdk-7u71-linux-x64.tar.gz下载到系统。

第2步

一般来说，在下载文件夹中找到下载的Java文件。使用下面的命令提取 jdk-7u71-linux-x64.gz 文件。


$ cd Downloads/
$ ls
jdk-7u71-Linux-x64.gz
$ tar zxf jdk-7u71-Linux-x64.gz
$ ls
jdk1.7.0_71 jdk-7u71-Linux-x64.gz

第3步

为了使Java能提供给所有用户，必须将它移动到 “/usr/local/” 的位置。使用root用户打开然后键入以下命令。


$ su
password:
# mv jdk1.7.0_71 /usr/local/
# exit

第4步

有关设置 PATH 和 JAVA_HOME 变量，添加以下命令到 ~/.bashrc 文件。


export JAVA_HOME=/usr/local/jdk1.7.0_71
export PATH=PATH:$JAVA_HOME/bin

现在使用java -version命令从终端验证上述说明。按照上面的过程，并在所有群集节点安装java。

创建用户帐户

在主机和从机系统上创建一个系统用户帐户来安装Hadoop。


# useradd hadoop 
# passwd hadoop

映射节点

编辑hosts文件在所有节点的/etc/目录，指定每个系统后面的主机名和IP地址。


# vi /etc/hosts
enter the following lines in the /etc/hosts file.
192.168.1.109 hadoop-master 
192.168.1.145 hadoop-slave-1 
192.168.56.1 hadoop-slave-2

配置基于密钥登录

在每一个节点，设置的ssh使得它们可在没有任何提示密码彼此通信。


# su hadoop 
$ ssh-keygen -t rsa 
$ ssh-copy-id -i ~/.ssh/id_rsa.pub yiibai@hadoop-master 
$ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop_tp1@hadoop-slave-1 
$ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop_tp2@hadoop-slave-2 
$ chmod 0600 ~/.ssh/authorized_keys 
$ exit

安装Hadoop

在主服务器上，下载并使用以下命令安装Hadoop。


# mkdir /opt/hadoop 
# cd /opt/hadoop/ 
# wget http://apache.mesi.com.ar/hadoop/common/hadoop-1.2.1/hadoop-1.2.0.tar.gz 
# tar -xzf hadoop-1.2.0.tar.gz 
# mv hadoop-1.2.0 hadoop
# chown -R hadoop /opt/hadoop 
# cd /opt/hadoop/hadoop/

配置Hadoop

必须做以下修改，如下所示配置Hadoop的服务器。

core-site.xml

打开 core-site.xml文件并对其进行编辑，如下图所示。


<configuration>
   <property> 
      <name>fs.default.name</name> 
      <value>hdfs://hadoop-master:9000/</value> 
   </property> 
   <property> 
      <name>dfs.permissions</name> 
      <value>false</value> 
   </property> 
</configuration>

hdfs-site.xml

打开hdfs-site.xml文件并对其进行编辑，如下图所示。


<configuration>
   <property> 
      <name>dfs.data.dir</name> 
      <value>/opt/hadoop/hadoop/dfs/name/data</value> 
      <final>true</final> 
   </property> 

   <property> 
      <name>dfs.name.dir</name> 
      <value>/opt/hadoop/hadoop/dfs/name</value> 
      <final>true</final> 
   </property> 

   <property> 
      <name>dfs.replication</name> 
      <value>1</value> 
   </property> 
</configuration>

mapred-site.xml

打开mapred-site.xml文件并对其进行编辑，如下图所示。


<configuration>
   <property> 
      <name>mapred.job.tracker</name> 
      <value>hadoop-master:9001</value> 
   </property> 
</configuration>

hadoop-env.sh

打开hadoop-env.sh文件并编辑JAVA_HOME，HADOOP_CONF_DIR和HADOOP_OPTS，如下图所示。

注意：根据系统配置设置JAVA_HOME 。


export JAVA_HOME=/opt/jdk1.7.0_17 export HADOOP_OPTS=-Djava.net.preferIPv4Stack=true export HADOOP_CONF_DIR=/opt/hadoop/hadoop/conf

在从服务器上安装Hadoop

对所有从服务器按照给定的命令安装Hadoop。


# su hadoop 
$ cd /opt/hadoop 
$ scp -r hadoop hadoop-slave-1:/opt/hadoop 
$ scp -r hadoop hadoop-slave-2:/opt/hadoop

主服务器上配置Hadoop

打开主服务器，并按照给定的命令进行配置。


# su hadoop 
$ cd /opt/hadoop/hadoop

配置主节点


$ vi etc/hadoop/masters
hadoop-master

配置从节点


$ vi etc/hadoop/slaves
hadoop-slave-1 
hadoop-slave-2

Hadoop主服务器上格式名称节点


# su hadoop 
$ cd /opt/hadoop/hadoop 
$ bin/hadoop namenode –format


11/10/14 10:58:07 INFO namenode.NameNode: STARTUP_MSG: /************************************************************ 
STARTUP_MSG: Starting NameNode 
STARTUP_MSG: host = hadoop-master/192.168.1.109 
STARTUP_MSG: args = [-format] 
STARTUP_MSG: version = 1.2.0 
STARTUP_MSG: build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2 -r 1479473; compiled by 'hortonfo' on Mon May 6 06:59:37 UTC 2013 
STARTUP_MSG: java = 1.7.0_71 ************************************************************/ 11/10/14 10:58:08 INFO util.GSet: Computing capacity for map BlocksMap editlog=/opt/hadoop/hadoop/dfs/name/current/edits
………………………………………………….
………………………………………………….
…………………………………………………. 11/10/14 10:58:08 INFO common.Storage: Storage directory /opt/hadoop/hadoop/dfs/name has been successfully formatted. 11/10/14 10:58:08 INFO namenode.NameNode: 
SHUTDOWN_MSG: /************************************************************ SHUTDOWN_MSG: Shutting down NameNode at hadoop-master/192.168.1.15 ************************************************************/

启动Hadoop服务

下面的命令是启动主Hadoop的所有Hadoop服务。


$ cd $HADOOP_HOME/sbin
$ start-all.sh

在Hadoop集群的添加新DataNode

下面给出遵循增加新节点Hadoop集群的步骤。

网络

添加新节点用一些适当的网络配置Hadoop集群。假设下面的网络配置。

对于新的节点配置：


IP address : 192.168.1.103 
netmask : 255.255.255.0
hostname : slave3.in

添加用户和SSH访问

添加用户

在一个新的节点，使用以下命令添加“hadoopuser”用户并设置密码为“hadoop123”。


useradd hadoop
passwd hadoop

从主机连接到新的从属机设置密码。

在主机执行以下


mkdir -p $HOME/.ssh 
chmod 700 $HOME/.ssh 
ssh-keygen -t rsa -P '' -f $HOME/.ssh/id_rsa 
cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys 
chmod 644 $HOME/.ssh/authorized_keys
Copy the public key to new slave node in hadoop user $HOME directory
scp $HOME/.ssh/id_rsa.pub hadoop@192.168.1.103:/home/hadoop/

在从机以下执行

登录到Hadoop。如果不是则登录到 Hadoop 用户。


su hadoop ssh -X hadoop@192.168.1.103

复制公钥进入文件的内容 "$HOME/.ssh/authorized_keys" 并通过执行以下命令改变为相同的权限。


cd $HOME
mkdir -p $HOME/.ssh 
chmod 700 $HOME/.ssh
cat id_rsa.pub >>$HOME/.ssh/authorized_keys 
chmod 644 $HOME/.ssh/authorized_keys

检查SSH登录从主计算机。现在检查是否可以ssh到新的节点，从主机登陆不需要密码。


ssh hadoop@192.168.1.103 or hadoop@slave3

新节点的主机名设置

设置主机名的文件 /etc/sysconfig/network


On new slave3 machine
NETWORKING=yes 
HOSTNAME=slave3.in

为了使更改生效，请重新启动计算机或运行hostname命令，以新机与相应的主机名（重启是一个不错的选择）。

在slave3节点机：

主机名 slave3. 在更新 /etc/ 集群具有以下行的所有机器从机：


192.168.1.102 slave3.in slave3

现在尝试 ping 计算机主机名来检查它是否解析为IP。

在新的节点机：


ping master.in

启动新节点的DataNode

启动数据节点守护进程手动使用$HADOOP_HOME/bin/hadoop-daemon.sh脚本。它会自动联系主（NameNode），并加入集群。我们还应该将新节点添加到主服务器在conf/从机文件。基于脚本的命令将识别新节点。

登录新节点


su hadoop or ssh -X hadoop@192.168.1.103

启动HDFS新添加从节点，通过使用以下命令


./bin/hadoop-daemon.sh start datanode

检查输出一个新的节点上使用jps 命令。它看起来如下。


$ jps
7141 DataNode
10312 Jps

从Hadoop集群中删除DataNode

我们可以从正在运行一个集群中删除一个节点，在运行时，不会丢失任何数据。 HDFS提供了一个退役的功能，它可以确保删除节点安全地执行。要使用它，按照下列步骤，如下所示：

第1步：登录到主机

登录主机用户安装了Hadoop。


$ su hadoop

第2步：修改集群配置

排除文件必须在启动群集之前进行配置。添加一个名为键 dfs.hosts.exclude到$HADOOP_HOME/etc/hadoop/hdfs-site.xml文件。与此键关联的值提供了完整路径的NameNode是本地文件系统上的文件，其中包含未允许连接到HDFS的机器列表。

例如，添加这些行到etc/hadoop/hdfs-site.xml文件。


<property> 
   <name>dfs.hosts.exclude</name> 
   <value>/home/hadoop/hadoop-1.2.1/hdfs_exclude.txt</value> 
   <description>DFS exclude</description> 
</property>

第3步：确定主机可淘汰

每台机器要停止使用应该使用每一行标识添加到在一个域名的文件：hdfs_exclude.txt。这将阻止它们连接到NameNode。在“/home /hadoop/hadoop-1.2.1/hdfs_exclude.txt”文件的内容如下图所示，如果想删除DataNode2。


slave2.in

第4步：强制配置重装

运行命令“$ HADOOP_HOME/ bin中/ Hadoop的dfsadmin-refreshNodes”不带引号。


$ $HADOOP_HOME/bin/hadoop dfsadmin -refreshNodes

这将迫使NameNode会重新读取它的配置，其中包括最近更新的“排除”的文件。它将停止使用该节点在一段时间，让时间为每个节点的块被复制到被安排要保持活跃的机器。

在slave2.in，检查JPS命令的输出。一段时间后会看到DataNode过程是自动关机。

第5步：关闭节点

停止使用处理结束之后，停止使用硬件可以安全地关闭，进行维修。运行报告命令dfsadmin检查退役的状态。以下命令将描述退役节点的状态和所连接的节点集群。


$ $HADOOP_HOME/bin/hadoop dfsadmin -report

第6步：编辑文件再次排除

一旦机已经停止使用，他们可以从'不包括'文件被删除。运行“$HADOOP_HOME/bin/hadoop dfsadmin -refreshNodes”再次将读取文件排除放回NameNode;允许DataNodes重新加入群集，维护工作已经完成，或额外的容量，需要集群中再次等后

特别注意：如果上述过程向TaskTracker处理节点上之后仍在运行，它需要关闭。一种方式是在上述步骤确实断开的机器。主机将自动识别过程声明为无效。没有必要遵循相同的过程用于删除TaskTracker，因为它相比于DataNode不是关键。DataNode包含要安全地删除没有任何数据丢失。

TaskTracker可以在任何时间点运行以下命令关机。


$ $HADOOP_HOME/bin/hadoop-daemon.sh stop tasktracker $HADOOP_HOME/bin/hadoop-daemon.sh start tasktracker