1. 首页
  2. 安装与配置

详解Ubuntu16.04下Hadoop 2.7.3的安装与配置

发布于 2017-07-22 04:18:08 | 190 次阅读 | 评论: 0 | 来源: 网友投递

这里有新鲜出炉的Hadoop教程，程序狗速度看过来！

Hadoop分布式系统

一个分布式系统基础架构，由Apache基金会所开发。 用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。

本篇文章主要介绍了详解Ubuntu16.04下Hadoop 2.7.3的安装与配置，具有一定的参考价值，有兴趣的可以了解一下。

一、Java环境搭建

（1）下载JDK并解压（当前操作系统为Ubuntu16.04，jdk版本为jdk-8u111-Linux-x64.tar.gz）

新建/usr/java目录，切换到jdk-8u111-linux-x64.tar.gz所在目录，将这个文件解压缩到/usr/java目录下。


tar -zxvf jdk-8u101-linux-x64.tar.gz -C /usr/java/

（2）设置环境变量

修改.bashrc，在最后一行写入下列内容。


sudo vim ~/.bashrc 

export JAVA_HOME=/usr/java/jdk1.8.0_111 
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 
export PATH=$JAVA_HOME/bin:$PATH

运行如下命令使环境变量生效。


source ~/.bashrc

 打开profile文件，插入java环境配置节。


sudo vim /etc/profile 

export JAVA_HOME=/usr/java/jdk1.8.0_111 
export JAVA_BIN=$JAVA_HOME/bin 
export JAVA_LIB=$JAVA_HOME/lib 
export CLASSPATH=.:$JAVA_LIB/tools.jar:$JAVA_LIB/dt.jar 
export PATH=$JAVA_HOME/bin:$PATH

打开environment 文件，追加jdk目录和jdk下的lib的目录，如下所示。


sudo vim /etc/environment 



PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/usr/java/jdk1.8.0_111/lib:/usr/java/jdk1.8.0_111" 
 

使配置生效


source /etc/environment

验证java环境是否配置成功


java -version

二、安装ssh-server并实现免密码登录

（1）下载ssh-server


sudo apt-get install openssh-server

（2）启动ssh


sudo /etc/init.d/ssh start

（3）查看ssh服务是否启动，如果有显示相关ssh字样则表示成功。


ps -ef|grep ssh

（4）设置免密码登录

使用如下命令，一直回车，直到生成了rsa。


ssh-keygen -t rsa

导入authorized_keys


cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

 测试是否免密码登录localhost


ssh localhost

关闭防火墙


ufw disable

三、安装Hadoop单机模式和伪分布模式。

（1）下载hadoop-2.7.3.tar.gz，解压到/usr/local（单机模式搭建）。


sudo tar zxvf hadoop-2.7.3.tar.gz -C /usr/local

 切换到/usr/local下，将hadoop-2.7.3重命名为hadoop，并给/usr/local/hadoop设置访问权限。


cd /usr/local 
sudo mv hadoop-2.7.3 hadoop 
sudo chmod 777 /usr/local/hadoop

（2）配置.bashrc文件


sudo vim ~/.bashrc

（如果没有安装vim，请用 sudo apt install vim 安装。）

在文件末尾追加下面内容，然后保存。


#HADOOP VARIABLES START 
export JAVA_HOME=/usr/java/jdk1.8.0_111 
export HADOOP_INSTALL=/usr/local/hadoop 
export PATH=$PATH:$HADOOP_INSTALL/bin 
export PATH=$PATH:$HADOOP_INSTALL/sbin 
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL 
export HADOOP_COMMON_HOME=$HADOOP_INSTALL 
export HADOOP_HDFS_HOME=$HADOOP_INSTALL 
export YARN_HOME=$HADOOP_INSTALL 
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native 
export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib" 
#HADOOP VARIABLES END

执行下面命令，使添加的环境变量生效：


source ~/.bashrc

（3）hadoop配置 (伪分布模式搭建)

配置hadoop-env.sh


sudo vim /usr/local/hadoop/etc/hadoop/hadoop-env.sh 

# The java implementation to use. 
export JAVA_HOME=/usr/java/jdk1.8.0_111 
export HADOOP=/usr/local/hadoop 
export PATH=$PATH:/usr/local/hadoop/bin

 配置yarn-env.sh


sudo vim /usr/local/hadoop/etc/hadoop/yarn-env.sh 

# export JAVA_HOME=/home/y/libexec/jdk1.6.0/ 
JAVA_HOME=/usr/java/jdk1.8.0_111

配置core-site.xml，在home目录下创建 /home/lyh/hadoop_tmp目录，然后在core-site.xml中添加下列内容。


sudo mkdir /home/lyh/hadoop_tmp 

sudo vim /usr/local/hadoop/etc/hadoop/core-site.xml 

<configuration> 
    <!-- 指定HDFS老大（namenode）的通信地址 --> 
    <property> 
        <name>fs.defaultFS</name> 
        <value>hdfs://localhost:9000</value> 
    </property> 
    <!-- 指定hadoop运行时产生文件的存储目录 --> 
    <property> 
        <name>hadoop.tmp.dir</name> 
        <value>/home/lyh/hadoop_tmp</value> 
    </property> 
</configuration>

配置hdfs-site.xml


sudo vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml 

<configuration> 
    <!-- 指定HDFS副本的数量 --> 
    <property> 
        <name>dfs.replication</name> 
        <value>1</value> 
    </property> 
</configuration>

配置yarn-site.xml


sudo vim /usr/local/hadoop/etc/hadoop/yarn-site.xml 


<configuration> 
<!-- Site specific YARN configuration properties --> 
    <property> 
        <name>yarn.nodemanager.aux-services</name> 
        <value>mapreduce_shuffle</value> 
    </property> 
    <property> 
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> 
        <value>org.apache.hadoop.mapred.ShuffleHandler</value> 
    </property> 
    <property> 
        <name>yarn.resourcemanager.address</name> 
        <value>127.0.0.1:8032</value> 
    </property> 
    <property> 
        <name>yarn.resourcemanager.scheduler.address</name> 
        <value>127.0.0.1:8030</value> 
    </property> 
    <property> 
        <name>yarn.resourcemanager.resource-tracker.address</name> 
        <value>127.0.0.1:8031</value> 
    </property> 
</configuration>

（4）关机重启系统。

四、测试Hadoop是否安装并配置成功。

（1）验证Hadoop单机模式安装完成


hadoop version

能够显示Hadoop的版本号即可说明单机模式已经配置完成。

（2）启动hdfs使用为分布模式。

格式化namenode


hdfs namenode -format

有 "……has been successfully formatted" 等字样出现即说明格式化成功。注意：每次格式化都会生成一个namenode对应的ID，多次格式化之后，如果不改变datanode对应的ID号，运行wordcount向input中上传文件时会失败。

启动hdfs


start-all.sh

显示进程

jps 

在浏览器中输入http://localhost:50070/，出现如下页面

输入 http://localhost:8088/，出现如下页面

则说明伪分布安装配置成功了。

停止hdfs


stop-all.sh

五、运行wordcount

（1）启动hdfs。


start-all.sh

（2）查看hdfs底下包含的文件目录


hadoop dfs -ls /

如果是第一次运行hdfs，则什么都不会显示。

（3）在hdfs中创建一个文件目录input，将/usr/local/hadoop/README.txt上传至input中。


hdfs dfs -mkdir /input 
hadoop fs -put /usr/local/hadoop/README.txt /input


（4）执行以下命令运行wordcount，并将结果输出到output中。



hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /input /output 

出现类似上图的页面说明wordcount运行成功。注意：请将图中红色线框中的内容替换为自己的hadoop-mapreduce-examples-2.7.3.jar文件的路径信息。

（5）执行成功后output 目录底下会生成两个文件 _SUCCESS 成功标志的文件，里面没有内容。 一个是 part-r-00000 ，通过以下命令查看执行的结果，如下图。


hadoop fs -cat /output/part-r-00000

附：hdfs常用命令


hadoop fs -mkdir /tmp/input       在HDFS上新建文件夹 
hadoop fs -put input1.txt /tmp/input 把本地文件input1.txt传到HDFS的/tmp/input目录下 
hadoop fs -get input1.txt /tmp/input/input1.txt 把HDFS文件拉到本地 
hadoop fs -ls /tmp/output         列出HDFS的某目录 
hadoop fs -cat /tmp/ouput/output1.txt 查看HDFS上的文件 
hadoop fs -rmr /home/less/hadoop/tmp/output 删除HDFS上的目录 
hadoop dfsadmin -report 查看HDFS状态，比如有哪些datanode，每个datanode的情况 
hadoop dfsadmin -safemode leave 离开安全模式 
hadoop dfsadmin -safemode enter 进入安全模式

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持phperz。



最新网友评论  共有(0)条评论 发布评论 返回顶部
推荐阅读
  • 终极炫富——2016 年 iOS 开发者收入调查报告
  • 年度大片：Stack Overflow 2017 开发者调查报告发布！
  • 开发者需要大学学位吗？
  • 程序员多大年纪算高龄，届时该何去何从？
  • 2017 年高薪编程语言排行榜，你的语言上榜没？
  • 各编程语言开发者最常使用的按键，中了没?
  • 伤不起的三十岁，干不动的程序员要何去何从？
  • 2016年中国加班最狠IT公司排行
  • 一句话"面试"漫画：黑了苹果、谷歌、三星
  • 拿代码量算 KPI ……跟程序员们来这套？
  • 程序员遇到 Bug 时的 30 个反应，你是哪一种？
  • 2016年收入最高的5个编程语言 Java和C没在前五?
  • 为什么很少见人傻钱多的程序员炫富？
  • 阿里月薪两万是什么体验？
  • 代码缩进时 程序员更喜欢空格键还是Tab键？
    • 最新资讯
  • Python获取系统所有进程PID及进程名称的方法示例
  • Python简单获取网卡名称及其IP地址的方法【基于psutil模块】
  • Python实现的根据IP地址计算子网掩码位数功能示例
  • 好的Python培训机构应该具备哪些条件
  • 详解Pytorch 使用Pytorch拟合多项式(多项式回归)
  • Python加载带有注释的Json文件实例
  • 对python的文件内注释 help注释方法
  • Python实现判断一行代码是否为注释的方法
  • Oracle数据库表中字段顺序的修改方法
  • ASP.NET MVC 4使用PagedList.Mvc分页的实现代码
  • Oracle实例启动时报错：ORA-32004的解决方法
  • 解读ASP.NET 5 & MVC6系列教程（7）：依赖注入
  • 详解IDEA用maven创建springMVC项目和配置
  • ASP.NET MVC5网站开发之展示层架构（五）
  • SpringBoot创建maven多模块项目实战代码
    • 后端技术
    前端技术
    数据库
    热门框架
    常用IDE
    其他
    Copyright © 2007-2017 PHPERZ.COM All Rights Reserved   冀ICP备14009818号  版权声明  广告服务