Hadoop伪分布式安装
发布于 2017-03-22 01:54:12 | 196 次阅读 | 评论: 0 | 来源: PHPERZ
Hadoop分布式系统
一个分布式系统基础架构，由Apache基金会所开发。
用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。
首先在虚拟机VMware下安装linux系统CentOS，安装基本上是一键式操作，利用Xshell连接，输入主机名，然后点击左侧导航栏的用户身份验证，输入用户名密码即可。
1.安装过程中所用到的基本命令有：
cat：是查看某个文件的内容
vi：编辑某个文件输入i进入插入模式编辑，按esc退出插入模式
:wq 保存退出
:q!不保存退出
su：切换到root用户
exit：退出root用户
pwd：查看当前目录
cd：切换目录
tar -zxvf 文件名：解压文件
2.[lang@centos-lang ~]$
lang是用户名称
centos-lang是主机名称
~就是当前登录的用户的家目录
3.安装jdk
3.1 上传解压jdk，利用Xftp上传文件到linux系统，我在这里建立software文件夹，并上传到这里
3.2 修改环境变量
修改/etc/profile配置文件，在末尾添加
JAVA_HOME=/home/lang/software/jdk1.8.0_121
export PAHT=$PATH:$JAVA_HOME/bin
如图：
其中可以进入到jdk根目录下查看路径，如图：
3.3使profile文件生效，安装完成
3.4 查看安装的jdk
4.hadoop伪分布式安装
4.1 上传解压，步骤和上传解压jdk类似
4.2 修改$HADOOP_HOME/etc/hadoop/core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://centos-lang:9000</value>
</property>
</configuration>
4.3 修改$HADOOP_HOME/etc/hadoop/hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
4.4. 修改$HADOOP_HOME/etc/hadoop/hadoop-env.sh
export JAVA_HOME=/home/lang/software/jdk1.8.0_121
4.5. 把文件系统进行格式化（只能操作一次）
$HADOOP_HOME/bin/hdfs namenode -format
如果要第二次格式化，切换到/tmp里，执行rm -rf * 如图，然后在进行格式化
4.6. 修改hosts文件
切换到root用户，进入到hosts文件编辑，添加ip地址以及主机名
4.7. 启动HDFS
$HADOOP_HOME/sbin/start-dfs.sh
如果没有进行SSH免密登录，需要输入三次密码即可
SSH免密登录
配置的时候，需要生成两个文件公钥和私钥，私钥自己保存，把公钥给对方。
生成公钥和私钥：ssh-keygen
把公钥给信任主机：ssh-copy-id 主机名
4.8 打开jps查看进程，启动成功说明配置成功
