Hadoop完全分布式集群搭建
使用四台Linux机器搭建集群规划：
192.168.230.10 192.168.230.11 192.168.230.12 192.168.230.14
NameNode
DataNode DataNode DataNode
SecondaryNameNode
1、检查防火墙是否关闭、/etc/hosts主机名与ip是否映射、能否联网、是否安装ssh、集群的时间是否一致(通过时间生成block id)
在node1/192.168.230.10上进行操作：
1.1、更改/etc/目录下的hosts文件，添加集群主机和ip地址的映射
[root@node1 ~]# vi /etc/hosts
192.168.230.10 node1
192.168.230.11 node2
192.168.230.12 node3
192.168.230.14 node5
1.2、将node1的/etc/目录下的hosts文件发送给node2、node3、node5的/etc/目录下，覆盖原hosts文件
[root@node1 ~]# scp /etc/hosts root@node2:/etc/
[root@node1 ~]# scp /etc/hosts root@node3:/etc/
[root@node1 ~]# scp /etc/hosts root@node5:/etc/
1.3、设置ssh免秘钥登录
操作四台机器node1、node2、node3、node5分别生成秘钥目录
[root@node1 ~]# ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
[root@node2 ~]# ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
[root@node3 ~]# ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
[root@node5 ~]# ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
1.3.1、在node1上进行免密码登录就用的是私钥，登录别的机器比如node2、node3、node5则用的是公钥
把公钥文件放入认证文件中去
[root@node1 ~]$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
[root@node1 ~]$ ls -a
. .. .bash_history .bash_logout .bash_profile .bashrc .ssh
第一次登录需要密码
ssh node1
选择node1作为执行脚本的机器
将公钥认证文件放到node2中去
ssh node2
1.3.2、将node1的公钥发送给node2、node3、node5的~/opt/目录中
[root@node1 ~]# scp ~/.ssh/id_dsa.pub root@node2:~/opt/
root@node2's password:
id_dsa.pub 100% 600 0.6KB/s 00:00
[root@node1 ~]# scp ~/.ssh/id_dsa.pub root@node3:~/opt/
root@node3's password:
Permission denied, please try again.
root@node3's password:
id_dsa.pub 100% 600 0.6KB/s 00:00
[root@node1 ~]# scp ~/.ssh/id_dsa.pub root@node5:~/opt/
root@node5's password:
id_dsa.pub
1.3.3、node2、node3、node5将node1的公钥放到认证文件中去
[root@node2 ~]$ cat ~/opt/id_dsa.pub >> ~/.ssh/authorized_keys
[root@node3 ~]$ cat ~/opt/id_dsa.pub >> ~/.ssh/authorized_keys
[root@node5 ~]$ cat ~/opt/id_dsa.pub >> ~/.ssh/authorized_keys
1.3.4、node1免秘钥登录node2、node3、node5
[root@node1 ~]# ssh node2
[root@node1 ~]# ssh node3
[root@node1 ~]# ssh node5
1.4、同步集群时间
[root@node1 ~]# yum install ntpdate
[root@node1 ~]# ntpdate -u ntp.sjtu.edu.cn
1.5、在node1、node2、node3、node5上检查是否有安装jdk
[root@node1 ~]# javac -version
javac 1.7.0_79
[root@node1 ~]# echo $JAVA_HOME
/usr/java/jdk1.7.0_79
1.6、上传Hadoop压缩文件到node1主机指定目录上
1.7、解压hadoop压缩文件
2、在node1(NameNode)上配置/opt/modules/hadoop-2.5.1/etc/hadoop/目录下的hadoop-env.sh文件
export JAVA_HOME=/usr/java/jdk1.7.0_79
export HADOOP_PREFIX=/opt/modules/hadoop-2.5.1
3、在node1(NameNode)上配置/opt/modules/hadoop-2.5.1/etc/hadoop/目录下的core-site.xml文件
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://node1:9000</value>
</property>
<!-- 指定hadoop的临时目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/modules/hadoop-2.5.1</value>
</property>
</configuration>
4、在node1(NameNode)上配置/opt/modules/hadoop-2.5.1/etc/hadoop/目录下的hdfs-site.sh文件
<configuration>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>node5:50090</value>
</property>
<property>
<name>dfs.namenode.secondary.https-address</name>
<value>node5:50091</value>
</property>
</configuration>
5、在node1(NameNode)上配置/opt/modules/hadoop-2.5.1/etc/hadoop/目录下的slaves文件
slaves中配的是datanode的主机名
node2
node3
node5
6、在node1(NameNode)上配置/opt/modules/hadoop-2.5.1/etc/hadoop/目录下的masters文件
masters中配的是secondarynamenode的主机名
node5
6、配置hadoop的环境变量
[root@node1 ~]# vi ~/.bash_profile
export HADOOP_HOME=/opt/modules/hadoop-2.5.1
export PATH=$PATH:$HADOOP_HOME/bin
6.1、将~目录下的.bash_profile配置环境变量的文件发送给node2、node3、node5
[root@node1 ~]# scp ~/.bash_profile root@node2:~/
[root@node1 ~]# scp ~/.bash_profile root@node3:~/
[root@node1 ~]# scp ~/.bash_profile root@node5:~/
使配置文件生效
[root@node1 ~]# source ~/.bash_profile
[root@node2 ~]# source ~/.bash_profile
[root@node3 ~]# source ~/.bash_profile
[root@node5 ~]# source ~/.bash_profile
7、将node1主机/opt/modules/hadoop-2.5.1目录下的内容发送给node2、node3、node5主机的/opt/modules/hadoop-2.5.1目录下
[root@node1 ~]# scp -r /opt/modules/hadoop-2.5.1 root@node2:/opt/modules/hadoop-2.5.1
[root@node1 ~]# scp -r /opt/modules/hadoop-2.5.1 root@node3:/opt/modules/hadoop-2.5.1
[root@node1 ~]# scp -r /opt/modules/hadoop-2.5.1 root@node5:/opt/modules/hadoop-2.5.1
8、在node1[192.168.230.10]主机下初始化namenode
[root@node1 hadoop-2.5.1]# ./bin/hdfs namenode -format
9、启动HDFS
[root@node1 hadoop-2.5.1]# ./sbin/start-dfs.sh
10、访问namenode的web监控
node1:50070
在地址栏访问NameNode的WebUI：
http://192.168.230.10:50070/
11、访问secondarynamenode的web监控
node5:50090
在地址栏访问SecondaryNameNode的WebUI：
http://192.168.230.14:50090/
hdfs上传文件
bin/hdfs -mkdir /usr
bin/hdfs -put XXXX /usr
bin/hdfs -ls XXXX /usr
12、查看日志
查找.log结尾的文件
cd /opt/modules/hadoop-2.5.1/log
head -10
13、看端口
netstat -ntpl |grep java
HDFS命令：
在hadoop-2.5.1目录下
hdfs
hdfs admin
hdfs dfs