CentOS上安装Hadoop2.7，添加数据节点，运行wordcount

安装hadoop的步骤比较繁琐，但是并不难。

在CentOS上安装Hadoop2.7

1. 安装 CentOS，注：图形界面并无必要

2. 在CentOS里设置静态IP，手工编辑如下4个文件

/etc/hosts
/etc/sysconfig/netwok
/etc/hostname
/etc/sysconfig/network-scripts/ifcfg-eno1677773

3. 关闭防火墙

Close firewalld
systemctl stop firewalld.service #停止firewall
systemctl disable firewalld.service #禁止firewall开机启动

4. 设置ssh无密登录

l 去掉/etc/ssh/sshd_config其中2行的注释
#RSAAuthentication yes
#PubkeyAuthentication yes

l 输入命令，ssh-keygen -t rsa，生成key，都不输入密码，一直回车，/root就会生成.ssh文件夹，每台服务器都要设置

l 合并公钥到authorized_keys文件，在Master服务器，进入/root/.ssh目录，通过SSH命令合并，
cat id_rsa.pub>> authorized_keys

l 把Master服务器的authorized_keys、known_hosts复制到Slave服务器的/root/.ssh目录

5. 为提高软件下载速度，可以把软件安装库转向阿里云

6. Install net-tools, yum, wget, vim

7. Install Java

Yum list java*
[root@beta-new1 www]# yum -y install java-1.8.0-openjdk.x86_64

8. Configure Java

[root@localhost ~]# which java

/usr/bin/java

[root@localhost ~]# ls -lrt /usr/bin/java

lrwxrwxrwx. 1 root root 22 Aug 17 15:12 /usr/bin/java -> /etc/alternatives/java

[root@localhost ~]# ls -lrt /etc/alternatives/java

lrwxrwxrwx. 1 root root 46 Aug 17 15:12 /etc/alternatives/java -> /usr/lib/jvm/jre-1.7.0-openjdk.x86_64/bin/java

9. 从官网下载Hadoop “hadoop-2.7.0.tar.gz”放到/home/hadoop目录下

10. 输入命令解压

tar -xzvf hadoop-2.7.0.tar.gz

11. 在/home/hadoop目录下创建数据存放的文件夹，tmp、hdfs、hdfs/data、hdfs/name

12. 修改Hadoop设置

／Hadoop2.7.3／etc／Hadoop／hadoop-env.sh

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.131-3.b12.e17_3.x86_64

／Hadoop2.7.3／etc／Hadoop／slaves
／Hadoop2.7.3／etc／Hadoop／mapred-site.xml
／Hadoop2.7.3／etc／Hadoop／hdfs-site.xml
／Hadoop2.7.3／etc／Hadoop／core-site.xml

13. 在Master服务器启动hadoop

初始化

bin/hdfs namenode –format

l 全部启动sbin/start-all.sh，也可以分开sbin/start-dfs.sh、sbin/start-yarn.sh

l 停止Hadoop服务

l sbin/stop-all.sh

l 输入命令jps，可以看到节点相关信息

14. 访问Hadoop

浏览器打开http://192.168.0.182:8088/
浏览器打开http://192.168.0.182:50070/

添加新数据节点步骤

安装CentOS，设置静态IP（4个配置文件）
加入SSH免密码登录
SCP把Hadoop文件复制到新机器
修改／Hadoop2.7.3／etc／Hadoop／slaves
重新初始化
重新启动hadoop服务

运行WordCount程序

1、在HDFS中创建目录input

hadoop fs -mkdir /input

2、将本地的 PESXXX.txt上传到input中

hadoop fs -put PESXXX.txt /input

查看input目录下的文件

hadoop fs -ls /input

查看PESXXX.txt文件内容

hadoop fs -cat /input/ PESXXX.txt

3、运行程序

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount /input /output/

4、查看结果

查看输出目录hadoop fs -ls /output

查看输出结果hadoop fs -cat /output/part-r-0000

5、可在浏览器查看任务

http://192.168.1.15:8088

http://192.168.1.15:50070