大数据系列01：大数据离线计算平台hadoop集群搭建和本地环境配置实践

　　最近出于兴趣开始研究大数据领域技术，照例从离线计算开始，作为菜鸟一枚，将学习实践过程记录下来，抛砖引玉，大牛请轻拍。鸣谢大数据专家段海涛老师，看他的视频学习的。

1 环境准备：

1.1 安装linux操作系统

centos安装好之后，安装ssh、scp服务，关闭防火墙

1 　　　[root@mini1 ~]$ yum install openssh-server
2 　　　[root@mini1 ~]$ yum install openssh-client
3 　　　[root@mini1 ~]$ service iptables stop
4 　　　[root@mini1 ~]$ chkconfig iptables off

1.2 安装jdk，配置环境变量

1 [root@mini1 ~]$ tar –zxvf jdk-8u111-linux-x64.tar.gz –C /usr/local/java
2 [root@mini1 ~]$ vi /etc/profile

1 export JAVA_HOME=/usr/local/java/jdk1.8.0_111
2 export PATH=$PATH:$JAVA_HOME/bin

1.3 配置集群中所有机器的主机别名

1 [root@mini1 ~]$vim /etc/hosts

1 127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
2 ::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
3 192.168.1.142   mini1
4 192.168.1.143   mini2
5 192.168.1.144   mini3
6 192.168.1.145   mini4

1.4 配置名称节点机器到数据节点机器的免密登录。

1 [root@mini1 ~]$ ssh-keygen   　　 #提示时，直接回车即可
2 [root@mini1 ~]$ ssh-copy-id mini2/mini3/mini4 #
3 [root@mini1 ~]$ ssh mini2        #测试是否配置成功

　　将用来做namnode机器上配置好主机别名的hosts文件【1.3的操作】下发到集群的其他机器

1 [root@mini1 ~]$ scp /etc/hosts mini2:/etc/
2 [root@mini1 ~]$ scp /etc/hosts mini3:/etc/
3 [root@mini1 ~]$ scp /etc/hosts mini4:/etc/

1.5 创建服务器的hadoop业务账户

　　我们单独建一个用户来进行操作hadoop集群安装配置管理工作，用户名和命名均设置为：hadoop

1 [root@mini1 ~]# useradd hadoop
2 [root@mini1 ~]# passwd hadoop

1.6 给业务账号配置高级操作权限

　　在用来安装名称节点的机器上给Hadoop用户配置操作权限（省去经常切换root用户的麻烦，需在root用户下操）

1 [root@mini1 ~]$ vi /etc/sudoers
2 hadoop   ALL=(ALL)   ALL

1.7 使用业务账号登录

　　使用hadoop账户登录要安装集群的机器

1.8 从名称节点机器下发sudoers权限文件到集群

　　将当前（名称节点）机器上配好hadoop账户权限的sudoers文件下发到其他机器上

1 [root@mini1 hadoop]# scp /etc/sudoers mini2:/etc
2 [root@mini1 hadoop]# scp /etc/sudoers mini3:/etc
3 [root@mini1 hadoop]# scp /etc/sudoers mini4:/etc

2 安装和配置hadoop

2.1 上传hadoopjar包

　　上传hadoopjar包到一台名称节点服务器上进行安装配置。[安装配置好之后下发到集群中的其他数据节点]

2.2 创建安装目录并解压安装包

　　创建一个apps文件夹用来今后安装hadoop相关的软件，并将刚上传的hadoop包解压到该文件夹

1 [hadoop@mini1 ~]$ mkdir apps
2 [hadoop@mini1 ~]$ tar -zxvf cenos-6.5-hadoop-2.6.4.tar.gz -C apps/

2.3 编辑hadoop相关配置文件

　　编辑相关配置文件（相关配置参数可以配置到在以下任意的一个配置文件中，只是为了方便区分，一一进行配置）：配置参数参考：http://hadoop.apache.org/docs/r0.23.11/hadoop-project-dist/hadoop-common

　　core-site.xml：公共的核心的配置文件

　　hadoop-env.sh：hadoop运行时配置文件

　　hdfs-site.xml：hdfs配置文件

　　mapred-site.xml.template：mapreduce运行时配置文件

　　yarn-site.xml：yarn配置文件

2.3.1 hadoop-env.sh

配置java环境变量（jdk所在目录）

1 [hadoop@mini1 hadoop]$ vi hadoop-env.sh

2.3.2 core-site.xml

1 [hadoop@mini1 hadoop]$ vi core-site.xml

 1 <!-- Put site-specific property overrides in this file. -->
 2 
 3 <configuration>
 4 
 5  
 6 
 7 <!-- 配置集群名称节点位置 -->
 8 
 9 <property>
10 
11 <name>fs.defaultFS</name>
12 
13 <value>hdfs://mini1:9000</value>
14 
15 </property>
16 
17  
18 
19 <!-- 配置hadoop运行数据存放目录 -->
20 
21 <property>
22 
23 <name>hadopp.tem.dir</name>
24 
25 <value>/home/hadoop/hdpdata</value>
26 
27 </property>
28 
29  
30 
31 </configuration>

2.3.3 hdfs-site.xml

　　hdfs-site.xml文件的配置都有默认值，无特殊情况可以不进行配置，此处仅作练习

1  [hadoop@mini1 hadoop]$ vi hdfs-site.xml

 1 <configuration>
 2 
 3  
 4 
 5 <!—副本数量，默认为3 -->
 6 
 7 <property>
 8 
 9 <name>dfs.replication</name>
10 
11 <value>2</value>
12 
13 </property>
14 
15  
16 
17 </configuration>

2.3.4 mapred-site.xml.template

　　配置完之后更改文件名，去掉后面的template

1  [hadoop@mini1 hadoop]$ vi mapred-site.xml.template

 1 <configuration>
 2 
 3  
 4 
 5 <!—配置mapreduce资源调度平台类型 -->
 6 
 7 <property>
 8 
 9 <name>mapreduce.framework.name</name>
10 
11 <value>yarn</value>
12 
13 </property>
14 
15  
16 
17 </configuration>

1 [hadoop@mini1 hadoop]$ mv mapred-site.xml.template mapred-site.xml

2.3.5 yarn-site.xml

1 [hadoop@mini1 hadoop]$ vi yarn-site.xml

 1 <configuration>
 2 
 3 <!— 配置名称节点主机名 -->
 4 
 5 <property>
 6 
 7 <name>yarn.resourcemanager.hostname</name>
 8 
 9 <value>mini1</value>
10 
11 </property>
12 
13  
14 
15 <property>
16 
17 <name>yarn.nodemanager.aux-services</name>
18 
19 <value>mapreduce_shuffle</value>
20 
21 </property>
22 
23  
24 
25 </configuration>

3 下发集群

3.1 将按照配置好的hadoop下发到数据节点机器上

　　名称节点的的hadoop安装配置好之后，将hadoop下发到集群中的其他机器

1 [hadoop@mini1 ~]$ scp -r apps/ mini2:/home/hadoop/
2 [hadoop@mini1 ~]$ scp -r apps/ mini3:/home/hadoop/
3 [hadoop@mini1 ~]$ scp -r apps/ mini4:/home/hadoop/

3.2 配置hadoop环境变量并将配置文件下发到节点机器上并刷新

　　在名称节点机器上配置好已装好的hadoop的环境变量，并将环境变量配置文件下发到集群中的其他机器，并刷新配置文件。

1 [hadoop@mini1 hadoop-2.6.4]$ sudo vi /etc/profile

1 export JAVA_HOME=/usr/local/java/jdk1.8.0_111
2 export HADOOP_HOME=/home/hadoop/apps/hadoop-2.6.4
3 export ZOOKEEPER_HOME=/usr/local/zookeeper-3.4.5
4 export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/root/bin:/bin:/usr/local/java/jdk1.8.0_111/bin:$ZOOKEEPER_HOME/bin

1 [hadoop@mini1 hadoop-2.6.4]$ sudo scp /etc/profile mini2:/etc/
2 [hadoop@mini1 hadoop-2.6.4]$ sudo scp /etc/profile mini3:/etc/
3 [hadoop@mini1 hadoop-2.6.4]$ sudo scp /etc/profile mini4:/etc/

　　在其他机器上刷新系统配置文件

1 [hadoop@mini1 hadoop-2.6.4]$ source /etc/profile

4 启动hadoop服务机器

4.1 启动前格式化hdsf文件系统

　　格式化名称节点机器上的hdfs系统：

1 [hadoop@mini1 ~]$ hadoop namenode –format

出现：“Storage directory /tmp/hadoop-hadoop/dfs/name has been successfully formatted.”则表示格式化成功

4.2 启动名称节点（namenode）上的服务

　　发现容量为空，数据节点的数量为0.

　　启动命令：

1 [hadoop@mini1 sbin]$ cd /home/hadoop/apps/hadoop-2.6.4/sbin   #配置了hadoop环境变量本步可以省略
2 [hadoop@mini1 sbin]$ hadoop-daemon.sh start namenode

　　查看启动状态命令：

1 [hadoop@mini1 ~]$ jps

4.3 启动数据节点（datanode）上的服务并查看状态

1 [hadoop @mini2/3/4 ~]# hadoop-daemon.sh start datanode
2 [hadoop@mini2/3/4 ~]$ jps

4.4 从web服务中查看hadoop集群状态

　　打开浏览器访问：http://mini1:50070，查看集群状态和节点分布

5 配置批量操作脚本

　　在hadoop的sbin目录下，有很多批量操作（启动或者停止）的脚本，其本质是循环调用“ssh+主机+命令”的方式进行操作，因此需要在/home/hadoop/apps/hadoop-2.6.4/etc/hadoop目录下的slaves文件配置数据节点的主机名。

5.1 查看命令脚本目录

1 [hadoop@mini1 sbin]$ cd /home/hadoop/apps/hadoop-2.6.4/sbin

5.2 在slaves文件配置数据节点主机

1 [hadoop@mini1 sbin]$ /home/hadoop/apps/hadoop-2.6.4/etc/hadoop
2 [hadoop@mini1 hadoop]$ vi slaves

　　初始只有localhost

　　添加集群数据节点主机，方便脚本调用

5.3 测试批量操作

停止所有节点hdfs服务

1 [hadoop@mini1 hadoop]$ stop-dfs.sh