简介:
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。
Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。
Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算。
分布式架构的常见概念:
1.集群
小饭店原来是一个厨师，切菜洗菜备料炒菜全干。后来客人多了，厨房一个厨师忙不过来，又请了个厨师，两个厨师都能炒一样的菜，这两个厨师的关系就是集群。
2.分布式
为了让厨师专心炒菜,把菜做到极致,又请了个配菜师负责切菜,备菜,备料,厨师和配菜师的关系就是分布式的,一个配菜师也忙不过来,有请了个配菜师,这两个配菜师的关系就是集群了。所以说有分布式的架构中可能有集群,但集群不等于有分布式。
3.节点
节点是指一个可以独立按照分布式协议完成一组逻辑的程序个体。在具体的项目中,一个节点表示的是一个操作系统上的进程。
一.hadoop分布式集群的搭建
我们需要搭建hadoop集群环境首先需要环境的支持
1.环境支持
操作系统: CentOS7 64
JDK环境: JDK 8
Hadoop环境: hadoop-2.8.0
虚拟机名称: master(主)+slave1(从1)+slave2(从2)
首先配置一个静态id
配置真机网络共享
配置虚拟机虚拟网络
找到系统工具，设置，网络
将自动改为手动配置如下信息(配置完了重启即可)
2.设置主机名
我这里是直接将所有的配置全都配置完克隆了两台slave
#编辑hostname文件修改主机名称
vim /etc/hostname
主就使用命令改为master，从就使用命令改为slave01，slave02
使用命令查看主机名是否修改成功
注意:如果不成功可能需要重启虚拟机!!!
hostname
3.安装JDK
注意:Linux上原来的JDK是不完整的需要我们手动将他们一个个的卸载重新安装我们的JDK
首先先使用命令查看Linux上原来的JDK
#查看各自默认安装的JDK rpm -qa|grep jdk
使用 rpm -e --nodeps命令 一个一个卸载
rpm -e --nodeps java-1.7.0-openjdk-1.7.0.91-2.6.2.3.el7.x86_64 rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.65-3.b17.el7.x86_64 rpm -e --nodeps java-1.8.0-openjdk-1.8.0.65-3.b17.el7.x86_64 rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.91-2.6.2.3.el7.x86_64
安装我们的JDK，这里我是使用xf工具上传的解压包上传到/usr/local/java
注意:这里的java路径是我自己创建的
使用命令解压压缩包
#解压压缩文件 tar -zxvf jdk-8u181-linux-x64.tar.gz
解压成功后查看目录
配置JDK
首先修改ect下的profile文件
#编辑profile文件
vim /etc/profile
加入以下内容，请各位按照自身的安装目录为准
export JAVA_HOME=/usr/local/jdk1.8.0_121 export CLASSPATH=.:%JAVA_HOME%/lib/dt.jar:%JAVA_HOME%/lib/tools.jar export PATH=$PATH:$JAVA_HOME/bin
在文件的最底下添加即可
使用命令刷新一下文件，因为Linux不会自己刷新
source /etc/profile
输入java -version命令查看是否安装成功
4.安装并完成hadoop的配置
使用xf工具将hadoop的压缩包上传到Linux里的usr/local/hadoop(自己创建的)
使用命令行解压此压缩包
tar -zxvf hadoop-2.8.0.tar.gz
编辑profile文件也就是配置JDK的文件
vim /ect/profile
添加如下内容，路径请务必写你自己的
export HADOOP_HOME=/usr/local/hadoop-2.8.0 export PATH=$PATH:$HADOOP_HOME/bin:$PATH:$HADOOP_HOME/sbin
添加完成后刷新文件
source /etc/profile
编辑hosts文件，将三台主机的主机名称对应的ip地址写入(我这里还没有后续是直接克隆的)
#编辑hosts文件 vim /etc/hosts #写入如下内容，注意IP地址以自身为准 192.168.147.11 master 192.168.147.12 slave1 192.168.147.13 slave2
完成hadoop内部的配置，切换到hadoop2.8的内部文件夹下
cd /usr/local/hadoop/hadoop-2.8.0/etc/hadoop/
配置slaves文件
vim slaves
删除掉原有的localhost,添加slave主机名
配置core-site.xml文件
vim core-site.xml
在configuration节点中加入如下节点
<property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <!--视自身的安装位置决定--> <value>/usr/local/hadoop-2.8.0/tmp</value> </property>
配置hdfs-site.xml文件
vim hdfs-site.xml
在configuration节点中加入如下节点
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:50090</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<!--以自身安装目录为准-->
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop-2.8.0/hdfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop-2.8.0/hdfs/data</value>
</property>
编辑hadoop-env.sh
加入以下内容也就是JDK的安装目录
export JAVA_HOME=/usr/local/jdk1.8.0_121/
编辑yarn-env.sh文件
配置yarn-site.xml
vim yarn-site.xml
在configuration节点中加入如下内容
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:8088</value>
</property>
配置mapred-site.xml文件
由于mapred-site.xml文件不存在，需要将mapred-site.xml.template克隆出来一份
cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
加入如下内容
<property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapreduce.jobhistory.address</name> <value>master:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>master:19888</value> </property>
5.克隆主机
克隆完了修改静态ip
1、在master主机上运行如下
hdfs namenode -format
2、启动服务命令
start-all.sh
3、停止集群的命令
stop-all.sh