hadoop集群搭建

操作步骤:

一、在A机上配置

①以root用户登录，更改ssh配置文件 vi /etc/ssh/sshd_config

RSAAuthentication yes #启用rsa认证
PubkeyAuthentication yes #启用公钥私钥配对认证方式
AuthorizedKeysFile .ssh/authorized_keys #公钥文件路径
​
systemctl restart sshd  //重启ssh服务

②生成公钥私钥对

ssh-keygen -t rsa

系统在/root/.ssh下生成id_rsa、id_rsa.pub

③把A机下的id_rsa.pub发送到B、C机

ssh-copy-id -i /root/.ssh/id_rsa.pub 192.168.10.122
ssh-copy-id -i /root/.ssh/id_rsa.pub 192.168.10.125
注：namenode节点需要把公钥发送给自己

二、B、C机采用步骤一中相同的方法，要记得改变ip地址

scp -rp /root/.ssh/authorized_keys slave1:/root/.ssh/

三、实现ssh多机互信 以A机为例

ssh 10.139.8.83  //登录B机
ifconfig //检查是否成功登录
exit //退出ssh登录，返回本机

scp -rp jdk slave1:/opt/java/

1、

mkdir  /opt/hadoop
mkdir  /opt/hadoop/tmp
mkdir  /opt/hadoop/var
mkdir  /opt/hadoop/dfs
mkdir  /opt/hadoop/dfs/name
mkdir  /opt/hadoop/dfs/data

2、 // core-site.xml

<property>
    <name>hadoop.tmp.dir</name>
    <value>/root/hadoop/tmp</value>
    <description>临时目录设定</description>
</property>
​
<property>
    <name>fs.default.name</name>
    <value>hdfs://master:9000</value>
</property> 

3、修改hadoop-env.sh

修改/opt/hadoop/hadoop-2.8.5/etc/hadoop/hadoop-env.sh文件

将export   JAVA_HOME=${JAVA_HOME}

修改为：

 export   JAVA_HOME=/opt/java/jdk1.8.0_121

4、 //hdfs-site.xml

<property>
    <name>dfs.name.dir</name>
    <value>file:/opt/hadoop/dfs/name</value>
    <description>存贮在本地的名字节点数据镜象的目录,作为名字节点的冗余备份</description>
</property>
​
<property>
    <name>dfs.data.dir</name>
    <value>file:/opt/hadoop/dfs/data</value>
    <description>数据节点的块本地存放目录</description>
</property>
​
<property>
    <name>dfs.replication</name>
    <value>2</value>
    <description>缺省的块复制数量</description>
</property>
​
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>hadoop102:50090</value>
    <description>指定Hadoop辅助名称节点主机配置</description>
</property>

<property>
    <name>dfs.permissions</name>
    <value>false</value>
    <description>文件操作时的权限检查标识。</description>
</property>
​
// 说明：dfs.permissions配置为false后，可以允许不要检查权限就生成dfs上的文件，方便倒是方便了，但是你需要防止误删除，请将它设置为true，或者直接将该property节点删除，因为默认就是true。

5、

cp   mapred-site.xml.template     mapred-site.xml
vim  mapred-site.xml
​
<property>
    <name>mapred.job.tracker</name>
    <value>hadoop101:49001</value>
    <description>作业跟踪管理器是否和MR任务在一个进程中</description>
</property>
​
<property>
    <name>mapred.local.dir</name>
    <value>/opt/hadoop/var</value>
    <description>MR的中介数据文件存放目录</description>
</property>
​
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
​
<property>
    <name>mapreduce.map.memory.mb</name>
    <value>2048</value>
    <description>一个MapTask可使用的资源上限（单位:MB），默认为1024。如果MapTask实际使用的资源量超过该值，则会被强制杀死。</description>
</property>
​
<property>
    <name>mapreduce.reduce.memory.mb</name>
    <value>4096</value>
    <description>一个ReduceTask可使用的资源上限（单位:MB），默认为1024。如果ReduceTask实际使用的资源量超过该值，则会被强制杀死。</description>
</property>
​
<property>
    <name>mapreduce.map.cpu.vcores</name>
    <value>2</value>
    <description>每个MapTask可使用的最多cpu core数目，默认值: 1</description>
</property>
​
<property>
    <name>mapreduce.reduce.cpu.vcores</name>
    <value>4</value>
    <description>每个ReduceTask可使用的最多cpu core数目，默认值: 1</description>
</property>
​
<property>
    <name>mapreduce.reduce.shuffle.parallelcopies</name>
    <value>10</value>
    <description>每个Reduce去Map中取数据的并行数。默认值是5</description>
</property>
​
<property>
    <name>mapreduce.reduce.shuffle.merge.percent</name>
    <value>0.8</value>
    <description>Buffer中的数据达到多少比例开始写入磁盘。默认值0.66</description>
</property>
​
<property>
    <name>mapreduce.reduce.shuffle.input.buffer.percent</name>
    <value>0.8</value>
    <description>Buffer大小占Reduce可用内存的比例。默认值0.7</description>
</property>
​
<property>
    <name>mapreduce.reduce.input.buffer.percent</name>
    <value>0.0</value>
    <description>指定多少比例的内存用来存放Buffer中的数据，默认值是0.0</description>
</property>
​
<property>
    <name>mapred.child.java.opts</name>
    <value>-Xmx2048m</value>
    <description>这个参数是配置每个map或reduce使用的内存数量，默认是200m，一般情况下，该值设置为 总内存/并发数量(=核数)</description>
</property>

 

6、 修改slaves文件 修改/opt/hadoop/hadoop-2.8.0/etc/hadoop/slaves文件，将里面的localhost删除，添加如下内容：

slave1
slave2

7、 // yarn-site.xml

<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop101</value>
    <description>指定YARN的ResourceManager的地址</description>
</property>
​
<property>
    <description>The address of the applications manager interface in the RM.</description>
    <name>yarn.resourcemanager.address</name>
    <value>${yarn.resourcemanager.hostname}:8032</value>
</property>
​
<property>
    <description>The address of the scheduler interface.</description>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>${yarn.resourcemanager.hostname}:8030</value>
</property>
​
<property>
    <description>The http address of the RM web application.</description>
    <name>yarn.resourcemanager.webapp.address</name>
    <value>${yarn.resourcemanager.hostname}:8088</value>
</property>
​
<property>
    <description>The https adddress of the RM web application.</description>
    <name>yarn.resourcemanager.webapp.https.address</name>
    <value>${yarn.resourcemanager.hostname}:8090</value>
</property>
​
<property>ResourceManager 
    <description>对NodeManager暴露的地址.。NodeManager通过该地址向RM汇报心跳，领取任务等。</description>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>${yarn.resourcemanager.hostname}:8031</value>
</property>
​
<property>
    <description>ResourceManager 对管理员暴露的访问地址。管理员通过该地址向RM发送管理命令等。</description>
    <name>yarn.resourcemanager.admin.address</name>
    <value>${yarn.resourcemanager.hostname}:8033</value>
</property>
​
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
    <description>NodeManager上运行的附属服务。需配置成mapreduce_shuffle，才可运行MapReduce程序</description>
</property>

<property>
    <name>yarn.scheduler.minimum-allocation-mb</name>
    <value>1024</value>
    <discription>单个任务可申请的最少物理内存量，默认是1024（MB），如果一个任务申请的物理内存量少于该值，则该对应的值改为这个数。</discription>
</property>
​
<property>
    <name>yarn.scheduler.maximum-allocation-mb</name>
    <value>8182</value>
    <discription>单个任务可申请的最多物理内存量，默认是8192（MB）</discription>
</property>
​
<property>
    <name>yarn.scheduler.minimum-allocation-vcores</name>
    <value>2</value>
    <discription>每个Container申请的最小CPU核数，默认值：1</discription>
</property>
​
<property>
    <name>yarn.scheduler.maximum-allocation-vcores</name>
    <value>4</value>
    <discription>每个Container申请的最大CPU核数，默认值：32</discription>
</property>
​
<property>
    <name>yarn.nodemanager.vmem-pmem-ratio</name>
    <value>5.0</value>
    <discription>任务每使用1MB物理内存，最多可使用虚拟内存量，默认是2.1</discription>
</property>
​
<property>
    <name>yarn.nodemanager.resource.cpu-vcores</name>
    <value>16</value>
    <discription>表示该节点上YARN可使用的虚拟CPU个数，默认是8，注意，目前推荐将该值设值为与物理CPU核数数目相同。如果你的节点CPU核数不够8个，则需要调减小这个值，而YARN不会智能的探测节点的物理CPU总数。</discription>
</property>
​
<property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>8192</value>
    <discription>表示该节点上YARN可使用的物理内存总量，默认是8192（MB），注意，如果你的节点内存资源不够8GB，则需要调减小这个值，而YARN不会智能的探测节点的物理内存总量。</discription>
</property>
​
<property>
    <name>yarn.nodemanager.pmem-check-enabled</name>
    <value>true</value>
    <discription>是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是true</discription>
</property>
​
<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>true</value>
    <discription>是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是true</discription>
</property>

8、格式化（注意中文横杠）

./hadoop  namenode  -format

高可用配置

1、配置core-site.xml

<!-- 把两个NameNode）的地址组装成一个集群mycluster -->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/hadoop/tmp</value>
    <description>临时目录设定</description>
</property>
​
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://mycluster</value>
    <description>完全分布式集群名称</description>
</property>
​
<property>
    <name>dfs.journalnode.edits.dir</name>
    <value>/opt/hadoop/tmp/jn/mycluster</value>
    <description>jn目录</description>
</property>
​
<property>
    <name>ha.zookeeper.quorum</name>
    <value>hadoop101:2181,hadoop102:2181,hadoop103:2181</value>
</property>

2、配置hdfs-site.xml

<property>
    <name>dfs.ha.automatic-failover.enabled</name>
    <value>true</value>
    <description>是否开启自动故障转移</description>
</property>
​
<property>
    <name>dfs.nameservices</name>
    <value>mycluster</value>
    <description>完全分布式集群名称</description>
</property>
​
<property>
    <name>dfs.ha.namenodes.mycluster</name>
    <value>nn1,nn2</value>
    <description>集群中NameNode节点都有哪些</description>
</property>
​
<property>
    <name>dfs.namenode.rpc-address.mycluster.nn1</name>
    <value>hadoop102:9000</value>
    <description>nn1的RPC(远程过程调用)通信地址</description>
</property>
​
<property>
    <name>dfs.namenode.rpc-address.mycluster.nn2</name>
    <value>hadoop103:9000</value>
    <description>nn2的RPC通信地址 </description>
</property>
​
<property>
    <name>dfs.namenode.http-address.mycluster.nn1</name>
    <value>hadoop102:50070</value>
    <description>nn1的http通信地址</description>
</property>
​
<property>
    <name>dfs.namenode.http-address.mycluster.nn2</name>
    <value>hadoop103:50070</value>
    <description>nn2的http通信地址</description>
</property>
​
<property>
    <name>dfs.namenode.shared.edits.dir</name>
    <value>qjournal://hadoop102:8485;hadoop103:8485;hadoop104:8485/mycluster
    </value>
    <description>指定NameNode元数据在JournalNode上的存放位置</description>
</property>
​
<property>
    <name>dfs.ha.fencing.methods</name>
    <value>sshfence</value>
    <description>配置隔离机制，即同一时刻只能有一台服务器对外响应</description>
</property>
​
<property>
    <name>dfs.ha.fencing.ssh.private-key-files</name>
    <value>/root/.ssh/id_rsa</value>
    <description>使用隔离机制时需要ssh无秘钥登录</description>
</property>
​
<property>
    <name>dfs.journalnode.edits.dir</name>
    <value>/opt/hadoop/data/jn</value>
    <description>声明journalnode服务器存储目录</description>
</property>
​
<property>
    <name>dfs.permissions.enable</name>
    <value>false</value>
    <description>关闭权限检查</description>
</property>
​
<property>
    <name>dfs.client.failover.proxy.provider.mycluster</name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider
    </value>
    <description>访问代理类：client，mycluster，active配置失败自动切换实现方式</description>
</property>

取消辅助名称节点配置dfs.namenode.secondary.http-address

3. 在各个JournalNode节点上，输入以下命令启动journalnode服务

hadoop-daemon.sh start journalnode

4. 在[nn1]上，对其进行格式化

hdfs namenode -format

5. 启动Zookeeper集群

6. 初始化HA在Zookeeper中状态

hdfs zkfc -formatZK

7. 启动HDFS服务

start-dfs.sh