Hadoop 完全并行模式

注意：使用xysnc，出现权限问题，使用 root

一、基本配置

1、hosts 和 hostname

2、开启 ssh 和无密连接

3、固定静态IP

4、配置 xsync

5、安装配置JDK

6、安装配置Hadoop

7、修改权限 (若不修改权限会出现权限问题)

sudo chown -R tom:tom /opt/module/hadoop-2.7.7/

二、核心配置文件

1、HDFS

vi core-site.xml
<!-- 指定HDFS中NameNode的地址 -->
<property>
        <name>fs.defaultFS</name>
        <value>hdfs://wt:9000</value>
</property>

<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-2.7.7/data/tmp</value>
</property>

--------------------------

vi hadoop-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144
--------------------------
vi hdfs-site.xml
<!-- 指定Hadoop辅助名称节点主机配置 -->
<property>
      <name>dfs.namenode.secondary.http-address</name>
      <value>wt3:50090</value>
</property>

2、YARN

vi yarn-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144
---------------------------
vi yarn-site.xml
<!-- Reducer获取数据的方式 -->
<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
</property>

<!-- 指定YARN的ResourceManager的地址 -->
<property>
        <name>yarn.resourcemanager.hostname</name>
        <value>wt2</value>
</property>

3、MapReduce

vi mapred-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144

------------------------

mv mapred-site.xml.template mapred-site.xml
vi mapred-site.xml
<!-- 指定MR运行在Yarn上 -->
<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>

同步

xsync /opt/module/hadoop-2.7.7/

三、开启端口

sudo firewall-cmd --zone=public --add-port=50070/tcp --permanent
sudo firewall-cmd --reload
sudo firewall-cmd --query-port=50070/tcp

端口

四、群起

1、配置slaves

# 打开slaves文件
vim etc/hadoop/slaves
# 增加相应的节点, 不允许有空格，不允许有空行
wt1
wt2
wt3

2、同步

xsync slaves

3、群起

# 启动dfs 在NmaeNode的节点； 启动Yarn 在ResourceManager的节点
sbin/start-dfs.sh
sbin/start-yarn.sh

五、测试

bin/hdfs dfs -put /opt/software/jdk-8u261-linux-x64.tar.gz /

问题：只有NameNode 的节点有备份

解决方案：具体哪个没验证

https://www.cnblogs.com/zhxiaoxiao/p/10207463.html