Hadoop 集群搭建

Hadoop 集群搭建
core-site.xml 核心-站点
hdfs-site.xml hd hadoop fs file system hadoop文件系统-配置
mapred-site.xml map red reduce mapreduce 计算框架- 配置
yarn-site.xml 资源调度 --配置
slaves slave奴隶 (从者 主机-从机) 写上从机名称 (datanode)


core-site.xml
<property>
<name>fs.defaultFS</name>
<value>hdfs://ip150:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/root/sw/hadoop/data</value>
</property>

hdfs-site.xml 配置可以不写,按默认配置执行
mapred-site.xml 这个文件要copy 一个 cp mapred-site.xml.template mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>


7、yarn-site.xml
<!-- 配置成跟core-site fs.defaultFS机器同一个 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>ip150</value>
</property>
<!-- reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

vi slaves
ip150
ip151

hdfs namenode –format dfs格式化只需要在主节点(namenode)执行
格式化是否成功看
/root/sw/hadoop/data/dfs/name

jps java process show
验证:其一:namenode datanode secondarynamenode
其二:http://192.168.230.150:50070 namenode的地址
点击 datanodes 出来的节点要去集群配置的节点数量一致

将目录整个复制给其他的机器
scp -r /root/sw/hadoop ip151:/root/sw/
scp /root/.bashrc ip151:/root/ 别忘了执行

hadoop集群的启动只需要在一台机器打命令,其他的会通过ssh连接远程启动(对比zookeeper)
集群出错失败,解决方式之一:删除 目录data/dfs/data(哪个不正常删除哪个)

原文地址:https://www.cnblogs.com/richlovesherry/p/11606635.html