Hadoop学习笔记——配置文件

下载hadoop的原生版本,版本选择2.6.0,下载地址

https://archive.apache.org/dist/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz

解压后可以看到

其中配置文件在 /etc/hadoop目录下

解压后默认的配置文件都是空的,需要自行配置,下面为配置文件的作用

其中比较重要的是前4个配置文件,分别为core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml

可以参考文档,该文档的版本为4.3.0,:Hadoop参数汇总

默认的配置文件可以参考官方文档

https://hadoop.apache.org/docs/r2.6.0/

左下角有配置的链接

 

1.core-site.xml

Hadoop全局配置参数,例如HDFS和MapReduce常用的I/O设置等

https://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/core-default.xml

配置含义和调优建议可以参考

http://tonglin0325.github.io/xml/hadoop/2.6.0/core-default.xml

2.hdfs-site.xml

hdfs配置文件

https://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml

配置含义和调优建议可以参考

http://tonglin0325.github.io/xml/hadoop/2.6.0/hdfs-default.xml

3.mapred-site.xml

mapreduce配置文件

https://hadoop.apache.org/docs/r2.6.0/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml

配置含义和调优建议可以参考

http://tonglin0325.github.io/xml/hadoop/2.6.0/mapred-default.xml

4.yarn-site.xml

yarn配置文件

https://hadoop.apache.org/docs/r2.6.0/hadoop-yarn/hadoop-yarn-common/yarn-default.xml

配置含义和调优建议可以参考

http://tonglin0325.github.io/xml/hadoop/2.6.0/yarn-default.xml

5.httpfs-site.xml

httpfs模块配置文件

6.capacity-scheduler.xml

配置了yarn资源调度器运行中的各项参数

7.hadoop-policy.xml

用于配置服务级别授权

8.kms-acls.xml

9.kms-site.xml

原文地址:https://www.cnblogs.com/tonglin0325/p/13994913.html