下载hadoop的原生版本,版本选择2.6.0,下载地址
https://archive.apache.org/dist/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz
解压后可以看到
其中配置文件在 /etc/hadoop目录下
解压后默认的配置文件都是空的,需要自行配置,下面为配置文件的作用
其中比较重要的是前4个配置文件,分别为core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml
可以参考文档,该文档的版本为4.3.0,:Hadoop参数汇总
默认的配置文件可以参考官方文档
https://hadoop.apache.org/docs/r2.6.0/
左下角有配置的链接
1.core-site.xml
Hadoop全局配置参数,例如HDFS和MapReduce常用的I/O设置等
https://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/core-default.xml
配置含义和调优建议可以参考
http://tonglin0325.github.io/xml/hadoop/2.6.0/core-default.xml
2.hdfs-site.xml
hdfs配置文件
https://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml
配置含义和调优建议可以参考
http://tonglin0325.github.io/xml/hadoop/2.6.0/hdfs-default.xml
3.mapred-site.xml
mapreduce配置文件
https://hadoop.apache.org/docs/r2.6.0/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml
配置含义和调优建议可以参考
http://tonglin0325.github.io/xml/hadoop/2.6.0/mapred-default.xml
4.yarn-site.xml
yarn配置文件
https://hadoop.apache.org/docs/r2.6.0/hadoop-yarn/hadoop-yarn-common/yarn-default.xml
配置含义和调优建议可以参考
http://tonglin0325.github.io/xml/hadoop/2.6.0/yarn-default.xml
5.httpfs-site.xml
httpfs模块配置文件
6.capacity-scheduler.xml
配置了yarn资源调度器运行中的各项参数
7.hadoop-policy.xml
用于配置服务级别授权
8.kms-acls.xml
9.kms-site.xml