hadoop配置项笔记

 

hadoop版本:3.1.1

 

core-site.xml

dfs.namenode.rpc-address  

作用:rpc地址。我在使用distcp时显式使用到了。

默认值:port是8020

我的设置:hostname:8020

 

io.file.buffer.size

 

作用:io操作的缓存大小,单位字节。由于磁盘I/O的速度是比较慢的,如果一个进程的内存空间不足,它会将内存中的部分数据暂时写到磁盘,当需要的时候,再把磁盘上面的数据写到内存上面。因此设置和的预读缓冲区大小来提高hadoop里面大文件顺序读的性能。以此来提高I/O性能。

 

默认值:131072 (128MB)

 

我的设置:默认值。

 

 

hdfs-site.xml

dfs.hosts 

dfs.hosts.exclude

作用:允许或排除的datanode列表。如有必要,使用这个配置控制临时的dn列表.

默认值:空

我的设置:空。可以是文件名的完整路径,文件内每行是一个主机名。

 

dfs.blocksize

作用:hdfs文件存储的数据块大小,单位字节b。

默认值:268435456 (256MB)

我的设置:默认值。

 

dfs.namenode.handler.count

作用:处理rpc调用的线程数。设置该值的一般原则是将其设置为集群大小的自然对数乘以20,即20logN,N为集群大小。 如果该值设的太小,明显的状况就是DataNode在连接NameNode的时候总是超时或者连接被拒。但NameNode的远程过程调用队列很大时,远程过程调用延时就会加大。

默认值:10

我的设置:默认值。

 

原文地址:https://www.cnblogs.com/PigeonNoir/p/10451870.html