七、Hadoop学习笔记————调优之Hadoop参数调优

dfs.datanode.handler.count默认为3，大集群可以调整为10

 

传统MapReduce和yarn对比

 

如果服务器物理内存128G，则容器内存建议为100比较合理

配置总量时考虑系统调优块，双路四核2*4*2=16g，则总量设置为10到12比较合适，需要预留空间给其他服务器

需要给master分配足够资源，并且分配受限于yarn

hadoop调优需要不断尝试，没有固定的套路

人生苦短，远离IT脱离苦海
【推广】 免费学中医，健康全家人
原文地址：https://www.cnblogs.com/liuxiaopang/p/7766903.html