CM记录-优化配置解决Reduce卡顿问题

CDH大数据集群问题问题分析与解决方案

问题描述:Hive提交任务,一直卡在Reduce阶段,进度缓慢。

日志分析:NodeManager节点产生的usercache所在分区空间不足,导致进程异常退出。

解决方案:1)调整各个NodeManager节点的配置-/opt/yarn/nm、/spark/yarn/nm;2)优化SQL语句。

重新部署客户端配置,重启后,执行速度提升,问题得以解决。

作业中止命令:hadoop job -kill  <jobid>

原文地址:https://www.cnblogs.com/xinfang520/p/8033442.html