hadoop集群大数据量hadoop命令执行报错GC或不能返回结果的解决办法

随着业务的不断增长,hadoop集群存储的数据量也不断增长,数据量在PB级时会出现hadoop/hdfs命令执行慢或者不能 返回结果及出现GC错误;

需要调整HADOOP_HEAPSIZE参数的大小;该参数默认为1000MB;

实际情况:

数据量为1PB,HADOOP_HEAPSIZE参数设置为16GB,可以正常返回结果。

根据实际情况进行调整,保证hadoop/hdfs等命令正常返回结果。

原文地址:https://www.cnblogs.com/songyuejie/p/11221609.html