Hive Map 端OOM 异常

怪异现象:数据量不大,且不是Reduce端OOM,是Map端OOM

Map Task运行的时候数据流中包含了非法字符例如:EOF、NOP等东西,导致BufferedReader读取和StreamDecoder解码出错,

进一步导致了OOM,需要剔除这些记录,可以通过length来限制。

PS:当然,这只是Map 端OOM出现的其中一种原因,仅供参考。

原文地址:https://www.cnblogs.com/yako/p/5802684.html