1. mapreduce内存不足
<property>
<name>mapred.map.child.java.opts</name>
<value>$CHILD_MAP_OPTS</value>
</property>
<property>
<name>mapred.reduce.child.java.opts</name>
<value>$CHILD_REDUCE_OPTS</value>
</property>
instead of
<property>
<name>mapred.child.java.opts</name>
<value>$CHILD_OPTS</value>
</property>
2. 指定Reduce任务的个数
可以在执行脚本中添加参数来实现：
hadoop jar LogAnalysis.jar loganalysis -D mapred.reduce.tasks=2 $inputPath $outputPath
3. Hadoop集群中磁盘空间不足
遇到这种情况，可以减少HDFS中备份的数量，在hdfs-site.xml中修改，
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
这样的话，数据就只保存一份了，重要的数据话出问题就没法自动恢复了，所以还是要确保
磁盘空间充足，默认情况下这个参数是3.
hadoop fsck -locations命令可以查看数据备份情况。
4.hadoop命令集合
hadoop fs –put test.txt /user/sunlightcs
将本地文件系统的test.txt复制到HDFS文件系统的/user/sunlightcs目录下
hadoop fs –get /user/sunlightcs/test.txt .
将HDFS中的test.txt复制到本地文件系统中，与-put命令相反
hadoop fs –cat /user/sunlightcs/test.txt
查看HDFS文件系统里test.txt的内容
hadoop fs –tail /user/sunlightcs/test.txt
查看最后1KB的内容
hadoop fs –copyFromLocal test.txt /user/sunlightcs/test.txt
从本地文件系统复制文件到HDFS文件系统，等同于put命令
hadoop fs –copyToLocal /user/sunlightcs/test.txt test.txt
从HDFS文件系统复制文件到本地文件系统，等同于get命令
hadoop fs –du PATH
显示该目录中每个文件或目录的大小
hadoop fs –dus PATH
类似于du，PATH为目录时，会显示该目录的总大小
5. 在mapper中获取当前正在处理的HDFS文件名/HDFS目录名
默认情况下，Hadoop是按行来对数据进行处理的，由于对每一行数据，map()函数会被调用一次，我们有时可以根据文件名/目录名来获取一些信息，从而把它们输出，例如，目录名中包含了日期，则我们可以取出来并输出到Reducer。
在map()函数中，我们可以这样取文件名：
InputSplit inputSplit = context.getInputSplit();
String fileName = ((FileSplit) inputSplit).getName();
假设当前正在处理的HDFS文件路径为：/user/hadoop/abc/myFile.txt，则上面的 fileName 取到的是“myFile.txt”这样的字符串。
但如果要获取其目录名“abc”，则可以这样做：
InputSplit inputSplit = context.getInputSplit();
String dirName = ((FileSplit) inputSplit).getPath().getParent().getName();