python脚本 快速执行mapreduce程序

  在命令行下执行mapreduce程序时,我们需要输入很长的字符串,文件的输入路径、输出路径等。

  一个简单的python脚本即可,省去这些不必要的麻烦,以后执行mapreduce程序时,只需要进行稍微更改即可。runjob.py脚本内容如下:

#!/usr/bin/python

import os
cmd = 'hadoop jar examples.jar org.apache.hadoop.myexamples.WordCount hdfs://NameNode:9000/user/cloud/input/cite1.txt hdfs://NameNode:9000/user/cloud/output008'
os.system(cmd)

  下面,我们给这个文件赋予可执行的权限:

  chmod 775 runjob.py     //当前用户和当前用户所属的组具有读、写、执行的权限,其它用户具有读、写的权限。

原文地址:https://www.cnblogs.com/yueliming/p/3089146.html